CN105809679B - 一种基于视觉分析的山区铁路边坡落石检测方法 - Google Patents
一种基于视觉分析的山区铁路边坡落石检测方法 Download PDFInfo
- Publication number
- CN105809679B CN105809679B CN201610124955.7A CN201610124955A CN105809679B CN 105809679 B CN105809679 B CN 105809679B CN 201610124955 A CN201610124955 A CN 201610124955A CN 105809679 B CN105809679 B CN 105809679B
- Authority
- CN
- China
- Prior art keywords
- image
- target image
- foreground target
- falling rocks
- classifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 238000004458 analytical method Methods 0.000 title claims abstract description 27
- 230000000007 visual effect Effects 0.000 title abstract description 3
- 239000011435 rock Substances 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000011218 segmentation Effects 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 28
- 238000001914 filtration Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 14
- 230000000877 morphologic effect Effects 0.000 claims description 10
- 238000003708 edge detection Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000008439 repair process Effects 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 abstract description 7
- 230000008901 benefit Effects 0.000 abstract description 6
- 230000009466 transformation Effects 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 7
- 230000009545 invasion Effects 0.000 description 5
- 230000001681 protective effect Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
Landscapes
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种基于视觉分析的山区铁路边坡落石检测方法。该方法主要包括：采集山区铁路的图像，对所述图像进行局部线性检测和Hough变换，得到铁轨区域的图像；对所述铁轨区域的图像进行差分处理和二值化分割处理，得到前景目标图像；基于训练好的深度网络构建分类器，将所述前景目标图像输入分类器，根据所述分类器的输出结果，判断所述前景目标图像是否属于包含落石的目标图像。本发明实施例首先识别铁轨区域，然后对铁轨区域内图像进行分割，检测出前景目标，最后通过深度学习对目标进行分类，剔除干扰目标。本发明实施例的方案具有视频分析方法的检测范围广、成本低等优点，同时提高了落石图像检测的准确性。
Description
技术领域
本发明涉及铁路异物侵限领域，尤其涉及一种基于视觉分析的山区铁路边坡落石检测方法。
背景技术
在地质灾害频发的山区路段，边坡落石时常会侵入铁路限界，给列车安全运行带来严重危害。边坡落石具有突发性、无规律、不可预测等特点，在列车运行过程中如果仅靠司机目视发现异物然后采取制动措施，将不能有效避免事故发生，严重威胁行车安全。
包括边坡落石在内的异物侵限给铁路安全运行带来严重威胁，国内外学者逐渐认识到侵限检测的重要性并开展了相关的研究。
国际方面：美国沃尔皮国家运输系统中心从气候光照条件、入侵警示设备、入侵检测传感器等方面对铁路入侵自动检测系统的设计和实现提出建议和评价指标，提出了基于多传感器数据融合的入侵检测系统，该系统包括视频采集模块、运动检测模块、声音警示模块和照明模块，系统通过运动检测来发现监控区域的目标，并实现远程监控。日本新干线采用光缆监控技术监控铁路异物入侵情况。法国在铁路隧道口安装高强度金属防护网，并安装监测异物侵入的双电网传感器，线路两侧同时安装多组红外线发射装置以监控异物侵限。
国内方面：2005年铁道部立项高危区段线路障碍自动监测预警系统，主要监测轨道异常情况(如山体滑坡，隧道障碍、落石、洪水、泥石流、桥梁险情和路基塌陷等)。2009年铁道部在京沪高速铁路系统优化研究中，将异物入侵作为自然灾害防护子系统优化的重要内容，并针对京沪高速铁路的异物侵限检测系统提出三个方面的优化措施。中南大学王前选等基于机器视觉提出一种缓变异物侵限检测的方法，并在兰新铁路进行现场试验。北京交通大学史红梅等提出一种基于背景图像差分的检测方法，首先通过差分图像获取前景目标，然后通过支持向量机剔除干扰，从而得到侵限目标，并最终基于 ARM+FPGA实现了该系统。北京交通大学董宏辉等设计了基于OpenCV的铁路入侵检测实验平台，该系统针对传统视频监控系统人工监视容易疏漏的问题，研究了在铁路场景下采用图像分析识别物体入侵行为的检测技术及基于轨迹点行为模型的入侵行为分析与理解，初步实现了对部分入侵行为的识别和场景语义描述以及对危险行为的报警。北京大学在研究和分析目前智能视频监控技术现状的基础上，设计并实现了能够实时检测目标物体(轨道、路基、桥梁)是否遭受各种灾害侵蚀和破坏的自动预警系统，系统首先采用相位相关和梯度投影的算法去除大风和光照变化对图像的影响，然后提取图像的方向场、边缘信息和本征图作为主要的不变量特征，并基于这些特征自动计算出重点监控区域，最后通过一个多模板、多特征的匹配算法，对目标物体的特征是否丢失做出准确的判断，实验证明系统是有效的。以上方法是基于视频的，除此之外，使用防护网+传感器是另外一种检测思路。刘建斌等提出利用安装在防护网上的光栅应力传感器来检测边坡落石。北京交通大学王洋等采用激光幕墙的方法检测异物。该方法检测速度快，灵敏度高，但是安装比较复杂，受环境影响较大，只能检测几个截面，不能准确测量出异物的大小和形状，且成本较高。
从以上国内外研究现状可以看出，现有技术中的铁路异物侵限检测方法主要包括两类：一类是基于视频分析的方法，其思路是目标跟踪，从轨迹分析目标的行为。该方法不适用落石检测，更适于行人动物等侵限检测，因为行人、动物移动速度慢，轨迹曲线明显，且目标较大，易于检测。边坡落石的动力学较为复杂，很难判断其运动轨迹，无法采用轨迹分析的方法检测。
另外一类是防护网+电传感器或者光纤传感器的方法。防护网+传感器的方法也有很多局限，因为落石有可能飞过防护网直接掉在铁轨区域内。
发明内容
本发明的实施例提供了一种基于视觉分析的山区铁路边坡落石检测方法，以实现对山区铁路边坡落石进行有效的检测。
为了实现上述目的，本发明采取了如下技术方案。
根据本发明的一个方面，提供了一种基于视觉分析的山区铁路边坡落石检测方法，包括：
采集山区铁路的图像，对所述图像进行局部线性检测和Hough变换，得到铁轨区域的图像；
对所述铁轨区域的图像进行差分处理和二值化分割处理，得到前景目标图像；
基于训练好的深度网络构建分类器，将所述前景目标图像输入所述分类器，根据所述分类器的输出结果，判断所述前景目标图像是否属于包含落石的目标图像。
进一步地，所述的采集山区铁路的图像，包括：
采用内置CCD图像传感器的相机采集山区铁路的图像，将采集的图像传输到PC机，所述PC机对图像进行预处理，所述预处理包括灰度化、平滑滤波、直方图均衡化和灰度拉伸。
进一步地，所述的对所述图像进行局部线性检测和Hough变换，得到铁轨区域的图像，包括：
对预处理后的图像采用Canny算子边缘检测进行局部线性检测，检测出图像中的断点，扫描断点并修补断点，结合预先设定的滤波阈值，采用形态学滤波方法对图像进行滤波处理，再对滤波处理后的图像进行Hough变换，得到连通图像；
预先设定目标图像的判定阈值和限界范围，获取连通图像中的连通区域，将所述连通区域与所述判定阈值进行比较，当所述连通区域大于所述判定阈值且属于所述限界范围内，则判断所述连通图像为铁轨区域的图像，否则，判断所述连通图像不属于铁轨区域的图像。
进一步地，所述的对所述铁轨区域的图像进行差分处理和二值化分割处理，得到前景目标图像，包括：
读取当前帧的铁轨区域的图像，将所述当前帧的铁轨区域的图像与预先获得的上一帧的铁轨背景图像相减，得到差值图像，对所述差值图像进行自适应二值化分割，并用形态学方法滤除噪声，再利用连通计算得到前景目标图像。
进一步地，所述的基于训练好的深度网络构建分类器，将所述前景目标图像输入所述分类器，根据所述分类器的输出结果，判断所述前景目标图像是否属于包含落石的目标图像，包括：
采用栈式去噪自编码器作为深度网络的架构，收集铁轨区域的现场图片作为训练集中的无标记的样本数据，把训练集中的无标记的样本数据分割为大小相等的子块，将子块转换为1维向 量，将输入1维向 量到栈式去噪自编码器进行训练；利用逐层贪婪算法对单个隐层进行训练，然后利用这个隐层的输出作为下个隐层的输入，对下一个隐层进行训练，如此反复直到把所有的隐层都训练一遍，完成深度网络的预训练过程；用带标记的样本数据对整个深度网络的权值进行微调，完成深度网络的训练，基于训练好的深度网络构建分类器；
把所述前景目标图像进行归一化处理，并转换为1维向 量，将所述1维相量输入到所述分类器，得到所述前景目标图像属于落石图像的概率，当所述概率大于预先设定的阈值时，则认为所述前景目标图像为包含落石的目标图像；否则，认为所述前景目标图像为没有包含落石的目标图像，输出包含落石的目标图像的物理坐标。
根据本发明的另一个方面，提供了一种基于视觉分析的山区铁路边坡落石检测装置，包括：
图像采集模块，用于采集山区铁路的图像；
铁轨区域的图像获取模块，用于对所述山区铁路的图像进行局部线性检测和Hough变换，得到铁轨区域的图像；
前景目标图像获取模块，用于对所述铁轨区域的图像进行差分处理和二值化分割处理，得到前景目标图像；
落石目标图像获取模块，用于基于训练好的深度网络构建分类器，将所述前景目标图像输入分类器，根据所述分类器的输出结果，判断所述前景目标图像是否属于包含落石的目标图像。
进一步地，所述的图像采集模块，具体用于采用内置CCD图像传感器的相机采集山区铁路的图像，将采集的图像传输到PC机，所述PC机对图像进行预处理，所述预处理包括灰度化、平滑滤波、直方图均衡化和灰度拉伸。
进一步地，所述的铁轨区域的图像获取模块，用于对预处理后的图像采用Canny算子边缘检测进行局部线性检测，检测出图像中的断点，扫描断点并修补断点，结合预先设定的滤波阈值，采用形态学滤波方法对图像进行滤波处理，再对滤波处理后的图像进行Hough变换，得到连通图像；
预先设定目标图像的判定阈值和限界范围，获取连通图像中的连通区域，将所述连通区域与所述判定阈值进行比较，当所述连通区域大于所述判定阈值且属于所述限界范围内，则判断所述连通图像为铁轨区域的图像，否则，判断所述连通图像不属于铁轨区域的图像。
进一步地，所述的前景目标图像获取模块，用于读取当前帧的铁轨区域的图像，将所述当前帧的铁轨区域的图像与预先获得的上一帧的铁轨背景图像相减，得到差值图像，对所述差值图像进行自适应二值化分割，并用形态学方法滤除噪声，再利用连通计算得到前景目标图像。
进一步地，所述的落石目标图像获取模块，用于采用栈式去噪自编码器作为深度网络的架构，收集铁轨区域的现场图片作为训练集中的无标记的样本数据，把训练集中的无标记的样本数据分割为大小相等的子块，将子块转换为1维向 量，将输入1维向 量到栈式去噪自编码器进行训练；利用逐层贪婪算法对单个隐层进行训练，然后利用这个隐层的输出作为下个隐层的输入，对下一个隐层进行训练，如此反复直到把所有的隐层都训练一遍，完成深度网络的预训练过程；用带标记的样本数据对整个深度网络的权值进行微调，完成深度网络的训练，基于训练好的深度网络构建分类器；
把所述前景目标图像进行归一化处理，并转换为1维向 量，将所述1维相量输入到所述分类器，得到所述前景目标图像属于落石图像的概率，当所述概率大于预先设定的阈值时，则认为所述前景目标图像为包含落石的目标图像；否则，认为所述前景目标图像为没有包含落石的目标图像，输出包含落石的目标图像的物理坐标。
由上述本发明的实施例提供的技术方案可以看出，本发明实施例采用的基于视频分析的方法，并不分析落石的运动轨迹，而是采用目标图像分割与目标图形分类的方法。首先识别铁轨区域，然后对铁轨区域内图像进行分割，检测出前景目标，最后通过深度学习对目标进行分类，剔除干扰目标。本发明实施例的方案具有视频分析方法的检测范围广、成本低等优点，同时提高了落石图像检测的准确性。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于视觉分析的山区铁路边坡落石检测方法；
图2是本发明实施例提供的一种softmax分类器的结构示意图；
图3为本发明实施例提供的一种基于视觉分析的山区铁路边坡落石检测装置的结构示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语 (包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
本发明实施例采用的基于视频分析的方法，并不分析落石的运动轨迹，而是采用目标分割与目标分类的方法。首先识别铁轨区域，然后对铁轨区域内图像进行分割，检测出前景目标，最后通过深度学习对目标进行分类，剔除干扰目标。本发明实施例的方法具有视频分析方法的检测范围广、成本低等优点，同时提高了检测的准确性。
本发明实施例提出的一种基于视觉分析的山区铁路边坡落石检测方法的处理流程如图1所示，包括如下的处理步骤：
步骤S110、读取图像。
采用千兆网数字相机采集山区铁路的图像，该相机内置300万像素的CCD(Charge-coupled Device，电荷耦合元件)图像传感器，采集的图像通过千兆网传输到PC(personal computer，个人计算机)机。
步骤S120、图像预处理
PC机对图像进行预处理，预处理包括灰度化，平滑滤波，直方图均衡化，灰度拉伸。
步骤S130、采用Canny检测与阈值分割，进行铁轨检测
传统的铁轨区域检测算法是通过边缘检测和阈值分割实现的，将符合铁轨特征的边缘或区域视为实际铁轨。由于铁轨是连续的长线，并且由于反光作用，使它和周围背景反差较大，故需要找的是连续的长线并且长线处在对比度比较大的位置。这样的长线才是最终寻找的铁轨目标。在实践中我们发现Soble算子检测结果边缘信息损失严重，丢失了太多的铁轨信息，而Canny 算子对边缘的敏感性很强，引入太多噪声，很难分割出铁轨。
本发明实施例采用Canny算子边缘检测和Hough变换，结合阈值分割的方法和形态学滤波实现铁轨的检测，然后把得到的图像与铁轨区域相减，检测出铁轨区域的图像。具体包括：
对预处理后的图像采用Canny算子边缘检测进行局部线性检测，检测出图像中的断点，扫描断点并修补断点。然后，结合预先设定的滤波阈值，采用形态学滤波方法对图像进行滤波处理，再对滤波处理后的图像进行Hough变换，得到连通图像。
预先设定目标图像的判定阈值和限界范围，获取连通图像中的连通区域，将连通区域与判定阈值进行比较，当连通区域大于判定阈值且属于限界范围内，则判断连通图像为目标图像，否则，判断连通图像不属于目标图像。
步骤S140、基于铁轨区域的帧间差分，对差分图像进行分割。
基于目标图像(即铁轨区域的图像)采用差分法获取前景目标，具体做法是：读取当前帧的目标图像，与上一步获得的铁轨背景图像相减，得到差值图像。对差值图像进行自适应二值化分割，然后用形态学方法滤除噪声，利用连通计算得到前景目标图像。
步骤S150、利用深度学习对前景目标图像进行分类。
在上一步获取的前景目标图像的基础上，通过深度学习来完成目标图像的分类，将目标图像划分为包含落石的目标图像和没有包含落石的目标图像，剔除非落石目标图像。
主流的深度架构包括受限玻尔兹曼机、栈式去噪自编码器、卷积神经网络等，本发明实施例采用栈式去噪自编码器(Stacked Denoising Autoencoders，SDA)，结合softmax分类器实现目标分类，该实施例提供的一种softmax分类器结构如图2所示。利用深度学习进行目标分类包括两个步骤：训练和预测。
(1)深度网络的训练
深度网络的训练通过离线方式完成。收集包含目标的现场图片作为训练集，手动标定其中的目标。把图片分割为大小相等的子块，转换为1维向 量，输入到SDA进行训练。利用逐层贪婪算法对单个隐层进行训练，然后利用这个隐层的输出作为下个隐层的输入对下一个隐层进行训练，如此反复直到把所有的隐层都训练一遍，这个过程称为“预训练”。在预训练阶段，网络输入的是无标记的样本数据，即“预训练”是一种无监督的训练算法。“预训练”后再用少量的带标记的样本数据对整个网络的权值进行微调，称为“调优”。经过这两个阶段深度网络的训练就完成了。
然后，基于上述训练好的深度网络构建分类器。
(2)预测
预测是实时在线完成的。把前面提取到的目标图像的差分图像进行归一化处理，转换为1维向 量，输入到上述分类器，得到该前景目标图像属于落石图像的概率，当概率大于阈值时即认为该前景目标图像为包含落石的目标图像；否则，即为没有包含落石的目标图像。
步骤S180、输出的包含落石的目标图像的物理坐标并预警。
相机在使用前需要进行标定，目标检测完成后可以获得目标在图像坐标系中的坐标，然后进行坐标变换获得该目标在世界坐标系中的实际物理坐标。
实施例二
该实施例提供了一种基于视觉分析的山区铁路边坡落石检测装置，该装置的结构如图3所示，包括如下的模块：
图像采集模块31，用于采集山区铁路的图像；
铁轨区域的图像获取模块32，用于对所述山区铁路的图像进行局部线性检测和Hough变换，得到铁轨区域的图像；
前景目标图像获取模块33，用于对所述铁轨区域的图像进行差分处理和二值化分割处理，得到前景目标图像；
落石目标图像获取模块34，用于基于训练好的深度网络构建分类器，将所述前景目标图像输入分类器，根据所述分类器的输出结果，判断所述前景目标图像是否属于包含落石的目标图像。
进一步地，所述的图像采集模块31，具体用于采用内置CCD图像传感器的相机采集山区铁路的图像，将采集的图像传输到PC机，所述PC机对图像进行预处理，所述预处理包括灰度化、平滑滤波、直方图均衡化和灰度拉伸。
进一步地，所述的铁轨区域的图像获取模块32，用于对预处理后的图像采用Canny算子边缘检测进行局部线性检测，检测出图像中的断点，扫描断点并修补断点，结合预先设定的滤波阈值，采用形态学滤波方法对图像进行滤波处理，再对滤波处理后的图像进行Hough变换，得到连通图像；
预先设定目标图像的判定阈值和限界范围，获取连通图像中的连通区域，将所述连通区域与所述判定阈值进行比较，当所述连通区域大于所述判定阈值且属于所述限界范围内，则判断所述连通图像为铁轨区域的图像，否则，判断所述连通图像不属于铁轨区域的图像。
进一步地，所述的前景目标图像获取模块33，用于读取当前帧的铁轨区域的图像，将所述当前帧的铁轨区域的图像与预先获得的上一帧的铁轨背景图像相减，得到差值图像，对所述差值图像进行自适应二值化分割，并用形态学方法滤除噪声，再利用连通计算得到前景目标图像。
进一步地，所述的落石目标图像获取模块34，用于采用栈式去噪自编码器作为深度网络的架构，收集铁轨区域的现场图片作为训练集中的无标记的样本数据，把训练集中的无标记的样本数据分割为大小相等的子块，将子块转换为1维向 量，将输入1维向 量到栈式去噪自编码器进行训练；利用逐层贪婪算法对单个隐层进行训练，然后利用这个隐层的输出作为下个隐层的输入，对下一个隐层进行训练，如此反复直到把所有的隐层都训练一遍，完成深度网络的预训练过程；用带标记的样本数据对整个深度网络的权值进行微调，完成深度网络的训练，基于训练好的深度网络构建分类器；
把所述前景目标图像进行归一化处理，并转换为1维向 量，将所述1维相量输入到所述分类器，得到所述前景目标图像属于落石图像的概率，当所述概率大于预先设定的阈值时，则认为所述前景目标图像为包含落石的目标图像；否则，认为所述前景目标图像为没有包含落石的目标图像，输出包含落石的目标图像的物理坐标。
用本发明实施例的装置进行基于视觉分析的山区铁路边坡落石检测的具体过程与前述方法实施例类似，此处不再赘述。
综上所述，本发明实施例采用的基于视频分析的方法，并不分析落石的运动轨迹，而是采用目标图像分割与目标图形分类的方法。首先识别铁轨区域，然后对铁轨区域内图像进行分割，检测出前景目标，最后通过深度学习对目标进行分类，剔除干扰目标。本发明实施例的方案具有视频分析方法的检测范围广、成本低等优点，同时提高了落石图像检测的准确性。
我国山区铁路众多，地质灾害频发。一旦发生山体滑坡事件，落石进入铁轨限界，将导致列车出轨，严重损害人民群众生命财产安全。本发明可以实时发现边坡落石进入铁轨区域，及时发出报警，通知养护人员及时处理，从而避免事故的发生。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (4)
1.一种基于视觉分析的山区铁路边坡落石检测方法，其特征在于，包括:
采集山区铁路的图像，对所述图像进行局部线性检测和Hough变换，得到铁轨区域的图像；
对所述铁轨区域的图像进行差分处理和二值化分割处理，得到前景目标图像；
基于训练好的深度网络构建分类器，将所述前景目标图像输入所述分类器，根据所述分类器的输出结果，判断所述前景目标图像是否属于包含落石的目标图像；
所述的对所述图像进行局部线性检测和Hough变换，得到铁轨区域的图像，包括：
对预处理后的图像采用Canny算子边缘检测进行局部线性检测，检测出图像中的断点，扫描断点并修补断点，结合预先设定的滤波阈值，采用形态学滤波方法对图像进行滤波处理，再对滤波处理后的图像进行Hough变换，得到连通图像；
预先设定目标图像的判定阈值和限界范围，获取连通图像中的连通区域，将所述连通区域与所述判定阈值进行比较，当所述连通区域大于所述判定阈值且属于所述限界范围内，则判断所述连通图像为铁轨区域的图像，否则，判断所述连通图像不属于铁轨区域的图像；
所述的对所述铁轨区域的图像进行差分处理和二值化分割处理，得到前景目标图像，包括：
读取当前帧的铁轨区域的图像，将所述当前帧的铁轨区域的图像与预先获得的上一帧的铁轨背景图像相减，得到差值图像，对所述差值图像进行自适应二值化分割，并用形态学方法滤除噪声，再利用连通计算得到前景目标图像；
所述的基于训练好的深度网络构建分类器，将所述前景目标图像输入所述分类器，根据所述分类器的输出结果，判断所述前景目标图像是否属于包含落石的目标图像，包括：
采用栈式去噪自编码器作为深度网络的架构，收集铁轨区域的现场图片作为训练集中的无标记的样本数据，把训练集中的无标记的样本数据分割为大小相等的子块，将子块转换为1维向 量，将输入1维向 量到栈式去噪自编码器进行训练；利用逐层贪婪算法对单个隐层进行训练，然后利用这个隐层的输出作为下个隐层的输入，对下一个隐层进行训练，如此反复直到把所有的隐层都训练一遍，完成深度网络的预训练过程；用带标记的样本数据对整个深度网络的权值进行微调，完成深度网络的训练，基于训练好的深度网络构建分类器；
把所述前景目标图像进行归一化处理，并转换为1维向 量，将所述1维向 量输入到所述分类器，得到所述前景目标图像属于落石图像的概率，当所述概率大于预先设定的阈值时，则认为所述前景目标图像为包含落石的目标图像；否则，认为所述前景目标图像为没有包含落石的目标图像，输出包含落石的目标图像的物理坐标。
2.根据权利要求1所述的基于视觉分析的山区铁路边坡落石检测方法，其特征在于，所述的采集山区铁路的图像，包括：
采用内置CCD图像传感器的相机采集山区铁路的图像，将采集的图像传输到PC机，所述PC机对图像进行预处理，所述预处理包括灰度化、平滑滤波、直方图均衡化和灰度拉伸。
3.一种基于视觉分析的山区铁路边坡落石检测装置，其特征在于，包括:
图像采集模块，用于采集山区铁路的图像；
铁轨区域的图像获取模块，用于对所述山区铁路的图像进行局部线性检测和Hough变换，得到铁轨区域的图像；
前景目标图像获取模块，用于对所述铁轨区域的图像进行差分处理和二值化分割处理，得到前景目标图像；
落石目标图像获取模块，用于基于训练好的深度网络构建分类器，将所述前景目标图像输入分类器，根据所述分类器的输出结果，判断所述前景目标图像是否属于包含落石的目标图像；
所述的铁轨区域的图像获取模块，用于对预处理后的图像采用Canny算子边缘检测进行局部线性检测，检测出图像中的断点，扫描断点并修补断点，结合预先设定的滤波阈值，采用形态学滤波方法对图像进行滤波处理，再对滤波处理后的图像进行Hough变换，得到连通图像；
预先设定目标图像的判定阈值和限界范围，获取连通图像中的连通区域，将所述连通区域与所述判定阈值进行比较，当所述连通区域大于所述判定阈值且属于所述限界范围内，则判断所述连通图像为铁轨区域的图像，否则，判断所述连通图像不属于铁轨区域的图像；
所述的前景目标图像获取模块，用于读取当前帧的铁轨区域的图像，将所述当前帧的铁轨区域的图像与预先获得的上一帧的铁轨背景图像相减，得到差值图像，对所述差值图像进行自适应二值化分割，并用形态学方法滤除噪声，再利用连通计算得到前景目标图像；
所述的落石目标图像获取模块，用于采用栈式去噪自编码器作为深度网络的架构，收集铁轨区域的现场图片作为训练集中的无标记的样本数据，把训练集中的无标记的样本数据分割为大小相等的子块，将子块转换为1维向 量，将输入1维向 量到栈式去噪自编码器进行训练；利用逐层贪婪算法对单个隐层进行训练，然后利用这个隐层的输出作为下个隐层的输入，对下一个隐层进行训练，如此反复直到把所有的隐层都训练一遍，完成深度网络的预训练过程；用带标记的样本数据对整个深度网络的权值进行微调，完成深度网络的训练，基于训练好的深度网络构建分类器；
把所述前景目标图像进行归一化处理，并转换为1维向 量，将所述1维向 量输入到所述分类器，得到所述前景目标图像属于落石图像的概率，当所述概率大于预先设定的阈值时，则认为所述前景目标图像为包含落石的目标图像；否则，认为所述前景目标图像为没有包含落石的目标图像，输出包含落石的目标图像的物理坐标。
4.根据权利要求3所述的基于视觉分析的山区铁路边坡落石检测装置，其特征在于：
所述的图像采集模块，具体用于采用内置CCD图像传感器的相机采集山区铁路的图像，将采集的图像传输到PC机，所述PC机对图像进行预处理，所述预处理包括灰度化、平滑滤波、直方图均衡化和灰度拉伸。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610124955.7A CN105809679B (zh) | 2016-03-04 | 2016-03-04 | 一种基于视觉分析的山区铁路边坡落石检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610124955.7A CN105809679B (zh) | 2016-03-04 | 2016-03-04 | 一种基于视觉分析的山区铁路边坡落石检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105809679A CN105809679A (zh) | 2016-07-27 |
| CN105809679B true CN105809679B (zh) | 2019-06-18 |
Family
ID=56466760
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610124955.7A Expired - Fee Related CN105809679B (zh) | 2016-03-04 | 2016-03-04 | 一种基于视觉分析的山区铁路边坡落石检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105809679B (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106960179B (zh) * | 2017-02-24 | 2018-10-23 | 北京交通大学 | 轨道交通线路环境安全智能监测方法和装置 |
| CN108665489B (zh) * | 2017-03-27 | 2023-03-21 | 波音公司 | 用于检测地理空间影像的变化的方法及数据处理系统 |
| CN107392313B (zh) * | 2017-06-12 | 2020-09-29 | 五邑大学 | 一种基于深度学习的钢轨识别方法 |
| CN108318008A (zh) * | 2017-12-14 | 2018-07-24 | 深圳大学 | 一种地质灾害的探测方法、装置和系统 |
| WO2020062898A1 (zh) * | 2018-09-26 | 2020-04-02 | 惠州学院 | 一种视频前景目标提取方法及装置 |
| CN109410496B (zh) * | 2018-10-25 | 2022-04-01 | 北京交通大学 | 入侵预警方法、装置及电子设备 |
| CN109558881B (zh) * | 2018-11-22 | 2023-05-23 | 重庆广睿达科技有限公司 | 一种基于计算机视觉的危岩崩塌监控方法 |
| CN109871788A (zh) * | 2019-01-30 | 2019-06-11 | 云南电网有限责任公司电力科学研究院 | 一种输电走廊自然灾害影像识别方法 |
| CN109919129A (zh) * | 2019-03-21 | 2019-06-21 | 南京威翔科技有限公司 | 一种基于图像的异物检测方法 |
| CN110370902B (zh) * | 2019-04-12 | 2020-02-28 | 泰州三凯工程技术有限公司 | 命令分发控制系统 |
| CN110263965A (zh) * | 2019-05-06 | 2019-09-20 | 平安科技（深圳）有限公司 | 基于视频的预警方法、装置、计算机设备及存储介质 |
| CN111582084B (zh) * | 2020-04-24 | 2022-07-08 | 北京航空航天大学 | 基于弱监督学习的空基视角下的铁轨异物检测方法及系统 |
| CN111539363A (zh) * | 2020-04-28 | 2020-08-14 | 中交信息技术国家工程实验室有限公司 | 一种公路落石识别分析方法 |
| CN111626170B (zh) * | 2020-05-20 | 2023-05-23 | 中铁二院工程集团有限责任公司 | 一种铁路边坡落石侵限检测的图像识别方法 |
| CN111626169B (zh) * | 2020-05-20 | 2023-04-18 | 中铁二院工程集团有限责任公司 | 一种基于图像的铁路危险落石尺寸判断方法 |
| CN112508893B (zh) * | 2020-11-27 | 2024-04-26 | 中国铁路南宁局集团有限公司 | 基于机器视觉的铁路双轨间微小异物检测方法及系统 |
| CN112800938B (zh) * | 2021-01-26 | 2022-03-04 | 上海伯镭智能科技有限公司 | 无人驾驶车辆检测侧面落石发生的方法及装置 |
| CN113470316B (zh) * | 2021-05-24 | 2022-03-25 | 电子科技大学 | 一种基于自编码单分类模型的泥石流监测预警方法 |
| CN113804166B (zh) * | 2021-11-19 | 2022-02-08 | 西南交通大学 | 一种基于无人机视觉的落石运动参数数字化还原方法 |
| CN114299067A (zh) * | 2022-03-04 | 2022-04-08 | 西安华创马科智能控制系统有限公司 | 一种井下煤壁片帮预警方法及装置 |
| CN116385948B (zh) * | 2023-06-07 | 2023-09-15 | 成都考拉悠然科技有限公司 | 一种预警铁路边坡异常的系统和方法 |
| CN116630899B (zh) * | 2023-07-21 | 2023-10-20 | 四川公路工程咨询监理有限公司 | 一种高速公路边坡病害监测预警系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104331910A (zh) * | 2014-11-24 | 2015-02-04 | 沈阳建筑大学 | 一种基于机器视觉的轨道障碍物检测系统 |
| US20150170002A1 (en) * | 2013-05-31 | 2015-06-18 | Google Inc. | Object detection using deep neural networks |
| CN104787084A (zh) * | 2015-04-16 | 2015-07-22 | 北京交通大学 | 一种铁路异物侵限检测系统及检测方法 |
-
2016
- 2016-03-04 CN CN201610124955.7A patent/CN105809679B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150170002A1 (en) * | 2013-05-31 | 2015-06-18 | Google Inc. | Object detection using deep neural networks |
| CN104331910A (zh) * | 2014-11-24 | 2015-02-04 | 沈阳建筑大学 | 一种基于机器视觉的轨道障碍物检测系统 |
| CN104787084A (zh) * | 2015-04-16 | 2015-07-22 | 北京交通大学 | 一种铁路异物侵限检测系统及检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于图像处理的铁路道口监控与报警系统;薛骏 等;《微计算机信息（管控一体化）》;20080630;第24卷(第6-3期);第292-294页 * |
| 深度无监督学习算法研究;岳永鹏;《中国优秀硕士学位论文全文数据库》;20150915(第9期);摘要，第31-37页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105809679A (zh) | 2016-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105809679B (zh) | 一种基于视觉分析的山区铁路边坡落石检测方法 | |
| Aboah | A vision-based system for traffic anomaly detection using deep learning and decision trees | |
| CN105744232B (zh) | 一种基于行为分析技术的输电线路视频防外破的方法 | |
| CN101751744B (zh) | 一种烟雾检测和预警方法 | |
| CN105373135B (zh) | 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统 | |
| CN103914688B (zh) | 一种城市道路障碍物识别系统 | |
| Schmugge et al. | Detection of cracks in nuclear power plant using spatial-temporal grouping of local patches | |
| CN111339883A (zh) | 复杂场景下基于人工智能的变电站内异常行为识别与检测方法 | |
| CN106128022A (zh) | 一种智慧金睛识别暴力动作报警方法和装置 | |
| CN109766746A (zh) | 一种无人机航拍视频的轨道异物检测方法 | |
| CN104504377A (zh) | 一种公交车乘客拥挤程度识别系统及方法 | |
| CN115205796B (zh) | 轨道线路异物侵限监测与风险预警方法及系统 | |
| CN102445453B (zh) | 一种高速铁路线路护栏完整性自动检测装置及识别方法 | |
| CN105303162B (zh) | 一种基于目标建议算法的航拍图像绝缘子识别方法 | |
| CN111667655A (zh) | 基于红外图像的高速铁路安全区入侵警报装置及方法 | |
| Ye et al. | Application of lightweight railway transit object detector | |
| Ketcham et al. | The intruder detection system for rapid transit using CCTV surveillance based on histogram shapes | |
| CN110780356A (zh) | 地铁站台间隙异物检测系统 | |
| CN112464782A (zh) | 一种行人识别方法和系统 | |
| CN115600124A (zh) | 地铁隧道巡检系统及巡检方法 | |
| CN114875877A (zh) | 一种用于船舶过闸安全检测方法 | |
| Wang et al. | A safety helmet and protective clothing detection method based on improved-yolo v 3 | |
| CN106326840A (zh) | 一种基于光流直方图熵的人群异常行为检测方法 | |
| Li et al. | Application research of artificial intelligent technology in substation inspection tour | |
| CN112861762B (zh) | 基于生成对抗网络的铁路道口异常事件检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190618 |