CN110232682B - 一种基于图像的轨道异物探测方法 - Google Patents
一种基于图像的轨道异物探测方法 Download PDFInfo
- Publication number
- CN110232682B CN110232682B CN201910470604.5A CN201910470604A CN110232682B CN 110232682 B CN110232682 B CN 110232682B CN 201910470604 A CN201910470604 A CN 201910470604A CN 110232682 B CN110232682 B CN 110232682B
- Authority
- CN
- China
- Prior art keywords
- image
- track
- distance
- denseunet
- foreign matter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 23
- 238000010586 diagram Methods 0.000 claims abstract description 17
- 230000007704 transition Effects 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 10
- 230000004913 activation Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
一种基于图像的轨道异物探测方法，采集待测轨道图像，对不同形态的轨道设置相应的轨道匹配模板；使用Canny算子计算待测轨道图像中的边缘特征，并根据边缘特征计算图像的倒角距离，得到其距离特征图；将不同轨道模板在距离特征图中进行卷积匹配运算，以确定各个模板在图像上距离目标的倒角距离，倒角距离越小则表示模板在该位置的匹配值越高；找出各模板中与待测轨道图像倒角距离最小的模板，以此确定轨道异物检测区域；建立样本库，由包含轨道上异物所标定轮廓信息的图像集构成；建立DenseUNet模型，其主要由Dense模块、过渡模块、反卷积模块模块构成；基于样本库中的数据对DenseUNet模型进行训练，采用训练完成的DenseUNet模型对轨道区域内的异物位置以及轮廓区域进行识别。
Description
技术领域
本发明涉及一种轨道异物探测方法。
背景技术
现有基于图像的轨道异物探测方法大体可以分为两类：其一为采用传统图像特征提取方法，如sobel变换、霍夫变换、小波变换等，此类传统特征提取方法中，如霍夫变换等计算量较大，同时对轨道条件较为复杂的情况难以对轨道特征进行准确提取；差分等方法受到光照影响较大；单独使用sobel等算子对图像进行卷积时则难以准确对轨道边缘进行定位，难以对复杂场景中不同异物的特征进行稳定有效的提取；其二为采用机器学习相关算法基于标定的轨道异物样本集进行训练，此类方法计算量往往相对较高，需要大量标定的样本数据进行训练，同时机器学习模型的结构往往直接关系到识别效果的好坏。
发明内容
本发明所要解决的技术问题是克服现有技术的上述不足而提供一种基于图像的轨道异物探测方法，本发明采用基于倒角距离的模板匹配方法，以实现快速准确地对轨道区域进行识别；同时基于DenseNet模型结构对UNet模型结构进行改进，提出DenseUNet网络模型，以实现减少网络计算量、准确提取轨道区域内异物边缘特征的目的。
本发明解决上述问题所采用的技术方案为：
一种基于图像的轨道异物探测方法，其特征在于：采集待测轨道图像，并对不同形态的轨道设置相应的轨道匹配模板；使用Canny算子计算待测轨道图像中的边缘特征，并根据边缘特征计算图像的倒角距离，得到其距离特征图；将不同轨道模板在距离特征图中进行卷积匹配运算，以确定各个模板在图像上距离目标的倒角距离，倒角距离越小则表示模板在该位置的匹配值越高；找出各模板中与待测轨道图像倒角距离最小的模板，以此确定轨道异物检测区域；建立样本库，由包含轨道上异物所标定轮廓信息的图像集构成；建立DenseUNet模型，其主要由Dense模块、过渡模块、反卷积模块等模块构成；基于样本库中的数据对DenseUNet模型进行训练，采用训练完成的DenseUNet模型对轨道区域内的异物位置以及轮廓区域进行识别。
更具体地，所述不同形态的轨道指列车前方轨道存在如左转、右转、直行或并轨等不同形态。
更好地，所述轨道匹配模板指由于轨道形态相对固定，可以使用一系列二值图像的匹配模板对轨道的形态如左转、右转、直行或并轨等进行描述。
更好地，所述图像的倒角距离指将图像的边缘特征二值图中各像素点根据其与附近像素点之间的关系计算出该点处的距离，称为倒角距离。
更好地，所述卷积匹配运算指将不同轨道模板分别与距离特征图作卷积运算，求得各模板与距离特征图之间的倒角距离。
更好地，所述包含轨道上异物所标定轮廓信息的数据集指对于存在异物的图像，将带有异物的图像作为数据集中的输入样本，将异物在图像中所占据区域的轮廓信息作为数据集中的输出样本。
更好地，所述DenseUNet模型为采用Dense模块替代UNet结构中原始的卷积层，通过此做法能够增加网络模型的容量，同时结合过渡模块、反卷积模块等各个模块以实现减少网络模型参数、提高图像特征利用率等目的。
更好地，所述Dense模块为使用多个Dense层进行密集连接组成，即各Dense层的输出均与后续所有Dense层的输入进行拼接，将此拼接后的结果作为输入进入对应Dense层。
更好地，所述过渡模块由批量归一化、ReLU激活函数、1×1卷积层以及跨度为2的2×2均值池化层组成。
更好地，所述反卷积模块由二维反卷积层、批量归一化以及ReLU激活函数组成。
与现有技术相比，本发明的优点在于：使用倒角距离模板匹配提取异物检测区域，然后采用DenseUNet网络结构完成对异物的检测。
本发明采用Canny算子提取轨道图像边缘轮廓，同时根据轨道外形固有特征，提出采用倒角距离结合模板匹配的思想确定轨道异物检测区域，方法能有效滤除特征图中的干扰性特征，快速准确地定位列车轨道所处区域，稳定性高，计算量较低，能够较好应用于工程实践中，同时边缘特征具有光照不敏感的特性，不易受到天气以及昼夜变化的影响。
本发明采用Dense结构对UNet结构进行改进，所得网络模型参数量较少，计算量较低，识别效果较好，能够满足实时检测的需求。
附图说明
图1是本发明实施例基于图像的轨道异物探测方法的原理方框图。
图2是待测轨道图像样本图。
图3是轨道匹配模板图。
图4是边缘特征二值图。
图5是距离特征图。
图6是模板匹配结果图。
图7是轨道异物检测区域图。
图8是DenseUNet网络结构图。
图9是Dense模块结构图。
图10是Dense层结构图。
图11是过渡模块结构图。
图12是反卷积模块结构图。
具体实施方式
下面结合附图、实施例对本发明进一步说明。
如图1所示的本发明一种基于图像的轨道异物探测方法的原理方框图，采集待测轨道图像，根据图像中列车轨道外形不会产生巨大变化的思想（宽度不会改变，拐弯角度有限，始终位于列车中央区域），对不同形态的轨道设置相应的轨道匹配模板；使用Canny算子计算待测轨道图像中的边缘特征，并根据边缘特征计算图像的倒角距离，得到其距离特征图；将不同轨道模板在距离特征图中进行卷积匹配运算，以确定各个模板在图像上距离目标的倒角距离，倒角距离越小则表示模板在该位置的匹配值越高；找出各模板中与待测轨道图像倒角距离最小的模板，以此确定轨道异物检测区域。建立样本库，由包含轨道上异物所标定轮廓信息的图像集构成；建立DenseUNet模型，其主要由Dense模块、过渡模块、反卷积模块等模块构成；基于样本库中的数据对DenseUNet模型进行训练，采用训练完成的DenseUNet模型对轨道区域内的异物位置以及异物轮廓区域进行识别。
附图2所示为所采集的待测轨道图像样本，附图3所示为建立的轨道匹配模板图。采用Canny算子对待测轨道图像样本进行边缘特征提取，所得边缘特征二值图结果如图4所示。
将图像的边缘特征二值图中各像素点根据其与附近像素点之间的关系计算出该点处的距离，即为倒角距离。边缘特征二值图对应的距离特征图如附图5所示。
将各模板分别与待测轨道图像进行卷积匹配运算，找出与待测轨道图像匹配度最高的模板，如附图6所示。求得的轨道异物检测区域如附图7所示。
在获得轨道异物检测区域后，建立DenseUNet网络模型，网络结构如附图8所示。网络主要由Dense模块、过渡模块以及反卷积模块组成。其中，Dense模块为使用多个Dense层进行密集连接组成，即各Dense层的输出均与后续所有Dense层的输入进行拼接，将此拼接后的结果作为输入进入对应Dense层，Dense模块结构如附图9所示，Dense层结构如附图10所示。过渡模块由批量归一化、ReLU激活函数、1×1卷积层以及跨度为2的2×2均值池化层组成，其结构如附图11所示。反卷积模块由二维反卷积层、批量归一化以及ReLU激活函数组成，其结构如附图12所示。
建训练样本库，其由包含轨道上异物所标定轮廓信息的图像集构成，将带有异物的图像作为数据集中的输入样本，将异物在图像中所占据区域的轮廓信息作为数据集中的输出样本，对网络进行训练。采用训练完成的DenseUNet模型对轨道区域内的异物位置以及轮廓区域进行识别。
对于相同的轨道异物数据集，采用传统UNet模型以及本发明提出DenseUNet模型进行训练，并对相同的测试集进行识别，实验结果如下所示：
| 网络模型 | 计算时间 | 识别精度 | 模型参数 |
| UNet | 29ms | 54.8% | 144k |
| DenseUNet | 34ms | 62.3% | 98k |
从上表可以看出，本发明提出的网络模型识别精度较高，同时模型参数较少。由于在GPU中进行运算，DenseUNet需要将单元参数信息保存至ROM中，导致计算速度的降低，但在CPU中的计算速度是能够远远超过相同精度的UNet模型所需参数数量。
Claims (5)
1.一种基于图像的轨道异物探测方法，其特征在于：采集待测轨道图像，并对不同形态的轨道设置相应的轨道匹配模板；使用Canny算子计算待测轨道图像中的边缘特征，并根据边缘特征计算图像的倒角距离，得到其距离特征图；将不同轨道模板在距离特征图中进行卷积匹配运算，以确定各个模板在图像上距离目标的倒角距离，倒角距离越小则表示模板在计算倒角距离位置的匹配值越高；找出各模板中与待测轨道图像倒角距离最小的模板，以此确定轨道异物检测区域；建立样本库，由包含轨道上异物所标定轮廓信息的图像集构成；建立DenseUNet模型，其主要由Dense模块、过渡模块、反卷积模块等模块构成；基于样本库中的数据对DenseUNet模型进行训练，采用训练完成的DenseUNet模型对轨道区域内的异物位置以及轮廓区域进行识别；所述不同形态的轨道指列车前方轨道存在不同形态；所述轨道匹配模板指由于轨道形态相对固定，可以使用一系列二值图像的匹配模板对轨道的形态进行描述；所述图像的倒角距离指将图像的边缘特征二值图中各像素点根据其与附近像素点之间的关系计算出该点处的距离，称为倒角距离；所述卷积匹配运算指将不同轨道模板分别与距离特征图作卷积运算，求得各模板与距离特征图之间的倒角距离；所述包含轨道上异物所标定轮廓信息的数据集指对于存在异物的图像，将带有异物的图像作为数据集中的输入样本，将异物在图像中所占据区域的轮廓信息作为数据集中的输出样本。
2.根据权利要求1所述基于图像的轨道异物探测方法，其特征是：所述DenseUNet模型为采用Dense模块替代UNet结构中原始的卷积层，同时结合过渡模块、反卷积模块等各个模块。
3.根据权利要求2所述基于图像的轨道异物探测方法，其特征是：所述Dense模块为使用多个Dense层进行密集连接组成，即各Dense层的输出均与后续所有Dense层的输入进行拼接，将此拼接后的结果作为输入进入对应Dense层。
4.根据权利要求2所述基于图像的轨道异物探测方法，其特征是：所述过渡模块由批量归一化、ReLU激活函数、1×1卷积层以及跨度为2的2×2均值池化层组成。
5.根据权利要求2所述基于图像的轨道异物探测方法，其特征是：所述反卷积模块由二维反卷积层、批量归一化以及ReLU激活函数组成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910470604.5A CN110232682B (zh) | 2019-05-31 | 2019-05-31 | 一种基于图像的轨道异物探测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910470604.5A CN110232682B (zh) | 2019-05-31 | 2019-05-31 | 一种基于图像的轨道异物探测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110232682A CN110232682A (zh) | 2019-09-13 |
| CN110232682B true CN110232682B (zh) | 2023-12-12 |
Family
ID=67858340
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910470604.5A Active CN110232682B (zh) | 2019-05-31 | 2019-05-31 | 一种基于图像的轨道异物探测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110232682B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112288717A (zh) * | 2020-10-29 | 2021-01-29 | 哈尔滨市科佳通用机电股份有限公司 | 一种动车组列车侧部异物检测方法 |
| CN112508893B (zh) * | 2020-11-27 | 2024-04-26 | 中国铁路南宁局集团有限公司 | 基于机器视觉的铁路双轨间微小异物检测方法及系统 |
| CN113096090B (zh) * | 2021-04-07 | 2022-12-06 | 中国工程物理研究院机械制造工艺研究所 | 带倒角的端面间隙视觉测量方法、装置、设备及存储介质 |
| CN114494983A (zh) * | 2022-04-15 | 2022-05-13 | 北京大成国测科技有限公司 | 一种铁路异物入侵监测方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101840513A (zh) * | 2010-05-21 | 2010-09-22 | 华中科技大学 | 一种图像形状特征提取方法 |
| CN108256421A (zh) * | 2017-12-05 | 2018-07-06 | 盈盛资讯科技有限公司 | 一种动态手势序列实时识别方法、系统及装置 |
-
2019
- 2019-05-31 CN CN201910470604.5A patent/CN110232682B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101840513A (zh) * | 2010-05-21 | 2010-09-22 | 华中科技大学 | 一种图像形状特征提取方法 |
| CN108256421A (zh) * | 2017-12-05 | 2018-07-06 | 盈盛资讯科技有限公司 | 一种动态手势序列实时识别方法、系统及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 《Calcium removal from cardiac ct images using deep convolutional neural network》;Siming Yan等;《2018 IEEE 15th International Symposium on Biomedical Imaging 》;20180524;第1-3节，图1 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110232682A (zh) | 2019-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110232682B (zh) | 一种基于图像的轨道异物探测方法 | |
| CN109060836B (zh) | 基于机器视觉的高压油管接头外螺纹检测方法 | |
| CN109191459B (zh) | 连铸坯低倍组织中心偏析缺陷的自动识别与评级方法 | |
| CN104990925B (zh) | 一种基于梯度多阈值优化缺陷检测方法 | |
| CN103499585A (zh) | 基于机器视觉的非连续性锂电池薄膜缺陷检测方法及其装置 | |
| CN105388162A (zh) | 基于机器视觉的原料硅片表面划痕检测方法 | |
| CN109215009B (zh) | 基于深度卷积神经网络的连铸坯表面图像缺陷检测方法 | |
| CN108596165A (zh) | 基于无人机低空航拍图像的道路交通标线检测方法及系统 | |
| CN108764234B (zh) | 一种基于巡检机器人的液位仪表读数识别方法 | |
| CN114820625B (zh) | 一种汽车顶块缺陷检测方法 | |
| CN103886597A (zh) | 一种基于边缘检测与拟合曲线聚类的圆检测方法 | |
| CN113240623B (zh) | 一种路面病害检测方法及装置 | |
| CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
| CN111524154B (zh) | 一种基于影像的隧道管片自动化分割方法 | |
| CN117173661B (zh) | 基于计算机视觉的沥青道路质量检测方法 | |
| CN111968079B (zh) | 基于断面局部极值及分段稀疏的三维路面裂缝提取方法 | |
| CN115100206A (zh) | 用于具有周期图案纺织物的印花缺陷识别方法 | |
| CN104050660A (zh) | 一种测量工件圆形边缘的方法 | |
| CN110717900A (zh) | 基于改进Canny边缘检测算法的受电弓磨耗检测方法 | |
| CN108492306A (zh) | 一种基于图像轮廓的x型角点提取方法 | |
| CN115690012A (zh) | 一种电能表接错线的检测方法 | |
| CN112085699A (zh) | 一种基于二维图像的路面裂缝提取方法 | |
| CN115866502A (zh) | 一种麦克风零件表面缺陷在线检测流程 | |
| CN115018790A (zh) | 一种基于异常检测的工件表面缺陷检测方法 | |
| CN114155226A (zh) | 一种微小缺陷边缘计算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Wang Heming Inventor after: Zheng Liangguang Inventor after: Li Xuejiang Inventor after: Yang Yuzhao Inventor after: Zhou Feng Inventor before: Shi Xianwei Inventor before: Wang Heming Inventor before: Zheng Liangguang Inventor before: Yang Yuzhao Inventor before: Zhou Feng |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |