CN116188358A - 一种基于深度学习的钢轨表面缺陷检测方法 - Google Patents
一种基于深度学习的钢轨表面缺陷检测方法 Download PDFInfo
- Publication number
- CN116188358A CN116188358A CN202211377977.6A CN202211377977A CN116188358A CN 116188358 A CN116188358 A CN 116188358A CN 202211377977 A CN202211377977 A CN 202211377977A CN 116188358 A CN116188358 A CN 116188358A
- Authority
- CN
- China
- Prior art keywords
- steel rail
- image
- defect
- rail
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 132
- 238000001514 detection method Methods 0.000 title claims abstract description 86
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 229910000831 Steel Inorganic materials 0.000 claims abstract description 64
- 239000010959 steel Substances 0.000 claims abstract description 64
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000011218 segmentation Effects 0.000 claims abstract description 25
- 230000007246 mechanism Effects 0.000 claims abstract description 14
- 238000010586 diagram Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 11
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 19
- 230000000694 effects Effects 0.000 description 21
- 230000006872 improvement Effects 0.000 description 13
- 238000002474 experimental method Methods 0.000 description 9
- 231100000241 scar Toxicity 0.000 description 9
- 238000005299 abrasion Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000002679 ablation Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 208000032544 Cicatrix Diseases 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 230000037387 scars Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000004901 spalling Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000006247 magnetic powder Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011202 physical detection method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000037390 scarring Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Chemical & Material Sciences (AREA)
- Signal Processing (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的钢轨表面缺陷检测方法。该方法针对钢轨缺陷边缘不明显、尺寸小、纹理干扰等问题，依次进行钢轨区域提取、改进Retinex图像增强、背景建模差分和阈值分割，得到缺陷的分割图。对于缺陷的分类，引入Res2Net和CBAM注意力机制，增大感受野和小目标位置权重，在PANet结构中去掉自下而上的路径增强结构，减少参数冗余，提高小目标的特征提取能力。实验结果表明，钢轨缺陷检测平均准确率达到92.68％，召回率达到92.33％，检测速度达到每张图片0.068s。将改进方法与主流目标检测算法Faster RCNN、SSD、YOLOv3和YOLOv4对比，结果表明改进YOLOv4模型在钢轨缺陷检测中的F1值达到0.925，明显优于其他几种主流算法，能够很好地应用于轨道缺陷检测项目中。
Description
技术领域
本发明属于钢轨检测技术领域，具体涉一种基于深度学习的钢轨表面缺陷检测方法。
背景技术
随着铁路网络布局的推进和高铁技术的快速发展，钢轨故障诊断维系列车安全运行的重要保障，根据相关安全统计数据显示，钢轨表面缺陷引发的列车安全事故约占所有事故原因的30％[1]。因此，为保障列车的行车安全，对钢轨表面缺陷进行准确、动态的检测已成为铁路发展迫切需要解决的问题，并具有重要的实际应用价值及研究意义。
列车运行中，钢轨受到轮轨的挤压、冲击、磨损等接触应力和自然风化的影响，其健康状态和质量不断恶化，从而在表面形成裂纹、塌陷、剥离、磨损、疤痕等缺陷，随着时间的推移，这些缺陷将进一步恶化钢轨造成断轨，从而引发铁路脱轨安全事故。因此，钢轨缺陷的多样性和动态性给轨道检查技术带来了巨大的挑战。
1、目前，铁路轨检主要采用物理性的检测方法，主要包括超声波法、电涡流法、磁粉法等，传统的检测方法需要依靠人工操作，且耗费时间、劳动强度高、效率低，同时会给检查人员带来未知的安全隐患。
2、近年来，机器视觉以速度快、精度高、可靠性强等优点，被用于表面缺陷识别算。目前研究者FAGHIH-ROOHIS设计了3层卷积层和最大池化层的卷积神经网络结构，提升了缺陷的检测速度，模型区分正常和有表面缺陷的钢轨的准确率可达到92.00％，但只对缺陷进行了检测，没有进行分类。
3、研究这袁小翠对Otsu方法进行改进，以目标出现的概率为权重，对类间方差的目标方差加权，使分割阈值靠近单模直方图的左边缘和双模直方图的谷底，缺陷检测率和误检率分别达到93％和6.4％，但是该图像分割算法分割出缺陷太费时，满足不了实时性。
4、研究者SHANGL采用基于Inception-v3结构的卷积神经网络来区分正常和有缺陷的钢轨图像，模型结构简单，处理速度更快，在测试集上实现了92.08％的识别准确率，但该方法只对疤痕缺陷有效。
5、研究者如Kumar等对钢轨缺陷图像特征进行分析，通过图像滤波的方式去除干扰噪声，再进行网络训练，提高了表面缺陷的检测效果，但其中的图像增强算法不具有普适性，且图像处理费时。
6、研究者韩强等提出一种多层级特征融合的钢轨表面伤损检测方法，融合多个层级不同感受野的图像特征进行目标检测，提升了检测结果的准确性，还降低了对小面积伤损区域的漏检率，但该方法检测的缺陷种类太少，不适用于钢轨的所有缺陷。
以上研究更多的关注缺陷的检测，没有对缺陷进行分类识别，且存在图像识别方法不具有普适性、图像处理太费时、满足不了钢轨缺陷检测的实时性等问题。
发明内容
为了解决上述技术问题，本发明提供了一种基于深度学习的钢轨表面缺陷检测方法，该方法针对钢轨缺陷边缘不明显、尺寸小、纹理干扰等问题，依次进行钢轨区域提取、改进Retinex图像增强、背景建模差分和阈值分割，得到缺陷的分割图。对于缺陷的分类，引入Res2Net和CBAM注意力机制，增大感受野和小目标位置权重，在PANet结构中去掉自下而上的路径增强结构，减少参数冗余，提高小目标的特征提取能力。
为了达到解决上述技术问题的技术效果，本发明是通过以下技术方案实现的：
一种基于深度学习的钢轨表面缺陷检测方法，包括如下步骤：
1、首先对钢轨区域进行提取，再通过改进Retinex图像增强算法进行图像处理，最后通过背景建模差分和阈值分割得到缺陷的分割图；
2、再基于上述算法引入Res2Net和CBAM注意力机制，对于缺陷分隔图进行分类输出，从而得到最终的钢轨缺陷特征图；
进一步地，所述钢轨区域提取时，首先采用列直方图最小值法从原始轨道图像中分割出钢轨区域；
进一步地，所述改进Retinex图像增强算法为多尺度Retinex(MSR)算法，增强多尺度加权平均得到，其表达式如下：
其中，N为总尺度数，一般取3，Wn为尺度系数，且满足
Gn(x,y)表示尺度个数为n的高斯函数。
再对量化方式MSR算法中引入均值和均方差，加入控制图像动态参数调节对比度，其公式如下：
其中，D为图像的动态调节参数，μ、MSE分别为log[RMSR(x,y)]中R、G、B各通道数的均值和均方差，Value为log[RMSR(x,y)]的值；
进一步地，所述背景建模差分先以钢轨为基准建立背景模型：
Im(x)＝mean(Iy(x))
式中Im(x表示第x列图像背景建模，mean(·)为均值函数；再钢轨图像与背景模型图像相减，得到差分图像：
式中，I0(x,y)为原图，Im(x,y)为建模背景图；
进一步地，所述阈值分割先定义Niblack阈值：
th＝μΔI+C·δΔI
式中μΔI和δΔI分别为ΔI(x,y的均值和方差，控制因子C为常数，由于差分图像具有零均值的特性，简化后为：
th＝C·δΔI
当C＝3时，根据得到的阈值th对图像进行分割处理；
进一步地，所述Res2Net是在原有的残差单元结构中增加小的残差块，同时增加了每一层网络的感受野大小；
进一步地，所述CBAM注意力机制是将钢轨缺陷特征图使用卷积后，再经过激活函数等变换来生成注意力模板，最终使用原特征图与得到的注意力模板作积，得到钢轨缺陷特征图。
本发明的有益效果是：
1、本发明针对钢轨缺陷边缘不明显、尺寸小、纹理干扰等问题，依次进行钢轨区域提取、改进Retinex图像增强、背景建模差分和阈值分割，得到缺陷的分割图。对于缺陷的分类，引入Res2Net和CBAM注意力机制，增大感受野和小目标位置权重，在PANet结构中去掉自下而上的路径增强结构，减少参数冗余，提高小目标的特征提取能力。实验结果表明，钢轨缺陷检测平均准确率达到92.68％，召回率达到92.33％，检测速度达到每张图片0.068s。将改进方法与主流目标检测算法FasterRCNN、SSD、YOLOv3和YOLOv4对比，结果表明改进YOLOv4模型在钢轨缺陷检测中的F1值达到0.925，明显优于其他几种主流算法，能够很好地应用于轨道缺陷检测项目中。
2、本发明在图像处理部分，首先对采集到的图像进行钢轨区域提取，然后用改进Retinex算法增强缺陷边缘信息，再采用背景建模差分法去除背景干扰，最后采用自适应阈值分割法提取出缺陷。改进的Retinex算法和背景建模差分法参数很少，处理简单，对缺陷的检测速度影响很小，有利于提升检测时的缺陷召回率。在深度学习方面，首先通过引入CBAM注意力机制，增强对缺陷的目标检测能力；再将网络种的ResNet残差网络替换成Res2Net，提高特征的感受野的同时融合多尺度特征；最后在原有特征层的基础上新增一个目标检测层，继续融合浅层特征和深层特征，增大特征检测尺度。尽管增加新的特征检测层会导致网络结构参数量的增加，但去掉Panet中小目标发挥有限的自下而上的路径增强结构来减少参数冗余，整体上只比YOLOv4增加13ms，十分接近YOLOv4的检测速度。改进后的结构不仅继承了原有结构的特征融合效果，而且能在降低网络参数的同时获取更浅层的特征，提高小目标的特征提取能力。
3、本发明改进YOLOv4目标检测算法对钢轨缺陷实现了高效准确的检测，其中裂纹、疤痕、磨损、剥落4种缺陷的识别精度分别达到了94.8％、94.0％、89.7％、92.2％。其准确率，召回率均高于其他主流目标检测算法。本文提出的检测算法在保证高检测精度的同时保证了检测速度，更适用于执行钢轨表面伤损检测任务。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是基于背景差分法的缺陷检测算法框图；
图2是改进Retinex算法增强处理效果对比图；
图3是自适应阈值分割效果图；
图4是ResNet及Res2Net结构图；
图5是CBAM整体结构图；
图6是改进YOLOv4网络结构图；
图7是数据集扩充视图；
图8是不同目标检测算法检测裂纹、疤痕、磨损、剥落效果对比图；
图9是四种缺陷裂纹、疤痕、磨损、剥落的准确率曲线图；
图10是消融实验损失值变化曲线图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1
本实施例基于一种基于深度学习的钢轨表面缺陷检测方法中的钢轨区域提取、改进Retinex图像增强、背景建模差分和阈值分割，具体详细步骤和算法。钢轨表面缺陷在采集的过程中极易受到光照变化、纹理背景杂乱等干扰的影响，使得缺陷检测识别出来极为困难。为了使钢轨缺陷能更好地被检测和分类，本文从钢轨区域提取、缺陷边缘增强、背景建模差分和阈值分割4个步骤对采集到的钢轨缺陷图像进行增强处理，处理流程如图1所示，解决了钢轨表面缺陷分割过程中图像光照变化、纹理背景干扰等不利因素的影响。
1、钢轨区域提取为降低背景对钢轨缺陷检测的影响，首先采用列直方图最小值法从原始轨道图像中分割出钢轨区域。列直方图的算法步骤为：
(1)计算每一列灰度值的和Si；
(2)按照固定钢轨宽度间隔d搜索(Si+d-Si)的最小值min；
(3)最小值min所对应的i列即为对应钢轨最左边位置；
(4)最右边钢轨的位置为第(i+d)列；
2、改进的Retinex图像增强算法，是由于拍摄出的钢轨图像亮度值和对比度偏低，影响图像缺陷特征的提取，且磨损和裂纹两种缺陷与原图像背景相似，纹理特征不明显，会对图像的特征提取带来很大的挑战。故需要对图像进行处理，增强边缘轮廓的对比度，有助于图像的分割。
Retinex理论是一种自适应图像增强理论。该理论认为物体的亮度取决于环境的照明和物体表面对照射光的反射。反射分量为物体的本质，只要将照射分量去除，就能还原物体图像。多尺度Retinex(MSR)算法通过增加多个尺度进行加权平均得到，能取得更好的效果，表达式为：
其中，N为总尺度数，一般取3，Wn为尺度系数，且满足
Gn(x,y)表示尺度个数为n的高斯函数。
SSR与MSR算法在量化过程中采用线性量化的方式，处理后的数据分布很广，会出现严重的两级分化现象，一般难以获得满意的结果。为了增强钢轨缺陷边缘信息，本文对MSR算法从量化的方式上进行改进。引入均值和均方差，再加入一个控制图像动态的参数来实现对比度的调节，就能解决数据两级分化严重从而导致图像增强效果不理想的问题，公式如下，
其中，D为图像的动态调节参数，D值越小，图像的对比度越强，μ、MSE分别为log[RMSR(x,y)]中R、G、B各通道数的均值和均方差，Value为log[RMSR(x,y)]的值。
经实验，尺度数为3，D为2.5时效果最佳，如图2，结果显示，改进后的Retinex比MSR对比度更强、缺陷边缘信息更突出，比直方图均衡化的噪声更少。因为如果直接对MSR处理的结果进行量化，得到的图像往往整体偏灰度，这是由于原始的值经过对数处理后的数据范围就比较小了，这样各通道之间的差异也很小，而之后的线性量化比对数曲线要平滑很多，因此整体效果偏暗，边缘信息容易丢失。本文提出的改进Retinex算法从均值和均方差的方式改变量化的方式，加强了缺陷边缘，取得了很好的效果。经计算，平均每张图片的信噪比PSNR达到15.40，图像质量改善非常明显，非常适用于钢轨缺陷图像的处理。
3、钢轨表面缺陷背景差分分割算法。了将钢轨表面缺陷从背景图像中分割开来，本文提出了基于背景差分的缺陷分割算法，背景差分法的思想是从当前图像中减去背景图像从而得到缺陷图像的过程。背景图像通过学习视频序列而获得，基于背景差分提取视频序列中运动前景的方法主要分为3步，即背景建模、前景检测和背景更新。其中背景建模中均值法最为简单，能快速有效分割静态场景中的运动目标，实时性高。
由于单幅图像缺陷分割无法从视频序列中学习背景模型，因此视频监控中背景差分法无法直接用于钢轨表面缺陷分割，考虑钢轨图像沿钢轨方向灰度值变化范围小的特征及实时性要求，提出了基于均值背景差分的钢轨表面缺陷分割算法。
背景建模：定义垂直钢轨方向为x轴，沿钢轨方向为y轴。根据钢轨图像沿y轴变化小的特征，计算图像每列均值，建立背景图像模型：
Im(x)＝mean(Iy(x))
式中Im(x)表示第x列图像背景建模，mean(·)为均值函数。
该算法实现了静态单幅图像背景建模，由于建模简单，处理速度并未受到影响，而且背景最大限度地接近原图像。
背景差分：为了突出缺陷，减弱光照变化和反射不均地影响，将钢轨图像与背景图像相减，得到差分图像：
式中，I0(x,y)为原图，Im(x,y)为建模背景图。
自适应阈值分割：为了在差分图像中分割出缺陷区域，定义Niblack阈值：
th＝μΔI+C·δΔI
式中μΔI和δΔI分别为ΔI(x,y)的均值和方差，控制因子C为常数。跟据切比雪夫不等式所知，在任何数据集中，与平均数超过C倍标准差的数据所占的比例至多是1/C2，为此，可根据缺陷占图像的比例确定C值。由于差分图像具有零均值的特性，上式可简化为：
th＝C·δΔI
经实验，当C＝3时的分割效果最好，根据得到的阈值th对图像进行分割处理，效果图如图3所示，该方法能很好地将缺陷分割出来。
实施例2
本实施例提供基于YOLOv4目标检测算法的钢轨缺陷检测。YOLOv4网络是YOLO系列中综合性能较好的目标检测识别网络，其在对大中型、显著分离的目标识别性能较高，但对于小尺寸目标和背景差异小的目标检测精度很低。本钢轨数据集中，疤痕和剥落缺陷的大多数目标尺寸很小，磨损和裂纹缺陷的前景背景差异小，因此直接用YOLOv4网络对钢轨缺陷进行识别的效果并不理想，为此，本文在YOLOv4网络得基础上对网络结构和特征提取方面进行优化改进，使其适应钢轨缺陷的检测识别。
钢轨缺陷特征提取方法中先引入Res2Net。在特征提取部分，针对钢轨缺陷存在尺寸小、细节信息少的问题，本文引入Res2Net结构和注意力机制来增强缺陷的特征提取。将YOLOv4网络结构中的ResNet残差块替换为Res2Net结构，结构图如图4所示，该结构不仅能增加每个网络层的感受野，又能提高多尺寸特征提取的能力，对小尺寸缺陷能进行有效的检测。
Res2Net是在原有的残差单元结构中增加小的残差块，同时增加了每一层网络的感受野大小，改进步骤如下：
(1)输入钢轨缺陷特征图经过1×1卷积层降维后分成4个子特征图，每个特征子图用xi(i＝1，2，3，4)表示，其中x1直接进行子特征图输出，将输出特征图表示为y1。
(2)其他子特征图都进行3×3卷积操作，记作Ki(i＝2，3，4)，将其输出特征图记作yi(i＝2，3，4)，子特征图xi和前一个输出特征图Ki-1相加后进行3×3卷积Ki操作。
(3)通过“Concat”操作对输出的各部分特征图yi进行拼接，除y1外，每个输出特征图yi均融合其前一个输出特征图的特征信息。
(4)将y1，y2，y3，y4拼接的结果通过1×1卷积输出，得到新的特征图。
Res2Net结构中，每一个输出都能增大感受野，其中y2可以得到3x3的感受野，y3可以得到5x5的感受野，y4则可以得到更大的7x7的感受野，所以每一个Res2Net都能获取不同数量和不同感受野大小的特征组合。因此，该结构既能增加每个网络层的感受野，又能融合多尺度特征。对小尺寸目标的检测非常有效。
CBAM注意力机制。为了加强模型对有效特征信息的关注，提升钢轨缺陷的区域权重，在模型中添加注意力机制。CBAM(Convolutional Block Attention Module)是一种基于卷积神经网络(CNN)的轻量级注意力模块，其整体结构如图5所示。它融合了通道注意力模块(CAM，Channel Attention Module)与空间注意力模块(SAM，Spatial AttentionModule)，生成对应的特征图映射以提高特征图中缺陷区域的权重，进而使模型更加关注缺陷位置的特征，降低背景及空间分布不均等问题对钢轨缺陷检测精度的影响。
在通道注意力中：将钢轨缺陷特征分别进行最大池化和平均池化，得到两个1×1×C的通道描述；再将它们分别送入一个两层的共享全连接层，将输出的两个特征相加后经过Sigmoid激活函数得到一个权重系数；最后将权重系数和原来的特征相乘的新特征作为空间注意力的输入。
在空间注意力中：将通道进行全局平均池化以及全局最大池化操作，产生两个代表不同信息的特征图；合并后再通过一个感受野较大的7×7卷积进行特征融合；最后再通过Sigmoid操作来生成权重图叠加回原始的输入特征图，得到最终的钢轨缺陷特征图输出。
总的来说，CBAM注意力机制就是将钢轨缺陷特征图使用1×1卷积后，再经过激活函数等变换来生成注意力模板，最终使用原特征图与得到的注意力模板作积，得出输出特征图。并且输出后的特征图与原输入的钢轨缺陷特征图尺寸大小不变，只是特征元素发生了改变，变得更加专注于缺陷图像的边缘位置信息，降低背景对检测精度的影响，减少错检、漏检率。因此，本文在CSPDarknet53每组重复的卷积层之间添加CBAM注意力模块，能帮助网络更好、更深层地提取特征，进一步提高网络对钢轨缺陷学习的能力。
缺陷识别网络设计中网络结构YOLOv4使用的PANet结构可对不同特征层的语义信息进行融合补充，适合检测不同尺寸的目标。但钢轨表面缺陷在图像中像素占比较少且数量占比较多，原有的PANet结构对微小缺陷目标仍缺乏有效的检测。因此，本文在原有特征层的基础上继续融合浅层特征和深层特征，增大特征检测尺度，形成一个新的特征检测层。
增加新的特征检测层会导致网络结构参数量的增加，且自下而上的路径增强结构在小目标居多的情况下发挥的作用有限，因此为减少参数冗余，保证足够的检测速度，去除PANet中自下而上的路径增强结构。改进后的PANet结构如图6所示。改进后的结构不仅继承了原有结构的特征融合效果，而且能在降低网络参数的同时获取更浅层的特征，提高小目标的特征提取能力。
锚框聚类是由于新增了一个特征检测层，预设的锚框个数和尺寸均不适用于本网络，故需对其重新聚类。YOLOv4网络采用k-means聚类，聚类效果的好坏很大程度上决定于初始聚类中心的选取。为了保证相对较好的聚类效果，本文采取k-means++来对锚框进行重新聚类。一般来说，初始的聚类中心应当尽可能地远离，进行k-means聚类前，应对初始聚类中心进行筛选，可以很大程度上改进k-means的效果。聚类步骤如下：
1)从钢轨缺陷数据集中随机挑选一个样本作为初始的聚类中心Vj。
2)其次计算数据集中每个样本xi与vj之间的距离，并选择其中最短的距离，记为D(xi)。
D(xi)＝min{1-IoU(xi,vj)}
3)再计算各个数据样本被选为下个聚类中心的概率P(xi)，以概率选择距离最大的样本作为新的聚类中心。
4)重复2、3步骤，直到k个聚类中心都被确定。
5)对得到的k个初始化的聚类中心进行聚类，将各个样本分配给相距最小的聚类中心Ck，并通过式下列式子更新聚类中心，重复分配更新步骤直至聚类中心不变。
聚类结果如表1所示。
表1先验框聚类结果
由表1所知，除了前三组锚框变化不大之外，其他大多数的锚框都相差很大，相较于k-means随机选取聚类中心点，k-means++通过“聚类中心互相离得越远越好”这一思想来选取聚类中心点，能更快地对数据进行收敛，在减少计算时间的同时也取得了很好地效果。
实施例3
本实施例为了验证本文钢轨缺陷识别算法的有效性提供实验与分析。首先确立了用于训练和性能的评价指标，然后将目前主流的多种基于深度学习的目标检测算法与本文提出的算法进行将测精度和检测速度的对比分析。实验环境为64为Windows10系统，内存32G，CPU型号为i9-10980XE，GPU型号为RTX3090。训练过程中，bitch_size设置为16，初始学习率为0.001，采取学习率衰减的方式，最终学习率为0.00001，迭代轮次设置为1000轮。采取416×416分辨率的输入来进行训练，检测阈值设置为0.5，采用Dropout方法防止过拟合。
数据集与评价指标。本数据集由网络搜集和自己采集组合而成，为了降低数据集来源不统一的问题，将图片的分辨率统一调整为400*800像素。本数据集包含2124张钢轨图片，其中有缺陷的956张，经过图像增强后通过翻转变换、亮度变换。随机剪裁、几何缩放等方式扩充数据集，最终生成4000张钢轨表面缺陷数据集图像，其中裂纹、疤痕、磨损和剥离各1000张。随机选取80％作为训练集，剩余20％作为测试集。如图7为4种缺陷的典型样本及其扩充。
本文引入召回率(RecallRate)Rc、准确率(PrecisionRate)Pr、F1值和平均检测时间t四个评价指标，钢轨表面伤损检测任务涉及铁路运输安全，准确率与召回率两个指标都特别重要，而F1值能将准确率与召回率的重要程度直观地体现出来。
式中：TP为正确识别个数，FP为错误识别个数，TN为正确未识别个数。
算法性能分析时，本文在多个目标检测算法(Faster R-CNN，SSD，YOLOv3,YOLOv4)和本文改进算法上进行训练测试实验，经过网络的训练及参数调优，网络完成收敛后，然后根据评价指标，对数据结果进行了统计，详细结果见表2。
表2不同算法检测性能的对比
表2中的数据表明，本文提出的目标检测算法，对于裂纹、疤痕、磨损、剥落4种缺陷都达到了最高的准确率和召回率。并相对于其他主流算法，改进后的YOLOv4算法，其F1值比FasterR-CNN高出2.2％，比SSD高出8.1％，比YOLOv3高出8.2％，比YOLOv4高出5.2％。准确率、召回率和F1分数均优于其他主流的检测算法。对比原YOLOv4网络，改进后的网络其中裂纹的准确率达到94.8％，比改进前高出6.4％；疤痕达到94.0％，比改进前高出7.9％；磨损达到89.7％，比改进前高出5.6％；剥落达到92.2％，比改进前高出3.1％。提升非常显著。将检测结果映射回原图像，效果对比图如图8所示，其中绿色框为磨损缺陷，橙色框为裂纹缺陷，红色框为剥离缺陷，蓝色框为疤痕缺陷。
由图8可知，本文算法能对小尺寸的缺陷和背景差异小的缺陷进行很好的识别，识别效果均好于其他主流算法，图9为4种缺陷的准确率。
表3列出了各个检测算法得检测速度，对于一张尺度为400*800像素得钢轨图像，本文算法得检测速度为68ms，比YOLOv3、YOLOv4分别高出24ms、13ms，几乎达到了YOLOv4的检测速度，虽然增加了检测层和和添加注意力机制带来的参数增加，但在PANet结构中去掉自下而上的路径结构减少了大量参数，而且背景差分法建模简单，最终在检测速度上十分接近,完全满足对钢轨缺陷检测的实时性。对比实验结果说明，本文方法更适用于执行钢轨表面伤损检测任务。
表3钢轨表面缺陷检测时间比较
进行消融实验时，由于本文方法早YOLOv4的基础上采用了多个改进策略，为了验证所采用的各项改进策略的有效性，设计了消融实验进行对比研究。
模型1为YOLOv4网络。模型2为将YOLOv4特征提取部分的Residual Block结构替换为Res2Net模块后再加入CBAM注意力机制后得到的模型。模型3为增加检测层并去掉PANet中自上而下结构的模型。模型4为本文模型。各网络模型均训练100个周期，得到的损失值变化曲线如图10所示。
图7中，消融实验各网络模型在训练过程的前50个迭代周期内损失值快速下降，之后逐渐趋于收敛。消融实验的性能对比结果如表4所示：
表4消融实验结果
由表4可见，模型二对特征提取部分中的改进能在细粒度层次上表示特征信息，增加缺陷位置的权重和增大感受野，对钢轨中的小缺陷特征进行更好地提取，准确率较YOLOV4网络提高了2.75％，召回率提高了1.99％，F1值提高了2.40％，单张图片的检测时间增大了4ms，有效地改善了网络对于小尺寸缺陷的检测性能。网络结构的改进，能帮助网络多尺度地融合特征，精确对缺陷的定位，准确率较YOLOV4网络提高了1.41％，召回率提高了1.74％，F1值提高了1.60％，但单张图片的检测时间增大了8ms，这是因为增加检测层能增加大量参数的计算。将上述两种改进方法同时融合到基准网络中，能够进一步提升钢轨缺陷的识别与定位结果的准确性，准确率较YOLOV4网络提高了4.98％，召回率提高了5.40％，F1值提高了5.20％。提升显著，由此验证了本文改进策略的有效性。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (7)
1.一种基于深度学习的钢轨表面缺陷检测方法，其特征在于，包括如下步骤：
步骤1：首先对钢轨区域进行提取，再通过改进Retinex图像增强算法进行图像处理，最后通过背景建模差分和阈值分割得到缺陷的分割图；
步骤2：再基于上述算法引入Res2Net和CBAM注意力机制，对于缺陷分隔图进行分类输出，从而得到最终的钢轨缺陷特征图。
2.根据权利要求1所述一种基于深度学习的钢轨表面缺陷检测方法，其特征在于，所述钢轨区域提取时，首先采用列直方图最小值法从原始轨道图像中分割出钢轨区域。
3.根据权利要求1所述一种基于深度学习的钢轨表面缺陷检测方法，其特征在于，所述改进Retinex图像增强算法为多尺度Retinex(MSR)算法，增强多尺度加权平均得到，其表达式如下：
其中，N为总尺度数，一般取3，Wn为尺度系数，且满足
Gn(x,y)表示尺度个数为n的高斯函数；
再对量化方式MSR算法中引入均值和均方差，加入控制图像动态参数调节对比度，其公式如下：
其中，D为图像的动态调节参数，μ、MSE分别为log[RMSR(x,y)]中R、G、B各通道数的均值和均方差，Value为log[RMSR(x,y)]的值。
4.根据权利要求1所述一种基于深度学习的钢轨表面缺陷检测方法，其特征在于，所述背景建模差分先以钢轨为基准建立背景模型：
Im(x)＝mean(Iy(x))
式中Im(x)表示第x列图像背景建模，mean(·)为均值函数；再钢轨图像与背景模型图像相减，得到差分图像：
式中，I0(x,y)为原图，Im(x,y)为背景建模图。
5.根据权利要求1所述一种基于深度学习的钢轨表面缺陷检测方法，其特征在于，所述阈值分割先定义Niblack阈值：
th＝μΔI+C·δΔI
式中μΔI和δΔI分别为ΔI(x,y)的均值和方差，控制因子C为常数，由于差分图像具有零均值的特性，简化后为：
th＝C·δΔI
当C＝3时，根据得到的阈值th对图像进行分割处理。
6.根据权利要求1所述一种基于深度学习的钢轨表面缺陷检测方法，其特征在于，所述Res2Net是在原有的残差单元结构中增加小的残差块，同时增加了每一层网络的感受野大小。
7.根据权利要求1所述一种基于深度学习的钢轨表面缺陷检测方法，其特征在于，所述CBAM注意力机制是将钢轨缺陷特征图使用卷积后，再经过激活函数等变换来生成注意力模板，最终使用原特征图与得到的注意力模板作积，得到钢轨缺陷特征图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211377977.6A CN116188358A (zh) | 2022-11-04 | 2022-11-04 | 一种基于深度学习的钢轨表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211377977.6A CN116188358A (zh) | 2022-11-04 | 2022-11-04 | 一种基于深度学习的钢轨表面缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116188358A true CN116188358A (zh) | 2023-05-30 |
Family
ID=86442979
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211377977.6A Pending CN116188358A (zh) | 2022-11-04 | 2022-11-04 | 一种基于深度学习的钢轨表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116188358A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113988126A (zh) * | 2021-10-26 | 2022-01-28 | 哈尔滨理工大学 | 一种基于少标签数据特征迁移的滚动轴承故障诊断方法 |
| CN115100578A (zh) * | 2022-08-01 | 2022-09-23 | 湖南大学 | 一种回转窑火焰燃烧状态识别方法 |
-
2022
- 2022-11-04 CN CN202211377977.6A patent/CN116188358A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113988126A (zh) * | 2021-10-26 | 2022-01-28 | 哈尔滨理工大学 | 一种基于少标签数据特征迁移的滚动轴承故障诊断方法 |
| CN115100578A (zh) * | 2022-08-01 | 2022-09-23 | 湖南大学 | 一种回转窑火焰燃烧状态识别方法 |
Non-Patent Citations (5)
| Title |
|---|
| SHUANGJIANG DU等: "FA-YOLO: An Improved YOLO Model for Infrared Occlusion Object Detection under Confusing Background", 《WIRELESS COMMUNICATIONS AND MOBILE COMPUTING》, vol. 2021, 20 November 2021 (2021-11-20), pages 3 * |
| 杨舒乔: "基于深度学习的钢铁表面缺陷检测研究", 《万方数据库》, pages 61 - 63 * |
| 琦小虾: "Retinex图像增强算法(SSR, MSR, MSRCR)详解及其OpenCV源码", pages 3 - 9, Retrieved from the Internet <URL:https://blog.csdn.net/ajianyingxiaoqinghan/article/details/71435098> * |
| 罗晖等: "基于图像增强与改进CascadeR-CNN的钢轨表面缺陷检测", 《激光与光电子学进展》, vol. 58, no. 22, pages 2212001 - 2 * |
| 贺振东等: "基于背景差分的高铁钢轨表面缺陷图像分割", 《仪器仪表学报》, vol. 37, no. 3, pages 641 - 647 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fan et al. | Automatic pavement crack detection based on structured prediction with the convolutional neural network | |
| Wang et al. | Automated crack severity level detection and classification for ballastless track slab using deep convolutional neural network | |
| CN106251361B (zh) | 一种钢轨表面缺陷图像自适应分割方法 | |
| Ni et al. | Detection for rail surface defects via partitioned edge feature | |
| Liu et al. | Automated visual inspection system for bogie block key under complex freight train environment | |
| Üzen et al. | Depth-wise Squeeze and Excitation Block-based Efficient-Unet model for surface defect detection | |
| CN110532946B (zh) | 一种基于卷积神经网络识别绿通车车辆轴型的方法 | |
| CN109840483B (zh) | 一种滑坡裂缝检测与识别的方法及装置 | |
| CN109255326B (zh) | 一种基于多维信息特征融合的交通场景烟雾智能检测方法 | |
| CN113344903A (zh) | 一种基于变分自编码器的玻璃瑕疵检测方法 | |
| CN114863492B (zh) | 一种低质量指纹图像的修复方法及修复装置 | |
| Mi et al. | Research on steel rail surface defects detection based on improved YOLOv4 network | |
| CN108154172B (zh) | 基于三支决策的图像识别方法 | |
| CN111145145A (zh) | 一种基于MobileNets的图像表面缺陷检测方法 | |
| CN109816022A (zh) | 一种基于三支决策与cnn的图像识别方法 | |
| Zhu et al. | Fast and robust 2D-shape extraction using discrete-point sampling and centerline grouping in complex images | |
| CN116188358A (zh) | 一种基于深度学习的钢轨表面缺陷检测方法 | |
| CN116228795A (zh) | 一种基于弱监督学习的超高分辨率医学图像分割方法 | |
| Mathiyalagan et al. | Image fusion using convolutional neural network with bilateral filtering | |
| Sison et al. | A convolutional neural network for segmentation of background texture and defect on copper clad lamination surface | |
| Xiaodong et al. | Image recognition for steel ball's surface quality detecting based on kernel extreme learning machine | |
| CN106296704B (zh) | 通用型图像分割方法 | |
| Bal et al. | Plate Number Recognition Using Segmented Method With Artificial Neural Network | |
| LU504485B1 (en) | Deep learning based detection method for rail surface defects | |
| CN113920400B (zh) | 一种基于改进YOLOv3的金属表面缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |