CN116645371B - 一种基于特征搜索的钢轨表面缺陷检测方法及系统 - Google Patents

一种基于特征搜索的钢轨表面缺陷检测方法及系统 Download PDF

Info

Publication number
CN116645371B
CN116645371B CN202310927340.8A CN202310927340A CN116645371B CN 116645371 B CN116645371 B CN 116645371B CN 202310927340 A CN202310927340 A CN 202310927340A CN 116645371 B CN116645371 B CN 116645371B
Authority
CN
China
Prior art keywords
feature
map
scale
features
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310927340.8A
Other languages
English (en)
Other versions
CN116645371A (zh
Inventor
李增艺
张阳
时勇
杨德志
周鹏
石鹏
骆晋
兰伟
毛宏军
罗朝阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Jinggong Huayao Technology Co ltd
China Railway 12th Bureau Group Railway Maintenance Engineering Co Ltd
Original Assignee
Chengdu Jinggong Huayao Technology Co ltd
China Railway 12th Bureau Group Railway Maintenance Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Jinggong Huayao Technology Co ltd, China Railway 12th Bureau Group Railway Maintenance Engineering Co Ltd filed Critical Chengdu Jinggong Huayao Technology Co ltd
Priority to CN202310927340.8A priority Critical patent/CN116645371B/zh
Publication of CN116645371A publication Critical patent/CN116645371A/zh
Application granted granted Critical
Publication of CN116645371B publication Critical patent/CN116645371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及钢轨缺陷检测技术领域，尤其涉及一种基于特征搜索的钢轨表面缺陷检测方法及系统。该检测方法包括以下步骤：采集钢轨表面的深度图和灰度图；对经过预处理的灰度图进行特征提取，得到低级特征、中级特征和不同尺度的高级特征；对提取的不同尺度高级特征进行特征融合得到潜在病害概率图；将中级特征和潜在病害概率图融合得到潜在病害特征图；在潜在病害特征图上继续进行多尺度特征提取，经融合后得到病害区域的热力图；结合病害区域的热力图和深度图对钢轨表面缺陷进行判断。本发明检测效率高、准确率高、鲁棒性好。

Description

一种基于特征搜索的钢轨表面缺陷检测方法及系统
技术领域
本发明涉及钢轨缺陷检测技术领域，尤其涉及一种基于特征搜索的钢轨表面缺陷检测方法及系统。
背景技术
随着我国铁路事业的迅速发展，铁路客货运的运行时速越来越快，对铁路设施的基础安全提出了日益严格的要求。钢轨是整个铁路设施中的主要组成部分，由于长期暴露在室外，经过风霜雨雪等各种自然条件的影响，以及列车运行带来的压力，钢轨表面会不可避免的产生各种损伤，如轨面擦伤、剥离掉块、裂纹、轨头压溃、踏面波浪磨耗等不同程度的损伤，损伤积累到一定程度，还会对列车的正常行驶产生影响。因此为了保证列车更加安全的行驶，迫切需要一种高效、准确的钢轨表面缺陷检测方法。
目前钢轨表面缺陷检测方法主要有传统人工巡检、超声波检测、电涡流法和机器视觉等几种方法。
传统的轨面检测方法一直依赖经验丰富的工人在铁路沿线进行人工巡检，该方法不仅效率低、成本高等缺点，还容易受巡检人员的经验、工作状态、或情感因素影响，造成误判、漏判等问题。目前常用的检测方法有以下几种。
超声波检测依靠光波反射机制，通过在钢轨中发送特定频率超声波，当遇到钢轨缺陷时超声波就会返回光波至检测设备；该方法简单易操作，可探测内部缺陷，但依赖于仪器探头和钢轨间的接触情况，接触不良时会大大降低缺陷检测精度，为了保证仪器与钢轨之间紧密良好的接触，需要添加耦合剂填充空隙，因此会降低检测速度。电涡流检测法是将感应线圈靠近钢轨，由于钢轨缺陷的影响，电涡流会产生变化并反作用于磁场，改变检测线圈阻抗，用这样的互感应与电磁感应判断钢轨损伤；虽然检测精度较高，但由于信号处理过程较为复杂，鲁棒性差，检测效率低且无法进行定量检测。机器视觉采用 CCD 成像技术拍摄轨道图像，并结合计算机视觉技术与图像处理相关算法对采集到的图像进行分析处理，检测出钢轨表面缺陷；该方法能极大的节省人力物力，提高检测效率，实现自动缺陷检测。但由于钢轨损伤程度及表面污损、氧化锈蚀、水渍油污等影响导致采集到的钢轨表面图像背景复杂，目前算法对缺陷的检测和识别率低，难以将伪缺陷与真实缺陷区别开来。
发明内容
为了解决上述提到的由于钢轨损伤程度及表面污损、氧化锈蚀、水渍油污等影响导致采集到的钢轨表面图像背景复杂，目前算法对缺陷的检测和识别率低，难以将伪缺陷与真实缺陷区别开来的技术问题，本发明提供了一种基于特征搜索的钢轨表面缺陷检测方法及系统。
本发明提供的一种基于特征搜索的钢轨表面缺陷检测方法包括以下步骤：
采集钢轨表面的深度图和灰度图；
对经过预处理的灰度图进行特征提取，得到低级特征、中级特征和不同尺度的高级特征；
对提取的不同尺度高级特征进行特征融合得到潜在病害概率图；
将中级特征和潜在病害概率图融合得到潜在病害特征图；
在潜在病害特征图上继续进行多尺度特征提取，经融合后得到病害区域的热力图；
结合病害区域的热力图和深度图对钢轨表面缺陷进行判断。
进一步的，结合病害区域的热力图和深度图对钢轨表面缺陷进行判断的方法为，
根据热力值阈值将病害区域的热力图转换为病害区域的二值图；
按照缺陷面积大小、宽、高对病害区域的二值图进行第一次过滤得到过滤后的缺陷位置；
将过滤后的缺陷位置对应于深度图中，获取深度图对应缺陷位置的高度；
根据深度图对应缺陷位置的高度、非缺陷区域的高度进行第二次过滤，最终得到的区域即为钢轨表面缺陷区域。
进一步的，对灰度图预处理是将灰度图处理为三通道图像序列。
进一步的，对经过预处理的灰度图进行特征提取，得到低级特征、中级特征和不同尺度的高级特征的方法为，利用特征提取网络提取低级特征、中级特征和高级特征，经过特征融合后，通过多尺度感受野卷积产生四个对应尺度的高级特征，提取的四个尺度高级特征中相邻特征空间上满足2倍关系。
进一步的，通过多尺度感受野卷积产生对应尺度特征的方法中输入数据分为五支向下传输，其中四支分别经过卷积处理后进行融合处理，再经过注意力卷积处理后与经过卷积处理的第五支融合，经激活后输出相应特征。
进一步的，对提取的不同尺度高级特征进行特征融合得到潜在病害概率图的方法包括以下步骤，第四尺度高级特征经上采样后与第三尺度高级特征融合得到第一个融合特征、与第三尺度高级特征和第二尺度高级特征融合得到第二个融合特征，将第一个融合特征与第二个融合特征叠加融合后生成第一融合特征；
第三尺度高级特征经上采样后与第二尺度高级特征进行融合后生成第二融合特征；
第一尺度高级特征与第一融合特征、第二融合特征叠加融合后经三次卷积操作得到潜在病害概率图。
进一步的，将中级特征和潜在病害概率图融合得到潜在病害特征图的方法为：潜在病害概率图经过三层卷积操作后与中级特征逐像素相乘得到潜在病害特征图。
进一步的，在潜在病害特征图上继续进行多尺度特征提取，经融合后得到病害区域的热力图的方法为，对第三尺度高级特征进行上采样后分别与第二尺度高级特征、第二尺度高级特征和第一尺度高级特征进行特征融合，将得到的融合特征进行通道叠加后经过三次卷积操作得到病害区域的热力图。
进一步的，使用特征提取网络ResNet50对经过预处理的灰度图进行特征提取；网络训练时利用预训练完的ResNet50网络参数初始化特征提取结构中的参数，网络训练数据包括钢轨剥落掉块、裂缝、折断、波浪磨耗、正常数据。
本发明提供的一种基于特征搜索的钢轨表面缺陷检测系统，包括以下模块：
图像采集模块，用于采集钢轨表面的深度图和灰度图；
特征提取模块，用于对经过预处理的灰度图进行特征提取，得到低级特征、中级特征和不同尺度的高级特征；
第一融合模块，用于对提取的不同尺度高级特征进行特征融合得到潜在病害概率图；
第二融合模块，用于将中级特征和潜在病害概率图融合得到潜在病害特征图；
第三融合模块，用于在潜在病害特征图上继续进行多尺度特征提取，经融合后得到病害区域的热力图；
判断模块，用于结合病害区域的热力图和深度图对钢轨表面缺陷进行判断。
本发明的有益效果为：
本发明通过一次机器模型从关键帧图像中提取多尺度特征，并进行缺陷检测。具有端到端的时效性。先通过病害潜在搜索模块对关键帧图像进行病害收索，最后识别模块对病害区域进行精确识别，完成缺陷检测。具有极高的准确性和实时性。
本发明在单张2048*4096图像上耗时100ms,图像像素分辨率为0.2mm/pixel,可以计算出钢轨表面缺陷检测系统能够以29.5km/h的速度行驶检测，从而达到零漏检、低误报率、低成本、实时性的检测目的。
附图说明
图1为实施例中图像采集模块的结构示意图；
图2为实施例中图像加载模块的结构示意图；
图3为实施例中特征提取模块的结构示意图；
图4为实施例中低级特征提取模块的结构示意图；
图5为实施例中中级特征提取模块的结构示意图；
图6为实施例中中高级特征提取模块的结构示意图；
图7为实施例中高特征提取模块的结构示意图；
图8为实施例中多尺度感受野MRF模块的结构示意图；
图9为实施例中搜索病害模块的结构示意图；
图10为实施例中注意力模块的结构示意图；
图11为实施例中病害检测模块的结构示意图。
具体实施方式
以下结合附图及其实施例对本发明进行详细说明，但并不因此将本发明的保护范围限制在实施例描述的范围之中。
本发明实施例提供的一种基于特征搜索的钢轨表面缺陷检测方法包括以下步骤：
S1：采集钢轨表面的深度图和灰度图；
S2：对经过预处理的灰度图进行特征提取，得到低级特征、中级特征和不同尺度的高级特征；
S3：对提取的不同尺度高级特征进行特征融合得到潜在病害概率图；
S4：将中级特征和潜在病害概率图融合得到潜在病害特征图；
S5：在潜在病害特征图上继续进行多尺度特征提取，经融合后得到病害区域的热力图；
S6：结合病害区域的热力图和深度图对钢轨表面缺陷进行判断。
对以上步骤详细阐述如下：
S1中采集钢轨表面的深度图和灰度图由图像采集模块执行，如图1所示，该图像采集由光源、高速相机、补光器件组成，工作时光源和补光器件对钢轨进行打光，高速相机拍摄两幅2048*4096高分辨率图，分别是钢轨表面的灰度图和深度图。
S2中，对灰度图特征提取前，先对灰度图进行预处理，该步骤由图像加载模块执行。如图2所示，有训练和推理两种模式，训练时灰度图经过大预处理裁剪为只包含钢轨区域的尺寸为448*4096的图像，其中大预处理包括对灰度图的对数变换、自适应阈值。再经过随机切片处理，裁剪为10张尺寸为448*512的图像，最后在经过小预处理变为三通道图像序列，其中小预处理包括色彩空间变换、Tensor转换。推理时灰度图首先也会被裁剪为尺寸为448*4096的钢轨图像，然后按序切片成8张尺寸为448*512图像，最后在小图上经过预处理成为三通道图像序列。
S2中，对经过预处理的灰度图进行特征提取，得到低级特征、中级特征和不同尺度的高级特征的方法为，利用特征提取网络提取低级特征、中级特征和高级特征，经过特征融合后，通过多尺度感受野卷积产生四个对应尺度的高级特征，提取的四个尺度高级特征中相邻特征空间上满足2倍关系。需要说明的是，相邻特征空间上满足2倍关系是指后一尺度的高级特征的分辨率是前一尺度的高级特征的分辨率的2倍。
需要说明的是：低级特征、中级特征和高级特征是针对图像的特征进行的分类，低级特征也即初级特征，指图像中的局部细节信息，如边缘、角点、纹理等；中级特征指的是在低级特征的基础上组合而成的更复杂的图像模式，如线条、形状等；高级特征是根据底层特征抽取并学习得到的更抽象和语义化的特征，如物体的形状、大小、颜色等。
该步骤方法可具体为：对经过预处理的灰度图进行卷积池化操作得到第一特征图；第一特征图经过低级特征提取得到第二特征图；将第二特征图和第一特征图融合后经过多尺度感受野处理得到第一尺度特征；第二特征图经过中级特征提取得到第三特征图；第三特征图经过中高级特征提取得到第四特征图；第四特征图经过高级特征提取得到第五特征图；第四特征图、第五特征图经过上采样后与第三特征图融合，经过多尺度感受野处理得到第二尺度特征；第五特征图经过上采样后与第四特征图融合经过多尺度感受野处理得到第三尺度特征；第五特征图经过多尺度感受野处理得到第四尺度特征。
为使此步骤更加具体，通过图3-图8进行详细说明。特征提取由特征提取模块执行，该特征提取模块主要由特征提取网络(ResNet50)和多尺度感受野模块MRF共同完成，其结构如图3所示，输入待检图像image[3*512*448]经过第一次卷积池化操作后得到特征图Feature0[64*128*112],其中CBR7-64-2表示64个7*7的卷积核经过步长为2的Convolution、BatchNormalization、ReLU操作，MaxPool3-2表示池化窗口为3*3，步长为2的最大值池化操作。
Feature0经过低级特征提取模块Block1得到特征图Feature1[256*128*112],然后再和Feature0在通道上叠加ConCat操作，最后再经过MRF模块进行多尺度感受野特征提取,得到第一个尺度特征F1_mrf[32*64*56]。
Feature1经过中级特征提取模块Block2得到特征图Feature2[512*64*56]，也即中级特征,然后经过高级特征提取模块Block3得到特征图Feature3[1024*32*28],最后经高级特征提取模块Block4得到特征图Feature4[2048*16*14]。Feature3、Feature4分别经过一次采样倍率为2的上采样和一次采样倍率为4的上采样后再与Feature2再通道上叠加Concat操作，最后再经过MRF模块多尺度感受野特征提取处理，得到第二个尺度特征F2_mrf[32*64*56]。
Feature4经过一次采样倍率为2的上采样后和Feature3在通道上叠加concat操作，再经过MRF模块多尺度感受野特征提取处理，得到第三个尺度特征F3_mrf[32*32*28]。最后Feature4经过MRF模块多尺度感受野特征提取处理，得到第四个尺度特征F4_mrf[32*16*14]。图3中乘号“×”后的数字表示采样倍率。
低级特征提取模块Block1结构如图4所示，由两个残差单元串联而成，第一个残差单元称为卷积捷径ConvShortcut，主要是保证特征图尺寸的一致，第二个残差单元称为恒等捷径IDShortcut，主要进行特征提取。残差单元中的卷积参数正如图中标识所示,其中CBR表示Convolution、BatchNormalization和Relu的组合，负号“-”前后的数字分别表示卷积核大小和卷积核数量，Add表示逐像素相加。中级特征提取模块Block2结构如图5所示，由一个卷积捷径ConvShortcut残差单元和两个恒等捷径IDShortcut残差单元串联而成，完成特征提取，其中CBR表示Convolution、BatchNormalization和Relu的组合，第一个负号“-”前后的数字分别表示卷积核大小和卷积核数量，第二个负号“-”后的数字表示步长，例如CBR3-128-2表示128个3*3的卷积核经过步长为2的Convolution、BatchNormalization和Relu的操作，Add表示逐像素相加，卷积操作参数如图中标识所示。中高级特征提取模块Block3结构如图6所示，由一个卷积捷径ConvShortcut残差单元和4个恒等捷径IDShortcut残差单元串联而成，完成特征提取，其中CBR表示Convolution、BatchNormalization和Relu的组合，第一个负号“-”前后的数字分别表示卷积核大小和卷积核数量，第二个负号“-”后的数字表示步长，例如CBR3-256-2表示256个3*3的卷积核经过步长为2的Convolution、BatchNormalization和Relu的操作，Add表示逐像素相加，卷积操作参数如图中标识所示。高级特征提取模块Block4结构如图7所示，由一个卷积捷径ConvShortcut残差单元和1个恒等捷径IDShortcut残差单元串联而成，完成特征提取，其中CBR表示Convolution、BatchNormalization和Relu的组合，第一个负号“-”前后的数字分别表示卷积核大小和卷积核数量，Add表示逐像素相加，第二个负号“-”后的数字表示步长，例如CBR3-512-2表示512个3*3的卷积核经过步长为2的Convolution、BatchNormalization和Relu的操作，卷积操作参数如图中标识所示。
多尺度感受野MRF模块结构如图8所示，其中CB表示Convolution和BatchNormalization的组合，负号“-”前后的数字分别表示卷积核大小和卷积核数量，CBR表示Convolution、BatchNormalization和Relu的组合，负号“-”前后的数字分别表示卷积核大小和卷积核数量，例如CBR1×3-32表示32个1×3的卷积核经过Convolution、BatchNormalization和Relu的操作；DCB表示Dilated Convolution和BatchNormalization的组合，第一个负号“-”前后的数字分别表示卷积核大小和扩张率，第二个负号“-”后的数字表示卷积核数量，例如DCB3-3-32表示32个3*3的卷积核经扩张率为3的DilatedConvolution和BatchNormalization操作；乘号“×”后的数字表示采样倍率。输入数据x分五支向下传输，一支流经1x1卷积块，生成特征图x0，一支流经扩张卷积率为3的卷积块，生成特征图x1，一支流经扩张卷积率为5的卷积块，生成特征图x2，一支流经扩张卷积率为7的卷积块，生成特征图x3，这四支经过Concat叠加后再经过注意力3x3卷积操作后和第五支经1x1卷积操作产生的特征图x4进行逐像素相加，最后经过Relu激活函数激活后输出特征图x5。这样不仅相同参数量获得了不同感受野，即获得了多尺度信息，为检测不同大小的缺陷作保障。
S3中对提取的不同尺度高级特征进行特征融合得到潜在病害概率图的方法包括以下步骤，第四尺度高级特征经上采样后与第三尺度高级特征融合得到第一个融合特征，与第三尺度高级特征和第二尺度高级特征融合得到第二个融合特征，将第一个融合特征与第二个融合特征叠加融合后生成第一融合特征；第三尺度高级特征经上采样后与第二尺度高级特征进行融合后生成第二融合特征；第一尺度高级特征与第一融合特征、第二融合特征叠加融合后经三次卷积操作得到潜在病害概率图。具体来说，此步骤中第一融合特征的生产方法为，第四尺度高级特征经上采样后与第三尺度高级特征融合得到融合特征A，第四尺度高级特征经上采样后与第三尺度高级特征、第二尺度高级特征融合得到融合特征B，将融合特征A和融合特征B叠加融合生成所述第一融合特征。
该步骤方法可具体为：第四尺度特征经三条支路向下传输，第一条支路经过上采样、卷积操作后得到的特征与第三尺度特征逐像素相乘，同时与第二条支路经过上采样、卷积操作后得到的特征在通道上叠加，最后再经过卷积、上采样、卷积操作后得到第一融合特征；第三条支路经过两次上采样、卷积操作后得到的特征同时与第三尺度特征经过上采样、卷积操作后得到的特征和第二尺度特征逐像素相乘得到第二融合特征；将第一尺度特征和第一融合特征、第二融合特征在通道上叠加，再通过注意力机制得到最后的融合特征，融合特征经过三次卷积操作后得到潜在病害概率图。
为使此步骤更加具体，通过图9-图10进行详细说明。该步骤由搜索病害模块执行，该搜索病害模块的结构如图9所示，首先第四个尺度特征F4_mrf经三条支路向下传输，第一条支路经过上采样—卷积操作后得到的特征与第三个尺度特征F3_mrf逐像素相乘Mul操作，同时与第二条支路经过上采样—卷积操作后得到的特征在通道上叠加Concat操作，最后再经过卷积—上采样—卷积操作后得到第一融合特征Fuse_F1。第三条支路经过采样倍率为4的上采样—卷积操作后得到的特征同时与第三个尺度特征F3_mrf经过上采样—卷积操作后得到的特征和第二个尺度特征F2_mrf逐像素相乘得到第二融合特征Fuse_F2。然后第一个尺度特征F1_mrf和两个融合特征Fuse_F1、Fuse_F2在通道上叠加，再通过注意力机制得到最后的融合特征，融合特征经过三次卷积操作后得到潜在病害概率图。图9中乘号“×”后的数字表示采样倍率，CBR表示Convolution-BatchNormalization-Relu组合,负号“-”前后数字分别表示卷积核大小和卷积核数量,卷积操作的参数如图中标识所示,Mul表示逐像素相乘，Concat表示通道叠加。
S4由注意力模块执行，注意力模块SA的结构如图10所示，潜在病害概率图经过三层卷积操作后再与中级特征Feature2逐像素相乘，更加突出潜在病害特征，即得到潜在病害特征图。其中CBR表示Convolution-BatchNormalization-Relu组合，CS表示Convolution-Sigmoid组合，负号“-”前后数字分别表示卷积核大小和卷积核数量，卷积操作中的参数如图中标识所示,Mul表示逐像素相乘。
S5中在潜在病害特征图上继续进行多尺度特征提取，经融合后得到病害区域的热力图的方法为，对第三尺度高级特征进行上采样后分别与第二尺度高级特征、第二尺度高级特征和第一尺度高级特征进行特征融合，将得到的融合特征进行通道叠加后经过三次卷积操作得到病害区域的热力图。
具体可以为，第三尺度特征由三条支路向下进行信息传输，第一支路和第三支路均经过上采样、卷积操作，第一支路操作后得到的特征再与第二尺度特征进行逐像素相乘，然后这两条支路在通道上叠加，再经过卷积、上采样、卷积操作后得到第一融合特征；第二条支路经过两次上采样、卷积操作后的特征与第二尺度特征经过上采样卷积操作的特征、第一个尺度特征进行逐像素相乘得到第二融合特征；第一融合特征、第二融合特征在通道上叠加后在通过三次卷积操作后得到病害区域的热力图。
为使此步骤更加具体，通过图11进行详细说明。该步骤由病害检测模块执行，病害检测模块结构如图11所示，多尺度潜在特征中的第三个尺度特征PF_mrf_3由三条支路向下进行信息传输，第一支路和第三支路都是经过上采样-卷积操作，第一支路操作后得到的特征再与第二个尺度特征进行逐像素相乘Mul操作，然后这两条支路在通道上叠加Concat，再经过卷积-上采样-卷积操作后得到第一融合特征Fuse_F1。同时第二条支路经过两次上采样-卷积操作后的特征与第二个尺度特征PF_mrf_2经过上采样卷积操作的特征、第一个尺度特征进行逐像素相乘得到第二融合特征Fuse_F2,这两个融合特征在通道上叠加后在通过三次卷积操作后得到病害区域的热力图。图11中，乘号“×”后的数字表示采样倍率，CBR表示Convolution-BatchNormalization-Relu组合,负号“-”前后数字分别表示卷积核大小和卷积核数量, CS表示Convolution-Sigmoid组合，卷积操作中的参数如图中标识所示，Mul表示逐像素相乘，Concat表示通道叠加。
S6结合病害区域的热力图和深度图对钢轨表面缺陷进行判断，此判断为二次判断，判断的具体方法为，根据热力值阈值将病害区域的热力图转换为病害区域的二值图；按照缺陷面积大小、宽、高对病害区域的二值图进行第一次过滤得到过滤后的缺陷位置；将过滤后的缺陷位置对应于深度图中，获取深度图对应缺陷位置的高度；根据深度图对应缺陷位置的高度、非缺陷区域的高度进行第二次过滤，最终得到的区域即为钢轨表面缺陷区域。需要说明的是，所述病害区域的热力图是病害特征搜索网络从灰度图中提取的所有病害图，这个病害只是从病害形态考虑，可能包括一些非病害区域，或者不关注的小病害区域。因此需要通过病害条件来过滤，排除这些非病害区域和不关注的小缺陷区域。即第一次过滤是经验知识通过缺陷面积大小、宽、高等特征排除不关注的小缺陷区域；第二次过滤是结合深度图，排除剩余非病害区域，轨面缺陷（如轨面擦伤、剥离掉块、裂纹、轨头压溃、踏面波浪磨耗）在深度图中存在一定的高度差，病害热力图得到病害位置，然后将病害位置转换到对应的深度图中，结合病害区域的高度差和高度阈值过滤掉非病害区域。最终剩余的区域即为钢轨表面缺陷区域。
本发明网络训练时首先利用预训练完的ResNet50网络参数初始化特征提取结构中的参数，其余网络参数由Xavier初始化方法进行。训练数据包括轨剥落掉块、裂缝、折断、波浪磨耗、正常数据等五种类型，这五种类型的缺陷数据中都包含标注数据，用于监督网络学习训练。网络优化器选择adam，学习率10-4，网络迭代优化目标为：
，其中/>表示二分类交叉熵函数，函数形式为/>，/>表示真实像素类别，/>表示网络推理预测的像素类别，N表示图像分辨率；PDM表示网络推理的潜在病害图，DDM表示网络推理的检测病害图，GT表示真实病害图。
以上对本发明的具体实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (5)

1.一种基于特征搜索的钢轨表面缺陷检测方法，其特征在于：包括以下步骤，采集钢轨表面的深度图和灰度图；
对经过预处理的灰度图进行特征提取，得到低级特征、中级特征和不同尺度的高级特征；
对提取的不同尺度高级特征进行特征融合得到潜在病害概率图；
将中级特征和潜在病害概率图融合得到潜在病害特征图；
在潜在病害特征图上继续进行多尺度特征提取，经融合后得到病害区域的热力图；
结合病害区域的热力图和深度图对钢轨表面缺陷进行判断；
其中，所述预处理为将灰度图处理为三通道图像序列；
所述对经过预处理的灰度图进行特征提取，得到低级特征、中级特征和不同尺度的高级特征的方法为：对经过预处理的灰度图进行卷积池化操作得到第一特征图；第一特征图经过低级特征提取得到第二特征图；将第二特征图和第一特征图融合后经过多尺度感受野处理得到第一尺度特征；第二特征图经过中级特征提取得到第三特征图；第三特征图经过中高级特征提取得到第四特征图；第四特征图经过高级特征提取得到第五特征图；第四特征图、第五特征图经过上采样后与第三特征图融合，经过多尺度感受野处理得到第二尺度特征；第五特征图经过上采样后与第四特征图融合经过多尺度感受野处理得到第三尺度特征；第五特征图经过多尺度感受野处理得到第四尺度特征；
所述对提取的不同尺度高级特征进行特征融合得到潜在病害概率图的方法为：第四尺度特征经三条支路向下传输，第一条支路经过上采样、卷积操作后得到的特征与第三尺度特征逐像素相乘，同时与第二条支路经过上采样、卷积操作后得到的特征在通道上叠加，最后再经过卷积、上采样、卷积操作后得到第一融合特征；第三条支路经过两次上采样、卷积操作后得到的特征同时与第三尺度特征经过上采样、卷积操作后得到的特征和第二尺度特征逐像素相乘得到第二融合特征；将第一尺度特征和第一融合特征、第二融合特征在通道上叠加，再通过注意力机制得到最后的融合特征，融合特征经过三次卷积操作后得到潜在病害概率图；
所述结合病害区域的热力图和深度图对钢轨表面缺陷进行判断的方法为：根据热力值阈值将病害区域的热力图转换为病害区域的二值图；按照缺陷面积大小、宽、高对病害区域的二值图进行第一次过滤得到过滤后的缺陷位置；将过滤后的缺陷位置对应于深度图中，获取深度图对应缺陷位置的高度；根据深度图对应缺陷位置的高度、非缺陷区域的高度进行第二次过滤，最终得到的区域即为钢轨表面缺陷区域。
2.根据权利要求1所述一种基于特征搜索的钢轨表面缺陷检测方法，其特征在于：将中级特征和潜在病害概率图融合得到潜在病害特征图的方法为：潜在病害概率图经过三层卷积操作后与中级特征逐像素相乘得到潜在病害特征图。
3.根据权利要求1所述一种基于特征搜索的钢轨表面缺陷检测方法，其特征在于：在潜在病害特征图上继续进行多尺度特征提取，经融合后得到病害区域的热力图的方法为，对第三尺度特征进行上采样后分别与第二尺度特征、第二尺度特征和第一尺度特征进行特征融合，将得到的融合特征进行通道叠加后经过三次卷积操作得到病害区域的热力图。
4.根据权利要求1所述一种基于特征搜索的钢轨表面缺陷检测方法，其特征在于：使用特征提取网络ResNet50对经过预处理的灰度图进行特征提取；网络训练时利用预训练完的ResNet50网络参数初始化特征提取结构中的参数，网络训练数据包括钢轨剥落掉块、裂缝、折断、波浪磨耗、正常数据。
5.一种基于特征搜索的钢轨表面缺陷检测系统，其特征在于，包括以下模块：
图像采集模块，用于采集钢轨表面的深度图和灰度图；
特征提取模块，用于对经过预处理的灰度图进行特征提取，得到低级特征、中级特征和不同尺度的高级特征；
第一融合模块，用于对提取的不同尺度高级特征进行特征融合得到潜在病害概率图；
第二融合模块，用于将中级特征和潜在病害概率图融合得到潜在病害特征图；
第三融合模块，用于在潜在病害特征图上继续进行多尺度特征提取，经融合后得到病害区域的热力图；
判断模块，用于结合病害区域的热力图和深度图对钢轨表面缺陷进行判断；
预处理模块，用于将将灰度图处理为三通道图像序列；
所述特征提取模块，还用于对经过预处理的灰度图进行卷积池化操作得到第一特征图；第一特征图经过低级特征提取得到第二特征图；将第二特征图和第一特征图融合后经过多尺度感受野处理得到第一尺度特征；第二特征图经过中级特征提取得到第三特征图；第三特征图经过中高级特征提取得到第四特征图；第四特征图经过高级特征提取得到第五特征图；第四特征图、第五特征图经过上采样后与第三特征图融合，经过多尺度感受野处理得到第二尺度特征；第五特征图经过上采样后与第四特征图融合经过多尺度感受野处理得到第三尺度特征；第五特征图经过多尺度感受野处理得到第四尺度特征；
所述第二融合模块，还用于第四尺度特征经三条支路向下传输，第一条支路经过上采样、卷积操作后得到的特征与第三尺度特征逐像素相乘，同时与第二条支路经过上采样、卷积操作后得到的特征在通道上叠加，最后再经过卷积、上采样、卷积操作后得到第一融合特征；第三条支路经过两次上采样、卷积操作后得到的特征同时与第三尺度特征经过上采样、卷积操作后得到的特征和第二尺度特征逐像素相乘得到第二融合特征；将第一尺度特征和第一融合特征、第二融合特征在通道上叠加，再通过注意力机制得到最后的融合特征，融合特征经过三次卷积操作后得到潜在病害概率图；
所述判断模块，还用于根据热力值阈值将病害区域的热力图转换为病害区域的二值图；按照缺陷面积大小、宽、高对病害区域的二值图进行第一次过滤得到过滤后的缺陷位置；将过滤后的缺陷位置对应于深度图中，获取深度图对应缺陷位置的高度；根据深度图对应缺陷位置的高度、非缺陷区域的高度进行第二次过滤，最终得到的区域即为钢轨表面缺陷区域。
CN202310927340.8A 2023-07-27 2023-07-27 一种基于特征搜索的钢轨表面缺陷检测方法及系统 Active CN116645371B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310927340.8A CN116645371B (zh) 2023-07-27 2023-07-27 一种基于特征搜索的钢轨表面缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310927340.8A CN116645371B (zh) 2023-07-27 2023-07-27 一种基于特征搜索的钢轨表面缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN116645371A CN116645371A (zh) 2023-08-25
CN116645371B true CN116645371B (zh) 2023-10-17

Family

ID=87619266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310927340.8A Active CN116645371B (zh) 2023-07-27 2023-07-27 一种基于特征搜索的钢轨表面缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN116645371B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099177A1 (en) * 2007-02-14 2008-08-21 Sperry Rail (International) Limited Photographic recording of a rail surface
CN101639452A (zh) * 2009-09-11 2010-02-03 北京科技大学 一种钢轨表面缺陷的三维检测方法
CN104005325A (zh) * 2014-06-17 2014-08-27 武汉武大卓越科技有限责任公司 基于深度和灰度图像的路面裂缝检测装置和方法
EP2998927A1 (en) * 2014-09-22 2016-03-23 ALSTOM Transport Technologies Method for detecting the bad positioning and the surface defects of specific components and associated detection device
CN107621626A (zh) * 2017-10-09 2018-01-23 中国矿业大学(北京) 基于深度卷积神经网络的雷达信号铁路路基病害检测方法
CN108921846A (zh) * 2018-07-17 2018-11-30 北京航空航天大学 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法
CN109785301A (zh) * 2018-12-27 2019-05-21 北京交通大学 一种基于图像处理的钢轨波磨自动识别方法与评估方法
CN111311567A (zh) * 2020-02-12 2020-06-19 北京交通大学 对轨道线路图像进行扣件和钢轨病害识别的方法
CN111985552A (zh) * 2020-08-17 2020-11-24 中国民航大学 复杂背景下机场道面细带状结构病害检测方法
CN113724219A (zh) * 2021-08-27 2021-11-30 重庆大学 基于卷积神经网络的建筑物表面病害检测方法及系统
CN113781537A (zh) * 2021-09-17 2021-12-10 南昌工程学院 一种轨道弹条扣件缺陷识别方法、装置和计算机设备
WO2021261981A1 (ru) * 2020-06-24 2021-12-30 Медет Ерланович НУРСУЛТАНОВ Способ выявления дефектов на гладкой поверхности
CN114170174A (zh) * 2021-12-02 2022-03-11 沈阳工业大学 基于RGB-D图像的CLANet钢轨表面缺陷检测系统及方法
CN115131330A (zh) * 2022-07-15 2022-09-30 北京铁科英迈技术有限公司 多源传感器融合的钢轨表面缺陷检测与测量方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002030729A1 (en) * 2000-10-10 2002-04-18 Sperry Rail, Inc. Hi-rail vehicle-based rail inspection system

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099177A1 (en) * 2007-02-14 2008-08-21 Sperry Rail (International) Limited Photographic recording of a rail surface
CN101639452A (zh) * 2009-09-11 2010-02-03 北京科技大学 一种钢轨表面缺陷的三维检测方法
CN104005325A (zh) * 2014-06-17 2014-08-27 武汉武大卓越科技有限责任公司 基于深度和灰度图像的路面裂缝检测装置和方法
EP2998927A1 (en) * 2014-09-22 2016-03-23 ALSTOM Transport Technologies Method for detecting the bad positioning and the surface defects of specific components and associated detection device
CN107621626A (zh) * 2017-10-09 2018-01-23 中国矿业大学(北京) 基于深度卷积神经网络的雷达信号铁路路基病害检测方法
CN108921846A (zh) * 2018-07-17 2018-11-30 北京航空航天大学 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法
CN109785301A (zh) * 2018-12-27 2019-05-21 北京交通大学 一种基于图像处理的钢轨波磨自动识别方法与评估方法
CN111311567A (zh) * 2020-02-12 2020-06-19 北京交通大学 对轨道线路图像进行扣件和钢轨病害识别的方法
WO2021261981A1 (ru) * 2020-06-24 2021-12-30 Медет Ерланович НУРСУЛТАНОВ Способ выявления дефектов на гладкой поверхности
CN111985552A (zh) * 2020-08-17 2020-11-24 中国民航大学 复杂背景下机场道面细带状结构病害检测方法
CN113724219A (zh) * 2021-08-27 2021-11-30 重庆大学 基于卷积神经网络的建筑物表面病害检测方法及系统
CN113781537A (zh) * 2021-09-17 2021-12-10 南昌工程学院 一种轨道弹条扣件缺陷识别方法、装置和计算机设备
CN114170174A (zh) * 2021-12-02 2022-03-11 沈阳工业大学 基于RGB-D图像的CLANet钢轨表面缺陷检测系统及方法
CN115131330A (zh) * 2022-07-15 2022-09-30 北京铁科英迈技术有限公司 多源传感器融合的钢轨表面缺陷检测与测量方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Research on steel rail surface defects detection based on improved YOLOv4 network;Zengzhen Mi 等;《Front Neurorobot》;1-11 *
图像式铁路轨道表面缺陷检测技术研究;吕邦欢;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》(第(2021)01期);C033-161 *
基于图像处理的钢轨表面缺陷检测算法研究;何恬;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》(第(2022)01期);C033-77 *
基于注意力反向知识蒸馏的车轮踏面异常检测;秦荣荣 等;《激光与光电子学进展》;1-17 *
融合聚类特征的改进MRF钢轨表面缺陷分割方法;闵永智 等;《北京航空航天大学学报》;1-13 *
轨道图像中轨面缺陷检测关键技术研究;刘龙标;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》(第(2022)01期);C033-78 *

Also Published As

Publication number Publication date
CN116645371A (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
Xu et al. Automatic defect detection and segmentation of tunnel surface using modified Mask R-CNN
Xiao et al. Surface defect detection using image pyramid
CN110211101A (zh) 一种铁轨表面缺陷快速检测系统及方法
CN107389701A (zh) 一种基于图像的pcb表观缺陷自动检测系统及方法
Liang et al. Defect detection of rail surface with deep convolutional neural networks
CN103234976A (zh) 基于Gabor变换的经编机布匹瑕疵在线视觉检测方法
CN107665348B (zh) 一种变电站数字仪表的数字识别方法和装置
Ali et al. Pavement crack detection and localization using convolutional neural networks (CNNs)
Su et al. A cascaded combination method for defect detection of metal gear end-face
Zhao et al. Research on detection method for the leakage of underwater pipeline by YOLOv3
CN117173461A (zh) 一种多视觉任务的灌装容器缺陷检测方法、系统及介质
CN112329587A (zh) 饮料瓶的分类方法、装置及电子设备
Wang et al. A wafer surface defect detection method built on generic object detection network
CN113962951B (zh) 检测分割模型的训练方法及装置、目标检测方法及装置
Yang et al. Crack identification of automobile steering knuckle fluorescent penetrant inspection based on deep convolutional generative adversarial networks data enhancement
CN112198170B (zh) 一种无缝钢管外表面三维检测中识别水滴的检测方法
CN116645371B (zh) 一种基于特征搜索的钢轨表面缺陷检测方法及系统
CN111179278B (zh) 一种图像检测的方法、装置、设备和存储介质
Yang et al. Weld Defect Cascaded Detection Model Based on Bidirectional Multi-scale Feature Fusion and Shape Pre-classification
Sampath et al. Vision Transformer based knowledge distillation for fasteners defect detection
CN116228637A (zh) 基于多任务多尺寸网络的电子元器件缺陷识别方法及装置
CN114742823A (zh) 一种物体表面划痕智能检测方法
Li et al. Detection of component types and track damage for high-speed railway using region-based convolutional neural networks
Han et al. Damage detection of quayside crane structure based on improved faster R-CNN
CN113506239B (zh) 一种基于跨阶段局部网络的带钢表面缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant