CN115239632B - 一种融合巡检图像和超声波图像的钢轨表面伤损检测方法 - Google Patents

一种融合巡检图像和超声波图像的钢轨表面伤损检测方法 Download PDF

Info

Publication number
CN115239632B
CN115239632B CN202210726947.5A CN202210726947A CN115239632B CN 115239632 B CN115239632 B CN 115239632B CN 202210726947 A CN202210726947 A CN 202210726947A CN 115239632 B CN115239632 B CN 115239632B
Authority
CN
China
Prior art keywords
steel rail
image
rail
ultrasonic
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210726947.5A
Other languages
English (en)
Other versions
CN115239632A (zh
Inventor
何庆
陈正兴
王启航
王晓明
王平
吴军
杨康华
匡俊
曾楚琦
付彬
刘震
余天乐
姚继东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202210726947.5A priority Critical patent/CN115239632B/zh
Publication of CN115239632A publication Critical patent/CN115239632A/zh
Application granted granted Critical
Publication of CN115239632B publication Critical patent/CN115239632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0609—Display arrangements, e.g. colour displays
    • G01N29/0645—Display representation or displayed parameters, e.g. A-, B- or C-Scan
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4409—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison
    • G01N29/4418—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison with a model, e.g. best-fit, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/023—Solids
    • G01N2291/0234—Metals, e.g. steel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Abstract

本发明涉及钢轨图像智能检测算法领域，具体为一种融合巡检图像和超声波图像的钢轨表面伤损检测方法，其包括以下步骤：S1、查找相同里程位置处的钢轨巡检图像和超声波B显图像，按里程号对应命名并保存为jpg格式图片；S2、构建钢轨巡检图像数据集；S3、滤除超声波B显图像中的杂波；S4、构建钢轨表面分割算法提取钢轨表面图像；S5、搭建CUFuse模型；S6、将钢轨巡检图像数据集按8：2划分训练集和测试集，将训练集中的数据输入到CUFuse模型中进行训练；S7、使用测试集对CUFuse模型进行测试；S8、将训练完成的CUFuse模型封装作为插件安装到RUD‑15型双轨式钢轨超声波探伤仪中。本发明通过构建一个相机和超声数据融合模型，从而提高轨道表面缺陷的检测精度和检测效率。

Description

一种融合巡检图像和超声波图像的钢轨表面伤损检测方法
技术领域
本发明涉及钢轨图像智能检测算法领域，具体是一种融合巡检图像和超声波图像的钢轨表面伤损检测方法。
背景技术
目前，铁路正朝着高速、重载化的方向发展。随着铁路列车运载重量的不断增加，运输频率的明显提升，运行速度的大幅提高，我们不能忽视越来越多的相关安全问题。列车在轨道上的高速冲击和高频振动会引起钢轨的金属疲劳，外部天气因素会引起各种钢轨表面的伤损，如剥离掉块、擦伤、鱼鳞纹等。轨道表面伤损会导致列车振动并影响乘车舒适性。更严重的是，轨道表面伤损对列车的运行安全构成了相当大的威胁。钢轨表面伤损的持续发展可能导致轨头损伤，从而可能导致钢轨断裂，最终导致列车脱轨。因此，实时检测钢轨表面伤损是发展高速重载铁路必须解决的关键问题。
目前，轨道表面缺陷的检测方法包括人工视觉法、超声波检测法、涡流检测法、漏磁法、计算机视觉检测法等。人工视觉方法直观地使用巡警在固定时间观察轨道，并使用钢尺等测量工具测量伤损的位置和大小。这种方法人工成本高，检测效率低，容易受到主观因素的影响，逐渐被淘汰。超声波检测方法使用声波发射器将超声波发射入轨道。它根据超声波回波的相位和振幅确定轨道伤损的位置和大小。该方法对探头配置和探头与钢轨之间的接触程度有很高的要求，在钢轨近表面存在检测盲区。涡流检测法是将交变感应线圈放置在靠近钢轨的位置，并通过电磁感应确定钢轨表面伤损。该方法对检测探头稳定性的要求非常高，信号的分析和处理并不容易。磁粉检测方法基于伤损处产生的磁极会吸收施加在导轨表面的磁粉的原理，并根据磁迹的位置和大小确定钢轨表面伤损的位置和大小。这种方法的缺点是成本高，无法自动对缺陷进行分类。
发明内容
本发明目的是针对背景技术中存在的问题，提出一种利用钢轨巡检图像和超声波B显图像两类数据之间的互补信息，构建一个相机和超声数据融合模型，从而提高轨道表面缺陷的检测精度和检测效率的融合巡检图像和超声波图像的钢轨表面伤损检测方法。
本发明的技术方案：一种融合巡检图像和超声波图像的钢轨表面伤损检测方法，包括以下步骤：
S1、在双轨式探伤小车回放软件中查找相同里程位置处的钢轨巡检图像和超声波B显图像，按里程号对应命名并保存为jpg格式图片；
S2、人工对具有相同位置戳的钢轨巡检图像和超声波B显图像进行分类，类别主要包括轻微、中等、严重三类钢轨表面伤损状态和正常、接头两类正常钢轨表面状态，将不同类别的钢轨巡检图像和超声波B显图像保存在不同文件夹，并生成一个CSV文件存储钢轨巡检图像和超声波B显图像对应的里程编号、类别标签以及存储位置信息，最终构建钢轨巡检图像数据集；
S3、使用“8邻域降噪算法”滤除超声波B显图像中的杂波；
S4、对钢轨巡检图像进行预处理并构建钢轨表面分割算法提取钢轨表面图像；
S5、搭建多源数据融合与深度学习的钢轨表面伤损检测模型，简称CUFuse模型，CUFuse模型由多源数据特征提取网络与多尺度特征融合网络组成；
S6、将S2中构建的数据集按8：2划分训练集和测试集，将训练集中的数据输入到CUFuse模型中进行训练，在训练过程中采用SGD优化器，将学习速率设置为0.0001，权重衰减为1×10-6，动量为0.9，训练轮数epoch数设置为100，学习率每十个epoch衰减十倍，并在损失值不再下降十个epoch后停止训练，训练结束后保存训练模型与权重文件；
S7、使用测试集对CUFuse模型进行测试，输出检测类别判别结果，并对测试效果进行评估；
S8、将训练完成的CUFuse模型封装作为插件安装到RUD-15型双轨式钢轨超声波探伤仪中进行日常的钢轨探伤作业中的钢轨表面伤损智能识别任务。
优选的，S4中，具体流程如下：
S41、通过Log变化算法和直方图均衡化算法对图像进行增强；
S42、使用双边滤波算法对增强后的图像进行滤波；
S43、使用Sobel算子边缘检测算法检测图像中的竖直边缘；
S44、对Sobel算子边缘检测后的图进行灰度均值统计；
S45、对统计数据进行平滑滤波；
S46、设定阈值K，K＝0.3，并查找所有大于K的峰值点{M1,M2,…,Mn}；
S47、寻找最大值点M(x1,y1)；
S48、判断x1是否大于T，且小于w，T为预估钢轨宽度，T取值为435，w为图像宽度，w取值为1352，确保轨面完整落入图像中；
S49、若不满足S48中的条件，则在{M1,M2,…,Mn}中寻找下一个最大值点M(x1,y1)，直到找到满足要求的点M，该点M即为钢轨的内侧边缘；
S410、若x1<w/2，则判定该图像中的钢轨为左轨，否则为右轨；若为左轨，寻找钢轨外侧边缘的N(x2,y2)，设定搜寻范围U，U取值为100，在x1–T–U<x2<x1–T+U范围内寻找最大值点N(x2,y2)，该点N即为左轨钢轨的外侧边缘；若为右轨，寻找钢轨外侧边缘的N(x2,y2)，设定搜寻范围U，U取值为100，在x1+T–U<x2<x1+T+U范围内寻找最大值点N(x2,y2)，该点N即为右轨钢轨的外侧边缘；
S411、判断x1与x2中的最小值min(x1,x2)和最大值max(x1,x2)，将(0,min(x1,x2))与(max(x1,x2),w)范围内的像素值设为0，即将轨面两侧区域涂黑。
优选的，S5中，多源数据特征提取网络是CUFuse的第一部分，该网络使用两个BoTNet 50网络作为特征提取网络，分别提取基于相机的图像和超声B扫描图像的特征，并在从低级到高级的五个阶段输出这两个模型的特征向量；多尺度特征融合网络是CUFuse的第二部分，首先设计一个具有特征融合、特征提取、特征重标定和特征上采样功能的特征融合模块，该模块由特征拼接层、2D卷积层、批量归一化层、Relu激活层、SE模块以及特征2倍上采样层组成，使用5个特征融合模块，分别融合特征提取网络中两个BoTNet 50网络输出的5级特征信息，最后形成一个多尺度的特征融合网络。
优选的，S6中，使用ROC曲线和AUC指标来评估模型的测试结果，ROC曲线为接收器操作特性曲线，AUC为ROC曲线下面积；ROC曲线是以假阳率(FPR)为横坐标、真阳率(TPR)为纵坐标绘制的图形，AUC度量是ROC曲线下的面积，计算FPR和TPR的公式如下：
其中，FP为假正例，TN为真反例，TP为真正例，FN为假反例。
优选的，S6中，构建在CUFuse模型下的分类结果的混淆矩阵，混淆矩阵的横坐标为实际标签，纵坐标为预测标签。
与现有技术相比，本发明具有如下有益的技术效果：多源数据融合是一种信息处理过程，它使用计算机技术在一定标准下自动分析和合成来自多个传感器或多个来源的信息和数据，以完成所需的决策和估计，基于图像的多源数据融合结果可以利用两幅或多幅影像的时空相关性和信息互补性，使融合后得到的图像对检测对象有更全面、更清晰的描述。利用钢轨巡检图像和超声波B显图像两类数据之间的互补信息，构建一个相机和超声数据融合模型，从而提高轨道表面缺陷的检测精度和检测效率。
附图说明
图1为本发明一种实施例的流程图；
图2为特征融合模块的结构示意图；
图3为多尺度特征融合网络的结构示意图；
图4为BoTNet 50网络的结构示意图；
图5为ROC曲线示意图；
图6为ROC曲线左上角放大示意图；
图7为CUFuse模型上训练的分类结果的混淆矩阵图；
图8为单一钢轨巡检图像输入模型上训练的分类结果的混淆矩阵图；
图9为单一B显图像输入模型上训练的分类结果的混淆矩阵图；
图10为钢轨巡检图像和超声波B显图像按里程号对应命名并保存的示意图；
图11为钢轨巡检图像数据集；
图12为8邻域降噪算法流程图；
图13为超声波B显图像滤波前后对比示意图；
图14为原始图像、Log变化算法增强图像和直方图均衡化算法增强图像的对比示意图；
图15为预处理后的图像、双边滤波后的图像以及Sobel边缘检测后的图像对比示意图；
图16为统计数据平滑滤波前后的数据图；
图17为轨面边缘定位示意图；
图18为图14中原始图像的轨面提取效果图。
具体实施方式
实施例一
本发明提出的一种融合巡检图像和超声波图像的钢轨表面伤损检测方法，包括以下步骤：
S1、在双轨式探伤小车回放软件中查找相同里程位置处的钢轨巡检图像和超声波B显图像，按里程号对应命名并保存为jpg格式图片；
S2、人工对具有相同位置戳的钢轨巡检图像和超声波B显图像进行分类，类别主要包括轻微、中等、严重三类钢轨表面伤损状态和正常、接头两类正常钢轨表面状态，将不同类别的钢轨巡检图像和超声波B显图像保存在不同文件夹，并生成一个CSV文件存储钢轨巡检图像和超声波B显图像对应的里程编号、类别标签以及存储位置信息，如图10所示，最终构建钢轨巡检图像数据集，如图11所示；
S3、使用“8邻域降噪算法”滤除超声波B显图像中的杂波，“8邻域降噪算法”流程如图12所示，滤波前后对比如图13所示；
S4、对钢轨巡检图像进行预处理并构建钢轨表面分割算法提取钢轨表面图像；
S5、搭建多源数据融合与深度学习的钢轨表面伤损检测模型，简称CUFuse模型，CUFuse模型由多源数据特征提取网络与多尺度特征融合网络组成，如图2-3所示；多源数据特征提取网络是CUFuse的第一部分，该网络使用两个BoTNet50网络作为特征提取网络，分别提取基于相机的图像和超声B扫描图像的特征，并在从低级到高级的五个阶段输出这两个模型的特征向量，如图4所示；多尺度特征融合网络是CUFuse的第二部分，首先设计一个具有特征融合、特征提取、特征重标定和特征上采样功能的特征融合模块，该模块由特征拼接层、2D卷积层、批量归一化层、Relu激活层、SE模块以及特征2倍上采样层组成，使用5个特征融合模块，分别融合特征提取网络中两个BoTNet 50网络输出的5级特征信息，最后形成一个多尺度的特征融合网络；
S6、将S2中构建的数据集按8：2划分训练集和测试集，将训练集中的数据输入到CUFuse模型中进行训练，在训练过程中采用SGD优化器，将学习速率设置为0.0001，权重衰减为1×10-6，动量为0.9，训练轮数epoch数设置为100，学习率每十个epoch衰减十倍，并在损失值不再下降十个epoch后停止训练，训练结束后保存训练模型与权重文件；
S7、使用测试集对CUFuse模型进行测试，输出检测类别判别结果，并对测试效果进行评估；
S8、将训练完成的CUFuse模型封装作为插件安装到RUD-15型双轨式钢轨超声波探伤仪中进行日常的钢轨探伤作业中的钢轨表面伤损智能识别任务。
整体流程图如图1所示。
本实施例中，多源数据融合是一种信息处理过程，它使用计算机技术在一定标准下自动分析和合成来自多个传感器或多个来源的信息和数据，以完成所需的决策和估计，基于图像的多源数据融合结果可以利用两幅或多幅影像的时空相关性和信息互补性，使融合后得到的图像对检测对象有更全面、更清晰的描述。利用钢轨巡检图像和超声波B显图像两类数据之间的互补信息，构建一个相机和超声数据融合模型，从而提高轨道表面缺陷的检测精度和检测效率。
实施例二
本发明提出的一种融合巡检图像和超声波图像的钢轨表面伤损检测方法，相较于实施例一，S4中，具体流程如下：
S41、通过Log变化算法和直方图均衡化算法对图像进行增强，如图14所示；
S42、使用双边滤波算法对增强后的图像进行滤波，如图15所示；
S43、使用Sobel算子边缘检测算法检测图像中的竖直边缘，如图15所示；
S44、对Sobel算子边缘检测后的图进行灰度均值统计；
S45、对统计数据进行平滑滤波，平滑滤波前后数据如图16所示；
S46、设定阈值K，K＝0.3，并查找所有大于K的峰值点{M1,M2,…,Mn}，如图16所示；
S47、寻找最大值点M(x1,y1)；
S48、判断x1是否大于T，且小于w，T为预估钢轨宽度，T取值为435，w为图像宽度，w取值为1352，确保轨面完整落入图像中；
S49、若不满足S48中的条件，则在{M1,M2,…,Mn}中寻找下一个最大值点M(x1,y1)，直到找到满足要求的点M，该点M即为钢轨的内侧边缘，本案中以图12中的钢轨内侧边缘M(x1,y1)坐标为(658，7.89)为例，即为图17中的最高点；
S410、若x1<w/2，则判定该图像中的钢轨为左轨，否则为右轨；若为左轨，寻找钢轨外侧边缘的N(x2,y2)，设定搜寻范围U，U取值为100，在x1–T–U<x2<x1–T+U范围内寻找最大值点N(x2,y2)，该点N即为左轨钢轨的外侧边缘；若为右轨，寻找钢轨外侧边缘的N(x2,y2)，设定搜寻范围U，U取值为100，在x1+T–U<x2<x1+T+U范围内寻找最大值点N(x2,y2)，该点N即为右轨钢轨的外侧边缘；本案中以图14中的钢轨为左轨为例，钢轨外侧边缘N(x2,y2)坐标为(326，6.00)，即为17中的次高点；
S411、判断x1与x2中的最小值min(x1,x2)和最大值max(x1,x2)，将(0,min(x1,x2))与(max(x1,x2),w)范围内的像素值设为0，即将轨面两侧区域涂黑，如图18所示。
本实施例中，对钢轨巡检图像进行预处理并构建钢轨表面分割算法提取钢轨表面图像，便于后续使用。
实施例三
本发明提出的一种融合巡检图像和超声波图像的钢轨表面伤损检测方法，相较于实施例一，S6中，使用ROC曲线和AUC指标来评估模型的测试结果，ROC曲线为接收器操作特性曲线，AUC为ROC曲线下面积；ROC曲线是以假阳率(FPR)为横坐标、真阳率(TPR)为纵坐标绘制的图形，AUC度量是ROC曲线下的面积，计算FPR和TPR的公式如下：
其中，FP为假正例，TN为真反例，TP为真正例，FN为假反例。图5显示了微平均ROC曲线，宏平均ROC曲线以及每个类别的ROC曲线。微平均和宏平均的计算略有不同，因此它们的解释不同。宏平均独立计算每个类的指标，然后计算平均值，而微平均聚合所有类的贡献度以计算平均指标。图例中的“面积”就是我们所说的AUC指标。为了观察ROC曲线中更详细和细微的差异，我们放大图5的左上角，使所有ROC曲线的横坐标FPR的显示范围为(0，0.2)，图6显示了缩放后的ROC曲线。从AUC指标(图例中的“面积”)中，可以看到，除了“中等”类的AUC指标0.99之外，其他类别的AUC指标均为1。因此，本文提出的CUFuse模型对于检测各种钢轨表面缺陷具有很高的精度。
实施例四
本发明提出的一种融合巡检图像和超声波图像的钢轨表面伤损检测方法，相较于实施例一，S6中，构建在CUFuse模型下的分类结果的混淆矩阵，混淆矩阵的横坐标为实际标签，纵坐标为预测标签，如图7所示。该混淆矩阵的横坐标表示实际标签，纵坐标表示预测标签。从图中可以看出，在“轻微”类别中，正确识别了205张图像，而2张图像误判为“中等”。在“中等”类别中，正确识别了117张图像，而2张图像被误判为“轻微”，6张被误判为“严重”。在“严重”类别中，正确识别了69张图像，而11张图像被误判为“轻微”。“正常”类别中的所有171张图像均被正确识别。“接头”类别中的142张图像被正确识别，1张图像被误判为“正常”。表1展示了我们最终计算的每个类的准确率。除“严重”类的准确率为86.25％，其他所有类别的准确率均超过90％。其中，“正常”类的准确率为100％，“轻微”和“接头”类的准确率超过99％。
表1不同类型缺陷检测效率的评价
为了展示所提出的数据融合模型与单输入模型相比的效果，我们比较了在三个模型(包括CUFuse模型，单一钢轨巡检图像输入模型，单一B显图像输入模型)上训练的分类结果的混淆矩阵。单一钢轨巡检图像输入模型是以钢轨巡检图像作为唯一输入，以ResNet 50作为主干网络的单输入模型。单一B显图像输入模型是我以B显图像作为输入，以ResNet 50作为主干网络的单输入模型。在三个模型上训练的分类结果的混淆矩阵如图7、图8和图9所示。可以看出，单一钢轨巡检图像输入模型对“中等”和“严重”两类图像的检测精度优于单一B显图像输入模型。对于“接头”类，单一B显图像输入模型的检测效果优于单一钢轨巡检图像输入模型。两个单输入模型在“轻微”和“正常”下的性能类似。然而，两个单输入模型对各种钢轨表面状态类型的检测效果均不如本研究所提出的CUFuse模型。为了更直观地分析三个模型的检测效果，我们根据上述三个混淆矩阵计算了三个模型的精度，如表2所示，从表2可以看出，使用单输入模型，钢轨巡检图像数据集和B显图像数据集只能达到94％左右的准确率。我们提出的CUFuse模型的准确率可以达到96.97％，比两个单输入模型的精度高出约3％。进一步将CUFuse模型与CUFuse-ResNet和YOLO V3进行对比，结果如表2所示。CUFuse-ResNet与CUFuse大致相同，只是特征提取网络从BoTNet 50更改为ResNet 50。YOLOV3是经典的目标检测网络，可对本文中表面伤损进行分类和定位。从表2可以看出，CUFuse的准确率分别比CUFuse-ResNet和YOLO V3高出0.69％和4.97％。因此，CUFuse模型可以很好地完成铁路现场的铁路表面伤损检测任务。
表2 CUFuse与其它模型检测效果比较
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于此，在所属技术领域的技术人员所具备的知识范围内，在不脱离本发明宗旨的前提下还可以作出各种变化。

Claims (4)

1.一种融合巡检图像和超声波图像的钢轨表面伤损检测方法，其特征在于，包括以下步骤：
S1、在双轨式探伤小车回放软件中查找相同里程位置处的钢轨巡检图像和超声波B显图像，按里程号对应命名并保存为jpg格式图片；
S2、人工对具有相同位置戳的钢轨巡检图像和超声波B显图像进行分类，类别主要包括轻微、中等、严重三类钢轨表面伤损状态和正常、接头两类正常钢轨表面状态，将不同类别的钢轨巡检图像和超声波B显图像保存在不同文件夹，并生成一个CSV文件存储钢轨巡检图像和超声波B显图像对应的里程编号、类别标签以及存储位置信息，最终构建钢轨巡检图像数据集；
S3、使用“8邻域降噪算法”滤除超声波B显图像中的杂波；
S4、对钢轨巡检图像进行预处理并构建钢轨表面分割算法提取钢轨表面图像；
S5、搭建多源数据融合与深度学习的钢轨表面伤损检测模型，简称CUFuse模型，CUFuse模型由多源数据特征提取网络与多尺度特征融合网络组成；
多源数据特征提取网络是CUFuse的第一部分，该网络使用两个BoTNet 50网络作为特征提取网络，分别提取基于相机的图像和超声B扫描图像的特征，并在从低级到高级的五个阶段输出这两个模型的特征向量；多尺度特征融合网络是CUFuse的第二部分，首先设计一个具有特征融合、特征提取、特征重标定和特征上采样功能的特征融合模块，该模块由特征拼接层、2D卷积层、批量归一化层、Relu激活层、SE模块以及特征2倍上采样层组成，使用5个特征融合模块，分别融合特征提取网络中两个BoTNet 50网络输出的5级特征信息，最后形成一个多尺度的特征融合网络；
S6、将S2中构建的数据集按8：2划分训练集和测试集，将训练集中的数据输入到CUFuse模型中进行训练，在训练过程中采用SGD优化器，将学习速率设置为0.0001，权重衰减为1×10-6，动量为0.9，训练轮数epoch数设置为100，学习率每十个epoch衰减十倍，并在损失值不再下降十个epoch后停止训练，训练结束后保存训练模型与权重文件；
S7、使用测试集对CUFuse模型进行测试，输出检测类别判别结果，并对测试效果进行评估；
S8、将训练完成的CUFuse模型封装作为插件安装到RUD-15型双轨式钢轨超声波探伤仪中进行日常的钢轨探伤作业中的钢轨表面伤损智能识别任务。
2.根据权利要求1所述的融合巡检图像和超声波图像的钢轨表面伤损检测方法，其特征在于，S4中，具体流程如下：
S41、通过Log变化算法和直方图均衡化算法对图像进行增强；
S42、使用双边滤波算法对增强后的图像进行滤波；
S43、使用Sobel算子边缘检测算法检测图像中的竖直边缘；
S44、对Sobel算子边缘检测后的图进行灰度均值统计；
S45、对统计数据进行平滑滤波；
S46、设定阈值K，K＝0.3，并查找所有大于K的峰值点{M1,M2,…,Mn}；
S47、寻找最大值点M(x1,y1)；
S48、判断x1是否大于T，且小于w，T为预估钢轨宽度，T取值为435，w为图像宽度，w取值为1352，确保轨面完整落入图像中；
S49、若不满足S48中的条件，则在{M1,M2,…,Mn}中寻找下一个最大值点M(x1,y1)，直到找到满足要求的点M，该点M即为钢轨的内侧边缘；
S410、若x1<w/2，则判定该图像中的钢轨为左轨，否则为右轨；若为左轨，寻找钢轨外侧边缘的N(x2,y2)，设定搜寻范围U，U取值为100，在x1–T–U<x2<x1–T+U范围内寻找最大值点N(x2,y2)，该点N即为左轨钢轨的外侧边缘；若为右轨，寻找钢轨外侧边缘的N(x2,y2)，设定搜寻范围U，U取值为100，在x1+T–U<x2<x1+T+U范围内寻找最大值点N(x2,y2)，该点N即为右轨钢轨的外侧边缘；
S411、判断x1与x2中的最小值min(x1,x2)和最大值max(x1,x2)，将(0,min(x1,x2))与(max(x1,x2),w)范围内的像素值设为0，即将轨面两侧区域涂黑。
3.根据权利要求1所述的融合巡检图像和超声波图像的钢轨表面伤损检测方法，其特征在于，S6中，使用ROC曲线和AUC指标来评估模型的测试结果，ROC曲线为接收器操作特性曲线，AUC为ROC曲线下面积；ROC曲线是以假阳率(FPR)为横坐标、真阳率(TPR)为纵坐标绘制的图形，AUC度量是ROC曲线下的面积，计算FPR和TPR的公式如下：
其中，FP为假正例，TN为真反例，TP为真正例，FN为假反例。
4.根据权利要求1所述的融合巡检图像和超声波图像的钢轨表面伤损检测方法，其特征在于，S6中，构建在CUFuse模型下的分类结果的混淆矩阵，混淆矩阵的横坐标为实际标签，纵坐标为预测标签。
CN202210726947.5A 2022-06-23 2022-06-23 一种融合巡检图像和超声波图像的钢轨表面伤损检测方法 Active CN115239632B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210726947.5A CN115239632B (zh) 2022-06-23 2022-06-23 一种融合巡检图像和超声波图像的钢轨表面伤损检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210726947.5A CN115239632B (zh) 2022-06-23 2022-06-23 一种融合巡检图像和超声波图像的钢轨表面伤损检测方法

Publications (2)

Publication Number Publication Date
CN115239632A CN115239632A (zh) 2022-10-25
CN115239632B true CN115239632B (zh) 2024-04-09

Family

ID=83670103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210726947.5A Active CN115239632B (zh) 2022-06-23 2022-06-23 一种融合巡检图像和超声波图像的钢轨表面伤损检测方法

Country Status (1)

Country Link
CN (1) CN115239632B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115983687B (zh) * 2022-12-22 2023-09-29 北京弥天科技有限公司 一种冷轧带钢质量智能检测管理系统及方法
CN116620348B (zh) * 2023-06-06 2023-10-20 宁波思高信通科技有限公司 一种钢轨检测方法、系统、智能终端及存储介质
CN116630766B (zh) * 2023-07-26 2023-10-17 山东中慧强企信息科技有限公司 一种多源信息数据处理系统、方法及设备
CN116805315A (zh) * 2023-08-21 2023-09-26 南京富岛信息工程有限公司 一种基于钢轨b显图像机器学习的内部伤损识别方法
CN117611587A (zh) * 2024-01-23 2024-02-27 赣州泰鑫磁性材料有限公司 基于人工智能的稀土合金材料检测系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2426069C1 (ru) * 2010-04-01 2011-08-10 Государственное образовательное учреждение высшего профессионального образования "Сибирский государственный индустриальный университет" Способ неразрушающего контроля качества поверхности рельсов
CN106560001A (zh) * 2015-04-16 2017-04-05 运输技术中心公司 用于以相控阵超声波检查轨道的系统
CN111655562A (zh) * 2017-11-30 2020-09-11 斯佩里铁路控股有限公司 使用机器学习检查轨道的系统和方法
CN112200225A (zh) * 2020-09-23 2021-01-08 西南交通大学 基于深度卷积神经网络的钢轨伤损b显图像识别方法
CN112215263A (zh) * 2020-09-23 2021-01-12 西南交通大学 基于深度卷积神经网络的钢轨波磨检测方法
CN113504306A (zh) * 2021-07-13 2021-10-15 电子科技大学 一种基于超声相控阵低秩矩阵恢复的钢轨缺陷检测方法
CN114266891A (zh) * 2021-11-17 2022-04-01 京沪高速铁路股份有限公司 基于图像与激光数据融合的铁路运行环境异常辨识方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002213064A1 (en) * 2000-10-10 2002-04-22 Sperry Rail, Inc. Hi-rail vehicle-based rail inspection system
US20210370993A1 (en) * 2020-05-27 2021-12-02 University Of South Carolina Computer vision based real-time pixel-level railroad track components detection system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2426069C1 (ru) * 2010-04-01 2011-08-10 Государственное образовательное учреждение высшего профессионального образования "Сибирский государственный индустриальный университет" Способ неразрушающего контроля качества поверхности рельсов
CN106560001A (zh) * 2015-04-16 2017-04-05 运输技术中心公司 用于以相控阵超声波检查轨道的系统
CN111655562A (zh) * 2017-11-30 2020-09-11 斯佩里铁路控股有限公司 使用机器学习检查轨道的系统和方法
CN112200225A (zh) * 2020-09-23 2021-01-08 西南交通大学 基于深度卷积神经网络的钢轨伤损b显图像识别方法
CN112215263A (zh) * 2020-09-23 2021-01-12 西南交通大学 基于深度卷积神经网络的钢轨波磨检测方法
CN113504306A (zh) * 2021-07-13 2021-10-15 电子科技大学 一种基于超声相控阵低秩矩阵恢复的钢轨缺陷检测方法
CN114266891A (zh) * 2021-11-17 2022-04-01 京沪高速铁路股份有限公司 基于图像与激光数据融合的铁路运行环境异常辨识方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Deep learning for the detection and recognition of rail defects in ultrasound B-scan images》;Chen Z et al.;《Transportation Research Record》;全文 *
《Development of Rail-Condition Assessment Model Using Ultrasonic Technique》;Sadeghi et al.;《Mohammadreza Rezaee and Esmaeil Rajaei Najafabadi》;全文 *
《基于深度学习的钢轨伤损智能识别方法》;孙次锁 等;《中国铁道科学》;第39卷(第5期);全文 *

Also Published As

Publication number Publication date
CN115239632A (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN115239632B (zh) 一种融合巡检图像和超声波图像的钢轨表面伤损检测方法
CN115272334B (zh) 用于复杂背景下的钢轨表面微小缺陷检测方法
CN103279765B (zh) 基于图像匹配的钢丝绳表面损伤检测方法
CN112200225B (zh) 基于深度卷积神经网络的钢轨伤损b显图像识别方法
CN105893946A (zh) 一种正面人脸图像的检测方法
CN111311567A (zh) 对轨道线路图像进行扣件和钢轨病害识别的方法
CN102928435A (zh) 基于图像和超声信息融合的飞机蒙皮损伤识别方法及装置
Nizam et al. Vision based identification and classification of weld defects in welding environments: A review
CN104077594A (zh) 一种图像识别方法和装置
CN110717464B (zh) 一种基于雷达数据的铁路路基病害智能识别方法
Chen et al. CUFuse: Camera and ultrasound data fusion for rail defect detection
CN113720910B (zh) 一种基于超声波信号的钢轨缺陷智能检测方法及系统
AlNaimi et al. IoT based on-the-fly visual defect detection in railway tracks
CN114092478A (zh) 一种异常检测方法
CN106404893A (zh) 一种轴向漏磁缺陷信号自动检测方法
JPH05280960A (ja) 欠陥検査装置
CN112198170B (zh) 一种无缝钢管外表面三维检测中识别水滴的检测方法
CN117173461A (zh) 一种多视觉任务的灌装容器缺陷检测方法、系统及介质
CN109063669A (zh) 一种基于图像识别的桥区船舶航行态势分析方法及装置
CN114972280B (zh) 精细坐标注意力模块及其在表面缺陷检测中的应用
CN114354755B (zh) 一种城镇燃气聚乙烯管道的检测方法
CN113919396A (zh) 一种基于半监督学习的振动信号和图像特征机床刀具磨损状态监测方法
Han et al. Damage detection of quayside crane structure based on improved faster R-CNN
CN116342966B (zh) 一种基于深度学习的轨道巡检方法、装置、设备及介质
CN115308310B (zh) 一种管路内壁的超声探伤识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant