CN116416234A - 一种轨道机车表面缺陷检测方法及系统 - Google Patents

一种轨道机车表面缺陷检测方法及系统 Download PDF

Info

Publication number
CN116416234A
CN116416234A CN202310384365.8A CN202310384365A CN116416234A CN 116416234 A CN116416234 A CN 116416234A CN 202310384365 A CN202310384365 A CN 202310384365A CN 116416234 A CN116416234 A CN 116416234A
Authority
CN
China
Prior art keywords
image
defect
twin
network
cnn network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310384365.8A
Other languages
English (en)
Inventor
梅爽
王贺堡
张家庆
陈欣怡
贺鑫
文国军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202310384365.8A priority Critical patent/CN116416234A/zh
Publication of CN116416234A publication Critical patent/CN116416234A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种轨道机车表面缺陷检测方法及系统，包括：获取外表面图像的标准图像和缺陷图像；对标准图像进行裁剪，获得无缺陷样本集；对缺陷图像进行图像校正和裁剪，获得缺陷样本集；通过损失函数对孪生CNN网络进行训练，获得训练好的孪生CNN网络；将无缺陷样本集输入训练好的孪生CNN网络，获得第一特征张量F1；将缺陷样本集输入训练好的孪生CNN网络，获得第二特征张量F2；计算第一特征张量F1与第二特征张量F2之间的欧式距离，获得距离图；对距离图进行优化获得最终变化图。本发明构建并训练孪生CNN网络，能够使用该网络进行标准图像和缺陷图像的特征提取，解决了因图像背景复杂无法有效提取图像缺陷区域特征的问题。

Description

一种轨道机车表面缺陷检测方法及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种轨道机车表面缺陷检测方法及系统。
背景技术
由于轨道机车是一个庞大复杂的大型交通运输设备，需要检测的缺陷种类多，且检测难度高，所以目前检测轨道车辆缺陷主要还是使用人工目检这种传统的方法，但是这种方法存在着很多问题：1、工人劳动强度大、检测稳定性及一致性差；2.轨道两旁危险系数高，工人存在安全隐患；3、自动化程度低、检测效率低；4、漏检率大、检测精细化程度低；5、招工难、用工难、成本高。
有一些研究机构尝试使用基于机器视觉和传统图像处理的方法去检测轨道机车外表面缺陷，这种方法是通过适当的光源和图像传感器(线阵相机)获取轨道机车的外表面图像，利用相应的图像处理算法提取图像的特征信息，然后根据特征信息进行表面缺陷的定位、识别。目前基于机器视觉和传统图像处理的轨道机车表面缺陷检测方法存在以下问题：1、受环境、光照、车体表面光线反射等多重因素影响，要求检测系统的信噪比一般比较低，对微弱的缺陷信号难以检出或不能与噪声有效区分；2、基于机器视觉和传统图像处理的缺陷检测方法的准确性不高，当检测对象多样、表面缺陷种类繁多、形状大小多样、背景复杂时，提取缺陷的特征较为困难，传统图像算法的兼容性不足，难以形成一个有效统一的缺陷检测方法；3、在面对数据量较大的时候，算法的计算复杂度过高，导致算法的运行速度慢，实时性不高。
发明内容
为解决上述技术问题，本发明提供一种轨道机车表面缺陷检测方法，包括：
S1：采集轨道机车外表面图像，获取外表面图像的标准图像和缺陷图像；
S2：对标准图像进行裁剪，获得无缺陷样本集；对缺陷图像进行图像校正和裁剪，获得缺陷样本集；
S3：构建孪生CNN网络，通过损失函数对孪生CNN网络进行训练，获得训练好的孪生CNN网络；
S4：将无缺陷样本集输入训练好的孪生CNN网络，获得第一特征张量F1；将缺陷样本集输入训练好的孪生CNN网络，获得第二特征张量F2；
S5：计算第一特征张量F1与第二特征张量F2之间的欧式距离，获得距离图；
S6：对距离图进行优化获得最终变化图，通过最终变化图获得轨道机车外表面的缺陷区域。
优选的，步骤S2具体为：
S21：标准图像的宽为W1高为H1，获取缺陷图像中的畸变图像，畸变图像的宽为W2高为H1，在标准图像和畸变图像上分别创建宽为W0高为H1的第一滑动窗口和第二滑动窗口；
S22：通过SIFT特征匹配算法，将畸变图像在第二滑动窗口内的区域与标准图像在第一滑动窗口内的区域进行特征点匹配，获得关键点；
S23：通过匹配的关键点对第二滑动窗口内的畸变图像进行透视变换矩阵的计算，得到校正后的图像，将该校正后的图像作为第二滑动窗口位置裁剪获得的缺陷样本；
S24：将第二滑动窗口的位置传递给第一滑动窗口，使两个滑动窗口在像素坐标系下的位置一致，将第一滑动窗口中的标准图像作为第一滑动窗口位置裁剪获得的无缺陷样本；
S25：移动第二滑动窗口的位置后重复步骤S21-S24，直至剩余未遍历的像素列数小于W0并舍弃未遍历区域，获得的所有无缺陷样本作为无缺陷样本集，获得的所有缺陷样本作为缺陷样本集。
优选的，所述孪生CNN网络包括：第一分支网络和第二分支网络；
第一分支网络和第二分支网络均包括五个卷积块；
每个卷积块均包括：一个卷积层、一个Relu激活层和归一化层；
最后一个卷积块中卷积层的卷积核大小设置为1*1；
第一个卷积块中卷积层到第四个卷积块中卷积层的卷积核大小依次设置为：3*3、3*3、5*5和5*5。
优选的，所述孪生CNN网络的训练过程具体为：
通过损失函数更新孪生CNN网络的网络权重参数，直至网络损失收敛，计算公式为：
Figure BDA0004173350130000031
其中，Loss为网络损失；Di,j为欧氏距离；i，j为图像像素坐标系下的横、纵坐标；k为训练样本对的次数；wu和wc分别表示变化和不变像素对的权重；yi，j为像素变化系数，当两图对应像素对不变时yi，j＝0，若发生变化yi，j＝1。
优选的，所述距离图中F1与F2之间的欧式距离越大，则表示无缺陷样本与缺陷样本中对应像素存在差异的可能性越大。
优选的，步骤S6具体为：
S61：对距离图进行阈值分割得到初始的变化图；
S62：通过KNN最近邻算法对初始的变化图进行改进，获得最终的变化图；
S63：最终的变化图上灰度值为255的区域即为轨道机车外表面的缺陷区域。
一种轨道机车表面缺陷检测系统，包括：
图像获取模块，用于采集轨道机车外表面图像，获取外表面图像的标准图像和缺陷图像；
样本获取模块，用于对标准图像进行裁剪，获得无缺陷样本集；对缺陷图像进行图像校正和裁剪，获得缺陷样本集；
网络训练模块，用于构建孪生CNN网络，通过损失函数对孪生CNN网络进行训练，获得训练好的孪生CNN网络；
特征张量获取模块，用于将无缺陷样本集输入训练好的孪生CNN网络，获得第一特征张量F1；将缺陷样本集输入训练好的孪生CNN网络，获得第二特征张量F2；
距离图获取模块，用于计算第一特征张量F1与第二特征张量F2之间的欧式距离，获得距离图；
缺陷区域获取模块，用于对距离图进行优化获得最终变化图，通过最终变化图获得轨道机车外表面的缺陷区域。
一种存储设备，所述存储设备存储指令及数据用于实现所述的轨道机车表面缺陷检测方法。
一种轨道机车表面缺陷检测设备，包括：处理器及存储设备；所述处理器加载并执行存储设备中的指令及数据用于实现所述的轨道机车表面缺陷检测方法。
本发明具有以下有益效果：
1、本发明利用SIFT特征匹配进行轨道机车图像校正，能够通过匹配标准图像和畸变图像间的特征点进行图像校正，解决了因轨道机车运行速度不均造成的图像畸变问题，简化了图像校正的过程，缩短了检测周期；
2、本发明构建并训练孪生CNN网络，能够使用该网络进行标准图像和缺陷图像的特征提取，解决了因图像背景复杂无法有效提取图像缺陷区域特征的问题，减少了漏检率和误检率，显著提高了算法的鲁棒性。
附图说明
图1为本发明实施例方法流程图；
图2为孪生CNN网络的结构图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，本发明提供一种轨道机车表面缺陷检测方法，包括：
S1：采集轨道机车外表面图像，获取外表面图像的标准图像和缺陷图像；
S2：对标准图像进行裁剪，获得无缺陷样本集；对缺陷图像进行图像校正和裁剪，获得缺陷样本集；
S3：构建孪生CNN网络，通过损失函数对孪生CNN网络进行训练，获得训练好的孪生CNN网络；
S4：将无缺陷样本集输入训练好的孪生CNN网络，获得第一特征张量F1；将缺陷样本集输入训练好的孪生CNN网络，获得第二特征张量F2；
S5：计算第一特征张量F1与第二特征张量F2之间的欧式距离，获得距离图；
S6：对距离图进行优化获得最终变化图，通过最终变化图获得轨道机车外表面的缺陷区域。
进一步的，步骤S1具体为：
使用固定在轨道两侧的高分辨率线阵相机和光源组成的硬件图像采集平台，通过相机和光源的上位机软件调节合适的曝光时间、采集频率、光照强度等参数获取便于后续图像处理的轨道机车外表面图像并存储到计算机中。
进一步的，通过步骤S2将轨道机车外表面图像进行畸变校正并同时裁剪成多幅图像，图像校正和裁剪同时进行节省了算法运行时间，提高了工作效率，并使得全卷积孪生神经网络可以更精确地提取到图像特征；
步骤S2具体为：
S21：标准图像的宽为W1高为H1，获取缺陷图像中的畸变图像，畸变图像的宽为W2高为H1，在标准图像和畸变图像上分别创建宽为W0高为H1的第一滑动窗口和第二滑动窗口；
S22：通过SIFT特征匹配算法，将畸变图像在第二滑动窗口内的区域与标准图像在第一滑动窗口内的区域进行特征点匹配，获得关键点；
具体的，传统的线阵相机图像一般采用拍摄多张不同角度标定板图像进行标定的方式来校正图像畸变，此种方法虽然校正精度高但是操作繁琐并且需要在特定地点摆放标定板，在铁路两侧并不宜采用；基于SIFT特征匹配的图像校正方法可以仅通过图像本身的特征点进行图像校正，避免了无法安放标定板的问题，简化了图像校正的过程，缩短了检测周期；
通过SIFT特征匹配算法对滑动窗口内的图像进行降采样得到不同分辨率下的图像金字塔，其次对每层图像进行高斯卷积得到LOG图像生成图像的多尺度空间，再其次将LOG图像与其相邻图像相减得到所有图像重新构造的高斯差分金字塔，高斯差分金字塔中特征图的极值点即为图像的关键点；式(1)为二维高斯空间卷积函数的表达式，其中Δx和Δ分别表示卷积核的横纵坐标偏移量，σ为高斯核参数；式(2)为多尺度空间表达式，其中I(x，y)代表被卷积图像；
Figure BDA0004173350130000051
L(x,y,σ)＝G(x,y,σ)*I(x,y) (2)
S23：通过匹配的关键点对第二滑动窗口内的畸变图像进行透视变换矩阵的计算，得到校正后的图像(此时校正后的图像尺寸与滑动窗口尺寸不再一致)，将该校正后的图像作为第二滑动窗口位置裁剪获得的缺陷样本；
S24：将第二滑动窗口的位置传递给第一滑动窗口，使两个滑动窗口在像素坐标系下的位置一致，将第一滑动窗口中的标准图像作为第一滑动窗口位置裁剪获得的无缺陷样本；
S25：移动第二滑动窗口的位置后重复步骤S21-S24，直至剩余未遍历的像素列数小于W0并舍弃未遍历区域(由于采集图像的尾端是不属于轨道机车部分的像素点，故舍弃未遍历的像素并不影响后续神经网络的特征提取)，获得的所有无缺陷样本作为无缺陷样本集，获得的所有缺陷样本作为缺陷样本集。
进一步的，构造孪生CNN网络(孪生全卷积神经网络FSCNN)用于图像特征提取；传统的图像特征提取技术一般是采用手动设计的方法，此种方法依赖于数据库，需要根据数据的特点来设计；而基于孪生CNN网络的图像特征提取的方法能够解决传统方法存在的不足，通过卷积层和权值共享可以有效的提取出图像上的缺陷信息，显著提高了算法的鲁棒性；
孪生CNN网络的输入为无缺陷标准图像和缺陷图像，输出为两个特征张量，输入和输出尺寸是一致的，网络的两个分支共享相同的权值使得提取两张图像特征的方法相同，孪生CNN网络的结构如图2所示；
所述孪生CNN网络包括：第一分支网络和第二分支网络；
第一分支网络和第二分支网络均包括五个卷积块；
每个卷积块均包括：一个卷积层、一个Relu激活层和归一化层；
最后一个卷积块中卷积层的卷积核大小设置为1*1(用于特征选择)；
第一个卷积块中卷积层到第四个卷积块中卷积层的卷积核大小依次设置为：3*3、3*3、5*5和5*5(保证感受野的扩大)。
进一步的，所述孪生CNN网络的训练过程具体为：
通过损失函数更新孪生CNN网络的网络权重参数，直至网络损失收敛，计算公式为：
Figure BDA0004173350130000061
其中，Loss为网络损失；Di,j为欧氏距离；i，j为图像像素坐标系下的横、纵坐标；k为训练样本对的次数；wu和wc分别表示变化和不变像素对的权重；yi，j为像素变化系数，当两图对应像素对不变时yi，j＝0，若发生变化yi，j＝1。
进一步的，所述距离图中F1与F2之间的欧式距离越大，则表示无缺陷样本与缺陷样本中对应像素存在差异的可能性越大。
具体的，为了比较无缺陷标准图像和缺陷图像间的差异程度，采用计算孪生CNN网络的两个输出张量的欧式距离方法，结果值越大，则两张输入图像对应像素越可能存在差异；式(4)为欧氏距离D的计算公式，G(X1)i，j和G(X2)i，j分别表示孪生CNN网络输出的两个特征张量。
D(X1,X2)＝||G(X1)i,j-G(X2)i,j||2 (4)
进一步的，步骤S6具体为：
S61：对距离图进行阈值分割得到初始的变化图；
具体的，变化图是显示缺陷图像与无缺陷标准图像差异区域的图像；
S62：通过KNN最近邻算法对初始的变化图进行改进，获得最终的变化图；
具体的，使用KNN最近邻算法的目的是消除初始的变化图上离散的噪声区域，使缺陷区域判定更为精确；
S63：最终的变化图上灰度值为255的区域即为轨道机车外表面的缺陷区域。
本发明提供一种轨道机车表面缺陷检测系统，包括：
图像获取模块，用于采集轨道机车外表面图像，获取外表面图像的标准图像和缺陷图像；
样本获取模块，用于对标准图像进行裁剪，获得无缺陷样本集；对缺陷图像进行图像校正和裁剪，获得缺陷样本集；
网络训练模块，用于构建孪生CNN网络，通过损失函数对孪生CNN网络进行训练，获得训练好的孪生CNN网络；
特征张量获取模块，用于将无缺陷样本集输入训练好的孪生CNN网络，获得第一特征张量F1；将缺陷样本集输入训练好的孪生CNN网络，获得第二特征张量F2；
距离图获取模块，用于计算第一特征张量F1与第二特征张量F2之间的欧式距离，获得距离图；
缺陷区域获取模块，用于对距离图进行优化获得最终变化图，通过最终变化图获得轨道机车外表面的缺陷区域。
本发明提供一种存储设备，所述存储设备存储指令及数据用于实现上述的轨道机车表面缺陷检测方法。
本发明提供一种轨道机车表面缺陷检测设备，包括：处理器及存储设备；所述处理器加载并执行存储设备中的指令及数据用于实现上述的轨道机车表面缺陷检测方法。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种轨道机车表面缺陷检测方法，其特征在于，包括：
S1：采集轨道机车外表面图像，获取外表面图像的标准图像和缺陷图像；
S2：对标准图像进行裁剪，获得无缺陷样本集；对缺陷图像进行图像校正和裁剪，获得缺陷样本集；
S3：构建孪生CNN网络，通过损失函数对孪生CNN网络进行训练，获得训练好的孪生CNN网络；
S4：将无缺陷样本集输入训练好的孪生CNN网络，获得第一特征张量F1；将缺陷样本集输入训练好的孪生CNN网络，获得第二特征张量F2；
S5：计算第一特征张量F1与第二特征张量F2之间的欧式距离，获得距离图；
S6：对距离图进行优化获得最终变化图，通过最终变化图获得轨道机车外表面的缺陷区域。
2.根据权利要求1所述的轨道机车表面缺陷检测方法，其特征在于，步骤S2具体为：
S21：标准图像的宽为W1高为H1，获取缺陷图像中的畸变图像，畸变图像的宽为W2高为H1，在标准图像和畸变图像上分别创建宽为W0高为H1的第一滑动窗口和第二滑动窗口；
S22：通过SIFT特征匹配算法，将畸变图像在第二滑动窗口内的区域与标准图像在第一滑动窗口内的区域进行特征点匹配，获得关键点；
S23：通过匹配的关键点对第二滑动窗口内的畸变图像进行透视变换矩阵的计算，得到校正后的图像，将该校正后的图像作为第二滑动窗口位置裁剪获得的缺陷样本；
S24：将第二滑动窗口的位置传递给第一滑动窗口，使两个滑动窗口在像素坐标系下的位置一致，将第一滑动窗口中的标准图像作为第一滑动窗口位置裁剪获得的无缺陷样本；
S25：移动第二滑动窗口的位置后重复步骤S21-S24，直至剩余未遍历的像素列数小于W0并舍弃未遍历区域，获得的所有无缺陷样本作为无缺陷样本集，获得的所有缺陷样本作为缺陷样本集。
3.根据权利要求1所述的轨道机车表面缺陷检测方法，其特征在于，所述孪生CNN网络包括：第一分支网络和第二分支网络；
第一分支网络和第二分支网络均包括五个卷积块；
每个卷积块均包括：一个卷积层、一个Relu激活层和归一化层；
最后一个卷积块中卷积层的卷积核大小设置为1*1；
第一个卷积块中卷积层到第四个卷积块中卷积层的卷积核大小依次设置为：3*3、3*3、5*5和5*5。
4.根据权利要求1所述的轨道机车表面缺陷检测方法，其特征在于，所述孪生CNN网络的训练过程具体为：
通过损失函数更新孪生CNN网络的网络权重参数，直至网络损失收敛，计算公式为：
Figure FDA0004173350110000021
其中，Loss为网络损失；Di,j为欧氏距离；i，j为图像像素坐标系下的横、纵坐标；k为训练样本对的次数；wu和wc分别表示变化和不变像素对的权重；yi，j为像素变化系数，当两图对应像素对不变时yi，j＝0，若发生变化yi，j＝1。
5.根据权利要求1所述的轨道机车表面缺陷检测方法，其特征在于，所述距离图中F1与F2之间的欧式距离越大，则表示无缺陷样本与缺陷样本中对应像素存在差异的可能性越大。
6.根据权利要求1所述的轨道机车表面缺陷检测方法，其特征在于，步骤S6具体为：
S61：对距离图进行阈值分割得到初始的变化图；
S62：通过KNN最近邻算法对初始的变化图进行改进，获得最终的变化图；
S63：最终的变化图上灰度值为255的区域即为轨道机车外表面的缺陷区域。
7.一种轨道机车表面缺陷检测系统，其特征在于，包括：
图像获取模块，用于采集轨道机车外表面图像，获取外表面图像的标准图像和缺陷图像；
样本获取模块，用于对标准图像进行裁剪，获得无缺陷样本集；对缺陷图像进行图像校正和裁剪，获得缺陷样本集；
网络训练模块，用于构建孪生CNN网络，通过损失函数对孪生CNN网络进行训练，获得训练好的孪生CNN网络；
特征张量获取模块，用于将无缺陷样本集输入训练好的孪生CNN网络，获得第一特征张量F1；将缺陷样本集输入训练好的孪生CNN网络，获得第二特征张量F2；
距离图获取模块，用于计算第一特征张量F1与第二特征张量F2之间的欧式距离，获得距离图；
缺陷区域获取模块，用于对距离图进行优化获得最终变化图，通过最终变化图获得轨道机车外表面的缺陷区域。
8.一种存储设备，其特征在于：所述存储设备存储指令及数据用于实现权利要求1～6任一项所述的轨道机车表面缺陷检测方法。
9.一种轨道机车表面缺陷检测设备，其特征在于：包括：处理器及存储设备；所述处理器加载并执行存储设备中的指令及数据用于实现权利要求1～6任一项所述的轨道机车表面缺陷检测方法。
CN202310384365.8A 2023-04-06 2023-04-06 一种轨道机车表面缺陷检测方法及系统 Pending CN116416234A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310384365.8A CN116416234A (zh) 2023-04-06 2023-04-06 一种轨道机车表面缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310384365.8A CN116416234A (zh) 2023-04-06 2023-04-06 一种轨道机车表面缺陷检测方法及系统

Publications (1)

Publication Number Publication Date
CN116416234A true CN116416234A (zh) 2023-07-11

Family

ID=87050999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310384365.8A Pending CN116416234A (zh) 2023-04-06 2023-04-06 一种轨道机车表面缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN116416234A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115167A (zh) * 2023-10-24 2023-11-24 诺比侃人工智能科技(成都)股份有限公司 一种基于特征检测的卷钢移位判断方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115167A (zh) * 2023-10-24 2023-11-24 诺比侃人工智能科技(成都)股份有限公司 一种基于特征检测的卷钢移位判断方法及系统
CN117115167B (zh) * 2023-10-24 2023-12-29 诺比侃人工智能科技(成都)股份有限公司 一种基于特征检测的卷钢移位判断方法及系统

Similar Documents

Publication Publication Date Title
US11551341B2 (en) Method and device for automatically drawing structural cracks and precisely measuring widths thereof
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
US20210319561A1 (en) Image segmentation method and system for pavement disease based on deep learning
CN109087274B (zh) 基于多维融合及语义分割的电子器件缺陷检测方法及装置
KR102166458B1 (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
KR102037893B1 (ko) 디지털 외관조사망도 구축 시스템 및 방법
CN109840556B (zh) 一种基于孪生网络的图像分类识别方法
CN109580630B (zh) 一种机械零部件缺陷的视觉检测方法
CN112233067A (zh) 一种热轧钢卷端面质量检测方法及系统
CN101639947A (zh) 基于图像的植物三维形态测量与重建方法及系统
CN111368825B (zh) 一种基于语义分割的指针定位方法
CN113222982A (zh) 基于改进的yolo网络的晶圆表面缺陷检测方法及系统
CN116416234A (zh) 一种轨道机车表面缺陷检测方法及系统
CN116612106A (zh) 一种基于yolox算法的光学元件表面缺陷检测方法
CN115482195A (zh) 一种基于三维点云的列车部件变形检测方法
CN115546223A (zh) 一种列车车下设备紧固螺栓的缺失检测方法和系统
CN114494371A (zh) 基于多尺度相位一致性的光学图像和sar图像配准方法
CN113628170A (zh) 一种基于深度学习的激光线提取方法及系统
CN117541534A (zh) 一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法
CN116051808A (zh) 一种基于YOLOv5的轻量化零件识别定位方法
CN113111850B (zh) 基于感兴趣区域变换的人体关键点检测方法、装置与系统
CN112686880B (zh) 一种铁路机车部件异常检测的方法
CN115690150A (zh) 一种基于视频的多目标位移跟踪监测方法及装置
CN111626175B (zh) 基于深度卷积神经网络的轴型识别方法
CN107123105A (zh) 基于fast算法的图像匹配缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination