CN114663344A - 一种基于图像融合的列车轮对踏面缺陷识别方法及装置 - Google Patents
一种基于图像融合的列车轮对踏面缺陷识别方法及装置 Download PDFInfo
- Publication number
- CN114663344A CN114663344A CN202111630030.7A CN202111630030A CN114663344A CN 114663344 A CN114663344 A CN 114663344A CN 202111630030 A CN202111630030 A CN 202111630030A CN 114663344 A CN114663344 A CN 114663344A
- Authority
- CN
- China
- Prior art keywords
- image
- visible light
- infrared
- camera
- train wheel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 68
- 230000007547 defect Effects 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012549 training Methods 0.000 claims abstract description 8
- 238000006243 chemical reaction Methods 0.000 claims abstract description 6
- 230000004931 aggregating effect Effects 0.000 claims abstract description 5
- 238000013528 artificial neural network Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 22
- 238000003860 storage Methods 0.000 claims description 13
- 229910000831 Steel Inorganic materials 0.000 claims description 12
- 239000010959 steel Substances 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 230000006698 induction Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 6
- 230000011218 segmentation Effects 0.000 abstract description 6
- 238000012423 maintenance Methods 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000001931 thermography Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明提供了基于图像融合的列车轮对踏面缺陷识别方法及装置，可以完成现场复杂环境下车轮踏面缺陷的准确分割与提取，对实现智能运维、确保列车运营安全具有重要意义，包括以下步骤：通过可见光相机和红外相机采集图像，获得列车轮对踏面区域图像；对可见光相机和红外相机进行标定；根据标定获得的相机参数，得到可见光图像与红外图像之间的变换关系，对可见光相机和红外相机拍摄的图像进行图像对齐；基于神经网络构建可见光图像与红外图像的融合模型，训练模型直至模型收敛，将对应的可见光图像与红外图像输入训练好的融合模型，得到融合图像；采用区域生长法，根据图像灰度值的相似性聚合融合图像中的像素点，获得列车轮对踏面缺陷区域的图像。
Description
技术领域
本发明涉及轨道交通安全检测技术领域，具体涉及一种基于图像融合的列车轮对踏面缺陷识别方法及装置。
背景技术
列车高速运行过程中，良好的轮轨关系是确保列车安全、高效运行的重要因素之一。其中列车轮对踏面缺陷的准确检测与控制直接决定了列车行驶的稳定性，因此实现其在列车高速运行过程中轮对踏面缺陷在线检测对确保列车安全运行具有重要意义。
现有检测手段中，例如视频、雷达、TOF等非接触检测手段在实时性与抗干扰方面无法满足轮对踏面缺陷检测需求；视觉传感器以其非接触、高精度、高实时特点被广泛应用在动态目标位姿测量中，但由于列车全天候、全天时高速运行，户外杂光、复杂背景、恶劣天气等因素严重制约其检测准确性。其中基于图像的轮对踏面缺陷检测中是以准确检测擦伤、剥离等特征信息为前提，然而户外复杂多变的外界环境以及车轮踏面自身具有的强反光特点，使得准确提取轮对踏面缺陷信息极其困难；传统基于单一可见光图像的轮对缺陷检测方法已无法满足户外复杂环境下轮对踏面缺陷信息的准确提取。
发明内容
针对上述问题，本发明提供了一种基于图像融合的列车轮对踏面缺陷识别方法及装置，通过可见光与红外相机进行同源图像数据采集，采用深度学习的方法融合可见光与红外图像的信息，完成现场复杂环境下车轮踏面缺陷的准确分割与提取，对实现智能运维、确保列车运营安全具有重要意义。
其技术方案是这样的：一种基于图像融合的列车轮对踏面缺陷识别方法，其特征在于，包括以下步骤：通过可见光相机和红外相机采集图像，获得列车轮对踏面区域图像；
对可见光相机和红外相机进行标定；
根据标定获得的可光相机和红外相机的相机参数，得到可见光图像与红外图像之间的变换关系，对可见光相机和红外相机拍摄的图像进行图像对齐；
基于神经网络构建可见光图像与红外图像的融合模型，训练模型直至模型收敛，得到训练好的融合模型，将对应的可见光图像与红外图像输入训练好的融合模型，得到融合图像；
采用区域生长法，根据图像灰度值的相似性聚合融合图像中的像素点，获得列车轮对踏面缺陷区域的图像。
进一步的，所述的通过可见光相机和红外相机采集图像，包括：
在钢轨下方车轮经过的位置布置可见光相机和红外相机，可见光相机和红外相机布置在两个平行光轴上，在列车经过时，通过可见光相机和红外相机拍摄车轮，获得列车轮对踏面区域图像。
进一步的，所述的通过可见光相机和红外相机采集图像，还包括：在钢轨下方车轮经过的位置设置磁钢触发装置，根据车轮切割磁钢触发装置的磁钢磁感线获得感应信号，触发可见光相机和红外相机进行拍摄。
进一步的，所述的对可见光相机和红外相机进行标定，包括：
设置棋盘格靶标，棋盘格靶标中镶嵌有红外发光LED灯；
采用张正友棋盘格标定法对可见光相机和红外相机进行标定，可见光相机和红外相机同步成像拍摄棋盘格靶标；从拍摄的照片中提取特征点，计算理想情况下内参数以及外参数，用最小二乘法估算实际存在径向畸变下的畸变参数，用极大似然法优化得到的参数。
进一步的，所述的可见光图像与红外图像之间的变换关系，通过红外光平面到可见光图像平面的单应性矩阵Htc来表示，根据红外光平面到可见光图像平面的单应性矩阵Htc，对可见光图像和红外图像进行图像对齐，得到对齐后的可见光图像和红外图像。
进一步的，红外光图像平面到可见光图像平面的单应性矩阵Htc，通过如下公式计算：
其中，Hc为可见光图像平面到棋盘格靶标平面的单应性矩阵，Ht为红外图像平面到棋盘格靶标的单应性矩阵；可见光图像平面到棋盘格靶标平面的单应性矩阵Hc和红外图像平面到棋盘格靶标的单应性矩阵Ht分别通过标定获得。
进一步的，融合模型包括顺序设置的编码器、空域注意力机制层、融合层以及解码器，
编码器包括卷积层和稠密块，卷积层包括3个3*3的卷积滤波器，将对应的红外图像和可见光图像输入编码器，输出图像的粗糙特征；
稠密块包括5个卷积滤波器，卷积滤波器的大小为3*3,卷积滤波器的步幅分别为1，稠密块用于提取深度特征，将卷积层输出的粗糙特征输入稠密块，输出多通道的深度特征图；
空域注意力机制层给编码器输出的深度特征图添加权重；
融合层对添加权重后的深度特征图进行融合，得到融合特征图；
解码器包括4个3*3的卷积滤波器，解码将融合特征图转换为融合后的图片。
进一步的，在训练融合模型时，采用的损失函数由像素损失函数Lp和结构相似性损失函数Lssim加权得到，表示为：
其中O和I分别表示输出图像和输入图像，Lp是Oi和Ii之间的欧式距离，SSIM(Oi,Ii)表示结构相似性，λ和β分别为像素损失函数Lp和结构相似性损失函数Lssim的权重，Loss表示损失函数。
进一步的，采用区域生长法，根据图像灰度值的相似性聚合融合图像中的像素点，获得列车轮对踏面缺陷区域的图像，包括以下步骤：
选择灰度值不大于设定阈值的像素点作为种子点；
以种子点为中心搜索相邻像素点，若相邻的像素点满足像素灰度值小于等于当前种子点灰度的像素，则将该相邻像素点合并到种子点所在的区域中，迭代搜索新合并的像素点的相邻像素点；
如果相邻像素点中无满足灰度值条件的像素点或已超出图像区域，则停止搜索，将此时的种子点所在的区域作为列车轮对踏面缺陷区域。
一种基于图像融合的列车轮对踏面缺陷识别装置，其特征在于，其包括：包括处理器、存储器以及程序；
所述程序存储在所述存储器中，所述处理器调用存储器存储的程序，以执行上述的基于图像融合的列车轮对踏面缺陷识别方法。
一种计算机可读存储介质，其特征在于：所述计算机可读存储介质用于存储程序，所述程序用于执行上述的基于图像融合的列车轮对踏面缺陷识别方法。
本发明的基于图像融合的列车轮对踏面缺陷识别方法，通过设置可见光相机和红外相机，建立了可见光与红外图像的同源成像装置，可以实现列车轮对踏面图像的纹理信息与热成像信息的现场同步采集；通过将可见光图像与红外图像对齐，实现车轮踏面多源图像信息的有效对齐，采用深度学习的方法融合可见光与红外图像的信息，得到多维特征信息的融合图像，通过对处理后图像进行阈值分割即可得到车轮踏面处缺陷信息。本方法充分利用可将光图像细节信息丰富，红外图像抗户外杂光干扰能力强的特点，完成现场复杂环境下车轮踏面缺陷的准确分割与提取，可有效降低户外杂光、复杂背景以及强反光等因素导致车轮踏面缺陷误报，漏报，极大提升了车轮踏面缺陷的准确检测，对实现智能运维、确保列车运营安全具有重要实际应用价值。
附图说明
图1为实施例中的一种基于图像融合的列车轮对踏面缺陷识别方法的步骤示意图；
图2为实施例中的一种基于图像融合的列车轮对踏面缺陷识别方法的采集并融合图像的示意图；
图3为一个实施例中计算机装置的内部结构图。
具体实施方式
见图1，本发明的基于图像融合的列车轮对踏面缺陷识别方法，至少包括以下步骤：
步骤1：通过可见光相机和红外相机采集图像，获得列车轮对踏面区域图像；
步骤2：对可见光相机和红外相机进行标定；
步骤3：根据标定获得的可光相机和红外相机的内、外参数，得到可见光图像与红外图像之间的变换关系，对可见光相机和红外相机拍摄的图像进行图像对齐；
步骤4：基于神经网络构建可见光图像与红外图像的融合模型，训练模型直至模型收敛，得到训练好的融合模型，将对应的可见光图像与红外图像输入训练好的融合模型，得到融合图像；
步骤5：采用区域生长法，根据图像灰度值的相似性聚合融合图像中的像素点，获得列车轮对踏面缺陷区域的图像。
在本发明的一个实施例中，在步骤1中，包括以下步骤：
在钢轨下方车轮经过的位置布置可见光相机和红外相机，可见光相机和红外相机布置在两个平行光轴上，在列车经过时，通过可见光相机和红外相机拍摄车轮，获得列车轮对踏面区域图像。
具体在本实施例中，还设置了触发装置，通过触发装置去触发可见光相机和红外相机采集图像同时拍摄列车轮对踏面区域图像，在本实施例中，触发装置是在钢轨下方车轮经过的位置设置的磁钢触发装置，磁钢触发装置根据车轮切割磁钢触发装置的磁钢磁感线获得感应信号，触发可见光相机和红外相机进行拍摄。
步骤1中布置在两个平行光轴上的可见光相机和红外相机建立了可见光与红外图像的同源成像装置，可以实现列车轮对踏面图像的纹理信息与热成像信息的现场同步采集和测量。
在本实施例的步骤2中，对可见光相机和红外相机进行标定，包括：
设置棋盘格靶标，在本实施例中，对棋盘格标靶进行了改进，在棋盘格靶标中镶嵌有红外发光LED灯，棋盘格靶标中角点与红外发光LED灯经过精确校准与坐标统一后的坐标，为统一靶标；
在本实施例中，采用张正友棋盘格标定法对可见光相机和红外相机进行标定，可见光相机和红外相机同步成像拍摄棋盘格靶标，拍摄多个角度的棋盘格靶标图像；从拍摄的照片中提取特征点，计算理想情况下内参数以及外参数，用最小二乘法估算实际存在径向畸变下的畸变参数，用极大似然法优化得到的参数。
棋盘格靶标成像过程为：令无畸变的特征点图像坐标为p＝[u,v,1]T，单位为像素，其归一化坐标为pn＝[xn,yn,1]T，单位为毫米。q＝[x,y,z,1]T是靶标坐标系特征点坐标。根据小孔成像模型，靶标点q与其对应图像点p可表示为：
其中，ρ为非零系数，
为相机内参矩阵。u0，v0为像面主点坐标，fx，fy分别为在u和v方向上的比例系数，γ为图像两轴的倾斜因子。R＝[r1 r2 r3]3×3、t分别为靶标坐标系到相机坐标系之间旋转矩阵与平移向量。
H为单应性矩阵，令pd＝[ud,vd,1]T为畸变图像点的齐次坐标，pn＝[xnyn,1]T为归一化图像点的齐次坐标。镜头畸变模型可以表示为：
ud＝u+(u-u0)(k1r2+k2r4)
vd＝v+(v-v0)(k1r2+k2r4)
其中，
k1，k2为镜头的径向畸变系数。测量前需准确标定出相机的内部参数，主要包括[fx,fy,γ,u0,v0,k1,k2]，上述的内部参数通过平面棋盘格靶标完成标定。同步采用棋盘格靶标与镶嵌有红外发光灯的平面靶标，标定出可见光相机与红外相机的外部参数。
在本实施例的步骤3中，可见光图像与红外图像之间的变换关系，通过红外光平面到可见光图像平面的单应性矩阵Htc来表示，根据红外光平面到可见光图像平面的单应性矩阵Htc，对可见光图像和红外图像进行图像对齐，得到对齐后的可见光图像和红外图像，红外光图像平面到可见光图像平面的单应性矩阵Htc，通过如下公式计算：
其中，Hc为可见光图像平面到棋盘格靶标平面的单应性矩阵，Ht为红外图像平面到棋盘格靶标的单应性矩阵；可见光图像平面到棋盘格靶标平面的单应性矩阵Hc和红外图像平面到棋盘格靶标的单应性矩阵Ht分别通过步骤2中的标定获得。
步骤3中，根据红外光平面到可见光图像平面的单应性矩阵Hc，对可见光图像和红外图像进行图像对齐，得到对齐后的可见光图像和红外图像，即可将空间物体在红外图像和可见光图像的尺寸统一，红外图像映射到可见光图像，即可见光图像中每个像素都融合了可见光与红外图像信息的图像。即可见光图像与红外光图像的一一对应。
在本实施例的步骤4中，基于神经网络构建可见光图像与红外图像的融合模型，融合模型包括顺序设置的编码器、空域注意力机制层、融合层以及解码器，
编码器包括卷积层和稠密块，卷积层包括3个3*3的卷积滤波器，将对应的红外图像和可见光图像输入编码器，输出图像的粗糙特征；
稠密块包括5个卷积滤波器，卷积滤波器的大小为3*3,卷积滤波器的步幅分别为1，稠密块用于提取深度特征，将卷积层输出的粗糙特征输入稠密块，输出多通道的深度特征图；
空域注意力机制层给编码器输出的深度特征图添加权重；
融合层对添加权重后的深度特征图进行融合，得到融合特征图；
解码器包括4个3*3的卷积滤波器，解码将融合特征图转换为融合后的图片。
在本实施例中，构建的融合模型的编码层为卷积层、稠密块相结合深度学习网络结构，同时空域注意力机制层加入空间域注意力机制添加权重,每层数据输出相连，通过融合层的加权融合，解码重建出融合图像。
在训练融合模型时，采用的损失函数由像素损失函数Lp和结构相似性损失函数Lssim加权得到，表示为：
其中O和I分别表示输出图像和输入图像，Lp是Oi和Ii之间的欧式距离，SSIM(Oi,Ii)表示结构相似性，λ和β分别为像素损失函数Lp和结构相似性损失函数Lssim的权重，Loss表示损失函数，优化损失函数直至模型收敛，得到训练好的融合模型。
训练完成后，将一一对应的可见光图像与红外图像输入融合模型，输出最后融合图像。
在步骤5中，采用区域生长法，根据图像灰度值的相似性聚合像素点，获得列车轮对踏面缺陷区域的图像，区域生长是从一组代表不同生长区域的种子像素开始，接下来将种子像素邻域里符合条件的像素合并到种子像素所代表的生长区域中，并将新添加的像素作为新的种子像素继续合并过程，直到找不到符合条件的新像素为止，包括以下步骤：
选择灰度值不大于设定阈值的像素点作为种子点；
以种子点为中心搜索相邻像素点，若相邻的像素点满足像素灰度值小于等于当前种子点灰度的像素，则将该相邻像素点合并到种子点所在的区域中，迭代搜索新合并的像素点的相邻像素点，从种子点开始，将与种子预先定义的灰度值相似的那些邻域像素添加到每个种子上来形成生长区域；
如果相邻像素点中无满足灰度值条件的像素点或已超出图像区域，则停止搜索，将此时的种子点所在的区域作为列车轮对踏面缺陷区域，车轮踏面缺陷区域具体表现为灰度值较小且连通，通过区域生长法易于分割与提取车轮踏面缺陷区域，提取的车轮踏面缺陷区域，可以用于后续对缺陷信息的定性与定量分析，保障列车运行安全。
在车轮踏面缺陷区域识别的过程中，列车车轮经过长时间与钢轨摩擦，其表面已经非常光亮，同时车轮表面形貌复杂，主要表现为无法保证全幅图像的最佳成像，也极易形成强反光，导致无法观察到车轮图像纹理细节，造成缺陷无法检测，漏探、误报，这也是目前车轮踏面缺陷检测的难点；同时当前的检测环境大多为户外条件，外界杂光、太阳光、复杂背景等因素直接影响相机成像效果，造成采集车轮踏面图像质量低，无法准确检测到踏面缺陷；
为此，本发明中通过设置可见光相机和红外相机，建立了可见光与红外图像的同源成像装置，可以实现列车轮对踏面图像的纹理信息与热成像信息的现场同步采集，可见图像捕获反射光，而红外图像捕获热辐射，红外图像可以根据辐射差异将目标与背景区分开来，这在全天候和全天/整夜的情况下效果很好，不受外界杂光、强反光干扰。可见图像与人类视觉系统一致的方式，可以提供具有高空间分辨率和清晰度的纹理细节；
通过将可见光图像与红外图像对齐，实现车轮踏面多源图像信息的有效对齐，采用深度学习的方法融合可见光与红外图像的信息，得到多维特征信息的融合图像，通过对处理后图像进行阈值分割即可得到车轮踏面处缺陷信息，通过融合可以结合红外图像中的热辐射信息和可见图像中的详细纹理信息的优点，能够充分获取车轮踏面图像丰富的信息，有效提升车轮踏面缺陷识别准确性；
本方法充分利用可将光图像细节信息丰富，红外图像抗户外杂光干扰能力强的特点，完成现场复杂环境下车轮踏面缺陷的准确分割与提取，可有效降低户外杂光、复杂背景以及强反光等因素导致车轮踏面缺陷误报，漏报，极大提升了车轮踏面缺陷的准确检测，对实现智能运维、确保列车运营安全具有重要实际应用价值。
在本发明的实施例中，还提供了一种基于图像融合的列车轮对踏面缺陷识别装置，具体包括：处理器、存储器以及程序；
程序存储在存储器中，处理器调用存储器存储的程序，以执行上述实施例中的基于图像融合的列车轮对踏面缺陷识别方法。
该计算机装置可以是终端，其内部结构图可以如图3所示。该计算机装置包括通过总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机装置的处理器用于提供计算和控制能力。该计算机装置的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机装置的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现基于图像融合的列车轮对踏面缺陷识别方法。该计算机装置的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机装置的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机装置外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
存储器可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(Programmable Read-OnlyMemory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序。
处理器可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(NetworkProcessor，简称：NP)等。该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机装置的限定，具体的计算机装置可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在本发明的实施例中，还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序，程序用于执行上述的一种基于图像融合的列车轮对踏面缺陷识别方法。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、计算机装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、计算机装置、或计算机程序产品的流程图和/或框图来描述的。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图和/或中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图中指定的功能。
以上对本发明所提供的在基于图像融合的列车轮对踏面缺陷识别方法、计算机装置、计算机可读存储介质的应用进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于图像融合的列车轮对踏面缺陷识别方法，其特征在于，包括以下步骤：
通过可见光相机和红外相机采集图像，获得列车轮对踏面区域图像；
对可见光相机和红外相机进行标定；
根据标定获得的可光相机和红外相机的相机参数，得到可见光图像与红外图像之间的变换关系，对可见光相机和红外相机拍摄的图像进行图像对齐；
基于神经网络构建可见光图像与红外图像的融合模型，训练模型直至模型收敛，得到训练好的融合模型，将对应的可见光图像与红外图像输入训练好的融合模型，得到融合图像；
采用区域生长法，根据图像灰度值的相似性聚合融合图像中的像素点，获得列车轮对踏面缺陷区域的图像。
2.根据权利要求1所述的一种基于图像融合的列车轮对踏面缺陷识别方法，其特征在于：所述的通过可见光相机和红外相机采集图像，包括：
在钢轨下方车轮经过的位置布置可见光相机和红外相机，可见光相机和红外相机布置在两个平行光轴上，在列车经过时，通过可见光相机和红外相机拍摄车轮，获得列车轮对踏面区域图像；
在钢轨下方车轮经过的位置设置磁钢触发装置，根据车轮切割磁钢触发装置的磁钢磁感线获得感应信号，触发可见光相机和红外相机进行拍摄。
3.根据权利要求2所述的一种基于图像融合的列车轮对踏面缺陷识别方法，其特征在于：所述的对可见光相机和红外相机进行标定，包括：
设置棋盘格靶标，棋盘格靶标中镶嵌有红外发光LED灯；
采用张正友棋盘格标定法对可见光相机和红外相机进行标定，可见光相机和红外相机同步成像拍摄棋盘格靶标；从拍摄的照片中提取特征点，计算理想情况下内参数以及外参数，用最小二乘法估算实际存在径向畸变下的畸变参数，用极大似然法优化得到的参数。
4.根据权利要求1所述的一种基于图像融合的列车轮对踏面缺陷识别方法，其特征在于：所述的可见光图像与红外图像之间的变换关系，通过红外光平面到可见光图像平面的单应性矩阵Htc来表示，根据红外光平面到可见光图像平面的单应性矩阵Htc，对可见光图像和红外图像进行图像对齐，得到对齐后的可见光图像和红外图像。
5.根据权利要求4所述的一种基于图像融合的列车轮对踏面缺陷识别方法，其特征在于：红外光图像平面到可见光图像平面的单应性矩阵Htc，通过如下公式计算：
其中，Hc为可见光图像平面到棋盘格靶标平面的单应性矩阵，Ht为红外图像平面到棋盘格靶标的单应性矩阵；可见光图像平面到棋盘格靶标平面的单应性矩阵Hc和红外图像平面到棋盘格靶标的单应性矩阵Ht分别通过标定获得。
6.根据权利要求5所述的一种基于图像融合的列车轮对踏面缺陷识别方法，其特征在于：融合模型包括顺序设置的编码器、空域注意力机制层、融合层以及解码器，
编码器包括卷积层和稠密块，卷积层包括3个3*3的卷积滤波器，将对应的红外图像和可见光图像输入编码器，输出图像的粗糙特征；
稠密块包括5个卷积滤波器，卷积滤波器的大小为3*3,卷积滤波器的步幅分别为1，稠密块用于提取深度特征，将卷积层输出的粗糙特征输入稠密块，输出多通道的深度特征图；
空域注意力机制层给编码器输出的深度特征图添加权重；
融合层对添加权重后的深度特征图进行融合，得到融合特征图；
解码器包括4个3*3的卷积滤波器，解码将融合特征图转换为融合后的图片。
7.根据权利要求6所述的一种基于图像融合的列车轮对踏面缺陷识别方法，其特征在于：在训练融合模型时，采用的损失函数由像素损失函数Lp和结构相似性损失函数Lssim加权得到，表示为：
其中O和I分别表示输出图像和输入图像，Lp是Oi和Ii之间的欧式距离，SSIM(Oi,Ii)表示结构相似性，λ和β分别为像素损失函数Lp和结构相似性损失函数Lssim的权重，Loss表示损失函数。
8.根据权利要求7所述的一种基于图像融合的列车轮对踏面缺陷识别方法，其特征在于：采用区域生长法，根据图像灰度值的相似性聚合融合图像中的像素点，获得列车轮对踏面缺陷区域的图像，包括以下步骤：
选择灰度值不大于设定阈值的像素点作为种子点；
以种子点为中心搜索相邻像素点，若相邻的像素点满足像素灰度值小于等于当前种子点灰度的像素，则将该相邻像素点合并到种子点所在的区域中，迭代搜索新合并的像素点的相邻像素点；
如果相邻像素点中无满足灰度值条件的像素点或已超出图像区域，则停止搜索，将此时的种子点所在的区域作为列车轮对踏面缺陷区域。
9.一种基于图像融合的列车轮对踏面缺陷识别装置，其特征在于，其包括：包括处理器、存储器以及程序；
所述程序存储在所述存储器中，所述处理器调用存储器存储的程序，以执行权利要求1所述的基于图像融合的列车轮对踏面缺陷识别方法。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质用于存储程序，所述程序用于执行权利要求1所述的基于图像融合的列车轮对踏面缺陷识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111630030.7A CN114663344A (zh) | 2021-12-28 | 2021-12-28 | 一种基于图像融合的列车轮对踏面缺陷识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111630030.7A CN114663344A (zh) | 2021-12-28 | 2021-12-28 | 一种基于图像融合的列车轮对踏面缺陷识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114663344A true CN114663344A (zh) | 2022-06-24 |
Family
ID=82025727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111630030.7A Pending CN114663344A (zh) | 2021-12-28 | 2021-12-28 | 一种基于图像融合的列车轮对踏面缺陷识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114663344A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082434A (zh) * | 2022-07-21 | 2022-09-20 | 浙江华是科技股份有限公司 | 一种基于多源特征的磁芯缺陷检测模型训练方法及系统 |
-
2021
- 2021-12-28 CN CN202111630030.7A patent/CN114663344A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082434A (zh) * | 2022-07-21 | 2022-09-20 | 浙江华是科技股份有限公司 | 一种基于多源特征的磁芯缺陷检测模型训练方法及系统 |
| CN115082434B (zh) * | 2022-07-21 | 2022-12-09 | 浙江华是科技股份有限公司 | 一种基于多源特征的磁芯缺陷检测模型训练方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | A detection and recognition system of pointer meters in substations based on computer vision | |
| CN109242888B (zh) | 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法 | |
| CN103093191B (zh) | 一种三维点云数据结合数字影像数据的物体识别方法 | |
| CN106412619B (zh) | 一种基于hsv颜色直方图和dct感知哈希的镜头边界检测方法 | |
| CN108961400B (zh) | 一种文物智能辅助引导方法和引导系统 | |
| CN105787876B (zh) | 一种基于surf特征跟踪匹配的全景视频自动拼接方法 | |
| CN106128121A (zh) | 基于局部特征分析的车辆排队长度快速检测算法 | |
| CN103617426A (zh) | 一种自然环境干扰和有遮挡时的行人目标检测方法 | |
| CN113920097B (zh) | 一种基于多源图像的电力设备状态检测方法及系统 | |
| CN110675447A (zh) | 一种基于可见光相机与热像仪结合的人数统计方法 | |
| CN109341668A (zh) | 基于折射投影模型和光束追踪法的多相机测量方法 | |
| CN106683125A (zh) | 一种基于2d/3d模态切换的rgb‑d图像配准方法 | |
| CN114973028A (zh) | 一种航拍视频图像实时变化检测方法及系统 | |
| CN114663344A (zh) | 一种基于图像融合的列车轮对踏面缺陷识别方法及装置 | |
| CN106407975B (zh) | 基于空间-光谱结构约束的多尺度分层目标检测方法 | |
| CN105654479A (zh) | 多光谱图像配准方法和装置 | |
| CN113902792A (zh) | 基于改进RetinaNet网络的建筑物高度检测方法、系统和电子设备 | |
| Dong et al. | Pixel-level intelligent segmentation and measurement method for pavement multiple damages based on mobile deep learning | |
| CN113657339A (zh) | 一种基于机器视觉的仪表指针计数读取方法及介质 | |
| Chen et al. | The devil is in the crack orientation: A new perspective for crack detection | |
| CN116935369A (zh) | 基于计算机视觉的船舶水尺读数方法及系统 | |
| CN113834447B (zh) | 一种户外复杂环境下高动态激光光条自适应成像处理方法 | |
| Ziqiang et al. | Research of the algorithm calculating the length of bridge crack based on stereo vision | |
| CN109961420A (zh) | 基于多子图融合与显著性分析的车辆检测方法 | |
| Gao et al. | Optimization of greenhouse tomato localization in overlapping areas |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |