CN111476767B - 一种基于异源图像融合的高铁扣件缺陷识别方法 - Google Patents
一种基于异源图像融合的高铁扣件缺陷识别方法 Download PDFInfo
- Publication number
- CN111476767B CN111476767B CN202010255696.8A CN202010255696A CN111476767B CN 111476767 B CN111476767 B CN 111476767B CN 202010255696 A CN202010255696 A CN 202010255696A CN 111476767 B CN111476767 B CN 111476767B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- image
- fastener
- depth image
- gray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000007547 defect Effects 0.000 title claims abstract description 35
- 230000004927 fusion Effects 0.000 title claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 14
- 239000000126 substance Substances 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000009795 derivation Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000002040 relaxant effect Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims 1
- 230000002950 deficient Effects 0.000 abstract description 4
- 238000003384 imaging method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012562 intraclass correlation Methods 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000000709 aorta Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Abstract
本发明涉及一种基于异源图像融合的高铁扣件缺陷识别方法，属于机器视觉检测技术领域，包括以下步骤：S1、同步动态采集高铁扣件区域的二维灰度图像G(x,y)和轨道的二维深度图像D(x,y)；S2、对二维灰度图像G(x,y)和二维深度图像D(x,y)配准，使二维灰度图像G(x,y)和二维深度图像D(x,y)准确对应场景中相同位置；S3、对配准后的扣件区域的二维灰度图像G(x,y)和二维深度图像D(x,y)分别进行特征提取；S4、基于度量学习对二维灰度图像G(x,y)和二维深度图像提取的特征分别进行特征映射，并将映射后的特征进行融合；S5、将融合后的特征输入SVM分类器，实现对扣件的分类。本发明提高了扣件的缺陷检测率，使缺陷扣件的漏检率更低，实用性强，值得推广。
Description
技术领域
本发明属于机器视觉检测技术领域，具体涉及一种基于异源图像融合的高铁扣件缺陷识别方法。
背景技术
铁路是国民经济大动脉、关键基础设施和重大民生工程，是综合交通运输体系的骨干。铁路的基础设施包括钢轨、扣件、轨枕和鱼尾板等，扣件连接钢轨和轨枕，钢轨左右两侧的扣件将钢轨固定在轨枕上防止其偏移。随着铁路向高速、高密度和重载方向发展，列车对铁路基础设施破坏力加大，如钢轨裂纹、磨损和扣件功能失效等。扣件功能失效主要表现为扣件缺失、扣环折断、扣环异位和螺栓松脱等。扣件功能失效会引起左右两根钢轨发生偏移、使列车的振动加强从而影响乘车舒适度，严重情况下甚至造成列车脱轨。因此，如何在有限的天窗时间内快速和准确检测扣件状态已成为国内外轨道养护部门亟需解决的现实问题。
为了确保铁路运输安全，我国每年投入了大量的人力物力对铁路进行维护，目前工务系统主要采用人工在“天窗”时间沿线路通过目视逐一排查扣件异常状态。传统的人工目视巡检方法效率低、主观意识强，显然已经无法满足我国高速发展的铁路应用需求。
近年来，随着计算机视觉技术的发展，基于CCD扫描成像的视觉检测技术是一种新兴的表面缺陷无损检测方法，该技术具有非接触、响应快、抗干扰能力强和检测对象广等优点，且易于实现在大视场条件下进行缺陷识别。利用高速相机快速获取轨道数据，采用图像处理和模式识别等技术，对感兴趣区域进行检索、定位、形态识别以及量化分析，得到被测对象的相关参数，可使一线维护人员随时了解线路状态，以便对线路维护工作提前做出计划和安排，进而提高铁路维护效率。
目前，基于机器视觉的缺陷检测技术可大致分为二维和三维视觉成像检测。前者利用相机获得轨道的二维图像，一般利用颜色或者纹理来进行目标检测与定位；后者一般利用结构光和相机构成三维视觉成像，采集场景的三维点云或者深度图，根据被测对象的深度信息和三维空间结构识别缺陷。尽管利用二维视觉和三维视觉成像对缺陷检测检测展开了许多研究并取得了显著成果，但在扣件缺陷检测领域的应用存在以下问题：
(1)二维视觉成像采集的二维图像缺少第三维的深度信息，难以检测扣件是否松脱，造成缺陷漏检和误检；
(2)三维视觉成像获得的点云或者深度图丢失了场景颜色和纹理信息，难以准确检测扣件是否丢失、折断和异位，使部分类型的缺陷扣件漏检。
针对以上问题，研究一种能够同时准确检测扣件丢失、异位、折断和松动的缺陷检测方法是本技术领域技术人员亟待解决的技术问题。
发明内容
有鉴于此，本发明提供了一种基于异源图像融合的高铁扣件缺陷识别方法，以便解决现有技术中的不足。
本发明的技术方案是：
一种基于异源图像融合的高铁扣件缺陷识别方法，所述方法包括以下步骤：
S1、同步动态采集高铁扣件区域的二维灰度图像G(x,y)和轨道的二维深度图像D(x,y)；
S2、对二维灰度图像G(x,y)和二维深度图像D(x,y)配准，使二维灰度图像G(x,y)和二维深度图像D(x,y)准确对应场景中相同位置；
S3、对配准后的扣件区域的二维灰度图像G(x,y)和二维深度图像D(x,y)分别进行特征提取；
S4、基于度量学习对二维灰度图像G(x,y)和二维深度图像提取的特征分别进行特征映射，并将映射后的特征进行融合；
S5、将融合后的特征输入SVM分类器，实现对扣件的分类。
优选的，步骤S1的实现方法包括以下步骤：
S11、二维线阵相机和三维线扫描相机以相同高度安装在检测车上，三维线扫描相机垂直安装，使线激光垂直照射在扣件上，线阵相机安装在三维线扫描相机的线激光一侧，三维线扫描相机的线激光为二维线阵相机提供辅助光源，且二维线阵相机的光轴与三维线扫描的线激光光条在同一条线上；
S12、用于将里程信号转换为脉冲信号的光电编码器安装在检测车车轮上，扣件信号脉冲在扣件区域输出正电平，非扣件区域输出负电平，将扣件信号输出的脉冲与光电编码器输出的信号进行相与，再将相与后的脉冲信号同时送入三维线扫描相机和二维线阵相机用于触发两相机进行同步图像采集；
S13、利用二维线阵相机采集扣件区域的二维灰度图像G(x,y)，单个脉冲触发线阵相机采集一行图像，设图像的宽度为M，由N行图像构成一张大小为M×N的二维灰度图像G(x,y)；同时，单个脉冲触发三维线扫描相机采集一行深度图像，图像的宽度为M，由N行图像构成一张大小为M×N的二维深度图像D(x,y)。
优选的，步骤S2的实现方法包括以下步骤：
S21、以二维灰度图像G(x,y)作为浮动图像f，以二维深度图像D(x,y)作为参考图像r，利用式(1)对二维灰度图像G(x,y)进行旋转和平移变换，使扣件二维灰度图像G(x,y)和二维深度图像D(x,y)对应场景中的相同位置，
式(1)中，R表示旋转矩阵，T表示平移向量，(xf,yf)，(xr,yr)分别表示浮动图像f和参考图像r的坐标值，其中xf，xr分别表示浮动图像f和参考图像r的横坐标，yf，yr分别表示浮动图像f和参考图像r的纵坐标；
S22、利用式(2)计算二维灰度图像G(x,y)和二维深度图像D(x,y)之间的互信息熵MI(A,B)，
其中，MI(A,B)表示二维灰度图像G(x,y)和二维深度图像D(x,y)的之间的互信息熵，a和b表示图像的灰度级，pf(a)表示二维灰度图像G(x,y)中灰度级a出现的概率，pr(b)表示二维深度图像D(x,y)中灰度级b出现的概率，pfr(a,b)表示二维灰度图像G(x,y)和二维深度图像D(x,y)对应灰度级(a,b)的联合概率；
S23、当两幅图像通过空间变换使空间位置上的对应点达到一致时，图像之间的互信息熵将最大，用式(3)表示为：
其中，Φ表示在不同的旋转参数下，二维灰度图像G(x,y)和二维深度图像D(x,y)之间的互信息熵，MI(A,B)表示二维灰度图像G(x,y)和二维深度图像D(x,y)之间的互信息熵；
基于Barzilai-Borwein算法求解式(3)，获得最佳配准参数R，T。
优选的，步骤S3的实现方法包括以下步骤：
将扣件区域的二维灰度图像G(x,y)和二维深度图像D(x,y)分别作为深度卷积神经网络的输入，利用Alexnet网络分别提取二维灰度图像G(x,y)和二维深度图像D(x,y)的高级特征，二维灰度图像G(x,y)和二维深度图像D(x,y)分别经过5层卷积和2个全连接层的深度卷积神经网络，输出二维灰度图像G(x,y)的特征集X1＝[x1,x2,…,xn]和二维深度图像D(x,y)的特征集Y1＝[y1,y2,…,yn]，其中n表示点的数量。
优选的，步骤S4的实现方法包括以下步骤：
S41、利用度量学习对S3所述提取的二维灰度图像G(x,y)特征集X1和二维深度图像D(x,y)的特征集Y1分别进行特征映射，映射后的特征分别表示为F1＝M1X1，F2＝M2Y1；
其中，M1和M2分别为二维灰度图像G(x,y)和二维深度图像D(x,y)的度量矩阵，F1和F2分别为二维灰度图像G(x,y)和二维深度图像D(x,y)映射后的特征向量；
S42、为了求解M1和M2,定义损失函数Ψ如式(4)：
其中，
M1和M2表示为Mk(k＝1,2)，
是一个正定矩阵，ω1和ω2表示为ωk(k＝1,2)，ωk是一个非负的加权参数，λ是显著项和相关项约束之间的权重；D1(M1)和是D2(M2)分别是二维灰度图像G(x,y)和二维深度图像D(x,y)的显著项,C(M1,M2)表示模态间相关项；h是hinge损失函数，h(x)＝max(0,x)，zij满足式(8)及式(9)
其中，
xi,xj为特征集X1中的特征点，yi,yj为特征集Y1中的特征点，若xi,xj或者yi,yj来自相同主题，则zij＝1，表示正常扣件，否则zij＝-1，表示非正常扣件；u1，τ1，u2，τ2分别为根据经验设定的阈值参数；
S43、由于式(4)无封闭解，对式(4)做松弛，求解Mk和ωk；
S44、通过样本训练对Alexnet网络进行更新，根据S43步骤获得的度量矩阵M1和M2，分别对二维灰度图像G(x,y)和二维深度图像D(x,y)的特征向量进行映射，映射后的特征集分别表示为F1＝M1X1，F2＝M2Y1，再将映射的特征进行融合，形成融合特征F＝[F1,F2]。
优选的，S43中对式(4)做松弛，求解Mk和ωk的方法利用交替优化法，包括以下步骤：
定义松弛后的损失函数为Ψ，如式(10)所示：
其中，
为权重因子；
对式(10)构建拉格拉日函数L(ω,η)，表示为式(11)：
其中，η为拉格朗日乘数；
先固定Mk，求解ωk，
对式(11)求导，使
为0，ωk用式(12)进行更新，
其中，Dk＝Dk(Mk)(k＝1,2)为上述的图像间模态显著项，p为迭代因子；
固定ωk，优化Mk，将式(10)的目标函数Ψ的对Mk求导进行优化，如式(13)所示：
其中，Aij＝(xi-xj)(xi-xj)T，h'为h(x)函数的倒数；同理方法求得
利用式(14)对Mk进行更新，
其中，β为学习率；
当损失函数Ψ达到最小值时停止对Mk和ωk更新。
优选的，所述步骤S5的实现方法包括以下步骤：
S51、将融合特征F输入线性SVM，产生SVM分类器；
S52、将测试集特征输入SVM分类器中对测试集特征进行分类，得到灰度和深度图像的扣件图像分类结果。
与现有技术相比，本发明提供的一种基于异源图像融合的高铁扣件缺陷识别方法，通过将二维图像的灰度纹理和深度信息进行融合，解决扣件丢失、异位、折断和松动的缺陷，同时提高扣件的缺陷检测率，具有以下的优点：
(1)本发明不同于以往的使用单一的图像源对缺陷检测的方法，其融合场景的二维图像和三维深度信息，充分利用二维图像的灰度、纹理和三维深度等互补特征实现对扣件的缺陷检测；
(2)本发明采用深度卷积神经网络分别提取二维灰度图像和二维深度图像两种模态数据的高级特征，相比于传统的手工设计特征，提取的高级特征泛化能力更强，且能更好的表达图像；
(3)本发明采用度量学习将二维灰度图像和二维深度图像两种模态的特征进行特征映射和融合，学习度量矩阵将两种模态图像的特征映射到另一个特征空间，在这个子空间中使同类样本间的距离更小，不同样本间的距离更大，且使类内的相关性最大化，类间的相关性最小化，融合后的特征更有利于分类和识别，区别于常规的直接将提取的特征进行拼接或者相加的融合方法；
(4)本发明可以提高铁扣件缺陷检测的准确率，可以同时检测扣件丢失、折断、异位和扣件螺栓松动，使缺陷扣件的漏检率更低；
(5)本发明实用性强，值得推广。
附图说明
图1是本发明的流程图；
图2是本发明的异源图像成像方法结构示意图；
图3是本发明的二维灰度图像和二维深度图像同步动态采集流程图；
图4是本发明的基于最大互信息熵的二维灰度图像和二维深度图像配准方法流程图；
图5是本发明的二维灰度图像和二维深度图像不同模态图像特征提取、特征融合和缺陷识别方法框图。
具体实施方式
本发明提供了一种基于异源图像融合的高铁扣件缺陷识别方法，下面结合图1到图5的结构示意图，对本发明进行说明。
实施例1
如图1所示，一种基于异源图像融合的高铁扣件缺陷识别方法，所述方法包括以下步骤：
S1、同步动态采集高铁扣件区域的二维灰度图像G(x,y)和轨道的二维深度图像D(x,y)；
S2、对二维灰度图像G(x,y)和二维深度图像D(x,y)配准，使二维灰度图像G(x,y)和二维深度图像D(x,y)准确对应场景中相同位置；
S3、对配准后的扣件区域的二维灰度图像G(x,y)和二维深度图像D(x,y)分别进行特征提取；
S4、基于度量学习对二维灰度图像G(x,y)和二维深度图像提取的特征分别进行特征映射，并将映射后的特征进行融合；
S5、将融合后的特征输入SVM分类器，实现对扣件的分类。
进一步的，如图2和图3所示，步骤S1的实现方法包括以下步骤：
S11、二维线阵相机和三维线扫描相机以相同高度安装在检测车上，三维线扫描相机垂直安装，使线激光垂直照射在扣件上，线阵相机安装在三维线扫描相机的线激光一侧，三维线扫描相机的线激光为二维线阵相机提供辅助光源，且二维线阵相机的光轴与三维线扫描的线激光光条在同一条线上；
S12、用于将里程信号转换为脉冲信号的光电编码器安装在检测车车轮上，扣件信号脉冲在扣件区域输出正电平，非扣件区域输出负电平，将扣件信号输出的脉冲与光电编码器输出的信号进行相与，再将相与后的脉冲信号同时送入三维线扫描相机和二维线阵相机用于触发两相机进行同步图像采集；
S13、利用二维线阵相机采集扣件区域的二维灰度图像G(x,y)，单个脉冲触发线阵相机采集一行图像，设图像的宽度为M，由N行图像构成一张大小为M×N的二维灰度图像G(x,y)；同时，单个脉冲触发三维线扫描相机采集一行深度图像，图像的宽度为M，由N行图像构成一张大小为M×N的二维深度图像D(x,y)。
本例实施中，利用编码器和扣件区域信号共同作为相机的外部触发信号，二维线阵相机和三维激光线扫描相机以相同的高度安装在检测车上，三维激光线扫描相机以地面垂直安装，使激光线垂直投射在被测物表面；线阵相机以接近垂直角度安装在激光的一侧，外部触发信号以上跳沿或者下跳沿同时触发线阵相机和三维激光线扫描相机采集一行图像，M行图像构成一张二维图像；两种相机采集扣件区域图像分别为二维灰度图像G(x,y)和三维深度图像D(x,y)，采集的图像传送至计算机进行存储以待后续进一步处理。
进一步的，如图4所示，步骤S2的实现方法包括以下步骤：
S21、以二维灰度图像G(x,y)作为浮动图像f，以二维深度图像D(x,y)作为参考图像r，利用式(1)对二维灰度图像G(x,y)进行旋转和平移变换，使扣件二维灰度图像G(x,y)和二维深度图像D(x,y)对应场景中的相同位置，
式(1)中，R表示旋转矩阵，T表示平移向量，(xf,yf)，(xr,yr)分别表示浮动图像f和参考图像r的坐标值，其中xf，xr分别表示浮动图像f和参考图像r的横坐标，yf，yr分别表示浮动图像f和参考图像r的纵坐标；
S22、利用式(2)计算二维灰度图像G(x,y)和二维深度图像D(x,y)之间的互信息熵MI(A,B)，
其中，MI(A,B)表示二维灰度图像G(x,y)和二维深度图像D(x,y)的之间的互信息熵，a和b表示图像的灰度级，pf(a)表示二维灰度图像G(x,y)中灰度级a出现的概率，pr(b)表示二维深度图像D(x,y)中灰度级b出现的概率，pfr(a,b)表示二维灰度图像G(x,y)和二维深度图像D(x,y)对应灰度级(a,b)的联合概率；
S23、当两幅图像通过空间变换使空间位置上的对应点达到一致时，图像之间的互信息熵将最大，用式(3)表示为：
其中，Φ表示在不同的旋转参数下，二维灰度图像G(x,y)和二维深度图像D(x,y)之间的互信息熵，MI(A,B)表示二维灰度图像G(x,y)和二维深度图像D(x,y)之间的互信息熵；
基于Barzilai-Borwein算法求解式(3)，获得最佳配准参数R，T。
上述步骤中，详细步骤归纳为：
(1)利用式(1)计算R,T；
(2)利用式(2)计算MI(A,B)；
(3)利用下式计算互信息熵的梯度Gk：
(4)利用下式进行迭代计算
其中，Φk为第k次迭代的配准参数，Gk为第k次迭代时的梯度矢量，γk为自适应步长。
其中，利用下式计算γk，
(5)若||Φk+1-Φk||大于设定阈值时，跳转至步骤(1)，否则输出配准参数R，T。
在上述步骤中，以二维灰度图像G(x,y)为浮动图像和深度图像D(x,y)作为参考图像，对二维灰度图像G(x,y)进行旋转和平移变换变换计算配准参数；计算配准后两图像之间的互信息熵，并计算互信息熵的梯度；对二维灰度图像G(x,y)和深度图像进行迭代配准，基于Barzilai-Borwein算法求解配准参数。
进一步的，如图5所示，步骤S3的实现方法包括以下步骤：
将扣件区域的二维灰度图像G(x,y)和二维深度图像D(x,y)分别作为深度卷积神经网络的输入，利用Alexnet网络分别提取二维灰度图像G(x,y)和二维深度图像D(x,y)的高级特征，二维灰度图像G(x,y)和二维深度图像D(x,y)分别经过5层卷积和2个全连接层的深度卷积神经网络，输出二维灰度图像G(x,y)的特征集X1＝[x1,x2,…,xn]和二维深度图像D(x,y)的特征集Y1＝[y1,y2,…,yn]，其中n表示点的数量。
具体的，以二维灰度图像G(x,y)和二维深度图像分别作为输入图像，利用Alexnet网络对二维灰度图像G(x,y)和深度图像构建深度卷积网络提取图像特征，以二维灰度图像G(x,y)为例进行说明，将二维灰度图像G(x,y)的大小归一化为224×224，对输入图像使用96个大小规格为11×11的滤波器进行卷积，经过rulu激励函数和池化操作后输出96个大小为27×27的特征图，并以此作为Con2的输入；在Con2层，使用256个大小为5×5滤波器对96个27×27个特征图进一步提取特征，经过rulu和池化后输出256个大小为13×13的特征图，并以此作为Con3的输入；在Con3，利用384个3×3的滤波器对大小为13×13的特征图进行卷积，输出384个大小为13×13的特征图，并作为Con4的输入；在Con4层，再利用384个3×3的滤波器对大小为13×13的特征图进行卷积，输出384个大小为13×13的特征图，并作为Con5的输入；在Con5，利用256个大小为3×3的滤波器对输入的特征图卷积，经过rulu和池化操作后输出256个大小为6×6的特征图；FC6为全连接层，设置4096个神经元，对Con5输出的256个大小为6×6的特征图进行全连接；FC7为第二个全连接层，神经元个数同样为4096，其输入为FC6的输入，输出为二维灰度图像G(x,y)所提取的特征向量X1。同理，深度图像的特征提取网络与此完全相同，输出特征表示为Y1。
在本例实施中，二维灰度图像G(x,y)和二维深度图像D(x,y)作为两种独立模态的数据，利用Alexnet深度卷积神经网络对两种模态的图像分别构建特征提取网络，提取两种模态图像的特征分别为X1和Y1。
进一步的，如图5所示，步骤S4的实现方法包括以下步骤：
S41、利用度量学习对S3所述提取的二维灰度图像G(x,y)特征集X1和二维深度图像D(x,y)的特征集Y1分别进行特征映射，映射后的特征分别表示为F1＝M1X1，F2＝M2Y1；
其中，M1和M2分别为二维灰度图像G(x,y)和二维深度图像D(x,y)的度量矩阵，F1和F2分别为二维灰度图像G(x,y)和二维深度图像D(x,y)映射后的特征向量；
S42、为了求解M1和M2,定义损失函数Ψ如式(4)：
其中，
M1和M2表示为Mk(k＝1,2)，
是一个正定矩阵，ω1和ω2表示为ωk(k＝1,2)，ωk是一个非负的加权参数，λ是显著项和相关项约束之间的权重；D1(M1)是二维灰度图像G(x,y)的显著项，将X1投影到一个子空间，在这个子空间中，如果
和
是同类样本，则使两者间的距离更大，反正距离更小；同理，D2(M2)是二维深度图像D(x,y)模态的显著项，C(M1,M2)表示模态间相关项；h是hinge损失函数，h(x)＝max(0,x)，zij满足式(8)及式(9)
其中，
xi,xj为特征集X1中的特征点，yi,yj为特征集Y1中的特征点，若xi,xj或者yi,yj来自相同主题，则zij＝1，表示正常扣件，否则zij＝-1，表示非正常扣件；u1，τ1，u2，τ2分别为根据经验设定的阈值参数；
S43、由于式(4)无封闭解，对式(4)做松弛，求解Mk和ωk；
S44、通过样本训练对Alexnet网络进行更新，根据S43步骤获得的度量矩阵M1和M2，分别对二维灰度图像G(x,y)和二维深度图像D(x,y)的特征向量进行映射，映射后的特征集分别表示为F1＝M1X1，F2＝M2Y1，再将映射的特征进行融合，形成融合特征F＝[F1,F2]。
进一步的，S43中对式(4)做松弛，求解Mk和ωk的方法利用交替优化法，即对Mk和ωk交替固定，求解另一个参数的优化解；交替优化法包括以下步骤：
定义松弛后的损失函数为Ψ，如式(10)所示：
其中，
为权重因子；
对式(10)构建拉格拉日函数L(ω,η)，表示为式(11)：
其中，η为拉格朗日乘数；
先固定Mk，求解ωk，
对式(11)求导，使
为0，ωk用式(12)进行更新，
其中，Dk＝Dk(Mk)(k＝1,2)为上述的图像间模态显著项，p为迭代因子；
固定ωk，优化Mk，将式(10)的目标函数Ψ的对Mk求导进行优化，如式(13)所示：
其中，Aij＝(xi-xj)(xi-xj)T，h'为h(x)函数的倒数；同理方法求得
利用式(14)对Mk进行更新，
其中，β为学习率；
当损失函数Ψ达到最小值时停止对Mk和ωk更新。
在本步骤中，X1和Y1作为两种独立模态图像的特征向量，两种模态的特征没有相关性，直接对其进行拼接融合没有考虑到两种模态图像间的相关性和互补性。基于度量学习定义损失函数，通过样本训练学习度量矩阵M1和M2，度量矩阵将两种模态图像的特征向量进行映射，在映射后的特征子空间中，相同样本的特征点距离更小，不同样本的距离更大，从而有利于分类和识别。
进一步的，如图5所示，所述步骤S5的实现方法包括以下步骤：
S51、将融合特征F输入线性SVM，产生SVM分类器；
S52、将测试集特征输入SVM分类器中对测试集特征进行分类，得到灰度和深度图像的扣件图像分类结果。
在本步骤中，融合后的特征向量F作为分类器的输入，通过样本训练获得分类器的参数，将采集的灰度图和深度图作为测试图像，输入分类网络得到扣件图像的分类识别结果。
本发明提供的一种基于异源图像融合的高铁扣件缺陷识别方法，通过将二维图像的灰度、纹理和深度信息进行融合，解决扣件丢失、异位、折断和松动的缺陷检测，同时提高扣件的缺陷检测率，不同于以往的使用单一的图像源对缺陷检测的方法，本发明融合场景的二维图像和三维深度信息，充分利用二维图像的灰度、纹理和三维深度等互补特征实现对扣件的缺陷检测；本发明采用深度卷积神经网络分别提取灰度图像和深度图像两种模态数据的高级特征，相比于传统的手工设计特征，提取的高级特征泛化能力更强，且能更好的表达图像；本发明采用度量学习将灰度图像和深度图像两种模态的特征进行特征映射和融合，学习度量矩阵将两种模态图像的特征映射到另一个特征空间，在这个子空间中使同类样本间的距离更小，不同样本间的距离更大，且使类内的相关性最大化，类间的相关性最小化，融合后的特征更有利于分类和识别，区别于常规的直接将提取的特征进行拼接或者相加的融合方法；本发明可以提高铁扣件缺陷检测的准确率，可以同时检测扣件丢失、折断、异位和扣件螺栓松动，使缺陷扣件的漏检率更低，实用性强，值得推广。
以上公开的仅为本发明的较佳的具体实施例，但是，本发明实施例并非局限于此，任何本领域技术人员能思之的变化都应落入本发明的保护范围。
Claims (5)
1.一种基于异源图像融合的高铁扣件缺陷识别方法，其特征在于，包括以下几个步骤：
S1、同步动态采集高铁扣件区域的二维灰度图像G(x,y)和轨道的二维深度图像D(x,y)；
S2、对二维灰度图像G(x,y)和二维深度图像D(x,y)配准，使二维灰度图像G(x,y)和二维深度图像D(x,y)准确对应场景中相同位置；
S3、对配准后的扣件区域的二维灰度图像G(x,y)和二维深度图像D(x,y)分别进行特征提取，包括以下步骤：
将扣件区域的二维灰度图像G(x,y)和二维深度图像D(x,y)分别作为深度卷积神经网络的输入，利用Alexnet网络分别提取二维灰度图像G(x,y)和二维深度图像D(x,y)的高级特征，二维灰度图像G(x,y)和二维深度图像D(x,y)分别经过5层卷积和2个全连接层的深度卷积神经网络，输出二维灰度图像G(x,y)的特征集X1＝[x1,x2,…,xn]和二维深度图像D(x,y)的特征集Y1＝[y1,y2,…,yn]，其中n表示点的数量；
S4、基于度量学习对二维灰度图像G(x,y)和二维深度图像提取的特征分别进行特征映射，并将映射后的特征进行融合，包括以下步骤：
S41、利用度量学习对S3所述提取的二维灰度图像G(x,y)特征集X1和二维深度图像D(x,y)的特征集Y1分别进行特征映射，映射后的特征分别表示为F1＝M1X1，F2＝M2Y1；
其中，M1和M2分别为二维灰度图像G(x,y)和二维深度图像D(x,y)的度量矩阵，F1和F2分别为二维灰度图像G(x,y)和二维深度图像D(x,y)映射后的特征向量；
S42、为了求解M1和M2,定义损失函数Ψ如式(4)：
其中，
M1和M2表示为Mk(k＝1,2)，
是一个正定矩阵，ω1和ω2表示为ωk(k＝1,2)，ωk是一个非负的加权参数，λ是显著项和相关项约束之间的权重；D1(M1)和是D2(M2)分别是二维灰度图像G(x,y)和二维深度图像D(x,y)的显著项,C(M1,M2)表示模态间相关项；h是hinge损失函数，h(x)＝max(0,x)，zij满足式(8)及式(9)
其中，
xi,xj为特征集X1中的特征点，yi,yj为特征集Y1中的特征点，若xi,xj或者yi,yj来自相同主题，则zij＝1，表示正常扣件，否则zij＝-1，表示非正常扣件；u1，τ1，u2，τ2分别为根据经验设定的阈值参数；
S43、由于式(4)无封闭解，对式(4)做松弛，求解Mk和ωk；
S44、通过样本训练对Alexnet网络进行更新，根据S43步骤获得的度量矩阵M1和M2，分别对二维灰度图像G(x,y)和二维深度图像D(x,y)的特征向量进行映射，映射后的特征集分别表示为F1＝M1X1，F2＝M2Y1，再将映射的特征进行融合，形成融合特征F＝[F1,F2]；
S5、将融合后的特征输入SVM分类器，实现对扣件的分类。
2.根据权利要求1所述的一种基于异源图像融合的高铁扣件缺陷识别方法，其特征在于，所述步骤S1的实现方法包括以下步骤：
S11、二维线阵相机和三维线扫描相机以相同高度安装在检测车上，三维线扫描相机垂直安装，使线激光垂直照射在扣件上，线阵相机安装在三维线扫描相机的线激光一侧，三维线扫描相机的线激光为二维线阵相机提供辅助光源，且二维线阵相机的光轴与三维线扫描的线激光光条在同一条线上；
S12、用于将里程信号转换为脉冲信号的光电编码器安装在检测车车轮上，扣件信号脉冲在扣件区域输出正电平，非扣件区域输出负电平，将扣件信号输出的脉冲与光电编码器输出的信号进行相与，再将相与后的脉冲信号同时送入三维线扫描相机和二维线阵相机用于触发两相机进行同步图像采集；
S13、利用二维线阵相机采集扣件区域的二维灰度图像G(x,y)，单个脉冲触发线阵相机采集一行图像，设图像的宽度为M，由N行图像构成一张大小为M×N的二维灰度图像G(x,y)；同时，单个脉冲触发三维线扫描相机采集一行深度图像，图像的宽度为M，由N行图像构成一张大小为M×N的二维深度图像D(x,y)。
3.如权利要求1所述的一种基于异源图像融合的高铁扣件缺陷识别方法，其特征在于，所述步骤S2的实现方法包括以下步骤：
S21、以二维灰度图像G(x,y)作为浮动图像f，以二维深度图像D(x,y)作为参考图像r，利用式(1)对二维灰度图像G(x,y)进行旋转和平移变换，使扣件二维灰度图像G(x,y)和二维深度图像D(x,y)对应场景中的相同位置，
式(1)中，R表示旋转矩阵，T表示平移向量，(xf,yf)，(xr,yr)分别表示浮动图像f和参考图像r的坐标值，其中xf，xr分别表示浮动图像f和参考图像r的横坐标，yf，yr分别表示浮动图像f和参考图像r的纵坐标；
S22、利用式(2)计算二维灰度图像G(x,y)和二维深度图像D(x,y)之间的互信息熵MI(A,B)，
其中，MI(A,B)表示二维灰度图像G(x,y)和二维深度图像D(x,y)的之间的互信息熵，a和b表示图像的灰度级，pf(a)表示二维灰度图像G(x,y)中灰度级a出现的概率，pr(b)表示二维深度图像D(x,y)中灰度级b出现的概率，pfr(a,b)表示二维灰度图像G(x,y)和二维深度图像D(x,y)对应灰度级(a,b)的联合概率；
S23、当两幅图像通过空间变换使空间位置上的对应点达到一致时，图像之间的互信息熵将最大，用式(3)表示为：
其中，Φ表示在不同的旋转参数下，二维灰度图像G(x,y)和二维深度图像D(x,y)之间的互信息熵，MI(A,B)表示二维灰度图像G(x,y)和二维深度图像D(x,y)之间的互信息熵；
基于Barzilai-Borwein算法求解式(3)，获得最佳配准参数R，T。
4.如权利要求1所述的一种基于异源图像融合的高铁扣件缺陷识别方法，其特征在于，所述S43中对式(4)做松弛，求解Mk和ωk的方法利用交替优化法，包括以下步骤：
定义松弛后的损失函数为Ψ，如式(10)所示：
其中，
为权重因子；
对式(10)构建拉格拉日函数L(ω,η)，表示为式(11)：
其中，η为拉格朗日乘数；
先固定Mk，求解ωk，
对式(11)求导，使
为0，ωk用式(12)进行更新，
其中，Dk＝Dk(Mk)(k＝1,2)为上述的图像间模态显著项，p为迭代因子；
固定ωk，优化Mk，将式(10)的目标函数Ψ的对Mk求导进行优化，如式(13)所示：
其中，Aij＝(xi-xj)(xi-xj)T，h'为h(x)函数的倒数；同理方法求得
利用式(14)对Mk进行更新，
其中，β为学习率；
当损失函数Ψ达到最小值时停止对Mk和ωk更新。
5.如权利要求1所述的一种基于异源图像融合的高铁扣件缺陷识别方法，其特征在于，所述步骤S5的实现方法包括以下步骤：
S51、将融合特征F输入线性SVM，产生SVM分类器；
S52、将测试集特征输入SVM分类器中对测试集特征进行分类，得到灰度和深度图像的扣件图像分类结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010255696.8A CN111476767B (zh) | 2020-04-02 | 2020-04-02 | 一种基于异源图像融合的高铁扣件缺陷识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010255696.8A CN111476767B (zh) | 2020-04-02 | 2020-04-02 | 一种基于异源图像融合的高铁扣件缺陷识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111476767A CN111476767A (zh) | 2020-07-31 |
| CN111476767B true CN111476767B (zh) | 2022-04-12 |
Family
ID=71749626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010255696.8A Expired - Fee Related CN111476767B (zh) | 2020-04-02 | 2020-04-02 | 一种基于异源图像融合的高铁扣件缺陷识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111476767B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932635B (zh) * | 2020-08-07 | 2023-11-17 | 江苏普达迪泰科技有限公司 | 采用二维与三维视觉处理相结合的图像标定方法 |
| CN112381791A (zh) * | 2020-11-13 | 2021-02-19 | 北京图知天下科技有限责任公司 | 一种基于3d点云的螺栓松动检测方法 |
| CN112950562A (zh) * | 2021-02-22 | 2021-06-11 | 杭州申昊科技股份有限公司 | 一种基于线结构光的扣件检测算法 |
| CN113358659B (zh) * | 2021-04-25 | 2022-07-19 | 上海工程技术大学 | 一种用于高铁箱梁裂缝自动化检测的相机阵列式成像方法 |
| CN113808097B (zh) * | 2021-09-14 | 2024-04-12 | 北京主导时代科技有限公司 | 一种列车的关键部件丢失检测方法及其系统 |
| CN113781537B (zh) * | 2021-09-17 | 2023-07-25 | 南昌工程学院 | 一种轨道弹条扣件缺陷识别方法、装置和计算机设备 |
| CN113962274B (zh) * | 2021-11-18 | 2022-03-08 | 腾讯科技（深圳）有限公司 | 一种异常识别方法、装置、电子设备及存储介质 |
| CN114937190B (zh) * | 2022-05-31 | 2023-05-16 | 南京林业大学 | 一种用于籽棉开松有效性的判别方法及系统 |
| CN116385336B (zh) * | 2022-12-14 | 2024-04-12 | 广州市斯睿特智能科技有限公司 | 基于深度学习的焊缝检测方法、系统、装置及存储介质 |
| CN116778398B (zh) * | 2023-08-21 | 2023-11-14 | 中铁十二局集团铁路养护工程有限公司 | 一种基于特征重建的双模态道床异物检测方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921846A (zh) * | 2018-07-17 | 2018-11-30 | 北京航空航天大学 | 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法 |
| CN109035315A (zh) * | 2018-08-28 | 2018-12-18 | 武汉大学 | 融合sift特征和cnn特征的遥感图像配准方法及系统 |
| CN109410207A (zh) * | 2018-11-12 | 2019-03-01 | 贵州电网有限责任公司 | 一种基于ncc特征的无人机巡线图像输电线路检测方法 |
| CN110189294A (zh) * | 2019-04-15 | 2019-08-30 | 杭州电子科技大学 | 基于深度可信度分析的rgb-d图像显著性检测方法 |
| CN110400333A (zh) * | 2019-07-26 | 2019-11-01 | 中国安全生产科学研究院 | 教练式双目立体视觉装置及高精度立体视觉图像获取方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9633311B2 (en) * | 2013-07-03 | 2017-04-25 | Sas Institute Inc. | Decision tree learning |
| US20160267349A1 (en) * | 2015-03-11 | 2016-09-15 | Microsoft Technology Licensing, Llc | Methods and systems for generating enhanced images using multi-frame processing |
-
2020
- 2020-04-02 CN CN202010255696.8A patent/CN111476767B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921846A (zh) * | 2018-07-17 | 2018-11-30 | 北京航空航天大学 | 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法 |
| CN109035315A (zh) * | 2018-08-28 | 2018-12-18 | 武汉大学 | 融合sift特征和cnn特征的遥感图像配准方法及系统 |
| CN109410207A (zh) * | 2018-11-12 | 2019-03-01 | 贵州电网有限责任公司 | 一种基于ncc特征的无人机巡线图像输电线路检测方法 |
| CN110189294A (zh) * | 2019-04-15 | 2019-08-30 | 杭州电子科技大学 | 基于深度可信度分析的rgb-d图像显著性检测方法 |
| CN110400333A (zh) * | 2019-07-26 | 2019-11-01 | 中国安全生产科学研究院 | 教练式双目立体视觉装置及高精度立体视觉图像获取方法 |
Non-Patent Citations (2)
| Title |
|---|
| "Two-Dimensional Axis Mapping Using LiDAR";Marc J. Gallant;《IEEE Transactions on Robotics》;20160229;第32卷(第1期);第150-160页 * |
| "基于卷积神经网络的图像深度估计研究";王媛媛;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190115(第01期);第I138-3935页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111476767A (zh) | 2020-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476767B (zh) | 一种基于异源图像融合的高铁扣件缺陷识别方法 | |
| CN113516660B (zh) | 适用于列车的视觉定位与缺陷检测方法和装置 | |
| Liu et al. | A review of applications of visual inspection technology based on image processing in the railway industry | |
| CN102854191B (zh) | 高速铁轨表面缺陷的实时视觉检测与识别方法 | |
| CN110211101A (zh) | 一种铁轨表面缺陷快速检测系统及方法 | |
| Lekshmipathy et al. | Vibration vs. vision: Best approach for automated pavement distress detection | |
| CN110033431B (zh) | 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法 | |
| CN105243381B (zh) | 基于3d信息的故障自动识别检测系统及方法 | |
| CN109658387A (zh) | 电力列车的受电弓碳滑板缺陷的检测方法 | |
| CN106679567A (zh) | 基于双目立体视觉的接触网及支柱几何参数检测测量系统 | |
| Gui et al. | Automated defect detection and visualization for the robotic airport runway inspection | |
| CN103837087B (zh) | 基于主动形状模型的受电弓自动检测方法 | |
| CN102346844B (zh) | 一种货车下心盘螺栓丢失故障识别装置及其识别方法 | |
| CN107727658A (zh) | 基于图像处理的受电弓裂纹在线检测装置及方法 | |
| Guldur et al. | Condition assessment of bridges using terrestrial laser scanners | |
| CN111768417B (zh) | 基于单目视觉3d重建技术的铁路货车超限检测方法 | |
| Vivekananthan et al. | Concrete bridge crack detection by image processing technique by using the improved OTSU method | |
| CN102682435B (zh) | 基于空间相对高度信息的多聚焦图像边缘检测方法 | |
| CN116415843A (zh) | 用于弱网络环境的多模态遥感辅助矿山生态环境评价方法 | |
| CN113295094B (zh) | 一种受电弓动态包络线侵限检测方法、装置和系统 | |
| Cao et al. | Rail fastener detection of heavy railway based on deep learning | |
| Zhang et al. | An effective framework using identification and image reconstruction algorithm for train component defect detection | |
| Dong et al. | An end-to-end abnormal fastener detection method based on data synthesis | |
| Liu et al. | A survey of real-time surface defect inspection methods based on deep learning | |
| Guldur et al. | Automated classification of detected surface damage from point clouds with supervised learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220412 |