CN111383273A - 一种基于改进结构推理网络的高铁接触网零部件定位方法 - Google Patents

Abstract

本发明公开一种基于改进结构推理网络的高铁接触网零部件定位方法，首先对高速铁路接触网支撑及悬挂装置进行图像采集；再根据采集到的图像建立接触网支撑及悬挂装置的样本数据集；最后将数据集划分为训练集和测试集，训练好结构推理网络后，利用结构推理网络对接触网零部件进行精确快速定位。本发明能够高效快速定位接触网各零部件，网络模型当中的结构推理网络融合了目标自身信息和目标之间的位置关系信息以及场景信息，并以此进行信息的迭代传播；考虑了接触网零部件大小差异太大，使用第二次池化后特征层输入ROI池化层，能够精确定位顶紧螺栓等细小零部件。

Description

一种基于改进结构推理网络的高铁接触网零部件定位方法

技术领域

本发明涉及高速铁路图像智能检测技术领域，具体为一种基于改进结构推理网络的高铁接触网零部件定位方法。

背景技术

高速铁路接触网的设备状态对于列车的安全运行十分重要，而目前铁路上运行的4C检测设备仍主要采用传统的图像处理算法，对于全国情况各异的线路不具有普适性，而且并未实现自动化，检测精度也亟待提高。

随着技术发展，图像检测技术在接触网零部件上的应用愈加广泛。在现有的图像检测技术当中，在检测各零部件的状态之前需要先对其进行定位分类，而传统的图像检测方法不仅精度低、耗时长，并且对于不同铁路线路并不具有通用性。几种经典深度学习网络如Fast RCNN、SSD、YOLO虽然在精度与检测速度上有所提高，但并未达到理想状态。韩烨采用SIFT特征和边缘曲线弯曲度检测旋转双耳耳片状态；张桂南提出了一种通过快速模糊匹配实现绝缘子故障判断的方法；钟俊平利用SIFT算法和改进RANSAC实现双耳套筒的定位；陈隽文提出了基于AdaBoost算法对斜撑套筒进行定位，并利用Hough变换分析螺钉的状态；张桂南介绍了一种实现绝缘子的抗旋转匹配和故障检测的方法；段汝娇通过Hough变换方法检测定位器的倾斜度；刘志刚依据接触网图像结构特点，通过先分类后定位的方法构建级联网络，提高大尺度零部件定位精度。

由于现场采集的接触网支撑及悬挂装置图像普遍较复杂，且尺寸与形状变化大，因此急需一种简单迅速的图像检测算法对接触网各零部件进行快速定位与检测。考虑到接触网支撑悬挂装置各零部件位置相对固定，且检测图像中出现的场景有限，可将其作为训练过程添加的辅助信息。

发明内容

针对上述问题，本发明的目的在于提供一种基于改进结构推理网络(SIN，Structure Inference Net)的高铁接触网零部件定位方法，能够实现接触网零部件精确快速定位，而且考虑了接触网零部件大小差异，使用第二次池化后特征层输入ROI池化层，能够精确定位顶紧螺栓等细小零部件。技术方案如下：

一种基于改进结构推理网络的高铁接触网零部件定位方法，包括以下步骤：

步骤A：对高速铁路接触网支撑及悬挂装置进行图像采集；

步骤B：根据采集到的图像建立接触网支撑及悬挂装置的样本数据集；

步骤C：将数据集划分为训练集和测试集，训练好结构推理网络后，利用结构推理网络对接触网零部件进行精确快速定位：

步骤C1：向网络输入接触网的样本图像，由VGG16网络对其进行卷积与池化操作，将第二次池化操作后的特征图送入ROI池化层，第四次池化操作后的特征图送入RPN网络用于生成建议区域；

步骤C2：RPN网络接收来自VGG16网络的特征图，并采用多种不同大小与长宽比的区域框架对特征图滑动采集零部件特征，得到一定数量的特征区域，然后根据原图groundtruth与特征区域的重叠率大小，筛选出重叠率值大于设定阈值的特征区域作为建议区域，并向ROI池化层输入图像的建议区域；

步骤C3：ROI池化层将每个建议区域映射到特征图上，并在池化操作后将其合并为一个固定大小特征图；经过全连接层后，提取各目标的特征作为视觉特征向量

提取整张图像特征作为场景视觉特征向量f^s；建议区域各目标特征经过目标边缘关系聚合得到目标节点之间位置关系向量e_i→j；

步骤C4：结构推理网络接收各目标节点视觉特征向量

场景视觉特征向量f^s、各目标节点之间位置关系向量e_i→j，由一组GRU网络迭代处理并传递这些向量信息，并更新各目标节点的状态，在更新结束后得到最终的集成节点状态；

步骤C5：根据得到目标节点状态，Softmax分类网络与回归网络对各目标节点分类并得到定位矩形框坐标。

进一步的，在所述VGG16网络中，针对小目标特征图分辨率的问题，将pool 2池化操作后的特征图代替原来pool 5池化操作后的特征图送入ROI pooling层，用于对建议区域的目标进行分类；并加上一个1×1的卷积将pool 2池化层的通道数维持在512；且取消原有的pool5池化层以及conv5-1、conv5-2、conv5-3卷积层，改用将pool 4池化操作后的特征图送入RPN网络，用于生成建议区域。

更进一步的，所述结构推理网络使用GRU将不同信息编码为目标状态，GRU将从来自目标之间的关系信息和场景信息中选择相关信息更新当前目标的隐状态，当目标的状态更新时，目标之间的关系也会随着变化；场景GRU的初始状态为视觉特征f^v，输入为场景信息m^s；边缘GRU的初始状态也为视觉特征f^v，输入为目标位置信息m^e，其中m^e集成了各个目标对于当前目标v_i节点的位置关系；使用max pooling提取出目标信息，

集成各目标信息如下式所示：

计算目标节点v_j对于目标节点v_i的位置关系e_j→i的计算下式所示：

式中，W_p和W_v均为可学习的权重矩阵，视觉关系向量由

和

串联而成，

表示空间位置关系；完整信息如下式所示：

其中，(x_i,y_i)表示目标的中心点坐标，w_i和w_j,分别表示目标节点v_i和v_j的宽度，h_j和h_j分别表示目标节点v_i和v_j的高度，s_i和s_j分别表示目标节点v_i和v_j的面积；目标节点v_i通过接收来自场景以及其它节点的信息，得到场景GRU的输出

边缘GRU的输出

最终的输出为

在接下来的迭代中，场景GRU将更新过的节点状态作为其隐状态，并以固定的场景特征作为输入，然后计算下一个节点状态；边缘GRU将新的目标与目标的关系信息作为新的输入，然后计算下一个隐状态；最后，使用最终的集成节点表示来预测目标类别和边界框偏移量。

本发明的有益效果是：本发明能够高效快速定位接触网各零部件，网络模型当中的结构推理网络融合了目标自身信息和目标之间的位置关系信息以及场景信息，并以此进行信息的迭代传播；考虑了接触网零部件大小差异太大，使用第二次池化后特征层输入ROI池化层，能够精确定位顶紧螺栓等细小零部件。

附图说明

图1为本发明方法处理过程框图。

图2为本发明现场采集的高铁接触网悬挂装置图像。

图3为本发明网络模型定位后的高铁接触网悬挂装置零部件图像。

图4为改进后的VGG16网络结构。

图5为图像各类信息建模原理图。

图6为GRU网络输入输出图。

图7为GRU内部原理图。

图8为结构推理网络结构图。

图9为结构推理原理图。

图10为定位结果图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细说明。图1为本发明方法处理过程框图。图2为现场采集的高铁接触网悬挂装置图像，图3使用本发明网络模型定位后的高铁接触网悬挂装置零部件图像，图10为定位结果图。本发明基于结构推理网络的高铁接触网零部件定位方法，包括以下步骤：

步骤A：采用专用综合列检车对高速铁路接触网支撑及悬挂装置进行成像；如图2所示。

步骤B：建立接触网支撑及悬挂装置的样本数据集；接触网支撑悬挂装置零部件如图3所示。

步骤C：将步骤B的数据集划分为训练集和测试集，训练好结构推理网络后，利用结构推理网络对接触网零部件进行精确快速定位。

根据上述方案，所述步骤C的具体过程如下：

步骤C1：将所述数据集划分为训练集和测试集，向网络输入接触网的样本图像，由改进VGG16网络对其进行卷积与池化操作，将第二次池化操作后的特征图送入ROI池化层，第四次池化操作后的特征图送入RPN网络用于生成建议区域；改进后的VGG16网络结构如图4所示。

步骤C2：RPN网络接收来自VGG16网络的特征图，并采用多种不同大小与长宽比的区域框架对特征图滑动采集零部件特征，得到一定数量的特征区域，然后根据原图groundtruth与特征区域的重叠率(IOU)大小，筛选出IOU值大于设定阈值0.7的特征区域作为建议区域，并向ROI池化层输入该图像建议区域。

步骤C3：ROI池化层将每个建议区域映射到特征图上，并在池化操作后将其合并为一个固定大小特征图。经过全连接层后，提取各目标的特征作为视觉特征向量

提取整张图像特征作为场景视觉特征向量f^s。建议区域各目标特征经过目标边缘关系聚合得到目标节点之间位置关系向量e_i→j，图像中各类信息建模如图5所示。

其中，构建的网络主要由VGG16网络、RPN网络、ROI池化层、结构推理网络与分类回归网络组成。

1)VGG16网络。为了适应尺度变化较大的零部件，在原有Anchor尺寸[8，16，32]基础上增加了三个尺寸，变为[2，4，8，16，32，64]，长宽比依然为[2:1,1:1,1:2]。增加两个小尺寸Anchor目的是为了更好适应斜撑套筒顶紧螺栓等小目标的尺寸。

针对小目标特征图分辨率的问题，因斜撑套筒螺钉等小目标的特征图Featuremaps经过pool 5池化操作后分辨率过低，故将pool 2池化操作后的特征图代替原来pool 5池化操作后的特征图送入ROI pooling层，用于对建议区域的目标进行分类，由于pool 2池化层后的通道数为256，因此我们加上了一个1×1的卷积将通道数维持在512；除此之外，我们取消了原有的pool 5池化层以及之前的conv5-1、conv5-2、conv5-3卷积层，改用将pool4池化操作后的特征图送入RPN网络，用于生成建议区域，该操作也是为了提高特征图的分辨率。改进后的VGG16网络如图4所示。

2)RPN网络。区域提案网络(RPN，Region Proposal Network)提取感兴趣区域(RoI，region of interest)

3)ROI池化层。将2)中提取的感兴趣区域(RoI)调整到固定大小，将RoI映射到feature map的对应位置。

4)构推理网络。构建结构推理网络，由于铁路接触网个零部件具有空间和位置相互关联的关系，这种关系可以作为零部件定位时的辅助信息，图像中的各类信息可建模如图5所示。

图5中V_i表示建议区域，视作为一个目标节点，由ROI池化层的FC层提取的视觉特征向量

表示；e_i→j表示目标节点之间的位置关系，由V_i与V_j的空间关系特征和视觉特征计算得来的标量表示；S表示图像的场景，可将拥有相同目标节点的图像视作一类场景，其视觉特征f^s作为场景信息表示。

步骤C4：结构推理网络接收各目标节点视觉特征向量

场景视觉特征向量f^s、各目标节点之间位置关系向量e_i→j，由一组GRU网络迭代处理并传递这些向量信息，并更新各目标节点的状态，在更新结束后得到最终的集成节点状态，GRU网络的原理如图6与图7所示，结构推理网络的结构原理如图8与图9所示。

结构推理网络由一组级联的场景GRU和边缘GRU网络组成，其将场景信息和目标之间位置关系信息传至目标节点，并根据图像变化对节点进行更新。

a)、GRU网络原理。图像中每个目标节点都需要接收大量来自场景和其它目标节点的信息，并将这些信息进行整合以得到一个完整信息，这个功能由GRU(Gate RecurrentUnit)网络来完成。GRU(Gate Recurrent Unit)是循环神经网络(Recurrent NeuralNetwork,RNN)的一种。

GRU网络的输入为当前状态x^t和上一个节点传递的隐状态

该隐状态

包含了之前节点的相关信息，网络的输出为当前隐藏节点状态y^t与传递到下一节点的隐状态

GRU首先通过x^t和

获得重置门门控状态(reset gate，以r表示)与更新门门控状态(update gate，以z来表示)，可以用下式表示。其中σ为sigmoid逻辑函数，W_r和W_z均为可学习的权重矩阵。

r＝σ(W_r[x,h^t])

r＝σ(W_z[x,h^t]

随后

通过重置门控得到

在与x^t拼接后通过tanh激活函数获得

如下式所示，其中⊙表示矩阵元素相乘。

最后，

和

通过更新门控z获得

去除了

中传递下来的某些维度信息，并加入当前节点某些维度信息，如下式所示。

GRU网络输入输出图如图6所示，GRU内部原理图如图7所示。

b)结构推理网络。结构推理网络使用GRU将不同信息编码为目标状态，GRU将从来自目标之间的关系信息和场景信息中选择相关信息更新当前目标的隐状态，当目标的状态更新时，目标之间的关系也会随着变化，并且随着时间步长的增加，得到的模型越稳定。

场景GRU的初始状态为视觉特征f^v，输入为场景信息m^s；边缘GRU的初始状态也为视觉特征f^v，输入为目标位置信息m^e，其中m^e集成了各个目标对于当前目标v_i的位置关系，不同目标对于当前目标的关系权重e_j→i不同，这是由相对位置和视觉关系决定的。

使用max pooling提取出最重要的信息，避免无关区域的干扰。

集成各目标信息的计算下式所示。

计算目标v_j对于目标v_i的位置关系e_j→i的计算下式所示。

式中W_p和W_v均为可学习的权重矩阵，视觉关系向量由

和

串联而成，

表示空间位置关系。完整信息如下式所示。

其中(x_i,y_i)表示目标的中心点坐标，w_i和

分别表示目标的宽度和高度，s_i为目标的面积。节点v_i通过接收来自场景以及其它节点的信息，得到场景GRU的输出

边缘GRU的输出

最终的输出为

在接下来的迭代中，场景GRU将更新过的节点状态作为其隐状态，并以固定的场景特征作为输入，然后计算下一个节点状态。边缘GRU将新的目标与目标的关系信息作为新的输入，然后计算下一个隐状态。最后，使用最终的集成节点表示来预测目标类别和边界框偏移量。结构推理网络结构图如图8所示，结构推理原理图如图9所示。

步骤C5：根据得到目标节点状态，Softmax分类网络与回归网络对各目标节点分类并得到定位矩形框坐标。定位得到的图像如图10所示。

Claims (3)

1.一种基于改进结构推理网络的高铁接触网零部件定位方法，其特征在于，包括以下步骤：

步骤A：对高速铁路接触网支撑及悬挂装置进行图像采集；

步骤B：根据采集到的图像建立接触网支撑及悬挂装置的样本数据集；

步骤C：将数据集划分为训练集和测试集，训练好结构推理网络后，利用结构推理网络对接触网零部件进行精确快速定位：

步骤C1：向网络输入接触网的样本图像，由改进VGG16网络对其进行卷积与池化操作，将第二次池化操作后的特征图送入ROI池化层，第四次池化操作后的特征图送入RPN网络用于生成建议区域；

步骤C2：RPN网络接收来自VGG16网络的特征图，并采用多种不同大小与长宽比的区域框架对特征图滑动采集零部件特征，得到一定数量的特征区域，然后根据原图groundtruth与特征区域的重叠率大小，筛选出重叠率值大于设定阈值的特征区域作为建议区域，并向ROI池化层输入图像的建议区域；

步骤C3：ROI池化层将每个建议区域映射到特征图上，并在池化操作后将其合并为一个固定大小特征图；经过全连接层后，提取各目标的特征作为视觉特征向量

提取整张图像特征作为场景视觉特征向量f^s；建议区域各目标特征经过目标边缘关系聚合得到目标节点之间位置关系向量e_i→j；

步骤C4：结构推理网络接收各目标节点视觉特征向量

场景视觉特征向量f^s、各目标节点之间位置关系向量e_i→j，由一组GRU网络迭代处理并传递这些向量信息，并更新各目标节点的状态，在更新结束后得到最终的集成节点状态；

步骤C5：根据得到目标节点状态，Softmax分类网络与回归网络对各目标节点分类并得到定位矩形框坐标。

2.根据权利要求1所述的基于改进结构推理网络的高铁接触网零部件定位方法，其特征在于，在所述VGG16网络中，针对小目标特征图分辨率的问题，将pool 2池化操作后的特征图代替原来pool 5池化操作后的特征图送入ROIpooling层，用于对建议区域的目标进行分类；并加上一个1×1的卷积将pool 2池化层的通道数维持在512；且取消原有的pool 5池化层以及conv5-1、conv5-2、conv5-3卷积层，改用将pool 4池化操作后的特征图送入RPN网络，用于生成建议区域。

3.根据权利要求1所述的基于改进结构推理网络的高铁接触网零部件定位方法，其特征在于，所述结构推理网络使用GRU将不同信息编码为目标状态，GRU将从来自目标之间的关系信息和场景信息中选择相关信息更新当前目标的隐状态，当目标的状态更新时，目标之间的关系也会随着变化；场景GRU的初始状态为视觉特征f^v，输入为场景信息m^s；边缘GRU的初始状态也为视觉特征f^v，输入为目标位置信息m^e，其中m^e集成了各个目标对于当前目标v_i节点的位置关系；使用max pooling提取出目标信息，

集成各目标信息如下式所示：

计算目标节点v_j对于目标节点v_i的位置关系e_j→i的计算下式所示：

式中，W_p和W_v均为可学习的权重矩阵，视觉关系向量由

和

串联而成，

表示空间位置关系；完整信息如下式所示：

其中，(x_i,y_i)表示目标的中心点坐标，w_i和w_j,分别表示目标节点v_i和v_j的宽度，h_j和h_i分别表示目标节点v_i和v_j的高度，s_i和s_j分别表示目标节点v_i和v_j的面积；目标节点v_i通过接收来自场景以及其它节点的信息，得到场景GRU的输出

边缘GRU的输出

最终的输出为

在接下来的迭代中，场景GRU将更新过的节点状态作为其隐状态，并以固定的场景特征作为输入，然后计算下一个节点状态；边缘GRU将新的目标与目标的关系信息作为新的输入，然后计算下一个隐状态；最后，使用最终的集成节点表示来预测目标类别和边界框偏移量。

Images