CN106919978A - 一种高铁接触网支撑装置零部件识别检测方法 - Google Patents

Abstract

本发明公开一种高铁接触网支撑装置零部件识别检测方法，建立高铁接触网支撑装置图像的训练样本库，所述训练样本库包括在图像中手工框出的作为检测目标的各零部件的坐标信息，及所属类别；搭建基于Faster‑RCNN算法的深度卷积神经网络；将上述训练样本库中的训练样本输入搭建好的Faster‑RCNN网络，完成模型的训练；将待检测图像输入训练好的模型中，得到高铁接触网支撑装置零部件的识别检测结果。本发明通过候选区域的深度卷积神经网络对待检测目标进行特征学习和目标分类，大大减少人工识别高铁接触网支持装置零部件故障的巨大工作量，实现现场图像的自动分析，可对多种接触网悬挂装置零部件进行识别分类，具有较高的识别准确性。

Description

一种高铁接触网支撑装置零部件识别检测方法

技术领域

本发明涉及深度学习及电气化铁路自动检测技术领域，具体为一种高铁接触网支撑装置零部件识别检测方法。

背景技术

弓网系统是电气化铁路系统中关键的组成部分，承担将牵引网中的电能输送给电力机车的重要工作。由于受电弓与接触网装置之间存在复杂的力学、电气交互影响，在电气化铁道的各种设备故障中，接触网故障所占比例大，严重影响电气化铁路的安全工作。同时接触网故障分布范围广，检测难度大。传统的接触网支撑悬挂装置检测依靠人工检测，这些方式虽然能保证一定准确性，但效率低、工作量大且易受检修人员的主观影响。随着高速铁路的快速发展和运营质量的逐渐提升，接触网系统必须满足动车组“高速度、高密度、高可靠性”的运行要求。先进的检测技术能提高牵引供电系统维修质量和效率，是实现电气化铁路状态检测和状态维修的重要手段，因此有必要研究自动检测方法。为确保高速铁路动车组运营秩序，提高其供电安全性、可靠性，满足高速铁路快速发展和运营品质的需求，原铁道部发布了自2012年实施《高速铁路供电安全检测监测系统(6C系统)总体技术规范》的通知。根据该规范对接触网悬挂状态检测(4C部分)的要求，接触网检测系统应当具有利用高速相机实现高速接触网的腕臂结构与零部件的定位检测和接触网的静态几何参数测量的等基本功能。

今年我国有19台高铁接触网4C检测车投入测试，这标志着我国的4C成像技术已经进入了批量化生产。目前，4C装置现状是，对于4C装置获取的海量图像，依赖人工判图识别故障、缺陷与隐患。这种人工海量判图识别的方式，不可避免会产生视觉疲劳，容易造成漏判。而且从采集获得图像到给出判图识别结果的判识周期长，影响故障的及时维修处理，在此过程中故障可能进一步发展成事故，甚至带来重大损失与不利影响。

高铁接触网支撑及悬挂结构中涉及46种零部件的检测，分为ABC三类，其中A类故障最为严重。零部件在支撑与悬挂结构中分布较为分散，零部件的大小和结构多不相同。摄像机拍摄时，会有一定的光照和角度的影响。目前某些单一零部件的检测已经能够实现，但定位与检测的效率与正确率仍有较大提升空间。针对多个零部件的同时定位与检测则存在着一定的难度，尤其是对于紧固件连接件等小尺度零部件。深度学习方法应用遍及人工智能各个领域，若能将深度神经网络的一些方法引入，应用到接触网零部件定位中，实现绝缘子、旋转双耳、定位器和斜撑套筒等关键零部件状态的多目标分类，这将接触网支撑及悬挂结构零部件检测带入到更前沿的领域，实现更有效和多样化的检测。

发明内容

针对上述问题，本发明的目的在于提供一种基于候选区域的深度卷积神经网络对待检测目标进行特征学习和目标分类的高铁接触网支撑装置零部件识别检测方法，可减少人工识别的巨大工作量，实现现场图像的自动分析。技术方案如下：

一种高铁接触网支撑装置零部件识别检测方法，包括以下步骤：

步骤A：建立高铁接触网支撑装置图像的训练样本库，所述训练样本库包括在图像中标记出的目标原始包围框中各零部件所在的坐标信息，及其所属类别；

步骤B：搭建基于Faster-RCNN算法的深度卷积神经网络；

步骤C：将上述训练样本库中的训练样本输入搭建好的Faster-RCNN网络，采用多任务损失函数，通过计算目标分类和目标框的损失，完成模型的训练；

步骤D：将待检测图像输入训练好的模型中，得到高铁接触网支撑装置零部件的识别检测结果。

进一步的，所述步骤B中深度卷积神经网络采用ZF模型，有M个可共享的卷积层，搭建的具体步骤包括：

B1：搭建候选区域网络：在第M个卷积层进行候选区域的提取，将第M个卷积层的特征图作为候选区域网络的输入，在该卷积层的特征图映射上滑动小网络，映射到低维向量上，每个滑动窗口产生m个anchor，在卷积层特征图中找到对应的位置，作为候选区域网络；

B2：提取ROI区域：采用候选区域网络的输出层作为ROI生成网络的输入，缩放输入候选区域的尺度得到金字塔，对于每个尺度的每个ROI求取映射关系，在第M个卷积层的特征图中裁剪出对应块，再用单层的ROI下采样层，归一化候选区域的大小并输出；

B3：CNN分类识别：将得到的ROI输入CNN分类网络，经过两个全连接层和矫正激活层，并通过丢弃部分网络参数的方法消除过拟合，得到最终的候选区域的目标分类结果。

更进一步的，所述步骤C中的训练过程如下：

C1：根据训练样本库中的样本信息给每一个anchor分配一个通过正负表示其与样本库中

所标记的目标原始包围框重叠度的标签；

C2：根据下式计算多任务损失值：

其中，P_i是第i个anchor为检测目标的预测概率，如果anchor为正，标签为1，反之，为0；t_i是预测目标所在位置的一个向量，该向量由四个参数坐标(x,y,w,h)组成，表示预测目标所在的包围框，为正anchor对应的训练样本原始包围框的坐标向量；N_cls表示一次训练中样本的数量，N_reg表示训练过程中产生的anchor位置的数量；L_cls为分类损失，L_reg为回归损失，λ表示两个损失函数之间的权值；

分类损失L_cls是两个类别：“目标”或“非目标”的对数损失，即：

回归损失L_reg为：

R为损失函数

C3：根据上述多任务损失值，采用反向传播和随机梯度下降的方法实现端对端轮流训练。

更进一步的，所述端对端轮流训练的具体步骤如下：

C31：给每一个使用在ImageNet上预训练的模型初始化候选区域网络参数，微调候选区域网络；

C32：通过候选区域网络提取候选区域，训练ROI生成和ROI分类网络，并用ImageNet上预训练的模型初始化该网络参数；

C33：使用C32得到的ROI生成和ROI分类网络，重新初始化候选区域，固定卷积层进行微调，微调候选区域网络；

C34：固定C32中ROI生成和ROI分类网络的卷积层，通过C33中产生的候选区域网络提取的候选区域对整个网络进行微调。

本发明的效果是：本发明通过候选区域的深度卷积神经网络对待检测目标进行特征学习和目标分类，大大减少人工识别高铁接触网支持装置零部件故障的巨大工作量，实现现场图像的自动分析，可对多种接触网悬挂装置零部件进行识别分类，具有较高的识别准确性。

附图说明

图1为待分类检测的接触网支撑装置全局图像。

图2为高铁接触网支撑装置零部件样本库建立示意图。

图3为基于Faster-RCNN算法的深度卷积神经网络流程图。

图4为ZF网络结构图。

图5为Faster-RCNN算法中候选区域网络。

图6为Faster-RCNN算法中ROI生成和分类网络。

图7为高铁接触网支撑装置图像零部件识别检测结果图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的详细说明。

图1为4C检测车拍摄到的高铁接触网支撑装置图像。包含了绝缘子，斜撑套筒，旋转双耳等7类零部件。零部件数量种类众多，且接触网图像在夜间拍摄时，容易受到光斑，拍摄角度等的干扰。因此需要训练一个基于深度卷积神经网络的模型，完成零部件的识别工作。本实施例的具体步骤如下：

步骤A：建立关于高铁接触网支撑装置零部件，如绝缘子，上下斜撑套筒，旋转双耳，双套管连接件，斜拉线固定钩等八类重要零部件的样本库，共计2000张。样本库里需要包括对检测目标所在位置的坐标记录，及标记目标所属的类别。图2为训练深度卷积神经网络的样本库。样本库的建立是手工框出接触网支撑装置图像中各类检测目标零部件的原始包围框，保留各类零部件的坐标信息，并人工标记该框的类别。

步骤B：搭建基于Faster-RCNN算法的深度卷积神经网络。网络采用ZF的模型，共有5个可共享的卷积层，算法的基本流程如图3所示，分为3个阶段，候选区域网络，ROI(Regionof Interest感兴趣区域)生成，CNN(Convolutional neural networks卷积神经网络)分类。该算法以ZF网络为基础，如图4所示。具体过程如下：

B1：搭建候选区域网络。将一个图像作为输入，输出矩形目标建议框的集合，每个框有一个目标得分。ZF网络采用全卷积层，如图5所示，在ZF网络的第五个卷积层进行候选区域的提取，将第五个卷积层的特征图作为候选区域网络的输入，在该卷积层特征图映射上滑动小网络，映射到低维向量上，每个滑动窗口有三种尺度和长宽比，每个滑动窗口产生9个anchor，对应在卷积层特征图中找到对应的位置，作为候选网络。每张图候选区域网络后最终产生约2000个候选区域。

B2：提取ROI区域，如图6所示，将候选网络输入ROI生成网络，经过ROI下采样，归一化候选区域的大小并输出。具体为采用候选区域网络的输出层作为ROI生成网络的输入。缩放输入候选区域的尺度得到图像金字塔，对于每个尺度的每个ROI，求取映射关系，对应在网络第五个卷积层的特征图中裁剪出对应块。随后用一个单层的ROI下采样层，将输入的候选区域特征图统一下采样为6×6的特征图再传入全连接层。

B3：CNN分类识别。如图6所示，将ROI输入CNN网络，经过两个卷积层和激活函数，得到最终的候选区域的目标分类结果。具体为将得到的ROI输入CNN分类网络，经过两个全连接层和矫正激活层，并通过丢弃部分网络参数的方法消除过拟合，输出目标包围框的坐标和大小和目标类别。

步骤C：将训练样本输入搭建好的Faster-RCNN网络，采用多任务损失函数，通过计算目标分类和目标框的损失，练完成模型的训练。

训练过程如下：

训练过程中，根据训练样本库中的样本信息给每一个anchor分配一个通过正负表示其与样本库中所标记的原始包围框重叠度的标签。本是实施例中正标签给予与样本库的原始框有最高和大于70％的重叠的anchor。训练过程根据公式(1)计算多任务损失值。多任务损失值分为两个部分，分类损失和位置损失。

P_i是第i个anchor是检测目标的预测概率。如果anchor为正，标签设为1，反之，等于0。t_i是一个向量，表示预测的包围盒的4个参数化坐标(x,y,w,h)，是正anchor对应的训练样本原始包围框的坐标向量。N_cls表示一次训练中样本的数量，N_reg表示训练过程中产生的anchor位置的数量，约2000个。分类损失L_cls是两个类别：“目标”或“非目标”的对数损失

对于回归损失L_reg，计算方法如公式(2)：

其中R损失函数如公式(3)所示：

采用参数λ表示两个损失函数之间的权值，根据上述多任务损失值，采用反向传播和随机梯度下降的方法实现端对端轮流训练，具体步骤如下：

C1：给每一个使用在ImageNet上预训练的模型初始化候选区域网络参数，微调候选区域网络；

C2:使用候选区域网络，提取候选区域，训练ROI生成和ROI分类网络，也用ImageNet上预训练的模型初始化该网络参数；

C3:使用C2得到的ROI生成和ROI分类网络，重新初始化候选区域,固定卷积层进行微调，微调候选区域网络；

C4:固定C2中ROI生成和ROI分类网络的卷积层，使用C3中候选区域网络提取的候选区域对整个网络进行微调。

步骤D：将待检测图像输入训练好的模型中，得到高铁接触网支撑装置零部件的识别检测结果，如图7所示。采用高铁接触网支撑装置零部件样本库中的测试样本验证DCNN分类器的准确性。测试样本共计300张，包含了图像中接触网零部件的位置和类别信息。

Claims (4)

1.一种高铁接触网支撑装置零部件识别检测方法，其特征在于，包括以下步骤：

步骤A：建立高铁接触网支撑装置图像的训练样本库，所述训练样本库包括在图像中标记出的原始包围框中各零部件所在的坐标信息，及其所属类别；

步骤B：搭建基于Faster-RCNN算法的深度卷积神经网络；

步骤C：将上述训练样本库中的训练样本输入搭建好的Faster-RCNN网络，采用多任务损失函数，通过计算目标分类和目标框的损失，完成模型的训练；

步骤D：将待检测图像输入训练好的模型中，得到高铁接触网支撑装置零部件的识别检测结果。

2.根据权利要求1所述的高铁接触网支撑装置零部件识别检测方法，其特征在于，所述步骤B中深度卷积神经网络采用ZF模型，有M个可共享的卷积层，搭建的具体步骤包括：

B1：搭建候选区域网络：在第M个卷积层进行候选区域的提取，将第M个卷积层的特征图作为候选区域网络的输入，在该卷积层的特征图映射上滑动小网络，映射到低维向量上，每个滑动窗口产生m个anchor，在卷积层特征图中找到对应的位置，作为候选区域网络；

B2：提取ROI区域：采用候选区域网络的输出层作为ROI生成网络的输入，缩放输入候选区域的尺度得到图像金字塔，对于每个尺度的每个ROI求取映射关系，在第M个卷积层的特征图中裁剪出对应块，再用单层的ROI下采样层，归一化候选区域的大小并输出；

B3：CNN分类识别：将得到的ROI输入CNN分类网络，经过两个全连接层和矫正激活层，并通过丢弃部分网络参数的方法消除过拟合，得到最终的候选区域的目标分类结果。

3.根据权利要求2所述的高铁接触网支撑装置零部件识别检测方法，其特征在于，所述步骤C中的训练过程如下：

C1：根据训练样本库中的样本信息给每一个anchor分配一个通过正负表示其与样本库中所标记的原始包围框重叠度的标签；

C2：根据下式计算多任务损失值：

$L\left(\right\{P_i\},\{t_i\left\}\right)=\frac{1}{N_{cls}}\underset{i}{\Σ}{L}_{cls}(p_i,p_i^{*})+\mathrm{\λ}\frac{1}{N_{reg}}\underset{i}{\Σ}{p}_i^{*}{L}_{reg}(t_i,t_i^{*})$

其中，P_i是第i个anchor为检测目标的预测概率，如果anchor为正，标签为1，反之，为0；t_i是预测目标所在位置的一个向量，该向量由四个参数坐标(x,y,w,h)组成，表示预测目标所在的包围框，为正anchor对应的训练样本原始包围框的坐标向量；N_cls表示一次训练中样本的数量，N_reg表示训练过程中产生的anchor位置的数量；L_cls为分类损失，L_reg为回归损失，λ表示两个损失函数之间的权值；

分类损失L_cls是两个类别：“目标”或“非目标”的对数损失，即：

$L_{cls}(p_i,p_i^{*})=-log\[p_i^{*}{p}_i+(1-p_i^{*})(1-p_i)\]$

回归损失L_reg为：

$L_{reg}(t_i,t_i^{*})=R(t_i-t_i^{*})$

R为损失函数

${\mathrm{smooth}}_{L_1}\left(x\right)=\left\{\begin{array}{cc}0.5x^2& if\left|x\right|<1\\ \left|x\right|-0.5& otherwise\end{array}\right.$

C3：根据上述多任务损失值，采用反向传播和随机梯度下降的方法实现端对端轮流训练。

4.根据权利要求3所述的高铁接触网支撑装置零部件识别检测方法，其特征在于，所述端对端轮流训练的具体步骤如下：

C31：给每一个使用在ImageNet上预训练的模型初始化候选区域网络参数，微调候选区域网络；

C32：通过候选区域网络提取候选区域，训练ROI生成和ROI分类网络，并用ImageNet上预训练的模型初始化该网络参数；

C33：使用C32得到的ROI生成和ROI分类网络，重新初始化候选区域，固定卷积层进行微调，微调候选区域网络；

C34：固定C32中ROI生成和ROI分类网络的卷积层，通过C33中产生的候选区域网络提取的候选区域对整个网络进行微调。