CN110363769B - 一种高铁接触网支撑装置腕臂系统图像分割方法 - Google Patents

Abstract

本发明公开了一种高铁接触网支撑装置腕臂系统图像分割方法，包括以下步骤：步骤1：获取接触网巡检图像；步骤2：将图像进行预处理后，对图像进行标注；步骤3：将步骤2标注后的图像数据集作为训练集，放入分割网络进行训练，得到训练模型；步骤4：将步骤3得到的训练模型导入推断网络，对需要进行分割处理的图像进行分割处理；本发明具有较好的抗噪性、较高的鲁棒性、较高的效率和自动化程度，极大减少了人力和物力的投入，为接触网的巡检维护排除了许多干扰，提供了方便。

Description

一种高铁接触网支撑装置腕臂系统图像分割方法

技术领域

本发明涉及深度学习图像处理技术领域，具体涉及一种高铁接触网支撑装置腕臂系统图像分割方法。

背景技术

接触网支撑装置担负着支撑接触网的重要任务，而其中腕臂系统是安装在支柱上端用于支持定位装置和接触悬挂的结构设备；有关接触网支撑装置的故障检测已成为高速铁路供电系统安全维护的重要研究方向；如何高效、准确、安全地实现高速铁路架空线路上的非接触检测是目前亟待解决的问题。针对研究非接触式图像检测在高速铁路接触网巡视检查方法，在深度学习还未广泛关注之前，使用传统图像的方法大多很难达到一个比较高的精确度和准确率，所以普遍依靠人工对接触网腕臂系统进行维护检测。

人工的方法效率低下，还会耗费大量人力物力，急需开拓新技术在接触网非接触式图像检测上的应用。

发明内容

本发明针对现有技术存在的问题提供一种基于深度学习的高铁接触网支撑装置腕臂系统图像分割方法。

本发明采用的技术方案是：一种高铁接触网支撑装置腕臂系统图像分割方法，包括以下步骤：

步骤1：获取接触网巡检图像；

步骤2：将图像进行预处理后，对图像进行标注；

步骤3：将步骤2标注后的图像数据集作为训练集，放入分割网络进行训练，得到训练模型；

步骤4：将步骤3得到的训练模型导入推断网络，对需要进行分割处理的图像进行分割处理。

进一步的，所述步骤3中将标注好的训练集放入分割网络中训练的过程如下：

S31：对图像进行尺寸预处理；

S32：采用改进的FPN网络作为特征提取网络提取步骤S31中输入图像的特征，其中改进的FPN网络为，采用可变卷积层替换FPN的底层网络resnet-101中的第3层、第4层和第5层的常规卷积层；其中，可变卷积的算法如下：

式中：p₀为卷积内核的中心点，p_n为卷积核中的位置，Δp_n为可变卷积向常规卷积中添加的偏移量，R为定义的扩张大小为1的3乘3的卷积核，x为用规则的R采样的特征映射，w为将采样值进行加权的系数；

S33：将步骤S32中得到的特征输入到RPN网络中得到网络的分类和回归值；

S34：将步骤33中RPN网络的输出结合原图像的锚anchor与S32中得到的图像各层特征计算得到基于原图像的建议区；

S35：将训练集输入的原始图像与步骤S34中的建议区进行计算融合，选择出正负样本，计算出正样本与真实框的差距和要预测的掩模mask的值，输出可用于损失计算的标准格式；

S36：根据步骤S35的输出通过以下两个分支，分别得到分类和回归值与掩模mask；

第一个分支使用金字塔式感兴趣区域对齐Pyramid ROIAlign将步骤S35中输出的roi返回成相同大小的特征块，将特征块用于计算分类和回归值；

第二个分支使用Pyramid ROIAlign将步骤S35中输出的roi返回成相同大小的特征块，然后经由一个全卷积网络生成对应的掩模masks；

S37：根据步骤S36得到的结果，生成RPN网络的两个损失和用于生成掩模mask网络整体结果分类、回归和掩模的三个损失。

S38：利用得到的损失进行反向计算，重复S31-S38 n次，得到最终训练好的模型。

进一步的，所述步骤S34具体过程如下：

对RPN输出的概率进行排序，保留其中预测为前景色概率超过一定阈值的部分，选取相对应的anchor，采用RPN的输出回归值对锚anchor进行修正；修正的方法是采用极大抑制方法，删除其中的一部分锚anchor，得到需要的建议区；

其中建议区检测框贪心算法改进后公式如下：

式中：s_i为第i个检测框的置信度分数，iou(M,b_i)为对最大置信度分数的检测框M与第i各检测框的重叠，Nt为设置的阈值。

进一步的，所述步骤S36中的Pyramid ROIAlign算法首先根据以下公式计算每一个roi来自于FPN的哪一层特征：

式中：w为宽度，h为高度，k为roi来自的层级，k₀为特征块还在224*224分辨率时映射的层级；

从对应的特征图中提取出坐标对应的区域，通过双线性插值的方法进行pooling操作。

进一步的，所述步骤4具体过程如下：

S41：载入步骤3训练好的模型权重，规范好类别序列；

S42：将待检测图像进行尺寸预处理；

S43：以ResNet101为基础的FPN特征金字塔网络提取图像的特征；

S44：将步骤S43输出的特征各自独立的进入RPN处理层，根据锚框数目信息确定候选区域的分类和回归；

S45：将步骤S44得到结果送入建议区筛选；

S46：对经过筛选的建议区的映射回原图的实际大小适配合适的RPN特征层，采用Pyramid ROIAlign得到所需相同大小的子图，对子图各自独立的进行分类/回归；

S47：采用步骤S46分类/回归的结果对候选框进行修正，重新进行FPN特征层选择和Pyramid ROIAlign特征提取，最终送入Mask网络，生成Mask，完成图像的分割。

本发明的有益效果是：

(1)本发明采用深度学习的图像处理方法，对高铁接触网腕臂系统支撑装置的图像进行各零部件的实例分割；

(2)本发明分割处理方法，具有较好的抗噪性、较高的鲁棒性、较高的效率和自动化程度，极大减少了人力和物力的投入；

(3)本发明为接触网的巡检维护排除了许多干扰，提供了极大的方便。

附图说明

图1为本发明方法流程示意图。

图2为本发明中巡检图像获取装置的外部示意图。

图3为本发明中巡检图像获取装置的内部示意图。

图4为本发明中训练集图像标注效果示意图。

图5为本发明整体网络示意图。

图6为本发明中网络训练阶段的程序结构图。

图7为本发明中可变卷积操作在resnet基本块中的identity block的嵌入方式。

图8为本发明中可变卷积操作在resent基本块中的convolution block的嵌入方式。

图9为本发明中可变卷积层在FPN结构中的替换模式。

图10为本发明中网络推断阶段的程序结构图。

图11为本发明实施例中对一般接触网腕臂结构图片的分割效果。

图12为本发明实施例中对特殊复杂接触网腕臂结构图片的分割效果。

具体实施方式

下面结合附图和具体实施例对本发明做进一步说明。

如图1所示，一种高铁接触网支撑装置腕臂系统图像分割方法，包括以下步骤：

步骤1：获取接触网巡检图像，保证图像在各种情况下的样本平衡；

巡检图像的拍摄设备安装位置、视角情况如图2和图3所示；用于拍摄的相机位于高速列车的驾驶室内前挡风玻璃下方，视角向前，以视频或连续帧图片的形式记录列车行驶沿途的接触网线路情况。因天气、光照、背景、设备干扰等因素的影响，并不是全部图像都可以用来作为网络训练集使用，所以需要对其进行筛选。

筛选的具体要求为：对图像的筛选要保持样本集的平衡，尽量获取相同数量的不同背景、结构、距离、角度等的图像。

步骤2：将图像进行预处理后，对图像进行标注；具体为对图像进行像素级掩模标注。

标注的具体要求有：

1、进行像素级标注时在确保尽量精确的同时，还需注意应该将目标的轮廓都放入标注区域内，以确保特征的完整；

2、为实现实例分割，需将同一张图像中属于相同类别的不同目标进行编号，加以区分；

3、对支撑装置的标注，要注意尽量选取最近的清晰的对象进行标注。

标注的结果如图4所示，图中标明了标注的部件与名称，同时展示了像素级标注的标准形式；

步骤3：将步骤2标注后的图像数据集作为训练集，放入分割网络进行训练，得到训练模型；

采用的深度学习网络如图5所示，基于此网络，网络训练阶段的程序结构图如图6所示。将标注好的训练集放入分割网络中训练的过程如下：

S31：对图像进行尺寸预处理；保证返回的图像大小满足程序要求，并记录图片信息。

S32：采用改进的FPN网络作为特征提取网络提取步骤S31中输入图像的特征，其中改进的FPN网络为，采用可变卷积层替换FPN的底层网络resnet-101中的第3层、第4层和第5层的常规卷积层；将偏移量添加到网络中，实现特征获取网络中卷积核逐渐向目标对象的形状分布，取代了常规卷积核的矩形框均匀分布。

其中，可变卷积的算法如下：

式中：p₀为卷积内核的中心店，p_n为卷积核中的位置，Δp_n为可变卷积向常规卷积中添加的偏移量，R为定义的扩张大小为1的3乘3的卷积核，x为用规则的R采样的特征映射，w为将采样值进行加权的系数。

Δp_n通常是小数，需要使用双线性插值的方法精确计算位置的精确坐标。

可变卷积操作的嵌入模式，具体过程如下：

(1)根据卷积核的特征图的空间分辨率与可变卷积输出偏移量的空间分辨率的匹配程度，将可变卷积层嵌入到残差网络(resnet)的基本块中的合理位置；具体的嵌入位置与方式如图7和图8所示，其中图7是可变卷积层嵌入到特征块的方式，图8是将可变卷积层嵌入到卷积块的方式，两者都是嵌入到两类基本块的第二个卷积层与第二个批处理层之间，使得偏移量可以从卷积层输入到可变卷积层，然后再将其输出传入到原特征图中。

(2)经过多次实验，从下到上将经过可变卷积改进的resnet基本块依次替换到FPN的各个层中，最终得出了最佳效果的改进方法，即将FPN的第3层、第4层和第5层的基本块替换为可变卷积基本块可以使分割网络达到最好的分割效果。替换的实际情况如图9所示，其中红色的层表示替换到第2层时优化效果反而产生了反作用。

S33：将步骤S32中得到的特征输入到RPN网络中得到网络的分类和回归值；

S34：将步骤33中RPN网络的输出结合步骤S32中FPN输出的特征计算得到建议区；首先对输出的概率进行排序，保留其中预测为前景色概率大的一部分(具体值可以在配置文件中进行配置)，然后选取相对应的anchor，利用RPN的输出回归值对anchor进行第一次修正。修正完利用极大抑制方法，删除其中的一部分anchor。获得最后的proposal建议区。

其中，极大值抑制方法优化后的贪心算法是使用soft-nms算法替换本来的nms算法，优化备选框的删除机制，极大程度上减少因同类对象重叠严重而导致的误删的情况；Proposal检测框部分贪心算法改进后的公式如下：

式中：s_i为第i个检测框的置信度分数，iou(M,b_i)为对最大置信度分数的检测框M与第i各检测框的重叠，Nt为设置的阈值。

对于改进算法的具体步骤如下：

(1)在代码中添加soft-nms的函数，将原本的nms函数的调用改为soft-nms函数的调用，

(2)通过不断实验代码，通过调试找到一个合适的阈值N_t，使算法的效果达到最佳。

S35：将训练集输入的原始图像与步骤S34中的建议区进行计算融合，选择出正负样本，计算出正样本与真实框的差距和要预测的掩模(mask)的值，输出可用于损失计算的标准格式；

S36：根据步骤S35的输出通过以下两个分支，分别得到分类和回归值与mask；

第一个分支使用金字塔式感兴趣区域对齐(Pyramid ROIAlign)将步骤S35中输出的roi返回成相同大小的特征块，将特征块用于计算分类和回归值；

第二个分支使用Pyramid ROIAlign将步骤S35中输出的roi返回成相同大小的特征块，然后经由一个全卷积网络生成对应的masks，分辨率为28*28。

Pyramid ROIAlign算法首先根据以下公式计算每一个roi来自于FPN的哪一层特征：

式中：w为宽度，h为高度，k为roi来自的层级，k₀为特征块还在224*224分辨率时映射的层级；

从对应的特征图中提取出坐标对应的区域，通过双线性插值的方法进行pooling操作。

S37：根据步骤S36得到的结果，生成RPN网络的两个损失和用于生成mask网络整体结果分类、回归和掩模的三个损失。其中真实图像的mask需要缩放到28*28，用以进行loss计算。

步骤4：将步骤3得到的训练模型导入推断网络，对需要进行分割处理的图像进行分割处理。

其中推断网络的程序如图10所示。可以看出前部分基本与训练网络相同，只是在后部分对于网络输出值的处理有所不同。具体过程如下：

S41：载入步骤3训练好的模型权重，规范好类别序列；

S42：将待检测图像进行尺寸预处理；过程与训练相同，并记录图像信息；

S43：以ResNet101为基础的FPN特征金字塔网络提取图像的特征；

S44：将步骤S43输出的特征各自独立的进入RPN处理层，根据锚框数目信息确定候选区域的分类(前景背景2分类)和回归结果；

S45：将步骤S44得到结果送入建议区筛选；先根据前景得分进行初步筛选(配置文件中会指定保留的框的数目)，再经由非极大值抑制筛选出proposal建议区。

S46：对经过筛选的建议区的映射回原图的实际大小适配合适的RPN特征层，采用Pyramid ROIAlign得到所需相同大小的子图，对子图各自独立的进行分类/回归；

S47：采用步骤S46分类/回归的结果对候选框进行修正，重新进行FPN特征层选择和Pyramid ROIAlign特征提取，最终送入Mask网络，生成Mask，完成图像的分割。推断时，将预测的masks放大到RoI边界框的尺寸，已得到每个物体最终的mask。

对接触网巡检图像的分割效果如图11和图12，从图中可以看出网络将接触网支撑装置的各部分都分割出来，且效果较为理想，其中图11是对接触网支撑装置的单股结构进行分割的实际效果图，图12是对接触网支撑装置的双股结构进行分割后的实际效果图；

本发明通过深度学习图像处理技术，对高铁接触网腕臂系统支撑装置的图像进行各零部件的实例分割。这种非接触式的腕臂系统图像处理方法，具有较好的抗噪性、较高的鲁棒性；具有较高的效率和自动化程度，极大减少了人力与物力的投入；为接触网的巡检维护排除了许多干扰，提供了极大的方便。

Claims (4)

1.一种高铁接触网支撑装置腕臂系统图像分割方法，其特征在于，包括以下步骤：

步骤1：获取接触网巡检图像；

步骤2：将图像进行预处理后，对图像进行标注；

步骤3：将步骤2标注后的图像数据集作为训练集，放入分割网络进行训练，得到训练模型；

S31：对图像进行尺寸预处理；

S32：采用改进的FPN网络作为特征提取网络提取步骤S31中输入图像的特征，其中改进的FPN网络为，采用可变卷积层替换FPN的底层网络resnet-101中的第3层、第4层和第5层的常规卷积层；其中，可变卷积的算法如下：

式中：p₀为卷积内核的中心点，p_n为卷积核中的位置，Δp_n为可变卷积向常规卷积中添加的偏移量，R为定义的扩张大小为1的3乘3的卷积核，x为用规则的R采样的特征映射，w为将采样值进行加权的系数；

S33：将步骤S32中得到的特征输入到RPN网络中得到网络的分类和回归值；

S34：将步骤33中RPN网络的输出结合原图像的锚anchor与S32中得到的图像各层特征计算得到基于原图像的建议区；

S35：将训练集输入的原始图像与步骤S34中的建议区进行计算融合，选择出正负样本，计算出正样本与真实框的差距和要预测的掩模mask的值，输出可用于损失计算的标准格式；

S36：根据步骤S35的输出通过以下两个分支，分别得到分类和回归值与掩模mask；

第一个分支使用金字塔式感兴趣区域对齐Pyramid ROIAlign将步骤S35中输出的roi返回成相同大小的特征块，将特征块用于计算分类和回归值；

第二个分支使用Pyramid ROIAlign将步骤S35中输出的roi返回成相同大小的特征块，然后经由一个全卷积网络生成对应的掩模masks；

S37：根据步骤S36得到的结果，生成RPN网络的两个损失和用于生成掩模mask网络整体结果分类、回归和掩模的三个损失；

S38：利用得到的损失进行反向计算，重复S31-S38 n次，得到最终训练好的模型；

步骤4：将步骤3得到的训练模型导入推断网络，对需要进行分割处理的图像进行分割处理。

2.根据权利要求1所述的一种高铁接触网支撑装置腕臂系统图像分割方法，其特征在于，所述步骤S34具体过程如下：

对RPN输出的概率进行排序，保留其中预测为前景色概率超过一定阈值的部分，选取相对应的anchor，采用RPN的输出回归值对锚anchor进行修正；修正的方法是采用极大抑制方法，删除其中的一部分锚anchor，得到需要的建议区；

其中建议区检测框贪心算法改进后公式如下：

式中：s_i为第i个检测框的置信度分数，iou(M,b_i)为对最大置信度分数的检测框M与第i各检测框的重叠，Nt为设置的阈值。

3.根据权利要求1所述的一种高铁接触网支撑装置腕臂系统图像分割方法，其特征在于，所述步骤S36中的Pyramid ROIAlign算法首先根据以下公式计算每一个roi来自于FPN的哪一层特征：

式中：w为宽度，h为高度，k为roi来自的层级，k₀为特征块还在224*224分辨率时映射的层级；

从对应的特征图中提取出坐标对应的区域，通过双线性插值的方法进行pooling操作。

4.根据权利要求1所述的一种高铁接触网支撑装置腕臂系统图像分割方法，其特征在于，所述步骤4具体过程如下：

S41：载入步骤3训练好的模型权重，规范好类别序列；

S42：将待检测图像进行尺寸预处理；

S43：以ResNet101为基础的FPN特征金字塔网络提取图像的特征；

S44：将步骤S43输出的特征各自独立的进入RPN处理层，根据锚框数目信息确定候选区域的分类和回归；

S45：将步骤S44得到结果送入建议区筛选；

S46：对经过筛选的建议区的映射回原图的实际大小适配合适的RPN特征层，采用Pyramid ROIAlign得到所需相同大小的子图，对子图各自独立的进行分类/回归；

S47：采用步骤S46分类/回归的结果对候选框进行修正，重新进行FPN特征层选择和Pyramid ROIAlign特征提取，最终送入Mask网络，生成Mask，完成图像的分割。

Images