CN111553500A - 基于注意力机制全卷积网络的铁路交通接触网巡检方法 - Google Patents

Abstract

本发明提供了一种基于注意力机制全卷积网络的铁路交通接触网巡检方法，属于航空监视领域。本发明方法包括：无人机巡检铁路，拍摄视频返回地面站服务器；地面站服务器对视频进行抽帧和预处理，输入训练好的注意力机制全卷积神经网络，获取各帧图像中铁路接触网的像素级别的分布概率图，再利用LSD直线提取算法提取属于铁路交通接触网的直线段，将直线段连接为曲线并进行曲线拟合，进行安全隐患检测和报警。本发明解决了空基平台铁路接触网巡检中存在的很难区分接触网的问题，降低了传统巡检的运维成本，并且可及时排查接触网线路问题，提高铁路运营的安全性，对铁路的日常运营维护、安全预警有重大意义。

Description

基于注意力机制全卷积网络的铁路交通接触网巡检方法

技术领域

本发明属于航空监视领域，本发明涉及一种基于注意力机制全卷积网络的铁路交通接触网巡检方法，用于基于空基平台的铁路交通接触网线路巡检。

背景技术

在铁路的日常运营维护过程中，需要定期对铁路线路状态，检查是否有异物附着，是否有悬挂、脱落等异常状况。及早地发现这些异常情况，能够有效地保障铁路运营，防止造成不必要的人员伤亡和财产损失。

传统的工作人员巡检，不仅浪费大量人力，而且巡检速度很慢，效率低；路基巡检，需要轨道车沿线巡检，巡检时间受限，而且可能影响正常的铁路运营。

基于空基的巡检系统能很好的解决上述问题，能够实现全天候，多方位的高自由度的接触网巡检。重大的实际应用意义使得基于空基接触网方法成为目前航空监视领域的一个重要课题。

目前，基于空基接触网方法巡检存在很多困难。首先，为了巡检的安全，无人机无法在铁路线正上方飞行，距离铁路的水平距离以及垂直距离都很远，导致实际能采集到的图像较小，图像中的接触网很细。其次，由于地面环境复杂，导致采集的图像中接触网与背景交织在一起，很难区分。

发明内容

本发明针对目前空基接触网巡检中，存在无人机采集图像中接触网很细，面对地面复杂环境，采集的图像中接触网与背景交织在一起，很难区分的问题，提供了一种基于注意力机制全卷积网络的铁路交通接触网系统巡检方法。

本发明提供的一种基于注意力机制全卷积网络的铁路交通接触网系统巡检方法，基于空基平台对铁路接触网监测，包括如下步骤：

步骤1、无人机沿铁路线巡检，采集铁路交通接触网的视频并回传到地面站服务器；

步骤2、地面站服务器对视频进行抽帧，对每帧图像进行预处理；预处理包括：统一图像的大小，归一化图像中的像素值；

步骤3、将预处理后的视频帧图像输入使用训练好的注意力机制全卷积神经网络，获取各帧图像中铁路接触网的像素级别的分布概率图；概率图中的每一个像素点处的值代表该像素点属于铁路接触网的概率；

步骤4、根据概率图获得属于铁路交通接触网的像素，使用LSD直线提取算法从接触网概率图中提取出若干直线段；分析直线段之间的位置关系，判断直线段顶点是否相连，将相邻的顶点进行连接，进而将若干短的直线段连接成若干长曲线，每一条长曲线代表一条接触网，这样，就提取出铁路接触网的位置以及形态信息；

步骤5、根据提取的铁路接触网线段进行安全隐患检测，包括：将相邻的接触网直线段连接成曲线，根据曲线段中若干端点的坐标，对曲线段进行拟合并计算曲率半径；判断曲线段的曲率半径是否小于设定的阈值γ，若是，则认为该接触网段弯曲过度，容易影响列车行驶，存在安全隐患，进行安全报警，否则，不进行报警；如果两条曲线段的拟合方程相近，则认为这两条曲线段属于同一条接触网，分析这两条曲线段之间是否存在不连续区域，若是，说明接触网被其他物体隔断，即铁路线路上存在异物侵入，发出安全警报，并给出异物可能的位置。

本发明与现有技术相比，具有以下优点和积极效果：

(1)本发明可以降低传统巡检的运维成本，并且及时排查接触网线路问题，提高铁路运营的安全性，对铁路的日常运营维护、安全预警有重大意义，解决了空基平台铁路接触网巡检的问题。

(2)本发明首先获取像素级的接触网检测结果，然后创新性地采用了LSD直线检测算法来处理全卷积网络输出的接触网概率分布图，获得接触网的拟合曲线，进而判断是否存在异常。相比与传统使用直线或曲线拟合接触网的方法，增加了接触网的检测准确度，并且能够有效对接触网的几何结构进行建模，得到更加鲁邦的检测结果。

(3)本发明采用了注意力机制的全卷积神经网络，能够端到端的获取像素级的接触网检测结果，获取高维语义特征，能够适应各种复杂的环境以及各种不同的接触网形态，具有较好的鲁棒性；采用注意力机制，将网络的注意力集中在接触网区域，并抑制背景噪声对模型识别的影响。相比于传统算法，能大大降低铁路接触网检测的误报。

附图说明

图1是本发明实施例实现的铁路交通接触网系统巡检方法的流程示意图；

图2是本发明实施例实现的铁路交通接触网系统巡检方法的模块结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

基于空基平台对铁路交通接触网系统进行巡检，与常规物体检测任务相比，由于铁路交通接触网尺寸小且视觉外观弱，因此这项检测极具挑战性。本发明提供的基于注意力机制全卷积网络的铁路交通接触网巡检方法，使用全卷积神经网络对无人机采集到的接触网图片进行检测，使用注意力机制使得全卷积神经网络模型更加关注接触网区域，减少复杂背景对结果的干扰，再通过LSD(Line Segment Detector)算法提取直线段，连接成曲线，通过分析曲线的曲率和断裂情况，分析出接触网是否存在异常情况，并根据异常情况做出相应的警报。

本发明实施例的基于注意力机制全卷积网络的铁路交通接触网系统巡检方法，如图1所示，下面分以下5个步骤来说明。

步骤1、无人机采集铁路沿线接触网视频，实时将该视频传回地面站服务器。

本发明实施例中，无人机采用定高模式飞行，高度固定在50米，距铁路线横向距离50米，沿铁路线进行巡检飞行；无人机上搭载海康威视吊舱，以30倍的变焦相机对铁路沿线接触网区域进行视频采集，图像大小为1920×1080像素。无人机所拍摄的铁路接触网图像为待检测视频，实时传回地面站服务器，在服务器中进行下一步处理。无人机采用无线通信的方式，以实时流传输协议(RTSP)将采集到的视频传输给地面站。

步骤2、地面站服务器对无人机回传的视频，进行抽帧，得到视频帧图像，并对图像进行预处理。

对步骤1中的视频进行抽帧处理，获取高清图像序列，对每帧视频图像进行预处理，预处理包括：将图像统一缩放到512×512像素的尺寸，将像素值归一化到0和1之间，作为全卷积神经网络的输入。

步骤3、将预处理后的视频帧图像输入训练好的注意力机制全卷积神经网络，得到铁路接触网分布的概率图。铁路接触网分布的概率图的大小与预处理后的图像大小一样，图中的每一个像素点处的值代表该像素点属于铁路接触网的概率。通过铁路接触网分布概率图可以知道接触网可能出现的位置。

本发明实施例中，在获得铁路接触网分布概率图后，取图中概率值大于0.5的像素点组成铁路接触网的位置集合。

所使用的注意力机制全卷积神经网络包括：全卷积神经网络、信息融合模块和注意力模块。其中，全卷积神经网络为编码-解码结构，包括相同数量的编码层和解码层，编码层通过卷积和池化提取输入图像的分层特征，解码层通过上采样和卷积还原空间信息，逐步增加特征图的空间尺度，最终生成高分辨率的图像像素的分数图。由于接触网为线状结构，宽度较细，其特征较难捕获。经过编码器后的图像特征图下采样比例较高，空间尺度相比原图较小，细节信息损失严重，不利于接触网这种精细物体的检测。因此去除了编码器中的最后两个池化层，并将相应的卷积层替换成空洞卷积，其中去掉的第一个池化层后的卷积层空洞数设置为2，去掉的第二个池化层后的空洞数设置为4。这样在保证了较大感受野的前提下，将特征图的尺度提升了四倍，有利于对接触网这种细微目标的检测。其次，由于接触网为线状结构，易于其他线状的类似结构混淆，例如长物体的边缘。因此，仅通过局部特征无法准确的判断某点是否是接触网。针对此问题，在编码器的最后增加了一个全局池化层，用以获取全局特征信息，并将池化结果上采样后和原特征图进行拼接最终输入解码器；信息融合模块将编码层和相应的相同尺度空间的解码层的输出融合，这样可以进一步获得特征图的语义信息和位置信息，对各编码层-解码层的输出特征图使用逐元素加法，得到最终的融合特征图；同时，为了抑制背景噪声对模型识别的影响，使得全卷积神经网络的注意力集中在接触网区域，在最后编码层后添加注意力机制模块，将最后编码层输出的特征图作为注意力机制模块的输入，在注意力机制模块中对特征图进行上采样和卷积，输出注意力图，注意力图与最后解码层的输出图像的大小相同；将注意力图对信息融合模块输出的最终融合特征图进行逐元素乘法进行加权，得到全卷机神经网络的最终输出特征图，即铁路接触网分布的概率图。

本发明采用全卷积神经网络，能够端到端的获取像素级的接触网检测结果，获取高维语义特征，能够适应各种复杂的环境以及各种不同的接触网形态，具有较好的鲁棒性。增加的注意力分支机制，旨在利用深层特征产生高分辨率的注意力掩模，通过此注意力掩膜筛选有用信息。

本发明所使用的注意力机制全卷积神经网络在使用前，需要进行训练和测试，过程如下：

训练与测试样本为无人机拍摄的铁路沿线接触网图像，图像中包括铁路接触网和复杂背景，在样本中人工标注接触网位置；首先对训练样本进行缩放、截取、旋转等数据扩充操作，以增强网络的抗过拟合能力；然后将训练样本输入注意力机制全卷积神经网络进行训练，采用随机梯度下降的方式对网络参数进行优化，最后在测试集中测试，保证模型达到了可用的状态。

步骤4、通过LSD直线提取算法，对接触网分布概率图进行处理，提取出若干接触网直线段。

本发明根据步骤3得到的接触网分布概率图，获得属于铁路接触网的像素的位置坐标，利用LSD直线提取算法从坐标位置中提取直线段，即提取接触网线段。分析直线段之间的位置关系，判断直线段顶点是否相连，将相邻的顶点进行连接，进而将若干短的直线段连接成若干长曲线，每一条长曲线代表一条接触网线路。这样，本发明就将接触网的位置以及形态信息都提取出来了。

步骤5、根据线段的连接情况以及曲率的大小，分析形变以及异物附着等异常状况，给出报警信息。

将相邻的接触网直线段连接成曲线，拟合计算曲线段的曲率半径，判断是否小于预先设置的阈值γ，若是，则认为该接触网段弯曲过度，容易影响列车行驶，存在安全隐患，进行安全报警；否则，认为该接触网段不存在弯曲现象，不进行报警。

如果两条曲线段的拟合方程相近，则认为这两条曲线段属于同一条接触网线路，分析这两条曲线段之间存在的不连续区域，来确定接触网是否被其他物体隔断，即确定是否有异物附着，如果存在不连续区域，证明有异物附着，进行异常报警，并给出异物可能的位置。

对铁路交通接触网的识别，若采用现有边缘检测，线状物体被检出的概率很高，所以存在误报较多。本发明将全卷积网络和注意力机制的结合，可以很好的抑制背景噪声来识别。若采用现有的直线拟合方法或抛物线拟合方法来对拍摄的图像来拟合铁路交通接触网，则由于这些方法是简单的函数拟合，要对真实问题简化，所检测的结果并不精确，鲁棒性差。本发明在识别出属于铁路交通接触网的像素后，使用LSD直线提取算法做后处理，可以更准确识别出接触网线段，并基于此更好地分析异常情况。本发明方法对接触网进行像素级的预测，能够拟合更为复杂的情况，更准确地识别铁路异常。

如图2所示，为实现本发明的基于注意力机制全卷积网络的铁路交通接触网系统巡检方法的一个检测报警装置的实施例，包括：视频采集装置，图像预处理装置，注意力机制全卷积网络模块，LSD直线检测模块，以及分析与报警装置。

视频采集装置，主体为无人机和通讯设备，负责采集铁路相应视频信息并且将视频回传给地面站服务器。图像预处理装置，主要作用是对视频采集装置的视频流进行抽帧，得到视频帧图像，然后将图像缩放到512×512像素大小的尺寸，并进行归一化操作，作为注意力机制全卷积网络模块的输入。注意力机制全卷积网络模块作为铁路接触网检测模型，使用注意力机制来提高铁路接触网检测的准确度，将预处理后的视频帧图像输入注意力机制全卷积网络模块后，输出铁路接触网的概率分布图。注意力机制全卷积神经网络在使用之前经过了充分的训练和测试。LSD直线检测模块使用LSD直线提取算法对接触网概率图进行处理，从中识别出属于铁路接触网的像素，并提取铁路接触网的直线段。分析与报警装置分析所提取的铁路接触网直线段之间的位置关系，判断直线段顶点是否相连，将相邻的顶点进行连接，进而将若干短的直线段连接成若干长曲线，每一条长曲线代表一条接触网。分析与报警装置还进行安全隐患检测。根据曲线段中若干端点的坐标，对曲线段进行拟合，并计算曲线段的最小曲率半径，若曲线段的曲率半径小于阈值γ，则认为该接触网弯曲过度，容易影响列车行驶，存在安全隐患，进行安全报警。如果两条曲线段的拟合方程相近，则认为这两条曲线段属于同一条接触网，分析这两条曲线段之间存在的不连续区域，来确定接触网是否被其他物体隔断，即是否存在异物侵线的可能，如果存在，则发出安全警报，并给出异物可能的位置。

最后应说明的是，以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (3)

1.一种基于注意力机制全卷积网络的铁路交通接触网系统巡检方法，基于空基平台对铁路接触网监测，包括如下步骤：

步骤1、无人机沿铁路线巡检，采集铁路交通接触网的视频并回传到地面站服务器；

步骤2、地面站服务器对视频进行抽帧，对每帧图像进行预处理；预处理包括：统一图像的大小，归一化图像中的像素值；

步骤3、将预处理后的视频帧图像输入使用训练好的注意力机制全卷积神经网络，获取各帧图像中铁路接触网的像素级别的分布概率图；概率图中的每一个像素点处的值代表该像素点属于铁路接触网的概率；

步骤4、从铁路接触网的分布概率图获取属于铁路交通接触网的像素，再使用LSD直线提取算法对获取的像素提取直线段；

步骤5、根据铁路接触网的位置进行安全隐患检测，包括：

将相邻的接触网直线段连接成曲线，对各曲线段进行拟合并计算曲率半径；

判断接触网曲线段的曲率半径是否小于设定的阈值，若是，则说明该接触网曲线段弯曲过度，存在安全隐患，进行安全报警，否则，不进行报警；

若两条曲线段的拟合方程相近，则认为这两条曲线段属于同一条铁路接触网线路，分析这两条曲线段之间是否存在不连续区域，若存在，则说明铁路线路上有异物附着，存在安全隐患，进行安全报警，否则，不进行报警。

2.根据权利要求1所述的方法，其特征在于，所述的步骤3中，对所述的注意力机制全卷积神经网络进行训练与测试，包括：

训练与测试样本为无人机拍摄的铁路沿线接触网图像，图像中包括铁路接触网和复杂背景，在样本中人工标注接触网位置；首先对训练样本进行扩充操作，然后将训练样本输入注意力机制全卷积神经网络进行训练，采用随机梯度下降的方式对网络参数进行优化，最后在测试集中测试。

3.根据权利要求1所述的方法，其特征在于，所述的步骤3中，所述的注意力机制全卷积神经网络，通过编码-解码结构获取图像中铁路接触网的像素级概率图，通过注意力分支生成注意力图；注意力图通过逐元素乘法对来自编码-解码结构的信息融合图像进行加权，以减少复杂背景对铁路接触网检测效果的影响。

Images