CN114898204B - 一种基于深度学习的轨道交通周边危险源检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的轨道交通周边危险源变化检测方法，包括：获取轨道交通沿线的地理信息遥感图像数据；对线路周围的危险因素进行分析，明确危险源种类；将采集到的图像数据传输至上位机进行处理，得到配准后的地理信息遥感图像，进行图像分区并根据危险源分类结果对分区的图像进行目标标注后将其输入深度学习网络进行训练，获取准确度较高的检测模型；将待检测轨道交通线路的地理信息遥感图像输入检测模型，实现轨道交通周边危险源检测。该方法能自动快速识别轨道交通周边危险源，减少人工操作工作量，提升轨道交通周边危险源识别的效率。

Description

一种基于深度学习的轨道交通周边危险源检测方法

技术领域

本发明属于轨道交通领域，具体涉及一种基于深度学习的轨道交通周边危险源检测方法

背景技术

轨道交通运行过程中的行车安全是轨道交通安全的重中之重，而轨道交通周边危险源产生的侵限物体导致的轨道交通行车事故是目前轨道交通行车安全的主要问题。因此，为了确保轨道交通行车安全，对轨道交通周边危险源进行定期的检测并对其进行监控和处理是降低行车事故发生率的有效途径。传统的轨道交通周边危险源检测是通过人工巡检的方式，对轨道交通周边的危险源进行记录和分级，实现危险源的定期监测。但是，人工巡检存在着巡检实时性差、巡检周期长和巡检准确度低等问题，导致轻质漂浮物挂线、彩钢板侵限等危害行车安全的事故多次发生。

随着我国航空航天事业的迅猛发展，能够通过无人机、航飞和卫星等方式快速获取高质量遥感图像。遥感图像能够准确表征地表的地物信息，已经被广泛的应用于地表特征分析、地理信息建模和地物信息提取等领域。目前轨道交通测绘领域已经开始采用遥感图像进行轨道交通周边危险源检测，但是，目前的检测方式主要依靠于人工图像目标提取，存在主观性强、精度较低、人工工作量大等问题。

发明内容

本发明的目的在于克服现有技术存在的不足，提供一种基于多尺度特征融合、注意力机制增强深度学习的智能轨道交通危险源检测方法，利用多尺度特征融合和注意力机制准确提取目标特征，实现危险源区域的准确语义分割，达到轨道交通周边危险源智能自动检测的目的，对于确保轨道交通行车安全具有实际应用价值。

为此，本发明的技术方案如下：

一种基于深度学习的轨道交通周边危险源检测方法，包括以下步骤：

1.一种基于深度学习的轨道交通周边危险源检测方法，包括以下步骤：

S1，采用无人机、航飞和卫星等遥感方式(包含但不限于上述三种方式)获取轨道交通沿线及周边一定范围的地理信息遥感图像；

S2，判断是否是第一次使用深度学习模型，如果否，则跳到S6；如果是，则通过对线路周围影响轨道交通行车安全的危险因素进行分析，明确危险源种类，并确定轨道交通周边危险源的性质和危险等级；

S3，将步骤S1采集到的地理信息遥感图像数据通过数据接口传输至上位机，并且在上位机接收数据后，对数据进行畸变校正和图像拼接配准，得到配准后的地理信息遥感图像；

S4，得到配准后的地理信息遥感图像后，将包含地理信息的图像区域按照512×512的尺寸进行图像分区，采用数据标注工具对分区的图像进行目标标注，获得带有标注信息的分区图像；

S5，将步骤S4获得的带有标注信息的分区图像逐个输入到深度学习网络输入接口，对深度学习网络进行训练，通过调整多个网络训练超参数进行重复训练，获取准确度较高的检测模型；

S6，将待检测轨道交通沿线及周边一定范围的的地理信息遥感图像输入到步骤S5得到的检测模型中，深度学习网络对输入的图像进行目标语义分割，通过卷积提取目标高维特征，然后采用logistic函数获取像素点属于每个危险源的概率，选取概率值最高的一类，将该像素点赋予该类别的像素值，进而得到危险源的种类，并且通过图像中不同类别危险源像素值所占个数和单个像素点尺寸，获取不同危险源的面积；

S7，通过危险源的性质和面积划分重点区域，实现轨道交通周边危险源检测。

其中，步骤S3中所述畸变校正通过径向畸变校正和切向畸变校正实现，图像拼接通过图像中心点坐标及图像尺寸进行坐标匹配，将相邻图像按照坐标点进行配准，实现图像拼接。

其中，所述步骤S5中，深度学习网络为特征交叉融合注意力hyperseg网络，其数据处理步骤如下：

首先对输入的图像进行卷积操作，通过特征图m和卷积核C进行卷积操作，获取图像的i层特征图f_i，卷积方程如下式：

f_i＝m*C,i＝1,2,3,......,n (1)

其中，*代表卷积操作，而后，获取多个层级的特征图后，将相邻两层的特征图和中间的特征图进行特征融合，将融合的特征通过注意力模块进行重点特征提取获得特征S_i，而后，将第n-1层特征通过上采样的方式获得分割掩码，每一层特征图在进行上采样前先进行块卷积获取区域特征，块卷积的权重ω_n通过第n层特征f_n进行卷积学习获得，从第n-1层特征开始进行上采样，每次上采样后与S_i进行contact连接，再继续进行上采样，最终获得分割掩码。

其中，上述的特征融合包括以下步骤：

第一步，将i-1层的特征图进行padding后再做卷积操作，使得卷积后的特征图尺寸和第i层相同，并且通过控制卷积核数量，使得卷积后的特征图channel数与第i层相同，获得的特征图为L_i-1，将i+1层的特征图进行上采样操作，上采样方式通过双线性插值进行，使得上采样后的特征图尺寸和第i层相同，并且通过控制卷积核数量，使得上采样后的特征图channel数与第i层相同，获得的特征图为L_i+1；

第二步，将所述L_i-1、f_i和L_i+1按顺序进行contact操作，得到[L_i-1,f_i,L_i+1]组合，而后，通过卷积对contact后的特征图[L_i-1,f_i,L_i+1]进行特征提取，实现多尺度特征的重提取，将浅层特征图中的小目标特征融合到深层高维特征图中，得到融合特征L_i。

其中，上述的注意力模块的处理步骤为：

第一步，将输入的融合特征L_i分别进行最大值池化(maxpooling)和平均池化(averagepooling)，池化方式如下式：

F_i＝maxpooling(L_i) (2)

G_i＝averagepooling(L_i) (3)

而后将F_i和G_i进行contact连接，连接如下式：

h_i＝Contact(F_i,G_i) (4)

将连接的特征图进行卷积操作，得到：

j_i＝C_1×1(h_i) (5)

后通过sigmoid函数进行重点特征区域激活，得到k_i：

k_i＝sigmoid(j_i) (7)

将激活区域与输入的融合特征L_i进行乘积，实现特征重点区域加权，加权方式如下式：

l_i＝k_i×L_i (8)。

优选的是，步骤S1中所述的一定范围是以钢轨中轴线为中心，左右各外延200-2000米范围；

优选的是，步骤S2中所述的危险源种类主要包括：违法施工类，危险物品类、上跨并行类、河道桥梁类、开采爆破类、违建违占类、堆放隐患类、倒落隐患类、树植隐患类、硬漂浮物类、轻漂浮物类。

优选的是，步骤S2中所述的危险等级主要按照危险源易变性和聚集面积分级。

优选的是，步骤S6中所述的地理信息遥感图像分辨率为：无人机图像分辨率为优于0.1m，航飞图像分辨率为0.2-0.5m，卫星图像分辨率为0.5-1m。

优选的是，步骤S4所述的标注工具为labelme或者其它合适的数据标注软件；步骤S5所述的训练超参数包括优化函数、学习率、模型权重等影响训练过程的参数。

本发明的基于深度学习的轨道交通周边危险源检测方法，首先采用backbone网络的输出特征学习上采样不同层的卷机权重，而后，通过动态块卷机实现区域特征的融合；在此基础上，构建了特征层交叉连接，将相邻层的特征进行交叉卷机融合，提升不同尺度特征间的信息共享；并且在上采样和下采样的同层级间构建了注意力模块，通过注意力模块提取特征图中的局部特征，并与上采样的特征进行融合，丰富特种图中的细节局部特征，在上采样特征中融合局部特征和全局特征，提升目标分割准确度，准确分割危险源区域，结合像素个数和像素尺寸，获得危险源识别结果。

本发明具有以下有益效果：

(1)基于遥感图像的轨道交通周边危险源检测采用人工检测的方式，存在主观性强、精度较低、人工工作量大等问题。本发明的检测方法能够自动对遥感图像进行处理，并且得到带有语义信息的危险源检测结果，不仅能够获得危险源的区域面积，还能够获得危险源的种类，实现危险源的智能检测，减少了人工操作工作量，提升了轨道交通周边危险源识别的效率。

(2)轨道交通周边危险源的区域构造有极强的随机性，其轮廓、形状和面积等参数存在着较大的不确定性，因此导致了轨道交通周边危险源语义分割的复杂性，存在着巨大目标和微小目标共存的情况，影响了语义分割准确度。本发明的方法构造了多尺度特征融合模型，能够将浅层特征与高层特征融合，避免了微小目标在多层卷积后造成特征丢失，实现了微小目标特征保护，提升微小目标和巨大目标的语义分割准确度。

(3)轨道交通周边危险源的轮廓、形状和面积等参数存在着较大的不确定性，并且存在着目标特征与背景特征相似的情况，因此目标轮廓难以准确限定。本发明的方法在网络结构中引入了注意力模块，能够对目标特征区域进行权重增强，进而加权了目标的轮廓结构，使得本发明的方法能够准确限定轨道交通周边危险源的轮廓、形状和面积等参数，准确对危险源进行检测。

附图说明

图1是本发明的基于深度学习的轨道交通周边危险源检测方法的流程图；

图2是本发明实施例中的训练数据标注图；

图3是本发明实施例中的深度学习网络结构图；

图4是本发明实施例中的彩钢房分割结果；

图5是本发明实施例中的地膜分割结果。

具体实施方式

以下结合附图和具体实施例对本发明的技术方案进行详细说明。

实施例一

实验数据以某铁路设计线路为例，采用航飞数据，数据覆盖范围为铁路中心线左右各外延2公里；软件操作以python为平台，采用了pytorch库展开。如图1所示，本发明的具体实施步骤如下：

S1.确定研究的铁路沿线范围区域，即铁路中心线左右各外延2公里；采用飞机沿铁路设计线路飞行，使用DMC250相机采集0.2m分辨率的地理遥感图像数据；

S2.判断是否为第一次使用深度学习模型，如果否，则跳到步骤S6；如果是，则对铁路周边危险源进行分类，分类标准依据对铁路行车安全影响的危险源性质和产生方式等进行分类，如违法施工类、危险物品类、上跨并行类、河道桥梁类、开采爆破类、违建违占类、堆放隐患类、倒落隐患类、树植隐患类、硬漂浮物类、轻漂浮物类等；

S3.将步骤S1航飞采集到的地理遥感图像数据通过USB通讯接口传输至上位机，将得到的图像数据进行畸变校正，校正通过径向畸变校正和切向畸变校正两个方向进行，并且按照坐标信息，将图像进行逐块拼接，实现拼接校准；

S4.利用步骤S1中多线路采集的遥感图像数据构建铁路遥感图像数据库，并且将图像数据进行分区，分区尺寸为512×512，并根据步骤S2得到的危险源分类结果对数据库中的分区数据进行目标标注，采用的标注工具为labelme，获得带有标注信息的分区图像；标注结果如图2所示，构建深度学习网络的训练集；

S5.将所述训练集逐个输入到深度学习网络接口，网络结构如图3所示，并且设置训练参数，如优化函数、初始学习率、epoch、迭代次数等，本实施例中选择的优化函数为Adam，初始学习率设置为0.0003，betas＝(0.9，0.99)，单批次图像数量为16，迭代次数设置为80，开始迭代训练网络，直到网络收敛，得到训练好的检测模型；

S6.将待检测轨道交通沿线范围区域，即铁路中心线左右各外延2公里的地理信息遥感图像输入到步骤S5得到的检测模型中，深度学习网络首先对图像进行多层特征提取，并且将相邻层的特征进行卷积融合，而后对融合特征输入到注意力模块获得加权特征S_i，完成重点特征区域加权，而后，将第n-1层特征通过上采样的方式获得分割掩码，每一层特征图在进行上采样前先进行块卷积获取区域特征，块卷积的权重ω_n通过第n层特征f_n进行卷积学习获得，从第n-1层特征开始进行上采样，每次上采样后与S_i进行contact连接，再继续进行上采样，将最终融合的特征通过logistics函数获取危险源区域类别概率，根据概率最高的类别，并根据类别赋予区域所述类别的像素值，实现对区域的语义分割，并且统计图像中不同类别危险源像素值所占的个数，通过像素个数和单像素尺寸，获取不同危险源的面积，获得的危险源检测结果如图4和图5所示；

S7.根据危险源面积和类型，对检测结果进行分析，获取重点危险区域(危险源类型属于易变化、面积大的区域)。

Claims (8)

1.一种基于深度学习的轨道交通周边危险源检测方法，包括以下步骤：

S1，采用遥感方式获取轨道交通沿线及周边一定范围的地理信息遥感图像数据；

S2，判断是否是第一次使用深度学习模型，如果否，则跳到S6；如果是，则通过对线路周围影响轨道交通行车安全的危险因素进行分析，明确危险源种类，并确定轨道交通周边危险源的性质和危险等级；

S3，将步骤S1采集到的地理信息遥感图像数据通过数据接口传输至上位机，并且在上位机接收数据后，对数据进行畸变校正和图像拼接配准，得到配准后的地理信息遥感图像；

S4，将S3配准后的地理信息遥感图像中包含地理信息的图像区域按照512×512的尺寸进行图像分区，并根据步骤S2得到的危险源分类结果采用数据标注工具对分区的图像进行目标标注，获得带有标注信息的分区图像；

S5，将步骤S4获得的带有标注信息的分区图像逐个输入到深度学习网络输入接口，对深度学习网络进行训练，通过调整多个网络训练超参数进行重复训练，获取准确度较高的检测模型；

S6，将待检测轨道交通沿线及周边一定范围的地理信息遥感图像输入到步骤S5得到的检测模型中，深度学习网络对输入的图像进行目标语义分割，通过卷积提取目标高维特征，然后采用logistic函数获取像素点属于每个危险源的概率，选取概率值最高的一类，将该像素点赋予该概率值最高的一类的像素值，进而得到危险源的种类，并且通过图像中不同类别危险源像素值所占个数和单个像素点尺寸，获取不同危险源的面积；

S7，通过危险源的性质和面积划分重点区域，实现轨道交通周边危险源检测；

其中，所述步骤S5中，深度学习网络为特征交叉融合注意力hyperseg网络，其数据处理步骤如下：

首先对输入的图像进行卷积操作，通过特征图m和卷积核C进行卷积操作，获取图像的i层特征图f_i，卷积方程如下式：

f_i＝m*C,i＝1,2,3,......,n (1)

其中，*代表卷积操作；

而后，获取多个层级的特征图后，将相邻两层的特征图和中间的特征图进行特征融合，将融合的特征通过注意力模块进行重点特征提取获得特征S_i；

将第n-1层特征通过上采样的方式获得分割掩码，每一层特征图在进行上采样前先进行块卷积获取区域特征，块卷积的权重ω_n通过第n层特征f_n进行卷积学习获得，从第n-1层特征开始进行上采样，每次上采样后与S_i进行contact连接，再继续进行上采样，最终获得分割掩码；

所述的特征融合方法包括以下步骤：

第一步，将i-1层的特征图进行padding后再做卷积操作，使得卷积后的特征图尺寸和第i层相同，并且通过控制卷积核数量，使得卷积后的特征图channel数与第i层相同，获得的特征图为L_i-1，将i+1层的特征图进行上采样操作，上采样方式通过双线性插值进行，使得上采样后的特征图尺寸和第i层相同，并且通过控制卷积核数量，使得上采样后的特征图channel数与第i层相同，获得的特征图为L_i+1；

第二步，将所述L_i-1、f_i和L_i+1按顺序进行contact操作，得到[L_i-1,f_i,L_i+1]组合，而后，通过卷积对contact后的特征图[L_i-1,f_i,L_i+1]进行特征提取，实现多尺度特征的重提取，将浅层特征图中的小目标特征融合到深层高维特征图中，得到融合特征L_i。

2.按照权利要求1所述的一种基于深度学习的轨道交通周边危险源检测方法，其特征在于，步骤S3所述畸变校正通过径向畸变校正和切向畸变校正实现；所述图像拼接通过图像中心点坐标及图像尺寸进行坐标匹配，将相邻图像按照坐标点进行配准，实现图像拼接。

3.根据权利要求1所述的一种基于深度学习的轨道交通周边危险源检测方法，其特征在于，所述的注意力模块的处理步骤为：

第一步，将输入的融合特征L_i分别进行最大值池化和平均池化，池化方式如下式：

F_i＝max pooling(L_i) (2)

G_i＝averagepooling(L_i) (3)

而后将F_i和G_i进行contact连接，连接如下式：

h_i＝Contact(F_i,G_i) (4)

将连接的特征图进行卷积操作，得到，

j_i＝C_1×1(h_i) (5)

后通过sigmoid函数进行重点特征区域激活，得到k_i，

k_i＝sigmoid(j_i) (7)

将激活区域与输入的融合特征L_i进行乘积，实现特征重点区域加权，加权方式如下式：

l_i＝k_i×L_i (8)。

4.根据权利要求1所述的一种基于深度学习的轨道交通周边危险源检测方法，其特征在于，步骤S1和S6中所述的一定范围是以钢轨中轴线为中心，左右各外延200-2000米范围。

5.根据权利要求1所述的一种基于深度学习的轨道交通周边危险源检测方法，其特征在于，步骤S2中所述的危险源种类主要包括：

违法施工类，危险物品类、上跨并行类、河道桥梁类、开采爆破类、违建违占类、堆放隐患类、倒落隐患类、树植隐患类、硬漂浮物类、轻漂浮物类。

6.根据权利要求1所述的一种基于深度学习的轨道交通周边危险源检测方法，其特征在于，步骤S2中所述的危险等级按照危险源易变性和聚集面积分级。

7.根据权利要求1所述的一种基于深度学习的轨道交通周边危险源检测方法，其特征在于，步骤S6中所述的地理信息遥感图像分辨率为：无人机图像分辨率为优于0.1m，航飞图像分辨率为0.2-0.5m，卫星图像分辨率为0.5-1m。

8.根据权利要求1所述的一种基于深度学习的轨道交通周边危险源检测方法，其特征在于，步骤S4所述的标注工具为labelme或者其它数据标注软件；步骤S5所述的训练超参数包括优化函数、学习率及模型权重。