CN112907597A - 基于深度卷积神经网络的铁路轨道线检测方法 - Google Patents

Abstract

基于深度卷积神经网络的铁路轨道线检测方法，包括以下步骤：数据收集及预处理，从包含铁路轨道视频中截取并去除不满足要求的图像；使用标注软件对数据集进行轨道线标记；对标记原图进行网格分割得到缩小后的标记图像；采用水平翻转、亮度变化方式对数据集进行扩充；扩充后的数据集按训练集、验证集和测试集进行划分；构建深度卷积神经网络模型；利用训练集和验证集对神经网络模型进行训练和验证；然后检测测试集中所有图像轨道线；使用轨道线点聚类方法区分左右轨道线；将预测图中所有轨道线点的坐标还原到原图中。本发明通过将原图均匀分割成许多网格，在标记图中用像素点代替每个网格局部区域的轨道线信息，网格分割法提高了定位速度和准确度。

Description

基于深度卷积神经网络的铁路轨道线检测方法

技术领域

本发明属于图像处理技术领域，具体涉及到一种基于深度卷积神经网络的铁路轨道线检测方法。

背景技术

改革开放四十年，中国经济实现了跨越式发展，中国铁路也得到快速发展，取得了举世瞩目的成就，尤其是近年来中国高铁的快速发展，更是给中国经济带来了前所未有的新机遇。高速列车具有速度快、能耗低、运力大、安全等诸多优势，随着列车运行速度的提高，安全性越来越受到人们的重视，而铁路轨道异物侵限严重影响列车运行，不仅可能中断铁路交通正常运行，破坏铁路轨道和列车，还可能会危害到人民生命和财产安全，给国家和人民带来严重损失，及时清除铁路轨道侵限异物，保障列车安全运行势在必行。

铁路线周围区域背景信息复杂，包括钢轨固定扣件、枕木、道砟和应答器等众多设施设备，更有阴影、光照等变化因素，导致当前处理算法在精确度和鲁棒性方面性能不高。。目前对于铁路轨道线检测的研究较少，但是对汽车行驶的车道线检测的研究较多。传统检测方式和基于神经网络的检测方式已经能够很好的检测车道线，但对于铁路轨道线检测来说，车道线检测方法的速度慢，无法适应高速行驶的列车。

发明内容

本发明要解决的技术问题在于提供一种基于深度卷积神经网络的铁路轨道线检测方法，通过利用像素点代替局部区域的轨道线信息，最后采用聚类方法区分左右轨道线，该方法解决了现有技术中存在的问题。

为了解决上述技术问题，本发明通过以下方式来实现：

一种基于深度卷积神经网络的铁路轨道线检测方法，具体包括以下步骤：

S1：数据收集及预处理，从录制铁路轨道视频中截取图像，并去除不满足要求的图像；

S2：数据标记，使用数据标注软件labelme对数据集进行轨道线标记；

S3：标记图像网格分割，将真实标记图像进行网格分割，标记图像从1000*1000大小转变为50*50大小；

S4：数据扩充，采用水平翻转、亮度变化方式对数据集进行扩充；

S5：对数据扩充后的数据集按照训练集占80％、验证集占10％和测试集占10％进行划分；

S6：构建用于轨道线检测的深度卷积神经网络模型；

S7：利用训练集和验证集对步骤S6的神经网络模型进行训练和验证；

S8：利用步骤S7训练和验证后的神经网络模型，检测测试集中所有图像的轨道线；

S9：使用轨道线点聚类方法区分左右轨道线；

S10：将预测图中的所有轨道线点的坐标还原到原图中。

与现有技术相比，本发明具有的有益效果：

本发明通过将原图标记均匀分割成许多网格，再用像素点代替每个网格局部区域的轨道线信息，相比原始图像逐像素点分割，该方法提高了定位速度；相比于多次曲线去拟合轨道线，该方法提高了精度。铁路轨道线检测有利于划定铁路轨道线侵限区域，有利于对铁路轨道异物侵限进行智能检测判断，提高列车行驶的安全性，避免轨道异物侵限造成的生命财产损失。

附图说明

图1为本发明的轨道线检测流程示意图。

图2为本发明的真实标注图的网格分割示意图。

图3为本发明的深度卷积神经网络的结构示意图。

图4为本发明中已聚类轨道线点集合的距离及角度相关性计算示意图。

图5为本发明中模型训练和验证损失曲线示意图。

具体实施方式

下面结合附图和具体实施例对本发明的具体实施方式作进一步详细的说明。

如图1所示，一种基于深度神经网络的轨道线网格分割检测方法，具体包括以下步骤：

S1：数据收集及预处理，从录制的铁路轨道线视频中截取图像，并去除不满足要求的图像；

利用摄像机在铁路轨道上进行视频录制，在采集到多段铁路轨道视频后，通过视频处理软件对视频进行每一秒截取一帧的方式获取原始图像。去除模糊等不满足要求的图像。

S2：数据标记，使用数据标注软件labelme对数据集进行轨道线标记；

对每张图像上的轨道线进行标注，标记更多点来体现铁路轨道线本身的直线和弧线形状，然后将这些标记点坐标保存到标签文件中。

S3：标记图像网格分割，将真实的标记图像进行网格分割，将标记图像从1000*1000大小转变为50*50大小；

S4：数据扩充，采用水平翻转、亮度变化方式对数据集进行扩充；

经过数据预处理后，剩下的图像和对应的标签文件，因数据量过小不能达到训练神经网络的要求，结合现实数据的情况采用水平翻转、亮度变化等方式对数据集进行扩充。

S5：对数据扩充后的数据集按照训练集占80％、验证集占10％和测试集占10％进行划分；

S6：构建用于轨道线检测的深度卷积神经网络模型；

S7：利用训练集和验证集对步骤S6的神经网络模型进行训练和验证；

S8：利用步骤S7训练和验证后的神经网络模型，检测测试集中所有图像的轨道线；

S9：使用轨道线点聚类方法区分左右轨道线；

S10：将预测图中的所有轨道线点的坐标还原到原图中。

本申请专利的轨道线检测方法分为两部分构成，第一部分是采用深度卷积神经网络模型将图像中列车行驶前方的两条轨道线检测出来；第二部分则采用轨道线点聚类方法将检测出来的两条铁路轨道线区分出左右轨道线。

采集数据，然后标注数据之后，需要对原标记图像进行处理，缩小原标记图像大小。如图2所示，对于原始标注图像C_ij,1≤i≤1000；1≤j≤1000，从水平方向和垂直方向分别划分为50等分，这样生成50*50个网格。对于每一个网格，存在20*20的像素，输出缩小后的标记图像T_hw,1≤h≤50,1≤w≤50，其中每个像素的取值如下：

图2(a)是原标记图像中有轨道线点超过10个的情况，缩小为一个轨道线点；图2(b)是原标记图中轨道线点少于10个情况，缩小为一个非轨道线点。

如图3所示，深度卷积神经网络模型主体由卷积层、池化层、归一化层以及激活层所组成；其中ConvBlock是一个由3*3卷积、BatchNorm2D归一化和LekyRelu激活构成的模块。

每次进行ConvBlock操作可以改变输出结果的通道数，多次ConvBlock操作使得输入数据的通道数由3增长到256再减少到1，输入图像大小为800*800，通道数为3，卷积过程采用填充方式不改变图像大小。在每次经过最大池化层操作后图像大小变为原来的一半，最终经过4次池化操作输出层图像大小为50*50，通道数为1，每个像素点是概率点，代表原始图像每个20*20大小网格区域是否存在轨道线。

采用二分类交叉熵损失函数(Binary CrossEntropy)来计算模型损失。p为算法得到的分割图中所有像素构成的集合，g为真实标注掩模图中所有像素构成的集合，损失函数公式如下：

其中，p_i∈{0，1}为模型计算得到预测图的像素点i的值,g_i∈{0，1}为标注标签图中像素点i的值，N是图像的像素点总个数。

检测出铁路轨道线后，采用搜索方法将检测出的轨道线点进行轨道线聚类，具体算法步骤如下：

1)对于每张预测二值图，从下往上、从左往右依次搜索每个预测为轨道线的轨道线点；

2)对每个轨道线点，先判断是否确定了轨道线的起点，若没有则执行步骤3)，若有则执行步骤4)；

3)将当前轨道线点作为一条轨道线的起点；

4)计算与已聚类轨道线点集合的距离及角度相关性，如图4所示，已聚类轨道线点集合Ω构成的线为L₂，欲判断的轨道线点为P₁，已聚类轨道线点集合中距离P₁最近的点为P₂、P₁和P₂构成的线为L₁，P₁和P₂之间的距离为S,L₁和L₂之间的夹角为α，具体判断如下：

若S≥width/3且α≥π/4，其中width为预测二值图的宽度，那么P₁作为一条新的轨道线起点；

否则计算P₁点和每个已聚类的轨道线点集合的相关性：R＝1/α+1/S，排序相关性，将P₁归入到相关性最大的轨道线集合；

5)重复步骤1)～4)，直至所有预测点搜索完成；

6)搜索完成后得到多个轨道线点集合Ω₁,Ω₂,Ω₃,…Ω_n，选择轨道线点数量最多的两个集合Ω_i和Ω_j，分别计算两个集合中所有点的水平方向的坐标值均值

比较

和

较小者所在集合为轨道线左侧轨道，较大者所在集合为轨道线右侧轨道。

预测图大小为50*50，其中一个像素点代表原图中的一个20x20像素区域，为了将预测图中的轨道线点还原到原图轨道线上，只需要将预测图中轨道线点的坐标做相应的放大处理，具体方法是如公式(3)所示

其中，x_i、y_i是预测图中轨道线点i的坐标，x’_i、y’_i是原图中对应的轨道线点i的坐标。

具体实施例

实验的硬件环境为：CPU为Inter(R)Xeon(R)4114，2.20GHz，GPU为NVIDIA GP100，GPU内存16GB；软件环境为：Unbuntu18.04、Pytorch1.4、Python3.6.9。

神经网络模型训练，使用自采集数据集进行训练，把扩充好的数据集分为训练集(80％)、验证集(10％)和测试集(10％)进行模型优化和性能评价。由于模型输入数据为800*800而预处理后的图片大小为1000*1000，在进行模型训练、测试和预测的过程需要对图像进行双立方插值大小改变操作，把从数据集读取的图像实时缩小为800*800。

多次模型训练得到的训练和验证损失曲线如图5所示，在开始训练的时候模型的训练和验证损失都比较高，在训练了3个批次后损失迅速下降，接着损失缓慢下降，当训练批次达到15次左右，模型达到最佳效果，后续的训练使得训练损失和验证损失都无明显变化，说明对于当前数据集，模型已经得到了充分的训练。

为评价神经网络模型的性能，使用intersection over union(IoU)和阈值(0.3、0.4、0.45、0.5)来判断一条轨道线是否被检测出来。使用F1作为最后的评价指标：

其中

本申请中β设置为1则：

准确率的计算参考Scnn中公开数据集CULane的计算方式，在本申请中实验准确率为96.81％，并给出了不同IoU阈值对于模型检测指标的影响结果如下：

由表可见，当阈值为0.3时，F1达到了98.82％，当阈值由0.4增大到0.5的时，F1指标快速下降，结合可视效果发现在视觉远端的轨道线检测的准确率比较低，近端的准确率高。检测速度可以达到每秒155帧。

本发明所提出的一种可区分左右轨道的轨道线检测方法，首先构建一个深度卷积神经网络模型用于检测轨道线，再用聚类方法区分左右轨道线，最终对轨道线的检测达到较高准确率。由于本申请设计的深度卷积神经网络模型参数量少，适合部署到边缘移动设备进行实时预警监测。

以上所述仅是本发明的实施方式，再次声明，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进，这些改进也列入本发明权利要求的保护范围内。

Claims (5)

1.一种基于深度卷积神经网络的铁路轨道线检测方法，其特征在于：具体包括以下步骤：

S1：数据收集及预处理，从录制的铁路轨道视频中截取图像，并去除不满足要求的图像；

S2：数据标记，使用数据标注软件labelme对数据集进行轨道线标记；

S3：对标记图像网格分割，将真实的标记图像进行网格分割，将标记图像从1000*1000大小转变为50*50大小；

S4：数据扩充，采用水平翻转、亮度变化方式对数据集进行扩充；

S5：对扩充后的数据集按照训练集占80％、验证集占10％和测试集占10％进行划分；

S6：构建用于轨道线检测的深度卷积神经网络模型；

S7：利用训练集和验证集对步骤S6的神经网络模型进行训练和验证；

S8：利用步骤S7训练和验证后的神经网络模型，检测测试集中所有图像的轨道线；

S9：使用轨道线点聚类方法区分左右轨道线；

S10：将预测图中的所有轨道线点的坐标还原到原图中。

2.如权利要求1所述的一种基于深度卷积神经网络的铁路轨道线检测方法，其特征在于：所述步骤S3中具体方法如下：对于原始标注图像C_ij,1≤i≤1000；1≤j≤1000，从水平方向和垂直方向分别等分50等分，这样生成50*50个网格，对于每一个网格，存在20*20的像素，输出缩小后的标记图像T_hw,1≤h≤50,1≤w≤50，其中每个像素的取值如下：

3.如权利要求1所述的一种基于深度卷积神经网络的铁路轨道线检测方法，其特征在于：所述步骤S6中深度卷积神经网络模型主体由卷积层、池化层、归一化层以及激活层所组成，其中ConvBlock是一个由3*3卷积、BatchNorm2D归一化和LekyRelu激活构成的模块；每次进行ConvBlock操作可以改变输出结果的通道数，多次ConvBlock操作使得输入数据的通道数由3增长到256再减少到1，输入图像大小为800*800，通道数为3，卷积过程采用填充方式不改变图像大小，在每次经过最大池化层操作后图像大小变为原来的一半，最终经过4次池化操作输出层图像大小为50*50，通道数为1，每个像素点是概率点，代表原始图像每个20*20大小网格区域内轨道线。

4.如权利要求1所述的一种基于深度卷积神经网络的铁路轨道线检测方法，其特征在于：所述步骤S9中轨道线点聚类方法区分左右轨道线，具体算法步骤如下：

1)对于每张预测二值图，从下往上、从左往右依次搜索每个预测为轨道线的轨道线点；

2)对每个轨道线点，先判断是否确定了轨道线的起点，若没有则执行步骤3)，若有则执行步骤4)；

3)将当前轨道线点作为一条轨道线的起点；

4)计算与已聚类轨道线点集合的距离及角度相关性，如图3所示，已聚类轨道线点集合Ω构成的线为L₂，欲判断的轨道线点为P₁，已聚类轨道线点集合中距离P₁最近的点为P₂、P₁和P₂构成的线为L₁，P₁和P₂之间的距离为S,L₁和L₂之间的夹角为α，具体判断如下：

若S≥width/3且α≥π/4，其中width为预测二值图的宽度，那么P₁作为一条新的轨道线起点；

否则计算P₁点和每个已聚类的轨道线点集合的相关性：R＝1/α+1/S，排序相关性，将P₁归入到相关性最大的轨道线集合；

5)重复步骤1)～4)，直至所有预测点搜索完成；

6)搜索完成后得到多个轨道线点集合Ω₁,Ω₂,Ω₃,…Ω_n，选择轨道线点数量最多的两个集合Ω_i和Ω_j，分别计算两个集合中所有点的水平方向的坐标值均值

x_ik∈Ω_i、

x_jk∈Ω_j，比较

和

较小者所在集合为轨道线左侧轨道，较大者所在集合为轨道线右侧轨道。

5.如权利要求1所述的一种基于深度卷积神经网络的铁路轨道线检测方法，其特征在于：所述步骤S10将预测图中的所有轨道线点的坐标还原到原图中的方法是，将预测图中轨道线点的坐标做相应的放大处理，如公式(3)所示：

其中，x_i、y_i是预测图中轨道线点i的坐标，x’_i、y’_i是原图中对应的轨道线点i的坐标。

Images