CN108875596A - 一种基于dssnn神经网络的铁路场景图像语义分割方法 - Google Patents

Abstract

本发明公开了一种基于DSSNN神经网络的铁路场景图像语义分割方法，包括以下步骤：步骤1：构建DSSNN神经网络；步骤2：获取铁路场景图像数据集，制作图像语义标签，采用标签图像和原始图像通过以TensorFlow为后端的Keras深度学习框架和平台对DSSNN神经网络进行训练，得到训练模型；步骤3：将铁路场景图像输入训练模型，得到铁路场景的语义分割图；本发明提供一种端对端、编码‑解码结构的神经网络模型，能够快速准确地得到铁路场景的语义分割结果，适用于背景错综复杂地铁路场景，无需人工选取特征，鲁棒性好，同时能够通过语义分割准确对铁路场景关键部件进行定位，有利于下一步地关键部件状态检测工作，能有效地减轻铁路巡检人员的工作量。

Description

一种基于DSSNN神经网络的铁路场景图像语义分割方法

技术领域

本发明涉及机车监控与铁路运营安全领域，具体涉及一种基于DSSNN神经网络的铁路场景图像语义分割方法。

背景技术

评价铁路运行的最基本的标准就是列车运行的稳定性和安全性，随着中国铁路的大提速和现代高铁的大力建设，铁路运行的稳定性和安全性也被摆在更加突出的位置，铁路场景的安全巡检工作也变得至关重要。

传统的利用图像处理技术完成铁路场景中关键部件的异常检测方法，例如边缘检测、阈值分割等，能够对局部具体位置的关键部件进行检测；但是随着对高铁运营能力的不断提高，这些传统方式在快速处理铁路场景异常检测时并不高效，且不能适应背景错综复杂的铁路场景，同时也不具备普适性；因此，一种能够适应背景复杂、抗噪能力强、鲁棒性高的关键部位定位和异常状态检测方法显得至关重要；随着计算机视觉技术的快速发展，特别是以深度学习方式为主的图像处理技术得到进一步发展和应用；其中一种重要方面是图像语义分割的研究和应用，图像语义分割的目的是将图像中的像素点进行分类。

发明内容

本发明提供一种鲁棒性强、普适性高、能够对关键部件进行准确定位和分割的基于DSSNN神经网络的铁路场景图像语义分割方法。

本发明采用的技术方案是：一种基于DSSNN神经网络的铁路场景图像语义分割方法，包括以下步骤：

步骤1：构建DSSNN神经网络；

步骤2：获取铁路场景图像数据集，制作图像语义标签，采用标签图像和原始图像通过以TensorFlow为后端的Keras深度学习框架和平台对DSSNN神经网络进行训练，得到训练模型；

步骤3：将铁路场景图像输入训练模型，得到铁路场景的语义分割图，实现对铁路场景的语义分割和关键部位定位；

其中DSSNN神经网络包括卷积块、空洞卷积块、求和块、反卷积块和对称连接块；卷积块用于提取图像特征；空洞卷积块用于扩大卷积感受并减少特征损失；求和块用于将空洞卷积块中的特征进行融合提高分割精度；反卷积块用于提取图像特征同时还原图像尺寸；对称连接块用于将卷积块中的特征图和反卷积块的特征图进行融合，补充卷积块中丢失的图像特征和图像中细小且被忽略的特征；

铁路场景图像经过卷积块后输入空洞卷积块，空洞卷积块处理后输入求和块将每个空洞卷积块的每个块中的结果求和相加；输入反卷积块对图像处理然后输入对称连接块使分割图像得到修复；最后对特征进行分类，完成图像语义分割。

进一步的，所述卷积块输出结果如下：

N＝(W-F+2×P)/S＝1

式中：N为卷积后输出图像尺寸，W为输入图片大小，F为卷积核大小，P为填充的像素数，S为卷积步长。

进一步的，所述空洞卷积块中空洞卷积核的计算公式如下：

Kernel_extend＝Original_kernel_shape+I×(kernel_shape-1)

式中：Kernel_extend为空洞卷积的卷积核大小，Original_kernel_shape为上一个卷积核大小，kernel_shape为当前采用的卷积核大小，I为卷积核扩张的程度。

进一步的，所述反卷积块输出结果如下：

N＝(W-1)×S+F-2×P

式中：N为卷积后输出图像尺寸，W为输入图片大小，F为卷积核大小，P为填充的像素数，S为卷积步长。

进一步的，所述对特征进行分类，采用Softmax函数对图像中的像素点进行分类；如下所示：

式中：S_i为单个像素值与所有像素值和的比值，i为图像中单个像素点，e_i为该像素点的指数值，e_j为所有像素点的指数值，j为所有像素点。

进一步的，所述步骤2中标签图像和原始图像输入DSSNN神经网络之前对图像进行数据增强操作；过程如下：

将若干张原始图像和对应的若干张标签图像进行随机同分布、同尺寸、同角度的变换，将数据量增强到万级单位。

进一步的，步骤3中需对DSSNN神经网络进行测试，具体过程如下：

S1：将铁路场景图像的尺寸缩放到DSSNN神经网络要求的大小，将图像中的像素点转换成一个多维度矩阵，将得到的矩阵值送入到DSSNN神经网络中；

S2：通过DSSNN神经网络预测得到具体类别数字的矩阵；

S3：将矩阵中的类别数字，按照与之对应的RGB值表进行填充，得到语义分割结果。

进一步的，所述步骤2具体过程如下：

S11：将原始的RGB三通道图像转换成[0-255]之间的灰度图像，过程如下：

Gray＝R×0.299+G×0.587+B×0.114

式中：Gray为输出的灰度图像，R为红色像素，G为绿色像素，B为蓝色像素。

S12：进行数据增强操作；

S13：通过深度学习框架和平台进行DSSNN神经网络模型的训练。

本发明的有益效果是：

(1)本发明鲁棒性强，不受复杂铁路场景的影响，对背景错综复杂的铁路场景也能对关键部分进行准确分割；

(2)本发明普适性高，不仅仅是对铁路场景中某一个或几个关键部位进行分割，能够对铁路场景进行全景图像的语义分割，得到铁路场景中所有的关键部位的语义分割图；

(3)本发明能够对关键部件进行准确定位和分割，有利于后续对铁路场景的安全情况的监测，可极大降低铁路巡检工作人员的工作量。

附图说明

图1为本发明流程示意图。

图2为本发明中视频摄像机的安装示意图。

图3为本发明中DSSNN神经网络的结构示意图。

图4为采用本发明方法和采用FCN和UNet神经网络进行语义分割结果对比图。

图中：1-工作台，2-支架，3-摄像机，4-工控计算机。

具体实施方式

下面结合附图和具体实施例对本发明做进一步说明。

一种基于DSSNN神经网络的铁路场景图像语义分割方法，包括以下步骤：

步骤1：构建DSSNN神经网络；

DSSNN(深层语义分割神经网络Deep Semantic Segmentation Neural Networks)神经网络是具有编码-解码结构的神经网络。

DSSNN神经网络整体形状类似“U”，包括卷积块、空洞卷积块、求和块、反卷积块和对称连接块五个模块，可获取图像中更丰富、更细小的特征，提高铁路场景图像语义分割精度；其中DSSNN神经网络包括卷积块、空洞卷积块、求和块、反卷积块和对称连接块；卷积块主要由卷积层、池化层和归一化层；将多个卷积块组合在一起用于提取图像特征；空洞卷积块由不同尺度的空洞卷积层组成，空洞卷积块的输入为卷积块的结果，将多个空间卷积后的结果组合在一起作为空洞卷积块的输出，用于扩大卷积感受并减少特征损失；求和块是将空洞卷积块的每个块中的结果求和相加，能够将空洞卷积块中的特征进行融合提高分割精度；反卷积块主要由上采样层、卷积层和归一化层组成，将多个反卷积块组合在一起用于提取图像的特征同时还原图像尺寸；对称连接块用于将卷积块中的特征图和反卷积块的特征图进行融合，补充卷积块中丢失的图像特征和图像中细小且被忽略的特征；经过一个卷积核1×1大小的卷积操作使得分割图像能够得到修复；最后通过SoftMax函数将特征进行分类，完成整个端对端图像语义分割结果；DSSNN神经网络的具体结果如图3所示。

铁路场景图像经过卷积块后输入空洞卷积块，空洞卷积块处理后输入求和块将每个空洞卷积块的每个块中的结果求和相加；输入反卷积块对图像处理然后输入对称连接块使分割图像得到修复；最后对特征进行分类，完成图像语义分割。

DSSNN神经网络具体参数如表1所示：

表1.DSSNN神经网络参数

具体过程如下：

卷积块：

采用3×3大小的卷积核对图像进行卷积操作，能够提取图像的纹理、形状等特征，卷积过程如下所示：

N＝(W-F+2×P)/S＝1

式中：N为卷积后输出图像尺寸，W为输入图片大小，F为卷积核大小，本实施例中取3，P为填充的像素数，S为卷积步长，能够选择1、2或3。

空洞卷积块：

引入的目的是在不增加数据计算量的情况下可以扩大卷积感受并减少特征的损失；空洞卷积核的计算公式如下：

Kernel_extend＝Original_kernel_shape+I×(kernel_shape-1)

式中：Kernel_extend为空洞卷积的卷积核大小，Original_kernel_shape为上一个卷积核大小，kernel_shape为当前采用的卷积核大小，I为卷积核扩张的程度，取不用的值，会得到不同的空洞卷积核大小。

求和块：

将空洞卷积块的每个块中的结果求和相加，能够将空洞卷积块中的特征进行融合，提高分割精度。

反卷积块：

采用3×3大小的卷积核对图像进行卷积操作，输出结果如下公式所示：

N＝(W-1)×S+F-2×P

式中：N为卷积后输出图像尺寸，W为输入图片大小，F为卷积核大小，P为填充的像素数，S为卷积步长。

对称连接块：

将卷积块和反卷积块的特征进行特征融合，通过对称连接块可以补充在反卷积块中丢失的特征。

最后通过SoftMax函数完成对图像中，每个像素点的分类，SoftMax函数公式如下：

式中：S_i为单个像素值与所有像素值和的比值，i为图像中单个像素点，e_i为该像素点的指数值，e_j为所有像素点的指数值，j为所有像素点。

步骤2：获取铁路场景图像数据集，制作图像语义标签，采用标签图像和原始图像通过深度学习框架和平台对DSSNN神经网络进行训练，得到训练模型；

步骤2中选取一条铁路运行线路场景中的若干张清晰的原始图像，利用程序手工制作语义分割标签图像；标签图像是对每一张原始图像进行的制作，标签图像中每一种颜色都代表一个类别；所以标签图像和原图一一对应；

具体步骤如下：

S11：处理标签图像的类别问题具体为：将原始RGB三通道图像转换成[0-255]之间的灰度图像，转换公式为：

Gray＝R×0.299+G×0.587+B×0.114

式中：Gray为输出的灰度图像，R为红色像素，G为绿色像素，B为蓝色像素。

S12：进行数据增强操作，将若干张原始图像和对应的若干张标签图像，进行随机同分布、同尺度和同角度的变换，将数据量增强到万级单位，其中训练数据集和验证数据集以7:3比例分开，便于后续的模型训练。

S13：利用主流的深度学习框架和平台进行神经网络模型的训练，将原始的若干张图像和对应的若干张标签图像用程序读入，并转化成.npy格式，送入设计好的DSSNN神经网络中进行训练，最后得到训练模型，并保存训练完成的模型文件到本地，便于后续再铁路工控计算机中使用。

为了网络训练能够顺利进行，防止过拟合现象的发生，采用ReduceLROnPlateau技术，在损失函数(Loss Function)没有变化小时，减少成倍的学习率，继续训练，同时采用EarlyStopping技术对神经网络模型训练过程进行监控，在发现连续n个Epoch后，模型的损失函数(Loss Function)都没有降低，则停止训练模型，并保存模型。

步骤3：将铁路场景图像输入训练模型，实现对铁路场景的语义分割和关键部位定位；

使用之前需要对DSSNN神经网络进行测试，测试步骤为：

S1：将铁路场景图像的尺寸缩放到DSSNN神经网络要求的大小，将图像中的像素点转换成一个多维度矩阵，将得到的矩阵值送入到DSSNN神经网络中；

S2：通过DSSNN神经网络预测得到具体类别数字的矩阵；

S3：将矩阵中的类别数字，按照与之对应的RGB值表进行填充，得到语义分割结果。

将训练完成的神经网络模型文件拷贝到机车驾驶室的工控计算机中，通过车载前置摄像头采集铁路场景图像，将图像缩放至DSSNN神经网络锁需要的图像尺寸；并通过程序将图像中所有像素值以多维矩阵形式读入DSSNN神经网络中，加载已经训练完成的神经网络模型，得到和输入图像尺寸大小相同的一个包含类别数目的矩阵，将类别数据值和RGB值表一一对应，最后得到铁路场景语义分割图像。

摄像机可以收集空间密集的数据，并且提供了以较低精度为代价远程测量的机会，相对便宜并且可以快速监测；本发明利用机车安装的摄像机作为铁路场景安全状态的监视器，采集连续的铁路场景图像，从中选择若干清晰可见的原始图像作为模型训练集，通过程序制作对应的语义标签图像，并进行数据增强操作；本发明设计的DSSNN神经网络，利用主流的深度学习框架和平台进行模型训练并保存，最后利用训练好的模型对新的数据集进行测试，得到测试结果。

使用时，包括以下步骤：

S21：通过车载摄像头，拍摄铁路场景图像；前置车载摄像头获取铁路场景图像，并选取清晰的若干张图像，并制作对应的语义分割图像标签；对原始图像和图像标签进行数据增强操作，为模型训练做准备；设计DSSNN语义分割神经网络；利用深度学习框架完成模型的训练和调优，并保存模型结果到本地；

S22：将铁路场景图像缩放至DSSNN神经网络所要求的图像尺寸，将图像中的像素值转换成多维矩阵送入神经网络模型；

S23：通过网络模型得到测试结果，并对测试结果中的每个类别按照对应RGB值表进行填充，得到语义分割结果。

本发明采用的装置摄像机3通过支架2固定在机车车头的工控机4上，在列车行驶过程中保持角度固定；摄像机3在拍摄到图像后，将图像保存在工控机4中，同时工控机4固定在平台1上。

图3为DSSNN神经网络的结构示意图。其中包括卷积块，空洞卷积块，求和块，反卷积块，对称连接块五个部分。卷积块主要由卷积层、池化层、归一化层组合，并将多个卷积块组合在一起用于提取图像特征；空洞卷积块由不同尺度的空洞卷积层组成，空洞卷积块的输入为卷积块的结果，将多个空间卷积后的结果组合在一起作为空洞卷积块的输出；求和块是将空洞卷积块的每个块中的结果求和相加，能够将空洞卷积块中的特征进行融合，提高分割精度；反卷积块主要由上采样层、卷积层、归一化层组成，将多个反卷积块组合在一起用于提取图像特征同时还原图像尺寸；对称连接块主要将卷积块的特征图和反卷积块的特征图进行融合，补充卷积块中丢失的图像特征和图像中细小且被忽略的特征，最后通过SoftMax函数将特征进行分类，完成整个端对端图像语义分割结果。

图4为DSSNN神经网络语义分割结果对比图；将DSSNN神经网络的分割结果与FCN神经网络和UNet神经网络和进行对比；从分割结果图中可以直观的看出DSSNN神经网络的分割效果明显优于另外两个语义分割网络，比如对于承力索、植被、腕臂等多个铁路场景中的关键部分，和GT相对比，DSSNN神经网络能够得到准确分割结果并且几乎没有错误分类结果。其中GT的全称是Ground Truth,可以翻译为参考标准。

本发明提供一种基于DSSNN神经网络的铁路场景图像语义分割方法，解决现有铁路场景图像分割方法适应性差、普适性弱、精确度不高的技术问题，有效的实现铁路场景的语义分割和关键部件定位任务；本发明方法鲁棒性强，不受复杂铁路场景的影响，对背景错综复杂的铁路场景也能对关键部分进行准确分割；普适性高，不仅仅是对铁路场景中某一个或者几个关键部件进行分割，能够对铁路场景进行全景图像的语义分割，得到铁路场景中所有的关键部件的语义分割图；自动化程度高，通过车载前置摄像头进行拍摄，利用训练的模型，自动得到分割图像，从而对关键部件进行准确定位和分割，有利于后续对铁路场景的安全情况的监测，可极大降低铁路巡检工作人员的工作量。

Claims (8)

1.一种基于DSSNN神经网络的铁路场景图像语义分割方法，其特征在于，包括以下步骤：

步骤1：构建DSSNN神经网络；

步骤2：获取铁路场景图像数据集，制作图像语义标签，采用标签图像和原始图像通过深度学习框架和平台对DSSNN神经网络进行训练，得到训练模型；

步骤3：将铁路场景图像输入训练模型，得到铁路场景图像语义分割图；

其中DSSNN神经网络包括卷积块、空洞卷积块、求和块、反卷积块和对称连接块；卷积块用于提取图像特征；空洞卷积块用于扩大卷积感受并减少特征损失；求和块用于将空洞卷积块中的特征进行融合提高分割精度；反卷积块用于提取图像特征同时还原图像尺寸；对称连接块用于将卷积块中的特征图和反卷积块的特征图进行融合，补充卷积块中丢失的图像特征和图像中细小且被忽略的特征；

铁路场景图像经过卷积块后输入空洞卷积块，空洞卷积块处理后输入求和块将每个空洞卷积块的每个块中的结果求和相加；输入反卷积块对图像处理然后输入对称连接块使分割图像得到修复；最后对特征进行分类，完成图像语义分割。

2.根据权利要求1所述的一种基于DSSNN神经网络的铁路场景图像语义分割方法，其特征在于，所述卷积块输出结果如下：

N＝(W-F+2×P)/S＝1

式中：N为卷积后输出图像尺寸，W为输入图片大小，F为卷积核大小，P为填充的像素数，S为卷积步长。

3.根据权利要求1所述的一种基于DSSNN神经网络的铁路场景图像语义分割方法，其特征在于，所述空洞卷积块中空洞卷积核的计算公式如下：

Kernel_extend＝Original_kernel_shape+I×(kernel_shape-1)

式中：Kernel_extend为空洞卷积的卷积核大小，Original_kernel_shape为上一个卷积核大小，kernel_shape为当前采用的卷积核大小，I为卷积核扩张的程度。

4.根据权利要求1所述的一种基于DSSNN神经网络的铁路场景图像语义分割方法，其特征在于，所述反卷积块输出结果如下：

N＝(W-1)×S+F-2×P

式中：N为卷积后输出图像尺寸，W为输入图片大小，F为卷积核大小，P为填充的像素数，S为卷积步长。

5.根据权利要求1所述的一种基于DSSNN神经网络的铁路场景图像语义分割方法，其特征在于，所述对特征进行分类，采用Softmax函数对图像中的像素点进行分类；如下所示：

式中：S_i为单个像素值与所有像素值和的比值，i为图像中单个像素点，eⁱ为该像素点的指数值，e^j为所有像素点的指数值，j为所有像素点。

6.根据权利要求1所述的一种基于DSSNN神经网络的铁路场景图像语义分割方法，其特征在于，所述步骤2中标签图像和原始图像输入DSSNN神经网络之前对图像进行数据增强操作；过程如下：

将若干张原始图像和对应的若干张标签图像进行随机同分布、同尺寸、同角度的变换，将数据量增强到万级单位。

7.根据权利要求1所述的一种基于DSSNN神经网络的铁路场景图像语义分割方法，其特征在于，步骤3中需对DSSNN神经网络进行测试，具体过程如下：

S1：将铁路场景图像的尺寸缩放到DSSNN神经网络要求的大小，将图像中的像素点转换成一个多维度矩阵，将得到的矩阵值送入到DSSNN神经网络中；

S2：通过DSSNN神经网络预测得到具体类别数字的矩阵；

S3：将矩阵中的类别数字，按照与之对应的RGB值表进行填充，得到语义分割结果。

8.根据权利要求1所述的一种基于DSSNN神经网络的铁路场景图像语义分割方法，其特征在于，所述步骤2具体过程如下：

S11：将原始的RGB三通道图像转换成[0-255]之间的灰度图像，过程如下：

Gray＝R×0.299+G×0.587+B×0.114

式中：Gray为输出的灰度图像，R为红色像素，G为绿色像素，B为蓝色像素。

S12：进行数据增强操作；

S13：分别通过以TensorFlow为后端的Keras深度学习框架和平台进行DSSNN神经网络模型的训练。