CN111652295B

CN111652295B - 一种铁路货车钩尾销托梁脱落故障识别方法

Info

Publication number: CN111652295B
Application number: CN202010437716.3A
Authority: CN
Inventors: 张轶鑫
Original assignee: Harbin Kejia General Mechanical and Electrical Co Ltd
Current assignee: Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date: 2020-05-21
Filing date: 2020-05-21
Publication date: 2020-12-08
Anticipated expiration: 2040-05-21
Also published as: CN111652295A

Abstract

一种铁路货车钩尾销托梁脱落故障识别方法，属于铁路货车检测技术领域。本发明是为了解决人工检测的方法存在的稳定性差和精度低的问题，以及利用现有的深度学习方法存在的误报率较高的问题。本发明首先采集货车钩尾销区域的灰度图像，对灰度图像进行归一化处理；然后对图像进行尺寸调整，然后送入训练好的SSD深度学习网络，对铁路货车钩尾销托梁是否脱落进行检测，同时利用训练好的SSD深度学习网络对螺孔、通孔进行检测；当检测到铁路货车钩尾销托梁脱落，或者检测到螺孔/通孔，则判定为铁路货车钩尾销托梁存在脱落故障。主要用于铁路货车钩尾销托梁脱落故障识别。

Description

一种铁路货车钩尾销托梁脱落故障识别方法

技术领域

本发明属于铁路货车检测技术领域，具体涉及一种铁路货车钩尾销托梁检测方法。

背景技术

铁路货车的检测关系到铁路货车的运行安全，所以针对于铁路货车的部件需要定期进行检查。钩尾销托梁脱落故障是一种危及行车安全的故障，在钩尾销托梁故障检测中，目前的检测方式基本都是采用检车人员人工检查的方式，或者检车人员通过查看过车图像的方式。后者虽然能够比较方便，且相比纯人工检测方式消耗的人力得到极大的降低，但是，大量图像的筛查使得检车人员在工作过程中极易出现疲劳，还容易发生漏检、错检的情况，难以保障检测的准确率和高效率。因此，目前亟需一种针对于货车故障进行自动检测的方法。

随着深度学习技术不断发展和完善，深度学习技术可以实现一些任务的检测识别，而且能够极大地改善传统图像处理技术带来的鲁棒性不足的的问题，从而提高检测效率和准确率。可以采用深度学习技术进行钩尾销托梁检测，由于钩尾销及托梁图像的细节特征比较微小，直接采用现有的神经网络模型进行处理，不仅存在训练时间长的问题，而且误报率较高；如果想要取得较好的效果，需要大量的图像进行训练，采用现有的损失函数和模型训练方式进行训练时还会存在收敛速度慢等问题。

发明内容

本发明是为了解决人工检测的方法存在的稳定性差和精度低的问题，以及利用现有的深度学习方法存在的误报率较高的问题。

1、一种铁路货车钩尾销托梁脱落故障识别方法，包括：

s1、采集货车钩尾销区域的灰度图像；

s2、对灰度图像进行归一化处理；

s3、对图像进行尺寸调整，然后送入训练好的SSD深度学习网络，对铁路货车钩尾销托梁是否脱落进行检测；

利用训练好的SSD深度学习网络对铁路货车钩尾销托梁是否脱落进行检测时，同时利用训练好的SSD深度学习网络对螺孔或通孔进行检测，在SSD深度学习网络中的卷积层的前三层对螺孔或通孔进行浅层卷积，并根据卷积得到的feature map对螺孔或通孔进行识别；

当检测到铁路货车钩尾销托梁脱落，或者检测到螺孔或通孔，则判定为铁路货车钩尾销托梁存在脱落故障。

进一步地，所述SSD深度学习网络以VGG16作为基础模型，将VGG16的全连接层fc6和fc7转换成3×3的卷积层Conv6和1×1卷积层Conv7，同时将池化层pool5由2×2变成3×3；Conv6采用扩展卷积或带孔卷积；

卷积层Conv7后依次设置Conv8_2，Conv9_2，Conv10_2，Conv11_2；提取Conv7，Conv8_2，Conv9_2，Conv10_2，Conv11_2作为检测所用的特征图，加上VGG16中的Conv4_3层，共提取了6个特征图，用于铁路货车钩尾销托梁是否脱落进行检测；

进一步地，Conv7，Conv8_2，Conv9_2，Conv10_2，Conv11_2的卷积核大小分别是(38,38)，(19,19)，(10,10)，(5,5)，(3,3)，(1,1)。

进一步地，所述SSD深度学习网络中，生成候选框的大小为13*13，候选框长宽比例为[0.75，1.0，1.5]。

进一步地，所述SSD深度学习网络中卷积层的激活函数为RELU。

进一步地，所述采集货车钩尾销区域的灰度图像的过程如下：

通过货车轨道下方设置的高清成像设备获取货车的灰度图像；依据先验知识获得货车钩尾销区域的灰度图像。

进一步地，在步骤s2所述对灰度图像进行归一化处理之前，对采集的货车钩尾销区域的灰度图像进行图像增强处理。

进一步地，所述SSD深度学习网络的训练过程包括以下步骤：

a、采集货车钩尾销区域的灰度图像，进行图像预处理和/或图像增强处理，建立样本数据集；

b、对数据集进行分类标注，包括以下步骤：

将铁路货车钩尾销托梁标注为正常和脱落故障；并在图像中对螺孔、过孔进行标记，将螺孔、过孔图像作为新的label加入训练；

c、计算样本数据集权重，生成训练文件，包括以下步骤：

首先，基于SSD深度学习网络，采用随机方式初始化权重系数；

然后，将样本数据进行灰度归一化处理，即将其灰度值归一化至0到1的范围内；将归一化后的数据作为输入数据，输入到SSD深度学习网络中；经过损失函数和优化器后，计算出新的权重系数，将权重系数进行更新，完成一次训练迭代；

重复上述过程，将全部图像完成固定次数的迭代；迭代过程中并不是每次迭代都要更新权重，只有损失函数更低的权重才会被更新，直到找到最优的权重系数；

将训练结果保存为训练文件，用来预测钩尾销托梁故障的真实图像。

进一步地，所述图像的预处理包括图像的旋转、平移、缩放、镜像操作的随机组合操作。

进一步地，所述建立样本数据集的过程中，采集的货车钩尾销区域的灰度图像包括各种环境条件下的图像，所述环境条件包括雨水、积雪、泥渍、油渍自然条件环境。

有益效果：

1、利用图像自动识别的方式代替人工检测，不仅能够提高检测效率、准确率，而且稳定性好，检测精度更高。

2、将深度学习算法应用到钩尾销托梁脱落故障自动识别中，将候选框的进行了特殊的设定，使得深度学习算法不仅效率更高，而且准确率也更高、误报率更低。同时本发明结合伴生特征进行判别，更够得到更好的检测准确率，而且是对伴生特征进行浅层卷积，不仅能够保证检测准确率，而且还能够保证运算效率。

3、本发明的Conv7，Conv8_2，Conv9_2，Conv10_2，Conv11_2的卷积核大经过特殊的设定，也保证在检测准确率的同时，降低误报率。

利用本发明对于钩尾销托梁脱落情况和将要脱落的情况检测准确率可达95％以上。

附图说明

图1为SSD结构示意图；

图2为铁路货车钩尾销托梁脱落故障识别流程图；

图3为伴生故障示意图；

图4为伴生故障示意图。

具体实施方式

具体实施方式一：参照图2具体说明本实施方式，

本实施方式所述的一种铁路货车钩尾销托梁脱落故障识别方法包括以下步骤：

一、深度学习网络训练过程：

1、建立样本数据集

在货车轨道下方搭建高清成像设备，货车通过设备后，获取高清图像，图像为清晰的灰度图像。

由于货车部件可能受到雨水、泥渍、油渍、黑漆等自然条件或者人为条件的影响；并且，不同站点拍摄的图像可能存在差异。因此，钩尾销图像之间千差万别。所以，在收集钩尾销图像数据的过程中，要保证多样性，尽量将各种条件下的钩尾销图像全部收集。

在不同类型的车钩中，钩尾销部件的形态会不同，其中17型车钩的钩尾销带有托梁。因此本实施方式中只收集17型车钩的钩尾销托梁图像来建立样本数据集。

样本数据集的建立虽然包括各种条件下的图像，但为提高算法的稳定性，仍需要对样本数据集进行数据扩增。扩增形式包括图像的旋转、平移、缩放、镜像、增强等操作，每种操作都是在随机条件下进行的，这样可以最大程度的保证样本的多样性和适用性。

2、数据集分类标注

建立样本数据集后，对数据集进行标注。钩尾销托梁脱落故障在图像中表现为部件旋转、变形、投影变换等变化，将托梁部件标注为正常类与故障类。此外，钩尾销托梁脱落故障发生时，一般会发生一些伴生故障，如螺钉脱落、垫片脱落等。如图3和图4所示，将螺孔、通孔等伴生故障部件标注，作为辅助判断钩尾销托梁脱落故障的依据，可以提高系统检测准确率。

3、计算样本数据集权重，生成训练文件

首先，基于SSD深度学习网络，初始化权重系数，采用随机方式进行初始化。

其次，将样本数据进行灰度归一化处理，即将其灰度值归一化至0到1的范围内；将归一化后的数据作为输入数据，输入到SSD深度学习网络中，进行处理。

SSD深度学习网络如图1所示，SSD深度学习网络主要包括卷积、池化和激活函数ReLU作用等操作。卷积是一个二维的滤波器矩阵(卷积核)与一个待处理的二维图像进行逐个元素相乘再求和的操作。池化是将输入图像进行降维，减少像素信息，只保留重要信息。最大池化保留了每块内的最大值。激活函数是分段线性函数，所有的负值都是0，正直不变，这种操作被称为单侧抑。激活函数如公式：

相比于其他激活函数，对于线性函数而言，ReLU的表达能力更强，尤其体现在深度网络中；而对于非线性函数而言，ReLU由于非负区间的梯度为常数，因此不存在梯度消失问题，使得模型的收敛速度维持在一个稳定状态。

SSD采用VGG16作为基础模型，然后在VGG16的基础上新增了卷积层来获得更多的特征图以用于检测。采用VGG16做基础模型，在ILSVRC-CLS-LOC数据集上进行预训练。分别将VGG16的全连接层fc6和fc7转换成3×3的卷积层Conv6和1×1卷积层Conv7，同时将池化层pool5由原来的2×2变成3×3。SSD网络采用了一种Atrous Algorithm，将Conv6采用扩展卷积或带孔卷积，在不增加参数与模型复杂度的条件下指数级扩大卷积的视野。从后面新增的卷积层中提取Conv7，Conv8_2，Conv9_2，Conv10_2，Conv11_2作为检测所用的特征图，加上VGG16中的Conv4_3层，共提取了6个特征图，由于本发明需要检测小物体，因此卷积核大小适当减小，经多次试验和分析，最终选定卷积核大小分别是(38,38)，(19,19)，(10,10)，(5,5)，(3,3)，(1,1)。

SSD网络定位时，首先生成候选框，覆盖图像以提升定位精度。经过对钩尾销托梁、伴生故障部件以及特征图的分析和研究，发现本发明检测故障的尺寸较为固定，且尺寸范围较小，适当调整候选框的大小以及长宽比例，可以在后续的ROI Pooling层中减少图像信息丢失，加快网络收敛并提高检测精度；按照分析的结果，经多次试验，最终确定候选框大小为13*13，候选框长宽比例为[0.75，1.0，1.5]。

SSD网络反向传播时，需要确定损失函数。损失函数定义为位置误差与置信度误差的加权和：

其中N是候选框的正样本数量。

为指示参数。由于

的存在，所以SSD网络的损失函数仅对正样本进行计算。对于置信度误差，SSD网络采用softmax函数：

其中：

经过损失函数和优化器后，计算出新的权重系数，将权重系数进行更新，完成一次训练迭代。程序将重复这个过程，将全部图像完成固定次数的迭代，但是并不是每次迭代都要更新权重，只有损失函数更低的权重才会被更新，直到找到最优的权重系数。将训练结果保存为训练文件，用来预测钩尾销托梁故障的真实图像。

4.伴生故障判别

钩尾销脱梁脱落故障发生时，会伴随螺钉脱落，垫片脱落等伴生故障，在图像上表现为出现螺孔、过孔，将螺孔、过孔图像作为新的label加入训练，可作为辅助判据帮助判断故障是否发生。螺孔、过孔图像尺寸较小，因此需要在网络卷积层的前三层对其进行浅层卷积，牺牲一部分感受野保留更多feature map。当伴生故障发生时，本发明也认定钩尾销托梁脱落故障发生。

二、钩尾销托梁故障判别：

获得真实过车图像后，首先采集钩尾销区域图像，进行图像增强；对灰度图像进行归一化处理；然后将图像调整到统一大小后送入训练好的SSD深度学习网络。根据检测结果判断是否存在钩尾销脱落故障。若预测出伴生故障，也判定为存在钩尾销脱落故障。

由于钩尾销图像尺寸较大，可将图像尺寸缩小检测以提高检测速度。在服务器显存允许范围内提高批大小(batchsize)，可在保持检测精度的前提下，进一步提高程序运行效率。

需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。

Claims

1.一种铁路货车钩尾销托梁脱落故障识别方法，包括：

s1、采集货车钩尾销区域的灰度图像；

其特征在于，还包括以下步骤：

s2、对灰度图像进行归一化处理；

2.根据权利要求1所述的一种铁路货车钩尾销托梁脱落故障识别方法，其特征在于，所述SSD深度学习网络以VGG16作为基础模型，将VGG16的全连接层fc6和fc7转换成3×3的卷积层Conv6和1×1卷积层Conv7，同时将池化层pool5由2×2变成3×3；Conv6采用扩展卷积或带孔卷积；

卷积层Conv7后依次设置Conv8_2，Conv9_2，Conv10_2，Conv11_2；提取Conv7，Conv8_2，Conv9_2，Conv10_2，Conv11_2作为检测所用的特征图，加上VGG16中的Conv4_3层，共提取了6个特征图，用于铁路货车钩尾销托梁是否脱落进行检测。

3.根据权利要求2所述的一种铁路货车钩尾销托梁脱落故障识别方法，其特征在于，Conv7，Conv8_2，Conv9_2，Conv10_2，Conv11_2的卷积核大小分别是(38,38)，(19,19)，(10,10)，(5,5)，(3,3)，(1,1)。

4.根据权利要求3所述的一种铁路货车钩尾销托梁脱落故障识别方法，其特征在于，所述SSD深度学习网络中，生成候选框的大小为13*13，候选框长宽比例为[0.75，1.0，1.5]。

5.根据权利要求4所述的一种铁路货车钩尾销托梁脱落故障识别方法，其特征在于，所述SSD深度学习网络中卷积层的激活函数为RELU。

6.根据权利要求1所述的一种铁路货车钩尾销托梁脱落故障识别方法，其特征在于，所述采集货车钩尾销区域的灰度图像的过程如下：

7.根据权利要求1所述的一种铁路货车钩尾销托梁脱落故障识别方法，其特征在于，在步骤s2所述对灰度图像进行归一化处理之前，对采集的货车钩尾销区域的灰度图像进行图像增强处理。

8.根据权利要求1至7之一所述的一种铁路货车钩尾销托梁脱落故障识别方法，其特征在于，所述SSD深度学习网络的训练过程包括以下步骤：

b、对数据集进行分类标注，包括以下步骤：

c、计算样本数据集权重，生成训练文件，包括以下步骤：

9.根据权利要求8所述的一种铁路货车钩尾销托梁脱落故障识别方法，其特征在于，所述图像的预处理包括图像的旋转、平移、缩放、镜像操作的随机组合操作。

10.根据权利要求8所述的一种铁路货车钩尾销托梁脱落故障识别方法，其特征在于，所述建立样本数据集的过程中，采集的货车钩尾销区域的灰度图像包括各种环境条件下的图像，所述环境条件包括雨水、积雪、泥渍、油渍自然条件环境。