CN111080604A - 一种铁路货车钩提杆折断故障图像识别方法 - Google Patents

Abstract

一种铁路货车钩提杆折断故障图像识别方法，涉及货运列车检测技术领域，针对现有技术中传统的图像处理检测方式针对钩提杆部件本身泥渍、油渍影响，导致检测效率低的问题，一种铁路货车钩提杆折断故障图像识别方法，包括以下步骤:步骤一：获取钩提杆所在区域图像，作为样本数据集；步骤二：对样本数据集进行数据扩增；步骤三：对数据集中的图像进行标注；步骤四：将原始图像和标注图像生成数据集，并训练模型；步骤五：利用UNet网络模型对钩提杆区域进行预测，得到钩提杆的二值图像；步骤六：判断钩提杆是否折断，若是则进行故障报警，若否则执行步骤五。本发明可以提高故障检测的效率和准确率。

Description

一种铁路货车钩提杆折断故障图像识别方法

技术领域

本发明涉及货运列车检测技术领域，具体为一种铁路货车钩提杆折断故障图像识别方法。

背景技术

钩提杆是将互相连挂的两辆车车钩进行解开操作的部件，货车在站场进行编组时，经常需要转动钩提杆以解编车辆，若钩提杆发生折断故障会影响列车的编组操作。在以往采用人工检测和传统图像处理方法两种检测方式。人工检测方式存在人为主观因素影响，以及人工会出现疲劳的现象均会造成故障的错检、漏检情况的发生。传统的图像处理检测方式针对部件本身泥渍、油渍影响，算法本身鲁棒性差，也会造成误检多、漏检现象。

发明内容

本发明的目的是：针对现有技术中传统的图像处理检测方式针对钩提杆部件本身泥渍、油渍影响，导致检测效率低的问题，提出一种铁路货车钩提杆折断故障图像识别方法。

本发明为了解决上述技术问题采取的技术方案是：

一种铁路货车钩提杆折断故障图像识别方法，包括以下步骤:

步骤一：获取钩提杆所在区域图像，作为样本数据集；

步骤二：对样本数据集进行数据扩增；

步骤三：对数据集中的图像进行标注；

步骤四：将原始图像和标注图像生成数据集，并训练模型；

步骤五：利用UNet网络模型对钩提杆区域进行预测，得到钩提杆的二值图像；

步骤六：判断钩提杆是否折断，若是则进行故障报警，若否则执行步骤五，

所述判断钩提杆是否折断的具体步骤为：首先将途径货车图像使用深度学习网络将图像进行归一化后，使用训练好的网络模型完成钩提杆图像预测，并使预测结果的灰度值在0～1之间，针对预测图像乘以255，采用图像处理算法来判断杆和座的相对位置关系或杆的长度变化，若杆和座的相对位置关系发生变化，则认定为折断，若杆和座的相对位置关系未发生变化，则认定为未折断，若杆的长度小于设定阈值，则认定为折断，若杆的长度不小于设定阈值，则认定为未折断，若存在折断情况则上传至报警平台。

进一步的，所述UNet网络模型的具体结构为：

第一步、编码：

利用编码器对图像进行特征提取，获取不同感受野下的特征图，并利用两个卷积模块连接一个池化层的结构进行四次下采样，输入原始图像大小为384*640*1，经过第一个下采样变为192*320*32，经过第二个下采样变为96*160*64，第三个下采样为48*80*128，第四个下采样变为24*40*256，接着连接两个卷积层变为32*16*256，后加上一个dropout层，特征提取完毕；

第二步、解码：

利用解码器进行四次上采样，每个上采样后与编码器对应层进行concatenate方式连接，每个上采样后接concatenate以及两个卷积层并与编码器结构相对应，经过一个上采样后特征图为48*80*128，经过两个上采样为96*160*64，经过三个上采样为192*320*32，经过四个上采样特征图为384*640*32。

进一步的，所述数据扩增包括图像平移、旋转和加噪声。

进一步的，所述标注采用labelme标注工具进行数据标注。

进一步的，所述步骤三进行标注后采用labelme转换工具得到模型训练所需mask图像，并设置灰度范围0～255之间。

进一步的，所述步骤四中，在每次图像进入模型训练时对图像进行归一化处理。

进一步的，所述归一化处理为将像素从0～255修改为0～1。

进一步的，所述归一化处理采用如下公式：

其中，max(x_mn)为图像灰度最大值，σ＝1e-10。

进一步的，所述UNet网络模型的损失函数为：

其中，y表示真实标记的分布，

则为预测分布。

本发明的有益效果是：

1、使用深度学习技术代替人工检测，提高故障检测的效率、准确率，同时可实现减员增效的目的。

2、深度学习自学习特征的特点可解决传统图像算法中特征手工提取、设计鲁棒算法困难、需要大量调试试验等缺点。

3、针对钩提杆图像受外界因素的影响代替以往使用固化均值和方差归一化数据，提高模型训练收敛的速度，以及模型的泛化能力。

附图说明

图1为本发明整体结构示意图。

图2为本发明网络结构图。

图3为钩提杆图像。

图4为钩提杆图像。

具体实施方式

具体实施方式一：参照图1至图4具体说明本实施方式，本实施方式所述的种铁路货车钩提杆折断故障图像识别方法，包括以下步骤:

步骤一：获取钩提杆所在区域图像，作为样本数据集；

步骤二：对样本数据集进行数据扩增；

步骤三：对数据集中的图像进行标注；

步骤四：将原始图像和标注图像生成数据集，并训练模型；

步骤五：利用UNet网络模型对钩提杆区域进行预测，得到钩提杆的二值图像；

步骤六：判断钩提杆是否折断，若是则进行故障报警，若否则执行步骤五。

1、收集钩提杆原始数据

通过高清线阵相机采集的灰度图像对所需原始数据集图像进行收集，收集的原则是尽量要保证数据的多样性，因为在图像采集时，可能会遇到天气的变化(如：下雨天气)，以及车自身存在油渍、泥渍、黑漆等。还有需要完成不同时间图像采集，因为采集图像是在露天的环境下进行，不同时间阳光的干扰程度是不同的。通过原始数据集的多样性可以增强模型的鲁棒性以及模型的泛化能力。同时为了能够满足模型能够适应在不同的站点上，因此也需要收集不同站点采集过来的图像。同时在网络训练过程中，神经网络都是需要大量的参数，许许多多的神经网路的参数都是数以百万计，而使得这些参数可以正确工作则需要大量的数据进行训练，而实际情况中数据并没有我们想象中的那么多，因此在前期数据准备阶段，仍需对数据样本进行数据增强工作包括图像平移、旋转、加噪声等，这样不仅增加训练的数据量，提高模型的泛化能力，而且通过增加噪声数据，还可以提升模型的鲁棒性。

2、数据集制作

在钩提杆原始数据集收集完成后，采用labelme标注工具进行数据标注，针对钩提杆的形态变化，以及杆的折断位置不固定，因此将钩提杆图像中的杆和座进行两类标注，标注完成后采用labelme转换工具得到后续模型训练所需mask图像，灰度范围0～255之间。

3、网络模型搭建、训练以及预测

在本发明中整体流程如图1所示，使用UNet网络模型进行训练以及预测，网络模型如图2所示。在每次图像进入模型训练时，需将图像进行归一化处理，图像归一化是不改变图像信息的，只是把像素从0～255变成0～1之间，此操作不仅可实现数据中心化，能够增加模型的泛化能力，同时能够加快训练网络的收敛性。

但是不同图像以及分割目标的灰度变化采用同一种归一化处理并不是总是合适的。如图2所示,在图3和图4可以看出，钩提杆图像受外界因素影响，明显有不同的灰度值，如果使用固定均值和方差标准化数据，则模型的低泛化能力将是不可避免的。因此本发明提出了针对采集的钩提杆图像一种归一化方式，对于图像大小为M×N且像素为x_ij(i∈(0,M),j∈(0,N))，采用公式1使像素值范围变为0～1之间：

其中max(x_mn)为图像灰度最大值，σ＝1e-10确保公式能够完成公式计算。

以减少训练和测试数据之间的域差异，使UNet模型训练加快收敛并且能够提高模型的泛化能力。

UNet网络模型如图2所示，模型最后采用交叉熵损失函数进行模型选择，通过5折交叉验证进行模型训练，求取Mask中ground truth和预测值的交叉熵均值，公式如下：

其中，y表示真实标记的分布，

则为预测分布。

采用adam优化进行反向传播，设定梯度衰减率，通过early stopping加快模型训练过程。

UNet网络模型的具体结构为：

第一步：编码编码器，即对图像进行特征提取，获取不同感受野下的特征图。采用两个卷积模块连接一个池化层的结构，减少特征图的维度加快计算速度。输入原始图像大小为384*640*1，经过第一个下采样变为192*320*32，经过第二个下采样变为96*160*64，第三个下采样为48*80*128，第四个下采样变为24*40*256，共采用四次下采样，下采样可以扩大感受野，减少网络参数以及不容易过拟合。接着连接两个卷积层变为32*16*256，后加上一个dropout层，防止过拟合，特征提取完毕。

第二步：解码

与编码器四个下采样相对应，解码器采用四个上采样，每个上采样后与编码器对应层实现concatenate连接方式，特征图维度不变，计算量要小很多，所以速度增加。每个上采样后接concatenate以及两个卷积层，与编码器结构相对应。经过一个上采样，后特征图为48*80*128，经过两个上采样为96*160*64，经过三个上采样为192*320*32，经过四个上采样特征图为384*640*32。

4、钩提杆折断故障判断

将真实过车图像使用深度学习网络将图像使用上述公式进行归一化后，使用训练好的模型完成钩提杆图像预测，预测结果灰度值在0～1之间，为了方便处理针对预测图像乘以255，这样对钩提杆图像中杆和座存在2个灰度值区域。分别采用图像处理算法来判断杆和座位置关系以及杆的长度变化，若存在折断情况则上传至报警平台。

需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。

Claims (9)

1.一种铁路货车钩提杆折断故障图像识别方法，其特征在于包括以下步骤：

步骤一：获取钩提杆所在区域图像，作为样本数据集；

步骤二：对样本数据集进行数据扩增；

步骤三：对数据集中的图像进行标注；

步骤四：将原始图像和标注图像生成数据集，并训练模型；

步骤五：利用UNet网络模型对钩提杆区域进行预测，得到钩提杆的二值图像；

步骤六：判断钩提杆是否折断，若是则进行故障报警，若否则执行步骤五，

所述判断钩提杆是否折断的具体步骤为：首先将途径货车图像使用深度学习网络将图像进行归一化后，使用训练好的网络模型完成钩提杆图像预测，并使预测结果的灰度值在0～1之间，针对预测图像乘以255，采用图像处理算法来判断杆和座的相对位置关系或杆的长度变化，若杆和座的相对位置关系发生变化，则认定为折断，若杆和座的相对位置关系未发生变化，则认定为未折断，若杆的长度小于设定阈值，则认定为折断，若杆的长度不小于设定阈值，则认定为未折断，若存在折断情况则上传至报警平台。

2.根据权利要求1所述的一种铁路货车钩提杆折断故障图像识别方法，其特征在于所述UNet网络模型的具体结构为：

第一步、编码：

利用编码器对图像进行特征提取，获取不同感受野下的特征图，并利用两个卷积模块连接一个池化层的结构进行四次下采样，输入原始图像大小为384*640*1，经过第一个下采样变为192*320*32，经过第二个下采样变为96*160*64，第三个下采样为48*80*128，第四个下采样变为24*40*256，接着连接两个卷积层变为32*16*256，后加上一个dropout层，特征提取完毕；

第二步、解码：

利用解码器进行四次上采样，每个上采样后与编码器对应层进行concatenate方式连接，每个上采样后接concatenate以及两个卷积层并与编码器结构相对应，经过一个上采样后特征图为48*80*128，经过两个上采样为96*160*64，经过三个上采样为192*320*32，经过四个上采样特征图为384*640*32。

3.根据权利要求1所述的一种铁路货车钩提杆折断故障图像识别方法，其特征在于所述数据扩增包括图像平移、旋转和加噪声。

4.根据权利要求1所述的一种铁路货车钩提杆折断故障图像识别方法，其特征在于所述标注采用labelme标注工具进行数据标注。

5.根据权利要求1所述的一种铁路货车钩提杆折断故障图像识别方法，其特征在于所述步骤三进行标注后采用labelme转换工具得到模型训练所需mask图像，并设置灰度范围0～255之间。

6.根据权利要求1所述的一种铁路货车钩提杆折断故障图像识别方法，其特征在于所述步骤四中，在每次图像进入模型训练时对图像进行归一化处理。

7.根据权利要求6所述的一种铁路货车钩提杆折断故障图像识别方法，其特征在于所述归一化处理为将像素从0～255修改为0～1。

8.根据权利要求6或7所述的一种铁路货车钩提杆折断故障图像识别方法，其特征在于所述归一化处理采用如下公式：

其中，max(x_mn)为图像灰度最大值，σ＝1e-10。

9.根据权利要求1所述的一种铁路货车钩提杆折断故障图像识别方法，其特征在于所述UNet网络模型的损失函数为：

其中，y表示真实标记的分布，

则为预测分布。

Images