CN111079746A - 铁路货车轴箱弹簧故障图像识别方法 - Google Patents

Abstract

一种铁路货车轴箱弹簧故障图像识别方法，属于铁路货车安全运行技术领域。本发明针对现有铁路货车轴箱弹簧采用人工识别图像的方式进行故障检测，可靠性差及效率低的问题。包括：获得轴箱弹簧样本图像；将每个轴箱弹簧样本图像进行图像分割标记，区分为弹簧区、弹簧上邻近部件区、弹簧下邻近部件区；将轴箱弹簧样本图像与分割标记均输入到Resnet50网络中进行处理，获得分割结果；计算获得最优的权重系数，并在Mask R‑CNN网络中更新；获得待识别轴箱弹簧图像；将待识别轴箱弹簧图像输入至训练好的Mask R‑CNN网络中，预测后并计算获得轴箱弹簧间隙，当所述轴箱弹簧间隙小于预设正常间隙时，进行故障报警。本发明用于轴箱弹簧故障识别。

Description

铁路货车轴箱弹簧故障图像识别方法

技术领域

本发明涉及铁路货车轴箱弹簧故障图像识别方法，属于铁路货车安全运行技术领域。

背景技术

铁路货车的轴箱弹簧发生窜出或折断故障时，会造成车体倾斜，是一种危及行车安全的故障。目前，对于轴箱弹簧，采用人工的方式基于图像进行故障检测。人工检测的方式在图像的故障筛选过程中，极易出现身体疲劳，注意力不集中等状况，因此造成检查结果不可靠。另外，还可能由于个人主观因素，造成故障区域的漏检及错检。因此，这种人工检错的方式无法确保铁路货车的行车安全。

随着深度学习与人工智能的不断发展，及在技术上的不断成熟，针对现有人工故障的检测方式，需要提供一种采用图像自动识别轴箱弹簧故障的方法，来提高故障检测的效率和稳定性。

发明内容

针对现有铁路货车轴箱弹簧采用人工识别图像的方式进行故障检测，可靠性差及效率低的问题，本发明提供一种铁路货车轴箱弹簧故障图像识别方法。

本发明的一种铁路货车轴箱弹簧故障图像识别方法，包括以下步骤：

步骤一：采集不同时间、地点、自然及人为条件下的轴箱弹簧灰度图像，并对轴箱弹簧灰度图像中的弹簧区域进行粗定位，再统一为预设像素尺寸，获得轴箱弹簧样本图像；所有轴箱弹簧样本图像形成弹簧样本数据集；将每个轴箱弹簧样本图像进行图像分割标记，区分为弹簧区、弹簧上邻近部件区、弹簧下邻近部件区；

步骤二：将轴箱弹簧样本图像与分割标记均输入到Resnet50网络中，获得特征图，再由特征图获得多个相关的初始候选框；将初始候选框送入RPN网进行过滤，获得有效候选框；对所述有效候选框进行ROIAlign操作，获得固定大小的目标候选框；再对目标候选框进行分类、回归与FCN操作，获得分割结果；在逐次输入轴箱弹簧样本图像的迭代过程中，计算获得最优的权重系数，并在Mask R-CNN网络中更新；所述Mask R-CNN网络的特征提取采用Resnet50；

步骤三：采集运行中货车轴箱弹簧图像，并进行处理，获得待识别轴箱弹簧图像；将待识别轴箱弹簧图像输入至训练好的Mask R-CNN网络中，预测后并计算获得轴箱弹簧间隙，当所述轴箱弹簧间隙小于预设正常间隙时，进行故障报警。

根据本发明的铁路货车轴箱弹簧故障图像识别方法，所述图像识别方法还包括步骤四：

对于步骤三中得出的轴箱弹簧间隙，若轴箱弹簧间隙大于或者等于预设正常间隙，则基于所述轴箱弹簧分割结果定位每层弹簧子图像，对每层弹簧子图像采用图像处理与模式识别方式判断每层弹簧是否有折断，并对有折断的当前层弹簧进行故障报警。

根据本发明的铁路货车轴箱弹簧故障图像识别方法，步骤一中所述对轴箱弹簧灰度图像中的弹簧区域进行粗定位，再统一为预设像素尺寸后，还进行图像的数据扩增，获得轴箱弹簧样本图像。

根据本发明的铁路货车轴箱弹簧故障图像识别方法，所述数据扩增包括：对图像的亮度增强、裁剪、饱和度调整、旋转、平移、缩放及镜像。

根据本发明的铁路货车轴箱弹簧故障图像识别方法，所述步骤二中，计算获得最优的权重系数的过程包括：

选定每个感兴趣区域的损失函数L为：

L＝Lcls+Lboc+Lmask，

其中Lcls为分类损失函数，Lboc为回归损失函数，Lmask为分割损失函数；

经过损失函数L和优化器后，可获得新的权重系数。

根据本发明的铁路货车轴箱弹簧故障图像识别方法，对于每次迭代获得的当前权重系数，与已有权重系数进行比较，若当前权重系数对应的损失函数小于已有权重系数对应的损失函数，则进行权重系数的更新，直到获得最优的权重系数。

本发明的有益效果：本发明方法利用图像自动识别的方式代替人工检测，能够自动识别车辆的轴箱弹簧故障并报警，由于采用深度学习算法，作业标准统一，不再受检车员经验、理解及认知程度不同的影响，可提高检测效率与准确率。

本发明方法将深度学习算法应用到轴箱弹簧故障自动识别中，可提高整体算法的稳定性及精度。将轴箱弹簧窜出与折断故障同时识别，可使整个方法减少读图等步骤，提高运行效率。由于轴箱弹簧中有很多弹簧实体，本发明方法能够有效避免语义分割造成的弹簧间隙不同实体的混淆分割对最终结果的影响。

本发明方法根据轴箱弹簧的窜出与折断故障形态多数会造成弹簧间隙变小，弹簧被挤压的原理，通过先依据分割得出的弹簧间隙判断是否有故障，再细分每层弹簧，判断每层弹簧是否有折断故障的方式实现故障识别，可在提高故障识别效率的同时，避免漏检漏报。

附图说明

图1是本发明所述铁路货车轴箱弹簧故障图像识别方法的流程图；

图2是所述权重系数的计算过程流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

具体实施方式一、结合图1及图2所示，本发明提供了一种铁路货车轴箱弹簧故障图像识别方法，包括以下步骤：

步骤一：采集不同时间、地点、自然及人为条件下的轴箱弹簧灰度图像，并对轴箱弹簧灰度图像中的弹簧区域进行粗定位，再统一为预设像素尺寸，获得轴箱弹簧样本图像；所有轴箱弹簧样本图像形成弹簧样本数据集；将每个轴箱弹簧样本图像进行图像分割标记，区分为弹簧区、弹簧上邻近部件区、弹簧下邻近部件区；

步骤二：将轴箱弹簧样本图像与分割标记均输入到Resnet50网络中，获得特征图，再由特征图获得多个相关的初始候选框；将初始候选框送入RPN网进行过滤，获得有效候选框；对所述有效候选框进行ROIAlign操作，获得固定大小的目标候选框；再对目标候选框进行分类、回归与FCN操作，获得分割结果；在逐次输入轴箱弹簧样本图像的迭代过程中，计算获得最优的权重系数，并在Mask R-CNN网络中更新；所述Mask R-CNN网络的特征提取采用Resnet50；

步骤三：采集运行中货车轴箱弹簧图像，并进行处理，获得待识别轴箱弹簧图像；将待识别轴箱弹簧图像输入至训练好的Mask R-CNN网络中，预测后并计算获得轴箱弹簧间隙，当所述轴箱弹簧间隙小于预设正常间隙时，进行故障报警。

本实施方式中，轴箱弹簧灰度图像的获取方法为：在铁路货车轨道周围搭建高清成像设备，货车通过设备后，获取高清图像。所述高清图像即为灰度图像。高清成像设备的搭建位置需可获取货车两侧、底部、上部全方位的高清图像。

由于铁路货车部件可能受到货物轻重、雨水、泥渍、油渍、白漆、黑漆、异物、冰雪、粉笔字等自然条件或者人为条件的影响。并且，不同站点拍摄的图像可能存在差异。因此，轴箱弹簧图像之间千差万别。所以，在收集原始轴箱弹簧灰度图像的过程中，要保证多样性，尽量将各种条件下的轴箱弹簧图像全部收集。

所述弹簧样本数据集包括：粗定位灰度图像集与标记图像集。粗定位灰度图像集取自设备拍摄的高清灰度图像。将每个轴箱弹簧样本图像进行图像分割标记，所述的分割为轴箱弹簧与邻近部件的分割，因此标记图像集中为轴箱弹簧与邻近部件的分割图像，所述分割图像为多值图像，通过人工标记的方式区分为弹簧区、弹簧上邻近部件区、弹簧下邻近部件区。粗定位灰度图像数据集与标记图像数据集之间是一一对应的，即每个灰度图像对应一个标记图像。

为避免车速、相机角度偏差、货物轻重等的影响，轴箱弹簧样本图像被统一缩放至大小为N*N像素的尺寸，并进行数据扩增处理，可提高系统的鲁棒性。

Mask R-CNN的特征提取网络采用Resnet50，Resnet50网络为预先训练好的网络。

进一步，结合图1所示，所述图像识别方法还包括步骤四：

对于步骤三中预测后并计算出的轴箱弹簧间隙，若轴箱弹簧间隙大于或者等于预设正常间隙，则基于所述轴箱弹簧分割结果定位每层弹簧子图像，对每层弹簧子图像采用图像处理与模式识别方式判断每层弹簧是否有折断，并对有折断的当前层弹簧进行故障报警。

本实施方式中，对于轴箱弹簧灰度图像中的弹簧区域依据先验知识进行粗定位后，采用深度学习网络，对图像中的轴箱弹簧和邻近部件进行精准分割。使用高级图像处理算法和模式识别方法对间隙区域进行对比分析，判断其是否发生窜出或折断。对发生故障(窜出或折断)的轴箱弹簧部件进行上传报警，对未发生故障的轴箱弹簧依据分割结果定位出每层弹簧，对每层弹簧再次通过图像处理与模式识别判断是否有折断故障，若有折断则上传报警。工作人员根据识别结果进行相应的处理，保证列车安全运行。

再进一步，步骤一中所述对轴箱弹簧灰度图像中的弹簧区域进行粗定位，再统一为预设像素尺寸后，还进行图像的数据扩增，获得轴箱弹簧样本图像。

作为示例，所述数据扩增包括：对图像的亮度增强、裁剪、饱和度调整、旋转、平移、缩放及镜像。

弹簧样本数据集的建立虽然包括各种条件下的图像，但为提高算法的稳定性，仍需要对样本数据集进行数据扩增。所述数据扩增都是在随机条件下进行的，这样可以最大程度的保证样本的多样性和适用性。

进一步，所述步骤二中，计算获得最优的权重系数的过程包括：

选定每个感兴趣区域的损失函数L为：

L＝Lcls+Lboc+Lmask，

其中Lcls为分类损失函数，Lboc为回归损失函数，Lmask为分割损失函数；

经过损失函数L和优化器后，可获得新的权重系数。由此完成一次训练迭代。

再进一步，结合图2所示，对于每次迭代获得的当前权重系数，与已有权重系数进行比较，若当前权重系数对应的损失函数小于已有权重系数对应的损失函数，则进行权重系数的更新，直到获得最优的权重系数。

Mask R-CNN架构将重复迭代的过程，将全部图像完成固定次数的迭代，但并不是每次迭代都要更新权重，只有损失函数更低的权重才会被更新，直到找到最优的权重系数。

步骤三中故障判别的具体方法为：采集的运行中货车轴箱弹簧图像使用深度学习网络进行数据变换后，使用训练好的最优权重系数，预测出轴箱弹簧间隙区域。

正常情况下，同一转向架的各列弹簧间隙类似。若有某一列弹簧发生故障导致弹簧窜出或折断，通常故障列弹簧的各层会被挤压，因此若识别出弹簧间隙比正常的间隙，即预设正常间隙变小，即可认为相应弹簧发生故障，则对此部分轴箱弹簧坐标转换后进行故障报警。若通过弹簧间隙未识别出故障，则通过分割的弹簧间隙定位到每层弹簧子图像。采用图像处理与模式识别的方式，进一步判断每层弹簧是否有折断，若检测出折断，则进行坐标转换后报警。若轴箱弹簧依然正常，则可认为当前无故障，处理下一张轴箱弹簧图像的处理。

本发明采用深度学习的算法进行轴箱弹簧故障识别，可以有效提高检测准确率。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (6)

1.一种铁路货车轴箱弹簧故障图像识别方法，其特征在于，包括以下步骤：

步骤一：采集不同时间、地点、自然及人为条件下的轴箱弹簧灰度图像，并对轴箱弹簧灰度图像中的弹簧区域进行粗定位，再统一为预设像素尺寸，获得轴箱弹簧样本图像；所有轴箱弹簧样本图像形成弹簧样本数据集；将每个轴箱弹簧样本图像进行图像分割标记，区分为弹簧区、弹簧上邻近部件区、弹簧下邻近部件区；

步骤二：将轴箱弹簧样本图像与分割标记均输入到Resnet50网络中，获得特征图，再由特征图获得多个相关的初始候选框；将初始候选框送入RPN网进行过滤，获得有效候选框；对所述有效候选框进行ROIAlign操作，获得固定大小的目标候选框；再对目标候选框进行分类、回归与FCN操作，获得分割结果；在逐次输入轴箱弹簧样本图像的迭代过程中，计算获得最优的权重系数，并在Mask R-CNN网络中更新；所述Mask R-CNN网络的特征提取采用Resnet50；

步骤三：采集运行中货车轴箱弹簧图像，并进行处理，获得待识别轴箱弹簧图像；将待识别轴箱弹簧图像输入至训练好的Mask R-CNN网络中，预测后并计算获得轴箱弹簧间隙，当所述轴箱弹簧间隙小于预设正常间隙时，进行故障报警。

2.根据权利要求1所述的铁路货车轴箱弹簧故障图像识别方法，其特征在于，所述图像识别方法还包括步骤四：

对于步骤三中得出的轴箱弹簧间隙，若轴箱弹簧间隙大于或者等于预设正常间隙，则基于所述轴箱弹簧分割结果定位每层弹簧子图像，对每层弹簧子图像采用图像处理与模式识别方式判断每层弹簧是否有折断，并对有折断的当前层弹簧进行故障报警。

3.根据权利要求1或2所述的铁路货车轴箱弹簧故障图像识别方法，其特征在于，

步骤一中所述对轴箱弹簧灰度图像中的弹簧区域进行粗定位，再统一为预设像素尺寸后，还进行图像的数据扩增，获得轴箱弹簧样本图像。

4.根据权利要求3所述的铁路货车轴箱弹簧故障图像识别方法，其特征在于，

所述数据扩增包括：对图像的亮度增强、裁剪、饱和度调整、旋转、平移、缩放及镜像。

5.根据权利要求4所述的铁路货车轴箱弹簧故障图像识别方法，其特征在于，

所述步骤二中，计算获得最优的权重系数的过程包括：

选定每个感兴趣区域的损失函数L为：

L＝Lcls+Lboc+Lmask，

其中Lcls为分类损失函数，Lboc为回归损失函数，Lmask为分割损失函数；

经过损失函数L和优化器后，可获得新的权重系数。

6.根据权利要求5所述的铁路货车轴箱弹簧故障图像识别方法，其特征在于，

对于每次迭代获得的当前权重系数，与已有权重系数进行比较，若当前权重系数对应的损失函数小于已有权重系数对应的损失函数，则进行权重系数的更新，直到获得最优的权重系数。

Images