CN111091544A - 铁路货车转向架侧面一体架构断裂故障检测方法 - Google Patents

Abstract

一种铁路货车转向架侧面一体架构断裂故障检测方法，属于铁路货车设备安全技术领域。本发明针对现有对一体架构图像的故障检测以人工的方式进行，准确率及效率低下的问题。包括：将样本图像的检测类别区分为断裂、水流、粉笔和阴影；针对每个样本图像配置标记信息；再基于样本数据集对初始化后的所述深度残差网络及Faster rcnn网络进行训练，获得图像处理的权重系数；获取待故障识别图像；输入深度残差网络及Faster rcnn网络，基于所述权重系数将每张待故障识别图像中的目标侯选框识别为断裂、水流、粉笔和阴影；对识别出包括有断裂类别的待故障识别图像进行处理，对确定的断裂故障进行报警。本发明用于转向架侧面一体架构断裂检测。

Description

铁路货车转向架侧面一体架构断裂故障检测方法

技术领域

本发明涉及铁路货车转向架侧面一体架构断裂故障检测方法，属于铁路货车设备安全技术领域。

背景技术

铁路货车的设备安全是行车安全的保障。货车转向架侧面的结构中，一体架构的设置是为了更好的保证转向架工作的稳定性。但随着车辆的长期运营使用，一体架构存在局部断裂的隐患。为了保证铁路货车的安全使用，需要关注所述一体架构的当前状态，以便在发生断裂时，能够及时报警，以避免影响行车安全。

目前对一体架构的故障检测，通常是先采集图像，然后以人工的方式对图像进行检测，判断是否有断裂发生。由于人工长时间的重复一种劳动极易产生疲劳，因此极易造成主观因素的错误检测结果，例如漏检及错检。

为了提高图像检测的准确率及稳定性，近年来，深度学习与人工智能不断发展，在技术上不断成熟。因而，需要提供一种基于深度学习的一体架构断裂故障检测方法，以有效提高故障检测的准确率。

发明内容

针对现有对一体架构图像的故障检测以人工的方式进行，准确率及效率低下的问题，本发明提供一种铁路货车转向架侧面一体架构断裂故障检测方法。

本发明的一种铁路货车转向架侧面一体架构断裂故障检测方法，它包括以下步骤：

步骤一：获取样本图像，并将样本图像的检测类别区分为断裂、水流、粉笔和阴影；针对每个样本图像配置标记信息，所有样本图像与标记信息构成样本数据集；

步骤二：采用ImageNet模型参数对深度残差网络及Faster rcnn网络进行参数初始化，再基于样本数据集对初始化后的所述深度残差网络及Faster rcnn网络进行训练，获得图像处理的权重系数；

步骤三：在铁路轨道两侧搭载成像设备，获取货车运行过程中转向架侧面一体架构的原始图像，对所述原始图像进行预处理，获得待故障识别图像；

步骤四：将待故障识别图像输入深度残差网络及Faster rcnn网络，基于所述权重系数将每张待故障识别图像中的目标侯选框识别为断裂、水流、粉笔和阴影；

步骤五：对识别出包括有断裂类别的待故障识别图像进行二值化，使断裂部分的像素值为1，非断裂部分的像素值为0；将像素值为1的部分对照所述待故障识别图像进行掩膜，获取掩膜区域的平均像素，当所述平均像素低于设定阈值时，确定为断裂故障，进行断裂故障报警。

根据本发明的铁路货车转向架侧面一体架构断裂故障检测方法，所述样本图像通过对采集的一体架构侧面图像进行预处理获得；

所述预处理包括：对一体架构侧面图像进行目标初定位，再进行数据扩增，最后提高图像对比度。

根据本发明的铁路货车转向架侧面一体架构断裂故障检测方法，所述目标初定位的位置依据转向架轴距信息及位置信息确定。

根据本发明的铁路货车转向架侧面一体架构断裂故障检测方法，所述数据扩增包括图像的旋转、平移、缩放、镜像操作。

根据本发明的铁路货车转向架侧面一体架构断裂故障检测方法，所述标记信息包括：

图像名称、检测类别及一体架构样本图像中目标初定位所圈定的目标区域左上角及右下角坐标。

根据本发明的铁路货车转向架侧面一体架构断裂故障检测方法，所述样本图像输入到深度残差网络后，经特征提取获得低维特征图。

根据本发明的铁路货车转向架侧面一体架构断裂故障检测方法，所述低维特征图输入到Faster rcnn网络的RPN层，在所述目标区域内生成多个侯选框，将每个侯选框的图像类别区分为前景和后景，并对侯选框的位置进行回归调节。

根据本发明的铁路货车转向架侧面一体架构断裂故障检测方法，将得到的每个前景侯选框再使用ROI Pooling层均匀分成9*9块，对每块进行max pooling处理；获得所有前景侯选框转换后的大小相同的分块数据后，将所述分块数据送入全连接层，获得对待故障识别图像的最终检测类别及侯选框位置回归。

根据本发明的铁路货车转向架侧面一体架构断裂故障检测方法，对深度残差网络及Faster rcnn网络进行训练的过程中，样本图像的损失函数L({p_i},{t_i})定义如下：

式中，p_i是不同检测类别的分类概率，t_i＝{t_x,t_y,t_w,t_h}是一个向量，表示候选框的偏移量，t_x为x轴坐标偏移量，t_y为y轴坐标偏移量，t_w为候选框宽度偏移量，t_h为候选框高度偏移量，N_cls为样本数据总数，i为检测类别，λ为分类损失与回归损失的比例权衡参数，

是与t_i维度相同的向量，表示候选框对目标区域标记框的偏移量；N_reg为回归侯选框个数；

其中目标预测的分类损失函数L_cls(p_i)定义如下：

L_cls(p_i)＝-log(p_i ^*p_i+(1-p_i ^*)(1-p_i))，

回归预测的位置损失函数

为：

设定

则：

本发明的有益效果：本发明方法采用深度残差网络及Faster rcnn网络对一体架构的待故障识别图像进行自动识别，取代传统方式中的人工检测，能极大的提高故障检测的效率及准确率。

本发明方法引入深度残差网络，将多尺度信息融合在一起，增加了网络对尺度的适应性，更有利于提取一体架构中不同尺度的裂纹的特征，提高检测的准确率。

附图说明

图1是本发明所述铁路货车转向架侧面一体架构断裂故障检测方法的流程图；

图2是权重系数的计算流程图；

图3是对每张待故障识别图像进行检测与分类的流程图；

图4是深度残差网络中深度残差模块的数据处理流程图；

图5是深度残差网络的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

具体实施方式一、结合图1所示，本发明提供了一种铁路货车转向架侧面一体架构断裂故障检测方法，它包括以下步骤：

步骤一：获取样本图像，并将样本图像的检测类别区分为断裂、水流、粉笔和阴影；针对每个样本图像配置标记信息，所有样本图像与标记信息构成样本数据集；

步骤二：采用ImageNet模型参数对深度残差网络及Faster rcnn网络进行参数初始化，再基于样本数据集对初始化后的所述深度残差网络及Faster rcnn网络进行训练，获得图像处理的权重系数；用权重系数更新Faster rcnn网络，获得训练后的Faster rcnn网络；

步骤三：在铁路轨道两侧搭载成像设备，获取货车运行过程中转向架侧面一体架构的原始图像，对所述原始图像进行预处理，获得待故障识别图像；

步骤四：将待故障识别图像输入深度残差网络及Faster rcnn网络，基于所述权重系数将每张待故障识别图像中的目标侯选框识别为断裂、水流、粉笔和阴影；

步骤五：对识别出包括有断裂类别的待故障识别图像进行二值化，使断裂部分的像素值为1，非断裂部分的像素值为0；将像素值为1的部分对照所述待故障识别图像进行掩膜，获取掩膜区域的平均像素，当所述平均像素低于设定阈值时，确定为断裂故障，进行断裂故障报警。

本实施方式中，搭载的成像设备在铁路货车通过时，可以拍摄获得一体架构的线阵图像。再基于深度学习检测网络，对获取图像中一体架构部件的断裂处进行检测。初步检测后，可根据先验知识使用高级图像处理算法和模式识别方法对检测区域进行故障分析，判断其是否发生断裂。对一体架构图像上发生断裂的区域进行上传报警，工作人员依据报警位置进行相应的处理，保证列车安全运行。

所述权重系数的具体计算过程如图2所示，

进一步，所述样本图像通过对采集的一体架构侧面图像进行预处理获得；

所述预处理包括：对一体架构侧面图像进行目标初定位，再进行数据扩增，最后提高图像对比度。

所述成像设备采集的一体架构侧面图像为高清图像，此高清图像为清晰的灰度图像。

由于货车一体架构部件可能受到雨水、泥渍、油渍、黑漆等自然条件或者人为条件的影响；并且不同地点拍摄的图像可能存在差异，因此获取的一体架构部件图像之间千差万别。所以，在收集一体架构图像数据的过程中，要保证多样性，尽量将各种条件下的一体架构图像全部收集。

在不同类型的转向架中，一体架构部件的形态会不同。但由于不同类型间出现的频率差别较大，某些较不常见转向架类型的一体架构部件收集较为困难。因此，将全部类型的一体架构部件统称为一类，全部按照一类来建立样本数据集。

所述标记信息可以xml文件形式保存。

由于各个拍摄点的成像设备角度距离有所不同，采集到的图像的亮暗程度不同，一些图像太暗导致不能清晰的观测到一体架构的断裂区域，因此进入深度学习网络前，需对图像进行局部自适应的提高对比度。

再进一步，所述目标初定位的位置依据转向架轴距信息及位置信息确定。

目标初定位可结合相应的硬件设备、轴距信息及相关位置等先验知识实现，进行目标初定位是为了从成像设备采集的一体架构侧面图像中初步截取出一体架构部件所在的区域。

再进一步，所述数据扩增包括图像的旋转、平移、缩放、镜像操作。

样本数据集的建立虽然包括各种条件下的图像，但为提高算法的稳定性，仍需要对样本数据集进行数据扩增。对图像的扩增操作在随机条件下进行，这样可以最大程度的保证样本的多样性和适用性。

再进一步，所述标记信息包括：

图像名称、检测类别及一体架构样本图像中目标初定位所圈定的目标区域左上角及右下角坐标。

所述图像名称包括对每张样本图像的识别信息，例如可以是序列号，也可以是字母标识。由于一体架构上通常会有大量水流痕迹及粉笔痕迹，而一体架构本身的阴影处与断裂处图像特征相似，因此将检测类别标记为断裂、水流、粉笔和阴影四类。检测类别可以人工标记的方式获取。样本图像与标记信息之间是一一对应的，即每个样本图像对应一个标记信息。

再进一步，结合图4和图5所示，所述样本图像输入到深度残差网络后，经特征提取获得低维特征图。

所述深度残差网络由多个图4所述的深度残差模块连接而成，构成图5所示的深度残差网络。

再进一步，所述低维特征图输入到Faster rcnn网络的RPN层，在所述目标区域内生成多个侯选框，将每个侯选框的图像类别区分为前景和后景，并对侯选框的位置进行回归调节。具体步骤为：

使用滑动窗口在低维特征图上滑动，将滑动窗口的中心映射到原始样本图像上，当原始样本图像上映射到的区域与标记文件中对应的目标区域的重叠度(Intersectionover Union，IOU)大于0.7时，则该候选框区域为正样本，当原始样本图像上映射到的区域与标记文件中对应的目标区域的重叠度小于0.3时，该候选框区域为负样本，然后以正负样本1：1训练RPN层，训练最后输出的分类回归任务是，随机抽取64个前景及背景候选框，其中与真实目标标记的目标区域位置的IOU大于0.5的为前景，IOU大于0.1且小于0.5的区域为背景。

再进一步，将得到的每个前景侯选框再使用ROI Pooling层均匀分成9*9块，对每块进行max pooling处理；获得所有前景侯选框转换后的大小相同的分块数据后，将所述分块数据送入全连接层，获得对待故障识别图像的最终检测类别及侯选框位置回归。

所述ROI Pooling层是一种固定输出大小的max pooling。

再进一步，对深度残差网络及Faster rcnn网络进行训练的过程中，样本图像的损失函数L({p_i},{t_i})定义如下：

式中，p_i是不同检测类别的分类概率，

取0或1，取0时为负样本，取1时为正样本；t_i＝{t_x,t_y,t_w,t_h}是一个向量，表示候选框的偏移量，t_x为x轴坐标偏移量，t_y为y轴坐标偏移量，t_w为候选框宽度偏移量，t_h为候选框高度偏移量，N_cls为样本数据总数，i为检测类别，λ为分类损失与回归损失的比例权衡参数，

是与t_i维度相同的向量，表示候选框对目标区域标记框的偏移量；N_reg为回归侯选框个数；

其中目标预测的分类损失函数L_cls(p_i)定义如下：

L_cls(p_i)＝-log(p_i ^*p_i+(1-p_i ^*)(1-p_i))，

回归预测的位置损失函数

为：

设定

则：

对于确定了权重系数的经过训练的深度残差网络及Faster rcnn网络，针对实时采集的原始图像，经处理获得待故障识别图像后，采用图3所示的流程完成图像检测与分类。

对一体架构断裂故障的判断：

将真实过车图像使用深度残差网络及Faster rcnn网络等深度学习网络进行数据变换后，使用训练好的权重系数，预测出一体架构断裂、水流、粉笔和阴影四类位置，取出类别为断裂的区域，将图像进行二值化。由于正常一体架构的像素高于断裂处一体架构的像素，因此设定像素阈值，若掩膜部分像素值低于设定阈值，则对此部分一体架构进行故障报警。若未大于阈值，则处理下一张一体架构图像。

综上所述，本发明方法将深度学习算法应用到一体架构断裂故障自动识别中，提高了整体算法的鲁棒性及精度。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (9)

1.一种铁路货车转向架侧面一体架构断裂故障检测方法，其特征在于，它包括以下步骤：

步骤一：获取样本图像，并将样本图像的检测类别区分为断裂、水流、粉笔和阴影；针对每个样本图像配置标记信息，所有样本图像与标记信息构成样本数据集；

步骤二：采用ImageNet模型参数对深度残差网络及Faster rcnn网络进行参数初始化，再基于样本数据集对初始化后的所述深度残差网络及Faster rcnn网络进行训练，获得图像处理的权重系数；

步骤三：在铁路轨道两侧搭载成像设备，获取货车运行过程中转向架侧面一体架构的原始图像，对所述原始图像进行预处理，获得待故障识别图像；

步骤四：将待故障识别图像输入深度残差网络及Faster rcnn网络，基于所述权重系数将每张待故障识别图像中的目标侯选框识别为断裂、水流、粉笔和阴影；

步骤五：对识别出包括有断裂类别的待故障识别图像进行二值化，使断裂部分的像素值为1，非断裂部分的像素值为0；将像素值为1的部分对照所述待故障识别图像进行掩膜，获取掩膜区域的平均像素，当所述平均像素低于设定阈值时，确定为断裂故障，进行断裂故障报警。

2.根据权利要求1所述的铁路货车转向架侧面一体架构断裂故障检测方法，其特征在于，所述样本图像通过对采集的一体架构侧面图像进行预处理获得；

所述预处理包括：对一体架构侧面图像进行目标初定位，再进行数据扩增，最后提高图像对比度。

3.根据权利要求2所述的铁路货车转向架侧面一体架构断裂故障检测方法，其特征在于，

所述目标初定位的位置依据转向架轴距信息及位置信息确定。

4.根据权利要求3所述的铁路货车转向架侧面一体架构断裂故障检测方法，其特征在于，所述数据扩增包括图像的旋转、平移、缩放、镜像操作。

5.根据权利要求4所述的铁路货车转向架侧面一体架构断裂故障检测方法，其特征在于，所述标记信息包括：

图像名称、检测类别及一体架构样本图像中目标初定位所圈定的目标区域左上角及右下角坐标。

6.根据权利要求5所述的铁路货车转向架侧面一体架构断裂故障检测方法，其特征在于，

所述样本图像输入到深度残差网络后，经特征提取获得低维特征图。

7.根据权利要求6所述的铁路货车转向架侧面一体架构断裂故障检测方法，其特征在于，所述低维特征图输入到Faster rcnn网络的RPN层，在所述目标区域内生成多个侯选框，将每个侯选框的图像类别区分为前景和后景，并对侯选框的位置进行回归调节。

8.根据权利要求7所述的铁路货车转向架侧面一体架构断裂故障检测方法，其特征在于，将得到的每个前景侯选框再使用ROI Pooling层均匀分成9*9块，对每块进行maxpooling处理；获得所有前景侯选框转换后的大小相同的分块数据后，将所述分块数据送入全连接层，获得对待故障识别图像的最终检测类别及侯选框位置回归。

9.根据权利要求8所述的铁路货车转向架侧面一体架构断裂故障检测方法，其特征在于，对深度残差网络及Faster rcnn网络进行训练的过程中，样本图像的损失函数L({p_i},{t_i})定义如下：

式中，p_i是不同检测类别的分类概率，t_i＝{t_x,t_y,t_w,t_h}是一个向量，表示候选框的偏移量，t_x为x轴坐标偏移量，t_y为y轴坐标偏移量，t_w为候选框宽度偏移量，t_h为候选框高度偏移量，N_cls为样本数据总数，i为检测类别，λ为分类损失与回归损失的比例权衡参数，

是与t_i维度相同的向量，表示候选框对目标区域标记框的偏移量；N_reg为回归侯选框个数；

其中目标预测的分类损失函数L_cls(p_i)定义如下：

L_cls(p_i)＝-log(p_i ^*p_i+(1-p_i ^*)(1-p_i))，

回归预测的位置损失函数

为：

设定

则

Images