CN112232215B - 一种铁路货车钩尾销托梁脱落故障检测方法 - Google Patents

Abstract

一种铁路货车钩尾销托梁脱落故障检测方法，它属于铁路货车钩尾销托梁脱落故障检测技术领域。本发明解决了人工故障检测方法所存在的故障检测的准确率以及效率低的问题。本发明利用图像自动检测的方法代替传统的人工检测方法，可以大幅度提高故障检测的效率。通过对原始LBP特征提取方法进行改进可以提升抗噪声干扰的能力，进一步提高故障检测的准确率。采用级联的SVM对候选框图像特征进行分类，提高了故障检测算法的定位准确程度。本发明可以应用于铁路货车钩尾销托梁脱落故障检测。

Description

一种铁路货车钩尾销托梁脱落故障检测方法

技术领域

本发明属于铁路货车钩尾销托梁脱落故障检测技术领域，具体涉及一种铁路货车钩尾销托梁脱落故障检测方法。

背景技术

传统的铁路货车故障检测方法中通过人工查看铁路货车过车图像识别图像中的故障，采用计算机的故障自动识别方法相比于传统的人工故障检测方法具有成本更低，速度更快的优点，同时能够减少由于人的疲劳、粗心等造成的漏检、误检现象。因此，设计出一种采用计算机模拟人的故障检测过程的故障自动识别算法来解决人工故障检测存在的检测准确率和效率低的问题是十分必要的。

发明内容

本发明的目的是为解决人工故障检测方法所存在的故障检测的准确率以及效率低的问题，而提出了一种铁路货车钩尾销托梁脱落故障检测方法。

本发明为解决上述技术问题所采取的技术方案是：一种铁路货车钩尾销托梁脱落故障检测方法，该方法包括以下步骤：

步骤一、收集铁路货车的过车图像；

步骤二、从收集的过车图像中截取出车钩部分图像，并对截取出的图像中的钩尾销托梁进行标注后，获得每张截取出的图像所对应的标记文件；

截取出的图像与标记文件共同构成样本数据集；

步骤三、分别在样本数据集中的每张图像上设置用于框选钩尾销托梁的候选框，获得候选框图像，并将候选框图像变换到统一尺寸后，提取尺寸变换后图像的LBP纹理特征；

步骤四、利用步骤三提取到的图像LBP纹理特征对级联的SVM网络进行训练，获得训练好的级联的SVM网络；

步骤五、从待检测图像中获取出车钩部分图像后，在获取的车钩部分图像上设置候选框，获得待检测图像对应的候选框图像；

对待检测图像对应的候选框图像进行尺寸变换后，获得待检测图像对应的尺寸变换后图像，并提取出待检测图像对应的尺寸变换后图像的LBP纹理特征，再将待检测图像对应的尺寸变换后图像的LBP纹理特征输入训练好的级联的SVM网络，级联的SVM网络输出检测结果。

本发明的有益效果是：本发明提出了一种铁路货车钩尾销托梁脱落故障检测方法，本发明利用图像自动检测的方法代替传统的人工检测方法，可以大幅度提高故障检测的效率。通过对原始LBP特征提取方法进行改进可以提升抗噪声干扰的能力，进一步提高故障检测的准确率。采用级联的SVM对候选框图像特征进行分类，提高了故障检测算法的定位准确程度。

附图说明

图1为本发明方法的整体流程图；

图2为故障检测网络算法框图；

图3为钩尾销托梁丢失与正常的图像的对比图；

图4为原始LBP特征提取方法的示意图；

图5为本发明采用的改进LBP特征提取方法的示意图。

具体实施方式

需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。

具体实施方式一、结合图1说明本实施方式。本实施方式的一种铁路货车钩尾销托梁脱落故障检测方法，该方法具体通过以下步骤实现：

步骤一、收集铁路货车的过车图像；

步骤二、从收集的过车图像中截取出车钩部分图像，并对截取出的图像中的钩尾销托梁进行标注后，获得每张截取出的图像所对应的标记文件；

截取出的图像与标记文件共同构成样本数据集；

步骤三、分别在样本数据集中的每张图像上设置用于框选钩尾销托梁的候选框，获得候选框图像(候选框框出的图像)，并将候选框图像变换到统一尺寸后，提取尺寸变换后图像的LBP纹理特征；

步骤四、利用步骤三提取到的图像LBP纹理特征对级联的SVM网络进行训练，获得训练好的级联的SVM网络；

步骤五、从待检测图像中获取出车钩部分图像后，在获取的车钩部分图像上设置候选框，获得待检测图像对应的候选框图像；

对待检测图像对应的候选框图像进行尺寸变换后，获得待检测图像对应的尺寸变换后图像，并提取出待检测图像对应的尺寸变换后图像的LBP纹理特征，再将待检测图像对应的尺寸变换后图像的LBP纹理特征输入训练好的级联的SVM网络，级联的SVM网络输出检测结果。

本实施方式中，步骤五对候选框图像进行尺寸变换，是将候选框图像的尺寸变换到220*440大小。

具体实施方式二：本实施方式与具体实施方式一不同的是：过车图像是通过架设在铁路底部和侧部的高清成像设备来拍摄的。

具体实施方式三：本实施方式与具体实施方式一不同的是：对截取出的图像中的钩尾销托梁进行标注，其具体为：

对截取出的图像中的钩尾销托梁进行标注，将发生钩尾销托梁上螺栓丢失的钩尾销托梁标记为故障图像，将钩尾销托梁上螺栓没有丢失的钩尾销托梁标记为正常图像。

具体实施方式四：本实施方式与具体实施方式一不同的是：在样本数据集中的每张图像上设置候选框之前，需要对样本数据集进行扩增，扩增方式包括翻转、裁剪和对比度变换。

本实施方式中，进行数据集扩增可以提高故障检测模型的泛化能力，防止模型发生过拟合现象。

具体实施方式五：本实施方式与具体实施方式一不同的是：在扩增后样本数据集中的每张图像上设置候选框，是采用选择搜索算法进行的。

具体实施方式六：本实施方式与具体实施方式一不同的是：将候选框图像变换到统一尺寸是指：将候选框图像变换到220*440大小。

具体实施方式七：本实施方式与具体实施方式一不同的是：提取尺寸变换后的图像的LBP纹理特征，其具体过程为：

步骤S1、将图像的3N*3N像素区域划分为一个像素块(划分时，可以首先将图像左上角的3N*3N像素区域划分为一个像素块，然后像素块在图像上进行滑动，直至遍历整个图像后，获得各个像素块)，在图像上以1个像素的步长对像素块进行滑动，将图像划分为不同的像素块(Block)；其中，N＝3,5,7,…,2n-1，n为取值大于2的自然数；

步骤S2、对于任意的一个像素块，将该像素块内的N*N像素划分为1个单元(cell)，对于每个单元，分别计算出单元内的中心点与单元内最外圈像素中位于中心点正上、正下、正左、正右的共5个像素点的像素灰度平均值，将这5个像素点的像素灰度平均值作为对应单元的像素灰度平均值；

步骤S3、以位于该像素块中心的单元的像素灰度平均值为基准，将位于中心单元正上方、正下方、正左方、正右方单元的像素灰度平均值与中心单元的像素灰度平均值进行对比，若位于中心单元正上方的单元的像素灰度平均值大于中心单元的像素灰度平均值，则将位于中心单元正上方的单元标记为1，否则标记为0，位于中心单元正下方、正左方、正右方的单元的标记方法同理；

步骤S4、将位于中心单元正上方、正右方、正下方、正左方的单元的标记结果顺次连接起来作为该像素块内的第一个2进制LBP特征，将位于中心单元正右方、正下方、正左方、正上方的单元的标记结果顺次连接起来作为该像素块内的第二个2进制LBP特征，将位于中心单元正下方、正左方、正上方、正右方的单元的标记结果顺次连接起来作为该像素块内的第三个2进制LBP特征，将位于中心单元正左方、正上方、正右方、正下方的单元的标记结果顺次连接起来作为该像素块内的第四个2进制LBP特征；

分别将各个2进制LBP特征编码为10进制数，选取出数值最小的10进制数作为该像素块的LBP特征；

步骤S5、对于其它的像素块，均重复步骤S2至S4的过程，获得每个像素块的LBP特征；

步骤S6、对每个像素块的LBP特征进行直方图统计，并对统计直方图进行归一化处理，将一张图像中所有像素块的归一化统计直方图连接成一个向量，将连接成的向量作为该张图像的LBP纹理特征。

本实施方式中仅统计中心点与上下左右四个方向的灰度值关系，降低了LBP特征2进制编码位数，进而有效降低了LBP特征的计算量。同时在计算cell内的平均像素灰度值时也仅计算了中心点与中心点上下左右5个像素的平均像素灰度值，进一步的减小了计算量，同时由于参与计算的像素点只有能够代表图像特征的关键像素点，也一定程度上排除了噪声的干扰。本实施方式的改进的LBP特征将cell组合成Block，对灰度值的统计范围更大，能够适应更大的目标。

具体实施方式八：本实施方式与具体实施方式一不同的是：级联的SVM网络包括三个SVM。

具体实施方式九：本实施方式与具体实施方式八不同的是：利用步骤三提取到的图像LBP纹理特征对级联的SVM网络进行训练，获得训练好的级联的SVM网络，其具体过程为：

将预先分类好的候选框图像的LBP纹理特征送入第一个SVM进行分类训练，第一个SVM的输出为候选框图像的类别，其中，预先分类好的候选框图像包括正常类的候选框图像、故障类的候选框图像和背景类的候选框图像，正常类的候选框图像与故障类的候选框图像是候选框与标记的标签位置框的IOU大于等于0.4的候选框图像，背景类的候选框图像是候选框与标记的标签位置框的IOU小于0.4的候选框图像，IOU为交并比；

将第一个SVM输出为正常类的候选框图像与故障类的候选框图像进行第二次分类，同样分为正常类的候选框图像，故障类的候选框图像与背景类的候选框图像；

其中，正常类的候选框图像与故障类的候选框图像是候选框与标记的标签位置框的IOU大于等于0.5的候选框图像，背景类的候选框图像是候选框与标记的标签位置框的IOU小于0.5的候选框；将分类好的候选框图像的LBP纹理特征送入第二个SVM进行分类训练，第二个SVM的输出为候选框图像类别；

将第二个SVM输出为正常类的候选框图像与故障类的候选框图像进行第三次分类，同样分为正常类的候选框图像，故障类的候选框图像与背景类的候选框图像；

其中正常类的候选框图像与故障类的候选框图像是候选框与标记的标签位置框的IOU大于等于0.6的候选框图像，背景类的候选框图像是候选框与标记的标签位置框的IOU小于0.6的候选框图像，将分好类的候选框图像的LBP纹理特征送入第三个SVM进行分类训练，第三个SVM的输出为候选框图像的类别；

对第三个SVM输出的类别为正常类的候选框图像与故障类的候选框图像进行非极大值抑制，以对候选框图像进行筛选；

将筛选出的候选框图像的类别作为检测出的目标的类别，筛选出的候选框图像在原始图像中的位置即为检测出的目标的位置；

根据检测出的类别和位置与标记的类别和位置来计算训练误差，直至级联的SVM网络的训练误差不再降低时停止训练，获得训练好的级联的SVM网络。

实施例

1、收集图像，建立样本数据集。

在铁路底部和侧部架设高清成像设备，铁路货车通过后，收集过车图像，截取待识别的车钩部分图像。收集钩尾销托梁脱落的图像，显示为钩尾销托梁上螺栓丢失1～4个，如图3右半部分的实线框内所示，收集钩尾销托梁没脱落的图像，显示为钩尾销托梁上螺栓没有丢失，如图3左半部分的实线框内所示。对图像中的钩尾销托梁进行标注，将发生钩尾销托梁脱落即钩尾销托梁上螺栓丢失的钩尾销托梁标记为故障类，将螺栓没有丢失的钩尾销托梁标记为正常类，一张图像对应生成一个标记文件，图像与标注文件共同构成样本数据集。为了提高故障检测模型的泛化能力，防止模型发生过拟合现象，采用翻转、裁剪、对比度变换等方式进行数据集扩增。

2、改进的LBP特征提取

本发明采用选择搜索算法在图像中设置候选框，将候选框图像变换到220*440大小，提取候选框图像的改进的LBP特征。

(1)改进的LBP特征提取

原始LBP特征提取方式如下：

a)将图像中3*3个像素区域划分为一个Block，以步长为1在图像中对Block进行滑动，完成整幅图像的Block划分。

b)如图4所示，在一个Block 3*3像素区域内，以中心像素灰度值为阈值，将相邻的8个像素的灰度值与中心像素进行比较，若周围像素灰度值大于中心像素，则该像素标记为1，否则标记为0。图4中Block的2进制LBP特征为1101011，将该LBP特征进行旋转，结果为10100111，01001111，10011110……，将这些旋转后的2进制数编码为10进制数，选取数值最小的10进制数作为中心像素的LBP特征。

c)对每一个Block进行上述操作，完成整张候选框图像的LBP特征计算。

改进的LBP特征提取方式如下：

a)将图像9*9像素区域划分为一个Block，在图像上以步长为1个像素对Block进行滑动，将图像划分为不同的Block。

b)如图5所示，将一个Block内3*3像素划分为1个cell，计算每个cell内中心点与中心点上下左右5个像素点的像素灰度平均值(图中有颜色的方块)，将这个值作为cell的像素灰度平均值。

c)以Block中心的cell的平均像素灰度值为基准，将中心cell的上下左右cell的平均像素灰度值与中心cell的平均像素灰度值进行对比，如果大于中心cell的平均像素灰度值，则将该cell标记为1，如果小于中心cell的平均像素灰度值，则将该cell标记为0。

d)如图5所示，该Block内的2进制LBP特征为1001，将该LBP特征进行旋转，结果为0011，0110，1100……，将1001以及这些旋转后的2进制数编码为10进制数，选取数值最小的10进制数作为中心cell中间像素的LBP特征。

e)对每一个Block进行上述操作，完成候选框图像的LBP特征提取。

本发明中，中心点与上下左右四个方向的灰度值关系就能很好的反应钩尾销托梁图像特征，相比于传统LBP特征统计中心点与周围8个方向的像素灰度值关系，本发明仅统计中心点与上下左右四个方向的灰度值关系，降低了LBP特征2进制编码位数，进而有效降低了LBP特征的计算量。同时在计算cell内的平均像素灰度值时也仅计算了中心点与中心点上下左右5个像素的平均像素灰度值，进一步的减小了计算量，同时由于参与计算的像素点只有能够代表图像特征的关键像素点，也一定程度上排除了噪声的干扰。改进的LBP特征将3*3像素组合成一个cell，将一个cell看成一个整体，统计中心cell与上下左右4个方向cell的灰度值关系，进而计算LBP特征。相比于传统LBP特征，本发明的改进的LBP特征将cell组合成Block，对灰度值的统计范围更大，能够适应更大的目标。

(2)改进的LBP特征统计

对每一个Block内的LBP特征进行直方图统计，并对该直方图进行归一化处理，将图像中所有Block的统计直方图连接成一个向量，最为图像的改进的LBP纹理特征。

3、级联的SVM训练

(1)将候选框图像分类，类别为正常类，故障类与背景类。正常类与故障类候选框为候选框与标签位置框的IOU大于0.4的候选框图像，背景类为候选框与标签位置框IOU小于0.4的候选框图像。IOU为交并比，即两个图像相交的大小除以两个图像总共的大小。将分类好的候选框图像的改进的LBP特征送入第一个SVM进行分类训练，其输出为候选框图像的类别。

(2)将第一个SVM输出为正常类与故障类的候选框图像进行第二次分类，同样分为正常类，故障类与背景类。正常类与故障类候选框为候选框与相应标签位置框IOU大于0.5的候选框，背景类为IOU小于0.5的候选框。将分类好的候选框图像的改进的LBP特征送入第二个SVM进行分类训练，其输出为候选框图像类别。

(3)将第二个SVM输出为正常类与故障类的候选框图像进行第三次分类，同样分为正常类，故障类与背景类。正常类与故障类候选框为候选框与标签位置框IOU大于0.6的候选框，背景类为IOU小于0.6的候选框。将分好类的候选框图像的改进的LBP特征送入第三个SVM进行分类训练，其输出为候选框图像的类别，对类别为正常类与故障类的候选框进行非极大值抑制，删除重复的候选框图像，最后剩下的候选框图像的类别与在原始图像中的位置即为原始图像通过故障检测网络检测出的目标的类别与位置。

本发明级联的SVM中，逐渐升高每一级的SVM目标(正常类与故障类候选框)与背景的区分门限，第一级SVM输出的为粗略分类的候选框，许多候选框与标签位置框的IOU并不大，但被认定为目标，第一级SVM的输出定位并不太精确，但已经通过第一级SVM排除掉一些背景。随后增大这个IOU的门限，又有一些在第一级SVM分类中被认定为目标的候选框被重新分类为背景，第二级SVM的输出就更加精确，又排除掉一些背景候选框，随后增加第三级SVM的IOU门限，过滤掉更多的背景候选框。通过三级SVM的过滤，能过去除大部分的背景，使候选框的定位与分类更加精确。如果直接将第一级SVM的目标与背景的区分门限定为IOU＝0.6，则候选框中存在大量的背景类，候选框图像中目标类(正常类与故障类)和背景类个数严重不均衡，影响SVM的分类效果，通过三级SVM的逐渐过滤，保证每一级SVM目标类与背景类的基本均衡，提升SVM网络的分类效果。

4、铁路货车钩尾销托梁脱落故障检测网络测试

(1)获取铁路货车过车图像，截取车钩部分送入上述训练好的故障检测网络中，故障检测网络算法的流程如图2所示。

(2)如果输出类别为故障类，上传故障报警，检车人员对报警进行查看并对故障部位进行相应处理。

本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (7)

1.一种铁路货车钩尾销托梁脱落故障检测方法，其特征在于，该方法包括以下步骤：

步骤一、收集铁路货车的过车图像；

步骤二、从收集的过车图像中截取出车钩部分图像，并对截取出的图像中的钩尾销托梁进行标注后，获得每张截取出的图像所对应的标记文件；

截取出的图像与标记文件共同构成样本数据集；

步骤三、分别在样本数据集中的每张图像上设置用于框选钩尾销托梁的候选框，获得候选框图像，并将候选框图像变换到统一尺寸后，提取尺寸变换后图像的LBP纹理特征；

步骤四、利用步骤三提取到的图像LBP纹理特征对级联的SVM网络进行训练，获得训练好的级联的SVM网络；其具体过程为：

所述级联的SVM网络包括三个SVM；

将预先分类好的候选框图像的LBP纹理特征送入第一个SVM进行分类训练，第一个SVM的输出为候选框图像的类别，其中，预先分类好的候选框图像包括正常类的候选框图像、故障类的候选框图像和背景类的候选框图像，正常类的候选框图像与故障类的候选框图像是候选框与标记的标签位置框的IOU大于等于0.4的候选框图像，背景类的候选框图像是候选框与标记的标签位置框的IOU小于0.4的候选框图像，IOU为交并比；

将第一个SVM输出为正常类的候选框图像与故障类的候选框图像进行第二次分类，同样分为正常类的候选框图像，故障类的候选框图像与背景类的候选框图像；

其中，正常类的候选框图像与故障类的候选框图像是候选框与标记的标签位置框的IOU大于等于0.5的候选框图像，背景类的候选框图像是候选框与标记的标签位置框的IOU小于0.5的候选框；将分类好的候选框图像的LBP纹理特征送入第二个SVM进行分类训练，第二个SVM的输出为候选框图像类别；

将第二个SVM输出为正常类的候选框图像与故障类的候选框图像进行第三次分类，同样分为正常类的候选框图像，故障类的候选框图像与背景类的候选框图像；

其中正常类的候选框图像与故障类的候选框图像是候选框与标记的标签位置框的IOU大于等于0.6的候选框图像，背景类的候选框图像是候选框与标记的标签位置框的IOU小于0.6的候选框图像，将分好类的候选框图像的LBP纹理特征送入第三个SVM进行分类训练，第三个SVM的输出为候选框图像的类别；

对第三个SVM输出的类别为正常类的候选框图像与故障类的候选框图像进行非极大值抑制，以对候选框图像进行筛选；

将筛选出的候选框图像的类别作为检测出的目标的类别，筛选出的候选框图像在原始图像中的位置即为检测出的目标的位置；

根据检测出的类别和位置与标记的类别和位置来计算训练误差，直至级联的SVM网络的训练误差不再降低时停止训练，获得训练好的级联的SVM网络；

步骤五、从待检测图像中获取出车钩部分图像后，在获取的车钩部分图像上设置候选框，获得待检测图像对应的候选框图像；

对待检测图像对应的候选框图像进行尺寸变换后，获得待检测图像对应的尺寸变换后图像，并提取出待检测图像对应的尺寸变换后图像的LBP纹理特征，再将待检测图像对应的尺寸变换后图像的LBP纹理特征输入训练好的级联的SVM网络，级联的SVM网络输出检测结果。

2.根据权利要求1所述的一种铁路货车钩尾销托梁脱落故障检测方法，其特征在于，所述过车图像是通过架设在铁路底部和侧部的高清成像设备来拍摄的。

3.根据权利要求1所述的一种铁路货车钩尾销托梁脱落故障检测方法，其特征在于，所述对截取出的图像中的钩尾销托梁进行标注，其具体为：

对截取出的图像中的钩尾销托梁进行标注，将发生钩尾销托梁上螺栓丢失的钩尾销托梁标记为故障图像，将钩尾销托梁上螺栓没有丢失的钩尾销托梁标记为正常图像。

4.根据权利要求1所述的一种铁路货车钩尾销托梁脱落故障检测方法，其特征在于，所述在样本数据集中的每张图像上设置候选框之前，需要对样本数据集进行扩增，扩增方式包括翻转、裁剪和对比度变换。

5.根据权利要求1所述的一种铁路货车钩尾销托梁脱落故障检测方法，其特征在于，所述在样本数据集中的每张图像上设置候选框，是采用选择搜索算法进行的。

6.根据权利要求1所述的一种铁路货车钩尾销托梁脱落故障检测方法，其特征在于，所述将候选框图像变换到统一尺寸是指：将候选框图像变换到220*440大小。

7.根据权利要求1所述的一种铁路货车钩尾销托梁脱落故障检测方法，其特征在于，所述提取尺寸变换后图像的LBP纹理特征，其具体过程为：

步骤S1、将图像的3N*3N像素区域划分为一个像素块，在图像上以1个像素的步长对像素块进行滑动，将图像划分为不同的像素块；其中，N＝3,5,7,…,2n-1，n为取值大于2的自然数；

步骤S2、对于任意的一个像素块，将该像素块内的N*N像素划分为1个单元，对于每个单元，分别计算出单元内的中心点与单元内最外圈像素中位于中心点正上、正下、正左、正右的共5个像素点的像素灰度平均值，将这5个像素点的像素灰度平均值作为对应单元的像素灰度平均值；

步骤S3、以位于该像素块中心的单元的像素灰度平均值为基准，将位于中心单元正上方、正下方、正左方、正右方单元的像素灰度平均值与中心单元的像素灰度平均值进行对比，若位于中心单元正上方的单元的像素灰度平均值大于中心单元的像素灰度平均值，则将位于中心单元正上方的单元标记为1，否则标记为0，位于中心单元正下方、正左方、正右方的单元的标记方法同理；

步骤S4、将位于中心单元正上方、正右方、正下方、正左方的单元的标记结果顺次连接起来作为该像素块内的第一个2进制LBP特征，将位于中心单元正右方、正下方、正左方、正上方的单元的标记结果顺次连接起来作为该像素块内的第二个2进制LBP特征，将位于中心单元正下方、正左方、正上方、正右方的单元的标记结果顺次连接起来作为该像素块内的第三个2进制LBP特征，将位于中心单元正左方、正上方、正右方、正下方的单元的标记结果顺次连接起来作为该像素块内的第四个2进制LBP特征；

分别将各个2进制LBP特征编码为10进制数，选取出数值最小的10进制数作为该像素块的LBP特征；

步骤S5、对于其它的像素块，均重复步骤S2至S4的过程，获得每个像素块的LBP特征；

步骤S6、对每个像素块的LBP特征进行直方图统计，并对统计直方图进行归一化处理，将一张图像中所有像素块的归一化统计直方图连接成一个向量，将连接成的向量作为该张图像的LBP纹理特征。

Images