CN112257711B - 一种铁路货车地板破损故障检测方法 - Google Patents

Abstract

一种铁路货车地板破损故障检测方法，它属于铁路货车地板破损故障检测技术领域。本发明解决了传统基于深度学习的故障自动检测方法的检测成本高，以及传统基于特征提取的故障自动检测方法的检测准确率低的问题。本发明提出一种对比度能量特征提取算法，对图像的对比度能量特征进行提取，针对地板破损故障在图像中会发生地板颜色变黑的特点，提取图像中的颜色能量特征，将颜色能量特征与对比度能量特征、SHIFT特征相结合进行故障检测，在降低检测成本的同时，提高了故障检测的准确率。本发明可以应用于铁路货车地板破损故障检测。

Description

一种铁路货车地板破损故障检测方法

技术领域

本发明属于铁路货车地板破损故障检测技术领域，具体涉及一种铁路货车地板破损故障检测方法。

背景技术

传统的铁路货车地板破损故障检测中，大多数采用人工查看过车图像的方法进行故障检测，存在着检测效率低，人工成本高，同时易受检车人员经验、疲劳程度等的影响产生误检与漏检的问题。采用计算机的故障自动检测方法可以很好的提升地板破损故障检测的效率与准确程度，降低故障检测成本。故障自动检测方法可以大致分为采用深度学习的故障自动检测方法与采用传统特征提取的故障自动检测方法，虽然基于深度学习的故障自动检测方法准确率更高，但算法运行需要的设备成本也较高。而传统基于特征提取的故障自动检测方法虽然检测成本较低，但是又未充分考虑到图像的特征，因此对地板破损故障检测的准确率仍然较低。因此，设计出一种兼顾故障检测的准确率和检测成本的方法是十分必要的。

发明内容

本发明的目的是为解决传统基于深度学习的故障自动检测方法的检测成本高，以及传统基于特征提取的故障自动检测方法的检测准确率低的问题，而提出了一种铁路货车地板破损故障检测方法。

本发明为解决上述技术问题所采取的技术方案是：一种铁路货车地板破损故障检测方法，所述方法包括以下步骤：

步骤一、采集铁路货车的过车图像，从采集的过车图像中获取感兴趣区域图像；

步骤二、在感兴趣区域图像上设置用于框选地板的候选框，获得候选框图像；

步骤三、提取步骤二获得的候选框图像的对比度能量特征、颜色能量特征和SIFT特征；

步骤四、将步骤三提取出的对比度能量特征、颜色能量特征和SIFT特征进行级联，将级联结果输入训练好的SVM分类网络，训练好的SVM分类网络输出对地板破损故障的检测结果。

本发明的有益效果是：本发明提出一种对比度能量特征提取算法，对图像的对比度能量特征进行提取，针对地板破损故障在图像中会发生地板颜色变黑的特点，提取图像中的颜色能量特征，将颜色能量特征与对比度能量特征、SIFT特征相结合进行故障检测，在降低检测成本的同时，提高了故障检测的准确率。克服了传统基于深度学习的故障自动检测方法的检测成本高，以及传统基于特征提取的故障自动检测方法的检测准确率低的问题。

附图说明

图1为本发明方法流程图；

图2为铁路货车地板破损故障检测流程图。

具体实施方式

需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。

具体实施方式一、结合图1说明本实施方式。本实施方式的一种铁路货车地板破损故障检测方法，该方法具体通过以下步骤实现：

步骤一、采集铁路货车的过车图像，从采集的过车图像中获取感兴趣区域图像；

步骤二、在感兴趣区域图像上设置用于框选地板的候选框，获得候选框图像；

步骤三、提取步骤二获得的候选框图像的对比度能量特征、颜色能量特征和SIFT特征；

步骤四、将步骤三提取出的对比度能量特征、颜色能量特征和SIFT特征进行级联，将级联结果输入训练好的SVM分类网络，训练好的SVM分类网络输出对地板破损故障的检测结果。

本实施方式的级联方式是将三个特征向量按特征维度拼接在一起。

本实施方式在铁路四周架设高清成像设备，铁路货车通过后，获取过车图像，截取地板部分图像进行后续地板破损故障识别。采用选择搜索算法从图像中提取候选框。提取候选框图像对比度能量特征、颜色能量特征与SIFT特征。将候选框对比度能量特征、颜色能量与SIFT特征级联，送入SVM网络进行检测。

如果网络检测到地板破损，则图像发生了地板破损故障，上传故障报警，检车人员依据人工先验原则对产生故障报警的部位进行相应处理。

具体实施方式二：本实施方式与具体实施方式一不同的是：训练好的SVM分类网络的输出结果为地板发生破损故障时，则上传故障报警。

否则SVM分类网络输出的检测结果为地板未发生破损故障，则继续采集下一张图像进行检测。

具体实施方式三：本实施方式与具体实施方式一不同的是：在感兴趣区域图像上设置用于框选地板的候选框时，所采用的方法是选择搜索算法。

具体实施方式四：本实施方式与具体实施方式一不同的是：步骤三中，提取步骤二获得的候选框图像的对比度能量特征，其具体过程为：

步骤B1、将候选框图像转为灰度图像，采用M个尺度、K个方向的Gabor滤波器对灰度图像进行卷积操作，得到灰度图像所对应的M×K张不同尺度、不同方向的特征图，将特征图表示为Aⁿ，n∈{1,2,…,M×K}；

尺度不宜太大，方向不宜分的太细，优选地，M＝4，K＝5；

步骤B2、采用CSF滤波器对特征图Aⁿ进行高频滤波，获得滤波后的图像Bⁿ；

CSF滤波器函数公式如下，其中f表示图像频率。

CSF(f)＝2.6(0.192+0.114f)exp(-(0.114f)^1.1)

步骤B3、计算图像Bⁿ的图像熵wⁿ；

图像熵的计算方法如下，其中p_i为某个灰度值在该图像中出现的概率，这个概率可通过灰度直方图统计获得；

步骤B4、根据图像Bⁿ和图像熵wⁿ计算候选框图像的对比度能量特征。

Gabor滤波器可以很好的提取出图像的边缘信息，且对光照变化不敏感，采用多个尺度和方向的Gabor对图像进行卷积处理模拟了人脑处理图像的多尺度机制。采用图像熵来指导经过CSF滤波后的各尺度的Gabor特征的融合，得到候选框图像的对比度能量特征。

具体实施方式五：本实施方式与具体实施方式四不同的是：尺度的个数M的取值为4，将尺度利用参数f_s来表示，f_s∈{1.5,2.5,3.5,5}，方向的个数K的取值为5，将方向利用参数θ来表示，θ∈{kπ/5|k＝0,1,…,4}。

具体实施方式六：本实施方式与具体实施方式四不同的是：步骤B4中，采用如下公式计算候选框图像的对比度能量特征：

具体实施方式七：本实施方式与具体实施方式一不同的是：步骤三中，提取步骤二获得的候选框图像的颜色能量特征，其具体过程为：

步骤C1、将候选框图像由RGB色彩空间转换到HSV色彩空间，再分别计算出H、S、V三个通道的图像熵，将H通道的图像熵表示为ω_H，将S通道的图像熵表示为ω_S，将V通道的图像熵表示为ω_V；

图像熵的计算方法与步骤B3相同；

步骤C2、通过如下公式计算H通道的像素值的均值、S通道的像素值的均值以及V通道的像素值的均值：

其中，下标i表示H、S、V三个通道，I_ij表示第i个通道下的第j个像素值的大小，u_i代表第i个通道的像素值的均值，N代表候选框图像中包含的像素的个数；

步骤C3、通过如下公式计算H通道的像素值的方差、S通道的像素值的方差以及V通道的像素值的方差：

其中，σ_i代表第i个通道的像素值的方差；

步骤C4、通过如下公式计算H通道的像素值的偏度、S通道的像素值的偏度以及V通道的像素值的偏度：

其中，S_i代表第i个通道的像素值的偏度，abs表示取绝对值操作；

步骤C5、通过如下公式，根据步骤C2、步骤C3和步骤C4的结果计算候选框图像的颜色能量特征：

由于地板破损故障会造成地板颜色的明显加深，地板破损后地板颜色变成黑色或接近黑色的阴影，因此提取颜色能量特征进行故障检测，可以提高故障检测的准确程度。

具体实施方式八：本实施方式与具体实施方式一不同的是：训练好的SVM分类网络是采用如下的训练方式获得的：

步骤S1、利用搭建在铁路轨道四周的成像设备拍摄样本过车图像；

步骤S2、从步骤S1拍摄的样本过车图像中截取出包含地板部分的图像；截取出的图像包括发生地板破损的图像和未发生地板破损的图像两类；

步骤S3、在步骤S2截取出的图像上设置用于框选地板的候选框，获得样本候选框图像；

步骤S4、提取步骤S3获得的样本候选框图像的对比度能量特征、颜色能量特征和SIFT特征，并对步骤S3获得的样本候选框图像的对比度能量特征、颜色能量特征和SIFT特征进行级联，获得级联特征；

步骤S5、对步骤S2截取出的图像进行标注，分别获得截取出的每张图像所对应的标注文件；

标注文件中包括图像是否为故障等信息；

步骤S6、将由步骤S4获得的级联特征和步骤S5获得的标注文件组成的数据集分为训练集、验证集和测试集三部分，利用训练集对SVM分类网络进行预训练，获得预训练好的SVM分类网络；

将验证集送入预训练好的SVM分类网络中，对预训练好的SVM分类网络输出的错误分类结果所对应的验证集中的图像进行扩增，扩增结果再与训练集一起输入预训练好的SVM分类网络进行训练，利用测试集对训练的SVM分类网络进行测试，获得训练好的SVM分类网络。

具体实施方式九：本实施方式与具体实施方式八不同的是：步骤S2截取出的图像在设置候选框和进行标注之前，需要首先对截取出的图像进行扩增；扩增方式包括旋转、裁剪、角度变换和对比度变换。

通过扩增可以提高后续故障检测模型的泛化能力。

实施例

下面结合图1和图2具体说明本发明方法的实现过程。

1、收集图像，建立故障检测样本数据集。

在铁路轨道四周搭建高清成像设备，铁路货车通过成像设备后，获取过车图像，截取待检测的地板部分图像。收集地板发生破损的图像与地板没有发生破损的图像，保证发生地板破损与没发生地板破损的图像的个数基本保持一致。对图像进行标注，一张图像对应一个标注文件。针对地板发生破损的图像，采用标注软件将破损部位标注为破损类，生成的标注文件中包含目标信息即破损部位的位置与类别(破损类)等，图像的基本信息即图像的名字、大小与路径等；针对地板没有发生破损的图像，直接采用程序生成标注文件，标注文件中仅包含图像的名字、大小与路径等基本信息，不包含目标的信息。对收集的所有图像进行标注，图像与标注文件共同构成故障检测样本数据集。对样本数据集进行旋转、裁剪、角度变换、对比度变换等数据扩增操作，以提高后续故障检测模型的泛化能力。

2、对比度能量提取

采用选择搜索算法从图像中截取候选框，提取候选框图像的对比度能量特征，具体的提取方式如下：

(1)将候选框图像转为灰度图像，采用四个尺度f_s∈{1.5,2.5,3.5,5}(cycles/degree)，五个方向θ∈{kπ/5|k＝0,1,…,4}的Gabor滤波器对候选框图像进行卷积操作，一个候选框图像得到4*5＝20张不同尺度，不同方向的特征图，表示为Aⁿ，n∈{1,2,…,20}。

(2)采用CSF滤波器滤除Aⁿ中不重要的高频部分信息，一定程度上去除噪声，经过CSF滤波后的图像表示为Bⁿ，n∈{1,2,…,20}。

(3)计算Bⁿ的图像熵，表示为wⁿ，n∈{1,2,…,20}

(4)候选框图像对比度能量特征最终由公式(1)计算得到。

Gabor滤波器可以很好的提取出图像的边缘信息，且对光照变化不敏感，采用多个尺度和方向的Gabor对图像进行卷积处理模拟了人脑处理图像的多尺度机制。本发明采用图像熵来指导经过CSF滤波后的各尺度的Gabor特征的融合，得到候选框图像的对比度能量特征。

3、颜色能量特征提取

由于本发明地板破损故障会造成地板颜色的明显加深，地板破损后地板颜色变成黑色或接近黑色的阴影，因此本发明提取颜色能量特征进行故障检测，提高故障检测的准确程度，具体颜色能量特征提取方式如下：

(1)将候选框图像由RGB色彩空间转换到HSV色彩空间，计算H、S、V三个通道的图像熵，表示为ω_H、ω_S、ω_V。

(2)采用公式(2)、(3)、(4)计算H、S、V三个通道的均值、方差与偏度。其中下标i表示H、S、V三个通道，I_ij表示第i个通道下的第j个像素值的大小，abs表示取绝对值操作。

(3)候选框图像颜色能量最终由公式(5)得到。

4、SIFT特征提取

(1)多尺度空间构建。采用高斯差分滤波器对图像进行多尺度滤波，生成多尺度的图像，构成多尺度空间。

(2)检测多尺度空间的极值点。每个尺度图像每一个像素点与所有相邻点进行比较，看其是否比图像域(该点所在的图像)和尺度域(所有尺度的图像)相邻点都大，图像域相邻点为上下左右斜对角周围8个像素，尺度域相邻点为上下两个相邻尺度对应像素。如果该点像素比图像域和尺度域相邻点都大那么该点为极值点。

(3)准确定位极值点。步骤(2)得到极值点位置后去除低对比度的点和边缘响应点。

(4)指定关键点方向参数。上一步中确定的极值点即为关键点，根据关键点相邻像素的梯度方向分布情况为每一个关键点计算一个方向。

(5)关键点描述子生成。生成每个关键点的描述子，将坐标轴旋转至关键点方向，保证旋转不变性。将关键点周围16*16个像素组成一个区域，计算每个像素点的梯度大小和方向，将16*16个像素分为16个4*4的bin，计算每一个bin的8个方向的梯度直方图，每一个bin生成8个维度的特征，最终关键点描述子为16*8＝128维特征。

本发明采用opencv SIFT特征提取函数提取候选框图像的SIFT特征。

5、级联的SVM训练

将样本数据集图像分为训练集、验证集与测试集，划分比例为7：2：1。将训练集图像候选款的对比度能量特征、颜色能量特征与SIFT特征级联送入SVM分类网络中进行训练，将验证集图像候选框送入训练好的SVM网络中，对检测错误的图像进行数据扩增操作，采用扩增后的检测错误图像与原始训练集重新训练SVM分类网络，完成故障检测网络的训练。在测试集上进行故障检测网络的性能测试。

6、铁路货车地板破损故障检测网络测试

(1)获取铁路货车过车图像，截取地板部分送入训练好的故障检测网络中。

(2)若网络检测到地板破损部位，上传故障报警，检车人员依据人工先验原则对报警部位进行处理。

本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (8)

1.一种铁路货车地板破损故障检测方法，其特征在于，该方法包括以下步骤：

步骤一、采集铁路货车的过车图像，从采集的过车图像中获取感兴趣区域图像；

步骤二、在感兴趣区域图像上设置用于框选地板的候选框，获得候选框图像；

步骤三、提取步骤二获得的候选框图像的对比度能量特征、颜色能量特征和SIFT特征；

所述步骤三中，提取步骤二获得的候选框图像的颜色能量特征，其具体过程为：

步骤C1、将候选框图像由RGB色彩空间转换到HSV色彩空间，再分别计算出H、S、V三个通道的图像熵，将H通道的图像熵表示为ω_H，将S通道的图像熵表示为ω_S，将V通道的图像熵表示为ω_V；

步骤C2、通过如下公式计算H通道的像素值的均值、S通道的像素值的均值以及V通道的像素值的均值：

其中，下标i表示H、S、V三个通道，I_ij表示第i个通道下的第j个像素值的大小，u_i代表第i个通道的像素值的均值，N代表候选框图像中包含的像素的个数；

步骤C3、通过如下公式计算H通道的像素值的方差、S通道的像素值的方差以及V通道的像素值的方差：

其中，σ_i代表第i个通道的像素值的方差；

步骤C4、通过如下公式计算H通道的像素值的偏度、S通道的像素值的偏度以及V通道的像素值的偏度：

其中，S_i代表第i个通道的像素值的偏度，abs表示取绝对值操作；

步骤C5、通过如下公式，根据步骤C2、步骤C3和步骤C4的结果计算候选框图像的颜色能量特征：

步骤四、将步骤三提取出的对比度能量特征、颜色能量特征和SIFT特征进行级联，将级联结果输入训练好的SVM分类网络，训练好的SVM分类网络输出对地板破损故障的检测结果。

2.根据权利要求1所述的一种铁路货车地板破损故障检测方法，其特征在于，所述训练好的SVM分类网络的输出结果为地板发生破损故障时，则上传故障报警。

3.根据权利要求1所述的一种铁路货车地板破损故障检测方法，其特征在于，所述在感兴趣区域图像上设置用于框选地板的候选框时，所采用的方法是选择搜索算法。

4.根据权利要求1所述的一种铁路货车地板破损故障检测方法，其特征在于，所述步骤三中，提取步骤二获得的候选框图像的对比度能量特征，其具体过程为：

步骤B1、将候选框图像转为灰度图像，采用M个尺度、K个方向的Gabor滤波器对灰度图像进行卷积操作，得到灰度图像所对应的M×K张不同尺度、不同方向的特征图，将特征图表示为Aⁿ，n∈{1,2,…,M×K}；

步骤B2、采用CSF滤波器对特征图Aⁿ进行高频滤波，获得滤波后的图像Bⁿ；

步骤B3、计算图像Bⁿ的图像熵wⁿ；

步骤B4、根据图像Bⁿ和图像熵wⁿ计算候选框图像的对比度能量特征。

5.根据权利要求4所述的一种铁路货车地板破损故障检测方法，其特征在于，所述尺度的个数M的取值为4，将尺度利用参数f_s来表示，f_s∈{1.5,2.5,3.5,5}，方向的个数K的取值为5，将方向利用参数θ来表示，θ∈{kπ/5|k＝0,1,…,4}。

6.根据权利要求4所述的一种铁路货车地板破损故障检测方法，其特征在于，所述步骤B4中，采用如下公式计算候选框图像的对比度能量特征：

7.根据权利要求1所述的一种铁路货车地板破损故障检测方法，其特征在于，所述训练好的SVM分类网络是采用如下的训练方式获得的：

步骤S1、利用搭建在铁路轨道四周的成像设备拍摄样本过车图像；

步骤S2、从步骤S1拍摄的样本过车图像中截取出包含地板部分的图像；截取出的图像包括发生地板破损的图像和未发生地板破损的图像两类；

步骤S3、在步骤S2截取出的图像上设置用于框选地板的候选框，获得样本候选框图像；

步骤S4、提取步骤S3获得的样本候选框图像的对比度能量特征、颜色能量特征和SIFT特征，并对步骤S3获得的样本候选框图像的对比度能量特征、颜色能量特征和SIFT特征进行级联，获得级联特征；

步骤S5、对步骤S2截取出的图像进行标注，分别获得截取出的每张图像所对应的标注文件；

步骤S6、将由步骤S4获得的级联特征和步骤S5获得的标注文件组成的数据集分为训练集、验证集和测试集三部分，利用训练集对SVM分类网络进行预训练，获得预训练好的SVM分类网络；

将验证集送入预训练好的SVM分类网络中，对预训练好的SVM分类网络输出的错误分类结果所对应的验证集中的图像进行扩增，扩增结果再与训练集一起输入预训练好的SVM分类网络进行训练，利用测试集对训练的SVM分类网络进行测试，获得训练好的SVM分类网络。

8.根据权利要求7所述的一种铁路货车地板破损故障检测方法，其特征在于，所述步骤S2截取出的图像在设置候选框和进行标注之前，需要首先对截取出的图像进行扩增；扩增方式包括旋转、裁剪、角度变换和对比度变换。

Images