CN111079628A - 地板破损故障图像识别方法 - Google Patents

Abstract

地板破损故障图像识别方法，本发明涉及故障图像识别方法。本发明的目的是为了解决现有人工检测铁路货车地板破损故障方式存在的成本高、效率低、以及准确率低的问题。过程为：一、收集样本，建立数据集；二、对设备采集到的待识别图像进行预处理，得到预处理后待识别图像；具体过程为：将采集到的待识别图像进行高斯滤波及灰度均衡化操作，去除噪声；三、建立VGG模型，采用训练集训练VGG模型，得到预训练好的VGG模型；四、将预处理后待识别图像输入预训练好的VGG模型，进行铁路货车地板破损故障识别，得到检测结果；五、判断检测结果是否符合地板故障特征。本发明用于故障图像识别领域。

Description

地板破损故障图像识别方法

技术领域

本发明涉及故障图像识别方法。

背景技术

铁路货车地板破损故障是一种危及行车安全的故障，传统的检测方法是人工排查轨边采集到的图像数据。由于检车人员在工作过程中极易出现疲劳、遗漏等情况，造成人为的误判、漏判，从而影响行车安全。同时投入大量的人力和物力进行图片的排查给用户造成了极大地资源浪费。

因此，为了推动铁路运输自动化程度的快速发展，解决人工检测方式存在的成本高、效率低、以及准确率低的问题，实现货车故障检测的自动化具有重大的现实意义。

发明内容

本发明的目的是为了解决现有人工检测铁路货车地板破损故障方式存在的成本高、效率低、以及准确率低的问题，而提出地板破损故障图像识别方法。

地板破损故障图像识别方法具体过程为：

步骤一、收集样本，建立数据集；

步骤二、对设备采集到的待识别图像进行预处理，得到预处理后待识别图像；具体过程为：

将采集到的待识别图像进行高斯滤波及灰度均衡化操作，去除噪声；

步骤三、建立VGG模型，采用训练集训练VGG模型，得到预训练好的VGG模型；具体过程为：

步骤三一、建立VGG模型；

步骤三二、将步骤一建立的数据集输入VGG模型进行预训练；具体过程为：

步骤三二一、定义损失函数、初始学习率、迭代次数；

步骤三二二、将步骤一建立的数据集转换成ILSVRC形式数据集，将ILSVRC形式数据集输入到步骤三一建立的VGG模型中；然后通过16个卷积层、4个池化层之后，将矩阵输入到pool_5池化层之后再通过3个全连接层；

ILSVRC形式数据集包括训练集、测试集、验证集；

其中分别将VGG的全连接层中的fc6和fc7卷积核从1*1变为3*3，同时将pool_5池化层由原来的stride＝2、卷积核2*2变成stride＝1、卷积核3*3，直到达到预定的迭代次数后结束训练从而得到预训练好的VGG模型及权重；

所述stride为内存中每行像素所占的空间；

步骤四、将步骤二预处理后待识别图像输入预训练好的VGG模型，进行铁路货车地板破损故障识别，得到检测结果；

步骤五、判断检测结果是否符合地板故障特征。

本发明的有益效果为：

在货车经过的轨边搭建成像设备，采集高清图像。采用深度学习算法，对图像中的地板破损故障进行识别。使用高级图像处理算法和模式识别方法对识别到的故障进行验证，判断其是否为地板破损故障。针对识别到的地板破损故障上传至指定平台进行故障报警。

近几年，深度学习与人工智能不断发展，在技术上不断成熟。因而，使用深度学习、高级图像处理算法和模式进行货车地板故障识别代替人工检测，提高故障检测的效率、准确率，较大程度的节约人工成本，实现减员增效。

采用本发明方法可以有效减少货车行驶的安全隐患，推动了运输行业故障检测自动化的进程，使铁路货车地板破损检测的准确率近乎达到100％，而且漏检率却几乎为0。

附图说明

图1为本发明整体结构图；

图2为VGG模型结构图。

具体实施方式

具体实施方式一：本实施方式地板破损故障图像识别方法具体过程为：

步骤一、收集样本，建立数据集；

步骤二、对设备采集到的待识别图像进行预处理，得到预处理后待识别图像；具体过程为：

因为在实际检测过程中，货车地板由于工作环境恶略，采集到的图片会产生各种噪声，作为训练样本时会出现图片中的噪声被当作特征值提取的情况，从而严重干扰识别结果。鉴于此种情况，将采集到的待识别图像进行高斯滤波及灰度均衡化操作，去除噪声；

步骤三、建立VGG模型，采用训练集训练VGG模型，得到预训练好的VGG模型；具体过程为：

步骤三一、建立VGG模型；

步骤三二、将步骤一建立的数据集输入VGG模型进行预训练；具体过程为：

步骤三二一、定义损失函数、初始学习率、迭代次数；

步骤三二二、将步骤一建立的数据集转换成ILSVRC形式数据集，将ILSVRC形式数据集输入到步骤三一建立的VGG模型中的64通道conv2卷积层，开始特征提取获得图像矩阵；然后通过16个卷积层、4个池化层之后，将矩阵输入到pool_5池化层之后再通过3个全连接层；

ILSVRC形式数据集包括训练集、测试集、验证集(三个数据集中没有重叠)；

其中分别将VGG的全连接层中的fc6和fc7卷积核从1*1变为3*3，同时将pool_5池化层由原来的stride＝2、卷积核2*2变成stride＝1、卷积核3*3(在不影响结果的情况下，使需要遍历的次数减少，原因是不想特征图变的过小)，为了配合这种变化conv_512采用扩展卷积，其在不增加参数与模型复杂度的条件下可以指数级扩大卷积的视野，通常使用扩张率参数来表示扩张的大小，普通的3×3卷积，其视野就是3n×3n，扩张率为1时视野变成7n×7n，扩张率为3时视野扩大为15n×15n，但是视野的特征更稀疏了。

开始训练之后，通过损失函数的计算，计算出新的权重系数，将权重系数进行更新，完成一次训练迭代。网络将重复这个过程，将全部图像完成固定次数的迭代，当损失函数的到的计算值更低时，更新权重，直到达到预定的迭代次数后结束训练从而得到预训练好的VGG模型及权重；

所述stride为内存中每行像素所占的空间；

步骤四、将步骤二预处理后待识别图像输入预训练好的VGG模型，进行铁路货车地板破损故障识别，得到检测结果；

步骤五、判断检测结果是否符合地板故障特征。

具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤一中收集样本，建立数据集；具体过程为：

步骤一一、利用高分辨率线阵相机采集清晰的铁路货车地板灰度图像；采集图像的原则如下：

(1)分别收集雨水、冰雪、粉笔涂写、装载物泄露、泥渍、油渍、黑漆、灰尘等多种情况下的铁路货车地板图像；

(2)在不同站点、不同设备、不同时间(阳光干扰程度不同)下收集铁路货车地板图像；

(3)根据铁路货车地板材质分别收集钢地板、木地板等货车地板图像；

步骤一二、样本扩增：由于实际采集到的样本数据有限，为了可以最大程度的保证样本的多样性和适用性以及提高算法的稳定性，对采集到的图像进行图像平移、图像旋转、图像镜像、图像亮度变化、裁剪、缩放、图像模糊等方法中的一种或几种对图像进行扩增，获得扩增后的全部图像，作为数据集。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述步骤三一中建立VGG模型；具体过程为：

VGG模型结构如图2所示；

VGG模型包括输入层、64通道conv2卷积层1、64通道conv2卷积层2、pool_1池化层、128通道conv3卷积层1、128通道conv3卷积层2、pool_2池化层、256通道conv4卷积层1、256通道conv4卷积层2、256通道conv4卷积层3、256通道conv4卷积层4、pool_3池化层、512通道conv5卷积层1、512通道conv5卷积层2、512通道conv5卷积层3、512通道conv5卷积层4、pool_4池化层、512通道conv5卷积层5、512通道conv5卷积层6、512通道conv5卷积层7、512通道conv5卷积层8、pool_5池化层、全连接层fc6、全连接层fc7、全连接层fc8、输出层。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述步骤四中将步骤二预处理后待识别图像输入预训练好的VGG模型，进行铁路货车地板破损故障识别；具体过程为：

将步骤二中得到的预处理后的待识别图像输入VGG中的64通道conv2卷积层1获取用于检测的第一个特征图；但是该层比较靠前，所以在64通道conv2卷积层后面增加了一个标准层，以保证和后面的检测层一致，其仅仅是对每个像素点在通道维度做归一化，而标准层是在图片宽度、高度、通道数三个维度上做归一化。归一化后一般设置一个可训练的放缩变量；从128通道conv3卷积层，256通道conv4卷积层，512通道conv5卷积层，512通道conv5卷积层中提取特征图，作为检测所用的特征图，加上64通道conv2卷积层，共提取了5个特征图，但是不同特征图设置的先验框数目不同(同一个特征图上每个单元设置的先验框是相同的)，先验框的设置包括大小和长宽比两个方面；对于先验框的尺度，遵守一个线性递增规则：随着特征图大小降低，先验框尺度线性增加：

sk＝smin+m-1smax-smin(k-1),k∈[1,m]

其中，m指的特征图个数，因为第一层64通道conv2卷积层1是单独设置的，sk表示先验框大小相对于图片的比例，smax和smin表示比例的最小值与最大值；

得到了特征图之后，需要对特征图进行卷积得到检测结果，检测值包含两个部分：类别置信度和先验框位置，各采用一次3n×3n卷积来完成；

对于每个先验框，首先根据类别置信度确定先验框类别与置信度值(类别置信度大于阈值0.5的可以获得预测框类别与置信度的值)，并根据类别过滤掉属于背景的先验框；

然后根据先验框置信度和设定的阈值进行比较过滤掉低于阈值的先验框；

对于留下的先验框进行解码，得到真实的位置坐标；解码之后，需要根据置信度对先验框进行降序排列，然后对降序排列之后的先验框进行非极大极值抑制(NMS算法)，过滤掉那些重叠度较大的先验框；最后剩余的先验框就是检测结果；

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述步骤五中判断检测结果是否符合地板故障特征；具体过程为：

对步骤四得到的检测结果图像与步骤二预处理后待识别图像进行灰度直方图比较，如果符合灰度特征分布规律则判定为故障图片，如不符合则处理下一张待处理图像，执行步骤三至步骤五，直至判断完所有待处理图像。

将步骤二预处理后待识别图像通过预训练好的VGG模型进行数据变换后，得到疑似故障所在区域，根据以往的先验经验，首先对故障框所在位置进行判定，进行初步筛选。第二步进行故障框所在区域，与已经收集到的故障的灰度特征进行直方图比较，如果符合灰度特征分布规律则判定为故障图片，如不符合则处理下一张待处理图像。

其它步骤及参数与具体实施方式一至四之一相同。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (5)

1.地板破损故障图像识别方法，其特征在于：所述方法具体过程为：

步骤一、收集样本，建立数据集；

步骤二、对设备采集到的待识别图像进行预处理，得到预处理后待识别图像；具体过程为：

将采集到的待识别图像进行高斯滤波及灰度均衡化操作，去除噪声；

步骤三、建立VGG模型，采用训练集训练VGG模型，得到预训练好的VGG模型；具体过程为：

步骤三一、建立VGG模型；

步骤三二、将步骤一建立的数据集输入VGG模型进行预训练；具体过程为：

步骤三二一、定义损失函数、初始学习率、迭代次数；

步骤三二二、将步骤一建立的数据集转换成ILSVRC形式数据集，将ILSVRC形式数据集输入到步骤三一建立的VGG模型中；然后通过16个卷积层、4个池化层之后，将矩阵输入到pool_5池化层之后再通过3个全连接层；

ILSVRC形式数据集包括训练集、测试集、验证集；

其中分别将VGG的全连接层中的fc6和fc7卷积核从1*1变为3*3，同时将pool_5池化层由原来的stride＝2、卷积核2*2变成stride＝1、卷积核3*3，直到达到预定的迭代次数后结束训练从而得到预训练好的VGG模型及权重；

所述stride为内存中每行像素所占的空间；

步骤四、将步骤二预处理后待识别图像输入预训练好的VGG模型，进行铁路货车地板破损故障识别，得到检测结果；

步骤五、判断检测结果是否符合地板故障特征。

2.根据权利要求1所述地板破损故障图像识别方法，其特征在于：所述步骤一中收集样本，建立数据集；具体过程为：

步骤一一、利用线阵相机采集铁路货车地板灰度图像；采集图像的原则如下：

(1)分别收集雨水、冰雪、粉笔涂写、装载物泄露、泥渍、油渍、黑漆、灰尘情况下的铁路货车地板图像；

(2)在不同站点、不同设备、不同时间下收集铁路货车地板图像；

(3)根据铁路货车地板材质分别收集钢地板、木地板货车地板图像；

步骤一二、样本扩增：

对采集到的图像进行图像平移、图像旋转、图像镜像、图像亮度变化、裁剪、缩放、图像模糊方法中的一种或几种进行扩增，获得扩增后的全部图像，作为数据集。

3.根据权利要求1或2所述地板破损故障图像识别方法，其特征在于：所述步骤三一中建立VGG模型；具体过程为：

VGG模型包括输入层、64通道conv2卷积层1、64通道conv2卷积层2、pool_1池化层、128通道conv3卷积层1、128通道conv3卷积层2、pool_2池化层、256通道conv4卷积层1、256通道conv4卷积层2、256通道conv4卷积层3、256通道conv4卷积层4、pool_3池化层、512通道conv5卷积层1、512通道conv5卷积层2、512通道conv5卷积层3、512通道conv5卷积层4、pool_4池化层、512通道conv5卷积层5、512通道conv5卷积层6、512通道conv5卷积层7、512通道conv5卷积层8、pool_5池化层、全连接层fc6、全连接层fc7、全连接层fc8、输出层。

4.根据权利要求3所述地板破损故障图像识别方法，其特征在于：所述步骤四中将步骤二预处理后待识别图像输入预训练好的VGG模型，进行铁路货车地板破损故障识别；具体过程为：

将步骤二中得到的预处理后的待识别图像输入VGG中的64通道conv2卷积层1获取用于检测的第一个特征图；在64通道conv2卷积层后面增加了一个标准层，对每个像素点在通道维度做归一化；

从128通道conv3卷积层，256通道conv4卷积层，512通道conv5卷积层，512通道conv5卷积层中提取特征图，作为检测所用的特征图，加上64通道conv2卷积层，共提取了5个特征图，但是不同特征图设置的先验框数目不同，先验框的设置包括大小和长宽比两个方面；

sk＝smin+m-1smax-smin(k-1),k∈[1,m]

其中，m指的特征图个数，sk表示先验框大小相对于图片的比例，smax和smin表示比例的最小值与最大值；

得到了特征图之后，需要对特征图进行卷积得到检测结果，检测值包含两个部分：类别置信度和先验框位置，各采用一次3n×3n卷积来完成；

对于每个先验框，首先根据类别置信度确定先验框类别与置信度值，并根据类别过滤掉属于背景的先验框；

然后根据先验框置信度和设定的阈值进行比较过滤掉低于阈值的先验框；

对于留下的先验框进行解码，得到真实的位置坐标；解码之后，需要根据置信度对先验框进行降序排列，然后对降序排列之后的先验框进行非极大极值抑制，过滤掉重叠的先验框；最后剩余的先验框就是检测结果。

5.根据权利要求4所述地板破损故障图像识别方法，其特征在于：所述步骤五中判断检测结果是否符合地板故障特征；具体过程为：

对步骤四得到的检测结果图像与步骤二预处理后待识别图像进行灰度直方图比较，如果符合灰度特征分布规律则判定为故障图片，如不符合则处理下一张待处理图像，执行步骤三至步骤五，直至判断完所有待处理图像。

Images