CN112669301A - 一种高铁底板脱漆故障检测方法 - Google Patents

Abstract

本发明公开了一种高铁底板脱漆故障检测方法，属于高铁列车脱漆检测技术领域。检测方法包括以下步骤：S100、经线阵图像获取、粗定位、数据扩增和数据标记，建立样本数据集；S200、通过样本数据集对底板脱漆故障检测模型进行训练；S300、通过训练好的底板脱漆故障检测模型对原始图像的底板脱漆故障进行判别；S400、若判定原始图像存在底板脱漆故障，计算出故障在原始图像中的位置。本发明的一种高铁底板脱漆故障检测方法，采用深度学习进行高铁底板脱漆故障检测，可以有效提高检测准确率及检测效率，提高了检测的稳定性。

Description

一种高铁底板脱漆故障检测方法

技术领域

本发明涉及一种高铁底板脱漆故障检测方法，属于高铁列车脱漆检测技术领域。

背景技术

高铁底板具有保护设备的作用，其自身具备防脱落自我保护功能，可以提高应用部位的列车运行安全性。一旦存在脱漆现象，可能导致底板腐蚀，从而危及行车安全。在底板脱漆故障检测中，现有方法往往采用人工检查图像的方式进行故障检测。由于在检测过程中，检测结果会受到检车人员的主观因素影响，因此，容易出现对故障的漏检、错检等问题，以致影响行车安全。

发明内容

本发明的目的是提出一种高铁底板脱漆故障检测方法，通过采用深度学习进行高铁底板脱漆故障检测，有效提高检测准确率及检测效率，提高了检测的稳定性，解决了现有技术中采用人工检查图像的方式存在的问题。

一种高铁底板脱漆故障检测方法，检测方法包括以下步骤：

S100、建立样本数据集，其中，样本数据集包括扩增后的带有底板的目标区域图像和与扩增后的带有底板的目标区域图像对应的标记文件；

S200、通过样本数据集对底板脱漆故障检测模型进行训练；

S300、通过训练好的底板脱漆故障检测模型对原始图像的底板脱漆故障进行判别；

S400、若判定原始图像存在底板脱漆故障，计算出故障在原始图像中的位置。

进一步的，在S100中，具体包括以下步骤：

S110、线阵图像获取：采集高铁列车的全车高清灰度图像；

S120、粗定位：在全车高清灰度图像中，截取带有底板的目标区域图像，形成原始数据集；

S130、数据扩增：对原始数据集进行扩增；

S140、数据标记：对经过扩增后的数据集进行标记，获取与扩增后的数据集一一对应的标记文件，以扩增后的数据集和对应的标记文件作为训练深度学习网络模型的样本数据集。

进一步的，在S110中，具体包括以下步骤：

S111、在高铁沿途两侧搭建高速线阵成像设备；

S112、当高铁通过时，高速线阵成像设备获取高铁各部位的高清线阵灰度图像；

S113、将高铁各部位的高清线阵灰度图像拼接成高铁侧部完整图片。

进一步的，在S120中，具体的，根据硬件的轴距信息和底板的位置先验知识，从全车高清灰度图像中剪裁出带有底板的区域图像，缩小截取部分的图像尺寸，增加目标底板在图像中的相对占比，获得目标区域图像。

进一步的，在S200中，具体包括以下步骤：

S210、将经过数据扩增后的原始数据集作为输入，选取ResNet50特征提取网络作为训练目标检测模型的骨干网络，得到输出特征图；

S220、以ResNet50骨干网络的输出特征图作为RPN网络的输入，生成候选框；

S230、RoI pooling层利用RPN网络生成的候选框和ResNet50骨干网络得到的输出特征图，得到固定大小的候选框特征图，以进行后续的目标分类和定位；

S240、通过判别式RoI合并方案，从候选框特征图的各个子区域进行采样，并执行自适应加权以获得故障特征，进而根据故障特征进行故障分类；在S240中，判别式RoI合并方案，具体的，遍历每一个候选框特征图，保持浮点数边界不做量化，将候选框特征图分割成多个单元，每个单元的边界也不做量化，在每个单元中计算固定的四个坐标位置，固定的四个坐标位置即左上、左下、右上和右下，用双线性内插的方法计算出这四个位置的像素值，然后进行最大池化操作，在每个单元内获得的四个坐标位置被分配相应的权值，以自适应地分配更高的权值给特征更明显的采样点，基于所提取的更明显的特征对故障类型进行分类。

进一步的，在S230后还包括：S250、对固定大小的候选框特征图进行密集局部回归，密集局部回归用于确定目标位置，即脱漆故障位置。

进一步的，在S130中，具体的，扩增形式为对图像进行翻转、缩放和平移。

进一步的，在S300中，具体的，在全车高清灰度图像中裁出底板图像作为待检测图像，调用S200生成的网络框架和模型对待检测图像进行底板脱漆故障检测，得到候选框中存在异物的概率值，再根据预先设置的阈值对检测结果进行筛选，将大于阈值的结果作为故障判别的最终结果进行输出。

进一步的，在S400中，具体的，故障识别后，通过子图到大图像、大图像到原始图像的映射关系，计算出故障在原始图像中的位置。

进一步的，在S400后，还包括S500、在计算出故障在原始图像中的位置后，将故障部件信息上传到报警平台，并在显示界面上进行故障显示。

本发明的有以下优点：

1、利用图像自动识别的方式代替人工检测，不仅能够提高检测效率，而且能够极大地提升检测准确率。

2、将深度学习算法应用到底板脱漆破损故障的自动识别中，提高整体算法的稳定性及精度，并有效缩短故障二次检测的时间。

3、对Faster R-CNN网络框架进行优化，通过密度局部回归进行更精准的定位，并用判别式RoI合并方案进行准确的分类，获得了更好的检测精度。

附图说明

图1为本发明的一种高铁底板脱漆故障检测方法的方法流程图；

图2为本发明的故障识别流程图；

图3为Faster R-CNN网络结构图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要特别说明的是，在不冲突的情况下，本申请公开的各个实施例之间或者实施例包括的特征之间可以相互组合。

实施例1、参照图1和图2所示，一种高铁底板脱漆故障检测方法，检测方法包括以下步骤：

S100、建立样本数据集，其中，样本数据集包括扩增后的带有底板的目标区域图像和与扩增后的带有底板的目标区域图像对应的标记文件；

S200、通过样本数据集对底板脱漆故障检测模型进行训练；

S300、通过训练好的底板脱漆故障检测模型对原始图像的底板脱漆故障进行判别；

S400、若判定原始图像存在底板脱漆故障，计算出故障在原始图像中的位置。

实施例2在S100中，具体包括以下步骤：

S110、线阵图像获取：采集高铁列车的全车高清灰度图像；

S120、粗定位：在全车高清灰度图像中，截取带有底板的目标区域图像，形成原始数据集；

S130、数据扩增：对原始数据集进行扩增；

S140、数据标记：对经过扩增后的数据集进行标记，获取与扩增后的数据集一一对应的标记文件，以扩增后的数据集和对应的标记文件作为训练深度学习网络模型的样本数据集。

具体的，在S110中，利用固定设备搭载照相机或摄像机，对高速行驶的高铁进行拍摄，获取全车高清灰度图像；

在S120中、根据硬件的轴距信息和底板的位置等先验知识，从全车图像中剪裁出底板部件，并调整图像大小，减少后续计算量以提高检测速度；

在S130中、由于底板上分布有不同尺寸、样式的格栅、风扇与出水口等部件，不同车型的底板有各自的特征，并且底板故障图像正样本与正常图像负样本存在不平衡问题，为了进一步提高算法的鲁棒性，需对原始数据集进行扩增，扩增形式为对图像进行翻转、缩放、平移等操作。

实施例3、在S110中，具体包括以下步骤：

S111、在高铁沿途两侧搭建高速线阵成像设备；

S112、当高铁通过时，高速线阵成像设备获取高铁各部位的高清线阵灰度图像；

S113、将高铁各部位的高清线阵灰度图像拼接成高铁侧部完整图片。

具体的，在本步骤中，搭建高速成像设备，获取高铁各部位的高清线阵灰度图像，并拼接成列车侧部完整图片。收集不同时间段不同环境下的图像，扩充样本，保证数据样本中存在各种自然干扰，如光照、雨水、泥渍等，增强算法的鲁棒性，保证算法能适用于列车的不同工况。

实施例4、在S120中，具体的，根据硬件的轴距信息和底板的位置先验知识，从全车高清灰度图像中剪裁出带有底板的区域图像，缩小截取部分的图像尺寸，增加目标底板在图像中的相对占比，获得目标区域图像。

具体的，由于检测的底板目标只占列车侧部图像的一部分，且在车身上的位置基本固定，因此根据其轴距信息等先验知识，对目标区域进行截取(即目标图像)，缩小图像尺寸，增加目标在图像中的相对占比，便于模型的训练，并且可以提高识别率。

实施例5、参照图3所示，在S200中，具体包括以下步骤：

S210、将经过数据扩增后的原始数据集作为输入，选取ResNet50特征提取网络作为训练目标检测模型的骨干网络，得到输出特征图；

S220、以ResNet50骨干网络的输出特征图作为RPN网络的输入，生成候选框；

S230、RoI pooling层利用RPN网络生成的候选框和ResNet50骨干网络得到的输出特征图，得到固定大小的候选框特征图，以进行后续的目标分类和定位；

S240、通过判别式RoI合并方案，从候选框特征图的各个子区域进行采样，并执行自适应加权以获得故障特征，进而根据故障特征进行故障分类；在S240中，判别式RoI合并方案，具体的，遍历每一个候选框特征图，保持浮点数边界不做量化，将候选框特征图分割成多个单元，每个单元的边界也不做量化，在每个单元中计算固定的四个坐标位置，固定的四个坐标位置即左上、左下、右上和右下，用双线性内插的方法计算出这四个位置的像素值，然后进行最大池化操作，在每个单元内获得的四个坐标位置被分配相应的权值，以自适应地分配更高的权值给特征更明显的采样点，基于所提取的更明显的特征对故障类型进行分类。

实施例6、在S230后还包括：S250、对固定大小的候选框特征图进行密集局部回归，密集局部回归用于确定目标位置，即脱漆故障位置。

具体的，在S210中，在整个训练过程中，将底板图像作为输入，选取ResNet50特征提取网络作为训练目标检测模型的骨干网络，ResNet网络由4个layer(不算一开始的7×7卷积层和3×3maxpooling层)组成，如表1所示，表1为ResNet50网络架构表，Conv2_x对应layer1，Conv3_x对应layer2，Conv4_x对应layer3，Conv5_x对应layer4。表中的“*3”、“*4”、“*6”等指的是该层由几个相同的结构组成，

表1

首先，由一个7*7的卷积核负责进行特征的抽取，卷积核的步长为2，使得图像的长宽降低为原先的1/2。随后，再经过一个3*3的最大池化层，进一步降低图像的分辨率。然后依次进行四个layer的操作，基本思想为对输入的特征图，使得其通道数扩展为原来的一倍，而长宽都缩减为原先到的1/2。具体而言，每一个阶段都会由下采样块和残差块构成。其中，下采样会设置最初的卷积步长为2，通过这样的方式进行对特征图的下采样，使得长宽得到缩减。而在残差块中，通过对卷积相关参数的设置，可以控制使得残差块的输入和输出的特征图尺寸一致，从而进行处理得到网络的最终输出。

在S220中，RPN网络是用于提取候选框的网络。以ResNet50骨干网络的输出特征图作为RPN网络的输入，经过3*3的卷积处理，得到256维的特征图，在特征图的每个点上设置9个矩形窗口(3种长宽比*3种尺度)，称作锚点，每个描点通过两次全连接得到2个分数和4个坐标。两个分数即为前景(物体)的分数和背景的分数，4个坐标是指针对原图坐标的偏移。然后通过softmax函数判断锚点中是否包含将要检测的物体，再利用边框回归修正锚点获得精确的候选框。

在S230中，RoI pooling层利用RPN网络生成的候选框和ResNet50骨干网络得到的输出特征图，得到固定大小的候选框特征图，以进行后续的目标分类和定位。首先使用spatial_scale参数将候选框映射到输出特征图对应的位置，再将映射后的区域划分为相同大小的的网格，最后对每个网格进行最大池化处理。

在S240中，密集局部回归具有回归位置敏感实数密集偏移的能力，通过减少背景区域对最终框回归的影响的二进制重叠预测策略，进一步改善了密集局部回归，从而进行更精确的定位。将k*k维的RoI特征视为k²个空间相邻的局部特征，这些局部RoI特征通过全卷积网络来预测多个局部框偏移量。局部框偏移量用来预测每个(x_i,y_i)位置的局部特征p_i到真实框左上(x_l,y_t)和右下角(x_r,y_b)的距离。下面四个变量l、t、r、b分别表示在左上右下四个维度上的密集框偏移量，w、h分别表示特征图的宽和高，

l＝(x_i-x_l)/w,t＝(y_i-y_t)/h

r＝(x_r-x_i)/w,b＝(y_b-y_i)/h。

实施例7、在S130中，具体的，扩增形式为对图像进行翻转、缩放和平移。

实施例8、在S300中，具体的，在全车高清灰度图像中裁出底板图像作为待检测图像，调用S200生成的网络框架和模型对待检测图像进行底板脱漆故障检测，得到候选框中存在异物的概率值，再根据预先设置的阈值对检测结果进行筛选，将大于阈值的结果作为故障判别的最终结果进行输出。

具体的，检测结果是故障的位置，每一个检测结果有一个打分，也就是概率值。检测过程中，在全车图像中裁出底板图像作为输入，调用上述Faster R-CNN网络框架和模型对底板脱漆故障进行检测，得到当前位置存在异物的概率值，再根据预先设置的阈值对检测结果进行筛选，将大于阈值的结果作为故障识别的最终结果进行输出。

实施例9、在S400中，具体的，故障识别后，通过子图到大图像、大图像到原始图像的映射关系，计算出故障在原始图像中的位置。

实施例10、在S400后，还包括S500、在计算出故障在原始图像中的位置后，将故障部件信息上传到报警平台，并在显示界面上进行故障显示。

本发明的一种高铁底板脱漆故障检测方法，采用深度学习进行高铁底板脱漆故障检测，可以有效提高检测准确率及检测效率，提高了检测的稳定性。

Claims (10)

1.一种高铁底板脱漆故障检测方法，其特征在于，所述检测方法包括以下步骤：

S100、建立样本数据集，其中，所述样本数据集包括扩增后的带有底板的目标区域图像和与所述扩增后的带有底板的目标区域图像对应的标记文件；

S200、通过所述样本数据集对底板脱漆故障检测模型进行训练；

S300、通过训练好的底板脱漆故障检测模型对原始图像的底板脱漆故障进行判别；

S400、若判定所述原始图像存在底板脱漆故障，计算出故障在原始图像中的位置。

2.根据权利要求1所述的一种高铁底板脱漆故障检测方法，其特征在于，在S100中，具体包括以下步骤：

S110、线阵图像获取：采集高铁列车的全车高清灰度图像；

S120、粗定位：在所述全车高清灰度图像中，截取带有底板的目标区域图像，形成原始数据集；

S130、数据扩增：对原始数据集进行扩增；

S140、数据标记：对经过扩增后的数据集进行标记，获取与扩增后的数据集一一对应的标记文件，以扩增后的数据集和对应的标记文件作为训练深度学习网络模型的样本数据集。

3.根据权利要求2所述的一种高铁底板脱漆故障检测方法，其特征在于，在S110中，具体包括以下步骤：

S111、在高铁沿途两侧搭建高速线阵成像设备；

S112、当高铁通过时，所述高速线阵成像设备获取高铁各部位的高清线阵灰度图像；

S113、将所述高铁各部位的高清线阵灰度图像拼接成高铁侧部完整图片。

4.根据权利要求2所述的一种高铁底板脱漆故障检测方法，其特征在于，在S120中，具体的，根据硬件的轴距信息和底板的位置先验知识，从所述全车高清灰度图像中剪裁出带有底板的区域图像，缩小截取部分的图像尺寸，增加目标底板在图像中的相对占比，获得目标区域图像。

5.根据权利要求4所述的一种高铁底板脱漆故障检测方法，其特征在于，在S200中，具体包括以下步骤：

S210、将经过数据扩增后的原始数据集作为输入，选取ResNet50特征提取网络作为训练目标检测模型的骨干网络，得到输出特征图；

S220、以ResNet50骨干网络的所述输出特征图作为RPN网络的输入，生成候选框；

S230、RoI pooling层利用RPN网络生成的所述候选框和ResNet50骨干网络得到的所述输出特征图，得到固定大小的候选框特征图，以进行后续的目标分类和定位；

S240、通过判别式RoI合并方案，从所述候选框特征图的各个子区域进行采样，并执行自适应加权以获得故障特征，进而根据故障特征进行故障分类；在S240中，所述判别式RoI合并方案，具体的，遍历每一个候选框特征图，保持浮点数边界不做量化，将候选框特征图分割成多个单元，每个单元的边界也不做量化，在每个单元中计算固定的四个坐标位置，所述固定的四个坐标位置即左上、左下、右上和右下，用双线性内插的方法计算出这四个位置的像素值，然后进行最大池化操作，在每个单元内获得的四个坐标位置被分配相应的权值，以自适应地分配更高的权值给特征更明显的采样点，基于所提取的更明显的特征对故障类型进行分类。

6.根据权利要求5所述的一种高铁底板脱漆故障检测方法，其特征在于，在S230后还包括：S250、对所述固定大小的候选框特征图进行密集局部回归，所述密集局部回归用于确定目标位置，即脱漆故障位置。

7.根据权利要求2所述的一种高铁底板脱漆故障检测方法，其特征在于，在S130中，具体的，扩增形式为对图像进行翻转、缩放和平移。

8.根据权利要求1所述的一种高铁底板脱漆故障检测方法，其特征在于，在S300中，具体的，在所述全车高清灰度图像中裁出底板图像作为待检测图像，调用S200生成的网络框架和模型对待检测图像进行底板脱漆故障检测，得到候选框中存在异物的概率值，再根据预先设置的阈值对检测结果进行筛选，将大于阈值的结果作为故障判别的最终结果进行输出。

9.根据权利要求1所述的一种高铁底板脱漆故障检测方法，其特征在于，在S400中，具体的，故障识别后，通过子图到大图像、大图像到原始图像的映射关系，计算出故障在原始图像中的位置。

10.根据权利要求9所述的一种高铁底板脱漆故障检测方法，其特征在于，在S400后，还包括S500、在计算出故障在原始图像中的位置后，将故障部件信息上传到报警平台，并在显示界面上进行故障显示。

Images