CN112258483B - 一种钩尾销插托错位和螺母丢失故障检测方法 - Google Patents

Abstract

一种钩尾销插托错位和螺母丢失故障检测方法，解决了现有钩尾销故障检测效率低的问题，属于货车故障检测技术领域。本发明包括：采集货车底部图像，构建出钩尾销插托装置数据集；建立基于深度神经网路的分割模型，分割模型中引入空间关注层将边缘检测的纹理信息转化成神经网络中更关注的目标，利用钩尾销插托装置数据集对分割模型进行训练，确定分割模型的参数；获取待检测钩尾销插托装置原始图像中的LBP特征，将待检测钩尾销插托装置原始图像和LBP特征叠加后输入到确定参数的分割模型中，分割出钩尾销插托装置图像；对分割出的钩尾销插托装置图像进行判断，判断是否出现钩尾销插托错位和螺母丢失故障，若出现故障，进行报警。

Description

一种钩尾销插托错位和螺母丢失故障检测方法

技术领域

本发明涉及一种基于深度学习的钩尾销插托错位和螺母丢失故障检测方法，属于货车故障检测技术领域。

背景技术

长期以来，车辆段采用人工查看图像的方法对货运列车进行全车检查，一直存在高成本、低效率等问题。同时采用人工查看图像工作枯燥，容易懈怠，有效工作时间有限，效率低下，会出现遗漏部件、误报等情况，难以保障准确率。

钩尾销插托错位和螺母丢失是钩尾销安全装置中重要的部分，能保证列车高速运转下安全运行，对货车进行自动化故障检测具有重要意义。通过对行驶中的货车进行拍摄，获取动车全车图像。结合图像处理、模式识别和深度学习等领域的知识。实现故障自动识别及报警，人工只需对报警结果进行确认，最终实现从人检作业向机检作业的转变，有效节约单位的人力成本，提高作业质量和作业效率。

发明内容

针对现有钩尾销故障检测效率低的问题，本发明提供一种基于深度学习的钩尾销插托错位和螺母丢失故障自动检测方法。

本发明的一种钩尾销插托错位和螺母丢失故障检测方法，其特征在于，该方法包括：

S1、采集货车底部图像，构建出钩尾销插托装置数据集；

S2、建立基于深度神经网路的分割模型，利用钩尾销插托装置数据集对基于深度神经网络的分割模型进行训练，确定分割模型的参数；

S3、获取待检测钩尾销插托装置原始图像中的LBP特征，将待检测钩尾销插托装置原始图像和LBP特征叠加后输入到确定参数的分割模型中，分割出钩尾销插托装置图像；

S4、对分割出的钩尾销插托装置图像进行判断，判断是否出现钩尾销插托错位和螺母丢失故障，若出现故障，进行报警。

作为优选，S2中，分割模型包括骨干网络和空间关注层；骨干网络包括编码器和解码器；

待检测钩尾销插托装置原始图像及其LBP特征叠加输入到编码器，编码器进行编码后，输入至解码器；

采用拉普拉斯边缘检测方法对待检测钩尾销插托装置原始图像进行边缘检测，获取边缘纹理信息，将该边缘纹理信息输入至空间关注层，空间关注层输出带有关注边缘信息的特征图到解码器；

解码器根据带有关注边缘信息的特征图对输入的编码进行解码，输出钩尾销插托装置图像。

作为优选，空间关注层包括依次连接的1个3*3的卷积层、1个1*1的卷积层、1个3*3的卷积层和1个4*4的最大池化层，空间关注层的分辨率设置为64*64。

作为优选，编码器包括6个依次连接的下采样的编码单元，其中前3个编码单元相同，且每个编码单元均包括依次连接的2个3*3的卷积层、激活层、归一化层和最大池化层；

后3个编码单元相同，且每个编码单元均包括依次连接的3个3*3的卷积层、激活层、归一化层和最大池化层。

作为优选，解码器包括6个依次连接的上采样的解码单元，且每个解码单元均包括依次连接的1个3*3的卷积层、1个4*4的转置卷积层和2个激活层。

作为优选，S2还包括：

使用英伟达加速推理引擎对确定参数的分割模型进行转化，转化为8位精度的分割模型。

作为优选，S3中，分别将方向为0°、90°、180°和270°的待检测图像及LBP特征输入到确定参数的分割模型中，分割出0°、90°、180°和270°方向的钩尾销插托装置图像；

根据分割出的0°、90°、180°和270°方向的钩尾销插托装置图像进行预测投票，获取最终钩尾销插托装置图像分割结果。

作为优选，S4中，根据先验知识，按照螺母丢失故障的位置和轮廓信息，采用轮廓算法和水平投影算法，获得分割图像中螺栓、螺母的宽度信息，当获得的螺母宽度不大于螺栓的宽度时，确定螺母丢失，进行报警。

作为优选，S4中，获取分割图像中的插托与外边缘位置的距离，若该距离大于设定值，则判定插托错位。

作为优选，S1包括：

S11、拍摄货车的底部图像，对拍摄的图像中目标所在区域进行标注，一类为钩尾销插托装置，一类为钩尾销安全吊装置，采用SSD检测网络进行训练；

S12、通过训练的SSD网络获取钩尾销插托装置目标区域子图，根据轴距信息和部件位置的先验信息，粗定位获得待识别部件的感兴趣区域图像，建立粗定位的钩尾销插托装置数据集；

S13、对粗定位的钩尾销插托装置数据集中的图像进行标记，获得与粗定位钩尾销插托装置图像相对应的标记掩码GT图像；

S14、对掩码GT图像进行数据扩增，构建出钩尾销插托装置数据集。

本发明的有益效果：本发明采用原始图像和纹理LBP特征信息两通道特征融合，能获得更好的分割效果，特别是小目标和模糊的目标，精度提高。本发明采用拉普拉斯边缘检测结果作为空间关注层的重点关注区域，对模糊的图像会获得更好的结果。本发明在分割过程中采用图块重叠，采用四个方向0°，90°，180°和270°的结果进行判断，使每个边缘像素至少覆盖4次，至少有4次预测投票，此方法能减少Unet边缘区域预测效果不好的缺点。本发明解决由于人工长时间作业，容易枯燥和懈怠，并且相同位置有两种钩尾销结构，需要人工检测难度，且插托错位和螺母丢失较小，检测极易发生漏检和错检。

附图说明

图1为采集的钩尾销插托装置大图；

图2为钩尾销插托装置子图；

图3为钩尾销插托装置错位子图；

图4为钩尾销插托装置螺母丢失子图；

图5为SSD网络的原理示意图；

图6为LBP特征的原理示意图；

图7为LBP和边缘Edge检测结果图对比；

图8为本发明分割模型的原理示意图；

图9为对分割模型输出的分割图像进行螺母丢失逻辑判断后的示意图。

图10为对分割模型输出的分割图像进行插托错位逻辑判断后的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本实施方式的钩尾销插托错位和螺母丢失故障检测方法，利用固定设备搭载线阵相机，对高速运动的货车进行拍摄，拍摄货车的底部图像。根据轴距信息和部件的位置的先验信息，在线阵图像大图中获得包含部件的粗定位感兴趣区域。对粗定位图像进行标记及数据扩增操作，构建钩尾销插托装置数据集，作为分割模型的训练集，确定了分割模型的参数。采用原始图像和LBP特征作为输入特征，利用分割模型对拍摄到的部件图像判断是否为故障图像，如果是则对故障区进行报警，本实施方式的故障包括钩尾销插托错位和螺母丢失，分别如图3和图4所示。

本实施方式采用原始图像和纹理LBP特征信息两通道特征融合，能获得更好的分割效果，特别是小目标和模糊的目标，精度提高。

本实施方式的钩尾销插托错位和螺母丢失故障检测方法，包括步骤一至步骤四：

步骤一：采集货车底部图像，构建出钩尾销插托装置数据集，钩尾销插托装置数据集包括钩尾销插托装置的原始图像和LBP特征。

步骤1：原始数据准备。

利用固定设备搭载线阵相机，对高速运动的货车进行拍摄，拍摄货车的底部图像，获取线阵图像，对拍摄大图中目标所在区域进行标注，并采用SSD(Single Shot MultiboxDetector)检测网络进行训练，SSD网络如图5所示，为避免两种钩尾销混淆，本实施方式标记两类，一类为钩尾销插托装置，一类为钩尾销安全吊装置，如图1所示，其中左侧框内为钩尾销插托装置，右侧框为钩尾销安全吊装置。通过训练的SSD网络获取钩尾销插托装置目标区域子图，如图2所示，有效的提高了后续故障检测的精度和速度。根据粗定位获得待识别部件的感兴趣区域图像，建立粗定位的钩尾销插托装置数据集。

步骤2：数据标记

对粗定位的钩尾销插托装置数据集中的图像进行标记，获得与粗定位钩尾销插托装置图像相对应的标记掩码GT(Ground Truth)图像。

步骤3：数据扩增

数据集采用对比度增强、直方图均衡化、图像缩放、模糊处理等图像处理方式进行数据扩增操作。

由于列车车速、室外阳光和天气变化等干扰因素的影响，行驶中的货车线阵图像经常出现亮度不同、对比度不同，图像拉伸等问题，针对滚动轴承施封锁装置图像的对比度和图像拉伸问题，采用对比度增强、直方图均衡化和图像缩放进行处理，既能丰富训练样本，也能提高分割模型的鲁棒性。

步骤二：建立基于深度神经网路的分割模型，利用钩尾销插托装置数据集对基于深度神经网络的分割模型进行训练，确定分割模型的参数；

钩尾销插托错位和螺母丢失是钩尾销安全装置中重要的部分，能保证列车高速运转下安全运行，对货车进行自动化故障检测具有重要意义，通过分割出钩尾销插托、螺母和螺栓等部件，进一步判断故障形态，传统的分割方法中，容易受到噪声的干扰，容易过分割，而采用深度学习分割方法会出现对局部模糊的地方分割效果较差，所以，对待检测的原始图像和LBP特征两通道特征进行融合，并根据传统给拉普拉斯边缘的结果引入空间关注层，用来解决模糊的小目标问题，发挥传统和深度学习的优势。

LBP特征是一种简单但非常有效的纹理描述符。LBP特征提取过程是通过阈值图像的空间邻域来标记图像的每个像素。LBP特征提取的示例在图6中示出。LBP特征实质上记录了像素块内的相对顺序，捕获了边缘，斑点和其他局部结构的信息。

选择LBP特征原因是因为LBP包含更丰富的结构信息，能分割获得过更好的细纹理信息，且LBP特征提取的复杂度较低，并且涉及的参数很少，更易于训练和收敛。LBP特征相比于其他边缘特征，边缘分割的效果更好如图7所示。

本实施方式基于深度神经网络的分割模型，如图8所示，包括骨干网络和空间关注层；

骨干网络包括编码器和解码器，其中构建编码器，

采用6个依次连接的下采样的编码单元，其中前3个相同编码单元是由依次连接两个3*3的卷积层、激活层ReLU(Rectified Linear Unit)、归一化层BN(BN：BatchNormalization)和最大池化层组成，另外后3个相同的编码单元是由依次连接的3个3*3的卷积层、激活层ReLU(Rectified Linear Unit)、归一化层BN(BN：Batch Normalization)和最大池化层组成，一共采用12个卷积层进行特征提取和6个池化层进行下采样，并且加入归一化层能加速分割模型的训练速度，防止梯度消失和爆炸。

构建解码器：解码器采用依次连接的6个上采样的解码单元，每个解码单元包含一个卷积核大小为3*3的卷积层，一个4*4的转置卷积层，两个激活层ReLU层。

本实施方式的空间关注层：由于钩尾销插托错位和螺母丢失是钩尾销安全装置中螺母和螺栓位置存在模糊问题，所以这里引入了一个空间关注层，空间关注层将传统边缘检测的主要纹理信息转化成神经网络中更关注的目标，是原图采用拉普拉斯边缘检测的结果，利用拉普拉斯边缘检测的纹理结果，更关注边缘附近的点，给予更大的权重，使模糊区域的权重更大，并且经过实验，空间关注层放在特征图64*64的层更好，因为图像中螺母的尺寸是24*24像素左右，这一层的语义信息更加丰富，也能获得更好的识别结果。

本实施方式的空间关注层是对输入的拉普拉斯边缘信息进行卷积单元操作，空间关注层的卷积单元由依次连接的1个3*3的卷积层，1个1*1的卷积层，1个3*3的卷积层和1个4*4的最大池化层组成。空间关注层中执行卷积滤波器的大量操作可能会导致GPU的内存开销。影响计算时间的主要因素之一是特征图的大小，空间关注层的特征图越大，就需要更多的计算资源。但是如果特征图很小的话，则会由于目标钩尾销插托螺母尺寸较小而降低性能。为了在效率和性能之间取得更好的平衡，我们将空间关注层的分辨率设置为64*64。

步骤三、获取待检测钩尾销插托装置原始图像中的LBP特征，将待检测钩尾销插托装置原始图像和LBP特征叠加后输入到确定参数的分割模型中，分割出钩尾销插托装置图像，包括：

步骤1：加速推理引擎加速

由于货车自动识别系统对检测部件的实时性要求较高，针对施封锁分割模型的实时性问题，使用英伟达加速推理引擎TensorRT进行模型转化，把训练好的神经网络的分割模型权重模型精度从32位转换成8位精度，减少神经网络的计算量，进而达到加速目的。

步骤2：对分割模型的结果进行预测

获得货车线阵图像，对线阵图像采用直方图均衡化进行图像增强，加载转换成8位精度的神经网络的分割模型权重，分别将方向为0°，90°，180°和270°的待检测图像及LBP特征输入到确定参数的分割模型中，分割出0°，90°，180°和270°方向的钩尾销插托装置图像；使每个边缘像素至少覆盖4次，至少由4次预测投票，此方法能减少Unet边缘区域预测效果不好的缺点。

步骤四：对分割出的钩尾销插托装置图像进行判断，判断是否出现钩尾销插托错位和螺母丢失故障，若出现故障，进行报警：

根据先验知识，按照螺母丢失故障的位置和轮廓信息，采用轮廓算法和水平投影算法，获得分割图像中螺栓、螺母的宽度信息，根据螺母大于螺栓的宽度，进行螺母丢失的判断，如图9所示。

钩尾销插托错位分割图如图10所示，根据分割出的插托和边缘位置的距离进行判断，正常情况下，是距离小于5像素以内，错位是插托于边缘位置距离大于10像素。

步骤五：上传报警平台

根据预测结果，生成相应的故障码，将钩尾销插托错位和螺母丢失的相关故障的信息，上传报警平台。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (9)

1.一种钩尾销插托错位和螺母丢失故障检测方法，其特征在于，所述方法包括：

S1、采集货车底部图像，构建出钩尾销插托装置数据集；

S2、建立基于深度神经网路的分割模型，利用钩尾销插托装置数据集对基于深度神经网络的分割模型进行训练，确定所述分割模型的参数；

S3、获取待检测钩尾销插托装置原始图像中的LBP特征，将待检测钩尾销插托装置原始图像和所述LBP特征叠加后输入到确定参数的分割模型中，分割出钩尾销插托装置图像；

S4、对分割出的钩尾销插托装置图像进行判断，判断是否出现钩尾销插托错位和螺母丢失故障，若出现故障，进行报警；

S2中，分割模型包括骨干网络和空间关注层；所述骨干网络包括编码器和解码器；

待检测钩尾销插托装置原始图像及其LBP特征叠加输入到编码器，编码器进行编码后，输入至解码器；

采用拉普拉斯边缘检测方法对待检测钩尾销插托装置原始图像进行边缘检测，获取边缘纹理信息，将该边缘纹理信息输入至空间关注层，空间关注层输出带有关注边缘信息的特征图到解码器；

解码器根据带有关注边缘信息的特征图对输入的编码进行解码，输出钩尾销插托装置图像；

所述空间关注层包括依次连接的1个3*3的卷积层、1个1*1的卷积层、1个3*3的卷积层和1个4*4的最大池化层。

2.根据权利要求1所述的钩尾销插托错位和螺母丢失故障检测方法，其特征在于，空间关注层的分辨率设置为64*64。

3.根据权利要求1所述的钩尾销插托错位和螺母丢失故障检测方法，其特征在于，编码器包括6个依次连接的下采样的编码单元，其中前3个编码单元相同，且每个编码单元均包括依次连接的2个3*3的卷积层、激活层、归一化层和最大池化层；

后3个编码单元相同，且每个编码单元均包括依次连接的3个3*3的卷积层、激活层、归一化层和最大池化层。

4.根据权利要求3所述的钩尾销插托错位和螺母丢失故障检测方法，其特征在于，解码器包括6个依次连接的上采样的解码单元，且每个解码单元均包括依次连接的1个3*3的卷积层、1个4*4的转置卷积层和2个激活层。

5.根据权利要求4所述的钩尾销插托错位和螺母丢失故障检测方法，其特征在于，所述S2还包括：

使用英伟达加速推理引擎对确定参数的分割模型进行转化，转化为8位精度的分割模型。

6.根据权利要求4所述的钩尾销插托错位和螺母丢失故障检测方法，其特征在于，所述S3中，分别将方向为0°、90°、180°和270°的待检测图像及LBP特征输入到确定参数的分割模型中，分割出0°、90°、180°和270°方向的钩尾销插托装置图像；

根据分割出的0°、90°、180°和270°方向的钩尾销插托装置图像进行预测投票，获取最终钩尾销插托装置图像分割结果。

7.根据权利要求6所述的钩尾销插托错位和螺母丢失故障检测方法，其特征在于，所述S4中，根据先验知识，按照螺母丢失故障的位置和轮廓信息，采用轮廓算法和水平投影算法，获得分割图像中螺栓、螺母的宽度信息，当获得的螺母宽度不大于螺栓的宽度时，确定螺母丢失，进行报警。

8.根据权利要求6所述的钩尾销插托错位和螺母丢失故障检测方法，其特征在于，所述S4中，获取分割图像中的插托与外边缘位置的距离，若该距离大于设定值，则判定插托错位。

9.根据权利要求6所述的钩尾销插托错位和螺母丢失故障检测方法，其特征在于，所述S1包括：

S11、拍摄货车的底部图像，对拍摄的图像中目标所在区域进行标注，一类为钩尾销插托装置，一类为钩尾销安全吊装置，采用SSD检测网络进行训练；

S12、通过训练的SSD网络获取钩尾销插托装置目标区域子图，根据轴距信息和部件位置的先验信息，粗定位获得待识别部件的感兴趣区域图像，建立粗定位的钩尾销插托装置数据集；

S13、对粗定位的钩尾销插托装置数据集中的图像进行标记，获得与粗定位钩尾销插托装置图像相对应的标记掩码GT图像；

S14、对掩码GT图像进行数据扩增，构建出钩尾销插托装置数据集。

Images