CN113989265A

CN113989265A - 基于深度学习的速度传感器螺栓丢失故障识别方法

Info

Publication number: CN113989265A
Application number: CN202111333608.2A
Authority: CN
Inventors: 张宇墨
Original assignee: Harbin Kejia General Mechanical and Electrical Co Ltd
Current assignee: Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date: 2021-11-11
Filing date: 2021-11-11
Publication date: 2022-01-28
Anticipated expiration: 2041-11-11
Also published as: CN113989265B

Abstract

一种基于深度学习的速度传感器螺栓丢失故障识别方法，属于货车故障识别技术领域。本发明为解决现有货车速度传感器的检测方法效率低并且识别精度差的问题。包括：获得货车的速度传感器图像；采用一级Faster RCNN网络和二级Faster RCNN网络作为速度传感器图像的检测网络；将两级Faster RCNN网络中现有区域建议网络FPN替换为改进后区域建议网络FPN，Faster RCNN网络中现有目标检测网络Fast RCNN替换为改进后目标检测网络Fast RCNN；采用一级Faster RCNN网络获得速度传感器的位置信息；采用二级FasterRCNN网络获得螺栓故障的识别结果。本发明用于速度传感器螺栓丢失故障的检测。

Description

基于深度学习的速度传感器螺栓丢失故障识别方法

技术领域

本发明涉及基于深度学习的速度传感器螺栓丢失故障识别方法，属于货车故障识别技术领域。

背景技术

目前对目标物体故障识别的方法包括：采用传统图像处理的方法检测零部件异常以及采用深度学习方法基于目标检测和物体识别来检测零部件异常。

目前的目标检测方法存在以下问题：

1)采用传统图像处理方法检测零部件异常需要人工设计激励特征，工作量大且鲁棒性较低；同时基于滑动窗口的区域选择策略没有针对性，时间复杂度高。

2)基于深度学习的目标检测方法虽然具有一定的泛化能力，但要求大量的数据，并受环境噪声的影响，泛化能力也随之降低。而且，在网络训练过程中，如果不同类别的样本数量相差较大时，识别效果会受到影响。

发明内容

针对现有货车速度传感器的检测方法效率低并且识别精度差的问题，本发明提供一种基于深度学习的速度传感器螺栓丢失故障识别方法。

本发明的一种基于深度学习的速度传感器螺栓丢失故障识别方法，包括，

获得货车的速度传感器图像；

采用一级Faster RCNN网络和二级Faster RCNN网络作为速度传感器图像的检测网络；

一级Faster RCNN网络和二级Faster RCNN网络的结构相同；

将两级Faster RCNN网络中现有区域建议网络FPN替换为改进后区域建议网络FPN，Faster RCNN网络中现有目标检测网络Fast RCNN替换为改进后目标检测网络FastRCNN；

根据速度传感器图像的采集时间确定每个速度传感器对应的图像组；再以图像组为单位，采用一级Faster RCNN网络对每张速度传感器图像中的速度传感器进行定位，获得速度传感器的位置信息；

根据位置信息获得图像组中每个速度传感器图像的传感器子图，采用二级FasterRCNN网络对传感器子图进行螺栓检测，将传感器子图分为螺栓正常类与螺栓丢失类，同时对应螺栓正常类的传感器子图，输出螺栓子图的位置信息；对螺栓正常类与螺栓丢失类图像组分别进行判定，获得螺栓故障的判定结果；

改进后区域建议网络FPN的网络结构包括：

在现有区域建议网络FPN的输出端增加特征融合及细化模块；所述特征融合及细化模块对现有区域建议网络FPN输出的不同层次的特征利用插值与最大池化进行重采样，获得分辨率相同的最终不同层次特征；并根据最终不同层次特征获得融合特征，使融合特征具备所有最终不同层次特征的语义层次；

改进后目标检测网络Fast RCNN的网络结构包括：

在现有目标检测网络Fast RCNN的分类单元中，将原有的交叉熵损失替换为焦点损失函数。

根据本发明的基于深度学习的速度传感器螺栓丢失故障识别方法，所述速度传感器图像的获得过程包括：

通过货车轨道两侧设置的摄像头获取基础图像；

根据货车车型和先验知识由基础图像中提取获得速度传感器初始图像；

对速度传感器初始图像采用高斯滤波进行处理，得到滤波后传感器图像；

再对滤波后传感器图像进行扩增，得到速度传感器图像。

根据本发明的基于深度学习的速度传感器螺栓丢失故障识别方法，高斯滤波的方法包括：

式中G(x,y)为滤波后传感器图像，σ为标准差，x为速度传感器初始图像的横轴像素坐标，y为速度传感器初始图像的纵轴像素坐标。

根据本发明的基于深度学习的速度传感器螺栓丢失故障识别方法，所述摄像头采用面阵拍摄。

根据本发明的基于深度学习的速度传感器螺栓丢失故障识别方法，根据速度传感器图像的采集时间确定每个速度传感器对应的图像组的方法包括：

对于一次面阵拍摄时间范围内连续拍摄的连续编号的速度传感器图像，确定为一个图像组。

根据本发明的基于深度学习的速度传感器螺栓丢失故障识别方法，对螺栓正常类图像组，螺栓故障的判定方法包括：若根据螺栓子图的位置信息，在对应于每个图像组的传感器子图中检测到的正常类螺栓少于目标数量，则螺栓故障的判定结果为发生螺栓故障。

根据本发明的基于深度学习的速度传感器螺栓丢失故障识别方法，所述目标数量包括4个。

根据本发明的基于深度学习的速度传感器螺栓丢失故障识别方法，对螺栓正常类图像组，若对应于每个图像组的传感器子图中检测到的正常类螺栓不少于目标数量，则螺栓故障的判定方法还包括：

采用OPENCV图像开发工具调用函数threshold，将根据位置信息确定的螺栓子图转化为二值图；

对螺栓子图的二值图，设置以二值图中心点为核心的黑色像素区域面积阈值，若二值图中以中心点为核心的黑色像素块面积大于黑色像素区域面积阈值，则判定发生螺栓故障。

根据本发明的基于深度学习的速度传感器螺栓丢失故障识别方法，二级FasterRCNN网络在判定发生螺栓故障后，发出当前速度传感器螺栓故障的报警信号。

根据本发明的基于深度学习的速度传感器螺栓丢失故障识别方法，对滤波后传感器图像进行扩增的方法包括：

对滤波后传感器图像进行对比度调整、亮度调整以及平移。

本发明的有益效果：本发明方法可有效地对速度传感器进行定位，并判断速度传感器上的螺栓是否存在丢失故障，如果存在故障则对故障区域进行报警。

本发明将自动识别技术引入货车传感器故障检测，可实现故障自动识别及报警，人工只需对报警结果进行确认，可有效节约人力成本，提高作业质量和作业效率；本发明采用了分级式的检测方法，先对速度传感器进行定位，之后对该区域进行二次检测，解决了因复杂背景影响产生大量虚警的问题；本发明对现有Faster RCNN网络进行改进，利用深度整合的均衡语义特征来强化多层次特征；同时使用焦点损失函数，通过减少易分类样本的权重，使得模型在训练时更专注于难分类的样本，解决样本不均衡的问题，提高检测准确率。

附图说明

图1是本发明所述基于深度学习的速度传感器螺栓丢失故障识别方法的流程图；

图2是现有Faster RCNN网络的网络结构图；

图3是现有区域建议网络FPN的网络结构图；

图4是改进后区域建议网络FPN的网络结构图；

图5是一个图像组中第一张速度传感器图像；

图6是一个图像组中第二张速度传感器图像；

图7是一个图像组中第三张速度传感器图像；

图8对应图5的第一张传感器子图；

图9对应图6的第二张传感器子图；

图10对应图7的第三张传感器子图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

具体实施方式一、结合图1至图4所示，本发明提供了一种基于深度学习的速度传感器螺栓丢失故障识别方法，包括，

获得货车的速度传感器图像；

一级Faster RCNN网络和二级Faster RCNN网络的结构相同；

改进后区域建议网络FPN的网络结构包括：

改进后目标检测网络Fast RCNN的网络结构包括：

本实施方式中，一级Faster RCNN网络和二级Faster RCNN网络在使用前，采用样本图像进行训练，使其具备预期的检测功能。

本实施方式中，对Faster RCNN网络的特征金字塔网络进行改进，可利用深度整合的均衡语义特征来强化多层次特征。

网络介绍及优化：

本发明采用Faster RCNN网络作为检测网络。Faster RCNN有区域建议网络(RPN)和目标检测网络Fast RCNN组成，网络示意图如图2所示。Faster RCNN采用交替训练使两个网络共享卷积层，区域建议网络采用“注意力”机制产生候选区域，并利用Fast RCNN进行目标检测。同时，Faster RCNN网络中可以使用特征金字塔网络，同时利用低层特征高分辨率和高层特征的高语义信息，融合不同层的特征提升检测精度。

1)区域建议网络的基本思想是在特征图中找到所有可能的目标候选区域，以任意大小的图像作为输入，输出一组矩形的目标提议。为了生成区域提议，将输入特征映射的n×n空间窗口作为输入，每个滑动窗口映射到一个低维特征，并被输入到边框回归层和分类层。区域建议网络在每个滑动位置预测多个区域提议，预测不同尺度和长宽的候选区域，在原始的网络中，每个滑动窗口产生9种锚框，包括边长为128、256和512三种尺度以及1:1、1:2和2:1三种比例。

2)Fast RCNN目标检测网络的基本思想是得到最终物体的位置和相应的概率。检测网络与区域建议网络相同，都是利用卷积层对图像进行特征提取，因此与区域建议网络共享权值。其中，分类损失如下：

其中，p_i表示第i个样本预测为真实标签的概率，p_i*表示真实标签，其取值在第i个样本为正样本时为1，负样本时为0。

回归损失如下：

其中ti表示第i个锚框的边界框位置坐标，ti*表示第i个锚框的真实标签位置坐标。

L1表示最小绝对值误差；

因此网络的整体损失函数如下：

其中L表示整体损失，Ncls表示一批数据中所有样本的数量，Lcls表示分类损失，λ表示平衡分类损失与回归损失的参数，Nreg表示RPN生成的锚框位置个数，Lreg表示回归损失。

3)在卷积神经网络的前向传播过程中，特征图的分辨率会不断变化，而特征金字塔网络在原来的网络中进行了修改，在每个分辨率的特征图引入后一层的特征图，进行缩放并相加，如图3所示。通过这样的连接，每一层预测所用的特征图都融合了不同分辨率、不同语义强度的特征，融合的不同分辨率的特征图分别做对应分辨率大小的物体检测。这样保证了每一层都有合适的分辨率以及强语义特征。同时，由于此方法只是在原网络基础上加上了额外的跨层连接，在实际应用中几乎不增加额外的时间和计算量。

对网络的优化：

1)特征金字塔网络提出了横向连接的概念，与这种利用横向连接来整合多层次特征的方法不同，本发明的核心思想是利用深度整合的均衡语义特征来强化多层次特征。改进后的FPN结构如图4所示，包括尺寸调节、特征融合与特征细化。

图4中，首先将不同层次的特征(C2,C3,C4,C5)利用插值与最大池化进行重采样，使特征分辨率相同，这样可以在整合多层次特征的同时保持它们的语义层次。之后，计算融合特征，计算方式如下：

式中C为融合后的特征，L为总的特征层数，l_max与l_min分别表示最底层和最高层的特征，C_l表示第l层的特征。

最后，利用高斯非局部均值方法对特征进行细化，进一步丰富特征信息，细化后的特征(P2,P3,P4,P5)用于后续目标检测任务中。

2)在分类任务中，二分类交叉熵损失函数如下：

其中L_cross为交叉熵损失，y为样本的真实标签，y’为模型对样本的预测值。在样本不均衡时，样本量大的类别相对容易区分，损失值较小，但是由于数量大，累积起来的损失仍然大于样本量小的类别产生的损失。因此，普通的交叉熵损失难以在样本不均衡时产生很好的检测结果。因此，本发明中使用焦点损失(Focal loss)作为网络的分类损失，焦点损失函数如下：

式中L_fl表示焦点损失，a表示平衡正负样本比例不均匀的因子，γ表示平衡样本不均衡的因子。

进一步，所述速度传感器图像的获得过程包括：

通过货车轨道两侧设置的摄像头获取基础图像；作为示例，基础图像可以为多个大小为1920×1200的图像；

再对滤波后传感器图像进行扩增，得到速度传感器图像。

本实施方式中利用在货车轨道两侧以及底部搭建的高清成像设备，对高速通过的货车进行拍摄，获取货车侧部的高清图像。

根据列车车型和先验知识对货车包含可能发生故障的速度传感器图像进行提取，得到包含速度传感器的初始图像，速度传感器初始图像的获取可有效减少故障识别所需时间并降低环境背景干扰，提升识别准确率。

再进一步，针对相机拍摄过程中可能出现的椒盐噪声等干扰，采用高斯滤波对图片进行处理，过滤噪声。高斯滤波的方法包括：

作为示例，所述摄像头采用面阵拍摄。由于采用面阵拍摄，所以存在同一个速度传感器在多张图像中存在的情况，如图5至图7所示。

再进一步，根据速度传感器图像的采集时间确定每个速度传感器对应的图像组的方法包括：

对于一次面阵拍摄时间范围内连续拍摄的连续编号的速度传感器图像，确定为一个图像组。利用一级Faster-RCNN网络对速度传感器进行定位并分组，将所有图像中的速度传感器进行准确定位，并利用图像编号将同一个速传归为一组，为后续步骤提供基础。

进一步，结合图5至图10所示，对螺栓正常类图像组，螺栓故障的判定方法包括：若根据螺栓子图的位置信息，在对应于每个图像组的传感器子图中检测到的正常类螺栓少于目标数量，则螺栓故障的判定结果为发生螺栓故障。在传感器子图的检测中，可能出现网络既没有检测到正常螺栓也没有检测到故障螺栓的情况，在螺栓少于目标数量的情况下选择报警可确保不会出现有故障未报警的情况发生。

作为示例，所述目标数量包括4个。

若一个速度传感器具有目标数量的正常类螺栓，则进行下一步检测，若正常类螺栓不足目标数量或者有丢失类螺栓则报警。

再进一步，结合图5至图10所示，对螺栓丢失类图像组，若对应于每个图像组的传感器子图中检测到的正常类螺栓不少于目标数量，则螺栓故障的判定方法还包括：

对螺栓子图的二值图，设置以二值图中心点为核心的黑色像素区域面积阈值，若二值图中以中心点为核心的黑色像素块面积大于黑色像素区域面积阈值，则认为发生了螺栓丢失，判定发生螺栓故障。

再进一步，二级Faster RCNN网络在判定发生螺栓故障后，发出当前速度传感器螺栓故障的报警信号。

由于货车部件可能受到雨水、泥渍等自然条件或人为条件的影响，以及不同站点拍摄的图像可能存在差异，速度传感器图像可能会有一定差异。因此可对图像进行扩增。

作为示例，对滤波后传感器图像进行扩增的方法包括：

对滤波后传感器图像进行对比度调整、亮度调整以及平移。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。

Claims

1.一种基于深度学习的速度传感器螺栓丢失故障识别方法，其特征在于包括，

获得货车的速度传感器图像；

一级Faster RCNN网络和二级Faster RCNN网络的结构相同；

将两级Faster RCNN网络中现有区域建议网络FPN替换为改进后区域建议网络FPN，Faster RCNN网络中现有目标检测网络Fast RCNN替换为改进后目标检测网络Fast RCNN；

改进后区域建议网络FPN的网络结构包括：

改进后目标检测网络Fast RCNN的网络结构包括：

2.根据权利要求1所述的基于深度学习的速度传感器螺栓丢失故障识别方法，其特征在于，所述速度传感器图像的获得过程包括：

通过货车轨道两侧设置的摄像头获取基础图像；

再对滤波后传感器图像进行扩增，得到速度传感器图像。

3.根据权利要求2所述的基于深度学习的速度传感器螺栓丢失故障识别方法，其特征在于，高斯滤波的方法包括：

4.根据权利要求2所述的基于深度学习的速度传感器螺栓丢失故障识别方法，其特征在于，所述摄像头采用面阵拍摄。

5.根据权利要求4所述的基于深度学习的速度传感器螺栓丢失故障识别方法，其特征在于，根据速度传感器图像的采集时间确定每个速度传感器对应的图像组的方法包括：

6.根据权利要求1所述的基于深度学习的速度传感器螺栓丢失故障识别方法，其特征在于，对螺栓正常类图像组，螺栓故障的判定方法包括：

若根据螺栓子图的位置信息，在对应于每个图像组的传感器子图中检测到的正常类螺栓少于目标数量，则螺栓故障的判定结果为发生螺栓故障。

7.根据权利要求6所述的基于深度学习的速度传感器螺栓丢失故障识别方法，其特征在于，所述目标数量包括4个。

8.根据权利要求6所述的基于深度学习的速度传感器螺栓丢失故障识别方法，其特征在于，对螺栓正常类图像组，若对应于每个图像组的传感器子图中检测到的正常类螺栓不少于目标数量，则螺栓故障的判定方法还包括：

9.根据权利要求1至8中任一项所述的基于深度学习的速度传感器螺栓丢失故障识别方法，其特征在于，二级Faster RCNN网络在判定发生螺栓故障后，发出当前速度传感器螺栓故障的报警信号。

10.根据权利要求2所述的基于深度学习的速度传感器螺栓丢失故障识别方法，其特征在于，对滤波后传感器图像进行扩增的方法包括：

对滤波后传感器图像进行对比度调整、亮度调整以及平移。