CN112733747A - 一种缓解阀拉杆脱落故障的识别方法、系统及装置 - Google Patents

Abstract

一种缓解阀拉杆脱落故障的识别方法、系统及装置，属于图像检测技术领域。本发明是为了解决现有的检测方法存在的检测准确率低的问题以及检测速度慢的问题。本发明首先获取待检测缓解阀图像，输入Faster R‑CNN网络进行检测，检测是否存在缓解阀拉杆脱落故障；Faster R‑CNN网络的处理过程中首先，通过特征提取网络提取特征图，然后通过RPN网络推荐候选区域，将特征图和推荐候选区域作为分类分支网络和回归分支网络的输入，利用分类分支网络和回归分支网络得到识别结果。本发明用于缓解阀拉杆脱落故障的识别。

Description

一种缓解阀拉杆脱落故障的识别方法、系统及装置

技术领域

本发明涉及缓解阀拉杆脱落故障识别方法、系统及装置。属于图像检测技术领域。

背景技术

当机车和车厢相连组成列车运行时，制动、缓解等操作都由司机通过驾驶台上的手柄来完成；而当机车和车厢脱离时，总风管处于常压状态，车厢就会自己制动以防止溜滑，如果这时需要移动车厢，就必须使用“缓解阀”使车厢的制动闸瓦缓解。另外如果列车运行时司机发现因风管故障而不能正常缓解时，也可以使用缓解阀帮助缓解。缓解阀主要由阀上体、阀下体、拉杆等零部件组成。缓解阀拉杆在列车行驶中，容易受到震动而脱落甚至丢失。缓解阀拉杆的脱落或者丢失会影响到列车制动，进而造成行车危险，因此对缓解阀拉杆脱落、丢失故障的检测变的尤为重要。

现有对此故障的检测主要依靠人工检测，即用人眼对故障进行查找分辨。人工法是一个耗时耗力的方法，且检测者会产生视觉疲劳，从而造成漏检、错检的情况发生，且不可以在列车运行时对其进行检测。

利用现有的图像检测技术进行检测时，往往存在检测准确率低的问题，以及检测速度较慢的问题。

发明内容

本发明是为了解决现有的检测方法存在的检测准确率低的问题以及检测速度慢的问题。

一种缓解阀拉杆脱落故障的识别方法，包括以下步骤：

获取待检测缓解阀图像，输入Faster R-CNN网络进行检测，检测是否存在缓解阀拉杆脱落故障；

Faster R-CNN网络的处理过程包括以下步骤：

首先，通过特征提取网络提取特征图；

然后，通过RPN网络推荐候选区域，候选区域即锚框，锚框与待检测缓解阀图像大小比例为s，s∈(0,1]，宽高比为r，r＞0，锚框的宽和高分别为

和

h、w为输入RPN网络图像的高和宽；所述的s和r的确定过程如下：

在Faster R-CNN网络的训练过程中，通过对训练集中标注的目标框进行聚类，得到锚框与缓解阀图像大小比例s和宽高比为r；

然后将特征图和推荐候选区域作为分类分支网络和回归分支网络的输入，利用分类分支网络和回归分支网络得到识别结果。

进一步地，s＝[0.25,0.5,0.75]。

进一步地，r＝[0.35,0.5,1]。

进一步地，在将特征图输入分类分支网络和回归分支网络之前需要对调整特征图的大小，采用PrRoI Pooling对特征图的大小进行调整。

进一步地，特征提取网络为ResNet-50。

进一步地，获取待检测缓解阀图像的过程包括以下步骤：

采集包括缓解阀区域的待检测图像，利用F₁和F₂对包括缓解阀区域的待检测图像进行滤波处理：

然后对滤波处理后的图像进行切割，获得缓解阀子图，即待检测缓解阀图像。

进一步地，Faster R-CNN网络为预先训练好的，具体训练过程包括以下步骤：

采集包括缓解阀区域的过车图像，利用F₁和F₂对包括缓解阀区域的过车图像进行滤波处理，然后对滤波处理后的图像进行切割，获得缓解阀子图；

缓解阀拉杆脱落故障包括拉杆与吊架分离、拉杆与阀体分离、拉杆连接吊架与列车分离、缓解阀两侧拉杆分离，缓解阀丢失故障包括拉杆与列车脱离；利用软件对以上故障形态在缓解阀子图上进行模拟处理，然后进行数据增强，数据增强方法包括调整亮度、调整对比度、平移；

使用LabelImg软件对数据增强后的图像进行故障标记，生成与缓解阀子图相对应的带有图像信息、故障位置坐标、名称信息的文件；进行故障标记后的文件构成训练的样本集；

利用样本集对Faster R-CNN网络进行训练。

一种缓解阀拉杆脱落故障的识别系统，用于执行一种缓解阀拉杆脱落故障的识别方法。

一种缓解阀拉杆脱落故障的识别装置，用于运行一种缓解阀拉杆脱落故障的识别系统。

有益效果：

1.利用本发明对缓解阀拉杆脱落(丢失)故障进行识别检测，有效的避免了人工检测时因为疲劳和个人评判差异造成的识别误差，从而极大地提高检测准确率。

2.相比于人工检测，深度学习方法可以提高检测效率，且可以在列车运行时对其进行拍摄检测，具有实时性。

3.相比其他现有的图像检测技术，本发明Faster R-CNN网络提升了模型的识别精度，减少了训练参数，提高了训练速率，避免资源浪费。

附图说明

图1为具体实施方式一的流程图；

图2为Resnet-50Bottleneck结构示意图；

图3为Resnet-50网络结构示意图。

具体实施方式

需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。

具体实施方式一：参照图1具体说明本实施方式，

本实施方式为一种缓解阀拉杆脱落故障的识别方法，包括以下步骤：

获取待检测缓解阀图像，输入Faster R-CNN网络进行检测，检测是否存在缓解阀拉杆脱落故障；

Faster R-CNN网络的处理过程包括以下步骤：

首先，通过特征提取网络提取特征图；

然后，通过RPN网络推荐候选区域，候选区域即锚框，锚框与待检测缓解阀图像大小比例为s，s∈(0,1]，宽高比为r，r＞0，锚框的宽和高分别为

和

h、w为输入RPN网络图像的高和宽；所述的s和r的确定过程如下：

在Faster R-CNN网络的训练过程中，通过对训练集中标注的目标框进行聚类，得到锚框与缓解阀图像大小比例s和宽高比为r；

然后将特征图和推荐候选区域作为分类分支网络和回归分支网络的输入，利用分类分支网络和回归分支网络得到识别结果。

具体实施方式二：

本实施方式为一种缓解阀拉杆脱落故障的识别方法，s＝[0.25,0.5,0.75]。

其他步骤和参数与具体实施方式一相同。

具体实施方式三：

本实施方式为一种缓解阀拉杆脱落故障的识别方法，r＝[0.35,0.5,1]。

其他步骤和参数与具体实施方式一或二相同。

具体实施方式四：

本实施方式为一种缓解阀拉杆脱落故障的识别方法，在将特征图输入分类分支网络和回归分支网络之前需要对调整特征图的大小，采用PrRoI Pooling对特征图的大小进行调整。

其他步骤和参数与具体实施方式一至三之一相同。

具体实施方式五：

本实施方式为一种缓解阀拉杆脱落故障的识别方法，特征提取网络为ResNet-50。

其他步骤和参数与具体实施方式一至四之一相同。

具体实施方式六：

本实施方式为一种缓解阀拉杆脱落故障的识别方法，获取待检测缓解阀图像的过程包括以下步骤：

采集包括缓解阀区域的待检测图像，利用F₁和F₂对包括缓解阀区域的待检测图像进行滤波处理：

然后对滤波处理后的图像进行切割，获得缓解阀子图，即待检测缓解阀图像。

其他步骤和参数与具体实施方式一至五之一相同。

具体实施方式七：

本实施方式为一种缓解阀拉杆脱落故障的识别方法，Faster R-CNN网络为预先训练好的，具体训练过程包括以下步骤：

采集包括缓解阀区域的过车图像，利用F₁和F₂对包括缓解阀区域的过车图像进行滤波处理，然后对滤波处理后的图像进行切割，获得缓解阀子图；

缓解阀拉杆脱落故障包括拉杆与吊架分离、拉杆与阀体分离、拉杆连接吊架与列车分离、缓解阀两侧拉杆分离，缓解阀丢失故障包括拉杆与列车脱离；利用软件对以上故障形态在缓解阀子图上进行模拟处理，然后进行数据增强，数据增强方法包括调整亮度、调整对比度、平移；

使用LabelImg软件对数据增强后的图像进行故障标记，生成与缓解阀子图相对应的带有图像信息、故障位置坐标、名称信息的文件；进行故障标记后的文件构成训练的样本集；

利用样本集对Faster R-CNN网络进行训练。

其他步骤和参数与具体实施方式一至七之一相同。

具体实施方式八：

本实施方式为一种缓解阀拉杆脱落故障的识别系统，用于执行一种缓解阀拉杆脱落故障的识别方法。

具体实施方式九：

本实施方式为一种缓解阀拉杆脱落故障的识别装置，用于运行一种缓解阀拉杆脱落故障的识别系统。

实施例

一种缓解阀拉杆脱落故障的识别方法，包括以下步骤：

1、原始图像采集

通过架设在铁轨两侧的高清摄像机，获得每辆列车两侧图像。收集不同车型、不同天气状况、不同时间段的列车图像以增加原始数据丰富程度。

2、图像预处理

对采集到的原始图像进行滤波处理，使图像噪声减少，方便进一步处理，所选择两个滤波器——F₁和F₂对图像进行滤波处理，F₁和F₂如式1、式2所示。

根据列车侧部图像上缓解阀所在位置，通过计算其位置参数，编写切图xml文件，利用图像切割软件对滤波处理后的图像进行切割，获得缓解阀子图，缓解阀拉杆脱落故障主要有拉杆与吊架分离，拉杆与阀体分离，拉杆连接吊架与列车分离，缓解阀两侧拉杆分离等；缓解阀丢失故障为拉杆与列车脱离；实际上本实施例对缓解阀拉杆脱落故障的识别不仅包括缓解阀拉杆脱落故障的识别检测，也包括缓解阀丢失故障的识别检测。根据此特点，利用Photo shop软件对以上故障形态在子图上进行模拟，需在不同车型的缓解阀上模拟不同位置、不同形态的故障，将PS后的图像进行数据增强，数据增强方法有调整亮度、调整对比度、平移等。数据增强可获得更多数量的图像，以此增加深度学习训练样本的多样性，使得训练出的深度学习模型具有更好的鲁棒性。

3、深度学习训练样本集

使用LabelImg软件，对数据增强后的图像进行故障标记，即对单个子图中有缓解阀拉杆脱落或丢失故障的区域进行标记，生成与子图相对应的带有图像信息、故障位置坐标、名称信息的XML文件。将所有图像进行故障标记后，便构成了用于深度学习训练的样本集。

4、深度学习模型训练

Faster R-CNN是处理目标检测任务中比较经典的两阶段目标检测网络，FasterR-CNN通过两阶段网络与滑动窗口提议(RPN,Region Proposal Network)的方法，实现了精度较高的物体检测性能。相比起其他一些一阶段检测网络，两阶段检测网络更为精准，尤其是针对高精度、多尺度以及小目标物体检测的问题，两阶段目标检测网络的优势更为明显。

Faster R-CNN在训练时可分为四个步骤：

1)特征提取网络(Backbone)提取特征图。将训练集图像输入到Conv Layers中，Conv Layers是利用卷积神经网络对输入图像进行卷积、池化等一系列操作，以此来提取图像中的特征，得到feature map，即特征图。Faster R-CNN中常用的特征提取网络有VGG16、Inception V3、ResNet-50等。针对本发明需解决问题，选择ResNet-50作为特征提取网络。

Resnet-50的网络结构如图3所示，是由多个Bottleneck块组成。Bottleneck块的结构如图2所示，是由1x1、3x3、1x1的卷积核堆叠而成。

2)将训练集中图像经过Conv Layers得到的feature map输入到区域生成网络，即Region Proposal Network(RPN)，该网络用于推荐候选区域(Region of Interests)。RPN网络将feature map作为输入，利用一个3*3的卷积核将输入通道数(filter)减半，然后将其输入到分类分支与回归分支中。分类分支是用来负责区分正、负样本概率，本发明中的正样本即存在缓解阀拉杆脱落(丢失)故障的特征图。回归分支是用来学习样本在图像中定位信息，以此获得更加准确的目标定位。在feature map上的每个特征点都会被预测多个推荐候选区域，这个推荐候选区域是通过特征点映射回原图后的基准点，围绕这个基准点会生成多个不同大小、不同形状、不同长宽比的锚框(anchor)(预选框)所生成的区域。假设输入的图像高为h，宽为w。分别以特征图上的每个像素返回原图中对应像素作为中心点生成不同大小的锚框。设锚框与缓解阀子图大小比例为s，s∈(0,1]，宽高比为r，r＞0，锚框的宽和高分别为

和

预选框的大小与宽高比通常是由人们通过以往经验手工设计的，手工设计的参数很难确定形成的预选框是否贴合于试验数据集。针对此问题，本发明通过对训练集上已经标注好的目标框进行聚类，以此来获得预选框大小与宽高比，聚类方法选择的是支持向量机(SVM)。只需要人为设定预选框的数量k(k＝s+r-1)，就可以利用聚类算法得到最合适的k个框。权衡训模型的练速度与精度，将k值定为5。即特征图上的每一个点都对应了原图上5个大小、宽高比例不同的锚框，在原图上基本可以覆盖所有可能出现的目标。经聚类后，s＝[0.25,0.5,0.75]，r＝[0.35,0.5,1]。

3)将特征图和推荐候选区域作为Faster R-CNN的分类分支网络和回归分支网络的输入，Faster R-CNN为了便于进行分类预测及回归预测，需要将特征图统一成相同大小。通常的方法是对其进行感兴趣池化操作(ROI Pooling)，该方法会对输入的特征图进行两次浮点取整的量化，这样的量化会造成像素偏差，这样会对接下来的回归定位产生一定影响。RoI Align的方法对RoI Pooling的方法进行了优化，避免了浮点取整的量化操作，减小了误差，但此方法也存在一个缺点，即对每一个区域都采用了固定数量的采样点，但区域的大小不同，采样点却相同，结果也会存在误差。尤其是针对本问题中的小目标检测问题，像素偏差会直接影响检测结果。因此，本发明选用PrRoI Pooling的方法，采用积分方式实现了更为精准的感兴趣区域池化。PrRoI Pooling方法将整个区域看做是连续的，采用式(3)的积分公式求解每一个区域(bin)的池化输出值。

bin为原始特征图F的一个矩形区域，bin＝{(x₁,y₁),(x₂,y₂)}，其中(x₁,y₁)和(x₂,y₂)分别表示矩形区域的左上角和右下角坐标。这种方法的优点是反向传播是连续可导的，避免了任何量化的中间过程，该方法最大可能地保留了原始区域的特征。

4)将相同大小的特征图同时输入到分类分支网络和回归分支网络中进行学习训练，分类分支网络用于进行分类检测，预测缓解阀拉杆是否脱落或者丢失，回归分支网络预测故障区域边框偏移量以精修边框位置，并计算损失；

利用原有Faster R-CNN模型的训练超参数对上述Faster R-CNN模型进行训练，达到预定训练迭代次数时停止训练，将训练好的模型和模型权重进行保存，以此便可进行后续的故障检测。

5、缓解阀拉杆脱落(丢失)故障识别

将保存的故障识别模型以及模型权重输入到故障检测网络中，检测网络对采集到的列车侧部图像进行识别检测，若识别结果中有缓解阀拉杆脱落(丢失)故障发生，便判定该节列车存在此故障，将检测识别出的故障图像进行储存，并将故障位置等信息写入到TXT文件中储存，以便后续故障解决。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.一种缓解阀拉杆脱落故障的识别方法，其特征在于，包括以下步骤：

获取待检测缓解阀图像，输入Faster R-CNN网络进行检测，检测是否存在缓解阀拉杆脱落故障；

所述的Faster R-CNN网络的处理过程包括以下步骤：

首先，通过特征提取网络提取特征图；

然后，通过RPN网络推荐候选区域，候选区域即锚框，锚框与待检测缓解阀图像大小比例为s，s∈(0,1]，宽高比为r，r＞0，锚框的宽和高分别为

和

h、w为输入RPN网络图像的高和宽；所述s和r的确定过程如下：

在Faster R-CNN网络的训练过程中，通过对训练集中标注的目标框进行聚类，得到锚框与缓解阀图像大小比例s和宽高比为r；

然后将特征图和推荐候选区域作为分类分支网络和回归分支网络的输入，利用分类分支网络和回归分支网络得到识别结果。

2.根据权利要求1所述的一种缓解阀拉杆脱落故障的识别方法，其特征在于，所述的s＝[0.25,0.5,0.75]。

3.根据权利要求2所述的一种缓解阀拉杆脱落故障的识别方法，其特征在于，所述的r＝[0.35,0.5,1]。

4.根据权利要求3所述的一种缓解阀拉杆脱落故障的识别方法，其特征在于，在将特征图输入分类分支网络和回归分支网络之前需要对调整特征图的大小，采用PrRoI Pooling对特征图的大小进行调整。

5.根据权利要求4所述的一种缓解阀拉杆脱落故障的识别方法，其特征在于，所述的特征提取网络为ResNet-50。

6.根据权利要求1至5之一所述的一种缓解阀拉杆脱落故障的识别方法，其特征在于，获取待检测缓解阀图像的过程包括以下步骤：

采集包括缓解阀区域的待检测图像，利用F₁和F₂对包括缓解阀区域的待检测图像进行滤波处理：

然后对滤波处理后的图像进行切割，获得缓解阀子图，即待检测缓解阀图像。

7.根据权利要求6所述的一种缓解阀拉杆脱落故障的识别方法，其特征在于，所述的Faster R-CNN网络为预先训练好的，具体训练过程包括以下步骤：

采集包括缓解阀区域的过车图像，利用F₁和F₂对包括缓解阀区域的过车图像进行滤波处理，然后对滤波处理后的图像进行切割，获得缓解阀子图；

缓解阀拉杆脱落故障包括拉杆与吊架分离、拉杆与阀体分离、拉杆连接吊架与列车分离、缓解阀两侧拉杆分离，缓解阀丢失故障包括拉杆与列车脱离；利用软件对以上故障形态在缓解阀子图上进行模拟处理，然后进行数据增强，数据增强方法包括调整亮度、调整对比度、平移；

使用LabelImg软件对数据增强后的图像进行故障标记，生成与缓解阀子图相对应的带有图像信息、故障位置坐标、名称信息的文件；进行故障标记后的文件构成训练的样本集；

利用样本集对Faster R-CNN网络进行训练。

8.一种缓解阀拉杆脱落故障的识别系统，其特征在于，所述系统用于执行权利要求1至7之一所述的一种缓解阀拉杆脱落故障的识别方法。

9.一种缓解阀拉杆脱落故障的识别装置，其特征在于，所述装置用于运行权利要求8所述的一种缓解阀拉杆脱落故障的识别系统。

Images