CN115937197B - 人力制动机拉杆链折断故障检测方法 - Google Patents

Abstract

一种人力制动机拉杆链折断故障检测方法，属于铁路货车故障检测技术领域。本发明针对现有检测方法对人力制动机拉杆链折断故障形态与非故障状态的分辨能力差导致故障检测准确度低的问题。包括采用预训练Faster‑Rcnn检测网络由铁路货车的过车图像定位出人力制动机拉杆链部位图像；采用预训练改进WS‑DAN分类网络对输入图像进行分类，获得图像正常类、图像折断类和图像缠绕铁丝类的检测分类结果；预训练Faster‑Rcnn检测网络和预训练改进WS‑DAN分类网络采用样本图像集进行预训练获得；改进WS‑DAN分类网络在现有WS‑DAN分类网络的BAP模块基础上增加坐标注意力机制模块构成。本发明用于人力制动机拉杆链折断故障检测。

Description

人力制动机拉杆链折断故障检测方法

技术领域

本发明涉及人力制动机拉杆链折断故障检测方法，属于铁路货车故障检测技术领域。

背景技术

传统人工查图的故障检测方法费时费力，人工成本高，且由于检车人员的疲劳、粗心等，会出现漏检、误检现象。采用深度学习的铁路货车故障检测方法可以有效的降低检测成本，提高检测的效率。

人力制动机拉杆链折断故障形态复杂，由于其故障状态与某些非故障状态差异较小，采用检测网络或现有的分类网络对故障与非故障的分类准确度低。

发明内容

针对现有检测方法对人力制动机拉杆链折断故障形态与非故障状态的分辨能力差导致故障检测准确度低的问题，本发明提供一种人力制动机拉杆链折断故障检测方法。

本发明的一种人力制动机拉杆链折断故障检测方法，包括，

步骤一：采用预训练Faster-Rcnn检测网络由运行中铁路货车的过车图像定位出人力制动机拉杆链部位图像；

步骤二：采用预训练改进WS-DAN分类网络对人力制动机拉杆链部位图像进行分类，获得图像正常类、图像折断类和图像缠绕铁丝类的检测分类结果；

所述预训练Faster-Rcnn检测网络和预训练改进WS-DAN分类网络采用样本图像集进行预训练获得；

所述改进WS-DAN分类网络在现有WS-DAN分类网络的BAP模块基础上增加坐标注意力机制模块构成；

预训练改进WS-DAN分类网络的获得过程包括训练过程和测试推断过程；

样本图像输入Faster-Rcnn检测网络后获得的人力制动机拉杆链部位图像作为改进WS-DAN分类网络的输入图像；

训练过程和测试过程均包括：将输入图像输入ResNet50特征提取主干网络得到基础特征图，基础特征图经过多个1*1卷积后生成多个局部注意力响应特征图；基础特征图和每一个局部注意力响应特征图分别通过一个坐标注意力机制模块进行融合，得到多个融合后特征图；多个融合后特征图再分别通过全局最大池化得到多个池化后特征图；连接所有池化后特征图得到特征矩阵，将特征矩阵转换为列向量，经全连接层组成的分类器得到分类结果；

在训练过程中，改进WS-DAN分类网络基于注意力的数据增强策略采用局部注意力响应特征图对输入图像进行数据增强，获得增强后图像再作为输入图像继续对改进WS-DAN分类网络进行训练；

在测试过程中，改进WS-DAN分类网络基于目标定位和细化策略采用局部注意力响应特征图对输入图像进行数据增强，获得增强后图像再作为输入图像继续对改进WS-DAN分类网络进行测试；直到获得满足预设精度的预训练改进WS-DAN分类网络。

根据本发明的人力制动机拉杆链折断故障检测方法，样本图像集的获得方法为：

获取人力制动机拉杆链正常状态过车图像、人力制动机拉杆链折断状态过车图像和人力制动机拉杆链缠绕铁丝状态过车图像；所述人力制动机拉杆链折断状态过车图像和人力制动机拉杆链缠绕铁丝状态过车图像包括对人力制动机拉杆链正常状态过车图像进行图像处理获得的图像；

对人力制动机拉杆链正常状态过车图像、人力制动机拉杆链折断状态过车图像和人力制动机拉杆链缠绕铁丝状态过车图像进行数据扩增操作，得到样本图像并形成样本图像集。

根据本发明的人力制动机拉杆链折断故障检测方法，所述数据扩增操作包括对图像进行旋转、裁剪、对比度变换、仿射变换、噪声添加和雨雪模拟。

根据本发明的人力制动机拉杆链折断故障检测方法，所述改进WS-DAN分类网络采用ArcFace与center loss相结合的损失函数。

根据本发明的人力制动机拉杆链折断故障检测方法，1*1卷积的个数为M，M张局部注意力响应特征图为A_m，m＝1,2,...,M；

M为32。

根据本发明的人力制动机拉杆链折断故障检测方法，改进WS-DAN分类网络对输入图像进行分类得到分类结果的具体过程包括：

A_m∈R^H×W，

式中R为实数集，H为基础特征图和局部注意力响应特征图的高，W为基础特征图和局部注意力响应特征图的宽；

基础特征图表示为F，F∈R^C×H×W，C为基础特征图通道数量；

基础特征图F和局部注意力响应特征图为A_m通过坐标注意力机制模块融合，得到融合后特征图f_m：

f_m∈R^C×H×W；

融合后特征图f_m通过全局最大池化得到池化后特征图g_m：

g_m∈R^1×C，

连接所有池化后特征图g_m得到特征矩阵Φ：

Φ∈R^M×C，

式中CA表示坐标注意力机制；GMP表示全局最大池化；

将特征矩阵Φ转换为列向量P，经全连接层组成的分类器得到分类结果。

根据本发明的人力制动机拉杆链折断故障检测方法，坐标注意力机制模块由基础特征图和局部注意力响应特征图得到融合后特征图的方法包括：

对局部注意力响应特征图A_m进行x方向与y方向的平均池化，得到一次1*W矩阵和一次H*1矩阵；将一次1*W矩阵和一次H*1矩阵进行拼接，得到一次1*(H+W)矩阵，再对一次1*(H+W)矩阵进行1*1卷积与ReLu非线性激活，重新划分为二次1*W矩阵与二次H*1矩阵，二次1*W矩阵与二次H*1矩阵再分别进行1*1卷积和Sigmoid非线性激活得到激活后二次1*W矩阵与激活后二次H*1矩阵；将激活后二次1*W矩阵与激活后二次H*1矩阵同时与基础特征图F中每个通道特征图点乘得到维度为C*H*W的融合后特征图f_m。

根据本发明的人力制动机拉杆链折断故障检测方法，改进WS-DAN分类网络的损失函数L_our为：

L_our＝L_c+λL_Arc，

式中L_c为center loss损失函数，λ为可学习参数，初始设置为0，通过SGD算法调整，调整范围为0.3～0.7；L_Arc为ArcFace损失函数；

式中N表示输入图像的数量，I_i表示第i张输入图像，c_m(y_i)为第i张输入图像的真实类别在第m个局部注意力响应特征图的特征中心，y_i为第i张输入图像的真实类别；

s为缩放因子，为常数；是全连接层的权重矩阵W的第y_i列元素/>与第i张输入图像的特征向量x_i的夹角，特征向量x_i等同于列向量P，n表示网络分类数量，n＝3，θ_j是全连接层的权重矩阵W的第j列元素W_j与第i张输入图像的特征向量x_i的夹角；α为加性角度惩罚；

与W_j通过softmax损失函数L_softmax求解获得：

式中表示第y_i列偏转向量，b_j表示第j列偏转向量。

根据本发明的人力制动机拉杆链折断故障检测方法，改进WS-DAN分类网络基于注意力的数据增强策略采用局部注意力响应特征图对输入图像进行数据增强的方法包括：

由M个局部注意力响应特征图为A_m中选择特征图A_k进行数据增强：

对特征图A_k归一化得到

由得到裁剪掩模C_k，当/>的值大于裁剪阈值θ_c∈[0,1)时，C_k(i,j)＝1，对裁剪掩模C_k中所有的1值采用最小外接矩形覆盖，按照所述最小外接矩形裁剪输入图像，并将裁剪后的图像缩放到输入图像的大小，得到增强后图像，完成局部注意力裁剪操作；将增强后图像再作为输入图像继续对改进WS-DAN分类网络进行训练；p表示/>中像素的行数，q表示/>中像素的列数；

同时由得到擦除掩模D_k，当/>的值小于擦除阈值θ_d∈[0,1)时，D_k(i,j)＝1，按擦除掩模D_k中所有1值的位置对应擦除输入图像的相应位置，擦除后输入图像作为增强后图像，完成局部注意力擦除操作；将增强后图像再作为输入图像继续对改进WS-DAN分类网络进行训练。

根据本发明的人力制动机拉杆链折断故障检测方法，改进WS-DAN分类网络基于目标定位和细化策略采用局部注意力响应特征图对输入图像进行数据增强的方法包括：

对M张局部注意力响应特征图进行平均得到特征图平均值

采用对输入图像进行裁剪，得到增强后图像，完成目标定位和细化；增强后图像再作为输入图像继续对改进WS-DAN分类网络进行测试。

本发明的有益效果：本发明方法首先采用检测网络定位人力制动机拉杆链，然后采用改进的WS-DAN分类网络对人力制动机拉杆链进行分类，判别人力制动机拉杆链图像是否发生折断故障，改进的WS-DAN分类网络提高了特征差异较小的不同类别的分类准确率，进而提高了故障检测的准确率及精度。

本发明方法采用坐标注意机制(CA)优化BAP的过程，使得特征图中关键部位空间结构特征得到更多的关注，提高了网络分类准确率。

附图说明

图1是本发明所述人力制动机拉杆链折断故障检测方法的流程图；

图2是改进WS-DAN分类网络的训练过程示意图；

图3是改进WS-DAN分类网络的测试过程示意图；

图4是改进WS-DAN分类网络对基础特征图和局部注意力响应特征图进行处理的网络结构图；图4中A表示局部注意力响应特征图A_m；

图5是坐标注意力机制模块的结构示意图，图中split表示划分。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

具体实施方式一、结合图1至图3所示，本发明提供了一种人力制动机拉杆链折断故障检测方法，包括，

步骤一：采用预训练Faster-Rcnn检测网络由运行中铁路货车的过车图像定位出人力制动机拉杆链部位图像；

步骤二：采用预训练改进WS-DAN分类网络对人力制动机拉杆链部位图像进行分类，获得图像正常类、图像折断类和图像缠绕铁丝类的检测分类结果；

所述预训练Faster-Rcnn检测网络和预训练改进WS-DAN分类网络采用样本图像集进行预训练获得；

所述改进WS-DAN分类网络在现有WS-DAN分类网络的BAP模块基础上增加坐标注意力机制模块构成；

预训练改进WS-DAN分类网络的获得过程包括训练过程和测试推断过程；

样本图像输入Faster-Rcnn检测网络后获得的人力制动机拉杆链部位图像作为改进WS-DAN分类网络的输入图像；

训练过程和测试过程均包括：将输入图像输入ResNet50特征提取主干网络得到基础特征图，基础特征图经过多个1*1卷积后生成多个局部注意力响应特征图；基础特征图和每一个局部注意力响应特征图分别通过一个坐标注意力机制模块进行融合，得到多个融合后特征图；多个融合后特征图再分别通过全局最大池化得到多个池化后特征图；连接所有池化后特征图得到特征矩阵，将特征矩阵转换为列向量，经全连接层组成的分类器得到分类结果；

在训练过程中，改进WS-DAN分类网络基于注意力的数据增强策略采用局部注意力响应特征图对输入图像进行数据增强，获得增强后图像再作为输入图像继续对改进WS-DAN分类网络进行训练；

在测试过程中，改进WS-DAN分类网络基于目标定位和细化策略采用局部注意力响应特征图对输入图像进行数据增强，获得增强后图像再作为输入图像继续对改进WS-DAN分类网络进行测试；直到获得满足预设精度的预训练改进WS-DAN分类网络。

本实施方式中，需要在铁路四周架设高清成像设备，铁路货车通过后，获取到过车图像。过车图像送入预训练Faster-Rcnn检测网络定位并截取图像中人力制动机拉杆链部分，将人力制动机拉杆链图像再送入预训练改进WS-DAN分类网络，得到图像类别。如果图像类别为故障图像则生成故障报警报文，否则认为没有发生故障。上传故障的图像报警报文，铁路货车检车人员根据报警报文对故障部位进行相应处理。

本实施方式中，采用Faster-Rcnn检测网络定位出图像中的拉杆链部分，将全部检测数据图像送入训练好的Faster-Rcnn检测网络得到人力制动机拉杆链定位，根据定位截取人力制动机拉杆链子图像并将图像缩放到512*512大小，将得到的人力制动机拉杆链图像分为正常类、折断类、缠绕铁丝类三类作为分类数据集，其中折断类和缠绕铁丝类图像均发生了人力制动机拉杆链折断故障。

进一步，样本图像集的获得方法为：

获取人力制动机拉杆链正常状态过车图像、人力制动机拉杆链折断状态过车图像和人力制动机拉杆链缠绕铁丝状态过车图像；所述人力制动机拉杆链折断状态过车图像和人力制动机拉杆链缠绕铁丝状态过车图像包括对人力制动机拉杆链正常状态过车图像进行图像处理获得的图像；

对人力制动机拉杆链正常状态过车图像、人力制动机拉杆链折断状态过车图像和人力制动机拉杆链缠绕铁丝状态过车图像进行数据扩增操作，得到样本图像并形成样本图像集。

作为示例，所述数据扩增操作包括对图像进行旋转、裁剪、对比度变换、仿射变换、噪声添加和雨雪模拟。

在铁路四周架设高清成像设备，获取铁路货车通过后的过车图像。收集人力制动机拉杆链正常的图像与人力制动机拉杆链折断的图像作为检测数据集图像，由于发生人力制动机拉杆链折断的图像数量较少，需在正常的图像上PS出人力制动机拉杆链折断故障，作为数据集图像的补充。对图像进行标记，将图像中正常人力制动机拉杆链和发生折断的人力制动机拉杆链标记成拉杆链类，生成标记文件，完成检测数据集的收集制作。标记过程采用labelImg标记软件实现，生成图像对应的标记文件，标记文件中记录了图像的名字、大小、路径、目标的位置、目标的类别等信息。然后对数据集图像进行数据扩增操作。数据扩增操作可以有效降低故障检测网络过拟合的概率，提升故障检测网络的泛化性能。

人力制动机拉杆链有时会发生链条环缠绕，该状态与缠绕铁丝故障相似不好区分，同时人力制动机拉杆链的链条环会发生旋转，随着旋转角度的变化折断故障形态特征变化明显，若采用现有的Resnet50分类网络无法达到识别准确度要求，本实施方式采用改进的WS-DAN分类网络进行人力制动机拉杆链分类。WS-DAN为细粒度分类网络，网络采用基于弱监督学习的图像增强的方法，结合注意力机制，能有效提高特征相似的不同类别的分类准确度。WS-DAN网络中通过网络特征提取部分生成一组基础特征图和一组局部注意力响应特征图，局部注意力响应特征图中包含对分类有用的关键部位特征，WS-DAN网络中采用双线性注意力池化机制(Bilinear Attention Pooling，BAP)将基础特征图与局部注意力响应特征图融合生成特征矩阵，然后进行分类。网络采用softmax损失函数与类centerloss的注意力监督机制相结合作为网络的损失函数，采用center loss作为损失函数能够使局部注意力响应特征图提取到同一类别中对分类有用的相似特征，即找到对分类有益的分类关键部位，提高分类准确度。

本实施方式采用坐标注意机制优化BAP，使得局部注意力响应特征图中关键部位空间结构特征得到更多的关注，提高了网络分类准确率。同时改进WS-DAN分类网络采用ArcFace与center loss相结合的损失函数，提高网络型分类能力，稳定网络训练过程。

处理基础特征图的1*1卷积的个数为M，得到M张局部注意力响应特征图为A_m，m＝1,2,…,M；M表示局部注意力响应特征图的通道数，即选取的部件关键特征数；

M为32。

本实施方式中，改进WS-DAN分类网络的结构图如图2和图3所示。输入图像经过ResNet50特征提取主干网络，提取出基础特征图F，基础特征图F包括C个通道图F_c(c＝1,2,…,C)，其中C为特征图通道数量。基础特征图经过个数为M的1*1卷积后生成局部注意力响应特征图A_m(m＝1,2,...,M)，一个局部注意力响应特征图表示目标(人力制动机拉杆链)中一个对分类有用的部位，本实施方式中设置M为32。基础特征图与局部注意力响应特征图通过改进的BAP模块进行融合，对目标中对分类有用的部位进行特征增强，得到特征矩阵，将特征矩阵拉成一列向量经过全连接层构成的分类器得到分类结果。同时与WS-DAN一致，在网络训练阶段，通过基于注意力的数据增强策略(Attention-guided DataAugmentation)采用局部注意力响应特征图对输入图像进行数据增强，在网络测试推理阶段，通过目标定位和细化策略(Object Localization and Refinement)采用局部注意力响应特征图对输入图像进行数据增强，提高网络分类准确度。具体网络各模块操作细节如下。

ResNet50特征提取主干网络：

网络中ResNet50特征提取主干网络参数与现有ResNet50保持一致。

改进的BAP：

结合图2至图5所示，改进WS-DAN分类网络对输入图像进行分类得到分类结果的具体过程包括：

本实施方式在原本的BAP中加入坐标注意力机制，使基础特征图与局部注意力响应特征图结合后包含更多的关键部位结构信息。

每一个局部注意力响应特征图A_m为：

A_m∈R^H×W，

式中R为实数集，H为基础特征图和局部注意力响应特征图的高，W为基础特征图和局部注意力响应特征图的宽；

基础特征图表示为F，F∈R^C×H×W，C为基础特征图通道数量；

基础特征图F和局部注意力响应特征图为A_m通过坐标注意力机制模块(Coordinate Attention，CA)融合，得到融合后特征图f_m：

f_m∈R^C×H×W；

融合后特征图f_m通过全局最大池化得到池化后特征图g_m：

g_m∈R^1×C，

连接所有池化后特征图g_m得到特征矩阵Φ：

Φ∈R^M×C，

式中CA表示坐标注意力机制；GMP表示全局最大池化；

将特征矩阵Φ转换为列向量P，经全连接层组成的分类器得到分类结果。

再进一步，结合图4和图5所示，坐标注意力机制模块由基础特征图和局部注意力响应特征图得到融合后特征图的方法具体包括：

对局部注意力响应特征图A_m进行x方向与y方向的平均池化，得到一次1*W矩阵和一次H*1矩阵；然后将一次1*W矩阵和一次H*1矩阵重接排列矩阵维度进行拼接，得到一次1*(H+W)矩阵，再对一次1*(H+W)矩阵进行1*1卷积与ReLu非线性激活，将矩阵重新划分为二次1*W矩阵与二次H*1矩阵，二次1*W矩阵与二次H*1矩阵再分别进行1*1卷积和Sigmoid非线性激活得到激活后二次1*W矩阵与激活后二次H*1矩阵；将激活后二次1*W矩阵与激活后二次H*1矩阵同时与基础特征图F中每个通道特征图点乘得到维度为C*H*W的融合后特征图f_m。对局部注意力响应特征图进行x和y方向的平均池化后能够将位置信息引入融合后的特征图，使融合后特征图具有更丰富的结构特征，提高分类准确率。

再进一步，本实施方式中网络结构采用ArcFace与center loss相结合的损失函数。原始WS-DAN网络采用softmax与类center loss相结合的损失函数，本实施方式将激活函数替换为ArcFace与类center loss相结合的损失函数。center loss能够使类内距离变小，与局部注意力响应特征图相结合，随着网络训练能够使局部注意力响应特征图更加关注同一类内相似的和其他类具有区分度的特征。ArcFace损失函数直接在角度空间中最大化分类界限，有效的提升了模型的判别能力，同时稳定了模型的训练，相比softmax损失函数增强了类内样本的相似度和类间样本的不一致性的限制，避免了softmax损失函数在类内外观变化较大时造成的分类精度降低。

改进WS-DAN分类网络的损失函数L_our为：

L_our＝L_c+λL_Arc，

式中L_c为center loss损失函数，λ为可学习参数，初始设置为0，通过SGD算法调整，调整范围为0.3～0.7；L_Arc为ArcFace损失函数；

式中N表示一个批次送入网络中训练的输入图像的数量，I_i表示第i张输入图像，c_m(y_i)为第i张输入图像的真实类别在第m个局部注意力响应特征图的特征中心，y_i为第i张输入图像的真实类别；

s为缩放因子，为常数；是全连接层的权重矩阵W的第y_i列元素/>与第i张输入图像的特征向量x_i的夹角，特征向量x_i等同于列向量P，n表示网络分类数量，也可以理解为全连接层分类器的输出神经元个数，本实施方式中n＝3，θ_j是全连接层的权重矩阵W的第j列元素W_j与第i张输入图像的特征向量x_i的夹角；网络最后的分类器的最后一层神经元的个数等于类别数，比如三类为三个神经元，即三列，因此y_i既用于表示类别，又用于表示列数；α为加性角度惩罚；

x_i∈R^d表示第i张输入图像经过网络特征提取到达全连接层前的特征向量，可以理解为列向量P；d表示第i张输入图像经过网络特征提取到达全连接层前的特征向量的维度；

W_j∈R^d表示全连接层的权重矩阵W∈R^d×n的第j列，相应的W_yi∈R^d表示全连接层权重矩阵W∈R^d×n的第y_i列。

ArcFace损失函数L_Arc将softmax损失函数转变为角度空间的限制，保证类内样本的更高相似度和类间样本的多样性，使同类样本在形态变化较大时能正确的分为一类。

W_yi与W_j通过softmax损失函数L_softmax求解获得：

式中表示第y_i列偏转向量，/>b_j表示第j列偏转向量，b_j∈Rⁿ。

公式中简化偏置b_j＝0，则可以做出如下转换θ_j是W_j和x_i的夹角，采用L2范数将权重与特征的模归一化为1，即||W_j||＝1，||x_i||＝1，并在计算/>后乘上缩放因子s，将权重与特征归一化并简化偏置b_j＝0，可以让全连接分类器的输出/>仅依赖于权重与特征的角度θ_j，最终学习到的特征能够分布在半径为s的超球面上，ArcFace损失函数在权重与特征之间增加了一个加性角度惩罚α，同时增强了类内紧凑性和类间差异性。

本实施方式的网络结构采用ArcFace与center loss相结合的损失函数，以ArcFace损失函数替换了原WS-DAN的Softmax损失函数。在ArcFace与center loss相结合的过程中，增加了可学习参数，调整ArcFace与center loss两个损失函数的比重，来控制ArcFace与center loss对网络的贡献比例，提高了网络模型的分类能力，并稳定了网络训练过程。

再进一步，训练阶段基于注意力的数据增强：

结合图2所示，改进WS-DAN分类网络基于注意力的数据增强策略采用局部注意力响应特征图对输入图像进行数据增强的方法包括：

由M个局部注意力响应特征图为A_m中随机选择一张特征图A_k进行数据增强：

对特征图A_k归一化得到

由得到裁剪掩模C_k，当/>的值大于裁剪阈值θ_c∈[0,1)时，C_k(i,j)＝1，反之C_k(i,j)＝0；对裁剪掩模C_k中所有的1值采用找到的最小外接矩形覆盖，按照所述最小外接矩形裁剪输入图像，并将裁剪后的图像缩放到输入图像的大小，得到增强后图像，完成局部注意力裁剪操作；裁剪操作使关键细节更清晰；将增强后图像再作为输入图像继续对改进WS-DAN分类网络进行训练；p表示/>中像素的行数，q表示/>中像素的列数；

同时由得到擦除掩模D_k，当/>的值小于擦除阈值θ_d∈[0,1)时，D_k(i,j)＝1，否则D_k(i,j)＝0，按擦除掩模D_k中所有1值的位置对应擦除输入图像的相应位置，擦除后输入图像作为增强后图像，完成局部注意力擦除操作，缓解多张特征图关注一个部位的问题；将增强后图像再作为输入图像继续对改进WS-DAN分类网络进行训练。

再进一步，结合图3所示，改进WS-DAN分类网络基于目标定位和细化策略(ObjectLocalization and Refinement)采用局部注意力响应特征图对输入图像进行数据增强的方法包括：

在网络训练阶段，得到图像粗略的分类结果，然后对M张局部注意力响应特征图进行平均得到特征图平均值

采用对输入图像进行裁剪，得到增强后图像，完成目标定位和细化，使网络得到细化分类结果；增强后图像再作为输入图像继续对改进WS-DAN分类网络进行测试。

综合粗略的分类结果与细化的分类结果得到最终的网络分类结果。

铁路货车人力制动机拉杆链折断故障检测网络推断：

结合图1所示，获取铁路货车通过高清成像设备后的过车图像，采用人力制动机拉杆链定位检测网络定位得到人力制动机拉杆链子图像，如果没有定位到人力制动机拉杆链则直接报警，上传故障报文，继续检测下一张图像。将人力制动机拉杆链子图像送入人力制动机拉杆链分类网络，得到拉杆链的分类，如果类别为折断类、缠绕铁丝类则判定发生折断故障，上传故障报文，继续检测下一张图像。检车人员根据上传的故障报文，依据人工先验原则，对故障部位进行进一步处理。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。

Claims (7)

1.一种人力制动机拉杆链折断故障检测方法，其特征在于包括，

步骤一：采用预训练Faster-Rcnn检测网络由运行中铁路货车的过车图像定位出人力制动机拉杆链部位图像；

步骤二：采用预训练改进WS-DAN分类网络对人力制动机拉杆链部位图像进行分类，获得图像正常类、图像折断类和图像缠绕铁丝类的检测分类结果；

所述预训练Faster-Rcnn检测网络和预训练改进WS-DAN分类网络采用样本图像集进行预训练获得；

所述改进WS-DAN分类网络在现有WS-DAN分类网络的BAP模块基础上增加坐标注意力机制模块构成；

预训练改进WS-DAN分类网络的获得过程包括训练过程和测试推断过程；

样本图像输入Faster-Rcnn检测网络后获得的人力制动机拉杆链部位图像作为改进WS-DAN分类网络的输入图像；

训练过程和测试过程均包括：将输入图像输入ResNet50特征提取主干网络得到基础特征图，基础特征图经过多个1*1卷积后生成多个局部注意力响应特征图；基础特征图和每一个局部注意力响应特征图分别通过一个坐标注意力机制模块进行融合，得到多个融合后特征图；多个融合后特征图再分别通过全局最大池化得到多个池化后特征图；连接所有池化后特征图得到特征矩阵，将特征矩阵转换为列向量，经全连接层组成的分类器得到分类结果；

在训练过程中，改进WS-DAN分类网络基于注意力的数据增强策略采用局部注意力响应特征图对输入图像进行数据增强，获得增强后图像再作为输入图像继续对改进WS-DAN分类网络进行训练；

在测试过程中，改进WS-DAN分类网络基于目标定位和细化策略采用局部注意力响应特征图对输入图像进行数据增强，获得增强后图像再作为输入图像继续对改进WS-DAN分类网络进行测试；直到获得满足预设精度的预训练改进WS-DAN分类网络；

1*1卷积的个数为M，M张局部注意力响应特征图为A_m，m＝1,2,...,M；M为32；

改进WS-DAN分类网络对输入图像进行分类得到分类结果的具体过程包括：

A_m∈R^H×W，

式中R为实数集，H为基础特征图和局部注意力响应特征图的高，W为基础特征图和局部注意力响应特征图的宽；

基础特征图表示为F，F∈R^C×H×W，C为基础特征图通道数量；

基础特征图F和局部注意力响应特征图为A_m通过坐标注意力机制模块融合，得到融合后特征图f_m：

f_m∈R^C×H×W；

融合后特征图f_m通过全局最大池化得到池化后特征图g_m：

g_m∈R^1×C，

连接所有池化后特征图g_m得到特征矩阵Φ：

Φ∈R^M×C，

式中CA表示坐标注意力机制；GMP表示全局最大池化；

将特征矩阵Φ转换为列向量P，经全连接层组成的分类器得到分类结果；

坐标注意力机制模块由基础特征图和局部注意力响应特征图得到融合后特征图的方法包括：

对局部注意力响应特征图A_m进行x方向与y方向的平均池化，得到一次1*W矩阵和一次H*1矩阵；将一次1*W矩阵和一次H*1矩阵进行拼接，得到一次1*(H+W)矩阵，再对一次1*(H+W)矩阵进行1*1卷积与ReLu非线性激活，重新划分为二次1*W矩阵与二次H*1矩阵，二次1*W矩阵与二次H*1矩阵再分别进行1*1卷积和Sigmoid非线性激活得到激活后二次1*W矩阵与激活后二次H*1矩阵；将激活后二次1*W矩阵与激活后二次H*1矩阵同时与基础特征图F中每个通道特征图点乘得到维度为C*H*W的融合后特征图f_m。

2.根据权利要求1所述的人力制动机拉杆链折断故障检测方法，其特征在于，

样本图像集的获得方法为：

获取人力制动机拉杆链正常状态过车图像、人力制动机拉杆链折断状态过车图像和人力制动机拉杆链缠绕铁丝状态过车图像；所述人力制动机拉杆链折断状态过车图像和人力制动机拉杆链缠绕铁丝状态过车图像包括对人力制动机拉杆链正常状态过车图像进行图像处理获得的图像；

对人力制动机拉杆链正常状态过车图像、人力制动机拉杆链折断状态过车图像和人力制动机拉杆链缠绕铁丝状态过车图像进行数据扩增操作，得到样本图像并形成样本图像集。

3.根据权利要求2所述的人力制动机拉杆链折断故障检测方法，其特征在于，所述数据扩增操作包括对图像进行旋转、裁剪、对比度变换、仿射变换、噪声添加和雨雪模拟。

4.根据权利要求1所述的人力制动机拉杆链折断故障检测方法，其特征在于，

所述改进WS-DAN分类网络采用ArcFace与center loss相结合的损失函数。

5.根据权利要求4所述的人力制动机拉杆链折断故障检测方法，其特征在于，

改进WS-DAN分类网络的损失函数L_our为：

L_our＝L_c+λL_Arc，

式中L_c为center loss损失函数，λ为可学习参数，初始设置为0，通过SGD算法调整，调整范围为0.3～0.7；L_Arc为ArcFace损失函数；

式中N表示输入图像的数量，I_i表示第i张输入图像，c_m(y_i)为第i张输入图像的真实类别在第m个局部注意力响应特征图的特征中心，y_i为第i张输入图像的真实类别；

s为缩放因子，为常数；是全连接层的权重矩阵W的第y_i列元素/>与第i张输入图像的特征向量x_i的夹角，特征向量x_i等同于列向量P，n表示网络分类数量，n＝3，θ_j是全连接层的权重矩阵W的第j列元素W_j与第i张输入图像的特征向量x_i的夹角；α为加性角度惩罚；

与W_j通过softmax损失函数L_softmax求解获得：

式中表示第y_i列偏转向量，b_j表示第j列偏转向量。

6.根据权利要求5所述的人力制动机拉杆链折断故障检测方法，其特征在于，

改进WS-DAN分类网络基于注意力的数据增强策略采用局部注意力响应特征图对输入图像进行数据增强的方法包括：

由M个局部注意力响应特征图为A_m中选择特征图A_k进行数据增强：

对特征图A_k归一化得到

由得到裁剪掩模C_k，当/>的值大于裁剪阈值θ_c∈[0,1)时，C_k(i,j)＝1，对裁剪掩模C_k中所有的1值采用最小外接矩形覆盖，按照所述最小外接矩形裁剪输入图像，并将裁剪后的图像缩放到输入图像的大小，得到增强后图像，完成局部注意力裁剪操作；将增强后图像再作为输入图像继续对改进WS-DAN分类网络进行训练；p表示/>中像素的行数，q表示中像素的列数；

同时由得到擦除掩模D_k，当/>的值小于擦除阈值θ_d∈[0,1)时，D_k(i,j)＝1，按擦除掩模D_k中所有1值的位置对应擦除输入图像的相应位置，擦除后输入图像作为增强后图像，完成局部注意力擦除操作；将增强后图像再作为输入图像继续对改进WS-DAN分类网络进行训练。

7.根据权利要求6所述的人力制动机拉杆链折断故障检测方法，其特征在于，

改进WS-DAN分类网络基于目标定位和细化策略采用局部注意力响应特征图对输入图像进行数据增强的方法包括：

对M张局部注意力响应特征图进行平均得到特征图平均值

采用对输入图像进行裁剪，得到增强后图像，完成目标定位和细化；增强后图像再作为输入图像继续对改进WS-DAN分类网络进行测试。