CN115909182B

CN115909182B - 一种动车组闸片磨损故障图像识别方法

Info

Publication number: CN115909182B
Application number: CN202210951587.9A
Authority: CN
Inventors: 邓艳
Original assignee: Harbin Kejia General Mechanical and Electrical Co Ltd
Current assignee: Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date: 2022-08-09
Filing date: 2022-08-09
Publication date: 2023-08-08
Anticipated expiration: 2042-08-09
Also published as: CN115909182A

Abstract

本发明提供了一种动车组闸片磨损故障图像识别方法，涉及一种利用深度学习网络进行闸片磨耗检测的方，目的是为了现有图像处理方式进行闸片故障检测，容易受到背景噪声以及拍摄图像的质量的干扰，导致闸片磨耗故障检测的准确率低和鲁棒性差的问题，方法具体步骤如下：步骤一、获取不同角度的闸片图像，并对闸片图像进行处理，得到数据集；闸片图像为包括RGB通道和深度通道的图像；处理包括尺寸归一化和翻转；步骤二、提取RGB通道中的RGB特征和深度通道中的深度特征；步骤三、得到深度增强特征和RGB增强特征；并得到闸片图像融合特征；步骤四、计算得到闸片厚度；步骤五、获得厚度差值；若厚度差值大于差值阈值，则判断闸片有磨损故障。

Description

一种动车组闸片磨损故障图像识别方法

技术领域

本发明涉及一种利用深度学习网络进行闸片磨耗检测的方法。

背景技术

当动车高速运行时，如果出现闸片脱落、磨耗的情况，可能会引起动车组脱轨事故的发生，严重的时候将危机行车安全和旅客的生命安全，所以对动车组闸片磨耗故障的检测至关重要。

现有的人工检测时，人员在工作过程中极易出现疲劳、遗漏等情况，造成漏检、错检的出现，影响行车安全。而采用通过二值化闸片图像，提取闸片边缘信息的现有图像处理方式进行故障检测，容易受到背景噪声以及拍摄图像的质量的干扰，导致闸片磨耗故障检测的准确率低和鲁棒性差。

发明内容

本发明的目的是为了现有图像处理方式进行闸片故障检测，容易受到背景噪声以及拍摄图像的质量的干扰，导致闸片磨耗故障检测的准确率低和鲁棒性差的问题，提供了一种动车组闸片磨损故障图像识别方法。

本发明提供了一种动车组闸片磨损故障图像识别方法，方法具体步骤如下：

步骤一、获取不同角度的闸片图像，并对闸片图像进行处理，得到数据集；

闸片图像为包括RGB通道和深度通道的图像；处理包括尺寸归一化和翻转；

步骤二、对数据集中的闸片图像进行特征提取，提取RGB通道中的RGB特征和深度通道中的深度特征；

步骤三、通过RGB特征对深度特征进行增强，得到深度增强特征；

以及通过深度特征对RGB特征进行增强，得到RGB增强特征；

并将深度增强特征和RGB增强特征进行融合，得到闸片图像融合特征；

步骤四、通过闸片图像融合特征得到闸片边缘图和闸片显著性图，并利用闸片边缘图和闸片显著性图计算得到闸片厚度；

步骤五、将闸片厚度与预设的未磨损闸片厚度进行对比，获得厚度差值；

若厚度差值大于差值阈值，则判断闸片有磨损故障。

进一步地，步骤二中，提取RGB特征的具体方法如下：

步骤二一、将RGB图像输入至PVTv2网络的输入端；RGB图像为包括RGB通道的图像；

PVTv2网络包括多级的嵌入层Embedding Layer模块和与Embedding Layer一一对应的金字塔视觉变换PVT模块；

第一级Embedding Layer模块的输入端作为PVTv2网络的输入端；每级EmbeddingLayer模块的输出端均与同级PVT模块的输入端连接；每级PVT模块的输出端均作为PVTv2网络的输出端，且除最后一级PVT模块外，其他级的PVT模块的输出端还与下一级EmbeddingLayer模块的输入端连接；

步骤二二、PVTv2网络的输出端输出RGB特征F_i ^R，i∈{i＝1,2,3,4}；

其中i为Embedding Layer模块或PVT模块的级数。

进一步地，步骤二中，提取深度特征的具体方法如下：

步骤21、将深度图像输入至LWDepthNet网络中；深度图像为包括深度通道的图像；

LWDepthNet网络包括Embedding Layer模块、特征提取Feature Extraction模块、多个并行的1*1卷积层和与1*1卷积层和多个多尺度特征提取模块；且1*1卷积层的数量与多尺度特征提取模块的数量均与Embedding Layer模块或PVT模块的级数相等；

Embedding Layer模块的输入端作为LWDepthNet网络的输入端；Embedding Layer模块的输出端与Feature Extraction模块的输入端连接，Feature Extraction模块的输出端分别与多个并行的1*1卷积层的输入端连接，且多个1*1卷积层的输出端与多个多尺度特征提取模块的输入端一一对应连接；多个多尺度特征提取模块的输出端作为LWDepthNet网络的输出端；

步骤21、LWDepthNet网络的输出端输出深度特征F_i ^D。

进一步地，步骤三的具体方法如下；

步骤三一、将深度特征F_i ^D和RGB特征F_i ^R输入至深度特征增强模块DFEB，输出得到深度增强特征F_i ^D_En；

将深度特征F_i ^D和RGB特征F_i ^R输入至RGB特征增强模块RFEB，输出得到RGB增强特征F_i ^R_En；

步骤三二、将深度增强特征F_i ^D_En和RGB增强特征F_i ^R_En通过融合模块进行融合得到闸片图像融合特征F_i ^Fuse；

深度特征增强模块DFEB、RGB特征增强模块RFEB和融合模块均包括于跨模态特征融合模块CMFFM。

进一步地，步骤三一中，深度增强特征F_i ^D_En的具体表达式为：

F_i ^D_En＝F_i ^D+SA(F_i ^R,F_i ^D)+CA(F_i ^R,F_i ^D)

并且，SA(F_i ^R,F_i ^D)＝F_i ^D×Sigmoid(FC(FC(GAP(F_i ^R)+GMP(F_i ^R))))

CA(F_i ^R,F_i ^D)＝F_i ^D×Sigmoid(Conv7(CGMP(F_i ^R)+CGAP(F_i ^R)))；

其中，SA为空间注意机制，CA为通道注意机制；GMP(·)表示最大值池化操作，GAP(·)表示平均池化操作；CGMP(·)表示通道的全局最大池化操作，CGAP(·)表示通道的平均池化操作；Conv7(·)表示卷积核大小为7*7的卷积层；FC(·)代表全连接层，Sigmoid(·)为sigmoid激活函数。

进一步地，步骤三一中，RGB增强特征F_i ^R_En的具体表达式为：

F_i ^R_En＝F_i ^R+CFEN(MHSA(Q_R,K_D,V_D))

并且，Q_R为从RGB特征中提取的特征，K_D和V_D分别是深度特征对应的键和值；MHSA(·)代表多头注意力机制，CFFN(·)代表卷积前馈神经网络。

进一步地，步骤四的具体方法如下：

步骤四一、将闸片图像融合特征F_i ^Fuse输入到双任务解码器Decoder中，得到解码器输出特征F_j，j∈{j＝0,1,2}；

步骤四二、将解码器输出特征F_i作为边缘增强模块EEM的输入，得到边缘特征F_j ^Edge和显著性特征F_j ^Sal；

步骤四三、并通过提取边缘特征F_j ^Edge和显著性特征F_j ^Sal分别预测得到闸片边缘图E_j和闸片显著性图S_j。

进一步地，步骤四二中，边缘特征F_j ^Edge和显著性特征F_j ^Sal的具体表达式为：

F_j ^Edge＝F_j+Conv(Conv₁(F_j))

F_j ^sal＝F_j+Conv(Conv₁(F_j)+F_j ^Edge)

其中，Conv(·)代表三个卷积块，每个卷积块均由核大小为3*3的卷积运算、批量归一化层和GELU激活函数依次连接组成；Conv1(·)表示卷积核大小为1*1的卷积层。

进一步地，RGB图像的大小为640×640×3，Embedding Layer模块将RGB图像分割为4×4的RGB特征图像作为同级PVT模块的输入；且PVT模块输出的RGB特征图像的边长依次缩小一半；

深度图像的大小为640×640×1，且多个多尺度特征提取模块输出的深度特征图像与多个PVT模块输出的RGB特征图像一一对应且大小一致。

进一步地，PVTv2网络包括四级Embedding Layer模块，第一级Embedding Layerr模块输入为160*160*64的RGB特征图像，第二级Embedding Layer模块输入为80*80*128的RGB特征图像，第三级Embedding Layer模块输入为40*40*320的RGB特征图像，第四级Embedding Layer模块输入为20*20*512的RGB特征图像。

本发明的有益效果是：

1、提高了闸片磨耗故障检测的准确率和鲁棒性；

2、在RGB通道中采用PVTv2作为骨干网络来获取闸片图像中全局的语义信息，在深度通道中用一个基于CNN的轻量级主干网络(LWDepthNet)，来获取深度信息，选用这个网络减少了预训练提取空间信息的操作，提高了算法的实时性；

3、通过CMFFM将RGB三通道图像提取出来特征和提取深度信息进行融合。经过对RGB通道信息的增强以及对深度特征的增强，让显著性的掩膜信息和边缘信息统一格式，提高了检测的实时性；

4、通过CMFFM模块来融合RGB特征和深度特征，并利用EEM生成更清晰的轮廓。

附图说明

图1为具体实施方式一中非对称混合编码器(AHE，asymmetric hybrid encoder)的结构示意图；

图2为具体实施方式一中双任务解码器Decoder的结构示意图；

图3为具体实施方式一中深度特征增强模块(DFEB，depth feature enhancementblock)的结构示意图；

图4为具体实施方式一中RGB特征增强模块(RFEB，RGB feature enhancementblock)的结构示意图；

图5为具体实施方式一中LWDepthNet网络的结构示意图；

图6为具体实施方式一中边缘增强模块(EEM，edge enhancement module)的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

具体实施方式一，本实施方式的一种动车组闸片磨损故障图像识别方法，方法具体步骤如下：

步骤二、对数据集中的闸片图像进行特征提取，提取RGB通道中的RGB特征和深度通道中的深度特征；RGB特征包括语义信息，深度特征包括局部空间信息；

以及通过深度特征对RGB特征进行增强，得到RGB增强特征；

若厚度差值大于差值阈值，则判断闸片有磨损故障。

其中，步骤二中，提取RGB特征的具体方法如下：

其中i为Embedding Layer模块或PVT模块的级数。

其中，步骤二中，提取深度特征的具体方法如下：

步骤21、LWDepthNet网络的输出端输出深度特征F_i ^D。

其中，步骤三的具体方法如下；

其中，步骤三一中，深度增强特征F_i ^D_En的具体表达式为：

F_i ^D_En＝F_i ^D+SA(F_i ^R,F_i ^D)+CA(F_i ^R,F_i ^D)

并且，SA(F_i ^R,F_i ^D)＝F_i ^D×Sigmoid(FC(FC(GAP(F_i ^R)+GMP(F_i ^R))))

CA(F_i ^R,F_i ^D)＝F_i ^D×Sigmoid(Conv7(CGMP(F_i ^R)+CGAP(F_i ^R)))；

其中，步骤三一中，RGB增强特征F_i ^R_En的具体表达式为：

F_i ^R_En＝F_i ^R+CFEN(MHSA(Q_R,K_D,V_D))

其中，步骤四的具体方法如下：

其中，步骤四二中，边缘特征F_j ^Edge和显著性特征F_j ^Sal的具体表达式为：

F_j ^Edge＝F_j+Conv(Conv₁(F_j))

F_j ^sal＝F_j+Conv(Conv₁(F_j)+F_j ^Edge)

其中，RGB图像的大小为640×640×3，Embedding Layer模块将RGB图像分割为4×4的RGB特征图像作为同级PVT模块的输入；且PVT模块输出的RGB特征图像的边长依次缩小一半；

其中，PVTv2网络包括四级Embedding Layer模块，第一级Embedding Layerr模块输入为160*160*64的RGB特征图像，第二级Embedding Layer模块输入为80*80*128的RGB特征图像，第三级Embedding Layer模块输入为40*40*320的RGB特征图像，第四级EmbeddingLayer模块输入为20*20*512的RGB特征图像。

具体地，本实施方式的一种动车组闸片磨损故障图像识别方法，可以具体分为下属步骤：

1、建立样本数据集

当动车组进库后，快扫机器人通过机械臂运作，准确定位针对闸片部位进行拍照，获取高清彩色图像。由于闸片本身颜色偏黑，周围的部件比较复杂多样，通过机械臂多点抓拍闸片不同角度的图像。

将闸片图像进行大小归一化为640×640，同时图像进行翻转，进行数据集的扩增防止过拟合，使训练更加有效。

2、深度学习获得动车组闸片的信息

通过非对称混合编码器AHE(asymmetric hybrid encoder)，AHE结合了Transformer在建模长期依赖性和CNN局部性方面的优势，结构如图1所示。

在RGB通道中采用PVTv2作为骨干网络来获取闸片图像中全局的语义信息；在深度通道中用一个基于CNN的轻量级主干网络(LWDepthNet)，CNN的轻量级主干网络的结构如图5所示，来获取深度信息，选用这个网络减少了预训练提取空间信息的操作，提高了算法的实时性。然后将提取的特征输入到跨模态特征融合模块(CMFFM)。使用从RGB数据中提取的全局语义信息对深度特征进行空间对齐和通道重新校准，然后将从深度数据中提取的局部空间信息引入RGB特征以创建融合特征。最后，将融合的特征输入到双任务解码器Decoder中，过程如图2所示，并使用边缘增强模块(EEM)来改善预测显著性图的边界质量。

混合编码器AHE(asymmetric hybrid encoder)主要是对RGB三通道的图像通过Transformer模型分层进行全局的语义信息提取；对深度图像通过主干CNN模型采用并行的方式进行局部空间信息的提取。其中针对RGB三通道的Encoder(编译)使用基于Transformer-based的PVTv2网络，用来有效的提取RGB数据中丰富的语义信息，PVTv2分层设计，不需要位置编码模块，能够让它构建更多级的特征，让输入参数的大小可选空间更大，能够更加准确的获得各种角度拍摄的闸片图像的信息。

PVTv2的所有阶段共享一个类似的架构，该架构由重叠的Embedding Layer和几个PVT块组成。具体来说，给定三通道的输入图像，PVTv2使用重叠的Embedding Layer将输入图像分割为大小为4×4的小块，然后将这些小块作为输入，输入到PVT块中。迭代输入到Embedding Layer层时，图像大小缩小一半。在Encoder中有四个Embedding Layer层，第一个Embedding Layerr层输入为160*160*64的特征图像，第二个Embedding Layer层输入为80*80*128的特征图像，第三个Embedding Layer层输入为40*40*320的特征图像，第四个Embedding Layer层输入为20*20*512的特征图像。

针对深度通道编码器，提取深度信息比获取RGB特征数据更关注局部空间信息，因为CNN模型具有平移不变性和局部性，有利于提取局部空间信息，所以用CNN模型对深度信息进行获取。使用并行结构而不是层次结构来更好地保留深度数据的空间信息。采用同步长的卷积，而不是合并层进行下采样，以防止空间结构信息的丢失。图5LWDepthNet表示了LWDepthNet的结构细节。首先，根据PVTv2，采用重叠Embedding Layer块，将输入深度数据的分辨率降低到输入的1/4。然后将特征编码为基本特征F₀ ^D通过特征提取模块，该模块依次由三个Bottleneck Layers组成。最后，使用1×1卷积层调整通道数，并使用{F_i ^D|i＝1,2,3,4}四个并行特征提取模块提取多尺度特征。注意，它与RGB通道编码器输出的多尺度特征的形状一致。

其中通过跨模态特征融合模块CMFFM(cross-modal feature fusion module)将RGB三通道图像提取出来特征和提取深度信息进行融合。其中包括深度特征增强模块DFEB(depth feature enhancement block)和RGB特征增强模块RFEB(RGB featureenhancement block)，分别如图3和图4所示。

为了让通过LWDepthNet提取的深度特征和通过RGB图像提取的特征进行融合，需要让这两种特征信息的结构相同，使用DFEB模块通过从RGB数据中提取的语义信息增强深度特征，也即对空间特征信息进行空间对齐和通道的重新校准。DFEB模块如图3所示。输入的RGB特征F_i ^R，深度特征为F_i ^D，i∈{i＝1,2,3,4}，增强后的特征为F_i ^D_En。

F_i ^D_En＝F_i ^D+SA(F_i ^R,F_i ^D)+CA(F_i ^R,F_i ^D)

SA(F_i ^R,F_i ^D)＝F_i ^D×Sigmoid(FC(FC(GAP(F_i ^R)+GMP(F_i ^R))))

CA(F_i ^R,F_i ^D)＝F_i ^D×Sigmoid(Conv7(CGMP(F_i ^R)+CGAP(F_i ^R)))

其中SA为空间注意机制，CA为通道注意机制。其中，GMP(·)表示最大值池化操作，GAP(·)表示平均池操作。CGMP(·)表示通道的全局最大池化操作，CGAP(·)表示通道平均池化操作。Conv7(·)表示卷积核大小为7*7的卷积。FC(·)代表全连接层，Sigmoid(·)为sigmoid激活函数。

RFEB模块用来增强RGB通道特征，将通过深度提取的局部特征信息融入到RGB通道特征中，详见图4。输入的RGB特征F_i ^R，深度特征为F_i ^D，i∈{i＝1,2,3,4}，增强后的特征为F_i ^R_En。

F_i ^R_En＝F_i ^R+CFEN(MHSA(Q_R,K_D,V_D))

Q_R从RGB特征图中提取的特征，K_D和V_D分别是深度特征信息对应的键和值。

MHSA(·)代表多头注意力机制，CFFN(·)代表卷积前馈神经网络。

最后将深度特征增强模块DFEB(depth feature enhancement block)和RGB特征增强模块RFEB(RGB feature enhancement block)两种模式增强后的特征进行融合，{F_i ^Fuse|i＝1,2,3,4}表示融合特征，该过程如下所示：

F_i ^Fuse＝FusionB(F_i ^R_En+F_i ^D_En)

其中FusionB(·)表示融合过程，其中包含3*3大小的卷积核、批量归一化层、GELU激活函数。

通过非对称混合编码器AHE(asymmetric hybrid encoder)进行RGB通道信息的提取和深度信息的提取，AHE结合了Transformer模型建模的长期依赖性和CNN局部性方面的优势，提高了模型预测的泛化能力，同时在不降低性能的情况下有效地减少了参数数量并提高了速度。

因为闸片图像中，闸片本身像素值偏低，同时周围干扰部件多，获取更多的闸片边缘信息，能更加精确的测量闸片的厚度。通过边缘增强模块EEM(edge enhancementmodule)进一步改善预测显著性特征的边缘质量。添加了一个额外的边缘预测分支，并利用得到的边缘特征来细化显著对象的边界。拟议边缘增强模块的细节如图6所示。考虑到浅层特征通常包含更多的边界信息，仅使用来自下三层的特征进行预测。根据Decoder输出的特征F_i，首先计算获得边缘特征F_i ^Edge，然后用以增强闸片的显著性特征F_i ^Sal，i∈{i＝0,1,2}。

F_i ^Edge＝F_i+Conv(Conv₁(F_i))

F_i ^sal＝F_i+Conv(Conv₁(F_i)+F_i ^Edge)

Conv(·)代表三个卷积块，一个卷积块由核大小为3×3的卷积运算、批量归一化层和GELU激活函数组成。Conv1(·)表示卷积核大小为1x1的卷积。

然后使用提取的边缘特征F_i ^Edge和显著性特征F_i ^Sal，用来预测边缘图E_i和显著性图S_i，i∈{i＝0,1,2}：

E_i＝Sigmoid(Conv1(F_i ^Edge))

S_i＝Sigmoid(Conv1(F_i ^sal))

训练模型的过程中使用损失函数计算如下：

L＝L_E(E_i)+L_S(S_i)

L_E为边缘损失函数，L_S为显著性信息提取损失函数，其中i∈{i＝0,1,2}

L_E＝0.5L_BCE(E₁)+0.25L_BCE(E₂)+0.25L_BCE(E₃)

L_s＝0.5L_IGL(S₁)+0.25L_IGL(S₂)+0.25L_IGL(S₃)

L_IGL＝L_BCE+αL_B+βL_IOU

其中p表示预测的边缘信息，g表示对应的真实的边缘信息，H便是真实预测的边界框的高，W为真实预测的边界框的宽。α，β为加权参数，分别设置为1和0.6。

3、动车组闸片磨耗故障的判断

将精扫相机采集到的不同闸片位置的三通道彩色图像，大小归一化为640×640×3，作为输入，经过训练好的网络模型中进行检测。最终获得通过闸片的边缘信息，以及闸片显著目标的掩膜信息，然后通过逻辑运算，获得闸片的厚度，将闸片的厚度和无故障历史车闸片的厚度进行对比，获得厚度差值，如差值大于阈值，则认为是闸片磨耗故障，将故障报文上传。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他实施例中。

Claims

1.一种动车组闸片磨损故障图像识别方法，所述方法具体步骤如下：

以及通过深度特征对RGB特征进行增强，得到RGB增强特征；

若厚度差值大于差值阈值，则判断闸片有磨损故障；

其特征在于，步骤二中，提取RGB特征的具体方法如下：

步骤二一、将RGB图像输入至PVTv2网络的输入端；所述RGB图像为包括RGB通道的图像；

所述PVTv2网络包括多级的嵌入层Embedding Layer模块和与Embedding Layer一一对应的金字塔视觉变换PVT模块；

其中i为Embedding Layer模块或PVT模块的级数。

2.根据权利要求1所述的一种动车组闸片磨损故障图像识别方法，其特征在于，步骤二中，提取深度特征的具体方法如下：

步骤21、将深度图像输入至LWDepthNet网络中；所述深度图像为包括深度通道的图像；

所述LWDepthNet网络包括Embedding Layer模块、特征提取Feature Extraction模块、多个并行的1*1卷积层和多个多尺度特征提取模块；且1*1卷积层的数量与多尺度特征提取模块的数量均与Embedding Layer模块或PVT模块的级数相等；

步骤22、LWDepthNet网络的输出端输出深度特征F_i ^D。

3.根据权利要求2所述的一种动车组闸片磨损故障图像识别方法，其特征在于，步骤三的具体方法如下；

将深度特征F_i ^D和RGB特征F_i ^R输入至RGB特征增强模块RFEB，输出得到RGB增强特征F_i ^R ^_En；

所述深度特征增强模块DFEB、RGB特征增强模块RFEB和融合模块均包括于跨模态特征融合模块CMFFM。

4.根据权利要求3所述的一种动车组闸片磨损故障图像识别方法，其特征在于，步骤三一中，深度增强特征F_i ^D_En的具体表达式为：

F_i ^D_En＝F_i ^D+SA(F_i ^R,F_i ^D)+CA(F_i ^R,F_i ^D)

并且，SA(F_i ^R,F_i ^D)＝F_i ^D×Sigmoid(FC(FC(GAP(F_i ^R)+GMP(F_i ^R))))

CA(F_i ^R,F_i ^D)＝F_i ^D×Sigmoid(Conv7(CGMP(F_i ^R)+CGAP(F_i ^R)))；

5.根据权利要求3或4所述的一种动车组闸片磨损故障图像识别方法，其特征在于，步骤三一中，RGB增强特征F_i ^R_En的具体表达式为：

F_i ^R_En＝F_i ^R+CFEN(MHSA(Q_R,K_D,V_D))

6.根据权利要求5所述的一种动车组闸片磨损故障图像识别方法，其特征在于，步骤四的具体方法如下：

步骤四二、将解码器输出特征F_j作为边缘增强模块EEM的输入，得到边缘特征F_j ^Edge和显著性特征F_j ^Sal；

7.根据权利要求6所述的一种动车组闸片磨损故障图像识别方法，其特征在于，步骤四二中，边缘特征F_j ^Edge和显著性特征F_j ^Sal的具体表达式为：

F_j ^Edge＝F_j+Conv(Conv₁(F_j))

F_j ^sal＝F_j+Conv(Conv₁(F_j)+F_j ^Edge)

8.根据权利要求2所述的一种动车组闸片磨损故障图像识别方法，其特征在于，

RGB图像的大小为640×640×3，Embedding Layer模块将RGB图像分割为4×4的RGB特征图像作为同级PVT模块的输入；且PVT模块输出的RGB特征图像的边长依次缩小一半；

9.根据权利要求8所述的一种动车组闸片磨损故障图像识别方法，其特征在于，

PVTv2网络包括四级Embedding Layer模块，第一级Embedding Layer模块输入为160*160*64的RGB特征图像，第二级Embedding Layer模块输入为80*80*128的RGB特征图像，第三级Embedding Layer模块输入为40*40*320的RGB特征图像，第四级Embedding Layer模块输入为20*20*512的RGB特征图像。