CN112365480B - 制动夹钳装置闸片丢失故障识别方法 - Google Patents

Abstract

一种制动夹钳装置闸片丢失故障识别方法，属于动车组故障识别领域。本发明针对现有制动夹钳装置闸片丢失故障依靠人工进行检测，成本高并且可靠性差的问题。包括采集制动夹钳装置的原始图片；根据先验知识由原始图片确定粗定位目标区域，并对粗定位目标区域进行增强处理；采用训练后定位模块通过SSD检测网络由粗定位目标区域确定闸片子区域；采用训练后识别模块通过改进的SSD检测网络判断闸片子区域内是否包含闸片研磨子，若否，则判定闸片丢失。本发明实现了闸片丢失故障的自动识别。

Description

制动夹钳装置闸片丢失故障识别方法

技术领域

本发明涉及制动夹钳装置闸片丢失故障识别方法，属于动车组故障识别领域。

背景技术

制动夹钳装置是高速动车组基础制动装置的主要部件，它借助一个固定支点和两个吊耳安装在车辆的转向架部分上。在车辆制动时，制动夹钳装置依靠制动夹钳上的一对闸片与制动盘的摩擦，将车辆的动能转化为热能，确保车辆能够在安全的距离内停车。当出现制动夹钳装置闸片丢失时，制动夹钳装置将会失效，给动车组的正常运行带来安全隐患。

目前对制动夹钳装置闸片状态检测主要采取人工逐张看图的检车作业方式。受工作人员素质、责任心以及劳动强度等因素的影响，错检漏检的状况时有发生，这使得检测质量很难保证，并且存在人工成本巨大，效率低下等问题。

因此，需要提供一种对制动夹钳装置闸片丢失故障的自动化检测技术。通过结合图像处理和深度学习技术，来实现故障自动识别和报警，从而有效提高检车作业质量和效率。

发明内容

针对现有制动夹钳装置闸片丢失故障依靠人工进行检测，成本高并且可靠性差的问题，本发明提供一种制动夹钳装置闸片丢失故障识别方法。

本发明的一种制动夹钳装置闸片丢失故障识别方法，包括，

采用图像采集模块采集制动夹钳装置的原始图片；

采用图像预处理模块根据先验知识由原始图片确定粗定位目标区域，并对粗定位目标区域进行增强处理；

采用训练后定位模块通过SSD检测网络由粗定位目标区域确定闸片子区域；SSD检测网络基于VGG-16网络提取粗定位目标区域的高级特征，并对高级特征通过尺度不同的卷积层获得各个卷积层对应的卷积特征图；对所有卷积特征图进行检测，并进行非极大值抑制，获得闸片子区域；

采用训练后识别模块通过改进的SSD检测网络判断闸片子区域内是否包含闸片研磨子，若否，则判定闸片丢失；改进的SSD检测网络中，用ResNet网络作为骨干网络，替换原SSD检测网络中的VGG16网络；同时设置高低层网络融合模块对闸片子区域进行分类和位置回归；再引入注意力模块关注融合模块输出的分类数据中是否包含闸片研磨子的特征，从而确定闸片子区域内是否包含闸片研磨子。

根据本发明的制动夹钳装置闸片丢失故障识别方法，高低层网络融合模块包括三个。

根据本发明的制动夹钳装置闸片丢失故障识别方法，

训练后定位模块的获得过程包括：采用定位训练图像数据集多次训练初始定位模块，直至收敛获得相应参数，将相应参数加载至初始定位模块得到训练后定位模块；

训练后识别模块的获得过程包括：采用识别训练图像数据集对初始识别模块进行训练，直至收敛获得相应参数，将相应参数加载至初始识别模块得到训练后识别模块。

根据本发明的制动夹钳装置闸片丢失故障识别方法，方法还包括，

采用报警模块接收训练后识别模块传递的闸片丢失信号，并进行报警。

根据本发明的制动夹钳装置闸片丢失故障识别方法，原始图片为高清图像采集设备采用线扫描方式获得的二维图像。

根据本发明的制动夹钳装置闸片丢失故障识别方法，定位训练图像数据集内的样本包括受到雨水、泥渍、油渍及黑漆影响的样本，以及由不同观测点采集的图片处理后获得的样本。

根据本发明的制动夹钳装置闸片丢失故障识别方法，定位训练图像数据集包括粗定位目标区域图像集与定位标记信息集，定位标记信息集中的数据包括采用人工标记方式标记的粗定位目标区域位置信息；粗定位目标区域图像集与定位标记信息集内的样本一一对应；

定位目标区域图像集中的数据为对相应粗定位目标区域的增强处理后数据。

根据本发明的制动夹钳装置闸片丢失故障识别方法，识别训练图像数据集包括闸片子区域图像集与识别标记信息集，识别标记信息集中的数据包括采用人工标记方式标记的闸片子区域位置信息；闸片子区域图像集与识别标记信息集内的样本一一对应；

闸片子区域图像集中的数据为相应闸片子区域的增强处理后数据。

根据本发明的制动夹钳装置闸片丢失故障识别方法，注意力模块包括通道注意力单元，通道注意力单元用于利用特征的信道间关系生成通道注意力特征图，通道注意力特征图用于关注融合模块输出的分类数据中是否包含闸片研磨子的特征：

首先使用平均池化操作和最大池化操作聚合分类数据的空间信息，生成平均池化特征

和最大池化特征

然后通过共享全连接层MLP生成通道注意力特征图M_c：

式中σ表示Sigmod激活函数，W₀为共享全连接层MLP的一号权重，W₁为共享全连接层MLP的二号权重。

根据本发明的制动夹钳装置闸片丢失故障识别方法，注意力模块还包括空间注意力单元，空间注意力单元用于利用特征间的空间关系生成空间注意力特征图，空间注意力特征图用于关注融合模块输出的分类数据中闸片研磨子所在位置的特征信息；空间注意力特征图的生成过程包括：

使用两个池化操作将聚合的通道注意力特征图分成两个二维映射，生成通道中的平均池化特征

和通道中的最大池特征

然后通过卷积，生成二维空间注意力特征图M_s：

式中f^7×7表示卷积核为7×7的卷积层的卷积操作，

对于融合模块输出的分类数据中的每个闸片子区域特征图F∈R^C×H×W，其中C、H、W分别表示闸片子区域特征图的长度、宽度和通道数，将通道注意力特征图M_c与闸片子区域特征图F相乘后得到：

F′再与二维空间注意力特征图M_s相乘后得到：

则F″为用于确定闸片子区域内是否包含闸片研磨子的判定结果。

本发明的有益效果：

1、本发明方法将自动识别技术引入动车组故障检测，实现故障自动识别及报警，人工只需在最后对报警结果进行确认，有效地节约了人力成本，并提高了作业质量和作业效率。

2、由于制动夹钳装置闸片在使用过程中会产生不同程度的损耗，其形态会有所变化，将深度学习算法应用到故障自动识别中，相较传统的机器视觉检测方法具有更高的准确性、稳定性。

3、本发明针对SSD检测网络针对小目标检测效果不佳的问题，通过引入特征融合模块和注意力模块进行改进，提高了对小目标的检测效果。

附图说明

图1是本发明的制动夹钳装置闸片丢失故障识别方法的流程图；

图2是定位闸片子区域的流程图；

图3是闸片丢失的判定流程图；

图4是SSD检测网络模型图；

图5是网络融合模块的结构图；

图6是注意力模块结构图；

图7是改进的SSD检测网络结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

具体实施方式一、结合图1至图3所示，本发明提供了一种制动夹钳装置闸片丢失故障识别方法，包括，

采用图像采集模块采集制动夹钳装置的原始图片；

采用图像预处理模块根据先验知识由原始图片确定粗定位目标区域，并对粗定位目标区域进行增强处理；

采用训练后定位模块通过SSD检测网络由粗定位目标区域确定闸片子区域；SSD检测网络基于VGG-16网络提取粗定位目标区域的高级特征，并对高级特征通过尺度不同的卷积层获得各个卷积层对应的卷积特征图；对所有卷积特征图进行检测，并进行非极大值抑制，获得闸片子区域；高级特征也叫抽象特征，是通过卷积获得的图像特征的通称；

采用训练后识别模块通过改进的SSD检测网络判断闸片子区域内是否包含闸片研磨子，若否，则判定闸片丢失；改进的SSD检测网络中，用ResNet网络作为骨干网络，替换原SSD检测网络中的VGG16网络；同时设置高低层网络融合模块对闸片子区域进行分类和位置回归；再引入注意力模块关注融合模块输出的分类数据中是否包含闸片研磨子的特征，从而确定闸片子区域内是否包含闸片研磨子。

作为示例，高低层网络融合模块包括三个。

进一步，训练后定位模块的获得过程包括：采用定位训练图像数据集多次训练初始定位模块，直至收敛获得相应参数，将相应参数加载至初始定位模块得到训练后定位模块；

训练后识别模块的获得过程包括：采用识别训练图像数据集对初始识别模块进行训练，直至收敛获得相应参数，将相应参数加载至初始识别模块得到训练后识别模块。

本实施方式中，可以利用动车组轨道底部搭建的高清成像设备，对高速运动的动车组进行拍摄，获取动车组底部的高清图像。根据轴距信息和转向架类型等先验知识，可以获取包含部件的粗定位图像，再对制动夹钳装置闸片位置进行精定位并进行故障识别。根据动车组的轴距信息和车型信息对制动夹钳装置进行粗定位，从拍摄图片中截取包含部件的粗定位目标区域，可有效减少故障识别所需时间、提升识别准确率。

定位训练图像数据集和识别训练图像数据集中的样本，均通过图像收集、整理以及数据扩增后获得。本实施方式中的训练后定位模块和训练后识别模块均为采用样本多次训练得到，在使初始模块收敛后，获得相应参数。然后用于故障图像识别时，加载相应参数至模型，将实时采集图片预处理后获得的粗定位目标区域输入到训练后定位模块和训练后识别模块开始故障识别，由识别结果确定是否存在故障，并可在存在故障时对故障区域进行报警。

在识别闸片研磨子丢失故障前，需要先对制动夹钳装置进行精定位，提取待识别的闸片子区域，流程图如图2所示。

进一步，结合图1所示，本实施方式还包括，

采用报警模块接收训练后识别模块传递的闸片丢失信号，并进行报警。在本发明自动判定闸片丢失后，可通过人工进行确认，并针对故障及时进行维修。

再进一步，原始图片为高清图像采集设备采用线扫描方式获得的二维图像。采用线扫描，可实现图像无缝拼接，生成视野大、精度高的二维图像。

作为示例，增强处理包括对粗定位目标区域随机进行旋转、平移、缩放及镜像操作。

再进一步，定位训练图像数据集内的样本具有多样性；多样性包括受到雨水、泥渍、油渍及黑漆影响的样本，以及由不同观测点采集的图片处理后获得的样本。

制动夹钳装置可能受到各种自然条件或者人为条件的影响，并且不同站点拍摄的图像可能存在差异。因此，在训练图像数据集的搜集过程中，为保证有样本的多样性，对各种条件、不同站点的图像都进行了搜集。

再进一步，定位训练图像数据集包括粗定位目标区域图像集与定位标记信息集，定位标记信息集中的数据包括采用人工标记方式标记的粗定位目标区域位置信息；粗定位目标区域图像集与定位标记信息集内的样本一一对应；

定位目标区域图像集中的数据为对相应粗定位目标区域的增强处理后数据。

为提高模型的稳定性，需要对原始图像数据进行增强处理获得训练图像数据。扩增形式包括图像的旋转、平移、缩放、镜像等操作，每种操作都是在随机条件下进行的，这样可以最大程度地保证样本的多样性和适用性。

再进一步，定位模块包括6层不同尺度的卷积层，在闸片子区域图像为300x300像素的条件下，获得的卷积特征图尺寸从38x38到1x1。

结合图4所示，定位模块采用Single Shot MultiBox Detector(SSD)检测算法，对图像中的制动夹钳装置进行精确定位，确定闸片子区域。

SSD算法基于VGG-16网络来提取原始图像种的高级特征，并利用了不同尺度的特征图来做检测。因为特征提取网络在运算的过程中会产生多个尺度不同的卷积特征图，它们包含不同的语义特征和位置敏感性，适合于多尺度检测。SSD算法通常采用6层不同大小的特征图来做检测，在输入图像为300x300的条件下，各层特征图尺寸从38x38到1x1不等。

对于一张输入的粗定位目标区域图像，利用训练后定位模块，可对图像中的制动夹钳装置进行定位，并提取待检测的闸片子区域图像。

再进一步，识别训练图像数据集包括闸片子区域图像集与识别标记信息集，识别标记信息集中的数据包括采用人工标记方式标记的闸片子区域位置信息；闸片子区域图像集与识别标记信息集内的样本一一对应；

闸片子区域图像集中的数据为相应闸片子区域的增强处理后数据。

本实施方式中，定位训练图像数据集和识别训练图像数据集均包括原图像集与标记信息集。原图像集为粗定位目标区域图像集和闸片子区域图像集，标记信息集为采用人工标记方式标记的粗定位目标区域位置信息和采用人工标记方式标记的闸片子区域位置信息；原图像集与标记信息数据集之间是一一对应的，即每个图像对应一个标记数据。

结合图3所示，将待检测的闸片子区域图像输入到训练后识别模块，可输出故障识别结果。

为了增强模型检测的鲁棒性，可对原搜集图像利用自适应光照水平调节策略进行增强，并利用随机的旋转、平移、缩放、镜像等操作，进行数据扩增，获得识别训练图像数据集中的样本数据，从而，最大程度地保证样本的多样性和适用性。

本实施方式中，对SSD检测网络算法的改进，主要包括两个方面，引入多尺度特征融合模块以及注意力模块。

对于常规物体，SDD检测算法兼顾检测精度和检测速度，但是在对小目标低分辨率的物体检测中，SSD算法检测效果不佳。由于闸片故障检测时需识别闸片研磨子的状态，而闸片研磨子属于小目标，直接应用SSD检测算法的检测效果不佳。故考虑通过骨干网络优化、引入多尺度特征融合模块以及注意力模块对SSD检测算法进行改进：

1)骨干网络优化：

由于SSD使用conv4_3低级特征在应用于小目标检测时的低级特征卷积层数较少，存在特征提取不充分的问题，故使用层数更深的ResNet网络替代了SSD中的VGG16网络作为骨干网络。

2)引入多尺度特征融合模块：

结合图5所示，设置三个高低层网络融合模块直接对检测目标进行分类和位置回归，以简化复杂运算，提升网络模型的效率。以融合Conv3_3特征图和Conv15_2特征图为例，首先对Conv15_2特征图进行卷积核大小为2×2、通道数为256的上采样操作，输出结果通过卷积核为3×3的卷积层映射输出至修正激活函数层(Rectified Linear Unit,ReLU)和正则化层后再次卷积，为防止过拟合再进行一次正则化。Conv3_3特征图直接经过卷积、激活函数修正和正则化后与采样后的Conv15_2特征图进行求和操作(EltwSum)，随后添加一个3×3的卷积层以确保检测的特征具有可分辨性，最后在一个ReLU层后实现融合功能。

注意力模块的结构如图6所示，主要由通道注意力和空间注意力两部分组成。

其中，通道注意力单元用于利用特征的信道间关系生成通道注意力特征图，通道注意力特征图用于关注融合模块输出的分类数据中是否包含闸片研磨子的特征：

首先使用平均池化操作和最大池化操作聚合分类数据的空间信息，生成两个不同的空间上下文描述：平均池化特征

和最大池化特征

然后通过共享全连接层MLP生成通道注意力特征图M_c：

式中AvgPool(F)表示平均池化特征，(MaxPool(F))表示最大池化特征；

式中σ表示Sigmod激活函数，W₀为共享全连接层MLP的一号权重，W₁为共享全连接层MLP的二号权重。

再进一步，注意力模块还包括空间注意力单元，空间注意力单元用于利用特征间的空间关系生成空间注意力特征图，空间注意力特征图用于关注融合模块输出的分类数据中闸片研磨子所在位置的特征信息，它是对通道注意力特征图的一个补充；为计算空间注意力特征图，沿通道应用平均池化和最大池化操作，并将它们连接起来以生成有效的特征描述符。在信息区域中，应用池化操作可以有效地提高通道中目标特征的显著程度。空间注意力特征图的生成过程包括：

使用两个池化操作将聚合的通道注意力特征图分成两个二维映射，生成通道中的平均池化特征

和通道中的最大池特征

然后通过卷积，生成二维空间注意力特征图M_s：

式中f^7×7表示卷积核为7×7的卷积层的卷积操作，

对于融合模块输出的分类数据中的每个闸片子区域特征图F∈R^C×H×W，其中C、H、W分别表示闸片子区域特征图的长度、宽度和通道数，将通道注意力特征图M_c与闸片子区域特征图F相乘后得到：

F′再与二维空间注意力特征图M_s相乘后得到：

则F″为用于确定闸片子区域内是否包含闸片研磨子的判定结果。

式中

表示元素乘法，在乘法过程中注意特征值被相应地传播；F″为最终确定的输出。

改进的SSD检测网络总体结构如图7所示，在该网络中，首先通过注意力模块增强低层网络的信息表征能力，使得感受野更关注目标特征，然后与高层网络中的上下文信息进行融合，增强对检测目标的定位能力。

最后识别故障：

对于一张输入闸片子区域图像数据，利用训练得到的检测模型对闸片研磨子进行检测、定位，当检测不到闸片研磨子时，判定为闸片丢失故障，生成报文并上传至报警平台。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它实施例中。

Claims (10)

1.一种制动夹钳装置闸片丢失故障识别方法，其特征在于包括，

采用图像采集模块采集制动夹钳装置的原始图片；

采用图像预处理模块根据先验知识由原始图片确定粗定位目标区域，并对粗定位目标区域进行增强处理；

采用训练后定位模块通过SSD检测网络由粗定位目标区域确定闸片子区域；所述SSD检测网络基于VGG-16网络提取粗定位目标区域的高级特征，并对高级特征通过尺度不同的卷积层获得各个卷积层对应的卷积特征图；对所有卷积特征图进行检测，并进行非极大值抑制，获得闸片子区域；

采用训练后识别模块通过改进的SSD检测网络判断闸片子区域内是否包含闸片研磨子，若否，则判定闸片丢失；改进的SSD检测网络中，用ResNet网络作为骨干网络，替换原SSD检测网络中的VGG16网络；同时设置高低层网络融合模块对闸片子区域进行分类和位置回归；再引入注意力模块关注融合模块输出的分类数据中是否包含闸片研磨子的特征，从而确定闸片子区域内是否包含闸片研磨子；

所述确定粗定位目标区域的方法包括：根据动车组的轴距信息和车型信息对制动夹钳装置进行粗定位，从拍摄图片中截取包含部件的粗定位目标区域。

2.根据权利要求1所述的制动夹钳装置闸片丢失故障识别方法，其特征在于，所述高低层网络融合模块包括三个。

3.根据权利要求1所述的制动夹钳装置闸片丢失故障识别方法，其特征在于，

所述训练后定位模块的获得过程包括：采用定位训练图像数据集多次训练初始定位模块，直至收敛获得相应参数，将相应参数加载至初始定位模块得到训练后定位模块；

所述训练后识别模块的获得过程包括：采用识别训练图像数据集对初始识别模块进行训练，直至收敛获得相应参数，将相应参数加载至初始识别模块得到训练后识别模块。

4.根据权利要求1所述的制动夹钳装置闸片丢失故障识别方法，其特征在于所述方法还包括，

采用报警模块接收训练后识别模块传递的闸片丢失信号，并进行报警。

5.根据权利要求1所述的制动夹钳装置闸片丢失故障识别方法，其特征在于，

所述原始图片为高清图像采集设备采用线扫描方式获得的二维图像。

6.根据权利要求3所述的制动夹钳装置闸片丢失故障识别方法，其特征在于，

定位训练图像数据集内的样本包括受到雨水、泥渍、油渍及黑漆影响的样本，以及由不同观测点采集的图片处理后获得的样本。

7.根据权利要求6所述的制动夹钳装置闸片丢失故障识别方法，其特征在于，所述定位训练图像数据集包括粗定位目标区域图像集与定位标记信息集，所述定位标记信息集中的数据包括采用人工标记方式标记的粗定位目标区域位置信息；所述粗定位目标区域图像集与定位标记信息集内的样本一一对应；

定位目标区域图像集中的数据为对相应粗定位目标区域的增强处理后数据。

8.根据权利要求7所述的制动夹钳装置闸片丢失故障识别方法，其特征在于，

所述识别训练图像数据集包括闸片子区域图像集与识别标记信息集，所述识别标记信息集中的数据包括采用人工标记方式标记的闸片子区域位置信息；闸片子区域图像集与识别标记信息集内的样本一一对应；

所述闸片子区域图像集中的数据为相应闸片子区域的增强处理后数据。

9.根据权利要求8所述的制动夹钳装置闸片丢失故障识别方法，其特征在于，

所述注意力模块包括通道注意力单元，所述通道注意力单元用于利用特征的信道间关系生成通道注意力特征图，通道注意力特征图用于关注融合模块输出的分类数据中是否包含闸片研磨子的特征：

首先使用平均池化操作和最大池化操作聚合分类数据的空间信息，生成平均池化特征

和最大池化特征

然后通过共享全连接层MLP生成通道注意力特征图M_c：

式中σ表示Sigmod激活函数，W₀为共享全连接层MLP的一号权重，W₁为共享全连接层MLP的二号权重。

10.根据权利要求9所述的制动夹钳装置闸片丢失故障识别方法，其特征在于，

所述注意力模块还包括空间注意力单元，所述空间注意力单元用于利用特征间的空间关系生成空间注意力特征图，空间注意力特征图用于关注融合模块输出的分类数据中闸片研磨子所在位置的特征信息；空间注意力特征图的生成过程包括：

使用两个池化操作将聚合的通道注意力特征图分成两个二维映射，生成通道中的平均池化特征

和通道中的最大池特征

然后通过卷积，生成二维空间注意力特征图M_s：

式中f^7×7表示卷积核为7×7的卷积层的卷积操作，

对于融合模块输出的分类数据中的每个闸片子区域特征图F∈R^C×H×W，其中C、H、W分别表示闸片子区域特征图的长度、宽度和通道数，将通道注意力特征图M_c与闸片子区域特征图F相乘后得到：

F′再与二维空间注意力特征图M_s相乘后得到：

则F″为用于确定闸片子区域内是否包含闸片研磨子的判定结果。

Images