CN112434695A - 一种基于深度学习的上拉杆故障检测方法 - Google Patents

Abstract

一种基于深度学习的上拉杆故障检测方法，它属于上拉杆故障检测技术领域。本发明解决了采用现有方法进行上拉杆故障检测时容易出现错、漏检以及检测效率低的问题。本发明首先采集待检测的列车图像，并从采集的图像中获取感兴趣区域图像；然后对感兴趣区域图像进行增强处理，获得增强处理后的感兴趣区域图像；对图像进行分割后，通过改进SSD模型输出分割后子图像中制动缸部件位置；并根据制动缸位置提取出包含上拉杆的待识别图像；最后采用FasterRCNN模型和Unet模型对待识别图像中的上拉杆进行故障识别。本发明可以应用于上拉杆故障检测。

Description

一种基于深度学习的上拉杆故障检测方法

技术领域

本发明属于上拉杆故障检测技术领域，具体涉及一种基于深度学习的上拉杆故障检测方法。

背景技术

上拉杆是铁路车辆制动系统的重要部件，在列车制动时起到传递制动力的作用。车辆制动时制动缸输出的制动力通过制动杠杆传递到上拉杆，上拉杆通过圆销与转向架移动杠杆相连，转向架移动杠杆再将制动力传递给闸瓦，闸瓦摩擦车轮产生制动。若上拉杆在制动过程中断裂，则制动力不能传递给闸瓦，车辆失去制动能力，无法停车，造成行车安全事故。

目前主要采取人工逐张看图的检车作业方式，这种方式受人员素质、责任心、劳动强度等因素的影响，错、漏检问题时有发生，作业质量难以保证，以及存在着人工成本巨大、效率低下等问题。因此，针对上拉杆故障的自动化检测具有重要意义。通过结合图像处理和深度学习技术，实现故障自动识别和报警，可有效提高检车作业质量和效率。

发明内容

本发明的目的是为解决采用现有方法进行上拉杆故障检测时容易出现错、漏检以及检测效率低的问题，而提出了一种基于深度学习的上拉杆故障检测方法。

本发明为解决上述技术问题所采取的技术方案是：一种基于深度学习的上拉杆故障检测方法，所述方法包括以下步骤：

步骤一、采集待检测的列车图像，并从采集的列车图像中获取感兴趣区域图像；

步骤二、对感兴趣区域图像进行增强处理，获得增强处理后的感兴趣区域图像；

步骤三、对增强处理后的感兴趣区域图像进行分割，获得对感兴趣区域图像分割后的子图像；

步骤四、将获得的对感兴趣区域图像分割后的子图像输入训练好的改进SSD模型，通过训练好的改进SSD模型的输出层来输出子图像中制动缸部件的位置；

所述改进SSD模型的每两个卷积层之间均添加一个深度残差结构；

步骤五、在增强处理后的感兴趣区域图像中，根据步骤四获得的制动缸部件的位置以及制动缸与上拉杆之间的组装关系，从增强处理后的感兴趣区域图像中提取出包含上拉杆的待识别图像；

步骤六、将步骤五提取出的包含上拉杆的待识别图像输入训练好的FasterRCNN模型，若FasterRCNN模型未检测到上拉杆接头或扁铁位置，则发生上拉杆折断故障，生成报文并上传至报警平台。

本发明的有益效果是：

本发明将自动识别技术引入铁路货车故障检测，实现故障自动识别及报警，人工只需对报警结果进行确认，有效节约人力成本，提高故障检测的质量和检测效率。

由于上拉杆存在不同程度的遮挡情况，而且不同型号的上拉杆的形态也有所却别，将深度学习算法应用故障自动识别中，相较传统的机器视觉检测方法具有更高的准确性、稳定性。

针对不同站点相机、光照条件的不同的情况，本发明设计了一种光照自适应调节策略，用以减少不同站点间图像的差异，提高检测精度，避免错、漏检问题的发生。

对SSD定位网络结构进行改进，并对损失函数进行修改，加快了模型训练的收敛速度，同时提高了定位速度和精度。对检测网络进行改进，提高了模型的检测速度和精度。

附图说明

图1为本发明具体实施方式一的流程图；

图2为上拉杆子区域图像提取的流程图；

图3为现有SSD网络模型的结构图；

图4a)为深度残差结构的示意图；

图4b)为普通卷积结构的示意图；

图5为本发明的基于深度残差结构的改进SSD网络模型图；

图6为本发明的故障检测方法的流程图；

图7为FasterRCNN模型的训练流程图；

图8为Unet语义分割模型的训练流程图。

具体实施方式

需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。

具体实施方式一、结合图1说明本实施方式。本实施方式的一种基于深度学习的上拉杆故障检测方法，该方法具体通过以下步骤实现：

步骤一、采集待检测的列车图像，并从采集的列车图像中获取感兴趣区域图像；

分别在铁路货车轨道底部搭建高清设备，对高速通过的列车进行拍摄，获取车体底部的高清图像。采用线扫描，可实现图像无缝拼接，生成视野大、精度高的二维图像。根据动车组的轴距信息、转向架类型和车型对上拉杆进行粗定位，从拍摄图片中截取出包含上拉杆部件的局部区域图像，即截取出感兴趣区域图像，可有效减少故障识别所需时间、提升识别准确率；

步骤二、对感兴趣区域图像进行增强处理，获得增强处理后的感兴趣区域图像；

步骤三、对增强处理后的感兴趣区域图像进行分割，获得对感兴趣区域图像分割后的子图像；

步骤四、将获得的对感兴趣区域图像分割后的子图像输入训练好的改进SSD模型，通过训练好的改进SSD模型的输出层来输出子图像中制动缸部件的位置；

所述改进SSD模型的每两个卷积层之间均添加一个深度残差结构；

步骤五、在增强处理后的感兴趣区域图像中，根据步骤四获得的制动缸部件的位置以及制动缸与上拉杆之间的组装关系，从增强处理后的感兴趣区域图像中提取出包含上拉杆的待识别图像；

步骤六、将步骤五提取出的包含上拉杆的待识别图像输入训练好的FasterRCNN模型(输入FasterRCNN模型之前，需要先对包含上拉杆的待识别图像进行增强处理)，若FasterRCNN模型未检测到上拉杆接头或扁铁位置，则发生上拉杆折断故障，生成报文并上传至报警平台。

具体实施方式二：本实施方式与具体实施方式一不同的是：步骤六中，将步骤五提取出的包含上拉杆的待识别图像输入训练好的FasterRCNN模型，若FasterRCNN模型检测到上拉杆接头及扁铁位置，则根据上拉杆接头及扁铁的连接状态确定上拉杆是否发生上拉杆脱落故障；

若发生上拉杆脱落故障，则生成报文并上传至报警平台；若未发生上拉杆脱落故障，则将待识别图像(即增强处理后的图像)输入训练好的Unet语义分割模型，利用训练好的Unet语义分割模型对待识别图像中的上拉杆接头和上拉杆进行分割，根据上拉杆接头与上拉杆像素点的最小距离来判定是否发生上拉杆折断故障。

具体实施方式三：本实施方式与具体实施方式一不同的是：步骤二中，对感兴趣区域图像进行增强处理，获得增强处理后的感兴趣区域图像，其具体过程为：

其中，v(x,y)表示感兴趣区域图像中像素点(x,y)的灰度值，I₂(x,y)表示感兴趣区域图像经过非线性变换后像素点(x,y)的灰度值，

表示感兴趣区域图像中全部像素点的平均灰度值，m(x,y)和kv(x,y))为中间变量，a为调整系数；

a越小，灰度值小的像素点经过非线性变换后灰度值越大，但同时也容易失去纹理细节信息；a越大，虽然保留了纹理信息，但灰度值小的像素增强不够。因此可以选择一个适中的a值，a＝1时，既增强了暗区像素，有很好的保留了纹理信息。将对数变换图像、非线性变换图像和原图进行综合，得到自适应光照水平调节策略：

I(x,y)＝0.5×I₁(x,y)+0.8×I₂(x,y)+1.2×v(x,y)

其中，I(x,y)为增强处理后图像中像素点(x,y)的灰度值，I₁(x,y)为感兴趣区域图像经过对数变换后像素点(x,y)的灰度值，b为对数变换调节参数。

本实施方式为了减少不同站点间图像以及图像内部光照条件的差异，设计了一种自适应光照水平调节策略，克服了对数变换虽能提高暗区的亮度，但也会使得亮区加强过度，使得图像出现失真的问题。

具体实施方式四：本实施方式与具体实施方式一不同的是：深度残差结构包括两个并行的分支，其中，分支1包括一个1×1×256的卷积层，分支2包括一个1×1×128的卷积层、一个3×3×128的卷积层和一个1×1×256的卷积层。

本实施方式中，当前卷积层输出的特征图首先并行输入到深度残差结构的两个分支，然后深度残差结构的两个分支的输出融合后，融合结果再输入到下一卷积层。

具体实施方式五：本实施方式与具体实施方式四不同的是：训练好的改进SSD模型是采用如下的训练方式获得的：

步骤S1、利用布设在列车轨道底部的高清成像设备对运动的列车进行拍摄，获取列车底部的图像；

步骤S2、从步骤S1所获取的图像中粗定位出包含上拉杆部件的样本图像；

步骤S3、对步骤S2粗定位出的样本图像进行扩增，通过扩增获得图像数据集；

步骤S3中，扩增的形式包括旋转、平移、缩放和镜像操作。每种扩增操作都是在随机条件下进行的，这样可以最大程度地保证样本的多样性和适用性。

步骤S4、分别对图像数据集中的每张样本图像进行增强处理后，获得增强处理后的图像数据集；

步骤S5、分别对增强处理后的图像数据集中的每张图像进行分割，获得图像数据集中的每张图像所对应的分割结果；

将一张底板大图切割为数张小图，每张小图的高度为512个像素，宽度为1024个像素，相邻的两张小图之间的重叠区域为20％；

步骤S6、从步骤S5获得的分割结果中筛选出包含制动缸部件的图像，在筛选出的图像中设置用于框选制动缸部件的候选框，并对筛选出的图像中的制动缸部件进行标注；

计算筛选出的每张图像中的候选框与标注的矩形标记框的重叠率，将重叠率大于等于0.5的图像作为正样本，将筛选出的图像中除了正样本之外的图像，作为负样本；

步骤S7、利用正样本和负样本对改进SSD模型进行训练，获得训练好的改进SSD模型。

由于制动缸可能受到雨水、泥渍、油渍、黑漆等自然条件或者人为条件的影响。并且不同站点拍摄的图像可能存在差异。因此，在图像搜集的过程中，为保证有样本的多样性，对各种条件、不同站点的图像都进行了搜集。

具体实施方式六：本实施方式与具体实施方式一不同的是：改进SSD模型的损失函数ML_ce为：

ML_ce＝-(1P_t)^αln(P_t)

其中，P_t代表改进SSD模型输出的预测框相对于矩形标记框的置信度，α为调制因子。

对交叉熵损失函数进行改进，突出了困难样本的损失值权重，达到了困难样本挖掘的效果。利用调制因子可将大量容易样本的损失值压缩在一个较小的区间内，从而突出了困难样本的损失值权重，达到了困难样本挖掘的效果。

具体实施方式七：本实施方式与具体实施方式五不同的是：训练好的FasterRCNN模型是采用如下的训练方式获得的：

利用训练好的改进SSD模型输出的对正样本中制动缸的定位结果，从正样本在图像数据集中所对应的样本图像中截取出包含上拉杆的训练图像；

对截取出的包含上拉杆的训练图像进行扩增后，再对扩增结果进行增强处理，获得增强处理后的训练图像，并对增强处理后的训练图像中的上拉杆接头及扁铁位置进行标记，获得标记数据；

将增强处理后的训练图像和标记数据输入FasterRCNN模型进行训练，获得训练好的FasterRCNN模型。

具体实施方式八：本实施方式与具体实施方式二不同的是：根据上拉杆接头及扁铁的连接状态确定上拉杆是否发生脱落故障，其具体过程为：

若上拉杆接头的连接点与扁铁的连接点之间的距离超过设定的阈值Q1，则判定为发生上拉杆脱落故障，否则未发生上拉杆脱落故障。

本实施方式中，阈值Q1的取值为50mm。

具体实施方式九：本实施方式与具体实施方式七不同的是：训练好的Unet语义分割模型是采用如下的训练方式获得的：

步骤C1、对于任意一幅增强处理后的训练图像，若训练好的FasterRCNN模型检测出该训练图像中的上拉杆接头及扁铁位置，且经过判断未发生上拉杆脱落故障，则将该训练图像挑选出来；

步骤C2、同理，将满足步骤C1的全部增强处理后的训练图像挑选出来，并对挑选出来的训练图像中的上拉杆接头和上拉杆区域进行标记，获得标记信息；

步骤C3、利用挑选出来的训练图像和挑选出来的训练图像对应的标记信息对Unet语义分割模型进行训练，获得训练好的Unet语义分割模型。

具体实施方式十：本实施方式与具体实施方式一不同的是：根据上拉杆接头与上拉杆像素点的最小距离来判定是否发生上拉杆折断故障，其具体为：

若上拉杆接头与上拉杆像素点的最小距离大于设定的阈值Q2，则发生上拉杆折断故障，生成报文并上传至报警平台；否则，未发生上拉杆折断故障。

本实施方式中，阈值Q2的取值为10mm。

实施例

下面结合附图具体说明本发明方法的实现过程。本发明所述的上拉杆故障检测方法，包括：

图像采集模块：用于采集待检测区域的图像数据；

图像预处理模块：用于在将所述图像数据输入所述定位、识别模型之前，对所述图像数据进行增强处理。

定位模块，用于对图像中的制动缸进行定位，根据制动缸与上拉杆之间的组装关系，提取上拉杆子区域图像；

识别模块，用于将上拉杆子区域图像输入识别模型，定位上拉杆接头及扁铁，根据连接状态确定上拉杆是否存在故障。

1、图像采集模块

分别在铁路货车轨道底部搭建高清设备，对高速通过的列车进行拍摄，获取车体底部的高清图像。采用线扫描，可实现图像无缝拼接，生成视野大、精度高的二维图像。根据动车组的轴距信息、转向架类型和车型对上拉杆进行粗定位，从拍摄图片中截取包含部件的局部区域图像，可有效减少故障识别所需时间、提升识别准确率。

2、图像预处理模块：

为提高模型的稳定性，需要对图像数据进行增强处理。扩增形式包括图像的旋转、平移、缩放、镜像等操作，每种操作都是在随机条件下进行的，这样可以最大程度地保证样本的多样性和适用性。

为减少不同站点间图像以及图像内部光照条件的差异，设计了一种自适应光照水平调节策略。常用的灰度变换方法包括：线性变换、对数变换、幂次变换。其中对数变换的效果最好，最接近人类视觉系统和摄像机对光线的感知能力。对数变换使得暗区信息得到很大增强，但同时也会使原图中亮的区域也进一步加强。由于列车底部情况和相机角度等因素，图像中可能既有很暗的区域也有很亮的区域。对数变换虽能提高暗区的亮度，但也会使得亮区加强过度，使得图像失真。为提高图像增强效果，本发明提出了一种结合对数变换、非线性变换和原图信息的自适应光照水平调节策略。其中非线性变换对高光区域进行抑制，同时进一步增强暗区，函数定义为：

其中，v表示当前点的像素值，I₂表示变换后的像素值，

表示原图的平均灰度值，a为调整系数。a越小，灰度值小的像素点经过非线性变换后灰度值越大，但同时也容易失去纹理细节信息；a越大，虽然保留了纹理信息，但灰度值小的像素增强不够。因此可以选择一个适中的a值，a＝1时，既增强了暗区像素，有很好的保留了纹理信息。将对数变换图像、非线性变换图像和原图进行综合，得到自适应光照水平调节策略：

I(x,y)＝0.5×I₁(x,y)+0.8×I₂(x,y)+1.2×v(x,y)

其中，I(x,y)为增强后的像素值，I₁(x,y)为对数变换后的像素值，I₂(x,y)为非线性变换后的像素值，v(,y)为原图像素值，b为对数变换调节参数。

3、定位模块

在识别上拉杆故障前，先对图像中的制动缸进行定位，根据制动缸与上拉杆之间的组装关系，提取出待识别的上拉杆子图，流程如图2所示。

3.1、定位模型数据集建立

由于制动缸可能受到雨水、泥渍、油渍、黑漆等自然条件或者人为条件的影响。并且不同站点拍摄的图像可能存在差异。因此，在训练图像数据集的搜集的过程中，为保证有样本的多样性，对各种条件、不同站点的图像都进行了搜集。

数据的采集方法为对车底板部分的图像进行有重叠区域的切分，将一张较大的车底板图像分割为多张较小的图片，相邻两张的重叠部分避免了当待识别目标在分割线部分时无法识别的情况。

训练图像数据集包括：原图像集与标记信息集。原图像集为包含制动缸的车底板切割子图。标记信息集为包含制动缸的矩形子区域信息，通过人工标记的方式获取。原图像集与标记信息数据集之间是一一对应的，即每个图像对应一个标记数据。

3.2、定位模型训练

定位模型采用Single Shot MultiBox Detector(SSD)检测算法，对图像中的制动缸进行精确定位，网络结构如图3所示。

SSD算法基于VGG-16网络来提取原始图像种的高级特征，并利用了不同尺度的特征图来做检测。因为特征提取网络在运算的过程中会产生多个尺度不同的卷积特征图，它们包含不同的语义特征和位置敏感性，适合于多尺度检测。SSD算法通常采用6层不同大小的特征图来做检测，在输入图像为300x300的条件下，各层特征图尺寸从38x38到1x1不等。

从SSD网络结构可以看出，网络中比较靠前的特征图既要学习高级特征用于检测，同时还要学习局部信息用于传递给下一层的特征图。这就形成了一种看起来矛盾的学习任务：一个靠前的特征层既要能维护底层信息，又要能够学习到高层次的抽象特征。为了满足这个矛盾的需求，本发明引入了基于残差结构的预测补充模块，其负责学习更加高级的抽象信息，而骨干网络则能保持较为原始的底层信息，很自然地传递到下一层去。

本发明选择在每个尺度的特征图后面添加一个双分支的深度残差结构，其结构较为简单，如图4a)和图4b)所示，分别为深度残差结构和普通卷积结构的示意图。还可以有效地避免出现梯度消失的问题，容易获得更好的训练效果。改进后的SSD网络结构见图5。

在构建网络后，将原始图片与相应标签信息缩放到固定大小300x300，并输入网络。图像数据经过SSD目标检测网络输出包含目标的矩形框坐标，与原始标记信息(GT)通过损失函数计算误差。

SSD在计算损失值时，所有候选框可以分为正样本和负样本两类：在所有先验框中，和每个标注框由最大重叠率的视为正样本，在剩下的先验框中，和任意标注框的重叠率大于0.5的也作为正样本，其余作为负样本。由于大部分训练图像中，目标所占比率通常远小于背景所占比率，所以会出现负样本远多于正样本的现象，这会引发两个问题：

1)负样本过多，造成负样本的误差损失占比过大，容易将正样本的误差损失淹没，不利于模型收敛；

2)大多数的负样本并不处于前景和背景的过度区域上，这种负样本在分类上比较容易，被称为容易负样本。这种负样本对于模型训练参数的收敛作用十分有效。而模型最需要的是损失值大且对参数收敛影响也大的样本，也称为困难样本。所以通常需要进行困难样本挖掘才能使参数更新更加有效。

本发明通过对交叉熵损失函数进行改进，使得困难样本对参数收敛的贡献增大，由此实现对困难样本的挖掘，加快模型收敛。传统的交叉熵损失函数的形式如下：

其中P_t代表预测框相对于标注框的相对置信度。当P_t值越大，则说明分类越准确，样本越容易分类，其对于损失值的贡献越小。当P_t值越小，则说明分类越不准确，样本越不容易分类，其对于损失值的贡献越大。由于大量存在的背景类样本都是简单负样本，当大量该种样本叠加时，产生的损失值之和较大，影响到背景的分类平衡性。本发明将(1-P_t)^α作为调制因子加入到原有的交叉熵损失函数中，加入调制因子后的交叉熵损失函数：

ML_ce＝-(1-P_t)^αlog(P_t)

其具有以下性质：当一个样本为困难样本时，分类结果容易误判，则(1-P_t)的值更接近于1，表明其损失值将会最大地被保留；当一个样本为容易样本时，(1-P_t)的值接近于0，表明其损失值会被很大程度地降低，其对整体损失值的贡献变小。所以，通过利用调制因子可将大量容易样本的损失值压缩在一个较小的区间内，从而突出了困难样本的损失值权重，达到了困难样本挖掘的效果。

通过损失函数计算损失值，通过优化器Adam进行优化权重。Adam优化器具有高效、占用内存小、适合大规模数据等优点。

经过损失函数和优化器后，计算出新的权重系数，将权重系数进行更新，完成一次训练迭代。程序将重复这个过程，将全部图像完成固定次数的迭代，但是并不是每次迭代都要更新权重，只有损失函数更低的权重才会被更新，直到找到最优的权重系数。

3.3、提取上拉杆子区域图像

对于一张输入图像数据，利用训练得到的定位模型，对图像中的制动缸进行定位，根据制动缸与上拉杆之间的组装关系，提取出待识别的上拉杆子图。

4、识别模块

建立训练样本集和定位模型，进行模型训练。将提取待识别的上拉杆子区域图像输入到训练好的识别模型中，定位上拉杆接头及扁铁，根据连接状态确定上拉杆是否存在脱落故障。如果未存在脱落故障，再取出上拉杆接头和上拉杆焊接点区域的子图，输入语义分割模型，根据分割结果判断是否存在折断故障，输出故障识别结果，流程如图6所示。

4.1、定位模型数据集建立

训练图像数据集包括：原图像集与标记信息集。原图像集为定位模块提取的上拉杆子图。标记信息集为包含上拉杆接头和扁铁的矩形子区域信息，通过人工标记的方式获取。原图像集与标记信息数据集之间是一一对应的，即每个图像对应一个标记数据。

为了增强模型检测的鲁棒性，利用之前说明的自适应光照水平调节策略对图像进行增强，并利用随机的旋转、平移、缩放、镜像等操作，进行数据扩增，最大程度地保证样本的多样性和适用性。

4.2、定位模型的训练

定位模型采用FasterRCNN检测算法，基于上拉杆子区域图像数据集进行训练，得到用于定位上拉杆接头和扁铁的检测模型，流程如图7所示。

4.3、识别故障

对于一张输入上拉杆子区域图像数据，利用训练得到的检测模型对上拉杆接头和扁铁进行检测、定位，当检测不到上拉杆接头或扁铁时，判定为上拉杆折断故障，生成报文并上传至报警平台。当成功检测到上拉杆接头和扁铁时，如果两者连接点之间的距离超过设定阈值，判定为脱落故障，生成报文并上传至报警平台。

4.4、语义分割模型数据集建立

对于上一步没有检测到故障的子图，根据上拉杆接头在图像中的位置，提取出上拉杆接头与上拉杆焊接点附近的子图，作为下一步判断是否存在上拉杆折断的输入图像。语义分割模型的训练图像数据集包括：原图像集与标记信息集。原图像集为上拉杆接头与上拉杆焊接点附近的子图。标记信息集为包含上拉杆接头和上拉杆的区域边缘信息，通过人工标记的方式获取。原图像集与标记信息数据集之间是一一对应的，即每个图像对应一个标记数据。

4.5、语义分割模型的训练

定位模型采用Unet语义分割算法，基于训练数据集进行训练，得到用于分割上拉杆接头和上拉杆的检测模型，流程如图8所示。

4.6、识别故障

对于一张输入的上拉杆接头子域图像数据，利用训练得到的语义分割模型对上拉杆接头和上拉杆进行分割，计算上拉杆接头和最邻近的上拉杆之间的距离，当距离超过设定阈值时，判定为上拉杆折断故障，生成报文并上传至报警平台。

本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (10)

1.一种基于深度学习的上拉杆故障检测方法，其特征在于，该方法包括以下步骤：

步骤一、采集待检测的列车图像，并从采集的列车图像中获取感兴趣区域图像；

步骤二、对感兴趣区域图像进行增强处理，获得增强处理后的感兴趣区域图像；

步骤三、对增强处理后的感兴趣区域图像进行分割，获得对感兴趣区域图像分割后的子图像；

步骤四、将获得的对感兴趣区域图像分割后的子图像输入训练好的改进SSD模型，通过训练好的改进SSD模型的输出层来输出子图像中制动缸部件的位置；

所述改进SSD模型的每两个卷积层之间均添加一个深度残差结构；

步骤五、在增强处理后的感兴趣区域图像中，根据步骤四获得的制动缸部件的位置以及制动缸与上拉杆之间的组装关系，从增强处理后的感兴趣区域图像中提取出包含上拉杆的待识别图像；

步骤六、将步骤五提取出的包含上拉杆的待识别图像输入训练好的FasterRCNN模型，若FasterRCNN模型未检测到上拉杆接头或扁铁位置，则发生上拉杆折断故障，生成报文并上传至报警平台。

2.根据权利要求1所述的一种基于深度学习的上拉杆故障检测方法，所述步骤六中，将步骤五提取出的包含上拉杆的待识别图像输入训练好的FasterRCNN模型，若FasterRCNN模型检测到上拉杆接头及扁铁位置，则根据上拉杆接头及扁铁的连接状态确定上拉杆是否发生上拉杆脱落故障；

若发生上拉杆脱落故障，则生成报文并上传至报警平台；若未发生上拉杆脱落故障，则将待识别图像输入训练好的Unet语义分割模型，利用训练好的Unet语义分割模型对待识别图像中的上拉杆接头和上拉杆进行分割，根据上拉杆接头与上拉杆像素点的最小距离来判定是否发生上拉杆折断故障。

3.根据权利要求1所述的一种基于深度学习的上拉杆故障检测方法，其特征在于，所述步骤二中，对感兴趣区域图像进行增强处理，获得增强处理后的感兴趣区域图像，其具体过程为：

其中，v(x，y)表示感兴趣区域图像中像素点(x，y)的灰度值，I₂(x，y)表示感兴趣区域图像经过非线性变换后像素点(x，y)的灰度值，

表示感兴趣区域图像中全部像素点的平均灰度值，m(x，y)和k(v(x，y))为中间变量，a为调整系数；

I(x，y)＝0.5×I₁(x，y)+0.8×I₂(x，y)+1.2×v(x，y)

其中，I(x，y)为增强处理后的感兴趣区域图像中像素点(x，y)的灰度值，I₁(x，y)为感兴趣区域图像经过对数变换后像素点(x，y)的灰度值，b为对数变换调节参数。

4.根据权利要求1所述的一种基于深度学习的上拉杆故障检测方法，其特征在于，所述深度残差结构包括两个并行的分支，其中，分支1包括一个1×1×256的卷积层，分支2包括一个1×1×128的卷积层、一个3×3×128的卷积层和一个1×1×256的卷积层。

5.根据权利要求4所述的一种基于深度学习的上拉杆故障检测方法，其特征在于，所述训练好的改进SSD模型是采用如下的训练方式获得的：

步骤S1、利用布设在列车轨道底部的成像设备对运动的列车进行拍摄，获取列车底部的图像；

步骤S2、从步骤S1所获取的图像中粗定位出包含上拉杆部件的样本图像；

步骤S3、对步骤S2粗定位出的样本图像进行扩增，通过扩增获得图像数据集；

步骤S4、分别对图像数据集中的每张样本图像进行增强处理后，获得增强处理后的图像数据集；

步骤S5、分别对增强处理后的图像数据集中的每张图像进行分割，获得图像数据集中的每张图像所对应的分割结果；

步骤S6、从步骤S5获得的分割结果中筛选出包含制动缸部件的图像，在筛选出的图像中设置用于框选制动缸部件的候选框，并对筛选出的图像中的制动缸部件进行标注；

计算筛选出的每张图像中的候选框与标注的矩形标记框的重叠率，将重叠率大于等于0.5的图像作为正样本，将筛选出的图像中除了正样本之外的图像，作为负样本；

步骤S7、利用正样本和负样本对改进SSD模型进行训练，获得训练好的改进SSD模型。

6.根据权利要求1所述的一种基于深度学习的上拉杆故障检测方法，其特征在于，所述改进SSD模型的损失函数ML_ce为：

ML_ce＝-(1-P_t)^αln(P_t)

其中，P_t代表改进SSD模型输出的预测框相对于矩形标记框的置信度，α为调制因子。

7.根据权利要求5所述的一种基于深度学习的上拉杆故障检测方法，其特征在于，所述训练好的FasterRCNN模型是采用如下的训练方式获得的：

利用训练好的改进SSD模型输出的对正样本中制动缸的定位结果，从正样本在图像数据集中所对应的样本图像中截取出包含上拉杆的训练图像；

对截取出的包含上拉杆的训练图像进行扩增后，再对扩增结果进行增强处理，获得增强处理后的训练图像，并对增强处理后的训练图像中的上拉杆接头及扁铁位置进行标记，获得标记数据；

将增强处理后的训练图像和标记数据输入FasterRCNN模型进行训练，获得训练好的FasterRCNN模型。

8.根据权利要求2所述的一种基于深度学习的上拉杆故障检测方法，其特征在于，所述根据上拉杆接头及扁铁的连接状态确定上拉杆是否发生脱落故障，其具体过程为：

若上拉杆接头的连接点与扁铁的连接点之间的距离超过设定的阈值Q1，则判定为发生上拉杆脱落故障，否则未发生上拉杆脱落故障。

9.根据权利要求7所述的一种基于深度学习的上拉杆故障检测方法，其特征在于，所述训练好的Unet语义分割模型是采用如下的训练方式获得的：

步骤C1、对于任意一幅增强处理后的训练图像，若训练好的FasterRCNN模型检测出该训练图像中的上拉杆接头及扁铁位置，且经过判断未发生上拉杆脱落故障，则将该训练图像挑选出来；

步骤C2、同理，将满足步骤C1的全部增强处理后的训练图像挑选出来，并对挑选出来的训练图像中的上拉杆接头和上拉杆区域进行标记，获得标记信息；

步骤C3、利用挑选出来的训练图像和挑选出来的训练图像对应的标记信息对Unet语义分割模型进行训练，获得训练好的Unet语义分割模型。

10.根据权利要求1所述的一种基于深度学习的上拉杆故障检测方法，其特征在于，所述根据上拉杆接头与上拉杆像素点的最小距离来判定是否发生上拉杆折断故障，其具体为：

若上拉杆接头与上拉杆像素点的最小距离大于设定的阈值Q2，则发生上拉杆折断故障，生成报文并上传至报警平台；否则，未发生上拉杆折断故障。

Images