CN115731211A - 一种采用四级级联架构的接触网紧固件故障检测方法 - Google Patents

Abstract

本发明公开了一种采用四级级联架构的接触网紧固件故障检测方法，包括图像预处理阶段，使用SCI图像增强算法对低光照接触网图像进行亮度增强；零部件定位阶段，采用TPH‑YOLOv5算法对增强后接触网图像中的零部件进行定位；紧固件定位阶段，使用改进的R‑FCN算法对依附在零部件上的紧固件定位识别；故障检测阶段，先使用边缘检测算法中的自适应canny算子对紧固件的边缘进行检测，得到边缘特征图，再使用霍夫变换算法对不同状态紧固件的边缘特征图检测，获取紧固件正常、脱落、缺失状态下线、圆等形状特征值，从而实现对多种紧固件的故障判断，摆脱了对数据集的依赖，避免了使用深度学习方法产生过拟合、泛化性差等缺陷。

Description

一种采用四级级联架构的接触网紧固件故障检测方法

技术领域

本发明涉及群体智能优化技术领域，具体涉及一种采用四级级联架构的接触网紧固件故障检测方法。

背景技术

接触网支撑装置是接触网向高铁列车供电的关键部分，其包含的紧固件(开口销、螺钉、螺帽等)主要是防止零部件之间出现松动，起支撑稳定的作用。但由于列车的高频振动、运行环境恶劣，紧固件难免会出现缺失、脱落等故障，给列车的正常运行带来了隐患。现有故障检测流程一般可分为三步：第一步是图像预处理，对接触网图像进行旋转、扩充、增强、去噪等操作，第二步是目标检测/定位/识别，即得到紧固件的位置及类别，第三步是故障检测，对紧固件进行正常、缺失、脱落等状态的判断。

目前的故障检测方法可分为两类：传统方法和基于深度学习方法。传统方法利用手工设计特征实现故障判断，例如根据零部件的灰度值、HOG特征、轮廓结构、形态学结构等判断不同状态的零部件。基于深度学习方法通过训练深度卷积神经网络(Faster R-CNN、YOLO、GAN等)学习零部件的特征，进而完成故障分类。深度学习的加入大大提高了故障检测的准确率，较传统方法性能得到了提升。然而，现有的检测技术往往没有考虑到接触网种类多、小目标、多尺度、故障少等特点，故总达不到预期检测效果。例如，紧固件属于小尺度目标，直接对其定位的话识别率很低，这会影响后续的故障检测。另一方面，深度学习方法是在大量正负样本的基础上进行训练的，然而在现实情况下，由于铁道部门的定期维修，导致故障样本极少，对这样正负样本不均衡的数据集进行训练会产生过拟合、泛化性差等现象，达不到故障检测的目的。此外，接触网图片是巡检车在夜间还有隧道内拍摄的，图像呈现出退化的特征、模糊的轮廓、低对比度和低能见度，低质量图像特别是低光照图像也会影响后续紧固件的识别检测。

中国专利文献CN114743119A提出了一种基于无人机的高铁接触网吊弦螺母缺陷检测方法。该方法利用生成对抗网络生成螺母的缺陷样本，即使能生成缺陷图片解决样本不均衡问题，但对于螺母这种紧固件来说，其松动产生的微小位移使得松动和脱落状态差别极小，所以仅仅扩展缺陷样本后进行分类还是不能取得准确的检测结果。同时，紧固件这种小尺度目标由于特征表达不明显，导致在目标检测网络中分类困难。

中国专利文献CN106326894B公开了一种高铁接触网旋转双耳横向销钉不良状态检测方法。该方法采用Retinex对紧固件销钉进行图像增强，但是Retinex由于使用高斯算子不能在过渡区很好的估计光照，导致容易出现光晕现象，所以该方法增强亮度的效果并不是很好。

中国专利文献CN107742130A公开了一种基于深度学习的高铁接触网支持装置紧固件故障诊断方法。该方法只将每种紧固件不同状态的35张样本送入神经网络训练形成紧固件模型，这种在故障样本不足的条件下训练出来的网络会产生过拟合，模型泛化性差。

2017年，西南交通大学在《High-speed railway catenary componentsdetection using the cascaded convolutional neural networks》一文中提出的级联卷积神经网络在两个阶段都是使用Faster R-CNN模型，并没有根据每一阶段的零部件特点选择定位效果最好的模型，且该方法只能检测紧固件的缺失这一种状态。另外，Faster R-CNN的速度很慢，导致检测时间较长。

发明内容

本发明的目的在于，提供一种采用四级级联架构的接触网紧固件故障检测方法，其可以实现多种紧固件的故障检测，摆脱了对数据集的依赖，避免了使用深度学习方法产生过拟合、泛化性差等缺陷。

为实现上述目的，本申请提出一种采用四级级联架构的接触网紧固件故障检测方法，包括：

图像预处理阶段，使用SCI图像增强算法对低光照接触网图像进行亮度增强；

零部件定位阶段，采用TPH-YOLOv5算法对增强后接触网图像中的零部件进行定位；

紧固件定位阶段，使用改进的R-FCN算法对依附在零部件上的紧固件定位识别，改进的R-FCN算法包括回归损失函数改进、锚框改进、采用多尺度训练和在线硬样本挖掘策略；

故障检测阶段，先使用边缘检测算法中的自适应canny算子对紧固件的边缘进行检测，得到边缘特征图，再使用霍夫变换算法对不同状态紧固件的边缘特征图检测，获取紧固件正常、脱落、缺失状态下线、圆等形状特征值，从而实现对多种紧固件的故障判断。

进一步的，使用SCI图像增强算法对低光照接触网图像进行亮度增强，具体为：根据Retinex理论，存在一个低光图像与同场景正常清晰图像的对应，即

其中y表示低光图像，z表示正常清晰图像，x表示照明分量；低光增强目的就是对照明分量x进行建模；SCI通过引入带有权重θ的映射H_θ建立一种赋权的渐进视角实现对照明分量x的建模：

其中，u^t和x^t分别代表第t阶段(t＝0,…,T-1，T为阶段总数)的残余项和照度；映射H_θ使用权重共享机制，在每一次更新中使用相同的H架构和权重θ。

进一步的，所述TPH-YOLOv5算法使用CSPDarknet53作为骨干网络，使用PANet作为neck部分，输出部分包括四个检测头，分别用于微小、小、中、大物体的检测，采用卷积注意力模块CBAM沿着通道维度和空间维度依次生成注意力图。

进一步的，改进的R-FCN算法主干网络为残差网络ResNet-101，从残差网络ResNet-101输出的特征图中，区域候选网络根据锚生成一系列感兴趣区域ROI，这些感兴趣区域ROI被输入到位置敏感的ROI池化层中，两个全局平均池化层分别用于产生每一类的分数图和边界框的预测图。

进一步的，所述回归损失函数CIoU为：

其中，b和b^gt分别代表紧固件预测框和紧固件真实框的中心点，ρ表示欧氏距离，c表示紧固件预测框和紧固件真实框的最小外接矩阵的对角线距离，α是权重参数，v是用来度量长宽比的相似性，

和

分别表示紧固件真实框和紧固件预测框的宽高比；IoU为R-FCN算法原始损失函数。

更进一步的，锚框改进具体为：使用K-Means聚类方法来调整从公共数据集中获得的锚框尺寸，使得锚框大小与紧固件尺寸相适应。

更进一步的，所述K-Means聚类方法首先选取K个值作为聚类中心，然后得到紧固件的锚框点到每个聚类中心的距离，将锚框点加入离它最近的聚类中心，经过多次添加形成聚类。

更进一步的，采用多尺度训练和在线硬样本挖掘策略，具体为：在训练阶段使用多尺度训练策略，即把输入的图像最短边调整为1024；并在训练中每次迭代网络模型时，将在前一轮网络模型无法实现分类的负样本加入到训练数据中，或者相应的增加难例样本权重，并且对于已经在分类上表现良好的样本不需要再加入训练数据中；通过多次迭代得到一个能处理难例样本的模型，平衡正负样本。

作为更进一步的，故障检测阶段具体实现方法是：先使用自适应canny算子对正常、缺失、脱落状态的紧固件图像进行边缘检测，得到边缘特征图，然后使用霍夫变换算法来检测不同状态下紧固件的线、圆特征在边缘特征图上的数值k，通过分析统计正常、缺失、脱落状态下数值k的变化得到各状态临界值，最后根据正常临界值m和脱落临界值n判断紧固件是否故障。

作为更进一步的，所述canny算子是一种一阶微分算子检测算法，其在canny算子的基础上采用最大类间方差法，对紧固件图像进行边缘检测。

本发明采用的以上技术方案，与现有技术相比，具有的优点是：(1)图像预处理阶段引入图像增强算法SCI对接触网图像进行亮度增强，使得昏暗的图像变得清晰可见，为后续零部件的准确识别提供了更大的保证。

(2)针对零部件多尺度的特点，采用TPH-YOLOv5对零部件定位；在紧固件定位阶段，为了使算法更适合小目标，对R-FCN算法做了改进：损失函数由IoU改为DIoU、K-Means聚类引入更合适的锚框、采用多尺度训练和在线硬样本挖掘策略；改进后的R-FCN算法在平均精确率(mAP)上提高了6个百分点，达到99％，并且检测速度比目前主流的定位算法快了3倍。

(3)在故障样本不足的条件下，利用边缘检测算法和特征提取算法实现了对紧固件的故障检测。与其他传统方法相比，大大降低了模型的复杂性，并且提高了故障检测准确率。

附图说明

图1为接触网紧固件故障检测方法框架图；

图2为图像预处理阶段的框架图；

图3为零部件定位阶段的框架图；

图4为紧固件定位阶段的框架图；

图5为接触网紧固件故障检测方法流程图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请，即所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了能够更有效地对接触网紧固件的故障进行检测判断，本实施例提出了一种采用四级级联架构的接触网紧固件故障检测方法，该方法包括四个阶段；在图像预处理阶段引入图像增强算法—自校准光照学习(SCI)，其更适合接触网图像且不会产生光晕等，有利于后续紧固件的识别；为了准确识别紧固件这种小目标，把紧固件的定位分为两步，先使用TPH-YOLOv5算法对较大的零部件进行定位，再使用改进过的R-FCN算法对依附在零部件上的紧固件定位，这种使用不同算法的两阶段定位方法能大大提高紧固件的定位精度；考虑在故障样本不足、没有大量正负样本数据集的条件下，使用数字图像处理技术中的边缘检测算法和特征提取算法实现紧固件的故障检测。具体来说，先使用边缘检测算法得到紧固件的边缘特征图，再使用特征提取算法对不同状态的紧固件特征图进行分析，从而得到紧固件正常、脱落、缺失的判别依据，该方法可以实现对多种紧固件的故障检测，摆脱了对数据集的依赖，避免了使用深度学习方法产生的过拟合、泛化性差等缺陷。其具体实现过程包括：

S1.图像预处理阶段

具体的，捕获的接触网图像呈现出模糊的轮廓、退化的特征、低对比度和低能见度，严重影响后续的识别；除了一些基础的旋转、扩充、去噪等操作外，使用了SCI图像增强算法对低光照接触网图像进行亮度增强，该阶段输入的是低光照图像，输出的是增强亮度图像，如图2所示。与其他增强算法相比，SCI包含两个主要的贡献：分级自校正模块用于权重共享的光照学习和无监督训练损失。根据Retinex理论，存在一个低光图像与同场景正常清晰图像的对应，即

其中y表示低光图像，z表示正常清晰图像，x表示照明分量，低光增强目的就是对照明分量x进行建模。SCI通过引入带有权重θ的映射H_θ建立一种赋权的渐进视角实现对照明分量x的建模：

其中，u^t和x^t分别代表第t阶段(t＝0,…,T-1，T为阶段总数)的残余项和照度。H_θ使用权重共享机制，在每一次更新中使用相同的H架构和权重θ。与直接映射相比，使用渐进的学习方法能够在每一次更新时降低计算难度，并提升稳定性，尤其对于曝光控制。

S2.零部件定位阶段

具体的，考虑到零部件多尺度的特点，在这一阶段采用TPH-YOLOv5算法对增强后接触网图像中的零部件进行定位。要定位的零部件共有10种，分别是：底座(Insulatorbase)、绝缘子(Insulator)、支撑卡子正面(Brace sleeve-f)、支撑卡子反面(Brace sleeve-b)、承力索底座正面(Messengerwire base-f)、承力索底座反面(Messenger wire base-b)、管帽(Tube cap)、拉线(Wire)、U型压板(U-shaped pressureplate)、套管双耳(Double sleeve connector)。

该阶段输入的是接触网图像，输出的是定位到的10种零部件。如图3所示，所述TPH-YOLOv5算法使用CSPDarknet53作为骨干网络，使用PANet作为neck部分，输出部分包括四个检测头，分别用于微小、小、中、大物体的检测，采用卷积注意力模块CBAM沿着通道维度和空间维度依次生成注意力图，以寻找大覆盖图像中的注意区域。与YOLOv5相比，TPH-YOLOv5可以更好的处理多尺度接触网图像。

S3.紧固件定位阶段

具体的，使用改进的R-FCN算法对依附在零部件上的紧固件定位识别。要定位的紧固件有7种，分别是：开口销a(pin-a)、开口销b(pin-b)、开口销c(pin-c)、螺母a(nut-a)、螺母b(nut-b)、螺母c(nut-c)、螺钉(screw)。本阶段输入的是接触网零部件，输出的是定位到的7种紧固件，框架如图4所示。

R-FCN是一个基于区域的全卷积网络算法。不同于其他基于区域的检测算法(例如Faster R-CNN)，R-FCN构建的是一个更深的全卷积网络，用于提取高度表征的图像特征，这些特征可以抓取相当大的感受野，使得在检测模糊目标和小目标时也能得益于抓取的上下文信息。R-FCN主干网络为残差网络ResNet-101，从残差网络ResNet-101输出的特征图中，区域候选网络(Region Proposal Network,RPN)根据锚(anchor)生成一系列感兴趣区域(Region Of Interest,ROI)，这些感兴趣区域ROI进一步被输入到R-FCN网络模型的位置敏感ROI池化层中，最后两个全局平均池化层产生每一类的分数图和边界框的预测图。为了提升对紧固件的检测效果，对R-FCN算法做了以下三点改进：

回归损失函数的改进：一个好的目标框回归函数应该考虑三个重要的几何因素：重叠面积、中心点距离和长宽比；所以采用下面的CIoU损失函数：

其中，b和b^gt分别代表紧固件预测框和紧固件真实框的中心点，ρ表示欧氏距离，c表示紧固件预测框和紧固件真实框的最小外接矩阵的对角线距离，α是权重参数，v是用来度量长宽比的相似性，

和

分别表示紧固件真实框和紧固件预测框的宽高比；IoU为R-FCN算法原始损失函数。

K-Means聚类引入更合适的锚框：使用K-Means聚类方法来调整R-FCN从公共数据集中获得的锚框尺寸，使得锚框大小更适合紧固件的尺寸。K-Means算法是一种多迭代的聚类方法，首先选取K个值作为聚类中心，然后得到紧固件的锚框点到每个聚类中心的距离，将锚框点加入离它最近的聚类中心，经过多次添加形成聚类。经过K-Means聚类实验后，最终选择K＝9，同时9个锚点框的具体大小设置为(14，46)、(20，25)、(22，18)、(25，35)、(29，16)、(30，22)、(39，25)、(42，16)、(59，17)。

多尺度训练和在线硬样本挖掘策略:在训练阶段使用多尺度训练策略，即把输入的最短边调整为1024，这样可以保证模型在不同尺度上检测紧固件的鲁棒性，特别是对小目标能够很好的检测。

同时，在R-FCN模型中使用在线硬样本挖掘策略，即在训练中每次迭代网络模型时，将在前一轮网络模型无法实现分类的负样本加入到训练数据中，或者相应的增加难例样本权重，并且对于已经在分类上表现良好的样本不需要再加入训练数据中；通过多次迭代得到一个能处理难例样本的模型，平衡正负样本。

S4.故障检测阶段

具体的，使用自适应canny算子对正常、缺失、脱落状态的紧固件图像进行边缘检测，得到边缘特征图，然后使用霍夫变换算法来检测不同状态下紧固件的线、圆等特征在边缘特征图上的数值k，通过分析统计正常、缺失、脱落状态下数值k的变化得到状态临界值，最后根据正常临界值m和脱落临界值n判断紧固件是否故障。故障诊断的流程如图5所示。

该阶段所使用的自适应canny算子是一种一阶微分算子检测算法，其在canny算子的基础上采用最大类间方差法，即Ostu算法。Ostu算法能够根据图像灰度的分布情况自适应地得到合适的分割阈值，所以可以更有效降低噪声的影响，使图像不包含较多的无用边缘信息。而使用的霍夫变换是一种特征提取算法，用来辨别找出目标中的线、圆等特征。算法流程如下：给定一个物件、要辨别的形状种类，算法会在参数空间中执行投票来决定物体的形状，这是由累加空间里的局部最大值决定的。

上述方法的实验设置可以为：数据集是巡检车在铁路场景中拍摄到的8500张接触网图片。所有实验均基于NVIDIA Quadro RTX 600024GB GPU的模拟环境，是在Ubuntu20.04系统上用PyTorch架构和MatLab实现的。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (10)

1.一种采用四级级联架构的接触网紧固件故障检测方法，其特征在于，包括：

图像预处理阶段，使用SCI图像增强算法对低光照接触网图像进行亮度增强；

零部件定位阶段，采用TPH-YOLOv5算法对增强后接触网图像中的零部件进行定位；

紧固件定位阶段，使用改进的R-FCN算法对依附在零部件上的紧固件定位识别，改进的R-FCN算法包括回归损失函数改进、锚框改进、采用多尺度训练和在线硬样本挖掘策略；

故障检测阶段，先使用边缘检测算法中的自适应canny算子对紧固件的边缘进行检测，得到边缘特征图，再使用霍夫变换算法对不同状态紧固件的边缘特征图检测，获取紧固件正常、脱落、缺失状态下线、圆形状特征值，从而实现对多种紧固件的故障判断。

2.根据权利要求1所述一种采用四级级联架构的接触网紧固件故障检测方法，其特征在于，使用SCI图像增强算法对低光照接触网图像进行亮度增强，具体为：根据Retinex理论，存在一个低光图像与同场景正常清晰图像的对应，即

其中y表示低光图像，z表示正常清晰图像，x表示照明分量；低光增强目的就是对照明分量x进行建模；SCI通过引入带有权重θ的映射H_θ建立一种赋权的渐进视角实现对照明分量x的建模：

其中，u^t和x^t分别代表第t阶段(t＝0,…,T-1，T为阶段总数)的残余项和照度；映射H_θ使用权重共享机制，在每一次更新中使用相同的H架构和权重θ。

3.根据权利要求1所述一种采用四级级联架构的接触网紧固件故障检测方法，其特征在于，所述TPH-YOLOv5算法使用CSPDarknet53作为骨干网络，使用PANet作为neck部分，输出部分包括四个检测头，分别用于微小、小、中、大物体的检测，采用卷积注意力模块CBAM沿着通道维度和空间维度依次生成注意力图。

4.根据权利要求1所述一种采用四级级联架构的接触网紧固件故障检测方法，其特征在于，改进的R-FCN算法主干网络为残差网络ResNet-101，从残差网络ResNet-101输出的特征图中，区域候选网络根据锚生成一系列感兴趣区域ROI，这些感兴趣区域ROI被输入到位置敏感的ROI池化层中，两个全局平均池化层分别用于产生每一类的分数图和边界框的预测图。

5.根据权利要求1所述一种采用四级级联架构的接触网紧固件故障检测方法，其特征在于，所述回归损失函数CIoU为：

其中，b和b^gt分别代表紧固件预测框和紧固件真实框的中心点，ρ表示欧氏距离，c表示紧固件预测框和紧固件真实框的最小外接矩阵的对角线距离，α是权重参数，v是用来度量长宽比的相似性，

和

分别表示紧固件真实框和紧固件预测框的宽高比；IoU为R-FCN算法原始损失函数。

6.根据权利要求1所述一种采用四级级联架构的接触网紧固件故障检测方法，其特征在于，锚框改进具体为：使用K-Means聚类方法来调整从公共数据集中获得的锚框尺寸，使得锚框大小与紧固件尺寸相适应。

7.根据权利要求6所述一种采用四级级联架构的接触网紧固件故障检测方法，其特征在于，所述K-Means聚类方法首先选取K个值作为聚类中心，然后得到紧固件的锚框点到每个聚类中心的距离，将锚框点加入离它最近的聚类中心，经过多次添加形成聚类。

8.根据权利要求1所述一种采用四级级联架构的接触网紧固件故障检测方法，其特征在于，所述多尺度训练和在线硬样本挖掘策略，具体为：在训练阶段使用多尺度训练策略，即把输入的图像最短边调整为1024；并在训练中每次迭代网络模型时，将在前一轮网络模型无法实现分类的负样本加入到训练数据中，或者相应的增加难例样本权重，并且对于已经在分类上表现良好的样本不需要再加入训练数据中；通过多次迭代得到一个能处理难例样本的模型，平衡正负样本。

9.根据权利要求1所述一种采用四级级联架构的接触网紧固件故障检测方法，其特征在于，故障检测阶段具体实现方法是：先使用自适应canny算子对正常、缺失、脱落状态的紧固件图像进行边缘检测，得到边缘特征图，然后使用霍夫变换算法来检测不同状态下紧固件的线、圆特征在边缘特征图上的数值k，通过分析统计正常、缺失、脱落状态下数值k的变化得到各状态临界值，最后根据正常临界值m和脱落临界值n判断紧固件是否故障。

10.根据权利要求9所述一种采用四级级联架构的接触网紧固件故障检测方法，其特征在于，所述canny算子是一种一阶微分算子检测算法，其在canny算子的基础上采用最大类间方差法，对紧固件图像进行边缘检测。

Images