CN116012375B - 一种接触网软横跨悬吊滑轮开口销缺陷检测方法及系统 - Google Patents

Abstract

本发明公开了一种接触网软横跨悬吊滑轮开口销缺陷检测方法及系统，涉及缺陷检测技术领域，检测方法包括以下步骤：S1、输入拍摄站场一杆一档图像中的站区图像；S2、对所述站区图像进行一级定位，得到悬吊滑轮图像；S3、利用CNN分类法对一级定位得到的所述悬吊滑轮图像进行分类，并过滤误定位悬吊滑轮图像；S4、根据CNN分类对应的不同比例，截取非误定位悬吊滑轮图像中的ROI图像；S5、对所述ROI图像中的开口销进行二级定位；S6、根据二级定位结果，输出开口销缺失缺陷识别结果。本发明采用直接定位开口销销钉的方法判断开口销是否缺失，无需缺陷样本，且在一级定位后采用CNN分类过滤误定位悬吊滑轮图像。

Description

一种接触网软横跨悬吊滑轮开口销缺陷检测方法及系统

技术领域

本发明涉及缺陷检测技术领域，更具体地说涉及一种接触网软横跨悬吊滑轮开口销缺陷检测方法及系统。

背景技术

“高速铁路接触网悬挂状态检测监测装置（4C）”系统通过对接触网支撑装置、定位装置、附加悬挂等关键部件进行拍摄采集，之后通过人工查看分析原始采集4C图片来发现缺陷。目前这种人工判读方式耗时费力、受个人情绪和责任心因素影响较大，存在漏检风险高、检测周期长等缺点，如果发现和处理不及时，容易对列车运行安全产生严重影响。

接触网4C软横跨悬吊滑轮安装在接触网全补偿悬挂中的悬吊承力索上，位于软横跨处，当软横跨悬吊滑轮开口销缺失时，导线容易脱离滑轮，挂钩无法灵活转动，且导线与悬吊承力索头部发生偏磨，导线易发生偏磨、断股等故障，对接触网整个结构完整性影响较大。若不及时发现和处理，很可能对列车运行安全造成严重影响。

在现有技术中，较少有公开的4C软横跨悬吊滑轮开口销缺失的技术方案运用，但有其他接触网零部件区域开口销缺失检测方法公开，如李健、王政彤的名称为“一种基于深度神经网络的腕臂底座开口销缺失检测算法”的文献，公开了一种腕臂底座横向开口销缺失检测方法，该方法首先采用YOLO算法对原始大图进行一级定位得到腕臂底座区域，然后采用YOLO算法对腕臂底座区域进行二级定位得到开口销区域小图，最后采用CNN（卷积神经网络）分类算法对横向和垂直开口销小图进行分类识别。该方法在最终使用CNN分类来判定开口销是否缺失，需要大量的缺陷样本，存在一定的局限性。而软横跨悬吊滑轮背景较复杂，且悬吊滑轮形态角度各异，背景不固定，且悬吊滑轮开口销面积较小，对悬吊滑轮开口销缺失使用CNN分类来识别具有一定的难度。

发明内容

为了克服上述现有技术中存在的缺陷，本发明公开了一种接触网软横跨悬吊滑轮开口销缺陷检测方法及系统，本发明的目的是解决现有技术中未公开4C软横跨悬吊滑轮开口销缺失缺陷检测、以及腕臂底座开口销缺失检测运用到悬吊滑轮开口销缺失检测难的问题。本发明针对4C软横跨悬吊滑轮开口销缺失缺陷，结合软横跨位于站场区间实际业务特点，仅仅对线路战场图片进行识别，跳过普通区间图片，可有效节约处理时间。具体的，先采用基于YOLO v5（You Only Look Once）检测方式对悬吊滑轮进行定位一级定位，考虑到算法的实时性，本发明使用了YOLOv5s网络结构，YOLOv5s网络深度0.33、宽度0.50。由于一级定位结果中存在误定位图像，因此使用CNN分类方法对一级定位结果进行2次分类，确保超过98%的分类结果为悬吊滑轮图像。之后，针对横向悬吊滑轮和竖向悬吊滑轮2类截取不同比例ROI小图，当悬吊滑轮为竖向或接近竖向时，采用YOLO v5对悬吊滑轮开口销销钉头部和尾部共2类进行2级定位，当2级定位失败时，判断悬吊滑轮开口销缺失。当悬吊滑轮为横向或接近横向时，采用YOLO v5对悬吊滑轮开口销销钉尾部、中间销钉、销钉头部、悬吊承力索螺母区域共4类进行2级定位，当悬吊滑轮开口销销钉尾部、中间销钉、销钉头部三个目标任何一个都未成功定位时，判断悬吊滑轮开口销缺失。

为了实现以上目的，本发明采用的技术方案：

一种接触网软横跨悬吊滑轮开口销缺陷检测方法，包括以下步骤：

S1、输入拍摄站场一杆一档图像中的站区图像。

本发明中，利用相机拍摄接触网的图像，4C拍摄站场拍摄若干“一杆一档”图像。在对悬吊滑轮开口销缺失进行检测时，仅仅处理站区图像，软件根据线路基础数据信息仅仅对站区如“华山车站”图像传给算法进行识别，跳过区间如“华山西-桃下”4C图像，可有效节约处理时间。本发明根据图片来源是否是站场来跳过识别其他4C图像，有效减少了线路悬吊滑轮开口销缺失识别时间。

上述方法中，“一杆一档”是指以接触网单支柱及其顺向的一跨吊弦为管理对象建立电子档案进行日常管理，该电子档案称为一杆一档。

S2、对所述站区图像进行一级定位，得到悬吊滑轮图像。

优选的，所述S2步骤中的一级定位采用YOLOv5检测方法，所述YOLOv5采用YOLOv5s网络结构，其中YOLOv5s网络深度为0.33、宽度为0.50。

本发明中，采用基于YOLO v5（You Only Look Once）检测方式对悬吊滑轮进行定位一级定位，考虑到算法的实时性，使用了YOLOv5s网络结构，YOLOv5s网络深度0.33、宽度0.50。

优选的，所述S2步骤的一级定位中，悬吊滑轮为垂直时类别为0，悬吊滑轮为水平时类别为1。上述方法中，垂直并非真正意义上的绝对垂直，而是垂直或者接近垂直。水平并非真正意义上的绝对水平，而是水平或者绝对水平。

优选的，所述S2步骤中，开口销位于一级定位的悬吊滑轮区域图像的上部。

S3、利用CNN分类法对一级定位得到的所述悬吊滑轮图像进行分类，并过滤误定位悬吊滑轮图像。

优选的，所述S3步骤中，采用CNN分类方法对YOLOv5一级定位结果进行CNN分类，所述CNN分类采用VGGNet网络结构。采用该种网络结构进行分类的好处是：VGGNet网络增加了网络深度有利于提高分类精度，降低错误率，模型泛化性较好。

优选的，根据所述悬吊滑轮角度，将所述悬吊滑轮分类，则所述CNN分类包括：垂直悬吊滑轮类别为0，水平悬吊滑轮类别为1，其他误定位结果类别为2。上述方法中，垂直并非真正意义上的绝对垂直，而是垂直或者接近垂直。水平并非真正意义上的绝对水平，而是水平或者绝对水平。

优先的，根据CNN分类结果，过滤掉误定位悬吊滑轮图像，即去除了类别为2的CNN分类结果，大大减少了误识别率。

S4、根据CNN分类对应的不同比例，截取非误定位悬吊滑轮图像中的ROI图像。

优选的，根据所述悬吊滑轮不同角度，按照不同比例截取非误定位悬吊滑轮图像中的ROT图像。其中，所述非误定位悬吊滑轮图像为0类、1类悬吊滑轮图像。即对0类、1类悬吊滑轮图像采取不同的截取比例分别设置ROI，并在一级定位结果中分别截取0类、1类悬吊滑轮图像的ROI图像。

优选的，对于0类悬吊滑轮图像，其原始一级定位图像宽度为w，高度为h，截取ROI图像时从一级定位图像左上角开始，截取宽度为原始图像w，高度为0.5h。

上述方法中，针对0类悬吊滑轮图像，假设原始一级定位图像宽度为w，高度为h，为避免垂直方向悬吊滑轮中间长螺栓的影响，从一级定位图像左上角（0,0）开始，截取宽度为原始图像w，高度为0.5h的ROI图像。

本发明中，对于0类悬吊滑轮图像，由于中间长螺栓及其左右螺母与开口销圆头存在一定相似性，容易将其误识别成开口销圆头。当开口销缺失时，误定位到中间长螺栓及其左右螺母，此时容易造成悬吊滑轮开口销缺失漏识别，因此截取一定比例ROI过滤掉中间长螺栓及其左右螺母可有效减少漏识别。

在本发明中，针对0类悬吊滑轮图像，其中间长螺栓及其左右螺母一般位于悬吊滑轮区域图像的中下部。本发明在截取ROI图像时，其截取的高度为原始图像的0.5h，ROI图像过滤掉中间长螺栓及其左右螺母，避开了中下部的中间长螺栓及其左右螺母对后续开口销定位的影响，有效减少错识别。

优选的，对于1类悬吊滑轮图像，其原始一级定位图像宽度为w，高度为h，截取ROI图像时从一级定位图像左上角开始，截取宽度为原始图像w，高度为0.8h。

上述方法中，针对1类悬吊滑轮图像，由于水平悬吊滑轮开口销位置相对垂直悬吊滑轮位置要高，不能仅仅截取上半部分ROI图像，否则无法将完整悬吊滑轮开口销截取。实验所知从一级定位图像左上角（0,0）开始，截取宽度为原始图像w，高度为0.8h的ROI图像效果最好。另外，对于1类悬吊滑轮，其中间长螺栓及其左右螺母，其与开口销的相似性不大，因此在该种情况下不考虑中间长螺栓及其左右螺母对开口销定位的影响。

S5、对所述ROI图像中的开口销进行二级定位。

优选的，所述S5步骤的二级定位中，对于0类悬吊滑轮，对ROI图像进行开口销销钉头部和尾部二级二类定位。

优选的，所述S5步骤的二级定位中，对于1类悬吊滑轮，对ROI图像进行开口销销钉尾部、中间销钉、销钉头部和悬吊承力索螺母二级四类定位。

本发明中，针对1类悬吊滑轮，其区别于0类垂直悬吊滑轮，1类横向或接近横向悬吊滑轮开口销中部露出面积较大，因此将开口销分为3部分（开口销销钉尾部、中间销钉、销钉头部），且为避免悬吊承力索螺母区域的开口销销钉对本身悬吊滑轮开口销检测影响，将悬吊承力索螺母区域作为第4类进行标记训练。

优选的，所述S5步骤中的二级定位采用YOLOv5检测方法，所述YOLOv5采用YOLOv5s网络结构，其中YOLOv5s网络深度为0.33、宽度为0.50。

S6、根据二级定位结果，输出开口销缺失缺陷识别结果。

优选的，对于0类悬吊滑轮，当其二级定位为开口销销钉头部和尾部个数均为0时，输出悬吊滑轮开口销缺失，否则输出悬吊滑轮开口销存在。

本发明中，对于0类悬吊滑轮，对ROI图像进行开口销销钉头部和尾部2级2类定位，当2级销钉检测失败，即开口销销钉尾部和销钉头部个数均为0时，判断悬吊滑轮开口销缺失。当定位到开口销销钉尾部或销钉头部时，即开口销销钉尾部或销钉头部个数不为0时，判断悬吊滑轮开口销存在。

优选的，对于1类悬吊滑轮，当其二级定位为开口销销钉尾部、中间销钉和销钉头部个数均为0时，输出悬吊滑轮开口销缺失，否则输出悬吊滑轮开口销存在。

本发明中，对于1类悬吊滑轮，对ROI图像进行开口销销钉尾部、中间销钉、销钉头部和悬吊承力索螺母二级4类定位，当开口销销钉尾部、中间销钉和销钉头部均检测失败时，即开口销部位定位个数为0时，判断悬吊滑轮开口销缺失。当定位到开口销销钉尾部、中间销钉或销钉头部时，即开口销销钉尾部、中间销钉或销钉头部个数不为0时，也即开口销部位定位个数不为0时，判断悬吊滑轮开口销存在。

基于上述接触网软横跨悬吊滑轮开口销缺陷检测方法，本发明另一方面还提供了一种接触网软横跨悬吊滑轮开口销缺陷检测系统，包括：

图像存储单元，用于存储站场拍摄的一杆一档站区图像；

图像定位单元，利用YOLOv5模型对悬吊滑轮图像进行一级定位和开口销图像进行二级定位；

图像分类单元，利用CNN分类法对悬吊滑轮图像进行分类处理，过滤误定位悬吊滑轮图像；

缺陷识别单元，对所述开口销图像二级定位结果进行识别检测，输出开口销缺失缺陷识别结果。

本发明的有益效果：

1、本发明采用根据图片来源是否是站场来跳过大量4C图像，仅仅对站区4C图像进行软横跨悬吊滑轮开口销缺失算法识别，有效减少了识别时间，大大提高了识别效率。

2、本发明根据悬吊滑轮角度特点，将悬吊滑轮分为两类，并截取不同的比例来进行2级开口销定位，有效减少了漏报。

3、本发明采用直接定位开口销销钉的方法判断开口销是否缺失，无需缺陷样本，且在一级定位后采用CNN分类过滤误定位悬吊滑轮图像，大大减少了误识别率。

4、本发明识别准确率高，本发明采用2级定位结合CNN分类识别方法可有效减少漏识别，识别率高于92%。

5、本发明误识别率低，仅仅处理站场图片，且在一级定位后采用CNN分类过滤误定位悬吊滑轮图像有效降低了误报，测试结果显示误报率小于7%。

附图说明

图1为本发明软横跨悬吊滑轮开口销缺失识别算法流程图；

图2为本发明站场4C“一杆一档”图像；

图3为本发明软横跨悬吊滑轮一级定位0类结果；

图4为本发明软横跨悬吊滑轮一级定位1类结果示例1；

图5为本发明软横跨悬吊滑轮一级定位1类结果示例2；

图6为本发明CNN分类3种样本中的0类样本；

图7为本发明CNN分类3种样本中的1类样本；

图8为本发明CNN分类3种样本中的2类样本；

图9为本发明0类悬吊滑轮截取结果；

图10为本发明0类悬吊滑轮截取比例较大时存在误定位开口销结果；

图11为本发明垂直悬吊滑轮1级定位截取后2级定位结果；

图12为本发明水平悬吊滑轮1级定位截取后2级定位结果示例1；

图13为本发明水平悬吊滑轮1级定位截取后2级定位结果示例2；

图14为本发明水平悬吊滑轮1级定位截取后2级定位结果示例3；

图15为本发明水平悬吊滑轮1级定位截取后2级定位结果示例4。

实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、特征和效果。

实施例

一种接触网软横跨悬吊滑轮开口销缺陷检测方法，如图1所示，包括以下步骤：

S1、输入拍摄站场一杆一档图像中的站区图像；

S2、对所述站区图像进行一级定位，得到悬吊滑轮图像；

S3、利用CNN分类法对一级定位得到的所述悬吊滑轮图像进行分类，并过滤误定位悬吊滑轮图像；

S4、根据CNN分类对应的不同比例，截取非误定位悬吊滑轮图像中的ROI图像；

S5、对所述ROI图像中的开口销进行二级定位；

S6、根据二级定位结果，输出开口销缺失缺陷识别结果。

S1步骤中，采用根据图片来源是否是站场来跳过大量4C图像，仅仅对站区4C图像进行软横跨悬吊滑轮开口销缺失算法识别，有效减少了识别时间，大大提高了识别效率。S3步骤在CNN分类后，过滤误定位悬吊滑轮图像，大大减少了误识别率。S5步骤采用直接定位开口销销钉的方法判断开口销是否缺失，无需缺陷样本。

实施例

本实施例在实施例1的基础上对S1步骤作进一步的阐述，S1步骤中，利用相机拍摄接触网的图像，4C拍摄站场拍摄若干“一杆一档”图像，如图2所示。

本实施例在对悬吊滑轮开口销缺失进行检测时，仅仅处理站区图像，软件根据线路基础数据信息仅仅对站区如“华山车站”图像传给算法进行识别，跳过区间如“华山西-桃下”4C图像，可有效节约处理时间。

实施例

本实施例在实施例2的基础上对S2步骤作进一步的阐述，S2步骤中，对悬吊滑轮进行一级YOLO定位，其中悬吊滑轮为垂直时类别为0，悬吊滑轮为水平时类别为1，一级定位结果如图3、4和5所示。从图3、4和5中可以看到开口销一般位于一级定位结果图像上部。

S2步骤中，采用基于YOLO v5（You Only Look Once）检测方式对悬吊滑轮进行定位一级定位，考虑到算法的实时性，使用了YOLOv5s网络结构，YOLOv5s网络深度0.33、宽度0.50。

实施例

本实施例在实施例3的基础上对S3步骤作进一步的阐述，S3步骤中，采用YOLOv5对一级定位结果进行CNN分类，使用卷积神经网络CNN来对悬吊滑轮一级定位结果进行分类，采用的网络是VGGNet网络结构。其中垂直悬吊滑轮类别为0，水平悬吊滑轮类别为1，其他误定位结果类别为2当作背景，共3类，如图6、7和8所示。

实施例

本实施例在实施例4的基础上对S4步骤作进一步的阐述，S4步骤中，针对0类、1类悬吊滑轮采取不同的截取比例分别设置ROI对一级定位结果进行截取。

针对0类悬吊滑轮，假设原始一级定位图像宽度为w，高度为h，为避免垂直方向悬吊滑轮中间长螺栓的影响，从一级定位图像左上角（0,0）开始，截取宽度为原始图像w，高度为0.5h的ROI图像，如图9所示。

由于中间螺栓左右螺母与开口销圆头存在一定相似性，容易将其误识别成开口销圆头，如图10下方圆头左边中间螺栓螺母所示。

当开口销缺失时，误定位到中间螺栓左右螺母，此时容易造成悬吊滑轮开口销缺失漏识别，因此截取一定比例ROI过滤掉中间螺栓左右螺母可有效减少漏识别。

针对1类悬吊滑轮，假设原始一级定位图像宽度为w，高度为h。由于水平悬吊滑轮开口销位置相对垂直悬吊滑轮位置要高，不能仅仅截取上半部分ROI图像，否则无法将完整悬吊滑轮开口销截取。实验所知从一级定位图像左上角（0,0）开始，截取宽度为原始图像w，高度为0.8h的ROI图像效果最好，如图12和13所示。另外，对于1类悬吊滑轮，其中间长螺栓及其左右螺母，其与开口销的相似性不大，因此在该种情况下不考虑中间长螺栓及其左右螺母对开口销定位的影响。

实施例

本实施例在实施例5的基础上对S5步骤作进一步的阐述，S5步骤中，对于0类悬吊滑轮，对ROI图像进行开口销销钉头部和尾部二级二类定位，如图11所示。

针对1类悬吊滑轮，假设原始一级定位图像宽度为w，高度为h，区别于0类垂直悬吊滑轮，1类横向或接近横向悬吊滑轮开口销中部露出面积较大，因此将开口销分为3部分（开口销销钉尾部、中间销钉、销钉头部），且为避免悬吊承力索螺母区域的开口销销钉对本身悬吊滑轮开口销检测影响，将悬吊承力索螺母区域作为第4类进行标记训练，如图12和13所示。

本实施例中，针对1类悬吊滑轮，进行2级4类开口销检测，其中，悬吊滑轮开口销销钉尾部、中间销钉、销钉头部、悬吊承力索螺母区域共4类，如图14和15所示。

实施例

本实施例在实施例6的基础上对S6步骤作进一步的阐述，S6步骤中，对于0类悬吊滑轮，对ROI图像进行销钉头部、尾部开口销2级2类定位，当2级销钉检测失败，即开口销销钉尾部和销钉头部个数均为0时，判断悬吊滑轮开口销缺失。当定位到开口销销钉尾部或销钉头部时，即开口销销钉尾部或销钉头部个数不为0时，判断悬吊滑轮开口销存在。

对于1类悬吊滑轮，对ROI图像进行开口销销钉尾部、中间销钉、销钉头部和悬吊承力索螺母二级四类定位，当开口销销钉尾部、中间销钉和销钉头部均检测失败时，即开口销部位定位个数为0时，判断悬吊滑轮开口销缺失。当定位到开口销销钉尾部、中间销钉或销钉头部时，即开口销销钉尾部、中间销钉或销钉头部个数不为0时，也即开口销部位定位个数不为0时，判断悬吊滑轮开口销存在。

实施例

一种接触网软横跨悬吊滑轮开口销缺陷检测系统，包括：

图像存储单元，用于存储站场拍摄的一杆一档站区图像；

图像定位单元，利用YOLOv5模型对悬吊滑轮图像进行一级定位和开口销图像进行二级定位；

图像分类单元，利用CNN分类法对悬吊滑轮图像进行分类处理，过滤误定位悬吊滑轮图像；

缺陷识别单元，对所述开口销图像二级定位结果进行识别检测，输出开口销缺失缺陷识别结果。

以上对本发明的实施方式进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种等同变型或替换，这些等同或替换均包含在本发明权利要求所限定的范围内。

Claims (8)

1.一种接触网软横跨悬吊滑轮开口销缺陷检测方法，其特征在于，包括以下步骤：

S1、输入拍摄站场一杆一档图像中的站区图像；

S2、对所述站区图像进行一级定位，得到悬吊滑轮图像；

S3、根据悬吊滑轮角度，对一级定位得到的所述悬吊滑轮图像进行CNN分类，并过滤误定位悬吊滑轮图像；其中所述CNN分类包括：垂直悬吊滑轮类别为0，水平悬吊滑轮类别为1，其他误定位结果类别为2；

S4、根据CNN分类对应的不同比例，截取非误定位悬吊滑轮图像中的ROI图像；具体为：对0类、1类悬吊滑轮采取不同的截取比例分别设置ROI，并在一级定位结果中截取ROI图像；

S5、对所述ROI图像中的开口销进行二级定位；

S6、根据二级定位结果，输出开口销缺失缺陷识别结果。

2.如权利要求1所述的开口销缺陷检测方法，其特征在于，所述S2步骤中的一级定位和所述S5步骤中的二级定位均采用YOLOv5检测方法，所述YOLOv5采用YOLOv5s网络结构，其中YOLOv5s网络深度为0.33、宽度为0.50。

3.如权利要求1所述的开口销缺陷检测方法，其特征在于，所述S4步骤中，对于0类悬吊滑轮图像，其原始一级定位图像宽度为w，高度为h，截取ROI图像时从一级定位图像左上角开始，截取宽度为原始图像w，高度为0.5h；

对于1类悬吊滑轮图像，其原始一级定位图像宽度为w，高度为h，截取ROI图像时从一级定位图像左上角开始，截取宽度为原始图像w，高度为0.8h。

4.如权利要求1所述的开口销缺陷检测方法，其特征在于，所述S5步骤的二级定位中，对于0类悬吊滑轮，对ROI图像进行开口销销钉头部和尾部二级二类定位。

5.如权利要求1所述的开口销缺陷检测方法，其特征在于，所述S5步骤的二级定位中，对于1类悬吊滑轮，对ROI图像进行开口销销钉尾部、中间销钉、销钉头部和悬吊承力索螺母二级四类定位。

6.如权利要求4所述的开口销缺陷检测方法，其特征在于，所述S6步骤中，对于0类悬吊滑轮，当其二级定位为开口销销钉头部和尾部个数均为0时，输出悬吊滑轮开口销缺失，否则输出悬吊滑轮开口销存在。

7.如权利要求5所述的开口销缺陷检测方法，其特征在于，所述S6步骤中，对于1类悬吊滑轮，当其二级定位为开口销销钉尾部、中间销钉和销钉头部个数均为0时，输出悬吊滑轮开口销缺失，否则输出悬吊滑轮开口销存在。

8.一种根据权利要求1-7任意一项的开口销缺陷检测方法的接触网软横跨悬吊滑轮开口销缺陷检测系统，其特征在于，包括：

图像存储单元，用于存储站场拍摄的一杆一档站区图像；

图像定位单元，利用YOLOv5模型对悬吊滑轮图像进行一级定位和开口销图像进行二级定位；

图像分类单元，利用CNN分类法对悬吊滑轮图像进行分类处理，过滤误定位悬吊滑轮图像；

缺陷识别单元，对所述开口销图像二级定位结果进行识别检测，输出开口销缺失缺陷识别结果。