CN111598855A - 一种基于深度学习和迁移学习的2c设备高铁接触网吊弦缺陷检测方法 - Google Patents

一种基于深度学习和迁移学习的2c设备高铁接触网吊弦缺陷检测方法 Download PDF

Info

Publication number
CN111598855A
CN111598855A CN202010377014.0A CN202010377014A CN111598855A CN 111598855 A CN111598855 A CN 111598855A CN 202010377014 A CN202010377014 A CN 202010377014A CN 111598855 A CN111598855 A CN 111598855A
Authority
CN
China
Prior art keywords
detection
ring
hanger
dropper
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010377014.0A
Other languages
English (en)
Other versions
CN111598855B (zh
Inventor
宋彬
曾元
涂学峰
蔡小辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010377014.0A priority Critical patent/CN111598855B/zh
Publication of CN111598855A publication Critical patent/CN111598855A/zh
Application granted granted Critical
Publication of CN111598855B publication Critical patent/CN111598855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习和迁移学习的2C设备高铁接触网吊弦缺陷检测方法，克服了现有技术中，高铁接触网吊弦缺陷检测精度有待提高的问题。该发明含有以下步骤：(1)输入拍摄的高分辨率图像；(2)将输入图像送入目标检测网络得到预测结果，用非极大值抑制算法过滤掉所有检测结果中重叠部分过大的检测框；(3)对检测出的正常部位进行坐标匹配；(4)根据匹配结果对漏检的部位进行定位；(5)利用分类网络对定位出的漏检部位进行分类；(6)输出所有异常检测结果。该技术利用深度神经网络来实现目标检测网络以及图像分类网络，能够对更准确的提取图像吊弦各部位的特征，使得本发明具有较强的学习能力以及泛化能力。

Description

一种基于深度学习和迁移学习的2C设备高铁接触网吊弦缺陷 检测方法
技术领域
本发明涉及计算机辅助性轨道交通领域，特别是涉及一种基于深度学习和迁移学习的2C设备高铁接触网吊弦缺陷检测方法。
背景技术
接触网是在电气化铁道中，沿钢轨上空“之”字形架设的，供受电弓取流的高压输电线。接触网是铁路电气化工程的主构架，是沿铁路线上空架设的向电力机车供电的特殊形式的输电线路。接触网吊弦相当于是整个接触网上的支架，是承力索与接触线间振动和力的传递者，是列车安全运营的关键部分，吊弦缺陷将会对铁路的安全运行产生重大影响。在接触网检测中，吊弦的检测任务繁重，通常一杆之间会有5组左右的吊弦，数量巨大并且缺陷较细，从而难以察觉。随着我国的列车的不断提速，接触网疲劳断裂事故也时有发生。目前，针对这一问题，主要有以下几种方案。
一是通过智能巡检车沿线路对接触网状态进行巡检。巡检车夜晚在高铁路段行驶过程中采用摄像采集、激光扫描、计算机图像处理、RFID精确定位和智能化分析判断等技术，对高铁钢轨面是否擦伤和磨损、钢轨扣件是否异常、供电接触网状态是否良好以及线路有无障碍物侵入等多项内容进行实时记录，经过计算机分析处理，从而实现了接触网缺陷检测的功能。
二是通过对2C(接触网安全巡检装置)或4C设备(接触网悬挂状态检测监测装置)拍摄的图片进行人工分析。2C及4C检测装置采用都是摄像头对接触网设备进行全方位拍摄。通过对接触网支撑装置、定位装置、附加悬挂等重要接触网关键设备进行高精度、高密度地拍摄，拍摄图像经采集后经人工逐帧仔细查看，发掘出检测数据所反映的设备状态，及时指导工区处理设备故障及安全隐患，确保接触网安全稳定运行。
三是基于计算机视觉的接触网吊弦缺陷检测。利用深度学习技术，通过高性能计算机对2C或4C装置所拍摄的图片进行分析。使用图像处理技术以及目标检测技术完成对接触网吊弦缺陷的定位、识别以及分类。
目前的接触网吊弦缺陷检测方案，不能在保证准确率的前提下还保证简易性。若是通过智能巡检车来检测接触网状态，首先随着列车速度的提高，车辆运行频率和巡检频率也需要提高，但是巡检车的速度有限且过多的巡检车会影响铁路运输工作的正常运行；同时铁路运行的环境也越来越复杂，许多安全故障是接触式检测无法识别的。若是采用人工分析2C(接触网安全巡检装置)或4C设备(接触网悬挂状态检测监测装置)拍摄图片的方法来检测吊弦缺陷，存在工作量大、耗时长、时效性差等问题，其次，长期人工判读会导致准确率降低，而这一原因主要因为分析人员每天需要分析的数据过多，而且分析过程单一枯燥，直接造成分析人员注意力下降，会造成大量的误判、漏判。
所以以上方法仍然有很多问题需要解决。基于计算机视觉的接触网吊弦缺陷检测，只需要随车安装2C或4C设备，无需巡检车的介入。利用计算机取代了人工，将分析人员从大量的重复性工作中解放出来。但是由于计算机视觉方法的学习能力较差，导致对一些异常出现误判以及漏判。由于计算机视觉方法大多基于深度神经网络来实现，训练深度神经网络需要大量的数据，而高铁接触网吊弦的缺陷数据是极少的，这就导致了基于计算机视觉的接触网吊弦缺陷检测精度难以提升。
发明内容
本发明克服了现有技术中高铁接触网吊弦缺陷检测精度有待提高的问题，提供一种步骤合理、可靠性高的基于深度学习和迁移学习的2C设备高铁接触网吊弦缺陷检测方法。
本发明的技术解决方案是，提供一种具有以下步骤的基于深度学习和迁移学习的2C设备高铁接触网吊弦缺陷检测方法：含有以下步骤：(1)输入拍摄的高分辨率图像；(2)将输入图像送入目标检测网络得到预测结果，用非极大值抑制算法过滤掉所有检测结果中重叠部分过大的检测框；(3)对检测出的正常部位进行坐标匹配；(4)根据匹配结果对漏检的部位进行定位；(5)利用分类网络对定位出的漏检部位进行分类；(6)输出所有异常检测结果。
优选地，所述步骤1中高分辨率图像选取2C设备拍摄。
优选地，所述步骤2中利用目标检测网络提取吊弦3个部位，步骤如下：
(2a)将输入图像送入目标检测网络，经过网络的前向预测，得到多个输入图像的预测结果[tlx,tly,brx,bry,cls_idx,score]，其中(tlx,tly)分别代表物体在输入图像中的左上角横纵坐标，(brx,bry)分别代表物体在输入图像中的右下角横纵坐标，cls_idx代表物体所代表的类别的索引，score代表该物体的检测置信度；检测结果包含6种物体类型{正常上载流环，正常吊弦主体，正常下载流环，异常上载流环，异常吊弦主体，异常下载流环}；(2b)用非极大值抑制算法对所有检测结果进行过滤，将重叠部分过大的检测框过滤掉。
优选地，所述步骤3中对检测出的正常部位进行匹配，步骤如下：(3a)在步骤2中得到一张图像上所有正常部位的坐标，将正常部位中的上下载流环进行匹配，匹配之后将所有正常部位划分为3部分{成功匹配的上下载流环对，未成功匹配的载流环，吊弦主体}；(3b)然后将{成功匹配的上下载流环对，未成功匹配的载流环，吊弦主体}中的吊弦主体与匹配成功的载流环对进行匹配，将所有正常部位重新划分为4部分{成功匹配的吊弦，缺失主体的吊弦，未成功匹配的载流环，未成功匹配的吊弦主体}；(3c)将{成功匹配的吊弦，缺失主体的吊弦，未成功匹配的载流环，未成功匹配的吊弦主体}中没有成功匹配的载流环和吊弦主体进行匹配，得到缺失上载流环的吊弦、缺失下载流环的吊弦；再将所有检测到的正常部位划分成5部分{成功匹配的吊弦，缺失主体的吊弦，缺失上载流环的吊弦，缺失下载流环的吊弦，未成功匹配的部位}。
优选地，所述步骤4中根据匹配结果对漏检的部位进行定位，步骤如下：(4a)将{成功匹配的吊弦，缺失主体的吊弦，缺失上载流环的吊弦，缺失下载流环的吊弦，未成功匹配的部位}中缺失主体的吊弦的坐标取出，根据吊弦3个部位的逻辑位置关系得到吊弦主体的坐标{漏检吊弦主体}；(4b)将{成功匹配的吊弦，缺失主体的吊弦，缺失上载流环的吊弦，缺失下载流环的吊弦，未成功匹配的部位}中缺失上载流环的吊弦的坐标取出，根据吊弦3个部位的逻辑位置关系得到上载流环的坐标{漏检上载流环}；(4c)将{成功匹配的吊弦，缺失上载流环的吊弦，缺失下载流环的吊弦，未成功匹配的部位}中缺失下载流环的吊弦的坐标取出，根据吊弦3个部位的逻辑位置关系得到下载流环的坐标{漏检下载流环}。
优选地，所述步骤5中利用分类网络对定位出的漏检部位进行分类，步骤如下：(5a)根据步骤4中得到的{漏检吊弦主体，漏检上载流环，漏检下载流环}的坐标在原图中裁剪出对应区域的图像；(5b)将裁剪出的图像块送入图像分类网络；(5c)分类网络输出分类结果{正常漏检吊弦主体，正常漏检上载流环，正常漏检下载流环，异常漏检吊弦主体，异常漏检上载流环，异常漏检下载流环}。
优选地，所述步骤6中输出所有异常检测结果，步骤如下：(6a)将目标检测网络得到的{异常上载流环，异常吊弦主体，异常下载流环}结果与图像分类网络得到的{异常漏检上载流环，异常漏检吊弦主体，异常漏检下载流环}进行汇总；(6b)输出所有的异常部位检测结果。
与现有技术相比，本发明基于深度学习和迁移学习的2C设备高铁接触网吊弦缺陷检测方法具有以下优点：采用全卷积神经网络、多层卷积神经网络和全连接层技术解决高铁接触网吊弦缺陷检测问题，鉴于高铁接触网吊弦检测需要较高的时效性，针对2C设备基于深度学习提出了一种接触网吊弦缺陷检测方法，检测速度快，检测率高，设备简单，实现容易，适合大规模应用。
为了提升遮挡情况下目标检测网络对吊弦定位的精度，本发明将一根吊弦分为三部分：上载流环，吊弦主体以及下载流环，三部分分开检测，只需检测出其中两部分就可以利用位置关系定位剩下的一部分。既提高了准确性，又增强了稳定性。同时利用大量实际环境场景中的图像训练特征提取网络，增强了实际应用中的鲁棒性。
利用深度神经网络来实现目标检测网络以及图像分类网络，能够对更准确的提取图像吊弦各部位的特征，使得本发明具有较强的学习能力以及泛化能力。
本发明使用2C设备，既大幅缩短了整条线路的检测周期，又省去了大量人工的重复性工作。并且本发明合理设计的检测流程可以快速准确的检测接触网吊弦的缺陷。
本发明通过迁移学习来提升目标检测网络的性能，能够在吊弦缺陷数据不足的情况下利用大量正常吊弦数据来帮助深度神经网络的训练，从而提升缺陷检测的精度。通过采用基于深度学习以及迁移学习的目标检测技术和图像分类技术解决2C设备下接触网吊弦缺陷检测问题。通过迁移学习来提升目标检测网络对异常载流环的检测性能，通过对目标检测网络的中特征提取部分的重新设计来提升小目标的检测精度，通过对特征提取网络的重新设计来提升目标检测网络对小目标(如载流环)的检测精度。。
附图说明
图1是本发明的流程结构示意图；
图2是本发明中异常的接触网吊弦二维灰度图像示意图；
图3是本发明中正常的接触网吊弦二维灰度图像示意图；
图4是本发明中将吊弦作为整体检测时的检测结果；
图5是本发明中将吊弦分段后载流环的检测结果；
图6是本发明中将吊弦分段后吊弦主体的检测结果；
图7是本发明改进后的特征提取网络DLA-FPN。
其中图4(a)中可以看到在背景简单的情况下，吊弦的有较好的检测结果，(b)中在复杂背景下，大部分吊弦由于被遮挡而检测不出来。图5(a)中为正常载流环检测结果示意图，(b)为异常载流环检测结果示意图。图中大部分的载流环都可以被检测出来。图6中可得大部分的吊弦主体都能被检测出来。
具体实施方式
下面结合附图和具体实施方式对本发明基于深度学习和迁移学习的2C设备高铁接触网吊弦缺陷检测方法作进一步说明：如图所示，本实施例中通过采用目标检测网络、图像分类网络和严密的逻辑处理解决高铁接触网吊弦缺陷检测问题，通过迁移学习来解决吊弦缺陷数据不足导致的目标检测网络精度难以提升的问题。将一根吊弦分为3部分：上载流环、吊弦主体以及下载流环。首先使用目标检测网络来检测图像中所有的上载流环、吊弦主体以及下载流环，然后通过逻辑处理定位出图像中没有检测出来的上载流环、吊弦主体以及下载流环，最后利用分类网络对检测网络漏检的部位进行分类，将检测网络和分类网络的异常输出做汇总，就实现了接触网吊弦缺陷检测。
具体实施流程：
本专利基于深度学习和迁移学习的2C设备高铁接触网吊弦缺陷检测方法流程如下：
1.对DLA网络进行改进，得到DLA-FPN网络。具体流程如下：
a)将高铁线路图像调整为512×512像素大小。
b)原始的DLA网络的输出由4部分组成：64张分辨率为128×128的特征图、128分辨率为64×64的特征图、256张分辨率为32×32的特征图以及512张分辨率为16×16的特征图。在全卷积神经网络DLA-FPN中，新增的特征金字塔结构中包含3个卷积块。
c)将DLA网络输出的分辨率为32×32的的特征图送入第一个卷积块，进行块大小为8×8像素，步长为4像素，边界填充为2的反卷积操作，总共用64个卷积核，得到64张分辨率为128×128的特征图。
d)将DLA网络输出的分辨率为64×64的的特征图送入第二个卷积块，进行块大小为4×4像素，步长为2像素，边界填充为1的反卷积操作，总共用64个卷积核，得到64张分辨率为128×128的特征图。
e)将第一个卷积块和第二个卷积块中得到的2个分辨率为128×128×64的特征图和DLA网络输出的128×128×64进行逐元素相加，得到64张分辨率为128×128的特征图。
f)最后在上一步中得到的128×128像素的特征图上使用逻辑回归得到吊弦中各部位的边界框，并对其应用非极大值抑制处理NMS。
实验1：
Figure BDA0002480506810000051
其中Backbone代表各种特征提取网络，APL，APM以及APS分别代表对小尺度物体（物体像表<32×32），中等尺度物体(32×32物体像表<96×96）以及大尺度物体(物体像素>96×96)的检测精度，AP50代表对所有物体的平均检测精度，Times代表数据在网络中前向传播所需要的时间。可以看到DLA-FPN将小物体的检测精度提升了5％，并且没有大幅度增加前向传播的时间。
2.准备目标检测网络训练集以及测试集：
a)对2C设备拍摄的图片进行标注，标注内容为：{正常上载流环，正常吊弦主体，正常下载流环，异常上载流环，异常吊弦主体，异常下载流环}；
3.对网络进行训练，目标检测算法使用CenterNet，CenterNet所使用的特征提取网络为经过改进的DLA-FPN。具体流程如下：
a)模型预训练阶段：利用标注好的正常吊弦数据对目标检测网络进行预训练；。对于CenterNet目标检测算法，预训练阶段持续100epoch，学习率为1.25x10e-4，batch size为8；
b)模型微调阶段：利用正常载流环数据和异常吊弦数据一起对预训练模型进行微调，使得目标检测网络能够在异常数据较少的情况下也能达到较高的检测精度；对于CenterNet目标检测算法，微调阶段持续40epoch，学习率为1.25x10e-5，batch size为8；
实验2：
检测率 误检率
无迁移学习(单阶段训练) 88.7％ 6.48％
有迁移学习(两阶段训练) 92.6％ 5.56％
其中，异常吊弦测试集由177张异常图片(每张图片代表一类异常)组成。正常吊弦测试集是由在八条不同的高铁线路所拍摄的图片组成的，共7582张图片。表中用来对比的两个模型所使用的训练集和测试集完全相同。可以看到，加上迁移学习策略之后，模型的检测率和误检率都有了更好的表现。
c)得到训练好的目标检测网络，可以检测2C设备拍摄的图片中的{正常上载流环，正常吊弦主体，正常下载流环，异常上载流环，异常吊弦主体，异常下载流环}6类物体；
4.准备图像分类网络训练集集并对网络进行训练，图像分类网络使用ResNet-34：
a)对2C设备拍摄的图片进行裁切，裁切内容为：{正常上载流环，正常吊弦主体，正常下载流环，异常上载流环，异常吊弦主体，异常下载流环}；
b)利用裁切出的图像块对目标检测网络进行训练；
c)得到训练好的图像分类网络，可以将输入网络的图像块分为6类：{正常上载流环，正常吊弦主体，正常下载流环，异常上载流环，异常吊弦主体，异常下载流环}；
5.输入待检测图像：
a)将2C设备所拍摄的高分辨率图像输入训练好的目标检测网络；
6.目标检测网络对输入图像进行处理：
a)训练好的目标检测网络输出该图像的预测结果{[tlx,tly,brx,bry,cls_idx,score],…,[tlx,tly,brx,bry,cls_idx,score]}。
7.使用逻辑处理对检测出的正常部位进行匹配：
a)计算出检测得到的所有载流环的宽度平均值avg_ring_w，所有载流环的高度平均值avg_ring_h。统计出检测得到的所有吊弦主体得到高度范围[min_body_h,max_body_h]。
b)我们先将正常部位中的上下载流环进行匹配：先找出与待匹配上载流环的横坐标距离绝对值小于avg_ring_w的所有下载流环。如果没有，则将该上载流环归入{未成功匹配载流环}。如果有，则先找出与该上载流环横坐标最相近的下载流环，如果这两个载流环的纵坐标距离在[min_body_h,max_body_h]范围内，则将这两个载流环归入{成功匹配的上下载流环对}；否则，使用下一个范围内的下载流环与上载流环匹配。若是范围内的下载流环都没有与该上载流环成功匹配，则将该上载流环归入{未成功匹配载流环}。
c)匹配之后将所有正常部位划分为了3部分{成功匹配的上下载流环对，未成功匹配的载流环，吊弦主体}。
d)然后将{成功匹配的上下载流环对，未成功匹配的载流环，吊弦主体}中的吊弦主体与匹配成功的载流环对进行匹配：先找出与成功匹配的载流环对中上载流环的横坐标距离绝对值小于avg_ring_w的所有吊弦主体。如果没有，则将该载流环对归入{缺失主体的吊弦}。如果有，则先找出与该上载流环横坐标最相近的吊弦主体，如果该吊弦主体的高度h与上下载流环的高度差的误差在avg_ring_h/2之内，则将该上下载流环与吊弦主体归入{成功匹配的吊弦}。否则，使用下一个范围内的吊弦主体与该载流环对进行匹配。若是范围内的吊弦主体都没有与该载流环对成功匹配，则将该载流环对归入{缺失主体的吊弦}。在所有载流环对匹配完成之后，将剩下未匹配的吊弦主体归入{未成功匹配的吊弦主体}。
e)匹配之后将所有正常部位划分为了4部分{成功匹配的吊弦，缺失主体的吊弦，未成功匹配的载流环，未成功匹配的吊弦主体}。
f)然后将{成功匹配的吊弦，缺失主体的吊弦，未成功匹配的载流环，未成功匹配的吊弦主体}中没有成功匹配的载流环和吊弦主体进行匹配：以上载流环为例，先从{未成功匹配的吊弦主体}中找出与未成功匹配的上载流环的横坐标距离绝对值小于avg_ring_w的所有吊弦主体。如果没有，则将该上载流环对归入{未成功匹配的部位}。如果有，则先找出与该上载流环横坐标最相近的吊弦主体，如果该吊弦主体的左上角纵坐标tly与上载流环的右下角纵坐标bry的高度差的误差在avg_ring_h/2之内，则将该载流环归入{缺失下载流环的吊弦}。否则，使用下一个范围内的吊弦主体与该载流环对进行匹配。若是范围内的吊弦主体都没有与该载流环对成功匹配，则将该载流环对归入{未成功匹配的部位}。在所有未匹配的上下载流环匹配完成之后，将剩下未匹配的吊弦主体归入{未成功匹配的部位}。
g)匹配之后将所有正常部位划分为了5部分{成功匹配的吊弦，缺失主体的吊弦，缺失上载流环的吊弦，缺失下载流环的吊弦，未成功匹配的部位}。
8.根据匹配结果对漏检的部位进行定位：
a)将{成功匹配的吊弦，缺失主体的吊弦，缺失上载流环的吊弦，缺失下载流环的吊弦，未成功匹配的部位}中缺失主体的吊弦的坐标取出，根据吊弦3个部位的逻辑位置关系来得到吊弦主体的坐标{漏检吊弦主体}：将上载流环的右下角坐标做为漏检吊弦主体的右上角坐标，将下载流环的左上角坐标作为漏检吊弦主体的左下角坐标。就得到了{漏检吊弦主体}。
b)将{成功匹配的吊弦，缺失主体的吊弦，缺失上载流环的吊弦，缺失下载流环的吊弦，未成功匹配的部位}中缺失上载流环的吊弦的坐标取出，根据吊弦3个部位的逻辑位置关系来得到上载流环的坐标{漏检上载流环}：将吊弦主体的左上角坐标作为漏检载流环的左下角坐标，将下载流环的h和w作为漏检载流环的h和w。就得到了{漏检上载流环}。
c)将{成功匹配的吊弦，缺失上载流环的吊弦，缺失下载流环的吊弦，未成功匹配的部位}中缺失下载流环的吊弦的坐标取出，根据吊弦3个部位的逻辑位置关系来得到下载流环的坐标{漏检下载流环}。将吊弦主体的右下角坐标作为漏检载流环的右下角坐标，将上载流环的h和w作为漏检载流环的h和w。就得到了{漏检下载流环}。
d)通过以上3步就得到了{漏检吊弦主体，漏检上载流环，漏检下载流环}。
9.利用分类网络对定位出的漏检载流环进行分类：
a)根据得到的{漏检吊弦主体，漏检上载流环，漏检下载流环}的坐标在原图中裁剪出对应区域的图像。
b)将裁剪出的图像块送入图像分类网络。
c)分类网络输出分类结果{正常漏检吊弦主体，正常漏检上载流环，正常漏检下载流环，异常漏检吊弦主体，异常漏检上载流环，异常漏检下载流环}。
10.汇总所有异常部位
a)将目标检测网络得到的{异常上载流环，异常吊弦主体，异常下载流环}结果与图像分类网络得到的{异常漏检上载流环，异常漏检吊弦主体，异常漏检下载流环}进行汇总。
b)输出所有的异常部位检测结果。最后结束流程。
本发明将检测网络的训练过程分为两阶段：预训练阶段和微调阶段。使用大量的正常吊弦数据对检测网络进行预训练，使得检测网络对正常吊弦的各个部位较高的响应。然后再使用少量的异常吊弦数据对网络进行微调，使得网络在预训练的基础上能够快速迁移至异常检测任务。
本发明将目标检测网络中的特征提取网络(DLA网络)进行改进，在特征提取网络的输出端嵌入了特征金字塔结构，得到DLA-FPN网络。我们将原始的DLA网络的部分低分辨率层进行裁剪，以大物体检测精度略微降低为代价，换取了小物体检测精度的提升。DLA-FPN网络利用特征金字塔结构的特性，将高分辨率的特征图和低分辨率的特征图通过逐元素相加操作进行特征融合，使得DLA-FPN网络最后输出的特征图包含更多细粒度的特征，从而提升了对小目标的检测精度。

Claims (7)

1.一种基于深度学习和迁移学习的2C设备高铁接触网吊弦缺陷检测方法，其特征在于：，含有以下步骤：
(1)输入拍摄的高分辨率图像；
(2)将输入图像送入目标检测网络得到预测结果，用非极大值抑制算法过滤掉所有检测结果中重叠部分过大的检测框；
(3)对检测出的正常部位进行坐标匹配；
(4)根据匹配结果对漏检的部位进行定位；
(5)利用分类网络对定位出的漏检部位进行分类；
(6)输出所有异常检测结果。
2.根据权利要求1所述的基于深度学习和迁移学习的2C设备高铁接触网吊弦缺陷检测方法，其特征在于：所述步骤1中高分辨率图像选取2C设备拍摄。
3.根据权利要求1所述的基于深度学习和迁移学习的2C设备高铁接触网吊弦缺陷检测方法，其特征在于：所述步骤2中利用目标检测网络提取吊弦3个部位，步骤如下：
(2a)将输入图像送入目标检测网络，经过网络的前向预测，得到多个输入图像的预测结果[tlx,tly,brx,bry,cls_idx,score]，其中(tlx,tly)分别代表物体在输入图像中的左上角横纵坐标，(brx,bry)分别代表物体在输入图像中的右下角横纵坐标，cls_idx代表物体所代表的类别的索引，score代表该物体的检测置信度；检测结果包含6种物体类型{正常上载流环，正常吊弦主体，正常下载流环，异常上载流环，异常吊弦主体，异常下载流环}；
(2b)用非极大值抑制算法对所有检测结果进行过滤，将重叠部分过大的检测框过滤掉。
4.根据权利要求1所述的基于深度学习和迁移学习的2C设备高铁接触网吊弦缺陷检测方法，其特征在于：所述步骤3中对检测出的正常部位进行匹配，步骤如下：
(3a)在步骤2中得到一张图像上所有正常部位的坐标，将正常部位中的上下载流环进行匹配，匹配之后将所有正常部位划分为3部分{成功匹配的上下载流环对，未成功匹配的载流环，吊弦主体}；
(3b)然后将{成功匹配的上下载流环对，未成功匹配的载流环，吊弦主体}中的吊弦主体与匹配成功的载流环对进行匹配，将所有正常部位重新划分为4部分{成功匹配的吊弦，缺失主体的吊弦，未成功匹配的载流环，未成功匹配的吊弦主体}；
(3c)将{成功匹配的吊弦，缺失主体的吊弦，未成功匹配的载流环，未成功匹配的吊弦主体}中没有成功匹配的载流环和吊弦主体进行匹配，得到缺失上载流环的吊弦、缺失下载流环的吊弦；再将所有检测到的正常部位划分成5部分{成功匹配的吊弦，缺失主体的吊弦，缺失上载流环的吊弦，缺失下载流环的吊弦，未成功匹配的部位}。
5.根据权利要求1所述的基于深度学习和迁移学习的2C设备高铁接触网吊弦缺陷检测方法，其特征在于：所述步骤4中根据匹配结果对漏检的部位进行定位，步骤如下：
(4a)将{成功匹配的吊弦，缺失主体的吊弦，缺失上载流环的吊弦，缺失下载流环的吊弦，未成功匹配的部位}中缺失主体的吊弦的坐标取出，根据吊弦3个部位的逻辑位置关系得到吊弦主体的坐标{漏检吊弦主体}；
(4b)将{成功匹配的吊弦，缺失主体的吊弦，缺失上载流环的吊弦，缺失下载流环的吊弦，未成功匹配的部位}中缺失上载流环的吊弦的坐标取出，根据吊弦3个部位的逻辑位置关系得到上载流环的坐标{漏检上载流环}；
(4c)将{成功匹配的吊弦，缺失上载流环的吊弦，缺失下载流环的吊弦，未成功匹配的部位}中缺失下载流环的吊弦的坐标取出，根据吊弦3个部位的逻辑位置关系得到下载流环的坐标{漏检下载流环}。
6.根据权利要求1所述的基于深度学习和迁移学习的2C设备高铁接触网吊弦缺陷检测方法，其特征在于：所述步骤5中利用分类网络对定位出的漏检部位进行分类，步骤如下：
(5a)根据步骤4中得到的{漏检吊弦主体，漏检上载流环，漏检下载流环}的坐标在原图中裁剪出对应区域的图像；
(5b)将裁剪出的图像块送入图像分类网络；
(5c)分类网络输出分类结果{正常漏检吊弦主体，正常漏检上载流环，正常漏检下载流环，异常漏检吊弦主体，异常漏检上载流环，异常漏检下载流环}。
7.根据权利要求1所述的基于深度学习和迁移学习的2C设备高铁接触网吊弦缺陷检测方法，其特征在于：所述步骤6中输出所有异常检测结果，步骤如下：
(6a)将目标检测网络得到的{异常上载流环，异常吊弦主体，异常下载流环}结果与图像分类网络得到的{异常漏检上载流环，异常漏检吊弦主体，异常漏检下载流环}进行汇总；
(6b)输出所有的异常部位检测结果。
CN202010377014.0A 2020-05-07 2020-05-07 一种基于深度学习和迁移学习的2c设备高铁接触网吊弦缺陷检测方法 Active CN111598855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010377014.0A CN111598855B (zh) 2020-05-07 2020-05-07 一种基于深度学习和迁移学习的2c设备高铁接触网吊弦缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010377014.0A CN111598855B (zh) 2020-05-07 2020-05-07 一种基于深度学习和迁移学习的2c设备高铁接触网吊弦缺陷检测方法

Publications (2)

Publication Number Publication Date
CN111598855A true CN111598855A (zh) 2020-08-28
CN111598855B CN111598855B (zh) 2023-04-18

Family

ID=72182524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010377014.0A Active CN111598855B (zh) 2020-05-07 2020-05-07 一种基于深度学习和迁移学习的2c设备高铁接触网吊弦缺陷检测方法

Country Status (1)

Country Link
CN (1) CN111598855B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700430A (zh) * 2021-01-11 2021-04-23 重庆市劢齐医疗科技有限责任公司 一种基于深度学习的正畸影像图片智能识别方法
CN113313706A (zh) * 2021-06-28 2021-08-27 安徽南瑞继远电网技术有限公司 基于检测参考点偏移分析的电力设备缺陷图像检测方法
CN114743119A (zh) * 2022-04-28 2022-07-12 石家庄铁道大学 基于无人机的高铁接触网吊弦螺母缺陷检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN109409404A (zh) * 2018-09-13 2019-03-01 西南交通大学 一种基于深度学习的高铁接触网防风拉线故障检测方法
US20190197679A1 (en) * 2017-12-25 2019-06-27 Utechzone Co., Ltd. Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program,and deep learning system thereof
CN110310261A (zh) * 2019-06-19 2019-10-08 河南辉煌科技股份有限公司 一种接触网吊弦缺陷检测模型训练方法和缺陷检测方法
US20200005141A1 (en) * 2018-06-29 2020-01-02 Utechzone Co., Ltd. Automated optical inspection and classification apparatus based on a deep learning system and training apparatus thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190197679A1 (en) * 2017-12-25 2019-06-27 Utechzone Co., Ltd. Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program,and deep learning system thereof
US20200005141A1 (en) * 2018-06-29 2020-01-02 Utechzone Co., Ltd. Automated optical inspection and classification apparatus based on a deep learning system and training apparatus thereof
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN109409404A (zh) * 2018-09-13 2019-03-01 西南交通大学 一种基于深度学习的高铁接触网防风拉线故障检测方法
CN110310261A (zh) * 2019-06-19 2019-10-08 河南辉煌科技股份有限公司 一种接触网吊弦缺陷检测模型训练方法和缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张毅;: "深度学习在接触网定位器缺陷检测中的应用" *
王昕钰;王倩;程敦诚;吴福庆;: "基于三级级联架构的接触网定位管开口销缺陷检测" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700430A (zh) * 2021-01-11 2021-04-23 重庆市劢齐医疗科技有限责任公司 一种基于深度学习的正畸影像图片智能识别方法
CN113313706A (zh) * 2021-06-28 2021-08-27 安徽南瑞继远电网技术有限公司 基于检测参考点偏移分析的电力设备缺陷图像检测方法
CN114743119A (zh) * 2022-04-28 2022-07-12 石家庄铁道大学 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN114743119B (zh) * 2022-04-28 2024-04-09 石家庄铁道大学 基于无人机的高铁接触网吊弦螺母缺陷检测方法

Also Published As

Publication number Publication date
CN111598855B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
Liu et al. A review of applications of visual inspection technology based on image processing in the railway industry
CN111598855B (zh) 一种基于深度学习和迁移学习的2c设备高铁接触网吊弦缺陷检测方法
CN111583337B (zh) 一种基于多传感器融合的全方位障碍物检测方法
CN102902974B (zh) 一种基于图像的铁路接触网杆柱标识信息的识别方法
CN111080608A (zh) 铁路货车脱轨自动制动阀塞门手把关闭故障图像识别方法
CN109448365A (zh) 一种跨尺度空基平台区域道路交通系统综合监视方法
CN102346844B (zh) 一种货车下心盘螺栓丢失故障识别装置及其识别方法
CN111626170B (zh) 一种铁路边坡落石侵限检测的图像识别方法
CN112633176A (zh) 一种基于深度学习的轨道交通障碍物检测方法
US20200034626A1 (en) Method for recognizing an object of a mobile unit
CN111768417A (zh) 基于单目视觉3d重建技术的铁路货车超限检测方法
CN116883801A (zh) 基于注意力机制与多尺度特征融合的YOLOv8目标检测方法
CN113788051A (zh) 列车在站运行状态监测分析系统
Zheng et al. Rail detection based on LSD and the least square curve fitting
CN114248819A (zh) 基于深度学习的铁路侵限异物无人机检测方法、装置及系统
CN115294541A (zh) 一种局部特征增强Transformer道路裂缝检测方法
CN113378647B (zh) 基于三维点云的实时轨道障碍物检测方法
CN112732860B (zh) 道路提取方法、装置、可读存储介质及设备
CN110176022A (zh) 一种基于视频检测的隧道全景监控系统及方法
CN111597939A (zh) 一种基于深度学习的高铁线路鸟窝缺陷检测方法
CN116129327A (zh) 一种基于改进YOLOv7算法的红外车辆检测方法
Di Summa et al. A review on deep learning techniques for railway infrastructure monitoring
CN114926456A (zh) 一种半自动标注和改进深度学习的铁轨异物检测方法
CN115359306A (zh) 一种铁路货检高清图像智能识别方法和系统
CN115565141A (zh) 一种基于视觉红外融合的货车轴型检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant