CN111402214A - 基于神经网络的接触网吊弦载流环断裂缺陷自动检测方法 - Google Patents

基于神经网络的接触网吊弦载流环断裂缺陷自动检测方法 Download PDF

Info

Publication number
CN111402214A
CN111402214A CN202010153820.XA CN202010153820A CN111402214A CN 111402214 A CN111402214 A CN 111402214A CN 202010153820 A CN202010153820 A CN 202010153820A CN 111402214 A CN111402214 A CN 111402214A
Authority
CN
China
Prior art keywords
current
carrying ring
cnn
mask
dropper
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010153820.XA
Other languages
English (en)
Inventor
刘志刚
刘文强
李昱阳
杨成
王惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202010153820.XA priority Critical patent/CN111402214A/zh
Publication of CN111402214A publication Critical patent/CN111402214A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于神经网络的接触网吊弦载流环断裂缺陷自动检测方法，首先对高速铁路接触网支撑及悬挂装置进行图像采集，建立接触网吊弦载流环的样本数据集；然后分别采用DPM、Faster R‑CNN与Mask R‑CNN卷积神经网络进行训练与目标检测，从而定位出接触网支撑及悬挂装置图像中吊弦载流环的位置；最后分别利用连通域算法和Mask Score R‑CNN对定位到的载流环图像做故障状态分析。本发明填补了接触网吊弦载流环断裂故障检测的空白，与传统的基于连通域的方法相比，基于神经网络的方法具有更高的自动化程度和鲁棒性；通过对正常和故障部件的评分，提出评价载流环的故障判据；对吊弦状态检测具有较高的准确性和自动化程度。

Description

基于神经网络的接触网吊弦载流环断裂缺陷自动检测方法
技术领域
本发明涉及高速铁路图像智能检测技术领域，具体为一种基于神经网络的接触网吊弦载流环状态检测方法。
背景技术
接触网系统由支撑装置和悬挂装置组成，是高速铁路的重要组成部分。任何部件的故障都可能导致整条铁路线路中断，造成巨大的经济损失，甚至危及旅客的安全。吊弦在接触网系统中起着至关重要的作用。吊弦两端连接着承力索和接触线，用以稳定接触线，并传递工作电流和短路电流。位于吊弦上的载流环，避免了吊弦与吊弦夹的直接连接，减少了机车电流通过受电弓时的引起的电气故障和电弧。目前，研究人员主要关注的是吊弦的松弛缺陷，而对接触网吊弦载流环断裂缺陷的研究较少。
目前，国内外基于图像处理的弓网故障状态检测已有一些研究，许多先进的算法被提出并应用于该领域。钟俊平等人提出了一种基于PVANET++的接触网开针缺陷三级自动检测系统。周靖松等人提出了一种基于三维点云分割的定位器支座非接触检测方法，用于检测接触网支撑结构的几何参数。Oberweger,et al.提出了一种基于局部梯度描述符判别训练和随后的本地化投票方案的绝缘子检测方法。韩烨等人提出了一种基于可变形部件模型和支持向量的棒形绝缘子检测与定位方法。Liu,et al.提出了一种将深度可分卷积与目标检测网络相结合的吊弦故障检测方法。Tan,et al.提出了一种多算法融合图像处理技术，实现对吊弦缺陷的检测，如微变形、吊弦松动、吊弦断裂、异物粘连等。虽然这些方法取得了一定的效果，但目前还没有关于载流环断裂缺陷的检测方法的报道。
发明内容
针对上述问题，本发明的目的在于提供一种具有更高的自动化程度和鲁棒性的基于神经网络的接触网吊弦载流环状态检测方法。技术方案如下：
一种基于神经网络的接触网吊弦载流环断裂缺陷自动检测方法，包括以下步骤：
步骤A：对高速铁路接触网支撑及悬挂装置进行图像采集；
步骤B：建立接触网吊弦载流环的样本数据集；
步骤C：分别采用DPM、Faster R-CNN与Mask R-CNN卷积神经网络进行训练与目标检测，从而定位出接触网支撑及悬挂装置图像中吊弦载流环的位置；
步骤D：分别利用连通域算法和Mask Score R-CNN对定位到的载流环图像做故障状态分析。
进一步的，所述步骤C具体包括：
步骤C1：基于DPM算法对吊弦载流环定位：采用改进的方向梯度直方图提取目标特征，采用滑动窗口检测思想，采用支持向量机分类器检测目标；
步骤C 2：基于Faster R-CNN算法对吊弦载流环定位：将一维灰度图像作为网络的输入，通过骨干网络得到卷积特征图；结合RPN生成感兴趣区域，将感兴趣区域的局部特征映射输入池层；通过回归器和分类器网络得到分类和定位结果；
步骤C3：基于Mask R-CNN算法对吊弦载流环定位：在Faster R-CNN算法的基础上，主干网络采用特征金字塔网络结构，并用Align操作代替pooling层。
更进一步的，所述步骤D具体包括：
步骤D1：根据DPM、Faster R-CNN和Mask R-CNN算法的定位结果，采用连通域算法提取所定位载流环区域，并以此进行载流环状态评估；若连通域像素值超过设定阈值，则载流环的状态是正常的；否则，则判定为断裂缺陷状态；
步骤D2：根据Mask R-CNN的定位结果，采用Mask Score R-CNN提取所定位载流环区域的掩码及其得分，并以此进行载流环状态评估判；当掩码得分超过载流环临界状态得分阈值时，载流环状态正常；否则，载流环处于断裂缺陷状态。
更进一步的，所述Mask Score R-CNN为Mask R-CNN网络改进而来，其将RoIAlign层的特征与预测的掩码一起送到Mask_IoU head网络中，得到掩码得分。
更进一步的，载流环临界状态得分阈值为0.7。
本发明的有益效果是：本发明填补了接触网吊弦载流环断裂故障检测的空白，与传统的基于连通域的方法相比，基于神经网络的方法具有更高的自动化程度和鲁棒性。基于Mask Score R-CNN的检测网络由分类网络、回归网络和掩码网络三部分组成，可分别得到分类分数和分割分数。在此基础上，通过对正常和故障部件的评分，提出了一种评价载流环的故障判据。实验结果表明，该方法对吊弦状态检测具有较高的准确性和自动化程度。
附图说明
图1接触网悬挂结构图。
图2为本发明方法检测流程图。
图3DPM定位网络结构。
图4Faster R-CNN定位网络结构。
图5Mask R-CNN定位网络结构。
图6连通域检测方法流程图。
图7Mask Scoring R-CNN结构图。
图8图像采集系统示意图。
图9连接域不适用的一些特殊情况示意图：(a)吊弦载流环定位不完整；(b)吊弦载流环交叉；(c)吊弦载流环缠绕；(d)载流环与承力索交叉；(e)载流环与承力索遮挡
图10不同状态样本的掩码分数分布图。
图11Mask Scoring R-CNN检测结果图：(a)正常状态(b)故障状态。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细说明。图1为现场采集的高铁接触网悬挂装置图像，图2为本发明方法处理过程框图。本发明详述如下：
1.接触网吊弦载流环定位：
采用专用综合列检车对高速铁路接触网支撑及悬挂装置进行成像；建立接触网吊弦载流环的样本数据集；分别采用DPM(Deformable Parts Model可变形部件模型)、FasterR-CNN与Mask R-CNN卷积神经网络进行训练与目标检测，从而定位出接触网支撑及悬挂装置图像中吊弦载流环的位置。
(1)基于DPM对接触网吊弦载流环的定位，如图3所示，是基于所生成的载流环DPM模型的匹配过程。DPM对目标的变形具有很强的鲁棒性，其采用改进的HOG(Histogram ofOriented Gradient梯度直方图)提取目标特征，采用滑动窗口检测思想，采用SVM(SupportVector Machine支持向量机)分类器检测目标。针对目标的多视角问题，DPM采用基于图像结构分量模型的多分量策略来解决目标本身的变形问题。它通过构造一个比例金字塔来搜索每个比例的目标。
(2)基于Faster R-CNN对接触网吊弦载流环的定位，如图4所示，网络的输入为一维灰度图像，通过骨干网络得到卷积特征图。结合RPN(Region Proposal Network区域建议网络)生成的感兴趣区域(ROI)，将ROI的局部特征映射输入池层。最后，通过回归器和分类器网络得到分类和定位结果。
(3)基于Mask R-CNN对接触网吊弦载流环的定位，如图5所示，与Faster R-CNN相比，Mask R-CNN的区别主要集中在两个方面：1)主干网采用特征金字塔网络(FPN)结构来提高网络性；2)提出用Align操作代替pooling层，提高定位精度；
2.对接触网吊弦载流环状态的检测
针对图8所示的接触网图像采集系统得到的接触网吊弦图像，分别采用连通域(Connected Domain)算法与Mask Score R-CNN方法，对接触网载流环进行状态检测，如图6、图7所示。
更具体的步骤为：
(1)采用Connected Domain算法精确提取所定位载流环区域并对其状态进行评估，如图6所示。正如连通域的名称所示的，连通域的方法是寻找连通像素的区域。通过对接触网吊弦载流环结构特性的分析，发现如果载流环的状态是正常的，则只有一个较大的且完整的连通域。否则，其连通域很小甚至没有，那么它们就会被判定为故障。但是，对于某些特殊情况(如图9所示)，该方法将不起作用。本实施例连通域像素值的阈值为35000。
(2)采用Mask Score R-CNN提取所定位载流环区域的掩码及其得分并对其状态进行评估，如图7所示。Mask Score R-CNN为Mask R-CNN网络改进而来，其将RoIAlign层的特征与预测的掩码一起送到Mask_IoU head网络中，得到精确的掩码分数。理想情况下，Mask对ground truth类别的值为正，对其他类别的值为零。通过对接触网吊弦载流环掩码分值统计结果(如图10所示)分析，得出判断载流环状态是否正常的临界分值阈值为0.7。当掩模分值超过分值阈值时，载流环状态正常。否则，载流环处于缺陷状态。这种基于接触网吊弦载流环掩码分数的缺陷检测方法可以避免许多基于连通域的缺陷检测方法不适用的情况。图11展示了接触网吊弦断裂故障的检测结果，证明了所述专利方法的有效性。

Claims (5)

1.一种基于神经网络的接触网吊弦载流环断裂缺陷自动检测方法，其特征在于，包括以下步骤：
步骤A：对高速铁路接触网支撑及悬挂装置进行图像采集；
步骤B：建立接触网吊弦载流环的样本数据集；
步骤C：分别采用DPM、Faster R-CNN与Mask R-CNN卷积神经网络进行训练与目标检测，从而定位出接触网支撑及悬挂装置图像中吊弦载流环的位置；
步骤D：分别利用连通域算法和Mask Score R-CNN对定位到的载流环图像做故障状态分析。
2.根据权利要求1所述的基于神经网络的接触网吊弦载流环断裂缺陷自动检测方法，其特征在于，所述步骤C具体包括：
步骤C1：基于DPM算法对吊弦载流环定位：采用改进的方向梯度直方图提取目标特征，采用滑动窗口检测思想，采用支持向量机分类器检测目标；
步骤C 2：基于Faster R-CNN算法对吊弦载流环定位：将一维灰度图像作为网络的输入，通过骨干网络得到卷积特征图；结合RPN生成感兴趣区域，将感兴趣区域的局部特征映射输入池层；通过回归器和分类器网络得到分类和定位结果；
步骤C3：基于Mask R-CNN算法对吊弦载流环定位：在Faster R-CNN算法的基础上，主干网络采用特征金字塔网络结构，并用Align操作代替pooling层。
3.根据权利要求1所述的基于神经网络的接触网吊弦载流环断裂缺陷自动检测方法，其特征在于，所述步骤D具体包括：
步骤D1：根据DPM、Faster R-CNN和Mask R-CNN算法的定位结果，采用连通域算法提取所定位载流环区域，并以此进行载流环状态评估；若连通域像素值超过设定阈值，则载流环的状态是正常的；否则，则判定为断裂缺陷状态；
步骤D2：根据Mask R-CNN的定位结果，采用Mask Score R-CNN提取所定位载流环区域的掩码及其得分，并以此进行载流环状态评估判；当掩码得分超过载流环临界状态得分阈值时，载流环状态正常；否则，载流环处于断裂缺陷状态。
4.根据权利要求1所述的基于神经网络的接触网吊弦载流环断裂缺陷自动检测方法，其特征在于，所述Mask Score R-CNN为Mask R-CNN网络改进而来，其将RoIAlign层的特征与预测的掩码一起送到Mask_IoU head网络中，得到掩码得分。
5.根据权利要求1所述的基于神经网络的接触网吊弦载流环断裂缺陷自动检测方法，其特征在于，载流环临界状态得分阈值为0.7。
CN202010153820.XA 2020-03-07 2020-03-07 基于神经网络的接触网吊弦载流环断裂缺陷自动检测方法 Pending CN111402214A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010153820.XA CN111402214A (zh) 2020-03-07 2020-03-07 基于神经网络的接触网吊弦载流环断裂缺陷自动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010153820.XA CN111402214A (zh) 2020-03-07 2020-03-07 基于神经网络的接触网吊弦载流环断裂缺陷自动检测方法

Publications (1)

Publication Number Publication Date
CN111402214A true CN111402214A (zh) 2020-07-10

Family

ID=71413215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010153820.XA Pending CN111402214A (zh) 2020-03-07 2020-03-07 基于神经网络的接触网吊弦载流环断裂缺陷自动检测方法

Country Status (1)

Country Link
CN (1) CN111402214A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381031A (zh) * 2020-11-24 2021-02-19 中国科学院上海微系统与信息技术研究所 基于卷积神经网络的实时在线受电弓羊角检测方法
CN112508911A (zh) * 2020-12-03 2021-03-16 合肥科大智能机器人技术有限公司 基于巡检机器人的轨交接触网悬挂支撑部件裂纹检测系统及其检测方法
CN113269074A (zh) * 2021-05-19 2021-08-17 陕西科技大学 一种目标检测方法及安保巡检机器人
CN113284076A (zh) * 2021-07-22 2021-08-20 烟台市综合信息中心(烟台市市民卡管理中心) 基于FloodFill的高铁接触网载流环断裂异常检测方法
CN113409303A (zh) * 2021-07-14 2021-09-17 湖南工业大学 一种高速铁路接触网目标检测与跟踪方法
CN113436157A (zh) * 2021-06-18 2021-09-24 西南交通大学 一种用于受电弓故障的车载图像识别方法
CN114266770A (zh) * 2022-03-02 2022-04-01 中铁电气化局集团有限公司 通过神经网络学习方法检测高铁接触网吊弦缺陷的方法
CN114743119A (zh) * 2022-04-28 2022-07-12 石家庄铁道大学 基于无人机的高铁接触网吊弦螺母缺陷检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109085174A (zh) * 2018-07-02 2018-12-25 北京百度网讯科技有限公司 显示屏外围电路检测方法、装置、电子设备及存储介质
CN109816669A (zh) * 2019-01-30 2019-05-28 云南电网有限责任公司电力科学研究院 一种识别电力设备缺陷的改进Mask R-CNN图像实例分割方法
CN110310262A (zh) * 2019-06-19 2019-10-08 上海理工大学 一种用于检测轮胎缺陷的方法、装置及系统
CN110599448A (zh) * 2019-07-31 2019-12-20 浙江工业大学 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109085174A (zh) * 2018-07-02 2018-12-25 北京百度网讯科技有限公司 显示屏外围电路检测方法、装置、电子设备及存储介质
CN109816669A (zh) * 2019-01-30 2019-05-28 云南电网有限责任公司电力科学研究院 一种识别电力设备缺陷的改进Mask R-CNN图像实例分割方法
CN110310262A (zh) * 2019-06-19 2019-10-08 上海理工大学 一种用于检测轮胎缺陷的方法、装置及系统
CN110599448A (zh) * 2019-07-31 2019-12-20 浙江工业大学 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUNWEN CHEN等: "Automatic Defect Detection of Fasteners on the Catenary Support Device Using Deep Convolutional Neural Network", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381031A (zh) * 2020-11-24 2021-02-19 中国科学院上海微系统与信息技术研究所 基于卷积神经网络的实时在线受电弓羊角检测方法
CN112381031B (zh) * 2020-11-24 2024-02-02 中国科学院上海微系统与信息技术研究所 基于卷积神经网络的实时在线受电弓羊角检测方法
CN112508911A (zh) * 2020-12-03 2021-03-16 合肥科大智能机器人技术有限公司 基于巡检机器人的轨交接触网悬挂支撑部件裂纹检测系统及其检测方法
CN113269074A (zh) * 2021-05-19 2021-08-17 陕西科技大学 一种目标检测方法及安保巡检机器人
CN113436157A (zh) * 2021-06-18 2021-09-24 西南交通大学 一种用于受电弓故障的车载图像识别方法
CN113409303A (zh) * 2021-07-14 2021-09-17 湖南工业大学 一种高速铁路接触网目标检测与跟踪方法
CN113284076A (zh) * 2021-07-22 2021-08-20 烟台市综合信息中心(烟台市市民卡管理中心) 基于FloodFill的高铁接触网载流环断裂异常检测方法
CN114266770A (zh) * 2022-03-02 2022-04-01 中铁电气化局集团有限公司 通过神经网络学习方法检测高铁接触网吊弦缺陷的方法
CN114266770B (zh) * 2022-03-02 2022-05-17 中铁电气化局集团有限公司 通过神经网络学习方法检测高铁接触网吊弦缺陷的方法
CN114743119A (zh) * 2022-04-28 2022-07-12 石家庄铁道大学 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN114743119B (zh) * 2022-04-28 2024-04-09 石家庄铁道大学 基于无人机的高铁接触网吊弦螺母缺陷检测方法

Similar Documents

Publication Publication Date Title
CN111402214A (zh) 基于神经网络的接触网吊弦载流环断裂缺陷自动检测方法
Karakose et al. A new computer vision based method for rail track detection and fault diagnosis in railways
CN104318582B (zh) 一种高铁接触网旋转双耳部件销钉不良状态检测方法
CN104794720B (zh) 一种在接触网图像中定位出定位线夹的方法及系统
CN111080598B (zh) 一种钩尾销安全吊的螺栓、螺母缺失检测方法
CN111260629A (zh) 基于图像处理的受电弓结构异常检测算法
CN105654461B (zh) 一种多分裂导线间隔棒断裂的机器视觉检测方法
CN105044122A (zh) 一种基于半监督学习模型的铜件表面缺陷视觉检测系统及检测方法
CN105354827B (zh) 一种在接触网图像中智能识别线夹螺母脱落的方法及系统
CN106778833A (zh) 一种复杂背景下小目标丢失故障的自动识别方法
CN105741291A (zh) 一种高速铁路接触网悬挂装置等电位线故障检测方法
CN103745224A (zh) 基于图像的铁路接触网鸟窝异常情况检测方法
CN111462045B (zh) 一种悬链支撑组件缺陷的检测方法
CN106372667A (zh) 一种高铁接触网斜撑套筒部件螺钉不良状态检测方法
CN111784656A (zh) 一种铁路接触网故障检测方法、装置、电子设备及存储介质
CN111310761A (zh) 基于重构和分类卷积自编码网络的接触网绝缘子检测方法
CN111862029A (zh) 一种铁路动车组垂向减震器螺栓部件故障检测方法
CN108508023B (zh) 一种铁路接触网中接触端部顶紧螺栓的缺陷检测系统
CN113139572B (zh) 一种基于图像的列车空气弹簧的故障检测方法
CN109255379A (zh) 一种基于融合特征和svm结合的羊角弓区域定位方法
CN112508911A (zh) 基于巡检机器人的轨交接触网悬挂支撑部件裂纹检测系统及其检测方法
CN106290393A (zh) 一种高铁接触网斜腕臂管帽丢失检测方法
CN113673614B (zh) 基于机器视觉的地铁隧道异物入侵检测装置及方法
CN114030395B (zh) 一种接触悬挂吊弦区域异物检测方法及系统
CN116124771A (zh) 一种接触网中心锚结绳松弛故障识别的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200710

RJ01 Rejection of invention patent application after publication