CN113436157A - 一种用于受电弓故障的车载图像识别方法 - Google Patents

一种用于受电弓故障的车载图像识别方法 Download PDF

Info

Publication number
CN113436157A
CN113436157A CN202110678726.0A CN202110678726A CN113436157A CN 113436157 A CN113436157 A CN 113436157A CN 202110678726 A CN202110678726 A CN 202110678726A CN 113436157 A CN113436157 A CN 113436157A
Authority
CN
China
Prior art keywords
pantograph
detection
image
bow
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110678726.0A
Other languages
English (en)
Other versions
CN113436157B (zh
Inventor
丁建明
周敬尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202110678726.0A priority Critical patent/CN113436157B/zh
Publication of CN113436157A publication Critical patent/CN113436157A/zh
Application granted granted Critical
Publication of CN113436157B publication Critical patent/CN113436157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种用于受电弓故障的车载图像识别方法，通过设计基于Faster R‑CNN目标检测器原理的弓头定位模型实现弓头定位，通过应用ResNet、FPN实现了在途检测中，复杂背景干扰，与受电弓多尺度检测问题，解决了传统图像方法在复杂且变化的环境中目标检测效果不好的问题，在一些极端的条件下检测结果表明，本发明设计的弓头检测模型具有很好的鲁棒性、泛化性，且实现了快速检测定位。本发明解决当下定点检测系统对受电弓状态检测不足问题，并将深度学习的图像处理技术与传统的图像模板匹配等技术结合，解决随车图像检测中的复杂背景干扰问题，实现具有良好鲁棒性的故障随车在线检测算法，提高图像监测识别效率，具有推广应用的价值。

Description

一种用于受电弓故障的车载图像识别方法
技术领域
本发明涉及受电弓故障检测技术领域，尤其涉及一种用于受电弓故障的车 载图像识别方法。
背景技术
受电弓安装在列车顶部，通过受电弓碳滑板与接触网摩擦接触为列车提供 电能。受电弓的工作环境复杂，在列车的长期运行中，受到电磁、高温、振动 的持续作用，极易出现故障而引发列车运行安全事故。因此，开展受电弓的故 障检测显得特别必要。
早期受电弓故障检测主要以人工检测为主，通过人工检测的方法对受电弓 的各个重要部件进行观测和测量，在停车入库断电时工作人员登上车顶，使用 测量工具对碳滑板损耗情况进行测量，检查各个部件是否有诸如裂纹、变形、 缺失等异常状态。
通过人工检测方式存在检测时间长、耗费人力，以及对受电弓重要部件监 测度不够的缺点，不能满足在线监测要求，也不适应铁路发展的需求。经过数 十年的发展，对受电弓故障在线自动检测主要形成了接触式与非接触式两种方 法。其中非接触式检测为目前技术发展的主流方向，分为定点检测与随车检测 两种方式。接触式检测方法主要是通过测量压力、温度、加速度、位移、应变 等的传感器，直接获得弓网关键部件的力学特性、电气参数、材料性能、热工 学性能等信息，通过对采集的这些信息的进一步分析，判别当前弓网设备的运 行状态，如结构失效、参数退化、性能不达标等。
接触式检测缺点是检测设备通常只能实现对单一检测项目，部分检测装置 还需要对受电弓进行改造，会影响受电弓动力学性能；此外传感器测量数据包 含环境噪声，传统的数字信号处理的时域、频域分析方法在有大量不确定噪声 的情况下，不具有很好的鲁棒性，影响检测结果。
非接触式检测主要采用高分辨率相机、激光传感器等获取受电弓外观形貌 特征并进行异常状态检测，以检测设备安装位置不同，有定点检测与随车检测 两种方式。激光检测器检测精度高但功能比较单一，通常与图像检测技术配合 使用实现多种检测功能，在车站、车辆出入库段安装检测设备，实现定点检测。 图像检测与激光检测方式相比具有更高的灵活性，通过不同的相机组合可实现 不同检测项目，在定点检测与随车检测上均有应用，但传统图像处理方法通常 利用基于灰度值的低级特征，不具有很好的鲁棒性，难以适应复杂的检测环境。
受电弓故障非接触式检测方法无论是从检测功能、灵活性，还是性能上都 有极大的优势，为目前受电弓检测的主流技术方向。非接触式定点检测方法中， 单靠激光定点检测存在功能单一缺点，更多是采用激光与图像结合的定点检测 方式，虽然这种检测方式有着检测精度高、检测项目多的优点，但检测系统复 杂，无法实现在途实时检测，且激光检测器制造成本高，而仅依靠图像检测的 定点检测系统虽然避免了行车中的复杂背景的干扰，提高了检测精度，有成本 上优势，但同样无法满足在线实时检测的要求。
因此，受电弓故障车载图像识别检测具明显的优势，首先随车图像检测系 统通过车顶安装图像采集设备，安装简单、布置灵活，无需像定点检测方式需 要额外的安装空间，且可以实时监测受电弓状态，可以很好地实现检测结果实 时可视化，便于后台人工辨别与控制，非接触式定点检测无法做到这一点；其 次图像检测有着明显的成本优势，与激光传感器相比，工业相机造价便宜；最 后，当下以卷积神经网络为主的视觉技术在目标检测、图像分割等领域取得显 著的进步，克服了传统数字图像处理算法存在如复杂环境下鲁棒性差、检测效 率低、计算开销大等缺点，与激光扫描3D重建、接触式检测的数字信号处理相比具有更高的鲁棒性、更好的实时性，这为受电弓在途图像检测的实现提供了 很好的技术手段。因此，应用当下深度学习在视觉检测领域取得的成果，实现 受电弓故障检测的车载图像识别技术显得十分必要，具有重大的工程价值。
目前，国内外受电弓故障检测主要采用非接触式定点检测，设备部署在车 站、车辆出入库线、桥梁等关键检测点，不能随车检测，实时检测受电弓状态， 检测技术上主要依靠激光检测技术与图像检测技术，单靠激光定点检测存在功 能单一缺点，更多是采用激光与图像结合的定点检测方式，虽然这种检测方式 有着检测精度高、检测项目多的优点，但无法实现在线实时检测，且激光检测 器制造成本高，我国铁路体量大，对受电弓故障检测需求大，高成本检测方式 不适合国内受电弓安全检测现状。而仅依靠图像检测的定点检测系统虽然有成 本上优势，同样无法满足在线实时检测受电弓状态要求。当下深度学习技术在 视觉检测领域取得了巨大的进步，在复杂的检测环境下，深度学习算法依然能 保持良好的鲁棒性，这使基于图像处理的受电弓故障随车检测成为可能。
发明内容
本发明的目的就在于为了解决上述问题而提供一种用于受电弓故障的车载 图像识别方法。
本发明通过以下技术方案来实现上述目的：
本发明包括以下步骤：
(s1)应用针对弓头定位设计的深度学习模型检测弓头位置坐标，以缩小检 测范围，检测频率根据实际需要而定，无需对每一帧图像进行检测，同时实现 受电弓的异常降弓、毁坏的检测；
(s2)根据弓头定位框坐标及大小扩张区域边界，裁剪出受电弓弓头区域；
(s3)应用针对受电弓分割的深度学习图像分割模型对弓头区域图像分割， 获得代表弓角及碳滑板的像素区域分割掩码；
(s4)对分割后的掩码二值化，得到二值图，并做相应的平滑处理；
(s5)应用弓角及碳滑板的标准模板在二值图中进行模板匹配，通过模板匹 配实现故障识别与定位分析，得到相关坐标；
(s6)将受电弓目标检测结果、故障识别结果、图像分割掩码到原图进行综 合检测结果标识，并记录检测日志。
本发明的有益效果在于：
本发明是一种用于受电弓故障的车载图像识别方法，与现有技术相比，本 发明解决当下定点检测系统对受电弓状态检测不足问题，并将深度学习的图像 处理技术与传统的图像模板匹配等技术结合，解决随车图像检测中的复杂背景 干扰问题，实现具有良好鲁棒性的故障随车在线检测算法，提高图像监测识别 效率，具有推广应用的价值。
附图说明
图1是本发明的检测流程图；
图2是本发明的检测算法流程图；
图3是本发明的弓头定位检测模型结构图；
图4是本发明的ResNet50的特征提取网络图；
图5是本发明的ResNet网络结构参数图；
图6是本发明的三层特征图金字塔的受电弓弓头定位模型结构图；
图7是本发明弓头定位模型的RPN_Head结构图；
图8是本发明弓头定位模型的检测头网络；
图9是本发明弓头定位模型的最终模型结构图；
图10是本发明的分割模型检测流程图；
图11是本发明的分割模型结构图；
图12是本发明的分割模型检测头结构图；
图13是本发明的模板搜索区域图。
具体实施方式
下面结合附图对本发明作进一步说明：
受电弓故障图像检测方法现状：
运用图像处理实现待检测物体的故障的识别，离不开目标检测与图像分割 技术。目标检测是定位待检测物体的位置并给出类别，而图像分割是为了获得 物体的具体信息，即将代表某个物体的像素点进行归类，形成一个或多个子区 域，从而得到在不同物体间具有明显区分的图像，使得图像更容易理解和分析。 列车运行中受电弓工作位置存在变动，需要对受电弓进行目标检测，而对受电 弓部件故障的识别与定位则离不开图像分割。
受电弓定位是实现对受电弓部件故障检测的首要任务，定位目的主要有两 点。其一，采集到的弓网图像中除了受电弓外包含了诸多复杂背景信息，如接 触网悬挂装置、安装支柱、导线、车顶设备、自然环境等，通过目标定位直接 排除复杂的背景对后续受电弓部件故障识别与定位的影响；其二，图像传感器 采集的图像分辨率大小必须保证在任何时刻能捕捉到完整的受电弓及其他信息， 数据计算量直接影响算法检测速度，通过定位弓头位置缩小检测范围，有助于 算法检测速度的提高。因此，车载图像检测中弓头定位存在以下问题：(1)不 同型号受电弓尺寸形状不同，图像传感器在不同车上安装位置、工作视场与工作距离不同，这导致图像中受电弓目标大小在不同情况下的变化范围增加，(2) 弓头为细长弯曲物体，拍摄到图像中背景干扰复杂，目标尺度小；(3)列车运 行速度高，要求弓头定位检测有较高的实时性。目前在弓网检测中对检测目标 的定位大多通过先验知识或图像处理方式间接定位。通过弓头大小尺寸，与工 作时受电弓在图像中的大致位置等先验知识定位受电弓，存在检测的准确性与 精度差的缺点，而通过传统数字图像处理方法实现定位，存在复杂环境下鲁棒 性差缺点。传统数字图像处理方法中最常用的目标识别定位即目标检测的方法， 包括基于模板匹配的方法、图像边缘检测后进行霍夫变换的方法、特征点检测 与匹配的方法、人工特征结合SVM分类方法。首先，模板匹配模板是传统方法 中计算最简单的一种，通过给定一个模板图像描述被搜索目标，在图像中滑动 模板并计算模板的所有相关位姿与图像的各个位置之间的相似度实现目标检测。 由模板匹配原理可知它是不具备旋转、尺度缩放不变性的检测方法，因此需要 额外地对模板位姿和尺度做相应的变换以扩展模板数量来实现不同位姿与尺度 的目标的检测；同时模板与图像的相似度的评估方法直接影响目标检测的结果 的好坏，在复杂的检测环境中，很难找到一个可靠的相似度量方法，通常有基 于灰度值差异、梯度边缘信息、图像矩等度量方法，在有复杂背景变化下都是 不可靠的。显然模板匹配不能作为弓头定位算法。图像边缘检测后进行霍夫变 换拟合出目标的轮廓，通过目标轮廓特征识别目标。这种方法与模板匹配一样 在简单的环境下适用，在复杂检测条件下，其很难从背景中分离并得到有效的 边缘信息。边缘检测后包含大量背景噪声，不能保证边缘的连续性与封闭性。 此外不同的背景和光线强度下边缘检测配置参数不同，这意味着在随车检测中 需要设置一系列的参数用于不同的环境下的检测。更重要的是，边缘检测与霍 夫变换结合并不是一个轻量级的计算方法，在高速检测的要求下并不适用。特 征点检测与匹配用于目标检测与模板模板匹配的原理具有一定的相似性，不同 的是，特征点匹配是用图像中目标的关键点来描述被检测目标。特征点匹配检测时，首先是查找图像中具有某些特征的关键像素点；其次是根据得到的关键 点位置计算特征点的描述子，特征点检测方法有SIFT、SURF等，不同的特征点 检测方法有不同的描述子，描述子为一个包含了特征的方向与尺度等信息的向 量；最后，在特征点的集合中寻找和目标特征最相似的特征点，检测出的特征 点中绝大部分并不是目标特征，在匹配时也需要相应的度量方法。特征点检测 与匹配最大的缺陷在难以满足实时性要求，它不仅需要全图搜索计算出可能的 特征点，还需要从大量的特征点中找到目标特征点。在受电弓检测中，采集到 的图像分辨率较高，且受电弓检测的背景中包含了大量与其相似的背景物，因此在经过耗时的特征检测后将得到大量无关的特征点，这必然导致计算时间超 出实际检测项目的承受范围。在卷积神经网络应用在图像检测之前，机器学习 中最为常用的目标检测方法为：用不同的滑窗遍历图像，提取出各窗口内的HOG 特征，然后运用SVM方法对特征分类。这种方法在受电弓检测中同样存在不足， 首先，滑窗遍历图像提取特征时间复杂度高，其次，光照变化、背景多样性使 得用HOG特征描述目标的鲁棒性差。因此该方法也不适用于随车检测任务。
在受电弓图像定位后，图像分析实现对物体故障的识别时，直接得出物体 的故障信息与故障位置的难度较大，通常需要进行图像分割，即提取图像中代 表检测目标的像素区域。因此，在对受电弓的弓角及碳滑板的故障检测中需要 先进行图像分割获得代表目标物体的像素及区域，这直接从背景中分离出目标， 得到了目标外观轮廓，让故障分析更为容易。
受电弓弓角及碳滑板为细长物体，分割上必须到达像素级别精度才能保证 分割后图像保留有足够的目标细节以获得完整的轮廓特征。要实现这样分割时 困难的，首先，检测难度上图像分割大于目标检测，图像分割对背景噪声更为 敏感；目标检测只需要知道目标存在位置并给出定位框，不用关心定位区域内 各像素的具体类别(目标与背景)，而图像分割需要逐像素判别以获得目标的详 细像素区域。受电弓背景复杂，虽然通过弓头定位能减少搜索范围同时排除掉 部分背景的干扰，但背景噪声仍然存在且相当复杂，加之光线的变化也会对分 割造成很大的影响，因此要求分割算法在各种检测条件下具备良好的鲁棒性、 实现可靠的分割。此外，在弓头定位模型中并没有特别强调实时性的要求，这 与受电弓在工作中不会出现快速、大幅度运动的性质相关，因此不用每帧图像 都检测弓头位置，而分割后图像用于后续故障判断，必须保证对图像分割的实 时性。
传统图像分割中常用方法包括阈值分割、基于边缘检测的分割。其中，阈 值分割原理简单，但其鲁棒性极差，原理是通过设定不同的像素阀值，把图像 中分成具有不同灰度级的区域，从而实现将目标区域和背景区域分离。这种方 法适用在有良好的视觉光源的检测环境且物体形状简单，有明显的背景区分， 此时目标和背景占据不同灰度级范围，可以得到非常理想的分割效果。然而这 种方法并不适合受电弓的图像分割，其一，受电弓的图像分割不能满足上述的 能达到理想分割的严苛前提条件，分割关键在阈值的选择，受电弓运行在复杂 变化的场景下，很难确定分割的阈值，无论采用全局阈值、自动阈值还是动态 阈值；其二，图像背景中会出现与受电弓像素灰度非常接近的接触悬挂装置， 分割后的图像中，这些干扰物同样存在。边缘检测分割方法是通过检测到的包 含不同区域的图像边缘实现不同图像区域分离，从而间接实现图像分割。图像 中不同的区域之间的边缘上灰度值变化非常明显，这使得可通过图像一阶导数 或二阶导数来确定边缘点，这是边缘检测的基本原理。常用的边缘检测算子有 Sobel算子、Canny算子、Laplacian算子等，这些边缘检测方法对于受电弓图 像分割并不适用，原因在于它们共同缺点：首先，在图像边缘上并不是总存在 明显的梯度，因此它不能保证检测到的边缘的连续性和封闭性，这不满足以上要求的分割算法具有像数级精度的要求；其次，图像中除了受电弓外还有其他 干扰物，检测到的边缘会比较混乱，难以区分。
如图1所示，本发明包括以下步骤：
S1：应用针对弓头定位设计的深度学习模型检测弓头位置坐标，以缩小检 测范围，检测频率根据实际需要而定，无需对每一帧图像进行检测，同时实现 受电弓的异常降弓、毁坏的检测；
S11：通过车载受电弓图像采集设备获取受电弓原始图像。
S12：由于列车行驶中，受电弓位置不会出现快速、大幅度变化，因此对采 集的实时图像，采用间隔u帧进行受电弓位置检测，更新位置；若参数u未达 到指定帧数i，受电弓位置坐标沿用上一次检测结果，参数迭代u＝u+1，故障检 测直接进入s2环节。
S13：当u＝i时，将采集到的原始图像输入到受电弓定位检测设计的深度学 习目标检测模型，检测图像中存在的受电弓及其位置坐标。
S14：根据设置的类别置信度阈值，去除检测结果中低于该阈值的目标，由 非极大值抑制去除冗余定位框，最终获得正确弓头定位结果；记录下该帧图像 检测结果，迭代参数u＝0。
S15：若当前受电弓位置检测帧，没有检测到受电弓，则u＝i，从新执行s1 流程，并用历史检测中的前n-1帧检测结果，与当前帧检测结果对比，若为连续 n帧图像没有检测到受电弓，则判定为受电弓异常降弓与毁坏。
S2：根据弓头定位框坐标及大小扩张区域边界，裁剪出受电弓弓头区域；
S21：目标检测模型最终输出结果包含目标置信度，目标矩形边界框的左上 角坐标以及边界框的框与高，用(x，y，w，h)向量表示，以该边界框为基准， 扩展边界框，保证扩展后的边界框在任何情况下有完整的受电弓弓角图像。迭 代坐标参数向量。
(x，y，w，h)＝(x-a，y-b，w+2a，h+2b)
式中，a，b为边界扩张量。
S22：采用s21中扩展后的边界框参数，裁剪出弓头区域图像。
S3：应用针对受电弓分割的深度学习图像分割模型对弓头区域图像分割， 获得代表弓角及碳滑板的像素区域分割掩码；
S31：将弓头区域图像输入到弓角及碳滑板分割的深度学习实例分割模型， 模型实时输出可能的弓角与碳滑板整体的分割掩码、置信度、位置坐标。
S32：根据设置的类别置信度阈值，去除检测结果中低于该阈值的目标，由 非极大值抑制去除冗余定位框及其目标掩码，最终获得正确弓的弓角及碳滑板 分割掩码、整体位置坐标；
S4：对分割后的掩码二值化，得到二值图，并做相应的平滑处理；
S41：由获得的目标掩码信息得到相应的二值图，并使用中值滤波平滑图像 边缘，去除目标边界处的“锯齿”不平滑效果。
S5：应用弓角及碳滑板的标准模板在二值图中进行模板匹配，通过模板匹 配实现故障识别与定位分析，得到相关坐标；
S51：确定左弓角、右弓角、碳滑板检测搜索区域，以减少计算量，用左上 角及右下角坐标限定矩形区域，搜索区域限定计算如下：
(a)左弓角搜索区域限定
Figure BDA0003121935440000101
式中：(Lxl,Lyl)、(Lxr,Lyr)分别表示左弓角搜索区域左上角、右下角坐标，x、y、w、h表示分割模型输出的弓角与碳滑板组合体的定位框的左上角坐标及宽、 高，δx＝80、δy＝40表示扩展余量，
Figure BDA0003121935440000111
表示比例系数。
(b)碳滑板搜索区域限定
Figure BDA0003121935440000112
式中：(Mxl,Myl)、(Mxr,Myr)表示碳滑板搜索区域左上角、右下角坐标，
Figure BDA0003121935440000113
(c)右弓角搜索区域限定
Figure BDA0003121935440000114
式中：(Rxl,Ryl)、(Rxr,Ryr)表示右弓角搜索区域左上角、右下角坐标，其余 参数同上。
S52：分别使用左弓角、右弓角、碳滑板标准图像的二值图作为模板，在 s51中相应的区域匹配检测，获得并记录下弓角、碳滑板的位置坐标及匹配度 信息，位置坐标用于标识部件位置，匹配度用于判断部件状态(异常/正常)。
S6：将受电弓目标检测结果、故障识别结果、图像分割掩码到原图进行综 合检测结果标识，并记录检测日志。
S61：通过弓角、碳滑板模板匹配检测的数据记录，将该帧图像的检测结 果与前面m-1帧图像检测记录对比，若弓角与碳滑板中某一个或全部连续出现 m帧结果为异常，则确定受电弓的该部件出现故障。
S62：根据s61检测结果，结合s52的检测坐标及匹配度在原图标识，保存 数据，检测系统调用预留的接口，获取数据并在系统客户端现实实时监测结果， 为维护人员查看与分析提供实时的检测结果可视化。
检测算法流程如图2所示：
在检测算法中涉及到多次逻辑判断，各个判断参数的含义初始值及判断阈 值做如下定义：(1)Flag_frames＝50，是否进行受电弓区域检测标识，每间隔 50帧更新一次受电弓位置。(2)Flag_fsrcnn＝0，标识未检测到受电弓图像帧数， 连续200帧检测失败，给出异常，保存信息。(3)Flag_mask＝0，标识弓角及碳 滑板未正常分割图像帧数，连续100帧分割失败，给出异常，保存信息。(4) Flag_left＝0，标识左羊角匹配异常图像帧数，连续10帧检测出异常，给出异 常，保存信息。(5)Flag_middle＝0，标识碳滑板匹配异常图像帧数，连续10 帧检测出异常，给出异常，保存信息。(6)Flag_right＝0，标识右羊角匹配异 常图像帧数，连续10帧检测出异常，给出异常，保存信息。(7)left_match、 middle_match、right_match分别表示左弓角、碳滑板、右弓角匹配度阈值，这 里设定为0.9。以上相关判断阈值非固定值，可根据实际情况设定。
数据集制作：
安装在列车上的硬件系统，在列车行驶中对工作的受电弓图像采集，将得 到不同天气、场景、光线下的受电弓图像。不同天气包含雨天、雾天、正常天 气，不同场景包含隧道、桥梁、进出站、自然背景，不同光线包含白天、黑夜 等不同光线环境。
弓头定位检测中数据标注。将不同型号、不同大小的受电弓图像，标记受 电弓弓头存在的矩形区域，通过计算后，用矩形左上角坐标及宽高表示矩形框 坐标。矩形内是否有弓头，即检测类别，用0与1标记。最终用于模型训练的数 据标签即为矩形框坐标及类别编码。
弓角及碳滑板分割中的数据标注。通过受电弓弓头定位后检测边界框为基 准，扩展边界，使得边界框内包含完整的受电弓弓头，取出该区域图像作为分 割模型训练数据。详细标记出图像中弓角与碳滑板的像素点，计算出边界框坐 标。那么分割模型的数据标签有两种，一种是边界框与类别，一类是用于分割 的详细的像素点坐标。真实故障数据难以获取，因此，通过图像编辑软件将正 常数据编辑为故障数据，模拟弓角与碳滑板故障。
模型搭建与训练：
1.弓头定位模型搭建如图3所示：
(1)特征提取共享卷积网络：
为了应对列车运行中复杂多变场景、自然环境、天气的影响，采用残差网 络(ResNet)作为特征提取网络，ResNet通过残差学习方式，避免了网络退化， 使网络特征提取能力增强。ResNet网络更深，参数量更小，性能更好。通过特 殊的残差构建块的“降维—卷积—升维”，操作使得模型参数得到很好控制，比 传统的VGG等早期常用网络有更低的参数量与计算量。采用ResNet50作为弓头 定位模型特征提取网络，ResNet50的特征提取网络如图4所示。ResNet网络结 构参数如图5所示；
(2)多尺度检测的RPN网络：
为了解决受电弓弓头定位中的多尺度检测，采用特征图金字塔(FPN)实现 多尺度检测。以ResNet的res3-res5的输出构建三层特征图金字塔结构的候选 区域预测结构，分别对应小、中、大尺度目标检测，实现多尺度预测。三层特 征图金字塔的受电弓弓头定位模型结构如图6所示，在特征金字塔的每一层应 用候选区域推荐检测头(RPN_Head)，RPN_Head结构如图7所示，每个检测位 置仅有3种预设候选框，减少了不要的候选框冗余计算，每个候选框通过softmax 分类与边框回归计算得到候选框类别(前景/背景)，以及候选框坐标修正值；
(3)检测头网络如图8所示；对RPN网络得到的感兴趣区域(ROI)，采用 双线性插值获得对应的ROI特征，然后执行ROI特征池化，特征池化统一大小 为7×7×256大小，并接入两层1×1×1024的全连接层，最后执行分类与边框 回归；由于特征为7×7×256，全连接层中特征为1×1×1024，尺寸与维度较 小，不会带来过大计算空间与时间的消耗，获得了快速的弓头目标定位检测。
(4)最终模型如图9所示；
受电弓弓头定位网络采用了Faster R-CNN的基本构架，检测网络采用 ResNet50作为共享特征提取网络，在res3、res4、res5的输出层上构建3层的 特征图金字塔(FPN)用于预测候选区域，每层设计3种预设窗口，通过特征映 射与ROI Align池化获取目标特征，再经全连接层后实现弓头识别与定位，整 体结构如图3-13所示。模型中，特征提取网络初段采用7×7卷积滤除无用信 息，其余特征提取采用1×1、3×3组合卷积获取详细局部信息，在所有卷积层 后添加批归一化层，在其后添加Relu激活层。
(5)模型训练：
模型中所有类别预测部分采用softmax分类器，并用交叉熵损失函数计算 模型损失。边框回归采用smoothL1损失函数用于计算损失。最终采用近似联合 训练，并采用带动量的SGD(小批量梯度下降)训练模型。
2.弓角与碳滑板分割模型搭建与训练
分割模型检测流程如图10所示；
(1)模型建立：
图像分割模型如图11所示；图像特征提取的主干架构仍然采用ResNet-50 网络，模型输入图像尺寸设置为608×608，基本能适应通常200万像素或500 万像素相机采集图像，弓头区域不会过度缩放；通过弓头定位后获得的弓头待 检测区域图像缩放统一尺寸后，目标没有多尺度特性，因此候选区域推荐网络， 采用单层预测结构，候选区域网络的RPN_Head结构采用图7所示结构，anchor 框设置只1种面积大小，长宽比为{2:1，3:1，4:1}，总共仅有3种候选框，减 小了候选区域的计算量；检测头包含分类、定位、分割的结构，如图12所示， 设定输出掩码尺寸为84×84，由14×14大小的特征图反卷积到28×28，再经 反卷积到84×84，对输出特征图逐像素应用Sigmoid单分类器后只输出一类分 割掩码，输出特征图为84×84×1，维度较小不会产生过大内存与计算消耗。分 类与定位分支的全连接层采用平均池化计算，降低计算量。分割模型结构如图 11所示；分割模型检测头结构如图12所示；
(2)模型训练：
采用近似联合训练，降低训练难度，并采用带动量的小批量梯度下降实现 快速收敛。
模板匹配的故障识别与定位：
(1)模板制作
采用正常受电弓分割后的图像，切割出左弓角、右弓角、碳滑板图像作为 标准模板，对于不同的受电弓可建立模板库实现检测。
(2)快速模板匹配识别策略
由于受电弓弓头细长弯曲，长宽比通常在7左右，因此通过限定弓头、碳滑板 匹配区域实现快速识别，减少不必要的计算。在分割模型输出的弓头坐标基础 上进行准确的匹配识别区域划分。
(a)左弓角搜索区域限定
Figure BDA0003121935440000151
式中：(Lxl,Lyl)、(Lxr,Lyr)分别表示左弓角搜索区域左上角、右下角坐 标，x、y、w、h表示分割模型输出的弓角与碳滑板组合体的定位框的左上角坐 标及宽、高，δx＝80、δy＝40表示扩展余量，
Figure BDA0003121935440000161
表示比例系数。
(b)碳滑板搜索区域限定
Figure BDA0003121935440000162
式中：(Mxl,Myl)、(Mxr,Myr)表示碳滑板搜索区域左上角、右下角坐标，
Figure BDA0003121935440000163
(c)右弓角搜索区域限定
Figure BDA0003121935440000164
式中：(Rxl,Ryl)、(Rxr,Ryr)表示右弓角搜索区域左上角、右下角坐标， 其余参数同上。模板搜索区域图如图13所示。
(2)识别与定位
模板在对应搜索区域上滑动，对每个位置计算相似度R，最后得到一个相似 度矩阵S，矩阵每个元素值等于每个搜索位置相相似度。每幅图中的右弓角、左 弓角、碳滑板检测实例仅有一个，取矩阵中最大值及其坐标作为匹配计算结果， 根据最大相似度值是否超过阈值判定部件状态，并以模板的宽与高作为定位框 的宽与高画出定位框。
Figure BDA0003121935440000165
Figure BDA0003121935440000166
式中：Rout为定位框置信度，Xout、Yout、Wout、Hout分别为定位框左上角坐 标及宽与高，WT、HT表示模板宽高。Xin，Yin分别为搜索区域左上角在的原 图的坐标值，x、y表示分割后二值图上坐标。t表示置信度阈值，当出现故障 时，Rout＜t，表示没有检测到完整的目标实例，此时为故障状态，定位框的左 上角坐标等于最近一次检测状态为正常时的部件定位框的左上角坐标，即 Xbefore,Ybefore。
(3)模板匹配的相似度量方法及阈值
采用标准相关系数匹配实现部件的识别，通过对线路采集的图像，对人工 故障数据与正常数据分割后获得大量的弓角与碳滑板的二值图，在这些二值图 上试验，统计最佳匹配度值，得到可以明显区分故障与非故障图像的匹配度值 作为阈值。
Figure BDA0003121935440000171
Figure BDA0003121935440000172
Figure BDA0003121935440000173
通过对线路采集的图像，对人工故障数据与正常数据分割后获得大量的弓 角与碳滑板的二值图，在这些二值图上试验，统计最佳匹配度值，得到可以明 显区分故障与非故障图像的匹配度值作为阈值。
本发明通过上述实施例解决了如下技术问题：
(1)本发明通过故障检测的“弓头定位—弓角及碳滑板分割—模板匹配故 障识别与定位—结果分析展示”技术路线，主要实现列车在途中的受电弓整体 工作状态检测，与弓角与碳滑板故障的检测，解决了当下检测方法主要是地对 车的定点检测，不能实现列车运行中受电弓及其重要部件工作状态检测问题。
(2)采用深度学习目标检测算法，设计了基于Faster R-CNN目标检测器 原理的弓头定位模型，利用残差网络代(ResNet)替原有的卷积网络，利用特 征图金字塔(FPN)构建了的多尺度预测结构的候选区域推荐网络，并针对受电 弓检测特点重新设计了模型的检测头，从而实现了在途检测中，复杂背景干扰 下检测，与受电弓多尺度检测，解决了传统图像方法在复杂且变化的环境中目 标检测效果不好的问题。在一些极端的条件下检测结果表明，本方案设计的弓 头检测模型具有很好的鲁棒性、泛化性，且实现了快速检测定位。
(3)弓头定位后实现故障的识别，通过对图像分割后的二值图上分析实现。 受电弓弓角与碳滑板弯曲细长，难以分割，且同样存在复杂且变化的背景的干 扰，这种检测条件下，传统方法无法分割出受电弓。采用深度学习图像分割算 法，设计了基于Mask R-CNN实例分割原理的图像分割模型，利用ResNet作为 基础特征提取卷积网络，在顶层特征图上构建了单尺度预测结构的候选区域推 荐网络，并针对弓头细长弯曲结构特点设计了检测头，尤其通过对检测头分割 分支反卷积结构设计，获得了高质量的弓角与碳滑板分割掩码。因此本发明中 的受电弓分割模型解决了传统图像难以实现在途中分割问题，实现了快速精准 的受电弓分割。
(4)为了能快速进行模板匹配实现部件定位与故障识别，根据受电弓的结 构特点制定了快速模板匹配策略，实现快速的模板匹配，减少耗时。
(5)除了实现弓角、碳滑板故障检测外，本发明方法还能实现受电弓异常 降弓、毁坏的检测，而现有的在途检测设备通常实现视频录制功能，与受电弓 拉毁等检测，因此，本发明在功能上更为全面。
本发明检测方法实现了在途中的受电弓状态实时检测，解决了定点检测不 能随车检测受电弓状态的缺点。本发明中，在现有测试数据集上，整个检测算 法平均检测速度为0.051s/帧，弓角与碳滑板故障的平均检测精度0.964，召回 率1.0，受电弓降弓、毁坏检测精度1.0，召回率1.0，从检测效果来看，获得 较好的检测效果。
以上显示和描述了本发明的基本原理和主要特征及本发明的优点。本行业 的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中 描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明 还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本 发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种用于受电弓故障的车载图像识别方法，其特征在于，包括以下步骤：
S1：应用针对弓头定位设计的深度学习模型检测弓头位置坐标，以缩小检测范围，同时对受电弓的异常降弓、毁坏的检测；
S2：根据弓头定位框坐标及大小扩张区域边界，裁剪出受电弓弓头区域；
S3：应用针对受电弓分割的深度学习图像分割模型对弓头区域图像分割，获得代表弓角及碳滑板的像素区域分割掩码；
S4：对分割后的掩码二值化，得到二值图，并做相应的平滑处理；
S5：应用弓角及碳滑板的标准模板在二值图中进行模板匹配，通过模板匹配实现故障识别与定位分析，得到相关坐标；
S6：将受电弓目标检测结果、故障识别结果、图像分割掩码到原图进行综合检测结果标识，并记录检测日志。
2.根据权利要求1所述的用于受电弓故障的车载图像识别方法，其特征在于：所述步骤S1具体包括以下步骤：
S11：通过车载受电弓图像采集设备获取受电弓原始图像；
S12：对采集的实时图像，采用间隔u帧进行受电弓位置检测，更新位置；若参数u未达到指定帧数i，受电弓位置坐标沿用上一次检测结果，参数迭代u＝u+1，故障检测直接进入步骤S2；
S13：当u＝i时，将采集到的原始图像输入到受电弓定位检测设计的深度学习目标检测模型，检测图像中存在的受电弓及其位置坐标；
S14：根据设置的类别置信度阈值，去除检测结果中低于该阈值的目标，由非极大值抑制去除冗余定位框，最终获得正确弓头定位结果；记录下该帧图像检测结果，迭代参数u＝0；
S15：若当前受电弓位置检测帧，没有检测到受电弓，则u＝i，重新执行步骤S1流程，并用历史检测中的前n-1帧检测结果，与当前帧检测结果对比，若为连续n帧图像没有检测到受电弓，则判定为受电弓异常降弓与毁坏。
3.根据权利要求1所述的用于受电弓故障的车载图像识别方法，其特征在于：所述步骤S2具体包括以下步骤：
S21：目标检测模型最终输出结果包含目标置信度，目标矩形边界框的左上角坐标以及边界框的框与高，用(x，y，w，h)向量表示，以该边界框为基准，扩展边界框，保证扩展后的边界框在任何情况下有完整的受电弓弓角图像，迭代坐标参数向量；
(x，y，w，h)＝(x-a，y-b，w+2a，h+2b)
式中，a，b为边界扩张量；
S22：采用步骤S21中扩展后的边界框参数，裁剪出弓头区域图像。
4.根据权利要求1所述的用于受电弓故障的车载图像识别方法，其特征在于：所述步骤S3具体包括以下步骤：
S31：将弓头区域图像输入到弓角及碳滑板分割的深度学习实例分割模型，模型实时输出可能的弓角与碳滑板整体的分割掩码、置信度、位置坐标；
S32：根据设置的类别置信度阈值，去除检测结果中低于该阈值的目标，由非极大值抑制去除冗余定位框及其目标掩码，最终获得正确弓的弓角及碳滑板分割掩码、整体位置坐标。
5.根据权利要求1所述的用于受电弓故障的车载图像识别方法，其特征在于：所述步骤S4由获得的目标掩码信息得到相应的二值图，并使用中值滤波平滑图像边缘，去除目标边界处的“锯齿”不平滑效果。
6.根据权利要求1所述的用于受电弓故障的车载图像识别方法，其特征在于：所述步骤S5具体包括以下步骤：
S51：确定左弓角、右弓角、碳滑板检测搜索区域，以减少计算量，用左上角及右下角坐标限定矩形区域，搜索区域限定计算如下：
(a)左弓角搜索区域限定
Figure FDA0003121935430000031
式中：(Lxl,Lyl)、(Lxr,Lyr)分别表示左弓角搜索区域左上角、右下角坐标，x、y、w、h表示分割模型输出的弓角与碳滑板组合体的定位框的左上角坐标及宽、高，δx＝80、δy＝40表示扩展余量，
Figure FDA0003121935430000032
表示比例系数；
(b)碳滑板搜索区域限定
Figure FDA0003121935430000033
式中：(Mxl,Myl)、(Mxr,Myr)表示碳滑板搜索区域左上角、右下角坐标，
Figure FDA0003121935430000034
(c)右弓角搜索区域限定
Figure FDA0003121935430000035
式中：(Rxl,Ryl)、(Rxr,Ryr)表示右弓角搜索区域左上角、右下角坐标，其余参数同上；
S52：分别使用左弓角、右弓角、碳滑板标准图像的二值图作为模板，在S51中相应的区域匹配检测，获得并记录下弓角、碳滑板的位置坐标及匹配度信息，位置坐标用于标识部件位置，匹配度用于判断部件状态的异常或正常。
7.根据权利要求1所述的用于受电弓故障的车载图像识别方法，其特征在于：所述步骤S6具体包括以下步骤：
S61：通过弓角、碳滑板模板匹配检测的数据记录，将该帧图像的检测结果与前面m-1帧图像检测记录对比，若弓角与碳滑板中某一个或全部连续出现m帧结果为异常，则确定受电弓的该部件出现故障；
S62：根据S61检测结果，结合S52的检测坐标及匹配度在原图标识，保存数据，检测系统调用预留的接口，获取数据并在系统客户端现实实时监测结果，为维护人员查看与分析提供实时的检测结果可视化。
CN202110678726.0A 2021-06-18 2021-06-18 一种用于受电弓故障的车载图像识别方法 Active CN113436157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110678726.0A CN113436157B (zh) 2021-06-18 2021-06-18 一种用于受电弓故障的车载图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110678726.0A CN113436157B (zh) 2021-06-18 2021-06-18 一种用于受电弓故障的车载图像识别方法

Publications (2)

Publication Number Publication Date
CN113436157A true CN113436157A (zh) 2021-09-24
CN113436157B CN113436157B (zh) 2022-11-22

Family

ID=77756577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110678726.0A Active CN113436157B (zh) 2021-06-18 2021-06-18 一种用于受电弓故障的车载图像识别方法

Country Status (1)

Country Link
CN (1) CN113436157B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989666A (zh) * 2021-10-26 2022-01-28 中科海拓(无锡)科技有限公司 一种高铁受电弓异常检测方法
CN114067106A (zh) * 2022-01-12 2022-02-18 西南交通大学 基于帧间对比的受电弓形变检测方法、设备及存储介质
CN114782441A (zh) * 2022-06-21 2022-07-22 深圳市鼎合丰科技有限公司 一种电子元器件生产流水线故障信息识别方法
CN114898229A (zh) * 2022-04-18 2022-08-12 中国人民解放军战略支援部队航天工程大学 面向微小卫星应用的机场动态事件在轨解译方法及系统
CN115527170A (zh) * 2022-10-14 2022-12-27 哈尔滨市科佳通用机电股份有限公司 货车脱轨自动制动装置塞门手把关闭故障识别方法及系统
CN116109987A (zh) * 2023-04-07 2023-05-12 中铁电气化局集团有限公司 基于深度学习的接触网悬挂部件故障检测方法和装置

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105539512A (zh) * 2015-12-31 2016-05-04 天津市北海通信技术有限公司 一种受电弓监测系统
CN107167098A (zh) * 2017-04-21 2017-09-15 南京理工大学 城轨列车受电弓在线检测装置与方法
CN107588733A (zh) * 2017-08-21 2018-01-16 南京理工大学 一种基于图像的受电弓滑板磨耗在线检测装置与方法
CN108981625A (zh) * 2018-08-15 2018-12-11 东莞市诺丽电子科技有限公司 一种单轨列车车载受电弓监测系统及监测方法
CN109141255A (zh) * 2018-10-18 2019-01-04 北京华开领航科技有限责任公司 一种弓网监测方法
CN109269474A (zh) * 2018-08-29 2019-01-25 广西大学 一种列车车载受电弓运行状态在线图像检测装置及方法
CN109765241A (zh) * 2019-01-09 2019-05-17 中国科学院上海微系统与信息技术研究所 弓网状态的监测装置
CN109961429A (zh) * 2019-03-22 2019-07-02 武汉工程大学 一种基于单目红外图像的受电弓检测定位方法及系统
JP2019111904A (ja) * 2017-12-22 2019-07-11 Ｊｆｅスチール株式会社 トロリー線の異常診断方法、トロリー線の異常診断装置及び電動移動体
US20200001722A1 (en) * 2018-09-10 2020-01-02 Farzad Vesali System and method for pantograph fault monitoring
CN111079586A (zh) * 2019-12-03 2020-04-28 西安电子科技大学 基于深度学习与双目摄像的自动驾驶目标检测系统及方法
CN111260629A (zh) * 2020-01-16 2020-06-09 成都地铁运营有限公司 基于图像处理的受电弓结构异常检测算法
CN111402214A (zh) * 2020-03-07 2020-07-10 西南交通大学 基于神经网络的接触网吊弦载流环断裂缺陷自动检测方法
CN112132789A (zh) * 2020-08-30 2020-12-25 南京理工大学 基于级联式神经网络的受电弓在线检测装置及方法
KR102242459B1 (ko) * 2020-06-24 2021-04-20 윤대원 전차선 및 팬타그래프 스마트 고장 예측 시스템
CN112766195A (zh) * 2021-01-26 2021-05-07 西南交通大学 一种电气化铁路弓网燃弧视觉检测方法
CN112801989A (zh) * 2021-02-02 2021-05-14 西南交通大学 一种基于图像增强处理的接触网斜拉线故障自动检测方法
CN112817232A (zh) * 2021-01-05 2021-05-18 株洲中车时代电气股份有限公司 一种列车受电弓的控制方法和装置

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105539512A (zh) * 2015-12-31 2016-05-04 天津市北海通信技术有限公司 一种受电弓监测系统
CN107167098A (zh) * 2017-04-21 2017-09-15 南京理工大学 城轨列车受电弓在线检测装置与方法
CN107588733A (zh) * 2017-08-21 2018-01-16 南京理工大学 一种基于图像的受电弓滑板磨耗在线检测装置与方法
JP2019111904A (ja) * 2017-12-22 2019-07-11 Ｊｆｅスチール株式会社 トロリー線の異常診断方法、トロリー線の異常診断装置及び電動移動体
CN108981625A (zh) * 2018-08-15 2018-12-11 东莞市诺丽电子科技有限公司 一种单轨列车车载受电弓监测系统及监测方法
CN109269474A (zh) * 2018-08-29 2019-01-25 广西大学 一种列车车载受电弓运行状态在线图像检测装置及方法
US20200001722A1 (en) * 2018-09-10 2020-01-02 Farzad Vesali System and method for pantograph fault monitoring
CN109141255A (zh) * 2018-10-18 2019-01-04 北京华开领航科技有限责任公司 一种弓网监测方法
CN109765241A (zh) * 2019-01-09 2019-05-17 中国科学院上海微系统与信息技术研究所 弓网状态的监测装置
CN109961429A (zh) * 2019-03-22 2019-07-02 武汉工程大学 一种基于单目红外图像的受电弓检测定位方法及系统
CN111079586A (zh) * 2019-12-03 2020-04-28 西安电子科技大学 基于深度学习与双目摄像的自动驾驶目标检测系统及方法
CN111260629A (zh) * 2020-01-16 2020-06-09 成都地铁运营有限公司 基于图像处理的受电弓结构异常检测算法
CN111402214A (zh) * 2020-03-07 2020-07-10 西南交通大学 基于神经网络的接触网吊弦载流环断裂缺陷自动检测方法
KR102242459B1 (ko) * 2020-06-24 2021-04-20 윤대원 전차선 및 팬타그래프 스마트 고장 예측 시스템
CN112132789A (zh) * 2020-08-30 2020-12-25 南京理工大学 基于级联式神经网络的受电弓在线检测装置及方法
CN112817232A (zh) * 2021-01-05 2021-05-18 株洲中车时代电气股份有限公司 一种列车受电弓的控制方法和装置
CN112766195A (zh) * 2021-01-26 2021-05-07 西南交通大学 一种电气化铁路弓网燃弧视觉检测方法
CN112801989A (zh) * 2021-02-02 2021-05-14 西南交通大学 一种基于图像增强处理的接触网斜拉线故障自动检测方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
QIFAN GUO等: ""An Improved Faster R-CNN for High-Speed Railway Dropper Detection"", 《DIGITAL OBJECT IDENTIFIER 》 *
QINGSONG ZHANG等: ""An adaptive boundary determination method for empirical wavelet transform and its application in wheelset-bearing fault detection in high-speed trains"", 《MEASUREMENT》 *
李亮亮: ""高速列车受电弓视频监控智能分析算法的应用"", 《铁道车辆》 *
李兵祖 等: ""基于多尺度深度学习的接触网吊弦异常检测及应用"", 《电气化铁道》 *
胡雪冰: ""基于图像处理的受电弓故障在线检测系统研究"", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》 *
赵铁柱 等: ""基于大数据的车载弓网监测系统的设计与实现"", 《东莞理工学院学报》 *
陈锐 等: ""基于测点信息联合驱动的制动系统故障定位隔离研究"", 《今日制造与升级》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989666A (zh) * 2021-10-26 2022-01-28 中科海拓(无锡)科技有限公司 一种高铁受电弓异常检测方法
CN113989666B (zh) * 2021-10-26 2023-01-31 中科海拓(无锡)科技有限公司 一种高铁受电弓异常检测方法
CN114067106A (zh) * 2022-01-12 2022-02-18 西南交通大学 基于帧间对比的受电弓形变检测方法、设备及存储介质
CN114067106B (zh) * 2022-01-12 2022-04-15 西南交通大学 基于帧间对比的受电弓形变检测方法、设备及存储介质
CN114898229A (zh) * 2022-04-18 2022-08-12 中国人民解放军战略支援部队航天工程大学 面向微小卫星应用的机场动态事件在轨解译方法及系统
CN114898229B (zh) * 2022-04-18 2022-10-11 中国人民解放军战略支援部队航天工程大学 面向微小卫星应用的机场动态事件在轨解译方法及系统
CN114782441A (zh) * 2022-06-21 2022-07-22 深圳市鼎合丰科技有限公司 一种电子元器件生产流水线故障信息识别方法
CN115527170A (zh) * 2022-10-14 2022-12-27 哈尔滨市科佳通用机电股份有限公司 货车脱轨自动制动装置塞门手把关闭故障识别方法及系统
CN116109987A (zh) * 2023-04-07 2023-05-12 中铁电气化局集团有限公司 基于深度学习的接触网悬挂部件故障检测方法和装置

Also Published As

Publication number Publication date
CN113436157B (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN113436157B (zh) 一种用于受电弓故障的车载图像识别方法
Ai et al. Computer vision framework for crack detection of civil infrastructure—A review
Akagic et al. Pavement crack detection using Otsu thresholding for image segmentation
Racki et al. A compact convolutional neural network for textured surface anomaly detection
Liu et al. A review of applications of visual inspection technology based on image processing in the railway industry
CN109658387B (zh) 电力列车的受电弓碳滑板缺陷的检测方法
Yousaf et al. Visual analysis of asphalt pavement for detection and localization of potholes
CN109101924B (zh) 一种基于机器学习的路面交通标志识别方法
CN111738342B (zh) 一种受电弓异物检测方法、存储介质及计算机设备
Zhang et al. Study on traffic sign recognition by optimized Lenet-5 algorithm
Hadjidemetriou et al. Automated detection of pavement patches utilizing support vector machine classification
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
US11495022B2 (en) Method for recognizing an object of a mobile unit
CN113240623B (zh) 一种路面病害检测方法及装置
CN112966665A (zh) 路面病害检测模型训练方法、装置和计算机设备
CN110751619A (zh) 一种绝缘子缺陷检测方法
Abou Chacra et al. Fully automated road defect detection using street view images
Daniel et al. Automatic road distress detection and analysis
Zhao et al. Image-based comprehensive maintenance and inspection method for bridges using deep learning
CN113435452A (zh) 一种基于改进ctpn算法的电气设备铭牌文本检测方法
CN113326846A (zh) 一种基于机器视觉的桥梁表观病害快速检测方法
CN110348307B (zh) 一种起重机金属结构攀爬机器人的路径边缘识别方法及系统
CN115294541A (zh) 一种局部特征增强Transformer道路裂缝检测方法
CN114332644A (zh) 一种基于视频卫星数据的大视场交通密度获取方法
CN114067296A (zh) 钢轨表面缺陷识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant