CN113393442A - 列车零部件异常检测方法、系统、电子设备及存储介质 - Google Patents

列车零部件异常检测方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN113393442A
CN113393442A CN202110669664.7A CN202110669664A CN113393442A CN 113393442 A CN113393442 A CN 113393442A CN 202110669664 A CN202110669664 A CN 202110669664A CN 113393442 A CN113393442 A CN 113393442A
Authority
CN
China
Prior art keywords
model
detection
component
level
train
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110669664.7A
Other languages
English (en)
Other versions
CN113393442B (zh
Inventor
罗明宇
易秋晨
林健
鲁晓丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongyun Ruilian Wuhan Computing Technology Co ltd
Original Assignee
Dongyun Ruilian Wuhan Computing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongyun Ruilian Wuhan Computing Technology Co ltd filed Critical Dongyun Ruilian Wuhan Computing Technology Co ltd
Priority to CN202110669664.7A priority Critical patent/CN113393442B/zh
Publication of CN113393442A publication Critical patent/CN113393442A/zh
Application granted granted Critical
Publication of CN113393442B publication Critical patent/CN113393442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及列车异常检测技术领域，公开了一种列车零部件异常检测方法、系统、电子设备、及存储介质。本发明实施例中可先获取待检测列车行驶图像，通过基于区域划分的预设异常检测模型，对待检测列车行驶图像进行列车零部件的异常检测操作，以得到异常检测结果，其中，预设异常检测模型设置为，将列车行驶图像中的每个目标物归入不同的区域，每个区域之间存在层级关系。明显地，本发明实施例提供的异常检测方式，对目标物进行了以区域为单位的归属，再以区域为单位进行列车零部件的异常检测操作，提高了异常检测的检测准确性，解决了异常检测准确性较差的技术问题。

Description

列车零部件异常检测方法、系统、电子设备及存储介质
技术领域
本发明涉及列车异常检测技术技术领域，尤其涉及列车零部件异常检测方法、系统、电子设备及存储介质。
背景技术
随着列车里程的不断增加，列车的制造、运营等技术也在不断进步。
为了提高列车运行的安全性，一般会对列车的运行状况进行周期性异常检测。
就异常检测操作而言，基于计算机视觉的异常检测是列车零部件表征异常识别的重要方法，它采用在列车运行轨道周边布置摄像机进行拍摄的方式获取列车图像或视频，采用机器学习算法进行异常零部件的识别，具有高效、非侵入性等特点。
在基于计算机视觉的列车零部件异常检测方面，相关技术中针对某些特定的零部件异常类型提出了一些异常检测方法。
其一，例如已知的列车部件异常检测方法，将采集到的待检测列车的深度信息与模板库中的参考列车深度信息进行匹配，以得到第一级部件和第二级部件的定位结果。其中，深度信息是将激光三角法、双目测距法或脉冲测距法采集到的三维列车部件图像经拟合得到的部件几何特征分布信息图。例如，专利号为201410406535.9的发明专利“一种识别列车异常的检测方法及系统”中提出了一种列车部件异常检测方法，该方法将采集到的待检测列车的深度信息与模板库中的参考列车深度信息进行匹配，以得到第一级部件和第二级部件的定位结果。其中，深度信息是将激光三角法、双目测距法或脉冲测距法采集到的三维列车部件图像经拟合得到的部件几何特征分布信息图。
其二，存在另一种已知的列车故障检测方法，该方法将预设数量的同类且确定存在故障信息的动车组列车图像输入到深度学习框架内进行训练，得到故障识别模型。检测时，先识别待检测列车图像的身份信息，再按照同车同位置的规则对图像分类，之后再将图像输入到该类别的故障识别模型中判断故障信息；例如，专利号为201810490131.0的发明专利“动车组列车运行故障信息检测方法和系统”中提出了一种列车故障检测方法，该方法将预设数量的同类且确定存在故障信息的动车组列车图像输入到深度学习框架内进行训练，得到故障识别模型。检测时，先识别待检测列车图像的身份信息，再按照同车同位置的规则对图像分类，之后再将图像输入到该类别的故障识别模型中判断故障信息。
其三，还有一种已知的基于深度学习的动车组车底板螺栓故障检测方法，基于改进的YOLO v3目标检测算法对动车组车厢底板螺栓进行检测，以对正常状态和缺失状态的螺栓孔位进行分类和定位，例如专利号为201910191790.9的发明专利“基于深度学习的动车组车底板螺栓故障检测方法”中，基于改进的yolov3目标检测算法对动车组车厢底板螺栓进行检测，以对正常状态和缺失状态的螺栓孔位进行分类和定位。
目前，使用机器学习的列车零部件异常检测方法可主要分为两种：一种是基于传统图像的处理方法，是通过模板匹配、人工特征提取等方式检测异常区域；另一种是基于深度学习的方法，是通过目标检测等神经网络算法识别图像中的目标物，进而实现异常的检测。
但是，上述异常检测方法，在最终的检测效果上目前仍然存在着准确性较差的问题：传统图像处理方法的核心在于模板匹配，这需要历史模板库中有大量正常的列车图像，且需覆盖各种场景以应对多样性的外部环境和列车情况。模板匹配需逐区域进行，之后应用特征比对方法，基于预设规则判断当前列车和模板的特征信息是否相似，进而判断故障。这对于定性检测大型部件的缺失、变形等效果较好，但精确检测效果不理想，且易受环境影响，泛化性不强。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供列车零部件异常检测方法、系统、电子设备及存储介质，旨在提高列车零部件的异常检测的准确性。
为实现上述目的，本发明提供一种列车零部件异常检测方法，所述列车零部件异常检测方法包括以下步骤：
由数据采集组件采集待检测列车行驶图像，并对所述待检测列车行驶图像进行拼接和融合处理；
由数据标注组件接受用户设定的区域划分方案，针对目标物不同的检测类型提供相应的数据标注服务，以供用户使用不同的数据标注方式对所述待检测列车行驶图像的原始数据进行标注生成原始数据标注；
由所述数据标注组件根据所述区域划分方案将所述原始数据处理为各区域层级的处理后数据，并根据所述区域划分方案将所述原始数据标注处理为各区域层级的处理后数据标注；
由所述模型训练组件以各区域层级的所述处理后数据和所述处理后数据标注作为输入进行神经网络训练，以训练好的模型计算图作为输出，在训练完成后，按照区域层级关系将各模型计算图进行融合，生成推理模型；
由所述异常检测组件载入所述推理模型，并接收用户设定的零部件异常判断准则，执行所述模型推理对所述数据采集组件实时采集的待检测列车行驶图像进行推理处理，然后根据所述异常判断准则对经过推理处理后的待检测列车行驶图像的零部件进行异常判定，并生成异常检测结果。
优选的，所述区域划分方案至少包括：
所有待检测目标物种类和名称、不同目标物属性对应的检测类型、不同目标物之间的层级关系，其中，所述层级关系为有向无环的，以及，每种目标物应包含的各种子目标物的数量；
所述异常检测结果的结果类型至少包括:零部件缺失、零部件位移、零部件变形、零部件破损和零部件脱落。
优选的，所述数据标注组件接受用户设定的区域划分方案，针对目标物不同的检测类型提供相应的数据标注服务的步骤包括：
所述数据标注组件接受用户设定的区域划分方案，所述区域划分方案至少包括：不同目标物属性对应的检测类型，其中，所述检测类型至少包括边界框检测类型和像素分割类型；
所述数据标注组件根据所述不同的目标物属性的检测类型提供相应的标注服务，其中边界框检测类型提供边界框坐标标注服务，像素分割类型提供边界多边形坐标标注服务，生成原始数据标注。
优选的，所述数据标注组件根据所述区域划分方案将所述原始数据标注处理为各区域层级的处理后数据标注的步骤，具体包括：
所述数据标注组件根据所述不同目标物之间的层级关系，循环遍历所述原始数据标注中的每个区域级别的每个目标物，若该目标物存在下级目标物，则以该目标物标注的边界框作为待裁剪图像区域，找到该区域内部的所有下级目标物，将所有下级目标物标注坐标转换为按该区域裁剪后的坐标，执行图像裁剪，得到裁剪后的图像切片和该切片对应的目标物标注。
优选的，由所述模型训练组件以各区域层级的所述处理后数据和所述处理后数据标注作为输入进行神经网络训练的步骤，具体包括：
所述模型训练组件使用所述各区域层级的处理后数据标注，按照所述不同目标物属性对应的检测类型，在各层级上独立使用适用于该检测类型的神经网络算法进行训练；
所述模型训练组件根据所述神经网络算法训练过程生成各层级各检测类型的神经网络模型，其中，每个模型表征一个计算图，包含从输入张量到输出张量的计算操作和计算节点，以及所有计算操作涉及到的权重。
优选的，所述模型训练组件以训练好的模型计算图作为输出，在训练完成后，按照区域层级关系将各模型计算图进行融合，生成推理模型的步骤，包括：
所述模型训练组件定义初始张量占位符，用于表示待检测的输入图像；
所述模型训练组件定义并初始化各级模型的输入张量池与输出张量池，用于保存各级模型的输入与输出；
所述模型训练组件执行一级模型的前向传播，所述一级模型的推理计算图以初始张量占位符作为输入，具体为：
将初始张量转换为该模型需要的输入图像，然后进行计算图的前向传播；
将一级模型的检测结果加入一级模型输出池中；
所述模型训练组件执行模型间处理，具体为：根据所述不同目标物之间的层级关系设定的有向无环规定；
按照所述不同目标物之间的层级关系以及上述一级模型检测结果中目标物类别索引，筛选出存在下级目标物的一级目标物；
根据该一级目标物理应包含的下级目标物的等级，以该一级目标物边界框坐标在初始张量占位符中裁切出相应的区域，将该张量切片放置到所述下级目标物等级的输入池中；
所述模型训练组件执行二级模型前向传播。二级模型以二级输入池的所有张量作为输入，经前向传播后得到相应的输出。以目标检测模型为例，该模型输出的边界框坐标为待检测目标物在输入张量中的坐标，由于输入是来源于一级模型检测结果的切片，因此结合其输入切片在原始图像中的坐标，将二级模型检测结果转换为在原始图像的坐标。由于一幅图像存在多个待检测目标，为了在多模型串联时明确目标物之间的对应关系，还需记录检测到的目标物相对于其输入切片的样本索引。将二级模型的检测结果加入二级模型输出池中；
对于其他各级区域，模型训练组件重复执行上述的单层级模型前向传播和模型间处理，直到遍历完所有模型；
所述模型训练组件以初始张量占位符作为输入，以所有级别的检测结果作为输出，重新构建计算图关系，保存融合后的计算图，该融合后的计算图即为最终的神经网络推理计算图。
此外，为实现上述目的，本发明还提出一种列车零部件异常检测系统，所述系统包括数据采集组件、数据标注组件、模型训练组件和异常检测组件；
所述数据采集组件，用于采集待检测列车行驶图像，并对所述待检测列车行驶图像进行拼接和融合处理；
所述数据标注组件，用于接受用户设定的区域划分方案，针对目标物不同的检测类型提供相应的数据标注服务，以供用户使用不同的数据标注方式对所述待检测列车行驶图像的原始数据进行标注生成原始数据标注；
所述数据标注组件，还用于根据所述区域划分方案将所述原始数据处理为各区域层级的处理后数据，并根据所述区域划分方案将所述原始数据标注处理为各区域层级的处理后数据标注；
所述模型训练组件，用于以各区域层级的所述处理后数据和所述处理后数据标注作为输入进行神经网络训练，以训练好的模型计算图作为输出，在训练完成后，按照区域层级关系将各模型计算图进行融合，生成推理模型；
所述异常检测组件，用于载入所述推理模型，并接收用户设定的零部件异常判断准则，执行所述模型推理对所述数据采集组件实时采集的待检测列车行驶图像进行推理处理，然后根据所述异常判断准则对经过推理处理后的待检测列车行驶图像的零部件进行异常判定，并生成异常检测结果。
所述异常告警组件，用于按照预设的告警条件和方式执行异常警告。
此外，为实现上述目的，本发明还提出一种电子设备，所述电子设备包括：摄像设备、存储器、处理器及存储在所述存储器上并可在所述处理器上运行列车零部件异常检测程序，所述摄像设备用于采集待检测列车行驶图像，所述列车零部件异常检测程序被所述处理器执行时实现如上所述的列车零部件异常检测方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有列车零部件异常检测程序，所述列车零部件异常检测程序被处理器执行时实现如上所述的列车零部件异常检测方法的步骤。
本发明中可先获取待检测列车行驶图像，通过基于区域划分的预设异常检测模型，对待检测列车行驶图像进行列车零部件的异常检测操作，以得到异常检测结果，其中，预设异常检测模型设置为，将列车行驶图像中的每个目标物归入不同的区域，每个区域之间存在层级关系。明显地，本发明提供的异常检测方式，对目标物进行了以区域为单位的归属，再以区域为单位进行列车零部件的异常检测操作，提高了异常检测的检测准确性，解决了异常检测准确性较差的技术问题。
附图说明
图1为本发明列车零部件异常检测系统第一实施例的结构框图；
图2为本发明列车零部件异常检测系统第一实施例的物理部署示意图；
图3是本发明实施例方案涉及的硬件运行环境的电子设备结构示意图；
图4为本发明列车零部件异常检测方法第一实施例的流程示意图；
图5为本发明列车零部件异常检测方法第二实施例的流程示意图；
图6为本发明列车零部件异常检测方法第三实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
目前，使用机器学习的列车零部件异常检测方法主要分为两种。一种是基于传统图像的处理方法，是通过模板匹配、人工特征提取等方式检测异常区域；另一种是基于深度学习的方法，是通过目标检测等神经网络算法识别图像中的目标物，进而实现异常的检测。
但是，上述异常检测方法，在最终的检测效果上目前仍然存在着准确性较差的问题。
具体分析而言，第一类基于传统图像的处理方法的核心在于模板匹配，这需要历史模板库中有大量正常的列车图像，且需覆盖各种场景以应对多样性的外部环境和列车情况。模板匹配需逐区域进行，之后应用特征比对方法，基于预设规则判断当前列车和模板的特征信息是否相似，进而判断故障。这对于定性检测大型部件的缺失、变形等效果较好，但精确检测效果不理想，且易受环境影响，泛化性不强。
第二类深度学习方法往往采用目标检测对部件进行定位和分类，之后基于预设规则判断部件的位移和缺失等异常。神经网络对输入图像分辨率敏感，且受参数量和计算资源限制，输入分辨率有限，相关技术中使用的方法大都只能针对列车的局部区域进行检测，且检测的异常类型局限于目标物的缺失和位移。
为了应对上述两类方法中的技术缺陷，进而提高异常检测的检测准确性，给出了如下所述的本发明实施例。
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明列车零部件异常检测系统第一实施例的结构框图。
如下，列车零部件异常检测系统第一实施例。
如图1所示，列车零部件异常检测系统包含，数据采集组件100、数据标注组件200、模型训练组件300、异常检测组件400和异常告警组件500。
具体地，所述数据采集组件100，用于采集待检测列车行驶图像，并对所述待检测列车行驶图像进行拼接和融合处理；
所述数据标注组件200，用于接受用户设定的区域划分方案，针对目标物不同的检测类型提供相应的数据标注服务，以供用户使用不同的数据标注方式对所述待检测列车行驶图像的原始数据进行标注生成原始数据标注；
所述数据标注组件200，还用于根据所述区域划分方案将所述原始数据处理为各区域层级的处理后数据，并根据所述区域划分方案将所述原始数据标注处理为各区域层级的处理后数据标注；
所述模型训练组件300，用于以各区域层级的所述处理后数据和所述处理后数据标注作为输入进行神经网络训练，以训练好的模型计算图作为输出，在训练完成后，按照区域层级关系将各模型计算图进行融合，生成推理模型；
所述异常检测组件400，用于载入所述推理模型，并接收用户设定的零部件异常判断准则，执行所述模型推理对所述数据采集组件实时采集的待检测列车行驶图像进行推理处理，然后根据所述异常判断准则对经过推理处理后的待检测列车行驶图像的零部件进行异常判定，并生成异常检测结果。
所述异常告警组件500，用于按照预设的告警条件和方式执行异常警告。
可以理解的是，数据采集组件100用于执行列车行驶图像的采集操作，可由磁感应装置、线阵相机装置和图像处理模块构成。数据标注组件200用于在模型训练期间，对列车行驶图像进行标注和区域切片预处理。模型训练组件300用于对区域切片数据集进行训练，生成各级区域的神经网络模型。异常检测组件400用于执行模型推理和零部件异常判断。异常告警组件500用于根据用户预设的告警规则和阈值在识别到异常时进行告警。
可见，列车零部件异常检测系统描述了一个基于计算机视觉的列车零部件异常检测过程，该过程主要分为训练和推理两个时期。
在训练时期，数据采集组件100通过摄像机采集大量的列车图像，数据标注组件200对这些图像进行标注，由数据标注组件200按指定规则自动对图像进行区域切片，并生成各区域图像标注。模型训练组件300使用神经网络算法在各区域切片数据集上独立训练，生成各区域的神经网络模型，并将其融合为一个推理计算图保存在计算机存储中。在推理时期，异常检测组件400首先加载并持久化推理计算图，数据采集组件100根据预设规则不断采集图像并输入异常检测组件400，异常检测组件400执行推理计算图前向传播、后处理和异常判定以生成异常检测结果，将检测结果传递给异常告警组件500，异常告警组件500根据预设告警规则和阈值执行异常告警。
参照图2，图2为本发明列车零部件异常检测系统第一实施例的物理部署示意图。
如图2所示，由室外的摄像机、磁感应装置与室内的服务器组成。
服务器负责所有系统组件的运行，并且能够与室外装置进行数据传输和交互。
具体来说，磁感应装置会在列车驶入和驶出时触发，其信号会传递给服务器中的数据采集组件100，数据采集组件100接收到信号后控制摄像机进行图像采集操作并接收和保存采集结果。数据采集组件100涉及的图像处理步骤以及其他系统组件涉及的步骤均在服务器中运行。
参照图3，图3为本发明实施例方案涉及的硬件运行环境的电子设备结构示意图。
如图3所示，该电子设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)，可选用户接口1003还可以包括标准的有线接口以及无线接口，而用户接口1003的有线接口在本发明中可为通用串行总线(Universal Serial Bus，USB)接口。网络接口1004可选的可以包括标准的有线接口以及无线接口(如WI-FI接口)。存储器1005可以是高速随机存取存储器(Random Access Memory，RAM)；也可以是稳定的存储器，比如，非易失存储器(Non-volatile Memory)，具体可为，磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图3中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
具体地，电子设备可表现为一类放置于室内的服务器。
如图3所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及列车零部件异常检测程序。
在图3所示的电子设备中，网络接口1004主要用于连接后台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接外设；所述电子设备通过处理器1001调用存储器1005中存储的列车零部件异常检测程序，所述列车零部件异常检测程序表征数据采集组件、数据标注组件、模型训练组件和异常检测组件，所述列车零部件异常检测程序执行所述列车零部件异常检测方法的步骤。
本实施例中可先获取待检测列车行驶图像，通过基于区域划分的预设异常检测模型，对待检测列车行驶图像进行列车零部件的异常检测操作，以得到异常检测结果，其中，预设异常检测模型设置为，将列车行驶图像中的每个目标物归入不同的区域，每个区域之间存在层级关系。明显地，本实施例提供的异常检测方式，对目标物进行了以区域为单位的归属，再以区域为单位进行列车零部件的异常检测操作，提高了异常检测的检测准确性，解决了异常检测准确性较差的技术问题。
基于上述硬件结构，提出本发明列车零部件异常检测方法的实施例。
参照图4，图4为本发明列车零部件异常检测列车零部件异常检测方法第一实施例的流程示意图。
在第一实施例中，所述列车零部件异常检测方法包括以下步骤：
步骤S10：由数据采集组件采集待检测列车行驶图像，并对所述待检测列车行驶图像进行拼接和融合处理；
可以理解的是，本实施例的执行主体可体现为一室内服务器。该室内服务器可与室外装置进行数据传输和交互，例如，可连接于摄像头采集原始列车行驶图像。
具体地，室内服务器通过数据采集组件使用摄像设备采集列车图像；数据采集组件使用拼接、裁剪等方法将图像处理为完整的列车车厢图像，作为原始图像。
步骤S201：由数据标注组件接受用户设定的区域划分方案；
可理解的是，本实施例的区域划分是由用户是由用户根据具体的列车情况和检测需求制定的，它用于对图像中的目标物进行由粗到细的划分，并给予目标物之间一定的层级关系，这一方面可以方便针对所有目标物中具有共性的一部分单独训练模型，另一方面也为异常零部件的判断和归属确立了准则。
需要说明的是，本实施例的所述区域划分方案至少包括：所有待检测目
标物种类和名称、不同目标物属性对应的检测类型、不同目标物之间的层级关系，其中，所述层级关系为有向无环的，以及，每种目标物应包含的各种子目标物的数量；
本实施例中，所述检测类型至少包括边界框检测类型和像素分割类型；所述数据标注组件根据所述不同的目标物属性的检测类型提供相应的标注服务，其中边界框检测类型提供边界框坐标标注服务，像素分割类型提供边界多边形坐标标注服务，生成原始数据标注。
作为示例，对于某型号动车车顶，可以按照如下方式进行划分：
一级区域：车顶中心区域。动车车顶的目标物大多集中在车厢纵向中心三分之一的区域中。本实施例以中心区域目标为检测目标，因此一级域仅包含车顶中心区域。
二级区域：受电弓、避雷器、断路器、高压互感器、高压连接器等车顶关键组件。动车车顶中心区域包含了大量零部件，这些零部件都是影响动车行驶安全的关键元素，因此将其作为二级区域。
三级区域：各组件的螺栓区、各组件的线缆区、各组件的螺栓线缆区。受电弓等车顶关键组件的主要零部件一般分为螺栓和线缆两类。因此，根据不同螺栓、线缆的作用可以将关键组件进一步划分为次级的多个螺栓区和线缆区。另外，对于待检测异常为螺栓与线缆连接方面的，还需要划分螺栓线缆区。
四级区域：各螺栓区的螺栓、各线缆区的线缆。螺栓和线缆是所需检测的零部件的基本单位，因此以它们作为最后的区域。
前三级区域和四级区域中的螺栓的检测类型为边界框，四级区域中线缆的检测类型为像素分割。
按照上述划分方式，本实施例中的区域级别从属关系为一级区域-->二级区域-->三级区域-->四级区域，是无分支的串行结构，某个级别区域只有唯一的上级区域和下级区域。本发明并不要求区域从属关系必须按该方式划分，只需保证区域从属关系是一个有向无环结构即可。在一般情况下，某个级别区域可以有若干级别的上级域和若干级别的下级域。
区域划分确定后，该型号列车的具体目标物数量需要确定，用于之后的缺失判断。例如，车顶中心区域包含2个受电弓，高压互感器螺栓区包含2个A型螺栓1个B型螺栓。额外地，螺栓与螺栓区的相对位置需要确定，用于之后的位移判断。
步骤S202：针对目标物不同的检测类型提供相应的数据标注服务，以供用户使用不同的数据标注方式对所述待检测列车行驶图像的原始数据进行标注生成原始数据标注；
具体地，本实施例只有线缆需要进行像素分割，因此线缆标注多边形边界坐标，其他区域均标注矩形边界框坐标。
步骤S203：由所述数据标注组件根据所述区域划分方案将所述原始数据处理为各区域层级的处理后数据，并根据所述区域划分方案将所述原始数据标注处理为各区域层级的处理后数据标注；
可理解的是，本步骤是对采集到的原始列车图像进行标注和处理，生成处理后数据和标注文件以供后续模型训练需要；
在具体实现中，所述数据标注组件根据所述不同目标物之间的层级关系，循环遍历所述原始数据标注中的每个区域级别的每个目标物，若该目标物存在下级目标物，则以该目标物标注的边界框作为待裁剪图像区域，找到该区域内部的所有下级目标物，将所有下级目标物标注坐标转换为按该区域裁剪后的坐标，执行图像裁剪，得到裁剪后的图像切片和该切片对应的目标物标注。
具体地，数据标注组件200自动执行区域切片和标注转换。标注是在原始图像上统一完成的，而模型训练需要在各区域上分别进行，因此需要将原始图片按标注进行区域切片并执行标注转换。具体来说，对于所有级别区域，以该级别区域的所有上级区域标注的矩形边界框进行图像切片(特别地，一级区域的上级区域是原始图片，因此无需切片)。目标物与其上级区域的归属划分方式是看某个目标物的矩形边界框或其多边形边界是否在其某个上级区域的矩形边界框内。切片后进行标注转换，仅保留该切片中的目标物标注，并将标注坐标从其在原始图像中的坐标转换为在切片中的坐标。分区域级别保存所有切片图像和转换后的标注文件。
步骤S30：由所述模型训练组件以各区域层级的所述处理后数据和所述处理后数据标注作为输入进行神经网络训练，以训练好的模型计算图作为输出，在训练完成后，按照区域层级关系将各模型计算图进行融合，生成推理模型；
在具体实现中，所述模型训练组件使用所述各区域层级的处理后数据标注，按照所述不同目标物属性对应的检测类型，在各层级上独立使用适用于该检测类型的神经网络算法进行训练；
可以理解的是，神经网络算法是一种以人工神经网络为架构，对数据进行表征学习的算法。神经网络算法的学习即使用一组超参数对神经网络进行迭代训练以得到神经网络参数的估计值。
所述模型训练组件根据所述神经网络算法训练过程生成各层级各检测类型的神经网络模型，其中，每个模型表征一个计算图，包含从输入张量到输出张量的计算操作和计算节点，以及所有计算操作涉及到的权重。
其中，所述模型训练组件以训练好的模型计算图作为输出，在训练完成后，按照区域层级关系将各模型计算图进行融合，生成推理模型的步骤，包括：
模型训练组件定义初始张量占位符，用于表示待检测的输入图像；
模型训练组件定义并初始化各级模型的输入张量池与输出张量池，用于保存各级模型的输入与输出；
模型训练组件执行一级模型的前向传播。一级模型的推理计算图以初始张量占位符作为输入。首先将初始张量转换为该模型需要的输入图像，然后进行计算图的前向传播。对于前向传播的输出结果，以目标检测模型为例，该模型前向传播的输出为检测到的所有目标物的类别索引值、置信度得分和边界框坐标，结果仍是张量表示形式。将一级模型的检测结果加入一级模型输出池中；
模型训练组件执行模型间处理。根据所述不同目标物之间的层级关系设定的有向无环规定，不同的一级目标物所包含的下级目标物可能是不同的，且可能存在不包含任何下级目标物的一级目标物。按照所述不同目标物之间的层级关系以及上述一级模型检测结果中目标物类别索引，筛选出存在下级目标物的一级目标物，然后根据该一级目标物理应包含的下级目标物的等级，以该一级目标物边界框坐标在初始张量占位符(原始输入图像)中裁切出相应的区域，将该张量切片放置到所述下级目标物等级的输入池中；
模型训练组件执行二级模型前向传播。二级模型以二级输入池的所有张量作为输入，经前向传播后得到相应的输出。以目标检测模型为例，该模型输出的边界框坐标为待检测目标物在输入张量中的坐标，由于输入是来源于一级模型检测结果的切片，因此结合其输入切片在原始图像中的坐标，将二级模型检测结果转换为在原始图像的坐标。由于一幅图像存在多个待检测目标，为了在多模型串联时明确目标物之间的对应关系，还需记录检测到的目标物相对于其输入切片的样本索引。将二级模型的检测结果加入二级模型输出池中；
对于其他各级区域，模型训练组件重复执行上述的单层级模型前向传播和模型间处理，直到遍历完所有模型；
模型训练组件以初始张量占位符作为输入，以所有级别的检测结果作为输出，重新构建计算图关系，保存融合后的计算图，该融合后的计算图即为最终的神经网络推理计算图。
步骤S40：由所述异常检测组件载入所述推理模型，并接收用户设定的零部件异常判断准则，执行所述模型推理对所述数据采集组件实时采集的待检测列车行驶图像进行推理处理，然后根据所述异常判断准则对经过推理处理后的待检测列车行驶图像的零部件进行异常判定，并生成异常检测结果。
需要说明的是，本实施例的所述零部件“异常”是指其在二维图像中的可视属性相比预设的标准形态发生了显著变化，具体包括：
零部件缺失，即零部件没有出现在其应出现的区域范围内；
零部件位移，即零部件相对其应出现的位置发生了显著偏移；
零部件变形，即零部件边缘形态较其正常情况下发生了显著变化；
零部件破损，即零部件内部形态较其正常情况下发生了显著变化；
零部件脱落，即应相连的两个零部件边缘形态相对关系较其正常情况下发生了显著变化。
可理解的是，本步骤用于执行模型推理和零部件异常判断，以加载模型训练组件生成的模型，作用于数据采集组件获取的列车图像，生成检测结果；最后由异常告警组件将异常检测结果消息发送到指定对象，它根据预设的告警条件、告警方式，在异常检测组件识别到异常后进行告警。
本实施例的有益效果在于：中可先获取待检测列车行驶图像，通过基于区域划分的预设异常检测模型，对待检测列车行驶图像进行列车零部件的异常检测操作，以得到异常检测结果，其中，预设异常检测模型设置为，将列车行驶图像中的每个目标物归入不同的区域，每个区域之间存在层级关系，通过区域划分，可先将列车行驶图像中的每个目标物归入不同的区域，可见，此处可以明确零部件之间的层级关系，再以区域为单位进行列车零部件的异常检测操作，可以提高异常检测的检测准确性，避免了神经网络无法一次性作用于原始高分辨率图片的问题。明显地，本实施例提供的异常检测方式，对目标物进行了以区域为单位的归属，再以区域为单位进行列车零部件的异常检测操作，提高了异常检测的检测准确性，解决了异常检测准确性较差的技术问题。
参照图5，图5为本发明列车零部件异常检测方法第二实施例的流程示意图，基于上述图4所示的第一实施例，提出本发明列车零部件异常检测方法的第二实施例，本实施例主要对模型训练组件进行进一步细化的实施例。
本实施例中，所述步骤S30中涉及列车各区域零部件检测模型训练的方法具体包括：
步骤S311，模型训练组件300载入各区域切片数据和标注文件。
步骤S312，模型训练组件300使用相应的神经网络算法在各区域数据集上分别进行训练。在本实施例中，使用上述实施例1举例的目标物区域划分方案，对于线缆目标的识别采用实例分割算法，其他目标识别采用目标检测算法。本发明不限制使用的具体算法。
一般来说，神经网络的训练流程以成批的输入数据和标注的数据对传入神经网络算法，以神经网络的预测输出与标注的误差作为损失函数，以梯度下降的迭代方法进行训练，以损失函数下降到指定阈值或神经网络参数的变化幅度达到阈值作为训练结束的标志，最终得到的神经网络结构和参数集合作为训练好的神经网络模型。本发明不限制具体的神经网络训练流程。
步骤S313，模型训练组件300训练完成后生成各区域的神经网络模型，保存在计算机存储中。
进一步地，所述步骤S30中涉及列车各区域模型计算图融合的方法具体包括：
步骤S321，模型训练组件300载入各区域训练好的神经网络模型。
步骤S322，模型训练组件300初始化各级区域输入池与输出池。
步骤S323，模型训练组件300定义输入图像占位符张量，定义其边界框坐标为整幅原始图像，定义其图像批次索引为0(因为只有一个输入图像)。将“输入图像占位符张量，输入图像边界框张量，输入图像批次索引”加入一级区域输入池，并定义其下目标物的检测类型。在本示例中，输入图像为原始图片，其下的目标物为一级区域，检测类型为目标检测。
步骤S324，模型训练组件300判断当前计算图融合进度，按照区域从属关系的有向无环图顺序遍历各级别区域，若已经遍历所有级别区域，执行步骤S328，否则执行步骤S325。具体来说，使用“上述方法实施例一”举例的目标物区域划分方案，则区域遍历顺序为一级区域-->二级区域-->三级区域-->四级区域。
步骤S325，模型训练组件300执行单个模型计算图的前向传播。以当前级别区域的输入池作为输入，根据输入池中每个输入的待检测目标物的检测类型分别执行其模型计算图前向传播，得到该级区域的输出张量。
具体来说，使用“上述方法实施例一”举例的目标物区域划分方案，则对于一级区域输入(原始图片)、二级区域所有输入、三级区域所有输入和四级区域输入中标签类别为组件螺栓区的一部分，采用各级区域训练好的目标检测模型进行前向传播；对于四级区域输入中标签类别为组件线缆区的一部分，采用该级区域训练好的实例分割模型进行前向传播。
当模型为目标检测模型时，其计算图前向传播的结果为其输入的所有图片检测到的所有目标物的边界框坐标张量、目标物类别张量和目标物置信度得分张量。当模型为实例分割模型时，其计算图前向传播的结果为其输入的所有图片检测到的所有目标物的分割蒙版张量(或转换为多边形边界坐标张量)、目标物类别张量和目标物置信度得分张量。
步骤S326，模型训练组件300执行单个模型检测结果后处理。各区域模型计算图的前向传播结果中的边界框坐标(边界多边形坐标/分割蒙版)是相对于其输入图像而言的，结合其输入图像的边界框坐标(边界多边形坐标/分割蒙版)将其转换为在原图中的边界框坐标(边界多边形坐标/分割蒙版)。
额外地，由于一个级别区域的每个输入图片都可以检测到多个目标物，而每个输入图片又是若干上层级别区域的检测结果(对于本实施例而言，由于区域级别的从属关系是没有分支的，因此一个区域只有一个上级区域，但本发明不限制区域间的从属关系，只要满足有向无环即可，因此一个区域可以有若干上级域)。为了在整个计算图融合过程中确定具体目标物之间的从属关系(是指具体的目标物实例，例如有2个受电弓，则每个检测到的受电弓螺栓区需要确定是属于具体哪个受电弓，而并非只是级别关系上的从属关系)，需要额外增加一个批次索引张量用于记录输出目标物与输入目标物的对应关系。
优选地，目标检测模型检测到的边界框坐标可以适当调整。具体来说，目标检测算法旨在精确检测目标物边界，但上述数据标注组件200的区域划分方案中并非所有区域都需要精确检测，这是因为：首先，“目标物”泛指需要检测的对象，一般情况下它是一个有形物体，且与周边环境有明显分界，例如目标物“高压互感器”在图像中是一个圆形的物体，则其边界框为该圆形的外接矩形。但是某些情况下，“目标物”也可以是图像中包含某些特征的大致区域范围，例如“车顶中心区域”，该区域在图像中与其周边像素并没有明显的分界。其次，众多区域中只有螺栓和线缆是最终目标物，而其他区域目标物更多是为了区域从属关系的划分而设立。在这种情况下，除了螺栓和线缆外，其余目标物检测到的边界框坐标可以适当外扩，以免因检测误差导致靠近边界框边缘的下级目标物丢失。
最后，该区域的输出为所有检测到的“目标物边界框坐标(边界多边形目标/分割蒙版)张量，目标物类别索引张量，目标物置信度得分张量，目标物批次索引张量”。将该级别区域的输出结果加入该级区域的输出池中。
步骤S327，模型训练组件300执行区域模型间处理。当该级区域为最终级别时，执行步骤S328，否则执行模型间处理。模型间处理用于根据当前级别区域的检测结果准备其之后级别区域的输入池。具体来说，对于该级别区域输出的所有目标物检测结果，逐一判断每个目标物的类别是否存在下级目标物(同一级别的区域中，并非每个类别的目标物都存在次级区域，这是由检测需求决定的。例如二级区域中的"受电弓"类别可以拥有三级区域"受电弓螺栓区"，而同为二级区域的"高压连接器"可以没有后续级别区域)。对于存在下级域的目标物，从原始图片中将该目标物的边界框切片(对于多边形边界/分割蒙版，除切片外还需填充操作使之成为一个矩形图像)，将该切片的“图像张量，图像边界框张量，图像批次索引张量”加入相应下级域的输入池。之后执行步骤S323。
步骤S328，模型训练组件300以输入图像占位符张量作为输入，以所有级别区域输出的“目标物边界框坐标(边界多边形张量/分割蒙版)张量，目标物类别索引张量，目标物置信度得分张量，目标物批次索引张量”作为输出，生成融合的推理计算图，保存该计算图。
参照图6，图6为本发明列车零部件异常检测方法第三实施例的流程示意图，基于上述图4所示的第一实施例，提出本发明列车零部件异常检测方法的第三实施例，本实施例主要对异常检测组件进行进一步细化的实施例。
本实施例中，所述步骤S40，具体包括：
步骤S401，异常检测组件400加载推理计算图。
步骤S402，异常检测组件400接收用户设定的异常判断准则。
异常判断准则是用户根据具体的列车情况和检测需求制定的，在本实施例中，使用针对<方法实施例2>所设定目标物区域划分方案的异常判断准则，待检测的异常类型为：螺栓缺失、螺栓位移、线缆缺失、线缆变形和线缆脱落。
步骤S403，异常检测组件400接收待检测图像。
步骤S404，异常检测组件400执行推理计算图前向传播。以待检测图像作为推理计算图输入图像占位符张量的实际输入数值执行计算图推理，得到所有级别区域的预测结果，包括目标物边界框坐标(边界多边形坐标/分割蒙版)、目标物类别索引、目标物置信度得分、目标物批次索引。
步骤S405，异常检测组件400执行目标物聚合。计算图推理是对所有级别区域的所有目标物一次性完成的，同一级别预测目标物被拼接在同一张量中，这是为了推理的高效，但无法直观获取目标物本身信息及其与上下级目标的关系。目标物聚合用于确定具体目标物之间的从属关系。具体来说，按照区域划分关系遍历所有的目标物类别，按照检测结果中目标物的区域级别、类别索引及批次索引确定目标物从属关系，得到每个目标物检测信息与其下所有子目标的检测信息。
步骤S406，异常检测组件400执行异常判断。经目标物聚合后，所有目标物的从属关系已经清晰，可以进行异常判断。
对于螺栓缺失/线缆缺失，判定方法如下：在检测结果中依次遍历按照区域划分方案应包含螺栓/线缆的区域类别的目标物，对其下检测到的各种类型的螺栓/线缆计数，若某种类型螺栓/线缆数少于异常判断准则中设定的正常情况下的螺栓/线缆数，则视为螺栓/线缆缺失，缺失螺栓的原本位置可结合螺栓位移判定方法进行判断。
对于螺栓位移，判定方法如下：在检测结果中依次遍历按照区域划分方案应包含螺栓的区域类别的目标物，计算其下检测到的螺栓与该区域的相对位置，按照异常判断准则中设定的正常情况下的相对位置进行分配。若某个螺栓位未分配到螺栓，则结合上述螺栓缺失判定方法判断该螺栓缺失。若某个螺栓位分配到螺栓，但其与规定螺栓位的相对距离大于异常判断准则中设定的阈值，则视为螺栓位移。
对于线缆变形，判定方法如下：在检测结果中依次遍历按照区域划分方案应包含线缆的区域类别的目标物，对于其下每个检测到的电缆实例，根据其多边形边界判断其平行边线的平滑程度，若平滑程度小于异常判断准则中设定的阈值，则视为线缆变形。
对于线缆脱落，判定方法如下：在检测结果中依次遍历按照区域划分方案确定的螺栓线缆区。首先按照螺栓缺失/线缆缺失判定方法检查缺失情况，其次按照螺栓位移判定方法检查位移情况。若线缆没有缺失，且某个应与其相连的螺栓位的螺栓没有缺失或位移，则计算该螺栓的边界框与该线缆多边形边界的距离，若该距离大于异常判断准则中设定的阈值，则视为该螺栓线缆连接处发生线缆脱落。
优选地，上述不同类型的异常检测对象中有一些共同的目标物，因此不必反复遍历检测结果，而只需要遍历一次即可。
步骤S407，异常检测组件400汇总检测结果，将检测结果保存在计算机存储中，并额外传递给异常告警组件。
本发明具有如下有益效果：
本发明实施例所公开的基于计算机视觉的列车零部件异常检测方法及系统，利用区域划分方案对整节车厢零部件按照其大小和从属关系进行划分，在每个区域上利用适合该区域零部件大小和特性的神经网络算法进行训练，得到特定于区域的零部件形态识别模型。该方法避免了神经网络无法一次性作用于原始高分辨率图片的问题，并且解决了简单使用原始图像切片进行训练无法应对尺度跨度过大的目标物和目标物被切割的问题，有效提高了多尺度目标的检测的精度。区域划分方案能进一步确定零部件之间复杂的关系，使得零部件本身异常检测、零部件之间关系异常检测和异常零部件的归属判断问题得到良好解决。
另外，所述特定于区域的零部件形态识别模型不仅包含目标检测，还可包含语义分割、实例分割等模型，扩大了零部件形态的描述范围，使得异常检测类型可以涵盖零部件缺失、位移、破损、变形、脱落等列车零部件主要会出现的异常类型，扩大了检测范围。
进一步的，本发明实施例所公开的基于计算机视觉的列车零部件异常检测方法通过计算图融合将所述特定于区域的零部件形态识别模型融合为一个完整的推理模型，使其能够在现代计算机硬件上快速运行，一次性识别所有零部件的所有形态特征，然后再基于异常判定规则识别异常，极大提高了检测速度。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为名称。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器、RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者通信设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种列车零部件异常检测方法，其特征在于，所述异常检测方法包括：
由数据采集组件采集待检测列车行驶图像，并对所述待检测列车行驶图像进行拼接和融合处理；
由数据标注组件接受用户设定的区域划分方案，针对目标物不同的检测类型提供相应的数据标注服务，以供用户使用不同的数据标注方式对所述待检测列车行驶图像的原始数据进行标注生成原始数据标注；
由所述数据标注组件根据所述区域划分方案将所述原始数据处理为各区域层级的处理后数据，并根据所述区域划分方案将所述原始数据标注处理为各区域层级的处理后数据标注；
由所述模型训练组件以各区域层级的所述处理后数据和所述处理后数据标注作为输入进行神经网络训练，以训练好的模型计算图作为输出，在训练完成后，按照区域层级关系将各模型计算图进行融合，生成推理模型；
由所述异常检测组件载入所述推理模型，并接收用户设定的零部件异常判断准则，执行所述模型推理对所述数据采集组件实时采集的待检测列车行驶图像进行推理处理，然后根据所述异常判断准则对经过推理处理后的待检测列车行驶图像的零部件进行异常判定，并生成异常检测结果。
2.如权利要求1所述的方法，其特征在于，所述区域划分方案至少包括：所有待检测目标物种类和名称、不同目标物属性对应的检测类型、不同目标物之间的层级关系，其中，所述层级关系为有向无环的，以及，每种目标物应包含的各种子目标物的数量；
所述异常检测结果的结果类型至少包括:零部件缺失、零部件位移、零部件变形、零部件破损和零部件脱落。
3.如权利要求2所述的方法，其特征在于，所述数据标注组件接受用户设定的区域划分方案，针对目标物不同的检测类型提供相应的数据标注服务的步骤包括：
所述数据标注组件接受用户设定的区域划分方案，所述区域划分方案至少包括：不同目标物属性对应的检测类型，其中，所述检测类型至少包括边界框检测类型和像素分割类型；
所述数据标注组件根据所述不同的目标物属性的检测类型提供相应的标注服务，其中边界框检测类型提供边界框坐标标注服务，像素分割类型提供边界多边形坐标标注服务，生成原始数据标注。
4.如权利要求3所述的异常检测方法，其特征在于，所述数据标注组件根据所述区域划分方案将所述原始数据标注处理为各区域层级的处理后数据标注的步骤，具体包括：
所述数据标注组件根据所述不同目标物之间的层级关系，循环遍历所述原始数据标注中的每个区域级别的每个目标物，若该目标物存在下级目标物，则以该目标物标注的边界框作为待裁剪图像区域，找到该区域内部的所有下级目标物，将所有下级目标物标注坐标转换为按该区域裁剪后的坐标，执行图像裁剪，得到裁剪后的图像切片和该切片对应的目标物标注。
5.如权利要求4所述的异常检测方法，其特征在于，由所述模型训练组件以各区域层级的所述处理后数据和所述处理后数据标注作为输入进行神经网络训练的步骤，具体包括：
所述模型训练组件使用所述各区域层级的处理后数据标注，按照所述不同目标物属性对应的检测类型，在各层级上独立使用适用于该检测类型的神经网络算法进行训练；
所述模型训练组件根据所述神经网络算法训练过程生成各层级各检测类型的神经网络模型，其中，每个模型表征一个计算图，包含从输入张量到输出张量的计算操作和计算节点，以及所有计算操作涉及到的权重。
6.如权利要求2所述的异常检测方法，其特征在于，所述模型训练组件以训练好的模型计算图作为输出，在训练完成后，按照区域层级关系将各模型计算图进行融合，生成推理模型的步骤，包括：
所述模型训练组件定义初始张量占位符，用于表示待检测的输入图像；
所述模型训练组件定义并初始化各级模型的输入张量池与输出张量池，用于保存各级模型的输入与输出；
所述模型训练组件执行一级模型的前向传播，所述一级模型的推理计算图以初始张量占位符作为输入，具体为：
将初始张量转换为该模型需要的输入图像，然后进行计算图的前向传播；
将一级模型的检测结果加入一级模型输出池中；
所述模型训练组件执行模型间处理，具体为：根据所述不同目标物之间的层级关系设定的有向无环规定；
按照所述不同目标物之间的层级关系以及上述一级模型检测结果中目标物类别索引，筛选出存在下级目标物的一级目标物；
根据该一级目标物理应包含的下级目标物的等级，以该一级目标物边界框坐标在初始张量占位符中裁切出相应的区域，将该张量切片放置到所述下级目标物等级的输入池中；
所述模型训练组件执行二级模型前向传播；二级模型以二级输入池的所有张量作为输入，经前向传播后得到相应的输出；以目标检测模型为例，该模型输出的边界框坐标为待检测目标物在输入张量中的坐标，由于输入是来源于一级模型检测结果的切片，因此结合其输入切片在原始图像中的坐标，将二级模型检测结果转换为在原始图像的坐标；由于一幅图像存在多个待检测目标，为了在多模型串联时明确目标物之间的对应关系，还需记录检测到的目标物相对于其输入切片的样本索引；将二级模型的检测结果加入二级模型输出池中；
对于其他各级区域，模型训练组件重复执行上述的单层级模型前向传播和模型间处理，直到遍历完所有模型；
所述模型训练组件以初始张量占位符作为输入，以所有级别的检测结果作为输出，重新构建计算图关系，保存融合后的计算图，该融合后的计算图即为最终的神经网络推理计算图。
7.一种列车零部件异常检测系统，其特征在于，所述系统包括数据采集组件、数据标注组件、模型训练组件和异常检测组件；
所述数据采集组件，用于采集待检测列车行驶图像，并对所述待检测列车行驶图像进行拼接和融合处理；
所述数据标注组件，用于接受用户设定的区域划分方案，针对目标物不同的检测类型提供相应的数据标注服务，以供用户使用不同的数据标注方式对所述待检测列车行驶图像的原始数据进行标注生成原始数据标注；
所述数据标注组件，还用于根据所述区域划分方案将所述原始数据处理为各区域层级的处理后数据，并根据所述区域划分方案将所述原始数据标注处理为各区域层级的处理后数据标注；
所述模型训练组件，用于以各区域层级的所述处理后数据和所述处理后数据标注作为输入进行神经网络训练，以训练好的模型计算图作为输出，在训练完成后，按照区域层级关系将各模型计算图进行融合，生成推理模型；
所述异常检测组件，用于载入所述推理模型，并接收用户设定的零部件异常判断准则，执行所述模型推理对所述数据采集组件实时采集的待检测列车行驶图像进行推理处理，然后根据所述异常判断准则对经过推理处理后的待检测列车行驶图像的零部件进行异常判定，并生成异常检测结果。
8.如权利要求7所述的列车零部件异常检测系统，其特征在于，所述系统还包括异常告警组件；
所述异常告警组件，用于按照预设的告警条件和方式执行异常警告。
9.一种电子设备，其特征在于，所述电子设备包括：摄像设备、存储器、处理器及存储在所述存储器上并可在所述处理器上运行列车零部件异常检测程序，所述摄像设备用于采集待检测列车行驶图像，所述列车零部件异常检测程序被所述处理器执行时实现如权利要求1至6中任一项所述的列车零部件异常检测方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有列车零部件异常检测程序，所述列车零部件异常检测程序被处理器执行时实现如权利要求1至6中任一项所述的列车零部件异常检测方法的步骤。
CN202110669664.7A 2021-06-17 2021-06-17 列车零部件异常检测方法、系统、电子设备及存储介质 Active CN113393442B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110669664.7A CN113393442B (zh) 2021-06-17 2021-06-17 列车零部件异常检测方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110669664.7A CN113393442B (zh) 2021-06-17 2021-06-17 列车零部件异常检测方法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113393442A true CN113393442A (zh) 2021-09-14
CN113393442B CN113393442B (zh) 2023-05-16

Family

ID=77621561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110669664.7A Active CN113393442B (zh) 2021-06-17 2021-06-17 列车零部件异常检测方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113393442B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581741A (zh) * 2022-05-09 2022-06-03 广东电网有限责任公司佛山供电局 基于图像增强的断路器试验机器人接线定位方法及装置
CN115719475A (zh) * 2022-10-24 2023-02-28 北京交通大学 一种基于深度学习的三阶段轨旁设备故障自动检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268588A (zh) * 2014-06-19 2015-01-07 江苏大学 铁路货车闸瓦钎丢失故障的自动检测方法
CN106600581A (zh) * 2016-12-02 2017-04-26 北京航空航天大学 一种基于双目立体视觉的列车运行故障自动检测系统及方法
US20180033144A1 (en) * 2016-09-21 2018-02-01 Realize, Inc. Anomaly detection in volumetric images
WO2020012475A1 (en) * 2018-07-10 2020-01-16 Rail Vision Ltd Method and system for railway obstacle detection based on rail segmentation
CN112330646A (zh) * 2020-11-12 2021-02-05 南京优视智能科技有限公司 一种基于二维图像的动车车底异常检测方法
CN112508034A (zh) * 2020-11-03 2021-03-16 精英数智科技股份有限公司 货运列车故障检测方法、装置及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268588A (zh) * 2014-06-19 2015-01-07 江苏大学 铁路货车闸瓦钎丢失故障的自动检测方法
US20180033144A1 (en) * 2016-09-21 2018-02-01 Realize, Inc. Anomaly detection in volumetric images
CN106600581A (zh) * 2016-12-02 2017-04-26 北京航空航天大学 一种基于双目立体视觉的列车运行故障自动检测系统及方法
WO2020012475A1 (en) * 2018-07-10 2020-01-16 Rail Vision Ltd Method and system for railway obstacle detection based on rail segmentation
CN112508034A (zh) * 2020-11-03 2021-03-16 精英数智科技股份有限公司 货运列车故障检测方法、装置及电子设备
CN112330646A (zh) * 2020-11-12 2021-02-05 南京优视智能科技有限公司 一种基于二维图像的动车车底异常检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩烨: "基于计算机视觉的高铁接触网支持装置零部件分类提取与缺陷检测", 《中国优秀硕士论文全文数据库工程科技Ⅱ辑》, 15 March 2020 (2020-03-15), pages 1 - 107 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581741A (zh) * 2022-05-09 2022-06-03 广东电网有限责任公司佛山供电局 基于图像增强的断路器试验机器人接线定位方法及装置
CN114581741B (zh) * 2022-05-09 2022-07-15 广东电网有限责任公司佛山供电局 基于图像增强的断路器试验机器人接线定位方法及装置
CN115719475A (zh) * 2022-10-24 2023-02-28 北京交通大学 一种基于深度学习的三阶段轨旁设备故障自动检测方法
CN115719475B (zh) * 2022-10-24 2023-09-19 北京交通大学 一种基于深度学习的三阶段轨旁设备故障自动检测方法

Also Published As

Publication number Publication date
CN113393442B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN110032962B (zh) 一种物体检测方法、装置、网络设备和存储介质
CN112233097B (zh) 基于空时域多维融合的道路场景他车检测系统和方法
CN115908424A (zh) 基于三维激光扫描的建筑物健康检测方法、系统及介质
CN111695622A (zh) 变电作业场景的标识模型训练方法、标识方法及装置
US10984588B2 (en) Obstacle distribution simulation method and device based on multiple models, and storage medium
CN113343461A (zh) 自动驾驶车辆的仿真方法、装置、电子设备及存储介质
CN113393442B (zh) 列车零部件异常检测方法、系统、电子设备及存储介质
CN114596555B (zh) 障碍物点云数据筛选方法、装置、电子设备及存储介质
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN112541908B (zh) 基于机器视觉的铸件飞边识别方法及存储介质
CN114627394B (zh) 一种基于无人机的渣土车套牌识别方法及系统
Avramović et al. Real-time large scale traffic sign detection
WO2022226831A1 (zh) 未定义类别障碍物的检测方法、装置和计算机设备
CN114241448A (zh) 障碍物航向角的获取方法、装置、电子设备及车辆
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN115984759A (zh) 变电站开关状态识别方法、装置、计算机设备和存储介质
SB et al. Deep Learning Approach for Pothole Detection-A Systematic Review
CN113657179A (zh) 图像识别及建模方法、装置、电子设备及存储介质
CN115393379A (zh) 一种数据标注方法及相关产品
CN112529881A (zh) 一种电力控制柜线缆异常识别方法及装置
Ashraf et al. Efficient Pavement Crack Detection and Classification Using Custom YOLOv7 Model
Dekker et al. Point Cloud Analysis of Railway Infrastructure: A Systematic Literature Review
CN113093798B (zh) 基于电场分布的无人机巡检避险方法、装置及存储介质
Hadjidemetriou et al. Patch defects detection for pavement assessment, using smartphones and support vector machines
Fahmani et al. Deep learning-based predictive models for pavement patching and manholes evaluation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant