CN112488995B - 列车自动化检修的智能判伤方法及系统 - Google Patents

列车自动化检修的智能判伤方法及系统 Download PDF

Info

Publication number
CN112488995B
CN112488995B CN202011294941.2A CN202011294941A CN112488995B CN 112488995 B CN112488995 B CN 112488995B CN 202011294941 A CN202011294941 A CN 202011294941A CN 112488995 B CN112488995 B CN 112488995B
Authority
CN
China
Prior art keywords
train
key
image
component
judging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011294941.2A
Other languages
English (en)
Other versions
CN112488995A (zh
Inventor
张渝
赵波
彭建平
黄炜
胡继东
王楠
马莉
王祯
肖龙飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Leading Software Technology Co ltd
Original Assignee
Chengdu Leading Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Leading Software Technology Co ltd filed Critical Chengdu Leading Software Technology Co ltd
Priority to CN202011294941.2A priority Critical patent/CN112488995B/zh
Publication of CN112488995A publication Critical patent/CN112488995A/zh
Application granted granted Critical
Publication of CN112488995B publication Critical patent/CN112488995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/08—Railway vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

本发明涉及列车故障自动识别检测技术领域，实施例具体公开一种列车自动化检修的智能判伤方法及系统。本申请通过采集列车的车底全景图像；采集列车的车底全景图像中未包含区域的局部部件图像；采用预设的智能判伤算法判断图像中列车关键部件的工作状态；采用预设的三维重构技术复原图像中列车关键部件的三维物理信息，并利用三维物理信息测量该列车关键部件的尺寸，根据预设的报警阈值，输出报警信息的方法，整合车底全景图像和局部部件图像检测结果，可进行车底全可视部件异常判定，提高了故障报警的覆盖度与准确度，全景图像报警与局部图像报警相关联，提高报警速度，提高报警复查效率。

Description

列车自动化检修的智能判伤方法及系统
技术领域
本发明涉及列车故障自动识别检测技术领域，具体涉及一种列车自动化检修的智能判伤方法及系统。
背景技术
列车车底是由轮对、轴箱油润装置、侧架、摇枕、弹簧减振装置、制动装置、电机等部件组成。现有技术对列车车底进行故障识别检测的方式为：列车入库后停在检修地沟作业区域，人工下地沟对走行部各个部件进行观看走查，查找各重要走行部部件是否出现松动、丢失、变形、异物等问题，该方式的缺点是工作效率低且检测主观性强。
现有技术在动车、机务、车辆、地铁等机车车辆走行部故障自动识别检测上存在一定局限性，无法完成所有车底部件的检测，存在漏检区域；且报警准确率不高，受环境影响干扰大；工作人员复查报警区域效率低。传统的故障检测算法也存在一定的局限性，不能够适应光照、雨水等干扰，会产生大量的误报，同时不能够自动辨别出车底关键部件的名称，因此有待提升算法的智能化程度。
发明内容
有鉴于此，本申请提供一种列车自动化检修的智能判伤方法及系统，能够解决或者至少部分解决上述存在的问题。
为解决以上技术问题，本发明提供的技术方案是一种列车自动化检修的智能判伤方法，包括：
采集列车的车底全景图像；
采集列车的车底全景图像中未包含区域的局部部件图像；
根据列车的车底全景图像和局部部件图像，采用预设的智能判伤算法判断图像中列车关键部件的工作状态；
根据列车的局部部件图像，采用预设的三维重构技术复原图像中列车关键部件的三维物理信息，并利用三维物理信息测量该列车关键部件的尺寸；
根据列车关键部件的工作状态、关键部件的尺寸和预设的报警阈值，输出报警信息。
优选的，所述根据列车的车底全景图像和局部部件图像，采用预设的智能判伤算法判断图像中列车关键部件的工作状态的方法包括：
将列车的车底全景图像和局部部件图像拼接形成列车关键部件整体图像；
根据列车关键部件整体图像和预设的列车关键部件识别模型，获取列车关键部件的类别和位置信息；
将列车关键部件整体图像和预存的标准图像进行特征配准，获得特征配准参数；
根据特征配准参数、列车关键部件的类别和位置信息判断列车关键部件的工作状态。
优选的，所述根据列车关键部件整体图像和预设的列车关键部件识别模型，获取列车关键部件的类别和位置信息的方法包括：
根据检测需求，定义列车关键部件，并进行数据标注；
设计AI算法模型，利用上述标注数据进行模型的训练，并保持训练好的模型；
将列车关键部件整体图像传送给AI算法模型，AI算法模型输出列车关键部件整体图像中存在的关键部件。
优选的，所述将列车关键部件整体图像和预存的标准图像进行特征配准，获得特征配准参数的方法包括：
提取列车关键部件整体图像和预存的标准图像的特征，利用高斯金字塔构建多尺度信息，形成特征向量并将特征向量归一化到128维；
对列车关键部件整体图像和预存的标准图像中找到的特征向量进行匹配，寻找到最佳的N对匹配点，根据N对匹配点计算出两幅图像之间的单应性矩阵，输出配准后的标准图像以及单应性矩阵；
通过SSIM衡量配准结果，并输出配准参数；其中，衡量配准结果的公式为：
其中，公式基于样本x和y之间的三个比较衡量：亮度l、对比度c和结构s，取c3＝c2/2，μx为x的均值，μy为y的均值，/>为x的方差，/>为y的方差，σxy为x和y的协方差，c1＝(k1L)2，c2＝(k2L)2为两个常数，避免除零，L为像素值的范围，取2B-1，k1＝0.01，k2＝0.03为默认值。
优选的，所述根据特征配准参数、列车关键部件的类别和位置信息判断列车关键部件的工作状态的方法包括：
通过单应性矩阵计算预存的标准图像中正常关键部件的位置，将其映射到列车关键部件整体图像中，通过与列车关键部件整体图像中识别到的关键部件进行IOU判断，通过预设阈值筛选出配对的关键部件；
对于需要判断部件是否丢失的关键部件，筛选出未配对的关键部件；对于需要判断部件是否变形或其它异常，计算两个相同目标对的特征相似度。
优选的，所述根据列车的局部部件图像，采用预设的三维重构技术复原图像中列车关键部件的三维物理信息，并利用三维物理信息测量该列车关键部件的尺寸的方法包括：
获取局部部件图像，所述局部部件图像包括通过每个相机获取N帧条纹图像；
基于N帧条纹图像，通过格雷码及相移算法求解出相位值；
通过标定参数，求解出相位值对应的实际物理高度，从而得到被测列车关键部件的三维点云数据；
通过点云配准和融合算法，完成双相机或多相机数据的融合，弥补单相机存在视场盲区的情况；
通过最终的三维点云数据，计算列车关键部件的尺寸。
本发明还提供一种列车自动化检修的智能判伤系统，包括：
全景图像采集模块，用于采集列车的车底全景图像；
局部图像采集模块，用于采集列车的车底全景图像中未包含区域的局部部件图像；
关键部件判断模块，用于根据列车的车底全景图像和局部部件图像，采用预设的智能判伤算法判断图像中列车关键部件的工作状态；
关键部件测量模块，用于根据列车的局部部件图像，采用预设的三维重构技术复原图像中列车关键部件的三维物理信息，并利用三维物理信息测量该列车关键部件的尺寸；
报警信息输出模块，用于根据列车关键部件的工作状态、关键部件的尺寸和预设的报警阈值，输出报警信息。
优选的，所述关键部件判断模块包括：
整体图像拼接单元，用于将列车的车底全景图像和局部部件图像拼接形成列车关键部件整体图像；
关键部件识别单元，用于根据列车关键部件整体图像和预设的列车关键部件识别模型，获取列车关键部件的类别和位置信息；
配准参数获取单元，用于将列车关键部件整体图像和预存的标准图像进行特征配准，获得特征配准参数；
部件状态判断单元，用于根据特征配准参数、列车关键部件的类别和位置信息判断列车关键部件的工作状态。
优选的，所述关键部件测量模块包括：
部件图像获取单元，用于获取局部部件图像，所述局部部件图像包括通过每个相机获取N帧条纹图像；
相位值求解单元，用于基于N帧条纹图像，通过格雷码及相移算法求解出相位值；
三维点云计算单元，用于通过标定参数，求解出相位值对应的实际物理高度，从而得到被测列车关键部件的三维点云数据；
相机数据融合单元，用于通过点云配准和融合算法，完成双相机或多相机数据的融合，弥补单相机存在视场盲区的情况；
部件尺寸计算单元，用于通过最终的三维点云数据，计算列车关键部件的尺寸。
本发明还提供一种列车自动化检修的智能判伤系统，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现上述列车自动化检修的智能判伤方法的步骤。
本申请与现有技术相比，其有益效果详细说明如下：本申请通过采集列车的车底全景图像；采集列车的车底全景图像中未包含区域的局部部件图像；根据列车的车底全景图像和局部部件图像，采用预设的智能判伤算法判断图像中列车关键部件的工作状态；根据列车的局部部件图像，采用预设的三维重构技术复原图像中列车关键部件的三维物理信息，并利用三维物理信息测量该列车关键部件的尺寸，根据列车关键部件的工作状态、关键部件的尺寸和预设的报警阈值，输出报警信息的方法，整合车底全景图像和局部部件图像检测结果，可进行车底全可视部件异常判定，提高了故障报警的覆盖度与准确度，全景图像报警与局部图像报警相关联，提高报警速度，提高报警复查效率。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种列车自动化检修的智能判伤方法流程示意图；
图2为本发明实施例提供的一种判断列车关键部件的工作状态的方法流程示意图；
图3为本发明实施例提供的一种测量列车关键部件的尺寸的方法流程示意图；
图4为本发明实施例提供的一种列车自动化检修的智能判伤系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。
为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步的详细说明。
如图1所示，本发明实施例提供一种列车自动化检修的智能判伤方法，包括：
S11：采集列车的车底全景图像；
S12：采集列车的车底全景图像中未包含区域的局部部件图像；
S13：根据列车的车底全景图像和局部部件图像，采用预设的智能判伤算法判断图像中列车关键部件的工作状态；
S14：根据列车的局部部件图像，采用预设的三维重构技术复原图像中列车关键部件的三维物理信息，并利用三维物理信息测量该列车关键部件的尺寸；
S15：根据列车关键部件的工作状态、关键部件的尺寸和预设的报警阈值，输出报警信息。
具体的，S11采集列车的车底全景图像通过图像采集模块完成，图像采集模块可以为多个，车底全景图像可以由一系列子图拼接而成，S12采集列车的车底全景图像中未包含区域的局部部件图像可以将图像采集模块安装在机械手臂上，图像采集模块随着机械臂移动完成部件图像采集，图像采集模块可以为拍摄设备。局部部件图像包含N+1张图，其中N张图传递给S14，1张图传递给S13。
具体的，S13接收采集的图像数据，通过智能判伤算法，判断图像中包含的列车的关键部件是否存在异常，异常包括但不限于异常部件的名称、异常部件的位置(图像位置和物理位置，具体到车厢号、轴序、左或右等绝对空间位置信息)、异常类型(部件丢失、变形、断裂等)等。
具体的，S14接收采集的图像数据，并利用三维重构技术从复原出被测关键部件的三维物理坐标，然后利用三维物理信息对列车关键部件尺寸信息进行测量。该步骤主要负责尺寸测量类、螺栓松动类、平整度测量等，弥补二维图像无法实现精细化测量的劣势。
具体的，S15根据关键部件的工作状态和关键部件的尺寸，通过一系列的逻辑判断，最终将所有的报警信息关联到统一的标准上并通过报表展示给客户。
需要说明的是，如图2所示，S13根据列车的车底全景图像和局部部件图像，采用预设的智能判伤算法判断图像中列车关键部件的工作状态的方法包括：
S131：将列车的车底全景图像和局部部件图像拼接形成列车关键部件整体图像；
S132：根据列车关键部件整体图像和预设的列车关键部件识别模型，获取列车关键部件的类别和位置信息；
S133：将列车关键部件整体图像和预存的标准图像进行特征配准，获得特征配准参数；
S134：根据特征配准参数、列车关键部件的类别和位置信息判断列车关键部件的工作状态。
需要说明的是，S132根据列车关键部件整体图像和预设的列车关键部件识别模型，获取列车关键部件的类别和位置信息的方法包括：
根据检测需求，定义列车关键部件，并进行数据标注；
设计AI算法模型，利用上述标注数据进行模型的训练，并保持训练好的模型；
将列车关键部件整体图像传送给AI算法模型，AI算法模型输出列车关键部件整体图像中存在的关键部件。
具体的，可以将列车的车底全景图像和局部部件图像的二维图像输入AI算法模型，模型包含多种卷积深度学习网络，根据关键部件的特征不同，分别采用了多种网络进行关键部件识别，最终网络会输出本张图中存在哪些关键部件并将关键部件的位置信息和类别信息传递给智能判伤算法。
需要说明的是，S133将列车关键部件整体图像和预存的标准图像进行特征配准，获得特征配准参数的方法包括：
提取列车关键部件整体图像和预存的标准图像的特征，利用高斯金字塔构建多尺度信息，形成特征向量并将特征向量归一化到128维；
对列车关键部件整体图像和预存的标准图像中找到的特征向量进行匹配，寻找到最佳的N对匹配点，根据N对匹配点计算出两幅图像之间的单应性矩阵，输出配准后的标准图像以及单应性矩阵；
通过SSIM衡量配准结果，并输出配准参数；其中，衡量配准结果的公式为：
其中，公式基于样本x和y之间的三个比较衡量：亮度l(luminance)、对比度c(contrast)和结构s(structure)，取c3＝c2/2，μx为x的均值，μy为y的均值，/>为x的方差，/>为y的方差，σxy为x和y的协方差，c1＝(k1L)2，c2＝(k2L)2为两个常数，避免除零，L为像素值的范围，取2B-1，k1＝0.01，k2＝0.03为默认值。
具体的，将拍摄设备采集到的图像数据传输给智能配准算法，智能配准算法会将设备采集到的当前图和数据库中对应的标准图进行配准。配准流程如下：a)提取拍摄设备采集的当前图和数据库中的标准图中的目标的点特征、结构特征等其它特征组合；b)根据检测到的特征，进行特征匹配，从而得到一对一对的匹配点对；c)利用聚类、随机抽样等方法，剔除匹配点对中存在的误匹配点对；d)最后通过SSIM衡量配准结果的好坏，并输出一系列的配准参数。利用S132中的识别结果和S133中的配准参数，通过智能判伤算法判断该图像中关键部件的状态是否正常，从而实现对关键部件安全状态的监测，例如关键部件丢失、部件形变和移位等。通过设计AI模型，以及智能配准算法、智能判伤算法，并结合先验知识(数据库中的标准数据)，可完成关键部件的智能判伤，而且准确率很高，可以适应光照变化、雨水等因素的影响。
需要说明的是，S134根据特征配准参数、列车关键部件的类别和位置信息判断列车关键部件的工作状态的方法包括：
通过单应性矩阵计算预存的标准图像中正常关键部件的位置，将其映射到列车关键部件整体图像中，通过与列车关键部件整体图像中识别到的关键部件进行IOU判断，通过预设阈值筛选出配对的关键部件；
对于需要判断部件是否丢失的关键部件，筛选出未配对的关键部件；对于需要判断部件是否变形或其它异常，计算两个相同目标对的特征相似度。
具体的，智能判伤算法输入为1)当前图识别到的关键部件类别和位置信息2)智能配准算法输入的单应性矩阵和配准后的标准图3)标准图中预定好的正常的关键部件。具体流程为：通过单应性矩阵计算预定义图中正常关键部件的位置，将其映射到当前图像中，通过与当前图中识别到的关键部件进行IOU(交并比)判断，通过阈值筛选出配对的关键部件。如果需要判断部件丢失，只需要筛选出未配对的即可。如果需要判断部件变形或其它异常，则通过计算两个相同目标对的特征相似度，从而判断出当前图中的关键部件是否存在异常。
需要说明的是，如图3所示，S14根据列车的局部部件图像，采用预设的三维重构技术复原图像中列车关键部件的三维物理信息，并利用三维物理信息测量该列车关键部件的尺寸的方法包括：
S141：获取局部部件图像，局部部件图像包括通过每个相机获取N帧条纹图像；
S142：基于N帧条纹图像，通过格雷码及相移算法求解出相位值；
S143：通过标定参数，求解出相位值对应的实际物理高度，从而得到被测列车关键部件的三维点云数据；
S144：通过点云配准和融合算法，完成双相机或多相机数据的融合，弥补单相机存在视场盲区的情况；
S145：通过最终的三维点云数据，计算列车关键部件的尺寸。
具体的，S14采用双目(或多目)及格雷码技术，相移技术。三维成像算法流程为：1)每个相机获取N帧条纹图像(格雷码图和条纹图)；2)基于N帧图，通过格雷码及相移算法求解出相位值；3)通过标定参数，求解出相位值对应的实际物理高度，从而得到被测物体的三维点云数据；4)通过点云配准和融合算法，实现双相机(或多相机)数据的融合，弥补单相机存在视场盲区的情况；5)通过最终的三维点云数据，计算列车关键部件的状态信息，例如闸片厚度检测、撒砂管高度检测、扫石器高度检测、螺栓松动检测、三维与二维数据融合、平面平整度检测等。
本申请中列车关键部件的二维图像识别技术采用特征检测法，包括目标点特征提取、结构特征提取，然后通过聚类、随机抽样等算法剔除误匹配点，通过特征匹配实现目标图的配准，并利用SSIM衡量配准结果。同时利用深度学习算法识别车底关键部件，从而实现对关键部件安全状态的监测，例如关键部件丢失、部件形变和移位等。本申请通过数据平台整合车底全景图像和局部部件图像检测结果，可进行车底全可视部件异常判定，提高了故障报警的覆盖度与准确度，全景图像报警与局部图像报警相关联，提高报警速度，提高报警复查效率。
如图4所示，本发明还提供一种列车自动化检修的智能判伤系统，包括：
全景图像采集模块21，用于采集列车的车底全景图像；
局部图像采集模块22，用于采集列车的车底全景图像中未包含区域的局部部件图像；
关键部件判断模块23，用于根据列车的车底全景图像和局部部件图像，采用预设的智能判伤算法判断图像中列车关键部件的工作状态；
关键部件测量模块24，用于根据列车的局部部件图像，采用预设的三维重构技术复原图像中列车关键部件的三维物理信息，并利用三维物理信息测量该列车关键部件的尺寸；
报警信息输出模块25，用于根据列车关键部件的工作状态、关键部件的尺寸和预设的报警阈值，输出报警信息。
需要说明的是，关键部件判断模块23包括：
整体图像拼接单元，用于将列车的车底全景图像和局部部件图像拼接形成列车关键部件整体图像；
关键部件识别单元，用于根据列车关键部件整体图像和预设的列车关键部件识别模型，获取列车关键部件的类别和位置信息；
配准参数获取单元，用于将列车关键部件整体图像和预存的标准图像进行特征配准，获得特征配准参数；
部件状态判断单元，用于根据特征配准参数、列车关键部件的类别和位置信息判断列车关键部件的工作状态。
需要说明的是，关键部件测量模块24包括：
部件图像获取单元，用于获取局部部件图像，局部部件图像包括通过每个相机获取N帧条纹图像；
相位值求解单元，用于基于N帧条纹图像，通过格雷码及相移算法求解出相位值；
三维点云计算单元，用于通过标定参数，求解出相位值对应的实际物理高度，从而得到被测列车关键部件的三维点云数据；
相机数据融合单元，用于通过点云配准和融合算法，完成双相机或多相机数据的融合，弥补单相机存在视场盲区的情况；
部件尺寸计算单元，用于通过最终的三维点云数据，计算列车关键部件的尺寸。
本发明还提供一种列车自动化检修的智能判伤系统，包括：存储器，用于存储计算机程序；处理器，用于执行计算机程序以实现上述列车自动化检修的智能判伤方法的步骤。
图4所对应实施例中特征的说明可以参见图1-图3所对应实施例的相关说明，这里不再一一赘述。
以上对本发明实施例所提供的一种列车自动化检修的智能判伤方法及系统进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

Claims (8)

1.一种列车自动化检修的智能判伤方法，其特征在于，包括：
采集列车的车底全景图像；
采集列车的车底全景图像中未包含区域的局部部件图像；
根据列车的车底全景图像和局部部件图像，采用预设的智能判伤算法判断图像中列车关键部件的工作状态；
根据列车的局部部件图像，确定所述局部部件图像包括通过每个相机获取N帧条纹图像；
基于N帧条纹图像，通过格雷码及相移算法求解出相位值；
通过标定参数，求解出相位值对应的实际物理高度，从而得到被测列车关键部件的三维点云数据；
通过点云配准和融合算法，完成双相机或多相机数据的融合，弥补单相机存在视场盲区的情况；
通过最终的三维点云数据，计算列车关键部件的尺寸；
根据列车关键部件的工作状态、关键部件的尺寸和预设的报警阈值，输出报警信息。
2.根据权利要求1所述的列车自动化检修的智能判伤方法，其特征在于，所述根据列车的车底全景图像和局部部件图像，采用预设的智能判伤算法判断图像中列车关键部件的工作状态的方法包括：
将列车的车底全景图像和局部部件图像拼接形成列车关键部件整体图像；
根据列车关键部件整体图像和预设的列车关键部件识别模型，获取列车关键部件的类别和位置信息；
将列车关键部件整体图像和预存的标准图像进行特征配准，获得特征配准参数；
根据特征配准参数、列车关键部件的类别和位置信息判断列车关键部件的工作状态。
3.根据权利要求2所述的列车自动化检修的智能判伤方法，其特征在于，所述根据列车关键部件整体图像和预设的列车关键部件识别模型，获取列车关键部件的类别和位置信息的方法包括：
根据检测需求，定义列车关键部件，并进行数据标注；
设计AI算法模型，利用上述标注数据进行模型的训练，并保持训练好的模型；
将列车关键部件整体图像传送给AI算法模型，AI算法模型输出列车关键部件整体图像中存在的关键部件。
4.根据权利要求3所述的列车自动化检修的智能判伤方法，其特征在于，所述将列车关键部件整体图像和预存的标准图像进行特征配准，获得特征配准参数的方法包括：
提取列车关键部件整体图像和预存的标准图像的特征，利用高斯金字塔构建多尺度信息，形成特征向量并将特征向量归一化到128维；
对列车关键部件整体图像和预存的标准图像中找到的特征向量进行匹配，寻找到最佳的N对匹配点，根据N对匹配点计算出两幅图像之间的单应性矩阵，输出配准后的标准图像以及单应性矩阵；
通过SSIM衡量配准结果，并输出配准参数；其中，衡量配准结果的公式为：
其中，公式基于样本x和y之间的三个比较衡量：亮度l、对比度c和结构s，取c3＝c2/2，μx为x的均值，μy为y的均值，/>为x的方差，/>为y的方差，σxy为x和y的协方差，c1＝(k1L)2，c2＝(k2L)2为两个常数，避免除零，L为像素值的范围，取2B-1，B为颜色位深的常数，k1＝0.01，k2＝0.03为默认值。
5.根据权利要求4所述的列车自动化检修的智能判伤方法，其特征在于，所述根据特征配准参数、列车关键部件的类别和位置信息判断列车关键部件的工作状态的方法包括：
通过单应性矩阵计算预存的标准图像中正常关键部件的位置，将其映射到列车关键部件整体图像中，通过与列车关键部件整体图像中识别到的关键部件进行IOU判断，通过预设阈值筛选出配对的关键部件；
对于需要判断部件是否丢失的关键部件，筛选出未配对的关键部件；对于需要判断部件是否变形或其它异常，计算两个相同目标对的特征相似度。
6.一种列车自动化检修的智能判伤系统，其特征在于，包括：
全景图像采集模块，用于采集列车的车底全景图像；
局部图像采集模块，用于采集列车的车底全景图像中未包含区域的局部部件图像；
关键部件判断模块，用于根据列车的车底全景图像和局部部件图像，采用预设的智能判伤算法判断图像中列车关键部件的工作状态；
关键部件测量模块，用于根据列车的局部部件图像，确定所述局部部件图像包括通过每个相机获取N帧条纹图像；基于N帧条纹图像，通过格雷码及相移算法求解出相位值；通过标定参数，求解出相位值对应的实际物理高度，从而得到被测列车关键部件的三维点云数据；通过点云配准和融合算法，完成双相机或多相机数据的融合，弥补单相机存在视场盲区的情况；通过最终的三维点云数据，计算列车关键部件的尺寸；
报警信息输出模块，用于根据列车关键部件的工作状态、关键部件的尺寸和预设的报警阈值，输出报警信息。
7.根据权利要求6所述的列车自动化检修的智能判伤系统，其特征在于，所述关键部件判断模块包括：
整体图像拼接单元，用于将列车的车底全景图像和局部部件图像拼接形成列车关键部件整体图像；
关键部件识别单元，用于根据列车关键部件整体图像和预设的列车关键部件识别模型，获取列车关键部件的类别和位置信息；
配准参数获取单元，用于将列车关键部件整体图像和预存的标准图像进行特征配准，获得特征配准参数；
部件状态判断单元，用于根据特征配准参数、列车关键部件的类别和位置信息判断列车关键部件的工作状态。
8.一种列车自动化检修的智能判伤系统，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至5中任一项所述列车自动化检修的智能判伤方法的步骤。
CN202011294941.2A 2020-11-18 2020-11-18 列车自动化检修的智能判伤方法及系统 Active CN112488995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011294941.2A CN112488995B (zh) 2020-11-18 2020-11-18 列车自动化检修的智能判伤方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011294941.2A CN112488995B (zh) 2020-11-18 2020-11-18 列车自动化检修的智能判伤方法及系统

Publications (2)

Publication Number Publication Date
CN112488995A CN112488995A (zh) 2021-03-12
CN112488995B true CN112488995B (zh) 2023-12-12

Family

ID=74931366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011294941.2A Active CN112488995B (zh) 2020-11-18 2020-11-18 列车自动化检修的智能判伤方法及系统

Country Status (1)

Country Link
CN (1) CN112488995B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808097B (zh) * 2021-09-14 2024-04-12 北京主导时代科技有限公司 一种列车的关键部件丢失检测方法及其系统
CN114739293A (zh) * 2022-03-25 2022-07-12 北京博联众睿机器人科技有限公司 车身测量方法、系统、装置以及电子设备
CN115900553A (zh) * 2023-01-09 2023-04-04 成都盛锴科技有限公司 一种列车巡检机器人的复合定位方法及其系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103338325A (zh) * 2013-06-14 2013-10-02 杭州普维光电技术有限公司 基于全景摄像机的车底盘图像采集方法
WO2016107478A1 (zh) * 2014-12-30 2016-07-07 清华大学 车辆底盘检查方法和系统
CN105828028A (zh) * 2016-03-04 2016-08-03 乐卡汽车智能科技（北京）有限公司 一种对车辆底部进行安全检测的方法及装置
CN106600581A (zh) * 2016-12-02 2017-04-26 北京航空航天大学 一种基于双目立体视觉的列车运行故障自动检测系统及方法
CN106608220A (zh) * 2015-10-22 2017-05-03 比亚迪股份有限公司 车辆底部影像的生成方法、装置和车辆
CN207882170U (zh) * 2018-02-28 2018-09-18 北京康拓红外技术股份有限公司 一种动车组关键部件安装状态图像检测装置
CN110626384A (zh) * 2019-09-19 2019-12-31 中铁第四勘察设计院集团有限公司 一种动车组定期在线检测系统
CN111157534A (zh) * 2020-01-20 2020-05-15 北京主导时代科技有限公司 一种移动式库内列车车底检测平台
CN111292294A (zh) * 2020-01-20 2020-06-16 北京主导时代科技有限公司 一种库内车底部件异常检测方法及系统
CN111289261A (zh) * 2020-01-20 2020-06-16 成都主导科技有限责任公司 一种库内车底部件检测方法
CN111626227A (zh) * 2020-05-28 2020-09-04 深圳市博维远景科技有限公司 一种基于双目视觉车底透视全景系统的实现方法
CN111855667A (zh) * 2020-07-17 2020-10-30 成都盛锴科技有限公司 一种适用于地铁车辆的新型智慧列检系统和检测方法
CN111942434A (zh) * 2020-06-30 2020-11-17 北京康拓红外技术股份有限公司 一种铁路货车关键部件故障图像智能检测装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108205797B (zh) * 2016-12-16 2021-05-11 杭州海康威视数字技术股份有限公司 一种全景视频融合方法及装置
CN108528474B (zh) * 2018-04-02 2019-09-13 交控科技股份有限公司 地铁车辆限界检测方法和系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103338325A (zh) * 2013-06-14 2013-10-02 杭州普维光电技术有限公司 基于全景摄像机的车底盘图像采集方法
WO2016107478A1 (zh) * 2014-12-30 2016-07-07 清华大学 车辆底盘检查方法和系统
CN106608220A (zh) * 2015-10-22 2017-05-03 比亚迪股份有限公司 车辆底部影像的生成方法、装置和车辆
CN105828028A (zh) * 2016-03-04 2016-08-03 乐卡汽车智能科技（北京）有限公司 一种对车辆底部进行安全检测的方法及装置
CN106600581A (zh) * 2016-12-02 2017-04-26 北京航空航天大学 一种基于双目立体视觉的列车运行故障自动检测系统及方法
CN207882170U (zh) * 2018-02-28 2018-09-18 北京康拓红外技术股份有限公司 一种动车组关键部件安装状态图像检测装置
CN110626384A (zh) * 2019-09-19 2019-12-31 中铁第四勘察设计院集团有限公司 一种动车组定期在线检测系统
CN111157534A (zh) * 2020-01-20 2020-05-15 北京主导时代科技有限公司 一种移动式库内列车车底检测平台
CN111292294A (zh) * 2020-01-20 2020-06-16 北京主导时代科技有限公司 一种库内车底部件异常检测方法及系统
CN111289261A (zh) * 2020-01-20 2020-06-16 成都主导科技有限责任公司 一种库内车底部件检测方法
CN111626227A (zh) * 2020-05-28 2020-09-04 深圳市博维远景科技有限公司 一种基于双目视觉车底透视全景系统的实现方法
CN111942434A (zh) * 2020-06-30 2020-11-17 北京康拓红外技术股份有限公司 一种铁路货车关键部件故障图像智能检测装置
CN111855667A (zh) * 2020-07-17 2020-10-30 成都盛锴科技有限公司 一种适用于地铁车辆的新型智慧列检系统和检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于轨边图像SURF特征的动车底部件异常检测算法;彭丹;周航;;信息系统工程(第02期);全文 *
用于动车组故障检测的图像识别算法;刘祖胜;方凯;刘硕研;;铁路计算机应用(第12期);全文 *

Also Published As

Publication number Publication date
CN112488995A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN112488995B (zh) 列车自动化检修的智能判伤方法及系统
CN103512762B (zh) 图像处理方法、装置及列车故障检测系统
CN102323070B (zh) 列车异常检测方法和系统
CN101957325A (zh) 基于变电站巡检机器人变电站设备外观异常识别方法
CN103279765B (zh) 基于图像匹配的钢丝绳表面损伤检测方法
DE102014012285A1 (de) Verfahren und Achsenzähl-Vorrichtung zur berührungslosen Achsenzählung eines Fahrzeugs sowie Achsenzählsystem für den Straßenverkehr
CN111289261B (zh) 一种库内车底部件检测方法
DE102010002258A1 (de) Verfahren und Vorrichtung zum Bestimmen von Abständen an einem Fahrzeug
CN109489724A (zh) 一种隧道列车安全运行环境综合检测装置及检测方法
CN113516629A (zh) Tfds通过作业智能检测系统
CN113436157A (zh) 一种用于受电弓故障的车载图像识别方法
CN114670898A (zh) 一种多功能轨道检测系统
CN113298059A (zh) 受电弓异物入侵检测方法、装置、计算机设备、系统及存储介质
CN109858456A (zh) 一种铁路车辆状态故障分析系统
CN115331086B (zh) 一种闸瓦折断和铆钉丢失故障检测方法
CN116110012B (zh) 用于智慧工地的危险违规动作识别方法及系统
CN114494161A (zh) 基于图像对比的受电弓异物检测方法、设备及存储介质
CN113639685B (zh) 位移检测方法、装置、设备和存储介质
Abou Chacra et al. Municipal infrastructure anomaly and defect detection
CN114820626A (zh) 一种汽车前脸零件配置智能检测方法
CN114971166A (zh) 一种轻量化道路路面服务质量巡检系统
Dhiman et al. A multi-frame stereo vision-based road profiling technique for distress analysis
CN107958452B (zh) 一种车辆轮对运行姿态的监测方法、装置及系统
CN107767366B (zh) 一种输电线路拟合方法及装置
CN113191239A (zh) 一种基于计算机视觉的车辆外廓尺寸动态检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant