CN116129374B - 轨旁多功能探伤集群装置及其控制方法 - Google Patents

轨旁多功能探伤集群装置及其控制方法 Download PDF

Info

Publication number
CN116129374B
CN116129374B CN202310384272.5A CN202310384272A CN116129374B CN 116129374 B CN116129374 B CN 116129374B CN 202310384272 A CN202310384272 A CN 202310384272A CN 116129374 B CN116129374 B CN 116129374B
Authority
CN
China
Prior art keywords
image
detection
vehicle
target
train
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310384272.5A
Other languages
English (en)
Other versions
CN116129374A (zh
Inventor
舒冬
王占生
李威
占俊
周小斌
刘曦洋
种传强
程春阳
高春良
张甫斌
葛红
张昕
王德威
周顺新
赵文涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shengkai Technology Co ltd
Suzhou Rail Transit Group Co ltd
China Railway Siyuan Survey and Design Group Co Ltd
Original Assignee
Chengdu Shengkai Technology Co ltd
Suzhou Rail Transit Group Co ltd
China Railway Siyuan Survey and Design Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shengkai Technology Co ltd, Suzhou Rail Transit Group Co ltd, China Railway Siyuan Survey and Design Group Co Ltd filed Critical Chengdu Shengkai Technology Co ltd
Priority to CN202310384272.5A priority Critical patent/CN116129374B/zh
Publication of CN116129374A publication Critical patent/CN116129374A/zh
Application granted granted Critical
Publication of CN116129374B publication Critical patent/CN116129374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Textile Engineering (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供了轨旁多功能探伤集群及其控制方法，涉及轨道交通技术领域，包括基本检测单元、现场控制中心和远程控制中心，所述基本检测单元包括车侧图像采集机器人、走行部图像采集机器人、车顶图像采集机器人和车辆识别及公共信号采集单元；所述基本检测单元的数据输出端连接现场控制中心，所述车侧图像采集机器人、走行部图像采集机器人、车顶图像采集机器人用于自动识别列车车顶、车侧、车底关键部件的故障；本发明针对车辆人工日常维修重要项检查，采用基本检测单元对列车车顶、车侧、车底关键部件进行高清二维成像，并实现列车部件典型故障诊断分析，达到辅助人工检测，减轻劳动强度，保障列车安全，提高检修效率的目的。

Description

轨旁多功能探伤集群装置及其控制方法
技术领域
本发明涉及轨道交通技术领域，尤其涉及一种轨旁多功能探伤集群及其控制方法。
背景技术
轨道交通是指运营车辆需要在特定轨道上行驶的一类交通工具或运输系统，是采取轮轨运转方式的快速大运量公共交通的总称，随着火车和铁路技术的多元化发展，轨道交通呈现出越来越多的类型，不仅遍布于长距离的陆地运输，也广泛运用于中短距离的城市公共交通中，常见的轨道交通有传统铁路、地铁、轻轨和有轨电车，此外还有磁悬浮轨道系统、单轨系统等新型轨道交通，轨道交通普遍具有运量大、速度快、班次密、安全舒适、准点率高、全天候、运费低和节能环保等优点，但同时常伴随着较高的前期投资、技术要求和维护成本，并且占用的空间往往较大；
轨道交通车辆露天运行，受环境干扰大，故障形式多样，维修时间长，危害性大，为此需要对车辆进行检测，现有技术中，一般为人工日检/四日检，人工检测受流、走行部、牵引、制动供风、车门车窗、车钩等关键部件，检测时车辆停止，人工检测劳动量大，效率低，受外部环境的影响，容易出现漏检误检的情况，因此，本发明提出一种轨旁多功能探伤集群及检测方法以解决现有技术中存在的问题。
发明内容
针对上述问题，本发明提出一种轨旁多功能探伤集群及检测方法，该轨旁多功能探伤集群及检测方法采用基本检测单元对列车车顶、车侧、车底关键部件进行高清二维成像，并实现列车部件典型故障诊断分析。
为实现本发明的目的，本发明通过以下技术方案实现：一种轨旁多功能探伤集群，包括基本检测单元、现场控制中心和远程控制中心，所述基本检测单元包括车侧图像采集机器人、走行部图像采集机器人、车顶图像采集机器人和车辆识别及公共信号采集单元；
所述基本检测单元的数据输出端连接现场控制中心，所述车侧图像采集机器人、走行部图像采集机器人、车顶图像采集机器人用于自动识别列车车顶、车侧、车底关键部件的故障，所述车辆识别及公共信号采集单元用于车辆车号和端位号自动识别，所述现场控制中心的数据输出端通过远程传输通道连接远程控制中心，分析获取检测结果、超限数据及图像和综合分析报告，所述远程控制中心通过车辆基地局域网将分析数据输出至大数据运维平台和网络终端。
进一步改进在于：所述车侧图像采集机器人、走行部图像采集机器人、车顶图像采集机器人均采用多个线扫描相机进行检测，配合近红外808纳米的激光光源，检测获取图像的分辨率小于1mm/Pixel，所述车侧图像采集机器人、走行部图像采集机器人、车顶图像采集机器人具备列车车顶及两侧高清彩色视频观测功能、列车车底走行部3d图像辅助检测功能；所述车辆识别及公共信号采集单元通过车辆车号和端位号自动识别，实现无人值守工作模式，来车自动开启检测，离车自动关闭。
进一步改进在于：所述基本检测单元采用模式识别和机器学习技术，对各种车型和关键部件进行结构学习，使计算机形成各型车辆结构的概念信息，对采集后的图像，进行图像数据处理分析，在实际检测过程中，进行目标物体的结构分析，判断目标物是否异常，基于结构分析，进行目标异常检测。
进一步改进在于：所述远程控制中心提供检测功能数据、通信接口及公司信息管理系统接口，且分析获取的检测结果、超限数据及图像和综合分析报告具体包括整体系统的工作模式及系统自检信息，故障、磨耗超限分级预警及图像标注。
一种轨旁多功能探伤集群控制方法，包括以下步骤：
采集列车车顶、车侧、车底关键部件的图像；
图像预处理，利用全局直方图均值化，依据图像本身的信息对图像灰度直方图变量进行变化，改变像素亮度直接差值，以此进行校正；
确定目标关键参考点，以该参考点作为支撑，确定其他部位的相对位置关系，通过目标结构划分和目标特征学习构建目标记忆空间，对关键部件定位；
针对可视检修项点进行检测模型训练，包括训练好的丢失、异物、污渍、状态、裂纹检测模型，然后基于模式识别/机器学习算法对多种失效形式进行检测；
输出检测结果、超限数据及图像和综合分析报告。
进一步改进在于：图像预处理包括：
将一幅图总像素假设为n，灰度级总数设为l，为图像中出现rk该种会读的像素数量，计算第k级灰度值的概率：
0≤rk≤1；k=0，1，2，~，l-1；
计算原始图像中的累计直方图分布的同时将其中所有像素进行相应变换，实现均衡化，转换公式为：
0≤rk≤1；k=0，1，2，~，l-1，
其中，为图像灰度直方图变量均衡值，/>为灰度级变换。
进一步改进在于：对关键部件定位包括：
将整个目标记忆空间分为多层，第一层为基本特征层，具体为特征分类器，代表了基本的视觉模式，其输入为局部图像块，输出为特征类型；第二层为目标层，具体表示特征与目标之间的关系，代表目标的结构特性，其输入为局部特征类型，输出为目标类型；第三层及以上为由目标构成的大体结构，具体表示目标与整体之间的关系，当目标按照规律构成更大的目标时，更大的目标模式则形成；每一层内有多个元素目标，每层元素之间通过连接参数相连；
利用特征与目标之间的关系实现目标识别定位，具体包括：
输入采集的图像，
对采集的图像进行边缘特征提取，
根据局部特征分类器对图像进行边缘特征分类，
根据局部特征与目标之间关系、针对每一种目标进行目标中心投票，投票方式如下：
式中：I_scor为投票结果图；fea特征类型i针对目标N的第j个连接值；特征点x坐标；/>特征点y坐标；
根据相似性判定，取投票票数最多的点作为定位点，进行目标识别定位，以此对关键部件进行识别定位。
进一步改进在于：根据丢失检测模型检测包括：
将采集的图像进行预处理；
将预处理的结果与部件模板匹配；
获取匹配后的部件所在的图像；
根据匹配后的部件图像数据，提取不同部件模板的梯度直方图；
将梯度直方图输入训练好的支持向量机模型；
输出结果并与训练好的丢失检测模型对比，判断是否存在部件走失。
进一步改进在于：根据异物检测模型检测包括：
读入采集图像；
对采集的图像进行预处理；
对预处理后的图像进行轮廓检测、椭圆拟合；
截取图像中的椭圆洞口图像；
计算正常图像和测试图像的指纹信息，判断指纹信息个数相差是否大于20；
是，则测试图像椭圆洞口有异物存在；否，则无异物；
根据污渍检测模型检测包括：
通过拉普拉斯算子对采集的图像进行图像增强；
在处理后的图像，对检测区域定位；
对检测区域的图像进行分隔并自适应二值化处理；
将图像拟合最小外接矩形，并判断区域中是否有矩形；
是，则区域中有污渍，否，则无污渍。
进一步改进在于：根据状态检测模型检测包括：
读取采集的图像并进行预处理；
对图像中目标部件进行定位并截取ROI；
对目标部件图像进行中值滤波和Sobel检测；
判断部件状态是否平行；
否，则状态异常，是，则无异常；
根据裂纹检测模型检测包括：
读取采集的图像并进行预处理；
对图像进行平滑去噪、Canny检测和腐蚀处理
判断图像中是否有裂纹线；
是，则部件状态异常，否，则无异常。
本发明的有益效果为：
1、本发明针对车辆人工日常维修重要项检查，采用基本检测单元对列车车顶、车侧、车底关键部件进行高清二维成像，并实现列车部件典型故障诊断分析，达到辅助人工检测，减轻劳动强度，保障列车安全，提高检修效率的目的。
2、本发明采用在线动态检测方式，不停车、不停电、不占用动车时间，检测效率高；检测过程和监控录像过程计算机自动执行；无论雨、雪等恶劣天气均可检测，不受气候条件影响。
3、本发明采用非接触的图像测量技术，极大地提高了系统的可靠性，实现了360°车体外观状况的室内可视化观测，辅助和优化人工日检/四日检等传统检查方式。
附图说明
图1为本发明的系统示意图；
图2为本发明的线扫描相机工作原理示意图；
图3为本发明的基于目标物识别的异常检测示意图；
图4为本发明的特征空间建立流程示意图；
图5为本发明的预测识别定位流程示意图；
图6为本发明的丢失检测流程示意图；
图7为本发明的螺栓松动检测流程示意图；
图8为本发明的异物检测流程示意图；
图9为本发明的污渍检测流程示意图；
图10为本发明的状态检测模型示意图；
图11为本发明的裂纹检测建模流程示意图；
图12为本发明的线结构光三维测量原理示意图；
图13为本发明的系统工作流程示意图。
具体实施方式
为了加深对本发明的理解，下面将结合实施例对本发明做进一步详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。
实施例一
根据图1、2、3、12、13所示，本实施例提出了一种轨旁多功能探伤集群，包括基本检测单元、现场控制中心和远程控制中心，其特征在于：所述基本检测单元包括车侧图像采集机器人、走行部图像采集机器人、车顶图像采集机器人和车辆识别及公共信号采集单元；
所述基本检测单元的数据输出端连接现场控制中心，所述车侧图像采集机器人、走行部图像采集机器人、车顶图像采集机器人用于自动识别列车车顶、车侧、车底关键部件的故障，所述车辆识别及公共信号采集单元用于车辆车号和端位号自动识别，所述现场控制中心的数据输出端通过远程传输通道连接远程控制中心，分析获取检测结果、超限数据及图像和综合分析报告，所述远程控制中心通过车辆基地局域网将分析数据输出至大数据运维平台和网络终端。
现场控制中心位于现场设备间，实现基本检测单元的供电、控制、数据和图像的采集、分析处理、存储，同时与远程控制中心进行通讯。现场控制中心由配电箱、控制箱、工控机、通讯箱、UPS等设备组成，远程控制中心位于远程控制室，是系统的控制中心、数据管理中心和监控中心，由控制台、控制机及其外围设备构成。在远程控制中心，可以设置系统参数，监控设备的运行状态和检测过程，查看、统计、分析、打印检测数据。
所述车侧图像采集机器人、走行部图像采集机器人、车顶图像采集机器人均采用多个线扫描相机进行检测，配合近红外808纳米的激光光源，检测获取图像的分辨率小于1mm/Pixel，所述车侧图像采集机器人、走行部图像采集机器人、车顶图像采集机器人具备列车车顶及两侧高清彩色视频观测功能、列车车底走行部3d图像辅助检测功能；提供“整车图像浏览”和“故障部位图像查看”两种数据分析查看模式，“整车图像浏览”提供了机器人集群扫描拍照后的列车整体图像状态，并实时识别标记扫描巡检故障点处于整车具体的位置；“故障部位图像查看”提供了机器人集群扫描后识别出具体故障点位的详细故障或缺陷的图像或扫描结果数据，巡检探伤机器人集群作业后，基于以上数据分析模式，系统会生成巡检探伤检查报告，报告列车具体部件的损坏情况，包括故障损伤部件名称、具体位置，损坏情况（轻、重、严重），故障可能原因、建议处理或预防措施、处理时间等，以便快速帮助配合的检修人员快速检修处理故障点，实现检修工艺更快捷更高效流畅。
走行部三维图像采集/故障识别技术：由于车底及两侧涉及精密零部件，为提高检修精度、减少误报漏报、以及方便人工查看，考虑采用3维相机记录更清晰、更丰富的信息，通过核心的3维数据与2维图像的标定校准技术，实现辅助走行部部件的展示数据融合；通过激光三维测量技术对走行部关键部件识别。车辆经过设备时实际测量环境十分复杂，采集后的三维点云数据中包含大量的噪声，首先须将走行部原始三维数据中的噪声，通过滤波减少机器检测的干扰信息；数字图像处理后的三维数据中，仍包含了过多的冗余信息，对数据的存储、传输和分析处理等处理过程的实效性带来一定的影响，通过广州运达科技提出的快速点云精简算法对走行部三维数据精简，在保证点云数据的高精度时，大大提高了运达效率；最后，通过三维特征提取和模板匹配提取模板和目标数据中的关键点，得到带权重的匹配点集，然后采用聚类分析等方式实现了对走行部关键部件识别；见图12。
车顶/车门车窗彩色视频采集技术：为方便检修人员查看车顶和车门车窗的状态，在环境光变化不大的区间，采用500万像素、分辨率为2620*1920的彩色相机和高亮LED光源，进行不低于30帧率的连续抓拍，将连续采集的图像压缩并录制成视频，从视觉感官上贴近日常人工作业的环境，提高检修的查看效率。由于车顶扫描系统的图像观测分辨率是3mm，以车体宽度含余量3m计算，本相机的横向分辨率为2620个像素，系统的实际物理精度可以达到3m/2620=1.14mm/Pixel，可以满足系统的要求。
所述车辆识别及公共信号采集单元通过车辆车号和端位号自动识别，实现无人值守工作模式，来车自动开启检测，离车自动关闭。及时对入库的车辆进行在线检测，对疑似故障进行针对性的维保对车辆入库前和发车后的状态进行在线检测，及时发现车辆存在的故障，针对性进行维保，提高检修作业的效率；对发车的车辆进行二次检测，尽可能排除人为造成的漏检误检，确保轨道交通车辆安全高效的运行。
为获取360°全车体的大画幅图像，本系统采用多个线扫描相机进行检测，线扫描相机与普通民用相机不同，普通民用相机通常为面阵相机，一次成像就是一副完整的图像，线扫描相机一次成像仅能完成很小的一条线，需要连续移动相机或者被拍摄物体，才能获取完整的图像。对于大画幅车体图像，与面阵相机相比，线扫描相机具有高分辨率、图像边缘畸变小、动态视觉范围大扫描速度与信号转换速度快，抗干扰性、稳定性高的明显优势。同时，图像采集模块为避免阳光及环境光的光学污染，采用近红外808纳米的激光光源，该光源具有扛阳光干扰、单色性较LED灯源等好、焦点的辐射亮度高、发散立体角较小方向性强等明显优势。以车顶为例：用于实现车顶状态的图像监测，能够提供清晰完整的图像，由高速高清晰度机器视觉系统组成。由于车顶扫描系统的图像观测异物的分辨率要大于70mm*20mm，则异物单个像素点理论值不得小于2mm*1mm，以车体宽度含余量3m计算，要求相机的横向分辨率为1500个像素,本系统采用的相机的横向分辨率为4096个像素，可以满足系统的要求，系统的实际物理精度可以达3m/4096=0.73mm/Pixel，满足系统和检测部件最小单元检测指标；同理，车底及两侧、车门车窗、车顶图像的分辨率均小于1mm/Pixel，满足系统和检测部件最小单元检测指标。见图2。
所述现场控制中心采用模式识别和机器学习技术，对各种车型和关键部件进行结构学习，使计算机形成各型车辆结构的概念信息，对采集后的图像，进行图像数据处理分析，在实际检测过程中，进行目标物体的结构分析，判断目标物是否异常，基于结构分析，进行目标异常检测。对于采集后的图像，采用模式识别和机器学习等技术，对各种车型和关键部件进行结构学习，使计算机形成各型车辆车顶结构的概念信息。在实际检测过程中，直接进行目标物体的结构分析，进而判断目标物是否异常。通过目标物识别的方式进行异常检测，能够有效避免水渍、阳光照射等外部因素影响。基于结构分析，进而进行目标异常检测的方法，可以有效避免由于历史模板图像异常引起正常过车报警。见图3。
所述远程控制中心提供检测功能数据、通信接口及公司信息管理系统接口，且分析获取的检测结果、超限数据及图像和综合分析报告具体包括整体系统的工作模式及系统自检信息，故障、磨耗超限分级预警及图像标注。
系统包含了硬件平台和软件平台，硬件平台包括一台装有操作系统的主机和ROS智能机器人。软件平台按照层次划分为Liux底层操作系统、ROS机器人操作系统、移动机器人应用层。
物理层是移动机器人集群系统的硬件设备，包括一台电脑主机和多台ROS智能机器人。R0S智能机器人包含移动小车机身和多个传感器，具体有双轮履带式小车、大扭力带编码电机、ROS电机驱动板STM32、作为机器人数据处理中心的RaspberryPi3B、机器人机身姿态传感器MU、测量深度为5米的激光雷达、高清摄像头、触摸显示屏。机器人通过履带或导轨能够在电机的驱动下以不同速度进行运动，MU能够实时测量机器人的机身姿态，激光雷达可以测量机器人与障碍物之间的距离与方位，高清摄像头可以采集周围环境图像，触摸显示屏可以对机器人进行交互式操作。中间层建立了基本的软件框架，提供了机器人运动控制等多种机器人开发相关的库。底层为Linux操作系统，使用的版本为ubuntu16.04.ROS操作系统安装在Linux之上，版本是ROSKineticKame,ROS的底层是分布式通信组件，包括通信组件TCPROS、UDPROS和Nodelet,.其中Nodelet能够解决节点之间传递信息时出现时延和阻塞的问题，能够在相同进程中的多个算法之间实现零拷贝传输。机器人开发相关的库建立在分布式通信组件之上，包括机器人模型库(如PR2机器人、TurtleBot机器人)、能够完成多种坐标系坐标转换的TF坐标变换功能包、能够模拟现实场景的物理仿真环境Gazebo(如咖啡厅、客厅等环境)、能够对机器人系统进行可视化并且能描述多种数据的三维可视化平台z、运动控制功能包和能够自动启动多个节点的Launch脚本文件。应用层作为最上层能够完成机器人的一系列实际应用，包括节点管理器Master和其他多种机器人应用功能包，Master在整个ROS通信架构里面相当于管理中心，它负责登记注册节点、服务和话题的名称，并且维护一个参数服务器。机器人通过激光雷达可以感知障碍物的位置，通过里程计可以估计自身的位置，将激光雷达信息和里程计信息作为SLAM(simultaneouslocalizationandmapping,即时定位与地图构建)的输入，可以完成室内障碍物地图构建。amcl机器人定位功能包使用了自适应蒙特卡洛定位算法，可以完成机器人在二维环境中的定位。另外，还可以自己开发功能包，如机器人集群任务分配功能包、移动机器人路径规划功能包以及路径冲突处理功能包等等。
系统整体工作流程分为：接车模块：判定车辆到来与离去；数据采集及传输：各个传感器及箱体开关罩控制、相机图像获取；数据处理与分析：图像储存与图像比对；数据展示：图像数据BS报表展示。
工作流程如图13：
车辆在行驶过程中触发车轮传感器输出车辆到来信号，系统图像采集机器人集群及补偿光源系统自动做好图像数据采集准备工作。
在通过检测设备区间时，系统采集单元及机器人集群采集图像。
在系统采集的过程中，系统通过网络及时将车辆图像、车号等信息高速传输到图像储存服务器。
图像信息检测终端通过网络从服务器上获取地铁车辆图像数据、车号信息后显示在终端上，系统自动对图像进行分析和处理，对异常的图像进行自动报警提示，检修人员对报警图像进行核查和确认。若检修人员发现故障并确认后，系统将及时通知作业人员进行重点检查，同时将故障图像信息上传服务器存储，同时地铁车辆图像和故障图像也可以通过网络复示至车辆段各级管理部门。
实施例二
根据图4、5、6、7、8、9、10、11所示，本实施例提出了一种轨旁多功能探伤集群控制方法，包括以下步骤：
采集列车车顶、车侧、车底关键部件的图像；
采集到的部件原始图像，由于其位置和环境因素造成影响，常出现图像光照不均匀，图像部分区域对比度偏低，识别难度较大，因此需要通过图像处理手段对图像进行校正，增强目标图像，抑制背景干扰，有利于后期部件特征定位，
利用全局直方图均值化，依据图像本身的信息对图像灰度直方图变量进行变化。仅改变像素亮度直接差值，不破坏图像原来的像素亮度排序，以此进行校正；
将一幅图总像素假设为n，灰度级总数设为l，nk为图像中出现rk该种会读的像素数量，计算第k级灰度值的概率：
(0≤rk≤1；k=0，1，2，~，l-1)
计算原始图像种得累计直方图分布的同时将其中所有像素进行相应变换，实现均衡化，转换公式得：
(0≤rk≤1；k=0，1，2，~，l-1)
其中，为图像灰度直方图变量均衡值，/>为灰度级变换。
为了实现关键部件区域定位，通过研究车辆关键部件定位识别方法，采用确定目标关键参考点，然后以这个参考点作为支撑，确定其他部位的相对位置关系，通过目标结构划分和目标特征学习构建目标记忆空间；
将整个系统分为多层，第一层为基本特征层，代表了基本的视觉模式，其输入为局部图像块，输出为特征类型，具体为特征分类器；第二层为目标层，代表了目标的结构特性，输入为局部特征类型，输出为目标类型，具体为特征与目标之间的关系；第三层及以上为由目标构成的大体结构，当目标按照规律构成更大的目标时，更大的目标模式则会形成，具体为目标与整体之间的关系；每一层内有多个元素目标，每层元素之间通过连接参数相连；见图4；
利用特征与目标之间的关系实现目标识别定位，见图5，具体包括：
输入图像，
边缘特征提取，
根据局部特征分类器进行边缘特征分类，
根据局部特征与目标之间关系、针对每一种目标进行目标中心投票；
相似性判定，
目标识别定位；
在获取特征点后，利用基于特征点与目标中心相对位置关系进行投票处理，投票方式如下：
式中：I_scor为投票结果图；fea特征类型i针对目标N的第j个连接值；〖pos〗_x特征点x坐标；〖pos〗_y特征点y坐标；
运用以上方法对关键部件进行识别定位
由于整个车辆/线路的结构复杂，为保证模型的精确性和图像识别的准确性，需要在建模过程对每个部件都进行详细的描述，针对可视检修项点进行数学建模，然后基于模式识别/机器学习算法对多种失效形式进行检测，包括丢失、异物、污渍、状态、裂纹检测模型；
见图6，丢失检测模型包括：
图像预处理；
部件模板匹配；
取部件所在的图像；
提取不同部件模板的梯度直方图；
支持向量机；
判断部件是否丢失。
见图7，其中丢失检测还包括松动检测，用于针对螺栓螺母，具体为：图像预处理；特征区域定位；部件定位；判断螺栓螺母上的红线是否明显，是，则对部件图像进行处理，边缘查找和直线拟合，通过直线斜率判断是否松动；否，则利用通道分离提取红色区域部分，提取螺母角点，查找螺母线，获取螺母线上下两部分的红色线，通过阈值判断是否松动。
见图8，异物检测模型包括：
读入图像；
图像预处理；
轮廓检测；
椭圆拟合；
截取椭圆洞口图像；
计算正常图像和测试图像的指纹信息，判断指纹信息个数相差是否大于20；
是，则测试图像椭圆洞口有异物存在；否，则无异物；
见图9，污渍检测模型包括：
通过拉普拉斯算子进行图像增强；
图像区域定位；
图像分隔；
自适应二值化；
图像拟合最小外接矩形；
判断区域中是否有矩形；
是，则区域中有污渍，否，则无污渍。
见图10，状态检测模型包括：
读取图像；
预处理；
部件定位；
截取ROI；
中值滤波；
Sobel检测；
判断部件状态是否平行；
否，则状态异常，是，则无异常；
见图11，裂纹检测模型包括：
读取图像；
预处理；
平滑去噪；
Canny检测；
腐蚀；
判断是否有裂纹线；
是，则部件状态异常，否，则无异常。
输出检测结果、超限数据及图像和综合分析报告。
本发明针对车辆人工日常维修重要项检查，采用基本检测单元对列车车顶、车侧、车底关键部件进行高清二维成像，并通过模式识别、计算机视觉和基于数据驱动的分级预警等技术，实现列车部件典型故障诊断分析（包括但不限于各关键部件的脱落、丢失、变形和关键区域的异物侵入、漏油，以及关键部件的螺栓螺母丢失、各类管线脱落、阀门/把手/二次防护异位缺失），达到辅助人工检测，减轻劳动强度，保障列车安全，提高检修效率的目的。且本发明采用在线动态检测方式，不停车、不停电、不占用动车时间，检测效率高；检测过程和监控录像过程计算机自动执行；无论雨、雪等恶劣天气均可检测，不受气候条件影响；采用非接触的图像测量技术，极大地提高了系统的可靠性，实现了360°车体外观状况的室内可视化观测，辅助和优化人工日检/四日检等传统检查方式。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种轨旁多功能探伤集群控制方法，其特征在于：包括以下步骤：
采集列车车顶、车侧、车底关键部件的图像；
图像预处理，利用全局直方图均值化，依据图像本身的信息对图像灰度直方图变量进行变化，改变像素亮度直接差值，以此进行校正；
确定目标关键参考点，以该参考点作为支撑，确定其他部位的相对位置关系，通过目标结构划分和目标特征学习构建目标记忆空间，对关键部件定位；
针对可视检修项点进行检测模型训练，包括训练好的丢失、异物、污渍、状态、裂纹检测模型，然后基于模式识别/机器学习算法对多种失效形式进行检测；
输出检测结果、超限数据及图像和综合分析报告；
图像预处理包括：
将一幅图总像素假设为n，灰度级总数设为l，为图像中出现/>该种灰度的像素数量，计算第k级灰度值的概率：
， 0≤/>≤1；k=0，1，2，……，l-1；
计算原始图像中的累计直方图分布的同时将其中所有像素进行相应变换，实现均衡化，转换公式为：
， 0≤rk≤1；k=0，1，2，……，l-1，/>为图像灰度直方图变量均衡值，/>为灰度级变换；
对关键部件定位包括：
将整个目标记忆空间分为多层，第一层为基本特征层，具体为特征分类器，代表了基本的视觉模式，其输入为局部图像块，输出为特征类型；第二层为目标层，具体表示特征与目标之间的关系，代表目标的结构特性，其输入为局部特征类型，输出为目标类型；第三层及以上为由目标构成的大体结构，具体表示目标与整体之间的关系，当目标按照规律构成更大的目标时，更大的目标模式则形成；每一层内有多个元素目标，每层元素之间通过连接参数相连；
利用特征与目标之间的关系实现目标识别定位，具体包括：
输入采集的图像，
对采集的图像进行边缘特征提取，
根据局部特征分类器对图像进行边缘特征分类，
根据局部特征与目标之间关系、针对每一种目标进行目标中心投票，投票方式如下：
式中：为投票结果图；fea特征类型i针对目标N的第j个连接值；/>特征点x坐标；/>特征点y坐标；
根据相似性判定，取投票票数最多的点作为定位点，进行目标识别定位，以此对关键部件进行识别定位；
根据丢失检测模型检测包括：
将采集的图像进行预处理；
将预处理的结果与部件模板匹配；
获取匹配后的部件所在的图像；
根据匹配后的部件图像数据，提取不同部件模板的梯度直方图；
将梯度直方图输入训练好的支持向量机模型；
输出结果并与训练好的丢失检测模型对比，判断是否存在部件走失；
根据异物检测模型检测包括：
读入采集图像；
对采集的图像进行预处理；
对预处理后的图像进行轮廓检测、椭圆拟合；
截取图像中的椭圆洞口图像；
计算正常图像和测试图像的指纹信息，判断指纹信息个数相差是否大于20；
是，则测试图像椭圆洞口有异物存在；否，则无异物；
根据污渍检测模型检测包括：
通过拉普拉斯算子对采集的图像进行图像增强；
在处理后的图像，对检测区域定位；
对检测区域的图像进行分隔并自适应二值化处理；
将图像拟合最小外接矩形，并判断区域中是否有矩形；
是，则区域中有污渍，否，则无污渍；
根据状态检测模型检测包括：
读取采集的图像并进行预处理；
对图像中目标部件进行定位并截取ROI；
对目标部件图像进行中值滤波和Sobel检测；
判断部件状态是否平行；
否，则状态异常，是，则无异常；
根据裂纹检测模型检测包括：
读取采集的图像并进行预处理；
对图像进行平滑去噪、Canny检测和腐蚀处理；
判断图像中是否有裂纹线；
是，则部件状态异常，否，则无异常。
2.一种轨旁多功能探伤集群装置，适用于权利要求1所述的控制方法，包括基本检测单元、现场控制中心和远程控制中心，其特征在于：所述基本检测单元包括车侧图像采集机器人、走行部图像采集机器人、车顶图像采集机器人和车辆识别及公共信号采集单元；
所述基本检测单元的数据输出端连接现场控制中心，所述车侧图像采集机器人、走行部图像采集机器人、车顶图像采集机器人用于自动识别列车车顶、车侧、车底关键部件的故障，所述车辆识别及公共信号采集单元用于车辆车号和端位号自动识别，所述现场控制中心的数据输出端通过远程传输通道连接远程控制中心，分析获取检测结果、超限数据及图像和综合分析报告，所述远程控制中心通过车辆基地局域网将分析数据输出至大数据运维平台和网络终端。
3.根据权利要求2所述的一种轨旁多功能探伤集群装置，其特征在于：所述车侧图像采集机器人、走行部图像采集机器人、车顶图像采集机器人均采用多个线扫描相机进行检测，配合近红外808纳米的激光光源，检测获取图像的分辨率小于1mm/Pixel，所述车侧图像采集机器人、走行部图像采集机器人、车顶图像采集机器人具备列车车顶及两侧高清彩色视频观测功能、列车车底走行部3d图像辅助检测功能；所述车辆识别及公共信号采集单元通过车辆车号和端位号自动识别，实现无人值守工作模式，来车自动开启检测，离车自动关闭。
4.根据权利要求3所述的一种轨旁多功能探伤集群装置，其特征在于：所述基本检测单元采用模式识别和机器学习技术，对各种车型和关键部件进行结构学习，使计算机形成各型车辆结构的概念信息，对采集后的图像，进行图像数据处理分析，在实际检测过程中，进行目标物体的结构分析，判断目标物是否异常，基于结构分析，进行目标异常检测。
5.根据权利要求4所述的一种轨旁多功能探伤集群装置，其特征在于：所述远程控制中心提供检测功能数据、通信接口及公司信息管理系统接口，且分析获取的检测结果、超限数据及图像和综合分析报告具体包括整体系统的工作模式及系统自检信息，故障、磨耗超限分级预警及图像标注。
CN202310384272.5A 2023-04-12 2023-04-12 轨旁多功能探伤集群装置及其控制方法 Active CN116129374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310384272.5A CN116129374B (zh) 2023-04-12 2023-04-12 轨旁多功能探伤集群装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310384272.5A CN116129374B (zh) 2023-04-12 2023-04-12 轨旁多功能探伤集群装置及其控制方法

Publications (2)

Publication Number Publication Date
CN116129374A CN116129374A (zh) 2023-05-16
CN116129374B true CN116129374B (zh) 2023-07-18

Family

ID=86312115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310384272.5A Active CN116129374B (zh) 2023-04-12 2023-04-12 轨旁多功能探伤集群装置及其控制方法

Country Status (1)

Country Link
CN (1) CN116129374B (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2982827B1 (fr) * 2011-11-22 2013-11-29 Lohr Ind Dispositif de securite anti-extraction a reengagement pour un ensemble de guidage a galets roulant sur un rail de guidage
JP2015145050A (ja) * 2014-02-04 2015-08-13 セイコーエプソン株式会社 ロボットシステム、ロボット制御装置、ロボット制御方法およびロボット制御プログラム
US11927965B2 (en) * 2016-02-29 2024-03-12 AI Incorporated Obstacle recognition method for autonomous robots
US10513037B2 (en) * 2017-12-15 2019-12-24 Ankobot (Shanghai) Smart Technologies Co., Ltd. Control method and system, and mobile robot using the same
CN110209163A (zh) * 2019-05-08 2019-09-06 沈阳吉化轨道工程科技开发有限公司 一种轨行区机器人自动巡检系统
JP7078021B2 (ja) * 2019-08-08 2022-05-31 トヨタ自動車株式会社 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN211001365U (zh) * 2019-10-14 2020-07-14 中铁第四勘察设计院集团有限公司 一种城市轨道交通车辆基地智能化列检系统
CN112350441B (zh) * 2020-11-03 2022-10-14 国网智能科技股份有限公司 一种变电站在线智能巡视系统及方法
CN114543661A (zh) * 2020-11-27 2022-05-27 南京拓控信息科技股份有限公司 地铁车辆360°图像检测系统及其检测方法
CN112985852A (zh) * 2021-02-08 2021-06-18 辽宁鼎汉奇辉电子系统工程有限公司 一种城轨车辆检测系统
CN113788051A (zh) * 2021-10-26 2021-12-14 成都运达科技股份有限公司 列车在站运行状态监测分析系统
CN114812664A (zh) * 2022-03-04 2022-07-29 吉林云帆智能工程有限公司 一种用于轨道车辆的故障在线自检方法

Also Published As

Publication number Publication date
CN116129374A (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
Liu et al. A review of applications of visual inspection technology based on image processing in the railway industry
Dhiman et al. Pothole detection using computer vision and learning
Banić et al. Intelligent machine vision based railway infrastructure inspection and monitoring using UAV
CN110261436B (zh) 基于红外热成像和计算机视觉的轨道故障检测方法及系统
CN109489724B (zh) 一种隧道列车安全运行环境综合检测装置及检测方法
CN110532889A (zh) 基于旋翼无人飞行器和YOLOv3的轨道异物检测方法
CN109238756B (zh) 货车运行故障动态图像检测设备及检测方法
CN105243381B (zh) 基于3d信息的故障自动识别检测系统及方法
CN103837087B (zh) 基于主动形状模型的受电弓自动检测方法
Chen et al. CUFuse: Camera and ultrasound data fusion for rail defect detection
CN103077387B (zh) 视频中货运列车车厢自动检测方法
CN104743419B (zh) 图像监视装置以及电梯监视装置
CN111754460A (zh) 一种转辙机缺口自动检测方法、系统及存储介质
CN113788051A (zh) 列车在站运行状态监测分析系统
CN103745238A (zh) 基于AdaBoost和主动形状模型的受电弓识别方法
CN115600124A (zh) 地铁隧道巡检系统及巡检方法
Zhou et al. UAV vision detection method for crane surface cracks based on Faster R-CNN and image segmentation
CN114814826B (zh) 一种基于目标网格的雷达轨行区环境感知方法
Tumrate et al. Evolutionary computation modelling for structural health monitoring of critical infrastructure
CN107506753A (zh) 一种面向动态视频监控的多车辆跟踪方法
Di Stefano et al. Automatic 2D-3D vision based assessment of the attitude of a train pantograph
CN116129374B (zh) 轨旁多功能探伤集群装置及其控制方法
CN117369460A (zh) 一种车辆螺栓松动故障的智能巡检方法及系统
CN115857040A (zh) 一种机车车顶异物动态视觉检测装置及方法
Saini et al. Feature-based template matching for joggled fishplate detection in railroad track with drone images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant