CN113466247B - 基于惯性技术及机器视觉融合的钢轨焊缝检测方法及系统 - Google Patents

基于惯性技术及机器视觉融合的钢轨焊缝检测方法及系统 Download PDF

Info

Publication number
CN113466247B
CN113466247B CN202110742106.9A CN202110742106A CN113466247B CN 113466247 B CN113466247 B CN 113466247B CN 202110742106 A CN202110742106 A CN 202110742106A CN 113466247 B CN113466247 B CN 113466247B
Authority
CN
China
Prior art keywords
steel rail
mileage
speed imaging
processing device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110742106.9A
Other languages
English (en)
Other versions
CN113466247A (zh
Inventor
夏承亮
程雨
李海浪
顾子晨
张二永
薛宪堂
刘俊博
谭松
任盛伟
王昊
徐晓迪
方玥
王凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Railway Sciences Corp Ltd CARS
Infrastructure Inspection Institute of CARS
Beijing IMAP Technology Co Ltd
Original Assignee
China Academy of Railway Sciences Corp Ltd CARS
Infrastructure Inspection Institute of CARS
Beijing IMAP Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Railway Sciences Corp Ltd CARS, Infrastructure Inspection Institute of CARS, Beijing IMAP Technology Co Ltd filed Critical China Academy of Railway Sciences Corp Ltd CARS
Priority to CN202110742106.9A priority Critical patent/CN113466247B/zh
Publication of CN113466247A publication Critical patent/CN113466247A/zh
Application granted granted Critical
Publication of CN113466247B publication Critical patent/CN113466247B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/20—Metals
    • G01N33/204—Structure thereof, e.g. crystal structure
    • G01N33/2045—Defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/20—Metals
    • G01N33/207—Welded or soldered joints; Solderability
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8867—Grading and classifying of flaws using sequentially two or more inspection runs, e.g. coarse and fine, or detecting then analysing
    • G01N2021/887—Grading and classifying of flaws using sequentially two or more inspection runs, e.g. coarse and fine, or detecting then analysing the measurements made in two or more directions, angles, positions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Abstract

本发明公开了一种基于惯性技术及机器视觉融合的钢轨焊缝检测方法及系统，其中该方法包括：两惯性传感器实时采集钢轨反馈给列车左右轴箱的加速度值；惯性处理装置根据该处加速度值确定疑似钢轨焊缝不平顺时发出采集命令；图像处理装置将采集命令发送至安装于车下左右两侧的高速成像设备，记录发送采集命令时的第一里程信息；两高速成像设备在接收到采集命令时，开始采集钢轨表面图像；图像处理装置在累计里程信息为第二里程信息时，将停止采集命令发出；两高速成像设备在接收到停止采集命令时停止采集图像；图像处理装置根据第一里程至第二里程内的钢轨表面图像进行钢轨焊缝检测。本发明通过惯性技术和机器视觉融合实现高效准确地检测钢轨焊缝。

Description

基于惯性技术及机器视觉融合的钢轨焊缝检测方法及系统
技术领域
本发明涉及钢轨检测技术领域，尤其涉及一种基于惯性技术及机器视觉融合的钢轨焊缝检测方法及系统。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
普速铁路一般是把一定长度的钢轨通过鱼尾板和螺栓联结，这种联结方式会产生钢轨接头。钢轨接头处的几何不连续性在列车通过时会产生较大的轮轨动力，对轨道的损伤比较严重，也是轨道最薄弱的环节。现代高速铁路为了避免这个问题采用了焊接方法，将标准长度的钢轨焊接成所需的长度，形成了无缝钢轨线路。无缝钢轨线路的平顺性更高，不仅可以提高列车运行速度，还可以提高乘客乘坐舒适度，同时，对延长钢轨的使用寿命也有较大帮助，从而可大大降低养护维修的工作量，具有十分重要的工程应用意义。
然而，在钢轨焊接的过程中，由于各种原因导致焊缝会出现不平整，经过列车长时间的通行，因此很难保证钢轨长期、绝对的平顺，钢轨不平顺是引起车辆振动的主要原因，车辆在钢轨上行驶的过程当中，钢轨的不平顺会引起车轮振动，通过轴箱依次传递给转向架和车体，从而引起车辆的振动，造成乘客的乘坐舒适度降低，还可能引发钢轨焊缝处压溃、波磨和其他车辆问题。因此，控制焊缝不平顺几何尺寸对保障高速铁路安全、稳定、经济运营是非常重要的。
目前，对钢轨焊缝的检测大致分为无损探伤法、图像机器识别系统和车辆动态响应测量系统三类。目前主流的钢轨焊缝检测方法即为超声波探伤法，超声探伤法的准确率较高，适应面较广，系统复杂度高，检测的最高速度往往不超过80km/h，对高速铁路的检测周期较长。图像采集处理系统，可以通过图像采集识别技术对焊缝进行检测，可采集外观图像，可以适应高速的检测场景，但是对钢轨焊缝这种不明显的特征识别效果不理想，对焊缝内部的变化无法进行评判，且在整个检测过程中需要持续采集图像，产生较多无效数据，从检测的模式和效果都需要进行进一步提升。采用基于轴箱惯性器件响应的车辆动态响应测量系统进行测量具有简单、经济的优势。但是使用轴箱加速度法时需要对数据进行筛选，极易产生错误，从而对钢轨的焊缝不平顺性产生错误判断。
发明内容
本发明实施例提供一种基于惯性技术及机器视觉融合的钢轨焊缝检测方法，用以通过惯性技术和机器视觉融合实现高效准确地检测钢轨焊缝，该方法包括：
第一惯性传感器实时测量垂直方向上的第一加速度值，第二惯性传感器实时测量垂直方向上的第二加速度值；所述第一惯性传感器安装在车辆的右侧轴箱，所述第二惯性传感器安装在车辆的左侧轴箱；
惯性处理装置持续采集所述第一加速度值和第二加速度值，在根据所述第一加速度值和第二加速度值确定疑似钢轨焊缝不平顺时，发出图像采集命令；
触发模块接收所述图像采集命令，将所述图像采集命令发送至图像处理装置；
图像处理装置将图像采集命令发送至第一高速成像设备和第二高速成像设备，记录发送采集命令时的光电编码器提供的第一里程信息；
第一高速成像设备在接收到所述采集命令时，开始采集右侧钢轨表面图像，第二高速成像设备在接收到所述采集命令时，开始采集左侧钢轨表面图像；所述第一高速成像设备安装于车辆下右侧，所述第二高速成像设备安装于车辆下左侧；
图像处理装置在接收到光电编码器提供累计里程信息为第二里程信息时，将停止采集命令发送至第一高速成像设备和第二高速成像设备；
第一高速成像设备和第二高速成像设备在接收到停止采集命令时，停止采集钢轨表面的图像；第一高速成像设备将第一里程至第二里程内采集到的右侧钢轨表面图像发送至图像处理装置，第二高速成像设备将第一里程至第二里程内采集到的左侧钢轨表面图像发送至图像处理装置；
图像处理装置根据第一里程至第二里程内的左侧钢轨表面图像和右侧钢轨表面图像，进行钢轨焊缝检测。
本发明实施例还提供一种基于惯性技术及机器视觉融合的钢轨焊缝检测系统，用以通过惯性技术和机器视觉融合实现高效准确地检测钢轨焊缝，该装置包括：
第一惯性传感器，用于实时测量垂直方向上的第一加速度值，第二惯性传感器，用于实时测量垂直方向上的第二加速度值；所述第一惯性传感器安装在车辆的右侧轴箱，所述第二惯性传感器安装在车辆的左侧轴箱；
惯性处理装置，用于持续采集所述第一加速度值和第二加速度值，在根据所述第一加速度值和第二加速度值确定疑似钢轨焊缝不平顺时，发出图像采集命令；
触发模块，用于接收所述图像采集命令，将所述图像采集命令发送至图像处理装置；
图像处理装置，用于将图像采集命令发送至第一高速成像设备和第二高速成像设备，记录发送采集命令时的光电编码器提供的第一里程信息；在接收到光电编码器提供累计里程信息为第二里程信息时，将停止采集命令发送至第一高速成像设备和第二高速成像设备；根据第一里程至第二里程内的左侧钢轨表面图像和右侧钢轨表面图像，进行钢轨焊缝检测；
第一高速成像设备，用于在接收到所述采集命令时，开始采集右侧钢轨表面图像，在接收到停止采集命令时，停止采集钢轨表面的图像，将第一里程至第二里程内采集到的右侧钢轨表面图像发送至图像处理装置；第二高速成像设备，用于在接收到所述采集命令时，开始采集左侧钢轨表面图像，在接收到停止采集命令时，停止采集钢轨表面的图像，将第一里程至第二里程内采集到的左侧钢轨表面图像发送至图像处理装置；所述第一高速成像设备安装于车辆下右侧，所述第二高速成像设备安装于车辆下左侧。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于惯性技术及机器视觉融合的钢轨焊缝检测方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述基于惯性技术及机器视觉融合的钢轨焊缝检测方法的计算机程序。
本发明实施例中，基于惯性技术及机器视觉融合的钢轨焊缝检测方案，通过：第一惯性传感器实时测量垂直方向上的第一加速度值，第二惯性传感器实时测量垂直方向上的第二加速度值；所述第一惯性传感器安装在车辆的右侧轴箱，所述第二惯性传感器安装在车辆的左侧轴箱；惯性处理装置持续采集所述第一加速度值和第二加速度值，在根据所述第一加速度值和第二加速度值确定疑似钢轨焊缝不平顺时，发出图像采集命令；触发模块接收所述图像采集命令，将所述图像采集命令发送至图像处理装置；图像处理装置将图像采集命令发送至第一高速成像设备和第二高速成像设备，记录发送采集命令时的光电编码器提供的第一里程信息；第一高速成像设备在接收到所述采集命令时，开始采集右侧钢轨表面图像，第二高速成像设备在接收到所述采集命令时，开始采集左侧钢轨表面图像；所述第一高速成像设备安装于车辆下右侧，所述第二高速成像设备安装于车辆下左侧；图像处理装置在接收到光电编码器提供累计里程信息为第二里程信息时，将停止采集命令发送至第一高速成像设备和第二高速成像设备；第一高速成像设备和第二高速成像设备在接收到停止采集命令时，停止采集钢轨表面的图像；第一高速成像设备将第一里程至第二里程内采集到的右侧钢轨表面图像发送至图像处理装置，第二高速成像设备将第一里程至第二里程内采集到的左侧钢轨表面图像发送至图像处理装置；图像处理装置根据第一里程至第二里程内的左侧钢轨表面图像和右侧钢轨表面图像，进行钢轨焊缝检测，可以通过惯性技术和机器视觉融合实现高效准确地检测钢轨焊缝。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中基于惯性技术及机器视觉融合的钢轨焊缝检测方法的流程示意图；
图2为本发明另一实施例中基于惯性技术及机器视觉融合的钢轨焊缝检测方法的流程示意图；
图3为本发明实施例中基于惯性技术及机器视觉融合的钢轨焊缝检测系统的示意图；
图4为本发明实施例中检测出钢轨焊缝不平顺时的波形图；
图5为本发明实施例中检测出的钢轨焊缝图像示意图；
图6为本发明实施例中基于惯性技术及机器视觉融合的钢轨焊缝检测系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
本发明实施例提供一种基于惯性技术及机器视觉融合的钢轨焊缝检测方案，该方案为一种高速铁路钢轨惯性技术及机器视觉相融合的焊缝检测方案，实现了对钢轨的焊缝进行有效的检测。下面对该基于惯性技术及机器视觉融合的钢轨焊缝检测方案进行详细介绍。
图1为本发明实施例中基于惯性技术及机器视觉融合的钢轨焊缝检测方法的流程示意图，如图1所示，该方法包括如下步骤：
步骤101：第一惯性传感器实时测量垂直方向上的第一加速度值，第二惯性传感器实时测量垂直方向上的第二加速度值；所述第一惯性传感器安装在车辆的右侧轴箱，所述第二惯性传感器安装在车辆的左侧轴箱；
步骤102：惯性处理装置持续采集所述第一加速度值和第二加速度值，在根据所述第一加速度值和第二加速度值确定疑似钢轨焊缝不平顺时，发出图像采集命令；
步骤103：触发模块接收所述图像采集命令，将所述图像采集命令发送至图像处理装置；
步骤104：图像处理装置将图像采集命令发送至第一高速成像设备和第二高速成像设备，记录发送采集命令时的光电编码器提供的第一里程信息；
步骤105：第一高速成像设备在接收到所述采集命令时，开始采集右侧钢轨表面图像，第二高速成像设备在接收到所述采集命令时，开始采集左侧钢轨表面图像；所述第一高速成像设备安装于车辆下右侧，所述第二高速成像设备安装于车辆下左侧；
步骤106：图像处理装置在接收到光电编码器提供累计里程信息为第二里程信息时，将停止采集命令发送至第一高速成像设备和第二高速成像设备；
步骤107：第一高速成像设备和第二高速成像设备在接收到停止采集命令时，停止采集钢轨表面的图像；第一高速成像设备将第一里程至第二里程内采集到的右侧钢轨表面图像发送至图像处理装置，第二高速成像设备将第一里程至第二里程内采集到的左侧钢轨表面图像发送至图像处理装置；
步骤108：图像处理装置根据第一里程至第二里程内的左侧钢轨表面图像和右侧钢轨表面图像，进行钢轨焊缝检测。
本发明实施例提供的基于惯性技术及机器视觉融合的钢轨焊缝检测方法的有益效果为：现有惯性检测装置虽然可以利用惯性传感器的输出振动信号通过一套分析算法模型，让计算机具有一定的识别能力，替代人工对钢轨的焊缝进行检测，但是检测中会受到干扰再加上检测的准确度不高，检测出来的缺陷只能被定义为疑似焊缝不平顺，车上的检测人员是很难通过计算机上的数据来判定是否真正存在的轨道焊缝不平顺。因此需要通过人工对预报的疑似轨道焊缝缺陷进行筛查，有一些是需要工务段人员到现场复核才能确定是不是真的轨道焊缝不平顺。这样做的话，无疑就给工务段人员造成了很大的劳动强度，降低了惯性检测的实用性和易用性。本发明实施例提供的钢轨焊缝检测方法通过惯性检测技术和机器视觉识别相融合进行验证，通过检测人员在车上就把轨道焊缝缺陷确定，提高检测的准确率，减少工务段人员的劳动程度，提高作业效率。因此，本发明实施例通过惯性技术和机器视觉融合实现高效准确地检测钢轨焊缝。下面结合图2至图5，对该方法涉及的各个步骤进行详细介绍。
为了便于理解各个步骤如何实施，首先对本发明实施例涉及的基于惯性技术及机器视觉融合的钢轨焊缝检测系统进行介绍。
本检测系统可以安装于高速检测车上，即应用到综合检测车上，方便对待检测路段进行检测。如图3所示，本发明实施例所采用的检测系统包括：惯性传感器1(第一惯性传感器和第二惯性传感器)、惯性处理装置2、高速相机3(第一高速成像设备和第二高速成像设备)、图像处理装置4、触发模块5、光电编码器6，当然还可以包括其他必要的硬件设施。
高速铁路钢轨焊缝不良是引起车辆振动的主要激励源。车辆在钢轨上行驶的过程当中，轨道焊缝不平顺会引起车辆振动，通过车轮传递给转向架，从而引起车辆的振动，通过惯性传感器检测轴箱的振动间接来评判钢轨焊缝不平顺的问题。
惯性传感器是一种能够测量其安装部位加速度值大小的灵敏元器件。惯性传感器1主要测量列车轴箱的加速度值，通常在车辆的右侧轴箱安装一个能测量垂直方向上加速度值的惯性传感器，在其左侧轴箱安装一个能测量垂直方向上(规定列车前进的方向为纵向方向)加速度值的惯性传感器。
惯性处理装置可以包括数据采集模块和数据分析模块，采集模块可以对惯性传感器输出的加速度值先进行实时采集，接着可以利用数据分析模块通过算法模型进行分析和计算，最后输出疑似钢轨焊缝不平顺。
惯性传感器1通过专用电缆把模拟量传输到惯性处理装置2，惯性处理装置2首先通过模数转换，将该模拟量转换为数字量数据，对该数据进行处理，得到实时的钢轨和车轮之间的振动波形(如图4所示)，超过正常值的数据(异常振动波形数据)会被记录下来，记录下来的同时向触发模块5发送启动采集信息(图像采集命令)。
具体实施时，本发明实施例采用高速成像设备，通过图像处理装置的控制，实现对钢轨表面的等间距扫描，获取清晰的钢轨表面图像信息。本发明实施例的检测系统主要有两台高速成像设备(第一高速成像设备和第二高速成像设备)，安装于车下左右两侧，两个高速成像设备(高速相机3)的镜头方向朝向钢轨的顶面，方便采集到清晰的钢轨表面图像。
图像处理装置安装于高速检测车上，主要用于接收触发模块发出的采集信息(例如采集命令)，然后发出采集命令控制高速成像设备对钢轨进行图像采集、对采集到的轨道图像进行自动识别。
具体实施时，惯性处理装置一般安装在高速检测车的前端，高速成像设备安装在高速检测车的后端，两者的相对距离记为L2m。即在一个实施例中，所述惯性处理装置安装在靠近车头的一端，第一高速成像设备和第二高速成像设备安装在靠近车尾一端；所述第二里程信息为惯性处理装置与第一高速成像设备或第二高速成像设备之间的相对距离与第一里程信息之和。
触发模块主要是接收图像处理装置发出的采集命令，再把采集命令发送给图像处理装置，高速成像设备接收到采集命令后开始采集。触发模块5可以通过信号线和惯性处理装置2连接，还可以和图像处理装置4连接，形成一个串联的命令传输通道。
高速相机3可以通过双绞线把图像传输到图像处理装置4，图像处理装置4正常是处于等待状态，只有接收到触发模块5传输过来的开始采集命令(图像采集命令)，图像处理装置4才开始启动高速相机3进行采集。光电编码器6用来记录里程，当里程达到设定值(例如(L1+L2+10)m)时，图像处理装置4向高速相机3发出停止采集命令，高速相机3停止采集，处于等待状态，此过程完成了一次完整的采集。
光电编码器是在高速检测车行驶过程当中，实时提供列车行驶里程和速度。主要时为惯性处理装置和图像处理装置提供统一的里程信息，更是为图像处理装置提供停止采集里程信息。假如惯性处理装置检测到疑似钢轨焊缝不平顺时，惯性处理装置会把相关信息(例如图像采集命令)发送给触发模块，触发模块再把启动采集信息(例如图像采集命令)发送给图像处理装置，当图像处理装置接收到采集信息后，会发送采集命令给高速成像设备，同时，图像处理装置接收触发模块从出现钢轨焊缝不平顺时的里程信息为L1m，高速成像设备接收到采集命令开始采集，当图像处理装置接收到光电编码器提供里程信息为(L1+L2+10)m时，图像处理装置发出停止命令控制高速相机停止采集。即光电编码器6主要是向惯性处理装置2和图像处理装置4发送里程信息。第二个主要的功能是为图像处理装置4提供累计里程信息。在实际的检测过程中，当图像处理装置4向高速相机3传输采集命令时，同时图像处理装置4会记录此时的光电编码器6提供的里程信息为L1m，当光电编码器6输出的累计里程信息为(L1+L2+10)m时，图像处理装置4向高速相机3发送停止命令，完成一次的采集。通过上述可知，在一个实施例中，所述惯性处理装置安装在靠近车头的一端，第一高速成像设备和第二高速成像设备安装在靠近车尾一端；所述第二里程信息为惯性处理装置与第一高速成像设备或第二高速成像设备之间的相对距离与第一里程信息，以及预设距离之和。
在一个实施例中，所述预设距离的取值范围可以为8米至12米。8米至12米的取值范围可以进一步提高钢轨焊缝检测的准确率。具体地，优选为10米。
在一个实施例中，第一高速成像设备和第二高速成像设备的镜头方向可以朝向钢轨的顶面。高速相机3的镜头方向朝向钢轨的顶面，可以方便采集到清晰的钢轨表面图像。
为了便于理解本发明实施例提供的基于惯性技术及机器视觉融合的钢轨焊缝检测方法如何实施，下面结合附图2至图5进行举个例子进行介绍。
一种基于惯性技术及机器视觉相融合的高速铁路钢轨焊缝检测检测方法的详细过程如下(如图2所示)：
1.在高速检测车开始检测时，连接电源，首先将各部件连续上电，图像处理装置处于待命状态，惯性处理装置开始启动，惯性传感器实时采集钢轨反馈给列车左右轴箱的加速度值。
2.惯性处理装置持续采集左右轴箱的加速度值，光电编码器一直输出里程信息和速度。当惯性处理装置检测出钢轨焊缝不平顺(如图4所示)时，会将相关的启动采集信息(例如图像采集命令)发送给触发模块。
3.当触发模块接收到相关启动采集信息后，将启动命令(采集命令)发送给图像处理装置，当图像处理装置接收到相关启动采集信息后，会发送采集命令给高速成像设备(例如高速相机)，高速相机开始采集。
4.同时图像处理装置接收到光电编码器从出现钢轨焊缝不平顺时(也即图像处理装置发送图像采集命令给高速相机时)的里程信息记为L1m，即在图像处理装置发送采集命令给高速相机的同时，也同时记录了光电编码器从出现钢轨焊缝不平顺时的里程信息为L1m，当图像处理装置接收到光电编码器记录里程信息为(L1+L2)m，优选为(L1+L2+10)m时，高速相机接收到相关的停止命令，就会停止采集钢轨表面的图像。
5.图像处理装置采集了(L1+L2+10)m的钢轨图像信息，图像处理装置通过从海量的和已知正常的钢轨表面的数据中学习，预先建立了神经网络钢轨焊缝检测模型，对(L1+L2+10)m这一段的图像信息进行机器对比分析，这样不仅提高了图像识别的速度，还提高了检测钢轨焊缝不平顺的准确率(如图5所示)。神经网络钢轨焊缝检测模型的输入可以是钢轨表面图像，输出可以是如图5所示的识别出的钢轨焊缝的图像。
通过上述可知，在一个实施例中，图像处理装置根据第一里程至第二里程内的左侧钢轨表面图像和右侧钢轨表面图像，进行钢轨焊缝检测，可以包括：图像处理装置根据第一里程至第二里程内的左侧钢轨表面图像和右侧钢轨表面图像，以及神经网络钢轨焊缝检测模型，进行钢轨焊缝检测；所述神经网络钢轨焊缝检测模型根据多个钢轨表面图像样本预先训练生成。
6.惯性处理装置和图像处理装置两者结合进行确认。通过惯性处理装置的钢轨焊缝信息提示，图像采集处理模块接收到相关的信息，只采集固定距离的钢轨图像，通过拍摄到的钢轨图像与已知正常的轨道图像进行对比，判断是否是钢轨焊缝缺陷，通过再一次的图像确认，可以大大提高钢轨焊缝缺陷的检测准确度，可更好地定位钢轨焊缝不平顺位置，即得出准确的钢轨焊缝缺陷和里程信息，方便铁路维护人员检修。
通过上述可知，在一个实施例中，惯性处理装置具体可以用于：根据所述第一加速度值和第二加速度值，得到实时的钢轨和车轮之间的振动波形；在检测到异常振动波形数据时，发出图像采集命令；
图像处理装置具体可以用于：根据第一里程至第二里程内的左侧钢轨表面图像和右侧钢轨表面图像，以及所述异常振动波形数据，定位钢轨焊缝不平顺位置。
综上所述，本发明实施例首次将惯性技术与机器视觉相融合，该方法通过惯性检测装置、创新式的触发和机器视觉识别相融合进行验证，通过本套检测方案，在高速检测车上就把钢轨焊缝不平顺问题直接确定了，不需要工务段人员去现场复核，直接提高了高速铁路钢轨焊缝检测的效率和准确率，减少工务段人员的劳动程度，提高了检修效率。
本发明实施例中还提供了一种基于惯性技术及机器视觉融合的钢轨焊缝检测系统，如下面的实施例所述。由于该系统解决问题的原理与基于惯性技术及机器视觉融合的钢轨焊缝检测方法相似，因此该系统的实施可以参见基于惯性技术及机器视觉融合的钢轨焊缝检测方法的实施，重复之处不再赘述。
图6为本发明实施例中基于惯性技术及机器视觉融合的钢轨焊缝检测系统的结构示意图，如图6所示，该系统包括：
第一惯性传感器，用于实时测量垂直方向上的第一加速度值，第二惯性传感器实时测量垂直方向上的第二加速度值；所述第一惯性传感器安装在车辆的右侧轴箱，所述第二惯性传感器安装在车辆的左侧轴箱；
惯性处理装置，用于持续采集所述第一加速度值和第二加速度值，在根据所述第一加速度值和第二加速度值确定疑似钢轨焊缝不平顺时，发出图像采集命令；
触发模块，用于接收所述图像采集命令，将所述图像采集命令发送至图像处理装置；
图像处理装置，用于将图像采集命令发送至第一高速成像设备和第二高速成像设备，记录发送采集命令时的光电编码器提供的第一里程信息；在接收到光电编码器提供累计里程信息为第二里程信息时，将停止采集命令发送至第一高速成像设备和第二高速成像设备；根据第一里程至第二里程内的左侧钢轨表面图像和右侧钢轨表面图像，进行钢轨焊缝检测；
第一高速成像设备，用于在接收到所述采集命令时，开始采集右侧钢轨表面图像，在接收到停止采集命令时，停止采集钢轨表面的图像，将第一里程至第二里程内采集到的右侧钢轨表面图像发送至图像处理装置；第二高速成像设备，用于在接收到所述采集命令时，开始采集左侧钢轨表面图像，在接收到停止采集命令时，停止采集钢轨表面的图像，将第一里程至第二里程内采集到的左侧钢轨表面图像发送至图像处理装置；所述第一高速成像设备安装于车辆下右侧，所述第二高速成像设备安装于车辆下左侧。
具体实施时，图6中的第一惯性传感器和第二惯性传感器对应图3中的惯性传感器1，图6中的惯性处理装置对应图3中的惯性处理装置2，图6中的触发模块对应图3中的触发模块5，图6中的图像处理装置对应图3中的图像处理装置4，图6中的第一高速成像设备和第二高速成像设备对应图3中的高速相机3，另外本发明实施例中的钢轨焊缝检测系统还可以包括光电编码器(图6中未示出)，对应图3中光电编码器6。
在一个实施例中，所述惯性处理装置安装在靠近车头的一端，第一高速成像设备和第二高速成像设备安装在靠近车尾一端；所述第二里程信息为惯性处理装置与第一高速成像设备或第二高速成像设备之间的相对距离与第一里程信息之和。
在一个实施例中，所述第二里程信息为惯性处理装置与第一高速成像设备或第二高速成像设备之间的相对距离与第一里程信息，以及预设距离之和。
在一个实施例中，所述预设距离的取值范围为8米至12米。
在一个实施例中，第一高速成像设备和第二高速成像设备的镜头方向朝向钢轨的顶面。
在一个实施例中，图像处理装置具体用于：根据第一里程至第二里程内的左侧钢轨表面图像和右侧钢轨表面图像，以及神经网络钢轨焊缝检测模型，进行钢轨焊缝检测；所述神经网络钢轨焊缝检测模型根据多个钢轨表面图像样本预先训练生成。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于惯性技术及机器视觉融合的钢轨焊缝检测方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述基于惯性技术及机器视觉融合的钢轨焊缝检测方法的计算机程序。
本发明实施例提供的基于惯性技术及机器视觉融合的钢轨焊缝检测方法的有益效果为：惯性检测装置虽然可以利用惯性传感器的输出振动信号通过一套分析算法模型，让计算机具有一定的识别能力，替代人工对钢轨的焊缝进行检测，但是系统检测中会受到干扰再加上检测的准确度不高，检测出来的缺陷只能被定义为疑似焊缝不平顺，车上的检测人员是很难通过计算机上的数据来判定是否真正存在的轨道焊缝不平顺。因此需要通过人工对预报的疑似轨道焊缝缺陷进行筛查，有一些是需要工务段人员到现场复核才能确定是不是真的轨道焊缝不平顺。这样做的话，无疑就给工务段人员造成了很大的劳动强度，降低了惯性检测系统的实用性和易用性。该方法通过惯性检测系统和机器视觉识别相融合进行验证，通过检测人员在车上就把轨道焊缝缺陷确定，来提高检测的准确率，减少工务段人员的劳动程度，提高作业效率。因此，本发明实施例通过惯性技术和机器视觉融合实现高效准确地检测钢轨焊缝。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于惯性技术及机器视觉融合的钢轨焊缝检测方法，其特征在于，包括：
第一惯性传感器实时测量垂直方向上的第一加速度值，第二惯性传感器实时测量垂直方向上的第二加速度值；所述第一惯性传感器安装在车辆的右侧轴箱，所述第二惯性传感器安装在车辆的左侧轴箱；
惯性处理装置持续采集所述第一加速度值和第二加速度值，在根据所述第一加速度值和第二加速度值确定疑似钢轨焊缝不平顺时，发出图像采集命令；
触发模块接收所述图像采集命令，将所述图像采集命令发送至图像处理装置；
图像处理装置将图像采集命令发送至第一高速成像设备和第二高速成像设备，记录发送采集命令时的光电编码器提供的第一里程信息；
第一高速成像设备在接收到所述采集命令时，开始采集右侧钢轨表面图像，第二高速成像设备在接收到所述采集命令时，开始采集左侧钢轨表面图像；所述第一高速成像设备安装于车辆下右侧，所述第二高速成像设备安装于车辆下左侧；
图像处理装置在接收到光电编码器提供累计里程信息为第二里程信息时，将停止采集命令发送至第一高速成像设备和第二高速成像设备；
第一高速成像设备和第二高速成像设备在接收到停止采集命令时，停止采集钢轨表面的图像；第一高速成像设备将第一里程至第二里程内采集到的右侧钢轨表面图像发送至图像处理装置，第二高速成像设备将第一里程至第二里程内采集到的左侧钢轨表面图像发送至图像处理装置；
图像处理装置根据第一里程至第二里程内的左侧钢轨表面图像和右侧钢轨表面图像，进行钢轨焊缝检测。
2.如权利要求1所述的基于惯性技术及机器视觉融合的钢轨焊缝检测方法，其特征在于，惯性处理装置持续采集所述第一加速度值和第二加速度值，在根据所述第一加速度值和第二加速度值确定疑似钢轨焊缝不平顺时，发出图像采集命令，包括：惯性处理装置根据所述第一加速度值和第二加速度值，得到实时的钢轨和车轮之间的振动波形；在检测到异常振动波形数据时，发出图像采集命令；
图像处理装置根据第一里程至第二里程内的左侧钢轨表面图像和右侧钢轨表面图像，进行钢轨焊缝检测，包括：图像处理装置根据第一里程至第二里程内的左侧钢轨表面图像和右侧钢轨表面图像，以及所述异常振动波形数据，定位钢轨焊缝不平顺位置。
3.如权利要求1所述的基于惯性技术及机器视觉融合的钢轨焊缝检测方法，其特征在于，所述惯性处理装置安装在靠近车头的一端，第一高速成像设备和第二高速成像设备安装在靠近车尾一端；所述第二里程信息为惯性处理装置与第一高速成像设备或第二高速成像设备之间的相对距离与第一里程信息之和。
4.如权利要求3所述的基于惯性技术及机器视觉融合的钢轨焊缝检测方法，其特征在于，所述第二里程信息为惯性处理装置与第一高速成像设备或第二高速成像设备之间的相对距离与第一里程信息，以及预设距离之和。
5.如权利要求4所述的基于惯性技术及机器视觉融合的钢轨焊缝检测方法，其特征在于，所述预设距离的取值范围为8米至12米。
6.如权利要求1所述的基于惯性技术及机器视觉融合的钢轨焊缝检测方法，其特征在于，第一高速成像设备和第二高速成像设备的镜头方向朝向钢轨的顶面。
7.如权利要求1所述的基于惯性技术及机器视觉融合的钢轨焊缝检测方法，其特征在于，图像处理装置根据第一里程至第二里程内的左侧钢轨表面图像和右侧钢轨表面图像，进行钢轨焊缝检测，包括：图像处理装置根据第一里程至第二里程内的左侧钢轨表面图像和右侧钢轨表面图像，以及神经网络钢轨焊缝检测模型，进行钢轨焊缝检测；所述神经网络钢轨焊缝检测模型根据多个钢轨表面图像样本预先训练生成。
8.一种基于惯性技术及机器视觉融合的钢轨焊缝检测系统，其特征在于，包括：
第一惯性传感器，用于实时测量垂直方向上的第一加速度值，第二惯性传感器，用于实时测量垂直方向上的第二加速度值；所述第一惯性传感器安装在车辆的右侧轴箱，所述第二惯性传感器安装在车辆的左侧轴箱；
惯性处理装置，用于持续采集所述第一加速度值和第二加速度值，在根据所述第一加速度值和第二加速度值确定疑似钢轨焊缝不平顺时，发出图像采集命令；
触发模块，用于接收所述图像采集命令，将所述图像采集命令发送至图像处理装置；
图像处理装置，用于将图像采集命令发送至第一高速成像设备和第二高速成像设备，记录发送采集命令时的光电编码器提供的第一里程信息；在接收到光电编码器提供累计里程信息为第二里程信息时，将停止采集命令发送至第一高速成像设备和第二高速成像设备；根据第一里程至第二里程内的左侧钢轨表面图像和右侧钢轨表面图像，进行钢轨焊缝检测；
第一高速成像设备，用于在接收到所述采集命令时，开始采集右侧钢轨表面图像，在接收到停止采集命令时，停止采集钢轨表面的图像，将第一里程至第二里程内采集到的右侧钢轨表面图像发送至图像处理装置；第二高速成像设备，用于在接收到所述采集命令时，开始采集左侧钢轨表面图像，在接收到停止采集命令时，停止采集钢轨表面的图像，将第一里程至第二里程内采集到的左侧钢轨表面图像发送至图像处理装置；所述第一高速成像设备安装于车辆下右侧，所述第二高速成像设备安装于车辆下左侧。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一所述方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至7任一所述方法的计算机程序。
CN202110742106.9A 2021-06-30 2021-06-30 基于惯性技术及机器视觉融合的钢轨焊缝检测方法及系统 Active CN113466247B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110742106.9A CN113466247B (zh) 2021-06-30 2021-06-30 基于惯性技术及机器视觉融合的钢轨焊缝检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110742106.9A CN113466247B (zh) 2021-06-30 2021-06-30 基于惯性技术及机器视觉融合的钢轨焊缝检测方法及系统

Publications (2)

Publication Number Publication Date
CN113466247A CN113466247A (zh) 2021-10-01
CN113466247B true CN113466247B (zh) 2023-09-12

Family

ID=77878250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110742106.9A Active CN113466247B (zh) 2021-06-30 2021-06-30 基于惯性技术及机器视觉融合的钢轨焊缝检测方法及系统

Country Status (1)

Country Link
CN (1) CN113466247B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114384078B (zh) * 2021-12-31 2023-11-24 武汉大学 钢轨波磨损伤定位检测方法及设备
CN114428164A (zh) * 2022-01-14 2022-05-03 无锡来诺斯科技有限公司 一种追溯金属带材表面缺陷的标记装置及标记方法
CN116503586B (zh) * 2023-06-27 2023-09-05 钜宝(深圳)智能有限公司 一种金点检测机及检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101274636A (zh) * 2007-03-26 2008-10-01 林贵生 车载式轨道交通车辆运行状态智能监控和预警装置
RU2474505C1 (ru) * 2011-09-01 2013-02-10 Открытое Акционерное Общество "Российские Железные Дороги" Способ диагностики рельсов
JP2014034875A (ja) * 2012-08-08 2014-02-24 Hatashige Shoten:Kk 無線通信携帯端末を具備した軌道測定解析装置
CN106458235A (zh) * 2014-04-15 2017-02-22 伊伯动力股份公司 确定铁路轨道的结构参数的方法和装置
CN107097807A (zh) * 2017-03-27 2017-08-29 北京交通大学 一种高速铁路轮轨动态接触状态的测定系统
CN108032868A (zh) * 2017-11-30 2018-05-15 中国铁道科学研究院 一种列车轨道检测系统及方法
EP3351452A1 (fr) * 2017-01-23 2018-07-25 Sncf Reseau Procédé et installation d'analyse automatique de l'évolution de la géométrie de voies de circulation
JP2019003575A (ja) * 2017-06-20 2019-01-10 東日本旅客鉄道株式会社 画像分析装置及び鉄道設備部品の保守管理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9875414B2 (en) * 2014-04-15 2018-01-23 General Electric Company Route damage prediction system and method
US7755660B2 (en) * 2003-05-02 2010-07-13 Ensco, Inc. Video inspection system for inspection of rail components and method thereof
US7564569B2 (en) * 2005-09-16 2009-07-21 International Electronic Machines Corp. Optical wheel evaluation
US7358474B2 (en) * 2005-11-03 2008-04-15 Goodrich Corporation System and method for time-delay integration imaging
US9810533B2 (en) * 2011-04-27 2017-11-07 Trimble Inc. Railway track monitoring
AU2017238169B2 (en) * 2016-03-21 2022-02-24 Railpod, Inc. Combined passive and active method and systems to detect and measure internal flaws within metal rails
DE102016208056A1 (de) * 2016-05-11 2017-11-16 Robert Bosch Gmbh Verfahren und Vorrichtung zur Verarbeitung von Bilddaten und Fahrerassistenzsystem für ein Fahrzeug

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101274636A (zh) * 2007-03-26 2008-10-01 林贵生 车载式轨道交通车辆运行状态智能监控和预警装置
RU2474505C1 (ru) * 2011-09-01 2013-02-10 Открытое Акционерное Общество "Российские Железные Дороги" Способ диагностики рельсов
JP2014034875A (ja) * 2012-08-08 2014-02-24 Hatashige Shoten:Kk 無線通信携帯端末を具備した軌道測定解析装置
CN106458235A (zh) * 2014-04-15 2017-02-22 伊伯动力股份公司 确定铁路轨道的结构参数的方法和装置
EP3351452A1 (fr) * 2017-01-23 2018-07-25 Sncf Reseau Procédé et installation d'analyse automatique de l'évolution de la géométrie de voies de circulation
CN107097807A (zh) * 2017-03-27 2017-08-29 北京交通大学 一种高速铁路轮轨动态接触状态的测定系统
JP2019003575A (ja) * 2017-06-20 2019-01-10 東日本旅客鉄道株式会社 画像分析装置及び鉄道設備部品の保守管理方法
CN108032868A (zh) * 2017-11-30 2018-05-15 中国铁道科学研究院 一种列车轨道检测系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
贺延芳.城市轨道交通钢轨病害检测与识别研究.2016,(7),全文. *

Also Published As

Publication number Publication date
CN113466247A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN113466247B (zh) 基于惯性技术及机器视觉融合的钢轨焊缝检测方法及系统
CN109910947B (zh) 搭载式轨道健康状态动态监测与智慧分析系统及方法
CN113320447A (zh) 轨道-接触网设备健康状态一体化综合检测机器人
CN100449264C (zh) 车辆轮对踏面缺陷在线检测方法及装置
CN108657223B (zh) 一种城市轨道交通自动巡检系统及隧道形变检测方法
CN108845028B (zh) 一种高速铁路钢轨波磨动态检测方法和装置
CN102060037A (zh) 机车轮对全周外形尺寸在线动态检测装置
KR101111569B1 (ko) 궤도차량을 이용한 철도시설물 감시시스템 및 방법
KR101602376B1 (ko) 열차 결함 모니터링 시스템
CN113085948B (zh) 一种轨道综合检测系统
CN110789566B (zh) 基于轴箱加速信号的轨道缺陷监测方法及监测设备
CN113091833A (zh) 一种弓网综合检测系统
CN107421445A (zh) 一种检测铁路扣件松紧状态的装置及方法
JP2009234338A (ja) 鉄道のトロリ線の状態診断装置
CN103693073A (zh) 一种非接触式车轮直径动态测量装置及其测量方法
CN207850316U (zh) 一种轨道车轮踏面检测装置
CN203544024U (zh) 一种金属磁记忆钢轨温度应力检测装置
TW201936431A (zh) 軌道立體檢測系統
KR101806814B1 (ko) 터널의 위치 정보 설정과 파악이 가능한 궤도차량을 이용한 철도시설물 감시시스템
CN202400107U (zh) 铁路轨道动态检测钢轨侧面磨耗检测装置
CN207725421U (zh) 车辆轮对动态检测系统
CN207128909U (zh) 一种用于检测的轨道检测梁
CN110672341A (zh) 一种设置于轨道上的列车走行部检测系统
KR101806810B1 (ko) 궤도차량을 이용한 철도시설물 감시시스템
JP2019111904A (ja) トロリー線の異常診断方法、トロリー線の異常診断装置及び電動移動体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant