CN116934665A - 一种rfid引导的轨道可视化巡检系统 - Google Patents

一种rfid引导的轨道可视化巡检系统 Download PDF

Info

Publication number
CN116934665A
CN116934665A CN202210370455.7A CN202210370455A CN116934665A CN 116934665 A CN116934665 A CN 116934665A CN 202210370455 A CN202210370455 A CN 202210370455A CN 116934665 A CN116934665 A CN 116934665A
Authority
CN
China
Prior art keywords
image
track
electronic tag
rfid
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210370455.7A
Other languages
English (en)
Inventor
兰伟
毛宏军
张荣川
林青
梁鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Jingshi Huayao Technology Co ltd
Original Assignee
Chengdu Jingshi Huayao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Jingshi Huayao Technology Co ltd filed Critical Chengdu Jingshi Huayao Technology Co ltd
Priority to CN202210370455.7A priority Critical patent/CN116934665A/zh
Publication of CN116934665A publication Critical patent/CN116934665A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G06K19/077—Constructional details, e.g. mounting of circuits in the carrier
    • G06K19/07749—Constructional details, e.g. mounting of circuits in the carrier the record carrier being capable of non-contact communication, e.g. constructional details of the antenna of a non-contact smart card
    • G06K19/07758—Constructional details, e.g. mounting of circuits in the carrier the record carrier being capable of non-contact communication, e.g. constructional details of the antenna of a non-contact smart card arrangements for adhering the record carrier to further objects or living beings, functioning as an identification tag
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G06K7/10297—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves arrangements for handling protocols designed for non-contact record carriers such as RFIDs NFCs, e.g. ISO/IEC 14443 and 18092
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种RFID引导的轨道可视化巡检系统，由运载平台、成像模块、数据采集与处理模块、控制模块、RFID阅读器、供电模块、数据处理服务器，以及道床上安置的RFID电子标签组成。采用数据比对方法用于轨道病害在线、离线检测，并采用RFID标签信息用于里程精准定位，根据RFID标签信息，引导数据比对中当前图像与背景图像对齐，确保了轨道可视化巡检系统可靠运行，避免了误匹配产生的累积误差蔓延问题。

Description

一种RFID引导的轨道可视化巡检系统
技术领域
本发明涉及轨道巡检装置技术领域，具体涉及一种RFID引导的轨道可视化巡检系统。
背景技术
视觉成像技术被广泛应用于轨道巡检技术领域，将线阵摄像机和/或3D摄像机安装于轨道巡检平台底部，对轨道表面进行2D和/或3D成像，获取轨道表面2D和/或3D成像数据，可为轨道病害检测提供数据。
在获取轨道可视化数据后，再通过模式识别技术对获取的数据进行处理，以实现轨道病害可视化自动检测。
根据不同的用途，轨道可分为城市轨道(地铁)、大铁(有砟低速铁路)、高铁(无砟高速铁路)。这些轨道具有以下特点：其中，大铁、高铁，里程长，转弯半径大，线路平直性好，某一区段线路中扣件类型较少，拍摄的轨道表面可视化图像内容较为简单；城市轨道 (地铁)，里程短、转弯半径大，线路状态复杂(施工标段多，导致存在多种扣件、轨枕、道床类型)，使获取的轨道表面可视化图像内容非常复杂，给基于模式识别的轨道病害检测方法带来巨大挑战，因此，现有面向大铁、高铁研制的轨道表面可视化巡检系统，难以在城市轨道中推广使用，因线路情况的复杂，导致轨道病害检测率大幅降低。
数据比对方法可用于轨道可视化巡检，其基本原理是：先人工核对整个线路状态，确保线路中无病害；再对整个轨道进行可视化成像，获取整个轨道的图像数据，作为背景数据；检测时，采集轨道表面图像数据，通过数据比对方法，找到当前轨道相比建模阶段的变化，在这些变化区域中，就包含了轨道病害，再通过一些模式识别方法，比如分类方法，判定轨道病害类型。这里的图像数据，包括二维纹理图像和/或三维深度图像，已经二维与三维融合图像。
但是，因为整个轨道的里程较长，城市轨道一般都在40Km左右，按1m采集一幅图像计算，有40000幅图像，系统检测时，每一次的起点都不一样。在大量数据中实现数据比对方法的前提时，找到当前图像与背景图像的对应关系。
针对上述问题，我们拟采用下面的方法来解决：对采集的图像，沿轨道延伸方向，按轨枕或扣件为单位进行切割，建立轨枕或扣件序号，对所采集的图像进行管理，在数据比对的时候，直接根据轨枕或扣件序号，实现图像粗对齐，再通过图像匹配，实现精细对齐，采用数据比对实现轨道病害检测。
要实现上述基于数据比对的轨道病害可视化检测，本发明提供一种RFID引导的轨道可视化巡检系统，它的技术原理是：在线路上设置具有唯一ID的RFID标签，通过记录RFID标签的里程信息，利用RFID标签信息，用于采集图像数据定位，使基于数据比对的轨道病害检测方法可以顺利实施。
发明内容
针对无GPS条件下，采用数据比对方法实现轨道病害可视化巡检，所存在的、难以实现采集图像定位的问题，本发明提供一种RFID引导的轨道可视化巡检系统。
一种RFID引导的轨道可视化巡检系统，其特征在于，该系统由运载平台、成像模块、数据采集与处理模块、控制模块、RFID阅读器、供电模块、数据处理服务器，以及道床上安置的RFID电子标签组成；
所述成像模块，沿钢轨延伸方向，对轨道表面进行线扫描成像，获取轨道表面图像数据；
所述数据采集与处理模块为运载平台上的计算机，与成像模块通讯连接，用于成像数据采集、存储，并执行轨道病害在线检测；所述计算机上有可插拔硬盘，用于存储采集的轨道表面图像数据；
所述数据处理服务器，用于执行轨道病害离线检测，通过可插拔硬盘将采集的图像数据从数据采集与处理模块转移到数据处理服务器进行处理；
所述控制模块为嵌入式计算平台，产生线扫描成像控制脉冲信号输出到成像模块，与RFID 阅读器连接，获取RFID电子标签ID和信号强度；
所述供电模块为电池组或外部供电接口，供电模块与成像模块、数据采集与处理模块、控制模块、RFID阅读器连接并供电；
所述RFID电子标签具有唯一ID，电子标签与RFID阅读器支持通信距离大于1m；
所述RFID电子标签的安装位置与里程关联；对于短里程轨道，号牌安装于进站、出站口，和/或百米标处；对于长里程轨道，按n公里间隔安装，n的取值范围为0.5-10；
所述巡检系统，预先采集轨道的RFID信息、轨道图像，并构建包含RFID信息的参考背景模型；在检测时，利用RFID信息引导，使当前采集图像与参考背景模型中背景图像对齐，再采用数据比对方法，检测轨道变化区域，以此实现轨道可视化病害快速、有效检测。
进一步地，所述成像系统由3个成像单元组成，分别位于两侧钢轨正上方、道床正上方； 3个成像单元通过视场拼接，对整个轨道进行扫描成像；所述成像单元包括：二维线阵成像单元或线结构光三维扫描单元或二维与三维融合成像单元；所述二维与三维融合成像单元是基于线结构光的3D摄像机，它通过计算线结构光中心线坐标和激光线反射系数，获取像素级对齐的二维与三维融合成像数据；所述成像模块固定于检测梁上，可挂载于轮式小车或巡检车或电客车或巡检机器人上；所述RFID阅读器安装于运载平台上，RFID阅读器天线斜朝向运载平台前方，与轨道平面成q角度，q的取值范围为10-60度；所述电子标签安装于左右两侧钢轨扣件区域连线上。
RFID阅读器将探测到的RFID信号强度和ID，传输到控制模块，控制模块将ID和当前成像脉冲数量序号k组成数据对<ID，k>，仅记录信号最强时刻的成像脉冲数量序号k，传输到数据采集与处理模块，并保存为电子标签ID与成像脉冲数量序号映射表G0,G0中元素为： {<ID(0),k(0)>,...,<ID(m-1),k(m-1)>},m为电子标签的数量；所述成像脉冲数量序号k是输入到成像模块中的线扫描成像控制脉冲数量；所述成像脉冲生成方法包括：在巡检平台的车轮上安装光电编码器产生里程为a mm的线扫描光电脉冲信号，或采用测速单元对巡检平台运动速度进行测量后产生里程为a mm的线扫描成像脉冲信号，a的取值范围为1-4。
巡检系统具体工作流程如下：
第一步：基底数据采集
对拟检测的轨道，从起点到终点，采集整个线路图像数据、RFID电子标签ID，保存采集图像集X、电子标签ID与成像脉冲数量序号映射表G0；
第二步：数据建模
对采集图像集X进行处理，构建轨道参考背景模型M，具体步骤如下：
第2.1步：沿钢轨延伸方向，以扣件为单位对采集图像集X中图像进行切割，使切割图像中、沿钢轨纵向只包含一排扣件；从线路起点开始，对切割图像进行编号，编号序列为U＝[0,1,...，v-1],v为切割图像总数量,切割图像集命名为参考背景图像集B；
第2.2步：依次从电子标签ID与成像脉冲数量序号映射表G0中取出<ID(i),k(i)>，根据k(i)计算出每一个ID(i)对应的采集图像序号u,u＝mod(k(i)/h),其中h为采集图像高度，mod表示取整,i为G0中元素序号，取值范围为0～m-1；构建<ID(i),u(i)>数据对，存储为电子标签ID与参考背景图像集映射表G1，G1中元素为： {<ID(0),u(0)>,...,<ID(m-1),u(m-1)>}；
第2.3步：依次从电子标签ID与参考背景图像集映射表G1取出<ID(i),u(i)>，从参考背景图像集B,取出序号为u(i)的参考背景图像b(u(i))，采用模式识别方法在参考背景图像b中进行电子标签检测，并将电子标签在图像中的位置p(x1,y1,x2,y2)，与<ID(i),u(i)> 组合，形成新的元素：<ID(i),u(i),p>，存储为电子标签ID与参考背景图像集映射表G2,G2 中元素为:{<ID(0),u(0),p(0)>,...,<ID(m-1),u(m-1),p(m-1)>},其中,(x1,y1)是电子标签外接矩形左顶点图像坐标,(x2,y2)是电子标签外接矩形右下顶点图像坐标；
第2.4步：遍历参考背景图像集B中所有图像，进行语义标注；标注内容包括:钢轨、道床、水沟、轨枕、扣件弹条、扣件螺栓或螺帽、轨距片、信号设备、线缆、钢轨鱼尾板、钢轨接头、钢轨鱼尾板螺栓、道岔连接螺栓、可动心轨、尖轨区域；并将标记区域进行标号，存储为与参考背景图像相同大小的标记图像f；完成所有背景图像标注，得到标注图像集F；
第2.5步：记录参考背景图像集B、标注图像集F、电子标签ID与参考背景图像集映射表G2，作为参考背景模型M；
第三步：在线检测
巡检系统经起点到终点，根据RFID信息引导，搜索、匹配参考背景图像，采用数据比对方法检测轨道变化区域，根据标记图像判定病害类型，并记录轨道变化区域检测结果，具体步骤如下：
第3.1步：轨道可视化巡检系统，从检测轨道的起始点外出发、向终点方向行进；在行进的过程中，成像模块对轨道进行成像采集、RFID阅读器探测RFID电子标签信号；
第3.2步：当RFID阅读器首次探测到RFID信号后，获取电子标签ID，基于电子标签ID 与参考背景图像集映射表G2，查询到与电子标签ID对应的参考背景图像序号u、电子标签位置信息p，从参考背景图像集B中取出序号为u的背景图像b，根据p构建模板图像t，采用模板匹配或NCC或形状匹配方法，使当前采集图像与模板图像t对齐，并根据背景图像b的高度，切割出待检测图像c；
采用数据比对方法，比较背景图像b与待检测图像c的差异，从标注图像集F中取出序号为u的标注图像f，根据f快速定位差异区域属于哪些轨道组件，并快速判定轨道病害类型；
第3.4步：
当RFID阅读器未探测到RFID信号时，取出下一幅背景图像b’、标注图像f’,取f’中某一个扣件区域r，并在b’取r区域内图像作为模板图像t，采用模板匹配或NCC或形状匹配方法，使当前采集图像与模板图像t对齐，并根据背景图像b’的高度，切割出待检测图像c’；
采用数据比对方法，比较背景图像b’与待检测图像c’的差异，从标注图像集F中取出序号为u的标注图像f’，根据f’快速定位差异区域属于哪些轨道组件，并快速判定轨道病害类型；
当RFID阅读器再次探测到RFID信号时，获取电子标签ID，基于电子标签ID与参考背景图像集映射表G2，查询到与电子标签ID对应的参考背景图像序号u、电子标签位置信息p，从参考背景图像集B中取出序号为u的背景图像b，根据p构建模板图像t，采用模板匹配或NCC或形状匹配方法，使当前采集图像与模板图像t对齐，并根据背景图像b的高度，切割出待检测图像c；
采用数据比对方法，比较背景图像b与待检测图像c的差异，从标注图像集F中取出序号为u的标注图像f，根据f快速定位差异区域属于哪些轨道组件，并快速判定轨道病害类型；
循环执行第3.4步，直到完成整个线路检测，保存切割出的待检测图像构成待检测图像集C，待检测图像集C中图像与参考背景图像集B中图像一一对应；
第四步：离线检测
遍历待检测图像集C，采集数据比对方法，以减小阈值检测轨道变化区域，根据标注图像找到变化区域位置信息，判定轨道病害类型，具体步骤如下：
第4.1步：从待检测图像集C中，取出第i幅待检测图像ci,从参考背景图像集B中，取出第i幅参考背景图像bi,从标注图像集F中取出第i幅标注图像fi；
第4.2步：采用数据比对算法，找到轨道变化区域，在标注图像fi中查找变化区域位置，根据标注结果、相应规则，进行道床、钢轨、扣件病害检测；
循环执行第4.1-4.2步，完成所有图像检测。
在执行在线检测时，进行两次数据比对，一次采用较大阈值，用于检测较大变化；一次采用较小阈值，用于检测包含较小的变化，并记录变化区域结果R，使R中包含待检测图像的序号；在执行离线检测时，只对存在变化区域的图像进行检测，未存在变化区域的图像不进行检测，以对离线检测过程进行加速。
在数据建模过程中，采用基于模式识别的扣件检测方法，具体包括：HOG+SVM或FasterRCNN或YOLOV3或YOLOV4或YOLOV5或模板匹配；并在切割时，根据沿钢轨纵向一排扣件包含多个扣件的先验，基于检测结果沿钢轨纵向投影区域的投票结果作为切割定位依据；所述切割位置为沿钢轨纵向相邻两排扣件的中线。
进一步地，为利用线路上已安装的电子标签，在第2.2步中，进行如下处理：依次从电子标签ID与成像脉冲数量序号映射表G0中取出<ID(i),k(i)>，根据k(i)计算出每一个ID(i) 对应的图像序号u,u＝mod(k(i)/h),其中h为采集图像高度，mod表示取整,i为G0中元素序号，取值范围为0～m-1；取序号为u-1、u、u+1的三幅采集图像进行拼接后，采用模式识别方法检测电子标签图像，根据电子标签图像所在图像序号u’，构建<ID(i),u’>数据对，存储为电子标签ID与参考背景图像集映射表G1，G1中元素为： {<ID(0),u(0)>,...,<ID(m-1),u(m-1)>}；并且在第2.1步中，进行以扣件为单位的图像切割时，避免将电子标签区域分离，以使电子标签区域完整地位于切割后图像中。
进一步地，在第3.2步中，当RFID阅读器探测到电子标签信号后，即启动基于模式识别的电子标签检测算法，对采集图像进行相邻图像拼接，在拼接图像中检测电子标签，当检出电子标签后，将含有电子标签的图像与参考背景图像集B中、具有相同电子标签ID的背景图像进行匹配，完成当前采集图像与参考背景图像的对齐操作，再切割出待检测图像；所述基于模式识别的电子标签检测算法包括HOG+SVM或FasterRCNN或YOLOV3或YOLOV4或YOLOV5。
进一步地，在在线检测中，当通过数据比对方法后存在大量误匹配、产生大面积错误检测结果时，只采集轨道图像和RFID标签信息，不再执行病害检测，确保系统完成图像数据采集，在离线检测阶段再进行轨道病害检测；在离线检测阶段，从误检测位置向后搜索，查找到新的电子标签ID，再向前推断，对所有图像进行重新对齐后，再进行数据比对检测，以消除成像系统因丢帧、丢行导致的误匹配问题。
进一步地，在基底数据采集、数据建模、在线检测、离线检测中，将整个待检测线路以区段为单位进行分段处理；记录每一个区段起点、终点RFID标签，根据采集的RFID标签ID，判定区段位置，以避免成像模块丢帧、丢行导致的误匹配问题在整个检测线路蔓延导致包含多个区段的检测作业失败。
与现有技术相比，本发明的有益效果如下：
1)将基于数据比对的数据比对方法引入，用于实现复杂路况轨道病害快速、准确检测，并针对长里程轨道如何实现背景图像与当前图像对齐的问题，提出了以轨枕/扣件为单位的图像对齐策略；并针对长里程条件下，如何找到图像起点的问题，在图像中找到准确的里程，提出利用RFID电子标签信息，作为非视觉信号的补充，可以可靠地解决定位问题。RFID引导，具有鲁棒高效的特点，不容易受到环境污染。
2)给出了基于RFID引导的具体方法，以及如何利用RFID方法消除，数据比对方法中存在的误匹配累积问题。
附图说明
无。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，下面结合实施例，对本发明进行进一步详细说明。
实施例1
一种RFID引导的轨道可视化巡检系统，由运载平台、成像模块、数据采集与处理模块、控制模块、RFID阅读器、供电模块、数据处理服务器，以及道床上安置的RFID电子标签组成；
所述成像模块，沿钢轨延伸方向，对轨道表面进行线扫描成像，获取轨道表面图像数据；
所述数据采集与处理模块为运载平台上的计算机，与成像模块通讯连接，用于成像数据采集、存储，并执行轨道病害在线检测；所述计算机上有可插拔硬盘，用于存储采集的轨道表面图像数据；
所述数据处理服务器，用于执行轨道病害离线检测，通过可插拔硬盘将采集的图像数据从数据采集与处理模块转移到数据处理服务器进行处理；
所述控制模块为嵌入式计算平台，产生线扫描成像控制脉冲信号输出到成像模块，与RFID 阅读器连接，获取RFID电子标签ID和信号强度；
所述供电模块为电池组或外部供电接口，供电模块与成像模块、数据采集与处理模块、控制模块、RFID阅读器连接并供电；
所述RFID电子标签具有唯一ID，电子标签与RFID阅读器支持通信距离大于1m；
所述RFID电子标签的安装位置与里程关联；对于短里程轨道，号牌安装于进站、出站口，和/或百米标处；对于长里程轨道，按n公里间隔安装，n的取值范围为0.5-10；
所述巡检系统，预先采集轨道的RFID信息、轨道图像，并构建包含RFID信息的参考背景模型；在检测时，利用RFID信息引导，使当前采集图像与参考背景模型中背景图像对齐，再采用数据比对方法，检测轨道变化区域，以此实现轨道可视化病害快速、有效检测。
所述成像系统由3个成像单元组成，分别位于两侧钢轨正上方、道床正上方；3台成像单元通过视场拼接，对整个轨道进行扫描成像；成像单元包括：二维线阵成像单元或线结构光三维扫描单元或二维与三维融合成像单元；所述二维与三维融合成像单元是基于线结构光的3D摄像机，它通过计算线结构光中心线坐标和激光线反射系数，获取像素级对齐的二维与三维融合成像数据；所述成像模块固定于检测梁上，可挂载于轮式小车或巡检车或电客车或巡检机器人上；所述RFID阅读器安装于运载平台上，RFID阅读器天线斜朝向运载平台前方，与轨道平面成q角度，q的取值范围为10-60度；所述电子标签安装于左右两侧钢轨扣件区域连线上。
RFID阅读器将探测到的RFID信号强度和ID，传输到控制模块，控制模块将ID和当前成像脉冲数量序号k组成数据对<ID，k>，仅记录信号最强时刻的成像脉冲数量序号k，传输到数据采集与处理模块，并保存为电子标签ID与成像脉冲数量序号映射表G0,G0中元素为： {<ID(0),k(0)>,...,<ID(m-1),k(m-1)>},m为电子标签的数量；所述成像脉冲数量序号k是输入到成像模块中的线扫描成像控制脉冲数量；所述成像脉冲生成方法包括：在巡检平台的车轮上安装光电编码器产生里程为a mm的线扫描光电脉冲信号，或采用测速单元对巡检平台运动速度进行测量后产生里程为a mm的线扫描成像脉冲信号，a的取值范围为1-4。
系统具体工作流程如下：
第一步：基底数据采集
对拟检测的轨道，从起点到终点，采集整个线路图像数据、RFID电子标签ID，保存采集图像集X、电子标签ID与成像脉冲数量序号映射表G0；
第二步：数据建模
对采集图像集X进行处理，构建轨道参考背景模型M，具体步骤如下：
第2.1步：沿钢轨延伸方向，以扣件为单位对采集图像集X中图像进行切割，使切割图像中、沿钢轨纵向只包含一排扣件；从线路起点开始，对切割图像进行编号，编号序列为U＝[0,1,...，v-1],v为切割图像总数量,切割图像集命名为参考背景图像集B；
第2.2步：依次从电子标签ID与成像脉冲数量序号映射表G0中取出<ID(i),k(i)>，根据k(i)计算出每一个ID(i)对应的采集图像序号u,u＝mod(k(i)/h),其中h为采集图像高度， mod表示取整,i为G0中元素序号，取值范围为0～m-1；构建<ID(i),u(i)>数据对，存储为电子标签ID与参考背景图像集映射表G1，G1中元素为： {<ID(0),u(0)>,...,<ID(m-1),u(m-1)>}；
第2.3步：依次从电子标签ID与参考背景图像集映射表G1取出<ID(i),u(i)>，从参考背景图像集B,取出序号为u(i)的参考背景图像b(u(i))，采用模式识别方法在参考背景图像b中进行电子标签检测，并将电子标签在图像中的位置p(x1,y1,x2,y2)，与<ID(i),u(i)> 组合，形成新的元素：<ID(i),u(i),p>，存储为电子标签ID与参考背景图像集映射表G2,G2 中元素为:{<ID(0),u(0),p(0)>,...,<ID(m-1),u(m-1),p(m-1)>},其中,(x1,y1)是电子标签外接矩形左顶点图像坐标,(x2,y2)是电子标签外接矩形右下顶点图像坐标；
第2.4步：遍历参考背景图像集B中所有图像，进行语义标注；标注内容包括:钢轨、道床、水沟、轨枕、扣件弹条、扣件螺栓或螺帽、轨距片、信号设备、线缆、钢轨鱼尾板、钢轨接头、钢轨鱼尾板螺栓、道岔连接螺栓、可动心轨、尖轨区域；并将标记区域进行标号，存储为与参考背景图像相同大小的标记图像f；完成所有背景图像标注，得到标注图像集F；
第2.5步：记录参考背景图像集B、标注图像集F、电子标签ID与参考背景图像集映射表G2，作为参考背景模型M；
第三步：在线检测
巡检系统经起点到终点，根据RFID信息引导，搜索、匹配参考背景图像，采用数据比对方法检测轨道变化区域，根据标记图像判定病害类型，并记录轨道变化区域检测结果，具体步骤如下：
第3.1步：轨道可视化巡检系统，从检测轨道的起始点外出发、向终点方向行进；在行进的过程中，成像模块对轨道进行成像采集、RFID阅读器探测RFID电子标签信号；
第3.2步：当RFID阅读器首次探测到RFID信号后，获取电子标签ID，基于电子标签ID 与参考背景图像集映射表G2，查询到与电子标签ID对应的参考背景图像序号u、电子标签位置信息p，从参考背景图像集B中取出序号为u的背景图像b，根据p构建模板图像t，采用模板匹配或NCC或形状匹配方法，使当前采集图像与模板图像t对齐，并根据背景图像b的高度，切割出待检测图像c；
采用数据比对方法，比较背景图像b与待检测图像c的差异，从标注图像集F中取出序号为u的标注图像f，根据f快速定位差异区域属于哪些轨道组件，并快速判定轨道病害类型；
第3.4步：
当RFID阅读器未探测到RFID信号时，取出下一幅背景图像b’、标注图像f’,取f’中某一个扣件区域r，并在b’取r区域内图像作为模板图像t，采用模板匹配或NCC或形状匹配方法，使当前采集图像与模板图像t对齐，并根据背景图像b’的高度，切割出待检测图像c’；
采用数据比对方法，比较背景图像b’与待检测图像c’的差异，从标注图像集F中取出序号为u的标注图像f’，根据f’快速定位差异区域属于哪些轨道组件，并快速判定轨道病害类型；
当RFID阅读器再次探测到RFID信号时，获取电子标签ID，基于电子标签ID与参考背景图像集映射表G2，查询到与电子标签ID对应的参考背景图像序号u、电子标签位置信息p，从参考背景图像集B中取出序号为u的背景图像b，根据p构建模板图像t，采用模板匹配或NCC或形状匹配方法，使当前采集图像与模板图像t对齐，并根据背景图像b的高度，切割出待检测图像c；
采用数据比对方法，比较背景图像b与待检测图像c的差异，从标注图像集F中取出序号为u的标注图像f，根据f快速定位差异区域属于哪些轨道组件，并快速判定轨道病害类型；
循环执行第3.4步，直到完成整个线路检测，保存切割出的待检测图像构成待检测图像集C，待检测图像集C中图像与参考背景图像集B中图像一一对应；
第四步：离线检测
遍历待检测图像集C，采集数据比对方法，以减小阈值检测轨道变化区域，根据标注图像找到变化区域位置信息，判定轨道病害类型，具体步骤如下：
第4.1步：从待检测图像集C中，取出第i幅待检测图像ci,从参考背景图像集B中，取出第i幅参考背景图像bi,从标注图像集F中取出第i幅标注图像fi；
第4.2步：采用数据比对算法，找到轨道变化区域，在标注图像fi中查找变化区域位置，根据标注结果、相应规则，进行道床、钢轨、扣件病害检测；
循环执行第4.1-4.2步，完成所有图像检测。
进一步地，在执行在线检测时，进行两次数据比对，一次采用较大阈值，用于检测较大变化；一次采用较小阈值，用于检测包含较小的变化，并记录变化区域结果R，使R中包含待检测图像的序号；在执行离线检测时，只对存在变化区域的图像进行检测，未存在变化区域的图像不进行检测，以对离线检测过程进行加速。
进一步地，在数据建模过程中，采用基于模式识别的扣件检测方法，具体包括：HOG+SVM 或FasterRCNN或YOLOV3或YOLOV4或YOLOV5或模板匹配；并在切割时，根据沿钢轨纵向一排扣件包含多个扣件的先验，基于检测结果沿钢轨纵向投影区域的投票结果作为切割定位依据；所述切割位置为沿钢轨纵向相邻两排扣件的中线。
进一步地，为利用线路上已安装的电子标签，在第2.2步中，进行如下处理：依次从电子标签ID与成像脉冲数量序号映射表G0中取出<ID(i),k(i)>，根据k(i)计算出每一个ID(i) 对应的图像序号u,u＝mod(k(i)/h),其中h为采集图像高度，mod表示取整,i为G0中元素序号，取值范围为0～m-1；取序号为u-1、u、u+1的三幅采集图像进行拼接后，采用模式识别方法检测电子标签图像，根据电子标签图像所在图像序号u’，构建<ID(i),u’>数据对，存储为电子标签ID与参考背景图像集映射表G1，G1中元素为： {<ID(0),u(0)>,...,<ID(m-1),u(m-1)>}；并且在第2.1步中，进行以扣件为单位的图像切割时，避免将电子标签区域分离，以使电子标签区域完整地位于切割后图像中。
进一步地，在第3.2步中，当RFID阅读器探测到电子标签信号后，即启动基于模式识别的电子标签检测算法，对采集图像进行相邻图像拼接，在拼接图像中检测电子标签，当检出电子标签后，将含有电子标签的图像与参考背景图像集B中、具有相同电子标签ID的背景图像进行匹配，完成当前采集图像与参考背景图像的对齐操作，再切割出待检测图像。所述基于模式识别的电子标签检测算法包括：HOG+SVM或FasterRCNN或YOLOV3或YOLOV4或YOLOV5。
进一步地，在在线检测中，当通过数据比对方法后存在大量误匹配、产生大面积错误检测结果时，只采集轨道图像和RFID标签信息，不再执行病害检测，确保系统完成图像数据采集，在离线检测阶段再进行轨道病害检测；在离线检测阶段，从误检测位置向后搜索，查找到新的电子标签ID，再向前推断，对所有图像进行重新对齐后，再进行数据比对检测，以消除成像系统因丢帧、丢行导致的误匹配问题。
进一步地，在基底数据采集、数据建模、在线检测、离线检测中，将整个待检测线路以区段为单位进行分段处理；记录每一个区段起点、终点RFID标签，根据采集的RFID标签ID，判定区段位置，以避免成像模块丢帧、丢行导致的误匹配问题在整个检测线路蔓延，导致包含多个区段的检测作业失败。
本发明的内容不限于实施例所列举，本领域普通技术人员通过阅读本发明说明书而对本发明技术方案采取的任何等效的变换，均为本发明的权利要求所涵盖。

Claims (10)

1.一种RFID引导的轨道可视化巡检系统，其特征在于，该系统由运载平台、成像模块、数据采集与处理模块、控制模块、RFID阅读器、供电模块、数据处理服务器，以及道床上安置的RFID电子标签组成；
所述成像模块，沿钢轨延伸方向，对轨道表面进行线扫描成像，获取轨道表面图像数据；
所述数据采集与处理模块为运载平台上的计算机，与成像模块通讯连接，用于成像数据采集、存储，并执行轨道病害在线检测；所述计算机上有可插拔硬盘，用于存储采集的轨道表面图像数据；
所述数据处理服务器，用于执行轨道病害离线检测，通过可插拔硬盘将采集的图像数据从数据采集与处理模块转移到数据处理服务器进行处理；
所述控制模块为嵌入式计算平台，产生线扫描成像控制脉冲信号输出到成像模块，与RFID阅读器连接，获取RFID电子标签ID和信号强度；
所述供电模块为电池组或外部供电接口，供电模块与成像模块、数据采集与处理模块、控制模块、RFID阅读器连接并供电；
所述RFID电子标签具有唯一ID，电子标签与RFID阅读器支持通信距离大于1m；
所述RFID电子标签的安装位置与里程关联；对于短里程轨道，号牌安装于进站、出站口，和/或百米标处；对于长里程轨道，按n公里间隔安装，n的取值范围为0.5-10；
所述巡检系统，预先采集轨道的RFID信息、轨道图像，并构建包含RFID信息的参考背景模型；在检测时，利用RFID信息引导，使当前采集图像与参考背景模型中背景图像对齐，再采用数据比对方法，检测轨道变化区域，以此实现轨道可视化病害快速、有效检测。
2.根据权利要求1所述的一种RFID引导的轨道可视化巡检系统，其特征在于，所述成像系统由3个成像单元组成，分别位于两侧钢轨正上方、道床正上方；3个成像单元通过视场拼接，对整个轨道进行扫描成像；所述成像单元包括：二维线阵成像单元或线结构光三维扫描单元或二维与三维融合成像单元；所述二维与三维融合成像单元是基于线结构光的3D摄像机，它通过计算线结构光中心线坐标和激光线反射系数，获取像素级对齐的二维与三维融合成像数据；所述成像模块固定于检测梁上，可挂载于轮式小车或巡检车或电客车或巡检机器人上；所述RFID阅读器安装于运载平台上，RFID阅读器天线斜朝向运载平台前方，与轨道平面成q角度，q的取值范围为10-60度；所述电子标签安装于左右两侧钢轨扣件区域连线上。
3.根据权利要求1或2所述的一种RFID引导的轨道可视化巡检系统，其特征在于，RFID阅读器将探测到的RFID信号强度和ID，传输到控制模块，控制模块将ID和当前成像脉冲数量序号k组成数据对<ID，k>，仅记录信号最强时刻的成像脉冲数量序号k，传输到数据采集与处理模块，并保存为电子标签ID与成像脉冲数量序号映射表G0,G0中元素为：{<ID(0),k(0)>,...,<ID(m-1),k(m-1)>},m为电子标签的数量；所述成像脉冲数量序号k是输入到成像模块中的线扫描成像控制脉冲数量；所述成像脉冲生成方法包括：在巡检平台的车轮上安装光电编码器产生里程为a mm的线扫描光电脉冲信号，或采用测速单元对巡检平台运动速度进行测量后产生里程为a mm的线扫描成像脉冲信号，a的取值范围为1-4。
4.根据权利要求1-3任一所述的一种RFID引导的轨道可视化巡检系统，其特征在于，所述巡检系统具体工作流程如下：
第一步：基底数据采集
对拟检测的轨道，从起点到终点，采集整个线路图像数据、RFID电子标签ID，保存采集图像集X、电子标签ID与成像脉冲数量序号映射表G0；
第二步：数据建模
对采集图像集X进行处理，构建轨道参考背景模型M，具体步骤如下：
第2.1步：沿钢轨延伸方向，以扣件为单位对采集图像集X中图像进行切割，使切割图像中、沿钢轨纵向只包含一排扣件；从线路起点开始，对切割图像进行编号，编号序列为U＝[0,1,...，v-1],v为切割图像总数量,切割图像集命名为参考背景图像集B；
第2.2步：依次从电子标签ID与成像脉冲数量序号映射表G0中取出<ID(i),k(i)>，根据k(i)计算出每一个ID(i)对应的采集图像序号u,u＝mod(k(i)/h),其中h为采集图像高度，mod表示取整,i为G0中元素序号，取值范围为0～m-1；构建<ID(i),u(i)>数据对，存储为电子标签ID与参考背景图像集映射表G1，G1中元素为：{<ID(0),u(0)>,...,<ID(m-1),u(m-1)>}；
第2.3步：依次从电子标签ID与参考背景图像集映射表G1取出<ID(i),u(i)>，从参考背景图像集B,取出序号为u(i)的参考背景图像b(u(i))，采用模式识别方法在参考背景图像b中进行电子标签检测，并将电子标签在图像中的位置p(x1,y1,x2,y2)，与<ID(i),u(i)>组合，形成新的元素：<ID(i),u(i),p>，存储为电子标签ID与参考背景图像集映射表G2,G2中元素为:{<ID(0),u(0),p(0)>,...,<ID(m-1),u(m-1),p(m-1)>},其中,(x1,y1)是电子标签外接矩形左顶点图像坐标,(x2,y2)是电子标签外接矩形右下顶点图像坐标；
第2.4步：遍历参考背景图像集B中所有图像，进行语义标注；标注内容包括:钢轨、道床、水沟、轨枕、扣件弹条、扣件螺栓或螺帽、轨距片、信号设备、线缆、钢轨鱼尾板、钢轨接头、钢轨鱼尾板螺栓、道岔连接螺栓、可动心轨、尖轨区域；并将标记区域进行标号，存储为与参考背景图像相同大小的标记图像f；完成所有背景图像标注，得到标注图像集F；
第2.5步：记录参考背景图像集B、标注图像集F、电子标签ID与参考背景图像集映射表G2，作为参考背景模型M；
第三步：在线检测
巡检系统经起点到终点，根据RFID信息引导，搜索、匹配参考背景图像，采用数据比对方法检测轨道变化区域，根据标记图像判定病害类型，并记录轨道变化区域检测结果，具体步骤如下：
第3.1步：轨道可视化巡检系统，从检测轨道的起始点外出发、向终点方向行进；在行进的过程中，成像模块对轨道进行成像采集、RFID阅读器探测RFID电子标签信号；
第3.2步：当RFID阅读器首次探测到RFID信号后，获取电子标签ID，基于电子标签ID与参考背景图像集映射表G2，查询到与电子标签ID对应的参考背景图像序号u、电子标签位置信息p，从参考背景图像集B中取出序号为u的背景图像b，根据p构建模板图像t，采用模板匹配或NCC或形状匹配方法，使当前采集图像与模板图像t对齐，并根据背景图像b的高度，切割出待检测图像c；
采用数据比对方法，比较背景图像b与待检测图像c的差异，从标注图像集F中取出序号为u的标注图像f，根据f快速定位差异区域属于哪些轨道组件，并快速判定轨道病害类型；
第3.4步：
当RFID阅读器未探测到RFID信号时，取出下一幅背景图像b’、标注图像f’,取f’中某一个扣件区域r，并在b’取r区域内图像作为模板图像t，采用模板匹配或NCC或形状匹配方法，使当前采集图像与模板图像t对齐，并根据背景图像b’的高度，切割出待检测图像c’；
采用数据比对方法，比较背景图像b’与待检测图像c’的差异，从标注图像集F中取出序号为u的标注图像f’，根据f’快速定位差异区域属于哪些轨道组件，并快速判定轨道病害类型；
当RFID阅读器再次探测到RFID信号时，获取电子标签ID，基于电子标签ID与参考背景图像集映射表G2，查询到与电子标签ID对应的参考背景图像序号u、电子标签位置信息p，从参考背景图像集B中取出序号为u的背景图像b，根据p构建模板图像t，采用模板匹配或NCC或形状匹配方法，使当前采集图像与模板图像t对齐，并根据背景图像b的高度，切割出待检测图像c；
采用数据比对方法，比较背景图像b与待检测图像c的差异，从标注图像集F中取出序号为u的标注图像f，根据f快速定位差异区域属于哪些轨道组件，并快速判定轨道病害类型；
循环执行第3.4步，直到完成整个线路检测，保存切割出的待检测图像构成待检测图像集C，待检测图像集C中图像与参考背景图像集B中图像一一对应；
第四步：离线检测
遍历待检测图像集C，采集数据比对方法，以减小阈值检测轨道变化区域，根据标注图像找到变化区域位置信息，判定轨道病害类型，具体步骤如下：
第4.1步：从待检测图像集C中，取出第i幅待检测图像ci,从参考背景图像集B中，取出第i幅参考背景图像bi,从标注图像集F中取出第i幅标注图像fi；
第4.2步：采用数据比对算法，找到轨道变化区域，在标注图像fi中查找变化区域位置，根据标注结果、相应规则，进行道床、钢轨、扣件病害检测；
循环执行第4.1-4.2步，完成所有图像检测。
5.根据权利要求4所述的一种RFID引导的轨道可视化巡检系统，其特征在于，在执行在线检测时，进行两次数据比对，一次采用较大阈值，用于检测较大变化；一次采用较小阈值，用于检测包含较小的变化，并记录变化区域结果R，使R中包含待检测图像的序号；在执行离线检测时，只对存在变化区域的图像进行检测，未存在变化区域的图像不进行检测，以对离线检测过程进行加速。
6.根据权利要求4所述的一种RFID引导的轨道可视化巡检系统，其特征在于，在数据建模过程中，采用基于模式识别的扣件检测方法，具体包括：HOG+SVM或FasterRCNN或YOLOV3或YOLOV4或YOLOV5或模板匹配；并在切割时，根据沿钢轨纵向一排扣件包含多个扣件的先验，基于检测结果沿钢轨纵向投影区域的投票结果作为切割定位依据；所述切割位置为沿钢轨纵向相邻两排扣件的中线。
7.根据权利要求1-4、6任一所述的一种RFID引导的轨道可视化巡检系统，其特征在于，为利用线路上已安装的电子标签，在第2.2步中，进行如下处理：依次从电子标签ID与成像脉冲数量序号映射表G0中取出<ID(i),k(i)>，根据k(i)计算出每一个ID(i)对应的图像序号u,u＝mod(k(i)/h),其中h为采集图像高度，mod表示取整,i为G0中元素序号，取值范围为0～m-1；取序号为u-1、u、u+1的三幅采集图像进行拼接后，采用模式识别方法检测电子标签图像，根据电子标签图像所在图像序号u’，构建<ID(i),u’>数据对，存储为电子标签ID与参考背景图像集映射表G1，G1中元素为：{<ID(0),u(0)>,...,<ID(m-1),u(m-1)>}；并且在第2.1步中，进行以扣件为单位的图像切割时，避免将电子标签区域分离，以使电子标签区域完整地位于切割后图像中。
8.根据权利要求7所述的一种RFID引导的轨道可视化巡检系统，其特征在于，在第3.2步中，当RFID阅读器探测到电子标签信号后，即启动基于模式识别的电子标签检测算法，对采集图像进行相邻图像拼接，在拼接图像中检测电子标签，当检出电子标签后，将含有电子标签的图像与参考背景图像集B中、具有相同电子标签ID的背景图像进行匹配，完成当前采集图像与参考背景图像的对齐操作，再切割出待检测图像；所述基于模式识别的电子标签检测算法包括HOG+SVM或FasterRCNN或YOLOV3或YOLOV4或YOLOV5。
9.根据权利要求7所述的一种RFID引导的轨道可视化巡检系统，其特征在于，在在线检测中，当通过数据比对方法后存在大量误匹配、产生大面积错误检测结果时，只采集轨道图像和RFID标签信息，不再执行病害检测，确保系统完成图像数据采集，在离线检测阶段再进行轨道病害检测；在离线检测阶段，从误检测位置向后搜索，查找到新的电子标签ID，再向前推断，对所有图像进行重新对齐后，再进行数据比对检测，以消除成像系统因丢帧、丢行导致的误匹配问题。
10.根据权利要求7所述的一种RFID引导的轨道可视化巡检系统，其特征在于，在基底数据采集、数据建模、在线检测、离线检测中，将整个待检测线路以区段为单位进行分段处理；记录每一个区段起点、终点RFID标签，根据采集的RFID标签ID，判定区段位置，以避免成像模块丢帧、丢行导致的误匹配问题在整个检测线路蔓延导致包含多个区段的检测作业失败。
CN202210370455.7A 2022-04-09 2022-04-09 一种rfid引导的轨道可视化巡检系统 Pending CN116934665A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210370455.7A CN116934665A (zh) 2022-04-09 2022-04-09 一种rfid引导的轨道可视化巡检系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210370455.7A CN116934665A (zh) 2022-04-09 2022-04-09 一种rfid引导的轨道可视化巡检系统

Publications (1)

Publication Number Publication Date
CN116934665A true CN116934665A (zh) 2023-10-24

Family

ID=88386696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210370455.7A Pending CN116934665A (zh) 2022-04-09 2022-04-09 一种rfid引导的轨道可视化巡检系统

Country Status (1)

Country Link
CN (1) CN116934665A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117314921A (zh) * 2023-11-30 2023-12-29 山东道万电气有限公司 一种基于rfid的轨道巡检设备的起点检测及处置方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117314921A (zh) * 2023-11-30 2023-12-29 山东道万电气有限公司 一种基于rfid的轨道巡检设备的起点检测及处置方法
CN117314921B (zh) * 2023-11-30 2024-02-09 山东道万电气有限公司 一种基于rfid的轨道巡检设备的起点检测及处置方法

Similar Documents

Publication Publication Date Title
Liu et al. A review of applications of visual inspection technology based on image processing in the railway industry
CN113870123B (zh) 基于车载移动激光点云的接触网导高与拉出值自动检测方法
CN103863357B (zh) 一种轨道交通接触轨测量装置及测量方法
CN105243381B (zh) 基于3d信息的故障自动识别检测系统及方法
CN114581437A (zh) 一种视觉标识引导的轨道可视化巡检系统
CN107703149A (zh) 一种基于双目视觉与激光散斑的铁轨扣件异常检测系统
CN103837087B (zh) 基于主动形状模型的受电弓自动检测方法
CN112172862A (zh) 一种多功能轨道检测系统
CN207850304U (zh) 一种电气化铁路接触网检测系统
CN112631307A (zh) 一种轨道式巡检机器人的多传感器辅助定位模块及方法
CN110553663A (zh) 一种基于rfid定位技术的轨道综合检测方法和系统
CN116934665A (zh) 一种rfid引导的轨道可视化巡检系统
CN2658211Y (zh) 智能道路路面自动检测车
CN108564627B (zh) 一种基于多区域灰度投影的线阵图像轨枕定位及计数方法
CN113371028A (zh) 一种电客车载轨道智能巡检系统及方法
CN107806824A (zh) 一种低速状态下接触网几何参数的检测方法及装置
CN112651988A (zh) 基于双指针定位的指形图像分割、指形板错台和紧固件异常检测方法
CN111855667A (zh) 一种适用于地铁车辆的新型智慧列检系统和检测方法
CN110304105A (zh) 一种地铁限界动态检测车及检测方法
CN217279596U (zh) 一种鲁棒高效的轨道可视化巡检装置
CN108846824B (zh) 一种基于梯度投影的线阵扫描图像轨枕定位及计数方法
CN112444203A (zh) 基于条码带的车辆位置检测装置、方法以及车辆定位系统
CN116519703A (zh) 基于线扫3d图像的集电靴碳滑板图像检测系统及方法
CN214173350U (zh) 一种轨道式巡检机器人的多传感器辅助定位装置
CN112227121A (zh) 一种高精度集成轨道几何参数测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination