CN113011283A - 一种基于视频的非接触式钢轨轨枕相对位移实时测量方法 - Google Patents

一种基于视频的非接触式钢轨轨枕相对位移实时测量方法 Download PDF

Info

Publication number
CN113011283A
CN113011283A CN202110226849.0A CN202110226849A CN113011283A CN 113011283 A CN113011283 A CN 113011283A CN 202110226849 A CN202110226849 A CN 202110226849A CN 113011283 A CN113011283 A CN 113011283A
Authority
CN
China
Prior art keywords
image
relative displacement
circle
real
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110226849.0A
Other languages
English (en)
Other versions
CN113011283B (zh
Inventor
厉小润
程嘉昊
黎金辉
王森荣
王晶
林超
王建军
孙立
许国平
鄢祖建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
China Railway Siyuan Survey and Design Group Co Ltd
Original Assignee
Zhejiang University ZJU
China Railway Siyuan Survey and Design Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, China Railway Siyuan Survey and Design Group Co Ltd filed Critical Zhejiang University ZJU
Priority to CN202110226849.0A priority Critical patent/CN113011283B/zh
Publication of CN113011283A publication Critical patent/CN113011283A/zh
Application granted granted Critical
Publication of CN113011283B publication Critical patent/CN113011283B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • EFIXED CONSTRUCTIONS
    • E01CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01BPERMANENT WAY; PERMANENT-WAY TOOLS; MACHINES FOR MAKING RAILWAYS OF ALL KINDS
    • E01B35/00Applications of measuring apparatus or devices for track-building purposes
    • EFIXED CONSTRUCTIONS
    • E01CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01BPERMANENT WAY; PERMANENT-WAY TOOLS; MACHINES FOR MAKING RAILWAYS OF ALL KINDS
    • E01B35/00Applications of measuring apparatus or devices for track-building purposes
    • E01B35/12Applications of measuring apparatus or devices for track-building purposes for measuring movement of the track or of the components thereof under rolling loads, e.g. depression of sleepers, increase of gauge
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • EFIXED CONSTRUCTIONS
    • E01CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01BPERMANENT WAY; PERMANENT-WAY TOOLS; MACHINES FOR MAKING RAILWAYS OF ALL KINDS
    • E01B2203/00Devices for working the railway-superstructure
    • E01B2203/01Devices for working the railway-superstructure with track
    • E01B2203/012Devices for working the railway-superstructure with track present, i.e. in its normal position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Architecture (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于视频的非接触式钢轨轨枕相对位移实时测量方法,属于高铁轨道结构监测领域。首先,设计包含三个圆并且圆与背景颜色差异明显的标志牌粘贴在轨枕上,拍摄含有标志牌的视频并截取图像;对于每种工况,调试检测参数并计算初始透视变换矩阵;然后,在实时检测过程中,通过初始透视变换矩阵进行补圆操作,利用实时透视变换矩阵粗计算轨枕相对位移量;最后对实时检测到的连续多帧轨枕相对位移量平滑滤波,得到实时相对位移量的精确值。本发明解决了基于简单的图像识别方法的钢轨轨枕相对位移测量无法满足轨道结构监测精度要求的问题,可以自动计算透视变换参数和钢轨轨枕相对位移量,实现了轨道结构的轨枕间距相对位移的实时获取。

Description

一种基于视频的非接触式钢轨轨枕相对位移实时测量方法
技术领域
本发明属于高铁轨道结构监测领域,更具体地,涉及一种基于视频的非接触式钢轨轨枕相对位移实时测量方法。
背景技术
为满足各种复杂地域环境的需要,高速铁路不可避免会出现长大连续梁桥。相关线路上钢轨伸缩调节器及梁缝处的抬轨装置在使用过程中,出现了轨枕倾斜拉裂、抬轨装置剪刀叉变形较大甚至卡死等病害,造成了较大的养护维修工作量和经济损失。由于钢轨伸缩调节器养护维修工作量大,是高铁轨道结构的三大薄弱环节之一,因此高速铁路工务部门对钢轨伸缩调节器区轨道结构的监测需求十分迫切。
轨道位移变化监测是钢轨伸缩调节器区轨道结构监测的关键环节,从精度、实施性出发,目前轨道位移变化监测主要采用振弦式传感器和光纤光栅传感方式。目前,现有的监测方法主要不足包括:
(1)一般只能作为工点性的监测,空间上和时间上的监测范围有限,无法实现大规模实时测量;
(2)皆为接触式的传感方式,设置在轨道结构上的传感器对于高速动车的运营是较大的安全隐患。
随着铁路网络带宽呈几何数量级增加,高速铁路逐渐在沿线安装摄像机。以高铁沿线摄像机为前端,开展以图像识别等非接触式传感为手段的高铁轨道结构监测研究具有十分重要的现实意义和应用前景。
但是,由于高铁现场环境复杂,光照、风雨和火车震动等多种因素都会影响成像结果,加上摄像机本身的透视畸变,基于简单的图像识别方法测量的钢轨轨枕相对位移,无法满足轨道结构监测精度要求。
发明内容
针对现有技术在监测轨道位移变化时在空间上和时间上的监测范围有限,无法实现大规模实时测量问题,接触式测量对于高速动车的运营存在较大安全隐患的问题,以及基于简单的图像识别方法测量的钢轨轨枕相对位移,无法满足轨道结构监测精度要求等问题,本发明提出了一种基于视频的非接触式钢轨轨枕相对位移实时测量方法,
首先,设计包含三个圆并且圆与背景颜色差异明显的标志牌粘贴在轨枕上,拍摄含有标志牌的视频并截取图像;对于每种工况,调试检测参数并计算初始透视变换矩阵;然后,在实时检测过程中,通过初始透视变换矩阵进行补圆操作,利用实时透视变换矩阵粗计算轨枕相对位移量;最后对实时检测到的连续多帧轨枕相对位移量平滑滤波,得到实时相对位移量的精确值。本发明基于非接触式测量的方法,实现了轨道结构的轨枕间距相对位移的实时获取,测量精度高,安全性高。
为了实现上述目的,本发明采用的技术方案是:
一种基于视频的非接触式钢轨轨枕相对位移实时测量方法,包括如下步骤:
S1:针对任一个检测点,在需要检测的钢轨轨枕任一侧的固定位置设置摄像头,将摄像头的监控范围对准目标检测位置,在目标检测范围的轨枕上粘贴包含三个圆的标志牌,所述三个圆的圆心在同一条直线上,且圆心连线与轨枕沿轨道宽度方向的边界线平行;
所述每一个检测点的检测范围内至少包括一对相对位置固定的轨枕;
S2:采集不同工况下的未发生相对位移的初始图像作为标准,将初始图像预处理为二值化图像,从二值化图像中检测得到所有圆区域,保存不同工况下的检测参数,并定位每一个圆区域经透视后的圆心,对圆心相对位置进行标记;
S3:以相对位置固定的两个轨枕上两个标志牌中位于两端的四个圆心坐标为基准点,根据四个基准点的图像坐标与透视后的实际坐标,计算不同工况下的初始透视变换矩阵;
S4:通过摄像头实时采集每一个检测点处的轨枕视频,从对应当前时刻的视频中等间隔提取m帧作为当前时刻的待检测图像,将待检测图像预处理为二值化图像,利用步骤S2获取的对应工况下的检测参数对每一帧图像中的圆区域进行检测,根据检测结果过滤无效帧图像;
针对当前时刻对应的有效帧图像,若存在缺失的圆心,则利用步骤S2获取的对应工况下的初始透视变换矩阵,将每一个圆区域的图像坐标转换为透视后的实际坐标,对实际坐标进行聚类分析,获得圆心之间的位置关系;根据圆心之间的位置关系,利用直线法计算缺失的圆心图像坐标;若不存在缺失的圆心,则进入步骤S5;
S5:利用步骤S3中的方法,计算每一个有效帧图像对应的透视变换矩阵,取均值作为当前时刻的实时透视变换矩阵;
S6:利用当前时刻的实时透视变换矩阵,将每一个有效帧图像中圆心对应的图像坐标转换为透视后的实际坐标,计算相邻两个标志牌之间的实际距离,得到相邻轨枕之间的相对位移值;将每一个有效帧图像中的非0相对位移值取均值作为初始检测结果,对初始检测结果排序和平滑滤波,将滤波后的均值作为最终结果输出;
S7:重复步骤S4至步骤S6,执行下一时刻的相对位移检测,实现轨枕相对位移的实时测量。
与现有技术相比,本发明的优势在于:
(1)本发明针对基于简单的图像识别方法测量的钢轨轨枕相对位移,无法满足轨道结构监测精度要求的问题,本发明针对高铁运营现场的不同安装条件,设置不同工况,并考虑了光照、风雨和列车震动等多种因素对成像的影响,设计了包含三个圆的标志牌,在不同的工况下调试检测参数并计算初始透视变换矩阵;在实时检测过程中,对有效帧进行筛选,并通过初始透视变换矩阵进行补圆操作,利用实时透视变换矩阵粗计算轨枕相对位移量,该实时透视变换矩阵充分考虑了多种因素对成像的影响,保证了测量的准确性;更进一步的,最后对实时检测到的连续多帧轨枕相对位移量平滑滤波,得到更加精确的实时相对位移量,测量精度高。
(2)本发明基于非接触测量的方式,不影响轨道的正常工作,安全性高,可以应用于钢轨轨枕相对位移的大规模实时测量,该发明也可推广至伸缩机构间距检测等使用标志牌来进行距离检测的场景。
附图说明
图1是本发明实施例提供的基于视频的非接触式钢轨轨枕相对位移实时测量方法流程图;
图2是本发明实施例提供的标志牌示意图;
图3是本发明实施例提供的包含连续4块标志牌的测试图;
图4是本发明实施例提供的12个圆区域检测结果图;
图5是本发明实施例提供的圆区域拟合得到的椭圆和圆心位置示意图;
图6(a)是本发明实施例提供的缺失圆的初始检测结果图;
图6(b)是本发明实施例提供的补圆心后的圆心坐标示意图;
图7是本发明实施例提供的透视变换前后圆心坐标对照图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面结合具体的实施例详细说明本发明。下面描述了具体实施例以简化本发明。但是需要认识到,本发明不局限于所说明的实施例,并且在不脱离基本原理的前提下,本发明的各种修改是可能的,这些等价形式同样落于本申请所附权利要求书所限定的范围。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明提供的一种基于视频的非接触式钢轨轨枕相对位移实时测量方法,主要包括如下步骤:
步骤一:针对任一个检测点,在需要检测的钢轨轨枕任一侧的固定位置设置摄像头,将摄像头的监控范围对准目标检测位置,在目标检测范围的轨枕上粘贴包含三个圆的标志牌,所述三个圆的圆心在同一条直线上,且圆心连线与轨枕沿轨道宽度方向的边界线平行;
所述每一个检测点的检测范围内至少包括一对相对位置固定的轨枕;
步骤二:采集不同工况下的未发生相对位移的初始图像作为标准,将初始图像预处理为二值化图像,从二值化图像中检测得到所有圆区域,保存不同工况下的检测参数,并定位每一个圆区域经透视后的圆心,对圆心相对位置进行标记;
步骤三:以相对位置固定的两个轨枕上两个标志牌中位于两端的四个圆心坐标为基准点,根据四个基准点的图像坐标与透视后的实际坐标,计算不同工况下的初始透视变换矩阵;
步骤四:通过摄像头实时采集每一个检测点处的轨枕视频,从对应当前时刻的视频中等间隔提取m帧作为当前时刻的待检测图像,将待检测图像预处理为二值化图像,利用步骤二获取的对应工况下的检测参数对每一帧图像中的圆区域进行检测,根据检测结果过滤无效帧图像;
针对当前时刻对应的有效帧图像,若存在缺失的圆心,则利用步骤二获取的对应工况下的初始透视变换矩阵,将每一个圆区域的图像坐标转换为透视后的实际坐标,对实际坐标进行聚类分析,获得圆心之间的位置关系;根据圆心之间的位置关系,利用直线法计算缺失的圆心图像坐标;若不存在缺失的圆心,则进入步骤五;
步骤五:利用步骤三中的方法,计算每一个有效帧图像对应的透视变换矩阵,取均值作为当前时刻的实时透视变换矩阵;
步骤六:利用当前时刻的实时透视变换矩阵,将每一个有效帧图像中圆心对应的图像坐标转换为透视后的实际坐标,计算相邻两个标志牌之间的实际距离,得到相邻轨枕之间的相对位移值;将每一个有效帧图像中的非0相对位移值取均值作为初始检测结果,对初始检测结果排序和平滑滤波,将滤波后的均值作为最终结果输出;
步骤七:重复步骤四至步骤六,执行下一时刻的相对位移检测,实现轨枕相对位移的实时测量。
下面对具体实现方式进行介绍,本实施例中的工况参数为:摄像机分辨率400万像素,成像高度2.5m,成像角度偏移0个轨枕,白天可见光成像。
(一)采集含有标志牌的图像。
首先需要结合步骤一,设计标志牌,如图2所示为本发明设计的包含三个圆的标志牌,在每个轨枕的相同位置粘贴标志牌,要求圆与背景颜色有明显差异,三个圆的圆心成一直线,粘贴时所述圆心直线与轨枕纵向边界线平行。用安装在轨道一侧的相机对目标位置进行连续拍摄,在进行图像处理过程中,需要从拍摄的视频中等间隔截取图像作为待测图像。
在本实施例中,设计的标志牌圆区域为红色,标志牌背景区域的中间部分为白色,两侧部分为黑色。
在实际场合中,需要针对每一个检测点,在需要检测的钢轨轨枕任一侧的固定位置设置摄像头,将摄像头的监控范围对准目标检测位置,且所述每一个检测点的检测范围内至少包括一对相对位置固定的轨枕,该对轨枕的坐标在后续计算时会作为参考。
(二)计算初始透视变换矩阵。
该步骤是为正式检测做准备,由于在正式检测时可能会出现圆区域检测不全的情况,可以利用初始透视变换矩阵对缺失的圆区域及圆心进行后补。该过程包括了上述步骤中的步骤二及步骤三。
具体的,先采集不同工况下的未发生相对位移的初始图像作为标准,将初始图像预处理为二值化图像,从二值化图像中检测得到所有圆区域,保存不同工况下的检测参数,并定位每一个圆区域经透视后的圆心,对圆心相对位置进行标记。
本实施例中,在实验室条件下模拟了实施例工况的正常成像条件,获得包含连续4块标志牌的测试图像。如图3所示,对测试图像进行预处理之后,利用该测试图像调试并确定能检测出3行4列共12个圆区域的检测参数。
(2.1)图像预处理:
根据圆区域的颜色等特征,将原始彩色图像进行二值化,可以用不同的色彩空间,包括但不限于RGB空间、HSV空间。
其中,用RGB空间对图像进行二值化的具体实现方式为:
对于R、G、B通道分别设定合适的筛选区间,该区间由标志牌颜色、拍摄环境等因素决定,对于图像上的每一个像元逐一进行判断,将3个分量均在区间范围内的像元置为1,否则置为0;
用HSV空间对图像进行二值化的具体实现方式为:
先根据RGB颜色通道特征得到HSV颜色通道特征,HSV颜色通道特征由公式(1)(2)(3)求得:
Figure BDA0002956762320000061
Figure BDA0002956762320000062
V=max
式中,R、G、B为图像的RGB颜色通道特征,max=max(R,G,B)即RGB三个颜色通道的最大值,min=min(R,G,B)即RGB三个颜色通道的最小值,如果求取的H为负则H=H+360。
得到HSV颜色通道特征后,对于H、S、V通道分别设定合适的筛选区间,同样地,该区间由标志牌颜色、拍摄环境等因素决定,对于图像上的每一个像元逐一进行判断,将3个分量均在区间范围内的像元置为1,否则置为0。
在本实施例中,采用HSV空间对图像进行二值化,根据像素是否为红色,将原始彩色图像进行二值化,得到二值化图像:
Figure BDA0002956762320000063
(2.2)圆区域检测:
对二值图像进行4邻域分割得到k个区域Ri(i=1,2,…,k),对每个区域Ri计算区域面积Si、区域外接矩形的长Li和宽Wi、区域外接矩形内区域面积占比Di,根据如下规则筛选非圆区域:
区域面积Si大于minA且小于maxA;
区域外接矩形的长Lu和宽Wi均大于minW且均小于maxW;
区域外接矩形的长宽比Li/Wi及宽长比Wi/Li均大于RatioRC;
区域外接矩形内区域面积占比Di大于Ratio。
满足上述规则的区域认为是候选圆区域并保留,进行后续的处理,否则将该区域的像素均置为0。
需要调试的圆区域检测参数包括区域面积的最大值maxA和最小值minA、区域外接矩形边长的最大值maxW和最小值minW、区域外接矩形长宽比的最小值RatioRC和区域外接矩形内区域面积占比最小值Ratio。
本实施例采用HSV空间对图像进行二值化,因此需要调试的参数包括maxA、minA、maxW、minW、RatioRC、Ratio、h、s、v,直到能准确检测到4块标志牌的12个圆区域。具体到实施例中,工况为摄像机分辨率为400万像素,成像高度2.5m,成像角度垂直于钢轨,白天可见光成像,具体参数为maxA=4000,minA=1200,maxW=120,minW=20,RatioRC=2.5,Ratio=0.65,图4是12个圆区域检测结果图。
(2.3)定位圆心:
定位圆心是指因为透视变换,圆区域近似为椭圆,通过对圆区域进行椭圆拟合,得到拟合后的椭圆圆心坐标。所述椭圆拟合可以用最小二乘拟合或其他拟合方法。
平面上任意椭圆的方程可以表示为:
x2+Axy+By2+Cx+Dy+E=0
假设Pi(xi,yi)(i=1,2,3……N,N≥5)为椭圆边缘上N个点,跟据最小二乘原理,拟合的目标函数为:
Figure BDA0002956762320000071
当目标函数F关于A、B、C、D、E的偏微分为0,其取到最小值,可以计算得到系数A、B、C、D、E。
根据A、B、C、D、E计算得到椭圆参数圆心(x0,y0)、长半轴a、短半轴b、旋转角θ,计算公式如下所示:
Figure BDA0002956762320000081
Figure BDA0002956762320000082
Figure BDA0002956762320000083
Figure BDA0002956762320000084
Figure BDA0002956762320000085
得到的椭圆参数中,圆心(x0,y0)用于后续的计算,其他参数用于绘制检测得到的椭圆,验证检测效果。得到每一个圆心坐标后,需要确定圆心之间的位置关系,通过横、纵坐标即可判断相对位置。
在本实施例中,12个圆区域的缺省位置序号可以用一个矩阵表示为
Figure BDA0002956762320000086
通过横、纵坐标判断相对位置并修改圆区域序号,确定圆心位置关系为
Figure BDA0002956762320000087
图5给出了圆区域拟合得到的椭圆和圆心位置示意图。
(2.4)计算初始透视变换矩阵:
根据检测点轨枕相对位置固定情况确定反应图像关键特征的对应点,由于每一个检测点的检测范围内至少包括一对相对位置固定的轨枕,则选择相对位置固定的一对轨枕上两个标志牌中位于两端的四个圆心坐标为基准点,根据四个基准点的图像坐标与透视后的实际坐标,计算不同工况下的初始透视变换矩阵。例如,如果左边两个轨枕相对位置固定,则以序号为1,3,4,6的4个圆心作为反应图像关键特征的基准点;如果右边两个轨枕相对位置固定,则以序号为7,10,9,12的4个圆心作为反应图像关键特征的基准点。
记4个基准点的圆心图像坐标为(x(i),y(i)),i=1,2,3,4,其透视变换后的实际坐标为(X(i),Y(i)),i=1,2,3,4,构建矩阵:
Figure BDA0002956762320000091
B=[X(1) Y(1) X(2) Y(2) X(3) Y(3) X(4) Y(4)]
fa=A-1*B
式中,X(1)=x(1),Y(1)=y(1),其他的X(i),Y(i)(i=2,3,4)可以根据轨枕的固定间距计算得到,fa为1*8的矩阵,其元素即为透视变换矩阵的元素。
Figure BDA0002956762320000092
式中,transform即为所求的透视变换矩阵,fa(i)表示fa矩阵中的第i个元素值。
(三)计算实时透视变换矩阵。
该步骤开始正式检测,由于光照、风雨和列车震动等多种因素对成像的影响,利用每一个测试的当前时刻图像计算当前时刻的实时透视变换矩阵,充分考虑了多种因素对成像的影响,保证了测量的准确性。该过程包括了上述步骤中的步骤四及步骤五。通过摄像头实时采集每一个检测点处的轨枕视频,从对应当前时刻的视频中等间隔提取m帧作为当前时刻的待检测图像。
(3.1)图像预处理:
该步骤与上述中的步骤(2.1)相同,将当前时刻提取到的m帧待检测图像转换为二值化图像。
(3.2)圆区域检测:
该步骤与上述中的步骤(2.2)相同,由于步骤(2.2)已经调试出了不同工况下的检测参数,因此该步骤不需要对参数再进行调试,直接利用对应工况下的参数maxA、minA、maxW、minW、RatioRC、Ratio、以及H、S、V(或者R、G、B)进行检测即可。
(3.3)定位圆心:
该步骤与上述中的步骤(2.3)相同,定位每一个检测到的圆区域的圆心坐标。此处还需要对定位好圆心的m帧待测图像进行有效性筛选,以下3种情况为检测无效:
1)同一行列位置圆心个数大于1;
2)有一行少3个圆心;
3)有一列少1个圆心。
如果检测无效,则置无效标志failure=1,否则failure=0。
无效标志为1的为无效帧图像,其余图像为有效帧图像,其中无效帧图像不再进行后续计算,直接删除,只保留n个有效帧图像。
(3.4)补圆心:
针对当前时刻对应的有效帧图像,若存在缺失的圆心,则利用步骤(2.4)获取的对应工况下的初始透视变换矩阵,将每一个圆区域的图像坐标转换为透视后的实际坐标,计算公式为:
Figure BDA0002956762320000101
Figure BDA0002956762320000102
式中,(x,y)为圆心在图像中的坐标,(X,Y)为透视变换后的实际圆心坐标。
对透视变换后的实际圆心坐标进行聚类分析,可以先选用横坐标进行聚类,横坐标对应列数,聚类成相应列数的组,每组内的列号相同,确定每一个圆心的列号;再利用纵坐标进行聚类,纵坐标对应行数,聚类成相应行数的组,每组内的行号相同,确定每一个圆心的行号;即获得了圆心之间的位置关系。
此处需要说明的是,相同列的横坐标理论上应该相同,相同行的纵坐标理论上应该相同,但考虑实际情况可能存在一定误差,上述分组只能作为确定缺失圆心所处位置的行号和列号,不能直接得出其实际坐标。
接着,根据圆心之间的位置关系,通过直线法进行补圆心操作,具体过程为:
设某缺失圆的行列号分别为r和c,任选第r行的两个非缺失圆的圆心r1和r2,其图像坐标分别记为(xr1,yr1)和(xr2,yr2),任选第c列的两个非缺失圆的圆心c1和c2,其图像坐标分别记为(xc1,yc1)和(xc2,yc2),求直线方程:
Lr:
Figure BDA0002956762320000103
Lc:
Figure BDA0002956762320000104
直线Lr和Lc的交点坐标为该缺失圆的圆心图像坐标。图6给出了缺失圆的初始检测结果(图6(a))和补圆心后的圆心坐标示意图(图6(b))。
若不存在缺失的圆心,则直接进入下一步。
(3.5)计算实时透视变换矩阵:
该步骤与上述中的步骤(2.4)相同,利用补圆心之后的n个有效帧图像中的圆心图像坐标,以及一对相对位置固定的轨枕坐标,计算每一个有效帧图像对应的透视变换矩阵,将n个透视变换矩阵取均值,作为该时刻的实时透视变换矩阵。
(四)计算轨枕相对位移的初始值。
由于相对位移的计算需要利用透视后的实际坐标来计算,因此,需要先进行对应点变换,再计算初始相对位移值。该过程对应于上述步骤中的步骤六。
(4.1)对应点变换:
利用当前时刻的实时透视变换矩阵,将每一个有效帧图像中圆心对应的图像坐标转换为透视后的实际坐标,计算公式与步骤(3.4)中的公式相同,不同之处在于此处利用的是当前时刻的实时透视变换矩阵进行变换。图7给出了透视变换前后圆心坐标对照图。
(4.2)计算初始相对位移值:
根据变换得到的实际坐标,计算相邻两个标志牌之间的实际距离,得到相邻轨枕之间的相对位移值。此处需要说明的是,两个圆心之间的坐标距离可以与实际场地中的距离一致,也可以设定两个圆心之间的坐标距离与实际场地中的距离之间存在一个比例关系,若采用后者,则可以通过一对相对位置固定的轨枕的图上距离和实际距离计算得到每个像素代表的实际距离,再将每一个相邻轨枕的图上距离乘以每个像元代表的实际距离,得到轨枕相对位移量粗略值。
(五)计算轨枕相对位移的最终值。
对应于上述中的步骤六,将每一个有效帧图像中的非0相对位移值取均值作为初始检测结果,该n组值按照从大到小进行排序,去掉前20%的最大值和最后20%的最小值后求取平均值,该平均值作为平滑滤波的结果,该结果即为最终的轨枕相对位移终值。
在后续的实时检测过程中,重复执行(三)至(五),即可实现轨枕相对位移的实时测量。
本发明实施例的方法,对比现有技术,实现了一种基于视频的非接触式钢轨轨枕相对位移实时测量方法,简单高效,其测量精度可以满足轨道结构监测精度要求。针对高铁运营现场的不同安装条件,设置不同工况,并考虑了光照、风雨和列车震动等多种因素对成像的影响,设计合适的标志牌,并准确检测标志牌以及精确计算透视变换参数和钢轨轨枕实时相对位移,有效实现了轨道结构的钢轨轨枕相对位移的实时获取。
本发明实施例所示的附图说明,可使本发明的目的、技术方案及优点介绍得更加清楚明白。应当说明,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。凡在本发明提供的方法思路和原则之内所作的等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于视频的非接触式钢轨轨枕相对位移实时测量方法,其特征在于,包括如下步骤:
S1:针对任一个检测点,在需要检测的钢轨轨枕任一侧的固定位置设置摄像头,将摄像头的监控范围对准目标检测位置,在目标检测范围的轨枕上粘贴包含三个圆的标志牌,所述三个圆的圆心在同一条直线上,且圆心连线与轨枕沿轨道宽度方向的边界线平行;
所述每一个检测点的检测范围内至少包括一对相对位置固定的轨枕;
S2:采集不同工况下的未发生相对位移的初始图像作为标准,将初始图像预处理为二值化图像,从二值化图像中检测得到所有圆区域,保存不同工况下的检测参数,并定位每一个圆区域经透视后的圆心,对圆心相对位置进行标记;
S3:以相对位置固定的两个轨枕上两个标志牌中位于两端的四个圆心坐标为基准点,根据四个基准点的图像坐标与透视后的实际坐标,计算不同工况下的初始透视变换矩阵;
S4:通过摄像头实时采集每一个检测点处的轨枕视频,从对应当前时刻的视频中等间隔提取m帧作为当前时刻的待检测图像,将待检测图像预处理为二值化图像,利用步骤S2获取的对应工况下的检测参数对每一帧图像中的圆区域进行检测,根据检测结果过滤无效帧图像;
针对当前时刻对应的有效帧图像,若存在缺失的圆心,则利用步骤S2获取的对应工况下的初始透视变换矩阵,将每一个圆区域的图像坐标转换为透视后的实际坐标,对实际坐标进行聚类分析,获得圆心之间的位置关系;根据圆心之间的位置关系,利用直线法计算缺失的圆心图像坐标;若不存在缺失的圆心,则进入步骤S5;
S5:利用步骤S3中的方法,计算每一个有效帧图像对应的透视变换矩阵,取均值作为当前时刻的实时透视变换矩阵;
S6:利用当前时刻的实时透视变换矩阵,将每一个有效帧图像中圆心对应的图像坐标转换为透视后的实际坐标,计算相邻两个标志牌之间的实际距离,得到相邻轨枕之间的相对位移值;将每一个有效帧图像中的非0相对位移值取均值作为初始检测结果,对初始检测结果排序和平滑滤波,将滤波后的均值作为最终结果输出;
S7:重复步骤S4至步骤S6,执行下一时刻的相对位移检测,实现轨枕相对位移的实时测量。
2.根据权利要求1所述的基于视频的非接触式钢轨轨枕相对位移实时测量方法,其特征在于,所述的标志牌上的三个圆区域内的颜色与圆区域外的颜色有明显差异。
3.根据权利要求1所述的基于视频的非接触式钢轨轨枕相对位移实时测量方法,其特征在于,步骤S2所述的二值化图像实现方式为:
采用RGB色彩空间,对于R、G、B通道分别设定筛选区间,对于图像上的每一个像元逐一进行判断,将3个分量均在区间范围内的像元置为1,否则置为0,得到二值化图像;
或者采用HSV色彩空间,从RGB颜色通道转换为HSV颜色通道,对于H、S、V通道分别设定筛选区间,对于图像上的每一个像元逐一进行判断,将3个分量均在区间范围内的像元置为1,否则置为0,得到二值化图像。
4.根据权利要求1所述的基于视频的非接触式钢轨轨枕相对位移实时测量方法,其特征在于,步骤S2中所述的从二值化图像中检测得到所有圆区域,具体为:
对二值图像进行4邻域分割得到k个区域Ri,i=1,2,…,k,对每个区域Ri计算区域面积Si、区域外接矩形的长Li和宽Wi、区域外接矩形内区域面积占比Di,根据如下规则筛选非圆区域:
区域面积Si大于minA且小于maxA;
区域外接矩形的长Li和宽Wi均大于minW且均小于maxW;
区域外接矩形的长宽比Li/Wi及宽长比Wi/Li均大于RatioRC;
区域外接矩形内区域面积占比Di大于Ratio;
所述的minA、maxA、minW、maxW、RatioRC、Ratio为检测参数,其中minA、maxA分别为区域面积的最小值和最大值;minW、maxW分别为区域外接矩形边长的最小值和最大值;RatioRC为区域外接矩形长宽比的最小值,Ratio为区域外接矩形内区域面积占比最小值;
满足上述规则的区域认为是候选圆区域并保留,否则将该区域的像素均置为0。
5.根据权利要求1所述的基于视频的非接触式钢轨轨枕相对位移实时测量方法,其特征在于,采用最小二乘法拟合定位圆心。
6.根据权利要求1所述的基于视频的非接触式钢轨轨枕相对位移实时测量方法,其特征在于,步骤S3所述的初始透视变换矩阵计算方法为:
以相对位置固定的两个轨枕上两个标志牌中位于两端的四个圆心坐标为基准点,将基准点的圆心图像坐标记为(x(i),y(i)),i=1,2,3,4,其透视变换后的实际坐标为(X(i),Y(i)),i=1,2,3,4,构建矩阵:
Figure FDA0002956762310000031
B=[X(1) Y(1) X(2) Y(2) X(3) Y(3) X(4) Y(4)]
fa=A-1*B
式中,A和B分别为计算所需的矩阵,fa为1*8的矩阵,其元素即为透视变换矩阵的元素;
Figure FDA0002956762310000032
式中,transform即为所求的透视变换矩阵,fa(i)表示fa矩阵中的第i个元素值。
7.根据权利要求1所述的基于视频的非接触式钢轨轨枕相对位移实时测量方法,其特征在于,步骤S4中无效帧图像满足的条件为:若缺失圆心的位置所在行或者所在列中少于2个圆心,或者同一行/列位置圆心个数大于1。
8.根据权利要求1所述的基于视频的非接触式钢轨轨枕相对位移实时测量方法,其特征在于,步骤S4中缺失的圆心图像坐标计算过程包括:
首先,利用步骤S3获取的对应工况下的初始透视变换矩阵,将每一个圆区域的图像坐标转换为透视后的实际坐标,计算公式为:
Figure FDA0002956762310000033
Figure FDA0002956762310000034
式中,(x,y)为圆心在图像中的坐标,(X,Y)为透视变换后的实际圆心坐标;
其次,确定圆心之间的位置关系:对透视变换后的实际圆心坐标进行聚类分析,先选用横坐标聚类成相应列数的组,每组内的列号相同,确定每一个圆心的列号;再利用纵坐标聚类成相应行数的组,每组内的行号相同,确定每一个圆心的行号;
最后,根据圆心之间的位置关系,通过直线法进行补圆心操作:
设某缺失圆的行列号分别为r和c,任选第r行的两个非缺失圆的圆心r1和r2,其图像坐标分别记为(xr1,yr1)和(xr2,yr2),任选第c列的两个非缺失圆的圆心c1和c2,其图像坐标分别记为(xc1,yc1)和(xc2,yc2),求直线方程:
Figure FDA0002956762310000041
Figure FDA0002956762310000042
直线Lr和Lc的交点坐标为该缺失圆的圆心图像坐标。
9.根据权利要求1所述的基于视频的非接触式钢轨轨枕相对位移实时测量方法,其特征在于,步骤S6中所述的平滑滤波具体为:对排序后的初始检测结果,去掉前p%的最大值和最后p%的最小值后求取平均值,该平均值作为平滑滤波的结果,所述的p为阈值。
CN202110226849.0A 2021-03-01 2021-03-01 一种基于视频的非接触式钢轨轨枕相对位移实时测量方法 Active CN113011283B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110226849.0A CN113011283B (zh) 2021-03-01 2021-03-01 一种基于视频的非接触式钢轨轨枕相对位移实时测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110226849.0A CN113011283B (zh) 2021-03-01 2021-03-01 一种基于视频的非接触式钢轨轨枕相对位移实时测量方法

Publications (2)

Publication Number Publication Date
CN113011283A true CN113011283A (zh) 2021-06-22
CN113011283B CN113011283B (zh) 2022-04-29

Family

ID=76387086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110226849.0A Active CN113011283B (zh) 2021-03-01 2021-03-01 一种基于视频的非接触式钢轨轨枕相对位移实时测量方法

Country Status (1)

Country Link
CN (1) CN113011283B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113389202A (zh) * 2021-07-01 2021-09-14 山东省鲁南地质工程勘察院(山东省地勘局第二地质大队) 一种桩基工程钢筋笼防对位偏移的装置及方法
CN114299283A (zh) * 2022-03-07 2022-04-08 科大天工智能装备技术(天津)有限公司 一种基于图像的位移测量方法及系统
CN114638835A (zh) * 2022-05-23 2022-06-17 武汉大学 一种基于深度相机的轨枕异物检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130142396A1 (en) * 2011-12-01 2013-06-06 Canon Kabushiki Kaisha Estimation of shift and small image distortion
CN207558294U (zh) * 2017-12-19 2018-06-29 中铁第四勘察设计院集团有限公司 高速铁路钢轨伸缩调节器位移识别标识牌
CN108725511A (zh) * 2018-06-06 2018-11-02 湖南大学 钢轨波磨弦测点的实时位置修正方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130142396A1 (en) * 2011-12-01 2013-06-06 Canon Kabushiki Kaisha Estimation of shift and small image distortion
CN207558294U (zh) * 2017-12-19 2018-06-29 中铁第四勘察设计院集团有限公司 高速铁路钢轨伸缩调节器位移识别标识牌
CN108725511A (zh) * 2018-06-06 2018-11-02 湖南大学 钢轨波磨弦测点的实时位置修正方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DACHUAN SHI等: "Deep Learning Based Virtual Point Tracking for Real-Time Target-less Dynamic Displacement Measurement in Railway Applications", 《ARXIV》 *
张光跃等: "基于轮轨相对横移的轨距检测方法研究", 《光电工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113389202A (zh) * 2021-07-01 2021-09-14 山东省鲁南地质工程勘察院(山东省地勘局第二地质大队) 一种桩基工程钢筋笼防对位偏移的装置及方法
CN113389202B (zh) * 2021-07-01 2022-07-05 山东省鲁南地质工程勘察院(山东省地勘局第二地质大队) 一种桩基工程钢筋笼防对位偏移的装置及方法
CN114299283A (zh) * 2022-03-07 2022-04-08 科大天工智能装备技术(天津)有限公司 一种基于图像的位移测量方法及系统
CN114299283B (zh) * 2022-03-07 2022-05-20 科大天工智能装备技术(天津)有限公司 一种基于图像的位移测量方法及系统
CN114638835A (zh) * 2022-05-23 2022-06-17 武汉大学 一种基于深度相机的轨枕异物检测方法

Also Published As

Publication number Publication date
CN113011283B (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN113011283B (zh) 一种基于视频的非接触式钢轨轨枕相对位移实时测量方法
US11551341B2 (en) Method and device for automatically drawing structural cracks and precisely measuring widths thereof
CN108759973B (zh) 一种水位测量方法
CN112949479B (zh) 一种基于深度学习和透视变换的非接触式钢轨轨枕相对位移实时测量方法
CN111260615A (zh) 基于激光和机器视觉融合的无人机桥梁表观病害检测方法
CN111288890A (zh) 基于双目摄影测量技术的道路标志尺寸及高度自动测量方法
CN115717894A (zh) 一种基于gps和普通导航地图的车辆高精度定位方法
CN113781537A (zh) 一种轨道弹条扣件缺陷识别方法、装置和计算机设备
CN112949482B (zh) 一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法
CN116631187B (zh) 一种案件现场勘查信息智能采集分析系统
CN112950562A (zh) 一种基于线结构光的扣件检测算法
CN111768373A (zh) 基于深度学习的层级式路面标记破损检测方法
CN115857040A (zh) 一种机车车顶异物动态视觉检测装置及方法
CN115984772A (zh) 一种基于视频监控的道路积水检测方法及终端
CN112949483B (zh) 一种基于Faster R-CNN的非接触式铁轨伸缩位移实时测量方法
CN112461345B (zh) 一种基于lsd直线检测算法的汽车衡轧线出界检测方法
CN111192309B (zh) 一种路面标线的测量方法
CN112380956B (zh) 一种车道判断方法
KR102492290B1 (ko) 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템
CN110969103B (zh) 一种基于ptz相机的高速公路路面病害长度测量方法
CN110081828B (zh) 机器视觉盾尾间隙检测图像网格特征点可靠性过滤方法
Ho et al. Automatic image recognition of pavement distress for improving pavement inspection
JP2019048604A (ja) 点検作業支援装置、距離標情報管理方法、及びプログラム
KR102178202B1 (ko) 신호등 검출 방법 및 장치
CN114910046B (zh) 一种基于双向线结构光的路面三维检测系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant