CN117649437A - 一种轨道车辆轮轨横向位移测量方法及测量装置 - Google Patents
一种轨道车辆轮轨横向位移测量方法及测量装置 Download PDFInfo
- Publication number
- CN117649437A CN117649437A CN202410126566.2A CN202410126566A CN117649437A CN 117649437 A CN117649437 A CN 117649437A CN 202410126566 A CN202410126566 A CN 202410126566A CN 117649437 A CN117649437 A CN 117649437A
- Authority
- CN
- China
- Prior art keywords
- wheel
- key point
- rail
- key points
- displacement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006073 displacement reaction Methods 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000006870 function Effects 0.000 claims description 39
- 238000012549 training Methods 0.000 claims description 23
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 238000005457 optimization Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 15
- 238000012986 modification Methods 0.000 claims description 12
- 230000004048 modification Effects 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000005251 gamma ray Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本发明提供一种轨道车辆轮轨横向位移测量方法及测量装置,测量方法包括:获取原始车辆轮轨接触图像集,并标记多个关键点信息;将附带多个关键点信息标签的图像集输入关键点预测网络,获得车辆轮轨接触的每个关键点的预测位置、预测位移偏差以及两个指定关键点之间的预测距离;通过位移传感器测得两个指定关键点之间的真实距离,获得两个指定关键点的距离偏差;将距离偏差、轮轨上关键点坐标预测位置以及对应的预测位移偏差融合训练优化关键点预测网络;将轮轨接触视频输入优化后的关键点预测网络,获得轮轨接触图像中关键点的坐标值和轮轨横向相对位移时程曲线;本发明提供的测量方法,无需设置靶标,能够提高轮轨横向位移测量的速度和准确性。
Description
技术领域
本发明涉及轨道车辆轮轨横向位移检测技术领域,尤其涉及一种基于关键点检测的轨道车辆轮轨横向位移测量方法及测量装置。
背景技术
为保障轨道交通车辆在极端状态下的运行安全,如列车在地震作用、横风作用下的运行安全,国内外学者进行了大量关于脱轨现象、脱轨原理和脱轨准则的研究,但目前仍然缺少能准确评判列车脱轨的准则。我国目前所采用的列车脱轨安全评价标准主要是基于轮轨力计算得到的脱轨系数、轮重减载率等指标,轮轨力主要是由测力轮对测量得到,测力轮对的原理是通过布置在列车轮对上的应变片测量车轮在钢轨上运行时的应变来检测轮轨之间的作用力,再通过对轮轨力进行计算便可得到脱轨系数等脱轨评价指标,最后根据计算结果进行列车运行安全性评价。但由于测力轮对等装置在进行轮轨力测量时,往往具有维护困难、标定复杂、造价高昂等缺点,无法进行大范围的推广使用。
轮轨相对位置是列车车轮是否脱离轨道最直观的反映,车轮的轮缘嵌入轨道之间,当车轮的横移量过大,车轮轮缘到达轨顶时列车脱轨的可能性大大增加。考虑到列车高速运行时轮轨接触画面往往具有动态复杂背景且会出现运动模糊的特点,传统图像处理算法在处理此类轮轨接触图像时容易出现性能损失,从而造成处理效率低、识别精度差的问题,且轮轨接触位置很难安装靶标。
因此,亟需一种轨道车辆轮轨横向位移测量方法及测量装置,无需设置靶标,能够大大提高轮轨横向位移测量的速度和准确性。
发明内容
本发明的目的是提供一种轨道车辆轮轨横向位移测量方法及测量装置,旨在解决传统的测量方法及测量装置检测效率低、准确率低的技术问题。
为实现上述目的,第一方面,本发明提供一种轨道车辆轮轨横向位移测量方法,其步骤包括:
S1:获取原始车辆轮轨接触图像集,并标记原始车辆轮轨接触图像集的多个关键点信息;
S2:将附带多个关键点信息标签的车辆轮轨接触图像集输入关键点预测网络,获得车辆轮轨接触的每个关键点的预测位置、预测位移偏差,并根据关键点的预测位置计算获得两个指定关键点之间的预测距离;
S3:通过位移传感器测得两个所述指定关键点之间的真实距离,并将所述预测距离和真实距离作差,获得两个所述指定关键点的距离偏差;
S4:将两个所述指定关键点之间的距离偏差、轮轨上关键点坐标预测位置以及对应的预测位移偏差融合修正训练所述关键点预测网络,获得优化关键点预测网络;
S5:将实时拍摄获得的轮轨接触视频分解为轮轨接触图像,并输入所述优化关键点预测网络,获得轮轨接触图像中每个关键点的坐标值,并获得轮轨横向相对位移时程曲线。
作为上述方案进一步的优化,在步骤S5中,获得轮轨横向相对位移时程曲线时,首先通过位移传感器所测得的两个指定关键点之间的真实距离标定像素坐标系与世界坐标系之间的换算关系,再通过所选取的轮轨上关键点之间的数学几何关系,结合像素坐标系与世界坐标系之间的尺度转换系数得到轮轨横向相对位移时程曲线。
作为上述方案进一步的优化,在步骤S1中,在获取原始车辆轮轨接触图像集时,需对每张车辆轮轨接触图像进行预处理,以使车辆轮轨接触的正面在对应图像中呈预设占比。
作为上述方案进一步的优化,在步骤S1中,所述标记原始车辆轮轨接触图像集的多个关键点信息,包括车辆轮轨接触图片集中所有图片的多个关键点位置坐标信息的标记,以及两个指定关键点之间的距离信息的标记,构成所述关键点预测网络的原始数据集。
作为上述方案进一步的优化,车辆轮轨接触图像的多个关键点包括车轮外侧边缘中心点、车轮底部边缘点、轮轨接触边缘点、车轮外侧转向架轴箱中心点以及车厢上的一不动点;
两个所述指定关键点为车轮外侧转向架轴箱中心点和车厢上的一不动点。
作为上述方案进一步的优化,所述关键点预测网络包括依次连接的尺寸修改网络和融合偏移量的预测网络,
所述尺寸修改网络用于将输入图像的尺寸压缩至预设比例后再传输给所述融合偏移量的预测网络;
所述融合偏移量的预测网络包括编码器、解码器、置信度分支、第一偏移量分支和第二偏移量分支;
且所述置信度分支、第一偏移量分支和第二偏移量分支分别设置有对应的损失函数来约束训练网络以获得对应的输出。
作为上述方案进一步的优化,所述尺寸修改网络包含三个卷积层,每个卷积层的卷积核大小为3×3,卷积步长为2,拓展边缘宽度为1;
在每层卷积结束之后,使用Prelu非线性激活函数和批量归一化方法对输出数据进行处理。
作为上述方案进一步的优化,所述编码器包括4个下采样模块和2个尺寸保持模块,所述下采样模块用于获得低分辨率的特征图(如边缘,纹理等)以降低计算的复杂度,所述尺寸保持模块用于保证输入与输出的特征图尺寸相同;
所述解码器包括4个上采样模块,所述上采样模块用于恢复低分辨率的特征图到高分辨率图像,并提取高层次目标位置特征;
所述下采样模块、所述上采样模块、所述尺寸保持模块的第一层和第三层均采用了1×1的卷积核,第二层采用了3×3的卷积核进行特征提取,在每一层卷积层之后均添加了prelu激活函数和归一化函数对输出数据进行处理。
作为上述方案进一步的优化,在进行下采样之前,不同尺度下的特征图会复制一份,并通过跳跃层将信息向网络的更深层传递以提供网络对全局信息的理解能力。
作为上述方案进一步的优化,所述置信度分支采用交叉熵损失作为其损失函数Lconfidence,具体如下式所示:
其中,Ge表示存在关键点的单元格,Gn表示不存在关键点的单元格,gc表示输出单元格置信度的预测值,gc *表示输出单元格置信度的真实值;若单元格中存在关键点,则真实值为1,否则为0;γe和γn表示是否存在损失的加权系数。
作为上述方案进一步的优化,第一偏移量分支采用均方误差作为其损失函数Loffset,对预测关键点的横、纵坐标分别计算均方损失,具体如下式所示:
其中,Ne代表存在关键点的网格数量,(gx,gy)分别表示存在关键点的单元格内关键点(x,y)坐标的预测值,(,/>)分别表示存在关键点的单元格内关键点(x,y)坐标的真实值;对于不存在关键点的网格,由于不存在坐标真实值,计算偏移损失时忽略。
作为上述方案进一步的优化,第二偏移量分支采用两个指定关键点之间真实距离与预测距离的偏差作为其损失函数Ldisp,两个指定关键点为车轮外侧转向架轴箱中心点P4和车厢上的一不动点P5,具体如下式所示:
其中,X代表两个所述指定关键点之间的真实距离,代表两个所述指定关键点之间的预测距离。
作为上述方案进一步的优化,所述关键点预测网络的总损失函数Ltotal等于置信度损失函数Lconfidence、第一偏移量分支损失函数Loffset和第二偏移量分支损失函数Ldisp的加权和,具体如下式所示:
其中,α,β,γ分别为三个损失函数对应的加权系数。
作为上述方案进一步的优化,所述轮轨横向相对位移时程曲线输出基于三个关键点之间的几何关系进行;具体的,
三个关键点的坐标位置为车轮外侧边缘中心点P1(x1,y1)、车轮底部边缘点P2(x2,y2)、轮轨接触边缘点P3(x3,y3),连接车轮外侧边缘中心点P1和车轮底部边缘点P2两点,计算轮轨接触边缘点P3到直线P1P2的距离便可求出在像素坐标系下的轮轨横向位移,最后结合像素坐标系与世界坐标系之间的尺度转换系数SF求出轮轨横向实际位移,具体如下式所示:
其中,,,,;是轮轨横向
绝对位移,是轮轨横向相对位移即轮轨横向实际位移,为位移初始值,是像素坐标系
下的轮轨横向绝对位移。
作为上述方案进一步的优化,所述像素坐标系与世界坐标系之间的尺度转换系数SF的获得步骤具体如下:
通过待测轮轨接触平面处已知结构的物体尺寸与其对应的像素尺寸的
比值来确定像素坐标系与世界坐标系之间的转换系数SF1, ;
通过传感器所测得的竖向距离与其对应的像素尺寸的比值来确定像素
坐标系与世界坐标系之间的转换系数SF2,;
则像素坐标系与世界坐标系之间的尺度转换系数,其中,α,β分
别为两转换系数的权重值。
第二方面,本发明还提供一种轨道车辆轮轨横向位移测量装置,包括图像获取设备、照明设备、部署有第一方面提供的优化关键点预测网络的处理器和存储器;
所述图像获取设备与所述处理器通讯连接,用于安装在轨道车辆的车身底部,并能够以正面视角拍摄轮轨横向变化过程,以实时采集轮轨接触图像;
所述处理器用于执行其内部署的所述优化关键点预测网络,并实时输出轮轨横向相对位移;
所述存储器与所述处理器通讯连接,用于存储所述处理器的输出结果;
所述照明设备,用于邻近设置在所述轮轨接触区域以照亮轮轨相互作用区域。
由于本发明采用了以上技术方案,使本申请具备的有益效果在于 :
本发明提供的一种轨道车辆轮轨横向位移测量方法,获取原始车辆轮轨接触图像集,并标记原始车辆轮轨接触图像集的多个关键点信息;将附带多个关键点信息标签的车辆轮轨接触图像集输入关键点预测网络,获得车辆轮轨接触的每个关键点的预测位置、预测位移偏差,并根据关键点的预测位置计算获得两个指定关键点之间的预测距离;通过位移传感器测得两个所述指定关键点之间的真实距离,并将所述预测距离和真实距离作差,获得两个所述指定关键点的距离偏差;将两个所述指定关键点之间的距离偏差、轮轨上关键点坐标预测位置以及对应的预测位移偏差融合修正训练所述关键点预测网络,获得优化关键点预测网络;将实时拍摄获得的轮轨接触视频分解为轮轨接触图像,并输入所述优化关键点预测网络,获得轮轨接触图像中每个关键点的坐标值,并获得轮轨横向相对位移时程曲线;本发明采用基于关键点预测网络进行轨道车辆轮轨横向位移测量,具体的,关键点预测网络针对轮轨上所选取的多个关键点将分别产生相应的关键点概率热图和偏移量损失预测,分别表示对应关键点的预测位置和预测位移偏差;并得到两个指定关键点之间的预测距离,再通过位移传感器测得两个所述指定关键点之间的真实距离,进而获得两个所述指定关键点的距离偏差,融合获得的关键点位移偏差和距离偏差对所述关键点预测网络进行校正训练,从而获得优化关键点预测网络,再将获得的实时轮轨接触视频输入优化关键点预测网络,输出每个关键点对应的坐标值,并获得轮轨横向相对位移时程曲线,由于在整个预测过程中,通过少数几个轮轨关键点的坐标预测回归确定轮轨横向相对位移,因此能够提高网络预测测量的速度,另外在本发明中,通过距离偏差对关键点预测网络进行校正训练,能够提高网络预测测量的准确性;
且在某些优选的实施例中,获得轮轨横向相对位移时程曲线时,首先通过位移传感器所测得的两个指定关键点之间的真实距离标定像素坐标系与世界坐标系之间的换算关系,再通过所选取的轮轨上关键点之间的数学几何关系,结合像素坐标系与世界坐标系之间的尺度转换系数得到轮轨横向相对位移时程曲线,从而实现无靶标测量,解决传统图像处理算法在动态复杂背景问题性能损失大的问题;
另外只需将校正训练好的优化关键点预测网路输入处理器,并部署图像获取设备,便可实现轮轨横向位移的实时处理,为车辆运行安全性的实时监测和及时预警提供技术支撑。
附图说明
为了更清楚地说明本发明实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1是本发明公开的一种轨道车辆轮轨横向位移测量方法流程示意图;
图2是本发明公开的轮轨相对位移关键点定义示意图;
图3是本发明公开的基于关键点检测的轨道车辆轮轨横向位移测量方法框架示意图(训练阶段);
图4是本发明公开的基于关键点检测的轨道车辆轮轨横向位移测量方法框架示意图(预测阶段);
图5是本发明公开的轮轨位移转换示意图;
图6是本发明公开的一种轨道车辆轮轨横向位移测量装置的结构框图。
附图标记:
31、图像获取设备;32、照明设备;33、处理器;34、存储器;35、电源;36、轮轨接触图像。
本发明目的的实现、功能特点及优点将结合实施方式,参照附图做进一步说明。
具体实施方式
下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是本发明的一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
需要说明,本发明实施方式中所有方向性指示(诸如上、下……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
另外,在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
并且,本发明各个实施方式之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
实施例1:
参见图1-5,本发明提供一种轨道车辆轮轨横向位移测量方法,其步骤包括:
S1:获取原始车辆轮轨接触图像集,并标记原始车辆轮轨接触图像集的多个关键点信息;
具体的,所述原始车辆轮轨接触图像集包括多张车辆轮轨接触的正面图片;在本实施例中以中南大学地震下行车系统中测量的列车模型地震下运动图像为例,详细说明本发明提供的轨道车辆轮轨横向位移测量方法具体实施过程。将一型运动相机安装于列车模型车轮的正前方,使得相机拍摄画面将轮轨相互作用区域置于相机拍摄画面的中心位置,相机记录列车模型运行过程中轮轨相互作用的视频,根据视频拍摄帧率导出为一系列图片;对多次不同工况下的轮轨相互作用进行记录,形成原始车辆轮轨接触图像集;
再对获得的原始车辆轮轨接触图像集中的每张图像进行预处理,具体的,将车辆轮轨接触的正面图片进行图像目标区域裁剪,以尽可能缩小背景在图片中的占比的同时包含轮轨区域在画面中的移动范围;
本实施例中,为提高模型训练速度,同时避免轮轨接触背景复杂对模型训练稳定性的影响,首先对采集到的图像进行ROI区域裁剪,将原始1920×1080的图像统一裁剪到384×896尺寸大小,图像裁剪的原则应考虑到轮轨接触区域在画面中的移动范围,同时使图像范围内的背景部分占比尽可能缩小;
然后定义关键点,具体的,基于车轮和轨道都具有固定的几何形态,同时考虑到标注数据集的难易程度以及轮轨横向位移计算的便捷性,选取车辆轮轨接触图像的关键点包括车轮外侧边缘中心点P1、车轮底部边缘点P2、轮轨接触边缘点P3、车轮外侧转向架轴箱中心点P4以及车厢上的一不动点P5;
然后基于定义的五个关键点进行数据集制作,对原始图像中的上述五个关键点进行标记注释,构成数据集,再将数据集划分为训练集和测试集;具体的,数据集的标注包含了车辆轮轨接触图片集中所有图片的关键点位置坐标信息,以及选取的两个指定关键点之间的距离信息,在本实施例中,选取车轮外侧转向架轴箱中心点和车厢上的一不动点之间的距离信息,因此,关键点预测网络的输入为预处理后的轮轨接触图像RGB数据和五个关键点位置坐标的标注,以及转向架上和车厢上两关键点距离的标注;
S2:将附带多个关键点信息标签的车辆轮轨接触图像集输入关键点预测网络,获得车辆轮轨接触的每个关键点的预测位置、预测位移偏差,并根据关键点的预测位置计算获得两个指定关键点之间的预测距离;
将制作获得的训练集,具体的,包括预处理后的车辆轮轨接触图像和数据标签分别作为网络输入和监督信息输入所述关键点预测网络,所述关键点预测网络输出轮轨接触图像的五张关键点热图、预测得到的五个关键点的像素坐标,以及得到的转向架和车厢上两关键点的预测距离;
S3:通过位移传感器测得两个所述指定关键点之间的真实距离,并将所述预测距离和真实距离作差,获得两个所述指定关键点的距离偏差;
S4:将两个所述指定关键点之间的距离偏差、轮轨上关键点坐标预测位置以及对应的预测位移偏差融合修正训练所述关键点预测网络,获得优化关键点预测网络;融合修正训练过程如图3所示,
所述关键点预测网络包括尺寸修改网络和融合偏移量的预测网络,经过多次训练测试后,总损失函数下降至阈值并保持基本稳定,可中止训练并保存训练模型,即获得优化关键点预测网络;
S5:将实时拍摄获得的轮轨接触视频分解为轮轨接触图像,并输入所述优化关键点预测网络,获得轮轨接触图像中每个关键点的坐标值,并获得轮轨横向相对位移时程曲线;
获得轮轨横向相对位移时程曲线时,首先通过位移传感器所测得的两个指定关键点之间的真实距离标定像素坐标系与世界坐标系之间的换算关系,再通过所选取的轮轨上关键点之间的数学几何关系,结合像素坐标系与世界坐标系之间的尺度转换系数得到轮轨横向相对位移时程曲线;从而实现无靶标测量,解决传统图像处理算法在动态复杂背景问题性能损失大的问题;
本发明采用基于关键点预测网络进行轨道车辆轮轨横向位移测量,具体的,关键点预测网络针对轮轨上所选取的多个关键点将分别产生相应的关键点概率热图和偏移量损失预测,分别表示对应关键点的预测位置和预测位移偏差;并得到两个指定关键点之间的预测距离,再通过位移传感器测得两个所述指定关键点之间的真实距离,进而获得两个所述指定关键点的距离偏差,融合获得的关键点位移偏差和距离偏差对所述关键点预测网络进行校正训练,从而获得优化关键点预测网络,再将获得的实时轮轨接触视频输入优化关键点预测网络,输出每个关键点对应的坐标值,并获得轮轨横向相对位移时程曲线,由于在整个预测过程中,通过少数几个轮轨关键点的坐标预测回归确定轮轨横向相对位移,因此能够提高网络预测测量的速度,另外在本发明中,通过距离偏差对关键点预测网络进行校正训练,能够提高网络预测测量的准确性;
另外只需将校正训练好的优化关键点预测网路输入处理器,并部署图像获取设备,便可实现轮轨横向位移的实时处理,为车辆运行安全性的实时监测和及时预警提供技术支撑。
作为优选的实施例,所述关键点预测网络包括依次连接的尺寸修改网络和融合偏移量的预测网络,
所述尺寸修改网络用于将输入图像的尺寸压缩至预设比例后再传输给所述融合偏移量的预测网络;
所述融合偏移量的预测网络包括编码器、解码器、置信度分支、第一偏移量分支和第二偏移量分支;
置信度分支用于预测图像中是否存在关键点;第一偏移量分支和第二偏移量分支用于对置信度分支预测的关键点进行确切位置定位,从而回归输出轮轨关键点的准确位置坐标;
且所述置信度分支、第一偏移量分支和第二偏移量分支分别设置有对应的损失函数来约束训练网络以获得对应的输出;
具体的,所述尺寸修改网络包含三个卷积层,每个卷积层的卷积核大小为3×3,卷积步长为2,拓展边缘宽度为1;在每层卷积结束之后,使用Prelu非线性激活函数和批量归一化方法对输出数据进行处理;
在图像输入融合偏移量的预测网络之前,通过尺寸修改网络,先对图像特征进行初步提取,同时将输入图像的尺寸压缩至原图像的1/8,以节省网络内存和运算时间。
作为优选的实施例,所述编码器包括4个下采样模块和2个尺寸保持模块,所述下采样模块进行多次下采样操作,降低分辨率,获得一些分辨率较低的特征(边缘,纹理等),降低计算的复杂度,所述尺寸保持模块用于保证输入与输出的特征图尺寸相同;
所述解码器包括4个上采样模块,所述上采样模块用于恢复低分辨率的特征图到高分辨率图像,并提取高层次目标位置特征;在进行下采样之前,不同尺度下的特征图会复制一份并通过跳跃层将信息向网络的更深层传递以提供网络对全局信息的理解能力;
所述下采样模块、所述上采样模块、所述尺寸保持模块的第一层和第三层均采用了1×1的卷积核,第二层采用了3×3的卷积核进行特征提取,在每一层卷积层之后均添加了prelu激活函数和归一化函数对输出数据进行处理,从而实现对特征通道的降维、升维和保持,并起到减少计算机内存和网络模型参数的作用。
作为优选的实施例,在对所述关键点预测网路训练优化的过程中,分别针对网络不同分支设计了对应的损失函数,具体的,
所述置信度分支采用交叉熵损失作为其损失函数Lconfidence,具体如下式所示:
其中,Ge表示存在关键点的单元格,Gn表示不存在关键点的单元格,gc表示输出单元格置信度的预测值,gc *表示输出单元格置信度的真实值;若单元格中存在关键点,则真实值为1,否则为0;γe和γn表示是否存在损失的加权系数;
第一偏移量分支采用均方误差作为其损失函数Loffset,对预测关键点的横、纵坐标分别计算均方损失,具体如下式所示:
其中,Ne代表存在关键点的网格数量,(gx,gy)分别表示存在关键点的单元格内关键点(x,y)坐标的预测值,(,/>)分别表示存在关键点的单元格内关键点(x,y)坐标的真实值;对于不存在关键点的网格,由于不存在坐标真实值,计算偏移损失时忽略;
第二偏移量分支采用两个指定关键点之间真实距离与预测距离的偏差作为其损失函数Ldisp,具体如下式所示:
其中,X代表两个所述指定关键点之间的真实距离(也即转向架和车厢上两个关键点之间通过位移传感器测得的真实距离),代表两个所述指定关键点之间的预测距离(也即转向架和车厢上两个关键点的预测距离);
由于本发明提供的测量方法是通过不同关键点之间的位置关系得到轮轨横向位移,因此仅采用单个关键点预测位置的偏差作为偏移量分支的损失函数不够全面,所以通过位移传感器所测关键点之间的距离与通过网络预测所得两点之间距离的偏差也作为偏移量分支损失函数的一部分,如此可更大程度降低检测网络预测关键点位置的误差,使关键点位置的预测更加精确。
基于上述各个分支的损失函数,所述关键点预测网络的总损失函数Ltotal等于置信度损失函数Lconfidence、第一偏移量分支损失函数Loffset和第二偏移量分支损失函数Ldisp的加权和,具体如下式所示:
其中,α,β,γ分别为三个损失函数对应的加权系数;
本实施例中,基于所制作的轮轨接触图像数据集,输入图像的分辨率从原本的384×896经过尺寸调整被缩小至48×112,再输入到训练网络中。其中,训练数据批大小(batch_size)设置为1,训练周期(epoch)设置为300,动量因子(momentum)设置为0.9,权重衰减因子(weight_decay)设置为0.00001,模型学习率(learning_rate)设置为2×10-6。经多次模型训练测试,置信度损失Lconfidence加权系数γe和γn分别设置为3和1,网络的总损失函数Ltotal中加权系数α,β,γ均设置为1,模型可以达到最佳训练状态。最终经过训练,损失函数基本达到稳定值,此时可以终止训练并保存训练模型。
预测过程如图4所示,首先输入无关键点标注的全新运行工况下获取的轮轨接触图片集,首先通过尺寸修改网络对图像特征进行初步提取,将输入图像的尺寸压缩至原图像的1/8,在输入训练完成的融合偏移量的预测网络,输出关键点像素坐标,再根据像素坐标系与世界坐标系之间的尺度转换系数以及所选取关键点之间的几何关系,通过位移计算模块将关键点像素坐标转换为世界坐标,进而得到世界坐标系中轮轨横向相对位移的时程曲线。
作为优选的实施例,所述轮轨横向相对位移时程曲线输出基于三个关键点之间的几何关系进行;具体的,
参见图2和5,三个关键点的坐标位置为车轮外侧边缘中心点P1(x1,y1)、车轮底部
边缘点P2(x2,y2)、轮轨接触边缘点P3(x3,y3),连接车轮外侧边缘中心点P1和车轮底部边缘
点P2两点,计算轮轨接触边缘点P3到直线P1P2的距离便可求出在像素坐标系下的轮轨横向
位移,最后结合像素坐标系与世界坐标系之间的尺度转换系数SF求出轮轨横向实际位移
,具体如下式所示:
其中,,,,;是轮轨横向
绝对位移,是轮轨横向相对位移即轮轨横向实际位移,为位移初始值,是像素坐标系
下的轮轨横向绝对位移。
作为优选的实施例,所述像素坐标系与世界坐标系之间的尺度转换系数需确定拍摄相机与待测物体之间的位置关系,具体的,尺度转换系数为在一维平面物体位移的测量过程中通过计算像素坐标系与世界坐标系之间的尺度转换系数来简化像素坐标系与世界坐标系之间的换算关系;具体的,
所述像素坐标系与世界坐标系之间的尺度转换系数SF的获得步骤具体如下:
通过待测轮轨接触平面处已知结构的物体尺寸与其对应的像素尺寸的
比值来确定像素坐标系与世界坐标系之间的转换系数SF1, ;
通过传感器所测得的竖向距离与其对应的像素尺寸的比值来确定像素
坐标系与世界坐标系之间的转换系数SF2,;
则像素坐标系与世界坐标系之间的尺度转换系数,其中,α,β分
别为两转换系数的权重值。
实施例2:
参见图6,本发明还提供一种轨道车辆轮轨横向位移测量装置,包括图像获取设备31、照明设备32、部署有上述优化关键点预测网络的处理器33和存储器34;
所述图像获取设备31与所述处理器33通讯连接,用于安装在轨道车辆的车身底部,并能够以正面视角拍摄轮轨横向变化过程,以实时采集轮轨接触图像36;
所述处理器33用于执行其内部署的所述优化关键点预测网络,并实时输出轮轨横向相对位移;
所述存储器34与所述处理器33通讯连接,用于存储所述处理器33的输出结果;
所述照明设备32,用于邻近设置在所述轮轨接触区域以照亮轮轨相互作用区域,在本实施例中,所述处理器33和存储器34集成在计算机中,还包括电源35,用于为本测量装置供电,所述图像获取设备31为单目视觉相机,所述单目视觉相机实时采集轮轨接触图像36,采集到的图像实时传输至计算机中的处理器33;所述处理器33执行优化关键点预测网络,并实时输出轮轨横向相对位移,并将测量结果保存至存储器34中;
所述处理器33在接受到新的图像时,由于运算优化关键点预测网络,输出当前图像中轮轨横向相对位移这一完整流程的时间小于轮轨横向位移超限作用时间阈值,可进行轨道交通车辆运行安全性的实时监测和及时预警。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围。
Claims (10)
1.一种轨道车辆轮轨横向位移测量方法,其特征在于,其步骤包括:
S1:获取原始车辆轮轨接触图像集,并标记原始车辆轮轨接触图像集的多个关键点信息;
S2:将附带多个关键点信息标签的车辆轮轨接触图像集输入关键点预测网络,获得车辆轮轨接触的每个关键点的预测位置、预测位移偏差,以及两个指定关键点之间的预测距离;
S3:通过位移传感器测得两个所述指定关键点之间的真实距离,获得两个所述指定关键点的距离偏差;
S4:将两个所述指定关键点之间的距离偏差、轮轨上关键点坐标预测位置以及对应的预测位移偏差融合修正训练所述关键点预测网络,获得优化关键点预测网络;
S5:将实时拍摄获得的轮轨接触视频分解为轮轨接触图像,并输入所述优化关键点预测网络,获得轮轨接触图像中每个关键点的坐标值,并获得轮轨横向相对位移时程曲线。
2.根据权利要求1所述的一种轨道车辆轮轨横向位移测量方法,其特征在于,
在步骤S5中,获得轮轨横向相对位移时程曲线时,首先通过位移传感器所测得的两个指定关键点之间的真实距离标定像素坐标系与世界坐标系之间的换算关系,再通过所选取的轮轨上关键点之间的数学几何关系,结合像素坐标系与世界坐标系之间的尺度转换系数得到轮轨横向相对位移时程曲线。
3.根据权利要求1或2所述的一种轨道车辆轮轨横向位移测量方法,其特征在于,
在步骤S1中,所述标记原始车辆轮轨接触图像集的多个关键点信息,包括车辆轮轨接触图片集中所有图片的多个关键点位置坐标信息的标记,以及两个指定关键点之间的距离信息的标记,构成所述关键点预测网络的原始数据集。
4.根据权利要求3所述的一种轨道车辆轮轨横向位移测量方法,其特征在于,
车辆轮轨接触图像的多个关键点包括车轮外侧边缘中心点、车轮底部边缘点、轮轨接触边缘点、车轮外侧转向架轴箱中心点以及车厢上的一不动点;
两个所述指定关键点为车轮外侧转向架轴箱中心点和车厢上的一不动点。
5.根据权利要求1或2所述的一种轨道车辆轮轨横向位移测量方法,其特征在于,
所述关键点预测网络包括依次连接的尺寸修改网络和融合偏移量的预测网络,
所述尺寸修改网络用于将输入图像的尺寸压缩至预设比例后再传输给所述融合偏移量的预测网络;
所述融合偏移量的预测网络包括编码器、解码器、置信度分支、第一偏移量分支和第二偏移量分支;
且所述置信度分支、第一偏移量分支和第二偏移量分支分别设置有对应的损失函数来约束训练网络以获得对应的输出。
6.根据权利要求5所述的一种轨道车辆轮轨横向位移测量方法,其特征在于,
所述尺寸修改网络包含三个卷积层,每个卷积层的卷积核大小为3×3,卷积步长为2,拓展边缘宽度为1;
在每层卷积结束之后,使用Prelu非线性激活函数和批量归一化方法对输出数据进行处理。
7.根据权利要求5所述的一种轨道车辆轮轨横向位移测量方法,其特征在于,
所述编码器包括4个下采样模块和2个尺寸保持模块,所述下采样模块用于获得低分辨率的特征图,所述尺寸保持模块用于保证输入与输出的特征图尺寸相同;
所述解码器包括4个上采样模块,用于恢复低分辨率的特征图到高分辨率图像,并提取高层次目标位置特征;
所述下采样模块、所述上采样模块、所述尺寸保持模块的第一层和第三层均采用了1×1的卷积核,第二层采用了3×3的卷积核进行特征提取,在每一层卷积层之后均添加了prelu激活函数和归一化函数对输出数据进行处理。
8.根据权利要求5所述的一种轨道车辆轮轨横向位移测量方法,其特征在于,
所述置信度分支采用交叉熵损失作为其损失函数Lconfidence,具体如下式所示:
;
其中,Ge表示存在关键点的单元格,Gn表示不存在关键点的单元格,gc表示输出单元格置信度的预测值,gc *表示输出单元格置信度的真实值;若单元格中存在关键点,则真实值为1,否则为0;γe和γn表示是否存在损失的加权系数。
9.根据权利要求5所述的一种轨道车辆轮轨横向位移测量方法,其特征在于,
第一偏移量分支采用均方误差作为其损失函数Loffset,对预测关键点的横、纵坐标分别计算均方损失,具体如下式所示:
;
其中,Ne代表存在关键点的网格数量,(gx,gy)分别表示存在关键点的单元格内关键点(x,y)坐标的预测值,(,/>)分别表示存在关键点的单元格内关键点(x,y)坐标的真实值;对于不存在关键点的网格,计算偏移损失时忽略;
第二偏移量分支采用两个指定关键点之间真实距离与预测距离的偏差作为其损失函数Ldisp,具体如下式所示:
;
其中,X代表两个所述指定关键点之间的真实距离,代表两个所述指定关键点之间的预测距离。
10.一种轨道车辆轮轨横向位移测量装置,其特征在于,包括图像获取设备、照明设备、部署如权利要求1-9任意一项所述的一种轨道车辆轮轨横向位移测量方法的处理器和存储器;
所述图像获取设备与所述处理器通讯连接,用于安装在轨道车辆的车身底部,并能够以正面视角拍摄轮轨横向变化过程,以实时采集轮轨接触图像;
所述处理器用于执行其内部署的优化关键点预测网络,并实时输出轮轨横向相对位移;
所述存储器与所述处理器通讯连接,用于存储所述处理器的输出结果;
所述照明设备,用于邻近设置在所述轮轨接触区域以照亮轮轨相互作用区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410126566.2A CN117649437B (zh) | 2024-01-30 | 2024-01-30 | 一种轨道车辆轮轨横向位移测量方法及测量装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410126566.2A CN117649437B (zh) | 2024-01-30 | 2024-01-30 | 一种轨道车辆轮轨横向位移测量方法及测量装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117649437A true CN117649437A (zh) | 2024-03-05 |
CN117649437B CN117649437B (zh) | 2024-05-03 |
Family
ID=90046471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410126566.2A Active CN117649437B (zh) | 2024-01-30 | 2024-01-30 | 一种轨道车辆轮轨横向位移测量方法及测量装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117649437B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120006946A1 (en) * | 2009-03-12 | 2012-01-12 | Siemens S.A.S. | Method and device for monitoring the presence of a rail |
CN107399340A (zh) * | 2016-05-18 | 2017-11-28 | 苏州华兴致远电子科技有限公司 | 列车轮轨状态检测系统及检测方法 |
US20180222499A1 (en) * | 2017-02-02 | 2018-08-09 | Vale S.A. | Railway wheels monitoring system and method |
CN109017872A (zh) * | 2018-07-23 | 2018-12-18 | 清华大学天津高端装备研究院 | 一种列车车轮预防性维护方法、装置及存储介质 |
WO2021103087A1 (zh) * | 2019-11-29 | 2021-06-03 | 中车南京浦镇车辆有限公司 | 一种基于车体轮廓线的轨道车辆脱轨检测方法 |
CN114368411A (zh) * | 2022-03-22 | 2022-04-19 | 西南交通大学 | 一种列车脱轨安全的监测预警方法与装置 |
WO2023274811A1 (de) * | 2021-06-30 | 2023-01-05 | Siemens Mobility GmbH | Verfahren und anordnung zur überwachung eines rad-schiene-kontakts bei einem schienenfahrzeug |
CN117409039A (zh) * | 2023-11-02 | 2024-01-16 | 西南交通大学 | 一种基于虚拟点跟踪网络的轮轨相对位移计算方法 |
-
2024
- 2024-01-30 CN CN202410126566.2A patent/CN117649437B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120006946A1 (en) * | 2009-03-12 | 2012-01-12 | Siemens S.A.S. | Method and device for monitoring the presence of a rail |
CN107399340A (zh) * | 2016-05-18 | 2017-11-28 | 苏州华兴致远电子科技有限公司 | 列车轮轨状态检测系统及检测方法 |
US20180222499A1 (en) * | 2017-02-02 | 2018-08-09 | Vale S.A. | Railway wheels monitoring system and method |
CN109017872A (zh) * | 2018-07-23 | 2018-12-18 | 清华大学天津高端装备研究院 | 一种列车车轮预防性维护方法、装置及存储介质 |
WO2021103087A1 (zh) * | 2019-11-29 | 2021-06-03 | 中车南京浦镇车辆有限公司 | 一种基于车体轮廓线的轨道车辆脱轨检测方法 |
WO2023274811A1 (de) * | 2021-06-30 | 2023-01-05 | Siemens Mobility GmbH | Verfahren und anordnung zur überwachung eines rad-schiene-kontakts bei einem schienenfahrzeug |
CN114368411A (zh) * | 2022-03-22 | 2022-04-19 | 西南交通大学 | 一种列车脱轨安全的监测预警方法与装置 |
CN117409039A (zh) * | 2023-11-02 | 2024-01-16 | 西南交通大学 | 一种基于虚拟点跟踪网络的轮轨相对位移计算方法 |
Non-Patent Citations (6)
Title |
---|
ALEJANDRO NEWELL: "Stacked Hourglass Networks for Human Pose Estimation", ARXIV, 26 July 2016 (2016-07-26), pages 1 - 17 * |
DACHUAN SHI: "Deep learning based virtual point tracking for real-time target-less fdynamic displacement measurement in railway applications", MECHANICAL SYSTEMS AND SIGNAL PROCESSING, 6 October 2021 (2021-10-06), pages 1 - 20 * |
DIOGO C. LUVIZON: "2D 3D Pose Estimation and Action Recognition Using_Multitask Deep Learning", 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 16 November 2018 (2018-11-16), pages 5137 - 5146 * |
VIKTOR SKRICKIJ: "Visual Measurement System for Wheel–Rail Lateral Position Evaluation", SENSORS, 11 February 2021 (2021-02-11), pages 1 - 16 * |
刘俊君: "基于轮轨接触关系的列车运行安全预测仿真研究", 石家庄铁路职业技术学院学报, 30 September 2019 (2019-09-30), pages 47 - 52 * |
王延哲;陈志强;王雅婷;: "基于机器视觉技术的轮轨横向位移测量方法", 铁道建筑, no. 11, 20 November 2018 (2018-11-20), pages 140 - 143 * |
Also Published As
Publication number | Publication date |
---|---|
CN117649437B (zh) | 2024-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108981692B (zh) | 一种基于惯导/视觉里程计的列车定位方法及系统 | |
CN111882882B (zh) | 一种动态平板秤称重区域汽车跨车道行驶行为检测方法 | |
CN113516660A (zh) | 适用于列车的视觉定位与缺陷检测方法和装置 | |
CN103593678B (zh) | 一种大跨度桥梁车辆动态荷载分布检测方法 | |
CN111142091B (zh) | 一种融合车载信息的自动驾驶系统激光雷达在线标定方法 | |
CN107401979B (zh) | 一种用于接触网检测的车体振动位移补偿装置及方法 | |
CN108362308A (zh) | 一种利用隧道环缝的移动激光测量系统里程校正方法 | |
CN104376303A (zh) | 一种低分辨率情况下的车辆成像方法 | |
CN114312877B (zh) | 铁路综合巡检系统 | |
CN109580137A (zh) | 一种基于计算机视觉技术的桥梁结构位移影响线实测方法 | |
CN114463932B (zh) | 非接触式施工安全距离主动动态识别预警系统及方法 | |
CN115808324A (zh) | 一种中小跨径桥梁轻量化安全管理监测方法及系统 | |
CN113592905A (zh) | 基于单目摄像头的车辆行驶轨迹预测方法 | |
CN115909092A (zh) | 轻量化输电通道隐患测距方法及隐患预警装置 | |
CN114140394A (zh) | 一种非接触式的基于图像处理技术的弓网接触力检测方法 | |
CN115331086A (zh) | 一种闸瓦折断和铆钉丢失故障检测方法 | |
CN102609689B (zh) | 一种基于多帧统计的视频车道背景建模方法 | |
CN114379607B (zh) | 一种铁路综合巡检方法 | |
CN114379598B (zh) | 一种铁路综合巡检系统 | |
CN104005324A (zh) | 一种路面构造信息的检测系统 | |
CN115931874A (zh) | 一种搭载式磁悬浮智能动态巡检系统及缝隙宽度检测方法 | |
CN111598855A (zh) | 一种基于深度学习和迁移学习的2c设备高铁接触网吊弦缺陷检测方法 | |
CN115014226A (zh) | 一种运营轨道交通隧道全域相对变形的监测方法及系统 | |
CN113378647B (zh) | 基于三维点云的实时轨道障碍物检测方法 | |
CN117649437B (zh) | 一种轨道车辆轮轨横向位移测量方法及测量装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |