CN112949482B - 一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法 - Google Patents

一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法 Download PDF

Info

Publication number
CN112949482B
CN112949482B CN202110226886.1A CN202110226886A CN112949482B CN 112949482 B CN112949482 B CN 112949482B CN 202110226886 A CN202110226886 A CN 202110226886A CN 112949482 B CN112949482 B CN 112949482B
Authority
CN
China
Prior art keywords
signboard
deep learning
perspective transformation
relative displacement
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110226886.1A
Other languages
English (en)
Other versions
CN112949482A (zh
Inventor
王森荣
程嘉昊
厉小润
季文献
林超
王晶
朱彬
王建军
杨艳丽
鄢祖建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
China Railway Siyuan Survey and Design Group Co Ltd
Original Assignee
Zhejiang University ZJU
China Railway Siyuan Survey and Design Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, China Railway Siyuan Survey and Design Group Co Ltd filed Critical Zhejiang University ZJU
Priority to CN202110226886.1A priority Critical patent/CN112949482B/zh
Publication of CN112949482A publication Critical patent/CN112949482A/zh
Application granted granted Critical
Publication of CN112949482B publication Critical patent/CN112949482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Evolutionary Computation (AREA)
  • Pure & Applied Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法，属于高铁轨道结构监测领域。将包含至少两个圆并且圆与背景颜色差异明显的标志牌粘贴在轨枕上，拍摄含有标志牌的视频并截取图像；标定图像以作为用于标志牌检测的深度学习模型的训练样本，训练深度学习模型；对每个检测点获得的实时图像，通过深度学习模型检测图像中的标志牌区域，使用视觉算法定位经透视变换后的标志牌的圆心，利用定位得到的圆心坐标完成钢轨轨枕相对位移量粗计算；再对粗计算结果进行平滑滤波，得到实时相对位移量的精确值。本发明可以自动计算透视变换参数和钢轨轨枕相对位移量，实现了轨道结构的轨枕间距相对位移的实时获取。

Description

一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移 实时测量方法
技术领域
本发明属于高铁轨道结构监测领域，更具体地，涉及一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法。
背景技术
为满足各种复杂地域环境的需要，高速铁路不可避免会出现长大连续梁桥。相关线路上钢轨伸缩调节器及梁缝处的抬轨装置在使用过程中，出现了轨枕倾斜拉裂、抬轨装置剪刀叉变形较大甚至卡死等病害，造成了较大的养护维修工作量和经济损失。由于钢轨伸缩调节器养护维修工作量大，是高铁轨道结构的三大薄弱环节之一，因此高速铁路工务部门对钢轨伸缩调节器区轨道结构的监测需求十分迫切。
轨道位移变化监测是钢轨伸缩调节器区轨道结构监测的关键环节，从精度、实施性出发，目前轨道位移变化监测主要采用振弦式传感器和光纤光栅传感方式。目前，现有的监测方法主要不足包括：
(1)一般只能作为工点性的监测，空间上和时间上的监测范围有限，无法实现大规模实时测量；
(2)皆为接触式的传感方式，设置在轨道结构上的传感器对于高速动车的运营是较大的安全隐患。
随着铁路网络带宽呈几何数量级增加，高速铁路逐渐在沿线安装摄像机。以高铁沿线摄像机为前端，开展以图像识别等非接触式传感为手段的高铁轨道结构监测研究具有十分重要的现实意义和应用前景。
但是，由于高铁现场环境复杂，光照、风雨和火车震动等多种因素都会影响成像结果，加上摄像机本身的透视畸变，基于简单的图像识别方法测量的钢轨轨枕相对位移，无法满足轨道结构监测精度要求。
发明内容
针对上述技术问题，本发明提出了一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法，设计了包含至少两个圆并且圆与背景颜色差异明显的标志牌粘贴在轨枕上，拍摄含有标志牌的视频并截取图像；标定图像以作为用于标志牌检测的深度学习模型的训练样本，训练深度学习模型；对每个检测点获得的实时图像，通过深度学习模型检测图像中的标志牌区域，使用视觉算法定位经透视变换后的标志牌的圆心，利用定位得到的圆心坐标完成钢轨轨枕相对位移量粗计算；再对粗计算结果进行平滑滤波，得到实时相对位移量的精确值。本发明可以自动计算透视变换参数和钢轨轨枕相对位移量，实现了轨道结构的轨枕间距相对位移的实时获取，测量精度高，安全性高。
为了实现上述目的，本发明采用的技术方案是：
一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法，包括如下步骤：
步骤1，针对任一个检测点，在需要检测的钢轨轨枕任一侧的固定位置设置摄像头，将摄像头的监控范围对准目标检测位置，在目标检测范围的轨枕上粘贴至少包括两个圆的标志牌，所述标志牌上所有圆心在同一条直线上，且圆心连线与轨枕沿轨道宽度方向的边界线平行；
所述每一个检测点的检测范围内至少包括一对相对位置固定的轨枕；
步骤2，采集目标检测范围内的不同高度、不同角度、不同环境和不同成像方式下的样本图像，标记样本图像中的每一个标记牌的四个角点的原像素坐标，将角点的原像素坐标转换为检测框顶点的原像素坐标；利用四个角点的原像素坐标和实际坐标计算透视变换矩阵，获得样本图片中圆心对应的原像素坐标；
将矩形检测框的对角线上的两个顶点坐标作为标志牌检测标签，将每一个标志牌中边界处的两个圆心坐标作为圆心定位标签，将带标签的样本图像作为训练样本集；
步骤3，建立深度学习模型，利用步骤2得到的训练样本集对深度学习模型进行训练；
步骤4，通过摄像头实时采集每一个检测点处的轨枕视频，从对应当前时刻的视频中等间隔提取m帧作为当前时刻的待检测图像，利用训练好的深度学习模型检测图像中的标志牌区域并定位圆心，根据检测结果过滤无效帧图像；
根据定位得到的圆心原像素坐标确定圆心的位置关系，对两个边界标志牌中的共计四个边界处圆心的原像素坐标进行透视变换，使得透视变换后的四个圆心连线矩形；
根据透视变换后的像素坐标和原像素坐标，采用步骤2中的方法计算透视变换矩阵，利用透视变换矩阵对有效帧图像进行透视变换；
步骤5，利用训练好的深度学习模型检测透视变换后的有效帧图像中的标志牌区域，并对透视变换后的有效帧图像进行二值化处理，拟合标志牌区域内的椭圆轮廓，得到椭圆长短轴长度、圆心坐标和椭圆旋转角度作为拟合结果；
步骤6，从相邻两个标记牌中任选一个或多个对应圆心的拟合结果计算相对距离，得到位移值，将每一个有效帧图像中的相对位移值取均值作为初始检测结果；
步骤7，对所有有效帧图像的初始检测结果排序和平滑滤波，将滤波后的均值作为最终结果输出；
步骤8，重复步骤S4至步骤S7，执行下一时刻的相对位移检测，实现轨枕相对位移的实时测量。
与现有技术相比，本发明的优势在于：设计了包含至少两个圆并且圆与背景颜色差异明显的标志牌粘贴在前一段铁轨的尾部侧面以及后一段铁轨同一侧的侧面；标定图像以作为用于标志牌检测的深度学习模型的训练样本，训练深度学习模型；对每个检测点获得的实时图像，利用深度学习模型检测图像中的标志牌区域，根据检测结果过滤无效帧图像，在剩余的有效帧图像的标志牌区域中检测圆心，粗计算轨枕间距相对位移，再对粗计算结果进行平滑滤波，实现轨枕间距相对位移的实时测量。
本发明基于非接触测量的方式，不影响轨道的正常工作，安全性高，可以应用于钢轨轨枕相对位移的大规模实时测量，该发明也可推广至伸缩机构间距检测等使用标志牌来进行距离检测的场景。
附图说明
图1为本发明的基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法流程图；
图2为本实施例中的标志牌示意图；
图3为本实施例中的采用的深度学习模型的结构图；
图4为本实施例中的包含连续3块标志牌的测试图；
图5为本实施例中的3块标志牌和6个圆心检测结果图；
图6为本实施例中的透视变换后的测试图；
图7为本实施例中的透视变换后的测试图在椭圆拟合前的图像预处理结果图；
图8为本实施例中的透视变换后测试图的标志牌圆形区域椭圆拟合结果和间距检测结果图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合具体的实施例详细说明本发明。下面描述了具体实施例以简化本发明。但是需要认识到，本发明不局限于所说明的实施例，并且在不脱离基本原理的前提下，本发明的各种修改是可能的，这些等价形式同样落于本申请所附权利要求书所限定的范围。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供的一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法，主要包括如下步骤：
步骤一：针对任一个检测点，在需要检测的钢轨轨枕任一侧的固定位置设置摄像头，将摄像头的监控范围对准目标检测位置，在目标检测范围的轨枕上粘贴至少包括两个圆的标志牌，所述标志牌上所有圆心在同一条直线上，且圆心连线与轨枕沿轨道宽度方向的边界线平行；
步骤二：采集目标检测范围内的不同高度、不同角度、不同环境和不同成像方式下的样本图像，标记样本图像中的每一个标记牌的四个角点的原像素坐标，将角点的原像素坐标转换为检测框顶点的原像素坐标；利用四个角点的原像素坐标和实际坐标计算透视变换矩阵，获得样本图片中圆心对应的原像素坐标；
将矩形检测框的对角线上的两个顶点坐标作为标志牌检测标签，将每一个标志牌中边界处的两个圆心坐标作为圆心定位标签，将带标签的样本图像作为训练样本集；
步骤三：建立深度学习模型，利用步骤2得到的训练样本集对深度学习模型进行训练；
步骤四：通过摄像头实时采集每一个检测点处的轨枕视频，从对应当前时刻的视频中等间隔提取m帧作为当前时刻的待检测图像，利用训练好的深度学习模型检测图像中的标志牌区域并定位圆心，根据检测结果过滤无效帧图像；
根据定位得到的圆心原像素坐标确定圆心的位置关系，对两个边界标志牌中的共计四个边界处圆心的原像素坐标进行透视变换，使得透视变换后的四个圆心连线矩形；
根据透视变换后的像素坐标和原像素坐标，采用步骤2中的方法计算透视变换矩阵，利用透视变换矩阵对有效帧图像进行透视变换；
步骤五：利用训练好的深度学习模型检测透视变换后的有效帧图像中的标志牌区域，并对透视变换后的有效帧图像进行二值化处理，拟合标志牌区域内的椭圆轮廓，得到椭圆长短轴长度、圆心坐标和椭圆旋转角度作为拟合结果；
步骤六：从相邻两个标记牌中任选一个或多个对应圆心的拟合结果计算相对距离，得到位移值，将每一个有效帧图像中的相对位移值取均值作为初始检测结果；
步骤七：对所有有效帧图像的初始检测结果排序和平滑滤波，将滤波后的均值作为最终结果输出；
步骤八：重复步骤S4至步骤S7，执行下一时刻的相对位移检测，实现轨枕相对位移的实时测量。
下面对具体实现方式进行介绍，本实施例中的工况参数为：摄像机分辨率400万像素，成像高度2.5m，成像角度偏移0个轨枕，白天可见光成像。
(一)设计标记牌。
本实施例中，图2所示为设计的标志牌，每一个标记牌中包含3个圆，标志牌沿长边分为“黑-白-黑”3个相同形状大小的矩形区域，在每个矩形区域的中心有1个颜色为红色的圆，红色的圆和黑白色的背景颜色有明显差异，3个圆的圆心成一直线。粘贴标志牌时所述圆心直线与轨枕纵向边界线平行。在每个轨枕的相同位置粘贴标志牌，所述圆心直线与轨枕纵向边界线平行。
(二)标定深度学习模型训练样本。
采集目标检测范围内的不同高度、不同角度、不同环境和不同成像方式下的样本图像，图4为本实施例中采集到的一张样本图片，每一张图包含3个标记牌，对其中每幅样本图片：
(2.1)手动标记样本图片中标志牌的四个角点，然后将四个角点的坐标转换成标志牌的矩形检测框的顶点坐标。记样本图片中的某个标志牌的四个角点的原像素坐标(x(i)，y(i))，i＝1，2，3，4；
(2.2)将四个角点的原像素坐标转换为检测框顶点的原像素坐标，转换公式为：
Figure BDA0002956764230000051
式中，Plefttop为检测框左上顶点的原像素坐标，Prightdown为检测框右下顶点的原像素坐标，x(i)和y(i)分别为第i个角点的原像素坐标；
(2.3)利用四个角点的原像素坐标和实际坐标计算透视变换矩阵：
将现实中的标志牌的长边竖置，从上到下，从左到右依次标记现实中的标志牌的四个角点，角点序号矩阵为
Figure BDA0002956764230000061
则角点1，2间的距离大于角点1，3之间的距离。从上到下依次标记现实中的标志牌的上下两个圆的圆心，圆心序号矩阵为
Figure BDA0002956764230000062
则圆心5离角点1，3较近，圆心6离角点2，4较近。
记样本图片中的待求的上下两个圆心的像素坐标为(x(i)，y(i))，i＝5，6。记实际标志牌的四个角点和上下两个圆心的实际坐标为(X(i)，Y(i))，i＝1，2，3，4，5，6；令H为标志牌的长边长，W为标志牌的短边长，h为圆心到邻近短边的距离(单位mm)，则：
Figure BDA0002956764230000063
构建矩阵：
Figure BDA0002956764230000064
B＝[X(1) Y(1) X(2) Y(2) X(3) Y(3) X(4) Y(4)]
fa＝A-1*B
式中，A和B分别为计算所需的矩阵，fa为1*8的矩阵，其元素即为透视变换矩阵的元素；
Figure BDA0002956764230000065
式中，transform即为所求的透视变换矩阵，fa(i)表示fa矩阵中的第i个元素值；
2.4)根据透视变换矩阵，计算样本图片中圆心对应的原像素坐标：
通过下式即可计算出样本图片中当前标志牌的上下两个圆心的原像素坐标(x(i)，y(i))，i＝5，6：
Figure BDA0002956764230000071
式中，a(i)，b(i)，w(i)为求解过程得到的中间值。
如此标定的矩形检测框的左上角顶点和右下角顶点的原像素坐标以及上下两个圆的圆心原像素坐标将分别用作训练深度学习模型时的标志牌检测标签和圆心定位的标签。
(三)训练深度学习模型。
将步骤二中标定好的样本作为训练样本，对基于深度学习的标志牌检测和标志牌圆心定位模型进行训练。其中深度学习模型选用在COCO person keypoint数据集上预训练过的Keypoint R-CNN模型，即增加了关键点检测分支的Faster R-CNN目标检测模型，关键点检测分支与目标检测分支并行。其结构如图3所示。
训练时模型的输入为经过步骤二标定并再进行数据增广后的样本，模型的输出为输入图片中标志牌的矩形检测框的左上角、右下角顶点的原像素坐标和标志牌中圆心的原像素坐标以及这些标志牌检测框坐标和圆心坐标的置信度。
模型的特征提取骨干网络为ResNet50和FPN。本实施例中，步骤二中标定得到的样本再进行数据增广，样本的数据增广的方式包括随机水平翻转，随机裁切和随机改变色调、对比度、明度。模型训练时使用的优化器为Adam，学习率调整策略为Cosine方式。模型在训练集上每训练1个epoch都要在验证集上测试指标，等到验证集指标不再上升时则训练结束。
(四)对视频画面进行透视变换。
4.1)通过摄像头实时采集每一个检测点处的轨枕视频，从对应当前时刻的视频中等间隔提取m帧作为当前时刻的待检测图像；
4.2)利用训练好的深度学习模型检测图像中的标志牌区域并定位圆心，如图5所示为本实施例的检测结果；
4.3)根据步骤4.2)的检测结果进行有效性判断，出现以下4种情况则检测无效，否则检测有效：
检测到的标志牌区域的数量少于实际标记牌数量，或者检测到的圆心数量少于2倍的实际标记牌数量；
或者至少有一个检测框中包含的有效圆心数量不为2；所述的有效圆心判断方式为：若圆心坐标位于标志牌检测框左上角顶点和右下角顶点的坐标之间，则属于有效圆心，否则为无效圆心；
或者至少有一个检测框中的两个有效圆心的像素距离低于阈值；
或者至少有一个圆心坐标置信度低于阈值。
本实施例中，每一个待检测图像上有三个标记牌，因此，将有效性判断规则具体设置为：
a)检测到的标志牌检测框数量不为3，或圆心数量不为6；
b)若圆心坐标位于标志牌检测框左上角顶点和右下角顶点的坐标之间，则称该标志牌检测框包含该圆心。存在包含的圆心数量不为2的标志牌检测框；
c)存在包含的两个圆心的距离小于5个像素的标志牌检测框；
d)存在深度学习模型输出的圆心坐标置信度低于35的圆心。
如果检测有效则执行后续步骤，否则舍弃相应帧图像。
4.4)确定深度模型检测得到的圆心的位置关系。
对检测到的标志牌按它们在图像中的位置从左到右进行排序，对定位到的圆心按它们在所属标志牌中的位置从上到下进行排序。本实施例中，即从上到下，从左到右依次标记2行3列圆心序号，圆心序号矩阵为
Figure BDA0002956764230000081
4.5)计算透视变换矩阵。
根据检测点轨枕相对位置固定情况确定反应图像关键特征的对应点。本实施例中，以序号为1，2，5，6的4个圆心作为反应图像关键特征的基准点，记样本图片中检测得到的作为基准点的4个圆心的原像素坐标为(x(i)，y(i))，i＝1，2，3，4，其透视变换后的像素坐标为(x′(i)，y′(i))，i＝1，2，3，4。
考虑到透视变换后视频画面的左上角裁切程度以及视频画面的变形程度，设定变换参数，将透视变换后的四个圆心的像素坐标记为：
Figure BDA0002956764230000091
式中，padding_x、padding_y是代表裁切程度的变换参数，w、h是代表变形程度的变换参数，x′(i)，y′(i)是第i个圆心经透视变换后的像素坐标。
根据透视变换后的像素坐标和原像素坐标，采用步骤(2.3)中的相似过程计算透视变换矩阵。
4.6)利用透视变换矩阵对有效帧图像进行透视变换。
对有效帧原图像中的每一个像素点坐标进行透视变换，仅保留处于以下像素坐标范围内的像素点：
Figure BDA0002956764230000092
式中，x′和y′为透视变换后的有效帧图像中任一像素点的像素坐标。
如此操作得到的视频画面呈现了近似于俯视的成像效果，如图6所示。
(五)检测变换后图像中的圆形区域。
检测透视变换后的视频画面中的标志牌中的圆形区域并椭圆拟合轮廓，对通过有效性检测并经过透视变换的每一帧视频画面进行如下操作：
5.1)标志牌区域检测。利用训练好的深度学习模型检测透视变换后的有效帧图像中的标志牌区域。本实施例中，对于深度模型检测得到的标志牌检测框坐标，若数量不为3则检测无效，否则检测有效，删除标志牌区域数量少于实际标记牌数量的有效帧图像，对剩余的有效帧图像进行后续操作。
5.2)图像预处理。
首先，对透视变换后的有效帧图像进行二值化处理，二值化处理过程为：
采用RGB色彩空间，对于R、G、B通道分别设定筛选区间，对于图像上的每一个像元逐一进行判断，将3个分量均在区间范围内的像元置为1，否则置为0，得到二值化图像；
或者采用HSV色彩空间，从RGB颜色通道转换为HSV颜色通道，对于H、S、V通道分别设定筛选区间，对于图像上的每一个像元逐一进行判断，将3个分量均在区间范围内的像元置为1，否则置为0，得到二值化图像。
本实施例中，将原图由RGB色彩空间转为HSV色彩空间。公式如下：
Figure BDA0002956764230000101
Figure BDA0002956764230000102
V＝max
式中，R，G，B为图像的RGB颜色通道特征，max＝max(R，G，B)即RGB三个颜色通道的最大值，min＝min(R，G，B)即RGB三个颜色通道的最小值，如果求取的H为负则H＝H+360。
使用合适的阈值分割HSV图像的红色区域，将原图二值化，红色区域的点置为255，非红色区域的点置为0，具体公式如下：
Figure BDA0002956764230000103
式中，H(x，y)为原图像素点(x，y)处的H值，S(x，y)为原图像素点(x，y)处的S值，V(x，y)为原图像素点(x，y)处的V值，Binary(x，y)为二值图在像素点(x，y)处的灰度值，THU，TSU，TVU，THL，TSL，TVL分别为设定的H，S，V的上下阈值。
其次，去除二值化图像中面积小于400的黑、白色小连通区域，并做核尺寸为5*5的开闭运算以使连通区域的边缘更平滑。
最后，求取处理后二值化图像的轮廓，本实施例中得到的结果如图7所示。
5.3)拟合椭圆并筛选轮廓。
对上一步骤得到的轮廓，进行以下操作筛选出标志牌圆形区域的轮廓：
a)去除顶点数小于等于25的轮廓
b)去除包围区域为黑色区域的轮廓
c)对每个轮廓进行椭圆拟合，椭圆拟合可使用最小二乘法，去除拟合所得椭圆面积与轮廓实际面积比值大于等于1.1或小于等于0.9的轮廓
d)对每个轮廓进行椭圆拟合，去除拟合所得椭圆周长与轮廓实际周长比值大于等于1.15或小于等于0.85的轮廓
e)对每个轮廓进行凸壳处理，去除凸壳后的面积与轮廓实际面积比值大于等于1.1或小于等于0.9的轮廓
f)若每个标志牌区域中剩余轮廓的数量小于3，则检测失败，否则在剩余的轮廓中任意挑选3个轮廓，将它们拟合得到的椭圆的圆心的坐标进行主成分分析，试遍每一种组合选择占方差比例最大的3个轮廓作为检测到标志牌中的3个圆心区域，这3个轮廓进行椭圆拟合后得到的椭圆长短轴长度、圆心坐标和椭圆旋转角度作为椭圆拟合的结果。
所述椭圆拟合可以用最小二乘拟合或其他拟合方法，其中最小二乘法如下：
平面上任意椭圆的方程可以表示为：
x2+Axy+By2+Cx+Dy+E＝0
假设Pi(xi，yi)(i＝1，2，3......N，N≥5)为椭圆边缘上N个点，跟据最小二乘原理，拟合的目标函数为：
Figure BDA0002956764230000111
当目标函数F关于A、B、C、D、E的偏微分为0，其取到最小值，可以计算得到系数A、B、C、D、E。
根据A、B、C、D、E计算得到椭圆参数圆心(x0，y0)、长半轴a、短半轴b、旋转角θ，计算公式如下所示：
Figure BDA0002956764230000112
Figure BDA0002956764230000113
Figure BDA0002956764230000114
Figure BDA0002956764230000115
Figure BDA0002956764230000116
得到的椭圆参数中，长短轴长度a，b，圆心坐标(x0，y0)，椭圆旋转角度θ将用于后续的计算。本实施例中，图8给出了拟合结果。
(六)粗计算初始检测结果。
从相邻两个标记牌中任选一个或多个对应圆心的拟合结果计算相对距离，得到位移值，将每一个有效帧图像中的相对位移值取均值作为初始检测结果，在本实施例中，具体为：
针对每一幅透视变换后视频画面的标志牌圆形区域椭圆拟合结果，对待求间距的两轨枕，其上粘贴的标志牌中位于最上方或最下方的一对圆的圆心间距dist可由如下方式进行计算：
Figure BDA0002956764230000121
Figure BDA0002956764230000122
Figure BDA0002956764230000123
Figure BDA0002956764230000124
Figure BDA0002956764230000125
其中ai，bi，i＝0，1为一对圆中单个圆由椭圆拟合得到的长短轴长度，(xi，yi)，i＝0，1为拟合得到的圆心坐标，θi，i＝0，1为拟合得到的椭圆旋转角度，D为标志牌中圆的直径。本实施例中，在图8的拟合结果上标注了粗计算结果。
将每一个有效帧图像中的相对位移值取均值作为初始检测结果.
(七)精计算轨枕相对位移量。
对所有有效帧图像的初始检测结果排序和平滑滤波，将滤波后的均值作为最终结果输出；平滑滤波具体为：对排序后的初始检测结果，去掉前p％的最大值和最后p％的最小值后求取平均值，该平均值作为平滑滤波的结果，所述的p为阈值。本实施例中，p取10％。
在后续的实时检测过程中，重复执行(四)至(七)，即可实现轨枕相对位移的实时测量。
本发明实施例的方法，对比现有技术，实现了一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法，利用训练好的深度学习模型获取圆心坐标用于精确计算透视变换参数，结合视觉算法定位经透视变换后的标志牌的圆心，利用定位得到的圆心坐标完成钢轨轨枕相对位移量粗计算；再对粗计算结果进行平滑滤波，得到实时相对位移量的精确值，简单高效，其测量精度可以满足轨道结构监测精度要求，有效实现了轨道结构的钢轨轨枕相对位移的实时获取。
本发明实施例所示的附图说明，可使本发明的目的、技术方案及优点介绍得更加清楚明白。应当说明，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。凡在本发明提供的方法思路和原则之内所作的等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法，其特征在于，包括如下步骤：
步骤1，针对任一个检测点，在需要检测的钢轨轨枕任一侧的固定位置设置摄像头，将摄像头的监控范围对准目标检测位置，在目标检测范围的轨枕上粘贴至少包括两个圆的标志牌，所述标志牌上所有圆心在同一条直线上，且圆心连线与轨枕沿轨道宽度方向的边界线平行；
步骤2，采集目标检测范围内的不同高度、不同角度、不同环境和不同成像方式下的样本图像，标记样本图像中的每一个标记牌的四个角点的原像素坐标，将角点的原像素坐标转换为检测框顶点的原像素坐标；利用四个角点的原像素坐标和实际坐标计算透视变换矩阵，获得样本图片中圆心对应的原像素坐标；
将矩形检测框的对角线上的两个顶点坐标作为标志牌检测标签，将每一个标志牌中边界处的两个圆心坐标作为圆心定位标签，将带标签的样本图像作为训练样本集；
步骤3，建立深度学习模型，利用步骤2得到的训练样本集对深度学习模型进行训练；
步骤4，通过摄像头实时采集每一个检测点处的轨枕视频，从对应当前时刻的视频中等间隔提取m帧作为当前时刻的待检测图像，利用训练好的深度学习模型检测图像中的标志牌区域并定位圆心，根据检测结果过滤无效帧图像；
根据定位得到的圆心原像素坐标确定圆心的位置关系，对两个边界标志牌中的共计四个边界处圆心的原像素坐标进行透视变换，使得透视变换后的四个圆心连线呈矩形；
根据透视变换后的像素坐标和原像素坐标，采用步骤2中的方法计算透视变换矩阵，利用透视变换矩阵对有效帧图像进行透视变换；
步骤5，利用训练好的深度学习模型检测透视变换后的有效帧图像中的标志牌区域，并对透视变换后的有效帧图像进行二值化处理，拟合标志牌区域内的椭圆轮廓，得到椭圆长短轴长度、圆心坐标和椭圆旋转角度作为拟合结果；
步骤6，从相邻两个标记牌中任选一个或多个对应圆心的拟合结果计算相对距离，得到位移值，将每一个有效帧图像中的相对位移值取均值作为初始检测结果；
步骤7，对所有有效帧图像的初始检测结果排序和平滑滤波，将滤波后的均值作为最终结果输出；
步骤8，重复步骤4至步骤7，执行下一时刻的相对位移检测，实现轨枕相对位移的实时测量。
2.根据权利要求1所述的基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法，其特征在于，所述的深度学习模型采用在COCO person keypoint数据集上预训练过的Keypoint R-CNN模型。
3.根据权利要求1所述的基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法，其特征在于，在步骤2和步骤3之间还包括将训练样本集中的样本图像进行数据增广的步骤，包括随机水平翻转、随机裁切、以及随机改变色调、对比度、明度。
4.根据权利要求1所述的基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法，其特征在于，所述的步骤2包括：
2.1)采集目标检测范围内的不同高度、不同角度、不同环境和不同成像方式下的样本图像，标记样本图像中的每一个标记牌的四个角点的原像素坐标(x(i)，y(i))，i＝1，2，3，4；
2.2)将四个角点的原像素坐标转换为检测框顶点的原像素坐标，转换公式为：
Figure FDA0002956764220000021
式中，Plefttop为检测框左上顶点的原像素坐标，Prightdow为检测框右下顶点的原像素坐标，x(i)和y(i)分别为第i个角点的原像素坐标；
2.3)利用四个角点的原像素坐标和实际坐标计算透视变换矩阵：
记实际标志牌的四个角点和上下两个圆心的实际坐标为(X(i)，Y(i))，i＝1，2，3，4，5，6；令H为标志牌的长边长，W为标志牌的短边长，h为圆心到邻近短边的距离，则：
Figure FDA0002956764220000022
构建矩阵：
Figure FDA0002956764220000031
B＝[X(1) Y(1) X(2) Y(2) X(3) Y(3) X(4) Y(4)]
fa＝A-1*B
式中，A和B分别为计算所需的矩阵，fa为1*8的矩阵，其元素即为透视变换矩阵的元素；
Figure FDA0002956764220000032
式中，transform即为所求的透视变换矩阵，fa(i)表示fa矩阵中的第i个元素值；
2.4)根据透视变换矩阵，计算样本图片中圆心对应的原像素坐标：
Figure FDA0002956764220000033
式中，a(i)，b(i)，w(i)为求解过程得到的中间值。
5.根据权利要求1所述的基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法，其特征在于，步骤4中的无效帧图像满足的条件为：
利用训练好的深度学习模型检测到的标志牌区域的数量少于实际标记牌数量，或者检测到的圆心数量少于2倍的实际标记牌数量；
或者至少有一个检测框中包含的有效圆心数量不为2；所述的有效圆心判断方式为：若圆心坐标位于标志牌检测框左上角顶点和右下角顶点的坐标之间，则属于有效圆心，否则为无效圆心；
或者至少有一个检测框中的两个有效圆心的像素距离低于阈值；
或者至少有一个圆心坐标置信度低于阈值。
6.根据权利要求1所述的基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法，其特征在于，步骤4中进行透视变换时，考虑到透视变换后视频画面的左上角裁切程度以及视频画面的变形程度，设定变换参数，将透视变换后的四个圆心的像素坐标记为：
Figure FDA0002956764220000041
式中，padding_x、padding_y是代表裁切程度的变换参数，w、h是代表变形程度的变换参数，x′(i)，y′(i)是第i个圆心经透视变换后的像素坐标。
7.根据权利要求6所述的基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法，其特征在于，利用步骤4计算得到的透视变换矩阵对有效帧图像进行透视变换后，仅保留处于以下像素坐标范围内的像素点：
Figure FDA0002956764220000042
式中，x′和y′为透视变换后的有效帧图像中任一像素点的像素坐标。
8.根据权利要求1所述的基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法，其特征在于，步骤5中利用训练好的深度学习模型检测透视变换后的有效帧图像中的标志牌区域之后，删除标志牌区域数量少于实际标记牌数量的有效帧图像。
9.根据权利要求1所述的基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法，其特征在于，步骤5中所述的二值化处理过程为：
采用RGB色彩空间，对于R、G、B通道分别设定筛选区间，对于图像上的每一个像元逐一进行判断，将3个分量均在区间范围内的像元置为1，否则置为0，得到二值化图像；
或者采用HSV色彩空间，从RGB颜色通道转换为HSV颜色通道，对于H、S、V通道分别设定筛选区间，对于图像上的每一个像元逐一进行判断，将3个分量均在区间范围内的像元置为1，否则置为0，得到二值化图像。
10.根据权利要求1所述的基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法，其特征在于，步骤7中所述的平滑滤波具体为：对排序后的初始检测结果，去掉前p％的最大值和最后p％的最小值后求取平均值，该平均值作为平滑滤波的结果，所述的p为阈值。
CN202110226886.1A 2021-03-01 2021-03-01 一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法 Active CN112949482B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110226886.1A CN112949482B (zh) 2021-03-01 2021-03-01 一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110226886.1A CN112949482B (zh) 2021-03-01 2021-03-01 一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法

Publications (2)

Publication Number Publication Date
CN112949482A CN112949482A (zh) 2021-06-11
CN112949482B true CN112949482B (zh) 2022-04-29

Family

ID=76246988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110226886.1A Active CN112949482B (zh) 2021-03-01 2021-03-01 一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法

Country Status (1)

Country Link
CN (1) CN112949482B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114299283B (zh) * 2022-03-07 2022-05-20 科大天工智能装备技术（天津）有限公司 一种基于图像的位移测量方法及系统
CN114638835B (zh) * 2022-05-23 2022-08-16 武汉大学 一种基于深度相机的轨枕异物检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308858A (zh) * 2020-12-29 2021-02-02 南京派光智慧感知信息技术有限公司 一种铁路轨道、轨道板状态多维智能监测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10301783B2 (en) * 2012-01-17 2019-05-28 LimnTech LLC Roadway maintenance striping control system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308858A (zh) * 2020-12-29 2021-02-02 南京派光智慧感知信息技术有限公司 一种铁路轨道、轨道板状态多维智能监测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Deep Learning Based Virtual Point Tracking for Real-Time Target-less Dynamic Displacement Measurement in Railway Applications;Dachuan Shi et al.;《arXiv》;20210117;第1-26页 *
电气化铁路接触网定位器坡度动态视觉测量方法研究;占栋等;《电子测量与仪器学报》;20180815(第08期);全文 *

Also Published As

Publication number Publication date
CN112949482A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN109443480B (zh) 基于图像处理的水位标尺定位及水位测量方法
US20220148213A1 (en) Method for fully automatically detecting chessboard corner points
CN112949479B (zh) 一种基于深度学习和透视变换的非接触式钢轨轨枕相对位移实时测量方法
CN108759973B (zh) 一种水位测量方法
CN105260699B (zh) 一种车道线数据的处理方法及装置
US20200364849A1 (en) Method and device for automatically drawing structural cracks and precisely measuring widths thereof
US10290219B2 (en) Machine vision-based method and system for aircraft docking guidance and aircraft type identification
CN112949482B (zh) 一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法
CN101807352B (zh) 一种模糊模式识别的车位检测方法
CN113011283B (zh) 一种基于视频的非接触式钢轨轨枕相对位移实时测量方法
CN105488454A (zh) 基于单目视觉的前方车辆检测与测距
CN107220976B (zh) 一种航拍公路图像的公路定位方法
CN104700395A (zh) 一种构造物外观裂缝检测方法及系统
CN107180416A (zh) 火车车轮踏面图像畸形校正方法及系统
CN107705294B (zh) 一种十字激光的图像式路基表面沉降监测方法和监测系统
CN103530608A (zh) 车辆类型判断方法和装置
CN106918312B (zh) 基于机械视觉的路面标线剥落面积检测装置及方法
CN106815583A (zh) 一种基于mser和swt相结合的夜间车辆车牌定位方法
CN109146859A (zh) 一种基于机器视觉的路面裂缝检测系统
CN111079541B (zh) 一种基于单目视觉的道路停止线检测方法
CN103699876A (zh) 一种基于线阵ccd图像识别车号的方法及装置
CN112949483B (zh) 一种基于Faster R-CNN的非接触式铁轨伸缩位移实时测量方法
CN113343782B (zh) 一种基于无人机遥感的高速公路标志标牌检测方法
CN105447431A (zh) 一种基于机器视觉的入坞飞机跟踪定位方法及系统
CN113658244A (zh) 桥梁区域通航船舶三维几何尺寸辨识方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant