CN114694125B - 一种用于轨道异物识别的数据处理方法 - Google Patents

一种用于轨道异物识别的数据处理方法 Download PDF

Info

Publication number
CN114694125B
CN114694125B CN202210609278.3A CN202210609278A CN114694125B CN 114694125 B CN114694125 B CN 114694125B CN 202210609278 A CN202210609278 A CN 202210609278A CN 114694125 B CN114694125 B CN 114694125B
Authority
CN
China
Prior art keywords
track
train
pixel
position information
safe driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210609278.3A
Other languages
English (en)
Other versions
CN114694125A (zh
Inventor
杨洋
徐永奎
国学理
朱月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lanxin Technology Co ltd
Original Assignee
Hangzhou Lanxin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lanxin Technology Co ltd filed Critical Hangzhou Lanxin Technology Co ltd
Priority to CN202210609278.3A priority Critical patent/CN114694125B/zh
Publication of CN114694125A publication Critical patent/CN114694125A/zh
Application granted granted Critical
Publication of CN114694125B publication Critical patent/CN114694125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于轨道异物识别的数据处理方法，包括：S1、针对列车前方视频流中当前帧的RGB图像，采用预先训练的实例分割模型识别所述RGB图像中轨道区域的像素信息，并根据所述RGB图像中轨道区域的像素信息获得像素坐标系下轨道线的位置信息；S2、基于当前帧的与所述RGB图像对应的深度图像、像素坐标系下轨道线的位置信息，获取深度图像坐标系下轨道线的位置信息；S3、根据深度图像坐标系下轨道线的位置信息，采用安全行驶框处理策略获取当前轨道线中的安全行驶区域，并在安全行驶区域中确定列车轨道的前方是否存在障碍物。本发明的用于轨道异物识别的数据处理方法能够使得列车轨道的前方是否存在障碍物识别的准确性更可靠。

Description

一种用于轨道异物识别的数据处理方法
技术领域
本发明涉及图像识别技术领域，尤其涉及一种用于轨道异物识别的数据处理方法。
背景技术
近年来我国城市轨道交通建设和运营蓬勃发展，为缓解城市客运紧张、促进城市经济发展做出了重要贡献。然而，在城市轨道交通正常运营期间，异物侵入车辆界限并与列车发生冲突、剐蹭、碰撞等类型的事件时有发生。由于异物侵入事件具有突发性、不确定性、危害性大等特点，一旦列车与异物发生冲突，将导致列车运行中断，危及行车安全，同时带来车辆设备损坏、人员伤亡，严重威胁了列车的安全运行。因此，如何在列车运行过程中及时探测异物侵入界限，并在列车到达前进行预警和报警，并及时采取有效应对措施，避免列车与侵入物体发生冲突，是保证轨道交通列车安全运行的前提，也是目前我国轨道交通运营管理部门高度重视和关注的问题。
现有技术中提出了一种快速轨道异物检测及分割方法，提高了系统的运行速度和准确度，但由于不可预知转弯处铁轨的曲线方程，因此无法实现转弯处铁轨的检测，以及，现有的技术只能在列车经过时检测到线路上的异物，无法实现预警功能，同时现有的技术中还存在多路径、环境光干扰等问题导致的相机测距不准问题。
发明内容
（一）要解决的技术问题
鉴于现有技术的上述缺点、不足，本发明提供一种用于轨道异物识别的数据处理方法，其解决了现有的识别系统受到光线等影响，识别可靠性不高且无法实现转弯处铁轨的异物的检测的技术问题。
（二）技术方案
为了达到上述目的，本发明采用的主要技术方案包括：
第一方面，本发明实施例提供一种用于轨道异物识别的数据处理方法，所述方法包括：
S1、针对列车前方视频流中当前帧的RGB图像，采用预先训练的实例分割模型识别所述RGB图像中轨道区域的像素信息，并根据所述RGB图像中轨道区域的像素信息获得像素坐标系下轨道线的位置信息；
S2、基于当前帧的与所述RGB图像对应的深度图像、像素坐标系下轨道线的位置信息，获取深度图像坐标系下轨道线的位置信息；
S3、根据所述深度图像坐标系下轨道线的位置信息，采用安全行驶框处理策略获取当前轨道线中的安全行驶区域，并在安全行驶区域中确定列车轨道的前方是否存在障碍物。
优选地，所述方法在S1之前还包括：
S0、基于COCO数据集格式的训练数据集，对预先建立的用于识别轨道区域像素信息的实例分割模型进行训练，获取训练后的实例分割模型；
所述训练数据集包括：N张不同亮度场景的具有轨道边界标识的RGB图像，且每一RGB图像中的左侧轨道的边界和右侧轨道的边界均是借助于Labelme注释工具预先标注的；
所述S1中根据所述RGB图像中轨道区域的像素信息获得像素坐标系下轨道线的位置信息，具体包括：
针对该RGB图像中识别为轨道区域的像素点，采用中心线处理方式获取由左侧轨道的中点所组成的第一坐标集合和由右侧轨道的中点所组成的第二坐标集合；
针对每一坐标集合，通过多次多项式拟合方式，获得像素坐标系下左侧轨道线的位置信息和右侧轨道线的位置信息。
优选地，所述S1包括：
针对该RGB图像中识别为轨道区域的像素点，采用中心线处理方式获取的第一坐标集合和第二坐标集合中的每一个坐标集合，采用最小二乘法拟合预先设定的多项式p (x)，分别获得左侧轨道线的拟合曲线和右侧轨道的拟合曲线；
其中，
Figure 457733DEST_PATH_IMAGE001
；
a j 为第j个拟合系数；x为第一坐标集合中的点的坐标或第二坐标集合中的点的坐标；n为预先设定值。
优选地，所述S2包括：
S21、针对每一个拟合曲线，获取该拟合曲线中各像素点在深度图像中的深度信息；
S22、基于预先建立的坐标转换关系和各拟合曲线中各像素点的深度信息，获取深度图像坐标系下左侧轨道线的位置信息和右侧轨道线的位置信息；
所述左侧轨道线的位置信息为左侧轨道曲线；
所述右侧轨道线的位置信息为右侧轨道曲线。
优选地，所述S3具体包括：
S31、基于左侧轨道曲线和右侧轨道曲线，在所述深度图像中确定列车的轨道线平面；
该列车的轨道线平面为轨道在深度图像中的左侧轨道曲线和右侧轨道曲线组成的指定范围内的平面；
S32、基于所述列车的轨道线平面，采用安全行驶框处理策略在该深度图像中确定列车的安全行驶框，将该安全行驶框作为当前轨道线中的安全行驶区域；
S33、基于该深度图像中列车的安全行驶框，采用预设的判断策略判断该深度图像中的列车的轨道的前方是否存在障碍物。
优选地，所述S32包括：
将该深度图像中轨道线平面的左侧轨道曲线向左平移第一距离后，向下平移第二距离，得到所述安全行驶框的第一个角的坐标点的运行轨迹线；
所述第一距离为0.15m；所述第二距离为0.2m；
将该深度图像中轨道线平面的左侧轨道曲线向左平移第一距离后，向上平移第三距离，得到所述安全行驶框的第二个角的坐标点的运行轨迹线；
所述第三距离为2.1m；
将该深度图像中轨道线平面的右侧轨道曲线向右平移第一距离后，向下平移第二距离，得到所述安全行驶框的第三个角的坐标点的运行轨迹线；
将该深度图像中轨道线平面的右侧轨道曲线向右平移第一距离后，向上平移第三距离，得到所述安全行驶框的第四个角的坐标点的运行轨迹线。
优选地，所述S33包括：
遍历所述安全行驶框内的所有像素点，获取该安全行驶框内像素点的数量；
判断所述安全行驶框内像素点的数量是否超过预先设定阈值，若超过，则确定列车的轨道前方存在障碍物。
优选地，
其中，预先建立的坐标转换关系为：
Figure 600002DEST_PATH_IMAGE002
；
其中，
Figure 156885DEST_PATH_IMAGE003
为世界坐标点位置；
Figure 765196DEST_PATH_IMAGE004
为RGB相机坐标点位置；
Figure 432938DEST_PATH_IMAGE005
为深度相机坐标点位置；T wd 为深度相机的外参；T wc 为RGB相机的外参。
另一方面，本实施例还提供一种控制装置，包括：处理器和存储器，所述存储器中存储有计算机程序，所述处理器执行所述存储器中的计算机程序，并执行上述任一用于轨道异物识别的数据处理方法的步骤。
另一方面，本实施例还提供一种列车，列车前进方向的头部上设置有用于拍摄列车行驶轨道的摄像装置，所述摄像装置包括：RGB相机和深度相机，还包括上述的控制装置，控制装置连接所述RGB相机和深度相机，获取用于处理的视频流，所述控制装置基于所述视频流的每一帧获取安全行驶区域，并基于安全行驶区域确定列车行驶前方是否存在障碍物。
（三）有益效果
本发明的有益效果是：本发明的一种用于轨道异物识别的数据处理方法，由于针对列车前方视频流中当前帧的RGB图像，采用预先训练的实例分割模型识别所述RGB图像中轨道区域的像素信息，并采用中心线处理方式对所述像素信息进行处理，获得像素坐标系下轨道线的位置信息，基于当前帧的与所述RGB图像对应的深度图像、像素坐标系下轨道线的位置信息，其可以获取深度图像坐标系下轨道线的位置信息，并根据所述深度图像坐标系下轨道线的位置信息，相对于现有技术而言，得到了深度图像坐标系下轨道线的位置信息，而本实施例中的一种用于轨道异物识别的数据处理方法正是基于所述列车的轨道线平面确定了安全行驶框，并根据该深度图像中列车的安全行驶框，采用预设的判断策略判断该深度图像中的列车的轨道的前方是否存在障碍物，因此可以实现沿着轨道线平面进行轨道异物检测，从而实现了转弯处铁轨的异物检测。
另外，由于采用安全行驶框处理策略获取当前轨道线中的安全行驶区域，并在安全行驶区域中确定列车轨道的前方是否存在障碍物，相对于现有技术而言，本发明的一种用于轨道异物识别的数据处理方法由于是在安全行驶区域中确定列车轨道的前方是否存在障碍物，使得识别列车轨道的前方是否存在障碍物的准确性更为可靠。
附图说明
图1为本发明的一种用于轨道异物识别的数据处理方法流程图；
图2为本发明中预先训练的实例分割模型识别RGB图像中轨道区域的像素信息的图片；
图3为本发明实施例中图像标注工具Labelme对RGB图像进行标注的界面；
图4为本发明实施例中采用安全行驶框示意图。
【附图标记说明】
1：深度图像中轨道线平面的左侧轨道曲线；
2：深度图像中轨道线平面的右侧轨道曲线；
3：安全行驶框的第一个角的坐标点的运行轨迹线；
4：安全行驶框的第二个角的坐标点的运行轨迹线；
5：安全行驶框的第三个角的坐标点的运行轨迹线；
6：安全行驶框的第四个角的坐标点的运行轨迹线。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
实施例一
参见图1，本实施例提供一种用于轨道异物识别的数据处理方法，所述方法包括：
S1、针对列车前方视频流中当前帧的RGB图像，参见图2，采用预先训练的实例分割模型识别所述RGB图像中轨道区域的像素信息，并根据所述RGB图像中轨道区域的像素信息获得像素坐标系下轨道线的位置信息。
本实施例中的列车前方视频流中的RGB图像的分辨率可大于等于1280*960。
S2、基于当前帧的与所述RGB图像对应的深度图像、像素坐标系下轨道线的位置信息，获取深度图像坐标系下轨道线的位置信息。
S3、根据所述深度图像坐标系下轨道线的位置信息，采用安全行驶框处理策略获取当前轨道线中的安全行驶区域，并在安全行驶区域中确定列车轨道的前方是否存在障碍物。
在本实施例的实际应用中，所述方法在S1之前还包括：
S0、基于COCO数据集格式的训练数据集，对预先建立的用于识别轨道区域像素信息的实例分割模型进行训练，获取训练后的实例分割模型。
所述训练数据集包括：N张不同亮度场景的具有轨道边界标识的RGB图像，且每一RGB图像中的左侧轨道的边界和右侧轨道的边界均是借助于Labelme注释工具预先标注的。
参见图3，具体的标注方式是，用户通过Labelme注释工具分别对N张不同亮度场景的RGB图像的每一张RGB图像中的左侧轨道的边界的像素点进行点击标注颜色来描绘左侧轨道的轮廓并对左侧轨道的轮廓的所有像素点都进行命名，本实施例中对左侧轨道的轮廓的所有像素点命名为track-l，以及用户对右侧轨道的边界的像素点进行点击标注颜色来描绘右侧轨道的轮廓并对右侧轨道的轮廓的所有像素点都进行命名，本实施例中对右侧轨道的轮廓的所有像素点命名为track-2，然后将被标注后的RGB图像和该RGB图像中被点击标注颜色的像素点的坐标和所对应的名称以json格式存储在json文件中作为Labelme格式数据。
通常，在Labelme注释工具对预先获取的各个包括轨道信息的RGB图像进行标注之后，采用Labelme注释工具内的labelme2COCO.py将所标注得到的Labelme格式数据转换为COCO数据集格式，由此，获得COCO数据集格式的训练数据集。本实施例中训练数据集中RGB图像可为包括各种亮度信息的图像，其便于较好的训练实例分割模型，提高模型的识别精度。在实际应用中，训练数据集内RGB图像数量可大于500张，本实施例中所用的训练数据集可选用1032张，该1032张中可包括同一组不同亮度的图像。
本实施例中，上述训练数据集用于训练的实例分割模型可为YOLACT++模型。
在本实施例的具体实施方式中，S1具体包括：
针对该RGB图像中识别为轨道区域的像素点，采用中心线处理方式获取由左侧轨道的中点所组成的第一坐标集合和由右侧轨道的中点所组成的第二坐标集合。
具体的，该RGB图像中识别为轨道区域的像素点包括该RGB图像中识别为左侧轨道区域的像素点和该RGB图像中识别为右侧轨道区域的像素点。
本实施例中针对该RGB图像中识别为左侧轨道区域的像素点确定左侧轨道两侧边界的像素点，并由左侧轨道两侧边界的像素点确定左侧轨道区域的中点的坐标（该中点的坐标即左侧轨道两侧边界的对应像素点之间的中点的坐标），所有左侧轨道区域的中点坐标组成第一坐标集合。
本实施例中针对该RGB图像中识别为右侧轨道区域的像素点确定右侧轨道两侧边界的像素点，并由右侧轨道两侧边界的像素点确定右侧轨道区域的中点的坐标（该中点的坐标即右侧轨道两侧边界的对应像素点之间的中点的坐标），所有右侧轨道区域的中点坐标组成第二坐标集合。
针对每一个坐标集合，采用最小二乘法拟合预先设定的多项式p(x)，分别获得左侧轨道线的拟合曲线和右侧轨道的拟合曲线，并将左侧轨道线的拟合曲线作为左侧轨道线的位置信息，将右侧轨道的拟合曲线作为右侧轨道线的位置信息。
其中，
Figure 429713DEST_PATH_IMAGE001
。
a j 为第j个拟合系数；x为第一坐标集合中的点的坐标或第二坐标集合中的点的坐标；n为预先设定值。
在本实施例的具体实施方式中，所述S2包括：
S21、针对每一个拟合曲线，获取该拟合曲线中各像素点在深度图像中的深度信息。
S22、基于预先建立的坐标转换关系和各拟合曲线中各像素点的深度信息，获取深度图像坐标系下左侧轨道线的位置信息和右侧轨道线的位置信息。
所述左侧轨道线的位置信息为左侧轨道曲线，本实施例中左侧轨道曲线左侧轨道线的拟合曲线对应。
所述右侧轨道线的位置信息为右侧轨道曲线，本实施例中右侧轨道曲线右侧轨道线的拟合曲线对应。
其中，预先建立的坐标转换关系为：
Figure 891918DEST_PATH_IMAGE002
；
其中，
Figure 990455DEST_PATH_IMAGE003
为世界坐标点位置；
Figure 196309DEST_PATH_IMAGE004
为RGB相机坐标点位置；
Figure 313169DEST_PATH_IMAGE005
为深度相机坐标点位置；T wd 为深度相机的外参；T wc 为RGB相机的外参。
建立的坐标转换关系具体过程如下：
第一步，采用公式（1-1）将深度图像的像素点
Figure 211855DEST_PATH_IMAGE006
还原到深度相机坐标系下，得到深度相机坐标点位置
Figure 532109DEST_PATH_IMAGE005
。
Figure 541654DEST_PATH_IMAGE007
（1-1）；
Z为深度图像的像素点
Figure 450704DEST_PATH_IMAGE006
在深度相机中坐标系中的纵坐标的值。
Figure 379346DEST_PATH_IMAGE008
为深度相机内参。
第二步，采用公式（1-2）将深度相机坐标点位置
Figure 577109DEST_PATH_IMAGE005
转换到世界坐标系下，得到世界坐标点位置
Figure 131DEST_PATH_IMAGE003
。
Figure 966950DEST_PATH_IMAGE009
（1-2）；
其中，T wd 为深度相机的外参。
第三步，采用公式（1-3）将世界坐标点位置
Figure 66493DEST_PATH_IMAGE003
转换到RGB相机坐标系下，得到RGB相机坐标点位置
Figure 751552DEST_PATH_IMAGE004
。
Figure 969476DEST_PATH_IMAGE010
（1-3）；
其中，T wc 为RGB相机的外参。
第四步，采用公式（1-4）将RGB相机坐标点位置
Figure 525222DEST_PATH_IMAGE004
映射到RGB图像平面上，完成了深度图像的像素点到RGB图像的转换，并给RGB图像上的像素点增加深度信息的过程。
Figure 326825DEST_PATH_IMAGE011
（1-4）；
Figure 233601DEST_PATH_IMAGE012
为RGB相机内参。
其中，
Figure 998426DEST_PATH_IMAGE013
表示RGB相机坐标点位置
Figure 674258DEST_PATH_IMAGE004
按深度相机坐标系中z轴归一化，即该点的对应深度相机坐标系X轴的坐标值、Y轴的坐标值、Z轴的坐标值都分别除以深度相机坐标系中的Z轴的坐标值z。
完成以上四步，即获取一个从深度相机像素坐标系到RGB相机坐标系的欧氏变换矩阵，也就是本实施例中建立的坐标转换关系。
本实施例中，S3具体包括：
S31、基于左侧轨道曲线和右侧轨道曲线，在所述深度图像中确定列车的轨道线平面。
该列车的轨道线平面为轨道在深度图像中的左侧轨道曲线和右侧轨道曲线组成的指定范围内的平面。在一个具体实施方式中，该列车的轨道线平面可为轨道在深度图像中的左侧轨道曲线和右侧轨道曲线组成的平面。
S32、基于所述列车的轨道线平面，采用安全行驶框处理策略在该深度图像中确定列车的安全行驶框，将该安全行驶框作为当前轨道线中的安全行驶区域。
S33、基于该深度图像中列车的安全行驶框，采用预设的判断策略判断该深度图像中的列车的轨道的前方是否存在障碍物。
本实施例中的一种用于轨道异物识别的数据处理方法，由于针对列车前方视频流中当前帧的RGB图像，采用预先训练的实例分割模型识别所述RGB图像中轨道区域的像素信息，并采用中心线处理方式对所述像素信息进行处理，获得像素坐标系下轨道线的位置信息，基于当前帧的与所述RGB图像对应的深度图像、像素坐标系下轨道线的位置信息，其可以获取深度图像坐标系下轨道线的位置信息，并根据所述深度图像坐标系下轨道线的位置信息，相对于现有技术而言，得到了深度图像坐标系下轨道线的位置信息，而本实施例中的一种用于轨道异物识别的数据处理方法正是基于所述列车的轨道线平面确定了安全行驶框，并根据该深度图像中列车的安全行驶框，采用预设的判断策略判断该深度图像中的列车的轨道的前方是否存在障碍物，因此可以实现沿着轨道线平面进行轨道异物检测，从而实现了转弯处铁轨的异物检测。
实施例二
为更好的理解本发明实施例的方案，下面对本发明实施例的各步骤进行详细说明。
101、获取用于训练实例分割模型的训练数据集。
本实施例的训练数据集可为COCO数据集格式的数据集，其内部每一图像均为采用Labelme注释工具标注有轨道边界的信息。
本实施例中训练数据集中图像数量大于500张，每一张RGB图像的分辨率可大于等于1280*960。
102、基于所述训练数据集，对预先建立的用于识别轨道区域像素信息的实例分割模型进行训练，获取训练后的实例分割模型。
本实施例中，可使用YOLACT++模型作为实例分割模型，YOLACT++模型具有良好的识别效果，能够对输入的RGB相机采集的RGB图像识别的结果贴合实际的轨道的边界。
对于输入YOLACT++模型中的由RGB相机采集的RGB图像中轨道的远端处，YOLACT++模型的识别效果基本能覆盖50%左右的轨道区域，且左右两侧轨道区域的识别效果存在差异。但是，若对于输入YOLACT++模型中的RGB图像分辨率提高，则对于RGB图像中轨道的远端处的识别效果则可以得到提高。
103、针对当前列车上RGB相机采集的RGB图像（即列车前方视频流中当前帧的RGB图像），用预先训练的实例分割模型识别所述RGB图像中轨道区域的像素信息。
本实施例中的列车前方视频流中的RGB图像的分辨率可大于等于1280*960。
104、针对该RGB图像中识别为轨道区域的像素点，采用中心线处理方式获取由左侧轨道的中点组成的第一坐标集合和由右侧轨道的中点组成的第二坐标集合。
具体的，本实施例中针对该RGB图像中识别为左侧轨道区域的像素点确定左侧轨道两侧边界的像素点，并由左侧轨道两侧边界的像素点确定左侧轨道区域的中点的坐标（该中点的坐标即左侧轨道两侧边界的对应像素点之间的中点的坐标），所有左侧轨道区域的中点坐标组成第一坐标集合，并以同样的方式获取右侧轨道的中点的第二坐标集合。
105、针对每一坐标集合，通过多次多项式拟合方式，分别获得像素坐标系下左侧轨道线的位置信息和右侧轨道线的位置信息。
具体的，针对每一个坐标集合，采用最小二乘法拟合预先设定的多项式p(x)，分别获得左侧轨道线的拟合曲线和右侧轨道的拟合曲线分别作为左侧轨道线的位置信息和右侧轨道线的位置信息。
其中，预先设定的多项式p(x)为：
Figure 381183DEST_PATH_IMAGE001
。
a j 为第j个拟合系数；x为第一坐标集合中的点的坐标或为第二坐标集合中的点的坐标；n为预先设定值。
在实际应用中，预先设定的多项式p(x)是关于x的n次多项式，根据最小二乘法的定义，就是要通过第一坐标集合或第二坐标集合（本实施例中假设第一坐标集合或第二坐标集合包括m个像素点坐标，其中第i个像素点的坐标为
Figure 509676DEST_PATH_IMAGE014
），确定拟合系数使得在各个像素坐标点上的偏差
Figure 78192DEST_PATH_IMAGE015
平方和（即
Figure 874109DEST_PATH_IMAGE016
）达到最小。因此，将第一坐标集合或第二坐标集合中的点的坐标代入预先设定的多项式p(x)就得到了一个具有n+1个拟合系数的m个方程的方程组（2）；
Figure 751936DEST_PATH_IMAGE017
（2）；
其中，方程组（2）可以表示为：
Figure 633304DEST_PATH_IMAGE018
；
其中，
Figure 739931DEST_PATH_IMAGE019
；
该方程组（2）对应的正规方程组构建为关于n+1个拟合系数的线性方程：
Figure 390356DEST_PATH_IMAGE020
。只要它的系数行列式
Figure 439083DEST_PATH_IMAGE021
，就可求得方程组（2）的唯一的一组最优近似解，使得
Figure 807747DEST_PATH_IMAGE022
取得最小值，从而求得最小二乘拟合多项式。由于
Figure 639437DEST_PATH_IMAGE023
互异，故矩阵
Figure 220067DEST_PATH_IMAGE024
的n+1个向量线性无关，从而矩阵
Figure 439695DEST_PATH_IMAGE024
的秩
Figure 92394DEST_PATH_IMAGE025
，这表明
Figure 665457DEST_PATH_IMAGE026
非奇异，故方程组（2）的解存在且唯一。通过求出该方程组（2）对应的正规方程组的解，就可确定预先设定的多项式p(x)的各项拟合系数的具体数值。
106、针对每一个拟合曲线，获取该拟合曲线中各像素点在深度图像中的深度信息。
107、基于预先建立的坐标转换关系和各拟合曲线中各像素点的深度信息，获取深度图像坐标系下左侧轨道线位置信息和右侧轨道线的位置信息。
左侧轨道线的位置信息为左侧轨道曲线，右侧轨道线的位置信息为右侧轨道曲线。本实施例中的左侧轨道曲线与左侧轨道线的拟合曲线是对应的，本实施例中的右侧轨道曲线与右侧轨道线的拟合曲线是对应的。
其中，预先建立的坐标转换关系为：
Figure 165840DEST_PATH_IMAGE002
；
其中，
Figure 431736DEST_PATH_IMAGE003
为世界坐标点位置；为RGB相机坐标点位置；
Figure 634048DEST_PATH_IMAGE005
为深度相机坐标点位置；T wd 为深度相机的外参；T wc 为RGB相机的外参。
108、基于左侧轨道曲线和右侧轨道曲线，在所述深度图像中确定列车的轨道线平面。
该列车的轨道线平面为轨道在深度图像中的左侧轨道曲线和右侧轨道曲线组成的指定范围内的平面。
109、基于所述列车的轨道线平面，采用安全行驶框处理策略在该深度图像中确定列车的安全行驶框，将该安全行驶框作为当前轨道线中的安全行驶区域。
在本实施例的实际应用中，基于所述列车的轨道线平面，采用安全行驶框处理策略在该深度图像中确定列车的安全行驶框，具体方式为：
参见图4，将该深度图像中列车轨道线平面的左侧轨道曲线1向左平移第一距离后，然后向下平移第二距离，得到所述安全行驶框的第一个角的坐标点的运行轨迹线3。
其中，所述第一距离为0.15m，所述第二距离为0.2m。由于在实际中轨道的宽度为0.8m，列车的宽度为1.1m，列车的高度为2.1m。因此，深度图像中轨道线平面的左侧轨道曲线向左平移的第一距离也就是列车左侧超出轨道的距离。
将该深度图像中轨道线平面的左侧轨道曲线1向左平移第一距离后，然后向上平移第三距离（也就是列车的高度），得到所述安全行驶框的第二个角的坐标的运行轨迹线4，参见图4。具体的，所述第三距离为2.1m。
将该深度图像中轨道线平面的右侧轨道曲线2向右平移第一距离后，然后向下平移第二距离，得到所述安全行驶框的第三个角的坐标点的运行轨迹线5，参见图4。
将该深度图像中轨道线平面的右侧轨道曲线2向右平移第一距离，然后向上平移第三距离，得到所述安全行驶框的第四个角的坐标点的运行轨迹线6，参见图4。
本实施例中的安全行驶框就是在该深度图像中由第一个角的坐标点、第二个角的坐标点、第三个角的坐标点、第四个角的坐标点所组成的长方形框。具体的，深度图像中该列车的安全行驶框的四个角的坐标点按照该列车的安全行驶框的四个角的坐标的运行轨迹线进行滑动，直至运动轨迹线结束。
110、基于该深度图像中列车的安全行驶框，采用预设的判断策略判断该深度图像中的列车的轨道的前方是否存在障碍物。
本实施例中，遍历该深度图像中安全行驶框内的所有像素点，获取该安全行驶框内像素点的数量，然后判断所述安全行驶框内像素点的数量是否超过预先设定阈值，若超过，则确定列车的轨道前方存在障碍物。
本实施例中预先设定阈值可为20，也就是说，安全行驶框内像素点的数量超过20则说明列车前方存在障碍物。
本实施例中由于RGB相机像素坐标系中的坐标与深度相机像素坐标系中的坐标进行正确匹配，因此能够解决环境光干扰等问题导致的相机测距不准问题。本实施例中的一种用于轨道异物识别的数据处理方法，由于采用安全行驶框处理策略获取当前轨道线中的安全行驶区域，并在安全行驶区域中确定列车轨道的前方是否存在障碍物，相对于现有技术而言，由于在安全行驶区域中确定列车轨道的前方是否存在障碍物，使得识别列车轨道的前方是否存在障碍物的准确性更为可靠。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。
应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。

Claims (5)

1.一种用于轨道异物识别的数据处理方法，其特征在于，所述方法包括：
S1、针对列车前方视频流中当前帧的RGB图像，采用预先训练的实例分割模型识别所述RGB图像中轨道区域的像素信息，并根据所述RGB图像中轨道区域的像素信息获得像素坐标系下轨道线的位置信息；
S2、基于当前帧的与所述RGB图像对应的深度图像、像素坐标系下轨道线的位置信息，获取深度图像下轨道线的位置信息；
S3、根据所述深度图像下轨道线的位置信息，采用安全行驶框处理策略获取当前轨道线中的安全行驶区域，并在安全行驶区域中确定列车轨道的前方是否存在障碍物；
所述方法在S1之前还包括：
S0、基于COCO数据集格式的训练数据集，对预先建立的用于识别轨道区域像素信息的实例分割模型进行训练，获取训练后的实例分割模型；
所述训练数据集包括：N张不同亮度场景的具有轨道边界标识的RGB图像，且每一RGB图像中的左侧轨道的边界和右侧轨道的边界均是借助于Labelme注释工具预先标注的；
所述S1中根据所述RGB图像中轨道区域的像素信息获得像素坐标系下轨道线的位置信息，具体包括：
针对该RGB图像中识别为轨道区域的像素点，采用中心线处理方式获取由左侧轨道的中点所组成的第一坐标集合和由右侧轨道的中点所组成的第二坐标集合；
针对每一坐标集合，通过多次多项式拟合方式，获得像素坐标系下左侧轨道线的位置信息和右侧轨道线的位置信息；
所述S1包括：
针对该RGB图像中识别为轨道区域的像素点，采用中心线处理方式获取的第一坐标集合和第二坐标集合中的每一个坐标集合，采用最小二乘法拟合预先设定的多项式p(x)，分别获得左侧轨道线的拟合曲线和右侧轨道的拟合曲线；
其中，
Figure 154441DEST_PATH_IMAGE001
；
a j 为第j个拟合系数；x为第一坐标集合中的点的坐标或第二坐标集合中的点的坐标；n为预先设定值；
所述S2包括：
S21、针对每一个拟合曲线，获取该拟合曲线中各像素点在RGB图像中像素位置信息；
S22、基于预先建立的坐标转换关系和各拟合曲线中各像素点在RGB图像中像素位置信息，获取深度图像下左侧轨道线的位置信息和右侧轨道线的位置信息；
所述左侧轨道线的位置信息为左侧轨道曲线；
所述右侧轨道线的位置信息为右侧轨道曲线；
所述S3具体包括：
S31、基于左侧轨道曲线和右侧轨道曲线，在所述深度图像中确定列车的轨道线平面；
该列车的轨道线平面为轨道在深度图像中的左侧轨道曲线和右侧轨道曲线组成的指定范围内的平面；
S32、基于所述列车的轨道线平面，采用安全行驶框处理策略在该深度图像中确定列车的安全行驶框，将该安全行驶框作为当前轨道线中的安全行驶区域；
S33、基于该深度图像中列车的安全行驶框，采用预设的判断策略判断该深度图像中的列车的轨道的前方是否存在障碍物；
所述S32包括：
将该深度图像中轨道线平面的左侧轨道曲线向左平移第一距离后，向下平移第二距离，得到所述安全行驶框的第一个角的坐标点的运行轨迹线；
所述第一距离为0.15m；所述第二距离为0.2m；
将该深度图像中轨道线平面的左侧轨道曲线向左平移第一距离后，向上平移第三距离，得到所述安全行驶框的第二个角的坐标点的运行轨迹线；
所述第三距离为2.1m；
将该深度图像中轨道线平面的右侧轨道曲线向右平移第一距离后，向下平移第二距离，得到所述安全行驶框的第三个角的坐标点的运行轨迹线；
将该深度图像中轨道线平面的右侧轨道曲线向右平移第一距离后，向上平移第三距离，得到所述安全行驶框的第四个角的坐标点的运行轨迹线。
2.根据权利要求1所述的方法，其特征在于，所述S33包括：
遍历所述安全行驶框内的所有像素点，获取该安全行驶框内像素点的数量；
判断所述安全行驶框内像素点的数量是否超过预先设定阈值，若超过，则确定列车的轨道前方存在障碍物。
3.根据权利要求2所述的方法，其特征在于，
其中，预先建立的坐标转换关系为：
Figure 147543DEST_PATH_IMAGE002
；
其中，
Figure 945735DEST_PATH_IMAGE003
为世界坐标点位置；
Figure 816739DEST_PATH_IMAGE004
为RGB相机坐标点位置；
Figure 16776DEST_PATH_IMAGE005
为深度相机坐标点位置；T wd 为深度相机的外参；T wc 为RGB相机的外参。
4.一种控制装置，包括：处理器和存储器，所述存储器中存储有计算机程序，所述处理器执行所述存储器中的计算机程序，并执行如权利要求1-3中任一项所述的用于轨道异物识别的数据处理方法。
5.一种列车，列车前进方向的头部上设置有用于拍摄列车行驶轨道的摄像装置，所述摄像装置包括：RGB相机和深度相机，还包括如权利要求4所述控制装置，控制装置连接所述RGB相机和深度相机，获取用于处理的视频流，所述控制装置基于所述视频流的每一帧获取安全行驶区域，并基于安全行驶区域确定列车行驶前方是否存在障碍物。
CN202210609278.3A 2022-05-31 2022-05-31 一种用于轨道异物识别的数据处理方法 Active CN114694125B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210609278.3A CN114694125B (zh) 2022-05-31 2022-05-31 一种用于轨道异物识别的数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210609278.3A CN114694125B (zh) 2022-05-31 2022-05-31 一种用于轨道异物识别的数据处理方法

Publications (2)

Publication Number Publication Date
CN114694125A CN114694125A (zh) 2022-07-01
CN114694125B true CN114694125B (zh) 2022-08-26

Family

ID=82131238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210609278.3A Active CN114694125B (zh) 2022-05-31 2022-05-31 一种用于轨道异物识别的数据处理方法

Country Status (1)

Country Link
CN (1) CN114694125B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116922448B (zh) * 2023-09-06 2024-01-02 湖南大学无锡智能控制研究院 用于高铁白车身转运机器人的环境感知方法、装置及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019138835A1 (ja) * 2018-01-12 2019-07-18 キヤノン株式会社 情報処理システム、情報処理装置、情報処理方法及びプログラム
CN114355467A (zh) * 2021-12-30 2022-04-15 宁波微科光电股份有限公司 一种建立探测模型和基于多图像的轨道异物探测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6931316B2 (ja) * 2017-11-10 2021-09-01 東日本旅客鉄道株式会社 軌道周辺の環境変化検出方法
CN109784265A (zh) * 2019-01-09 2019-05-21 银河水滴科技（北京）有限公司 一种轨面语义分割方法及装置
CN111626169B (zh) * 2020-05-20 2023-04-18 中铁二院工程集团有限责任公司 一种基于图像的铁路危险落石尺寸判断方法
JP7389729B2 (ja) * 2020-09-10 2023-11-30 株式会社日立製作所 障害物検知装置、障害物検知システム及び障害物検知方法
CN112306064A (zh) * 2020-11-04 2021-02-02 河北省机电一体化中试基地 一种双目视觉识障的rgv控制系统及方法
CN113085896B (zh) * 2021-04-19 2022-10-04 暨南大学 一种现代有轨清洁车辅助自动驾驶系统及方法
CN114140742A (zh) * 2021-11-04 2022-03-04 郑州大学 一种基于光场深度图像的轨道异物入侵检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019138835A1 (ja) * 2018-01-12 2019-07-18 キヤノン株式会社 情報処理システム、情報処理装置、情報処理方法及びプログラム
CN114355467A (zh) * 2021-12-30 2022-04-15 宁波微科光电股份有限公司 一种建立探测模型和基于多图像的轨道异物探测方法

Also Published As

Publication number Publication date
CN114694125A (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
US20210023720A1 (en) Method for detecting grasping position of robot in grasping object
US20200290608A1 (en) Forward collision control method and apparatus, electronic device, program, and medium
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
CN110580723B (zh) 一种利用深度学习和计算机视觉进行精准定位的方法
CN111144207B (zh) 一种基于多模态信息感知的人体检测和跟踪方法
CN108388871B (zh) 一种基于车身回归的车辆检测方法
CN112949633B (zh) 一种基于改进YOLOv3的红外目标检测方法
CN107545263A (zh) 一种物体检测方法及装置
CN111027381A (zh) 利用单目相机识别障碍物的方法、装置、设备及存储介质
CN110197106A (zh) 物件标示系统及方法
CN109828267A (zh) 基于实例分割和深度摄像头的变电站巡检机器人障碍物检测和测距方法
CN110298330B (zh) 一种输电线路巡检机器人单目检测与定位方法
CN115082855A (zh) 基于改进yolox算法的行人遮挡检测方法
CN114694125B (zh) 一种用于轨道异物识别的数据处理方法
CN113657409A (zh) 车辆损失检测方法、装置、电子设备及存储介质
CN107506753B (zh) 一种面向动态视频监控的多车辆跟踪方法
CN113269038B (zh) 一种基于多尺度的行人检测方法
CN114926796A (zh) 一种基于新式混合注意力模块的弯道检测方法
CN113947714A (zh) 一种视频监控和遥感的多模态协同优化方法及系统
CN111353481A (zh) 基于激光点云与视频图像的道路障碍物识别方法
CN114782827B (zh) 一种基于图像的物体抓取点获取方法和装置
CN116310837A (zh) 一种sar舰船目标旋转检测方法及系统
CN111144203A (zh) 一种基于深度学习的行人遮挡检测方法
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN111583341B (zh) 云台像机移位检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant