CN114299160A - 基于视觉与激光雷达融合的受电弓运行状态动态检测方法 - Google Patents
基于视觉与激光雷达融合的受电弓运行状态动态检测方法 Download PDFInfo
- Publication number
- CN114299160A CN114299160A CN202111629963.4A CN202111629963A CN114299160A CN 114299160 A CN114299160 A CN 114299160A CN 202111629963 A CN202111629963 A CN 202111629963A CN 114299160 A CN114299160 A CN 114299160A
- Authority
- CN
- China
- Prior art keywords
- pantograph
- laser radar
- visible light
- camera
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了基于视觉与激光雷达融合的受电弓运行状态动态检测方法，包括以下步骤：步骤11：构建激光雷达与相机融合一体式传感器，同步获取受电弓二维图像数据与三维点云数据；步骤12：激光雷达与相机外参数标定；步骤13：三维点云与二维图像数据融合处理；步骤14：受电弓数据提取与分割；步骤15：受电弓状态参数计算，得到受电弓在车体坐标系下的位姿参数，实现对列车弓网接触状况进行动态检测。本发明通过融合后受电弓数据准确分割出受电弓与接触网，实现对高速运行状态下弓网运行状况参数进行测量，特别适合于高速列车全天候、全地域的弓网运行状态检测，使其在复杂恶劣环境下达到高精度测量的实用要求。
Description
技术领域
本发明属于轨道交通安全检测技术领域，具体涉及基于视觉与激光雷达融合的受电弓运行状态动态检测方法。
背景技术
列车高速运行过程中，良好的弓网关系是确保列车安全、高效运行的重要因素之一。其中，受电弓姿态的准确检测与控制直接决定了列车电力传输的稳定性，因此实现其在列车高速运行过程中位姿参数在线测量对确保列车安全运行具有重要意义。现有检测手段中，例如雷达、TOF等非接触检测手段在实时性与抗干扰方面无法满足受电弓姿态测量需求；视觉传感器以其非接触、高精度、高实时特点被广泛应用在动态目标位姿测量中，但由于列车全天候、全天时高速运行，户外杂光、复杂背景、恶劣天气等因素严重制约其检测准确性。
基于图像的受电弓位姿测量中是以准确检测目标边缘等特征信息为前提，然而户外复杂多变的外界环境以及受电弓自身具有的复杂拓扑三维外形，使得准确提取受电弓边缘信息极其困难。同时，弓网间超高电压无法采取接触式手段进行检测。现有单传感器数据的受电弓提取方法已无法满足户外复杂环境下受电弓特征信息的准确提取。因此，本发明提出一种基于视觉与激光雷达融合的受电弓运行状态动态检测方法，通过融合受电弓三维点云与二维图像，分割后获取受电弓位姿参数，对评价高速列车弓网运行状况，实现智能运维、确保列车运营安全具有重要意义。
发明内容
为解决现有技术中存在的技术问题，本发明的目的在于提供基于视觉与激光雷达融合的受电弓运行状态动态检测方法，实现在高速运行过程中、复杂环境条件下对列车受电弓网接触状况进行动态检测。
为实现上述目的，达到上述技术效果，本发明采用的技术方案为：
基于视觉与激光雷达融合的受电弓运行状态动态检测方法，包括以下步骤：
步骤11：构建激光雷达与相机融合一体式传感器，同步获取受电弓二维图像数据与三维点云数据；
步骤12：激光雷达与相机外参数标定；
步骤13：三维点云与二维图像数据融合处理；
步骤14：受电弓数据提取与分割；
步骤15：受电弓状态参数计算，得到受电弓在车体坐标系下的位姿参数，实现对列车弓网接触状况进行动态检测。
进一步的，步骤11中，所述激光雷达与相机融合一体式传感器设置于列车车顶部位，激光雷达与相机融合一体式传感器包括可见光相机与激光雷达，二者视场覆盖受电弓运动范围，通过触发可见光相机与激光雷达同步采集受电弓数据。
进一步的，步骤12中，激光雷达与相机外参数标定具体包括：
在所述激光雷达与相机融合一体式传感器的激光雷达与可见光相机之间摆放棋盘格靶标，以棋盘格平面为世界坐标系的平面建立世界坐标系，分别确定激光雷达与可见光相机自身坐标系相对于世界坐标系的位置关系，外参标定求解由激光雷达自身坐标系转换到可见光相机自身坐标系的旋转矩阵RLC和平移向量TLC。
进一步的，所述棋盘格单位法向量nL经旋转矩阵RLC转换到可见光相机自身坐标系中与nC是等价的，表示为nC＝RLC·nL；平移向量在棋盘格法向量方向的投影反映的几何意义是可见光相机自身坐标系原点和激光雷达自身坐标系原点到棋盘格平面距离的差值，表示为
dc表示可见光自身坐标系原点到棋盘格平面的距离，dl表示激光雷达坐标系原点到棋盘格平面的距离；在棋盘格数据中建立旋转约束方程和平移约束方程，采集3组以上数据即可求解系统外参数。
进一步的，步骤13中，三维点云与二维图像数据融合处理具体包括：
构建可见光图像和稀疏深度图像卷积运算和信息融合的深度补全网络；
将三维点云与二维图像数据进行处理，图像采用直方图均衡化亮度，三维点采用点云滤波去除噪点和平滑点云，分别得到对应的可见光和稀疏深度图，可见光图像与稀疏深度图二者之间通过标定得到二者外参数，二者数据源统一在相同坐标系下，为同源一对一数据，随后将可见光和稀疏深度图输入深度补全网络，根据稀疏深度图和可见光图像的数据密度不同、特征提取卷积权重也不同的策略，编码阶段深度补全网络将可见光图像特征提取过程和稀疏深度图特征提取过程分开执行，避免二者相互影响，解码阶段深度补全网络采用金字塔结构逐层融合颜色信息和稀疏深度信息。
进一步的，所述深度补全网络包括用于对可见光图像进行特征提取的五组残差编码层和用于对稀疏深度图进行特征提取的五组残差编码层，每一组残差编码层均包括两个残差编码器，可见光图像经过五组残差编码层提取图像特征图，通过逐层的残差编码器，可见光图像特征图分辨率变为原来的十六分之一，稀疏深度图经过五组残差编码层提取特征，经过编码器后最终输出特征图大小为原来的十六分之一，待提取完可见光图像和稀疏深度图像特征后，逐层信息融合和上映射恢复图像分辨率，得到受电弓融合后二三维数据。
进一步的，步骤15中，受电弓状态参数计算具体包括：
基于分割得到受电弓三维点云及二维图像信息，通过提取图像特征点及其对应的受电弓三维点云信息，采用PNP方法计算得到受电弓的状态参数。
本发明还公开了基于视觉与激光雷达融合的受电弓运行状态动态检测装置，包括激光雷达与相机融合一体式传感器、同步触发器和控制器，所述激光雷达与相机融合一体式传感器设置于列车车顶部位，激光雷达与相机融合一体式传感器包括可见光相机与激光雷达且二者视场覆盖受电弓运动范围，可见光相机与激光雷达均与同步触发器连接并受同步触发器的控制，可见光相机与激光雷达与控制器连接，通过同步触发器触发可见光相机与激光雷达同步采集受电弓数据并将其传输至控制器进行处理，控制器接收受电弓数据并执行指令以实现权利要求1-8任一所述的基于视觉与激光雷达融合的受电弓运行状态动态检测方法。
本发明还公开了一种存储介质，当所述存储介质中的指令由如上所述基于视觉与激光雷达融合的受电弓运行状态动态检测装置的处理器执行时，能够执行如上所述的基于视觉与激光雷达融合的受电弓运行状态动态检测方法。
与现有技术相比，本发明的有益效果为：
1)本发明提出一种基于结合二三维特征信息的新型平面靶标，同步实现相机内参数以及激光雷达与可见光相机外参数的标定，实现弓网二维图像与三维点云数据的同步获取以及二三维数据的准确对齐；
2)本发明提出一种基于编解码结构的深度卷积神经网络模型，通过深度学习方法融合稀疏深度图和可见光稠密图像，获得稠密弓网二三维数据，可有效抵抗外界环境干扰，提高了系统测量可靠性与精度；
3)本发明通过融合后受电弓数据准确分割出受电弓与接触网，实现对高速运行状态下弓网运行状况参数进行测量，特别适合于高速列车全天候、全地域的弓网运行状态检测，使其在复杂恶劣环境下达到高精度测量的实用要求。
附图说明
图1为本发明的流程图；
图2为本发明的结构示意图；
图3为本发明的激光雷达与可见光相机外参标定示意图；
图4为本发明的深度补全网络结构；
图5为本发明的受电弓融合后二三维数据。
具体实施方式
下面对本发明进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
如图1-5所示，基于视觉与激光雷达融合的受电弓运行状态动态检测方法，首先构建激光雷达与视觉融合一体式传感器，进而实现对弓网二维图像与三维点云数据的同步获取；通过激光雷达与相机外参数标定实现二维图像与三维点云的准确对齐；通过编解码深度神经网络实现空间稠密深度数据获取；通过分割出受电弓数据进而完成受电弓状态参数的计算，实现对高速列车受电弓运行状况的在线动态检测。
本发明提出的基于视觉与激光雷达融合的受电弓运行状态动态检测方法，具体包括以下步骤：
步骤11：构建激光雷达与视觉融合一体式传感器
为同步获取受电弓二维图像数据与三维点云数据，在列车车顶部位布置激光雷达与相机融合一体式传感器，激光雷达与相机融合一体式传感器包括可见光相机1与激光雷达2，二者视场覆盖受电弓3运动范围，通过触发可见光相机1与激光雷达2同步采集受电弓3数据，如图2所示。
步骤12：激光雷达与相机外参数标定
通过在可见光相机1与激光雷达2之间摆放棋盘格靶标，建立可见光相机1与激光雷达2之间的联系。图3为激光雷达2与可见光相机1外参标定示意图，以棋盘格平面为世界坐标系的平面建立世界坐标系。外参标定求解由激光雷达自身坐标系转换到可见光相机自身坐标系的旋转矩阵RLC和平移向量TLC。只需确定激光雷达2与可见光相机1自身坐标系相对于世界坐标系的位置关系即可求解二者之间的外参；
棋盘格单位法向量nL经旋转矩阵RLC转换到可见光相机自身坐标系中与nC是等价的，表示为nC＝RLC·nL；平移向量在棋盘格法向量方向的投影反映的几何意义是可见光相机自身坐标系原点和激光雷达自身坐标系原点到棋盘格平面距离的差值，表示为
dc表示可见光自身坐标系原点到棋盘格平面的距离，dl表示激光雷达坐标系原点到棋盘格平面的距离；棋盘格数据中建立旋转约束方程和平移约束方程，采集3组以上数据即可求解系统外参数。
步骤13：三维点云与二维图像数据融合处理
构建可见光图像和稀疏深度图像卷积运算和信息融合的深度补全网络。根据稀疏深度图和可见光图像的数据密度不同、特征提取卷积权重也不同的策略，编码阶段深度补全网络将可见光图像特征提取过程和稀疏深度图特征提取过程分开执行，避免二者相互影响。解码阶段深度补全网络采用金字塔结构逐层融合颜色信息和稀疏深度信息。图4为深度补全网络结构。
网络输入为可见光和稀疏深度图，输出为稠密深度图。可见光图像经过5组残差编码层提取图像特征图，每一组残差编码层由两个残差编码器构成，通过逐层的残差编码器，可见光图像特征图分辨率变为原来的十六分之一；稀疏深度图经过5组残差编码层提取特征，经过5组编码器后最终输出特征图大小为原来的十六分之一；提取完可见光图像和稀疏深度图像特征后，逐层信息融合和上映射恢复图像分辨率，图5为受电弓融合后二三维数据。本发明采用均方误差计算预测的深度图和实际深度真值图之间的误差。
步骤14：受电弓数据提取与分割
由于受电弓3为镂空型复杂凹多面体，受电弓3背景为天空等无穷远深度空间，因此通过稠密重建得到的受电弓二三维数据，依据受电弓三维点云的深度信息小于受电弓3所在视场内深度阈值，即可实现受电弓3与接触网4数据提取与准确分割。而常规基于二维图像方法由于易受复杂背景干扰导致受电弓边缘信息提取精度差，干扰严重，无法实现受电弓信息的准确提取。
步骤15：受电弓状态参数计算
基于分割得到受电弓三维点云及二维图像信息，通过提取图像特征点及其对应的受电弓三维点云信息，采用PNP方法计算得到受电弓位姿等状态参数。
令p为点在像素坐标系下的坐标，Pc为点在相机坐标系下的坐标，Pt为点在世界坐标系下的坐标，β为点的深度，K为相机的内参矩阵，R,t为从世界坐标系到相机坐标系的位姿转换。基于提取得到已知3D-2D对应关系，所以相应问题被称作PnP问题，采用EPNP方法求解得出受电弓在相机坐标系下的位姿参数，通过坐标系转换可以得到受电弓在车体坐标系下的位姿参数。
通过计算得出受电弓相对相机坐标系的位姿参数，能够及时对受电弓运行状况进行预测预警，对保障列车安全运行具有重要意义。
本发明未具体描述的部分或结构采用现有技术或现有产品即可，在此不做赘述。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (9)
1.基于视觉与激光雷达融合的受电弓运行状态动态检测方法，其特征在于，包括以下步骤：
步骤11：构建激光雷达与相机融合一体式传感器，同步获取受电弓二维图像数据与三维点云数据；
步骤12：激光雷达与相机外参数标定；
步骤13：三维点云与二维图像数据融合处理；
步骤14：受电弓数据提取与分割；
步骤15：受电弓状态参数计算，得到受电弓在车体坐标系下的位姿参数，实现对列车弓网接触状况进行动态检测。
2.根据权利要求1所述的基于视觉与激光雷达融合的受电弓运行状态动态检测方法，其特征在于，步骤11中，所述激光雷达与相机融合一体式传感器设置于列车车顶部位，激光雷达与相机融合一体式传感器包括可见光相机与激光雷达，二者视场覆盖受电弓运动范围，通过触发可见光相机与激光雷达同步采集受电弓数据。
3.根据权利要求1所述的基于视觉与激光雷达融合的受电弓运行状态动态检测方法，其特征在于，步骤12中，激光雷达与相机外参数标定具体包括：
在所述激光雷达与相机融合一体式传感器的激光雷达与可见光相机之间摆放棋盘格靶标，以棋盘格平面为世界坐标系的平面建立世界坐标系，分别确定激光雷达与可见光相机自身坐标系相对于世界坐标系的位置关系，外参标定求解由激光雷达自身坐标系转换到可见光相机自身坐标系的旋转矩阵RLC和平移向量TLC。
4.根据权利要求3所述的基于视觉与激光雷达融合的受电弓运行状态动态检测方法，其特征在于，所述棋盘格单位法向量nL经旋转矩阵RLC转换到可见光相机自身坐标系中与nC是等价的，表示为nC＝RLC·nL；平移向量在棋盘格法向量方向的投影反映的几何意义是可见光相机自身坐标系原点和激光雷达自身坐标系原点到棋盘格平面距离的差值，表示为
dc表示可见光自身坐标系原点到棋盘格平面的距离，dl表示激光雷达坐标系原点到棋盘格平面的距离；在棋盘格数据中建立旋转约束方程和平移约束方程，采集3组以上数据即可求解系统外参数。
5.根据权利要求1所述的基于视觉与激光雷达融合的受电弓运行状态动态检测方法，其特征在于，步骤13中，三维点云与二维图像数据融合处理具体包括：
构建可见光图像和稀疏深度图像卷积运算和信息融合的深度补全网络；
将三维点云与二维图像数据进行处理，分别得到对应的可见光和稀疏深度图，随后将可见光和稀疏深度图输入深度补全网络，根据稀疏深度图和可见光图像的数据密度不同、特征提取卷积权重也不同的策略，编码阶段深度补全网络将可见光图像特征提取过程和稀疏深度图特征提取过程分开执行，避免二者相互影响，解码阶段深度补全网络采用金字塔结构逐层融合颜色信息和稀疏深度信息。
6.根据权利要求5所述的基于视觉与激光雷达融合的受电弓运行状态动态检测方法，其特征在于，所述深度补全网络包括用于对可见光图像进行特征提取的五组残差编码层和用于对稀疏深度图进行特征提取的五组残差编码层，每一组残差编码层均包括两个残差编码器，可见光图像经过五组残差编码层提取图像特征图，通过逐层的残差编码器，可见光图像特征图分辨率变为原来的十六分之一，稀疏深度图经过五组残差编码层提取特征，经过编码器后最终输出特征图大小为原来的十六分之一，待提取完可见光图像和稀疏深度图像特征后，逐层信息融合和上映射恢复图像分辨率，得到受电弓融合后二三维数据。
7.根据权利要求1所述的基于视觉与激光雷达融合的受电弓运行状态动态检测方法，其特征在于，步骤15中，受电弓状态参数计算具体包括：
基于分割得到受电弓三维点云及二维图像信息，通过提取图像特征点及其对应的受电弓三维点云信息，采用PNP方法计算得到受电弓的状态参数。
8.基于视觉与激光雷达融合的受电弓运行状态动态检测装置，其特征在于，包括激光雷达与相机融合一体式传感器、同步触发器和控制器，所述激光雷达与相机融合一体式传感器设置于列车车顶部位，激光雷达与相机融合一体式传感器包括可见光相机与激光雷达且二者视场覆盖受电弓运动范围，可见光相机与激光雷达均与同步触发器连接并受同步触发器的控制，可见光相机与激光雷达与控制器连接，通过同步触发器触发可见光相机与激光雷达同步采集受电弓数据并将其传输至控制器进行处理，控制器接收受电弓数据并执行指令以实现权利要求1-8任一所述的基于视觉与激光雷达融合的受电弓运行状态动态检测方法。
9.一种存储介质，其特征在于，当所述存储介质中的指令由权利要求9所述基于视觉与激光雷达融合的受电弓运行状态动态检测装置的处理器执行时，能够执行权利要求1-8任一所述的基于视觉与激光雷达融合的受电弓运行状态动态检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111629963.4A CN114299160A (zh) | 2021-12-28 | 2021-12-28 | 基于视觉与激光雷达融合的受电弓运行状态动态检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111629963.4A CN114299160A (zh) | 2021-12-28 | 2021-12-28 | 基于视觉与激光雷达融合的受电弓运行状态动态检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114299160A true CN114299160A (zh) | 2022-04-08 |
Family
ID=80972229
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111629963.4A Pending CN114299160A (zh) | 2021-12-28 | 2021-12-28 | 基于视觉与激光雷达融合的受电弓运行状态动态检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114299160A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114627112A (zh) * | 2022-05-12 | 2022-06-14 | 宁波博登智能科技有限公司 | 一种半监督三维目标标注系统和方法 |
| CN116184369A (zh) * | 2023-04-26 | 2023-05-30 | 长沙智能驾驶研究院有限公司 | 激光雷达的外参标定方法、装置、设备、介质及产品 |
| CN117329971A (zh) * | 2023-12-01 | 2024-01-02 | 海博泰科技(青岛)有限公司 | 一种基于三维激光雷达的车厢平衡检测方法和系统 |
-
2021
- 2021-12-28 CN CN202111629963.4A patent/CN114299160A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114627112A (zh) * | 2022-05-12 | 2022-06-14 | 宁波博登智能科技有限公司 | 一种半监督三维目标标注系统和方法 |
| CN116184369A (zh) * | 2023-04-26 | 2023-05-30 | 长沙智能驾驶研究院有限公司 | 激光雷达的外参标定方法、装置、设备、介质及产品 |
| CN116184369B (zh) * | 2023-04-26 | 2023-09-12 | 长沙智能驾驶研究院有限公司 | 激光雷达的外参标定方法、装置、设备、介质及产品 |
| CN117329971A (zh) * | 2023-12-01 | 2024-01-02 | 海博泰科技(青岛)有限公司 | 一种基于三维激光雷达的车厢平衡检测方法和系统 |
| CN117329971B (zh) * | 2023-12-01 | 2024-02-27 | 海博泰科技(青岛)有限公司 | 一种基于三维激光雷达的车厢平衡检测方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110244321B (zh) | 一种基于三维激光雷达的道路可通行区域检测方法 | |
| CN114299160A (zh) | 基于视觉与激光雷达融合的受电弓运行状态动态检测方法 | |
| CN109270534A (zh) | 一种智能车激光传感器与相机在线标定方法 | |
| CN111260773B (zh) | 小障碍物的三维重建方法、检测方法及检测系统 | |
| CN111045017A (zh) | 一种激光和视觉融合的巡检机器人变电站地图构建方法 | |
| CN103559711B (zh) | 基于三维视觉系统图像特征和三维信息的运动估计方法 | |
| CN110415342A (zh) | 一种基于多融合传感器的三维点云重建装置与方法 | |
| CN110738121A (zh) | 一种前方车辆检测方法及检测系统 | |
| CN103424112B (zh) | 一种基于激光平面辅助的运动载体视觉导航方法 | |
| CN110070025B (zh) | 基于单目图像的三维目标检测系统及方法 | |
| CN108868268A (zh) | 基于点到面距离和互相关熵配准的无人车位姿估计方法 | |
| CN111260715B (zh) | 深度图的处理方法、小障碍物检测方法及系统 | |
| CN112347987A (zh) | 一种多模数据融合的三维目标检测方法 | |
| CN113327296B (zh) | 基于深度加权的激光雷达与相机在线联合标定方法 | |
| CN110942477B (zh) | 一种利用双目相机和激光雷达深度图融合的方法 | |
| Xu et al. | Object detection based on fusion of sparse point cloud and image information | |
| CN114283394A (zh) | 一种车载传感器融合的交通目标检测系统 | |
| CN113177593A (zh) | 一种水上交通环境中雷达点云与影像数据的融合方法 | |
| CN116030130A (zh) | 一种动态环境下的混合语义slam方法 | |
| CN113378647B (zh) | 基于三维点云的实时轨道障碍物检测方法 | |
| CN114923477A (zh) | 基于视觉与激光slam技术的多维度空地协同建图系统和方法 | |
| CN109785388B (zh) | 一种基于双目摄像头的短距离精确相对定位方法 | |
| CN116524382A (zh) | 一种桥梁转体合拢准确性检验方法系统、设备 | |
| CN114897967B (zh) | 一种面向挖掘装备自主作业的物料形态识别方法 | |
| Zhu et al. | Road curb detection using a novel tensor voting algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |