CN115953662A - 一种基于多模式融合识别的列车运行环境障碍物感知方法 - Google Patents

Abstract

本发明公开了一种基于多模式融合识别的列车运行环境障碍物感知方法，为列车运行环境设置相应的传感器，以采集三维空间和视觉的多模式数据；对采集到的多模式数据进行融合，将所有传感器的输入转换到鸟瞰图表征空间中；基于融合后的多模式数据，采用基于深度神经网络的目标检测算法对轨道限界进行提取，并进行列车运行环境障碍物的实时检测；基于检测结果输出基于鸟瞰图的列车运行环境障碍物感知预警信息。该方法将雷达和图像等多传感器的多模态数据融合，采用基于深度神经网络的目标检测算法进行轨道识别与3D障碍物检测，可提高复杂场景识别和远距离小目标的检测准确率。

Description

一种基于多模式融合识别的列车运行环境障碍物感知方法

技术领域

本发明涉及铁路障碍物识别技术领域，尤其涉及一种基于多模式融合识别的列车运行环境障碍物感知方法。

背景技术

目前，由山体滑坡、塌方、崩石、泥石流等自然灾害，前方车列、人、畜、物等随机障碍物造成的限界入侵行为，严重威胁着列车行车安全。面对运输过程中不可预知的异物侵限，目前主要采取的监测防护手段为：在特殊地段安装防护网，对桥隧关键点架设视觉监控设备或相关监测设备，同时采用巡道工和司机瞭望的人工检查方式共同来完成侵限异物的监控。该传统监控防护系统对工作人员要求高，工作量大效率低，在列车高速长时间的运行状态下，俨然无法完成实时连续的监测任务。城市轨道交通方面，全自动运行的地铁列车控制系统已经成功应用，是今后城市轨道交通的发展方向。无人驾驶技术是全自动运行的标志性技术，达到GoA4的列车可以实现列车全过程无需人工操作，但是无人驾驶列车的安全运行依赖对轨道前方障碍物的自动检测以及精准识别，实现列车前方障碍物的主动智能检测是实现无人驾驶的前提。目前投入运营的接触式障碍物检测系统存在一个问题是：接触式障碍物检测系统必须在检测横梁碰到障碍物才会使列车制动，虽然检测到了障碍物，但也会对列车造成损坏，无法确保列车安全行使。

为进一步保障轨道交通运行安全需要一套非接触式的实时监测系统，对列车前方一定区域内的障碍物(包括前车、人、畜、物等)进行智能、实时监测，在检测到障碍物后配合车载信号系统对列车进行紧急制动，从而降低事故发生率，减少事故造成的损失。机器视觉是人工智能的一个重要领域，利用该技术可以在光照相对充足的情况下，完成轨道区域及区域内障碍物的识别。相比于人眼，在低照度条件下障碍物识别、静物快速识别、远距离高精度识别等方面，机器视觉算法具有明显优势，但摄像头拍摄的二维图像转换到真实的三维空间，容易丢失大量的空间信息，因此引入可进行三维感知的雷达设备，雷达作为强感知设备，可较为准确的构建一个立体空间三维模型，从而增强了安全冗余，对纯粹视觉感知是一种补充,利用两者信息互补，亦可有效捕捉道岔、弯道等复杂场景的目标和远距离小目标，尽管现有技术中存在图像与点云的特征学习和融合方式，但基于鸟瞰图的多种模式融合识别方法却是列车运行环境障碍物感知现有技术缺乏的。

发明内容

本发明的目的是提供一种基于多模式融合识别的列车运行环境障碍物感知方法，该方法将雷达和图像等多传感器的多模态数据融合，采用基于深度神经网络的目标检测算法进行轨道识别与3D障碍物检测，可提高复杂场景识别和远距离小目标的检测准确率。

本发明的目的是通过以下技术方案实现的：

一种基于多模式融合识别的列车运行环境障碍物感知方法，所述方法包括：

步骤1、为列车运行环境设置相应的传感器，以采集三维空间和视觉的多模式数据；

步骤2、对采集到的多模式数据进行融合，将所有传感器的输入转换到鸟瞰图表征空间中；

步骤3、基于融合后的多模式数据，采用基于深度神经网络的目标检测算法对轨道限界进行提取，并进行列车运行环境障碍物的实时检测；

步骤4、基于检测结果输出基于鸟瞰图的列车运行环境障碍物感知预警信息。

由上述本发明提供的技术方案可以看出，上述方法将雷达和图像等多传感器基于鸟瞰图进行多模态数据融合，采用基于深度神经网络的目标检测算法进行轨道识别与3D障碍物检测，可提高复杂场景识别和远距离小目标的检测准确率，实现全天候多种环境下的列车运行环境障碍物感知及预警，列车障碍物智能监测。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的基于多模式融合识别的列车运行环境障碍物感知方法流程示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，这并不构成对本发明的限制。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

如图1所示为本发明实施例提供的基于多模式融合识别的列车运行环境障碍物感知方法流程示意图，所述方法包括：

步骤1、为列车运行环境设置相应的传感器，以采集三维空间和视觉的多模式数据；

在该步骤中，所述多模式数据包括：固态激光雷达和可见光相机采集的多传感器数据；

可见光相机和固态激光雷达分别生成可见光图像表征视觉信息和点云数据表征三维空间信息；

在此基础上，针对强弱光环境、光照剧烈变化的隧道出入口环境、雨雪环境等典型场景，进行多类型轨道及障碍物的多模式数据采集。

步骤2、对采集到的多模式数据进行融合，将所有传感器的输入转换到鸟瞰图表征空间中；

在该步骤中，利用基于轨枕鸟瞰视角的多模态传感器特征统一表征方法，将所有传感器的输入转换到鸟瞰图(Bird Eye View，BEV)表征空间中，以融合各传感器的特点，并保留几何和语义信息，具体来说：

针对点云数据转换模块，通过特征编码器、特征转换器的处理得到点云特征，点云鸟瞰图由激光雷达点云在XY坐标平面离散化后投影得到，最终将基于点云的特征映射到鸟瞰特征中；具体实现中，由于LiDAR到BEV投影将稀疏LiDAR特征沿高度维度(heightdimension)展平，因此不会产生几何失真，具体使用对3维点云数据进行处理得到基于voxel的点云鸟瞰图的方法为：

1)体素划分：将原始3维点云数据作为输入，将空间划分为体素；

2)分组：根据每个点所在的体素位置，对其进行分组；

3)点云编码：利用体素特征编码VFW(Voxel Feature Encoding Layer)提取点云特征：在一个voxel中筛选一定量的点，在点云原始信息基础上，提取一些相对位置信息，组合成新的点云单点特征表达，使用全连接网络提取单点特征，再计算voxel中筛选出来的点云特征的max-pooling，得到上下文特征，与单点特征组合得到新的点云单点的特征表达。

4)BEV特征生成：经过多步的点特征提取后，将最后一次max-pooling得到的特征向量作为一个voxel的特征表达，对应到BEV图中相应坐标下的特征向量，即可将基于点云的特征映射到鸟瞰特征中。

针对像素数据转换模块，采用基于PON的方法实现透视图像到鸟瞰图空间的视图转换，构建最终的鸟瞰图特征；具体来说：

1)利用ResNet-50网络从图象中提取多种分辨率下图像特征；

2)将提取到的图像特征传递给特征金字塔(Feature Pyramid Network，FPN)，对低分辨率特征图进行上采样，来为高分辨率特征提供上下文；

3)采用一组致密变换器层(Dense transformer layers)将基于图像的特征映射到鸟瞰图，该致密变换器层的原理是：首先沿垂直方向压缩基于图像的特征，同时保留水平方向的维度，然后沿水平轴应用一维卷积对得到的特征图进行调整，最后使用已知的相机焦距和水平偏移量重新采样。

4)使用多个变换器，最后沿深度轴将每个变换器的输出连接起来，构建最终的鸟瞰图特征。

最后针对融合模块，为了有效地融合来自可见光相机和固态激光雷达的鸟瞰图特征，将相同空间维度下的两个特征串联起来，以元素方式相加操作进行融合，具体是将对应的特征图相加，然后卷积，特征图共享一个卷积核。该方法可融合二者的语义信息，而不增加计算量。

步骤3、基于融合后的多模式数据，采用基于深度神经网络的目标检测算法对轨道限界进行提取，并进行列车运行环境障碍物的实时检测；

在该步骤中，采用基于深度神经网络的目标检测算法对轨道限界进行提取，并进行列车运行环境障碍物的实时检测，具体过程为：

使用基于全卷积的鸟瞰图编码器处理多模式数据的鸟瞰图特征图，进一步对鸟瞰图特征图进行特征融合处理,其中：

1)将多模式数据的鸟瞰图特征图作为卷积神经网络的输入，学习目标更深层的抽象特征，提取到深层次语义特征图；

2)对提取到的特征图进行处理，融合不同尺度的特征及不同语义层次的特征，使得生成的特征包含多尺度、多语义层次的信息；

最后使用语义分割和3D目标检测的任务头来进行轨道限界分割和列车运行环境障碍物识别；具体实现中，为提高复杂场景识别和远距离小目标的检测准确率，本发明采用多尺度目标检测的方法，具体包括：

1)将多尺度融合特征图输入目标检测头，目标检测头将预测列车运行环境中障碍物的位置信息以及每个障碍物类别的对应概率、置信度；

2)将底层特征输入语义分割头，语义分割头经过上采样过程，将输出特征图恢复到原始输入特征图的大小，以此完成像素级语义预测，通常使用的上采样方法有双线性插值和反卷积方法，输出结果中包含每个输入像素中轨道限界及列车可运行区域的概率。

步骤4、基于检测结果输出基于鸟瞰图的列车运行环境障碍物感知预警信息。

在该步骤中，具体是利用多模式数据对方法模型进行训练，验证模型的效果；

再将训练后的模型用于部署好的检测处理设备中，实地验证列车运行时障碍物实时检测效果，输出基于鸟瞰图的列车运行环境障碍物感知预警信息，具体包括：

1)当感知目标为静态状态时，针对目标属于限界范围内和限界范围外发送不同的预警信息；

2)当感知目标为动态状态时，通过结合目标的运行轨迹并评估其进入限界范围的可能性来确定发送的预警信息；

3)列车运行过程中特殊场景的辅助预警：连续弯轨、出入隧道等盲区识别预警及运行变道、钢轨异常等钢轨变化识别预警。

值得注意的是，本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

综上所述，本发明实施例所述方法具有如下优点：

1)采用将多模态特征转换到统一的鸟瞰图BEV表达的方法，能同时保留激光雷达的几何信息和图像的密集语义特征，可在强光、弱光、逆强光及明暗度变化强烈的场景、雨、雪、雾、大风等天气下进行障碍物识别；

2)采用基于深度神经网络的目标检测算法对轨道限界进行提取及列车运行环境障碍物实时检测，从数据中学习特征，提高检测效率，可解决遮挡问题、远距离小目标识别问题；

3)可实现全天候多种环境下的列车障碍物智能监测，助力轨道交通运行安全。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。本文背景技术部分公开的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

Claims (5)

1.一种基于多模式融合识别的列车运行环境障碍物感知方法，其特征在于，所述方法包括：

步骤1、为列车运行环境设置相应的传感器，以采集三维空间和视觉的多模式数据；

步骤2、对采集到的多模式数据进行融合，将所有传感器的输入转换到鸟瞰图表征空间中；

步骤3、基于融合后的多模式数据，采用基于深度神经网络的目标检测算法对轨道限界进行提取，并进行列车运行环境障碍物的实时检测；

步骤4、基于检测结果输出基于鸟瞰图的列车运行环境障碍物感知预警信息。

2.根据权利要求1所述基于多模式融合识别的列车运行环境障碍物感知方法，其特征在于，在步骤1中，所述多模式数据包括：固态激光雷达和可见光相机采集的多传感器数据；

可见光相机和固态激光雷达分别生成可见光图像表征视觉信息和点云数据表征三维空间信息。

3.根据权利要求1所述基于多模式融合识别的列车运行环境障碍物感知方法，其特征在于，所述步骤2的过程具体为：

利用基于轨枕鸟瞰视角的多模态传感器特征统一表征方法，将所有传感器的输入转换到鸟瞰图表征空间中，以融合各传感器的特点，并保留几何和语义信息，具体来说：

针对点云数据转换模块，通过特征编码器、特征转换器的处理得到点云特征，点云鸟瞰图由激光雷达点云在XY坐标平面离散化后投影得到，最终将基于点云的特征映射到鸟瞰特征中；

针对像素数据转换模块，采用基于PON的方法实现透视图像到鸟瞰图空间的视图转换，构建最终的鸟瞰图特征；

最后针对融合模块，为了有效地融合来自可见光相机和固态激光雷达的鸟瞰图特征，将相同空间维度下的两个特征串联起来，以元素方式相加操作进行融合，具体是将对应的特征图相加，然后卷积，特征图共享一个卷积核。

4.根据权利要求1所述基于多模式融合识别的列车运行环境障碍物感知方法，其特征在于，在步骤3中，采用基于深度神经网络的目标检测算法对轨道限界进行提取，并进行列车运行环境障碍物的实时检测，具体过程为：

使用基于全卷积的鸟瞰图编码器处理多模式数据的鸟瞰图特征图，进一步对鸟瞰图特征图进行特征融合处理；

最后使用语义分割和3D目标检测的任务头来进行轨道限界分割和列车运行环境障碍物识别。

5.根据权利要求1所述基于多模式融合识别的列车运行环境障碍物感知方法，其特征在于，在步骤4中，具体是利用多模式数据对方法模型进行训练，验证模型的效果；

再将训练后的模型用于部署好的检测处理设备中，实地验证列车运行时障碍物实时检测效果，输出基于鸟瞰图的列车运行环境障碍物感知预警信息。

Images