CN111832411A - 一种基于视觉与激光雷达融合的轨道内障碍物检测方法 - Google Patents

Abstract

本发明公开了一种基于视觉与激光雷达融合的轨道内障碍物检测方法，本发明应用视觉与激光雷达融合进行轨道区域内障碍物检测，通过图像进行轨道区域提取，从而可以获取精准的障碍物检测限界，同时通过激光雷达进行轨道内障碍物检测，可以实现精准的障碍物距离测量，充分融合了视觉与激光雷达的优势。

Description

一种基于视觉与激光雷达融合的轨道内障碍物检测方法

技术领域

本发明属于列车自主环境感知技术领域，尤其涉及一种基于视觉与激光雷达融合的轨道内障碍物检测方法。

背景技术

随着城市规模的迅速增大，城市交通拥堵已越来约严重，而轨道交通具有载客量大、运输效率高等特点，成为缓解城市拥堵的有效解决途径。然而列车运行环境复杂，若线路中存在行人、倒伏树木等障碍物，需要依赖驾驶员辨识和安全防护，但驾驶员存在有注意力不集中或疲劳等不确定因素，增加了系统的安全风险。另一方面，列车无人驾驶系统在列车运行过程中不依赖于驾驶员，是解决上述问题的一个重要手段，其中列车前向轨道内障碍物检测是无人驾驶系统的核心功能之一，然而现有的无人驾驶系统前向轨道内障碍物检测功能较为匮乏，开展列车前向轨道内障碍物检测已迫在眉睫。

现有的列车前向轨道内障碍物检测方法主要依赖于图像或依赖于激光雷达。基于图像的方法一般通过计算机视觉算法，如应用深度学习等进行前向目标检测，但此类方法一般只可实现固定类型的障碍物检测，另外此类方法基于视觉进行障碍物距离测量，测距精度较差，在弯道、坡道等环境下表现尤为突出。基于激光雷达的方法，一般通过激光雷达激光器主动发射无线电波，当探测到物体后无线电波会返回，通过计算电波的飞行时间即可计算出障碍物的距离，然而，基于激光雷达的障碍物检测方法难以确定障碍物是否在轨道内，而对于列车行驶，只有轨道内的障碍物才会影响列车行驶，因此，基于激光雷达的障碍物检测方法容易造成误报。

发明内容

为了解决上述已有技术存在的不足，本发明通过融合视觉与激光列达，充分互补两个传感器的优势，进行前向轨道内障碍物检测，提出基于视觉与激光雷达融合的轨道内障碍物检测方法，本发明的具体技术方案如下：

一种基于视觉与激光雷达融合的轨道内障碍物检测方法，其特征在于，在列车车头安装相机和激光雷达实时感知列车运行前方环境，所述检测方法包括以下步骤：

S1：获取同步数据；

列车运行时实时采集图像与激光雷达数据，从获取的图像和激光雷达数据的时间戳中选取相机和激光雷达时间戳最近的两帧数据作为同步数据；

S2：提取图像中轨道区域；对步骤S1采集的图像，分割出图像中的轨道区域；

S2-1：网络模型训练；先采集列车行驶图像数据，标注轨道区域像素，通过反向传播算法对图像分割网络进行训练，获取网络的参数；

S2-2：应用预测；在网络中加载训练完成的网络参数，对输入的图像进行轨道区域提取；

S3：激光雷达映射；

将激光雷达点映射至图像中，在映射的图像中获取轨道区域内的激光雷达点；

S4：激光雷达轨道面拟合；

对步骤S3获取的轨道区域内的激光雷达点进行网格划分，选取每个网格内激光雷达点高度最小的激光雷达点作为轨道面激光雷达点，应用轨道面激光雷达点采取最小二乘法进行二次曲线拟合，获取轨道面的高度方程；

S5：轨道内障碍物检测；

对步骤S4中的每个网格内的激光雷达点，判断其与步骤S4拟合的轨道面的高度差，网格内的激光雷达点高度值与拟合的轨道面高度值之差大于设定的阈值T1，且网格内激光雷达点的个数大于设置的阈值T2，则此网格内的激光雷达点为障碍物的激光雷达点，轨道区域内存在障碍物。

进一步地，所述步骤S2采用特征级联融合分割网络，分割出图像中的轨道区域，所述特征级联融合分割网络共有24层，其中，

第1，4，7层为级联下采样层，均由步长为2的卷积层和步长为2的池化层组成，用于对特征图进行下采样；

第2-3,5-6，8-9，15-16，19-20，22-23层均为卷积层，用于特征提取；

第10-13层为稀疏卷积层，用于特征提取；

第14，17-18，21层为反卷积层，用于对特征图进行上采样；

第24层为softmax层，用于最终的像素分类。

进一步地，所述步骤S3的具体方法为：

S3-1：将激光雷达与图像之间的内参与外参进行标定，内参包含5个内部矩阵参数，外参包含6个外部参数，即3个旋转参数和3个平移参数，通过标定的相机内参以及激光雷达与相机之间的外参，即能够将激光雷达点映射至图像上；

S3-2：判断激光雷达点是否在步骤S2提取的轨道区域内，记录这些激光雷达点的索引，在步骤S1采集的原始激光雷达点中得到轨道区域内的激光雷达点。

本发明的有益效果在于：

1.本发明提出了应用视觉与激光雷达融合进行轨道区域内障碍物检测，通过图像进行轨道区域提取，从而可以获取精准的障碍物检测限界，同时通过激光雷达进行轨道内障碍物检测，实现精准的障碍物距离测量，充分融合了视觉与激光雷达的优势。

2.本发明设计出级联分割网络进行轨道区域检测，级联分割网络从多尺度进行轨道区域检测，从而实现轨道区域检测的尺度不变性，同时级联分割网络在同一尺度特征图中，应用不同稀疏因子的稀疏卷积进行特征提取，从而可以实现在不改变特征度尺寸的前提下实现更广感受野的特征提取。

3.本发明基于激光雷达向图像映射，从图像中的轨道区域反求激光雷达点中轨道区域内的激光雷达点，从而可实现精准的轨道区域激光雷达点提取。

4.本发明首先通过提取的轨道内激光雷达点拟合出轨道面的高度方程，在此基础上通过计算轨道内的激光雷达高度与拟合的轨道面高度差，从而实现对任意高于轨道面的障碍物检测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：

图1是本发明的轨道区域分割网络架构图；

图2是本发明的级联下采样结构图；

图3(a)是本发明实施例的雷达点映射示意图；

图3(b)是本发明实施例的轨道内雷达点云提取示意图；

图3(c)是本发明实施例的轨道内雷达点云网格划分示意图；

图3(d)是本发明实施例的轨道拟合效果图；

图4(a)是本发明实施例视觉与激光雷达融合轨道内障碍物检测架构图；

图4(b)是本发明实施例的轨道内障碍物点云网格划分示意图；

图4(c)是本发明实施例的点云内障碍物检测示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

实施例1

以地铁列车为例，在地铁列车车头安装相机和激光雷达，能实时感知列车运行前向环境，基于安装的相机和激光雷达，开展前向轨道内障碍物检测。具体方法包括以下内容：

S1：获取相机和激光雷达同步数据；

基于安装的相机和激光雷达，系统实时获取图像和激光雷达点数据，获取数据时记录下相机图像数据和激光雷达点数据的时间戳，系统处理时选取时间戳最近的相机图像数据和激光雷达点数据作为同步数据。

S2：基于图像进行轨道区域分割；

基于获取的同步数据，首先需要对图像进行轨道区域分割。本发明设计出级联分割网络进行轨道区域识别，轨道区域分割网络如图1所示，网络包含有级联下采样层、卷积层、稀疏卷积层、反卷积层以及softmax层。设计的神经网络总共有24层，具体每层的类别以及特征图个数以及特征图大小如表1所示：

表1神经网络每层的类别、特征图个数、特征图大小

本发明的级联下采样如图2所示，对于输入的特征图分别进行均值池化、最大值池化以及进行步长为2的卷积，最后连接三个分支的结果，获取最终的输出特征图。

此外，进行轨道区域分割时，首先需要进行模型训练，训练时需要进行样本标注。样本中对图像中的轨道区域像素进行了标注，本实施例中样本数不少于1000张，基于标注的样本通过方向传播算法进行模型训练，当模型训练收敛后，将模型文件保存起来。实时图像处理时，通过加载训练的模型从而实现轨道区域分割。轨道分割的结果如图3(a)中语义分割图所示，灰色图层即为本方法识别的轨道区域。

S3：将激光雷达点映射至图像中，获取轨道预取内点

将激光雷达点映射至图像上需要知道相机与激光雷达之间的外参和内参，将相机和激光雷达的内参和外参进行标定，内参包含有5个内部矩阵参数，外参包含有6个外部参数，即3个旋转参数和3个平移参数。通过标定的相机内参以及激光雷达与相机之间的外参，即可将激光雷达点映射至图像上。

激光雷达点映射至图像时，在图像中对激光雷达点进行分类，轨道内的激光雷达点用黑色的表示(图3(a)中最下方图像，即图像与激光雷达融合数据图所示)，同时记录下映射至轨道内的激光雷达点索引，基于记录的索引，在原始激光雷达点中将轨道区域内激光雷达点分类出来，图3(b)为原始激光雷达点的俯视图和侧视图，白色点即为轨道区域内的激光雷达点。

S4：激光雷达轨道面拟合；

S4-1：对步骤S3获取的轨道区域内的激光雷达点进行网格划分，网格划分如图3(c)所示。在点俯视图中，黑色点激光雷达点即为轨道内的点，将轨道内点划分为0.4m*0.4m的网格。

S4-2：提取网格内最低的激光雷达点高度作为轨道面的高度。图3(c)所示的轨道内每一个网格，其网格最低高度为：

其中，P_XYZ为网格内高度最低的激光雷达点，min_z()表示取z方向值最小的雷达点，

为网格内第i个激光雷达点，i为网格内激光雷达点的索引号，获取每个网格最低点激光雷达点后，进一步获取每一行的轨道面高度，其过程如下：

其中，h_j即为轨道中第j行网格下轨道面的高度值，h()表示取雷达点的高度值，

表示第j个网格内激光雷达的最低点，j表示某一行的网格索引。

S4-3：应用随机采样一致性算法对轨道面高度方程进行二次曲线拟合，拟合方程为：

z＝a×y²+b×y+c

其中，y即为轨道与列车的距离，z为此距离下轨道面的高度，a，b，c为拟合的轨道面方程参数，拟合的轨道面高度曲线如图3(d)中黑色曲线所示。

S5：轨道内障碍物检测；

如图4(a)-图4(c)所示，对轨道内每个网络内的激光雷达点高度与拟合的轨道面高度进行差值判断，当网格内激光雷达点高度与拟合的轨道面高度差值大于0.4米，且网格内激光雷达点个数大于3个时，认为此网格点为障碍物。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本发明中，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于视觉与激光雷达融合的轨道内障碍物检测方法，其特征在于，在列车车头安装相机和激光雷达实时感知列车运行前方环境，所述检测方法包括以下步骤：

S1：获取同步数据；

列车运行时实时采集图像与激光雷达数据，从获取的图像和激光雷达数据的时间戳中选取相机和激光雷达时间戳最近的两帧数据作为同步数据；

S2：提取图像中轨道区域；对步骤S1采集的图像，分割出图像中的轨道区域；

S2-1：网络模型训练；先采集列车行驶图像数据，标注轨道区域像素，通过反向传播算法对图像分割网络进行训练，获取网络的参数；

S2-2：应用预测；在网络中加载训练完成的网络参数，对输入的图像进行轨道区域提取；

S3：激光雷达映射；

将激光雷达点映射至图像中，在映射的图像中获取轨道区域内的激光雷达点；

S4：激光雷达轨道面拟合；

对步骤S3获取的轨道区域内的激光雷达点进行网格划分，选取每个网格内激光雷达点高度最小的激光雷达点作为轨道面激光雷达点，应用轨道面激光雷达点采取最小二乘法进行二次曲线拟合，获取轨道面的高度方程；

S5：轨道内障碍物检测；

对步骤S4中的每个网格内的激光雷达点，判断其与步骤S4拟合的轨道面的高度差，网格内的激光雷达点高度值与拟合的轨道面高度值之差大于设定的阈值T1，且网格内激光雷达点的个数大于设置的阈值T2，则此网格内的激光雷达点为障碍物的激光雷达点，轨道区域内存在障碍物。

2.根据权利要求1所述的一种基于视觉与激光雷达融合的轨道内障碍物检测方法，其特征在于，所述步骤S2采用特征级联融合分割网络，分割出图像中的轨道区域，所述特征级联融合分割网络共有24层，其中，

第1，4，7层为级联下采样层，均由步长为2的卷积层和步长为2的池化层组成，用于对特征图进行下采样；

第2-3,5-6，8-9，15-16，19-20，22-23层均为卷积层，用于特征提取；

第10-13层为稀疏卷积层，用于特征提取；

第14，17-18，21层为反卷积层，用于对特征图进行上采样；

第24层为softmax层，用于最终的像素分类。

3.根据权利要求1所述的一种基于视觉与激光雷达融合的轨道内障碍物检测方法，其特征在于，所述步骤S3的具体方法为：

S3-1：将激光雷达与图像之间的内参与外参进行标定，内参包含5个内部矩阵参数，外参包含6个外部参数，即3个旋转参数和3个平移参数，通过标定的相机内参以及激光雷达与相机之间的外参，即能够将激光雷达点映射至图像上；

S3-2：判断激光雷达点是否在步骤S2提取的轨道区域内，记录这些激光雷达点的索引，在步骤S1采集的原始激光雷达点中得到轨道区域内的激光雷达点。

Images