CN111832410B - 一种基于视觉与激光雷达融合的前向列车检测方法 - Google Patents

Abstract

本发明公开了一种基于视觉与毫米波雷达融合的前向列车检测方法，通过图像视觉算法实现前向列车检测，并通过激光雷达获取前向列车的精准距离；通过检测算法可以获取图像中可能的列车，从而使系统没有漏识别，在此基础上通过图像分类算法对检测算法提取的列车框进行进一步分类，从而剔除图像中的误识别，实现精准的前向列车识别。

Description

一种基于视觉与激光雷达融合的前向列车检测方法

技术领域

本发明属于轨道列车无人驾驶自主环境感知技术领域，尤其涉及一种基于视觉与激光雷达融合的前向列车检测方法。

背景技术

近年来，轨道交通发展迅速，以列车无人驾驶为代表的智慧轨道交通系统得到了越来越多的企业以及科研机构的青睐。现阶段列车无人驾驶系统主要依赖于信号系统，其中典型代表为CBTC(基于通信的列车自动控制系统)系统。基于信号系统的列车无人驾驶系统可以通过通信的方式获取线路中的列车位置，从而使得运行的列车可实时获取前车距离，从而避免了车辆碰撞。然而基于通信的列车无人驾驶系统不具体自主环境感知能力，无法自主感知前向列车距离，在信号系统故障时，列车无法获取前向列车距离，从而导致车辆运行效率降低，甚至造成列车碰撞。

为实现列车自主环境感知，使得列车运行时能自主获取前向列车距离，近年来相关研究机构也开展了部分研究。现阶段的自主前向列车识别方法主要有依赖于图像识别的方法以及依赖于激光雷达的识别方法。其中基于图像的前向列车识别方法通过在列车上安装相机，通过机器学习算法对前向环境图中进行识别，从而判断前方是否存在列车，此类方法可较好的实现前方列车识别，然而基于图像的方法难以实现前向列车的精准测量，尤其在弯道以及坡道等场景；基于激光雷达的方法主要通过在列车上安装毫米波激光雷达或激光雷达，通过激光雷达主动发射无线电波，并通过飞行时间法获取前向列车的距离，此类方法可获取前向列车的距离，然而此类方法难以实现前向列车的精准识别，从而容易将隧道壁或列车线路中的建筑物误识别为列车，从而造成系统误报。

发明内容

为了解决上述已有技术存在的不足，随着深度学习以及传感器技术的成熟，基于传感器融合进行障碍物检测已获得广泛关注，本发明融合视觉与激光雷达进行前向列车检测，充分互补两个传感器的优势，实现精准可靠的前向列车识别，提出一种基于视觉与激光雷达融合的前向列车检测方法。本发明的具体技术方案如下：

一种基于视觉与激光雷达融合的前向列车检测方法，其特征在于，在列车车头前挡风玻璃处安装相机和激光雷达，所述检测方法包括以下步骤：

S1：获取同步数据；

列车运行时实时采集图像与激光雷达数据，从获取的图像和激光雷达数据的时间戳中选取相机和激光雷达时间戳最近的两帧数据作为同步数据；

S2：在图像中通过深度学习融合算法对图像进行列车识别，确定图像中是否存在列车，图像中存在列车则输出列车检测框并进行步骤S3，图像中不存在列车则进行下一帧检测；

S3：对激光雷达与相机进行内外参标定，将激光雷达数据映射至图像中，获取融合数据；

S4：在融合数据中判断激光雷达点是否映射至图像检测的列车框中，提取列车框内的激光雷达点；

S5：对列车框内激光雷达点自适应聚类，获取前向列车距离；

S5-1：将列车框内的激光雷达点与本车的距离进行排序；

S5-2：设置一个聚类簇，将第一个激光雷达点放置于聚类簇中，依次计算剩下所有激光雷达点与第一个点的距离，若小于设定的阈值，则将该激光雷达点放置于第一个聚类簇中，并更新该聚类簇中激光雷达点的个数，同时将被放置的激光雷达点与本车的距离设置为0，避免后续的重复计算；

S5-3：若激光雷达点与聚类簇中放置的激光雷达点的距离大于设定的阈值，则设置一个新的聚类簇，并重复步骤S5-2直到列车框内所有的激光雷达点均被分配到一个聚类簇中；

S5-4：选取含有激光雷达点个数最多的聚类簇为列车的真实激光雷达点，计算聚类簇中激光雷达点的距离平均值，此平均值即为列车的真实距离。

进一步地，所述步骤S2包括图像目标检测与图像分类，具体地：

S2-1：采集列车运行线路中的视频数据，并从中截取包含有列车的图片，基于截取的图片进行标注；图像检测模型标注需要标注出图像中列车框的像素大小以及像素位置；图像分类模型标注需要在图像中随机抠取矩形框，其中部分框包含列车，部分框不包含列车，基于抠取的矩形框进一步分为包含列车的样本和不包含列车的样本；

S2-2：选取图像目标检测模型为centernet，选取图像分类模型为mobilenetV2；

S2-3：基于步骤S2-1标注的样本对步骤S2-2选取的模型进行训练，生成模型文件；

S2-4：基于步骤S2-3生成的模型进行列车检测及分类，输出列车检测框。

本发明的有益效果在于：

1.本发明提出了一种基于视觉与激光雷达融合的前向列车检测架构，通过图像视觉算法实现前向列车检测，并通过激光雷达获取前向列车的精准距离；

2.本发明提出了一种基于图像检测与图像分类融合的列车检测方法，通过检测方法可以获取图像中可能的列车，从而使系统没有漏识别，在此基础上通过图像分类方法对检测算法提取的列车框进行进一步分类，从而剔除图像中的误识别，实现精准的前向列车识别；

3.本发明提出了一种自适应聚类算法，对获取的激光雷达点进行自适应聚类，可将由于标定误差等因素引起的列车框内的噪声激光雷达点进行滤除，从而实现精准的列车距离测量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：

图1是本发明基于视觉与激光雷达融合的前向列车识别方法流程图；

图2是本发明实施例的基于视觉与激光雷达融合的前向列车识别流程图；

图3是本发明实施例的视觉与激光雷达融合的前向列车检测效果图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

一种基于视觉与激光雷达融合的前向列车检测方法，通过在列车车头安装相机和激光雷达，获取视觉与激光雷达融合数据，实现列车行驶时前向列车的自主高可靠识别。

图1为本发明基于视觉与激光雷达融合的前向列车识别方法流程图，目的是实现前向列车的高精准识别。图2是本实施例基于视觉与激光雷达融合的前向列车识别流程图，选取地铁列车为例，在地铁列车车辆挡风玻璃处安装相机与激光雷达，从而实现前向列车检测。具体方法包括以下内容：

S1：获取同步数据；

在获取视觉与激光雷达点数据时记录系统获取图像与激光雷达点的时间戳，进行前向列车检测时，通过选取图像与激光雷达点时间戳最近的两帧数据作为点数据，用于后续处理。

S2：进行视觉列车检测；采取图像目标检测与图像分类相融合的方法进行列车前向检测：

S2-1：采集列车运行线路中的视频数据，并从中截取包含有列车的图片，基于截取的图片进行标注；图像检测模型标注需要标注出图像中列车框的像素大小以及像素位置；图像分类模型标注需要在图像中随机抠取矩形框，其中部分框包含列车，部分框不包含列车，基于抠取的矩形框进一步分为包含列车的样本和不包含列车的样本；

S2-2：图像目标检测模型选取现阶段的主流图像目标检测模型，为保证系统的实时性，选取的图像目标检测模型为centernet；图像分类模型选取现阶段主流的图像分类模型，为保证系统的实时性，选取的图像分类模型为mobilenetV2；

S2-3：基于步骤S2-1标注的样本对步骤S2-2选取的模型进行训练，生成模型文件；

S2-4：首先对获取的图像进行列车检测，如图2中b部分所示，将列车识别问题转换为列车关键点检测问题，通过检测列车车头关键点从而识别前向列车识别；应用图像目标检测模型进行图像中列车框检测，为实现图像中无漏识别，将图像目标检测模型的输出置信度设置较低，保证图像中无漏识别；同时由于设置的较低置信度，图像中会将出现一些误识别的列车，如图2中c部分所示；

S2-5：为了消除图像中的误识别，对列车识别的结果进行再分类，通过将列车识别结果映射至步骤S1的原始图像中，通过在原始图像中抠取出列车框像素，通过列车分类算法判断列车识别的框是否为列车。如图2中d部分所示，本发明对图像目标检测模型输出的列车框通过图像分类模型进行再校验，消除图像中的列车误识别，输出最终的列车检测结果；由于图像目标检测模型输出的列车框大小不一致，故本发明对图像目标检测模型输出的每一个列车框都进行尺寸缩放操作，对输出的每一个列车检测框都缩放到224*224的尺寸；

S3：激光雷达点映射；

在安装相机和激光雷达时将相机和激光雷达的内参和外参进行标定；内参包含有5个内部矩阵参数，外参包含有6个外部参数，即3个旋转参数和3个平移参数；通过标定的相机内参以及激光雷达与相机之间的外参，即可将同步数据中激光雷达点映射至图像上；

若步骤S2在图像中检测出列车，则需同步的激光雷达点数据映射至图像中；图3为激光雷达点映射至图像中的效果图，图中的黑色矩形框为步骤S2检测到的列车；图中的黑色点为激光雷达映射至图像中的点；

S4：获取列车框内激光雷达点；

对映射至图像中的激光雷达点逐点判断，判断每个点是否在图像检测的列车矩形框内，若在矩形框内则记录激光雷达点的索引，并在图像中将列车框内的激光雷达点标记为白色，如图3所示。

S5：列车点聚类；

获取列车框内激光雷达点后，由于标定误差等因素，部分非列车框内激光雷达点也会被映射至列车框内，因此需要对列车框内的激光雷达点进行筛选，获取列车的真实距离；另一方面，由于列车框内大部分激光雷达点为列车框内的真实激光雷达点，只有小部分点为误差等因素造成的噪声点，本发明提出自适应聚类算法对列车框内的激光雷达点进行聚类，从而获取列车的真实距离，如图3所示：

S5-1：将列车框内的激光雷达点与本车的距离进行排序；

S5-2：设置一个聚类簇，将第一个激光雷达点放置于聚类簇中，依次计算剩下所有激光雷达点与第一个点的距离，若小于设定的阈值(本实施例中为0.3米)，则将该激光雷达点放置于第一个聚类簇中，并更新该聚类簇中激光雷达点的个数，同时将被放置的激光雷达点与本车的距离设置为0，避免后续的重复计算；

S5-3：若激光雷达点与聚类簇中放置的激光雷达点的距离大于设定的阈值(本实施例中为0.3米)，则设置一个新的聚类簇，并重复步骤S5-2直到列车框内所有的激光雷达点均被分配到一个聚类簇中；

S5-4：选取含有激光雷达点个数最多的聚类簇为列车的真实激光雷达点，计算聚类簇中激光雷达点的距离平均值，此平均值即为列车的真实距离。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本发明中，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于视觉与激光雷达融合的前向列车检测方法，其特征在于，在列车车头前挡风玻璃处安装相机和激光雷达，所述检测方法包括以下步骤：

S1：获取同步数据；

列车运行时实时采集图像与激光雷达数据，从获取的图像和激光雷达数据的时间戳中选取相机和激光雷达时间戳最近的两帧数据作为同步数据；

S2：在图像中通过深度学习融合算法对图像进行列车识别，确定图像中是否存在列车，图像中存在列车则输出列车检测框并进行步骤S3，图像中不存在列车则进行下一帧检测；

S3：对激光雷达与相机进行内外参标定，将激光雷达数据映射至图像中，获取融合数据；

S4：在融合数据中判断激光雷达点是否映射至图像检测的列车框中，提取列车框内的激光雷达点；具体步骤如下：对映射至图像中的激光雷达点逐点判断，判断每个点是否在图像检测的列车矩形框内，若在矩形框内则记录激光雷达点的索引，并在图像中将列车框内的激光雷达点标记为白色；

S5：对列车框内激光雷达点自适应聚类，获取前向列车距离；

S5-1：将列车框内的激光雷达点与本车的距离进行排序；

S5-2：设置一个聚类簇，将第一个激光雷达点放置于聚类簇中，依次计算剩下所有激光雷达点与第一个点的距离，若小于设定的阈值，则将该激光雷达点放置于第一个聚类簇中，并更新该聚类簇中激光雷达点的个数，同时将被放置的激光雷达点与本车的距离设置为0，避免后续的重复计算；

S5-3：若激光雷达点与聚类簇中放置的激光雷达点的距离大于设定的阈值，则设置一个新的聚类簇，并重复步骤S5-2直到列车框内所有的激光雷达点均被分配到一个聚类簇中；

S5-4：选取含有激光雷达点个数最多的聚类簇为列车的真实激光雷达点，计算聚类簇中激光雷达点的距离平均值，此平均值即为列车的真实距离。

2.根据权利要求1所述的一种基于视觉与激光雷达融合的前向列车检测方法，其特征在于，所述步骤S2包括图像目标检测与图像分类，具体地：

S2-1：采集列车运行线路中的视频数据，并从中截取包含有列车的图片，基于截取的图片进行标注；图像检测模型标注需要标注出图像中列车框的像素大小以及像素位置；图像分类模型标注需要在图像中随机抠取矩形框，其中部分框包含列车，部分框不包含列车，基于抠取的矩形框进一步分为包含列车的样本和不包含列车的样本；

S2-2：选取图像目标检测模型为centernet，选取图像分类模型为mobilenetV2；

S2-3：基于步骤S2-1标注的样本对步骤S2-2选取的模型进行训练，生成模型文件；

S2-4：基于步骤S2-3生成的模型进行列车检测及分类，输出列车检测框。

Images