CN110531376B - 用于港口无人驾驶车辆的障碍物检测和跟踪方法 - Google Patents

Abstract

本发明公开了一种用于无人驾驶的低成本障碍物检测和跟踪方法，包括获取环境点云并进行点云叠加，得到当前帧的环境点云集PC_0；在车体坐标系中，去除高度差大于阈值的点，得到非地面点组成的点云集PC_1；对PC_1的长、宽进行过滤，保留固定距离范围内的环境点云，再将点云转换为单通道或三通道特征图像；将得到的特征图像输入到构建好的检测模型中，得到障碍物目标的信息列表；根据得到的障碍物目标信息列表，结合上一帧的障碍物目标信息列表，对不同类型障碍物目标选择不同方法或参数构建追踪器，对当前帧中的每一个目标进行追踪，同时计算并更新障碍物目标的运动信息；重复步骤1‑5，直到自动驾驶结束。该方法成本低、检测精度高且运行速度快。

Description

用于港口无人驾驶车辆的障碍物检测和跟踪方法

技术领域

本发明涉及无人驾驶技术领域，特别是涉及一种用于港口无人驾驶车辆的障碍物检测和跟踪方法。

背景技术

近年来，随着各种辅助驾驶系统的普及以及社会各界对交通安全的重视，自动驾驶技术得到了迅速发展。然而，面向公众的全自动驾驶汽车还有很长的路要走，过高的成本是阻碍其前进的主要因素。在现有的环境感知技术下，车辆需要装备摄像机、激光雷达和毫米波雷达等若干个不同种类的传感器，才能较为精确地获取完整、可靠的道路信息。

基于单目或多目相机的感知方案成本虽低，但相机的光学成像容易受到光源、场景环境、成像视野等诸多因素的影响。且相机的测距精度随距离增加衰减剧烈，无法获取精准的障碍物距离。采用毫米波雷达检测障碍物时，由于毫米波在接触到目标时可能会产生散射以及穿透等现象，有时会造成目标的误检，影响整个感知系统的检测精度。虽然近几年激光雷达传感器的价格有所下降，但一些高线束的激光雷达价格仍然非常高，如VelodyneHDL-64E的单价高达约40万元，不适用于量产车型的成本约束。

对于港口等相较于城市道路较为单一道路场景，车辆行驶速度相对缓慢，可能出现的障碍物种类也较少，因此可以考虑采用低线束的激光雷达来进行无人驾驶车辆的环境感知。目前尚未发现对此类技术的报导。

发明内容

本发明的目的是提供一种在港口等简单道路场景下用于无人驾驶车辆的障碍物检测和跟踪方法。

为此，本发明的技术方案如下：

一种用于港口无人驾驶车辆的障碍物检测和跟踪方法，包括以下步骤：

S1，在车辆行驶过程中，通过安装在车头两侧的激光雷达获取环境点云数据，所述环境点云数据包括障碍物的坐标和障碍物对激光的反射强度；通过车载惯性导航系统得到车体的经纬度坐标及航向角，将激光雷达的坐标系标定到以惯性导航系统的位置为原点的车体坐标系上，将获取的环境点云坐标从车体坐标系转换至大地坐标系；将大地坐标系下当前帧的环境点云与前一帧的环境点云进行叠加，再通过坐标逆变换，将叠加后的点云转换到车体坐标系下，作为当前帧的环境点云，设该点云集为PC_0；

S2、在车体坐标系中，按照y坐标将步骤S1得到的点云集PC_0划分为多尺度栅格，计算每个栅格内点的高度差，保留高度差大于阈值的点，得到非地面点组成的点云集PC_1；

S3、设置一个直通滤波器，对S2得到点云集PC_1的长、宽进行过滤，保留固定距离范围内的环境点云，再将固定距离范围内的环境点云转换为单通道或三通道特征图像；

S4、将步骤S3得到的特征图像输入到构建好的检测模型中，得到障碍物目标的信息列表，所述信息包括障碍物目标的位置和对应类别；

S5、根据步骤S4得到的障碍物目标信息列表，结合上一帧的障碍物目标信息列表，采用opencv的muti-tracker跟踪器，对不同类型的障碍物目标选择不同方法或不同参数构建追踪器，对当前帧中的每一个目标进行追踪，同时计算并更新障碍物目标的运动信息，所述运动信息包括障碍物目标的位置、尺寸、速度、方向和出现时长，之后将本帧的追踪障碍物列表输出；

S6，重复步骤1-5，直到自动驾驶结束。

在上述的步骤S1中，将点云进行叠加的方法为：

根据车体的经纬度和航向角计算出车体前后两帧在大地坐标系下的位移(dx,dy)与旋转角度差dα，设上一帧的车体在大地坐标系下位置和航向角为(x_car_l,y_car_l,α_l)，设当前帧车体在大地坐标下的位置和航向角为(x_car_c,y_car_c,α_c)，车体前后两帧的位移(dx,dy)和旋转角度差dα可以根据公式(1)计算得到；设当前帧的点云为PC_curent(x_c_i,y_c_i)，其中x_c_i、y_c_i分别表示第i个点在大地坐标系下的X、Y坐标值，设当前帧的激光雷达点云在上一帧中的位置为PC_curent_last(x_cl_i,y_cl_i)，根据公式(2)计算当前帧点云在上一帧中的位置：

设上一帧的激光雷达点云在上一帧中的位置为PC_last(x_l,y_l)，对PC_curent_last和PC_last做加运算，得到叠加后的大地坐标系下的激光雷达点云。

在步骤S2中，划分多尺度栅格的方法为：

在车体坐标系中，按照y坐标进行分段，以边长为gridw米正方形二维栅格划分步骤1得到的PC_0，所述边长gridw通过公式(3)设定；

在步骤S2中，所述阈值thr，通过公式(4)设定：

步骤S3中，通过保留前方50米、后方10米、左右各30米的点云对点云集PC_1进行过滤。

步骤S3中，以X-Y轴视角，以公式(5)设定的比例，将点云转换为点云的z坐标、所述反射强度和点云密度为像素值的单通道或三通道特征图像，其中，密度根据式(6)计算得到：

1m＝8pixel (5)

公式(6)中，C_i表示坐落在同一个像素位置的点的数量。

在步骤S4，所述模型通过以下步骤构建：

1)在不同天气、光照和时间条件下采集激光雷达点云和惯导数据，通过所述步骤S1-S3生成一系列特征图像，对该系列特征图像中的目标障碍物进行人工标注，构建数据集；

2)将步骤1)构建的数据集投入到深度卷积神经网络模型Strided-Yolo中进行模型训练，得到检测模型，用模型评估指标找到最优的一个检测模型。

优选的是，所述激光雷达采用16线激光雷达；所述大地坐标系是WGS-84下的大地坐标系。

在港口等类似场景下，无人驾驶车辆(集装箱卡车)通常以较低的速度行驶，且场景中有大量金属箱体和其他金属障碍物。基于低线束激光雷达的传感器感知系统不仅可以覆盖较为广泛的感知区域，又能够保障全面的感知覆盖率，有效弥补摄像机和毫米波雷达的不足。

与现有技术相比，本发明具有以下有益效果：

(1)本发明采用两个激光雷达(例如Velodyne VLP-16，单价约3万元)作为低速全自动集装箱卡车的传感器模块，成本较低；

(2)基于CNN模型进行障碍物检测，提出了Strided-Yolo轻量网络配置，检测精度高且运行速度快；

(3)相比于相机获取到的特征图像，本发明的由3维激光雷达点云投影制成的特征图像不会受到光照的影响，特征更稳定，障碍物位置信息更精确。

附图说明

图1为本发明中激光雷达安装位置及传感器感知范围示意图；

图2为本发明中车体坐标系示意图；

图3为本发明中二维多尺度栅格示意图；

图4a为地面消除前的点云；

图4b为地面消除后的点云；

图5点云特征投影图；

图6为Strided-Yolo网络架构；图7为不同CNN模型的Precision-Recall对比曲线。

具体实施方式

下面结合附图和实施例对本发明的方法进行详细说明。

实施例一

一种用于港口无人驾驶车辆的障碍物检测和跟踪方法，包括以下步骤：

S1，点云获取和叠加：

在本实施例中，将两颗16线激光雷达安装在车头的左右两侧，其安装位置和感知范围如图1所示。激光雷达感知产生的环境点云坐标位于车体坐标系下，所述车体坐标系如图2所示，Y轴沿车体中线指向车辆正前方，X轴指向车辆右侧，原点位于车头正中。通过惯导获取车体所在位置的经度、纬度、航向角等信息；随着车辆运动，相邻两帧的环境点云数据存在航向角度和相对位置的偏移。由于16线激光雷达的激光束密度较低，通过对双激光雷达的连续帧进行叠加可以在一定程度上扩大车辆的感知范围，并弥补激光束密度不足的缺陷。为此，需要通过坐标转换将获取的点云投影到统一的坐标系中再进行叠加，以弥补帧间点云信息的偏差：先将激光雷达的坐标系标定到以惯导位置为原点的车体坐标系上，再根据惯导得到的经纬度坐标，将获取的环境点云坐标转换得到大地坐标系下。本实施例采用的是WGS-84下的大地坐标系。

之后，根据车体的经纬度和航向角计算出车体前后两帧在大地坐标系下的位移(dx,dy)与旋转角度差dα，设上一帧的车体在大地坐标系下位置和航向角为(x_car_l,y_car_l,α_l)，设当前帧车体在大地坐标下的位置和航向角为(x_car_c,y_car_c,α_c)，车体前后两帧的位移(dx,dy)和旋转角度差dα可以根据公式(1)计算得到。设当前帧的点云为PC_curent(x_c_i,y_c_i)，其中x_c_i、y_c_i分别表示第i个点在大地坐标系下的X、Y坐标值，设当前帧的激光雷达点云在上一帧中的位置为PC_curent_last(x_cl_i,y_cl_i)，根据公式(2)计算当前帧点云在上一帧中的位置：

设上一帧的激光雷达点云在上一帧中的位置为PC_last(x_l,y_l)，对PC_curent_last和PC_last做加运算，得到叠加后的大地坐标系下的激光雷达点云。

再通过坐标逆变换，将叠加后的点云转换到车体坐标系下，得到点云集PC_0。

S2、消除点云中的地面点：

通过多尺度栅格法来消除地面点，具体步骤为：

1)在车体坐标系中，按照y坐标(即前向距离)进行分段，以正方形二维栅格划分步骤1得到的PC_0，设二维栅格的边长为gridw，gridw通过公式(3)设定；

所得到的二维栅格如图3所示。

2)遍历每个栅格，计算坐落在每个栅格内的点的高度(即z轴坐标)的最大值p_high和最小值p_low；

3)遍历每个栅格，计算p_high与p_low的差值diff；

4)判断该高度差值diff是否小于阈值thr。若小于thr，则该栅格内的点为地面点，否则为非地面点。

5)所述阈值thr表现为栅格边长越大，阈值越小，如公式(4)所示：

消除地面点，得到非地面点组成的点云集PC_1。图4a为地面消除前的点云，图4b为地面消除后的点云。

S3、点云特征投影：

对点云集PC_1按距离进行过滤，保留前方50米、后方30米、左右各30米的点云。再以X-Y轴视角，以公式(5)设定的比例，将点云转换为以点云的z坐标、所述反射强度和点云密度为像素值的单通道(仅使用其中一维特征)或三通道特征图像，其中，密度根据式(6)计算得到：

1m＝8pixel (5)

公式(5)中，C_i表示坐落在同一个像素位置的点的数量。图5展示了点云特征投影效果。

S4、对障碍物目标进行检测：

具体步骤为：

1)在不同天气、光照和时间条件下采集激光雷达点云和惯导数据，采用上述步骤S1-S3生成一系列特征图像，对该系列特征图像中的目标障碍物进行人工标注，构建障碍物数据集。

2)将上述步骤1)得到的障碍物数据集投入至深度卷积神经网络模型Strided-Yolo中进行模型训练，得到检测模型，用模型评估指标找到最优的一个检测模型。所述Strided-Yolo网络，是由StridedNet(JostTobias,S.,Alexey,D.,Thomas,B.,2014.Striving For Simplicity:The All Convolution Net.In:arXiv:1412.6806.)和YOLO(Redmon,J.,Farhadi,A.,2018.Yolov3:An incremental improvement.In:arX-iv:1804.02767)的检测层组合得到，并通过参数优化对模型体积和运算速度进行压缩和加速，以满足车载计算单元的硬件环境、网络结构及配置参数。所述Strided-Yolo网络的结构如图6所示。

3)自动驾驶过程中，通过激光雷达、惯导获取点云和经度、纬度、航向角等数据，按照上述步骤S1-S3得到特征图像，将特征图像输入到上述步骤2)的检测模型中，得到模型输出的目标的位置和对应类别。

S5、多目标追踪：

根据步骤S4得到的目标信息列表，结合上一帧的目标信息列表，采用opencv的muti-tracker跟踪器对不同类型的目标选择不同方法或不同参数构建追踪器，对每一个目标进行追踪。例如，对于类似货车的大尺寸目标，可以采用miti-tracker中的KFC跟踪方法，参数max_patch_size设置为80*80，而对于类似行人的小尺寸目标，可以采用muti-tricker中的MedianFlow跟踪方法，参数winSizeNCC设置为10*10。同时计算并更新目标的运动信息，所述运动信息应包括目标的位置、尺寸、速度、方向和出现时长。

为了充分证明本发明方法的性能，对所述的方法进行了实验验证。

首先在不同时间、天气和光照条件下的港口环境下行驶采集数据，按照本方法的步骤S1-S3生成特征图，人工观测标定目标，构建目标检测的数据集。

再采用三种不同的特征投影方法来对比不同的深度卷积神经网络模型(CNN模型)，通过计算模型的精度(Precision)和召回率(Recall)对模型进行评估(其中，表述中命名方式“c1f3g1”中的c为通道数、f为帧数、g为是否过滤地面，因此“c1f3g1”表示1通道、连续合并3帧、过滤地面得到的最终特征)，所述不同深度卷积神经网络模型包括单通道输入的Yolo3-tiny(Redmon,J.,Farhadi,A.,2018.Yolov3:An incremental improvement.In:arX-iv:1804.02767.)和三通道输入的Yolo3-tiny(Yolo3-tiny_3l、XNor(Rastegari,M.,Ordonez,V.,Redmon,J.,Farhadi,A.,2016.Xnor-net:Ima-genet classification usingbinary convolutional neural networks.In:European Conference on ComputerVision 2016.Springer,pp.525–542.)、HetConv(Singh,P.,Verma,V.K.,Rai,P.,Namboodiri,V.P.,2019.Hetconv:Hetero-geneous kernel-based convolutions fordeep cnns.In:Computer Vision and Pattern Recognition(CVPR)2019.IEEE.)和Strided-Yolo)，三种CNN模型的Precision-Recall对比曲线如图7所示。

测试结果显示，本发明的方法提出的Stride-Yolo网络模型在检测任务中精度和召回率最高，效果最优。

表1列举了三种不同投影方法在不同交并比(IOU)下的平均精度(mAP)。数据显示，大多数情况下Stride-Yolo网络模型的平均精度都是最高的；特别的，当使用c1f3g1和c3f3g1的特征数据集进行训练时，Stride-Yolo网络模型的平均精度可达到30％，远远高于其他网络模型。

表1 不同CNN模型的平均精度

在Nvidia Jetson Tx2上对本方法就处理时间进行了测试，结果如表2所示。实验数据表明，超过90％的处理时间消耗在预处理模块，目标检测和多目标跟踪模块耗时非常少(检测模块耗时0.008秒，多目标跟踪模块耗时0.00046秒)，可忽略不计。

表2 主要步骤处理时间

Claims (9)

1.一种用于港口无人驾驶车辆的障碍物检测和跟踪方法，包括以下步骤：

S1，在车辆行驶过程中，通过安装在车头两侧的激光雷达获取环境点云数据，所述环境点云数据包括障碍物的坐标和障碍物对激光的反射强度；通过车载惯性导航系统得到车体的经纬度坐标及航向角，将激光雷达的坐标系标定到以惯性导航系统的位置为原点的车体坐标系上，将获取的环境点云坐标从车体坐标系转换至大地坐标系；将大地坐标系下当前帧的环境点云与前一帧的环境点云进行叠加，再通过坐标逆变换，将叠加后的点云转换到车体坐标系下，作为当前帧的环境点云，设该点云集为PC_0；

S2、在车体坐标系中，按照y坐标将步骤S1得到的点云集PC_0划分为多尺度栅格，计算每个栅格内点的高度差，保留高度差大于阈值的点，得到非地面点组成的点云集PC_1；

S3、设置一个直通滤波器，对S2得到点云集PC_1的长、宽进行过滤，保留固定距离范围内的环境点云，再将固定距离范围内的环境点云转换为单通道或三通道特征图像；

S4、将步骤S3得到的特征图像输入到构建好的检测模型中，得到障碍物目标的信息列表，所述信息包括障碍物目标的位置和对应类别；

S5、根据步骤S4得到的障碍物目标信息列表，结合上一帧的障碍物目标信息列表，采用opencv的muti-tracker跟踪器，对不同类型的障碍物目标选择不同方法或不同参数构建追踪器，对当前帧中的每一个目标进行追踪，同时计算并更新障碍物目标的运动信息，所述运动信息包括障碍物目标的位置、尺寸、速度、方向和出现时长，之后将本帧的追踪障碍物列表输出；

S6，重复步骤1-5，直到自动驾驶结束。

2.根据权利要求1所述的障碍物检测和跟踪方法，其特征在于，步骤S1中，将点云进行叠加的方法为：

根据车体的经纬度和航向角计算出车体前后两帧在大地坐标系下的位移(dx,dy)与旋转角度差dα，设上一帧的车体在大地坐标系下位置和航向角为(x_car_l,y_car_l,α_l)，设当前帧车体在大地坐标下的位置和航向角为(x_car_c,y_car_c,α_c)，车体前后两帧的位移(dx,dy)和旋转角度差dα可以根据公式(1)计算得到；设当前帧的点云为PC_curent(x_c_i,y_c_i)，其中x_c_i、y_c_i分别表示第i个点在大地坐标系下的X、Y坐标值，设当前帧的激光雷达点云在上一帧中的位置为PC_curent_last(x_cl_i,y_cl_i)，根据公式(2)计算当前帧点云在上一帧中的位置：

设上一帧的激光雷达点云在上一帧中的位置为PC_last(x_l,y_l)，对PC_curent_last和PC_last做加运算，得到叠加后的大地坐标系下的激光雷达点云。

3.根据权利要求1所述的障碍物检测和跟踪方法，其特征在于，步骤S2中划分多尺度栅格的方法为：

在车体坐标系中，按照y坐标进行分段，以二维栅格划分步骤1得到的PC_0，所述二维栅格的边长gridw通过公式(3)设定；

4.根据权利要求1所述的障碍物检测和跟踪方法，其特征在于，步骤S2中，所述阈值thr，通过公式(4)设定：

5.根据权利要求1所述的障碍物检测和跟踪方法，其特征在于，步骤S3中，通过保留前方50米、后方10米、左右各30米的点云对点云集PC_1进行过滤。

6.根据权利要求1所述的障碍物检测和跟踪方法，其特征在于，步骤S3中，以X-Y轴视角，以公式(5)设定的比例，将点云转换为以点云的z坐标、所述反射强度和点云密度为像素值的单通道或三通道特征图像，其中，密度根据式(6)计算得到：

1m＝8pixel (5)

公式(6)中，C_i表示坐落在同一个像素位置的点的数量。

7.根据权利要求1所述的障碍物检测和跟踪方法，其特征在于，步骤S4，所述模型通过以下步骤构建：

1)在不同天气、光照和时间条件下采集激光雷达点云和惯导数据，通过所述步骤S1-S3生成一系列特征图像，对该系列特征图像中的目标障碍物进行人工标注，构建数据集；

2)将步骤1)构建的数据集投入到深度卷积神经网络模型Strided-Yolo中进行模型训练，得到检测模型。

8.根据权利要求1-7中任一项所述的障碍物检测和跟踪方法，其特征在于，所述激光雷达采用16线激光雷达。

9.根据权利要求8所述的障碍物检测和跟踪方法，其特征在于，所述大地坐标系是WGS-84下的大地坐标系。

Images