CN110879401A - 基于相机和激光雷达的无人驾驶平台实时目标3d检测方法 - Google Patents

Abstract

本发明公开了一种基于相机和激光雷达的无人驾驶平台实时目标检测系统，通过对相机和激光雷达的原始数据进行时空同步的像素级融合，利用所得的时空同步数据结合激光雷达的数据分析方法得到聚类检测结果，构建改进式faster‑rcnn网络架构对其进行参数训练并用于实时检测，输出无人驾驶平台周围目标物体的种类、长度、宽度、高度、中心点相对于无人驾驶平台空间坐标的距离、偏航角度、横滚角度、俯仰角度。本发明根据该系统及其检测方法采用传统聚类和人工智能的融合算法，克服了图像检测空间定位精度低和点云检测难以判断类别的缺点，实现了无人驾驶平台场景中基于相机和激光雷达的实时3D目标检测系统。

Description

基于相机和激光雷达的无人驾驶平台实时目标3D检测方法

技术领域

本发明属于计算机视觉领域，具体涉及了一种基于相机和激光雷达的无人驾驶平台实时目标3D检测方法。

背景技术

无人驾驶平台汽车技术发展至今，基本形成了多传感器信息融合、高精度地图与定位、环境感知、决策与路径规划、车辆底层控制的模式，其中，环境感知是无人驾驶平台安全行驶的基础和前提，无人驾驶平台汽车的行驶策略制定、路径规划、车辆底层控制都直接依赖高鲁棒性且准确的感知。

现有的基于单一传感器进行感知检测的系统，主要分为相机、激光雷达、毫米波雷达三大类，单一传感器构建的感知检测系统有如下缺点：

1、相机采集环境图像，使用图像进行目标检测和建图、定位，其优点是成本低、图像能够获得丰富的纹理信息，但是图像受光照条件和天气的影响剧烈，稳定性欠佳；

2、毫米波雷达可以通过分析发射的回馈数据直接对目标物体进行定位，且实时性极强，但是受到接收信息有限的影响，无法感知同一平面内的目标情况；

3、激光雷达具有测量精度高、测距范围远、不易受光照和天气条件影响的优点，在目标检测和建图定位方面优势明显，但难以对目标物体进行类别的判断，也难以把邻近的物体区分开来。

因此为了满足实际应用时的测量需要，解决单一传感器的不足，研究人员通常通过配置多种类型的传感器对行驶环境中目标对象的若干特征进行检测，将所测得的多传感器数据进行关联、融合处理，最终提取出可信度高的感知信息。

而配置过多的传感器，对于整个系统而言又存在以下几点问题：

1、传感器数量、种类繁多导致成本过高；

2、传感器数量多导致数据量大，计算成本高，降低实时性；

3、异构传感器的时空误差累计，检测精度低。

学术界通常使用单目相机和激光雷达进行的目标3D检测方法有如下几种：

1、过高精度时空同步后以稀疏深度信息来估计全图精准深度信息，构建深度神经网络利用完整的RGBD图像进行参数训练和检验，这种方式的3D检测结果精度高，但其计算量大，因而无法在工程实际中得到应用；

2、清华大学和滴滴借鉴RCNN的网络架构，合作研发MV3D网络对于输入信息进行了简化，使用点云的俯视图、前视图、栅格密度图、高度图作为点云数据的输入，极大的减小了运算量，在Titan X的GPU上可以达到0.36s一帧的处理速度，仍无法满足实时性要求，且整体系统成本较高；

3、斯坦福大学设计的frustum pointnets网络架构，使用faster-rcnn对图像提取目标预选区，用pointnet++回归对应区域的点云数据，两种深度神经网络相结合的方式实现目标3D检测，其检测准确性与定位精度达到国际领先，实时性好于MV3D，但以图像作为预选提取区，受光强变化影响较大，稳定性尚有不足。

发明内容

本发明的目的在于提供一种应用于无人驾驶平台及其相关自主移动平台上基于相机和激光雷达的无人驾驶平台实时目标3D检测方法，克服了图像检测空间定位精度低和点云检测难以判断类别的缺点，实现了无人驾驶平台场景中基于相机和激光雷达的实时3D目标检测，提高无人驾驶平台目标物体检测的速度与精准度。

实现本发明目的的技术解决方案为：一种基于相机和激光雷达的无人驾驶平台实时目标3D检测方法，步骤如下：

步骤1、标定相机内部参数以及激光雷达的外部参数，相机采集初始图像数据、激光雷达采集初始点云数据，转入步骤2和步骤3；

步骤2、通过时空同步算法，对相机采集的初始图像数据、激光雷达采集的初始点云数据进行时空同步的像素级融合，得到具有时空一致性的融合数据，转入步骤4和步骤5；

步骤3、通过数据分析算法，实现基于RANSAC算法的地面去除及欧式几何聚类算法的目标点云分离，生成目标候选集，转入步骤4和步骤5；

步骤4、利用具有时空一致性的融合数据及目标候选集的标定检测结果数据，对改进式faster-rcnn网络架构进行参数训练至收敛，转入步骤5；

步骤5、利用目标候选集的提取目标候选区域，基于resnet101网络对目标物体进行种类判断及定位回归，输出目标物体的种类、长度、宽度、高度、中心点相对于无人驾驶平台空间坐标的距离、偏航角度、横滚角度、俯仰角度；即获得目标物体的3D检测信息。

本发明与现有技术相比，其显著优点在于：

(1)采用激光雷达聚类检测算法提取目标候选区，能够达到实时检测的效果；

(2)以激光雷达聚类检测结果为神经网络目标检测进行预提取，漏检率更低；

(3)融合点云数据与图像数据进行3D检测，目标物体的空间定位更精准。

附图说明

图1为本发明的基于相机和激光雷达实时目标3D检测方法流程图。

图2为激光雷达数据分析算法流程图。

图3为改进式faster-rcnn网络架构图。

具体实施方式

下面结合附图对本发明作进一步详细描述。

结合图1，本发所述的一种基于相机和激光雷达的无人驾驶平台实时目标3D检测方法，通过对相机和激光雷达的原始数据进行时空同步的像素级融合，利用所得的时空同步数据结合激光雷达的数据分析方法得到聚类检测结果，构建改进式faster-rcnn网络架构对其进行参数训练并用于实时检测，输出无人驾驶平台周围目标物体的种类、长度、宽度、高度、中心点相对于无人驾驶平台空间坐标的距离、偏航角度、横滚角度、俯仰角度。本发明根据该系统及其检测方法采用传统聚类和人工智能的融合算法，克服了图像检测空间定位精度低和点云检测难以判断类别的缺点(融合了相机和激光雷达两种传感器的原始数据，结合相机和激光雷达两种传感器的优势)，实现了无人驾驶平台场景中基于相机和激光雷达的实时3D标检测，具体步骤如下：

步骤1、标定相机内部参数(包括相机光主点坐标及焦距)以及激光雷达的外部参数(包括相对于相机和无人驾驶平台的选择矩阵和平移矩阵)，相机采集初始图像数据、激光雷达采集初始点云数据，转入步骤2和步骤3；

步骤2、对相机采集的初始图像数据、激光雷达采集的初始点云数据进行时空同步的像素级融合(通过时间同步和空间变换，得到每个点云数据当前时间戳下所对应的图像位置，给图像数据以精确的空间信息)，得到具有时空一致性的融合数据，转入步骤4和步骤5。

进一步地，具体步骤如下：

步骤2-1、基于时间同步算法选择与当前采集的点云数据的标准时间最接近的时间戳所对应的图像数据，进行误差小于0.015秒的精确时间同步，获得具有时间同步的图像数据和点云数据，转入步骤2-2；

步骤2-2、根据标定的相机内部参数以及激光雷达的外部参数，结合时间同步的图像数据和点云数据，通过基于激光雷达外部参数所提供的激光雷达相对于相机的参数矩阵

相机内部参数矩阵calib.P，根据空间转换计算公式

其中img为同步时间戳的图像数据，计算出其同步点云数据在相机中的坐标信息point，完成空间同步，生成具有时空一致性的融合数据。

步骤3、通过数据分析的方法，实现基于RANSAC(随机采样一致)算法的地面去除及欧式几何聚类算法的目标点云分离，生成目标候选集，转入步骤4和步骤5。

进一步地，结合图2，具体步骤如下：

步骤3-1、根据激光雷达的外部参数，通过基于激光雷达外部参数所提供的激光雷达相对于无人驾驶平台的参数矩阵计算出当前点云数据在无人驾驶平台坐标系下的数据，转入步骤3-2；

步骤3-2、基于距离分析和高斯滤波算法过滤初始点云数据中的错误数据，并通过邻近有效值的插值算法补齐缺失的点云数据，生成预处理后的点云数据，具体如下：

步骤3-2-1、基于点云数据间的距离信息，利用高斯滤波器，对原始点云进行过滤，去除离群的错误点云数据，转入步骤3-2-2；

步骤3-2-2、对于每一线雷达数据的缺失点云数据段，搜索其两端最邻近有效数据的数值及位置，转入步骤3-2-3；

步骤3-2-3、计算插值补齐的单位距离，设置距离阈值，对于阈值较小的数据通过插值算法进行缺失点云数据的补齐。

转入步骤3-3。

步骤3-3、基于RANSAC(随机采样一致算法)的平面拟合算法，对所得的点云数据进行地面点云的匹配及去除(计算地平面方程并逐个点云判断是否是地面点云)，生成分离的点云集合，转入步骤3-4；

步骤3-4、设置合理的聚类半径参数，基于欧式几何聚类算法对点云集合进行目标点云的检测与分离，生成目标候选集。

所述激光雷达的外部参数包括激光雷达相对于相机的外部参数矩阵和激光雷达相对于无人驾驶平台的外部参数矩阵。

步骤4、利用具有时空一致性的融合数据及目标候选集的标定检测结果数据，对改进式faster-rcnn网络架构进行参数训练至收敛，转入步骤5。

结合图3，进一步地，改进式faster-rcnn网络与现有faster-rcnn网络相比，通过数据融合将聚类检测生成的目标候选集所对应图像部分区域，替代现有faster-rcnn网络中的区域生成网络(具有更好的实时性和检测准确性，并且可以进行进准的空间3D定位)。

步骤5、利用目标候选集的提取目标候选区域，基于resnet101网络对目标物体进行种类判断及定位回归，输出目标物体的种类、长度、宽度、高度、中心点相对于无人驾驶平台空间坐标的距离、偏航角度、横滚角度、俯仰角度；即获得目标物体的3D检测信息。

Claims (6)

1.一种基于相机和激光雷达的无人驾驶平台实时目标3D检测方法，其特征在于：步骤如下：

步骤1、标定相机内部参数以及激光雷达的外部参数，相机采集初始图像数据、激光雷达采集初始点云数据，转入步骤2和步骤3；

步骤2、通过时空同步算法，对相机采集的初始图像数据、激光雷达采集的初始点云数据进行时空同步的像素级融合，得到具有时空一致性的融合数据，转入步骤4和步骤5；

步骤3、通过数据分析算法，实现基于RANSAC算法的地面去除及欧式几何聚类算法的目标点云分离，生成目标候选集，转入步骤4和步骤5；

步骤4、利用具有时空一致性的融合数据及目标候选集的标定检测结果数据，对改进式faster-rcnn网络架构进行参数训练至收敛，转入步骤5；

步骤5、利用目标候选集的提取目标候选区域，基于resnet101网络对目标物体进行种类判断及定位回归，输出目标物体的种类、长度、宽度、高度、中心点相对于无人驾驶平台空间坐标的距离、偏航角度、横滚角度、俯仰角度；即获得目标物体的3D检测信息。

2.根据权利要求1所述的基于相机和激光雷达的无人驾驶平台实时目标3D检测方法，其特征在于，步骤2中，对相机采集的初始图像数据、激光雷达采集的初始点云数据进行时空同步的像素级融合，得到具有时空一致性的融合数据，具体如下：

步骤2-1、基于时间同步算法选择与当前采集的点云数据的标准时间最接近的时间戳所对应的图像数据，进行误差小于0.015秒的精确时间同步，获得具有时间同步的图像数据和点云数据，转入步骤2-2；

步骤2-2、根据标定的相机内部参数以及激光雷达的外部参数，结合时间同步的图像数据和点云数据，通过基于激光雷达外部参数所提供的激光雷达相对于相机的参数矩阵

相机内部参数矩阵calib.P，根据空间转换计算公式

其中img为同步时间戳的图像数据，计算出其同步点云数据在相机中的坐标信息point，完成空间同步，生成具有时空一致性的融合数据。

3.根据权利要求1所述的基于相机和激光雷达的无人驾驶平台实时目标3D检测方法，其特征在于，步骤3中，通过数据分析的方法，实现基于RANSAC的地面去除及欧式几何聚类算法的目标点云分离，生成目标候选集，具体如下：

步骤3-1、根据激光雷达的外部参数，通过基于激光雷达外部参数所提供的激光雷达相对于无人驾驶平台的参数矩阵计算出当前点云数据在无人驾驶平台坐标系下的数据，转入步骤3-2；

步骤3-2、基于距离分析和高斯滤波算法过滤初始点云数据中的错误数据，并通过邻近有效值的插值算法补齐缺失的点云数据，生成预处理后的点云数据，转入步骤3-3；

步骤3-3、基于RANSAC的平面拟合算法，对所得的点云数据进行地面点云的匹配及去除，生成分离的点云集合，转入步骤3-4；

步骤3-4、设置合理的聚类半径参数，基于欧式几何聚类算法对点云集合进行目标点云的检测与分离，生成目标候选集。

4.根据权利要求1或3所述的基于相机和激光雷达的无人驾驶平台实时目标3D检测方法，其特征在于，所述激光雷达的外部参数包括激光雷达相对于相机的外部参数矩阵和激光雷达相对于无人驾驶平台的外部参数矩阵。

5.根据权利要求1或3所述的基于相机和激光雷达的无人驾驶平台实时目标3D检测方法，其特征在于，步骤3-2中基于距离分析和高斯滤波算法过滤初始点云数据中的错误数据，并通过数据分析补齐缺失数据，生成预处理后的点云数据，具体如下：

步骤3-2-1、基于点云数据间的距离信息计算，利用高斯滤波器，对原始点云进行过滤，去除离群的错误点云，转入步骤3-2-2；

步骤3-2-2、对于每一线雷达数据的缺失点云数据段，搜索其两端最邻近有效数据的数值及位置，转入步骤3-2-3；

步骤3-2-3、计算插值补齐的单位距离，设置距离阈值，对于阈值较小的数据通过插值算法进行缺失点云数据的补齐。

6.根据权利要求1所述的基于相机和激光雷达的无人驾驶平台实时目标3D检测方法，其特征在于，步骤4中，改进式faster-rcnn网络与现有faster-rcnn网络相比，通过数据融合将聚类检测生成的目标候选集所对应图像部分区域，替代现有faster-rcnn网络中的区域生成网络。

Images