CN109597087A - 一种基于点云数据的3d目标检测方法 - Google Patents

Abstract

本发明涉及一种基于点云数据的3D目标检测方法，包含：收集不同场景下的包含感兴趣目标的图像与点云数据；数据集划分；设计基于点云数据的3D目标检测网络模型主体结构，用以检测出相关应用场景中的感兴趣目标；3D空间目标检测：利用3D候选框生成子网络提取到的3D候选位置与点云数据特征，在3D目标检测子网络结构中对点云进行分类，确定点云数据中的每个点是属于哪一目标类别，进而实现在3D空间中对感兴趣目标的检测任务；3D目标位置回归：利用3D目标检测子网络输出的某一候选目标位置信息与点云数据特征，在目标回归子网络中计算相应类别的预测目标与标注目标的坐标偏差及其损失值，并输出经过偏移后的预测目标位置信息，进而得到更加精确的3D空间位置信息。

Description

一种基于点云数据的3D目标检测方法

技术领域

本发明涉及智能机器人、自动驾驶、辅助驾驶等计算机视觉领域中有效的目标检测方法，特别是涉及基于深度卷积神经网络进行3D空间中的目标检测方法。

背景技术

物体检测是指利用计算机技术检测与识别出图像或视频中感兴趣目标(如车辆、行人、障碍物等)的类别与位置信息，是计算机视觉领域中重要研究领域之一。随着深度学习技术的不断完善与发展，基于深度学习的物体检测技术已经在诸多现实领域中具有广泛的应用场景，例如：智能机器人、自动驾驶、辅助驾驶、人机交互、行为识别等相关领域中。

作为深度学习技术中的重要研究方向之一，深度卷积神经网络在物体检测任务上已经取得了显著成果，能够在2D的图像数据中实现对感兴趣目标的实时检测与识别。但在诸如无人驾驶、智能机器人等研究领域中，由于该应用中需要系统得到感兴趣目标的三维空间中的位置信息才能更好地实现相应的功能，提高系统的稳定性与安全性。图1中展示了两个基于目标检测的人工智能技术在不同场景下的应用示例图。如图1(a)中所示，以自动驾驶系统为例进行说明，针对该场景下的物体检测任务，传统的2D目标检测方法是通过车载相机获取行车过程中的实时道路场景，将其输入到已有算法中，通过训练好的检测模型实现对图像中的感兴趣目标进行检测，并输出其位置与类别信息给控制端的决策层，在对车辆如何行驶进行规划。但其中存在一个问题就是该方法利用单目相机获取到的检测目标所在的3D空间位置信息并不稳定，会因诸多影响因素导致其准确度下降。而利用激光雷达所获得的激光点云数据则能够较为准确的获取到目标的深度信息，通过空间投影变化得到感兴趣目标的3D空间位置信息，进而能够更好地帮助无人驾驶系统实现的对车辆的行驶进行预测与判断。图1(b)中描述了现代的智能机器人中有些也利用了雷达的点云数据来帮助机器人进行定位与障碍物的检测，辅助机器人更好的完成设定的动作与任务，使其变得更加的智能化，来满足实际生产与应用中的需求。

三维视觉分析在自主驾驶汽车视觉感知系统中起着重要的作用。现代自动驾驶汽车中通常配备有多个传感器，如激光雷达和摄像机。就两种传感器应用特点来讲，相机和激光雷达摄像头都可用于目标检测，激光扫描仪具有精确的深度信息的优点，而相机保存更详细的语义信息，因此，激光雷达点云和RGB图像的融合应该能够实现更高的性能和安全性的自动驾驶汽车。利用激光雷达和图像数据的三维空间中的物体检测来实现在道路场景中对物体进行高度精确的目标定位和识别。最直观的方法即为直接利用激光雷达所采集的深度信息与RGB彩色图像相结合。Imran[1][2]先将RGB图像与深度图像相融合，再利用RGB-D四通道的数据流来训练一个CNN的目标检测网络。Dolson[3]设计了一个加速的高斯插值算法来实时上采样相机图像与雷达点云，使用高分辨率的深度图像应用于计算机视觉应用中。

进一步的方法对激光雷达采集的点云数据进行不同视图的投影映射来表现出目标的深度特征。在[4][5]中将点云数据表示为2D图的形式，再利用卷积神经网络来检测与回归2D图像中的目标类别和位置。MV3D[6]将雷达点云数据映射到鸟瞰图中，并专门训练了一个用于3D候选框提取的区域建议网络(RPN)来用于3D空间中候选目标的提取。为包含目标的瞬时信息，一些工作[7][8]中将运动信息与地面估计相结合来实现2D检测框到3D候选框的提升。然而相对与原始的点云数据，视图映射得到的数据形式终究存在信息的丢失。[9]与[10]利用从点云中提取的手工几何特征来训练3D的目标分类器，并滑动窗口搜索方法对目标进行定位。[11]中提出2D驱动的3D目标检测方法，该方法使用手工标记特征与全卷积网络来回归3D候选框的位置与角度。有些方法虽然能够利用图像数据与点云数据实现对目标进行3D目标的检测任务，但其还是依赖于传统的手工特征，不能很好地学习到目标本身的特性。

参考文献：

[1]J.Imran,P.Kumar,“Human action recognition using rgb-d sensor anddeep convolutional neural networks”,in International Conference on Advancesin Computing,Communications and Informatics.IEEE,2016,pp.144-148.

[2]C.Lv,H.Wang,&D.Cao,“High-Precision Hydraulic Pressure ControlBased on Linear Pressure-Drop Modulation in Valve Critical EquilibriumState,”IEEE Transactions on Industrial Electronics,2017.

[3]J.Dolson,J.Baek,C.Plagemann,S.Thrun,“Upsampling range data indynamic environments,”in IEEE Conference on Computer Vision and PatternRecognition,IEEE Computer Society,2010,pp.1141-1148.

[4]Z.Deng and L.J.Latecki.Amodal detection of 3d objects:Inferring 3dbounding boxes from 2d ones in rgb-depth images.In Conference on ComputerVision and Pattern Recognition(CVPR),volume 2,2017.2.

[5]B.Li,T.Zhang,and T.Xia.Vehicle detection from 3d lidar using fullyconvolutional network.arXiv preprint arXiv:1608.07916,2016.2,13.

[6]X.Chen,H.Ma,J.Wan,B.Li,and T.Xia.Multi-view 3d object detectionnetwork for autonomous driving.In IEEE CVPR,2017.2,5,6,11,12,13.

[7]V.Dhiman,Q.H.Tran,J.J.Corso,and M.Chandraker.A continuousocclusion model for road scene understanding.In CVPR,pages 4331–4339,2016.2.

[8]S.Song and M.Chandraker.Joint sfm and detection cues for monocular3d localization in road scenes.In Computer Vision and Pattern Recognition,pages 3734–3742,2015.2.

[9]D.Z.Wang and I.Posner.Voting for voting in online point cloudobject detection.Proceedings of the Robotics:Science and Systems,Rome,Italy,1317,2015.2。

[10]S.Song and J.Xiao.Sliding shapes for 3d object detection in depthimages.In Computer Vision–ECCV 2014,pages 634–651.Springer,2014.2.

[11]J.Lahoud and B.Ghanem.2d-driven 3d object detection in rgb-dimages.In Proceedings of the IEEE Conference on Computer Vision and PatternRecognition,pages 4622–4630,2017.2,7.

发明内容

为更好地解决在3D空间中感兴趣目标的检测与识别问题，本发明提供一种一种基于点云数据的3D目标检测方法,将点云数据与图像数据相结合的方式，采用深度卷积网络模型来实现提取目标3D空间中的候选位置，减少搜索的空间维度，再对筛选出的点云数据进行目标级的分类与回归，最终实现对道路环境中感兴趣目标的融合感知与识别。技术方案如下：

一种基于点云数据的3D目标检测方法，包含以下步骤：

(1)收集不同场景下的包含感兴趣目标的图像与点云数据，并将每张图像相对应的点云数据中所包含的相应目标标记出来，标注内容为每个目标在相应数据中的位置信息以及相对于目标的类别标签信息，来作为每帧图像的标注信息。

(2)数据集划分。将收集到的数据集划分为：训练集、验证集以及测试集。

(3)设计基于点云数据的3D目标检测网络模型主体结构，用以检测出相关应用场景中的感兴趣目标，包括设计网络结构中的主干网络结构、图像预测分支结构、点云预测分支结构以及3D候选框生成子网络结构，包括各个子网络中的卷积层、池化层、非线性激活层等的相关结构及其参数的设置；在图像预测分支中利用提取输入图像中所包含的候选目标位置；在点云预测分支中先将点云数据投影到鸟瞰视图，得到一张2D图像，再利用2D图像特征提取与ASPP结构来提取点云数据特征图，并由此生成鸟瞰图中目标的候选位置；最后利用3D候选框生成子网络将输入图像与点云鸟瞰图中的候选目标位置通过空间匹配方法相结合，生成出3D空间中的候选目标位置，并将其中所包含的点云数据特征作为下一级的输入信息。

(4)3D空间目标检测：利用3D候选框生成子网络提取到的3D候选位置与点云数据特征，在3D目标检测子网络结构中对点云进行分类，确定点云数据中的每个点是属于哪一目标类别，进而实现在3D空间中对感兴趣目标的检测任务。

(5)3D目标位置回归：利用3D目标检测子网络输出的某一候选目标位置信息与点云数据特征，在目标回归子网络中计算相应类别的预测目标与标注目标的坐标偏差及其损失值，并输出经过偏移后的预测目标位置信息，进而得到更加精确的3D空间位置信息。

(6)输出检测结果：给检测模型输入图像数据及相对应的点云数据，分别经过图像预测分支与点云预测分支分的得到在相应视图下的候选目标，并通过3D候选框生成子网络生成最终的3D空间候选位置，再将其与相应位置的点云数据特性相结合，利用目标检测子网络与目标回归子网络计算出每个候选目标的置信概率与位置偏移，最终得到该场景下更加精确的3D目标检测结果。

采用本发明中的方法通过激光雷达能够更加准确地获取到场景中目标的深度信息(点云数据)，进而实现在三维空间准确地得到出感兴趣目标的空间位置信息，有效地提高了检测网络在不同环境下对3D空间中感兴趣目标的检测与定位性能，有助于系统模型更好地实现智能系统的规划与决策。

附图说明

图1中描述了本发明在各个智能场景中的实际应用示例。

图2中描述了传统的基于深度卷积网络的目标检测方法的应用示例。

图3中描述了本发明中所涉及的基于点云数据的3D目标检测方法的示例。

具体实施方式

下面将结合附图来进一步对本发明进行描述。

图2中描述的是传统深度卷积网络的目标检测方法应用在目标检测中的示例。该种方法的结构较为简单，只是由多个卷积层、池化层进行串联式的堆叠而成。其工作流程为：将原始的图像数据输入到预先设计的深度卷积网络中，经过特征提取之后，直接对候选目标进行分类与回归，进而得到感兴趣目标的类别信息与位置信息。但其检测结果投影至3D空间中的位置信息因会存在诸多影响因素而得到的3D位置信息不够稳定，准确性也会随之降低。

图3中描述了本发明中所提出的基于点云数据的3D目标检测方法的示例。该深度网络模型主要包含三个部分：候选目标提取子网络、3D空间目标检测子网络和候选框回归子网络。其中候选目标提取子网络主要是分别利用图像数据与激光点云数据提取候选目标位置，再通过空间配准的方式，获取到3D空间中的候选框，缩小检测网络的空间搜索范围，提高检测性能的同时减低模型的运算量。其中由于点云数据较为稀疏，局部特征不能很好的体现出，感兴趣目标的特性，故在提取点云数据特征时运用ASPP(Atrous SpatialPyramid Pooling)结构来增大网络层级的感受野，获取候选目标的全局性信息。3D空间检测子网络的作用是利用提取出的候选目标范围内的点云数据进行目标类别的判定，实现对感兴趣目标的检测功能。候选框回归子网络是基于模型前期提取出的特征信息，利用特定候选框回归子网络实现对检测目标位置的偏移与回归，进而得到更加准确的空间位置信息。

本发明中的方法应用于3D目标检测任务中主要包含三个步骤：数据集的准备、设计并训练基于点云数据的3D目标检测模型、测试/应用检测模型。其具体实施步骤描述如下：

(1)准备训练/测试网络所需数据集。

(a)准备标注好的图像及点云数据，所选的图像数据应包含有不同场景下的感兴趣目标。由于基于深度卷积网络的目标检测方法是有监督学习中的一种，故需要对所选数据进行相应的标注，其中包括感兴趣目标的位置信息与类别信息。

(b)处理数据集。将所准备的数据集分别按照一定的比例划分为训练集、验证集、测试集，训练集用于对深度卷积网络的训练，验证集用于选择最佳的训练模型，测试集用于后期测试设计模型的性能或实际应用时使用。

(c)数据增强。为进一步提高网络的泛化性能，应运用随机反转、随机平移、随机裁剪等方法对数据进行增强，进而提升模型对不同场景下目标的检测效果。

(2)设计并训练基于点云数据的3D目标检测模型。

(a)设计基于点云数据的3D目标检测器主体结构。其中包括选取合适的提取图像与点云数据基础特征的子网络结构，3D空间目标检测子网络以及检测框回归子网络，其中包含的滤波器的个数、卷积核的大小等卷积运算细节设置。

(b)设计候选位置提取子网络。首先，选用成熟的图像检测方法实现在图像中的候选位置提取的任务，图像数据的细节信息丰富，能够很好体现出物体所包含的特征信息；其次，将点云数据投影到鸟瞰图，利用该视图下的点云数据来进行候选位置的提取，这样做一是能够简化点云运算时的计算量，二是不同物体在鸟瞰图下能够呈现出明显的空间位置关系，每个物体占据不同的空间位置，能够有效地缓解遮挡，有利于准确度获取候选目标的位置信息；最后，利用空间配准方法，将输入图像与鸟瞰图中的候选位置进行结合，进而得到最终的3D空间候选位置信息。

(c)设计3D空间目标检测子网络结构，利用点云分类网络，实现对3D候选位置中每个点进行分类，进而对候选目标的类别进行判定，实现3D空间中感兴趣目标的检测任务。

(d)设计目标位置回归子网络结构，根据对候选目标的类别判定与点云数据特征，计算候选目标与其对应的标注目标之间的坐标偏差，并对其进行坐标的回归与偏移，进而得到最终的3D空间位置信息。

(e)初始化网络参数。设置训练阶段的相关超参数，包括迭代次数、学习率以及网络最终收敛条件等。

(f)设计模型优化策略。设定训练的损失函数，该损失函数包括候选窗口提取的损失函数和候选窗口分类的损失函数。根据反向传播算法，不断更新网络的权重参数。当迭代次数结束时，所学习的权重参数为最终的网络参数。

(3)测试/应用已训练好的检测网络模型。

给定用于测试网络模型的图像及其相对应的点云数据，将其输入到已训练好的检测模型中来提取出该场景中所包含的感兴趣目标。首先，通过前期的特征提取子网络实现对候选目标特征信息的提取；再利用本发明中所设计的3D空间中候选位置的提取方法获得相应位置的点云数据；然后通过3D目标检测子网络对候选目标做出判别，并输出潜在的目标类别信息；最终利用候选框回归子网络对这些检测窗口进行变换与回归，经过偏移得到更加准确的检测结果。

Claims (1)

1.一种基于点云数据的3D目标检测方法，包含以下步骤：

(1)收集不同场景下的包含感兴趣目标的图像与点云数据，并将每张图像相对应的点云数据中所包含的相应目标标记出来，标注内容为每个目标在相应数据中的位置信息以及相对于目标的类别标签信息，来作为每帧图像的标注信息。

(2)数据集划分；将收集到的数据集划分为：训练集、验证集以及测试集；

(3)设计基于点云数据的3D目标检测网络模型主体结构，用以检测出相关应用场景中的感兴趣目标，包括设计网络结构中的主干网络结构、图像预测分支结构、点云预测分支结构以及3D候选框生成子网络结构，包括各个子网络中的卷积层、池化层、非线性激活层等的相关结构及其参数的设置；在图像预测分支中利用提取输入图像中所包含的候选目标位置；在点云预测分支中先将点云数据投影到鸟瞰视图，得到一张2D图像，再利用2D图像特征提取与ASPP结构来提取点云数据特征图，并由此生成鸟瞰图中目标的候选位置；最后利用3D候选框生成子网络将输入图像与点云鸟瞰图中的候选目标位置通过空间匹配方法相结合，生成出3D空间中的候选目标位置，并将其中所包含的点云数据特征作为下一级的输入信息；

(4)3D空间目标检测：利用3D候选框生成子网络提取到的3D候选位置与点云数据特征，在3D目标检测子网络结构中对点云进行分类，确定点云数据中的每个点是属于哪一目标类别，进而实现在3D空间中对感兴趣目标的检测任务；

(5)3D目标位置回归：利用3D目标检测子网络输出的某一候选目标位置信息与点云数据特征，在目标回归子网络中计算相应类别的预测目标与标注目标的坐标偏差及其损失值，并输出经过偏移后的预测目标位置信息，进而得到更加精确的3D空间位置信息；

(6)输出检测结果：给检测模型输入图像数据及相对应的点云数据，分别经过图像预测分支与点云预测分支分的得到在相应视图下的候选目标，并通过3D候选框生成子网络生成最终的3D空间候选位置，再将其与相应位置的点云数据特性相结合，利用目标检测子网络与目标回归子网络计算出每个候选目标的置信概率与位置偏移，最终得到该场景下更加精确的3D目标检测结果。