CN116030445A - 一种结合点云形状特征的自动驾驶实时三维目标检测方法 - Google Patents

Abstract

本发明公开了一种结合点云形状特征的自动驾驶实时三维目标检测方法，使用计算机图形学中的三角形网络对局部特征进行表示，从而灵活的呈现复杂的局部体素特征。本发明对体素内部的每一个点使用K近邻算法寻找距离最近的K个点，使用这些点构建以该点为中心的伞状曲面，使用曲面的法向量方向、曲面中心坐标等信息构建每个点的曲面特征，用全连接神经网络以及最大池化层生成一个曲面特征，从而使用该曲面特征表示点云周围的局部形状。本发明使用伞状曲面构造为每个点云周围的点云形状进行建模，从而补充了缺失的局部形状学习特征，减少了自动驾驶感知任务中误检与漏检的现象。本发明在完成点云局部形状建模的同时保证了算法的实时性。

Description

一种结合点云形状特征的自动驾驶实时三维目标检测方法

技术领域

本发明涉及自动驾驶汽车领域的三维目标检测方法，特别是一种结合点云形状特征的自动驾驶实时三维目标检测方法。

背景技术

环境感知作为自动驾驶中最重要的一个模块，对于保障车辆安全有着至关重要的作用。其中，三维目标检测通过各类传感器(激光雷达、毫米波雷达、摄像头等)获取目标的位置、尺寸以及类别信息。激光雷达通过对四周物体进行高速的扫描采样，获取到大规模无序点云，从而获得简单并精准的三维场景表征，是对自动驾驶感知方案最重要的传感器之一。随着深度神经网络的发展，目前主流的基于激光雷达点云的三维目标检测算法主要分为基于原始点云的检测方法和基于体素的检测方法。

其中，基于原始点云的检测方法通常将激光雷达扫描得到的全部点云进行最远点采样和特征聚合：采样部分从全部点云中抽取部分点云，而特征聚合则对这些抽取出来的点云及其周围的点云进行特征聚合，从而使得每个点云聚合周围点云的特征信息。然而，基于原始点云的方法会造成较大的内存和计算开销，并不适应自动驾驶场景下的对检测算法实时性的要求。随着深度神经网络的发展和三维稀疏卷积的提出，目前基于体素的检测方法能够较为高效的从点云生成的体素中直接提取出点云的特征，例如VoxelNet、PointPillar等方法。这些方法通常使用各个体素内点云的坐标、强度、相对体素中心的偏移等信息作为体素特征，然后再使用三维稀疏卷积进行体素特征的下采样，最终得到三维目标框的分类信息和回归信息。这种方法十分高效的从体素而不是原始点云中进行点云的特征提取，大大减少了算法的内存和计算开销，使其部署在自动驾驶车辆的车载平台上进行实时的算法检测成为了现实。然而，这种方法虽然比较简洁直观，但是只使用局部坐标不能很好的表示点云局部形状的信息，忽略了点云之间的相互作用以及相邻点云构成的局部形状信息，从而限制了自动驾驶中三维检测算法精度的进一步提升。

为了使得自动驾驶中三维目标检测算法既能获得基于原始点云算法的检测精度和基于体素算法的检测效率，本发明提出了一种点云局部形状特征提取方案，该方法可以与任意基于体素的检测方案进行结合，从而使得点云的体素特征中可以融合点云的局部形状信息，帮助算法进一步提升检测精度。

发明内容

为解决现有技术存在的上述问题，本发明要设计一种能避免点云特征损失并提升检测准确性的结合点云形状特征的自动驾驶实时三维目标检测方法。

为了实现上述目的，本发明的基本思路如下：

为解决现有技术存在的问题，本发明使用计算机图形学中的三角形网络对局部特征进行表示，从而灵活的呈现复杂的局部体素特征。这种方法对体素内部的每一个点使用K近邻算法寻找距离最近的K个点，使用这些点构建以该点为中心的伞状曲面，使用曲面的法向量方向、曲面中心坐标等信息构建每个点的曲面特征，用全连接神经网络以及最大池化层生成一个曲面特征，从而使用该曲面特征表示点云周围的局部形状。

本发明的技术方案如下：一种结合点云形状特征的自动驾驶实时三维目标检测方法，包含以下步骤：

A、为3D场景中的任意体素进行点云分配

将车载激光雷达采集到的全部点云P分配给各个体素，当体素内的点云数量超过预设最大点云数量N时随机采样N个点云，当点云数量少于N时使用0将点云数量补齐到N个，从而使每个非空体素中都有相同数量的点云数量N，每个点云包含三维位置坐标信息c及点云反射强度信息i。

B、为体素内的任一点云寻找邻接点并构建代表性曲面

以体素内任意一个点云作为原点，使用K近邻算法为其找到几何距离最近的K个邻接点云。将这K个邻接点云按照极坐标系下相对当前点云的角度顺时针排序，并依次两两与当前点云构建三角形网格，使得每个点云对应K个三角形网格，计算体素内每个点云对应网格的法向量方向v_norm及网格中心坐标c_center，最终为每个点云生成K个法向量及网格中心坐标，具体公式如下：

v_norm＝(c_k-c_current)×(c_k-1-c_current)0≤k≤K

式中：c_current表示当前点云的坐标，c_k表示第k个邻近点的坐标

C、对体素内部的代表性曲面进行特征提取

将每个点生成网格的法向量方向v_norm、网格中心坐标c_center以及网格中心的极坐标c_sphere使用全连接神经网络以及最大池化，为每个点云生成一个表征局部形状的伞状曲面特征向量f_umbella。

c_sphere＝xyz2sphere(c_center)

f_umbella＝pooling{MLPs(v_norm,c_center,c_sphere)}

式中：xyz2sphere是极坐标转换函数，pooling是最大池化函数，MLPs表示全连接神经网络。

D、计算包含点云局部形状的体素特征

使用体素内每个点的全局坐标c、反射强度i、相对聚类中心的坐标c_cluster、相对体素中心的坐标c_voxel构建体素内部的点云坐标特征f_coordinate，结合局部形状特征f_umbella进一步进行特征集合抽象，得到每个点的特征，并通过最大池化层将N个点云的特征压缩为体素特征，得到包含点云局部形状的体素特征F_voxel，表示如下：

f_coordinate＝(c,i,c_cluster,c_voxel)

F_voxel＝pooling{MLPs(f_coordinate,f_umbella)}

E、检测三维目标

将得到的体素特征投影到鸟瞰图视角下，使用深度卷积神经网络对体素特征进行进一步下采样及特征提取，并直接在下采样后的鸟瞰图特征上预测三维目标的位置、尺寸以及类别，所述三维目标包括汽车、行人和骑行者，从而完成自动驾驶车辆对周围环境的理解，为后续自动驾驶提供精准的检测结果。

与现有技术相比，本发明具有以下优势：

1、由于点云的无序性和不规则性，之前基于体素的三维目标检测方法均独立地从点云中学习，并利用对称函数获取全局信息，但是这种方法并没有对点云局部形状进行感知，而在三维目标检测中局部形状对于点云的学习至关重要，本发明使用伞状曲面构造为每个点云周围的点云形状进行建模，从而很好的补充了之前方法缺失的局部形状学习特征，减少了自动驾驶感知任务中误检与漏检的现象。

2、为了从点云局部结构中获取信息，之前一些方基于原始点云的检测方法通过图神经网络、点云之间的距离关系等附加结构对点云进行多次转换，从而间接地从点云形状中学习，这些人工设定的部件会造成较高的内存和计算开销，并且在转换过程中导致信息的丢失，而本发明通过体素内点云构建曲面的方法表征局部形状，在较少的参数增加的情况下就能获得较为显著的检测性能提升，在完成点云局部形状建模的同时保证了算法的实时性，利于部署在自动驾驶汽车的嵌入式平台上。

附图说明

图1是本发明的流程图。

图2是本发明的局部曲面构建示意图。

图3是局部网格中心及法向量方向示意图。

具体实施方式

下面结合附图对本发明进行进一步地描述。如图1所示，本发明首先将单帧激光雷达扫描到的全部点云进行栅格化，从而得到一系列规整的点云体素，随后分别对每个体素内部的点云进行曲面构建和局部特征抽象得到形状特征、并将该特征与点云坐标之间进行融合，并最终聚合全部点云的形状特征，得到融合形状信息的体素特征。

其中，体素内部的曲面构建方法如图2所示，该方法为任一点云寻找K个邻近点云，并使用这些邻近点云为其构建一个局部伞状曲面，该曲面包含K个三角形网格。

对每个三角形网格的特征提取如图3所示，通过计算每个三角形网格的中心坐标c_center、中心极坐标c_sphere以及法向量方向v_norm，并使用全连接神经网络以及最大池化层为任一点云聚合K个邻近点的特征，从而得到任一点云的局部形状特征f_umbella，最后将任一点云的全局坐标c、反射强度i、相对体素中心坐标c_cluster、相对聚类中心坐标c_voxel构建点云的坐标特征f_coordinate。最后，将任一体素内所有点云的局部形状特征以及坐标特征合并，并再次使用全连接神经网络和最大池化层聚合体素内的全部点云特征，得到包含点云形状特征和点云坐标特征的体素特征F_voxel。最终对这些规整的体素特征使用深度卷积神经网络进行下采样和特征提取，并在鸟瞰图式的特征图上使用头部网络完成对三维目标(车辆、行人、骑行者等)位置、尺寸、类别信息的回归和分类，得到自动驾驶车辆周围障碍物的感知。

本发明不局限于本实施例，任何在本发明披露的技术范围内的等同构思或者改变，均列为本发明的保护范围。

Claims (1)

1.一种结合点云形状特征的自动驾驶实时三维目标检测方法，其特征在于：包含以下步骤：

A、为3D场景中的任意体素进行点云分配

将车载激光雷达采集到的全部点云P分配给各个体素，当体素内的点云数量超过预设最大点云数量N时随机采样N个点云，当点云数量少于N时使用0将点云数量补齐到N个，从而使每个非空体素中都有相同数量的点云数量N，每个点云包含三维位置坐标信息c及点云反射强度信息i；

B、为体素内的任一点云寻找邻接点并构建代表性曲面

以体素内任意一个点云作为原点，使用K近邻算法为其找到几何距离最近的K个邻接点云；将这K个邻接点云按照极坐标系下相对当前点云的角度顺时针排序，并依次两两与当前点云构建三角形网格，使得每个点云对应K个三角形网格，计算体素内每个点云对应网格的法向量方向v_norm及网格中心坐标c_center，最终为每个点云生成K个法向量及网格中心坐标，具体公式如下：

v_norm＝(c_k-c_current)×(c_k-1-c_current)0≤k≤K

式中：c_current表示当前点云的坐标，c_k表示第k个邻近点的坐标

C、对体素内部的代表性曲面进行特征提取

将每个点生成网格的法向量方向v_nom、网格中心坐标c_center以及网格中心的极坐标c_sphere使用全连接神经网络以及最大池化，为每个点云生成一个表征局部形状的伞状曲面特征向量f_umbella；

c_sphere＝xyz2sphere(C_center)

f_umbella＝pooling{MLPs(v_norm,c_center,c_sphere)}

式中：xyz2sphere是极坐标转换函数，pooling是最大池化函数，MLPs表示全连接神经网络。

D、计算包含点云局部形状的体素特征

使用体素内每个点的全局坐标c、反射强度i、相对聚类中心的坐标c_cluster、相对体素中心的坐标c_voxel构建体素内部的点云坐标特征f_coordinate，结合局部形状特征f_umbella进一步进行特征集合抽象，得到每个点的特征，并通过最大池化层将N个点云的特征压缩为体素特征，得到包含点云局部形状的体素特征F_voxel，表示如下：

f_coordinate＝(c,i,c_cluster,c_voxel)

F_voxel＝pooling{MLPs(f_coordinate,f_umbella)}

E、检测三维目标

将得到的体素特征投影到鸟瞰图视角下，使用深度卷积神经网络对体素特征进行进一步下采样及特征提取，并直接在下采样后的鸟瞰图特征上预测三维目标的位置、尺寸以及类别，所述三维目标包括汽车、行人和骑行者，从而完成自动驾驶车辆对周围环境的理解，为后续自动驾驶提供精准的检测结果。

Images