CN116563488A - 一种基于点云体柱化的三维目标检测方法 - Google Patents

Abstract

本发明公开了一种基于点云体柱化的三维目标检测方法，首先将所取范围内的点云数据进行体柱化，将每个体柱内的点云按照高度方向划分为4个单元，按照不同的高度，对4个单元内的点云数据进行特征提取并经过全连接网络进行升维，最后将升维后的特征并联的拼接在一起进行特征的融合以减小其在高度方向上压缩时造成的信息损失。本发明在体柱的不同高度上分别进行了特征的提取与融合，使其能够在生成二维的伪图像过程中保留不同高度物体的特征，有利于对于不同高度物体的检测。本发明是局部采用体素化进行特征的升维与聚合，随后对聚合的特征进行伪图像生成，使其可以采用现有的处理二维图像的成熟架构，减少了运算速度的同时也可以提高检测的精度。

Description

一种基于点云体柱化的三维目标检测方法

技术领域

本发明涉及汽车自动驾驶技术，特别是一种基于点云体柱化的三维目标检测方法。

背景技术

车辆的自动驾驶系统是一个包括环境感知模块、决策模块和控制模块在内的复杂系统，其中环境感知模块通过车载传感器提供的多模态信息对汽车所处的环境中的感兴趣目标、障碍物、可行区域等关键信息进行识别和检测；紧接着决策模块则根据环境感知结果对行车路径、速度进行规划，并向控制模块发出车辆路径规划指令。最后，控制模块则根据指令控制汽车的方向盘、刹车和油门，使车辆在道路上安全行驶。其中环境感知模块作为自动驾驶系统中的关键模块，是自动驾驶的第一步。环境感知的准确性、鲁棒性和计算速度将直接影响决策模块发出控制车辆指令的合理性，与自动驾驶的安全性直接相关。

环境感知对于自动驾驶汽车最重要的功能是对环境中的感兴趣目标等进行三维理解，而三维目标检测是三维场景感知和理解的核心。三维目标检测是指从三维传感器数据中检测物理对象，估计三维边界盒，并指定特定的类别。当前的三维目标检测主要是综合利用单目相机、双目相机、多线激光雷达来进行。其中激光雷达扫描得到的点云数据包含了物体的空间坐标和相应的属性信息，是目标在现实世界的表征，因而能够提供准确的深度信息，实现对环境中的目标进行识别、定位和姿态估计从而获得目标位置、尺寸以及行驶方向等信息，可从根本上提升感知的准确率，提升自动驾驶安全性。

随着深度学习理论的飞速发展，并在许多研究方向上已经取得了重大突破，如计算机视觉、语音识别和自然语音处理等研究领域。基于深度学习的激光雷达点云目标检测算法也越来越受到人们关注。特征提取是深度学习网络模型中一个非常重要的步骤，可以理解为一个数据降维的过程，当需要在不丢失重要信息的情况下减少处理所需的资源数量时，特征提取非常有用。特征提取本质上是将原始数据转换为可以处理的数字特征的过程，在这个过程中会保留原始数据集中的关键信息。特征提取还可以减少给定分析的冗余数据量，这可以提高深度学习和泛化步骤的速度。

点云作为激光雷达输出的一种基本数据格式，保留了三维空间中的原始几何状态，可以提供丰富的形状和比例信息，因此它是无人驾驶场景感知理解的重要表示。目前基于深度学习的激光雷达点云数据的检测算法可以分为三个子类：基于投影的方法、基于体素表示的方法和基于原始点云的方法。其中，基于体素表示的方法，通过等分点云空间来生成规则的点云体素网格，然后利用卷积神经网络进行特征提取，该方法可以增加数据运算效率，高效的使用空间卷积因而为大多数网络所采用，但是该方法会导致很大的计算复杂度，对算法和硬件设备的要求都很高。为了解决这种问题，有学者提出了将点云预处理成体柱的处理方法，因为体柱的高度和整个点云空间相同，所以通过对整个体柱在高度方向上进行点云特征压缩，就可以将三维的点云数据转换成二维的伪特征图，来完成点云的特征提取，这种方法虽然实现了非常高效的处理效率，但是由于点云具有无序、稀疏、非结构化以及信息量有限的特性，导致在对整个点云体柱进行压缩时会不可避免的造成信息的损失，尤其是高度方向上的信息丢失。

发明内容

为解决点云体柱压缩过程中在高度方向上信息损失的问题，本发明要设计一种能减小在高度压缩时信息损失的基于点云体柱化的三维目标检测方法。

为了实现上述目的，本发明的基本思路如下：首先将所取范围内的点云数据进行体柱化，将每个体柱内的点云按照高度方向划分为4个单元，按照不同的高度，对4个单元内的点云数据进行特征提取并经过全连接网络进行升维，最后将升维后的特征并联的拼接在一起进行特征的融合以减小其在高度压缩时造成的信息损失。

本发明的技术方案如下：一种基于点云体柱化的三维目标检测方法，包括以下步骤：

A、体柱划分

设点云空间的坐标系为x-y-z，其中坐标系的原点为传感器所在位置，x轴方向为平行于地面的水平方向，y方向为传感器在水平面内的前方探测方向且与x轴方向垂直，z轴方向为竖直方向。在x-y-z方向上取一定范围内的点云构成所需的点云空间。

将整个点云空间在x-y平面上均匀切分成正方形网格，每个网格的边长设为a，在z轴方向取高度h，使高度h与点云空间高度保持相等，在设定好的x、y、z轴方向上把整个点云空间划分为一定数量的体柱。对于得到的体柱，在z轴方向每隔1/4取样，将体柱划分为4个体积相同的体素网格，随后将获取的体素网格从上往下分别按照4个体素网格、3个体素网格、2个体素网格、1个体素网格的方式组合获得4个不同高度的体柱；

B、特征提取与伪图像生成

对体柱中的每个数据点进行升维并提取特征。对于体柱内的每个数据点其本身是包含坐标信息x、y、z以及反射率信息r所组成的4维特征；在升维过程中，为了增强数据点的信息表示，让先其特征维度扩充为9维，随后让体柱每个数据点经过全连接层生成一个尺寸为A＝(C,P,N)的张量，其中C为通道数，P为体柱个数，N为体柱内数据点的数量。随后在通道方向上施加最大池化操作获得B＝(C,P)的张量。最后按照体柱的切分位置将输出张量堆积起来，即按照切分的高度坐标生成四张拥有不同高度点云信息的伪图像。每张伪图像的尺寸为其中Pⁱ∈R^H×W×C表示深度图像，i表示图像标号，H和W表示图像的高度和宽度。

C、注意力机制特征融合

因为在不同高度的点云环境中，其对应伪图像包含的特征信息也不同，所以为了更好的提取特征，采取注意力机制进行特征融合。它利用网络去关注不同高度上最重要的特征信息，以此增强特征的表示能力。对于生成的4张不同高度的伪图像首先在通道C方向堆叠在一起组合成特征图F∈R^4C×H×W。将特征图送入两个分支，一个分支不做任何处理，另一个分支经过3个卷积核大小为1的卷积层。在第一个分支中，经过第一个卷积层后特征图的尺寸不发生改变依旧为F'∈R^4C×H×W；经过第二个卷积层后特征图的尺寸发生改变为/>最后经过一个卷积层进行特征的升维变为F'∈R^4C×H×W。第二个分支中特征图的尺寸不发生改变为F”∈R^4C×H×W。最后将两个分支特征图进行元素级相加得到新一个的特征图F＝F'+F”∈R^4C×H×W。

D、物体检测

将经过注意力机制后生成的特征图送入主干网络中。所述主干网络由两个子网络构成。第一个子网络其中γ表示激活函数，δ表示批次归一化，α表示通道扩充倍数，λ表示尺寸缩小倍数，第一个子网络通过自上而下的顺序将特征图尺寸逐渐缩减为原来一半而通道数变为原来的两倍，即以越来越小的空间分辨率产生特征，第一个子网络是由3个卷积模块组合而成，其中每个卷积模块利用滤波器大小为3×3、步长为2的二维卷积层实现下采样功能以用来提取细粒度的特征；第二个子网络其中F₁,F₂,F₃表示第一个子网络在3个卷积模块中分别产生的特征图，σ表示拼接操作,/>表示反卷积，第二个子网络用于执行上采样和串联自顶向下的功能进行特征融合以生成最终的特征图。最后，将生成的特征图通过卷积层以回归的方式，在特征图的每个像素点上完成对目标类别、包围盒和朝向的预测，最终输出网络推测的三维包围框。

与现有技术相比，本发明具有以下优势：

1、现有的基于体柱化点云的特征提取方法，如PointPillars，在生成二维伪图像过程中，由于其在Z轴方向上的压缩会导致点云在高度方向上的信息丢失，造成检测不同高度物体时的精度下降。本发明在体柱的不同高度上分别进行了特征的提取与融合，使其能够在生成二维的伪图像过程中保留不同高度物体的特征，有利于对于不同高度物体的检测。

2、现有的基于体素化的特征提取方法，如VoxelNet，其在点云的特征提取过程中需要使用3D卷积或者稀疏卷积导致其计算速度较慢。本发明是局部采用体素化进行特征的升维与聚合，随后对聚合的特征进行伪图像生成，使其可以采用现有的处理二维图像的成熟架构，减少了运算速度的同时也可以提高检测的精度。

附图说明

图1是本发明的流程图。

图2是伪图像生成流程图。

图3是注意力机制融合图。

图4是主干网络图。

具体实施方式

下面将结合附图对申请的技术方案进行详细说明。

本发明针对现有问题，提出了一种基于点云体柱化的目标检测算法，主要处理思路时将三维的物体检测转为二维的物体检测方法，在二维的伪图像上进行目标检测。首先通过点云的体柱化在不同的高度上进行特征的提取，随后将体柱堆叠并生成二维的伪图像，在二维图像上利用成熟的二维网络架构进行预测，最后通过多任务检测头预测模型输出的最终的检测框。

如图1所示，一种基于点云体柱化的三维目标检测方法，包括以下步骤：

步骤1：体柱划分

首先对于原始的点云数据沿着雷达坐标系在z轴方向上取范围为-3米到1米；在x轴方向上取范围为-40米到40米；在y轴方向上取范围为0米到70.4米的立方体范围作为输入点云。将整个点云空间在x-y平面上均匀切分成等间隔的网格，其中每个网格的长和宽都设为0.16米，在z轴方向取4米，使其与点云空间高度保持相等，这样就可以得到440×500个体柱。如图2所示，对于得到的体柱，在z轴方向每隔1/4取样，将体柱划分为4个体积相同的体素网格，随后将获取的体素网格从上往下分别按照4个体素网格、3个体素网格、2个体素网格、1个体素网格的方式组合获得4个不同高度的体柱。

由于点云本身具有极强的稀疏特性，划分得到的体柱内大部分是空的，且大多数非空体柱内拥有的点云数量也比较少。为了限制这种稀疏性需要对每个样本的非空柱体数量和每个体柱的点的数量进行限制。即如果一个样本或体柱包含了太多的数据，那么就对其进行随机采样来筛选数据。相反，如果样本或体柱的数据太少，不足以填充张量，则用零填充张量。为了保持每个体素网格中数据点数量的均衡性，在每个体素网格中选取8个数据点则整个体柱内数据点的数量保持在32个。

步骤2：特征提取与伪图像生成

在对每个体柱进行特征提取前，应先对体柱中点云数据的特征维度进行扩充。对于点云数据中的点，其本身的特征信息是一个包含坐标信息x,y,z和反射率信息r所组成的4维的张量Q＝(x,y,z,r)。为了增强点云的信息表示，将数据点的特征维度扩充为9维，其可表示W＝(x,y,z,r,x_c,y_c,z_c,x_p,y_p)，其中，x_c,y_c,z_c表示数据点的坐标与体柱内所有点算术平均值的距离，x_p,y_p表示数据点在x-y方向上到体柱中心的偏离。其计算过程可以表示为：

x_c＝|x-x_m|,y_c＝|y-y_m|,z_c＝|z-z_m| (2)

x_p＝x-x_t,y_p＝y-y_t (3)

其中x_i、y_i、z_i表示体柱中第i个数据点的坐标，x_m、y_m、z_m表示体柱内所有数据点坐标的算术平均值，x_t、y_t表示体柱中心点的x轴和y轴坐标。

随后体柱中的每个数据点通过一个全连接层，批归一化层和激活函数层生成一个尺寸为A＝(C,P,N)的张量，其中C为通道数，P为体柱个数，N为体柱内数据点的数量。随后在通道方向施加最大池化操作得到输出尺寸为B＝(C,P)的张量。最后按照体柱的切分位置将张量堆积起来，即按照切分的高度坐标可生成四张拥有不同高度点云信息的伪图像。每张伪图像的尺寸为 其中Pⁱ∈R^H×W×C表示二维深度图像，i表示图像标号，H和W表示图像的高度和宽度。

步骤3：注意力机制特征融合

为了更好地获得不同高度之间的特征，本发明采用了注意力机制进行特征间的融合。因为在不同高度的点云环境中，其对应伪图像包含的特征信息也不同，所以为了更好的提取特征，可以采取注意力机制进行特征融合。它可以利用网络去关注不同高度上最重要的特征信息，以此来增强特征的表示能力。如图3所示，对于生成的4张不同高度的伪图像首先将伪图像在通道方向堆叠在一起组合成特征图F∈R^4C×H×W。将特征图送入两个分支，一个分支不做任何处理，另一个分支经过3个卷积核大小为1的卷积层。在第一个分支中，经过第一个卷积层后特征图的尺寸不发生改变依旧为F'∈R^4C×H×W；经过第二个卷积层后特征图的尺寸发生改变为/>最后经过一个卷积层进行特征的升维变为F'∈R^4C×H×W。第二个分支中特征图的尺寸不发生改变为F”∈R^4C×H×W。最后将两个分支特征图进行元素级相加得到新一个的特征图F＝F'+F”∈R^4C×H×W。

步骤4：物体检测

将经过注意力机制后生成新特征图F∈R^4C×H×W，首先经过一个卷积网络使其尺寸变为F∈R^C×H×W，随后将其送入主干网络中。如图4所示，所述主干网络由两个子网络构成，第一个子网络其中γ表示激活函数，δ表示批次归一化，α表示通道扩充倍数，λ表示尺寸缩放倍数。第一个子网络通过自上而下的顺序将特征图尺寸逐渐缩减为原来一半而通道数变为原来的两倍，因此可以以越来越小的空间分辨率产生特征，它是由3个卷积模块组合而成，其中每个卷积模块利用滤波器大小为3×3、步长为2的二维卷积层实现下采样功能以提取细粒度的特征，经过第一个子网络后可以得到3个不同的子特征图/>第二个子网络/> 其中F₁,F₂,F₃表示第一个子网络在3个卷积模块中分别产生的特征图，σ表示拼接操作,/>表示反卷积，第二个子网络首先对传入的特征图执行上采样将F₁,F₂,F₃转换为相同的尺寸/>然后串联自顶向下的功能进行特征融合在通道C方向拼接以生成最终的特征图/> 最后，将生成的特征图通过卷积层以回归的方式，在特征图的每个像素点上完成对目标类别、包围盒和朝向的预测，最终输出网络推测的三维包围框。

本发明不局限于本实施例，任何在本发明披露的技术范围内的等同构思或者改变，均列为本发明的保护范围。

Claims (1)

1.一种基于点云体柱化的三维目标检测方法，包括以下步骤：

A、体柱划分

设点云空间的坐标系为x-y-z，其中坐标系的原点为传感器所在位置，x轴方向为平行于地面的水平方向，y方向为传感器在水平面内的前方探测方向且与x轴方向垂直，z轴方向为竖直方向；在x-y-z方向上取一定范围内的点云构成所需的点云空间；

将整个点云空间在x-y平面上均匀切分成正方形网格，每个网格的边长设为a，在z轴方向取高度h，使高度h与点云空间高度保持相等，在设定好的x、y、z轴方向上把整个点云空间划分为一定数量的体柱；对于得到的体柱，在z轴方向每隔1/4取样，将体柱划分为4个体积相同的体素网格，随后将获取的体素网格从上往下分别按照4个体素网格、3个体素网格、2个体素网格、1个体素网格的方式组合获得4个不同高度的体柱；

B、特征提取与伪图像生成

对体柱中的每个数据点进行升维并提取特征；对于体柱内的每个数据点其本身是包含坐标信息x、y、z以及反射率信息r所组成的4维特征；在升维过程中，为了增强数据点的信息表示，让先其特征维度扩充为9维，随后让体柱每个数据点经过全连接层生成一个尺寸为A＝(C,P,N)的张量，其中C为通道数，P为体柱个数，N为体柱内数据点的数量；随后在通道方向上施加最大池化操作获得B＝(C,P)的张量；最后按照体柱的切分位置将输出张量堆积起来，即按照切分的高度坐标生成四张拥有不同高度点云信息的伪图像；每张伪图像的尺寸为其中Pⁱ∈R^H×W×C表示深度图像，i表示图像标号，H和W表示图像的高度和宽度；

C、注意力机制特征融合

因为在不同高度的点云环境中，其对应伪图像包含的特征信息也不同，所以为了更好的提取特征，采取注意力机制进行特征融合；它利用网络去关注不同高度上最重要的特征信息，以此增强特征的表示能力；对于生成的4张不同高度的伪图像首先在通道C方向堆叠在一起组合成特征图F∈R^4C×H×W；将特征图送入两个分支，一个分支不做任何处理，另一个分支经过3个卷积核大小为1的卷积层；在第一个分支中，经过第一个卷积层后特征图的尺寸不发生改变依旧为F'∈R^4C×H×W；经过第二个卷积层后特征图的尺寸发生改变为/>最后经过一个卷积层进行特征的升维变为F'∈R^4C×H×W；第二个分支中特征图的尺寸不发生改变为为F”∈R^4C×H×W；最后将两个分支特征图进行元素级相加得到新一个的特征图F＝F'+F”∈R^4C×H×W；

D、物体检测

将经过注意力机制后生成的特征图送入主干网络中；所述主干网络由两个子网络构成；第一个子网络其中γ表示激活函数，δ表示批次归一化，α表示通道扩充倍数，λ表示尺寸缩小倍数，第一个子网络通过自上而下的顺序将特征图尺寸逐渐缩减为原来一半而通道数变为原来的两倍，即以越来越小的空间分辨率产生特征，第一个子网络是由3个卷积模块组合而成，其中每个卷积模块利用滤波器大小为3×3、步长为2的二维卷积层实现下采样功能以用来提取细粒度的特征；第二个子网络其中F₁,F₂,F₃表示第一个子网络在3个卷积模块中分别产生的特征图，σ表示拼接操作,/>表示反卷积，第二个子网络用于执行上采样和串联自顶向下的功能进行特征融合以生成最终的特征图；最后，将生成的特征图通过卷积层以回归的方式，在特征图的每个像素点上完成对目标类别、包围盒和朝向的预测，最终输出网络推测的三维包围框。