CN116664874B - 一种单阶段细粒度轻量化点云3d目标检测系统及方法 - Google Patents

Abstract

本申请公开了一种单阶段细粒度轻量化点云3D目标检测系统及方法，其中系统包括：点云特征编码模块、体素特征提取模块、BEV特征提取模块和检测模块；点云特征编码模块用于对输入的点云数据进行体素化，并对每个体素中的点云特征进行编码，得到编码后特征；体素特征提取模块用于对编码后特征进行体素特征提取，得到体素特征；BEV特征提取模块基于体素特征进行特征转化提取，得到BEV特征；检测模块基于BEV特征进行目标检测。本申请体素特征的提取比传统的稀疏卷积网络更快更准确，尽可能保持原始点云特征的完整性和稀疏性，使提取的点云特征具有一定的细粒度；构建的BEV特征提取模块可以非常有效地提取细粒度BEV特征。

Description

一种单阶段细粒度轻量化点云3D目标检测系统及方法

技术领域

本申请属于3D目标检测技术领域，具体涉及一种单阶段细粒度轻量化点云3D目标检测系统及方法。

背景技术

点云数据可以显示周围环境的深度信息，但点云数据稀疏，密度变化大，给3D目标检测带来困难。目前，用于完成点云的3D目标检测的深度学习算法，包括基于原始点和基于体素的算法。其中，基于原始点的检测算法主要利用Pointnet++等网络提取原始点云的点级别的特征。它可以保持原始点云的细粒度物体结构，实现高性能检测，但是计算量大，实时性差，不利于实际应用。基于体素的检测算法首先将原始点云数据转换为体素表示，然后利用稀疏卷积完成体素的特征提取，用体素特征表示原始点云，然后完成检测。这种算法计算成本较低，对硬件的要求也较低，但提取的特征缺乏细粒度，影响了3D目标检测的精度。如何在3D目标检测的精度和速度之间取得平衡一直是一个重要的研究问题。

发明内容

本申请旨在解决现有技术的不足，提出一种单阶段细粒度轻量化点云3D目标检测系统及方法，用于改进单阶段点云3D目标检测任务中提取特征缺乏细粒度，目标检测速度和精度不平衡的问题。

为实现上述目的，本申请提供了如下方案：

一种单阶段细粒度轻量化点云3D目标检测系统，包括：点云特征编码模块、体素特征提取模块、BEV特征提取模块和检测模块；

所述点云特征编码模块用于对输入的点云数据进行体素化，并对每个体素中的点云特征进行编码，得到编码后特征；

所述体素特征提取模块用于对所述编码后特征进行体素特征提取，得到体素特征；

所述BEV特征提取模块基于所述体素特征进行特征转化提取，得到BEV特征；

所述检测模块基于所述BEV特征进行目标检测。

优选的，所述体素特征提取模块包括：子流形稀疏卷积单元、交叉稀疏卷积单元和规则稀疏卷积单元；

所述子流形稀疏卷积单元用于对所述编码后特征进行采样和体素特征初步提取，得到第一输出结果；

所述交叉稀疏卷积单元用于将所述第一输出结果进行特征提取操作，得到第二输出结果；

所述规则稀疏卷积单元用于将所述第二输出结果进行输出，得到所述体素特征。

优选的，所述BEV特征提取模块包括：下采样单元、特征增强单元和采样单元；

所述下采样单元用于对所述体素特征进行通道下采样和特征图下采样，得到第一特征；

所述特征增强单元用于将所述第一特征进行特征增强，得到细腻化特征；

所述采样单元用于对所述细腻化特征进行通道采样和特征映射采样，得到所述BEV特征。

优选的，所述BEV特征提取模块还包括跳跃连接单元；

所述跳跃连接单元用于避免在所述下采样单元和特征增强单元中由于网络层数的增加导致的所述BEV特征的退化问题。

本申请还提供了一种单阶段细粒度轻量化点云3D目标检测方法，包括以下步骤：

对输入的点云数据进行体素化，并对每个体素中的点云特征进行编码，得到编码后特征；

对所述编码后特征进行体素特征提取，得到体素特征；

基于所述体素特征进行特征转化提取，得到BEV特征；

基于所述BEV特征进行目标检测。

优选的，所述体素特征提取的方法包括：

对所述编码后特征进行采样和体素特征初步提取，得到第一输出结果；

将所述第一输出结果进行特征提取操作，得到第二输出结果；

将所述第二输出结果进行输出，得到所述体素特征。

优选的，所述特征转化提取的方法包括：

对所述体素特征进行通道下采样和特征图下采样，得到第一特征；

将所述第一特征进行特征增强，得到细腻化特征；

对所述细腻化特征进行通道采样和特征映射采样，得到所述BEV特征。

与现有技术相比，本申请的有益效果为：

（1）本申请体素特征的提取比传统的稀疏卷积网络更快、更准确。尽可能保持原始点云特征的完整性和稀疏性，使提取的点云特征具有一定的细粒度；

（2）本申请构建的BEV特征提取模块可以非常有效地提取细粒度BEV特征，提高模型的性能；

（3）本申请在基准数据集KITTI和ONCE上表现良好，实现了速度和精度的平衡。

附图说明

为了更清楚地说明本申请的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的系统结构示意图；

图2为本申请实施例的系统整体框架示意图；

图3为本申请实施例的体素特征提取模块的结构示意图；

图4为本申请实施例的BEV特征提取模块的结构示意图；

图5为本申请实施例的方法流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

实施例一

在本实施例中，如图1、图2所示，一种单阶段细粒度轻量化点云3D目标检测系统，包括：点云特征编码模块、体素特征提取模块、BEV特征提取模块和检测模块。

点云特征编码模块用于对输入的点云数据进行体素化，并对每个体素中的点云特征进行编码，得到编码后特征。在本实施例中，体素化的过程包括：对输入的点云数据，分别计算出X、Y、Z三个方向点云数据坐标的最大值与最小值的差，然后根据三个方向的差值，确定合适的体素尺寸，随后将点云空间网格化，即建立体素，每个体素中包含采样到的点云数据。

体素特征提取模块用于对编码后特征进行体素特征提取，得到体素特征。体素特征提取模块包括：子流形稀疏卷积单元、交叉稀疏卷积单元和规则稀疏卷积单元；子流形稀疏卷积单元用于对编码后特征进行采样和体素特征初步提取，得到第一输出结果；交叉稀疏卷积单元用于将第一输出结果进行特征提取操作，得到第二输出结果；规则稀疏卷积单元用于将第二输出结果进行输出，得到体素特征。

在本实施例中，体素特征提取模块选用了自行构建的轻量化多分支交叉稀疏卷积骨干网络，如图3所示，与传统的稀疏卷积网络相比，它可以更有效地提取体素特征，并在一定程度上保持原始点云特征细粒度。首先，利用子流形稀疏卷积单元进行采样和体素特征初步提取，得到第一输出结果。将第一输出结果输入到两个具有规则稀疏卷积的并行分支中，每个分支的输出通过通道连接起来，使得到的特征尽可能保持点云特征的完整性，该过程是规则交叉稀疏卷积模块的特征提取操作；然后，将两个具有规则稀疏卷积输出的特征分别输入到两个具有子流形稀疏卷积的并行分支中，并将每个分支的输出进行通道连接，得到新的保持点云原始特征稀疏性的特征图，这个过程是子流形稀疏卷积特征提取操作，最后，将两个具有规则稀疏卷积的并行分支和两个具有子流形稀疏卷积的并行分支叠加得到交叉稀疏卷积单元，进而得到第二输出结果。通过规则稀疏卷积单元输出，得到体素特征。以此构建了整个轻量化多支路交叉稀疏卷积骨干网络。通过该网络提取的点云特征将在一定程度上保持完整性和稀疏性，使提取的点云特征保持更细的粒度，有利于目标检测。

BEV特征提取模块基于体素特征进行特征转化提取，得到BEV特征。BEV特征提取模块包括：下采样单元、特征增强单元和采样单元。下采样单元用于对体素特征进行通道下采样和特征图下采样，得到第一特征。特征增强单元用于将第一特征进行特征增强，得到细腻化特征。采样单元用于对细腻化特征进行通道采样和特征映射采样，得到BEV特征。BEV特征提取模块还包括跳跃连接单元。跳跃连接单元用于避免在下采样单元和特征增强单元中由于网络层数的增加导致的BEV特征的退化问题。

在本实施例中，BEV特征提取模块选用了自行构建的基于自注意力的轻量化细粒度BEV特征提取模块，如图4所示，能够有效地提取细粒度特征。首先，通过下采样单元的卷积进行通道下采样和特征图下采样，使原BEV特征图的通道和大小减小到原来的一半，减少后续各层的计算量。然而，这样将导致特征模糊，不利于目标检测。为解决这个问题，引入了特征增强单元，包括Swin Transformer、卷积层和跳跃连接来构建细粒度的BEV特征提取，可以减少下采样的影响：将下采样得到的第一特征映射馈送到卷积层和Swin Transformer中，增强局部和全局特征的细腻化；此外，使用跳跃连接可避免在下采样单元和特征增强单元中由于网络层数的增加而导致BEV特征的退化的问题；从这些操作中构建了一个块，并总共堆叠了两个。最后利用采样单元进行通道采样和特征映射采样，将提取的BEV特征映射回与输入BEV特征相同的尺寸，进一步细腻化BEV特征，提高模型的检测性能。

检测模块基于BEV特征进行目标检测。在本实施例中，利用检测头完成点云3D目标检测。

实施例二

在本实施例中，如图5所示，一种单阶段细粒度轻量化点云3D目标检测方法，包括以下步骤：

S1.对输入的点云数据进行体素化，并对每个体素中的点云特征进行编码，得到编码后特征。在本实施例中，体素化的过程包括：对输入的点云数据，分别计算出X、Y、Z三个方向点云数据坐标的最大值与最小值的差，然后根据三个方向的差值，确定合适的体素尺寸，随后将点云空间网格化，即建立体素，每个体素中包含采样到的点云数据。

S2.对编码后特征进行体素特征提取，得到体素特征。

体素特征提取的方法包括：对编码后特征进行采样和体素特征初步提取，得到第一输出结果；将第一输出结果进行特征提取操作，得到第二输出结果；将第二输出结果进行输出，得到体素特征。

在本实施例中，首先，进行采样和体素特征初步提取，得到第一输出结果。将第一输出结果输入到两个具有规则稀疏卷积的并行分支中，每个分支的输出通过通道连接起来，使得到的特征尽可能保持点云特征的完整性，该过程是规则交叉稀疏卷积模块的特征提取操作；然后，将两个具有规则稀疏卷积输出的特征分别输入到两个具有子流形稀疏卷积的并行分支中，并将每个分支的输出进行通道连接，得到新的保持点云原始特征稀疏性的特征图，这个过程是子流形稀疏卷积特征提取操作，最后，将两个具有规则稀疏卷积的并行分支和两个具有子流形稀疏卷积的并行分支叠加，进而得到第二输出结果。通过规则稀疏卷积输出，得到体素特征。

S3.基于体素特征进行特征转化提取，得到BEV特征。

特征转化提取的方法包括：对体素特征进行通道下采样和特征图下采样，得到第一特征；将第一特征进行特征增强，得到细腻化特征；对细腻化特征进行通道采样和特征映射采样，得到BEV特征。

在本实施例中，首先，通过卷积进行通道下采样和特征图下采样，使原BEV特征图的通道和大小减小到原来的一半，减少后续各层的计算量。然而，这样将导致特征模糊，不利于目标检测。为解决这个问题，引入了Swin Transformer、卷积层和跳跃连接来构建细粒度的BEV特征提取，可以减少下采样的影响。将下采样的BEV特征映射馈送到卷积层和SwinTransformer中，可以增强局部和全局特征的细腻化。此外，使用跳跃连接可避免由于网络层数的增加而导致BEV特征的退化的问题。最后进行通道采样和特征映射采样，将提取的BEV特征映射回与输入BEV特征相同的尺寸，进一步细腻化BEV特征，提高模型的检测性能。

S4.基于BEV特征进行目标检测。在本实施例中，利用检测头基于BEV特征完成点云3D目标检测。

实施例三

目前自动驾驶中广泛采用激光雷达作为感知系统中的重要传感器。激光雷达所产生的点云数据具有丰富的物体几何信息，相比较于双目摄像头等传感器所获得的数据更加稳定和丰富，能显示周围环境的深度信息，但点云数据是稀疏的，并且密度变化大，造成点云的3D目标检测难度较大。

在本实施例中，单阶段细粒度轻量化点云3D目标检测系统在公开的大规模3D目标检测数据集训练后，将训练好的权重保存下来，并将训练好的模型及其权重移植到自动驾驶汽车所搭载的系统中。自动驾驶汽车在行驶过程中，用激光雷达采集到周围环境的点云数据，3D目标检测系统首先对采集的点云数据进行体素化，并对每个体素中的点云特征进行编码。再通过轻量化多支路交叉稀疏卷积骨干网络提取体素特征，该模块比传统的稀疏卷积网络更快、更准确，且尽可能保持原始点云特征的完整性和稀疏性，使提取的点云特征具有一定的细粒度；然后，将提取的体素特征转换为BEV特征，并使用细粒度BEV特征提取模块完成BEV特征提取，该模块可以非常有效地提取细粒度BEV特征，提高模型的性能。最后利用检测头可以检测出自动驾驶汽车周围物体的形状、位置、类别、方向等重要信息。为自动驾驶下游任务，如：轨迹预测，提供重要依据，有助于自动驾驶汽车实现更好的行为决策和路径规划。

实施例四

在本实施例中，为了验证提出的3D目标检测系统的良好性能，将模型在测试集上的检测结果提交到KITTI官方网站进行结果评估。表1给出了本实施例系统与其他先进模型在KITTI测试集上的对比结果。进行单类别训练和多类别训练。此外，还对本申请系统和其他模型的推理速度进行了评估，为与其他模型进行公平有效的比较，分别对比输入单帧点云的推理时间（BatchSize为1时的模型推理时间）和相同实验配置下可以运行的最大帧数点云的推理时间（BatchSize设置为最大时的模型推理时间）。

表1

通过实验结果可以经看出，在KITTI的测试集中，3D目标检测系统在Car类别的中等难度的准确率达到81.67%，简单难度的准确率达到88.46%，困难难度的准确率达到76.72%。最高检测速度达到46.08 FPS，实现了速度与精度的平衡。与两阶段检测算法中的Voxel-RCNN相比，3D目标检测系统在Car类别的中等难度的检测精度上达到了相近的精度，但检测速度提高了12FPS。与单阶段检测算法RDIoU相比，3D目标检测系统虽然降低了Car类别的中等难度的检测精度，但检测速度提高了15FPS。

为了验证提出的模型的优越性和鲁棒性，我们还在KITTI的验证集上进行了相应的检验。通过11个召回和40个召回位置计算得到测试结果，分别如表2和表3所示。

表2

表3

通过对比实验验证轻量化多分支交叉稀疏卷积骨干网络的作用。首先，将本实施例提出的点云特征提取网络加入到基准模型中，通过实验验证轻量化多支路交叉稀疏卷积骨干网的有效性和重要性，实验结果如表4所示。实验结果表明，轻量化多分支交叉稀疏卷积骨干网络在提高目标检测速度的同时，能够帮助基准模型保持目标检测性能。当3D检测系统中没有轻量化多分支交叉稀疏卷积骨干网络时，该模型提高了目标检测性能。然而，在最大性能情况下，检测速度下降了近5 FPS。综上所述，轻量化多分支交叉稀疏卷积骨干网络在一定程度上保持了原始点云特征的完整性和稀疏性，使得提取的点云特征具有较细的粒度，有利于模型完成3D点云目标检测。

为了验证基于自注意力的轻量化细粒度BEV特征提取模块的功能，首先将BEV特征提取模块添加到基准模型中进行消融实验。实验结果如表4所示。然后，通过消融实验验证了BEV特征提取模块在3D目标检测系统中的重要性。从表4的结果可以看出， BEV特征提取模块可以在保持检测精度的前提下，显著提高基准模型的检测速度。例如，当模型输入BatchSize达到最大值时，模型检测速度降低了近10 FPS。

表4

以上所述的实施例仅是对本申请优选方式进行的描述，并非对本申请的范围进行限定，在不脱离本申请设计精神的前提下，本领域普通技术人员对本申请的技术方案做出的各种变形和改进，均应落入本申请权利要求书确定的保护范围内。

Claims (4)

1.一种单阶段细粒度轻量化点云3D目标检测系统，其特征在于，包括：点云特征编码模块、体素特征提取模块、BEV特征提取模块和检测模块；

所述点云特征编码模块用于对输入的点云数据进行体素化，并对每个体素中的点云特征进行编码，得到编码后特征；

所述体素特征提取模块用于对所述编码后特征进行体素特征提取，得到体素特征；

所述BEV特征提取模块基于所述体素特征进行特征转化提取，得到BEV特征；

所述检测模块基于所述BEV特征进行目标检测；

所述体素特征提取模块包括：子流形稀疏卷积单元、交叉稀疏卷积单元和规则稀疏卷积单元；

所述子流形稀疏卷积单元用于对所述编码后特征进行采样和体素特征初步提取，得到第一输出结果；

所述交叉稀疏卷积单元用于将所述第一输出结果进行特征提取操作，得到第二输出结果；

所述规则稀疏卷积单元用于将所述第二输出结果进行输出，得到所述体素特征；

具体的，首先，利用子流形稀疏卷积单元进行采样和体素特征初步提取，得到第一输出结果；

将第一输出结果输入到两个具有规则稀疏卷积的并行分支中，每个分支的输出通过通道连接起来，使得到的特征尽可能保持点云特征的完整性，该过程是规则交叉稀疏卷积模块的特征提取操作；

然后，将两个具有规则稀疏卷积输出的特征分别输入到两个具有子流形稀疏卷积的并行分支中，并将每个分支的输出进行通道连接，得到新的保持点云原始特征稀疏性的特征图，这个过程是子流形交叉稀疏卷积特征提取操作；

最后，将两个具有规则稀疏卷积的并行分支和两个具有子流形稀疏卷积的并行分支叠加得到交叉稀疏卷积单元，进而得到第二输出结果，通过规则稀疏卷积单元输出，得到体素特征；

所述BEV特征提取模块包括：下采样单元、特征增强单元和采样单元；

所述下采样单元用于对所述体素特征进行通道下采样和特征图下采样，得到第一特征；

所述特征增强单元用于将所述第一特征进行特征增强，得到细腻化特征；

所述采样单元用于对所述细腻化特征进行通道采样和特征映射采样，得到所述BEV特征；

所述BEV特征提取模块还包括跳跃连接单元；

所述跳跃连接单元用于避免在所述下采样单元和特征增强单元中由于网络层数的增加导致的所述BEV特征的退化问题；

具体的，首先，通过下采样单元的卷积进行通道下采样和特征图下采样，使原BEV特征图的通道和大小减小到原来的一半，减少后续各层的计算量；

引入了特征增强单元，包括Swin Transformer、卷积层和跳跃连接来构建细粒度的BEV特征提取，以减少下采样的影响：将下采样得到的第一特征映射馈送到卷积层和SwinTransformer中，增强局部和全局特征的细腻化；

使用跳跃连接可避免在下采样单元和特征增强单元中由于网络层数的增加而导致BEV特征的退化的问题；从以上构建了一个块，并堆叠了两个；

利用采样单元进行通道采样和特征映射采样，将提取的BEV特征映射回与输入BEV特征相同的尺寸，进一步细腻化BEV特征，提高模型的检测性能。

2.一种单阶段细粒度轻量化点云3D目标检测方法，其特征在于，包括以下步骤：

对输入的点云数据进行体素化，并对每个体素中的点云特征进行编码，得到编码后特征；

对所述编码后特征进行体素特征提取，得到体素特征；

基于所述体素特征进行特征转化提取，得到BEV特征；

基于所述BEV特征进行目标检测。

3.根据权利要求2所述一种单阶段细粒度轻量化点云3D目标检测方法，其特征在于，所述体素特征提取的方法包括：

对所述编码后特征进行采样和体素特征初步提取，得到第一输出结果；

将所述第一输出结果进行特征提取操作，得到第二输出结果；

将所述第二输出结果进行输出，得到所述体素特征。

4.根据权利要求2所述一种单阶段细粒度轻量化点云3D目标检测方法，其特征在于，所述特征转化提取的方法包括：

对所述体素特征进行通道下采样和特征图下采样，得到第一特征；

将所述第一特征进行特征增强，得到细腻化特征；

对所述细腻化特征进行通道采样和特征映射采样，得到所述BEV特征。