CN113920446A - 一种基于原始点云处理的3d目标检测算法 - Google Patents

Abstract

本发明提供了一种基于原始点云处理的3D目标检测算法，所述3D目标检测算法在GPU上基于cuda完成，包括：对原始点云数据进行第一次特征提取处理，完成对待检测目标的类别和边界框的第一次预测，获取以类别预测分值最高的索引作为待检测目标的对应类别，以及边界框预测信息；对在第一次特征提取处理中获得的边界框中的点云进行第二次特征提取处理，完成类别和边界框的第二次预测，最终输出整个点云场景内的3D目标信息。本发明从点云操作到神经网络操作都保持很高的处理速度，同时在原始点云上进行特征提取保证了3D目标检测算法的高精度，实现了端到端进行点云特征提取的3D目标检测算法。

Description

一种基于原始点云处理的3D目标检测算法

技术领域

本公开涉及激光雷达检测技术领域，尤其涉及一种基于原始点云处理的3D目标检测算法。

背景技术

激光雷达是自动驾驶领域不可或缺的传感器之一。它依靠激光束不间断扫描完成对周围环境的场景再现，不同激光雷达可以产生数量不等的3D激光点，激光点描述物体表面在雷达坐标系下的xyz准确坐标和反射率。点云数据是稀疏的、无序的且非结构化，不同于图像数据规则有序，因此无法直接应用图像的2D目标检测算法在点云领域。

在激光点云3D目标检测领域，存在不同的处理方法：(1)基于2D图像思路处理的点云的，这种方法虽然可以快速进行检测但会丢失点云的高度信息，仅能在鸟瞰图上产生2D边界框(complex yolo)；(2)基于网格化思路处理点云的，这种方式也会丢失部分的原始点信息，导致点云网格化过程中处理速度慢且精度不高的问题(second pointpillar)；(3)基于原始点云进行处理的，直接提取点级的特征并进行聚合，在原始点的特征上进行目标检测，这种处理方式可以保持点的原始特征，3D目标检测精度高但算法模型的计算量比较大耗时较长(pointrcnn)。

现有技术中，基于原始点云的典型目标检测算法是PointRCNN，网络由四部分构成，第一部分为第一阶段神经网络处理部分；第二部分为一阶段网络的后处理部分，在CPU中完成，耗时较长；第三部分为第二阶段神经网络处理部分，在GPU中处理；第四部分为第二阶段后处理部分，在CPU中处理，耗时较长。总体来讲，整个两阶段网络的数据处理需要在不同的硬件设备传输四次，且每个过程都耗时较为长，导致基于原始点的3D目标检测算法无法达到实时性。

综上，现有技术对点云场景进行3D目标检测存在三大问题，一是3D点云算法的精度和速度很难达到均衡；二是无法形成真正端到端的检测，这就会造成数据在处理过程中造成极大的延时，对于实际应用十分不友好；三是现有技术非神经网络的数据处理部分繁杂，耗时严重且占用内存较大，造成了算法模型的复杂度高计算量大。

发明内容

有鉴于此，本发明提供一种基于原始点云处理的3D目标检测算法，本发明采用端到端设计的思路，对点云神经网络处理部分使用cuda和cudnn加速，在此基础上又运用cuda加速非神经网络的数据处理部分，从点云操作到神经网络操作都保持很高的处理速度，同时在原始点云上进行特征提取保证了3D目标检测算法的高精度，实现了端到端进行点云特征提取的3D目标检测算法。本发明解决了现有的基于原始点云处理的检测算法模型无法端到端实时运行的问题，以及3D目标检测算法速度与精度难以均衡的问题。

为了实现上述目的，本发明提供如下技术方案：

一种基于原始点云处理的3D目标检测算法，所述3D目标检测算法在GPU上基于cuda完成，包括：

对原始点云数据进行第一次特征提取处理，完成对待检测目标的类别和边界框的第一次预测，获取以类别预测分值最高的索引作为待检测目标的对应类别，以及边界框预测信息；

对在第一次特征提取处理中获得的边界框中的点云进行第二次特征提取处理，完成类别和边界框的第二次预测，最终输出整个点云场景内的3D目标信息。

进一步地，所述第一次特征提取处理用于对采样点的特征进行特征融合与提取，提取采样点的高层语义特征作为原始点云的高层语义特征，根据所述原始点云的高层语义特征，进行待检测目标的类别和边界框的第一次预测。

进一步地，所述第一次特征提取处理具体包括：对原始点云先进行网格下采样，降低点云的分辨率，再将采样后的点云的底层特征进行聚合，并将聚合后的底层特征经过神经网络处理层进行高层维度特征的提取，再经过上采样层对下采样生成的下采样点进行特征插值的操作，将低分辨率的高层维度特征恢复到高分辨率的原始尺寸的点云上，得到原始点的上采样特征，再将上采样特征经过神经网络处理层进行融合和提取，获取所述原始点云的高层语义特征。

进一步地，所述边界框预测信息包括预测类别目标anchor对应的长宽高相对偏移量、三维坐标绝对值、目标朝向角。

进一步地，所述第二次特征提取处理包括：将第一次预测后得到的边界框中的点，再次进行下采样特征提取与聚合操作，获得每个边界框内部点的高层语义特征，接着对获取的边界框的高层语义特征进行类别和边界框的第二次预测。

进一步地，在所述第二次特征提取处理之前还包括，将第一次预测后得到的边界框预测信息经过解码，转换为目标的边界框绝对值，并进行nms操作，保留类别得分高于设定值的边界框，接着在原始点中进行查询，基于cuda的并行性对保留后的每个边界框分别进行附近网格点的查询，最终得到每个边界框内的点云，再进行第二次特征提取处理。

进一步地，所述的nms操作中，是将目标的边界框绝对值按类别得分进行排序，并计算每个类别中各个框与最高得分边界框的IOU，按类别得分的设定值进行过滤，保留类别得分高于设定值的边界框。

进一步地，在进行完类别和边界框的第二次预测之后还包括，对第二次预测之后得到的类别和边界框预测信息进行修正，再次进行nms操作，最终输出整个点云场景内的存在目标的3D类别和边界框的信息。

进一步地，所述的3D目标信息包括目标的三维xyz坐标、目标的长宽高，以及目标的朝向角共7个值

进一步地，所述的原始点云数据包括，每个点以xyz三个坐标值和反射率的共4个数值。

本发明实现了端到端对原始点云处理的3D目标检测算法，其关键点在于整个算法中将各个处理操作和神经网络层组合起来。实现了从点云操作到神经网络操作都保持很高的处理速度，同时在原始点云上进行特征提取保证了3D目标检测算法的高精度，该高精度的3D点云算法可投入实际应用中，只需经过一些部署优化操作便可在自动驾驶领域进行落地应用。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例的3D目标检测算法流程示意图。

具体实施方式

下面结合附图对本公开实施例进行详细描述。

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

本发明提供一种基于原始点云处理的3D目标检测算法，所述3D目标检测算法在GPU上基于cuda(Compute Unified Device Architecture，通用并行计算架构)完成，包括：

对原始点云数据进行第一次特征提取处理，完成对待检测目标的类别和边界框的第一次预测，获取以类别预测分值最高的索引作为待检测目标的对应类别，以及边界框预测信息；

对在第一次特征提取处理中获得的边界框中的点云进行第二次特征提取处理，完成类别和边界框的第二次预测，最终输出整个点云场景内的存在目标的3D类别和边界框的信息。

接下来，参考附图1，对本发明的3D目标检测算法进一步说明。

如图1所示为本发明实施例的端到端基于原始点云处理的3D目标检测网络结构示意图，输入为原始点云数据，其中每个点以xyz三个坐标值和反射率共4个数值表示，从上至下依次为网格采样层、邻近点查询与特征聚合层、神经网络处理层、上采样层、神经网络处理层、类别与边界框预测层、边界框解码层、NMS(Non-Maximum Suppression，非极大值抑制)、边界框点查询层、网格采样层、邻近点查询与特征聚合层、神经网络处理层、类别与边界框预测层、边界框解码、NMS(非极大值抑制)，输出为3D目标信息，其中包含目标的三维中心坐标XYZ、目标的真实尺寸长宽高和目标的朝向角度共7个数值。

本发明实施例完成了端到端进行点云特征提取的3D目标检测算法，整个过程统一在GPU上基于cuda完成，使3D点云目标检测算法模型推理过程具备高帧率的优势。其中，上述的端到端指的是整个3D点云目标检测算法从接收点云数据到输出目标3D检测框都在GPU中完成，无需调用或转换至其他计算单元即可完成整个算法的处理，具体包括如下步骤：

1、对接收到的原始点云数据进行网格下采样，这里类似于图像的卷积下采样，目的是降低点云的分辨率，由于点云是稀疏无序的，在数据量很大的原始点云中进行下采样非常消耗硬件资源，为了保证采样点分布相对均匀，因此我们考虑在空间尺度上划分固定大小的网格，在每个网格里取部分点，这样就可实现并行采样，极大减少采样带来的耗时。

2、采样后的点云在空间中分布较为均匀，为了提取每个点的语义信息，需要对其及附近点的特征进行提取。这就需要查找每个点附近的16个点和32点，邻近点查询是本实施例基于cuda完成的快速查询算子，主要思想是查询上一步中每个网格的采样点最邻近的27个网格或次近邻125个网格中距离较近的点。如果邻近点数量不足16或者32个点，则用最近的点进行补全。经过邻近点查询后，下采样的每个点都有固定数量的邻近点，将每个点的xyz三维坐标值和反射率进行拼接完成底层特征的聚合。

3、将上一步聚合的特征进行高层特征的提取，包括Linear、BN、Relu层，这些层属于神经网络处理层，在GPU上并行处理速度比较快。最终提取到的特征是每个聚合采样点的高层维度特征，这里使用Maxpool对每个聚合采样点的特征取其最大值作为本采样点的邻域特征。

4、上采样层是对上一步生成的下采样点进行特征插值的操作，类似于图像的上采样层，目的是将低分辨率的高层维度特征恢复到高分辨率的原始尺寸的点云上。对于每个下采样点，本发明实施例需要利用cuda的并行处理来查询原始点在下采样点集中附近的3个点，取这3个点的特征作为原始点的特征，对3个下采样点到原始点的距离进行归一化得到3个点的权重，将3个权重乘上3个点对应的特征值，得到本原始点的上采样特征。

5、对上采样的特征进行特征融合与提取，将原始点的特征经过两个Linear、BN和ReLU层，提取其高层语义特征作为原始点的高层语义特征。

6、根据原始点云的高层语义特征，进行待检测目标的类别预测和其边界框的回归，类别预测输出几个类别的得分，经过sigmoid函数后取其分值最高的索引作为其对应的类别；边界框预测信息包括预测类别目标anchor对应的长宽高相对偏移量、三维坐标绝对值、目标朝向角。

7、边界框解码层，主要将上一步得到的边界框预测信息转换为目标的边界框绝对值，分为目标的三维xyz坐标、目标的长宽高、目标的朝向角7个值。

8、非极大值抑制nms层，将目标预测框按类别得分进行排序，并计算每个类别中各个框与最高得分预测框的IOU(交并比)，过滤掉大于一定阈值的预测框，这样保证了在每个目标处仅有一个得分最高的边界框，此步骤nms保留一定数量得分较高的边界框。

9、边界框点查询层基于nms输出的边界框，在原始点中进行查询，这里本发明实施例基于cuda的并行性对每个边界框分别进行附近网格点的查询，保证了处理过程低时延，最终得到每个边界框内一定数量的点。

10、对上一步得到的边界框中的点，再次进行下采样特征提取与聚合操作，接着重复2.3步骤，获得每个边界框内部点的高层语义特征，在此基础上对每个框里的多个点高层语义特征进行maxpool，最终保留每个框对应的高层语义特征。

11、对上一步得到的边界框的语义特征进行类别预测和边界框预测，这里类别预测是再次修正边界框的类别，边界框预测信息也是在步骤8的基础上进行边界框的修正。

12、对上一步骤修正后的边界框，再次进行nms操作，最终输出整个点云场景内的存在目标的3D类别和边界框的信息。

其中，本发明实施例中，点云的网格采样层可以用最远点采样或者随机采样进行替代，同样可以达到降低点云分辨率的目的。NMS非极大值抑制操作可以用DINMS、IOUNMS，SoftNMS等替代，同样可以达到过滤重叠的边界框的目的。神经网络处理层中，Linear、BN、Relu可以用Conv2d、BN、Relu/LeakyRelu/Relu来替代，同样可以达到特征提取的目的，另外MaxPool可以用Avgpool来替代，同样可以达到池化取最大特征的目的。

在本发明的一种具体实施例中，以Nvidia的2080 TI GPU为例，原始点云数据传输到GPU中，即可开始整个3D点云算法的处理，处理过程包括点云的采样、临近点查询与分组、特征提取与聚合、特征插值、特征融合、NMS和坐标转换等操作，最终由GPU输出3D目标信息，GPU端输入数据到GPU端输出数据这种端到端的处理方式保证了数据的高速处理，保证了3D点云算法的实时性与高效性。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于原始点云处理的3D目标检测算法，所述3D目标检测算法在GPU上基于cuda完成，其特征在于，包括：

对原始点云数据进行第一次特征提取处理，完成对待检测目标的类别和边界框的第一次预测，获取以类别预测分值最高的索引作为待检测目标的对应类别，以及边界框预测信息；

对在第一次特征提取处理中获得的边界框中的点云进行第二次特征提取处理，完成类别和边界框的第二次预测，最终输出整个点云场景内的3D目标信息。

2.根据权利要求1所述的基于原始点云处理的3D目标检测算法，其特征在于，所述第一次特征提取处理用于对采样点的特征进行特征融合与提取，提取采样点的高层语义特征作为原始点云的高层语义特征，根据所述原始点云的高层语义特征，进行待检测目标的类别和边界框的第一次预测。

3.根据权利要求2所述的基于原始点云处理的3D目标检测算法，其特征在于，所述第一次特征提取处理具体包括：对原始点云先进行网格下采样，降低点云的分辨率，再将采样后的点云的底层特征进行聚合，并将聚合后的底层特征经过神经网络处理层进行高层维度特征的提取，再经过上采样层对下采样生成的下采样点进行特征插值的操作，将低分辨率的高层维度特征恢复到高分辨率的原始尺寸的点云上，得到原始点的上采样特征，再将上采样特征经过神经网络处理层进行融合和提取，获取所述原始点云的高层语义特征。

4.根据权利要求1至3任一项所述的基于原始点云处理的3D目标检测算法，其特征在于，所述边界框预测信息包括预测类别目标anchor对应的长宽高相对偏移量、三维坐标绝对值、目标朝向角。

5.根据权利要求4所述的基于原始点云处理的3D目标检测算法，其特征在于，所述第二次特征提取处理包括：将第一次预测后得到的边界框中的点，再次进行下采样特征提取与聚合操作，获得每个边界框内部点的高层语义特征，接着对获取的边界框的高层语义特征进行类别和边界框的第二次预测。

6.根据权利要求5所述的基于原始点云处理的3D目标检测算法，其特征在于，在所述第二次特征提取处理之前还包括，将第一次预测后得到的边界框预测信息经过解码，转换为目标的边界框绝对值，并进行nms操作，保留类别得分高于设定值的边界框，接着在原始点中进行查询，基于cuda的并行性对保留后的每个边界框分别进行附近网格点的查询，最终得到每个边界框内的点云，再进行第二次特征提取处理。

7.根据权利要求6所述的基于原始点云处理的3D目标检测算法，其特征在于，所述的nms操作中，是将目标的边界框绝对值按类别得分进行排序，并计算每个类别中各个框与最高得分边界框的IOU，按类别得分的设定值进行过滤，保留类别得分高于设定值的边界框。

8.根据权利要求7所述的基于原始点云处理的3D目标检测算法，其特征在于，在进行完类别和边界框的第二次预测之后还包括，对第二次预测之后得到的类别和边界框预测信息进行修正，再次进行nms操作，最终输出整个点云场景内的3D目标信息。

9.根据权利要求1或8所述的基于原始点云处理的3D目标检测算法，其特征在于，所述的3D目标信息包括目标的三维xyz坐标、目标的长宽高，以及目标的朝向角共7个值。

10.根据权利要求1所述的基于原始点云处理的3D目标检测算法，其特征在于，所述的原始点云数据包括，每个点以xyz三个坐标值和反射率的共4个数值。

Images