CN115984637A - 时序融合的点云3d目标检测方法、系统、终端及介质 - Google Patents

Abstract

本发明提供一种时序融合的点云3D目标检测方法、系统、终端及介质，包括：获取一时序的点云数据；将所述点云数据对齐到同一个坐标系下；在训练过程中，使用时序一致的数据增强进行训练来解决物体分布不均的情况；将点云编码成鸟瞰图特征图后，使用可变形注意力机制为当前帧的特征图动态的融合过去时刻的特征；将融合的特征图送入到检测头中预测物体。本发明显著的增强了检测的性能，并且该方法可以适用于任何鸟瞰图检测方法，并且可以扩展到任意长度的时间序列。

Description

时序融合的点云3D目标检测方法、系统、终端及介质

技术领域

本发明涉及目标检测技术领域，具体地，涉及一种时序融合的点云3D目标检测方法、系统、终端及介质。

背景技术

3D目标检测是自动驾驶场景下的一个关键模块，对后续的决策和路径规划至关重要。3D目标检测旨在3D空间中识别处物体，预测出物体的类别和3D包围框。通常现在的自动驾驶车辆配备激光雷达传感器去感知周围的环境，通过激光反射采集点云数据，拥有准确的3D空间位置，但是点云通常是稀疏且分布不均匀，远处物体和小物体只能采集到极少数的点。现如今的很多算法都是将某一个时刻采集到的点云数据作为输出来来预测周围环境的物体，虽然这些算法取得了不错的性能，但是单帧的算法都忽略了时序信息的重要性。在实际情况中，由于遮挡等情况，很多时候物体很难依靠在本时刻采集到的点云数据来成功识别，例如，在当前时刻，前方一行人被前车遮挡，未被激光雷达采集到，只依靠本时刻采集到的点云无法检测出前方有行人，这对安全驾驶是重大的隐患。然而在过去的时刻该行人完整的出现在激光采集范围内，算法能够很好的识别出该行人。因此,利用时序信息能够实现更可靠的检测性能，尤其是对移动的小目标或是远处的物体，这能够为安全的自动驾驶提供更可靠的保证。

经检索，现有技术中也有时序融合的点云3D目标检测方法，比如公开号为CN111429514A的中国发明专利，公开了一种融合多帧时序点云的激光雷达3D实时目标检测方法，能有效克服单帧点云的数据稀疏问题，在遮挡严重和远距离下的目标检测中获得高准确率，达到比单帧点云检测更高的精度。但是该专利点云补全方法只是通过时序信息补全由于遮挡等导致的漏标注，并没有解决在3D场景中物体少且分布不平衡的问题，并且在多帧的时序融合中它是通过对对应位置计算预先相似度计算特征权重，忽略了动态物体移动导致的位置移动。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种时序融合的点云3D目标检测方法、系统、终端及介质，显著的增强了检测算法的性能。

根据本发明的一个方面，提供一种时序融合的点云3D目标检测方法，包括：

获取一时序的点云数据；

将所述点云数据对齐到同一个坐标系下；

在目标检测模型的训练过程中，使用时序一致的数据增强方法对所述点云数据进行增强；

将数据增强后的所述点云数据编码成鸟瞰图特征图后，使用可变形注意力机制为当前帧的特征图动态的融合过去时刻的特征；

将融合的特征图送入到检测头中预测物体。

可选地，所述将所述点云数据对齐到同一个坐标系下，包括：

使用参数矩阵将过去时刻的点云数据转换到当前帧的激光雷达坐标系，使得目标检测模型专注于学习物体在时序移动中的相关性。

可选地，所述将所述点云数据对齐到同一个坐标系下，具体如下：

其中，

是t-1帧时刻将点云从激光雷达坐标系转换到自车坐标系的转换矩阵，

是t-1帧时刻将点云从自车坐标系转换到全局坐标系的转换矩阵；相反的，

是t时刻将点云从全局坐标系转到当前自车坐标系的转换矩阵，

是t时刻将点云从自车坐标系转到激光雷达坐标系坐标系，p_t为当前帧的点云数据，p_t-1为过去时刻的点云数据。

可选地，所述使用时序一致的数据增强方法对所述点云数据进行增强，是指：在目标检测模型训练时为当前场景粘贴额外的物体，将数据增强后的所述点云数据作为训练的数据集。

可选地，所述使用可变形注意力机制为当前帧的特征图去动态的融合过去时刻的特征，包括：

对于t时刻特征图F_t的某一个位置q＝(x,y),其特征为z_q,位置为l_q,

对位置q,通过线性层为每个历史特征图生成对应采样偏移Δp_mΔtqk和对应的权重A_mΔtqk，最后通过加权和得到融合的特征；K是指对每个位置的采样点个数，M是指多头注意力机制的注意力头个数，F_t-Δt(l_q+Δp_mΔtqk)是指在特征图F_t-Δt上取对应位置的特征，W_m和W′_m均为线性层。

根据本发明的第二方面，提供一种时序融合的点云3D目标检测系统，包括：

数据获取模块：获取一时序的点云数据；

对齐模块：将所述点云数据对齐到同一个坐标系下；

数据增强模块：在目标检测模型的训练过程中，使用时序一致的数据增强方法对所述点云数据进行增强；

特征融合模块：将数据增强后的所述点云数据编码成鸟瞰图特征图后，使用可变形注意力机制为当前帧的特征图动态的融合过去时刻的特征；

检测模块：将融合的特征图送入到检测头中预测物体。

根据本发明的第三方面，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时用于执行所述的时序融合的点云3D目标检测方法，或，运行所述的时序融合的点云3D目标检测系统。

根据本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行所述的时序融合的点云3D目标检测方法，或，运行所述的时序融合的点云3D目标检测系统。

与现有技术相比，本发明实施例具有如下至少一种有益效果：

本发明上述检测方法，解决在3D场景中物体少且分布不平衡的问题，并且在多帧的时序融合中考虑了动态物体移动导致的位置移动；通过利用过去的时刻采集的信息来增强本时刻的鸟瞰图特征图，显著的提升了单帧检测的性能，并且该方法可以适用于任何鸟瞰图检测方法，并且可以扩展到任意长度的时间序列。

本发明上述检测方法，通过点云数据的对齐，将过去时刻的点云数据通过参数矩阵转换到当前自车坐标下，对齐不同时刻的数据，解决了时序输入点云处理过程中的一致性对齐问题；进一步进行时序一致的数据增强，在训练过程中，单帧检测器常采用粘贴复制的数据增强方法，在时序角度下，为了保持物体的一致性，在时序维度同步粘贴增强的物体，显著的提升了单帧点云的检测性能。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例中的时序融合的点云3D目标检测流程图；

图2为本发明一较优实施例中的时序融合的点云3D目标检测流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

参照图1所示，为本发明一实施例的方法流程图，其中时序融合的点云3D目标检测方法，包括：

S100,获取一时序的点云数据；

S200,将点云数据对齐到同一个坐标系下；

本步骤中通过点云数据的对齐，将过去时刻的点云数据通过参数矩阵转换到当前自车坐标下，对齐不同时刻的数据。

S300,在目标检测模型的训练过程中，使用时序一致的数据增强方法对点云数据进行增强；

本步骤中，采用时序一致的数据增强，在训练过程中，单帧检测器常采用粘贴复制的数据增强方法，在时序角度下，为了保持物体的一致性，在时序维度同步粘贴增强的物体。

S400,将数据增强后的点云数据编码成鸟瞰图特征图后，使用可变形注意力机制为当前帧的特征图动态的融合过去时刻的特征；

本步骤中，再将点云编码成鸟瞰图特征图后，可以优选采用deformable attention的方法，动态的融合过去时刻的特征。

S500,将融合的特征图送入到检测头中预测物体。

本步骤中，特征图可以送入任何检测头中预测。

本发明上述实施例提供的时序融合的点云3D目标检测方法，通过利用过去的时刻采集的信息来增强本时刻的鸟瞰图特征图，显著的提升了单帧检测算法的性能。解决在3D场景中物体少且分布不平衡的问题，并且在多帧的时序融合中考虑了动态物体移动导致的位置移动。

参照图2所示，在本发明一优选实施例中，时序融合的点云3D目标检测方法包括以下步骤：

第一步、获取一个时间序列为n的点云数据p＝{p_t-n,…,p_t-1,p_t},其中p_t为当前帧的点云数据，其余n-1帧为过去时刻的点云数据。

第二步、将该时间序列的点云统一到当前帧的激光雷达坐标系下。

随着车辆的运动，激光雷达传感器所处的位置也在不停的移动，点云的坐标原点也在变动，不同的坐标系不利于网络去学习时序间的关系。因此使用参数矩阵将过去时刻的点云数据转换到当前帧的激光雷达坐标系，使得网络专注于学习物体在时序移动中的相关性。具体做法为(以p_t-1帧转到p_t为例)：

其中，

是t-1帧时刻将点云从激光雷达坐标系转换到自车坐标系的转换矩阵，

是t-1帧时刻将点云从自车坐标系转换到全局坐标系的转换矩阵；相反的，

是t时刻将点云从全局坐标系转到当前自车坐标系的转换矩阵，

是t时刻将点云从自车坐标系转到激光雷达坐标系，p_t为当前帧的点云数据，p_t-1为过去时刻的点云数据

第三步、在训练过中采用时序一致的数据增强。

不同于图片，3D空间范围有着更大的尺度，但是每个场景中的物体却少得多，这极大地限制了3D检测网络的收敛速度和最终性能。为了解决这个问题，可以采用数据增强的方法，比如采用在训练时为当前场景粘贴额外的物体。

在部分实施例中，训练时为当前场景粘贴额外的物体可以参照以下步骤进行：

首先，从训练数据集(任意有标注的数据集)中生成一个数据库，其中包含训练数据集中所有的人工标注的标签及其人工标注的3D边界框内的点；

然后，在目标检测模型的训练过程中从该数据库中为每个类别随机选择一些人工标注的标签及其人工标注的3D边界框内的点，通过拼接的方式引入到当前训练点云及其人工标注的标签中；使用这种方法可以大大增加每个点云的标签数量，并模拟存在于不同环境中的对象。同时为了避免物理上不可能的情况，该方法会进行一个碰撞测试，并删除与其他对象碰撞的任何采样对象。

目标检测模型为点云检测网络，可以采用现有的检测网络或检测模型来实现。

最后，在时序维度扩展单帧的数据增强。

在本实施例的时序设定下，上述的数据增强操作会破坏数据的一致性，为了解决该问题，本实施例中进一步在时序维度扩展了单帧的数据增强，具体实现说明如下。

单帧的数据增强方法从点云p_t′中随机选择目标物体O_t′，然后加入到当前点云p_t中。在本发明实施例时序的设定下，训练场景序列为{p_t-Δt,Δt＝0,1,2…n},相应的，也需要从{p_t′-Δt}中选择一个物体序列{O_t′-Δt}。但是直接将该物体序列加入训练场景中会造成很大的噪声干扰，因为该物体序列之间的相对运动和训练场景中相对运动是不一致的，使网络无法得到很好的学习。因此也需要转换该物体序列到当前训练场景序列下：

O′_t′-Δt＝T_t→(t-Δt)×T_{(t′-Δt)→t′}×O_t′-Δt

上式中，T_{(t′-Δt)→t′}是将粘贴物体从源点云序列中的t′-Δt时刻转换到t′时刻，T_t→(t-Δt)是指将粘贴物体从当前训练点云序列的t时刻转换到t-Δt时刻，O′_t′-Δt是指最终粘贴到训练点云序列中的物体。

本实施例中，先用T_{(t′-Δt)→t′}将物体序列{O_t′-Δt}中的历史物体转换到t′时刻，然后在使用T_t→(t-Δt)将这些历史物体转换到当前训练场景对应的历史帧中。利用上述设计，保持训练场景中的相对运动。

本步骤中，为了实现在训练过中采用时序一致的数据增强，在训练时为当前场景粘贴额外的物体的同时，采用在时序维度扩展单帧的数据增强，将单帧的粘贴额外物体扩展成立时序的物体粘贴，保持数据的一致性，并且维持物体在时序中的相对运动。

第四步、将点云编码为鸟瞰图特征图{F_t-Δt＝B^N×C×X×Y}。

这一过程可使用现有的任何点云编码方式。

第五步、为当前帧的鸟瞰图特征图动态融合历史帧的特征。

Transformer能利用注意力机制去自适应的融合特征，但会造成大量的计算，不适合大尺寸的特征图。因此本实施例中采用可变形注意力机制进行时序特征融合。具体来说，对于t时刻特征图F_t的某一个位置q＝(x,y),其特征为z_q,位置为l_q,

对位置q,通过线性层为每个历史特征图生成对应采样偏移Δp_mΔtqk和对应的权重A_mΔtqk，最后通过加权和得到融合的特征；K是指对每个位置的采样点个数，M是指多头注意力机制的注意力头个数，F_t-Δt(l_q+Δp_mΔtqk)是指在特征图F_t-Δt上取对应位置的特征，W_m和W′_m均为线性层。

第六步、将融合后的鸟瞰图特征图送入检测头中得到最后的检测结果。

本实施例通过时序一致的数据增强方案增加了当前训练场景中的各类物体，并保存了时序之间的相对运动关系，十分利于模型的训练。并且使用的可变形注意力机制通过动态的为每个位置生成运动偏移，自适应的在时序特征图上获取对应的特征，更加适合动态物体和静态物体的时序融合。

现有的点云检测算法大多集中于单帧数据的输入，较少涉及融合时序信息。本发明上述实施例中提出点云时序融合方法，通过可变形注意力机制的方法动态的为当前的鸟瞰图特征图提取过去时刻的特征，并且容易扩展到更长的时间序列。时序信息的引入提升了算法对于遮挡物体、运动小物体的检测性能，这对安全驾驶至关重要。

基于相同的技术构思，在本发明另一实施例中，还提供一种时序融合的点云3D目标检测系统，包括：

数据获取模块：获取一时序的点云数据；

对齐模块：将所述点云数据对齐到同一个坐标系下；

数据增强模块：在训练过程中，使用时序一致的数据增强进行训练来解决物体分布不均的情况；

特征融合模块：将点云编码成鸟瞰图特征图后，使用可变形注意力机制为当前帧的特征图动态的融合过去时刻的特征；

检测模块：将融合的特征图送入到检测头中预测物体。

本发明另一实施例中，还提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时用于执行所述的时序融合的点云3D目标检测方法，或，运行所述的时序融合的点云3D目标检测系统。

本发明另一实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行上述任一项实施例中的时序融合的点云3D目标检测方法，或，运行执行上述任一项实施例中的时序融合的点云3D目标检测系统。

为了更好理解本发明上述实施例，以下结合一个具体应用进行说明：

以PillarNet点云检测器为例子，PillarNet是将点云划分为pillar表示的检测算法，以实时的速度达到了优异的检测性能。图1是本发明一实施例的方法总体流程图。

具体的，本实施例中检测方法包括如下步骤：

第一步、获取一个时间序列为n的点云数据p＝{p_t-n,…,p_t-1,p_t},其中p_t为当前帧的点云数据，其余n-1帧为过去时刻的点云数据。

第二步、将该时间序列的点云统一到当前帧的激光雷达坐标系下。

第三步、在训练过中采用时序一致的数据增强。

第四步、将点云编码为鸟瞰图特征图{F_t-Δt＝B^N×C×X×Y}。

本实施例中，PillarNet首先在x，y平面上根据设定大小将3D空间划分成一个个等大的柱子(z轴无限高)，然后根据每个点的坐标计算点和柱子之间的关系，然后使用PointNet类似的网络将柱子内部的点编码成等长的特征向量，但是由于点云稀疏性，不是所有位置都是非空的柱子，因此最后编码的特征向量是稀疏的，之后为了进一步提取特征，使用稀疏2D卷积处理编码后的向量，得到鸟瞰图特征图。

第五步、使用可变形注意力机制为当前帧的鸟瞰图特征图动态融合历史帧的特征。

第六步、使用特征金字塔网络提取融合特征的多尺度特征，便于检测不同尺寸的物体。之后再将特征图送入到检测头中得到相应的检测结果。

本实施例使用无须预定义锚框的检测头，该检测头直接对每个位置预测可能的中心点偏移及长宽高等其他物体属性，最后在通过使用极大值抑制来等到最终的检测结果。

实施效果：

依据上述步骤，在常用的自动驾驶数据集nuScenes进行了相应的测试，官方评价指标使用了mAP和NDS去进行性能评估。mAP是各类别检测的平均准确度，基于鸟瞰图中心距离的权重和。NDS是一个自定义指标，同时结合了检测框的大小，旋转，速度等属性。表1是本发明实施例的时序融合方法(pillarnet_temporal)和原PillarNet(单帧检测器)在nuScenes上的测试结果，从各项评价指标上看，本发明实施例提出的时序融合方法相比于单帧输入取得了显著的提升。

表1

方法	mAP	NDS
			pillarnet	60.95	67.77
pillarnet_temporal	62.84	69.29
			pillarnet_fade15	62.45	68.66
pillarnet_temporal_fade15	64.08	69.76

注：其中fade是指在训练的最后五轮中取消数据增强策略。数据增强方法是有益的，能够几乎在所有类别上提升模型的性能。而在最后几轮采用fade会达到更好的效果，因为在增强过程中，数据的粘贴位置是随机的，可能一辆车在楼里，产生了错误的数据分布，而模型在学习过程中是在学习数据的分布，而这种错误的物体分布也被模型学习到了，产生错误的检测结果，所以在最后几轮取消数据增强策略能够使得模型学习到真实的场景分布，进一步提升模型的性能。

需要说明的是，本发明提供的所述方法中的步骤，可以利用所述系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。

Claims (10)

1.一种时序融合的点云3D目标检测方法，其特征在于，包括：

获取一时序的点云数据；

将所述点云数据对齐到同一个坐标系下；

在目标检测模型的训练过程中，使用时序一致的数据增强方法对所述点云数据进行增强；

将数据增强后的所述点云数据编码成鸟瞰图特征图后，使用可变形注意力机制为当前帧的特征图动态的融合过去时刻的特征；

将融合的特征图送入到检测头中预测物体。

2.根据权利要求1所述的时序融合的点云3D目标检测方法，其特征在于，所述将所述点云数据对齐到同一个坐标系下，包括：

使用参数矩阵将过去时刻的点云数据转换到当前帧的激光雷达坐标系，使得所述目标检测模型专注于学习物体在时序移动中的相关性。

3.根据权利要求1所述的时序融合的点云3D目标检测方法，其特征在于，所述将所述点云数据对齐到同一个坐标系下，具体如下：

其中，

是t-1帧时刻将点云从激光雷达坐标系转换到自车坐标系的转换矩阵，

是t-1帧时刻将点云从自车坐标系转换到全局坐标系的转换矩阵；相反的，

是t时刻将点云从全局坐标系转到当前自车坐标系的转换矩阵，

是t时刻将点云从自车坐标系转到激光雷达坐标系，p_t为当前帧的点云数据，p_t-1为过去时刻的点云数据。

4.根据权利要求1所述的时序融合的点云3D目标检测方法，其特征在于，所述在目标检测模型的训练过程中，使用时序一致的数据增强方法对所述点云数据进行增强，是指：在目标检测模型训练时为当前场景粘贴额外的物体，将数据增强后的所述点云数据作为训练的数据集。

5.根据权利要求4所述的时序融合的点云3D目标检测方法，其特征在于，所述在训练时为当前场景粘贴额外的物体，包括：

首先，从训练数据集中生成一个数据库，其中包含所有人工标注的标签及其人工标注的3D边界框内的点；

然后，在目标检测模型训练过程中从该数据库中为每个类别随机选择一些人工标注的标签及其人工标注的3D边界框内的点，通过拼接的方式引入到当前训练点云及其人工标注的标签中；

最后，在时序维度扩展单帧的数据增强。

6.根据权利要求5所述的时序融合的点云3D目标检测方法，其特征在于，所述在时序维度扩展单帧的数据增强，具体为：

在时序的设定下，训练场景序列为{p_t-Δt,Δt＝0,1,2…n},从{p_t′-Δt}中选择一个物体序列{O_t′-Δt}；其中，转换该物体序列到当前训练场景序列下：

O′_t′-Δt＝T_t→(t-Δt)×T_{(t′-Δt)→t′}×O_t′-Δt

上式中，T_{(t′-Δt)→t′}是将粘贴物体从源点云序列中的t′-Δt时刻转换到t′时刻，T_t→(t-Δt)是指将粘贴物体从当前训练点云序列的t时刻转换到t-Δt时刻，O′_t′-Δt是指最终粘贴到训练点云序列中的物体；先用T_{(t′-Δt)→t′}将物体序列{O_t′-Δt}中的历史物体转换到t′时刻，然后在使用T_t→(t-Δt)将这些历史物体转换到当前训练场景对应的历史帧中。

7.根据权利要求1所述的时序融合的点云3D目标检测方法，其特征在于，所述使用可变形注意力机制为当前帧的特征图动态的融合过去时刻的特征，包括：

对于t时刻特征图F_t的某一个位置q＝(x,y),其特征为z_q,位置为l_q,

对位置q,通过线性层为每个历史特征图生成对应采样偏移Δp_mΔtqk和对应的权重A_mΔtqk，最后通过加权和得到融合的特征；K是指对每个位置的采样点个数，M是指多头注意力机制的注意力头个数，F_t-Δt(l_q+Δp_mΔtqk)是指在特征图F_t-Δt上取对应位置的特征，W_m和W′_m均为线性层。

8.一种时序融合的点云3D目标检测系统，其特征在于，包括：

数据获取模块：获取一时序的点云数据；

对齐模块：将所述点云数据对齐到同一个坐标系下；

数据增强模块：在目标检测模型的训练过程中，使用时序一致的数据增强方法对所述点云数据进行增强；

特征融合模块：将数据增强后的所述点云数据编码成鸟瞰图特征图后，使用可变形注意力机制为当前帧的特征图动态的融合过去时刻的特征鸟瞰图；

检测模块：将融合的特征图送入到检测头中预测物体。

9.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-7中任一项所述的方法，或，运行权利要求8中任一项所述的系统。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时可用于执行权利要求1-7中任一项所述的方法，或，运行权利要求8中任一项所述的系统。

Images