CN117765535A - 点云数据的标注方法、设备、智能设备和介质 - Google Patents

Abstract

本发明提供了一种点云数据的标注方法、设备、智能设备和介质，包括：确定点云数据帧序列的关键帧进行标注，得到关键帧内的真值框，按照时序分别向前以及向后的顺序，依次选取当前待标注帧，获取前一个已标注帧中标注目标的特征信息，以确定标注目标的位移，生成标注目标在当前待标注帧内的预测框，结合至少一个已标注帧内的真值框，对预测框进行修正，得到标注目标在当前待标注帧内的真值框，这样，可以充分利用标注目标的多个已标注帧，改进预测框的位置、尺寸、角度和形状等，从而提高点云数据的标注效率，且能够得到更为精准、客观的真值框，降低复杂场景下，目标跟踪出现ID‑Switch、跟踪不完整等可能性，提高了点云数据的标注质量。

Description

点云数据的标注方法、设备、智能设备和介质

技术领域

本发明涉及目标检测技术领域，具体提供一种点云数据的标注方法、设备、智能设备和介质。

背景技术

在激光雷达等雷达感知领域，生成目标的真值框对于目标检测、跟踪和场景分析等任务至关重要。然而，由于雷达的点云数据的高维性和复杂性，以及目标在时序上的运动和形变，准确生成目标的真值框一直是一个挑战。尤其是在密集的易受伤者(VulnerableRoad User，VRU)场景中，经常会出现由于目标被遮挡、局部区域内多个VRU(大人牵小孩、多人并排，交错行走)，导致目标跟踪出现ID-Switch、跟踪不完整等现象。

相关技术中，真值框的生成方法中，通常采用的人工标注方式。采用该方法虽然可以使标注结果准确，但是人工标注工作不仅繁重且耗时，还容易受到主观因素的影响，容易导致生成的真值框不够准确和完整。尤其是在密集的VRU场景中，由于目标之间的相互遮挡和运动的复杂性，使得通过人工标注得到的真值框质量更低。

发明内容

为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决人工标注真值框时，效率低、质量低的技术问题的点云数据的标注方法、设备、智能设备和介质。

在第一方面，本发明提供一种点云数据的标注方法，该点云数据的标注方法包括：

确定点云数据帧序列的关键帧，并对所述关键帧进行标注，得到标注目标在所述关键帧内的真值框；

基于所述关键帧的时间戳，按照时序分别向前以及向后的顺序，依次对所述点云数据帧序列的当前待标注帧进行标注，直到满足停止条件时，得到所述标注目标对应的时序标注结果；

其中，对所述当前待标注帧进行标注的过程包括：

获取所述当前待标注帧的前一个已标注帧中所述标注目标的特征信息；

基于所述标注目标的特征信息，确定所述标注目标的位移；

基于所述标注目标的位移，生成所述标注目标在所述当前待标注帧内的预测框；

基于所述预测框和至少一个已标注帧内的真值框，对所述预测框进行修正，得到所述标注目标在所述当前待标注帧内的真值框。

在第二方面，本发明提供一种智能设备，该点云数据的标注设备包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述任一项所述的点云数据的标注方法。

在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述任一项所述的点云数据的标注方法。

1.一种点云数据的标注方法，其特征在于，包括：

确定点云数据帧序列的关键帧，并对所述关键帧进行标注，得到标注目标在所述关键帧内的真值框；

基于所述关键帧的时间戳，按照时序分别向前以及向后的顺序，依次对所述点云数据帧序列的当前待标注帧进行标注，直到满足停止条件时，得到所述标注目标对应的时序标注结果；

其中，对所述当前待标注帧进行标注的过程包括：

获取所述当前待标注帧的前一个已标注帧中所述标注目标的特征信息；

基于所述标注目标的特征信息，确定所述标注目标的位移；

基于所述标注目标的位移，生成所述标注目标在所述当前待标注帧内的预测框；

基于所述预测框和至少一个已标注帧内的真值框，对所述预测框进行修正，得到所述标注目标在所述当前待标注帧内的真值框。

方案2.根据方案1所述的点云数据的标注方法，其特征在于，基于所述标注目标的特征信息，确定所述标注目标的位移，包括：

基于所述标注目标的特征信息，确定所述标注目标对应的每个点云数据的位移；其中，所述标注目标的特征信息包括所述标注目标的运动信息和/或采集设备相对于采集场景的场景运动信息；

将所有点云数据的位移的平均值，作为所述标注目标的位移；或者，将所有点云数据的位移中位于中位数的位移，作为所述标注目标的位移。

方案3.根据方案1所述的点云数据的标注方法，其特征在于，基于所述预测框和至少一个已标注帧内的真值框，对所述预测框进行修正，得到所述标注目标在所述当前待标注帧内的真值框，包括：

基于所述预测框对应的点云数据，对所述预测框进行特征提取，得到所述预测框的特征信息；

基于所述至少一个已标注帧内的真值框对应的点云数据，对所述至少一个已标注帧内的真值框进行特征提取，得到所述至少一个已标注帧内的真值框的特征信息；

基于所述预测框的特征信息和所述至少一个已标注帧内的真值框的特征信息，确定所述预测框的修正参数；所述修正参数包括位置修正参数、尺寸修正参数、角度修正参数和形状修正参数中的至少一种；

根据所述修正参数，对所述预测框进行修正，得到所述当前待标注帧内的真值框。

方案4.根据方案3所述的点云数据的标注方法，其特征在于，基于所述预测框对应的点云数据，对所述预测框进行特征提取，得到所述预测框的特征信息，包括：

若所述预测框对应的点云数据的数目大于第一预设数目，基于所述预测框对应的点云数据，对所述预测框进行特征提取，得到所述预测框的特征信息。

方案5.根据方案3所述的点云数据的标注方法，其特征在于，基于所述预测框对应的点云数据，对所述预测框进行特征提取，得到所述预测框的特征信息，包括：

若所述预测框对应的点云数据的数目小于或等于第一预设数目，但第一累计次数小于第一预设次数，基于所述预测框对应的点云数据，对所述预测框进行特征提取，得到所述预测框的特征信息；其中，所述第一累计次数为连续出现所述预测框对应的点云数据的数目小于或等于第一预设数目时的次数。

方案6.根据方案5所述的点云数据的标注方法，其特征在于，直到满足停止条件时，得到所述标注目标对应的时序标注结果，包括：

若所述第一累计次数大于或等于所述第一预设次数，确定满足所述停止条件；

删除所述预测框，或者，删除所述预测框以及第二预设数目的与所述预测框依次相邻的已标注帧内的真值框，得到所述时序标注结果；其中，所述第二预设数目大于或等于1，且小于或等于第一预设次数与1的差值。

方案7.根据方案1所述的点云数据的标注方法，其特征在于，还包括：

若所述当前待标注帧内的真值框的置信度小于预设置信度，但第二累计次数小于第二预设次数，保留所述当前待标注帧内的真值框，继续下一次标注；

其中，所述第二累计次数为连续出现置信度小于预设置信度时的次数。

方案8.根据方案6所述的点云数据的标注方法，其特征在于，直到满足停止条件时，得到所述标注目标对应的时序标注结果，包括：

若所述第二累计次数大于或等于所述第二预设次数，确定满足所述停止条件；

删除所述当前待标注帧内的真值框，或者，删除所述当前待标注帧内的真值框以及第三预设数目的与所述当前待标注帧内的真值框依次相邻的已标注帧内的真值框，得到所述时序标注结果；其中，所述第三预设数目大于或等于1，且小于或等于第二预设次数与1的差值。

方案9.根据方案1所述的点云数据的标注方法，其特征在于，确定点云数据帧序列的关键帧，并对所述关键帧进行标注，得到标注目标在所述关键帧内的真值框，包括：

确定所述点云数据帧序列中满足预设条件的点云数据帧作为所述关键帧；其中，所述预设条件包括所述标注目标的观测清晰度最高和/或所述标注目标的完整度最高；

响应于对所述关键帧的真值框标注指令或真值框选取指令，得到所述关键帧内的真值框。

方案10.一种智能设备，其特征在于，包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行方案1至9中任一项所述的点云数据的标注方法。

方案11.一种计算机可读存储介质，其特征在于，存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行方案1至9中任一项所述的点云数据的标注方法。

本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：

在实施本发明的技术方案中，从点云数据帧序列选取关键帧，并对关键帧进行标注，得到标注目标在关键帧内的真值框后，按照时序分别向前以及向后的顺序，依次选取当前待标注帧，并获取当前待标注帧的前一个已标注帧中标注目标的特征信息；基于标注目标的特征信息，确定标注目标的位移；基于标注目标的位移，生成标注目标在当前待标注帧内的预测框；这样，可以在各种场景中，可靠地完成短时预测功能，然后基于预测框和至少一个已标注帧内的真值框，对预测框进行修正，得到标注目标在当前待标注帧内的真值框，直到满足停止条件时，得到所述标注目标对应的时序标注结果。这样，可以充分利用标注目标对应的多个已标注帧，改进预测框的位置、尺寸、角度和形状等，从而提高了点云数据的标注效率，且能够得到更为精准、客观的真值框，降低复杂场景下，目标跟踪出现ID-Switch、跟踪不完整等可能性，提高了点云数据的标注质量。

附图说明

参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：

图1是根据本发明的一个实施例的点云数据的标注方法的主要步骤流程示意图；

图2是步骤104对应的结果示意图；

图3是步骤105对应的一种场景下的结果示意图；

图4是步骤105对应的另一种场景下的结果示意图；

图5是步骤106对应的一种场景下的结果示意图；

图6是本发明的点云数据标注方法的一种具体流程示意图；

图7是根据本发明的一个实施例的智能设备的主要结构框图。

具体实施方式

下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。

自动驾驶系统(Automated Driving Systems，ADS)，其是指系统在自身的设计运行范围(Operational Domain Design，ODD)内将持续执行全部的动态驾驶任务(DynamicDriving Task，DDT)。即，在规定的适当驾驶场景条件下才允许机器系统全部承担车辆自动操控的任务，即车辆满足ODD条件时系统被激活，该系统代替人类驾驶员作为车辆的驾驶主体。其中，动态驾驶任务DDT是指对车辆进行持续的横向(左、右转向)和纵向运动控制(加速，减速，匀速)以及对车辆行驶环境中的目标和事件进行探测和响应。设计运行范围ODD是指自动驾驶系统可以安全运行的条件，其设置的条件可以包括地理位置、道路类型、速度范围、天气、时间、国家和地方性交通法律法规等。

在自动驾驶系统中，利用激光雷达等进行数据感知，生成目标的真值框对于目标检测、跟踪和场景分析等任务至关重要。

相关技术中，真值框的生成方法中，通常采用的人工标注方式。采用该方法虽然可以使标注结果准确，但是人工标注工作不仅繁重且耗时，还容易受到主观因素的影响，容易导致生成的真值框不够准确和完整。尤其是在密集的VRU场景中，由于目标之间的相互遮挡和运动的复杂性，使得通过人工标注得到的真值框质量更低。

因此，为了解决上述技术问题，本发明提供了以下技术方案：

参阅附图1，图1是根据本发明的一个实施例的点云数据的标注方法的主要步骤流程示意图。如图1所示，本发明实施例中的点云数据的标注方法主要包括下列步骤101-步骤104。

步骤101、确定点云数据帧序列的关键帧，并对所述关键帧进行标注，得到标注目标在所述关键帧内的真值框；

在一个具体实现过程中，可以利用激光雷达获取到多个连续的点云数据帧，多个连续的点云数据帧形成点云数据帧序列，可以从点云数据帧序列中针对任一标注目标，选择一个观测清晰度最高和/或该目标的完整度最高的帧作为关键帧，即最确定的时刻，这样标注人员才能确定这个标注目标在这个时刻的真值框是对的。

在得到点云数据帧序列的关键帧后，可以响应于对所述关键帧的真值框标注指令或真值框选取指令，以完成对关键帧的标注，得到标注目标在所述关键帧内的真值框。

步骤102、基于所述关键帧的时间戳，按照时序分别向前以及向后的顺序，依次选取当前待标注帧；

具体地，假设关键帧对应的时间戳为T，可以向前依次选取T-1，T-2，…T-n作为当前待标注帧，以及可以向后依次选取T+1，T+2，…T+m作为当前待标注帧。

步骤103、获取所述当前待标注帧的前一个已标注帧中所述标注目标的特征信息；

在一个具体实现过程中，可以获取前一个已标注帧中标注目标的特征信息，该标注目标的特征信息包括所述标注目标的运动信息和/或采集设备相对于采集场景的场景运动信息。标注目标的运动信息可以包括目标的加速度、速度、朝向等。场景运动信息可以包括采集设备在当前场景中跟随车辆等智能设备的加速度、速度、角度等。

其中，前一个已标注帧是相对于当前待标注帧确定的，比如当根据时序向前标注时，当前待标注帧为T-1帧，则当前待标注帧的前一个已标注帧为第T帧。若当根据时序向后标注时，当前待标注帧为T+2帧，则当前待标注帧的前一个已标注帧为第T+1帧。

步骤104、基于所述标注目标的特征信息，确定所述标注目标的位移；

在一个具体实现过程中，可以将标注目标的运动信息和/或采集设备相对于采集场景的场景运动信息作为输入数据，并将输入数据输入训练的激光雷达场景流网络进行位移预测，得到标注目标对应的每个点云数据的位移，然后将所有点云数据的位移的平均值，作为所述标注目标的位移；或者，将所有点云数据的位移中位于中位数的位移，作为所述标注目标的位移。

本实施例中，基于场景流估计，并通过标注目标的运动信息和/或采集设备相对于采集场景的场景运动信息，自动生产标注目标对应的每个点云数在场景流中的位移，显著提高了场景流网络的效果，使其在复杂场景中，可以可靠地完成短时预测功能。

图2是步骤104对应的结果示意图。如图2所示，图2中以线1表示前一个已标注帧中标注目标对应的所有点云数据的均值所对应的线。经过场景流估计后，以线2表示标注目标相对于当前待标注帧可能发生的位移，以便后续可以根据该标注目标的位移，在当前待标注帧中生成预测框。

步骤105、基于所述标注目标的位移，生成所述标注目标在所述当前待标注帧内的预测框；

在得到标注目标的位移后，可以根据标注目标的位移，生成所述标注目标在所述当前待标注帧内的预测框。该预测框仅表示标注目标可能出现在当前待标注帧内位置，尺寸、角度、形状等。

图3是步骤105对应的一种场景下的结果示意图。如图3所示，图中偏白色的点C1表示当前待标注帧中的点云，各个带有编号的框为当前待标注帧内生成的标注目标对应的预测框，预测框中的X表示运动方向。图中比较暗的点C2为上一个已标注帧中的点云。

需要说明的是，为了清晰表示偏白色的点C1和比较暗的点C2，图中仅对部分预测框17和预测框18中的点做了突出显示，实际上其他编号的预测框中点云与预测框17和预测框18中点云类似，图中不再示意。

图4是步骤105对应的另一种场景下的结果示意图。如图4所示，图中比较暗的点C3表示当前待标注帧中的点云，框为当前待标注帧内生成的标注目标对应的预测框。图中偏白色的点C4为上一个已标注帧中的点云。需要说明的是，由于框内点云比较密集不易区分，这里比较暗的点C3和偏白色的点C4，以地面的点云来进行区分。

步骤106、基于所述预测框和至少一个已标注帧内的真值框，对所述预测框进行修正，得到所述标注目标在所述当前待标注帧内的真值框，并进行下一次标注，直到满足停止条件时，得到所述标注目标对应的时序标注结果。

在一个具体实现过程中，可以将预测框与至少一个已标注帧内的真值框相结合，对预测框进行修正，得到标注目标在所述当前待标注帧内的真值框，然后进行下一次标注，直到满足停止条件时，得到所述标注目标对应的时序标注结果。其中，当前待标注帧内的真值框则表示标注目标实际出现在当前待标注帧内位置，尺寸、角度、形状等。

具体地，可以针对预测框和至少一个已标注帧内的真值框分别设定一个范围，在这对应范围内获取到预测框对应的点云数据，以及，至少一个已标注帧内的真值框对应的点云数据。其中，这些点云数据均具有对应的时间戳。可以基于训练的时空追踪(SpatialTemporal Tracking，STT)模型，利用预测框对应的点云数据对预测框进行特征提取，得到预测框的特征信息，以及，利用至少一个已标注帧内的真值框对应的点云数据，对至少一个已标注帧内的真值框进行特征提取，得到至少一个已标注帧内的真值框的特征信息。然后，可以基于预测框的特征信息和至少一个已标注帧内的真值框的特征信息，最终得到预测框的修正参数。该修正参数可以包括但不限制于位置修正参数、尺寸修正参数、角度修正参数和形状修正参数中的至少一种。

在得到预测框的修正参数后，则可以根据该修正参数，对预测框的位置、尺寸、角度、形状等进行修正，得到当前待标注帧内的真值框。这样，则可以将点云数据帧的标注，重新表述为一个时空问题，通过将标注目标表示为长时间的时间戳点和边界框序列。在每个时间戳上，通过对标注目标的多个已标注帧进行学习细化来改进标注目标的位置、尺寸、角度和形状等。

图5是步骤106对应的一种场景下的结果示意图。如图5所示，以包括第T-2帧的真值框、第T-1帧的真值框和第T帧的预测框为例，第T帧中一部分点云数据位于预测框外，与实际不相符，因此，可以将T-2帧的真值框对应的点云数据、第T-1帧的真值框对应的点云数据和第T帧的预测框对应的点云数据作为输入，经过时空跟踪网络模型后，可以将第T帧的预测框修正到包含所有点云数据的位置。

需要说明的是，如果目标消失或者漏检时，当前待标注帧内预测框对应的点云数据，可能很少。因此，为了避免对标注目标漏检或多检(目标消失后，仍会进行检测)，在利用当前待标注帧内预测框对应的点云数据对预测框进行特征提取，得到预测框的特征信息行时，可以在满足如下条件的情况下执行：

条件1：所述预测框对应的点云数据的数目大于第一预设数目。在这个条件下，说明预测框对应的点云数据足够多，当前待标注帧中必然存在标注目标，此时，可以基于预测框对应的点云数据，对所述预测框进行特征提取，得到所述预测框的特征信息。

条件2：所述预测框对应的点云数据的数目小于或等于第一预设数目，但第一累计次数小于第一预设次数。其中，所述第一累计次数为连续出现所述预测框对应的点云数据的数目小于或等于第一预设数目时的次数。在这个条件下，说明可能是因为漏检，无法采集到足够的点云数据，此时，仍可以基于预测框对应的点云数据，对所述预测框进行特征提取，得到所述预测框的特征信息，避免对当前待标注帧漏标注。

在一个具体实现过程中，第一累计次数大于或等于所述第一预设次数，则确定满足所述停止条件。此时，可以仅删除所述预测框，或者，删除所述预测框以及第二预设数目的与所述预测框依次相邻的已标注帧内的真值框，得到所述时序标注结果；其中，所述第二预设数目大于或等于1，且小于或等于第一预设次数与1的差值。这里的依次相邻是指第一个已标注帧内的真值框与预测框紧密相邻，其余的已标注帧内的真值框按照顺序再与第一个已标注帧内的真值框相邻。

也就是说，当第一累计次数大于或等于所述第一预设次数时，这个时候标注目标已经消失，此时，若在当前待标注帧中进行标注，会造成误标注，此时，可以仅删除该预测框。然而，在实际应用中，当第一次出现预测框对应的点云数据的数目小于或等于预设数目时，目标可能就已经消失了，因此，除了删除该预测框外，还可以删除该第二预设数目的与所述预测框依次相邻的已标注帧内的真值框。例如，第一预设次数为3，则与该预测框依次相邻的两个已标注帧内的真值框可能是标注错误的，此时，可以仅删除与该预测框相邻的第一个已标注帧内的真值框，也可以同时删除两个已标注帧内的真值框。

在一个具体实现过程中，每次得到当前待标注帧内的真值框的时候，也可以一起得到当前待标注帧内的真值框的置信度，该置信度可以为但不限制于当前待标注帧内的真值框为标注目标的概率。若得到当前待标注帧内的真值框的置信度小于预设置信度，但第二累计次数小于第二预设次数，说明可能是误判断，此时，可以保留该当前待标注帧内的真值框。其中，所述第二累计次数为连续出现置信度小于预设置信度时的次数。若第二累计次数大于或等于第二预设次数，可以删除当前待标注帧内的真值框，或者，删除当前待标注帧内的真值框的以及与第三预设数目的与所述当前待标注帧内的真值框依次相邻的已标注帧内的真值框，得到所述时序标注结果；其中，所述第三预设数目大于或等于1，且小于或等于第二预设次数与1的差值。这里的依次相邻与前述的依次相邻的意义相同。

也就是说，当第二累计次数大于或等于第二预设次数时，这个时候标注目标已经消失，此时，在生成的当前待标注帧内的真值框，时误标注，此时，可以仅删除当前待标注帧内的真值框。然而，在实际应用中，当第一次出现当前待标注帧内的真值框的置信度小于预设置信度时，目标可能就已经消失了，因此，除了删除当前待标注帧内的真值框外，还可以删除该第三预设数目的与所述当前待标注帧内的真值框依次相邻的已标注帧内的真值框。例如，第二预设次数也为3，则与该当前待标注帧内的真值框依次相邻的两个已标注帧内的真值框可能是标注错误的，此时，可以仅删除与该预测框相邻的第一个已标注帧内的真值框，也可以同时删除两个已标注帧内的真值框。

这样，通过在对预测框修正之前，基于预测框对应的点云数据的数目与第一预设数目的大小关系，防止对目标多检。以及，通过对当前待标注帧标注后，基于当前待标注帧内的真值框的置信度与预设置信度的大小关系，防止对目标多检，双重验证，从而可以提高标注结果的准确性、可靠性、质量等。

图6是本发明的点云数据标注方法的一种具体流程示意图。如图6所示，以包括第T-2点云数据帧到第T+2点云数据帧为例(后面简称第T-2帧到第T+2帧)。

S1、在目标清晰可靠的一帧进行目标标注，即将目标清晰可见的一个关键帧，并对目标进行标注。如第T帧中目标清晰可见，采用实线框进行标注，得到标注目标在关键帧内的真值框。标注完关键帧帧后，可以先按照时序向后的顺序(第T帧到第T+2帧的顺序)进行标注，第T+1帧作为当前待标注帧。

S2、通过激光雷达场景流网络预测在下一待标注帧的位置，即通过激光雷达场景流网络预测标注目标在第T+1帧的预测位置，并以虚线框在第T+1帧中进行标注。

S3、通过时空跟踪流网络修正位置，即通过时空跟踪网络对第T+1帧中的虚线框进行修正，最终得到第T+1帧中标注目标的实际位置，图中实线框。

S4、以此类推，持续向后传播，直到满足停止标注条件，最终得到第T帧到第T+2帧的标注结果。之后，可以按照时序向前的顺序(第T帧到第T-2帧的顺序)进行标注，以补全标注目标的所有时序，直到满足停止标注条件时，停止标注。

S5、反向向前传播，直到满足停止标注条件，即从第T帧开始反向向前传播，直到满足停止标注条件，得到第T帧到第T-2帧的标注结果，这样，经过双向时序传播标注，最终得到第T-2帧到第T+2帧的标注结果。

本实施例的点云数据的标注方法，从点云数据帧序列选取关键帧，并对关键帧进行标注，得到标注目标在关键帧内的真值框后，按照时序分别向前以及向后的顺序，依次选取当前待标注帧，并获取当前待标注帧的前一个已标注帧中标注目标的特征信息；基于标注目标的特征信息，确定标注目标的位移；基于标注目标的位移，生成标注目标在当前待标注帧内的预测框；这样，可以在各种场景中，可靠地完成短时预测功能，然后基于预测框和至少一个已标注帧内的真值框，对预测框进行修正，得到标注目标在当前待标注帧内的真值框，直到满足停止条件时，得到所述标注目标对应的时序标注结果。这样，可以充分利用标注目标对应的多个已标注帧，改进预测框的位置、尺寸、角度和形状等，从而提高了点云数据的标注效率，且能够得到更为精准、客观的真值框，降低复杂场景下，目标跟踪出现ID-Switch、跟踪不完整等可能性，提高了点云数据的标注质量。

需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。

本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

进一步，本发明还提供了一种智能设备。

参阅附图7，图7是根据本发明的一个实施例的智能设备的主要结构框图。如图7所示，本发明实施例中的智能设备可以包括处理器71和存储装置72。

存储装置72可以被配置成存储执行上述方法实施例的点云数据的标注方法的程序，处理器71可以被配置成用于执行存储装置72中的程序，该程序包括但不限于执行上述方法实施例的点云数据的标注方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该智能设备可以是包括各种电子设备形成的控制设备。

在一个具体实现过程中，该存储装置72和处理器71的数目均可以为多个。而执行上述方法实施例的点云数据的标注方法的程序可以被分割成多段子程序，每段子程序分别可以由处理器71加载并运行以执行上述方法实施例的点云数据的标注方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储装置72中，每个处理器71可以被配置成用于执行一个或多个存储装置72中的程序，以共同实现上述方法实施例的点云数据的标注方法，即每个处理器71分别执行上述方法实施例的点云数据的标注方法的不同步骤，来共同实现上述方法实施例的点云数据的标注方法。

上述多个处理器71可以是部署于同一个设备上的处理器，例如上述设备可以是由多个处理器组成的高性能设备，上述多个处理器71可以是该高性能设备上配置的处理器。此外，上述多个处理器71也可以是部署于不同设备上的处理器，例如上述设备可以是服务器集群，上述多个处理器71可以是服务器集群中不同服务器上的处理器。

该智能设备具体可以包括驾驶设备、自动驾驶车辆、智能车、机器人、无人飞机等。

在本申请的一些实施例中，所述智能设备还包括至少一个传感器，所述传感器用于感知信息。所述传感器与本申请提到的任何一种类型的处理器通信连接。可选地，所述智能设备还包括自动驾驶系统，自动驾驶系统用于引导智能设备自行行驶或辅助驾驶。所述处理器与所述传感器和/或自动驾驶系统通信，用于完成上述任一实施例所述的方法。

进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的点云数据的标注方法的程序，该程序可以由处理器加载并运行以实现上述点云数据的标注方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。

本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。

需要说明的是，本申请各实施例中可能涉及的相关用户个人信息，均为严格按照法律法规的要求，遵循合法、正当、必要的原则，基于业务场景的合理目的，处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的，以及经用户授权获取的个人信息。

本申请处理的用户个人信息会因具体产品/服务场景而有所不同，需以用户使用产品/服务的具体场景为准，可能会涉及用户的账号信息、设备信息、行驶信息、车辆信息或其他相关信息。本申请会以高度的勤勉义务对待用户的个人信息及其处理。

本申请非常重视用户个人信息的安全，已采取符合业界标准、合理可行的安全防护措施保护用户的信息，防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种点云数据的标注方法，其特征在于，包括：

确定点云数据帧序列的关键帧，并对所述关键帧进行标注，得到标注目标在所述关键帧内的真值框；

基于所述关键帧的时间戳，按照时序分别向前以及向后的顺序，依次对所述点云数据帧序列的当前待标注帧进行标注，直到满足停止条件时，得到所述标注目标对应的时序标注结果；

其中，对所述当前待标注帧进行标注的过程包括：

获取所述当前待标注帧的前一个已标注帧中所述标注目标的特征信息；

基于所述标注目标的特征信息，确定所述标注目标的位移；

基于所述标注目标的位移，生成所述标注目标在所述当前待标注帧内的预测框；

基于所述预测框和至少一个已标注帧内的真值框，对所述预测框进行修正，得到所述标注目标在所述当前待标注帧内的真值框。

2.根据权利要求1所述的点云数据的标注方法，其特征在于，基于所述标注目标的特征信息，确定所述标注目标的位移，包括：

基于所述标注目标的特征信息，确定所述标注目标对应的每个点云数据的位移；其中，所述标注目标的特征信息包括所述标注目标的运动信息和/或采集设备相对于采集场景的场景运动信息；

将所有点云数据的位移的平均值，作为所述标注目标的位移；或者，将所有点云数据的位移中位于中位数的位移，作为所述标注目标的位移。

3.根据权利要求1所述的点云数据的标注方法，其特征在于，基于所述预测框和至少一个已标注帧内的真值框，对所述预测框进行修正，得到所述标注目标在所述当前待标注帧内的真值框，包括：

基于所述预测框对应的点云数据，对所述预测框进行特征提取，得到所述预测框的特征信息；

基于所述至少一个已标注帧内的真值框对应的点云数据，对所述至少一个已标注帧内的真值框进行特征提取，得到所述至少一个已标注帧内的真值框的特征信息；

基于所述预测框的特征信息和所述至少一个已标注帧内的真值框的特征信息，确定所述预测框的修正参数；所述修正参数包括位置修正参数、尺寸修正参数、角度修正参数和形状修正参数中的至少一种；

根据所述修正参数，对所述预测框进行修正，得到所述当前待标注帧内的真值框。

4.根据权利要求3所述的点云数据的标注方法，其特征在于，基于所述预测框对应的点云数据，对所述预测框进行特征提取，得到所述预测框的特征信息，包括：

若所述预测框对应的点云数据的数目大于第一预设数目，基于所述预测框对应的点云数据，对所述预测框进行特征提取，得到所述预测框的特征信息。

5.根据权利要求3所述的点云数据的标注方法，其特征在于，基于所述预测框对应的点云数据，对所述预测框进行特征提取，得到所述预测框的特征信息，包括：

若所述预测框对应的点云数据的数目小于或等于第一预设数目，但第一累计次数小于第一预设次数，基于所述预测框对应的点云数据，对所述预测框进行特征提取，得到所述预测框的特征信息；其中，所述第一累计次数为连续出现所述预测框对应的点云数据的数目小于或等于第一预设数目时的次数。

6.根据权利要求5所述的点云数据的标注方法，其特征在于，直到满足停止条件时，得到所述标注目标对应的时序标注结果，包括：

若所述第一累计次数大于或等于所述第一预设次数，确定满足所述停止条件；

删除所述预测框，或者，删除所述预测框以及第二预设数目的与所述预测框依次相邻的已标注帧内的真值框，得到所述时序标注结果；其中，所述第二预设数目大于或等于1，且小于或等于第一预设次数与1的差值。

7.根据权利要求1所述的点云数据的标注方法，其特征在于，还包括：

若所述当前待标注帧内的真值框的置信度小于预设置信度，但第二累计次数小于第二预设次数，保留所述当前待标注帧内的真值框，继续下一次标注；

其中，所述第二累计次数为连续出现置信度小于预设置信度时的次数。

8.根据权利要求6所述的点云数据的标注方法，其特征在于，直到满足停止条件时，得到所述标注目标对应的时序标注结果，包括：

若所述第二累计次数大于或等于所述第二预设次数，确定满足所述停止条件；

删除所述当前待标注帧内的真值框，或者，删除所述当前待标注帧内的真值框以及第三预设数目的与所述当前待标注帧内的真值框依次相邻的已标注帧内的真值框，得到所述时序标注结果；其中，所述第三预设数目大于或等于1，且小于或等于第二预设次数与1的差值。

9.根据权利要求1所述的点云数据的标注方法，其特征在于，确定点云数据帧序列的关键帧，并对所述关键帧进行标注，得到标注目标在所述关键帧内的真值框，包括：

确定所述点云数据帧序列中满足预设条件的点云数据帧作为所述关键帧；其中，所述预设条件包括所述标注目标的观测清晰度最高和/或所述标注目标的完整度最高；

响应于对所述关键帧的真值框标注指令或真值框选取指令，得到所述关键帧内的真值框。

10.一种智能设备，其特征在于，包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行权利要求1至9中任一项所述的点云数据的标注方法。