CN117496515A - 点云数据标注方法、存储介质和电子设备 - Google Patents

Abstract

本申请公开了一种点云数据标注方法、存储介质和电子设备。点云数据标注方法，包括：获取驾驶场景的连续帧点云数据；对连续帧点云数据进行目标检测和目标追踪，得到三维检测框和三维检测框的得分、追踪编码；根据三维检测框的得分和追踪编码，从三维检测框中筛选出目标框，作为点云数据的标注结果。该方法根据追踪编码进行三维检测框筛选，可降低筛选错误率，提高标注准确率，进而可提升标注效率。

Description

点云数据标注方法、存储介质和电子设备

技术领域

本申请涉及自动驾驶技术领域，尤其涉及一种点云数据标注方法、存储介质和电子设备。

背景技术

在辅助驾驶系统中，车辆自身需要依赖周围交通环境中各种目标判断是否跟车、刹车、变道超车、避让等操作，辅助驾驶系统在获取这些目标时一般会选择摄像头产生的2D图像作为其感知的输入，2D图像经过目标检测器后输出障碍物的检测框。该目标检测器一般采用神经网络模型，需要对海量真实数据通过反向传播训练得到。在训练时，需要对海量真实数据进行标注。

目前，主要采用两种标注方式：一种是全人工标注方式，该方式一般是通过激光雷达扫描得到的点云进行标注，标注后再将其映射到2D图像空间，该过程需要标注人员配合点云数据和图像数据同时查看，标注过程较长，较为耗费人力；另一种是半自动化标注方式，该方式是先基于AI(Artificial Intelligence，人工智能)技术得到点云目标检测模型，然后利用点云目标检测模型对点云进行3D目标检测，保留检测结果中置信度较高的3D目标框，再由标注人员检查调整。相比于全人工标注方式，半自动化标注方式可以减少一部分人工标注的工作量，进而降低标注成本，但在通过目标检测模型对点云进行3D目标检测时，存在错误率高的问题，主要体现在如下方面：

1)若置信度阈值较高，则保留的3D目标框较少，降低了自动化率，若置信度阈值较低，则会引入误检测框，需要标注人员手动删除，降低了标注效率；

2)点云目标检测模型无法分辨目标是否在视觉视角可见，若多标这类目标，则需要标注人员检查和手动删除，降低了标注效率；

3)对于检测到的部分3D目标框存在车头反向的情况，需要标注人员检查与手动调整，降低了标注的效率；

4)点云目标检测模型的检测效果对于激光雷达的安装位置较为敏感，当点云数据来自不同位置安装的激光雷达时，会出现检测框检测不准的问题。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请的目的在于提出一种点云数据标注方法、存储介质和电子设备，以提高标注准确率和标注效率。

为解决上述技术问题，本申请第一方面提出了一种点云数据标注方法，包括：获取驾驶场景的连续帧点云数据；对所述连续帧点云数据进行目标检测和目标追踪，得到三维检测框和所述三维检测框的得分、追踪编码；根据所述三维检测框的得分和追踪编码，从所述三维检测框中筛选出目标框，作为所述点云数据的标注结果。

另外，本申请实施例的点云数据标注方法还可以具有如下附加的技术特征：

根据本申请的一个实施例，所述根据所述三维检测框的得分和追踪编码，从所述三维检测框中筛选出目标框，包括：将得分大于第一预设阈值的三维检测框且对应的追踪编码在连续M个点云数据中出现的三维检测框，以及得分小于或等于所述第一预设阈值且对应的追踪编码在连续N个点云数据中出现的三维检测框，作为所述目标框，其中，M为大于1的整数，N为大于M的整数。

根据本申请的一个实施例，所述对所述连续帧点云数据进行目标检测和目标追踪，得到三维检测框和所述三维检测框的得分、追踪编码，包括：针对每帧所述点云数据，利用第一目标变换矩阵将该点云数据从点云坐标系转换到虚拟坐标系，得到虚拟点云，其中，所述第一目标变换矩阵是由激光雷达相对行驶路面的平移向量和所述激光雷达相对车辆坐标系的旋转矩阵拼接而成的；利用预设点云目标检测器对所述虚拟点云进行目标检测，并利用所述目标变换矩阵将检测得到的目标框从所述虚拟坐标系转换到所述点云坐标系，得到相应的三维检测框和得分；利用多目标追踪器根据所述三维检测框进行目标追踪，得到各所述三维检测框的追踪编码。

根据本申请的一个实施例，所述方法还包括：获取所述点云数据对应的图像数据；对所述图像数据进行目标检测，得到二维检测框；将所述二维检测框与对应点云数据的三维检测框进行融合，得到可见三维检测框；其中，所述根据所述三维检测框的得分和追踪编码，从所述三维检测框中筛选出目标框，包括：根据所述可见三维检测框的得分和追踪编码，从所述可见三维检测框中筛选出目标框。

根据本申请的一个实施例，所述将所述二维检测框与对应点云数据的三维检测框进行融合，得到可见三维检测框，包括：将所述对应点云数据的三维检测框从点云坐标系转换到图像坐标系，得到中间三维框，并将所述中间三维框转换为中间二维框；针对每一所述中间二维框，分别计算该中间二维框与各所述二维检测框的重叠率；若存在大于第一预设阈值的重叠率，则将对应的三维检测框作为所述可见三维检测框。

根据本申请的一个实施例，所述方法还包括：获取所述点云数据对应的车辆位姿数据；利用所述车辆位姿数据和所述追踪编码，得到所述目标框的第一属性信息，作为所述点云数据的标注结果，其中，所述第一属性信息包括动静态信息和/或朝向信息。

根据本申请的一个实施例，所述利用所述车辆位姿数据和所述追踪编码，得到所述目标框的第一属性信息，包括：根据所述车辆位姿数据，将各帧所述点云数据的目标框从对应的点云坐标系转换到同一世界坐标系；逐帧计算同一追踪编号的目标框在所述世界坐标系的位移，并根据所述位移确定所述目标框的动静态信息。

根据本申请的一个实施例，所述利用所述车辆位姿数据和所述追踪编码，得到所述目标框的第一属性信息，包括：根据所述车辆位姿数据计算第二目标转换矩阵，其中，所述第二目标转换矩阵为相邻两帧点云数据对应的点云坐标系的转换矩阵；根据所述第二目标转换矩阵将前一帧点云数据中的目标框，从前一帧点云数据对应的点云坐标系转换到后一帧点云数据对应的点云坐标系，得到基准框；计算所述后一帧点云数据中比对框相对所述基准框的旋转角度，其中，所述比对框为与所述基准框同一追踪编码的目标框；若所述旋转角度的绝对值与预设角度之间的差值小于第三预设阈值，则根据所述旋转角度调整所述比对框的朝向信息。

根据本申请的一个实施例，所述方法还包括：利用所述三维检测框去除对应点云数据中的目标物点，并对去除目标物点的点云数据进行地面分割和聚类，得到车辆的可行驶区域；检测所述目标框是否在所述可行驶区域内，并根据检测结果生成第二属性信息，作为所述点云数据的标注结果。

为解决上述技术问题，本申请第二方面提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述第一方面所述的点云数据标注方法。

为解决上述技术问题，本申请第三方面提出了一种电子设备，包括存储器、处理器和存储在所述存储器上的计算机程序，所述计算机程序被所述处理器执行时，实现上述第一方面所述的点云数据标注方法。

本申请实施例的点云数据标注方法、存储介质和电子设备，首先获取驾驶场景的连续帧点云数据，然后对连续帧点云数据进行目标检测和目标追踪，得到三维检测框和三维检测框的得分、追踪编码，之后根据三维检测框的得分和追踪编码，从三维检测框中筛选出目标框，作为所述点云数据的标注结果。由此，根据追踪编码进行三维检测框筛选，可降低筛选错误率，提高标注准确率，进而可提升标注效率。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

图1是本申请一个实施例的点云数据标注方法的流程图；

图2是本申请一个实施例的步骤S12的流程图；

图3是本申请一个实施例的得到三维检测框的过程示意图；

图4是本申请一个实施例的目标追踪的示意图；

图5是本申请另一个实施例的点云数据标注方法的流程图；

图6是本申请一个实施例的得到可见检测框的示意图；

图7是本申请一个实施例的得到动静态信息的示意图；

图8是本申请一个实施例的纠正目标朝向的示意图；

图9是本申请一个实施例的得到第二属性信息的示意图；

图10是本申请一个具体实施例的点云数据标注方法的流程图；

图11是本申请实施例的电子设备的结构框图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的点云数据标注方法、存储介质和电子设备。

图1是本申请一个实施例的点云数据标注方法的流程图。

如图1所示，点云数据标注方法包括：

S11，获取驾驶场景的连续帧点云数据。

具体地，连续帧点云数据可通过安装在车辆(如自动驾驶车辆)上的激光雷达采集得到，并可以是在车辆驾驶过程中采集得到的，以时间序列的形式存储在预设文件中。在进行点云数据标注时，可直接从预设文件中读取，并可在读取时，根据给定目录(如具有点云标识信息的目录)判断点云数据是否存在，若存在则进行后续的标注流程，若不存在则可结束标注流程，并可发出提示信息，以进行点云数据的缺失提醒。由此，可以提高标注的可靠性。

需要说明的是，上述的连续帧可以是激光雷达连续采集的帧，如T、T+1、T+2、T+3、…时刻采集的帧；也可以是间隔采集的帧，如T、T+2、T+4、T+6、…时刻采集的帧。

S12，对连续帧点云数据进行目标检测和目标追踪，得到三维检测框和三维检测框的得分、追踪编码。

具体地，可利用预先训练好的点云目标检测器识别点云数据中的三维目标，得到三维包络框(即三维检测框)及其得分，之后可将识别出的三维包络框输入至预先训练好的多目标追踪器，利用多目标追踪器对检测出的三维目标进行追踪，得到每个三维目标的追踪编号。

在本申请的一些实施例中，如图2所示，对连续帧点云数据进行目标检测和目标追踪，得到三维检测框和三维检测框的得分、追踪编码，包括：

S21，针对每帧点云数据，利用第一目标变换矩阵将该点云数据从点云坐标系转换到虚拟坐标系，得到虚拟点云，其中，第一目标变换矩阵是由激光雷达相对行驶路面的平移向量和激光雷达相对车辆坐标系的旋转矩阵拼接而成的。

S22，利用预设点云目标检测器对虚拟点云进行目标检测，并利用目标变换矩阵将检测得到的目标框从虚拟坐标系转换到点云坐标系，得到相应的三维检测框和得分。

具体地，可利用采用激光雷达相对地面的平移向量和点云坐标系相对自车坐标系的旋转矩阵，拼接成一个新的坐标变换矩阵(即第一目标变换矩阵)，根据该新的坐标变换矩阵将点云数据转换(如将点云数据与该新的坐标变换矩阵做乘积)到统一的虚拟坐标系。将虚拟坐标系下的点云数据送入到点云目标检测器中，得到虚拟坐标系下三维目标的包络框(可以是最小包络框)及其得分。例如，图3中车辆1、车辆2、…、车辆n，其上安装的激光雷达离地高度分别为H1、H2、…、Hn，转换到虚拟坐标系下激光雷达离地高度统一都为H0，转换后的点云数据输入点云目标检测器中，得到每一帧检测到的包络框及其得分。之后，根据点云坐标系到虚拟坐标系的转换关系，将虚拟坐标系下的包络框逆向转换到点云坐标系，得到用于追踪的三维检测框。由此，可以避免不同车辆上激光雷达的安装位置不同导致点云目标检测器在训练和推理过程产生异源性。

S23，利用多目标追踪器根据三维检测框进行目标追踪，得到各三维检测框的追踪编码。

具体地，将三维检测框输入到多目标追踪器中，可得到这些三维检测框在时间序列上的相关性信息，即追踪编码。图4示出了T、T+2、T+4、T+6时刻的点云数据得到的三维检测框的追踪编码情况。

S13，根据三维检测框的得分和追踪编码，从三维检测框中筛选出目标框，作为点云数据的标注结果。

具体地，可在三维检测框的得分较高，如大于第一预设阈值时，直接将该三维检测框作为目标框，并可在三维检测框的得分较低，如小于等于第一预设阈值时，根据追踪编码判断该得分较低的三维检测框的连续性，若连续(如在连续多个点云数据中均存在该三维检测框)，则将该三维检测框作为目标框。由此，相比于仅考虑检测得分进行筛选的技术，本申请同时考虑了检测得分及追踪频次，更大程度地保留了高质量的三维检测框和尽可能的删除误检测，从而可提高标注效率。

在本申请的一些实施例中，根据三维检测框的得分和追踪编码，从三维检测框中筛选出目标框，包括：将得分大于第一预设阈值的三维检测框且对应的追踪编码在连续M个点云数据中出现的三维检测框，以及得分小于或等于第一预设阈值且对应的追踪编码在连续N个点云数据中出现的三维检测框，作为目标框，其中，M为大于1的整数，N为大于M的整数。

具体地，可先根据设定的第一预设阈值过滤掉得分较低的三维检测框，再利用追踪信息回溯部分被过滤掉的低得分三维检测框。追溯过程包括：根据追踪编号将每个三维检测框全生命周期出现过的所有帧编号列出，查找帧编号连续(即连续N次，N可大于等于3)的三维检测框，根据目标追踪编号和帧编号将帧编号连续的三维检测框从已过滤掉的三维检测框中补回，或进行线性差值。对于得分较高的未被过滤掉的三维检测框，也可进行追溯，以确定是否存在误检，与上述追溯过程类似，区别在于进一步过滤掉被追踪到的频次为M(如小于3)的三维目标。

举例而言，如图5所示，某一追踪编号在多个帧编号[T,T+1,T+2,T+3]中均被追踪到，但由于得分过滤阈值(即第一预设阈值)为0.9，T+1时刻三维检测框的得分为0.81，被过滤。由于这一目标长时间被追踪到，理论上其存在的可能性很高，因此不能根据得分将其简单地过滤，需要进行恢复，即将T+1时刻被过滤的三维检测框补回，提高轨迹命中率。相应地，若部分三维检测框的帧编号列表较短，则说明该目标只出现过一次，很有可能是误检测，磁石也不能根据得分将其简单地保留，需要根据其出现的频次进行判断，频次较低，则说明为误检测需要过滤。由此，通过从追踪置信度和检测得分置信度两方面来过滤三维检测框，可提高保留三维检测框的质量框，进而可提高标注效率。

在本申请的一些实施例中，如图5所示，点云数据标注方法还包括：

S51，获取点云数据对应的图像数据。

具体地，在通过激光雷达采集点云数据的同时，还可通过车辆上安装的摄像头采集驾驶场景下的图像数据，并建立点云数据和图像数据之间的对应关系(如同一时间采集的点云数据与图像数据对应)，按照该对应关系将点云数据和图像数据存储在预设文件中。在进行标注时，可从预设文件中读取点云数据和图像数据。在读取过程中，可根据文件名校验点云数据与图像数据的文件数量是否对齐(如比较点云文件名对应文件中点云数据的数量，与图像文件名对应文件中图像数据的数量是否相同，且携带的时间戳均相同)，并根据给定目录(如具有点云标识信息的目录和具有图像标识信息的目录)判断点云数据与图像数据是否存在，以及点云数据与图像数据的坐标系转换矩阵(可预先计算存储)是否存在，若三者均为是，则可获取到用于标注的点云数据和对应的图像数据，以及两者的坐标系转换矩阵，以便于后续的标注。

S52，对图像数据进行目标检测，得到二维检测框。

具体地，可预先训练得到图像目标检测器，在标注时，可将图像数据输入至图像目标检测器进行目标检测，得到二维检测框。

S53，将二维检测框与对应点云数据的三维检测框进行融合，得到可见三维检测框。

具体地，将二维检测框与对应点云数据的三维检测框进行融合，得到可见三维检测框，可包括：将对应点云数据的三维检测框从点云坐标系转换到图像坐标系，得到中间三维框，并将中间三维框转换为中间二维框；针对每一中间二维框，分别计算该中间二维框与各二维检测框的重叠率；若存在大于第一预设阈值的重叠率，则将对应的三维检测框作为可见三维检测框。

具体而言，可将点云检测得到的三维检测框(记为Lidar-Box3D，如图6中左上角点云数据中的A、B点位置处)根据点云坐标系和图像坐标系之间的转换关系，转换到图像坐标系下的中间三维框(记为L2I-Box3D)，再将L2I-Box3D转换为二维框(记为L2I-Box2D，如图6中右侧上方图片中圈出的位置处)。之后，分别计算图像目标检测器检测出的二维检测框(记为Image-Box2D，如图6中右侧上方图片中圈出的位置处)与各L2I-Box2D之间的重叠率。设定一个阈值(即第二预设阈值)，保留L2I-Box2D中与Image-Box2D重叠率较高(即大于第二预设阈值)的框并转换回点云坐标系。相比于纯点云数据标注方式，通过考虑图像数据，可删除一些视觉不可见目标(如图6中左上角点云数据中的A点位置处的目标)，从而可提升标注的可信度。

在该实施例中，根据三维检测框的得分和追踪编码，从三维检测框中筛选出目标框，包括：根据可见三维检测框的得分和追踪编码，从可见三维检测框中筛选出目标框。由此，可进一步提升标注效率。

在本申请的一些实施例中，点云数据标注方法还包括：获取点云数据对应的车辆位姿数据；利用车辆位姿数据和追踪编码，得到目标框的第一属性信息，作为点云数据的标注结果，其中，第一属性信息包括动静态信息和/或朝向信息。

具体地，在通过激光雷达采集点云数据的同时，还可通过车辆上安装的位姿传感器(如三轴陀螺仪、三轴加速度计、三轴电子罗盘等运动传感器)采集驾驶场景下的车辆位姿数据，并建立点云数据和车辆位姿数据之间的对应关系(如同一时间采集的点云数据与车辆位姿数据对应)，按照该对应关系将点云数据和车辆位置数据存储在预设文件中。在进行标注时，可从预设文件中读取点云数据、图像数据和车辆位姿数据。在读取过程中，可根据文件名校验点云数据与图像数据的文件数量是否对齐(如比较点云文件名对应文件中的文件数量，与图像文件名对应文件中的文件数量是否相同，且携带的时间戳均相同)，以及车辆位置数据是否存在，并根据给定目录(如具有点云标识信息的目录和具有图像标识信息的目录)判断点云数据与图像数据是否存在，以及点云数据与图像数据的坐标系转换矩阵(可预先计算存储)是否存在，若四者均为是，则可获取到用于标注的点云数据和对应的图像数据，以及两者的坐标系转换矩阵，还可获取到车辆位姿数据。可利用车辆位姿数据和追踪编码，得到目标框的动静态信息、朝向信息等，以满足更多的标注需求和提高标注效率。

在本申请的一些实施例中，利用车辆位姿数据和追踪编码，得到目标框的第一属性信息，包括：根据车辆位姿数据，将各帧点云数据的目标框从对应的点云坐标系转换到同一世界坐标系；逐帧计算同一追踪编号的目标框在世界坐标系的位移，并根据位移确定目标框的动静态信息。

具体地，可根据车辆位姿数据和目标框的追踪编号，将目标框转换到世界坐标系下，逐帧计算目标框的位移，根据位移的大小得到不同时刻目标框的动静态信息。例如，如图7所示，追踪编号为6的目标框存在明显的位移，且移动方向明确，所以追踪编号为6的目标框为动态目标，而追踪编号为0,1,5,2,4,3在多个时间戳下的目标框转换到世界坐标系下是重叠的，不存在位移，因此可以判断为静态目标。由此，通过增加动静态信息的标注，可用于训练识别动静态目标的模型，以满足更多的识别需求。

在本申请的一些实施例中，利用车辆位姿数据和追踪编码，得到目标框的第一属性信息，包括：根据车辆位姿数据计算第二目标转换矩阵，其中，第二目标转换矩阵为相邻两帧点云数据对应的点云坐标系的转换矩阵；根据第二目标转换矩阵将前一帧点云数据中的目标框，从前一帧点云数据对应的点云坐标系转换到后一帧点云数据对应的点云坐标系，得到基准框；计算后一帧点云数据中比对框相对基准框的旋转角度，其中，比对框为与基准框同一追踪编码的目标框；若旋转角度的绝对值与预设角度(如180°)之间的差值小于第三预设阈值(可以是接近0的值)，则根据旋转角度调整比对框的朝向信息。需要说明的是，若旋转角度的绝对值与预设角度之间的差值大于或等于第三预设阈值，则可不对朝向进行调整。

具体地，相邻两帧点云数据是指同一目标框所对应的相邻两帧点云数据，分别记为前一帧点云数据和后一帧点云数据。可根据前一帧点云数据和后一帧点云数据对应的车辆位姿数据，计算前一帧点云数据坐在点云坐标系和后一帧点云数据所在点云坐标系之间的转换关系，根据该转换关系将前一帧点云数据中识别目标框转换到后一帧点云数据所在的点云坐标系，得到基准框。转换后根据目标追踪编号计算基准框和后一帧点云数据中识别到的相应目标框(与基准框同一追踪编号)的位移矢量，计算该位移矢量绕Z轴的旋转角度，判断该旋转角度是否为180度或接近180度。若是，则说明后一帧点云数据中识别到的相应目标框朝向反向，需将该目标框的朝向翻转180度。例如，在世界坐标系下，检测到同一追踪编号的目标框在不同时刻(T,T+1,T+2)点云数据中的朝向如图8中(a)所示，但理论上该目标框在T+1时刻的朝向应与T、T+2时刻相同，均为运动方向，因此需调整T+1时刻的朝向，调整至如图7中(b)所示。

为提高准确性，可对连续多帧点云数据的目标框进行上述第二目标转换矩阵的转换，并通过多帧的判断结果调整朝向。例如，T、T+1、T+2、T+3时刻的同一目标框，若检测到T时刻与T+1朝向相反，T+1时刻与T+2时刻朝向相同，T+2时刻与T+3时刻朝向相同，则可根据少数服从多数原则调整T时刻朝向。

由此，对于点云目标检测器检测到的部分目标，如车辆，当检测框存在部分车头反向的情况时，通过上述方式可自动调整，而无需标注人员检查与手动调整，提高了目标朝向的标注效率。

在本申请的一些实施例中，点云数据标注方法还包括：利用三维检测框去除对应点云数据中的目标物点，并对去除目标物点的点云数据进行地面分割和聚类，得到车辆的可行驶区域；检测目标框是否在可行驶区域内，并根据检测结果生成第二属性信息，作为点云数据的标注结果。

具体地，第二属性信息可以是目标的物理隔离信息。可先去除在三维检测框内的点(前景点)，得到背景点云，利用地面分割算法对背景点云进行分割，得到地面点和非地面点。之后，可利用DBSCAN(Density-Based Spatial Clustering of Applications withNoise，具有噪声的基于密度的聚类方法)聚类算法对非地面点进行聚类去除部分噪点，利用聚类后的非地面点进行可行驶区域分割，得到可行驶区域，再判断目标框是否在可行驶区域中，得到目标框的物理隔离信息。如图9所示，若目标框在可行驶区域，则得到物理隔离信息为False，反之则为True。

在本申请的一些实施例中，在得到上述目标框及其信息(包括目标类别、追踪编号、动静态、隔离区内外等)后，可将其作为半自动标注结果存储到指定格式的文件中。之后，可将半自动标注结果和对应的待标注数据一同部署到标注平台，由标注人员人工进行修正，得到最终的标注结果，并输出存储至预设格式的标注文件，以便训练使用。

下面结合图10描述本申请一个具体实施例点云数据标注方法的流程。

如图10所示，点云数据标注方法包括：

步骤1：准备数据；

其中，数据包括点云数据、图像数据以及点云和图像数据之间的转换矩阵，车辆位姿数据。

步骤2：利用点云目标检测器对点云数据进行识别，生成三维检测框及其得分。

步骤3：将三维检测框输入到多目标追踪器中为每个目标生成追踪编码；

步骤4：将点云目标检测器与图像目标检测器的结果进行融合；

步骤5：利用检测得分阈值过滤得分较低的三维检测框，利用追踪编码恢复部分低得分框和删除低频次框；

步骤6：根据车辆位姿数据，目标框的追踪编码计算每个目标框的动静态属性；

步骤7：根据运动朝向信息纠正检测框的朝向；

步骤8：根据三维检测框去除点云中的目标物点，利用地面分割、聚类以及可行驶区域分割算法得到物理隔离边界，根据物理隔离边界得到目标的区域属性；

步骤9：自定义导出预标注结果。

综上，本申请实施例的点云数据标注方法，根据点云数据、图像数据、点云数据与图像数据的映射关系、车辆位姿数据进行点云数据标注，可实现如下技术效果：

1)采用检测框得分及追踪编码联合判断检测目标的可信度，可很大程度地保留了高质量三维检测框和尽可能地删除误检测的三维检测框；

2)利用多模态信息，即结合图像数据去除点云数据中视觉不可见目标，可提升标注精度；

3)采用车辆位姿数据和追踪编码得到目标的动静态信息，可满足更多的数据标注需求；

4)通过目标朝向校正，即根据运动方向信息辅助矫正目标朝向错误的情况，可以简化人工标注流程，提升标注效率；

5)采用三维检测框去除目标物点以及地面分割、聚类和可行驶区域检测，得到物理隔离边缘及目标的物理隔离区类型，可满足更多的数据标注需求。

基于上述实施例的点云数据标注方法，本申请还提出了一种计算机可读存储介质。

在该实施例中，计算机可读存储介质上存储有计算机程序，其特征在于，计算机程序被处理器执行时，实现上述实施例的点云数据标注方法。

基于上述实施例的点云数据标注方法，本申请还提出了一种电子设备。

图11是本申请实施例的电子设备的结构框图。

如图11所示，电子设备500包括：处理器501和存储器503。其中，处理器501和存储器503相连，如通过总线502相连。可选地，电子设备500还可以包括收发器504。需要说明的是，实际应用中收发器504不限于一个，该电子设备500的结构并不构成对本申请实施例的限定。

处理器501可以是CPU(CentralProcessingUnit，中央处理器)，通用处理器，DSP(DigitalSignalProcessor，数字信号处理器)，ASIC(ApplicationSpecificIntegratedCircuit，专用集成电路)，FPGA(FieldProgrammableGateArray，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框、模块和电路。处理器501也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线502可包括一通路，在上述组件之间传送信息。总线502可以是PCI(PeripheralComponentInterconnect，外设部件互连标准)总线或EISA(ExtendedIndustryStandardArchitecture，扩展工业标准结构)总线等。总线502可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器503用于存储与本申请上述实施例的点云数据标注方法对应的计算机程序，该计算机程序由处理器501来控制执行。处理器501用于执行存储器503中存储的计算机程序，以实现前述方法实施例所示的内容。

其中，电子设备500包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图11示出的电子设备500仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

在本申请中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种点云数据标注方法，其特征在于，包括：

获取驾驶场景的连续帧点云数据；

对所述连续帧点云数据进行目标检测和目标追踪，得到三维检测框和所述三维检测框的得分、追踪编码；

根据所述三维检测框的得分和追踪编码，从所述三维检测框中筛选出目标框，作为所述点云数据的标注结果。

2.根据权利要求1所述的点云数据标注方法，其特征在于，所述根据所述三维检测框的得分和追踪编码，从所述三维检测框中筛选出目标框，包括：

将得分大于第一预设阈值的三维检测框且对应的追踪编码在连续M个点云数据中出现的三维检测框，以及得分小于或等于所述第一预设阈值且对应的追踪编码在连续N个点云数据中出现的三维检测框，作为所述目标框，其中，M为大于1的整数，N为大于M的整数。

3.根据权利要求1所述的点云数据标注方法，其特征在于，所述对所述连续帧点云数据进行目标检测和目标追踪，得到三维检测框和所述三维检测框的得分、追踪编码，包括：

针对每帧所述点云数据，利用第一目标变换矩阵将该点云数据从点云坐标系转换到虚拟坐标系，得到虚拟点云，其中，所述第一目标变换矩阵是由激光雷达相对行驶路面的平移向量和所述激光雷达相对车辆坐标系的旋转矩阵拼接而成的；

利用预设点云目标检测器对所述虚拟点云进行目标检测，并利用所述目标变换矩阵将检测得到的目标框从所述虚拟坐标系转换到所述点云坐标系，得到相应的三维检测框和得分；

利用多目标追踪器根据所述三维检测框进行目标追踪，得到各所述三维检测框的追踪编码。

4.根据权利要求1所述的点云数据标注方法，其特征在于，所述方法还包括：

获取所述点云数据对应的图像数据；

对所述图像数据进行目标检测，得到二维检测框；

将所述二维检测框与对应点云数据的三维检测框进行融合，得到可见三维检测框；

其中，所述根据所述三维检测框的得分和追踪编码，从所述三维检测框中筛选出目标框，包括：根据所述可见三维检测框的得分和追踪编码，从所述可见三维检测框中筛选出目标框。

5.根据权利要求4所述的点云数据标注方法，其特征在于，所述将所述二维检测框与对应点云数据的三维检测框进行融合，得到可见三维检测框，包括：

将所述对应点云数据的三维检测框从点云坐标系转换到图像坐标系，得到中间三维框，并将所述中间三维框转换为中间二维框；

针对每一所述中间二维框，分别计算该中间二维框与各所述二维检测框的重叠率；

若存在大于第一预设阈值的重叠率，则将对应的三维检测框作为所述可见三维检测框。

6.根据权利要求1所述的点云数据标注方法，其特征在于，所述方法还包括：

获取所述点云数据对应的车辆位姿数据；

利用所述车辆位姿数据和所述追踪编码，得到所述目标框的第一属性信息，作为所述点云数据的标注结果，其中，所述第一属性信息包括动静态信息和/或朝向信息。

7.根据权利要求6所述的点云数据标注方法，其特征在于，所述利用所述车辆位姿数据和所述追踪编码，得到所述目标框的第一属性信息，包括：

根据所述车辆位姿数据，将各帧所述点云数据的目标框从对应的点云坐标系转换到同一世界坐标系；

逐帧计算同一追踪编号的目标框在所述世界坐标系的位移，并根据所述位移确定所述目标框的动静态信息。

8.根据权利要求6所述的点云数据标注方法，其特征在于，所述利用所述车辆位姿数据和所述追踪编码，得到所述目标框的第一属性信息，包括：

根据所述车辆位姿数据计算第二目标转换矩阵，其中，所述第二目标转换矩阵为相邻两帧点云数据对应的点云坐标系的转换矩阵；

根据所述第二目标转换矩阵将前一帧点云数据中的目标框，从前一帧点云数据对应的点云坐标系转换到后一帧点云数据对应的点云坐标系，得到基准框；

计算所述后一帧点云数据中比对框相对所述基准框的旋转角度，其中，所述比对框为与所述基准框同一追踪编码的目标框；

若所述旋转角度的绝对值与预设角度之间的差值小于第三预设阈值，则根据所述旋转角度调整所述比对框的朝向信息。

9.根据权利要求1所述的点云数据标注方法，其特征在于，所述方法还包括：

利用所述三维检测框去除对应点云数据中的目标物点，并对去除目标物点的点云数据进行地面分割和聚类，得到车辆的可行驶区域；

检测所述目标框是否在所述可行驶区域内，并根据检测结果生成第二属性信息，作为所述点云数据的标注结果。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-9中任一项所述的点云数据标注方法。

11.一种电子设备，包括存储器、处理器和存储在所述存储器上的计算机程序，其特征在于，所述计算机程序被所述处理器执行时，实现如权利要求1-9中任一项所述的点云数据标注方法。