CN117690133A - 点云数据标注方法、装置、电子设备、车辆及介质 - Google Patents

Abstract

本公开提供了一种点云数据标注方法、装置、设备、车辆及介质，该方法包括：通过雷达装置获取原始点云数据，并对原始点云数据进行语义分割，得到针对原始点云数据的语义分割结果；构建与原始点云数据对应的三维体素空间，并将三维体素空间按照预设栅格尺寸划分成多个体素栅格；基于原始点云数据的语义分割结果，确定三维体素空间中每个体素栅格的语义类别，并确定每个体素栅格的其他标注信息，其他标注信息包括每个体素栅格的位置信息以及可见性；针对每个体素栅格，基于语义类别以及其他标注信息生成标注结果，并基于三维体素空间中的各个体素栅格的标注结果，生成与原始点云数据对应的标注点云。本公开实施例，可以提升点云标注的精度与效率。

Description

点云数据标注方法、装置、电子设备、车辆及介质

技术领域

本公开涉及数据处理技术领域，具体而言，涉及一种点云数据标注方法、装置、电子设备、车辆及介质。

背景技术

随着自动驾驶技术的不断发展，为了能够提升车辆行驶的安全性，通常需要在车辆行驶过程中自动对车辆周围的物体(如道路和交通设施等)和行人等对象进行识别。相关技术中，主要利用机器学习模型从点云数据中识别出周围环境中的目标对象，而机器学习模型的构建需要依赖大量的标注有目标对象的点云样本数据，因此，如何提升点云数据的标注精度以及效率是业界一直追求的目标。

发明内容

本公开实施例至少提供一种点云数据标注方法、装置、电子设备、车辆及介质，可以提升点云数据的标注精度以及标注效率。

本公开实施例提供了一种点云数据标注方法，包括：

通过雷达装置获取原始点云数据，并对所述原始点云数据进行语义分割，得到针对所述原始点云数据的语义分割结果；

构建与所述原始点云数据对应的三维体素空间，并将所述三维体素空间按照预设栅格尺寸划分成多个体素栅格；

基于所述原始点云数据的语义分割结果，确定所述三维体素空间中每个体素栅格的语义类别，并确定所述每个体素栅格的其他标注信息，所述其他标注信息包括所述每个体素栅格的位置信息以及可见性；

针对所述每个体素栅格，基于所述语义类别以及所述其他标注信息生成标注结果，并基于所述三维体素空间中的各个体素栅格的标注结果，生成与所述原始点云数据对应的标注点云。

在一种可能的实施方式中，所述通过雷达装置获取原始点云数据，并对所述原始点云数据进行语义分割，得到针对所述原始点云数据的语义分割结果，包括：

通过所述雷达装置获取所述原始点云数据，并通过图像采集装置获取第一图像数据，其中，所述原始点云数据与所述第一图像数据对应于同一场景；

对所述第一图像数据进行图像分割处理，得到图像分割处理后的第二图像数据，并基于所述第二图像数据的图像分割结果，对所述原始点云数据进行语义分割处理，得到针对所述原始点云数据的语义分割结果。

在一种可能的实施方式中，所述基于所述原始点云数据的语义分割结果，确定所述三维体素空间中每个体素栅格的语义类别，包括：

针对所述原始点云中的每个点云点，从所述三维体素空间中确定与所述点云点距离最近的目标体素栅格，并将所述点云点存放于所述目标体素栅格中，以基于所述点云点的语义类别确定所述目标体素栅格的语义类别。

在一种可能的实施方式中，所述基于所述点云点的语义类别确定所述目标体素栅格的语义类别，包括：

在所述目标体素栅格中仅存在一个点云点的情况下，将所述一个点云点的语义类别作为所述目标体素栅格的语义类别；

在所述目标体素栅格中存在多个点云点的情况下，将数量最多的语义类别作为所述目标体素栅格的语义类别。

在一种可能的实施方式中，所述体素栅格的尺寸与所述三维体素空间的大小正相关。

在一种可能的实施方式中，所述确定所述每个体素栅格的其他标注信息，包括：

以所述雷达装置的载体的位置为基准，确定所述每个体素栅格的位置信息；

针对所述每个体素栅格，以所述体素栅格以及雷达装置之间的连线上是否存在障碍物，确定所述体素栅格是否可见。

在一种可能的实施方式中，所述以所述体素栅格以及雷达装置之间的连线上是否存在障碍物，确定所述体素栅格是否可见，包括：

以所述体素栅格为起点朝着所述雷达装置绘制直线，若中途遇到障碍物，则确定所述体素栅格相对所述雷达装置不可见。

在一种可能的实施方式中，在所述确定所述每个体素栅格的其他标注信息之前，所述方法还包括：

在所述三维体素空间中存在语义类别为路面的第一体素栅格的情况下，对所述三维空间内的第一体素栅格进行路面拟合，得到路面拟合后的三维体素空间。

在一种可能的实施方式中，所述对所述三维空间内的第一体素栅格进行路面拟合，得到路面拟合后的三维体素空间，包括：

将所述三维体素空间沿着横向和纵向按照预设尺寸进行切割得到多个子体素空间，各个所述子体素空间的高度与所述三维体素空间的高度相同；

针对每个子体素空间，采用预设拟合算法对所述子体素空间内的语义类别为路面的第一体素栅格进行路面拟合处理处理，得到拟合处理后的子体素空间，并将各个拟合处理后的子体素空间进行拼接融合，得到所述路面拟合后的三维体素空间。

本公开实施例提供了一种点云数据标注装置，包括：

语义分割模块，用于通过雷达装置获取原始点云数据，并对所述原始点云数据进行语义分割，得到针对所述原始点云数据的语义分割结果；

空间构建模块，用于构建与所述原始点云数据对应的三维体素空间，并将所述三维体素空间按照预设栅格尺寸划分成多个体素栅格；

信息确定模块，用于基于所述原始点云数据的语义分割结果，确定所述三维体素空间中每个体素栅格的语义类别，并确定所述每个体素栅格的其他标注信息，所述其他标注信息包括所述每个体素栅格的位置信息以及可见性；

点云标注模块，用于针对所述每个体素栅格，基于所述语义类别以及所述其他标注信息生成标注结果，并基于所述三维体素空间中的各个体素栅格的标注结果，生成与所述原始点云数据对应的标注点云。

在一种可能的实施方式中，所述语义分割模块具体用于：

通过所述雷达装置获取所述原始点云数据，并通过图像采集装置获取第一图像数据，其中，所述原始点云数据与所述第一图像数据对应于同一场景；

对所述第一图像数据进行图像分割处理，得到图像分割处理后的第二图像数据，并基于所述第二图像数据的图像分割结果，对所述原始点云数据进行语义分割处理，得到针对所述原始点云数据的语义分割结果。

在一种可能的实施方式中，所述信息确定模块具体用于：

针对所述原始点云中的每个点云点，从所述三维体素空间中确定与所述点云点距离最近的目标体素栅格，并将所述点云点存放于所述目标体素栅格中，以基于所述点云点的语义类别确定所述目标体素栅格的语义类别。

在一种可能的实施方式中，所述信息确定模块具体用于：

在所述目标体素栅格中仅存在一个点云点的情况下，将所述一个点云点的语义类别作为所述目标体素栅格的语义类别；

在所述目标体素栅格中存在多个点云点的情况下，将数量最多的语义类别作为所述目标体素栅格的语义类别。

在一种可能的实施方式中，所述体素栅格的尺寸与所述三维体素空间的大小正相关。

在一种可能的实施方式中，所述信息确定模块具体用于：

以所述雷达装置的载体的位置为基准，确定所述每个体素栅格的位置信息；

针对所述每个体素栅格，以所述体素栅格以及雷达装置之间的连线上是否存在障碍物，确定所述体素栅格是否可见。

在一种可能的实施方式中，所述信息确定模块具体用于：

以所述体素栅格为起点朝着所述雷达装置绘制直线，若中途遇到障碍物，则确定所述体素栅格相对所述雷达装置不可见。

在一种可能的实施方式中，所述装置还包括路面拟合模块；

所述路面拟合模块用于：在所述三维体素空间中存在语义类别为路面的第一体素栅格的情况下，对所述三维空间内的第一体素栅格进行路面拟合，得到路面拟合后的三维体素空间。

在一种可能的实施方式中，所述路面拟合模块具体用于：

将所述三维体素空间沿着横向和纵向按照预设尺寸进行切割得到多个子体素空间，各个所述子体素空间的高度与所述三维体素空间的高度相同；

针对每个子体素空间，采用预设拟合算法对所述子体素空间内的语义类别为路面的第一体素栅格进行路面拟合处理处理，得到拟合处理后的子体素空间，并将各个拟合处理后的子体素空间进行拼接融合，得到所述路面拟合后的三维体素空间。

本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述任一可能的实施方式所述的点云数据标注方法。

本公开实施例提供了一种车辆，包括控制器，所述控制器包括：

存储器，被配置成存储指令；以及

处理器，被配置成从所述存储器调用所述指令以及在执行所述指令时能够实现上述任一可能的实施方式中所述的点云数据标注方法。

本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述任一可能的实施方式中所述的点云数据标注方法。

本公开实施例所提供的点云数据标注方法、装置、电子设备、车辆以及可读存储介质，在得到原始点云数据的语义分割结果后，构建与所述原始点云数据对应的三维体素空间，并将所述三维体素空间按照预设栅格尺寸划分成多个体素栅格，然后基于原始点云数据的语义分割结果，确定三维体素空间中每个体素栅格的语义类别，并确定每个体素栅格的其他标注信息，这样不仅可以提升点云数据的标注效率，还可以提升标注的精度。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种点云数据标注方法的流程图；

图2示出了本公开实施例所提供的一种用于获取点云数据的车辆的侧视图；

图3示出了本公开实施例所提供的一种图像分割过程的示意图；

图4示出了本公开实施例所提供的一种语义分割后的原始点云数据的示意图；

图5示出了本公开实施例所提供的一种拟合处理后的路面点云的示意图；

图6示出了本公开实施例所提供的一种标注点云的示意图；

图7示出了本公开实施例所提供的一种点云数据标注装置的功能模块图；

图8示出了本公开实施例所提供的另一种点云数据标注装置的功能模块图；

图9示出了本公开实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

随着车辆智能化的快速发展，越来越多的车辆搭载了自动驾驶系统，自动驾驶系统利用多种传感器感知车辆周围的环境情况，从而做出正确的自动驾驶控制。目前，自动驾驶系统用于感知环境情况的传感器主要包括摄像头和雷达，其中，雷达(如激光雷达)可以实时扫描车辆周围的静态目标和动态目标，然后对点云中的目标进行分割、检测和分类，输出给分析计算模块和控制决策模块，以便根据不同的目标物体做出最佳的驾驶控制决策，比如跟车、超车和停车等。

目前，点云的目标检测分类识别主要依赖于深度学习模型，需要先对点云数据进行较为精确的标注(也称真值标注)，然后训练深度学习模型；最后将训练好的深度学习模型进行应用，以对前述实时扫描的点云数据进行分析处理，得到预测结果。

然而，经研究发现，训练深度学习模型往往需要大量准确的点云标注数据，相关技术中，一般采用人工标注和自动标注两种标注方式。其中，人工标注的方式虽然准确度较高，但需要雇佣大量的人力资源才能满足模型学习不断迭代过程中的数据标注需求，耗费人力物力，且效率低下；自动标注的方式虽然能够在很大程度上缩短标注时间，提高标注效率，但受限于点云分割算法的精度，导致点云的最终标注结果不够理想，此外，一些基于规则的路面点云滤除算法也很难标注出点云的语义信息。因此，如何能够在提升点云标注效率的同时提升标注的精度，是业界一直关注的问题。

基于上述研究，本公开实施例提供一种点云标注方法，包括：通过雷达装置获取原始点云数据，并对所述原始点云数据进行语义分割，得到针对所述原始点云数据的语义分割结果；构建与所述原始点云数据对应的三维体素空间，并将所述三维体素空间按照预设栅格尺寸划分成多个体素栅格；基于所述原始点云数据的语义分割结果，确定所述三维体素空间中每个体素栅格的语义类别，并确定所述每个体素栅格的其他标注信息，所述其他标注信息包括所述每个体素栅格的位置信息以及可见性；针对所述每个体素栅格，基于所述语义类别以及所述其他标注信息生成标注结果，并基于所述三维体素空间中的各个体素栅格的标注结果，生成与所述原始点云数据对应的标注点云。

本公开实施例中，在得到原始点云数据的语义分割结果后，构建与所述原始点云数据对应的三维体素空间，并将所述三维体素空间按照预设栅格尺寸划分成多个体素栅格，然后基于原始点云数据的语义分割结果，确定三维体素空间中每个体素栅格的语义类别，并确定每个体素栅格的其他标注信息，通过该方式进行点云数据的标注，不仅可以提升点云数据的标注效率，还可以提升标注的精度。

下面对本公开实施例提供的点云数据标注方法进行说明，如图1所示，该点云数据标注方法包括以下S101～S104：

S101，通过雷达装置获取原始点云数据，并对所述原始点云数据进行语义分割，得到针对所述原始点云数据的语义分割结果。

示例性地，参见图2所示，为本公开一实施例提供的用于获取点云数据的车辆1000的侧视图。车辆1000上设置有雷达装置10，雷达装置10用于采集点云数据。在一个示例中，雷达装置10可以为激光雷达，以发射激光束探测目标的位置、速度等特征量。雷达装置10采集的点云数据中每一个点都包含了三维坐标信息，还可以包含颜色信息、反射强度信息、回波次数信息等。

此外，该车辆1000还设置有图像采集装置20，该图像采集装置20用于采集车辆1000的环境图像数据。在一个示例中，图像采集装置20可以为摄像头，为了使得采集更加精准，该车辆1000可以设置多个图像采集装置20，该图像采集装置20的类型不做具体限定，比如，可以为单目摄像头也可以为双目摄像头。本公开实施例中，所述车辆1000设置有6个环视相机以及1个360°顶激光雷达。

在一些实施例中，所述车辆1000还包括控制器(图未示)该控制器分别与雷达装置10和图像采集装置20通信，进而在车辆1000行驶的过程中，控制器可以通过该雷达装置获取到原始点云数据以及通过该图像采集装置获取到图像数据。具体地，该控制器可以是整车控制器也可以是车辆1000的其他域控制器，比如，车身域控制器、座舱阈控制器、智驾域控制器等，不做具体限定。在一个示例中，控制器可以包括处理器以及存储器，其中，存储器用于存储指令，处理器从所述存储器调用所述指令以及在执行所述指令时能够实现本申请任一实施例所述的点云数据标注方法。因此，在该实施例中，该点云数据标注方法的执行主体可以是车辆1000。

在另一实施例中，该点云数据标注方法的执行主体也可以为具有一定计算能力的电子设备，此时，通过雷达装置10采集的点云数据以及通过图像采集装置20采集的图像数据可以发送至该电子设备以进行处理。

其中，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户终端、手持设备、计算设备、车载设备、可穿戴设备等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云存储、大数据和人工智能平台等基础云计算服务的云服务器。在一些可能的实现方式中，该车窗控制方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

在一些实施例中，可以通过预设的语义分割算法对所述原始雷达原始点云数据进行语义分割，得到针对所述原始点云数据的语义分割结果。在另一些实施例中，还可以通过图像采集装置20所采集的图像对所述原始点云进行语义分割，也即，在该实施例中，所述通过雷达装置获取原始点云数据，并对所述原始点云数据进行语义分割，得到针对所述原始点云数据的语义分割结果，可以包括以下(1)～(2)：

(1)通过所述雷达装置获取原始点云数据，并通过图像采集装置获取第一图像数据，其中，所述原始点云数据与所述第一图像数据对应于同一场景；

(2)对所述第一图像数据进行图像分割处理，得到图像分割处理后的第二图像数据，并基于所述第二图像数据的图像分割结果，对所述原始点云数据进行语义分割处理，得到针对所述原始点云数据的语义分割结果。

其中，原始点云数据以及第一图像数据可以是进行预处理后的数据，比如，该原始点云数据以及第一图像数据可以是进行时间对齐、运动补偿以及图像去畸变后的数据。

示例性地，参见图3所示，可以基于预先训练好的图像分割模型来对第一图像数据M进行图像分割处理，进而可以得到第一图像数据M中的不同对象(如车辆、行人、道路)的语义分割结果，得到第二图像数据N。具体地，所述第二图像数据N中，不同的像素值可以表征不同对象的语义类别。

在得到第二图像数据后，可以将所述原始点云数据投影到所述第二图像数据中，进而可以确定所述点云数据中的每个点云点在所述第二图像数据N中的位置，如此，可以根据该对应位置对应的语义类别来确定该点云点的语音类别，以实现对所述原始点云数据的语义分割。作为一种示例，可以根据所述雷达装置与所述图像采集装置之间的旋转矩阵得到所述原始点云中的每个点云点在所述图像采集装置坐标系下的坐标，进而可以确定所述原始点云中的每个点云点在所述第二图像数据中的对应位置。

作为一种具体实现，参见图4所示，为本公开实施例提供的一种语义分割后的原始点云数据的示意图，其中，可以通过不同的点云颜色来表征不同点云的语义类别。比如，蓝色表示车辆，红色表示道路，黄色代表行人，白色表示其他不在语义类别中的障碍物。

本公开实施例中，通过将点云数据投影到分割好的图像数据的方式来实现对点云数据的语义分割，由于图像的分割精度较高，进而可以提升点云数据的语义分割精度。

S102，构建与所述原始点云数据对应的三维体素空间，并将所述三维体素空间按照预设栅格尺寸划分成多个体素栅格。

可以理解，如图2所示，由于原始点云数据是基于雷达装置10所采集的，而雷达装置10又是安装于车辆1000上的，若车辆1000行驶，雷达装置在世界坐标系下的位置也会改变，且该改变是由车辆1000的位置改变而引起的，进而该雷达装置10所采集的原始点云数据与车辆1000在世界坐标系中的位置相关。

因此，在一些实施例中，在构建与所述原始点云数据对应的三维体素空间时，可以以所述雷达装置10的载体(车辆1000)为基准，按照预设空间大小构建与所述原始点云数据对应的三维体素空间。示例性地，可以以车辆1000为基准，前后20米、左右20米、上下4米的预设空间构建该三维体素空间。当然，在其他实施例中，该预设空间大小可以根据实际需求而设定，比如，可以根据雷达装置10和/或图像采集装置20的采集范围而具体确定。

在构建该三维体素空间后，即可将所述三维体素空间按照预设栅格尺寸划分成多个体素栅格。例如，以上示例为例，可以确定每个体素栅格的棱长为0.1米。应当理解的是，若三维体素空间越大，则每个体素栅格的棱长会较长，也即，每个体素栅格的棱长与三维体素空间的空间大小正相关。

S103，基于所述原始点云数据的语义分割结果，确定所述三维体素空间中每个体素栅格的语义类别，并确定所述每个体素栅格的其他标注信息，所述其他标注信息包括所述每个体素栅格的位置信息以及可见性。

具体地，在基于所述原始点云数据的语义分割结果，确定所述三维体素空间中每个体素栅格的语义类别时，针对所述原始点云中的每个点云点，可以从所述三维体素空间中确定与所述点云点距离最近的目标体素栅格，并将所述点云点存放于所述目标体素栅格中，以基于所述点云点的语义类别确定所述目标体素栅格的语义类别。也即，可以将原始点云投影进三维体素空间中去，对于原始点云中的每个点云点，将其存放进距离其最近的目标体素栅格中，该目标体素栅格也同时具备了当前点的语义类别。例如，若目标体素栅格中仅存在一个点云点，且该一个点云点的语义类别为道路，则该目标体素栅格的语义类别也为道路。

可以理解，可能存在同一个目标体素栅格存放多个点云点的情况，也即，该同一目标体素栅格可能同时分别距离多个点都最近，此时，则可以根据与所述目标体素栅格对应的多个点云点的语义类别的数量来确定该目标体素栅格的最终的语义类别，也即，若一个目标体素栅格存在多个语义类别的点云点，则进行投票，少数服从多数，将数量最多的语义类别作为所述目标体素栅格的语义类别。例如，若目标体素栅格存在两个点云点的语义类别为车辆，而存在三个点云点的语义类别为行人，则该目标体素栅格的语义类别为行人。

下面对其他标注信息的确定过程进行说明。

针对位置信息，以所述雷达装置的载体的位置为基准，确定所述每个体素栅格的位置信息，本公开实施例中，可以以车辆1000为基准，确定每个体素栅格的坐标位置，例如，可以以车辆1000后轴中心到地面的投影为原点建立坐标系，然后确定每个体素栅格的坐标位置。每个体素栅格的位置信息为该体素栅格的中心点在自车坐标系的坐标。

可以理解，若坐标原点不同，每个体素栅格的位置信息可能是不同的，但是在不同坐标系之间的转换下，每个体素栅格最终在世界坐标系下的位置是相同的，也即，不论以车辆1000的那个点为基准建立坐标系，最后针对同一个体素栅格，转换到世界坐标系下的位置都是相同的。

针对可见性，可以以所述每个体素栅格以及雷达装置之间的连线上是否存在障碍物来确定所述体素栅格是否可见。作为一种示例，可以以所述体素栅格为起点向所述图像采集装置或者所述雷达装置的方向绘制目标直线，若中途遇到障碍物，则确定所述体素栅格不可见。需要说明的是，在图像采集装置的数量为多个的情况下，只要针对一个图像采集装置可见，则确定该体素栅格的可见性为可见。

在一些实施例中，所述其他标注信息还可以包括占用性，所述占用性是指所述体素栅格是否被占用。针对占用性，若该体素栅格中存放有对应的点云点，则确定该体素栅格被占用，若没有点云点与该体素栅格对应，则确定该体素栅格未被占用，比如，在该体素栅对应空气的情况下，则该体素栅格将未被占用，又例如，若该三维体素空间的范围超出了雷达装置的采集范围，则对于超出该采集范围的体素栅格也不会存在与之对应的点云点，此时，该体素栅格的占用性也是未被占用。

作为一种示例，可以通过三维数组的方式来对每个体素栅格的标注信息进行存储，该三维数组的每个位置存放一个体素栅格对应的标注信息，该标注信息包括该体素栅格对应的语义类别、位置信息、是否被占用以及是否可见。

需要说明的是，由于原始点云数据中的点云是稀疏的，对于障碍物(如车辆、行人等)来说，可以通过沿高度轴(Z轴)向下扩展的方法将原本缺失的点云补全。比如在车辆1000前方高度为1米的地方检测到了一个行人，但下半身没有点云点，而下半身的空间也是不可以行驶的，因此需要从检测到行人的高度进行沿z轴的障碍物向下扩展，即沿当前z轴往下均表示行人，得到补充后的行人点云。但对于路面来说，由于路面的点云是一圈一圈的，本身就非常稀疏，很难通过上述填充方法进行填充，因此，本公开实施例中，在确定所述每个体素栅格的其他标注信息之前，还需要对所述三维空间内语义类别为路面的第一体素栅格进行路面拟合，得到路面拟合后的三维体素空间。具体地，在对所述三维空间内的第一体素栅格进行路面拟合，得到路面拟合后的三维体素空间时，可以包括以下(a)～(b)：

(a)将所述三维体素空间沿着横向和纵向按照预设尺寸进行切割得到多个子体素空间，各个所述子体素空间的高度与所述三维体素空间的高度相同；

(b)针对每个子体素空间，采用预设拟合算法对所述子体素空间内语义类别为路面的第一体素栅格进行路面拟合处理处理，得到拟合处理后的子体素空间，并将各个拟合处理后的子体素空间进行拼接融合，得到路面拟合处理后的三维体素空间。

示例性地，该预设算法可以为RANSAC算法，参见图5所示，为本公开实施例提供的拟合后的路面效果的示意图，由图5可以看出，通过对路面点云进行拟合处理，可以将图4中原本缺失的路面部分K进行填充。另外，本公开实施例中，对于路面点数量小于3的子体素空间可以不做处理，如此，可以提升处理效率。

需要说明的是，在该实施例中，在得到路面拟合处理后的三维体素空间后，针对该路面拟合处理后的三维体素空间内的每个体素栅格，确定其他标注信息的方法与前述过程相同，此处不再赘述。

S104，针对所述每个体素栅格，基于所述语义类别以及所述其他标注信息生成标注结果，并基于所述三维体素空间中的各个体素栅格的标注结果，生成与所述原始点云数据对应的标注点云。

示例性地，在得到每个体素栅格的语义类别以及其他标注信息后，即可生成每个体素栅格的标注结果，进而可以基于所述三维体素空间中的各个体素栅格以及各个体素栅格的标注结果，生成与所述原始点云数据对应的标注点云。参见图6所示，为本公开实施例提供的一种标注点云的示意图，如图6所示，一些不可见的路面点云点已经被隐藏。

本公开实施例中，通过构建三维体素空间的方式来实现对原始点云数据的标注，不仅可以提升标注效率，还可以提升标注精度。此外，通过对路面点云进行拟合处理，可以提升路面点云的完整性。进一步地，在确定可见性时，通过确定体素栅格以及雷达装置之间的连线上是否存在障碍物的方式，来确定所述体素栅格是否可见，相较于传统的八叉树索引方式，可以进一步提升标注效率。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

参见图7所示，为本公开实施例提供一种点云数据标注装置的功能模块图。所述点云数据标注装置700包括：

语义分割模块701，用于通过雷达装置获取原始点云数据，并对所述原始点云数据进行语义分割，得到针对所述原始点云数据的语义分割结果；

空间构建模块702，用于构建与所述原始点云数据对应的三维体素空间，并将所述三维体素空间按照预设栅格尺寸划分成多个体素栅格；

信息确定模块703，用于基于所述原始点云数据的语义分割结果，确定所述三维体素空间中每个体素栅格的语义类别，并确定所述每个体素栅格的其他标注信息，所述其他标注信息包括所述每个体素栅格的位置信息以及可见性；

点云标注模块704，用于针对所述每个体素栅格，基于所述语义类别以及所述其他标注信息生成标注结果，并基于所述三维体素空间中的各个体素栅格的标注结果，生成与所述原始点云数据对应的标注点云。

在一种可能的实施方式中，所述语义分割模块701具体用于：

通过所述雷达装置获取所述原始点云数据，并通过图像采集装置获取第一图像数据，其中，所述原始点云数据与所述第一图像数据对应于同一场景；

对所述第一图像数据进行图像分割处理，得到图像分割处理后的第二图像数据，并基于所述第二图像数据的图像分割结果，对所述原始点云数据进行语义分割处理，得到针对所述原始点云数据的语义分割结果。

在一种可能的实施方式中，所述信息确定模块703具体用于：

针对所述原始点云中的每个点云点，从所述三维体素空间中确定与所述点云点距离最近的目标体素栅格，并将所述点云点存放于所述目标体素栅格中，以基于所述点云点的语义类别确定所述目标体素栅格的语义类别。

在一种可能的实施方式中，所述信息确定模块703具体用于：

在所述目标体素栅格中仅存在一个点云点的情况下，将所述一个点云点的语义类别作为所述目标体素栅格的语义类别；

在所述目标体素栅格中存在多个点云点的情况下，将数量最多的语义类别作为所述目标体素栅格的语义类别。

在一种可能的实施方式中，所述体素栅格的尺寸与所述三维体素空间的大小正相关。

在一种可能的实施方式中，所述信息确定模块703具体用于：

以所述雷达装置的载体的位置为基准，确定所述每个体素栅格的位置信息；

针对所述每个体素栅格，以所述体素栅格以及雷达装置之间的连线上是否存在障碍物，确定所述体素栅格是否可见。

在一种可能的实施方式中，所述信息确定模块703具体用于：

以所述体素栅格为起点朝着所述雷达装置绘制直线，若中途遇到障碍物，则确定所述体素栅格相对所述雷达装置不可见。

在一种可能的实施方式中，参见图8所示，所述装置还包括路面拟合模块705；所述路面拟合模块705用于：

在所述三维体素空间中存在语义类别为路面的第一体素栅格的情况下，对所述三维空间内的第一体素栅格进行路面拟合，得到路面拟合后的三维体素空间。

在一种可能的实施方式中，所述路面拟合模块705具体用于：

将所述三维体素空间沿着横向和纵向按照预设尺寸进行切割得到多个子体素空间，各个所述子体素空间的高度与所述三维体素空间的高度相同；

针对每个子体素空间，采用预设拟合算法对所述子体素空间内的语义类别为路面的第一体素栅格进行路面拟合处理处理，得到拟合处理后的子体素空间，并将各个拟合处理后的子体素空间进行拼接融合，得到所述路面拟合后的三维体素空间。。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

基于同一技术构思，本公开实施例还提供了一种电子设备。参照图9所示，为本公开实施例提供的电子设备900的结构示意图，包括处理器901、存储器902、和总线903。其中，存储器902用于存储执行指令。

本公开实施例中，存储器902具体用于存储执行本申请方案的应用程序代码，并由处理器901来控制执行。也即，当电子设备900运行时，处理器901与存储器902之间通过总线903通信，使得处理器901执行存储器902中存储的应用程序代码，进而执行前述任一实施例中所述的方法。

其中，存储器902可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。

处理器901可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备900的具体限定。在本申请另一些实施例中，电子设备900可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中的点云数据标注方法的步骤。

本公开实施例还提供一种计算机程序产品，包括计算机程序/指令，当所述计算机程序/指令处理器被执行时实现如本公开各实施例提供的点云数据标注方法，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

本公开实施例中的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上下载和执行所述计算机程序或指令时，全部或部分地执行本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备、核心网设备、OAM或者其它可编程装置。

所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘；还可以是半导体介质，例如，固态硬盘。该计算机可读存储介质可以是易失性或非易失性存储介质，或可包括易失性和非易失性两种类型的存储介质。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种点云数据标注方法，其特征在于，包括：

通过雷达装置获取原始点云数据，并对所述原始点云数据进行语义分割，得到针对所述原始点云数据的语义分割结果；

构建与所述原始点云数据对应的三维体素空间，并将所述三维体素空间按照预设栅格尺寸划分成多个体素栅格；

基于所述原始点云数据的语义分割结果，确定所述三维体素空间中每个体素栅格的语义类别，并确定所述每个体素栅格的其他标注信息，所述其他标注信息包括所述每个体素栅格的位置信息以及可见性；

针对所述每个体素栅格，基于所述语义类别以及所述其他标注信息生成标注结果，并基于所述三维体素空间中的各个体素栅格的标注结果，生成与所述原始点云数据对应的标注点云。

2.根据权利要求1所述的方法，其特征在于，所述通过雷达装置获取原始点云数据，并对所述原始点云数据进行语义分割，得到针对所述原始点云数据的语义分割结果，包括：

通过所述雷达装置获取所述原始点云数据，并通过图像采集装置获取第一图像数据，其中，所述原始点云数据与所述第一图像数据对应于同一场景；

对所述第一图像数据进行图像分割处理，得到图像分割处理后的第二图像数据，并基于所述第二图像数据的图像分割结果，对所述原始点云数据进行语义分割处理，得到针对所述原始点云数据的语义分割结果。

3.根据权利要求1所述的方法，其特征在于，所述基于所述原始点云数据的语义分割结果，确定所述三维体素空间中每个体素栅格的语义类别，包括：

针对所述原始点云中的每个点云点，从所述三维体素空间中确定与所述点云点距离最近的目标体素栅格，并将所述点云点存放于所述目标体素栅格中，以基于所述点云点的语义类别确定所述目标体素栅格的语义类别。

4.根据权利要求3所述的方法，其特征在于，所述基于所述点云点的语义类别确定所述目标体素栅格的语义类别，包括：

在所述目标体素栅格中仅存在一个点云点的情况下，将所述一个点云点的语义类别作为所述目标体素栅格的语义类别；

在所述目标体素栅格中存在多个点云点的情况下，将数量最多的语义类别作为所述目标体素栅格的语义类别。

5.根据权利要求1所述的方法，其特征在于，所述体素栅格的尺寸与所述三维体素空间的大小正相关。

6.根据权利要求1所述的方法，其特征在于，所述确定所述每个体素栅格的其他标注信息，包括：

以所述雷达装置的载体的位置为基准，确定所述每个体素栅格的位置信息；

针对所述每个体素栅格，以所述体素栅格以及雷达装置之间的连线上是否存在障碍物，确定所述体素栅格是否可见。

7.根据权利要求6所述的方法，其特征在于，所述以所述体素栅格以及雷达装置之间的连线上是否存在障碍物，确定所述体素栅格是否可见，包括：

以所述体素栅格为起点朝着所述雷达装置绘制直线，若中途遇到障碍物，则确定所述体素栅格相对所述雷达装置不可见。

8.根据权利要求1所述的方法，其特征在于，在所述确定所述每个体素栅格的其他标注信息之前，所述方法还包括：

在所述三维体素空间中存在语义类别为路面的第一体素栅格的情况下，对所述三维空间内的第一体素栅格进行路面拟合，得到路面拟合后的三维体素空间。

9.根据权利要求8所述的方法，其特征在于，所述对所述三维空间内的第一体素栅格进行路面拟合，得到路面拟合后的三维体素空间，包括：

将所述三维体素空间沿着横向和纵向按照预设尺寸进行切割得到多个子体素空间，各个所述子体素空间的高度与所述三维体素空间的高度相同；

针对每个子体素空间，采用预设拟合算法对所述子体素空间内的语义类别为路面的第一体素栅格进行路面拟合处理处理，得到拟合处理后的子体素空间，并将各个拟合处理后的子体素空间进行拼接融合，得到所述路面拟合后的三维体素空间。

10.一种点云数据标注装置，其特征在于，包括：

语义分割模块，用于通过雷达装置获取原始点云数据，并对所述原始点云数据进行语义分割，得到针对所述原始点云数据的语义分割结果；

空间构建模块，用于构建与所述原始点云数据对应的三维体素空间，并将所述三维体素空间按照预设栅格尺寸划分成多个体素栅格；

信息确定模块，用于基于所述原始点云数据的语义分割结果，确定所述三维体素空间中每个体素栅格的语义类别，并确定所述每个体素栅格的其他标注信息，所述其他标注信息包括所述每个体素栅格的位置信息以及可见性；

点云标注模块，用于针对所述每个体素栅格，基于所述语义类别以及所述其他标注信息生成标注结果，并基于所述三维体素空间中的各个体素栅格的标注结果，生成与所述原始点云数据对应的标注点云。

11.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1-9任一所述的点云数据标注方法。

12.一种车辆，其特征在于，包括控制器，所述控制器包括：

存储器，被配置成存储指令；以及

处理器，被配置成从所述存储器调用所述指令以及在执行所述指令时能够实现根据权利要求1-9中任一项所述的点云数据标注方法。

13.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-9任一所述的点云数据标注方法。