CN115294186A - 一种点云处理方法、电子设备及程序产品 - Google Patents

Abstract

本说明书提供一种点云处理方法、电子设备及程序产品，获取由点云采集装置采集的点云，以及由图像采集装置采集的图像，其中，图像的采集范围与点云的采集范围匹配。获取图像中目标对象的第一像素位置，并根据两个采集装置之间的相对位置关系，从点云中确定出与第一像素位置匹配的目标点云作为目标对象的点云，从而完成在点云中标注出目标对象的过程。由于图像采集装置采集的图像相较于点云数据更加形象，有更高的可辨认度，因此利用标注好目标对象的图像来辅助点云进行目标对象的标注，可以有效降低直接在点云标注的难度，提高了标注的准确度以及所构建的高精度地图的准确度。

Description

一种点云处理方法、电子设备及程序产品

技术领域

本说明书实施例涉及数据处理技术领域，尤其涉及一种点云处理方法、电子设备及程序产品。

背景技术

车辆的自动驾驶依赖于高精度地图的定位导航。在构建高精度地图时，首先需要地图采集车采集各类道路要素的数据，包括图像数据、点云数据等。随后将采集的数据转化为可用的地图数据，以构建高精度地图。在构建过程中，需要从采集的点云数据中标注出各类道路要素，然而点云标注难度较大，从而降低了标注的准确度，并继而降低了构建的高精度地图的准确度。

发明内容

本说明书实施例提供了一种点云处理方法、电子设备及程序产品，以降低点云标注难度。

根据本说明书实施例的第一方面，提供一种点云处理方法，所述方法包括：

获取点云采集装置采集的点云，以及图像采集装置采集的图像；其中，所述图像的采集范围与所述点云的采集范围匹配；

获取所述图像中目标对象的第一像素位置；

至少根据所述点云采集装置与所述图像采集装置的相对位置关系，从所述点云中确定与所述第一像素位置匹配的所述目标对象的目标点云。

在一些例子中，所述至少根据所述点云采集装置与所述图像采集装置的相对位置关系，从所述点云中确定与所述第一像素位置匹配的所述目标对象的目标点云，包括：

获取投影图像中所述目标对象的第二像素位置；其中，所述投影图像是从所述点云中识别出二维点云后，将所述二维点云向地面投影后的图像；

根据所述相对位置关系，从所述二维点云中确定与所述第一像素位置匹配的第一点云；

根据所述二维点云与所述投影图像的坐标转换关系，从所述二维点云中确定与所述第二像素位置匹配的第二点云；

基于所述第一点云和所述第二点云确定所述目标点云。

在一些例子中，所述点云中的点携带该点的三维位置信息；所述三维信息包括该点的高程信息；

所述从所述点云中识别出二维点云后，将所述二维点云向地面投影，包括：

从所述点云中确定高程信息小于预设阈值的点云为所述二维点云；

基于所述二维点云的二维位置信息生成所述投影图像；其中，所述二维位置信息是基于所述二维点云的三维位置信息得到的。

在一些例子中，所述基于所述第一点云和所述第二点云确定所述目标点云，包括：

对所述第一点云与所述第二点云进行融合处理，得到所述目标点云。

在一些例子中，所述至少根据所述点云采集装置与所述图像采集装置的相对位置关系，从所述点云中确定与所述第一像素位置匹配的所述目标对象的目标点云，包括：

基于所述相对位置关系以及所述图像的尺寸，从所述点云采集装置采集的一帧点云中分割出第三点云；

基于所述相对位置关系，从所述第三点云中确定与所述第一像素位置匹配的所述目标对象的目标点云。

在一些例子中，所述获取所述图像中目标对象的第一像素位置，包括：

对所述图像进行语义分割处理，得到所述目标对象在所述图像中的第一像素位置；和/或

获取在所述图像中人工标注出所述目标对象后预存的第一像素位置。

在一些例子中，所述至少根据所述点云采集装置与所述图像采集装置的相对位置关系，从所述点云中确定与所述第一像素位置匹配的所述目标对象的目标点云，包括：

基于所述第一像素位置，生成与所述图像对应的掩膜图像；所述掩膜图像标注有所述第一像素位置，用于去除除目标对象以外其他图像内容；

根据所述点云采集装置与所述图像采集装置的相对位置关系，将所述点云投影至所述掩膜图像；

从所述点云中确定与所述第一像素位置匹配的所述目标对象的目标点云。

在一些例子中，所述从所述点云中确定与所述第一像素位置匹配的所述目标对象的目标点云，包括：

获取在预设时间段内采集到的多帧点云，从每一帧所述点云中确定与所述第一像素位置匹配的点云；

将每一帧匹配的点云进行融合处理，得到所述目标对象的目标点云。

在一些例子中，所述点云中的点携带该点相对于所述点云采集装置的相对位置信息；所述方法还包括：

基于所述点云采集装置采集所述点云时记录的地理位置信息，以及所述目标点云的相对位置信息，获取所述目标对象的地理位置信息；

基于所述目标对象的地理位置信息构建地图。

在一些例子中，所述基于所述目标对象的地理位置信息构建地图，包括：

基于所述目标对象的类型，从可视化模型库中确定所述目标对象对应的可视化模型；其中，所述可视化模型库存储有不同类型的对象对应的可视化模型；基于所述目标对象的地理位置信息以及所述可视化模型构建地图；和/或

基于所述目标点云，获取所述目标对象的形状信息；基于所述目标对象的地理位置信息以及所述形状信息构建地图。

根据本说明书实施例的第二方面，提供一种电子设备，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器调用所述可执行指令时实现上述第一方面任一所述方法的操作。

根据本说明书实施例的第三方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述方法的步骤。

本说明书实施例的实施例提供的技术方案可以包括以下有益效果：

本说明书实施例提供了一种点云处理方法、电子设备及程序产品，获取由点云采集装置采集的点云，以及由图像采集装置采集的图像，其中，图像的采集范围与点云的采集范围匹配。获取图像中目标对象的第一像素位置，并根据两个采集装置之间的相对位置关系，从点云中确定出与第一像素位置匹配的目标点云作为目标对象的点云，从而完成在点云中标注出目标对象的过程。由于图像采集装置采集的图像相较于点云数据更加形象，有更高的可辨认度，因此利用标注好目标对象的图像来辅助点云进行目标对象的标注，可以有效降低直接在点云标注的难度，提高了标注的准确度以及所构建的高精度地图的准确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书实施例。

附图说明

此处的附图被并入说明书中并构成本说明书实施例的一部分，示出了符合本说明书实施例的实施例，并与说明书一起用于解释本说明书实施例的原理。

图1是本说明书根据一实施例示出的一种点云处理方法的流程图。

图2A是本说明书根据一实施例示出的目标对象的示意图。

图2B是本说明书根据另一实施例示出的目标对象的示意图。

图2C是本说明书根据另一实施例示出的目标对象的示意图。

图3是本说明书根据另一实施例示出的一种点云处理方法的流程图。

图4是本说明书根据另一实施例示出的一种点云处理方法的流程图。

图5是本说明书根据另一实施例示出的一种点云处理方法的流程图。

图6是本说明书根据另一实施例示出的一种点云处理方法的流程图。

图7是本说明书根据另一实施例示出的一种点云处理方法的流程图。

图8是本说明书根据另一实施例示出的一种点云处理方法的流程图。

图9是本说明书根据另一实施例示出的一种点云处理方法的流程图。

图10是本说明书根据一实施例示出的一种电子设备的硬件结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书实施例的一些方面相一致的装置和方法的例子。

在本说明书实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书实施例。在本说明书实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

车辆的自动驾驶依赖于高精度地图的定位导航。在构建高精度地图时，首先需要地图采集车采集各类道路要素的数据。其中，道路要素包括地面要素，如车道线、停止线、减速让行线、地面箭头、文字、导流线等地面上的交通要素；以及包括非地面要素，如杆、牌、交通灯、交通标志、龙门架、建筑物等与地面存在一定距离的要素。地图采集车是面向高精地图的专业采集设备，通常配备有激光雷达、图像采集装置、全球导航卫星系统(GlobalNavigation Satellite System，GNSS)、惯性测量单元(Inertial Measurement Unit，IMU)等数据采集装置，可以采集各类道路要素的图像数据、点云数据等。随后将采集的数据转化为可用的地图数据，以构建高精度地图。在构建过程中，需要从采集的点云数据中标注出各类道路要素，然而点云标注难度较大，从而降低了标注的准确度，并继而降低了构建的高精度地图的准确度。

为此，本说明书实施例提供了一种点云处理方法，包括如图1所示的步骤：

步骤110：获取点云采集装置采集的点云，以及图像采集装置采集的图像；

其中，所述图像的采集范围与所述点云的采集范围匹配；

步骤120：获取所述图像中目标对象的第一像素位置；

步骤130：至少根据所述点云采集装置与所述图像采集装置的相对位置关系，从所述点云中确定与所述第一像素位置匹配的所述目标对象的目标点云。

点云采集装置可以包括激光扫描设备，如激光雷达(LiDAR，Light Detection andRanging)，当然还可以包括其他拥有扫描功能的类似设备。图像采集装置可以包括RGB相机、红外相机、飞行时间(Time of Flight，ToF)相机等具有图像采集功能的类似设备。

点云采集装置与图像采集装置可以搭载在同一可移动平台上。可移动平台可以包括但不限于车辆、飞行器、船舶、无人飞行器、机器人等可移动的设备，如上文所述的地图采集车。

本说明书实施例提供的一种点云处理方法可以由搭载在上述可移动平台的处理器执行，也可以由服务器集群或分布式系统的计算节点执行。

获取点云采集装置采集的点云以及图像采集装置采集的图像，其中，点云采集装置与图像采集装置可以在同一时间下分别采集点云和图像。图像的采集范围与点云的采集范围匹配。采集范围匹配包括图像与点云的采集范围至少部分重合。也即图像与点云的采集范围有重合的范围(以下简称重合范围)。相应地，图像采集装置与点云采集装置的视野范围至少部分重合，也即图像采集装置与点云采集装置的视野范围有重合的范围。例如，点云的采集范围大于图像的采集范围，并包括图像的部分或全部采集范围。例如，图像的采集范围大于点云的采集范围，并包括点云的部分或全部采集范围。又例如，点云的采集范围等于图像的采集范围，且两个采集范围全部重合或部分重合。如此，在重合范围内的对象就会被同时被点云采集装置与图像采集装置分别采集到图像数据以及点云数据。

在获取同一时间下采集的点云与图像后，获取图像中目标对象的第一像素位置。其中，目标对象是重合范围中的任一对象。在构建高精度地图的场景下，目标对象可以是上述道路要素中的任意一种。目标对象在图像的标注过程在下文论述，在此先不展开。第一像素位置用于表征目标对象在图像中的位置。第一像素位置可以包括一个或多个像素位置。像素位置可以对应于目标对象的特征位置。

如图2A所示，若同属于某一类型的目标对象有固定的形状和尺寸，如车道线，则可以使用一个像素位置描述其在图像中的位置。该像素位置可以对应于目标对象的中心、顶角等其他特征位置。例如，图2A示出的4条车道线210，每一条车道线都有相同且固定的形状和尺寸，因此可以使用车道线210的中心点211在图像中的像素位置来表示该车道线210在图像中的位置。也即中心点211的像素位置为车道线210的第一像素位置。

如图2B所示，若同属于某一类型的目标对象有规则形状，但不同目标对象的尺寸各异，如交通指示牌，则可以使用多个像素位置描述其在图像中的位置。每个像素位置可以对应于目标对象形状的顶角等特征位置。例如，图2B示出的矩形的交通指示牌220，可以使用其四个顶角221-224在图像中的像素位置来表示该交通指示牌220在图像中的位置。也即交通指示牌220的第一像素位置包括顶角221-224的4个像素位置。

如图2C所示，若目标对象的形状不规则，如龙门架、建筑等，则可以使用多个像素位置描述其在图像中的位置。例如，可以使用目标对象的轮廓对应的像素位置描述其在图像中的位置。又或者，可以使用形状规则的标注框在图像中标注出目标对象，然后使用标注框在图像中的像素位置描述目标对象在图像中的位置。关于如何描述形状规则的标注框在图像中的位置可参见上文图2A-图2B的实施例，本申请在此不再赘述。例如，图2C示出的龙门架230，可以使用其轮廓在图像中的像素位置来表示该龙门架230在图像中的位置。也即龙门架230的第一像素位置包括其轮廓的像素位置。也可以使用矩形标注框在图像中标注出龙门架230，然后再使用矩形标注框的四个顶角在图像中的像素位置来表示该龙门架230在图像中的位置。也即龙门架230的第一像素位置包括其矩形标注框的4个顶点的像素位置。

在获取第一像素位置后，根据点云采集装置与图像采集装置的相对位置关系，可以从点云中确定出与第一像素位置匹配的目标对象的目标点云。也即从点云中确定出的与第一像素位置匹配的目标点云，即为目标对象的点云，从而完成在点云中的标注出目标对象的过程。其中，可以预先标定并存储点云采集装置与图像采集装置的相对位置关系。在一些实施例中，在确定与第一像素位置匹配的目标点云时，可以至少根据第一像素位置确定目标对象在图像中对应的像素集合，然后从点云中确定与像素集合对应的点云为目标点云，也即目标对象的点云。可以理解的是，像素集合包括多个像素，如此，从点云中确定与像素集合对应的点云为目标点云，也即逐一确定出与像素集合中每一个像素对应的点，所确定的点的集合为目标点云。

如上所述，用于表征目标对象在图像中位置的第一像素位置可以包括一个或多个像素位置。如在图2A中，可以根据目标对象固定的形状与尺寸、以及第一像素位置，确定出目标对象在图像中对应的像素集合。如在图2B中，可以根据第一像素位置所包括的4个顶点的像素位置，确定由该4个顶点围成的矩形所包括的像素点为目标对象在图像中对应的像素集合。如在图2C中，可以根据第一像素位置所包括的轮廓的像素位置，确定由该轮廓围成的区域所包括的像素点为目标对象在图像中对应的像素集合。也可以根据第一像素位置所包括的标注框的像素位置，确定标注框在图像中对应的像素集合作为目标对象在图像中对应的像素集合。然后从点云中确定与像素集合对应的点云为目标点云。

在另一些实施例中，在确定与第一像素位置匹配的目标点云时，可以从点云中确定与第一像素位置对应的范围，并确定该范围所包括的点云为目标点云，也即目标对象的点云。

如在图2A中，可以根据目标对象固定的形状与尺寸、以及第一像素位置，从点云中确定对应的范围，并确定该范围所包括的点云为目标点云。如在图2B中，可以从点云中确定与4个顶点对应的矩形范围，并确定矩形范围内所包括的点云为目标点云。如在图2C中，可以从点云中确定与轮廓的像素位置对应的范围，并确定该范围所包括的点云为目标点云。

本说明书实施例提供的一种点云处理方法，可以应用于任何需要进行点云标注的场景，包括但不限于高精度地图的构建场景中。通过上述步骤，完成了在点云中标注出目标对象的过程。由于图像采集装置采集的图像相较于点云数据更加形象，有更高的可辨认度，因此利用标注好目标对象的图像来辅助点云进行目标对象的标注，可以有效降低直接在点云标注的难度，提高了标注的准确度以及所构建的高精度地图的准确度。

在一些实施例中，点云采集装置的视野范围大于且包括图像采集装置的视野范围。也即点云的采集范围大于且包括图像的采集范围。如此，可以基于点云采集装置与图像采集装置的相对位置关系，以及图像的尺寸，从点云采集装置采集的一帧点云中分割出第三点云。那么步骤130中可以是从分割得到的第三点云中确定出与第一像素位置匹配的目标点云。从采集范围较大的点云中先确定出与图像对应的第三点云，可以减少在确定目标点云时的计算复杂度，有利于加快目标点云的匹配速度。

关于目标对象在图像中的标注过程，在一些实施例中，可以对图像进行语义分割处理，自动从图像中识别出目标对象，从而得到目标对象在图像中第一像素位置。图像的语义分割可参见相关技术记载的方案，本申请在此不展开说明。目标对象的标注与本说明书实施例提供的一种点云处理方法可以由相同的计算设备执行，也可以由不同的计算设备执行。例如某一计算设备在完成目标对象的标注后，可以将得到的第一像素位置发送给另一计算设备，以使另一计算设备执行上述一种点云处理方法。

在另一些实施例中，可以使用标注工具，在图像中人工标注出目标对象。在人工标注目标对象后，可以将得到的第一像素位置存储在存储装置中。在执行步骤120时，可以从存储装置中获取预存的第一像素位置，也即获取在图像中人工标注出目标对象后预存的第一像素位置。

当然，还可以先对图像进行语义分割处理，自动在图像中识别出目标对象，然后通过人工标注更正识别结果以及调整第一像素位置，以提高目标对象的标注准确度。

此外，通过上述语义分割和/或人工标注的方式除了标注出目标对象在图像中的第一像素位置，还可以标注出目标对象的类型。目标对象类型的划分方式有多种，例如目标对象的类型可以包括地面要素类型与非地面要素类型。又例如在地面要素类型中还可以进一步划分为车道线类型、箭头类型、停止线类型等。而非地面要素类型中还可以进一步划分为建筑类型、牌类型、杆类型等。此外，在从点云中确定出的目标点云后，还可以根据目标对象的类型，为目标点云打上类型标签，以便后续处理。

在相关技术中，往往是以人工标注的方式，或者以语义分割与人工标注结合的方式直接在点云进行标注。在人工标注的过程中，由于点云是三维数据，辨认度较低，技术人员往往需要将待标注点云与其对应的二维图像反复对照，对照着图像不断调整标注范围，最后才能获得较准确的点云标注。这无疑为技术人员带来较大的工作量，影响点云标注效率。而在本说明书实施例提供的方法中，技术人员可以直接在辨认度较高的图像中标注出目标对象，得到目标对象在图像中的第一像素位置，然后基于图像采集装置与点云采集装置的相对位置关系，从点云中确定与第一像素位置匹配的目标对象的目标点云。一方面，由于技术人员可以直接在辨认度高的图像中进行标注，因此无需反复对照点云与图像，减少了技术人员的工作量，从而大大提高了点云标注效率；另一方面，相较于直接在点云进行人工标注，本说明书实施例提供的方法所标注的点云有更高的准确度。

图像采集装置采集的图像以及点云采集装置采集的点云均为原始数据，往往存储在数据库，使用时再从数据库中调取。一般来说，在使用原始数据执行计算任务时，不会在原始数据上进行修改，以保证数据的原始性。如此，在一些实施例中，上述步骤130中目标点云的确定过程，可以包括如图3所示的步骤：

步骤310：基于所述第一像素位置，生成与所述图像对应的掩膜图像；

其中，所述掩膜图像标注有所述第一像素位置，用于去除除目标对象以外其他图像内容；

步骤320：根据所述点云采集装置与所述图像采集装置的相对位置关系，将所述点云投影至所述掩膜图像；

步骤330：从所述点云中确定与所述第一像素位置匹配的所述目标对象的目标点云。

在获取第一像素位置后，可以生成与图像对象的掩膜图像(mask图像)。在掩膜图像中可以标注有第一像素位置，保留目标对象对应的图像内容，而去除除目标对象以外其他图像内容。从而只有目标对象对应的像素区域参与后续计算。

随后，可以根据点云采集装置与图像采集装置的相对位置关系，将点云投影至掩膜图像，并确定与掩膜图像中第一像素位置匹配的目标点云为目标对象的点云。通过生成掩膜图像，并将点云投影至掩膜图像中以确定出目标点云，一方面，由于掩膜图像只保留了目标对象对应的图像内容，使得后续的计算过程中减少了数据的处理量。另一方面，使用掩膜图像参与计算，避免了计算过程中对原始数据(图像)的修改，保持了图像的原始性。

图像采集装置与点云采集装置按照预设的采集周期进行数据采集。在数据的采集过程中，可能有若干采集周期均采集到同一目标对象的数据。也即，在一段时间内所采集的若干帧数据均包括对同一目标对象的数据。但是，由于采集装置的波动，或者目标对象被遮挡，一些采集周期的数据可能有所缺失。如此，为了提高目标对象标注的准确度，在一些实施例中，上述步骤130中目标点云的确定过程，可以包括如图4所示的步骤：

步骤410：获取在预设时间段内采集到的多帧点云，从每一帧所述点云中确定与所述第一像素位置匹配的点云；

步骤420：将每一帧匹配的点云进行融合处理，得到所述目标对象的目标点云。

其中，每一帧匹配的点云的融合处理可以包括：确定多帧匹配的点云的并集为目标对象的点云。如此，通过对多帧匹配的点云进行融合处理，使得某些采集周期下所缺失的点云数据可以通过其他采集周期的点云数据得以补齐。从而提高了目标对象的点云的完整性，以及提高了点云标注的准确度。

上述任一实施例提供的点云处理方法，可以应用在高精度地图的构建场景中。如此，目标对象可以是道路要素中的任意一种。如上所述，道路要素包括地面上的地面要素，以及与地面存在一定距离的非地面要素。在一些实施例中，若目标对象为地面要素，如车道线、停止线、减速让行线、地面箭头、文字、导流线等，上述步骤130中目标点云的确定过程可以包括如图5所示的步骤：

步骤510：获取投影图像中所述目标对象的第二像素位置；

其中，所述投影图像是从所述点云中识别出二维点云后，将所述二维点云向地面投影后的图像；

步骤520：根据所述相对位置关系，从所述二维点云中确定与所述第一像素位置匹配的第一点云；

步骤530：根据二维点云与所述投影图像的坐标转换关系，从所述二维点云中确定与所述第二像素位置匹配的第二点云；

步骤540：基于所述第一点云和所述第二点云确定所述目标点云。

其中，点云中的点携带该点的三维位置信息。而三维位置信息包括该点高程信息，也即相对于海平面的高度信息。如此，投影图像的生成包括如图6所示的步骤：

步骤610：从所述点云中确定高程信息小于预设阈值的点云为所述二维点云；

步骤620：基于所述二维点云的二维位置信息，生成所述投影图像；

其中，所述二维位置信息是基于所述二维点云的三维位置信息得到的。

点云中的每个点往往携带有该点的三维位置信息。三维位置信息可以用三维坐标(x，y，z)表示。其中，在点云采集装置采集的原始数据中，点云携带的三维位置信息是点相对于点云采集装置的相对三维位置信息。在点云采集过程中，可以通过地图采集车上搭载的定位装置(如GNSS、IMU等)获取地图采集车的地理位置信息，并基于点云采集装置在地图采集车上的设置位置确定点云采集装置的地理位置信息。如此，可以基于点云采集装置的地理位置信息以及每个点携带的相对三维位置信息，确定每个点的地理位置信息。经过上述对点云数据的预处理后，点云中的点所携带的三维位置信息可以是地理位置信息。同时，基于点云采集装置相对于地面的标定高度，可以从点的三维位置信息中确定出每个点的高程信息。

如此，通过将每个点的高程信息与预设阈值进行对比，可以确定高程信息小于预设阈值的点云是地面的点云，即二维点云，包括地面要素的点云。而高程信息大于预设阈值的点云则是高于地面三维物体的点云，即三维点云，包括非地面要素的点云。

在确定出二维点云后，可以基于二维点云的三维位置信息获取二维位置信息。作为例子，可以确定除三维位置信息中高程信息以外的位置信息为二维位置信息。例如，基于三维坐标(x，y，z)确定二维坐标(x，y)。从三维位置信息得到二维位置信息，相当于将二维点云往地面上进行投影，得到投影图像。其中，通过二维位置信息，可以确定二维点云中每个点在投影图像中的位置。

作为例子，可以确定二维坐标(x，y)为该点在投影图像中的像素坐标(u，v)。作为另一个例子，可以通过仿射变换将二维坐标(x，y)映射至像素坐标(u，v)。仿射变换可以参考相关技术记载的方案，本申请在此不展开说明。

在一些实施例中，点云中的点还可以携带视觉信息，视觉信息包括颜色信息和/或反射强度信息。不同物体的材料差异会导致点云的反射强度不同，因此不同物体反射的点携带有不同的反射强度信息。此外，由于图像携带有物体的真实颜色信息，因此利用携带三维位置信息的彩色图像可以为点云着色，使得点云中每个点都携带了真实的颜色信息。如此，投影图像还可以基于二维点云的二维位置信息以及视觉信息生成。在一些例子中，投影图像可以是一通道的灰度图像，也可以是三通道的彩色图像。在一些例子中，投影图像中每个像素的Alpha通道还可以携带二维点云中对应的点的高程信息，以便后续处理。

在得到投影图像后，可以从投影图像中标注出目标对象，并获取投影图像中目标对象的第二像素位置。其中，所标注的目标对象包括地面要素。目标对象在投影图像中的标注过程可参考上文目标对象在图像中的标注过程，第二像素位置的获取过程可参考上文第一像素位置的获取过程，本申请在此不再赘述。目标对象在投影图像中的标注与本说明书实施例提供的点云处理方法可以由相同的计算设备执行，也可以由不同的计算设备执行。

如此，图像采集装置采集的图像，以及二维点云的投影图像中均标注有同一目标对象。那么可以同时利用图像以及投影图像来进行点云标注。具体地，可以包括如图7所示的步骤：

步骤710：获取投影图像中所述目标对象的第二像素位置；

步骤720：根据所述相对位置关系，从所述二维点云中确定与所述第一像素位置匹配的第一点云；

步骤730：根据二维点云与所述投影图像的坐标转换关系，从所述二维点云中确定与所述第二像素位置匹配的第二点云；

步骤740：对所述第一点云与所述第二点云进行融合处理，得到所述目标点云。

其中，从二维点云中确定与第二像素位置匹配的第二点云时，可以至少根据第二像素位置确定目标对象在投影图像中的对应的像素集合，然后从点云中确定与像素集合对应的点云作为目标点云。利用第二像素位置确定目标对象在投影图像中像素集合的过程可参见上述利用第一像素位置确定目标对象在图像中像素集合的过程。此外，在确定第二点云时，还可以基于第二像素位置，生成与投影图像对应的掩膜图像，并将点云投影至掩膜图像中以确定出第二点云。具体过程参见上文图3对应的实施例，本申请在此不再赘述。

第一点云与第二点云的融合处理可以包括：确定第一点云与第二点云的并集或交集为目标点云。

在本实施例中，通过从点云中提取出二维点云，再将二维点云投影至地面获取投影图像。从投影图像以及图像采集装置采集的图像均可标注出同一地面要素作为目标对象。结合两种图像对同一目标对象的标注，辅助点云进行目标对象的标注，可以进一步降低直接在点云标注的难度，提高了标注的准确度以及所构建的高精度地图的准确度。

如上所述，在点云采集装置采集的原始数据中，点云中的点携带该点相对于点云采集装置的相对位置信息。如此，基于上述任一实施例提供的一种点云处理方法，可以利用所确定的目标点云进行地图构建或地图修正。所谓的地图修正，即对已构建的地图进行修正。在已构建的地图中，可能因为图像的语义划分错误导致目标对象标注错误或者漏标注。此时可以在图像上人工标注出目标对象，从而重新确定目标对象的点云，并修正地图。以利用目标点云进行地图构建为例，地图构建的过程可以包括如图8所示的步骤：

步骤810：基于所述点云采集装置采集所述点云时记录的地理位置信息，以及所述目标点云的相对位置信息，获取所述目标对象的地理位置信息；

步骤820：基于所述目标对象的地理位置信息构建地图。

如上述所述，由于地图采集车上搭载有如GNSS、IMU等定位装置，因此在采集点云的过程中，可以基于定位装置获取的地图采集车的地理位置信息，以及点云采集装置在地图采集车上的设置位置，确定采集每一帧点云时点云采集装置的地理位置信息。如此，根据采集目标点云时点云采集装置的地理位置信息以及目标点云的相对位置信息，确定目标对象的地理位置信息。然后基于目标对象的地理位置信息，可以构建出地图。例如，该地图可以是高精度地图。作为例子，可以对标注出的目标对象进行矢量化处理，得到对应的矢量数据。所述矢量化处理，是指用点、线、面或三维几何图形来表达地物空间特性。例如，若目标对象的形状为直线，如车道线，则可以使用矢量数据(点1，点2)来表示该目标对象。其中，点1携带三维空间信息，如三维坐标(X，Y，Z)。随后，可以利用目标对象的矢量数据构建地图。具体的矢量化处理过程以及地图构建过程可参考相关技术，本申请在此不展开论述。

如上所述，在图像中标注目标对象时，还可以标注出目标对象的类型。如此，在构建地图的过程中，在一些实施例中，可以基于目标对象的类型，从可视化模型库中确定目标对象对应的可视化模型。然后基于目标对象的地理位置信息以及可视化模型构建地图。可视化模型库中存储有不同类型的对象对应的可视化模型，从而为不同类型的对象提供在地图中显示的可视化形象。基于目标对象的类型，可以从可视化模型库中确定出相应的可视化模型。

在另一些实施例中，可以基于目标点云，获取目标对象的形状信息。然后基于目标对象的地理位置信息以及形状信息构建地图。形状信息可以包括轮廓信息和尺寸信息等。

当然，由于属于同一类型的不同目标对象可能在尺寸方面有所不同，例如两个矩形的交通指示牌可能在长宽尺寸上有所差异。因此，还可以先基于目标对象的类型获取对应的可视化模型，然后基于目标点云确定的形状信息，调整可视化模型中用于控制尺寸的参数，使得调整后的可视化模型与目标对象的尺寸匹配。

本说明书实施例提供了一种点云处理方法，获取由点云采集装置采集的点云，以及由图像采集装置采集的图像，其中，图像的采集范围与点云的采集范围匹配。获取图像中目标对象的第一像素位置，并根据两个采集装置之间的相对位置关系，从点云中确定出与第一像素位置匹配的目标点云作为目标对象的点云，从而完成在点云中标注出目标对象的过程。由于图像采集装置采集的图像相较于点云数据更加形象，有更高的可辨认度，因此利用标注好目标对象的图像来辅助点云进行目标对象的标注，可以有效降低直接在点云标注的难度，提高了标注的准确度以及所构建的高精度地图的准确度。

此外，本申请还提供了一种点云处理方法，包括如图9所示的步骤：

步骤910：获取在同一时间下点云采集装置采集的点云，以及图像采集装置采集的图像；

其中，所述图像的采集范围与所述点云的采集范围匹配。点云中的点携带该点的三维位置信息。三维信息包括该点的高程信息。

步骤920：基于点云采集装置与图像采集装置的相对位置关系，以及图像的尺寸，从点云中确定与图像对应的点云。

步骤931：获取对图像进行语义分割处理或者人工标注后，得到的目标对象在图像中的第一像素位置，以及目标对象的类型；

其中，目标对象的类型包括地面要素类型与非地面要素类型。

步骤932：基于第一像素位置生成与图像对应的掩膜图像，将点云投影至掩膜图像，获得与第一像素位置匹配的第一点云，并根据目标对象的类型，为第一点云打上类型标签；

其中，掩膜图像标注有第一像素位置，用于去除除目标对象以外其他图像内容。若第一点云的类型标签为非地面要素类型的标签，则执行步骤951；若第一点云的类型标签为地面要素类型的标签，则执行步骤952。

步骤940：从点云中确定高程信息小于预设阈值的点云为二维点云，基于二维点云的二维位置信息，生成投影图像；

步骤941：获取对投影图像进行语义分割处理或者人工标注后，得到的目标对象在投影图像中的第二像素位置，以及目标对象的类型；

其中，目标对象的类型包括地面要素类型。

步骤942：基于第二像素位置生成与投影图像对应的掩膜图像，将点云投影至掩膜图像，获得与第二像素位置匹配的第二点云；并根据目标对象的类型，为第二点云打上类型标签；

其中，掩膜图像标注有第二像素位置，用于去除除目标对象以外其他图像内容。随后，执行步骤952。

步骤951：若第一点云的类型标签为非地面要素类型的标签，将预设时间段内点云采集装置采集的每一帧点云所确定的第一点云进行融合处理，得到目标对象的目标点云；

步骤952：若第一点云的类型标签为地面要素类型的标签，并将预设时间段内点云采集装置采集的每一帧点云所确定的第一点云和第二点云进行融合处理，得到目标对象的目标点云；

也即，对于地面要素类型的目标对象，可以从点云采集装置采集的一帧点云中分别确定出第一点云和第二点云，对第一点云与第二点云进行融合处理可以得到一帧融合处理后的点云。对预设时间段内点云采集装置采集的每一帧点云均进行第一点云与第二点云进行融合处理可以得到多帧融合处理后的点云，将多帧融合处理后的点云再进行融合处理，可以得到目标对象的目标点云。

步骤960：基于点云采集装置采集点云时记录的地理位置信息，以及目标点云的相对位置信息，获取目标对象的地理位置信息；基于目标对象的地理位置信息构建地图。

上述步骤的具体实现方式参见上文实施例，本申请在此不再赘述。此外，步骤931-932与步骤940-942的执行没有先后顺序，也可以同时执行。步骤931与步骤941中语义分割处理与本实施例一种点云处理方法可以由同一个计算设备执行，也可由不同的计算设备执行。

基于上述任意实施例所述的一种点云处理方法，本说明书实施例还提供了如图10所示的一种电子设备的结构示意图。如图10，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述任意实施例所述的一种点云处理方法。

基于上述任意实施例所述的一种点云处理方法，本说明书实施例还提供了一种点云处理装置，包括：

第一获取模块，用于获取点云采集装置采集的点云，以及图像采集装置采集的图像；其中，所述图像的采集范围与所述点云的采集范围匹配；

第二获取模块，用于获取所述图像中目标对象的第一像素位置；

确定模块，用于至少根据所述点云采集装置与所述图像采集装置的相对位置关系，从所述点云中确定与所述第一像素位置匹配的所述目标对象的目标点云。

上述各功能模块的具体实现方式参见上文实施例，本申请在此不再赘述。

基于上述任意实施例所述的一种点云处理方法，本说明书实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时可用于执行上述任意实施例所述的一种点云处理方法。

基于上述任意实施例所述的一种点云处理方法，本说明书实施例还提供了一种计算机存储介质，存储介质存储有计算机程序，计算机程序被处理器执行时可用于执行上述任意实施例所述的一种点云处理方法。

上述对本说明书实施例特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本说明书实施例的其它实施方案。本说明书实施例旨在涵盖本说明书实施例的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书实施例的一般性原理并包括本说明书实施例未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书实施例的真正范围和精神由下面的权利要求指出。

Claims (12)

1.一种点云处理方法，其特征在于，所述方法包括：

获取点云采集装置采集的点云，以及图像采集装置采集的图像；其中，所述图像的采集范围与所述点云的采集范围匹配；

获取所述图像中目标对象的第一像素位置；

至少根据所述点云采集装置与所述图像采集装置的相对位置关系，从所述点云中确定与所述第一像素位置匹配的所述目标对象的目标点云。

2.根据权利要求1所述的方法，其特征在于，所述至少根据所述点云采集装置与所述图像采集装置的相对位置关系，从所述点云中确定与所述第一像素位置匹配的所述目标对象的目标点云，包括：

获取投影图像中所述目标对象的第二像素位置；其中，所述投影图像是从所述点云中识别出二维点云后，将所述二维点云向地面投影后的图像；

根据所述相对位置关系，从所述二维点云中确定与所述第一像素位置匹配的第一点云；

根据所述二维点云与所述投影图像的坐标转换关系，从所述二维点云中确定与所述第二像素位置匹配的第二点云；

基于所述第一点云和所述第二点云确定所述目标点云。

3.根据权利要求2所述的方法，其特征在于，所述点云中的点携带该点的三维位置信息；所述三维信息包括该点的高程信息；

所述从所述点云中识别出二维点云后，将所述二维点云向地面投影，包括：

从所述点云中确定高程信息小于预设阈值的点云为所述二维点云；

基于所述二维点云的二维位置信息生成所述投影图像；其中，所述二维位置信息是基于所述二维点云的三维位置信息得到的。

4.根据权利要求2所述的方法，其特征在于，所述基于所述第一点云和所述第二点云确定所述目标点云，包括：

对所述第一点云与所述第二点云进行融合处理，得到所述目标点云。

5.根据权利要求1所述方法，其特征在于，所述至少根据所述点云采集装置与所述图像采集装置的相对位置关系，从所述点云中确定与所述第一像素位置匹配的所述目标对象的目标点云，包括：

基于所述相对位置关系以及所述图像的尺寸，从所述点云采集装置采集的一帧点云中分割出第三点云；

基于所述相对位置关系，从所述第三点云中确定与所述第一像素位置匹配的所述目标对象的目标点云。

6.根据权利要求1所述的方法，其特征在于，所述获取所述图像中目标对象的第一像素位置，包括：

对所述图像进行语义分割处理，得到所述目标对象在所述图像中的第一像素位置；和/或

获取在所述图像中人工标注出所述目标对象后预存的第一像素位置。

7.根据权利要求1所述的方法，其特征在于，所述至少根据所述点云采集装置与所述图像采集装置的相对位置关系，从所述点云中确定与所述第一像素位置匹配的所述目标对象的目标点云，包括：

基于所述第一像素位置，生成与所述图像对应的掩膜图像；所述掩膜图像标注有所述第一像素位置，用于去除除目标对象以外其他图像内容；

根据所述点云采集装置与所述图像采集装置的相对位置关系，将所述点云投影至所述掩膜图像；

从所述点云中确定与所述第一像素位置匹配的所述目标对象的目标点云。

8.根据权利要求1所述的方法，其特征在于，所述从所述点云中确定与所述第一像素位置匹配的所述目标对象的目标点云，包括：

获取在预设时间段内采集到的多帧点云，从每一帧所述点云中确定与所述第一像素位置匹配的点云；

将每一帧匹配的点云进行融合处理，得到所述目标对象的目标点云。

9.根据权利要求1所述的方法，其特征在于，所述点云中的点携带该点相对于所述点云采集装置的相对位置信息；所述方法还包括：

基于所述点云采集装置采集所述点云时记录的地理位置信息，以及所述目标点云的相对位置信息，获取所述目标对象的地理位置信息；

基于所述目标对象的地理位置信息构建地图。

10.根据权利要求9所述的方法，其特征在于，所述基于所述目标对象的地理位置信息构建地图，包括：

基于所述目标对象的类型，从可视化模型库中确定所述目标对象对应的可视化模型；其中，所述可视化模型库存储有不同类型的对象对应的可视化模型；基于所述目标对象的地理位置信息以及所述可视化模型构建地图；和/或

基于所述目标点云，获取所述目标对象的形状信息；基于所述目标对象的地理位置信息以及所述形状信息构建地图。

11.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器调用所述可执行指令时实现权利要求1-10任一所述方法的操作。

12.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1-10任一所述方法的步骤。

Images