CN115249354A - 一种点云数据处理方法、装置、设备及存储介质 - Google Patents

Abstract

本公开提供一种点云数据处理方法、装置、设备及存储介质。本公开所述方法将道路对象的点云数据中的各点分别投影在各个图像的网格中，以确定所述网格对应的目标道路对象，若出现所述网格对应至少两个道路对象，则根据点云数据确定所述至少两个道路对象中与所述图像采集设备距离最近的目标道路对象，如此，能够解决道路对象的点云数据中的各点投影到图像后，由于缺少深度信息导致至少两个道路对象重叠时，出现获取到的所述点的类别不准确的问题，从而提高所述点的类别的准确度。

Description

一种点云数据处理方法、装置、设备及存储介质

技术领域

本公开涉及技术领域，尤其涉及一种点云数据处理方法、装置、设备及存储介质。

背景技术

在感知领域可以通过雷达检测得到某一场景的3D点云数据，在确定点云数据中各道路对象的类别时，通常将道路对象的点云数据中的各点投影到2D图像上得到投影点坐标，之后从所述图像的语义分割结果中得到所述投影点坐标的类别，从而可以根据所述投影点坐标的类别确定道路对象的类别。

但在两个道路对象的投影存在覆盖的情况下，将导致得到的道路对象的类别不够准确。

发明内容

为克服相关技术中存在的问题，本公开提供了一种点云数据处理方法、装置、设备及存储介质。

根据本公开的第一方面，提供一种点云数据处理方法，所述方法包括：

获取雷达采集的多个道路对象的点云数据，以及至少一个图像采集设备采集的至少一张图像，所述点云数据中的道路对象与各个图像中包含的道路对象至少部分重合；

通过将所述道路对象的点云数据中的各点分别投影在各个图像的网格中，确定所述网格所对应的目标道路对象，其中，所述网格包括至少一个像素，在所述网格对应至少两个道路对象的情况下，根据点云数据确定所述至少两个道路对象中与所述图像采集设备距离最近的目标道路对象；

针对所述道路对象的点云数据中的每个点，获取在各个图像中，所述点的投影点所在的网格对应的目标道路对象与所述点所属的道路对象一致的目标图像，并将所述目标图像中所述投影点对应的像素类别确定为所述点的类别；

根据所述多个道路对象的点云数据中各个点的类别，确定所述道路对象的类别。

结合本公开提供的任一实施方式，所述通过将所述道路对象的点云数据中的各点分别投影在各个图像的网格中，确定所述网格所对应的目标道路对象，包括：根据所述雷达与所述图像采集设备之间的位姿关系，确定所述点投影在所述图像上的投影点坐标；根据所述投影点坐标，确定所述投影点坐标所属的网格；根据所述点在所述点云数据中所属的道路对象，确定所述网格对应的目标道路对象。

结合本公开提供的任一实施方式，所述根据所述投影点坐标，确定所述投影点坐标所属的网格，包括：将所述投影点坐标除以预设比例，并进行取整处理；在多个网格坐标中，获取与取整处理后的投影点坐标相匹配的目标网格坐标，所述网格坐标是通过对图像中的像素坐标除以所述预设比例并进行取整处理确定的；根据所述目标网格坐标，确定所述投影点坐标所属的网格。

结合本公开提供的任一实施方式，通过将所述道路对象的点云数据中的各点分别投影在各个图像的网格中，确定所述网格所对应的目标道路对象之后，还包括：

建立所述图像的对应关系表，所述对应关系表用于指示网格与目标道路对象的对应关系；

所述针对所述道路对象的点云数据中的每个点，获取在各个图像中，所述点的投影点所在的网格对应的目标道路对象与所述点所属的道路对象一致的目标图像，包括：根据各个图像的对应关系表，确定所述点的投影点所在的网格对应的目标道路对象；将所述至少一个图像中，所述点对应的目标道路对象与所述点所属的道路对象一致的图像确定为所述点对应的目标图像。

结合本公开提供的任一实施方式，所述点云数据中的道路对象设置有第一道路对象ID；

所述通过将所述道路对象的点云数据中的各点分别投影在各个图像的网格中，确定所述网格所对应的目标道路对象之后，还包括：根据所述网格对应的目标道路对象，确定所述网格对应的第二道路对象ID；

所述针对所述道路对象的点云数据中的每个点，获取在各个图像中，所述点的投影点所在的网格对应的目标道路对象与所述点所属的道路对象一致的目标图像，包括：获取在各个图像中，所述点的投影点所在的网格对应的第二道路对象ID；将所述第二道路对象ID与所述点所属的第一道路对象ID一致的图像确定为所述点对应的目标图像。

结合本公开提供的任一实施方式，所述方法还包括：

对所述图像进行语义识别，确定所述图像中每个像素的像素类别。

根据本公开的第二方面，提供一种点云数据处理装置，所述装置包括：

获取单元，用于获取雷达采集的多个道路对象的点云数据，以及至少一个图像采集设备采集的至少一张图像，所述点云数据中的道路对象与各个图像中包含的道路对象至少部分重合；

确定网格单元，用于通过将所述道路对象的点云数据中的各点分别投影在各个图像的网格中，确定所述网格所对应的目标道路对象，其中，所述网格包括至少一个像素，在所述网格对应至少两个道路对象的情况下，根据点云数据确定所述至少两个道路对象中与所述图像采集设备距离最近的目标道路对象；

确定目标图像单元，用于针对所述道路对象的点云数据中的每个点，获取在各个图像中，所述点的投影点所在的网格对应的目标道路对象与所述点所属的道路对象一致的目标图像，并将所述目标图像中所述投影点对应的像素类别确定为所述点的类别；

确定类别单元，用于根据所述多个道路对象的点云数据中各个点的类别，确定所述道路对象的类别。

结合本公开提供的任一实施方式，所述确定网格单元，用于：根据所述雷达与所述图像采集设备之间的位姿关系，确定所述点投影在所述图像上的投影点坐标；根据所述投影点坐标，确定所述投影点坐标所属的网格；根据所述点在所述点云数据中所属的道路对象，确定所述网格对应的目标道路对象。

结合本公开提供的任一实施方式，所述确定网格单元，用于：将所述投影点坐标除以预设比例，并进行取整处理；在多个网格坐标中，获取与取整处理后的投影点坐标相匹配的目标网格坐标，所述网格坐标是通过对图像中的像素坐标除以所述预设比例并进行取整处理确定的；根据所述目标网格坐标，确定所述投影点坐标所属的网格。

结合本公开提供的任一实施方式，在确定网格单元之后，还包括：建立单元，用于建立所述图像的对应关系表，所述对应关系表用于指示网格与目标道路对象的对应关系；所述确定目标图像单元，用于在所述建立单元建立对应关系之后，根据各个图像的对应关系表，确定所述点的投影点所在的网格对应的目标道路对象；将所述至少一个图像中，所述点对应的目标道路对象与所述点所属的道路对象一致的图像确定为所述点对应的目标图像。

结合本公开提供的任一实施方式，所述点云数据中的道路对象设置有第一道路对象ID；

所述确定网格单元，还用于在确定网格对应的目标道路对象之后，根据所述网格对应的目标道路对象，确定所述网格对应的第二道路对象ID；

所述确定目标图像单元，用于获取在各个图像中，所述点的投影点所在的网格对应的第二道路对象ID；将所述第二道路对象ID与所述点所属的第一道路对象ID一致的图像确定为所述点对应的目标图像。

根据本公开的第三方面，提供了一种电子设备，所述设备包括：处理器；用于存储处理器可执行指令的存储器，以执行本公开任一实施方式所述的方法。

根据本公开的第四方面，提供了一种计算机可读存储介质，其上储存有计算机程序指令，所述计算机程序指令被处理器执行时实现本公开任一实施方式所述的方法。

本公开提供的技术方案可以包括以下有益效果：

本公开一个或多个实施例提供的点云数据处理方法、装置、设备及存储介质，将道路对象的点云数据中的各点分别投影在各个图像的网格中，以确定所述网格对应的目标道路对象，若出现所述网格对应至少两个道路对象，则根据点云数据确定所述至少两个道路对象中与所述图像采集设备距离最近的目标道路对象，如此，能够解决道路对象的点云数据中的各点投影到图像后，由于缺少深度信息导致至少两个道路对象重叠时，出现获取到的所述点的类别不准确的问题，从而提高所述点的类别的准确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的技术方案。

图1是本公开根据一示例性实施例示出的投影覆盖导致类别错误的示意图。

图2是本公开根据一示例性实施例示出的一种点云数据处理方法的流程图。

图3是本公开根据一示例性实施例示出的图像上网格的示意图。

图4是本公开根据一示例性实施例示出的一种确定网格对应目标道路对象的方法流程图。

图5是本公开根据一示例性实施例示出的一种确定道路对象类别的方法流程图。

图6为本公开根据一示例性实施例示出的点云数据处理装置的结构示意图。

图7为本公开根据一示例性实施例示出的点云数据处理的电子设备结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。

在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本公开可以应用于确定点云数据中道路对象的类别，所述道路对象可以包括自动驾驶车辆在自动驾驶过程中遇到的障碍物。所述自动驾驶车辆上通常安装有雷达，所述雷达可以用于获取点云数据，通过点云数据可以复现车辆周围完整的空间信息，为后续的驾驶决策提供依据。所述自动驾驶车辆上还可以安装有多个图像采集设备，通过多个图像采集设备获取车辆周围的图像。图像采集设备例如可以包括相机、摄像机等。可以理解的是，各图像采集设备获取图像的场景和雷达获取点云数据的场景至少部分重合。

预先对雷达采集到的点云数据进行分割处理，也就是说可以将点云数据中属于同一道路对象的点进行聚类，得到不同道路对象的点云数据，此时，并不知道各道路对象的类别。在确定道路对象的类别时，通常可以根据点云-相机标定矩阵将道路对象的点云数据中的各点投影到图像上得到对应的投影点，之后从所述图像的语义识别结果中得到所述投影点所在位置处的像素类别，根据各点的投影点对应的像素类别确定所述点的类别，从而确定道路对象的类别。

但在将道路对象的点云数据中的各点投影到图像的过程中，由于缺乏深度信息，不同道路对象的点在图像上的投影点可能产生覆盖，距离相机较远处的道路对象得到的类别实际为距离相机较近的道路对象的类别，这将导致距离相机较远处的道路对象的点云数据的类别不准确。

为了更清楚的说明由于投影覆盖导致类别错误的现象，本公开结合图1进行具体说明。图1是本公开根据一示例性实施例示出的投影覆盖导致类别错误的示意图。如图1所示，利用第一图像采集设备可以采集到第一图像10，利用第二图像采集设备可以采集到第二图像11，利用第三图像采集设备可以采集到第三图像12。利用雷达可以采集到点云数据13，所述点云数据13中包括多个道路对象的点云数据。通过第二图像11可以确定道路对象101的实际类别为行人，并且通过第三图像12可以确定道路对象102的实际类别为自行车，理想状态下，希望获取的道路对象101的点的类别为行人，获取的道路对象102的点的类别为自行车。

但将点云数据13中的道路对象101和道路对象102投影到第二图像11上时，可以看到道路对象101覆盖了道路对象102，此时由于道路对象101相对道路对象102更靠近第二图像采集设备，导致理论上获取到道路对象102的类别为自行车，但实际获取到道路对象102的类别为行人。换言之，当道路对象102的点云数据投影到第二图像11时，由于道路对象101的遮挡导致道路对象102的类别不准确。

鉴于此，本公开提供了一种点云数据处理方法。在本公开中，通过将道路对象的点云数据中的各点分别投影在各个图像的网格中，确定所述网格所对应的目标道路对象，在所述网格对应至少两个道路对象的情况下，根据点云数据确定所述至少两个道路对象中与所述图像采集设备距离最近的目标道路对象，如此，能够解决道路对象的点云数据中的各点投影到图像后，由于缺少深度信息导致至少两个道路对象重叠时，出现获取到的所述点的类别不准确的问题，从而提高所述点的类别的准确度。

本公开下述实施例将结合附图，对一种点云数据处理方法进行具体说明。

图2是本公开根据一示例性实施例示出的一种点云数据处理方法的流程图。如图2所示，本公开提供的一种点云数据处理方法，包括以下步骤201至步骤204。

在步骤201中，获取雷达采集的多个道路对象的点云数据，以及至少一个图像采集设备采集的至少一张图像。

在一些实施例中，雷达和图像采集设备可以设置在同一对象上，所述对象可以为自动驾驶车辆。获取雷达采集的多个道路对象的点云数据，所述道路对象可以包括在所述自动驾驶车辆的设定范围内参与道路交通的其他对象，例如所述道路对象可以包括行人、自行车、电动车以及其他驾驶车辆等。所述雷达可以采用激光雷达、毫米波雷达或超声波雷达等。

一般情况下，可以在自动驾驶车辆上设置3个图像采集设备，获取所述3个图像采集设备各自采集的图像，通常所述点云数据中的道路对象与各个图像中包含的道路对象至少部分重合。

以图1所示的场景为例，点云数据13中包含的部分道路对象与各个图像(第一图像10、第二图像11和第三图像12)中包含的部分道路对象重合。也就是说，各个图像采集设备采集的场景至少与雷达扫描的场景部分重合。

在步骤202中，通过将所述道路对象的点云数据中的各点分别投影在各个图像的网格中，确定所述网格所对应的目标道路对象，其中，所述网格包括至少一个像素，在所述网格对应至少两个道路对象的情况下，根据点云数据确定所述至少两个道路对象中与所述图像采集设备距离最近的目标道路对象。

对每个道路对象而言，道路对象的点云数据可以包括多个点，将所述道路对象的点云数据中的各点分别投影在各个图像上。

在一些实施例中，可以预先根据划分依据将每个图像上的像素划分为多个网格。所述划分依据可以设置为一个像素为一个网格，也可以设置为多个像素(例如20*20)为一个网格。

图3是本公开根据一示例性实施例示出的图像上网格的示意图。按照划分依据对第一图像10进行处理后，可以得到类似图3所示的效果，图像上对应有多个网格30。需说明，图3是为了直观的展示图像和网格的关系，以便于对方案的理解，并不代表实际执行过程中在图像上画出类似的网格，也就是说网格可以是为了便于理解方案虚拟出的概念，并不代表在图像上形成类似图3所示的网格。示例的，可以利用图像上的像素坐标表征网格30，例如可以通过像素坐标(708,0)表征网格30。

将道路对象的点云数据中的各点分别投影在各个图像上，通常点的投影点会落入图像中的某个网格，因此可以确定所述点的投影点所属的网格，将所述点的道路对象确定为所述网格所对应的目标道路对象。在所述网格对应至少两个道路对象的情况下，根据点云数据确定所述至少两个道路对象中与所述图像采集设备距离最近的目标道路对象。

在一些实施例中，可以包括有多个道路对象的点云数据和多个图像，在投影过程中，可以以其中一个图像为起点，获取每个道路对象的点云数据中的各点分别投影在所述图像上的投影点所属的网格，并确定所述网格所对应的目标道路对象，直到遍历完所有图像。通过步骤202可以获得每个图像的网格所对应的目标道路对象。

为了更清楚的说明步骤202，将其中一种情形设定为：道路对象A以及道路对象A的点云数据中的点a，道路对象B以及道路对象B的点云数据中的点b，点a和点b均投影到第一图像10上，第一图像10对应第一图像采集设备。

假设获取点a投影到第一图像10时，所述点a的投影点所属的网格为网格30，在确定所述网格30没有对应的目标道路对象的情况下，可以确定网格30所对应的目标道路对象为道路对象A。在一种可能的实施例中：遍历完所有道路对象后，没有其他道路对象的点的投影点落入网格30，此时，说明网格30所对应的目标道路对象为道路对象A。在另一种可能的实施例中：在将道路对象B中的点b投影在第一图像10时，所述点b的投影点所属的网格同样可以为网格30，由于网格30已经对应的目标道路对象为道路对象A，此时需要在3D空间中确定道路对象A距离第一图像采集设备的距离A，以及道路对象B距离第一图像采集设备的距离B。若所述距离A小于所述距离B，说明道路对象A距离第一图像采集设备更近，则保持网格30所对应的目标道路对象为道路对象A；若所述距离A大于所述距离B，说明道路对象B距离第一图像采集设备更近，则更新网格30所对应的目标道路对象为道路对象B。

在步骤203中，针对所述道路对象的点云数据中的每个点，获取在各个图像中，所述点的投影点所在的网格对应的目标道路对象与所述点所属的道路对象一致的目标图像，并将所述目标图像中所述投影点对应的像素类别确定为所述点的类别。

通过步骤202可以确定每个图像上的各网格所对应的目标道路对象，之后可以针对每个道路对象的点云数据中的每个点，获取点的投影点所在的网格对应的目标道路对象与所述点所属的道路对象一致的目标图像。例如，对于道路对象A的点a，遍历各个图像，查找所述点a的投影点所在的网格对应的目标道路对象为道路对象A的图像，将该图像作为目标图像。假设在所述目标图像中所述投影点对应的像素类别为行人，则确定所述点的类别为行人。

在一些实施例中，可以对所述图像进行语义识别，确定所述图像中每个像素的像素类别。

在步骤204中，根据所述多个道路对象的点云数据中各个点的类别，确定所述道路对象的类别。

每个道路对象的点云数据中可以包括多个点，在确定得到道路对象的各个点的类别之后，可以对所有点的类别进行归类，将点的数量最多的类别作为道路对象的类别。

在一些实施例中，步骤202通过将所述道路对象的点云数据中的各点分别投影在各个图像的网格中，确定所述网格所对应的目标道路对象，包括以下步骤2021至步骤2023。

在步骤2021中，根据所述雷达与所述图像采集设备之间的位姿关系，确定所述点投影在所述图像上的投影点坐标。

通常情况下，可以根据雷达和第一图像采集设备之间的位姿关系，确定道路对象的点云数据中的各点投影到第一图像10上的投影点坐标，同样可以根据雷达和第二图像采集设备之间的位姿关系，确定道路对象的点云数据中的各点投影到第二图像11上的投影点坐标。

在一些实施例中，可以根据道路对象的点云数据与图像采集设备之间的标定矩阵，确定道路对象的点云数据中的各点投影到所述图像采集设备对应的图像上的投影点坐标。

示例的，对每个相机，利用cam_x(1≤x≤n，n为相机个数)表示相机x，记cam_x的点云数据-相机标定矩阵为M_x，遍历所有道路对象。假设道路对象i的点云数据为points_i，记点云数据中的第j个点为points_ij，将points_ij通过M_x计算得到图像上的投影，记投影点为image_point_ij，所述投影点的坐标为(image_point_ij.x，image_point_ij.y)。

在一些实施例中，在确定点的投影点坐标的情况下，可以记录所述点以及所述点的投影点坐标，便于在步骤203中直接使用，无需重复计算，可以减少计算量。

在步骤2022中，根据所述投影点坐标，确定所述投影点坐标所属的网格。

通常在已知网格的情况下，可以获取到网格对应的网格坐标，之后在已知投影点坐标的情况下，可以通过判断投影点坐标是否落入网格坐标对应的范围内，以确定所述投影点坐标所属的网格。

在步骤2023中，根据所述点在所述点云数据中所属的道路对象，确定所述网格对应的目标道路对象。

在确定所述投影点坐标所属的网格的情况下，可以将所述点在所述点云数据中所属的道路对象，确定为所述网格对应的目标道路对象。例如，点a的投影点坐标属于网格30(也就是说点a的投影点坐标落入网格30)，将点a所属的道路对象A，确定为网格30对应的目标道路对象。

在一些实施例中，根据所述投影点坐标，确定所述投影点坐标所属的网格，包括：将所述投影点坐标除以预设比例，并进行取整处理；在多个网格坐标中，获取与取整处理后的投影点坐标相匹配的目标网格坐标，所述网格坐标是通过对图像中的像素坐标除以所述预设比例并进行取整处理确定的；根据所述目标网格坐标，确定所述投影点坐标所属的网格。

在本实施例中，可以预先将各图像中的像素坐标除以预设比例，并进行取整处理，得到一个图像对应的多个网格的网格坐标。其中预设比例可以为20。例如第一图像10可以包括1920*1080个像素，将各个像素坐标除以预设比例20并进行取整处理后，可以得到96*54个网格，每个网格可以采用一个网格坐标表示。例如像素坐标(20，10)除以预设比例20后可以得到(1，0.5)，对(1，0.5)向下取整处理后可以得到网格坐标(1，0)，采用(1，0)表示一个网格。从网格的角度上可以理解为将{[1-2)，[0-1)}范围的像素坐标都可以通过网格(1，0)表示。

接续上述投影点的坐标为(image_point_ij.x，image_point_ij.y)的示例，将所述投影点坐标除以预设比例，并进行取整处理，其中预设比例采用得到网格坐标时的预设比例20，将所述投影点坐标除以20，可以得到(image_point_ij.x/20,image_point_ij.y/20)，之后对(image_point_ij.x/20,image_point_ij.y/20)向下取整，得到投影点的整数坐标。示例的，假设投影点坐标为(10，35)除以预设比例20可以得到(0.5,1.75)，进行取整处理后可以得到(0，1)，也就是说将{[0-1)，[1-2)}之间的投影点都可以用(0，1)表示。

在已知多个网格坐标和取整处理后的投影点坐标的情况下，可以获取与所述取整处理后的投影点坐标相匹配的目标网格坐标，根据所述目标网格坐标，确定所述投影点坐标所属的网格。

通过对投影点坐标和像素坐标进行按照预设比例进行处理，不仅可以减少计算量，还可以降低存储网格的空间。

在一些实施例中，通过将所述道路对象的点云数据中的各点分别投影在各个图像的网格中，确定所述网格所对应的目标道路对象之后，还可以建立所述图像的对应关系表，所述对应关系表用于指示网格与目标道路对象的对应关系。示例的，可以为相机cam_x采集的图像建立对应关系表T_x，T_x大小为96*54，在T_x中记录网格与所述网格对应的目标道路对象。

在一些实施例中，所述针对所述道路对象的点云数据中的每个点，获取在各个图像中，所述点的投影点所在的网格对应的目标道路对象与所述点所属的道路对象一致的目标图像，包括：根据各个图像的对应关系表，确定所述点的投影点所在的网格对应的目标道路对象；将所述至少一个图像中，所述点对应的目标道路对象与所述点所属的道路对象一致的图像确定为所述点对应的目标图像。

在已知各个图像的对应关系表的情况下，可以遍历各个图像的对应关系表，确定所述点的投影点所在的网格对应的目标道路对象，将所述点对应的目标道路对象与所述点所属的道路对象一致的图像确定为所述点对应的目标图像。示例的，假设有第一图像10，第二图像11，第三图像12，可以得到第一图像10对应的对应关系表1-0，第二图像11对应的对应关系表1-1，第三图像12对应的对应关系表1-2。针对道路对象的点云数据中的每个点，确定所述点的投影点所在的网格对应的目标道路对象，假设对于点a，在对应关系表1-0中所述点a的投影点所在的网格对应的目标道路对象为道路对象A，则可以确定第一图像10为点a对应的目标图像，在该情况下，不再遍历对应关系表1-1和对应关系表1-2。再次假设对于点a，遍历完对应关系表1-0，对应关系表1-1和对应关系表1-2都没有找到与网格对应的目标道路对象为道路对象A的图像，则可以设置点a的类别为默认值，所述默认值表明没找到点a的类别，也可以理解为在第一图像10，第二图像11和第三图像12上都没有点a对应的投影点。

在一些实施例中，可以为所述点云数据中的道路对象设置第一道路对象ID。在道路对象设置有第一道路对象ID的情况下，在通过将所述道路对象的点云数据中的各点分别投影在各个图像的网格中，确定所述网格所对应的目标道路对象之后，根据所述网格对应的目标道路对象，确定所述网格对应的第二道路对象ID。可以理解为，建立网格和第二道路对象ID的对应关系，利用第二道路对象ID表征所述网格对应的目标道路对象。通过道路对象ID表征目标道路对象可以减少占用的存储空间。

在一些实施例中，针对所述道路对象的点云数据中的每个点，获取在各个图像中，所述点的投影点所在的网格对应的目标道路对象与所述点所属的道路对象一致的目标图像，包括：获取在各个图像中，所述点的投影点所在的网格对应的第二道路对象ID；将所述第二道路对象ID与所述点所属的第一道路对象ID一致的图像确定为所述点对应的目标图像。

为了更清楚的说明本公开，下述实施例以相机cam_x为例进行具体说明。

对于每个相机，为相机cam_x采集的图像，建立对应关系表T_x：

利用cam_x的点云数据-相机标定矩阵M_x，遍历所有道路对象，假设道路对象i的第一道路对象ID为i，道路对象i的点云数据为points_i，记点云数据为points_i中的第j个点为points_ij。

参照图4，在步骤401中，将points_ij通过M_x计算得到图像上的投影点，记为image_point_ij；在步骤402中，查找T_x中的网格(image_point_ij.x/20，image_point_ij.y/20)，如果网格没有对应记录有第二道路对象ID，即points_ij是第一个被投影到该位置的点，执行步骤403，建立所述网格对应的第二道路对象ID为i，也就是说，可以直接将T_x(image_point_ij.x/20，image_point_ij.y/20)赋值为i；如果网格已对应记录有第二道路对象ID，假设T_x(image_point_ij.x/20，image_point_ij.y/20)原先记录的第二道路对象ID为i′，执行步骤404，比较道路对象i和道路对象i′距离相机的距离(用3D点云得到的空间位置信息进行比较)，如果道路对象i距离相机较近，执行步骤405将网格T_x(image_point_ij.x/20，image_point_ij.y/20)记录的第二道路对象ID从i′更新为i；如果道路对象i′距离相机较近，执行步骤406维持网格记录的第二道路对象ID为i′。

对每个道路对象i的每个点points_ij：参照图5，针对相机cam_x，在步骤501中获取points_ij在该相机采集的图像上的投影点坐标(image_point_ij.x，image_point_ij.y)，查看所述图像对应的对应关系表T_x中，网格(image_point_ij.x/20，image_point_ij.y/20)对应的第二道路对象ID是否与点所属的道路对象i的第一道路对象ID一致，如果一致，执行步骤502获取(image_point_ij.x，image_point_ij.y)的像素点类别，如果不一致，执行步骤503对下一个相机进行计算，直到找到类别或者所有相机全部枚举完，若全部枚举完未找到类别，则可以确定点points_ij的类别为默认值。执行完步骤502后可以执行步骤505，在步骤505中判断是否获得道路对象i的所有点的类别，如果获得道路对象i的所有点的类别，执行步骤506确定道路对象i的类别；如果没有获得道路对象i的所有点的类别，执行步骤507，获取道路对象i的下一个点的类别。

与前述方法的实施例相对应，本公开还提供了装置及其所应用的终端的实施例。

图6为本公开根据一示例性实施例示出的点云数据处理装置的结构示意图。如图6所示，一种点云数据处理装置，所述装置包括：

获取单元601，用于获取雷达采集的多个道路对象的点云数据，以及至少一个图像采集设备采集的至少一张图像，所述点云数据中的道路对象与各个图像中包含的道路对象至少部分重合；

确定网格单元602，用于通过将所述道路对象的点云数据中的各点分别投影在各个图像的网格中，确定所述网格所对应的目标道路对象，其中，所述网格包括至少一个像素，在所述网格对应至少两个道路对象的情况下，根据点云数据确定所述至少两个道路对象中与所述图像采集设备距离最近的目标道路对象；

确定目标图像单元603，用于针对所述道路对象的点云数据中的每个点，获取在各个图像中，所述点的投影点所在的网格对应的目标道路对象与所述点所属的道路对象一致的目标图像，并将所述目标图像中所述投影点对应的像素类别确定为所述点的类别；

确定类别单元604，用于根据所述多个道路对象的点云数据中各个点的类别，确定所述道路对象的类别。

在一些实施例中，所述确定网格单元602，用于：根据所述雷达与所述图像采集设备之间的位姿关系，确定所述点投影在所述图像上的投影点坐标；根据所述投影点坐标，确定所述投影点坐标所属的网格；根据所述点在所述点云数据中所属的道路对象，确定所述网格对应的目标道路对象。

在一些实施例中，所述确定网格单元602，用于：将所述投影点坐标除以预设比例，并进行取整处理；在多个网格坐标中，获取与取整处理后的投影点坐标相匹配的目标网格坐标，所述网格坐标是通过对图像中的像素坐标除以所述预设比例并进行取整处理确定的；根据所述目标网格坐标，确定所述投影点坐标所属的网格。

在一些实施例中，在确定网格单元602之后，还包括：建立单元，用于建立所述图像的对应关系表，所述对应关系表用于指示网格与目标道路对象的对应关系；所述确定目标图像单元603，用于在所述建立单元建立对应关系之后，根据各个图像的对应关系表，确定所述点的投影点所在的网格对应的目标道路对象；将所述至少一个图像中，所述点对应的目标道路对象与所述点所属的道路对象一致的图像确定为所述点对应的目标图像。

在一些实施例中，所述点云数据中的道路对象设置有第一道路对象ID；

所述确定网格单元602，还用于在确定网格对应的目标道路对象之后，根据所述网格对应的目标道路对象，确定所述网格对应的第二道路对象ID；

所述确定目标图像单元603，用于获取在各个图像中，所述点的投影点所在的网格对应的第二道路对象ID；将所述第二道路对象ID与所述点所属的第一道路对象ID一致的图像确定为所述点对应的目标图像。

图7为本公开至少一个实施例提供的点云数据处理的电子设备结构示意图。如图7所示，所述电子设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施方式所述的点云数据处理方法。

本公开至少一个实施例还提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一所述的点云数据处理方法。

本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书中的“和/或”表示至少具有两者中的其中一个，例如，“A和/或B”包括三种方案：A、B、以及“A和B”。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。

Claims (10)

1.一种点云数据处理方法，其特征在于，所述方法包括：

获取雷达采集的多个道路对象的点云数据，以及至少一个图像采集设备采集的至少一张图像，所述点云数据中的道路对象与各个图像中包含的道路对象至少部分重合；

通过将所述道路对象的点云数据中的各点分别投影在各个图像的网格中，确定所述网格所对应的目标道路对象，其中，所述网格包括至少一个像素，在所述网格对应至少两个道路对象的情况下，根据点云数据确定所述至少两个道路对象中与所述图像采集设备距离最近的目标道路对象；

针对所述道路对象的点云数据中的每个点，获取在各个图像中，所述点的投影点所在的网格对应的目标道路对象与所述点所属的道路对象一致的目标图像，并将所述目标图像中所述投影点对应的像素类别确定为所述点的类别；

根据所述多个道路对象的点云数据中各个点的类别，确定所述道路对象的类别。

2.根据权利要求1所述的方法，其特征在于，所述通过将所述道路对象的点云数据中的各点分别投影在各个图像的网格中，确定所述网格所对应的目标道路对象，包括：

根据所述雷达与所述图像采集设备之间的位姿关系，确定所述点投影在所述图像上的投影点坐标；

根据所述投影点坐标，确定所述投影点坐标所属的网格；

根据所述点在所述点云数据中所属的道路对象，确定所述网格对应的目标道路对象。

3.根据权利要求2所述的方法，其特征在于，所述根据所述投影点坐标，确定所述投影点坐标所属的网格，包括：

将所述投影点坐标除以预设比例，并进行取整处理；

在多个网格坐标中，获取与取整处理后的投影点坐标相匹配的目标网格坐标，所述网格坐标是通过对图像中的像素坐标除以所述预设比例并进行取整处理确定的；

根据所述目标网格坐标，确定所述投影点坐标所属的网格。

4.根据权利要求1所述的方法，其特征在于，通过将所述道路对象的点云数据中的各点分别投影在各个图像的网格中，确定所述网格所对应的目标道路对象之后，还包括：

建立所述图像的对应关系表，所述对应关系表用于指示网格与目标道路对象的对应关系；

所述针对所述道路对象的点云数据中的每个点，获取在各个图像中，所述点的投影点所在的网格对应的目标道路对象与所述点所属的道路对象一致的目标图像，包括：

根据各个图像的对应关系表，确定所述点的投影点所在的网格对应的目标道路对象；

将所述至少一个图像中，所述点对应的目标道路对象与所述点所属的道路对象一致的图像确定为所述点对应的目标图像。

5.根据权利要求1所述的方法，其特征在于，所述点云数据中的道路对象设置有第一道路对象ID；

所述通过将所述道路对象的点云数据中的各点分别投影在各个图像的网格中，确定所述网格所对应的目标道路对象之后，还包括：

根据所述网格对应的目标道路对象，确定所述网格对应的第二道路对象ID；

所述针对所述道路对象的点云数据中的每个点，获取在各个图像中，所述点的投影点所在的网格对应的目标道路对象与所述点所属的道路对象一致的目标图像，包括：

获取在各个图像中，所述点的投影点所在的网格对应的第二道路对象ID；

将所述第二道路对象ID与所述点所属的第一道路对象ID一致的图像确定为所述点对应的目标图像。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述图像进行语义识别，确定所述图像中每个像素的像素类别。

7.一种点云数据处理装置，其特征在于，所述装置包括：

获取单元，用于获取雷达采集的多个道路对象的点云数据，以及至少一个图像采集设备采集的至少一张图像，所述点云数据中的道路对象与各个图像中包含的道路对象至少部分重合；

确定网格单元，用于通过将所述道路对象的点云数据中的各点分别投影在各个图像的网格中，确定所述网格所对应的目标道路对象，其中，所述网格包括至少一个像素，在所述网格对应至少两个道路对象的情况下，根据点云数据确定所述至少两个道路对象中与所述图像采集设备距离最近的目标道路对象；

确定目标图像单元，用于针对所述道路对象的点云数据中的每个点，获取在各个图像中，所述点的投影点所在的网格对应的目标道路对象与所述点所属的道路对象一致的目标图像，并将所述目标图像中所述投影点对应的像素类别确定为所述点的类别；

确定类别单元，用于根据所述多个道路对象的点云数据中各个点的类别，确定所述道路对象的类别。

8.根据权利要求7所述的装置，其特征在于，所述确定网格单元，用于：

根据所述雷达与所述图像采集设备之间的位姿关系，确定所述点投影在所述图像上的投影点坐标；

根据所述投影点坐标，确定所述投影点坐标所属的网格；

根据所述点在所述点云数据中所属的道路对象，确定所述网格对应的目标道路对象。

9.一种电子设备，其特征在于，所述设备包括：

处理器；

用于存储处理器可执行指令的存储器，以执行权利要求1至6任一所述的方法。

10.一种计算机可读存储介质，其上储存有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至6任一所述的方法。

Images