CN113537049B - 地面点云数据处理方法、装置、终端设备及存储介质 - Google Patents

Abstract

本申请实施例公开一种地面点云数据处理方法、装置、终端设备及存储介质，应用于可行驶装置，可行驶装置包括激光雷达和图像采集设备，所述方法包括：通过激光雷达采集第一点云数据，并通过图像采集设备采集第一图像；对第一图像进行语义分割处理，以得到第一图像的路面区域信息；根据点云数据与图像数据的坐标转换关系，对路面区域信息对应的像素点的图像坐标进行坐标转换，得到第二点云数据；将第一点云数据中与第二点云数据相同的点云数据确定为第一地面点云数据。避免了仅依据激光雷达采集的点云数据的一个或多个特征筛选确定的地面点云不准确的情况，提高了地面点云确定的准确率。

Description

地面点云数据处理方法、装置、终端设备及存储介质

技术领域

本申请涉及数据处理技术领域，具体涉及一种地面点云数据处理方法、装置、终端设备及存储介质。

背景技术

在可行驶装置如车辆或飞行器等的行驶过程中，需要能够准确识别出四周环境的障碍物来实现避障。一般采用激光雷达获取前方点云数据，再通过聚类算法对点云数据进行聚类来实现障碍物的分割和识别，而地面点云会影响聚类算法的准确性。

现有地面点云数据处理方法一般依据点云数据的高度来确定地面点云，但依据点云数据的高度容易将低矮障碍物的点云数据确认为地面点云，从而降低了地面点云确定的准确率。

发明内容

本申请实施例公开了一种地面点云数据处理方法、装置、终端设备及存储介质，能够提高地面点云确定的准确率。

本申请实施例公开一种地面点云数据处理方法，应用于可行驶装置，所述可行驶装置包括激光雷达和图像采集设备，所述方法包括：通过所述激光雷达采集第一点云数据，并通过所述图像采集设备采集第一图像；对所述第一图像进行语义分割处理，以得到所述第一图像的路面区域信息；根据点云数据与图像数据的坐标转换关系，对所述路面区域信息对应的像素点的图像坐标进行坐标转换，得到第二点云数据；将所述第一点云数据中与所述第二点云数据相同的点云数据确定为第一地面点云数据。

本申请实施例公开一种地面点云数据处理装置，所述装置包括：采集模块，用于通过所述激光雷达采集第一点云数据，并通过所述图像采集设备采集第一图像；分割模块，用于对所述第一图像进行语义分割处理，以得到所述第一图像的路面区域信息；转换模块，用于根据点云数据与图像数据的坐标转换关系，对所述路面区域信息对应的像素点的图像坐标进行坐标转换，得到第二点云数据；确定模块，用于将所述第一点云数据中与所述第二点云数据相同的点云数据确定为第一地面点云数据。

本申请实施例公开一种终端设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现本申请实施例公开的任意一种地面点云数据处理方法。

本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序被处理器执行时实现本申请实施例公开的任意一种地面点云数据处理方法。

与相关技术相比，本申请实施例具有以下有益效果：

在采用激光雷达采集第一点云数据以及采用图像采集设备采集第一图像后，对第一图像进行语义分割得到其中的路面区域信息，根据点云数据与图像数据的坐标转换关系对路面区域信息对应的各像素点的图像坐标进行坐标转换，得到第二点云数据，将第一点云数据中与得到的第二点云数据相同的点云数据确定为第一地面点云数据。仅依据激光雷达采集的点云数据难以准确确定地面点云数据，因此，通过对采集的图像进行语义分割得到路面区域的信息，并结合路面区域信息的图像坐标转换后得到的点云数据，来确定第一点云数据中的第一地面点云数据，避免了仅依据激光雷达采集的点云数据的一个或多个特征筛选确定的地面点云不准确的情况，提高了地面点云确定的准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是一个实施例公开的一种地面点云数据处理方法的应用场景示意图；

图1B是一个实施例公开的一种可行驶装置的结构示意图；

图2是一个实施例公开的一种地面点云数据处理方法的方法流程示意图；

图3是一个实施例公开的对坐标转换关系进行标定的流程示意图；

图4是一个实施例公开的确定第二地面点云数据的流程示意图；

图5是一个实施例公开的确定第三地面点云数据的流程示意图；

图6是一个实施例公开的确定地面点云覆盖地面面积的流程示意图；

图7是一个实施例公开的第一地面点云数据和第二地面点云数据所覆盖的平面网格的示意图；

图8是一个实施例公开的一种地面点云数据处理装置的结构示意图；

图9是一个实施例公开的另一种地面点云数据处理装置的结构示意图；

图10是一个实施例公开的又一种地面点云数据处理装置的结构示意图；

图11是一个实施例公开的其他一种地面点云数据处理装置的结构示意图；

图12是一个实施例公开的一种终端设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在可行驶装置如车辆或飞行器的行驶过程中，需要能够准确识别出四周环境的障碍物来实现避障。一般采用激光雷达获取四周环境的点云数据，再通过聚类算法对点云数据进行聚类来实现障碍物的分割和识别，而地面点云会影响聚类算法的准确性。

在相关技术中，一般依据点云数据的相关高度信息如平均高度、最大高度等来确定地面点云，但仅依据点云数据的相关高度信息会将相关高度信息不满足条件的障碍物被错误地确定为地面点云，从而降低了地面点云确定的准确率。并且确定地面点云前需要先确定部分可行驶装置如飞行器当前的俯仰角，增加了确定方法的复杂度。

本申请实施例公开了一种地面点云数据处理方法、装置、终端设备及存储介质，能够提高地面点云确定的准确率。以下分别进行详细说明。

请参阅图1A，图1A是一个实施例公开的一种地面点云数据处理方法的应用场景示意图。如图1A所示，可包括可行驶装置10和多个障碍物20，多个障碍物分布在可行驶装置10的四周环境的区域上，其中，可行驶装置可以包括车辆或者飞行器等，在此不作具体限定。如图1A所示，在可行驶装置10的四周环境上分布有多个障碍物20。需要提高地面点云确定的准确率，进而才能提高障碍物识别的准确率。

请参阅图1B，图1B是一个实施例公开的一种可行驶装置的结构示意图。如图1B所示，可行驶装置10包括终端设备110和信息采集模块120。

在本申请实施例中，终端设备110，可包括微控制单元(MicroControl lerUnit，MCU)、车辆终端或飞行器电脑等，但不限于此。终端设备110可为可行驶装置10的控制中心，利用各种接口和线路连接整个可行驶装置10的各个部分，并执行可行驶装置10的各种功能和处理数据。

在本申请实施例中，信息采集模块120，可包括激光雷达和图像采集设备，其中，图像采集设备可包括一个或多个摄像头。可选地，激光雷达与图像采集设备设置在相邻位置。例如，可包括设置在可行驶装置外部，朝向可行驶装置前进方向的前向图像采集设备和前向激光雷达，前向图像采集设备可以与前向激光雷达一上一下并列设置或者一左一右并排设置；还可包括共同设置在可行驶装置的左侧或右侧，朝向可行驶装置的左侧或右侧，朝向可行驶装置左侧方向或者右侧方向的图像采集设备和激光雷达可以一上一下并排设置或者一左一右并排设置；对于飞行器，还包括设置在飞行器的下方，朝向地面，具体不做限定。信息采集模块120可以在终端设备110的控制下拍摄图像、视频以及采集可行驶装置周围的激光点云数据。

在一个实施例中，可行驶装置10还可包括：无线通信模块130，可以在终端设备110的控制下通过天线接收或者发射无线信号。其中，无线信号可包括但不限于超宽带(UltraWide Band，UWB)信号、Wi-Fi信号、蓝牙信号等。

在一个实施例中，可行驶装置可以如前述可行驶装置10所示，具有信息采集能力，当可行驶装置进行正常行驶时，可行驶装置可通过图像采集设备采集可行驶装置前进方向、可行驶装置左侧方向或者可行驶装置右侧方向的图像，以及采用激光雷达采集前进方向、可行驶装置左侧方向或者可行驶装置右侧方向的激光点云数据；若可行驶装置为飞行器，还可以通过图像采集设备采集飞行器下方的图像，以及采用激光雷达采集飞行器下方的激光点云数据。可行驶装置在采集到前进方向、左侧方向或者右侧方向的图像后，又或者飞行器采集到飞行器下方的图像后，可以对图像进行语义分割处理以得到图像中的路面区域信息。根据点云数据与图像数据的坐标转换关系对路面区域信息对应的像素点的图像坐标进行坐标转换，可行驶装置可将激光雷达采集的点云数据中与坐标转换后得到的点云数据相同的点云数据确定为地面点云数据。

请参阅图2，图2是一个实施例公开的一种地面点云数据处理方法的方法流程示意图，该方法可应用于前述的可行驶装置，该可行驶装置包括激光雷达和图像采集设备。如图2所示，该方法可包括以下步骤：

210、通过激光雷达采集第一点云数据，并通过图像采集设备采集第一图像。

在本申请实施例中，可行驶装置控制激光雷达采集特定区域的第一点云数据，其中，激光雷达搭载在可行驶装置上。一般来说，可行驶装置控制激光雷达采集第一点云数据的区域为可行驶装置的周边区域，可以为可行驶装置前进方向的区域、可行驶装置左侧区域、可行驶装置右侧区域或者可行驶装置为飞行器时的下方区域。图像采集设备同样搭载在可行驶装置上，可行驶装置控制图像采集设备采集特定区域的第一图像。其中，可行驶装置采用激光雷达采集第一点云数据的区域，与采用图像采集设备采集第一图像的区域保持一致。

在本申请实施例中，第一点云数据为激光雷达采集第一点云数据的区域中多个点的点云数据的集合，其中，各个点的点云数据是指一个三维坐标系统中的一组向量。激光雷达通过向采集区域发射激光信号后，收集反射的激光信号得到点云信息，然后通过联合解算和偏差校正得到点云信息具体的数据，即点云数据。因此，每个点的点云数据至少包含有三维坐标，还可以包含有颜色信息或反射强度信息等，在此不作具体限定。第一图像中可包含有各像素点的图像坐标，图像坐标为二维坐标，还可以包含有各像素点的像素值。

在一个实施例中，为了令激光雷达采集第一点云数据的区域与图像采集设备采集第一图像的区域尽可能保持一致，在通过激光雷达采集第一点云数据，并通过图像采集设备采集第一图像之前，可行驶装置控制激光雷达和图像采集设备，以使激光雷达朝向与图像采集设备朝向保持一致。示例性的，可行驶装置可通过调整激光雷达射出激光的角度以及调整图像采集设备的图像拍摄角度，来使得激光雷达与图像采集设备朝向相同方向，来进行第一点云数据以及第一图像的采集。一般来说，可行驶装置控制激光雷达以及图像采集设备朝向可行驶装置的周边区域，可包括可行驶装置的前进方向、可行驶装置左侧方向、可行驶装置右侧方法或者可行驶装置为飞行器时的下方等。

在本申请实施例中，由于可行驶装置在行驶的过程中，可行驶装置周边区域的内容不断变化，因此可行驶装置可同时控制激光雷达采集第一点云数据的过程与图像采集设备采集第一图像，实现二者同步采集数据的过程。

220、对第一图像进行语义分割处理，以得到第一图像的路面区域信息。

在本申请实施例中，可行驶装置在采集到第一图像后，对第一图像进行语义分割处理，具体可以在可行驶装置中的终端设备中进行语义分割处理，或者通过无线通信方式将第一图像传输到其他终端设备中进行语义分割处理。可行驶装置对第一图像进行语义分割处理，用于根据第一图像的内容，从像素角度分割出图片中的不同对象，其中，分割对象可包括路面区域和非路面区域。

在一些实施例中，可行驶装置可通过语义分割模型识别第一图像中的图像内容，并对第一图像中的各个像素点进行分类，以确定第一图像中属于路面区域的像素点，及属于非路面区域的像素点，该路面区域可包括但不限于马路路面信息、人行道路面信息和停车场路面信息等各种路面区域，非路面区域可包括树木信息、行人信息和车辆信息等，在此不做具体限定。路面区域信息可指第一图像中被分类为路面区域的像素点集合。语义分割模型可采用特定训练集进行训练，该特定训练集中可包括携带有路面标签的样本图像，该路面标签可用于对样本图像中的路面区域进行标注。该语义分割模型可包括全卷积网络、UNet或者DeepLab等中的任一种，在此不做具体限定。

230、根据点云数据与图像数据的坐标转换关系，对路面区域信息对应的像素点的图像坐标进行坐标转换，得到第二点云数据。

在本申请实施例中，可行驶装置依据点云数据与图像数据的坐标转换关系，来对路面区域信息对应的像素点的二维坐标进行转换，得到包含三维坐标的路面区域信息对应的第二点云数据。其中，坐标转换关系用于将二维的图像数据转换为三维的点云数据，该坐标转换关系可根据激光设备与图像采集设备之间的外参，以及图像采集设备的内参进行确定。外参指的是图像采集设备在世界坐标系中的参数，如图像采集设备的位置和旋转方向等；内参指的是与图像采集设备自身特性相关的参数，如图像采集设备的焦距和像素大小等。

在一个实施例中，可行驶装置可采用VG Studio Max、Amira、Mimics或者ORS等软件对第一图像进行三维重建，重建后依据路面区域信息对应的像素点的二维图像坐标在三维重建区域中位置，与第一点云数据中的三维点云坐标在激光雷达采集区域中相应的位置，确定路面区域信息的二维图像坐标对应的三维点云坐标，进而实现对路面区域信息对应的像素点的图像坐标进行坐标转换。示例性的，路面区域信息对应的一个像素点的二维图像坐标(2，2)在三维重建区域中所在位置，与第一点云数据中的三维点云坐标(3，3，3)在激光雷达采集区域中所在的位置相同，因此二维图像坐标(2，2)对应三维点云坐标(3，3，3)，将该二维图像坐标(2，2)进行坐标转换，得到第二点云数据(3，3，3)。

在一个实施例中，点云数据与图像数据之间的坐标转换关系可以为坐标转换公式。坐标转换公式可以为矩阵形式，因此坐标转换公式可以表示为：

其中，x_c、y_c为像素点对应的图像坐标，x_l、y_l、z_l为三维的点云坐标。z_c为图像数据的归一化参数，f_x、f_y为图像采集设备的焦距，c_x、c_y为图像采集设备的主点偏移。R和t为外参。内参包括图像采集设备的焦距和主点偏移，其中，图像采集设备的主点偏移为图像采集设备采集的图像的坐标系与图像采集设备坐标系之间的偏移量。

在一个实施例中，请参阅图3，图3是一个实施例公开的对坐标转换关系进行标定的流程示意图。在通过激光雷达采集第一点云数据，并通过图像采集设备采集第一图像之前，还需要对点云数据与图像数据的坐标转换关系进行标定，该标定过程可包括：

310、通过激光雷达采集标定板的第三点云数据，并确定标定板的特征点在第三点云数据中的三维点云坐标；

320、通过图像采集设备采集标定板的第二图像，并确定特征点在第二图像中的二维图像坐标；

330、根据三维点云坐标以及二维图像坐标，确定点云数据与图像数据的坐标转换关系。

在本申请实施例中，先在激光雷达以及图像采集设备的采集区域中设置一个标定板。设置后可行驶装置或可行驶装置中的终端设备控制激光雷达采集标定板的第三点云数据，以及控制图像采集设备采集标定板的第二图像。其中，第三点云数据为标定板中各个标定点的点云数据，该点云数据中至少包括标定点的三维点云坐标，第二图像为标定板的数字图像，该数字图像中至少包括各个标定点的二维图像坐标。

可行驶装置在采集标定板的第三点云数据以及第二图像后，确定标定板中的特征点在第三点云数据中的三维点云坐标，以及确定标定板中的特征点在第二图像中的二维图像坐标。其中，标定板中的特征点可以为标定板中的一个或多个角点，或者是选取的标定板中一个或多个标定点。示例性的，标定板为矩形标定板，可行驶装置采集标定板的第三点云数据和第二图像后，根据采集的第三点云数据确定标定板四个角点对应的第三点云数据，即四个角点的三维点云坐标，根据采集的第二图像确定标定板四个角点在第二图像中对应的二维图像坐标，进而确定四个角点的二维图像坐标。

将该四个角点的三维点云坐标和二维图像坐标代入到上述坐标转换公式中，计算得到激光雷达和图像采集设备之间的外参，也就是确定了三维点云坐标和二维图像坐标的坐标转换参数，因此确定了坐标转换公式。

在本申请实施例中，在采用激光雷达采集标定板的第三点云数据以及采用图像采集设备采集标定板的第二图像后，可将激光雷达采集区域中的标定板各个特征点的三维点云坐标代入上述坐标转换矩阵中，计算得到对应的二维图像坐标，其中，激光雷达采集区域中各特征点的三维点云坐标与图像采集设备采集区域中各特征点的二维图像坐标均基于可行驶装置坐标系。计算后保存各三维点云坐标与各二维图像坐标的对应关系。

在对第一图像中的路面区域信息对应的像素点的图像坐标进行转换时，根据属于路面区域的像素点的二维图像坐标，从保存的各三维点云坐标与各二维图像坐标的对应关系中进行匹配，确定该二维图像坐标对应的三维点云坐标，实现坐标转换。示例性的，采集到的三维点云坐标为(1，1，1)和(2，2，2)，将这两个三维点云坐标分别代入上述坐标转换矩阵中，分别求得对应的二维图像坐标为(2，3)和(3，4)，将(1，1，1)对应(2，3)，以及(2，2，2)对应(3，4)的对应关系存储到数据库或者终端设备中。当得到第一图像中属于路面区域的像素点的二维图像坐标(3，4)后，可从存储的对应关系中匹配得到该二维图像坐标对应的三维点云坐标(2，2，2)。由于三维点云坐标以及二维图像坐标均基于可行驶装置坐标系，因此采用上述预先保存对应关系再匹配对应关系进行转换的方式，能够更加快捷且准确地实现二维坐标到三维坐标的转换。

在本申请实施例中，可行驶转置在确定坐标转换关系即各三维点云坐标与各二维图像坐标的对应关系后，根据路面区域信息对应的各二维图像坐标，从上述存储的对应关系中进行遍历查找，查找得到的三维点云坐标即为第二点云数据。示例性的，路面区域信息对应的二维图像坐标数量为10个，其中8个能够查找得到对应的三维点云坐标，那8个三维点云坐标即为得到的第二点云数据。

240、将第一点云数据中与第二点云数据相同的点云数据确定为第一地面点云数据。

在本申请实施例中，可行驶装置可查找第一点云数据中的是否存在与第二点云数据相同的点云数据，若有与第二点云数据相同的一个或多个第一点云数据，则将该一个或多个第一点云数据确定为第一地面点云数据。

仅依据激光雷达采集的点云数据难以准确确定地面点云数据。因此，在本申请实施例中，通过对采集的图像进行语义分割得到路面区域的信息，并结合路面区域信息的图像坐标转换后得到的点云数据，来确定第一点云数据中的地面点云数据，结合视觉图像数据确定地面点云数据，避免了仅依据激光雷达采集的点云数据的一个或多个特征筛选确定的地面点云不准确的情况，提高了地面点云确定的准确率。

在一个实施例中，请参阅图4，图4是一个实施例公开的确定第二地面点云数据的流程示意图。在将与第二点云数据相同的第一点云数据确定为第一地面点云之后，上述的方法还包括：

410、对第一地面点云数据进行平面特征提取，得到至少一个平面特征信息；

420、将第一点云数据中符合至少一个平面特征信息的第一其它点云数据，确定为第二地面点云数据，第一其它点云数据为第一点云数据中除第一地面点云数据以外的点云数据。

在本申请实施例中，可行驶装置可采用ransac算法对第一地面点云数据进行处理，提取第一地面点云数据所在的一个或多个共同平面的平面特征信息，其中，平面特征信息为各第一地面点云数据的共同平面的特征信息，该特征信息可包括平面的大小、平面的高度以及平面的形状等，在此不作具体限定。由于所有第一地面点云数据中，可能存在多个第一地面点云数据共处一个平面可能相同，而另外的多个第一地面点云数据共处另一个平面，例如部分第一地面点云数据对应人行道路面所在的平面，其它的部分第一地面点云数据对应马路路面所在的平面，因此，平面特征信息数量可以有一个或多个。

在本申请实施例中，可行驶装置依据得到的一个或多个平面特征信息，对第一点云数据中除了第一地面点云数据以外的其他点云数据，即第一其他点云数据进行匹配，判断第一其他点云数据是否符合上述一个或多个平面特征信息中的一个。若符合，则确定该第一其他点云数据为第二地面点云数据。其中，第二地面点云数据是指第一点云数据中，除了第一地面点云数据以外的其它地面点云数据。能够对激光雷达能够采集到的点云数据而图像采集设备采集不到的点进行进一步筛选，找出遗漏的地面点云数据，进一步提高了确定的地面点云的准确性。

在一个实施例中，对第一地面点云数据进行平面特征提取，得到至少一个平面特征信息，可包括：可按照预设的点云数量对所有的第一地面点云数据进行划分，将该第一地面点云数据划分为多组地面点云数据组。

计算各组地面点云数据组对应的平面方程，确定至少一个平面方程的常数。

示例性的，第一地面点云数据有15个，将15个第一地面点云数据划分为两组，一组有7个第一地面点云数据，另一组有8个第一地面点云数据。将各组地面点云数据组中各个第一地面点云数据的三维点云坐标分别代入到平面方程Ax+By+Cz+D＝0中，计算得到其中的参数A、B、C和D，求取得到的参数A、B、C和D即为该组地面点云数据组提取的平面特征信息。将第一其他点云数据的三维点云坐标代入已确定参数A、B、C和D的各个平面方程中，判断是否满足平面方程。若满足其中的一个平面方程，则将该第一其他点云数据确定为第二地面点云数据。

在本申请实施例中，对于将第一其他点云数据的三维点云坐标代入已确定参数A、B、C和D的各个平面方程中，判断是否满足平面方程，可通过设定符合阈值，将第一其他点云数据的三维点云坐标代入依据平面特征信息构建的平面函数中，判断所得结果是否处于一定的数值范围内，是的话可认为该第一其他点云数据满足该平面特征信息对应的平面方程，否则则认为该第一其他点云数据不满足该平面特征信息对应的平面方程。示例性的，设定数值范围为(-0.1，0.1)，将三维点云坐标代入依据A₁、B₁、C₁和D₁的平面特征信息构建的平面函数F(x)＝A₁x+B₁y+C₁z+D₁中，若函数所得结果在(-0.1,0.1)区间中，则认为满足平面特征信息A₁、B₁、C₁和D₁对应的平面方程A₁x+B₁y+C₁z+D₁＝0。

在一个实施例中，在将符合至少一个平面特征信息的第一点云数据，确定为第二地面点云之后，上述的方法还包括：

过滤第一点云数据中的第一地面点云数据和第二地面点云数据，并根据过滤后的第一点云数据进行障碍物识别。

在本申请实施例中，可行驶装置可将确定的第一地面点云数据和第二地面点云数据从激光雷达采集的所有第一点云数据中过滤掉，可将过滤后剩余的第一点云数据作为其他点云数据用到障碍物识别算法中去，以进行障碍物的识别。能够将准确确定的地面点云数据过滤，将过滤后的点云数据用于障碍物识别，有效地提高了障碍物识别的准确性。

在本申请实施例中，可行驶装置还可以将过滤后剩余的第一点云数据做进一步分类，区分出其中的属于障碍物的点云数据以及不属于障碍物的点云数据。具体可采用传统聚类算法，依据点云数据之间的欧式距离来度量属性，对剩余的第一点云数据进行进一步分类，提取其中属于障碍物的点云数据，以进行障碍物的识别；具体也可采用栅格法构建俯视图，寻找包含剩余的第一点云数据的各个格子的连通区域来分割障碍物，再采用最小凸包法求取包围点云数据的最小面积多边形边界框来进行障碍物识别。

在一个实施例中，请参阅图5，图5是一个实施例公开的确定第三地面点云数据的流程示意图。在将符合至少一个平面特征信息的除第一地面点云数据以外的第一点云数据，确定为第二地面点云数据之后，上述的方法还包括：

510、确定第一地面点云数据和第二地面点云数据所覆盖的地面面积；

520、若地面面积高于面积阈值，确定存在地面点云数据遗漏的情况；

530、若地面面积小于或等于面积阈值，则确定不存在地面点云数据遗漏的情况；

540、在存在地面点云数据遗漏的情况下，将第一点云数据中符合至少一个平面特征信息的第二其它点云数据，确定为第三地面点云数据，第二其它点云数据为第一点云数据中除第一地面点云数据及第二地面点云以外的点云数据。

在本申请实施例中，可行驶装置可依据确定的第一地面点云数据和第二地面点云数据的三维点云坐标构建一个或多个三维区域，将该三维区域投影到地面，得到一个或多个二维区域，进而根据一个或多个二维区域的面积即可确定所覆盖的地面面积。可行驶装置也可将确定的第一地面点云数据和第二地面点云数据投影到地面，根据投影到地面后的二维坐标，构建一个或多个二维区域，进而根据所构建的一个或多个二维区域的面积即可确定所覆盖的地面面积。

在本申请实施例中，对于将三维区域投影到地面得到二维区域，或者将点云数据投影到地面得到二维坐标，均可通过将三维坐标中的竖坐标直接去除得到，其中，本申请中所有坐标均为处于以小车为坐标原点的车辆坐标系下的坐标。

示例性的，可行驶装置可根据各第一地面点云数据和第二地面点云数据的三维点云坐标(1，1，1)、(1，3，1)、(3，1，1)、(3，3，1)、(1，1，3)、(1，3，3)、(3，1，3)、(3，3，3)确定一个立方体的三维区域，直接去除所有竖坐标后，即可得到投影的二维区域为(1，1)、(1，3)、(3，1)、(3，3)构成的正方形区域。该区域的面积即为地面点云数据覆盖的地面面积。

在本申请实施例中，可行驶装置在确定地面点云数据覆盖的地面面积后，将地面面积值与面积阈值相比较。若覆盖的地面面积高于面积阈值，则可认为第一地面点云数据和第二地面点云数据所覆盖的地面面积较大，可行驶装置在执行上述地面点云数据处理方法确定第一地面点云数据和第二地面点云数据后，第一点云数据中仍存在遗漏的地面点云数据。而若覆盖的地面面积不高于面积阈值，则可认为第一地面点云数据和第二地面点云数据所覆盖的地面面积较小，可行驶装置在执行上述地面点云数据处理方法确定第一地面点云数据和第二地面点云数据后，第一点云数据中不存在遗漏的地面点云数据。其中，面积阈值可设定。

在本申请实施例中，可行驶装置在认为第一点云数据中仍存在遗漏的地面点云数据的情况下，需要对第一地面点云数据和第二地面点云数据以外的其他第一点云数据进行再进一步的筛选，确定遗漏的地面点云数据。对于再进一步的筛选，可行驶装置可将第一地面点云数据和第二地面点云数据以外的其他第一点云数据，即第二其他点云数据代入到由第一地面点云数据确定的一个或多个平面特征信息中，将符合其中一个平面特征信息的第二其他点云数据确定为第三地面点云数据。对于再进一步的筛选，具体可行驶装置还可以将第二其它点云数据代入由第一地面点云确定的一个或多个平面方程中，将符合其中一个平面方程的第二其他点云数据确定为第三地面点云数据。在上述将第一其他点云数据与各平面特征信息匹配的过程中，可能存在地面点云确定遗漏的情况发生，因此将第二其他点云数据与各平面特征信息进行再次匹配，能够有效地避免地面点云数据遗漏的情况发生，提高地面点云确定的准确率。

在一个实施例中，请参阅图6，图6是一个实施例公开的确定地面点云覆盖地面面积的流程示意图。可行驶装置在执行确定第一地面点云数据和第二地面点云数据所覆盖的地面面积的过程中，可包括：

610、根据激光雷达的采集区域，生成采集区域对应的二维平面区域；

620、将二维平面区域划分为多个平面网格；

630、将第一地面点云数据和第二地面点云数据投影到二维平面区域中，确定第一地面点云数据及第二地面点云数据所覆盖的平面网格的数量；

640、根据平面网格的数量得到第一地面点云数据和第二地面点云数据所覆盖的地面面积。

在本申请实施例中，可行驶装置可将激光雷达的采集区域，即激光雷达采集第一点云数据的三维区域，投影到地面上，以生成采集区域对应的二维平面区域。其中，对于将三维区域投影到地面生成对应的二维区域，可将三维区域中各个点的三维坐标在车辆坐标系上的竖坐标进行去除，得到各个点的二维坐标，根据多个二维坐标来确定采集区域对应的二维平面区域；也可以通过将三维区域中各个点的三维坐标代入投影公式，得到各个点的二维坐标，根据多个二维坐标来确定采集区域对应的二维平面区域。可行驶装置可依据平面网格对生成的二维平面区域进行划分。得到由划分的多个平面网格组成点二维平面区域，其中，平面网格的形状和大小可设定。可行驶装置将第一地面点云数据与第二地面点云数据投影到划分为多个平面网格的二维平面区域中。其中，可行驶装置可将第一地面点云数据和第二地面点云数据的三维点云坐标中的竖坐标去除，得到的二维坐标即为第一地面点云数据和第二地面点云数据投影在二维平面区域中的点。若二维平面区域的一个平面网格中有第一地面点云数据或者第二地面点云数据投影到二维平面区域中的一个或多个点，则认为该平面网格为第一地面点云数据或者第二地面点云数据所覆盖的平面网格。可行驶装置统计第一地面点云数据及第二地面点云数据所覆盖的平面网格的数量，根据统计的平面网格的数量来确定第一地面点云数据和第二地面点云数据所覆盖的地面面积。

示例性的，请参阅图7，图7是一个实施例公开的第一地面点云数据和第二地面点云数据所覆盖的平面网格的示意图。平面网格面积为1平方厘米，第一地面点云数据即图7中黑色圆所覆盖的平面网格数量为10，第二地面点云数据即图中空心圆所覆盖的平面网格数量为8，第一地面点云数据与第二地面点云数据均覆盖的平面网格数量为2，因此第一地面点云数据及第二地面点云数据所覆盖的平面网格的数量为14，可得到第一地面点云数据及第二地面点云数据所覆盖的平面网格面积为14平方厘米，根据平面网格面积与地面面积的比例，确定第一地面点云数据及第二地面点云数据所覆盖的地面面积。通过划分网格形式确定地面点云数据所覆盖的地面面积，能够提高所覆盖的地面面积的确定效率，并且有效地避免了所覆盖平面区域为多个不规则区域导致的地面面积确定错误，从而影响了地面点云确定的准确率。

请参阅图8，图8是一个实施例公开的一种地面点云数据处理装置的结构示意图，该地面点云数据处理装置可应用于可行驶装置，例如可为车辆或者飞行器，具体不做限定。如图8所示，该地面点云数据处理装置800可包括：采集模块810、分割模块820、转换模块830及确定模块840。

采集模块810，用于通过激光雷达采集第一点云数据，并通过图像采集设备采集第一图像。

分割模块820，用于对第一图像进行语义分割处理，以得到第一图像的路面区域信息。

转换模块830，用于根据点云数据与图像数据的坐标转换关系，对路面区域信息对应的像素点的图像坐标进行坐标转换，得到第二点云数据。

确定模块840，用于将第一点云数据中与第二点云数据相同的点云数据确定为第一地面点云数据。

在本申请实施例中，通过对采集的图像进行语义分割得到路面区域的信息，并结合路面区域信息的图像坐标转换后得到的点云数据，来确定第一点云数据中的第一地面点云数据，避免了仅依据激光雷达采集的点云数据的一个或多个特征筛选确定的地面点云不准确的情况，提高了地面点云确定的准确率。

在一个实施例中，在采集模块810执行通过激光雷达采集第一点云数据，并通过图像采集设备采集第一图像之前，转换模块830还可用于通过激光雷达采集标定板的第三点云数据，并确定标定板的特征点在第三点云数据中的三维点云坐标；通过图像采集设备采集标定板的第二图像，并确定特征点在第二图像中的二维图像坐标；根据三维点云坐标以及二维图像坐标，确定点云数据与图像数据的坐标转换关系。

在一个实施例中，采集模块810在执行通过激光雷达采集第一点云数据，并通过图像采集设备采集第一图像之前，采集模块810还用于：

控制激光雷达和图像采集设备，以使激光雷达朝向与图像采集设备朝向保持一致。

请一并参阅图9，图9是一个实施例公开的另一种地面点云数据处理装置的结构示意图。其中，图9所示的地面点云数据处理装置是由图8所示的地面点云数据处理装置进行优化得到的。与图8所示的地面点云数据处理装置相比较，图8所示的地面点云数据处理装置800还可以包括：

提取模块850，用于在将第一点云数据中与第二点云数据相同的点云数据确定为第一地面点云数据之后，对第一地面点云数据进行平面特征提取，得到至少一个平面特征信息。

确定模块840，还用于将第一点云数据中符合至少一个平面特征信息的第一其它点云数据，确定为第二地面点云数据，第一其它点云数据为第一点云数据中除第一地面点云数据以外的点云数据。

请一并参阅图10，图10是一个实施例公开的又一种地面点云数据处理装置的结构示意图。其中，图10所示的地面点云数据处理装置是由图9所示的地面点云数据处理装置进行优化得到的。与图9所示的地面点云数据处理装置相比较，图10所示的地面点云数据处理装置800还可以包括：

过滤模块860，用于过滤第一点云数据中的第一地面点云数据和第二地面点云数据，并根据过滤后的第一点云数据进行障碍物识别。

请一并参阅图11，图11是一个实施例公开的其他一种地面点云数据处理装置的结构示意图。其中，图11所示的地面点云数据处理装置是由图9所示的地面点云数据处理装置进行优化得到的。与图9所示的地面点云数据处理装置相比较，图11所示的地面点云数据处理装置800还可以包括：

检漏模块870，用于在将第一点云数据中符合至少一个平面特征信息的第一其它点云数据，确定为第二地面点云数据之后，确定第一地面点云数据和第二地面点云数据所覆盖的地面面积；若地面面积高于面积阈值，确定存在地面点云数据遗漏的情况；若地面面积小于或等于面积阈值，则确定不存在地面点云数据遗漏的情况；在存在地面点云数据遗漏的情况下，将第一点云数据中符合至少一个平面特征信息的第二其它点云数据，确定为第三地面点云数据，第二其它点云数据为第一点云数据中除第一地面点云数据及第二地面点云以外的点云数据。

在一个实施例中，检漏模块870，还用于根据激光雷达的采集区域，生成采集区域对应的二维平面区域；将二维平面区域划分为多个平面网格；将第一地面点云数据和第二地面点云数据投影到二维平面区域中，确定第一地面点云数据及第二地面点云数据所覆盖的平面网格的数量；根据平面网格的数量得到第一地面点云数据和第二地面点云数据所覆盖的地面面积。

请参阅图12，图12是一个实施例公开的一种终端设备的结构示意图，该终端设备可应用于前述的可行驶装置。如图12所示，该终端设备1200可以包括：

存储有可执行程序代码的存储器1210；

与存储器1210耦合的处理器1220；

其中，处理器1220调用存储器1210中存储的可执行程序代码，执行本申请实施例公开的任意一种地面点云数据处理方法。

需要说明的是，图12所示的终端设备还可以包括电源、输入按键、摄像头、扬声器、屏幕、RF电路、Wi-Fi模块、蓝牙模块、传感器等未显示的组件，本实施例不作赘述。

本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行本申请实施例公开的任意一种地面点云数据处理方法。

本申请实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行本申请实施例公开的任意一种地面点云数据处理方法。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本申请实施例公开的一种地面点云数据处理方法、装置、无线耳机和存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种地面点云数据处理方法，其特征在于，应用于可行驶装置，所述可行驶装置包括激光雷达和图像采集设备，所述方法包括：

通过所述激光雷达采集第一点云数据，并通过所述图像采集设备采集第一图像；

对所述第一图像进行语义分割处理，以得到所述第一图像的路面区域信息；

根据点云数据与图像数据的坐标转换关系，对所述路面区域信息对应的像素点的图像坐标进行坐标转换，得到第二点云数据；

将所述第一点云数据中与所述第二点云数据相同的点云数据确定为第一地面点云数据；

对所述第一地面点云数据进行平面特征提取，得到至少一个平面特征信息；

将所述第一点云数据中符合所述至少一个平面特征信息的第一其它点云数据，确定为第二地面点云数据，所述第一其它点云数据为所述第一点云数据中除所述第一地面点云数据以外的点云数据；

确定所述第一地面点云数据和所述第二地面点云数据所覆盖的地面面积；

若所述地面面积高于面积阈值，确定存在地面点云数据遗漏的情况；

若所述地面面积小于或等于面积阈值，则确定不存在地面点云数据遗漏的情况；

在存在地面点云数据遗漏的情况下，将所述第一点云数据中符合所述至少一个平面特征信息的第二其它点云数据，确定为第三地面点云数据，所述第二其它点云数据为所述第一点云数据中除所述第一地面点云数据及第二地面点云以外的点云数据。

2.根据权利要求1所述的方法，其特征在于，在所述通过所述激光雷达采集第一点云数据，并通过所述图像采集设备采集第一图像之前，所述方法还包括：

通过所述激光雷达采集标定板的第三点云数据，并确定所述标定板的特征点在所述第三点云数据中的三维点云坐标；

通过所述图像采集设备采集所述标定板的第二图像，并确定所述特征点在所述第二图像中的二维图像坐标；

根据所述三维点云坐标以及二维图像坐标，确定点云数据与图像数据的坐标转换关系。

3.根据权利要求1所述的方法，其特征在于，在所述通过所述激光雷达采集第一点云数据，并通过所述图像采集设备采集第一图像之前，所述方法还包括：

控制激光雷达和图像采集设备，以使所述激光雷达朝向与所述图像采集设备朝向保持一致。

4.根据权利要求1所述的方法，其特征在于，在所述将所述第一点云数据中符合所述至少一个平面特征信息的第一其它点云数据，确定为第二地面点云数据之后，所述方法还包括：

过滤所述第一点云数据中的所述第一地面点云数据和所述第二地面点云数据，并根据过滤后的第一点云数据进行障碍物识别。

5.根据权利要求1所述的方法，其特征在于，所述确定所述第一地面点云数据和所述第二地面点云数据所覆盖的地面面积，包括：

根据所述激光雷达的采集区域，生成所述采集区域对应的二维平面区域；

将所述二维平面区域划分为多个平面网格；

将所述第一地面点云数据和所述第二地面点云数据投影到所述二维平面区域中，确定所述第一地面点云数据及所述第二地面点云数据所覆盖的平面网格的数量；

根据所述平面网格的数量得到所述第一地面点云数据和所述第二地面点云数据所覆盖的地面面积。

6.一种地面点云数据处理装置，其特征在于，所述装置包括：

采集模块，用于通过激光雷达采集第一点云数据，并通过图像采集设备采集第一图像；

分割模块，用于对所述第一图像进行语义分割处理，以得到所述第一图像的路面区域信息；

转换模块，用于根据点云数据与图像数据的坐标转换关系，对所述路面区域信息对应的像素点的图像坐标进行坐标转换，得到第二点云数据；

确定模块，用于将所述第一点云数据中与所述第二点云数据相同的点云数据确定为第一地面点云数据；

提取模块，用于对所述第一地面点云数据进行平面特征提取，得到至少一个平面特征信息；

确定模块，还用于将所述第一点云数据中符合所述至少一个平面特征信息的第一其它点云数据，确定为第二地面点云数据，所述第一其它点云数据为所述第一点云数据中除所述第一地面点云数据以外的点云数据；

检漏模块，用于在将所述第一点云数据中符合所述至少一个平面特征信息的第一其它点云数据，确定为第二地面点云数据之后，确定所述第一地面点云数据和所述第二地面点云数据所覆盖的地面面积；若所述地面面积高于面积阈值，确定存在地面点云数据遗漏的情况；若所述地面面积小于或等于面积阈值，则确定不存在地面点云数据遗漏的情况；在存在地面点云数据遗漏的情况下，将所述第一点云数据中符合所述至少一个平面特征信息的第二其它点云数据，确定为第三地面点云数据，所述第二其它点云数据为所述第一点云数据中除所述第一地面点云数据及第二地面点云以外的点云数据。

7.一种终端设备，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至5任一项所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法。

Images