CN113744323A - 点云数据处理方法和装置 - Google Patents

Abstract

本申请公开了一种点云数据处理方法和装置。该方法包括：获取点云分布图像；对点云数据进行分组；从点云数据集合中确定参考点集；根据参考点集确定地面参考线；根据地面参考线判断每组中与地面参考线对应的点云是否属于地面。本申请达到了识别点云是否属于地面的目的，从而使得机器人能高效区分视线范围内的障碍物与地面，包括平地、小沟壑、斜坡这些不影响通过性的场景，为机器人在极复杂场景下进行灵活自主避障打下了前端基础。并且本申请的技术方案，采用普通的深度摄像头拍摄的图像就可以实现地面点云的有效识别，不需要价格高昂的工业级摄像头，降低了方案成本，有利于方案的产品化及量产。

Description

点云数据处理方法和装置

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种点云数据处理方法和装置。

背景技术

在点云的图像处理领域中，现有的去除地面的方法，一般有直接切除法和法向量比对法。直接切除法对于硬件和环境要求比较高，需要摄像头非常精确，噪声小；对于地面的平整度要求也非常高，如果地图中有平地和斜坡，这个方法完全不适用。法向量比对法通过点云法向量与法向量阈值的对比，得出符合地面要求的点云，再删除该点云数据，得到去除地面后的点云数据。该方法对摄像头要求也比较高，不能出现太大的噪声，因为噪声大太法向量容易出现偏差。普通的消费级摄像头拍摄的地面如果不完整就会导致计算法向量时误差比较大，而且此方法在进行数据处理时需要耗费大量的计算资源，无法进行产品化。以上两种方法都对摄像头及硬件有很高要求，但高精度摄像头价格非常昂贵。价格上不能满足商业化的量产要求。

发明内容

本申请的主要目的在于提供一种点云数据处理方法和装置，以解决上述问题。

为了实现上述目的，根据本申请的一个方面，提供了一种点云数据处理方法，包括：

获取点云分布图像；

对所述点云分布图像中的点云数据进行分组；

从点云数据集合中确定参考点集；

根据所述参考点集确定地面参考线；

根据所述地面参考线判断每组中与所述地面参考线对应的点是否属于地面。

在一种实施方式中，对所述点云分布图像中的点云数据进行分组，包括：

对所述点云分布图像，沿着圆周方向划分为N段；每段的圆心角度为360/N；

沿径向将点云区域化划分为M段；

得到M×N个区域。

在一种实施方式中，根据所述参考点集确定地面参考线，包括：

从所述参考点集中确定至少两个参考点；

根据所述至少两个参考点进行线性拟合得到地面参考线。

在一种实施方式中，根据所述地面参考线判断每组中与所述地面参考线组对应的点是否属于地面，包括：

计算每组中的点与对应的地面参考线的垂直距离；

判断所述垂直距离是否小于预定的阈值；

如果是，则确定所述点属于地面。

在一种实施方式中，对所述点云分布图像中的点云数据进行分组之后，从点云数据集合中确定参考点集之前，所述方法还包括：对每个点云数据从三维降为到两维。

在一种实施方式中，从点云数据集合中确定参考点集，包括：

遍历每个点云数据组，对于任意的一组，若组中有点云数据，则选取高度最小的点作为该组中用于线性规划的参考点；若组中没有点云，则跳到下一组。

在一种实施方式中，还包括：判断紧邻圆心的每个组中的参考点的Z方向的高度是否超过预定的高度阈值，如果是，则将所述参考点剔除。

在一种实施方式中，根据所述至少两个参考点进行线性拟合得到地面参考线后，还包括：

判断所述地面参考线是否符合预定的条件，如果否，则删除所述地面参考线和参考点。

在一种实施方式中，所述预定的条件，包括：

所述地面参考线的斜率小于预设的斜率阈值；

所述地面参考线的拟合方差不小于预设的方差阈值；

地面参考线到圆心Z轴的截距不超过预设截距阈值；

同一个扇形中的任意两条相邻的地面参考线，第一地面参考线末端和第二地面参考线起始点在z方向的差距不大于预设的z方向阈值。

根据本申请的第二方面，本申请还提出了一种点云数据处理装置，包括：

获取模块，用于获取点云分布图像；

分组模块，用于对所述点云分布图像中的点云数据进行分组；

处理模块，用于从点云数据集合中确定参考点集；以及根据所述参考点集确定地面参考线；

判断模块，用于根据所述地面参考线判断每组中与所述地面参考线对应的点是否属于地面。

根据本申请的第三方面，本申请还提出了一种电子设备，包括：至少一个处理器和至少一个存储器；所述存储器用于存储一个或多个程序指令；所述处理器，用于运行一个或多个程序指令，用以执行如上述任一项所述的方法。

根据本申请的第四方面，本申请还提出了一种计算机可读存储介质，计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上述任一项所述的方法。

在本申请实施例中，通过获取点云分布图像；对点云数据进行分组；从点云数据集合中确定参考点集；根据参考点集确定地面参考线；根据地面参考线判断每组中与地面参考线对应的点云是否属于地面。本申请达到了识别点云是否属于地面的目的，从而使得机器人能高效区分视线范围内的障碍物与地面，包括平地、小沟壑、斜坡这些不影响通过性的场景，为机器人在极复杂场景下进行灵活自主避障打下了前端基础。并且本申请的技术方案，采用普通的深度摄像头拍摄的图像就可以实现地面点云的有效识别，不需要价格高昂的工业级摄像头，降低了方案成本，有利于方案的产品化及量产。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种点云数据处理方法的流程图；

图2是根据本申请实施例的一种点云图像的区域划分示意图；

图3是根据本申请实施例的一种点云识别的示意图；

图4是根据本申请实施例一种点云数据处理装置的结构示意图；

图5是根据本申请实施例一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本申请涉及到的术语：

点云：通过测量仪器得到的产品外观表面的点数据集合称之为点云，通常使用三维坐标测量机所得到的点数量比较少，点与点的间距也比较大，叫稀疏点云；而使用三维激光扫描仪或照相式扫描仪得到的点云，点数量比较大并且比较密集，叫密集点云。

视觉点云数据：应用相机拍摄扫描获取到的点云数据称为视觉点云数据。

附图1所示的本申请提出的一种点云数据处理方法的流程图，该方法包括：

步骤S102，获取点云分布图像；

具体的，机器人在路面行走时，默认路面为一个平面或多个平面的组合；其中，也包括斜坡、路面上的坑洼、两侧垂直路面的匝道被认为不同的平面。

因此通过普通的摄像头拍摄这些平面可以得到机器人行进方向及行进方向两侧的点云数据。将上述的普通的摄像头获取到的点云数据进行转换，转换为机器人坐标系。

步骤S104，对所述点云分布图像中的点云数据进行分组；

在步骤S104之前，还可以进行一些预处理工作。包括对于图像进行去噪等。

具体的，对所述点云分布图像，以摄像机为圆心，把所有点云数据按相等角度a，以顺时针方向分割为N个扇形，每段的圆心角度为360/N；然后沿着扇形径长，由近到远等分出M段，总共得到M×N个区域(即组，可标示为G_NM)，自此，所有点云数据都根据自身的位置分到相应的组中。

示例性的，参见附图2所示一种点云图像的区域划分示意图；沿着圆周方向划分为8段，每段的圆心角为45。沿着直径方向划分为2段；一共得到了从1到16个区域。当然，划分的方法可以根据实际情况灵活进行设定。划分为多个区域之后，就可以对每个区域进行单独分析。

步骤S106，从点云数据集合中确定参考点集；

具体的，从点云数据集合中提取出若干个参考点组成参考点集合。

步骤S108，根据所述参考点集确定地面参考线；

具体的，可以把参考点用线段连接起来，形成地面线组。地面线组，为地面与障碍物的分解线，用来区分地面和障碍物。

步骤S110，根据所述地面参考线判断每组中与所述地面参考线对应的点是否属于地面。

具体的，计算每组中的点与对应的地面参考线的垂直距离；判断所述垂直距离是否小于预定的阈值；如果是，则确定所述点为地面。其中，阈值可以灵活进行设定，本申请不进行限定。

通过上述的步骤，根据地面线组分割出所有的地面点云数据。若垂直距离大于阈值，则该点不属于地面点，将会被当成机器人行走路径上的障碍物点；如果小于阈值，则判定该点属于机器人可通过的地面、小沟壑、小坎或斜坡。

确定了目标点为地面或者障碍物之后，机器人就可以进行路径上的规划，避开障碍物。

在一种实施方式中，根据所述参考点集确定地面参考线时，从所述参考点集中确定至少两个参考点；根据所述至少两个参考点进行线性拟合得到地面参考线。

具体的，进行线性规划并拟合地面线组时，针对参考点集，进行线性规划，目的为拟合出地面参考线组。从第一个扇形区域，最近的组开始(G_11)，尝试提取该扇形下的第一个参考点，若组中没有参考点，则跳到G_12，G13，G14...G1M，直到有一个参考点作为线性规划的起始点，然后继续从后面的组中，找第二个参考点，进行线性规划。最少要有两个参考点才能进行线性规划，使用一次线性方程y＝mx+b。

在一种实施方式中，从点云数据集合中确定参考点集时，遍历每个点云数据组，对于任意的一组，若组中有点云数据，则选取高度最小的点作为该组中用于线性规划的参考点；若组中没有点云，则跳到下一组。遍历所有的组之后，得到参考点集合。

参考点需要有一些条件上的限制，还需要对参考点进行验证，在一种实施方式中，判断每个紧邻圆心的组中的参考点的Z方向的高度是否超过预定的高度阈值，如果是，则将所述参考点剔除。

示例性的，参见附图2，组9、10、11、12、13、14、15、16为紧邻圆心的组。

在一种实施方式中，根据所述至少两个参考点进行线性拟合得到地面参考线后，判断所述地面参考线是否符合预定的条件，如果否，则删除所述地面参考线和参考点。

预定的条件包括以下的内容：

地面参考线的斜率小于预设的斜率阈值；m越大，数据越陡峭，代表地面坡度越大；

地面参考线的拟合方差不小于预设的方差阈值；

地面参考线到中心Z轴的截距不超过预设截距阈值；

同一个扇形中的任意两条相邻的地面参考线，第一地面参考线末端和第二地面参考线起始点在z方向的差距不大于预设的z方向阈值。

如果任何用于线性规划的参考点，其拟合的地面参考线无法满足上述4个条件，则将该点从参考点集里剔除，以此保证在这一扇形拟合出来的线是合格的地面参考线。一个扇形中可能存在多条地面参考线，而每个扇形(G_2M，G_3M，G_4M...G_NM)都要进行上述验证计算，最后所有的线组成地面参考线组。

为了节省计算资源，在一种实施方式中，还可以对数据进行简化处理，对所述点云分布图像中的点云数据进行分组之后，从点云数据集合中确定参考点集之前，对每个点云数据从三维降为到两维。

具体的，在分组后，可以将3维点云数据(x，y，z)进行了2维降维索引。如要确定某点属于哪个扇区只需用atan2(y,x)/a即可得出；其中，a＝360/N。判断点属于第几分段，可以由

得出。

点云也可以用(m,z)的方式去表示并进行后续计算，虽然其2维索引关系不是一一对应，但这种近似关系为后面的拟合运算及反向索引节省了大量的运算资源，提高了算法的实用性。

在一种实施方式中，在上述的步骤S110及之前的步骤执行时，可以采用二维坐标的形式，所有点云数据还是使用(m,z)的二维表达式进行计算。步骤S110执行之后，还可以反向索引到原始点云数据进行最后的归类，以此达到所有点云数据的语义分割。

为了避免离散点云的干扰，在一种实施方式中，以上述点云数据为中心，统计预定的距离为半径的虚拟的球体范围内包含的其他点云数量，若数量低于阈值，则判定该点云数据为无效离散点云，将该点云剔除。

示例性的，如果点云A为圆心，以5厘米范围为半径，组成的虚拟球体的范围之内，并没有其他的点云数据，则确定点云A为离散的干扰点云。点云A并在障碍物上。当然，上述的球体的半径范围可以根据实际情况进行调整。

参见附图3所示的本申请实施例提出的点云识别的示意图；图中，白色线条为地面参考线，远离地面参考线的点被认定为障碍物。值得强调的是，在分组时，尽可能多的划分，每一组的角度可以为1度，或者0.5度，或者更小；可以把360度划分成上千等分。划分的粒度越小，计算的结果越精确。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

与上述的方法相对应，本申请的实施例还提供了一种点云数据处理装置。

参见附图4所示的一种点云数据处理装置的结构示意图。该装置具体包括：

获取模块41，用于获取点云分布图像；

分组模块42，用于对所述点云分布图像中的点云数据进行分组；

处理模块43，用于从点云数据集合中确定参考点集；以及根据所述参考点集确定地面参考线；

判断模块44，用于根据所述地面参考线判断每组中与所述地面参考线对应的点是否属于地面。

在一种实施方式中，分组模块42还用于，对所述点云分布图像，以摄像机为圆心，沿着圆周方向划分为N段；每段的圆心角度为360/N；

沿径向将点云区域化划分为M段；

得到M×N个区域。

在一种实施方式中，处理模块43还用于，从所述参考点集中确定至少两个参考点；

根据所述至少两个参考点进行线性拟合得到地面参考线。

在一种实施方式中，判断模块44还用于，根据所述地面参考线判断每组中与所述地面参考线组对应的目标点是否属于地面，包括：

计算每组中的目标点与对应的地面参考线的垂直距离；

判断所述垂直距离是否小于预定的阈值；

如果是，则确定该目标点属于地面。

在一种实施方式中，处理模块43还用于，对所述点云分布图像中的点云数据进行分组之后，从点云数据集合中确定参考点集之前，对每个点云数据从三维降为到两维。

在一种实施方式中，处理模块43还用于，遍历每个点云数据组，对于任意的一组，若组中有点云数据，则选取高度最小的点作为该组中用于线性规划的参考点；若组中没有点云，则跳到下一组。

在一种实施方式中，处理模块43还用于，判断紧邻圆心的每个组中的参考点的Z方向的高度是否超过预定的高度阈值，如果是，则将所述参考点剔除。

在一种实施方式中，处理模块43还用于，根据所述至少两个参考点进行线性拟合得到地面参考线后，判断所述地面参考线是否符合预定的条件，如果否，则删除所述地面参考线和参考点。

根据本申请的第三方面，提供了一种电子设备，参见附图5所示的一种电子设备的结构示意图；包括至少一个处理器51和至少一个存储器52；所述存储器52用于存储一个或多个程序指令；所述处理器51，用于运行一个或多个程序指令，用以执行上述任意一项的方法。

第四方面，本申请还提出了一种计算机可读存储介质，计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行上述任一项所述的方法。

可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。

存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。

易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。

本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种点云数据处理方法，其特征在于，包括：

获取点云分布图像；

对所述点云分布图像中的点云数据进行分组；

从点云数据集合中确定参考点集；

根据所述参考点集确定地面参考线；

根据所述地面参考线判断每组中与所述地面参考线对应的点是否属于地面。

2.根据权利要求1所述的点云数据处理方法，其特征在于，对所述点云分布图像中的点云数据进行分组，包括：

对所述点云分布图像，以摄像机为圆心，沿着圆周方向划分为N段；每段的圆心角度为360/N；

沿径向将点云区域化划分为M段；

得到M×N个区域。

3.根据权利要求1所述的点云数据处理方法，其特征在于，根据所述参考点集确定地面参考线，包括：

从所述参考点集中确定至少两个参考点；

根据所述至少两个参考点进行线性拟合得到地面参考线。

4.根据权利要求1所述的点云数据处理方法，其特征在于，

根据所述地面参考线判断每组中与所述地面参考线组对应的点是否属于地面，包括：

计算每组中的点与对应的地面参考线的垂直距离；

判断所述垂直距离是否小于预定的阈值；

如果是，则确定所述点属于地面。

5.根据权利要求1所述的点云数据处理方法，其特征在于，对所述点云分布图像中的点云数据进行分组之后，从点云数据集合中确定参考点集之前，所述方法还包括：对每个点云数据从三维降为到两维。

6.根据权利要求2所述的点云数据处理方法，其特征在于，从点云数据集合中确定参考点集，包括：

遍历每个点云数据组，对于任意的一组，若组中有点云数据，则选取高度最小的点作为该组中用于线性规划的参考点；若组中没有点云，则跳到下一组。

7.根据权利要求6所述的点云数据处理方法，其特征在于，还包括：判断紧邻圆心的每个组中的参考点的Z方向的高度是否超过预定的高度阈值，如果是，则将所述参考点剔除。

8.根据权利要求3所述的点云数据处理方法，其特征在于，根据所述至少两个参考点进行线性拟合得到地面参考线后，还包括：

判断所述地面参考线是否符合预定的条件，如果否，则删除所述地面参考线和参考点。

9.根据权利要求8所述的点云数据处理方法，其特征在于，所述预定的条件，包括：

所述地面参考线的斜率小于预设的斜率阈值；

所述地面参考线的拟合方差不小于预设的方差阈值；

地面参考线到圆心Z轴的截距不超过预设截距阈值；

同一个扇形中的任意两条相邻的地面参考线，第一地面参考线末端和第二地面参考线起始点在z方向的差距不大于预设的z方向阈值。

10.一种点云数据处理装置，其特征在于，包括：

获取模块，用于获取点云分布图像；

分组模块，用于对所述点云分布图像中的点云数据进行分组；

处理模块，用于从点云数据集合中确定参考点集；以及根据所述参考点集确定地面参考线；

判断模块，用于根据所述地面参考线判断每组中与所述地面参考线对应的点是否属于地面。

Images