CN115775214B - 一种基于多阶段分形组合的点云补全方法及系统 - Google Patents

Abstract

本申请公开了一种基于多阶段分形组合的点云补全方法及系统，包括以下步骤：获取目标场景的点云，所述点云存在几何形状缺失和稀疏性缺失为不完整点云；对所述不完整点云进行几何缺失点云补全处理，得到几何丢失部分点云；基于所述不完整点云和所述几何丢失部分点云，进行精细化点云补全处理，生成完整点云，完成所述不完整点云的补全。本申请可以将同时存在几何形状缺失和点云稀疏缺失的残缺点云，有效的补全出点云的缺失部分。提高模型的鲁棒性，能应对点云的多种缺失情况，且有效地优化点云补全的过程。

Description

一种基于多阶段分形组合的点云补全方法及系统

技术领域

本申请属于点云数据处理技术领域，具体涉及一种基于多阶段分形组合的点云补全方法及系统。

背景技术

随着视觉硬件的高速发展，激光雷达、RGB-D相机等深度传感器广泛应用于无人驾驶，机器人等领域。通过深度传感器可以有效地获取物体的点云数据，进而完成复杂的三维视觉任务，例如物体识别，语义分割，三维重建等。然而受限于设备精度等原因，现实场景下获取的点云数据往往存在稀疏和不完整的现象，导致了物体判断不够准确；除此之外，设备在采集外界信息时往往是基于单一视角，此时获取的点云可能存在被遮挡等情况。针对上述的情况，对缺失的点云进行补全处理是三维视觉领域一项重要的研究任务。

点云补全任务是将不完整的点云数据进行补全，从而获得更高质量的点云数据。常见的补全方法可以分为基于几何、基于对齐和基于学习三类。其中基于几何的方法通过先验几何假设直接从观察到的形状部分中预测不可见的形状部分，需要人为制定几何规则，这种做法只适用于具有少量不完整的模型。基于对齐的方法是在形状数据库中检索与目标对象相似的相同模型，然后将输入与模型对齐并完成缺失区域，然而它们在推理优化和数据库构建过程中需要昂贵的成本，并且对噪声影响敏感。基于学习的方法通过构造一个参数化模型来学习不完整点云和完整点云的两个特征空间之间的映射，具有较好的鲁棒性。而且近年来，随着深度学习的发展，基于学习的方法得到了巨大的发展。但是这些方法直接生成完整的点云，或者只生成缺失区域，只关注于点云在采集过程中因为遮挡等原因造成的几何形状缺失，并未同时考虑因为设备性能和外界环境等因素造成的稀疏性缺失。为同时补全可能存在的多种缺失情况的残缺点云，为解决该问题，本专利提出一种多阶段分形组合的点云补全方法及系统。相比于其他直接预测点云的方法，本专利所提出的方法先学习补全出三维点云几何形状缺失的部分，再将输入的点云与生成的几何形状缺失部分点云进行合并提取出三维点云的局部细节特征，最后精细化的生成高质量的三维点云。

发明内容

本申请提出了一种基于多阶段分形组合的点云补全方法及系统，可以将同时存在几何形状缺失和点云稀疏缺失的残缺点云，有效的补全出点云的缺失部分。提高模型的鲁棒性，能应对点云的多种缺失情况，且有效地优化点云补全的过程。

为实现上述目的，本申请提供了如下方案：

一种基于多阶段分形组合的点云补全方法，包括如下步骤：

获取目标场景的点云，所述点云存在几何形状缺失和稀疏性缺失为不完整点云；

对所述不完整点云进行几何缺失点云补全处理，得到几何丢失部分点云；

基于所述不完整点云和所述几何丢失部分点云，进行精细化点云补全处理，生成完整点云，完成所述不完整点云的补全。

优选的，所述几何缺失点云补全处理的方法包括：

对所述不完整点云进行分形处理，所述分形处理为将输入进行两次FPS最远点采样，得到三组点云数据；所述三组点云数据为目标场景下的所述不完整点云、经第一次FPS最远点采样处理后的不完整点云及继续进行第二次FPS最远点采样处理后的不完整点云；

将分形后的三组点云数据分为三路单独输入分形几何特征提取器中，进行特征编码，得到三组点云数据对应的特征向量；

对三组点云数据对应的特征向量进行合并，通过全连接得到几何特征；

基于所述几何特征，使用金字塔点云解码器进行解码，分别预测出不同分辨率的三维点云，最终拼接重塑得到几何丢失部分点云，完成所述几何缺失点云补全处理。

优选的，所述分形几何特征提取器采用多层卷积网络，其通道数分别为3、64、128、256、512、1024。

优选的，所述精细化点云补全处理的方法包括：

将所述不完整点云和几何缺失点云补全处理后得到的所述几何丢失部分点云进行合并，得到三维点云的几何形状完整数据；

基于所述三维点云的几何形状完整数据，采用k近邻局部特征提取器，得到特征向量v；

基于所述三维点云的几何形状完整数据，进行最远点采样得到512个点作为粗略预测的三维点云；

基于所述特征向量v和所述粗略预测的三维点云，通过折叠网络进行偏移坐标重建，生成精细化平滑的所述目标场景的完整点云，完成所述精细化点云补全处理。

本申请还提供一种基于多阶段分形组合的点云补全系统，包括：点云获取模块、缺失点云补全模块和精细点云补全模块；

所述点云获取模块用于获取点云；所述点云为不完整的点云数据；

所述缺失点云补全模块用于对点云获取模块获取的不完整点云数据进行几何缺失点云补全处理；

所述精细点云补全模块用于对所述缺失点云补全模块进行几何缺失点云补全处理后的点云数据进行精细化点云补全处理。

优选的，所述不完整点云指的是因含有几何形状缺失和稀疏性缺失而导致的非正常点云。

优选的，所述缺失点云补全模块包括：分形处理单元、分形几何特征提取器和金字塔点云解码器；

所述分形处理单元用于对所述点云获取模块获取的不完整点云数据进行两次FPS最远点采样，得到三组点云数据；所述三组点云数据为目标场景下的所述不完整点云、经第一次FPS最远点采样处理后的不完整点云及继续进行第二次FPS最远点采样处理后的不完整点云；

所述分形几何特征提取器用于将分形后的三组点云数据进行特征编码，得到三组点云数据对应的特征向量，并基于三组点云数据对应的特征向量，得到几何特征；

所述金字塔点云解码器用于基于所述几何特征，使用特征金字塔生成网络，分别预测出不同分辨率的三维点云，并最终拼接重塑得到几何丢失部分点云，完成所述几何缺失点云补全处理。

优选的，所述精细点云补全模块包括：拼合子单元、k近邻局部特征提取器、粗略预测子单元和折叠网络子单元；

所述拼合子单元用于将所述不完整点云和所述几何丢失部分点云进行合并，得到三维点云的几何形状完整数据；

所述k近邻局部特征提取器用于基于所述三维点云的几何形状完整数据，采用k近邻局部特征提取器，得到特征向量v；

所述粗略预测子单元用于基于所述三维点云的几何形状完整数据，进行最远点采样，得到粗略预测的三维点云；

所述折叠网络子单元用于基于所述特征向量v和所述粗略预测的三维点云，通过折叠网络进行偏移坐标重建，生成精细化平滑的完整点云。

本申请的有益效果为：

本申请可以应对同时存在几何形状缺失和稀疏性缺失的残缺点云，分阶段有效优化点云补全的过程，在点云稀疏的情况下也有很好的补全效果。

（1）通过对输入进行分形和特征金字塔生成多尺度点云，可以在点云稀疏的情况下也能够实现补全出点云的完整几何形状。

（2）优化了网络结构：先利用k近邻算法构建局部空间信息，再通过PointNet堆叠网络，可以提取出点云的局部细节特征，以得到更精细化的点云。

（3）粗略预测更加准确，将输入的残缺点云与第一阶段的生成的几何形状缺失部分的点云进行合并，得到三维点云的几何形状完整数据，再进行最远点采样得到512个点作为粗略预测的三维点云，确保点云的几何形状准确。

（4）设计成多阶段生成的框架，可以应对各种缺失的情况，有针对性的去实现点云补全，得到更加准确和完整的点云。对点云的缺失考虑的更加全面，能有效解决缺失严重的点云。

附图说明

为了更清楚地说明本申请的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一的一种基于多阶段分形组合的点云补全方法流程示意图；

图2为本申请实施例一的分形几何特征提取器结构示意图；

图3为本申请实施例一的金字塔点云解码器网络结构及参数结构示意图；

图4为本申请实施例一的k近邻局部特征提取器网络结构及参数结构示意图；

图5为本申请实施例二的一种基于多阶段分形组合的点云补全系统结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

如图1所示，为本申请实施例的一种基于多阶段分形组合的点云补全方法流程示意图，主要包括以下步骤：

获取目标场景的点云，点云存在几何形状缺失和稀疏性缺失为不完整点云；

对不完整点云进行几何缺失点云补全处理，得到几何丢失部分点云；

基于不完整点云和几何丢失部分点云，进行精细化点云补全处理，生成完整点云，完成不完整点云的补全。

本申请技术方案，从同时存在几何形状缺失和稀疏性缺失的不完整点云中，预测补全出缺失部分，从而生成完整的高质量点云。主要包括两个步骤：几何缺失点云补全(图1中a部分)和精细化点云补全(图1中b部分)。本申请提出的点云补全网络结构为一种分阶段实现的点云补全模型，可以应对点云的多种缺失情况。该方法基于局部到整体多阶段进行补全，可针对不同阶段进行权重调整，有效地优化了补全过程。

几何缺失点云补全处理的方法概述为：

对所述不完整点云进行分形处理，所述分形处理为将输入进行两次FPS最远点采样，得到三组点云数据；所述三组点云数据为目标场景下的所述不完整点云、经第一次FPS最远点采样处理后的不完整点云及继续进行第二次FPS最远点采样处理后的不完整点云；

将分形后的三组点云数据分为三路单独输入分形几何特征提取器中，进行特征编码，得到三组点云数据对应的特征向量；

对三组点云数据对应的特征向量进行合并，通过全连接得到几何特征；

基于几何特征，使用金字塔点云解码器进行解码，分别预测出不同分辨率的三维点云，最终拼接重塑得到几何丢失部分点云，完成所述几何缺失点云补全处理。

具体的，在本实施例中，为了给网络提供充足的几何结构数据，首先进行分形处理，具体实现为对输入进行两次Farthest Point Sampling (FPS)最远点采样，从而获得点数为1024，512和256的三组点云数据。最远点采样为均匀采样，获得的三组点云数据相当于将输入增加两倍，它们密度不同但形状结构一致。

然后将三组点云数据分为三路单独输入编码器进行特征编码，编码器因为处理分形点云，故叫做分形几何特征提取器。

如图2所示，采用的为多层卷积网络，其通道数分别为3、64、128、256、512、1024，并将多层卷积获取的特征进行最大池化，得到维度为1024 x 1的特征向量。最后将分形的三组点云数据分别获取到的特征进行合并，得到维度为1024 x 3的特征向量进行卷积网络提取特征并进行最大池化，最终获得维度为1024 x 1的几何特征。

由于不同尺度点云可以提供不同细粒度特征进行补全，因此利用金字塔点云解码器对分形网络特征进行解码，其可以与输入的分形相对应，将生成三组不同密度的几何丢失部分点云，金字塔点云解码器结构如图3所示，具体实现如下：将获取到的几何特征作为特征金字塔生成网络的输入，并通过不同全连接层分别获取大小为512，256，128个神经元的特征层，每一特征层分别连接有不同的连接层与卷积层，因此可以分别预测出不同分辨率的三维点云。将不同分辨率的三维点云进行拼接重塑，最后输出维度为512 x 3的几何丢失部分点云。因为特征层的神经元是从大到小，因此生成的点云与之对称，密度从高到低，并且生成的低密度点云将依次保留到高密度点云的生成过程。

精细化点云补全处理的方法概括为：

将不完整点云和几何缺失点云补全处理后得到的几何丢失部分点云进行合并，得到三维点云的几何形状完整数据；

基于三维点云的几何形状完整数据，采用k近邻局部特征提取器，得到特征向量v；

基于三维点云的几何形状完整数据，进行最远点采样得到512个点作为粗略预测的三维点云；

基于特征向量v和粗略预测的三维点云，通过折叠网络进行偏移坐标重建，生成精细化平滑的目标场景的完整点云，完成精细化点云补全处理。

具体的，在本实施例中，对于k近邻局部特征提取网络，其实现如图4所示。具体来说，首先将输入的残缺点云与第一阶段的生成的几何形状缺失部分的点云进行合并，并且为了构建局部空间信息，利用k近邻算法，以每个点作为中心点寻找其最近的k（k=10）个点作为集合，并对每个集合使用图卷积网络进行多次卷积，其通道数分别为64，64，128，256，卷积后的特征进行最大池化，并合并得到维度为512的特征向量，最后将其通过全连接调整输出尺寸大小，得到该点的局部空间信息。将该特征输入到由PointNet网络变形的编码器，该编码器由两个PointNet layers组成。第一层由共享多层感知机(shared MLP)使用带有Relu激活的全连接层构成，用于把每一个空间特征转换为点特征向量，从而得到大小为n x256的特征矩阵f，将该特征矩阵进行最大池化，得到大小为256的特征g。第二层将特征g进行扩展然后与特征矩阵f进行拼接，得到点特征增强矩阵后再次使用共享多层感知机(shared MLP)和最大池化，最终得到尺寸大小为1536的特征向量v。

为了生成精细化的点云，借鉴PCN方法中的解码器，但与PCN中通过全连接生成的粗略预测三维点云不同，为了保持三维点云原始部分的空间排列，利用第一阶段已经生成的几何形状缺失点云与原输入进行合并，得到三维点云的几何形状完整数据，再进行最远点采样得到512个点作为粗略预测的三维点云。将其与第二阶段提取到的局部细节特征v，通过善于逼近平滑表面的折叠网络FoldingNet进行偏移坐标重建，折叠网络对粗略预测三维点云中的每一个点和特征向量v，通过折叠操作（folding operation）以每一个点为中心生成一个2 x 2个点的局部区域，结合所有的局部区域输出含有2048个点的点云，自此整个网络生成精细化平滑的完整点云。

实施例二 如图5所示，为本申请实施例一种基于多阶段分形组合的点云补全系统，包括：点云获取模块、缺失点云补全模块和精细点云补全模块；

所述点云获取模块用于获取点云；所述点云为不完整的点云数据；

所述缺失点云补全模块用于对点云获取模块获取的不完整点云数据进行几何缺失点云补全处理；

精细点云补全模块用于对所述缺失点云补全模块进行几何缺失点云补全处理后的点云数据进行精细化点云补全处理。

缺失点云补全模块包括：分形处理单元、分形几何特征提取器和金字塔点云解码器；

所述分形处理单元用于对所述点云获取模块获取的不完整点云数据进行两次FPS最远点采样，得到三组点云数据；所述三组点云数据为目标场景下的所述不完整点云、经第一次FPS最远点采样处理后的不完整点云及继续进行第二次FPS最远点采样处理后的不完整点云；

分形几何特征提取器用于将分形后的三组点云数据进行特征编码，得到三组点云数据对应的特征向量，并基于三组点云数据对应的特征向量，得到几何特征；

金字塔点云解码器用于基于所述几何特征，使用特征金字塔生成网络，分别预测出不同分辨率的三维点云，并最终拼接重塑得到几何丢失部分点云，完成所述几何缺失点云补全处理。

精细点云补全模块包括：拼合子单元、k近邻局部特征提取器、粗略预测子单元和折叠网络子单元；

拼合子单元用于将所述不完整点云和所述几何丢失部分点云进行合并，得到三维点云的几何形状完整数据；

k近邻局部特征提取器用于基于所述三维点云的几何形状完整数据，采用k近邻局部特征提取器和卷积网络，得到特征向量v；

粗略预测子单元用于基于所述三维点云的几何形状完整数据，进行最远点采样，得到粗略预测的三维点云；

折叠网络子单元用于基于所述特征向量v和所述粗略预测的三维点云，通过折叠网络进行偏移坐标重建，生成精细化平滑的完整点云。

以上所述的实施例仅是对本申请优选方式进行的描述，并非对本申请的范围进行限定，在不脱离本申请设计精神的前提下，本领域普通技术人员对本申请的技术方案做出的各种变形和改进，均应落入本申请权利要求书确定的保护范围内。

Claims (2)

1.一种基于多阶段分形组合的点云补全方法，其特征在于，包括如下步骤：

获取目标场景的点云，所述点云存在几何形状缺失和稀疏性缺失为不完整点云；

对所述不完整点云进行几何缺失点云补全处理，得到几何丢失部分点云；

基于所述不完整点云和所述几何丢失部分点云，进行精细化点云补全处理，生成完整点云，完成所述不完整点云的补全；所述几何缺失点云补全处理的方法包括：

对所述不完整点云进行分形处理，所述分形处理为将输入进行两次FPS最远点采样，得到三组点云数据；所述三组点云数据为目标场景下的所述不完整点云、经第一次FPS最远点采样处理后的不完整点云及继续进行第二次FPS最远点采样处理后的不完整点云；

将分形后的三组点云数据分为三路单独输入分形几何特征提取器中，进行特征编码，得到三组点云数据对应的特征向量；

对三组点云数据对应的特征向量进行合并，通过全连接得到几何特征；

基于所述几何特征，使用金字塔点云解码器进行解码，分别预测出不同分辨率的三维点云，最终拼接重塑得到几何丢失部分点云，完成所述几何缺失点云补全处理；所述分形几何特征提取器采用多层卷积网络，其通道数分别为3、64、128、256、512、1024；所述精细化点云补全处理的方法包括：

将所述不完整点云和几何缺失点云补全处理后得到的所述几何丢失部分点云进行合并，得到三维点云的几何形状完整数据；

基于所述三维点云的几何形状完整数据，采用k近邻局部特征提取器，得到特征向量v；

基于所述三维点云的几何形状完整数据，进行最远点采样得到512个点作为粗略预测的三维点云；

基于所述特征向量v和所述粗略预测的三维点云，通过折叠网络进行偏移坐标重建，生成精细化平滑的所述目标场景的完整点云，完成所述精细化点云补全处理。

2.一种基于多阶段分形组合的点云补全系统，其特征在于，包括：点云获取模块、缺失点云补全模块和精细点云补全模块；

所述点云获取模块用于获取点云；所述点云为不完整的点云数据；

所述缺失点云补全模块用于对点云获取模块获取的不完整点云数据进行几何缺失点云补全处理；

所述精细点云补全模块用于对所述缺失点云补全模块进行几何缺失点云补全处理后的点云数据进行精细化点云补全处理；所述不完整点云指的是因含有几何形状缺失和稀疏性缺失而导致的非正常点云；所述缺失点云补全模块包括：分形处理单元、分形几何特征提取器和金字塔点云解码器；

所述分形处理单元用于对所述点云获取模块获取的不完整点云数据进行两次FPS最远点采样，得到三组点云数据；所述三组点云数据为目标场景下的所述不完整点云、经第一次FPS最远点采样处理后的不完整点云及继续进行第二次FPS最远点采样处理后的不完整点云；

所述分形几何特征提取器用于将分形后的三组点云数据进行特征编码，得到三组点云数据对应的特征向量，并基于三组点云数据对应的特征向量，得到几何特征；

所述金字塔点云解码器用于基于所述几何特征，使用特征金字塔生成网络，分别预测出不同分辨率的三维点云，并最终拼接重塑得到几何丢失部分点云，完成所述几何缺失点云补全处理；所述精细点云补全模块包括：拼合子单元、k近邻局部特征提取器、粗略预测子单元和折叠网络子单元；

所述拼合子单元用于将所述不完整点云和所述几何丢失部分点云进行合并，得到三维点云的几何形状完整数据；

所述k近邻局部特征提取器用于基于所述三维点云的几何形状完整数据，采用k近邻局部特征提取器，得到特征向量v；

所述粗略预测子单元用于基于所述三维点云的几何形状完整数据，进行最远点采样，得到粗略预测的三维点云；

所述折叠网络子单元用于基于所述特征向量v和所述粗略预测的三维点云，通过折叠网络进行偏移坐标重建，生成精细化平滑的完整点云。

Images