CN114067075A - 基于生成对抗网络的点云补全方法及装置 - Google Patents

Abstract

本发明提出了一种基于生成对抗网络的点云补全方法及装置，包括：构建训练数据集和测试数据集；搭建基于生成对抗网络的点云补全网络；将训练数据集输入点云补全网络，对训练数据集中的点云进行投影变换和边界提取，得到边界特征点；计算边界特征点中的每个点的多维几何特征，并进行串联，得到点云的特征向量；根据特征向量，计算点云在各个投影方向上的补全结果，并进行全连接解码，得到补全后的点云；构建损失函数，对点云补全网络进行迭代训练后，得到训练好的点云补全网络；通过训练好的点云补全网络对测试数据集进行点云补全。本发明更关注结构信息和细粒度区域的补全，且能通过不同方向的投影生成缺失的点云，明显提高了点云的补全精度。

Description

基于生成对抗网络的点云补全方法及装置

技术领域

本发明涉及三维点云处理领域，更具体地说，涉及一种基于生成对抗网络的点云补全方法及装置。

背景技术

随着低成本RGB-D扫描仪的日益普及，3D数据的应用领域及其处理方式正引起机器人和计算机视觉领域的极大兴趣。3D数据的虚拟化表示在学习社区中非常流行，因为易于将卷积运算应用到3D数据。在各种类型的三维数据中，点云因其数据量小但表现能力更强而被广泛应用于三维数据处理。真实世界的点云数据通常是通过激光扫描仪、立体相机或低成本的RGB-D扫描仪捕获的。由于遮挡、光反射、表面材质透明、传感器分辨率和视角限制，会造成几何和语义信息的丢失，导致点云不完整。

点云补全是点云优化最主要的内容，可以使得点云更加丰富和更加完整。对于一些弱纹理的区域造成的孔洞也可以从已有的区域推断分析进行恢复。稀疏的部分也可以在已有点云的基础上进行稠密化，使得点云整体更加真实。点云补全也可以作为为其他的优化步骤的前置步骤，比如网格化和轻量化。也可以支持点云的其他研究如分割，配准。传统的补全方法通常能补全点云中的孔洞区域，而对于一个完整语义部分的缺失如桌子腿，椅子靠背则难以取得良好的效果。虽然专业CAD软件可以被用来人为补全点云。然而由于点云的复杂性、手工修复效率低和成本高，需要一种方法在保证点云结构的情况下，自动点云补全。

以往的工作以不完整的点云为输入，输出完整的形状，更注重整体特征，而不是特定对象的局部细节。所以可能改变现有点来拟合一类对象整体的特征。有的方法将输出设置为点云中缺失的部分来试着解决这一问题，但是当缺失的区域细节与整体细节不符合时，点云补全结果会趋向于整体特征。因此，传统的点云补全方法忽略了特定对象的局部细节。

发明内容

为了解决这一问题，本方法提出了无监督点投影网络修复不完整的点云。为了得到更直观的点云结构信息，在提取特征之前，对点云进行处理。首先点云被投影到不同的二维平面上得到多个投影面，并提取出边界来减少输入数据量，使网络更关注结构信息。为了生成细粒度缺失区域，设计一种点投影解码器，通过不同方向的投影生成缺失的点云。最后提出一种基于投影的补全损失预测方法，辅助该方法的预测。

根据本发明的一个方面，本发明提供了一种基于生成对抗网络的点云补全方法，包括以下步骤：

构建训练数据集和测试数据集；

搭建基于生成对抗网络的点云补全网络；

将所述训练数据集输入所述基于生成对抗网络的点云补全网络，对所述训练数据集中的点云进行投影变换和边界提取，得到用于提取特征的边界特征点；

计算所述边界特征点中的每个点的多维几何特征，并将各所述多维几何特征进行串联，得到点云的特征向量；

根据所述特征向量，计算点云在各个投影方向上的补全结果，将所述各个投影方向上的补全结果进行全连接解码，得到补全后的点云；

通过所述训练数据集和所述补全后的点云构建损失函数，对所述基于生成对抗网络的点云补全网络进行迭代训练，训练完成后，得到训练好的点云补全网络；

通过所述训练好的点云补全网络对所述测试数据集进行点云补全，得到点云补全结果。

进一步地，所述构建训练数据集和测试数据集的步骤，具体包括：

获取点云数据；

对所述点云数据进行降采样操作，得到降采样后的稀疏点云数据集；

将所述降采样后的稀疏点云数据集划分为训练数据集和测试数据集。

进一步地，所述对点云数据进行降采样操作，采用迭代最远点采样的方法。

进一步地，所述将训练数据集输入所述基于生成对抗网络的点云补全网络，对所述训练数据集中的点云进行投影变换和边界提取，得到用于提取特征的边界特征点的步骤，具体包括：

将训练数据集输入所述基于生成对抗网络的点云补全网络；

对于训练数据集中的每个原始点云，使用旋转投影的方法：

将所述训练数据集输入所述基于生成对抗网络的点云补全网络；

对于所述训练数据集中的每个原始点云，使用旋转投影的方法：

将原始点云投影到x,y,z三个平面上，得到3个投影面；

将原始点云沿x,y,z三个方向各旋转第一预设角度，再次投影到x,y,z三个平面上，得到3个投影面；

将原始点云沿x,y,z三个方向各旋转第二预设角度，再次投影到x,y,z三个平面上，得到3个投影面；

总共得到9个投影面；

对于每一个投影面，计算得到每一个点一定范围内点的数量作为该点的邻接点数，然后选取每个投影面中邻接点数最少的一组点作为该点的边界特征点，即得到9个边界特征点集合。

进一步地，所述计算边界特征点中的每个点的多维几何特征，并将各所述多维几何特征进行串联，得到点云的特征向量的步骤，具体包括：

对所述9个边界特征点集合，使用CNN计算得到每个边界特征点集合的从小到大各个范围的特征，每个范围的大小由缺失点云的数量决定；

将所述各个范围的特征串联起来，输入MLP中，得到点云的特征向量。

进一步地，所述根据特征向量，计算点云在各个投影方向上的补全结果的步骤，具体包括：

将所述特征向量输入到基于折叠的解码器得到特征层，所述特征层代表预测的平面特征；

将所述特征层通过CNN，得到N×2投影面，重复三次得到三个投影面，N表示输入的点云数量；

将三个投影面连接起来输入到基于全连接层的解码器，输出补全后的点云。

进一步地，所述损失函数由多方向投影损失和对抗损失组成；

所述多方向投影损失L_com的计算公式如下：

其中，d_CD(S₁,S₂)代表两点云S₁,S₂之间的倒角距离，a,b表示点云中的任意两个点，

均表示a,b两个点之间的距离，多方向投影损失L_com由四项组成，即

和

α表示超参数，第一项计算预测点云Y_pre和真实点云Y_gt之间的倒角距离，第二项计算投影面xoy的预测点云

和真实点云

之间的倒角距离，第二项计算投影面yoz的预测点云

和真实点云

之间的倒角距离，第三项计算投影面xoz的预测点云

和真实点云

之间的倒角距离；

通过所述多方向投影损失L_com和对抗损失L_adv，计算得到损失函数L为：

L＝λ_comL_com+λ_advL_adv

其中，λ_com和λ_adv分别代表多方向投影损失和对抗损失的权值，其中λ_com+λ_adv＝1。

根据本发明的另一方面，本发明还提供了一种基于生成对抗网络的点云补全装置，包括以下模块：

数据集构建模块，用于构建训练数据集和测试数据集；

网络搭建模块，用于搭建基于生成对抗网络的点云补全网络；

投影变换和边界提取模块，用于将所述训练数据集输入所述基于生成对抗网络的点云补全网络，对所述训练数据集中的点云进行投影变换和边界提取，得到用于提取特征的边界特征点；

特征向量提取模块，用于计算所述边界特征点中的每个点的多维几何特征，并将各所述多维几何特征进行串联，提取点云的特征向量；

点云补全模块，用于根据所述特征向量，计算点云在各个投影方向上的补全结果，将所述各个投影方向上的补全结果进行全连接解码，得到补全后的点云；

网络训练模块，用于通过所述训练数据集和所述补全后的点云构建损失函数，对所述基于生成对抗网络的点云补全网络进行迭代训练，训练完成后，得到训练好的点云补全网络；

测试模块，用于通过所述训练好的点云补全网络对所述测试数据集进行点云补全，得到点云补全结果。

进一步地，所述数据集构建模块具体包括：

点云数据获取模块，用于获取点云数据；

降采样模块，用于所述点云数据进行降采样操作，得到降采样后的稀疏点云数据集；

数据集划分模块，用于将所述降采样后的稀疏点云数据集划分为训练数据集和测试数据集。

本发明提供的技术方案带来的有益效果是：

1、本发明提出了一种新的边界提取方法，该方法可以采样出轮廓更清晰，边界特征更明显的特征点；

2、本发明提出了一种点投影解码器，通过不同方向的投影生成缺失的点云。点投影解码器是一种基于特征的分层生成网络。首先不同方向上的投影面被生成通过获取的特征，再根据多个投影面预测最终点云；

3、本发明提出了基于投影的补全损失预测方法，辅助该方法的预测。基于投影的补全损失更关注点云不同方向上的二维结构特征。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明实施例中一种基于生成对抗网络的点云补全方法的技术流程图；

图2为本发明实施例中边界特征点计算的技术流程图；

图3为本发明实施例中自适应多分辨率编码器的技术流程图；

图4为本发明实施例中点投影解码器结构图；

图5为本发明实施例中数据集示意图；

图6为本发明实施例中结果可视化图；

图7为本发明实施例中一种基于生成对抗网络的点云补全装置的结构图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

请参考图1，图1为本发明实施例中一种基于生成对抗网络的点云补全方法的技术流程图；包括以下步骤：

S1、构建训练数据集和测试数据集；

S1具体包括：

S11、获取点云数据；

S12、所述点云数据进行降采样操作，得到降采样后的稀疏点云数据集；

S13、将所述降采样后的稀疏点云数据集划分为训练数据集和测试数据集。

请参考图5，数据集为斯坦福大学公开的点云数据集ShapeNet，使用迭代最远点降采样的方法，采样率设置为1％。

S2、搭建基于生成对抗网络的点云补全网络；

S3、将所述训练数据集输入所述基于生成对抗网络的点云补全网络，对所述训练数据集中的点云进行投影变换和边界提取，得到用于提取特征的边界特征点；

S4、计算所述边界特征点中的每个点的多维几何特征，并将各所述多维几何特征进行串联，得到点云的特征向量；

S5、根据所述特征向量，计算点云在各个投影方向上的补全结果，将所述各个投影方向上的补全结果进行全连接解码，得到补全后的点云；

S6、通过所述训练数据集和所述补全后的点云构建损失函数，对所述基于生成对抗网络的点云补全网络进行迭代训练，训练完成后，得到训练好的点云补全网络；

S7、通过所述训练好的点云补全网络对所述测试数据集进行点云补全，得到点云补全结果。本实施例中，点云分类共有：飞机(Airplane)、桌子(Table)、椅子(Chair)、汽车(Car)、手枪(Pistol)、帽子(Cap)、杯子(Mug)、灯(Lamp)、笔记本电脑(Laptop)、吉他(Guitar)、滑板(Skateboard)、摩托车(Motorbike)、提包(Bag)共计13类。

本实施例中，S6中的损失函数由多方向投影损失和对抗损失组成；

所述多方向投影损失L_com的计算公式如下：

其中，d_CD(S₁,S₂)代表计算两点云之间距离的一种度量：倒角距离。倒角距离的计算为：首先计算点云中每个点到另一个点云中的点的最近距离，然后将所有点的距离求和取平均。由于点投影解码器是通过投影面来预测点云，多方向投影损失L_com由四项组成，即

和

α表示超参数，第一项计算预测点云Y_pre和真实点云Y_gt之间的倒角距离，第二项计算投影面xoy的预测点云

和真实点云

之间的倒角距离，第二项计算投影面yoz的预测点云

和真实点云

之间的倒角距离，第三项计算投影面xoz的预测点云

和真实点云

之间的倒角距离；

对抗损失L_adv：将预测点云输入到GAN的鉴别器中，使用鉴别器试图区分预测点云和真实点云。

通过多方向投影损失L_com和对抗损失L_adv，计算得到损失函数L为：

L＝λ_comL_com+λ_advL_adv

λ_com和λ_adv分别代表多方向投影损失和对抗损失的权值，其中λ_com+λ_adv＝1。

请参考图2，图2为本发明实施例中边界特征点计算的技术流程图，其中图2(a)为边界特征提取方法示意图，图2(b)-(d)分别为原始点云、投影变换后的结果、边界提取后的结果，边界特征点计算的步骤具体包括：

S31、将训练数据集输入所述基于生成对抗网络的点云补全网络；

S32、对于训练数据集中的每个原始点云(GroundTruth)，使用旋转投影的方法：

将原始点云投影到x,y,z三个平面上，得到3个投影面；

将原始点云沿x,y,z三个方向各旋转第一预设角度，再次投影到x,y,z三个平面上，得到3个投影面；

将原始点云沿x,y,z三个方向各旋转第二预设角度，再次投影到x,y,z三个平面上，得到3个投影面；

总共得到9个投影面；

S33、对于每一个投影面，计算得到每一个点一定范围内点的数量作为该点的邻接点数，然后选取每个投影面中邻接点数最少的一组点作为该点的边界特征点，即得到9个边界特征点集合(Boundary)。

在本实施例中，第一预设角度为30度，第二预设角度为60度。

请参考图3，图3为本发明实施例中自适应多分辨率编码器的技术流程图，包括以下步骤：

S41、对所述9个边界特征点集合，使用CNN计算得到每个边界特征点集合的从小到大，各个范围的特征，每个范围的大小由缺失点云的数量决定；

S42、将所述各个范围的特征串联(concat)起来，输入MLP(多层感知机)中，得到点云的特征向量V。

请参考图4，图4为本发明实施例中点投影解码器结构图，包括以下步骤：

S51、将所述特征向量输入到基于折叠的解码器得到特征层，所述特征层代表预测的平面特征；

S52、将所述特征层通过CNN，得到N×2投影面，重复S52三次得到三个投影面，其中N表示输入的点云数量；

S53、将三个投影面连接起来输入到基于全连接层(Linear)的解码器，输出补全后的点云。

请参考图6，图6为本发明实施例中的实施结果可视化图。其中，Input表示输入网络的点云数据，Our表示输入网络后得到的补全结果，G.T表示真实值，可视化图展示的是在ShapeNet数据集中的多个类别物体补全结果。

如表1所示，表1为本发明方法与PF-Net(Point Fractal Network，点云分形网络)方法的实施结果精度对比。表中的数据是模型在ShapeNet数据集上对预测点云和真实点云之间的地面移动距离之和求平均，表中/左边的数字是预测点云对真实点云求地面移动距离，右边的数字是真实点云对预测点云求地面移动距离，mean是加权平均数；whole是加权平均数mean的两个距离之和，通过数据对比可以看出，本发明方法与目前最先进方法—PF-Net方法在补全精度上水平相当，且在对手提电脑(Laptop)、手枪(Pistol)、滑板(Skateboard)这几个类别的点云补全精度上，本发明方法的优于PF-Net方法。

表1本发明方法与PF-Net方法的实施结果精度对比

参考图7，本实施例还提供了一种基于生成对抗网络的点云补全装置，包括以下模块：

数据集构建模块1，用于构建训练数据集和测试数据集；

网络搭建模块2，用于搭建基于生成对抗网络的点云补全网络；

投影变换和边界提取模块3，用于将所述训练数据集输入所述基于生成对抗网络的点云补全网络，对所述训练数据集中的点云进行投影变换和边界提取，得到用于提取特征的边界特征点；

特征向量提取模块4，用于计算所述边界特征点中的每个点的多维几何特征，并将各所述多维几何特征进行串联，提取点云的特征向量；

点云补全模块5，用于根据所述特征向量，计算点云在各个投影方向上的补全结果，将所述各个投影方向上的补全结果进行全连接解码，得到补全后的点云；

网络训练模块6，用于通过所述训练数据集和所述补全后的点云构建损失函数，对所述基于生成对抗网络的点云补全网络进行迭代训练，训练完成后，得到训练好的点云补全网络；

测试模块7，用于通过所述训练好的点云补全网络对所述测试数据集进行点云补全，得到点云补全结果。

进一步地，所述数据集构建模块1具体包括：

点云数据获取模块，用于获取点云数据；

降采样模块，用于所述点云数据进行降采样操作，得到降采样后的稀疏点云数据集；

数据集划分模块，用于将所述降采样后的稀疏点云数据集划分为训练数据集和测试数据集。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于生成对抗网络的点云补全方法，其特征在于，包括以下步骤：

构建训练数据集和测试数据集；

搭建基于生成对抗网络的点云补全网络；

将所述训练数据集输入所述基于生成对抗网络的点云补全网络，对所述训练数据集中的点云进行投影变换和边界提取，得到用于提取特征的边界特征点；

计算所述边界特征点中的每个点的多维几何特征，并将各所述多维几何特征进行串联，得到点云的特征向量；

根据所述特征向量，计算点云在各个投影方向上的补全结果，将所述各个投影方向上的补全结果进行全连接解码，得到补全后的点云；

通过所述训练数据集和所述补全后的点云构建损失函数，对所述基于生成对抗网络的点云补全网络进行迭代训练，训练完成后，得到训练好的点云补全网络；

通过所述训练好的点云补全网络对所述测试数据集进行点云补全，得到点云补全结果。

2.如权利要求1所述的基于生成对抗网络的点云补全方法，其特征在于，所述构建训练数据集和测试数据集的步骤，具体包括：

获取点云数据；

对所述点云数据进行降采样操作，得到降采样后的稀疏点云数据集；

将所述降采样后的稀疏点云数据集划分为训练数据集和测试数据集。

3.如权利要求2所述的基于生成对抗网络的点云补全方法，其特征在于，对所述点云数据进行降采样操作，采用迭代最远点采样的方法。

4.如权利要求1所述的基于生成对抗网络的点云补全方法，其特征在于，所述将训练数据集输入所述基于生成对抗网络的点云补全网络，对所述训练数据集中的点云进行投影变换和边界提取，得到用于提取特征的边界特征点的步骤，具体包括：

将所述训练数据集输入所述基于生成对抗网络的点云补全网络；

对于所述训练数据集中的每个原始点云，使用旋转投影的方法：

将原始点云投影到x,y,z三个平面上，得到3个投影面；

将原始点云沿x,y,z三个方向各旋转第一预设角度，再次投影到x,y,z三个平面上，得到3个投影面；

将原始点云沿x,y,z三个方向各旋转第二预设角度，再次投影到x,y,z三个平面上，得到3个投影面；

总共得到9个投影面；

对于每一个投影面，计算得到每一个点一定范围内点的数量作为该点的邻接点数，然后选取每个投影面中邻接点数最少的一组点作为该点的边界特征点，即得到9个边界特征点集合。

5.如权利要求4所述的基于生成对抗网络的点云补全方法，其特征在于，所述计算边界特征点中的每个点的多维几何特征，并将各所述多维几何特征进行串联，得到点云的特征向量的步骤，具体包括：

对所述9个边界特征点集合，使用CNN计算得到每个边界特征点集合的从小到大各个范围的特征，每个范围的大小由缺失点云的数量决定；

将所述各个范围的特征串联起来，输入MLP中，得到点云的特征向量。

6.如权利要求1所述的基于生成对抗网络的点云补全方法，其特征在于，所述根据特征向量，计算点云在各个投影方向上的补全结果，将所述各个投影方向上的补全结果进行全连接解码，得到补全后的点云的步骤，具体包括：

将所述特征向量输入到基于折叠的解码器，得到特征层，所述特征层代表预测的平面特征；

将所述特征层通过CNN，得到N×2投影面，重复三次得到三个投影面，其中N表示输入的点云数量；

将三个所述投影面连接起来输入到基于全连接层的解码器，输出补全后的点云。

7.如权利要求1所述的基于生成对抗网络的点云补全方法，其特征在于，所述损失函数由多方向投影损失和对抗损失组成；

所述多方向投影损失L_com的计算公式如下：

其中，d_CD(S₁,S₂)代表两点云S₁,S₂之间的倒角距离，a,b表示点云中的任意两个点，

均表示a,b两个点之间的距离，多方向投影损失L_com由四项组成，即

和

α表示超参数，第一项计算预测点云Y_pre和真实点云Y_gt之间的倒角距离，第二项计算投影面xoy的预测点云

和真实点云

之间的倒角距离，第二项计算投影面yoz的预测点云

和真实点云

之间的倒角距离，第三项计算投影面xoz的预测点云

和真实点云

之间的倒角距离；

通过所述多方向投影损失L_com和对抗损失L_adv，计算得到损失函数L为：

L＝λ_comL_com+λ_advL_adv

其中，λ_com和λ_adv分别代表多方向投影损失和对抗损失的权值，其中λ_com+λ_adv＝1。

8.一种基于生成对抗网络的点云补全装置，其特征在于，包括以下模块：

数据集构建模块，用于构建训练数据集和测试数据集；

网络搭建模块，用于搭建基于生成对抗网络的点云补全网络；

投影变换和边界提取模块，用于将所述训练数据集输入所述基于生成对抗网络的点云补全网络，对所述训练数据集中的点云进行投影变换和边界提取，得到用于提取特征的边界特征点；

特征向量提取模块，用于计算所述边界特征点中的每个点的多维几何特征，并将各所述多维几何特征进行串联，提取点云的特征向量；

点云补全模块，用于根据所述特征向量，计算点云在各个投影方向上的补全结果，将所述各个投影方向上的补全结果进行全连接解码，得到补全后的点云；

网络训练模块，用于通过所述训练数据集和所述补全后的点云构建损失函数，对所述基于生成对抗网络的点云补全网络进行迭代训练，训练完成后，得到训练好的点云补全网络；

测试模块，用于通过所述训练好的点云补全网络对所述测试数据集进行点云补全，得到点云补全结果。

9.如权利要求8所述基于生成对抗网络的点云补全装置，其特征在于，所述数据集构建模块具体包括：

点云数据获取模块，用于获取点云数据；

降采样模块，用于所述点云数据进行降采样操作，得到降采样后的稀疏点云数据集；

数据集划分模块，用于将所述降采样后的稀疏点云数据集划分为训练数据集和测试数据集。

Images