CN115984339A - 基于几何特征精炼与对抗生成网络的双管道点云补全方法 - Google Patents

Abstract

一种基于几何特征精炼与对抗生成网络的双管道点云补全方法，1、对缺失点云和完整点云分别提取特征；2、根据编码器获得的补丁特征，获取完整点云分布和缺失点云分布，让缺失点云分布拟合完整点云分布；3、对点云分布采样后，经过几何特征精炼网络，重建路径得到重构点云，补全路径得到粗补全点云；4、重建路径上，将重构点云作为真实数据输入，引入噪声点通过StyleGan得到生成点云；5、补全路径上，将获得的粗补全点云通过卷积编码器，结合补丁特征和上采样信息，融合得到隐空间编码，通过解码器解码得到精补全点云；6、计算生成点云和精补全点云的余弦距离，赋予不同的权重值，融合得到最后的输出。本发明能够高效、准确的补全缺失的点云信息。

Description

基于几何特征精炼与对抗生成网络的双管道点云补全方法

技术领域

本发明涉及一种基于几何特征精炼与对抗生成网络的双管道点云补全方法。

背景技术

点云的数据捕获和表示形式简单，在机器人、自动驾驶、三维建模和制造等领域有着大量的研究。但由于传感器的限制，物体的遮挡和噪声，生成的点云通常是稀疏的、不完整的。点云补全可以从缺失点云出发估算完整点云，从而获得更高质量的点云数据，为分类，分割等下游任务作准备。

传统的点云补全方法一般基于物体自然结构的先验信息，例如对称性或语义类信息，在先验推断的基础上对原点云进行插值补全。但这类方法只能处理一些缺失率低，结构特征明显的缺失点云，适用性低。深度学习的发展极大地推动了点云补全的能力和泛化性，早期的点云补全(A.Dai,C.Ruizhongtai Qi,and M.Nieβner,“Shape completion using3d-encoder-predictor cnns and shape synthesis,”in Proceedings of the IEEEConference on Computer Vision and Pattern Recognition,2017,pp.5868–5877)尝试通过体素定位和三维卷积将成熟的方法从2D补全任务迁移到三维点云上，然而计算成本很高。随着PointNet(C.R.Qi,H.Su,K.Mo,and L.J.Guibas,“Pointnet:Deep learning onpoint sets for 3d classifification and segmentation,”in Proceedings of theIEEE conference on computer vision and pattern recognition,2017,pp.652–660)和PointNet++(C.R.Qi,L.Yi,H.Su,and L.J.Guibas,“Pointnet++:Deep hierarchicalfeature learning on point sets in a metric space,”arXiv preprint arXiv:1706.02413,2017)的巨大成功，三维坐标的直接运用已经成为点云处理的主流，该技术进一步应用于许多点云补全的开创性工作中。目前点云补全的方法大多是采用编解码器的形式。PCN(Wentao Yuan,Tejas Khot,David Held,Christoph Mertz,and MartialHebert.Pcn:Point completion network.In2018International Conference on 3DVision(3DV),pages 728–737.IEEE,2018)首先从缺失点云中学习到全局特征，然后根据特征信息由粗到细的补全点云。在PCN之后，TopNet(Lyne P Tchapmi,Vineet Kosaraju,Hamid Rezatofifighi,IanReid,and Silvio Savarese.Topnet:Structural point clouddecoder.In Proceedings of the IEEE Conference on Computer Vision and PatternRecognition,pages 383–392,2019)提出了一种树状结构的解码器来预测完整形状。然而，现有的基于深度学习的方法仍存在以下问题：

(1)过于关注物体的整体特征而忽略了精细的局部细节；

(2)忽略了人造物体的结构信息；

(3)训练得到的补全点云失去了物体的个体特征，只保留了某类物体的共性特征；

(4)对噪声敏感，鲁棒性差；

(5)缺失相邻点的空间和语义信息。

发明内容

为克服现有技术中的问题，本发明的目的是提供一种基于几何特征精炼与对抗生成网络的双管道点云补全方法。其包含一条重建路径与一条补全路径，能够高效、准确的补全缺失的点云信息。

为实现上述目的，本发明采用如下的技术方案：

一种基于几何特征精炼与对抗生成网络的双管道点云补全方法，包括以下步骤：

步骤1：对缺失点云和与之对应的完整点云分别提取特征，其中上下双管道架构的编码器共享权重；

步骤2：根据编码器获得的补丁特征，获取完整点云分布q(φ)和缺失点云分布

让缺失点云分布

拟合完整点云分布q(φ)，采用KL散度作为损失函数；

步骤3：对点云分布进行采样后，经过几何特征精炼网络，重建路径得到重构点云，补全路径得到粗补全点云；其中几何特征精炼网络根据编码器得到的信息聚合来自相邻点的局部区域内特征，将新点的生成过程表示为局部区域内特征的上采样加权平均值；几何特征精炼的损失使用单边倒角距离表示；

步骤4：重建路径上，将重构点云作为真实数据输入，引入噪声点通过StyleGan得到生成点云Y_g，用双边倒角距离表示重建的精度损失；

步骤5：补全路径上，将获得的粗补全点云通过一个卷积编码器，结合补丁特征和上采样信息，融合得到隐空间编码，通过解码器解码得到精补全点云Y_v；

步骤6：计算生成点云Y_g和精补全点云Y_v的余弦距离，根据结果赋予Y_g与Y_v不同的权重值，融合得到最后的输出Y_out。

作为可选择的实施方式，隐空间编码也能作为StyleGan中权重已知的生成器参数得到生成点云Y_g，最后计算余弦距离，得到最后的输出Y_out。

作为可选择的实施方式，几何特征精炼网络能够获得精细的局部细节和结构特征，并有效结合相邻点之间的空间和语义关系，具体步骤包括：

步骤1)：初始的编码器，生成点云的全局特征、补丁特征以及补丁中心坐标，经过上样本变压器后，获得一组融合全局结构特征和局部精细特征的特征张量；

步骤2)：特征张量经过全连接层后，通过自注意力机制去伪存真，获得更高质量的关系数据；

步骤3)：通过一个上采样变压器，将特征结构补全为一个完整而粗糙的模型。

本发明的创新之处在于，通过几何特征精炼网络，可以精细化地获取点云局部细节和结构化特征。它能够结合输入点云的特征，构建更高质量的模型。

本发明进一步的创新在于，双管道的设计结构也让缺失点云能够在分布上拟合完整点云，为后续的生成器提供一个特征均匀的隐空间编码。本发明得到的点云补全精度远远高于PCN，TopNet等补全网络。

本发明更进一步的创新在于，将重建路径生成的点云与补全路径得到的点云进行融合，两者通过一个余弦距离函数赋予不同权重，该方法能够很好的提高发明的鲁棒性，降低对噪声的敏感度。

本发明又进一步的创新在于，对网络的损失函数进行了改进。本发明整体网络是端到端训练的，训练损失包括分布拟合的KL散度损失、重建的精度损失(双边倒角距离表示)以及几何特征精炼的损失(单边倒角距离表示)，三者给予不同权重。

与现有技术相比，本发明具有的有益效果：

本发明运用深度学习的方法，直接对三维点云进行处理，可扩展性强，同时采用基于几何特征精炼与对抗生成网络的双管道点云补全方法，可以高效且准确的补全缺失点云，几何特征精炼网络的设计也让结构细节在补全点云中呈现成为可能。本发明所使用的模型基于StyleGan，变压器和卷积模块，对于噪声点和离散值不敏感，大大提高了网络的鲁棒性。粗补全点云的构造通过上采样变压器，结合了临近点的语义和空间信息，在两阶段的点云补全任务中发挥了重要作用，大大提高了配准精度。此外，精确的补全结果也能为下游的点云任务提供更高质量的点云数据。

附图说明

图1为基于几何特征精炼与对抗生成网络的双管道点云补全方法的流程图。

图2为几何特征精炼网络的结构图。

具体实施方式

下面结合附图对本发明进行详细说明。

如图1所示，本发明基于几何特征精炼与对抗生成网络的双管道点云补全方法，包括以下步骤：

a.本发明准备了一个训练数据集(62400,2048,3)，一个测试数据集(41600,2048,3)。对于双分支网络，将缺失点云X与完整点云Y作为输入，输入表示为P＝{p_i|i＝1,2,...,N}∈R^N×3，其中，N是点的总数，P_i表示点云中的第i个点，每个点都具有(x、y、z)坐标。双路径编码器应用点变压器和设置抽象层从缺失点云中提取特征，每一层的点数逐渐减少。最后可以得到全局特征F_g，补丁特征

和相应的补丁中心坐标

它们代表了缺失点云的结构信息，其中编码器共享权重。

b.将全局特征F_g作为后续模块的输入，经过一个线性层之后获得点云的高斯分布。网络分为完整点云Y的上重建路径和缺失点云X的下补全路径，补全路径的目标是将一个不完整的输入缺失点云X重建为一个完整的形状。首先对完整点云Y的全局特征和潜在分布进行编码，然后使用缺失点云分布分布

拟合完整点云分布q(φ)，以此补全缺失点云的结构特征。补全路径与重建路径具有相似的结构，我们采用KL散度作为这部分的损失函数。

c.结合附图2，缺失点云分布分布

拟合完整点云分布q(φ)经过上采样后获得新的特征点对，结合初始编码器的补丁特征F_p和补丁中心坐标P_p，几何特征精炼网络被设计为产生一个粗糙而完整的点云。几何特征精炼网络通过一个上样本变压器捕获局部模式的区域信息，将获得的局部特征与全局特征相结合，经过全连接层后，生成一个全新的特征张量，采用自注意力机制，提取张量的语义相关性，在从粗到细的生成中使用了一个上样本层，最后得到粗补全的点云X_c。这部分的损失函数我们用单边倒角距离表示。

d.重建路径中我们将得到的重建点云Y_re作为真实数据，同时引入随机噪声点W。将这两者作为StyleGan的输入，通过生成器和判别器的对抗训练，不断加强生成器的生成能力，每次完成前向计算和反向传播，将得到的真实点云和虚拟点云连接后，得到一个新的生成点云Y_g。我们用双边倒角距离表示重建的精度损失。

e.在补全路径上，我们将获得的粗补全点云X_c通过一个卷积编码器，结合补丁特征F_p和上采样信息，融合得到隐空间编码Z。解码器设计旨在增强结构关系，以恢复局部形状细节。受图像识别的网络启发，本发明使用了点自注意核来自适应地聚合已学习到的相邻点特征。解码器可以观察到不同的关系结构有不同的尺度，通过融合从不同尺度学习到的结构关系，根据隐空间编码Z生成一个新的精补全点云Y_v。

f.将Y_g和Y_v分别除以各自范数得到正则化项，通过求两者的余弦距离获得一个得分S，根据得分S从大到小的约束范围，赋予Y_g和Y_v不同的权重系数，最后结合得到最终的输出Y_out。

值得一提的是，以上的实验过程均为端到端的。图1所示虚线相连的模块只在训练过程中使用。作为可选择方案，将隐空间编码Z作为参数输入，根据共享权重的生成器可以得到生成点云Y_g，而几何特征精炼网络上采样得到的粗补全点云X_c经过一个和StyleGan共享权重的生成器后也可以生成一个新的精补全点云Y_v。按照同样的原理，将Y_g和Y_v分别除以各自范数得到正则化项，求两者的余弦距离获得一个得分S，根据得分从大到小的约束范围，赋予它们不同的权重系数，最后结合得到一个最终的Y_out。

本发明的训练损失包括三个部分：L_kl(KL散度损失)、L_re(重建精度损失)、和L_p(几何精炼损失)。其中KL散度损失被定义为：

考虑到训练效率，选择双边倒角距离作为重建损失:

其中，x和y分别表示属于两个点云的点。

本发明在几何特征精炼的损失上选择用单边倒角距离表示：

其中，

和

分别表示Y_out

因此，总的损失函数L_t可以表示为如下形式，三种损失以平衡参数λ₁和λ₂相组合，共同为学习优良的特征表示做出贡献：

L_t＝L_kl+λ₁L_cd+λ₂L_p

本发明的输入输出均有可视化结果，除了在现有数据集上的验证，在其他缺失点云数据集(16,384个点)上的形状补全均有着优异的结果。

Claims (3)

1.一种基于几何特征精炼与对抗生成网络的双管道点云补全方法，其特征在于：包括以下步骤：

步骤1：对缺失点云和与之对应的完整点云分别提取特征，其中上下双管道架构的编码器共享权重；

步骤2：根据编码器获得的补丁特征，获取完整点云分布q(φ)和缺失点云分布

让缺失点云分布

拟合完整点云分布q(φ)，采用KL散度作为损失函数；

步骤3：对点云分布进行采样后，经过几何特征精炼网络，重建路径得到重构点云，补全路径得到粗补全点云；其中几何特征精炼网络根据编码器得到的信息聚合来自相邻点的局部区域内特征，将新点的生成过程表示为局部区域内特征的上采样加权平均值；几何特征精炼的损失使用单边倒角距离表示；

步骤4：重建路径上，将重构点云作为真实数据输入，引入噪声点通过StyleGan得到生成点云Y_g，用双边倒角距离表示重建的精度损失；

步骤5：补全路径上，将获得的粗补全点云通过一个卷积编码器，结合补丁特征和上采样信息，融合得到隐空间编码，通过解码器解码得到精补全点云Y_v；

步骤6：计算生成点云Y_g和精补全点云Y_v的余弦距离，根据结果赋予Y_g与Y_v不同的权重值，融合得到最后的输出Y_out。

2.根据权利要求1所述的一种基于几何特征精炼与对抗生成网络的双管道点云补全方法，其特征在于：隐空间编码也能作为StyleGan中权重已知的生成器参数得到生成点云Y_g，最后计算余弦距离，得到最后的输出Y_out。

3.根据权利要求1所述的一种基于几何特征精炼与对抗生成网络的双管道点云补全方法，其特征在于：几何特征精炼网络能够获得精细的局部细节和结构特征，并有效结合相邻点之间的空间和语义关系，具体步骤包括：

步骤1)：初始的编码器，生成点云的全局特征、补丁特征以及补丁中心坐标，经过上样本变压器后，获得一组融合全局结构特征和局部精细特征的特征张量；

步骤2)：特征张量经过全连接层后，通过自注意力机制去伪存真，获得更高质量的关系数据；

步骤3)：通过一个上采样变压器，将特征结构补全为一个完整而粗糙的模型。

Images