CN111862289B - 一种基于gan网络的点云上采样方法 - Google Patents

Abstract

本发明公开一种基于GAN网络的点云上采样方法，主要由Generator生成器和Discriminator判别器组成GAN网络，来进行点云上采样。Generator生成器由环状排列、多频率池化、GRU网络模块构成，可以有效地学习点云中每个点的几何特征和全局特征，从而更好地掌握输入点云的几何信息。Discriminator判别器由两层特征提取器和反卷积网络模块构成，可以判别输入点云的真假，帮助更好的优化GAN网络。其中，通过环状排列，可以将无序的点邻域通过正交投影、逆时针排列方式安排成有序的环状结构，通过多频率池化可以准确提取每个点不同组邻域的几何特征。本方法可以应用于三维点云重建的预处理步骤中。

Description

一种基于GAN网络的点云上采样方法

技术领域

本发明属于计算机视觉三维图像邻域，具体的说是包含3D点云特征学习、点生成并进行真假判断的基于GAN网络的点云上采样框架。

背景技术

三维图像是三维空间的一种表达形式，包含几何模型、深度图和点云等。其中，点云是一类由三维激光扫描仪等扫描设备获取的海量点数据集合，它可以完整地保存模型的几何信息，不需要任何离散处理，而且表示也十分简单，仅仅包含点的基本属性，如坐标、法向量等，由于使用方便，它被越来越多地应用到了三维重建、逆向工程、无人驾驶等领域。

在这些领域中，三维重建占据着重要的地位。三维重建是指对三维空间中的物体建立适合计算机表示和处理的数学模型,为后序的分析、理解、处理模型做基础，同时可以更好地表达真实世界。传统的重建方法有：3D建模、几何PCL处理等，这一块的研究已经很成熟，近些年来，由于深度学习在二维图像的分类、超分辨率等方面上大获成功，事实证明它提取图像特征的能力非常强，所以如何使用深度学习来处理三维重建工作成为了研究热点。

但是，使用深度学习来处理点云是非常具有挑战性的。在数据采集的过程中，常常会因为物体遮挡、设备噪音或者光线影响，使得点云数据变得稀疏、不均匀，而且点云数据的所有点本身没有顺序，没有确定的结构，再加上点的缺失，使得后序的重建工作难以进行。

为了解决以上问题，Yu等人提出了第一个基于PointNet++的数据驱动上采样网络PU-Net。为了学习不同层次的特征，逐级增加邻域半径，通过PointNet++方法获取局部邻域特征，最后采用反向插值对所有特征进行组合，但是它重复使用已有特征带来了很大的特征冗余。之后，Wang等人提出了一种基于Patch的多步学习的上采样网络3PU，它可以将一个16倍的上采样网络划分成4个2倍的上采样网络，从而缩小了网络规模，更好地学习点云的局部特征信息，帮助了坐标重建，但是它也存在严重的特征冗余问题。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种基于GAN网络的点云上采样方法，该方法主要由Generator生成器和Discriminator判别器组成GAN网络，来进行点云上采样。Generator生成器由环状排列模块、多频率池化模块、GRU网络模块构成，可以有效地学习点云中每个点的几何特征和全局特征，从而更好地掌握输入点云的几何信息。Discriminator判别器由反卷积网络和两层特征提取器构成，可以判别输入点云的真假，帮助更好的优化GAN网络。其中，通过环状排列，可以将无序的点邻域通过正交投影、逆时针排列方式安排成有序的环状结构，通过多频率池化可以准确提取每个点不同组邻域的几何特征。通过该项技术，可以生成符合输入点云模型几何结构的点，使得原来稀疏的点云变成一个结构完整的密集点云，并且生成点都均匀分布在点云表面。

本发明的目的是通过以下技术方案实现的：

一种基于GAN网络的点云上采样方法，所述GAN网络由Generator生成器和Discriminator判别器组成，Generator生成器由环状排列模块、多频率池化模块、GRU网络模块构成；Discriminator判别器由反卷积网络和两层特征提取器构成；具体包括以下步骤：

Generator生成器中：

步骤101：输入稀疏点云模型，并且对稀疏点云模型中的每个点使用CNN卷积网络进行初始局部特征学习；

步骤102：使用环状排列模块，将每个点拥有的多组邻域，从无序的点安排成有序的环状结构；

步骤103：使用多频率池化模块，基于已有邻域点的局部特征，捕捉每个点不同组邻域的几何特征，因为每组邻域具有它独特的几何结构，所以使用不同的池化方式进行几何特征的学习；

步骤104：通过使用GRU网络模块对每个点的所有邻域的几何特征进行混合和更新，获得每个点整体的全局特征；

步骤105：分别将每个点每组邻域的几何特征和全局特征连接起来，并且添加latent code潜在码增加差异，组合出每组邻域的混合特征；

步骤106：最后通过三层反卷积网络将每个点的所有组混合特征从特征空间映射回三维坐标空间，获得上采样点云；

Discriminator判别器中：

步骤201：输入需要判断的点云模型；

步骤202：使用两层特征提取器来提取信息；

步骤203：使用反卷积网络获得置信度。

进一步的，步骤202具体包括以下步骤：

在第一层特征提取器中：首先使用两层CNN卷积网络，将输入的点云模型从三维坐标空间映射到特征空间，获取每个点的局部特征；

对所有点的局部特征进行max-pooling最大池化和average-pooling平均池化，获得点云的全局特征，复制N份，和输入点云模型每个点的坐标连接，组合出每个点新的局部特征；

在第二层特征提取器中：

首先使用两层CNN卷积网络对第一层特征提取器的局部特征进行处理：接着对所有点的局部特征进行最大池化和平均池化，获得点云的全局特征，使用MLP多层感知器组成的全连接网络对获得的全局特征做加权和，使得全局特征由一个特征空间线性转换到另外一个特征空间，同时为避免网络参数过多带来的过拟合，采用了dropout正则化操作；

步骤203具体为：使用三层反卷积网络，将点云全局特征转换成一个介于0到1之间的数值，该数值称为置信度，用于判断输入点云的真假。

与现有技术相比，本发明的技术方案所带来的有益效果是：

1.本发明提出的GAN网络结构，可以通过Generator生成器和Discriminator判别器之间不断的博弈，来优化网络的学习，从而进行点云上采样。Generator生成器中包含环状排列和多频率池化两个重要模块：在目前点云的上采样处理中，因为点云是无序的，每点的邻域点是根据距离中心点的远近来选择的，例如采用K近邻算法，但是这些邻近点和中心点并没有直接的关系，通过这样的学习方式很难学习到中心点周围邻域的几何信息(通常误差很大)。采用环状排列可以避免这个问题，通过正交投影、逆时针排列方式，根据角度值将每个点的邻域点安排成环状结构，这样就确定了几何关系，将无序变成了有序。多频率池化模块，根据四组邻域点距离中心点的远近，采用了四种不同的池化方式学习每组邻域中的频率信息，实现了距离越远、几何特征影响越小的准则，更加准确的捕捉了中心点邻域的几何特征。

2.Discriminator判别器包含两层特征提取器，其中：CNN卷积网络对局部感受野的学习能力是很强大的，并且因为具有权值共享的优点，大大减少模型参数，方便进行实验训练，为了充分学习到点云中每个点更多的局部特征，编码中采用了多层不同卷积核数量的CNN网络。对每个点的局部特征进行最大池化和平均池化，获得该点的全局特征，最后使用全连接网络对所有点的全局特征做加权和，获得点云的全局特征。

3.实验结果表示，GAN网络模型生成的上采样点云，在几何形状和点均匀分布方面都具有较好的效果，可以应用于三维点云重建的预处理步骤中。

附图说明

图1是本发明方法的总体流程示意图。

图2是Generator生成器的工作流程示意图。

图3是Discriminator判别器的工作流程示意图。

图4是GAN网络生成的上采样点云结果。

图5是使用异常数据集训练生成的上采样点云结果。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于GAN网络的点云上采样方法，流程如图1所示，构成本方法的GAN网络由Generator生成器、Discriminator判别器构成，Generator生成器的任务是通过对输入稀疏点云模型的学习，输出上采样后的点云。Discriminator判别器是通过两层特征提取器和反卷积网络来辨别输入点云模型的真假。两者之间相互抗衡，最终使得Generator生成器生成的点云更加真实，Discriminator判别器的判别能力更加精进。

Generator生成器核心技术方案为：

(1)使用CNN卷积网络学习输入稀疏点云模型的初始局部特征，接着使用环状排列模块，将每个点拥有的多组邻域，从无序的点安排成有序的环状结构，使用多频率池化模块，基于已有邻域点的局部特征，捕捉每个点不同组邻域的几何特征，因为每组邻域具有它独特的几何结构，所以使用不同的池化方式进行几何特征的学习；

(2)通过使用GRU网络模块对每个点的所有邻域的几何特征进行混合和更新，获得每个点整体的全局特征；分别将每个点每组邻域的几何特征和全局特征连接起来，并且添加latent code潜在码增加差异，组合出每组的混合特征；

(3)最后通过三次反卷积网络将每个点的所有组混合特征从特征空间映射回三维坐标空间，获得上采样点云；

Discriminator判别器核心技术方案为：

(1)使用两层特征提取器来提取信息。第一层特征器由两层CNN卷积网络、最大池化、平均池化构成。CNN卷积网络局部感受野的学习能力是很强大的，并且它具有权值共享的优点，大大减少模型参数，方便了实验训练。因为点云中需要对每个点的局部特征进行学习，所以设置CNN卷积网络的卷积核为1*1的，卷积核的数量为[32,64]，卷积核数量的增多，可以增加已学习局部特征的差异性，避免特征数量太少太相似，造成Discriminator判别器学习能力下降。在每个点的局部特征中选取对应维度的最大值，可以获得该点的全局特征，同时最大池化的方式可以解决点云的无序性问题。平均池化会将每个点的所有局部特征进行平均求值，获得更加符合输入点云模型几何结构的全局特征。将点云的全局特征复制N份，和输入点云模型每个点的坐标连接，组合出每个点新的局部特征。

(2)在第二层特征提取器中，它的前三步和第一层特征提取器是一样的，不过为了学习到每个点更多的局部特征，进一步加大了CNN卷积网络的卷积核数量，接着对所有点的局部特征进行最大池化和平均池化，获得点云的全局特征，使用多层感知器MLP组成的全连接网络对获得的全局特征做加权和。最后将获得全局特征输入到三层反卷积网络中获得置信度。如果置信度为1，那么点云就是GroundTruth标注数据，否则就是Generator生成器生成的上采样点云。

根据本发明的框架流程，在Generator生成器中，环状排列可以有效地将无序的点邻域安排成一个有序的环状结构，确定了每个点云的不同组邻域，方便了后序的邻域几何特征学习。在已有的点云研究中，目前很少有有效的方法可以将无序的点云安排成规则的结构。多数研究采用了K近邻算法计算每个点包含的邻域点或者PointNet方法，对获取的D维特征使用max-pooling最大池化，由此解决无序性问题。本发明中提出的GAN网络结构，可以通过Generator生成器和Discriminator判别器之间不断的博弈，来优化网络的学习，使得Generator生成的点云更加符合物体的几何形状，并且使得点的分布更加均匀，Discriminator可以更加严格地判断输入点云模型的真假，并计算置信度。本发明的损失函数由三部分构成，一部分是Adversarial Loss对抗损失，一部分是Uniform Loss均匀损失，另外一部分是Reconstruction Loss重建损失，它可以使上采样后的点根据距离最近的GroundTruth标注数据(即真实点云)中的点，从原有位置移动到正确的几何位置，在重建损失函数的选择上，常用的有两种方式，一种是(Earth Mover Distance)EMD，另外一种是(Chamfer Distance)CD，实验中选择了CD距离，它可以很好地测量上采样点云和GroundTruth标注数据之间的最近距离，并且计算简单，可以降低内存消耗。

具体的，下面根据图2和图3详细说明一下环状排列，并介绍一下多频率池化的实施细节：

1.环状排列

通常为了确定点与点之间的联系，总是倾向于通过三维欧几里得方法，计算点之间的距离，以此确定单点邻域半径内的点，但是点之间本身是无序的，没有直接的关系，这样选择，会造成很大的误差。为了解决这个问题，本实施例使用环状排列可以将无序的点邻域安排成有序的环状结构。

首先，通过正交投影，将每个点邻域点的3D坐标投影到切平面上，接着利用点积和叉积来对这些点进行逆时针排列。

在投影之前，因为输入的点云不具备法向量属性，需要使用PCL库中的方法进行法向量计算。法向量是正交投影和逆时针排列中会用到的重要属性。

1.1正交投影

点云每个点具有的基本属性是：三维坐标和法向量。为了得到点云中每个点的K个邻域点，使用了K近邻算法，该算法的核心是三维空间的A、B两点距离计算公式

这里规定点云中每个点(即中心点)坐标为C_i，它的邻域点坐标为C_j，j∈{1,2,...,K}，使用以下公式将所有邻域点C_j投影到中心点C_i的切平面上

O_j＝C_j-((C_j-C_i)·N_i)·N_i，j∈{1，2，...，K}

其中N_i指的是中心点C_i的单位法向量，O_i是中心点C_i投影后的投影坐标，O_j是邻域点C_j投影后的投影坐标。公式的计算过程是：首先将邻域点C_j和中心点C_i相减，获得C_i指向C_j的向量，通过向量点积投影到法向量N_i上，获得邻域点C_j距离切平面的高度差，接着高度差和N_i法向量求点积得到高度向量,最后将邻域点C_j沿着N_i法向量反向移动此高度向量，就可以获得投影坐标O_j了。

1.2逆时针排列

接着对上述获得的邻域点投影坐标进行逆时针排列。首先在中心点投影坐标O_i的K个邻域点投影坐标中随机选择一点O₁，使用O₁减去中心点O_i的向量差作为一个标准的参照向量，接着计算每个邻域点投影坐标O_j到中心点O_i的向量差与参照向量的余弦值，最后按照余弦值对应的角度将他们分布到中心点投影坐标O_i周围。

余弦值的范围为[-1,1],所以对应的角度范围为[0,180°]或者是[180°，360°],为了构成以点O_i为中心的圆环，需要将角度范围扩展到[0,360°)，同时将中心点投影坐标O_i的每个邻域点投影坐标O_j，根据计算出来的余弦值对应的角度在圆环中排列好，因此必须采取方法判断O_j属于哪个半环。

在中心点投影坐标O_i的切平面中，以O₁点减去O_i的向量差O_iO₁为y轴，以垂直O_iO₁的任意向量为x轴，建立平面坐标系，对O_i的K个邻域点的投影坐标O_j进行中心化，并且判断中心化后的O_j的x值是正是负。值正负对应的角度范围情况如下：

最后按照对应的角度范围逆时针排列好中心点投影坐标O_i对应的所有邻域投影坐标O_j。

2.多频率池化；

在本实施例中，点云中的每个点都选择了几组不同半径的邻域点，并且使用环状排列，将每组邻域点都安排成环状结构。因为每个点的不同组邻域具有它自己独特的几何结构，所以具有一个丰富的层次信息，而多频率池化恰恰可以捕捉这些层次的几何特征。

根据每组邻域点到中心点C_i的距离，离得最近的邻域点对C_i几何特征学习影响最大，中间的邻域点次之，最远的邻域点影响最小。这个概念类似于2D图片处理中的高低频概念，因为灰度变化很大，高频信息对图片特征学习影响最大，因为包含的是灰度比较小的一些粗略信息，低频信息影响最小。本专利为点云中的每个中心点C_i设置了四组环状邻域点，使用了四种池化方法来提取四组环状邻域点的频率信息(它们分别称为高高频，高频，中低频，低频)。

类比高低频的概念，将每组邻域点的几何信息称之为频率信息，每组邻域称为邻域I，邻域II，邻域III，邻域IV。

这四种池化方式分别是：

第一种是max and average pooling最大平均池化，用于提取邻域I中的信息。最大池化可以从邻域I中所有点的局部特征中挑选出最大的特征，即全局特征，能够表示最重要的几何特征。平均池化将邻域I中所有点的局部特征加起来取平均，更好的整合了邻域中的频率信息。将最大池化和平均池化的结果结合起来，可以准确地反映该邻域整体的几何特征。

第二种是average pooling平均池化，用于提取邻域II中的信息。它可以将整个邻域内所有点的局部特征加起来取平均值，可以获得该邻域整体的几何特征，确保特征的完整性。

第三种是weighted average pooling带权平均池化，用于提取邻域III中的信息。它为邻域中的每一点安排了一个权重，权重的计算方法是：首先计算每个点坐标的2范数，即以下公式中的dist值，接着将所有的dist值加起来，得到total_dist总距离，每个点的指数距离比上总距离total_dist总距离的比例ratio就是权重。

将获得权重分别乘到每个点的局部特征中，dist距离越小，距离中心点C_i越近，权重值越大。通过这样的方式，挑选出该邻域整体几何特征中最重要并且具有代表性的特征。

第四种是max pooling最大池化，它从weighted average pooling带权平均池化获得的几何特征中，根据值的大小，获取更加重要的特征，这些特征往往代表整个邻域中最突出的频率信息。

通过四层池化，可以提取到多样化、多层次的几何特征，使得上采样得到的点更加符合中心点C_i周围邻域的几何结构，并且使得点之间均匀分布。

图4展示了GAN网络模型生成的上采样点云。第一行是输入的稀疏点云模型，第二行是本网络获得的上采样点云，第三行是GroundTruth标注数据。可以观察到，输入的稀疏点云，它的点数量很少，并且整体的几何结构并不清晰，上采样的目的是将输入的稀疏点云变成γ倍的密集点云模型(本实施例中，γ为4)。GAN网络模型通过对输入的稀疏点云的进行局部特征和全局特征的学习，并且使用Discriminator判别器对上采样点云和GroundTruth标注数据进行不断地鉴别，生成了符合输入稀疏点云几何结构的点，保持了点之间的均匀分布，使其成为密集点云。

图5展示了本发明方法提出的GAN网络模型在异常数据集中的试验结果，结果显示GAN网络具有很强的点云几何特征学习能力，生成的上采样点云和GroundTruth标注数据相差不大。异常的数据集是指从输入的稀疏点云模型(该模型拥有1024个点)中随机抽取256个点作为一个整体，这样抽取的点云数据是非常稀疏并且是严重不均匀的，GAN网络如果不具备强大的几何特征学习能力，那么处理不了这些误差很大的点云数据。

综上，本发明方法中基于GAN网络模型生成的上采样点云，在几何形状和点均匀分布方面都具有较好的效果，可以应用于三维点云重建的预处理步骤中。

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (2)

1.一种基于GAN网络的点云上采样方法，其特征在于，所述GAN网络由Generator生成器和Discriminator判别器组成，Generator生成器由环状排列模块、多频率池化模块、GRU网络模块构成；Discriminator判别器由反卷积网络和两层特征提取器构成；具体包括以下步骤：

Generator生成器中：

步骤101：输入稀疏点云模型，并且对稀疏点云模型中的每个点使用CNN卷积网络进行初始局部特征学习；

步骤102：使用环状排列模块，将每个点拥有的多组邻域，从无序的点安排成有序的环状结构；

步骤103：使用多频率池化模块，基于已有邻域点的局部特征，捕捉每个点不同组邻域的几何特征，因为每组邻域具有它独特的几何结构，所以使用不同的池化方式进行几何特征的学习；

步骤104：通过使用GRU网络模块对每个点的所有邻域的几何特征进行混合和更新，获得每个点整体的全局特征；

步骤105：分别将每个点每组邻域的几何特征和全局特征连接起来，并且添加latentcode潜在码增加差异，组合出每组邻域的混合特征；

步骤106：最后通过三层反卷积网络将每个点的所有组混合特征从特征空间映射回三维坐标空间，获得上采样点云；

Discriminator判别器中：

步骤201：输入需要判断的点云模型；

步骤202：使用两层特征提取器来提取信息；

步骤203：使用反卷积网络获得置信度。

2.根据权利要求1所述一种基于GAN网络的点云上采样方法，其特征在于，步骤202具体包括以下步骤：

在第一层特征提取器中：首先使用两层CNN卷积网络，将输入的点云模型从三维坐标空间映射到特征空间，获取每个点的局部特征；

对所有点的局部特征进行max-pooling最大池化和average-pooling平均池化，获得点云的全局特征，复制N份，和输入点云模型每个点的坐标连接，组合出每个点新的局部特征；

在第二层特征提取器中：

首先使用两层CNN卷积网络对第一层特征提取器的局部特征进行处理：接着对所有点的局部特征进行最大池化和平均池化，获得点云的全局特征，使用MLP多层感知器组成的全连接网络对获得的全局特征做加权和，使得全局特征由一个特征空间线性转换到另外一个特征空间，同时为避免网络参数过多带来的过拟合，采用了dropout正则化操作；

步骤203具体为：使用三层反卷积网络，将点云全局特征转换成一个介于0到1之间的数值，该数值称为置信度，用于判断输入点云的真假。

Images