CN113313834B - 一种基于几何可解释性的点云生成方法 - Google Patents

Abstract

一种基于几何可解释性的点云生成方法，包括以下步骤：S1.点云隐表达学习训练：用基础的点云自编码器网络来进行学习，得到点云隐表达；S2.点云隐表达的概率分布学习：用最优传输理论在几何视角下的方法进行建模学习训练得到随机概率分布到隐表达概率分布的传输映射图；以及S3.新的点云实例生成：使用S2中学习到的传输映射图构建新的点云生成。本发明方法其所生成的点云符合真实场景，且避免了模式混淆或生成模式过少的情况，为后续生成多样式点云提供了基础保障。

Description

一种基于几何可解释性的点云生成方法

技术领域

本发明涉及点云及三维数据预处理领域，并且更具体地涉及一种基于几何可解释性的点云生成方法。

背景技术

点云生成模型由于其可以生成真实点云实例，其在近年来受到了众多的关注。然而，现有点云生成方法均基于深度学习网络框架，例如基于自编码器或生对抗网络模型。由于神经网络只能模拟连续变换函数，而真实数据的分布则是离散的，因而会引入生成模式的混淆或生成模式过少的情况。从几何视角来解析点云生成模型，由于大部分数据集是基于多模式或多类别的，因此在此过程中，形状的模拟是连续的，但其在源域和目标域的分布映射是离散而非连续的，因而将形状与分布的学习放置于同一个神经网络当中一起训练是不恰当的，自然也就会生成错误的且不真实的点云。因此，如何设计更加有效且能够表达离散映射分布映射的点云生成方法就显得尤为重要。

发明内容

针对上述问题和相关方法的缺陷，本发明提出了一种基于几何可解释性的点云生成方法，其所生成的点云符合真实场景，且避免了模式混淆或生成模式过少的情况，为后续生成多样式点云提供了基础保障。

本发明的技术方案如下：

一种基于几何可解释性的点云生成方法，包括以下步骤：S1.点云隐表达学习训练：用基础的点云自编码器网络来进行学习，得到点云隐表达；S2.点云隐表达的概率分布学习：用最优传输理论在几何视角下的方法进行建模学习训练得到随机概率分布到隐表达概率分布的传输映射图；以及S3.新的点云实例生成：使用S2中学习到的传输映射图构建新的点云生成。

优选的，在上述基于几何可解释性的点云生成方法中，在步骤S1中，确定一种点云隐表达的学习，并进行训练得到点云的隐表达，云隐表达可以是低维紧实的特征表达或嵌入在低维的流形，使用点云自编码器来训练实现，其中，公式(1)为最小化解码器生成的点云的损失函数，

其中

分别为自编码器中的编码器和解码器，μ为源域点云x的分布空间，其中损失函数可以为点云常用距离函数；在完成训练之后，通过点云编码器即可得到点云隐表达以及其对应的分布。

优选的，在上述基于几何可解释性的点云生成方法中，在步骤S2中，通过构建伯努利势能来优化得到均匀分布/随机分布到隐表达分布的映射图。

优选的，在上述基于几何可解释性的点云生成方法中，在步骤S2中，由构建伯努利势能来实现映射图T，包括以下步骤；

1)构建超平面：

其中，x为源域中的点云，z为目标域隐表达分布下的特征点，π是超平面，h为超平面的高度向量，其满足

其为所构造的凸能量函数的唯一最优值，其可以通过该能量函数的梯度下降方法如公式(3)来进行优化：

E(h)'＝(υ_i-w_i(h))^T (3)

其中υ为目标域的测度，由于最优传输当中是保测度的，w为源域点云x对应的包腔分解下的一个包腔的面积；

2)根据公式(4)来计算所构造伯努利势能u(x)的上包络，其为所构造超平面的最大值集合，集合上来看，能量函数E(h)即为包络下方的体积

u(x)＝max{＜x,z_i＞+h_i} (4)；

3)计算伯努利势能u(x)的功率图，即其的梯度公式(3)，将损失函数c(x,T(x))设置为二次方欧式距离，如公式(5)，其中T(x)为最终获得的映射图，

c(x,T(x))＝0.5||x-T(x)||² (5)

4)通过保测度条件来不断条件高度h，使用优化器优化公式(3)，例如Adam优化器来优化，得到最小化凸能量函数的取值；

最后，可以得到映射图T＝h。

优选的，在上述基于几何可解释性的点云生成方法中，在步骤S3中，使用S2中学习到的传输映射图构建新的点云生成，包括：去除模式混淆的样例：设置角阈值，实验当中可视为0.7，将大于角阈值的平面共线的点去除掉，即可去除模式混淆的情况；生成新的点云实例：使用几何思路，将隐表达分布表示为几何当中的单纯复合体，每个单纯体为一类当中的点，一个单纯复合体为一个类当中的样本；根据所生成的传输映射图，随机一个种子到映射当中，即可得到其最近邻的单纯体，利用单纯体当中的顶点，按照一定权值来生成新的点云。

根据本发明的技术方案，产生的有益效果是:

本发明方法将点云形状模拟与概率分布转换分开来实现，因而其所生成的点云符合真实场景，且避免了模式混淆或生成模式过少的情况，为后续生成多样式点云提供了基础保障

为了更好地理解和说明本发明的构思、工作原理和发明效果，下面结合附图，通过具体实施例，对本发明进行详细说明如下：

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。

图1是本发明的基于几何可解释性的点云生成方法的流程图；

图2是本发明方法在三维高斯网格及环数据集模拟下的效果图，其中，第一行是三维高斯网格点；第二行是三维高斯环点；

图3是本发明方法的基于几何可解释性的点云生成后的效果图，对比对应真实点云图与自编码器生成效果。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本方面保护的范围。

如图1所示，本发明的基于几何可解释性的点云生成方法，包括以下步骤：

S1.点云隐表达学习训练：用基础的点云自编码器网络来进行学习，得到点云隐表达。

在该步骤中，确定一种点云隐表达的学习，并进行训练得到点云的隐表达，点云隐表达可以是低维紧实的特征表达，或嵌入在低维的流形。一般可使用点云自编码器来训练实现。

具体地，该步骤可以用基础的点云自编码器网络来进行学习，得到点云隐表达。如公式(1)所示为最小化解码器生成的点云的损失函数，其中

分别为自编码器中的编码器和解码器，μ为源域点云x的分布空间，其中损失函数可以为点云常用距离函数，例如倒角距离或地球移动距离。在完成训练之后，通过点云编码器即可得到点云的隐表达以及其对应的分布。

S2.点云隐表达的概率分布学习：用最优传输理论在几何视角下的方法进行建模学习训练得到隐表达分布与随机/均匀分布之间的概率传输图，即，随机概率分布到隐表达概率分布(由S1获得)的传输映射图。

该过程是离散映射的。具体地，通过构建伯努利势能来优化得到均匀分布/随机分布到隐表达分布的映射图T*，如公式(2)所示。其中#μ＝表示保测度映射，c(x,T(x))表示损失函数，x为源域点云。

其具体可由构建伯努利势能来实现映射图T，具体可通过四小步循环操作得到；

1)构建超平面：

其中，x为源域点云，即，源域中的随机点，z为目标域隐表达分布下的特征点，π是超平面，而h为超平面的高度向量，其满足

其为所构造的凸能量函数的唯一最优值，其可以通过该能量函数的梯度下降方法如公式(3)来进行优化：

E(h)'＝(υ_i-w_i(h))^T (3)

其中υ为目标域的测度，由于最优传输当中是保测度的，因此这里使用狄利克莱进行衡量。w为源域点云x对应的包腔分解下的一个包腔的面积，在实验当中可使用蒙特卡洛来进行接近其取值。

2)计算所构造伯努利势能u(x)的上包络，具体可根据公式(4)来计算。其为所构造超平面的最大值集合。集合上来看，能量函数E(h)即为包络下方的体积。

u(x)＝max{＜x,z_i＞+h_i} (4)

3)计算伯努利势能u(x)的功率图，也即其的梯度公式(3)。将损失函数c(x,T(x))设置为二次方欧式距离，如公式(5)，其中T(x)为最终获得的映射图。

c(x,T(x))＝0.5||x-T(x)||² (5)

4)通过保测度条件来不断条件高度h，使用优化器优化公式(3)，例如Adam优化器来优化，得到最小化凸能量函数的取值。

最后，可以得到映射图T＝h。

S3.新的点云实例生成：使用S2中学习到的传输映射图构建新的点云生成。

该步骤用于生成新的点云实例，具体可以通过下面步骤操作：

1)去除模式混淆的样例。

由于使用凸能量函数来构建映射过程，可设置角阈值Θ，实验当中可视为0.7，将大于角阈值的平面共线的点去除掉，即可去除模式混淆的情况。效果参见图2，其中第一行是三维高斯网格点，表示数据集真值；第二行是三维高斯环点，表示概率分布学习结果，其中，前两列即，(a)为过小角阈值

(b)为过大角阈值

(c)为合适的角阈值

由图可观察到过小角阈值会存在模式缺失的情况，而过大角阈值会存在模式混淆的情况，合适的角阈值则可以避免前序问题。但所提出方法可避免此类问题的产生。

2)生成新的点云实例。

使用几何思路，将隐表达分布表示为几何当中的单纯复合体，每个单纯体为一类当中的点，一个单纯复合体为一个类当中的样本。因此，根据所生成的传输映射图，随机一个种子到映射当中，即可得到其最近邻的单纯体，利用单纯体当中的顶点，按照一定权值来生成新的点云，可表示为公式(6)：

其中d为一个单纯体当中的顶点个数，λ为对应顶点特征值的权重，c为对应单纯体当中的中心，可以由顶点坐标平均值或者中值来获得，λ可随机生成[0,1]之间的值，也可以是距离单纯体中心点的距离梯度值，异或其他选项。不同值可生成不同类型的点云。

图3是本发明方法的自编码器生成效果图，在四类别数据集和八类别数据集上对比对应真实点云图(第一行)与自编码器生成效果(第二行)。由图3可知本发明所提方法生成点云类别明晰，且类别均包含在内。而原始只使用自编码器的生成效果较差，类别不明晰，或存在模式混淆的情况。模式混淆：即为两种类别的中间状态，例如生成了椅子与沙发的混合，则为模式混淆的情况。

以上说明是依据发明的构思和工作原理的最佳实施例。上述实施例不应理解为对本权利要求保护范围的限制，依照本发明构思的其他实施方式和实现方式的组合均属于本发明的保护范围。

Claims (3)

1.一种基于几何可解释性的点云生成方法，其特征在于，包括以下步骤：

S1.点云隐表达学习训练：用基础的点云自编码器网络来进行学习，得到点云隐表达；

S2.点云隐表达的概率分布学习：用最优传输理论在几何视角下的方法进行建模学习训练得到随机概率分布到隐表达概率分布的传输映射图；

由构建伯努利势能来实现映射图T，包括以下步骤；

1)构建超平面：

其中，x为源域中的点云，i代表第i个点云，z为目标域隐表达分布下的特征点，z_i为第i个点云的特征点，π是超平面，h为超平面的高度向量，h_i为第i个点云对应的超平面高度向量，其满足

其为所构造的凸能量函数的唯一最优值，通过该能量函数的梯度下降方法即公式(3)来进行优化：

E(h)'＝(υ_i-w_i(h))^T (3)

其中υ为目标域的测度，由于最优传输当中是保测度的，w为源域点云x对应的包腔分解下的一个包腔的面积，υ_i代表第i个点云的目标域测度，w_i则对应第i个点云所属的包腔面积；

2)根据公式(4)来计算所构造伯努利势能u(x)的上包络，其为所构造超平面的最大值集合，集合上来看，能量函数E(h)即为包络下方的体积

u(x)＝max{<x,z_i>+h_i} (4)；

3)计算伯努利势能u(x)的功率图，即其的梯度公式(3)，将损失函数c(x,T(x))设置为二次方欧式距离，即公式(5)，其中T(x)为最终获得的映射图，

c(x,T(x))＝0.5||x-T(x)||² (5)

4)通过保测度条件来不断调整高度h，使用Adam优化器优化公式(3)，得到最小化凸能量函数的取值；

最后，得到映射图T＝h；以及

S3.新的点云实例生成：使用S2中学习到的传输映射图构建新的点云生成，包括：

去除模式混淆的样例：设置角阈值为0.7，将大于角阈值的平面共线的点去除掉，即去除模式混淆的情况；

生成新的点云实例：使用几何思路，将隐表达分布表示为几何当中的单纯复合体，每个单纯体为一类当中的点，一个单纯复合体为一个类当中的样本；根据所生成的传输映射图，随机一个种子到映射当中，即：得到其最近邻的单纯体，利用单纯体当中的顶点，按照一定权值来生成新的点云。

2.根据权利要求1所述的基于几何可解释性的点云生成方法，其特征在于，在步骤S1中，确定一种点云隐表达的学习，并进行训练得到点云的隐表达，所述点云的隐表达是低维紧实的特征表达或嵌入在低维的流形，使用点云自编码器来训练实现，其中，公式(1)为最小化解码器生成的点云的损失函数，

其中

φ分别为自编码器中的编码器和解码器，μ为源域点云x的分布空间，其中损失函数

为点云常用距离函数；在完成训练之后，通过所述点云编码器得到所述点云隐表达以及其对应的分布。

3.根据权利要求1所述的基于几何可解释性的点云生成方法，其特征在于，在步骤S2中，通过构建伯努利势能来优化得到均匀分布/随机分布到隐表达分布的映射图。

Images