CN111899353A - 一种基于生成对抗网络的三维扫描点云孔洞填补方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络的三维扫描点云孔洞填补方法，属于人工智能机器视觉领域，具体步骤如下：步骤S10，获取样本集；步骤S20，获取生成对抗网络，通过所述生成对抗网络样本集确定训练后的神经网络模型参数；步骤S30，获取待填补的点云数据确定填补之后完整的点云数据。本发明即一种基于生成对抗网络的点云孔洞填补方法，通过将获取到的若干完整点云数据和若干对应的残缺点云数据完成对生成对抗网络的模型的参数训练；将待填补的残缺点云数据输入至所述已训练生成对抗网络模型中的生成器中进行孔洞填补；整个过程在保证点云数据恢复的精确度的同时，可以大大的提高点云数据恢复的速度及精度。

Description

一种基于生成对抗网络的三维扫描点云孔洞填补方法

技术领域

本发明公开了一种基于生成对抗网络的三维扫描点云孔洞填补方法，属于人工智能机器视觉领域。

背景技术

三维扫描点云可由如下方式获取由双目相机采集具有结构光的编码图案的目标物二维图像，并根据三角形原理，恢复得到目标点云数据，其属性包括物体表面的三维空间位置X、Y、Z，表面法向量、曲率等信息。结构光三维扫描点云具有采样密度高，对环境光照存在较高的鲁棒性等优点，随着机器视觉技术的发展，对于三维扫描点云的处理技术变得越发的重要。

然而三维扫描点云的点云数据由于目标物存在遮挡以及目标物表面特性的不同，在恢复点云时存在着恢复点云数据残缺的问题，为此，编程人员以往在应用点云数据之前常利用模板对点云孔洞进行填补。这种由模板对点云进行填补的主要流程为：首先，根据待测物体点云模型和实际测量点云上特征点间的对应关系，对待测物体点云模板进行三维缩放。然后，采用非刚体ICP策略或其他配准策略将待测物点云模板向待测物的的实际测量点云配准。最后，将原始测量点云中孔洞区域用变形后的待测物点云模型中的点云来替换以实现对孔洞的填补。

在实现本发明的过程中，发明人发现现有的技术至少存在如下的问题：1)操作复杂：需要计算点云特征，并对点云模板进行缩放；2)耗时长：ICP配准算法通过不断的迭代计算两个点云数据之间的旋转平移矩阵，通过这组矩阵将不同坐标系下的两组点云数据或者是多组点云数据统一到同一参考坐标系下，算法的耗时长；3)使用局限：由于ICP算法的初始参数的设置问题，可能造成误匹配的情况发生，难以保证高质量的点云孔洞填补，还可能存在误填补等问题。生成对抗网络是当今一种主流的无监督型深度学习模型，具有广阔的应用前景。

发明内容

本发明的目的在于解决现有孔洞填补方式操作复杂、耗时长、恢复质量难以保障的问题，提出一种操作简单、点云数据恢复的速度快及精度高的基于生成对抗网络的三维扫描点云孔洞填补方法。

本发明所要解决的问题是由以下技术方案实现的：

一种基于生成对抗网络的三维扫描点云孔洞填补方法，具体步骤如下：

步骤S10，获取样本集，所述样本集包括：完整点云数据和残缺点云数据；

步骤S20，获取生成对抗网络，通过所述生成对抗网络模型、完整点云数据和残缺点云数据确定训练后的神经网络模型参数；

步骤S30，获取待填补的点云数据，通过待填补的点云数据和所述训练后的神经网络模型确定填补之后完整的点云数据。

优选的是，所述步骤S10的具体过程如下：

步骤S101，获取完整点云数据；

步骤S102，通过所述完整点云数据获取残缺点云数据；

优选的是，所述步骤S20的具体过程如下：

步骤S201，获取卷积神经网络模型,

步骤S202，通过所述卷积神经网络模型确定生成对抗网络的生成模型和判别模型；

步骤S203，通过所述生成对抗网络的生成模型和判别模型确定生成对抗网络；

步骤S204，获取W距离，通过所述W距离和生成对抗网络确定改进的生成对抗网络；

步骤S205，获取梯度惩罚，通过所述梯度惩罚和改进的生成对抗网络确定改善权重约束后的生成对抗网络；

步骤S206，通过所述完整点云数据和残缺点云数据确定生成相应的全局特征向量；

步骤S207，通过所述相应的全局特征向量和改善权重约束后的生成对抗网络确定训练后的神经网络模型参数。

相比现有技术，本发明的有益效果在于：本发明即一种基于生成对抗网络的点云孔洞填补方法，通过将获取到的若干完整点云数据和若干对应的残缺点云数据作为训练数据输入至生成对抗网络模型中进行训练，得到已训练生成对抗网络模型；将待填补的残缺点云数据输入至所述已训练生成对抗网络模型中的生成器中进行孔洞填补，所述已训练生成对抗网络模型输出完整点云数据；整个过程在保证点云数据恢复的精确度的同时，可以大大的提高点云数据恢复的速度及精度。

附图说明

图1是整体流程图；

图2是生成对抗网络结构图；

图3是模型训练流程图；

图4是自动编码器结构图；

图5是自动编码器具体实现结构图；

图6是生成对抗网络具体实现结构图；

图7是最终总体神经网络结构图。

具体实施方式

以下根据附图1-7对本发明做进一步说明：

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

如图1所示，本发明第一实施例在现有技术的基础上提供了一种基于生成对抗网络的三维扫描点云孔洞填补方法，具体步骤如下：

步骤S10，获取样本集，所述样本集包括：完整点云数据和残缺点云数据，对生成对抗网络的训练需要大量的样本，包括完整的点云数据，以及残缺的点云数据；以下将分别介绍完整点云数据以及残缺点云数据的获取方法，具体步骤如下：

步骤S101，获取完整点云数据，具体过程如下：

对于完整的点云数据，可以通过提取目标对象的STL格式文件的CAD模型三角网格顶点生成，或是利用深度相机采集获得，也可以利用开源三维数据库获取；并通过旋转、平移和尺度变换等操作完成基本数据集的增广

步骤S102，通过完整点云数据确定残缺点云数据，具体过程如下：

对于残缺点云数据获取，可以在完整点云数据上进行滤波操作，生成残缺的点云数据。

为取得更好的训练结果，本发明采用ShapeNetCore数据库作为训练样本，将数据库中的所有数据以原点为中心缩放至对角线具备单位长度的形式，并对每个样本均匀采样2048个点，生成相对应的点云数据形式。在点云数据中心随机选取一点，去除一定半径内的点云生成不完整点云数据。获取的点云数据将被用来训练自动编码器以及生成对抗网络。为提高后续生成对抗网络的训练质量，可预先对深度相机采集得到的点云数据进行滤波、去噪、去除离群点等操作。为有效的对众多的点云数据进行管理，对点云设置标识码。例如残缺的点云1的标识码为A1，与之对应的完整点云为B1，生成网络根据A1残缺点云生成完整点云为C1，诸如此类，建立点云之间的相互关联。

步骤S20，获取生成对抗网络，通过所述生成对抗网络、完整点云数据和残缺点云数据确定训练后的神经网络模型。对于步骤S102整个训练过程如图7所示，所述的生成对抗网络(Generative Adversarial Networks，GANs)由两部分构成：第一部分是生成网络(G)，生成网络通过输入数据z(点云数据、灰度图像)生成假样本G(z)(完整点云、生成图像)；第二部分是判别网络(D),简单来说就是一个判断真假的判别器，生成对抗网络的结构图如图2所示。

所述生成对抗网络的目标函数为：

其中，D表示判别器；G表示生成器；E表示数学期望；x表示待补全的点云数据，x服从概率分布p_data(x)；y表示补全点云数据；D(x)表示为判别函数；G(y)表示为生成函数；D(G(y))表示判别器对于生成的点云数据的判别的结果，具体过程如下：

步骤S201，获取卷积神经网络模型，卷积神经网络模型是由数据输入层、卷积计算层、激励层、池化层、全连接层等层结构组合起来的前馈神经网络。

步骤S202，通过所述卷积神经网络模型确定生成对抗网络的生成模型和判别模型，具体过程如下：

使用四个二维卷积层作为转置卷积层，提取相应的特征。第一个卷积层为：卷积核4×4，输出50×256×4×4。第二第三个卷积层为：卷积核3×3，步长为2，填充为2。输出结果分别为50×128×5×5、50×64×7×7。本发明采用在生成模型和判别模型加入批标准化BN(Batch Normalization)层以及SN(Spectral Normalization)层对GAN模型进行改进的方法，以避免模型在训练时产生的梯度消失和梯度爆炸的问题。同时为了增加模型的非线性特性，进一步对GAN模型进行改进，在每个批标准化层后加入激活层，使用ReLU激活函数，其中函数的斜率设为0.2。在前三个卷积层之后分别插入激活层、SN层和BN层。第四个卷积层为：卷积核2×2，步长为2，填充为1。输出结果为50×1×12×12，并将该结果输入到一个整形层中输出的结果为50×144。最后放入到一个一维卷积层中，该卷积层的卷积核为1×1，最终输出得到50×128的结果。

其中，对于步骤S202中判别网络的搭建采用搭建与生成网络的镜像网络的方式进行。

步骤S203，通过所述生成对抗网络的生成模型和判别模型确定生成对抗网络，让两个网络相互竞争，通过生成网络生成假的数据，对抗网络通过判别器判别真伪，最后希望生成的数据能够以假乱真骗过判别器。

但是GAN网络的主要面临的问题是难以展开训练，对于所述的GAN网络的训练过程中主要还存在着如下的问题。

1)生成器的初始分布与真实分布重叠部分测量度为0的概率为1，导致第一个生成器产生的梯度消失的情况。

2)等价优化目标存在不合理的距离度量。

步骤S204，对于上述的问题，获取W距离，通过所述W距离和生成对抗网络确定改进的生成对抗网络，也就是利用W距离来代替KL散度和JS散度，构成WGAN网络对GAN网络进行拓展，W距离的优势在于上述的两个分布之间即使没有重叠，依然可以反映他们之间的距离,但仍面临权重约束的问题。

步骤S205，引入梯度惩罚(gradient penalty),构成WGAN-GP网络,来解决WGAN网络所面对的权重约束问题。获取梯度惩罚，通过所述梯度惩罚和改进的生成对抗网络确定改善权重约束后的生成对抗网络，具体过程如下：

W距离可以表示成如下的形式:

其中，P_g是模型分布，E表示数学期望；x表示待补全的点云数据，x服从概率分布函数P_data(x)。f的Lipschitz常数||f||L不超过K的条件下，对所有可能满足条件的f取到

的上界，然后再除以K；

对于所述的Lipschitz常数的概念，先介绍Lipschitz连续。Lipschitz连续的概念是在一个连续函数f上面额外施加了一个限制，要求存在一个常数K≥0使得定义域内的任意两个元素x1和x2都满足|f(x₁)-f(x₂)|≤K|x₁-x₂|此时称函数f的Lipschitz常数为K。

WGAN网络的目标函数为：

其中,D表示1-Lispschitz函数的集合，P_r为数据的分布，P_g是隐含定义的模型分布x＝G(z),z～p(z)(z表示输入G网络的噪声，G(Z)表示网络生成的图片)。

WGAN-GP网络新的目标函数为：

其中，D(x)表示为判别函数，其中x为P_g,P_r之间任意采样点，λ为常数通常取值为10，

表示D的权重。基于WGAN-GP网络的残缺点云数据填补方法通过训练大量的点云数据使神经网络模型获得点云孔洞填补的能力。网络模型分为生成模型和判别模型两部分，生成模型用于对点云孔洞进行处理，判别模型用于对处理后的点云数据进行真假判别。具体的将使用两种不同结构的卷积神经网络模型(CNN)作为生成模型和判别模型。

步骤S206，通过所述完整点云数据和残缺点云数据确定全局特征向量，采用自动编码器获取完整点云数据和残缺点云数据确定全局特征向量。

自动编码器主要由编码器(Encoder)和解码器(Decoder)两个部分组成，输入的三维点云数据经过神经网络降维到一个一维向量编码，接着又通过另外的一个神经网络去解码得到一个与输入一模一样的生成数据，然后通过比较两个数据，最小化它们之间的差异来训练这个网络中编码器与解码器的参数。

自动编码器的训练是通过反向传播算法减少输入点云和输出点云之间的距离完成的。我们选取EMD距离(Earth Mover's Distance)作为损失函数，点云S₁、S₂之间的EMD距离定义如下：

其中，φ表示点云之间的一个双映射，将两个点集一一对应起来，使得两者欧式距离的和最小。

将具有的2048(2048*3矩阵)个点的点云数据输入到自动编码器中，编码网络采取1—D卷积层，内核大小为1，该网络独立地对每个点进行编码，为生成联合特征在网络之后放置置换不变函数(permutation invariant function)。在实际的操作过程中，我们采用5个1—D卷积层并利用ReLU激活函数进行，最后得到的结果进行归一化处理。将最后一个卷积层输出的结果作为最大特征值，并生成一个K维向量，该向量也作为潜在生成空间的基础。我们的解码器在转换潜在向量时使用三个全连接层，并在前两个层上使用ReLU函数，产生2048*3的输出。

步骤S207，通过所述全局特征向量和改善权重约束后的生成对抗网络确定训练后的神经网络模型。

将上述的自动编码器模型、生成模型进行优化整合。λ_gp＝10，迭代的总次数设置为100万次，每更新1次生成器的同时更新判别器5次。令β₁＝0.5,β₂＝0.9。网络的学习效率设置为0.0001，并且在训练的过程中不采用丢弃法。最小批的批大小被设置为50。Z向量的维度选取为一维。

步骤S30，获取待填补的点云数据，通过待填补的点云数据和所述训练后的神经网络模型确定填补之后完整的点云数据。

本发明即基于生成对抗网络的点云孔洞填补方法，首先，能够对残缺比例较大的点云数据进行填补，解决了点云填补过后的存在大量错误点的问题，大大提高了填补后数据的质量；其次，大大加快了处理点云数据的速度，满足了残缺点云数据的实时填补需求。而且本发明所提供的方法，可以适用于多种场景，例如逆向工程、无序分拣、数字文物等方面：

1)在逆向工程中，点云孔洞的出现造成数据的不完整，将直接影响重构的成功和CAD模型的质量；

2)在无序分拣过程中，基于点云数据的目标物的识别预定位，点云数据的残缺将直接影响最终识别与定位的精度；

3)在博物馆数字文物技术中，通常通过记录文物的三维信息可以发现文物的老化和变质，点云数据的完整性以及精确性是上述工作的基础与前提。。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用。它完全可以被适用于各种适合本发明的领域。对于熟悉本领域的人员而言，可容易地实现另外的修改。因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (3)

1.一种基于生成对抗网络的三维扫描点云孔洞填补方法，其特征在于，具体步骤如下：

步骤S10，获取样本集，所述样本集包括：完整点云数据和残缺点云数据；

步骤S20，获取生成对抗网络，通过所述生成对抗网络模型、完整点云数据和残缺点云数据确定训练后的神经网络模型参数；

步骤S30，获取待填补的点云数据，通过待填补的点云数据和所述训练后的神经网络模型确定填补之后完整的点云数据。

2.根据权利要求1所述的一种基于生成对抗网络的三维扫描点云孔洞填补方法，其特征在于，所述步骤S10的具体过程如下：

步骤S101，获取完整点云数据；

步骤S102，通过所述完整点云数据获取残缺点云数据。

3.根据权利要求1所述的一种基于生成对抗网络的三维扫描点云孔洞填补方法，其特征在于，所述步骤S20的具体过程如下：

步骤S201，获取卷积神经网络模型,

步骤S202，通过所述卷积神经网络模型确定生成对抗网络的生成模型和判别模型；

步骤S203，通过所述生成对抗网络的生成模型和判别模型确定生成对抗网络；

步骤S204，获取W距离，通过所述W距离和生成对抗网络确定改进的生成对抗网络；

步骤S205，获取梯度惩罚，通过所述梯度惩罚和改进的生成对抗网络确定改善权重约束后的生成对抗网络；

步骤S206，通过所述完整点云数据和残缺点云数据确定生成相应的全局特征向量；

步骤S207，通过所述相应的全局特征向量和改善权重约束后的生成对抗网络确定训练后的神经网络模型参数。

Images