CN110689618A - 基于多尺度变分图卷积的三维可变形物补全方法 - Google Patents

Abstract

本发明属于计算机视觉领域，为实现三维人脸等的补全，更好地表示人脸模型。本发明基于多尺度变分图卷积的三维可变形物补全方法，步骤如下：步骤一，模型构建；步骤二，可变形物补全：利用训练得到的多尺度网格变分编解码器中的解码器部分，通过迭代调整隐变量空间中的向量使得解码器输出的可变形物网格与残缺的可变形物网格中的对应点尽可能接近，以此实现可变形物补全。主要应用于可变形物模型补全场合。

Description

基于多尺度变分图卷积的三维可变形物补全方法

技术领域

本发明属于计算机视觉领域，尤其是涉及一种对缺失的三维人脸模型进行补全的技术。

背景技术

人脸在身份识别、信息传递和情感表达中起着关键作用。精确的三维重建对于创建个性化的虚拟人物、三维打印和人脸动画非常重要，在电影、计算机游戏、增强现实(AR)和虚拟现实(VR)中有广泛的应用。其中，三维人脸模型主要包括体素模型、点云模型、网格模型。然而，人脸的形状复杂多变，很难精确重建。

一种精确的面部重建方法是使用激光扫描，但它非常昂贵并且需要大量的人工干预。为了实现自动重建，很多研究小组已经建立了多摄像系统，分别是：furukawa2009密集型、ghosh2011多画面型、fyffe2014驾驶型。虽然这种方法产生了高质量的重建结果，但由于成本高、维护复杂、缺乏可移植性，导致这类系统的实际应用受到限制。

深度照相机(如Microsoft Kinect)的出现，使得获取人脸的几何信息更加便宜方便。基于融合的方法，可以生成完整的人脸模型，但很难实现高质量的人脸重建。这种轻型捕获系统需要新的高质量先验来更好地约束不适定的问题。此外，上述方法都不能实现人脸动画、编辑和生成。

多个研究小组(Blanz，Booth，Li等)使用参数化人脸模型来表示人脸形状和表情，并用这些模型成功地从扫描的深度网格重建人脸形状。然而，使用线性表示导致重建形状略显平滑，缺少丰富的细节。为了得到更好的人脸表示模型，Ranjan等使用包含20466个高分辨率网格和面部表情的数据集，通过谱卷积来学习人脸的非线性表示模型。这种方法使用谱滤波将卷积网络推广到不规则的图结构数据中，但是由于全局分解在不同的图中不稳定，不适合真实的图形。

人脸作为一个可变形的形状，当网格某些部分缺失时，很难进行补全从而完成重建工作。现有的方法大多是利用体素卷积神经网络(Volumetric Convolutional NeuralNetworks)来补全人造刚性物体。然而，这种欧几里得卷积运算基于刚性变换下的自相似性假设，不适用于非刚性形变。Litany等通过直接开发3D网格结构，采用CNN在图形学上的最新进展来实现形状补全。但该方法所完成的网格缺乏几何细节，在手等精细部位存在瑕疵。

发明内容

为克服现有技术的不足，本发明旨在：

1)更好地表示人脸模型，针对三维人脸等的生成和重建提出一种多尺度网格变分自编码器(VAE)模型。

2)实现三维人脸等的补全，提出潜在空间中的一种优化方法，该方法通过迭代优化隐变量空间中的向量，使得解码器随机生成的形状与输入对齐，从而实现人脸的补全。

为此，本发明采取的技术方案是，基于多尺度变分图卷积的三维可变形物补全方法，步骤如下：

步骤一，模型构建：

首先将3D的可变形物网格视为点和边的集合F＝(V，N)，其中|V|＝n代表3D欧几里得空间中的n个顶点的集合，邻接矩阵N是每个顶点与相邻点边的集合，构建模型分为两个部分，编码器与解码器，编码器将3D网格F编码到隐变量空间中的向量z＝E(F)，解码器将隐变量空间中的向量解码为3D网格F＝D(z)，使用动态滤波器卷积层来处理网格数据，如公式(1)所示：

其中N_i代表顶点i邻域中顶点的集合，

用来衡量顶点之间的关系，b，W_m，t_m，c_m为需要学习的参数，M为固定的参数；

在模型中，使用l₁范数来表示预测网格与真值的重建误差，完整的损失函数如公式(2)所示：

loss＝||D(E(F))-F||₁+ωD_KL(q(z|F)||p(z)) (2)

其中D_KL为KL散度，ω为衡量KL散度与l₁损失函数之间的权重，q(z|F)为三维网格F生成隐变量z的概率分布，p(z)为隐变量z的真实分布，即正态分布；

步骤二，可变形物补全：

利用训练得到的多尺度网格变分编解码器中的解码器部分，通过迭代调整隐变量空间中的向量使得解码器输出的可变形物网格与残缺的可变形物网格中的对应点尽可能接近，以此实现可变形物补全。

步骤二，可变形物补全具体步骤如下：

1)寻找残缺可变形物网格与解码器输出的可变形物网格之间的变换关系

首先将两个网格中的点分别求均值进行归一化，求得两矩阵之间的齐次变换，进行奇异值分解得到旋转平移矩阵，从而将残缺的可变形物网格与解码器生成的可变形物网格对齐；

2)找到两个可变形物网格中的对应点

分为两种情况：若残缺可变形物网格中的点数少于解码器生成的可变形物网格点数，需要通过最近邻算法找到残缺可变形物网格中每个点在解码器生成的可变形物网格中的对应点；若残缺可变形物网格中的点数多于解码器生成的可变形物网格中的点数，就需要循环近邻算法，即首先通过最近邻算法求得残缺可变形物网格与解码器生成的可变形物网格中的对应点，然后再进行一次逆向求解过程，即通过最近邻算法寻找生成的可变形物网格中的已知对应点在原残缺可变形物网格中的对应点，使得对应点之间形成一一对应的关系，从而方便计算点与点之间的距离；

3)迭代调整隐变量空间中的向量

将残缺可变形物网格与解码器生成的可变形物网格中对应点之间的距离作为损失函数，如公式(3)所示：

其中，n为通过最近邻算法找到的对应点的个数，x_i、y_i分别为残缺可变形物网格与解码器生成可变形物网格中的第i个对应点；

通过减小损失函数来调整隐变量空间中的向量的数值，使生成的可变形物网格中的对应点尽可能逼近残缺的可变形物网格，不断迭代，从而完成补全的任务。

本发明的特点及有益效果是：

本发明针对三维人脸网格模型设计出具有针对性的自动编码器结构，通过合理的运用网格模型的特点，提出了多尺度的卷积形式，并运用到自动编码器的结构当中。同时，本发明提出通过迭代隐变量空间中的向量实现人脸补全的技术。由于本发明采取的卷积形式适合三位人脸网格模型，因此，在人脸重建以及人脸补全方面取得了最好的结果。

附图说明：

图1是本发明提出的基于多尺度变分图卷积的自动编码器的网络框架图；

图2是本发明提出的基于多尺度变分图卷积的三位人脸补全系统框架图；

图3是本系统应用到不同程度破损的三位人脸网格中的结果；

图4是本系统在大部分缺失的人脸网格模型的条件下进行补全的多样性结果。

具体实施方式

为了现有技术中的问题，本发明提出了一种新的基于层次变分图卷积自编码的人脸生成、重建和补全方法，它可以帮助轻量级的方法实现更高质量的重建，并且对于多视图方法和扫描方法得到的人脸网格都可以实现人脸动画。我们建立了多尺度表示的模型，并根据网络学习到的特征动态计算了滤波器权值与任意连通图邻域之间的对应关系。对于任意尺寸的局部网格，我们也提出了一种迭代的形状补全方法。我们的模型也可用于人体等其他可变形形状。

本发明主要针对网格模型进行描述，但仍适用于体素模型及点云模型。

本发明提出一种基于多尺度变分图卷积的三维人脸补全的方法，技术方案使用CoMA数据集作为训练集，整个系统包括以下两个部分：模型构建以及人脸补全。具体的技术方案如下：

步骤一，模型构建：

首先将3D的人脸网格视为点和边的集合F＝(V，N)，其中|V|＝n代表3D欧几里得空间中的n个顶点的集合。邻接矩阵N是每个顶点与相邻点边的集合。我们的模型分为两个部分，编码器与解码器。编码器将3D网格F编码到隐变量空间中的向量z＝E(F)，解码器将隐变量空间中的向量解码为3D网格F＝D(z)。传统的卷积神经网络不能处理不规则的图结构信息，因此我们使用动态滤波器卷积层来处理网格数据，如公式(1)所示：

其中N_i代表顶点i邻域中顶点的集合，用来衡量顶点之间的关系。b，W_m，t_m，c_m为需要学习的参数，M为固定的参数。

在模型中，我们使用l₁范数来表示预测网格与真值的重建误差，同时需要传统变分编码器的损失函数，因此，完整的损失函数如公式(2)所示：

loss＝||D(E(F))-F||₁+ωD_KL(q(z|F)||p(z))， (2)

其中D_KL为KL散度，ω为衡量KL散度与l₁损失函数之间的权重，q(z|F)为三维网格F生成隐变量z的概率分布，p(z)为隐变量z的真实分布，即正态分布。

步骤二，人脸补全：

人脸补全利用训练得到的多尺度网格变分编解码器中的解码器部分，通过迭代调整隐变量空间中的向量使得解码器输出的人脸网格与残缺的人脸网格中的对应点尽可能接近，以此实现人脸补全的过程。

4)寻找残缺人脸网格与解码器输出的人脸网格之间的变换关系

首先将两个网格中的点分别求均值进行归一化，求得两矩阵之间的齐次变换，进行奇异值分解得到旋转平移矩阵，从而可以将残缺的人脸网格与解码器生成的人脸网格对齐。

5)找到两个人脸网格中的对应点

在该问题上需要分为两种情况讨论：若残缺人脸网格中的点数少于解码器生成的人脸网格点数，即5023个顶点，我们需要通过最近邻算法找到残缺人脸网格中每个点在生成的人脸网格中的对应点；若残缺人脸网格中的点数多于解码器生成的人脸网格中的点数，就需要我们的循环近邻算法，即首先通过最近邻算法求得残缺人脸网格与生成人脸网格中的对应点，由于残缺网格中的点多于生成的人脸网格，因此存在大量多对一的情况，此时需要再进行一次逆向求解过程，即通过最近邻算法寻找生成的人脸网格中的已知对应点在原残缺网格中的对应点，使得对应点之间可以形成一一对应的关系，从而方便计算点与点之间的距离。

6)迭代调整隐变量空间中的向量

我们将残缺网格与生成网格中对应点之间的距离作为损失函数，如公式(3)所示：

其中，n为通过最近邻算法找到的对应点的个数，x_i、y_i分别为残缺人脸网格与生成人脸网格中的第i个对应点。

通过减小损失函数来调整隐变量空间中的向量的数值，使生成的人脸网格中的对应点尽可能逼近残缺的人脸网格，不断迭代，从而完成补全的任务。

下面结合附图及具体实验对本发明做进一步详细地描述。

图1是本发明所涉及的基于多尺度变分图卷积的自动编码器的网络框架图，主要包含以下步骤：

步骤一，网络框架：

如图1所示，本发明的编码器包含6个图卷积，卷积核的个数分别为(16，32，64，96，128，256)。每个卷积层后接有批归一化层和ReLU激活层。下采样操作应用在激活函数后，下采样的比率为[2，2，2，4，4，4]。编码器中每次图卷积后的输出大小分别为2512×16，1256×32，628×64，157×96，40×128，10×256。编码器的最后一层为全连接层，将10×256的特正映射为128维的隐变量空间中。

解码器首先将128维的隐空间变量通过全连接层映射回网格空间，以便我们可以通过上采样操作将隐空间的向量最终重建成三位人脸网格。全连接层之后有6个包含上采样操作的图卷积层，类似于解码器的结构，每次图卷积后都接有批归一化以及ReLU激活层。同时上采样的比率也为[2，2，2，4，4，4]。解码器中每次图卷积操作后的输出大小分别为40×128，157×96，628×64，1256×32，2512×16，5023×3。其中解码器最后一次图卷积操作后没有批归一化以及ReLU激活操作。

步骤二，网络训练：

我们的模型使用CoMA人脸数据集进行训练，该数据集包含12个不同对象的12个类别的表情。该数据集包含20466个三位人脸网格模型，每个模型好友5023个定点，并且模型之间具有相同的拓扑结构。我们直接将CoMA数据集中的5023个定点以及邻接矩阵作为模型的输入，并且将隐变量空间的维度设置为128维。我们的模型使用学习率维2e-3的ADAM优化器训练40个epoch即可。

步骤三，人脸补全：

图2是本发明提出的基于多尺度变分图卷积的三位人脸补全系统框架图。拥有一个破损的人脸网格模型后，首先随机初始化一个隐变量，生成随机的三位人脸网格模型，寻找残缺人脸网格与解码器输出的人脸网格之间的变换关系，找到对应点，计算对应点之间的距离作为损失函数。通过减小损失函数来优化隐变量空间中的向量，使得解码器生成的模型对应点与破损的模型尽可能接近，从而完成补全的任务。

图3展示了本发明应用到不同程度破损的三位人脸网格中的结果，结果充分表明，我们的补全方法可以应对不同程度破损的人脸模型，并可以很好的进行补全。

图4展示了本系统在大部分缺失的人脸网格模型的条件下进行补全的多样性结果，说明本系统在形状补全的多样性方面具有很大优势。在破损程度较大的人脸模型的补全任务中，我们可以很好的补全人脸模型的形状，并且可以补全具有丰富表情的人脸形状。

表1列出了本发明补全的结果与泊松重建补全结果的对比。

表1与泊松重建进行对比的实验评估结果

形状补全方法	平均对应点数	对应点之间的距离(厘米)	Metro(厘米)
				泊松重建	2078.892	0.260	0.228
本发明	3958.799	0.075	0.086

由表1，通过统计2052个不同程度破损的人脸三维网格，分别与未破损的模型寻找对应点并计算对应点之间的距离。寻找对应点的方法与补全时的方法相同。同时我们还使用了标准的测量工具Metro来衡量重建的误差。可以明显看出，本发明具有更好的补全效果。

Claims (2)

1.一种基于多尺度变分图卷积的三维可变形物补全方法，其特征是，步骤如下：

模型构建：

首先将3D的可变形物网格视为点和边的集合F＝(V,N)，其中|V|＝n代表3D欧几里得空间中的n个顶点的集合,邻接矩阵N是每个顶点与相邻点边的集合，构建模型分为两个部分，编码器与解码器，编码器将3D网格F编码到隐变量空间中的向量z＝E(F)，解码器将隐变量空间中的向量解码为3D网格F＝D(z)，使用动态滤波器卷积层来处理网格数据，如公式(1)所示：

其中N_i代表顶点i邻域中顶点的集合，

用来衡量顶点之间的关系，b，W_m，t_m,c_m为需要学习的参数，M为固定的参数；

在模型中，使用l₁范数来表示预测网格与真值的重建误差，完整的损失函数如公式(2)所示：

loss＝‖D(E(F))-F‖₁+ωD_KL(q(z|F)||p(z)) (2)

其中D_KL为KL散度，ω为衡量KL散度与l₁损失函数之间的权重，q(z|F)为三维网格F生成隐变量z的概率分布，p(z)为隐变量z的真实分布，即正态分布；

可变形物补全：

利用训练得到的多尺度网格变分编解码器中的解码器部分，通过迭代调整隐变量空间中的向量使得解码器输出的可变形物网格与残缺的可变形物网格中的对应点尽可能接近，以此实现可变形物补全。

2.如权利要求1所述的基于多尺度变分图卷积的三维可变形物补全方法，其特征是，

1)寻找残缺可变形物网格与解码器输出的可变形物网格之间的变换关系

首先将两个网格中的点分别求均值进行归一化，求得两矩阵之间的齐次变换，进行奇异值分解得到旋转平移矩阵，从而将残缺的可变形物网格与解码器生成的可变形物网格对齐；

2)找到两个可变形物网格中的对应点

分为两种情况：若残缺可变形物网格中的点数少于解码器生成的可变形物网格点数，需要通过最近邻算法找到残缺可变形物网格中每个点在解码器生成的可变形物网格中的对应点；若残缺可变形物网格中的点数多于解码器生成的可变形物网格中的点数，就需要循环近邻算法，即首先通过最近邻算法求得残缺可变形物网格与解码器生成的可变形物网格中的对应点，然后再进行一次逆向求解过程，即通过最近邻算法寻找生成的可变形物网格中的已知对应点在原残缺可变形物网格中的对应点，使得对应点之间形成一一对应的关系，从而方便计算点与点之间的距离；

3)迭代调整隐变量空间中的向量

将残缺可变形物网格与解码器生成的可变形物网格中对应点之间的距离作为损失函数，如公式(3)所示：

其中，n为通过最近邻算法找到的对应点的个数，x_i、y_i分别为残缺可变形物网格与解码器生成可变形物网格中的第i个对应点；

通过减小损失函数来调整隐变量空间中的向量的数值，使生成的可变形物网格中的对应点尽可能逼近残缺的可变形物网格，不断迭代，从而完成补全的任务。

Images