CN110322548B - 一种基于几何图像参数化的三维网格模型生成方法 - Google Patents

Abstract

一种基于几何图像参数化的三维网格模型生成方法，能够无监督地生成几何‑法向图像对，并确保其像素级的可靠性和几何‑法向的内在一致性，生成具有多样性和真实性的三维网格模型，生成的人脸网格保持人脸几何结构且具有丰富的面部细节特征和表情特征。该方法通过构建新的网络框架实现，网络框架由对抗生成部分和预测部分构成；对抗生成部分的两路对抗网络分别对应生成几何图像和法向图像，预测部分将两个子网络关联，刻画了基于法向预测的一致性约束；所述网络框架实现几何对抗网和法向对抗网的协同训练；该方法学习得到几何‑法向联合分布，在输入任意向量的情况下，该网络输出与之对应的几何‑法向图像对，通过该图像对重建对应的三维网格模型。

Description

一种基于几何图像参数化的三维网格模型生成方法

技术领域

本发明涉及机器学习的技术领域，尤其涉及一种基于几何图像参数化的三维网格模型生成方法，主要应用于三维网格数据增强、分类识别的场景中。

背景技术

生成对抗网络(GAN)具有很强的生成能力，是深度学习领域中的重要工具。时至今日，基于GAN的方法在一系列二维图像问题(如：图像生成、超分辨率重建、语义分割、图像风格转换等)上表现出了卓越性能。然而基于GAN来处理三维数据的方法屈指可数，其原因是，三维物体数据通常使用体素、点云、和多边形网格的格式来进行表达、存储和处理，这种不规则结构使得传统深度神经网络不能对其进行处理。由此可见，网格的规则化表示非常重要。2015年，Pfister等人在人体姿态估计中将三角网格顶点按一定顺序重新排列，然后将顶点空间坐标值矩阵作为网络的输入进行训练。这种方法虽然简单直观，但是丢失了三角网格的拓扑信息并破坏了空间结构。体素是像素的3D延伸，这种格式可以被卷积神经网络(CNN)所处理，广泛应用于机器学习中。2016年Wu等设计的3D-GAN提出了基于体素的生成对抗网络，但它从3D空间规则采样、存储效率低等问题使得CNN很难处理并得到高分辨率的体素化数据。另一种常用于三维表示的格式是点云，由许多孤立的点组成，相当于移除了网格数据顶点之间的连接关系。点云数据结构无法形成物体表面，使得纹理和光照等很难应用到其中。

综合已存在的三维网格规格化方法，参数化为三角网格规则化表示提供了比上述三种方法更加高效的方法。ECK等在SIGGRAPH(1995)发表的一片文章中提出：一个具有任意拓扑结构和连接关系的三角网格数据嵌入在R³空间中，给定R³中一个表面网格S和R²中一个域Ω，参数化过程可以定义为一个双射函数F:Ω—>S。2002年，Gu等提出了几何图像表示方法，使用完全规则的栅格采样点来表示三维模型表面。主要过程：首先，将网格进行剖分以减少参数化过程带来的扭曲；然后是其核心步骤：参数化，通常以保持形状扭曲最小为目标,将网格模型参数化到正方形区域(例如，采用Floater参数化方法和L2几何拉伸度量)；之后对参数化后的网格进行离散重采样，得到二维的规则化网格，该二维网格上的每个栅格点的颜色值(r,g,b)对应三维网格顶点的几何坐标值(x,y,z)。由此，就生成了与原始三维网格模型对应的彩色几何图像。按照同样的方法，可以构造与该几何图像对应的法向图像。重构三维网格模型时，几何图像中每2*2个栅格点围成的四方格沿着两个对角线中较小的那条对角线，分裂成两个三角形。根据栅格点的坐标值和新生成的拓扑连接关系，就可以重构出三维网格。该方法可以将一个三角网格从3D不规则结构映射为可用传统卷积神经网络处理的2D规则图像—几何图像和法向图像，该图像对很好地保护了原始网格的拓扑信息和空间结构。

几何图像和法向图像以图像的形式记录几何结构和相邻采样位置之间的相关性。对于来自两个不同域的非自然图像，用现有的方法和思想(如cascading GAN和COGAN)来学习二者之间的联合分布并不能得到很好的效果。

发明内容

为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于几何图像参数化的三维网格模型生成方法，其能够保持图像对的一致性，确保像素级的可靠性和几何-法向的内在关系，可以生成具有多样性和真实性的三维网格模型，生成的人脸网格不仅保持了几何结构而且具有丰富的面部细节特征和表情特征。

本发明的技术方案是：这种基于几何图像参数化的三维网格模型生成方法，该方法通过构建新的网络框架实现，所述网络框架由对抗生成部分和预测部分构成；对抗生成部分的两路对抗网络分别对应生成几何图像和法向图像，预测部分将两个子网络关联，刻画了基于法向预测的一致性约束；所述网络框架实现几何对抗网和法向对抗网的协同训练；该方法学习得到几何-法向联合分布，在输入任意向量的情况下，该网络输出与之对应的几何-法向图像对，通过该图像对重建对应的三维网格模型。

本发明通过构建新的网络框架实现。网络框架由两路生成对抗网络和预测部分构成。两路对抗网分别对应生成几何图像和法向图像，预测模块将两个子网络关联，刻画了基于法向预测的一致性约束。该框架可以实现几何对抗网和法向对抗网的协同训练。所提出方法可以学习得到几何-法向联合分布，在输入任意向量的情况下，该网络输出与之对应的几何-法向图像对，该图相对可重建对应的三维网格模型。本发明生成的三维人脸网格模型具有多样性和真实性，不仅保持了固有的几何结构，而且具有丰富的面部细节和表情特征。

附图说明

图1示出了几何图像的法向图预测。

图2示出了PGAN整体结构。

图3示出了BU-4DFE三维网格数据集。

图4示出了Geometry GAN的实验结果。

图5示出了PGAN实验结果(l＝1)。

图6示出了PGAN实验结果(l＝2)。

图7示出了CoGAN,cascading GAN和PGAN的实验结果。

图8示出了对抗网络中的生成器网络结构。

图9示出了对抗网络中的判别器网络结构。

具体实施方式

这种基于几何图像参数化的三维网格模型生成方法，该方法通过构建新的网络框架实现，所述网络框架由对抗生成部分和预测部分构成；对抗生成部分的两路对抗网络分别对应生成几何图像和法向图像，预测部分将两个子网络关联，刻画了基于法向预测的一致性约束；所述网络框架实现几何对抗网和法向对抗网的协同训练；该方法学习得到几何-法向联合分布，在输入任意向量的情况下，该网络输出与之对应的几何-法向图像对，通过该图像对重建对应的三维网格模型。

本发明通过构建新的网络框架实现。网络框架由两路生成对抗网络和预测部分构成。两路对抗网分别对应生成几何图像和法向图像，预测模块将两个子网络关联，刻画了基于法向预测的一致性约束。该框架可以实现几何对抗网和法向对抗网的协同训练。所提出方法可以学习得到几何-法向联合分布，在输入任意向量的情况下，该网络输出与之对应的几何-法向图像对，该图相对可重建对应的三维网格模型。本发明生成的三维人脸网格模型具有多样性和真实性，不仅保持了固有的几何结构，而且具有丰富的面部细节和表情特征。

优选地，所述对抗生成部分包括以下分步骤：

(1.1)通过几何图像参数化，三角网格映射为具有规则拓扑结构2D图像对，该图像对包括几何图像和法向图像；

(1.2)两个独立的生成对抗网络分别多样性生成几何图像和法向图像。

优选地，所述步骤(1.2)生成对抗网络模型选择以Wasserstein距离为数据分布距离度量基础的WGAN，分别记生成几何图像的生成对抗网和生成法向图像的生成对抗网为GAN1和GAN2，两个对抗损失表达式如下：

其中，G₁，D₁表示GAN1中的生成器和判别器，G₂，D₂表示GAN2中的生成器和判别器，z代表服从特定分布pZ的随机变量，x₁和x₂分别是采样于几何图像分布pX₁和法向图像分布pX₂的样本，判别器D₁的目的是判别输入的图片是来自生成器生成的样本还是来自真实图像数据集，生成器G₁努力生成和x₁图像集相似的样本，来欺骗D₁，最小化公式(1)来优化生成器G₁，最大化公式(1)来优化生成器D₁，GAN2的优化过程与GAN1是相同的，由此几何图像和法向图像的粗糙生成。

优选地，所述预测部分为：

定义几何图像、法向图像均为[n×n]的2D像素矩阵，几何图像像素点值为顶点空间坐标值,记为[x,y,z]，法向图像像素点值为顶点法向向量，记为[nx，ny，nz]，几何图像M(u，v)和法向图像N(u，v)定义如下：

M(u，v)＝[x(u，v)，y(u，v)，z(u，v)]         (3)

N(u，v)=[nx(u，v)，ny(u，v)，nz(u，v)]           (4)

其中，u＝1，2，…n，v＝1，2，…n；以(u，v)为顶点的三角面片共J个，给定J个面片的法向量，则(u，v)处的顶点法向量由这J个面片的法向量的求和平均计算得到：

其中j＝1，2，…J是包含(u，v)顶点的三角面片编号。J＝6

优选地，所述预测部分还包括：

将第一个三角面片的三个顶点M(u，v)，M(u-1，v)和M(u-1，v-1)记为M₁，M₂，M₃，则第一个三角面片法向量计算如下：

基于上述预测过程，得到预测算子

优选地，所述实现对抗生成与预测协同训练中，建立GAN1和GAN2之间的一致性联系，损失函数如下

L_c(G₁，G₂)＝E_z～pz||F(G₁(z))-G₂(z)||_l  (10)

其中||·||_l表示l范数。

则总损失函数为：

L(G₁，G₂，D₁，D₂)＝L_g(G₁，D₁)+λ1L_n(G₂，D₂)+λ₂L_c(G₁，G₂)   (11)

其中，λ₁，λ₂来控制所属部分的重要性，公式(11)转化为解决如下问题：

在训练过程中G₁，G₂共享同一输入z。

以下详细说明本发明的内容。

本发明PGAN框架如图2所示。框架包含两个生成对抗结构---GAN1和GAN2，每个对抗结构包含一个生成器用来生成图像和一个判别器用来判别输入图像是生成器生成的还是数据的真实图像。PGAN的目标函数中包含两个对抗损失函数和一个一致性损失函数，保证像素级的相似度和输出的几何图像和法向图像的一致性(即几何图像和法向图像同属于同一个三维网格模型)。PGAN可以在非监督的情况下学习得到几何图像和法向图像图相对的联合分布。

1、几何图像和法向图像的对抗生成

通过几何图像参数化，三角网格映射为具有规则拓扑结构2D图像对—几何图像和法向图像。

分别用两个独立的生成对抗网络对几何图像数据集和法向图像数据进行处理，目的是多样的类似于训练数据的几何图像和法向图像。许多研究结果表明，原始GAN的训练目标函数会导致GAN在训练过程中发生梯度消失和崩溃模式。为了解决这个问题，本发明中的生成对抗网络模型选择以Wasserstein距离为数据分布距离度量基础的WGAN。为了方便说明，分别记生成几何图像的生成对抗网和生成法向图像的生成对抗网为GAN1和GAN2。两个对抗损失表达式如下：

其中，G₁，D₁表示GAN1中的生成器和判别器，G₂，D₂表示GAN2中的生成器和判别器。z代表服从特定分布pZ的随机变量(向量)，x₁和x₂分别是采样于几何图像分布pX₁和法向图像分布pX₂的样本。判别器D₁的目的是判别输入的图片是来自生成器生成的样本还是来自真实图像数据集，而生成器G₁则努力生成和x₁图像集相似的样本，来欺骗D₁。最小化目标函数(1)来优化生成器G₁，最大化目标函数来优化生成器D₁。GAN2的优化过程和GAN1是相似的。由此可以生成多样的具有一定真实性的几何图像和法向图像。

2、基于法向预测的一致性约束

本小节目的是建立上述两个网络的一致性损失，学习几何图像和法向图像的联合分布，从而得到更高质量的几何图像并保证生成的几何-法向图像对属于同一网格的一一对应关系。

法向信息可以通过该三角网格的几何信息估计得到。参数化处理过程将不规则网格转换为完全规则结构，利用几何图像可以很容易地推导出参数域中法向图像的闭式逼近。简而言之，我们可以精确地利用几何图像得到法向图像的预测。

定义几何图像、法向图像均为[n×n]的2D像素矩阵，几何图像像素点值为顶点空间坐标值,记为[x,y,z]，法向图像像素点值为顶点法向向量，记为[nx，ny，nz].由此，几何图像M(u，v)和法向图像N(u，v)定义如下：

M(u，v)＝[x(u，v)，y(u，v)，z(u，v)]        (3)

N(u，v)＝[nx(u，v)，ny(u，v)，nz(u，v)]      (4)

其中，u＝1，2，…n，v＝1，2，…n。以(u，v)为顶点的三角面片共J个，给定J个面片的法向量，则(u，v)处的顶点法向量可以由这J个面片的法向量的求和平均计算得到：

其中j＝1，2，…J是包含(u，v)顶点的三角面片编号。在本发明中采用J＝6，面片编号顺序如图1左上子图所示。

为了方便理解，以第一个三角面片为例来求其面法向量。将面片三个顶点M(u，v)，M(u-1，v)和M(u-1，v-1)简化记为M₁，M₂，M₃，则面片法向量计算如下：

法向预测的总过程如图1所示。

基于上述预测过程，可以得到预测算子

由此可以建立GAN1和GAN2之间的一致性联系，损失函数如下：

L_c(G₁，G₂，)＝E_z～pZ||F(G₁(z))-G₂(z)||_l  (10)

其中||·||_l表示l范数。

3、综合上面两部分，则总损失函数为：

L(G₁，G₂，D₁，D₂)＝L_g(G₁，D₁)+λ₁L_n(G₂，D₂)+λ₂L_c(G₁，G₂)     (11)

其中，λ₁，λ₂来控制所属部分的重要性。优化公式(11)转化为解决如下问题：

值得注意的是，在训练过程中G₁，G₂共享同一输入z。

本发明提出的框架可以在输入任意向量的情况下，生成类似于数据集的几何图像和法向图像图相对，从而重构出对应的三维网格模型。

为了验证所提方案的有效性，使用可视化方法展示其主观图像的方式，比较该方法的有效性。主要有三个方面：

首先,因为几何图像可以重构出三维网格，最直接的得到多样化三维网格模型的方法是用单个生成对抗网络(WGAN)对几何图像进行生成，为了方便称该方法为GeometryGAN。Geometry GAN和PGAN的实验结果如图4、图5所示，对比发现所提方法能够生成更高质量的三维网格模型，网格表面更加光滑。实验结果说明法向信息对三维网格生成起到光滑表面的重要作用。

其次，PGAN中的法向预测残差L_c最小化程度由目标函数中范数l选取来约束，l通常取值1和2。由不同范数约束的PGAN实验结果如图5、图6所示。实验结果表明两种约束对PGAN的实验结果影响甚微。图3为训练数据集的三维网格模型样本，对比图3、图5、图6，PGAN具有生成多样的真实的类似于训练数据集的三维网格模型的能力。

最后，将PGAN和已有的相关工作做比较。比较的第一种方法是cascading GAN。我们将几何-法向图像对级联为一张图像作为WGAN新的训练数据集来学习两个图像数据集的联合分布。另一种方法是COGAN，它具有权值共享的两路对抗网络，可以无监督生成高质量的图相对，如彩色图像和深度图像。三种方法的对比结果如图7所示。实验结果显示，本发明的方法在三维网格生成中效果最好。

图8、9展示了对抗网络中生成器和判别器的网络结构，图中，‘k’＝卷积核大小，‘s’＝卷积核移动步长，‘n’＝卷积核数量，‘Conv’＝卷积层，‘LeakyReLU’＝激活函数，‘BN’＝批归一化。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (2)

1.一种基于几何图像参数化的三维网格模型生成方法，其特征在于：

该方法通过构建新的网络框架实现，所述网络框架由对抗生成部分和预测部分构成；对抗生成部分的两路对抗网络分别对应生成几何图像和法向图像，预测部分将两个子网络关联，刻画了基于法向预测的一致性约束；所述网络框架实现几何对抗网和法向对抗网的协同训练；该方法学习得到几何-法向联合分布，在输入任意向量的情况下，该网络输出与之对应的几何-法向图像对，通过该图像对重建对应的三维网格模型；

所述对抗生成部分包括以下分步骤：

(1.1)通过几何图像参数化，三角网格映射为具有规则拓扑结构2D图像对，该图像对包括几何图像和法向图像；

(1.2)两个独立的生成对抗网络分别多样性生成几何图像和法向图像；

所述步骤(1.2)生成对抗网络模型选择以Wasserstein距离为数据分布距离度量基础的WGAN，分别记生成几何图像的生成对抗网和生成法向图像的生成对抗网为GAN1和GAN2，两个对抗损失表达式如下：

其中，G₁，D₁表示GAN1中的生成器和判别器，G₂，D₂表示GAN2中的生成器和判别器，z代表服从特定分布pZ的随机变量，x₁和x₂分别是采样于几何图像分布pX₁和法向图像分布pX₂的样本，判别器D₁的目的是判别输入的图片是来自生成器生成的样本还是来自真实图像数据集，生成器G₁努力生成和x₁图像集相似的样本，来欺骗D₁，最小化公式(1)来优化生成器G₁，最大化公式(1)来优化生成器D₁，GAN2的优化过程与GAN1是相同的，由此进行几何图像和法向图像的粗糙生成；

所述预测部分为：

定义几何图像、法向图像均为[n×n]的2D像素矩阵，几何图像像素点值为顶点空间坐标值，记为[x，y，z]，法向图像像素点值为顶点法向向量，记为[nx，ny，nz]，几何图像M(u，v)和法向图像N(u，v)定义如下：

M(u，v)＝[x(u，v)，y(u，v)，z(u，v)]    (3)

N(u，v)＝[nx(u，v)，ny(u，v)，nz(u，v)]    (4)

其中，u＝1，2，…n，v＝1，2，…n；以(u，v)为顶点的三角面片共J个，给定J个面片的法向量，则(u，v)处的顶点法向量由这J个面片的法向量的求和平均计算得到：

其中j＝1，2，…J是包含(u，v)顶点的三角面片编号，J＝6；

所述预测部分还包括：

将第一个三角面片的三个顶点M(u，v)，M(u-1，v)和M(u-1，v-1)记为M₁，M₂，M₃，则第一个三角面片法向量计算如下：

基于上述预测过程，得到预测算子

2.根据权利要求1所述的基于几何图像参数化的三维网格模型生成方法，其特征在于：所述实现对抗生成与预测协同训练中，建立GAN1和GAN2的之间的一致性联系，损失函数如下：

L_c(G₁，G₂)＝E_z～pz||F(G₁(z))-G₂(z)||_l    (10)

其中||·||_l表示l范数，总损失函数为：

L(G₁，G₂，D₁，D₂)＝L_g(G₁，D₁)+λ₁L_n(G₂，D₂)+λ₂L_c(G₁，G₂)    (11)

其中，权重λ₁，λ₂来控制所属部分的重要性，公式(11)转化为解决如下问题：

在网络训练过程中G₁，G₂共享同一输入z。

Images