CN111259745A - 一种基于分布独立性的3d人脸解耦表示学习方法 - Google Patents

Abstract

一种基于分布独立性的3D人脸解耦表示学习方法，收集3D人脸数据集，将数据集分为训练集和测试集；根据训练目标对数据集全体数据进行预处理及配准；构造用于解耦表示学习的图卷积神经网络模型；使用训练集训练用于解耦表示学习的图卷积神经网络模型；训练完成后，用于解耦表示学习的图卷积神经网络模型将输入的3D人脸解耦为身份和表情两个部分。与基于3DMM的3D人脸解耦方法相比，本发明采用非线性表示，具有更强的3D人脸表示能力。与借助2D几何图像的3D人脸解耦方法相比，本发明直接作用于3D人脸网格，避免了将3D映射成2D图像造成的信息损失。

Description

一种基于分布独立性的3D人脸解耦表示学习方法

技术领域

本发明涉及一种学习方法，具体涉及一种基于分布独立性的3D人脸解耦表示学习方法。

背景技术

人脸的形状主要由身份及表情决定，由于人脸的表情丰富并且多变，易造成复杂的非线性形变，因此建立鲁棒的3D人脸模型是一项具有挑战性的任务。而学习身份、表情解耦的3D人脸模型对于人脸属性迁移、人脸重建、识别以及人脸动画等具有重要意义。

目前3D人脸解耦表示学习的方法主要分为两类：3D人脸的线性解耦表示；3D人脸的非线性解耦表示。3D人脸线性解耦表示方法一般基于3D可形变模型(3DMM)，其通过主成分分析(PCA)分别学习一组3D人脸身份基底和表情基底后，可以优化3DMM参数以拟合任意3D人脸的形状。然而，这类方法局限于其线性性，PCA学习的基底表示能力有限，难以表达3D人脸细节以及夸张的表情。

现有的3D人脸非线性解耦表示方法多采用现将3D人脸映射成2D几何图像，再使用深度卷积神经网络实现解耦表示学习，而将3D人脸映射成2D图像的过程势必会造成信息损失。

发明内容

针对现有3D人脸解耦表示方法的不足，本发明的目的在于提供一种基于分布独立性的3D人脸解耦表示学习方法。

为实现上述目的，本发明采用如下的技术方案：

一种基于分布独立性的3D人脸解耦表示学习方法，包括以下步骤：

步骤1：收集3D人脸数据集，将数据集分为训练集和测试集；

步骤2：根据训练目标对数据集全体数据进行预处理及配准；

步骤3：构造用于解耦表示学习的图卷积神经网络模型；

步骤4：使用训练集训练用于解耦表示学习的图卷积神经网络模型；

步骤5：训练完成后，用于解耦表示学习的图卷积神经网络模型将输入的3D人脸解耦为身份和表情两个部分。

本发明进一步的改进在于，步骤2中，配准后，每个3D人脸样本用若干节点和边构成的网格M＝{V,A}表示；|V|＝n代表3D欧氏空间中的n个节点，V∈R^n×3；稀疏邻接矩阵A∈{0,1}^n×n表示节点之间的连接关系，A_ij＝0表示节点v_i和v_j之间没有连接，反之，A_ij＝1表示节点v_i和v_j之间有连接。

本发明进一步的改进在于，步骤3中，用于解耦表示学习的图卷积神经网络模型包括三个部分，分别为编码器、解码器和判别器；编码器输入3D人脸网格，输出对应的身份表示和表情表示，解码器的输入层为编码器的输出层的结果，解码器将身份表示和表情表示重建出3D人脸，判别器的输入层也连接编码器的输出层，用于判别身份表示与表情表示是否分布独立。

本发明进一步的改进在于，根据需求分析，编码器将3D人脸编码为身份表示以及表情表示，编码器结构为6层图卷积神经网络及全连接层组合而成，第一个卷积层为GCN(3，16)，输入3通道的3D人脸网格，输出为16通道，第二个卷积层为GCN(16，64)，输入16通道，输出64通道，第三、四、五个卷积层均为GCN(64，64)，输入与输出都是64通道，第6个卷积层为GCN(64，32)，输入64通道，输出32通道，最后一个卷积层同时连接两个各有4个神经元的全连接层FC(4)，分别输出3D人脸的身份和表情在特征空间分布的均值μ_id，μ_exp和方差σ_id，σ_exp，从身份分布中采样得到z_id＝u_id×ε+σ_id作为3D人脸的身份表示，从表情分布采样得到z_exp＝u_exp×ε+σ_exp作为表情表示，ε～N(0,1)。

本发明进一步的改进在于，解码器分为身份解码器D_id和表情解码器D_exp，各包含两个全连接层，第一个全连接层有512个神经元，第二个全连接层有n×3个神经元，n为输出的3D人脸的节点个数，与输入的3D人脸节点个数一致；身份解码器D_id和表情解码器D_exp分别从3D人脸的身份表示、表情表示重建出3D人脸的身份和表情，将身份解码器D_id和表情解码器D_exp重建的结果逐点相加作为最终重建的3D人脸。

本发明进一步的改进在于，判别器由两个全接连层构成，每个全连接层有64个神经元，判别器输入来自编码器编码的3D人脸身份表示和表情表示，输出[0,1]之间的数表明身份表示与表情表示是否分布独立，梯度反向层用于连接编码器和判别器，将来自判别器的损失函数梯度乘以-λ传递给编码器，梯度反向层与判别器组成分布独立模块。

本发明进一步的改进在于，步骤4中，输入3D人脸若干节点和边构成的网格M，经过编码器编码为身份表示z_id及表情表示z_exp，将身份、表情表示传递给解码器D_id与D_exp，解码器重建的3D人脸与原始输入相似：

L_rec＝||D_id(z_id)+D_exp(z_exp)-M||₁

其中，L_rec为重建损失，D_id为身份解码器，z_id为身份表示，D_exp为表情解码器，z_exp为表情表示；

分别约束表情重建与身份重建的结果：

其中，M_id为M的中性表情，M_exp为带有与M相同的表情的模板脸，M_id和M_exp分别表示M的身份和表情，

为身份重建损失，D_id(z_id)为身份解码器重建的3D人脸身份，

为表情重建损失，D_exp(z_exp)为表情解码器重建的3D人脸表情；

同时约束3D人脸的身份、表情在特征空间的分布为标准正态分布N(0,1)：

判别器损失为交叉熵损失：

其中，z^j和

分别表示从联合分布q(z_id,z_exp)和乘积分布q(z_id)q(z_exp)采样的样本，m为批数量，D(z^j)表示判别器判别z^j采自身份与表情分布独立的分布的概率，

表示判别器判别

采自身份与表情分布独立的分布的概率；

训练过程的总损失为：

其中，α₁,α₂,β为超参数，L_total为总损失函数。

与现有技术相比，本发明具有如下有益效果：

(1)与基于3DMM的3D人脸解耦方法相比，本发明采用非线性表示，具有更强的3D人脸表示能力。

(2)与借助2D几何图像的3D人脸解耦方法相比，本发明直接作用于3D人脸网格，避免了将3D映射成2D图像造成的信息损失。

(3)本发明使用公平、合理的评价的标准验证了所提方法的有效性，能够取得更好的3D人脸重建与解耦效果，可用于学习身份、表情解耦的3D人脸表示。

进一步的，使用判别器判别身份、表情分布独立的方式简单、易实现。

附图说明

图1为本发明中基于分布独立的3D人脸解耦表示学习方法的示意图。

图2为本发明中3D人脸身份、表情解耦的效果展示。

具体实施方式

为使本发明实例的技术方案和优点更加清楚，下面将结合本发明的附图，对本发明的技术方案进行详细、完整的描述。

本发明采用图卷积神经网络学习非线性人脸解耦表示，以获得更好的人脸细节表示，并且直接对3D人脸网格进行操作，避免转换为2D图像过程的信息损失。多个数据集的实验测试表明本发明的有效性，不仅能够将身份与表情充分解耦，而且可以从身份、表情的表示精确重建出原始3D人脸。本发明设计了一种简单而有效的基于分布独立学习3D人脸解耦表示的方法，能够在特征空间分解人脸的身份及表情，并且能够从解耦的表示重建出的对应的3D人脸。

本发明具体是通过以下步骤实现的：

步骤1：收集3D人脸数据集，将数据集分为训练集和测试集。

步骤2：根据训练目标对数据集全体数据进行预处理及配准，配准后，每个3D人脸样本用若干节点和边构成的网格M＝{V,A}表示。|V|＝n代表3D欧氏空间中的n个节点，V∈R^n×3。稀疏邻接矩阵A∈{0,1}^n×n表示节点之间的连接关系，A_ij＝0表示节点v_i和v_j之间没有连接，反之，A_ij＝1表示节点v_i和v_j之间有连接。

步骤3：构造用于解耦表示学习的图卷积神经网络模型，如图1所示，该模型包括三个部分，分别为编码器、解码器和判别器。编码器输入3D人脸网格，输出对应的身份表示和表情表示，解码器的输入层为编码器的输出层的结果，解码器将身份表示和表情表示重建出3D人脸，判别器的输入层也连接编码器的输出层，用于判别身份表示与表情表示是否分布独立。图中GCN表示图卷积层，对输入x进行图卷积操作后输出

其中，θ是可学习的网络参数，A是步骤2中介绍的稀疏邻接矩阵，D是对角矩阵，满足D_ii＝∑_jA_ij.FC表示全连接层。

编码器、解码器、判别器具体如下。

(1)编码器

根据需求分析，编码器将3D人脸编码为身份表示以及表情表示。其结构为6层图卷积神经网络及全连接层组合而成，具体为第一个卷积层为GCN(3，16)，输入3通道的3D人脸网格，输出为16通道，第二个卷积层为GCN(16，64)，输入16通道，输出64通道，第三、四、五个卷积层均为GCN(64，64)，输入与输出都是64通道，第6个卷积层为GCN(64，32)，输入64通道，输出32通道，最后一个卷积层同时连接两个各有4个神经元的全连接层FC(4)，分别输出3D人脸的身份和表情在特征空间分布的均值μ_id，μ_exp和方差σ_id，σ_exp，从身份分布中采样得到z_id＝u_id×ε+σ_id作为3D人脸的身份表示，类似的，从表情分布采样得到z_exp＝u_exp×ε+σ_exp作为表情表示，ε～N(0,1)。

(2)解码器

解码器分为身份解码器D_id和表情解码器D_exp，各包含两个全连接层，第一个全连接层有512个神经元，第二个全连接层有n×3个神经元，n为输出的3D人脸的节点个数，与输入的3D人脸节点个数一致。身份、表情解码器分别从3D人脸的身份表示、表情表示重建出3D人脸的身份和表情，将两个解码器重建的结果逐点相加作为最终重建的3D人脸。

(3)判别器

判别器由两个全接连层构成，每个全连接层有64个神经元，判别器输入来自编码器编码的3D人脸身份表示和表情表示，输出[0,1]之间的数表明身份表示与表情表示是否分布独立。梯度反向层(GRL layer)用于连接编码器和判别器，将来自判别器的损失函数梯度乘以-λ传递给编码器，以便可以同时优化编码器、解码器与判别器。梯度反向层(GRLlayer)与判别器组成图1中的分布独立模块(DI Module)。

步骤4：使用训练集训练用于解耦表示学习的图卷积神经网络模型。输入3D人脸若干节点和边构成的网格M，经过编码器编码为身份表示z_id及表情表示z_exp，将身份、表情表示传递给解码器D_id与D_exp，解码器重建的3D人脸应当与原始输入相似：

L_rec＝||D_id(z_id)+D_exp(z_exp)-M||₁

其中，L_rec为重建损失，D_id为身份解码器，z_id为身份表示，D_exp为表情解码器，z_exp为表情表示；

并分别约束表情重建与身份重建的结果：

其中，M_id为M的中性表情，M_exp为带有与M相同的表情的模板脸，M_id和M_exp分别表示M的身份和表情。

为身份重建损失，D_id(z_id)为身份解码器重建的3D人脸身份，

为表情重建损失，D_exp(z_exp)为表情解码器重建的3D人脸表情。

同时约束3D人脸的身份、表情在特征空间的分布为标准正态分布N(0,1)：

判别器损失为交叉熵损失：

其中，z^j和

分别表示从联合分布q(z_id,z_exp)和乘积分布q(z_id)q(z_exp)采样的样本，m为批数量，D(z^j)输出一个概率，表示判别器判别z^j采自身份与表情分布独立的分布的概率，

输出一个概率，表示判别器判别

采自身份与表情分布独立的分布的概率。

训练过程的总损失为：

其中，α₁,α₂,β为超参数，L_total为总损失函数。

步骤5：训练完成后，该模型可以将输入的3D人脸解耦为身份和表情两个部分。

本发明在测试集定性、定量评价模型的解耦效果以及重建效果，图2展示了部分3D人脸身份、表情解耦效果。

Claims (7)

1.一种基于分布独立性的3D人脸解耦表示学习方法，其特征在于，包括以下步骤：

步骤1：收集3D人脸数据集，将数据集分为训练集和测试集；

步骤2：根据训练目标对数据集全体数据进行预处理及配准；

步骤3：构造用于解耦表示学习的图卷积神经网络模型；

步骤4：使用训练集训练用于解耦表示学习的图卷积神经网络模型；

步骤5：训练完成后，用于解耦表示学习的图卷积神经网络模型将输入的3D人脸解耦为身份和表情两个部分。

2.根据权利要求1所述的一种基于分布独立性的3D人脸解耦表示学习方法，其特征在于，步骤2中，配准后，每个3D人脸样本用若干节点和边构成的网格M＝{V，A}表示；|V|＝n代表3D欧氏空间中的n个节点，V∈R^n×3；稀疏邻接矩阵A∈{0，1}^n×n表示节点之间的连接关系，A_ij＝0表示节点v_i和v_j之间没有连接，反之，A_ij＝1表示节点v_i和v_j之间有连接。

3.根据权利要求1所述的一种基于分布独立性的3D人脸解耦表示学习方法，其特征在于，步骤3中，用于解耦表示学习的图卷积神经网络模型包括三个部分，分别为编码器、解码器和判别器；编码器输入3D人脸网格，输出对应的身份表示和表情表示，解码器的输入层为编码器的输出层的结果，解码器将身份表示和表情表示重建出3D人脸，判别器的输入层也连接编码器的输出层，用于判别身份表示与表情表示是否分布独立。

4.根据权利要求3所述的一种基于分布独立性的3D人脸解耦表示学习方法，其特征在于，根据需求分析，编码器将3D人脸编码为身份表示以及表情表示，编码器结构为6层图卷积神经网络及全连接层组合而成，第一个卷积层为GCN(3，16)，输入3通道的3D人脸网格，输出为16通道，第二个卷积层为GCN(16，64)，输入16通道，输出64通道，第三、四、五个卷积层均为GCN(64，64)，输入与输出都是64通道，第6个卷积层为GCN(64，32)，输入64通道，输出32通道，最后一个卷积层同时连接两个各有4个神经元的全连接层FC(4)，分别输出3D人脸的身份和表情在特征空间分布的均值μ_id，μ_exp和方差σ_id，σ_exp，从身份分布中采样得到z_id＝u_id×ε+σ_id作为3D人脸的身份表示，从表情分布采样得到z_exp＝u_exp×ε+σ_exp作为表情表示，ε～N(0，1)。

5.根据权利要求3所述的一种基于分布独立性的3D人脸解耦表示学习方法，其特征在于，解码器分为身份解码器D_id和表情解码器D_exp，各包含两个全连接层，第一个全连接层有512个神经元，第二个全连接层有n×3个神经元，n为输出的3D人脸的节点个数，与输入的3D人脸节点个数一致；身份解码器D_id和表情解码器D_exp分别从3D人脸的身份表示、表情表示重建出3D人脸的身份和表情，将身份解码器D_id和表情解码器D_exp重建的结果逐点相加作为最终重建的3D人脸。

6.根据权利要求3所述的一种基于分布独立性的3D人脸解耦表示学习方法，其特征在于，判别器由两个全接连层构成，每个全连接层有64个神经元，判别器输入来自编码器编码的3D人脸身份表示和表情表示，输出[0，1]之间的数表明身份表示与表情表示是否分布独立，梯度反向层用于连接编码器和判别器，将来自判别器的损失函数梯度乘以-λ传递给编码器，梯度反向层与判别器组成分布独立模块。

7.根据权利要求1所述的一种基于分布独立性的3D人脸解耦表示学习方法，其特征在于，步骤4中，输入3D人脸若干节点和边构成的网格M，经过编码器编码为身份表示z_id及表情表示z_exp，将身份、表情表示传递给解码器D_id与D_exp，解码器重建的3D人脸与原始输入相似：

L_rec＝||D_id(z_id)+D_exp(z_exp)-M||₁

其中，L_rec为重建损失，D_id为身份解码器，z_id为身份表示，D_exp为表情解码器，z_exp为表情表示；

分别约束表情重建与身份重建的结果：

其中，M_id为M的中性表情，M_exp为带有与M相同的表情的模板脸，M_id和M_exp分别表示M的身份和表情，

为身份重建损失，D_id(z_id)为身份解码器重建的3D人脸身份，

为表情重建损失，D_exp(z_exp)为表情解码器重建的3D人脸表情；

同时约束3D人脸的身份、表情在特征空间的分布为标准正态分布N(0，1)：

判别器损失为交叉熵损失：

其中，z^j和

分别表示从联合分布q(z_id，z_exp)和乘积分布q(z_id)q(z_exp)采样的样本，m为批数量，D(z^j)表示判别器判别z^j采自身份与表情分布独立的分布的概率，

表示判别器判别

采自身份与表情分布独立的分布的概率；

训练过程的总损失为：

其中，α₁，α₂，β为超参数，L_total为总损失函数。

Images