CN111563944B - 三维人脸表情迁移方法及系统 - Google Patents

Abstract

本发明公开了三维人脸表情迁移方法及系统，包括：获取控制者当前三维人脸模型，获取被控者当前三维人脸模型；对控制者当前三维人脸模型进行特征提取，获得源基本表情模型序列；对被控者当前三维人脸模型进行特征提取，获得目标基本表情模型序列和目标模型细节特征向量；利用源序列映射函数，将源基本表情模型序列映射到低维度，得到低维度的源基本表情模型序列；利用目标序列重建函数，将低维度的源基本表情模型序列，传递给目标基本表情模型序列，得到具有源表情的目标模型；利用目标模型细节特征向量，对具有源表情的目标模型进行细节恢复。

Description

三维人脸表情迁移方法及系统

技术领域

本公开涉及人脸表情迁移技术领域，特别是涉及三维人脸表情迁移方法及系统。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

近年来，三维表情动画在计算机动画、影视特效和虚拟现实等领域取得了极其广泛地应用。然而，人脸生理结构的高复杂性，导致计算机在模拟面部表情变化时，通常会生成不自然的面部表情。发明人发现，如何重建出具有高度真实感的三维人脸表情模型，已成为计算机图形学领域的研究热点和难点。人脸表情迁移技术是将已有角色模型的表情迁移到新的三维人脸模型上，为新角色创建脸部表情。该技术降低了为新角色制作表情动画序列的时间成本，大大提高了已有动画的复用率和新表情动画的制作效率，为高真实感人脸表情动画的合成提供了新的思路，已成为目前人脸表情重现中最富有挑战性的工作之一。

传统的表情迁移算法大致分为：基于物理模型的三维人脸表情重建和基于参数化的人脸表情迁移。基于物理模型的三维人脸表情重建方法是对三维人脸构建肌肉或伪肌肉的物理模型，通过控制人脸各区域的物理形变，从而实现人脸表情的改变。这种方法通常需要人工调整，并且难以精确地模拟人脸皱纹细节。基于参数化的人脸表情迁移方法是指通过跟踪源模型人脸表情特征点的运动变化，控制人脸特征系数，进而调节目标模型的表情变化。然而，人脸表情处于高维流形，特征系数难以实现对人脸表情细节的细致刻画，降低了目标表情的真实程度。此外，传统的表情迁移方法往往只能迁移已有表情，限制了目标模型人脸表情的多样性。

机器学习是实现表情迁移的另一方法，它对人脸数据集中的样本进行统计分析，提取和控制人脸表情的特征和影响参数，从而实现人脸表情的传递。然而，机器学习训练一个数据集通常需要花费巨大的时间成本，且目标模型脸部表情的真实程度取决于所使用的机器学习方法和数据集质量。

表情迁移中，三维几何模型的细节特征直接影响着模型表情的真实感。细节特征恢复是指在模型发生大幅度变形后，准确地恢复物理模型的几何细节。多层次曲面变形和保细节编辑等方法在点采样模型或者曲面编辑等方面有了深度的应用，但是在人脸表情迁移领域的研究和应用才刚刚起步。

发明内容

为了解决现有技术的不足，本公开提供了三维人脸表情迁移方法及系统；

第一方面，本公开提供了三维人脸表情迁移方法；

三维人脸表情迁移方法，包括：

获取控制者当前三维人脸模型，获取被控者当前三维人脸模型；

对控制者当前三维人脸模型进行特征提取，获得源基本表情模型序列；对被控者当前三维人脸模型进行特征提取，获得目标基本表情模型序列和目标模型细节特征向量；

利用源序列映射函数，将源基本表情模型序列映射到低维度，得到低维度的源基本表情模型序列；

利用目标序列重建函数，将低维度的源基本表情模型序列，传递给目标基本表情模型序列，得到具有源表情的目标模型；

利用目标模型细节特征向量，对具有源表情的目标模型进行细节恢复。

第二方面，本公开提供了三维人脸表情迁移系统；

三维人脸表情迁移系统，包括：

获取模块，其被配置为：获取控制者当前三维人脸模型，获取被控者当前三维人脸模型；

特征提取模块，其被配置为：对控制者当前三维人脸模型进行特征提取，获得源基本表情模型序列；对被控者当前三维人脸模型进行特征提取，获得目标基本表情模型序列和目标模型细节特征向量；

表情传递模块，其被配置为：利用源序列映射函数，将源基本表情模型序列映射到低维度，得到低维度的源基本表情模型序列；利用目标序列重建函数，将低维度的源基本表情模型序列，传递给目标基本表情模型序列，得到具有源表情的目标模型；

细节恢复模块，其被配置为：利用目标模型细节特征向量，对具有源表情的目标模型进行细节恢复。

第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。

第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。

第五方面，本公开还提供了一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现前述第一方面任意一项的方法。

与现有技术相比，本公开的有益效果是：

本公开提出了一种高真实感的三维人脸表情迁移方法。方法不仅可以实现源模型到目标模型的表情传递，还可以使目标模型的脸部表情具有高度的真实感，整个方法流程不需要人工干预。为保证目标模型具有丰富的细节和较高的真实感，本公开提出将表情迁移方法分为基本表情迁移和表情细节恢复两部分的新思路。方法首先采用拉普拉斯光顺算法提取源模型和目标模型的表情细节，得到去除细节后的基本表情模型，然后利用改进的有参无监督回归方法获得映射函数和重建函数，得到基本表情迁移后的目标模型，最后对具有源表情的目标模型，利用提出的调整策略优化其顶点位置和法向，恢复目标模型的脸部细节。细节恢复后的目标模型不仅拥有与源模型一致的真实自然的脸部表情，而且保留了目标模型自身的个性细节特征，且这些细节特征与表情变化相符。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为第一个实施例的方法流程图；

图2(a)为第一个实施例的待光顺模型；

图2(b)为第一个实施例的光顺后基本表情模型；

图3(a)为第一个实施例的源表情传递效果示意图；

图3(b)为第一个实施例的源表情传递效果示意图；

图4为第一个实施例的细节特征向量方向调整示意图；

图5(a)为第一个实施例的细节特征恢复前模型效果图；

图5(b)为第一个实施例的细节特征恢复后模型效果图；

图6为第一个实施例的细节特征恢复效果及误差分析示意图；

图7为第一个实施例的对未提取以及提取过细节的模型分别应用有参无监督回归方法的效果对比；

图8为第一个实施例的表情迁移效果示意图；

图9为第一个实施例的表情迁移效果示意图；

图10为第一个实施例的表情迁移效果示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本公开使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例提供了三维人脸表情迁移方法；

三维人脸表情迁移方法，包括：

S100：获取控制者当前三维人脸模型，获取被控者当前三维人脸模型；

S200：对控制者当前三维人脸模型进行特征提取，获得源基本表情模型序列；对被控者当前三维人脸模型进行特征提取，获得目标基本表情模型序列和目标模型细节特征向量；

S300：利用源序列映射函数，将源基本表情模型序列映射到低维度，得到低维度的源基本表情模型序列；

利用目标序列重建函数，将低维度的源基本表情模型序列，传递给目标基本表情模型序列，得到具有源表情的目标模型；

S400：利用目标模型细节特征向量，对具有源表情的目标模型进行细节恢复。

作为一个或多个实施例，所述S100中，获取控制者当前三维人脸模型，获取被控者当前三维人脸模型；具体步骤包括：

通过三维扫描仪获取三维人脸模型；

所述三维人脸模型由三角网格构成，网格上的顶点位置和顶点的法向决定三维人脸模型的基本表情和细节信息。

示例性的，所述三维扫描仪包括但不限于三维激光扫描仪或三维照相式扫描仪等。

作为一个或多个实施例，所述S200中，对控制者当前三维人脸模型进行特征提取，获得源基本表情模型序列；具体步骤包括：

通过拉普拉斯光顺算法，对控制者当前三维人脸模型进行特征提取，获得源基本表情模型序列。

作为一个或多个实施例，所述S200中，对被控者当前三维人脸模型进行特征提取，获得目标基本表情模型序列和目标模型细节特征向量；具体步骤包括：

通过拉普拉斯算子，对被控者当前三维人脸模型进行光顺处理，将光顺掉的特征存储为目标模型细节特征向量；对光顺后的被控者三维人脸模型进行保存，获得目标基本表情模型序列。

进一步地，作为一个或多个实施例，所述S200中，对被控者当前三维人脸模型进行特征提取，获得目标基本表情模型序列和目标模型细节特征向量；具体步骤包括：

设被控者当前三维人脸模型为Ψ＝(V,E,F)，其中V为顶点集，E为边集，F为三角面片集,{v₁,v₂,...,v_n}为点集V中的顶点，n为顶点数；

被控者当前三维人脸模型的顶点v_i，i＝1,2,...,n，经过拉普拉斯光顺后的新坐标v_i′表示如下：

其中，N(v_i)表示顶点v_i的邻接点集合，ω_ij表示顶点v_i与邻接点v_j，j＝1,2,...,n所构成边的权值。λ表示控制光顺速度的权值，取值在0至1之间。

利用公式(1)对被控者当前三维人脸模型Ψ的顶点位置重新调整，得到光顺后的被控者三维人脸模型y＝(V′,Ε,F)，V′表示光顺后模型的顶点集，网格y保存了网格Ψ的基本表情信息，记为基本表情模型，网格顶点v_i的位移向量Δ(v_i)，则记录了网格Ψ上的局部细节信息，记为细节特征向量，如公式(2)所示：

Δ(v_i)＝v_i-v_i′，i＝1,2,...,n (2)。

其中，v_i表示三维人脸模型的顶点，v_i′表示v_i经拉普拉斯光顺后的新坐标，n为顶点数。

应理解的，拉普拉斯光顺的基本原理是利用拉普拉斯坐标对网格顶点进行重建，将网格顶点的局部噪声扩散到其邻域中，从而使三维人脸模型表面变得平滑。

作为一个或多个实施例，所述S300中，源序列映射函数和目标序列重建函数，是通过对细节特征提取后的源基本表情模型序列和目标基本表情模型序列中表情一致的模型进行联合训练获得的。

联合训练过程中，输入数据是分别从每组三维人脸模型序列中抽取m个模型，m个模型构成一组样本集合，此处有两组序列Y₁＝[y₁₁,y₁₂,...,y_1m]和Y₂＝[y₂₁,y₂₂,...,y_2m]，其中，同一组模型序列代表同一个人的各类表情集合，y_ij表示一个样本表情模型，两组人脸模型序列中的表情要求一一对应，y_1j和y_2j具有相同表情；

将源基本表情样本集合Y₁和目标基本表情样本集合Y₂中相同表情的人脸模型映射到相同低维表示，如下：

其中，F_i()表示序列i的映射函数，x_j表示模型y_ij的低维表示，i＝1,2，j＝1,2,...,m，m表示样本集合中模型的个数。

利用公式(4)求解映射函数和重建函数：

其中，

式(4)表示源基本表情模型样本集合和目标基本表情模型样本集合上误差函数的和。其中，E_i(X,f_i,F_i),i＝1,2表示第i个样本集合的误差函数，X表示低维表示x_j构成的矩阵，F_i()表示集合i的映射函数，f_i()表示集合i的重建函数。

和/>

是为防止奇异解的产生而引入的正则项，λ表示权值，R()表示正则函数，x_j表示模型y_ij的低维表示，j＝1,2,...,m，m表示样本集合中模型的个数，||·||表示2-范数。

利用改进的有参无监督回归方法求解最小化目标函数，得到映射函数和重建函数，所述改进的有参无监督回归方法是指将有参无监督回归方法中的高斯牛顿法换成了梯度下降法

进一步地，所述利用有参无监督回归方法求解最小化目标函数，得到映射函数和重建函数，具体步骤包括：

S301：自适应过程：

自适应过程是对公式(4)中两个误差函数

和/>

的独立最小化，是两个标准的回归方程，回归方程由多个高斯基函数的和以及偏置项构成。以f(x)为例，回归方程表示为：

其中，

其中，Φ(x)表示D个高斯基函数的和；

表示基函数；μ_d表示基函数的中心，通过k均值聚类算法求解；σ表示基函数的宽度，通过网格搜索求解；w表示偏置项；W表示权重，求解如下：

其中，l表示m个1组成的单位列向量，G_xy表示由

构成的矩阵，G_xx表示由

构成的矩阵，λtr(WG_xxW^T)表示正则项，λ为用户自定义参数，取值大于等于0，将w代入到W的方程式中，W由正定线性系统求解：

对F而言，Y不随迭代过程发生变化，因此算法能够快速地计算出基函数的中心和宽度，但对f而言，由于X不是恒定的，算法需要不断地进行迭代更新。在每次迭代过程中，采用k均值算法重新计算基函数的中心，并以上一次迭代的值进行初始化；

S302：映射过程：

固定参数化的f_i和F_i,i＝1,2，采用梯度下降法对X进行迭代优化；

梯度下降法求出的低维表示X包含各样本集合的特性，在迭代过程中只需要不断地计算梯度，便实现参数的更新。

X的梯度为式(4)中两组误差函数的梯度之和，即

作为一个或多个实施例，所述S300中，利用源序列映射函数，将源基本表情模型序列映射到低维度，得到低维度的源基本表情模型序列；利用目标序列重建函数，将低维度的源基本表情模型序列，传递给目标基本表情模型序列，得到具有源表情的目标模型；具体步骤包括：

首先利用源基本表情模型序列的映射函数F₁将y₁′的基本表情映射到低维表示x′，然后利用目标基本表情模型序列的重建函数f₂对x′重建，得到具有与y₁′具有相同或相近表情的目标模型y₂′，即x′＝F₁(y₁′)，y₂′＝f₂(x′)。

作为一个或多个实施例，所述S400中，利用目标模型细节特征向量，对具有源表情的目标模型进行细节恢复；具体步骤包括：

利用目标模型细节特征向量，对具有源表情的目标模型的各个顶点的特征向量大小进行调整和对特征向量的方向进行调整。

进一步地，对特征向量的方向进行调整，具体是指对具有源表情的目标模型上每个顶点处的细节特征向量的方向进行调整，使得调整后的细节特征向量与顶点处的法向量夹角，与源表情传递前目标模型上该顶点处的细节特征向量与顶点法向量的夹角相等。

进一步地，对特征向量的方向进行调整，具体步骤包括：

在顶点法向量

i＝1,2,...,n和向量/>

所构成的平面内，求解三维空间中点q′_i(q′x_i,q′y_i,q′z_i)绕平面法向量旋转一定角度后的新坐标p_i(px_i,py_i,pz_i),具体操作是对点q′_i左乘旋转矩阵R_i。

其中c_i＝cos(θ_i)，s_i＝sin(θ_i)，(bx_i,by_i,bz_i)为法向量

和向量/>

所构平面的法向量，θ_i表示点q′_i绕平面法向量(bx_i,by_i,bz_i)旋转的角度，θ_i的正负按照右手坐标系规定。

旋转矩阵R_i要求所绕的平面法向量是单位化的且经过原点，因此，算法在q_i点构建局部空间坐标系，通过向量

和向量/>

的叉积求出q_i点的平面法向量(bx_i,by_i,bz_i)，对平面法向量进行单位化，便可以在局部坐标系中应用旋转公式求得q′_i点绕q_i点旋转后的新坐标p_i，从而求得新细节特征向量/>

的方向。

进一步地，对特征向量大小进行调整，具体步骤包括：

将原始目标模型上的顶点记为v_i，i＝1,2,...,n，其在细节特征提取后的新位置记为v′_i，将源表情传递后顶点v′_i移动到的新位置记为q_i，将q_i经过细节特征向量方向调整后的坐标记为p_i,顶点q_i处的特征向量大小的比例因子r_i定义如下：

其中，S(q_i)是源表情传递后目标模型顶点q_i的邻域三角形的面积和，S(v′_i)是源表情传递前该顶点邻域三角形的面积和，即初始目标模型在细节特征提取后顶点v′_i的邻域三角形的面积和；

以细节特征向量

的模长/>

来表征大小，新向量大小的调整公式为：

其中，v_i表示模型顶点，v′_i顶点v_i光顺后的新坐标，|·|表示求模公式，r_i表示顶点q_i处的比例因子，

表示顶点q_i处细节特征向量的新模长。

计算出新模长以后，将在局部坐标系中按照向量

方向对新模长/>

进行坐标轴分解，从而计算出新坐标p′_i。

这里的局部坐标系，是指：在每个顶点q_i处构建的坐标系，即将q点为坐标系的原点。

本公开方法的输入为两组三维人脸模型序列，同一组模型序列代表同一个人的各类表情集合，且要求序列内部各模型同构。另外，两组人脸模型序列中的部分表情要求一一对应，以适应联合训练阶段的需要。方法可将模型表情在两组序列之间进行任意传递，即一组模型上的表情可传递给另一组，反之亦然。为表述方便，本公开将任意一组序列称为源模型序列，将该序列中的任意单个模型称为源模型；将另一组模型序列称为目标模型序列，将该序列中的任意单个模型称为目标模型。算法的输出是具有源模型脸部表情的目标模型，且重建后的目标模型具有高度的真实感和丰富的表情细节。

本公开方法框架如图1所示，主要由四部分构成：细节特征提取、联合训练、源表情传递和目标模型细节特征恢复。

细节特征提取阶段对源模型序列和目标模型序列应用拉普拉斯光顺算法，获得源基本表情模型序列和目标基本表情模型序列、源基本表情模型以及目标模型细节特征向量，分别用于联合训练、源表情传递以及目标模型细节特征恢复。

其中，源基本表情模型序列中包含源基本表情模型，源基本表情模型包含该人脸模型的基本表情信息，细节特征向量包含该模型的面部细节信息。

所述面部细节信息，包括但不限于面部的皱纹、褶皱等不易被观察的信息。

联合训练阶段对表情一致的源基本表情模型序列和目标基本表情模型序列应用目标函数优化，获得源模型序列和目标模型序列各自映射函数和重建函数。

源表情传递阶段利用源序列映射函数和目标序列重建函数将源模型的基本表情传递给目标模型，得到具有源表情的目标模型。

细节特征恢复阶段对目标模型的细节特征向量进行调整，进一步优化目标模型各顶点的位置和法向，对具有源表情的目标模型进行细节恢复。

特征提取：

三维人脸模型通常由三角网格构成，网格上的顶点位置决定着模型的基本表情和细节信息，其中，基本表情反映着表情的基础类别；细节信息影响着模型的精细特征，这些细节往往使人脸表情带有鲜明的个性化特征。模型表情的变化可通过改变网格的顶点位置和法向得以实现。其中，顶点位置和法向的较大变化可引起人脸模型的基本表情发生改变；顶点位置和法向的较小变化则导致模型局部细节的微小变形。

本实施例中的基本表情，包括但不限于：张嘴、微笑、抬眉毛、挤左眼、挤右眼、愤怒、向左歪嘴、向右歪嘴、露齿笑、嘟嘴、翻嘴唇、鼓嘴或闭眼等。

本公开对源模型序列和目标模型序列进行面部细节特征提取，获得源基本表情模型序列和目标基本表情模型序列、源基本表情模型和目标模型细节特征向量。基本表情模型包含人脸模型的基本表情信息。细节特征向量则包含人脸表情模型的精细化细节信息，该信息能够精确反映目标模型的特有属性，通过对该信息进行单独提取并将其恢复到表情传递后的目标模型上，可使重建后的目标模型很好地保持其原有的个性特征。另外，对细节特征提取后的源基本表情序列和目标基本表情序列进行联合训练，能够更好地将带有同种表情的人脸模型映射到相同的低维表示，避免了联合训练阶段因局部细节的尖锐变化引起的局部最优问题，使两组序列的映射重建函数更加准确，从而提高了算法的精度。

基于拉普拉斯算子的特征提取

人脸模型基本表情的改变通常表现为模型上面积较大的相对平滑区域的变形，而细节信息则存在于模型上较为尖锐的局部区域。依据这种特性，本公开对源模型序列和目标模型序列进行光顺，将光顺掉的较为尖锐的局部表情细节称为细节特征信息，并将这些细节特征信息以向量的形式保存，记为细节特征向量，光顺后的模型包含基本表情信息，记为基本表情模型。

为了提取模型的局部细节信息，本公开利用拉普拉斯算子对模型进行光顺。拉普拉斯算子定义为网格顶点与其邻接顶点加权组合的差，它能够表征模型的局部细节特征。拉普拉斯光顺的基本原理是利用拉普拉斯坐标对网格顶点进行重建，将网格顶点的局部噪声扩散到其邻域中，从而使模型表面变得平滑。该操作能够将模型的基本表情和个性细节较好分离，且拉普拉斯光顺算法高效、鲁棒，可保证本公开算法的性能。

图2(a)和图2(b)展示了对网格模型进行拉普拉斯光顺的效果。其中，图2(a)是待光顺的模型，图2(b)是光顺后的基本表情模型。

可见，经过光顺后，模型的个性细节特征信息可以被很好地提取并保存，方便用于后续的细节特征恢复。

对源模型序列和目标模型序列中的每一个网格模型利用公式(1)和公式(2)进行细节特征提取，即可得到源基本表情模型序列和目标基本表情模型序列、源基本表情模型和目标模型细节特征向量。

基本表情迁移：

为实现源模型到目标模型的基本表情迁移，1.本公开先对细节特征提取后的源基本表情模型序列和目标基本表情模型序列中表情一致的模型进行联合训练获得映射函数和重建函数，然后利用映射函数将源基本表情模型进行低维表示，然后重建函数根据低维表示重建出目标模型，且重建出的目标模型与源模型具有相同或相近的基本表情。

本公开对非线性联合学习方法进行了改进，将其中使用的无监督回归方法置换为有参无监督回归方法，并利用梯度下降法进行迭代优化，目的是降低联合训练的时间与空间消耗。方法保留了投影约束的思想，从而将源基本表情模型序列和目标基本表情模型序列中表情一致的人脸模型映射到相同的低维表示。

基本表情迁移分为两步：第一步是联合训练。从源基本表情模型序列和目标基本表情模型序列中分别提取m个表情模型，要求提取出的两组样本脸部表情一一对应，分别表示为样本集合Y₁＝[y₁₁,y₁₂,...,y_1m]和Y₂＝[y₂₁,y₂₂,...,y_2m]，其中，y_ij表示一个样本表情模型，y_1j和y_2j具有相同表情。利用联合训练对两组表情模型求解最小化目标函数，得到映射函数和重建函数。第二步是源表情传递。输入源基本表情模型序列中任意一张未参与训练的人脸模型y₁′,利用函数重建出与y₁′具有相同或相近表情的目标模型y₂′。下面具体介绍联合训练和源表情传递两个部分：

联合训练

联合训练得到对应于源基本表情模型样本集合Y₁和目标基本表情模型样本集合Y₂的两组映射函数和重建函数{F_i、f_i},i＝1,2。

映射函数，将源基本表情样本集合Y₁和目标基本表情样本集合Y₂中表情一致的人脸模型映射到相同的低维表示X＝[x₁,...,x_m]，x_j为y_1j和y_2j的共同低维表示。

重建函数，根据低维表示重建出源基本表情模型和目标基本表情模型。

算法通过引入投影约束的思想来满足上述需求，该约束将源基本表情样本集合Y₁和目标基本表情样本集合Y₂中相同表情的人脸模型映射到相同低维表示，如下：

其中，F_i()表示序列i的映射函数，x_j表示模型y_ij的低维表示，i＝1,2，j＝1,2,...,m，m表示样本集合中模型的个数。

映射/重建函数利用下式求解：

其中，

式(4)表示源基本表情模型样本集合和目标基本表情模型样本集合上误差函数的和。其中，E_i(X,f_i,F_i),i＝1,2表示第i个样本集合的误差函数，X表示低维表示x_j构成的矩阵，F_i()表示集合i的映射函数，f_i()表示集合i的重建函数。

和/>

是为防止奇异解的产生而引入的正则项，λ表示权值，R()表示正则函数，x_j表示模型y_ij的低维表示，j＝1,2,...,m，m表示样本集合中模型的个数，||·||表示2-范数。

本公开利用改进的有参无监督回归方法求解目标函数的最小化问题，首先使用拉普拉斯特征映射得到源基本表情模型样本集合Y₁和目标基本表情模型样本集合Y₂在低维空间中的初始坐标C₁和C₂,并设X为其均值，即

然后迭代自适应过程和映射过程求解最优参数。

有参无监督回归

有参无监督回归方法(parametric Dimensionality Reduction byUnsupervised Regression,pDRUR)是对无监督回归方法(Dimensionality Reduction byUnsupervised Regression,nDRUR)的一种改进，pDRUR的求解过程与nDRUR相似，都是交替优化映射过程和自适应过程，但pDRUR的时间复杂度是线性的，从而使得训练过程的推导速度更快。

pDRUR与nDRUR虽然具有相同的关于(X,f,F)的目标求解函数，但pDRUR求解的f和F是特殊的参数化形式，并且正则项R_f(f)和R_F(F)是对f和F参数的约束。

pDRUR针对单组样本进行训练，映射过程采用高斯牛顿法，高斯牛顿法在寻找目标函数最小值的过程中仅需迭代计算一对参数即可。

但本公开需要求解联合目标函数，高斯牛顿法无法将算法提供的两对包含各自样本集合特性的参数进行合理地整合，从而难以求解双样本集合下的共同低维表示X。

因此，为求解联合目标函数，本公开将高斯牛顿法替换为梯度下降法，并重新定义联合目标函数中X的梯度，提出新的有参无监督回归方法。

源表情传递：

根据联合训练阶段求解的两组映射/重建函数{F_i/f_i},i＝1,2，将源基本表情模型y₁′的基本表情传递给目标模型y₂′。具体地，首先利用源基本表情模型序列的映射函数F₁将y₁′的基本表情映射到低维表示x′，然后利用目标基本表情模型序列的重建函数f₂对x′重建，得到具有与y₁′具有相同或相近表情的目标模型y₂′，即x′＝F₁(y₁′)，y₂′＝f₂(x′)。

图3(a)和图3(b)展示了源表情传递后重建出的目标模型效果，可见，目标模型已经具有了和源模型相同或非常相近的基本表情。

目标模型细节特征恢复

基本表情迁移仅能将源模型的基本表情以函数重建的方式传递给目标模型，下面则需要对目标模型局部细节信息进行恢复，以重建其原有的个性化细节特征。本公开已经在细节特征提取阶段将目标模型的细节信息以向量的形式进行保存，但由于表情传递后目标模型的网格形状已经发生了较大改变，将这些细节特征向量直接叠加到目标模型的对应顶点是不合理的。因此，本公开提出了依据基本表情变化前后目标模型的几何信息进行细节特征向量调整的新策略。通过对细节特征向量的方向和大小进行调整，再叠加到目标模型的方式，既很好地恢复了目标模型的原有的个性化细节特征，又使得这些细节与新表情相符，保证了表情的真实自然。

细节特征向量方向调整

由于细节特征信息多存在于局部微小区域，且不会发生大幅度变动，本公开依据提取细节特征后的目标模型在进行源基本表情传递前后，其各个顶点的法向变化情况，将它的细节特征向量的方向调整一定角度，使其适应新表情的变化。

目标模型上各个顶点的法向量由其邻域三角面片的法向量加权平均得到，它可以反映顶点局部区域的几何特征，又法向量与局部区域切平面垂直，其法向可反映局部区域的朝向。

表情变化前后，因细节区域变化较小，每个顶点处的细节特征向量相对于该顶点局部区域的朝向应该基本保持不变，即与该顶点的法向的夹角保持不变。

基于此，本公开对源基本表情传递后的目标模型上每个顶点处的细节特征向量的方向进行调整，使得调整后的细节特征向量与顶点处的法向量夹角，与源表情传递前目标模型上该顶点处的细节特征向量与顶点法向量的夹角相等。

本公开方法可将任一源模型的脸部表情传递给目标模型，为叙述方便，取目标模型序列中的任一表情模型作为参考模型，即原始目标模型。如图4所示，

将原始目标模型上的某一顶点记为v_i，i＝1,2,...,n；

利用公式(1)，将顶点v_i经过细节特征提取后的新位置记为光顺点v′_i；

利用公式(2)，将顶点v经过细节特征提取后的位移量记为细节特征向量

将光顺点v′_i经源表情传递后移动到的新位置记为初步表情点q_i，将光顺点v′_i与初步表情点q_i的位移量记为向量/>

将光顺点v′_i处的法向量记为

将初步表情点q_i的法向量记为/>

将法向量

与细节特征向量/>

的夹角记为α_i，将法向量/>

与q_i点待求的新细节特征向量/>

的夹角记为β_i；

令α_i＝β_i，可得cosα_i＝cosβ_i，即满足

由于公式(8)在无约束的状态下存在多个解，因此算法限定新细节特征向量

始终位于法向量/>

和向量/>

(/>

与/>

平行)所构成的平面内，如图4所示。由此通过求解公式(8)可得到唯一的新细节特征向量/>

的方向。

为了计算出新细节特征向量

的方向，问题可以转化为在顶点法向量/>

和向量

所构成的平面内，求解三维空间中点q′_i(q′x_i,q′y_i,q′z_i)绕平面法向量旋转一定角度后的新坐标p_i(px_i,py_i,pz_i),具体操作是对点q′_i左乘旋转矩阵R_i。

其中c_i＝cos(θ_i)，s_i＝sin(θ_i)，(bx_i,by_i,bz_i)为法向量

和向量/>

所构平面的法向量，θ_i为点q′_i绕平面法向量(bx_i,by_i,bz_i)旋转的角度，θ_i的正负按照右手坐标系规定。

旋转矩阵R_i要求所绕的平面法向量是单位化的且经过原点，因此，算法在q_i点构建局部空间坐标系，通过向量

和向量/>

的叉积求出q_i点的平面法向量(bx_i,by_i,bz_i)，对平面法向量进行单位化，便可以在局部坐标系中应用旋转公式求得q′_i点绕q_i点旋转后的新坐标p_i，从而求得新细节特征向量/>

的方向。

细节特征向量大小调整

由于源表情传递后目标模型的几何形状发生了较大变化，这些几何形状的改变同样会对模型的局部细节信息产生影响，因此将原始大小的特征向量直接叠加到目标模型上无法准确地反映目标模型的细节信息。另外，细节信息通常存在局部微小差异，因此，算法不能仅对细节特征向量进行简单地全局缩放，而需要通过局部顶点的比例因子单独调整每个特征向量的大小。本公开将局部顶点特征向量大小的比例因子定义为源表情传递前后，顶点邻域三角形面积和的比值。

本公开中具有新表情的目标模型实际是通过函数重建的方式得到，因此，算法将细节特征提取后的任一目标表情模型作为原始目标模型，即作为具有新表情目标模型的参考模型。将原始目标模型上的顶点记为v_i，i＝1,2,...,n，其在细节特征提取后的新位置记为v′_i，将源表情传递后顶点v′_i移动到的新位置记为q_i，将q_i经过细节特征向量方向调整后的坐标记为p_i,顶点q_i处的特征向量大小的比例因子r_i定义如下：

其中，S(q_i)是源表情传递后目标模型顶点q_i的邻域三角形的面积和，S(v′_i)是源表情传递前该顶点邻域三角形的面积和，即初始目标模型在细节特征提取后顶点v′_i的邻域三角形的面积和。

本公开以细节特征向量

的模长/>

来表征大小，新向量大小的调整公式为：

/>

其中，v_i表示模型顶点，v′_i顶点v_i光顺后的新坐标，|·|表示求模公式，r_i表示顶点q_i处的比例因子，

表示顶点q_i处细节特征向量的新模长。

计算出新模长以后，本公开将在局部坐标系中按照向量

方向对模长/>

进行坐标轴分解，从而计算出新坐标p′_i。

图5(a)和图5(b)展示了对源表情传递后的目标模型，进行细节特征恢复后的效果。可见，恢复后的人脸模型眉毛区域的皱纹明显增多，个性细节特征更加突出。

为进一步验证细节特征恢复算法的有效性，本公开取同一个人脸表情序列，将其中的不同帧分别作为源模型和目标模型，以便使得经过表情传递并细节恢复后的目标模型有明确的源参考模型，便于效果的直观比较和定量分析。具体地，先对同一人脸模型序列进行细节特征提取、有参无监督回归训练得到该序列的映射重建函数，然后输入序列中任意一个未参与训练的模型作为源参考模型，经过映射、重建、细节恢复后，观察并比较得到的新表情模型与源参考模型的视觉差异和空间误差。

如图6所示，第一列表示源参考模型，第二列表示经过源表情传递后的重建模型，第三列表示对第二列进行细节特征恢复后的模型，第四列表示第三列模型与第一列模型之间的误差，误差为两个模型间所有对应顶点的空间欧式距离平方和的均值。通过比较第三列和第一列中的模型可见，第三列中经过细节恢复后的模型，其细节区域与第一列中的源参考模型的细节区域高度一致。另外，第三列和第一列中对应模型之间的误差非常小。可见，细节特征恢复方法是有效的，其很好地恢复了目标模型上的表情细节信息，且这些表情细节与新表情相符，没有违和感。

实验及结果分析：

首先证明了细节提取的有效性，然后展示了本公开方法的完整实验结果，最后列出了算法的时间性能。算法由Matlab和python语言实现，运行环境为Windows 10系统，计算机配置为Intel Core i5-3230M CPU 2.60GHz，8GB内存。

细节提取的有效性：

细节特征提取后的基本表情模型能够更好地进行函数拟合，提高映射/重建函数的精度，从而准确地将源模型的基本表情传递给目标模型。

为进一步证明方法的有效性，本公开从理论和实验两方面进行分析。通过理论分析发现，联合训练中的投影约束部分并不会因为模型是否光顺受到影响，受影响的部分是联合训练中最为核心的有参无监督回归部分，而有参无监督回归方法本身具有将同种属性模型映射到同一低维表达的能力，即具有获得映射/重建函数的能力。为直观地呈现利用细节提取后的模型以及未提取过细节的模型分别进行表情传递后的比较结果，本公开设计在同一个人脸模型之间进行不同表情传递的实验，以便使传递后的目标模型的新表情具有明确的参考模型。具体地，先对同一个人的面部模型序列，利用对其进行细节提取后的模型、以及未提取过细节的原始模型分别进行有参无监督回归训练得到此模型序列的映射重建函数，然后从序列中任取一个未参与训练的模型作为输入模型，经过映射、重建后，比较两种方式获得的模型与输入模型的一致程度。图7是对未提取过细节的模型以及细节提取后的模型应用有参无监督回归方法的实验对比。

图7第一行是利用未提取过细节的模型获得的结果，第二行是利用提取细节后的模型获得的结果。第一列代表输入模型，第二列第一行代表对未提取过细节的模型应用有参无监督回归方法后，得到的表情重建模型，第二列第二行代表对细节特征提取后的模型应用有参无监督回归方法后，得到的表情重建模型。第三列代表第一列的输入模型与第二列的重建模型叠加对照的效果，第四列代表对第一列的输入模型与第二列的重建模型采用不同的颜色区分并叠加对比后的效果，可以更清晰地反映出两个模型形状在空间的差异。从第二列可以看出，利用未提取细节的模型获得的重建模型嘴部张开幅度变大，利用提取细节后的模型获得的重建模型嘴部张开幅度与输入模型一致。从第三列可以看出，利用未提取细节的模型获得的重建模型不仅嘴部拟合不准确，且眉毛部分与输入模型差异很大，而利用提取细节后的模型获得的重建模型，可以很好地逼近输入模型，未出现高度与幅度的明显差异。从第四列可以看出，利用未提取细节的模型获得的重建模型即使在平坦区域也出现大面积拟合不准确的情况，而利用提取细节后的模型获得的重建模型出现差异的部分基本位于细节区域，本公开算法还会对这些细节信息进行单独恢复。可见，预先光顺掉细节特征信息对提高函数拟合的准确度是非常有效的。

实验从COMA数据集中抽取两组头部模型，分别利用联合学习方法与本公开方法进行表情迁移，得到的效果比较如图8所示。其中第一列表示源表情模型，第二列表示利用联合学习方法得到的表情迁移效果，第三列表示利用本公开方法得到的表情迁移效果。

首先，比较图8前两行的实验结果可见，利用联合学习方法得到的表情模型，其细节特征有明显缺失(如黑色框内所示眉眼处)，且第二行中的表情迁移结果与源表情模型在整体表情幅度上有一定差异，而本公开方法不仅准确地实现了表情的传递，而且很好地保留了目标模型的细节特征。为证明本公开方法可以在两个模型序列之间进行任意的表情传递，实验将源模型与目标模型进行调换，得到图8后两行的表情传递结果。通过观察可以发现，联合学习方法获得的表情模型不仅缺少细节信息，而且存在表情传递失败的情况，而本公开方法在实现表情正确传递的同时，有效地保留了目标模型的局部细节。

图9展示了对两组人脸模型，分别利用联合学习方法与本公开方法进行表情迁移的效果比较图。其中第一列列表示源表情模型，第二列表示利用联合学习方法得到的表情迁移效果，第三列表示利用本公开方法得到的表情迁移效果。

由图9第一行的实验结果可见，利用联合学习方法得到的模型不仅嘴部区域出现了裂痕，且细节特征不够明显，而本公开方法较好地实现了表情的传递，且恢复了目标模型的细节信息。第二行是将源模型与目标模型进行调换后得到的表情迁移结果，通过比较可见，尽管两种方法都实现了表情的传递，但本公开方法得到的模型细节特征更加明显。

图10展示了对头部模型组与脸部模型组，分别利用联合学习方法与本公开方法进行表情迁移的效果比较图。其中第一列表示源表情模型，第二列表示利用联合学习方法得到的表情迁移效果，第三列表示利用本公开方法得到的表情迁移效果。

图10说明本公开方法不仅能够实现头部模型与头部模型之间、脸部模型和脸部模型之间的表情传递，对于头部模型与脸部模型之间的表情传递同样有效。通过观察可以发现，联合学习方法得到的新表情模型的嘴部区域全部出现了裂痕，且第二行模型的眼眶眉毛区域相较于本公开方法得到的结果，明显缺少细节信息，因此整体表情迁移效果不准确。本公开方法不仅实现了模型之间基本表情的准确传递，而且完好地保持了目标模型的细节特征。针对第三行源模型下嘴唇微偏左的不对称情况，本公开方法也能很好地将这一表情特征迁移到目标模型上。

性能测试：

本公开算法可实现实时的表情迁移，表1是对图8中的四组表情迁移实验进行的性能测试，列出了算法各程序段的运行时间。本算法具有“一次设计，重复使用”的特点，同组序列的联合训练只需进行一次即可。

表1算法各程序段的运行时间

从表1中可知，联合训练阶段的时间消耗较其他程序段较大，但该训练只需在表情传递前执行一次训练，属于预处理阶段，对后续的实时表情迁移没有影响。由于细节特征提取也只需运行一次，得到的光顺模型和细节特征向量可以反复使用，可将该阶段也作为预处理。预处理后，对于单帧输入模型，算法可在1秒钟之内获得最终的具有新表情的目标模型，因此可达到实时的表情传递。

本公开提出了一种基于细节特征恢复的、以改进的有参无监督回归方法为核心的高真实感三维人脸表情迁移方法。目标模型细节特征的单独提取与恢复，克服了传统人脸表情迁移方法存在的脸部表情不够真实自然的问题。有参无监督回归方法的引入以及对其迭代优化函数的改进，明显缩短了表情传递前的联合训练时间，有效提高了方法的性能。方法能够实现表情传递的实时性，且重建的目标模型具有高度真实感的新表情。

针对现有三维人脸表情迁移方法重建的目标模型存在细节信息缺失、真实感不足，迁移训练时间过长等问题，本公开提出了一种高真实感的三维人脸表情迁移方法，可使迁移过程更加快速、迁移后的表情细节更加丰富。首先，提取三维人脸模型的细节特征，获得滤掉细节后的基本表情模型，然后，利用改进的有参无监督回归方法将源模型的基本表情传递给目标模型，最后，利用提出的细节特征向量调整策略对具有源基本表情的目标模型进行细节恢复。实验结果表明，本公开方法实现了源模型到目标模型的无损表情迁移，很好地保留了目标模型自身的个性细节特征，使重建的表情真实自然。同时，方法有效地提高了人脸表情迁移的速度。

实施例二

本实施例提供了三维人脸表情迁移系统；

三维人脸表情迁移系统，包括：

获取模块，其被配置为：获取控制者当前三维人脸模型，获取被控者当前三维人脸模型；

特征提取模块，其被配置为：对控制者当前三维人脸模型进行特征提取，获得源基本表情模型序列；对被控者当前三维人脸模型进行特征提取，获得目标基本表情模型序列和目标模型细节特征向量；

表情传递模块，其被配置为：利用源序列映射函数，将源基本表情模型序列映射到低维度，得到低维度的源基本表情模型序列；利用目标序列重建函数，将低维度的源基本表情模型序列，传递给目标基本表情模型序列，得到具有源表情的目标模型；

细节恢复模块，其被配置为：利用目标模型细节特征向量，对具有源表情的目标模型进行细节恢复。

此处需要说明的是，上述获取模块、特征提取模块、表情传递模块和细节恢复模块对应于实施例一中的步骤S100至S400，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。

所提出的系统，可以通过其他的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。

实施例三

本实施例还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例一所述的方法。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

实施例四

本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (7)

1.三维人脸表情迁移方法，其特征是，包括：

获取控制者当前三维人脸模型，获取被控者当前三维人脸模型；

对控制者当前三维人脸模型进行特征提取，获得源基本表情模型序列；对被控者当前三维人脸模型进行特征提取，获得目标基本表情模型序列和目标模型细节特征向量；

利用源序列映射函数，将源基本表情模型序列映射到低维度，得到低维度的源基本表情模型序列；

利用目标序列重建函数，将低维度的源基本表情模型序列，传递给目标基本表情模型序列，得到具有源表情的目标模型；

源序列映射函数和目标序列重建函数，是通过对细节特征提取后的源基本表情模型序列和目标基本表情模型序列中表情一致的模型进行联合训练获得的；利用改进的有参无监督回归方法求解最小化目标函数，得到映射函数和重建函数，所述改进的有参无监督回归方法是指将有参无监督回归方法中的高斯牛顿法换成了梯度下降法；

利用目标模型细节特征向量，对具有源表情的目标模型进行细节恢复；

对具有源表情的目标模型进行细节恢复；具体步骤包括：

利用目标模型细节特征向量，对具有源表情的目标模型的各个顶点的特征向量大小进行调整和对特征向量的方向进行调整；

对特征向量的方向进行调整，具体是指对具有源表情的目标模型上每个顶点处的细节特征向量的方向进行调整，使得调整后的细节特征向量与顶点处的法向量夹角，与源表情传递前目标模型上该顶点处的细节特征向量与顶点法向量的夹角相等。

2.如权利要求1所述的方法，其特征是，获取控制者当前三维人脸模型，获取被控者当前三维人脸模型；具体步骤包括：

通过三维扫描仪获取三维人脸模型；

所述三维人脸模型由三角网格构成，网格上的顶点位置和顶点的法向决定三维人脸模型的基本表情和细节信息。

3.如权利要求1所述的方法，其特征是，对控制者当前三维人脸模型进行特征提取，获得源基本表情模型序列；具体步骤包括：

通过拉普拉斯光顺算法，对控制者当前三维人脸模型进行特征提取，获得源基本表情模型序列。

4.如权利要求1所述的方法，其特征是，对被控者当前三维人脸模型进行特征提取，获得目标基本表情模型序列和目标模型细节特征向量；具体步骤包括：

通过拉普拉斯算子，对被控者当前三维人脸模型进行光顺处理，将光顺掉的特征存储为目标模型细节特征向量；对光顺后的被控者三维人脸模型进行保存，获得目标基本表情模型序列。

5.三维人脸表情迁移系统，利用了如权利要求1所述的方法，其特征是，包括：

获取模块，其被配置为：获取控制者当前三维人脸模型，获取被控者当前三维人脸模型；

特征提取模块，其被配置为：对控制者当前三维人脸模型进行特征提取，获得源基本表情模型序列；对被控者当前三维人脸模型进行特征提取，获得目标基本表情模型序列和目标模型细节特征向量；

表情传递模块，其被配置为：利用源序列映射函数，将源基本表情模型序列映射到低维度，得到低维度的源基本表情模型序列；利用目标序列重建函数，将低维度的源基本表情模型序列，传递给目标基本表情模型序列，得到具有源表情的目标模型；

细节恢复模块，其被配置为：利用目标模型细节特征向量，对具有源表情的目标模型进行细节恢复。

6.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-4任一项所述的方法。

7.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-4任一项所述的方法。

Images