CN101976453A - 一种基于gpu的三维人脸表情合成方法 - Google Patents

Abstract

本发明公开了一种基于表情建模的三维人脸表情合成方法，步骤如下：(1)三维人脸模型的非刚性对齐；(2)建立表情空间；(3)表情残差空间的计算；(4)建立表情空间和表情残差空间的映射关系；(5)表情残差推导和表情合成。本发明可有效地在中性三维人脸模型上进行三维人脸表情合成，并且本发明采用GPU的方法可以更加快捷准确地合成人脸表情。

Description

一种基于GPU的三维人脸表情合成方法

技术领域

本发明涉及一种人脸表情的合成方法，更具体地，本发明涉及一种基于GPU的三维人脸表情合成方法，尤其涉及一种以建立表情模型和表残差模型、基于统计建模的三维人脸表情合成方法。

背景技术

在社会交往中，人脸表情能够传达重要、丰富的信息。随着计算机技术的快速发展，表情合成技术在图形图像处理、计算机辅助设计等领域受到越来越多研究人员的关注。它在游戏娱乐、媒体制作、虚拟现实设计、远程虚拟通讯、远程医疗服务、虚拟视频会议、虚拟角色交互应用等方面有着重要的用途。

基于三维形状数据的表情合成是目前新兴的一个研究方向。随着三维扫描设备的成熟，三维形状数据作为一类新型数据日益普及，如何对三维人脸形状进行有效的表情合成正成为新的研究热点。

发明内容

本发明的目的在于提供一种基于GPU的三维人脸表情合成方法，其步骤如下：

(1)三维人脸模型非刚性变形对齐：将通用模型G向每一个三维人脸模型O进行非刚性对齐，并用变形后的通用模型代替原来的三维人脸模型；

步骤(1)采用的变形方法是基于能量最小化的迭代变形方法。定义了两个能量函数，分别是：

平滑误差函数：

$E_s(G,O)=\mathrm{\δ}\underset{y_i\∈F_G}{\mathrm{\Σ}}\left(\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}{\left|\right|t_i-t_j\left|\right|}^2\right)+\underset{y_i\∉F_G}{\mathrm{\Σ}}\left(\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}{\left|\right|t_i-t_j\left|\right|}^2\right)---\left(1\right)$

几何误差函数：

$E_g(G,O)=\mathrm{\δ}\underset{y_i\∈F_G}{\mathrm{\Σ}}\left({\left|\right|y_i+t_i-x_i\left|\right|}^2\right)+\underset{y_i\∉F_G}{\mathrm{\Σ}}\left({\left|\right|y_i+t_i-x_i\left|\right|}^2\right)---\left(2\right)$

全局误差函数是：

$\arg \underset{t}{\min }\mathrm{\λ}{E}_g(G,O)+(1-\mathrm{\λ})E_s(G,O)---\left(3\right)$

经过迭代地执行最小化全局误差函数，最终使得通用模型与原来的三维人脸模型形状保持一致。

(2)、GPU加速的测地法向空间计算：选取某类情感表情模型若干个组成表情模型训练样本集其中每个三维人脸模型分M_i别对应不同的人。利用主测地分析(principle geodesic analysis)方法对该训练集中样本的法向量特征进行分析，得到主测地子空间的投影矩阵P＝(v₁，...，v_V)，以及该训练样本集中的模型经投影后，在主测地子空间中的表示

我们使用GPU并行地构造测点法向子空间。每个GPU线程用于处理三维模型上对应的三角面片。从而实现了GPU加速的测地法向空间的计算；

步骤(2)采用的主测地分析是对训练样本集中的模型的法向量特征进行子空间分析，并且采用了GPU并行处理的方法加速了测地法向子空间构造。

(3)GPU加速的表情残差空间计算：按照步骤2)中的样本选取方法，对表情模型训练样本集中的每个情感模型M_exp，找到与之对应的中性表情模型M_neu，组成一个样本对(M_exp，M_neu)。将符合上述要求的所有样本对组成表情残差模型训练样本集。对该样本集中的每个样本对，计算其表情残差向量Δ(M_exp，M_neu)。我们使用GPU并行计算每个样本对上所有三角面片的表情残差。所有计算得到的表情残差向量组成表情残差空间；

步骤(3)中表情残差的计算是用于计算同一个人情感模型M_exp和中性模型M_neu之间的变化差异。表情残差Δ(M_exp，M_neu)能够定量的衡量某种表情的变化。由于采用GPU多线程并发执行的方式，每一个GPU线程计算对应三角面片的表情残差，从而加速了表情残差的计算速度。

(4)基于GPU的表情模型训练：采用径向基函数回归的方法建立表情空间和表情残差空间之间的映射关系。

步骤(4)中使用的径向基函数如公式(4)所示：

${\mathrm{\Δ}}_i=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}k(u_i^P,u_j^P)---\left(4\right)$

经过步骤(2)和(3)的计算后，可以获得训练集中的样本在表情空间中的向量表示

以及在表情残差空间中对应的向量表示Δ＝(Δ₁，..，Δ_N)，因此径向基函数回归的矩阵形式如公式(5)所示：

Δ＝W*K    (5)

通过求解W即可得到两个空间之间的映射关系。我们使用GPU的第三方线性代数库CULA(GPU-accelerated linear algebra library)中的逆矩阵求解功能和矩阵乘法功能完成表情模型的训练。

(5)表情残差推导与合成：对于每一个输入三维人脸模型M_in，经过步骤(1)和步骤(2)的处理后，可以得到该模型在低维表情空间中的表示

利用步骤(4)中建立的空间映射关系矩阵W，推导出其对应的表情残差用推导出的表情残差

对一个输入三维人脸模型M_in上的三角面片进行翻转和平移操作，并用泊松变形的方法对该三维模型表面进行重建，达到表情合成的效果。

步骤(5)中采用变形技术是基于泊松方程的变形技术，其线性系统的建立如下式：

AU＝b    (6)

其中U是变形后网格中任一待求解顶点的坐标分量，b是经过表情残差修改后的梯度向量场的散度，矩阵A是拉普拉斯算子在网格M上构建的一个稀疏矩阵，相应角度见图4。

采用的变形技术是用推导出的表情残差为变形向导。

基于向导的梯度场计算是对每个三角面片t_i建立局部坐标系，然后用推导出的表情残差

进行变换。

本发明方法可以有效地对一个三维中性模型进行表情合成，从而得到合成后的三维人脸表情模型。

附图说明

图1是本发明的基于GPU的三维人脸表情合成方法基本原理图；

图2是使用GPU加速构造测地法向空间的框架图；

图3是GPU加速的表情残差空间计算框架；

图4是一环领域示意图；

图5是通用三维模型及对应的11个特征点示意图；

图6是使用GPU加速的表情合成结果；

具体实施方式

以下将结合附图和具体实施方式对本发明的基于GPU的三维人脸表情合成方法(其基本原理见图1)作详细描述，但是所用的具体实施方式只是对本发明作解释，并不用于限定本发明的保护范围。

三维人脸模型的非刚性对齐

三维人脸模型的非刚性对齐采用最小化能量函数的方法，迭代地将通用模型分别向每一个原始三维模型进行变形对齐。首先，对通用模型上的每一个顶点，在原始三维模型上找到对应点，然后利用上一步中建立的对应关系，建立一个能量误差方程，最后通过求解该能量误差方程得到变形后的通用模型。

为了保证配准变形的正确有效，该方法定义了人脸上的11个特征点，如图(5)中所示黑色标注的点。由于目前已有很多三维特征点标注算法，本发明假设特征点信息可通过其他方法提前获得。采用一个通用三维人脸向每一个原始三维人脸做配准变形，配准变形后的通用三维人脸具有和目标人脸相同的形状。继而用此通用三维人脸代替原始人脸完成表情数据的非刚性配准变形。设G表示一个通用三维人脸，O表示一个原始三维人脸，P_G和P_O分别表示G和O上的点集，

和分别表示G和O上的特征点集合。我们用重采样的方式将G作为一张“有弹性的”网向O拟合。经过迭代地配准变形，G和O的形状趋于一致。配准变形后的G用M进行表示，则可用M代替O作为新的三维人脸。可以发现，所有配准变形后得到的M具有统一的对应关系和拓扑结构。

接下来用迭代的方式对G进行变形，使其和O的形状保持一致。我们定义了几何误差E_g和平滑误差E_s两个能量函数从而将变形问题转化为能量最小化问题。参数δ用来调节变形过程中特征点相对于平凡点的权重，参数λ用来权衡几何误差E_g和平滑误差E_s两个能量函数之间的关系。几何误差E_g和平滑误差E_s分别定义如下：

$E_g(G,O)=\mathrm{\δ}\underset{y_i\∈F_G}{\mathrm{\Σ}}\left({\left|\right|y_i+t_i-x_i\left|\right|}^2\right)+\underset{y_i\∉F_G}{\mathrm{\Σ}}\left({\left|\right|y_i+t_i-x_i\left|\right|}^2\right)---\left(8\right)$

$E_s(G,O)=\mathrm{\δ}\underset{y_i\∈F_G}{\mathrm{\Σ}}\left(\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}{\left|\right|t_i-t_j\left|\right|}^2\right)+\underset{y_i\∉F_G}{\mathrm{\Σ}}\left(\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}{\left|\right|t_i-t_j\left|\right|}^2\right)---\left(9\right)$

其中N(i)表示点i的一环邻域(见图4)，t_i表示需要计算求得的y_i的偏移量。

全局能量函数定义如下：

$\arg \underset{t}{\min }\mathrm{\λ}{E}_g(G,O)+(1-\mathrm{\λ})E_s(G,O)---\left(10\right)$

在迭代的最初阶段，使用较大的δ和较小的λ使G有一个正确的初始形状，随后逐渐减少特征点的权重，并适度减少平滑误差的权重使G的整体形状和O趋于一致。迭代结束后，用M表示配准变形后的G，并以之替换原始人脸O。经过上述操作，所有配准变形后的人脸M均保持一致的拓扑结构和对应关系。

GPU加速的测地法向空间计算

由于人脸曲面的法向量场位于一个非线性空间中，我们采用测地法向投影(Geodesic Projection)对这个非线性空间作准线性估计。测地法向投影最早由Fletcher提出，它首先对非线性空间中的数据建立全连通图，然后基于连通图构造出一个从高维非线性空间到低维线性空间的转换矩阵。首先我们使用了两个重要的测地算子：LOG运算和EXP运算。这两个算子用于度量非线性法向量空间上两个单位法向量之间的距离。设n＝(n_x，n_y，n_z)表示一个单位法向量，μ＝(0，0，1)作为一个参考基准点，则测地算子LOG和EXP分别表示如下：

${\mathrm{LOG}}_{\mathrm{\μ}}\left(n\right)=(n_x\frac{{\arccos n}_z}{\sin \arccos n_z},n_y\frac{\arccos n_z}{\sin \arccos n_z})---\left(11\right)$

$,{\mathrm{EXP}}_{\mathrm{\μ}}\left(\mathrm{\Δ\μ}\right)=(\mathrm{\Δ}{\mathrm{\μ}}_x\frac{\sin \left|\right|\mathrm{\Δ\μ}\left|\right|}{\left|\right|\mathrm{\Δ\μ}\left|\right|},\mathrm{\Δ}{\mathrm{\μ}}_y\frac{\sin \left|\right|\mathrm{\Δ\μ}\left|\right|}{\left|\right|\mathrm{\Δ\μ}\left|\right|},\cos |\left|\mathrm{\Δ\μ}\right|\left|\right)---\left(12\right).$

这两个测地算子可以度量非线性法向空间中的距离，用于构造测地法向空间。利用GPU并行处理构造测地法向空间的过程如图2所示。

假设训练集由N个样本

组成，M_i是训练集中第i个配准变形后的三维人脸。用

表示M_i上所有三角面片组成的有序集合，K表示M_i上所有面片的个数，表示T_i中所有三角面片对应的法向量集合，其中

是三角面片

的法向量，用μj∈R³表示训练集中所有人脸曲面上第j个法向量的测地均值。

每个模型的第j个三角面片对应线程块中执行的核心伪代码Centralization流程如下所示：

function Centralization

begin

         Initialize GPU

         Allocate threads and blocks

         Synchronously runμ^j＝IntrinsicMean(j)

         Synchronously run Normalize(μ^j)

         Synchronize all threads to accomplish

         Release GPU

end

其中构造测地法向空间的本征均值求解函数IntrinsicMean的GPU代码如下所示：

_device_float3 IntrinsicMean(j){

       int count＝0；

       float3 mul；

       float2 del_mul；

       do{

                del_mul.x＝0；del_mul.y＝0；

                for(int i＝0；i＜N；i++)

                         del_mul＝del_mul+LOG(normals[j][i])；

                mul＝EXP(del_mul/N)；

                count++；

       }while(||del_mul||＞1e-5&&count＜50)

       return mul；

}

注：normals[j][i]表示模型M_i上第j个三角面片法向量

构造测地法向空间的归一化函数normalize的GPU代码如下：

_device_void normalize(float3 mean){

       For(int i＝0；i＜N；i++)

                u[j][i]＝LOG_mean(normals[j][i])；

}

注：u[j][i]表示模型M_i上第j个三角面片归一化后测地坐标

首先初始化GPU，申请能够并发执行的线程块。其次，对训练集中所有样本的第j个三角面片集合，绑定对应GPU线程j。然后，调用GPU线程函数IntrinsicMean(j)计算对应法向集合的本质均值μ^j，并利用计算得到的μ^j，调用GPU线程函数Normalize(μ^j)对其法向集合进行归一化操作。最后，使用GPU提供的同步机制，确保所有并发的线程全部执行结束后释放GPU。

由于法向量空间是非线性空间，我们使用IntrinsicMean计算非线性法向量空间中一组单位法向量的测地均值，使用Normalize将非线性法向量空间中的一组单位法向量进行归一化。测地均值操作IntrinsicMean及归一化操作Normalize用迭代的方式进行计算。IntrinsicMean和Normalize的完整GPU代码在附录中给出。

经过上述操作后，我们为每个训练样本M_i求得一个归一化后的测地坐标

现在计算协方差矩阵

并调用GPU第三方线性代数库CULA(GPU-accelerated linear algebra library)对协方差矩阵s进行SVD分解。然后，选择对应特征值最大的前V个特征向量组成空间转换矩阵P＝(v₁，...，v_V)。最后，通过矩阵投影计算得到训练样本M_i在测地法向子空间中的表示

GPU加速的表情残差空间计算

由于采用离散三角网格来表示三维人脸，因此我们可以用人脸上所有三角面片的翻转操作来描述它的表情变化。给定三角面片t^j的单位法向量

对应的极坐标表示为

$({\mathrm{\ρ}}^j,{\mathrm{\φ}}^j,{\mathrm{\θ}}^j)=(1,\arctan \frac{n_x^j}{n_y^j},\frac{\mathrm{\π}}{2}-\arcsin n_z^j).---\left(13\right)$

为了完整地描述三角面片t^j从某种情感转到中性情感的变化，我们定义了下面的5元组：

$d_j(t_{\exp }^j,t_{\mathrm{neu}}^j)=({\mathrm{\θ}}_{\exp }^j-{\mathrm{\θ}}_{\mathrm{neu}}^j,{\mathrm{\φ}}_{\exp }^j-{\mathrm{\φ}}_{\mathrm{neu}}^j,x_{\exp }^j-x_{\mathrm{neu}}^j,y_{\exp }^j-y_{\mathrm{neu}}^j,z_{\exp }^j-z_{\mathrm{neu}}^j),---\left(14\right)$

其中

和

分别表示三角面片

和

的质心。因此，同一人三维情感表情和中性表情之间的表情残差可以定义为：

$\mathrm{\Δ}(M_{\exp },M_{\mathrm{neu}})=\left\{d_j(t_{\exp }^j,r_{\mathrm{neu}}^j)\right|1\≤j\≤K\}.---\left(15\right)$

Δ(M_exp，M_neu)可以理解为高维情感残差空间中的一个样本点。由于不同三角面片的表情残差计算不存在相关性，因而我们使用GPU并行计算所有三角面片的残差Δ(M_exp，M_neu)，从而构造出情感残差空间。图3给出了利用GPU加速计算三维情感表情模型M_exp和三维中性表情模型M_neu之间表情残差Δ(M_exp，M_neu)的过程。每一个GPU线程j计算对应的残差特征

从而加速了表情残差的计算速度。

基于GPU的表情模型训练

用RBF回归的方法建立两个空间之间的映射。由于测地法向空间是一个准线性空间，使用马氏距离作为RBF回归分析中的度量方式，具体形式如下所示。

${\mathrm{\Δ}}_i=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}k(u_i^P,u_j^P)=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}\exp (-{(u_i^P-u_j^P)}^T\frac{e^{\frac{{(u_i^P-c_i)}^T(u_i^P-c_i)}{{\mathrm{\σ}}^2}}}{{\mathrm{\Σ}}_i}(u_i^P-u_j^P))---\left(16\right)$

其中，第i个RBF核的可信度用

衡量，表示第i个RBF核的马氏邻接矩阵，k表示RBF核邻接点的数目。RBF回归的矩阵表示如下所示：

利用训练样本集在测地法向空间和表情残差空间组成的训练样本对，我们使用最小二乘法训练得到权重矩阵W。权重矩阵W是通过调用GPU第三方线性代数库CULA(GPU-accelerated linear algebra library)求解矩阵K的逆矩阵K^-1。然后，调用CULA的矩阵乘法函数计算公式(18)，得到权重矩阵W，从而完成表情模型的训练。

W＝Δ×K^-1    (18)

表情残差的推导与表情合成

利用RBF回归方法训练得到了表情空间和表情残差空间的映射关系，即权重矩阵W。当输入一个待合成三维中性人脸C_m时，可以利用训练出的RBF回归模型求得对应的表情残差分量

首先，用推导出的表情残差分量

对输入中性人脸修改，然后，使用泊松变形的方法将不连续的三维人脸模型进行整合。泊松方程的稀疏线性系统如下所示：

AU＝b，    (19)

其中U为待求的变形后网格坐标，b为经过表情残差分量

修改后的三维人脸梯度场，稀疏矩阵A定义如下：

$A_{\mathrm{ij}}=\left\{\begin{array}{cc}-\frac{1}{2}(\cot a_{\mathrm{ij}}+\cot {\mathrm{\β}}_{\mathrm{ij}})& \mathrm{ifj}\∈N\left(i\right)\\ -{\mathrm{\Σ}}_{k\∈N\left(i\right)}{A}_{\mathrm{ik}}& \mathrm{ifi}=j\\ 0& \mathrm{otherwise}\end{array}\right.---\left(20\right),$

其中α_ij和β_ij如图(1)所示。

实验结果

使用BU-3DFED三维人脸表情数据库进行试验。该数据库中共有100个人(56个女性，44个男性)，2500个人脸深度数据。其中，每个人包含一个中性表情和六种情感表情，分别是愤怒，厌恶，恐惧，高兴，悲哀和惊讶。每种情感表情均有4种不同强度。本实验使用了全部100个人的高分辨率三维数据(每个模型包含大约8000个顶点，15000个三角面片)，并采用留一法验证本发明算法的有效性，即每次选一个人做测试，用剩余99个人的数据做训练，如此循环重复进行100次。

表情合成

图6给出了部分使用GPU进行表情合成的结果。每一行对应一个人的中性表情和6个合成的表情，从左到右依次是中性，合成愤怒，合成厌恶，合成恐惧，合成高兴，合成悲哀和合成惊讶。

GPU和CPU性能对比

本实验使用的机器配置为CPU Intel Core 2 Quad 2.666HZ，4GB内存和NVIDIA GeForce GTS 240显卡。表1给出了使用GPU加速前后算法性能的对比结果，使用GPU加速后的执行效率为GPU加速前的约13倍，其中构造测地法向空间的速度为GPU加速前的32倍，计算表情残差的速度为加速前的31.5倍。

表1使用GPU加速前后算法性能的对比结果

表情合成算法	GPU加速前(单位秒)	GPU加速后(单位秒)
			测地法向计算时间	6.227	0.191
表情残差计算时间	5.529	0.175
			RBF回归计算时间	0.093	0.093
泊松合成计算时间	0.524	0.524
			总执行时间	12.373	0.983

从上述实验结果可以看出，本发明方法可以有效地对一个三维中性模型进行表情合成，从而得到合成后的三维人脸表情模型。而且采用GPU的方法可以更加快捷准确地合成人脸表情。

Claims (10)

1.一种基于GPU的三维人脸表情合成方法，步骤如下：

1)三维人脸模型非刚性变形对齐：

将一个通用人脸网格模型向每一个待处理的三维人脸模型进行非刚性变形对齐，变形后的通用网格模型在形状上与原来的模型保持一致；用变形后的网格模型代替原来的三维人脸模型，用于后续步骤；

2)GPU加速的测地法向空间计算：

经过步骤1)处理后，选取某类中性表情模型若干个组成训练样本集，其中每个模型分别对应不同的人；利用GPU并行处理技术对该训练集中样本的法向量特征进行主测地分析，得到主测地子空间的投影矩阵，以及该训练样本集中的模型经投影后，在主测地子空间中的表示；从而完成GPU加速的测地法向空间计算；

3)GPU加速的表情残差空间计算：

按照步骤2)中的样本选取方法，将表情模型训练样本集中的每个情感模型和对应的中性表情模型，组成一个样本对；所有样本对组成表情残差模型训练样本集；对该样本集中的每个样本对，使用GPU并行计算它的两个三维人脸模型之间的表情残差向量；所有样本对的表情残差向量组成表情残差空间；

4)基于GPU的表情模型训练：

经过步骤2)和步骤3)的计算后，得到样本集在表情空间和表情残差空间中的表示；继而利用GPU的并行计算方法对上述两个空间进行径向基函数回归分析，从而实现基于GPU的表情模型训练；

5)表情残差推导及表情合成：

对每个测试的中性模型，首先按照步骤2)中方法计算其在表情子空间中的低维表示；其次利用步骤4)中得到的空间映射关系，推导出其表情残差；最后，利用变形技术将推导出的表情残差作用于测试中性模型，确定出向导，经过基于向导的梯度场计算，从而达到表情合成的目的。

2.根据权利要求1所述的基于GPU的三维人脸表情合成方法，其特征是：步骤(1)采用的变形方法是基于能量最小化的迭代变形方法，即定义了式(1)和(2)所示的两个能量函数，分别是：

平滑误差函数：

$E_s(G,O)=\mathrm{\δ}\underset{y_i\∈F_G}{\mathrm{\Σ}}\left(\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}{\left|\right|t_i-t_j\left|\right|}^2\right)+\underset{y_i\∉F_G}{\mathrm{\Σ}}\left(\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}{\left|\right|t_i-t_j\left|\right|}^2\right)---\left(1\right)$

和几何误差函数：

$E_g(G,O)=\mathrm{\δ}\underset{y_i\∈F_G}{\mathrm{\Σ}}\left({\left|\right|y_i+t_i-x_i\left|\right|}^2\right)+\underset{y_i\∉F_G}{\mathrm{\Σ}}\left({\left|\right|y_i+t_i-x_i\left|\right|}^2\right)---\left(2\right)$

而式(3)所示的全局误差函数为：

$\arg \underset{t}{\min }\mathrm{\λ}{E}_g(G,O)+(1-\mathrm{\λ})E_s(G,O)---\left(3\right)$

经过迭代地执行最小化全局误差函数，最终使得通用模型与原来的三维人脸模型形状保持一致。

3.根据权利要求1所述的基于GPU的三维人脸表情合成方法，其特征是：步骤2)的GPU加速的测地法向空间计算是使用GPU并行地对训练集中样本的法向量特征进行主测地分析，得到训练样本在主测地子空间中的表示，该子空间即为表情空间。

4.根据权利要求1所述的基于GPU的三维人脸表情合成方法，其特征是：步骤3)中的GPU加速的表情残差空间计算用于度量同一个人的情感模型和中性模型之间的变化差异，表情残差空间用于定量描述某种的表情变化规律，使用GPU并行计算同一个人的情感模型和中性模型之间表情残差。

5.根据权利要求1或4所述的基于GPU的三维人脸表情合成方法，其特征是：步骤3)中的GPU加速的表情残差空间计算采用GPU多线程并发执行的方式，每一个GPU线程计算对应三角面片的表情残差。

6.根据权利要求1所述的基于GPU的三维人脸表情合成方法，其特征是：步骤4)的基于GPU的表情模型训练是采用径向基函数回归的方法建立表情空间和表情残差空间之间的映射关系，利用GPU的并行计算方法对上述两个空间进行径向基函数回归分析，从而实现基于GPU的表情模型训练。

7.根据权利要求6所述的基于GPU的三维人脸表情合成方法，其特征是：步骤(4)中使用的径向基函数如下式(4)所示：

${\mathrm{\Δ}}_i=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}k(u_i^P,u_j^P)---\left(4\right)$

经过步骤(2)和(3)的计算后，可以获得训练集中的样本在表情空间中的向量表示

以及在表情残差空间中对应的向量表示Δ＝(Δ₁，...，Δ_N)，因此径向基函数回归的矩阵形式如公式(5)所示：

Δ＝W*K    (5)

通过求解W即可得到两个空间之间的映射关系。

8.根据权利要求1所述的基于GPU的三维人脸表情合成方法，其特征是：步骤(5)中采用的变形技术是基于泊松方程的变形技术，其线性系统的建立如下式：

AU＝b    (6)

其中U是变形后网格中任一待求解顶点的坐标分量，b是经过表情残差修改后的梯度向量场的散度，矩阵A是拉普拉斯算子在网格M上构建的一个稀疏矩阵。

9.根据权利要求1所述的基于GPU的三维人脸表情合成方法，其特征是：步骤(5)中采用的变形技术是用推导出的表情残差为变形向导。

10.根据权利要求9所述的基于GPU的三维人脸表情合成方法，其特征是：步骤(5)中基于向导的梯度场计算是对每个三角面片建立局部坐标系，然后用推导出的表情残差进行变换。

Images