CN106056650A - 基于快速表情信息提取和泊松融合的人脸表情合成方法 - Google Patents

Abstract

本发明公开了一种基于快速表情信息提取和泊松融合的人脸表情合成方法，主要解决现有技术不能快速有效提取表情细节信息，且不能将其信息合成到目标人脸上的问题。实现步骤是：1)依据脸部特征点数据得到对应表情模板；2)依据目标对象的表情形状模板将目标对象的中性表情图像和源对象的非中性表情图像变形到目标对象的非中性表情形状下；3)在频域提取源人物表情图像块形变后的表情细节信息；4)使用泊松融合的方法对提取的源对象表情细节进行滤波；5)对滤波后的表情细节信息，使用泊松融合的方法将其合成到目标对象的形变表情上，得到最终的合成结果。本发明所需样本量少，合成结果自然、逼真，可用于人物动画渲染、视频会议和人机交互。

Description

基于快速表情信息提取和泊松融合的人脸表情合成方法

技术领域

本发明属于计算机视觉与计算机图形学领域，特别涉及一种人脸表情合成方法。可用于人物动画渲染、视频会议和人机交互。

背景技术

面部表情是内在主观情绪的外部体现形式之一，具有丰富的表达力。由于人脸表情的多样性和复杂性，人脸表情合成不仅要考虑面部特征的整体运动和形变，还要考虑局部细微的表情纹理变化，这些表情细节往往能更好的反应人脸的表情变化，但是这些表情细节信息往往难以通过表情模拟来得到，可通过表情合成的方式得到逼真的表情细节。如何从源对象复杂的表情中提取表情细节纹理，并将其有效的合成到其他对象脸上，使得合成结果更加的自然、逼真仍然是一个有待探索的问题。

总体而言，现有表情合成方法主要包含基于网格变形的合成方法以及基于数据驱动的合成方法两大类。针对人脸结构的特殊性，所谓基于网格变形的表情合成技术，可以简单的概括为通过系统建模对人脸的三维网格进行变形处理，从而实现人脸表情的合成。这类方法从人脸表情形成的根本机理出发，充分模拟人脸形成表情时脸部结构单元的运动变化，其能产生丰富、自然的表情变化。但是这类方法存在一些缺点，在使用时，如果用少量的参数来模拟人脸表情，会丢失很多重要的表情细节信息，使得表情合成的结果不够真实；如果使用大量的参数来全方位的模拟人脸表情的变化，又会使得计算量过大和模型结构过于复杂，以致实用性比较差。针对这些问题，在实际使用中需要根据特定的要求来合理的构建人脸表情模型。其中典型的方法有德克萨斯A&M大学的Parke等人在文献“Parke F,WatersK.Computer facial animation.CRC Press,2008”中提出第一个参数化的虚拟人脸，其使用了两类参数，即脸部表情控制参数和特定人脸识别参数来分别描述人脸的动态表情和静态特征，通过这些参数的调整来实现表情的合成变化，由于选择的参数过于简单，使得这种方法模拟的人脸表情变化会丢失很多的细节纹理信息。

第二类是基于数据驱动的表情合成方法。其主要是利用已有的人脸表情数据来生成新的表情，或者从已有的表情数据中提取丰富的表情细节信息，再将这些表情细节信息合成至其他目标对象人脸上来模拟表情。典型的方法如微软的Zicheng Liu等人在文献“Liu Z,Shan Y,Zhang Z.Expressive expression mapping with ratio images.In:Proceedings of the 28th annual conference on Computer graphics andinteractive techniques,271-276，2001”中，从图像域提取表情比例图，并将此表情比例图合成到形变后的目标对象人脸上，这种方法能很好的提取表情纹理信息，实现逼真的表情合成，但是其缺点就是对光照的变化比较敏感。

这些表情合成方法主要依靠有效的从源带表情对象提取表情细节信息并将其充分的融合到目标对象这两方面。大多数方法都是在图像域实现表情细节信息的提取和合成。但是，基于图像域的处理方法易受光照和噪声的影响，提取出来的表情信息不够丰富；此外，这些方法经常需要源对象的一个中性表情人脸图像来作为提取表情细节信息的参考，这需要对齐源对象中性表情和非中性表情图像；并且这些方法大都通过简单的加权实现源对象表情细节和目标对象面部特征的融合，导致表情细节的丢失较为严重。为此，上述方法合成的面部表情效果往往不够显著，从而影响图像的视觉逼真度。

发明内容

本发明目的在于克服上述已有技术的不足，提出一种基于快速表情信息提取和泊松融合的人脸表情合成方法，以使合成的表情不仅能保持目标对象所特有的脸部特征，而且能够包含更多的源对象所特有的表情细节信息，达到自然、逼真的合成效果。

为实现上述目的，本发明的技术方案包括如下步骤：

(1)依据源对象的中性表情和非中性表情的人脸显著特征点的位置差异，得到目标对象在非中性表情下的人脸显著特征点形状模板：

(1a)从未标注的多表情人脸数据集中得到人脸的外轮廓、眉毛、眼睛、鼻子和嘴轮廓的显著特征点位置数据，并将这些显著特征点位置数据信息标注在人脸对应的各区域的轮廓上，依据标注结果对数据集进行筛选，得到标注准确的多表情数据集；

(1b)从标注准确的多表情数据集中选择一组源对象和目标对象，根据源对象的中性表情和非中性表情的人脸显著特征点的位置差异计算相应的表情差异向量D：

D＝S_e-S_n，

其中，S_e和S_n分别为源对象对应非中性表情图像和中性表情图像的人脸显著特征点位置信息；

(1c)根据表情差异向量D和目标对象中性表情图像对应的人脸显著特征点位置信息T_n，得到目标对象在非中性表情下的形状模板T_e：

T_e＝D*T_n

(2)依据目标对象的表情形状模板T_e将目标对象的中性表情图像和源对象的非中性表情图像变形到目标对象的非中性表情形状下；

(3)通过快速傅立叶变换方法将形变后的源对象的非中性表情图像变换到频域，在频域提取该形变后源对象的表情细节；

(4)使用泊松融合的方法对提取的源对象表情细节进行滤波，减少合成结果中鼻子区域的重影；

(5)对滤波后的表情细节信息，使用泊松融合的方法将其合成到目标对象的形变表情上，得到最终的合成结果。

本发明与已有的人脸表情合成方法相比，具有以下优点：

1)本发明由于直接根据源对象非中性表情和中性表情人脸显著特征点的位置差异计算相应的表情差异向量，将其与目标对象中性表情人脸显著特征点位置信息相结合，得到目标对象在非中性表情下的形状模板，减少了样本数量，克服了传统方法需要大量的训练样本来得到每个表情下的平均表情形状的缺点；

2)本发明由于从图像的频域特性出发来分析和提取源非中性表情对象的表情纹理细节信息，相比基于图像域的表情细节提取方法，该方法能提取更多、更精细的表情细节信息。

3)本发明由于考虑了对提取的表情细节信息使用泊松融合的方法进行滤波处理，使得处理后的表情细节更加的鲁棒，减少了合成结果中鼻子区域的重影，有效的保持了目标对象人脸的光照和肤色信息。

4)本发明由于使用了泊松融合的方法将提取的源对象的表情细节信息合成到目标对象上，使得合成的目标对象的表情不仅能有效的保留目标对象特有的脸部特征，而且还包含了源对象的丰富表情细节信息。

附图说明

图1是本发明的实现总流程图；

图2是本发明对多表情人脸图像进行形状标记和Delaunay三角划分的示意图；

图3是本发明使用泊松融合的方法对表情细节信息滤波处理后的示意图；

图4是本发明中使用泊松融合的方法进行表情合成的子流程图。

具体实施方式

下面将结合附图对本发明的具体实例和效果进行详细描述。

参照图1，本发明基于快速表情信息提取和泊松融合的人脸表情合成方法主要包括如下步骤：

步骤一，依据源对象的中性表情和非中性表情的人脸显著特征点的位置差异，得到目标对象在非中性表情下的人脸显著特征点形状模板。

本发明使用Multi-PIE数据集作为多表情人脸数据集，Milti-PIE数据集中包含337个对象，每个对象有15种姿态信息和20种光照条件，根据采集时间的不同，每个采集时间节点采集了不同的表情图像。本发明选取了Multi-PIE数据集中的400个表情序列，每个表情序列都包括人脸中性表情和非中性表情，其中高兴的表情序列100个，惊讶的表情序列100个，厌恶的表情序列100个，尖叫的表情序列100个。

利用上述数据集，本步骤的实现如下：

(1a)从未标注的多表情人脸数据集中得到人脸的外轮廓、眉毛、眼睛、鼻子和嘴轮廓的显著特征点位置数据，并将这些显著特征点位置数据信息标注在人脸对应的各区域的轮廓上，依据标注结果对数据集进行筛选，得到标注准确的多表情数据集：

(1b)从标注准确的多表情数据集中选择一组源对象和目标对象，根据源对象的中性表情和非中性表情的人脸显著特征点的位置差异计算相应的表情差异向量D：

D＝S_e-S_n，

其中，S_e和S_n分别为源对象对应非中性表情图像和中性表情图像的人脸显著特征点位置信息；

(1c)根据表情差异向量D和目标对象中性表情图像对应的人脸显著特征点位置信息T_n，得到目标对象在非中性表情下的形状模板T_e：

T_e＝D*T_n.

步骤二，依据目标对象的表情形状模板T_e将目标对象的中性表情图像和源对象的非中性表情图像变形到目标对象的非中性表情形状下。

根据图像特征基元的不同，图像变形的方法主要分三类：基于点的变形、基于线的变形和基于面的变形，其中，基于点的变形的主要思想是通过学习像素点形变前后之间的映射关系，得到对应特征点之间的空间映射函数，依据空间映射函数实现图像变形，这种基于点的变形方法的代表性方法是基于径向基函数的变形算法，基于线的变形方法的主要思想是用建立起来的那些特征线对表示图像上对应像素点的位置，这些像素点到特征线的距离及其综合后的结果距离决定每个像素点在图像的偏移量，这种基于线的变形方法的代表性方法是基于特征线对的图像变形算法，基于面的变形的主要思想是将整幅图像切分为若干个四边形或三角形，用各个小块的变形结果拼接在一起组成一个整体结果来操作整幅图像的变形，这种基于面的变形方法的代表性方法是基于三角剖分的变形算法，结合人脸图像的结构信息，本实例采用的是基于面的变形算法中的Delaunay三角剖分的变形算法，其步骤如下：

(2a)取目标对象中性表情图像和源对象的非中性表情图像，根据人脸显著特征点位置数据分别进行Delaunay三角划分，将人脸表示成若干三角形所组成的网格，其中目标对象中性表情图像的三角划分结果如附图2(a)所示；

(2b)按照目标对象中性表情和目标对象非中性表情形状模板的三角形之间的对应关系，通过仿射变换将目标对象的中性表情图像映射到目标对象的非中性表情形状下，得到目标对象的中性表情形变图，如附图2(b)所示。

(2c)按照源对象非中性表情和目标对象非中性表情形状模板的三角形之间的对应关系，通过仿射变换将源对象的非中性表情图像映射到目标对象的非中性表情形状下，得到源对象的非中性表情形变图。

步骤三，通过快速傅立叶变换方法将形变后的源对象的非中性表情图像变换到频域，在频域提取该形变后源对象的表情细节。

目前对于细节信息的提取方法主要分为基于图像域的细节信息提取方法和基于变换域的细节信息提取方法，基于图像域的细节信息提取方法的主要思想是通过源对象非中性表情图像和源对象中性表情形变后的图像在图像域做差，得到的差值就是提取出来的表情细节信息，这种方法得到的结果会包含很多的噪声信息，并且提取的表情细节信息不够全面，不能很好的应用到表情合成中，基于变换域的表情细节信息提取方法的主要思想将源对象非中性表情图像变换到其他图像域，在变换后的图像域中提取表情细节信息，这种方法的代表性方法是基于小波变换的信息提取方法和基于快速傅立叶变换的信息提取方法，基于小波变换的信息提取方法的处理速度比较慢，本实例使用基于变换域的表情细节信息提取方法中的基于快速傅里叶变换FFT细节信息的提取，其步骤如下：

(3a)对源对象非中性表情图像按目标对象表情模板形变后得到的源对象的非中性表情形变图进行快速傅里叶变换FFT，以得到表情图像的频谱图：

F(u,v)＝FFT(f(x,y))，

其中，f(x,y)表示源对象的非中性表情形变图，F(u,v)代表源对象的非中性表情形变图对应的频谱图；

(3b)选定表情图像频谱图的截止频率ε，该截止频率ε的理想取值范围是ε∈(0.3,5)，本实例统一取截止频率ε为等于1的常量，依据截止频率ε在频域提取表情图像的表情细节信息；

(3c)对频域提取得到的源对象表情细节信息频谱图进行傅里叶逆变换IFFT，得到源对象在图像域中的表情细节信息。

步骤四，使用泊松融合的方法对提取的源对象表情细节进行滤波，减少合成结果中鼻子区域的重影。

常用的图像滤波去噪算法通常可以分为两大类，一类是对图像进行全局处理，一类是使用局部算子，全局处理的主要思想是先对图像进行数学变换，然后再在变换域中进行滤波，最后进行逆变换得到去噪后的图像，使用局部算子的方法的主要思想是对含噪图像的某一像素进行处理，仅对该像素使用的局部算子，适用于无法或不便估计噪声模型的情况，这类方法主要包括传统的领域平均法、中值滤波算法、模板平滑算法和泊松融合的方法，其中领域平均法、中值滤波算法和模板平滑算法这些传统方法的一个共同缺点就是有效滤除图像中噪声的同时，会使图像的边缘及细节变得较为模糊，这在一定程度上影响了图像的处理效果，不符合保持尽量多的细节信息的初衷，考虑到光照因素在表情细节图像中的空间位置信息，本实例使用局部算子方法中的泊松融合的方法对提取的源对象表情细节进行滤波，其步骤如下：

(4a)依据得到的人脸表情模板提取出人脸鼻子处的特征点位置数据；

(4b)由得到的特征点位置数据在表情细节图像中确定一个矩形框区域，如附图3(a)所示；

(4c)对表情细节图像的矩形框区域，计算它的指导梯度场投影值

$v_{pq}^n={\mathrm{\α}}^{\mathrm{\β}}|f_p^n-f_q^n{|}^{-\mathrm{\β}}\·(f_p^n-f_q^n),$

其中α为等于0.05的常量，β为等于0.6的常量，p为矩形框区域内的像素点，q为矩形框区域内像素点p的领域像素点，为表情细节图像矩形框区域内像素点p和领域像素点q的指导梯度场投影值，为表情细节图像在矩形框区域内像素点p处的像素值，为表情细节图像在矩形框区域内像素点q处的像素值；

(4d)依据表情细节图像的矩形框区域的指导梯度场投影值将表情细节图像滤波问题转化为求解如下最小化问题：

$\underset{f{|}_{\mathrm{\&Omega;}}}{\min }\underset{<p,q>\&cap;\mathrm{\&Omega;}\&NotEqual;0}{\&Sigma;}{(f_p-f_q-v_{pq}^n)}^2,$

其中Ω为表情细节图像需要滤波的矩形框区域，为矩形框区域Ω的边界，<p,q>为矩形框区域Ω的像素点p和像素点q组成的邻域像素对，f_p表示待求的滤波后的表情细节图像在像素点p处的像素值，f_q表示待求的滤波后的表情细节图像在像素点q处的像素值，表示整幅表情图像在矩形框区域Ω外的图像在像素点p处的像素值，对于像素点满足

(4e)在(4d)的最小化问题加上狄利克雷边界条件，得到带狄利克雷边界条件的最小化问题，该带狄利克雷边界条件最小化问题的解满足以下联立线性等式：

$\left|N_p\right|f_p-\underset{q\&Element;N_p\&cap;\mathrm{\&Omega;}}{\&Sigma;}{f}_q=\underset{q\&Element;N_p\&cap;\&part;\mathrm{\&Omega;}}{\&Sigma;}{f}_q^{*}+\underset{q\&Element;N_p}{\&Sigma;}{v}_{pq}^n,$

其中表示整幅表情图像除去区域Ω后的图像在像素点的q处的像素值，N_p为区域Ω内像素点p的四邻域；

(4f)使用Guass-Seidel迭代法来求解(4e)的联立线性等式，得到滤波后表情细节图像在像素点p处的像素值f_p，使用像素值f_p来更新区域Ω中p处的像素值，得到滤波后的表情细节图像，如附图3(b)所示。

步骤五，对滤波后的表情细节信息，使用泊松融合的方法将其合成到目标对象的形变表情上，得到最终的合成结果。

目前，对于表情细节信息和目标对象形变表情图像的融合，主要是在图像域或者在空间域先利用表情细节图像计算一个平衡因子，再用平衡因子分别处理表情细节图像和目标对象形变表情图像，最后直接将这两部分相加，得到最终的表情合成图像，考虑到表情细节信息的结构性，本实例使用泊松融合的方法先计算表情细节图像的梯度场投影值，再用该梯度场投影值来指导目标对象中性表情形变后图像的插值，得到最终的表情合成结果。

参照图4，本步骤的具体实现如下：

(5a)计算滤波后表情细节图像的梯度场投影值

$v_{p_1{q}_1}^{*}=f_{p_1}-f_{q_1},$

其中p₁为滤波后表情细节图像的像素点，q₁为像素点p₁的领域像素点，表示滤波后表情细节图像在像素点p₁处的像素值，表示滤波后表情细节图像在像素点q₁处的像素值；

(5b)依据滤波后表情细节图像的梯度场投影值将人脸表情合成问题转化为求解如下最小化问题：

$\underset{g{|}_{{\mathrm{\&Omega;}}^{*}}}{\min }\underset{<p_1,q_1>\&cap;{\mathrm{\&Omega;}}^{*}\&NotEqual;0}{\&Sigma;}{(g_{p_1}-g_{q_1}-{v^{*}}_{p_1{q}_1})}^2,$

其中Ω^*为形变后目标对象图像需要合成的区域，为区域Ω^*的边界，g为形变后的目标对象图像，<p₁,q₁>为区域Ω^*的像素点p₁和领域像素点q₁组成的邻域像素对，表示待求的表情合成图像在像素点p₁处的像素值，表示待求的表情合成图像在像素点q₁处的像素值，表示形变后的目标对象图像在区域Ω^*大小外的图像在像素点的p₁处的像素值，对于像素点满足

(5c)对(5b)的最小化问题加上狄利克雷边界条件，得到带狄利克雷边界条件的最小化问题，该带狄利克雷边界条件最小化问题的解满足以下联立线性等式：

$\left|N_{p_1}\right|g_{p_1}-\underset{q_1\&Element;N_{p_1}\&cap;{\mathrm{\&Omega;}}^{*}}{\&Sigma;}{g}_{q_1}=\underset{q_1\&Element;N_{p_1}\&cap;\&part;{\mathrm{\&Omega;}}^{*}}{\&Sigma;}{g}_{q_1}^{*}+\underset{q_1\&Element;N_{p_1}}{\&Sigma;}{v^{*}}_{p_1{q}_1},$

其中表示形变后的目标对象图像除去区域Ω^*后的图像在像素点的q₁处的像素值，为区域Ω^*内像素点p₁的四邻域；

(5d)使用Guass-Seidel迭代法求解(5c)的联立线性等式，得到目标对象的表情合成图在像素点p₁处的像素值使用像素值更新目标对象区域Ω^*中p₁处的像素值，得到最终的合成结果，

以上实例仅用以说明本发明的技术方案而非限制，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神范围，如将步骤三中用快速傅立叶变换FFT替换为离散傅立叶变换DFT进行频域分析的方法，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.基于快速表情信息提取和泊松融合的人脸表情合成方法，其特征在于：包括：

(1)依据源对象的中性表情和非中性表情的人脸显著特征点的位置差异，得到目标对象在非中性表情下的人脸显著特征点形状模板：

(1a)从未标注的多表情人脸数据集中得到人脸的外轮廓、眉毛、眼睛、鼻子和嘴轮廓的显著特征点位置数据，并将这些显著特征点位置数据信息标注在人脸对应的各区域的轮廓上，依据标注结果对数据集进行筛选，得到标注准确的多表情数据集；

(1b)从标注准确的多表情数据集中选择一组源对象和目标对象，根据源对象的中性表情和非中性表情的人脸显著特征点的位置差异计算相应的表情差异向量D：

D＝S_e-S_n，

其中，S_e和S_n分别为源对象对应非中性表情图像和中性表情图像的人脸显著特征点位置信息；

(1c)根据表情差异向量D和目标对象中性表情图像对应的人脸显著特征点位置信息T_n，得到目标对象在非中性表情下的形状模板T_e：

T_e＝D*T_n

(2)依据目标对象的表情形状模板T_e将目标对象的中性表情图像和源对象的非中性表情图像变形到目标对象的非中性表情形状下；

(3)通过快速傅立叶变换方法将形变后的源对象的非中性表情图像变换到频域，在频域提取该形变后源对象的表情细节；

(4)使用泊松融合的方法对提取的源对象表情细节进行滤波，减少合成结果中鼻子区域的重影；

(5)对滤波后的表情细节信息，使用泊松融合的方法将其合成到目标对象的形变表情上，得到最终的合成结果。

2.根据权利要求1所述的一种快速表情信息提取和泊松融合的人脸表情合成方法，其特征在于：所述步骤(3)按如下步骤进行：

(3a)对源对象表情图像按目标对象表情模板形变后对应的表情图像进行快速傅里叶变换FFT，以得到表情图像的频谱图；

(3b)选定表情图像频谱图的截止频率，在频域提取表情图像的表情细节信息；

(3c)对频域提取得到的源对象表情细节信息频谱图进行傅里叶逆变换IFFT，得到源对象在图像域中的表情细节信息。

3.根据权利要求1所述的快速表情信息提取和泊松融合的人脸表情合成方法，其特征在于：所述步骤(4)中使用泊松融合的方法对提取的源对象表情细节进行滤波，按如下步骤进行：

(4a)依据得到的目标对象人脸表情模板提取出人脸鼻子处的特征点位置数据；

(4b)由得到的特征点位置数据在表情细节图像中确定一个矩形框区域；

(4c)对表情细节图像的矩形框区域，计算它的指导梯度场投影值

$v_{pq}^n={\mathrm{\&alpha;}}^{\mathrm{\&beta;}}|f_p^n-f_q^n{|}^{-\mathrm{\&beta;}}\&CenterDot;(f_p^n-f_q^n)$

其中α为等于0.05的常量，β为等于0.6的常量，p为矩形框区域内的像素点，q为矩形框区域内像素点p的领域像素点，为表情细节图像矩形框区域内像素点p和领域像素点q的指导梯度场投影值，为表情细节图像在矩形框区域内像素点p处的像素值，为表情细节图像在矩形框区域内像素点q处的像素值；

(4d)依据表情细节图像的矩形框区域的指导梯度场投影值将表情细节图像滤波问题转化为求解如下最小化问题：

$\underset{f{|}_{\mathrm{\&Omega;}}}{\min }\underset{<p,q>\&cap;\mathrm{\&Omega;}\&NotEqual;0}{\&Sigma;}{(f_p-f_q-v_{pq}^n)}^2$

其中Ω为表情细节图像需要滤波的矩形框区域，为矩形框区域Ω的边界，<p,q>为矩形框区域Ω的像素点p和像素点q组成的邻域像素对，f_p表示待求的滤波后的表情细节图像在像素点p处的像素值，f_q表示待求的滤波后的表情细节图像在像素点q处的像素值，表示整幅表情图像在矩形框区域Ω外的图像在像素点p处的像素值，对于像素点满足

(4e)对(4d)的最小化问题加上狄利克雷边界条件，得到带狄利克雷边界条件的最小化问题，该带狄利克雷边界条件最小化问题的解满足以下联立线性等式：

$\left|N_p\right|f_p-\underset{q\&Element;N_p\&cap;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}{f}_q=\underset{q\&Element;N_p\&cap;\&part;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}{f}_q^{*}+\underset{q\&Element;N_p}{\mathrm{\&Sigma;}}{v}_{pq}^n$

其中表示整幅表情图像除去区域Ω后的图像在像素点的q处的像素值，N_p为区域Ω内像素点p的四邻域；

(4f)使用Guass-Seidel迭代法来求解(4e)的联立线性等式，得到滤波后表情细节图像在像素点p处的像素值f_p，使用像素值f_p来更新区域Ω中p处的像素值，得到滤波后的表情细节图像。

4.根据权利要求1所述的一种快速表情信息提取和泊松融合的人脸表情合成方法，其特征在于：所述步骤(5)按如下步骤进行：

(5a)计算滤波后表情细节图像的梯度场投影值

$v_{p_1{q}_1}^{*}=f_{p_1}-f_{q_1}$

其中p₁为滤波后表情细节图像的像素点，q₁为像素点p₁的领域像素点，表示滤波后表情细节图像在像素点p₁处的像素值，表示滤波后表情细节图像在像素点q₁处的像素值；

(5b)依据滤波后表情细节图像的梯度场投影值将人脸表情合成问题转化为求解如下最小化问题：

$\underset{g{|}_{{\mathrm{\&Omega;}}^{*}}}{\min }\underset{<p_1,q_1>\&cap;{\mathrm{\&Omega;}}^{*}\&NotEqual;0}{\&Sigma;}{(g_{p_1}-g_{q_1}-{v^{*}}_{p_1{q}_1})}^2$

其中Ω^*为形变后目标对象图像需要合成的区域，为区域Ω^*的边界，g为形变后的目标对象图像，<p₁,q₁>为区域Ω^*的像素点p₁和领域像素点q₁组成的邻域像素对，表示待求的表情合成图像在像素点p₁处的像素值，表示待求的表情合成图像在像素点q₁处的像素值，表示形变后的目标对象图像在区域Ω^*大小外的图像在像素点的p₁处的像素值，对于像素点满足

(5c)对(5b)的最小化问题加上狄利克雷边界条件，得到带狄利克雷边界条件的最小化问题，该带狄利克雷边界条件最小化问题的解满足以下联立线性等式：

$\left|N_{p_1}\right|g_{p_1}-\underset{q_1\&Element;N_{p_1}\&cap;{\mathrm{\&Omega;}}^{*}}{\mathrm{\&Sigma;}}{g}_{q_1}=\underset{q_1\&Element;N_{p_1}\&cap;\&part;{\mathrm{\&Omega;}}^{*}}{\mathrm{\&Sigma;}}{g}_{q_1}^{*}+\underset{q_1\&Element;N_{p_1}}{\mathrm{\&Sigma;}}{v^{*}}_{p_1{q}_1}$

其中表示形变后的目标对象图像除去区域Ω^*后的图像在像素点的q₁处的像素值，为区域Ω^*内像素点p₁的四邻域；

(5d)使用Guass-Seidel迭代法求解(5c)的联立线性等式，得到目标对象的表情合成图在像素点p₁处的像素值使用像素值更新目标对象区域Ω^*中p₁处的像素值，得到最终的合成结果。