CN103268623B - 一种基于频域分析的静态人脸表情合成方法 - Google Patents

Abstract

一种基于频域分析的静态人脸表情合成方法，包括如下步骤：(1)多表情人脸图像的对齐步骤；(2)将源人物和目标人物的中性表情变形到源人物表情的形状下；(3)在频域提取源人物的表情细节；(4)计算目标人物特有的面部特征子图像；(5)将源人物的表情细节子图像与目标人物特有的面部特征子图像相融合，得到最终的表情转移图像。本发明所需样本量少；从图像的频域特性出发，能更好的提取人脸图像的表情细节，且合成图像不受光照变化的影响，鲁棒性好；通过人脸表情的迁移，合成的人脸图像既保留了目标人物特有的面部特征又包含了源人物的表情细节，将目标人物特有的面部特征和源人物的表情细节有机的结合在一起，因此合成的人脸表情更自然、更逼真。

Description

一种基于频域分析的静态人脸表情合成方法

技术领域

本发明属于计算机视觉与计算机图形学领域，特别涉及一种基于频域分析的静态人脸表情合成方法。

背景技术

面部表情是一种微妙的形体语言，也是人们传递情感信息的重要手段，对人脸图像进行表情分析，可有效洞悉人物的内心世界。美国心理学家AlbertMehrabian的研究表明，在人们面对面进行的交流中，面部表情传递的信息量可达55%，可见表情使得人际交往更为生动。近年来，人脸表情的合成在计算机视觉和图形学领域中的人物动画合成、人机交互和电视会议等应用中备受关注。人脸表情的变化不仅包括整体面部特征的运动变形(如嘴和眼睛的睁开或闭合)，而且包括局部外观的细微变化(如人脸皮肤局部的褶皱和凸凹)，这些局部的细节往往是判定表情的重要视觉线索，然而它们合成起来却非常困难。因此，如何生成自然、逼真的人脸表情仍然是一个有待探索的问题。

目前，人脸表情合成的研究主要包含基于静态和动态人脸表情合成方法两大类。由于人脸在表情变化时会引起眼部和嘴部等器官的形变，最直观的静态表情合成方法是基于形变的合成技术。该技术给定或者训练出待合成表情的形状，然后将中性表情人脸的纹理都映射到目标表情形状下，从而实现人脸表情的合成。该类技术考虑了表情变化过程中特征点的运动，但是忽略了表情变化过程中人脸表面诸多微小的褶皱等的变化。为准确的表达人脸的几何和纹理变化，研究人员通常采用主动表观模型（Activeappearancemodel,AAM）将人脸分为形状和纹理分量，通过对人脸纹理分量的进一步合成来得到人脸表情细节。典型的方法有微软的ZichengLiu等人在文献“LiuZ,ShanY,ZhangZ.Expressiveexpressionmappingwithratioimages.In:ProceedingsofInternationalConferenceonComputerGraphicsandInteractiveTechniques,271-276,2001”中将图像表情率(目标表情到中性表情的变化)和形变模型相结合以合成带表情细节的人脸纹理。新加坡国立大学的HuangDong等人在文献“HuangD,TorreF.Bilinearkernelreducedrankregressionforfacialexpressionsynthesis.In:ProceedingsoftheEuropeanConferenceonComputerVision,364-377,2010”中融合形变的纹理和双线性核降秩回归法合成多表情人脸，该方法既保持合成目标特有的纹理，又保持了训练样本的平均表情细节。

第二类是动态人脸表情合成技术。主要通过人脸的三维模型或者表情流形合成人脸的动态表情。典型的方法如韩国电子通信研究院的HyewonPyun等在文献“PyunH,KimY,ChaeW,etal.Anexample-basedapproachforfacialexpressioncloning.In:ProceedingsoftheEurographicsSymposiumonComputeranimation,167-176,2003”中用计算机图形学的方法合成了三维人脸动画模型。韩国浦项市科技大学的Lee等在文献“LeeH,KimD.Tensor-basedAAMwithcontinuousvariationestimation:Applicationtovariationrobustfacerecognition.IEEETransactiononPatternAnalysisandMachineIntelligence,31(6):1102-1116,2009”中提出了基于非线性张量脸的多表情人脸生成模型。该模型对AAM对齐后的人脸图像分离身份和表情的因素，并构建表情流形，沿着流形的变化，合成出训练图像的动态表情。但是，该文没有涉及身份未知图像的表情合成。

以上合成的表情具有平均性，人脸上有20余组面部肌肉受面神经的支配，面神经控制着表情的变化。这些面部肌肉运动的组合方法不计其数，因此，面部表情常因人而异。研究表明，不同人在做某个相同表情时的风格未必相似。如不同的人在欢乐或者悲伤时的表情相差很大，但总体的面部特征运动又有相似之处。因此，研究特定人物的表情迁移，即将源人物的表情复制在目标人物的脸上的方法在实际中有广泛的应用前景。而已有的人脸一般表情合成或表情迁移方法都是基于时域特征进行人脸表情纹理的合成，而表情细节往往在频域有比较明显的变化，为此，上述方法往往合成的人脸表情不够显著，从而影响图像的视觉逼真度。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种基于频域分析的特有人脸的静态表情迁移合成方法，使合成的表情图像既保持目标人物的面部外貌，又包含源人物的表情细节，实现自然、逼真的静态人脸表情迁移。

为实现上述目的，本发明的技术方案包括如下步骤：

(1)多表情人脸图像的对齐步骤，其包括；

(1.1a)对多表情人脸数据集，根据脸的轮廓、眉毛、眼睛、鼻子和嘴的位置，将特征点标注在各区域的轮廓线上得到人脸图像的形状；

(1.1b)采用AAM模型分离人脸的形状和纹理信息，由标定好的人脸形状得到各个表情下的平均形状；

(1.1c)通过Delaunay三角划分和仿射变换将人脸纹理变形到平均人脸形状下；

(2)将源人物和目标人物的中性表情变形到源人物表情的形状下；

(3)在频域提取源人物的表情细节；

(4)计算目标人物特有的面部特征子图像；

(5)将源人物的表情细节子图像与目标人物特有的面部特征子图像相融合，得到最终的表情转移图像。

在上述技术方案的基础上，所述步骤(3)包括如下步骤：

(2a)对源人物的形变表情图像和带表情人脸图像分别做一级二维离散小波分解，得到两组分解后的图像，每组图像都包含四个频带上的子图像，分别是：低频子图像、垂直高频子图像、水平高频子图像和对角高频子图像；

(2b)将上述两组频率域的子图像按照频带对应相减，得到四个差异子图像；

(2c)将差异子图像进行归一化，求出合成图像时各个频带上所需的权值m；

(2d)通过如下函数分别提取源人物在4个频带上的表情细节子图像：

$S_{\mathrm{ll}}^d=S_{\mathrm{ll}}^e\·(m_{\mathrm{ll}}+\mathrm{\ϵ})$

$S_{\mathrm{lh}}^d=S_{\mathrm{lh}}^e\·(m_{\mathrm{lh}}+\mathrm{\ϵ})$

$S_{\mathrm{hl}}^d=S_{\mathrm{hl}}^e\·(m_{\mathrm{hl}}+\mathrm{\ϵ})$

$S_{\mathrm{hh}}^d=S_{\mathrm{hh}}^e\·(m_{\mathrm{hh}}+\mathrm{\ϵ})$

其中，表示提取的源人物的表情细节，表示源人物带表情图像小波分解后的系数，{m_ll,m_lh,m_hl,m_hh}代表合成图像时各个频带上所需的权值，下标ll,lh,hl,hh分别代表低频、垂直高频、水平高频和对角高频子图像，ε是一个常系数调节因子，且ε的取值范围在0.1～0.4之间。

在上述技术方案的基础上，计算各个频带上所需的权值m，按如下过程进行：

(3a)对源人物的形变表情图像和带表情人脸图像分别做一级二维离散小波分解，得到两组分解后的图像，每组图像都包含低频、垂直高频、水平高频和对角高频四个频带上的子图像；

(3b)m计算方法如下：

m＝(S^e-S^w)/rang(S^e-S^w)

其中，S^e为源人物带表情人脸图像经小波分解后在该频带上的子图像，S^w为源人物形变表情图像经小波分解后在该频带上的子图像，rang(S^e-S^w)＝max(S^e-S^w)-min(S^e-S^w)表示对应频带的频率范围。

在上述技术方案的基础上，步骤(4)所述的计算目标人物特有的面部特征子图像，按如下过程进行：

(4a)对目标人物形变出的中性表情纹理图像进行一级二维离散小波分解，得到低频、垂直高频、水平高频和对角高频四个频带上的子图像，分别用 $\{T_{\mathrm{ll}}^w,T_{\mathrm{lh}}^w,T_{\mathrm{hl}}^w,T_{\mathrm{hh}}^w\}$ 表示；

(4b)通过如下规则求得目标人物特有的面部特征子图像：

$T_{\mathrm{ll}}^e=T_{\mathrm{ll}}^w\·(1-|m_{\mathrm{ll}}|-\mathrm{\ϵ})$

$T_{\mathrm{lh}}^e=T_{\mathrm{lh}}^w\·(1-|m_{\mathrm{lh}}|-\mathrm{\ϵ})$

$T_{\mathrm{hl}}^e=T_{\mathrm{hl}}^w\·(1-|m_{\mathrm{hl}}|-\mathrm{\ϵ})$

$T_{\mathrm{hh}}^e=T_{\mathrm{hh}}^w\·(1-|m_{\mathrm{hh}}|-\mathrm{\ϵ})$

其中，分别表示各个频带上目标人物特有的面部特征子图像。

在上述技术方案的基础上，步骤(5)所述的将源人物的表情细节子图像与目标人物特有的面部特征子图像相融合，按如下过程进行：

(5a)将源人物的表情细节子图像与目标人物特有的面部特征子图像分别在对应频带上相加，生成四个频带上的合成子图像；

(5b)对上述四个合成子图像做二维逆离散小波变换，生成最终的表情转移图像。

相对于现有技术，本发明将目标人物特有的面部特征和源人物的表情细节融合在一起，这样合成的人脸表情看起来更为逼真。本发明在合成图像时，只需给出源人物的中性表情和带表情图像，所需样本量少；并且本发明从图像的频域特性出发，相比已有的图像域合成方法，能更好的提取人脸图像的表情细节，且合成图像不受光照变化的影响，鲁棒性好；通过人脸表情的迁移，合成的人脸图像既保留了目标人物特有的面部特征又包含了源人物的表情细节，因此，合成具有个性的人脸表情，使得本发明使用范围更广；并且本发明提出的融合方法将目标人物特有的面部特征和源人物的表情细节有机的结合在一起，因此合成的人脸表情更自然、更逼真。

附图说明

图1是本发明提出的多表情人脸合成流程框图；

图2是本发明提出的静态人脸表情合成方法的详细示意图；

图3是对多表情人脸进行形状标记和Delaunay三角划分的示意图；

图4是合成效果图。

具体实施方式

下面将结合附图及具体实例对本发明进行详细描述。

参照图1和图2，本发明的频域人脸静态表情合成方法主要包括如下步骤：

步骤一，多表情人脸图像的对齐：

(1a)用AAM模型将人脸分为形状和纹理两个部分进行信息建模，人脸形状由附图3所示的人脸显著特征点(如眼睛、眉毛、嘴巴等的轮廓特征点)组成，而人脸纹理就是指覆盖在人脸轮廓内的图像像素信息；

(1b)根据标定好的人脸样本形状得到各个表情下的平均形状，然后将人脸样本变形到平均人脸形状下，从而实现多表情人脸样本的对齐，得到与形状无关的纹理信息，具体过程如下：

对人脸形状特征点进行Delaunay三角剖分，可将人脸表示成若干三角形所组成的网格，如附图3所示，将每张人脸按照当前形状与平均形状之间的三角形对应关系通过仿射变换变形到该表情的平均形状下，三角形I(其顶点坐标用矩阵I表示)变形到三角形I′(其顶点坐标用矩阵i表示)的过程描述如下：

对应三角形间的仿射变换矩阵A可由下式表示，

A＝I×i^T

其矩阵表示如下：

$\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ a_4& a_5& a_6\\ 0& 0& 1\end{array}\right]=\left[\begin{array}{ccc}{X}_1& X_2& X_3\\ Y_1& Y_2& Y_3\\ 1& 1& 1\end{array}\right]\×{\left[\begin{array}{ccc}{x}_1& x_2& x_3\\ y_1& y_2& y_3\\ 1& 1& 1\end{array}\right]}^T$

a₁～a₆为仿射变换系数，(x₁,y₁),(x₂,y₂),(x₃,y₃)为平均脸上对应三角形的三个顶点的坐标，(X₁,Y₁),(X₂,Y₂),(X₃,Y₃)分别表示待变换三角形的对应顶点的坐标，i^T表示矩阵i的转置。

由上述求得的仿射变换矩阵A，可求得与平均人脸三角形I′的任一点o(o_x,o_y)相对应的点O(O_x,O_y)在三角形I内的坐标。因为三角形I所对应的人脸图像是已知的，所以三角形内所有的坐标点的灰度值是已知的，用下式所示的方法将O点的灰度值映射到o点。

$\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ a_4& a_5& a_6\\ 0& 0& 1\end{array}\right]\×\left[\begin{array}{c}{o}_x\\ o_y\\ 1\end{array}\right]=\left[\begin{array}{c}{O}_x\\ O_y\\ 1\end{array}\right]$

当计算出来的O点坐标为小数时，从O点周围的值插值得到o的灰度。对人脸形状上的三角形逐个进行上述操作，即可实现任意表情人脸到其对应表情下的平均形状的对齐。

步骤二，将源人物和目标人物的中性表情变形到源人物的表情形状下：

(2a)取源人物和目标人物的中性表情人脸图像，利用AAM提取它们各自的纹理信息，对提取的纹理信息进行Delaunay三角划分；

(2b)通过仿射变换将源人物和目标人物的中性表情的纹理映射到源人物带表情人脸的形状下，分别得到形变后的源人物和目标人物的形变表情图像。

步骤三，在频域提取源人物的表情细节：

(3a)分别用和表示源人物带表情人脸图像和形变表情纹理图像小波分解后的系数，其中，下标ll,lh,hl,hh分别代表低频、垂直高频、水平高频和对角高频子图像；

(3b)将上述小波分解得到的两组系数分别按照频带对应相减，得到四个差异子图像，分别用{D_ll,D_lh,D_hl,D_hh}表示，其计算过程如下：

$D_{\mathrm{ll}}=S_{\mathrm{ll}}^e-S_{\mathrm{ll}}^w$

$D_{\mathrm{lh}}=S_{\mathrm{lh}}^e-S_{\mathrm{lh}}^w$

$D_{\mathrm{hl}}=S_{\mathrm{hl}}^e-S_{\mathrm{hl}}^w$

$D_{\mathrm{hh}}=S_{\mathrm{hh}}^e-S_{\mathrm{hh}}^w$

(3c)将差异子图像进行归一化，求出合成图像时各个频带上所需的权值m，4个频带上的权值分别计算如下：

m_ll＝D_ll/(max(D_ll)-min(D_ll))

m_lh＝D_lh/(max(D_lh)-min(D_lh))

m_hl＝D_hl/(max(D_hl)-min(D_hl))

m_hh＝D_hh/(max(D_hh)-min(D_hh))

(3d)通过如下函数分别提取源人物在4个频带上的表情细节子图像：

$S_{\mathrm{ll}}^d=S_{\mathrm{ll}}^e\·(m_{\mathrm{ll}}+\mathrm{\ϵ})$

$S_{\mathrm{lh}}^d=S_{\mathrm{lh}}^e\·(m_{\mathrm{lh}}+\mathrm{\ϵ})$

$S_{\mathrm{hl}}^d=S_{\mathrm{hl}}^e\·(m_{\mathrm{hl}}+\mathrm{\ϵ})$

$S_{\mathrm{hh}}^d=S_{\mathrm{hh}}^e\·(m_{\mathrm{hh}}+\mathrm{\ϵ})$

其中，ε是一个常系数调节因子，且ε的取值范围在0.1～0.4之间。

步骤四，计算目标人物特有的面部特征子图像：

(4a)对目标人物形变出的中性表情纹理图像进行一级二维离散小波分解，得到低频、垂直高频、水平高频和对角高频四个频带上的子图像，分别用 $\{T_{\mathrm{ll}}^w,T_{\mathrm{lh}}^w,T_{\mathrm{hl}}^w,T_{\mathrm{hh}}^w\}$ 表示；

(4b)通过如下规则求得目标人物特有的面部特征子图像：

$T_{\mathrm{ll}}^e=T_{\mathrm{ll}}^w\·(1-|m_{\mathrm{ll}}|-\mathrm{\ϵ})$

$T_{\mathrm{lh}}^e=T_{\mathrm{lh}}^w\·(1-|m_{\mathrm{lh}}|-\mathrm{\ϵ})$

$T_{\mathrm{hl}}^e=T_{\mathrm{hl}}^w\·(1-|m_{\mathrm{hl}}|-\mathrm{\ϵ})$

$T_{\mathrm{hh}}^e=T_{\mathrm{hh}}^w\·(1-|m_{\mathrm{hh}}|-\mathrm{\ϵ})$

其中，分别表示各个频带上目标人物特有的面部特征子图像。

步骤五，将目标人物特有的面部特征子图像与源人物的表情细节子图像分别在对应频带上相加，生成四个频带上的子图像；对上述四个子图像做二维逆离散小波变换，合成最终的表情转移图像。

本发明的优点可通过以下实验进一步说明：

1.实验条件

本发明的实验是在扩展的Cohn-Kande数据库(CK+)上进行的。CK+数据库中包含97个人的486个表情序列，每个表情序列中都是包括人脸表情图像从中立到峰值的。在这个数据库中，所有的图像都被手动的或自动的标定为主动表观模型。本实验选取了392个表情序列，其中高兴的表情序列有69个，惊讶的有83个，厌恶的有69个，害怕的有52个，悲伤的有62个，生气的有44个，蔑视的有13个。在每个表情序列中，只有一个中立表情，一个从中立到峰值变化过程中的表情作为源人物图像，取一个中立表情作为目标人物图像。通过主动表观模型，所有的图像都被形变到统一尺寸下，即115×111个像素。

2.实验结果，参照附录中图4。

附图4中，(a)为4组不同表情下的源人物图像，每组图像分别包括源人物的中性表情图像和带表情图像；(b)为目标人物的中性表情图像；(c)则为通过本专利提出的方法将(a)中源人物的表情转移到目标人物的脸上而合成的表情人脸图像。

从(c)图可以看出，本发明提出的方法得到的合成图像不仅包含源人物特有的表情细节，而且包含目标人物的面部特征，所以合成的图像看起来更为逼真、自然。

本发明利用AAM模型将人脸图像对齐到各个表情的平均形状下,选取源人物和目标人物的中性表情人脸图像，通过仿射变换将这两幅中性表情人脸图像分别映射到源人物带表情的人脸形状下，分别得到形变后的源人物和目标人物表情图像，但该图像缺少面部的表情细节；其次，对源人物的带表情图像和形变表情图像分别进行一级二维离散小波分解，在频域得到源人物带表情图像和形变表情图像的差异，根据该差异计算出合成图像时所需的权值；最后，根据该权值在频域提取源人物的表情细节和目标人物特有的面部特征，将源人物的表情细节和目标人物特有的面部特征相融合，对融合结果做二维逆离散小波变换，合成目标人物带表情的人脸图像。

最后应当说明的是，以上实例仅用以说明本发明的技术方案而非限制，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神范围，如将步骤二至步骤五中用一级二维离散小波变换进行频域分析的方法替换为小波包变换或多级小波变换的方法，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种基于频域分析的静态人脸表情合成方法，其特征在于：包括如下步骤：

(1)多表情人脸图像的对齐步骤，其包括；

(1.1a)对多表情人脸数据集，根据脸的轮廓、眉毛、眼睛、鼻子和嘴的位置，将特征点标注在各区域的轮廓线上得到人脸图像的形状；

(1.1b)采用AAM模型分离人脸的形状和纹理信息，由标定好的人脸形状得到各个表情下的平均形状；

(1.1c)通过Delaunay三角划分和仿射变换将人脸纹理变形到平均人脸形状下；

(2)将源人物和目标人物的中性表情变形到源人物表情的形状下；

(3)在频域提取源人物的表情细节；

(4)计算目标人物特有的面部特征子图像；

(5)将源人物的表情细节子图像与目标人物特有的面部特征子图像相融合，得到最终的表情转移图像；

所述步骤(3)包括如下步骤：

(2a)对源人物的形变表情图像和带表情人脸图像分别做一级二维离散小波分解，得到两组分解后的图像，每组图像都包含四个频带上的子图像，分别是：低频子图像、垂直高频子图像、水平高频子图像和对角高频子图像；

(2b)将上述两组频率域的子图像按照频带对应相减，得到四个差异子图像；

(2c)将差异子图像进行归一化，求出合成图像时各个频带上所需的权值m；

(2d)通过如下函数分别提取源人物在4个频带上的表情细节子图像：

$S_{ll}^d=S_{ll}^e\·(m_{ll}+\mathrm{\ϵ})$

$S_{lh}^d=S_{lh}^e\·(m_{lh}+\mathrm{\ϵ})$

$S_{hl}^d=S_{hl}^e\·(m_{hl}+\mathrm{\ϵ})$

$S_{hh}^d=S_{hh}^e\·(m_{hh}+\mathrm{\ϵ})$

其中，表示提取的源人物的表情细节，表示源人物带表情图像小波分解后的系数，{m_ll,m_lh,m_hl,m_hh}代表合成图像时各个频带上所需的权值，下标ll,lh,hl,hh分别代表低频、垂直高频、水平高频和对角高频子图像，ε是一个常系数调节因子，且ε的取值范围在0.1～0.4之间。

2.根据权利要求1所述的一种基于频域分析的静态人脸表情合成方法，其特征在于计算各个频带上所需的权值m，按如下过程进行：

(3a)对源人物的形变表情图像和带表情人脸图像分别做一级二维离散小波分解，得到两组分解后的图像，每组图像都包含低频、垂直高频、水平高频和对角高频四个频带上的子图像；

(3b)m为与小波分解后的图像对应的某个频带上的权值，其计算方法如下：

m＝(S^e-S^w)/rang(S^e-S^w)

其中，S^e为源人物带表情人脸图像经小波分解后在该频带上的子图像，S^w为源人物形变表情图像经小波分解后在该频带上的子图像，rang(S^e-S^w)＝max(S^e-S^w)-min(S^e-S^w)表示对应频带的频率范围。

3.根据权利要求1所述的一种基于频域分析的静态人脸表情合成方法，其特征在于：步骤(4)所述的计算目标人物特有的面部特征子图像，按如下过程进行：

(4a)对目标人物形变出的中性表情纹理图像进行一级二维离散小波分解，得到低频、垂直高频、水平高频和对角高频四个频带上的子图像，分别用表示；

(4b)通过如下规则求得目标人物特有的面部特征子图像：

$T_{ll}^e=T_{ll}^w\·(1-|m_{ll}|-\mathrm{\ϵ})$

$T_{lh}^e=T_{lh}^w\·(1-|m_{lh}|-\mathrm{\ϵ})$

$T_{hl}^e=T_{hl}^w\·(1-|m_{hl}|-\mathrm{\ϵ})$

$T_{hh}^e=T_{hh}^w\·(1-|m_{hh}|-\mathrm{\ϵ})$

其中，分别表示各个频带上目标人物特有的面部特征子图像。

4.根据权利要求1所述的一种基于频域分析的静态人脸表情合成方法，其特征在于：步骤(5)所述的将源人物的表情细节子图像与目标人物特有的面部特征子图像相融合，按如下过程进行：

(5a)将源人物的表情细节子图像与目标人物特有的面部特征子图像分别在对应频带上相加，生成四个频带上的合成子图像；

(5b)对上述四个合成子图像做二维逆离散小波变换，生成最终的表情转移图像。