CN101826217A - 人脸动画快速生成方法 - Google Patents

Abstract

一种图像处理技术领域的人脸动画快速生成方法，首先使用改进的主动形状模型算法检测出原始人脸图片中用于网格模型人脸匹配的若干个特征点的坐标；然后根据特征点信息完成网格模型与照片人脸的快速匹配，并对匹配后的网格模型的嘴区域进行细化处理，最后用人脸动画参数描述人脸基本口型及表情变化并以此参数流驱动网格模型，同时用基于薄板样条插值的网格形变方法变形细化后的网格模型生成动画。本发明能快速实现动画角色的更换，生成生动、自然的人脸动画。

Description

人脸动画快速生成方法

技术领域

本发明涉及的是一种图像处理技术领域的方法，具体是一种人脸动画快速生成方法。

背景技术

计算机人脸动画是一种重要的人机交互方式，被广泛应用于虚拟现实、影视娱乐、辅助教学等领域。三维人脸动画拉近了人与计算机的距离，但三维人脸重建依然是计算机领域的研究难点。丰富的三维信息依赖于复杂的计算，而简单易行的二维人脸动画提供的信息基本能满足人们的视觉需求。参数控制和数据驱动是人脸动画的两大主要实现方法。

经过对现有技术的检索发现，基于数据驱动的方法(如Noh，J.Y.，Neumann，U.(2000)Talking Faces(说话的脸).Proceedings of IEEE International Conference on Multimedia andExpo(II)2000，30July-2August NY，USA，2000，pp 627-630)产生的动画真实感较强，但需要提供包含丰富人脸动画信息的图像库，计算复杂度高且难以更换动画角色，如基于像素的图像形变(Tony Ezzat and Tomaso Poggio，MikeTalk：A Talking Facial Display Based on MorphingVisemes(迈克说话：基于视素融合的人脸动画).Appears in Proceedings of the ComputerAnimation Conference，Philadelphia，Pennsylvania，June，1998)；参数控制方法简单易行，但合成的动画往往人造痕迹明显，如网格人脸动画。文献(Woei-Luen Perng；Yungkang Wu；MingOuhyoung，Image Talk：a real time synthetic talking head using one single image with Chinesetext-to-speech capability(图像说话：具有中文文本语音转换功能的基于单幅图像的说话头像实时合成方法)，Sixth Pacific Conference on Computer Graphics and Applications，1998，P140-148)中的网格人脸动画，使用一个自定义的较稠密二维网格模型来表示人脸，通过人脸动画参数驱动结点以实现动画。

以上方法中的网格模型都是针对特定人脸生成的较稠密网格模型，网格模型与人脸的准确匹配需要大量的手工交互操作。同时，控制稠密网格模型生成人脸动画的复杂度较高。因此其实时性及逼真度都不够。

发明内容

本发明针对现有技术存在的上述不足，提供一种人脸动画快速生成方法，能快速实现动画角色的更换，生成生动、自然的人脸动画。

本发明是通过以下技术方案实现的，本发明首先使用改进的主动形状模型算法检测出原始人脸图片中用于网格模型人脸匹配的若干个特征点的坐标；然后根据特征点信息完成网格模型与照片人脸的快速匹配，并对匹配后的网格模型的嘴区域进行细化处理，最后用人脸动画参数描述人脸基本口型及表情变化并以此参数流驱动网格模型，同时用基于薄板样条插值的网格形变方法变形细化后的网格模型生成动画。

所述的使用改进的主动形状模型算法检测出原始人脸图片中用于网格模型人脸匹配的若干个特征点的坐标是指：首先使用适应性机器学习人脸检测(Adaboost)方法检测原始人脸图片中人脸定位瞳孔中心的位置，并用瞳孔中心的位置初始化主动形状模型(ASM)，通过匹配迭代检测出眼眉、眼睛、鼻子、嘴和人脸外轮廓边界上的点；然后使用基于肤色模型的嘴唇检测方法检测嘴唇的外轮廓线，并用此检测结果替换ASM模板检测中的结果：先将原始人脸图片进行色彩空间转换并进行二值化处理，并搜索出嘴唇外轮廓上的特征点的坐标。

所述的色彩空间转换是指：

C＝0.2R-0.6G+0.4B                                      (1)

通过上式将输入图像转换成能区分嘴唇区域和肤色区域的灰度图像，并通过式(2)、(3)定义的变换来突出嘴唇区域，以准确提取特征点：

$C_{\mathrm{norm}}=\frac{C-C_{\min }}{C_{\max }-C_{\min }}---\left(2\right)$

$C_{\mathrm{last}}=\mathrm{\α}{C}_{\mathrm{norm}}^2+\mathrm{\β}\frac{1}{I}$ 其中，α+β＝1                        (3)

其中：I是原图的灰度信息，α＝0.75，β＝0.25。

所述的快速匹配是指：使用CANDIDE网格模型表征人脸，根据特征点的坐标计算出CANDIDE网格模型的对应结点变换到特征点的坐标的仿射变换参数，再将仿射变换参数应用到其他CANDIDE网格模型的结点，实现将网格模型变形到原始人脸图片。

所述的CANDIDE网格模型是指：通过三角片结构定义11个人脸形状单元来描述人脸形状，其中的人脸形状单元是指人脸部各个器官的轮廓线的拐点和端点以及中心位置。

所述的细化处理是指：使用循环细化的网格剖分方法，将CANDIDE网格模型的三角片结构剖分替换为四个内嵌的小三角片，从而将每个面细分为四个面，对于CANDIDE网格模型的各个结点使用相邻点的位置信息进行位置更新。

所述的人脸动画参数单元包含MNS0、MW0、ENS0、ES0和RISD0五个单元以描述人脸基本组件之间的相对距离，其中：MNS0为嘴巴中点到鼻子底部的距离，MW0为嘴巴两端的距离，ENS0为鼻子顶部至底部的距离，ES0为两个瞳孔之间的距离，RISD0为左眼顶部至底部的距离。

所述的用基于薄板样条插值的网格形变方法变形细化后的网格模型是指：使用原始网格模型嘴区域的网格结点作为薄板样条插值变形的控制点，控制点变形前后的位置信息从动画驱动源人脸动画参数单元中获得，根据控制点动画前后的位置变化计算出网格模型上其他点的新的位置。

所述的生成动画是指：首先绘制原始人脸图片作为背景，然后根据网格模型结点动画前后的位置信息，计算出网格模型每个三角片面在动画前后的仿射变换参数，然后利用OPENGL里的UV纹理贴图，将原始图片上对应的三角片区域通过仿射变换到新位置，从而获得具有动画效果及原始人脸图片作为纹理的网格模型。

本方法具有实时性好、动画效果逼真等优势。本方法使用简易的CANDIDE网格模型描述人脸，该网格模型利用少量的人脸特征点信息就能与任意人脸快速匹配，从而实现了动画角色的快速更换而无需手动调整网格模型；对简易的CANDIDE网格模型的局部优化提高了网格的描述力同时也不增加网格模型与人脸的匹配难度；用基于TPS的网格形变方法变形优化后的网格模型让动画效果更加生动、自然，且局部的形变也不影响动画生成的实时性。

附图说明

图1为实施例人脸特征点示意图。

图2为实施例网格模型与照片人脸匹配结果示意图。

图3为实施例网格模型优化结果示意图。

图4为实施例中的人脸动画参数单元示意图。

图5为实施例人脸表情及口型动画示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例包括如下步骤：

1.人脸特征点检测

本实施例用34个人脸特征点描述人脸结构特征，特征点的定义如图1所示。对于一张人脸正面照片，首先使用适应性机器学习人脸检测(Adaboost)方法检测原始人脸图片中人脸定位瞳孔中心的位置，并用瞳孔中心的位置初始化主动形状模型(ASM)，通过匹配迭代检测出眼眉、眼睛、鼻子、嘴和人脸外轮廓边界上的点；然后使用基于肤色模型的嘴唇检测方法检测嘴唇的外轮廓线，并用此检测结果替换ASM模板检测中的结果：先将原始人脸图片进行色彩空间转换并进行二值化处理，并搜索出嘴唇外轮廓上的特征点的坐标。

所述的色彩空间转换是指：

C＝0.2R-0.6G+0.4B                         (1)

通过上式将输入图像转换成能区分嘴唇区域和肤色区域的灰度图像，并通过式(2)、(3)定义的变换来突出嘴唇区域，以准确提取特征点：

$C_{\mathrm{norm}}=\frac{C-C_{\min }}{C_{\max }-C_{\min }}---\left(2\right)$

$C_{\mathrm{last}}=\mathrm{\α}{C}_{\mathrm{norm}}^2+\mathrm{\β}\frac{1}{I}$ 其中，α+β＝1                        (3)

其中：I是原图的灰度信息，α＝0.75，β＝0.25。

然后，根据变换后图像灰度值的分布特性自动选择阈值并对图像进行二值化。

最后，根据嘴唇区域的分布特性，从二值图像中搜索出嘴唇外轮廓上的特征点。

最终得到34个特征点的图像坐标：F＝(x₁，y₁，x₂，y₂，...，x₃₄，y₃₄)^T。

2.网格模型与照片人脸快速匹配

本实施例使用基于网格变形的方法生成人脸动画，使用CANDIDE网格模型表征人脸，根据特征点的坐标计算出CANDIDE网格模型的对应结点变换到特征点的坐标的仿射变换参数，再将仿射变换参数应用到其他CANDIDE网格模型的结点，实现将网格模型变形到原始人脸图片。

所述的CANDIDE网格模型是指：通过三角片结构定义11个人脸形状单元来描述人脸形状，其中的人脸形状单元是指人脸部各个器官的轮廓线的拐点和端点以及中心位置。

本实施例对网格模型定义的11个人脸形状单元进行简化，选择在形状描述中起关键作用的结点构成新的形状单元。用最少的结点描述网格模型形状，通过数据最优化拟合全局参数实现匹配，从而加快网格模型照片匹配过程。对于一张正面人脸照片，根据1中提取的特征点信息，计算出网格模型对应结点变换到特征点位置的仿射变换参数，再将该参数应用到所有网格模型结点即可将网格模型变形到照片人脸形状。

用向量

来表示该二维网格模型，

由网格模型113个顶点的坐标构成

对于正面人脸，本实施例用线性变换描述网格模型的变形匹配过程：

$g\left(\mathrm{\σ}\right)=s(\stackrel{\‾}{g}+\mathrm{S\σ})+t---\left(4\right)$

其中，t和s分别是平移及缩放矩阵，S、A分别是网格模型定义的形状和运动单元向量，σ、α分别是形状和运动参数，g是新的网格模型数据。S由网格模型定义的11个人脸形状单元构成，其中包含眼睛的宽和高、嘴和眉毛的位置等等。线性组合这11个形状单元就能描述一些基本的人脸。

式(4)的矩阵形式如下：

G＝MX                (5)

式(5)的展开式如式(6)：

$\left(\begin{array}{c}{x}_1\\ y_1\\ .\\ .\\ .\\ x_n\\ y_n\end{array}\right)=\left(\begin{array}{cccccc}{\stackrel{\‾}{x}}_1& S_{\mathrm{1,1}}& ...& S_{\mathrm{11,1}}& 1& 0\\ {\stackrel{\‾}{y}}_1& S_{\mathrm{1,2}}& ...& S_{\mathrm{11,2}}& 0& 1\\ .& .& & .& .& .\\ .& .& ...& .& .& .\\ .& .& & .& .& .\\ {\stackrel{\‾}{x}}_n& S_{\mathrm{1,2}N-1}& ...& S_{\mathrm{11,2}N-1}& 1& 0\\ {\stackrel{\‾}{y}}_n& S_{\mathrm{1,2}N}& ...& S_{\mathrm{11,2}N}& 0& 1\end{array}\right)\left(\begin{array}{c}s\\ {\mathrm{s\σ}}_1\\ .\\ .\\ .\\ s{\mathrm{\σ}}_{11}\\ t_x\\ t_y\end{array}\right)---\left(6\right)$

网格模型匹配过程即为求解11个形状参数(σ₁...σ₁₁)和3个仿射变换参数(s、t_x、t_y)。1中定义的34个特征点给出了人脸基本形状单元的信息，通过最小二乘拟合获得全局参数X：

G_f＝M_fX                           (7)

其中，G_f、M_f分别是特征点所在行对应的G、M的子矩阵。通过最优化||G_f-M_fX||²获得全局参数X：

X＝(M_f′M_f)^-1M_f′G_f               (8)

将拟合参数X代入公式(5)即可获得新的网格模型数据G，网格模型匹配结果如图2(b)所示。

3.网格模型的局部细化

完成原始CANDIDE网格模型与照片的匹配后，从网格模型上分离出嘴区域作优化处理，并将嘴唇区域分割为上下两部分分别细化处理，如图3(a)所示。使用循环细化的网格剖分方法，将CANDIDE网格模型的三角片结构剖分替换为四个内嵌的小三角片，从而将每个面细分为四个面，对于CANDIDE网格模型的各个结点使用相邻点的位置信息进行位置更新。本实施例使用的修正方法如下：

$b=\frac{1}{n}(\frac{5}{8}-{(\frac{3}{8}+\frac{1}{4}*\cos \frac{2\mathrm{\π}}{n})}^2)---\left(9\right)$

$\mathrm{newp}=(1-n*b)\mathrm{oldp}+b*\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{A}_i---\left(10\right)$

其中，n是该顶点的相邻点的数目，b是相邻点对待修正点的影响因子，newp是待修正点的新位置，oldp是待修正点的原始位置，Ai是其第i个相邻点的位置。

本实施例采用边缘检测与曲线拟合相结合的方法，修正与下颚边缘相对应的网格结点的位置。用原始网格模型下颚上的五个结点拟合二次曲线逼近下颚边缘，并以此约束人脸下颚边缘检测的有效范围来获取网格模型结点的准确位置。

细化两次后的网格密度已能实现嘴唇区域的平滑变形如图3(c)所示。新增的网格结点提供了丰富的纹理及结构信息，从而使得动画效果更真实。

4.制作汉语基本音素的静态视位库

本实施例通过拍摄汉语基本音素的视频，并从中抽取静态视位图像与无表情、动作的图像比较，计算出该音素对应的各种FAP的值。通过拍摄人脸基本表情的图像，与无表情的图像比较，计算出该表情对应的各种FAP的值。

如图4所示，所述的人脸动画参数单元包含MNS0、MW0、ENS0、ES0和RISD0五个单元以描述人脸基本组件之间的相对距离，其中：MNS0为嘴巴中点到鼻子底部的距离，MW0为嘴巴两端的距离，ENS0为鼻子顶部至底部的距离，ES0为两个瞳孔之间的距离，RISD0为左眼顶部至底部的距离。单位化后的FAP参数用于不同结构的网格模型时，再用该网格模型的FAPU参数量化，就能得到该网格模型对应的FAP值，从而产生同样的动作效果。

5.网格模型变形

本实施例使用FAP参数流驱动优化后的CANDIDE网格模型产生动画。首先根据各FAP参数计算出和该FAP关联的原网格模型结点的新位置：新结点＝原结点+FAP中定义的结点的位移量。

对细化后的嘴区域，本实施例使用基于薄板样条插值(TPS)的变形方法驱动优化后的网格产生动画：使用原始网格模型嘴区域的网格结点作为薄板样条插值变形的控制点，控制点变形后的位置信息从动画驱动源人脸动画参数中获得，根据控制点动画前后的位置变化计算出网格模型上其他点的新的位置。

TPS利用一对控制点集的映射关系及整个平面与控制点的位置关系来变形整个区域平面，从而保持点之间的拓扑结构不变及整个平面的平滑形变。使用原始网格模型嘴区域的n各网格结点作为TPS变形的控制点，计算出优化后的嘴区所有点的新位置，这n个点变形后的新位置信息V_i(i＝1，...，n)，TPS首先根据动画前后n个控制点的位置信息计算出这n个点前后之间的映射关系：

F(U_i)＝V_i，i＝1，...，n                                                  (11)

U_i(i＝1，...，n)为控制点原位置，V_i(i＝1，...，n)为控制点新位置

然后根据其它点与控制点间的结构关系，将该映射应用到整个嘴区域上，计算出所有点的新位置：

F(U)＝c+AU+W^TS(U)                                                         (12)

其中，c、A、W是控制点变形前后的映射参数，S描述了点与所有控制点之间的位置关系。

S(u)＝(σ(u-u₁)，σ(u-u₂)，...，σ(u-u_n))^T，其中σ(r)＝|r|                (13)

6.输出变形结果

本实施例利用网格模型的三角片结构及SGI的OPENGL标准库快速实现真实的纹理映射，变形后的人脸网格模型加上真实的纹理即是逼真的动画人脸。首先绘制原始图像作为背景，在此背景上绘制网格模型。根据网格模型结点动画前后的位置信息，计算出网格模型每个三角片面在动画前后的仿射变换参数，然后利用OPENGL里的UV纹理贴图，将原始图片上对应的三角片区域通过仿射变换到新位置，从而获得具有真实纹理的网格模型。图5是本实施例生成的人脸动画，其中包含基本表情及汉语基本音素的口型变化。

与现有技术相比，本方法具有实时性好、动画效果逼真等优势。本方法使用简易的CANDIDE网格模型描述人脸，该网格模型利用少量的人脸特征点信息就能与任意人脸快速匹配，从而实现了动画角色的快速更换而无需手动调整网格模型；对简易的CANDIDE网格模型的局部优化提高了网格的描述力同时也不增加网格模型与人脸的匹配难度；用基于TPS的网格形变方法变形优化后的网格模型让动画效果更加生动、自然，且局部的形变也不影响动画生成的实时性。

Claims (9)

1.一种人脸动画快速生成方法，其特征在于，首先使用改进的主动形状模型算法检测出原始人脸图片中用于网格模型人脸匹配的若干个特征点的坐标；然后根据特征点信息完成网格模型与照片人脸的快速匹配，并对匹配后的网格模型的嘴区域进行细化处理，最后用人脸动画参数描述人脸基本口型及表情变化并以此参数流驱动网格模型，同时用基于薄板样条插值的网格形变方法变形细化后的网格模型生成动画。

2.根据权利要求1所述的人脸动画快速生成方法，其特征是，所述的使用改进的主动形状模型算法检测出原始人脸图片中用于网格模型人脸匹配的若干个特征点的坐标是指：首先使用适应性机器学习人脸检测方法检测原始人脸图片中人脸定位瞳孔中心的位置，并用瞳孔中心的位置初始化主动形状模型通过匹配迭代检测出眼眉、眼睛、鼻子、嘴和人脸外轮廓边界上的点；然后使用基于肤色模型的嘴唇检测方法检测嘴唇的外轮廓线，并用此检测结果替换主动形状模型的模板检测中的结果：先将原始人脸图片进行色彩空间转换并进行二值化处理，并搜索出嘴唇外轮廓上的特征点的坐标。

3.根据权利要求2所述的人脸动画快速生成方法，其特征是，所述的色彩空间转换是指：

C＝0.2R-0.6G+0.4B    (1)

通过上式将输入图像转换成能区分嘴唇区域和肤色区域的灰度图像，并通过式(2)、(3)定义的变换来突出嘴唇区域，以准确提取特征点：

$C_{\mathrm{norm}}=\frac{C-C_{\min }}{C_{\max }-C_{\min }}---\left(2\right)$

$C_{\mathrm{last}}=\mathrm{\α}{C}_{\mathrm{norm}}^2+\mathrm{\β}\frac{1}{I}$ 其中，α+β＝1           (3)

其中：I是原图的灰度信息，α＝0.75，β＝0.25。

4.根据权利要求1所述的人脸动画快速生成方法，其特征是，所述的快速匹配是指：使用CANDIDE网格模型表征人脸，根据特征点的坐标计算出CANDIDE网格模型的对应结点变换到特征点的坐标的仿射变换参数，再将仿射变换参数应用到其他CANDIDE网格模型的结点，实现将网格模型变形到原始人脸图片。

5.根据权利要求4所述的人脸动画快速生成方法，其特征是，所述的CANDIDE网格模型是指：通过三角片结构定义11个人脸形状单元来描述人脸形状，其中的人脸形状单元是指人脸部各个器官的轮廓线的拐点和端点以及中心位置。

6.根据权利要求1所述的人脸动画快速生成方法，其特征是，所述的细化处理是指：使用循环细化的网格剖分方法，将CANDIDE网格模型的三角片结构剖分替换为四个内嵌的小三角片，从而将每个面细分为四个面，对于CANDIDE网格模型的各个结点使用相邻点的位置信息进行位置更新。

7.根据权利要求1所述的人脸动画快速生成方法，其特征是，所述的人脸动画参数单元包含MNS0、MW0、ENS0、ES0和RISD0五个单元以描述人脸基本组件之间的相对距离，其中：MNS0为嘴巴中点到鼻子底部的距离，MW0为嘴巴两端的距离，ENS0为鼻子顶部至底部的距离，ES0为两个瞳孔之间的距离，RISD0为左眼顶部至底部的距离。

8.根据权利要求1所述的人脸动画快速生成方法，其特征是，所述的用基于薄板样条插值的网格形变方法变形细化后的网格模型是指：使用原始网格模型嘴区域的网格结点作为薄板样条插值变形的控制点，控制点变形后的位置信息从动画驱动源人脸动画参数中获得，根据控制点动画前后的位置变化计算出网格模型上其他点的新的位置。

9.根据权利要求1所述的人脸动画快速生成方法，其特征是，所述的生成动画是指：首先绘制原始人脸图片作为背景，然后根据网格模型结点动画前后的位置信息，计算出网格模型每个三角片面在动画前后的仿射变换参数，然后利用OPENGL里的UV纹理贴图，将原始图片上对应的三角片区域通过仿射变换到新位置，从而获得具有动画效果及原始人脸图片作为纹理的网格模型。

Images