CN101739719B - 二维正面人脸图像的三维网格化方法 - Google Patents

Abstract

本发明公开了一种二维正面人脸图像的三维网格化方法：对具有二维正面人脸的图像进行分析自动提取人脸特征信息；将基准人脸三维模型的特征点对齐二维正面人脸的特征点，得到二维仿射矩阵；将得到的三维仿射矩阵，施加于基准人脸三维模型的每一个点，得到特定的人脸三维模型；对特定人脸三维模型进行局部区域对准；对特定人脸三维模型进行边界网格延伸，得到非脸部网格；将得到的三维相似矩阵，施加于附属网格的每一个点，将附属网格平移到特定人脸三维模型的对应位置；将二维正面人脸的图像作为纹理映射到特定人脸三维模型，完成人脸图像网格化。该方法能从二维图像中很好的提取人脸特征点，根据特征点生产人脸的真实自然的三维网格模型。

Description

二维正面人脸图像的三维网格化方法

技术领域

本发明涉及三维人脸识别技术，具体涉及一种二维正面人脸图像的三维网格化方法。

背景技术

人脸不仅分布有人类身上重要的感觉器官，也是人类表达思想，情绪反馈，沟通交流等智能呈现的场所。具有逼真的人脸合成不仅是生物、认知心理、人工智能领域关心的方向之一，也是计算机图形学中最根本的问题之一，同时也是最具有挑战性的问题之一。

计算机三维人脸建模及其表情动画技术的开创性工作始于Parke在20世纪70年代所做的研究。之后三十多年来，具有真实感的计算机三维人脸动画研究吸引着广大研究者的目光，使三维人脸建模和动画技术得到显著的发展，20世纪80年代中期，Waters等人提出了广泛应用的肌肉模型方法。Cohen和Massaro以及其他很多研究者对可视化语音合成进行了初步的尝试，伴随网络技术的普及，世界上第一个网上虚拟主播Ananova在伦敦发布，通过计算机合成的虚拟主播Ananova可以一天24小时发布新闻，不知疲倦，让人意识到以新技术引领的媒体变革必将深刻而广泛。此外，计算机模拟真实感的人脸表情动画还被应用于诸如电影、广告人物动画、计算机游戏、视频会议、人机接口、面部外科手术、电视节目、计算机辅助手语教学以及心理学、认知科学等许多领域。

真实感三维人脸建模是在计算机中重构出与真人脸部相像的三维人脸。目前，经过研究者的不断深入研究，已经提出了许多真实感三维人脸建模方法。通常，真实感人脸合成包括以下三个过程：1)脸部数据的获取，2)设计脸部模型(三维人脸几何建模)，3)模型化脸部表情(生成真实感人脸)。通过人体测量学对相似的面部进行测量，对其结果进行统计，生成脸的统计学数据。这些统计学数据被当作对参数化表面的约束。对特定人脸的建模往往需要用户输入大量的数据，某些特定的设备(如激光扫描仪、立体摄像机等)也被大量应用于三维人脸模型的自动建模。根据这些方法所用数据来源依据的不同，可以分为5大类：一般模型形变建模、手工建模、扫描仪器建模、图像建模、视频建模。

1)一般模型形变建模

基于一般三维人脸模型形变建模的基本思想是通过对一般三维人脸模型按设定的条件进行优化变形，变形出特定三维人脸模型。这种方法又可进一步分为从单个一般模型形变建模和从多个一般模型线形组合形变建模。从单个一般模型形变建模依据弹性力学的形变模型来实现，具有模型简单、计算量小的特点，自动化程度较高，但是合成的特定三维人脸模型的真实感较差。

从多个一般模型线形组合形变建模分别用向量来表示每个模型的几何结构和纹理图像，通过线形组合这些向量得到新的3D人脸模型，优化调整线形组合的系数，使新模型的二维投影图像与输入人脸图像的差值最小。从而重构出与输入人脸图像相似的特定三维人脸模型。这种方法重构的人脸模型真实感强，但需要计算量大，实时性差。

2)手工建模

借助三维制作软件，比如Softimage 3D、3Ds Max、Maya、LIGHTWAVE 3D等，在计算机中绘制出三维人脸模型。这种方法的优点是易于实现，不受环境影响。缺点是制作费时费力，模型效果好坏基本取决于制作者的绘制水平，因此对制作者有很高的要求，一般需要经过专业的训练才可以。同时，这样的建模方式对于模型的刻画程度大多不够精细，相对来说不容易作为人脸表情的基础模型，多应用于游戏场景等不需要太细致刻画的应用中。

3)扫描仪器建模

三维扫描分为表面扫描和断层扫描。三维扫描仪通过对物体的表面扫描进行建模，得到物体表面网格信息，这种方式得到的模型非常精细，准确度高，非常适合对静态物体进行建模。但是对于人脸建模，由于设备本身造价昂贵，而且模特必须在场，扫描后的模型还需要经过软件处理，排除扫描中的一些错误结果，有时需要后期人工处理。因此目前大众化采用三维扫描仪进行人脸建模还不经济和方便。断层扫描不仅能够获取人脸的表面信息，而且还可以得到诸如骨骼和肌肉的内部结构，通常用于构建体素化模型，主要用于医学领域。

4)图像建模

基于图像的三维人脸建模是根据一张或者多张不同视角的特定人脸图像重构出三维人脸模型。其主要思想是计算二维图像中点的深度信息重构出特定人脸的三维几何模型。这种方法简单易行，但是这种方法的难点是如何使不同图像间特征点的对应。为了准确对应，通常研究者采用在人的脸部首先标记出一些特征点的办法。另外一个难点是受光照影响较大，如果光照不能满足要求，往往重构的三维人脸模型表面比较粗糙，甚至不能重构。其方法大致如下：首先，在中性表情下，用相机随机地，多方向地拍照；然后在所有的相片上标注特征点，如眼角、嘴角以及鼻子顶部等；然后，这些特征点被用于变形普通三维人脸网格，以适应特定人脸要求；最后，用相片作为纹理来映射至变形脸部，以生成所需要的真实感人脸。

5)视频建模

由于视频中便于提取出序列图片，利用这些图片利用图像建模的思想基于视频的三维人脸建模技术同基于图像的建模技术基本思想相同，都是通过二维图像重构三维模型。但是基于视频的建模技术需要首先从视频序列中提取出不同视角的图像序列，如果图像序列提取不当，将很难生成真实感的人脸模型。

发明内容

本发明所要解决的问题是：如何提供一种二维正面人脸图像的三维网格化方法，该方法能克服现有技术中所存在的缺陷，能从二维图像中很好的提取人脸特征，转化为三维模型真正反映自然真实的人脸表情。

本发明所提出的技术问题是这样解决的：提供一种二维正面人脸图像的三维网格化方法，其特征在于，包括以下步骤：

步骤1对具有二维正面人脸的图像进行分析自动提取人脸特征信息；

步骤2

将基准人脸三维模型的特征点对齐二维正面人脸的图像特征点，得到二维仿射矩阵：由于基准人脸三维模型特征点与二维正面人脸的图像特征点维数不同，将基准人脸三维模型位置调整到正面朝向Z轴正方向，在对齐过程中不考虑Z分量，令T是仿射变换矩阵，对于二维点(x，y)，

$T(s_1,s_2,\mathrm{\θ},t_x,t_y)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=\left(\begin{array}{ccc}{s}_1.\cos \mathrm{\θ}& -s_1.\sin \mathrm{\θ}& t_x\\ s_2.\sin \mathrm{\θ}& s_2.\cos \mathrm{\θ}& t_y\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)---\left(1\right)$

其中s₁是X轴上的缩放参数，s₂是Y轴上的缩放参数，θ是旋转参数，t_x和t_y是平移参数，向量x为基准人脸三维模型特征点向量，向量x′为二维正面人脸的图像特征点，x和x′的对齐问题即为为解minD＝|T(x)-x′|²的优化问题，有

${|T\left(x\right)-x^{\′}|}^2=$

$\underset{k=1}{\overset{n}{\mathrm{\Σ}}}[{(s_1.\cos {\mathrm{\θx}}_k-s_1.\sin {\mathrm{\θy}}_k+t_x-x_k^{\′})}^2---\left(2\right)$

$+{(s_2.\sin {\mathrm{\θx}}_k+s_2.\cos {\mathrm{\θy}}_k+t_y-y_k^{\′})}^2]$

令

$\frac{\∂{|T\left(x_i\right)-x_j|}^2}{{\∂s}_1.\cos \mathrm{\θ}}=0,$ $\frac{\∂{|T\left(x_i\right)-x_j|}^2}{{\∂s}_1.\sin \mathrm{\θ}}=0$

$\frac{\∂{|T\left(x_i\right)-x_j|}^2}{{\∂s}_2.\cos \mathrm{\θ}}=0,$ $\frac{\∂{|T\left(x_i\right)-x_j|}^2}{{\∂s}_2.\sin \mathrm{\θ}}=0$

$\frac{\∂{\left|T\left(x_i\right){-x}_j\right|}^2}{{\∂t}_x}=0,$ $\frac{\∂{\left|T\left(x_i\right){-x}_j\right|}^2}{{\∂t}_y}=0$

解得

s₁.cosθ∑x_i ²-s₁.sinθ∑x_iy_i+t_x∑x_i＝∑x_ix′_i，

s₁.cosθ∑x_iy_i-s₁.sinθ∑y_i ²+t_x∑y_i＝∑y_ix′_i，

s₂.sinθ∑x_i ²+s₂.cosθ∑x_iy_i+t_y∑x_i＝∑x_iy′_i，

s₂.sinθ∑x_iy_i+s₂.cosθ∑y_i ²+t_y∑y_i＝∑y_iy′，

$s_1.\cos \mathrm{\θ}\frac{1}{n}\mathrm{\Σ}{x}_i-s_1.\sin \mathrm{\θ}\frac{1}{n}\mathrm{\Σ}{y}_i+t_x=\frac{1}{n}\mathrm{\Σ}{x}_i^{\′},$

$s_2.\sin \mathrm{\θ}\frac{1}{n}\mathrm{\Σ}{x}_i+s_2.\cos \mathrm{\θ}\frac{1}{n}\mathrm{\Σ}{y}_i+t_y=\frac{1}{n}\mathrm{\Σ}{y}_i^{\′}$

将x平移到原点，

有 $\frac{1}{n}\mathrm{\Σ}{x}_i=0,$ $\frac{1}{n}\mathrm{\Σ}{y}_i=0.$ 若令a＝s₁cosθ，b＝-s₁sinθ，c＝s₂sinθ，d＝s₂cosθ，

则有

$s_1^2=a^2+b^2,$ $s_2^2=c^2+d^2,$ $\mathrm{\θ}=-\arctan \left(\frac{b}{a}\right)$

带入，得

$t_x=\frac{1}{n}\mathrm{\Σ}{x}_i^{\′},$

$t_y=\frac{1}{n}\mathrm{\Σ}{y}_i^{\′},$

$\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)=\frac{1}{\mathrm{\Δ}}\left(\begin{array}{cc}\mathrm{\Σ}{x}_i{x}_i^{\′}& \mathrm{\Σ}{y}_i{x}_i^{\′}\\ \mathrm{\Σ}{x}_i{y}_i^{\′}& \mathrm{\Σ}{y}_i{y}_i^{\′}\end{array}\right)\left(\begin{array}{cc}\mathrm{\Σ}{y}_i^2& -\mathrm{\Σ}{x}_i{y}_i\\ -\mathrm{\Σ}{x}_i{y}_i& \mathrm{\Σ}{x}_i^2\end{array}\right),$

Δ∑x² _i∑y² _i-(∑x_iy_i)²

带入公式(1)，得T；

步骤3

得到三维仿射矩阵，施加于特定人脸三维模型的每一个点，得到特定的人脸三维模型：令T′是三维仿射变换矩阵，有

$T^{\′}\left(\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)=\left(\begin{array}{cccc}{s}_1\cos \mathrm{\θ}& -s_2\sin \mathrm{\θ}& 0& t_x\\ s_2\sin \mathrm{\θ}& s_1\cos \mathrm{\θ}& 0& t_y\\ 0& 0& (s_1+s_2)/2& 0\\ 0& 0& 0& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)$

通过对特定人脸三维模型的特征点和非特征点施加仿射变换T′，得到特定的人脸三维模型，在特定的人脸三维模型基础之上，对整个特定人脸三维模型的轮廓进行整体调整，把脸部分为左半边脸与右半边脸，对于左脸部，通过人脸图像上的脸部轮廓特征点，进行样条插值，生产一条与左半边脸轮廓相似的光滑曲线。以脸部中心为远端，通过计算左半边脸上的点与左半边光滑曲线在X轴方向的距离，并根据该距离平移该点。右半边脸的调整采用同样方式处理

步骤4

对特定人脸三维模型进行局部区域对准：将人脸按五官分布划分为多个不同的矩形区域，每个区域均含模型上一个特征点，因为在步骤3后，特定人脸三维模型上的特征点和二维正面人脸的图像特征点仍然没有完全重合，所以在本步骤中把每个区域内模型上特征点对齐到图像特征点，然后根据距离和角度，调整区域内其他点的位移，使模型局部对齐得更加准确，同时保证模型的平滑；

disL＝pt_x-range_left                           vec_x＝x-pt_x

                                                vec_y＝y-Pt_y

disR＝range_right-pt_x                          ratioL＝|disL+vec_x|/disL

disU＝range_up-pt_y                             ratioR＝|disR-vec_x|/disR

disD＝pt_y-range_down                           ratioU＝|disU-vec_y|/disU

(计算出控制点距离区域各边界的距离，pt为控制点)  ratioD＝|disD+vec_y|/disD

当y≥pt_y时： $\mathrm{ratioY}=\cos (\frac{\mathrm{\π}}{2}\×(y-\mathrm{pt}\_y)/\mathrm{disU})$

当y＜pt_y时： $\mathrm{ratioY}=\cos (\frac{\mathrm{\π}}{2}\×(\mathrm{pt}\_y-y)/\mathrm{disD})$

当x≥pt_x时： $\mathrm{ratioY}=\cos (\frac{\mathrm{\π}}{2}\×(x-\mathrm{pt}\_x)/\mathrm{disR})$

当x＜pt_x时： $\mathrm{ratioY}=\cos (\frac{\mathrm{\π}}{2}\×(\mathrm{pt}\_x-x)/\mathrm{disL})$

上面的pt_x和pt_y分别代表区域内控制点的x、y坐标值，range_left、range_right为区域的最左、最右x坐标值，range_up、range_down为区域最高、最低y坐标值。x、y为区域内每点的坐标，disL等为控制点距离区域各边界的距离，vec_x，vec_y为区域内任意点到控制点的向量，

ratioL＝|disL+vec_x×ratioY|/disL

ratioR＝|disR-vec_x×ratioY|/disR

ratioU＝|disU-vec_y×ratioX|/disU

ratioD＝|disD+vec_y×ratioX|/disD

(计算出各个比例因子)

最终得到的ratioL，ratioR，ratioU，ratioD为区域内任一点在移动时用到的比例参数。最终区域内任一点的移动方式如下，下面的x、y是它们的新坐标：

当x≥pt_x时：x＝range_right-(range_right-x)×ratioR

当x＜pt_x时：x＝(x-range_left)×ratioL+range_left

当y≥pt_y时：y＝range_up-(range_up-y)×ratioU

当y＜pt_y时：y＝(y-range_down)×ratioD+range_down

(得到调整后新的X，Y坐标)

即所有点的位移方向均与控制点的位移方向一致，离控制点近的点位移较大，随着离控制点的距离增大，区域内点的位移逐渐减小，到区域边缘处的点位移几乎为0，这样就保证了区域内的点移动均匀、平滑，同时保证在区域边缘处模型的光滑、自然；

步骤5

对步骤4得到的特定人脸三维模型进行边界网格延伸，得到人脸图像板：利用贝塞尔曲面和贝塞尔曲线将正面人脸模型平滑地延展，按照图像宽度和高度的比例关系，生成一个背景板，进而形成整个图像的三维网格；

$\begin{array}{c}{\mathrm{BEZ}}_{\mathrm{0,3}}={(1-\mathrm{\μ})}^3\\ {\mathrm{BEZ}}_{\mathrm{1,3}}=3\mathrm{\μ}{(1-\mathrm{\μ})}^2\\ {\mathrm{BEZ}}_{\mathrm{2,3}}=3{\mathrm{\μ}}^2(1-\mathrm{\μ})\\ {\mathrm{BEZ}}_{\mathrm{3,3}}={\mathrm{\μ}}^3\end{array}$ $P(\mathrm{\μ},v)=\underset{j=0}{\overset{m}{\mathrm{\Σ}}}\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{P}_{j,k}{\mathrm{BEZ}}_{j,m}\left(v\right){\mathrm{BEZ}}_{k,n}\left(\mathrm{\μ}\right)$

(3贝塞尔曲面公式)       (贝塞尔曲面公式)

步骤6

得到三维相似矩阵，施加于附属网格的每一个点：附属网格由左右眼、口腔中的牙齿、舌头和口腔体组成，根据二维仿射变换矩阵T，令T″是三维相似变换矩阵，有

$T^{\′\′}=\left(\begin{array}{cccc}(s_1+s_2)\cos \mathrm{\θ}/2& -(s_1+s_2)\sin \mathrm{\θ}/2& 0& t_x\\ (s_1+s_2)\sin \mathrm{\θ}/2& (s_1+s_2)\cos \mathrm{\θ}/2& 0& t_y\\ 0& 0& (s_1+s_2)/2& 0\\ 0& 0& 0& 1\end{array}\right)$

对附属网格的所有点施加相似变换T″，得到对齐后的附属网格；

步骤7

将附属网格平移到步骤5所得到的特定人脸三维模型的对应位置；

步骤8

将步骤1所用的二维正面人脸图像作为纹理映射到步骤7所得到特定人脸三维模型，完成人脸图像网格化。

本发明所提供的方法输入一张具有正面人脸的图像，通过对图像的分析自动提取出人脸特征信息(特征点)，通过将基准人脸三维模型的特征点对齐二维正面人脸的特征点，对基准人脸三维模型全局变换得到特定人脸的三维模型，根据图像上人脸轮廓特征点模拟样条曲线，根据样条曲线调整特定人脸三维模型的轮廓，根据五官部分的特征点进一步局部调整特定人脸三维模型；最后按照人脸自然弧度延伸网格形成最终的特征人脸三维模型，对网格进行纹理映射，最终得到正面人脸图像的三维网格化模型。

具体实施方式

下面结合实施例对本发明作进一步描述：

对二维正面人脸图像的特征点提取是基于ASM算法，ASM算法通常对图像转译的研究有两种策略，分别是数据驱动策略和至上而下策略。前者在局部结构上对图像数据进行测试，进而得到边界或热点区域，然后对得到的边界和热点进行划分，进而得到感兴趣对象的识别或特征，由于该策略缺乏全局对象信息，对于纷繁复杂的图像结构来说，往往识别较难；后者是一种带有“目地”的图像特征提取策略，通过预先指定需要匹配的模型，有目地的在图像结构中查找与该模型最匹配的数据信息，由于具有先验知识，该策略可以避免由于局部结构复杂带来的识别冲突，和由于噪声影响带来的鲁棒性较差等问题，同时，由于需要预先指定模型，也会带来较差的通用性。

ASM算法是一种基于至上而下策略的模型搜索算法，由于仅需要正面人脸的特征，只要预先指定需要匹配的模型信息作为先验知识，该算法就能够满足提取单张正面人脸特征的要求，接下来，从形状建模和目标搜索两个方面讨论ASM算法应用于人脸特征提取。

形状建模的目地是为目标图像中的特征提取提供模型信息，建模过程中得到的统计结果可以得到一系列的形状表达。这里，首先给出形状(Shape)的定义：

是n个二维点的表示的点分布向量。其数学表达如下：

x＝(x₁，...，x_n，y₁，...，y_n)^T    (3-1)

每个点分布向量在相似变换下具有不变性，即存在形状x_i和形状x_j，若对形状x_i施加相似变换T，有x_j＝T(x_i)成立，则形状x_i和形状x_j是同一形状。保证相似变换下的不变性意味着模型形状不受缩放，旋转，平移的影响。

基于统计模型的形状建模主要有以下步骤：

构造形状统计样本：该步骤通常是通过人工手动选取特征点，形成形状样本，采集30个样本图片，每个样本手工选取68个特征点，形成的形状向量为136维；

形状对齐：根据本小节开始部分对形状的定义，形状应该在相似变换下具有不变性，所以需要消除缩放，旋转，平移对步骤1采集的30个点分布向量的影响，即对齐形状向量样本。形状对齐的流程是：将30个点分布向量排列成序，分别编号x₁，...，x₃₀，令x为平均形状向量，且x初始化为x₁，按顺序将x₂，...x₃₀依次对齐到该平均向量x，完成一次迭代后重新计算平均向量x，并对齐到x₁，继续迭代直至形状收敛。在这里，收敛是指连续两次迭代之后的平均向量x与x′有|x-x′|/|x|≤ε成立，ε是一个小于1的正数。

由于模型特征点与图像特征点维数不同，将模型位置调整到正面朝向Z轴正方向，在对齐过程中不考虑Z分量。

令T是仿射变换矩阵，对于二维点(x，y)，结合公式1有

$T(s_1,s_2,\mathrm{\θ},t_x,t_y)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=\left(\begin{array}{ccc}{s}_1.\cos \mathrm{\θ}& -s_1.\sin \mathrm{\θ}& t_x\\ s_2.\sin \mathrm{\θ}& s_2.\cos \mathrm{\θ}& t_y\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)---\left(1\right)$

令向量x为模型特征点向量，向量x′为人脸图像特征点。x和x′的对齐问题，可以表达为解minD＝|T(x)-x′|²的优化问题。有

${|T\left(x\right)-x^{\′}|}^2=$

$\underset{k=1}{\overset{n}{\mathrm{\Σ}}}[{(s_1.\cos {\mathrm{\θx}}_k-s_1.\sin {\mathrm{\θy}}_k+t_x-x_k^{\′})}^2---\left(2\right)$

$+{(s_2.\sin {\mathrm{\θx}}_k+s_2.\cos {\mathrm{\θy}}_k+t_y-y_k^{\′})}^2]$

令

$\frac{\∂{|T\left(x_i\right)-x_j|}^2}{{\∂s}_1.\cos \mathrm{\θ}}=0,$ $\frac{\∂{|T\left(x_i\right)-x_j|}^2}{{\∂s}_1.\sin \mathrm{\θ}}=0$

$\frac{\∂{|T\left(x_i\right)-x_j|}^2}{{\∂s}_2.\cos \mathrm{\θ}}=0,$ $\frac{\∂{|T\left(x_i\right)-x_j|}^2}{{\∂s}_2.\sin \mathrm{\θ}}=0$

$\frac{\∂{\left|T\left(x_i\right){-x}_j\right|}^2}{{\∂t}_x}=0,$ $\frac{\∂{\left|T\left(x_i\right){-x}_j\right|}^2}{{\∂t}_y}=0$

解得

s₁.cosθ∑x_i ²-s₁.sinθ∑x_iy_i+t_x∑x_i＝∑x_ix′_i，

s₁.cos∑x_iy_i-s₁.sinθ∑y_i ²+t_x∑y_i＝∑y_ix′_i，

s₂.sinθ∑x_i ²+s₂.cosθ∑x_iy_i+t_y∑x_i＝∑x_iy′_i，

s₂.sinθ∑x_iy_i+s₂.cosθ∑y_i ²+t_y∑y_i＝∑y_iy′，

$s_1.\cos \mathrm{\θ}\frac{1}{n}\mathrm{\Σ}{x}_i-s_1.\sin \mathrm{\θ}\frac{1}{n}\mathrm{\Σ}{y}_i+t_x=\frac{1}{n}\mathrm{\Σ}{x}_i^{\′},$

$s_2.\sin \mathrm{\θ}\frac{1}{n}\text{\Σ}{x}_i+s_2.\cos \mathrm{\θ}\frac{1}{n}\mathrm{\Σ}{y}_i+t_y=\frac{1}{n}\mathrm{\Σ}{y}_i^{\′}$

不失一般性，假设x平移到原点，

有 $\frac{1}{n}\mathrm{\Σ}{x}_i=0,$ $\frac{1}{n}\mathrm{\Σ}{y}_i=0.$ 若令

a＝s₁cosθ，b＝-s₁sinθ，c＝s₂sinθ，d＝s₂cosθ，则有

$s_1^2=a^2+b^2,$ $s_2^2=c^2+d^2,$ $\mathrm{\θ}=-\arctan \left(\frac{b}{a}\right)$

带入，得

$t_x=\frac{1}{n}\mathrm{\Σ}{x}_i^{\′},$

$t_y=\frac{1}{n}\mathrm{\Σ}{y}_i^{\′},$

$\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)=\frac{1}{\mathrm{\Δ}}\left(\begin{array}{cc}\mathrm{\Σ}{x}_i{x}_i^{\′}& \mathrm{\Σ}{y}_i{x}_i^{\′}\\ \mathrm{\Σ}{x}_i{y}_i^{\′}& \mathrm{\Σ}{y}_i{y}_i^{\′}\end{array}\right)\left(\begin{array}{cc}\mathrm{\Σ}{y}_i^2& -\mathrm{\Σ}{x}_i{y}_i\\ -\mathrm{\Σ}{x}_i{y}_i& \mathrm{\Σ}{x}_i^2\end{array}\right),$

Δ＝∑x² _i∑y² _i-(∑x_iy_i)²

带入公式1，得T。其中s₁是X轴上的缩放参数，s₂是Y轴上的缩放参数，θ是旋转参数，t_x和t_y是平移参数。

在计算T的过程中，由于忽略了Z轴坐标，Z轴的缩放参数相应的不会被计算。在这里，为了保证深度信息的合理，需要对Z轴的缩放参数进行大致的估计，假设人的脸型与人的头型有比例上的对应，故假定Z轴的缩放参数为(s₁-s₂)/2。

令T′是三维仿射变换矩阵，有

$T^{\′}\left(\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)=\left(\begin{array}{cccc}{s}_1\cos \mathrm{\θ}& -s_2\sin \mathrm{\θ}& 0& t_x\\ s_2\sin \mathrm{\θ}& s_1\cos \mathrm{\θ}& 0& t_y\\ 0& 0& (s_1+s_2)/2& 0\\ 0& 0& 0& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)$

通过对基准人脸三维模型所有点(包括特征点和非特征点)施加仿射变换T′，得到的三维模型本文称之为特定人脸三维模型。在实际应用中，如果可以采取对三维模型左右转头角度的限制，Z轴坐标的不准确对动画效果的影响十分有限。

由于人的发型千变万化，不可能将头发轮廓纳入ASM的统计模型，对于三维人脸动画来说，脸部五官的细节比头型的轮廓更为重要，所以特定人脸三维模型是一个脸部轮廓凸包而不是头部轮廓凸包，加之背景和光照条件复杂多样，如果仅使用前脸模型，效果不自然。

将特定人脸三维模型自然延展，按照图像宽度和高度的比例关系，生成一个背景板，进而形成整个图像的三维网格，即为一个具有三维网格结构覆盖的正面人脸图像板，这样的三维网格结构既有正面人脸的细节特征，又能把图像背景包含在内，从而保证了模型的真实感。

边界网格的生成分两个步骤。首先，找出正面人脸模型的边界点。以边界点为控制点，使用贝塞尔曲线和贝塞尔曲面来生成。

附属网格由左右眼及口腔中的牙齿、舌头、口腔体等网格组成。

由于仿射变换矩阵T′在X轴和Y轴上都有缩放，不能满足附属网格缩放的要求，应使用相似变换进行线性变换。

根据二维仿射变换矩阵T，令T″是三维相似变换矩阵，有

$T^{\′\′}=\left(\begin{array}{cccc}(s_1+s_2)\cos \mathrm{\θ}/2& -(s_1+s_2)\sin \mathrm{\θ}/2& 0& t_x\\ (s_1+s_2)\sin \mathrm{\θ}/2& (s_1+s_2)\cos \mathrm{\θ}/2& 0& t_y\\ 0& 0& (s_1+s_2)/2& 0\\ 0& 0& 0& 1\end{array}\right)$

对附属网格的所有点施加相似变换T″，得到对齐后的附属网格。将附属网格平移到特定人脸三维模型的对应位置，将所用的二维正面人脸图像作为纹理映射到特定人脸三维模型，完成人脸图像网格化。

Claims (1)

1.一种二维正面人脸图像的三维网格化方法，其特征在于，包括以下步骤：

步骤1

对具有二维正面人脸的图像进行分析自动提取人脸特征信息；

步骤2

将基准人脸三维模型的特征点对齐二维正面人脸的图像特征点，得到二维仿射变换矩阵：由于基准人脸三维模型特征点与二维正面人脸的图像特征点维数不同，将基准人脸三维模型位置调整到正面朝向Z轴正方向，在对齐过程中不考虑Z分量，令T是二维仿射变换矩阵，对于二维点

$T_{(s_1,s_2,\mathrm{\θ},t_x,t_y)}\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=\left(\begin{array}{ccc}{s}_1\·\cos \mathrm{\θ}& -s_1\·\sin \mathrm{\θ}& t_x\\ s_2\·\sin \mathrm{\θ}& s_2\·\cos \mathrm{\θ}& t_y\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)---\left(1\right)$

其中s₁是X轴上的缩放参数，s₂是Y轴上的缩放参数，θ是旋转参数，

和

是平移参数，向量

为基准人脸三维模型特征点向量，向量

为二维正面人脸的图像特征点，

和

的对齐问题即为解

的优化问题，有

${|T\left(x\right)-x^{\′}|}^2=$

$\underset{k=1}{\overset{n}{\mathrm{\Σ}}}[{(s_1\·\cos {\mathrm{\θx}}_k-s_1\·\sin {\mathrm{\θy}}_k+t_x-x_k^{\′})}^2---\left(2\right)$

${+(s_2\·\sin {\mathrm{\θx}}_k+s_2\·\cos {\mathrm{\θy}}_k+t_y-y_k^{\′})}^2]$

令

$\frac{\∂{|T\left(x_i\right)-x_j|}^2}{\∂s_1\·\cos \mathrm{\θ}}=0,\frac{\∂{|T\left(x_i\right)-x_j|}^2}{\∂s_1\·\sin \mathrm{\θ}}=0$

$\frac{\∂{|T\left(x_i\right)-x_j|}^2}{\∂s_2\·\cos \mathrm{\θ}}=0,\frac{\∂{|T\left(x_i\right)-x_j|}^2}{\∂s_2\·\sin \mathrm{\θ}}=0$

$\frac{\∂{|T\left(x_i\right)-x_j|}^2}{\∂t_x}=0,\frac{\∂{|T\left(x_i\right)-x_j|}^2}{\∂t_y}=0$

解得

$s_1\·\cos \mathrm{\θ\Σ}{x_i}^2-s_1\·\sin \mathrm{\θ\Σ}{x}_i{y}_i+t_x\mathrm{\Σ}{x}_i=\mathrm{\Σ}{x}_i{x}_i^{\′},$

$s_1\·\cos \mathrm{\θ\Σ}{x}_i{y}_i-s_1\·\sin \mathrm{\θ\Σ}{y_i}^2+t_x\mathrm{\Σ}{y}_i=\mathrm{\Σ}{y}_i{x}^i,$

$s_2\·\sin \mathrm{\θ\Σ}{x_i}^2+s_2\·\cos \mathrm{\θ\Σ}{x}_i{y}_i+t_y\mathrm{\Σ}{x}_i=\mathrm{\Σ}{x}_i{y}_i^{\′},$

$s_2\·\sin \mathrm{\θ\Σ}{x}_i{y}_i+s_2\·\cos \mathrm{\θ\Σ}{y_i}^2+t_y\mathrm{\Σ}{y}_i=\mathrm{\Σ}{y}_i{y}^{\′},$

$s_1\·\cos \mathrm{\θ}\frac{1}{n}\mathrm{\Σ}{x}_i-s_1\·\sin \mathrm{\θ}\frac{1}{n}\mathrm{\Σ}{y}_i+t_x=\frac{1}{n}\mathrm{\Σ}{x}_i^{\′},$

$s_2\·\sin \mathrm{\θ}\frac{1}{n}\mathrm{\Σ}{x}_i+s_2\·\cos \mathrm{\θ}\frac{1}{n}\mathrm{\Σ}{y}_i+t_y=\frac{1}{n}\mathrm{\Σ}{y}_i^{\′},$

将

平移到原点，

有

若令

a＝s₁cosθ，b＝-s₁sinθ，c＝s₂sinθ，d＝s₂cosθ，则有

$s_1^2=a^2+b^2,s_2^2=c^2+d^2,\mathrm{\θ}=-\arctan \left(\frac{b}{a}\right)$

带入，得

$t_x=\frac{1}{n}\mathrm{\Σ}{x}_i^{\′},$

$t_y=\frac{1}{n}\mathrm{\Σ}{y}_i^{\′},$

$\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)=\frac{1}{\mathrm{\Δ}}\left(\begin{array}{cc}\mathrm{\Σ}{x}_i{x}_i^{\′}& \mathrm{\Σ}{y}_i{x}_i^{\′}\\ \mathrm{\Σ}{x}_i{y}_i^{\′}& \mathrm{\Σ}{y}_i{y}_i^{\′}\end{array}\right)\left(\begin{array}{cc}\mathrm{\Σ}{y}_i^2& -\mathrm{\Σ}{x}_i{y}_i\\ -\mathrm{\Σ}{x}_i{y}_i& \mathrm{\Σ}{x}_i^2\end{array}\right),$

$\mathrm{\Δ}=\mathrm{\Σ}{x^2}_i\mathrm{\Σ}{y^2}_i-{\left(\mathrm{\Σ}{x}_i{y}_i\right)}^2$

带入公式(1)，得T；

步骤3

得到三维仿射变换矩阵，施加于基准人脸三维模型的每一个点，得到特定的人脸三维模型：令T′是三维仿射变换矩阵，有

$T^{\′}\left(\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)=\left(\begin{array}{cccc}{s}_1\cos \mathrm{\θ}& -s_2\sin \mathrm{\θ}& 0& t_x\\ s_2\sin \mathrm{\θ}& s_1\cos \mathrm{\θ}& 0& t_y\\ 0& 0& (s_1+s_2)/2& 0\\ 0& 0& 0& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)$

通过对基准人脸三维模型的特征点和非特征点施加三维仿射变换矩阵T′，得到特定人脸三维模型，然后再对整个特定人脸三维模型的轮廓进行整体调整，把脸部分为左半边脸与右半边脸，对于左脸部，通过人脸图像上的脸部轮廓特征点，进行样条插值，生产一条与左半边脸轮廓相似的光滑曲线，以脸部中心为远端，通过计算左半边脸上的点与左半边光滑曲线在X轴方向的距离，并根据该距离平移该点，右半边脸的调整采用同样方式处理；

步骤4

对特定人脸三维模型进行局部区域对准：将人脸按五官分布划分为多个不同的矩形区域，每个区域均含得到的特定人脸三维模型上一个特征点，把每个区域内特定人脸三维模型上的特征点对齐到二维正面人脸的图像特征点，然后根据距离和角度，调整区域内其他点的位移，使特定人脸三维模型与二维正面人脸的图像的局部对齐得更加准确，同时保证模型的平滑；

步骤5

对步骤4得到的特定人脸三维模型进行边界网格延伸，得到人脸图像板：利用贝塞尔曲面和贝塞尔曲线将特定人脸三维模型平滑地延展，按照图像宽度和高度的比例关系，生成一个背景板，进而形成整个二维正面人脸的图像的三维网格；

步骤6

得到三维相似变换矩阵，施加于附属网格的每一个点：附属网格由左右眼、口腔中的牙齿、舌头和口腔体组成，根据二维仿射变换矩阵T，令T″是三维相似变换矩阵，有

$T^{\′\′}=\left(\begin{array}{cccc}(s_1+s_2)\cos \mathrm{\θ}/2& -(s_1+s_2)\sin \mathrm{\θ}/2& 0& t_x\\ (s_1+s_2)\sin \mathrm{\θ}/2& (s_1+s_2)\cos \mathrm{\θ}/2& 0& t_y\\ 0& 0& (s_1+s_2)/2& 0\\ 0& 0& 0& 1\end{array}\right)$

对附属网格的所有点施加三维相似变换矩阵T″，得到对齐后的附属网格；

步骤7

将附属网格平移到步骤5所得到的特定人脸三维模型的对应位置；

步骤8

将步骤1所用的二维正面人脸的图像作为纹理映射到步骤7所得到特定人脸三维模型，完成人脸图像网格化。