CN106067190A - 一种基于单幅图像的快速人脸三维模型生成和变换方法 - Google Patents

Abstract

本发明公开了一种基于单幅图像的快速人脸三维模型生成和变换方法，该方法只用单幅正面人脸图像就能实时生成三维人脸模型，从而使该三维模型可以用于实时人机交互的应用中，比如多角度人脸识别，3D打印和变脸。在此基础上本发明还实现了人脸和其它面孔之间的实时变换。本发明操作简单、生成速度快又具有足够精度。

Description

一种基于单幅图像的快速人脸三维模型生成和变换方法

技术领域

本发明涉及人脸三维模型生成和变换方法，特别地，涉及基于人脸图像实时生成三维人脸模型，以及人脸模型和其它三维待处理模型之间的变换方法。

背景技术

三维建模具有广泛的使用范围和极高的实用价值。它是正在蓬勃发展的虚拟现实，3D打印等计算机领域的基础性技术。它也同时在图像识别中起到有效的增进作用。比如对同一个物体的多角度照片的识别和关联。有了三维模型就可以进行同一个人不同角度照片的比对，从而识别不同的照片中出现的是否是同一个人。

现有的根据三维照片建模的常用方法都需要多个特定角度多幅照片，所使用的多个照相机位置之间的相互关系是需要矫正的。这个门槛就将普通用户排除在外，而只能被专业用户所用。而且现有的三维建模方法需要的时间会长达几分钟，这样的等待是交互式应用所无法接受的，因为已经习惯于网络实时交互的用户不可能等那么久。而现有的基于单幅照片进行三维建模的方法精度太差，获得的人脸模型只有面部特征的轮廓线比较精确，其余位置缺乏细节，所以根本没有实用价值。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于单幅图像的快速人脸三维模型生成和变换方法，本发明操作简单、生成速度快又具有足够精度。

本发明的目的是通过以下技术方案来实现的：一种基于单幅图像的快速人脸三维模型生成方法，包括如下步骤：

(1)输入正面人脸图像。

(2)输入图像面部特征的提取：所提取的面部特征包括面部轮廓线上的点，以及双眼、鼻子，嘴唇轮廓线上的点。

(3)输入图像面部特征的微调：首先取双眼的外侧眼角之间连线的中点，把通过这个中点且与连线垂直的直线作为面部中线；根据该中线对鼻子上面的特征点以及面部轮廓线上的特征点进行微调，使他们对于该面部中线是对称的。同样将嘴唇的中点调整至面部中线上。

(4)输入图像面部特征和默认三维人脸模型的全局对准处理：取默认三维人脸模型的二维XY坐标，和输入图像面部特征做二维的全局对准。

(5)通过对默认三维人脸模型的多层二维自由变形进行局部对准：经过步骤4把默认三维人脸模型的特征点的二维位置全局对准到输入图像上微调过的面部特征点后，通过对默认三维人脸模型的二维XY坐标的多层自由变形，对上述两组特征点进行局部对准，并使得默认三维人脸模型上的所有顶点跟随这些特征点平滑地移动。

(6)变形后默认三维人脸模型深度值的矫正：将输入图像上所有面部像素的颜色和检测到的所有特征点的位置变换成两套主元素系数。串联这两套主元素系数。预先通过一个数据库学习得到一个基于人工神经网络的非线性回归模型。将该模型用到这个串联的主元素系数上，得到了输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度差的主元素系数，再从这些主元素系数可以重建所有顶点的深度差。最后将所有顶点的深度差加至步骤5处理后的默认三维人脸模型的深度，得到步骤1输入正面人脸图像的三维模型。

一种基于单幅图像的快速人脸三维模型变换方法，包括如下步骤：

(1)输入正面人脸图像。

(2)输入图像面部特征的提取：所提取的面部特征包括面部轮廓线上的点，以及双眼、鼻子，嘴唇轮廓线上的点。

(3)输入图像面部特征的微调：首先取双眼的外侧眼角之间连线的中点，把通过这个中点且与连线垂直的直线作为面部中线；根据该中线对鼻子上面的特征点以及面部轮廓线上的特征点进行微调，使他们对于该面部中线是对称的。同样将嘴唇的中点调整至面部中线上。

(4)输入图像面部特征和默认三维人脸模型的全局对准处理：取默认三维人脸模型的二维XY坐标，和输入图像面部特征做二维的全局对准。

(5)通过对默认三维人脸模型的多层二维自由变形进行局部对准：经过步骤4把默认三维人脸模型的特征点的二维位置全局对准到输入图像上微调过的面部特征点后，通过对默认三维人脸模型的二维XY坐标的多层自由变形，对上述两组特征点进行局部对准，并使得默认三维人脸模型上的所有顶点跟随这些特征点平滑地移动。

(6)变形后默认三维人脸模型深度值的矫正：将输入图像上所有面部像素的颜色和检测到的所有特征点的位置变换成两套主元素系数。串联这两套主元素系数。预先通过一个数据库学习得到一个基于人工神经网络的非线性回归模型。将该模型用到这个串联的主元素系数上，得到了输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度差的主元素系数，再从这些主元素系数可以重建所有顶点的深度差。最后将所有顶点的深度差加至步骤5处理后的默认三维人脸模型的深度，得到步骤1输入正面人脸图像的三维模型。

(7)输入待变换的三维模型。

(8)待变换的三维模型与默认三维人脸模型的全局对准处理。

(9)待变换的三维模型与默认三维人脸模型的点对点密集对应关系的获取。

(10)计算待变换的三维模型上进行待变换的三维模型和默认三维人脸模型混合所需的所有顶点的加权系数。

(11)待变换的三维模型的比例调整。

(12)：根据步骤9得到的待变换的三维模型与默认三维人脸模型的点对点密集对应关系和步骤10中得到的待变换的三维模型上进行待变换的三维模型和默认三维人脸模型混合所需的所有顶点的加权系数，对步骤11调整后待变换的三维模型和步骤6获得的输入正面人脸图像的三维模型进行混合，得到的混合模型上的顶点由如下计算得到：

v^*(i)＝(w(i)-w(i)²)v_F(i)+w(i)²v_D(LUT[i])+(1-w(i))v_T(i)，

其中，v_F(i)为v_F的第i个顶点，v_T(i)为v_T的第i个顶点，v_D为步骤6获得的输入正面人脸图像的三维模型上的顶点，LUT是步骤9得到的待变换的三维模型与默认三维人脸模型的点对点密集对应关系，LUT[i]为待变换的三维模型第i个顶点所对应的默认三维人脸模型上的顶点的标号。

(13)对变形后得到的混合模型进行纹理映射。

本发明的有益效果是，本发明提供一种操作简单、生成速度快又具有足够精度的基于单幅图像的三维人脸建模方法，在此基础上实现了人脸和其它面孔之间的实时变脸。本发明特别适用于需要实时反应的人机交互式应用。

附图说明

图1是本发明的流程图。

具体实施方式

下面结合附图详细描述本发明，本发明的目的和效果将变得更加明显。

如图1所示，本发明基于单幅图像的快速人脸三维模型生成方法，包括如下步骤：

步骤1：输入正面人脸图像。

步骤2：输入图像面部特征的提取

采用Xudong Cao,Yichen Wei,Fang Wen and Jian Sun,“Face AlignmentbyExplicit Shape Regression,”International Journal of Computer Vision论文中阐述的方法提取输入图像的面部特征。所述面部特征包括面部轮廓线上的点，以及双眼，鼻子，嘴唇轮廓线上的点。

步骤3：输入图像面部特征的微调

因为输入图像通常不是绝对的正面照，导致检测到的面部特征的位置存在不对称性，为弥补这个偏差，需要对检测到的面部特征进行微调。

首先取双眼的外侧眼角之间连线的中点，把通过这个中点且与连线垂直的直线作为面部中线。根据该中线对鼻子上面的特征点以及面部轮廓线上的特征点进行微调，使他们对于该面部中线是对称的。同样将上嘴唇的中点调整至面部中线上。

步骤4：输入图像微调过的面部特征和默认三维人脸模型的全局对准处理

所述默认三维人脸模型指的是一个具有平均脸型的固定的三维网格人脸模型。取默认三维人脸模型上的特征点的二维XY坐标，通过计算一个包括二维旋转、二维平移的全局变换矩阵T_2D，将默认三维人脸模型上的特征点的二维XY坐标和输入图像的微调过的面部特征做二维的全局对准。

矩阵形式如下：

$T_{2D}=\left[\begin{array}{ccc}{r}_0& r_1& t_x\\ -r_1& r_0& t_y\end{array}\right]$

该矩阵是通过解以下的优化问题得到的：

$\underset{T_{2D}}{\arg \min }\underset{i}{\Σ}\left|\right|T_{2D}{p}_f\left(i\right)-v_G\left(i\right)|{|}^2$

其中，T_2D是全局变换矩阵，r₀、r₁、t_x和t_y是全局变换矩阵T_2D的元素，且r₀、r₁表示二维旋转，t_x和t_y表示二维平移；p_f(i)＝[x_f(i) y_f(i) 1]^T为第i个面部特征点的二维齐次坐标，x_f(i)和y_f(i)为二维齐次坐标的横坐标和纵坐标；v_G(i)是默认三维人脸模型上第i个特征点的XY坐标，G表示默认三维人脸模型，f表示输入图像的面部特征点。

步骤5：通过默认三维人脸模型的多层二维自由变形进行局部对准

经过步骤4把默认三维人脸模型的特征点的二维XY坐标全局对准到输入图像的微调过的面部特征点后，通过对默认三维人脸模型的二维XY坐标的多层自由变形，对上述两组特征点进行局部对准，并使得默认三维人脸模型上的所有顶点跟随这些特征点平滑地移动。上述二维XY坐标的多层自由变形可以采用Seung-Yong Lee,Kyung-Yong Chwa andSung Yong Shin,“Image metamorphosis using snakes and free-form deformations,”Proceeding of ACM SIGGRAPH 1995论文中阐述的方法来处理。

步骤6：变形后默认三维人脸模型深度值的矫正

将输入图像上所有面部像素的颜色和提取的所有面部特征点的位置变换成两套主元素系数。串联这两套主元素系数。预先通过一个数据库学习得到一个基于人工神经网络的非线性回归模型。将该模型用到这个串联的主元素系数上，得到了输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度差的主元素系数，再从这些主元素系数可以重建所有顶点的深度差。最后将所有顶点的深度差加至步骤5处理后的默认三维人脸模型的深度，得到步骤1输入正面人脸图像的三维模型。

所述非线性回归模型是由人脸数据库训练得到的，其训练过程如下：

6.1、对数据库中每幅图像上所有面部特征点的位置进行主元素分析(PCA)，得到一个图像面部特征点位置的主元素降维模型PCA_f以及数据库中每幅图像上所有面部特征点的位置的主元素系数。同时对数据库中每幅图像上所有面部像素的颜色进行主元素分析，得到一个图像面部像素颜色的主元素降维模型PCA_I以及数据库中每幅图像上所有面部像素的颜色的主元素系数。

6.2、计算数据库中每个三维人脸模型和默认三维人脸模型之间所有顶点的深度差，并对该深度差也进行主元素分析，得到一个面部顶点深度差的主元素降维模型PCA_Z以及数据库中每个三维人脸模型所有顶点的深度差的主元素系数。

6.3、把步骤6.1中计算得到的数据库中每幅图像的两套主元素系数串联作为一个四层人工神经网络的输入，把步骤6.2中计算得到的数据库中每个三维人脸模型所有顶点深度差的主元素系数作为人工神经网络的预期的输出，用随机梯度下降法对神经网络内部的权重进行优化。由此得到的人工神经网络就是我们所需要的非线性回归模型。

所述“将该模型用到这个串联的主元素系数上，得到了输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度差的主元素系数，再从这些主元素系数可以重建所有顶点的深度差。”的过程具体如下所述：

定义C_f为输入图像上所有面部特征点的位置V_f的主元素系数，C_I为输入图像上所有面部像素的颜色V_I的主元素系数。那么：

C_f＝PCA_f(V_f)，

C_I＝PCA_I(V_I)，

其中，I表示输入图像上的面部像素，PCA_f(V_f)表示用图像面部特征点位置的主元素降维模型对V_f做主元素投影，PCA_f表示图像面部特征点位置的主元素降维模型，PCA_I(V_I)表示用图像面部像素颜色的主元素降维模型对V_I做主元素投影，PCA_I表示图像面部像素颜色的主元素降维模型。

定义C_Z为输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度差ΔZ的主元素系数。那么：

C_Z＝PCA_Z(ΔZ)，

其中，Z表示输入正面人脸图像的三维模型的顶点深度，PCA_Z(ΔZ)表示用面部顶点深度差的主元素降维模型对ΔZ做主元素投影，PCA_Z表示面部顶点深度差的主元素降维模型。

输入正面人脸图像的三维模型的所有顶点的深度值是由以下公式计算得出：

$\tilde{Z}=\stackrel{\‾}{Z}+{\mathrm{PCA}}_Z^{-1}\left({\tilde{C}}_Z\right),$

其中，为C_Z的估计值，为Z的估计值，R(C_f,C_I)表示把非线性回归模型用到C_f和C_I的串联上，表示用从数据库学习得到的面部顶点深度差的主元素降维模型重建输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度差，表示默认三维人脸模型的顶点深度。

如图1所示，本发明基于单幅图像的快速人脸三维模型变换方法，包括如下步骤：

步骤1-6与基于单幅图像的快速人脸三维模型生成方法的步骤1-6一致。

步骤7：输入待变换的三维模型。

步骤8：待变换的三维模型与默认三维人脸模型的全局对准处理

首先将待变换的三维模型和默认三维人脸模型的均值位置移到坐标系的原点。通过计算一个包括三维旋转、三维平移和各向异性缩放的全局变换矩阵T_3D，对待变换的三维模型和默认三维人脸模型进行全局对准处理。

全局变换矩阵T_3D的定义如下：

$T_{3D}=\left[\begin{array}{cccc}{s}_x& -r_z& r_y& t_x\\ r_z& s_y& -r_x& t_y\\ -r_y& r_x& s_z& t_z\\ 0& 0& 0& 1\end{array}\right].$

计算该矩阵需要解以下这个优化问题：

$\underset{T_{3D}}{\arg \min }\underset{i}{\Σ}\left|\right|T_{3D}{v}_A\left(i\right)-v_G\left(i\right)|{|}^2$

其中，s_x、s_y、s_z、r_x、r_y、r_z、t_x、t_y、t_z为全局变换矩阵T_3D的元素，s_x、s_y、s_z表示各向异性缩放、r_x、r_y、r_z表示三维旋转、t_x、t_y、t_z表示三维平移。v_A(i)表示待变换的三维模型上第i个特征点的三维齐次坐标；v_G(i)表示默认三维人脸模型上第i个特征点的三维齐次坐标，A表示待变换的三维模型的特征点。

步骤9：待变换的三维模型与默认三维人脸模型的点对点密集对应关系的获取

待变换的三维模型和默认三维人脸模型之间点对点密集对应关系可以采用Robert W.Sumner and Jovan Popovic,“Deformation transfer for triangle meshes,”Proceeding of ACM SIGGRAPH 2004这篇论文中的算法来获取。

步骤10：计算待变换的三维模型上进行待变换的三维模型和默认三维人脸模型混合所需的所有顶点的加权系数。

该加权系数的计算属于一次性预处理。所有顶点的加权系数w＝[w(1),…,w(n)]是通过解以下优化问题得到的：

min_wE(w)＝min_w(E_C(w)+αE_S(w)+βE_O(w))，

其中，E_C(w)表示特征点约束的满足程度，定义如下：

E_C(w)＝∑_i∈H||w(i)-w₀(i)||²，

C表示特征点约束，w(i)表示w的第i个元素，w₀(i)是待变换的三维模型的特征点集H里第i个顶点的初始权重；

E_S(w)表示待变换的三维模型的相邻顶点之间加权系数的光滑程度，定义为：

E_S(w)＝∑_j∈adj(i)||w(i)-w(j)||²，

其中，adj(i)代表待变换的三维模型上与第i个顶点相邻的顶点集合，w(j)表示待变换的三维模型上与第i个顶点相邻的第j个顶点的加权系数；S表示光滑性约束。

E_O(w)代表零权重能量，它使得在待变换的三维模型的非特征点顶点处的权重接近于零，E_O(w)定义如下：

其中，O表示零权重约束。

步骤11：待变换的三维模型的比例调整

比例调整是为了让待变换的三维模型尽量接近步骤6获得的输入正面人脸图像的三维模型的大小。为了得到更高质量的混合模型，需要对之根据不同比例进行二次放缩。其中第一个放缩比例参考步骤6获得的输入正面人脸图像的三维模型的面部轮廓线的大小，其具体定义如下：在输入正面人脸图像的三维模型的面部轮廓线上选取位于左右耳附近的两个端点和位于下颚处的中点，这三个顶点形成一个三角形，在待变换的三维模型的面部轮廓线上以同样方式形成一个三角形，这两个三角形的平均边长之间的比例即为所述第一个放缩比例。缩放后待变换的三维模型上的顶点标记为v_T，其中，T表示面部轮廓线。第二个放缩比例参考步骤6获得的输入正面人脸图像的三维模型的面部除轮廓线以外的特征点之间的距离，其具体定义如下：在输入正面人脸图像的三维模型上取双眼的外侧眼角和上嘴唇的中点，这三个特征点形成一个三角形，在待变换的三维模型上以同样方式形成一个三角形，这两个三角形的平均边长之间的比例即为所述第二个放缩比例。缩放后待变换的三维模型上的顶点标记为v_F，其中，F表示面部除轮廓线以外的特征点。

步骤12：从步骤11调整后待变换的三维模型到步骤6获得的输入正面人脸图像的三维模型的变形

变形的结果是二者之间的一个混合模型。根据步骤9得到的待变换的三维模型与默认三维人脸模型的点对点密集对应关系和步骤10中得到的待变换的三维模型上进行待变换的三维模型和默认三维人脸模型混合所需的所有顶点的加权系数，对步骤11调整后待变换的三维模型和步骤6获得的输入正面人脸图像的三维模型进行混合，得到的混合模型上的顶点由如下计算得到：

v^*(i)＝(w(i)-w(i)²)v_F(i)+w(i)²v_D(LUT[i])+(1-w(i))v_T(i)，

其中，v_F(i)为v_F的第i个顶点，v_T(i)为v_T的第i个顶点，v_D为步骤6获得的输入正面人脸图像的三维模型上的顶点，LUT是步骤9得到的待变换的三维模型与默认三维人脸模型的点对点密集对应关系，LUT[i]为待变换的三维模型第i个顶点所对应的默认三维人脸模型上的顶点的标号。

步骤13：变形后得到的混合模型的纹理映射

这一步从输入的正面人脸图像得到纹理。因为图片是正面人像，用正交投影作为近似把步骤6获得的输入正面人脸图像的三维模型上的顶点反向投影到输入的正面人脸图像上得到相应的纹理坐标。

Claims (8)

1.一种基于单幅图像的快速人脸三维模型生成方法，其特征在于，包括如下步骤：

(1)输入正面人脸图像。

(2)输入图像面部特征的提取：所提取的面部特征包括面部轮廓线上的点，以及双眼、鼻子，嘴唇轮廓线上的点。

(3)输入图像面部特征的微调：首先取双眼的外侧眼角之间连线的中点，把通过这个中点且与连线垂直的直线作为面部中线；根据该中线对鼻子上面的特征点以及面部轮廓线上的特征点进行微调，使他们对于该面部中线是对称的。同样将嘴唇的中点调整至面部中线上。

(4)输入图像面部特征和默认三维人脸模型的全局对准处理：取默认三维人脸模型的二维XY坐标，和输入图像面部特征做二维的全局对准。

(5)通过对默认三维人脸模型的多层二维自由变形进行局部对准：经过步骤4把默认三维人脸模型的特征点的二维位置全局对准到输入图像上微调过的面部特征点后，通过对默认三维人脸模型的二维XY坐标的多层自由变形，对上述两组特征点进行局部对准，并使得默认三维人脸模型上的所有顶点跟随这些特征点平滑地移动。

(6)变形后默认三维人脸模型深度值的矫正：将输入图像上所有面部像素的颜色和检测到的所有特征点的位置变换成两套主元素系数。串联这两套主元素系数。预先通过一个数据库学习得到一个基于人工神经网络的非线性回归模型。将该模型用到这个串联的主元素系数上，得到了输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度差的主元素系数，再从这些主元素系数可以重建所有顶点的深度差。最后将所有顶点的深度差加至步骤5处理后的默认三维人脸模型的深度，得到步骤1输入正面人脸图像的三维模型。

2.根据权利要求1所述基于单幅图像的快速人脸三维模型生成方法，其特征在于，所述步骤(4)中，所述默认三维人脸模型指的是一个具有平均脸型的固定的三维网格人脸模型。取默认三维人脸模型上的特征点的二维XY坐标，通过计算一个包括二维旋转、二维平移的全局变换矩阵T_2D，将默认三维人脸模型上的特征点的二维XY坐标和输入图像的微调过的面部特征做二维的全局对准。

矩阵形式如下：

$T_{2D}=\left[\begin{array}{ccc}{r}_0& r_1& t_x\\ -r_1& r_0& t_y\end{array}\right]$

该矩阵是通过解以下的优化问题得到的：

$\underset{T_{2D}}{\mathrm{argmin}}\underset{i}{\Σ}\left|\right|T_{2D}{p}_f\left(i\right)-v_G\left(i\right)|{|}^2$

其中，T_2D是全局变换矩阵，r₀、r₁、t_x和t_y是全局变换矩阵T_2D的元素，且r₀、r₁表示二维旋转，t_x和t_y表示二维平移；p_f(i)＝[x_f(i) y_f(i) 1]^T为第i个面部特征点的二维齐次坐标，x_f(i)和y_f(i)为二维齐次坐标的横坐标和纵坐标；v_G(i)是默认三维人脸模型上第i个特征点的XY坐标，G表示默认三维人脸模型，f表示输入图像的面部特征点。

3.根据权利要求1所述基于单幅图像的快速人脸三维模型生成方法，其特征在于，所述步骤(6)中，所述非线性回归模型是由人脸数据库训练得到的，其训练过程如下：

(6.1)、对数据库中每幅图像上所有面部特征点的位置进行主元素分析(PCA)，得到一个图像面部特征点位置的主元素降维模型PCA_f以及数据库中每幅图像上所有面部特征点的位置的主元素系数。同时对数据库中每幅图像上所有面部像素的颜色进行主元素分析，得到一个图像面部像素颜色的主元素降维模型PCA_I以及数据库中每幅图像上所有面部像素的颜色的主元素系数。

(6.2)、计算数据库中每个三维人脸模型和默认三维人脸模型之间所有顶点的深度差，并对该深度差也进行主元素分析，得到一个面部顶点深度差的主元素降维模型PCA_Z以及数据库中每个三维人脸模型所有顶点的深度差的主元素系数。

(6.3)、把步骤6.1中计算得到的数据库中每幅图像的两套主元素系数串联作为一个四层人工神经网络的输入，把步骤6.2中计算得到的数据库中每个三维人脸模型所有顶点深度差的主元素系数作为人工神经网络的预期的输出，用随机梯度下降法对神经网络内部的权重进行优化。由此得到的人工神经网络就是我们所需要的非线性回归模型。

4.根据权利要求1所述基于单幅图像的快速人脸三维模型生成方法，其特征在于，所述步骤(6)中，所述“将该模型用到这个串联的主元素系数上，得到了输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度差的主元素系数，再从这些主元素系数可以重建所有顶点的深度差。”的过程具体如下所述：

定义C_f为输入图像上所有面部特征点的位置V_f的主元素系数，C_I为输入图像上所有面部像素的颜色V_I的主元素系数。那么：

C_f＝PCA_f(V_f)，

C_I＝PCA_I(V_I)，

其中，I表示输入图像上的面部像素，PCA_f(V_f)表示用图像面部特征点位置的主元素降维模型对V_f做主元素投影，PCA_f表示图像面部特征点位置的主元素降维模型，PCA_I(V_I)表示用图像面部像素颜色的主元素降维模型对V_I做主元素投影，PCA_I表示图像面部像素颜色的主元素降维模型。

定义C_Z为输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度差ΔZ的主元素系数。那么：

C_Z＝PCA_Z(ΔZ)，

其中，Z表示输入正面人脸图像的三维模型的顶点深度，PCA_Z(ΔZ)表示用面部顶点深度差的主元素降维模型对ΔZ做主元素投影，PCA_Z表示面部顶点深度差的主元素降维模型。

输入正面人脸图像的三维模型的所有顶点的深度值是由以下公式计算得出：

$\tilde{Z}=\stackrel{\‾}{Z}+{\mathrm{PCA}}_Z^{-1}\left({\tilde{C}}_Z\right),$

其中，为C_Z的估计值，为Z的估计值，R(C_f,C_I)表示把非线性回归模型用到C_f和C_I的串联上，表示用从数据库学习得到的面部顶点深度差的主元素降维模型重建输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度差，表示默认三维人脸模型的顶点深度。

5.一种基于单幅图像的快速人脸三维模型变换方法，其特征在于，包括如下步骤：

(1)输入正面人脸图像。

(2)输入图像面部特征的提取：所提取的面部特征包括面部轮廓线上的点，以及双眼、鼻子，嘴唇轮廓线上的点。

(3)输入图像面部特征的微调：首先取双眼的外侧眼角之间连线的中点，把通过这个中点且与连线垂直的直线作为面部中线；根据该中线对鼻子上面的特征点以及面部轮廓线上的特征点进行微调，使他们对于该面部中线是对称的。同样将嘴唇的中点调整至面部中线上。

(4)输入图像面部特征和默认三维人脸模型的全局对准处理：取默认三维人脸模型的二维XY坐标，和输入图像面部特征做二维的全局对准。

(5)通过对默认三维人脸模型的多层二维自由变形进行局部对准：经过步骤4把默认三维人脸模型的特征点的二维位置全局对准到输入图像上微调过的面部特征点后，通过对默认三维人脸模型的二维XY坐标的多层自由变形，对上述两组特征点进行局部对准，并使得默认三维人脸模型上的所有顶点跟随这些特征点平滑地移动。

(6)变形后默认三维人脸模型深度值的矫正：将输入图像上所有面部像素的颜色和检测到的所有特征点的位置变换成两套主元素系数。串联这两套主元素系数。预先通过一个数据库学习得到一个基于人工神经网络的非线性回归模型。将该模型用到这个串联的主元素系数上，得到了输入正面人脸图像的三维模型和默认三维人脸模型之间所有顶点的深度差的主元素系数，再从这些主元素系数可以重建所有顶点的深度差。最后将所有顶点的深度差加至步骤5处理后的默认三维人脸模型的深度，得到步骤1输入正面人脸图像的三维模型。

(7)输入待变换的三维模型。

(8)待变换的三维模型与默认三维人脸模型的全局对准处理。

(9)待变换的三维模型与默认三维人脸模型的点对点密集对应关系的获取。

(10)计算待变换的三维模型上进行待变换的三维模型和默认三维人脸模型混合所需的所有顶点的加权系数。

(11)待变换的三维模型的比例调整。

(12)：根据步骤9得到的待变换的三维模型与默认三维人脸模型的点对点密集对应关系和步骤10中得到的待变换的三维模型上进行待变换的三维模型和默认三维人脸模型混合所需的所有顶点的加权系数，对步骤11调整后待变换的三维模型和步骤6获得的输入正面人脸图像的三维模型进行混合，得到的混合模型上的顶点由如下计算得到：

v^*(i)＝(w(i)-w(i)²)v_F(i)+w(i)²v_D(LUT[i])+(1-w(i))v_T(i)，

其中，v_F(i)为v_F的第i个顶点，v_T(i)为v_T的第i个顶点，v_D为步骤6获得的输入正面人脸图像的三维模型上的顶点，LUT是步骤9得到的待变换的三维模型与默认三维人脸模型的点对点密集对应关系，LUT[i]为待变换的三维模型第i个顶点所对应的默认三维人脸模型上的顶点的标号。

(13)对变形后得到的混合模型进行纹理映射。

6.根据权利要求5所述基于单幅图像的快速人脸三维模型变换方法，其特征在于，所述步骤8具体为：首先将待变换的三维模型和默认三维人脸模型的均值位置移到坐标系的原点。通过计算一个包括三维旋转、三维平移和各向异性缩放的全局变换矩阵T_3D，对待变换的三维模型和默认三维人脸模型进行全局对准处理。

全局变换矩阵T_3D的定义如下：

$T_{3D}=\left[\begin{array}{cccc}{s}_x& -r_z& r_y& t_x\\ r_z& s_y& -r_x& t_y\\ -r_y& r_x& s_z& t_z\\ 0& 0& 0& 1\end{array}\right].$

计算该矩阵需要解以下这个优化问题：

$\underset{T_{3D}}{\mathrm{argmin}}\underset{i}{\Σ}\left|\right|T_{3D}{v}_A\left(i\right)-v_G\left(i\right)|{|}^2$

其中，s_x、s_y、s_z、r_x、r_y、r_z、t_x、t_y、t_z为全局变换矩阵T_3D的元素，s_x、s_y、s_z表示各向异性缩放、r_x、r_y、r_z表示三维旋转、t_x、t_y、t_z表示三维平移。v_A(i)表示待变换的三维模型上第i个特征点的三维齐次坐标；v_G(i)表示默认三维人脸模型上第i个特征点的三维齐次坐标，A表示待变换的三维模型的特征点。

7.根据权利要求5所述基于单幅图像的快速人脸三维模型变换方法，其特征在于，所述步骤(10)具体为：

所有顶点的加权系数w＝[w(1),…,w(n)]是通过解以下优化问题得到的：

min_wE(w)＝min_w(E_C(w)+αE_S(w)+βE_O(w))，

其中，E_C(w)表示特征点约束的满足程度，定义如下：

E_C(w)＝∑_i∈H||w(i)-w₀(i)||²，

C表示特征点约束，w(i)表示w的第i个元素，w₀(i)是待变换的三维模型的特征点集H里第i个顶点的初始权重；

E_S(w)表示待变换的三维模型的相邻顶点之间加权系数的光滑程度，定义为：

E_S(w)＝∑_j∈adj(i)||w(i)-w(j)||²，

其中，adj(i)代表待变换的三维模型上与第i个顶点相邻的顶点集合，w(j)表示待变换的三维模型上与第i个顶点相邻的第j个顶点的加权系数；S表示光滑性约束。

E_O(w)代表零权重能量，它使得在待变换的三维模型的非特征点顶点处的权重接近于零，E_O(w)定义如下：

$E_O\left(w\right)={\mathrm{\Σ}}_{i\∉H}\left|\right|w\left(i\right)|{|}^2.$

其中，O表示零权重约束。

8.根据权利要求5所述基于单幅图像的快速人脸三维模型变换方法，其特征在于，所述步骤(11)中，所述比例调整通过二次缩放来实现，其中，第一个放缩比例参考步骤6获得的输入正面人脸图像的三维模型的面部轮廓线的大小，其具体定义如下：在输入正面人脸图像的三维模型的面部轮廓线上选取位于左右耳附近的两个端点和位于下颚处的中点，这三个顶点形成一个三角形，在待变换的三维模型的面部轮廓线上以同样方式形成一个三角形，这两个三角形的平均边长之间的比例即为所述第一个放缩比例，缩放后待变换的三维模型上的顶点标记为v_T，T表示面部轮廓线；第二个放缩比例参考步骤6获得的输入正面人脸图像的三维模型的面部除轮廓线以外的特征点之间的距离，其具体定义如下：在输入正面人脸图像的三维模型上取双眼的外侧眼角和上嘴唇的中点，这三个特征点形成一个三角形，在待变换的三维模型上以同样方式形成一个三角形，这两个三角形的平均边长之间的比例即为所述第二个放缩比例，缩放后待变换的三维模型上的顶点标记为v_F，F表示面部除轮廓线以外的特征点。