CN102103756B - 支持姿态偏转的人脸数字图像漫画夸张方法、装置及系统 - Google Patents

Abstract

本发明实施例提供了一种支持姿态偏转的人脸数字图像漫画夸张方法、装置及系统，该方法包括：根据预先建立的三维平均脸形状模型恢复输入人脸图像的二维特征点的近似深度信息；根据该近似深度信息生成所述输入人脸图像的三维形状；在预先建立的基于非负矩阵分解的人脸三维形状特征空间中，根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张，以获得三维夸张后的三维形状；将该三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并投影，以生成三维夸张后的二维特征点；根据该三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像。本发明能对摇摆偏转+/-40°、俯仰偏转+/-20°的人脸图像做出更生动幽默和富于变化的漫画夸张效果。

Description

支持姿态偏转的人脸数字图像漫画夸张方法、装置及系统

技术领域

本发明涉及计算机图形图像处理领域，具体地涉及一种支持姿态偏转的人脸数字图像漫画夸张方法、装置及系统。

背景技术

人脸卡通画使用简单的轮廓线条以及单纯的色彩突出人物形象的特征，通过艺术的手法夸张或者写实地表现人物的个性和反映画家的创作思想。非真实感绘制(NPR，Non-Photorealistic Rendering)的卡通头像可以去除不重要的细节，而突出重要特征，从而能更好地传递信息，在网络通讯和网络游戏等多个领域中有很强的应用前景。

在艺术夸张表现上，通过基于人脸的特征统计与特征发现，即对人脸部器官特征(例如额头宽度、嘴唇厚度等)进行测量以获得人脸特征点，人脸特征点主要是指能够反映个人面部特征的点，例如眼角、嘴角、鼻尖、鼻翼角点等，并与平均人脸参考模型进行比较，其差异作为人物特征，并对该差异进行放大，得到夸张的艺术效果。

目前，鲜有研究工作针对单张非正视人脸图像做漫画夸张。而事实上，通常的人脸图像并不完全是正视人脸图像，生活中还存在有大量的非正视人脸图像；某些人的正面图像体现不出太多的特点，而在半侧面或是全侧面图像中却能凸显其的特质，因此，对单张非正视人脸图像的漫画夸张的研究是非常有必要的。

现有技术的技术方案包括离线部分和在线部分。在离线部分，首先建立一个三维平均人脸参考模型。图1为现有技术的三维平均人脸模型的特征点位置的分布示意图。如图1所示，通过手工标定三维人脸数据库中样本的特征点，获取特征点坐标，旋转、平移、缩放到统一的坐标系下对三维坐标求均值而建立，通过上述步骤，离线准备工作完毕。

在线部分，进行卡通头像制作，具体包括如下步骤：

S101、利用三维平均人脸参考模型估计输入图像中人脸的位置和姿态参数；S102、把估计出的位置和姿态参数应用到三维人脸参考模型，使其朝向和位置基本与该输入图像匹配，再把此时三维人脸参考模型的各个特征点的深度信息作为输入图像的二维相应特征点的近似深度，以形成符合该输入图像的三维特征点模型；S103、将该图像的三维特征点模型旋转到正面视图，利用基于二维人脸形状的夸张规则得到正面视图的夸张特征点；S104、把正面视图的夸张后的三维特征点模型旋转回原来的姿态并投影，即得夸张后的人脸二维特征点；S105、利用数字图像扭曲warping技术，把经过配准的人脸二维特征点包围的输入人脸的纹理，映射到夸张后的人脸特征点包围的范围内，即得人脸的夸张效果；S106、采用NPR技术得到最终带有卡通风格的漫画夸张效果。

发明人在实现本发明的过程中发现，现有技术至少存在以下不足：现有技术的人脸图像漫画夸张方法只能局限于正视图像或者固定姿态的图像；现有技术把特征点的深度信息恢复出来后，将有偏转的人脸三维特征点旋转到正面视图然后应用夸张规则，但是应用的夸张规则是二维的，没有利用好深度信息；而且现有技术使用的是基于直观语义的二维夸张规则，这种夸张规则产生的夸张效果有限，缺乏生动性。

发明内容

本发明实施例提供了一种支持姿态偏转的人脸数字图像漫画夸张方法、装置及系统，通过在基于非负矩阵分解NMF的人脸三维形状特征空间中，根据三维夸张规则对旋转至输入人脸像的三维形状进行三维夸张，以获得具有漫画风格的生动幽默的人脸图像。

一方面，本发明实施例提供了一种支持姿态偏转的人脸数字图像漫画夸张方法，所述方法包括：根据预先建立的三维平均脸形状模型恢复输入人脸图像的二维特征点的近似深度信息；根据所述近似深度信息生成所述输入人脸图像的三维形状；在预先建立的基于非负矩阵分解NMF的人脸三维形状特征空间中，根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张，以生成三维夸张后的三维形状；将所述三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并投影，以生成三维夸张后的二维特征点；根据所述三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像。

另一方面，本发明实施例提供了一种支持姿态偏转的人脸数字图像漫画夸张装置，所述装置包括：深度信息恢复单元，用于根据预先建立的三维平均脸形状模型恢复输入人脸图像的二维特征点的近似深度信息；三维形状生成单元，用于根据所述近似深度信息生成所述输入人脸图像的三维形状；三维形状夸张单元，用于在预先建立的基于非负矩阵分解NMF的人脸三维形状特征空间中，根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张，以生成三维夸张后的三维形状；二维特征点生成单元，用于将所述三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并投影，以生成三维夸张后的二维特征点；漫画夸张图像生成单元，用于根据所述三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像。

又一方面，本发明实施例提供了一种支持姿态偏转的人脸数字图像漫画夸张系统，包括图像夸张装置，用于根据图像数据库提供的一预设数量的人脸图像三维模型，恢复输入的人脸图像二维特征点的近似深度信息；根据所述近似深度信息生成所述输入人脸图像的三维形状；在预先建立的基于非负矩阵分解的人脸三维形状特征空间中，根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张，以生成三维夸张后的三维形状；将所述三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并投影，以生成三维夸张后的二维特征点；根据所述三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像；以及图像数据库，用于向所述图像夸张装置提供一预设数量的人脸图像三维模型。

本发明实施例的一种支持姿态偏转的人脸数字图像漫画夸张方法、装置及系统，可以对摇摆偏转+/-40°、俯仰偏转+/-20°的人脸图像做出漫画夸张效果。本发明实施例完全基于人脸立体结构的三维夸张规则，解决了现有技术的漫画夸张方法只能对近似正面人脸图像或者固定姿态人脸图像做夸张的问题，同时对现有技术的基于直观语义规则的二维夸张方法实现了改进，能够有效地产生更加生动幽默和富于变化的漫画夸张结果。

附图说明

图1为现有技术的三维平均人脸模型的特征点位置的分布示意图；

图2为本发明实施例1的人脸数字图像漫画夸张方法的整体流程图；

图2a为本发明实施例1的图2中S210的详细流程图；

图3为本发明实施例的深度恢复误差分析示意图；

图4a为基于NMF夸张的方向性效应的鸟瞰视图；

图4b为基于NMF夸张的方向性效应的右侧视图；

图5为本发明实施例1生成的人脸夸张图像的效果实例图；

图6为本发明实施例1与现有技术的夸张效果对比实例图；

图7为本发明实施例2的人脸数字图像漫画夸张装置的功能框图；

图7a为本发明实施例2的空间建立单元706的详细功能框图；

图8为本发明实施例3的系统功能框图；

图9为本发明实施例4的人脸数字图像漫画夸张方法的处理流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例能有效地生成姿态可变的人脸图像的漫画夸张风格的卡通化效果。本发明实施例在利用三维平均脸模型恢复输入人脸特征点深度信息后，在NMF(Non-negative Matrix Factorization，非负矩阵分解)建立的人脸形状特征空间下，将该三维形状与三维平均脸形状比较并归一化特征差异，对其中较显著的特征应用夸张规则。从而扩大了现有的漫画夸张方法的应用范围，能够更有效地产生幽默效果更加明显的结果，满足日常应用的需求。

实施例1：

本发明实施例提供了一种支持姿态偏转的人脸数字图像漫画夸张方法。该方法的应用范围针对摇摆偏转+/-40°、俯仰偏转+/-20°范围内的人脸图像。图2为本发明实施例1的人脸数字图像漫画夸张方法的流程图。如图2所示，该方法包括：

S202、根据预先建立的三维平均脸形状模型恢复输入人脸图像的二维特征点的近似深度信息；上述过程具体包括：首先，执行姿态参数求精步骤；

由于输入的姿态参数的精度并不一定非常高，需要通过进一步求精得到更精确的结果。本发明实施例1是利用三维平均脸形状模型逼近输入人脸图像的二维特征点的所有姿态参数，包括缩放系数s，三个坐标轴的旋转参数α，β，γ，水平偏移参数tx和垂直偏移参数ty等，以输入的姿态参数作为初值，用计算机最优化方法得到精确的姿态参数结果。

待优化的目标函数如下：

$\underset{s,R,t}{\arg \min }\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left|\right|\mathrm{sUR}{X}_i-d_i+t|{|}^2$

其中U是弱透视相机模型， $U=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\end{array}\right],$ s是缩放因子或系数，X_i为三维平均脸形状模型以正视姿态呈现时在三维空间中第i个特征点的坐标向量(共有N个特征点)，d_i为输入人脸图像通过AAM算法配准(alignment)后得到的第i个特征点的坐标向量，t是平移参数向量，R是三维旋转矩阵，其中R满足下列关系式：

$R(\mathrm{\α},\mathrm{\β},\mathrm{\γ})=R_z\left(\mathrm{\γ}\right)R_x\left(\mathrm{\α}\right)R_y\left(\mathrm{\β}\right)=$

$\left[\begin{array}{ccc}\cos \mathrm{\γ}& -\sin \mathrm{\γ}& 0\\ \sin \mathrm{\γ}& \cos \mathrm{\γ}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\α}& -\sin \mathrm{\α}\\ 0& \sin \mathrm{\α}& \cos \mathrm{\α}\end{array}\right]\left[\begin{array}{ccc}\cos \mathrm{\β}& 0& \sin \mathrm{\β}\\ 0& 1& 0\\ -\sin \mathrm{\β}& 0& \cos \mathrm{\β}\end{array}\right]$

上述目标函数的含义是使三维平均脸模型的N个特征点通过旋转、投影、缩放、平移之后与输入人脸图像的二维特征点的距离尽可能小，并使各个二维特征点满足sURX_i+t→d_i，此时，获取到的平移向量t、缩放因子s、以及α、β、γ即为求精后的人脸姿态参数。

然后，执行近似深度恢复步骤；

在获得精确的姿态参数之后，将其应用到三维平均脸形状模型，获得与输入人脸图像对应或一致的视角和位置，将此时的三维平均脸形状模型的特征点的深度信息作为输入人脸图像的二维特征点的深度的近似值，从而恢复出近似的深度信息(指特征点在z方向的坐标值)。

S204、根据所述近似深度信息生成所述输入人脸图像的三维形状；

在恢复出近似的深度信息之后，即获得了输入人脸图像的三维特征点点去，根据上述三维特征点点可以获得该输入人脸图像的三维形状。

S206、在预先建立的基于非负矩阵分解NMF的人脸三维形状特征空间中，根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张，以获得三维夸张后的三维形状；

上述过程具体包括：

将所述输入人脸图像的三维形状旋转至正面视图；即将该输入人脸图像的三维特征点点云的位置和姿态调整到与正面视图的三维平均脸形状模型一致。

将正面视图的所述三维形状的特征点点云的坐标值排成列向量，并对所述列向量进行尺度归一化处理，即将该列向量的模处理为1，获得处理后的列向量V，根据NMF的定义，V可以表达为F中人脸三维形状特征空间基向量的非负线性组合加上残差r。

非负线性组合的系数e＝[e₁，e₂，…，e_C]^T可通过下式求出： $e=\underset{e}{\arg \min }{\left|\right|V-F\·e\left|\right|}_F^2,$ 其中||A||F表示矩阵A的F范数(即矩阵A全部元素平方和的平方根)。

V满足下列关系式： $V=\underset{i=1}{\overset{C}{\mathrm{\Σ}}}{e}_i\·f_i+r=\underset{i=1}{\overset{C}{\mathrm{\Σ}}}(m_i+{\mathrm{\δ}}_i)\·f_i+r,$ 其中，f_i表示所述人脸三维形状特征空间F的一个维度的基向量，r表示所述列向量V在人脸三维形状特征空间F中的噪声残量，即r表示形状V在人脸三维形状特征空间F中无法表示的残量，r中通常包含的是形状V中的噪声部分，e_i表示非负线性组合系数，δ_i表示e_i与m_i的差值。V可以表示为F中人脸三维形状特征空间的各基向量的非负线性组合加上残量r，上述非负线性组合的系数为e_i。

根据从均值中夸张差异EDFM(Exaggerating the Difference From theMean)的三维夸张规则对列向量V进行三维夸张，获得夸张后的列向量V′，其满足以下关系式：

$V^{\′}=\underset{i=1}{\overset{C}{\mathrm{\Σ}}}(m_i+t_i\·{\mathrm{\δ}}_i)\·f_i+0.5\·k\·r;$ 其中，k表示三维夸张系数，且|δ_i|/σ_i＝|e_i-m_i|/σ_i，|δ_i|/σ_j构成集合Ω＝{a_j|a_j＝|δ_j|/σ_j，j＝1，...，C}，当选取κ个最大的|δ_i|/σ_i对应的特征分量进行夸张时，t_i＝k，否则t_i＝1，其中κ的取值范围满足：1≤κ＜C；

需要强调的是，本发明实施例的方法对输入人脸图像与三维平均脸图像的特征差异用标准差归一化后，对其中最显著的若干个特征分量进行夸张，以更好地凸显输入人脸图像的主要特征。此处所述“归一化”的含义为：将特征差异减去特征变化的均值再除以特征变化的标准差|δ_i|/σ_i＝|e_i-m_i|/σ_i。

需要说明的是，上述列向量V′满足的关系式中，0.5为衰减系数，主要用于抑制深度值中存在的噪声，本发明实施例的方法在夸张的时候，对残量r也进行了夸张，乘以了一个衰减系数0.5，这样有利于既不丢弃残量部分可能包含真实的特征，同时也减轻残量部分可能包含的深度噪声的消极影响。

进一步地，本发明实施例1还可以通过调整夸张系数k的取值和κ的取值可以改变夸张程度，其中k和κ的取值范围优选地取下列区间：k∈[a，b]，κ∈[c，d ]，其中a的最大值为2，b的最小值为4，c的最大值为3，d的最小值为6；优选地，a的取值为2，b的取值为4，c的取值为3，d的取值为6，从而k∈[2，4]，κ∈[3，6]，用户可以在上述范围中调整，以获得夸张效果可变的结果。

通常在深度恢复时，使用三维平均脸形状模型的特征点的深度作为输入人脸图像的二维特征点的近似深度值是存在明显误差的。但是，本发明实施例的方法能够在一定程度上保证基于三维夸张规则时夸张结果的准确性与合理性。以下为具体分析：

请参阅图3，图3为本发明实施例的深度恢复误差分析示意图。如图3所示，假定平面∑垂直于人脸的朝向，点A代表鼻尖，点O代表A在平面∑上的垂足，假定此人鼻尖的高度略小于平均脸的鼻尖的高度，当平均脸的姿态与该人脸此时的姿态一致时，平均脸的鼻尖为B。以平均脸鼻尖的深度作为近似深度恢复的此人鼻尖在三维空间中的位置为C，根据NMF夸张的方向性效应，在基于NMF的夸张之后，鼻尖的位置将夸张移动到D，C和D在成像平面∏上的投影分别为C和D′。如图3所示，在成像平面上夸张后的鼻子相比原来要短，反之同理可得。深度恢复的误差最显著的地方在鼻尖，如果鼻尖的夸张效果可以接受的话其它特征点的深度误差也是可以接受的。图4a为基于NMF夸张的方向性效应的鸟瞰视图。图4b为基于NMF夸张的方向性效应的右侧视图。如图4a和图4b所示，其中“十字”标识代表输入的人脸三维特征点点云，“三角形”标识代表平均脸特征点点云，“方框”标识代表夸张后的三维特征点点云，中间的三条直线代表上述三类特征点点云各自的主方向，点线40指示夸张后的主方向，点划线41指示输入点云的主方向，虚线42指示平均脸点云的主方向。由图4a和图4b可以清晰地看出，基于NMF的夸张规则能够对与平均脸的方向性差异进行夸张。

S208、将所述三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并投影，以生成三维夸张后的二维特征点；

即完成三维夸张之后得到新的三维形状(特征点点云)，将其位置和姿态调整回原始姿态，并投影到成像平面，得到夸张移动后的二维特征点。

S210、根据所述三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像。

以下详细说明S210的具体过程。图2a为本发明实施例图2中步骤S210的详细流程图，如图2a所示，S210具体包括如下步骤：

S210a、将输入人脸图像的二维特征点包围区域内的图像纹理通过数字图像扭曲warping到对应的三维夸张后的二维特征点包围的区域内；

具体地，S210a的数字图像扭曲Warping处理过程具体包括：

将原来配准人脸特征点包围区域内外的纹理做Delaunay三角剖分，各个三角形特征点区域内的图像纹理warping到夸张移动后的二维特征点包围的相应区域内，即到最终的面部夸张效果。

S210b、根据非真实感绘制NPR方法，以生成具有漫画夸张效果的人脸图像。

具体地，S210b的非真实感绘制NPR的处理过程具体包括：

对夸张后的图像利用各种NPR方法可以得到各种风格化的结果。比较典型的是用双边滤波并叠加边缘的NPR方法获取卡通风格化的结果，本发明采用的是这种NPR方法，但是并不局限于该方法。其具体过程分为两部分：

第一部分，使用双边滤波器对输入图像进行平滑滤波，实现特征变化较小区域的特征变化进一步减小。

对于一幅给定的图像f(·)，经过双边滤波器后输出表达式是

$H(\hat{x},{\mathrm{\σ}}_d,{\mathrm{\σ}}_r)=\frac{\∫e^{-\frac{1}{2}{\left(\frac{\left|\right|\hat{x}-x\left|\right|}{{\mathrm{\σ}}_d}\right)}^2}w(x,\hat{x})f\left(x\right)\mathrm{dx}}{\∫e^{-\frac{1}{2}{\left(\frac{\left|\right|\hat{x}-x\left|\right|}{{\mathrm{\σ}}_d}\right)}^2}w(x,\hat{x})\mathrm{dx}}$

其中，

是像素的位置向量，x是

的相邻像素的位置向量，σ_d代表滤波器的滤波半径，权值函数w(·)为 ${w=e}^{-\frac{1}{2}{\left(\frac{\left|\right|f\left(\hat{x}\right)-f\left(x\right)\left|\right|}{{\mathrm{\σ}}_d}\right)}^2}$ σ_r表示图像滤波时图像变化被保留和平滑的程度，其值越小平滑的程度越小，与原图差别也越小，当σr趋向于无穷大时，权值函数趋向于0，此时的双边滤波器也就相当于一个高斯滤波器了。

第二部分，使用边缘增强经过滤波以后的图像，从而使特征变化较大的区域的特征变化更大。

本部分首先使用Difference of Gaussian(DoG)算子检测图像边缘，然后将得到的边缘信息叠加到经过双边滤波以后的图像上面，以此来增大边缘部分的变化。

与传统的DoG算子表达略有不同，此处DoG算子如下所示：

其中

而

其中的c(·)表示高斯核： $c(\hat{x}-x,{\mathrm{\σ}}_e)=\exp ({\left|\right|\hat{x}-x\left|\right|}^2/2{\mathrm{\σ}}_e).$ σ_e决定了边缘检测的范围，τ决定了边缘检测的敏感度，

决定了边缘表示的锐利程度。

以上两部分完成后基本可实现图像卡通化效果。此外，本发明实施例还可以对其进行量化处理，以得到更显著的结果。

具体量化过程可根据下式进行：

其中q表示量化等级数，一般取q∈[8，10]，q_nearest表示离像素点最近的量化等级，Δq表示量化级宽度。这里我们采用弹性的方式来实现图像的量化，也即动态地设定

值，使得最终量化结果中不同像素块的过渡区域显得自然、平滑。首先计算图像的梯度，由于图像的梯度范围变化不确定，我们将整张图的梯度限定在[a，b]范围之内，不在此范围中的梯度根据其大小赋为a或b，一般取a＝0，b＝2。然后我们将此梯度值线性地映射到范围为[c，d](一般取c＝3，d＝14)的区间上得到

从而能够根据图像梯度对图像进行有弹性的量化。

可选地，图2所示的方法还包括：S200、建立并训练三维平均脸形状模型；

上述步骤S200的过程在离线阶段完成，其具体过程包括：

首先，从现有的三维数据库中获取多个人的头部模型，并对上述多个头部模型样本标定人脸特征点(如图1所示)。此处的标定是三维标定，需要人工参与，具体做法是：利用3DS MAX、Deep Exploration等软件的三维模型查看功能，观察模型并用鼠标等输入装置确定二维显示视图上的特征点，这样就能由这些软件得到对应于所选二维特征点的真实三维坐标值，依次完成图1所示的所有特征点的标定即得该三维模型的特征点点云。

然后，对标定的多个三维模型样本的每个编号的特征点分别求取均值所建立的特征点模型即为三维平均脸形状模型。

可选地，图2所示的方法还包括：S201、建立基于非负矩阵分解NMF的人脸三维形状特征空间。具体地，S201也可以位于S206之前。

上述S201的过程在离线阶段完成，其具体过程包括：

从现有的三维人脸数据库中获取一预设数量的人脸三维模型，标定每一所述人脸三维模型的一预设数量的三维特征点，以获得每一所述人脸三维模型的特征点点云；可选地，可以在每一人脸三维模型上选取68个特征点。

将每一所述人脸三维模型的特征点点云的坐标值排列成列向量，并对所述列向量进行尺度归一化处理，即将该列向量的模归一化到1，获得处理后的列向量s_i的表达为：

$s_i=[x_i^1{y}_i^1{z}_i^1...x_i^N{y}_i^N{z}_i^N{]}^T,$ i＝1，...，M，其中M表示获取的人脸三维模型的个数，N表示标定的每一所述人脸三维模型的三维特征点的个数，且所述s_i满足： $s_i^T{s}_i=1;$

将M个人脸模型分别对应的列向量s_i依次排列，组成一个矩阵S＝[s₁，s₂，..s_M]；根据非负矩阵分解NMF方法对所述矩阵S进行分解，获得矩阵F和矩阵E，其关系满足S＝F*E；其中矩阵F表示人脸三维形状特征空间，F的每一列f_i表示所述人脸三维形状特征空间F的一个维度的基向量，矩阵E的第i列表示s_i在F中的坐标。

较佳地，当所述矩阵S的行数表示为3N，所述矩阵S的列数表示为M，所述矩阵F的列数表示C，其关系满足(3N+M)×C＜3N×M，优选地，取C＝10。

进一步地，所述建立基于非负矩阵分解NMF的人脸三维形状特征空间的步骤还包括：根据矩阵E计算矩阵E中每行元素的均值m_i和标准差σ_i，其中i＝1，...，C，这样就获得了矩阵S在人脸三维形状特征空间F中的分布情况。

在离线阶段建立并训练好三维平均脸形状模型，及建立了基于非负矩阵分解NMF的人脸三维形状特征空间之后，本发明实施例1进入在线处理阶段，执行如图2中S202-S210所示的处理流程。

需要特别说明的是，本发明实施例的方法也可以应用到人脸漫画夸张的视频处理当中，在保证视频中的人脸偏转范围在摇摆偏转角度小于40°以及俯仰偏转角度小于20°时可以应用本发明实施例的方法。

进一步地，以下通过效果实例图对比本发明实施例1的方法和现有技术的方法。

请参阅图5，图5为本发明实施例1生成的人脸夸张图像的效果实例图。其中，按照从左至右的顺序，图5的第一列为原始输入人脸图像，图5的第二列为通过本发明实施例1的方法在基于NMF的人脸三维形状特征空间夸张后得到的人脸图像效果，图5的第三列为通过本发明实施列1的方法在通过NPR处理后的效果图。

请参阅图6，图6为本发明实施例1与现有技术的夸张效果对比实例图。其中，按照从左至右的顺序，图6的第一列为原始输入人脸图像，第二列为现有技术的基于直观语义的二维夸张规则夸张后的效果图，第二列的第一行为现有技术只执行了Warping之后的效果图，第二列的第二行为现有技术执行了Warping和NPR之后的效果图，第三列为本发明实施例的基于三维夸张规则夸张后的效果图，第三列的第一行为本发明实施例只执行了Warping之后的效果图，第三列的第二行为本发明实施例执行了Warping和NPR之后的效果图。如图6中的第三列第二行所示，本发明实施例的方法能够夸张该人脸的倒三角特征，但是如图6中的第二列第二行所示，现有技术的方法却把这个特征丢了。

以下论述本发明实施例的方法带来的有益技术效果：

首先，本发明实施例的方法，由于在基于三维的人脸三维形状特征空间中，进行三维夸张，有利于产生因人而异的变化，从而产生更加丰富生动的夸张效果；其次，本发明实施例的方法由于在基于三维的人脸三维形状特征空间中，进行三维夸张，因而能够较好的实现整体一致性的夸张；再次，本发明实施例的方法，通过找出输入人脸与平均人脸的差异并用标准差规范化后对其中最显著的一些特征分量进行夸张，因而能够更好地凸显人脸的主要特征；最后，由于本发明实施例的方法在夸张的时候，对输入人脸形状在三维人脸形状特征空间中无法表达的残量部分也进行了夸张，同时乘以了一个衰减系数0.5，这样既有利于保留残量部分包含的特征，也可以抑制残量部分包含的深度噪声的消极影响，得到更佳的夸张结果。

本发明实施例可以用计算机在很少人工交互的情况下对摇摆偏转+/-40°、俯仰偏转+/-20°的人脸图像做出漫画夸张效果，同时对现有基于直观语义规则的夸张方法实现了改进，能够有效地产生更加生动和富于变化的漫画夸张结果。

实施例2：

本发明实施例2提供了一种支持姿态偏转的人脸数字图像漫画夸张装置。

图7为本发明实施例2的人脸数字图像漫画夸张装置的功能框图。如图7所示，该装置70包括：

深度信息恢复单元701，用于根据预先建立的三维平均脸形状模型恢复输入人脸图像的二维特征点的近似深度信息；

三维形状生成单元702，用于根据所述近似深度信息生成所述输入人脸图像的三维形状；

三维形状夸张单元703，用于在预先建立的基于非负矩阵分解NMF的人脸三维形状特征空间中，根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张，以获得三维夸张后的三维形状；

二维特征点生成单元704，用于将所述三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并投影，以生成三维夸张后的二维特征点；

漫画夸张图像生成单元705，用于根据所述三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像。

进一步地，该装置70还可以包括：空间建立单元706，用于建立基于非负矩阵分解NMF的人脸三维形状特征空间。

图7a为本发明实施例2的空间建立单元706的详细功能框图。具体地，如图7a所示，上述空间建立单元706包括：

第一获取单元7061，用于获取一预设数量的人脸三维模型；

第二获取单元7062，用于标定每一所述人脸三维模型的一预设数量的三维特征点，以获得每一所述人脸三维模型的特征点点云；

列向量生成单元7063，用于将每一所述人脸三维模型的特征点点云的坐标值排列成列向量；

列向量处理单元7064，用于对所述列向量进行尺度归一化处理，获得处理后的列向量；

空间生成单元7065，用于将所述预设数量的人脸模型分别对应的列向量依次排列，组成矩阵S，并根据非负矩阵分解方法对所述矩阵S进行分解，以获得分解后的矩阵F，所述矩阵F用于表示人脸三维形状特征空间。

具体地，上述矩阵S的行数表示为3N，所述矩阵S的列数表示为M，所述矩阵F的列数表示C，其关系满足(3N+M)×C＜3N×M，其中N、M及C为正整数。

进一步地，该装置70还可以包括：平均脸模型建立单元707，用于建立并训练三维平均脸形状模型。

以下描述本发明实施例的装置的工作过程：

本发明实施例的装置的整体输入是水平偏转角度在-40度到40度、俯仰变化角度在-20～20度的人脸图像(未佩戴眼镜，而且眉毛清晰露出，无头发遮挡)，并且已知输入人脸图像的姿态参数(即三维平均脸形状模型从坐标原点通过旋转、平移等刚体变换和投影变换能够逼近输入人脸图像的特征点的缩放、平移、旋转参数)和输入人脸图像的二维特征点坐标，输出为带漫画夸张效果的卡通化人脸图像。

当输入为上述人脸图像时，深度信息恢复单元701，将估计出的输入人脸图像的姿态参数应用到三维平均脸状态模型上，将此时的三维平均脸形状模型的特征点的深度信息(指深度方向Z的坐标值)作为输入人脸图像相应二维特征点的深度的近似值。

三维形状生成单元702，根据所述近似深度信息生成所述输入人脸图像的三维形状；上述具体过程已在前述实施例1中详细描述，在此不赘述。三维形状夸张单元703，用于在预先建立的基于非负矩阵分解NMF的人脸三维形状特征空间中，根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张，以获得三维夸张后的三维形状；

具体地，上述三维形状夸张单元703的工作过程包括：

将所述输入人脸图像的三维形状旋转至正面视图；即将该输入人脸图像的三维特征点点云的位置和姿态调整到与正面视图的三维平均脸形状模型一致。

将正面视图的所述三维形状的特征点点云的坐标值排成列向量，并对所述列向量进行尺度归一化处理，即将该列向量的模处理为1，获得处理后的列向量V，其满足以下关系式： $V=\underset{i=1}{\overset{C}{\mathrm{\Σ}}}{e}_i\·f_i+r=\underset{i=1}{\overset{C}{\mathrm{\Σ}}}(m_i+{\mathrm{\δ}}_i)\·f_i+r,$ 其中，f_i表示所述人脸三维形状特征空间F的一个维度的基向量，r表示所述列向量V在人脸三维形状特征空间F中的噪声残量，e_i表示非负线性组合系数，δ_i表示e_i与m_i的差值，非负线性组合的系数e＝[e₁，e₂，…，e_C]^T满足下列关系式： $e=\underset{e}{\arg \min }{\left|\right|V-F\·e\left|\right|}_F^2,$ 其中||A||F表示矩阵A的F范数；

根据从均值中夸张差异EDFM的三维夸张规则对列向量V进行三维夸张，获得夸张后的列向量V′，其满足以下关系式：

其中，k表示三维夸张系数，且|δ_i|/σ_i＝|e_i-m_i|/σ_i，|δ_i|/σ_i构成集合Ω＝{a_j|a_j＝|δ_j|/σ_j，j＝1，...，C}，当选取κ个最大的|δ_i|/σ_i对应的特征分量进行夸张时，t_i＝k，否则t_i＝1，其中κ的取值范围满足：1≤κ＜C。C的取值优选为10。

对恢复了深度信息的输入人脸图像的三维形状，在NMF分解后的人脸三维形状特征空间下将该形状与三维平均脸形状模型比较并归一化特征差异，对其中较显著的特征应用三维夸张规则，此处所述“归一化”的含义为：将特征差异减去特征变化的均值再除以特征变化的标准差|δ_i|/σ_i＝|e_i-m_i|/σ_i。

通过调整夸张系数k的取值和κ的取值来改变夸张程度，其中k和κ的取值范围包括下列区间：k∈[a，b]，κ∈[c，d]，其中a的最大值为2，b的最小值为4，c的最大值为3，d的最小值为6。优选地，a的取值为2，b的取值为4，c的取值为3，d的取值为6，从而k∈[2，4]，κ∈[3，6]，用户可以在上述范围中调整，以获得夸张效果可变的结果。

二维特征点生成单元704，用于将所述三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并在二维成像平面投影，以生成三维夸张后的二维特征点；

漫画夸张图像生成单元705，用于根据所述三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像。具体包括：将输入人脸在特征点范围内的纹理数字图像扭曲warping到夸张移动后的特征点范围内，然后应用双边滤波叠加边缘的NPR方法，得到最终具有卡通味的漫画夸张效果的人脸图像。上述具体过程已在前述实施例1中详细描述，在此不赘述。

本发明实施例2的支持姿态偏转的人脸数字图像漫画夸张装置，由于可以对摇摆偏转+/-40°、俯仰偏转+/-20°的人脸图像做出漫画夸张效果，从而拓宽了本发明的应用范围；由于在基于非负矩阵分解NMF的人脸三维形状特征空间中，根据三维夸张规则对输入人脸图像的三维形状进行三维夸张，并在夸张时利用了深度信息，所以能够有效地产生更加生动幽默和富于变化的漫画夸张结果。本发明实施例的方法，由于找出输入人脸与平均人脸的差异并用标准差规范化后对其中最显著的一些特征分量进行夸张，因则能够更好地凸显人脸的主要特征。

实施例3：

本发明实施例3提供了一种支持姿态偏转的人脸数字图像漫画夸张系统。图8为本发明实施例3的系统功能框图。如图8所示，该系统80包括：

图像夸张装置801，用于根据图像数据库802提供的一预设数量的人脸图像三维模型，恢复输入的人脸图像二维特征点的近似深度信息；根据所述近似深度信息生成所述输入人脸图像的三维形状；在预先建立的基于非负矩阵分解的人脸三维形状特征空间中，根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张，以生成三维夸张后的三维形状；将所述三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并投影，以生成三维夸张后的二维特征点；根据所述三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像；

图像数据库802，用于向所述图像夸张装置提供一预设数量的人脸图像三维模型。

可选地，所述图像夸张装置801，还用于建立基于非负矩阵分解的人脸三维形状特征空间。

本发明实施例3的系统，由于可以对摇摆偏转+/-40°、俯仰偏转+/-20°的人脸图像做出漫画夸张效果，从而拓宽了本发明的应用范围；由于在基于非负矩阵分解NMF的人脸三维形状特征空间中，根据三维夸张规则对输入人脸图像的三维形状进行三维夸张，并在夸张时利用了深度信息，所以能够有效地产生更加生动幽默和富于变化的漫画夸张结果。本发明实施例的方法，由于找出输入人脸与平均人脸的差异并用标准差规范化后对其中最显著的一些特征分量进行夸张，因则能够更好地凸显人脸的主要特征。

实施例4：

本发明实施例4将通过一个具体的例子来详细描述上述实施例的技术方案。

图9为本发明实施例4的人脸数字图像漫画夸张方法的处理流程图。如图9所示，该方法包括如下步骤：

S901、配准得到输入头像的若干二维特征点；

以预先定义的68个特征点为例，相应的特征点数表如表1所示：

表1

182.397	247.650
		182.216	291.426
188.015	325.396
		199.610	373.569
212.665	402.670
		230.392	430.559
266.916	448.369
		315.135	454.381
357.842	443.191
		393.360	402.605
382.441	414.415
		406.381	357.565
409.381	310.168
		406.585	272.723
399.815	233.759
		391.734	217.491
366.110	203.843
		341.914	205.269
326.270	217.813
		349.207	216.123
366.592	213.529
		201.799	234.828
220.319	216.103
		245.722	215.014
264.444	223.713
		248.561	225.396
225.480	229.844
		232.962	257.674
247.537	249.820
		263.891	253.182
246.162	260.999
		247.764	254.626
363.146	247.513
		346.063	237.989
323.924	248.774
		345.190	250.759
344.665	245.457
		281.901	243.891
279.122	276.452
		268.674	310.454
275.676	319.895
		304.147	323.223
331.824	315.619
		334.408	304.527
318.429	273.180
		310.130	241.397
284.318	314.192
		318.930	310.992
249.610	363.691
		274.121	355.809
293.879	350.839
		305.975	351.217
318.719	349.370
		335.027	351.368
351.960	350.525
		332.668	379.193
324.872	384.343
		306.275	389.187
288.663	388.102
		273.156	376.344
286.625	375.361
		307.993	374.422
322.445	371.730
		323.146	357.049
306.731	358.087
		287.205	360.213
307.502	364.086
		301.635	305.169

S902、利用归一化的三维平均脸形状模型估计当前姿态二维特征点所需要的缩放、平移、旋转参数；

归一化三维平均脸点集的数表如表2所示：

表2

0.141534	0.058444	-0.033724
			0.139377	0.015403	-0.025482
0.134715	-0.026743	-0.034266
			0.124216	-0.071477	-0.042404
0.105863	-0.110189	-0.044369
			0.078903	-0.142835	-0.038549
0.041748	-0.164771	-0.015733
			-0.001040	-0.174512	-0.009950
-0.046651	-0.163909	-0.020238
			-0.080774	-0.142474	-0.047603
-0.106904	-0.110268	-0.058477
			-0.121828	-0.068861	-0.053166
-0.131453	-0.023498	-0.045547
			-0.136529	0.019541	-0.039394
-0.138059	0.065481	-0.050756
			-0.120439	0.134440	-0.026739
-0.087083	0.152759	-0.000980
			-0.053903	0.148057	0.015407
-0.025619	0.131446	0.018363
			-0.056705	0.129667	0.010439
-0.088053	0.133435	0.000775
			0.124739	0.130910	-0.013912
0.094187	0.147858	0.007240
			0.058321	0.144426	0.020513
0.026565	0.127845	0.019809
			0.058684	0.127443	0.015865
0.092514	0.128900	0.009015
			0.112145	0.085538	-0.016178
0.074624	0.097484	0.012960
			0.039528	0.082118	-0.000038
0.074986	0.074271	0.003308
			0.074900	0.085826	0.002335
-0.107084	0.088271	-0.026276
			-0.073459	0.099823	0.004352
-0.038367	0.083085	-0.004600
			-0.075402	0.075731	-0.003880
-0.072628	0.087789	-0.004623
			0.022598	0.071956	0.006054
0.029338	0.031410	0.018157
			0.048677	-0.011426	0.002143
0.035053	-0.026047	0.007857
			0.000633	-0.026912	0.022750
-0.035387	-0.024895	0.005963
			-0.047811	-0.010471	-0.003080
-0.030907	0.033113	0.014214
			-0.023267	0.070221	0.004047
0.021212	-0.013762	0.036062
			-0.024517	-0.012326	0.036090
0.064051	-0.082214	-0.005883
			0.034377	-0.066951	0.018572
0.014427	-0.059674	0.027697
			-0.001304	-0.062897	0.029857
-0.018776	-0.059089	0.026276
			-0.040523	-0.067388	0.012889
-0.063575	-0.080202	-0.012781
			-0.038638	-0.096316	0.006387
-0.019731	-0.101069	0.018599
			-0.002413	-0.100876	0.022064
0.017210	-0.099923	0.020118
			0.036781	-0.096306	0.008644
0.024151	-0.088193	0.016613
			-0.001302	-0.089817	0.021780
-0.026230	-0.088483	0.015766
			-0.027039	-0.071496	0.018006
-0.001490	-0.071395	0.027031
			0.020678	-0.071509	0.021211
-0.001153	-0.079402	0.017268
			-0.000688	-0.004112	0.056135

由三维平均脸形状模型逼近二维特征点得到的缩放参数为762.73，水平平移参数为300.71，垂直平移参数为3009.18，绕x、y、z三个轴旋转的参数分别为：-10°，1°，4.2°。

S903、以三维平均脸形状模型在所估姿态下各个特征点的深度作为输入头像对应二维特征点的深度，从而得到与输入头像契合的若干三维特征点。

恢复深度后的三维特征点数表如表3所示：

表3

182.397003	247.649994	-31.212709
			182.216003	291.425995	-19.350372
188.014999	325.395996	-20.427103
			199.610001	373.569000	-20.751455
212.664993	402.670013	-17.340731
			230.391998	430.558990	-8.998824
266.915985	448.368988	10.554836
			315.135010	454.381012	15.627016
357.842010	443.191010	5.897961
			393.359985	402.605011	-17.940228
382.441010	414.415009	-30.715071
			406.381012	357.565002	-32.406029
409.381012	310.167999	-32.818504
			406.584991	272.722992	-33.964111
399.815002	233.759003	-48.602093
			391.734009	217.490997	-39.467075
366.109985	203.843002	-22.110413
			341.914001	205.268997	-8.744891
326.269989	217.813004	-3.954699
			349.207001	216.123001	-10.077455
366.592010	213.529007	-18.245354
			201.798996	234.828003	-26.152004
220.319000	216.102997	-12.911355
			245.722000	215.014008	-2.958026
264.444000	223.712997	-1.707024
			248.561005	225.395996	-4.195350
225.479996	229.843994	-9.089365
			232.962006	257.674011	-22.009594
247.537003	249.820007	-2.200033
			263.890991	253.182007	-10.386778
246.162003	260.998993	-6.369690
			247.764008	254.626007	-8.632094
363.145996	247.513000	-32.829220
			346.062988	237.988998	-10.915626
323.924011	248.774002	-14.962180
			345.190002	250.759003	-13.933188
344.665009	245.457001	-16.051268
			281.901001	243.891006	-4.687163
279.122009	276.451996	9.861070
			268.674011	310.454010	3.761226
275.675995	319.894989	9.810117
			304.147003	323.222992	20.658644
331.824005	315.618988	7.311512
			334.407990	304.527008	-1.552975
318.428986	273.179993	5.884040
			310.130005	241.397003	-6.565807
284.317993	314.191986	29.184258
			318.929993	310.992004	28.415812
249.610001	363.691010	7.310203
			274.121002	355.808990	23.266443
293.878998	350.838989	28.893948
			305.975006	351.217010	30.737034
318.718994	349.369995	27.313889
			335.027008	351.368011	18.073978
351.959991	350.524994	0.190571
			332.667999	379.192993	17.046757
324.872009	384.342987	27.096140
			306.274994	389.187012	29.899603
288.662994	388.101990	28.569788
			273.156006	376.343994	19.729717
286.625000	375.360992	24.474823
			307.993011	374.421997	28.236618
322.445007	371.730011	23.216183
			323.145996	357.049011	22.638123
306.730988	358.087006	29.737535
			287.204987	360.213013	25.672623
307.502014	364.085999	23.470528
			301.635010	305.169006	42.694866

S904、将三维特征点中心化(使质心平移到原点)，旋转至正视方向(旋转参数为之前估计的值)，然后把若干个三维特征点的坐标值依次排列成一个列向量，经过模值归一化(列向量的每个分量除以列向量的模值)，这样就与模值归一化的三维平均脸的参考系相同，能够比较并夸张了。

本例中模值归一化中列向量的模值为762.782715。将上一步的特征点经过上述操作后得到的数表如表4所示：

表4

0.148354	0.097491	-0.026954
			0.152876	0.03844	-0.021653
0.148388	-0.005602	-0.030775
			0.137641	-0.068651	-0.042138
0.123319	-0.10813	-0.044309
			0.102888	-0.147611	-0.039809
0.057205	-0.17844	-0.018414
			-0.005178	-0.191884	-0.012943
-0.062268	-0.179289	-0.022679
			-0.112973	-0.124953	-0.04395
-0.097899	-0.136222	-0.063209
			-0.13446	-0.064893	-0.052243
-0.142743	-0.004053	-0.041918
			-0.14255	0.044687	-0.034852
-0.137604	0.098828	-0.044879
			-0.128325	0.118458	-0.029417
-0.095682	0.134497	-0.004049
			-0.063611	0.131901	0.012728
-0.041896	0.116134	0.015947
			-0.072181	0.11754	0.008571
-0.095336	0.1211	-0.001272
			0.121921	0.111018	-0.017369
0.096284	0.130368	0.00412
			0.063192	0.127108	0.017375
0.039538	0.113857	0.017116
			0.060405	0.113754	0.013421
0.090883	0.111318	0.005943
			0.083364	0.077719	-0.017053
0.064031	0.081948	0.010405
			0.042771	0.07794	-0.000831
0.066761	0.068632	0.002458
			0.06403	0.077202	0.001004
-0.088039	0.080986	-0.02789
			-0.066082	0.089872	0.00247
-0.036235	0.078995	-0.005357
			-0.063836	0.074199	-0.004351
-0.063684	0.081557	-0.005876
			0.018497	0.086907	0.008763
0.025448	0.041931	0.02008
			0.042093	0.000523	0.004365
0.03394	-0.013671	0.010058
			-0.002738	-0.023111	0.023477
-0.039926	-0.012892	0.008158
			-0.044523	0.003164	-0.000732
-0.026339	0.043342	0.015937
			-0.018686	0.087883	0.007083
0.022553	-0.011553	0.036425
			-0.023016	-0.010523	0.036379
0.071988	-0.067036	-0.003346
			0.039574	-0.062831	0.019206
0.013409	-0.059576	0.027729
			-0.002331	-0.061624	0.030097
-0.019241	-0.059668	0.026179
			-0.04059	-0.061676	0.013896
-0.063212	-0.058116	-0.008892
			-0.034974	-0.097047	0.006192
-0.024081	-0.105231	0.017939
			0.000744	-0.110352	0.020335
0.023643	-0.106991	0.018757
			0.042641	-0.088376	0.009939
0.025046	-0.089461	0.016372
			-0.002896	-0.091124	0.021575
-0.022153	-0.087878	0.015799
			-0.02443	-0.068909	0.018415
-0.002711	-0.070313	0.02724
			0.022924	-0.070284	0.021386
-0.00331	-0.076684	0.017783
			-0.000614	-0.004644	0.056036

S905、根据NMF建立的特征空间的基做三维夸张。

a)建立人脸三维形状特征空间

i.对三维人脸数据库中的每个样本标定若干个人脸特征点，对每个人脸的特征点分别中心化和模值归一化，使其处在统一的参考系下；

ii.对xyz坐标增加一定的偏移量，偏移量的选定不做特别的要求，只需要使得各个人脸的特征点均为非负即可，这样便于实施NMF(非负矩阵分解)；

x、y、z三个坐标上的偏移量一般分别取0.3097、0.3771、0.1498。

iii.将每一人脸的若干个三维特征点的坐标值排列成列向量，多个人脸的列向量横向依次排列即得一个矩阵，对该矩阵做NMF(NMF的计算有许多公开的方法，典型地，可以采用《Non-negative Matrix Factorization Based onAlternating Non-negativity Constrained Least Squares and Active Set Method》一文的方法)，得到左右两个矩阵，左矩阵即为人脸形状特征空间，右矩阵为各个人脸的三维特征点向量在人脸形状特征空间中的投影，计算右矩阵中每行元素的均值m_i和标准差σ_i，这些数据在夸张的步骤中会用到。

由于标定的三维人脸数据库中的三维特征点众多，在此不一一列出。NMF涉及人脸形状特征空间基的个数的选择，可以取其为10，由此得到的人脸形状特征空间如表5所示：

表5

0.1006	0.1358	0.1022	0.0773	0.1036	0.1082	0.0893	0.1084	0.1128	0.0787
										0.1029	0.1078	0.1119	0.1294	0.1031	0.0988	0.0958	0.0914	0.0951	0.0469
0.0162	0.0499	0.0047	0	0.0349	0.0191	0.0287	0.0368	0.0254	0.1529
										0.1015	0.1422	0.1034	0.0785	0.1030	0.1051	0.0933	0.1046	0.1123	0.0818
0.0940	0.0835	0.1018	0.1241	0.0925	0.0919	0.0790	0.0790	0.0888	0.0402
										0.0146	0.0111	0.0143	0.0172	0.0335	0.0302	0.0265	0.0359	0.0316	0.1033
0.1000	0.1330	0.0990	0.0927	0.1015	0.1053	0.0961	0.1008	0.1084	0.0776
										0.0846	0.0827	0.0787	0.1017	0.0821	0.0829	0.0733	0.0765	0.0791	0.0180
0.0131	0.0011	0.0165	0.0086	0.0346	0.0295	0.0235	0.0311	0.0333	0.0571
										0.1015	0.1267	0.0922	0.0864	0.0992	0.0994	0.0991	0.1015	0.1032	0.0843
0.0781	0.0542	0.0721	0.0932	0.0698	0.0738	0.0535	0.0698	0.0698	0.0042
										0.0083	0	0.0328	0.0184	0.0352	0.0354	0.0190	0.0177	0.0275	0.0017
0.0980	0.1021	0.0752	0.0968	0.0952	0.0987	0.1033	0.0926	0.0975	0.0695
										0.0654	0.0274	0.0643	0.0648	0.0596	0.0657	0.0398	0.0703	0.0656	0.0175
0.0081	0.0204	0.0517	0.0027	0.0276	0.0383	0.0050	0.0200	0.0319	0
										0.0939	0.0886	0.0716	0.0862	0.0876	0.0930	0.0848	0.0917	0.0941	0.0651
0.0585	0.0550	0.0527	0.0603	0.0516	0.0533	0.0328	0.0561	0.0612	0.0609
										0.0078	0.0479	0.0454	0.0349	0.0214	0.0348	0.0353	0.0033	0.0376	0.0261
0.0852	0.0839	0.0689	0.0921	0.0789	0.0834	0.0710	0.0812	0.0844	0.0539
										0.0543	0.0568	0.0484	0.0463	0.0468	0.0526	0.0243	0.0486	0.0562	0.0539
0.0209	0.0346	0.0438	0.0360	0.0222	0.0383	0.0519	0.0111	0.0412	0.0369
										0.0724	0.0866	0.0710	0.0596	0.0708	0.0698	0.0714	0.0736	0.0696	0.0723
0.0531	0.0550	0.0453	0.0407	0.0453	0.0523	0.0246	0.0429	0.0543	0.0406
										0.0281	0.0369	0.0325	0.0717	0.0179	0.0464	0.0462	0.0056	0.0415	0.0236
0.0614	0.0951	0.0551	0.0499	0.0616	0.0586	0.0684	0.0610	0.0543	0.0726
										0.0513	0.0465	0.0521	0.0384	0.0470	0.0527	0.0242	0.0500	0.0615	0.0560
0.0277	0.0474	0.0301	0.0482	0.0174	0.0389	0.0560	0.0087	0.0358	0.0030
										0.0518	0.0790	0.0411	0.0429	0.0549	0.0451	0.0717	0.0569	0.0447	0.0827
0.0519	0.0324	0.0675	0.0439	0.0534	0.0517	0.0261	0.0597	0.0694	0.0786
										0.0191	0.0532	0.0306	0.0384	0.0104	0.0253	0.0511	0.0085	0.0279	0.0292
0.0418	0.0639	0.0402	0.0445	0.0479	0.0389	0.0573	0.0531	0.0406	0.1032
										0.0550	0.0290	0.0799	0.0546	0.0607	0.0595	0.0432	0.0706	0.0706	0.0726
0.0132	0.0165	0.0437	0.0195	0.0142	0.0319	0.0211	0.0162	0.0185	0.0321
										0.0352	0.0335	0.0536	0.0413	0.0411	0.0376	0.0538	0.0537	0.0378	0.0723
0.0693	0.0847	0.0786	0.0865	0.0679	0.0591	0.0792	0.0759	0.0671	0.0961
										0.0140	0.0211	0.0581	0.0179	0.0132	0.0315	0.0273	0.0271	0.0101	0
0.0364	0.0176	0.0478	0.0501	0.0385	0.0376	0.0498	0.0484	0.0360	0.0514
										0.0785	0.1004	0.0761	0.1103	0.0750	0.0791	0.0922	0.0799	0.0785	0.0775
0.0211	0.0190	0.0378	0.0258	0.0104	0.0349	0.0226	0.0322	0.0192	0.0039
										0.0384	0.0089	0.0396	0.0738	0.0372	0.0399	0.0496	0.0380	0.0335	0.0306
0.0824	0.0620	0.0827	0.0868	0.0879	0.0989	0.0954	0.0975	0.0964	0.0724
										0.0307	0.0033	0.0214	0.0369	0.0136	0.0372	0.0227	0.0278	0.0232	0.0050
0.0381	0.0004	0.0383	0.0662	0.0386	0.0392	0.0490	0.0393	0.0338	0.0334
										0.0912	0.1152	0.0876	0.1190	0.0976	0.1049	0.1074	0.1043	0.1048	0.0946
0.0326	0.0306	0.0224	0.0180	0.0186	0.0301	0.0036	0.0284	0.0146	0.0358
										0.0355	0.0343	0.0325	0.0595	0.0428	0.0422	0.0590	0.0420	0.0448	0.0538
0.1144	0.1178	0.1158	0.0953	0.1137	0.1180	0.1238	0.1258	0.1209	0.1263
										0.0323	0.0757	0.0150	0.0616	0.0277	0.0351	0	0.0227	0.0279	0
0.0418	0.0773	0.0425	0.0550	0.0450	0.0470	0.0658	0.0539	0.0564	0.0845
										0.1188	0.0726	0.1214	0.1163	0.1189	0.1272	0.1249	0.1296	0.1227	0.1091
0.0392	0.1160	0.0318	0.0626	0.0312	0.0334	0.0074	0.0316	0.0306	0.0352
										0.0448	0.0619	0.0576	0.0562	0.0536	0.0632	0.0674	0.0615	0.0660	0.0602
0.1203	0.0692	0.1228	0.1242	0.1184	0.1249	0.1304	0.1213	0.1196	0.1080
										0.0428	0.0756	0.0407	0.0606	0.0387	0.0422	0.0018	0.0381	0.0349	0.0206
0.0591	0.0410	0.0614	0.0710	0.0637	0.0705	0.0675	0.0648	0.0727	0.0311
										0.1165	0.0755	0.1168	0.1242	0.1145	0.1224	0.1246	0.1155	0.1148	0.1103
0.0447	0.0473	0.0383	0.0647	0.0406	0.0434	0.0051	0.0399	0.0342	0.0197
										0.0543	0.0467	0.0546	0.0625	0.0589	0.0588	0.0635	0.0546	0.0645	0.0361
0.1141	0.0786	0.1139	0.1120	0.1154	0.1234	0.1190	0.1184	0.1183	0.1003
										0.0449	0.0519	0.0392	0.0579	0.0393	0.0409	0.0017	0.0364	0.0343	0.0064
0.0449	0.0428	0.0399	0.0518	0.0516	0.0490	0.0652	0.0506	0.0569	0.0387
										0.1124	0.1024	0.1102	0.1140	0.1144	0.1217	0.1222	0.1211	0.1197	0.1197
0.0402	0.0728	0.0319	0.0535	0.0354	0.0355	0.0048	0.0359	0.0339	0.0152
										0.0974	0.0951	0.1040	0.0936	0.1018	0.1069	0.0720	0.1025	0.1032	0.1257
0.1128	0.1310	0.1297	0.1016	0.1121	0.1109	0.1302	0.1217	0.1159	0.1454
										0.0323	0.0740	0.0048	0.0219	0.0403	0.0257	0.0312	0.0380	0.0287	0
0.0890	0.0645	0.0906	0.0953	0.0958	0.1037	0.0631	0.0969	0.0985	0.0743
										0.1183	0.1006	0.1297	0.1197	0.1177	0.1199	0.1250	0.1261	0.1185	0.1274
0.0403	0.0997	0.0250	0.0413	0.0425	0.0292	0.0262	0.0363	0.0297	0.0434
										0.0828	0.0767	0.0784	0.0848	0.0826	0.0914	0.0637	0.0872	0.0924	0.1003
0.1185	0.0892	0.1233	0.1207	0.1193	0.1208	0.1256	0.1209	0.1192	0.1198
										0.0421	0.0703	0.0380	0.0503	0.0454	0.0382	0.0107	0.0419	0.0349	0.0350
0.0765	0.0887	0.0658	0.0876	0.0755	0.0817	0.0663	0.0751	0.0815	0.0903
										0.1115	0.0893	0.1186	0.1069	0.1138	0.1211	0.1236	0.1173	0.1164	0.1276
0.0420	0.0482	0.0391	0.0534	0.0430	0.0399	0.0081	0.0430	0.0368	0.0403
										0.0846	0.0781	0.0838	0.0888	0.0826	0.0881	0.0658	0.0872	0.0904	0.0984
0.1121	0.0937	0.1203	0.1187	0.1158	0.1175	0.1227	0.1160	0.1135	0.1245
										0.0389	0.0572	0.0362	0.0454	0.0444	0.0375	0.0124	0.0426	0.0347	0.0409
0.0901	0.0871	0.0936	0.1040	0.0906	0.1010	0.0687	0.0923	0.0960	0.0989
										0.1146	0.1004	0.1207	0.1105	0.1166	0.1135	0.1258	0.1186	0.1144	0.1282
0.0364	0.0772	0.0237	0.0298	0.0449	0.0308	0.0171	0.0447	0.0356	0.0495
										0.0943	0.1088	0.0995	0.0772	0.0978	0.1007	0.0881	0.1008	0.1000	0.0877
0.1068	0.1272	0.1122	0.1093	0.1098	0.0988	0.1085	0.1030	0.1036	0.1302
										0.0214	0.0513	0.0183	0.0225	0.0354	0.0258	0.0235	0.0399	0.0328	0.0904
0.0911	0.0786	0.0848	0.0796	0.0894	0.0916	0.0811	0.0916	0.0892	0.0701
										0.1102	0.1206	0.1122	0.1143	0.1103	0.1038	0.1104	0.1060	0.1087	0.1268
0.0299	0.0721	0.0352	0.0216	0.0422	0.0317	0.0236	0.0494	0.0359	0.0975
										0.0822	0.0658	0.0769	0.0783	0.0812	0.0820	0.0765	0.0816	0.0825	0.0604
0.1062	0.1189	0.1079	0.1075	0.1075	0.0997	0.1073	0.1045	0.1050	0.1159
										0.0305	0.0518	0.0255	0.0238	0.0381	0.0304	0.0273	0.0455	0.0318	0.0721
0.0901	0.0816	0.0829	0.0809	0.0898	0.0902	0.0832	0.0911	0.0907	0.0737
										0.1055	0.1211	0.1091	0.1129	0.1062	0.0971	0.1070	0.0983	0.1013	0.1166
0.0290	0.0529	0.0277	0.0244	0.0416	0.0310	0.0253	0.0445	0.0336	0.0777
										0.0889	0.0768	0.0839	0.0783	0.0904	0.0905	0.0831	0.0919	0.0914	0.0704
0.1071	0.1170	0.1114	0.1109	0.1089	0.1008	0.1076	0.1030	01053	0.1216
										0.0313	0.0533	0.0294	0.0314	0.0409	0.0322	0.0179	0.0423	0.0333	0.0714
0.0443	0.0308	0.0478	0.0578	0.0466	0.0440	0.0570	0.0451	0.0454	0.0426
										0.1036	0.1224	0.1002	0.1110	0.1074	0.1046	0.1059	0.1092	0.1083	0.1210
0.0289	0.0479	0.0314	0.0360	0.0271	0.0291	0.0151	0.0316	0.0248	0.0407
										0.0508	0.0456	0.0543	0.0538	0.0547	0.0535	0.0646	0.0536	0.0544	0.0508
0.1060	0.1186	0.1058	0.1119	0.1081	0.1096	0.1066	0.1120	0.1118	0.1283
										0.0409	0.0536	0.0381	0.0260	0.0393	0.0326	0.0217	0.0428	0.0281	0.0407
0.0615	0.0408	0.0622	0.0647	0.0649	0.0626	0.0648	0.0620	0.0630	0.0423
										0.1041	0.1081	0.1043	0.1114	0.1065	0.1038	0.1056	0.1061	0.1066	0.1068
0.0360	0.0493	0.0282	0.0276	0.0342	0.0301	0.0248	0.0424	0.0306	0.0410
										0.0505	0.0372	0.0572	0.0522	0.0568	0.0523	0.0626	0.0541	0.0525	0.0407
0.1011	0.1028	0.1019	0.1108	0.1046	0.1018	0.1080	0.1048	0.1044	0.1060
										0.0360	0.0481	0.0364	0.0355	0.0350	0.0338	0.0203	0.0374	0.0275	0.0427
0.0508	0.0371	0.0542	0.0504	0.0579	0.0528	0.0662	0.0545	0.0538	0.0436
										0.1038	0.1136	0.1019	0.1106	0.1064	0.1050	0.1084	0.1085	0.1085	0.1169
0.0373	0.0562	0.0327	0.0437	0.0346	0.0334	0.0169	0.0372	0.0261	0.0383
										0.0771	0.0693	0.0776	0.0814	0.0761	0.0786	0.0721	0.0750	0.0768	0.0683
0.1052	0.1105	0.1086	0.1083	0.1060	0.0963	0.1040	0.1015	0.1009	0.1180
										0.0323	0.0380	0.0282	0.0331	0.0374	0.0338	0.0289	0.0476	0.0347	0.0408
0.0813	0.0843	0.0839	0.0884	0.0787	0.0790	0.0724	0.0721	0.0755	0.0658
										0.0939	0.1035	0.0989	0.0934	0.0951	0.0918	0.0965	0.0910	0.0909	0.1125
0.0365	0.0127	0.0355	0.0376	0.0383	0.0340	0.0349	0.0495	0.0437	0.0395
										0.0865	0.0815	0.0886	0.0937	0.0841	0.0818	0.0754	0.0754	0.0811	0.0882
0.0850	0.0856	0.0829	0.0815	0.0862	0.0855	0.0855	0.0821	0.0794	0.0944
										0.0323	0.0276	0.0309	0.0214	0.0365	0.0297	0.0413	0.0411	0.0377	0.0522
0.0854	0.0631	0.0831	0.0883	0.0809	0.0829	0.0679	0.0727	0.0788	0.0693
										0.0832	0.0849	0.0817	0.0812	0.0830	0.0821	0.0814	0.0778	0.0758	0.0686
0.0368	0.0350	0.0410	0.0262	0.0368	0.0280	0.0452	0.0398	0.0384	0.0364
										0.0737	0.0627	0.0738	0.0728	0.0724	0.0708	0.0693	0.0696	0.0719	0.0645
0.0802	0.0884	0.0795	0.0751	0.0839	0.0815	0.0827	0.0810	0.0736	0.0843
										0.0421	0.0289	0.0386	0.0390	0.0396	0.0347	0.0489	0.0423	0.0403	0.0176
0.0642	0.0464	0.0594	0.0494	0.0660	0.0621	0.0673	0.0675	0.0620	0.0554
										0.0833	0.0773	0.0785	0.0874	0.0841	0.0827	0.0780	0.0785	0.0777	0.0616
0.0404	0.0239	0.0369	0.0210	0.0330	0.0332	0.0469	0.0414	0.0354	0.0126
										0.0603	0.0415	0.0568	0.0429	0.0630	0.0587	0.0673	0.0658	0.0610	0.0390
0.0874	0.0981	0.0797	0.0827	0.0879	0.0829	0.0841	0.0831	0.0803	0.0786
										0.0389	0.0197	0.0337	0.0253	0.0311	0.0307	0.0419	0.0387	0.0328	0.0212
0.0650	0.0536	0.0620	0.0620	0.0653	0.0627	0.0681	0.0658	0.0636	0.0528
										0.0941	0.0931	0.1011	0.1065	0.0963	0.0956	0.0884	0.0893	0.0923	0.0863
0.0393	0.0227	0.0348	0.0475	0.0342	0.0351	0.0350	0.0467	0.0380	0.0231
										0.0665	0.0430	0.0673	0.0581	0.0685	0.0665	0.0661	0.0677	0.0661	0.0502
0.1008	0.1052	0.1096	0.1143	0.1062	0.1019	0.1019	0.0978	0.1004	0.0942
										0.0364	0.0298	0.0336	0.0314	0.0350	0.0345	0.0226	0.0476	0.0338	0.0365
0.0842	0.0755	0.0779	0.0801	0.0771	0.0749	0.0721	0.0699	0.0754	0.0740
										0.0865	0.0804	0.0878	0.0748	0.0864	0.0841	0.0844	0.0837	0.0771	0.0830
0.0428	0.0043	0.0548	0.0426	0.0434	0.0343	0.0443	0.0486	0.0464	0.0452
										0.0679	0.0516	0.0602	0.0584	0.0688	0.0653	0.0705	0.0671	0.0634	0.0489
0.0873	0.0698	0.0846	0.0794	0.0868	0.0846	0.0824	0.0846	0.0796	0.0807
										0.0476	0	0.0462	0.0544	0.0418	0.0343	0.0465	0.0454	0.0468	0.0406
0.0833	0.1057	0.0907	0.0977	0.0871	0.0845	0.0717	0.0845	0.0868	0.1060
										0.0720	0.0752	0.0630	0.0604	0.0706	0.0674	0.0670	0.0682	0.0645	0.0629
0.0317	0.0177	0.0318	0.0064	0.0362	0.0322	0.0484	0.0328	0.0372	0.0134
										0.0796	0.0788	0.0801	0.0787	0.0805	0.0797	0.0720	0.0787	0.0800	0.0819
0.0745	0.0648	0.0696	0.0516	0.0737	0.0722	0.0741	0.0725	0.0710	0.0622
										0.0423	0.0065	0.0406	0.0368	0.0400	0.0368	0.0505	0.0341	0.0410	0.0173
0.0800	0.0729	0.0794	0.0761	0.0763	0.0742	0.0715	0.0692	0.0724	0.0734
										0.0743	0.0622	0.0695	0.0479	0.0753	0.0759	0.0762	0.0750	0.0740	0.0640
0.0433	0.0193	0.0413	0.0406	0.0414	0.0377	0.0542	0.0374	0.0424	0.0221
										0.0748	0.0617	0.0775	0.0683	0.0711	0.0702	0.0719	0.0692	0.0687	0.0690
0.0711	0.0653	0.0673	0.0432	0.0750	0.0745	0.0757	0.0763	0.0750	0.0637
										0.0448	0.0151	0.0420	0.0370	0.0418	0.0395	0.0548	0.0375	0.0428	00242
0.0695	0.0599	0.0734	0.0634	0.0665	0.0647	0.0715	0.0681	0.0624	0.0727
										0.0741	0.0613	0.0668	0.0465	0.0772	0.0760	0.0745	0.0755	0.0752	0.0620
0.0437	0.0147	0.0431	0.0403	0.0387	0.0392	0.0565	0.0376	0.0398	0.0216
										0.0663	0.0646	0.0691	0.0617	0.0622	0.0575	0.0687	0.0616	0.0549	0.0675
0.0729	0.0629	0.0648	0.0572	0.0754	0.0733	0.0641	0.0727	0.0740	0.0612
										0.0438	0.0060	0.0398	0.0385	0.0347	0.0373	0.0513	0.0351	0.0358	0.0094
0.0605	0.0501	0.0583	0.0433	0.0582	0.0539	0.0675	0.0568	0.0522	0.0575
										0.0704	0.0625	0.0630	0.0758	0.0698	0.0680	0.0586	0.0692	0.0695	0.0704
0.0378	0.0028	0.0333	0.0122	0.0295	0.0330	0.0490	0.0300	0.0317	0
										0.0603	0.0620	0.0709	0.0453	0.0632	0.0619	0.0633	0.0637	0.0626	0.0758
0.0663	0.0674	0.0571	0.0697	0.0652	0.0646	0.0638	0.0625	0.0656	0.0627
										0.0422	0.0004	0.0383	0.0226	0.0357	0.0375	0.0526	0.0284	0.0368	0.0238
0.0686	0.0732	0.0748	0.0574	0.0654	0.0646	0.0691	0.0661	0.0663	0.0754
										0.0649	0.0713	0.0580	0.0654	0.0635	0.0645	0.0650	0.0598	0.0653	0.0485
0.0456	0.0064	0.0366	0.0320	0.0377	0.0374	0.0642	0.0301	0.0385	0.0294
										0.0766	0.0690	0.0806	0.0705	0.0709	0.0688	0.0699	0.0676	0.0674	0.0644
0.0640	0.0734	0.0596	0.0606	0.0627	0.0650	0.0675	0.0612	0.0646	0.0489
										0.0443	0.0075	0.0335	0.0347	0.0396	0.0378	0.0654	0.0320	0.0394	0.0337
0.0827	0.0705	0.0809	0.0774	0.0762	0.0734	0.0740	0.0718	0.0717	0.0630
										0.0656	0.0773	0.0604	0.0616	0.0625	0.0645	0.0664	0.0615	0.0640	0.0566
0.0411	0.0043	0.0335	0.0368	0.0394	0.0379	0.0604	0.0323	0.0413	0.0369
										0.0852	0.0722	0.0836	0.0820	0.0821	0.0785	0.0749	0.0764	0.0785	0.0707
0.0670	0.0801	0.0601	0.0633	0.0641	0.0650	0.0653	0.0630	0.0636	0.0603
										0.0355	0.0080	0.0335	0.0293	0.0368	0.0381	0.0516	0.0301	0.0408	0.0327
0.0821	0.0723	0.0827	0.0767	0.0771	0.0765	0.0725	0.0730	0.0765	0.0742
										0.0696	0.0749	0.0607	0.0593	0.0671	0.0673	0.0690	0.0643	0.0668	0.0561
0.0386	0.0047	0.0343	0.0283	0.0400	0.0366	0.0568	0.0353	0.0411	0.0303
										0.0740	0.0688	0.0802	0.0708	0.0709	0.0707	0.0693	0.0687	0.0684	0.0638
0.0676	0.0708	0.0618	0.0595	0.0658	0.0677	0.0681	0.0648	0.0674	0.0547
										0.0432	0.0067	0.0342	0.0259	0.0408	0.0370	0.0634	0.0355	0.0402	0.0315
0.0662	0.0688	0.0752	0.0667	0.0644	0.0635	0.0695	0.0638	0.0605	0.0663
										0.0676	0.0682	0.0602	0.0634	0.0678	0.0664	0.0671	0.0653	0.0673	0.0647
0.0442	0.0058	0.0394	0.0279	0.0381	0.0362	0.0602	0.0327	0.0373	0.0178
										0.0679	0.0772	0.0747	0.0657	0.0648	0.0621	0.0678	0.0625	0.0595	0.0735
0.0723	0.0644	0.0666	0.0599	0.0730	0.0712	0.0703	0.0693	0.0720	0.0573
										0.0436	0.0136	0.0464	0.0339	0.0368	0.0373	0.0516	0.0335	0.0400	0.0169
0.0747	0.0614	0.0776	0.0734	0.0703	0.0696	0.0662	0.0699	0.0701	0.0803
										0.0717	0.0607	0.0653	0.0533	0.0719	0.0724	0.0723	0.0715	0.0727	0.0575
0.0447	0.0061	0.0420	0.0354	0.0414	0.0387	0.0553	0.0365	0.0432	0.0192
										0.0790	0.0605	0.0800	0.0734	0.0754	0.0765	0.0683	0.0769	0.0779	0.0809
0.0725	0.0653	0.0681	0.0559	0.0716	0.0714	0.0724	0.0707	0.0711	0.0594
										0.0427	0.0149	0.0420	0.0379	0.0405	0.0349	0.0531	0.0341	0.0422	0.0241
0.0757	0.0694	0.0773	0.0734	0.0716	0.0690	0.0686	0.0682	0.0687	0.0723
										0.0701	0.0692	0.0629	0.0530	0.0696	0.0706	0.0702	0.0694	0.0701	0.0525
0.0428	0.0128	0.0377	0.0325	0.0404	0.0368	0.0502	0.0325	0.0408	0.0231
										0.0756	0.0648	0.0739	0.0755	0.0719	0.0719	0.0681	0.0670	0.0687	0.0685
0.0892	0.0866	0.0850	0.0714	0.0892	0.0863	0.0900	0.0855	0.0793	0.0923
										0.0546	0.0374	0.0501	0.0602	0.0475	0.0411	0.0459	0.0459	0.0493	0.0205

在所选的若干个三维人脸特征点基础上做NMF得到的右矩阵中每行元素的均值m_i和标准差σ_i的计算结果如表6所示：

表6

mi	σi
		0.5491	0.1144
0.0976	0.0079
		0.2538	0.0421
0.2225	0.0202
		0.8139	0.2451
0.7783	0.1368
		0.3638	0.0377
0.6274	0.1714
		0.5833	0.1400
0.0618	0.0059

b)对第4步得到的列向量也增加一定的偏移量(与前面的偏移量一致)，根据NMF的定义即得其在人脸形状特征空间上的投影向量；

记一个人脸的三维特征点的坐标值(添加了防止坐标非负的偏移量之后)排列成列向量V，根据NMF的定义，它可以表示为下式的形式：

$V=\underset{i=1}{\overset{C}{\mathrm{\Σ}}}{e}_i\·f_i+r=\underset{i=1}{\overset{C}{\mathrm{\Σ}}}(m_i+{\mathrm{\δ}}_i)\·f_i+r$

其中，C＝10，f_i代表人脸形状特征空间数表的第i列，投影向量为e＝[0.446783，0.136041，0.119618，0.325726，1.217828，0.734176，0.372528，0.522420，0.524855，-0.054033]^T，残量为r，δ_i由e_i减去m_i得到，r如下面204行的表7所示；

表7

0.006776
	0.029506
0.016746
	0.013423
0.014328
	0.010201
0.011200
	0.011247
0.005058
	0.012246
-0.004790
	-0.005487
0.012142
	0.001369
0.001248
	0.021612
-0.002404
	-0.001618
0.011612
	-0.010837
0.000458
	-0.002652
-0.016113
	-0.004467
-0.015748
	-0.010493
-0.004787
	-0.031452
0.026100
	0.006128
0.013416
	-0.018696
0.001858
	-0.006594
0.006883
	0.006821
-0.008182
	0.016773
0.009549
	-0.008848
0.025556
	0.007444
-0.001634
	0.030004
0.010994
	-0.010053
-0.010043
	-0.012211
-0.005187
	-0.014687
-0.007679
	-0.007844
-0.014079
	-0.007377
-0.019460
	-0.013869
-0.007252
	-0.018966
-0.011127
	-0.007493
-0.010475
	-0.010078
-0.007267
	0.002037
-0.011703
	-0.014259
0.000952
	-0.012697
-0.009255
	0.008406
-0.014949
	-0.007765
0.012831
	-0.009035
-0.004756
	0.005263
-0.011475
	-0.005539
0.000066
	-0.014140
-0.006589
	-0.027179
-0.007047
	0.002707
-0.010955
	-0.014484
0.002952
	0.001836
-0.004033
	0.002040
-0.008955
	-0.006407
0.001313
	-0.011647
-0.008130
	-0.000011
0.017758
	-0.007385
-0.000320
	0.006931
-0.007707
	-0.001110
-0.000383
	-0.004736
0.000305
	0.009887
-0.002309
	0.000237
0.007081
	-0.005748
-0.002550
	-0.004516
0.015565
	0.002804
-0.006026
	0.012412
0.004083
	-0.006814
0.012475
	0.005234
-0.002075
	0.010084
0.004025
	-0.003615
0.002950
	-0.001002
-0.004269
	0.007961
0.003841
	0.002648
0.010847
	0.004426
0.003588
	0.008122
0.001905
	0.004262
0.014491
	0.005312
0.001118
	0.002982
0.004247
	-0.000575
0.001966
	0.002169
0.008623
	0.013951
0.002303
	0.005725
0.004890
	-0.000563
-0.001053
	0.001574
-0.001492
	0.000646
0.002689
	-0.000316
0.002305
	-0.000280
-0.000150
	0.001432
0.004884
	0.000636
0.002005
	0.021219
0.004964
	0.008082
-0.002563
	0.001672
-0.000704
	-0.006861
0.000064
	0.004122
-0.011160
	-0.001905
0.005923
	-0.007872
-0.001250
	0.004931
0.006939
	0.001856
0.002008
	-0.002675
-0.000153
	-0.000682
-0.002110
	0.000222
0.005448
	-0.000366
0.000161
	0.004421
0.001389
	0.001287
0.001727
	0.001269
-0.000451
	0.005499
0.001557
	-0.000675
-0.001217
	0.001939
-0.000439
	-0.000015
0.000580
	-0.003115

c)根据本发明实施例所述的夸张策略对投影向量和残量进行夸张运算，由夸张后的投影向量和残量结合人脸形状特征空间即可恢复出带偏移量的夸张三维特征点；

根据从均值中夸张差异EDFM的三维夸张规则对列向量V进行三维夸张，获得夸张后的列向量V′，其满足以下关系式： $V^{\′}=\underset{i=1}{\overset{C}{\mathrm{\Σ}}}(m_i+t_i\·{\mathrm{\δ}}_i)\·f_i+0.5\·k\·r,$

其中，k表示三维夸张系数，且|δ_i|/σ_i＝|e_i-m_i|/σ_i，|δ_i|/σ_i构成集合Ω＝{a_j|a_j＝|δ_j|/σ_j，j＝1，...，C}，当选取κ个最大的|δ_i|/σ_i对应的特征分量进行夸张时，t_i＝k，否则t_i＝1，其中κ的取值范围满足：1≤κ＜C。C的取值优选为10。

当k＝2.38，κ＝2时，得到的V’转换成68×3的数表为表8：

表8

0.5155	0.5486	0.1210
			0.5206	0.4811	0.1347
0.5176	0.4310	0.1314
			0.5038	0.3591	0.1286
0.4911	0.3089	0.1215
			0.4674	0.2567	0.1224
0.4176	0.2207	0.1431
			0.3404	0.2067	0.1524
0.2743	0.2185	0.1423
			0.2142	0.2806	0.1136
0.2309	0.2673	0.0925
			0.1912	0.3483	0.1088
0.1858	0.4214	0.1185
			0.1918	0.4764	0.1284
0.1974	0.5379	0.1142
			0.2032	0.5504	0.1423
0.2324	0.5742	0.1650
			0.2729	0.5728	0.1880
0.3048	0.5545	0.1931
			0.2699	0.5568	0.1861
0.2423	0.5572	0.1721
			0.4820	0.5396	0.1553
0.4613	0.5674	0.1748
			0.4166	0.5659	0.1926
0.3918	0.5475	0.1911
			0.4141	0.5502	0.1868
0.4501	0.5460	0.1759
			0.4394	0.5094	0.1417
0.4216	0.5138	0.1718
			0.3996	0.5110	0.1625
0.4246	0.5012	0.1668
			0.4218	0.5098	0.1667
0.2524	0.5130	0.1356
			0.2750	0.5212	0.1712
0.3120	0.5134	0.1609
			0.2803	0.5080	0.1632
0.2798	0.5139	0.1628
			0.3704	0.5226	0.1781
0.3799	0.4697	0.1910
			0.3966	0.4246	0.1702
0.3898	0.4122	0.1790
			0.3467	0.3985	0.1979
0.3039	0.4152	0.1781
			0.3007	0.4305	0.1675
0.3208	0.4770	0.1882
			0.3303	0.5282	0.1760
0.3750	0.4117	0.2101
			0.3254	0.4137	0.2112
0.4289	0.3506	0.1658
			0.3934	0.3537	0.1937
0.3645	0.3564	0.2026
			0.3458	0.3538	0.2045
0.3254	0.3571	0.1998
			0.3021	0.3567	0.1871
0.2763	0.3615	0.1600
			0.3058	0.3158	0.1756
0.3181	0.3075	0.1886
			0.3505	0.3004	0.1914
0.3779	0.3032	0.1896
			0.3994	0.3252	0.1796
0.3772	0.3240	0.1876
			0.3461	0.3220	0.1928
0.3234	0.3256	0.1880
			0.3198	0.3485	0.1911
0.3441	0.3455	0.2020
			0.3732	0.3455	0.1952
0.3450	0.3387	0.1910
			0.3490	0.4177	0.2370

d)利用中心化移除之前的偏移量，即得夸张后的三维特征点。所得的三维特征点的数表为表9：

表9

0.166801	0.123991	-0.047637
			0.171927	0.056464	-0.033982
0.168874	0.006397	-0.037308
			0.155076	-0.065560	-0.040089
0.142352	-0.115726	-0.047181
			0.118677	-0.167962	-0.046267
0.068876	-0.203945	-0.025601
			-0.008305	-0.217899	-0.016251
-0.074440	-0.206078	-0.026381
			-0.134475	-0.144051	-0.055064
-0.117828	-0.157278	-0.076173
			-0.157497	-0.076288	-0.059918
-0.162937	-0.003248	-0.050134
			-0.156894	0.051819	-0.040278
-0.151327	0.113251	-0.054459
			-0.145522	0.125803	-0.026400
-0.116276	0.149599	-0.003704
			-0.075862	0.148141	0.019360
-0.043964	0.129872	0.024389
			-0.078841	0.132162	0.017401
-0.106391	0.132547	0.003393
			0.133273	0.115000	-0.013373
0.112544	0.142738	0.006119
			0.067858	0.141300	0.023898
0.043085	0.122893	0.022468
			0.065348	0.125619	0.018169
0.101383	0.121362	0.007173
			0.090673	0.084830	-0.026930
0.072896	0.089180	0.003102
			0.050861	0.086371	-0.006219
0.075839	0.076545	-0.001927
			0.073088	0.085208	-0.002018
-0.096285	0.088408	-0.033101
			-0.073751	0.096585	0.002485
-0.036696	0.088745	-0.007736
			-0.068387	0.083393	-0.005444
-0.068874	0.089331	-0.005850
			0.021716	0.098004	0.009458
0.031226	0.045109	0.022368
			0.047906	-0.000049	0.001531
0.041122	-0.012400	0.010371
			-0.002028	-0.026073	0.029224
-0.044787	-0.009409	0.009381
			-0.048046	0.005927	-0.001219
-0.027887	0.052428	0.019558
			-0.018461	0.103547	0.007362
0.026304	-0.012950	0.041389
			-0.023292	-0.010867	0.042473
0.080131	-0.073994	-0.002838
			0.044633	-0.070925	0.024994
0.015827	-0.068223	0.033895
			-0.002896	-0.070847	0.035861
-0.023345	-0.067487	0.031133
			-0.046668	-0.067865	0.018462
-0.072433	-0.063144	-0.008646
			-0.042894	-0.108796	0.006946
-0.030656	-0.117087	0.019946
			0.001776	-0.124219	0.022724
0.029178	-0.121433	0.020947
			0.050701	-0.099461	0.010873
0.028449	-0.100599	0.018949
			-0.002638	-0.102627	0.024136
-0.025337	-0.098978	0.019318
			-0.028880	-0.076092	0.022422
-0.004597	-0.079105	0.033327
			0.024502	-0.079121	0.026501
-0.003752	-0.085874	0.022278
			0.000247	-0.006907	0.068342

S906、进行跟S904反向的操作，先恢复之前的模值(当前列向量的每个分量乘以之前记录的列向量的模值)，再旋转至原视角，最后平移三维特征点使其质心回到之前的位置；

如此完成操作的数表为表10：

表10

166.833328	231.534546	-50.015957
			166.688400	280.581665	-30.747906
171.746964	318.370758	-26.654564
			186.183731	371.912689	-19.392889
198.592010	409.760498	-18.242083
			219.474213	447.508881	-10.946362
259.412018	469.056458	8.688020
			318.930054	474.144135	16.547140
368.560425	463.102875	6.505794
			410.727631	417.242554	-24.040453
398.712036	430.850067	-37.924110
			424.505829	365.892151	-36.963234
424.670746	309.578613	-39.360352
			417.086792	267.334900	-39.172344
409.429138	223.494934	-57.887955
			404.424774	210.667786	-38.399536
380.950195	191.382462	-24.121962
			350.366180	191.565292	-6.075761
327.118927	206.286499	0.539323
			353.502228	203.638000	-5.469982
374.390778	203.741302	-16.402946
			192.957626	231.920044	-23.529303
207.276215	207.438309	-12.835038
			241.415863	203.763474	0.123218
261.268402	216.420380	1.162281
			244.165985	216.139877	-2.135892
216.944275	222.716339	-9.358146
			226.974747	254.051514	-30.273895
240.368881	245.846985	-8.526754
			257.253784	248.014725	-15.444275
238.805359	256.139435	-10.592170
			240.422195	249.514130	-11.843913
368.993652	242.205200	-37.834164
			351.529053	232.548447	-11.893924
323.731415	241.760971	-18.046501
			348.143188	243.772552	-16.031178
348.186951	239.351852	-17.129076
			278.845184	235.656998	-5.592700
274.559662	274.074951	11.234695
			264.272797	311.570648	1.784715
270.143860	319.284912	9.971073
			303.790161	324.714966	25.376806
335.335205	312.587158	7.705321
			336.934875	302.333862	-2.330646
319.120453	265.807953	7.379879
			309.100220	229.637070	-8.428130
281.559235	314.778473	33.146652
			319.181396	310.424133	33.034260
243.799103	369.271820	8.719672
			270.737549	361.372803	28.752213
292.536285	356.625580	34.702045
			306.932373	357.330017	36.280552
322.288330	354.349792	32.016041
			340.007172	355.072754	22.244007
359.252350	353.766693	0.920667
			339.341125	387.471802	19.065502
330.532623	392.607086	30.087868
			306.259766	399.312958	33.544567
285.252563	398.925873	32.200230
			267.635986	384.955139	22.005110
284.656769	383.544281	27.930313
			308.437500	382.712830	31.686859
325.489624	379.407349	27.287523
			326.940155	361.659698	26.540590
308.670441	363.762787	35.448746
			286.508362	366.237610	30.705870
308.358978	370.349182	28.057978
			301.148865	305.273376	52.248577

S907、投影至图像平面，即得夸张后的二维特征点；相应的夸张后的二维数表为表11：

表11

166.833328	231.534546
		166.688400	280.581665
171.746964	318.370758
		186.183731	371.912689
198.592010	409.760498
		219.474213	447.508881
259.412018	469.056458
		318.930054	474.144135
368.560425	463.102875
		410.727631	417.242554
398.712036	430.850067
		424.505829	365.892151
424.670746	309.578613
		417.086792	267.334900
409.429138	223.494934
		404.424774	210.667786
380.950195	191.382462
		350.366180	191.565292
327.118927	206.286499
		353.502228	203.638000
374.390778	203.741302
		192.957626	231.920044
207.276215	207.438309
		241.415863	203.763474
261.268402	216.420380
		244.165985	216.139877
216.944275	222.716339
		226.974747	254.051514
240.368881	245.846985
		257.253784	248.014725
238.805359	256.139435
		240.422195	249.514130
368.993652	242.205200
		351.529053	232.548447
323.731415	241.760971
		348.143188	243.772552
348.186951	239.351852
		278.845184	235.656998
274.559662	274.074951
		264.272797	311.570648
270.143860	319.284912
		303.790161	324.714966
335.335205	312.587158
		336.934875	302.333862
319.120453	265.807953
		309.100220	229.637070
281.559235	314.778473
		319.181396	310.424133
243.799103	369.271820
		270.737549	361.372803
292.536285	356.625580
		306.932373	357.330017
322.288330	354.349792
		340.007172	355.072754
359.252350	353.766693
		339.341125	387.471802
330.532623	392.607086
		306.259766	399.312958
285.252563	398.925873
		267.635986	384.955139
284.656769	383.544281
		308.437500	382.712830
325.489624	379.407349
		326.940155	361.659698
308.670441	363.762787
		286.508362	366.237610
308.358978	370.349182
		301.148865	305.273376

S908、由夸张前后二维特征点的变化，利用成熟的图像warping技术可以实现头像夸张操作，进而通过NPR技术完成卡通化效果。

本发明实施例4的方法在利用三维平均脸模型恢复输入人脸特征点深度信息后，在NMF建立的人脸形状特征空间下，将该三维形状与三维平均脸形状比较并归一化特征差异，对其中较显著的特征应用三维夸张规则，从而扩大了现有的漫画夸张方法的应用范围，并能够产生更加生动幽默和富于变化的效果，满足日常应用的需求。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述实施例对本发明实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。

Claims (8)

1.一种支持姿态偏转的人脸数字图像漫画夸张方法，其特征在于，所述方法包括：

步骤A、根据预先建立的三维平均脸形状模型，恢复输入的人脸图像二维特征点的近似深度信息；

步骤B、根据所述近似深度信息生成所述输入人脸图像的三维形状；

建立基于非负矩阵分解的人脸三维形状特征空间；所述建立基于非负矩阵分解的人脸三维形状特征空间包括：获取一预设数量的人脸三维模型；标定每一所述人脸三维模型的一预设数量的三维特征点，以获得每一所述人脸三维模型的特征点点云；将每一所述人脸三维模型的特征点点云的坐标值排列成列向量，并对所述列向量进行尺度归一化处理，获得处理后的列向量；将所述预设数量的人脸三维模型分别对应的列向量依次排列，组成矩阵S，并根据非负矩阵分解方法对所述矩阵S进行分解，以获得分解后的矩阵F，所述矩阵F用于表示人脸三维形状特征空间；

步骤C、在预先建立的基于非负矩阵分解的人脸三维形状特征空间中，根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张，以生成三维夸张后的三维形状；

步骤D、将所述三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并投影，以生成三维夸张后的二维特征点；

步骤E、根据所述三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像。

2.根据权利要求1所述的方法，其特征在于，所述矩阵S的行数表示为3N，所述矩阵S的列数表示为M，所述矩阵F的列数表示C，其关系满足(3N+M)×C＜3N×M，其中N、M及C为正整数。

3.根据权利要求2所述的方法，其特征在于，所述根据非负矩阵分解方法对所述矩阵S进行分解后还获得矩阵E，所述建立基于非负矩阵分解的人脸三维形状特征空间还包括：

根据矩阵E计算矩阵E中每行元素的均值m_i和标准差σ_i，其中i=1,...,C。

4.根据权利要求3所述的方法，其特征在于，所述步骤C包括：

将所述输入人脸图像的三维形状旋转至正面视图；

将正面视图的所述三维形状的特征点点云的坐标值排成列向量，并对所述列向量进行尺度归一化处理，获得处理后的列向量V，其满足以下关系式：

其中，f_i表示所述人脸三维形状特征空间F的一个维度的基向量，r表示所述列向量V在人脸三维形状特征空间F中的噪声残量，e_i表示非负线性组合系数，δ_i表示e_i与m_i的差值，非负线性组合的系数e＝[e₁,e₂,...,e_C]^T满足下列关系式：

其中‖A‖_F表示矩阵A的F范数；

根据从均值中夸张差异EDFM的三维夸张规则对列向量V进行三维夸张，获得夸张后的列向量V′，其满足以下关系式：

其中，k表示三维夸张系数，且|δ_i|/σ_i＝|e_i-m_i|/σ_i，|δ_i|/σ_i构成集合Ω＝{a_j|a_j＝|δ_j|/σ_j,j＝1,...,C}，当选取κ个最大的|δ_i|/σ_i对应的特征分量进行夸张时，t_i＝k，否则t_i＝1，其中κ的取值范围满足：1≤κ＜C。

5.根据权利要求4所述的方法，其特征在于，所述在预先建立的基于非负矩阵分解的人脸三维形状特征空间中，根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张，以获得三维夸张后的三维形状还包括：

通过调整夸张系数k的取值和κ的取值来改变夸张程度，其中k和κ的取值范围包括下列区间：k∈[a,b]，κ∈[c,d]，其中a的最大值为2，b的最小值为4，c的最大值为3，d的最小值为6。

6.根据权利要求1所述的方法，其特征在于，所述根据夸张后的二维特征点获得具有漫画夸张效果的人脸图像包括：

将二维特征点包围区域内的图像纹理通过数字图像扭曲变换到对应的夸张移动后的二维特征点包围的区域内；

根据非真实感绘制方法，以获得漫画夸张后的人脸图像。

7.一种支持姿态偏转的人脸数字图像漫画夸张装置，其特征在于，所述装置包括：

深度信息恢复单元，用于根据预先建立的三维平均脸形状模型，恢复输入的人脸图像二维特征点的近似深度信息；

三维形状生成单元，用于根据所述近似深度信息生成所述输入人脸图像的三维形状；

空间建立单元，用于建立基于非负矩阵分解的人脸三维形状特征空间；所述空间建立单元，具体用于获取一预设数量的人脸三维模型；标定每一所述人脸三维模型的一预设数量的三维特征点，以获得每一所述人脸三维模型的特征点点云；将每一所述人脸三维模型的特征点点云的坐标值排列成列向量，并对所述列向量进行尺度归一化处理，获得处理后的列向量；将所述预设数量的人脸三维模型分别对应的列向量依次排列，组成矩阵S，并根据非负矩阵分解方法对所述矩阵S进行分解，以获得分解后的矩阵F，所述矩阵F用于表示人脸三维形状特征空间；

三维形状夸张单元，用于在预先建立的基于非负矩阵分解的人脸三维形状特征空间中，根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张，以生成三维夸张后的三维形状；

二维特征点生成单元，用于将所述三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并投影，以生成三维夸张后的二维特征点；

漫画夸张图像生成单元，用于根据所述三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像。

8.一种支持姿态偏转的人脸数字图像漫画夸张系统，其特征在于，所述系统包括：

图像夸张装置，用于根据图像数据库提供的一预设数量的人脸图像三维模型，恢复输入的人脸图像二维特征点的近似深度信息；根据所述近似深度信息生成所述输入人脸图像的三维形状；建立基于非负矩阵分解的人脸三维形状特征空间；所述建立基于非负矩阵分解的人脸三维形状特征空间包括：获取一预设数量的人脸三维模型；标定每一所述人脸三维模型的一预设数量的三维特征点，以获得每一所述人脸三维模型的特征点点云；将每一所述人脸三维模型的特征点点云的坐标值排列成列向量，并对所述列向量进行尺度归一化处理，获得处理后的列向量；将所述预设数量的人脸三维模型分别对应的列向量依次排列，组成矩阵S，并根据非负矩阵分解方法对所述矩阵S进行分解，以获得分解后的矩阵F，所述矩阵F用于表示人脸三维形状特征空间；在预先建立的基于非负矩阵分解的人脸三维形状特征空间中，根据三维夸张规则对旋转至正面视图的所述三维形状进行三维夸张，以生成三维夸张后的三维形状；将所述三维夸张后的三维形状变换回所述输入人脸图像的初始姿态并投影，以生成三维夸张后的二维特征点；根据所述三维夸张后的二维特征点生成具有漫画夸张效果的人脸图像；

图像数据库，用于向所述图像夸张装置提供一预设数量的人脸图像三维模型。

Images