CN101159015A - 一种二维人脸图像的识别方法 - Google Patents

Abstract

本发明公开了一种二维人脸图像识别的方法，属于模式识别和计算机视觉领域。所述方法包括：根据已知三维人脸数据库，建立三维人脸形变模型；输入二维人脸图像进行注册，利用三维人脸形变模型，对注册后的二维人脸图像进行三维重建，得到对所述注册的二维人脸图像的三维重建结果；通过建立光照模型，从所述三维重建结果中生成姿态、光照变化的虚图像；利用所述虚图像进行变化限制分类器设计；输入待识别的二维人脸图像，进行特征提取和压缩处理，然后将所述抽取和压缩处理后的特征输入到所述变化限制分类器中，输出分类结果，最后实现了对人脸图像的识别。通过采用本发明的方法，实现了识别过程完全自动化，提高了识别准确率，识别速度也有很大改善。

Description

一种二维人脸图像的识别方法

技术领域

本发明涉及模式识别和计算机视觉领域，特别涉及一种二维人脸图像的识别方法。

背景技术

虽然对人脸识别的研究持续了数十年，但是，时至今日，它依然是模式识别领域中一个极具挑战性的问题。人脸识别方法还有一系列难以解决的问题，例如当人脸姿态、表情以及环境光照(PIE，Pose Illumination Expression)发生较大变化的时候，识别率将急剧下降。如何解决人脸在不同姿态、光照和表情条件下的识别问题，仍然是当前研究的热点。

对于姿态和光照变化的人脸识别问题，如果采用传统的方法，必须获得足够多的不同姿态和光照条件下用于学习的人脸训练图像，然而在很多情况下，这些图像并不容易获得。其实，即使待识别的测试图像存在明显的姿态变化，也仅仅需要展示一张正面的标准人脸图像就能够进行识别的工作了，这是因为人脑具有联想的功能。

为了实现不依赖姿态和环境光照的人脸识别，现有技术中提出下述方法：

一种是“不变特征”的方法，是在图像中提取对姿态、光照变化不敏感的特征作为原始图像的测度，比如边界图(edge maps)。从近年的测试来看，相对于直接利用原始图像数据进行识别的算法来说，不变特征的研究取得了很大的进步，使得算法对光照变化在一定程度上有了适应性。但是没有任何一种特征可以独自克服图像的光照变化，并且，很难获得姿态变化下的不变特征。

另外一种是“变化校正”的方法，主要是人脸三维形变模型，利用对输入的两维人脸图像进行形状和纹理的双重匹配，能够获得不依赖于姿态的三维人脸特征，从而很好地解决不依赖于姿态的识别问题。当被用于侧面人脸的姿态矫正，实验结果显示有非常好的识别性能。但是由于它需要对形状和纹理同时进行优化，耗时巨大且易陷入局部最小，且初始的特征点位置需要手工获得，不可能满足实际应用的要求。

因此，现有技术中要么是无法克服光照变化对图像产生的影响，要么是耗时，需要手工操作。

发明内容

为了实现自动化和快速准确的进行人脸的识别，并且在识别过程中，克服图象的姿态和光照变化的影响，本发明提供了一种二维人脸图像识别的方法。

本发明是基于一种变化模拟方法，通过建立人脸三维形变模型，将二维图像在模型约束下重构得到特定人的三维人脸，由此生成虚图像并训练变化限制分类器，达到提高人脸识别的准确率的目的。具体方法如下：

一种二维人脸图像的识别方法，所述方法包括：

根据已知三维人脸数据库，建立三维人脸形变模型；

输入二维人脸图像进行注册，利用所述三维人脸形变模型，对所述注册后的二维人脸图像进行三维重建，得到对所述注册的二维人脸图像的三维重建结果；

通过建立光照模型，从所述三维重建结果中生成姿态、光照变化的虚图像；

利用所述虚图像进行变化限制分类器设计；

输入待识别的二维人脸图像，进行特征提取和压缩处理，然后将所述抽取和压缩处理后的特征输入到所述变化限制分类器中，输出分类结果，最后实现了对人脸图像的识别。

所述通过建立光照模型，从所述三维重建结果生成姿态、光照变化的虚图像的步骤，具体包括：

制定光照模型，获得人脸姿态旋转角度值的区间和光源参数值对的区间；

根据所述人脸姿态旋转角度值的区间和光源参数值对的区间，选取至少一个人脸姿态旋转角度值和光源参数值对；

根据所述人脸姿态旋转角度值和光源参数值对，对所述三维重建结果进行三维几何变换；

利用所述光照模型，在光照条件下，合成所述三维几何变换后的图像，并进行投影变换；

对所述投影变换后的图像进行消隐处理，生成姿态、光照变化的虚图象。

所述利用所述虚图像进行变化限制分类器设计的步骤，具体包括：

执行 $c^{*}=\arg \underset{c_j\∈C}{\max }p(c_j/X_f)$ 实现最优分类，其中，样本X_f属于N个模式类别C＝{c₁，c₂，…，c_N}之一，c^*∈C为分类结果，p(c_j/X_f)为后验概率；

执行 $c^{*}=\arg \underset{c_j\∈C}{\max }P\left(c_j\right)p(X_f/c_j)$ 实现后验概率p(c_j/X_f)由类别先验概率P(c_j)和类条件概率密度p(X_f/c_j)来表示；

执行 $c^{*}=\arg \underset{c_j\∈C}{\max }p(X_f/c_j)=\arg \underset{c_j\∈C}{\max }\underset{m=1}{\overset{M}{\mathrm{\Σ}}}P\left(v_m\right)p(X_f/c_j,v_m)$

得到最大条件概率分类器，其中，P(v_m)1≤m≤M为变化因素的先验概率，M为变化因素的阶数；

利用所述虚图像进行分类器参数的估计，完成变化限制分类器设计。

在本发明中，所述利用所述虚图像进行变化限制分类器设计的步骤，还包括：

执行

得到一种离散变化的修正二次鉴别函数分类器，其中，μ_i，m为类c_j在变化因素v_m作用下的分布均值，Σ_i，m为类c_j在变化因素v_m作用下的分布的协方差矩阵，Σ_i，m的特征对为(λ_i，_i)，h²和k为通过实验确定的参数。

本发明提供的技术方案的有益效果是：

利用了人脸检测定位的方法，通过对正面人脸特征点自动进行检测，使得重建过程完全自动化；通过对虚图像设计变化限制分类器，可以获得很高的识别率，在训练过程利用虚图像，不需要在识别阶段进行姿态的校正，从而使得识别过程速度有很大提高。

附图说明

图1为本发明实施例1中的人脸图像识别方法的流程图；

图2为本发明实施例1中的透视投影的示意图；

图3为本发明实施例1中立方体的各种正投影示意图；

图4为本发明实施例1中的图像二义性示意图；

图5为本发明实施例1中的Phong光照模型图；

图6为本发明实施例2中的识别系统中训练阶段的框架图；

图7为本发明实施例2中的识别系统中注册阶段的框架图；

图8为本发明实施例2中的识别系统中测试阶段的框架图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例1

本实施例中的人脸数据库取自200个欧洲人的三维人脸数据，每个人脸数据包含十万左右个顶点，每个顶点的坐标(x，y，z)和纹理(R，G，B)已知。

本实施例中的二维人脸图像识别方法包括：建立三维人脸形变模型，人脸图像三维重建，生成姿态和光照变化虚图像，变化限制分类器设计，人脸图像识别。

如图l所示，下面具体介绍相应的步骤：

步骤101：根据已知三维人脸数据库，建立三维人脸形变模型。

具体过程包括：

步骤101a：获取数据库中所有人脸的顶点的坐标(x，y，z)和纹理(R，G，B)等原始数据，并对原始数据进行量化处理。

获取原始数据可以利用多种方法，常见为利用三维扫描仪采集或二维图像重构，本实施例中采用的是通过三维扫描仪扫描得到的；量化处理将原始数据中模拟量转化为数字量，便于计算机存储，可以采用数学运算完成。

步骤101b：对原始数据进行预处理，去除非人脸的部分。

采取三维人脸的切割，将人脸区域从整个头部扫描数据中分离出来，即去除头发、肩部等部位。分离人脸区域先要确定分离的边界。确定了分割边界，即可将人脸区域从原始扫描数据中分离出来。

步骤101c：建立人脸图像像素对应关系。

对所有的人脸数据进行点对点的配准，建立高密度的点点对应关系(即同一个下标的顶点表示同样的语意，比如第1000号顶点对于所有的人脸数据都是鼻尖，等等)。

步骤101d：建立三维人脸形变模型。具体步骤如下：

1.将预处理后的坐标和纹理数据按(1)式排列成形状和纹理向量：

$S_1={(x_i^1,y_i^1,z_i^1,...,x_i^M,y_i^n,z_i^n)}^T,$ $T_i={(R_i^1,G_i^1,B_i^1,...,R_i^n,G_i^n,B_i^n)}^T---\left(1\right)$

其中i表示第i个人脸数据，n表示模型的顶点数。

2.为了得到一个更为紧凑的参数表示，对所有样本的形状向量和纹理矢量进行主分量分析(PCA)。PCA是一种常用的无监督的线性降维方法，它寻找一个线性子空间，以使得样本在该子空间投影的协方差尽可能地大。具体方法如下(假设共有N个三维人脸数据)：

三维人脸数据的形状均值 $\stackrel{\‾}{S}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{S}_i$

协方差矩阵 $C_x=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(S_i-\stackrel{\‾}{s}){(S_i-\stackrel{\‾}{s})}^T---\left(2\right)$

构成PCA子空间的基，即形状特征向量s_j，可由以下特征分解得到：

C_xs_j＝λ_js_j  j＝ 1，2，...，m_s

3.得到了三维人脸形变模型：

$S_{\mathrm{mod}}=\stackrel{\‾}{S}+\underset{i=1}{\overset{M_s}{\mathrm{\Σ}}}{\mathrm{\α}}_i{s}_i,T_{\mathrm{mod}}=\stackrel{\‾}{T}+\underset{j=1}{\overset{M_T}{\mathrm{\Σ}}}{\mathrm{\β}}_j{t}_j---\left(3\right)$

其中，

为平均人脸形状向量，α_j为第j个形状系数，s_j为第j个形状特征向量，M_s为截取的形状主元个数；同理

为平均纹理向量，β_j为第j个纹理系数，t_j为第j个纹理特征向量，M_T为截取的纹理主元个数。通过变化系数α_j和β_j，即将形状和纹理特征向量分别按照不同的系数进行线性组合，就能够得到不同形状、不同纹理的三维人脸。

由于不同三维人脸的几何点数量不一定相同，需要建立稠密点对应并通过插值等方法将不同人脸的几何点数规格化成相同数量，通常可以使用光流方法或者标记锚点的方法。假设人脸数据满足正态分布，经过(3)式的正交变换后形变参数满足下式(4)的分布：

$P\left(\stackrel{\→}{\mathrm{\α}}\right)~\exp [-\frac{1}{2}\left(\underset{i=1}{\overset{M_s}{\mathrm{\Σ}}}({\mathrm{\α}}_i^2/{\mathrm{\σ}}_i)\right)],$

$P\left(\stackrel{\→}{\mathrm{\β}}\right)~\exp [-\frac{1}{2}\left(\underset{i=1}{\overset{M_T}{\mathrm{\Σ}}}({\mathrm{\β}}_i^2/{\mathrm{\λ}}_i)\right)]---\left(4\right)$

即形变参数不是任意变化的，而是服从该概率分布，从而可以避免畸变人脸的产生。

步骤102：输入二维人脸图像进行注册，利用所述三维人脸形变模型，对所述注册后的二维人脸图像进行三维重建，得到对所述注册的二维人脸图像的三维重建结果。

输入二维人脸图像进行注册，并对注册后的二维人脸图像进行三维人脸重建，方法很多，常见的为(随机)梯度法、(随机)牛顿法、Levenberg-Marquardt法等，本实施例中采用的是Levenberg-Marquardt法，对特定人脸的三维重建过程为：

步骤102a：将上述步骤101中得到的三维人脸形变模型与特定人脸图像进行匹配得到形变参数

和

即调节形变参数，使模型产生的三维人脸在特定视角看到的图像与待识别的二维人脸图像的误差最小。具体步骤为：

1.调节形变参数

时会合成不同形状的三维人脸图像，同样，当形变参数

改变时，则会形成不同纹理的三维人脸图像，将二维人脸的图象依次进行三维几何变换。

三维几何变换通过三维点在空间中的位置平移、缩放、旋转，如果用齐次坐标的形式，可以用矩阵乘法的形式表示出来。

1)平移变换 $\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\\ 1\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& t_x\\ 0& 1& 0& t_y\\ 0& 0& 1& t_z\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=\left[\begin{array}{c}x+t_x\\ y+t_y\\ z+t_z\\ 1\end{array}\right]---\left(5\right)$

其中x，y，z是平移前的三维点坐标，x′，y′，z′是平移后的点坐标，t_x，t_y，t_z是延X，Y，Z轴方向的平移。

2)缩放变换 $\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\\ 1\end{array}\right]=\left[\begin{array}{cccc}{s}_x& 0& 0& 0\\ 0& s_y& 0& 0\\ 0& 0& s_z& 0\\ 0& 0& 0& 1\end{array}\right]=\left[\begin{array}{cccc}{s}_{x}x& 0& 0& 0\\ 0& s_{y}y& 0& 0\\ 0& 0& s_{z}z& 0\\ 0& 0& 0& 1\end{array}\right]---\left(6\right)$

其中s_x，s_y，s_z分别为x，y，z轴缩放比例。

3)绕坐标轴的旋转变换

右手坐标系下相对坐标原点绕坐标轴旋转θ角的变换绕X轴旋转： $\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\\ 1\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& \cos \mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ 0& \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]{=R}_X\left(\mathrm{\θ}\right)\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]---\left(7\right)$

绕Y轴旋转： $\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\\ 1\end{array}\right]=\left[\begin{array}{cccc}\cos \mathrm{\θ}& 0& \sin \mathrm{\θ}& 0\\ 0& 1& 0& 0\\ -\sin \mathrm{\θ}& 0& \cos \mathrm{\θ}& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]{=R}_Y\left(\mathrm{\θ}\right)\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]---\left(8\right)$

绕Z轴旋转： $\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\\ 1\end{array}\right]=\left[\begin{array}{cccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& 0& 0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]{=R}_Z\left(\mathrm{\θ}\right)\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]---\left(9\right)$

合起来可以得到，三维几何变换的表达式为：

[x′y′z′]^T＝R(θ_x，θ_y，θ_z)·S(s_x，s_y，s_x)·[x y z]^T+M(t_x，t_y，t_z)    (10)

S(s_x，s_y，s_z)为缩放矩阵： $S(s_x,s_y,s_z)=\left[\begin{array}{ccc}{s}_x& 0& 0\\ 0& s_y& 0\\ 0& 0& s_z\end{array}\right]$

M(t_x，t_y，t_z)为平移矩阵： $M(t_x,t_y,t_z)=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]$

$R({\mathrm{\θ}}_x,{\mathrm{\θ}}_y,{\mathrm{\θ}}_z)=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos {\mathrm{\θ}}_x& -\sin {\mathrm{\θ}}_x\\ 0& \sin {\mathrm{\θ}}_x& \cos {\mathrm{\θ}}_x\end{array}\right]\left[\begin{array}{ccc}\cos {\mathrm{\θ}}_y& 0& \sin {\mathrm{\θ}}_y\\ 0& 1& 0\\ -\sin {\mathrm{\θ}}_y& 0& \cos {\mathrm{\θ}}_y\end{array}\right]\left[\begin{array}{ccc}\cos {\mathrm{\θ}}_z& -\sin {\mathrm{\θ}}_z& 0\\ {\sin \mathrm{\θ}}_z& \cos {\mathrm{\θ}}_z& 0\\ 0& 0& 1\end{array}\right]---\left(10\right)$

$=\left[\begin{array}{ccc}{\cos \mathrm{\θ}}_y\cos {\mathrm{\θ}}_z& {-\cos \mathrm{\θ}}_y\cos {\mathrm{\θ}}_z& {\cos \mathrm{\θ}}_y\\ \sin {\mathrm{\θ}}_x\sin {\mathrm{\θ}}_y\cos {\mathrm{\θ}}_z+{\cos \mathrm{\θ}}_x\sin {\mathrm{\θ}}_z& -\sin {\mathrm{\θ}}_x\sin {\mathrm{\θ}}_y\sin {\mathrm{\θ}}_z+{\cos \mathrm{\θ}}_x\cos {\mathrm{\θ}}_z& -\sin {\mathrm{\θ}}_x{\cos \mathrm{\θ}}_y\\ -\cos {\mathrm{\θ}}_x\sin {\mathrm{\θ}}_y\cos {\mathrm{\θ}}_z& \cos {\mathrm{\θ}}_x\sin {\mathrm{\θ}}_y\sin {\mathrm{\θ}}_z+{\mathrm{cin\θ}}_x\cos {\mathrm{\θ}}_z& \cos {\mathrm{\θ}}_x{\cos \mathrm{\θ}}_y\end{array}\right]$

其中，[x y z]^T为旋转前的顶点坐标，[x′y′z′]^T为旋转后的顶点坐标，θ_x，θ_y，θ_z分别为绕x，y，z轴旋转的角度。

2.将经过三维几何变换后的人脸图像进行投影变换。

把三维物体变为二维表示的过程称为投影变换。透视投影及其常用的一种简化形式为正投影，以x₀，y₀，z₀表示物体上的点坐标，x_p，y_p，z_p为投影点坐标，如图2所示，其中图a为透视投影观察坐标系图，图b为透视投影计算图。

透视投影：投影射线汇聚于投影中心，或者说投影中心在有限远处的投影。如图3所示，为透视投影的示意图和坐标计算方法。

如图3所示，透视投影变换的观察坐标系中，投影中心处于坐标系原点，投影平面与z轴垂直并距原点距离为d。由相似三角形关系得：

${\left[\begin{array}{cccc}{x}_p& y_p& z_p& 1\end{array}\right]}^T={\left[\begin{array}{cccc}\frac{x_0\·d}{z_0}& \frac{y_0\·d}{z_0}& d& 1\end{array}\right]}^T---\left(11\right)$

正平行投影：正投影的投影方向与观察坐标系的某个坐标轴方向平行，即投影方向与另外两个坐标轴组成的平面垂直。图4给出了立方体的各种正投影。

在观察坐标系中进行平行正投影很方便，如果是按z方向投影，物体的投影图坐标便与它的z值无关，所以去掉z变量便是三维物体的二维投影描述。沿z方向正投影的变换可表示成：

$\left[\begin{array}{c}{x}_p\\ y_p\\ z_p\\ 1\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_0\\ y_0\\ z_0\\ 1\end{array}\right]=P_{\mathrm{zort}}\left[\begin{array}{c}{x}_0\\ y_0\\ z_0\\ 1\end{array}\right]---\left(12\right)$

对三维模型上的一个顶点[x y z]^T，经过(10)几何变换后的坐标为[x′y′z′]^T。使用正投影模型可以得到该点在图像平面上的投影坐标为：

P_x′＝x′×(width/edge)+width/2 P_y′＝y′×(height/edge)+height/2    (13)

其中width为二维图象的宽度，height为二维图象的高度，edge为三维视区边界的长度。

如图4所示，由于投影变换失去了深度信息，往往导致图形的二义性。要消除二义性，就必须在绘制时消除被遮挡的不可见的线或面，习惯上称作消除隐藏线和隐藏面，或简称为消隐。经过消隐得到的投影图称为物体的真实图形。

消隐可以采用Z-buffer、扫描线、光线投射等。

前述中的三维人脸形变模型都是基于顶点计算的，即三维人脸的三维顶点经投影后形成二维的点，这会导致形成的二维图像不连续。为了构造真实感的二维虚图像，必须将三维人脸的点形式变换为面形式，将原始的三维点连接为三维空间中的三角形面片，这一步称为三角剖分。三角剖分有很多方法，例如，逐点插入方法实现的三角剖分算法过程如下：

a.遍历所有散点，找出点集的包容盒，得到作为点集凸壳的初始三角形并放入三角形链表；

b.将点集中的散点依次插入，在三角形链表中找出其外接圆包含插入点的三角形(称为该点的影响三角形)，删除影响三角形的公共边，将插入点同影响三角形的全部顶点连接起来，从而完成一个点在Delauney三角形链表中的插入；

c.根据优化准则对局部新形成的三角形进行优化(例如互换对角线等)。将形成的三角形放入Delauney三角形链表；

d.循环执行上述第2步，直到所有散点插入完毕为止。

3.使用上述经投影变换后的人脸图像与输入的待识别的人脸图像对应像素点的灰度差的平方和作为两图像的误差，则要求模型参数

和使得下式最小：

$E_I=\underset{x,y}{\mathrm{\Σ}}{\left|\right|I_{\mathrm{input}}(x,y)-I_{\mathrm{mode}l}(x,y)\left|\right|}^2---\left(14\right)$

其中：I_mput是给定人脸图像，为经三维几何变换得到的二维图象；I_mod el是模型产生的人脸图像，由于I_mod el是由三维模型产生的模型图像，所以在上面误差中除了模型参数

和

外，还涉及摄像机的水平和俯仰角度、尺度变换因子、像平面上的旋转和平移、环境光和方向性光源等与投影和光照有关的参数，使用

来表示这些参数。

4.对参数

使用先验经验进行合理性约束。因为一张二维图像可能对应着多个可能的三维形体，这些当中有一些并不是真实的人脸。

由等式(4)给定的分布进行约束，的先验分布可用正态分布进行估计。给定

时，假设图像I_mpul的观察受标准差为σ_N的高斯噪声的影响，即：

$P\left(I_{\mathrm{input}}\right|\stackrel{\→}{\mathrm{\α}},\stackrel{\→}{\mathrm{\β}},\stackrel{\→}{\mathrm{\ρ}})~\exp (-E_I/2{\mathrm{\σ}}_N^2)---\left(15\right)$

从而问题转化为给定特定人脸图像的最大后验估计问题。由贝叶斯(Bayesian)估计理论，后验概率的最大化等价于下式代价函数的最小化：

$E=\frac{E_I}{{\mathrm{\σ}}_N^2}+\underset{i=1}{\overset{M_S}{\mathrm{\Σ}}}\frac{{\mathrm{\α}}_i^2}{{\mathrm{\σ}}_i}+\underset{i=1}{\overset{M_T}{\mathrm{\Σ}}}\frac{{\mathrm{\β}}_i^2}{{\mathrm{\λ}}_i}+\underset{i}{\mathrm{\Σ}}\frac{{({\mathrm{\ρ}}_i-{\stackrel{\‾}{\mathrm{\ρ}}}_i)}^2}{{\mathrm{\σ}}_{{\mathrm{\ρ}}_i}^2}---\left(16\right)$

ρ_i为第i个摄影参数(投影、光照等参数)，

和σ_ρi分别为该参数的均值和标准差。从而模型对于特定人脸图像的匹配问题转化为上式关于

的最小优化问题。可以使用确定性优化或随机优化算法来求式(16)的最优解。从而得到特定的人脸三维图像。该三维图像包括纹理和形状信息。

步骤102b：利用输入的人脸图像对模型进行纹理映射。对于三维模型上任意一点，其空间坐标为[x y z]^T，由(12)式和(13)得到其在图像平面上的投影坐标为[P_x P_y]^T，将该坐标上输入的人脸图像的像素值作为三维模型上对应点的纹理，从而得到三维人脸的纹理重建。

因此，通过步骤102，完成了将二维人脸图像的三维重建，包括形状和纹理信息，并且，对重建结果中的纹理作进一步映射处理，获得了更好效果的纹理重建结果。

步骤103：通过建立光照模型，从上述三维重建结果中生成姿态、光照变化的虚图像。

具体步骤如下：

步骤103a：对上述步骤102中得到的人脸三维图像，制定光照模型，可以是采用Phong模型，也可以是其他的光照模型；其中，Phong模型的制定方法如下：

当光照射到物体表面时，光线可能被吸收、反射和透射。被物体吸收的部分转化为热，反射、透射的光进入人的视觉系统，使我们能看见物体。为模拟这一现象，人们建立了一些数学模型来替代复杂的物理模型，这些模型就称为光照模型。

如图5所示为Phong光照模型图，其中图a为Phong光照模型的示意图，图b为Phong光照模型的几何向量图。

在Phong光照模型中，有三个分量：环境光、漫反射和镜面反射。由物体表面上一点P反射到视点的光强I为环境光的反射光强、理想漫反射光强、和镜面反射光的总和，即：

I＝I_aK_a+I_pK_d(L·N)+I_pK_s(R·V)ⁿ    (17)

其中I_a为环境光的光强，K_a为物体对环境光的反射系数，I_p为入射光强，K_d是与物体有关的漫反射系数，0＜K_d＜1，K_s是与物体有关的镜面反射系数。物体表面上点P的法向为N，从点P指向光源的向量为L，视线方向为V，反射方向为R。

步骤103b：在确定了光照模型后，就可以根据人脸姿态三维的旋转角度值θ_x，θ_y，θ_z的区间和光源参数的区间，选取一定数量的θ_x，θ_y，θ_z值和光源参数值对，对特定人的人脸图像进行三维几何变换，利用光照模型合成光照条件下的图像，进行投影变换，将三维人脸投影到图像平面，并进行消隐，从而产生光照和姿态变化的人脸虚图象。

步骤104：利用虚图像进行变化限制分类器设计。

具体包括如下步骤：

步骤104a：预处理。在模式识别技术领域中，样本的预处理对于后面步骤中的分类器的性能十分重要。样本所具有的变化是否能体现真实样本的变化，采用的样本预处理方法是否能减小模式类内的变化，将直接影响分类器的性能。因此，基于对上述问题结果的最优化，本实施例中将人脸样本的特征矢量X_f经过预处理过程变换为X_Nor，采用如下的方法；

首先，对得到的虚图像进行特征点检测，特征点可以是指定的任意点，利用AdaBoost等算法进行人眼等特征点的检测。

AdaBoost算法是人脸检测的常用算法。它通过利用一些固定大小的包含人脸特征点样本和背景样本，训练产生一个能够识别特征点是否存在的分类器。然后通过在输入的人脸图像上进行窗口搜索，找到包含特征点窗口，从而确定特征点的位置。

然后，对特征点检测后的虚图像进行几何归一化：包括将人脸图像的主要器官位置矫正到标准位置，然后根据器官位置剪裁出人脸区域。人脸矫正的目的是将人脸的主要器官矫正到指定位置，减小样本间的尺度、平移和平面旋转差异。矫正的方法是对图像进行二维仿射变换(平移、放缩和旋转)将标定的器官位置变换到定义的标准位置。剪裁的目的是使人脸样本尽量少地引入背景干扰，使人脸样本的器官位置具有一致性。

最后，对几何归一化处理后的虚图像进行灰度归一化：由于外界光照、成像设备等因素可能导致人脸图像亮度或对比度异常，出现强阴影或反光等情况。所以还需要对几何归一化后的人脸样本进行灰度均衡化处理，改善其灰度分布，增强模式间的一致性。虽然目前的灰度预处理方式都不可能从根本上解决光照、姿态问题，但是它仍然在很大程度上改善了识别算法的性能。常用的图像灰度均衡化方法包括灰度直方图均衡、照度平面修正和灰度均值、方差归一化等。

步骤104b：特征抽取和压缩。虚图像中的特征进行抽取，是人脸识别中非常关键的环节。常用的特征有灰度特征、边缘特征、小波特征、Gabor特征等。本发明实施例以Gabor特征为例。

在获得长度为L的初始特征矢量X_f后，可以进一步进行特征压缩，从中抽取具有鉴别能力的特征，例如利用前述中的PCA、LDA或两者相结合，同时改善特征的分布，降低特征的维数，从而提高系统的识别性能。

步骤104c：利用虚图像进行分类器设计，这有很多方法可以实现，常用的有最小欧氏距离和二次分类器等方法。

在传统的人脸识别中，面对的都是小样本问题，即在少量甚至只有一张模板图像下的识别问题。如果按传统的单模板或少量模板的情况进行分类器设计，即不能利用大量虚样本所提供的信息，也不能避免虚图像所造成的缺陷，有可能会造成识别性能的下降，因此，本发明实施例在二次分类器的基础上，提出一类基于虚图像特点的变化限制分类器(VCC，VariationConscious Classifier)及其一种特殊形式变化限制修正二次鉴别函数分类器(VC-MQDF)。

迄今为止，贝叶斯(Bayesian)决策理论是分类器设计的理论基础，并获得了广泛的应用，也取得了较好的识别性能，成为人脸识别中分类器设计的主流方法。贝叶斯决策理论指出：设样本X_f属于N个模式类别C＝{c₁，c₂，...，c_N}之一，如果已知X_f属于类别c_j，1≤j≤N的后验概率为p(c_j/X_f)，那么执行如下的判决规则将实现最小错误意义上的最优分类：

$c^{*}=\arg \underset{c_j\∈C}{\max }p(c_j/X_f)---\left(18\right)$

其中c^*∈C是分类结果。通常后验概率p(c_j/X_f )由类别的先验概率P(c_j)和类条件概率密度p(X_f/c_j)来表示，则式(18)成为：

$c^{*}=\arg \underset{c_j\∈C}{\max }P\left(c_j\right)p(X_f/c_j)---\left(19\right)$

假设各人脸类别的先验概率相等，即P(c_j)＝P(c_i)1≤i，j≤N，则最大后验概率变为最大类条件概率密度准则：

$c^{*}=\arg \underset{c_j\∈C}{\max }p(X_f/c_j)---\left(20\right)$

实际应用中，类条件概率密度的函数形式和参数通常都是未知的。为了实现贝叶斯决策，分类器设计的一种方式是利用训练样本对类条件概率密度进行估计，即估计类条件概率密度的函数形式及参数。但目前在有限数量的训练样本上尚难以通过统计方法得到类条件概率的函数形式，因此该函数形式通常由经验方法预先给定。采用不同方法对p(X_f/c_j)进行建模，就得到不同形式的鉴别函数和对应的分类器。下面介绍一些常用的方法。

目前的人脸识别基本都是在小样本情况下进行的。如果假设每个类别都具有高斯分布，就可以得到式(21)的二次鉴别函数分类器：

$c^{*}=\arg \underset{c_j\∈C}{\max }{g}_j\left(X_f\right)---\left(21\right)$

其中 $g_j\left(X_f\right)={(X_f-{\mathrm{\μ}}_j)}^T{\mathrm{\Σ}}_j^{-1}(X_f-{\mathrm{\μ}}_j)+\log \left|{\mathrm{\Σ}}_j\right|$

μ_j为类c_j的均值，Σ_j是类c_j的协方差矩阵。

如果每类的协方差矩阵都相等，类内各特征间相互独立，具有相等的方差。此时式(21)的分类器变为最小距离分类器(MDC)：

$c^{*}=\arg \underset{c_j\∈C}{\min }\left|\right|X_f-{\mathrm{\μ}}_j\left|\right|---\left(22\right)$

其中，μ_j为类c_j的均值，所以在小样本情况下只需要估计类均值即可。

对本发明实施例中在光照、旋转变化因素V的作用下所产生的大量虚图像，类条件概率分布普遍存在着多峰和非对称等现象，难以用简单的高斯分布来有效地描述，而且当拥有大量样本时，估计随机变量的高阶距成为可能。基于这个考虑，本发明实施例设计了在旋转变化变化因素V限制下的分类器，以更好地描述人脸特征的类条件概率分布，称为变化限制分类器(Variation Conscious Classifier，简称VCC)。

如果在估计类条件概率密度的时候，考虑变化因素的存在。此时，(20)式的最大条件概率分类器为：

$c^{*}=\arg \underset{c_j\∈C}{\max }p(X_f/c_j)=\arg \underset{c_j\∈C}{\max }\underset{m=1}{\overset{M}{\mathrm{\Σ}}}P\left(v_m\right)p(X_f/c_j,v_m)---\left(23\right)$

其中M为变化因素的阶数。

在此将变化因素进行了离散化，在实际中，变化都是连续的，比如姿态变化，严格来说，(23)式中的求和应当是积分，在此为了简化，采用了离散化处理，称之为离散变化(DV，DicreteVariation)。其中P(v_m)1≤m≤M为变化因素的先验概率，在本发明实施例中假设先验概率相等，则上式为：

$c^{*}=\arg \underset{c_j\∈C}{\max }\underset{m=1}{\overset{M}{\mathrm{\Σ}}}p(X_f/c_j,v_m)---\left(24\right)$

采用不同方法对p(X_f/c_j，v_m)进行建模，就得到不同形式的变化限制分类器。确定鉴别函数的形式后，就可以利用虚图象进行分类器训练，估计分类器的参数。训练完成后可以根据鉴别函数，代入进行(24)式识别。

利用所述进行特征抽取和压缩处理后的虚图像进行分类器参数的估计，从而完成变化限制分类器设计。

如果采用修正二次鉴别函数分类器(MQDF)分类器作为鉴别函数，可以得到一种DV-MQDF分类器。形式为：

式中μ_i，m为类c_j在变化因素v_m作用下的分布均值，Σ_i，m为类c_j在变化因素v_m作用下的分布的协方差矩阵，Σ_i，m的特征对为(λ_i，_i)，h²和k为常数。本实施例中h²取所有类别的第k+1个本征值估计量

的均值，k通过实验确定。

估计(25)式的参数可以采用现有的估计样本均值、协方差的方法，并进行特征值分解来进行。

步骤105：输入待识别的二维人脸图像，进行抽取和压缩处理，然后将抽取和压缩处理后的特征输入到变化限制分类器中，输出分类结果，最后实现了对二维人脸图像的识别。由于分类结果与人脸的一一对应关系，所以，实现了人脸身份的识别。

实施例2

本实施例以两个人脸数据库为例，说明本发明中的二维人脸图像识别的过程。

人脸数据库一为CMU PIE人脸库的一个子集，包含67个人的脸部图像，每人有8个姿态。使用一张正面人脸图象进行注册。该数据库为二维图像数据库，用于注册阶段的数据输入。

人脸数据库二为来源于488个中国人的三维人脸数据库，是通过三维扫描仪获取的，进行预处理后可以根据实施例1步骤101中的建立人脸三维形变模型。接下来的流程具体实施时分为训练、注册、识别三个阶段，如图6、图7和图8所示，具体流程介绍如下：

步骤201：训练阶段。

对于输入的正面人脸首先自动检测人脸区域。

对人脸区域，进行平面旋转的矫正和尺度、灰度归一化以后，得到180×280大小的人脸。进行三维人脸重建得到特定人的人脸三维图像。

然后根据人脸三维图像在θ_x[-45°，45°]和θ_y[-90°，90°]区间范围内，采用正投影模型，生成随姿态变化的虚图像。

对虚图像提取Gabor特征，通过先训练PCA投影子空间，得到PCA投影矩阵，存储PCA投影矩阵，然后用压缩后的特征训练LDA投影子空间，得到LDA投影矩阵，与PCA投影矩阵相乘，得到总的特征压缩矩阵，存储这个压缩矩阵以便后面阶段进行特征压缩。

PCA与上述实施例1中一样，LDA是一种常用的有监督的线性降维方法，它寻找一个线性子空间，以使得样本在该子空间上投影的类内散布紧密、类间散布分散。以人脸图像为例，具体做法如下：首先将所有的两维人脸图像按照行序或者列序排列成列向量的形式x_ii＝1，2，...，N。这样一幅图像对应了高维空间中的一个样本。假设这些样本共分为c类，每类有N_i个样本，则有：

总均值 $m=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i$

各类均值 $m_i=\frac{1}{N_i}\underset{x_j\∈X_i}{\mathrm{\Σ}}{x}_j(i=\mathrm{1,2},\·\·\·c)---\left(26\right)$

类内散布矩阵 $S_w=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{x_j\∈X_i}{\mathrm{\Σ}}(x_j-m_i){(x_j-m_i)}^T$

类间散布矩阵 $S_b=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{N}_i(m_i-m){(m_i-m)}^T$

构成LDA子空间的基 $W_{\mathrm{LDA}}=\underset{W}{\arg \max }\frac{\left|W^T{S}_{b}W\right|}{{|W}^T{S}_{w}W|}=[w_1,w_2,...,w_m]$ 可由以下广义特征值分解得到：

S_bw_i＝λ_iS_wW_i    (27)

步骤202：注册阶段。

对于输入的含人脸图像，首先检测人脸区域。

对人脸区域，进行平面旋转的矫正和尺度、灰度归一化以后得到X_Nor，进行三维人脸重建得到特定人的三维人脸。

然后用训练阶段同样的方法，根据人脸三维图像在θ_x[-45，45]和θ_y[-90，90]区间范围内，采用正投影模型生成姿态变化的虚图像。

对虚图像提取Gabor特征X_Gab，用前面训练得到的特征压缩矩阵进行特征压缩，然后用得到的X_f训练身份的DV-MQDF分类器。

步骤203：识别阶段。

对于输入的含人脸图像，对人脸区域进行平面旋转的矫正和尺度、灰度归一化以后得到X_Nor，提取Gabor特征X_Gab，然后进行特征压缩，最后用DV-MQDF分类器对得到的X_f进行分类识别。

在实施例中，采用本方法对8个姿态的人脸进行识别，分别是c05(左转22.5°)、c37(左转45°)、c02(左转67.5°)、c29(右转22.5°)、c11(右转45°)、c14(右转67.5°)、c09(低头)、c07(抬头)。分别达到了70％，94％，100％，100％，95％，68％的首选识别率。

本发明实施例，通过对正面人脸特征点自动进行检测，使得重建过程完全自动化；利用该三维人脸重建算法得到充分的不同姿态下的虚拟人脸图像，从而在仅有一张正面标准人脸图像的情况下使得下一步的训练、识别过程可以实施；通过在训练阶段使用变化模拟方法生成姿态和光照变化的虚图象，增加学习到的样本变化情况，以提高图像的姿态和光照与样本发生变化时的识别率，并且避免在测试阶段进行费时的姿态校正；通过对虚图像设计变化限制分类器，可以获得很高的识别率，在训练过程利用虚图像，不需要在识别阶段进行姿态的校正，从而使得识别过程速度有很大提高。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种二维人脸图像的识别方法，其特征在于，所述方法包括：

根据已知三维人脸数据库，建立三维人脸形变模型；

输入二维人脸图像进行注册，利用所述三维人脸形变模型，对所述注册后的二维人脸图像进行三维重建，得到对所述注册的二维人脸图像的三维重建结果；

通过建立光照模型，从所述三维重建结果中生成姿态、光照变化的虚图像；

利用所述虚图像进行变化限制分类器设计；

输入待识别的二维人脸图像，进行特征提取和压缩处理，然后将所述抽取和压缩处理后的特征输入到所述变化限制分类器中，输出分类结果，最后实现了对人脸图像的识别。

2.根据权利要求1所述的二维人脸图像的识别方法，其特征在于，所述通过建立光照模型，从所述三维重建结果生成姿态、光照变化的虚图像的步骤，具体包括：

制定光照模型，获得人脸姿态旋转角度值的区间和光源参数值对的区间；

根据所述人脸姿态旋转角度值的区间和光源参数值对的区间，选取至少一个人脸姿态旋转角度值和光源参数值对；

根据所述人脸姿态旋转角度值和光源参数值对，对所述三维重建结果进行三维几何变换；

利用所述光照模型，在光照条件下，合成所述三维几何变换后的图像，并进行投影变换；

对所述投影变换后的图像进行消隐处理，生成姿态、光照变化的虚图象。

3.根据权利要求1所述的二维人脸图像的识别方法，其特征在于，所述利用所述虚图像进行变化限制分类器设计的步骤，具体包括：

执行 $c^{*}=\arg \underset{c_j\∈C}{\max }p(c_j/X_f)$ 实现最优分类，其中，样本X_f属于N个模式类别C＝{c₁，c₂，…，c_N}之一，c^*∈C为分类结果，p(c_j/X_f)为后验概率；

执行 $c^{*}=\arg \underset{c_j\∈C}{\max }P\left(c_j\right)p(X_f/c_j)$ 实现后验概率p(c_j/X_f)由类别先验概率P(c_j)和类条件概率密度p(X_f/c_j)来表示；

执行 $c^{*}=\arg \underset{c_j\∈C}{\max }p(X_f/c_j)=\arg \underset{c_{j}C}{\max }\underset{m=1}{\overset{M}{\mathrm{\Σ}}}P\left(v_m\right)p(X_f/c_j,v_m)$

得到最大条件概率分类器，其中，P(v_m)1≤m≤M为变化因素的先验概率，M为变化因素的阶数；

利用所述虚图像进行分类器参数的估计，完成变化限制分类器设计。

4.根据权利要求1所述的二维人脸图像的识别方法，其特征在于，所述利用所述虚图像进行变化限制分类器设计的步骤，还包括：

执行

得到一种离散变化的修正二次鉴别函数分类器，其中，μ_i，m为类c_j在变化因素v_m作用下的分布均值，Σ_i，m为类c_j在变化因素v_m作用下的分布的协方差矩阵，Σ_i，m的特征对为(λ_i，_i)，h²和k为通过实验确定的参数。

Images