CN101561874A - 一种人脸图像识别的方法 - Google Patents

Abstract

本发明实施例公开了一种人脸图像识别的方法，包括：对预设的数据库中的二维人脸图像进行精确定位；根据预设的三维人脸形状模型以及对所述二维人脸图像的精确定位结果，对所述二维人脸图像进行三维重建，得到三维人脸图像；对所述三维人脸图像进行光照模型处理，得到姿态、光照变化的虚图像；对所述虚图像进行分类处理，得到分类结果，将所述分类结果作为预设的分类结果；利用所述预设的分类结果，对待识别的二维人脸图像进行识别。本发明实施例通过对二维人脸图像进行三维重建和光照模型处理生成虚图像，增加了图像的姿态和光照变化的样本空间，同时三维重建速度有很大的提高，使人脸图像的识别具有更高的效率和识别率。

Description

一种人脸图像识别的方法

技术领域

本发明涉及计算机视觉和模式识别领域，特别涉及一种人脸图像识别的方法。

背景技术

人脸识别系统以人脸识别技术为核心，是一项新兴的生物识别技术，是当今国际科技领域攻关的高精尖技术。人脸因具有不可复制、采集方便、不需要被拍者的配合，使得人脸识别系统具有广泛的应用。

虽然对人脸图像识别的研究持续了数十年，但时至今日，它依然是模式识别领域中一个极具挑战性的问题。人脸识别方法还有一系列难以解决的问题，例如当人脸姿态、表情以及环境光照(PIE，Pose Illumination Expression)发生较大变化的时候，识别率将急剧下降。如何解决人脸在不同姿态、光照和表情条件下的识别问题，仍然是当前研究的热点。

对于姿态和光照变化的人脸识别问题，采用传统的方法，必须获得足够多的不同姿态和光照条件下用于学习的人脸训练图像，然而在很多情况下，这些图像并不容易获得。

为了实现不依赖姿态和环境光照的人脸识别，现有技术中提出下述方法：

第一类是姿态不变特征提取方法，这类方法通过提取能够克服姿态变化的特征来解决姿态变化的识别问题；第二类是基于多视角人脸图像的解决方法，比如将传统子空间方法扩展到多视角子空间；第三类是基于人脸三维模型的方法，在Blanz提出三维人脸建模方法之后，基于人脸三维模型生成人脸各个姿态虚图像(Virtual Image)的方法在解决姿态问题中取得了较好的成果。

但是现有技术也存在很多的缺点，姿态不变特征提取方法的主要缺点是提取姿态不变的特征比较困难；基于多视角人脸图像的解决方法，其主要缺点是很难将人脸的姿态绝对划分开，并且错误的姿态估计会降低人脸识别性能；而基于人脸三维模型的方法，虽然能较好的解决姿态问题，但还存在很多困难，比如计算量大、速度慢和恢复精度差，并且需要手工定位特征点用于初始化。

发明内容

为了实现自动化和快速准确的人脸识别，并在识别过程中，克服图像姿态和光照变化的影响，提高计算速度，本发明实施例提供了一种人脸图像识别的方法，包括：

对预设的数据库中的二维人脸图像进行精确定位；

根据预设的三维人脸形状模型以及对所述二维人脸图像的精确定位结果，对所述二维人脸图像进行三维重建，得到三维人脸图像；

对所述三维人脸图像进行光照模型处理，得到姿态、光照变化的虚图像；

对所述虚图像进行分类处理，得到分类结果，将所述分类结果作为预设的分类结果；

利用所述预设的分类结果，对待识别的二维人脸图像进行识别。

本发明实施例通过对二维人脸图像进行三维重建和光照模型处理，得到不同姿态的人脸虚图像，从而在仅有一张标准人脸图像的情况下，使用变化模拟方法生成姿态和光照变化的虚图像，增加了图像的姿态和光照变化的样本空间，通过对虚图像设计分类器，可以使人脸图像的识别具有很高的识别率。

附图说明

图1为本发明实施例1提供的一种人脸图像识别的方法的流程图；

图2为本发明实施例1提供的姿态向左的二维人脸形状模型；

图3为本发明实施例1提供的正面的二维人脸形状模型；

图4为本发明实施例2提供的一种人脸图像识别的方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例1

本发明实施例提供了一种人脸图像识别的方法，该方法对数据库中的二维人脸图像进行多子空间的形状建模，得到二维人脸形状模型；对二维人脸图像进行局部纹理建模，得到二维人脸局部纹理模型；根据二维人脸形状模型和局部纹理模型，对二维人脸图像进行精确定位；根据预设的三维人脸形状模型以及对二维人脸图像的精确定位结果，对二维人脸图像进行三维重建，得到三维人脸图像；对三维人脸图像进行光照模型处理，得到姿态、光照变化的虚图像，从而增加了图像的姿态和光照变化的样本空间，能够克服图像识别过程中姿态和光照变化的影响。对得到的虚图像进行特征提取并进行分类处理，利用分类结果进行人脸图像的识别，提高了人脸图像识别的效率。如图1所示，本实施例包括：

101：根据三维人脸数据库建立三维人脸形状模型。

本实施例中的三维人脸数据库取自200个欧洲人的三维人脸数据，每个三维人脸数据包含十万左右个顶点，每个顶点的坐标数据(x，y，z)和纹理颜色数据(R，G，B)已知。建立三维人脸形状模型包括：

101a：从三维人脸数据库中，获取所有三维人脸的顶点坐标(x，y，z)和纹理(R，G，B)等原始数据，并对原始数据进行量化处理。

具体的，获取原始数据可以利用多种方法，例如采用三维扫描仪采集或采用二维图像重构，本实施例中采用三维扫描仪扫描得到原始数据，得到原始数据后，将其中的模拟量进行量化处理转化为数字量。

101b：对三维人脸数据进行预处理，去除人脸以外的部分，分离出三维人脸图像数据。

具体的，可以采取三维人脸图像数据分离的方法，将人脸图像区域从整个头部扫描数据中分离出来，即去除头发、肩部等部位。分离人脸图像区域先要确定分割边界，然后根据分割边界将人脸图像区域数据从原始数据中分离出来。

101c：根据分离出来的三维人脸图像数据，建立人脸图像的对应关系。

对所有的三维人脸图像进行点对点的配准，建立高密度的顶点对应关系，即同一个下标的顶点表示的语意相同，比如第1000号顶点对于所有的三维人脸图像都是鼻尖。

101d：建立三维人脸形状模型。具体如下：

1)将预处理后三维人脸图像数据的所有顶点的坐标值依次排列，作为形状向量。得到的形状向量如下：

S_i＝(x_i ¹，y_i ¹，z_i ¹，...，x_i ⁿ，y_i ⁿ，z_i ⁿ)^T    (1)

其中i表示第i个人脸数据，n表示模型的顶点数。

2)对获得的形状向量进行主分量分析(PCA，Principal component analysis)，得到形状向量均值和特征向量。

主分量分析是一种常用的无监督的线性降维方法，它寻找一个线性子空间，以使得样本在该子空间投影的协方差尽可能地大。进行主分量分析是为了得到一个更为紧凑的参数表示，假设数据库中共有N个三维人脸数据，主分量分析的具体方法如下：

计算三维人脸图像数据的形状向量均值： $\stackrel{\‾}{s}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{S}_i---\left(2\right)$

以及协方差矩阵： $C_x=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(S_i-\stackrel{\‾}{s}){(S_i-\stackrel{\‾}{s})}^T$

从而可以得到：C_xs_j＝λ_js_j    j＝1，2，...，m_s    (3)

分解(3)式即得到特征向量s_j。

3)根据形状向量均值和特征向量构建三维人脸形状模型： $S_{\mathrm{mod}}=\stackrel{\‾}{s}+\underset{j=1}{\overset{M_s}{\mathrm{\Σ}}}{\mathrm{\α}}_j{s}_j---\left(4\right)$

其中，α_j为第j个形状系数，M_s为截取的形状主元个数，通过变化系数α_j，将形状特征向量分别按照不同的系数进行线性组合，就能够得到不同形状的三维人脸。

由于不同三维人脸的几何点数量不一定相同，因此需要建立稠密的点对应关系，并通过插值等方法将不同人脸的几何点数规格化为相同的数量，建立点对应关系时可以使用光流方法或者标记锚点的方法。

在本发明实施例中，当三维人脸图像数据满足正态分布时，经过(3)式的正交变换后的形变参数满足下式的分布：

$P\left(\stackrel{\→}{\mathrm{\α}}\right)~\exp [-\frac{1}{2}\left(\underset{i=1}{\overset{M_S}{\mathrm{\Σ}}}({\mathrm{\α}}_i^2/{\mathrm{\σ}}_i)\right)]$

               (5)

$P\left(\stackrel{\→}{\mathrm{\β}}\right)~\exp [-\frac{1}{2}\left(\underset{i=1}{\overset{M_T}{\mathrm{\Σ}}}({\mathrm{\β}}_i^2/{\mathrm{\λ}}_i)\right)]$

即建立的三维模型中的形变参数不是任意变化，而是服从该概率分布的，从而避免了畸变人脸的产生，将生成的三维人脸模型作为预设的三维人脸模型，以便于在后续的三维人脸重建中进行使用。

102：对数据库中的二维人脸图像进行多子空间的形状建模，得到二维人脸形状模型。

本实施例中的二维人脸数据库取自2000个欧洲人和亚洲人的二维人脸数据，包含纹理数据(R，G，B)以及人脸的姿态、表情和光照变化等数据。建立二维人脸形状模型包括：

102a：对数据库中的二维人脸图像按照姿态进行划分；对每种姿态的人脸图像进行特征点的标定，获取特征点的坐标值；利用特征点的坐标值构建相应姿态下的二维人脸图像的形状向量。

具体的，将二维人脸图像按照姿态分为向左，向右，向上，向下和正面五种，以姿态向左的人脸图像为例，假设数据库中姿态向左的二维人脸数据共有N个，标定该姿态的所有人脸的88(也可以是88以外的数值)个特征点，获取特征点的坐标(x，y)作为原始数据，并对原始数据进行量化处理，得到人脸的形状向量。

其中，标定特征点的方法可以有多种，常用方法为手工标注法，本实施例采用半自动交互式的手工标注方法，半自动标注不同于手工标注，不用对每个点都手工标注，而是通过拉拽等方式，标定人脸的特征点，可以使用相关的软件实现。

根据88个特征点的坐标构成人脸的形状向量：

X_i＝[x_i0，y_i0，x_i1，y_i1…x_ij，y_ij…x_i87，y_i87]^T    (6)

102b：对形状向量进行中心、尺度和方向的归一化。

在进行人脸图像的归一化处理时，通常以图像中的眼睛部分为基准点进行归一化处理。具体的，利用如下公式进行中心归一化：

$\left\{\begin{array}{c}{\stackrel{\‾}{x}}_i=\frac{1}{m}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{ij}}\\ {\stackrel{\‾}{y}}_i=\frac{1}{m}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{y}_{\mathrm{ij}}\end{array}\right.$ $\left\{\begin{array}{c}{x}_{\mathrm{ij}}=x_{\mathrm{ij}}-{\stackrel{\‾}{x}}_i\\ y_{\mathrm{ij}}=y_{\mathrm{ij}}-{\stackrel{\‾}{y}}_i\end{array}\right.$ $\∀j=1...m---\left(7\right)$

利用如下公式进行尺度归一化：

$\left|\right|S_i^{\′}\left|\right|=\sqrt{\underset{j=1}{\overset{m}{\mathrm{\Σ}}}(x_{\mathrm{ij}}^{\′2}+y_{\mathrm{ij}}^{\′2})}$ $\left\{\begin{array}{c}{x}_{\mathrm{ij}}^{\′\′}=x_{\mathrm{ij}}^{\′}/\left|\right|S_i^{\′}\left|\right|\\ y_{\mathrm{ij}}^{\′\′}=y_{\mathrm{ij}}^{\′}/\left|\right|S_i^{\′}\left|\right|\end{array}\right.$ $\∀j=1...m---\left(8\right)$

利用Procrust Analysis算法进行方向归一化，消除人脸的平面内旋转。

102c：对归一化后的所有形状向量进行主分量分析，根据主分量分析结果构建相应姿态的形状模型；由所有姿态的形状模型构建二维人脸形状模型。

对姿态向左的二维人脸数据的形状向量进行主分量分析，具体如下：

1)计算二维人脸数据的形状向量均值和协方差矩阵。

具体的，计算形状向量均值利用如下公式： $\stackrel{\‾}{X}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{X}_i---\left(9\right)$

计算协方差矩阵利用如下公式： $C_x=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(X_i-\stackrel{\‾}{X}){(X_i-\stackrel{\‾}{X})}^T---\left(10\right)$

2)根据主分量分析结果构建相应姿态的形状模型，由所有姿态的形状模型构建二维人脸形状模型。具体如下：

根据形状向量均值和协方差矩阵得到特征向量P，构建姿态向左的二维人脸的形状模型：X＝X+Pb，其中，b为PCA分析的形状参数。

具体的，如图2所示，以姿态向左的人脸图像的形状模型为例进行说明，通过设置不同的形状参数b可以得到不同的形状模型，使形状模型具有一定的变化范围。

相应的，如图3所示为正面人脸的形状模型。

对所有姿态的人脸图像分别进行形状建模，得到所有姿态的形状模型，形状建模方法同上，不再赘述。

进一步的，可以将任意一个人脸形状X表示为：X＝T_a(X+Pb)。其中a为几何参数，包括水平、垂直方向的平移向量X_t，Y_t，尺度向量S和角度向量θ。Ta表示形状的几何变化，如下式：

a＝(X_t，Y_t，s，θ)； $T_{X_t,Y_t,s,\mathrm{\θ}}\left(\begin{array}{c}x\\ y\end{array}\right)=\left(\begin{array}{c}{X}_t\\ Y_t\end{array}\right)+\left(\begin{array}{cc}s\cos \mathrm{\θ}& -s\sin \mathrm{\θ}\\ s\sin \mathrm{\θ}& s\cos \mathrm{\θ}\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)---\left(11\right)$

再一步的，由所有姿态的形状模型综合可得二维人脸形状模型。例如，用M_i，i＝1，2，3，4，5，分别对应向左，向右，向上和向下和正面五种姿态模型，i为姿态参数，对于每种姿态模型M_i，其均值向量表示为X_i，主分量分析的特征向量为P_i，综合得到的二维人脸形状模型为： $X=T_{a_i}({\stackrel{\‾}{X}}_i+P_i{b}_i).$

103：对二维人脸图像进行局部纹理建模，得到二维人脸局部纹理模型。具体包括：

在本实施例中使用鉴别式学习方法，分析每个特征点周围的纹理和附近其它点周围纹理的差异，用识别的方法来解决特征点的定位问题，使用点对比较特征与随机森林的特征选择方法相结合来进行局部纹理的描述。

具体的，本发明实施例提出的定位特征是点对比较特征，即图像中任意两个象素点灰度大小的比较。本实施例局部纹理建模是为每个特征点没计一个分类器，整个人脸共需设计88个分类器。以左眼角为例，选取预设范围内的任意选两个点p1，p2进行比较，具体的，预设范围可以是5×5的坐标范围，用I(p)表示像素点的灰度值，则分类器结果的数学公式可表示如下：

$h_n=\left\{\begin{array}{cc}1& \mathrm{ifI}\left(p_1\right)\≥I\left(p_2\right)\\ 0& \mathrm{otherwise}\end{array}\right.---\left(12\right)$

即当I(p1)≥I(p2)时，弱分类器的结果为1，否则弱分类器结果为0。对于一个32×32大小的图像块，任意选取两个点有C₁₀₂₄ ²种组合，弱分类器总数目约为520,000。

选取点对比较特征仅仅需要在原始灰度图像上任取两点比较灰度值的大小，不需要进行各种变换以及乘、除、开方等运算，因此这种特征具有稳定，计算快速的特点。其次，点对比较特征选取点的几何位置更加明确，在特征点的定位方面，比现有技术中Gabor特征、梯度特征或者Haar特征等有更好的表现。

但由于点对比特征数目很多，因此必须结合好的特征选择方法，本实施例使用的是随机森林方法，其基本思想是将很多弱分类器集成为一个强分类器。一个随机森林由N棵决策树构成，每颗决策树(如决策树T1 T2...TN)是一个决策树分类器，决策树的每个节点都是一个弱分类器，随机森林的决策结果是所有决策树分类结果的平均。在训练过程中，随机森林中的每棵决策树的不同之处在于训练样本集合，分别是从总样本集中随机选取的一个子集；而每棵决策树的训练方法相同，决策树在每个节点都选取当前分类效果最好的弱分类器。在分类过程中，以一个C类的分类问题为例，C类即输出C个置信度，每个置信度p(n，p)(f(p)＝c)表示了一个样本p属于第C类的概率，样本p通过每个决策树分类器Tn有C个输出结果，最后随机森林的判决基于所有决策树结果的平均，如下式所示。

104：根据二维人脸形状模型和局部纹理模型，对二维人脸图像进行精确定位。

具体的，对每个二维人脸图像的形状模型 $X=T_{a_i}({\stackrel{\‾}{X}}_i+P_i{b}_i)$ 进行优化，求出最优的姿态模型M_i，以及在该姿态模型下的最优的几何参数a_i和形状参数b_i，从而得到该二维人脸图像的最优的形状模型，根据最优形状模型，对该二维人脸图像进行精确定位。具体如下：

根据传统的参数优化算法的目标函数：

$(\hat{a},\hat{b})=\underset{a,b}{\min }{\left|\right|Y-T_a(\stackrel{\‾}{X}+\mathrm{Pb})\left|\right|}_2=\underset{a,b}{\min }{(Y-T_a(\stackrel{\‾}{X}+\mathrm{Pb}))}^T(Y-T_a(\stackrel{\‾}{X}+\mathrm{Pb}))---\left(14\right)$

加入姿态参数i，对优化算法进行改进，本实施例提出的优化算法的目标函数为：

本实施例提出的优化算法的目标函数(15)有三点区别于传统的目标函数(14)，首先，目标函数(15)将每个随机森林分类器输出的结果即矩阵W_i加入到优化目标之中，即第i个姿态模型M_i随机森林分类器得到的结果。其次，加入形状参数落在形状主分量分析的模型参数空间中较紧致的区域这一限制，加入限制项

来限制主分量分析的形状参数b_i。最后，对二维形状模型进行优化，根据最优的二维形状模型M_i，对二维人脸图像进行精确定位。通过优化目标函数，可使优化的模型参数更加接近期望值。

进一步的，本实施例提出的模型参数的优化算法的执行步骤如下：

1)对所有的姿态模型Mi，i∈{1，2，3，4，5}，进行初始化，通过人脸图像中的眼睛部分对不同姿态的二维人脸图形进行定位，并求出相应的几何参数a_i和形状参数b_i。

2)对选取的特征进行优化，选取形状模型中原特征点预设范围内的随机森林分类器输出概率最大的点作为新的特征点。具体的，预设范围可以选取5×5的坐标范围。

3)优化姿态的几何参数： ${\hat{a}}_i=\underset{a_i}{\min }{(Y-T_{a_i}({\stackrel{\‾}{X}}_i+P_i{b}_i))}^T{W}_i(Y-T_{a_i}({\stackrel{\‾}{X}}_i+P_i{b}_i)).---\left(16\right)$

4)优化形状参数： ${\hat{b}}_i=\underset{b_i}{\min }{(Y-T_{{\hat{a}}_i}({\stackrel{\‾}{X}}_i+P_i{b}_i))}^T{W}_i(Y-T_{{\hat{a}}_i}({\stackrel{\‾}{X}}_i+P_i{b}_i))+\underset{j=1}{\overset{t}{\mathrm{\Σ}}}{b_{\mathrm{ij}}}^2/{{\mathrm{\σ}}_j}^2.---\left(17\right)$

5)如果 $\left|\right|{\hat{a}}_i-a_i\left|\right|+\left|\right|{\hat{b}}_i-b_i\left|\right|<\mathrm{\&epsiv;},$ 则停止优化运算；否则，令 $a_i={\hat{a}}_i;b_i={\hat{b}}_i,$ 返回步骤2)。

6)比较每种姿态模型的最优特征点定位结果，选取使式(15)最小化的结果作为最优结果，得到最优姿态i及对应的a_i和b_i。

根据优化的参数构建最优的人脸形状模型，实现对每个二维人脸图像的精确定位。

105：根据三维人脸形状模型以及对二维人脸图像的精确定位结果，对二维人脸图像进行三维重建，得到三维人脸图像。具体如下：

105a：根据三维人脸形状模型以及对二维人脸图像的精确定位结果，对二维人脸图像进行二维形状重建，得到三维人脸的形状图像。

具体的，将101中得到的三维人脸形状模型与相应的二维人脸图像进行匹配得到形变参数α，对α进行优化处理，根据最优的形变参数α构建人脸图像的三维形状图像。

进一步的，根据人脸定位结果，获取最优模型中的特征点的坐标值x_i，代入(4)式，得到：

S(x_i)＝S(x_i)+P(x_i)·α^T                    (18)

其中，x_i∈{(x₁，y₁)…(x_l，y_l)}；1≤i≤l    (19)

在本实施例中，l＝88，故得到2l个方程。

根据最优化目标函数： $\min \underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}{{\mathrm{\&alpha;}}_j}^2/{{\mathrm{\&sigma;}}_j}^2---\left(20\right),$ 得到求解形变参数的最优化目标为：

$\underset{\mathrm{\&alpha;}}{\min }\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}{{\mathrm{\&alpha;}}_j}^2/{{\mathrm{\&sigma;}}_j}^2$ s.t.S(x_i)＝S(x_i)+P(x_i)·α^T    (21)

即以满足S(x_i)＝S(x_i)+P(x_i)·α^T为限制条件，对进行优化。

根据(21)式求解α即可得到最优的三维形状参数，将α代入公式(4)进行计算，即可得到人脸图像的三维形状图像 $S_{\mathrm{mod}}=\stackrel{\&OverBar;}{S}+\underset{j=1}{\overset{M_s}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_j{s}_j.$

105b：对三维人脸的形状图像进行三维几何变换，得到经三维几何变换的三维人脸形状图像。具体如下：

三维几何变换即将三维人脸形状图像中的特征点在空间中进行位置平移、缩放或旋转处理，用齐次坐标的形式，可以用矩阵乘法表示如下：

平移变换为： $\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ z^{\&prime;}\\ 1\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& t_x\\ 0& 1& 0& t_y\\ 0& 0& 1& t_z\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=\left[\begin{array}{c}x+t_x\\ y+t_y\\ z+t_z\\ 1\end{array}\right]---\left(22\right)$

其中x，y，z是平移前的三维点坐标，x′，y′，z′是平移后的点坐标，t_x，t_y，t_z是延X，Y，Z轴方向的平移。

缩放变换为： $\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ z^{\&prime;}\\ 1\end{array}\right]=\left[\begin{array}{cccc}{s}_x& 0& 0& 0\\ 0& s_y& 0& 0\\ 0& 0& s_z& 0\\ 0& 0& 0& 1\end{array}\right]=\left[\begin{array}{cccc}{s}_{x}x& 0& 0& 0\\ 0& s_{y}y& 0& 0\\ 0& 0& s_{z}z& 0\\ 0& 0& 0& 1\end{array}\right]---\left(23\right)$

其中s_x，s_y，s_z分别为x，y，z轴缩放比例。

绕坐标轴的旋转变换，右手坐标系下相对坐标原点绕坐标轴旋转θ角的变换：

绕X轴旋转： $\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ z^{\&prime;}\\ 1\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& \cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}& 0\\ 0& \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=R_X\left(\mathrm{\&theta;}\right)\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]---\left(24\right)$

绕Y轴旋转： $\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ z^{\&prime;}\\ 1\end{array}\right]=\left[\begin{array}{cccc}\cos \mathrm{\&theta;}& 0& \sin \mathrm{\&theta;}& 0\\ 0& 1& 0& 0\\ -\sin \mathrm{\&theta;}& 0& \cos \mathrm{\&theta;}& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=R_Y\left(\mathrm{\&theta;}\right)\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]---\left(25\right)$

绕Z轴旋转： $\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ z^{\&prime;}\\ 1\end{array}\right]=\left[\begin{array}{cccc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}& 0& 0\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=R_Z\left(\mathrm{\&theta;}\right)\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]---\left(26\right)$

由(23)-(27)式综合可得，三维几何变换的表达式为：

[x′y′z′]^T＝R(θ_x，θ_y，θ_z)·S(s_x，s_y，s_z)·[x y z]^T+M(t_x，t_y，t_z)    (27)

其中， $S(s_x.s_y,s_z)=\left[\begin{array}{ccc}{s}_x& 0& 0\\ 0& s_y& 0\\ 0& 0& s_z\end{array}\right]$ 为缩放矩阵；

$M(t_x,t_y,t_z)=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]$ 为平移矩阵；

R(θ_x，θ_y，θ_z)为旋转矩阵：

$R({\mathrm{\&theta;}}_x,{\mathrm{\&theta;}}_y,{\mathrm{\&theta;}}_z)=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos {\mathrm{\&theta;}}_x& -\sin \\ 0& \sin {\mathrm{\&theta;}}_x& \cos {\mathrm{\&theta;}}_x\end{array}{\mathrm{\&theta;}}_x\right]\left[\begin{array}{ccc}\cos {\mathrm{\&theta;}}_y& 0& \sin {\mathrm{\&theta;}}_y\\ 0& 1& 0\\ -\sin {\mathrm{\&theta;}}_y& 0& \cos {\mathrm{\&theta;}}_y\end{array}\right]\left[\begin{array}{ccc}\cos {\mathrm{\&theta;}}_z& -\sin {\mathrm{\&theta;}}_z& 0\\ \sin {\mathrm{\&theta;}}_z& \cos {\mathrm{\&theta;}}_z& 0\\ 0& 0& 1\end{array}\right]$

$=\left[\begin{array}{ccc}\cos {\mathrm{\&theta;}}_y\cos {\mathrm{\&theta;}}_z& -\cos {\mathrm{\&theta;}}_y\sin {\mathrm{\&theta;}}_z& \sin {\mathrm{\&theta;}}_y\\ \sin {\mathrm{\&theta;}}_x\sin {\mathrm{\&theta;}}_y\cos {\mathrm{\&theta;}}_z+{\cos \mathrm{\&theta;}}_x\sin {\mathrm{\&theta;}}_z& -\sin {\mathrm{\&theta;}}_x\sin {\mathrm{\&theta;}}_y\sin {\mathrm{\&theta;}}_z+\cos {\mathrm{\&theta;}}_x\cos {\mathrm{\&theta;}}_z& -\sin {\mathrm{\&theta;}}_x\cos {\mathrm{\&theta;}}_y\\ -{\cos \mathrm{\&theta;}}_x\sin {\mathrm{\&theta;}}_y\cos {\mathrm{\&theta;}}_z& \cos {\mathrm{\&theta;}}_x\sin {\mathrm{\&theta;}}_y\sin {\mathrm{\&theta;}}_z+\sin {\mathrm{\&theta;}}_x\cos {\mathrm{\&theta;}}_z& \cos {\mathrm{\&theta;}}_x\cos {\mathrm{\&theta;}}_y\end{array}\right]$

在(27)式中，[x y z]^T为旋转前的顶点坐标，[x′y′z′]^T为旋转后的顶点坐标，θ_x，θ_y，θ_z分别为绕x，y，z轴旋转的角度，由(27)式对104a中得到的三维人脸形状图象进行三维几何变换即得到经三维几何变换的三维人脸形状图像。

105c：将经三维几何变换的三维人脸形状图像，进行纹理映射，得到三维人脸的纹理图像。具体如下：

1)获取经几何变换的三维人脸形状图像上的特征点坐标值，对特征点的空间坐标进行投影变换，得到特征点在二维人脸图像上的投影坐标。

本实施例中，投影变换可以正平行投影。正平行投影的投影方向与观察坐标系的某个坐标轴方向平行，即投影方向与另外两个坐标轴组成的平面垂直。在正平行投影的观察坐标系中，例如按z方向投影，物体的投影图坐标便与它的z值无关，所以去掉z变量便是三维物体的二维投影。沿z方向正投影的变换可表示成：

$\left[\begin{array}{c}{x}_p\\ y_p\\ z_p\\ 1\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_0\\ y_0\\ z_0\\ 1\end{array}\right]=P_{\mathrm{zort}}\left[\begin{array}{c}{x}_0\\ y_0\\ z_0\\ 1\end{array}\right]---\left(28\right)$

对三维模型上的一个顶点[x y z]^T，经过几何变换后的坐标为[x′y′z′]^T。使用正投影模型可以得到该点在图像平面上的投影坐标为：

P_x′＝x′×(width/edge)+width/2  P_y′＝y′×(height/edge)+height/2    (29)

其中width为二维图象的宽度，height为二维图象的高度，edge为三维视区边界的长度。

2)将投影坐标上的二维人脸图像的像素值作为三维人脸图像上的对应点的纹理像素值，得到三维人脸的纹理图像。

三维人脸形状图像上的任意一点，其空间坐标为[x y z]^T，由(27)式和(29)式得到其在二维图像平面上的投影坐标为[P_x P_y]^T，将该坐标上的二维人脸图像的像素值作为三维人脸图像上对应点的纹理，从而得到三维人脸的纹理图像。

通过步骤105，完成了二维人脸图像的三维形状重建和纹理重建，得到了重建的三维人脸图像。

106：对三维人脸图像进行光照模型处理，得到姿态、光照变化的虚图像。具体如下：

106a：对上述105中得到的三维人脸图像，制定光照模型。

光照模型是一种数学模型，用来替代复杂的物理模型，用于模拟当光照射到物体表面时，反射、透射的光进入人的视觉系统，使人能看见物体的现象。在本发明实施例中可制定的光照模型有多种，以Phong光照模型为例，在Phong模型中，有三个分量：环境光、漫反射和镜面反射。由物体表面上一点P反射到视点的光强I为环境光的反射光强、理想漫反射光强和镜面反射光的总和，即：

I＝I_aK_a+I_pK_d(L·N)+I_pK_s(R·V)ⁿ    (30)

其中I_a为环境光的光强，K_a为物体对环境光的反射系数，I_p为入射光强，K_d是与物体有关的漫反射系数，0＜K_d＜1，K_s是与物体有关的镜面反射系数。物体表面上点P的法向为N，从点P指向光源的向量为L，视线方向为V，反射方向为R。

106b：根据预设的旋转角度值对三维人脸图像进行三维几何变换，得到姿态变化的三维人脸图像。

在确定了光照模型后，选取一定数量的表示人脸姿态三维的旋转角度值的θ_x，θ_y，θ_z值，对三维人脸图像进行三维几何变换。其中，旋转角度值可以在[-60°，60°]范围内，以5°至10°的变化值进行选取，具体变换过程参见104a中的三维几何变换过程，不再赘述。

106c：根据预设的光源参数值对姿态变化的三维人脸图像进行投影变换，得到姿态、光照变化的虚图像。

具体的，选取光源参数值，对经三维几何变换的三维人脸图像进行投影变换，具体的投影变换过程参见104b投影变换过程，不再赘述。将三维人脸投影到图像平面，并进行消隐处理，产生光照和姿态变化的人脸虚图象。

107：对上述生成的虚图像进行分类处理，得到分类结果，将该分类结果作为预设的分类结果。

具体的，对虚图像进行分类处理的过程具体如下：

1)对虚图像进行归一化处理，得到经归一化处理的虚图像。包括：

1a)根据三维人脸图像特征点的位置计算出虚图象中特征点的位置。

1b)对得到的虚图像进行几何归一化，通常以图像中的眼睛部分为基准点进行归一化处理，将人脸图像的主要器官位置矫正到标准位置，根据器官位置分离出人脸区域以避免背景干扰。人脸矫正的目的是将人脸的主要器官矫正到指定位置，减小图像间尺度、平移和平面旋转差异。矫正的方法可以是对图像进行二维仿射变换，包括平移、缩放和旋转。

1c)对几何归一化处理后的虚图像进行灰度归一化。

为避免外界光照、成像设备可能导致的图像对比度异常，本实施例对几何归一化后的人脸图像进行了灰度均衡化处理，改善其灰度分布，增强模式间的一致性。可以使用的图像灰度均衡化方法包括灰度直方图均衡、照度平面修正和灰度均值、方差归一化等。

2)对经归一化处理的虚图像提取特征并进行压缩处理，得到经压缩处理的特征。

具体的，对虚图像特征的提取，可以是灰度特征、边缘特征、小波特征、Gabor特征等。

在提取虚图像的特征后，利用主分量分析、线性判别分析或两者相结合的方法，对提取的特征进行压缩处理，得到经压缩处理的特征。

具体的，以Gabor特征为例，在获得长度为L的人脸图像的特征矢量X_f后，进行特征压缩，从中抽取具有鉴别能力的特征，同时改善特征的分布，降低特征的维数，从而提高系统的识别性能。具体如下：

利用主分量分析、线性判别分析(LDA，Linear discriminant analysis)或两者相结合的方法，对提取的Gabor特征进行压缩处理。

其中，LDA是一种常用的有监督的线性降维方法，它寻找一个线性子空间，以使得样本在该子空间上投影的类内散布紧密、类间散布分散。以人脸图像为例，具体做法如下：首先将所有的两维人脸图像按照行序或者列序排列成列向量的形式x_i i＝1，2，...，N。这样一幅图像对应了高维空间中的一个样本。假设这些样本共分为C类，每类有N_i个样本，则有：

总均值 $m=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{x}_i$

各类均值 $m_i=\frac{1}{N_i}\underset{x_j\&Element;X_i}{\mathrm{\&Sigma;}}{x}_j(i=\mathrm{1,2},...c)$

类内散布矩阵 $S_w=\underset{i=1}{\overset{c}{\mathrm{\&Sigma;}}}\underset{x_j\&Element;X_i}{\mathrm{\&Sigma;}}(x_j-m_i){(x_j-m_i)}^T$

类间散布矩阵 $S_b=\underset{i=1}{\overset{c}{\mathrm{\&Sigma;}}}{N}_i(m_i-m){(m_i-m)}^T$

得到线性判别分析的投影矩阵： $W_{\mathrm{LDA}}=\underset{W}{\arg \max }\frac{\left|W^T{S}_{b}W\right|}{\left|W^T{S}_{w}W\right|}=[w_1,w_2,...,w_m]---\left(31\right)$

构成LDA子空间的基可由以下广义特征值分解得到：S_bw_i＝λ_iS_ww_i。(32)

对二维人脸图像提取的Gabor特征，先训练主分量分析的投影子空间，得到主分量分析的投影矩阵，然后用提取的Gabor特征训练线性判别分析的投影子空间，得到线性判别分析的投影矩阵W_LDA，将两个投影矩阵相乘得到特征压缩矩阵，通过特征压缩矩阵对提取的Gabor特征进行压缩，得到经压缩处理的特征。

3)由经压缩处理的特征设计分类器。

贝叶斯(Bayesian)决策理论是分类器设计的理论基础和主流方法，根据贝叶斯决策理论，特征矢量X_f属于N个模式类别C＝{c₁，c₂，…，c_N}之一，如果已知X_f属于类别c_j，1≤j≤N的后验概率为p(c_j/X_f)，那么执行如下的判决规则将实现最小错误意义上的最优分类：

$c^{*}=\arg \underset{c_j\&Element;C}{\max }p(c_j/X_f)---\left(33\right)$

其中，c^*∈C是分类结果。通常后验概率p(c_j/X_f)由类别的先验概率P(c_j)和类条件概率密度p(X_f/c_j)来表示，则式(33)成为：

$c^{*}=\arg \underset{c_j\&Element;C}{\max }P\left(c_j\right)p(X_f/c_j)---\left(34\right)$

假设各人脸类别的先验概率相等，即P(c_j)＝P(c_i)1≤i，j≤N，则最大后验概率变为最大类条件概率密度准则：

$c^{*}=\arg \underset{c_j\&Element;C}{\max }p(X_f/c_j)---\left(35\right)$

实际应用中，类条件概率密度的函数形式和参数通常都是未知的。为了实现贝叶斯决策，分类器设计的一种方式是利用训练图像对类条件概率密度进行估计，即估计类条件概率密度的函数形式及参数。

采用不同方法对p(X_f/c_j)进行建模，就得到不同形式的鉴别函数和对应的分类器。

具体的，在人脸图像中，特殊矢量的类别通常具有高斯分布，当特殊矢量的类的协方差矩阵都相等，类内各特征矢量相互独立，具有相等的方差时，可以得到最小距离分类器： $c^{*}=\arg \underset{c_j\&Element;C}{\min }\left|\right|X_f-{\mathrm{\&mu;}}_j\left|\right|,$ 其中，μ_j为类c_j的均值。

根据分类器的设计原理可知，每一个特征经过分类器的分类处理，可以得到唯一的一个分类结果，因此，每一个人脸图像经过分类器的设计和训练，可以得到与之对应的分类结果。

对数据库中所有的二维人脸图像生成的虚图像提取特征并压缩，将经压缩处理的特征输入分类器，将得到的分类结果作为预设的分类结果。

108：利用上述预设的分类结果，对待识别的二维人脸图像进行识别。

具体的，在对数据库中的二维人脸图像进行特征的提取，并进一步得到预设的分类结果后，就能以该分类结果为标准，对待识别的二维人脸图像进行特征提取，并进一步得到分类结果，将得到的分类结果与预设的分类结果进行对比，就可以对待识别的二维人脸图像进行识别。

本发明实施例通过建立三维人脸形状模型、二维人脸形状模型和二维人脸局部纹理模型，对二维人脸图像进行精确定位，根据定位结果，对二维人脸图像进行三维重建，得到三维人脸图像，然后对三维人脸图像进行光照模型处理，得到姿态、光照变化的虚图像，从而增加了图像的姿态和光照变化的样本空间，能够克服图像识别过程中姿态和光照变化的影响，通过对虚图像设计分类器，可以使人脸图像的识别具有很高的识别率。

实施例2

本实施例提供了一种人脸识别方法，该方法通过获取待识别的二维人脸图像；从二维人脸图像提取特征；对提取的特征进行压缩处理，得到经压缩处理的特征；对经压缩处理的特征进行分类处理，得到分类结果；将分类结果与预设的分类结果进行匹配，根据匹配结果对待识别的人脸图像进行识别。如图4所示，本实施例包括：

401：获取待识别的二维人脸图像，并进行预处理。

具体的，对二维人脸图像的预处理包括：对人脸区域进行平面旋转的矫正和尺度、灰度的归一化，通常以图像中的眼睛部分为基准点进行归一化处理。归一化的方法与实施例1中的方法相同，不再赘述。

402：从二维人脸图像提取特征。

具体的，对预处理后的二维人脸图像特征的提取，可以是灰度特征、边缘特征、小波特征、Gabor特征等。

403：对提取的特征进行压缩处理，得到经压缩处理的特征。

具体的，特征压缩的方法与实施例1中107的方法相同，此处不再赘述。

404：对经压缩处理的特征进行分类处理，得到分类结果，将分类结果与预设的分类结果进行匹配，根据匹配结果对待识别的人脸图像进行识别。

对待识别的人脸图像提取特征并压缩，将经压缩处理的特征进行分类处理的方法与实施例1中107的方法相同，即将压缩的特征经过设计的分类器的进行分类处理，得到相应的分类结果。

将待识别的人脸图像的分类结果与实施例1中107的预设的分类结果进行匹配，根据匹配结果对待识别的人脸图像进行识别。

根据分类器的设计原理可知，每一个人脸图像经过分类器的设计和训练，可以得到与之对应的分类结果，根据分类器的输出结果就能对相应的人脸图像进行识别。

在本实施例中，对8个姿态的人脸进行识别，分别是c05(左转22.5°)、c37(左转45°)、c02(左转67.5°)、c29(右转22.5°)、c11(右转45°)、c14(右转67.5°)、c09(低头)、c07(抬头)，人脸图像识别的正确率分别达到了70％、94％、100％、100％、95％、68％、100％、100％。

本发明实施例通过对二维人脸图像进行三维重建和光照模型处理，得到不同姿态的人脸虚图像，从而在仅有一张标准人脸图像的情况下，使用变化模拟方法生成姿态和光照变化的虚图像，增加了图像的姿态和光照变化的样本空间，通过对虚图像设计分类器，可以使人脸图像的识别具有很高的识别率。

以上所述的实施例，只是本发明较优选的具体实施方式的一种，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (9)

1、一种人脸图像识别的方法，其特征在于，包括：

对预设的数据库中的二维人脸图像进行精确定位；

根据预设的三维人脸形状模型以及对所述二维人脸图像的精确定位结果，对所述二维人脸图像进行三维重建，得到三维人脸图像；

对所述三维人脸图像进行光照模型处理，得到姿态、光照变化的虚图像；

对所述虚图像进行分类处理，得到分类结果，将所述分类结果作为预设的分类结果；

利用所述预设的分类结果，对待识别的二维人脸图像进行识别。

2、如权利要求1所述的人脸图像识别的方法，其特征在于，所述利用所述预设的分类结果，对待识别的二维人脸图像进行识别，包括：

从所述待识别的二维人脸图像提取特征；

对所述提取的特征进行压缩处理，得到经压缩处理的特征；

对所述经压缩处理的特征进行分类处理，得到分类结果；

将所述分类结果与预设的分类结果进行匹配，根据匹配结果对所述待识别的人脸图像进行识别。

3、如权利要求1所述的人脸图像识别的方法，其特征在于，所述根据预设的三维人脸形状模型以及对所述二维人脸图像的精确定位结果，对所述二维人脸图像进行三维重建，得到三维人脸图像，包括：

根据预设的三维人脸形状模型以及对所述二维人脸图像的精确定位结果，对所述二维人脸图像进行三维形状重建，得到三维人脸的形状图像；

对所述三维人脸的形状图像进行三维几何变换，得到变换的三维人脸形状图像；

对所述变换的三维人脸形状图像进行纹理映射，得到三维人脸的纹理图像；

将所述变换的三维人脸形状图像和所述三维人脸的纹理图像相结合得到所述三维人脸图像。

4、如权利要求3所述的人脸图像识别的方法，其特征在于，所述对所述二维人脸图像进行三维形状重建，得到三维人脸的形状图像，包括：

将所述三维人脸形状模型与精确定位的二维人脸图像进行匹配，得到二维图像到三维模型的形变参数，对所述形变参数进行优化处理；

根据所述优化后的形变参数，对所述二维人脸图像进行三维形状重建，得到三维人脸的形状图像。

5、如权利要求3所述的人脸图像识别的方法，其特征在于，所述对所述三维人脸的形状图像进行三维几何变换，包括：

对所述三维人脸的形状图像中的特征点进行空间位置的平移、缩放或旋转变换处理。

6、如权利要求3所述的人脸图像识别的方法，其特征在于，所述对所述变换的三维人脸形状图像进行纹理映射，得到三维人脸的纹理图像，包括：

获取所述变换的三维人脸形状图像上的特征点的坐标，对所述特征点的空间坐标进行投影变换，得到所述特征点在二维人脸图像上的投影坐标；

获取所述投影坐标上的二维人脸图像的像素值，将所述像素值作为对应在所述变换的三维人脸形状图像上的特征点的纹理像素值，得到三维人脸的纹理图像。

7、如权利要求1所述的人脸图像识别的方法，其特征在于，对三维人脸图像进行光照模型处理，得到姿态、光照变化的虚图像，包括：

根据预设的旋转角度值对三维人脸图像进行三维几何变换，得到姿态变化的三维人脸图像；

根据预设的光源参数值对所述姿态变化三维人脸图像进行投影变换，得到所述姿态、光照变化的虚图像。

8、如权利要求1所述的人脸图像识别的方法，其特征在于，所述对所述虚图像进行分类处理，得到分类结果，包括：

对所述虚图像进行归一化处理，得到经归一化处理的虚图像；

从所述经归一化处理的虚图像提取特征；

对所述提取的特征进行压缩处理，得到经压缩处理的特征；

对所述经压缩处理的特征进行分类处理，得到分类结果。

9、如权利要求1所述的人脸图像识别的方法，其特征在于，所述根据预设的三维人脸形状模型以及对所述二维人脸图像的精确定位结果，对所述二维人脸图像进行三维重建之前，还包括：

获取三维人脸的图像数据；

利用所述三维人脸的图像数据，计算所述三维人脸图像数据的形状向量均值和特征向量；

根据所述形状向量均值和特征向量构建三维人脸形状模型，将所述三维人脸形状模型做为预设的三维人脸形状模型。

Images