CN102915436A - 基于类内变化字典和训练图像的稀疏表示人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于类内变化字典和训练图像的稀疏表示人脸识别方法，用于解决现有方法在小样本、光照不均、人脸遮挡和表情变化下的局限性问题，提高了人脸识别精度。该方法的实现步骤为：（1）对训练图像集合和测试人脸图像进行图像特征提取，形成训练图像矩阵和测试图像向量，并分别进行归一化处理；（2）从人脸数据库中统计相同人脸在不同外部环境影响下呈现出来的图像纹理差异，形成人脸的类内变化字典；（3）将测试图像表示成为训练图像矩阵和类内变化字典的线性组合，通过L1范数最小化准则求得最优稀疏表示系数；（4）求得原测试图像与由各类别训练图像和类内变化字典重构得到的重构图像的残差，代入类别判定公式得到识别结果。

Description

基于类内变化字典和训练图像的稀疏表示人脸识别方法

技术领域

本发明涉及一种人脸识别方法，确切地说，涉及一种基于类内变化字典和训练图像的稀疏表示人脸识别方法，属于计算机的图像处理和模式识别技术领域。

背景技术

人脸识别是利用计算机对人脸图像进行分析，从中提取有效的鉴别特征，实现身份认证的一种技术。与指纹、虹膜、掌纹等生物特征相比，利用人脸进行身份认证的优势是使用方便、成本低廉、操作隐蔽等。其应用场景十分广泛，例如公安监控、司法认证、民航安检、口岸出入控制、智能门禁等。

人脸识别系统通常包括人脸检测、特征提取和识别算法三个部分。传统的人脸识别技术的研究侧重于特征提取和识别算法，并已经形成了一些经典方法，例如，主成分分析、线性鉴别分析、弹性匹配、神经网络等。有一些识别算法在实验数据中取得了较好的效果，然而，在现实应用中，人脸识别方法仍然面临着下述诸多挑战：

（1）小样本问题：训练集合中的每个类别（人脸）仅有一个或几个训练图像，训练图像的单一性和测试图像的多态性就会导致识别精度较低。

（2）光照问题：光照的角度、强度和传感器的不同，都会导致同一人脸在不同环境下采集的人脸图像存在巨大差异。

（3）人脸遮挡和/或表情问题：墨镜、胡须、发型、化装等因素和/或喜怒哀乐悲恐惊等不同表情都会导致人脸图像模式的多样性。

上述多重因素的相互干扰和叠加，使得人脸识别技术成为一项极富挑战性的课题，因此，面向现实环境的人脸识别技术已经成为当前计算机图像处理和模式识别领域的研究热点。

2009年John Wright等人将压缩感知理论引入人脸识别技术的研究中，提出了基于稀疏表示的人脸识别方法，该方法开创性地指出：测试人脸图像一旦能够表示为训练图像的稀疏线性组合，则特征提取和识别算法将不再重要。基于稀疏表示的人脸识别方法为解决噪声、光照、遮挡、表情等人脸识别难题提供了全新的思路。但是，其高精度识别结果是在严格限定的条件下获得的：对于每个候选人脸图像，至少需要32个不同光照下的训练图像，才足以线性表示复杂环境下的光照。显然，在目前的大部分现实应用中，无法提供如此充分的训练数据，所以传统的基于稀疏表示的人脸识别方法在现实环境中的应用至今非常有限。因此，如何寻找更加简便、实用的基于稀疏表示的人脸识别方法，已经成为业内科技人员关注的焦点课题。

发明内容

有鉴于此，本发明的目的是提供一种基于类内变化字典和训练图像的稀疏表示人脸识别方法，利用类内变化字典和训练图像的稀疏表示来解决现有技术在人脸图像处于小样本、光照不均、人脸遮挡和表情变化情况时差异描述上的不足，并在降低对人脸训练图像数量需求的同时，提高光照、遮挡或表情等复杂环境下的人脸识别精度。

为了达到上述目的，本发明提供了一种基于类内变化字典和训练图像的稀疏表示人脸识别方法，其特征在于：所述方法包括下列操作步骤：

（1）对训练图像集合中的所有人脸图像进行特征提取，得到训练图像矩阵A：A=[A₁,A₂,...,A_i,...,A_k]，且

并对该训练图像矩阵A中的每一列进行归一化处理，使每一列向量的模都为1；式中，自然数下标i为人脸类别序号，其最大值为k；d₁和n分别为训练图像的维数和个数，且第i类训练人脸图像矩阵

其中的n_i为第i类训练人脸图像的个数，且R为实数集；

（2）对测试图像进行特征提取，得到测试图像向量

并对该测试图像向量y进行归一化处理；式中，d₂为测试图像的维数；

（3）从训练图像集合或其他开放人脸图像集合中获取用于描述相同类别人脸在不同环境因素下的类内变化，构成类内变化字典，即矩阵式中，d₃为类内变化字典的行数，且d₃与d₂、d₁的数值都相等；p为类内变化字典中描述设定的人脸图像变化的列数；

（4）用训练图像矩阵A和类内变化字典D线性表示测试图像向量

其表达式为：y=Ax+Dβ+z，式中，x和β分别为线性的稀疏系数，z为噪声项，且x∈R^n×1，β∈R^p×1，

（5）因稀疏系数x和β具有多值性，故采用基于L1范数最小化方法求解得到其最优稀疏系数

和

其目标函数为： $\left[\begin{array}{c}\hat{x}\\ \widehat{\mathrm{\β}}\end{array}\right]=\arg \min {\left|\right|\left[\begin{array}{c}x\\ \mathrm{\β}\end{array}\right]\left|\right|}_l,$ 且满足 ${\left|\right|[A,D]\left[\begin{array}{c}x\\ \mathrm{\β}\end{array}\right]-y\left|\right|}_2\≤\mathrm{\ϵ};$ 式中，ε为预设的误差，且最优稀疏系数 $\hat{x}=[x_1,x_2,\·\·\·x_t\·\·\·,x_n]\∈R^{n\×l}$ 和

其中，自然数下标t为最优稀疏系数序号，其最大值为n，该

中的第t个元素x_t是重构测试图像向量y时第t个训练图像的系数；

（6）分别保留最优稀疏系数

中与第i类训练图像相对应的系数，并将

中与第i类训练图像无关的系数全部置零，得到下述带通系数

${\mathrm{\δ}}_1\left(\hat{x}\right)={\left[\begin{array}{ccccccc}{x}_1,& x_2,& \·\·\·,& x_{n_1},& 0,& \·\·\·,& 0\end{array}\right]}^T,$

${\mathrm{\δ}}_i\left(\hat{x}\right)={\left[\begin{array}{cccccccccc}0,& \·\·\·,& 0,& x_{n_1+n_2+\·\·\·+n_{i-1}+1},& x_{n_1+n_2+\·\·\·+n_{i-1}+2},& \·\·\·,& x_{n_1+n_2+\·\·\·+n_{i-1}+n_i},& 0,& \·\·\·,& 0\end{array}\right]}^T,$

……

${\mathrm{\δ}}_k\left(\hat{x}\right)={\left[\begin{array}{ccccccc}0,& \·\·\·,& 0,& x_{n-n_k+1},& x_{n-n_k+2},& \·\·\·,& x_n\end{array}\right]}^T;$

（7）根据步骤（6）获得的带通系数，分别用每个类别的训练图像和类内变化字典对测试图像y进行重构，得到相应的重构图像向量q_i:

式中i=1,2，...,k；

（8）分别计算原测试图像向量y与重构图像向量q_i的残差r_i(y)、即两者差值的模：r_i(y)=‖y-q_i‖₂，式中i=1,2，...,k；残差越小表示重构图像与测试图像越近似或越相像；

（9）将该残差r_i(y)代入测试图像向量y的类别判定公式：Identity(y)=argmin_ir_i(y)，求解得到其中所有k个残差中的最小值，并将该最小残差所对应的类别序号作为最终的人脸识别结果Identity(y)。

本发明与现有方法相比较，具有以下优点：

本发明首创提出一种将测试图像表示为训练图像矩阵和类内变化字典的稀疏线性组合的方法。该类内变化字典用于描述同一人脸在光照、遮挡和/或表情变化时的图像纹理差异。通过补偿测试图像与其相同类别的训练图像之间的差异，类内变化字典可以提高人脸识别算法在表情、遮挡和/或光照变化环境下的识别精度。

另外，在每类训练图像较少或者每类只有单个训练图像的情况下，本发明首创提出的类内变化字典可从独立于训练图像集合的其他开放人脸图像集合中获取，为解决小样本和单样本情况下的人脸识别问题提供了一种全新思路。因为传统的稀疏表示方法只适用于样本充足的情况，基于该性能，本发明使得训练图像稀疏表示方法在小样本和单样本情况下同样能够获得较高的识别精度，因此该方法的推广应用前景看好。

附图说明

图1是本发明基于类内变化字典和训练图像的稀疏表示人脸识别方法示意图。

图2是本发明基于类内变化字典和训练图像的稀疏表示人脸识别方法操作步骤流程图。

图3是本发明实施例中采用的训练图像和测试图像样例的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

众所周知，人脸识别的核心问题是寻找出同一人脸的共性特征和差异特征，一旦能够有效刻画同一人脸的差异，就能实现复杂、真实环境下的高精度人脸识别。本发明旨在克服现有技术在人脸差异刻画上的不足，提供一种基于类内变化字典和训练图像的稀疏表示人脸识别方法。

类内变化是指同一人脸在不同外部环境下所呈现的差异。例如，某一人脸在佩戴墨镜时图像与其正常光照和表情下的图像的差异表现为墨镜。本发明首创的类内变化字典D用于描述每类人脸在包括不同光照和/或遮挡、和/或表情的复杂外部环境下所呈现的各种图像纹理差异的集合，以便能够设法找出同一人脸的差异特征。类内变化字典中的每一列描述人脸的一种设定的差异变化，也就是将某一个人脸在异常光照和/或遮挡、和/或表情的图像与其在正常光照和表情、且无遮挡的图像相减得到的差值（例如，将某一人脸在佩戴墨镜时的图像和其正常光照和表情下的图像做减法所得的结果即为墨镜；将某一人脸在异常光照下的图像和其正常光照和表情下的图像做减法时的结果就是某种特殊光照）。不同人脸的差异往往存在共性，因此一旦能够有效刻画同一人脸图像的差异，就能实现复杂、真实环境下的高精度人脸识别。分别用每个类别的训练图像矩阵和类内变化字典的线性组合得到重构图像，根据原测试图像与重构图像的残差来实现高精度的人脸识别。图1展示了本发明人脸识别方法的工作原理：即基于类内变化字典和训练图像的稀疏表示人脸识别方法。

参见图2，介绍本发明方法的具体操作步骤：

步骤1，对训练图像集合中的所有人脸图像进行特征提取，得到训练图像矩阵A：A=[A₁,A₂,...,A_i，...,A_k]，且

并对该训练图像矩阵A中的每一列进行归一化处理，使每一列向量的模都为1；式中，自然数下标i为人脸类别序号，其最大值为k；d₁和n分别为训练图像的维数和个数，且第i类训练人脸图像集合

其中的n_i为第i类训练人脸图像的个数，且R为实数集。

步骤2，对测试图像进行特征提取，得到测试图像向量并对该测试图像向量y进行归一化处理；式中，d₂为测试图像的维数。

步骤3，从训练图像集合或其他开放人脸图像集合中获取用于描述相同类别的人脸在不同环境因素下的类内变化，构成类内变化字典，即矩阵

式中，d₃为类内变化字典的行数，且d₃与d₂、d₁的数值都相等；p为类内变化字典中描述设定的人脸图像变化的列数。

该步骤使用其他开放人脸图像集合构建或获取类内变化字典时，若发生该人脸图像集合中的图像维数与训练图像维数d₁不相等的情况，则采用包括插值法的图像缩放方法，使得其他开放人脸图像集合中图像的维数等于训练图像的维数d₁，以保证类内变化字典的行数d₃与训练图像的维数d₁相等。

构建类内变化字典有下述两种方法：

第一种方法是求解得到用不同光照和/或遮挡、和/或表情的某个人脸图像减去其在所有环境中的平均图像所得到的差值向量的集合，其操作步骤如下：

（A1）从人脸数据库中随机选择与训练人脸不同的m个人，再对每个人选取w幅人脸图像，用于计算类内变化字典；还对每幅人脸图像进行特征提取，将每幅人脸图像表示成一个d₃维的列向量；

（A2）分别将每个人的w幅人脸图像标记为矩阵

再求解每个人的w幅图像的平均人脸图像

式中，自然数下标j为计算类内变化字典时的人脸类别序号，其最大值为m；矩阵D_j的第b列向量自然数下标b为矩阵D_j的列序号，其最大值为w；

（A3）从m个人的所有人脸图像中，计算得到人脸的类内变化字典D: $D=[D_1-c_1\×e_1,D_2-c_2\×e_2,\·\·\·,D_j-c_j\×e_j,\·\·\·,D_m-c_m\×e_m]\∈R^{d_3\×(w\×m)};$ 式中，c_j为列向量，e_j为全1的行向量，且e₁=e₂=…=e_j=…=e_m=[1,...,1]∈R^1×w，c_j×e_j是每列均为c_j且维数为d₃×w的矩阵，（D_j-c_j×e_j）表示矩阵D_j的每一列都减去其对应的平均人脸图像c_j；

（A4）采用上述方法得到类内变化字典的列数p=w×m；

（A5）对类内变化字典D中的每列元素进行归一化处理，使得每列元素的模值都为1。

第二种方法是求解得到同一人脸在包括不同光照和/或遮挡、和/或表情的各种环境下获取的不同图像之间每两个图像的差值向量集合，其操作步骤为：

（B1）从人脸数据库中随机选择与训练人脸不同的m个人，再对每个人选取w幅人脸图像，用于计算类内变化字典；还对每幅人脸图像进行特征提取，将每幅人脸图像表示成一个d₃维的列向量；

（B2）从每个人的w幅人脸图像中，任意选取其中两幅人脸图像，并计算这两幅人脸图像的差值向量，共完成

种选取和计算后，将所有差值向量组合成差异矩阵Q_j: $Q_j=[a_{j1}-a_{j2},a_{j1}-a_{j3},\·\·\·,a_{\mathrm{js}}-a_{j(s+1)},\·\·\·,a_{j(w-1)}-a_{\mathrm{jw}}]\∈R^{d_3\×[w(w-1)/2]};$ 式中，自然数下标j为计算类内变化字典时的人脸类别序号，其最大值为m；第j个人脸图像集合中的第s幅图像

且自然数序号s的最大值为w；

（B3）从m个人的所有人脸图像中，计算得到人脸的类内变化字典D：

$D=[Q_1,Q_2,...,Q_j,...,Q_m]\∈R^{d_3\×\{m\×[w(w-1)/2\left]\right\}};$

（B4）采用上述方法得到类内变化字典的列数

（B5）对类内变化字典D中的每列元素进行归一化处理，使得每列元素的模值都为1。

步骤4，用训练图像矩阵A和类内变化字典D的线性组合表示测试图像向量

得到的表达式为：y=Ax+Dβ+z，式中，x和β分别为线性的稀疏系数，z为噪声项，且x∈R^n×1，β∈R^p×1，

该步骤中，当测试图像的维数d₂与训练图像的维数d₁不相等时，使用包括插值法的图像缩放方法，使得测试图像的维数d₂与训练图像的维数d₁相等。

步骤5，因稀疏系数x和β具有多值性，故采用基于L1范数最小化方法求解得到其最优稀疏系数

和

其目标函数为： $\left[\begin{array}{c}\hat{x}\\ \widehat{\mathrm{\β}}\end{array}\right]=\arg \min {\left|\right|\left[\begin{array}{c}x\\ \mathrm{\β}\end{array}\right]\left|\right|}_l,$ 且满足 ${\left|\right|[A,D]\left[\begin{array}{c}x\\ \mathrm{\β}\end{array}\right]-y\left|\right|}_2\≤\mathrm{\ϵ};$ 式中，ε为预设的误差，且最优稀疏系数 $\hat{x}=[x_1,x_2,\·\·\·x_t\·\·\·,x_n]\∈R^{n\×l}$ 和

其中，自然数下标t为最优稀疏系数序号，其最大值为n，该

中的第t个元素x_t是重构测试图像向量y时第t个训练图像的系数。

步骤6，分别保留最优稀疏系数

中与第i类训练图像相对应的系数，并将

中与第i类训练图像无关的系数全部置零，得到下述带通系数

${\mathrm{\δ}}_1\left(\hat{x}\right)={\left[\begin{array}{ccccccc}{x}_1,& x_2,& \·\·\·,& x_{n_1},& 0,& \·\·\·,& 0\end{array}\right]}^T,$

${\mathrm{\δ}}_i\left(\hat{x}\right)={\left[\begin{array}{cccccccccc}0,& \·\·\·,& 0,& x_{n_1+n_2+\·\·\·+n_{i-1}+1},& x_{n_1+n_2+\·\·\·+n_{i-1}+2},& \·\·\·,& x_{n_1+n_2+\·\·\·+n_{i-1}+n_i},& 0,& \·\·\·,& 0\end{array}\right]}^T,$

……

${\mathrm{\δ}}_k\left(\hat{x}\right)={\left[\begin{array}{ccccccc}0,& \·\·\·,& 0,& x_{n-n_k+1},& x_{n-n_k+2},& \·\·\·,& x_n\end{array}\right]}^T;$

步骤7，根据步骤6获得的带通系数，分别用每个类别的训练图像和类内变化字典对测试图像y进行重构，得到相应的的重构图像向量q_i:

式中i=1,2，...,k；

步骤8，分别计算原测试图像向量y与重构图像向量q_i的残差r_i(y)、即两者差值的模：r_i(y)=‖y-q_i‖₂，式中i=1,2，...,k；残差越小表示重构图像与测试图像越近似或越相像；

步骤9，将该残差r_i(y)代入测试图像向量y的类别判定公式：Identity(y)=arg min_ir_i(y)，求解得到其中所有k个残差中的最小值，并将该最小残差所对应的类别序号作为最终的人脸识别结果Identity(y)。

本发明已经进行了多次实施试验，下面介绍实施例的仿真试验情况与效果：

参见图3，介绍本发明方法的仿真实施例的试验条件与内容：

仿真实施例的实验使用的人脸图像来自AR人脸数据库，该数据库包含126个人的4000多幅彩色图像，其中每个人的图像都涵盖表情、光照和遮挡的变化，该数据库分为两个部分（session 1和session 2），两者区别是session 2中的图像是在拍摄session 1之后的14天拍摄的。本发明实施例从AR人脸数据库（session1）中随机选择80个人，每个人选择其13幅图像，每幅图像的像素点阵为165×120（参见图3所示）。以每个人在正常表情和光照下的1幅图像作为训练图像，其他12幅图像全部作为测试图像。

仿真实验是首先提取每幅训练图像的灰度特征（19800维）和Gabor特征（10240维）。在获取图像的Gabor特征时，先将原始的165×120图像缩放成128×128像素，而后通过5个尺度加8个方向的40个Gabor滤波器获取响应特征，再将每个滤波器得到的响应特征进行比例为64的下采样，最后得到10240维（即40×16×16）的Gabor特征。然后，从训练图像以外随机选取20个人，每人13幅图像，以此计算类内变化字典。根据具体实施方式步骤3中的第一种方法构建类内变化字典。根据L1范数最小化方法求解测试图像向量y的最优稀疏表示系数

和

最后，分别计算原测试图像向量y和由不同类别训练样本和类内变化字典重构得到的重构图像向量q_i之间的残差r_i(y)=‖y-q_i‖₂，并根据残差大小判定测试图像所归属的类别，即残差越小表示重构图像与测试图像越接近或越相像。本仿真实验的软件平台为MATLAB7.0。

仿真实施例的实验比较了在常用的灰度特征和Gabor特征下，本发明方法和经典的基于稀疏表示SRC（Sparse Representation Classification）的人脸识别方法之间的错误率，实验结果如下表1所示。

表1两种方法在不同图像特征下的识别错误率对比

特征	图像维数	SRC方法识别错误率	本发明方法的识别错误率
				灰度	19800	40.31	10.63
Gabor	10240	22.71	5.00

从表1可以看出：本发明方法在两种常用图像特征下的识别错误率均显著低于现有方法。在灰度特征下，本发明方法可将经典SRC方法的错误率降低73.63%，即[(40.31-10.63)/40.31]×100%；在Gabor特征下，本发明方法可将经典SRC方法的错误率降低77.98%，即[(22.71-5.00)/22.71]×100%。可见，本发明方法的改进效果是非常显著的，具有很好的推广应用前景。

Claims (6)

1.一种基于类内变化字典和训练图像的稀疏表示人脸识别方法，其特征在于：所述方法包括下列操作步骤：

（1）对训练图像集合中的所有人脸图像进行特征提取，得到训练图像矩阵A：A=[A₁,A₂,...,A_i,...,A_k]，且

并对该训练图像矩阵A中的每一列进行归一化处理，使每一列向量的模都为1；式中，自然数下标i为人脸类别序号，其最大值为k；d₁和n分别为训练图像的维数和个数，且第i类训练人脸图像矩阵

其中的n_i为第i类训练人脸图像的个数，且

R为实数集；

（2）对测试图像进行特征提取，得到测试图像向量

并对该测试图像向量y进行归一化处理；式中，d₂为测试图像的维数；

（3）从训练图像集合或其他开放人脸图像集合中获取用于描述相同类别人脸在不同环境因素下的类内变化，构成类内变化字典，即矩阵

式中，d₃为类内变化字典的行数，且d₃与d₂、d₁的数值都相等；p为类内变化字典中描述设定的人脸图像变化的列数；

（4）用训练图像矩阵A和类内变化字典D线性表示测试图像向量

其表达式为：y=Ax+Dβ+z，式中，x和β分别为线性的稀疏系数，z为噪声项，且x∈R^n×1，β∈R^p×1，

（5）因稀疏系数x和β具有多值性，故采用基于L1范数最小化方法求解得到其最优稀疏系数

和

其目标函数为： $\left[\begin{array}{c}\hat{x}\\ \widehat{\mathrm{\β}}\end{array}\right]=\arg \min {\left|\right|\left[\begin{array}{c}x\\ \mathrm{\β}\end{array}\right]\left|\right|}_l,$ 且满足 ${\left|\right|[A,D]\left[\begin{array}{c}x\\ \mathrm{\β}\end{array}\right]-y\left|\right|}_2\≤\mathrm{\ϵ};$ 式中，ε为预设的误差，且最优稀疏系数 $\hat{x}=[x_1,x_2,\·\·\·x_t\·\·\·,x_n]\∈R^{n\×l}$ 和

其中，自然数下标t为最优稀疏系数序号，其最大值为n，该

中的第t个元素x_t是重构测试图像向量y时第t个训练图像的系数；

（6）分别保留最优稀疏系数

中与第i类训练图像相对应的系数，并将

中与第i类训练图像无关的系数全部置零，得到下述带通系数

${\mathrm{\δ}}_1\left(\hat{x}\right)={\left[\begin{array}{ccccccc}{x}_1,& x_2,& \·\·\·,& x_{n_1},& 0,& \·\·\·,& 0\end{array}\right]}^T,$

${\mathrm{\δ}}_i\left(\hat{x}\right)={\left[\begin{array}{cccccccccc}0,& \·\·\·,& 0,& x_{n_1+n_2+\·\·\·+n_{i-1}+1},& x_{n_1+n_2+\·\·\·+n_{i-1}+2},& \·\·\·,& x_{n_1+n_2+\·\·\·+n_{i-1}+n_i},& 0,& \·\·\·,& 0\end{array}\right]}^T,$

……

${\mathrm{\δ}}_k\left(\hat{x}\right)={\left[\begin{array}{ccccccc}0,& \·\·\·,& 0,& x_{n-n_k+1},& x_{n-n_k+2},& \·\·\·,& x_n\end{array}\right]}^T;$

（7）根据步骤（6）获得的带通系数，分别用每个类别的训练图像和类内变化字典对测试图像y进行重构，得到相应的重构图像向量q_i:

式中i=1,2，...,k；

（8）分别计算原测试图像向量y与重构图像向量q_i的残差r_i(y)、即两者差值的模：r_i(y)=‖y-q_i‖₂，式中i=1,2，...,k；残差越小表示重构图像与测试图像越近似或越相像；

（9）将该残差r_i(y)代入测试图像向量y的类别判定公式：Identity(y)=arg min_ir_i(y)，求解得到其中所有k个残差中的最小值，并将该最小残差所对应的类别序号作为最终的人脸识别结果Identity(y)。

2.根据权利要求1所述的方法，其特征在于：所述类内变化是指同一人脸在不同外部环境下所呈现的差异；所述类内变化字典D是由描述同一人脸在包括不同光照和/或遮挡、和/或表情的干扰因素下的各种图像纹理差异的集合，类内变化字典中的每一列描述一种设定的人脸差异变化，也就是将某一个人脸在异常光照和/或遮挡、和/或表情的图像与其在正常光照和表情、且无遮挡的图像相减得到的差值。

3.根据权利要求1所述的方法，其特征在于：所述类内变化字典的第一种获取方法是求解得到用不同光照和/或遮挡、和/或表情的某个人脸图像减去其在所有环境中的平均图像所得到的差值向量的集合，其操作步骤如下：

（A1）从人脸数据库中随机选择与训练人脸不同的m个人，再对每个人选取w幅人脸图像，用于计算类内变化字典；还对每幅人脸图像进行特征提取，将每幅人脸图像表示为一个d₃维的列向量；

（A2）分别将每个人的w幅人脸图像标记为矩阵

再求解每个人的w幅图像的平均人脸图像式中，自然数下标j为计算类内变化字典时的人脸类别序号，其最大值为m；矩阵D_j的第b列向量自然数下标b为矩阵D_j的列序号，其最大值为w；

（A3）从m个人的所有人脸图像中，计算得到人脸的类内变化字典D: $D=[D_1-c_1\×e_1,D_2-c_2\×e_2,\·\·\·,D_j-c_j\×e_j,\·\·\·,D_m-c_m\×e_m]\∈R^{d_3\×(w\×m)};$ 式中，c_j为列向量，e_j为全1的行向量，且e₁=e₂=…=e_j=…=e_m=[1,...,1]∈R^1×w，c_j×e_j是每列均为c_j且维数为d₃×w的矩阵，（D_j-c_j×e_j）表示矩阵D_j的每一列都减去其对应的平均人脸图像c_j；

（A4）采用上述方法得到类内变化字典的列数p=w×m；

（A5）对类内变化字典D中的每列元素进行归一化处理，使得每列元素的模值都为1。

4.根据权利要求1所述的方法，其特征在于：所述类内变化字典的第二种获取方法是求解得到同一人脸在包括不同光照和/或遮挡、和/或表情的各种环境下获取的不同图像之间每两个图像的差值向量的集合，其操作步骤如下：

（B1）从人脸数据库中随机选择与训练人脸不同的m个人，再对每个人选取w幅人脸图像，用于计算类内变化字典；还对每幅人脸图像进行特征提取，将每幅人脸图像表示成一个d₃维的列向量；

（B2）从每个人的w幅人脸图像中，任意选取其中两幅人脸图像，并计算这两幅人脸图像的差值向量，共完成

种选取和计算后，将所有差值向量组合成差异矩阵Q_j: $Q_j=[a_{j1}-a_{j2},a_{j1}-a_{j3},\·\·\·,a_{\mathrm{js}}-a_{j(s+1)},\·\·\·,a_{j(w-1)}-a_{\mathrm{jw}}]\∈R^{d_3\×[w(w-1)/2]};$ 式中，自然数下标j为计算类内变化字典时的人脸类别序号，其最大值为m；第j个人脸图像集合中的第s幅图像

且自然数序号s的最大值为w；

（B3）从m个人的所有人脸图像中，计算得到人脸的类内变化字典D：

$D=[Q_1,Q_2,...,Q_j,...,Q_m]\∈R^{d_3\×\{m\×[w(w-1)/2\left]\right\}};$

（B4）采用上述方法得到类内变化字典的列数

（B5）对类内变化字典D中的每列元素进行归一化处理，使得每列元素的模值都为1。

5.根据权利要求1所述的方法，其特征在于：所述步骤（3）中，使用其他开放人脸图像集合获取类内变化字典时，若发生该人脸图像集合中的图像维数与训练图像维数d₁不相等的情况，则采用包括插值法的图像缩放方法，使得其他开放人脸图像集合中图像的维数等于训练图像的维数d₁，以保证类内变化字典的行数d₃与训练图像的维数d₁相等。

6.根据权利要求1所述的方法，其特征在于：所述步骤（4）中，当测试图像的维数d₂与训练图像的维数d₁不相等时，使用包括插值法的图像缩放方法，使得测试图像的维数d₂与训练图像的维数d₁相等。

Images