CN105023006A - 基于增强型非参数最大边缘准则的人脸识别方法 - Google Patents

Abstract

本发明公开了基于增强型非参数最大边缘准则的人脸识别方法，主要解决现有技术识别泛化能力差的问题，其实现步骤为：1.选取人脸图像并划分训练和测试样本集；2.初始化训练样本的误分率、不同类别间的误分率和子分类器的个数；3.将训练样本集分划分为两个子集；4.利用第一子样本集学习最优投影子空间，并将训练样本投影到该空间，得到样本特征；5.根据样本特征，用k近邻分类器对其进行分类，计算子分类器的置信度；6.更新样本的误分率、不同类别间的误分率和第一子样本集；7.利用子样本集学习子分类器；8.根据学习到的子分类器，对测试样本分类。本发明提升了人脸识别的识别率，可用于视频监控、图像检索和公共安全。

Description

基于增强型非参数最大边缘准则的人脸识别方法

技术领域

本发明属于图像处理技术领域，特别涉及是一种人脸识别方法，可用于公共安全、视频监控和访问控制。

技术背景

人脸识别是基于人的面部特征信息进行身份识别的一种生物识别技术，是模式识别与计算机视觉等领域的热点话题。人脸识别技术的目的是赋予计算机利用识别算法分析待识别人脸图像来辨认其身份的能力，这要求识别算法能够有效地提取不同个体的本质性鉴别特征，因此，设计有效的识别方法是人脸识别技术的关键。目前广泛使用的人脸识别方法有主成分分析PCA方法和线性判别分析LDA方法。

PCA方法是以数据的最小均方误差重构为目的，把原始数据投影到最优特征空间进行分类，然而它得到的最优投影空间并不适合识别分类。

LDA方法是以提取数据的鉴别特征为目的，利用散度矩阵描述数据的分布，通过最大化类间散度与类内散度的比值得到最优的投影子空间，原始高维数据投影到最优子空间后，同类样本相互靠近，不同类样本相互分离，能有效地区分不同类别的样本数据。然而LDA是一种参数化的鉴别分析方法，因为它假设各类数据服从高斯分布，这一假设条件无疑限制了LDA的应用，使得基于LDA的人脸识别算法在处理复杂的人脸识别分类问题时显得无能为力。为解决此问题，K.Fukunaga对LDA进行了拓展，提出了非参数判别分析NDA。NDA与LDA主要区别在于类间散度矩阵：LDA采用参数形式的散度矩阵，只有各类的均值参与类间散度矩阵的计算，因此人脸识别性能依赖于估计的样本均值的准确度；而NDA中所有的训练样本都参与类间散度矩阵的计算，针对LDA的高斯分布条件限制问题做了有效改进。且NDA中处于边界的样本根据他们对分类的贡献赋予不同的权重，样本的原始边界结构信息则通过边界样本信息充分融入到特征提取中。但是NDA主要针对的是二分类问题，不能适用于像人脸识别等多分类问题。为此，Li Zhi Feng和Lin Da Hua等人对NDA的类间散度矩阵进行了多分类扩展，提出了多类非参数鉴别分析MNDA，并成功应用于多类人脸识别问题，但是MNDA的类内散度矩阵仍然采用参数化形式。为此Qiu Xi Peng等人又提出了基于非参数最大边缘准则的人脸识别算法NMMC，该算法真正摆脱了散度矩阵的参数化形式。NMMC通过最大化样本与其异类最近样本之间的距离，同时最小化样本点与其同类最远样本点之间的距离，使同类样本的分布更加紧致，不同类别的样本相互分离。但是，在实际应用过程中NMMC的泛化能力比较差，具体表现为：处理简单的识别分类问题如测试图像与训练样本图像差别较小，NMMC表现出较好的识别分类性能；而处理复杂的识别分类问题如测试图像与训练样本图像相差较大，NMMC的识别分类性能急剧下降。因为人脸图像数据容易受到光照、表情、姿态、遮挡等因素的影响使得测试图像与训练样本图像差别较大。

发明的内容

本发明的目的在于提出基于增强型非参数最大边缘准则的人脸识别方法，以解决现有技术在处理复杂识别任务时泛化能力差的问题。

本发明的技术方案是：结合增强学习Boosting思想，采用不同的训练样本相继训练一组基于非参数最大边缘准则NMMC的最优投影子空间，每一个子空间针对不同的分类任务；采用k近邻分类器作为子空间的子分类器，对投影到子空间中的样本进行分类，并根据分类结果计算子分类器的置信度；利用子分类器的置信度将各个子分类器集成为总分类器用于解决复杂的识别任务。

根据上述思路，本发明的技术方案包括如下步骤：

(1)人脸图像预处理：

(1a)从标准人脸库中获得c类样本的G幅人脸图像，并将其划分为N幅训练样本图像和M幅测试样本图像，构成训练样本集和测试样本集 $Z={\left\{(z_{ij},v_{ij})\right\}}_{j=1}^M,$

其中c≥3，G≥2，N≥1，M≥1，x_ij表示第i类的第j个训练样本，y_ij表示x_ij的类别标签，z_ij表示第i类的第j个测试样本，v_ij表示z_ij的类别标签；

(2)分别初始化训练样本集X中训练样本x_ij的误分率和不同类别之间的误分率其中y∈Y，p,q∈Y,p≠q，Y＝{1,…,c}是类别标签的集合，初始化子分类器C_t的个数t＝1；

(3)根据训练样本集X中样本的误分率γ(x_ij,y)将训练样本集X划分为第一子样本集X_g和第二子样本集X_p；

(4)利用第一子样本集X_g学习第t个最优投影子空间W_t，并将训练样本集X中的样本投影到该空间W_t，得到训练样本特征；

(5)根据训练样本特征，利用k近邻分类器对训练样本集X中的样本分类，并根据分类结果计算子分类器C_t的置信度β_t；

(6)根据步骤(5)得到的置信度β_t，利用下式更新样本误分率γ(x_ij,y)和类间误分率A(p,q)：

$\mathrm{\γ}(x_{ij},y)=\mathrm{\γ}(x_{ij},y)\×{\mathrm{\β}}_t^{(1-{\hat{h}}_t(y_{ij}\left|x_{ij}\right)+{\hat{h}}_t\left(y\right|x_{ij}\left)\right)/2}$

其中，表示x_ij属于第y_ij类的后验概率，表示x_ij属于第y类的后验概率，N_p表示第p类的个数，N_q表示第q类的个数；

(7)根据步骤(6)更新的误分率γ(x_ij,y)将训练样本集合X中的样本从大到小进行排序，用前N_g个γ(x_ij,y)值对应的训练样本集X中的样本更新第一子样本集X_g，其中，N_g为第一子样本集X_g中训练样本的个数；

(8)将子分类器的个数t加1，取T1为总的子分类器数，T1＝60，判断是否继续学习子空间：如果t≠T1，则返回步骤(4)继续进行迭代；否则，子空间学习过程结束，得到T1个最优投影子空间W_t以及对应的子分类器C_t,t＝1,…,T1；

(9)对于人脸测试样本集Z中的任意一个人脸测试样本z_ij，分别利用学习得到的T1个最优投影子空间W_t以及对应的子分类器C_t对其进行分类识别，得到T1个后验概率然后对T1个后验概率进行求和，得到测试样本z_ij的识别结果，依次对M幅人脸测试样进行识别，得到M幅人脸测试样本最终的识别结果。

本发明与现有技术相比具有如下优点：

1.本发明根据训练样本的误分率γ(x_ij,y)构造第一子样本集X_g，而不考虑训练样本的类别信息，能将较复杂的任务分解为较简单的任务，从而提高了处理复杂识别分类任务时的识别率。

2.本发明将k近邻分类器作为最优投影子空间W_t的分类器，给出测试样本属于不同类别的后验概率而不是测试样本的类别标签，改善了人脸识别的硬分类问题。

3.本发明基于NMMC准则得到最优投影子空间W_t，能够适用于复杂的测试样本分布，增强了最优投影子空间学习对数据分布的鲁棒性。

附图说明

图1是本发明的实现总流程图；

图2是本发明使用数据库中的样本图像；

图3是本发明中的分类器和k近邻分类器对YALE人脸图像库的识别结果；

图4是本发明中的分类器和k近邻分类器对Yale B人脸图像库的识别结果；

图5是本发明中的分类器和k近邻分类器对FERET人脸图像库的识别结果。

具体实施方式

参照图1，本发明的具体实施步骤如下：

步骤1.人脸图像预处理。

(1a)选取人脸图像：

本实例从YALE人脸库中选15人组成的165幅人脸图，从Yale B人脸库中选38人组成的2414幅人脸图，从FERET人脸库中选取160人组成的960幅人脸图，将原人脸图像采样大小设为32×32，将图像灰度值归一化到[0,1]；

(1b)构成训练样本集和测试样本集：

从每组人脸库中获得c类样本的G幅人脸图像，并将其划分为N幅训练样本图像和M幅测试样本图像，构成训练样本集和测试样本集

其中c≥3，G≥2，N≥1，M≥1，x_ij表示第i类的第j个训练样本，y_ij表示x_ij的类别标签，z_ij表示第i类的第j个测试样本，v_ij表示z_ij的类别标签。

步骤2.初始化训练样本集。

初始化训练样本集X中训练样本x_ij的误分率为：其中y∈Y，Y＝{1,…,c}是类别标签的集合；

初始化训练样本集X中不同类别之间的误分率为：其中，p,q∈Y,p≠q；

初始化子分类器C_t的个数t＝1。

步骤3.将训练样本集X划分为两个样本子集。

根据子分类器的个数t将训练样本集X划分为第一子样本集X_g和第二子样本集X_p；

当t＝1，随机地从c类训练样本集X中选取N_g个训练样本构成第一子样本集X_g，将剩下的训练样本构成第二子样本集X_p，其中N_g＝m×c，m是从每一类训练样本中随机选取的训练样本个数；

当t＞1，将训练样本集X中的训练样本按照对应的误分率γ(x_ij,y)值降序排序，取前N_g个γ(x_ij,y)值对应的训练样本构成第一子样本集X_g，剩下的训练样本构成第二子样本集X_p。

步骤4.利用第一子样本集X_g学习第t个最优投影子空间W_t。

(4a)定义基于非参数最大边缘准则的类内散度矩阵和类间散度矩阵 $S_b^{\mathrm{BNMMC}}:$

$S_w^{BNMMC}=\underset{x_{ij}\∈X_g}{\Σ}\hat{D}\left(x_{ij}\right)w\left(x_{ij}\right)\left({\mathrm{\Δ}}_{ij}^I\right){\left({\mathrm{\Δ}}_{ij}^I\right)}^T$

$S_b^{BNMMC}=\underset{x_{ij}\∈X_g}{\Σ}A(y_{ij},y_{ij}^E)w\left(x_{ij}\right)\left({\mathrm{\Δ}}_{ij}^E\right){\left({\mathrm{\Δ}}_{ij}^E\right)}^T$

其中，表示训练样本x_ij的伪逆分布， $\hat{D}\left(x_{ij}\right)=\underset{y\≠y_{ij}}{\Σ}\mathrm{\γ}(x_{ij},y),w\left(x_{ij}\right)=\frac{\left|\right|{\mathrm{\Δ}}_{ij}^I|{|}^{\mathrm{\α}}}{\left|\right|{\mathrm{\Δ}}_{ij}^I|{|}^{\mathrm{\α}}+|\left|{\mathrm{\Δ}}_{ij}^E\right|{|}^{\mathrm{\α}}}$ 为权重，参数 表示与训练样本x_ij同类中距离x_ij最远的训练样本， 表示与训练样本x_ij异类中距离x_ij最近的训练样本，表示类y_ij与类之间的误分率；

(4b)对类间散度矩阵与类内散度矩阵的差值进行特征值分解，得到其差值矩阵的前L个特征值λ₁＞λ₂＞…＞λ_L＞0对应的特征向量η₁,η₂,…,η_L，构成最优投影子空间W_t，其中L＜N_g。

步骤5.根据得到的最优投影子空间W_t，将训练样本集X中的样本投影到该空间W_t，得到训练样本x_ij的特征

其中，T表示矩阵转置，N_i表示第i类训练样本的个数。

步骤6.计算子分类器C_t的置信度β_t。

(6a)根据训练样本特征利用k近邻分类器对训练样本集X中的样本进行分类，得到训练样本x_ij属于第y_ij类的后验概率及训练样本x_ij属于第y类的后验概率其中，n_p表示距离训练样本特征最近的k个训练样本中属于第y_ij类训练样本的个数，n_q表示距离训练样本特征最近的k个训练样本中属于第y类训练样本的个数；

(6b)根据分类结果和误分率γ(x_ij,y)计算子分类器C_t的置信度β_t；

${\mathrm{\β}}_t=\frac{{\mathrm{\ϵ}}_t}{1-{\mathrm{\ϵ}}_t},$

其中 ${\mathrm{\ϵ}}_t=\frac{1}{2}\underset{i=1}{\overset{c}{\Σ}}\underset{j=1}{\overset{N_i}{\Σ}}\mathrm{\γ}(x_{ij},y)(1-{\hat{h}}_t(y_{ij}|x_{ij})+{\hat{h}}_t(y|x_{ij}\left)\right).$

步骤7.根据步骤6得到的置信度β_t，利用下式更新样本误分率γ(x_ij,y)和类间误分率A(p,q)：

$\mathrm{\γ}(x_{ij},y)=\mathrm{\γ}(x_{ij},y)\×{\mathrm{\β}}_t^{(1-{\hat{h}}_t(y_{ij}\left|x_{ij}\right)+{\hat{h}}_t\left(y\right|x_{ij}\left)\right)/2}$

其中，N_p表示第p类的个数，N_q表示第q类的个数。

步骤8.更新第一子样本集X_g。

根据步骤7更新的误分率γ(x_ij,y)将训练样本集合X中的样本从大到小进行排序，用前N_g个γ(x_ij,y)值对应的训练样本集X中的样本更新第一子样本集X_g，其中，N_g为第一子样本集X_g的个数。

步骤9.将子分类器的个数t加1，设总的子分类器数T1＝60，判断是否继续学习子空间：如果t≠T1，则返回步骤(4)继续进行迭代；否则，子空间学习过程结束，得到T1个最优投影子空间W_t以及对应的子分类器C_t,t＝1,…,T1。

步骤10.对M幅人脸测试样进行识别。

对于人脸测试样本集Z中的任意一个人脸测试样本z_ij，先分别利用学习得到的T1个最优投影子空间W_t以及对应的子分类器C_t对其进行分类识别，得到T1个后验概率然后对T1个后验概率进行求和，得到测试样本z_ij的识别结果；

依次对M幅人脸测试样进行识别，得到M幅人脸测试样本最终的识别结果。

本发明的效果可以通过仿真实验进一步说明：

1.实验条件：

实验在CPU为Core(TM)3.40GHZ、内存4G、WINDOWS 7系统上使用MatlabR2012b进行仿真。

选取YALE人脸数据库中165幅图像，每个人包括不同光照、不同表情、戴或不戴眼镜变化；图2a是YALE人脸数据库某人的样本图像，选取Yale B人脸数据库2414幅图像，每个人有不同的光照条件；图2b是Yale B人脸数据库某人的样本图像，选取FERET人脸数据库中960幅图像，每幅人脸图像是不同方向旋转变化的；图2c是FERET人脸数据库某人的样本图像，将人脸库中的图像采样大小为32×32，且图像灰度值被归一化到[0,1]。

2.实验内容：

实验1：针对以上三个人脸数据库，分别用本发明的T1个子分类器C_t按其置信度β_t加权求和的总分类器和k近邻分类器进行人脸识别实验，结果如图3、图4、图5所示。其中图3a是在YALE人脸数据库上，每类训练样本取4，对40次独立实验取平均得到的结果，图3b是在YALE人脸数据库上，每类训练样本取6，对40次独立实验取平均得到的结果，图4a是在Yale B人脸数据库上，每类训练样本取10，对40次独立实验取平均得到的结果，图4b是在Yale B人脸数据库上，每类训练样本取20，对40次独立实验取平均得到的结果，图5a是在FERET人脸数据库上，每类训练样本取3，对40次独立实验取平均得到的结果，图5b是在FERET人脸数据库上，每类训练样本取4，对40次独立实验取平均得到的结果。

图3、图4、图5中标注“CRRBst”和“CRRSgl”分别表示本发明的T1个子分类器C_t按其置信度β_t加权求和的总分类器和k近邻分类器的识别率。

从图3、图4、图5可以看出在Yale B、FERET和YALE人脸数据库上，本发明的T1个子分类器C_t按其置信度β_t加权求和的总分类器相对于k近邻分类器识别率有很大的提升。

实验2：针对以上三个人脸数据库，分别运用NMMC、LFDA、B-JD-LDA和本发明方法进行人脸识别，实验结果如表1所示，表1中符号“TU”表示N_i＝U。

表1 本发明和对比其它方法在三个人脸数据库上的识别率

从表1可以看出，本发明方法在三个人脸数据库都具有最高的识别率。

实验3：针对Yale B人脸数据库，N_g取不同值时利用本发明方法进行人脸识别，实验结果如表2所示。

表2 本发明在Yale B人脸数据库上N_g取不同值时的识别率

从表2可以看出，为了得到最高的识别率，N_g取值不能太大也不能太小，较大的N_g违背了子分类器之间具有多样性条件，较小的N_g造成子分类器的分类性能太弱，所以为了取得较高的识别率，N_g的取值不能太大也不能太小。

Claims (4)

1.基于增强型非参数最大边缘准则的人脸识别方法，包括如下步骤：

(1)人脸图像预处理：

(1a)从标准人脸库中获得c类样本的G幅人脸图像，并将其划分为N幅训练样本图像和M幅测试样本图像，构成训练样本集和测试样本集其中c≥3，G≥2，N≥1，M≥1，x_ij表示第i类的第j个训练样本，y_ij表示x_ij的类别标签，z_ij表示第i类的第j个测试样本，v_ij表示z_ij的类别标签；

(2)分别初始化训练样本集X中训练样本x_ij的误分率和不同类别之间的误分率其中y∈Y，p,q∈Y,p≠q，Y＝{1,…,c}是类别标签的集合，初始化子分类器C_t的个数t＝1；

(3)根据训练样本集X中样本的误分率γ(x_ij,y)将训练样本集X划分为第一子样本集X_g和第二子样本集X_p；

(4)利用第一子样本集X_g学习第t个最优投影子空间W_t，并将训练样本集X中的样本投影到该空间W_t，得到训练样本特征；

(5)根据训练样本特征，利用k近邻分类器对训练样本集X中的样本分类，并根据分类结果计算子分类器C_t的置信度β_t；

(6)根据步骤5)得到的置信度β_t，利用下式更新样本误分率γ(x_ij,y)和类间误分率A(p,q)：

$\mathrm{\γ}(x_{ij},y)=\mathrm{\γ}(x_{ij},y)\×{\mathrm{\β}}_t^{(1-{\hat{h}}_t(y_{ij}\left|x_{ij}\right)+{\hat{h}}_t\left(y\right|x_{ij}\left)\right)/2}$

其中，表示x_ij属于第y_ij类的后验概率，表示x_ij属于第y类的后验概率，N_p表示第p类的个数，N_q表示第q类的个数；

(7)根据步骤(6)更新的误分率γ(x_ij,y)将训练样本集合X中的样本从大到小进行排序，用前N_g个γ(x_ij,y)值对应的训练样本集X中的样本更新第一子样本集X_g，其中，N_g为第一子样本集X_g中训练样本的个数；

(8)将子分类器的个数t加1，取T1为总的子分类器数，T1＝60，判断是否继续学习子空间：如果t≠T1，则返回步骤(4)继续进行迭代；否则，子空间学习过程结束，得到T1个最优投影子空间W_t以及对应的子分类器C_t,t＝1,…,T1。

(9)对于人脸测试样本集Z中的任意一个人脸测试样本z_ij，分别利用学习得到的T1个最优投影子空间W_t以及对应的子分类器C_t对其进行分类识别，得到T1个后验概率t＝1,…,T1，然后对T1个后验概率进行求和，得到测试样本z_ij的识别结果，依次对M幅人脸测试样进行识别，得到M幅人脸测试样本最终的识别结果。

2.根据权利要求1所述的方法，其中所述步骤(3)中利用训练样本集X中训练样本的误分率γ(x_ij,y)将训练样本集X划分为两个子样本集X_g和X_p，按照如下方式进行：

当t＝1，随机地从c类训练样本集X中选取N_g个训练样本构成第一子样本集X_g，将剩下的训练样本构成第二子样本集X_p，其中N_g＝m×c，m是从每一类训练样本中随机选取的训练样本个数；

当t＞1，将训练样本集X中的训练样本按照对应的误分率γ(x_ij,y)值升序排序，取前N_g个γ(x_ij,y)值对应的训练样本构成第一子样本集X_g，剩下的训练样本构成第二子样本集X_p。

3.根据权利要求1所述的方法，其中所述步骤(4)，按照如下步骤进行：

(4a)定义基于非参数最大边缘准则的类内散度矩阵和类间散度矩阵

$S_w^{BNMMC}=\underset{x_{ij}\∈X_g}{\Σ}\hat{D}\left(x_{ij}\right)w\left(x_{ij}\right)\left({\mathrm{\Δ}}_{ij}^I\right){\left({\mathrm{\Δ}}_{ij}^I\right)}^T$

$S_b^{BNMMC}=\underset{x_{ij}\∈X_g}{\Σ}A(y_{ij},y_{ij}^E)w\left(x_{ij}\right)\left({\mathrm{\Δ}}_{ij}^E\right){\left({\mathrm{\Δ}}_{ij}^E\right)}^T$

其中，表示训练样本x_ij的伪逆分布， $\hat{D}\left(x_{ij}\right)=\underset{y\≠y_{ij}}{\Σ}\mathrm{\γ}(x_{ij},y),w\left(x_{ij}\right)=\frac{\left|\right|{\mathrm{\Δ}}_{ij}^I|{|}^{\mathrm{\α}}}{\left|\right|{\mathrm{\Δ}}_{ij}^I|{|}^{\mathrm{\α}}+|\left|{\mathrm{\Δ}}_{ij}^E\right|{|}^{\mathrm{\α}}}$ 为权重，参数α＝6， 表示与训练样本x_ij同类中距离x_ij最远的训练样本， 表示与训练样本x_ij异类中距离x_ij最近的训练样本，表示类y_ij与类之间的误分率；

(4b)对类间散度矩阵与类内散度矩阵的差值进行特征值分解，得到其差值矩阵的前L个特征值λ₁＞λ₂＞…＞λ_L＞0对应的特征向量η₁,η₂,…,η_L，构成最优投影子空间W_t，其中L＜N_g；

(4c)根据得到的最优投影子空间W_t，将训练样本集X中的样本投影到该空间W_t，得到训练样本x_ij的特征

其中，T表示矩阵转置，N_i表示第i类训练样本的个数。

4.根据权利要求1所述的方法，其中所述步骤(5)中根据分类结果计算子分类器C_t的置信度β_t，是按照如下公式计算：

${\mathrm{\β}}_t=\frac{{\mathrm{\ϵ}}_t}{1-{\mathrm{\ϵ}}_t},$

其中 ${\mathrm{\ϵ}}_t=\frac{1}{2}\underset{i=1}{\overset{c}{\Σ}}\underset{j=1}{\overset{N_i}{\Σ}}\mathrm{\γ}(x_{ij},y)(1-{\hat{h}}_t(y_{ij}|x_{ij})+{\hat{h}}_t(y|x_{ij}\left)\right),$ 表示x_ij属于第y_ij类的后验概率，表示x_ij属于第y类的后验概率。