CN104820825A - 基于Adaboost算法的人脸识别优化方法 - Google Patents

Abstract

基于Adaboost算法的人脸识别优化方法，首先对人脸图像进行特征提取和降维，用降维后的矩阵数据，使用SAMME.R算法进行识别分类；在训练弱分类器时，判断该弱分类器的结果，在所有同属一类的样本的分类中，正确分类的样本的权值和，是否比分到其他任意一类的权值和大；如果满足该条件则继续进行权值调整和下一次迭代；如果不满足，由于训练出的弱分类器不够好，达不到要求，所以在权值不变的情况下重新训练弱分类器，然后再次判断新的弱分类器是否满足上边所述的条件，如果满足进入下一次调整，不满足继续重新训练弱分类器，不断优化弱分类器的质量，从而逼近最优强分类器；得到最终的强分类器有效提高了人脸识别的准确率。

Description

基于Adaboost算法的人脸识别优化方法

技术领域

本发明属于机器学习和模式识别技术领域，是利用训练数据集成构建一个具有较强泛化能力的预测方法，以期对新的未知对象给出精确估计。

背景技术

人脸识别技术是图像处理方面的重要技术，然而识别率不高是一直妨碍人脸识别技术广泛应用的重要原因。研究发现可以通过集成学习的方法来提高准确率。集成学习使用多个学习机来解决同一问题，它通过调用一些简单的分类算法，以获得多个不同的基学习机，然后采用某种方式将这些学习机组合成一个集成学习机。一般地，一个集成学习机的构建分为两步：基学习机的生成和基学习机的合并，现有的许多集成学习算法主要是在这两方面存在差异。在构建集成学习机时，有效地产生泛化能力强、差异大的基学习机是关键，即基学习机的准确性和它们之间的多样性是两个重要因素。

目前，常见的用于生成基学习机的方法可以粗略地分为两大类：一类是将不同类型的学习算法应用于同一数据集上，这种方法得到的基学习机通常被称为是异质类型的；另一类是将同一学习算法应用于不同的训练集，这种方法得到的机学习机被称为是同质类型的。

根据基分类器提供的信息水平将现有的合并准则分成了三大类：抽象水平、秩水平和置信值水平。抽象水平是指基分类器的输出是类标签，秩水平假定基分类器的输出是根据分类器的预测效果好坏而对它们赋予的秩序列，而置信值水平则假定每个基分类器的输出是一个概率分布。在置信水平类的合并准则中，根据是否需要估计额外的参数，它们又可以分为固定的合并准则和可训练的合并准则。固定的合并准则是基于基分类器的输出对基分类器直接进行合并，常用的有最大值、最小值、中位数、乘机、均值和多数投票准则；而可训练的合并准则是将多个基分类器的输出作为新的特征再构建一个更高水平的分类器，常见的方法有神经网络、决策树、支持向量机、Bayes准则、行为知识空间、Dempster-Shafer理论等。

集成学习中的Boosting算法已被成功应用于二分类问题。Adaboost.M1算法将Boosting算法扩展到多分类问题，但它要求每个弱分类器的正确率要大于1/2。但在多分类问题中寻找正确率大于1/2的弱分类器较为困难。近几年，有学者针对该问题提出了适于多分类问题的SAMME算法，并从理论上证明了新方法符合贝叶斯最佳分类规则。该方法把对弱分类器正确率的要求从大于1/2降低到大于1/k(k为类别数)，从而降低了寻找弱分类器的难度。

发明内容

本发明的目的在于针对已有人脸识别技术存在的识别率低的问题，提出一种改进的SAMME算法SAMME.R应用于人脸识别中。

为实现上述目的，本发明采用的技术方案是基于Adaboost算法的人脸识别优化方法，具体而言，

首先对人脸图像进行特征提取和降维，即利用(2D)²PCA算法对图像进行特征提取和降维，同时在行与列上对图像矩阵进行降维，进一步降低特征向量的维数，有效降低问题的时间复杂度。

用降维后的矩阵数据，使用SAMME.R算法进行识别分类。该方法是把对弱分类器(最近邻算法)正确率的要求降低到大于for j＝1,...,K 1/k，保证提供足够多的弱分类器参与集成。在训练弱分类器时，判断该弱分类器的结果，在所有同属一类的样本的分类中，正确分类的样本的权值和，是否比分到其他任意一类的权值和大。如果满足该条件则继续进行权值调整和下一次迭代。如果不满足，由于训练出的弱分类器不够好，达不到要求，所以在权值不变的情况下重新训练弱分类器，然后再次判断新的弱分类器是否满足上边所述的条件，如果满足进入下一次调整，不满足继续重新训练弱分类器，不断优化弱分类器的质量，从而逼近最优强分类器；得到最终的强分类器有效提高了人脸识别的准确率。

流程图见图1，其具体步骤如下：

步骤一：数据初始化

1.1)对人脸库中的所有图像进行归一化处理，归一化的操作是指先把图像统一大小为32×32灰度值矩阵，得到大小为1024×1的灰度值矩阵，用(2D)²PCA算法降维得到大小为256×1的矩阵。初始化权值i＝1,...,m。其中m是图像个数。

步骤二：循环处理过程

2.1)for 1,...,T，执行以下7步：

①按照权值w^t，选择图像样本。

②对样本进行分类识别，h_t:X→Y。即将每个样本用最近邻弱分类器进行分类识别，其中X是样本,Y是样本分类结果。

③for k＝1,...,K，执行以下2步。进行权值调整。

(1)循环计算各类中，分到各类样本的权值和

for j＝1,...,K

       ${\mathrm{\γ}}_{\mathrm{tkj}}={\mathrm{\Σ}}_{i=1}^m{w}_i^t[y_i=k,h_t\left(x_i\right)=j],$ (样本权值和)

(2)判断各类中分类正确的样本权值和是否大于分到

       $1-{\mathrm{\ϵ}}_t=\frac{1}{k}+r_t>0={\mathrm{\Σ}}_{i=1}^m[h_t\left(x_i\right)\≠y_i]/{\mathrm{mx}}_i$

其他各类样本的权值和

       ${\mathrm{\γ}}_{\mathrm{tkj}}[h_t\left(x_i\right)=j]>=\∀{\mathrm{\γ}}_{\mathrm{tkj}}[h_t\left(x_i\right)\≠j]$

若满足，则进行下一次循环。

若不满足，则返回步骤二重新开始计算。

其中K是采样个数。

④计算h_t的伪错误率：用于判断算法的的识别效果。

⑤置 $a_t=\ln \frac{{\mathrm{\ϵ}}_t}{1-{\mathrm{\ϵ}}_t}+\ln (k-1),$ 算法收敛阈值

⑥计算新的权重向量 $w_i^{t+1}=w_i^t\·\exp (a_t\·[h_t\left(x_i\right)\≠y_i\left]\right),$ 用于后续图像的选择。

⑦归一化权值使之在0-1范围内。

其中T为迭代次数。

步骤三：最终强分类器

3.1)

       $h_f\left(x\right)=\arg \underset{y\∈Y}{\max }\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{a}_t\·[h_t\left(x_t\right)=y_t]$

其中h_f(x)为最终生成的强分类器，用于人脸识别分类，输出分类结果。x为输入的人脸头像数据，T为迭代次数，h_t(x_t)为弱分类器，y_i为类别标号。

本发明的有益效果在于：1、提高了弱分类器的质量；2、利用本发明算法进行分类识别可以提高分类准确率即人脸识别率。

附图说明

图1是算法流程。

图2是AdaBoost有效性的分析。

图3是AdaBoost有效性的分析。

图4是AdaBoost有效性的分析。

具体实施方式

下面详细给出该发明技术方案中所涉及的各个细节问题的说明：

在boosting方法中，最终正确率与弱分类器的质量和数量都有关。在两类问题中，第t次得到的弱分类器h_t(x)的错误率为 ${\mathrm{\ϵ}}_t=1/2-{\mathrm{\γ}}_t={\mathrm{\Σ}}_{i=1}^m[h_t\left(x_i\right)\≠y_i]/m,$ 则正确率为 $1-{\mathrm{\ϵ}}_t=\frac{1}{2}+r_t,$ 若r_t＞0，采用简单投票法，即最终的强分类器对训练样本集S＝{(x₁,y₁),(x₂,y₁),...,(x_m,y₂)}，由ε_t的定义，h_t(x_i)＝y_i的概率为1/2+r_t。T次训练得到T个弱分类器，如果不同h_t(x)能够正确分类的样本分布均匀，则随着T的增多，即S中越来越多的x_i被超过一半的h_t(x)正确分类。当T趋近于无穷，且h_t(x)正确分类的样本分布足够均匀，则每个x_i都将被超过一半的h_t(x)正确分类。大数定理指出频率稳定收敛于概率，任一样本x_i能够被h_t(x)正确分类的个数占全部T个分类器的个数的比率就是该样本被正确分类的频率。根据该频率大小来决定目标的标签类，这种推断随着T的增加并趋近于无穷大时，强分类器出错的概率就趋于零。

如图2所示，当h_t(x_i)＝y_i，就把t行i列标注为空白，则每一行的空白部分代表h_t(x)对S分类正确的样本数，第t行空白部分比例就为1/2+r_t。T次训练得到T个弱分类器后，图中空白部分比灰色部分多，纵向来看，必然有些样本x_i对应的列的空白部分所占比例大于1/2。如果不同h_t(x)能够正确分类的样本分布均匀，则随着T的增多，即S中越来越多的x_i被超过一半的h_t(x)正确分类。当T趋近于无穷，则每个x_i都将被超过一半的h_t(x)正确分类。最终，强分类器可以投票选出正确的分类。

由两类问题扩展到多类问题，在Adaboost.M1算法中，定义m个样本序列{(x₁,y₁),(x₂,y₂),...,(x_m,y_m)}，其中y_i为标签且y_i∈Y＝{1,...,k}。

样本权重分布为D，迭代次数T。h_t(x)的错误率为 ${\mathrm{\ϵ}}_t=1/2-r_t={\mathrm{\Σ}}_{i=1}^m[h_t\left(x_i\right)\≠y_i]/m,$ 则正确率为 $1-{\mathrm{\ϵ}}_t=\frac{1}{2}+r_t,$ 在Adaboost.M1算法中要求r_t＞0，采用简单投票法，即T次训练得到T个弱分类器，由于h_t(x_i)＝y_i的概率为1/2+r_t，如果不同h_t(x)能够正确分类的样本分布均匀，则随着T的增多，即S中越来越多的x_i被超过一半的h_t(x)正确分类。大数定理指出频率稳定收敛于概率，任一样本x_i能够被h_t(x)正确分类的个数占全部T个分类器的个数的比率就是该样本被正确分类的频率。根据该频率大小来决定目标的标签类，这种推断随着T的增加并趋近于无穷大时，出错的概率就趋于零。

如图3所示，同两类问题一样，在弱分类器训练中，当h_t(x_i)＝y_i，就把t行i列标注为空白，则每一行的空白部分代表h_t(x)对S分类正确的样本数，第t行空白部分比例就为1/2+r_t。T次训练的得到T个弱分类器后，由于每次分类的正确率大于1/2，图中空白部分比灰色部分多，纵向来看，必然有些样本x_i对应由于每次分类的正确率大于1/2，空白部分所占比例大于1/2。如果不同h_t(x)能够正确分类的样本分布均匀，则随着T的增多，即S中越来越多的x_i被超过一半的h_t(x)正确分类。在T趋近于无穷的情况下，分类正确的标签一定比分到其他类的标签的数量多，保证最终的强分类器正确。

在SAMME算法中，只要求正确率大于1/k，也就是h_t(x)的错误率为 ${\mathrm{\ϵ}}_t=\frac{k-1}{k}-r_t={\mathrm{\Σ}}_{i=1}^m[h_t\left(x_i\right)\≠y_i]/m,$ 则正确率为 $1-{\mathrm{\ϵ}}_t=\frac{1}{k}+r_t,$ 且r_t＞0。采用简单投票法，即若存在样本x_i属于第n类，对于弱分类器h_t(x)其分到各类的概率分别为且q₁+q₂+q₃+…+q_k＝0，q_n＞0，满足SAMME算法要求，若存在q_m＞q_n＞0，经过T次投票，在T趋近于无穷的情况下，频率稳定收敛于概率，最终分类结果可能为概率最大的第m类，导致最终分类结果错误。

与Adaboost.M1算法不同，SAMME算法中，由于每次分类的正确率为而不是1/2+r_t，T次训练得到T个弱分类器后，不能保证分类正确的样本数量一定大于分到其他任意一类的数量，导致最终的分类错误。而在Adaboost.M1算法中，弱分类器的正确率为1/2+r_t，则样本最终分到正确类的数量一定大于分到其他各类的样本的数量之和，从而其分类正确样本数量一定大于分到其他任意一类的数量，保证了当T趋近于无穷时，最终分类结果的错误率趋近于0。

如图4所示，当h_t(x_i)＝y_i，就把t行i列标注为空白，则每一行的空白部分代表h_t(x)对S分类正确的样本。若对于属于n类的样本x_n，若h_t(x_i)，分至k类的概率分别为{q₁,q₂,…,q_k}，其中q₁+q₂+…+q_k＝1，q_m＞q_n＞1/k，则当T趋近于无穷时，强分类器最终会选择n类，导致分类结果错误。

要保证在最后的综合投票中分类正确的样本所占的数量是最多的，仅要求弱分类器的正确率大于1/k是不够的，需要添加一定的限制条件。为此，本文提出在训练弱分类器时，判断该弱分类器的结果，在所有同属一类的样本的分类中，正确分类的样本的权值和，是否比分到其他任意一类的权值和大。如果满足该条件则继续进行权值调整和下一次迭代。如果不满足，可能是由于训练出的弱分类器不够好，达不到要求，所以可以在权值不变的情况下重新训练弱分类器，然后再次判断新的弱分类器是否满足上边所说的条件，如果满足进入下一次调整，不满足继续重新训练弱分类器。经过此条件的限制，当T趋近于无穷时，分类正确的标签一定比分到其他各类的标签的数量多，最终分类器的错误率趋近于0。

若m个样本序列{(x₁,y₁),(x₂,y₂),...,(x_m,y_m)}，其中y_i为类别，且y_i∈Y＝{1,...,k}，弱分类器h_t(x)。对于P∈{1,...,k}，弱分类器h_t(x)，在第P类样本的分类中，分到各类的概率为{p₁,p₂,…,p_k}，若有a＝P，则要求b∈{1,...,a-1,a+1,...,k}。若不满足此条件，则重新训练h_t(x)，直到训练出的弱分类h_t(x)满足上述条件。

在此基础上，本文提出了SAMME.R算法，该算法流程如下：

步骤一：数据初始化

(1)初始化权值 $w_t^1=D\left(i\right)=\frac{1}{m},i=1,...,m.$

步骤二：循环处理

for t＝1,...,T，执行以下7步：

①按照权值w^t，选择训练样本。

②对样本进行分类识别，h_t:X→Y。

③for k＝1,...,K，执行以下2步。

(1)循环计算各类中，分到各类样本的权值和

for j＝1,...,K

       ${\mathrm{\γ}}_{\mathrm{tkj}}={\mathrm{\Σ}}_{i=1}^m{w}_i^t[y_i=k,h_t\left(x_i\right)=j],$

(2)判断各类中分类正确的样本权值和是否大于分到其他各类样本的权值和 ${\mathrm{\γ}}_{\mathrm{tkj}}[h_t\left(x_i\right)=j]>=\∀{\mathrm{\γ}}_{\mathrm{tkj}}[h_t\left(x_i\right)\≠j].$

若满足，则进行下一次循环。

若不满足，则返回步骤二重新开始计算。

④计算h_t的伪错误率： ${\mathrm{\ϵ}}_t={\mathrm{\Σ}}_{i=1}^m{w}_i^t[h_t\left(x_i\right)\≠y_i].$

⑤置 $a_t=\ln \frac{{\mathrm{\ϵ}}_t}{1-{\mathrm{\ϵ}}_t}+\ln (k-1)$

⑥计算新的权重向量 $w_i^{t+1}=w_i^t\·\exp (a_t\·[h_t\left(x_i\right)\≠y_i\left]\right)$

⑦归一化

步骤三：最终强分类器

       $h_f\left(x\right)=\arg \underset{y\∈Y}{\max }\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{a}_t\·[h_t\left(x_t\right)=y_t]$

和SAMME算法一样，SAMME.R算法要求弱分类器h_t(x)的性能只要比随机猜测好就可以被接受，而不是Adaboost.M1要求的必须有多于一半的样本被正确分类。在k分类问题中，SAMME算法仅要求弱分类器的正确率大于1/k。而提出SAMME.R算法不仅要求弱分类器的正确率要大于1/k，而且还要大于任意分到其他类的概率Adaboost.M1算法中要求弱分类器的正确率要大于任意分到其他类的概率之和。因此，提出的算法，对弱分类器的要求会比SAMME严格一点，但显然要比Adaboost.M1中对弱分类器的要求松的多。

对SAMME算法的改进，并未影响其满足的向前梯度添加模型。因此，SAMME.R算法同样满足贝叶斯最佳分类规则。

对比实验表明，提出的SAMME.R算法的结果要好于SAMME算法，并达到了不弱于Adaboost.M1算法的效果。不但使其更容易应用到实际应用中，同时提高了其分类的准确性。

1.SAMME.R算法数学分析

针对多分类问题，对Adaboost.M1、SAMME、SAMME.R算法的有效性进行数学分析。

Adaboost.M1算法中，在k分类问题中，若采用简单投票法构成强分类器，即则对任意训练集S_t，输出一个最大错误率为的分类器h_t(x)，h_t(x):x→{1,...,k}，相互独立选取不同的S_t得到不同的h_t(x)。定义随机变量序列Z_t：

       $Z_t=\left\{\begin{array}{ccc}+1,& \mathrm{if}& h_t\left(x\right)=y\\ -1,& \mathrm{if}& h_t\left(x\right)\≠y\end{array}\right.$

则Z_t是一个均值为μ_t＝E(Z_t)＝1-2ε_t，方差为的随机变量。记 $\mathrm{\μ}=\frac{1}{T}{\mathrm{\Σ}}_{t=1}^T{\mathrm{\μ}}_t,{\mathrm{\δ}}^2=\frac{1}{T}{\mathrm{\Σ}}_{t=1}^T{\mathrm{\δ}}_t^2.$

由训练集的独立性可认为Z_t是独立的，于是由大数定理，有：

       ${\lim }_{t\→\∞}P\left(\right|\frac{1}{T}{\mathrm{\Σ}}_{t=1}^T(Z_t-{\mathrm{\μ}}_t)|\≤\mathrm{\ϵ})=1$

即依概率收敛于 $\mathrm{\μ}=\frac{1}{T}{\mathrm{\Σ}}_{t=1}^T{\mathrm{\μ}}_t=\frac{1}{T}{\mathrm{\Σ}}_{t=1}^T(1-2{\mathrm{\ϵ}}_t)\≥2\mathrm{\γ}.$

根据Z_t的定义，当T→∞，对任意实例x，满足h_t(x)＝y比h_t(x)≠y的h_t(x)个数平均多μ个，采取简单投票法，对x的分类错误率将趋于零。

SAMME算法中，在k分类问题中，若采用简单投票法构成强分类器，即则对任意训练集S_t，输出一个最大错误率为的分类器h_t(x)，h_t(x):x→{1,...k}，相互独立选取不同的S_t得到不同的h_t(x)。定义随机变量序列Z_t：

       $Z_t=\left\{\begin{array}{ccc}+1,& \mathrm{if}& h_t\left(x\right)=y\\ -1,& \mathrm{if}& h_t\left(x\right)\≠y\end{array}\right.$

则Z_t是一个均值为μ_t＝E(Z_t)＝1-2ε_t，方差为的随机变量。记 $\mathrm{\μ}=\frac{1}{T}{\mathrm{\Σ}}_{t=1}^T{\mathrm{\μ}}_t,{\mathrm{\δ}}^2=\frac{1}{T}{\mathrm{\Σ}}_{t=1}^T{\mathrm{\δ}}_t^2.$

由训练集的独立性可认为Z_t是独立的，于是 ${\mathrm{\δ}}^2=\frac{1}{T}{\mathrm{\Σ}}_{t=1}^{T}4{\mathrm{\ϵ}}_t(1-{\mathrm{\ϵ}}_t)\≤\frac{4}{k}-\frac{4}{k^2}+4k-\frac{8\mathrm{\γ}}{k}-4{\mathrm{\γ}}^2,$ 由大数定理，有：

       ${\lim }_{t\→\∞}P\left(\right|\frac{1}{T}{\mathrm{\Σ}}_{t=1}^T(Z_t-{\mathrm{\μ}}_t)|\≤\mathrm{\ϵ})=1,$

即依概率收敛于 $\mathrm{\μ}=\frac{1}{T}{\mathrm{\Σ}}_{t=1}^T{\mathrm{\μ}}_t=\frac{1}{T}{\mathrm{\Σ}}_{t=1}^T(1-2{\mathrm{\ϵ}}_t)\≥-1+\frac{2}{k}+2\mathrm{\γ}.$

当k＞2时，μ不一定大于0，根据Z_t的定义，当T→∞，对任意实例x，满足h_t(x)＝y的h_t(x)个数，不一定比满足h_t(x)≠y的h_t(x)个数多，采取简单投票法，对x的分类错误率可能不会趋于零。

因此，提出了SAMME.R算法，在k分类问题中，若采用简单投票法构成强分类器，即则对任意训练集S_t，输出一个最大错误率为的分类器h_t(x)，h_t(x)分类到k类的最小概率分别为且γ₁+γ₂+…+γ_k＝0。SAMME.R算法中要求，若h_t(x)＝m,m∈{1,2,...,k}，则n∈{1,2,...,m-1,m+1,...,k}。设h_t(x)＝m的概率为p，则h_t(x)＝n的概率为q，p-q＝d，d≥0。

定义随机变量序列Z_t：

       $Z_t=\left\{\begin{array}{ccc}+1,& \mathrm{if}& h_t\left(x\right)=m\\ 0,& \mathrm{if}& h_t\left(x\right)\≠m,n\\ -1,& \mathrm{if}& h_t\left(x\right)=n\end{array}\right.$

则Z_t是一个均值为μ_t＝E(Z_t)＝d，方差为的随机变量。记 $\mathrm{\μ}=\frac{1}{T}{\mathrm{\Σ}}_{t=1}^T{\mathrm{\μ}}_t,{\mathrm{\δ}}^2=\frac{1}{T}{\mathrm{\Σ}}_{t=1}^T{\mathrm{\δ}}_t^2.$

由训练集的独立性可认为Z_t是独立的，于是 ${\mathrm{\δ}}_t^2=\frac{1}{T}{\mathrm{\Σ}}_{t=1}^T(-2p(d+d^2)+{2d}^2+d^3+d)\≤\frac{2(d+d^2)}{k}-2{\mathrm{\γ}}_m(d+d^2)+d^3+2d^2+d,$ 由大数定理，有：

       ${\lim }_{t\→\∞}P\left(\right|\frac{1}{T}{\mathrm{\Σ}}_{t=1}^T(Z_t-{\mathrm{\μ}}_t)|\≤\mathrm{\ϵ})=1$

即依概率收敛于 $\mathrm{\μ}=\frac{1}{T}{\mathrm{\Σ}}_{t=1}^T{\mathrm{\μ}}_t=\frac{1}{T}{\mathrm{\Σ}}_{t=1}^T({\mathrm{\γ}}_{\mathrm{mt}}-{\mathrm{\γ}}_{\mathrm{nt}})\≥d.$ 根据Z_t的定义，当T→∞，对任意实例x，满足h_t(x)＝m比的h_t(x)个数平均多d个，采取简单投票法，对x的分类错误率将趋于零。

2.实验

在Yale人脸库和UCI数据集上，对SAMME.R、SAMME、以及AdaboostM1算法进行比较测试。在Yale、Segmentation、Vowel、Balance-scale、Ecoli、Wine、Yeast，这七个数据集上进行了测试。其中，Segmentation数据集和Vowel数据集预先指定了训练集和测试集的内容。其他的数据集，随机挑选一半的样本作为训练集，其余部分作为测试集。数据集的基本情况如下表所示：

      

数据集	训练集	测试集	属性数	类别数
					Segmentation	210	2100	19	7
Vowel	528	462	10	11
					Balance-scale	105	520	4	3
Ecoli	162	165	7	5
					Wine	88	90	13	3
Yeast	740	744	8	10
					Yale	90	75	256	15

用最近邻的方法作为弱分类器。在上述数据集上进行的实验中，采用了5次实验取平均值的办法，分别计算了SAMME.R算法、SAMME算法以及Adaboost.M1算法，在200次迭代、400次迭代、和600次迭代时的分类识别的错误率，实验结果如下表所示。

      

在Segmentation、Balance-scale、Ecoli、Wine、Yeast、Yale数据库上，SAMME.R算法得出的结果都要优于SAMME算法和Adaboost.M1算法。只有在Vowel数据集上的表现不如Adaboost.M1算法，但SAMME.R的效果，仍然要比SAMME算法要好。

在这些数据集上的测试外，还在Letter、Nursery、Pendigits、Satimage这几个数据集上进行了实验，由于实验过程中，未出现SAMME.R中需要重新训练弱分类器的情况，所以在这四个数据集上SAMME.R算法相当于SAMME算法。

在人脸库等数据集上的对比实验表明，提出的SAMME.R算法的结果要好于SAMME算法，并且有效的提高了人脸识别准确率。

Claims (1)

1.基于Adaboost算法的人脸识别优化方法，其特征在于：

首先对人脸图像进行特征提取和降维，即利用(2D)²PCA算法对图像进行特征提取和降维，同时在行与列上对图像矩阵进行降维，进一步降低特征向量的维数，有效降低问题的时间复杂度；

用降维后的矩阵数据，使用SAMME.R算法进行识别分类；该方法是把对弱分类器正确率的要求降低到大于for j＝1,...,K 1/k，保证提供足够多的弱分类器参与集成；在训练弱分类器时，判断该弱分类器的结果，在所有同属一类的样本的分类中，正确分类的样本的权值和，是否比分到其他任意一类的权值和大；如果满足该条件则继续进行权值调整和下一次迭代；如果不满足，由于训练出的弱分类器不够好，达不到要求，所以在权值不变的情况下重新训练弱分类器，然后再次判断新的弱分类器是否满足上边所述的条件，如果满足进入下一次调整，不满足继续重新训练弱分类器，不断优化弱分类器的质量，从而逼近最优强分类器；得到最终的强分类器有效提高了人脸识别的准确率；

其具体步骤如下：

步骤一：数据初始化

1.1)对人脸库中的所有图像进行归一化处理，归一化的操作是指先把图像统一大小为32×32灰度值矩阵，得到大小为1024×1的灰度值矩阵，用(2D)²PCA算法降维得到大小为256×1的矩阵；初始化权值i＝1,...,m；其中m是图像个数；

步骤二：循环处理过程

2.1)for 1,...,T，执行以下7步：

①按照权值w^t，选择图像样本；

②对样本进行分类识别，h_t:X→Y；即将每个样本用最近邻弱分类器

进行分类识别，其中X是样本,Y是样本分类结果；

③for k＝1,...,K，执行以下2步；进行权值调整；

(1)循环计算各类中，分到各类样本的权值和

for j＝1,...,K

${\mathrm{\γ}}_{\mathrm{tkj}}={\mathrm{\Σ}}_{i=1}^m{w}_i^t[y_i=k,h_i\left(x_i\right)=j]$

(2)判断各类中分类正确的样本权值和是否大于分到

$1-{\mathrm{\ϵ}}_t=\frac{1}{k}+r_t>0{\mathrm{\Σ}}_{i=1}^m[h_t\left(x_i\right)\≠y_i]/{\mathrm{mx}}_i$

其他各类样本的权值和

${\mathrm{\γ}}_{\mathrm{tkj}}[h_t\left(x_i\right)=j]>=\∀{\mathrm{\γ}}_{\mathrm{tkj}}[h_t\left(x_i\right)\≠j]$

若满足，则进行下一次循环；

若不满足，则返回步骤二重新开始计算；

其中K是采样个数；

④计算h_t的伪错误率：用于判断算法的的识别效果；

⑤置 $a_t=\ln \frac{{\mathrm{\ϵ}}_t}{1-{\mathrm{\ϵ}}_t}+\ln (k-1),$ 算法收敛阈值；

⑥计算新的权重向量用于后续图像的选择；

⑦归一化权值使之在0-1范围内；

其中T为迭代次数；

步骤三：最终强分类器

3.1)

$h_f\left(x\right)=\arg \underset{y\∈Y}{\max }\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{a}_t\·[h_t\left(x_t\right)=y_t]$

其中h_f(x)为最终生成的强分类器，用于人脸识别分类，输出分类结果；x为输入的人脸头像数据，T为迭代次数，h_t(x_t)为弱分类器，y_i为类别标号。