CN102768732B - 融合稀疏保持映射和多类别属性Bagging的人脸识别方法 - Google Patents

Abstract

融合稀疏保持映射和多类别属性Bagging的人脸识别方法属于模式识别技术领域。根据压缩感知理论提出的稀疏保持映射的方法已经应用到了人脸识别中并且取得了较高的识别率。在识别领域中，分类算法的性能对于最终的分类效果具有重要影响，而目前的一些基于稀疏保持映射的方法在分类时基本采用的是单一分类器，为了通过增强分类算法的性能来进一步提高识别率，本发明在实现属性Bagging算法时，本发明以Radon变换的角度作为实例的属性来构建训练样本并在其上进行基分类器的训练。通过在耶鲁和AR人脸库的实验，验证了本发明所提出的方法的可行性和有效性。

Description

融合稀疏保持映射和多类别属性Bagging的人脸识别方法

技术领域

本发明属于模式识别技术领域，具体涉及一种融合稀疏保持映射和多类别属性Bagging的人脸识别的新方法，是一种利用计算机技术、数字图象处理技术、模式识别等实现人脸的自动分析与判别的方法，是生物特征识别领域中关于人脸特征提取与识别的算法。

背景技术

一、稀疏保持映射

特征提取可以降低模式识别系统的代价，是模式识别领域的关键问题之一，它要使信号在低维空间中能够保持高维空间中的特性。稀疏保持映射是一种有效的特征提取方法，它的基本思想是首先计算出信号的稀疏表示（稀疏权向量），然后通过解决利用稀疏表示重构出的信号逼近原始信号的优化问题找到映射矩阵，并用该矩阵将高维信号投影到低维空间以完成特征提取。

二、两类问题属性Bagging算法

在属性Bagging算法中，共进行T轮训练，每一轮训练对属性集进行有放回的重抽样，根据每一轮抽样出的属性集，对原始训练集中的样本进行改造，即对于每个样本，只使用该轮中抽到的属性重新构成一个样本来代替原始样本，并重新组成每轮训练中的训练集。在每轮的新训练集上用分类算法训练出一个基分类器。最终，对测试集中的样本或未知的样本，根据T个基分类器的输出用投票法决定出最终的分类结果。

三、图像的Radon变换

属性Bagging算法需要进行属性抽取，本文将Radon变换的角度作为实例的属性。

二元函数f(x,y)的Radon变换定义为：

$R_{\mathrm{\θ}}\left(x^{\′}\right)={\∫}_{-\∞}^{+\∞}f(x^{\′}\cos \mathrm{\θ}-y^{\′}\sin \mathrm{\θ},x^{\′}\cos \mathrm{\θ}+y^{\′}\sin \mathrm{\θ}){\mathrm{dy}}^{\′}$

$\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right)=\left(\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)$

其中x′为投影到的轴，θ为投影角度。Radon变换具有平移和旋转不变性，它的作用是计算图像在某个方向上的投影，并将二维信号转换为一维信号。

发明内容

本发明的内容是提出了一种融合稀疏保持映射和多类别属性Bagging算法的人脸识别方法。在实现属性Bagging算法时，本发明以Radon变换的角度作为实例的属性来构建训练样本，并在其上进行基分类器的训练。通过在耶鲁和AR人脸库的实验，验证了本文所提出的方法的可行性和有效性。

本发明的技术内容如下：

本发明将Radon变换的角度作为实例的属性。Radon变换计算原始信号在指定的角度上的映射，并将二维信号变为一维信号。将Radon变换的角度作为属性，每当抽取到一个角度的时候，就在该角度上对原始信号进行Radon变换。当抽取多个属性时，顺次在这多个属性所对应的角度上进行完Radon变换，并将这些Radon变换后的结果顺次连接起来，形成新的信号来代替原始信号，使用稀疏保持映射的方法进行降维，识别。这样算是一次基分类器的识别结果，整合多次基分类器的识别结果，形成最终集成分类器的识别结果，其中基分类器的分类使用最近邻（1-NN）算法实现。

一个融合稀疏保持映射和多类别属性Bagging的人脸识别方法，该方法的步骤包括：确定原始属性集、确定重抽样属性集、进行降维处理及训练基分类器、用集成分类器对样本进行分类。其具体步骤如下：

步骤一、确定原始属性集

用角度作为原始属性集中的元素，确定原始属性集。

步骤二、确定重抽样属性集合中的个数为N，确定迭代次数T。T取10~50，N取10~25；

从原始属性集中抽取N个属性作为样本新的属性，由于是有放回的抽取，故有些角度会重复出现，有些角度就不会出现。

步骤三、利用稀疏保持映射进行特征提取同时训练基分类器。

对原始图像按抽取的角度依次进行Radon变换，然后将结果顺次连接成为一维信号。并利用稀疏保持映射方法对一维信号进行降维处理：

映射矩阵W要将原本在高维空间中的数据投影到低维空间，而且经过映射以后，原始信号在高维空间中拥有的一些主要特性在低维空间中也要被保存。在稀疏保持映射中，要保存的最主要的特性就是通过稀疏权向量重建出的信号要尽可能的逼近原始信号，即要满足

$\min \underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|W^T(x_i-X{s}_i)\left|\right|}^2$

其中W^T为映射矩阵的转置，x_i为第i个样本，s_i为x_i的稀疏权向量，n为样本数。

可以推导出W是广义的特征向量问题

XS_βX^TW=λXX^TW

的d个最大特征值所对应的特征向量，其中S_β＝S+S^T-S^TS，X是训练集的集合，S是稀疏权矩阵。利用映射矩阵W将高维数据投影到低维空间，即可进行识别。

用最近邻（1-NN）分类算法对低维空间中的图像信号进行分类，计算基分类器h_t对应的权值a_t：

$a_t=\frac{1}{2}\ln \left|\frac{1+r_t}{1-r_t}\right|$

其中，m为基分类器中训练样本的个数，对于其中第i个样本x_i，若该样本在基分类器h_t下分类正确，则令f(x_i)=1,若分类不正确则令f(x_i)=-1，t为迭代次数，取值为1…T。

对T个权值进行归一化处理：

${a_t}^{\′}=a_t/\underset{i=1}{\overset{T}{\mathrm{\Σ}}}{a}_i$

其中a′_t为归一化后的基分类器的权值，t为迭代次数，取值为1…T。

步骤四、集成分类器进行分类识别

将所有的基分类器组成最终的综合分类器，对测试样本，用综合分类器进行分类，其最终分类结果如下：

$H\left(x\right)=\arg \underset{y\∈Y}{\max }\underset{t:h\left(x\right)=y}{\mathrm{\Σ}}{a}_t^{\′}\left|\right|h_t\left(x\right)=y\left|\right|$

其中，Y为类别集合，y∈Y；t为迭代次数，取值为1…T。当基分类器h_t的分类结果与y相同时，‖h_t(x)=y‖=1，反之为‖h_t(x)=y‖=0。

附图说明

图1是本发明算法的流程图。

图2Yale数据库的识别率。

图3AR数据库的识别率

具体实施方式

下面详细给出该发明技术方案中所涉及的各个细节问题的说明：

我们采用的数据库是Yale人脸数据库和AR人脸数据库，这两个数据库中只包含人脸图像，本发明要做的工作是在这基础上进行特征提取和识别操作。

步骤一、确定重抽样的原始属性集合

将Radon变换的角度作为样本的属性，则待重抽样的原始属性集合包含的是0°~360°之间的角度数，假设原始属性集合Attribute Set={0°，15°，30°，45°，60°，75°，90°，105°，120°，135°，150°，165°，180°，195°，210°，225°，240°，255°，270°，285°，300°，315°，330°，345°，360}。设有15个人的人脸图像，即类别M个数为15，每个人是一类。

步骤二、确定重抽样属性集合中的个数为25，确定迭代次数T=10

步骤三、利用稀疏保持映射进行特征提取同时训练基分类器

For t=1:10，迭代10次。每次迭代，执行以下三步：

第一次迭代，t=1:

Step1：从Attribute Set中有放回地抽样25次，每次抽取一个，得到属性集A₁={0°，15°，30°，120°，90°，135°，75°，90°，15°，30°，0°，0°，300°，285°，120°，300°，60°，90°，60°，60°，315°，330°，120°，105°，285°}，由于每次都是随机地有放回的抽取，故有些属性可能会出现多次，例如：0°，90°，有些属性可能不会出现，例如：165°，255°。每个训练样本实例X_i只按照属性集A₁中的角度进行Radon变换。这里，原始的图像X_i是用二维信号表示的，当X_i在任意角度上进行Radon变换后，都会变成一个一维的信号。对X_i顺次按照A₁中的角度进行Radon变换，会形成25个一维的信号，将这25个一维的信号顺次连接起来形成一个一维信号，设为Z_1i，则X_i用Z_1i来表示。

Step2：用稀疏保持映射的方法进行特征提取。该方法首先计算出训练集中每一个信号的稀疏权向量，计算稀疏权向量的方法是将原始信号用训练集中的全体训练样本组成的变换基进行变换，且要求经过变换以后的信号是所有能够找到的变换信号中最稀疏的一个；然后将所有训练样本的稀疏权向量组合成稀疏权矩阵；最后利用稀疏权向量重构出的信号逼近原始信号的优化问题计算出映射矩阵。使用该映射矩阵将高维数据投影到低维空间，即可完成特征提取。

Step3：对所有信号进行特征提取以后，用1NN算法训练出基分类器h₁(x)→M，计算权值：

$a_1=\frac{1}{2}\ln \left|\frac{1+r_1}{1-r_1}\right|$

其中，r₁=h₁(x)正确分类的个数减去h₁(x)错误分类的个数除以h₁(x)所分类样本个数之和,M代表类别标号。

第十次迭代，t=10:

Step1：从Attribute Set中有放回地抽样25次，每次抽取一个，得到属性集A₁₀={90°，135°，75°，60°，15°，300°，285°，120°，300°，330°，60°，90°，60°，60°，315°，330°，135°，120°，105°，285°，300°，75°，330°，60°，60°}。对每个样本X_i顺次按照A₁₀中的角度进行Radon变换，会形成25个一维的信号，将这25个一维的信号顺次连接起来形成一个一维信号，设为Z_10i，则X_i用Z_10i来表示。

Step2：用稀疏保持映射的方法进行特征提取。该方法首先计算出训练集中每一个信号的稀疏权向量，计算稀疏权向量的方法是将原始信号用训练集中的全体训练样本组成的变换基进行变换，且要求经过变换以后的信号是所有能够找到的变换信号中最稀疏的一个；然后将所有训练样本的稀疏权向量组合成稀疏权矩阵；最后利用稀疏权向量重构出的信号逼近原始信号的优化问题计算出映射矩阵。使用该映射矩阵将高维数据投影到低维空间，即可完成特征提取。

Step3：对所有信号进行特征提取以后，用1NN算法训练出基分类器h₁₀(x)→M，计算权值：

$a_{10}=\frac{1}{2}\ln \left|\frac{1+r_{10}}{1-r_{10}}\right|$

其中，r₁₀=h₁₀(x)正确分类的个数减去h₁₀(x)错误分类的个数除以h₁₀(x)所分类样本个数之和，M代表类别标号。

步骤四、进行最终分类

对于任意测试样本x，

$H\left(x\right)=\arg \underset{y\∈M}{\max }\underset{t:h\left(x\right)=m}{\mathrm{\Σ}}{a}_t\left|\right|h_t\left(x\right)=m\left|\right|$

其中，M为类别集合，m∈M；t为迭代次数，取值为1…10。

步骤四中公式进一步说明如下：对于样本x，各个基分类器的分类情况如下：

h₁(x)->1，h₂(x)->2，h₃(x)->2，h₄(x)->3，h₅(x)->1，h₆(x)->2，h₇(x)->5，h₈(x)->10，h₉(x)->1，h₁₀(x)->3。

类别1的权值之和为：a₁+a₅+a₉；

类别2的权值之和为：a₂+a₃+a₆；

类别3的权值之和为：a₄+a₁₀；

类别5的权值之和为：a₇；

类别10的权值之和为：a₈；

其余类别标号权值为：0。

最终测试样本的类别标号为：权值之和最大对应的类别标号，

即：max{a₁+a₅+a₉，a₂+a₃+a₆，a₄+a₁₀，a₇，a₈}所对应的类别标号。当有两个或多个最大的权值之和，则给测试样本赋予这几种类别中的任意一个类别标号。

下面详述说明本发明的实验结果：

本发明的实验采用的数据库是Yale人脸数据库和AR人脸数据库。其中Yale数据库包含了15位志愿者，每位志愿者有11张图片，共165张图片，包含光照，表情和姿态的变换，实验中将每幅图像的大小归一化为32×32。AR数据库包括100位志愿者，其中50位男性志愿者和50位女性志愿者。每位志愿者有26张图片，我们从中选取14张无遮挡物的图片，共1400张，该库也包含光照，表情和姿态的变化，实验中将每幅图像的大小归一化为66×48。

为了验证融合稀疏保持映射和多类别分类问题属性Bagging的人脸识别方法，我们在Yale人脸数据库和AR人脸数据上进行了实验。其中在Yale人脸数据库进行实验室每个人选取6张图片作为训练集，剩下的5张作为测试集。在AR人脸数据库进行实验室每个人选取7张图片作为训练集，剩下的7张作为测试集。

图2和图3是取得的识别率的统计图，其中“Yale”是在Yale数据库上进行的实验“AR”是在AR数据库上进行的实验，而且这两个数据库的实验都采用了迭代10次，迭代15次和迭代20次三次实验。表1给出了在不同的迭代次数下在不同维数中的最高识别率。

表1.不同维数中的最高识别率

Claims (1)

1.一种融合稀疏保持映射和多类别属性Bagging的人脸识别方法，其特征在于，其具体步骤如下：

步骤一、确定原始属性集：

用Radon变换的角度作为原始属性集中的元素，确定原始属性集；

步骤二、确定迭代次数T以及重抽样属性个数N，T取10～50，N取10～25；

步骤三、利用稀疏保持映射进行特征提取同时训练基分类器：

首先对原始图像按抽取的角度依次进行Radon变换，将结果顺次连接成为一维信号；其次利用稀疏保持映射方法对一维信号进行降维处理；最后训练基分类器：

用最近邻分类算法对低维空间中的图像信号进行分类，计算基分类器h_t对应的权值：

其中，m为基分类器中训练样本的个数，对于其中第i个样本x_i，若该样本在基分类器h_t下分类正确，则令f(x_i)＝1,若分类不正确则令f(x_i)＝-1；

对T个权值进行归一化处理：

其中，a_t’为归一化后所对应基分类器的权值，t为迭代次数，取值为1…T；

步骤四、集成分类器进行分类识别

将所有的基分类器组成最终的综合分类器，对测试样本，用综合分类器进行分类，其最终分类结果如下：

其中，Y为类别集合，y∈Y；t为迭代次数，取值为1…T；当基分类器h_t的分类结果与y相同时，||h_t(x)＝y||＝1；当基分类器h_t的分类结果与y不同时，||h_t(x)＝y||＝0；

所述的对一维信号用稀疏保持映射方法进行降维处理的步骤如下：

在稀疏保持映射中，要保存的最主要的特性就是通过稀疏权向量重建出的信号要尽可能的逼近原始信号，即要满足：

其中W^T为映射矩阵W的转置，x_i为第i个样本，s_i为x_i的稀疏权向量，n为样本个数，X是训练集的集合；

W是广义的特征向量问题

XS_βX^TW＝λXX^TW

的d个最大特征值所对应的特征向量，其中S_β＝S+S^T-S^TS，X是训练集的集合，S是稀疏权矩阵。