CN101976360B - 基于多级分类的稀疏表征人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于多级分类的稀疏表征人脸识别方法，主要解决现有人脸识别方法不能有效运用于多类别人脸识别的缺点。其实现过程为：(1)将用于训练的人脸数据库随机分成n个子库，分别对每个子库进行降维，保留降维后的训练人脸数据和对应每个子库的变换矩阵；(2)输入测试人脸图像，利用各子库的变换矩阵对其进行降维，保留降维后的测试人脸数据；(3)用降维后的测试人脸数据与各子库中的训练人脸数据作内积运算，内积最大的前k个子库作为候选子库，使搜索范围缩小到这k个子库中；(4)分别在k个子库中对人脸进行识别，确定测试人脸图像所属的类别。本发明与现有技术相比能有效地提取人脸特征，降低计算复杂度，适用于多类别人脸识别。

Description

基于多级分类的稀疏表征人脸识别方法

技术领域

本发明属于图像处理技术领域，涉及一种稀疏表征人脸识别方法，可用于公安刑侦破案、门禁系统或摄像监视系统等领域中的身份确认或查找。

背景技术

人脸识别特指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术。人脸识别是模式识别、机器学习和计算机视觉领域最具挑战性的研究方向之一，是一个高维的模式识别问题。因此人们往往将人脸图像提取特征，在低维的子空间进行判别。到目前为止，各种特征提取的方法在人脸识别领域得到了广泛的应用。

最近，Wright等人提出一种基于信号的稀疏表示的人脸识别新方法SRC，成功地将压缩感知理论应用于人脸识别。该方法基于采样稀疏信号表示理论，将人脸识别看作多个线性回归模型的分类问题，将测试样本看成训练库中同类样本的线性组合，对于整个样本集来说线性加权的系数自然是稀疏的，于是就可将稀疏重构问题转化为L1范数优化问题。但是该SRC方法存在有以下两方面的缺陷：

(1)由于没有进行特征提取，人脸图像的维数较大，于是在求解L1范数时，计算的复杂度很大；

(2)在人脸类别数较大的情况下，SRC方法不能进行有效的识别。

Fisher线性判别分析方法可以有效地克服(1)中所述的缺陷，Fisher线性判别分析是在原始样本空间里找到某几个方向，使得把样本投影到该方向上后分开的效果最好，即根据实际情况找到最易于分类的投影线，其基本思想是使样本的类内距离尽量小，类间距离尽量大。对于c分类问题，它能找到c-1个投影方向，从而把维数压缩到c-1，因此，该方法不仅能有效地融合训练样本的类别信息，按照分类能力提取特征，还具有突出的数据压缩能力，能够有效的降低后续处理的数据量。

采用Fisher特征提取的稀疏表征人脸识别过程如图2所示。该方法虽然能够有效地提取人脸特征，降低计算复杂度，但是在人脸类别数较多的情况下，该方法的识别率就会降低。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种基于多级分类的稀疏表征人脸识别方法，以降低人脸图像的维数，减小计算的复杂度，并且在人脸类别数较多的情况下，提高识别率。

实现本发明的目的技术方案是采用Fisher特征提取的方法对人脸图像进行降维，从而降低计算的复杂度，并在Fisher特征提取方法的基础上利用多级分类的策略，分别对每组实施特征提取，构造一种准则将人脸图像搜索范围缩减到很少的几组之上，以在减小计算复杂度的同时实现对多类别人脸的有效识别。具体步骤包括如下：

(1)将用于训练的人脸数据库随机的分成n个子库，n取4，分别对每个子库运用Fisher准则实现降维，保留降维后的训练人脸数据和对应每个子库的变换矩阵W；

(2)输入测试人脸图像，分别在各子库的变换矩阵W下进行矩阵变换，快速实现降维，并保留降维后的测试人脸数据

(3)用降维后的测试人脸数据与各子库中的训练人脸数据B作内积运算，选择内积值最大的前k个子库作为候选子库，使搜索范围缩小到这k个子库中，k取2；

(4)分别在k个子库中运用基于信号的稀疏表示的人脸识别方法SRC对人脸进行识别，确定测试人脸图像所属的类别。

本发明与现有技术相比具有如下优点：

1.有效地提取人脸特征，降低计算复杂度

本发明由于运用Fisher准则对人脸图像进行特征提取，实现了降维，因此有效地降低了在运用基于信号的稀疏表示的人脸识别方法SRC对人脸进行识别时的计算复杂度。Fisher线性判别分析是在原始样本空间里找到某几个方向，使得把样本投影到该方向上后分开的效果最好，即根据实际情况找到最易于分类的投影线。其基本思想是使样本的类内距离尽量小，类间距离尽量大。对于c分类问题，它能找到c-1个投影方向，从而把维数压缩到c-1。因此，该方法不仅能有效地融合训练样本的类别信息，按照分类能力提取特征，还具有突出的数据压缩能力，能够有效的降低后续处理的数据量。

2.适用于多类别人脸识别情况。

本发明通过引入多级分类的策略使得Fisher方法的应用范围更广，由于多级分类策略能够将多类别的人脸数据库分成适当的若干小组，因而克服了Fisher方法在多类别情况下降维效果不明显的局限性，提高了人脸的识别率。

附图说明

图1是本发明基于多级分类的稀疏表征人脸识别过程图。

图2是现有采用Fisher特征提取的稀疏表征人脸识别过程图。

具体实施方式

参照图1，本发明的实施步骤如下：

步骤1，将用于训练的人脸数据库随机的分成n个子库，n取4，并按照如下步骤分别对每个子库中的训练人脸图像运用Fisher准则实现降维：

(1a)设子库中的训练人脸图像样本集为：X＝{x_i}，i＝1，2，...，N，其中，N为子库中训练人脸图像的总数目，子库中训练人脸图像的类别数为c，计算子库中的训练人脸图像样本的类间散步矩阵S_b和类内散步矩阵S_w：

$S_b=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{n}_i({\mathrm{\μ}}_i-\mathrm{\μ}){({\mathrm{\μ}}_i-\mathrm{\μ})}^T$

$S_w=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{x\∈D_i}{\mathrm{\Σ}}(x-{\mathrm{\μ}}_i){(x-{\mathrm{\μ}}_i)}^T$

其中，n_i为第i类训练人脸图像的数目，μ_i是第i类人脸图像的均值，μ是所有人脸图像的均值，D_i是第i类训练人脸图像样本的集合，x是D_i中的一幅人脸图像；

(1b)计算准则函数J(W)：

$J\left(W\right)=\frac{\left|W^T{S}_{b}W\right|}{\left|W^T{S}_{w}W\right|}$

其中，W是一个使得准则函数J(W)取得最大值的最优矩阵；

(1c)设最优矩阵W的第i个列向量为w_i，则w_i是下列等式中的最大特征值所对应的特征向量：

S_bw_i＝λ_iS_ww_i，其中λ_i是特征值

由于S_b是c个秩为1或0的矩阵的和，其中只有c-1个矩阵是相互独立的，所以S_b的秩为c-1或更低，这样非零的特征值至多只有c-1个，对应的特征向量也就至多有c-1个，也就是最优矩阵W最多有c-1个列向量；

(1d)将子库中的训练人脸图像分别投影到最优矩阵W的c-1个列向量上，得到投影后的训练人脸图像，其维数为c-1，从而实现对训练人脸图像的降维，保留降维后的训练人脸数据和对应每个子库的变换矩阵W。

步骤2，对测试人脸图像y降维

设测试人脸图像y的大小为u*v，各子库的变换矩阵W的大小为m*(c-1)，将测试人脸图像拉伸成一个m维的列向量，其中m＝u*v，分别对各子库的变换矩阵W求转置，得到(c-1)*m大小的变换矩阵W′，用矩阵W′乘以拉伸后的测试人脸图像y，得到维数为c-1的测试人脸数据：

从而实现对测试人脸图像的降维。

步骤3，确定候选子库，以缩小搜索范围

设各子库的训练人脸数据为：B＝[b₁，b₂，...，b_P]，用降维后的测试人脸数据

与各子库中的训练人脸数据B作内积运算，得到测试人脸数据

与各子库的内积值P：

$P=\max {\tilde{y}}^T{b}_i,$ i＝1，2，...，p

选择内积值最大的前k个子库作为候选子库，使搜索范围缩小到这k个子库中，k取2。

步骤4，分别在k个子库中运用基于信号的稀疏表示的人脸识别方法SRC对人脸进行识别，确定测试人脸图像所属的类别：

(4a)求解测试人脸图像的稀疏表示向量

通过以下两种方式之一求解：

方式一：

方式二：

${\hat{x}}_1=\min {\left|\right|x\left|\right|}_1\mathrm{subjectto}{\left|\right|\tilde{y}-\tilde{B}x\left|\right|}_2\≤\mathrm{\ϵ},$ $\tilde{B}=\left[\begin{array}{cc}B& I\end{array}\right]$

其中，I为单位矩阵，x为待求解的测试人脸图像的稀疏表示向量，ε为误差阈值；

(4b)针对每一个人脸类别i，根据测试人脸图像的稀疏表示向量

计算残差

$r_i\left(\tilde{y}\right)=\left|\right|\tilde{y}-{\mathrm{BT}}_i\left({\hat{x}}_1\right)\left|\right|$

其中

是由稀疏表示向量

得到的新向量，在该向量中，第i类人脸所对应的元素项与稀疏表示向量

中相应的元素项相同，其他元素项均为零；

(4c)用残差最小的类别作为最终的人脸类别的识别结果：

本发明的优点由以下仿真的数据进一步说明

1.仿真条件

(1)选取Extended Yale B人脸数据库进行仿真实验，并将本发明的方法和基于Fisher特征提取的人脸识别方法的识别性能做比较。

(2)Extended Yale B人脸数据库由38类共2414幅图像构成，选择其中的1216幅图像作为训练人脸图像，剩余的1198幅图像作为测试人脸图像。

(3)仿真实验中训练人脸数据库被分成4个子库，即n＝4。

(4)仿真实验中4个子库分别包含10、10、10和8类训练人脸图像，降维后的特征维数分别为9、9、9和7，各训练人脸图像的数目分别为：320、320、320和256。

2.仿真内容与结果

(1)利用现有基于Fisher特征提取的人脸识别方法进行仿真实验，其结果如表1所示：

表1基于Fisher特征提取的人脸识别方法的识别率及识别时间

特征维数	30	31	32	33	34	35	36	37
									识别率	0.9249	0.9307	0.9341	0.937	0.9366	0.9391	0.9516	0.9574
识别时间	0.1854	0.1896	0.1903	0.1998	0.2001	0.2036	0.2133	0.2204

其中识别时间指单幅人脸的识别时间，即总识别时间除以测试人脸图像数目。

从表1可见，当特征维数取30和37之间时，基于Fisher特征提取的人脸识别方法的平均识别时间约为0.2003(s)，平均识别率约为0.9389。

(2)利用本发明的方法进行仿真实验，将训练人脸数据库分成4个子库，4个子库分别包含10、10、10和8类训练人脸图像，降维后的特征维数分别为9、9、9和7，各训练人脸图像的数目分别为：320、320、320和256，选择不同的测试人脸图像数目进行8次实验，其结果如表2所示：

表2本发明的人脸识别方法的识别率及识别时间

测试人脸图像数目	1198	1175	1150	1125	1100	1075	1050	1025
									识别率	0.9466	0.9478	0.9399	0.9401	0.9503	0.9456	0.9468	0.9557
识别时间	0.1051	0.0998	0.1032	0.1102	0.1078	0.1098	0.1086	0.1115

其中识别时间指单幅人脸的识别时间，即总识别时间除以测试人脸图像数目。

从表2可见，本发明的方法的平均识别时间为0.1070(s)，平均识别率为0.9466(s)。由于引入了多级分类策略，利用本发明的方法进行人脸识别，在降低计算复杂度的同时，能够较好地保持识别率。

(3)候选子库个数k的选取影响最终人脸识别率的仿真实验

本次仿真是在Extended Yale B人脸数据库的基础上，将训练人脸数据库随机分成4个子库，分别对各个子库运用Fisher准则实现降维，再在此基础上考察按照内积最大原则选取的候选子库的个数k对最终人脸识别率的影响，其结果如表3所示：

表3按照内积最大原则选取候选子库的错选率及最终人脸识别率

其中，候选子库错选率是指在选择子库的时候，测试人脸的正确类别没有被选入候选子库的概率。

从表3可见，k值取2时最终的人脸识别率最高，高于k取3时的人脸识别率，所以k值并不是越大越好，因为k值过大会引入错误子库的干扰，从而影响最终的人脸识别率。

综上所述，本发明的基于多级分类的稀疏表征人脸识别方法，不仅保留了Fisher特征提取方法在人脸特征提取中降维的优势，还能在多类别人脸数据库的情况下有效的运用Fisher特征提取方法，使得基于信号的稀疏表示的人脸识别方法SRC能够得到更好的运用。

Claims (4)

1.一种基于多级分类的稀疏表征人脸识别方法，包括如下步骤：

(1)将用于训练的人脸数据库随机的分成n个子库，n取4，分别对每个子库运用Fisher准则实现降维，保留降维后的训练人脸数据和对应每个子库的变换矩阵W;

(2)输入测试人脸图像，分别在各子库的变换矩阵W下进行矩阵变换，快速实现降维，并保留降维后的测试人脸数据

(3)用降维后的测试人脸数据与各子库中的训练人脸数据B作内积运算，选择内积值最大的前k个子库作为候选子库，使搜索范围缩小到这k个子库中，k取2;

（4）分别在k个子库中运用基于信号的稀疏表示的人脸识别方法SRC对人脸进行识别，确定测试人脸图像所属的类别。

2.根据权利要求1所述的人脸识别方法，其中步骤(1)所述的分别对每个子库运用Fisher准则实现降维，按照如下步骤进行：

(2a)设子库中的训练人脸图像样本集为:X={x_i}，i=1,2,...,N，其中，N为子库中训练人脸图像的总数目，子库中训练人脸图像的类别数为c，计算子库中的训练人脸图像样本的类间散步矩阵S_b和类内散步矩阵S_w：

$S_b=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{n}_i({\mathrm{\μ}}_i-\mathrm{\μ}){({\mathrm{\μ}}_i-\mathrm{\μ})}^T$

$S_w=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{x\∈D_i}{\mathrm{\Σ}}\left({x-\mathrm{\μ}}_i\right){\left({x-\mathrm{\μ}}_i\right)}^T$

其中，n_i为第i类训练人脸图像的数目，μ_i是第i类人脸图像的均值，μ是所有人脸图像的均值，D_i是第i类训练人脸图像样本的集合，x是D_i中的一幅人脸图像；

(2b)计算准则函数J(W):

$J\left(W\right)=\frac{\left|W^T{S}_{b}W\right|}{\left|W^T{S}_{w}W\right|}$

其中，W是一个使得准则函数J(W)取得最大值的最优矩阵；

(2c)设最优矩阵W的第i个列向量为w_i，则w_i是下列等式中的最大特征值所对应的特征向量：

S_bw_i=λ_iS_ww_i，其中λ_i是特征值

由于S_b是c个秩为1或0的矩阵的和，其中只有c-1个矩阵是相互独立的，所以S_b的秩为c-1或更低，这样非零的特征值至多只有c-1个，对应的特征向量也就至多有c-1个，也就是最优矩阵W最多有c-1个列向量；

(2d)将子库中的训练人脸图像分别投影到最优矩阵W的c-1个列向量上，得到投影后的训练人脸图像，其维数为c-1，从而实现对训练人脸图像的降维。

3.根据权利要求1所述的人脸识别方法，其中步骤(4)所述的分别在k个子库中运用基于信号的稀疏表示的人脸识别方法SRC对人脸进行识别，按照如下步骤进行：

(3a)按下式求解测试人脸图像的稀疏表示向量

${\hat{x}}_1=\min {\left|\right|x\left|\right|}_1\mathrm{subject\; to}{\left|\right|\tilde{y}-\mathrm{Bx}\left|\right|}_2\≤\mathrm{\ϵ}$

其中，x为待求解的测试人脸图像的稀疏表示向量，ε为误差阈值，

是测试人脸数据；

(3b)针对每一个人脸类别i，计算残差

$r_i\left(\tilde{y}\right)=\left|\right|\tilde{y}-B{T}_i\left({\hat{x}}_1\right)\left|\right|$

其中

是由稀疏表示向量

得到的新向量，在该向量中，第i类人脸所对应的元素项与稀疏表示向量

中相应的元素项相同，其他元素项均为零;

(3c)用残差最小的类别作为最终的人脸类别的识别结果：

$\mathrm{Identity}\left(y\right)=\arg \min r_i\left(\tilde{y}\right),$

是测试人脸数据。

4.根据权利要求1所述的人脸识别方法，其中步骤(4)所述的分别在k个子库中运用基于信号的稀疏表示的人脸识别方法SRC对人脸进行识别，按照如下步骤进行：

(4a)按下式求解测试人脸图像的稀疏表示向量

${\hat{x}}_1=\min {\left|\right|x\left|\right|}_1\mathrm{subject\; to}{\left|\right|\tilde{y}-\tilde{B}x\left|\right|}_2\≤\mathrm{\ϵ},\tilde{B}=\left[\begin{array}{cc}B& I\end{array}\right]$

其中I为单位矩阵，x为待求解的测试人脸图像的稀疏表示向量，ε为误差阈值；

(4b)针对每一个人脸类别i，根据测试人脸图像的稀疏表示向量

计算残差

$r_i\left(\tilde{y}\right)=\left|\right|\tilde{y}-B{T}_i\left({\hat{x}}_1\right)\left|\right|$

其中是由稀疏表示向量

得到的新向量，在该向量中，第i类人脸所对应的元素项与稀疏表示向量

中相应的元素项相同，其他元素项均为零；

(4c)用残差最小的类别作为最终的人脸类别的识别结果：

$\mathrm{Identity}\left(y\right)=\arg \min r_i\left(\tilde{y}\right),$

是测试人脸数据。

Images