CN102880875A - 基于lrr图的半监督学习人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于LRR图的半监督学习人脸识别方法。其步骤为：(1)划分数据库样本集；(2)组成样本集合；(3)生成初始标签矩阵；(4)低秩表示；(5)生成样本相似度矩阵；(6)生成类别概率矩阵；(7)输出测试样本的类别。本发明采用半监督学习的方法可以在已知标签样本较少的情况下获得更高的识别正确率，同时，本发明采用低秩表示的方法，在样本受到噪声污染的情况下具有更强的鲁棒性。

Description

基于LRR图的半监督学习人脸识别方法

技术领域

本发明属于图像处理技术领域，更进一步涉及一种模式识别技术领域中的人脸识别方法，具体是基于低秩表示(Low-Rank Representation，LRR)图的半监督学习人脸识别方法，本发明可用于视频监控环境下的身份识别，网络安全以及安防领域。

背景技术

人脸识别不同于虹膜识别、指纹识别等，是比较容易为人们所接受的非侵犯性识别手段，从而成为计算机视觉和模式识别技术领域需要突破的一种技术。人脸识别的主要任务是根据提取的待识别人脸的特征，将其和数据库中的人脸图像进行比对，确定待识别人脸的身份。目前，对任意人脸图像进行识别的方法通常分为两类：第一类是基于特征提取的方法，第二类是基于分类器的方法。

基于人脸特征的方法需要对人脸进行特征提取或选择，常用提取人脸特征的技术包括：特征脸、Fisher脸、Laplace脸和核映射等，由上述方法提取出来的特征可以用包括最近邻和最近子空间在内的简单分类器进行识别。该方法存在的不足是，基于特征的方法在图像存在噪声时，提取的特征受到噪声的影响很大，从而导致该方法在图像含有噪声时因鲁棒性不强降低了人脸识别精度。

Wright等人在文献“Wright J.，Ganesh A.，Yang A.and Ma Y.，Robust face recognitionvia sparse representation.IEEE Transactions on Pattern Analysis and MachineIntelligence，vol.31，no.2，pp.210-227，Feb.2009”中提出了一种利用稀疏表示进行人脸识别的方法。该方法首先将训练样本矩阵和测试样本矩阵降维至所需要的维度，并对其进行归一化处理；然后，用训练样本矩阵对测试样本矩阵进行稀疏表出，根据压缩感知的原理求出稀疏表示向量；最后，求得各类别重构样本与原测试样本的残差，带入类别判定公式得到识别结果。该方法存在的不足是，由于该专利申请的方法为有监督的人脸识别方法，在已知样本及对应标签数较少时降低了人脸识别精度，从而导致该方法在小样本学习情况下因缺少监督信息而降低了人脸识别精度。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种基于LRR图的半监督学习人脸识别方法。本发明可在小样本学习情况下，利用少量的监督信息，可以实现对人脸图像进行识别，同时，本发明对含有噪声的人脸图像识别具有很强的鲁棒性。

本发明实现的具体步骤如下：

(1)划分数据库样本集

将人脸图像集中所有已知标签的样本作为训练集，所有未知标签的样本作为测试集。

(2)组成样本集合

2a)将训练集中的样本按标签顺序依次排列在测试集样本前，组成原始样本矩阵；

2b)生成一个服从高斯分布的随机矩阵，将随机矩阵与原始样本矩阵相乘得到降维后的样本矩阵。

(3)生成初始标签矩阵

采用标签矩阵公式得到带标记样本的初始标签矩阵。

(4)低秩表示

采用非精确增广拉格朗日乘子法获得低秩系数矩阵。

(5)生成样本相似度矩阵

采用对称处理公式获得样本相似度矩阵。

(6)计算概率

采用图保持标准方法获得测试样本的类别概率矩阵。

(7)输出类别

选取类别概率矩阵每一列的最大值，将最大值所在行的行标作为测试集样本的类别，输出测试集样本的类别。

与现有技术相比，本发明有以下优点：

第一，由于本发明在人脸识别中采用了半监督学习的方法，克服了现有技术因缺乏足够监督信息而无法得到较高的识别正确率的不足，使得本发明在训练样本较少的时候能取得较高的识别率。

第二，由于本发明采用了低秩表示方法，克服了现有技术因图像中含有噪声而严重降低识别正确率的不足，使得本发明对含有噪声的人脸图像鲁棒性更强。

附图说明

图1是本发明的流程图；

图2是现有Yale人脸数据库人脸样本示意图；

图3是对图2加入不同程度高斯噪声后的图像。

具体实施方式

参照图1，对本发明做进一步的详细描述。

步骤1，划分数据库样本集。将Yale人脸数据库中每类取出3个样本作为训练集A∈R^D×M，剩余的样本作为测试集B∈R^D×T。

其中，D表示训练集样本和测试集样本的维数，Rⁿ表示n维实数空间，M是训练集样本的总数，T是测试集样本的总数；在本发明的实施实例中，样本维数D为8000，训练集样本的总数M为45，测试集样本的总数T为125。

步骤2，组成样本集合。

2a)将训练集中的样本按标签顺序依次排列在测试集样本前，组成原始样本矩阵；

2b)将随机矩阵Q∈R^d×D乘以原始样本矩阵得到降维后的样本矩阵X∈R^d×(M+T)；

其中，d＜＜D是原始样本矩阵降到的维数。

步骤3，生成初始标签矩阵。

采用如下的标签矩阵公式得到训练集样本的初始标签矩阵。

其中，Y_i(k)为第i个样本在第k个类别中与k对应的值，i∈[1，M]，M是训练集样本的总数，k∈[1，K]，K为类别总数；x_i∈R^d×1为第i个样本；在本发明的实施实例中，类别总数K为15。

步骤4，低秩表示。

采用非精确增广拉格朗日乘子法获得低秩系数矩阵。

将样本矩阵在自身上进行低秩表示，

$\left\{\begin{array}{c}\underset{Z,E}{\min }{\left|\right|Z\left|\right|}_{*}+\mathrm{\λ}{\left|\right|E\left|\right|}_{\mathrm{2,1}}\\ s.t.X=\mathrm{XZ}+E\end{array}\right.$

其中，Z∈R^N×N表示低秩系数矩阵，E∈R^N×N表示误差矩阵，λ代表用于控制误差矩阵的控制参数，|| ||_*表示矩阵的核范数，即矩阵奇异值的和；

代表l₂/l₁范数。上述优化问题通过如下的非精确增广拉格朗日乘子法求解低秩系数矩阵。

4a)将低秩系数矩阵Z和等价矩阵分别初始化为N×N的零矩阵，N表示训练集和测试集中所有样本的总数，本发明的实施实例中所有样本总数N为165；将误差矩阵和两个拉格朗日乘子矩阵分别初始化为d×N的零矩阵，d为原始样本矩阵降到的维数；

4b)将用于控制等价矩阵的步长参数初始化为10^-6；

4c)采用下列公式更新等价矩阵：

$J_p=\frac{1}{\mathrm{\μ}}{\left|\right|J\left|\right|}_{*}+\frac{1}{2}{\left|\right|J-(Z+\frac{Y^2}{\mathrm{\μ}})\left|\right|}_F^2$

其中，J_p代表更新后的等价矩阵；μ代表用于控制等价矩阵的步长参数；||J|_*表示矩阵J的核范数；Y²代表拉格朗日乘子矩阵；

表示矩阵F范数的平方；

4d)采用下列公式更新低秩系数矩阵：

Z_p＝(I+X^TX)^-1(X^T(X-E)+J_p+(X^TY¹-Y²)/μ)

其中，Z_p代表更新后的低秩系数矩阵；I代表N×N的单位矩阵；X代表样本矩阵；T表示转置符号；(*)^-1表示(*)的逆矩阵；E代表误差矩阵；Y¹和Y²代表两个拉格朗日乘子矩阵；

4e)采用下列公式更新误差矩阵：

$E_p=\frac{\mathrm{\λ}}{\mathrm{\μ}}{\left|\right|E\left|\right|}_{\mathrm{2,1}}+\frac{1}{2}{\left|\right|E-(X-X{Z}_p+Y^1/\mathrm{\μ})\left|\right|}_F^2$

其中，E_p代表更新后的误差矩阵；λ代表用于控制误差矩阵的控制参数；E代表更新前的误差矩阵；

代表l₂/l₁范数；

4f)采用下列公式分别更新拉格朗日乘子矩阵

Y¹ _p＝Y¹+μ(X-XZ_p-E_p)

Y² _p＝Y₂+μ(Z_p-J_p)

其中，

和

分别表示更新后的两个拉格朗日乘子矩阵；Y¹和Y²分别表示更新前的两个拉格朗日乘子矩阵；

4g)采用下列公式更新步长参数

μ_p＝min(1.1×μ，10⁶)

其中，μ_p为更新后的步长参数；μ为更新前的步长参数；min表示取两者中较小的值；

4h)判断下列收敛表达式是否满足下列收敛条件，若满足，则得到最后的低秩系数矩阵，若不满足，则返回本步骤的4c)继续往下执行，

||X-XZ_p-E_p||_∞＜10^-8 and||Z_p-J_p||_∞＜10^-8

其中，X代表样本矩阵；Z_p代表更新后的低秩系数矩阵；E_p代表更新后的误差矩阵；J_p代表更新后的等价矩阵；||*||_∞表示矩阵无穷范数。

步骤5，生成样本相似度矩阵。

采用如下的对称处理公式得到样本相似度矩阵：

W_ij＝max(Z_ij，Z_ji)

其中，W_ij表示样本相似度矩阵W中第i行第j列的元素；Z_ij表示低秩系数矩阵Z中第i行第j列的元素，Z_ji表示低秩系数矩阵Z中第j行第i列的元素；max表示取括号内最大的值。

步骤6，计算概率。

采用如下的图保持标准方法获得测试样本集的类别概率矩阵；

6a)采用如下公式得到对角矩阵

D_ii＝∑_jW_ij

其中，D_ii表示对角矩阵D的第i行第i列的元素，i＝1，2，...，N，N表示训练集和测试集样本的总数，这里N＝165；W_ij表示相似度矩阵W第i行第j列的元素，j＝1，2，...，N；

6b)将对角矩阵的对应元素减去样本相似度矩阵的对应元素得到特征矩阵；

6c)采用下列公式得到测试样本集的类别概率矩阵

$Y_u=-Y{L}_{\mathrm{lu}}{L}_{\mathrm{uu}}^{-1}$

其中，Y_u∈R^K×T表示测试样本集的类别概率矩阵；Y表示训练样本集的初始标签矩阵；L_lu∈R^M×T表示将特征矩阵划分成四个子矩阵 $\left(\begin{array}{cc}*& L_{\mathrm{lu}}\\ {*}^{\′}& L_{\mathrm{uu}}\end{array}\right)$ 后的右上矩阵；表示将特征矩阵划分成四个子矩阵后的右下矩阵的逆矩阵。

步骤7，输出类别。

选取步骤(6)中类别概率矩阵每一列的最大值，将每一列最大值所在行的行数构成类别向量，该类别向量即为测试集样本的类别，输出测试集样本的类别。

本发明的效果可以通过以下仿真实验进一步说明。

1.实验条件

本实验采用Yale人脸数据库作为实验数据，采用软件MATLAB 7.10.0作为仿真工具，计算机配置为Intel Core i3/2.27G/2G。本实验在Yale人脸数据库上进行人脸识别仿真实验，该数据库是由耶鲁大学计算视觉与控制中心创建的，数据库中包含了15位志愿者的165张图片，每位志愿者11张图片。数据库包含了光照，表情和姿态的变化。本发明的图2是从Yale人脸数据库中调取的一个样本的示意图。

2.实验内容

本发明共有两组实验：

实验1：在Yale人脸数据库上进行不同维数的人脸识别实验。

实验2：在Yale人脸数据库上进行将人脸图像加入不同程度高斯噪声的人脸识别实验。

3.实验结果和分析

实验1：不同维数下的人脸识别

本实验在Yale人脸数据库上进行，将本发明与现有的L1图方法、k近邻图(KNN图)方法和ε-ball方法进行比较。将Yale人脸数据库中的11类样本，每类取出3个样本共45幅图像作为训练集，剩余的125幅图像作为测试集。表1显示了对训练集和测试集样本进行随机采样，采样维数分别取300维，250维，200，150维，100维和50维时的识别正确率结果。本实验中控制参数λ＝1.6。从表1中可以看出，本发明在采样维数为100维，150维，200维，250维，300维时，识别正确率在表中所列的四种方法中是最高的，通常情况在相同条件下，识别正确率高的方法可以正确识别更多的人脸图像，由此可见本发明的识别效果是下列四种方法中最好的。

表1.Yale人脸数据库在不同采样维数下的识别正确率

实验2：加入不同程度噪声的人脸识别

由于在现实应用中得到的图像可能会受到硬件或者环境的影响含有噪声，对人脸识别造成不利影响，本实验在人脸图像上加入噪声进行仿真。从Yale人脸数据库的11类样本中每类取出3个样本共45幅图像作为训练集，剩余的125幅图作为测试集。将训练集和测试集依次加入均值为0方差为0.01～0.08的高斯噪声。图3中(a)是将图2加入均值为0方差为0.01的高斯噪声后的图像，图3中(b)是将图2加入均值为0方差为0.02的高斯噪声后的图像，图3中(c)是将图2加入均值为0方差为0.03的高斯噪声后的图像，图3中(d)是将图2加入均值为0方差为0.04的高斯噪声后的图像，图3中(e)是将图2加入均值为0方差为0.05的高斯噪声后的图像，图3中(f)是将图2加入均值为0方差为0.06的高斯噪声后的图像，图3中(g)是将图2加入均值为0方差为0.07的高斯噪声后的图像，图3中(h)是将图2加入均值为0方差为0.08的高斯噪声后的图像。将训练集和测试集样本均下采样到100维。表2显示了在Yale数据库的图像上加入不同程度的高斯噪声后的识别正确率结果。本实验中，控制参数λ＝1。

从表2可以看出，本发明的基于LRR图的半监督学习人脸识别方法LRR图不仅比传统方法KNN图以及ε-ball的方法的识别正确率高，而且比目前效果较好的L1图方法识别率正确高，-通常情况在相同条件下，识别正确率高的方法可以正确识别更多的人脸图像，由此可见，本发明的识别效果是下列四种方法中最好的。其中，表2中“-”表示该处正确率在50％以下，失去了比较意义，本实验中不予显示。

表2.在Yale数据库的图像上加入不同程度的高斯噪声后的识别正确率

以上实验结果表明，本发明能在较低的维数时达到较高的识别正确率，并且对于加噪后的人脸图像鲁棒性也很强。

Claims (6)

1.一种基于LRR图的半监督学习人脸识别方法，包括如下步骤：

(1)划分数据库样本集

将人脸图像集中所有已知标签的样本作为训练集，所有未知标签的样本作为测试集；

(2)组成样本集合

2a)将训练集中的样本按标签顺序依次排列在测试集样本前，组成原始样本矩阵；

2b)生成一个服从高斯分布的随机矩阵，将随机矩阵与原始样本矩阵相乘得到降维后的样本矩阵；

(3)生成初始标签矩阵

采用标签矩阵公式得到带标记样本的初始标签矩阵；

(4)低秩表示

采用非精确增广拉格朗日乘子法获得低秩系数矩阵；

(5)生成样本相似度矩阵

采用对称处理公式获得样本相似度矩阵；

(6)计算概率

采用图保持标准方法获得测试样本集的类别概率矩阵；

(7)输出类别

选取类别概率矩阵每一列的最大值，将最大值所在行的行标作为测试集样本的类别，输出测试集样本的类别。

2.根据权利要求1所述的基于LRR图的半监督学习人脸识别方法，其特征在于：步骤2b)中所述的随机矩阵行数的取值范围为50～300。

3.根据权利要求1所述的基于LRR图的半监督学习人脸识别方法，其特征在于：步骤(3)所述的标签矩阵公式如下：

其中，Y_i(k)为第i个样本在第k个类别中与k对应的值，i∈[1，M]，M为训练样本总数，k∈[1，K]，K为类别总数；x_i∈R^d×1为第i个样本，d为降维后的样本矩阵的维数。

4.根据权利要求1所述的基于LRR图的半监督学习人脸识别方法，其特征在于：步骤(4)中所述的非精确增广拉格朗日乘子法按照如下步骤进行：

第一步，将低秩系数矩阵和等价矩阵分别初始化为N×N的零矩阵，N表示训练集和测试集中所有样本的总数；将误差矩阵和两个拉格朗日乘子矩阵分别初始化为d×N的零矩阵，d为降维后的样本矩阵的维数；

第二步，将用于控制等价矩阵的固有参数初始化为10^-6；

第三步，采用下列公式更新等价矩阵：

$J_p=\frac{1}{\mathrm{\μ}}{\left|\right|J\left|\right|}_{*}+\frac{1}{2}{\left|\right|J-(Z+\frac{Y^2}{\mathrm{\μ}})\left|\right|}_F^2$

其中，J_p代表更新后的等价矩阵；μ代表用于控制等价矩阵的固有参数；J代表更新前的等价矩阵；||J|_*表示矩阵J的核范数；Z代表低秩系数矩阵；Y²代表拉格朗日乘子矩阵；

表示矩阵F范数的平方；

第四步，采用下列公式更新低秩系数矩阵：

Z_p＝(I+X^TX)^-1(X^T(X-E)+J_p+(X^TY¹-Y²)/μ)

其中，Z_p代表更新后的低秩系数矩阵；I代表单位矩阵；X代表降维后的样本矩阵；T表示转置符号；(*)^-1表示(*)的逆矩阵；E代表误差矩阵；Y¹和Y²代表两个拉格朗日乘子矩阵；

第五步，采用下列公式更新误差矩阵：

$E_p=\frac{\mathrm{\λ}}{\mathrm{\μ}}{\left|\right|E\left|\right|}_{\mathrm{2,1}}+\frac{1}{2}{\left|\right|E-(X-X{Z}_p+Y^1/\mathrm{\μ})\left|\right|}_F^2$

其中，E_p代表更新后的误差矩阵；λ代表用于控制误差矩阵的控制参数；E代表更新前的误差矩阵；||*||_2，1代表l₂/l₁范数；

第六步，采用下列公式分别更新拉格朗日乘子矩阵 $\begin{array}{c}{Y}_p^1=Y^1+\mathrm{\μ}(X-X{Z}_p-E_p)\\ {Y^2}_p=Y^2+\mathrm{\μ}(Z_p-J_p)\end{array}$ 其中，和

分别表示更新后的两个拉格朗日乘子矩阵；Y¹和Y²分别表示更新前的两个拉格朗日乘子矩阵；

第七步，采用下列公式更新固有参数

μ_p＝min(1.1×μ，10⁶)

其中，μ_p为更新后的固有参数；μ为更新前的固有参数；min表示取两者中较小的值；

第八步，判断下列收敛表达式是否满足下列收敛条件，若满足，则得到最后的低秩系数矩阵，若不满足，则返回本步骤的第三步，

||X-XZ_p-E_p||_∞＜10^-8 and||Z_p-J_p||_∞＜10^-8

其中，X代表样本矩阵；Z_p代表更新后的低秩系数矩阵；E_p代表更新后的误差矩阵；J_p代表更新后的等价矩阵；||*||_∞表示矩阵无穷范数。

5.根据权利要求1所述的基于LRR图的半监督学习人脸识别方法，其特征在于：步骤(5)中所述的对称处理公式如下：

W_ij＝max(Z_ij，Z_ji)

其中，W_ij表示样本相似度矩阵W中第i行第j列的元素；Z_ij表示低秩系数矩阵Z中第i行第j列的元素，Z_ji表示低秩系数矩阵Z中第j行第i列的元素；max表示取括号内最大的值。

6.根据权利要求1所述的基于LRR图的半监督学习人脸识别方法，其特征在于，步骤(6)中所述的图保持标准方法按照如下步骤进行：

第一步，采用如下公式得到对角矩阵

D_ii＝∑_jW_ij

其中，D_ii表示对角矩阵D的第i行第i列的元素，i＝1，2，...，N，N表示训练集和测试集样本的总数；W_ij表示相似度矩阵W第i行第j列的元素，j＝1，2，...，N，N表示训练集和测试集样本的总数；

第二步，将对角矩阵的对应元素减去样本相似度矩阵的对应元素得到特征矩阵；

第三步，采用下列公式得到测试样本集的类别概率矩阵

$Y_u=-Y{L}_{\mathrm{lu}}{L}_{\mathrm{uu}}^{-1}$

其中，Y_u表示测试样本集的类别概率矩阵；Y表示训练样本集的初始标签矩阵；L_lu∈R^M×T表示将特征矩阵划分成四个子矩阵后的右上矩阵，M表示训练样本总数，T表示测试样本总数；

表示将特征矩阵划分成四个子矩阵后的右下矩阵的逆矩阵。

Images