CN102609681B - 基于字典学习模型的人脸识别方法 - Google Patents

Abstract

一种基于字典学习模型的人脸识别方法。将训练和测试的人脸图像映射至低维空间，得到训练信号集矩阵；建立字典学习模型，包括不相关的字典学习模型IDL和无约束的不相关字典学习模型U-IDL；将训练信号集矩阵输入到IDL及U-IDL模型中并对模型进行求解，可获得不相关字典和线性分类器；对属于测试样本的每幅图片，基于上一步中得到的字典利用稀疏表达算法得到其相应的稀疏向量；将稀疏向量输入至线性分类器中，得到测试样本图片的类别标签，以类别标签表示的结果作为人脸识别的结果。本发明对稀疏表达中的字典学习问题提出了新的模型和方法，可以应用于一般情况下的模式识别和图像分类问题；特别是针对人脸识别应用，本发明提出的字典学习方法，能达到较高的人脸识别准确度。

Description

基于字典学习模型的人脸识别方法

技术领域

本发明属于人脸识别技术领域，具体涉及一种基于字典学习模型的人脸识别方法。

背景技术

基于过完备字典(overcomplete dictionary)的稀疏表达技术是计算机视觉、模式识别、和机器学习领域中的一大热门问题，已经在图像去噪和修补、人脸识别、图像分类、视频异常行为检测等研究领域有过许多成功应用。

在给定一个由K个基信号列向量按列排列组成的过完备字典

为实数集，n为基信号列向量的维数，K为基信号列向量的个数)时，对于n维空间中的输入信号列向量

稀疏表达问题可以表示为：

$\underset{x}{\min }{\left|\right|x\left|\right|}_0,s.t.{\left|\right|y-\mathrm{Dx}\left|\right|}_2^2\≤\mathrm{\ϵ}$ (s.t.表示subject to，下同)

其中，

为得到的稀疏(列)向量，ε为重建误差，是可以预设的阈值参数，||x||₀表示向量x的0范数即非零元素的个数，

表示向量v各元素的平方和，||v||₂表示向量v的l₂范数(即欧氏空间中的向量长度)。除非特殊说明，本发明所述向量均为列向量。

在稀疏表达的基础上，字典学习方法(如K-SVD算法^[1])对于不同的输入信号集Y学习适合于它的字典，在很多应用领域可以得到比使用预设字典更好的结果。对于分类问题，通过学习得到的字典的优势更加明显。

对于人脸识别和图像分类问题，在某种程度上，稀疏表达可以被视为一个特征提取的过程：对于每个输入信号，一对一地得到其对应的稀疏向量，将稀疏向量作为分类器的输入，就可以得到分类结果。从这种角度来看，在字典学习的同时如果适当考虑分类误差，则计算得到的稀疏向量能拥有更强的判别能力，对于新来的未知测试数据会有更好的泛化(generalization)能力。而特征提取结果的效果如何，与使用的字典D是否能够很好地表达输入信号集Y有很大的关系。这也是对于此类分类问题，使用基于输入信号集学习得到的字典比使用固定的预设字典能取得更好的效果，这在图像去噪、图像修复等应用中也有相似的体现。。

如果字典D中的基信号d_k线性张成的子空间维数与输入信号y所处的空间维数相差过大的话，使用这样的字典，即使它对于训练数据有很好的重建能力，对于新来的测试数据也很难有好的泛化性能。研究结果表明，字典中基信号的不相关程度对于提升稀疏表达重建精度与算法运算速度都有很大的帮助，，但现阶段的稀疏表达和字典学习模型大多只关注于字典作为一个整体的重建性能和判别性能，忽略了其中的基信号的不相关程度这一重要因素。

发明内容

本发明的目的在于提出一种人脸识别方法，针对于人脸识别问题的字典学习模型，着重关注现在已有的字典学习方法所忽视的字典中基信号的不相关程度。在保持字典的重建性能和判别性能的前提下，得到不相关程度更高的字典，以提高人脸识别问题中的分类正确率。

本发明提供的技术方案如下：

一种基于字典学习模型的人脸识别方法，包括如下步骤(流程参见图1)：

步骤1：将训练和测试的人脸图像映射至低维空间，得到训练信号集矩阵Y；

步骤2：建立字典学习模型，包括不相关的字典学习模型IDL和无约束的不相关字典学习模型U-IDL；所述两种字典学习模型中包括字典的相关度，所述字典的相关度用公式

表示，其中I为单位矩阵，

表示矩阵A的F范数，即矩阵A中各元素的平方和；

步骤3：将训练信号集矩阵Y输入到IDL及U-IDL模型中，然后对模型进行求解，得到适应于该训练集的字典D、训练集的稀疏向量矩阵X、线性分类器W；

步骤4：对属于测试样本的每幅人脸图片y，基于步骤3中得到的字典D利用稀疏表达算法得到其相应的稀疏向量x；

步骤5：将稀疏向量x输入到步骤3中得到的线性分类器W中，计算W与x的乘积得到测试样本图片的类别标签列向量h(＝Wx)，列向量h中的第i个元素表示测试样本y属于第i类的分类置信度，将人脸图片y判定属于置信度最高的一类。

所述的人脸识别方法，其特征是，步骤1中，将所有样本随机等分为训练样本和测试样本两部分，并将每幅样本图片拉伸为列向量后进行归一化处理，化为长度为1的单位向量，再用PCA^[4]将所有的样本降维到低维特征空间中。

所述的人脸识别方法，其特征是，步骤2中，

(A)在字典学习模型D-KSVD^[2]中加入上述字典相关度指标，得到不相关的字典学习模型IDL如下：

$\underset{D,X,W}{\min }{\left|\right|Y-\mathrm{DX}\left|\right|}_F^2+\mathrm{\λ}{\left|\right|D^{T}D-I\left|\right|}_F^2+\mathrm{\η}{\left|\right|H-\mathrm{WX}\left|\right|}_F^2+\mathrm{\β}{\left|\right|W\left|\right|}_F^2$ (1)

s.t.||d_k||₂＝1  k＝1，...，K  ||x_i||₀≤T  i＝1，...，N

其中X为学习得到的稀疏列向量所组成的矩阵，W为学习得到的线性分类器矩阵，λ，η，β为人工设置的权重参数，可以根据实际问题进行调整，d_k为D中的第k列基信号列向量，K为基信号列向量的个数，T为预设的稀疏系数阈值，表示稀疏向量x_i中非零元素的最大个数；||x_i||₀表示列向量x_i的0范数(即非零元素的个数)，||d_k||₂表示列向量d_k的l₂范数(即欧氏空间中的向量长度)；矩阵H的每一列为仅有一个非零元素的列向量h_i＝[0，...，0，1，0，...，0]^T，这里非零元素的位置对应训练样本的类别标签真实答案(ground-truth)；

(B)由于在本发明的模型中加入了字典的相关度，它会引导字典中的基信号尽量正交，因此另一种选择是把上述IDL模型中关于基信号的单位范数约束舍去，得到无约束的不相关字典学习模型U-IDL如下：

$\underset{D,X,W}{\min }{\left|\right|Y-\mathrm{DX}\left|\right|}_F^2+\mathrm{\λ}{\left|\right|D^T-I\left|\right|}_F^2+\mathrm{\η}{\left|\right|H-\mathrm{WX}\left|\right|}_F^2+\mathrm{\β}{\left|\right|W\left|\right|}_F^2,$

s.t.||x_i||₀≤T，i＝1，...，N    (2)

所述的人脸识别方法，其特征是，步骤3中所述对模型进行求解，指将K-SVD算法^[1]中得到的字典和稀疏向量矩阵作为D和X的初始值，在此基础上输入训练数据Y，然后对模型进行求解。

所述的人脸识别方法，其特征是，步骤3中，求解不相关的字典学习模型IDL的方法为：对于建立的模型采用循环迭代的方式进行求解，对于不相关字典学习模型中的三个变量：D、X、W，在固定其中两个变量的前提下对剩余一个变量进行求解，并反复迭代，最终达到每次迭代的目标函数值都收敛，或者达到预设的最大迭代次数。

所述的人脸识别方法，其特征是，步骤3中，求解无约束的不相关字典学习模型U-IDL的方法与IDL模型的求解过程唯一不同之处在于：在字典D的更新阶段，U-IDL模型没有||d_k||₂＝1此单位范数约束条件，因此通过对d_k求导可直接得到其最优解。

本发明的有益效果：本发明对稀疏表达中的字典学习问题提出了新的模型和方法，可以应用于一般情况下的模式识别和图像分类问题；特别是针对人脸识别应用，本发明提出的字典学习方法，能达到较高的人脸识别准确度。

附图说明

图1是本发明的流程图；其中，(a)训练过程，(b)测试过程。

图2是Extended YaleB数据库中的人脸样本示意图；

图3是-在Extended YaleB数据库上，本发明提出的不相关字典学习方法与其他字典学习方法所获得字典的不相关程度的对比结果图；

图4是CAS-PEAL-R1人脸数据库中的人脸样本示意图。

具体实施方式

下面参照附图，对本发明的实施例进行具体描述。

实施例一：

步骤1：将训练和测试的人脸图像映射至低维空间，得到训练信号集矩阵Y。

输入样本为Extended Yale B数据库中的人脸样本图片，该数据库包含38个人在不同光照条件下的共计2414张图片，所有图片均经过标准化处理，大小为168×192像素，如图2所示。将每个人的样本随机等分为训练样本和测试样本两部分，并将每幅样本图片拉伸为向量后进行归一化处理为单位向量，再用PCA^[4]将所有的样本降至504维空间。

步骤2：建立字典学习模型，将Y输入到字典学习模型中，得到适应于该训练集的字典D、训练集的稀疏向量矩阵X、线性分类器W。在本实施例中学习到的字典包含570个基信号，稀疏系数阈值T＝16。

(2.1)提出用下面的公式表示字典D的相关度概念：

$\mathrm{cor}\left(D\right)={\left|\right|D^{T}D-I\left|\right|}_F^2$

其中I为单位矩阵，表示矩阵的F范数，即各元素的平方和。cor(D)度量的是字典D与正交矩阵之间的差异，如果cor(D)值为0，则字典D中列向量完全不相关；如果cor(D)值非常大，则说明字典D中列向量具有很高的相关度。我们希望得到的字典D中的基信号d_k是尽量正交的(即非常不相关)，这样这些基信号就可以对空间中其他信号有很好的表达能力。

(2.2)建立字典学习模型：

(a)不相关的字典学习模型(IDL)

将字典的相关度加入监督的字典学习模型D-KSVD^[2]中，可以得到不相关的字典学习模型(IDL)如下：

$\underset{D,X,W}{\min }{\left|\right|Y-\mathrm{DX}\left|\right|}_F^2+\mathrm{\λ}{\left|\right|D^{T}D-I\left|\right|}_F^2+\mathrm{\η}{\left|\right|H-\mathrm{WX}\left|\right|}_F^2+\mathrm{\β}{\left|\right|W\left|\right|}_F^2$

s.t.||d_k||₂＝1  k＝1，...，K||x_i||₀≤T  i＝1，...，N

其中X，W为学习得到的稀疏向量矩阵和线性分类器，λ，η，β为模型中的参数，可以根据实际问题调整。d_k为D中的基信号列向量，K为基信号列向量的个数，T为预设的稀疏系数阈值，表示稀疏向量x_i中非零元素的个数。H的每一列为仅有一个非零元素的列向量h_i＝[0，...，0，1，0，...，0]^T，这里非零元素位置表示样本的类标签标准答案，如第j个位置值为1，则表示此样本x_i属于第j类。

(b)无约束的不相关字典学习模型(U-IDL)

IDL模型中关于字典中基信号的约束||d_k||₂＝1在许多现有的字典学习模型中出现过，其目的在于避免求得的稀疏向量的范数过小。但这个约束也导致了字典学习模型的字典更新阶段需要求解一个有约束的优化问题，使得求解字典D的时间代价很大。

由于在本发明的模型中加入了字典的相关度cor(D)，它会引导字典中的基信号尽量正交，因此可以把IDL模型中关于基信号的单位长度约束舍去，得到无约束的不相关字典学习模型(U-IDL)如下：

$\underset{D,X,W}{\min }{\left|\right|Y-\mathrm{DX}\left|\right|}_F^2+\mathrm{\λ}{\left|\right|D^{T}D-I\left|\right|}_F^2+{\mathrm{\η}\left|\right|H-\mathrm{WX}\left|\right|}_F^2+\mathrm{\β}{\left|\right|W\left|\right|}_F^2$

s.t.||x_i||₀≤T  i＝1，...，N

步骤3：将步骤1中由人脸图片组成的输入信号集矩阵Y输入到IDL及U-IDL模型中，并以将Y输入K-SVD^[1]中得到的字典和稀疏向量矩阵作为D和X的初始值，对模型进行求解。得到适应于该训练集的字典D、训练集的稀疏向量矩阵X、线性分类器W。

A.求解不相关的字典学习模型(IDL)

对于建立的模型采用循环迭代的方式进行求解。对于不相关字典学习模型中的三个变量：D、X、W，在固定其他两个变量的前提下对另一个进行求解，并反复迭代这一过程，最终达到每次迭代的目标函数值都收敛，或者达到预设的最大迭代次数。

(3.1)将输入信号集矩阵Y输入K-SVD^[1]算法，得到初始化的字典D₀及稀疏向量矩阵X₀。

(3.2)重复下列a)、b)、c)三步直到满足上述两条迭代停止条件时，迭代停止：

a)固定D、X，求解W。

当D、X固定时，关于W的目标函数为：

$\underset{W}{\min }\mathrm{\η}{\left|\right|H-\mathrm{WX}\left|\right|}_F^2+\mathrm{\β}{\left|\right|W\left|\right|}_F^2$

对于这个无约束问题，可以直接关于W求导得到其最优解为：

$W={\mathrm{HX}}^T{({\mathrm{XX}}^T+\frac{\mathrm{\β}}{\mathrm{\η}}I)}^{-1}$

b)固定X、W，求解D。

当X、W固定时，有约束的不相关字典学习模型为：

$\underset{D}{\min }{\left|\right|Y-\mathrm{DX}\left|\right|}_F^2+\mathrm{\λ}{\left|\right|D^{T}D-I\left|\right|}_F^2$

s.t.||d_k||₂＝1  k＝1，...，K

由于在实际问题中，字典D的规模往往比较大，对于这个变元数过多(约为10⁶以上数量级)的有约束优化问题，直接一次性得到D的最优解的时间代价很高。因此，与K-SVD算法思想类似，本发明也先依次固定住字典D的其它列，每次求解其中的一列d_k。

固定D中的其他列，关于基信号d_k的目标函数为：

$\underset{d_k}{\min }{\left|\right|E_k-d_k{x}_T^k\left|\right|}_F^2+2\mathrm{\λ}{\left|\right|D_k^{*}{d}_k\left|\right|}_F^2,s.t.{\left|\right|d_k\left|\right|}_2=1$

其中记号

表示X的第k行，

表示从字典D中去掉当前基信号d_k后剩下的矩阵。对于该优化问题，可以用Lagrange乘子法求解，由于它关于d_k是一个凸优化问题，因此可以得到全局最优解，即固定住D中的其它列情况下，求出当前最优的基信号d_k。

c)固定D、W，求解X

当D、W固定时，关于X的目标函数为

$\underset{X}{\min }{\left|\right|Y-\mathrm{DX}\left|\right|}_F^2+\mathrm{\η}{\left|\right|H-\mathrm{WX}\left|\right|}_F^{2}s.t.{\left|\right|x\left|\right|}_0\≤T$

上式可以写为：

$\underset{X}{\min }{\left|\right|\left[\begin{array}{c}Y\\ \sqrt{\mathrm{\η}}H\end{array}\right]-\left[\begin{array}{c}D\\ \sqrt{\mathrm{\η}}W\end{array}\right]X\left|\right|}_F^{2}s.t.{\left|\right|x\left|\right|}_0\≤T$

直接可利用OMP算法^[3]对该优化问题进行求解。

B.求解无约束的不相关字典学习模型(U-IDL)

U-IDL模型与IDL模型的求解过程的唯一不同之处在于字典D的更新阶段，即U-IDL模型没有约束条件||d_k||₂＝1，因此可以通过对d_k求导直接得到其最优解：

$d_k={(x_T^k{x}_{k}I+{2\mathrm{\λD}}_k^{*}{D}_k^{*T})}^{-1}{E}_x{x}_k,$

其中，

为矩阵X的第k行，x_k为矩阵X的第k列，

表示从字典D中去掉当前基信号d_k后剩下的矩阵。

步骤4：对属于测试样本的每幅图片，基于步骤3中得到的字典D利用稀疏表达算法得到其相应的稀疏列向量x。

步骤5：将稀疏列向量x代入到步骤3中得到的线性分类器W，根据如下公式判别出测试样本的类别，即列向量z＝Wx的最大元素的位置所对应的类别：

$\mathrm{label}\left(y\right)=\arg \underset{i}{\max }\left\{z_i\right|z={[z_1,...,z_i,...,z_M]}^T=\mathrm{Wx}\}$

其中z_i是列向量z的第i个元素，M为样本的类别数，在本实施例中M＝38。

为了进行对比，在同样的实验设置前提下将本发明与现有的K-SVD，D-KSVD方法进行分类正确率的比较。

表1不同方法在Extended YaleB数据库上的结果对比

方法	IDL	U-IDL	D-KSVD	K-SVD
					分类正确率	95.86％	95.68％	94.70％	93.54％
字典相关度	0.1479	0.2860	0.3680	0.3816

从表1中可以看到本发明提出的IDL及U-IDL模型均能得到比现有方法更高的分类正确率。表1的第二行为字典中基信号两两内积的平均值，用以表示字典的相关程度，可以看到本发明所提出的方法可以得到更低相关度的字典。

具体的相关度信息如图3所示。图3为不同方法学习得到的字典基向量两两内积的分布直方图，其横轴表示基向量两两内积的相关度，纵轴为对应相关度所占的百分比。

实施例二：

该实施例基于CAS-PEAL-R1人脸数据库进行实验。CAS-PEAL-R1人脸数据库包含1040个人的30900幅图片，其中包含位姿，表情，遮挡和光照变化。在这四个数据集上实施独立的实验，分别选择7，5，6，9幅训练样本和1幅测试样本。在每个实验中样本类别数均为242，即实验图像中有242个不同的人。

操作步骤与第一实施例中相同，所有样本首先被归一化并降维至500维空间，学习得到的字典包含700个基信号，稀疏系数阈值设定为T＝16。

实验结果如表2中所示，可以看到本发明所提出算法可以在这四个数据集上得到更高的分类正确率。尤其对于姿态，遮挡，光照这三类难度较大的人脸识别问题，本发明所提出算法对于分类正确率有较高的提升。

表2不同方法在CAS-PEAL-R1数据库上的结果对比

方法	IDL	U-IDL	D-KSVD	K-SVD
					姿态	34.30％	42.67％	36.78％	21.49％
表情	94.21％	95.45％	94.63％	90.91％
					遮挡	57.85	58.68％	50.83％	36.36％
光照	57.44％	57.85％	43.80％	38.02％

参考文献

1.M.Aha ron，M.Elad，and A.Bruckstein，“K-SVD：An algorithm for designing overcompletedictionaries  for  sparse  representation，”IEEE Transactions on signalprocessing，54(11)：4311-4322，2006.

2.Q.Zhang and B.Li，“Discriminative K-SVD for Dictiona ry Lea rning in Face Recognition，”inIEEE Conference on Computer Vision and Pattern Recognition(CVPR)，2010.

3.Y.C.Pati，R.Rezaiifar，and P.S.Krishnaprasad，“Orthogonal matching pursuit：Recu rsivefunction approximation with applications to wavelet decomposition，”in Conf. Rec.27thAsilomar Conf Signals，Syst.Comput.，1993.

4.I.T.Jolliffe，Principal Component Analvsis，Series：Springer Series in Statistics，2nd ed.，Springer, NY,2002，XXIX，487p.28 illus.ISBN 978-0-387-95442-4.

Claims (4)

1.一种基于字典学习模型的人脸识别方法，包括如下步骤：

步骤1：将训练和测试的人脸图像映射至低维空间，得到训练信号集矩阵Y；

步骤2：建立字典学习模型，包括不相关的字典学习模型IDL和无约束的不相关字典学习模型U-IDL；所述两种字典学习模型中包括字典的相关度，所述字典D的相关度用公式表示，其中I为对角矩阵，

表示矩阵A的F范数，即矩阵A中各元素的平方和；

步骤3：将训练信号集矩阵Y输入到IDL及U-IDL模型中，然后对模型进行求解，得到适应于该训练集的字典D、训练集的稀疏向量矩阵X、线性分类器W；

步骤4：对属于测试样本的每幅人脸图片y，基于步骤3中得到的字典D利用稀疏表达算法得到其相应的稀疏向量x；

步骤5：将稀疏向量x输入到步骤3中得到的线性分类器W中，计算W与x的乘积得到测试样本图片的类别标签列向量h，列向量h中的第i个元素表示测试样本y属于第i类的分类置信度，将人脸图片y判定属于置信度最高的一类；

其中，

步骤1中，

将所有样本随机等分为训练样本和测试样本两部分，并将每幅样本图片拉伸为列向量后进行归一化处理，化为长度为1的单位向量，再用PCA将所有的样本降维到低维特征空间中；

步骤2中，

（A）在字典学习模型D-KSVD中加入所述字典相关度指标，得到不相关的字典学习模型IDL如下：

$\underset{D,X,W}{\min }{\left|\right|Y-\mathrm{DX}\left|\right|}_F^2+\mathrm{\λ}{\left|\right|D^{T}D-I\left|\right|}_F^2+\mathrm{\η}{\left|\right|H-\mathrm{WX}\left|\right|}_F^2+\mathrm{\β}{\left|\right|W\left|\right|}_F^2$

s.t.  ||d_k||₂＝1  k＝1，...，K  ||x_i||₀≤T  i＝1，...，N

其中X为学习得到的稀疏列向量所组成的矩阵，W为学习得到的线性分类器矩阵，λ，η，β为人工设置的的权重参数，d_k为D中的第k个基信号列向量，K为基信号列向量的个数，T为预设的稀疏系数阈值，表示稀疏向量x_i中非零元素的最大个数；||x_i||₀表示列向量x_i的0范数，||d_k||₂表示列向量d_k的l₂范数；矩阵H的每一列为仅有一个非零元素的列向量h_i=[0,...,0,1,0,...,0]^T，这里非零元素的位置对应训练样本的类别标签真实答案；

（B）把上述IDL模型中关于基信号的单位范数约束舍去，得到无约束的不相关字典学习模型U-IDL如下：

$\underset{D,X,W}{\min }{\left|\right|Y-\mathrm{DX}\left|\right|}_F^2+\mathrm{\λ}{\left|\right|D^{T}D-I\left|\right|}_F^2+\mathrm{\η}{\left|\right|H-\mathrm{WX}\left|\right|}_F^2+\mathrm{\β}{\left|\right|W\left|\right|}_F^2$

s.t.  ||x_i||₀≤T  i＝1，...，N。

2.如权利要求1所述的人脸识别方法，其特征是，步骤3中所述对模型进行求解，指将K-SVD算法中得到的字典和稀疏向量矩阵作为D和X的初始值，在此基础上输入训练数据Y，然后对模型进行求解。

3.如权利要求2所述的人脸识别方法，其特征是，步骤3中，求解不相关的字典学习模型IDL的方法为：对于建立的模型采用循环迭代的方式进行求解，对于不相关字典学习模型中的三个变量：D、X、W，在固定其中两个变量的前提下对剩余一个变量进行求解，并反复迭代，最终达到每次迭代的目标函数值都收敛，或者达到预设的最大迭代次数。

4.如权利要求3所述的人脸识别方法，其特征是，步骤3中，求解无约束的不相关字典学习模型U-IDL的方法为：U-IDL模型与IDL模型的求解过程的唯一不同之处在于字典D的更新阶段，即U-IDL模型没有约束条件||d_k||₂=1，因此可通过对d_k求导直接得到其最优解。

Images