CN105844223A - 一种类别特色字典和共享字典学习的人脸表示算法 - Google Patents

Abstract

本发明公开了一种类别特色和共享字典学习的人脸表示算法，所述人脸表示算法主要包括类别特色字典学习算法和共享字典学习算法两大模块；所述类别特色字典学习主要通过约束类别子字典之间尽量相互不相关以及稀疏系数类内方差尽量小类间方差尽量大，提高类别子字典和稀疏系数的辨别性。所述的类间共享字典是为了得到测试样本可能包含的各种复杂的变化本发明的积极效果在于为训练样本为正常人脸、测试样本包含复杂变化的人脸表示方式提供理论支撑，为提高人脸识别的效率提供了实验依据。

Description

一种类别特色字典和共享字典学习的人脸表示算法

技术领域

本发明涉及一种自适应人脸表示算法，特别是一种针对训练样本为正常人脸、测试样本包含光照表情姿态遮挡等变化的人脸表示算法。

背景技术

近年来，人脸识别已被广泛研究，并试图应用于实际场景。其中基于稀疏表示的方法取得了很好的人脸识别效果，而字典学习作为稀疏表示的关键，已被广泛研究。通过学习方法得到字典的方法可以分为两种，一种是为所有类别学习一个整体字典而另一种是为每一类数据学习一个对应的子字典。前者对应的稀疏系数是具有辨别性的，例如Jiang等人通过增加同类系数更加相似这一约束来学习字典。此外，非负稀疏约束、局部稀疏约束也可有效提高稀疏系数的分类能力。然而，学习整体字典的方法会丢失字典原子与训练数据标签之间的联系，无法充分利用每类数据的重构误差进行分类。后者对应的稀疏系数和字典均是具有辨别性的，如Sprechmann等人利用稀疏系数为每类训练数据学习子字典，并应用于人脸识别和聚类；Yang等人提出的FDDL算法基于Fisher准则，使学习到的稀疏系数具有更强的分类能力；同时，Ca等人提出的SVGDL算法利用SVM的思想通过参数的方法用于辨别字典学习。但实际上，以上辨别子字典学习的方法均需在训练样本充分的前提下才能达到理想的效果，且在测试数据相较于训练数据存在较大的差异时，分类结果也不佳。为了解决这个问题，Zhou等人利用马尔科夫随机场的思想，在测试样本中存在局部连续遮挡时仍能取得较好的分类效果。Deng等人提出的ESRC算法通过计算辅助数据中有变化的数据与标准数据的差异来构造类内变化字典，用于缓解测试数据存在较大差异这一难题。随后，Deng等人又提出SSRC算法，通过计算每类辅助数据到其类中心的差异来减少辅助字典中原子的数量，这两种方法在测试数据存在较大差异时分类效果均有所提升。由此可见，辅助数据发挥了至关重要的作用，而在ESRC和SSRC中，通过偏手工的方法计算辅助字典则会受辅助数据个体的影响，从而降低其泛化能力。同时，这两种方法作为SRC的扩展，也是直接将训练数据作为字典。相应地，其字典的辨别能力也是不足的。

基于以上讨论，本发明旨在解决训练样本有限，测试样本含有未知变化的复杂情况下的人脸表示问题。通过类别子字典学习使学习到的类别子字典尽量相互不相关，从而提高子字典的分类能力；此外，令稀疏系数类内方差尽量小类间方差尽量大以提高稀疏系数的辨别性；与此同时，通过学习的方法得到类内变化字典有效降低了偏手工辅助字典的局限性。经过不断的研究、设计和实验验证之后,终于得出了颇具实用价值的本发明。

发明内容

本发明的主要目的在于，克服现有的人脸表示算法在复杂条件下表现不够理想，提出一种类别子字典和稀疏变化字典结合的人脸表示算法，提高了复杂环境下人脸识别的准确率。

本发明提出的一种类别特色字典和稀疏变化字典结合的人脸表示算法，所述算法主要包括类别特色字典学习和类间共享字典学习两大部分；所述类别特色字典是通过约束类别子字典之间尽量相互不相关以及稀疏系数类内方差尽量小类间方差尽量大，提高类别子字典和稀疏系数的辨别性。与此同时，为了解决测试样本存在一系列变化的问题，提出通过辅助数据学习测试样本可能存在的变化。

本发明的实现步骤如下：

S1：分别对训练样本、测试样本、辅助样本进行特征提取。每幅人脸图像的特征提取具体步骤包括：

S101:对相应的人脸图像进行人脸区域检测；

S102：对检测到的人脸进行人脸特征点检测，一般情况下检测人脸的五个特征点，包括眼睛、鼻尖、嘴角部分。通过检测到的特征点进行人脸区域的裁剪；

S103:按照步骤S102得到的各部分人脸，组成训练样本矩阵、测试样本矩阵、辅助数据矩阵，并通过PCA将样本投影到相同的空间。

S2：将训练样本进行类别特色字典学习，类别特色字典学习的目的是得到更具有分类能力字典，其特征在于，其目的是最小化目标函数(1)：

$\begin{array}{c}{\min }_{{\left\{D_i,X_i\right\}}_{i=1}^k}\left\{{\Σ}_{i=1}^K\left\{\left|\right|A_i-{\mathrm{DX}}_i|{|}_F^2+||A_i-D_i{X}_i^i|{|}_F^2\right\}+{\mathrm{\λ}}_1\left|\right|X|{|}_1+{\mathrm{\λ}}_2\left(tr\left(S_w\left(X\right)-S_B\left(X\right)\right)+\left|\right|D_i^T{D}_{i-}|{|}_F^2\right)\right\}\\ s.t.\left|\right|D_i\left(:,j\right)|{|}_2=1,\∀i,j,\end{array}---\left(1\right)$

训练数据A＝{A₁,A₂,…,A_K},其中为第i类训练数据，X_i是A_i被D重构的稀疏系数，是A_i被D_i重构的稀疏系数，为第i类数据的稀疏系数，类别字典为D＝{D₁,D₂,…,D_K},其中D_i为学习到的第i类的字典，字典D中除了D_i之外剩余的集合表示为D_i-，D_i-＝[D₁,…,D_i-1,D_i+1,…,D_k](i＝1,…k)。此外和 为稀疏系数的类内方差和类间方差。具体的步骤包括：

S201：初始化类别特色字典，此时初始化的方法一般包括随机初始化和特征向量初始化的方法；

S202：初始化字典之后，计算每个训练样本由初始化字典表示得到的稀疏系数。更新的方法为求解其中并计算每个样本由初始化字典重构的重构误差；

S203：稀疏系数更新完之后，更新每个类别特色字典中的原子；逐个更新子字典,当更新第j个子字典，默认其他子字典D_j(i≠j)已更新完毕。

S204：判断是否符合迭代的条件，若符合则停止迭代得到类别特色字典，否则返回重复步骤S202和步骤S203。

S3：通过辅助数据中的正常人脸和变化人脸迭代求解稀疏变化字典，其特征在于，其目的为学习到测试数据中可能存在的变化。其具体步骤包括：

S301：共享字典学习时字典初始化方法为随机初始化；

S302：共享字典学习，原理为每一类的变化人脸减去该类的正常人脸。其特征在于，通过以下方式得到D_s＝[B₁-m₁c₁,B₂-m₂c₂,…,B_k-m_kc_k]其中B_k为第k类的变化数据。

S4：得到类别特色字典和稀疏变化字典之后，重构测试数据，可将子字典与共享字典结合组成K个子字典具体步骤为：

S401：重构测试数据，计算稀疏系数其中为类别特色字典上的稀疏系数，为稀疏变化字典上的稀疏系数；

S402：计算重构误差并利用其进行人脸分类，具体的由每类数据重构的重构误差为于是测试数据的标签为identify(y)＝argmin_i{e_i}。

本发明具有明显的有益效果。借由上述技术方案，本发明的类别特色和类间共享字典结合的人脸表示算法的优点是，为人脸识别算法增加了鲁棒性，提高了训练样本为正常脸，测试样本包含丰富的干扰变化的情况下的人脸识别的效率。在使用的实用性及成本效益上，确实完全符合产业发展所需，相当具有产业利用价值。

附图说明

图1为人脸图像预处理流程图；

图2为本发明类别特色字典和稀疏变化字典人脸表示流程图；

图3为稀疏变化字典学习原理图；

图4类别特色字典和稀疏变化字典的人脸表示原理图；

图5 AR数据库上训练和测试样本；

图6为AR库上实验2图片尺寸为120*165的实验结果图；

图7为AR库上实验2图片尺寸为60*80的实验结果图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明，这些附图均为简化的示意图，仅以示意方式说明本方面的基本结构，因此其仅显示与本发明有关的构成。

本发明的实验平台为MATLAB 2014，计算机主机配置：Inter(R)Core(TM)I5-3470的中央处理器，8GB内存。

实施例

现结合附图对本发明作进一步说明，参见图1和图2，一种类别特色字典和共享字典学习的人脸表示算法的具体步骤：

1.输入样本，通过步骤S101得到人脸区域，通过步骤S102得到裁剪后的人脸，此时人脸以矩阵形式存储，以便后续的特征降维。然后通过PCA寻找投影矩阵，记投影矩阵为W,注意此处的投影矩阵是通过计算训练样本的最佳投影矩阵得到的，投影之后的训练样本、测试样本、辅助数据均在一个空间中。

2.步骤S2类别特色字典学习的详细过程如下：

(1)初始化字典D

将训练数据A的特征向量初始化为字典的原子，且将字典的每一类归一化为

(2)固定字典，更新X目标函数转换为：

$Q\left(X_i\right)={\min }_{X_i}\{E(A_i,D_i,X_i)+2\mathrm{\γ}|\left|X_i\right|{|}_1\}---\left(2\right)$

其中γ＝λ₁/2，X_i的求解可通过SRC中的方法；

(3)固定X,更新D。逐个更新子字典,当更新第j个子字典，默认其他子字典D_j(i≠j)已更新完毕，因此目标函数可转化为：

$D_i={\mathrm{argmin}}_{D_i}\left\{\right||\hat{A}-{\mathrm{DX}}_i|{|}_F^2+\left|\right|A_i-D_i{X}_i^i|{|}_F^2+|\left|D_i^T{D}_{i-}\right|{|}_F^2\}s.t.|\left|D_i(:,j)\right|{|}_2=1,\∀i,j,---\left(3\right)$

其中因此Q(D_i)可转换为：

$D_i={\mathrm{argmin}}_{D_i}\left\{\right||A_i-D_i{Z}_i|{|}_F^2+\left|\right|D_i^T{D}_{i-}\left|{|}_F^2\right\}---\left(4\right)$

其中同理，逐个更新中的原子，当更新时，其他原子已更新完毕，设Z_i＝[z₍₁₎；…；z_(m)],其中z_(k)为Z_i的第k行，令于是有：

$d_i^k={\mathrm{argmin}}_{d_i^k}\{g\left(d_i^k\right)=||{\widetilde{\mathrm{\Λ}}}_i-d_i^k{z}_{\left(k\right)}|{|}_F^2+\left|\right|d_i^{k^T}{D}_{i-}\left|{|}_F^2\right\}---\left(5\right)$

令得到：

$d_i^k={\left(\right(D_{i-}){\left(D_{i-}\right)}^T+|\left|z_{\left(k\right)}\right|{|}_2^{2}I)}^{-1}{\widehat{\mathrm{\Λ}}}_i{z}_{\left(k\right)}^T---\left(6\right)$

将得到的规范化：

$d_i^k=d_i^k/\left|\right|d_i^k|{|}_2---\left(7\right)$

(4)重复步骤2和步骤3直到前后两次的函数Q的值达到阈值或者达到最大迭代次数为止

3.步骤S4类别特色字典和稀疏变化字典的人脸表示算法

类别特色与稀疏变化字典的人脸表示算法的原理见图4。得到类别特色字典和稀疏变化字典之后，重构测试数据，可将子字典与共享字典结合组成K个字典用于重构测试数据，计算测试数据y由每个字典重构时的稀疏系数：

$\left[\begin{array}{c}{\hat{x}}_1\\ {\hat{x}}_2\end{array}\right]={\mathrm{argmin}}_{x_1,x_2}\left\{\right||y-\[D_i,D_S\]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]|{|}_2^2+\mathrm{\λ}\left|\right|\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]\left|{|}_1\right\}---\left(8\right)$

重构误差为：

$e_i=\left|\right|y-\[D_i,D_S\]\left[\begin{array}{c}{\hat{x}}_1\\ {\hat{x}}_2\end{array}\right]|{|}_2^2+\mathrm{\ω}||{\hat{x}}_1-m_i|{|}_2^2---\left(9\right)$

同样地，y的标签为：

identify(y)＝arg min_i{e_i} (10)

通过上述算法具体的工作过程，本发明的类别特色字典为训练样本仅为一个正常人脸的情况下的学习更具有分类能力的字典。稀疏变化字典学习算法，旨在解决测试样本含有丰富变化的情况下的人脸表示问题。提高了训练样本为正常脸，测试样本包含丰富的干扰变化的情况下的人脸识别的效率。

4.实验结果与分析

为了验证本发明算法的有效性，在AR、CMUPIE数据集上设计了实验。数据集样本见图4。同时为了对比本文算法在人脸表示上的优越性，首先将算法进行PCA降维后，利用CRC、SRC、NN、FDDL、ESRC、SVGDL与本文的算法进行分类。其中本文算法类别特色字典中可变参数均通过五折交叉验证得到，其中λ₁、λ₂可从集合中{0.1,0.05,0.01,0.005,0.001}中选择，在所有的实验中均取ω＝0.5。

AR库上实验

在AR库中，设计了两组实验：实验1和实验2。

在实验1中随机选取100人用于实验，每人一张正面人脸用于训练，其余每个人的26张图片被分为7个集合，如图5，其中没有光照表情变化的两张人脸用于训练，其余的用于测试，S₁为包含表情变化的样本；S₂为包含光照变化的样本；S₃为包含遮挡变化的样本；S₄为戴眼镜且包含光照变化的样本；S₅为戴围巾且包含光照变化的样本；S₆＝{S₄,S₅}为包含遮挡和光照变化的样本。实验图片下采样为60×80，无其他任何预处理操作，最后采用PCA将样本降为160维。图3中，(a)图为每类数据的正常脸的平均脸，(b)图为AR库中辅助数据得到的部分类间共享字典。表1为各算法在各集合上的识别率。

表1：算法在AR库上的实验1的结果(％)

从表1中可看出，本文算法在集合S₁、S₂、S₃、S₅、S₆中均取得了最好的分类结果，表明CSSVDL算法在测试样本与训练样本差异较大的情况下，也能达到理想的效果。此外ESRC和本文算法在仅存在光照变化的集合S₂上的准确率均达到了98％以上，这说明在测试样本含有光照变化时引入了类内差异字典学习的方法可有效提高识别率。同样ESRC、SSRC的分类准确率优于原始的SRC也表明引入辅助字典的是十分有必要的。同理本文算法的结果优于仅通过类别字典学习的FDDL。而本文的算法在存在比较复杂的变化集合S₆上的表现优于ESRC和SSRC也表明本文算法在处理测试样本存在复杂变化的时更有优势。

由实验1中集合S₆上的分类结果可知，算法还有很大的提升空间，可以做的提升有：1)提取更有辨别力的人脸特征；2)增加训练样本的数量。为了验证该假设我们设计了实验2，上在实验2中，选取每个人的正常脸和具有表情光照变化的样本作为训练样本，具有光照和遮挡变化的样本作为测试样本，同时提取样本的局部Gabor特征，原始人脸图像的尺寸为120*165和下采样后的60*80，将提取后的特征分别用PCA降到200、250、300、350、400、450、500维，观察特征空间对识别率的影响。采用尺寸为120*165图片的实验结果见图6，采用尺寸为60*80图片的实验结果见图7。从图6和图7可知，各算法识别率均会随着子空间维度的增加而增加。相对于其他算法，本文算法在各子空间的识别率比较稳定，即本文算法的更具有鲁棒性。此外，由图6可图7的实验结果可知，各算法的识别率会因图片下采样操作而下降，为了观察个算法的下降程度，我们引入下降率,计算方法为：假设SRC算法在图6中特征空间为200维时的识别率为R₁，相应的在图7中R₂，则SRC算法在特征维度为200维时，图片下采样操作导致的识别率的下降率为(R₁-R₂)/R₁。计算每个算法的下降率，得到各算法的下降率见表2。表2中加粗的部分为相应的维度的下降率最小值，下降率最小表示算法更有鲁棒性，由表2的结果可知，本文算法在各个维度上均得到了最小的下降率。说明算法在图片尺寸发生变化时的更具有稳定性。

表2各算法在AR库上实验2的下降率(％)

上述说明已经充分揭露了本发明的具体实施方式。需要指出的是，熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地，本发明的权利要求的范围也并不仅仅局限于所述具体实施方式。

Claims (5)

1.本发明旨在解决训练样本有限，测试样本含有未知变化的复杂情况下的人脸表示问题。通过类别子字典学习使学习到的类别子字典尽量相互不相关，从而提高子字典的分类能力；此外，令稀疏系数类内方差尽量小类间方差尽量大以提高稀疏系数的辨别性；与此同时，通过学习的方法得到类内变化字典有效降低了偏手工辅助字典的局限性。设有测试数据Y＝{Y₁,Y₂,…,Y_m}，本发明的目的是最小化重构误差其中Ε代表重构误差，D_i是第i类字典，Xⁱ是在D_i上的稀疏系数，D_S是类内变化字典，是在D_S上的稀疏系数。本文的主要目的是最小化Y_i由D_i和D_S重构的重构误差，因此我们需要分别学习类别特色字典和类间共享字典。

2.一种类别特色字典和类间共享字典的人脸表示算法，其特征在于，包括以下步骤：

S1：分别对训练样本、测试样本、辅助样本进行特征提取。每幅人脸图像的特征提取具体步骤包括：

S101:对相应的人脸图像进行人脸区域检测；

S102：对检测到的人脸进行人脸特征点检测，一般情况下检测人脸的五个特征点，包括眼睛、鼻尖、嘴角部分。通过检测到的特征点进行人脸区域的裁剪；

S103:按照步骤S102得到的各部分人脸，组成训练样本矩阵、测试样本矩阵、辅助数据矩阵，并通过PCA将样本投影到相同的空间。

S2：将训练样本进行类别特色字典学习，类别特色字典学习的目的是得到更具有分类能力字典，其特征在于，其目的是最小化目标函数(1)：

$\begin{array}{c}{\min }_{{\left\{D_i,X_i\right\}}_{i=1}^k}\left\{{\mathrm{\Σ}}_{i=1}^K\left\{\left|\right|A_i-{\mathrm{DX}}_i|{|}_F^2+||A_i-D_i{X}_i^i|{|}_F^2\right\}+{\mathrm{\λ}}_1\left|\right|X|{|}_1+{\mathrm{\λ}}_2\left(tr\left(S_w\left(X\right)-S_B\left(X\right)\right)+\left|\right|D_i^T{D}_{i-}|{|}_F^2\right)\right\}\\ s.t.\left|\right|D_i\left(:,j\right)|{|}_2=1,\∀i,j,\end{array}---\left(1\right)$

训练数据A＝{A₁,A₂,…,A_K},其中为第i类训练数据，X_i是A_i被D重构的稀疏系数，是A_i被D_i重构的稀疏系数，为第i类数据的稀疏系数，类别字典为D＝{D₁,D₂,…,D_K},其中D_i为学习到的第i类的字典，字典D中除了D_i之外剩余的集合表示为D_i-，D_i-＝[D₁,…,D_i-1,D_i+1,…,D_k](i＝1,…k)。此外和 为稀疏系数的类内方差和类间方差。具体的步骤包括：

S201：初始化类别特色字典，此时初始化的方法一般包括随机初始化和特征向量初始化的方法；

S202：初始化字典之后，计算每个训练样本由初始化字典表示得到的稀疏系数。更新的方法为求解其中并计算每个样本由初始化字典重构的重构误差；

S203：稀疏系数更新完之后，更新每个类别特色字典中的原子；逐个更新子字典,当更新第j个子字典，默认其他子字典D_j(i≠j)已更新完毕。

S204：判断是否符合迭代的条件，若符合则停止迭代得到类别特色字典，否则返回重复步骤S202和步骤S203。

S3：通过辅助数据中的正常人脸和变化人脸迭代求解稀疏变化字典，其特征在于，其目的为学习到测试数据中可能存在的变化。其具体步骤包括：

S301：共享字典学习时字典初始化方法为随机初始化；

S302：共享字典学习，原理为每一类的变化人脸减去该类的正常人脸。其特征在于，通过以下方式得到D_S＝[B₁-m₁c₁,B₂-m₂c₂,…,B_k-m_kc_k]其中B_k为第k类的变化数据。

S4：得到类别特色字典和稀疏变化字典之后，重构测试数据，可将子字典与共享字典结合组成K个子字典具体步骤为：

S401：重构测试数据，计算稀疏系数其中为类别特色字典上的稀疏系数，为稀疏变化字典上的稀疏系数；

S402：计算重构误差并利用其进行人脸分类，具体的由每类数据重构的重构误差为于是测试数据的标签为identify(y)＝arg min_i{e_i}。

3.根据权利要求1所述的类别特色和稀疏变化字典的人脸表示算法，其特征在于，所述步骤S202所述的其特征在于，中第一项表示i类训练数据A_i被整体字典D重构的误差，第二项是A_i被本类子字典D_i重构的重构误差。

4.根据权利要求1所述的类别特色和稀疏变化字典的人脸表示算法，其特征在于，所述步骤S2的其特征在于，稀疏系数类内方差越小越好而类间方差越大越好，并且类别子字典尽量不相关。

5.根据权利要求1所述的类别特色和稀疏变化字典的人脸表示算法，其特征在于，所述步骤S301中字典初始化的具体方法为其中M_i为第i类标准数据的中心，一般可取该类数据的平均向量，为大小为n_i的单位向量。