CN106066992A - 基于自适应局部约束的判别字典学习算法及人脸识别系统 - Google Patents

Abstract

本发明提出了一种基于自适应局部约束的判别字典学习算法以解决字典学习算法在人脸识别中存在的问题。本发明首先利用原子构造自适应的拉普拉斯图，使其能够保持字典的局部结构特征。然后，利用编码系数矩阵的行向量与字典的拉普拉斯图设计局部约束判别式项，使得字典具有更强的判别性能，进而设计基于自适应局部约束的判别字典学习的人脸识别系统模型，提高人脸识别的分类性能。本发明算法的顺利开展将丰富和发展基于约束的字典学习理论体系，为增强字典鉴别性能、提升人脸识别的能力起着重要的指导作用。

Description

基于自适应局部约束的判别字典学习算法及人脸识别系统

技术领域

本发明涉及图像识别技术领域，尤其涉及一种判别字典学习算法及人脸识别系统。

背景技术

训练样本的局部特征对于提高基于字典学习的判别性能起到非常重要的作用。但人脸图像易受光照、姿态和遮挡等因素的影响，导致直接利用人脸图像计算的局部特征并不一定真实的反映人脸间的特征关系，降低基于字典学习的人脸识别系统的分类性能。

发明内容

本发明的目的在于提供一种基于自适应局部约束的判别字典学习算法来解决字典学习算法在人脸识别中存在的问题。

为达上述目的，本发明通过以下技术方案实现：

一种基于自适应局部约束的判别字典学习算法，包括以下步骤：

S1、利用原子构造字典的局部特征模型：利用字典中的原子构造图M：

$M(i,j)=\left\{\begin{array}{cc}\exp (-\frac{\left|\right|d_i-d_j\left|\right|}{\mathrm{\δ}})& \begin{array}{cc}if& d_j\∈kNN\left(d_i\right)\end{array}\\ 0& else\end{array}\right.$

其中，是第i个原子，K是原子个数，δ是参数，kNN(d_i)表示原子d_i的k近邻原子，M(i,j)是原子d_i和d_j的权重，并反映它们间的相似性；

S2、利用拉普拉斯图来构造原子间的相似性特征，基于原子特征的拉普拉斯图L构造如下：

$L=T-M,T=diag(t_1,...,t_K),and{t}_i=\underset{j=1}{\overset{K}{\Σ}}{M}_{ij}$

其中，M是字典D中原子的近邻图，T是利用近邻图M计算的对角矩阵，M_ij是近邻图M中原子间的权重；

S3、利用编码系数矩阵的行向量和拉普拉斯图L保持字典的局部结构信息，则设计的自适应局部约束模型如下：

$\frac{1}{2}\underset{i=1}{\overset{K}{\Σ}}\underset{J=1}{\overset{K}{\Σ}}\left|\right|{\hat{x}}_i-{\hat{x}}_j|{|}_2{M}_{ij}=Tr\left(X^{T}LX\right);$

S4、为了学习一个判别性能强的字典，利用原子的局部特征约束项作为判别式约束项，构造目标函数如下：

$\underset{D,X,L}{min}\left|\right|Y-DX|{|}_2^2+\mathrm{\α}Tr\left(X^{T}LX\right)+\mathrm{\β}|\left|X\right|{|}_1$

s.t.||d_i||²＝1,i＝1,…,K

其中，Y是训练样本集合，D是学习得到的字典，X是编码系数，α和β是调整参数；

S5、目标函数求解：当编码系数矩阵X和拉普拉斯矩阵L固定，则基于局部约束的字典学习算法的目标函数可以转换为：

$\underset{D}{min}\left|\right|Y-DX|{|}_2^2$

s.t.||d_i||²＝1,i＝1,…,K

最优的字典D为：D^*＝YX^T(XX^T+Λ)^-1，其中λ_i是第i个等式约束||d_i||²＝1的拉格朗日乘子；其对角元素Λ_ii＝λ_i；一旦获得最优的字典D^*，根据步骤S1和S2更新拉普拉斯矩阵L；然后，计算编码系数矩阵：

$X_{k+1}={\mathrm{soft}}_{\frac{\mathrm{\β}}{\mathrm{\η}}}(X_k-\frac{{\▿}_{X}f\left(X_k\right)}{\mathrm{\η}}),$

其中，soft(.)为软阀值函数， 是关于变量X求导运算。

一种应用于人脸识别系统的基于自适应局部约束的判别字典学习方法，所述方法包括：

A.获得训练样本集合Y,设置参数α,β,γ,δ,k,及迭代次数φ；

B.针对训练样本中的第j类样本，利用K-SVD算法初始化特定类字典D_j和编码系数矩阵X_j；

C.获得初始化字典D⁰＝[D₁,…,D_C]和初始化编码系数矩阵X⁰＝[X₁,…,X_C]，并利用D⁰计算初始化的拉普拉斯矩阵L⁰；

D.For i＝1:φ

利用公式D^*＝YX^T(XX^T+δI)^-1计算字典Dⁱ，其中，I是单位矩阵；利用字典Dⁱ和公式L＝T-M,T＝diag(t₁,…,t_K),计算拉普拉斯矩阵Lⁱ，其中，M是字典D中原子的近邻图，T是利用近邻图M计算的对角矩阵，M_ij是近邻图M中原子间的权重；

利用公式计算编码系数矩阵Xⁱ，其中， 是关于变量X的求导运算；

End

E.获得最优的编码系数X和字典D。

一种人脸识别方法，其特征在于，所述方法包括以下步骤：

步骤1，输入人脸训练样本集合Y，利用如权利要求3所述的基于自适应局部约束的判别字典学习方法，获得最优的编码系数X和字典D；

步骤2，利用编码系数矩阵X和训练样本的类标矩阵H计算分类参数W：

W＝HX^T(XX^T+I)^-1

其中，当h_i中第j个元素为非零值时，表明训练样本y_i来自于第j类；

步骤3，获取测试样本y_t；

步骤4，对于测试样本y_t，利用字典D对其稀疏表示如下：

$\arg \underset{x}{\min }\left|\right|y_t-Dx|{|}_2^2$

s.t.||x||₀≤T₀

其中T₀表示矢量x中的非零元素个数。利用OMP(Orthogonal Matching Pursuit)算法获得测试样本y_t的最优表示系数x^*；

步骤5，获得测试样本y_t的类标j：

一种人脸识别系统，其特征在于，所述系统包括：

字典学习模块，用于根据输入人脸训练样本集合Y，利用如权利要求3所述的基于自适应局部约束的判别字典学习方法，获得最优的编码系数X和字典D；

分类参数计算模块，用于利用编码系数矩阵X和训练样本的类标矩阵H计算分类参数W：

W＝HX^T(XX^T+I)^-1

其中，当h_i中第j个元素为非零值时，表明训练样本y_i来自于第j类；

人脸图像获取模块，用于获取测试样本y_t；

人脸分类识别模块，用于利用字典D对测试样本y_t稀疏表示如下：

$\arg \underset{x}{\min }\left|\right|y_t-Dx|{|}_2^2$

s.t.||x||₀≤T₀

其中T₀表示矢量x中的非零元素个数。利用OMP(Orthogonal Matching Pursuit)算法获得测试样本y_t的最优表示系数x^*，然后获得测试样本y_t的类标j：

本发明的有益效果是：本发明首先利用原子构造自适应的拉普拉斯图，使其能够保持字典的局部结构特征。然后，利用编码系数矩阵的行向量与字典的拉普拉斯图设计局部约束判别式项，使得字典具有更强的判别性能，进而设计基于自适应局部约束的判别字典学习的人脸识别系统模型，提高人脸识别的分类性能。本算法的顺利开展将丰富和发展基于约束的字典学习理论体系，为增强字典鉴别性能、提升人脸识别的能力起着重要的指导作用。

附图说明

图1是本发明的基于自适应局部约束的判别字典学习算法及人脸识别方法流程图。

具体实施方案

下面通过具体实施方式结合附图对本发明作进一步详细说明。

如果利用k均值算法学习字典，则字典可以继承训练样本中的结构特征。根据这一思想，考虑利用原子的局部特征继承训练样本的结构特征，并设计判别式约束项提高字典的判别性能。在此基础上设计基于自适应局部约束的判别字典学习算法提高人脸识别的分类性能。本发明提出的算法步骤如下：

第一步：利用原子构造字典的局部特征模型，由于图能够有效地表示数据间的关系，可以利用图来表示原子间的相似性特征。利用字典(是第i个原子，K是原子个数)中的原子构造图M如下：

$M(i,j)=\left\{\begin{array}{cc}\exp (-\frac{\left|\right|d_i-d_j\left|\right|}{\mathrm{\δ}})& \begin{array}{cc}if& d_j\∈kNN\left(d_i\right)\end{array}\\ 0& else\end{array}\right.---\left(1\right)$

其中，δ是参数，kNN(d_i)表示原子d_i的k近邻原子，M(i,j)是原子d_i和d_j的权重，并反映它们间的相似性。

第二步：为了更好的反映原子间的局部特征，利用拉普拉斯图来构造原子间的相似性特征。基于原子特征的拉普拉斯图L构造如下：

$L=T-M,T=diag(t_1,...,t_K),and{t}_i=\underset{j=1}{\overset{K}{\Σ}}{M}_{ij}---\left(2\right)$

第三步：由于字典D是从训练样本中学习得到的，拉普拉斯矩阵L比直接利用训练样本集合具有更强的鲁棒性。由于编码系数矩阵的行向量和原子是一一对于关系，可以利用编码系数矩阵的行向量和拉普拉斯图L保持字典的局部结构信息，则设计的自适应局部约束模型如下(Tr(·)是矩阵的迹运算)：

$\frac{1}{2}\underset{i=1}{\overset{K}{\Σ}}\underset{J=1}{\overset{K}{\Σ}}\left|\right|{\hat{x}}_i-{\hat{x}}_j|{|}_2{M}_{ij}=Tr\left(X^{T}LX\right)---\left(3\right)$

第四步：为了学习一个判别性能强的字典，利用原子的局部特征约束项作为判别式约束项，设计基于自适应局部约束的字典学习算法(LCDL)如下：

$\underset{D,X,L}{min}\left|\right|Y-DX|{|}_2^2+\mathrm{\α}Tr\left(X^{T}LX\right)+\mathrm{\β}|\left|X\right|{|}_1---\left(4\right)$

s.t.||d_i||²＝1,i＝1,…,K

其中，Y是训练样本集合，D是学习得到的字典，X是编码系数，α和β是调整参数。是重构项，Tr(X^TLX)是判别式约束项，||X||₁是编码系数约束项，||·||₁是l₁范数，||·||₂是l₂范数。

与目前基于局部约束的判别字典学习算法相比，本发明提出的LCDL算法具有以下特点：(1)利用原子构造字典的拉普拉斯图，继承训练样本的结构特征；(2)判别式约束项具有一定的自适应性和鲁棒性，能减少人脸图像中的噪声对字典判别性能的影响。

当编码系数矩阵X和拉普拉斯矩阵L固定，则基于局部约束的字典学习算法的目标函数可以转换为：

$\underset{D}{min}\left|\right|Y-DX|{|}_2^2---\left(5\right)$

s.t.||d_i||²＝1,i＝1,…,K

公式(5)是一个二次约束的最小平方优化问题，可利用拉格朗日对偶函数转换为：

$g\left(\mathrm{\λ}\right)=inf\left(\right||Y-DX|{|}_2^2+\underset{i=1}{\overset{K}{\Σ}}{\mathrm{\λ}}_i\left(\left|\right|d_i|{|}^2-1\right))---\left(6\right)$

其中λ＝[λ₁,…,λ_i,…,λ_K](i∈[1,…,K])，λ_i是第i个等式约束(||d_i||²＝1)的拉格朗日乘子。于是可以定义对角矩阵其对角元素Λ_ii＝λ_i。因此，公式(6)可转换为：

$f(D,\mathrm{\λ})=\left|\right|Y-DX|{|}_2^2+Tr\left(D^{T}D\mathrm{\Λ}\right)-Tr\left(\mathrm{\Λ}\right)---\left(7\right)$

为了获得最优的字典D，对公式(7)求一阶导数并令其等于零可得：

DXX^T+DΛ-YX^T＝0 (8)

因此，最优的字典D为：

D^*＝YX^T(XX^T+Λ)^-1 (9)

为了减少计算复杂度，利用δI(I是单位矩阵)代替Λ获得最优的字典D为：

D^*＝YX^T(XX^T+δI)^-1 (10)

一旦获得最优的字典D^*，可以利用公式(2)更新拉普拉斯矩阵L。

当字典D和拉普拉斯矩阵L固定，基于自适应局部约束的判别字典学习算法的目标函数转换为：

$\underset{X}{min}\left|\right|Y-DX|{|}_2^2+\mathrm{\α}Tr\left(X^{T}LX\right)+\mathrm{\β}|\left|X\right|{|}_1---\left(11\right)$

令：则公式(11)转换为：

$F\left(X\right)=\arg \underset{X}{min}f\left(X\right)+\mathrm{\β}\left|\right|X|{|}_1---\left(12\right)$

公式(12)的求解等价于公式(13)的求解：

$F\left(X\right)=\arg \underset{X}{min}\mathrm{\&beta;}\left|\right|X|{|}_1+<{\&dtri;}_{X}f\left(X_k\right),X-X_k>+\frac{\mathrm{\&eta;}}{2}||X-X_k|{|}_2^2---\left(13\right)$

其中， 是对函数f(·)中的X求导运算。

且η应满足

公式(13)的求解可以转换为：

$F\left(X\right)=\arg \underset{X}{min}\mathrm{\&beta;}\left|\right|X|{|}_1+\frac{\mathrm{\&eta;}}{2}||X-X_k+\frac{{\&dtri;}_{X}f\left(X_k\right)}{\mathrm{\&eta;}}|{|}_F^2---\left(14\right)$

利用软阀值方法求解如下：

$X_{k+1}={\mathrm{soft}}_{\frac{\mathrm{\&beta;}}{\mathrm{\&eta;}}}(X_k-\frac{{\&dtri;}_{X}f\left(X_k\right)}{\mathrm{\&eta;}})---\left(15\right)$

其中soft(.)为软阀值函数。

由于获得的编码系数矩阵不能直接用来分类，可以使用一种简单的线性分类器对测试样本进行分类。具体的分类步骤如下：

(1)利用编码系数矩阵X和训练样本的类标矩阵H计算分类参数W如下：

W＝HX^T(XX^T+I)^-1 (16)

其中，当h_i中第j个元素为非零值时，表明训练样本y_i来自于第j类。

(2)对于测试样本y_t，利用学习得到的字典D对其稀疏表示如下：

$\arg \underset{x}{\min }\left|\right|y_t-Dx|{|}_2^2$

s.t.||x||₀≤T₀ (17)

其中T₀表示矢量x中的非零元素个数。利用OMP(Orthogonal Matching Pursuit)

算法可以获得测试样本y_t的最优表示系数x^*

(3)测试样本y_t的类标可以利用公式(18)获得

$j=\arg \underset{j}{\max }\left({\mathrm{Wx}}^{*}\right)---\left(18\right)$

人脸测试图像y_t可以基于摄像头拍摄的视频进行人脸检测算法得到。

表1 LCDL算法

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (7)

1.一种基于自适应局部约束的判别字典学习算法，其特征在于：所述方法包括以下步骤：

S1、利用原子构造字典的局部特征模型：利用字典中的原子构造图M：

其中，是第i个原子，K是原子个数，δ是参数，kNN(d_i)表示原子d_i的k近邻原子，M(i,j)是原子d_i和d_j的权重，并反映它们间的相似性；

S2、利用拉普拉斯图来构造原子间的相似性特征，基于原子特征的拉普拉斯图L构造如下：

其中，M是字典D中原子的近邻图，T是利用近邻图M计算的对角矩阵，M_ij是近邻图M中原子间的权重；

S3、利用编码系数矩阵的行向量和拉普拉斯图L保持字典的局部结构信息，

则设计的自适应局部约束模型如下：

其中，是编码系数矩阵X的第i行矢量, Tr(·)是矩阵的迹运算。

S4、为了学习一个判别性能强的字典，利用原子的局部特征约束项作为判别式约束项，构造目标函数如下：

s.t.||d_i||²＝1,i＝1,…,K

其中，Y是训练样本集合，D是学习得到的字典，X是编码系数矩阵，α和β 是调整参数；

S5、目标函数求解：当编码系数矩阵X和拉普拉斯矩阵L固定，则基于局部约束的字典学习算法的目标函数可以转换为：

s.t.||d_i||²＝1,i＝1,…,K

最优的字典D为：D^*＝YX^T(XX^T+Λ)^-1，其中λ_i是第i个等式约束||d_i||²＝1的拉格朗日乘子；其对角元素Λ_ii＝λ_i；一旦获得最优的字典D^*，根据步骤S1和S2更新拉普拉斯矩阵L；然后，计算编码系数矩阵：

其中，soft(.)为软阀值函数， 是关于变量X的求导运算。

2.根据权利要求1所述的判别字典学习算法，其特征在于：所述步骤S5中，为了减少计算复杂度，利用δI代替Λ获得最优的字典D为：D^*＝YX^T(XX^T+δI)^-1，其中，I是单位矩阵。

3.一种应用于人脸识别系统的基于自适应局部约束的判别字典学习方法，其特征在于：所述方法包括：

A.获得训练样本集合Y,设置参数α,β,γ,δ,k,及迭代次数φ；

B.针对训练样本中的第j类样本，利用K-SVD算法初始化特定类字典D_j和编码系数矩阵X_j；

C.获得初始化字典D⁰＝[D₁,…,D_C]和初始化编码系数矩阵X⁰＝[X₁,…,X_C]，

并利用D⁰计算初始化的拉普拉斯矩阵L⁰；

D.For i＝1:φ

利用公式D^*＝YX^T(XX^T+δI)^-1计算字典Dⁱ，其中，I是单位矩阵；

利用字典Dⁱ和公式L＝T-M,T＝diag(t₁,…,t_K),and计算拉普拉斯矩阵Lⁱ，其中，M是字典D中原子的近邻图，T是利用近邻图M计算的 对角矩阵，M_ij是近邻图M中原子间的权重；

利用公式计算编码系数矩阵Xⁱ，其中，

是关于变量X的求导运算；

End

E.获得最优的编码系数X和字典D。

4.一种人脸识别方法，其特征在于，所述方法包括以下步骤：

步骤1，输入人脸训练样本集合Y，利用如权利要求3所述的基于自适应局部约束的判别字典学习方法，获得最优的编码系数X和字典D；

步骤2，利用编码系数矩阵X和训练样本的类标矩阵H计算分类参数W：

W＝HX^T(XX^T+I)^-1

其中，当h_i中第j个元素为非零值时，表明训练样本y_i来自于第j类；

步骤3，获取测试样本y_t；

步骤4，对于测试样本y_t，利用字典D对其稀疏表示如下：

s.t.||x||₀≤T₀

其中T₀表示矢量x中的非零元素个数。利用OMP(Orthogonal Matching Pursuit)算法获得测试样本y_t的最优表示系数x^*；

步骤5，获得测试样本y_t的类标j：

5.根据权利要求3所述的人脸识别方法，其特征在于：所述人脸测试图像y_t基于摄像头拍摄的视频进行人脸检测算法得到。

6.一种人脸识别系统，其特征在于，所述系统包括：

字典学习模块，用于根据输入人脸训练样本集合Y，利用如权利要求3所述的基于自适应局部约束的判别字典学习方法，获得最优的编码系数X和字典D；

分类参数计算模块，用于利用编码系数矩阵X和训练样本的类标矩阵H计算 分类参数W：

W＝HX^T(XX^T+I)^-1

其中，当h_i中第j个元素为非零值时，表明训练样本y_i来自于第j类；

人脸图像获取模块，用于获取测试样本y_t；

人脸分类识别模块，用于利用字典D对测试样本y_t稀疏表示如下：

s.t.||x||₀≤T₀

其中T₀表示矢量x中的非零元素个数。利用OMP(Orthogonal Matching Pursuit)算法获得测试样本y_t的最优表示系数x^*，然后获得测试样本y_t的类标j：

7.根据权利要求6所述的人脸识别系统，其特征在于：所述人脸测试图像y_t基于摄像头拍摄的视频进行人脸检测算法得到。