CN110956113B - 基于二次协作表示鉴别投影的鲁棒人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于二次协作表示鉴别投影的鲁棒人脸识别方法，通过第一次协作表示筛选出与训练样本联系较为紧密的K类样本，通过第二次协作表示线性重构训练样本获取重构系数，并通过重构系数构造样本的类内图与类间图刻画样本的内聚性与分离性，然后通过最大化类间散度同时最小化类内散度获得投影矩阵，最后利用所获得的投影矩阵提取待识别样本与所有训练样本的特征，并由分类准则判断待识别样本的类标。本发明利用协作表示重构训练样本，可有效处理由于光照、遮挡、人脸姿态、表情变化引起的识别错误问题，可更有效、准确地表达训练样本，可满足实际应用中对人脸识别的高精度需求。

Description

基于二次协作表示鉴别投影的鲁棒人脸识别方法

技术领域

本发明涉及一种人脸识别方法，属于图像识别技术领域。

背景技术

人脸识别是身份鉴别的一种重要方法，在档案管理系统、安全验证系统、信用卡验证、公安系统的罪犯身份识别、银行和海关的监控、人机交互等领域有着广泛的应用前景。基于特征提取的人脸识别方法是一种主流的人脸识别方法，其利用降维技术提取人脸图像中的重要特征，获取图像中有效的鉴别信息，减少图像中冗余信息、噪声等对识别率的影响，从而提高识别精度与识别速度。

现有的人脸特征提取与识别方法有：

(1)特征脸(eigenfaces)，即基于主成分分析(PCA)的人脸识别方法，记载于M.Turk与A.Pentland于1991年在Journal ofCognitive Neuroscience第3卷第1期71-86页发表的《Eigenfaces for recognition》中，该方法旨在寻找一个投影方向，使得人脸样本投影后总体散度最大。

(2)费舍尔脸(fisherface)，即基于线性鉴别分析(LDA)的人脸识别方法，记载于P.N.Belhumeur,J.P.Hespanha,D.J.Kriegman于1997年在IEEE Transactions onPatternAnalysis and Machine Intelligence第19卷第7期711-720页发表的《Eigenfacesvs.fisherfaces:recognition using class specific linearprojection》，该方法利用样本的类别信息，刻画了样本包含的鉴别结构。

(3)拉普拉斯脸(laplacianface)，即基于局部保持投影(LPP)的人脸识别方法，记载于X.He,S.Yan,Y.Hu等人于2005年在IEEE Transactions on Pattern Analysis andMachine Intelligence第27卷第3期328-340页发表的《Face recognition usinglaplacianfaces》，该方法旨在寻找一个投影方向，使得人脸样本投影后局部结构得到保持。

(4)基于稀疏保持投影(SPP)的人脸识别方法，记载于L.Qiao,S.Chen,X.Tan于2010年在Pattern Recognition第43卷第1期331-341发表的《Sparsity preservingprojections with applications to face recognition》，该方法利用样本的稀疏性构造邻接矩阵，旨在寻找一个投影方向，使得人脸样本投影后稀疏性得以保持。

(5)基于协作表示的局部鉴别投影法(CRLDP)，记载于P.Huang,T.Li,G.W.Gao等人于2018年在Digital Signal Processing第76卷第5期84-93页发表的《Collaborativerepresentation based local discriminant projection for feature extraction》，该方法利用样本间的协作表示关系构造类内图与类间图，分别用于刻画样本的内聚性与分离性，然后通过寻找一个最佳投影矩阵使得样本投影后类间散度与类内散度比值最大实现样本的特征提取。

以上特征提取算法中，PCA没有考虑样本的鉴别结构，LDA没有考虑样本的局部结构，且所能提取的特征最多为C-1(C为样本类别数)，因此PCA与LDA鲁棒性较差。LPP、SPP与CRLDP为基于图嵌入的特征提取方法，均需通过构造邻接图刻画样本的结构信息。LPP利用近邻图刻画样本局部结构，但LPP属于无监督方法，未考虑样本的鉴别结构，且近邻参数无法自动确定。SPP旨在保持样本的稀疏性，对噪声鲁棒性较强，但其属于无监督算法，且求解稀疏系数需耗费大量的时间。CRLDP属于有监督方法，其利用全体样本协作表示训练样本，且相较于SPP，重构系数求解快速，但某些与训练样本无关或冗余信息较多的样本同样参与了训练样本的重构表示，因此CRLDP识别率可能会受到影响。

发明内容

本发明所要解决的技术问题是，设计一种基于二次协作表示鉴别投影的鲁棒人脸识别方法，

本发明为解决上述技术问题采用以下技术方案：

基于二次协作表示鉴别投影的鲁棒人脸识别方法，包括如下步骤：

步骤1：获取人脸图像训练样本集，所述训练样本集包括C个不同的类，对训练样本集中每个训练样本和待识别样本进行归一化，并利用PCA方法降低数据维数；

步骤2：将训练样本用总体训练样本协作表示，并求解协作表示系数；

步骤3：计算训练样本在每类训练样本中的重构误差，并筛选K个最小重构误差所对应的样本类；

步骤4：将训练样本用所筛选的这K类样本及自身所在类协作表示，并求解协作表示系数；

步骤5：利用步骤4中求得的协作表示系数构造类内图与类间图，用于刻画样本的鉴别结构；

步骤6：根据类内图与类间图，构造类内散布矩阵与类间散布矩阵；

步骤7：通过最大化类内散度与类间散度的比值求取投影矩阵，并利用投影矩阵提取训练样本与待识别样本的特征；

步骤8：根据最近邻分类器判断待识别样本的类标。

进一步的，本发明所提出的基于二次协作表示鉴别投影的鲁棒人脸识别方法，步骤(1)中所述获取训练样本集，具体为：将每幅人脸图像进行矩阵向量化操作，得到第i幅人脸图像样本为x_i∈R^D，其中D＝w×h，w×h分别代表图像的宽度和高度；将训练样本集表示为X＝[x₁,x₂,...,x_n]，待识别样本表示为x_test，其中n表示人脸图像训练样本数。

进一步的，本发明所提出的基于二次协作表示鉴别投影的鲁棒人脸识别方法，步骤(1)对训练样本集中每个训练样本和待识别样本进行归一化，具体为：

对于训练样本x_i，进行模为1的归一化操作：

x_i＝x_i/||x_i||₂,i＝1,2,...,n

同样，对于待识别样本x_test，也进行归一化操作：

x_test＝x_test/||x_test||₂。

进一步的，本发明所提出的基于二次协作表示鉴别投影的鲁棒人脸识别方法，步骤(1)所述利用PCA方法降低数据维数，计算步骤为：

(1).令Z＝[x₁-m,x₂-m,…,x_n-m]，其中

为全体训练样本的均值；计算

前d个非零特征值对应的特征向量，令λ₁>λ₂…>λ_d为

前d个非零最大特征值，v₁,v₂,…,v_d为相应的特征向量；

(2).将PCA投影向量表示为：

(3).令A_PCA＝[a₁,a₂,…,a_d]，则得到PCA预处理后的数据为：

x_i＝A_PCA ^Tx_i,i＝1,2,...,n

x_test＝A_PCA ^Tx_test。

进一步的，本发明所提出的基于二次协作表示鉴别投影的鲁棒人脸识别方法，所述步骤(2)将训练样本用总体训练样本协作表示，并求解协作表示系数，具体如下：

对于某一训练样本x_i，其可由其余全体训练样本协作表示，而协作表示系数向量w_i由求解以下L₂范数问题获得：

其中X_i＝[x₁,…x_i-1,0,x_i+1,…,x_n]表示除x_i以外的全体训练样本集合，

为重构系数向量，β＞0为调节参数；

协作表示系数向量w_i由以下计算式求得：

其中I∈R^n×n为单位矩阵。

进一步的，本发明所提出的基于二次协作表示鉴别投影的鲁棒人脸识别方法，步骤(3)所述计算训练样本在每类训练样本中的重构误差，并筛选K个最小重构误差所对应的样本类，具体如下：

根据步骤(2)中求得的重构系数向量，令

其中

表示第p类样本重构x_i的系数向量，则可得第p类样本重构x_i的误差为：

其中

表示X_i中的第p类训练样本；

将

按从小到大顺序进行排序，筛选出x_i的K个最小重构误差对应的样本类：

进一步的，本发明所提出的基于二次协作表示鉴别投影的鲁棒人脸识别方法，步骤(4)将训练样本x_i用所筛选的这K类样本及自身所在类协作表示，并求解协作表示系数,具体为：

假设x_i所在类样本集为

令

将x_i协作表示成步骤(3)中筛选出的K类样本及自身所在类的线性组合，则其协作表示系数向量

可通过求解以下L₂范数问题获得：

其中

为重构系数向量；

协作表示系数向量

可由以下计算式获得：

进一步的，本发明所提出的基于二次协作表示鉴别投影的鲁棒人脸识别方法，步骤(5)所述利用步骤(4)中求得的协作表示系数构造类内图与类间图，用于刻画样本的鉴别结构，具体如下：

令G_w＝{X,W_w}、G_b＝{X,W_b}分别表示样本的类内图与类间图，其中X表示训练样本集，W_w表示类内相似矩阵，W_b表示类间相似矩阵，图G_w与图G_b分别用于刻画样本的类内相聚性与类间分离性，其相似矩阵W_w、W_b分别定义为：

其中，W_w(i,j)、W_b(i,j)分别为矩阵W_w、W_b的第i行第j列元素，

表示

中样本x_j重构x_i的系数。

进一步的，本发明所提出的基于二次协作表示鉴别投影的鲁棒人脸识别方法，根据类内图与类间图，构造类内散布矩阵与类间散布矩阵，

令A表示投影矩阵，y_i＝A^Tx_i表示训练样本的投影x_i向量，则矩阵的类内散度与类间散度分别表示为：

其中

分别为样本的类内散布矩阵与类间散布矩阵；

计算式为：

其中，D^c、D^r均为对角矩阵，对角线上的元素分别为:

同理，

计算式为：

其中，D^c'、D^r'均为对角矩阵，对角线上的元素分别为:

进一步的，本发明所提出的基于二次协作表示鉴别投影的鲁棒人脸识别方法，步骤(7)所述通过最大化类间散度与类内散度的比值求取投影矩阵，并利用投影矩阵提取训练样本与待识别样本的特征，具体如下：

最佳投影矩阵可通过最大化类间散度与类内散度的比值获得，因此目标方程可表示为：

以上目标方程中，投影矩阵A可通过求解以下特征方程前d个最大特征值对应的特征向量获得：

其中λ为特征值，a为λ对应的特征向量；

令a₁,a₂,...,a_d为

前d个最大特征值对应的特征向量，则投影矩阵A可表示为:

A＝[a₁,a₂,...,a_d]

利用投影矩阵A对全体训练样本和待识别样本x_test提取特征可得：

y_i＝A^Tx_i，

y_test＝A^Tx_test。

本发明采用以上技术手段，与现有技术相比具有以下技术效果：

本发明利用协作表示重构训练样本，可有效处理由于光照、遮挡、人脸姿态、表情变化引起的识别错误问题，同时根据重构误差筛选出的K类样本相较于使用全体训练样本可更有效、准确地表达训练样本，且利用协作表示系数构图具有邻域关系自动确定、稀疏性、抗噪声性等特征，因此可满足实际应用中对人脸识别的高精度需求。

附图说明

图1是本发明基于二次协作表示鉴别投影的鲁棒人脸识别方法的流程图。

图2是本发明实施例中的人脸库中某人的16幅图片样例。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明通过第一次协作表示筛选出与训练样本联系较为紧密的K类样本，通过第二次协作表示线性重构训练样本获取重构系数，并通过重构系数构造样本的类内图与类间图刻画样本的内聚性与分离性，然后通过最大化类间散度同时最小化类内散度获得投影矩阵，最后利用所获得的投影矩阵提取待识别样本与所有训练样本的特征，并由分类准则判断待识别样本的类标。

如图1所示，本发明提供一种基于二次协作表示鉴别投影的鲁棒人脸识别方法，具体流程如下：

(一)获取人脸图像训练样本集。

假设图像的大小为w×h，训练样本来自于C个图像类，每类人脸样本数均为n₀，将每幅人脸图像进行矩阵向量化操作，得到第i幅人脸图像样本为x_i∈R^D，其中D＝w×h。训练样本集可表示为X＝[x₁,x₂,...,x_n]，待识别样本可表示为x_test，其中n表示人脸图像训练样本数。

对于训练样本x_i，进行模为1的归一化操作：

x_i＝x_i/||x_i||₂,(i＝1,2,...,n)

同样，对于待识别样本x_test，也需进行归一化操作：

x_test＝x_test/||x_test||₂。

利用PCA方法对归一化后的样本进行预处理以降低数据维数，为方便起见，仍用X＝[x₁,x₂,...,x_n]和x_test代表PCA预处理后的训练样本集和待识别样本，则计算步骤为：

(4).令Z＝[x₁-m,x₂-m,…,x_n-m]，其中

为全体训练样本的均值；计算

前d个非零特征值对应的特征向量，令λ₁>λ₂…>λ_d为

前d个非零最大特征值，v₁,v₂,…,v_d为相应的特征向量。

(5).PCA投影向量可表示为：

(6).令A_PCA＝[a₁,a₂,…,a_d]，则可得PCA预处理后的数据为：

x_i＝A_PCA ^Tx_i,(i＝1,2,...,n)

x_test＝A_PCA ^Tx_test。

(二)将训练样本用总体训练样本协作表示，并求解协作表示系数。

对于某一训练样本x_i，其可由其余全体训练样本协作表示，而协作表示系数向量w_i可由求解以下L₂范数问题获得：

其中X_i＝[x₁,…x_i-1,0,x_i+1,…,x_n]表示除x_i以外的全体训练样本集合，

为重构系数向量，β＞0为调节参数。

协作表示系数向量w_i可由以下计算式求得：

其中I∈R^n×n为单位矩阵。

(三)计算训练样本x_i在每类训练样本中的重构误差，并筛选K个最小重构误差所对应的样本类。

根据(二)中求得的重构系数向量，可令

其中

表示第p类样本重构x_i的系数向量，则可得第p类样本重构x_i的误差为：

其中

表示X_i中的第p类训练样本。

将

按从小到大顺序进行排序，筛选出x_i的K个最小重构误差对应的样本类：

(四)将训练样本x_i用所筛选的这K类样本及自身所在类协作表示，并求解协作表示系数。

具体为：

假设x_i所在类样本集为

令

将x_i协作表示成步骤(三)中筛选出的K类样本及自身所在类的线性组合，则其协作表示系数向量

可通过求解以下L₂范数问题获得：

其中

为重构系数向量。

协作表示系数向量

可由以下计算式获得：

(五)利用步骤(四)中求得的协作表示系数构造类内图与类间图，用于刻画样本的鉴别结构。

令G_w＝{X,W_w}、G_b＝{X,W_b}分别表示样本的类内图与类间图，其中X表示训练样本集，W_w表示类内相似矩阵，W_b表示类间相似矩阵。图G_w与图G_b分别用于刻画样本的类内相聚性与类间分离性，其相似矩阵W_w、W_b分别定义为：

这里W_w(i,j)、W_b(i,j)分别为矩阵W_w、W_b的第i行第j列元素，

表示

中样本x_j重构x_i的系数。

(六)根据类内图与类间图，构造类内散布矩阵与类间散布矩阵。

令A表示投影矩阵，y_i＝A^Tx_i(i＝1,2,…,n)表示训练样本的投影x_i向量，则矩阵的类内散度与类间散度分别表示为：

其中

分别为样本的类内散布矩阵与类间散布矩阵。

计算式为：

这里D^c、D^r均为对角矩阵，对角线上的元素分别为:

同理，

计算式为：

这里D^c'、D^r'均为对角矩阵，对角线上的元素分别为:

(七)通过最大化类间散度与类内散度的比值求取投影矩阵，并利用投影矩阵提取训练样本与待识别样本的特征。

最佳投影矩阵可通过最大化类间散度与类内散度的比值获得，因此目标方程可表示为：

以上目标方程中，投影矩阵可通过求解以下特征方程前d个最大特征值对应的特征向量获得：

其中λ为特征值，a为λ对应的特征向量。

令a₁,a₂,...,a_d为

前前d个最大特征值对应的特征向量，则投影矩阵A可表示为:

A＝[a₁,a₂,...,a_d]

利用投影矩阵A对全体训练样本和待识别样本x_test提取特征可得：

y_i＝A^Tx_i(i＝1,2,…,n)

y_test＝A^Tx_test。

(八)根据最近邻分类器判断待识别样本的类标。

通过以下规则判别待识别样本的类标：

如果||y_test-y_k||＝min_i||y_test-y_i||，则label(y_test)＝label(y_k)。

为验证本发明，我们在著名的Extended YaleB人脸数据库上进行了实验。该人脸库共有2432幅图片，包含38个人，每个人有64幅图片(均在不同光照环境下进行拍摄)，每幅图像的分辨率为84×96，图2为该人脸库中某人的16幅图片样例。

实验中，我们分别采用每人的前6，12，24，48幅图片作为训练样本，每人其余图片作为待识别样本进行测试。首先利用步骤1将每幅图片压缩至150维，然后利用本发明其余步骤进行实验，实验中参数设置如下：K＝3,β＝0.1。下表列出了本发明的人脸识别率(注：括号中为所提取的特征数)：

每人训练样本数	每人的待识别样本数	识别率(特征数)
			6	58	60.57％(150)
12	52	68.37％(150)
			24	40	90.79％(70)
48	16	99.67％(95)

由上述实验数据可以发现，当训练样本数增加时，识别精度在相应提高，尤其是当每人训练样本数达到24、48时，识别率分别达到了90.79％、99.67％。由于该库中的人脸图像均是在不同光照环境下拍摄的，因此本发明在光照变化情况下显示出了较良好的识别效果。

以上实例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (10)

1.基于二次协作表示鉴别投影的鲁棒人脸识别方法，其特征在于，包括步骤：

(1)、获取人脸图像训练样本集，所述训练样本集包括C个不同的类，对训练样本集中每个训练样本和待识别样本进行归一化，并利用PCA方法降低数据维数；

(2)、将训练样本用总体训练样本协作表示，并求解协作表示系数；

(3)、计算训练样本在每类训练样本中的重构误差，并筛选K个最小重构误差所对应的样本类；

(4)、将训练样本用所筛选的这K类样本及自身所在类协作表示，并求解协作表示系数；

(5)、利用步骤(4)中求得的协作表示系数构造类内图与类间图，用于刻画样本的鉴别结构；

(6)、根据类内图与类间图，构造类内散布矩阵与类间散布矩阵；

(7)、通过最大化类间散度与类内散度的比值求取投影矩阵，并利用投影矩阵提取训练样本与待识别样本的特征；

(8)、根据最近邻分类器判断待识别样本的类标。

2.根据权利要求1所述的基于二次协作表示鉴别投影的鲁棒人脸识别方法，其特征在于，步骤(1)中所述获取人脸图像训练样本集，具体为：将每幅人脸图像进行矩阵向量化操作，得到第i幅人脸图像样本为x_i∈R^D，其中D＝w×h，w×h分别代表图像的宽度和高度；将训练样本集表示为X＝[x₁,x₂,…,x_n]，待识别样本表示为x_test，其中n表示人脸图像训练样本数。

3.根据权利要求2所述的基于二次协作表示鉴别投影的鲁棒人脸识别方法，其特征在于，步骤(1)对训练样本集中每个训练样本和待识别样本进行归一化，具体为：

对于训练样本x_i，进行模为1的归一化操作：

x_i＝x_i/||x_i||₂,i＝1,2,...,n

同样，对于待识别样本x_test，也进行归一化操作：

x_test＝x_test/||x_test||₂。

4.根据权利要求3所述的基于二次协作表示鉴别投影的鲁棒人脸识别方法，其特征在于，步骤(1)所述利用PCA方法降低数据维数，计算步骤为：

(1).令Z＝[x₁-m,x₂-m,…,x_n-m]，其中

为全体训练样本的均值；计算

前d个非零特征值对应的特征向量，令λ₁>λ₂…>λ_d为

前d个非零最大特征值，v₁,v₂,…,v_d为相应的特征向量；

(2).将PCA投影向量表示为：

(3).令A_PCA＝[a₁,a₂,…,a_d]，则得到PCA预处理后的数据为：

x_i＝A_PCA ^Tx_i,i＝1,2,...,n

x_test＝A_PCA ^Tx_test。

5.根据权利要求3所述的基于二次协作表示鉴别投影的鲁棒人脸识别方法，其特征在于，步骤(2)具体如下：

对于某一训练样本x_i，其可由其余全体训练样本协作表示，而协作表示系数向量w_i由求解以下L₂范数问题获得：

其中X_i＝[x₁,…x_i-1,0,x_i+1,…,x_n]表示除x_i以外的全体训练样本集合，w_i＝[w_i,1,…,w_i,i-1,0,w_i,i+1,…,w_i,n]^T∈Rⁿ为重构系数向量，β＞0为调节参数；

协作表示系数向量w_i由以下计算式求得：

w_i＝(X_i ^TX_i+βI)^-1X_i ^Tx_i

其中I∈R^n×n为单位矩阵。

6.根据权利要求5所述的基于二次协作表示鉴别投影的鲁棒人脸识别方法，其特征在于，步骤(3)具体如下：

根据步骤(2)中求得的重构系数向量，令

其中

表示第p类样本重构x_i的系数向量，则可得第p类样本重构x_i的误差为：

其中

表示X_i中的第p类训练样本；

将

按从小到大顺序进行排序，筛选出x_i的K个最小重构误差对应的样本类：

7.根据权利要求6所述的基于二次协作表示鉴别投影的鲁棒人脸识别方法，其特征在于，步骤(4)具体为：

假设x_i所在类样本集为

令

将x_i协作表示成步骤(3)中筛选出的K类样本及自身所在类的线性组合，则其协作表示系数向量

可通过求解以下L₂范数问题获得：

其中

为重构系数向量；

协作表示系数向量

可由以下计算式获得：

8.根据权利要求7所述的基于二次协作表示鉴别投影的鲁棒人脸识别方法，其特征在于，步骤(5)具体如下：

令G_w＝{X,W_w}、G_b＝{X,W_b}分别表示样本的类内图与类间图，其中X表示训练样本集，W_w表示类内相似矩阵，W_b表示类间相似矩阵，图G_w与图G_b分别用于刻画样本的类内相聚性与类间分离性，其相似矩阵W_w、W_b分别定义为：

其中，W_w(i,j)、W_b(i,j)分别为矩阵W_w、W_b的第i行第j列元素，

表示

中样本x_j重构x_i的系数。

9.根据权利要求8所述的基于二次协作表示鉴别投影的鲁棒人脸识别方法，其特征在于，令A表示投影矩阵，y_i＝A^Tx_i表示训练样本的投影x_i向量，则矩阵的类内散度与类间散度分别表示为：

其中

分别为样本的类内散布矩阵与类间散布矩阵；

计算式为：

其中，D^c、D^r均为对角矩阵，对角线上的元素分别为:

同理，

计算式为：

其中，D^c'、D^r'均为对角矩阵，对角线上的元素分别为:

10.根据权利要求9所述的基于二次协作表示鉴别投影的鲁棒人脸识别方法，其特征在于，步骤(7)具体如下：

最佳投影矩阵可通过最大化类间散度与类内散度的比值获得，因此目标方程可表示为：

以上目标方程中，投影矩阵A可通过求解以下特征方程前d个最大特征值对应的特征向量获得：

其中λ为特征值，a为λ对应的特征向量；

令a₁,a₂,...,a_d为

前d个最大特征值对应的特征向量，则投影矩阵A可表示为:

A＝[a₁,a₂,...,a_d]

利用投影矩阵A对全体训练样本和待识别样本x_test提取特征可得：

y_i＝A^Tx_i，

y_test＝A^Tx_test。

Images