CN109902657B - 一种基于分块协同表示的人脸识别方法 - Google Patents

Abstract

本发明为一种基于分块协同表示的人脸识别方法。在实际应用中，人脸图像的信息缺失（如像素信息缺失、腐蚀块和遮挡）会影响图像的像素值，从而影响人脸识别的效果。本发明先将人脸图像库中的图像分为训练集和测试集，并寻找最佳分块方式对其图像进行分块处理，将训练样本分块后的图像构造子块字典；然后采用子块的协同表示(Cooperative representation，CR)将由人脸图像信息缺失所产生的误差与原图像分离，可有效降低缺失信息图像人脸识别结果的影响；再然后对各子块获得的稀疏稀疏进行分类；最后基于最大投票准则获取最终识别结果，可有效降低由于一个或多个子块特征求得的最小系数误差较大所导致的无效分类对整张图像识别结果产生的影响，提高识别率。

Description

一种基于分块协同表示的人脸识别方法

技术领域

本发明涉及人脸图像的信息缺失条件下的人脸识别领域，特别是涉及一种基于分块协同表示的人脸识别方法。

背景技术

随着计算机视觉技术的逐渐发展和人机交互需求的逐步增加，人脸识别方法逐渐被普及到手机解锁、安全支付和智能门锁等领域，然而这些领域采集到的人脸图像往往存在人脸信息部分缺失的问题。早期发展成熟的人脸识别方法会因人脸信息缺失等问题导致识别效果较差，因此部分人脸信息缺失条件下的人脸识别方法的研究仍存在重要的意义和巨大的挑战。已存在的研究主要分为鲁棒判别模型法、子空间回归和鲁棒误差编码这三类。

基于协同表示的人脸识别(Cooperative representation classification，CRC)曾在图像重建领域取得高水准的效果。CRC利用多个相似的类来共同表示测试样本，哪个类存在最小的重建误差，则表示贡献最大，从而提高表示的精确度，但CRC分类为“非局部”的分类，大量的研究工作表明局部特征提取对有遮挡人脸图像识别是至关重要的。Chan将深度学习与分块协同表示相结合提出了一个简单的基于 CR的人脸识别方法(The facerecognition method based on CR,FRACR)，首先对输入的人脸图像进行深度学习来提取抽象局部特征，再输入CRC，以此弥补CRC不能提取局部特征的问题。但上述方法的识别率还有待提高。

发明内容

本发明针对信息缺失情况下，误差编码的鲁棒性、局部特征提取的关键性和人脸识别的小样本问题，提供一种基于分块协同表示的人脸识别方法(The face recognitionmethod based on partitioning CR,FRAPCR)，其主要解决的问题是提高信息缺失条件下的人脸识别率。

本发明未解决上述问题提出了一种基于分块协同表示的人脸识别方法，采用的具体方案步骤如下。

S1、获取人脸图像：从人脸图像库中下载人脸图像。

S2、将一组人脸数据库中的人脸图像分为训练集和测试集，图像的训练集Θ＝{X₁,...,X_i,...,X_c}，测试集Φ＝{Y₁,...,Y_i,...,Y_c}，c为人脸库中人脸的总类别数；X_i表示第i类的训练样本，Y_i表示第i类的测试样本。

S3、寻找各个人脸库的最佳分块方式，并对其训练集人脸样本图像进行分块处理。假设Θ＝{Θ₁,...,Θ_p,...,Θ_l}为块训练样本集，其中l为分出块的数量，则第p块的训练样本集为Θ_p＝{x_1p,...,x_ip,...,x_cp}。

S4、构造每个子块的字典集，利用分块后构造出的训练样本集Θ_p构造出第p个子块的字典 D_p＝[x_1p,...,x_ip,...,x_cp]，按照这种方式对所有子块的人脸图像进行块的字典构造，得到l个块字典 D＝[D₁,...,D_p,...,D_l]。

S5、将各人脸数据库中测试集的人脸图像样本按其相应的最佳分块方式进行分块，Φ＝{Φ₁,...,Φ_p,...,Φ_l}为块测试样本集，其中l为分出块的数量，则第p块的测试样本集为Φ_p＝{y_1p,...,y_ip,...,y_cp}。

S6、将分块后的测试样本与分块后的训练样本联合在一起进行协同表示计算，对于测试集的任意一张测试样本的第p个块y_p，其CR计算公式如下：

公式(1)中，D_p为训练集第p个子块的字典，协同表示的作用是为了得到表示系数

为x_ip与y_ip的CR系数。

S7、根据步骤S6得出，测试样本中第p块的表示系数为

用如下的公式求取每一类的残差 r_p，

公式(2)中，D_ip表示y_p相对于第i类子块训练的字典，此时，D_ip＝x_ip，通过字典求出c个残差 r_p＝[r_1p,...,r_ip,...,r_cp]。

S8、对人脸测试样本图像的每个子块进行分类，根据如下公式将计算得到的协同表示残差进行比较，找出最小残差所归属的类即为y_p所属的类，

identify(y_p)＝argmin{r_ip} (3)

公式(3)中，r_ip为第i类、第p块人脸图像计算出的协同表示残差。

S9、重复步骤S6-步骤S8，得出测试样本图像Y_i的所有子块的类别标签为{label₁,...,label_p,...,label_l}。

S10、根据最大投票准则得出每张测试样本图像的最终识别结果label，当投票数量出现相等情况时，根据步骤S8找出y_p对应的残差r_ip，进行r_ip的对比，选取较小的r_ip对应的y_p所属的类为此张人脸图像所属的类。

S11、重复进行步骤S6-步骤S10，得出所有测试样本集Φ中人脸图像样本的识别结果。

优先地，步骤S3中所述的寻找最佳的分块方式的方法为，分别计算几种分块方式情况下，不同人脸库中的识别率，选取识别率最高时的分块方式为相应人脸库的最佳分块方式。

本发明的一种基于分块协同表示的人脸识别方法(FRAPCR)，与现有技术相比具有以下优点：

(1)FRAPCR可获取人脸图像的局部信息。FRAPCR在人脸信息缺失条件下的人脸识别过程中，局部信息起到关键作用，FRAPCR首先针对不同的数据库选取最佳的分块方式，在此分块情况下进行协同计算可获取有助于人脸识别效果的局部信息，从而提高人脸识别的鲁棒性；

(2)FRAPCR的投票分类器可弥补信息缺失的错误分类。在人脸图像存在部分信息缺失的情况下，FRACR 会因训练样本部分信息缺失而影响整张人脸图像分类的判别。本发明提出在FRACR基础上改进的 FRAPCR，FRAPCR的最终分类识别结果是对不同样本图像子块的归属标签进行投票，从而得到最终的整张人脸图像归属类，其中不同样本图像子块的归属标签是由相应子块的协同计算确定的。由此可知，不同块可以对人脸识别起到不同的作用，当样本图像存在部分人脸信息缺失时，可以根据人脸信息充足部分子块协同表示计算得到的有效分类标签弥补信息缺失的无效分类，从而提高人脸识别效果；

(3)FRAPCR可构造更稀疏的训练样本字典。如果训练样本构成欠完备的字典，则人脸识别效果不稳定，反之，若字典为过完备字典，即该字典矩阵列的数量高于矩阵变换所需列的数量，人脸识别效果稳定。协同表示得到准确分类标签的关键点在于构造过完备字典，使得输入样本的本质表征达到准确的人脸识别的目的。人脸图像构成过完备字典矩阵时，矩阵越稀疏，识别效果越好。FRAPCR通过人脸图像子块来构造字典，该字典一般为过完备字典，比整张人脸图像构造的字典更稀疏，识别效果更佳。

附图说明

图1为本发明的流程框图。

图2为AR库中FRAPCR处理后不同的分块情况对识别率的影响示意图。

图3为Extend Yale B库中FRAPCR处理后不同的分块情况对识别率的影响示意图。

图4为ORL库中FRAPCR处理后不同的分块情况对识别率的影响示意图。

图5为FRAPCR结构图。

图6为AR库中像素点信息缺失时的识别效果示意图。

图7为Extend Yale B库中像素点信息缺失时的识别效果示意图。

图8为ORL库中像素点信息缺失时的识别效果示意图。

图9为人脸图像腐化块对比示意图。

图10为AR人脸数据库腐蚀块实验结果示意图。

图11为Extend Yale B人脸数据库腐蚀块实验结果示意图。

图12为ORL人脸数据库腐蚀块实验结果示意图。

图13为人脸图像遮挡对比示意图。

图14为人脸图像遮挡实验结果示意图。

具体实施方式

为使本发明的技术方案、及技术效果更加清楚明白，以下将参考附图，详细结合示例性的实施例对本发明的技术方案和效果进行更加清楚的描述。

具体地，本发明提供一种基于分块协同表示的人脸识别方法，如图1所示，其方案步骤如下。

步骤一：获取人脸图像；本发明所采用的的人脸图像都是从AR人脸数据库、ExtendYale B人脸数据库和ORL人脸数据库这三个常用人脸数据库中下载的。

步骤二：将一组人脸数据库中的人脸图像分为训练集和测试集。

步骤三：寻找各个人脸库的最佳分块方式，并对其人脸样本图像进行分块处理，分别在三个人脸数据库中选取一定数量的人脸图像作为测试集和训练集，并分别计算本发明在几种不同分块情况下的识别率，将识别率最高的分块方式作为各人脸数据库的最佳分块方式，FRAPCR处理后不同的分块情况对识别率的影响如图2、图3及图4所示。假设Θ＝{Θ₁,...,Θ_p,...,Θ_l}为块训练样本集，则第p块的训练样本集为Θ_p＝{x_1p,...,x_ip,...,x_(N-c)p}，其中l为分出块的数量。

步骤四：构造每个子块的字典集，利用分块后构造出的训练样本集Θ_p构造出第p个子块的字典 D_p＝[x_1p,...,x_ip,...,x_(N-c)p]，按照这种方式对所有子块的人脸图像进行块的字典构造，得到l个块字典 D＝[D₁,...,D_p,...,D_l]。

步骤五：将各人脸数据库中测试集的人脸图像样本按其相应的最佳分块方式进行分块。

步骤六：将分块后的测试样本与分块后的训练样本联合在一起进行协同表示计算，得到表示系数。

步骤七：根据步骤六得出，测试样本中第p块的表示系数为

并计算每一类的残差r_p。

步骤八：对人脸测试样本图像的每个子块进行分类，根据公式将计算得到的协同表示残差进行比较，找出最小残差所归属的类。

步骤九：重复步骤六-步骤八，得出测试样本图像Y_i的所有子块的类别标签。

步骤十：根据最大投票准则得出每张测试样本图像的最终识别结果，当投票数量出现相等情况时，根据步骤八找出其对应的残差，进行残差的对比，选取较小的残差对应的y_p所属的类为此张人脸图像的类，识别方法如图5所示。

步骤十一：重复进行步骤六-步骤十，得出所有测试样本集中人脸图像样本的识别结果。

实施例一，像素点的信息缺失实验研究。

本发明进行了像素点信息缺失的实验研究，随机选取人脸图像的10％，20％，30％,，40％的像素点，将随机选取像素点的值置成0，变换后的像素点不携带有效信息。按照上述具体方案步骤分别在三个人脸数据库进行试验，AR、Extend Yale B和ORL人脸数据库的实验结果，分别如图6、图7和图8所示。随着人脸图像像素点信息缺失的百分比增加，FRAPRC和FRARC的识别率都有所降低，不同像素点信息缺失百分比情况下，FRAPRC的识别率均高于FRARC的识别率，说明在素点信息缺失的情况下FRAPRC 比FRARC识别效果更佳；不同像素点信息缺失百分比的情况下,FRAPRC的方差均小于FRARC，说明FRAPRC比FRARC更稳定。

实施例二，不同腐蚀块情况实验研究。

本发明进行了人脸图像存在腐化块的实验研究，随机选取图像的10％，20％，30％，40％的连续块，将其替换成与人脸图像不相关的图像信息，40％腐化块情况的人脸图像如图9b)所示。按照上述具体方案步骤分别在三个人脸数据库进行试验，AR、Extend YaleB和ORL人脸数据库的实验结果，分别如图10、图11和图12所示。随着人脸图像腐化块占原始人脸图像百分比的增加，FRAPRC和FRARC的识别率都有所降低，在人脸图像部分腐化情况下，FRAPRC的识别率均高于FRARC的识别率，说明在人脸图像存在腐化的情况下，FRAPRC比FRARC识别效果更佳；人脸图像部分腐化的情况下,FRAPRC的方差均小于FRARC，说明FRAPRC比FRARC更稳定。

实施例三，人脸遮挡情况实验研究。

AR人脸数据库的人脸图像包含原始人脸图像、眼镜遮挡人脸图像和围巾遮挡人脸图像，携带遮挡的人脸图像与原始人脸图像的对比示意图，如图13所示。当图像存在遮挡问题时，本文将AR数据库的14张无遮挡人脸图像作为训练集；7张眼镜和7张围巾遮挡人脸图像分别作为眼睛和围巾测试集，按照上述具体方案步骤分别在三个人脸数据库进行试验，实验结果如图14所示。在眼镜遮挡与围巾遮挡情况下，FRAPCR的识别率均高于FRACR，眼镜遮挡情况下。

综上所述，本发明的所有实施例均采用提出的一种基于分块协同表示的人脸识别方法，由于实施例相似于方法步骤，所以只描述了三个实施例在其相应条件下的实验方法，而对于实验的具体方案步骤描述的比较简单，以上应用具体的实施例对本发明的技术效果进行了阐述，实施例只是用于帮助理解本发明的技术效果和技术方案，而并不用于限制本发明的保护范围，本发明的技术方案不限制于上述具体实施方式。

Claims (1)

1.一种基于分块CR的人脸识别方法，其特征在于，该方法包括如下步骤：

S1、获取人脸图像：从人脸图像库中下载人脸图像；

S2、将一组人脸数据库中的人脸图像分为训练集和测试集，图像的训练集Θ＝{X₁,...,X_i,...,X_c}，测试集Φ＝{Y₁,...,Y_i,...,Y_c}，c为人脸库中人脸的总类别数；X_i表示第i类的训练样本，Y_i表示第i类的测试样本；

S3、寻找各个人脸库的最佳分块方式，并对其训练集人脸样本图像进行分块处理，假设Θ＝{Θ₁,...,Θ_p,...,Θ_l}为块训练样本集，其中l为分出块的数量，则第p块的训练样本集为Θ_p＝{x_1p,...,x_ip,...,x_cp}；

S4、构造每个子块的字典集，利用分块后构造出的训练样本集Θ_p构造出第p个子块的字典D_p＝[x_1p,...,x_ip,...,x_cp]，按照这种方式对所有子块的人脸图像进行块的字典构造，得到l个块字典D＝[D₁,...,D_p,...,D_l]；

S5、将各人脸数据库中测试集的人脸图像样本按其相应的最佳分块方式进行分块，Φ＝{Φ₁,...,Φ_p,...,Φ_l}为块测试样本集，其中l为分出块的数量，则第p块的测试样本集为Φ_p＝{y_1p,...,y_ip,...,y_cp}；

S6、将分块后的测试样本与分块后的训练样本联合在一起进行协同表示计算，对于测试集的任意一张测试样本的第p个块y_p，其CR计算公式如下：

公式(1)中，D_p为训练集第p个子块的字典，协同表示的作用是为了得到表示系数

为x_ip与y_ip的CR系数；

S7、根据步骤S6得出，测试样本中第p块的表示系数为

用如下的公式求取每一类的残差r_p，

公式(2)中，D_ip表示y_p相对于第i类子块训练的字典，此时，D_ip＝x_ip，通过字典求出c个残差r_p＝[r_1p,...,r_ip,...,r_cp]；

S8、对人脸测试样本图像的每个子块进行分类，根据如下公式将计算得到的协同表示残差进行比较，找出最小残差所归属的类即为y_p所属的类，

identify(y_p)＝arg min{r_ip} (3)

公式(3)中，r_ip为第i类、第p块人脸图像计算出的协同表示残差；

S9、重复步骤S6-步骤S8，得出测试样本图像Y_i的所有子块的类别标签为{label₁,...,label_p,...,label_l}；

S10、根据最大投票准则得出每张测试样本图像的最终识别结果label，当投票数量出现相等情况时，根据步骤S8找出y_p对应的残差r_ip，进行r_ip的对比，选取较小的r_ip对应的y_p所属的类为此张人脸图像所属的类；

S11、重复进行步骤S6-步骤S10，得出所有测试样本集Φ中人脸图像样本的识别结果。

Images