CN104978569B

CN104978569B - 一种基于稀疏表示的增量人脸识别方法

Info

Publication number: CN104978569B
Application number: CN201510345789.9A
Authority: CN
Inventors: 杨若瑜; 叶君健
Original assignee: Nanjing University
Current assignee: Nanjing University
Priority date: 2015-07-21
Filing date: 2015-07-21
Publication date: 2018-04-03
Anticipated expiration: 2035-07-21
Also published as: CN104978569A

Abstract

本发明提供了一种基于稀疏表示的增量人脸识别方法，包括通过人脸检测获取人脸关键点信息，确定人脸局部块位置，分别提取每个局部块HOG特征，根据稀疏表示分类方法为每个局部块构造一个局部人脸字典，在测试时根据测试图片动态选择部件特征生成全局人脸字典。对于一张测试人脸图片，提取局部块特征，在对应局部人脸字典上进行测试，根据得到的局部结果判断人脸部件的好坏，根据好坏结果挑选出合格部件，将训练集中合格部件特征连接构建全局人脸字典，构建测试图片全局人脸特征，得到的全局结果为最终结果。在增量处理上将整个训练集根据类别分成N个互斥的子集，在每个子集上都进行处理得到判别结果，在所有子集中进行竞争得到最终的结果。

Description

一种基于稀疏表示的增量人脸识别方法

技术领域

本发明涉及计算机图像处理领域，特别是一种基于稀疏表示的增量人脸识别方法。

背景技术

人脸识别技术已经广泛应用在各种认证系统比如门禁，打卡系统中。不过实际中的人脸识别依然有许多问题要考虑，比如人脸表情偏转变化，眼镜遮挡等都会带来人脸的极大变化，给识别带来困难。另外，一个实用的人脸识别系统也需要考虑新加入样本的处理，即人脸识别的增量问题，如何快速有效地更新训练模型并且保证识别率不受影响。像常用的SVM，神经网络的训练模型，对于新加入的样本，都需要重新训练来找到新的模型，时间开销很大。

发明内容

发明目的：本发明的目的是针对上述提到的人脸识别技术的困难之处，提供一种对人脸各种变化都具有良好鲁棒性，并且采用对训练样本进行分组以减小新加入样本加入时更新开销的增量人脸识别方法。

为了解决上述技术问题，本发明公开了一种基于稀疏表示分类的增量人脸识别方法，包括如下步骤：

步骤1，输入训练人脸图片集，将包含类别信息的训练集平均分成N个子集，并用数字标注类别信息，比如对于属于第一个人的所有图片，类别信息都标注为1，同一个人的训练图片属于同一类别，N为大于1的自然数；

步骤2，对每个子集中的每张人脸图片，根据人脸检测方法定位人脸关键点，根据人脸关键点确定人脸部件位置，之后提取每个人脸部件的特征构造人脸部件字典；

步骤3，输入测试图片，根据人脸检测方法得到测试图片的人脸关键点信息，提取人脸部件特征，在每个子集上都进行步骤4～5操作；

步骤4，对测试图片中每一个人脸部件特征，在对应的人脸部件字典上得到分类结果，根据得到的分类结果，通过计算每个人脸部件的重建误差判断测试图片中的各个人脸部件受人脸变化影响程度，选择最小的两个重建误差为标准判断剩下的部件是否是合格部件；

步骤5，根据剩余的合格部件，连接训练人脸图片集中对应的人脸部件特征，组成全局人脸字典，从而得到测试图片在这一子集上的最终结果；

步骤6，根据每个子集的结果，进行一次竞争，从中得到最终结果作为分类判别结果从而完成人脸识别。

步骤7，对于新加入的样本，选择一个子集，之后按照步骤2所述提取新样本的四个部件特征，加入所选择的子集中的部件字典中。

其中，步骤1中将训练人脸图片根据类别划分成N个子集，同一个人的训练图片属于同一个类别，不同人的训练图片属于不同类别。每个子集拥有的类别数量大致相同，并且同一人的人脸图片只出现在一个子集中。

步骤2中根据人脸检测方法定位人脸关键点包括对人脸图片中的关键点进行定位，得到双眼，鼻子，嘴巴共四个人脸部件周围的点作为关键点，所述根据人脸关键点确定人脸部件位置包括根据双眼，鼻子，嘴巴周围关键点的位置确定一个矩形区域来包含人脸部件，所述提取每个人脸部件的特征构造人脸部件字典包括提取人脸部件对应的矩形区域内的方向梯度直方图(Histogram of Oriented Gradient)特征作为人脸部件的特征，为每个人脸部件都构造一个局部字典，构造局部字典的方法如下：

将人脸部件特征分为K个类，K为大于1的自然数，设第i类有N_i个样本，f_i,j为第i个类第j个样本的特征，为一个行向量，i取值为1～K，j取值范围1～N_i，则局部字典D定义如下：

D＝[f_1,1；f_1,N1；…；f_m,1；f_m,Nm；…；f_K,1；f_K,NK]。

步骤3中，对一张测试图片进行人脸关键点定位和人脸部件定位，得到这张测试图片中人脸的双眼、鼻子、嘴巴四个人脸部件特征，然后在训练集划分出来的N个子集的每个子集中都进行一次步骤4～5的分类判别。

步骤4包括：

对于训练人脸图片集得到的四个人脸部件对应的矩形区域局部块，每一个都进行如下操作：

设定这个局部块得到的方向梯度直方图(Histogram of Oriented Gradient)特征为y，根据局部字典D得到一个稀疏系数x，x满足：

y＝Dx，

通过最小化稀疏系数x绝对值迭代得到稀疏系数

满足||y-Dx||₁<ε，

其中ε＝0.05。设局部字典D有N项，则稀疏系数x是一个N维向量，其中x_i,j表示x对应局部字典D中第i个类的第j个项的系数，如下，用D_i表示D中属于类i的字典部分，对于不属于类i的部分设为0，属于类i的f_i,j部分为保留原值，j取值范围1～N_i。用γ_i(x)表示稀疏系数x中对应局部字典D中属于类i的项的系数值，对于不属于类i的项，在γ_i(x)中的值都为0，

D_i＝[0；0；…；f_i,1；…；f_i，Ni；...；0；0]，

γ_i(x)＝[0；0；…；x_i,1；…；x_i,Ni；0…；0；0]，

最后分类结果r为具有最小重建误差的类：

r＝argmin_i||y-γ_i(x)*D||₁，

重建误差residual表示如下：

residual＝||y-γ_r(x)*D_r||₁，

对于每个子集中的每个人脸部件都能得到一个分类结果r以及重建误差residual，对于其中任一子集，令四个人脸部件得到的重建误差为residual1、residual2、residual3和residual4，令residual_min1和residual_min2分别代表residual1、residual2、residual3和residual4中最小和第二小的值，令residual_i对代表residual1、residual2、residual3和residual4中的第i个结果，如果residual_i<residual_min1+residual_min2，则判定第i个部件是好的，否则将第i个部件丢弃，此时记录这个子集中的合格部件个数为N_good。

在此子集下全局人脸特征构造如下：

令fpart1，fpart2，fpart3，fpart4分别代表从四个人脸部件得到的局部特征，均为行向量形式，f_wholeface代表全局特征，则从1到4遍历i，如果第i个部件为合格部件，则将fparti加入到全局特征中，即f_wholeface＝[f_wholefacefparti]。遍历完成之后即可得到全局人脸特征。

在此子集下全局人脸字典构造如下：

令该子集的四个部件的局部字典分别为D1，D2，D3，D4，每个局部字典的构造都如下所示：

D＝[f1；f2；f3；…；fn]，

f_i为一个行向量,若该子集中有n个训练样本，则D中一共有n个这样的行向量，

令D_wholeface代表全局字典，则从1到4遍历i，如果第i个部件为合格部件，则将Di加入到全局字典D_wholeface中。加入方式可以简单地采用行连接的方式，设D_wholeface中第k行数据为fDwholeface_k，Di中第k行数据为fDi_k，则将Di加入全局字典之后，全局字典中第k行数据变为fwholeface_k＝[fDwholeface_kfDi_k]。如此便可得到这个子集上的全局人脸字典。

步骤5包括在每个子集上，根据得到的合格部件结果，在四个人脸部件字典的基础上得到全局人脸字典，之后得到在此子集上测试人脸全局特征如下：

令ftest1,ftest2,ftest3,ftest4分别为测试人脸的四个局部部件特征，ftest_wholeface为测试人脸的全局特征，从1到4遍历i，如果在这个子集中第i个部件为合格部件，则

ftest_wholeface＝[ftest_wholefaceftesti]，

得到测试人脸全局特征之后便可以根据全局人脸字典得到此子集的全局人脸分类结果，判断测试人脸属于类别r，以及对应的重建误差residual：

residual＝||ftest_wholeface-γ_r(x)*D_wholeface||₁。

||..||₁为1范式符号，也就是求绝对值。γ_r(x)代表稀疏系数中属于类别r的部分，D_wholeface代表全局字典，γ_r(x)*D_wholeface代表将稀疏系数中属于类别r的部分与全局字典中对应的属于类别r的项D_r相乘得到的结果，如下所示

D_r＝[0；0；…；f_r,1；…；f_r,Nr；…；0；0]，

γ_r(x)＝[0；0；…；x_r,1；…；x_r,Nr；0…；0；0]，

步骤6中包括根据每个子集的分类结果，重建误差residual以及合格部件数目N_good，比较每个子集的residual/|N_good|，并将此值最小的子集的分类结果作为最终结果。

步骤7中对于新加入的训练样本，首先判断它是否是子集中已存在的类别，如果是，则提取它的人脸部件特征之后加入到对应的子集中，否则随机选择一个子集加入它的人脸部件特征，之后更新对应子集中的人脸部件字典，具体包括：对于一个新加入的训练样本，首先提取它的双眼，鼻子，嘴巴共四个人脸部件的特征，之后寻找这个新加入样本加入的子集，如果是已有的类别，则加入到包含这个类别的子集中，否则随机选择一个子集加入，之后将这四个人脸部件特征加入这个子集中对应的人脸部件字典中，更新人脸部件字典，其它子集不做任何更新处理。

有益效果：本发明的有益之处是，采用部件特征提取，可以有效解决人脸匹配时的对齐问题，对于人脸表情，光照，偏转，遮挡等带来的人脸变化，可以排除掉受这些变化影响极大的对匹配没帮助的部件，并使用剩余的受影响不大的部件来得到结果，对于各种人脸变化都具有很强的鲁棒性。加入新的训练样本十分方便，选择任一子集加入即可，因为子集之间没有影响，所以任一子集中的样本加入不会影响到其它子集的结果，这种特性使得各子集之间可以并行化处理，加快处理速度，同时也减小了新样本加入时重新训练的时间开销。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1为本发明检测人脸关键点以及划分部件结果图。

图2为本发明全局人脸构建图。

图3为本发明提取特征流程图。

图4为本发明在每个子集上进行分类预测的流程图。

图5为本发明流程图。

具体实施方式

基于稀疏表示的增量人脸识别方法分为3个部分，如图5所示为本发明流程图，训练部分，测试部分以及增量部分。训练部分负责训练集中部件字典的生成；测试部分负责待检测图片输入时，在每个子集中全局人脸的动态生成以及最终全局结果的生成；增量部分负责新样本加入时训练集中生成的部件字典的更新。

如图1所示，左图是进行人脸检测以及关键点定位结果，右图为提取的四个人脸部件。左图中一共得到7个关键点，分别是左眼和右眼的两个眼角，鼻梁中心处，嘴巴两角。根据这7个点的位置，可以确定相应的左眼，右眼，鼻子以及嘴巴的位置，用矩形框将这四个人脸部件的位置记录下来。

如图2所示，说明人脸部件过滤以及全局人脸构建思想。

图2中a行中左图为同一个人的无表情图片以及笑脸图片，在两图上对比两眼睛，鼻子以及嘴巴这四个部件，便会发现嘴巴是两图中变化最大的部件，将嘴巴部件去掉，用剩余的两眼睛以及鼻子构建全局人脸便可以得到图2中a行中右图，用图2中a行中右图对这两张人脸图片进行比较明显比图2中a行中左图的两张图进行比较要相似很多。

图2中b行中左图为同一个人的正常光照图片以及强烈光照图片，在两图上对比两眼睛，鼻子以及嘴巴这四个部件，便会发现鼻子是两图中变化最大的部件，将鼻子部件去掉，用剩余的两眼睛以及嘴巴构建全局人脸便可以得到图2中b行中右图，用图2中b行中右图对这两张人脸图片进行比较明显比图2中b行中左图的两张图进行比较要相似很多。

图2中c行中左图为同一个人的无遮挡图片以及太阳镜遮挡图片，在两图上对比两眼睛，鼻子以及嘴巴这四个部件，便会发现两眼是两图中变化最大的部件，将两眼去掉，用剩余的鼻子以及嘴巴构建全局人脸便可以得到图2中c行中右图，用图2中c行中右图对这两张人脸图片进行比较明显比图2中c行中左图的两张图进行比较要相似很多。

如图3所示，对于每一张训练图片以及训练图片，都要经过特征提取处理。首先根据人脸检测结果，可以得到如图1所示的7个人脸关键点位置，之后根据这7个关键点定位人脸的两眼，鼻子以及嘴巴的位置，并用矩形框记录位置。接着对每一个部件，首先正规化到32*32大小，之后提取每个部件的梯度直方图特征，提取梯度直方图特征时，设定滑动窗口大小为32*32，块block的大小为16*16，块block滑动的步长为8*8，单元cell大小为8*8，每个cell中梯度直方图的维数bin为9。提取梯度直方图特征时，将滑动窗口大小设置为部件大小，滑动窗口内选取16*16大小的区域作为块block，之后按照8*8的步长，块block滑动遍历整个滑动窗口。在每个block上，按照8*8大小划分单元cell，在每个单元cell上得到梯度图，之后用直方图统计梯度，直方图设置9个统计区域。得到每个单元cell上的直方图之后，用一个9维向量进行表示，之后将一个块block上所有的单元cell的向量连接组成表示块的向量，之后将所有块block的向量连接便可以得到表示滑动窗口的梯度直方图特征。

如图4所示，对于一张测试图片，它在每个子集中都会分别进行分类预测，图4则说明了在每个子集中测试图片的分类流程。首先，对一张测试图片，按照图3中描述的提取出四个部件特征。对于训练样本划分出的每一个子集，它都有四个部件字典，在每个部件字典上，根据对应的部件特征，按照稀疏表示分类，都可以得到一个分类预测结果以及对应的重建误差。令一个部件字典为D，它的构造如下：

D＝[f_1,1；f_1,N1；…；f_m,1；f_m,Nm；…；f_K,1；f_K,NK]，

其中f_i,j代表这个子集中第i类的第j个训练样本的对应部件特征。

令f为测试图片对应此部件的特征，则可以按照如下方式得到稀疏系数x：

满足||y-Dx||₁<ε，

其中噪声系数ε＝0.05。设字典D有N项，则得到的稀疏系数x是一个N维向量，令x_i,j表示x对应局部字典D中第i个类的第j个项的系数，用D_i表示D中属于类i的字典部分，对于不属于类i的部则设为0，属于类i的f_i,j部分为保留原值，j取值范围1～N_i。用γ_i(x)表示稀疏系数x中对应局部字典D中属于类i的项的系数值，对于不属于类i的项，在γ_i(x)中的值都为0，

D_i＝[0；0；…；f_i,1；…；f_i,Ni；…；0；0]，

γ_i(x)＝[0；0；…；x_i,1；…；x_i,Ni；0…；0；0]，

最后分类结果r为具有最小重建误差的类：

r＝argmin_i||y-γ_i(x)*D||₁，

重建误差residual表示为

residual＝||y-γ_r(x)*D_r||₁，

按照上面的处理方式，每个部件都可以得到一个分类结果r以及重建误差residual，部件过滤使用的便是每个部件得到的重建误差值。令四个人脸部件得到的重建误差分别为residual1、residual2、residual3和residual4，令residual_min1和residual_min2分别代表四个重建误差中最小和第二小的值，令residual_i对代表residual1、residual2、residual3和residual4中的第i个结果，如果residual_i<residual_min1+residual_min2，则判定第i个部件是好的，否则则为不满足要求的部件，在构建全局人脸的时候可以丢弃，记录这个子集中的合格部件个数为N_good。

将不好的部件去除之后，便可以构造在这个子集中，子集的全局人脸字典以及测试图片的全局人脸。

在此子集下全局人脸特征构造如下：

令fpart1，fpart2，fpart3，fpart4分别代表从四个部件得到的局部特征，均为行向量形式，f_wholeface代表全局特征，则从1到4遍历i，如果第i个部件为合格部件，则将fparti加入到全局特征中，即f_wholeface＝[f_wholefacefparti]。遍历完成之后即可得到全局人脸特征。

在此子集下全局字典构造如下：

已知该子集的四个部件的字典分别为D1,D2,D3,D4，每个字典的构造都如下所示：

D＝[f1；f2；f3；…；fn]，

f_i为一个行向量,D中一共有n个这样的行向量。

令D_wholeface代表全局字典，则从1到4遍历i，如果第i个部件为合格部件，则将Di加入到全局字典D_wholeface中。加入方式可以简单地采用行连接的方式，设D_wholeface中第k行数据为fDwholeface_k，Di中第k行数据为fDi_k，则将Di加入全局字典之后，全局字典中第k行数据变为fwholeface_k＝[fDwholeface_kfDi_k]。如此便可得到这个子集上的全局字典。

步骤5包括在每个子集上，根据得到的合格部件结果，在四个部件字典的基础上得到全局人脸字典，之后得到在此子集上测试人脸全局特征如下：

ftest_wholeface＝[ftest_wholefaceftesti]

得到测试人脸全局特征之后便可以根据全局字典得到此子集的全局人脸分类结果，判断测试人脸属于类别r，以及对应的重建误差residual：

residual＝||ftest_wholeface-γ_r(x)*D_wholeface||₁。

D_r＝[0；0；…；f_r,1；…；f_r,Nr；…；0；0]，

γ_r(x)＝[0；0；…；x_r,1；…；x_r,Nr；0…；0；0]，

如图4所示，所有样本一共可以分为3类，分别是初始训练样本，新加入训练样本以及测试样本。

对于初始训练样本，首先将它们按照类别进行分组。属于同一人的图片归为同一类别，在分组时会被划到同一个子集。假定最终得到N个子集，N为大于1的自然数，则在每个子集中的类别数应当大致相同。可以将类别进行数字编号，按照数字编号顺序划分子集即可。

划分子集之后，为了进行稀疏表示分类，需要在每个子集中都得到稀疏表示用的字典，所以在每个子集中都会进行如下操作：

对子集中的所有图片，首先进行如图3所示的操作，提取出所有图片的四个部件特征。之后按照如图4所示的操作可以得到四个局部部件字典。

对初始训练图片的操作到此结束。

当任一测试图片加入时，首先对它进行如图3所示的特征提取操作得到四个部件特征，之后在每个子集都会如图4所示操作首先得到四个部件结果，之后得到这个子集上的全局人脸，构建这个子集上的全局字典以及测试图片的全局人脸，之后便可得到这个子集上的全局分类结果以及重建误差。

之后比较所有子集的结果，令r_i为第i个子集的全局人脸分类结果，residual_i为第i个子集的全局重建误差，则最终的分类结果r_rinal为具有最小全局重建误差的子集结果:

k＝min_iresidual_i，

r_final＝r_k，

当一新训练样本加入时，首先根据图3提取它的四个部件特征，之后为它选择一个子集加入。首先判断它是否是已记录的类别，如果是，则选择包含这个类别的子集；否则随机选择一个子集。选择好子集之后，更新这一子集的四个部件字典。假定所选择的子集其中一个部件字典为D，新样本对应的部件特征为f，f为一行向量，则更新之后D满足：

D＝[D；f]，

按照这种方式更新这个子集的四个部件字典即可。至于其它子集，则可以不做任何更新处理。

本发明提供了一种基于稀疏表示的增量人脸识别方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims

1.一种基于稀疏表示的增量人脸识别方法，包括以下步骤：

步骤1，输入训练人脸图片集，将同一个人的训练图片划分为同一个类别，并用数字标注类别信息，之后将包含类别信息的训练集平均分成N个子集，同一个人的训练图片属于同一类别，N为大于1的自然数；

步骤4，对测试图片中每一个人脸部件特征，在对应的人脸部件字典上得到分类结果，根据得到的分类结果，通过计算每个人脸部件的重建误差判断测试图片中的各个人脸部件受人脸变化影响程度，选择最小的两个重建误差为标准判断剩下的部件是否为合格部件；

步骤5，根据剩余的合格，连接训练人脸图片集中对应的人脸部件特征，组成全局人脸字典，从而得到测试图片在这一子集上的最终结果；

步骤6，根据每个子集的结果，进行一次竞争，从中得到具有最小重建误差的分类结果作为最后的分类判别结果从而完成人脸识别；

步骤7，对于新加入的样本，选择一个子集，之后按照步骤2所述提取新样本的四个部件特征，加入所选择的子集中的人脸部件字典中；

步骤1中，将训练人脸图片根据类别划分成N个子集，同一个人的训练图片属于同一个类别，不同人的训练图片属于不同类别，每个子集拥有的类别数量相同，并且同一人的人脸图片只出现在一个子集中；

步骤2中，所述根据人脸检测方法定位人脸关键点包括对人脸图片中的关键点进行定位，得到双眼，鼻子，嘴巴共四个人脸部件周围的点作为关键点，所述根据人脸关键点确定人脸部件位置包括根据双眼，鼻子，嘴巴周围关键点的位置确定一个矩形区域来包含人脸部件，所述提取每个人脸部件的特征构造人脸部件字典包括提取人脸部件对应的矩形区域内的方向梯度直方图特征作为人脸部件的特征，为每个人脸部件都构造一个局部字典，构造局部字典的方法如下：

D＝[f_1,1；f_1,N1；…；f_m,1；f_m,Nm；…；f_K,1；f_K,NK]；

步骤3中，对一张测试图片进行人脸关键点定位和人脸部件定位，得到这张测试图片中人脸的双眼、鼻子、嘴巴四个人脸部件特征，然后在训练集划分出来的N个子集的每个子集中都进行一次步骤4～5的分类判别；

步骤4包括：

设定局部块得到的方向梯度直方图特征为y，根据局部字典D得到一个稀疏系数x，x满足：

y＝Dx，

通过最小化稀疏系数x绝对值迭代得到稀疏系数

满足||y-Dx||₁<ε，

其中ε＝0.05，局部字典D有N项，稀疏系数x是一个N维向量，其中x_i,j表示x对应局部字典D中第i个类的第j个项的系数；用D_i表示D中属于类i的字典部分，对于不属于类i的部分设为0，属于类i的f_i,j部分为保留原值，用γ_i(x)表示稀疏系数x中对应局部字典D中属于类i的项的系数值，对于不属于类i的项，在γ_i(x)中的值都为0，

D_i＝[0；0；…；f_i,1；…；f_i,Ni；…；0；0]，

γ_i(x)＝[0；0；…；x_i,1；…；x_i,Ni；0…；0；0]，

最后分类结果r为具有最小重建误差的类：

r＝argmin_i||y-γ_i(x)*D||₁，

重建误差residual表示如下：

residual＝||y-γ_r(x)*D_r||₁，

对于每个子集中的每个人脸部件都能得到一个分类结果r以及重建误差residual，对于其中任一子集，令四个人脸部件得到的重建误差为residual1、residual2、residual3和residual4，residual_min1和residual_min2分别代表residual1、residual2、residual3和residual4中最小和第二小的值，residual_i代表residual1、residual2、residual3和residual4中的第i个结果；如果residual_i<residual_min1+residual_min2，则判定第i个部件是合格部件，否则将第i个部件丢弃，此时记录这个子集中的合格部件个数为N_good，在此子集下全局人脸特征构造如下：

令fpart1，fpart2，fpart3，fpart4分别代表从四个人脸部件得到的局部特征，均为行向量形式，f_wholeface代表全局特征，则从1到4遍历i，如果第i个部件为合格部件，则将fparti加入到全局特征中，即f_wholeface＝[f_wholefacefparti]，遍历完成之后得到全局人脸特征，在此子集下全局人脸字典构造如下：

令该子集的四个人脸部件的局部字典分别为D1，D2，D3，D4，每个局部字典的构造都如下所示：

D＝[f1；f2；f3；…；fn]，

f_i为一个行向量，若该子集中有n个训练样本，则D中一共有n个对应的行向量，

令D_wholeface代表全局字典，则从1到4遍历i，如果第i个部件为合格部件，则将Di加入到全局字典D_wholeface中，D_wholeface中第k行数据定义为fDwholeface_k，Di中第k行数据为fDi_k，则将Di加入全局字典之后，全局字典中第k行数据变为fwholeface_k＝[fDwholeface_kfDi_k]，从而得到这个子集上的全局人脸字典；

步骤5包括，在每个子集上，根据得到的合格部件结果，在四个局部字典的基础上得到全局人脸字典，之后得到在此子集上测试人脸全局特征，具体过程如下：

令ftest1,ftest2,ftest3,ftest4分别为测试人脸的四个局部人脸部件特征，ftest_wholeface为测试人脸的全局特征，从1到4遍历i，如果在这个子集中第i个部件为合格部件，则

ftest_wholeface＝[ftest_wholefaceftesti]，

得到测试人脸全局特征之后根据全局人脸字典得到此子集的全局人脸分类结果，判断测试人脸属于类别r，以及对应的重建误差residual：

residual＝||ftest_wholeface-γ_r(x)*D_wholeface||₁，

||..||₁为1范式符号，即求绝对值，γ_r(x)代表稀疏系数中属于类别r的部分，D_wholeface代表全局字典，γ_r(x)*D_wholeface代表将稀疏系数中属于类别r的部分与全局字典中对应的属于类别r的项D_r相乘得到的结果，如下所示：

D_r＝[0；0；…；f_r,1；…；f_r,Nr；…；0；0]，

γ_r(x)＝[0；0；…；x_r,1；…；x_r,Nr；0…；0；0]，

<mrow> <msub> <mi>&gamma;</mi> <mi>r</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>*</mo> <msub> <mi>D</mi> <mrow> <mi>w</mi> <mi>h</mi> <mi>o</mi> <mi>l</mi> <mi>e</mi> <mi>f</mi> <mi>a</mi> <mi>c</mi> <mi>e</mi> </mrow> </msub> <mo>=</mo> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>N</mi> <mi>r</mi> </mrow> </msubsup> <msub> <mi>f</mi> <mrow> <mi>r</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>*</mo> <msub> <mi>x</mi> <mrow> <mi>r</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>;</mo> </mrow>

步骤6中包括根据每个子集的分类结果，重建误差residual以及合格部件数目N_good，比较每个子集的residual/|N_good|，并将此值最小的子集的分类结果作为最终结果；

包括步骤7，对于新加入的训练样本，首先判断它是否是子集中已存在的类别，如果是，则提取它的人脸部件特征之后加入到对应的子集中，否则随机选择一个子集加入它的人脸部件特征，之后更新对应子集中的人脸部件字典，具体包括：对于一个新加入的训练样本，首先提取它的双眼，鼻子，嘴巴共四个人脸部件的特征，之后寻找这个新加入样本加入的子集，如果是已有的类别，则加入到包含这个类别的子集中，否则随机选择一个子集加入，之后将这四个人脸部件特征加入这个子集中对应的人脸部件字典中，更新人脸部件字典，其它子集不做任何更新处理。