CN104732186B - 基于局部子空间稀疏表示的单样本人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于局部子空间稀疏的单样本人脸识别方法，首先，对人脸图像进行块和子块两级划分，假设同一块内的子块在同一子空间内；然后基于稀疏表示用全部训练样本对应块内的所有子块去表示测试图像的对应块的中心子块，并计算表示系数；在此基础上求出各类别的重构残差，并依据最小残差原则确定测试图像块的类别；最后对所有测试图像块进行加权投票最终确定分类结果，各块权重可以根据稀疏表示系数的稀疏集中度计算得到。本发明不仅对表情、光照变化和遮挡等具有很好的鲁棒性，识别精度高，而且支持高效的并行计算，从而为单样本人脸识别问题提供了一种简单有效的解决方案。

Description

基于局部子空间稀疏表示的单样本人脸识别方法

技术领域

本发明属于图像处理和分析领域，涉及一种采用全新有效的单样本人脸识别解决方案，特别涉及每个待识别对象仅有一幅训练图像的人脸自动识别方法。

背景技术

作为生物特征识别技术之一，人脸识别以其直观性强、用户接受度高、不易仿冒、易于采集等突出特点而日益受到学术界和产业界的重视，并已在公共安全、金融服务、人机交互等许多需要身份认证的领域发挥着越来越重要的作用。在众多已有的人脸识别方法中，近年来J.Wright等人提出的基于稀疏表示的人脸识别方法（A.Yang,A.Ganesh,S.Sastry,and Y.Ma,“Robust Face Recognition via Sparse Representation,”IEEETrans.Pattern Analysis and Machine Intelligence,vol.31,no.2,pp.210-227,2009）以其鲁棒的抗噪声、遮挡能力而受到备受关注，其基本原理是利用所有训练图像构造字典，再通过求解一个欠定方程组来求得测试图像的最稀疏线性组合系数，然后根据这些系数来对图像进行识别分类。由于该方法要求解l₁-范数最小化问题，计算复杂度较高，张磊等人通过研究发现：是训练图像对测试图像的协同表示而不是l₁-范数诱导的稀疏性更有助于提升人脸识别的准确性，他们由此提出了基于协同表示的人脸识别方法（L.Zhang,M.Yang,and X.Feng,“Sparse representation or collaborative representation:which helpsface recognition?”in ICCV2011），建议用l₂-范数取代l₁-范数作为正则项，可以获得有竞争力的识别效果的同时大大降低计算强度。

需要强调的是，上述基于稀疏或协同表示的人脸识别方法只有在每个类的训练样本数量较多时才能显示出较好的对于噪声、遮挡的鲁棒性。而对于诸如身份证识别、海关护照核查、安全监控等许多现实应用中通常只存在单训练样本的情况下，这些方法的识别性能就会急剧下降甚至完全不可行。

发明内容

本发明的目的在于提供一种基于局部子空间稀疏表示的单样本人脸识别方法。

为实现上述目的，本发明具体包括以下步骤：

步骤1，对所有训练人脸图像和测试人脸图像先用大小相等的正方形窗口进行分块，正方形窗口滑过图像的每个像素点，在图像的每一个像素点处得到对应的一个正方形块；接着在每一块内部，再确定出一个中心子块和周边的若干邻域子块；

步骤2，设同一块内的所有子块处于同一局部子空间内，使用所有类的训练人脸图像的像素i处对应的块内的全部子块作为局部字典Bⁱ，稀疏表示测试人脸图像中像素i处对应的块内的中心子块求出对所有类的表示系数

步骤3，根据步骤2求得的表示系数计算测试人脸图像中像素i处对应的块的权重。

步骤4，取第k类的表示系数和局部字典重构测试人脸图像中像素i处对应的块内的中心子块并求出重构残差求出所有类别的重构残差后将测试人脸图像像素i处对应的块分类到残差最小的那个类别；

步骤5，通过加权投票的方法最终确定测试人脸图像所属的类别。

本发明与现有技术相比，其显著优点为：（1）鲁棒性强，识别精度高：由于本发明对表情、光照变化和遮挡等具有很好的鲁棒性，因而具有较高的识别精度。这种优点一方面源于在图像的局部应用稀疏/协同表示，另一方面源于在全局对图像做分块判别的同时进行加权投票；（2）对特征选择不敏感，简单易行：基于稀疏/协同表示的方法并不特别强调特征选择，但对训练样本数量有一定要求。本发明已通过图像分块形成的局部子空间弥补了这一缺陷。与大多数需要提取复杂特征的识别方法不同，本发明只需要几个简单步骤，因而更加易用性更好；（3）支持并行计算，计算效率高：本发明中判别图像块类别的工作是关键步骤，而各个图像块完全可以并行处理，因而可以大大节省计算时间，更能满足实时性要求较高的应用场合。

附图说明

图1为本发明基于局部子空间稀疏表示的单样本人脸识别方法的算法流程图。

图2为本发明基于局部子空间稀疏表示的单样本人脸识别方法的像素邻域示意图。

图3为本发明基于局部子空间稀疏表示的单样本人脸识别方法的块字块关系示意图。

图4为本发明基于局部子空间稀疏表示的单样本人脸识别方法的块字块两级划分示意图。

图5为本发明基于局部子空间稀疏表示的单样本人脸识别方法在Extended YaleB人脸库上的性能效果对比图。

图6为本发明基于局部子空间稀疏表示的单样本人脸识别方法在PIE人脸库上的性能效果对比图。

图7为本发明基于局部子空间稀疏表示的单样本人脸识别方法在AR人脸库上的性能效果对比图。

具体实施方式

本发明首先通过图像分块并利用图像块中子块结构的相似性提出了局部子空间的假设。基于这一假设，就可以对图像的局部块应用疏表示进行分类：测试图像的每一局部块的中心子块由所有训练样本的对应位置的局部块内的个子块线性表示。通过求得的表示系数可以确定图像块的类别和投票权重，根据所有图像块的分类结果和权重进行加权投票得到最终的分类结果。

下面结合附图对本发明作进一步详细描述。

结合图1，本发明基于局部子空间稀疏表示的单样本人脸识别方法，包括以下步骤：

1.1鉴于单张图像提供的信息有限，为从充分利用有限的信息进行分类，对图像进行分块，分别分析每一个块，最后合并每一块的分类结果。本发明提出一种块与子块两级划分的分块方法，具体如下：

（1）假设图像有N个像素，以每个像素为中心半径为R的正方形上的像素为该像素的邻域像素，则像素i的邻域像素集可以表示为图2为不同P，R情况下的邻域集。邻域集中的每个像素对应一个以其为中心的S×S小块（S取大于等于3的奇数），小块中的S²个像素表示成向量形式为同样地，中心像素i也对应一个S×S的小块，表示成向量形式为中心像素i及其邻域像素对应的所有小块形成了一个以像素i为中心的大块，大小为(S+2R)×(S+2R)，如图3所示。对所有训练人脸图像和测试人脸图像先用固定大小的正方形块进行分块，块中心依次取图像中的每一个像素点，每个块由图3所示的一个中心子块和周边的若干邻域子块组成。图4为图像的两级划分示意图。

（2）对于图像边缘像素，采用边缘像素境像的方法来处理因窗口超出图像边缘而导致其内部部分像素值缺失的现象，得到以图像边缘像素为中心的大块。

1.2设同一块内的所有子块处于同一局部子空间内，使用所有类的训练人脸图像的像素i处对应的块内的全部子块作为局部字典Bⁱ，稀疏表示测试人脸图像中像素i处对应的块内的中心子块求出对所有类的表示系数具体步骤如下：

（1）由于一个块局限在人脸图像的较小区域，其内部的所有子块又相互重叠，因此这些子块具有较强的相似性，故可假设块的子块处于同一线性子空间中，称为局部子空间；

（2）使用所有类的训练人脸图像的像素i处对应的块内的全部子块构建局部字典其中是第k个训练人脸图像由在像素i处对应的块的小块构成的字典，利用字典Bⁱ稀疏表示测试人脸图像中像素i处对应的块内的中心子块等同于求解l₁最小化问题：

1.3根据1.2求得的表示系数计算测试人脸图像中像素i处对应的块的权重，计算公式如下：

1.4取第k类的表示系数和局部字典重构测试人脸图像中像素i处对应的块内的中心子块并求出重构残差求出所有类别的重构残差后将测试人脸图像像素i处对应的块分类到残差最小的那个类别；

1.5对每个测试人脸图像块的稀疏表示分类可以并行进行，即可以同时对多个测试人脸图像块进行步骤1.2、1.3、1.4操作。

1.6对测试人脸图像中的每个像素对应的的块按照1.5操作，识别每个测试人脸块的类别之后，通过加权投票的方法最终确定测试人脸图像所属的类别，加权投票方法如下：

根据所有测试人脸图像块的分类结果，对分类结果相同的测试图像块的权重求和，作为本类别的最终投票结果，投票值最高的那个类作为最终的分类结果。

本发明基于局部子空间稀疏表示的单样本人脸识别方法，每块的稀疏表示分类可以并行操作，图5为在Extended Yale B人脸库上的性能效果对比图，图6为在PIE人脸库上性能效果对比图，图7为在AR人脸库上的性能效果对比图。从图5可以看出，本发明方法相对于SRC和CRC识别率至少提升了50%。而针对于几种常用的单样本人脸识别方法（PNN,BlockFLD,FLDA_Single和PCRC），本发明方法至少提升了18%。另外图5也充分说明本发明方法对光照变化具有很强的鲁棒性，因为Extended Yale B人脸库中的人脸图像光照变化非常大。从图6可以发现，本发明方法相对于PNN,BlockFLD,FLDA_Single和PCRC分别提升了14%、25%、36%和24%。相对于SRC和CRC，本发明方法至少提升了23%。由于PIE人脸库有轻微的姿势变化，因此图6结果也证明本发明方法对轻微的姿势变化具有鲁棒性。从图7可以看出，本发明方面不仅对光照、表情具有很好的鲁棒性，而且在人脸有遮挡的情况下性能依然很优异。

Claims (6)

1.一种基于局部子空间稀疏表示的单样本人脸识别方法，其特征在于：

步骤1用大小相等的正方形窗口对所有类别的训练人脸图像和测试人脸图像进行分块，正方形窗口滑过图像的每个像素点，在图像的每一个像素点处得到对应的一个正方形块；接着在每一块内部，再确定出一个中心子块和周边的若干邻域子块；

步骤2设同一块内的所有子块处于同一局部子空间内，使用所有类的训练人脸图像的像素i处对应的块内的全部子块作为局部字典Bⁱ，稀疏表示测试人脸图像中像素i处对应的块内的中心子块求出对所有类的表示系数

步骤3根据步骤2求得的表示系数计算测试人脸图像中像素i处对应的块的权重；

步骤4、识别每个测试人脸图像的块的类别，取第k类的表示系数和局部字典重构测试人脸图像中像素i处对应的块内的中心子块并求出重构残差求出所有类别的重构残差后将测试人脸图像像素i处对应的块分类到残差最小的那个类别；

步骤5、通过加权投票的方法最终确定测试人脸图像所属的类别。

2.根据权利要求1所述的基于局部子空间稀疏表示的单样本人脸识别方法，其特征在于所述步骤1中块和子块两级划分按如下步骤操作：

1.1设图像有N个像素，以每个像素为中心、半径为R的正方形上的像素为该像素的邻域像素，则像素i的邻域像素集表示为邻域集中的每个像素对应一个以该邻域像素为中心的S×S小块，S取大于等于3的奇数，小块中的S²个像素表示成向量形式为同样地，中心像素i也对应一个S×S的小块，表示成向量形式为中心像素i及其邻域像素对应的所有小块形成了一个以像素i为中心的大块，大小为(S+2R)×(S+2R)，也即1.1中的正方形窗口；

1.2对于图像边缘像素，采用边缘像素境像的方法来处理因窗口超出图像边缘而导致其内部部分像素值缺失的现象，得到以图像边缘像素为中心的大块。

3.根据权利要求1所述的基于局部子空间稀疏表示的单样本人脸识别方法，其特征在于，所述步骤2中稀疏表示测试人脸图像中像素i处对应的块内的中心子块按以下步骤操作：

2.1设人脸图像块内的所有子块处于同一线性子空间中，称为局部子空间；

2.2使用所有类的训练人脸图像的像素i处对应的块内的全部子块构建局部字典其中是第k个训练人脸图像由在像素i处对应的块的小块构成的字典，利用字典Bⁱ稀疏表示测试人脸图像中像素i处对应的块内的中心子块通过公式求出表示系数

4.根据权利要求1所述的基于局部子空间稀疏表示的单样本人脸识别方法，其特征在于，所述步骤3中的测试人脸图像中像素i处对应的块的权重计算公式如下：

<mrow> <mi>W</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>K</mi> <mo>&amp;times;</mo> <msub> <mi>max</mi> <mi>k</mi> </msub> <mo>|</mo> <mo>|</mo> <msub> <mi>&amp;delta;</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mover> <msup> <mi>&amp;alpha;</mi> <mi>i</mi> </msup> <mi>&amp;Lambda;</mi> </mover> <mo>)</mo> </mrow> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> <mo>/</mo> <mo>|</mo> <mo>|</mo> <mover> <msup> <mi>&amp;alpha;</mi> <mi>i</mi> </msup> <mi>&amp;Lambda;</mi> </mover> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> <mo>-</mo> <mn>1</mn> </mrow> <mrow> <mi>K</mi> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> <mo>&amp;Element;</mo> <mo>&amp;lsqb;</mo> <mn>0</mn> <mo>,</mo> <mn>1</mn> <mo>&amp;rsqb;</mo> </mrow>

其中，为2.2求得的稀疏表示系数，函数用来取出表示系数中对应于第k类的那些分量。

5.根据权利要求1所述的基于局部子空间稀疏表示的单样本人脸识别方法，其特征在于，所述步骤4中的测试人脸图像像素i处对应块的分类方法如下：

4.1取第k类的表示系数和局部字典重构测试图像中像素i处对应的块内的中心子块并求出重构残差其中，为2.2求得的稀疏表示系数，函数用来取出表示系数中对应于第k类的那些分量；

4.2求出所有类别的重构残差后将测试人脸图像像素i处对应的块分类到残差最小的那个类别。

6.根据权利要求1所述的基于局部子空间稀疏表示的单样本人脸识别方法，其特征在于所述步骤5中的加权投票方法如下：

根据所有测试人脸图像块的分类结果，对分类结果相同的测试图像块的权重求和，作为本类别的最终投票结果，投票值最高的那个类作为最终的分类结果。