CN101976352A - 基于小样本学习和稀疏表示的多光照人脸识别方法 - Google Patents

Abstract

一种图像处理技术领域的基于小样本学习和稀疏表示的多光照人脸识别方法，通过构建图像光照集并采用熵图像法合成虚拟合成样本，然后采用稀疏表达法从虚拟训练样本中获得待识别个体在过完备人脸基上的稀疏表示；最后将样本重构系数向量代入类别带通函数后对原测试图像进行重构，得到各类别重构样本与原测试图像的残差，并代入类别判定公式得到识别结果。本发明解决原有稀疏框架需求庞大学习样本的问题，并且达到良好的识别性能。尤其对于遮挡和多光照情况具有较好的鲁棒性，获得采样需求、识别率以及人机交互率性能方面的突破。

Description

基于小样本学习和稀疏表示的多光照人脸识别方法

技术领域

本发明涉及的是一种图像处理技术领域的方法，具体是一种基于小样本学习和稀疏表示的多光照人脸识别方法。

背景技术

目前，人脸识别作为一项既有科学研究价值，又有广泛应用前景的研究课题，国际上大量研究人员几十年的研究取得了丰硕的研究成果，自动人脸识别技术已经可以在某些限定条件下得到成功应用。随着人脸识别技术的发展，如何利用尽量少的人脸图像(单幅图像)在姿态和光照条件发生变化的条件下，准确的完成人脸识别成为今后人脸识别技术的主要发展方向之一。小样本多光照人脸自动识别系统便是一种解决该问题的方案。在这样一个系统中，提供待识别个体的一幅人脸图像样本，根据熵图像的方法，逆向建立合理的过完备基。再根据目前在人脸识别方面取得突破的稀疏表达的分类方法进行人脸识别，可以达到良好的识别性能。

经过对现有技术的文献检索发现，John Wright等人2009年在IEEE Transactions onPattern Analysis and Machine Intelligence(IEEE模式分析与机器智能汇刊)所发表的“RobustFace Recognition via Sparse Representation(基于稀疏表示的鲁棒人脸识别)”一文中利用信号处理领域，关于超完备基的稀疏线性表示计算问题，即压缩传感理论的方法，将人脸识别建模为测试样本作为仅仅由同一个人的训练样例构成的线性组合，这对于整个庞大的训练库来说，只涉及到很少的一部分，于是形成了稀疏的条件，可以通过凸优化的方法来计算。但是该技术对于每个待识别的个体需要大量的训练样本构成冗余的过完备基才能形成稀疏的条件，因此对于小样本，尤其是单个训练样本的人脸识别问题根本无法适用。

进一步检索发现，Shashua等人在IEEE Transactions on Pattern Analysis and MachineIntelligence(IEEE模式分析与机器智能汇刊)所发表的“The quotient image：Class-basedre-rendering and recognition with varying illuminations(熵图像：基于类的重构和多光照识别)”一文中，提出了熵图像的概念和熵图像对于光照的独立性，该技术对于多光照情况下的识别问题有一定的鲁棒性。但是该技术多应用于人脸识别中的光照补偿问题，尤其是由本概念发展而来的SQI(自熵图像)的方法，主要集中于对待识别图像进行预处理，对于小样本识别问题的处理仍然有一定的局限性。

发明内容

本发明针对现有技术存在的上述不足，提供一种基于小样本学习和稀疏表示的多光照人脸识别方法，通过少量样本的学习，结合熵图像光照重构的思想，建立合理的过完备基，然后在稀疏表示框架下进行人脸识别，形成完整的系统，解决原有稀疏框架需求庞大学习样本的问题，并且达到良好的识别性能。尤其对于遮挡和多光照情况具有较好的鲁棒性，获得采样需求、识别率以及人机交互率性能方面的突破。

本发明是通过以下技术方案实现的，本发明包括如下步骤：

步骤一，构建图像光照集：选取K个在相同的n种光照情况下拍摄的人脸图片作为图像光照集，其中：K为图像光照集中包括的不同个体的个数，n为光照情况的种类数，n种光照情况两两保持一定的差距，并且形成一个至少3种光照情况的冗余光照集；

步骤二，采用熵图像法合成虚拟合成样本；

所述的熵图像法是指：

2.1)将图像光照集与待识别个体的训练图像和测试图像对准，即将不同的人脸图像五官经过初步的对焦，并且图像的像素裁剪为统一的大小，到对准矩阵；

2.2)采用图像光照集和待识别个体的训练样本计算得到每个待识别个体的熵图像Q_y，其中：y的含义为待识别个体，y_s为每个待识别个体以列向量的形式表达的训练样本，是图像光照集的平均值，即光照平均集，

${\mathrm{\υ}}_j={\left(\underset{r=1}{\overset{K}{\mathrm{\Σ}}}{B}_r{B_r}^T\right)}^{-1}{B}_j{y}_s,$ ${\mathrm{\α}}_j{y_s}^T{y}_s-{\left(\underset{r=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\α}}_r{\mathrm{\υ}}_r\right)}^T{B}_j{y}_s=0$ $s.t.\underset{j}{\mathrm{\Σ}}{\mathrm{\α}}_j=K;$

2.3)将待识别个体的熵图像Q_y与光照平均集

的每一列数相乘，得到n个列向量，即对应每个待识别个体的n种不同光照情况下的虚拟合成样本。

所述的图像光照集为黑白图像或彩色图像，当为彩色图像时，先将彩色图像投影到HSV空间，其中的V分量按照

中y_s的方式进行计算得到彩色图像在HSV空间的熵图像V’，再结合原有的H分量和S分量合成新的彩色熵图像。

步骤三，采用稀疏表达法从虚拟训练样本中获得待识别个体在过完备人脸基上的稀疏表示；

所述的待识别个体在过完备人脸基上的稀疏表示是指：

3.1)将虚拟训练样本随机降维至设定维度，然后按每个待识别个体作为列向量合并成矩阵A后对矩阵A进行归一化处理；

3.2)将待识别个体的测试图像沿用步骤二中的熵图像法得到向量y_t，其中：y的含义为待识别个体，y_t为每个待识别个体以列向量的形式表达的测试图像；

3.3)计算步骤3.1)以及步骤3.2)得到的矩阵A和向量y_t的样本重构系数向量

其中：A为归一化的训练样本，y_t为待测样本，ε为误差容限。

步骤四，将样本重构系数向量z代入类别带通函数δ_i(z)后对原测试图像进行重构，得到各类别重构样本与原测试图像的残差r_i(y_t)＝||y_t-Aδ_i(z)||₂，并代入类别判定公式identity(y_t)＝argmin_ir_i(y_t)得到识别结果，其中：样本重构系数向量z除了与第i个个体相关的系数之外的系数都为0，Aδ_i(z)为利用带通处理后的样本重构系数构造的图像。

与现有技术相比，本发明通过稀疏表示的人脸识别框架，利用熵图像的基本思想，只需要给定待识别个体的单张训练样本图像，就可以合成在不同光照情况下的过完备训练集，完成自动人脸识别的过程。解决了传统人脸识别方法需求庞大学习样本的问题，并且达到了良好的识别性能，尤其是在遮挡和多光照方面具有良好的鲁棒性。在采样需求，识别率，人机交互率方面都有一定的突破。

附图说明

图1本发明方法流程图。

图2实施例训练样本图。

图3为实施例操作流程图。

图4为实施例彩色图像的HSV空间表示图；

图中：(a)为原始的彩色图像，(b)为此彩色图像在HSV空间下的表示，(c)为HSV空间中的V分量表示效果。

图5为实施例降维方式示意图。

图6为实施例测试样本的稀疏表达和重构示意图；

图中：(a)为稀疏系数的分布图，(b)为经过带通函数选择的重构系数，(c)为用不同组的重构系数得到的重构残差。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例中对CMU-PIE人脸库中的PIE-illumination包(无背景灯光)中的人脸进行人脸识别。给定的训练样本为此PIE-illumination包中每人的第一幅图像作为单个训练样本。如图1所示，本实施例包括如下步骤：

步骤一、构建图像光照集：选取K个在相同的n种光照情况下拍摄的人脸图片作为图像光照集，其中：K为图像光照集中包括的不同个体的个数，n为光照情况的种类数，n种光照情况两两保持一定的差距，并且形成一个至少3种光照情况的冗余光照集，在本实施例中，手动选取PIE-light(有背景灯光)中的任意10个人，每人在此图像光照集中相同的22种光照情况的图像作为预先设定的图像光照集。

步骤二、利用设计的图像光照集和提供的训练样本合成虚拟的过完备人脸训练样本。具体步骤为：

1)此图像光照集图像，训练样本和测试图像全部经过对准处理，像素调整为112×92。对准后的图像光照集按每人顺次存为矩阵B。其中矩阵B的列向量为图像光照集中每一幅人脸，因此共有10×22列，每个列向量的长度为112×92。

2)利用已设计好的图像光照集和每人一张的训练样本计算每个待识别个体的熵图像。熵图像的计算方法如下：

$Q_y=\frac{y_s}{\stackrel{\‾}{B}x}$

其中：y_s为每个待识别个体以列向量的形式表达的训练样本。

是图像光照集的平均因此

的维数是22×10304。x系数的计算方式如下：

其中υ_j向量按以下公式计算：

${\mathrm{\υ}}_j={\left(\underset{r=1}{\overset{K}{\mathrm{\Σ}}}{B}_r{B_r}^T\right)}^{-1}{B}_j{y}_s$

α_j为如下方程的解：

${\mathrm{\α}}_j{y_s}^T{y}_s-{\left(\underset{r=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\α}}_r{\mathrm{\υ}}_r\right)}^T{B}_j{y}_s=0s.t.\underset{j}{\mathrm{\Σ}}{\mathrm{\α}}_j=K$

3)将每人的熵图像与光照平均集

的每一列数乘。这样一共生成了22个列向量，每个待识别个体得到了22种不同光照情况下的虚拟合成样本。如图2所示，显示了由一幅训练样本合成的22个虚拟光照下的训练样本图。

若作为训练的样本为彩色图像，则将此彩色图像投影到HSV空间，其中的V分量按照如上的步骤进行计算，得到了熵图像V’，结合原有的H分量和S分量合成新的彩色熵图像。操作的流程如下图3所示。其中彩色图像的HSV空间表示和V分量表示效果见图4。图4(a)为原始的彩色图像，图4(b)为此彩色图像在HSV空间下的表示，图4(c)为HSV空间中的V分量表示效果。

步骤三、采用稀疏表达法从虚拟训练样本中获得待识别个体在过完备人脸基上的稀疏表示：

1)将合成的训练样本图像按1/8的下采样率降维至14×11，每个待识别个体作为154维的列向量顺次存为矩阵A，并对其进行归一化处理；

2)将测试样本采用相同的方式进行降维；本实施列采用的降维方式见示意图5。

3)按如下方法求解归一化后的训练样本矩阵与测试样本之间的样本重构系数向量。

$\hat{z}=\underset{z}{\arg \min }{\left|\right|z\left|\right|}_{1}s.t{.\left|\right|\mathrm{Az}-y_t\left|\right|}_2\≤\mathrm{\ϵ}$

其中A为归一化的训练样本，y_t为待测样本，ε为误差容限。

步骤四，将求得的样本重构系数向量，将其代入类别带通函数，对原测试样本进行重构。求得各类别重构样本与原测试样本的残差，并代入类别判定公式得到识别结果。重构残差的计算方式为

$r_i\left(y_t\right)={\left|\right|y_t-A{\mathrm{\δ}}_i\left(\hat{z}\right)\left|\right|}_2$

其中，

为类别带通函数，z向量除了第i类之外的系数都为0。图6(a)为稀疏系数的分布图，图6(b)为经过带通函数选择的重构系数，图6(c)为用不同组的重构系数得到的重构残差。人脸类别判定公式为

identity(y_t)＝arg min_ir_i(y_t)

实施效果

依据上述步骤，将PIE-illumination包中除去每人第一张作为训练样本的图像以外剩下的全部图像作为测试，得到的识别率为95.07％。

Claims (4)

1.一种基于小样本学习和稀疏表示的多光照人脸识别方法，其特征在于，包括如下步骤：

步骤一，构建图像光照集：选取K个在相同的n种光照情况下拍摄的人脸图片作为图像光照集，其中：K为图像光照集中包括的不同个体的个数，n为光照情况的种类数，n种光照情况两两保持一定的差距，并且形成一个至少3种光照情况的冗余光照集；

步骤二，采用熵图像法合成虚拟合成样本；

步骤三，采用稀疏表达法从虚拟训练样本中获得待识别个体在过完备人脸基上的稀疏表示；

步骤四，将样本重构系数向量z代入类别带通函数δ_i(z)后对原测试图像进行重构，得到各类别重构样本与原测试图像的残差r_i(y_t)＝||y_t-Aδ_i(z)||₂，并代入类别判定公式identity(y_t)＝argmin_ir_i(y_t)得到识别结果，其中：样本重构系数向量z除了与第i个个体相关的系数之外的系数都为0，Aδ_i(z)为利用带通处理后的样本重构系数构造的图像。

2.根据权利要求1所述的基于小样本学习和稀疏表示的多光照人脸识别方法，其特征是，所述的熵图像法是指：

2.1)将图像光照集与待识别个体的训练图像和测试图像对准，即将不同的人脸图像五官经过初步的对焦，并且图像的像素裁剪为统一的大小，到对准矩阵；

2.2)采用图像光照集和待识别个体的训练样本计算得到每个待识别个体的熵图像Q_y，

其中：y的含义为待识别个体，y_s为每个待识别个体以列向量的形式表达的训练样本，是图像光照集的平均值，即光照平均集，

${\mathrm{\υ}}_j={\left(\underset{r=1}{\overset{K}{\mathrm{\Σ}}}{B}_r{B_r}^T\right)}^{-1}{B}_j{y}_s,$ ${\mathrm{\α}}_j{y_s}^T{y}_s-{\left(\underset{r=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\α}}_r{\mathrm{\υ}}_r\right)}^T{B}_j{y}_s=0$ $s.t.\underset{j}{\mathrm{\Σ}}{\mathrm{\α}}_j=K;$

2.3)将待识别个体的熵图像Q_y与光照平均集

的每一列数相乘，得到n个列向量，即对应每个待识别个体的n种不同光照情况下的虚拟合成样本。

3.根据权利要求2所述的基于小样本学习和稀疏表示的多光照人脸识别方法，其特征是，所述的图像光照集为黑白图像或彩色图像，当为彩色图像时，先将彩色图像投影到HSV空间，其中的V分量按照中y_s的方式进行计算得到彩色图像在HSV空间的熵图像V’，再结合原有的H分量和S分量合成新的彩色熵图像。

4.根据权利要求1所述的基于小样本学习和稀疏表示的多光照人脸识别方法，其特征是，所述的待识别个体在过完备人脸基上的稀疏表示是指：

3.1)将虚拟训练样本随机降维至设定维度，然后按每个待识别个体作为列向量合并成矩阵A后对矩阵A进行归一化处理；

3.2)将待识别个体的测试图像沿用步骤二中的熵图像法得到向量y_t，其中：y的含义为待识别个体，y_t为每个待识别个体以列向量的形式表达的测试图像；

3.3)计算步骤3.1)以及步骤3.2)得到的矩阵A和向量y_t的样本重构系数向量其中：A为归一化的训练样本，y_t为待测样本，ε为误差容限。

Images