CN104268593B - 一种小样本情况下多稀疏表示的人脸识别方法 - Google Patents

Abstract

一种小样本情况下多稀疏表示的人脸识别方法，该方法采用两种方式来解决人脸识别中的小样本情况，一是由给定的原始训练样本产生“虚拟样本”，增加训练样本数；二是在产生虚拟样本的基础上，用三种非线性特征抽取方法，即核主成分分析、核鉴别分析和核局部保持投影算法，抽取样本的特征；这样就会得到三类特征模式，对每种特征模式构建稀疏表示模型；对每个样本总共构建三个稀疏表示模型，最后根据表示结果来分类。本发明提供的多稀疏表示分类方法通过对称镜像产生虚拟人脸，再构建基于L₁范数的多稀疏表示模型并分类。本方法与其它分类方法相比，该方法鲁棒性强，分类效果好，特别适用于很多数据维数高且训练样本少的分类场合。

Description

一种小样本情况下多稀疏表示的人脸识别方法

技术领域

本发明涉及一种小样本情况下多稀疏表示的人脸识别方法，属模式识别与机器学习技术领域。

背景技术

随着计算机、网络和多媒体等技术的发展，人们需要处理的高维复杂数据如图像和视频等数据日益增多，对这些数据处理大多是分类或识别。近年来，图像识别的一个重要分支即生物特征识别方兴未艾，是当前模式识别领域的一个研究热点。相对于其他生物特征识别技术如指纹识别，人脸识别由于其使用方便被广泛关注和使用。例如，911之后，美国在多个机场采用人脸识别系统，2008年北京奥运会和2012年的伦敦奥运会均使用了人脸识别系统，这些系统极大地提高了对观众和其他相关人员的身份认证和识别等工作的效率。

最近一二十年来，涌现了许多人脸识别方法。典型的算法有基于几何特征的方法和基于统计学习的算法等。基于几何特征的识别方法目的是提取人脸图像的二维特征如形状和纹理，以及三维模型，它们主要用于匹配来识别人脸。基于统计学习方法主要抽取人脸图像的统计特征，再用某一分类器对人脸分类。这类方法的经典代表有主成分分析法，线性鉴别分析方法和基于核的人脸识别方法等。我们知道，现实生活中的很多事物都具有稀疏性这一普遍特点。在人脸识别领域，最新研究表明，在每一类人脸图像样本较充分的情况下，这些人脸样本可以张成一个人脸子空间，此类人脸的每一幅图像都能由这个子空间线性表示或逼近。也就是说，来自这一类的人脸图像可以用此类全体人脸图像的线性组合来表示，至少可以近似表示。因此，当用训练样本的全体表示一测试样本时，和测试样本同类的训练样本的表示系数中非零的个数较多，而其他类的训练样本的表示系数大都是零或接近零，也即表示系数是稀疏的。基于这样的思想，经典的基于稀疏表示的人脸识别方法被提出，并引起了很多关注。

经典稀疏表示方法对人脸图像带有噪声情况如遮挡等识别效果比较好，即可以达到鲁棒的人脸识别效果，这也是该方法在人脸识别领域受到广泛关注的主要原因。不过，该方法取得好的识别效果需要有下面的假设，即对测试样本的表示需充分稀疏。然而，这个假设在很多应用场合并不满足，特别是在训练样本个数很少，甚至是单幅训练样本图像时，经典稀疏表示方法的分类效果会不理想。但是，在现实生活中，有很多应用领域获取训练图像比较困难或代价比较大。比如，安全部门在采集人脸图像时，由于条件受限，一般很难采集充分多的人脸图像，有时甚至是在人们不知情的情况下采集的，大都只采集一张图像样本。其中，最典型的代表就是身份证的人脸正面图像，每人一张。在这种情况下，虽然稀疏表示分类方法仍可以使用。但是，由于训练样本个数很少，用它们表示测试样本将很难得到稀疏的表示模型。根据稀疏表示理论，如果对测试样本的表示模型越稀疏，则基于此模型的分类或识别效果会越好。因此，经典稀疏表示分类算法，对训练样本个数很少甚至只有一个(为简便起见，在此称为“小样本”)，将不能很好发挥作用。

一般地，人脸识别时需要把人脸图像拉成一列或一行向量，每个像素点对应向量的一个分量。由于人脸图像包含有成千上万个像素点，因此，把人脸样本图像拉成向量后，此样本向量的维数往往都很高。在很多人脸识别方法包括经典的稀疏表示分类算法，都需要将样本向量的维数降低，这既可以降低算法的时间复杂度，又在某种程度上去除噪声。降维的过程其实也是特征抽取的过程，根据机器学习和模式识别理论，特征抽取有很多种，其中近年来比较流行的经典的方法是基于子空间学习的特征抽取，它有线性与非线性两类方法。第一类线性方法主要有主成分分析，线性鉴别分析和局部保持投影等算法。第二类非线性方法主要是基于核的子空间特征抽取方法，如核主成分分析、核鉴别分析和基于核的局部保持投影方法。与线性特征抽取方法相比，非线性特征抽取算法实现起来稍显复杂，但是它可以抽取数据中的有利于分类的非线性信息。

我们知道，人脸图像数据分布都比较复杂，其类别之间的边界一般是非线性的。也可以说，人脸样本数据含有很多非线性信息。如果在降维的时候能够获取这些有利于分类的非线性信息，则能使分类器获得更好的效果。因此，在本发明中，采用非线性特征抽取算法对数据降维，同时，又能获取数据中的非线性信息，从而提高分类效果。

如前所述，小样本情况下的稀疏表示分类算法的识别效果并不理想，其主要原因就是训练样本或训练样本的特征模式过少导致。解决此问题的办法就是增加训练样本或特征模式。因为在不少场合，训练样本不容易采集，直接增加样本往往比较困难。但是，一个训练样本可以看作是由训练样本集抽样得到。这个训练样本集的其他样本和所给的训练样本有很多相似之处，对所给定的训练样本做一些变换，得到的新的样本仍然可以当作训练集中的一个元素。这一新样本在此称为“虚拟样本”，在训练中，它和实际样本的地位应是相等的，也可以用来被训练。另一方面，对于一个样本，每使用一个特征抽取方法，就会得到一个特征模式。

综上所述，稀疏表示分类在人脸识别中是有很大优势的。尽管会遇到小样本情况，但只要处理得当，比如，增加训练样本或特征模式，将会有效提高经典稀疏表示分类精度，并能扩展其应用范围。最近，中国专利公开了一种基于核函数与稀疏编码的高清图像分类方法(公开号：CN103177265A)。该方法包括以下步骤：提取每张高清图像的视觉特征；对视觉特征进行核函数映射，将视觉特征的欧氏空间变换成度量空间；根据变换后的视觉特征生成高清图像类别的稀疏编码；依据高清图像类别的稀疏编码建立图像非线性分类器，对每个特征赋予权值，确定高清图像所属的类别。该方法的不足在于此核稀疏编码模型的求解比经典稀疏表示模型复杂且代价高。

发明内容

本发明的目的是，为了获得一种实现简单、且实用性强的人脸识别方法，本发明提出一种小样本情况下多稀疏表示的人脸识别方法。

实现本发明的技术方案是，本发明采用两种方式来解决人脸识别中的小样本情况，一是由给定的原始训练样本产生“虚拟样本”，目的是增加训练样本数。二是在产生虚拟样本的基础上，用三种非线性特征抽取方法，即核主成分分析(kernel principalcomponent analysis,KPCA)、核鉴别分析(kernel discriminant analysis,KDA)和核局部保持投影(kernel locality preserving projection,KLPP)算法，抽取样本的特征。这样就会得到三类特征模式，对每种特征模式构建稀疏表示模型。对每个样本总共构建三个稀疏表示模型，最后根据表示结果来分类。

本发明实现步骤如下：

(1)对每一个训练人脸图像样本，利用图像镜像变换技术产生两个虚拟样本；

(2)将每个训练样本包括虚拟样本图像拉成一个列向量，这些向量按类别排序，组成一个训练样本矩阵；

(3)将样本从原始输入空间变换到高维的特征空间，这一过程通过指定核函数为高斯核函数实现，该核函数参数设为训练样本的欧式距离均值；

(4)利用核主成分分析、核鉴别分析和核局部保角映射分别抽取样本的非线性特征，从而得到三类样本特征；

(5)将一个测试人脸样本拉成列向量后，利用上述三个核方法抽取其三种特征，在每种特征上，建立稀疏表示模型；

(6)计算每类特征上的表示误差，根据表示误差对测试人脸样本分类。

所述步骤(1)中对人脸图像产生两个虚拟人脸训练样本的处理过程为：

第一个虚拟样本的左半部分取原人脸样本的左半部分，此虚拟样本的右半部分是对它的左半部分镜像或关于图像水平方向的中位线对称而得；

第二个虚拟样本的右半部分取原人脸样本的右半部分，此虚拟样本的左半部分是对它的右半部分镜像而得。

计算非线性特征抽取的步骤如下：

(1)核主成分分析特征抽取(KPCA)

设有原始输入空间的样本x_i∈Rⁿ(i＝1,2,...,N)，使用一非线性映射将它们映射到一高维特征空间F，得到在这新的特征空间中，再施行主成分分析。具体地，先计算核矩阵如下：式中，称为样本x_i和x_j之间的核函数。然后，对矩阵K进行特征分解。选取前若干个特征向量如m个，抽取样本特征，形式如下：式中，λ_i(i＝1,2,...,m)是矩阵K的前i个最大特征值，和α_ij是对应于λ_i的特征向量的第j个分量。

(2)核鉴别分析特征抽取(KDA)

同前面核主成分分析特征抽取方法的基本思想一致，核鉴别分析方法也是先将原始输入空间样本映射到高维特征空间后，再进行鉴别分析。具体地，计算类间散度矩阵和协方差矩阵分别如下：和其中，n_i是第i类中样本的个数，是类i中样本的均值，是全体样本的均值。则求解下式得到的向量，则是最佳鉴别分析的特征投影向量。

(3)核局部保持投影(KLPP)

核局部保持投影算法可以分成两步，第一步是实现KPCA，第二步再施行LPP。在第一步中，将原始数据样本变换到一合适的维数空间，新的全体训练样本数据是X。然后同经典LPP算法一样，建立数据样本的邻接图与其相应的系数矩阵W，则求解下式：XLX^Tα＝λXDX^Tα。其中，D是一对角矩阵，其每个元素是W的每行或列的和，L＝D-W。

记B＝[α₁,α₂,…,α_l]是上式对应于前l个特征值的特征向量构成的矩阵，其中α_i(i＝1,2,…,l)是第i个特征向量。对于任一样本向量x，则抽取其特征为：y＝B^Tx。

对于一个测试样本y，利用以上三种特征抽取结果建立多稀疏表示模型步骤如下：

记全体训练样本通过利用KPCA进行特征抽取而得的训练模式为：X₁＝[x₁₁,x₁₂,...,x_1N]，将它们规一化，使每个训练模式的长度为1。然后，用它们表示经特征抽取后的测试样本y(基于L1范数)如下：s.t.||y-X₁β||₂＜ε₁。对于第二种特征抽取方法KDA,利用它将训练样本变换为X₂＝[x₂₁,x₂₂,...,x_2N]，同上面步骤一样，将测试样本表示如下：s.t.||y-X₂η||₂＜ε₂。第三种特征抽取方法是KLPP,利用它的特征抽取结果是X₃＝[x₃₁,x₃₂,...,x_3N]。同样，将测试样本表示如下：s.t.||y-X₃ξ||₂＜ε₃。

分别计算利用上述三种稀疏表示模型对应的表示误差，将测试样本分类到三种误差最小的类别中。

本发明的有益效果是，本发明提供的多稀疏表示分类方法通过对称镜像产生虚拟人脸，再构建基于L1范数的多稀疏表示模型并分类。本方法可以处理训练样本个数比较少，而又具有非线性分布特点的数据。与其它分类方法相比，该方法鲁棒性强，分类效果好，特别适用于很多数据维数高且训练样本少的分类场合。

附图说明

图1是本发明的多稀疏表示模型系统框图。

具体实施方式

现结合附图对本发明作进一步说明，参见图1，多稀疏表示分类方法，包括以下具体步骤：

(1)输入样本101和产生虚拟训练样本102；此过程中，人脸图像以矩阵形式存储，矩阵的大小即长和高都设成偶数，以方便后续的镜像变换操作。产生虚拟训练样本采用两次镜像操作，一次镜像变换具体过程为，记任意一个图像矩阵为I，它的镜像图像矩阵为M，则M(i,j)＝I(i,t-j+1),i＝1,2,...,s,j＝1,2,...,t，其中，s和t分别是图像I的行数和列数。

(2)特征抽取过程包括三种方法KPCA、KDA和KLPP，它们对应的过程分别是103、104和105。在这一过程中，需要将人脸图像样本拉成向量形式。在KPCA中，即步骤103，先将原始数据样本用非线性映射变换到一高维的特征空间中，再施行传统的PCA过程。这里，本设计选用高斯核函数来代替任意两样本x₁和x₂的内积，即k(x₁,x₂)＝exp(-||x₁-x₂||²/2σ²)，其中σ是核函数参数，需要经验设定，这里设为全体训练样本间的平均距离。同样，在KDA和KLPP中，也都使用高斯核函数计算样本间的内积。

在KDA中，即步骤104，最佳投影向量β_opt应满足其中，α＝[a₁,a₂,...,a_M]^T是组合系数，它可以通过下式求得：GWGα＝λGGα，其中，G为核矩阵，W中任一元素定义为，如果两样本x₁和x₂属于第k类，W_ij＝1/n_k(n_k是类k中训练样本的个数)，否则，其值为零。对于任一样本抽取其特征

在KLPP中(步骤105)，建立邻接图后，需要计算与其对应的邻接矩阵W，该矩阵的每个元素定义如下：如果两样本x₁和x₂是连接的，则邻接矩阵的每个元素W_ij＝exp(-||x_i-x_j||²/t)，否则取0，其中，t是需要设定的参数，这里，它设为全体训练样本间的2倍平均距离。

(3)对每种特征抽取方法，均建立一个基于L₁范数的稀疏表示模型来表示测试样本y，即步骤106，107和108。建立模型前，需要将经特征抽取过的样本向量规一化，使每个向量的长度为1(基于L2范数)。在这三种模型中，参数ε₁、ε₂和ε₃都设为0.001。

(4)对于测试样本y，分别用上述三种稀疏模型表示后，计算每类样本对其表示误差。即步骤109，110和111。第一种对应于KPCA特征的表示误差为其中，X_1i表示X₁中的第i类样本，c是全体样本的类别数。第二种对应于KDA特征的表示误差其中，X_2i表示X₂中的第i类样本。类似地，第三种对应于KLPP特征的表示误差其中，X_3i表示X₃中的第i类样本。

(5)利用表示误差分类112。测试样本y的类别l如下，

Claims (3)

1.一种小样本情况下多稀疏表示的人脸识别方法，其特征在于，所述方法采用两种方式来解决人脸识别中的小样本情况，一是由给定的原始训练样本产生“虚拟样本”，增加训练样本数；二是在产生虚拟样本的基础上，用三种非线性特征抽取方法，即核主成分分析、核鉴别分析和核局部保持投影算法，抽取样本的特征；这样就会得到三类特征模式，对每种特征模式构建稀疏表示模型；对每个样本总共构建三个稀疏表示模型，最后根据表示结果来分类；

所述非线性特征抽取的步骤如下：

(1)核主成分分析特征抽取

设有原始输入空间的样本x_i∈Rⁿ(i＝1,2,...,N)，使用一非线性映射将它们映射到一高维特征空间F，得到在这新的特征空间中，再施行主成分分析；

具体地，先计算核矩阵如下：式中， 称为样本x_i和x_j之间的核函数；

然后，对矩阵K进行特征分解；选取前若干个特征向量如m个，抽取样本特征，形式如下：式中，λ_i(i＝1,2,...,m)是矩阵K的前i个最大特征值，和α_ij是对应于λ_i的特征向量的第j个分量；

(2)核鉴别分析特征抽取

同前面核主成分分析特征抽取方法的基本思想一致，核鉴别分析方法也是先将原始输入空间样本映射到高维特征空间后，再进行鉴别分析；具体地，计算类间散度矩阵和协方差矩阵分别如下：和其中，n_i是第i类中样本的个数，是类i中样本的均值，是全体样本的均值；则求解下式得到的向量，则是最佳鉴别分析的特征投影向量；

(3)核局部保持投影

核局部保持投影算法可以分成两步，第一步是实现KPCA，第二步再施行LPP；在第一步中，将原始数据样本变换到一合适的维数空间，新的全体训练样本数据是X；然后同经典LPP算法一样，建立数据样本的邻接图与其相应的系数矩阵W，则求解下式：XLX^Tα＝λXDX^Tα；其中，D是一对角矩阵，其每个元素是W的每行或列的和，L＝D-W；

记B＝[α₁,α₂,…,α_l]是上式对应于前l个特征值的特征向量构成的矩阵，其中α_i(i＝1,2,…,l)是第i个特征向量；

对于任一样本向量x，则抽取其特征为：y＝B^Tx；

对于一个测试样本y，利用以上三种特征抽取结果建立多稀疏表示模型步骤如下：

记全体训练样本通过利用KPCA进行特征抽取而得的训练模式为：X₁＝[x₁₁,x₁₂,...,x_1N]，将它们规一化，使每个训练模式的长度为1；然后，用它们表示经特征抽取后的测试样本y如下：s.t.||y-X₁β||₂＜ε₁；对于第二种特征抽取方法KDA,利用它将训练样本变换为X₂＝[x₂₁,x₂₂,...,x_2N]，同上面步骤一样，将测试样本表示如下：s.t.||y-X₂η||₂＜ε₂；第三种特征抽取方法是KLPP,利用它的特征抽取结果是X₃＝[x₃₁,x₃₂,...,x_3N]同样，将测试样本表示如下：s.t.||y-X₃ξ||₂＜ε₃；

分别计算利用上述三种稀疏表示模型对应的表示误差，将测试样本分类到三种误差最小的类别中。

2.根据权利要求1所述的一种小样本情况下多稀疏表示的人脸识别方法，其特征在于，所述方法的实现步骤为：

(1)对每一个训练人脸图像样本，利用图像镜像变换技术产生两个虚拟样本；

(2)将每个训练样本包括虚拟样本图像拉成一个列向量，这些向量按类别排序，组成一个训练样本矩阵；

(3)将样本从原始输入空间变换到高维的特征空间，这一过程通过指定核函数为高斯核函数实现，该核函数参数设为训练样本的欧式距离均值；

(4)利用核主成分分析、核鉴别分析和核局部保角映射分别抽取样本的非线性特征，从而得到三类样本特征；

(5)将一个测试人脸样本拉成列向量后，利用上述三个核方法抽取其三种特征，在每种特征上，建立稀疏表示模型；

(6)计算每类特征上的表示误差，根据表示误差对测试人脸样本分类。

3.根据权利要求2所述的一种小样本情况下多稀疏表示的人脸识别方法，其特征在于，所述方法实现步骤(1)中对人脸图像产生两个虚拟人脸训练样本的处理过程为：

第一个虚拟样本的左半部分取原人脸样本的左半部分，此虚拟样本的右半部分是对它的左半部分镜像或关于图像水平方向的中位线对称而得；

第二个虚拟样本的右半部分取原人脸样本的右半部分，此虚拟样本的左半部分是对它的右半部分镜像而得。