CN100416592C - 基于数据流形的人脸自动识别方法 - Google Patents

Abstract

本发明提供了一种基于数据流形的人脸自动识别方法，它利用人脸数据本身的非线性结构信息，通过非监督或半监督的方法对未知的人脸样本进行识别。在没有任何人脸标签信息的情况下，通过提取人脸样本的谱特征进行非监督人脸识别；在只有部分人脸标签信息的情况下，通过线性近邻重建标签方法进行半监督人脸识别。

Description

基于数据流形的人脸自动识别方法

技术领域

本发明涉及二维人脸自动识别的方法，特别涉及基于人脸数据流形的非监督和半监督的人脸自动识别方法。

背景技术

人脸识别是指通过已有的人脸数据来预测新来人脸的身份。近些年来，由于在军警以及民用方面的潜在用途，人脸识别已经成为生物特征识别技术的一个主要方向。与其他生物特征相比，人脸识别具有主动性、非侵犯性和用户友好等许多优点。当今的主流人脸识别技术大部分是基于子空间方法的，但是这些方法由于受到光照、姿势、表情变化的影响，识别的准确度受到很大限制，迄今为止，建立一个鲁棒的人脸识别系统仍然是一个很困难的问题。

近些年来，有许多学者的研究表明同一个人的二维人脸图象实际上是处于一个低维的流形上的，对于不同的人脸其所在的流形也不同，因此如果在人脸识别的过程中能够利用人脸样本在空间中的几何信息，必定会更加有利于区分不同身份的人脸。

目前已有的发现数据内在的本质非线性流形的方法主要有三种，分别为：非线性降维的整体框架；基于局部线性嵌入的非线性降维和用于嵌入和聚类的Laplacian特征图和谱方法。这几种方法首先都需要对数据集构造近邻图，然后通过某种变换将数据降至低维空间，在该空间内数据之间的近邻关系得到保持。最近有一种新的对数据进行降维的方法叫局部保持映射，它是一种线性的方法，并且可以看作是对Laplacian特征映射的最优线性逼近。后来该方法被用到人脸识别中，并且取得了很好的效果。但是该方法毕竟只是线性的，很难处理人脸数据的非线性流形结构。

半监督学习是近些年来新兴的研究方向，由于标注样本的获取代价往往非常高，所以在一般的情况下我们有的只是少量的标注样本，而大量的样本是未标注的。半监督方法就是用来解决这样一类问题的，它利用少量的标注样本和非标注样本一起来推测非标注样本以及未知的测试样本的标签信息。基于转导推理的学习是半监督学习中的一个子方向，它主要是用来推测数据集中未标注样本的标签信息，而并不关心未观测到的测试样本的标签。将基于转导推理的学习与人脸识别结合起来的方法在现有的技术中还没有涉及。

与现有的人脸识别方法不同，本发明的方法利用人脸数据本身的非线性结构信息，通过非监督或半监督的方法对未知的人脸样本进行识别。

发明内容

本发明的目的是以标签不完整的人脸图像为输入，利用人脸数据本身的非线性结构信息，通过非监督或半监督的方法对未知的人脸样本进行识别，达到准确识别的目的。

为了达到上述目的，本发明采用如下技术方案：

判断人脸样本是否具有标签；

在没有人脸标签信息的情况下，通过人脸样本的谱特征进行非监督人脸识别：

为了在识别人脸时考虑到人脸数据的内在几何结构信息，我们需要提取一些合适的特征，这些特征需要既具有区分性，又可以发掘数据的本质结构。这就是本发明中使用的谱特征。

本发明通过如下方法计算人脸样本的谱特征：

对于所有的人脸样本，计算其两两之间的相似度；

根据这些相似度，构造人脸样本的相似度矩阵；

构造加权矩阵；

建立加权后的相似度矩阵；

对加权后的相似度矩阵进行特征值分解；

由大到小取多个特征值，一般人脸样本来自多少个人，就取多少个特征值；

计算特征值所对应的特征矢量；

计算所有人脸样本中任意一个人脸样本的谱特征。

获得谱特征后，本发明用如下方法完成人脸识别：

①对于所有的训练人脸样本，计算其两两之间的相似度，并构造出相似度矩阵；

②构造加权矩阵，建立加权后的相似度矩阵；

③对②得到的加权的相似度矩阵进行特征值分解，取最大的K个特征值及其对应的特征矢量。这里K一般取为人的数目，即人脸来自于多少不同的人；

④求训练样本的谱特征；

⑤求测试样本与每个训练样本之间的相似度；

⑥求测试样本的谱特征。

⑦计算测试样本谱特征与训练样本谱特征之间的欧氏距离，利用最近邻法对测试样本进行分类，完成人脸识别。

在有部分人脸标签信息的情况下，用线性近邻重建标签方法进行半监督人脸识别：

如果人脸样本只有少数标签，本发明的方案是恢复那些没有标签的人脸样本的标签，所采用的方法是带约束的线性近邻重建法。离得越近的样本标签越有可能相同，在同一个几何结构(如流形)上的样本标签比不在同一个几何结构上的样本标签更有可能相同。因此，本发明求得样本的标签的方法是利用该样本的几何邻域的样本标签线性重建。

附图说明

图1：基于数据流形的人脸自动识别方法流程图

图2：人脸图象的谱特征

图3：本发明的测试人脸的谱特征

具体实施方式

以下结合附图详细说明本发明的技术方案。

图1是本发明的系统工作流程图。首先判断人脸样本是否具有标签；若有，则求取每个样本的k近邻，然后求取每个样本的线性近邻重建系数，然后求取训练集中未标注样本的标签，最后求取被识别样本的标签；若没有，则构造样本的归一化相似度矩阵，求取每个训练样本的谱特征，求取被识别样本的谱特征，由最近邻法求取被识别样本的标签。

本发明的一个实施例给出了计算人脸谱特征的方法：

任意的一幅人脸图象可以看成是一个二维的数据矩阵，该矩阵的每一个元素对应于图象上该象素的灰度值。在求谱特征之前首先需要计算人脸数据两两之间的相似度，假设A_i，A_j是两幅人脸图象，那么它们之间的相似度可以按下式计算：

$S(i,j)=e^{\frac{{\left|\right|A_i-A_j\left|\right|}_F^2}{2{\mathrm{\σ}}^2}}---\left(2\right)$

其中‖A_i-A_j‖_F表示矩阵A_i-A_j的Frobenius范数，而σ是一个需要由经验给定的参数(通常可以选为

的10％到20％)。假设训练集中共有N张人脸，那么我们可以将它们两两之间的相似度构成一个相似度矩阵：

由相似度的具体表达式(1)知矩阵S是对称的。

下面还需要构造一个加权矩阵定义如下：

然后定义加权的相似度矩阵：

A＝WSW(4)

若对A进行特征值分解，并取其最大的K个特征值对应的特征矢量，那么训练集中数据x_k的第j个谱特征可定义为：

$F_j^k=w_k^{-1}{\left(\sqrt{{\mathrm{\λ}}_j}{\mathrm{\α}}^j\right)}_k---\left(5\right)$

这里w_k表示加权矩阵W对角线上的第k个元素，而(λ_j，α^j)是矩阵A的第k个特征值-特征矢量对，而(g)_k表示取向量的第k个元素。

对于新来的测试样本，我们可以通过下式求得其谱特征：

$F_y^k={\mathrm{\Σ}}_{i=1}^N\frac{{\mathrm{\α}}^i}{\sqrt{{\mathrm{\λ}}_i}}{w}_{i}S(y,x_i)---\left(6\right)$

这里y为测试样本，S(y，x_i)表示测试样本y与训练样本x_i之间的相似度，其余符号与前面介绍的相同。

通过理论推导，我们证明了谱特征与Laplacian特征映射的解是等价的，这也就说明了谱特征可以揭示数据内部的非线性结构。

附图2反映了谱特征的这个特性。它将训练人脸图象的前两个谱特征做为横、纵坐标绘制成坐标系内的蓝色的点，这些人脸图象都来自于一个连续的视频序列，一共1955张(原视频序列共1965张)。从图2上我们可以明显的看出其中代表人脸表情和姿态的流形结构，从左到右，人脸的表情从愤怒到高兴，人脸的姿态从面朝左到面朝右；另外从左边的中间到左下角，人脸逐渐把嘴撅了起来；在中间，人脸把舌头吐了出来。另外绿色椭圆里的图象展示了红色线上的点代表的图象序列，可以看出这是一个连贯的表情变化。图2告诉我们，人脸的谱特征可以揭示其内在的几何结构。

此外我们还用公式(6)将剩余的10张人脸作为测试人脸嵌入到该坐标系下，结果如图3所示。

对照图2，我们可以看到这些测试人脸都找到了自己的最佳位置。

本实施例中采用的是上述方法来计算人脸谱特征，上述方法并不是唯一的计算人脸谱特征的方法，熟悉本领域的技术人员可以利用其他方法来计算人脸谱特征。

本发明的另一个实施例给出了用线性近邻重建标签方法进行半监督人脸识别的方法：

假设样本为x_i，标签为y_i，其几何k邻域(即距离该点最近的k个点所组成的邻域)为

于是，

$y_i={\mathrm{\Σ}}_{x_k\∈N_{x_i}}{w}_k{y}_k---\left(7\right)$

这里y_k表示样本x_k的标签，w_k表示x_k的权值并且 ${\mathrm{\Σ}}_{x_k\∈N_{x_i}}{w}_k=1$

我们采用最小二乘的方法来求取w_k。具体而言，定义重建误差

${\mathrm{\ϵ}}_i={\left|\right|x_i-{\mathrm{\Σ}}_{x_k\∈N_{x_i}}{w}_k{x}_i\left|\right|}^2---\left(8\right)$

则我们要求解的就是在 ${\mathrm{\Σ}}_{x_k\∈N_{x_i}}{w}_k=1$ 约束下使得ε_i最小化的问题。应用Lagrange乘子法容易求得该问题的解：

$w_k=\frac{{\mathrm{\Σ}}_j{G}_{\mathrm{kj}}^{-1}}{{\mathrm{\Σ}}_{\mathrm{uv}}{G}_{\mathrm{uv}}^{-1}}---\left(9\right)$

这里G是x_i与其邻域样本构成的局部协方差矩阵，其中：

G_kj＝(x_i-x_k)^T(x_i-x_j)(10)

有了邻域的权值，下面一步就是根据这些权值来重建样本x_i的标签。这里我们定义重建误差：

$J=\underset{i}{\mathrm{\Σ}}(y_i-\underset{x_k\∈N\left(x_i\right)}{\mathrm{\Σ}}{w}_{\mathrm{ik}}{y}_k)---\left(11\right)$

由于我们已经有了一部分样本的标签，那么这部分信息可看作是对原优化目标的约束，通过简单推导，可以得到需要被优化的目标：

J＝y^T(I-W)y

                                   (12)

s.t. y_labeled＝l

这里向量y＝(y₁，y₂，L，y_N)^T表示样本的标签向量，y_labeled＝l表示已标注样本的约束。解这样一个优化问题需要解一个大的稀疏的线性方程组，有许多现成的方法可以用，如高斯消去法，于是我们就可以解得所有样本的标签。

本发明中利用上面所述得方法进行半监督的人脸识别，具体步骤为：

①将所有人脸数据收集起来，按照欧氏距离求取每一个数据的k近邻；

②利用(9)式求取每个样本的邻域权重；

③求解问题(12)，获得所有样本的标签，完成人脸识别。

Claims (6)

1. 一种基于数据流形的人脸自动识别方法，包含：

判断人脸样本是否具有标签；

在没有任何人脸标签的情况下，通过人脸样本的谱特征进行非监督人脸识别；

该人脸样本的谱特征的求得方法包括：

对于所有的人脸样本，计算其两两之间的相似度；

根据这些相似度，构造人脸样本的相似度矩阵；

构造加权矩阵；

建立加权后的相似度矩阵；

计算特征值所对应的特征矢量；

计算所有人脸样本中任意一个人脸样本的谱特征；

在有人脸标签的情况下，用线性近邻重建标签方法进行半监督人脸识别；

所述的线性近邻重建标签方法包括：

将所有人脸样本收集起来，按照欧氏距离求取每一个样本的

近邻；

求取每个样本的邻域权重；

根据近邻关系计算没有标签的人脸样本的标签，完成人脸识别；

所述人脸样本计算其两两之间的相似度的方法如下：

假设Ai，Aj是两副人脸图像，它们之间的相似度按下式计算：

$S(i,j)=e^{\frac{{{\left|\right|\mathrm{Ai}-\mathrm{Aj}\left|\right|}_F}^2}{2{\mathrm{\σ}}^2}}$

其中||Ai-Aj||_F表示矩阵Ai-Aj的Frobenius范数，而σ是一个需要由经验给定的参数，该参数通常选为

$\underset{\mathrm{ij}}{\max }\left|\right|\mathrm{Ai}-\mathrm{Aj}\left|\right|-\underset{\mathrm{ij}}{\min }\left|\right|\mathrm{Ai}-\mathrm{Aj}\left|\right|$ 的10％到20％；

所述的相似度矩阵的公式表达为：

所述的加权矩阵的公式表达为：

所述加权后的相似度矩阵的公式表达为A＝WSW；

所述的计算所有人脸样本中任意一个人脸样本的谱特征的方法如下：

对所述的加权后的相似度矩阵A进行特征值分解，并取其最大的k个特征值对应的特征矢量，那么训练集中数据X_k的第j个谱特征可定义为：

$F_j^k=w_k^{-1}{\left(\sqrt{{\mathrm{\λ}}_j}{\mathrm{\α}}^j\right)}_k;$

其中w_k表示加权矩阵w对角线上的第k个元素，而(λ_j，α^j)是矩阵A的第k个特征值-特征矢量对，而(g)_k表示取向量的第k个元素；

对于新来的测试样本可通过下式求其谱特征：

$F_y^k={\mathrm{\Σ}}_{i=1}^N\frac{{\mathrm{\α}}^i}{\sqrt{{\mathrm{\λ}}_i}}{w}_{i}S(y,x_i)$

其中y为测试样本，S(y，x_i)表示测试样本y与训练样本x_i之间的相似度。

2. 如权利要求1所述的基于数据流形的人脸自动识别方法，其特征在于：所述计算特征值所对应的特征矢量的方法包括：

对加权后的相似度矩阵进行特征值分解；

由大到小取多个特征值；

计算特征值所对应的特征矢量。

3. 如权利要求2所述的基于数据流形的人脸自动识别方法，其特征在于：所述多个特征值的数目为人脸样本所来自的人的数目。

4. 如权利要求1所述的基于数据流形的人脸自动识别方法，其特征在于：所述非监督人脸识别方法包括：

对于所有的训练人脸样本，计算其两两之间的相似度；

根据这些相似度，构造训练样本的相似度矩阵；

构造加权矩阵；

建立加权后的相似度矩阵；

对加权后的相似度矩阵进行特征值分解，求得任意一个特征值所对应的特征矢量；

计算所有训练人脸样本中任意一个训练人脸样本的谱特征；

计算被识别人脸样本与每个训练样本之间的相似度；

计算被识别人脸样本的谱特征；

计算被识别人脸样本的谱特征与训练样本的谱特征之间的欧氏距离，利用最近邻法对被识别人脸样本进行分类，完成人脸识别。

5. 如权利要求1所述的基于数据流形的人脸自动识别方法，其特征在于：还包括判断人脸样本中是否具有人脸标签信息的步骤。

6. 如权利要求1所述的基于数据流形的人脸自动识别方法，其特征在于：所述的有人脸标签的情况包括有部分人脸标签或者有全部的人脸标签。

Images