CN105426836A - 一种基于分部式模型和稀疏成分分析的单样本人脸识别方法 - Google Patents

Abstract

本发明提出一种基于分部式模型和稀疏成分分析的单样本人脸识别方法，首先，将人脸图像分解成若干部分，实现人脸分割，这里的“部分”是人脸图像的一个空间区域或者像素集合，理想的“部分”是眼部或者嘴部等区域。接着，为每个部分学习一个稀疏成分分析模型，并且把不同部分的模型结合在一起，完成人脸图像建模。紧接着，基于学习出的分部式稀疏成分分析模型导出人脸图像的特征，并且定义相似度度量衡量人脸之间的相似度。最后，对于输入人脸，根据相似度度量计算数据库与之最相似的人脸，输出其标签，完成单样本人脸识别。

Description

一种基于分部式模型和稀疏成分分析的单样本人脸识别方法

技术领域

本发明涉及计算机视觉、模式识别和图像处理方法和设备，尤其涉及一种基于分部式模型和稀疏成分分析的单样本人脸识别方法、及设备。

背景技术

作为生物特征识别的一个分支，人脸识别在近些年来成为国内外研究者十分关注的研究领域。目前有很多用于人脸识别的人脸表示方法，在这些方法中，基于成分分析的方法被广泛用来人脸识别和分析。成分分析方法旨在寻找一组基，使得其表示训练数据的误差最小。作为成分分析方法的一类，分部式表示在很多视觉应用，尤其是人脸表示方面，取得了很好的效果。这是因为人脸具有典型的结构。分部式表示方法期望基对应训练图像的某些语义部分，并且用这些部分的组合来表示人脸图像。

分部式表示的方法促使其成分稀疏化，并期望其成分能够捕捉给定图片的语义部分，这些方法用分部式的方式表示图像，其中的每个部分，像整体式方法一样用一组基表示。在这些方法中，多因素因子分析(MultipleCauseFactorAnalysis，MCFA)具有较好的性能。MCFA从给定数据中学习一个共同的空间分割，并且把分割得到的每个部分用离散的状态空间或者线性空间建模。这个方法在对齐人脸上效果尤其好。尽管如此，该方法学习到的部分有可能是非连续的，并且它的部分没有从稀疏成分表示中获益。

与此同时，最近的研究发现稀疏成分分析在计算机视觉应用中取得很好的效果，并被用来人脸表示和合成。稀疏成分分析的思想是：从训练样本中学习一组过完备基；但在表示每个样本时，只使用或激活尽可能少的基。该思想具有生理学基础，从编码的角度而言，稀疏成分分析非常有效并且对数据变化很鲁棒。所有上述方法中，观测数据x∈R表示为随机线性系统x＝Wz+μ+ε的输出，其中W∈R^D×M是由M个成分组成的矩阵；z∈R^M×1是与M个成分相对应的组合系数向量；μ∈R^D×1是均值向量；ε∈R^D×1是随机噪声向量。稀疏编码促使组合系数z的元素是稀疏的。与主成分分析法相比，稀疏成分分析学习到的基和样本本身比较接近，这在一定程度上可以解释稀疏成分分析在图像恢复和识别上的鲁棒性。尽管如此，稀疏成分分析用整体式方法表示图像，因此它的缺点是在人脸表示方面不够灵活。

发明内容

本发明的目的在于针对现有方法的不足，提出一种基于分部式模型和稀疏成分分析的单样本人脸识别方法，克服了分部式表示和稀疏成分分析各自在人脸表示方面的不足。

本发明第一个方面是提供一种基于分部式模型和稀疏成分分析的单样本人脸识别方法和设备，克服了分部式表示和稀疏成分分析各自在人脸表示方面的不足。

本发明第一个方面提供了一种基于分部式模型和稀疏成分分析的单样本人脸识别方法，包括：

——将人脸图像分解成多个部分，实现人脸分割，这里的“部分”是人脸图像的一个空间区域或者像素集合；

——为每个部分学习一个稀疏成分分析模型，并且把不同部分的模型结合在一起，完成人脸图像建模；

——基于学习出的分部式稀疏成分分析模型导出人脸图像的特征，并且定义相似度度量衡量人脸之间的相似度；

——对于输入人脸，根据相似度度量计算数据库与之最相似的人脸，输出其标签，完成单样本人脸识别。

其中，所述人脸图像分解成的多个部分，至少有一个部分包括眼部或者嘴部。

本发明的一种优选实施例中，所述方法包括：

步骤1，将人脸图像分解成多个部分，实现人脸分割

人脸部分的推断基于每个像素所选择的部分，对于像素x_m，它首先从L个部分中选择一个部分记为l；令M为人脸图像的像素数目，第m个像素的选择记录在变量r_m.＝(r_m1,...,r_mL)^T中，该变量服从Multinomial先验：r_m.～Mult(n＝1,α_m.)，其中α_m.＝(α_m1,...,α_mL)^T，该先验记作P₁(r_m.)，并将先验P₁(r_m.)施加在r_.l＝(r_1l,...,r_Ml)之上，该先验记作P₂(r_m.)，两种先验P₁(r_m.)、P₂(r_m.)用PoE结合起来，其中每个先验是一个专家，即：

$P\left(r_m\right)=\frac{1}{Z_m}{P}_1\left(r_m\right)\×P_2\left(r_m\right)$

其中Z_m为分割函数；施加在R＝{r_m.}上的完整先验为如下公式(1)，

$\begin{array}{c}P\left(R\right)=\underset{m}{\Π}P\left(r_m\right)=\underset{m}{\Π}\frac{1}{Z_m}{P}_1\left(r_m\right)\×P_2\left(r_m\right)\\ =\frac{1}{Z_0}\underset{m,l}{\Π}{\mathrm{\α}}_{ml}^{r_{ml}}\×\underset{m,l}{\Π}\exp \left\{-r_{ml}\left(1-\frac{4}{\left|D_m\right|}{\Σ}_{m^{\′}\∈M_m}{r}_{m^{\′}l}\right)\right\}\end{array}---\left(1\right)$

其中，Z₀＝∏_mZ_m是起归一化作用的函数，M_m是变量r_ml的相邻变量集，近邻的数目设为|M_m|＝4；

步骤2，为每个人脸部分学习稀疏成分分析模型

令y_l∈R^M为所有L个人脸部分的第l个部分，将每个部分建模为稀疏成分分析模型：

$\begin{array}{c}{y}_{ml}=\underset{k=1}{\overset{K}{\Σ}}{z}_{lk}{w}_{mlk}\\ z_{lk}~Lap(u=0,b=1)\end{array}---\left(2\right)$

其中，K是基的数目；为第l个部分的过完备基；

步骤3、逐像素地产生一副图片

对于像素x_m，它首先从_L个部分中选择一个部分并记为l，然后相应地从第l个稀疏成分分析模型中产生一个像素。对部分的选择由随机二值向量r_m.＝(r_m1,...,r_mL)^T记录，其中r_ml∈{0,1}服从Multinomial先验式，当第l个部分被选中时，r_ml＝1；得到下述模型：

$\begin{array}{c}{x}_m=\underset{l=1}{\overset{L}{\Σ}}{r}_{ml}{y}_{ml}+{\mathrm{\μ}}_m+{\mathrm{\ϵ}}_m\\ r_{m.}~Multi(n=1,{\mathrm{\α}}_m)\end{array}---\left(3\right)$

其中，y_ml为式(2)定义的第l个部分的第m个像素；μ_m为均值；为随机噪声；α_m.＝(α_m1,...,α_mL)^T为多项式分布的参数；

令Z＝{z_lk}，将式(2)代入式(3)中，可以得到下式：

$\begin{array}{c}{x}_m=\underset{l=1}{\overset{L}{\Σ}}{r}_{ml}\underset{k=1}{\overset{K}{\Σ}}{z}_{lk}{w}_{mlk}+{\mathrm{\μ}}_m+{\mathrm{\ϵ}}_m\\ r_{m.}~Multi(n=1,{\mathrm{\α}}_m)\\ z_{lk}~Lap(u=0,b=1)\end{array}---\left(4\right)$

考虑到式(4)的第一个等式，观测变量x的条件分布可表示为：

$P\left(x\right|R,Z)=\underset{m}{\Π}P\left(x_m\right|r_{m.},Z)=\underset{m}{\Π}N(x_m;\underset{l}{\Σ}{r}_{ml}\underset{k}{\Σ}{z}_{lk}{w}_{mlk}+{\mathrm{\μ}}_m,{\mathrm{\σ}}_m^2)---\left(5\right)$

步骤4，导出可以表示人脸的产生式模型

导出本发明中人脸表示的产生式模型P(x,Z,R)：

其中，b＝1，u＝0；θ＝(w_mlk,μ_m,σ_m,α_ml)是待学习的参数集合；

步骤5，采用MontoCarloEM算法学习步骤4导出的产生式模型的参数

MontoCarloEM算法是下列两个步骤的迭代：(1)对于每个给定的训练样本，首先采用Gibbs采样的方法采集R和Z的样本(-Step)(2)利用采样得到的样本更新参数θ(-Step)

步骤6，基于学习好的产生式模型导出人脸特征，并基于该特征定义相似度函数；

步骤7，使用上述产生式模型和相似度函数进行单样本人脸图像识别。

其中，步骤6中，导出人脸特征方法优选为：

P(Z^c|x^c)编码了与样本x^c相关的信息，使用投影和的组合作为x^c的特征h^c，

$h^c=vec\left({\{E_{P\left(z_{lk}^c\right|x^c,\mathrm{\θ})}\[z_{lk}^c\],E_{P\left(t_s^c\right|x^c,\mathrm{\θ})}\[t_s^c\]\}}_{l,k}\right).$

其中，步骤6中，定义相似度函数的方法优选为：

定义样本x^c和样本x^b之间的相似度为以下加权内积：

$S_{PD(x^c,x^b)}=h^{cT}{\mathrm{Vh}}^b;$

其中V为表示人脸基权值的对角矩阵。

本发明第二个方面提供了一种基于分部式模型和稀疏成分分析的单样本人脸识别设备，包括：

——人脸图像库；

——人脸图像采集装置，采集并输入人脸图像；

——处理器，处理器包括

——人脸图像分解模块，将采集的人脸图像分解成多个部分，实现人脸分割，这里的“部分”是人脸图像的一个空间区域或者像素集合；

——人脸图像建模模块，为每个部分学习一个稀疏成分分析模型，并且把不同部分的模型结合在一起，完成人脸图像建模；

——学习模块，基于学习出的分部式稀疏成分分析模型导出人脸图像的特征，并且定义相似度度量衡量人脸之间的相似度；

——输出模块，对于输入人脸，根据相似度度量人脸图像库中与之最相似的人脸，输出度量结果，完成单样本人脸识别。

其中，所述人脸分割方法优选为：

人脸部分的推断基于每个像素所选择的部分，对于像素x_m，它首先从L个部分中选择一个部分记为l；令M为人脸图像的像素数目，第m个像素的选择记录在变量r_m.＝(r_m1,...,r_mL)^T中，该变量服从Multinomial先验：r_m.～Mult(n＝1,α_m.)，其中α_m.＝(α_m1,...,α_mL)^T，该先验记作P₁(r_m.)，并将先验P₁(r_m.)施加在r_.l＝(r_1l,...,r_Ml)之上，得到先验P₂(r_m.)，两种先验P₁(r_m.)、P₂(r_m.)用PoE结合起来，其中每个先验是一个专家，即：

$P\left(r_m\right)=\frac{1}{Z_m}{P}_1\left(r_m\right)\×P_2\left(r_m\right)$

其中Z_m为分割函数；

P₁(r_m.)、P₂(r_m.)施加在R＝{r_m.}上的完整先验为如下公式(1)，

$\begin{array}{c}P\left(R\right)=\underset{m}{\Π}P\left(r_m\right)=\underset{m}{\Π}\frac{1}{Z_m}{P}_1\left(r_m\right)\×P_2\left(r_m\right)\\ =\frac{1}{Z_0}\underset{m,l}{\Π}{\mathrm{\α}}_{ml}^{r_{ml}}\×\underset{m,l}{\Π}\exp \left\{-r_{ml}\left(1-\frac{4}{\left|D_m\right|}{\Σ}_{m^{\′}\∈M_m}{r}_{m^{\′}l}\right)\right\}\end{array}---\left(1\right)$

其中，Z₀＝∏_mZ_m是起归一化作用的函数，M_m是变量r_ml的相邻变量集，近邻的数目设为|M_m|＝4。

其中，所述学习稀疏成分分析模型的方法优选为：

令y_l∈R^M为所有L个人脸部分的第l个部分，将每个部分建模为稀疏成分分析模型：

$\begin{array}{c}{y}_{ml}=\underset{k=1}{\overset{K}{\Σ}}{z}_{lk}{w}_{mlk}\\ z_{lk}~Lap(u=0,b=1)\end{array}---\left(2\right)$

其中，K是基的数目；为第l个部分的过完备基。

其中，所述人脸图像建模方法优选为：

对于像素x_m，它首先从L个部分中选择一个部分并记为l，然后相应地从第l个稀疏成分分析模型中产生一个像素；对部分的选择由随机二值向量r_m.＝(r_m1,...,r_mL)^T记录，其中r_ml∈{0,1}服从Multinomial先验式，当第l个部分被选中时，r_ml＝1；得到下述模型：

$\begin{array}{c}{x}_m=\underset{l=1}{\overset{L}{\Σ}}{r}_{ml}{y}_{ml}+{\mathrm{\μ}}_m+{\mathrm{\ϵ}}_m\\ r_{m.}~Multi(n=1,{\mathrm{\α}}_{m.})\end{array}---\left(3\right)$

其中，y_ml为式(2)定义的第l个部分的第m个像素；μ_m为均值；为随机噪声；α_m.＝(α_m1,...,α_mL)^T为多项式分布的参数；

令Z＝{z_lk}，将式(2)代入式(3)中，可以得到下式：

$\begin{array}{c}{x}_m=\underset{l=1}{\overset{L}{\Σ}}{r}_{ml}\underset{k=1}{\overset{K}{\Σ}}{z}_{lk}{w}_{mlk}+{\mathrm{\μ}}_m+{\mathrm{\ϵ}}_m\\ r_{m.}~Multi(n=1,{\mathrm{\α}}_{m.})\\ z_{lk}~Lap(u=0,b=1)\end{array}---\left(4\right)$

观测变量x的条件分布表示为：

$P\left(x\right|R,Z)=\underset{m}{\Π}P\left(x_m\right|r_{m.},Z)=\underset{m}{\Π}N(x_m;\underset{l}{\Σ}{r}_{ml}\underset{k}{\Σ}{z}_{lk}{w}_{mlk}+{\mathrm{\μ}}_m,{\mathrm{\σ}}_m^2)---\left(5\right)$

导出本发明中人脸表示的产生式模型P(x,Z,R)：

其中，b＝1，u＝0；θ＝(w_mlk,μ_m,σ_m,α_ml)是待学习的参数集合。

其中，所述学习人脸图像的特征的方法优选为包括：采用MontoCarloEM算法学习步骤4导出的产生式模型的参数。

更优选地，所述MontoCarloEM算法优选为：下列两个步骤的迭代：(1)对于每个给定的训练样本，首先采用Gibbs采样的方法采集R和Z的样本(-Step)(2)利用采样得到的样本更新参数θ(-Step)。

其中，导出人脸图像的特征的方法优选为：

P(Z^c|x^c)编码了与样本x^c相关的信息，使用投影和的组合作为x^c的特征h^c，

$h^c=vec\left({\{E_{P\left(z_{lk}^c\right|x^c,\mathrm{\θ})}\[z_{lk}^c\],E_{P\left(t_s^c\right|x^c,\mathrm{\θ})}\[t_s^c\]\}}_{l,k}\right).$

其中，定义相似度的方法优选为：

定义样本x^c和样本x^b之间的相似度为以下加权内积：

$S_{PD(x^c,x^b)}=h^{cT}{\mathrm{Vh}}^b;$

其中V为表示人脸基权值的对角矩阵。

本发明结合了分部式表示的灵活性和稀疏成分分析的鲁棒性，克服了分部式表示和稀疏成分分析各自在人脸表示方面的不足，与现有方法相比，本发明的有益效果包括：

(1)结合了分部式表示的灵活性和稀疏成分分析的鲁棒性。

(2)使用PoE(productofexperts)来推导连续性先验，并用连续性先验帮助学习连续和灵活的人脸部分。

(3)使用稀疏成分分析模型来表示每一个人脸部分，而不是离散的状态空间。

(4)可以利用无标签样本的信息，获取有标签的训练数据通常代价高昂，而本发明在少量有标签训练样本的情况下也可以很好得工作。

(5)该模型可以采用离线的方式训练，因此它有很高的计算效率，可以胜任实时计算。

附图说明

图1为基于分部式稀疏成分分析模型的单样本人脸识别方法流程图。

图2为实施例人脸图像库的示例图像。

图3为本发明学习出的人脸部分(B)与其他方法学习出的人脸部分(A)的对比图。

图4为本发明评估在实施例图像库上参数对识别效果的影响。

具体实施方式

以下结合具体实施例和附图对本发明的技术方案做更详细的阐述，操作的流程图如图1所示。以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

本发明的具体实施例为使用CBCL人脸数据库学习人脸部分先验，并把它迁移到PIE人脸数据库上(如图2所示)，完成人脸识别。

下面结合附图对本发明的实施方式做更具体的说明，详述如下(使用VisualC++编程实现)：

步骤10，提供人脸图像训练集。

本实施例使用CBCL人脸数据库来学习人脸部分先验，并将它迁移到PIE人脸数据库上的识别实验中。部分的数目设置为L＝6，基的数目设置为K＝200(<M)。

步骤20，学习人脸表示模型，包括：

——步骤21，学习人脸部分先验，实现人脸分割

人脸部分的推断基于每个像素所选择的部分，对于像素x_m，它首先从L个部分中选择一个部分记为l；令M为人脸图像的像素数目，第m个像素的选择记录在变量r_m.＝(r_m1,...,r_mL)^T中，该变量服从Multinomial先验：r_m.～Mult(n＝1,α_m.)，其中α_m.＝(α_m1,...,α_mL)^T，该先验记作P₁(r_m.)，并将先验P₁(r_m.)施加在r_.l＝(r_1l,...,r_Ml)之上，得到先验P₂(r_m.)，两种先验P₁(r_m.)、P₂(r_m.)用PoE结合起来，其中每个先验是一个专家，即：

$P\left(r_m\right)=\frac{1}{Z_m}{P}_1\left(r_m\right)\&times;P_2\left(r_m\right)$

其中Z_m为分割函数。

P₁(r_m.)、P₂(r_m.)施加在R＝{r_m.}上的完整先验为如下公式(1)，

$\begin{array}{c}P\left(R\right)=\underset{m}{\&Pi;}P\left(r_m\right)=\underset{m}{\&Pi;}\frac{1}{Z_m}{P}_1\left(r_m\right)\&times;P_2\left(r_m\right)\\ =\frac{1}{Z_0}\underset{m,l}{\&Pi;}{\mathrm{\&alpha;}}_{ml}^{r_{ml}}\&times;\underset{m,l}{\&Pi;}\exp \left\{-r_{ml}\left(1-\frac{4}{\left|D_m\right|}{\&Sigma;}_{m^{\&prime;}\&Element;M_m}{r}_{m^{\&prime;}l}\right)\right\}\end{array}---\left(1\right)$

其中，Z₀＝∏_mZ_m是起归一化作用的函数，M_m是变量r_ml的相邻变量集，近邻的数目设为|M_m|＝4。

——步骤22、23，使用人脸部分先验学习稀疏成分分析模型。

在适当归一化的人脸图像中，各器官具有相似的相对位置。对于本发明中的模型，这意味着所有的人脸共享相同的变量R和定义部分的α。在本次实施过程中，固定人脸部分先验，重复使用学习到的参数α₀并固定α＝α₀，离线学习稀疏成分分析模型。具体如下：

令y_l∈R^M为所有L个人脸部分的第l个部分，将每个部分建模为稀疏成分分析模型：

$\begin{array}{c}{y}_{ml}=\underset{k=1}{\overset{K}{\&Sigma;}}{z}_{lk}{w}_{mlk}\\ z_{lk}~Lap(u=0,b=1)\end{array}---\left(2\right)$

其中，K是基的数目；为第l个部分的过完备基。

对于像素x_m，它首先从L个部分中选择一个部分并记为l，然后相应地从第l个稀疏成分分析模型中产生一个像素；对部分的选择由随机二值向量r_m.＝(r_m1,...,r_mL)^T记录，其中r_ml∈{0,1}服从Multinomial先验式，当第l个部分被选中时，r_ml＝1；得到下述模型：

$\begin{array}{c}{x}_m=\underset{l=1}{\overset{L}{\&Sigma;}}{r}_{ml}{y}_{ml}+{\mathrm{\&mu;}}_m+{\mathrm{\&epsiv;}}_m\\ r_{m.}~Multi(n=1,{\mathrm{\&alpha;}}_{m.})\end{array}---\left(3\right)$

其中，y_ml为式(2)定义的第l个部分的第m个像素；μ_m为均值；为随机噪声；α_m.＝(α_m1,...,α_mL)^T为多项式分布的参数；

令Z＝{z_lk}，将式(2)代入式(3)中，可以得到下式：

$\begin{array}{c}{x}_m=\underset{l=1}{\overset{L}{\&Sigma;}}{r}_{ml}\underset{k=1}{\overset{K}{\&Sigma;}}{z}_{lk}{w}_{mlk}+{\mathrm{\&mu;}}_m+{\mathrm{\&epsiv;}}_m\\ r_{m.}~Multi(n=1,{\mathrm{\&alpha;}}_{m.})\\ z_{lk}~Lap(u=0,b=1)\end{array}---\left(4\right)$

考虑到式(4)第一个等式，观测变量x的条件分布可以表示为：

$P\left(x\right|R,Z)=\underset{m}{\&Pi;}P\left(x_m\right|r_{m.},Z)=\underset{m}{\&Pi;}N(x_m;\underset{l}{\&Sigma;}{r}_{ml}\underset{k}{\&Sigma;}{z}_{lk}{w}_{mlk}+{\mathrm{\&mu;}}_m,{\mathrm{\&sigma;}}_m^2)---\left(5\right)$

——步骤23、导出学习的人脸表示模型。

导出本发明中人脸表示的产生式模型P(x,Z,R)：

其中，b＝1，u＝0；θ＝(w_mlk,μ_m,σ_m,α_ml)是待学习的参数集合。

采用MontoCarloEM算法学习导出的产生式模型的参数，完整的算法是下列两个步骤的迭代：(1)对于每个给定的训练样本，首先采用Gibbs采样的方法采集R和Z的样本(-Step)(2)利用采样得到的样本更新参数θ(-Step)

如图3所示，上图(A组)是其他方法学习出的人脸部分，下图(B组)为本发明学习出的人脸部分。第l列是定义部分的参数α_.l的可视化，像素值表示该像素属于部分的概率。

本发明学习出的人脸部分和其他方法学习出的人脸部分相比有以下特点：学习出的分割为软分割，即部分的相邻边界处有重叠，软分割在人脸合成中的效果更好。

步骤30、基于稀疏成分分析模型导出人脸特征。

由于后验分布P(Z^c|x^c)，P(Z^c|x^c)编码了与样本x^c相关的信息，本发明使用投影和的组合作为x^c的特征h^c，

$h^c=vec\left({\{E_{P\left(z_{lk}^c\right|x^c,\mathrm{\&theta;})}\&lsqb;z_{lk}^c\&rsqb;,E_{P\left(t_s^c\right|x^c,\mathrm{\&theta;})}\&lsqb;t_s^c\&rsqb;\}}_{l,k}\right)$

同样，获得样本x^b的特征h^b。

步骤40、定义人脸样本之间的相似度。

基于导出的人脸特征，定义样本x^c和x^b之间的相似度为以下加权内积：

$S_{PD(x^c,x^b)}=h^{cT}{\mathrm{Vh}}^b$

其中V为表示人脸基权值的对角矩阵，通过最大化类间距离确定，该相似度度量可以无缝地与概率产生式模型结合。

根据Gibbs采样法得到Z^c、t^c的样本，并用这些样本估计分布P(Z^c,t^c|x^c)和投影h^c。

步骤50、基于分部式稀疏成分分析模型和相似度函数进行单样本人脸识别。

有了人脸图像的特征导出方式和人脸图像之间的相似度度量，下面进行PIE人脸数据库上的单个样本人脸识别。单样本人脸识别在实际中非常有价值，这是因为，实际应用中每个人通常只有一个或者很少的样本。对于C个人的检索问题，训练集由两部分组成：第一部分是来自C个人的C幅有标签的人脸图片，另外一部分是来自其他任何人的无标签样本。单样本人脸识别的目标是，基于训练集训练模型，并借助于模型为输入的测试样本指定标签。具体来说，输入一副测试人脸图片，计算其与训练集中每一副人脸图像之间的相似度，找出与测试图像最相似的，输出其标签，完成人脸识别。

PIE人脸库是个很有挑战性的人脸库，它包括41368幅人脸图像，这些图像在光照、照明和姿势变化的情况下从68个人上获取。实验中选用正面姿势(C27)，每个人选取49幅人脸图片。所有的图片被归一化到大小为32×32的灰度图像。对于每个人，随机选择30幅图片作为训练集，剩下的图片作为测试集。对于训练集中的每个人，随机选择一副图片并给它标签，剩余的29幅图片没有标签。识别过程根据相似度函数，将每幅无标签或者测试图片分配给离它最近(最相似)的有标签的样本。

为了验证本发明的有效性，在实施例上和所涉领域的最新方法做了比较。这些方法包括多因素因子分析(MultipleCauseFactorAnalysis，MCFA)、结构化稀疏主成分分析(StructuredSparsePrincipleComponentAnalysis，SSPCA)、图正则化非负矩阵分解(GraphRegularizedNonnegativeMatrixFactorization，GNMF)、局部线性嵌入(LocalLinearEmbedding，LLE)和半监督判别分析(Semi-SupervisedDiscriminantAnalysis，SSDA)。对于方法SSDA，引用文献里的结果；对于方法GNMF和LLE，使用作者发布的程序或者建议的参数；对于成分分析方法，即本发明中所述方法、MCFA和SSPCA，使用离线交叉验证法选择参数。

所有这些方法，首先从无标签训练数据中学习模型，然后导出相似度函数并用于检索。实验重复测试了30轮。每轮中随机从每个人的样本中选择一个并赋予标签，最后给出平均结果。根据离线交叉验证，MCFA和SSPCA在实施例上参数设置为：L＝6和K＝200，本发明在实施例上的参数设为L＝6和K＝20。本发明还评估了这些参数对识别效果的影响，实验结果如图4和表1所示。PIE人脸数据库上识别正确率如表1所示，基准方法是最近邻分类，它直接使用像素，没有利用标签信息。

表1，本发明与现有技术识别效果的对比

方法	无标签样本准确率	测试样本准确率
			基准方法	24.79±1.49	24.31±1.58
Eigenface	21.31±1.42	20.74±1.50
			SDA	39.93±2.94	39.47±3.26
LLE	47.56±2.65	47.32±2.81
			GNMF	49.34±2.73	49.02±2.87
MCFA	34.67±2.16	34.38±2.24
			SSPCA	39.04±2.82	38.96±2.98
本发明	51.76±2.16	51.34±2.58

本发明使用相似度函数S_PD，效果优于SSDA、LLE和其他的方法。图4为本发明(PSCA+S_PD)、MCFA(MCFA+S_PD)和SPCA(SSPCA+S_PD)识别准确率随参数L(部分数目)的变化。如图4所示，随着L的变化，本发明一致地优于另外两种方法，且在L＝5,6时取得最好结果。

以上对本发明的具体实施例进行了详细描述，但其只是作为范例，本发明并不限制于以上描述的具体实施例。对于本领域技术人员而言，任何对本发明进行的等同修改和替代也都在本发明的范畴之中。因此，在不脱离本发明的精神和范围下所作的均等变换和修改，都应涵盖在本发明的范围内。

Claims (10)

1.一种基于分部式模型和稀疏成分分析的单样本人脸识别方法，其特征在于，步骤包括：

——将人脸图像分解成多个部分，实现人脸分割，这里的“部分”是人脸图像的一个空间区域或者像素集合；

——为每个部分学习一个稀疏成分分析模型，并且把不同部分的模型结合在一起，完成人脸图像建模；

——基于学习出的分部式稀疏成分分析模型导出人脸图像的特征，并且定义相似度度量衡量人脸之间的相似度；

——对于输入人脸，根据相似度度量计算数据库与之最相似的人脸，输出其标签，完成单样本人脸识别。

2.根据权利要求1所述的方法，其特征在于，所述人脸图像分解成的多个部分，至少有一个部分包括眼部或者嘴部。

3.根据权利要求1所述的方法，其特征在于：

步骤1，将人脸图像分解成多个部分，实现人脸分割

人脸部分的推断基于每个像素所选择的部分，对于像素x_m，它首先从L个部分中选择一个部分记为l；令M为人脸图像的像素数目，第m个像素的选择记录在变量r_m.＝(r_m1,…,r_mL)^T中，该变量服从Multinomial先验：r_m.～Mult(n＝1,α_m.)，其中α_m.＝(α_m1,…,α_mL)^T，该先验记作P₁(r_m.)，并将先验P₁(r_m.)施加在r_.l＝(r_1l,…,r_Ml)之上，得到先验P₂(r_m.)，两种先验P₁(r_m.)、P₂(r_m.)用PoE结合起来，其中每个先验是一个专家，即：

$P\left(r_m\right)=\frac{1}{Z_m}{P}_1\left(r_m\right)\&times;P_2\left(r_m\right)$

其中Z_m为分割函数；

P₁(r_m.)、P₂(r_m.)施加在R＝{r_m.}上的完整先验为如下公式(1)，

$\begin{array}{c}P\left(R\right)=\underset{m}{\&Pi;}P\left(r_m\right)=\underset{m}{\&Pi;}\frac{1}{Z_m}{P}_1\left(r_m\right)\&times;P_2\left(r_m\right)\\ =\frac{1}{Z_0}\underset{m,l}{\&Pi;}{\mathrm{\&alpha;}}_{ml}^{r_{ml}}\&times;\underset{m,l}{\&Pi;}\exp \left\{-r_{ml}\left(1-\frac{4}{\left|D_m\right|}{\&Sigma;}_{m^{\&prime;}\&Element;M_m}{r}_{m^{\&prime;}l}\right)\right\}\end{array}---\left(1\right)$

其中，Z₀＝∏_mZ_m是起归一化作用的函数，M_m是变量r_ml的相邻变量集，近邻的数目设为|M_m|＝4；

步骤2，为每个人脸部分学习稀疏成分分析模型

令y_l∈R^M为所有L个人脸部分的第l个部分，将每个部分建模为稀疏成分分析模型：

$\begin{array}{c}{y}_{ml}=\underset{k=1}{\overset{K}{\&Sigma;}}{z}_{lk}{w}_{mlk}\\ z_{lk}~Lap\left(u=0,b=1\right)\end{array}---\left(2\right)$

其中，K是基的数目；为第l个部分的过完备基；

步骤3、逐像素地产生一副图片

对于像素x_m，它首先从L个部分中选择一个部分并记为l，然后相应地从第l个稀疏成分分析模型中产生一个像素；对部分的选择由随机二值向量r_m.＝(r_m1,…,r_mL)^T记录，其中r_ml∈{0,1}服从Multinomial先验式，当第_l个部分被选中时，r_ml＝1；得到下述模型：

$\begin{array}{c}{x}_m=\underset{l=1}{\overset{L}{\&Sigma;}}{r}_{ml}{y}_{ml}+{\mathrm{\&mu;}}_m+{\mathrm{\&epsiv;}}_m\\ r_{m.}~Multi\left(n=1,{\mathrm{\&alpha;}}_m\right)\end{array}---\left(3\right)$

其中，y_ml为式(2)定义的第l个部分的第m个像素；μ_m为均值；为随机噪声；α_m.＝(α_m1,…,α_mL)^T为多项式分布的参数；

令Z＝{z_lk}，将式(2)代入式(3)中，可以得到下式：

$\begin{array}{c}{x}_m=\underset{l=1}{\overset{L}{\&Sigma;}}{r}_{ml}\underset{k=1}{\overset{K}{\&Sigma;}}{z}_{lk}{w}_{mlk}+{\mathrm{\&mu;}}_m+{\mathrm{\&epsiv;}}_m\\ r_{m.}~Multi\left(n=1,{\mathrm{\&alpha;}}_m\right)\\ z_{lk}~Lap(u=0,b=1)\end{array}---\left(4\right)$

观测变量x的条件分布表示为：

$P\left(x\right|R,Z)=\underset{m}{\&Pi;}P\left(x_m\right|r_{m.},Z)=\underset{m}{\&Pi;}N(x_m;\underset{l}{\&Sigma;}{r}_{ml}\underset{k}{\&Sigma;}{z}_{lk}{w}_{mlk}+{\mathrm{\&mu;}}_m,{\mathrm{\&sigma;}}_m^2)---\left(5\right)$

步骤4，导出可以表示人脸的产生式模型

导出本发明中人脸表示的产生式模型P(x,Z,R)：

其中，b＝1，u＝0；θ＝(w_mlk,μ_m,σ_m,α_ml)是待学习的参数集合；

步骤5，采用MontoCarloEM算法学习步骤4导出的产生式模型的参数

MontoCarloEM算法是下列两个步骤的迭代：(1)对于每个给定的训练样本，首先采用Gibbs采样的方法采集R和Z的样本(-Step)(2)利用采样得到的样本更新参数θ(-Step)；

步骤6，基于学习好的产生式模型导出人脸特征，并基于该特征定义相似度函数；

步骤7，使用上述产生式模型和相似度函数进行单样本人脸图像识别。

4.根据权利要求3所述的方法，其特征在于，步骤6中，导出人脸特征方法为：

P(Z^c|x^c)编码了与样本x^c相关的信息，使用投影和的组合作为x^c的特征h^c，

$h^c=vec\left({\{E_{P\left(z_{lk}^c\right|x^c,\mathrm{\&theta;})}\&lsqb;z_{lk}^c\&rsqb;,E_{P\left(t_s^c\right|x^c,\mathrm{\&theta;})}\&lsqb;t_s^c\&rsqb;\}}_{l,k}\right);$

步骤6中，定义相似度函数的方法为：

定义样本x^c和样本x^b之间的相似度为以下加权内积：

$S_{PD\left(x^c,x^b\right)}=h^{cT}{\mathrm{Vh}}^b;$

其中V为表示人脸基权值的对角矩阵。

5.一种基于分部式模型和稀疏成分分析的单样本人脸识别设备，其特征在于，包括：

——人脸图像库；

——人脸图像采集装置，采集并输入人脸图像；

——处理器，处理器包括

——人脸图像分解模块，将采集的人脸图像分解成多个部分，实现人脸分割，这里的“部分”是人脸图像的一个空间区域或者像素集合；

——人脸图像建模模块，为每个部分学习一个稀疏成分分析模型，并且把不同部分的模型结合在一起，完成人脸图像建模；

——学习模块，基于学习出的分部式稀疏成分分析模型导出人脸图像的特征，并且定义相似度度量衡量人脸之间的相似度；

——输出模块，对于输入人脸，根据相似度度量人脸图像库中与之最相似的人脸，输出度量结果，完成单样本人脸识别。

6.根据权利要求5所述的设备，其特征在于，所述人脸分割方法为：

人脸部分的推断基于每个像素所选择的部分，对于像素x_m，它首先从L个部分中选择一个部分记为l；令M为人脸图像的像素数目，第m个像素的选择记录在变量r_m.＝(r_m1,…,r_mL)^T中，该变量服从Multinomial先验：r_m.～Mult(n＝1,α_m.)，其中α_m.＝(α_m1,…,α_mL)^T，该先验记作P₁(r_m.)，并将先验P₁(r_m.)施加在r_.l＝(r_1l,…,r_Ml)之上，得到先验P₂(r_m.)，两种先验P₁(r_m.)、P₂(r_m.)用PoE结合起来，其中每个先验是一个专家，即：

$P\left(r_m\right)=\frac{1}{Z_m}{P}_1\left(r_m\right)\&times;P_2\left(r_m\right)$

其中Z_m为分割函数；

P₁(r_m.)、P₂(r_m.)施加在R＝{r_m.}上的完整先验为如下公式(1)，

$\begin{array}{c}P\left(R\right)=\underset{m}{\&Pi;}P\left(r_m\right)=\underset{m}{\&Pi;}\frac{1}{Z_m}{P}_1\left(r_m\right)\&times;P_2\left(r_m\right)\\ =\frac{1}{Z_0}\underset{m,l}{\&Pi;}{\mathrm{\&alpha;}}_{ml}^{r_{ml}}\&times;\underset{m,l}{\&Pi;}\exp \left\{-r_{ml}\left(1-\frac{4}{\left|D_m\right|}{\&Sigma;}_{m^{\&prime;}\&Element;M_m}{r}_{m^{\&prime;}l}\right)\right\}\end{array}---\left(1\right)$

其中，Z₀＝∏_mZ_m是起归一化作用的函数，M_m是变量r_ml的相邻变量集，近邻的数目设为|M_m|＝4。

7.根据权利要求5所述的设备，其特征在于，所述学习稀疏成分分析模型的方法为：令y_l∈R^M为所有L个人脸部分的第l个部分，将每个部分建模为稀疏成分分析模型：

$\begin{array}{c}{y}_{ml}=\underset{k=1}{\overset{K}{\&Sigma;}}{z}_{lk}{w}_{mlk}\\ z_{lk}~Lap\left(u=0,b=1\right)\end{array}---\left(2\right)$

其中，K是基的数目；为第l个部分的过完备基。

8.根据权利要求5所述的设备，其特征在于，所述人脸图像建模方法为：

对于像素x_m，它首先从L个部分中选择一个部分并记为l，然后相应地从第l个稀疏成分分析模型中产生一个像素；对部分的选择由随机二值向量r_m.＝(r_m1,…,r_mL)^T记录，其中r_ml∈{0,1}服从Multinomial先验式，当第_l个部分被选中时，r_ml＝1；得到下述模型：

$\begin{array}{c}{x}_m=\underset{l=1}{\overset{L}{\&Sigma;}}{r}_{ml}{y}_{ml}+{\mathrm{\&mu;}}_m+{\mathrm{\&epsiv;}}_m\\ r_{m.}~Multi\left(n=1,{\mathrm{\&alpha;}}_m\right)\end{array}---\left(3\right)$

其中，y_ml为式(2)定义的第l个部分的第m个像素；μ_m为均值；为随机噪声；α_m.＝(α_m1,…,α_mL)^T为多项式分布的参数；

令Z＝{z_lk}，将式(2)代入式(3)中，可以得到下式：

$\begin{array}{c}{x}_m=\underset{l=1}{\overset{L}{\&Sigma;}}{r}_{ml}\underset{k=1}{\overset{K}{\&Sigma;}}{z}_{lk}{w}_{mlk}+{\mathrm{\&mu;}}_m+{\mathrm{\&epsiv;}}_m\\ r_{m.}~Multi\left(n=1,{\mathrm{\&alpha;}}_m\right)\\ z_{lk}~Lap(u=0,b=1)\end{array}---\left(4\right)$

观测变量x的条件分布表示为：

$P\left(x\right|R,Z)=\underset{m}{\&Pi;}P\left(x_m\right|r_{m.},Z)=\underset{m}{\&Pi;}N(x_m;\underset{l}{\&Sigma;}{r}_{ml}\underset{k}{\&Sigma;}{z}_{lk}{w}_{mlk}+{\mathrm{\&mu;}}_m,{\mathrm{\&sigma;}}_m^2)---\left(5\right)$

导出本发明中人脸表示的产生式模型P(x,Z,R)：

其中，b＝1，u＝0；θ＝(w_mlk,μ_m,σ_m,α_ml)是待学习的参数集合。

9.根据权利要求5所述的设备，其特征在于，所述学习人脸图像的特征的方法为：采用MontoCarloEM算法学习步骤4导出的产生式模型的参数；

所述MontoCarloEM算法为：下列两个步骤的迭代：(1)对于每个给定的训练样本，首先采用Gibbs采样的方法采集R和Z的样本(-Step)(2)利用采样得到的样本更新参数θ(-Step)。

10.根据权利要求5所述的设备，其特征在于，导出人脸图像的特征的方法为：

P(Z^c|x^c)编码了与样本x^c相关的信息，使用投影和的组合作为x^c的特征h^c，

$h^c=vec\left({\{E_{P\left(z_{lk}^c\right|x^c,\mathrm{\&theta;})}\&lsqb;z_{lk}^c\&rsqb;,E_{P\left(t_s^c\right|x^c,\mathrm{\&theta;})}\&lsqb;t_s^c\&rsqb;\}}_{l,k}\right);$

定义相似度的方法为：

定义样本x^c和样本x^b之间的相似度为以下加权内积：

$S_{PD\left(x^c,x^b\right)}=h^{cT}{\mathrm{Vh}}^b;$

其中V为表示人脸基权值的对角矩阵。