CN102592148A - 基于非负矩阵分解和多种距离函数的人脸识别方法 - Google Patents

Abstract

本发明公开了基于非负矩阵分解和多种距离函数的人脸识别方法，包括：人脸图像特征的提取：针对学习图库中全部人脸图像做非负矩阵分解，得到对应的基图像和每张学习图像对应的权重向量即特征向量；利用非负矩阵分解的算法，对测试图像中全部图像做特征提取，得到每张测试图对应的特征向量；利用得到的特征向量，首先计算每一类已知身份的训练样本图像集合对应的平均特征向量Hm；然后对每个测试图像计算其与各类别训练图像集对应均值向量之间的相似度，并结合多种不同距离函数给出相似度的量化数值，找出与测试图最接近的训练图类别即最近邻点，并根据最近邻分类的方法将测试图划归最近邻所在类别，即对全部测试图像进行身份识别。

Description

基于非负矩阵分解和多种距离函数的人脸识别方法

技术领域

本发明涉及图像处理和模式识别技术的应用领域，具体涉及一种基于非负矩阵分解(NMF)和多种距离函数的图像识别方法。

背景技术

在人脸识别领域，目前有很多方法，这些方法大致可以分为两大类：非监督的的识别方法和有监督的识别方法。非监督的的识别方法事先对分类过程不施加任何的先验知识，而仅凭待分类样本提取出的特征，建立决策规则来进行分类，主要包括主成分分析(PCA)，非负矩阵分解(NMF)。

主成分分析(PCA)的基本方法如下：

先设X＝{X_n∈R^d|n＝|1，...，N}为一组向量即数据集。

然后，针对数据集计算对应的平均向量EX和协方差矩阵M。

$\mathrm{EX}=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{X}_n,$

$\hat{X}=\{{\hat{X}}_n,n=1,...,N\}\mathrm{with}{\hat{X}}_n=X_n-\mathrm{EX},$

$M=\mathrm{cov}\left(\hat{X}\right),\mathrm{withM}(i,j)=\frac{1}{N-1}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\left({\hat{X}}_n\right(i\left){\hat{X}}_n\right(j\left)\right),1\≤i,j\≤d.$

接下来是计算矩阵M的特征值和特征向量。根据矩阵理论，协方差矩阵M是正定的，所以拥有非负特征值，对应的特征向量集可以构成一个完备的线性正交空间。

最后，对前述步骤计算出的特征值从大到小进行排序，并选择最大的k个特征值以及对应的特征向量，再计算集合X中全部向量对这些特征向量的投影系数，并以此作为原有的这些高维向量降维之后的特征向量。在人脸图像的识别中，识别是通过比较学习图像和测试图像在主成分分析之后相应的特征向量之间相似度。

虽然主成分分析方法得到了广泛的应用，但由于它是将信号进行正交分解，其分解的结果中含有负值，缺失了实际的物理含义；信息或信号处理的许多数据具有非负性的特点，如灰度图像等。在用线性表示方法处理这类数据时，往往要求分解的结果(包括基向量和系数)都是非负的.此时若采用传统方法如主成分分析，因为其结果中含有负数而失去了物理意义。

主成分分析应用到人脸图像识别方面称之为特征脸(eigenface)，也取得了较好的效果。但是传统的特征脸方法有其局限性。首先，主成分分析的基图像缺乏直观性。其次，这种方法是基于整体图像进行特征提取和识别，因此很难处理图像中部分被遮挡的情况。

而非负矩阵分解(NMF)作为一种特征提取的方法能避免以上不足之处。它在特征提取过程中对基向量和权重向量都施加了非负限制，从而在对原图像进行近似重构的时候只允许对数据进行相加的组合。

非负矩阵分解(NMF)的基本方法如下：

非负矩阵分解是一种多变量分析方法。假设处理m个n维空间的样本数据，用n×m数据矩阵V表示，该数据矩阵中各个元素都是非负的，表示为V≥0。然后对矩阵V进行线性分解，以两个新的非负矩阵(n×r矩阵W与r×m矩阵H)来近似原矩阵

其中矩阵W中列为非负基向量，而H中列代表权重向量即组合系数；i，j分别表示V中对应元素的行号与列号，a表示矩阵乘法时对应的元素在各自行列中的序号，n与m分别表示矩阵V的行数与列数，r表示W中列数，即对V做分解过程中用到的非负基向量个数。

为了实现矩阵的非负分解，首先需要定义一个损失函数来刻画分解前后的逼近程度

$F=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}[V_{\mathrm{ij}}\log \frac{V_{\mathrm{ij}}}{{\left(\mathrm{WH}\right)}_{\mathrm{ij}}}-V_{\mathrm{ij}}+{\left(\mathrm{WH}\right)}_{\mathrm{ij}}]$

然后在非负性约束下求解，采用的是以下迭代算法

$W_{\mathrm{ia}}\←W_{\mathrm{ia}}\underset{j}{\mathrm{\Σ}}\frac{V_{\mathrm{ij}}}{{\left(\mathrm{WH}\right)}_{\mathrm{ij}}}{H}_{\mathrm{aj}},$

$W_{\mathrm{ia}}\←\frac{W_{\mathrm{ia}}}{\underset{j}{\mathrm{\Σ}}{W}_{\mathrm{ja}}},$

$H_{\mathrm{aj}}\←H_{\mathrm{aj}}\underset{i}{\mathrm{\Σ}}{W}_{\mathrm{ia}}\frac{V_{\mathrm{ij}}}{{\left(\mathrm{WH}\right)}_{\mathrm{ij}}}.$

从以上公式可以看出，该迭代规则适合分解当中非负数据的特点，即在非负性初始化的基础上，在迭代过程中能始终简单地保持非负性，从而确保数据的整体特征是局部特征的非负线性组合，局部特征在构成整体特征时不会产生正负抵消的情况，因此具有明确的物理含义。

针对图像处理问题，非负矩阵分解(NMF)算法应用的流程图如图1所示。

发明内容

本发明的目的在于针对主成分分析方法的不足，利用非负矩阵分解方法构造一个非监督的人脸识别系统，同时鉴于以往的人脸识别系统当中在进行特征比对和分类决策时采用的距离函数主要是欧几里德距离或者马氏距离，都没有考虑到待识别对象的数据向量符合非负性的特征，因此采用了多种距离应用于分类器，令识别系统的性能有进一步提升，在现有技术的基础上，进一步提高了算法的鲁棒性、准确性和实时性。本发明通过如下技术方案实现。

一种基于非负矩阵分解和多种距离函数的人脸图像识别方法，包括如下步骤：

(1)学习图库中人脸图像特征的提取：针对学习图库中全部人脸图像做非负矩阵分解，得到对应的基图像和每张学习图像对应的权重向量即特征向量；

(2)利用非负矩阵分解的算法，在步骤(1)的基础上对测试图像中全部图像做特征提取，得到每张测试图对应的特征向量；

(3)利用步骤(1)和(2)中得到的特征向量，首先计算每一类已知身份的训练样本图像集合对应的平均特征向量Hm；然后对每个测试图像计算其与各类别训练图像集对应均值向量之间的相似度，并结合多种不同距离函数给出相似度的量化数值dist(Ht，Hm)，在此基础上找出与测试图像最接近的训练图类别即最近邻点，并根据最近邻分类的方法将测试图划归最近邻所在类别，即对全部测试图像进行身份识别。

上述的基于非负矩阵分解和多种距离函数的人脸图像识别方法中，步骤(1)进一步包括：

1)获取人脸图像并做规一化使其大小一致，形成一个实验数据库，并分成训练集和测试集；

2)首先，使用一个n×m矩阵V₁代表训练图像数据集；

其次，采用非负矩阵分解(NMF)对矩阵V₁进行分解以提取特征；非负矩阵分解(NMF)的方法如下：

非负矩阵分解是一种多变量分析方法。假设处理m个n维空间的样本数据，用n×m数据矩阵V表示，该数据矩阵中各个元素都是非负的，表示为V≥0。然后对矩阵V进行线性分解，以两个新的非负矩阵(n×r矩阵W与r×m矩阵H)来近似原矩阵

其中矩阵W中列为非负基向量，而H中列代表权重向量即组合系数；i，j分别表示V中对应元素的行号与列号，a表示矩阵乘法时对应的元素在各自行列中的序号，n与m分别表示矩阵V的行数与列数，r表示W中列数，即对V做分解过程中用到的非负基向量个数；

为了实现矩阵的非负分解，首先需要定义一个损失函数来刻画分解前后的逼近程度

$F=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}[V_{\mathrm{ij}}\log \frac{V_{\mathrm{ij}}}{{\left(\mathrm{WH}\right)}_{\mathrm{ij}}}-V_{\mathrm{ij}}+{\left(\mathrm{WH}\right)}_{\mathrm{ij}}]$

然后在非负性约束下求解，采用的是以下迭代算法

$W_{\mathrm{ia}}\←W_{\mathrm{ia}}\underset{j}{\mathrm{\Σ}}\frac{V_{\mathrm{ij}}}{{\left(\mathrm{WH}\right)}_{\mathrm{ij}}}{H}_{\mathrm{aj}},$

$W_{\mathrm{ia}}\←\frac{W_{\mathrm{ia}}}{\underset{j}{\mathrm{\Σ}}{W}_{\mathrm{ja}}},$

$H_{\mathrm{aj}}\←H_{\mathrm{aj}}\underset{i}{\mathrm{\Σ}}{W}_{\mathrm{ia}}\frac{V_{\mathrm{ij}}}{{\left(\mathrm{WH}\right)}_{\mathrm{ij}}}.$

从以上公式可以看出，该迭代规则适合分解当中非负数据的特点，即在非负性初始化的基础上，在迭代过程中能始终简单地保持非负性，从而确保数据的整体特征是局部特征的非负线性组合，局部特征在构成整体特征时不会产生正负抵消的情况，因此具有明确的物理含义。

针对图像处理问题，非负矩阵分解(NMF)算法应用的流程图如图1所示。

非负矩阵分解算法应用到训练图像数据集对应的矩阵V₁时，可以得到两个新的矩阵(W1和H1)：

其中W1为基矩阵，H1为权重矩阵；i，j分别表示V₁中对应元素的行号与列号，a表示矩阵乘法时该元素在行列中的序号，r表示W1中列数，即对V₁做分解过程中用到的非负基向量个数。

完成分解后针对训练图像建立不同的库来分别保存它们的基向量和权重向量。

上述基于非负矩阵分解(NMF)和多种距离函数的人脸图像识别方法中，步骤(2)进一步包括：

对全部图像进行特征提取，本系统中分别采用两种不同方法获得训练图像和测试图像的特征向量。

方法1：

定义W1对应的广义逆矩阵 $W^{+}={\left(W_1^T{w}_1\right)}^{-1}{w}_1^T,$ 再令每个训练图像V_i表示为投影到W⁺的特征向量H′_i＝W+V_i，而任一个待分类的测试图像V_t可以将特征表示为H′_t＝W+V_t。

方法2：

利用在训练阶段获得的基矩阵W1，可以继续使用原有的非负矩阵分解算法中迭代公式，但在迭代中保持W1不变(即不对W1进行更新)，从而得到测试图像对应的权重矩阵H2。然后，分别用H1和H2中列向量作为学习图像和测试图像的特征向量。

上述基于非负矩阵分解(NMF)和多种距离函数的人脸图像识别方法中，步骤(3)进一步包括：

首先计算每一类训练样本图像集合对应的平均特征向量Hm；然后对每个测试图像计算其与各类别对应均值向量之间的各种距离度量dist(Ht，Hm)(距离的各种定义参见下文)，并根据最近邻分类的方法将测试图像归为距离最近的一类。

为提高分类性能，该人脸识别系统当中采用多种距离函数度量，对非负矩阵分解后的图像特征向量进行相似性度量，再利用最近邻分类的方法给出测试图的分类决策。

首先设X，Y是利用非负矩阵分解方法得到的长度为n的特征向量，其中X代表测试图像的权重向量，而Y表示训练图像的权重向量；而σ是训练图像对应权重向量的协方差矩阵，而{s_i，i＝1，L，n}表示σ中对角元的平方根，即标准差，在此基础上引入特征向量之间各种距离函数的定义如下(其中i表示元素在向量中的标号，n表示向量的长度，d(X，Y)表示两个向量之间距离，x_i与y_i分别表示向量X与Y中的分量，min与max分别表示集合当中的极小值与极大值)：

(1)、曼哈顿距离(即L1距离)

$d(X,Y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}|x_i-y_i|$

(2)、欧氏距离

$d(X,Y)=\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-y_i)}^2}$

(3)、切比雪夫距离

$d(X,Y)=\underset{1\≤i\≤n}{\max }|x_i-y_i|$

(4)、马氏距离

$d(X,Y)=\sqrt{{(X-Y)}^{\′}{\mathrm{\σ}}^{-1}(X-Y)}$

(5)、兰斯距离

$d(X,Y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{|x_i-y_i|}{\left|x_i\right|+\left|y_i\right|}$

(6)、统计距离

$d(X,Y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|\frac{x_i-y_i}{s_i}\right|$

(7)、散度

$d(X,Y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(x_i\ln \frac{x_i}{y_i}-x_i+y_i)$

(8)、Kullback-Leibler距离(相对熵)

$d(X,Y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i^{\′}{\log }_2\frac{x_i^{\′}}{y_i^{\′}},$ $x_i^{\′}=\frac{\left|x_i\right|}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|x_i\right|},y_i^{\′}=\frac{\left|y_i\right|}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|y_i\right|}$

(9)、对称化散度

$d(X,Y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(x_i\ln \frac{x_i}{y_i}-x_i+y_i)+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(y_i\ln \frac{y_i}{x_i}-y_i+x_i)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(x_i\ln \frac{x_i}{\mathrm{yi}}+y_i\ln \frac{y_i}{x_i})$

(10)、对称化的Kullback-Leibler距离

$d(X,Y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i^{\′}{\log }_2\frac{x_i^{\′}}{y_i^{\′}}+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i^{\′}{\log }_2\frac{y_i^{\′}}{x_i^{\′}},$ $x_i^{\′}=\frac{\left|x_i\right|}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|x_i\right|},$ $y_i^{\′}=\frac{\left|y_i\right|}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|y_i\right|}$

(11)、马氏角距离

$d(X,Y)=1-\frac{X^{\′}{\mathrm{\σ}}^{-1}Y}{\sqrt{X^{\′}{\mathrm{\σ}}^{-1}X}\sqrt{Y^{\′}{\mathrm{\σ}}^{-1}Y}}$

(12)、卡方距离

$d(X,Y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{{(x_i-y_i)}^2}{x_i+y_i}$

(13)、基于指数相似系数的距离

$d(X,Y)=1-{\mathrm{\γ}}^2(X,Y),\mathrm{\γ}(X,Y)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{e}^{-\frac{3}{4}\frac{{(x_i-y_2)}^2}{s_i^2}}$

(14)、基于非参数相似系数的距离

$d(X,Y)=1-{\mathrm{\γ}}^2(X,Y),\mathrm{\γ}(X,Y)=\frac{n_{+}-n_{-}}{n_{+}+n_{-}}$

此处 $X_i^{\′}=x_i-\stackrel{\‾}{x},y_i^{\′}=y_i-\stackrel{\‾}{y},$

与

分别表示向量X与Y中分量的均值，

n₊表示{x′_iy′_i≥0，i＝1，L，n}的次数，而n_-表示{x′_iy′_i＜0，i＝1，L，n}的次数。

(15)、余弦距离

$d(X,Y)=1-\cos (X,Y)=1-\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i{y}_i}{\sqrt{\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i^2\right)\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i^2\right)}}$

(16)、基于相关系数的距离(CCBD)

$d(X,Y)=1-\mathrm{\γ}(X,Y),\mathrm{\γ}(X,Y)=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(x_i-\stackrel{\‾}{x})(y_i-\stackrel{\‾}{y})}{\sqrt{\left[\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{x})}^2\right]\left[\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(y_i-\stackrel{\‾}{y})}^2\right]}}$

前述四种距离的定义都基于不同的相似系数γ(X，Y)，各自对应的具体定义参见上式。本方法中提出两种尚未用于人脸识别的新距离，由于它们是基于非负向量之间两种相似系数γ(X，Y)的距离，所以适用于非负矩阵分解方法的应用，其中各自对应的系数γ(X，Y)定义如下。

(17)、基于非负向量相似系数的距离1(NVSC1)

$d(X,Y)=1-{\mathrm{\γ}}^2(X,Y),\mathrm{\γ}(X,Y)=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\min (x_i,y_i)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\max (x_i,y_i)}$

(18)、基于非负向量相似系数的距离2(NVSC2)

$d(X,Y)=1-{\mathrm{\γ}}^2(X,Y),\mathrm{\γ}(X,Y)=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\min (x_i,y_i)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(x_i+y_i)/2}$

在所有上述距离函数中，曼哈顿距离、欧氏距离和马氏距离在模式识别领域应用最为广泛。

本发明在非负矩阵分解的基础上，通过引入新的距离，以非负向量之间相似系数为基础的(NVSC)距离，能够显著的提高人脸识别率。本发明注重理论和实际应用的结合，进一步丰富了人脸识别领域的技术方法。

与传统的主成分分析(PCA)技术和基于欧式距离的人脸识别系统相比，本发明有以下优点：

1)在功能上，非负矩阵分解(NMF)实现了对大脑基于部分感知功能的模拟，既可以兼顾图像各个部分的特征，也可以兼顾总体特征，因此对于有遮挡的图像识别更为有效。

2)在应用上，非负性的数据大量存在，且非负分解的结果具有明确直观的物理含义；

3)在算法上，采用简单有效的乘法迭代规则，很好地保持了非负性，并提升了计算速度；

4)NMF作为一种低秩逼近算法，能有效节约存储和计算资源；

5)针对NMF的数据特点，在识别阶段采用多种特征提取方法和距离函数，能够充分发掘这种特征提取方法的潜力，提升系统的分类性能。尤其是新定义的两种NVSC距离，充分考虑了非负矩阵分解方法的特点，在前述步骤中得到非负特征向量的基础上给出的距离计算公式简单直观，计算量小，处理速度快，而且应用后得到的人脸识别系统能产生更好的识别结果。

附图说明

图1是非负矩阵分解算法的流程图。

图2是训练阶段的流程图。

图3是：识别阶段的流程图。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步说明，但本发明的保护范围和实施不限于此。

基于非负矩阵分解(NMF)和多种距离函数的人脸识别方法，如图3所示，其具体实现步骤如下：

(1)学习图库中人脸图像特征的提取：针对学习图库中全部人脸图像做非负矩阵分解，得到对应的基图像和每张学习图像对应的权重向量即特征向量。

(2)利用非负矩阵分解的算法，在步骤(1)的基础上对测试图像中全部图像做特征提取，得到每张测试图对应的特征向量。

(3)利用步骤(1)，(2)中得到的特征向量，首先计算每一类已知身份的训练样本图像集合对应的平均特征向量Hm；然后对每个测试图像计算其与各类别训练图像集对应均值向量之间的相似度，并结合多种不同距离函数给出相似度的量化数值dist(Ht，Hm)(距离的各种定义参见上文)，在此基础上找出与测试图最接近的训练图类别即最近邻点，并根据最近邻分类的方法将测试图划归最近邻所在类别，即对全部测试图像进行身份识别。

以国际上公认的用于人脸识别实验的MIT-CBCL人脸图库为例，该图库当中有10个人的面部图像，每个人有324张脸图，光线强度和拍照角度各异。本方法预先已将这3240张图像归一化为23*28的尺寸，并随机抽取每个人的10张图作为训练图，余下的作为测试图，从而形成训练图库和测试图库。

步骤(1)的具体实施步骤为：

首先读取训练图库当中的每幅图像，并且将获得的数字矩阵每列依次连接之后形成一个644维列向量，将所有训练图读取之后将所有列向量汇总可以形成644×100矩阵V₁。

其次，采用非负矩阵分解(NMF)对V₁进行分解以提取特征，采用的是前述迭代算法，分解之后可以得到两个新矩阵(W1和H1)：

其中W1为训练图对应的基矩阵，H1为权重矩阵；i，j分别表示V₁中对应元素的行号与列号，a表示矩阵乘法时该元素在行列中的序号，r表示W1中列数，即对V₁做分解过程中用到的非负基向量个数，根据经验，r取80左右时可以取得较好的分解与识别效果。

完成分解后针对训练图像建立不同的库来分别保存它们的基向量和权重向量。

步骤(2)的具体实施步骤为：

针对图库中100张训练图像和3140张测试图像，本系统中分别采用两种不同方法获得每张训练图像和测试图像对应的特征向量(在下面的阐述和实验结果中，会把这两种办法分别表示为方法1与方法2)。

方法1：

定义W1对应的广义逆矩阵 $W^{+}={\left(W_1^T{W}_1\right)}^{-1}{W}_1^T,$ 再令每个训练图像V_i表示为投影到W⁺的特征向量H′_i＝W+V_i，而任一个待分类的测试图像V_t可以将特征表示为H′_t＝W+V_t。

方法2：

利用全部测试图像得到一个644*3140的矩阵V₂，然后利用在步骤1中获得的基矩阵W1，可以继续使用原有的非负矩阵分解算法中迭代公式，但在迭代中保持W1不变(即不对W1进行更新)，从而得到测试图像对应的权重矩阵H2。然后，分别用H1和H2中列向量作为学习图像和测试图像的特征向量，此时每幅人脸图像都已经在非负矩阵分解的基础上用80维的特征向量表示。

步骤三的具体实施步骤为：

在已知测试图和各类别训练图像对应的全部特征向量之后，首先计算每一类训练样本中10幅图像在前述非负矩阵分解步骤之后特征向量的均值向量Hm；然后对每个测试图像计算其与各类别对应均值向量之间的各种距离度量dist(Ht，Hm)(距离的各种定义参见上文)，并根据最近邻分类的方法将测试图像归为距离最近的一类。

上述两个阶段的流程图如图2(在识别阶段，只图示第二种特征提取方法)。

为提高分类性能，该人脸识别系统当中采用了多种距离函数度量，并对其性能进行了比较。实验表明，采用两种NVSC距离的计算速度比较快，更重要的是针对非负矩阵分解方法提取出来的特征向量，能够取得更好的人脸识别效果。

表1是在CBCL图库上具体实现该人脸识别系统之后，采用两种不同的特征提取方法，并结合各种距离函数的定义，得到的识别率汇总情况(即对全部测试图像进行分类决策之后，实现正确分类的测试图占总数的比例)。

表1

从表格中可以看出，第二种特征提取方法通常能取得更好的识别结果，而在此前提下，提出的两种NVSC距离是所有距离当中识别效果最好的度量函数。

Claims (6)

1.基于非负矩阵分解和多种距离函数的人脸识别方法，其特征在于包括如下步骤：

(1)学习图库中人脸图像特征的提取：针对学习图库中全部人脸图像做非负矩阵分解，得到对应的基图像和每张学习图像对应的权重向量即特征向量；

(2)利用非负矩阵分解的算法，在步骤(1)的基础上对测试图像中全部图像做特征提取，得到每张测试图对应的特征向量；

(3)利用步骤(1)和(2)中得到的特征向量，首先计算每一类已知身份的训练样本图像集合对应的平均特征向量Hm；然后对每个测试图像计算其与各类别训练图像集对应均值向量之间的相似度，并结合多种不同距离函数给出相似度的量化数值dist(Ht，Hm)，在此基础上找出与测试图像最接近的训练图类别即最近邻点，并根据最近邻分类的方法将测试图划归最近邻所在类别，即对全部测试图像进行身份识别。

2.根据权利要求1所述的基于非负矩阵分解和多种距离函数的人脸识别方法，其特征在于步骤(1)进一步包括：

1)获取人脸图像并做规一化使其大小一致，形成一个实验数据库，并分成训练集和测试集；

2)首先，使用一个n×m矩阵V₁代表训练图像数据集；

其次，采用非负矩阵分解对矩阵V₁进行分解以提取特征；非负矩阵分解(NMF)的方法如下：

处理m个n维空间的样本数据，用n×m数据矩阵V表示，该数据矩阵中各个元素都是非负的，表示为V≥0，然后对矩阵V进行线性分解，以两个新的非负矩阵n×r矩阵W与r×m矩阵H来近似原矩阵，

其中矩阵W中列为非负基向量，而矩阵H中列代表权重向量即组合系数；i，j分别表示矩阵V中对应元素的行号与列号，a表示矩阵乘法时对应的元素在各自行列中的序号，n与m分别表示矩阵V的行数与列数；r表示W中列数，即对V做分解过程中用到的非负基向量个数；

为了实现矩阵的非负分解，首先需要定义一个损失函数F来刻画分解前后的逼近程度：

$F=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}[V_{\mathrm{ij}}\log \frac{V_{\mathrm{ij}}}{{\left(\mathrm{WH}\right)}_{\mathrm{ij}}}-V_{\mathrm{ij}}+{\left(\mathrm{WH}\right)}_{\mathrm{ij}}]$

然后在非负性约束下求解，采用以下迭代算法，

$W_{\mathrm{ia}}\←W_{\mathrm{ia}}\underset{j}{\mathrm{\Σ}}\frac{V_{\mathrm{ij}}}{{\left(\mathrm{WH}\right)}_{\mathrm{ij}}}{H}_{\mathrm{aj}},$

$W_{\mathrm{ia}}\←\frac{W_{\mathrm{ia}}}{\underset{j}{\mathrm{\Σ}}{W}_{\mathrm{ja}}},$

$H_{\mathrm{aj}}\←H_{\mathrm{aj}}\underset{i}{\mathrm{\Σ}}{W}_{\mathrm{ia}}\frac{V_{\mathrm{ij}}}{{\left(\mathrm{WH}\right)}_{\mathrm{ij}}}.$

从以上公式可知，该迭代算法适合分解当中非负数据的特点，即在非负性初始化的基础上，在迭代过程中能始终简单地保持非负性，从而确保数据的整体特征是局部特征的非负线性组合，局部特征在构成整体特征时不会产生正负抵消的情况。

3.根据权利要求1所述的基于非负矩阵分解和多种距离函数的人脸识别方法，其特征在于步骤(2)中非负矩阵分解算法应用到训练图像数据集对应的矩阵V₁时，得到两个新的矩阵W1和H1：

其中W1为基矩阵，H1为权重矩阵；i，j分别表示V₁中对应元素的行号与列号，a表示矩阵乘法时该元素在行列中的序号，r表示W1中列数，即对V₁做分解过程中用到的非负基向量个数；

完成分解后针对训练图像建立不同的库来分别保存它们的基向量和权重向量。

4.根据权利要求3所述的基于非负矩阵分解和多种距离函数的人脸识别方法，其特征在于步骤(2)进一步包括：

对全部图像进行特征提取，分别采用两种不同方式获得训练图像和测试图像的特征向量。

方式1：

定义W1对应的广义逆矩阵 $W^{+}={\left(W_1^T{W}_1\right)}^{-1}{W}_1^T,$ 再令每个训练图像V_i表示为投影到W⁺的特征向量H′_i＝W+V_i，而任一个待分类的测试图像V_t能将特征表示为H′_t＝W⁺V_t；

方式2：

利用在训练阶段获得的基矩阵W1，继续使用原有的非负矩阵分解算法中迭代公式，但在迭代中保持W1不变，即不对基矩阵W1进行更新，从而得到测试图像对应的权重矩阵H2；然后，分别用H1和H2中列向量作为学习图像和测试图像的特征向量。

5.根据权利要求1所述的基于非负矩阵分解和多种距离函数的人脸识别方法，其特征在于步骤(3)进一步包括：

首先计算每一类训练样本图像集合对应的平均特征向量Hm；然后对每个测试图像计算其与各类别对应均值向量之间的各种距离度量dist(Htt，m)，并根据最近邻分类的方法将测试图像归为距离最近的一类；

为提高分类性能，在人脸识别系统当中采用多种距离函数度量，对非负矩阵分解后的图像特征向量进行相似性度量，再利用最近邻分类的方法给出测试图的分类；

首先设X，Y是利用非负矩阵分解方法得到的长度为n的特征向量，其中X代表测试图像的权重向量，而Y表示训练图像的权重向量；而σ是训练图像对应权重向量的协方差矩阵，而{s_i，i＝1，L，n}表示σ中对角元的平方根，即标准差，在此基础上引入特征向量之间各种距离函数的定义如下，其中i表示元素在向量中的标号，n表示向量的长度，d(X，Y)表示两个向量之间距离，x_i与y_i分别表示向量X与Y中的分量，min与max分别表示集合当中的极小值与极大值：

(1)、曼哈顿距离

$d(X,Y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}|x_i-y_i|$

(2)、欧氏距离

$d(X,Y)=\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-y_i)}^2}$

(3)、切比雪夫距离

$d(X,Y)=\underset{1\≤i\≤n}{\max }|x_i-y_i|$

(4)、马氏距离

$d(X,Y)=\sqrt{{(X-Y)}^{\′}{\mathrm{\σ}}^{-1}(X-Y)}$

(5)、兰斯距离

$d(X,Y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{|x_i-y_i|}{\left|x_i\right|+\left|y_i\right|}$

(6)、统计距离

$d(X,Y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|\frac{x_i-y_i}{s_i}\right|$

(7)、散度

$d(X,Y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(x_i\ln \frac{x_i}{y_i}-x_i+y_i)$

(8)、Kullback-Leibler距离

$d(X,Y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i^{\′}{\log }_2\frac{x_i^{\′}}{y_i^{\′}},$ $x_i^{\′}=\frac{\left|x_i\right|}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|x_i\right|},$ $y_i^{\′}=\frac{\left|y_i\right|}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|y_i\right|}$

(9)、对称化散度

$d(X,Y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(x_i\ln \frac{x_i}{y_i}-x_i+y_i)+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(y_i\ln \frac{y_i}{x_i}-y_i+x_i)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(x_i\ln \frac{x_i}{\mathrm{yi}}+y_i\ln \frac{y_i}{x_i})$

(10)、对称化的Kullback-Leibler距离

$d(X,Y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i^{\′}{\log }_2\frac{x_i^{\′}}{y_i^{\′}}+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i^{\′}{\log }_2\frac{y_i^{\′}}{x_i^{\′}},$ $x_i^{\′}=\frac{\left|x_i\right|}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|x_i\right|},$ $y_i^{\′}=\frac{\left|y_i\right|}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|y_i\right|}$

(11)、马氏角距离

$d(X,Y)=1-\frac{X^{\′}{\mathrm{\σ}}^{-1}Y}{\sqrt{X^{\′}{\mathrm{\σ}}^{-1}X}\sqrt{Y^{\′}{\mathrm{\σ}}^{-1}Y}}$

(12)、卡方距离

$d(X,Y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{{(x_i-y_i)}^2}{x_i+y_i}$

(13)、基于指数相似系数的距离

$d(X,Y)=1-{\mathrm{\γ}}^2(X,Y),\mathrm{\γ}(X,Y)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{e}^{-\frac{3}{4}\frac{{(x_i-y_i)}^2}{s_i^2}}$

(14)、基于非参数相似系数的距离

$d(X,Y)=1-{\mathrm{\γ}}^2(X,Y),\mathrm{\γ}(X,Y)=\frac{n_{+}-n_{-}}{n_{+}+n_{-}},$

此处 $x_i^{\′}=x_i-\stackrel{\‾}{x},y_i^{\′}=y_i-\stackrel{\‾}{y},$

与

分别表示向量X与Y中分量的均值，n₊表示{x′_iy′_i≥0，i＝1，L，n}的次数，而n_-表示{x′_iy′_i＜0，i＝1，L，n}的次数。

(15)、余弦距离

$d(X,Y)=1-\cos (X,Y)=1-\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i{y}_i}{\sqrt{\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i^2\right)\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i^2\right)}}$

(16)、基于相关系数的距离

$d(X,Y)=1-\mathrm{\γ}(X,Y),\mathrm{\γ}(X,Y)=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(x_i-\stackrel{\‾}{x})(y_i-\stackrel{\‾}{y})}{\sqrt{\left[\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{x})}^2\right]\left[\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(y_i-\stackrel{\‾}{y})}^2\right]}};$

6.根据权利要求5所述的基于非负矩阵分解和多种距离函数的人脸识别方法，其特征在于所述距离还包括以下两种用于人脸识别的新距离，该两种新距离基于非负向量之间两种相似系数γ(X，Y)的距离，适用于非负矩阵分解方法的应用，其中各自对应的系数γ(X，Y)定义如下：

(17)、基于非负向量相似系数的距离1

$d(X,Y)=1-{\mathrm{\γ}}^2(X,Y),\mathrm{\γ}(X,Y)=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\min (x_i,y_i)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\max (x_i,y_i)}$

(18)、基于非负向量相似系数的距离2(NVSC2)

$d(X,Y)=1-{\mathrm{\γ}}^2(X,Y),\mathrm{\γ}(X,Y)=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\min (x_i,y_i)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(x_i+y_i)/2}.$

Images