CN100449567C - 一种基于块内相关性的二维主元分析人脸识别方法 - Google Patents

Abstract

本发明属模式识别技术领域，具体涉及一种基于块内相关性的二维主元分析(简称2DPCA)人脸识别方法。本方法根据人脸图像所具有的局域特征，将人脸图像划分成非重叠小块，然后将每一个小块中的元素按行相接产生相应的行向量，再把行向量按顺序排列成新的二维图像矩阵，最后将分块、重排之后的二维图像矩阵当作输入图像，进行2DPCA人脸识别。本方法的优点在于：充分利用了局部区域里行与列像素之间的相关性信息，能够较好地保留人脸的局域特征信息，可以达到较高的人脸识别率，而且计算复杂度较低。

Description

一种基于块内相关性的二维主元分析人脸识别方法

技术领域

本发明属模式识别技术领域，具体涉及一种基于块内相关性的二维主元分析人脸识别方法。

技术背景

人脸识别属于模式识别的范畴，作为图像分析与理解领域中最成功的应用之一，人脸识别在商业应用和研究领域都受到了广泛的重视。现有的人脸识别方法包括基于统计分析的人脸识别方法和基于模板匹配的人脸识别方法。

1991年，Turk和Pentland提出了一种称为主元分析(PCA，Principal ComponentAnalysis，也称为K-L变换)的人脸识别方法(参考文献[1]：M.Turk and A.Pentland，″FaceRecognition Using Eigenfaces″，Proc.IEEE Conf.on Computer Vision and PatternRecognition，1991)，又称为特征脸(eigenface)识别方法。这是一种基于统计分析的人脸识别方法，它的理论基础是矩阵的主元分析，主元分析是统计学中分析数据的一种方法，其基本思想是提取数据空间中的主要特征(主元)，使得数据在一个低维的特征空间被处理，同时保持原始数据的绝大部分的信息，从而解决数据空间维数过高的瓶颈问题。所谓特征脸就是指人脸图像协方差矩阵的主元。

主元分析方法作为一种有效的线性降维与特征抽取方法，一直受到研究者的广泛关注。围绕着主元分析方法，在人脸识别领域发展出一系列子空间方法，例如Fishfaces方法(参考文献[2]：Peter N.Belhumeur，Joao P.Hespanha，″Eigenface vs.Fisherface：Recognition Using Class Specific Linear Projection，″IEEE Transactions on Pattern Analysisand Machine Intelligence，vol.19，no.7，July 1997)，ICA独立主元分析方法(参考文献[3]：Hyvarinen，A.，Karhunen，J.，Oja，E.，Independent Component Analysis，John Wiley & Sons.New York，2001)，KPCA核主元分析方法(参考文献[4]：Scholkopf，B.，Smola，A.&Muller，K.R.，″Nonlinear component analysis as a kernel eigenvalue problem，″Neural Computation，pp.1299-1319)等，这些方法的拓展了主元分析方法的研究领域，丰富了人脸识别研究的内容。

为了减少PCA方法的运算量，近年来出现了一种称作二维主元分析(2DPCA)(参考文献[5]：Yang，J.，Zhang，D.，″Two-dimensional PCA：A new approach to appearance-basedface representation and recognition，″IEEE Transactions on Pattern Analysis and MachineIntelligence，26(1)，131-137，2004，参考文献[6]：Yang，J.，Yang，J.Y.，″From Image vector tomatrix：A straightforward image projection technique-IMPCA vs.PCA，″PatternRecognition，vol.35，no.9，pp.1997-1999，2002)的人脸识别方法(Yang & Zhang，2004)，这是在传统PCA方法上的一种改进。与传统PCA方法不同，2DPCA方法可以直接在二维图像矩阵上进行处理，而不需要事先将图像矩阵转换为一维向量。2DPCA方法直接使用二维图像矩阵去构造图像协方差矩阵，进而求出协方差矩阵的主元特征向量(即投影方向)，然后将二维图像直接投影到各投影方向上，从而获得图像的特征表示。

2DPCA人脸识别方法的效果已经得到业内各界的广泛认可。现有的实验表明，2DPCA方法的运算时间大约是PCA方法的1/10～1/20，且2DPCA方法的人脸识别率高于PCA方法，特别是在样本数目较少的情况下，人脸识别率一般有大于5％的显著提升(参考文献[5])。

通过对2DPCA的数学分析可以发现，2DPCA是利用图像矩阵同一行像素之间的相关性来构造散度矩阵的。2DPCA方法只利用了同一行内像素之间的相关性信息，完全抛弃了行与行之间像素的相关性信息，而且即使是同一行内的像素，相距较远的像素之间的相关性会比较弱，这些都说明了2DPCA方法未能充分利用像素之间的相关性信息，是2DPCA方法未能克服的缺陷。一般而言，人脸的特征主要表现在局部区域，如人脸的主要器官眼睛、鼻子、嘴巴等，都属于人脸的局部特征，但2DPCA方法使用的区域是图像的一行像素，割裂了人脸局部区域的像素相关性，很难用于表征人脸的局部特征，这是不利于进行人脸识别的因素。

发明内容

本发明的目的在于提出一种基于块内相关性的二维主元分析(简称2DPCA)人脸识别方法，根据人脸图像所具有的局域特征，即人脸图像一个局部块通常表示一个完整的语义，如鼻子、眼睛、嘴巴等等，采用将人脸图像划分成非重叠小块，然后将每一个小块中的元素按行相接产生相应的行向量，再把行向量按顺序排列成新的二维图像矩阵的方法，最后将分块、重排之后的二维图像矩阵当作输入图像，进行2DPCA人脸识别。这样的做法，充分利用了行与列像素之间的相关性信息，使得估计出图像的二维协方差矩阵更为精确，可以达到更高的人脸识别率。

本发明方法包含建立一个反映人脸特征的人脸数据库和一个通过计算欧式距离比较相似度的识别算法，步骤分为建库和识别两个阶段。下面具体介绍这两个阶段：

1、建库阶段

本阶段的主要目的是建立一个包含人脸特征的数据库，将来识别阶段时，把待识别图像的特征数据与库中的特征数据进行比对，取相似度最大的人脸图像作为识别结果。

(1)本阶段使用的人脸图像是标准的正面人脸图像，由于人脸图像的标准化对最终的识别结果有着直接的影响，所以首先对输入图像进行标准化处理，该工作分为两个部分：光线归一化和尺寸归一化。

光线归一化：将所有输入图像的灰度统一到标准水平，然后进行直方图均衡。其中，统一图像灰度的过程如下：首先要选取一张灰度适中的人脸图像，作为灰度归一化的标准图像，计算并记下其灰度平均值W，然后对每一幅输入图像进行灰度调整：①计算出该幅图像的灰度平均值w；②计算灰度调整比例C_w＝W/w；③将该幅图像所有像素的灰度值乘以C_w进行调整。

尺寸归一化：根据第(2)步中算法的需要(即要保证每个子分块所包含像素个数与原图像一行的像素个数相同)，将所有输入图像的尺寸调整为合适大小。

(2)对经过标准化的图像进行分块、重排的操作，构造新的二维图像矩阵。

任意一幅标准化图像，都可以用一个m×n的二维矩阵来表示，矩阵元素表示像素的灰度值，将图像矩阵记为A，即：

将矩阵A划分为p×q个大小相同的子矩阵，即：

其中，每个分块A_kl(k＝1，2，…，p；l＝1，2，…，q)是m′×n′维的矩阵，即有p×m′＝m，q×n′＝n，并要求每个分块的大小m′×n′＝n(需要第(1)步中尺寸归一化的配合)。

于是，每一幅图像就被分为p×q＝m个分块，按顺序记为D_i(i＝1，2，…m)，即：

对每一分块进行逐行扫描，得到每一分块对应的行向量表示V_i(i＝1，2，…m)：

再将这些行向量按顺序重排，构造出新的二维图像矩阵A′如下：

$A^{\′}=\left[\begin{array}{c}{V}_1\\ V_2\\ \·\\ \·\\ \·\\ V_m\end{array}\right]$

新的二维图像矩阵A′由m个n维(m′×n′＝n)的行向量组成，尺寸与原图像一样，也是m×n维的，但新矩阵中每一个行向量选取的是原图像处于同一局部块内的像素。

对所有的输入图像都进行上面的图像分块、重排操作，得到对应的二维图像矩阵库。

(3)计算最优投影方向

进行图像分块、重排的操作之后，每一幅输入图像A_i(i＝1，2，…，N)(N为训练图像总数)对应于一个m×n维的图像矩阵A′_i(i＝1，2，…，N)，根据这些二维图像矩阵可以计算出图像二维协方差矩阵，计算公式如下：

$G_t=\frac{1}{N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{(A_i^{\′}-\stackrel{\‾}{A^{\′}})}^T(A_i^{\′}-\stackrel{\‾}{A^{\′}})$

然后根据准则函数求出最优投影方向：

J(x)＝X^TG_tX

其中，X是归一化的列向量，称为最优投影方向。最大化上述准则函数的意义是：图像矩阵在X方向上投影后得到的特征向量的类间分散程度最大。实际上，最优投影方向X即是图像二维协方差矩阵G_t的最大特征值所对应的特征向量。

在样本类别数较多的情况下，通常情况下会选择一组互相正交且最大化准则函数的最优投影向量组X₁，X₂，…，X_d，即满足如下要求：

$\left\{\begin{array}{c}\{X_1,X_2,\·\·\·,X_d\}=\arg \max J\left(X\right)\\ X_i^T{X}_j=0,i\≠j,i,j=\mathrm{1,2},\·\·\·,d\end{array}\right.$

实际计算中，最优投影向量组X₁，X₂，…，X_d恰好就是图像二维协方差矩阵G_t的最大的前d个特征值所对应的特征向量。

(4)提取输入图像的特征矩阵建立数据库

得到最优投影向量组X₁，X₂，…，X_d之后，对每一幅输入图像进行如下操作：

对某一幅图像A，对应的经过重排的二维矩阵为A′，令

Y_k＝A′X_k，k＝1，2，…，d

则可获得一组投影特征向量Y₁，Y₂，…，Y_d，称为图像A的主元，一幅图像的所有主元构成一个m×d的矩阵B＝[Y₁，Y₂，…，Y_d]，称为图像A的特征矩阵。

将这一步得到的特征矩阵B₁，B₂，…B_N(N为训练图像总数)全部保存在数据库中，待识别阶段使用。在上述步骤中，第(2)步是最重要的，体现了本发明的核心内容。

2、识别阶段

对一幅待识别人脸图像T，进行与建库阶段第(1)、(2)步相同的图像标准化与图像分块、重排操作之后，得到经过重排的二维矩阵T′，将T′向最优投影方向投影，得到图像T的特征矩阵

计算特征矩阵B^T与人脸库中的每一个特征矩阵B_i(i＝1，2，…，N)之间的欧氏距离d(B^T，B_i)(i＝1，2，…，N)。欧氏距离的定义如下：对任意两个特征矩阵

和

其欧氏距离 $d(B_i,B_j)=\underset{k=1}{\overset{d}{\mathrm{\Σ}}}{\left|\right|Y_k^{\left(i\right)}-Y_k^{\left(i\right)}\left|\right|}_2.$

判别待识别人脸图像T所属分类的过程如下：

对人脸库中所有图像A₁，A₂，…，A_N(N为训练图像总数)，每一幅图像都属于某个确定的类别ω_k(k＝1，2，…，C)，它们的特征矩阵分为B₁，B₂，…，B_N。对于一幅给定的待识别人脸图像T，其对应的特征矩阵为B^T，若有 $d(B^T,B_l)=\underset{j}{\min }d(B^T,B_j),$ 且B_l∈ω_k，则分类的结果是B∈ω_k。

本发明优点

本发明的特点在于考虑了人脸图像的局域特征，并充分利用了图像块内部像素的行与列像素之间的相关性信息。我们知道，人脸的局部特征如鼻子、眼睛、嘴巴等等，是最能刻画与表征人与人之间的差异的，本发明中采用图像分块的方法，可以较好地保留人脸的局域特征信息。本发明中用到的计算块内像素相关性的方法，不仅考虑了行与列像素之间的相关性信息，而且像素之间的相关性较强，克服了2DPCA方法的缺陷，可以取得较高的人脸识别率，同时也保持了2DPCA方法低计算复杂度的优点。

附图说明

图1、基于块内相关性的人脸识别方法：建库阶段的算法流程图

图2、基于块内相关性的人脸识别方法：识别阶段的算法流程图

图3、人脸图像分块、重排的操作示意图。其中，

图(a)表示对原图像进行分块，每一个小方块代表一个分块矩阵；

图(b)表示原图像中的一个分块矩阵，每一个小方块代表一个像素；

图(c)表示将分块矩阵逐行扫描排列成的行向量，每一个小方块代表一个像素；

图(d)表示将所有行向量按顺序重排产生的新的二维图像矩阵，每一行表示一个行向量。

图4、实施案例的结果：FERET数据集上的人脸识别率比较

图5、实施案例的结果：FERET数据集上的最佳人脸识别率比较

具体实施方式

下面以FERET人脸库为例，说明本方法的实施过程。

选择FERET库中的53人，每人6幅图像，共318幅图像组成训练和测试人脸库，包括了在不同表情、光线、遮挡等情况下的人脸，图像尺寸为112×92。

随机选取库中3幅图像/人用于训练，余下的3幅图像/人用于测试。随机抽取实验重复30次，取识别率的平均值作为最终识别率。具体实施流程如下：

1、建库阶段

(1)图像标准化

对图像进行预处理，包括光线归一化和尺寸归一化。经过预处理之后，所有图像的灰度统一到标准水平，且灰度层次比较分明(因为经过了直方图均衡化)。预处理后的图像尺寸变为80×92。

(2)图像的分块、重排

分块：每个块的大小为8×10，一共包含80个像素，和标准化后图像一行的像素个数相同。每一幅图像被分为96块，块数与标准化后图像的行数相同。

重排：按行扫描每个分块得到对应的行向量，将一幅图像的96个行向量按顺序排列得到一个80×92的矩阵，即重排之后的二维图像矩阵。

(3)计算最优投影向量组

为了找出最合适的主元数目，本案例中对最优投影向量组中向量(即主元)个数为1～20的情况都做实验，即得到20种不同的最优投影向量组。

(4)提取图像的特征矩阵建立数据库

将分块、重排后的二维图像矩阵向最优投影向量组投影，由于所取主元数目共20种情况，因此需要重复本步骤，每次实验的过程类似，但由于最优投影向量组不相同，所以得到的特征矩阵库也不相同，最终产生20组特征矩阵库。

2、识别阶段

对每一幅测试图像，依次进行图像标准化，图像的分块、重排，提取特征矩阵三个步骤，由于主元数目的不同，会产生20组特征矩阵。然后计算特征矩阵与对应的特征矩阵库中每一个特征矩阵的距离，判别距离最近的为匹配人脸，这里所说的对应关系是指产生本步骤中特征矩阵与产生特征矩阵库所使用的主元数目是相同的。

统计匹配正确和错误的人脸图像数目，计算不同主元数目下的人脸识别率，然后重复进行随机实验，取30次实验的人脸识别率平均值作为最终识别率。

本案例中，试验结果如下：

主元数目	平均识别率	主元数目	平均识别率
				1	83.58％	11	90.04％
2	86.94％	12	90.15％
				3	88.09％	13	89.94％
4	88.45％	14	89.83％
				5	88.85％	15	89.94％
6	89.39％	16	90.02％
				7	89.87％	17	90.15％
8	90.02％	18	90.15％
				9	90.04％	19	90.06％
10	90.29％	20	89.94％

主元构成图像空间的子空间，随着主元数目的增加，主元构成的子空间会向相邻图像空间扩张，各种PCA方法(包括2DPCA方法)的识别效果也将逐渐趋同，因此，各种PCA方法的识别性能，主要是指在低维子空间上获得高的判别率。由本案例的实验结果可以看出，在主元数目较少的时候，人脸识别率随着主元数目的增加迅速上升，在主元数目为10的时候得到了最优识别结果。

图4显示了利用了块内相关性的算法和没有利用块内相关性的算法的在人脸识别率上的差别，上面那条曲线是利用了块内相关性的算法所得到的结果，在主元数目较少的情况下，明显优于没有利用块内相关性的算法。实验的条件与前述相同，使用FERET人脸库中的部分图像，取53×3幅为训练样本，53×3幅为测试样本。

图5显示了不同训练样本数目的情况下，利用了块内相关性的算法和没有利用块内相关性的算法的最佳人脸识别率的差别，上面那条曲线是利用了块内相关性的算法所得到的结果。实验的条件是取训练k个训练样本数/类(2≤k≤4)，即53×k幅作为训练样本，53×(6-k)幅为测试样本。

Claims (4)

1、一种基于块内相关性的人脸识别方法，其特征在于一个将人脸图像分块重排的算法、一个基于二维主元分析的最优投影方向计算方法和一个通过计算欧式距离比较相似度的识别算法，具体步骤分建库和识别两个阶段：

(1)建库阶段

①对样本图像进行标准化，包括光线归一化和尺寸归一化；

②把经过步骤①得到的标准化样本图像分割成若干互不重叠的块，然后把每块的像素重排成一行，构成一幅新的二维图像矩阵，图像分块重排的目的是把原图像的块内相关性转化为新的二维图像矩阵的行内相关性；

③将步骤②得到的新的二维图像矩阵作为输入图像，选择一定的主元数目，使用二维主元分析方法计算出最优投影向量组X₁，X₂，…，X_d，根据二维主元分析方法，这些最优投影向量取决于新的二维图像矩阵的行内相关性，也即原图像的块内相关性，块内相关性也就是局部相关性，局部相关性是人脸识别的重要依据；

④将新构造出的二维图像矩阵向最优投影方向上投影，抽取出反映人脸特征的数据，即特征矩阵，并将其全部保存在数据库中，待识别阶段使用；

(2)识别阶段

①对测试图像按照建库阶段步骤①描述的方法进行标准化；

②对经过识别阶段步骤①得到的标准化测试图像按照建库阶段步骤②描述的方法进行分块重排，得到新的二维图像矩阵；

③将识别阶段步骤②得到的新的二维图像矩阵按照建库阶段步骤④描述的方法向最优投影方向上投影，获得相应的特征矩阵；

④计算识别阶段步骤③得到的特征矩阵与建库阶段步骤④得到的数据库中各特征矩阵之间的欧式距离，将距离最近的特征矩阵对应的人脸图像判别为匹配图像，匹配图像对应的分类即为识别结果。

2、根据权利要求1所述的人脸识别方法，其特征在于所述的将人脸图像分块重排的算法如下：

任意一幅标准化图像，都可以用一个m×n的二维矩阵来表示，矩阵元素表示像素的灰度值，将图像矩阵记为A，即：

将矩阵A划分为p×q个大小相同的子矩阵，即：

其中，每个分块A_kl是m′×n′维的矩阵，此处k＝1，2，…，p；l＝1，2，…，q，即有p×m′＝m，q×n′＝n，并要求每个分块的大小m′×n′＝n；

于是，每一幅图像就被分为p×q＝m个分块，按顺序记为D_i，i＝1，2，…m，即：

对每一分块进行逐行扫描，得到每一分块对应的行向量表示V_i，i＝1，2，…m：

再将这些行向量按顺序重排，构造出新的二维图像矩阵A′如下：

$A^{\′}=\left[\begin{array}{c}{V}_1\\ V_2\\ .\\ .\\ .\\ V_m\end{array}\right]$

新的二维图像矩阵A′由m个n维的行向量组成，尺寸与原图像一样，也是m×n维的，但新矩阵中每一个行向量选取的是原图像处于同一局部块内的像素。

3、根据权利要求1所述的人脸识别方法，其特征在于所述的基于二维主元分析的最优投影方向计算方法如下：

进行图像分块、重排的操作之后，每一幅输入图像A_i，i＝1，2，…，N，N为输入图像的总数，对应于一个m×n维的图像矩阵A′_i，i＝1，2，…，N，根据这些二维图像矩阵可以计算出图像二维协方差矩阵，计算公式如下：

$G_t=\frac{1}{N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{(A_i^{\′}-\stackrel{\‾}{A^{\′}})}^T(A_t^{\′}-\stackrel{\‾}{A^{\′}})$

然后根据准则函数求出最优投影方向：

J(x)＝X^TG_iX

在样本类别数较多的情况下，通常情况下会选择一组互相正交且最大化准则函数的最优投影向量组X₁，X₂，…，X_d，即满足如下要求：

$\left\{\begin{array}{c}\{X_1,X_2,...,X_d\}=\arg \max J\left(X\right)\\ X_i^T{X}_j=0,i\≠j,i,j=\mathrm{1,2},...,d\end{array}\right.$

实际计算中，最优投影向量组X₁，X₂，…，X_d恰好就是图像二维协方差矩阵G_i的最大的前d个特征值所对应的特征向量。

4、根据权利要求1所述的人脸识别方法，其特征在于所述的通过计算欧式距离比较相似度的识别算法如下：

对任意两幅图像A_i和A_j，分别对应于特征矩阵

和

则特征矩阵B_i与B_j之间的距离定义为：

$d(B_i,B_j)=\underset{k=1}{\overset{d}{\mathrm{\Σ}}}{\left|\right|Y_k^{\left(i\right)}-Y_k^{\left(j\right)}\left|\right|}_2$

其中，

表示两个主元向量Y_k ⁽ⁱ⁾与Y_k ^(j)之间的欧氏距离；

对所有的训练样本A₁，A₂，…，A_N，N为训练样本总数，每一个样本都属于某个确定的类别ω_k，k＝1，2，…，C，它们的特征矩阵分为B₁，B₂，…，B_N，对于某个给定的测试图像A，其对应的特征矩阵为B，若有 $d(B,B_l)=\underset{j}{\min }d(B,B_j),$ 且B₁∈ω_k，则分类的结果是B∈ω_k。

Images