CN101482917B - 一种基于二阶二维主分量分析的人脸识别系统和方法 - Google Patents

Abstract

本发明请求保护一种基于二阶二维主分量分析的人脸识别系统和方法，属于图像处理、计算机视觉、模式识别技术领域。本发明提供了一种计算复杂度低的基于二阶二维主分量分析的人脸识别方法。该法研究了光照变化条件下的人脸识别问题，提出一种二阶二维主分量分析的人脸识别方法，将(2D)²PCA技术分别应用到原始图像矩阵集和剩余图像矩阵集。得到一阶特征矩阵和二阶特征矩阵，由此确定样本图像的重建图像和剩余图像的重建图像；将两重建图像进行迭加，得到原始图像的重建图像。采用本发明所述的方法具有更高的识别精度，且比特征脸和二阶特征脸方法节省计算时间。可广泛用于图象识别领域。

Description

一种基于二阶二维主分量分析的人脸识别系统和方法 

技术领域：

本发明涉及图像处理、计算机视觉、模式识别技术领域，特别涉及一种人脸识别方法。 

背景技术：

近年来，人脸识别是计算机视觉和模式识别领域研究的一个热点问题。文献P.N.Belhumeur，J.P.Hespanha，D.J.Kriegman.Eigenfaces vs.fisherfaces：class-specific linear projection.IEEE Trans.Pattern Anal.Mach.Intell，1997，19，7：711-720提出了一种特征脸方法(也称为PCA方法)，该法是一个有效的特征提取和降低维数方法，被广泛地应用到人脸识别中。然而，由于真实的人脸是很复杂的，如光照变化较大的人脸图像，单一的特征脸集并不能有效地描述人脸图像。为了克服这一点，Wang和Tan 2000年在文献L.Wang，T.K.Tan.A new proposal for face feature description.ISO/IECJTC1/SC29/WG11/m5750，Noordwijkerhout，2000中提出了二阶特征脸方法(简称Sec-PCA方法)，即在原始图象向量集和余像向量集中分别用一次PCA方法。 

2004年，二维主分量分析(即2DPCA方法)在文献J.Yang，D.Zhang，F.Aledjandro，J.Y.Yang.Two-dimensional PCA：a new approach toappearance-based face representation and recognition.IEEE Trans.Patt.Anal.Mach.Intel，2004，26，1：131-137中被提出，并被应用于人脸识别。与传统的一阶特征脸方法相比，2DPCA大大降低了特征提取的时间，并获得较高的识别率。 

2DPCA仅提取了图像行方向的信息；事实上，也可以将2DPCA用于提取图像列方向的信息。文献D.Q.Zhang，Z.H.Zhou.2D(PC)²A：Two-directional two-dimensional PCA for efficient face representation and recognition.Neurocomputing，2004，25：1173-1181在图像的行、列两个方向同时应用2DPCA技术，提出了一阶(2D)²PCA方法，简称Fir-(2D)²PCA方法。与2DPCA方法相比，该方法进一步降低了特征提取的时间，并且其识别率略高于2DPCA的识别率。 

但是，上述的二阶特征脸方法以及二维主分量分析(2D)²PCA方法都有一定的局限性。二阶特征脸应用了两次PCA，而PCA基于高维的图像向量空间提取特征，往往需要较多的运行时间；而(2D)²PCA在光照变化较大时，受光照信息的干扰，识别精度不高。 

发明内容：

本发明所要解决的技术问题是，针对现有技术人脸识别方法中提取图像向量空间特征运行时间长，在光照变化较大时，识别精度不高等缺陷，提出一种新型的二阶双向二维特征脸(2D)²PCA人脸识别方法，简称二阶主分量分析方法sec-(2D)²PCA。本发明解决上述技术问题的技术方案是，基于二阶特征脸和(2D)²PCA两种方法，将(2D)²PCA分别应用到原始图像矩阵集和剩余图像矩阵集。 

从人脸图像库中选择原始图像矩阵A_i(i＝1，2，…，M)，构成原始图像集I＝{A₁，A₂，…，A_M}，首先，在原始图像集I上用(2D)²PCA方法，学习到反映行特征信息的最优投影矩阵X₁和反映列特征信息的最优投影矩阵Z₁；对原始图像集中的任一图像A，作变换 $C=Z_1^{T}A{X}_1$ 得原始图像矩阵A的一阶特征矩阵，其中前r₁，c₁个主元特征主要体现了光照信息；根据一阶特征矩阵中的r₁，c₁确定指定类样本图像集，令 $A_i^{\′}=A_i-{\hat{A}}_i(i=\mathrm{1,2},\·\·\·,M),$ 得到原始图像集的剩余图像集I′＝{A₁′，A₂′，…，A_M′}，再次使用(2D)²PCA。在剩余图像集上再次学习到反映行特征信息的最优投影矩阵X₂和反映列特征信息的最优投影矩阵Z₂。对剩余图像集中的任一余象A′，作变换  $C^{\′}=Z_2^T{A}^{\′}{X}_2$ 得到余象的图像矩阵A′的二阶特征矩阵C′₂。根据一阶、二阶特征矩阵 重建图像。 

本发明构建一种基于二阶二维主分量分析的人脸识别系统，具体包括，采集模块采集原始图像集I＝{A₁，A₂，…，A_M}，控制处理模块根据图像集I确定原始图像集的反映行特征信息的最优投影矩阵X₁和反映列特征信息的最优投影矩阵Z₁；算法模块调用公式： $C=Z_1^{T}A{X}_1,$ 对原始图像集中任一样本图像作变换得到一阶特征矩阵C；控制处理模块确定剩余图像集I′＝{A₁′，A₂′，…，A_M′}，确定剩余图像集的反映行特征信息的最优投影矩阵X₂和反映列特征信息的最优投影矩阵Z₂；算法模块调用公式： $C^{\′}=Z_2^T{A}^{\′}{X}_2,$ 对剩余图像集的任一余象作变换得到图像矩阵的二阶特征矩阵C′；并根据一阶特征矩阵和二阶特征矩阵确定距离d(A_t，A_j)；判断模块判断是否指定类的样本；对于指定类的样本图像，控制模块根据一阶特征矩阵确定样本图像的重建图像，根据二阶特征矩阵确定剩余图像的重建图像；算法模块将两重建图像进行迭加，得到原始图像的重建图像。 

本发明还提出一种基于二阶二维主分量分析的人脸识别方法包括如下步骤： 

步骤1：采集原始图像集I＝{A₁，A₂，…，A_M}，对图像集I采用(2D)²PCA方法学习到原始图像集的反映行特征信息的最优投影矩阵X₁和反映列特征信息的最优投影矩阵Z₁； 

步骤2：在原始图像集中提取前几个反映光照信息的主元向量，指定任一样本图像A，调用公式： $C=Z_1^{T}A{X}_1,$ 作变换得到一阶特征矩阵C，根据一阶特征矩阵指定样本图像集； 

步骤3：确定剩余图像集I′＝{A₁′，A₂′，…，A_M′}，对剩余图像集再次使用(2D)²PCA方法，学习到剩余图像集的反映行特征信息的最优投影矩阵X₂和反映列特征信息的最优投影矩阵Z₂； 

步骤4：对剩余图像集的任一余象A′调用公式： $C^{\′}=Z_2^T{A}^{\′}{X}_2,$ 作变换得到图像矩阵A′的二阶特征矩阵C′； 

步骤5：根据一阶特征矩阵和二阶特征矩阵，算法模块调用公式：d(A_t，A_j)＝a₁‖C_t-C_j‖+a₂‖C′_t-C′_j‖确定距离； 

步骤6：判断模块进行判断，如果 $d(A_t,A_k)=\underset{j}{\min }d(A_t,A_j),$ 则属于指定类的样本； 

步骤7：对于指定类的样本，根据一阶特征矩阵确定样本图像的重建图像，根据二阶特征矩阵确定剩余图像的重建图像，两重建图像迭加，根据公式：  $A={\hat{A}}_1+{\hat{A}}_2=Z_1{C}_1{X}_1^T+Z_2{C}_2{X}_2^T$ 确定原始图像A的重建图像。 

根据准则 $\underset{i=1}{\overset{r_2}{\mathrm{\Σ}}}{\mathrm{\λ}}_i/\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\λ}}_i\≥\mathrm{\θ},\underset{i=1}{\overset{c_2}{\mathrm{\Σ}}}{\mathrm{\λ}}_i/\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\λ}}_i\≥\mathrm{\θ}$ 选择二阶特征矩阵的行c₂和列r₂。根据一阶、二阶特征矩阵的非波拉齐范数确定测试图象与样本图象的距离，取一个步长和初值，搜索最佳的权系数a₁和a₂使识别率最大，对于光照变化不大的图像库，a₂∈[0，0.5]，而对于光照变化大的图像库，a₂∈[0.5，1]。 

本发明将原始图像和剩余图像的特征矩阵分别提取为图像的代数特征并用到人脸识别中，首先执行一次(2D)²PCA，提取前几个反映光照信息的主元向量；然后在剩余图像集中再次使用(2D)²PCA方法。这样对于光照变化较大的人脸图像，可以避免光照信息的干扰。实验表明，相对于PCA、Sec-PCA、2DPCA和Fir-(2D)²PCA，该发明可以得到更高的识别率，并且计算复杂度低。 

附图说明：

 

图1给出了Sec-(2D)²PCA方法特征提取的流程图 

图2给出了Yale人脸库B中10个人的原始图像 

图3给出了一个人在4个子库中的部分正面样本图像 

其中，(1)、(2)、(3)、(4)分别表示子库1、子库2、子库3、子库4。 

 

图4所示为采用PCA、Sec-PCA、(2D)²PCA和Sec-(2D)²PCA方法做图像重建的实验结果 

其中，(a)原始图像，(b)PCA方法的重建图像，(c)Sec-PCA方法的重建图像，(d)(2D)²PCA的重建图像，(e)Sec-(2D)²PCA的重建图像。 

具体实施方式：

下面针对附图和具体实施例对本发明技术方案的实施作进一步的描述。如图1所示为本发明采用Sec-(2D)²PCA方法确定特征矩阵的流程图。 

采集模块采集人脸图像信息得到任一大小为m×n的图像矩阵A，构造原始图像矩阵A_i(i＝1，2，Λ，M)，得到原始图像集I＝{A₁，A₂，Λ，A_M}。控制处理器发出控制命令在原始图像集I上使用(2D)²PCA(双向二维PCA)方法，学习到反映行特征信息的最优投影矩阵X₁(大小为n×r₁)和反映列特征信息的最优投影矩阵Z₁(大小为m×c₁)，提取反映光照信息的特征向量。 

控制处理器根据上述最优投影矩阵，算法模块调用公式： 

$C=Z_1^{T}A{X}_1$ (1)，对任一原始图像矩阵A作变换，投影得到原始图像矩阵A的一阶特征矩阵C，C矩阵的大小为c₁×r₁。其中行r₁，列c₁体现了光照信息，该矩阵中的前r₁，c₁个主元特征是根据(2D)²PCA方法特征提取所得的反映光照信息的特征向量，根据上述特征向量指定样本图像。 

算法模块调用公式： ${\hat{A}}_i=Z{C}_i{X}^T$ 确定重建图像 调用公式 $A_i^{\′}=A_i-{\hat{A}}_i(i=\mathrm{1,2},\mathrm{\Λ},M),$ 通过减法器在原始图像中减去指定样本图像，得到剩余图像A′_i的图像集I′＝{A′₁，A′₂，Λ，A′_M}。在剩余图像集I′上再次使用(2D)²PCA方法，再次学习到反映行特征信息的最优投影矩阵X₂(大小为n×r₂)和反映列特征信息的最优投影矩阵Z₂(大小为m×c₂)。 

控制处理器根据反映行特征信息的最优投影矩阵X₂和反映列特征信息的最优投影矩阵Z₂，算法模块调用公式 $C^{\′}=Z_2^T{A}^{\′}{X}_2$ (2)，对任一剩余图像矩阵A′作变换，投影得到余象图像矩阵A′的二阶特征矩阵C′，矩阵C′的大小为c₂×r₂。这里， 矩阵C′的行r₂和列c₂分别按准则 

$\underset{i=1}{\overset{r_2}{\mathrm{\Σ}}}{\mathrm{\λ}}_i/\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\λ}}_i\≥\mathrm{\θ},$ $\underset{i=1}{\overset{c_2}{\mathrm{\Σ}}}{\mathrm{\λ}}_i/\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\λ}}_i\≥\mathrm{\θ}$ (3)选取，(其中，λ是样本图像集的协方差矩阵的特征值，θ是一给定的门限值) 

根据一阶、二阶特征矩阵的非波拉齐范数确定测试图象与样本图象的距离：取一个步长和初值，搜索最佳的权系数a₁和a₂使识别率最大。根据模式识别的最近邻分类法，找出与测试图象距离最近的样本图象。判断模块判断测试图像是属于指定样本图像集还是属于剩余图像集。 

原始图像经过第一次变换得到的指定样本的重建图像 

在原始图象集中减去指定样本图象集，得到剩余图像集，对剩余图像进行第二次变换得到余像的重建图像，算法模块调用加法处理器对两次重建图像进行叠加得到原始图像的重建图像。即执行一次(2D)²PCA后，算法模块调用公式： ${\hat{A}}_1=Z_1{C}_1{X}_1^T$ 根据一阶特征矩阵确定指定样本图像A的重建图像，执行第二次(2D)²PCA后，算法模块调用公式  ${\hat{A}}_2=Z_2{C}_2{X}_2^T,$ 根据二阶特征矩阵确定剩余图像A′的重建图像，加法处理器根据公式：  $A\≈\tilde{A}={\hat{A}}_1+{\hat{A}}_2=Z_1{C}_1{X}_1^T+Z_2{C}_2{X}_2^T,$ 将两次重建图像的结果叠加，得到原始图像的重建图像。 

对于人脸识别问题，以下以一具体实例对本发明作进一步具体说明。设训练样本集为I＝{A₁，A₂，Λ，A_M}，事先确定样本的类别，实行模式识别的有监督识别，每一个样本被规定为一个特定的类，ω_k为类标识。对于训练样本矩阵A_j(j＝1，2，Λ，M)，中的一个测试图像A_t，由Sec-(2D)²PCA方法，分别得到一阶特征矩阵{C₁，Λ C_M}和二阶特征矩阵{C′₁，Λ C′_M}。由此，根据矩阵的非波拉齐范数‖C_t-C_j‖确定测试图象与样本图象的距离： 

d(A_t，A_j)＝a₁‖C_t-C_j‖+a₂‖C′_t-C′_j‖        (4)， 

取一个步长和初值，搜索最佳的权系数a₁和a₂使识别率最大，因此，a₁和a₂分 别反映了一阶和二阶特征矩阵的重要程度。而a₁＝1-a₂，因此我们只需确定a₂的值。根据经验，对于直观上光照变化不大的图像库，可取a₂∈[0，0.5]；而对于直观上光照变化较大的图像库，可取a₂∈[0.5，1]。 

根据模式识别的最近邻分类法，如果 $d(A_t,A_k)=\underset{j}{\min }d(A_t,A_j)---\left(5\right),$ 且A_k∈ω_k，则可以判断A_t∈ω_k。从而，找出与测试图象距离最近的样本图象，样本图象属于哪一类，则测试图象就属于哪一类，判断模块判断测试图像是属于指定样本图像还是属于剩余图像。 

根据前面所述，执行一次(2D)²PCA后，算法模块根据一阶特征矩阵调用公式：  ${\hat{A}}_1=Z_1{C}_1{X}_1^T$ (6)，确定指定样本图像A的重建图像，执行第二次(2D)²PCA后，算法模块根据二阶特征矩阵调用公式： ${\hat{A}}_2=Z_2{C}_2{X}_2^T$ (7)确定剩余图像A′的重建图像，将两次重建图像的结果叠加，得到原始图像的重建图象。即调用公式：  $A\≈\tilde{A}={\hat{A}}_1+{\hat{A}}_2=Z_1{C}_1{X}_1^T+Z_2{C}_2{X}_2^T$ (8)，确定原始图像的重建图像。 

我们分别用PCA、Sec-PCA、(2D)²PCA和Sec-(2D)²PCA方法做了图像重建的实验。 

图2给出了Yale人脸库B中10个人的原始图像。 

我们选择常用于测试光照变化条件下人脸识别问题的图像库extended Yale人脸库，比较了五种方法的识别性能，即PCA、Sec-PCA、2DPCA、Fir-(2D)²PCA和本发明的Sec-(2D)²PCA。Extended Yale人脸库含38人，由Yale人脸库B和Yale人脸库C构成。Yale人脸库B包含了10个人的5760单光源人脸图像。每一个人的人脸图像均在576种视角条件下(9姿态×64光照条件)获取的。根据光源方向偏离摄像头的主轴方向的角度，这个库被分成了四个子库-子库1(≤12°)，子库2(≤25°)，子库3(≤50°)及子库4(≤77°)。Yale人脸库C包含了28个人的16128单光源人脸图像。该库实际上是Yale人脸库B的扩展，每个人的图像是在和Yale人脸库B相同的方式下获取的，即视角条件相同(576种 视角条件：9姿态×64光照条件)；光源方向偏离摄像头的主轴方向的角度完全相同；图像格式相同。所以Yale人脸库C也可以相应地分成4个子库。这样，整个extended Yale人脸库被分成4个子库，每个人在子库1、2、3和4中分别含有7、12、12和14幅图像。为了清楚光照变化条件下的人脸识别问题，我们仅仅选择了4个子库中的1710幅正面人脸图像，其中4个子库依次含266、456、456和532幅图像。 

图3给出了一个人在4个子库中的部分正面样本图像，从子库1到子库4，光照变化越来越强烈。实验中，可将子库1被选作训练样本库，其余的3个子库分别被选作测试库。 

图4是用PCA、Sec-PCA、(2D)²PCA和Sec-(2D)²PCA方法做了图像重建的实验结果。实验中，PCA和(2D)²PCA均按θ＝95％的准则提取特征。PCA的主元数为32，(2D)²PCA行、列方向的主元数分别为12、16；对于Sec-PCA，第一阶的主元数为5，第二阶的主元数按θ＝95％的准则提取，值为59；对于Sec-(2D)²PCA，第一阶的主元数为5，第二阶的主元数按θ＝95％的准则提取，行、列方向分别为20，24。这里，Sec-PCA和Sec-(2D)²PCA的一阶主元数均按使识别率最大的原则确定。 

从图可见，本发明采用Sec-(2D)²PCA的重建图像质量明显优于其他方法的重建图像。 

实验结果表明，在不同的光照条件下，本发明采用Sec-(2D)²PCA的识别性能明显优于其他四种方法。同时，与PCA和Sec-PCA相比，本发明的运行时间是较小的。这是因为二阶2DPCA是基于图像矩阵的特征提取，而不需要像PCA和Sec-PCA那样必须将图像矩阵转化为图像向量来处理，所以降低了计算量，提高了效率。而Sec-(2D)²PCA方法使用了(2D)²PCA两次，自然运行时间要高于 2DPCA和(2D)²PCA。 

Claims (9)

1.一种基于二阶二维主分量分析的人脸识别方法，其特征在于，包括如下步骤：

步骤1：采集原始图像集，对图像集采用二维主分量分析(2D)²PCA方法，学习到原始图像集的反映行特征信息的最优投影矩阵X₁和反映列特征信息的最优投影矩阵Z₁；

步骤2：对原始图像集中任一指定样本图像A，调用公式：

作变换得到一阶特征矩阵C，根据一阶特征矩阵的特征向量指定样本图像；

步骤3：确定剩余图像集，对剩余图像集再次使用(2D)²PCA方法，学习到剩余图像集的反映行特征信息的最优投影矩阵X₂和反映列特征信息的最优投影矩阵Z₂；

步骤4：对剩余图像集中的任一余象A′调用公式：

作变换得到图像矩阵A′的二阶特征矩阵C′；

步骤5：根据一阶特征矩阵和二阶特征矩阵确定与测试图象距离最近的样本图象，并判断测试图像是属于指定样本图像还是属于剩余图像；

步骤6：根据一阶特征矩阵计算样本图像的重建图像，根据二阶特征矩阵计算剩余图像的重建图像，两重建图像迭加，得到原始图像的重建图像。

2.根据权利要求1所述的人脸识别方法，其特征在于，步骤2中，根据一阶特征矩阵C中前r₁，c₁个反映光照信息的特征向量指定样本图像，其中，r₁为矩阵C的行，c₁为矩阵C的列，矩阵C中的前r₁，c₁个主元特征是根据(2D)²PCA方法特征提取所得的反映光照信息的特征向量。

3.根据权利要求1所述的人脸识别方法，其特征在于，按准则

选择二阶特征矩阵的行c₂和列r₂，其中，λ为样本图像集的协方差矩阵的特征值，θ为给定门限值。

4.根据权利要求1所述的人脸识别方法，其特征在于，步骤5进一步包括，算法模块调用公式：d(A_t，A_j)＝a₁||C_i-C_j||+a₂||C′_t-C′_j||确定距离，设置权系数a₁和a₂使识别率最大。

5.根据权利要求4所述的人脸识别方法，其特征在于，对于光照变化不大的图像库，a₂∈[0，0.5]，而对于光照变化大的图像库，a₂∈[0.5，1]。

6.一种基于二阶二维主分量分析的人脸识别系统，其特征在于，采集模块

采集原始图像集，控制处理模块确定原始图像集的反映行特征信息的最优投影矩阵X₁和反映列特征信息的最优投影矩阵Z₁；算法模块调用公式：

对原始图像集中任一指定样本图像作变换得到一阶特征矩阵C；控制处理模块确定剩余图像集的反映行特征信息的最优投影矩阵X₂和反映列特征信息的最优投影矩阵Z₂；算法模块调用公式：

对剩余图像集的任一余象作变换得到图像矩阵的二阶特征矩阵C′；根据一阶特征矩阵和二阶特征矩阵确定距离；判断模块根据距离判断是否属指定类的样本；对于指定类的样本图像，控制模块根据一阶特征矩阵确定样本图像的重建图像，根据二阶特征矩阵确定剩余图像的重建图像；算法模块将两重建图像进行迭加，得到原始图像的重建图像。

7.根据权利要求6所述的人脸识别系统，其特征在于，一阶特征矩阵C中前r₁，c₁个主元特征是反映光照信息的特征向量，其中，r₁为矩阵C的行，c₁为矩阵C的列，矩阵C中的前r₁，c₁个主元特征是根据(2D)²PCA方法特征提取所得的反映光照信息的特征向量。

8.根据权利要求6所述的人脸识别系统，其特征在于，控制处理器按准则

选择二阶特征矩阵的行c₂和列r₂，其中，λ为样本图像集的协方差矩阵的特征值，θ为给定门限值。

9.根据权利要求6所述的人脸识别系统，其特征在于，算法模块调用公式：d(A_t，A_j)＝a₁||C_t-C_j||+a₂||C′_t-C′_j||确定距离，设置权系数a₁和a₂使识别率最大。

Images