CN111259780B - 一种基于分块线性重构鉴别分析的单样本人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于分块线性重构鉴别分析的单样本人脸识别方法。该方法首先将每幅人脸训练图像进行分块，然后将任一人脸图像块表示成k ₁个类内最近邻图像块的线性组合，同时将任一人脸图像块表示成k ₂个类间最近邻图像块的线性组合；利用最小二乘法分别求解类内表示系数与类间表示系数，并计算样本的类内重构散度与类间重构散度；通过最大化类间重构散度与类内重构散度的比值求解最佳投影矩阵，并利用投影矩阵提取训练样本集与待识别样本的特征；最后，构造待识别人脸图像类标的判别准则，判断待识别人脸图像的类标。本发明的方法能有效解决单样本人脸识别问题，可有效避免图像光照、人脸姿态、表情等变化对识别效果的影响，提高识别率。

Description

一种基于分块线性重构鉴别分析的单样本人脸识别方法

技术领域

本发明涉及一种人脸图像识别方法，特别是一种基于分块线性重构鉴别分析的单样本人脸识别方法，属于图像识别技术领域。

背景技术

人脸识别是身份鉴别的一种重要方法，在档案管理系统、安全验证系统、信用卡验证、公安系统的罪犯身份识别、银行和海关的监控、人机交互等领域有着广泛的应用前景。在过去的几十年里，研究者们提出了诸多人脸识别方法，其中基于特征提取的方法被广泛应用于人脸识别中。

比较著名的特征提取方法有：

(1)主成分分析(PCA)，其旨在寻找一组投影方向，使得样本投影后，样本总体散度最大；

(2)线性鉴别分析(LDA)，其旨在寻找一组投影方向，使得样本投影后，样本类内散度最小同时类间散度最大；

(3)局部保持投影(LPP)，其旨在寻找一组投影方向，使得样本投影后，样本邻域关系得到保持；

(4)稀疏保持投影(SPP)，其旨在寻找一组投影方向，使得样本投影后，样本的稀疏性得到保持。

这类方法中，PCA与LDA是基于样本全局结构的方法，无法刻画样本的非线性结构，LPP是基于样本局部结构的方法，能够刻画样本的非线性流形结构，但属于非监督特征提取方法且无法刻画样本的鉴别结构，SPP是基于稀疏表示的方法，能有效利用样本间的稀疏重构关系，且不需要设定近邻参数，对噪声具有鲁棒性。

以上几种方法确实在某些场景下取得了较好的人脸识别效果，但在现实生活中，很多时候我们对某人仅能获得一幅人脸图像作为训练样本，例如，罪犯追踪、护照鉴定、大门ID识别等，此时，以上方法会由于人脸训练样本较少而失效甚至无法正常运行。

为此，研究者提出了基于分块技术的特征提取方法用于解决此问题，如：

(1)分块主成分分析(Modular PCA)，记载于R.Gottumukkal，V.K.Asari于2004年在Pattern Recognition Letters第25卷第4期第429-436页发表的《An improved facerecognition technique based on modular PCA approach》中。

(2)分块线性鉴别分析(Modular LDA)，记载于S.Chen,J.Liu,Z.H.Zhou于2004年在Pattern Recognition第37卷第7期第1553-1555页发表的《Making FLDA applicable toface recognition with one sample perperson》中。

(3)鉴别多流形分析(DMMA)，记载于J.Lu,Y.P.Tan,G.Wang于2013年在IEEETransactions on Pattern Analysis and Machine Intelligence第35卷第1期第39-51页发表的《Discriminative multimanifold analysis for face recognition from asingle training sample per person》中。

这三种方法均通过分块技术扩充人脸训练样本，然而，Modular PCA与ModularLDA无法刻画样本间的邻域关系，DMMA在特征提取中无法刻画样本间的重构关系且在判断待识别人脸图像类别时并未考虑不同人脸同一位置的相似性。

发明内容

本发明所要解决的技术问题是，针对背景技术中基于分块技术的特征提取方法无法刻画样本间的邻域关系，在特征提取中无法刻画样本间的重构关系且在判断待识别人脸图像类别时并未考虑不同人脸同一位置的相似性的不足，而设计一种基于分块线性重构鉴别分析的单样本人脸识别方法。

本发明为解决上述技术问题采用以下技术方案：

本发明提出一种基于分块线性重构鉴别分析的单样本人脸识别方法，包括如下步骤：

步骤1、获取人脸图像训练样本集：所述人脸图像训练样本集共包含N幅图像，来自于N个不同的人，将每幅人脸图像进行分块，然后将分块后的每幅图像块进行矩阵向量化操作，构造训练样本集；

步骤2、将任一图像块表示成k₁个类内最近邻图像块的线性组合，利用最小二乘法求解类内表示系数；同时，将任一图像块表示成k₂个类间最近邻图像块的线性组合，利用最小二乘法求解类间表示系数；

步骤3、计算样本的类内重构散度与类间重构散度，并构造类内重构散布矩阵与类间重构散布矩阵；

步骤4、通过最大化类间重构散度与类内重构散度的比值求解最佳投影矩阵，并利用投影矩阵提取训练样本集与待识别样本的特征；

步骤5、构造待识别人脸图像类标的判别准则，判断待识别人脸图像的类标。

进一步，本发明的基于分块线性重构鉴别分析的单样本人脸识别方法，步骤1所述获取人脸图像训练样本集，具体如下：

假设有N幅来自N个不同人的人脸训练图像，每幅图像的大小为w×h，将每幅人脸图像分成M个不重叠的图像块，每个图像块的大小为p×q，且满足w×h＝M×(p×q)；将每个图像块进行矩阵向量化操作，得到第i幅人脸图像的第j个图像块训练样本为x_ij∈R^D，其中D＝p×q；此时，第i幅人脸图像的图像块训练样本集可表示为X_i＝[x_i1,x_i2,…,x_iM]∈R^D×M，i＝1,2,…,M，总训练样本集可表示为X＝[X₁,X₂,…,X_N]；

对于某一大小为w×h的待识别人脸图像，同样将其分成M个不重叠的图像块，每个图像块的大小为p×q；将每个图像块进行矩阵向量化操作，得到待识别样本集Y＝[y₁,y₂,…,y_M]∈R^D×M，其中y_i∈R^D表示待识别图像的第j个图像块样本。

进一步，本发明的基于分块线性重构鉴别分析的单样本人脸识别方法，步骤2所述将任一图像块表示成k₁个类内最近邻图像块的线性组合，利用最小二乘法求解类内表示系数，具体如下：

令x_ij表示第i幅人脸图像的第j个图像块训练样本，将x_ij表示为其在X_i中k₁个最近邻样本的线性组合，即：

其中

表示x_ij在X_i中的第m个最近邻点，

为对应的重构系数，m＝1,2,…,k₁，

为x_ij的k₁个类内最近邻样本集合，

为x_ij的类内表示系数向量；

利用最小二乘法可得

的计算式为：

进一步，本发明的基于分块线性重构鉴别分析的单样本人脸识别方法，步骤2中所述将任一图像块表示成k₂个类间最近邻图像块的线性组合，利用最小二乘法求解类间表示系数，具体如下：

将x_ij表示成其在[X-X_i]中k₂个最近邻样本的线性组合，即：

其中

表示x_ij在[X-X_i]中的第n个最近邻点，

为对应的重构系数，n＝1,2,…,k₂，

为x_ij的k₂个类间最近邻样本集合，

为x_ij的类间表示系数向量；

利用最小二乘法可得

的计算式为：

进一步，本发明的基于分块线性重构鉴别分析的单样本人脸识别方法，步骤3所述计算样本的类内重构散度与类间重构散度，并构造类内重构散布矩阵与类间重构散布矩阵，具体如下：

令A∈R^D×d为投影矩阵，则样本x_ij经A投影后的类内重构散度

与类间重构散度

分别为：

全体样本的类内重构散度与类间重构散度分别为：

其中

S_w、S_b分别称为样本的类内重构散布矩阵与类间重构散布矩阵，trace(·)表示求矩阵的迹。

进一步，本发明的基于分块线性重构鉴别分析的单样本人脸识别方法，步骤4中通过最大化类间重构散度与类内重构散度的比值求解最佳投影矩阵，并利用投影矩阵提取训练样本集与待识别样本的特征，具体如下：

最佳投影矩阵可通过求解以下最优化问题获得：

以上投影矩阵可通过求解以下特征方程d个最大特征值对应的特征向量获得：

S_ba＝λS_wa

其中λ是特征值，a是对应的特征向量；

设a₁,a₂,...,a_d是特征方程S_ba＝λS_wa的前d个最大特征值对应的特征向量，则投影矩阵可表示为：A＝[a₁,a₂,...,a_d]；

利用投影矩阵可对全体训练样本和待识别样本进行特征提取。

进一步，本发明的基于分块线性重构鉴别分析的单样本人脸识别方法，所述利用投影矩阵可对全体训练样本和待识别样本进行特征提取，具体为：

对于总训练样本集X，提取出的特征为：

A^TX＝[A^TX₁,A^TX₂,…,A^TX_N]＝[Y₁,Y₂,…,Y_N]

其中

Y_i＝A^TX_i＝[y_i1,y_i2,…,y_iM]

y_ij＝A^Tx_ij

对于待识别人脸图像Y，提取出的特征为

其中

进一步，本发明的基于分块线性重构鉴别分析的单样本人脸识别方法，步骤5中，构造待识别人脸图像类标的判别准则，判断待识别人脸图像的类标，具体如下：

待识别图像Y的类标根据两方面进行判断，一是Y与其它训练图像同一分块位置的相似性，二是根据Y中的每一图像块的重构误差进行判断；

对于Y的第j个图像块，其与第i幅人脸训练图像的第j个图像块的距离为：

对于Y的第j个图像块，其与第i幅人脸训练图像的重构误差为：

其中β_j为Y的第j个图像块与第i幅人脸训练图像的重构系数向量，其计算式为：

根据以上两种距离度量方式，待识别样本Y与第i幅人脸训练图像的距离可表示为：

通过以下规则判别待识别人脸图像的类标：

如果d(Y,X_k)＝min_id(Y,X_i)，则Y属于第k个人。

本发明采用以上技术方案，与现有技术相比具有以下技术效果：

本发明的方法能有效解决单样本人脸识别问题，且属于有监督的特征提取方法，充分利用了样本的类别信息及样本的邻域结构信息，能刻画样本的鉴别结构与非线性流形结构。同时本发明在求取最佳投影矩阵过程中，采用了样本的重构关系刻画样本的鉴别结构，在一定程度上可有效避免图像光照、人脸姿态、表情等变化对识别效果的影响。除此以外，本发明在判别待识别图像类标过程中同时考虑了不同人脸同一位置的相似性及图像块与整体图像的相似性，相较于那些只考虑单一相似性的方法，可有效提高识别率。

附图说明

图1是本发明一种基于分块线性重构鉴别分析的单样本人脸识别方法的流程图。

图2是ORL人脸库中同一个人的10幅人脸图像。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明提供了一种基于分块线性重构鉴别分析的单样本人脸识别方法，该方法首先将每幅人脸训练图像进行分块，然后将任一人脸图像块表示成k₁个类内最近邻图像块的线性组合，同时将任一人脸图像块表示成k₂个类间最近邻图像块的线性组合；利用最小二乘法分别求解类内表示系数与类间表示系数，并计算样本的类内重构散度与类间重构散度；通过最大化类间重构散度与类内重构散度的比值求解最佳投影矩阵，并利用投影矩阵提取训练样本集与待识别样本的特征；最后，构造待识别人脸图像类标的判别准则，判断待识别人脸图像的类标。

具体流程如图1所示，包括以下步骤：

(一)获取人脸图像训练样本集。

假设有N幅来自N个不同人的人脸训练图像，每幅图像的大小为w×h，将每幅人脸图像分成M个不重叠的图像块，每个图像块的大小为p×q，且满足w×h＝M×(p×q)。将每个图像块进行矩阵向量化操作，得到第i幅人脸图像的第j个图像块训练样本为x_ij∈R^D，其中D＝p×q。此时，第i幅人脸图像的图像块训练样本集可表示为X_i＝[x_i1,x_i2,…,x_iM]∈R^D×M，总训练样本集可表示为X＝[X₁,X₂,…,X_N]。

对于某一大小为w×h的待识别人脸图像，同样将其分成M个不重叠的图像块，每个图像块的大小为p×q。将每个图像块进行矩阵向量化操作，得到待识别样本集Y＝[y₁,y₂,…,y_M]∈R^D×M，其中y_i∈R^D(i＝1,2,…,M)表示待识别图像的第j个图像块样本。

(二)将任一图像块表示成k₁个类内最近邻图像块的线性组合，利用最小二乘法求解类内表示系数。

令x_ij表示第i幅人脸图像的第j个图像块训练样本，将x_ij表示为其在X_i中k₁个最近邻样本的线性组合，即：

其中

表示x_ij在X_i中的第m(m＝1,2,…,k₁)个最近邻点，

为对应的重构系数，

为x_ij的k₁个类内最近邻样本集合，

为x_ij的类内表示系数向量。

利用最小二乘法可得

的计算式为：

(三)将任一图像块表示成k₂个类间最近邻图像块的线性组合，利用最小二乘法求解类间表示系数。

将x_ij表示成其在[X-X_i]中k₂个最近邻样本的线性组合，即：

其中

表示x_ij在[X-X_i]中的第n(n＝1,2,…,k₂)个最近邻点，

为对应的重构系数，

为x_ij的k₂个类间最近邻样本集合，

为x_ij的类间表示系数向量。

利用最小二乘法可得

的计算式为：

(四)计算样本的类内重构散度与类间重构散度，并构造类内重构散布矩阵与类间重构散布矩阵。

令A∈R^D×d为投影矩阵，则样本x_ij经A投影后的类内重构散度与类间重构散度分别为：

全体样本的类内重构散度与类间重构散度分别为：

其中

S_w、S_b分别称为样本的类内重构散布矩阵与类间重构散布矩阵，trace(·)表示求矩阵的迹。

(五)通过最大化类间重构散度与类内重构散度的比值求解最佳投影矩阵，并利用投影矩阵提取训练样本集与待识别样本的特征。

最佳投影矩阵可通过求解以下最优化问题获得：

以上投影矩阵可通过求解以下特征方程d个最大特征值对应的特征向量获得：

S_ba＝λS_wa

其中λ是特征值，a是对应的特征向量。

设a₁,a₂,...,a_d是特征方程S_ba＝λS_wa的前d个最大特征值对应的特征向量，则投影矩阵可表示为：A＝[a₁,a₂,...,a_d]。

利用投影矩阵可对全体训练样本和待识别样本进行特征提取，例如，对于总训练样本集X，提取出的特征为：

A^TX＝[A^TX₁,A^TX₂,…,A^TX_N]＝[Y₁,Y₂,…,Y_N]

其中

Y_i＝A^TX_i＝[y_i1,y_i2,…,y_iM]

y_ij＝A^Tx_ij

对于待识别人脸图像Y，提取出的特征为

其中

(六)构造待识别人脸图像类标的判别准则，判断待识别人脸图像的类标。

待识别图像Y的类标根据两方面进行判断，一是Y与其它训练图像同一分块位置的相似性，二是根据Y中的每一图像块的重构误差进行判断。

对于Y的第j个图像块，其与第i幅人脸训练图像的第j个图像块的距离为：

对于Y的第j个图像块，其与第i幅人脸训练图像的重构误差为：

其中β_j为Y的第j个图像块与第i幅人脸训练图像的重构系数向量，其计算式为：

根据以上两种距离度量方式，待识别样本Y与第i幅人脸训练图像的距离可表示为：

通过以下规则判别待识别人脸图像的类标：

如果d(Y,X_k)＝min_id(Y,X_i)(i＝1,2,…,N)，则Y属于第k个人。

为验证本发明的有效性，我们在著名的ORL人脸库上进行了实验。ORL人脸库包含40人，每人有10幅图片，共400幅图片，每幅图片的大小为112×92，图2为该库中某人的10幅图片。

在实验时，我们选择每人其中1幅图片作为训练样本，其余9幅图片作为测试样本进行识别。首先按本发明步骤1将每幅图片进行分块，每个分块大小为7×23，此时每幅图片被分成M＝(112×92)/(7×23)＝64块，然后按照本发明其余步骤进行实验，实验中k₁、k₂的取值分别为3、3，特征数取为64。

下表列出了本发明在选择每人的不同图片作为训练样本时的识别率。(注：本实验中每个分块的维数为7×23＝161，是小于总分块数64×40＝2560的，若分块维数超过总分块数，需预先使用PCA算法对数据集进行降维或使用其它方法避免矩阵S_w奇异)

综上，本发明的方法能有效解决单样本人脸识别问题，且属于有监督的特征提取方法，充分利用了样本的类别信息及样本的邻域结构信息，能刻画样本的鉴别结构与非线性流形结构。所提方法在求取最佳投影矩阵过程中，采用了样本的重构关系刻画样本的鉴别结构，在一定程度上可有效避免图像光照、人脸姿态、表情等变化对识别效果的影响。除此以外，所提方法在判别待识别图像类标过程中同时考虑了不同人脸同一位置的相似性及图像块与整体图像的相似性，相较于那些只考虑单一相似性的方法，可有效提高识别率。

以上实例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (8)

1.基于分块线性重构鉴别分析的单样本人脸识别方法，其特征在于，包括如下步骤：

步骤1、获取人脸图像训练样本集：所述人脸图像训练样本集共包含N幅图像，来自于N个不同的人，将每幅人脸图像进行分块，然后将分块后的每幅图像块进行矩阵向量化操作，构造训练样本集；

步骤2、将任一图像块表示成k₁个类内最近邻图像块的线性组合，利用最小二乘法求解类内表示系数；同时，将任一图像块表示成k₂个类间最近邻图像块的线性组合，利用最小二乘法求解类间表示系数；

步骤3、计算样本的类内重构散度与类间重构散度，并构造类内重构散布矩阵与类间重构散布矩阵；

步骤4、通过最大化类间重构散度与类内重构散度的比值求解最佳投影矩阵，并利用投影矩阵提取训练样本集与待识别样本的特征；

步骤5、构造待识别人脸图像类标的判别准则，判断待识别人脸图像的类标。

2.根据权利要求1所述的基于分块线性重构鉴别分析的单样本人脸识别方法，其特征在于，步骤1所述获取人脸图像训练样本集，具体如下：

假设有N幅来自N个不同人的人脸训练图像，每幅图像的大小为w×h，将每幅人脸图像分成M个不重叠的图像块，每个图像块的大小为p×q，且满足w×h＝M×(p×q)；将每个图像块进行矩阵向量化操作，得到第i幅人脸图像的第j个图像块训练样本为x_ij∈R^D，其中D＝p×q；此时，第i幅人脸图像的图像块训练样本集可表示为X_i＝[x_i1,x_i2,…,x_iM]∈R^D×M，i＝1,2,…,M，总训练样本集可表示为X＝[X₁,X₂,…,X_N]；

对于某一大小为w×h的待识别人脸图像，同样将其分成M个不重叠的图像块，每个图像块的大小为p×q；将每个图像块进行矩阵向量化操作，得到待识别样本集Y＝[y₁,y₂,…,y_M]∈R^D×M，其中y_i∈R^D表示待识别图像的第j个图像块样本。

3.根据权利要求1所述的基于分块线性重构鉴别分析的单样本人脸识别方法，其特征在于，步骤2所述将任一图像块表示成k₁个类内最近邻图像块的线性组合，利用最小二乘法求解类内表示系数，具体如下：

令x_ij表示第i幅人脸图像的第j个图像块训练样本，将x_ij表示为其在X_i中k₁个最近邻样本的线性组合，即：

其中

表示x_ij在X_i中的第m个最近邻点，

为对应的重构系数，m＝1,2,…,k₁，

为x_ij的k₁个类内最近邻样本集合，

为x_ij的类内表示系数向量；

利用最小二乘法可得

的计算式为：

4.根据权利要求1所述的基于分块线性重构鉴别分析的单样本人脸识别方法，其特征在于，步骤2中所述将任一图像块表示成k₂个类间最近邻图像块的线性组合，利用最小二乘法求解类间表示系数，具体如下：

将x_ij表示成其在[X-X_i]中k₂个最近邻样本的线性组合，即：

其中

表示x_ij在[X-X_i]中的第n个最近邻点，

为对应的重构系数，n＝1,2,…,k₂，

为x_ij的k₂个类间最近邻样本集合，

为x_ij的类间表示系数向量；

利用最小二乘法可得

的计算式为：

5.根据权利要求1所述的基于分块线性重构鉴别分析的单样本人脸识别方法，其特征在于，步骤3所述计算样本的类内重构散度与类间重构散度，并构造类内重构散布矩阵与类间重构散布矩阵，具体如下：

令A∈R^D×d为投影矩阵，则样本x_ij经A投影后的类内重构散度

与类间重构散度

分别为：

全体样本的类内重构散度与类间重构散度分别为：

其中

S_w、S_b分别称为样本的类内重构散布矩阵与类间重构散布矩阵，trace(·)表示求矩阵的迹。

6.根据权利要求5所述的基于分块线性重构鉴别分析的单样本人脸识别方法，其特征在于，步骤4中通过最大化类间重构散度与类内重构散度的比值求解最佳投影矩阵，并利用投影矩阵提取训练样本集与待识别样本的特征，具体如下：

最佳投影矩阵可通过求解以下最优化问题获得：

以上投影矩阵可通过求解以下特征方程d个最大特征值对应的特征向量获得：

S_ba＝λS_wa

其中λ是特征值，a是对应的特征向量；

设a₁,a₂,...,a_d是特征方程S_ba＝λS_wa的前d个最大特征值对应的特征向量，则投影矩阵可表示为：A＝[a₁,a₂,...,a_d]；

利用投影矩阵可对全体训练样本和待识别样本进行特征提取。

7.根据权利要求6所述的基于分块线性重构鉴别分析的单样本人脸识别方法，其特征在于，所述利用投影矩阵可对全体训练样本和待识别样本进行特征提取，具体为：

对于总训练样本集X，提取出的特征为：

A^TX＝[A^TX₁,A^TX₂,…,A^TX_N]＝[Y₁,Y₂,…,Y_N]

其中

Y_i＝A^TX_i＝[y_i1,y_i2,…,y_iM]

y_ij＝A^Tx_ij

对于待识别人脸图像Y，提取出的特征为

其中

8.根据权利要求1所述的基于分块线性重构鉴别分析的单样本人脸识别方法，其特征在于，步骤5中，构造待识别人脸图像类标的判别准则，判断待识别人脸图像的类标，具体如下：

待识别图像Y的类标根据两方面进行判断，一是Y与其它训练图像同一分块位置的相似性，二是根据Y中的每一图像块的重构误差进行判断；

对于Y的第j个图像块，其与第i幅人脸训练图像的第j个图像块的距离为：

对于Y的第j个图像块，其与第i幅人脸训练图像的重构误差为：

其中β_j为Y的第j个图像块与第i幅人脸训练图像的重构系数向量，其计算式为：

根据两种距离度量方式，待识别样本Y与第i幅人脸训练图像的距离可表示为：

通过以下规则判别待识别人脸图像的类标：

如果d(Y,X_k)＝min_id(Y,X_i)，则Y属于第k个人。

Images