CN107194311B - 一种融合矩阵和向量特征提取的Foley-Sammon人脸识别方法 - Google Patents

Abstract

本发明公开了一种融合矩阵和向量特征提取的Foley‑Sammon人脸识别方法。首先，计算人脸图像矩阵水平方向上的两维Foley‑Sammon鉴别向量矩阵，再计算人脸图像矩阵垂直方向上的两维线性鉴别向量矩阵，然后利用两个鉴别向量矩阵实现人脸图像的双向压缩。将压缩后的每个人脸图像分别按行和列拉成向量后融合成一个向量数据。提取融合后向量数据的鉴别信息。最后用最近邻分器对结果进行分类处理，实现人脸图像的准确识别。本发明在水平方向上采用Foley‑Sammon的方法和垂直方向采用两维线性鉴别方法提取鉴别信息，可以得到人脸图像互补的鉴别特征信息，尽可能得保留人脸图像的主要特征信息，使人脸图像的鉴别信息提取更加充分，从而提高人脸图像的识别率。

Description

一种融合矩阵和向量特征提取的Foley-Sammon人脸识别方法

技术领域

本发明涉及模式识别领域和人工智能领域，具体涉及一种融合矩阵和向量特征提取的Foley-Sammon人脸识别方法。

背景技术

人脸识别在计算机模式识别研究领域非常活跃，在商业领域和安全领域得到应用。从受控格式的照片(如护照、信用卡、驾驶执照)和面部照片的静态匹配到监控视频图像的实时匹配。人脸识别技术主要有三个问题：图像分割、特征提取和识别。其中，提取人脸图像的特征是完成人脸识别任务的关键。

目前，提取人脸图像的特征主要有基于向量的特征提取方法，如：主成分分析，线性判别分析方法，Foley-Sammon特征提取方法等；还有基于图像矩阵的特征提取方法，如：两维主成分分析，两维线性判别分析和双向两维线性判别分析等。基于向量的特征提取方法存在的缺点在于：先要将图像矩阵转换为高维向量，导致人脸识别处理需要耗费大量时间和存在小样本问题。基于图像矩阵的特征提取方法直接由人脸图像矩阵计算出类内散射矩阵和类间散射矩阵，没有小样本问题。人脸图像矩阵经过图像矩阵的特征提取方法处理后得到的是压缩的矩阵，当人脸图像样本数量太大时，占用存储空间大，计算时间也较长。

Foley-Sammon特征提取方法是基于向量的特征提取方法，需要先将人脸图像按行或列拉成向量，然后对向量进行处理。该向量一般为高维向量，用Foley-Sammon特征提取方法处理这些高维向量时，计算量大，还存在小样本问题。

发明内容

本发明目的是为解决上述现有人脸识别方法存在的问题，提出一种融合矩阵和向量特征提取的Foley-Sammon人脸图像特征提取方法。本发明分别用两维Foley-Sammon特征提取方法和两维线性鉴别分析进行人脸图像行和列方向上压缩。将压缩后的每个图像分别按行和列拉成向量后进行融合成一个向量数据。提取融合后向量数据的鉴别信息。最后用最近邻分器对结果进行分类处理，实现人脸图像的准确识别。该方法融合了矩阵和向量两种特征提取方法，具有计算量小，占用存储空间小，识别率高等有优点。本发明方法具体描述如下：

人脸数据库中有C类人脸图像，每幅人脸图像样本是m×n维矩阵图像，m表示行数，n表示列数。其中，C类中的第i类C_i有n_i个训练样本，1≤i≤C，N为训练样本总个数N＝C×n_i。m×n维人脸样本矩阵为A,A_j为第j个m×n的人脸图像训练样本，A_k'为第k个m×n的人脸图像测试样本，1≤i≤C，1≤j≤N，1≤k≤M。

步骤一、计算人脸图像矩阵水平方向上的两维Foley-Sammon鉴别向量矩阵

根据以下公式计算出类内散射矩阵S_WH和类间散射矩阵S_BH：

其中：第i类训练样本图像的均值

和总的训练样本图像的均值

计算如下：

根据类内散射矩阵S_WH和类间散射矩阵S_BH计算出类内散射矩阵S_WH的逆矩阵S_WH ^-1与类间散射矩阵S_BH乘积矩阵的特征值λ以及特征向量α：

S_WH ^-1S_BHα＝αλ

其中，λ为S_WH ^-1S_BH的特征值，α为特征值λ对应的特征向量。

将特征值λ从大到小排列，取前r(1≤r≤n)个特征值为{λ₁,λ₂,λ₃…λ_r}，对应的特征向量为{α₁,α₂,α₃…α_r},最大特征值λ₁所对应的特征向量α₁即为投影矩阵U的第一个列向量，已知α₁,α₂,…,α_r是一组最优鉴别向量集，则第r+1个鉴别向量α_r+1计算如下：

PS_BHα_r+1＝λ_r+1S_WHα_r+1

其中

D＝[α₁ α₂ … α_r]T，I是单位矩阵。

根据以上计算可得到p个最优鉴别向量集α₁,α₂,…,α_p组成的鉴别向量矩阵U＝[α₁α₂ … α_p]^T；由此求出了两维Foley-Sammon鉴别向量矩阵U。

步骤二、计算人脸图像矩阵垂直方向上的两维线性鉴别向量矩阵

根据以下公式计算出类内散射矩阵S_WV、类间散射矩阵S_BV：

根据类内散射矩阵S_WV和类间散射矩阵S_BV计算出类内散射矩阵S_WV的逆矩阵S_WV ^-1与类间散射矩阵S_BV乘积矩阵的特征值γ以及特征向量

其中，γ为S_WV ^-1S_BV的特征值，

为特征值γ对应的特征向量。

将特征值γ从大到小排列，取前q(1<q≤n)个特征值为{γ₁,γ₂,γ₃…γ_q}，对应的特征向量为{φ₁,φ₂,φ₃…φ_q}，前q个特征向量组成鉴别向量矩阵V＝[φ₁ φ₂ … φ_q]^T，由此求出了两维线性鉴别向量矩阵V。

步骤三、人脸图像矩阵的双向压缩

用鉴别向量矩阵U和鉴别向量矩阵V将人脸训练样本矩阵A_j投影到投影空间，对人脸训练样本矩阵A_j进行水平和垂直方向上的压缩，得到p×q维矩阵B_j：

B_j＝UA_jV^T

用鉴别向量矩阵U和鉴别向量矩阵V将人脸测试样本矩阵A_k'投影到投影空间，对人脸测试样本矩阵A_k'进行水平和垂直方向上的压缩，得到p×q维矩阵B_k'：

B_k'＝UA_k'V^T

其中：B_j是m×n维人脸训练样本矩阵A_j经双向压缩后得到的p×q维矩阵，B_k'是m×n维人脸测试样本矩阵A_k'经投影后的p×q维矩阵。

步骤四、向量的融合及鉴别信息提取

将压缩后的第j个训练图像B_j分别按列和行拉成向量，B_j按列拉成向量

B_j按行拉成向量

将压缩后的第k个测试图像B_k′分别按列和行拉成向量，B_k′按列拉成向量

B_k′按行拉成向量

用以下方法计算非相关线性变换矩阵G：

由N个训练样本向量

(1≤j≤N)组成样本矩阵Z可以被划分为C个类别，则Z＝{Z₁,Z₂,…,Z_C}，其中Z_i是第i个类样本集合，并且n_i是第i个类样本的数目，

N是训练样本的总数。假设θ^(j)是第j个样本的平均值，θ是总平均值。S_w是类内散布矩阵，S_b是类间散布矩阵和总体散射矩阵S_t；定义如下：

S_w＝H_wH_w ^T,

S_b＝H_bH_b ^T,

S_t＝H_tH_t ^T。

其中H_w，H_b和H_t可以进行如下计算：

H_t的奇异值分解(SVD)计算为

H_t＝U₁∑_tV₁ ^T。

设

Ω的SVD计算为Ω＝P∑Q^T；β＝rank(Ω)

令

X_β是由X的前β列组成的矩阵。因此，非相关线性变换矩阵为：

G＝X_β。

则训练样本矩阵B_j按列拉成的向量

在线性变换矩阵G上投影为：

测试样本矩阵B_k′按列拉成向量

在线性变换矩阵G上投影为：

按照计算G的同样方法，可计算训练样本矩阵B_j按行拉成向量

的线性变换矩阵G′，

在线性变换矩阵G′上投影为：

测试样本矩阵B_k′按行拉成向量

在线性变换矩阵G′上投影为：

将训练样本的投影

和

进行融合得到新的训练投影向量

与测试样本的投影

和

进行融合得到新的测试投影向量

用最近邻分类器根据训练投影向量y_j对测试投影向量y_k'进行分类处理，计算出分类准确率。

本发明的有益效果是：

(1)本发明在于先将图像压缩后再提取特征和分类。而以往大部分处理方法是直接把图像拉成向量，那样向量维数很高，计算复杂。

(2)本发明在水平方向上采用Foley-Sammon的方法和垂直方向采用两维线性鉴别方法提取鉴别信息，可以得到人脸图像互补的鉴别特征信息，尽可能得保留人脸图像的主要特征信息，使人脸图像的鉴别信息提取更加充分，从而提高人脸图像的识别率。

(3)本发明直接对图像矩阵进行计算，简单易行，实用性强。

附图说明

图1为本发明的流程示意图。

具体实施方式

本发明提出一种双向两维Foley-Sammon人脸图像特征提取方法，将人脸图像用双向两维Foley-Sammon特征提取方法进行压缩。将压缩后的每个图像分别按行和列拉成向量后进行融合成一个向量数据。提取融合后向量数据的鉴别信息，得到向量数据的压缩数据。最后用最近邻分类器对结果进行分类处理，实现人脸图像的准确识别。该方法融合了矩阵和向量两种特征提取方法，具有计算量小，占用存储空间小，识别率高等有优点。

以下提供发明的一个实施例：

本实施例使用JAFFE人脸表情数据库中共有10人，每个人有7类表情，每类表情各有8张。整个数据库中共包含213张人脸图像，每张人脸图像分辨率为256×256。从10个人的表情图像中各自选出了5张组成了50张的训练样本集，又从剩下的图像中每人各自选出了5张组成了测试样本集。在JAFFE数据库中共有C类，C＝10，表示图像数据共有10类，其中，第i类C_i有n_i个训练样本，即n_i为第i类样本个数，n_i＝5，1≤i≤40。N为训练样本总个数，即N＝200。A_j为第j个m×n＝256×256的人脸图像训练样本，A_k'为第k个m×n＝256×256的人脸图像测试样本，1≤i≤C，1≤j≤N，1≤k≤M，M＝N＝200。

步骤一、计算人脸图像矩阵水平方向上的两维Foley-Sammon鉴别向量矩阵

根据以下公式计算出类内散射矩阵S_WH和类间散射矩阵S_BH：

计算可得：

其中：第i类训练样本图像的均值

和总的训练样本图像的均值

计算如下：

根据类内散射矩阵S_WH和类间散射矩阵S_BH计算出类内散射矩阵S_WH的逆矩阵S_WH ^-1与类间散射矩阵S_BH乘积矩阵的特征值λ以及特征向量α：

S_WH ^-1S_BHα＝αλ

其中，λ为S_WH ^-1S_BH的特征值，α为特征值λ对应的特征向量。

将特征值λ从大到小排列，取前r(1≤r≤n)个特征值为{λ₁,λ₂,λ₃…λ_r}，对应的特征向量为{α₁,α₂,α₃…α_r},最大特征值λ₁所对应的特征向量α₁即为投影矩阵U的第一个列向量，

已知α₁,α₂,…,α_r是一组最优鉴别向量集，则第r+1个鉴别向量α_r+1计算如下：

PS_BHα_r+1＝λ_r+1S_WHα_r+1，

其中

D＝[α₁ α₂ … α_r]^T，I是单位矩阵。

根据以上计算可得到p个最优鉴别向量集α₁,α₂,…,α_p组成的鉴别向量矩阵U＝[α₁α₂ … α_p]^T由此求出了两维Foley-Sammon鉴别向量矩阵U。

本实例中，p＝30

计算可得：

步骤二、计算人脸图像矩阵垂直方向上的两维线性鉴别向量矩阵

根据以下公式计算出类内散射矩阵S_WV、类间散射矩阵S_BV：

计算可得：

根据类内散射矩阵S_WV和类间散射矩阵S_BV计算出类内散射矩阵S_WV的逆矩阵S_WV ^-1与类间散射矩阵S_BV乘积矩阵的特征值γ以及特征向量

其中，γ为S_WV ^-1S_BV的特征值，

为特征值γ对应的特征向量。

将特征值γ从大到小排列，取前q＝15(1<q≤n)个特征值为{γ₁,γ₂,…γ₁₅}＝{43.89,13.26,…0.20}，对应的特征向量为{φ₁,φ₂,φ₃…φ₁₅}，前15个特征向量组成鉴别向量矩阵V＝[φ₁ φ₂ … φ₁₅]^T，由此求出了两维线性鉴别向量矩阵V。

本实例中，q＝15

步骤三、人脸图像矩阵的双向压缩

用鉴别向量矩阵U和鉴别向量矩阵V将人脸训练样本矩阵A_j投影到投影空间，对人脸训练样本矩阵A_j进行水平和垂直方向上的压缩，得到p×q维矩阵B_j：

B_j＝UA_jV^T

用鉴别向量矩阵U和鉴别向量矩阵V将人脸测试样本矩阵A_k'投影到投影空间，对人脸测试样本矩阵A_k'进行水平和垂直方向上的压缩，得到p×q＝30×15维矩阵B_k'：

B_k'＝UA_k'V^T

其中：B_j是m×n＝256×256维人脸训练样本矩阵A_j经双向压缩后得到的p×q＝30×15维矩阵，B_k'是m×n＝256×256维人脸测试样本矩阵A_k'经投影后的p×q＝30×15维矩阵。

计算可得：

步骤四、向量的融合及鉴别信息提取

将压缩后的第j个训练图像B_j分别按列和行拉成向量，B_j按列拉成向量

B_j按行拉成向量

将压缩后的第k个测试图像B_k′分别按列和行拉成向量，B_k′按列拉成向量

B_k′按行拉成向量

计算可得：

用以下方法计算非相关线性变换矩阵G：

由N个训练样本向量

(1≤j≤N)组成样本矩阵Z可以被划分为C个类别，则Z＝{Z₁,Z₂,…,Z_C}，其中Z_i是第i个类样本集合，并且n_i是第i个类样本的数目，

N是训练样本的总数。假设θ^(j)是第j个样本的平均值，θ是总平均值。S_w是类内散布矩阵，S_b是类间散布矩阵和总体散射矩阵S_t；定义如下：

S_w＝H_wH_w ^T,

S_b＝H_bH_b ^T,

S_t＝H_tH_t ^T。

其中H_w，H_b和H_t可以进行如下计算：

计算H_t的奇异值分解(SVD)为：H_t＝U₁∑_tV₁ ^T。

设

Ω的SVD计算为Ω＝P∑Q^T；β＝rank(Ω)

令

X_β是由X的前β列组成的矩阵。因此，线性变换矩阵为：G＝X_β。

计算可得：β＝9

则训练样本矩阵B_j按列拉成的向量

在线性变换矩阵G上投影为：

测试样本矩阵B_k′按列拉成向量

在线性变换矩阵G上投影为：

计算可得：

按照同样方法，可计算训练样本矩阵B_j按行拉成向量

的线性变换矩阵G′，

在线性变换矩阵G′上投影为：

测试样本矩阵B_k′按行拉成向量

在线性变换矩阵G′上投影为：

计算可得：

将训练样本的投影

和

进行融合得到新的训练投影向量

与测试样本的投影

和

进行融合得到新的测试投影向量

计算可得：

用最近邻分类器根据训练投影向量y_j对测试投影向量y_k′进行分类处理，计算出分类准确率。

计算可得：分类准确率为94％。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (3)

1.一种融合矩阵和向量特征提取的Foley-Sammon人脸识别方法，其特征在于，包括如下步骤：

步骤1、计算人脸图像矩阵水平方向上的两维Foley-Sammon鉴别向量矩阵U；

步骤2、计算人脸图像矩阵垂直方向上的两维线性鉴别向量矩阵V；

步骤3、人脸图像矩阵的双向压缩：利用鉴别向量矩阵U和鉴别向量矩阵V分别对人脸训练样本矩阵A_j、人脸测试样本矩阵A_k'进行压缩，得到矩阵B_j、B_k'；

步骤4：向量的融合及鉴别信息提取：将B_j、B_k'分别按行和按列拉成向量，利用拉成的向量计算非相关线性变换矩阵；分别计算按行和按列拉成的向量在非相关线性变换矩阵上的投影，然后对投影进行融合；最后利用最近邻分类器对融合后的投影向量进行分类处理，计算分类准确率；

所述步骤1的具体过程如下：

步骤1.1：根据以下公式计算出类内散射矩阵S_WH和类间散射矩阵S_BH：

其中：第i类训练样本图像的均值

和总的训练样本图像的均值

计算如下：

步骤1.2：根据类内散射矩阵S_WH和类间散射矩阵S_BH计算出类内散射矩阵S_WH的逆矩阵S_WH ^-1与类间散射矩阵S_BH乘积矩阵的特征值λ以及特征向量α：

S_WH ^-1S_BHα＝αλ

其中，λ为S_WH ^-1S_BH的特征值，α为特征值λ对应的特征向量；

步骤1.3：将特征值λ从大到小排列，取前r个特征值为{λ₁,λ₂,λ₃…λ_r}，对应的特征向量为{α₁,α₂,α₃…α_r},最大特征值λ₁所对应的特征向量α₁即为投影矩阵U的第一个列向量，已知α₁,α₂,…,α_r是一组最优鉴别向量集，则第r+1个鉴别向量α_r+1计算如下：

PS_BHα_r+1＝λ_r+1S_WHα_r+1

其中

D＝[α₁α₂…α_r]T，I是单位矩阵；

步骤1.4：根据以上计算可得到p个最优鉴别向量集α₁,α₂,…,α_p组成的两维Foley-Sammon鉴别向量矩阵U＝[α₁α₂…α_p]^T；

所述步骤4的具体过程如下：

步骤4.1：将压缩后的第j个训练图像B_j分别按列和行拉成向量，B_j按列拉成向量

B_j按行拉成向量

将压缩后的第k个测试图像B_k′分别按列和行拉成向量，B_k′按列拉成向量

B_k′按行拉成向量

步骤4.2：计算非相关线性变换矩阵G：

由N个训练样本向量

组成样本矩阵Z可以被划分为C个类别，则Z＝{Z₁,Z₂,...,Z_C}，其中Z_i是第i个类样本集合，并且n_i是第i个类样本的数目，

N是训练样本的总数；

假设θ^(j)是第j个样本的平均值，θ是总平均值，S_w是类内散布矩阵，S_b是类间散布矩阵和总体散射矩阵S_t；分别定义如下：

S_w＝H_wH_w ^T,

S_b＝H_bH_b ^T,

S_t＝H_tH_t ^T；

其中H_w，H_b和H_t的计算表达式如下：

e＝(1,1,...,1)^T∈R^N.

计算H_t的奇异值分解SVD为H_t＝U₁∑_tV₁ ^T；

设

Ω的SVD计算为Ω＝P∑Q^T；β＝rank(Ω)

令

X_β是由X的前β列组成的矩阵；因此，非相关线性变换矩阵为：

G＝X_β；

则训练样本矩阵B_j按列拉成的向量

在线性变换矩阵G上投影为：

测试样本矩阵B_k′按列拉成向量

在线性变换矩阵G上投影为：

按照计算G的同样方法，计算训练样本矩阵B_j按行拉成向量

的线性变换矩阵G′，

在线性变换矩阵G′上投影为：

测试样本矩阵B_k′按行拉成向量

在线性变换矩阵G′上投影为：

将训练样本的投影

和

进行融合得到新的训练投影向量

与测试样本的投影

和

进行融合得到新的测试投影向量

用最近邻分类器根据训练投影向量y_j对测试投影向量y_k'进行分类处理，计算出分类准确率。

2.根据权利要求1所述的一种融合矩阵和向量特征提取的Foley-Sammon人脸识别方法，其特征在于，所述步骤2的具体过程如下：

步骤2.1：根据以下公式计算出类内散射矩阵S_WV、类间散射矩阵S_BV：

步骤2.2：根据类内散射矩阵S_WV和类间散射矩阵S_BV计算出类内散射矩阵S_WV的逆矩阵S_WV ^-1与类间散射矩阵S_BV乘积矩阵的特征值γ以及特征向量

其中，γ为S_WV ^-1S_BV的特征值，

为特征值γ对应的特征向量；

步骤2.3：将特征值γ从大到小排列，取前q个特征值为{γ₁,γ₂,γ₃…γ_q}，对应的特征向量为{φ₁,φ₂,φ₃...φ_q}，前q个特征向量组成两维线性鉴别向量矩阵V＝[φ₁ φ₂ ...φ_q]^T。

3.根据权利要求1所述的一种融合矩阵和向量特征提取的Foley-Sammon人脸识别方法，其特征在于，所述步骤3的具体过程如下：

用鉴别向量矩阵U和鉴别向量矩阵V将人脸训练样本矩阵A_j投影到投影空间，对人脸训练样本矩阵A_j进行水平和垂直方向上的压缩，得到p×q维矩阵B_j：

B_j＝UA_jV^T

用鉴别向量矩阵U和鉴别向量矩阵V将人脸测试样本矩阵A_k'投影到投影空间，对人脸测试样本矩阵A_k'进行水平和垂直方向上的压缩，得到p×q维矩阵B_k'：

B_k'＝UA_k'V^T

其中：B_j是m×n维人脸训练样本矩阵A_j经双向压缩后得到的p×q维矩阵，B_k'是m×n维人脸测试样本矩阵A_k'经投影后的p×q维矩阵。

Images