CN109919056A - 一种基于判别式主成分分析的人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于判别式主成分分析的人脸识别方法，在解决主成分分析对同类样本数据分类较差和线性判别分析计算成本高、类内矩阵常常不可逆等缺陷的同时保留了它们的优势。该发明包括：1.输入训练集矩阵；2.对训练集矩阵进行转化，构造低纬度转换矩阵；3.计算转换矩阵的类内、类间矩阵；4.标准化处理类内、类间矩阵的元素；5.使用改进的直接线性判别分析法计算判别矩阵；6.利用主成分分析计算判别矩阵的特征空间7.分别将训练集矩阵和测试集矩阵投影到特征空间；8.采用最近邻分类器完成识别过程。著名人脸数据库上的实验结果验证了本发明具有出色的表现，且提出的方法可以应用在模式识别、计算机视觉的众多领域。

Description

一种基于判别式主成分分析的人脸识别方法

技术领域

本发明涉及机器学习技术领域，具体涉及一种基于判别式主成分分析的人脸识别方法。

背景技术

人脸识别在安全、监控、司法系统、商业、娱乐等多个领域有广泛的需求和应用。目前相关技术已经有了较大突破，然而在面对光照、表情、姿态、年龄等因素变化明显的图像时，传统特征提取方法的有效性受到很大限制。例如主成分分析(PCA)因为缺少判别信息对同类样本数据识别、分类效果较差；而线性判别分析(LDA)在面对依赖方差分布的样本数据时表现不佳，另一方面LDA计算复杂度较高且存在由于小样本容量产生的类内矩阵不可逆等严重问题。

发明内容

本发明所要解决的技术问题是为人脸识别等领域提供一种基于判别式主成分分析(Discriminative PCA)的特征提取方法，采用该方法能够为PCA增加判别信息使其在面对光照、姿态等变化明显的图像时仍然具有较好的识别、分类效果；并能同时解决LDA小样本容量导致的类内矩阵不可逆和计算复杂度较高的问题。该发明适用于模式识别、计算机视觉、分类等多个领域，其有效性在著名的人脸数据库PIE、YALE、FERET上得到验证。不同于传统PCA直接提取原始样本数据的最大方差特征，Discriminative PCA是在具有主要判别信息的数据上提取其主成分，即对样本数据的判别矩阵进行PCA操作。

具体步骤为：

1)采用改进的直接线性判别分析(DLDA)法构造包含判别信息的特征空间W，避免了对类内矩阵求逆的过程。不同于一般DLDA算法直接计算原始样本数据的类内、类间矩阵，此改进方法是对低维转换矩阵提取主要的判别信息，从而极大的降低了计算复杂度，具体步骤包括：

a)输入训练集和测试集图片：将像素M×N的图像表示为MN×1的列向量。输入c个人每人l幅图像作为训练集得到训练集矩阵每人s幅图像作为测试集,得到测试集图像矩阵构造低维转换矩阵

S^cl×cl＝Ω^TΩ (1)

其中Ω＝{ω₁₁,…,ω_1l,…,ω_c1,…,ω_cl},表示第i个人的第j副人脸；

b)按照下列公式计算S的类间矩阵和类内矩阵

其中表示Ω前i列的均值向量，表示Ω的列均值向量；

c)标准化和的元素

其中，表示所有元素的均值；

d)对角化

e)去除中非正特征值及其对应的特征向量，从而消除其特征向量空间中不包含判别信息的向量，剩余特征值和向量分别组成对角矩阵和矩阵

f)构造矩阵

g)计算的特征值和特征向量，分别构成对角矩阵Λ_w及矩阵E_w；

h)去除E_w中较大的特征值和对应的特征向量构造S的判别矩阵

其中分别表示剩余特征向量和对应特征值所组成的矩阵；

i)求Ω的判别矩阵

2)采用PCA寻找W的特征空间Ξ，具体步骤为：

I)计算协方差矩阵其中表示W的列均值向量；

II)选择C中最大的前p个特征值及对应的特征向量张成空间

E_C＝[e_C1,…,e_Cp]

III)将E_C中的特征向量规范化为模长为1的向量

3)分别将训练集数据和测试集数据投影到特征空间Ξ提取特征

4)采用最近邻分类方法完成识别过程

计算新特征Y_test中的每一列与Y_train所有列的欧式距离，将此列新特征识别为Y_train中与其欧式距离最小的训练特征所属的人。

本发明提出的Discriminative PCA，在保持较低计算代价的优势上向PCA添加了判别信息，使其无论在面对依赖方差分布的数据还是依赖均值分布的数据时都能具备良好的表现并同时解决了LDA小样本容量导致的类内矩阵不可逆问题，这意味着Discriminative PCA能够综合利用LDA和PCA的优势并同时克服二者的缺陷。由于Discriminative PCA本质是一种特征提取方法，因此能够应用在很多领域，例如模式识别、计算机视觉和分类等等。

附图说明：

图1为本发明一种基于判别式主成分分析的人脸识别方法的工作流程图。

图2是本发明所述方法Discriminative PCA与PCA,DLDA在PIE人脸库中选择不同数量的训练图像时关于识别率的对比。

选择PIE人脸库中姿态编号为5的前10个人，每人49副图像作为训练集和测试集，横坐标表示每个人的训练集图像数量。

图3为Discriminative PCA与PCA,DLDA在YALE人脸数据库中选择不同数量的训练图像时关于识别率的对比。

图中选择YALE灰度图像作为训练集和测试集，共包括10人每人11副图像，横坐标表示每个人的训练集图像数量。

具体实施方式

实施例：

以FERET人脸数据库为例，随机选择50个人每人7副图像作为样本数据。每幅人脸图像像素为80×80，表示为6400×1的列向量，在此实施例中c＝50,MN＝6400。每人选择2副图片进行训练，即l＝2。此时训练集共包含100副图片，其余250张图片作为测试集用于完成识别过程，整个实施过程分为三大部分，具体实施步骤如下：

1、第一部分计算训练集矩阵Ω的判别矩阵W:

1)首先读入所有训练集和测试集图片，分别表示为矩阵Ω^6400×100和Γ^6400×250；

2)由公式(1)构造转换矩阵S＝Ω^TΩ，此实施例中S是一个100×100的低维矩阵；

3)按照公式(2)计算S的类内矩阵和类间矩阵并根据公式(3)对其元素进行标准化处理；

4)计算标准化处理后的特征向量空间E_b和对应的特征值空间Λ_b；去除27个非正特征值及其对应的特征向量，矩阵和分别由剩余特征值和特征向量构成；

5)按步骤f)，g)计算E_w,Λ_w，去除最大的前6个特征值及其对应的特征向量，剩余特征向量和对应特征值分别构成空间和

6)通过(5)得到转换矩阵S的特征空间进一步由公式(6)计算训练集矩阵Ω的判别矩阵W；

2、第二部分对判别矩阵W进行PCA操作获得包含判别信息的主成分特征空间Ξ，主要过程为：

首先如步骤I)所示计算W去均值操作后的协方差矩阵C；其次求C的特征值和对应的特征向量；最后选择最大的前p个特征值对应的特征向量，按式(8)进行归一化处理后张成特征空间Ξ

3、实施例的第三部分是对训练集和测试集提取特征并对新特征进行识别的过程：

分别将Ω,Γ投影至特征空间Ξ得到新特征Y_train,Y_test；采用最近邻分类法将Y_test的每一列识别为Y_train中与之欧式距离最近那一列所属于的人。

为了验证本发明所述方法的有效性，分别使用PCA、DLDA与Discriminative PCA在FERET人脸库上的应用效果做对比。表1描述了当选择不同数量的训练集图片时三种方法的识别率，这里识别率表示正确识别的人脸个数与待测人脸总数的百分比。从表1可以看出Discriminative PCA在识别率上远高于其余两种方法；而判断算法有效性的另一个重要方面是其实际运行速度，鉴于此，表2展示了当选择不同数量的训练集图片时，三种算法运行20次的平均时间，单位为秒(s)。通过观察表2所示结果可以看出Discriminative PCA在运行时间上与PCA差别较小，不仅如此在其他人脸库，如PIE,YALE,ORL上的运行时间同样与PCA相当，甚至低于PCA。

图2，图3为选择不同数量的训练集图片时，三种方法在识别率上的对比。其中图2展示了PIE人脸库上识别率的对比，PIE人脸库中的图片光照、表情变化极为明显，因此大多数特征提取算法无法取得良好的识别效果，特别是基于整体训练集图片提取最大方差特征的PCA：如图2所示，由于缺乏判别信息PCA在这类人脸数据库上的识别效果很差，且学习能力较弱即：识别率不会随着训练集图片数量的增加而升高；与之相反，即使训练集图片数量很少，例如l＝7时，Discriminative PCA的识别率也能超过90％，且整体表现随训练图片数量的增加而更好。DLDA具有类似的性能表现，但整体而言，识别率远低于DiscriminativePCA，且运行时间始终较高，这在实际应用中是极大的劣势。图3为YALE人脸库上识别率的对比，相对于PIE，YALE增加了遮挡信息，例如部分人脸图片带了眼镜。与其他试验结果相同，Discriminative PCA在YALE数据库上同样有优越的表现。

以上不同的实验结果证明了本发明提出的Discriminative PCA不仅解决了PCA因为缺乏判别信息导致在光照、表情、姿态等变化极为明显的数据库上识别率低下和LDA因小样本容量导致的类内矩阵不可逆等问题，同时保持了较低的计算复杂度因此极大的提高了其应用性能。

表1 FERET人脸库中不同特征提取算法在识别率上的对比

表2 FERET人脸库中不同特征提取算法在平均运行时间上的对比

Claims (1)

1.一种基于判别式主成分分析的人脸识别方法，其特征在于具体步骤为：

1)采用改进的直接线性判别分析(DLDA)法构造包含判别信息的特征空间W，避免了对类内矩阵求逆的过程，不同于一般DLDA算法直接计算原始样本数据的类内、类间矩阵，此改进方法是对低维转换矩阵提取主要的判别信息，从而极大的降低了计算复杂度，具体步骤包括：

a)输入训练集和测试集图片：将像素M×N的图像表示为MN×1的列向量，输入c个人每人l幅图像作为训练集得到训练集矩阵每人s幅图像作为测试集，得到测试集图像矩阵构造低维转换矩阵

S^cl×cl＝Ω^TΩ (1)

其中Ω＝{ω₁₁，...，ω_1l，…，ω_c1，...，ω_cl}，表示第i个人的第j副人脸；

b)按照下列公式计算S的类间矩阵和类内矩阵

其中表示Ω前i列的均值向量，表示Ω的列均值向量：

c)标准化和的元素

其中，表示所有元素的均值；

d)对角化

e)去除中非正特征值及其对应的特征向量，从而消除其特征向量空间中不包含判别信息的向量，剩余特征值和向量分别组成对角矩阵和矩阵

f)构造矩阵

g)计算的特征值和特征向量，分别构成对角矩阵Λ_w及矩阵E_w；

h)去除E_w中较大的特征值和对应的特征向量构造S的判别矩阵

其中分别表示剩余特征向量和对应特征值所组成的矩阵；

i)求Ω的判别矩阵

2)采用PCA寻找W的特征空间Ξ，具体步骤为：

I)计算协方差矩阵

其中表示W的列均值向量；

II)选择C中最大的前p个特征值及对应的特征向量张成空间

E_C＝[e_C1，...，e_Cp]

III)将E_C中的特征向量规范化为模长为1的向量

3)分别将训练集数据和测试集数据投影到特征空间Ξ提取特征

4)采用最近邻分类方法完成识别过程

计算新特征Y_test中的每一列与Y_train所有列的欧式距离，将此列新特征识别为Y_train中与其欧式距离最小的训练特征所属的人。