CN106960185A - 线性判别深度信念网络的多姿态人脸识别方法 - Google Patents

Abstract

一种线性判别深度信念网络的多姿态人脸识别方法，由多姿态人脸图像预处理、训练深度信念网络、线性判别分析法初始化权值矩阵、线性判别深度信念网络参数调优、多姿态人脸图像识别步骤组成。本发明采用改进的线性判别分析法初始化深度信念网络最后一个隐层与输出层之间的权值矩阵，所构建的线性判别深度信念网络具有鲁棒性强、识别率高等优点，适用于多姿态人脸图像识别。

Description

线性判别深度信念网络的多姿态人脸识别方法

技术领域

本发明涉及图像分类、模式识别技术领域，具体涉及到多姿态人脸的识别。

背景技术

随着人工智能的不断发展，多姿态人脸识别已被广泛应用于智能人机交互、身份验证、驾驶员疲劳状态监控等方面，逐渐成为图像处理等技术领域的热门研究课题。多姿态人脸识别是在非限制条件下识别出人的头部姿态，从而判断人的身体状态和心理状态，比如仰头、低头、左转、右转等，具有非常重要的现实意义。

多姿态人脸识别主要包括三部分：多姿态人脸检测、特征提取以及识别。特征提取的好坏从本质上决定了识别的准确率。现阶段常用的人工提取特征方法有：本征脸法、局部特征法和模型法。这些特征提取方法计算较复杂，需要人工进行特征提取，特征提取过程中的信息损失较大，很难准确地表达从底层到高层的特征信息。

陈勇等人提出了一种基于Gabor特征和深度信念网络的近邻元分析(NCA)方法，提取Gabor多姿态人脸图像的尺度图并将其进行卷积融合，将融合后的直方图数据输入到深度信念网络中进行训练，结合NCA分析对训练样本进行线性变化，对多姿态人脸图像进行分类。赵志国等人采用深度信念网络与极限学习机(ELM)相结合进行低分辨率多姿态人脸识别，该方法将低分辨率和对应高分辨率图像作为深层网络结构输入数据，在整个深度信念网络模型顶层加上ELM进行分类学习，通过UMIST人脸库、ORL人脸库、FERET人脸库，验证了该方法具有识别率高、分类时间短等优点。苏铁明等人提出了一种基于深度学习和融入梯度信息的人脸姿态分类方法，提取人脸姿态图像灰度与灰度差组合特征，通过三层受限玻尔兹曼机(RBM)进行训练学习，提取姿态特征,通过Softmax分类器建立深度学习特征与人脸姿态标签的对应关系,实现人脸姿态分类。尹洪涛等人提出了一种基于离散余弦变换(DCT)和线性判别分析的人脸识别方法，对图像进行离散余弦变换求出DCT系数，按训练过程中选定的顺序选取DCT系数，并将选定的DCT系数作为人脸的特征进行线性判别分析，获得识别特征，利用最近邻分类器对人脸图像进行分类。

线性判别分析法是一种有效的特征提取方法，其目的是寻找一个线性变换矩阵V，使得样本类间离散度和类内离散度的比值最大，可以通过Fisher准则实现：

式中，W_opt是最优投影矩阵，V为一个线性变换矩阵，V^T为V的转置矩阵，S_b是样本类间离散度矩阵，S_w是样本类内离散度矩阵，其中S_b为：

式中，i为1,...,C，C为类别数，N_i为输入的第i类有限图像总数，u_i表示第i类样本的均值，u表示所有样本的均值，但是线性判别分析法存在秩限制问题。

上述深度信念网络模型具有较好的特征提取能力，但其网络模型的最后一个隐层与输出层之间的初始权值矩阵通常随机生成，这种权值矩阵映射得到的特征不能保证适合于分类任务。为了解决该问题，本发明提出了线性判别深度信念网络，使用线性判别分析法初始化深度信念网络最后一个隐层与输出层之间的权值矩阵，使网络更适合于分类任务。本发明中线性判别分析法重新定义了类间离散度矩阵，解决了传统线性判别分析法的秩限制问题，使得线性判别深度信念网络具有更好的健壮性和适应性。

发明内容

本发明所要解决的主要技术问题在于克服上述已有技术的不足，提供一种鲁棒性强、识别率高的线性判别深度信念网络的多姿态人脸识别方法。

解决上述技术问题所采用的技术方案由下述步骤组成：

(1)多姿态人脸图像预处理

将多姿态人脸数据库中取出的灰度图像分为训练图像和测试图像，用双三次插值法进行采样，将每一张采样图像转化为一维行向量，每一行向量表示一张图像；

(2)训练深度信念网络

设置深度信念网络输入层、隐层、输出层，输入层层数为1层、隐层层数为2～5层、输出层层数为1层，输入层节点数为625，隐层节点数为100～400，输出层节点数为5，将训练图像输入到深度信念网络中进行训练,得到网络初始参数空间：

θ＝(W,b,c)

式中W为网络的权值，b为隐层的偏置，c为可视层的偏置；

(3)用线性判别分析法初始化权值矩阵

使用线性判别分析法初始化深度信念网络最后一个隐层与输出层之间的权值矩阵:

得到线性判别深度信念网络，式中W_nopt为最优投影矩阵，作为深度信念网络最后一个隐层与输出层之间的权值矩阵，V为一个线性变换矩阵，V^T为V的转置矩阵，S_b'为样本类间离散度矩阵，S_w是样本类内离散度矩阵,式(1)中的类间离散度矩阵S_b'为：

式中，i、j为1,...,C，C为人脸姿态类别数，N_i为输入的第i类有限图像总数，N_j为输入的第j类有限图像总数，为第i类中第l个图像，为第j类中第z个图像，为的转置，为的转置；

(4)线性判别深度信念网络参数调优

采用反向传播法微调步骤(3)网络的初始参数θ，使网络参数达到最优；

(5)多姿态人脸图像识别

将预处理后的测试图像输入到步骤(4)线性判别深度信念网络中，第k个隐层第n个节点的特征向量由下式得到：

式中，n为1,2,...,5，m、k为有限的正整数，D_k-1为第k-1个隐层的节点数，为第k个隐层第n个节点的偏置，为连接第k-1个隐层第m个节点和第k个隐层第n个节点的权值，为第k-1个隐层第m个节点的特征向量，x为线性判别深度信念网络的输入图像；

输入测试图像，在输出层得到多姿态人脸识别结果，由下式表示：

式中H为线性判别深度信念网络隐层总数，D_H为第H个隐层的节点数，为输出层第n个节点的偏置,为连接第H个隐层第m个节点和输出层第n个节点的权值，为第H个隐层第m个节点的特征向量，x为线性判别深度信念网络的输入图像，G为输入图像的识别结果，G为1时是正脸或左侧、G为2时是左侧25°或仰头、G为3时是左侧15°或低头、G为4时是右侧15°或正脸、G为5时是右侧25°或右侧。

在本发明的步骤(2)中，深度信念网络最佳由1个输入层、3个隐层、1个输出层构成，输入层的节点数最佳为625，3个隐层的节点数分别为400、400、200，输出层的节点数为5。

本发明采用了线性判别分析法初始化深度信念网络最后一个隐层与输出层之间的权值矩阵，完善了深度信念网络的分类功能。本发明中线性判别分析法重新定义了类间离散度矩阵，解决了传统线性判别分析法的秩限制问题，使得线性判别深度信念网络具有更好的健壮性和适应性。

本发明具有鲁棒性强、识别率高等优点，所构建的线性判别深度信念网络适用于多姿态人脸识别。

附图说明

图1是线性判别深度信念网络多姿态人脸识别流程图。

图2是FERET数据库中部分多姿态人脸图像。

图3是CMU PIE数据库中部分多姿态人脸图像。

具体实施方式

下面结合附图和实施例对本发明进一步详细说明，但本发明不限于这些实施例。

实施例1

在FERET人脸数据库中选取500张多姿态人脸图像，如图2所示，采用MATLAB 2013b软件进行多姿态人脸图像识别，如图1所示，其方法如下：

1、多姿态人脸图像预处理

从FERET人脸数据库中选取100个人，每个人5种姿态构成一个FERET多姿态人脸子库，5种姿态依次为：正脸、左侧25°、左侧15°、右侧15°、右侧25°，共500张灰度图像，选取其中250张作为训练图像，另外250张作为测试图像，用双三次插值法进行采样，采样人脸图像大小为25×25像素，将每一张采样图像转化为一维行向量，每一行向量表示一张图像。

2、训练深度信念网络

设置深度信念网络结构为：1个输入层、3个隐层、1个输出层，输入层节点数为625，3个隐层的节点数分别为400、400、200，输出层节点数为5，将训练图像输入到深度信念网络中进行训练，得到网络初始参数空间：

θ＝(W,b,c)

式中W为网络的权值，b为隐层的偏置，c为可视层的偏置。

3、用线性判别分析法初始化权值矩阵

使用线性判别分析法初始化深度信念网络最后一个隐层与输出层之间的权值矩阵：

得到线性判别深度信念网络，式中W_nopt为最优投影矩阵，作为深度信念网络最后一个隐层与输出层之间的权值矩阵，V为一个线性变换矩阵，V^T为V的转置矩阵，S_b'替换线性判别分析法中的S_b，是样本类间离散度矩阵，S_w是样本类内离散度矩阵，式(1)中S_b'为：

式中，i、j为1,...,C，C为人脸姿态类别数，N_i为输入的第i类有限图像总数，N_j为输入的第j类有限图像总数，为第i类中第l个图像，为第j类中第z个图像，为的转置，为的转置。

本实施例中的S_b'替换传统线性判别分析法中的S_b，采用了线性判别分析法初始化深度信念网络最后一个隐层与输出层之间的权值矩阵，完善了深度信念网络的分类功能，解决了传统线性判别分析法的秩限制问题，使得线性判别深度信念网络具有更好的健壮性和适应性。

4、线性判别深度信念网络参数调优

采用反向传播法微调步骤3网络的初始参数θ，使网络参数达到最优。

5、多姿态人脸图像识别

将预处理后的测试图像输入到步骤4线性判别深度信念网络中，第k个隐层第n个节点的特征向量由下式得到：

式中，n为1,2,...,5，m为有限的正整数，k是隐层的层数取1,2,3层，D_k-1为第k-1个隐层的节点数，为第k个隐层第n个节点的偏置，为连接第k-1个隐层第m个节点和第k个隐层第n个节点的权值，为第k-1个隐层第m个节点的特征向量，x为线性判别深度信念网络的输入图像。

输入测试图像，在输出层得到多姿态人脸识别结果，由下式表示：

式中H为线性判别深度信念网络隐层总数，为输出层第n个节点的偏置，为连接第3个隐层第m个节点和输出层第n个节点的权值，为第3个隐层第m个节点的特征向量，x为线性判别深度信念网络的输入图像，G为输入图像的识别结果。G为1时是正脸、G为2时是左侧25°、G为3时是左侧15°、G为4时是右侧15°、G为5时是右侧25°。

采用本实施例方法对FERET多姿态人脸数据子库中250张测试图像进行识别，各种姿态的正确识别率见表1。

表1实施例1测试图像的各姿态识别率

	正确图像个数	错误图像个数	识别率(％)
				正脸	50	0	100.00
左侧25°	46	4	92.00
				左侧15°	48	2	96.00
右侧15°	49	1	98.00
				右侧25°	50	0	100.00

由表1可见，采用本发明方法对FERET多姿态人脸数据子库中250张测试图像进行识别，平均识别率达到97.20％。

实施例2

在FERET人脸数据库中选取500张多姿态人脸图像，如图2所示，采用MATLAB 2013b软件进行多姿态人脸图像识别，如图1所示，其方法如下：

1、多姿态人脸图像预处理

多姿态人脸图像预处理步骤与实施例1相同。

2、训练深度信念网络

设置深度信念网络输入层、隐层、输出层，输入层层数为1层、隐层层数为2层、输出层层数为1层，输入层节点数为625，2个隐层的节点数分别为100、100，输出层节点数为5，将训练图像输入到深度信念网络中进行训练，得到网络初始参数空间：

θ＝(W,b,c)

式中W为网络的权值，b为隐层的偏置，c为可视层的偏置。

3、用线性判别分析法初始化权值矩阵

用线性判别分析法初始化权值矩阵步骤与实施例1相同。

4、线性判别深度信念网络参数调优

线性判别深度信念网络参数调优步骤与实施例1相同。

5、多姿态人脸图像识别

将预处理后的测试图像输入到步骤4线性判别深度信念网络中，第k个隐层第n个节点的特征向量由下式得到：

式中，n为1,2,...,5，m为有限的正整数，k是隐层的层数取1,2层，D_k-1为第k-1个隐层的节点数，为第k个隐层第n个节点的偏置，为连接第k-1个隐层第m个节点和第k个隐层第n个节点的权值，为第k-1个隐层第m个节点的特征向量，x为线性判别深度信念网络的输入图像。

输入测试图像，在输出层得到多姿态人脸识别结果，由下式表示：

式中H为线性判别深度信念网络隐层总数，为输出层第n个节点的偏置,为连接第2个隐层第m个节点和输出层第n个节点的权值，为第2个隐层第m个节点的特征向量，x为线性判别深度信念网络的输入图像，G为输入图像的识别结果。G为1时是正脸、G为2时是左侧25°、G为3时是左侧15°、G为4时是右侧15°、G为5时是右侧25°。

实施例3

在FERET人脸数据库中选取500张多姿态人脸图像，如图2所示，采用MATLAB 2013b软件进行多姿态人脸图像识别，如图1所示，其方法如下：

1、多姿态人脸图像预处理

多姿态人脸图像预处理步骤与实施例1相同。

2、训练深度信念网络

设置深度信念网络输入层、隐层、输出层，输入层层数为1层、隐层层数为5层、输出层层数为1层，输入层节点数为625，5个隐层的节点数分别为400、400、400、400、400，输出层节点数为5，将训练图像输入到深度信念网络中进行训练，得到网络初始参数空间：

θ＝(W,b,c)

式中W为网络的权值，b为隐层的偏置，c为可视层的偏置。

3、用线性判别分析法初始化权值矩阵

用线性判别分析法初始化权值矩阵步骤与实施例1相同。

4、线性判别深度信念网络参数调优

线性判别深度信念网络参数调优步骤与实施例1相同。

5、多姿态人脸图像识别

将预处理后的测试图像输入到步骤4线性判别深度信念网络中，第k个隐层第n个节点的特征向量由下式得到：

式中，n为1,2,...,5，m为有限的正整数，k是隐层的层数取1,2,3,4,5层，D_k-1为第k-1个隐层的节点数，为第k个隐层第n个节点的偏置，为连接第k-1个隐层第m个节点和第k个隐层第n个节点的权值，为第k-1个隐层第m个节点的特征向量，x为线性判别深度信念网络的输入图像。

输入测试图像，在输出层得到多姿态人脸识别结果，由下式表示：

式中H为线性判别深度信念网络隐层总数，为输出层第n个节点的偏置,为连接第5个隐层第m个节点和输出层第n个节点的权值，为第5个隐层第m个节点的特征向量，x为线性判别深度信念网络的输入图像，G为输入图像的识别结果。G为1时是正脸、G为2时是左侧25°、G为3时是左侧15°、G为4时是右侧15°、G为5时是右侧25°。

实施例4

在CMU PIE多姿态人脸数据库中选取340张多姿态人脸图像，如图3所示，采用MATLAB 2013b软件进行多姿态人脸图像识别，如图1所示，其方法如下：

1、多姿态人脸图像的预处理

CMU PIE人脸数据库有68个人，每个人选取5种姿态构成一个CMU PIE多姿态人脸子库，5种姿态依次为：左侧、仰头、低头、正脸、右侧，共340张灰度图像，选取其中170张作为训练图像，另外170张作为测试图像，用双三次插值法进行采样，采样人脸图像大小为25×25像素，将每一张采样图像转化为一维行向量，每一行向量表示一张图像。

2、训练深度信念网络

训练深度信念网络步骤与实施例1相同。

3、用线性判别分析法初始化权值矩阵

用线性判别分析法初始化权值矩阵步骤与实施例1相同。

4、线性判别深度信念网络参数调优

线性判别深度信念网络参数调优步骤与实施例1相同。

5、多姿态人脸图像识别

将预处理后的测试图像输入到步骤4线性判别深度信念网络中，第k个隐层第n个节点的特征向量由下式得到：

式中，n为1,2,...,5，m为有限的正整数，k是隐层的层数取1,2,3层，D_k-1为第k-1个隐层的节点数，为第k个隐层第n个节点的偏置，为连接第k-1个隐层第m个节点和第k个隐层第n个节点的权值，为第k-1个隐层第m个节点的特征向量，x为线性判别深度信念网络的输入图像。

输入测试图像，在输出层得到多姿态人脸识别结果，由下式表示：

式中H为线性判别深度信念网络隐层总数，为输出层第n个节点的偏置，为连接第3个隐层第m个节点和输出层第n个节点的权值，为第3个隐层第m个节点的特征向量，x为线性判别深度信念网络的输入图像，G为输入图像的识别结果。G为1时是左侧、G为2时是仰头、G为3时是低头、G为4时是正脸、G为5时是右侧。

采用本实施例方法对CMU PIE多姿态人脸数据子库中170张测试图像进行识别，各种姿态的正确识别率见表2。

表2实施例4测试图像的各姿态识别率

	正确图像个数	错误图像个数	识别率(％)
				左侧	34	0	100.00
仰头	29	5	85.30
				低头	28	6	82.36
正脸	25	9	73.54
				右侧	32	2	94.12

由表2可见，采用本发明方法对CMU PIE多姿态人脸数据子库中170张测试图像进行识别，平均识别率达到87.06％。

实施例5

在CMU PIE人脸数据库中选取340张多姿态人脸图像，如图3所示，采用MATLAB2013b软件进行多姿态人脸图像识别，如图1所示，其方法如下：

1、多姿态人脸图像预处理

多姿态人脸图像预处理步骤与实施例4相同。

2、训练深度信念网络

训练深度信念网络步骤与实施例2相同。

3、用线性判别分析法初始化权值矩阵

用线性判别分析法初始化权值矩阵步骤与实施例1相同。

4、线性判别深度信念网络参数调优

线性判别深度信念网络参数调优步骤与实施例1相同。

5、多姿态人脸图像识别

将预处理后的测试图像输入到步骤4线性判别深度信念网络中，第k个隐层第n个节点的特征向量由下式得到：

式中，n为1,2,...,5，m为有限的正整数，k是隐层的层数取1,2层，D_k-1为第k-1个隐层的节点数，为第k个隐层第n个节点的偏置，为连接第k-1个隐层第m个节点和第k个隐层第n个节点的权值，为第k-1个隐层第m个节点的特征向量，x为线性判别深度信念网络的输入图像。

输入测试图像，在输出层得到多姿态人脸识别结果，由下式表示：

式中H为线性判别深度信念网络隐层总数，为输出层第n个节点偏置，为连接第2个隐层第m个节点和输出层第n个节点的权值，为第2个隐层第m个节点的特征向量，x为线性判别深度信念网络的输入图像，G为输入图像的识别结果。G为1时是左侧、G为2时是仰头、G为3时是低头、G为4时是正脸、G为5时是右侧。

实施例6

在CMU PIE人脸数据库中选取340张多姿态人脸图像，如图3所示，采用MATLAB2013b软件进行多姿态人脸图像识别，如图1所示，其方法如下：

1、多姿态人脸图像预处理

多姿态人脸图像预处理步骤与实施例4相同。

2、训练深度信念网络

训练深度信念网络步骤与实施例3相同。

3、用线性判别分析法初始化权值矩阵

用线性判别分析法初始化权值矩阵步骤与实施例1相同。

4、线性判别深度信念网络参数调优

线性判别深度信念网络参数调优步骤与实施例1相同。

5、多姿态人脸图像识别

将预处理后的测试图像输入到步骤4线性判别深度信念网络中，第k个隐层第n个节点的特征向量由下式得到：

式中，n为1,2,...,5，m为有限的正整数，k是隐层的层数取1,2,3,4,5层，D_k-1为第k-1个隐层的节点数，为第k个隐层第n个节点的偏置，为连接第k-1个隐层第m个节点和第k个隐层第n个节点的权值，为第k-1个隐层第m个节点的特征向量，x为线性判别深度信念网络的输入图像。

输入测试图像，在输出层得到多姿态人脸识别结果，由下式表示：

式中H为深度信念网络隐层总数，为输出层第n个节点偏置，为连接第5个隐层第m个节点和输出层第n个节点的权值，为第5个隐层第m个节点的特征向量，x为线性判别深度信念网络的输入图像，G为输入图像的识别结果。G为1时是左侧、G为2时是仰头、G为3时是低头、G为4时是正脸、G为5时是右侧。

Claims (2)

1.一种线性判别深度信念网络的多姿态人脸识别方法，其特征由下述步骤组成：

(1)多姿态人脸图像预处理

将多姿态人脸数据库中取出的灰度图像分为训练图像和测试图像，用双三次插值法进行采样，将每一张采样图像转化为一维行向量，每一行向量表示一张图像；

(2)训练深度信念网络

设置深度信念网络输入层、隐层、输出层，输入层层数为1层、隐层层数为2～5层、输出层层数为1层，输入层节点数为625，隐层节点数为100～400，输出层节点数为5，将训练图像输入到深度信念网络中进行训练,得到网络初始参数空间：

θ＝(W,b,c)

式中W为网络的权值，b为隐层的偏置，c为可视层的偏置；

(3)用线性判别分析法初始化权值矩阵

使用线性判别分析法初始化深度信念网络最后一个隐层与输出层之间的权值矩阵:

$W_{nopt}=\arg \underset{V}{max}\frac{\left|V^T{S}_{b^{\′}}V\right|}{\left|V^T{S}_{w}V\right|}---\left(1\right)$

得到线性判别深度信念网络，式中W_nopt为最优投影矩阵，作为深度信念网络最后一个隐层与输出层之间的权值矩阵，V为一个线性变换矩阵，V^T为V的转置矩阵，S_b'为样本类间离散度矩阵，S_w是样本类内离散度矩阵,式(1)中的类间离散度矩阵S_b'为：

$S_{b^{\′}}=\underset{i=1}{\overset{C-1}{\mathrm{\Σ}}}\underset{j=i+1}{\overset{C}{\mathrm{\Σ}}}\left(\underset{l=1}{\overset{N_i}{\mathrm{\Σ}}}\frac{1}{N_i}{y}_l^{\left(i\right)}{y}_l^{\left(i\right)T}-\underset{z=1}{\overset{N_j}{\mathrm{\Σ}}}\frac{1}{N_j}{y}_z^{\left(j\right)}{y}_z^{\left(j\right)T}\right)---\left(2\right)$

式中，i、j为1,...,C，C为人脸姿态类别数，N_i为输入的第i类有限图像总数，N_j为输入的第j类有限图像总数，为第i类中第l个图像，为第j类中第z个图像，为的转置，为的转置；

(4)线性判别深度信念网络参数调优

采用反向传播法微调步骤(3)网络的初始参数θ，使网络参数达到最优；

(5)多姿态人脸图像识别

将预处理后的测试图像输入到步骤(4)线性判别深度信念网络中，第k个隐层第n个节点的特征向量由下式得到：

$h_n^k\left(x\right)=1/(1+e^{-\left(b_n^k+\underset{m=1}{\overset{D_k-1}{\mathrm{\Σ}}}{w}_{mn}^k{h}_m^{k-1}\left(x\right)\right)})---\left(3\right)$

式中，n为1,2,...,5，m、k为有限的正整数，D_k-1为第k-1个隐层的节点数，为第k个隐层第n个节点的偏置，为连接第k-1个隐层第m个节点和第k个隐层第n个节点的权值，为第k-1个隐层第m个节点的特征向量，x为线性判别深度信念网络的输入图像；

输入测试图像，在输出层得到多姿态人脸识别结果，由下式表示：

$G=\underset{n}{\arg }max(b_n^{H+1}+\underset{m=1}{\overset{D_H}{\mathrm{\Σ}}}{w}_{mn}^{H+1}{h}_m^H(x\left)\right)---\left(4\right)$

式中H为线性判别深度信念网络隐层总数，D_H为第H个隐层的节点数，为输出层第n个节点的偏置,为连接第H个隐层第m个节点和输出层第n个节点的权值，为第H个隐层第m个节点的特征向量，x为线性判别深度信念网络的输入图像，G为输入图像的识别结果，G为1时是正脸或左侧、G为2时是左侧25°或仰头、G为3时是左侧15°或低头、G为4时是右侧15^°或正脸、G为5时是右侧25°或右侧。

2.根据权利要求1所述的线性判别深度信念网络的多姿态人脸识别方法，其特征在于在步骤(2)中，所述的深度信念网络由1个输入层、3个隐层、1个输出层构成，输入层的节点数为625，3个隐层的节点数分别为400、400、200，输出层的节点数为5。