CN104866810B

CN104866810B - 一种深度卷积神经网络的人脸识别方法

Info

Publication number: CN104866810B
Application number: CN201510170852.XA
Authority: CN
Inventors: 孙艳丰; 齐光磊; 胡永利
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2015-04-10
Filing date: 2015-04-10
Publication date: 2018-07-13
Anticipated expiration: 2035-04-10
Also published as: CN104866810A

Abstract

公开一种深度卷积神经网络的人脸识别方法，其降低时间复杂度，使得在减少训练样本的情况下网络中权值依然有较强的分类能力。其包括训练阶段和分类阶段，训练阶段包括步骤：(1)随机生成输入单元与隐单元之间的权值w_j和隐单元的偏置b_j，j＝1,…,L，j为权值和偏置的个数，共L个；(2)输入训练图像Y及其标签，利用前向传导公式h_W,b(x)＝f(W^Tx)，h_W,b(x)为输出值，x为输入，计算每层输出值h_W,b(x⁽ⁱ⁾)；(3)根据标签值和最后一层输出值计算出最后一层偏差；(4)根据最后一层偏差计算各层偏差，求得梯度方向；(5)更新权值；分类阶段包括步骤：(a)保持网络中所有的参数不变，记录每个测试样本由网络输出的类别向量；(b)计算残差δ＝||h_W,b(x⁽ⁱ⁾)‑y⁽ⁱ⁾||²；(c)根据残差最小，为测试图像分类。

Description

一种深度卷积神经网络的人脸识别方法

技术领域

本发明属于图像处理及模式识别的技术领域，具体地涉及一种深度卷积神经网络的人脸识别方法。

背景技术

特征提取一直是模式识别领域中的难点之一，传统的基于特征的识别方法都预先定义一种特征，再依据定义的特征进行分类识别。深度学习作为传统机器学习的发展，因其能逐层自动学习到更为合适的表示特征，而在众多领域得到广泛应用。一般的深度学习算法，在进行图像识别时，会丢失原始图像的结构信息，因而影响识别效果。卷积神经网络作为深度学习的方法之一，在继承深度学习自动学习提取特征的前提下，借助局部感受野的概念进行卷积运算，保证了原始信号的空间结构关系，同时通过共享权值减少了需要训练的参数，因而在模式识别等许多领域达到了更好的效果。目前卷积神经网络已经被应用到视频中的人体动作识别,信号重构，人脸检测,文档分析,语音检测,车牌识别等各个应用领域。

Y.LeCun首先将卷积神经网络应用于手写字符识别领域中并取得了很好的效果。借助卷积运算，可以使原信号特征增强，并且降低噪音。卷积运算后的下采样操作，利用了图像局部相关性原理，对图像进行子抽样，减少数据处理量同时保留有用信息。调整权值时，使用的传统的BP(Backpropagation，反向传播)算法，按极小化误差的方法，进行反向传播调整权矩阵。文中使用MNIST手写数字库，共计6万个训练样本和1万个测试样本。当运用所有训练样本进行训练时，随着迭代次数的增加，识别率从88.59(1次)上升到97.27(10次)。然而通过实验发现，当降低训练样本时，算法对测试样本的识别率会急速下降；尤其当训练所使用的样本不足2万时，识别率仅为59.21％。

有人提出，在对ORL数据库进行人脸识别时，首先通过自组织映射等方法进行降维的预处理，使得网络参数变少，计算复杂度降低；然后利用CNN(Convolution NeuralNetwork,卷积神经网络)网络进行训练，共有输入层、2个卷积层和2个下采样层。第一个卷积层选择20个3×3大小的卷积核，第二个卷积层选择25个3×3大小的卷积核，利用了传统的基于误差为目标函数的BP算法进行权值更新；最后通过多种分类器的加权求值和进行识别。实验表明了该方法对人脸识别的准确率有所提升。实验在对卷积神经网络进行权值更新时，一共进行了2万次的更新，然而，该方法时间性能较差，收敛速度较慢，对权值进行了高达2万次的迭代更新。当减少权值的更新迭代次数时，识别效果会显著下降。

因为目前的卷积神经网络，在定义求解权值的目标函数时候，一般是定义重构误差最小或者实际输出值和标签误差最小。这种深度神经网络学习模型需要大量的标签样本进行训练，而且时间复杂度极高，经常需要上万次的迭代更新才能获得较好的识别性能。然后在实际应用中，样本标注的成本是非常高的，时间复杂度的要求也是非常苛刻的(例如有时需要进行实时识别)。针对上述问题，为了降低时间复杂度并使得在减少训练样本的情况下网络中权值依然有较强的分类能力，本发明提出了基于Fisher准则的深度卷积识别算法FCNN(Fisher-based convolution neural network method,基于Fisher准则的卷积神经网络算法)。FCNN利用深度卷积网络对权值进行训练时，引入了Fisher判别准则，使得每次迭代训练更新权值时，每层参数的调整不仅保证实际输出值和标签误差尽量小，而且使同类样本距离更近、非同类样本距离更远。沿着这个目标不断更新迭代，使训练出的网络权值更有利于分类和识别。实验表明，当带标签样本减少或训练迭代次数较少时，也可以达到比较理想的效果。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种深度卷积神经网络的人脸识别方法，其降低了时间复杂度，并使得在减少训练样本的情况下网络中权值依然有较强的分类能力。

本发明的技术解决方案是：这种深度卷积神经网络的人脸识别方法，其包括训练阶段和分类阶段，所述训练阶段包括以下步骤：

(1)随机生成输入单元与隐单元之间的权值w_j和隐单元的偏置b_j，j＝1,…,L，j为权值和偏置的个数，共L个；

(2)输入训练图像Y及其标签，利用前向传导公式h_W,b(x)＝f(W^Tx)，其中，h_W,b(x)为输出值，x为输入，计算每层输出值h_W,b(x⁽ⁱ⁾)；

(3)通过公式(4)根据标签值和步骤(2)的最后一层输出值计算出最后一层偏差

(4)根据最后一层偏差计算各层偏差，从而求得梯度方向(BP算法的主要思想就是：要想求得总体网络的梯度方向，就要求出每层的偏差，反向传播算法就是首先求得最后一层的残差值，再追层求得所有层的残差，进而求得网络梯度方向)；

(5)根据公式(2)、(3)更新权值

所述分类阶段包括以下步骤：

(a)保持网络中所有的参数不变，记录每个测试样本由网络输出的类别向量；

(b)计算残差δ＝||h_W,b(x⁽ⁱ⁾)-y⁽ⁱ⁾||²；

(c)根据残差最小，为测试图像分类。

本发明的深度卷积神经网络的人脸识别方法利用深度卷积网络对权值进行训练时，引入了Fisher判别准则，使得每次迭代训练更新权值时，每层参数的调整不仅保证实际输出值和标签误差尽量小，而且使同类样本距离更近、非同类样本距离更远，沿着这个目标不断更新迭代，使训练出的网络权值更有利于分类和识别，因此降低了时间复杂度，并使得在减少训练样本的情况下网络中权值依然有较强的分类能力。

附图说明

图1示出了CNN卷积和下采样过程。

图2是深度卷积神经网络结构示意图。

图3是单次卷积运算示意图。

图4示出了MNIST数据库训练样本减少时各方法识别率。

图5示出了ORL库中训练样本不同时不同方法的误差率。

具体实施方式

这种深度卷积神经网络的人脸识别方法，其包括训练阶段和分类阶段，所述训练阶段包括以下步骤：

(5)根据公式(2)、(3)更新权值

所述分类阶段包括以下步骤：

(b)计算残差δ＝||h_W,b(x⁽ⁱ⁾)-y⁽ⁱ⁾||²；

(c)根据残差最小，为测试图像分类。

优选地，所述训练阶段还包括步骤(6)：

其中J₁为类内相似度度量函数，定义为所有样本与其类别均值的距离之和，J₂为类间相似度度量函数，定义为所有样本类别均值的距离之和，M⁽ⁱ⁾为第i类样本的均值；当使用J₁作为代价函数进行梯度算法计算时，每一步迭代，使得样本预测值到样本所属类别的平均预测值更小；当使用J₂作为代价函数进行梯度算法计算时，每一步迭代，使得不同类别间的距离更大。

下面更详细地说明本方法。

1深度卷积神经网络

卷积神经网络(CNN)是首先成功训练多层网络结构的学习算法。以输入、输出的重构误差为能量函数，通过前向、后向传播过程优化调整网络的联结权值使能量函数达到最小。其中前向传播中采用权值共享原则减少了训练的权值个数，降低了复杂度。后向传播过程以标签值和预测值误差最小为代价函数，进行权值微调。

卷积核下采样过程如图1，卷积过程先用一系列可训练的滤波器(卷积核)f_X对输入图像进行卷积运算，再经过加入偏置b_X得到卷积层C_X；子采样过程先用每邻域四个像素求平均合并为一个像素，然后通过W_X+1加权，再加偏置b_X+1，最后通过一个激活函数，一般选择sigmoid函数，产生缩小为四分之一的映射图像S_X+1。卷积过程目的是不同的卷积核可以提取到不同的特征，而且通过权值共享降低了运算复杂程度。下采样过程相当于模糊滤波，起到二次特征提取的作用，降低维度的同时可以增加对图像特征提取的鲁棒性。

组合多个上述卷积下采样过程，就构成了深度卷积神经网络。典型的深度卷积神经网络结构示意图如图2所示。对于给定的一幅28×28的图像，第一次卷积，选取6个5×5的卷积核，经过遍历输入图像，得到大小为24×24的特征图，下采样层一般采用均值下采样，每四个像素进行平均。第二个卷积层使用12个5×5大小的卷积核，再经过第二次下采样后，和最终输出层进行全连接。

单次卷积过程如图3所示，假设给定了6×6的大尺寸图像，用可训练的3×3的小尺寸卷积核进行卷积运算，就可以得到(6-3+1)×(6-3+1)＝4×4的卷积特征矩阵。实际操作中根据不同的情况选择不同数量的可训练的卷积核对原始图像就行卷积预算。

为了利用卷积网络的三种结构思想：局部感受野、权值共享(或者权值复制)以及时间或空间下采样。下采样的目的是为了使得信号使信号获得某种程度的位移、尺度、形变不变性，同时又能使训练出来的权值更有利于分类，而非仅仅考虑重构误差。本发明在BP反向传播调整权值的算法中，提出了加入判别准则的能量函数，使权值学习过程中，得到更有利于分类的特征，同时在迭代求解权值的搜索空间受到判别条件约束影响，从全局搜索缩小到更有利于分类的空间。

2卷积神经网络代价函数及反向传播(BP)算法

设m样本组成的样本集为{(x⁽¹⁾，y⁽¹⁾)，…，(x^(m)，y^(m))}，它们分属于n个类别，y⁽ⁱ⁾是样本x⁽ⁱ⁾对应的类别标签。卷积神经网络最基本的代价函数为：

其中，W为各层单元之间的联接参数即权值，b为偏置项。h_W,b(x⁽ⁱ⁾)为神经网络最后一层的输出即预测值。训练网络的目标是针对参数W和b来求其函数J(W,b)的最小值。使用梯度下降法对目标函数进行优化，迭代公式如下

其中α是学习速率。(2)式(3)式的偏导数使用反向传播算法(BP)，BP算法是计算偏导数的一种有效方法。运用反向传播算法时，首先进行前向传播，计算出网络最后的输出值h_W,b(x⁽ⁱ⁾)。之后计算出网络的输出值与实际标签直接的差距，这个差距定义为(第nl表示输出层)。然后通过最终输出层的残差计算得到每层的残差，从而计算出(2)式(3)式的偏导数。

传统神经网络最后一层的残差计算公式如下

其中，用表示第ll层第i单元输入加权和。是最后一层第i单元输入加权和。

3加入判别信息的深度卷积算法

为了使算法更有利于分类，借鉴Fisher准则的思想，提出了基于类内和类间距离的能量函数。J₁为类内相似度度量函数，定义为所有样本与其类别均值的距离之和。J₂为类间相似度度量函数，定义为所有样本类别均值的距离之和。

其中M⁽ⁱ⁾为第i类样本的均值，即

当使用J₁作为代价函数进行梯度算法计算时，每一步迭代，使得样本预测值到样本所属类别的平均预测值更小。当使用J₂作为代价函数进行梯度算法计算时，每一步迭代，使得不同类别间的距离更大。

为了验证本发明提出的FCNN算法的有效性，本发明选用MNIST、ORL人脸数据库和AR人脸数据库进行了大量实验测试。

1MNIST数据库上的实验结果

MNIST手写数字库，共计6万个训练样本和1万个测试样本。由于本发明提出的方法主要针对样本标签不足时或者迭代次数较少的识别率，为了证明本发明的FCNN算法的有效性，设计下面两个实验。两个实验均采用同样的深度CNN网络，包含2个卷积层和2个下采样层。卷积核大小均为5×5。学习速率为1。第一个卷积层有6个卷积核，第二个卷积层有12个卷积核。

1.1当训练样本不足6万时的识别情况

在这个实验中，将训练样本从1万依次增加到6万，分别用经典CNN和FCNN进行训练网络，同样都用1万个测试样本进行测试。可以发现，当训练样本少于或等于测试样本时候，都基本无法正确识别。但当训练样本只有2万时候，本发明方法识别率比传统CNN方法提高15.23％。当训练样本多于3万时，本发明方法比传统CNN方法识别率提高并不明显。所以，本发明提出的FCNN算法，在带标签训练样本不太充足时，对于提高识别率效果显著。

从MNIST数据库实验结果可以看出，在标签样本和训练次数较少的情况下，本发明方法可以比不加判别约束的经典方法达到更好的识别效果。用同样的数据和其他多种机器学习方法的比较，识别率如图4，横轴为训练样本个数，从6万减少到2万，纵轴为识别率。

表1

实验中的其他方法为传统神经网络方法Neural Networks(NN)，深度置信网络Deep Belief Networks(DBN)，稀疏自编码网络Sparse Autoendoer(SAE)。

训练次数均为1次。可以看出，当训练样本只有2万的时候，本发明方法的识别率最高，当样本数量增加到6万时候，各种方法识别效果相差不大。

1.2当训练次数不同时的识别情况

实验中选取6万个训练样本，训练次数从1次增加到10次，实验结果如表2所示。实验表明，当训练次数大于10次时，FCNN和CNN识别效果差别不大；当训练次数减少到只有1次的时候，本发明方法识别率比传统CNN方法提高1.15％。

表2

大多数的机器学习方法当增加训练次数时，都会相应提高识别率，但训练的次数越多消耗的时间就会越长，而实际应用中往往要求能在较短的时间内快速完成识别。通过本实验表明，本发明提出的FCNN算法更能够满足实际需求，尤其是针对手写字数据库，在同样训练次数都较小时，FCNN较其他方法的识别率有明显的提高。

2在ORL数据库上的实验

ORL数据库由剑桥大学AT&T实验室创建,包含40人，每人10张照片，共400张面部图像,图像包括了姿态、表情和面部饰物的变化。

因为ORL数据库的样本数量较少，经实验发现，必须经过大量的迭代训练(至少几百次以上)才能达到较满意的效果。对ORL库上进行的实验，仅对图像做了简单的归一化处理，没有做其他任何处理、对齐或标定，图像大小为64×64像素。

2.1当训练次数不同时，FCNN和CNN的识别率

本实验抽取每个人的8张图像作为训练样本，再抽取2张图像作为测试样本，即训练图像320张，测试图像80张,样本大小均为64×64，标签种类40类，卷积核大小为5×5。实验的参数及结果见表3.

表3

可以看出，对于ORL数据库，当训练样本个数一致的情况下。训练次数减少时，本发明方法识别效果提高越显著。

2.2对于ORL数据库，当训练样本不同时，不同方法的识别误差

对于ORL数据库,采用不同的方法进行实验。从每类人的10张图片中分别取2张、4张、6张和8张进行训练，2张进行测试。实验结果见图5，其中SAE2为多层稀疏自动编码网络(stacked sparse autoendoer)。所有实验均训练500次。(纵轴为每类方法当样本变化时候的错误率，横轴为每类样本选取的训练个数)。

对于人脸库中的识别问题，由于训练样本较少，深度学习的算法总体的识别率都不是很理想。实验数据表明，当样本训练样本数量增加时，每类方法得到的识别错误率都会下降。

对于ORL人脸数据库，当样本较少的时候，实验表明，本发明方法的错误率较小。尤其是当每个类别训练样越少的时候，本发明方法优势越明显。因为当用BP算法进行权值更新时，加入类别约束项以后搜索空间变小，梯度下降方向更有利于分类，最终虽然网络的实际输出值和标签值误差相对稍大，但判别信息相对增加。因此，当训练样本较少的情况下，加入类内类间约束的模型能具有更好的分类性能。

2.3对于AR数据库，当训练样本不同时，不同方法的识别误差

AR人脸图像库实验由Purdue大学建立，包含126人的彩色照片，每类人有光照，尺度和表情变化。共2600张图片。我们从中选出120人，每人14张图像进行试验。实验中，从每类人的14张图片中分别取4张、7张和10张进行训练，其他图像进行测试。实验结果见表4。

表4

对于AR人脸数据库，当每类人的14张图片中取10张图像进行训练，其余图像进行测试时，大多数方法都可以达10％左右的识别错误率。但当每类人的训练图像减少时，本发明提出的改进CNN算法相对其他方法，识别率更高一些。换言之，当带标签的训练数据较少时，应用本发明方法更为有效。所得到的结论和在ORL人脸数据库中一致。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims

1.一种深度卷积神经网络的人脸识别方法，其特征在于：其包括训练阶段和分类阶段，所述训练阶段包括以下步骤：

(4)根据最后一层偏差计算各层偏差，从而求得梯度方向，BP算法的主要思想就是：要想求得总体网络的梯度方向，就要求出每层的偏差，反向传播算法就是首先求得最后一层的残差值，再追层求得所有层的残差，进而求得网络梯度方向；

(5)根据公式(2)、(3)更新权值

所述分类阶段包括以下步骤：

(b)计算残差δ＝||h_W,b(x⁽ⁱ⁾)-y⁽ⁱ⁾||²；

(c)根据残差最小，为测试图像分类；

所述训练阶段还包括步骤(6)：

其中α是学习速率，J₁为类内相似度度量函数，定义为所有样本与其类别均值的距离之和，J₂为类间相似度度量函数，定义为所有样本类别均值的距离之和，M⁽ⁱ⁾为第i类样本的均值；当使用J₁作为代价函数进行梯度算法计算时，每一步迭代，使得样本预测值到样本所属类别的平均预测值更小；当使用J₂作为代价函数进行梯度算法计算时，每一步迭代，使得不同类别间的距离更大。