CN103793718A - 一种基于深度学习的人脸表情识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的人脸表情识别方法，包含如下步骤：从人脸表情数据库中提取人脸表情图像；对人脸表情图像进行预处理；将预处理后的全部图像分为训练样本和测试样本两部分；将训练样本用于深度信念网络的训练；将深度信念网络的训练结果用于多层感知器的初始化；将测试样本输送到初始化后的多层感知器进行识别测试，实现人脸表情识别结果的输出；本发明的有益效果是：对于表情特征的提取，直接采用了表情图像的原始像素特征信息；将深度信念网络与多层感知器相融合，从而实现深度信念网络的分类功能；充分利用深度信念网络较强的无监督特征学习能力，提供一种高性能的基于深度学习的人脸表情识别方法。

Description

一种基于深度学习的人脸表情识别方法

技术领域

本发明涉及图像处理、模式识别、人工智能领域，特别是涉及一种基于深度信念网络的人脸表情识别方法。

背景技术

人脸表情识别是指从给定的表情图像中分析检测出特定的人脸表情状态,从而确定出被识别对象的心理情绪，比如生气、高兴、悲伤、害怕等。该研究已被广泛应用于人机交互、人工智能等方面，是当前模式识别和计算机视觉等领域的热点课题。

对表情图像进行特征提取是人脸表情识别中的关键问题，特征的有效性决定着人脸表情识别性能的高低。现有的人脸表情特征提取方法主要有几何特征提取方法、外貌特征提取方法、特征点跟踪法、弹性图匹配法等。这些特征提取方法，计算都比较复杂，实际使用时一般都需要靠人工手动操作才能完成。此外，这种人工特征提取的方法容易导致部分表情特征表述信息的丢失，使得所取得的识别性能不太令人满意，有待进一步提高。

再介绍深度学习技术。

深度学习（见文献：Yu D,Deng L.Deep learning and its applicationsto signal and information processing.IEEE Signal Processing Magazine,2011,28(1):145-154）作为一种新的机器学习理论，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释图像、声音和文本等数据。深度学习的本质是通过组合低层特征形成更加抽象的高层表示属性特征，以发现数据的分布式特征表示。所以，深度学习也被称为无监督特征学习。Hinton等人提出一种由多个受限玻尔兹曼机(RBM)叠加而成的深度信念网络（DBN）的深度学习方法（见文献：Hinton GE,Osindero S,Teh Y-W.A fastlearning algorithm for deep belief nets.Neural computation,2006,18(7):1527-1554），开启了深度学习在学术界和工业界的新浪潮。当前，深度信念网络（DBN）已成为一种代表性的深度学习技术，被广泛应用于信号处理和计算机视觉等领域。

目前，在已有的人脸表情识别研究文献中，对于采用深度学习用于人脸表情识别方面的相关报道甚少。本发明利用深度学习所具有的较强的无监督特征学习能力，提供一种基于深度学习的人脸表情识别方法。

发明内容

本发明的目的就是为了克服上述现有人脸表情识别技术的不足，提供一种基于深度学习的人脸表情识别方法，以便进一步提高人脸表情识别的性能。

本发明所采用的技术方案是：

一种基于深度学习的人脸表情识别方法，该方法包含以下技术步骤：

步骤1、从人脸表情数据库中提取人脸表情图像；

步骤2、对人脸表情图像进行预处理；

步骤3、将预处理后的全部图像分为训练样本和测试样本两部分；

步骤4、将训练样本用于深度信念网络（DBN）的训练；

步骤5、将深度信念网络（DBN）的训练结果用于多层感知器（MLP）的初始化；

步骤6、将测试样本输送到初始化后的多层感知器（MLP）进行识别测试，实现人脸表情识别结果的输出。

其中，

（1）人脸表情图像的预处理，包括：

对人脸表情数据库中的每一幅表情图像进行采样，以便降低表情图像的特征维数，并将表情图像的每个像素值归一化到方差为1和均值为0。

（2）深度信念网络（DBN）的训练，包括：

预训练(pre-training)和调优(fine-tuning)两个步骤。训练过程中采用的图像样本来源于人脸表情数据库中的训练样本。

（2-1）深度信念网络（DBN）的预训练(pre-training)，包括：

采用自下而上的无监督学习方式进行预训练，即使用无标签（unlabeled）的样本数据，从底层开始，一层一层的往顶层进行训练。

深度信念网络（DBN）的预训练具体过程如下：

由于RBM是一种能量模型，它的可视层和隐层之间关系可以用能量函数表示为

$E(v,h;\mathrm{\θ})=-\underset{i=1}{\overset{V}{\mathrm{\Σ}}}\underset{j=1}{\overset{H}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}{v}_i{h}_j-\underset{i=1}{\overset{V}{\mathrm{\Σ}}}{b}_i{v}_i-\underset{j=1}{\overset{H}{\mathrm{\Σ}}}{a}_j{h}_j$ （式1）

其中，v_i,h_j分别代表可视层节点和隐层节点的状态，一般取0或1；a_j和b_i表示对应的偏置，w_ij表示它们之间的连接权重。模型产生可视层矢量的联合概率为

$p(v;\mathrm{\θ})=\underset{h}{\mathrm{\Σ}}{e}^{-E(v,h)}/\underset{u}{\mathrm{\Σ}}\underset{h}{\mathrm{\Σ}}{e}^{-E(v,h)}$ （式2）

可视层和隐层之间的条件概率计算如下：

$p(h_j=1|v)=\mathrm{\σ}(\underset{i=1}{\overset{V}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}{v}_i+a_j)$ （式3）

$p(v_i=1|h)=\mathrm{\σ}(\underset{j=1}{\overset{H}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}{h}_j+b_i)$ （式4）

其中，σ(x)=(1+e^-x)^-1是Sigmoid函数，即神经元的非线性作用函数。通过对概率的对数求偏导，可以得到RBM模型权重参数的更新值：

$\mathrm{\&Delta;w}=\mathrm{\&epsiv;}\frac{\&PartialD;\ln p\left(v\right)}{\&PartialD;w_{\mathrm{ij}}}=\mathrm{\&epsiv;}({<v_i{h}_j>}_{\mathrm{data}}-{<v_i{h}_j>}_{\text{model}})$ （式5）

其中，ε表示学习率，<·>是对数据求期望。实际模型的无偏样本往往很难获得，一般采用对比散度的方法对重构数据的采样近似来更新网络权重。下一层的输入来自于上一层的输出，以此传递，而作为最底层的输入一般来自于观测变量，也就是对象的原始特征数据，如图像的像素值。

（2-2）深度信念网络（DBN）的调优(fine-tuning)，包括：

采用自顶向下的监督学习学习方式进行调优，即使用标签（labeled）的样本数据进行训练，误差自顶向下传输，对网络进行调优。通过调优之后，使得深度信念网络（DBN）模型中的每一层隐层的网络权重值都能够达到最优值。

深度信念网络（DBN）的调优具体过程如下：

根据输入数据和重构数据的误差函数，利用反向传播（BP）算法重新调整网络的参数，最终使网络达到全局最优的过程。输入数据和重构数据的误差函数为

$L(x,x^{\&prime;})={\left|\right|x-x^{\&prime;}\left|\right|}_2^2$ （式6）

其中，x是输入数据，x′是重构数据，||·||₂表示重构误差的2范数形式，对误差函数求权重的偏导，可以得到权重的更新值。

（3）多层感知器（MLP）的初始化，包括：

首先建立一个在隐层层数、隐层节点数上与深度信念网络（DBN）完全一样的多层感知器（MLP）模型。然后，将训练好之后的深度信念网络（DBN）模型中的每一层隐层的网络权重值，直接输入给多层感知器（MLP）模型中相应的每一层隐层网络当中，从而使得多层感知器（MLP）模型与训练好之后的深度信念网络（DBN）模型，在隐层层数、隐层节点数、以及每一层隐层的网络权重值三个方面上都保持一样。

（4）人脸表情识别结果的输出，包括：

对于人脸表情数据库中的测试样本，采用初始化之后的多层感知器（MLP）模型进行人脸表情图像样本的识别测试，输出人脸表情识别结果。人脸表情识别测试时，采用5次交叉验证方法，即将全部表情图像样本平均分成5份，每次使用其中的4份数据作为训练样本用于训练，剩下的1份数据作为测试样本用于识别测试。这样的识别实验相应重复5次，最后取5次的平均值作为识别结果。

与现有技术相比，本发明的优点和效果在于：

1.对于表情特征的提取，直接采用表情图像的原始像素特征信息，方法简单，不需要任何的人工手动操作。

2.考虑到深度信念网络（DBN）自身只能用于特征学习，没有分类功能的特点，将深度信念网络（DBN）与多层感知器（MLP）相融合，从而实现深度信念网络（DBN）的分类功能，用于人脸表情的识别。

3.充分利用深度信念网络（DBN）较强的无监督特征学习能力，提供一种高性能的基于深度学习的人脸表情识别方法。

本发明的其他优点将在下面继续描述。

附图说明

图1——基于深度学习的人脸表情识别系统框图。

图2——本发明方法与其它方法对16×16、32×32、64×64三种不同分辨率大小的图像取得的人脸表情正确识别率（%）的比较。

图3——本发明方法表现最好时的各种表情的正确识别率（%）。

图4——JAFFE数据库中人脸表情图像的示例。

具体实施方式

下面结合附图和实施例，对本发明所述的技术方案进一步说明。

图1为本系统框图，主要包括：

步骤1、从人脸表情数据库中提取人脸表情图像；

步骤2、对人脸表情图像进行预处理；

步骤3、将预处理后的全部图像分为训练样本和测试样本两部分；

步骤4、将训练样本用于深度信念网络（DBN）的训练；

步骤5、将深度信念网络（DBN）的训练结果用于多层感知器（MLP）的初始化；

步骤6、将测试样本输送到初始化后的多层感知器（MLP）进行识别测试，实现人脸表情识别结果的输出。

一、本系统框图每一个步骤的实现，结合实施例具体表述如下：

（1）从人脸表情数据库中提取人脸表情图像

从JAFFE表情数据库（见文献：Lyons M,Budynek J,Akamatsu S.Automaticclassification of single facial images.IEEE Transactions on PatternAnalysis and Machine Intelligence,1999,21(12):1357-1362）中，提取中性、高兴、悲伤、惊奇、生气、讨厌和害怕七种表情图像，共213幅。每一种表情有大约3、4幅图像，每个图像的像素为256×256。JAFFE样本图像示例，如图4所示。

（2）人脸脸表情图像的预处理

对JAFFE表情数据库中的原始像素为256×256的所有表情图像进行采样，得到16×16、32×32、64×64三种不同分辨率大小的图像样本，并将采样之后的表情图像的每个像素值归一化到方差为1和均值为0。

（3）将预处理后的全部图像分为训练样本和测试样本两部分

（4）深度信念网络（DBN）的训练

包括预训练(pre-training)和调优(fine-tuning)两个步骤。训练过程中采用的图像样本来源于人脸表情数据库中的训练样本。

深度信念网络（DBN）训练时的模型结构参数设置：可视层的节点数等于所提取的输入图像样本的特征维数，而隐层的层数分别取1，2，3层，每一层隐层的节点数分别取50，100，200，300，400，500进行依次测试，最后取测试中最好的识别结果作为深度信念网络（DBN）最终的识别结果。训练过程中，深度信念网络（DBN）预训练的循环次数为200，调优的循环次数为500，以便取得较好的收敛效果。

（4-1）深度信念网络（DBN）的预训练(pre-training)，包括：

采用自下而上的无监督学习方式进行预训练，即使用无标签（unlabeled）的样本数据，从底层开始，一层一层的往顶层进行训练。

深度信念网络（DBN）的预训练具体过程如下：

由于RBM是一种能量模型，它的可视层和隐层之间关系可以用能量函数表示为

$E(v,h;\mathrm{\&theta;})=-\underset{i=1}{\overset{V}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H}{\mathrm{\&Sigma;}}}{w}_{\mathrm{ij}}{v}_i{h}_j-\underset{i=1}{\overset{V}{\mathrm{\&Sigma;}}}{b}_i{v}_i-\underset{j=1}{\overset{H}{\mathrm{\&Sigma;}}}{a}_j{h}_j$

其中，v_i,h_j分别代表可视层节点和隐层节点的状态，一般取0或1；a_j和b_i表示对应的偏置，w_ij表示它们之间的连接权重。模型产生可视层矢量的联合概率为

$p(v;\mathrm{\&theta;})=\underset{h}{\mathrm{\&Sigma;}}{e}^{-E(v,h)}/\underset{u}{\mathrm{\&Sigma;}}\underset{h}{\mathrm{\&Sigma;}}{e}^{-E(v,h)}$

可视层和隐层之间的条件概率计算如下：

$p(h_j=1|v)=\mathrm{\&sigma;}(\underset{i=1}{\overset{V}{\mathrm{\&Sigma;}}}{w}_{\mathrm{ij}}{v}_i+a_j)$

$p(v_i=1|h)=\mathrm{\&sigma;}(\underset{j=1}{\overset{H}{\mathrm{\&Sigma;}}}{w}_{\mathrm{ij}}{h}_j+b_i)$

其中，σ(x)=(1+e^-x)^-1是Sigmoid函数，即神经元的非线性作用函数。通过对概率的对数求偏导，可以得到RBM模型权重参数的更新值：

$\mathrm{\&Delta;w}=\mathrm{\&epsiv;}\frac{\&PartialD;\ln p\left(v\right)}{\&PartialD;w_{\mathrm{ij}}}=\mathrm{\&epsiv;}({<v_i{h}_j>}_{\mathrm{data}}-{<v_i{h}_j>}_{\text{model}})$

其中，ε表示学习率，<·>是对数据求期望。实际模型的无偏样本往往很难获得，一般采用对比散度的方法对重构数据的采样近似来更新网络权重。下一层的输入来自于上一层的输出，以此传递，而作为最底层的输入一般来自于观测变量，也就是对象的原始训练数据，如图像的像素值。

（4-2）深度信念网络（DBN）的调优(fine-tuning)，包括：

采用自顶向下的监督学习学习方式进行调优，即使用标签（labeled）的样本数据进行训练，误差自顶向下传输，对网络进行调优。通过调优之后，使得深度信念网络（DBN）模型中的每一层隐层的网络权重值都能够达到最优值。

深度信念网络（DBN）的调优具体过程如下：

根据输入数据和重构数据的误差函数，利用反向传播（BP）算法重新调整网络的参数，最终使网络达到全局最优的过程。输入数据和重构数据的误差函数为

$L(x,x^{\&prime;})={\left|\right|x-x^{\&prime;}\left|\right|}_2^2$

其中，x是输入数据，x′是重构数据，||·||₂表示重构误差的2范数形式，对误差函数求权重的偏导，可以得到权重的更新值。

（5）多层感知器（MLP）的初始化

首先建立一个在隐层层数、隐层节点数上与深度信念网络（DBN）完全一样的多层感知器（MLP）模型。然后，将训练好之后的深度信念网络（DBN）模型中的每一层隐层的网络权重值，直接输入给多层感知器（MLP）模型中相应的每一层隐层网络当中，从而使得多层感知器（MLP）模型与训练好之后的深度信念网络（DBN）模型，在隐层层数、隐层节点数、以及每一层隐层的网络权重值三个方面上都保持一样。

（6）人脸表情识别结果的输出

对人脸表情数据库的测试样本图像，采用初始化之后的多层感知器（MLP）模型进行识别测试，输出人脸表情识别结果。人脸表情识别测试时，采用5次交叉验证方法，即将全部表情图像样本平均分成5份，每次使用其中的4份数据作为训练样本用于训练，剩下的1份数据作为测试样本用于识别测试。这样的识别实验相应重复5次，最后取5次的平均值作为识别结果。

二、识别系统的评价

为了提高人脸表情识别结果的可信度，识别中采用5次交叉验证方法。

在16×16、32×32、64×64三种不同分辨率大小的图像样本上进行人脸表情识别测试，将本发明方法与其它五种现有方法，包括最近邻法（NN）、标准多层感知器（Standard-MLP）、支持向量机（SVM）、最近邻子空间法（NS）以及稀疏表示分类法（SRC）进行比较。图2给出了本发明方法与其它五种现有方法的识别结果的比较。值得说明的是，标准多层感知器（Standard-MLP）指的是采用含有一个隐层的模型结构，并且该隐层网络权重值的初始化是随机产生的。与深度信念网络（DBN）一样，标准多层感知器（Standard-MLP）的隐层节点数分别取50，100，200，300，400，500进行依次测试，最后取最好的测试结果作为标准多层感知器（MLP）最终的识别结果。支持向量机（SVM）采用“一对一”多类分类算法，核函数为径向基函数，并对核函数参数值进行最优化，即在训练样本数据上使用交叉验证方法实现。

由图2所列出的各种方法的识别结果可知，本发明方法对16×16、32×32、64×64三种不同分辨率大小的图像样本所取得的人脸表情正确识别率都是最高的，明显优于其它五种方法。可见，以表情图像的原始像素特征信息（如16×16、32×32、64×64）作为提取的表情特征，采用本发明方法能够取得优异的人脸表情识别性能。图3给出了本发明方法表现最好时，即取得90.95%的最高的人脸表情正确识别率，各种表情类型的正确识别率。其中，图3中对角线粗体数据表示每一种具体的表情类型所获得的正确识别率。

Claims (3)

1.一种基于深度学习的人脸表情识别方法，其特征在于，该方法包含如下步骤：

步骤1、从人脸表情数据库中提取人脸表情图像；

步骤2、对人脸表情图像进行预处理；

步骤3、将预处理后的全部图像分为训练样本和测试样本两部分；

步骤4、将训练样本用于深度信念网络（DBN）的训练；

步骤5、将深度信念网络（DBN）的训练结果用于多层感知器（MLP）的初始化；

步骤6、将测试样本输送到初始化后的多层感知器（MLP）进行识别测试，实现人脸表情识别结果的输出；

其中，

（1）人脸表情图像的预处理，包括：

对人脸表情数据库中的每一幅表情图像进行采样，以便降低表情图像的特征维数，并将表情图像的每个像素值归一化到方差为1和均值为0；

（2）深度信念网络（DBN）的训练，包括：

深度信念网络（DBN）的预训练(pre-training)和深度信念网络（DBN）的调优(fine-tuning)两个步骤。训练过程中采用的图像样本来源于人脸表情数据库中的训练样本；

（3）多层感知器（MLP）的初始化，包括：

首先建立一个在隐层层数、隐层节点数上与深度信念网络（DBN）完全一样的多层感知器（MLP）模型。然后，将训练好之后的深度信念网络（DBN）模型中的每一层隐层的网络权重值，直接输入给多层感知器（MLP）模型中相应的每一层隐层网络当中，从而使得多层感知器（MLP）模型与训练好之后的深度信念网络（DBN）模型，在隐层层数、隐层节点数、以及每一层隐层的网络权重值三个方面上都保持一样；

（4）人脸表情识别结果的输出，包括：

对于人脸表情数据库中的测试样本，采用初始化之后的多层感知器（MLP）模型进行人脸表情图像样本的识别测试，输出人脸表情识别结果。人脸表情识别测试时，采用5次交叉验证方法，即将全部表情图像样本平均分成5份，每次使用其中的4份数据作为训练样本用于训练，剩下的1份数据作为测试样本用于识别测试。这样的识别实验相应重复5次，最后取5次的平均值作为识别结果。

2.根据权利要求1所述的基于深度学习的人脸表情识别方法，其特征在于：

所述深度信念网络（DBN）的预训练(pre-training)，包括：

采用自下而上的无监督学习方式进行预训练，即使用无标签（unlabeled）的样本数据，从底层开始，一层一层的往顶层进行训练。深度信念网络（DBN）的预训练具体过程如下：

由于RBM是一种能量模型，它的可视层和隐层之间关系可以用能量函数表示为

$E(v,h;\mathrm{\&theta;})=-\underset{i=1}{\overset{V}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H}{\mathrm{\&Sigma;}}}{w}_{\mathrm{ij}}{v}_i{h}_j-\underset{i=1}{\overset{V}{\mathrm{\&Sigma;}}}{b}_i{v}_i-\underset{j=1}{\overset{H}{\mathrm{\&Sigma;}}}{a}_j{h}_j$ （式1）

其中，v_i,h_j分别代表可视层节点和隐层节点的状态，一般取0或1；a_j和b_i表示对应的偏置，w_ij表示它们之间的连接权重。模型产生可视层矢量的联合概率为

$p(v;\mathrm{\&theta;})=\underset{h}{\mathrm{\&Sigma;}}{e}^{-E(v,h)}/\underset{u}{\mathrm{\&Sigma;}}\underset{h}{\mathrm{\&Sigma;}}{e}^{-E(v,h)}$ （式2）

可视层和隐层之间的条件概率计算如下：

$p(h_j=1|v)=\mathrm{\&sigma;}(\underset{i=1}{\overset{V}{\mathrm{\&Sigma;}}}{w}_{\mathrm{ij}}{v}_i+a_j)$ （式3）

$p(v_i=1|h)=\mathrm{\&sigma;}(\underset{j=1}{\overset{H}{\mathrm{\&Sigma;}}}{w}_{\mathrm{ij}}{h}_j+b_i)$ （式4）

其中，σ(x)=(1+e^-x)^-1是Sigmoid函数，即神经元的非线性作用函数。通过对概率的对数求偏导，可以得到RBM模型权重参数的更新值：

$\mathrm{\&Delta;w}=\mathrm{\&epsiv;}\frac{\&PartialD;\ln p\left(v\right)}{\&PartialD;w_{\mathrm{ij}}}=\mathrm{\&epsiv;}({<v_i{h}_j>}_{\mathrm{data}}-{<v_i{h}_j>}_{\text{model}})$ （式5）

其中，ε表示学习率，<·>是对数据求期望。实际模型的无偏样本往往很难获得，一般采用对比散度的方法对重构数据的采样近似来更新网络权重。下一层的输入来自于上一层的输出，以此传递，而作为最底层的输入一般来自于观测变量，也就是对象的原始特征数据，如图像的像素值。

3.根据权利要求1所述的基于深度学习的人脸表情识别方法，其特征在于：

所述深度信念网络（DBN）的调优(fine-tuning)，包括：

采用自顶向下的监督学习学习方式进行调优，即使用标签（labeled）的样本数据进行训练，误差自顶向下传输，对网络进行调优。通过调优之后，使得深度信念网络（DBN）模型中的每一层隐层的网络权重值都能够达到最优值。深度信念网络（DBN）的调优具体过程如下：

根据输入数据和重构数据的误差函数，利用反向传播（BP）算法重新调整网络的参数，最终使网络达到全局最优的过程。输入数据和重构数据的误差函数为

$L(x,x^{\&prime;})={\left|\right|x-x^{\&prime;}\left|\right|}_2^2$ （式6）

其中，x是输入数据，x′是重构数据，||·||₂表示重构误差的2范数形式，对误差函数求权重的偏导，可以得到权重的更新值。

Images