CN102629321B - 基于证据理论的人脸表情识别方法 - Google Patents

Abstract

一种基于证据理论的人脸表情识别方法。本发明用的是表情数据库是日本女性人脸表情数据库JAFFE和自照表情数据库，所述方法首先将表情库中的图像分割出只含人脸及只含左眼的图像，经过图像预处理，尺度归一化，然后对这些人脸图像及左眼图像进行2DGabor小波变换提取特征，并进行表情识别，得到两个独立的识别结果。最后，利用证据理论对两个识别结果进行决策融合。仿真实验表明：通过融合全局特征和局部特征，表情识别效果很显著。

Description

基于证据理论的人脸表情识别方法

技术领域

本发明属于模式识别技术领域，具体涉及一种基于证据理论的人脸表情识别方法。

背景技术

人脸表情识别技术就是通过分析特定人的脸部表情及变化，进而确定其内心情绪或思想活动。近十几年来出现了很多人脸表情识别方法，但还没有一个普遍的方法模型。大致来说，人脸表情识别算法可以分成两大类，一类是针对静态图像，提取静态图像的形变特征，常用的方法有：主成分分析法PCA(Principal Component Analysis)、Gabor小波变换法、基于模型的方法等，最后进行分类；还有一类是针对序列图像，常用的方法有：光流法、特征点跟踪法和差分图像法，然后进行分类，这类方法模型复杂，计算量大，实现实时性要求较难。为了进一步提高识别率，可以有两种途径，一种是利用图像序列的时间动态信息再利用HMM模型，对单幅静态表情图像，则可以利用信息融合的方法来进一步提高表情识别率。信息融合已成为现代信息处理的通用工具和思维模式。目前以模糊理论、神经网络、证据理论等为代表的智能方法占有相当大的比例。对于人脸表情识别，提取人脸表情的全局特征和局部特征，融合这些特征信息会得到更好的识别率。

发明内容

本发明目的是解决现有单一信息源表情识别率低的问题，提出一种基于证据理论的人脸表情识别方法。该方法利用证据理论融合人脸全局特征识别结果和左眼局部特征识别结果。

本发明提供的基于证据理论的人脸表情识别方法，包括以下步骤：

步骤1：采用JAFFE日本成年女性人脸表情数据库作为训练集，该数据库由10个人的213幅图像组成，每个人包含生气、高兴、害怕、厌恶、惊奇、悲伤、中性共7种表情各2～4幅图像；自照表情数据库由10个人的70幅图像组成，每个人7种表情各1幅图像，用该库作为测试集；

步骤2：将人脸表情数据库里的图像剪切出只含人脸和只含左眼的图像，经过图像预处理，然后对人脸图像尺度归一化为125×125，左眼图像尺度归一化为65×46，然后进行2DGabor小波变换，提取图像的均值和方差作为特征；

步骤3：利用欧式距离分类器对表情进行分类；

步骤4：利用证据理论对利用证据理论对人脸图像识别结果和左眼图像识别结果两个识别结果进行决策融合；

其中，步骤2所述的2DGabor小波变换及图像均值和方差的具体计算方法如下：

2DGabor小波变换描述了图像

上给定一点

附近区域的灰度特征，这可以用一个卷积来定义： $J_J\left(\stackrel{\→}{x}\right)=\∫I\left({\stackrel{\→}{x}}^{\′}\right){\mathrm{\ψ}}_I(\stackrel{\→}{x}-{\stackrel{\→}{x}}^{\′})d^2{\stackrel{\→}{x}}^{\′}$

2DGabor滤波器函数表示为： ${\mathrm{\ψ}}_I\left(\stackrel{\→}{x}\right)=\frac{{\left|\right|{\stackrel{\→}{k}}_J\left|\right|}^2}{{\mathrm{\σ}}^2}\exp (-\frac{{\left|\right|{\stackrel{\→}{k}}_J\left|\right|}^2{\left|\right|\stackrel{\→}{x}\left|\right|}^2}{2{\mathrm{\σ}}^2})[\exp \left(i{\stackrel{\→}{k}}_J\stackrel{\→}{x}\right)-\exp (-\frac{{\mathrm{\σ}}^2}{2})],$ 式中：

是滤波器的中心频率；

是给定位置的图像像素点的坐标，i为复数算子，σ为小波滤波器的带宽；

表示滤波器的方向；参数k_υ和

的取值如下：

这里选择υ＝{0，1，2，3，4}，μ＝{0，1，…，7}，即5个尺度和8个方向组成的40个2DGabor小波组成的小波族用于表情图像特征的提取；

利用2DGabor小波对表情图像进行卷积，卷积后计算其均值和方差组成80维的特征向量， $u_{\mathrm{mn}}=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}I(i,j)}{M\×N}$ 为均值， ${\mathrm{\δ}}_{\mathrm{mn}}=\sqrt{\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}(I(i,j)-u_{\mathrm{mn}})}{M\×N}}$ 为方差。

步骤3所述的欧氏距离为：

设n维欧式空间是一个点集，它的任一个点可以表示为(x₁，x₂，…，x_n)，两个点x和y之间的距离d(x，y)定义为：d(x，y)＝(∑(x_i-y_i)²)^1/2；相同的表情间的欧氏距离较近，而不同的表情之间则存在一定的距离；计算待识别表情图像与所有的训练图像的欧氏距离，选择最小的欧氏距离所对应的表情为识别出的结果，最后统计识别结果。

步骤4所述的证据理论融合方法为：

假定辨识框架Θ下有两个相互独立的证据源，其焦元分别为A_i和B_j，其对应的基本信任度分配函数分别为m₁和m₂，设X，A_i，

则DST合成规则为：

$m\left(X\right)=m_1\⊕m_2=\left\{\begin{array}{cc}\frac{\underset{A_i\∩B_j=X}{\mathrm{\Σ}}{m}_1\left(A_i\right)m_2\left(B_j\right)}{1-K}& (X\≠\mathrm{\φ})\\ 0& (X=\mathrm{\φ})\end{array}\right.$

式中

K称为矛盾因子，它反映了两个证据之间的矛盾程度。

本发明的理论依据：

2DGabor小波变换广泛应用于图像处理和模式识别领域，是因为2DGabor小波能很好地描述哺乳动物初级视觉神经元的感受特性，在消除空域和频域二维联合不确定性方面是最优的，它可以看成是方向和尺度可调的边界和直线检测器，是很好的图像分析方法；而且2DGabor小波变换在提取特征时处理的数据量少而且受光照影响比较小。所以可以通过2DGabor小波变换，提取图像的均值和方差作为纹理特征。表情特征向量可以看做是n维空间中的一点，而欧氏距离是n维空间中两个点之间的真实距离，即两项间的差是每个变量值差的平方和再平方根，计算其间的整体距离，即不相似性。因此相同的表情间的欧氏距离较近，而不同的表情之间则存在一定的距离，欧式距离能在表情识别中得到很好的应用。本文正是利用欧氏距离来求测试表情图像和训练样本之间的相似度。

Dempster-Sharer证据理论是决策级信息融合方法的一种，它可以处理那些由于对研究对象的不可知而引起的不确定性问题，是不确定推理领域的主流理论之一。自提出以来，已经成功地解决了各个领域的许多不确定信息的处理问题。

本发明的优点和有益效果：

本发明融合人脸表情的全局特征和局部特征的识别结果，最后的识别效果得到明显提高。

附图说明

图1是表情数据库里的惊讶图像剪切为只含人脸的图像和左眼图像；

图2是左眼图像2DGabor小波变换后的图像。

具体实施方式

实施例1

本发明提供的基于证据理论的人脸表情识别方法包括以下步骤：

1，采用JAFFE日本成年女性人脸表情数据库作为训练集，该数据库由10个人的213幅图像组成，每个人包含生气、高兴、害怕、厌恶、惊奇、悲伤、中性共7种表情各2～4幅图像；自照表情数据库由10个人的70幅图像组成，每个人7种表情各1幅图像，用该库作为测试集。

2，把自照表情库里一幅待识别表情图像剪切出只含人脸和只含左眼的图像，图像预处理后，进行2DGabor小波变换，然后计算其均值和方差。

表1

3，计算这幅待识别测试表情图像与训练图像之间的欧氏距离。

表2

可以得出，测试人脸表情图像与第127个训练图像(惊奇)的欧氏距离(6.5432)最近，所以待识别测试图像的表情是惊奇；测试左眼图像与第127个训练图像(惊奇)的欧氏距离(11.0571)最近，所以待识别测试图像的表情是惊奇。

4，统计测试图像的识别结果。由人脸全局特征识别结果可以得出表情识别率：生气(80％)、厌恶(70％)、害怕(70％)、高兴(90％)、中性(100％)、悲伤(70％)、惊奇(90％)；由左眼局部特征识别结果可以得出表情识别率：生气(80％)、厌恶(70％)、害怕(80％)、高兴(90％)、中性(90％)、悲伤(80％)、惊奇(80％)。

表3

人脸全局特征识别结果

左眼局部特征识别结果

5，计算证据理论决策融合结果。对于表情惊奇的最后的识别率具体计算过程为：

表4

证据理论与全局及局部特征识别结果比较

Claims (1)

1.基于证据理论的人脸表情识别方法，其特征在于该方法包括以下步骤：

步骤1：采用JAFFE日本成年女性人脸表情数据库作为训练集，该数据库由10个人的213幅图像组成，每个人包含生气、高兴、害怕、厌恶、惊奇、悲伤、中性共7种表情各2～4幅图像；自照表情数据库由10个人的70幅图像组成，每个人7种表情各1幅图像，用该库作为测试集；

步骤2：将人脸表情数据库里的图像剪切出只含人脸和只含左眼的图像，经过图像预处理，然后对人脸图像尺度归一化为125×125，左眼图像尺度归一化为65×46，然后进行二维Gabor小波变换，提取图像的均值和方差作为特征，具体计算方法如下：

二维Gabor小波变换描述了图像

上给定一点

附近区域的灰度特征，这可以用一个卷积来定义： $J_J\left(\stackrel{\→}{x}\right)=I\left({\stackrel{\→}{x}}^{\′}\right){\mathrm{\ψ}}_I(\stackrel{\→}{x}-{\stackrel{\→}{x}}^{\′})d^2{\stackrel{\→}{x}}^{\′};$

二维Gabor滤波器函数表示为：

${\mathrm{\ψ}}_I\left(\stackrel{\→}{x}\right)=\frac{{\left|\right|{\stackrel{\→}{k}}_J\left|\right|}^2}{{\mathrm{\σ}}^2}\exp (-\frac{{\left|\right|{\stackrel{\→}{k}}_J\left|\right|}^2{\left|\right|\stackrel{\→}{x}\left|\right|}^2}{2{\mathrm{\σ}}^2})[\exp \left(i{\stackrel{\→}{k}}_J\stackrel{\→}{x}\right)-\exp (-\frac{{\mathrm{\σ}}^2}{2})],$ 式中：

是滤波器的中心频率；

是给定位置的图像像素点的坐标，i,J为复数算子，σ为小波滤波器的带宽；

表示滤波器的方向；参数k_υ和

的取值如下：

这里选择υ={0,1,2,3,4}，μ={0,1,...,7}，即5个尺度和8个方向组成的40个二维Gabor小波组成的小波族用于表情图像特征的提取；

利用二维Gabor小波对表情图像进行卷积，卷积后计算其均值和方差组成80维的特征向量， $u_{\mathrm{mn}}=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}I(i,j)}{M\×N}$ 为均值， ${\mathrm{\δ}}_{\mathrm{mn}}=\sqrt{\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}(I(i,j)-u_{\mathrm{mn}})}{M\×N}}$ 为方差，M和N分别为图像的行数和列数，且1≤i≤M,1≤j≤N；

步骤3：利用欧氏距离分类器对表情进行分类，所述的欧氏距离为：

设n维欧式空间是一个点集，它的任一个点可以表示为(x₁,x₂,...,x_n)，两个点x和y之间的距离d(x,y)定义为：d(x,y)=(∑(x_i-y_i)²)^1/2；相同的表情间的欧氏距离较近，而不同的表情之间则存在一定的距离；计算待识别表情图像与所有的训练图像的欧氏距离，选择最小的欧氏距离所对应的表情为识别出的结果，最后统计识别结果；

步骤4：利用证据理论对人脸图像识别结果和左眼图像识别结果两个识别结果进行决策融合，具体方法为：

假定辨识框架Θ下有两个相互独立的证据源，其焦元分别为A_i和B_j，其对应的基本信任度分配函数分别为m₁和m₂，设

X表示A_i和B_j的交集，1≤i,j≤W，W表示证据焦元的个数，则证据理论合成规则为：

$m\left(X\right)=m_1\⊕m_2=\left\{\begin{array}{c}\frac{\underset{A_i\∩B_j=X}{\mathrm{\Σ}}{m}_1\left(A_i\right)m_2\left(B_j\right)}{1-K},(X\≠\mathrm{\φ})\\ 0,(X=\mathrm{\φ})\end{array}\right.,$

式中

K称为矛盾因子，它反映了两个证据之间的矛盾程度。

Images