CN106169073A - 一种表情识别方法及系统 - Google Patents

Abstract

本发明提供一种表情识别方法及系统，能够提高面部表情的识别精度。所述方法包括：获取面部表情图像作为训练样本和测试样本，并提取所述面部表情图像的多个面部关键部位；提取所述面部表情图像和各面部关键部位的面部表情特征；构建稀疏分类器，依据提取的所述训练样本和测试样本的面部表情特征，对所述测试样本的面部表情图像及面部关键部位进行表情分类；对所述稀疏分类器的表情分类结果进行融合，根据融合结果确定所述测试样本的表情类别。本发明适用于模式识别技术领域。

Description

一种表情识别方法及系统

技术领域

本发明涉及模式识别技术领域，特别是指一种表情识别方法及系统。

背景技术

表情是人们非语言交流的一种重要方式，包含丰富的情感信息，是情感最主要的载体，是人们理解情感的重要途径。在人类交往中，除了通过自然语言来传递信息外，还可以利用很多其它形体语言如面部表情、身体动作来进行交流，但是，现有的面部表情识别方法存在表情识别精度低的缺陷。

图像的超完备稀疏表示是一种新兴的图像模型，能够用尽可能简洁的方式表示图像，是近年来图像识别领域新的研究热点。2003年，在洛杉矶召开的纯粹数学与应用数学(Pure and Applied Mathematics)会议上，将的稀疏表示方法统称为“多尺度几何分析方法”。与传统的图像识别方法相比，稀疏表示方法不仅能够避免广义特征值分解带来的复杂计算与奇异问题，而且有效地提高了算法的泛化能力。稀疏表示方法是图像识别领域的新方法，但是，在表情识别中的应用尚不多见。

发明内容

本发明要解决的技术问题是提供一种表情识别方法及系统，以解决现有技术所存在的面部表情识别方法表情识别精度低的问题。

为解决上述技术问题，本发明实例提供一种表情识别方法，包括：

获取面部表情图像作为训练样本和测试样本，并提取所述面部表情图像的多个面部关键部位；

提取所述面部表情图像和各面部关键部位的面部表情特征；

构建稀疏分类器，依据提取的所述训练样本和测试样本的面部表情特征，对所述测试样本的面部表情图像及面部关键部位进行表情分类；

对所述稀疏分类器的表情分类结果进行融合，根据融合结果确定所述测试样本的表情类别。

进一步地，所述提取所述面部表情图像的多个面部关键部位之前，还包括：

若获取的所述面部表情图像为彩色图像，则对所述面部表情图像进行灰度归一化处理；

若获取的所述面部表情图像包含噪声，则去除所述面部表情图像中的噪声；

若获取的所述面部表情图像受到光照影响，则对所述面部表情图像进行光线补偿、边缘提取、熵图像及灰度归一化处理；

若获取的所述面部表情图像经过旋转、角度变化处理，则对所述面部表情图像进行仿射变换。

进一步地，所述提取所述面部表情图像的多个面部关键部位，包括：

确定所述面部表情图像的关键部位特征点的空间坐标，并依据所述空间坐标提取多个面部关键部位，其中，所述关键部位特征点至少包括：左右瞳孔、鼻尖、嘴角。

进一步地，所述提取所述面部表情图像和各面部关键部位的面部表情特征包括：

设定不同分辨率下的特征提取参数，采用二维Gabor小波变换分别提取所述面部表情图像和各面部关键部位的面部表情特征，得到所述面部表情图像和各面部关键部位的多分辨率面部表情特征。

进一步地，所述构建稀疏分类器对所述面部表情图像和各面部关键部位的面部表情特征进行分类之前，还包括：

基于空间降维的方法对提取的所述面部表情图像和各面部关键部位的面部表情特征进行维数约简。

进一步地，所述构建稀疏分类器，依据提取的所述训练样本和测试样本的面部表情特征，对所述测试样本的面部表情图像及面部关键部位进行表情分类，包括：

构建基于L1范数的稀疏分类器，通过下式定义的L1范数最小化问题求解所述稀疏分类器的稀疏系数

依据Ax＝y

其中，A表示训练样本特征向量，x表示训练样本对应的稀疏系数，y表示测试样本，||·||₁代表L1范数；

依据得到的所述稀疏分类器的稀疏系数计算测试样本估计值与原值y之间的残差r_k(y)，其中，表示第k类训练样本的稀疏系数向量；

确定测试样本的类别为残差最小的测试样本估计值所对应的训练样本的类别。

进一步地，所述构建稀疏分类器，依据提取的所述训练样本和测试样本的面部表情特征，对所述测试样本的面部表情图像及面部关键部位进行表情分类，包括：

若测试样本为部分遮挡的面部表情图像，所述测试样本的线性组合可表示为：

y＝Ax+e

$y=\[\begin{array}{cc}A& I\end{array}\]\left[\begin{array}{c}x\\ e\end{array}\right]=Bw$

构建基于L1范数的稀疏分类器，通过下式定义的L1范数最小化问题求解所述稀疏分类器的稀疏系数

依据Bw＝y

其中，y表示测试样本，被遮挡的部分图像用误差向量e表示；x表示训练样本；A表示训练样本对应的训练样本特征向量；I表示单位矩阵；B表示训练样本及单位向量的特征向量，w表示训练样本对应的稀疏系数，||·||₁代表L1范数；arg表示元素，arg min表示使||w||₁达到最小值时的w的取值为测试样本估计值与原值之间的残差r_i(y)表示为：

其中，y表示测试样本原值；表示误差的稀疏系数向量；表示第i类训练样本的稀疏系数向量；

确定测试样本的类别为残差最小的测试样本估计值所对应的训练样本的类别。

测试样本测试样本进一步地，所述对所述稀疏分类器的表情分类结果进行融合，根据融合结果确定所述测试样本的表情类别包括：

采用Choquet模糊积分法，结合测试样本对表情类别的隶属度和每个稀疏分类器对训练样本集的正确识别率，对所述稀疏分类器的表情分类结果进行融合，根据融合结果确定所述测试样本的表情类别；

所述Choquet模糊积分可以初步定义为：

其中，h_k(a)表示a属于第k类的隶属度，g(·)表示模糊密度，A及a表示稀疏分类器；表示函数复合运算；Sup表示上确界，即最小上界；κ表示h函数在区间[0,1]上的最小值；a＝{a₁，a₂，…，a_n}，A_i及a_i表示第i个稀疏分类器，n表示稀疏分类器的数目，将h_k(a_i)按非降序排列，h_k(a₁)≤h_k(a₂)≤…≤h_k(a_n)，则所述Choquet模糊积分可以定义为：

${\∫}_A{h}_k\left(a\right)dg(\·)=\underset{i=1}{\overset{n}{\Σ}}\[h_k\left(a_i\right)-h_k\left(a_{i-1}\right)\]g\left(A_i\right)$

其中，

g(A_i)和gⁱ表示第i个稀疏分类器的模糊密度，λ是等式的根；

模糊密度g¹,g²,g³,g⁴从训练样本集中得到，可以表示为：

[g¹,g²,g³,g⁴]＝[w1·w2·p₁,w1·(1-w2)p₂,(1-w1)w2·p₃,(1-w1)(1-w2)p₄]

其中，p_i(i＝1,2,3,4)∈[0,1]表示第i个稀疏分类器对训练样本集的正确识别率；w1和w2∈[0,1]是两个权重因子；

隶属度h_k(a)是基于向量夹角的相似度h_ik：

$h_{ik}=\frac{y_i^T{\stackrel{\‾}{a}}_{ik}}{\left|\right|y_i\left|\right|\·\left|\right|{\stackrel{\‾}{a}}_{ik}\left|\right|}$

其中，y_i表示测试样本y在第i个稀疏分类器中的特征向量，T表示转置，表示第i个分类器中属于第k类的所有特征向量的平均向量，||·||表示欧氏范数。

本发明实施例还提供一种表情识别系统，包括：

获取模块，用于获取面部表情图像作为训练样本和测试样本，并提取所述面部表情图像的多个面部关键部位；

提取模块，用于提取所述面部表情图像和各面部关键部位的面部表情特征；

分类模块，用于构建稀疏分类器，依据提取的所述训练样本和测试样本的面部表情特征，对所述测试样本的面部表情图像及面部关键部位进行表情分类；

融合模块，用于对所述稀疏分类器的表情分类结果进行融合，根据融合结果确定所述测试样本的表情类别。

进一步地，所述系统还包括：

降维模块，用于基于空间降维的方法对提取的所述面部表情图像和各面部关键部位的面部表情特征进行维数约简。本发明的上述技术方案的有益效果如下：

上述方案中，通过结合所述面部表情图像的全局面部表情特征及各面部关键部位的局部面部表情特征能够更好的描述面部表情的细节变化特征；并利用构建的稀疏分类器，依据提取的所述训练样本和测试样本的面部表情特征，对所述测试样本的面部表情图像及面部关键部位进行表情分类；再对所述稀疏分类器的表情分类结果进行融合，根据融合结果确定所述测试样本的表情类别，这样，能够提高面部表情的识别精度，且对面部部分遮挡的表情图像具有较好的鲁棒性。

附图说明

图1为本发明实施例提供的表情识别方法的流程示意图；

图2为本发明实施例提供的表情识别方法的详细流程示意图；

图3(a)为本发明实施例提供的对整体面部表情图像进行分类的正确识别率示意图；

图3(b)为本发明实施例提供的对眼部进行分类的正确识别率示意图；

图3(c)为本发明实施例提供的对鼻部进行分类的正确识别率示意图；

图3(d)为本发明实施例提供的对嘴部进行分类的正确识别率示意图；

图4为本发明实施例提供的应用决策级融合方法在表情识别中得到的正确识别率的比较示意图；

图5为本发明实施例提供的表情识别系统的结构示意图一；

图6为本发明实施例提供的表情识别系统的结构示意图二。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的面部表情识别方法表情识别精度低的问题，提供一种表情识别方法及系统。

实施例一

如图1所示，本发明实施例提供的一种表情识别方法，包括：

步骤101：获取面部表情图像作为训练样本和测试样本，并提取所述面部表情图像的多个面部关键部位；

本发明实施例中，所述面部关键部位也可以称为图像块。

步骤102：提取所述面部表情图像和各面部关键部位的面部表情特征；

步骤103：构建稀疏分类器，依据提取的所述训练样本和测试样本的面部表情特征，对所述测试样本的面部表情图像及面部关键部位进行表情分类；

步骤104：对所述稀疏分类器的表情分类结果进行融合，根据融合结果确定所述测试样本的表情类别。

本发明实施例所述的表情识别方法，通过结合所述面部表情图像的全局面部表情特征及各面部关键部位的局部面部表情特征能够更好的描述面部表情的细节变化特征；并利用构建的稀疏分类器，依据提取的所述训练样本和测试样本的面部表情特征，对所述测试样本的面部表情图像及面部关键部位进行表情分类；再对所述稀疏分类器的表情分类结果进行融合，根据融合结果确定所述测试样本的表情类别，这样，能够提高面部表情的识别精度，且对面部部分遮挡的表情图像具有较好的鲁棒性。

本发明实施例中，可以预先通过人脸检测获取面部表情图像，将获取的所述面部表情图像作为训练样本和测试样本。其中，获取的所述面部表情图像为二维表情图像，获取所述面部表情图像后，首先针对获取所述面部表情图像的不同条件，对所述面部表情图像进行不同的图像预处理；具体的：

若获取的所述面部表情图像为彩色图像，则进行灰度归一化处理，转化成灰度图像后进行分析；

若获取的所述面部表情图像受到白噪声、高斯噪声等噪声信号的干扰，则采用小波(包)分析、卡尔曼滤波等方法，去除噪声影响；

若获取的所述面部表情图像受到光照影响，则采用光线补偿、边缘提取、熵图像、灰度归一化等方法，减弱光照不均匀的影响；

若获取的所述面部表情图像有旋转、角度变化等因素影响，则采用仿射变换消除干扰；

若对获取的所述面部表情图像的尺寸大小有特殊要求，则采用尺度归一化方法对图像大小进行规范。

本发明实施例中，作为一可选实施例，所述提取所述面部表情图像的多个面部关键部位，包括：

根据获取的所述面部表情图像，确定所述面部表情图像的关键部位特征点的空间坐标，并依据所述空间坐标提取多个面部关键部位，用于后续的面部特征提取，其中，所述关键部位特征点至少包括：左右瞳孔、鼻尖、嘴角。

本发明实施例中，如图2所示，提取的多个面部关键部位可以包括：眼部、鼻部、嘴部。

本发明实施例中，例如，若测试样本为面部表情图像A，可以提取面部表情图像A的眼部、鼻部、嘴部等面部关键部位，提取的该面部关键部位与原面部表情图像A都可以称为测试样本。

本发明实施例中，作为又一可选实施例，所述提取所述面部表情图像和各面部关键部位的面部表情特征包括：

设定不同分辨率下的特征提取参数，采用二维Gabor小波变换分别提取所述面部表情图像和各面部关键部位的面部表情特征，得到所述面部表情图像和各面部关键部位的多分辨率面部表情特征。

本发明实施例中，Gabor小波变换中的参数有采样尺度和采样方向等，是从频率域空间中对图像进行的不同采样参数下的分析，采样参数不同对应的图像分辨率也有所不同，由此形成了多分辨率的图像空间。

为了更好地理解本发明，先对Gabor小波变换进行说明：

Gabor小波变换因其内核高斯(Gaussian)函数在时间和频率域中的形式是一致的，因而Gabor函数具有研究信号不同位置局部性质的能力，能够在空间域和频率域上都显示出良好的局部性，同时抓住图像局部区域内多个方向的空间频率(尺度)和局部性结构特征。此外，Gabor函数具备良好时频域特性和独特的生物学背景，Gabor函数可以对脊椎动物大脑的视觉皮层的简单细胞相应进行近似描述。图像在视觉皮层的表示存在空域和空频域分量，并且可以将一幅图像分解为局部对称和反对称的基函数表示，这与Gabor函数是极度吻合的。采用Gabor小波变换获得的描述特征，对几何形变、亮度变化及噪声影响不敏感。

本发明实施例中，可以采用二维Gabor小波变化分别提取所述面部表情图

像和各面部关键部位的面部表情特征，其中，使用的二维Gabor滤波器可以定义为一个用高斯包络函数约束的平面波：

${\mathrm{\ψ}}_{\mathrm{\μ},v}\left(\stackrel{\→}{z}\right)=\frac{\left|\right|{\stackrel{\→}{k}}_{\mathrm{\μ},v}|{|}^2}{{\mathrm{\σ}}^2}\exp \left(\frac{\left|\right|{\stackrel{\→}{k}}_{\mathrm{\μ},v}\left|{|}^2\right|\left|\stackrel{\→}{z}\right|{|}^2}{2{\mathrm{\σ}}^2}\right)\[\exp \left(i{\stackrel{\→}{k}}_{\mathrm{\μ},v}\stackrel{\→}{z}\right)-\exp (-\frac{{\mathrm{\σ}}^2}{2})\]---\left(1\right)$

${\stackrel{\→}{k}}_{\mathrm{\μ},v}=k_v{e}^{{\mathrm{i\φ}}_{\mathrm{\μ}}}---\left(2\right)$

式(1)、(2)中，是图像像素，i代表虚部；k_ν＝k_max/f^ν，φ_μ＝πμ/8，f^ν表示频域中的采样步长，k_max表示最大的采样频率，ν表示采样的尺度，μ表示采样的方向；σ表示高斯窗口宽度和波长的比例关系，即高斯包络函数所影响的震荡数目；表示高斯窗口的宽度、振荡部分的波长和方向。

本发明实施例中，式(1)中的决定了Gabor核的震荡部分，则为补偿直流分量，用以消除核函数响应对图像亮度绝对值变化的依赖性，以保证不同亮度值构成的均匀亮度区域的响应相同。参数μ和ν决定了高斯包络方向和尺度数，ν描述了不同的高斯窗的波长，从而控制采样的尺度，或者说采样频率；选取不同的μ可以描述振荡函数不同的振荡方向，从而控制采样的方向。

本发明实施例中，使用的是五个尺度ν∈{0,…,4}和8个方向μ∈{0,…,7}，一共40个Gabor内核的Gabor滤波器。根据经验值，二维Gabor小波参数设置为：σ＝2π,k_max＝π/2,时获得最好的Gabor小波特征描述及识别效果。

本发明实施例中，式(1)定义的Gabor滤波器对图像的滤波过程则可以通过Gabor滤波器与图像的卷积来实现：

$G_{\mathrm{\μ},v}\left(z\right)=I\left(z\right)*{\mathrm{\ψ}}_{\mathrm{\μ},v}\left(\stackrel{\→}{z}\right)---\left(3\right)$

式(3)中，I(z)表示二维图像，z＝(x,y)，x,y分别表示二维图像的x轴坐标和y轴坐标；*代表卷积运算；G_μ,ν(z)表示经过Gabor变换后得到的Gabor特征向量。设G_μ,ν(z)的幅值和相位分别为A_μ,ν和φ_μ,ν，则G_μ,ν(z)可以表示为式(4)：

$G_{\mathrm{\μ},v}\left(z\right)={A_{\mathrm{\μ},v}}^{{\mathrm{i\φ}}_{\mathrm{\μ},v}}---\left(4\right)$

本发明实施例中，面部表情图像处理属于高维数据分析，直接对原始面部表情图像特征进行分析计算复杂度很高。

本发明实施例中，进一步地，所述构建稀疏分类器对所述面部表情图像和各面部关键部位的面部表情特征进行分类之前，还包括：

基于空间降维的方法对提取的所述面部表情图像和各面部关键部位的面部表情特征进行维数约简。

本发明实施例中，采用基于空间降维的方法对提取的所述面部表情图像和各面部关键部位的面部表情特征进行维数约简，能够在保留原始特征信息的基础上降低计算复杂度。

本发明实施例中，若每张表情图像进行按行和按列的均匀采样，得到48个采样点，则每张面部表情图像和面部关键部位经过二维Gabor小波特征提取后，得到48×40＝1920维的特征向量，特征维数较高，具体的，可以采用基于子空间分析的方法对高维特征向量进行维数约简，，能够在保留原始特征信息的基础上降低计算复杂度，还可以进一步提高面部表情特征在分类中的区分性。

本发明实施例中，可以采用主分量分析(Principal Component Analysis，PCA)、线性判别分析(Linear Discriminant Analysis,LDA)、局部保留映射(localitypreserving projections,LPP)或其他类似方法对提取的Gabor特征向量进行降维。

本发明实施例中，假设每幅面部表情图像x_i由m维向量x_i＝[x_i,1,x_i,2,…,x_i,m]^T表示，T表示转置，N幅面部表情图像组成数据矩阵X＝[x₁,x₂,…,x_N]，则图像数据集可由m×N的数据矩阵X表示，X称为样本空间。

主分量分析的主要思想是寻找重建误差最小意义下的最优子空间。选择样本点分布方差大的坐标轴进行投影，降低维数而使信息量损失最少，这样就把问题转化为求样本数据协方差矩阵的特征值问题。PCA是一种理论完善且在算法上可行的线性降维方法，也是最为经典的方法之一，但是其有效性建立在假设数据嵌入在全局线性或近似线性的低维子流形上。

PCA算法的主要步骤是：

1)样本空间X＝[x₁,x₂,…,x_N]∈R^m×N中的x_i进行中心化后表示为其中，表示均值向量，R^m×N表示欧式空间，具体表示m×N维特征空间；

2)计算中心化后的图像数据的协方差矩阵C：

$C=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}{\tilde{x}}_i{{\tilde{x}}_i}^T---\left(5\right)$

3)计算协方差矩阵C的特征值λ(λ＝[x₁,x₂,…,λ_i,…,x_m]^T)和特征向量W(W＝[W₁,W₂,…,W_i,…,W_m]^T)：

CW＝λW (6)

W为特征值λ所对应的特征向量，将协方差矩阵的特征值λ_i按由大到小的顺序进行排序，特征值λ_i所对应的特征向量W_i也按同样顺序排序；

4)利用将中心化后的图像数据投影到3)中得到的特征向量W上，得到映射后的数据y_i。

线性判别分析的基本思想是寻找可分性最好的投影方向，可通过最大化类间离散度矩阵和类内离散度矩阵的比值得到。

LDA的最优投影方向W_opt可通过最大化准则函数得到，即

$W_{opt}=\arg max\frac{\left|W^T{S}_{b}W\right|}{\left|W^T{S}_{w}W\right|}---\left(7\right)$

其中，arg表示元素，arg max表示使达到最大值时的W的取值，S_b表示图像样本的类间离散度矩阵，S_w表示图像样本的类内离散度矩阵。假定样本集中包含c个模式类，第i个模式类中包含n_i幅图像样本，即其中，类内离散度矩阵和类间离散度矩阵可以分别定义为：

$S_w=\underset{i=1}{\overset{c}{\Σ}}P\left({\mathrm{\ω}}_i\right)E\[(x_i-{\stackrel{\‾}{x}}_i){(x_i-{\stackrel{\‾}{x}}_i)}^T\]---\left(8\right)$

$S_b=\underset{i=1}{\overset{c}{\Σ}}P\left({\mathrm{\ω}}_i\right)({\stackrel{\‾}{x}}_i-\stackrel{\‾}{x}){({\stackrel{\‾}{x}}_i-\stackrel{\‾}{x})}^T---\left(9\right)$

其中，ω_i表示样本中属于第i类的这个事件，P(ω_i)表示第i类样本的先验概率，即样本中属于第i类的概率；E(·)表示数学期望；根据广义瑞利(Rayleigh)商的极值性质，当S_w可逆时，最优投影方向即特征向量W的列向量，可通过下面的广义特征方程求得

S_bW＝λS_wW (10)

局部保留映射算法的主要思想是寻找最优投影方向，使得高维样本空间中局部分布的样本在投影后的特征空间中仍然保留局部分布特性。

通过构造拉普拉斯特征映射(Laplacian Eigenmap)的线性近似，将样本空间X＝[x₁,x₂,…,x_N]∈R^m×N投影到一个低维特征空间，从而得到保留局部结构信息的特征子空间Y＝[y₁,y₂,…,y_N]。令f:x→y＝W^T _x，该线性变换(x→y)通过如下最小化目标函数得到：

$min\underset{ij}{\Σ}\left|\right|y_i-y_j|{|}^2{S}_{ij}---\left(11\right)$

其中，y_i、y_j分别表示特征子空间Y中的第i个向量和第j个向量；S_ij表示权值矩阵，S_ij表示为：

其中，x_i、x_j分别表示特征子空间X中的第i个向量和第j个向量；t表示权重参数，S_ij表示权值矩阵中第i行第j列元素；经推导最小化目标函数最终简化为求解如下广义特征方程的最小特征值λ所对应的特征向量w的问题：

XLX^Tw＝λXDX^Tw (13)

其中，L表示近邻图上的拉普拉斯矩阵，L＝D-S，D为对角矩阵，S是对称矩阵，D是对S按列求和，D_ij表示矩阵D中第i行第j列元素，S_ij表示矩阵S中第i行第j列元素，j表示S矩阵的第j列。

经过Gabor小波变换提取的面部表情特征，通过子空间分析方法得到投影矩阵通过线性映射规则将表情图像特征向量投影到低维子空间中，即从而得到新的表情图像特征向量，形成p×N维人脸表情稀疏表征空间，其中，p<m。

本发明实施例中，对于待测试的面部表情图像(测试样本)，以m维向量y_i表示，则待测的面部表情图像向量y_i可通过进行线性投影，从而得到待测表情图像缩减后的p维特征向量。

本发明实施例中，与传统分类器不同，稀疏分类器(sparse representation-based classifier，SRC)不需要训练或者说训练极其简单，只需要把原始图像的特征数据简单处理后排列成一个大的矩阵存储就可以了。稀疏分类器的关键在于L1范数最小化问题，SRC的主要思想是：从训练样本集中选择最具代表性的训练样本表征测试样本。假设训练样本的特征向量A＝[a₁,a₂,…,a_n]，测试样本y可以表示为训练样本的线性组合形式，即y＝x₁a₁+x₂a₂+…+x_na_n＝Ax，其中x＝[x₁,x₂,…,x_n]^T∈Rⁿ是稀疏系数向量，该稀疏系数向量的多数元素均为零，非零元素很少，其中，Rⁿ表示n维空间。判断稀疏系数向量是否满足稀疏性的方法是利用L0范数最小化，但是，L0范数最小化的求解问题很难，因此采用L1范数最小化的问题来求解所述稀疏分类器的稀疏系数其中，L1范数最小化的问题可定义为：

其中，arg表示元素，arg min表示使||x||₁达到最小值时的x的取值；A表示训练样本的特征向量，x表示稀疏系数向量，y表示测试样本，||·||₁表示L1范数，x_i表示稀疏系数向量中的第i个系数。

对于第k类训练样本的稀疏系数向量δ_k(x)，只有与测试样本代表性最强的训练样本所对应的稀疏系数x_k,i才是非零的，即δ_k(x)＝[0,…,0,x_k,1,x_k,2,…,x_k,nk,0,…,0]。

根据求解得到的稀疏系数测试样本可表示为不同类别训练样本的线性组合计算测试样本的估计值与原值y之间的残差r_k(y)，其中，||·||₂表示L2范数，并定义分类规则d(y)为：

d(y)＝arg min_k r_k(y) (15)

其中，arg表示元素，arg min表示使r_k(y)达到最小值时的k的取值；测试样本y的类别即为残差最小的样本估计值所对应的训练样本的类别。

本发明实施例中，若获取到的测试样本为面部表情图像A，提取的面部关键部位为的眼部、鼻部、嘴部，将可以将面部表情图像A和提取的眼部图像、鼻部图像、嘴部图像分别送入各自对应的稀疏分类器，从而得到面部表情图像A及面部表情图像A对应的面部关键部位的表情分类结果。

本发明实施例中，SRC对面部部分遮挡的面部表情图像也具有很好的处理效果。对于测试样本为部分遮挡的面部表情图像，可将其遮挡部分以误差向量e表示，则测试样本的线性组合可表示为

y＝Ax+e (16)

$y=\&lsqb;\begin{array}{cc}A& I\end{array}\&rsqb;\left[\begin{array}{c}x\\ e\end{array}\right]=Bw---\left(17\right)$

其中，被遮挡的部分图像用误差向量e表示；x表示训练样本；A表示训练样本对应的训练样本特征向量；I表示单位矩阵；

稀疏系数的求解可以通过下面的L1范数最小化问题求得：

其中，B表示训练样本及单位向量的特征向量，w表示训练样本对应的稀疏系数，y表示测试样本，||·||₁代表L1范数；arg表示元素，arg min表示使||w||₁达到最小值时的w的取值为

测试样本估计值与原值之间的残差r_i(y)表示为：

其中，y表示测试样本原值；表示误差的稀疏系数向量；表示第i类训练样本的稀疏系数向量；

测试样本y的类别为残差最小的样本估计值所对应的训练样本的类别即为测试样本y的预测类别。

本发明实施例中，如图2所示，可以采用4个SRC分别对待测的3个面部关键部位和1个面部表情图像进行表情分类，分别得到所述面部表情图像和各面部关键部位的表情分类结果，最终的分类结果很难由某个稀疏分类器单独判断得出，进一步地，可以采用决策级融合方法对不同稀疏分类器的分类结果进行融合，通过设定每个稀疏分类器的权重从而判断不同表情特征对表情分类的贡献性，为最终面部表情图像的分类提供更为精确的分类结果。

本发明实施例中，可以采用Choquet模糊积分方法对多个稀疏分类器的分类结果进行决策级融合，Choquet模糊积分方法的基本思想是按照一定策略对单个稀疏分类器的分类结果进行加权，同时考虑多个稀疏分类器的分类结果后，最终确定待测面部表情图像的表情分类结果。

本发明实施例中，作为一可选实施例，所述对所述稀疏分类器的表情分类结果进行融合，根据融合结果确定所述测试样本的表情类别包括：

采用Choquet模糊积分法，结合测试样本对表情类别的隶属度和每个稀疏分类器对训练样本集的正确识别率，对所述稀疏分类器的表情分类结果进行融合，根据融合结果确定所述测试样本的表情类别；

所述Choquet模糊积分可以初步定义为：

其中，h_k(a)表示a属于第k类的隶属度，g(·)表示模糊密度，A及a表示稀疏分类器；表示函数复合运算；Sup表示上确界，即最小上界；κ表示h函数在区间[0,1]上的最小值；a＝{a₁，a₂，…，a_n}，A_i及a_i表示第i个稀疏分类器，n表示稀疏分类器的数目，将h_k(a_i)按非降序排列，h_k(a₁)≤h_k(a₂)≤…≤h_k(a_n)，则所述Choquet模糊积分可以定义为：

${\&Integral;}_A{h}_k\left(a\right)dg(\&CenterDot;)=\underset{i=1}{\overset{n}{\&Sigma;}}\&lsqb;h_k\left(a_i\right)-h_k\left(a_{i-1}\right)\&rsqb;g\left(A_i\right)$

其中，

g(A_i)和gⁱ表示第i个稀疏分类器的模糊密度，λ是等式的根；

模糊密度g¹,g²,g³,g⁴从训练样本集中得到，可以表示为：

[g¹,g²,g³,g⁴]＝[w1·w2·p₁,w1·(1-w2)p₂,(1-w1)w2·p₃,(1-w1)(1-w2)p₄]

其中，p_i(i＝1,2,3,4)∈[0,1]表示第i个稀疏分类器对训练样本集的正确识别率；w1和w2∈[0,1]是两个权重因子；

隶属度h_k(a)是基于向量夹角的相似度h_ik：

$h_{ik}=\frac{y_i^T{\stackrel{\&OverBar;}{a}}_{ik}}{\left|\right|y_i\left|\right|\&CenterDot;\left|\right|{\stackrel{\&OverBar;}{a}}_{ik}\left|\right|}$

其中，y_i表示测试样本y在第i个稀疏分类器中的特征向量，T表示转置，表示第i个分类器中属于第k类的所有特征向量的平均向量，||·||表示欧氏范数。

模糊密度本发明实施例中，通过利用Choquet模糊积分对四个稀疏分类器进行融合，根据融合结果确定所述面部表情图像的表情类别，可以理解为，最终的表情分类结果是同时考虑了每个稀疏分类器对样本的隶属度和每个稀疏分类器的重要性(即模糊密度)。

为了验证本发明实施例提供的表情识别方法在人脸面部表情识别中的有效性，将本发明对正面面部表情图像以及面部遮挡的表情图像进行分析，对七类面部表情(愤怒、厌恶、高兴、恐惧、悲伤、惊讶、平静)进行识别。实验在预定的表情库上进行，面部表情图像被归一化为统一大小，原始图像的背景被消除。本发明实施例给出了不同分类方法对整体面部表情图像和关键部位进行分类的正确识别率比较示意图，如图3(a)-(d)所示，其中，Eigenfaces表示特征脸，Fisherfaces表示Fisher脸，Laplacianfaces表示拉普拉斯脸，NMF表示非负矩阵分解(Non-negative Matrix Factorization，NMF)，稀疏NMF对应的曲线表示基于稀疏分类器对整体面部图像及关键部位块进行分析的识别精度曲线；以及应用决策级融合方法对表情分类精度的提升效果示意图，如图4所示。

验证结果表明，本发明的方法展示了其优越性，且对于部分遮挡的面部表情识别得到了比现有方法更优越的识别结果。可见本发明实施例提供的表情识别方法可有效提取面部表情特征，并通过全局特征和局部特征的融合、分类器决策融合等很好的提升识别精度和鲁棒性。

实施例二

本发明还提供一种表情识别系统的具体实施方式，由于本发明提供的表情识别系统与前述表情识别方法的具体实施方式相对应，该表情识别系统可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述表情识别方法具体实施方式中的解释说明，也适用于本发明提供的表情识别系统的具体实施方式，在本发明以下的具体实施方式中将不再赘述。

参看图5所示，本发明实施例还提供一种表情识别系统，包括：

获取模块101，用于获取面部表情图像作为训练样本和测试样本，并提取所述面部表情图像的多个面部关键部位；

提取模块102，用于提取所述面部表情图像和各面部关键部位的面部表情特征；

分类模块103，用于构建稀疏分类器，依据提取的所述训练样本和测试样本的面部表情特征，对所述测试样本的面部表情图像及面部关键部位进行表情分类；

融合模块104，用于对所述稀疏分类器的表情分类结果进行融合，根据融合结果确定所述测试样本的表情类别。

本发明实施例所述的表情识别系统，通过结合所述面部表情图像的全局面部表情特征及各面部关键部位的局部面部表情特征能够更好的描述面部表情的细节变化特征；并利用构建的稀疏分类器，依据提取的所述训练样本和测试样本的面部表情特征，对所述测试样本的面部表情图像及面部关键部位进行表情分类；再对所述稀疏分类器的表情分类结果进行融合，根据融合结果确定所述测试样本的表情类别，这样，能够提高面部表情的识别精度，且对面部部分遮挡的表情图像具有较好的鲁棒性。

在前述表情识别系统的具体实施方式中，进一步地，参看图6所示，所述系统还包括：

降维模块105，用于基于空间降维的方法对提取的所述面部表情图像和各面部关键部位的面部表情特征进行维数约简。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种表情识别方法，其特征在于，包括：

获取面部表情图像作为训练样本和测试样本，并提取所述面部表情图像的多个面部关键部位；

提取所述面部表情图像和各面部关键部位的面部表情特征；

构建稀疏分类器，依据提取的所述训练样本和测试样本的面部表情特征，对所述测试样本的面部表情图像及面部关键部位进行表情分类；

对所述稀疏分类器的表情分类结果进行融合，根据融合结果确定所述测试样本的表情类别。

2.根据权利要求1所述的表情识别方法，其特征在于，所述提取所述面部表情图像的多个面部关键部位之前，还包括：

若获取的所述面部表情图像为彩色图像，则对所述面部表情图像进行灰度归一化处理；

若获取的所述面部表情图像包含噪声，则去除所述面部表情图像中的噪声；

若获取的所述面部表情图像受到光照影响，则对所述面部表情图像进行光线补偿、边缘提取、熵图像及灰度归一化处理；

若获取的所述面部表情图像经过旋转、角度变化处理，则对所述面部表情图像进行仿射变换。

3.根据权利要求1所述的表情识别方法，其特征在于，所述提取所述面部表情图像的多个面部关键部位，包括：

确定所述面部表情图像的关键部位特征点的空间坐标，并依据所述空间坐标提取多个面部关键部位，其中，所述关键部位特征点至少包括：左右瞳孔、鼻尖、嘴角。

4.根据权利要求1所述的表情识别方法，其特征在于，所述提取所述面部表情图像和各面部关键部位的面部表情特征包括：

设定不同分辨率下的特征提取参数，采用二维Gabor小波变换分别提取所述面部表情图像和各面部关键部位的面部表情特征，得到所述面部表情图像和各面部关键部位的多分辨率面部表情特征。

5.根据权利要求1所述的表情识别方法，其特征在于，所述构建稀疏分类器对所述面部表情图像和各面部关键部位的面部表情特征进行分类之前，还包括：

基于空间降维的方法对提取的所述面部表情图像和各面部关键部位的面部表情特征进行维数约简。

6.根据权利要求1所述的表情识别方法，其特征在于，所述构建稀疏分类器，依据提取的所述训练样本和测试样本的面部表情特征，对所述测试样本的面部表情图像及面部关键部位进行表情分类，包括：

构建基于L1范数的稀疏分类器，通过下式定义的L1范数最小化问题求解所述稀疏分类器的稀疏系数

依据Ax＝y

其中，A表示训练样本特征向量，x表示训练样本对应的稀疏系数，y表示测试样本，||·||₁代表L1范数；

依据得到的所述稀疏分类器的稀疏系数计算测试样本估计值与原值y之间的残差r_k(y)，其中， 表示第k类训练样本的稀疏系数向量；

确定测试样本的类别为残差最小的测试样本估计值所对应的训练样本的类别。

7.根据权利要求1所述的表情识别方法，其特征在于，所述构建稀疏分类器，依据提取的所述训练样本和测试样本的面部表情特征，对所述测试样本的面部表情图像及面部关键部位进行表情分类，包括：

若测试样本为部分遮挡的面部表情图像，所述测试样本的线性组合可表示为：

y＝Ax+e

$y=\left[\begin{array}{cc}A& I\end{array}\right]\left[\begin{array}{c}x\\ e\end{array}\right]=Bw$

构建基于L1范数的稀疏分类器，通过下式定义的L1范数最小化问题求解所述稀疏分类器的稀疏系数

依据Bw＝y

其中，y表示测试样本，被遮挡的部分图像用误差向量e表示；x表示训练样本；A表示训练样本对应的训练样本特征向量；I表示单位矩阵；B表示训练样本及单位向量的特征向量，w表示训练样本对应的稀疏系数，||·||₁代表L1范数；arg表示元素，arg min表示使||w||₁达到最小值时的w的取值为测试样本估计值与原值之间的残差r_i(y)表示为：

其中，y表示测试样本原值；表示误差的稀疏系数向量；表示第i类训练样本的稀疏系数向量；确定测试样本的类别为残差最小的测试样本估计值所对应的训练样本的类别。

8.根据权利要求1所述的表情识别方法，其特征在于，所述对所述稀疏分类器的表情分类结果进行融合，根据融合结果确定所述测试样本的表情类别,包括：

采用Choquet模糊积分法，结合测试样本对表情类别的隶属度和每个稀疏分类器对训练样本集的正确识别率，对所述稀疏分类器的表情分类结果进行融合，根据融合结果确定所述测试样本的表情类别；

所述Choquet模糊积分可以初步定义为：

其中，h_k(a)表示a属于第k类的隶属度，g(·)表示模糊密度，A及a表示稀疏分类器；表示函数复合运算；Sup表示上确界，即最小上界；κ表示h函数在区间[0,1]上的最小值；a＝{a₁，a₂，…，a_n}，A_i及a_i表示第i个稀疏分类器，n表示稀疏分类器的数目，将h_k(a_i)按非降序排列，h_k(a₁)≤h_k(a₂)≤…≤h_k(a_n)，则所述Choquet模糊积分可以定义为：

${\&Integral;}_A{h}_k\left(a\right)dg(\&CenterDot;)=\underset{i=1}{\overset{n}{\&Sigma;}}\&lsqb;h_k\left(a_i\right)-h_k\left(a_{i-1}\right)\&rsqb;g\left(A_i\right)$

其中，

g(A_i)和gⁱ表示第i个稀疏分类器的模糊密度，λ是等式的根；

模糊密度g¹,g²,g³,g⁴从训练样本集中得到，可以表示为：

[g¹,g²,g³,g⁴]＝[w1·w2·p₁,w1·(1-w2)p₂,(1-w1)w2·p₃,(1-w1)(1-w2)p₄]

其中，p_i(i＝1,2,3,4)∈[0,1]表示第i个稀疏分类器对训练样本集的正确识别率；w1和w2∈[0,1]是两个权重因子；

隶属度h_k(a)是基于向量夹角的相似度h_ik：

$h_{ik}=\frac{y_i^T{\stackrel{\&OverBar;}{a}}_{ik}}{\left|\right|y_i\left|\right|\&CenterDot;\left|\right|{\stackrel{\&OverBar;}{a}}_{ik}\left|\right|}$

其中，y_i表示测试样本y在第i个稀疏分类器中的特征向量，T表示转置，表示第i个分类器中属于第k类的所有特征向量的平均向量，||·||表示欧氏范数。

9.一种表情识别系统，其特征在于，包括：

获取模块，用于获取面部表情图像作为训练样本和测试样本，并提取所述面部表情图像的多个面部关键部位；

提取模块，用于提取所述面部表情图像和各面部关键部位的面部表情特征；

分类模块，用于构建稀疏分类器，依据提取的所述训练样本和测试样本的面部表情特征，对所述测试样本的面部表情图像及面部关键部位进行表情分类；

融合模块，用于对所述稀疏分类器的表情分类结果进行融合，根据融合结果确定所述测试样本的表情类别。

10.根据权利要求9所述的表情识别系统，其特征在于，所述系统还包括：

降维模块，用于基于空间降维的方法对提取的所述面部表情图像和各面部关键部位的面部表情特征进行维数约简。