CN106980848A - 基于曲波变换和稀疏学习的人脸表情识别方法 - Google Patents

Abstract

本发明公开了一种基于曲波变换和稀疏学习的人脸表情识别方法。本发明步骤如下：1.输入人脸表情图像并进行预处理，对预处理后的人脸表情图像进行眼部区域、嘴巴区域的剪裁与获取；2.通过Curvelet变换对人脸表情特征进行提取：对预处理后的人脸表情图像、眼部区域、嘴巴区域进行Curvelet变换和特征提取，并将提取的三种特征进行串联融合，获得融合特征；3.基于稀疏学习的分类识别：对人脸曲波特征以及融合特征分别采用SRC进行分类识别；或者对人脸曲波特征以及融合特征分别采用FDDL进行分类识别。本发明采用的Curvelet变换是多尺度几何分析工具，能够提取到多尺度多方向的特征，同时采用局部区域融合的方法，使连接融合后的特征更具有图像表征能力和特征鉴别力。

Description

基于曲波变换和稀疏学习的人脸表情识别方法

技术领域

本发明属于计算机视觉技术领域，尤其是涉及一种人脸表情识别方法。属于人脸表情特征提取和分类识别领域。

背景技术

人脸表情识别是情感计算和智能人机交互的关键组成部分，也是计算机视觉和生物识别中的重要研究方向。它主要是研究如何自动、可靠、高效地利用人脸表情所传达的信息，在医疗健康、交通安全、公众安全、智能机器人、教育领域、游戏娱乐等领域有着广泛的应用。人脸表情识别的探索研究不仅有利于促进人机交互的自然和谐，还有利于推动人工智能相关技术的发展。人脸表情识别的研究内容主要包括图像获取、图像预处理、表情特征提取和分类识别，这些也是人脸表情识别的过程。其中，表情特征提取和分类识别是关键。

表情特征提取是指从含有面部表情的图像中获取到表情的整体信息和细微局部信息，并以此来表达出相应的表情状态。目前，表情特征提取算法可以分为以下几种：(1)基于形状特征的提取方法，它是指通过标记在面部表情特征点的几何形状关系来获取情感状态特征信息。面部中的眉毛、眼睛、鼻子、嘴巴能够丰富的表现出表情状态，这些器官会随着不同表情的出现发生形变。通常是对这些关键点进行特征提取，其特征包括器官的位置、尺度和器官之间的比率等，或者将这些关键部分从人脸区域裁剪出来，将这些特征组成一组矢量来表示表情特征。这种特征对内存需求小，但有时要求提取的特征点要十分准确，需要手工定位。(2)基于纹理特征的提取方法，它是指获取到表情图像中含有情感状态的内在信息，以获得描述面部整体或者局部变化的表情特征。该方法具有计算简单快捷，特征信息较丰富，但易受光照和噪声等其他因素的影响。例如局部二值法，Gabor小波。(3)基于混合特征的方法，混合特征是将局部特征和全局特征结合起来作为表情的特征。(4)基于运动特征序列的提取方法，常用于提取动态表情特征。

分类识别是指在表情特征提取后，将未知表情图像的特征通过分类器划分为相应的已知类别。依据机器学习相关技术的特性，主要可以分为基于距离度量、基于贝叶斯网络、基于神经网络和基于稀疏表示的分类方法。

发明内容

本发明提供一种新的人脸表情识别方法——基于曲波变换和稀疏学习的人脸表情识别方法。曲波变换(Curvelet Transform)是一种多分辨率、带通、具有方向性的函数分析方法。它不但保留了小波方法的多尺度特点,同时还具有各向异性特点,能够很好地逼近奇异曲线，更具有良好描述图形边缘信息的能力，比较适合处理具有丰富曲线信息的人脸等图像。稀疏学习主要包含稀疏表示和字典学习等方法。稀疏表示在机器学习和计算机视觉领域备受关注，其在人脸识别、图像分类等方面的性能表现非常突出，主要原因是该理论中需要一个能够准确地描述图像内在结构信息和本质属性的超完备字典，并用尽稀疏的数据表示图像信息。字典学习是利用训练样本的先验知识学习出一组性能更佳的基向量，使字典更利于分类。

本发明基于曲波变换和稀疏学习的人脸表情识别方法，其步骤如下：

步骤S1：输入人脸表情图像后对图像进行预处理，并对预处理后的人脸表情图像进行眼部区域、嘴巴区域的剪裁与获取；

步骤S2：通过Curvelet变换对人脸表情特征进行提取。分别对预处理后的人脸表情图像、眼部区域、嘴巴区域进行Curvelet变换，依次获得人脸区域的Curvelet特征(Curvelet_face)、眼部区域的Curvelet特征(Curvelet_eye)、嘴巴区域的Curvelet特征(Curvelet_mouth)，并将Curvelet_face、Curvelet_eye和Curvelet_mouth特征进行串联融合，获得融合特征Curvelet_{face+eye+mouth}。

步骤S3：基于稀疏学习的分类识别，具体的：对人脸曲波特征Curvelet_face以及融合特征Curvelet_{face+eye+mouth}分别采用稀疏表示分类(Sparse Representation-basedClassifier，SRC)进行分类识别；或者对人脸曲波特征Curvelet_face以及融合特征Curvelet_{face+eye+mouth}分别采用基于Fisher判别的字典学习(Fisher DiscriminationDictionary Learning，FDDL)进行分类识别。

步骤S1所述的人脸表情图像预处理具体如下：

人脸表情图像预处理包括表情区域的定位和裁剪、倾斜校正、尺寸归一化和光照均衡化。

表情区域的定位和裁剪，即人脸检测与定位是在输入的表情图像中快速准确地找出人脸的过程，并定位眼睛，然后根据先验知识裁剪出人脸表情区域，这是对表情图像预处理的第一步，是后续工作的基础环节。倾斜校正、尺寸归一化是为了解决图像形变问题。滤波和光照均衡化是为了去除噪声和光照变化的问题。总之，图像预处理就是为了消除噪声、背景、光照、角度等非表情因素的影响，而采取各种不同的技术处理图像，消除这些干扰影响的因素，使得图像的质量有所提高，以利于提取有效的信息，从而提高识别率。

步骤S2所述的通过曲波变换对人脸表情特征进行提取，具体如下：

(1)一幅人脸表情图像预处理后尺寸大小归一化为100×100，Curvelet变换尺度经由公式log2(min(M,N))-3，其中M、N分别为人脸表情图像的长度和宽度。在进行4尺度分解后可以得到相应的低频系数、细节1层系数、细节2层系数和高频系数。第一尺度即低频部分表示的是人脸的概貌，大部分脸部能量集中在这一尺度，不含有方向信息,低频系数大小为17×17；第四尺度即高频部分表示的是人脸的轮廓信息，所含的能量比较少，因此一般也不分方向,高频系数大小为100×100；第二、第三尺度是细节层部分，含有丰富的方向信息，细节层系数其中细节1层分为16个方向，包含8个14×17/17×14和8个12×17/17×12的系数矩阵，细节2层分为32个方向，包含8个27×17/17×27、16个25×18/18×25和8个25×17/17×25的系数矩阵。

(2)人脸表情图像中贡献率较大的主要有眼部区域和嘴巴区域，依次经过Curvelet变换提取得到相应的Curvelet特征，即Curvelet_eye和Curvelet_mouth。然后分别将人脸区域的Curvelet特征Curvelet_face与局部区域的Curvelet特征(眼部区域的Curvelet特征Curvelet_eye、嘴巴区域的Curvelet特征Curvelet_mouth)连接融合起来，融合后的特征向量为Curvelet_{face+eye+mouth}。因为人脸表情变换主要体现在眼部区域和嘴巴区域，将两者的Curvelet特征向量和人脸区域的Curvelet特征向量融合起来，相当于对这两个区域进行了加权处理，增强了对人脸表情识别贡献率比较大区域的权重。

步骤S3所述的基于稀疏学习的分类识别，具体如下：

基于SRC的人脸表情识别是得到未知表情图像关于超完备字典的线性组合，该线性组合主要为了获得待测图像由超完备字典同类样本表示的非零线性表示系数，且其他不同类别的线性表示系数为零。然后由所有类的系数重构的待测表情图像与原待测表情图像误差最小的类则判别为所属类别。其中，超完备字典的构成是以最大可能性地涵盖待测表情图像特征信息的样本集，是由全部训练样本组成，字典中的每一个原子表示一个训练样本，同类中的所有训练样本在相同的线性子空间中，它对于稀疏表示分类的准确性是至关重要的。

SRC中的方法利用训练样本的Curvelet特征直接构建样本字典，这种粗糙的字典构建方法有欠妥当，主要原因在于利用训练样本直接作为字典中的基向量，存在于训练样本中的噪声和无关信息会直接影响稀疏表达的分类性能。因此，采用FDDL进行字典学习，旨在学习出一个更紧凑、判别能力更强的Curvelet特征字典。本发明采用SRC和FDDL应用到表情识别中。

本发明相对于现有方法具有以下有益效果：

本发明采用的Curvelet变换是多尺度几何分析工具，它是针对小波变换在提取图像边缘特征上的局限性而提出的，能够提取到多尺度多方向的特征，更能体现人脸表情的细节特征，且对光照不敏感，能容忍一定程度的图像旋转与变形，是一种较佳的人脸表情特征提取方法。

本发明采用局部区域融合的方法，使连接融合后的特征更具有图像表征能力和特征鉴别力，加强了人脸表情识别贡献度较大区域对表情分类识别的影响。

本发明采用稀疏学习方法进行分类识别。Curvelet变换的多尺度多方向特性，使其特征字典具有超完备性，且字典中的原子都能很好地把表情特征描述出来，这就符合稀疏表示理论的要求。因此，稀疏表示可以对维数比较高的特征数据进行降维，并能够将测试样本准确稀疏地表达出来，关键它对噪声、光照等误差具有鲁棒性。在SRC的基础上，为增强样本Curvelet特征字典的判别能力，使用FDDL模型进行字典学习，它得到的字典原子具有更好的重构能力，并使得稀疏系数之间的类间距离更大而类内距离更小，从而提高人脸表情识别率。

附图说明

图1表示人脸表情识别的流程图。

图2表示本发明中基于Curvelet特征提取的Curvelet系数图。

图3表示本发明中图像预处理后的各区域图。

图4表示基于Curvelet变换和SRC的人脸表情识别的流程图。

图5表示基于Curvelet变换和FDDL的人脸表情识别的流程图。

具体实施方式

下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

下面将参考附图详细介绍本发明的实施例。

图1是本发明所需人脸表情识别的流程图，主要包含图像获取，图像预处理、表情特征提取和分类识别，展示了图像从输入到输出分类结果的整个流程。

图2是本发明中基于Curvelet特征提取的Curvelet系数图。

Curvelet变换公式定义为：

其中f是目标函数，是曲波基函数，j、l、k分别是尺度、方向和位置上的参数。离散Curvelet变换的实现有两种不同的方法，一种是基于USFFT的方法，另一种是基于Wrapping的方法。两种方法输出的结果相同，但后者的执行速度比前者快。因此，本发明选取使用Wrapping方法来实现Curvelet变换。

在Curvelet特征提取时，首先需要先对表情图像进行预处理工作，图像的尺寸大小调整为100×100，去除了无用信息，还减少了Curvelet特征维数。一张表情图像通过Curvelet变换提取到4尺度的Curvelet系数结果如表1所示：

表1Curvelet系数

图3是本发明中图像预处理后的各区域图。本发明所涉及的图像预处理具体技术方案是：利用基于连续Adaboost算法的多视角人脸检测和人眼定位。因为基于连续Adaboost算法的人脸检测，对复杂背景下的人脸检测效果和鲁棒性更好，对人眼定位的精确度更高。然后检测出人脸，并精确定位出人眼，根据人眼坐标旋转人脸表情图像，根据“三庭五眼”先验知识裁剪人脸表情图像。然后利用中值滤波技术去噪，直方图均衡化去除光照变化因素。接着，对预处理后的表情图像利用五官检测进行眼部区域和嘴巴区域的剪裁，尺寸大小分别归一化为100×30和50×30。

图4是基于Curvelet变换和SRC的人脸表情识别的流程图。

1.图4中的局部区域融合单元。

特征区域主要分为人脸区域(Face)、眼部区域(Eye)和嘴巴区域(Mouth)，依次获得各区域的Curvelet特征，即Curvelet_face、Curvelet_eye和Curvelet_mouth。局部区域融合主要将人脸区域、眼部区域和嘴巴区域串联融合，由此获得融合特征Curvelet_{face+eye+mouth}。如表2所示：

表2人脸和局部区域融合

特征区域	Face	Eye	Mouth	face+Eye-Mouth
					特征	Curveletface	Curveleteve	Curveletmouth	Curveletface+eve+mouth

2.图4中的SRC单元。

给定超完备字典A和y∈R^m为第i类某一测试样本，根据稀疏表示理论，则y可由A_i线性表示为：

其中，x为线性组合的系数，且此系数表明希望得到除了第i类字典相对应的系数以外其它类别的系数为0。本发明采用正交匹配追踪法进行对x的稀疏求解。

y可被分解为不同图像特征的组合，稀疏表示系数矩阵x对应于各图像特征的分量，则图像分类问题就转化为求解线性方程y＝Ax的问题。由压缩感知理论，稀疏求解可由l₀范数问题转化为l₁范数问题，再考虑噪声等误差因素的存在，此问题可转化为：

arg min||x||₁ s.t. ||y-Ax||₂≤ε (3)

因为噪声和其它误差造成的干扰，稀疏投影系数向量x本该在不同类别上的系数为0，但却出现了系数不为0的情形，通过构造δ_i(x)表示x中第i类的稀疏投影系数来解决此问题。然后得到每类训练样本对测试样本的近似表示，根据每类训练样本与测试样本的逼近程度所呈现表示的判别差，最后可以使用重构误差对y判别所属类别：

综上，具体SRC单元算法描述如下：

(1)输入由训练样本构成的特征矩阵A＝[A₁,A₂···A_K]∈R^m×n，m是特征维数，n是训练样本总数，再输入一个测试样本y∈R^m；

(2)求l₁范数问题的稀疏解arg min||x||₁ s.t. Ax＝y；

(3)计算每个类别的训练样本与测试样本y的重构残差其中i＝1,2,···,K；

(4)输出测试样本y的类别identify(y)＝arg minr_i(y)。

图5是基于Curvelet变换和FDDL的人脸表情识别的流程图。图5中的局部区域融合与图4中所采用的相同。

1.图5中的FDDL单元。

设稀疏表示字典D＝[D₁,D₂,···,D_c]，D_i是对应于类i的子字典，训练样本集A＝[A₁,A₂,···,A_c]，设X是A在字典D上的编码系数矩阵，记为X＝[X₁,X₂,···,X_c]，即A≈DX，X_i是A_i在D上的编码系数子矩阵。FDDL的模型为：

其中，r(A,D,X)为判别保真项，||X||₁为稀疏性约束项，f(X)为附加在系数矩阵X上的Fisher判别系数项，λ₁和λ₂为调节参数，λ₁＞0，λ₂＞0。

FDDL目标函数为：

其中，为判别保真项模型，反映了训练样本A_i在字典D上的线性重构能力，反映了A_i可以被D_i表示的能力，反映了不同类别的字典不含有相似的表示信息。为判别系数项模型，最小化X的类内离散度最大化X的类间离散度m_i和m分别为X_i和X的均值向量，n_i为类A_i样本的总数。

综上，具体FDDL单元算法如下：

(1)输入训练样本的特征矩阵A及每个样本的类别标签，测试样本y,收敛阈值s，迭代最大数T。

(2)初始化字典D，以随机向量初始化字典D_i中的每一个原子。

(3)通过FDDL中稀疏编码求解方法更新稀疏系数X，即固定字典D，求解D_i；通过FDDL字典更新方法更新字典D，即固定稀疏系数X，更新字典D_i；若相邻迭代中的J_(D,X)之间的误差小于阈值s，或者已经达到迭代最大数T，则FDDL算法停止，最后可得到新字典D。

(4)通过l₁范数模型求解稀疏系数计算每类字典对测试样本的重构残差其中第一项是第i类的重构误差，第二项是系数向量之间的距离，w是平衡两项的权重；将测试样本归类于最小残差所属的类别identify(y)＝arg min_ir_i(y)。

Claims (6)

1.基于曲波变换和稀疏学习的人脸表情识别方法，具体包括如下步骤：

步骤S1：输入人脸表情图像后对图像进行预处理，并对预处理后的人脸表情图像进行眼部区域、嘴巴区域的剪裁与获取；

步骤S2：通过Curvelet变换对人脸表情特征进行提取；分别对预处理后的人脸表情图像、眼部区域、嘴巴区域进行Curvelet变换，依次获得人脸区域的Curvelet特征Curvelet_face、眼部区域的Curvelet特征Curvelet_eye、嘴巴区域的Curvelet特征Curvelet_mouth，并将Curvelet_face、Curvelet_eye和Curvelet_mouth特征进行串联融合，获得融合特征Curvelet_{face+eye+mouth}。

步骤S3：基于稀疏学习的分类识别，具体的：对人脸曲波特征Curvelet_face以及融合特征Curvelet_{face+eye+mouth}分别采用稀疏表示分类即SRC进行分类识别。

2.根据权利要求1所述的基于曲波变换和稀疏学习的人脸表情识别方法，其特征在于步骤S3所述的基于稀疏学习的分类识别还能采用如下方式：对人脸曲波特征Curvelet_face以及融合特征Curvelet_{face+eye+mouth}分别采用基于Fisher判别的字典学习进行分类识别。

3.根据权利要求1或2所述的基于曲波变换和稀疏学习的人脸表情识别方法，其特征在于步骤S1所述的人脸表情图像预处理具体如下：

人脸表情图像预处理包括表情区域的定位和裁剪、倾斜校正、尺寸归一化和光照均衡化；

表情区域的定位和裁剪，即人脸检测与定位是在输入的表情图像中快速准确地找出人脸的过程，并定位眼睛，然后根据先验知识裁剪出人脸表情区域，倾斜校正、尺寸归一化是为了解决图像形变问题；滤波和光照均衡化是为了去除噪声和光照变化的问题。

4.根据权利要求3所述的基于曲波变换和稀疏学习的人脸表情识别方法，其特征在于步骤S2所述的通过曲波变换对人脸表情特征进行提取，具体如下：

(1)一幅人脸表情图像预处理后尺寸大小归一化为100×100，Curvelet变换尺度经由公式log2(min(M,N))-3，其中M、N分别为人脸表情图像的长度和宽度；在进行4尺度分解后可以得到相应的低频系数、细节1层系数、细节2层系数和高频系数；第一尺度即低频部分表示的是人脸的概貌，大部分脸部能量集中在这一尺度，不含有方向信息,低频系数大小为17×17；第四尺度即高频部分表示的是人脸的轮廓信息，所含的能量比较少，因此一般也不分方向,高频系数大小为100×100；第二、第三尺度是细节层部分，含有丰富的方向信息，细节层系数其中细节1层分为16个方向，包含8个14×17/17×14和8个12×17/17×12的系数矩阵，细节2层分为32个方向，包含8个27×17/17×27、16个25×18/18×25和8个25×17/17×25的系数矩阵；

(2)人脸表情图像中贡献率较大的主要有眼部区域和嘴巴区域，依次经过Curvelet变换提取得到相应的Curvelet特征，即Curvelet_eye和Curvelet_mouth；然后分别将人脸区域的Curvelet特征Curvelet_face与局部区域的Curvelet特征连接融合起来，融合后的特征向量为Curvelet_{face+eye+mouth}；将人脸区域的Curvelet特征Curvelet_face与局部区域的Curvelet特征融合起来，相当于对这两个区域进行了加权处理，增强了对人脸表情识别贡献率比较大区域的权重；

所述的局部区域的Curvelet特征包括眼部区域的Curvelet特征Curvelet_eye、嘴巴区域的Curvelet特征Curvelet_mouth。

5.根据权利要求4所述的基于曲波变换和稀疏学习的人脸表情识别方法，其特征在于采用SRC进行分类识别，具体如下：

给定超完备字典A和y∈R^m为第i类某一测试样本，根据稀疏表示理论，则y可由A_i线性表示为：

其中，x为线性组合的系数，且此系数表明希望得到除了第i类字典相对应的系数以外其它类别的系数为0；采用正交匹配追踪法进行对x的稀疏求解；

y可被分解为不同图像特征的组合，稀疏表示系数矩阵x对应于各图像特征的分量，则图像分类问题就转化为求解线性方程y＝Ax的问题；由压缩感知理论，稀疏求解可由l₀范数问题转化为l₁范数问题，再考虑噪声等误差因素的存在，此问题可转化为：

arg min||x||₁ s.t. ||y-Ax||₂≤ε (2)

因为噪声和其它误差造成的干扰，稀疏投影系数向量x本该在不同类别上的系数为0，但却出现了系数不为0的情形，通过构造δ_i(x)表示x中第i类的稀疏投影系数来解决此问题；然后得到每类训练样本对测试样本的近似表示，根据每类训练样本与测试样本的逼近程度所呈现表示的判别差，最后可以使用重构误差对y判别所属类别：

综上，具体SRC描述如下：

(1)输入由训练样本构成的特征矩阵A＝[A₁,A₂…A_K]∈R^m×n，m是特征维数，n是训练样本总数，再输入一个测试样本y∈R^m；

(2)求l1范数问题的稀疏解arg min||x||₁s.t. Ax＝y；

(3)计算每个类别的训练样本与测试样本y的重构残差其中i＝1,2,···,K；

(4)输出测试样本y的类别identify(y)＝arg min r_i(y)。

6.根据权利要求4所述的基于曲波变换和稀疏学习的人脸表情识别方法，其特征在于采用基于Fisher判别的字典学习进行分类识别，即FDDL，具体如下：

设稀疏表示字典D＝[D₁,D₂,…,D_c]，D_i是对应于类i的子字典，训练样本集A＝[A₁,A₂,…,A_c]，设X是A在字典D上的编码系数矩阵，记为X＝[X₁,X₂,…,X_c]，即A≈DX，X_i是A_i在D上的编码系数子矩阵；FDDL的模型为：

其中，r(A,D,X)为判别保真项，||X||₁为稀疏性约束项，f(X)为附加在系数矩阵X上的Fisher判别系数项，λ₁和λ₂为调节参数，λ₁＞0，λ₂＞0；

FDDL目标函数为：

其中，为判别保真项模型，反映了训练样本A_i在字典D上的线性重构能力，反映了A_i可以被D_i表示的能力，反映了不同类别的字典不含有相似的表示信息；为判别系数项模型，最小化X的类内离散度最大化X的类间离散度m_i和m分别为X_i和X的均值向量，n_i为类A_i样本的总数；

综上，具体FDDL如下：

(1)输入训练样本的特征矩阵A及每个样本的类别标签，测试样本y,收敛阈值s，迭代最大数T；

(2)初始化字典D，以随机向量初始化字典D_i中的每一个原子；

(3)通过FDDL中稀疏编码求解方法更新稀疏系数X，即固定字典D，求解D_i；通过FDDL字典更新方法更新字典D，即固定稀疏系数X，更新字典D_i；若相邻迭代中的J_(D,X)之间的误差小于阈值s，或者已经达到迭代最大数T，则FDDL算法停止，最后可得到新字典D；

(4)通过l₁范数模型求解稀疏系数计算每类字典对测试样本的重构残差其中第一项是第i类的重构误差，第二项是系数向量之间的距离，w是平衡两项的权重；将测试样本归类于最小残差所属的类别identify(y)＝arg min_ir_i(y)。