CN104636711A - 一种基于局部稀疏表示分类器的人脸情感识别方法 - Google Patents

Abstract

本发明公开了一种基于局部稀疏表示分类器的人脸情感识别方法，其特征在于包括步骤：采集人脸表情图像；Gabor小波变换构造人脸表情图像的特征向量；利用特征选择算法MFCS选择特征；采用局部稀疏表示的分类器识别情感类别。与现有技术相比，本发明具有情感识别准确率高，情感识别快，对人脸不敏感等优点。

Description

一种基于局部稀疏表示分类器的人脸情感识别方法

技术领域

本发明提供了一种基于局部稀疏表示分类器的人脸情感识别方法，属于医疗健康、图像处理和模式识别技术领域。

背景技术

随着信息技术的不断发展，情感计算已广泛应用在智能机器人、智能玩具、游戏、电子商务等领域，以构筑更加拟人化的风格和更加逼真的场景。例如在人机交互方面，一个拥有情感能力的计算机能够对人类情感进行获取、分类、识别和响应，进而帮助使用者获得高效而又亲切的感觉，并能有效减轻人们使用电脑的挫败感，甚至能帮助人们理解自己和他人的情感世界。在智能交通方面可采用情感计算技术检测驾驶司机的精力是否集中，其感受到的压力水平等，进而做出相应的反应。情感也反映了人类的心理健康情况，情感计算的应用可以有效地帮助人们避免不良情绪，保持乐观健康的心理。

人脸表情在人与人之间的交流中起着至关重要的作用。人脸表情包含了丰富的情感信息，可直接体现出不同的情感状态信息，人脸情感识别就是通过分析一个人的人脸表情来察觉对方的内心情感状态。

尽管人脸情感识别已经取得了较多的研究成果，但是在实际应用当中，人脸图像容易受到腐蚀（Corruption）、遮挡（Occlusion）等因素的影响，因而识别的准确率仍然有待提高。其中的一个主要原因是人脸图像数据的高维问题，目前应用在人脸情感识别方面的特征选择方法不大适用于高维数据，难以在高维数据中选择到合适的特征子集，这些局限使得目前的情感识别的准确率不高。但是在其它领域，已出现一些非常有效的特征选择算法，例如MCFS算法（Deng Cai, Chiyuan Zhang, Xiaofei He, Unsupervised feature selection for multi-cluster data, Proceedings of the 16th ACM SIGKDD international conference on Knowledge discovery and data mining 2009），这种方法能够在高维空间中选择出合适的特征，并能有效地用于人脸识别。本发明将其用于人脸情感识别。

人脸情感识别中的另一个问题是数据的稀疏问题，目前很多分类算法对数据的稀疏性非常敏感。稀疏导致数据之间度量的失败，进而导致分类缺乏依据。近年来，Donoho、Baraniuk、Candes 等人提出了一种新的采样理论，即压缩感知 CS（Compressive Sensing、Compressed Sensing、Compressive Sampling)理论，其已在信息论、图像处理、人脸识别、视频追踪等领域受到了高度关注，例如稀疏表示分类器SRC（Sparse Representation Classifier）已成功用于人脸表情识别领域，取得了较好效果。但是SRC对噪音敏感，准确率还需进一步提高，本发明提出局部稀疏表示和局部相对稀疏表示分类器来实现情感识别，获得了更高的识别准确率。

发明内容

本发明要解决的技术问题是：解决高维数据的特征选择问题和稀疏表示分类问题，以提高情感识别的准确率。

 一种基于局部稀疏表示分类器的人脸情感识别方法，其特征在于该方法包括以下步骤：

[1]    采集人脸表情图像；

[2]    采用Gabor 小波变换构造人脸表情的特征向量；

[3]    根据MCFS算法选择特征，获得降维后的人脸表情特征向量；

[4]    采用局部稀疏表示分类器分类降维后的人脸表情特征向量，获得对应的情感类别。

 

其中MCFS特征选择算法包括以下步骤：

[1] 构造p近邻图，边之间的权重设为：如果两个样本相邻，则边之间的权重设为1，若两个样本不相邻，则边之间的权重设为零； 

[2] 计算式(11)的特征值，式中L=D-W,                                               , W为第一步求得的权重。为最小的k个特征值对应的特征向量；

Ly =λDy                                                    (11)

[3] 使用Least Angel Regression算法解决公式(12)所示的L1-regularized regression 问题；

                                           (12)

[4] 使用式(13)计算MCFS得分

                                        (13)

[5] 返回得分最高的k个特征即为特征选择的结果。

 其中局部稀疏表示分类器是对稀疏表示分类器SRC的发展，SRC的核心思想是，把训练样本视为一组基，将测试样本看作为同类训练样本的线性组合，然后通过求解一个 L1-范数最优化问题的方法计算测试样本的最稀疏表示系数，最后使用测试样本与稀疏表示后的残差大小来进行分类。

给定某一类的训练样本，测试样本看作为同类训练样本的线性组合，即

其中表示第i类的测试样本，表示第i类的第j个训练样本，表示训练相应样本的权重，表示误差。

对所有类的训练样本，测试样本看作为所有类训练样本的线性组合，即

式中，c表示所有训练样本的总的类别数。

采用矩阵形式表示，则

理论上，在稀疏分类分类器中，要求权向量α中除了与第i 类相关的元素外，其余的元素都应该为零。为了获取权向量α，需要求解下面的 L-0 范数意义下的最优化问题：

为求解这个问题，将其转化为L-1 范数意义下的最优化问题：

 

这是一个凸优化问题，可转化为线性规划问题进行求解。

给定一个新的测试样本，首先通过求解凸优化问题获取权向量α。理想情况下，权向量α的非零系数中最大的系数值应该对应第i类，并且较大的系数都与这个类别有关，那么就将归入到这个类别当中。由于噪声等问题可能导致权向量α当中存在一部分非零系数与其它类别相关。为解决这个问题，最简单的做法就是将归入到权向量α中最大系数值所对应的类别中。

 稀疏表示分类器（SRC）步骤如下：

[1]   针对测试样本，在训练集合中求解下式中的 L-1 范数最优化问题：

[2]   计算测试样本在每一类（ i = 1,2, ,c）的近似重构样本，将其记为：，然后计算出这个重构样本与的残差，即

[3]   取 残 差 为 最 小 值 的 类 别 号 i 作 为 测 试 样 本的情感类别， 即。

 局部稀疏表示分类器是对稀疏表示分类器（SRC）的改进，步骤包括：

[1]    针对测试样本，分别从训练集中每个类别训练样本中选出K个最近邻样本，构成测试样本的局部训练集

[2]   在局部训练集合中，求解下式中的 L-1 范数最优化问题：

[3]    在局部训练集合的每一类（ i = 1,2, ,c）中，先近似重构出测试样本的一个新样本，将其记为：，然后计算出这个重构的新样本与的残差，即

[4]   取 残 差 为 最 小 值 的 类 别 号 i 作 为 测 试 样 本的 情感类别，即

。

局部稀疏表示分类器还可以进一步用相对变换改进，改进后的局部稀疏表示分类器步骤包括：

[1]    针对测试样本，分别从训练集中每个类别训练样本中选出K个最近邻样本，构成测试样本的局部训练集L；

[2]    构造包括测试样本和选出的所有最近邻样本的集合；

[3]    对集合S做相对变换，获得变换后的测试样本和最近邻样本构成的局部训练集

[4]    在局部训练集合中，求解下式中的 L-1 范数最优化问题：

[5]    在局部训练集合的每一类（ i = 1,2, ,c）中，先近似重构出测试样本的一个新样本，将其记为：，然后计算出这个重构的新样本与的残差，即

[6]   取 残 差 为 最 小 值 的 类 别 号 i 作 为 测 试 样 本的 情感类别，即

。

 相对变换

在情感识别中计算数据点之间的度量时，绝大多数都没有考虑其它数据点的影响，这使得噪音与正常点的待遇相同，同时也没有考虑数据稀疏性以及数据的非均匀分布对度量的影响，这些是造成现有方法难以处理数据稀疏和数据噪音的重要原因之一。相对变换是根据认知的相对性规律提出一种相对变换，将原始数据空间转换到相对空间，之后在相对空间中虽然仍然采用原来的距离公式，但计算出的值却考虑了所有数据点的影响。相对变换能使噪音和孤立点远离正常点，稀疏的数据变得相对密集。在相对空间中测量数据的相似性或距离能够更符合我们的直觉，从而提高数据分析的准确性。

相对变换以原始样本空间中的每个样本点为基础构造新的空间，方法是计算给定样本点到所有样本点的距离来构造该样本点的新坐标，这个过程称为相对变换：

，

其中，n为集合X的元素个数，为原始数据空间中样本与样本之间的距离。

 有益效果

与现有技术相比，本发明的一种基于局部稀疏表示分类器的人脸情感识别方法具有以下优点：

[1]    情感识别的准确率高；

[2]    情感识别的速度快；

[3]    对数据稀疏和噪音不敏感，应用广泛。

 附图说明

图1 一种基于局部稀疏表示分类器的人脸情感识别方法的流程图。

具体实施方式

本发明提出的一种基于局部稀疏表示分类器的人脸情感识别方法，结合附图和实施例说明如下。

如图1 所示，为一种基于局部稀疏表示分类器的人脸情感识别方法，该方法包括以下步骤： 

[1]   采集人脸表情图像，并以采集时的时间为文件名称将采集的人脸表情图像保存为JPEG格式的图片文件；

[2]   采用Gabor 小波变换构造人脸表情的特征向量；

[3]   采用MCFS算法选择特征，获得降维后的人脸表情的特征向量；

[4]   采用局部相对稀疏的分类器分类降维后的特征向量所代表的情感类别，判断的情感类别为愤怒，高兴，悲伤，惊讶，厌恶，恐惧和平静。

（1）人脸采集与检测方法

本实施案例中，人脸采集与检测采用OpenCV提供的API函数。OpenCV 是 Intel 开源计算机视觉库 (Computer Version) ，由一系列 C 函数和少量 C++ 类构成，实现了图像处理和计算机视觉方面的很多通用算法。OpenCV 对非商业应用和商业应用都是免费 的。同时 OpenCV 提供了对硬件的访问，可以直接访问摄像头，因而我们利用OpenCV编程实现人脸图像的采集和检测，从而获得预处理后的人脸图像。

（2）人脸表情图像的特征向量构造方法

鉴于二维Gabor 小波变换能够有效捕捉空间频率、空间位置以及方向选择的局部结构信息，因此，本实施案例采用Gabor 小波变换提取人脸表情特征。

二维 Gabor 滤波器的核函数定义为：

式中， 分别表示 Gabor 核函数的方向和频率大小。 表示采用高斯函数窗口的大小，用来决定滤波器的带宽。小波矢量定义为

分别表示二维 Gabor 滤波器在频率和方向空间的采样方式。随着中心频率的增大，滤波器的频率也会随之变大。不同频率的滤波器反映不同频带的图像特征。若方向参数发生变化，滤波器核函数的虚部和实部则表现出不同方向的纹理特征信息。

在提取一幅人脸表情图像的 Gabor 特征时，就是将该图像与一组 Gabor 滤波器的各个 Gabor 小波进行卷积运算，然后取其幅值作为每个 Gabor 小波的系数输出，最后把所有Gabor 系数都串联在一起，作为一幅人脸表情图像的特征向量。

直接提取的 Gabor 特征维数一般都会非常高，因此采用一种合适的采样因子对 Gabor 变换之后的图像作均匀采样，这里采样因子设为 16，采样之后的 Gabor 特征维数为 42,560（40 × 110/4 × 150/4）。

 （3）特征选择算法

人脸图像的Gabor 特征维数仍然很高，本实施案例继续采用MFCS降维。

MCFS特征选择算法包括以下步骤：

[1] 构造p近邻图，边之间的权重设为：如果两个样本相邻，则边之间的权重设为1，若两个样本不相邻，则边之间的权重设为零；

[2] 计算式(1)的特征值，式中L=D-W,, W为第一步求得的权重。为最小的k个特征值对应的特征向量； 

Ly =λDy                                                (1)

[3] 使用Least Angel Regression算法解决公式(2)所示的L1-regularized regression 问题；

                                           (2)

[4] 使用式(3)计算MCFS得分； 

                                         (3)

[5] 返回得分最高的k个特征即为特征选择的结果。

MFCS采用C++编程的线性规划问题求解工具包实现，方法的参数p=5，k取Gabor 特征维数的一半。

    # detect objects

    cascade = cv.cvLoadHaarClassifierCascade('haarcascade_frontalface_alt.xml',

                                                cv.cvSize(1,1))

    faces = cv.cvHaarDetectObjects(grayscale, cascade, storage, 1.2, 2,

                                    cv.CV_HAAR_DO_CANNY_PRUNING,

                                    cv.cvSize(50, 50))#设置最小的人脸为50*50像素

    if faces:

        print 'face detected here', cv.cvGetSize(grayscale)

        for i in faces:

            cv.cvRectangle(image, cv.cvPoint( int(i.x), int(i.y)),

                         cv.cvPoint(int(i.x + i.width), int(i.y + i.height)),

                         cv.CV_RGB(0, 255, 0), 1, 8, 0)#画一个绿色的矩形框

（4）局部稀疏表示分类器

局部稀疏表示分类器是对基于稀疏表示的分类器的改进，步骤包括：

[1]   针对测试样本，分别从训练集中每个类别训练样本中选出K个最近邻样本，构成测试样本的局部训练集

[2]    在局部训练集合中，求解下式中的 L-1 范数最优化问题：

[3]   在局部训练集合的每一类（ i = 1,2, ,c）中，先近似重构出测试样本的一个新样本，将其记为：，然后计算出这个重构的新样本与的残差，即

[4]   取 残 差 为 最 小 值 的 类 别 号 i 作 为 测 试 样 本的 情感类别，即

。

局部稀疏表示的分类器还可以进一步用相对变换改进，改进后的局部稀疏表示的分类器步骤包括：

[1]   针对测试样本，分别从训练集中每个类别训练样本中选出K个最近邻样本，构成测试样本的局部训练集L；

[2]   构造包括测试样本和选出的所有最近邻样本的集合；

[3]   对集合S做相对变换，获得变换后的测试样本和最近邻样本构成的局部训练集；

[4]   在局部训练集合中，求解下式中的 L-1 范数最优化问题：

[5]   在局部训练集合的每一类（ i = 1,2, ,c）中，先近似重构出测试样本的一个新样本，将其记为：，然后计算出这个重构的新样本与的残差，即；

[6]   取 残 差 为 最 小 值 的 类 别 号 i 作 为 测 试 样 本的 情感类别，即

。

 

采用C++编程的线性规划问题求解工具包实现，例如可选择其中的梯度投影法和内点法进行求解。

 局部稀疏表示分类器中的相对变换可采用常用的距离如Euclidean距离、Chebychev距离、Manhattan距离、Minkowsky距离、加权的Minkowsky距离、Mahalanobis距离等，本实施案例采用Euclidean距离。

本实施案例涉及的参数，以预测性能为准则，以10倍交叉验证方式选择合适参数，进而获得对应的情感分类模型。在 Cohn-Kanade 和 JAFFE 两个标准的人脸表情数据库的实验测试结果，表明本发明具有优越的分类性能和鲁棒性，非常适合于人脸表情识别。

 本领域的普通技术人员应当理解，本发明的技术方案可以进行修改，变形或等同变换，而不脱离本发明技术方案的本质和范围，均覆盖在本发明的权利要求范围之中。

Claims (6)

1.一种基于特征选择和局部稀疏表示的人脸情感识别方法，其特征在于该方法包括以下步骤：[1]采集人脸表情图像；[2]采用Gabor 小波变换构造人脸表情的特征向量；[3]利用MCFS（unsupervised Feature Selection for Multi-Cluster data）算法选择特征，获得降维后的人脸表情特征向量；[4]采用基于局部稀疏表示分类器分类降维后的人脸表情特征向量，获得对应的情感类别。

2.根据权利要求1所述的一种基于特征选择和局部稀疏表示的人脸情感识别方法，其特征在于所述的步骤[3]，采取特征选择算法MCFS选择特征。

3.根据权利要求1和权利要求2所述的一种基于特征选择和局部稀疏表示的人脸情感识别方法，其特征在于，所述的步骤[4]采用的基于局部稀疏表示分类器包括以下步骤：[1]针对测试样本，分别从训练集中每个类别的训练样本中选出K个最近邻样本；[2]计算测试样本在每个类选择的K个最近邻样本中的稀疏表示误差；[3]将测试样本分类到稀疏表示误差最小的情感类别中。

4.根据权利要求1和权利要求2所述的一种基于特征选择和局部稀疏表示的人脸情感识别方法，所述的步骤[4] 采用的基于局部稀疏表示分类器包括以下步骤：[1]针对测试样本，分别从训练集中的每个类别的训练样本中选出K个最近邻样本；[2]构造包括测试样本和选出的所有最近邻样本的集合S；[3]对集合S做相对变换，获得变换后的测试样本和每个类的K个最近邻样本；[4]计算变换后的测试样本在每个类变换后的K个最近邻样本的稀疏表示误差；[5]将测试样本分类到稀疏表示误差最小的情感类别中。

5.根据权利要求4所述的一种基于特征选择和局部稀疏表示的人脸情感识别方法，其特征在于，所述的步骤[3]对测试样本和每个类选出的K个最近邻样本的集合实施相对变换。

6.根据权利要求4所述的一种基于特征选择和局部稀疏表示的人脸情感识别方法，其特征在于，所述的步骤[4] 计算变换后的测试样本在每个类变换后的K个最近邻样本中的稀疏表示误差。