CN105160299B

CN105160299B - 基于贝叶斯融合稀疏表示分类器的人脸情感识别方法

Info

Publication number: CN105160299B
Application number: CN201510469456.7A
Authority: CN
Inventors: 文贵华; 李丹扬
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2015-07-31
Filing date: 2015-07-31
Publication date: 2018-10-09
Anticipated expiration: 2035-07-31
Also published as: CN105160299A

Abstract

本发明公开了一种新的人脸情感识别方法，包括人脸表情图片的预处理，图像分割，特征提取，分类及分类结果融合，其特征在于：其将完整的人脸表情图片依据五官分布将其分割为四幅子图像(分别对应于额头，眼睛，鼻子，嘴)，利用稀疏表示分类器对子图像及原图像分别进行分类得到五种可能的分类结果，最后利用加权贝叶斯融合决策理论调整不同五官的权重分布，兼顾表情之间的相似性与相异性。具有实践简单，对噪音，遮挡的鲁棒性强，能更好的应对现实人脸表情识别的复杂情况并提高人脸表情识别的准确度等优点。

Description

基于贝叶斯融合稀疏表示分类器的人脸情感识别方法

技术领域

本发明涉及一种模式识别技术，特别涉及一种基于贝叶斯融合稀疏表示分类器的人脸情感识别方法。

背景技术

随着人机交互成为新世纪的热潮，人脸情感识别也随之发挥着越老越大的作用。现在许多电子设备均具有提高理解人类情感能力的需求。譬如：如果一个护理机器人具有持续性监控病人情感状态的能力，它就可以给与病人恰当的照顾并能迅速应对危急情况。另外，如果智能家居的所有者被检测出表露了负面情绪，那么智能家居系统可以选择播放所有者爱好的音乐或说出积极的话语予以应对。

正是由于人脸情感识别的广泛应用，许多针对人脸情感识别的方法纷纷被提出。其中稀疏表示分类器的出现无疑为人脸情感识别拉开了崭新的序章。在其提出之后，许多在此基础上的改进算法也纷纷涌现。而其中较为有趣的莫过于在稀疏表示分类器上的集成。但是，现在的集成大多是基于特征的集成，并且没有注意到在人脸情感识别过程中五官与其他部位对识别度的贡献度是不尽相同的。少有的基于加权融合方法也忽略了情感与情感之前相似混杂的特性，因此，本发明提出了一种利用贝叶斯融合稀疏表示分类器结果的方法。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于贝叶斯融合稀疏表示分类器的人脸情感识别方法，该人脸情感识别方法是一种结合局部与整体信息，兼顾情感之前相似与相异特性的方法，模拟实验表明该方法实现简单，对噪音及遮挡具有鲁棒性，在现实生活中具有实用性。

本发明的目的通过下述技术方案实现：基于贝叶斯融合稀疏表示分类器的人脸情感识别，包括：预处理，图像分割，特征抽取，分类及分类器结果融合，本发明认为不同五官在不同表情及是否存在遮挡物的情况下对人脸情感识别的贡献度是不一致的。因此通过构建权重矩阵给不同五官的信息以不同的置信度，并且通过贝叶斯融合理论对来自不同子图像及原图像的稀疏表示分类器结果进行融合，以达到提高人脸情感识别准确度的目的。

所述的基于贝叶斯融合稀疏表示分类器的人脸情感识别方法中采用ASM算法对人脸表情图像进行特征点标注。并根据所标记的特征点对人脸五官进行相应的分割。

所述的基于贝叶斯融合稀疏表示分类器的人脸情感识别方法中利用不同五官及原图像在稀疏表示分类器中的正确识别率以及错分为其他类别的概率组合成对应的混淆矩阵。该混淆矩阵的作用是表明人脸表情之间的相似性与相异性，用于评估在分类器给出结果之后该结果的可信程度。即：利用加权贝叶斯融合理论对稀疏表示分类器的结果进行融合，考虑了表情与表情之间的相似性与相异性及五官的重要程度

所述的基于贝叶斯融合稀疏表示分类器的人脸情感识别方法中具有一个权重矩阵W，该权重矩阵的作用是衡量五官对识别结果的贡献程度并对其识别结果进行加权。

本发明相对于现有技术具有如下的优点及效果：

1、本发明实现简单且其结构决定了其适用于并行算法从而节省运行时间；本发明的识别方法实践简单，对噪音，遮挡的鲁棒性强，能更好的应对现实人脸表情识别的复杂情况并提高人脸表情识别的准确度等优点

2、本发明考虑了五官在不同表情，是否有遮挡物等不同情况下对人脸情感识别的动态贡献程度，更加符合人脸情感识别的基本自然规律，因此提高了人脸情感识别的准确度。

3、本发明利用混淆矩阵记录了每一子图像及原图像对表情的准确识别能力及将该情绪错分为其他情绪的概率，从而得到了情绪之间的相似性，相异性变化。

4、本发明考虑了情绪之间的相似性，相异性关系，将贝叶斯融合理论引入分类器的融合之中，利用概率来判别不同分类器结果的可信程度。这种方式不仅比传统的稀疏表示分类器的人脸情感分类能力要强，也比多数投票，DS证据理论等融合方式的识别率要高。

5、本发明需要的参数少，无需特意调参，增加了算法的鲁棒性。

6、算法对噪音及遮挡具有一定的鲁棒性。

附图说明

图1是基于贝叶斯融合稀疏表示分类器的人脸情感识别方法的基本结构图。

图2a是本发明分割人脸表情图像时预处理的示意图。

图2b是本发明分割人脸表情图像的示意图。

图3是本发明求解权重矩阵及混淆矩阵的示意图。

图4是本发明采用的模拟实验中的人脸表情数据库的示意图。

图5是本发明采用的模拟实验中给数据库中人脸表情图像添加眼镜示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，基于贝叶斯融合稀疏表示分类器的人脸情感识别方法，包括训练部分及测试部分：

在训练部分中包括以下步骤：

第一步：预处理。如图2a和图2b所示，对人脸图像用HAAR级联分类器检测出人脸图像并去除背景区域。将表情区域图像归一化为灰度图并归一化为64*64大小，并使用直方图均衡化处理图像以减少来自光照的影响。

第二步：利用事先训练好的ASM算法识别出人脸表情图像的五官，并根据ASM算法标注点的提示将人脸表情图像依据五官分布分为四个部分分别对应于额头，眼睛，鼻子和嘴。

第三步：将分割好的子图像连同原图分别送入五个稀疏表示分类器。

稀疏表示分类器的基本原理是将测试样本视为训练样本的稀疏现行表示。给定一个测试样本，设为y，给定训练样本设为A，则需将其表示为y＝Aα，α表示待求的稀疏系数，在训练样本数小于图像维度的情况下，该方程是欠定的；因此可以通过以下方式求解：

min||α||₀,s.t.y＝Aα，

||||₀是一个L0问题，同时它是NP难的，然而幸运的是，α如果足够稀疏的话，这个问题可以等价于L1问题。

min||α||₁,s.t.||y-Aα||₂＜ε，

上述等式是凸优化的，并且可以通过外点法在多项式时间内得到求解。求解到的α将会在与测试样本y同类的训练样本处达到峰值，同时在其余部分保持稀疏。通过求解测试样本与其重构样本间的最小残差得到测试样本的最后分类C。

根据训练样本可以求解每一个子图像及原图在稀疏表示分类器上的正确识别率及在其他类上的错分率。可得到混淆矩阵CM：

这里k代表了五官的序号(分别对应于额头，眼睛，鼻子，嘴巴与脸)，cm_ij代表了第i类数据被分到第j类的概率。其对角线数据表明了正确分类的概率。

另外建立权重矩阵，如图3所示，使其元素等于混淆矩阵的对角线元素。

在测试过程中包括以下步骤：

第一步：对测试数据做与训练数据相同的预处理，并将测试数据按同样的方式分割为四部分。

第二部：将测试数据的四个子图像连同原图像输入到五个稀疏表示分类器中得到五个结果。

第三步：利用贝叶斯融合理论来融合分类器结果。假定分类器的数目为K，K＝5，情感类别为M，M＝7.将测试图片分类为类C的先验概率记为P(C_i)。由第K个SRC分类器产生的后验概率记为P(C_i|D_k)。根据贝叶斯理论，该集成分类器将会将测试数据分到具有最大后验概率的类C：

后验概率能够从贝叶斯的联合概率分布中求取，由于分母无条件的联合概率密度且对于每个类都是相同的，因此可以被省略。

上诉式子是很难得到直接求解的，因此我们运用朴素贝叶斯理论来对上式进行简化。Eq.6假设分类器之间相互独立并使得Eq.4可以通过类的联合条件概率的乘积来加以计算：

在传统的贝叶斯决策理论中，它将每个条件概率视作同等的。但是，这却与人脸表情识别的基本规律——人的五官在识别中具有更大的地位相互矛盾。因此，我们需要在贝叶斯理论中加入不同五官在不同情绪下对人脸情感识别所做的权值贡献：

现在分类规则为：

本发明的情感识别的效果评价采用的情感数据库是日本的JAFFE人脸表情数据库和卡耐基梅隆的Cohn-Kanade人脸表情数据库，如图4所示。

JAFFE表情数据库：在该数据库中共有是个表演者，并展现了七种情感(中性，高兴，伤心，惊讶，愤怒，厌恶以及恐惧)。在日本数据库中的图片的人脸区域是几乎同等大小的，头发也有梳理，但是不同图像之间是存在光照差异的。

Cohn-Kanade人脸表情数据库：为了保证构建权重矩阵和混淆矩阵的公平性，仅有26位具有其中表情的表演者被选作实验图片。同时将数据库中的图像序列的第一张选用于自然表情类别，后三张选用于特殊表情类别。

在两个数据库上均做了表演者不独立(PD)，表演者独立(PI)两种实验。表演者不独立是指同一表演者的不同程度的表情图像可能同时出现在训练集与测试集，表演者独立是指同一表演者不同时出现在训练集与测试集，后者更加符合现实生活的实际情况。

1)表演者不独立(PI)：

在JAFFE数据库，新算法比传统的稀疏表示分类器的识别率高12％，在KANADE数据库，新算法比稀疏表示分类器的识别率高5.9％。同时通过给数据库分别添加噪音可以看到，新算法在添加了0.05高斯噪音后，其识别率仍比传统SRC的识别率高6％，添加0.1的高斯噪声后，其识别率要高6.25％，在KANADE数据库中，其分别提高了4.5％及3.8％。当然在给数据库数据添加了眼镜进行遮挡之后，其也提高了3％左右。

2)表演者独立(PD)：

在灰度图上的实验表明，其在JAFFE数据库比传统SRC的识别率高了4.8％，在KANADE数据库上的实验表明其识别率高了5％左右，在JAFFE数据库添加0.05的高斯噪音后，其识别率提高2.2％,添加了0.1的高斯噪音后，识别率提高0.48％。在KANADE数据库上添加0.05高斯噪音后，其识别率提高1.4％，在添加0.1高斯噪音后，其识别率提高2.9％，如图5所示，在佩戴眼镜的情况下，其识别率提高了7.1％。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.基于贝叶斯融合稀疏表示分类器的人脸表情识别方法，其特征在于，包括以下步骤：

人脸表情图片预处理；对人脸图像用HAAR级联分类器检测出人脸图像并去除背景区域；

图像分割；利用事先训练好的ASM算法识别出人脸表情图像的五官，并根据ASM算法标注点的提示将人脸表情图像依据五官分布分为额头部分、眼睛部分、鼻子部分和嘴部分；

特征抽取；

分类及分类结果融合；将分割好的子图像连同原图分别送入五个稀疏表示分类器；稀疏表示分类器的基本原理是将测试样本视为训练样本的稀疏现行表示；给定一个测试样本，设为y，给定训练样本设为A，则需将其表示为y＝Aα，α表示待求的稀疏系数，在训练样本数小于图像维度的情况下，该方程是欠定的，通过以下方式求解：

min‖α‖₀,s.t.y＝Aα

其中，|| ||₀是L0问题，α如果足够稀疏的话，L0问题等价于L1问题；

min‖α‖₁,s.t.‖y-Aα‖₂＜ε

上述等式是凸优化的，通过外点法在多项式时间内得到求解；求解到的α会在与测试样本y同类的训练样本处达到峰值；通过求解测试样本与其重构样本间的最小残差得到测试样本的最后分类C；

将人脸表情图像中五官中的额头、眼睛、鼻子和嘴分类进行识别，并利用加权贝叶斯融合进行融合分类器结果；

根据训练样本求解每一个子图像及原图在稀疏表示分类器上的正确识别率及在其他类上的错分率，得到混淆矩阵CM：

k代表了五官的序号，分别对应于额头、眼睛、鼻子、嘴巴与脸；cm_ij代表了第i类数据被分到第j类的概率；混淆矩阵对角线数据表明了正确分类的概率；建立权重矩阵，使其元素等于混淆矩阵的对角线元素；

利用贝叶斯融合理论来融合分类器结果的过程为：假定分类器的数目为K，K＝5，情感类别为M，M＝7，将测试图片分类为类C的先验概率记为P(C_i)，由第K个SRC分类器产生的后验概率记为P(C_i|D_k)；根据贝叶斯理论，该集成分类器将测试数据分到具有最大后验概率的类C：

后验概率从贝叶斯的联合概率分布中求取：

运用朴素贝叶斯理论来对上式进行简化：

在贝叶斯理论中加入不同五官在不同情绪下对人脸情感识别所做的权值贡献：

最终的分类规则为：

2.根据权利要求1所述的基于贝叶斯融合稀疏表示分类器的人脸表情识别方法，其特征在于，通过构建权重矩阵给不同人脸的五官的信息以不同的置信度，并且通过贝叶斯融合理论对来自不同子图像及原图像的稀疏表示分类器结果进行融合。

3.根据权利要求1所述的基于贝叶斯融合稀疏表示分类器的人脸表情识别方法，其特征在于，通过构建不同五官在不同表情变化，及是否存在遮挡物下的混淆矩阵及依据混淆矩阵的对角线值构建的权重矩阵来量化五官及原图在不同情况下对人脸表情识别的贡献程度。

4.根据权利要求1所述的基于贝叶斯融合稀疏表示分类器的人脸表情识别方法，其特征在于：利用不同五官及原图像在稀疏表示分类器中的正确识别率以及错分为其他类别的概率组合成对应的混淆矩阵，所述混淆矩阵用于表明人脸表情之间的相似性与相异性。