CN1996344A - 人脸表情信息的提取方法及处理 - Google Patents

Abstract

本发明一种人脸表情信息的提取方法及处理，包括有人脸表情信息的提取方法和人脸表情信息的处理，该人脸表情信息的提取方法是：通过诱导被试者表达各种设定的单一表情、混合表情和复杂表情，采用两个摄像头分别提取被试者表情的正面和侧面视频数据。该人脸表情信息的处理是：将单一表情视频通过人脸检测器输出人脸图像，通过将AdaBoost算法生成的强分类器的输出由二值改为连续实数值改进为专门表情分类器，由多个专门表情分类器对人脸图像分类并进行判决，给出最终表情类型。

Description

人脸表情信息的提取方法及处理

(一)技术领域

本发明涉及一种人脸表情信息的提取方法及处理，尤其是人脸表情信息的提取方法及处理。

(二)背景技术

人脸表情含有丰富的人体行为信息，在人们的日常生活中起着重要的作用，对它的研究可以进一步了解人类对应的心理状态，人脸表情识别的研究在情感计算和智能交互领域有着重要的意义。由于人脸表情非常复杂，而且受种族、文化等差异的影响，目前大多数人脸表情识别的研究仅限于少数典型的表情。然而情感化的智能交互要求机器具有接近人类的表情识别能力，为了实现该目标，就需要提取丰富、有效的人脸表情数据，并对其进行处理。

人脸表情数据大致分为两类。一类为基于美国心理学家埃克曼(Ekman)提出的六种基本情感(分别为：高兴、悲伤、惊讶、生气、嫌恶和害怕)的人脸表情数据。例如，马里兰大学人脸表情数据库和日本女性人脸表情(JAFFE：Japanese Female Facial Expression)数据库均包含了上述六种基本表情，后者还包含了中性表情。另一类人脸表情数据集中于提取人脸更加细微的表情。例如，基于埃克曼(Ekman)提出的面部动作编码系统(FACS：Facial actioncoding system)的活动单元编码表情数据库(AU-Coded Facial Expression Database，AU：ActionUnit)中包含了单一运动单元和复合运动单元共23种表情。目前的人脸表情数据不仅数量不足，而且包含的表情种类有限，尤其是具有情感意义的表情不多，极大的限制了人脸表情分析及情感识别研究的发展。

对人脸表情信息的处理是对人脸的表情信息进行特征提取分析，从人脸信息中识别人的情绪，如快乐、惊奇、愤怒、恐惧、厌恶、悲伤等。人脸表情信息的识别方法通常分为基于几何特征的识别方法、基于模型的识别方法和基于整体图像特征的识别方法。目前的表情识别技术鲁棒性有待提高，表情识别种类有待增加，表情识别计算量有待降低。

(三)发明内容

本发明一种人脸表情信息的提取方法及处理，其目的是：①针对现有人脸表情数据不足，尤其是具有情感意义的表情种类有限，提出人脸表情信息的提取方法，以提取更多种类的情感表情数据；②对于提取的多种表情信息，为了识别多种表情，提出有别于现有表情识别方法的基于多个专门表情分类器的处理方法，以达到较好的识别效果。

本发明一种人脸表情信息的提取方法及处理；其中，

该人脸表情信息的提取方法是：通过诱导被试者表达各种设定的单一表情、混合表情和复杂表情，采用两个摄像头分别提取被试者表情的正面和侧面视频数据。

该人脸表情信息的处理是：将单一表情视频通过人脸检测器输出人脸图像，通过将AdaBoost算法生成的强分类器的输出由二值改为连续实数值改进为专门表情分类器，由多个专门表情分类器对人脸图像分类并进行判决，给出最终表情类型。

设定的单一表情、混合表情和复杂表情说明如下。单一表情包括：微笑、大笑、嘲笑、忧愁、生气、暴怒、惊讶、害怕、嫌恶、怀疑、焦急、鄙夷、恳求、失望、悲伤、好奇、害羞和打哈欠等；混合表情包括：惊讶—喜悦、惊讶—悲伤、惊讶—生气等；复杂表情包括：手遮挡脸时微笑、手遮挡脸时生气、谈话时微笑和谈话时生气等。

关于人脸表情信息的提取方法；其步骤如下：

步骤1：针对人机交互的情感需求设计的，设计实验场景为背景比较复杂的实验室，光照条件为头顶日光灯照并且受自然光影响，并允许有其它人的出现，但不能主动影响被试者的情感表达，被试者被要求坐在一台计算机前，被试者的正前方和以正前方为基准的约30度的右侧方处固定两个连接到计算机的普通PC摄像头(ANC-网乐宝贝II，38万像素)以摄录被试者的表情，摄像头与被试者的距离约为0.5-0.8米；

步骤2：被试者被要求自然的表达一个指定的表情，指定表情的顺序为18种单一表情、3种混合表情和4种复杂表情；被试者在表达面部表情时可以轻微的移动头部，但需要基本保持正面面对正前方的摄像头，被试者的穿着和发型也不受任何约束；

步骤3：如果被试者难于表达指定的表情，实验者会应用各种提示对其进行诱导，使被试者对指定的表情有更深刻的理解，以更好的表达指定的表情；诱导方式为：①实验者向被试者展示由表情素描、日本女性人脸表情(JAFFE)数据库中的典型表情图片、虚拟场景描述、潜台词或独白构成的幻灯片；②实验者向被试者演示前期录制的较成功的表情视频：③实验者向被试者现场示范部分表情；

步骤4：实验者发出口令指示被试者表达指定的表情，并和助手控制两个摄像头同步进行摄录，直到被试者表达完毕以口令结束录像；对每个表情采集的视频数据存储为音频视频交错格式(AVI：Audio Video Interleaved)，640*480像素，24位彩色，帧率为30帧/秒，持续约6秒；

步骤5：当被试者的表达不够理想时，重复步骤3和4，但重复的次数不宜过多；

步骤6：对下一个指定的表情进行步骤2到6的操作，直到被试者将25种表情表达完毕；

步骤7：用Adobe公司的视频处理软件Premiere将每段视频剪辑成约2秒的表情视频。

关于人脸表情信息的处理；其步骤如下：

步骤1：采用维奥拉(Viola)提出的积分图像和AdaBoost算法相结合的方法，在自行开发的实时人脸表情识别软件系统上实现人脸检测器；

步骤2：从18种单一表情中选取m(m≤18)种待识别的单一表情，利用人脸检测器从上述表情的正面视频文件中全自动检测出人脸图像，并从中筛选出正确的人脸表情图像归为各种单一表情类别和平静表情类别；

步骤3：将所有的人脸表情图像尺寸归一化为24*24点像的灰度训练样本；

步骤4：设选定的m种单一表情为e₁，e₂，…，e_m，平静表情为e₀，对于每种选定的单一表情e_i，以该类表情样本为正例样本，其它各类表情样本及平静样本为反例样本，基于人脸检测器的改进方法训练专门表情分类器h_ei；人脸检测器和专门表情分类器是两种不同的算法，人脸检测器的输出为0或1，0代表非人脸，1代表人脸；专门表情分类器通过下述式(1)将输出改为[0，1]区间的实数，

$h_e\left(x\right)=\frac{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\α}}_t{h}_t\left(x\right)}{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\α}}_t}---\left(1\right)$

式中h_e为专门表情分类器，T为循环次数，h_t为每轮选取的误差最小的弱分类器， ${\mathrm{\α}}_t=\log \frac{1-{\mathrm{\ϵ}}_t}{{\mathrm{\ϵ}}_t}$ ，其中ε_t为h_t的判别误差；

步骤5：最终表情分类器H从各专门表情分类器h_ei的得分中选取最高分，若最高分超过设定的阈值，则判决为获得最高分的专门表情分类器对应的表情，否则判定为平静表情，

最终表情分类器H的表达式如式(2)，最终表情分类器H从m个专门表情分类器h_ei的得分中选取最高分，若最高分超过设定的阈值θ，则判决为获得最高分的专门表情分类器对应的表情，否则判定为平静表情e₀，通过调整阈值θ，可获得较高的识别率。

$H\left(x\right)=\left\{\begin{array}{cc}\arg \underset{i}{\max }{h}_{\mathrm{ei}}\left(x\right)& \mathrm{if}\underset{i}{\max }{h}_{\mathrm{ei}}\left(x\right)\≥\mathrm{\θ}\\ e_0& \mathrm{otherwise}\end{array}\right.---\left(2\right)$

式中H为最终表情分类器，h_ei为单一表情e_i的专门表情分类器，e₀为平静表情，θ为设定的阈值，i∈{1，2，…，m}。

本发明的积极效果和优点如下：

1.人脸表情信息的提取方法针对多种单一表情、混合表情和复杂表情，获得了在其它人脸数据库中未曾出现的情感表情，对世界人脸表情数据库进行了有益的补充；

2.人脸表情信息的处理通过将人脸检测器改进为专门表情分类器，由多个专门表情分类器对人脸检测器输出的人脸图像分类并进行判决实现对多种表情的分类，具有较强的表情分类能力。

(四)附图说明。

图1方法步骤方框图。

图2人脸表情拍摄示意图。

图3正面单一表情。

图4正面混合表情。

图5正面复杂表情。

图6各种提示的幻灯片。

图7表情分类器判决。

(五)具体实施方法

本发明一种人脸表情信息的提取方法及处理，包括有人脸表情信息的提取方法和人脸表情信息的处理；其中，

一、人脸表情信息的提取方法，该提取方法步骤如下：

步骤1：针对人机交互的情感需求设计的，设计实验场景为背景比较复杂的实验室，光照条件为头顶日光灯照并且受自然光影响，并允许有其它人的出现，但不能主动影响被试者的情感表达。被试者被要求坐在一台计算机前，被试者的正前方和以正前方为基准的约30度的右侧方处固定两个连接到计算机的普通PC摄像头(ANC-网乐宝贝II，38万像素)以摄录被试者的表情，如图2所示。摄像头与被试者的距离约为0.5-0.8米。

步骤2：被试者被要求自然的表达一个指定的表情。指定表情的顺序为单一表情(微笑、大笑、嘲笑、忧愁、生气、暴怒、惊讶、害怕、嫌恶、怀疑、焦急、鄙夷、恳求、失望、悲伤、好奇、害羞和打哈欠)、混合表情(惊讶—喜悦、惊讶—悲伤、惊讶—生气)和复杂表情(手遮挡脸时微笑、手遮挡脸时生气、谈话时微笑和谈话时生气)，如图3至图5所示。被试者在表达面部表情时可以轻微的移动头部，但需要基本保持正面面对正前方的摄像头。被试者的穿着和发型也不受任何约束。

步骤3：如果被试者难于表达指定的表情，实验者会应用各种提示对其进行诱导，使被试者对指定的表情有更深刻的理解，以更好的表达指定的表情。诱导方式为：①实验者向被试者展示由表情素描、日本女性人脸表情(JAFFE)数据库中的典型表情图片、虚拟场景描述、潜台词或独白构成的幻灯片(如图6所示)；②实验者向被试者演示前期录制的较成功的表情视频；③实验者向被试者现场示范部分表情。

步骤4：实验者发出口令指示被试者表达指定的表情，并和助手控制两个摄像头同步进行摄录，直到被试者表达完毕以口令结束录像。对每个表情采集的视频数据存储为AVI格式，640*480像素，24位彩色，帧率为30帧/秒，持续约6秒。

步骤5：当被试者的表达不够理想时，重复步骤3和4。但重复的次数不宜过多。

步骤6：对下一个指定的表情进行步骤2到6的操作，直到被试者将25种表情表达完毕。

步骤7：用视频剪辑工具Adobe Premiere将每段视频剪辑成约2秒的表情视频。

二、人脸表情信息的处理，该处理的步骤如下：

步骤1：采用Viola提出的积分图像和AdaBoost算法相结合的方法(P. Viola，M.Jones.Rapid Object Detection using a Boosted Cascade of Simple Features[A].Proceedings of IEEEConference on Computer Vision and Pattern Recognition(电气和电子工程师协会2001年计算机视觉和模式识别会议)[C].2001.511-518)，在自行开发的实时人脸表情识别软件系统上实现人脸检测器。

步骤2：从18种单一表情中选取m(m≤18)种待识别的单一表情，利用人脸检测器从上述表情的正面视频文件中全自动检测出人脸图像，并从中筛选出正确的人脸表情图像归为各种单一表情类别和平静表情类别。

步骤3：将所有的人脸表情图像尺寸归一化为24*24点像的灰度训练样本。

步骤4：设选定的m种单一表情为e₁，e₂，…，e_m，平静表情为e₀，对于每种选定的单一表情e_i，以该类表情样本为正例样本，其它各类表情样本及平静样本为反例样本，基于人脸检测器的改进方法训练专门表情分类器h_ei。

专门表情分类器h_e采用Viola提出的积分图像和Adaboost方法相结合的方法，并将Adaboost迭代后的强分类器的定义作如(1)式的修改，输出为[0，1]区间的实数，将“硬”判决转换为“软”判决。

$h_e\left(x\right)=\frac{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\α}}_t{h}_t\left(x\right)}{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\α}}_t}---\left(1\right)$

式中h_e为专门表情分类器，T为循环次数，h_t为每轮选取的误差最小的弱分类器， ${\mathrm{\α}}_t=\log \frac{1-{\mathrm{\ϵ}}_t}{{\mathrm{\ϵ}}_t}$ ，其中ε_t为h_t的判别误差。

步骤5：最终表情分类器H的表达式如式(2)所示。最终表情分类器H从m个专门表情分类器h_ei的得分中选取最高分，若最高分超过设定的阈值θ，则判决为获得最高分的专门表情分类器对应的表情，否则判定为平静表情e₀，如图7所示。通过调整阈值θ，可获得较高的识别率。

$H\left(x\right)=\left\{\begin{array}{cc}\arg \underset{i}{\max }{h}_{\mathrm{ei}}\left(x\right)& \mathrm{if}\underset{i}{\max }{h}_{\mathrm{ei}}\left(x\right)\≥\mathrm{\θ}\\ e_0& \mathrm{otherwise}\end{array}\right.---\left(2\right)$

式中H为最终表情分类器，h_ei为单一表情e_i的专门表情分类器，e₀为平静表情，θ为设定的阈值，i∈{1，2，…，m}。

Claims (2)

1、一种人脸表情信息的提取方法，其特征在于：该提取方法步骤如下：

步骤1：针对人机交互的情感需求设计的，设计实验场景为背景比较复杂的实验室，光照条件为头顶日光灯照并且受自然光影响，并允许有其它人的出现，但不能主动影响被试者的情感表达，被试者被要求坐在一台计算机前，被试者的正前方和以正前方为基准的约30度的右侧方处固定两个连接到计算机的普通PC摄像头以摄录被试者的表情，摄像头与被试者的距离约为0.5-0.8米；

步骤2：被试者被要求自然的表达一个指定的表情，指定表情的顺序为18种单一表情、3种混合表情和4种复杂表情，被试者在表达面部表情时可以轻微的移动头部，但需要基本保持正面面对正前方的摄像头，被试者的穿着和发型也不受任何约束；

步骤3：如果被试者难于表达指定的表情，实验者会应用各种提示对其进行诱导，使被试者对指定的表情有更深刻的理解，以更好的表达指定的表情；诱导方式为：①实验者向被试者展示由表情素描、日本女性入脸表情数据库中的典型表情图片、虚拟场景描述、潜台词或独自构成的幻灯片；②实验者向被试者演示前期录制的较成功的表情视频；③实验者向被试者现场示范部分表情；

步骤4：实验者发出口令指示被试者表达指定的表情，并和助手控制两个摄像头同步进行摄录，直到被试者表达完毕以口令结束录像；对每个表情采集的视频数据存储为音频视频交错格式，640*480像素，24位彩色，帧率为30帧/秒，持续约6秒；

步骤5：当被试者的表达不够理想时，重复步骤3和4，但重复的次数不宜过多；

步骤6：对下一个指定的表情进行步骤2到6的操作，直到被试者将25种表情表达完毕；

步骤7：用Adobe公司的视频处理软件Premiere将每段视频剪辑成约2秒的表情视频。

2、一种人脸表情信息的处理，其特征在于：该处理的步骤如下：

步骤1：采用Viola提出的积分图像和AdaBoost算法相结合的方法，在自行开发的实时人脸表情识别软件系统上实现人脸检测器；

步骤2：从18种单一表情中选取m(m≤18)种待识别的单一表情，利用人脸检测器从上述表情的正面视频文件中全自动检测出人脸图像，并从中筛选出正确的人脸表情图像归为各种单一表情类别和平静表情类别；

步骤3：将所有的人脸表情图像尺寸归一化为24*24点像的灰度训练样本；

步骤4：设选定的m种单一表情为e₁，e₂，…，e_m，平静表情为e₀，对于每种选定的单一表情e₁，以该类表情样本为正例样本，其它各类表情样本及平静样本为反例样本，基于人脸检测器的改进方法训练专门表情分类器h_ei；人脸检测器和专门表情分类器是两种不同的算法，人脸检测器的输出为0或1，0代表非人脸，1代表人脸；专门表情分类器通过下述式(1)将输出改为[0，1]区间的实数，

$h_e\left(x\right)=\frac{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\α}}_1{h}_1\left(x\right)}{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\α}}_1}---\left(1\right)$

式中h_e为专门表情分类器，T为循环次数，h₁为每轮选取的误差最小的弱分类器，

${\mathrm{\α}}_t=\log \frac{1-{\mathrm{\ϵ}}_1}{{\mathrm{\ϵ}}_1},$ 其中ε_l为h_l的判别误差；

步骤5：最终表情分类器H从各专门表情分类器h_ei的得分中选取最高分，若最高分超过设定的阈值，则判决为获得最高分的专门表情分类器对应的表情，否则判定为平静表情，

最终表情分类器H的表达式如式(2)，最终表情分类器H从m个专门表情分类器h_ei的得分中选取最高分，若最高分超过设定的阈值θ，则判决为获得最高分的专门表情分类器对应的表情，否则判定为平静表情e₀，通过调整阈值θ，可获得较高的识别率。

$H\left(x\right)=\left\{\begin{array}{cc}\arg \underset{i}{\max }{h}_{\mathrm{ei}}\left(x\right)& \mathrm{if}\underset{i}{\max }{h}_{\mathrm{ei}}\left(x\right)\≥\mathrm{\θ}\\ e_0& \mathrm{otherwise}\end{array}---\left(2\right)\right.$

式中H为最终表情分类器，h_ei为单一表情e_i的专门表情分类器，e₀为平静表情，θ为设定的阈值，i∈{1，2，…，m}。

Images