CN104680141B - 基于运动单元分层的人脸表情识别方法及系统 - Google Patents

Abstract

基于运动单元分层的人脸表情识别方法及系统。本发明公开了一种人脸表情识别方法，包括三层分类步骤，具体为：首先，提取鼻子上部邻近区域作为第一层分类区域，以检测是否出现AU9运动单元作为第一层分类器判定标准，以对表情进行粗分类；接着，提取嘴唇区域作为第二层分类区域，以检测是否出现AU25和AU12运动单元作为第二层分类器判定标准，以在第一层分类结果进行细分；最后，分别提取上、下半脸区域作为第三层分类区域，以在第二层分类结果中进行精分。本发明还提供了实现上述方法的系统。本发明基于AU分层结构，提取对表情具有代表性区域的特征结合随机森林逐层分类，有效提高表情识别精确度与速度，尤其适用于低分辨率图像。

Description

基于运动单元分层的人脸表情识别方法及系统

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种人脸表情识别方法及系统。

背景技术

人脸表情识别是通过视觉信号分析人脸运动及面部特征的变化对表情进行分类。表情分类的研究基本是依据1971年心理学家Ekman与Friesen最早提出的人类六种主要情感，每种情感以唯一的表情来反映人的一种独特的心理活动。这六种情感被称为基本情感，由生气(anger)、开心(happiness)、悲伤(sadness)、惊讶(surprise)、厌恶(disgust)和恐惧(fear)组成。近年来随着一系列相关领域的飞速发展，如机器学习、图像处理、人脸检测等，人脸表情识别越来越受到重视，其应用前景十分广泛，如自然人机交互，智能机器人，情绪检测及心理状态分析、虚拟现实技术、合成脸部动画等等。

人脸表情识别的研究主要步骤为：人脸检测，表情特征提取以及表情分类。第一步需要从背景图像中对人脸进行准确定位，这一环节现在已作为一个独立的研究方向；第二步从人脸图像或图像序列提取能够代表表情本质的信息，如纹理表观、运动变化或几何形状特征等；第三步设计表情分类器，结合提取的特征识别表情。目前主要有以下分类方法：贝叶斯网络、K近邻域、神经网络、随机森林、支持向量机、隐马尔可夫模型等。

近年来的表情识别方面的研究取得了很大的进展，获得不错的识别效果。但现有方法一般针对高分辨率的图像，需要定位精确特征点，容易受到噪声影响，准确率低。

发明内容

本发明提供一种人脸表情识别方法及系统，其目的在于，针对低分辨率图像，通过基于AU分层结构提取对表情具有代表性区域的特征逐层分类，提高了表情识别精确度与速度。

一种人脸表情识别方法，该方法包括三层分类步骤，具体为：

(1)第一层分类步骤：

在待识别人脸图像中提取鼻子上部邻近区域作为第一层分类区域，在第一层分类区域内提取纹理特征，以检测是否出现AU9运动单元作为第一层分类器判定标准，所述AU9运动单元表明皱鼻；若出现，则第一层分类结果为class-1{厌恶}，结束；若未出现，则第一层分类结果为class-2{生气、开心、恐惧、惊奇、悲伤}，进入步骤(2)；

(2)第二层分类步骤：

在待识别人脸图像中提取嘴唇区域作为第二层分类区域，在第二层分类区域内提取纹理特征，以检测是否出现AU25和AU12运动单元作为第二层分类器判定标准，所述AU25运动单元表明双唇分离，AU12运动单元表明唇角上拉；若均未出现，则第二层分类结果为class-21{生气、悲伤}，进入步骤(31)；若出现至少一种，则第二层分类结果为class-22{恐惧、开心、惊奇}，进入步骤(32)；

(3)第三层分类步骤：

(31)在待识别人脸图像中提取上半脸区域作为第三层分类区域，在第三层分类区域内提取纹理特征并利用第三层分类器精确分类，最终确定表情为class-211{生气}和class-212{悲伤}中的一类；

(32)在待识别人脸图像中提取下半脸区域作为第三层分类区域，在第三层分类区域内提取纹理特征并利用第三层分类器分类，最终确定表情为class-221{恐惧}、class-222{开心}和class-223{惊奇}中的一类。

一种人脸表情识别系统，该系统包括：

第一模块，用于在待识别人脸图像中提取鼻子上部邻近区域作为第一层分类区域，在第一层分类区域内提取纹理特征，以检测是否出现AU9运动单元作为第一层分类器判定标准，所述AU9运动单元表明皱鼻；若出现，则第一层分类结果为class-1{厌恶}，结束；若未出现，则第一层分类结果为class-2{生气、开心、恐惧、惊奇、悲伤}，进入第二模块；

第二模块，用于在待识别人脸图像中提取嘴唇区域作为第二层分类区域，在第二层分类区域内提取纹理特征，以检测是否出现AU25和AU12运动单元作为第二层分类器判定标准，所述AU25运动单元表明双唇分离，AU12运动单元表明唇角上拉；若均未出现，则第二层分类结果为class-21{生气、悲伤}，进入第三一子模块；若出现至少一种，则第二层分类结果为class-22{恐惧、开心、惊奇}，进入第三二子模块；

第三模块，包括：

第三一子模块，用于在待识别人脸图像中提取上半脸区域作为第三层分类区域，在第三层分类区域内提取纹理特征并利用第三层分类器精确分类，最终确定表情为class-211{生气}和class-212{悲伤}中的一类；

第三二子模块，用于在待识别人脸图像中提取下半脸区域作为第三层分类区域，在第三层分类区域内提取纹理特征并利用第三层分类器分类，最终确定表情为class-221{恐惧}、class-222{开心}和class-223{惊奇}中的一类。

本发明通过上述步骤将人脸表情识别进行了层次化分类，相较于现有的技术，具有如下优点：

相较于其他通过整个人脸对表情特征识别的方法，本发明基于AU分层结构，提取对表情具有代表性区域的特征结合随机森林逐层分类，有效提高表情识别精确度与速度，尤其适用于低分辨率图像。本发明不需要依赖精确的特征点信息，通过提取图像的例如灰度、LBP和Gabor等纹理特征即可达到较好识别率，有效的降低对图像质量的要求和对图像预处理的难度，提高该方法的实用性和通用性。

附图说明

图1为本发明基于AU分层的人脸表情识别方法流程图；

图2为本发明实例详细流程图；

图3为本发明实例归一化示意图；

图4为本发明实例用于分层分类的局部区域示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

为描绘不同的脸部肌肉动作和不同表情的对应关系，心理学家Paul Ekman和W.V.Friesen提出了FACS(Facial Action Coding System)面部表情编码系统。根据人类解刨学特点，将该系统划分成若干既相互独立又相互联系的运动单元即AU(Action Units)，例如AU1(Inner Brow Raiser内端眉毛上扬)，AU2(Outer Brow Raiser外端眉毛上扬)等等。

本发明针对低分辨率图像，提出AU分层思想从而对六类基本表情进行识别。本发明分层具体如下：

首先，分层结构的第一层基于AU9(Nose Wrinkler)鼻子上部邻近区域，皱鼻，将六类表情粗分为两类，class-1：Disgust；class-2：生气、开心、恐惧、惊奇和悲伤；

然后，分层结构的第二层基于AU25(Lips Part)双唇分离，和AU12(Lip CornerPuller)唇角上拉，将class-2细化为，class-21：生气、悲伤；class-22：恐惧、开心和惊喜；

最后，分层结构的第三层中，基于上半脸区域(见图4，人脸区域从上往下三分之一部分)，将class-21分为class-211：生气；class-212：悲伤；基于下半脸区域(见图4，人脸区域从下往上三分之二部分)，将class-22分为：class-221：恐惧；class-222：开心；class-223：惊奇。

基于上述分层，本发明图1给出了逐层分类的具体实施步骤，具体为：

(1)第一层分类步骤：

在待识别人脸图像中提取鼻子上部邻近区域作为第一层分类区域，在第一层分类区域内提取纹理特征，以检测是否出现AU9运动单元作为第一层分类器判定标准，所述AU9运动单元表明皱鼻；若出现，则第一层分类结果为class-1{厌恶}，结束；若未出现，则第一层分类结果为class-2{生气、开心、恐惧、惊奇、悲伤}，进入步骤(2)；

(2)第二层分类步骤：

在待识别人脸图像中提取嘴唇区域作为第二层分类区域，在第二层分类区域内提取纹理特征，以检测是否出现AU25和AU12运动单元作为第二层分类器判定标准，所述AU25运动单元表明双唇分离，AU12运动单元表明唇角上拉；若均未出现，则第二层分类结果为class-21{生气、悲伤}，进入步骤(31)；若出现至少一种，则第二层分类结果为class-22{恐惧、开心、惊奇}，进入步骤(32)；

(3)第三层分类步骤：

(31)在待识别人脸图像中提取上半脸区域作为第三层分类区域，在第三层分类区域内提取纹理特征并利用第三层分类器精确分类，最终确定表情为class-211{生气}和class-212{悲伤}中的一类；

(32)在待识别人脸图像中提取下半脸区域作为第三层分类区域，在第三层分类区域内提取纹理特征并利用第三层分类器分类，最终确定表情为class-221{恐惧}、class-222{开心}和class-223{惊奇}中的一类。

在所述第一、二、三层分类步骤中，不需要依赖精确的特征点信息，提取图像的一般纹理特征，又特别是以灰度特征、LBP特征和Gabor特征组合为最佳选择，有效的降低对图像质量的要求和对图像预处理的难度，提高本发明方法的实用性和通用性。

在所述第一、二、三层分类步骤中，分类器可采用现有技术中的任何一种，例如支持向量机、神经网络或隐马尔科夫模型等。在本发明中基于上述三种纹理特征的基础上优选随机森林法，由于随机森林法在高维数据处理中，不需要做特征选择，训练速度快，容易并行等特点，能有效的提高分类器速度，降低运算时间。下面给出采用随机森林法训练分类器的具体实现方式：

S1、在第n个样本图像中提取第j层分类区域a_j,j＝1,2,3，将该区域作为第j层决策树的训练样本，n＝1,2,…,N_，N为样本图像总数；

S2、在第j层分类区域a_j,j＝1,2,3中随机提取M个图像子块P_m，在各图像子块中提取特征并构成组合特征集其中，F_m ¹为灰度特征，F_m ²为LBP特征，F_m ³为Gabor特征，为第j层分类区域中第m个图像子块对应的第i类类别；由于分层区域大小不一，对随机森林的取块大小可进行优化，将原始图像子块均采用正方形块改进为长方形块实验，可得到更优分类结果。

S3、生成叶子节点，具体为：

对图像子块P_m进行二进制测试分裂为左子集和右子集，二进制测试是在子集中不断地逼近类标注不确定性纯度的过程，最终将训练集分裂成2个子集。随机树的生长就是一个由二进制测试创建子节点的迭代过程。具体为：当二进制测试式φ：成立时，生成右子节点，反之生成左子节点，其中，R₁、R₂是图像子块P_m中的两个随机选取的矩形区域，k为矩形区域中的像素点，F^f(k)从像素点k的特征中随机选取，τ是预定阈值；

计算各图像子块的熵其中，表示第j层分类区域a_j中的图像子块P_m属于表情类的概率，|P|是第j层分类区域a_j中表情为的图像子块数量；

选择最佳分裂测度φ，使得信息增益(IG)估计函数最大，所述信息增益值w_R是右子集的图像子块数量P_R占总图像子块数P的比率，w_L是左子集的图像子块数量P_L占总图像子块数P的比率；

如果信息增益值IG低于预定阈值或树的最大深度已达到时，停止分裂，生成一个叶子节点；

叶子节点包括了表情的分类概率，其满足高斯概率分布其中，分别是第j层中叶子节点表情为的概率、概率均值和协方差。在本发明中,选取高斯概率分布作为分类投票模型，这是因为随机森林子层的叶子节点呈高斯分布，具有最大化分类概率的优势，使得分类效果最佳。

上述步骤中，预定阈值或树的最大深度均属于经验值，可根据实验结果进行调整。

下面给出一个较佳实例：

步骤1创建表情数据集

步骤1-1：数据集的准备和预处理

从CK库、JAFFE库和自然人脸表情数据中采集多幅人脸图像(本实施例中以1000幅人脸图像为例)，优选基于Haar特征的AdaBoost方法检测人脸，以及在人脸区域内自动检测眼睛与嘴巴的位置。然后将所有人脸图像归一化，头部姿态矫正。具体如图3，以左内眼角点和右内眼角点距离50进行缩放，以左内眼角点和右内眼角点在同一水平线上(Y相同)作旋转。得到训练样本图像集。

n＝50/(x_l-x_r)，

其中，n为缩放比例，θ为旋转角度，(x_l，y_l)、(x_r，y_r)分别为左右眼内眼角点坐标。

步骤1-2：将1000幅训练样本图像随机分为5组图像，分别以其中4份作为训练样本，另外一份作为测试样本进行训练，标记特征区域，如图4所示，包括AU9区域即以眼角为参考的80*100区域，AU25、AU12区域即以嘴巴为参考的150*100的区域，以人脸为参考的上半脸区域200*67和下半脸200*133。

步骤1-3：对训练样本中的每幅图像进行特征提取：灰度特征B_gray、LBP特征B_lbp和Gabor特征B_gabor。

步骤2随机森林训练

步骤2-1随机特征选择与标注：训练的过程是一种监督学习，森林中的每一棵树T_t的建立都是在数据集中随机训练而成森林T＝{Tt}。

为了训练T_t，首先在800个表情图片样本库中随机抽取每种表情30张图，合计180张图，每张图片在限定的AU或半脸区域中选取M个图像子块P_m，图像子块的长宽为x_m，y_m

x_m＝0.25*x_au

y_m＝0.25*y_au

其中x_au为对应所取AU区域的长度，y_au为对应所取AU区域的宽度。随机选择纹理特征(灰度特征、LBP特征和gabor特征)，作为训练集其中m＝1，……，M,D为训练集的空间维度。

然后提取图像子区域块的组合特征集其中，F_m ¹为原始的灰度值，F_m ²表示LBP特征，F_m ³是Gabor特征，为第j层分类区域中第m个图像子块对应的第i类类别。

步骤2-2二进制测试：本实例中τ＝20。

步骤2-3测度：测度H(P|a_j)定义为图像子块的熵。

步骤2-4选择最佳分裂测度使得信息增益(IG)估计函数最大

步骤2-4生成叶子节点：如果信息增益(IG)低于预先设定的阈值或者树的最大深度达到时，生产一个叶子节点，本实例中预先设定的阈值为0.05，树的最大深度为15。每一个叶子节点的表情分类概率满足高斯概率分布模型。

步骤3人脸表情识别

步骤3-1预处理：待识别的人脸表情图片，使用Haar分类器，检测出人脸区域、嘴巴区域和眼睛区域，将图像归一化。

步骤3-2取块：按照训练时候选定的区域，取得多个相同大小的图像子块P_m。

步骤3-3投票分类：将所有图像子块P_m全部投放到步骤2中训练好的随机森林中的每一棵随机森林树T_t上进行判决，即将当前图像的全部图像子块P_m分别落入t棵随机森林树T_t的根节点，根据高斯投票，对各图像子块P_m进行分类处理，直到各图像子块P_m落入对应的叶子节点。高斯投票结果最高的即为与之匹配的表情。

实例结果表明，针对低分辨图像，无需提取精确特征点，对6类基本面部表情的平均识别率可达90％以上。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种人脸表情识别方法，其特征在于，该方法包括三层分类步骤，具体为：

(1)第一层分类步骤：

在待识别人脸图像中提取鼻子上部邻近区域作为第一层分类区域，在第一层分类区域内提取纹理特征，以检测是否出现AU9运动单元作为第一层分类器判定标准，所述AU9运动单元表明皱鼻；若出现，则第一层分类结果为class-1{厌恶}，结束；若未出现，则第一层分类结果为class-2{生气、开心、恐惧、惊奇、悲伤}，进入步骤(2)；

(2)第二层分类步骤：

在待识别人脸图像中提取嘴唇区域作为第二层分类区域，在第二层分类区域内提取纹理特征，以检测是否出现AU25和AU12运动单元作为第二层分类器判定标准，所述AU25运动单元表明双唇分离，所述AU12运动单元表明唇角上拉；若均未出现，则第二层分类结果为class-21{生气、悲伤}，进入步骤(31)；若出现至少一种，则第二层分类结果为class-22{恐惧、开心、惊奇}，进入步骤(32)；

(3)第三层分类步骤：

(31)在待识别人脸图像中提取上半脸区域作为第三层分类区域，在第三层分类区域内提取纹理特征并利用第三层分类器精确分类，最终确定表情为class-211{生气}和class-212{悲伤}中的一类；

(32)在待识别人脸图像中提取下半脸区域作为第三层分类区域，在第三层分类区域内提取纹理特征并利用第三层分类器分类，最终确定表情为class-221{恐惧}、class-222{开心}和class-223{惊奇}中的一类；

所述第一、二、三层分类步骤中提取的纹理特征包括灰度特征、LBP特征和Gabor特征；所述第一、二和三分类步骤中所述分类器采用级联分层随机森林法训练确定，具体为：

S1、在第n个样本图像中提取第j层分类区域a_j,j＝1,2,3，将该区域作为第j层决策树的训练样本，n＝1,2,…,N，N为样本图像总数；

S2、在第j层分类区域a_j,j＝1,2,3中随机提取M个图像子块P_m，在各图像子块中提取特征并构成组合特征集其中，F_m ¹为灰度特征，F_m ²为LBP特征，F_m ³为Gabor特征，为第j层分类区域中第m个图像子块对应的第i类类别；

S3、生成叶子节点，具体为：

对图像子块P_m进行二进制测试分裂为左子集和右子集，具体为：当二进制测试式φ：成立时，生成右子节点，反之生成左子节点，其中，R₁、R₂是图像子块P_m中的两个随机选取的矩形区域，k为矩形区域中的像素点，F^f(k)从像素点k的特征中随机选取，τ是预定阈值；

计算各图像子块的熵其中，表示第j层分类区域a_j中的图像子块P_m属于表情类的概率，|P|是第j层分类区域a_j中表情为的图像子块数量；

选择最佳分裂测度φ，使得信息增益(IG)估计函数最大，所述信息增益值w_R是右子集的图像子块数量P_R占总图像子块数P的比率，w_L是左子集的图像子块数量P_L占总图像子块数P的比率；

如果信息增益值IG低于预定阈值或树的最大深度已达到时，停止分裂，生成一个叶子节点；

叶子节点包括了表情的分类概率，其满足高斯概率分布其中，分别是第j层中叶子节点表情为的概率、概率均值和协方差。

2.一种人脸表情识别系统，其特征在于，该系统包括：

第一模块，用于在待识别人脸图像中提取鼻子上部邻近区域作为第一层分类区域，在第一层分类区域内提取纹理特征，以检测是否出现AU9运动单元作为第一层分类器判定标准，所述AU9运动单元表明皱鼻；若出现，则第一层分类结果为class-1{厌恶}，结束；若未出现，则第一层分类结果为class-2{生气、开心、恐惧、惊奇、悲伤}，进入第二模块；

第二模块，用于在待识别人脸图像中提取嘴唇区域作为第二层分类区域，在第二层分类区域内提取纹理特征，以检测是否出现AU25和AU12运动单元作为第二层分类器判定标准，所述AU25运动单元表明双唇分离，AU12运动单元表明唇角上拉；若均未出现，则第二层分类结果为class-21{生气、悲伤}，进入第三一子模块；若出现至少一种，则第二层分类结果为class-22{恐惧、开心、惊奇}，进入第三二子模块；

第三模块，包括：

第三一子模块，用于在待识别人脸图像中提取上半脸区域作为第三层分类区域，在第三层分类区域内提取纹理特征并利用第三层分类器精确分类，最终确定表情为class-211{生气}和class-212{悲伤}中的一类；

第三二子模块，用于在待识别人脸图像中提取下半脸区域作为第三层分类区域，在第三层分类区域内提取纹理特征并利用第三层分类器分类，最终确定表情为class-221{恐惧}、class-222{开心}和class-223{惊奇}中的一类；

所述第一、二、三层分类步骤中提取的纹理特征包括灰度特征、LBP特征和Gabor特征；所述第一、二和三分类步骤中所述分类器采用级联分层随机森林法训练确定，具体为：

S1、在第n个样本图像中提取第j层分类区域a_j,j＝1,2,3，将该区域作为第j层决策树的训练样本，n＝1,2,…,N，N为样本图像总数；

S2、在第j层分类区域a_j,j＝1,2,3中随机提取M个图像子块P_m，在各图像子块中提取特征并构成组合特征集其中，F_m ¹为灰度特征，F_m ²为LBP特征，F_m ³为Gabor特征，为第j层分类区域中第m个图像子块对应的第i类类别；

S3、生成叶子节点，具体为：

对图像子块P_m进行二进制测试分裂为左子集和右子集，具体为：当二进制测试式φ：成立时，生成右子节点，反之生成左子节点，其中，R₁、R₂是图像子块P_m中的两个随机选取的矩形区域，k为矩形区域中的像素点，F^f(k)从像素点k的特征中随机选取，τ是预定阈值；

计算各图像子块的熵其中，表示第j层分类区域a_j中的图像子块P_m属于表情类的概率，|P|是第j层分类区域a_j中表情为的图像子块数量；

选择最佳分裂测度φ，使得信息增益(IG)估计函数最大，所述信息增益值w_R是右子集的图像子块数量P_R占总图像子块数P的比率，w_L是左子集的图像子块数量P_L占总图像子块数P的比率；

如果信息增益值IG低于预定阈值或树的最大深度已达到时，停止分裂，生成一个叶子节点；

叶子节点包括了表情的分类概率，其满足高斯概率分布其中，分别是第j层中叶子节点表情为的概率、概率均值和协方差。