CN105844221A - 一种基于Vadaboost筛选特征块的人脸表情识别方法 - Google Patents

Abstract

本发明公开了一种基于Vadaboost的人脸表情识别方法，主要包括：人脸表情库表情图像提取，并将全部图像分为训练样本、验证样本和测试样本；人脸特征点检测，得到眼睛、鼻子、嘴角等部位的特征点所在位置，从而得到每个特征点周围表情区域块；对所有表情区域块提取LBP纹理特征；训练阶段，充分利用Vadaboost训练每个特征块，得到每块对应的弱分类器，并且根据分类结果筛选特征块和弱分类器；然后将验证样本的分类结果作为新的特征，再次使用Vadaboost训练得到一个强分类器，从而实现人脸表情识别。本发明的有益效果是：在训练阶段，首次运用Vadaboost筛选表情块；此外，首次将弱分类器的结果作为特征，用Vadaboost训练，得到综合识别结果；并且针对不同的表情筛选出不同的特征块，使得提取的表情特征更为具体，增加表情的区分力，有效提高了表情识别率。

Description

一种基于Vadaboost筛选特征块的人脸表情识别方法

技术领域

本发明涉及人脸表情识别方法、图像处理、模式识别、人工智能领域，具体涉及一种基于Vadaboost的人脸表情识别方法。

背景技术

面部行为是人类感知情感和意图最重要的线索之一。在情感计算领域中，人脸表情识别是模式识别、人机交互和生物特征识别等领域涉及的重要研究课题。随着人机交互的发展，人脸表情识别逐渐应用于各种新兴的领域中，如互动游戏、在线远程教育、娱乐、智能交通系统等。

通常，人脸表情识别过程分为三步：1)特征提取，2)特征选择，3)分类识别。特征提取是人脸表情识别过程中的重要步骤，常用的人脸表情特征提取方法主要分为基于几何特征、基于纹理特征、基于线性变换的三种方法。基于几何特征的特征提取方法主要有：基于活动外观模型(AAM)、主动形状模型(ASM)。基于纹理特征的特征提取方法主要有：Gabor小波变换、Haar小波变换、局部二值模式(Local Binary Pattern，LBP)。基于线性变换的特征提取方法主要有：主成分分析(Principal Component Analysis，PCA)、局部线性嵌入(Locally LinearEmbedding，LLE)。其中，基于LBP特征的方法运算速度快，并且能有效的描述图像纹理特征，而且对光照变化不敏感的特点，在人脸表情识别领域受到广泛关注和研究。

人类最常见的六种基本表情为高兴、悲伤、愤怒、惊讶、恶心与恐惧。心理学研究表明:人脸表情特征主要位于嘴巴、鼻子、眼睛附近。基于此理论，艾克曼和弗里森提出人脸表情往往与几个离散的面部动作单元的细微变化相关，如愤怒时嘴唇紧闭，而悲伤时嘴角下弯。他们提出的面部行为编码系统(FACS)将基本的面部表情进一步分解为一组相关的几个动作单元。此后，通过检测动作单元来识别表情的方法应运而生。但动作单元检测困难，更多的表情识别方法将人脸划分为固定大小的单元，再筛选出有区分力的表情单元。如：钟等人、刘等人分别将人脸划分为64和80个网格单元，单等人则用不同尺寸大小的窗口划分人脸得到更多人脸单元。但是，已有理论研究表明人脸表情特征主要集中于嘴巴、鼻子和眼睛附近，如果只是将人脸均匀划分为多个网格单元，不仅不能合理利用已有理论知识，而且使得时间复杂度高而表情识别率低。此外划分为固定尺寸的网格单元，其中只有部分单元对人脸表情识别有效，并非所有单元均有利于识别表情。

发明内容

本发明的主要目的在于，克服上述人脸表情识别技术的不足，提供一种基于Vadaboost筛选特征块的人脸表情识别方法，解决表情特征块冗余的问题，提高了表情识别率。

本发明的目的及解决其技术问题是采用的技术方案是：一种基于Vadaboost筛选特征块的人脸表情识别方法，包括以下步骤：

1.从人脸表情数据库中提取人脸表情图像：

针对每个人每种表情，从表情库中选择三张表情图像。并将提取的表情图像分为三部分，分别作为训练样本、验证样本、测试样本。

2.人脸特征点检测，并提取特征块的LBP特征：

1)特征点检测：

由人脸表情的理论可知，人脸表情主要由眼睛、鼻子、嘴巴周围的肌肉运动形成，所以，识别人脸表情，主要通过识别表情区域块的特征实现。通过特征点检测方法，可以检测出面部各部位的主要位置点信息。

2)划分特征块：

围绕特征点，得到以特征点为中心、左上角、右上角、左下角、右下角的10*10和15*15尺寸的矩形块。

3)提取特征块LBP特征：

对得到的特征块，分别提取多尺度的LBP特征，计算方法如下：

${\mathrm{LBP}}_{P,R}={\mathrm{\&Sigma;}}_{P=0}^{P-1}s(g_p-g_c)2^p,S\left(x\right)=\left\{\begin{array}{c}1,x\&GreaterEqual;0\\ 0,x<0\end{array}\right.---\left(1\right)$

其中，g_c表示窗口中心位置(x_c,y_c)处的灰度值，g_p表示均匀分布在中心点(x_c,y_c)半径为R圆周上的P领域点的灰度值，(P,R)的两个尺度分别为：(8,1)、(16,2)。

3.筛选特征块，利用Vadaboost对不同的表情筛选特征块和分类器：

1)针对某个表情，每个特征块，用Vadaboost训练一个分类器：

由于不同的表情有着不同的运动单元，因此对于不同的表情，需要筛选出不同的特征块。针对某个表情，将属于该表情的训练样本作为正样本，其他训练样本作为负样本。将训练样本中的特征块p对应的LBP特征，用Vadaboost进行训练，每个特征块，训练得到一个弱分类器h_p。

2)通过验证样本，筛选出区分力最高的前t个特征块：

用上一步中得到的弱分类器，对验证样本进行分类，每个弱分类器得到一个正确率。通过识别率的高低，对特征块进行排序，选择错误率小于阈值ε的特征块，即筛选出t个弱分类器。筛选出的特征块数：

t＝max_k(Accuracy_k＜ε) (2)

3)将t个弱分类器的结果作为特征，放入Vadaboost分类器训练得到一个强分类器HN。

对于一个表情，每张图片得到一个该表情的判别结果，所以需要将这t个结果组合为一个结果。再将上一步中弱分类器得到的分类结果作为特征，放入Vadaboost分类器中训练，从而得到该表情对应的强分类器HN。

重复上面三步，得到每个表情的强分类器和对应的特征块。

4.测试阶段，用训练得到的分类器，实现人脸表情识别：

1)对测试样本提取上述步骤筛选的特征块的LBP特征：

对每个测试样本提取n块的LBP特征；

2)对每个测试样本通过步骤4中得到的分类器进行分类：

六个表情对应六个强分类器，对于每个样本有六个二分类识别结果，根据该样本属于某表情的可能性进行分类，分类结果：

c＝arg max_j∈1，2，..，6r_j (3)

其中，r_j表示，该样本属于第j个样本的概率。

与现有技术相比，本发明的优点和效果在于：1)特征块划分上，本发明划分的特征块位于眼睛、鼻子、嘴角附近，能更有效的获取面部动作单元。针对每个特征点，选取其周围多个方向不同尺寸的特征块，确保获取的特征块能全面性覆盖面部动作单元。2)充分利用Vadaboost的特点，将其用于特征块的筛选，有效选择出区分力高的表情特征块，去除了大量冗余特征。3)基于Vadaboost给出表情特征块重要性的评价方法，从而针对不同的表情，给出不同的表情特征块，使得系统更具鲁棒性，表情识别率更高。

附图说明

图1基于Vadaboost筛选特征块的人脸表情识别工作流程图。

图2人脸特征点检测和特征块划分图。

图3厌恶表情的阈值与识别率的关系图。

具体实施方式

如图1所示，本发明总体流程如下：首先是从人脸表情数据库中提取人脸表情图像；其次，人脸特征点检测，提取特征块的LBP特征；再利用Vadaboost对不同的表情筛选特征块和分类器；最后测试阶段，用训练得到的分类器，实现人脸表情识别。

本发明具体步骤如下：

Step1：从人脸表情数据库中提取人脸表情图像。

针对每个人每种表情，从CK表情库中选择三张表情图像。并将提取的表情图像分为三部分，分别作为训练样本、验证样本、测试样本。生气、厌恶、害怕、高兴、悲伤、惊讶七种表情共挑选出611张表情图像。

Step2：人脸特征点检测，并提取特征块的LBP特征。

1)特征点检测：通过特征点检测方法，检测出面部眼睛、鼻子、嘴巴的主要位置点信息。

2)划分特征块：

围绕特征点，得到以特征点为中心、左上角、右上角、左下角、右下角的10*10和15*15尺寸的矩形块。

3)提取特征块LBP特征：

对得到的特征块，分别提取多尺度的LBP特征，计算方法如下：

${\mathrm{LBP}}_{P,R}={\mathrm{\&Sigma;}}_{P=0}^{P-1}s(g_p-g_c)2^p,S\left(x\right)=\left\{\begin{array}{c}1,x\&GreaterEqual;0\\ 0,x<0\end{array}\right.---\left(4\right)$

其中，g_c表示窗口中心位置(x_c,y_c)处的灰度值，g_p表示均匀分布在中心点(x_c,y_c)半径为R圆周上的P领域点的灰度值，(P,R)的两个尺度分别为：(8,1)、(16,2)。

Step3：利用Vadaboost对不同的表情筛选特征块和分类器

1)针对某个表情，每个特征块，用Vadaboost训练一个分类器：

针对特征块i，将训练数据集S₁使用Vadaboost训练，得到第i块LBP特征的弱分类器h_i：

h_i＝Vadaboost(f_i，S1) (5)

其中，f_i表示特征块i对应的LBP特征。

2)通过验证样本，筛选出区分力最高的前t个特征块：

在验证样本集上，对于每个特征块i，用上一步中得到的弱分类器h_i，对其进行分类，得到分类结果集RR_io：

RR_i＝{(x₁，h_i(x₁))，(x₂，h_i(x₂))，…，(x_n，h_i(x_N))} (7)

其中，x_n表示验证样本集S₂中的样本。

然后，通过分类结果计算每个特征块对应弱分类器的正确率ER_i：

${\mathrm{ER}}_i=\frac{1}{N}{\mathrm{\&Sigma;}}_{i=1}^N{h}_i\left(x_q\right)\&NotEqual;y_q---\left(8\right)$

其中，N表示验证样本集中样本个数，y_q表示第q个样本的类别标签。

再通过识别率的高低，对特征块进行排序，选出错误率小于阈值ε的特征块，即筛选出t个弱分类器，筛选出的分类器集为：

其中z_s∈{1,2,…,P}(9)

$s.t.{\mathrm{ER}}_{z_s}\&le;\mathrm{\&epsiv;},(s=1,...,t)$

3)将t个弱分类器的结果作为特征，放入Vadaboost分类器训练得到一个强分类器HN：

对于一个表情，每张图片得到一个该表情的判别结果，所以需要将这t个结果组合为一个结果。首先，用筛选出的t个弱分类器，重新对验证样本集S₂分类，得到使用筛选后的特征块的LBP特征分类的结果：

${\mathrm{RS}}_q=\{h_{z_1}\left(x_q\right),h_{z_2}\left(x_q\right),...,h_{z_t}\left(x_q\right)\}---\left(10\right)$

其中，RS_q表示第q样本对应的t个分类结果的集合。

再将上一步中弱分类器得到的分类结果RS_q作为特征，放入Vadaboost分类器中训练，从而得到该表情对应的强分类器HN：

HN＝Vadaboost(RS_n，S₂)(11)

4)重复上面三步，得到每个表情的强分类器和对应的特征块。

Step4：筛选测试样本对应的特征块，实现人脸表情识别

1)对测试样本提取上述步骤筛选的特征块的LBP特征:

对每个测试样本提取t块的LBP特征：

$D=\left\{f_{z_s}\right|s=1,2,...,t\}---\left(12\right)$

2)对每个测试样本通过步骤3中得到的分类器进行分类：

六个表情对应六个强分类器，对于每个样本有六个二分类识别结果，根据该样本属于某表情的可能性进行分类，分类结果：

c＝arg max_j∈1，2，..，6r_j(13)

其中，r_j表示，该样本属于第j个样本的概率。

Claims (5)

1.一种基于Vadaboost筛选特征块的人脸表情识别方法，其特征在于，包括以下步骤：

步骤1、从人脸表情数据库中提取人脸表情图像；

步骤2、人脸特征点检测，提取特征块的LBP特征；

步骤3、筛选特征块，利用Vadaboost对不同的表情筛选特征块和分类器；

步骤4、测试阶段，用训练得到的分类器，实现人脸表情识别。

2.根据权利要求1所述的基于Vadaboost筛选特征块的人脸表情识别方法，所述步骤1中，从人脸表情数据库中提取人脸表情图像，其特征在于：

针对每个人每种表情，从表情库中选择三张表情图像。并将提取的表情图像分为三部分，分别作为训练样本、验证样本、测试样本。

3.根据权利要求1所述的基于Vadaboost筛选特征块的人脸表情识别方法，所述步骤2中，人脸特征点检测并提取特征块的LBP特征，其特征在于：

1)特征点检测：

由人脸表情的理论可知，人脸表情主要由眼睛、鼻子、嘴巴周围的肌肉运动形成，所以，识别人脸表情，主要通过识别表情区域块的特征实现。通过特征点检测方法，可以检测出面部各部位的主要位置点信息。

2)划分特征块：

围绕特征点，得到以特征点为中心、左上角、右上角、左下角、右下角的10*10和15*15尺寸的矩形块，共n个特征块。

3)提取特征块LBP特征：

对得到的特征块，分别提取多尺度的LBP特征，计算方法如下：

其中，g_c表示窗口中心位置(x_c,y_c)处的灰度值，g_p表示均匀分布在中心点(x_c,y_c)半径为R圆周上的P领域点的灰度值，(P,R)的两个尺度分别为：(8,1)、(16,2)。

4.根据权利要求1所述的基于Vadaboost筛选特征块的人脸表情识别方法，所述步骤3中，筛选特征块，利用Vadaboost对不同的表情筛选特征块和分类器，其特征在于：

1)针对某个表情，每个特征块，用Vadaboost训练一个分类器：

由于不同的表情有着不同的运动单元，因此对于不同的表情，需要筛选出不同的特征块。针对某个表情，将属于该表情的训练样本作为正样本，其他训练样本作为负样本。将训练样 本中的特征块p对应的LBP特征，用Vadaboost进行训练，每个特征块，训练得到一个弱分类器h_p。

2)通过验证样本，筛选出区分力最高的前t个特征块：

用上一步中得到的弱分类器，对验证样本进行分类，每个弱分类器得到一个正确率。通过识别率的高低，对特征块进行排序，选出错误率小于于阈值ε的特征块，即筛选出t个弱分类器。筛选出的特征块数：

t＝max_k(Accuracy_k<ε) (2)

3)将t个弱分类器的结果作为特征，放入Vadaboost分类器训练得到一个强分类器HN。

对于一个表情，每张图片得到一个该表情的判别结果，所以需要将这t个结果组合为一个结果。再将上一步中弱分类器得到的分类结果作为特征，放入Vadaboost分类器中训练，从而得到该表情对应的强分类器HN。

4)重复上面三步，得到每个表情的强分类器和对应的特征块。

5.根据权利要求1所述的基于Vadaboost筛选特征块的人脸表情识别方法，所述步骤4中，用训练得到的分类器，实现人脸表情识别，其特征在于：

1)对测试样本提取上述步骤筛选的特征块的LBP特征：

对每个测试样本提取n块的LBP特征；

2)对每个测试样本通过步骤3中得到的分类器进行分类：

六个表情对应六个强分类器，对于每个样本有六个二分类识别结果，根据该样本属于某表情的可能性进行分类，分类结果：

c＝argmax_{j ∈ 1,2,..,6}r_j (3)

其中，r_j表示，该样本属于第j个样本的概率。