CN102194108B

CN102194108B - 一种聚类线性鉴别分析特征选择的笑脸表情识别方法

Info

Publication number: CN102194108B
Application number: CN 201110122941
Authority: CN
Inventors: 郭礼华; 金连文
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2011-05-13
Filing date: 2011-05-13
Publication date: 2013-01-23
Anticipated expiration: 2031-05-13
Also published as: CN102194108A

Abstract

本发明提供一种聚类线性鉴别分析特征选择的笑脸表情识别方法，具体步骤为：先进行人脸和嘴唇区域定位，然后提取并级联人脸Gabor特征和嘴唇的层次化梯度直方图特征，得到笑脸特征矢量，接着利用聚类线性鉴别分析方法实现笑脸特征矢量的特征降维，最终利用多类支持矢量机分类器进行笑脸的训练和识别。由于Gabor特征不仅包含全局的纹理信息，而且还包含局部的梯度信息，所以特征的区分度好。本发明所提供的聚类线性鉴别分析能克服传统线性鉴别分析方法的多模态问题，有效实现特征维数的降维。总体而言，本发明提供的笑脸识别方法的系统识别速度快，系统识别性能高。

Description

一种聚类线性鉴别分析特征选择的笑脸表情识别方法

技术领域

本发明涉及笑脸表情识别方法，属于模式识别与人工智能技术领域，特别是涉及一种聚类线性鉴别分析特征选择的笑脸表情识别方法。

背景技术

面部表情识别是计算机自动表情识别的简称，即指利用计算机对人脸的表情信息进行特征提取，按照人的认识和思维方式加以归类和理解，进而从人脸信息中去分析理解人的情绪。目前已有很多的表情识别技术和专利发明，如申请号为CN200810223211.6的专利申请文件介绍了一种鲁棒的人脸表情识别方法，申请号为CN200710019296.1的专利申请文件公开了一种人脸表情图像的分类及语义评判量化方法；中国发明专利200610053394.2的专利申请文件公开了一种从摄像头上采集视频信号，然后利用视频信号对人脸表情进行幻想的设计理念。申请号为CN200710100426.4公开了一款输入方法，此方法具有表情符号联想输入功能。

笑脸是人脸表情的一个关键表情，其识别也是一项重要有待解决的问题。目前申请号为CN200710203477.X的专利申请文件公开了一种笑脸追踪方法，该方法通过相机模块的镜头拍摄图像；将上述拍摄的图像转换成黑白图像；读取所述黑白图像上的各个点的亮度值；通过上述亮度值及脸部的基本轮廓截取图像中的头像图形，及在上述截取的头像图形中截取嘴唇图形；比较上述截取的嘴唇图形与相机模块保存的人脸微笑时嘴唇图形的相似度，通过这个相似度来实现笑脸的区别，从而确定拍摄的图像是否存在相机里面。此方法只用模板匹配的方法，只有当所摄人物已在数据库中，此方法才非常有效，而且此方法来依赖于阈值，需要很好的经验判断。中国发明专利申请200710173678.x介绍了一种手机相机捕捉笑脸的方法。该发明克服现有技术中使用手机拍照不易捕捉最佳拍摄时机和被拍者最佳表情的缺陷。首先通过人脸检测得到人脸，提取人脸重要器官的位置参数信息；对人脸实施跟踪，分析嘴的中心，当检测到人的嘴在笑时，焦点会自动锁定脸部，进行拍摄。此发明只是利用笑脸来进行辅助相机拍摄，而且笑脸检测方法过于简单，只满足一些简单的应用场合。

除此之外，学术界也对这个问题非常感兴趣。Littlewort等人利用Adaboost算法从Gabor特征中选择出最有区分度的特征，然后将选择后的特征训练支持矢量机（SVM）分类器。利用这种算法可以区分7种表情，其中就包括笑脸表情。由于这种算法提取Gabor特征，特征矢量是超高维，这种方法运算复杂度高。

发明内容

本发明的目的在于克服上述笑脸识别技术中存在的不足，提供一种聚类线性鉴别分析特征选择的笑脸表情识别方法。

本发明采用的技术方案为：首先采集人脸图像；接着利用区域积分投影定位人脸和嘴唇区域，然后提取人脸Gabor特征和嘴唇的层次化梯度直方图特征，最后利用聚类线性鉴别分析方法降低特征的维数和分类器的识别。

本发明的目的具体通过下述技术方案得以实现：

（11）、人脸训练图像采集和预处理；

（12）、人脸区域定位；

（13）、嘴唇定位；

（14）、人脸Gabor特征和嘴唇的层次化梯度直方图特征提取：将人脸Gabor特征和嘴唇的层次化梯度直方图特征级联得到笑脸特征矢量；

（15）、聚类线性鉴别分析方法的特征降维：对笑脸特征矢量进行K-MEAN聚类，得到聚类中心矢量，再利用线性鉴别分析方法完成特征降维；

（16）、分类器的训练与识别。

所述步骤（11）人脸图像的采集是通过摄像头拍摄人脸的正面图像，然后采用图像预处理，去除样本图像中的噪声和亮度差异，将处理后的人脸图像组成训练样本集。

所述步骤（12）人脸定位是利用摄像头拍摄人脸的正面图像，然后将图像中每个像素的RGB值转换成HSI值；判断每个像素点是否位于肤色HSI范围内，肤色HSI范围是：

完成肤色检测后，利用可变大小的矩形框去覆盖图像，本发明选用长宽比为3:4的矩形框。首选1/4图像大小的矩形框去覆盖图像，如果矩形框覆盖70%以上比例的肤色像素，就认为此矩形框就是人脸区域，如果没达到70%比例，移动0.1矩形框大小步长再次搜索，当完成全图搜索后仍未找到人脸区域，则缩小矩形框大小到原矩形框的90%，重新开始搜索直到找到人脸区域。

所述步骤（13）嘴唇定位是用层次化梯度直方图信息提取嘴唇特征，将梯度信息进行直方图统计，然后利用层次化处理手段将各级的梯度直方图进行归集，组成嘴唇特征矢量；利用区域灰度图进行积分投影定位眼睛的位置，同时用相同方法定位鼻孔位置，最后利用已定位的眼睛和鼻孔位置辅助来确定嘴唇区域。

步骤（14）的人脸的Gabor特征是一种纹理特征，提取Gabor特征时，采用的滤波器具有个方向（

）和5个尺度（

）。

步骤（14）嘴唇的层次化梯度直方图特征采用3级层次处理将嘴唇区域图像分成3层，分别为原始嘴唇图像、4等分后嘴唇图像以及在此4等分后再4等分的区域图像；再利用Canny边界检测方法提取各个层次的图像区域边界梯度值；将每个子区域的梯度值进行直方图统计，特征中每位表示梯度方向满足相同方向角度范围内的边界梯度值的总和；再将各个层次上的梯度直方图进行级联组成最终的层次化梯度直方图特征；最终将人脸Gabor和嘴唇区域的层次化梯度直方图特征进行级联得到人脸图像的特征矢量。

所述步骤（15）利用聚类线性鉴别分析方法的特征降维，是先对数据样本进行K-MEAN聚类，再利用线性鉴别分析方法进行特征降维，从而很好克服线性鉴别分析方法的多模态问题。具体过程为：首先，将所采集到的人脸正面图像作为训练集样本，拆分训练样本成正样本和负样本，并提取其人脸Gabor特征和嘴唇的层次化梯度直方图特征矢量；然后，分别将提取到的正负样本的特征矢量进行K-MEAN聚类，得到正负样本各自的多个聚类中心矢量；接着，计算训练样本特征矢量离聚类中心矢量的距离，得到其对应的类标号，效果等同于将正负两类转换成多类；最后，将重新划分类标号的训练样本送入线性鉴别分析进行训练，计算类内散度矩阵和类间散度矩阵，得到训练样本数据的最佳投影矩阵；利用最佳投影矩阵对训练样本进行投影，得到的特征矢量就是原始特征的鉴别子空间，在鉴别子空间上截取低维部分，完成特征降维。

本发明的具体步骤为：首先，将所采集到的人脸正面图像作为训练集样本，拆分训练样本成正样本和负样本，并提取其人脸Gabor特征和嘴唇的层次化梯度直方图特征矢量；然后，分别将提取到的正负样本的特征矢量进行K-MEAN聚类，得到正负样本各自的多个聚类中心矢量；接着，计算训练样本特征矢量离聚类中心矢量的距离，得到其对应的类标号，效果等同于将正负两类转换成多类；最后，将重新划分类标号的训练样本送入线性鉴别分析进行训练，计算类内散度矩阵和类间散度矩阵，得到训练样本数据的最佳投影矩阵

；利用最佳投影矩阵

对训练样本进行投影，得到特征矢量就是原始特征的鉴别子空间，在鉴别子空间上截取低维部分，完成特征降维。

所述步骤（16）的分类器选用目前最流行的多类支持矢量机分类器，所述多类支持矢量机分类器的类别数等同于K-MEAN聚类后的聚类数。

笑脸和非笑脸的判断是一个分类器分类判断的结果，所以一个具有智能的分类器是实现笑脸识别的关键所在，而智能的分类器需要预先进行训练。

系统训练完了后，系统才能开始测试：选取训练样本集的人脸图像作为训练样本，用步骤（13）方式提取人脸的Gabor特征和嘴唇的层次化梯度直方图特征，依照支持矢量机训练方式，找寻笑脸和非笑脸样本集中的分界面，如果测试图像的特征矢量位于分界面的笑脸区域，则此测试图像就是笑脸，反之为非笑脸。

与已有的人脸笑脸识别方法相比，本发明具有以下优点：

（1）、本发明提取的Gabor特征是全局人脸信息，其反映人脸的纹理信息；局部的嘴唇细节采用层次化梯度直方图特征，这种特征反映区域的形状，并层次化处理手段来表征区域的形状属性和其局部的空间关系，所以特征具有很好的区分度；

（2）、本发明的聚类线性鉴别分析方法对特征进行有效降维，低维的特征在分类器训练和测试过程中，易实现，并且训练时间大大缩减；同时聚类线性鉴别分析方法克服传统线性鉴别分析方法的多模态问题；

（3）、本发明选用了最流行的分类器，即支持矢量机分类器，在统计误差上和推广能力上进行了有效折中，所以在少量训练样本的情况下，分类器依然可以保持很好的识别性能。

附图说明

图1是本发明的系统结构框图；

图2是本发明的人脸和嘴唇区域定位的流程框图；

图3是本发明的层次化梯度直方图特征提取的流程框图；

图4是本发明的聚类线性鉴别分析方法的特征降维的流程框图。

具体实施方式

下面结合附图和实施方式对本发明做进一步的说明，但本发明的实施方式不限如此。

实施本发明所用的识别设备采用摄像头采集图像，用计算机进行识别，用纯平型显示器显示最终显示结果，采用C语言编制各类处理程序。

本发明的一种聚类线性鉴别分析特征选择的笑脸表情识别方法，包括系统训练和系统测试两个部分。如图1所示，系统训练部分，首先利用摄像头采集1万张正面人脸图像，其中包括5000张笑脸和5000张非笑脸图像。

1）采用高斯平滑和直方图均衡方法来进行图像预处理，去除因摄像头造成图像中的噪声和亮度差异；

2）为了进行人脸区域定位，首先利用肤色检测，提取图像中的肤色区域，将图像的RGB（Red，Green, Blue）色彩空间转换到HSI（Hue，Saturation and Intensity）空间，判断色相（Hue）、饱和度（Saturation）以及亮度（Intensity）分量是否位于肤色范围，从而确定图像中各个像素是否是肤色。肤色HSI范围是：

接着利用一个长宽比为3：4的可变矩形框去定位人脸区域。首选1/4图像大小的矩形框去覆盖图像，如果矩形框中肤色比例占比超过70%，就认为此矩形框就是人脸区域，如果没超过70%，移动0.1矩形框大小步长再次搜索，当完成全图搜索后仍未找到人脸区域，则缩小矩形框大小到原矩形框的90%，重新开始搜索直到找到人脸区域，最终找到的矩形框就是人脸区域；

3）完成人脸定位后，进行嘴唇区域的定位，定位步骤如图2所示：a）肤色检测的人脸定位，同步骤2）；b）区域灰度积分投影的眼睛定位：对人脸区域的左上和右上部分进行梯度图像积分投影，并对积分投影的直方图进行归一化。确定水平投影的谷点，从而定位眼在y方向的大致位置。让x在较大的范围内变化，寻找此区域内的谷点。将检测到的点作为两眼的眼球中心点。c）区域灰度积分投影的鼻孔定位，确定2个鼻孔的位置。截取两眼瞳孔宽度的条状区域，进行y方向积分投影，然后对投影曲线进行分析。可以看到，沿着投影曲线自眼球位置的y坐标高度向下搜索，找到第一个谷点的位置，将这个谷点作为鼻孔位置的y坐标基准点；选取以两眼球x坐标为宽度，鼻孔y坐标上下delta像素（鼻孔y坐标-眼球y坐标*0.06）为高度的区域进行x方向积分投影。以两眼瞳孔中点的x坐标作为中心点，分别向左右两侧进行搜索，找到的第1个谷点即是左右鼻孔的中心点的x坐标。d）灰度积分投影的嘴唇定位，利用区域灰度积分投影的方法确定自鼻孔以下y坐标投影曲线的第1个谷点，作为嘴巴的y坐标位置；

4）提取人脸的Gabor特征和嘴唇区域的层次化梯度直方图特征，并将这两个特征进行级联，这些特征是区分笑脸和非笑脸的分类依据，所以笑脸和非笑脸之间的特征值需要有区分度；人脸Gabor特征是一种非常规范的特征提取算法，Gabor特征提取采用的滤波器具有4个方向（

）和5个尺度（

）。

嘴唇区域的层次化梯度直方图特征提取步骤如图3所示：

a）采用3级层次处理，第一层次是原始人脸图像，第二层次是将原始图像分成4等分后的各个等分区域图像，第三层次是在第二层次的基础上，每个区域再进行4等分后组成的各个等分区域图像；每级图像区域的大小是前一级的4倍；

b）利用Canny边界检测方法提取各个层次的图像区域边界轮廓；

c）采用直方图统计的方式，将边界处的直方图梯度进行统计。具体是将子区域的图像边界方向直方图分成

部分（

是直方图横轴的量化数值，在本发明中=20）。每个部分的梯度直方图信息表征局部形状信息；在计算原始图像的边界方向梯度直方图的时候，统计直方图的像素点必须是Canny提取的边界轮廓点；在直方图中每个bit表示梯度方向满足一定的方向角度范围内的边界梯度值之和；

d）将各个层次级别上的梯度直方图进行级联组成最终的层次化梯度直方图信。梯度直方图特征反映了图像形状信息，而层次化处理后又增加了图像空间位置上的信息；将级联后的各个层次级别的直方图梯度数据进行归一化操作，以实现各种特征数据在数值上的统一；

e）将级联特征送入聚类线性鉴别分析方法进行特征选择，以完成从高维的总特征数据中选择有鉴别性的低维特征数据，提高分类器的学习测试速度和识别性能。

聚类线性鉴别分析算法流程图如图4所示：

a）分拆所选取的1万张人脸图像，其中5000张正样本（笑脸图像）和5000张负样本（非笑脸图像），并按照上述步骤4）过程提取正、负样本集的特征矢量，正和负样本集的特征矢量进行K-MEAN聚类（正样本集聚类成10类，负样本集聚类成10类），得到20个聚类中心矢量；

b) 计算训练样本的特征矢量与20个聚类中心矢量的距离，对应最小距离的聚类中心类别就是训练样本的类标号；

c) 将重新划分类标号的训练样本送入线性鉴别分析进行训练，计算类内散度和类间散度矩阵，计算公式如下：

其中

是类内散度矩阵，

是类间散度矩阵，

是样本的类别总数（C=20），

表示训练样本数量（n=10000），

是第

类中样本的个数（取决于K-MEAN聚类后的输出结果），

是所有第

类训练样本的均值，

表示所有训练样本的均值，

是第

类中第

个训练样本。利用公式

可以得到训练样本数据的最佳投影矩阵

；

d) 利用最佳投影矩阵

对训练样本进行投影，得到的特征矢量就是原始特征的鉴别子空间，在鉴别子空间上截取低维部分，完成特征降维；

6）将降维后的特征数据送入多类支持矢量机（SVM）分类器进行训练，只有训练好的分类器才具有智能，并且可以为后继的系统测试提供判决依据。

系统训练完了后，系统才能进行测试，其测试部分和训练部分步骤基本相同，主要是利用摄像头实时采集人脸的正面图像，然后也是经过图像预处理、人脸区域检测、嘴唇区域定位、人脸Gabor和嘴唇区域的层次化梯度直方图特征提取，聚类线性鉴别分析方法的特征选择和支持矢量机分类器的识别。在测试部分，图像的采集，图像预处理，人脸区域检测，嘴唇定位和特征提取步骤中所针对的是要识别的图像，而训练部分是训练样本集中的所有图像。

测试部分的聚类线性鉴别分析不再需要进行投影矩阵的计算，而是直接利用训练部分得到的最佳投影矩阵，将特征乘上最佳投影矩阵，从而将特征转换到鉴别子空间的特征，在鉴别子空间上截取低维部分，达到特征选择目的。测试部分的支持矢量机分类器也不同于训练部分，测试部分只是将训练部分训练好的支持矢量机分类器直接拿过来，利用训练好的支持矢量机分类器的分界面，直接判断当前测试数据的类别，即判断当前测试图像是笑脸还是非笑脸。如果测试图像的特征矢量位于分割面的笑脸区域，则此测试图像就是笑脸，反之为非笑脸。

Claims

1.一种聚类线性鉴别分析特征选择的笑脸表情识别方法，其特征在于：具体步骤如下：

a)人脸训练图像采集和预处理；

b)人脸区域定位；

c)嘴唇定位；

d)人脸Gabor特征和嘴唇的层次化梯度直方图特征提取：将人脸Gabor特征和嘴唇的层次化梯度直方图特征级联得到笑脸特征矢量；

e）聚类线性鉴别分析方法的特征降维：对笑脸特征矢量进行K-MEAN聚类，得到聚类中心矢量，再利用线性鉴别分析方法完成特征降维，具体过程为：

首先，将所采集到的人脸正面图像作为训练集样本，拆分训练样本成正样本和负样本，并提取其人脸Gabor特征和嘴唇的层次化梯度直方图特征矢量；然后，分别将提取到的正负样本的特征矢量进行K-MEAN聚类，得到正负样本各自的多个聚类中心矢量；接着，计算训练样本特征矢量离聚类中心矢量的距离，得到其对应的类标号，效果等同于将正负两类转换成多类；最后，将重新划分类标号的训练样本送入线性鉴别分析进行训练，计算类内散度矩阵和类间散度矩阵，得到训练样本数据的最佳投影矩阵；利用最佳投影矩阵对训练样本进行投影，得到的特征矢量就是原始特征的鉴别子空间，在鉴别子空间上截取低维部分，完成特征降维；

f)分类器的训练与识别。

2.根据权利要求1所述的笑脸表情识别方法，其特征在于：所述步骤d）人脸Gabor特征提取采用的Gabor滤波器具有4个方向：θ∈[45°，90°，135°，180°]和5个尺度：λ∈[0，1，2，3，4]。

3.根据权利要求2所述的笑脸表情识别方法，其特征在于：所述步骤d）嘴唇的层次化梯度直方图特征采用3级层次处理，第一层次是原始嘴唇图像，第二层次是原始嘴唇图像4等分后的嘴唇图像，第三层次是在第二层次的基础上，每个区域再进行4等分后的嘴唇图像。

4.根据权利要求3所述的笑脸表情识别方法，其特征在于：所述步骤f）中分类器为多类支持矢量机分类器；所述多类支持矢量机分类器的类别数等同于K-MEAN聚类后的聚类数。