CN105469080A

CN105469080A - 一种人脸表情识别方法

Info

Publication number: CN105469080A
Application number: CN201610008142.1A
Authority: CN
Inventors: 王佛伟; 沈波; 孙韶媛; 张似晶
Original assignee: Donghua University
Current assignee: Donghua University
Priority date: 2016-01-07
Filing date: 2016-01-07
Publication date: 2016-04-06
Anticipated expiration: 2036-01-07
Also published as: CN105469080B

Abstract

本发明涉及一种人脸表情识别方法，包括以下步骤：对人脸图片进行预处理；对预处理完的人脸图片做基于uniform？LGBP的特征提取，并建立图片特征的显著性；使用遗传算法对图片特征进行第一次特征选取，得到优秀的种群；根据得到的优秀的种群作为每类表情特征的优秀种群的比较值，来建立类内和类间的两个新的目标函数，目标就是最小化类内函数的值和最大化类间函数的值，并使用Pareto优化算法来对其进行优化；进行脸部特征的分类，在选取完最优特征以后，采取随机森林的方法来对特征进行分类。本发明能够提高在人脸表情识别的精度和速度。

Description

一种人脸表情识别方法

技术领域

本发明涉及人机交互技术领域，特别是涉及一种人脸表情识别方法。

背景技术

人脸表情识别，是采用机器和软件对人脸表情信息进行处理，提取其特征并进行分类的过程。人脸的表情识别常常被用于人机交互领域。例如，面部表情识别可以提供家庭服务机器人与人类的直接互动，然后机器人可以通过从人类识别到的信息来执行它们的行动。

目前的人脸表情识别研究中，主要使用的特征提取方法是经典的“局部Gabor二值模式(LGBP)”，主要是用Gabor小波对图像做不同方向和尺度变换后的图片，再由LBP提取每个像素点与周围像素点之间的关系，并对这种关系做成直方图。这种提取方式会得到很高维数的特征，在后续处理上很花费时间。之后考虑对特征进行提取，在传统的人脸特征提取模型中，往往只是考虑对所有类别的表情特征维度进行降维，而没有将不同类别表情的差异性考虑到特征选取中。虽然在一定程度上起到了降维的作用，但最后的分类结果往往并不理想。

发明内容

本发明所要解决的技术问题是提供一种人脸表情识别方法，能够提高在人脸表情识别的精度和速度。

本发明解决其技术问题所采用的技术方案是：提供一种人脸表情识别方法，包括以下步骤：

(1)对人脸图片进行预处理；

(2)对预处理完的人脸图片做基于uniformLGBP的特征提取，并建立图片特征的显著性；

(3)使用遗传算法对图片特征进行第一次特征选取，得到优秀的种群；

(4)根据得到的优秀的种群作为每类表情特征的优秀种群的比较值，来建立类内和类间的两个新的目标函数，目标就是最小化类内函数的值和最大化类间函数的值，并使用Pareto优化算法来对其进行优化；

(5)进行脸部特征的分类，在选取完最优特征以后，采取随机森林的方法来对特征进行分类。

所述步骤(1)中的预处理包括人脸识别、噪声处理和人脸对齐。

所述步骤(2)中基于uniformLGBP的特征提取具体为：首先对图片进行Gabor滤波变换，其次对图片中的所有像素使用LBP算子提取直方图作为人脸的特征，即将中心像素值作为阈值，相邻域内的像素值如果大于该阈值则为1，否则为0，通过使用这种方法二值化以后，会得到2^Q个二值模式，再次定义一个均匀模式，即得到的二值化后组成的描述子；如果存在不超过两次从0到1或1到0的跳变则为均匀模式，否则为非均匀模式；最后通过这样的定义，将原来的2^Q个二值模式降低为Q²-Q+2。

所述步骤(3)具体为：首先随机初始化种群，接着计算每个种群的准确度，根据准确度分为四类，给出每一类计算种群的适应度函数；最后使用遗传算法来进行优化得到优秀的种群。

所述适应度函数为其中，α是正确分类到其类别的比例，ε，ρ₁，ρ₂是参数，a_rc为脸部特征块的状态，m为脸部特征块的数量。

所述步骤(4)中两个目标函数分别为：

F_{1} (S_{k}) = \frac{1}{N_{w}} Σ_{r = 1}^{m} Σ_{c = 1}^{m} {(S_{k} - m_{w})}^{2}

和

F_{2} (S_{k}) = \frac{1}{l} Σ_{i = 1}^{l} (\frac{1}{N_{b}} Σ_{r = 1}^{m} Σ_{c = 1}^{m} {(S_{i} - m_{b})}^{2}),

其中，

m_{w} = \frac{1}{N_{w}} Σ_{i = 1}^{N_{w}} M_{i}, m_{b} = \frac{1}{N_{b}} Σ_{j = 1}^{N_{b}} M_{j},

M_i是通过遗传算法从一类表情中得到的解，N_w是解的个数，M_j是通过遗传算法从不同类别中得到的解，N_b是其对应解的个数，l则代表了不同种类表情的个数，S_k为种群。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明使用了比传统LGBP好的特征提取方法uniformLGBP来做特征提取降低了特征的维数，改进了GA的适应度评价函数，提出了新的Pareto优化算法的目标函数。本发明和传统方法相比在人脸表情识别的精度和速度上都得到了提高。

附图说明

图1是本发明的流程图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明的实施方式涉及一种人脸表情识别方法，如图1所示，包括以下步骤：对人脸图片进行预处理；对预处理完的人脸图片做基于uniformLGBP的特征提取，并建立图片特征的显著性；使用遗传算法对图片特征进行第一次特征选取，得到优秀的种群；根据得到的优秀的种群作为每类表情特征的优秀种群的比较值，来建立类内和类间的两个新的目标函数，目标就是最小化类内函数的值和最大化类间函数的值，并使用Pareto优化算法来对其进行优化；进行脸部特征的分类，在选取完最优特征以后，采取随机森林的方法来对特征进行分类。具体如下：

步骤1、给定一组人脸表情的图片，首先进行预处理，其中主要包含人脸识别，噪声处理和人脸对齐。具体步骤如下：

步骤1.1.1、在人脸识别步骤中，使用了Haar-like人脸识别。Haar-like特征通过四种方式来表示人脸：边缘特征，线性特征，中心特征，对角特征。每种形式的特征都包含了白色和黑色的方块，特征值为白色方块内的所有像素的和减去黑色方块内所有像素的和。这样四种形式的特征组成一个标准的模板最终用来检测人脸。

步骤1.1.2、使用双边滤波器做噪声处理。众说周知，高斯滤波器在每个采样时间只考虑像素之间的空间距离而不考虑像素之间的相似程度。因此，高斯滤波器方法往往会把所要处理的图片弄得一片模糊。不同的是，双边滤波器拥有两个参数，分别由像素的几何距离和像素的区别来决定。因此，双边滤波器可以有效的保护图片的边缘性同时还能消除图片的噪声。

步骤1.1.3、因为CK+数据库(在实验中使用的这个数据库)包含了脸部的标记点，不需要再追踪标记点来描述脸部形状。需要指出的是，在CK+数据库中，标记点的个数是68，但是本发明只需要那些能够描述脸部边界的点。只保留脸部边界以内的像素值，除去背景图片中那些不需要的信息，这样可以提高图片提取的精度。

步骤2、在这个步骤中，Gabor滤波方法首先被用到图片上来表示脸部图片。然后，在图片纹理表达方法的选取上，考虑使用uniformLGBP来代替传统的LGBP。最后根据得到的uniformLGBP，生成脸部显著特征。下面将详细的给出uniformLGBP方法以及基于uniformLGBP生成脸部显著特征的过程。

与LBP相同，通过下面的公式对图片中的每个像素设置一个标签

Η(x_p,y_p)＝I(f(x_p,y_p)≥f(x_c,y_c))(1)

其中f(x_c,y_c)是在中心点(x_c,y_c)的像素值，f(x_p,y_p)(p＝0,1,...,Q-1)是中心点(x_c,y_c)所在位置的周边点的像素值，I(A)为1当A中的值为真时，I(A)为0当A中的值为非真。现在考虑的形状不再是传统的方形而是换成圆形来考虑。通过以上的步骤的实现，得到2^Q个二值模式。接下来，定义那些存在不超过两次从0到1或1到0的跳变的二值模式为均匀模式，否则为非均匀模式。根据提出的方法将原来的二值模式的个数降低到Q²-Q+2。

步骤3、基于uniformLGBP建立脸部显著特征。对于一个给定的n×n像素的图片，首先将它分成m×m个脸部特征块。每个脸部特征块实际上也是一个l×l像素的图片然后对这个l×l的图片做uniformLGBP特征提取方法。为了能够挑选出显著的脸部特征，需要设置一个阈值0.2q，其中q是uniformLGBP中的最大强度值。随后，在l×l图片中的每个像素点的最大强度值和这个阈值进行比较。假如这个像素点的强度值大于或等于这个阈值，那么相应的像素点就被认为是显著的。对于每一个脸部特征块，如果存在有四个或四个以上被认为是显著的点，则这个脸部特征块就被定义为1，否则定义为0。

步骤4、定义初始种群：令a_ij为脸部特征块的状态。当脸部特征块为显著时设置a_ij为1，否则为0。把所有的脸部特征a_ij块组成矩阵S_k，矩阵如下：

其中S_k是一个特定表情种群中的最优特征其中一个可能解，N则是种群的个数。

步骤5、计算参数α：令同类表情训练样本集中一个训练图片为D，然后得到这个训练图片D的脸部特征矩阵，设为该矩阵为I_D。当满足以下规则时，这个训练图片D属于这个表情类：

| I_{D} \cap S_{k} | &GreaterEqual; Ω Σ_{r = 1}^{m} Σ_{c = 1}^{m} a_{r c} - - - (3)

其中Ω是一个阈值设为0.8，这表明需要和选取的特征有80％的相似度才能表明其是属于这个表情类。

步骤6、上述步骤里定义完了所需要的参数，接下来使用GA来搜索最优特征的解。因为脸部对齐步骤中已经移去了不需要的外部背景，所以在初始的矩阵S_k中，边界元素a_1j＝a_mj＝0(j＝1,2,...,m),a_i1＝a_im＝0(i＝1,2,...,m)其他元素则随机的选取。对于非替代解N_R，它的初始解同样也是从这些候选解中随机选取。初始化结束以后，解S_k根据以下的适应度函数进行进化：

其中α是正确分类到其类别的比例且ε，ρ₁，ρ₂是参数。适应度值F(S_k)主要取决于参数α和特征个数，通常越小的适应度值对应越好的解。当α＝0时，通常解是非常不可行的，为了避免再次出现α＝0这种结果，设置ε＝0.0001使F(S_k)尽可能大。当α＝100时，这个解非常可行，因此为了防止无关的特征进入解，设置为0.005。因此，所选择到的特征的数量既可以保证种群的优势又可以减少特征维数。当90≤α＜100，更多的特征会因为这个高的α值以及常数进入解集。为了不让值F(S_k)在90≤α＜100时比在α＝100小，加上一个阈值常数ρ₁并且设其为1。当0≤α＜90时，F(S_k)的值需要比在90≤α＜100时小，令ρ₂＝2。

通过上式定义了适应度评价函数，基于GA的特征选取算法总结如算法1所示。

算法1：基于GA的特征选取算法

输入：

适应度评价函数，F(·)

最大迭代次数，G

假设种群数，n

每一步中通过交叉取代群体成员的比例，r

变异率，m％

新的种群，N_R

输出：

种群P

开始

步骤1：生成随机的种群P(S₁,S₂,...,S_k)(k＝1,2,...,n)；

步骤2：评估每个种群，计算F(S_k)(k＝1,2,...,n)；

步骤3：选择：用概率方法从种群P中选择(1-r)·n个成员加入到N_R；

步骤4：交叉：从种群P中按概率选择对假设。对于每对假设，用交叉算子产生两个后代。把所有的后代加入N_R；

步骤5：变异：使用均匀的概率从N_R中选择m％·(1-r)·n个成员。对于选出的每个成员，在它的表示中随机选择一位取反；

步骤6：更新：将N_R中的值拷贝到P中；

步骤7：if迭代次数≤G

继续步骤2；

else

停止；

结束

步骤7、根据从改进的GA算法(步骤6)优化得到的解，接下来，使用Pareto优化算法做进一步的特征选取优化。

为了得到解S_k，考虑下面这个多目标优化问题：

min/maxF(S_k)＝(F₁(S_k),F₁(S_k),...,F₁(S_k))

在基于Pareto优化算法的特征选择中，考虑使用了Fisher线性判别准则建立两个新的优化目标函数：

F_{1} (S_{k}) = \frac{1}{N_{w}} Σ_{r = 1}^{m} Σ_{c = 1}^{m} {(S_{k} - m_{w})}^{2}

和

F_{2} (S_{k}) = \frac{1}{l} Σ_{i = 1}^{l} (\frac{1}{N_{b}} Σ_{r = 1}^{m} Σ_{c = 1}^{m} {(S_{i} - m_{b})}^{2}) - - - (6)

且

m_{w} = \frac{1}{N_{w}} Σ_{i = 1}^{N_{w}} M_{i}, m_{b} = \frac{1}{N_{b}} Σ_{j = 1}^{N_{b}} M_{j} - - - (7)

其中M_i是通过GA从一类表情中得到的解且N_w是解的个数，M_j是通过GA从不同类别中得到的解且N_b是其对应解的个数，l则代表了不同种类表情的个数。

通过给出的目标函数，可以看出F₁(S_k)和F₂(S_k)分别是对应了缩小类间差距和扩大类间差距。

通过使用SPEA，由上式给出的这两个目标函数优化问题可以得到解决。而且基于Pareto优化算法的流程由算法2给出。

算法2：基于Pareto优化算法的特征选择算法

输入：

大小为k的种群，P(S₁,S₂,...,S_k)

每个解的基于公式(6)，(7)的目标函数F₁,F₂

最大的迭代次数，H

输出：

种群P和P′

开始

步骤1：生成初始种群P和建立一个空的额外的非被支配集P′；

步骤2：将P中的非被支配解拷贝到额外集P′中；

步骤3：将P′中被P′其他成员所支配的解删除；

步骤4：ifP′的数量>N'

使用聚类的方法来修剪P′；

end

步骤5：计算P和P′中每个解的适应度；

步骤6：从均匀采样的统计方法从P+P′中挑选S_m个成员；

步骤7：对S_m个成员做交叉；

步骤8：对S_m个成员做变异；

步骤9：if迭代次数≤H

继续步骤2；

else

停止；

结束

步骤8、最优特征选出来之后，要将其分类到六类表情中，这六种表情分别为：生气，厌恶，害怕，高兴，悲伤和惊讶。接下来给出随机森林分类器方法，它可以有效地提高人脸表情分类的精度。

随机森林是一种组合分类器，其本质是一个树形分类器的集合，其中的基分类器是用分类回归树算法构建的没有剪枝的分类决策树，输出结果则是采用简单多数投票法确定。

Gini系数指标是随机森林中分类回归树的分裂标准，它的计算过程如下：

G i n i (S) = 1 - Σ_{i = 1}^{m t r y} P_{i}^{2} - - - (8)

其中P_i代表类Y_i在样本集S中出现的概率。

基于随机森林的脸部特征分类算法在算法3中给出。

算法3：基于随机森林的脸部特征分类算法

输入：

一个训练集(X,Y)，X为特征，Y为类别

类别个数有，c

原始训练集大小，N

每个训练样本中的特征维数，M

分类回归树的个数，T

每个节点使用到的特征维数，mtry(mtry≤M)

节点上最少样本数，s(终止条件)

输出：

每个节点分裂所依据的特征

开始

步骤1：建立i颗分类回归树；

步骤2：i＝1；

步骤3：从原始训练集(X,Y)中有放回重复抽取N个样本构成一个新的训练集S，作为第i颗树的根节点，并从根节点开始训练；

步骤4：if当前节点满足终止条件s时

设当前节点为叶子节点；

else

从M维特征中随机抽取mtry个特征作为候选特征。根据mtry个候选特征计算当前节点的Gini系数。选择Gini系数最小的特征来进行分裂，分成左子节点和右子节点；

endif

计算第i棵树上的其他节点；

步骤5：ifi≠T

i＝i+1；继续做步骤3；

else

停止；

结束

最后给出基于uniformLGBP特征提取，GA和Pareto优化算法的特征选取，人脸表情算法：

算法4：脸部表情识别算法

输入：

所有的表情类别中的训练图片

显著的脸部特征块

其他参数设定

输出：

代表每类表情的最优解

开始

步骤1：初始化种群P(S₁,S₂,...,S_k)(k＝1,2,...,n)；

步骤2：对初始种群P做GA(算法1)；

步骤3：从GA中挑选出最优解S_i；

步骤4：将解S_i中分成两部分：U_i和L_i；

步骤5：固定U_i，对L_i做GA(算法1)；固定L_i，对U_i做GA(算法1)；

步骤6：把新的U_i和L_i组成新的S_i并把它拷贝到P中；

步骤7：从GA中选取最优的特征结果P；

步骤8：根据公式6，7对P中的每个解进行评价，得到F₁和F₂；

步骤9：对P中的解做Pareto优化算法(算法2)；

步骤10：返回Pareto最优解；

步骤11：使用随机森林分类器(算法3)将所选出的特征进行分类；

结束

步骤9、最后选择数据库来训练本发明算法直至算法收敛，目前有许多开放的平台提供了人脸表情的数据库，比如CK+，eNTERFACE和MMI。选一个数据库来对本发明算法进行训练和测试，根据最后的测试结果得到一个理想的分类模型。

不难发现，本发明使用了比传统LGBP好的特征提取方法uniformLGBP来做特征提取降低了特征的维数，改进了GA的适应度评价函数，提出了新的Pareto优化算法的目标函数。本发明和传统方法相比在人脸表情识别的精度和速度上都得到了提高。

Claims

1.一种人脸表情识别方法，其特征在于，包括以下步骤：

(1)对人脸图片进行预处理；

2.根据权利要求1所述的人脸表情识别方法，其特征在于，所述步骤(1)中的预处理包括人脸识别、噪声处理和人脸对齐。

3.根据权利要求1所述的人脸表情识别方法，其特征在于，所述步骤(2)中基于uniformLGBP的特征提取具体为：首先对图片进行Gabor滤波变换，其次对图片中的所有像素使用LBP算子提取直方图作为人脸的特征，即将中心像素值作为阈值，相邻域内的像素值如果大于该阈值则为1，否则为0，通过使用这种方法二值化以后，会得到2^Q个二值模式，再次定义一个均匀模式，即得到的二值化后组成的描述子；如果存在不超过两次从0到1或1到0的跳变则为均匀模式，否则为非均匀模式；最后通过这样的定义，将原来的2^Q个二值模式降低为Q²-Q+2。

4.根据权利要求1所述的人脸表情识别方法，其特征在于，所述步骤(3)具体为：首先随机初始化种群，接着计算每个种群的准确度，根据准确度分为四类，给出每一类计算种群的适应度函数；最后使用遗传算法来进行优化得到优秀的种群。

5.根据权利要求4所述的人脸表情识别方法，其特征在于，所述适应度函数为其中，α是正确分类到其类别的比例，ε，ρ₁，ρ₂是参数，a_rc为脸部特征块的状态，m为脸部特征块的数量。

6.根据权利要求1所述的人脸表情识别方法，其特征在于，所述步骤(4)中两个目标函数分别为：

F_{1} (S_{k}) = \frac{1}{N_{w}} Σ_{r = 1}^{m} Σ_{c = 1}^{m} {(S_{k} - m_{w})}^{2}

和

F_{2} (S_{k}) = \frac{1}{l} Σ_{i = 1}^{l} (\frac{1}{N_{b}} Σ_{r = 1}^{m} Σ_{c = 1}^{m} {(S_{i} - m_{b})}^{2}),

其中，M_i是通过遗传算法从一类表情中得到的解，N_w是解的个数，M_j是通过遗传算法从不同类别中得到的解，N_b是其对应解的个数，l则代表了不同种类表情的个数，S_k为种群。