CN105825183A - 基于部分遮挡图像的人脸表情识别方法 - Google Patents

Abstract

本发明公开了一种基于部分遮挡图像的人脸表情识别方法，包括如下步骤：1、对已知类别的人脸表情库中包含N类表情的人脸图像进行预处理；2、计算测试集中的待测样本和训练集中的训练样本之间的相似度，得到与待测样本同类别且最近邻图像；3、对待测样本的遮挡部分进行重构；4、提取重构后的待测样本和训练集中的训练样本的PWLD特征；5、使用SVM分类器对测试集中所有待测样本进行分类识别。本发明采用图像匹配的方法，能够有效地重构图像的遮挡部位，避免了只提取非遮挡部分时特征表征不完整的问题，此外本发明采用的三层金字塔结构提取了图像的全局和局部特征，增强了特征表征的精确性。

Description

基于部分遮挡图像的人脸表情识别方法

技术领域：

本发明涉及图像重构和特征提取，属于图像处理领域，具体地说是一种基于部分遮挡图像的人脸表情识别方法。

背景技术：

人脸表情识别在人机交互，智能信息处理等方面受到了广泛关注，但目前大多数的研究都是在受控环境下进行的，难以适应外界环境的复杂多变性，然而人脸却经常会受到眼镜，围巾，口罩以及一些随机遮挡物遮挡，导致人脸表情的识别率大大降低。近年来，遮挡情况下人脸表情识别方面的研究成为了一个重要研究方向。如今处理遮挡情况下人脸表情识别方面的一些研究者尝试着对遮挡部分的纹理特征和几何特征进行重构，从而消除遮挡对表情识别产生的影响。

主成分分析(PCA)是一种用于降低数据维数的统计方法，并能够尽量保留原始数据的变化，近年来有些学者将其运用于遮挡情况下人脸的重构，实验结果表明在遮挡面积较小时，实验取得的效果较好。但是对于遮挡面积比较大的情况，经PCA重构后图像比较模糊，重构后图像的识别率也相对较低。

基于子模式的主成分分析(SpPCA)是对主成分分析(PCA)的一种改进，传统的PCA是将整个样本看作一个向量来计算特征值和特征向量，提取样本的全局特征，SpPCA则是将一个样本分为了若干个不同的区域，分别计算每个区域的特征值和特征向量。所以将PCA应用在人脸表情识别中会存在一些不足，比如在悲伤这种表情下，会存在眼睛，眉毛和嘴巴部位占的比重较大，脸颊和鼻子等部位所占比重较小的问题。虽然SpPCA克服了PCA在不同表情表达时没有区分不同部位具有的重要性的缺点，但是对于较大的遮挡，由于遮挡部分的区域可能就会被单独划分到一个较小区域，在这个较小区域内计算特征值和特征向量后，重构后的图像仍然含有较多的遮挡，这样也会造成图像识别率不高的问题。

发明内容

本发明为避免上述现有技术存在的不足之处，提供一种基于部分遮挡图像的人脸表情识别方法，以期能够有效地重构图像的遮挡部位，从而提高遮挡情况下人脸表情的识别率。

本发明为解决技术问题采用如下技术方案：

本发明一种基于部分遮挡图像的人脸表情识别方法的特点是按如下步骤进行：

步骤1、对已知类别的人脸表情库中包含N类表情的人脸图像进行预处理：

用AdaBoost检测人脸算法对所有人脸图像中的人脸区域进行检测，得到人脸图像；再利用双向灰度积分投影法对所检测出的人脸图像进行眼睛定位，并对定位后的人脸图像进行尺度归一化处理，从而获得纯人脸图像集；

以所述纯人脸图像集作为样本集，选取一部分样本作为训练集，剩余样本作为测试集；

步骤2、计算测试集中的待测样本和训练集中的训练样本之间的相似度，得到与待测样本同类别且最近邻图像；

步骤2.1、提取训练集中所有训练样本的LBP特征；

步骤2.2、将训练集中属于第k类表情的所有训练样本所提取到的LBP特征用矩阵表示，从而获得N类表情中所有训练样本的LBP特征矩阵

$X_{LBP}=\{X_{LBP}^1,X_{LBP}^2,...,X_{LBP}^k,...,X_{LBP}^N\}:$

$X_{LBP}^k=\left[\begin{array}{cccc}{x}_{0,0}& x_{0,1}& \mathrm{....}& x_{0,n-1}\\ x_{1,0}& x_{1,1}& \mathrm{....}& x_{1,n-1}\\ \mathrm{....}& \mathrm{....}& \mathrm{....}& \mathrm{....}\\ x_{m_k-1,0}& x_{m_k-1,1}& \mathrm{....}& x_{m_k-1,n-1}\end{array}\right]$

其中，m_k是第k类表情中包含的训练样本个数，n是所有训练样本所提取到的LBP特征维数；表示第k类表情中第m_k-1个训练样本的第n-1个LBP特征值；1≤k≤N；

步骤2.3、利用式(1)计算第k类表情中所有训练样本的LBP特征均值矩阵从而获得N类表情中所有训练样本的LBP特征均值矩阵

${\stackrel{\‾}{X}}_{LBP}^k=\left\{\frac{\underset{i=0}{\overset{m_k-1}{\Σ}}{x}_{i,0}}{m_k},\frac{\underset{i=0}{\overset{m_k-1}{\Σ}}{x}_{i,1}}{m_k},\mathrm{...},\frac{\underset{i=0}{\overset{m_k-1}{\Σ}}{x}_{i,n-1}}{m_k}\right\}---\left(1\right)$

步骤2.4、提取训练集中所有训练样本的LDTP特征；

步骤2.5、将训练集中属于第k类表情的所有训练样本所提取到的LDTP特征用矩阵表示，从而获得N类表情中所有训练样本的LDTP特征矩阵

$X_{LDTP}=\{X_{LDTP}^1,X_{LDTP}^2,...,X_{LDTP}^k,...,X_{LDTP}^N\}:$

$X_{LDTP}^k=\left[\begin{array}{cccc}{x}_{0,0}& x_{0,1}& \mathrm{....}& x_{0,q-1}\\ x_{1,0}& x_{1,1}& \mathrm{....}& x_{1,q-1}\\ \mathrm{....}& \mathrm{....}& \mathrm{....}& \mathrm{....}\\ x_{m_k-1,0}& x_{m_k-1,1}& \mathrm{....}& x_{m_k-1,q-1}\end{array}\right]$

其中，q是所有训练样本所提取到的LDTP特征维数；表示第k类表情中第m_k-1个训练样本的第q-1个LDTP特征值；

步骤2.6、利用式(2)计算第k类表情中所有训练样本的LDTP特征均值矩阵从而获得N类表情中所有训练样本的LDTP特征均值矩阵

${\stackrel{\‾}{X}}_{LDTP}=\{{\stackrel{\‾}{X}}_{LDTP}^1,{\stackrel{\‾}{X}}_{LDTP}^2,...,{\stackrel{\‾}{X}}_{LDTP}^k,...,{\stackrel{\‾}{X}}_{LDTP}^N\}:$

${\stackrel{\‾}{X}}_{LDTP}^k=\left\{\frac{\underset{i=0}{\overset{m_k-1}{\Σ}}{x}_{i,0}}{m_k},\frac{\underset{i=0}{\overset{m_k-1}{\Σ}}{x}_{i,1}}{m_k},\mathrm{...},\frac{\underset{i=0}{\overset{m_k-1}{\Σ}}{x}_{i,q-1}}{m_k}\right\}---\left(2\right)$

步骤2.7、提取训练集中所有训练样本的WLD特征；

步骤2.7.1、利用式(3)、式(4)和式(5)获得任意一个训练样本的差分激励ξ(x_c)和方向θ′(x_c)：

$\mathrm{\ξ}\left(x_c\right)=arctan\[\underset{i=0}{\overset{p-1}{\Σ}}\left(\frac{x_i-x_c}{x_c}\right)\]---\left(3\right)$

${\mathrm{\θ}}^{\′}\left(x_c\right)=arctan2(v_s^{11},v_s^{10})+\mathrm{\π}---\left(4\right)$

$arctan2(v_s^{11},v_s^{10})=\left\{\begin{array}{cc}\mathrm{\&theta;},& v_s^{11}>0and{v}_x^{10}>0,\\ \mathrm{\&pi;}+\mathrm{\&theta;},& v_s^{11}>0and{v}_x^{10}<0,\\ \mathrm{\&theta;}-\mathrm{\&pi;},& v_s^{11}<0and{v}_x^{10}<0,\\ \mathrm{\&theta;},& v_s^{11}<0and{v}_x^{10}>0,\end{array}\right.---\left(5\right)$

式(3)、式(4)和式(5)中，x_c表示任意一个训练样本中3×3邻域的中心像素值，x_i表示中心像素值x_c的第i个邻域的像素值，p表示邻域像素的个数；并有：

步骤2.7.2、利用式(6)将所述方向θ′(x_c)进行量化，获得T个方向Φ_t：

${\mathrm{\&Phi;}}_t=\frac{2t}{T}\mathrm{\&pi;}---\left(6\right)$

式(6)中，

步骤2.7.3、将所述任意一个训练样本的差分激励ξ(x_c)和方向θ′(x_c)联合起来构造相应训练样本的二维WLD直方图，且令横坐标表示方向，纵坐标表示差分激励；

步骤2.7.4、将所述二维WLD直方图转化为一维WLD直方图，以所述一维WLD直方图作为相应训练样本的WLD特征；从而获得所有训练样本的WLD特征；

步骤2.8、将训练集中属于第k类表情的所有训练样本所提取到的WLD特征用矩阵表示，从而获得N类表情中所有训练样本的WLD特征矩阵

$X_{WLD}=\{X_{WLD}^1,X_{WLD}^2,\mathrm{...},X_{WLD}^k,\mathrm{...},X_{WLD}^N\}:$

$X_{WLD}^k=\left[\begin{array}{cccc}{x}_{0,0}& x_{0,1}& \mathrm{....}& x_{0,p-1}\\ x_{1,0}& x_{1,1}& \mathrm{....}& x_{1,p-1}\\ \mathrm{....}& \mathrm{....}& \mathrm{....}& \mathrm{....}\\ x_{m_k-1,0}& x_{m_k-1,1}& \mathrm{....}& x_{m_k-1,p-1}\end{array}\right]$

其中，p是所有训练样本所提取到的WLD特征维数；表示第k类表情中第m_k-1个训练样本的第p-1个WLD特征值；

步骤2.9、利用式(7)计算第k类表情中所有训练样本的WLD特征均值矩阵从而获得N类表情中所有训练样本的WLD特征均值矩阵

${\stackrel{\&OverBar;}{X}}_{WLD}^k=\left\{\frac{\underset{i=0}{\overset{m_k-1}{\&Sigma;}}{x}_{i,0}}{m_k},\frac{\underset{i=0}{\overset{m_k-1}{\&Sigma;}}{x}_{i,1}}{m_k},\mathrm{...},\frac{\underset{i=0}{\overset{m_k-1}{\&Sigma;}}{x}_{i,p-1}}{m_k}\right\}---\left(7\right)$

步骤2.10、对测试集中的任意一个待测样本提取LBP特征，记为Y_LBP＝[y₀,y₁......,y_n-1]；

步骤2.11、根据欧式距离利用式(8)计算出所述待测样本的LBP特征与训练集中属于第k类表情的所有训练样本的LBP特征均值间的相似度从而获得所述待测样本的LBP特征与N类表情中所有训练样本的LBP特征均值间的相似度集合

$\left|z_{LBP}^k\right|=\sqrt{\underset{i=0}{\overset{n-1}{\&Sigma;}}{({\stackrel{\&OverBar;}{x}}_i^k-y_i)}^2}---\left(8\right)$

式(8)中，表示第k类表情中所有训练样本LBP特征均值的第i个值，y_i表示待测样本的LBP特征中第i个值；

步骤2.12、从所述相似度集合中选取最小值，并记为min_LBP；

步骤2.13、对测试集中的任意一个待测样本提取LDTP特征，记为Y_LDTP＝[y₀′,y₁′......,y′_q-1]；

步骤2.14、根据欧式距离利用式(9)计算出所述待测样本的LDTP特征与训练集中属于第k类表情的所有训练样本的LDTP特征均值间的相似度从而获得所述待测样本的LDTP特征与N类表情中所有训练样本的LDTP特征均值间的相似度集合

$\left|z_{LDTP}^k\right|=\sqrt{\underset{i=0}{\overset{q-1}{\&Sigma;}}{({{\stackrel{\&OverBar;}{x}}_i^{\&prime;}}^k-y_i^{\&prime;})}^2}---\left(9\right)$

式(9)中，表示第k类表情中所有训练样本的LDTP特征均值的第i个值，y_i′表示待测样本的LDTP特征中第i个值；

步骤2.15、从所述相似度集合中选取最小值，并记为min_LDTP；

步骤2.16、对测试集中的任意一个待测样本提取WLD特征，记为Y_WLD＝[y₀″y₁″......,y″_p-1]；

步骤2.17、根据欧式距离利用式(10)计算出所述待测样本的WLD特征与训练集中属于第k类表情的所有训练样本的WLD特征均值间的相似度从而获得所述待测样本的WLD特征与N类表情中所有训练样本的WLD特征均值间的相似度集合

$\left|z_{WLD}^k\right|=\sqrt{\underset{i=0}{\overset{p-1}{\&Sigma;}}{({{\stackrel{\&OverBar;}{x}}_i^{\&prime;\&prime;}}^k-y_i^{\&prime;\&prime;})}^2}---\left(10\right)$

式(10)中，表示第k类表情中所有训练样本WLD特征均值的第i个值，y_i′′表示待测样本的WLD特征的第i个值；

步骤2.18、从所述相似度集合中选取最小值，并记为min_WLD；

步骤2.19、若min_LBP所对应的表情类别，min_LDTP所对应的表情类别和min_WLD所对应的表情类别中有任意两个相同或三个值均相同时，即可得出待测样本的表情类别；如若min_LBP所对应的表情类别，min_LDTP所对应的表情类别和min_WLD所对应的表情类别均不相同时，则采用式(11)、式(12)和式(13)对最小值进行归一化处理：

$R_{LBP}=\frac{{\min }_{LBP}}{\underset{k=1}{\overset{N}{\&Sigma;}}\left|z_{LBP}^k\right|}---\left(11\right)$

$R_{WLD}=\frac{{\min }_{WLD}}{\underset{k=1}{\overset{N}{\&Sigma;}}\left|z_{WLD}^k\right|}---\left(12\right)$

$R_{LDTP}=\frac{{\min }_{LDTP}}{\underset{k=1}{\overset{N}{\&Sigma;}}\left|z_{LDTP}^k\right|}---\left(13\right)$

步骤2.20、从R_LBP，R_WLD和R_LDTP中选取出最小值，并将最小值对应的表情类别作为待测样本的表情类别；

步骤2.21、根据欧式距离计算出所述待测样本的表情类别与其相同的表情类别中所有训练样本之间的距离，并将最小距离所对应的训练样本作为所述待测样本的最近邻图像；

步骤3、对待测样本的遮挡部分进行重构：

步骤3.1、利用式(14)所示的信息熵和最大类间差法检测待测样本中的遮挡部位：

H(X)＝-∫_xp(x)logp(x)dx(14)

式(14)中，X是一个随机变量，x是变量X的取值范围中的一个值，H()为信息熵；p(x)是当变量X取值为x时的概率；

当X是离散型随机变量时：

$H\left(X\right)=-\underset{x\&Element;D\left(x\right)}{\&Sigma;}p\left(x\right)\log p\left(x\right)---\left(15\right)$

式(15)中，D(x)是随机变量X的定义域；

步骤3.2、利用所述待测样本的最近邻图像的相应部分替换所述遮挡部位，从而得到重构后的待测样本；

步骤4、提取重构后的待测样本和训练集中的训练样本的PWLD特征：

步骤4.1、把所述待测样本分为l层图像，每一层图像均由方形，大小均等且互不重叠的图像块组成，每层图像块的个数为4^l-1，l代表图像块所在的层数；

步骤4.2、选取第l层中任意一个图像块作为一个子图像，并按照步骤2.7、提取子图像的WLD特征；从而获得第l层中所有图像块的WLD特征；将第l层中所有图像块的WLD特征级联起来，即可得到第l层图像的一维WLD特征；继而获得l层图像的一维WLD特征；

步骤4.3、将l层图像的一维WLD特征进行逐层级联，即可得到待测样本的PWLD特征；

步骤4.4、重复步骤4.1-步骤4.3，从而获得所有训练样本的PWLD特征；

步骤5、使用SVM分类器对测试集中所有待测样本进行分类识别：

步骤5.1、对训练集和测试集中的所有已知类别的样本按照表情的类别设置相应的标签；

步骤5.2、将所述训练样本所提取的PWLD特征和类别标签作为参数输入SVM，通过机器学习，训练得到SVM分类器模型；

步骤5.3、将所述测试集中任意一个待测样本所提取的PWLD特征和类别标签作为参数，输入到所述SVM分类器模型中，进行分类预测，获得预测的类别。

与已有技术相比，本发明的有益效果体现在：

1、本发明利用三种比较优秀的特征提取方法(局部二值模式LBP，局部方向纹理模式LDTP和韦伯局部描述子WLD)提取训练集样本的特征，根据人脸表情库中表情的种类，计算出每类表情的特征均值，对于待测样本也同样提取上述三种特征，计算待测样本和训练集样本之间的相似度，利用三种不同特征值之间的比较和特征值归一化处理，从而有效地实现了对待测样本的表情类别的粗分类，使得分类结果更具准确性。

2、本发明利用粗分类方法得到最近邻类别后，选出此类别中与待测样本最近邻的图像，之后用得到的最近邻图像的相应部分替代待测样本中的遮挡部分；使用训练集中和待测样本最近邻的图像，对遮挡部分进行重构，从而有效地减小了重构遮挡的误差。

3、本发明利用信息熵和最大类间差法检测待测样本的遮挡部位，通过设定阈值的方法，将图像的遮挡部分和非遮挡部分进行分离，能够清楚地显示出图像的遮挡部分。

4、本发明利用最近邻图像对待测图像的遮挡部分进行重构，而不是舍弃遮挡部分只提取非遮挡部分的特征，使得图像的纹理信息表征地更加完整，从而减少了遮挡对人脸表情识别的影响。

5、本发明利用金字塔韦伯局部描述子来提取图像的特征，三层结构的特征提取方法，比较完整地提取了图像的全局和局部特征。

6、本发明利用支持向量机对人脸表情图像分类识别，与传统的机器学习相比，具有较好的推广能力，但其性能依赖参数的选择，本发明中选用了径向基核函数，在线性核函数，多项式核函数，径向基核函数和Sigmoid核函数中，径向基核函数使用最广泛，无论是低维、高维、小样本、大样本情况下，径向基核函数均使用，具有较宽的收敛域，是较为理想的分类依据函数。

附图说明

图1为本发明的流程图；

图2a为本发明中基于JAFFE人脸表情库的模拟遮挡的样本图；

图2b为本发明中基于CK人脸表情库的模拟遮挡的样本图；

图3a为本发明中基于JAFFE人脸表情库的遮挡模拟部分遮挡检测图以及遮挡的重构效果图。

图3b为本发明中基于CK人脸表情库的遮挡模拟部分遮挡检测图以及遮挡的重构效果图；

图4a为本发明中不同方法在基于JAFFE人脸表情库中不同遮挡情况下的识别率之间的比较图；

图4b为本发明中不同方法在基于CK人脸表情库中不同遮挡情况下的识别率之间的比较图；

图5为本发明对模拟口罩遮挡情况下的重构效果图。

具体实施方式

本实施例中，如图1所示，一种基于部分遮挡图像的人脸表情识别方法，包括如下步骤：

1、一种基于部分遮挡图像的人脸表情识别方法，其特征是按如下步骤进行：

步骤1、对已知类别的人脸表情库中包含N类表情的人脸图像进行预处理：

用AdaBoost检测人脸算法对所有人脸图像中的人脸区域进行检测，得到人脸图像；再利用双向灰度积分投影法对所检测出的人脸图像进行眼睛定位，并对定位后的人脸图像进行尺度归一化处理，从而获得纯人脸图像集；本实施例中，经过尺度归一化处理后的所有人脸图像的像素大小为96×96；

以纯人脸图像集作为样本集，选取一部分样本作为训练集，剩余样本作为测试集；

本发明采用JAFFE人脸表情库和Cohn-Kanade人脸表情库。JAFFE人脸表情库由10位日本女性的213张人脸图像构成，包含每人2～4幅不同表情的图像，Cohn-Kanade人脸表情库包含了97个对象的486个表情序列。在JAFFE库中选取了七种基本表情：生气、厌恶、恐惧、高兴、中性、悲伤、吃惊，在CK库中基于图像序列选取了六种基本表情：悲伤、高兴、吃惊、恐惧、生气、厌恶。在JAFFE库中选取每人每类表情的两到三张图像作为训练集中的训练样本，一张图像作为测试集中的测试样本。在CK库中选取92个对象进行实验，基于图像序列选取上述92个人中每人每类表情的两张图像作为训练集中的训练样本，两张图像作为测试集中的测试样本。

步骤2、计算测试集中的待测样本和训练集中的训练样本之间的相似度，得到与待测样本同类别且最近邻图像；

步骤2.1、提取训练集中所有训练样本的LBP特征；

步骤2.1.1、将训练样本分成四块大小相等且互不重叠的子块，即得到大小为24×24像素的图像块；将每一个图像块看作是一个子图像，提取每个子图像的LBP特征。

步骤2.1.2、重复步骤2.1.1即可得到样本中所有图像块的LBP特征。

步骤2.1.3、将步骤2.1.2中得到的所有图像块的LBP特征级联起来，即可得到训练样本的LBP特征。

步骤2.2、将训练集中属于第k类表情的所有训练样本所提取到的LBP特征用矩阵表示，从而获得N类表情中所有训练样本的LBP特征矩阵

$X_{LBP}=\{X_{LBP}^1,X_{LBP}^2,...,X_{LBP}^k,...,X_{LBP}^N\}:$

$X_{LBP}^k=\left[\begin{array}{cccc}{x}_{0,0}& x_{0,1}& \mathrm{....}& x_{0,n-1}\\ x_{1,0}& x_{1,1}& \mathrm{....}& x_{1,n-1}\\ \mathrm{....}& \mathrm{....}& \mathrm{....}& \mathrm{....}\\ x_{m_k-1,0}& x_{m_k-1,1}& \mathrm{....}& x_{m_k-1,n-1}\end{array}\right]$

其中，m_k是第k类表情中包含的训练样本个数，n是所有训练样本所提取到的LBP特征维数；表示第k类表情中第m_k-1个训练样本的第n-1个LBP特征值；1≤k≤N；

步骤2.3、利用式(1)计算第k类表情中所有训练样本的LBP特征均值矩阵从而获得N类表情中所有训练样本的LBP特征均值矩阵

${\stackrel{\&OverBar;}{X}}_{LBP}^k=\left\{\frac{\underset{i=0}{\overset{m_k-1}{\&Sigma;}}{x}_{i,0}}{m_k},\frac{\underset{i=0}{\overset{m_k-1}{\&Sigma;}}{x}_{i,1}}{m_k},\mathrm{...},\frac{\underset{i=0}{\overset{m_k-1}{\&Sigma;}}{x}_{i,n-1}}{m_k}\right\}---\left(1\right)$

步骤2.4、提取训练集中所有训练样本的LDTP特征；

步骤2.4.1、将训练样本分成四块大小相等且互不重叠的子块，即得到大小为24×24像素的图像块。将每一个图像块看作是一个子图像，提取每个子图像的LDTP特征。

步骤2.4.2、重复步骤2.4.1即可得到样本中所有图像块的LDTP特征。

步骤2.4.3、将步骤2.4.2中得到的所有图像块的LDTP特征级联起来，即可得到训练样本的LDTP特征。

步骤2.5、将训练集中属于第k类表情的所有训练样本所提取到的LDTP特征用矩阵表示，从而获得N类表情中所有训练样本的LDTP特征矩阵

$X_{LDTP}=\{X_{LDTP}^1,X_{LDTP}^2,...,X_{LDTP}^k,...,X_{LDTP}^N\}:$

$X_{LDTP}^k=\left[\begin{array}{cccc}{x}_{0,0}& x_{0,1}& \mathrm{....}& x_{0,q-1}\\ x_{1,0}& x_{1,1}& \mathrm{....}& x_{1,q-1}\\ \mathrm{....}& \mathrm{....}& \mathrm{....}& \mathrm{....}\\ x_{m_k-1,0}& x_{m_k-1,1}& \mathrm{....}& x_{m_k-1,q-1}\end{array}\right]$

其中，q是所有训练样本所提取到的LDTP特征维数；表示第k类表情中第m_k-1个训练样本的第q-1个LDTP特征值；

步骤2.6、利用式(2)计算第k类表情中所有训练样本的LDTP特征均值矩阵从而获得N类表情中所有训练样本的LDTP特征均值矩阵

${\stackrel{\&OverBar;}{X}}_{LDTP}=\{{\stackrel{\&OverBar;}{X}}_{LDTP}^1,{\stackrel{\&OverBar;}{X}}_{LDTP}^2,...,{\stackrel{\&OverBar;}{X}}_{LDTP}^k,...,{\stackrel{\&OverBar;}{X}}_{LDTP}^N\}:$

${\stackrel{\&OverBar;}{X}}_{LDTP}^k=\left\{\frac{\underset{i=0}{\overset{m_k-1}{\&Sigma;}}{x}_{i,0}}{m_k},\frac{\underset{i=0}{\overset{m_k-1}{\&Sigma;}}{x}_{i,1}}{m_k},\mathrm{...},\frac{\underset{i=0}{\overset{m_k-1}{\&Sigma;}}{x}_{i,q-1}}{m_k}\right\}---\left(2\right)$

步骤2.7、提取训练集中所有训练样本的WLD特征；

步骤2.7.1、利用式(3)、式(4)和式(5)获得任意一个训练样本的差分激励ξ(x_c)和方向θ′(x_c)：

$\mathrm{\&xi;}\left(x_c\right)=arctan\&lsqb;\underset{i=0}{\overset{p-1}{\&Sigma;}}\left(\frac{x_i-x_c}{x_c}\right)\&rsqb;---\left(3\right)$

${\mathrm{\&theta;}}^{\&prime;}\left(x_c\right)=arctan2(v_s^{11},v_s^{10})+\mathrm{\&pi;}---\left(4\right)$

$arctan2(v_s^{11},v_s^{10})=\left\{\begin{array}{cc}\mathrm{\&theta;},& v_s^{11}>0and{v}_x^{10}>0,\\ \mathrm{\&pi;}+\mathrm{\&theta;},& v_s^{11}>0and{v}_x^{10}<0,\\ \mathrm{\&theta;}-\mathrm{\&pi;},& v_s^{11}<0and{v}_x^{10}<0,\\ \mathrm{\&theta;},& v_s^{11}<0and{v}_x^{10}>0,\end{array}\right.---\left(5\right)$

式(3)、式(4)和式(5)中，x_c表示任意一个训练样本中3×3邻域的中心像素值，x_i表示中心像素值x_c的第i个邻域的像素值，p表示邻域像素的个数；并有：

步骤2.7.2、利用式(6)将所述方向θ′(x_c)进行量化，获得T个方向Φ_t：

${\mathrm{\&Phi;}}_t=\frac{2t}{T}\mathrm{\&pi;}---\left(6\right)$

式(6)中，

步骤2.7.3、将所述任意一个训练样本的差分激励ξ(x_c)和方向θ′(x_c)联合起来构造相应训练样本的二维WLD直方图，且令横坐标表示方向，纵坐标表示差分激励；

步骤2.7.4、将所述二维WLD直方图转化为一维WLD直方图，以所述一维WLD直方图作为相应训练样本的WLD特征；从而获得所有训练样本的WLD特征；

步骤2.8、将训练集中属于第k类表情的所有训练样本所提取到的WLD特征用矩阵表示，从而获得N类表情中所有训练样本的WLD特征矩阵

$X_{WLD}=\{X_{WLD}^1,X_{WLD}^2,\mathrm{...},X_{WLD}^k,...,X_{WLD}^N\}:$

$X_{WLD}^k=\left[\begin{array}{cccc}{x}_{0,0}& x_{0,1}& \mathrm{....}& x_{0,p-1}\\ x_{1,0}& x_{1,1}& \mathrm{....}& x_{1,p-1}\\ \mathrm{....}& \mathrm{....}& \mathrm{....}& \mathrm{....}\\ x_{m_k-1,0}& x_{m_k-1,1}& \mathrm{....}& x_{m_k-1,p-1}\end{array}\right]$

其中，p是所有训练样本所提取到的WLD特征维数；表示第k类表情中第m_k-1个训练样本的第p-1个WLD特征值；

步骤2.9、利用式(7)计算第k类表情中所有训练样本的WLD特征均值矩阵从而获得N类表情中所有训练样本的WLD特征均值矩阵

${\stackrel{\&OverBar;}{X}}_{WLD}^k=\left\{\frac{\underset{i=0}{\overset{m_k-1}{\&Sigma;}}{x}_{i,0}}{m_k},\frac{\underset{i=0}{\overset{m_k-1}{\&Sigma;}}{x}_{i,1}}{m_k},\mathrm{...},\frac{\underset{i=0}{\overset{m_k-1}{\&Sigma;}}{x}_{i,p-1}}{m_k}\right\}---\left(7\right)$

步骤2.10、对测试集中的任意一个待测样本提取LBP特征，记为Y_LBP＝[y₀,y₁......,y_n-1]；

步骤2.11、根据欧式距离利用式(8)计算出所述待测样本的LBP特征与训练集中属于第k类表情的所有训练样本的LBP特征均值间的相似度从而获得所述待测样本的LBP特征与N类表情中所有训练样本的LBP特征均值间的相似度集合

$\left|z_{LBP}^k\right|=\sqrt{\underset{i=0}{\overset{n-1}{\&Sigma;}}{({\stackrel{\&OverBar;}{x}}_i^k-y_i)}^2}---\left(8\right)$

式(8)中，表示第k类表情中所有训练样本LBP特征均值的第i个值，y_i表示待测样本的LBP特征中第i个值；

步骤2.12、从所述相似度集合中选取最小值，并记为min_LBP；

步骤2.13、对测试集中的任意一个待测样本提取LDTP特征，记为Y_LDTP＝[y'₀,y₁'......,y'_q-1]；

步骤2.14、根据欧式距离利用式(9)计算出所述待测样本的LDTP特征与训练集中属于第k类表情的所有训练样本的LDTP特征均值间的相似度从而获得所述待测样本的LDTP特征与N类表情中所有训练样本的LDTP特征均值间的相似度集合

$\left|z_{LDTP}^k\right|=\sqrt{\underset{i=0}{\overset{q-1}{\&Sigma;}}{({{\stackrel{\&OverBar;}{x}}_i^{\&prime;}}^k-y_i^{\&prime;})}^2}---\left(9\right)$

式(9)中，表示第k类表情中所有训练样本的LDTP特征均值的第i个值，y_i′表示待测样本的LDTP特征中第i个值；

步骤2.15、从所述相似度集合中选取最小值，并记为min_LDTP；

步骤2.16、对测试集中的任意一个待测样本提取WLD特征，记为Y_WLD＝[y₀",y₁"......,y″_p-1]；

步骤2.17、根据欧式距离利用式(10)计算出所述待测样本的WLD特征与训练集中属于第k类表情的所有训练样本的WLD特征均值间的相似度从而获得所述待测样本的WLD特征与N类表情中所有训练样本的WLD特征均值间的相似度集合

$\left|z_{WLD}^k\right|=\sqrt{\underset{i=0}{\overset{p-1}{\&Sigma;}}{({{\stackrel{\&OverBar;}{x}}_i^{\&prime;\&prime;}}^k-y_i^{\&prime;\&prime;})}^2}---\left(10\right)$

式(10)中，表示第k类表情中所有训练样本WLD特征均值的第i个值，y_i′′表示待测样本的WLD特征的第i个值；

步骤2.18、从所述相似度集合中选取最小值，并记为min_WLD；

步骤2.19、若min_LBP所对应的表情类别，min_LDTP所对应的表情类别和min_WLD所对应的表情类别中有任意两个相同或三个值均相同时，即可得出待测样本的表情类别；如若min_LBP所对应的表情类别，min_LDTP所对应的表情类别和min_WLD所对应的表情类别均不相同时，则采用式(11)、式(12)和式(13)对最小值进行归一化处理：

$R_{LBP}=\frac{{\min }_{LBP}}{\underset{k=1}{\overset{N}{\&Sigma;}}\left|z_{LBP}^k\right|}---\left(11\right)$

$R_{WLD}=\frac{{\min }_{WLD}}{\underset{k=1}{\overset{N}{\&Sigma;}}\left|z_{WLD}^k\right|}---\left(12\right)$

$R_{LDTP}=\frac{{\min }_{LDTP}}{\underset{k=1}{\overset{N}{\&Sigma;}}\left|z_{LDTP}^k\right|}---\left(13\right)$

步骤2.20、从R_LBP，R_WLD和R_LDTP中选取出最小值，并将最小值对应的表情类别作为待测样本的表情类别；

步骤2.21、根据欧式距离计算出所述待测样本的表情类别与其相同的表情类别中所有训练样本之间的距离，并将最小距离所对应的训练样本作为所述待测样本的最近邻图像；

步骤3、对待测样本的遮挡部分进行重构：

如图2a和2b所示，左上角第一幅图像对应的是无遮挡情况，其余的图像对应的是本发明中涉及的七种遮挡类型。包括三种遮挡面积不同的随机遮挡，眼睛块遮挡，嘴巴块遮挡，墨镜遮挡和口罩遮挡。三种遮挡面积不同的随机遮挡包括遮挡区域为10×10像素，20×20像素，30×30像素大小的遮挡。眼睛块的遮挡是在眼睛部位添加了两个黑色的矩形块，嘴巴块的遮挡是在嘴巴部位添加了一个黑色的矩形块，墨镜遮挡是在眼睛部位添加了类似于墨镜的遮挡，口罩遮挡是在嘴巴部位添加了类似于口罩的遮挡。

步骤3.1、利用式(14)所示的信息熵和最大类间差法检测待测样本中的遮挡部位：

H(X)＝-∫_xp(x)logp(x)dx(14)

式(14)中，X是一个随机变量，x是变量X的取值范围中的一个值，H()表示信息熵的定义；p(x)是当变量X取值为x时的概率；如果随机变量X的概率分布越大，H(X)也就越大，那么变量X的不确定性程度也就越高。当变量X每种取值的概率相同时，H(X)达到最大。

当X是离散型随机变量时：

$H\left(X\right)=-\underset{x\&Element;D\left(x\right)}{\&Sigma;}p\left(x\right)\log p\left(x\right)---\left(15\right)$

式(15)中，D(x)是随机变量X的定义域。

对于一幅人脸图像而言，随机变量X可看作为图像的像素，D(x)代表图像的灰度级数，那么H(X)代表图像的信息量大小，也可以表达图像纹理的丰富程度。

步骤3.2、利用所述待测样本的最近邻图像的相应部分替换所述遮挡部位，从而得到重构后的待测样本；

如图3a和3b所示，对于随机遮挡30×30的遮挡情况，首先利用步骤3.1检测待测样本的遮挡部分，然后利用步骤3.2中得到的最近邻图像的相应部分替换所述遮挡部位，从而得到重构后的待测样本。

步骤4、提取重构后的待测样本和训练集中的训练样本的PWLD特征：

步骤4.1、把所述待测样本分为l层图像，每一层图像均由方形，大小均等且互不重叠的图像块组成，每层图像块的个数为4^l-1，l代表图像块所在的层数，l＝1,2,3；即下一层图像由上一层图像的图像块按照长和宽划分成更小的图像块组成；

步骤4.2、选取第l层中任意一个图像块作为一个子图像，并按照步骤2.7、提取子图像的WLD特征；从而获得第l层中所有图像块的WLD特征；将第l层中所有图像块的WLD特征级联起来，即可得到第l层图像的一维WLD特征；继而获得l层图像的一维WLD特征；

步骤4.3、将l层图像的一维WLD特征进行逐层级联，即可得到待测样本的PWLD特征；

步骤4.4、重复步骤4.1-步骤4.3，从而获得所有训练样本的PWLD特征；

步骤5、使用SVM分类器对测试集中所有待测样本进行分类识别：

步骤5.1、对训练集和测试集中的所有已知类别的样本按照表情的类别设置相应的标签；比如在JAFFE人脸表情库中，把所有属于生气这种表情类别的样本设标签为1，把所有属于厌恶这种表情类别的样本设标签为2，把所有属于恐惧这种表情类别的样本设标签为3，把所有属于高兴这种表情类别的样本设标签为4，把所有属于中性这种表情类别的样本设标签为5，把所有属于悲伤这种表情类别的样本设标签为6，把所有属于吃惊这种表情类别的样本设标签为7。

步骤5.2、将所述训练样本的PWLD特征和类别标签作为参数输入SVM分类器，通过机器学习训练得到一个SVM分类器模型，训练中选用的核函数是径向基核函数。

步骤5.3、将所述测试集中任意一个待测样本的PWLD特征和类别标签作为参数输入到步骤5.2中所得到的SVM分类器模型中，进行分类预测，获得预测的类别；如果预测的类别和待测样本的类别标签一致，则识别正确；

结合下列图表进一步描述本发明的测试结果：

实验一、不同类型的遮挡对人脸表情库中的图像产生的影响

本实验中选取JAFFE人脸表情库和CK人脸表情库，包括JAFFE库中七种基本表情(生气、厌恶、恐惧、高兴、中性、悲伤、吃惊)的213幅图片，选取每人每类表情的两到三张图像作为训练集中的训练样本，一张图像作为测试集中的测试样本。CK库中选取92个对象的六种基本表情(生气、厌恶、恐惧、高兴、悲伤、吃惊)，基于图像序列选取上述92个人中每人每类表情的两张图像作为训练集中的训练样本，两张图像作为测试集中的测试样本。

表1不同的遮挡在JAFFE人脸表情库和CK人脸表情库上的识别率(单位％)

	JAFFE	CK
			无遮挡	90	96.5
随机遮挡10×10	88.57	95.76
			随机遮挡20×20	85	94.64
随机遮挡30×30	72.85	88.26
			眼睛块遮挡	76.43	95.01
嘴巴块遮挡	72.85	71.56

参见表1所示，不同的遮挡对同一表情库产生不同的影响，相同的遮挡对不同的表情库也有不同的影响。但是从表中可以发现，本发明得到的较高的识别率在90％以上，稍低的识别率也在70％以上。

实验二、不同方法在不同遮挡情况下对不同表情库中的样本产生的影响。

实验结果如图4a和图4b所示，图中纵坐标表示识别率，横坐标表示遮挡类型，其中随机遮挡10、随机遮挡20和随机遮挡30，分别表示遮挡大小为10×10,20×20和30×30。从图中可以看出在JAFFE人脸表情库和CK人脸表情库中，与PCA，SpPCA和Gabor方法相比，本发明的方法达到了较高的识别率。

实验三、不同方法对于墨镜和口罩遮挡不同方法识别率之间的比较。

本发明中对于口罩遮挡的处理不同于其它类型的遮挡，其原因在于，口罩遮挡的面积较大，且遮挡部位固定，所以在本次实验中求取相似度时，将图像进行了分割，使用了图像的非遮挡部分，遮挡重构效果如图5所示。

表2不同方法在墨镜和口罩遮挡情况下的识别率(单位％)

Claims (1)

1.一种基于部分遮挡图像的人脸表情识别方法，其特征是按如下步骤进行：

步骤1、对已知类别的人脸表情库中包含N类表情的人脸图像进行预处理：

用AdaBoost检测人脸算法对所有人脸图像中的人脸区域进行检测，得到人脸图像；再利用双向灰度积分投影法对所检测出的人脸图像进行眼睛定位，并对定位后的人脸图像进行尺度归一化处理，从而获得纯人脸图像集；

以所述纯人脸图像集作为样本集，选取一部分样本作为训练集，剩余样本作为测试集；

步骤2、计算测试集中的待测样本和训练集中的训练样本之间的相似度，得到与待测样本同类别且最近邻图像；

步骤2.1、提取训练集中所有训练样本的LBP特征；

步骤2.2、将训练集中属于第k类表情的所有训练样本所提取到的LBP特征用矩阵表示，从而获得N类表情中所有训练样本的LBP特征矩阵

$X_{LBP}^k=\left[\begin{array}{cccc}{x}_{0,0}& x_{0,1}& ....& x_{0,n-1}\\ x_{1,0}& x_{1,1}& ....& x_{1,n-1}\\ ....& ....& ....& ....\\ x_{m_k-1,0}& x_{m_k-1,1}& ....& x_{m_k-1,n-1}\end{array}\right]$

其中，m_k是第k类表情中包含的训练样本个数，n是所有训练样本所提取到的LBP特征维数；表示第k类表情中第m_k-1个训练样本的第n-1个LBP特征值；1≤k≤N；

步骤2.3、利用式(1)计算第k类表情中所有训练样本的LBP特征均值矩阵从而获得N类表情中所有训练样本的LBP特征均值矩阵

${\stackrel{\&OverBar;}{X}}_{LBP}^k=\{\frac{\underset{i=0}{\overset{m_k-1}{\&Sigma;}}{x}_{i,0}}{m_k},\frac{\underset{i=0}{\overset{m_k-1}{\&Sigma;}}{x}_{i,1}}{m_k},...,\frac{\underset{i=0}{\overset{m_k-1}{\&Sigma;}}{x}_{i,n-1}}{m_k}\}---\left(1\right)$

步骤2.4、提取训练集中所有训练样本的LDTP特征；

步骤2.5、将训练集中属于第k类表情的所有训练样本所提取到的LDTP特征用矩阵表示，从而获得N类表情中所有训练样本的LDTP特征矩阵

$X_{LDTP}^k=\left[\begin{array}{cccc}{x}_{0,0}& x_{0,1}& ....& x_{0,q-1}\\ x_{1,0}& x_{1,1}& ....& x_{1,q-1}\\ ....& ....& ....& ....\\ x_{m_k-1,0}& x_{m_k-1,1}& ....& x_{m_k-1,q-1}\end{array}\right]$

其中，q是所有训练样本所提取到的LDTP特征维数；表示第k类表情中第m_k-1个训练样本的第q-1个LDTP特征值；

步骤2.6、利用式(2)计算第k类表情中所有训练样本的LDTP特征均值矩阵从而获得N类表情中所有训练样本的LDTP特征均值矩阵

${\stackrel{\&OverBar;}{X}}_{LDTP}^k=\{\frac{\underset{i=0}{\overset{m_k-1}{\&Sigma;}}{x}_{i,0}}{m_k},\frac{\underset{i=0}{\overset{m_k-1}{\&Sigma;}}{x}_{i,1}}{m_k},...,\frac{\underset{i=0}{\overset{m_k-1}{\&Sigma;}}{x}_{i,q-1}}{m_k}\}---\left(2\right)$

步骤2.7、提取训练集中所有训练样本的WLD特征；

步骤2.7.1、利用式(3)、式(4)和式(5)获得任意一个训练样本的差分激励ξ(x_c)和方向θ′(x_c)：

$\mathrm{\&xi;}\left(x_c\right)=arctan\&lsqb;\underset{i=0}{\overset{p-1}{\&Sigma;}}\left(\frac{x_i-x_c}{x_c}\right)\&rsqb;---\left(3\right)$

${\mathrm{\&theta;}}^{\&prime;}\left(x_c\right)=arctan2(v_s^{11},v_s^{10})+\mathrm{\&pi;}---\left(4\right)$

$arctan2(v_s^{11},v_s^{10})=\left\{\begin{array}{cc}\mathrm{\&theta;},& v_s^{11}>0and{v}_x^{10}>0,\\ \mathrm{\&pi;}+\mathrm{\&theta;},& v_s^{11}>0and{v}_x^{10}<0,\\ \mathrm{\&theta;}-\mathrm{\&pi;},& v_s^{11}<0and{v}_x^{10}>0,\\ \mathrm{\&theta;},& v_s^{11}<0and{v}_x^{10}>0,\end{array}\right.---\left(5\right)$

式(3)、式(4)和式(5)中，x_c表示任意一个训练样本中3×3邻域的中心像素值，x_i表示中心像素值x_c的第i个邻域的像素值，p表示邻域像素的个数；并有：

步骤2.7.2、利用式(6)将所述方向θ′(x_c)进行量化，获得T个方向Φ_t：

${\mathrm{\&Phi;}}_t=\frac{2t}{T}\mathrm{\&pi;}---\left(6\right)$

式(6)中，

步骤2.7.3、将所述任意一个训练样本的差分激励ξ(x_c)和方向θ′(x_c)联合起来构造相应训练样本的二维WLD直方图，且令横坐标表示方向，纵坐标表示差分激励；

步骤2.7.4、将所述二维WLD直方图转化为一维WLD直方图，以所述一维WLD直方图作为相应训练样本的WLD特征；从而获得所有训练样本的WLD特征；

步骤2.8、将训练集中属于第k类表情的所有训练样本所提取到的WLD特征用矩阵表示，从而获得N类表情中所有训练样本的WLD特征矩阵

$X_{WLD}^k=\left[\begin{array}{cccc}{x}_{0,0}& x_{0,1}& ....& x_{0,p-1}\\ x_{1,0}& x_{1,1}& ....& x_{1,p-1}\\ ....& ....& ....& ....\\ x_{m_k-1,0}& x_{m_k-1,1}& ....& x_{m_k-1,p-1}\end{array}\right]$

其中，p是所有训练样本所提取到的WLD特征维数；表示第k类表情中第m_k-1个训练样本的第p-1个WLD特征值；

步骤2.9、利用式(7)计算第k类表情中所有训练样本的WLD特征均值矩阵从而获得N类表情中所有训练样本的WLD特征均值矩阵

${\stackrel{\&OverBar;}{X}}_{WLD}^k=\{\frac{\underset{i=0}{\overset{m_k-1}{\&Sigma;}}{x}_{i,0}}{m_k},\frac{\underset{i=0}{\overset{m_k-1}{\&Sigma;}}{x}_{i,1}}{m_k},...,\frac{\underset{i=0}{\overset{m_k-1}{\&Sigma;}}{x}_{i,p-1}}{m_k}\}---\left(1\right)$

步骤2.10、对测试集中的任意一个待测样本提取LBP特征，记为Y_LBP＝[y₀,y₁......,y_n-1]；

步骤2.11、根据欧式距离利用式(8)计算出所述待测样本的LBP特征与训练集中属于第k类表情的所有训练样本的LBP特征均值间的相似度从而获得所述待测样本的LBP特征与N类表情中所有训练样本的LBP特征均值间的相似度集合

$\left|z_{LBP}^k\right|=\sqrt{\underset{i=0}{\overset{n-1}{\&Sigma;}}{({\stackrel{\&OverBar;}{x}}_i^k-y_i)}^2}---\left(8\right)$

式(8)中，表示第k类表情中所有训练样本LBP特征均值的第i个值，y_i表示待测样本的LBP特征中第i个值；

步骤2.12、从所述相似度集合中选取最小值，并记为min_LBP；

步骤2.13、对测试集中的任意一个待测样本提取LDTP特征，记为Y_LDTP＝[y′₀,y′₁......,y′_q-1]；

步骤2.14、根据欧式距离利用式(9)计算出所述待测样本的LDTP特征与训练集中属于第k类表情的所有训练样本的LDTP特征均值间的相似度从而获得所述待测样本的LDTP特征与N类表情中所有训练样本的LDTP特征均值间的相似度集合

$\left|z_{LDTP}^k\right|=\sqrt{\underset{i=0}{\overset{q-1}{\&Sigma;}}{({\stackrel{\&OverBar;}{x}}_i^{\&prime;k}-y_i^{\&prime;})}^2}---\left(9\right)$

式(9)中，表示第k类表情中所有训练样本的LDTP特征均值的第i个值，y′_i表示待测样本的LDTP特征中第i个值；

步骤2.15、从所述相似度集合中选取最小值，并记为min_LDTP；

步骤2.16、对测试集中的任意一个待测样本提取WLD特征，记为Y_WLD＝[y″₀,y″₁......,y″_p-1]；

步骤2.17、根据欧式距离利用式(10)计算出所述待测样本的WLD特征与训练集中属于第k类表情的所有训练样本的WLD特征均值间的相似度从而获得所述待测样本的WLD特征与N类表情中所有训练样本的WLD特征均值间的相似度集合 $\left\{\right|z_{WLD}^1|,|z_{WLD}^2|,...,|z_{WLD}^k|,...,|z_{WLD}^N\left|\right\}:$

$\left|z_{WLD}^k\right|=\sqrt{\underset{i=0}{\overset{p-1}{\&Sigma;}}{({\stackrel{\&OverBar;}{x}}_i^{\&prime;\&prime;k}-y_i^{\&prime;\&prime;})}^2}---\left(10\right)$

式(10)中，表示第k类表情中所有训练样本WLD特征均值的第i个值，y″_i表示待测样本的WLD特征的第i个值；

步骤2.18、从所述相似度集合中选取最小值，并记为min_WLD；

步骤2.19、若min_LBP所对应的表情类别，min_LDTP所对应的表情类别和min_WLD所对应的表情类别中有任意两个相同或三个值均相同时，即可得出待测样本的表情类别；如若min_LBP所对应的表情类别，min_LDTP所对应的表情类别和min_WLD所对应的表情类别均不相同时，则采用式(11)、式(12)和式(13)对最小值进行归一化处理：

$R_{LBP}=\frac{{\min }_{LBP}}{\underset{k=1}{\overset{N}{\&Sigma;}}\left|z_{LBP}^k\right|}---\left(11\right)$

$R_{WLD}=\frac{{\min }_{WLD}}{\underset{k=1}{\overset{N}{\&Sigma;}}\left|z_{WLD}^k\right|}---\left(12\right)$

$R_{LDTP}=\frac{{\min }_{LDTP}}{\underset{k=1}{\overset{N}{\&Sigma;}}\left|z_{LDTP}^k\right|}---\left(13\right)$

步骤2.20、从R_LBP，R_WLD和R_LDTP中选取出最小值，并将最小值对应的表情类别作为待测样本的表情类别；

步骤2.21、根据欧式距离计算出所述待测样本的表情类别与其相同的表情类别中所有训练样本之间的距离，并将最小距离所对应的训练样本作为所述待测样本的最近邻图像；

步骤3、对待测样本的遮挡部分进行重构：

步骤3.1、利用式(14)所示的信息熵和最大类间差法检测待测样本中的遮挡部位：

H(X)＝-∫_xp(x)logp(x)dx(14)

式(14)中，X是一个随机变量，x是变量X的取值范围中的一个值，H()为信息熵；p(x)是当变量X取值为x时的概率；

当X是离散型随机变量时：

$H\left(X\right)=-\underset{x\&Element;D\left(x\right)}{\&Sigma;}p\left(x\right)\log p\left(x\right)---\left(15\right)$

式(15)中，D(x)是随机变量X的定义域；

步骤3.2、利用所述待测样本的最近邻图像的相应部分替换所述遮挡部位，从而得到重构后的待测样本；

步骤4、提取重构后的待测样本和训练集中的训练样本的PWLD特征：

步骤4.1、把所述待测样本分为l层图像，每一层图像均由方形，大小均等且互不重叠的图像块组成，每层图像块的个数为4^l-1，l代表图像块所在的层数；

步骤4.2、选取第l层中任意一个图像块作为一个子图像，并按照步骤2.7、提取子图像的WLD特征；从而获得第l层中所有图像块的WLD特征；将第l层中所有图像块的WLD特征级联起来，即可得到第l层图像的一维WLD特征；继而获得l层图像的一维WLD特征；

步骤4.3、将l层图像的一维WLD特征进行逐层级联，即可得到待测样本的PWLD特征；

步骤4.4、重复步骤4.1-步骤4.3，从而获得所有训练样本的PWLD特征；

步骤5、使用SVM分类器对测试集中所有待测样本进行分类识别：

步骤5.1、对训练集和测试集中的所有已知类别的样本按照表情的类别设置相应的标签；

步骤5.2、将所述训练样本所提取的PWLD特征和类别标签作为参数输入SVM，通过机器学习，训练得到SVM分类器模型；

步骤5.3、将所述测试集中任意一个待测样本所提取的PWLD特征和类别标签作为参数，输入到所述SVM分类器模型中，进行分类预测，获得预测的类别。