CN106127196A - 基于动态纹理特征的人脸表情的分类与识别方法 - Google Patents

Abstract

本发明基于动态纹理特征的人脸表情的分类与识别方法，涉及图像特征或特性的抽取，是一种利用加权多尺度ASCBP‑TOP算子提取人脸表情图像序列的动态纹理特征的人脸表情分类与识别方法，步骤是：人脸表情图像预处理；根据不同尺度对人脸表情图像序列进行分块，构建多尺度空间；利用加权多尺度ASCBP‑TOP算法提取人脸表情图像序列的动态纹理特征；采用支持向量机(SVM)分类器进行人脸表情的分类与识别。本发明方法克服了现有技术方法中忽略中心像素的作用、忽略人脸表情图像纹理的粗细程度以及局部细节的运动变化信息、稳定性较差、且噪声敏感的缺陷。

Description

基于动态纹理特征的人脸表情的分类与识别方法

技术领域

本发明的技术方案涉及图像特征或特性的抽取，具体地说是基于动态纹理特征的人脸表情的分类与识别方法。

背景技术

随着人机智能交互的发展，人脸表情的分类与识别的研究越来越多的受到人们的重视，成为图像处理和模式识别领域的一个研发热点。

常见的人脸表情的分类与识别方法分为基于全局特征和基于局部特征两类。基于全局特征的方法有主成分分析(PCA)、线性判别分析(LDA)和独立成分分析(ICA)等，这类方法通过映射得到人脸表情的特征空间从而进行判别与分析，因此依赖于图像像素之间的相关性；基于局部特征的方法有尺度不变特征转换(SIFT)和局部二值模式(LBP)等，其中SIFT在平移和旋转方面具有较好的稳定性，且能够提取到丰富的特征信息，但是容易存在不稳定的极值点，生成的特征向量的维数较高。Ojala等人首次提出了局部二值模式(LBP)，由于其计算简单且有效，具有旋转不变性和灰度不变性等优点，已广泛地应用于纹理分类、目标检测和图像分析领域。

传统的LBP算子产生的特征向量维数很高，影响识别效率，同时没有考虑中心像素对周围像素的影响，在特定情况下丢失了一些局部结构信息，使得识别率降低；LBP算子运算后得到的二值数据对噪声敏感，鲁棒性差。为此，Tan和Triggs提出了局部三值模式(LTP)，与LBP算子的不同之处在于量化阈值的选取，以及量化函数由二值拓展为三值化函数，使得LTP的抗噪性能有所提高。局部五值模式(LQP)是在LTP的基础上改变量化函数，对中心像素周围的邻域点进行五值量化，更加充分地体现出像素点之间的差异，但是计算量较大。Zhao等人于2007年提出了立体局部二值模式(VLBP)和三维正交平面局部二值模式(LBP-TOP)两种动态特征提取方法，用于分析人脸表情图像序列或视频，VLBP算子将原始的LBP算子从二维空间扩展到三维空间，对三维空间中的邻域点与中心像素点进行比较；LBP-TOP算子是在人脸表情图像序列中的三个正交平面上分别提取LBP码来有效地获取人脸表情图像序列的时空特征信息。由于Gabor小波具有很好的频率和方向选择性，Almaev等人提出了LGBP-TOP算子，将LBP与Gabor滤波相结合在三个正交平面上提取人脸的动态时空纹理特征。中心化二值模式(CBP)在LBP算子的基础上加入了中心像素对周围像素的影响，通过比较中心像素点的环形邻域中的近邻点对来计算人脸表情图像的CBP码，对于没有落在像素点中心的近邻点，采用双线性插值法获得其灰度值，从而更加全面地描述人脸表情图像的纹理信息。Heikkila等人提出的中心对称局部二值模式(CS-LBP)算子引入了中心对称思想，通过比较基于中心像素对称的近邻点对的像素值对人脸表情图像进行编码。CN103971095A公开了一种基于多尺度LBP和稀疏编码的人脸表情识别方法，该方法利用多尺度LBP提取人脸的表情特征，然后采用稀疏编码对表情进行分类与识别，虽然有较好的鲁棒性，但是增加了算法的计算量。

目前的表情识别方法中CS-LBP算子运算简单，与传统的LBP相比产生的特征维数低，但是没有考虑中心像素对周围像素的影响，提取表情特征时阈值不能自动选取，对光照和姿态的变化具有较差的鲁棒性，在表情识别中所取得的效果不太令人满意。

发明内容

本发明所要解决的技术问题是：提供基于动态纹理特征的人脸表情的分类与识别方法，是一种利用加权多尺度ASCBP-TOP算子提取人脸表情图像序列的动态纹理特征的人脸表情分类与识别方法，用加权多尺度ASCBP-TOP算子提取不同尺度的人脸表情图像序列的动态纹理特征，并采用支持向量机(SVM)对人脸表情序列图像进行分类与识别，克服了现有技术方法中忽略中心像素的作用、忽略人脸表情图像纹理的粗细程度以及局部细节的运动变化信息、稳定性较差、且噪声敏感的缺陷。

ASCBP-TOP为三维正交平面自适应对称中心二值模式的英文缩写。

本发明解决该技术问题所采用的技术方案是：基于动态纹理特征的人脸表情的分类与识别方法，是一种利用加权多尺度ASCBP-TOP算子提取人脸表情图像序列的动态纹理特征的人脸表情分类与识别方法，具体步骤如下：

第一步，人脸表情图像预处理：

将已有的人脸表情数据库中的人脸表情图像由RGB空间转化到灰度空间得到灰度图像I，采用的公式(1)如下：

I＝0.299R+0.587G+0.114B (1)，

其中，I的灰度值取0到255，R、G和B分别是RGB图像的红色、绿色和蓝色分量；

然后按照人脸“三庭五眼”的特征比例对灰度空间的人脸表情图像进行裁剪，并采用双线性插值法对裁剪后的人脸表情图像进行尺寸归一化，统一大小为128×128像素；

第二步，根据不同尺度对人脸表情图像序列进行分块，构建多尺度空间：

对人脸表情序列中的人脸表情图像进行多尺度分块，设将人脸表情图像分为N个尺度，则在第m个尺度下，m分别为0，1，…，N-1，上述第一步预处理得到的人脸表情图像被划分为2^m+1×2^m+1个互不重叠的子块，对上述第一步预处理得到的人脸表情图像进行N个尺度的分块，构建多尺度空间；

第三步，利用加权多尺度ASCBP-TOP算子提取人脸表情图像序列的动态纹理特征：

经过上述第二步对不同尺度空间的人脸表情图像分块处理后，利用加权多尺度ASCBP-TOP算子提取不同尺度下每个子块的特征，并分别在XY、XT和YT平面上得到三个人脸表情图像序列的特征直方图，把它们串联起来形成一个特征向量，然后将每个尺度的所有子块的特征向量串联起来，得到该尺度空间的特征向量，人脸表情图像划分的尺度数值越大，子块数目就越多，纹理特征信息越丰富，根据提取到的纹理特征信息的丰富程度给每个尺度的特征向量分配不同的权重，将提取的特征向量按照不同的权重串接起来，得到一个完整的人脸表情图像序列的特征直方图来描述人脸表情图像序列的动态纹理特征；

第四步，采用支持向量机(SVM)分类器进行人脸表情的分类与识别：

将上述第三步提取到的人脸表情图像序列的特征直方图作为支持向量机(SVM)分类器的输入进行训练和测试，采用留一法，取实验结果的平均值作为表情识别率，从而完成人脸表情的分类与识别，具体步骤如下：

(4.1)将上述第三步提取到的人脸表情图像序列的特征直方图输入SVM分类器进行训练和测试，其中提取到的训练集的所有人脸表情图像序列的特征向量和测试集的所有人脸表情图像序列的特征向量分别构成训练集矩阵和测试集矩阵；

(4.2)将输入的训练集矩阵和测试集矩阵的特征数据映射到高维空间，利用核函数来计算映射后的高维数据，使得原来线性不可分的情况转化为线性可分的情况，计算时所采用的径向基(RBF)核函数的公式(11)如下：

k(x,x_i)＝exp[-γ||x-x_i||²] (11)，

其中x为输入的训练集矩阵和测试集矩阵中的特征元素，x_i为核函数中心，γ为核函数的宽度；

(4.3)采用留一法，交叉验证选择SVM中最佳的惩罚因子C以及核函数的宽度γ，对上述(4.1)步中得到的训练集进行训练获取支持向量机模型，利用获取的模型进行测试与预测，在Cohn-Kanade和JAFFE这两个表情数据库上实验，取实验结果的平均值作为表情识别率，从而完成人脸表情的分类与识别。

上述人脸表情识别方法，所述第三步中，根据提取到的纹理特征信息的丰富程度给每个尺度的特征向量分配不同的权重，将提取的特征向量按照不同的权重串接起来，得到一个完整的人脸表情图像序列的特征直方图来描述人脸表情图像序列的动态纹理特征，具体方法如下：

(3.1)利用加权多尺度ASCBP-TOP算子提取人脸表情图像序列子块区域的特征：

设人脸表情图像序列帧数为F帧，以人脸表情图像序列中处于中间帧的人脸表情图像作为基准，对上述第二步中得到的每个尺度中每个子块，以该子块中的每个像素点为中心，以R为半径的环形邻域中的近邻像素点构成邻域，分别在XY、XT和YT三个正交平面上利用加权多尺度ASCBP-TOP算子计算特征值，并对该子块的特征值进行直方图统计，得到XY、XT和YT三个平面的人脸表情图像序列的特征直方图向量，把这三个人脸表情图像序列的特征直方图向量串联即为该尺度下该子块的ASCBP-TOP特征向量，下面对加权多尺度ASCBP-TOP算子进行详述：

加权多尺度ASCBP-TOP算子是在中心化二值模式(CBP)算子的基础上考虑了中心像素对周围像素的影响作用，并分配给它最大的权重，其中CBP算子通过比较以g_c为中心像素点、以R为半径的环形邻域中的近邻点对来计算人脸表情图像的特征值，如下公式(2)所示：

$\begin{array}{c}CBP(P,R)=\underset{i=0}{\overset{(P/2)-1}{\&Sigma;}}s(g_i-g_{i+(P/2)})2^i+s(g_c-(g_c+\underset{p=0}{\overset{P-1}{\&Sigma;}}{g}_p)/(P+1\left)\right)2^{P/2}\\ s(\&CenterDot;)=\left\{\begin{array}{c}1,|\&CenterDot;|\&GreaterEqual;T\\ 0,|\&CenterDot;|<T\end{array}\right.\end{array}---\left(2\right),$

其中，P表示近邻像素点的个数，g_i与g_i+(P/2)为以中心像素g_c对称的近邻像素点对，s(·)是符号函数，T为阈值；加权多尺度ASCBP-TOP算子在与中心像素进行比较时，根据傅里叶算子奇和偶分解的思想，将邻域点分成两部分，使得中心像素点g_c分别与奇数位置对应的所有像素点和的均值以及偶数位置对应的所有像素点和的均值进行比较，ASCBP的奇算子ASCBP_o和偶算子ASCBP_e的计算过程如下公式(3)所示：

$\begin{array}{c}{\mathrm{ASCBP}}_o\left(g_c\right)=\underset{i=0}{\overset{(P/2)-1}{\&Sigma;}}s(g_i-g_{i+(P/2)})2^i+s(g_c-(\underset{i=0}{\overset{(P/2)-1}{\&Sigma;}}{g}_{2i+1})/(P/2\left)\right)2^{P/2}\\ {\mathrm{ASCBP}}_e\left(g_c\right)=\underset{i=0}{\overset{(P/2)-1}{\&Sigma;}}s(g_i-g_{i+(P/2)})2^i+s(g_c-(\underset{i=0}{\overset{(P/2)-1}{\&Sigma;}}{g}_{2i})/(P/2\left)\right)2^{P/2}\\ s(\&CenterDot;)=\left\{\begin{array}{c}1,|\&CenterDot;|\&GreaterEqual;T\\ 0,|\&CenterDot;|<T\end{array}\right.\end{array}---\left(3\right),$

其中符号函数s(·)中的阈值T是根据周围像素情况自适应选取，阈值T的选取方法为计算邻域内所有以中心像素对称的近邻点对差值的均值，如下公式(4)所示：

$T=\&lsqb;\underset{i=0}{\overset{(P/2)-1}{\&Sigma;}}\left|(g_i-g_{i+(P/2)})\right|\&rsqb;/(P/2)---\left(4\right),$

在XY、XT和YT三个正交平面上采用下式(5)对上述第二步中选取的第m个尺度下的人脸表情图像序列中任一子块区域b内所有像素点利用ASCBP_o(m,b,j)和ASCBP_e(m,b,j)算子进行特征统计：

$\begin{array}{c}{H}_{{\mathrm{ASCBP}}_{o(m,b,j)}}=\&lsqb;\underset{g_c\&Element;j}{\&Sigma;}E\left({\mathrm{ASCBP}}_{o(m,b,j)}\right(g_c)=i),i=0,1,\mathrm{...},L_{j-1}\&rsqb;\\ H_{{\mathrm{ASCBP}}_{e(m,b,j)}}=\&lsqb;\underset{g_c\&Element;j}{\&Sigma;}E\left({\mathrm{ASCBP}}_{e(m,b,j)}\right(g_c)=i),i=0,1,\mathrm{...},K_{j-1}\&rsqb;\end{array}---\left(5\right),$

其中上述式(5)中，j＝0,1,2分别代表XY、XT、YT平面，像素点g_c取所处平面的所有中心像素点，E(·)表示灰度直方图的统计函数，i为第i个灰度级，L_j、K_j分别为ASCBP_o和ASCBP_e算子在第j个平面产生的灰度级数目，E(·)表示灰度直方图的统计函数，且

$E\left(a\right)=\left\{\begin{array}{c}1,a=True\\ 0,a=False\end{array}\right.---\left(6\right),$

将每个平面上子块区域b的人脸表情图像序列的特征直方图向量和串联起来分别得到子块区域b在这三个正交平面的人脸表情图像序列的特征直方图：

$\begin{array}{c}{H}_{{\mathrm{ASCBP}}_{(m,b,XY)}}=\&lsqb;H_{{\mathrm{ASCBP}}_{o(m,b,XY)}},H_{{\mathrm{ASCBP}}_{e(m,b,XY)}}\&rsqb;\\ H_{{\mathrm{ASCBP}}_{(m,b,XT)}}=\&lsqb;H_{{\mathrm{ASCBP}}_{o(m,b,XT)}},H_{{\mathrm{ASCBP}}_{e(m,b,XT)}}\&rsqb;\\ H_{{\mathrm{ASCBP}}_{(m,b,YT)}}=\&lsqb;H_{{\mathrm{ASCBP}}_{o(m,b,YT)}},H_{{\mathrm{ASCBP}}_{e(m,b,YT)}}\&rsqb;\end{array}---\left(7\right),$

把上式(7)中串联起来即为第m个尺度下子块区域b的人脸表情图像序列的ASCBP-TOP特征直方图：

$H_{ASCBP-{\mathrm{TOP}}_{(m,b)}}=\&lsqb;H_{{\mathrm{ASCBP}}_{(m,b,XY)}},H_{{\mathrm{ASCBP}}_{(m,b,XT)}},H_{{\mathrm{ASCBP}}_{(m,b,YT)}}\&rsqb;---\left(8\right);$

(3.2)提取人脸表情图像序列的加权多尺度ASCBP-TOP特征：

在第m个尺度下将人脸表情图像划分成2^m+1×2^m+1个子块区域，根据上述(3.1)步对每个子块区域提取人脸表情图像序列的特征直方图，然后将所有子块的人脸表情图像序列的特征直方图串联起来得到该尺度m下的人脸表情图像序列的特征直方图

$H_{ASCBP-{\mathrm{TOP}}_{\left(m\right)}}=\&lsqb;H_{ASCBP-{\mathrm{TOP}}_{(m,1)}},H_{ASCBP-{\mathrm{TOP}}_{(m,2)}},...,H_{ASCBP-{\mathrm{TOP}}_{(m,2^{m+1}\&times;2^{m+1})}}\&rsqb;---\left(9\right),$

同时给每个尺度下的人脸表情图像序列的特征直方图分配不同的权值，第m个尺度下的权值w_m的大小为2^-(N-1-m)，权值分配原则是大尺度子块的人脸表情图像序列的特征直方图赋予小的权值，小尺度子块的人脸表情图像序列的特征直方图赋予大的权重，从而提取人脸表情图像序列的加权多尺度ASCBP-TOP特征：

$H_{ASCBP-TOP}=\&lsqb;w_0*H_{ASCBP-{\mathrm{TOP}}_{\left(0\right)}},w_1*H_{ASCBP-{\mathrm{TOP}}_{\left(1\right)}},...,w_{N-1}*H_{ASCBP-{\mathrm{TOP}}_{(N-1)}}\&rsqb;---\left(10\right).$

上述人脸表情识别方法，所述CBP算法和SVM分类器都是公知的。

本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：

(1)人脸表情识别系统主要包括：人脸检测与图像预处理、人脸表情特征提取和人脸表情分类，其中，人脸表情的变化过程中包含重要的动态纹理信息，准确提取动态纹理特征对人脸表情的识别至关重要。

本发明方法根据不同尺度对人脸表情图像序列进行分块，构建多尺度空间，突出人脸表情图像局部区域所包含的细节纹理信息，并根据提取到的纹理特征信息的丰富程度给每个尺度空间的特征向量分配不同的权重，来体现出不同区域纹理特征的独特性，更全面地描述人脸表情序列的动态纹理特征。

(2)本发明方法所采用的ASCBP-TOP方法不仅考虑了中心像素对周围像素的影响，并分配给它最大的权重，同时将邻域内所有以中心像素对称的近邻点对差值的均值设为阈值，根据周围像素情况来自适应选取阈值的大小，加入时间维度从二维空间扩展到三维空间来获取人脸表情图像序列的动态时空特征信息，提高了人脸表情识别率。

(3)本发明方法能够有效地描述人脸表情的动态纹理信息，自适应阈值的选取克服了固定阈值引起的容易忽略中心像素和周围像素的对比度以及纹理的粗细程度的缺点，对光照、姿态等变化具有更强的鲁棒性，提高了抗噪能力。

下面的实施例对本发明的突出的实质性特点和显著进步作了进一步证明。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为本发明基于ASCBP-TOP的人脸表情识别方法的流程示意图。

图2(a)为本发明方法中ASCBP算子计算特征值的示意图。

图2(b)为本发明方法中提取人脸表情图像的ASCBP特征的示意图。

图2(c)为本发明方法中人脸表情图像序列的ASCBP-TOP特征生成过程的示意图。

图3为本发明方法中提取人脸表情图像序列的加权多尺度ASCBP-TOP特征过程的示意图。

具体实施方式

图1所示实施例表明，本发明基于ASCBP-TOP的人脸表情识别方法的流程是：人脸表情图像预处理→根据不同尺度对人脸表情图像序列进行分块，构建多尺度空间→利用加权多尺度ASCBP-TOP算法提取人脸表情图像序列的动态纹理特征→采用支持向量机(SVM)分类器进行人脸表情的分类与识别。

图2(a)所示实施例显示了ASCBP算子计算特征值时根据傅里叶算子奇、偶分解的思想，将邻域点分成两部分，得到奇算子ASCBP_o和偶算子ASCBP_e，ASCBP_o在比较近邻点对的像素之间差值的同时，加入中心像素与奇数位置对应的所有像素点和的均值的比较来计算特征值，ASCBP_e在比较近邻点对的像素之间差值的同时，加入中心像素与偶数位置对应的所有像素点和的均值进行比较来计算特征值，两个特征值结合起来得到人脸表情图像的特征值。

图2(b)所示实施例显示了ASCBP算子的计算过程中得到两个人脸表情图像的特征直方图向量和把它们串联起来从而提取人脸表情图像的ASCBP特征。

图2(c)所示实施例显示了人脸表情图像序列的ASCBP-TOP特征直方图生成过程是:对人脸表情图像序列提取X、Y、T三个方向的人脸表情图像序列的特征直方图，X和Y为水平和垂直维度，T为时间维度，分别在XY、XT和YT平面上提取人脸表情图像序列的特征直方图，三个人脸表情图像序列的特征直方图串联起来形成人脸表情图像序列的ASCBP-TOP特征。

图3所示实施例表明，本发明方法中提取人脸表情图像序列的加权多尺度ASCBP-TOP特征过程是：对不同尺度空间的人脸表情序列中的图像分块处理后，利用ASCBP-TOP算子提取不同尺度下每个子块的人脸表情图像序列的特征直方图，然后将每个尺度的所有子块的人脸表情图像序列的特征直方图串联起来，得到该尺度空间的人脸表情图像序列的特征直方图，最后将每个尺度的人脸表情图像序列的特征直方图按照不同的权重分配串联起来从而提取人脸表情图像序列的加权多尺度ASCBP-TOP特征。

实施例

本实施例的基于动态纹理特征的人脸表情的分类与识别方法，是一种利用加权多尺度ASCBP-TOP算子提取人脸表情图像序列的动态纹理特征的人脸表情分类与识别方法，具体步骤如下：

第一步，人脸表情图像预处理：

将已有的人脸表情数据库中的人脸表情图像由RGB空间转化到灰度空间得到灰度图像I，采用的公式(1)如下：

I＝0.299R+0.587G+0.114B (1)，

其中，I的灰度值取0到255，R、G和B分别是RGB图像的红色、绿色和蓝色分量；

然后按照人脸“三庭五眼”的特征比例对灰度空间的人脸表情图像进行裁剪，并采用双线性插值法对裁剪后的人脸表情图像进行尺寸归一化，统一大小为128×128像素；

第二步，根据不同尺度对人脸表情图像序列进行分块，构建多尺度空间：

对人脸表情序列中的人脸表情图像进行多尺度分块，设将人脸表情图像分为N个尺度，则在第m个尺度下，m分别为0，1，…,N-1,上述第一步预处理得到的人脸表情图像被划分为2^m+1×2^m+1个互不重叠的子块，对上述第一步预处理得到的人脸表情图像进行N个尺度的分块，构建多尺度空间；图像的多尺度分块数目对识别性能有一定的影响：如果子块过大，极端情况为未分块时的原图像大小，此时无法充分地体现出图像局部区域所包含的细节纹理信息；如果子块过小，极端情况为图像的像素级，此时陷于过小的局部细节，忽略了眼睛、鼻子、嘴巴等部位的特征，同时增加了计算复杂度，图像噪声对特征提取的干扰也较大，因此要想获得有效的图像纹理特征，必须对不同尺度的图像进行合理的分块，从而构建最佳的多尺度空间，不同尺度空间的子块数目越多所包含的图像纹理信息越丰富，本实施例中将人脸表情图像分为N＝4个尺度，则在第m个尺度下，m分别为0,1,2,3；

第三步，利用加权多尺度ASCBP-TOP算子提取人脸表情图像序列的动态纹理特征：

经过上述第二步对不同尺度空间的人脸表情图像分块处理后，利用加权多尺度ASCBP-TOP算子提取不同尺度下每个子块的特征，并分别在XY、XT和YT平面上得到三个人脸表情图像序列的特征直方图，把它们串联起来形成一个特征向量，然后将每个尺度的所有子块的特征向量串联起来，得到该尺度空间的特征向量，人脸表情图像划分的尺度数值越大，子块数目就越多，纹理特征信息越丰富，根据提取到的纹理特征信息的丰富程度给每个尺度的特征向量分配不同的权重，将提取的特征向量按照不同的权重串接起来，得到一个完整的人脸表情图像序列的特征直方图来描述人脸表情图像序列的动态纹理特征，具体方法如下：

(3.1)利用加权多尺度ASCBP-TOP算子提取人脸表情图像序列子块区域的特征：

设人脸表情图像序列帧数为F帧，以人脸表情图像序列中处于中间帧的人脸表情图像作为基准，对上述第二步中得到的每个尺度中每个子块，以该子块中的每个像素点为中心，八个相邻像素点构成邻域，分别在XY、XT和YT三个正交平面上利用加权多尺度ASCBP-TOP算子计算特征值，并对该子块的特征值进行直方图统计，得到XY、XT和YT三个平面的人脸表情图像序列的特征直方图向量，把这三个人脸表情图像序列的特征直方图向量串联即为该尺度下该子块的ASCBP-TOP特征向量，下面对加权多尺度ASCBP-TOP算子进行详述：

加权多尺度ASCBP-TOP算子是在中心化二值模式(CBP)算子的基础上考虑了中心像素对周围像素的影响作用，并分配给它最大的权重，其中CBP算子通过比较以g_c为中心像素点、以R为半径的环形邻域中的近邻点对来计算人脸表情图像的特征值，如下公式(2)所示：

$\begin{array}{c}CBP(P,R)=\underset{i=0}{\overset{(P/2)-1}{\&Sigma;}}s(g_i-g_{i+(P/2)})2^i+s(g_c-(g_c+\underset{p=0}{\overset{P-1}{\&Sigma;}}{g}_p)/(P+1\left)\right)2^{P/2}\\ s(\&CenterDot;)=\left\{\begin{array}{c}1,|\&CenterDot;|\&GreaterEqual;T\\ 0,|\&CenterDot;|<T\end{array}\right.\end{array}---\left(2\right),$

其中，P表示邻域像素点的个数，g_i与g_i+(P/2)为以中心像素g_c对称的近邻像素点，s(·)是符号函数，T为阈值；加权多尺度ASCBP-TOP算子在与中心像素进行比较时，根据傅里叶算子奇和偶分解的思想，将邻域点分成两部分，使得中心像素点g_c分别与奇数位置对应的所有像素点和的均值以及偶数位置对应的所有像素点和的均值进行比较，ASCBP的奇算子ASCBP_o和偶算子ASCBP_e的计算过程如下公式(3)所示：

$\begin{array}{c}{\mathrm{ASCBP}}_o(P,R)=\underset{i=0}{\overset{(P/2)-1}{\&Sigma;}}s(g_i-g_{i+(P/2)})2^i+s(g_c-(\underset{i=0}{\overset{(P/2)-1}{\&Sigma;}}{g}_{2i+1})/(P/2\left)\right)2^{P/2}\\ {\mathrm{ASCBP}}_e(P,R)=\underset{i=0}{\overset{(P/2)-1}{\&Sigma;}}s(g_i-g_{i+(P/2)})2^i+s(g_c-(\underset{i=0}{\overset{(P/2)-1}{\&Sigma;}}{g}_{2i})/(P/2\left)\right)2^{P/2}\\ s(\&CenterDot;)=\left\{\begin{array}{c}1,|\&CenterDot;|\&GreaterEqual;T\\ 0,|\&CenterDot;|<T\end{array}\right.\end{array}---\left(3\right),$

其中符号函数s(·)中的阈值T是根据周围像素情况自适应选取，阈值T的选取方法为计算邻域内所有以中心像素对称的近邻点对差值的均值，如下公式(4)所示：

$T=\&lsqb;\underset{i=0}{\overset{(P/2)-1}{\&Sigma;}}\left|(g_i-g_{i+(P/2)})\right|\&rsqb;/(P/2)---\left(4\right),$

在XY、XT和YT三个正交平面上采用下式(5)对上述第二步中选取的第m个尺度下的人脸表情图像序列中任一子块区域b内所有像素点利用ASCBP_o(m,b,j)和ASCBP_e(m,b,j)算子进行特征统计：

$\begin{array}{c}{H}_{{\mathrm{ASCBP}}_{o(m,b,j)}}=\&lsqb;\underset{g_c\&Element;j}{\&Sigma;}E\left({\mathrm{ASCBP}}_{o(m,b,j)}\right(g_c)=i),i=0,1,\mathrm{...},L_{j-1}\&rsqb;\\ H_{{\mathrm{ASCBP}}_{e(m,b,j)}}=\&lsqb;\underset{g_c\&Element;j}{\&Sigma;}E\left({\mathrm{ASCBP}}_{e(m,b,j)}\right(g_c)=i),i=0,1,\mathrm{...},K_{j-1}\&rsqb;\end{array}---\left(5\right),$

其中上述式(5)中j＝0,1,2分别代表XY、XT、YT平面，像素点g_c取所处平面的所有中心像素点，i为第i个灰度级，L_j、K_j分别为ASCBP_o和ASCBP_e算子在第j个平面产生的灰度级数目，E(·)表示灰度直方图的统计函数，且

$E\left(a\right)=\left\{\begin{array}{c}1,a=True\\ 0,a=False\end{array}\right.---\left(6\right),$

将每个平面子块区域b的两个人脸表情图像序列的特征直方图向量和串联起来分别得到子块区域b在这三个正交平面的人脸表情图像序列的特征直方图：

$\begin{array}{c}{H}_{{\mathrm{ASCBP}}_{(m,b,XY)}}=\&lsqb;H_{{\mathrm{ASCBP}}_{o(m,b,XY)}},H_{{\mathrm{ASCBP}}_{e(m,b,XY)}}\&rsqb;\\ H_{{\mathrm{ASCBP}}_{(m,b,XT)}}=\&lsqb;H_{{\mathrm{ASCBP}}_{o(m,b,XT)}},H_{{\mathrm{ASCBP}}_{e(m,b,XT)}}\&rsqb;\\ H_{{\mathrm{ASCBP}}_{(m,b,YT)}}=\&lsqb;H_{{\mathrm{ASCBP}}_{o(m,b,YT)}},H_{{\mathrm{ASCBP}}_{e(m,b,YT)}}\&rsqb;\end{array}---\left(7\right),$

把上式(7)中串联起来即为第m个尺度下子块区域b的人脸表情图像序列的ASCBP-TOP特征直方图：

$H_{ASCBP-{\mathrm{TOP}}_{(m,b)}}=\&lsqb;H_{{\mathrm{ASCBP}}_{(m,b,XY)}},H_{{\mathrm{ASCBP}}_{(m,b,XT)}},H_{{\mathrm{ASCBP}}_{(m,b,YT)}}\&rsqb;---\left(8\right);$

(3.2)提取人脸表情图像序列的加权多尺度ASCBP-TOP特征：

在第m个尺度下将人脸表情图像划分成2^m+1×2^m+1个子块区域，根据上述(3.1)步对每个子块区域提取人脸表情图像序列的特征直方图，然后将所有人脸表情图像序列的特征直方图串联起来得到该尺度下的人脸表情图像序列的特征直方图：

$H_{ASCBP-{\mathrm{TOP}}_{\left(m\right)}}=\&lsqb;H_{ASCBP-{\mathrm{TOP}}_{(m,1)}},H_{ASCBP-{\mathrm{TOP}}_{(m,2)}},...,H_{ASCBP-{\mathrm{TOP}}_{(m,2^{m+1}\&times;2^{m+1})}}\&rsqb;---\left(9\right),$

同时给每个尺度下的人脸表情图像序列的特征直方图分配不同的权值，在上述第二步中选取的第m个尺度下的权值w_m的大小为2^-(N-1-m)，权值分配原则是大尺度子块的人脸表情图像序列的特征直方图赋予小的权值，小尺度子块的人脸表情图像序列的特征直方图赋予大的权重，从而提取人脸表情图像序列的加权多尺度ASCBP-TOP特征：

$H_{ASCBP-TOP}=\&lsqb;w_0*H_{ASCBP-{\mathrm{TOP}}_{\left(0\right)}},w_1*H_{ASCBP-{\mathrm{TOP}}_{\left(1\right)}},...,w_{N-1}*H_{ASCBP-{\mathrm{TOP}}_{(N-1)}}\&rsqb;---\left(10\right);$

第四步，采用支持向量机(SVM)分类器进行人脸表情的分类与识别：

将上述第三步提取到的人脸表情图像序列的特征直方图作为支持向量机(SVM)分类器的输入进行训练和测试，采用留一法，取实验结果的平均值作为表情识别率，从而完成人脸表情的分类与识别，具体步骤如下：

(4.1)将上述第三步提取到的人脸表情图像序列的特征直方图输入SVM分类器进行训练和测试，其中提取到的训练集的所有人脸表情图像序列的特征向量和测试集的所有人脸表情图像序列的特征向量分别构成训练集矩阵和测试集矩阵；

(4.2)将输入的训练集矩阵和测试集矩阵的特征数据映射到高维空间，利用核函数来计算映射后的高维数据，使得原来线性不可分的情况转化为线性可分的情况，计算时所采用的径向基(RBF)核函数的公式(11)如下：

k(x,x_i)＝exp[-γ||x-x_i||²] (11)，

其中x为输入的训练集矩阵和测试集矩阵中的特征元素，x_i为核函数中心，γ为核函数的宽度；

(4.3)采用留一法，交叉验证选择SVM中最佳的惩罚因子C以及核函数的宽度γ，对上述(4.1)步中得到的训练集进行训练获取支持向量机模型，利用获取的模型进行测试与预测，在Cohn-Kanade和JAFFE这两个表情数据库上实验，取实验结果的平均值作为表情识别率，从而完成人脸表情的分类与识别。

本实施例在Cohn-Kanade和JAFFE这两个表情数据库上进行了实验。从Cohn-Kanade数据库中选取了340个人脸表情图像序列，包含生气、厌恶、害怕、高兴、难过和惊讶这六种表情，分别由45、49、56、66、58和66个表情序列组成，随机选取246个序列作为训练集，余下的94个序列作为测试集，每个表情序列包含10帧图像，开始帧为中性表情，结束帧为表情发生的尖端，共3400张图像；从JAFFE数据库中选取了每种表情下每位女性的一张或两张图像，共70张图像作为测试集，余下的143张图像作为训练集，包含生气、厌恶、害怕、高兴、中性、难过、惊讶这七种表情。在Windows7环境下的MATLAB R2014a的平台上进行实验。

本实施例选取LBP-TOP、CSLBP-TOP、CBP-TOP、LQP-TOP这四种提取图像序列的动态纹理特征的方法与ASCBP-TOP方法进行比较，在Cohn-Kanade数据库上对不同的算法讨论分块数目的影响。表1列出了不同分块数目的情况下各算法在Cohn-Kanade数据库上的人脸表情的识别率。表2列出了在JAFFE数据库上选取LBP、CS-LBP、CBP、LQP这四种基于静态图像的方法与ASCBP方法进行比较，实验结果给出分块数目对不同的算法识别率的影响。

表1.Cohn-Kanade数据库上不同分块数目对识别率的影响(单位％)

表2.JAFFE数据库上不同分块数目对识别率的影响(单位％)

表1和表2的数据表明，加入分块后的识别效果优于未分块时的情况，分块数目越多，子块面积就越小，此时包含的局部细节纹理信息越丰富，使得识别率越高，当分块数目为16×16时，识别率最高，但是如果子块过小，分块数目大于16×16的时候识别率降低，且运行时间增加；

人脸表情图像划分的尺度数不同，人脸表情识别率也不同，表3列出了人脸表情图像划分的尺度数对Cohn-Kanade数据库人脸表情识别率的影响，表4列出了人脸表情图像划分的尺度数对JAFFE数据库人脸表情识别率的影响。

表3.不同尺度数对Cohn-Kanade数据库人脸表情识别率的影响(单位％)

表4.不同尺度数对JAFFE数据库人脸表情识别率的影响(单位％)

表3和表4的数据表明人脸表情图像划分的尺度数为4时，识别率最高，此时选取2×2、4×4、8×8、16×16这四种分块方式，即m＝0,1,2,3。

各尺度空间被赋予的权重不同，人脸表情识别率也不同，表5列出了不同的加权多尺度情况下基于图像序列的方法在Cohn-Kanade数据库上的人脸表情的识别率，表6列出了不同的加权多尺度情况下基于静态图像的方法在JAFFE数据库上的人脸表情的识别率。表中的四个权值分别对应于2×2、4×4、8×8、16×16这四种分块方式的尺度空间被赋予的权重大小。

表5.Cohn-Kanade数据库上不同加权多尺度对识别率的影响(单位％)

表6.JAFFE数据库上不同加权多尺度对识别率的影响(单位％)

表5和表6的数据表明，当分别给2×2、4×4、8×8、16×16这四个尺度空间赋予1/8、1/4、1/2、1的权值时，识别率最好，其中加权多尺度ASCBP-TOP方法的识别率在Cohn-Kanade数据库上达到了94.68％，加权多尺度ASCBP方法的识别率在JAFFE数据库上达到了98.57％；

实验结果表明，本实施例的ASCBP-TOP算法的识别效果明显优于LBP-TOP、CSLBP-TOP、CBP-TOP、LQP-TOP这四种提取表情图像序列的动态时空纹理特征的方法；加权多尺度ASCBP-TOP方法的表情识别率更高，对光照、姿态等变化具有较强的鲁棒性，提高了抗噪能力。

上述实施例中所述CBP算法和SVM分类器都是公知的。

Claims (2)

1.基于动态纹理特征的人脸表情的分类与识别方法，其特征在于：是一种利用加权多尺度ASCBP-TOP算子提取人脸表情图像序列的动态纹理特征的人脸表情分类与识别方法，具体步骤如下：

第一步，人脸表情图像预处理：

将已有的人脸表情数据库中的人脸表情图像由RGB空间转化到灰度空间得到灰度图像I，采用的公式(1)如下：

I＝0.299R+0.587G+0.114B (1)，

其中，I的灰度值取0到255，R、G和B分别是RGB图像的红色、绿色和蓝色分量；

然后按照人脸“三庭五眼”的特征比例对灰度空间的人脸表情图像进行裁剪，并采用双线性插值法对裁剪后的人脸表情图像进行尺寸归一化，统一大小为128×128像素；

第二步，根据不同尺度对人脸表情图像序列进行分块，构建多尺度空间：

对人脸表情序列中的人脸表情图像进行多尺度分块，设将人脸表情图像分为N个尺度，则在第m个尺度下，m分别为0，1，…，N-1，上述第一步预处理得到的人脸表情图像被划分为2^m+1×2^m+1个互不重叠的子块，对上述第一步预处理得到的人脸表情图像进行N个尺度的分块，构建多尺度空间；

第三步，利用加权多尺度ASCBP-TOP算子提取人脸表情图像序列的动态纹理特征：

经过上述第二步对不同尺度空间的人脸表情图像分块处理后，利用加权多尺度ASCBP-TOP算子提取不同尺度下每个子块的特征，并分别在XY、XT和YT平面上得到三个人脸表情图像序列的特征直方图，把它们串联起来形成一个特征向量，然后将每个尺度的所有子块的特征向量串联起来，得到该尺度空间的特征向量，人脸表情图像划分的尺度数值越大，子块数目就越多，纹理特征信息越丰富，根据提取到的纹理特征信息的丰富程度给每个尺度的特征向量分配不同的权重，将提取的特征向量按照不同的权重串接起来，得到一个完整的人脸表情图像序列的特征直方图来描述人脸表情图像序列的动态纹理特征；

第四步，采用支持向量机(SVM)分类器进行人脸表情的分类与识别：

将上述第三步提取到的人脸表情图像序列的特征直方图作为支持向量机(SVM)分类器的输入进行训练和测试，采用留一法，取实验结果的平均值作为表情识别率，从而完成人脸表情的分类与识别，具体步骤如下：

(4.1)将上述第三步提取到的人脸表情图像序列的特征直方图输入SVM分类器进行训练和测试，其中提取到的训练集的所有人脸表情图像序列的特征向量和测试集的所有人脸表情图像序列的特征向量分别构成训练集矩阵和测试集矩阵；

(4.2)将输入的训练集矩阵和测试集矩阵的特征数据映射到高维空间，利用核函数来计算映射后的高维数据，使得原来线性不可分的情况转化为线性可分的情况，计算时所采用的径向基(RBF)核函数的公式(11)如下：

k(x,x_i)＝exp[-γ||x-x_i||²] (11)，

其中x为输入的训练集矩阵和测试集矩阵中的特征元素，x_i为核函数中心，γ为核函数的宽度；

(4.3)采用留一法，交叉验证选择SVM中最佳的惩罚因子C以及核函数的宽度γ，对上述(4.1)步中得到的训练集进行训练获取支持向量机模型，利用获取的模型进行测试与预测，在Cohn-Kanade和JAFFE这两个表情数据库上实验，取实验结果的平均值作为表情识别率，从而完成人脸表情的分类与识别。

2.根据权利要求1所述人脸表情识别方法，其特征在于：所述第三步中，根据提取到的纹理特征信息的丰富程度给每个尺度的特征向量分配不同的权重，将提取的特征向量按照不同的权重串接起来，得到一个完整的人脸表情图像序列的特征直方图来描述人脸表情图像序列的动态纹理特征，具体方法如下：

(3.1)利用加权多尺度ASCBP-TOP算子提取人脸表情图像序列子块区域的特征：

设人脸表情图像序列帧数为F帧，以人脸表情图像序列中处于中间帧的人脸表情图像作为基准，对上述第二步中得到的每个尺度中每个子块，以该子块中的每个像素点为中心，以R为半径的环形邻域中的近邻像素点构成邻域，分别在XY、XT和YT三个正交平面上利用加权多尺度ASCBP-TOP算子计算特征值，并对该子块的特征值进行直方图统计，得到XY、XT和YT三个平面的人脸表情图像序列的特征直方图向量，把这三个人脸表情图像序列的特征直方图向量串联即为该尺度下该子块的ASCBP-TOP特征向量，下面对加权多尺度ASCBP-TOP算子进行详述：

加权多尺度ASCBP-TOP算子是在中心化二值模式(CBP)算子的基础上考虑了中心像素对周围像素的影响作用，并分配给它最大的权重，其中CBP算子通过比较以g_c为中心像素点、以R为半径的环形邻域中的近邻点对来计算人脸表情图像的特征值，如下公式(2)所示：

$\begin{array}{c}CBP(P,R)=\underset{i=0}{\overset{(P/2)-1}{\&Sigma;}}s(g_i-g_{i+(P/2)})2^i+s(g_c-(g_c+\underset{p=0}{\overset{P-1}{\&Sigma;}}{g}_p)/(P+1\left)\right)2^{P/2}\\ s(\&CenterDot;)=\left\{\begin{array}{c}1,|\&CenterDot;|\&GreaterEqual;T\\ 0,|\&CenterDot;|<T\end{array}\right.\end{array}---\left(2\right),$

其中，P表示近邻像素点的个数，g_i与g_i+(P/2)为以中心像素g_c对称的近邻像素点对，s(·)是符号函数，T为阈值；加权多尺度ASCBP-TOP算子在与中心像素进行比较时，根据傅里叶算子奇和偶分解的思想，将邻域点分成两部分，使得中心像素点g_c分别与奇数位置对应的所有像素点和的均值以及偶数位置对应的所有像素点和的均值进行比较，ASCBP的奇算子ASCBPo和偶算子ASCBP_e的计算过程如下公式(3)所示：

${\mathrm{ASCBP}}_o\left(g_c\right)=\underset{i=0}{\overset{(P/2)-1}{\&Sigma;}}s(g_i-g_{i+(P/2)})2^i+s(g_c-(\underset{i=0}{\overset{(P/2)-1}{\&Sigma;}}{g}_{2i+1})/(P/2\left)\right)2^{P/2}$

${\mathrm{ASCBP}}_e\left(g_c\right)=\underset{i=0}{\overset{(P/2)-1}{\&Sigma;}}s(g_i-g_{i+(P/2)})2^i+s(g_c-(\underset{i=0}{\overset{(P/2)-1}{\&Sigma;}}{g}_{2i})/(P/2\left)\right)2^{P/2}---\left(3\right),$

$s(\&CenterDot;)=\left\{\begin{array}{c}1,|\&CenterDot;|\&GreaterEqual;T\\ 0,|\&CenterDot;|<T\end{array}\right.$

其中符号函数s(·)中的阈值T是根据周围像素情况自适应选取，阈值T的选取方法为计算邻域内所有以中心像素对称的近邻点对差值的均值，如下公式(4)所示：

$T=\&lsqb;\underset{i=0}{\overset{(P/2)-1}{\&Sigma;}}\left|(g_i-g_{i+(P/2)})\right|\&rsqb;/(P/2)---\left(4\right),$

在XY、XT和YT三个正交平面上采用下式(5)对上述第二步中选取的第m个尺度下的人脸表情图像序列中任一子块区域b内所有像素点利用ASCBP_o(m,b,j)和ASCBP_e(m,b,j)算子进行特征统计：

$\begin{array}{c}{H}_{{\mathrm{ASCBP}}_{o(m,b,j)}}=\&lsqb;\underset{g_c\&Element;j}{\&Sigma;}E\left({\mathrm{ASCBP}}_{o(m,b,j)}\right(g_c)=i),i=0,1,\mathrm{...},L_{j-1}\&rsqb;\\ H_{{\mathrm{ASCBP}}_{e(m,b,j)}}=\&lsqb;\underset{g_c\&Element;j}{\&Sigma;}E\left({\mathrm{ASCBP}}_{e(m,b,j)}\right(g_c)=i),i=0,1,\mathrm{...},K_{j-1}\&rsqb;\end{array}---\left(5\right),$

其中上述式(5)中，j＝0,1,2分别代表XY、XT、YT平面，像素点g_c取所处平面的所有中心像素点，E(·)表示灰度直方图的统计函数，i为第i个灰度级，L_j、K_j分别为ASCBP_o和ASCBP_e算子在第j个平面产生的灰度级数目，E(·)表示灰度直方图的统计函数，且

$E\left(a\right)=\left\{\begin{array}{c}1,a=True\\ 0,a=False\end{array}\right.---\left(6\right),$

将每个平面上子块区域b的人脸表情图像序列的特征直方图向量和串联起来分别得到子块区域b在这三个正交平面的人脸表情图像序列的特征直方图：

$H_{{\mathrm{ASCBP}}_{(m,b,XY)}}=\&lsqb;H_{{\mathrm{ASCBP}}_{o(m,b,XY)}},H_{{\mathrm{ASCBP}}_{e(m,b,XY)}}\&rsqb;$

$H_{{\mathrm{ASCBP}}_{(m,b,XT)}}=\&lsqb;H_{{\mathrm{ASCBP}}_{o(m,b,XT)}},H_{{\mathrm{ASCBP}}_{e(m,b,XT)}}\&rsqb;---\left(7\right),$

$H_{{\mathrm{ASCBP}}_{(m,b,YT)}}=\&lsqb;H_{{\mathrm{ASCBP}}_{o(m,b,YT)}},H_{{\mathrm{ASCBP}}_{e(m,b,YT)}}\&rsqb;$

把上式(7)中串联起来即为第m个尺度下子块区域b的人脸表情图像序列的ASCBP-TOP特征直方图：

$H_{ASCBP-{\mathrm{TOP}}_{(m,b)}}=\&lsqb;H_{{\mathrm{ASCBP}}_{(m,b,XT)}},H_{{\mathrm{ASCBP}}_{(m,b,XT)}},H_{{\mathrm{ASCBP}}_{(m,b,YT)}}\&rsqb;---\left(8\right);$

(3.2)提取人脸表情图像序列的加权多尺度ASCBP-TOP特征：

在第m个尺度下将人脸表情图像划分成2^m+1×2^m+1个子块区域，根据上述(3.1)步对每个子块区域提取人脸表情图像序列的特征直方图，然后将所有子块的人脸表情图像序列的特征直方图串联起来得到该尺度m下的人脸表情图像序列的特征直方图

$H_{ASCBP-{\mathrm{TOP}}_{\left(m\right)}}=\&lsqb;H_{ASCBP-{\mathrm{TOP}}_{(m,1)}},H_{ASCBP-{\mathrm{TOP}}_{(m,2)}},\mathrm{...},H_{ASCBP-{\mathrm{TOP}}_{(m,2^{m+1}\&times;2^{m+1})}}\&rsqb;---\left(9\right),$

同时给每个尺度下的人脸表情图像序列的特征直方图分配不同的权值，第m个尺度下的权值w_m的大小为2^-(N-1-m)，权值分配原则是大尺度子块的人脸表情图像序列的特征直方图赋予小的权值，小尺度子块的人脸表情图像序列的特征直方图赋予大的权重，从而提取人脸表情图像序列的加权多尺度ASCBP-TOP特征：

$H_{ASCBP-TOP}=\&lsqb;w_0*H_{ASCBP-{\mathrm{TOP}}_{\left(0\right)}},w_1*H_{ASCBP-{\mathrm{TOP}}_{\left(1\right)}},\mathrm{...},w_{N-1}*H_{ASCBP-{\mathrm{TOP}}_{(N-1)}}\&rsqb;---\left(10\right).$