CN105913053A - 一种基于稀疏融合的单演多特征的人脸表情识别方法 - Google Patents

Abstract

本发明公开了一种基于单演多特征的稀疏融合的人脸表情识别方法，包括如下步骤：1、对预处理后的表情图像进行单演滤波处理，获得三个尺度上的单演幅值信息、单演方向信息、单演相位信息、横向变换信息和纵向变换信息；2、利用五种单演信息对人脸表情图像提取单演二值模式直方图特征、单演方向直方图特征和单演相位直方图特征，三种特征分别构造相应的稀疏字典；3、利用l₁正则化最小二乘法优化三个稀疏字典的权值，通过加权融合来实现人脸表情识别。本发明能充分提取人脸表情图像的纹理、形状和方向特征，提高表情识别率。

Description

一种基于稀疏融合的单演多特征的人脸表情识别方法

技术领域

本发明涉及到特征提取方法和分类判别，属于模式识别领域，具体地说是一种基于稀疏融合的单演多特征的人脸表情识别方法。

背景技术

人脸表情识别作为心理学与计算机学的交叉学科，是人工智能和人机交互领域的重要组成部分。通常人脸表情识别过程分为三个步骤：图像预处理，特征提取，表情识别。

特征提取是人脸表情识别的重要过程，典型的人脸表情特征提取方法有：局部二值模式(Local binary pattern，LBP)，Gabor小波以及基于这两者的改进算法，如融合LBP方法和Gabor小波方法的LGBP特征，它能够增强特征对光照和噪声的鲁棒性，但是Gabor小波产生的五个尺度、八个方向特征使得LGBP的特征维数十分庞大。单演二值模式(Monogenic binary pattern,MBP)结合了LBP和单演示波方法，有效地利用了单演幅值特征来表达图像的人脸纹理细节特征，不仅仅对于光照和噪声具有一定的鲁棒性，并且大大降低了时间和空间复杂度，但是其却丢失了大量单演方向和单演相位特征。

近年来，研究表明稀疏字典与人类视觉系统原理具有一定的相似性，因此稀疏表示分类器(SRC)逐渐被应用于人脸表情识别，该方法在遮挡或者噪声的影响下依然取得了良好的识别效果。但是在情况复杂的情况下，单一特征往往无法达到良好的识别效果。

发明内容

本发明为避免上述现有技术存在的不足之处，提出一种基于稀疏表示的单演多特征的人脸表情识别方法，以期利用多种特征对人脸表情图像进行充分描述，利用稀疏融合的方法进行人脸表情的分类识别，从而降低时间复杂度，提高人脸表情识别的准确率。

本发明为解决技术问题采用如下技术方案：

本发明一种基于单演多特征的稀疏融合的人脸表情识别方法的特点是按如下步骤进行：

步骤1、对已知C类表情标签的人脸数据库中的图像进行预处理；

利用Haar-like小波特征和积分图方法对所述人脸数据库中图像的人脸区域进行检测，并对检测到的人脸区域采用双向灰度积分投影法进行眼睛定位，并对定位后的人脸区域进行归一化处理和直方图均衡化处理，获得人脸表情图像；将所有图像均进行预处理，从而获得人脸表情图像集；

以所述人脸表情图像集作为样本集，选取部分样本作为训练集，剩余部分作为测试集；

步骤2、将所述样本集中任意一人脸表情图像进行均匀分块，每一子块称为相应人脸表情图像的子图像；

步骤3、利用单演滤波器获得任意一人脸表情图像的任意一子图像上的任意一像素点z在第i个尺度上的单演幅值A_i(z)，单演相位值P_i(z)，单演方向值T_i(z)，横向变换值纵向变换值i＝1,2,3；

步骤4、提取所述人脸表情图像的单演多特征；

步骤4.1、提取所述人脸表情图像的HMBP特征；

步骤4.1.1、对所述人脸表情图像任意一子图像的任意一个像素点z，利用ULBP特征提取方法提取所述像素点z的单演幅值A_i(z)的纹理信息，从而获得6位二进制数B_i(z)；

步骤4.1.2、利用式(1)的编码方式将所述像素点z的横向变换值转化为1位二进制数

$B_i^{\mathrm{\α}}\left(z\right)=\left\{\begin{array}{cc}0& h_i^{\mathrm{\α}}\left(z\right)>0\\ 1& h_i^{\mathrm{\α}}\left(z\right)\≤0\end{array}\right.---\left(1\right)$

步骤4.1.3、利用式(2)的编码方式将所述像素点z的纵向变换值转化为1位二进制数

$B_i^{\mathrm{\β}}\left(z\right)=\left\{\begin{array}{cc}0& h_i^{\mathrm{\β}}\left(z\right)>0\\ 1& h_i^{\mathrm{\β}}\left(z\right)\≤0\end{array}\right.---\left(2\right)$

步骤4.1.4、利用式(3)将提取的和B_i(z)串联起来，从而获得所述像素点z在第i个尺度上的MBP值，记为MBP_i(z)：

${\mathrm{MBP}}_i\left(z\right)=\left(B_i^{\mathrm{\α}}\right(z),B_i^{\mathrm{\β}}(z),B_i(z\left)\right)---\left(3\right)$

步骤4.1.5、将所述像素点z所在的子图像上的所有像素点均按照步骤4.1.1-步骤4.1.4进行处理，从而获得所述像素点z所在的子图像上所有像素点第i个尺度上的MBP值，并进行直方图统计，从而获得所述像素点z所在的子图像在第i个尺度上的HMBP_i特征向量；进而获得所述像素点z所在的人脸表情图像上所有子图像在第i个尺度上的HMBP_i特征向量；

步骤4.1.6、将相应人脸表情图像在第i个尺度上的HMBP_i特征向量按照由左到右、由上到下的顺序进行级联，从而获得相应人脸表情图像在第i个尺度上的HMBP_i特征向量；

步骤4.1.7、利用式(4)获得所述人脸表情图像的HMBP特征向量：

HMBP＝(HMBP₁,HMBP₂,HMBP₃) (4)

步骤4.2、提取所述人脸表情图像的HMOG特征向量；

步骤4.2.1、利用单演方向归一化方法将相应人脸表情图像的任意一子图像上所有像素点在第i个尺度上的单演方向值归一化到九个方向上；

步骤4.2.2、利用式(5)计算所述子图像在第i个尺度上的第bin个方向的MOG_i,bin值，bin∈{1,2,……，9}：

${\mathrm{MOG}}_{i,bin}=\underset{bin}{\Σ}{A}_i\left(z\right)---\left(5\right)$

步骤4.2.3、利用式(6)获得所述子图像的HMOG_i特征向量：

HMOG_i＝(MOG_i,1,MOG_i,2,…,MOG_i,9) (6)

步骤4.2.4、重复步骤4.2.1-步骤4.2.3，获得所述人脸表情图像的所有子图像在第i个尺度上的HMOG_i特征，并将所有子图像在第i个尺度上的HMOG_i特征按照由左到右、由上到下的顺序进行级联，从而获得所述人脸表情图像在第i个尺度上的HMOG_i特征；

步骤4.2.5、利用式(7)获得所述人脸表情图像的HMOG特征向量：

HMOG＝(HMOG₁,HMOG₂,HMOG₃) (7)

步骤4.3、提取所述人脸表情图像的HEMP特征向量；

步骤4.3.1、利用式(8)对所述像素点z在第i个尺度上的幅值A_i(z)进行二值化操作，获得所述像素点z的掩膜值M_i(z)：

$M_i\left(z\right)=\left\{\begin{array}{cc}0& A_i\left(z\right)\≤\mathrm{\θ}\\ 255& A_i\left(z\right)>\mathrm{\θ}\end{array}\right.---\left(8\right)$

式(8)中，θ为所设定的阈值；

步骤4.3.2、将所述像素点z的单演相位值p_i(z)与掩膜值M_i(z)进行掩膜运算，获得所述像素点z修正后的单演相位值p_i′(z)；将所述像素点z的单演幅值A_i(z)与掩膜值M_i(z)进行掩膜运算，获得所述像素点修正后的单演幅值A_i′(z)；

步骤4.3.3、将所述像素点z修正后的单演相位值p_i′(z)与修正后的单演幅值A_i′(z)作差，从而获得所述像素点z的增强的单演相位值p_i″(z)；

步骤4.3.4、将所述像素点z所在的子图像上所有像素点按照步骤4.3.1-步骤4.3.3处理，获得相应子图像上所有像素点在第i个尺度上的增强的单演相位值，并利用直方图进行统计，从而获得相应子图像在第i个尺度上的HEMP_i特征向量；

步骤4.3.5、重复步骤4.3.4，从而获得相应人脸表情图像上所有子图像在第i个尺度上的HEMP_i特征向量，并按照由左到右、由上到下的顺序进行级联，从而获得所述人脸表情图像在第i个尺度上的HEMP_i特征向量；

步骤4.3.6、利用式(9)获得所述人脸表情图像的HEMP特征向量：

HEMP＝(HEMP₁,HEMP₂,HEMP₃) (9)

步骤5、构造稀疏字典

步骤5.1、将所述训练集中所有人脸表情图像均按照步骤2-步骤4进行处理，从而获得所述训练集中所有人脸表情图像的HMBP特征向量、HMOG特征向量、HEMP特征向量；训练集中所有人脸表情图像的HMBP特征向量并联构成HMBP稀疏字典；训练集中所有人脸表情图像的HMOG特征向量并联构成HMOG稀疏字典；训练集中所有人脸表情图像的HEMP特征向量并联构成HEMP稀疏字典；

步骤6、获得三个稀疏字典的权值；

步骤6.1、获得稀疏字典的学习矩阵；

步骤6.1.1、对于所述训练集得到的稀疏字典记为G^u，其中u＝{HMBP,HMOG,HEMP}，稀疏字典G^u中包含C类表情标签，假设第j类表情标签有n_j个样本，则训练集共有N个训练样本，即j＝1,2,…,C；第j类表情标签的稀疏子字典可表示为：

$G_j^u=\[g_{j,1}^u,g_{j,2}^u,...,g_{j,k}^u,...,g_{j,n_j}^u\]---\left(10\right)$

式(10)中，表示第j类表情标签的第k个样本所对应的u特征向量；k＝1,2,…，n_j；则所述训练集的稀疏字典G^u表示为：

$G^u=\[g_{1,1}^u,...,g_{1,n_1}^u,...,g_{j,1}^u,...,g_{j,n_j}^u,...,g_{C,1}^u,...,g_{C,n_C}^u\]---\left(11\right)$

步骤6.1.2、利用式(12)将第j类表情标签的第k个样本所对应的u特征向量线性表示为:

$g_{j,k}^u=x_{1,1}^u{g}_{1,1}^u+\mathrm{...}+x_{1,n_1}^u{g}_{1,n_1}^u+\mathrm{...}+x_{j,k-1}^u{g}_{1,k-1}^u+x_{j,k+1}^u{g}_{1,k+1}^u+\mathrm{...}+x_{C,n_C}^u{g}_{C,n_C}^u---\left(12\right)$

式(12)中，为的稀疏表示系数，并且利用l₁范式求取的最优稀疏系数

步骤6.1.3、利用稀疏系数累积函数判断在稀疏字典G^u上所属的类别，并且将在稀疏字典G^u上的所属的类别的学习情况置为1，其余类别的学习情况置为0；

步骤6.1.4、将所述训练集中所有人脸表情图像的特征向量均按照步骤6.1.1和步骤6.1.2处理，从而获得所述训练集中所有人脸表情图像在稀疏字典G^u上的学习情况，从而获得稀疏字典G^u的学习矩阵 表示将第m个样本识别为第j类表情标签的学习情况；m＝1,2,…,N；

步骤6.2、利用式(13)求出稀疏字典G^u的准确率向量Acc^u：

${\mathrm{Acc}}^u={(r_{1,Class\left(1\right)}^u,...,r_{m,Class\left(m\right)}^u,...,r_{N,Class\left(N\right)}^u)}^T---\left(13\right)$

式(13)中，Class(m)表示所述训练集中第m个样本的表情标签；

步骤6.3、利用步骤4.2获得三个稀疏字典的准确率向量Acc^HMBP，Acc^HMOG和Acc^HEMP，将三个稀疏字典的准确率向量并联得到决策矩阵Acc；

步骤6.4、利用l₁正则化最小二乘法对所述决策矩阵Acc进行优化学习，获得三个稀疏字典的权值w^HMBP，w^HMOG，w^HEMP；

步骤7、利用单演多特征的稀疏融合的人脸表情识别方法进行人脸表情分类；

步骤7.1、选取所述测试集中的任意一幅人脸表情图像作为测试图像；

步骤7.2、对所述测试图像按照步骤2-步骤4进行处理，获得所述测试图像的HMBP特征向量、HMOG特征向量和HEMP特征向量；

步骤7.3、利用HMBP稀疏字典线性表示所述HMBP特征向量、利用HMOG稀疏字典线性表示所述HMOG特征向量、利用HEMP稀疏字典线性表示所述HEMP特征向量；

采用l₁范式求取所述测试图像的三种特征向量的稀疏表达系数，从而获得所述测试图像分别在HMBP，HMOG和HEMP稀疏字典上的最优稀疏系数

步骤7.4、利用式(14)计算所述测试图像在三个稀疏字典上的最终加权融合系数

$\tilde{X}=w^{HMBP}\·{\tilde{X}}^{HMBP}+w^{HMOG}\·{\tilde{X}}^{HMOG}+w^{HEMP}\·{\tilde{X}}^{HEMP}---\left(14\right)$

步骤7.5、利用稀疏系数累计函数对所述最终加权融合系数进行计算，所获得的计算结果作为所述测试图像的预测表情类别。

与已有技术相比，本发明的有益效果体现在：

1、本发明使用了一种多特征描述的人脸表情识别方法，对人脸表情图像从单演滤波的幅值、方向、相位、横向和纵向五个方面进行特征提取，获取单演信号能量，方向，结构三种性质的特征，使得人脸表情图像信息的表征更加充分。

2、本发明利用HMOG算法进行人脸表情特征提取，将幅值信息通过方向归一化累加统计，得到人脸表情图像不同方向上的形状特征，加强了形状信息对人脸表情的识别作用。

3、本发明定义了一种新的特征提取算法：HEMP特征提取方法，通过幅值能量信息对于人脸表情细节的分布刻画，加强了单演相位特征对于人脸表情的识别作用。

4、本发明采用HMOG特征，HEMP特征和HMBP特征构造稀疏字典，三种特征具有的互补性使得构建的稀疏字典更加完备。

5、本发明利用l₁正则化最小二乘法来优化学习三个稀疏字典的权值，三种稀疏表示系数加权融合，利用稀疏系数累计函数实现最终的稀疏分类，有效提高了人脸表情的识别率。

附图说明

图1为本发明的流程图；

图2为本发明的人脸检测示意图；

图3为本发明的部分人脸表情库样本；

图4为本发明的单演方向归一化示意图。

具体实施方式

本实施例中，如图1所示，一种基于单演多特征的稀疏融合的人脸表情识别方法能充分提取人脸表情图像的纹理、形状和方向特征，通过对预处理后的表情图像进行单演滤波处理，获得三个尺度上的单演幅值信息、单演方向信息、单演相位信息、横向变换信息和纵向变换信息；再利用五种单演信息对人脸表情图像提取单演二值模式直方图特征、单演方向直方图特征和单演相位直方图特征，三种特征分别构造相应的稀疏字典；最后利用正则化的最小二乘法优化三个稀疏字典的权值，通过加权融合来实现人脸表情识别；具体的说，包括如下步骤：

步骤1、对已知表情标签的人脸数据库中的图像进行预处理；

步骤1.1、利用Haar-like小波特征和积分图方法对图像中的人脸区域进行检测，并对检测到的人脸区域采用双向灰度积分投影法进行眼睛定位；

步骤1.2、检测到的人脸区域如图2所示，对人脸区域进行裁剪得到裁剪图像；

步骤1.3、对裁剪图像进行归一化处理和直方图均衡化处理，从而获得预处理后的人脸表情图像；将所有图像均进行预处理，从而获得人脸表情图像集；本实施例中，预处理后人脸表情图像的尺寸为119×119；

以人脸表情图像集作为样本集，选取部分样本作为训练集，剩余部分作为测试集；

本实施例采用JAFFE人脸表情库和Cohn-Kanade(CK)人脸表情库，部分样本如图3所示。图3中a为JAFFE库中包含的七种基本表情：生气、厌恶、恐惧、高兴、中性、悲伤、吃惊。图3中b为CK库中包含的六种基本表情：悲伤、高兴、吃惊、恐惧、生气、厌恶。

步骤2、将样本集中任意一人脸表情图像进行均匀分块，每一子块称为人脸表情图像的子图像；

步骤3、利用单演滤波器获得任意一人脸表情图像的任意一子图像上的任意一像素点z在第i个尺度上的单演幅值A_i(z)，单演相位值P_i(z)，单演方向值T_i(z)，横向变换值纵向变换值i＝1,2,3；

步骤4、提取人脸表情图像的单演多特征；

步骤4.1、提取人脸表情图像的HMBP特征；

步骤4.1.1、对人脸表情图像任意一子图像的任意一个像素点z，利用ULBP特征提取方法提取像素点z的单演幅值A_i(z)的纹理信息，从而获得六位二进制数B_i(z)；

步骤4.1.2、利用式(1)的编码方式将像素点z的横向变换值转化为一位二进制数

$B_i^{\mathrm{\α}}\left(z\right)=\left\{\begin{array}{cc}0& h_i^{\mathrm{\α}}\left(z\right)>0\\ 1& h_i^{\mathrm{\α}}\left(z\right)\≤0\end{array}\right.---\left(1\right)$

步骤4.1.3、利用式(2)的编码方式将像素点z的纵向变换值转化为一位二进制数

$B_i^{\mathrm{\β}}\left(z\right)=\left\{\begin{array}{cc}0& h_i^{\mathrm{\β}}\left(z\right)>0\\ 1& h_i^{\mathrm{\β}}\left(z\right)\≤0\end{array}\right.---\left(2\right)$

步骤4.1.4、利用式(3)将提取的和B_i(z)串联起来，从而获得像素点z在第i个尺度上的MBP值，记为MBP_i(z)：

${\mathrm{MBP}}_i\left(z\right)=\left(B_i^{\mathrm{\α}}\right(z),B_i^{\mathrm{\β}}(z),B_i(z\left)\right)---\left(3\right)$

步骤4.1.5、将像素点z所在的子图像上的所有像素点均按照步骤4.1.1-步骤4.1.4进行处理，从而获得像素点z所在的子图像上所有像素点第i个尺度上的MBP值，并进行直方图统计，从而获得像素点z所在的子图像在第i个尺度上的HMBP_i特征向量；进而获得像素点z所在的人脸表情图像上所有子图像在第i个尺度上的HMBP_i特征向量；

步骤4.1.6、将相应人脸表情图像在第i个尺度上的HMBP_i特征向量按照由左到右、由上到下的顺序进行级联，从而获得相应人脸表情图像在第i个尺度上的HMBP_i特征向量；

步骤4.1.7、利用式(4)将三个HMBP特征向量串联，从而获得人脸表情图像的HMBP特征向量：

HMBP＝(HMBP₁,HMBP₂,HMBP₃) (4)

步骤4.2、提取人脸表情图像的HMOG特征向量；

步骤4.2.1、利用单演方向归一化方法将相应人脸表情图像的任意一子图像上所有像素点在第i个尺度上的单演方向值归一化到九个方向上；

任意一个像素点z的单演方向值T_i(z)是[0,π]任意一个值，为了降低直方图统计的维数，将所有像素点的单演方向值归一化到某个方向区间上，如图4所示，本实例中将单演方向值归一化到9个区间上，每个区间间隔为20°，则单演方向值在0°～20°范围内归一化为方向1，21°～40°范围内归一化为方向2，以此类推，161°～180°归一化为方向9。

步骤4.2.2、利用式(5)计算子图像在第i个尺度上的第bin个方向的MOG_i,bin值，bin∈{1,2,……，9}：

${\mathrm{MOG}}_{i,bin}=\underset{bin}{\Σ}{A}_i\left(z\right)---\left(5\right)$

步骤4.2.3、利用式(6)获得子图像的HMOG_i特征向量：

HMOG_i＝(MOG_i,1,MOG_i,2,…,MOG_i,9) (6)

步骤4.2.4、重复步骤4.2.1-步骤4.2.3，获得人脸表情图像的所有子图像在第i个尺度上的HMOG_i特征，并将所有子图像在第i个尺度上的HMOG_i特征按照由左到右、由上到下的顺序进行级联，从而获得人脸表情图像在第i个尺度上的HMOG_i特征；

步骤4.2.5、利用式(7)获得人脸表情图像的HMOG特征向量：

HMOG＝(HMOG₁,HMOG₂,HMOG₃) (7)

步骤4.3、提取人脸表情图像的HEMP特征向量；

步骤4.3.1、利用式(8)对像素点z在第i个尺度上的幅值A_i(z)进行二值化操作，获得像素点z的掩膜值M_i(z)：

$M_i\left(z\right)=\left\{\begin{array}{cc}0& A_i\left(z\right)\≤\mathrm{\θ}\\ 255& A_i\left(z\right)>\mathrm{\θ}\end{array}\right.---\left(8\right)$

式(8)中，θ为所设定的阈值；

步骤4.3.2、将像素点z的单演相位值p_i(z)与掩膜值M_i(z)进行掩膜运算，获得像素点z修正后的单演相位值p_i′(z)；将像素点z的单演幅值A_i(z)与掩膜值M_i(z)进行掩膜运算，获得像素点修正后的单演幅值A_i′(z)；

通过掩膜运算，能够保留高能量区域，消除低能量区域。

步骤4.3.3、为了进一步突出关键部位的特征信息，将像素点z修正后的单演相位值p_i′(z)与修正后的单演幅值A_i′(z)作差，从而获得像素点z的增强的单演相位值p_i″(z)；

步骤4.3.4、将像素点z所在的子图像上所有像素点按照步骤4.3.1-步骤4.3.3处理，获得相应子图像上所有像素点在第i个尺度上的增强的单演相位值，并利用直方图进行统计，从而获得相应子图像在第i个尺度上的HEMP_i特征向量；

步骤4.3.5、重复步骤4.3.4，从而获得相应人脸表情图像上所有子图像在第i个尺度上的HEMP_i特征向量，并按照由左到右、由上到下的顺序进行级联，从而获得人脸表情图像在第i个尺度上的HEMP_i特征向量；

步骤4.3.6、利用式(9)获得人脸表情图像的HEMP特征向量：

HEMP＝(HEMP₁,HEMP₂,HEMP₃) (9)

步骤5、构造稀疏字典

步骤5.1、将训练集中所有人脸表情图像均按照步骤2-步骤4进行处理，从而获得训练集中所有人脸表情图像的HMBP特征向量、HMOG特征向量、HEMP特征向量；训练集中所有人脸表情图像的HMBP特征向量并联构成HMBP稀疏字典；训练集中所有人脸表情图像的HMOG特征向量并联构成HMOG稀疏字典；训练集中所有人脸表情图像的HEMP特征向量并联构成HEMP稀疏字典；

步骤6、获得三个稀疏字典的权值；

步骤6.1、获得稀疏字典的学习矩阵；

步骤6.1.1、对于训练集得到的稀疏字典记为G^u，其中u＝{HMBP,HMOG,HEMP}，稀疏字典G^u中包含C类表情标签(JAFFE库中C＝7，CK库中C＝6)，假设第j类表情标签有n_j个样本，则训练集共有N个训练样本，即j＝1,2,…,C；第j类表情标签的稀疏子字典可表示为：

$G_j^u=\[g_{j,1}^u,g_{j,2}^u,...,g_{j,k}^u,...,g_{j,n_j}^u\]---\left(10\right)$

式(10)中，表示第j类表情标签的第k个样本所对应的u特征向量；k＝1,2,…，n_j；则训练集的稀疏字典G^u表示为：

$G^u=\[g_{1,1}^u,...,g_{1,n_1}^u,...,g_{j,1}^u,...,g_{j,n_j}^u,...,g_{C,1}^u,...,g_{C,n_C}^u\]---\left(11\right)$

步骤6.1.2、利用式(12)将第j类表情标签的第k个样本所对应的u特征向量线性表示为:

$g_{j,k}^u=x_{1,1}^u{g}_{1,1}^u+\mathrm{...}+x_{1,n_1}^u{g}_{1,n_1}^u+\mathrm{...}+x_{j,k-1}^u{g}_{1,k-1}^u+x_{j,k+1}^u{g}_{1,k+1}^u+\mathrm{...}+x_{C,n_C}^u{g}_{C,n_C}^u---\left(12\right)$

式(12)中，为的稀疏表示系数，并且利用l₁范式求取的最优稀疏系数

步骤6.1.3、利用稀疏系数累积函数判断在稀疏字典G^u上所属的类别，并且将在稀疏字典G^u上的所属的类别的学习情况置为1，其余类别的学习情况置为0；

步骤6.1.4、将训练集中所有人脸表情图像的特征向量均按照步骤6.1.1和步骤6.1.2处理，从而获得训练集中所有人脸表情图像在稀疏字典G^u上的学习情况，从而获得稀疏字典G^u的学习矩阵 表示将第m个样本识别为第j类表情标签的学习情况；m＝1,2,…,N；例如第m个样本的HMBP特征在HMBP稀疏字典上被识别为高兴，则在悲伤、高兴、吃惊、恐惧、生气、厌恶这六类对应的学习情况依次为：0、1、0、0、0、0，则

步骤6.2、利用式(13)求出稀疏字典G^u的准确率向量Acc^u：

${\mathrm{Acc}}^u={(r_{1,Class\left(1\right)}^u,...,r_{m,Class\left(m\right)}^u,...,r_{N,Class\left(N\right)}^u)}^T---\left(13\right)$

式(13)中，Class(m)表示训练集中第m个样本的表情标签；

步骤6.3、利用步骤4.2获得三个稀疏字典的准确率向量Acc^HMBP，Acc^HMOG和Acc^HEMP，将三个稀疏字典的准确率向量并联得到决策矩阵Acc；

步骤6.4、利用l₁正则化最小二乘法对决策矩阵Acc进行优化学习，获得三个稀疏字典的权值w^HMBP，w^HMOG，w^HEMP；

步骤7、利用单演多特征的稀疏融合的人脸表情识别方法进行人脸表情分类；

步骤7.1、选取测试集中的任意一幅人脸表情图像作为测试图像；

步骤7.2、对测试图像按照步骤2-步骤4进行处理，获得测试图像的HMBP特征向量、HMOG特征向量和HEMP特征向量；

步骤7.3、利用HMBP稀疏字典线性表示HMBP特征向量、利用HMOG稀疏字典线性表示HMOG特征向量、利用HEMP稀疏字典线性表示HEMP特征向量；

采用l₁范式求取测试图像的三种特征向量的稀疏表达系数，从而获得测试图像分别在HMBP，HMOG和HEMP稀疏字典上的最优稀疏系数

步骤7.4、利用式(14)计算测试图像在三个稀疏字典上的最终加权融合系数

$\tilde{X}=w^{HMBP}\·{\tilde{X}}^{HMBP}+w^{HMOG}\·{\tilde{X}}^{HMOG}+w^{HEMP}\·{\tilde{X}}^{HEMP}---\left(14\right)$

步骤7.5、利用稀疏系数累计函数对最终加权融合系数进行计算，所获得的计算结果作为测试图像的预测表情类别；如果预测的表情类别和测试图像的标签类别一致，则识别正确；

综上所述，本发明的意义在于：1本发明提取多种单演特征表述人脸表情图像的纹理、形状和方向信息，增强特征表征的精确性；2构造三个稀疏字典通过加权融合获得表情的分类，有效提高了人脸表情的识别率。

Claims (1)

1.一种基于单演多特征的稀疏融合的人脸表情识别方法，其特征是按如下步骤进行：

步骤1、对已知C类表情标签的人脸数据库中的图像进行预处理；

利用Haar-like小波特征和积分图方法对所述人脸数据库中图像的人脸区域进行检测，并对检测到的人脸区域采用双向灰度积分投影法进行眼睛定位，并对定位后的人脸区域进行归一化处理和直方图均衡化处理，获得人脸表情图像；将所有图像均进行预处理，从而获得人脸表情图像集；

以所述人脸表情图像集作为样本集，选取部分样本作为训练集，剩余部分作为测试集；

步骤2、将所述样本集中任意一人脸表情图像进行均匀分块，每一子块称为相应人脸表情图像的子图像；

步骤3、利用单演滤波器获得任意一人脸表情图像的任意一子图像上的任意一像素点z在第i个尺度上的单演幅值A_i(z)，单演相位值P_i(z)，单演方向值T_i(z)，横向变换值纵向变换值i＝1,2,3；

步骤4、提取所述人脸表情图像的单演多特征；

步骤4.1、提取所述人脸表情图像的HMBP特征；

步骤4.1.1、对所述人脸表情图像任意一子图像的任意一个像素点z，利用ULBP特征提取方法提取所述像素点z的单演幅值A_i(z)的纹理信息，从而获得6位二进制数B_i(z)；

步骤4.1.2、利用式(1)的编码方式将所述像素点z的横向变换值转化为1位二进制数

$B_i^{\mathrm{\α}}\left(z\right)=\left\{\begin{array}{cc}0& h_i^{\mathrm{\α}}\left(z\right)>0\\ 1& h_i^{\mathrm{\α}}\left(z\right)\≤0\end{array}\right.---\left(1\right)$

步骤4.1.3、利用式(2)的编码方式将所述像素点z的纵向变换值转化为1位二进制数

$B_i^{\mathrm{\β}}\left(z\right)=\left\{\begin{array}{cc}0& h_i^{\mathrm{\β}}\left(z\right)>0\\ 1& h_i^{\mathrm{\β}}\left(z\right)\≤0\end{array}\right.---\left(2\right)$

步骤4.1.4、利用式(3)将提取的和B_i(z)串联起来，从而获得所述像素点z在第i个尺度上的MBP值，记为MBP_i(z)：

${\mathrm{MBP}}_i\left(z\right)=\left(B_i^{\mathrm{\α}}\right(z),B_i^{\mathrm{\β}}(z),B_i(z\left)\right)---\left(3\right)$

步骤4.1.5、将所述像素点z所在的子图像上的所有像素点均按照步骤4.1.1-步骤4.1.4进行处理，从而获得所述像素点z所在的子图像上所有像素点第i个尺度上的MBP值，并进行直方图统计，从而获得所述像素点z所在的子图像在第i个尺度上的HMBP_i特征向量；进而获得所述像素点z所在的人脸表情图像上所有子图像在第i个尺度上的HMBP_i特征向量；

步骤4.1.6、将相应人脸表情图像在第i个尺度上的HMBP_i特征向量按照由左到右、由上到下的顺序进行级联，从而获得相应人脸表情图像在第i个尺度上的HMBP_i特征向量；

步骤4.1.7、利用式(4)获得所述人脸表情图像的HMBP特征向量：

HMBP＝(HMBP₁,HMBP₂,HMBP₃) (4)

步骤4.2、提取所述人脸表情图像的HMOG特征向量；

步骤4.2.1、利用单演方向归一化方法将相应人脸表情图像的任意一子图像上所有像素点在第i个尺度上的单演方向值归一化到九个方向上；

步骤4.2.2、利用式(5)计算所述子图像在第i个尺度上的第bin个方向的MOG_i,bin值，bin∈{1,2,……，9}：

${\mathrm{MOG}}_{i,bin}=\underset{bin}{\mathrm{\Σ}}{A}_i\left(z\right)---\left(5\right)$

步骤4.2.3、利用式(6)获得所述子图像的HMOG_i特征向量：

HMOG_i＝(MOG_i,1,MOG_i,2,…,MOG_i,9) (6)

步骤4.2.4、重复步骤4.2.1-步骤4.2.3，获得所述人脸表情图像的所有子图像在第i个尺度上的HMOG_i特征，并将所有子图像在第i个尺度上的HMOG_i特征按照由左到右、由上到下的顺序进行级联，从而获得所述人脸表情图像在第i个尺度上的HMOG_i特征；

步骤4.2.5、利用式(7)获得所述人脸表情图像的HMOG特征向量：

HMOG＝(HMOG₁,HMOG₂,HMOG₃) (7)

步骤4.3、提取所述人脸表情图像的HEMP特征向量；

步骤4.3.1、利用式(8)对所述像素点z在第i个尺度上的幅值A_i(z)进行二值化操作，获得所述像素点z的掩膜值M_i(z)：

$M_i\left(z\right)=\left\{\begin{array}{cc}0& A_i\left(z\right)\≤\mathrm{\θ}\\ 255& A_i\left(z\right)>\mathrm{\θ}\end{array}\right.---\left(8\right)$

式(8)中，θ为所设定的阈值；

步骤4.3.2、将所述像素点z的单演相位值p_i(z)与掩膜值M_i(z)进行掩膜运算，获得所述像素点z修正后的单演相位值p_i′(z)；将所述像素点z的单演幅值A_i(z)与掩膜值M_i(z)进行掩膜运算，获得所述像素点修正后的单演幅值A_i′(z)；

步骤4.3.3、将所述像素点z修正后的单演相位值p_i′(z)与修正后的单演幅值A_i′(z)作差，从而获得所述像素点z的增强的单演相位值p_i″(z)；

步骤4.3.4、将所述像素点z所在的子图像上所有像素点按照步骤4.3.1-步骤4.3.3处理，获得相应子图像上所有像素点在第i个尺度上的增强的单演相位值，并利用直方图进行统计，从而获得相应子图像在第i个尺度上的HEMP_i特征向量；

步骤4.3.5、重复步骤4.3.4，从而获得相应人脸表情图像上所有子图像在第i个尺度上的HEMP_i特征向量，并按照由左到右、由上到下的顺序进行级联，从而获得所述人脸表情图像在第i个尺度上的HEMP_i特征向量；

步骤4.3.6、利用式(9)获得所述人脸表情图像的HEMP特征向量：

HEMP＝(HEMP₁,HEMP₂,HEMP₃) (9)

步骤5、构造稀疏字典

步骤5.1、将所述训练集中所有人脸表情图像均按照步骤2-步骤4进行处理，从而获得所述训练集中所有人脸表情图像的HMBP特征向量、HMOG特征向量、HEMP特征向量；训练集中所有人脸表情图像的HMBP特征向量并联构成HMBP稀疏字典；训练集中所有人脸表情图像的HMOG特征向量并联构成HMOG稀疏字典；训练集中所有人脸表情图像的HEMP特征向量并联构成HEMP稀疏字典；

步骤6、获得三个稀疏字典的权值；

步骤6.1、获得稀疏字典的学习矩阵；

步骤6.1.1、对于所述训练集得到的稀疏字典记为G^u，其中u＝{HMBP,HMOG,HEMP}，稀疏字典G^u中包含C类表情标签，假设第j类表情标签有n_j个样本，则训练集共有N个训练样本，即j＝1,2,…,C；第j类表情标签的稀疏子字典可表示为：

$G_j^u=\[g_{j,1}^u,g_{j,2}^u,...,g_{j,k}^u,...,g_{j,n_j}^u\]---\left(10\right)$

式(10)中，表示第j类表情标签的第k个样本所对应的u特征向量；k＝1,2,…，n_j；则所述训练集的稀疏字典G^u表示为：

$G^u=\[g_{1,1}^u,...,g_{1,n_1}^u,...,g_{j,1}^u,...,g_{j,n_j}^u,...,g_{C,1}^u,...,g_{C,n_C}^u\]---\left(11\right)$

步骤6.1.2、利用式(12)将第j类表情标签的第k个样本所对应的u特征向量线性表示为:

$g_{j,k}^u=x_{1,1}^u{g}_{1,1}^u+...+x_{1,n_1}^u{g}_{1,n_1}^u+...+x_{j,k-1}^u{g}_{1,k-1}^u+x_{j,k+1}^u{g}_{1,k+1}^u+...+x_{C,n_C}^u{g}_{C,n_C}^u---\left(12\right)$

式(12)中，为的稀疏表示系数，并且利用l₁范式求取的最优稀疏系数

步骤6.1.3、利用稀疏系数累积函数判断在稀疏字典G^u上所属的类别，并且将在稀疏字典G^u上的所属的类别的学习情况置为1，其余类别的学习情况置为0；

步骤6.1.4、将所述训练集中所有人脸表情图像的特征向量均按照步骤6.1.1和步骤6.1.2处理，从而获得所述训练集中所有人脸表情图像在稀疏字典G^u上的学习情况，从而获得稀疏字典G^u的学习矩阵 表示将第m个样本识别为第j类表情标签的学习情况；m＝1,2,…,N；

步骤6.2、利用式(13)求出稀疏字典G^u的准确率向量Acc^u：

${\mathrm{Acc}}^u={(r_{1,Class\left(1\right)}^u,...,r_{m,Class\left(m\right)}^u,...,r_{N,Class\left(N\right)}^u)}^T---\left(13\right)$

式(13)中，Class(m)表示所述训练集中第m个样本的表情标签；

步骤6.3、利用步骤4.2获得三个稀疏字典的准确率向量Acc^HMBP，Acc^HMOG和Acc^HEMP，将三个稀疏字典的准确率向量并联得到决策矩阵Acc；

步骤6.4、利用l₁正则化最小二乘法对所述决策矩阵Acc进行优化学习，获得三个稀疏字典的权值w^HMBP，w^HMOG，w^HEMP；

步骤7、利用单演多特征的稀疏融合的人脸表情识别方法进行人脸表情分类；

步骤7.1、选取所述测试集中的任意一幅人脸表情图像作为测试图像；

步骤7.2、对所述测试图像按照步骤2-步骤4进行处理，获得所述测试图像的HMBP特征向量、HMOG特征向量和HEMP特征向量；

步骤7.3、利用HMBP稀疏字典线性表示所述HMBP特征向量、利用HMOG稀疏字典线性表示所述HMOG特征向量、利用HEMP稀疏字典线性表示所述HEMP特征向量；

采用l₁范式求取所述测试图像的三种特征向量的稀疏表达系数，从而获得所述测试图像分别在HMBP，HMOG和HEMP稀疏字典上的最优稀疏系数

步骤7.4、利用式(14)计算所述测试图像在三个稀疏字典上的最终加权融合系数

$\tilde{X}=w^{HMBP}\·{\tilde{X}}^{HMBP}+w^{HMOG}\·{\tilde{X}}^{HMOG}+w^{HEMP}\·{\tilde{X}}^{HEMP}---\left(14\right)$

步骤7.5、利用稀疏系数累计函数对所述最终加权融合系数进行计算，所获得的计算结果作为所述测试图像的预测表情类别。