CN108090460B - 基于韦伯多方向描述子的人脸表情识别特征提取方法 - Google Patents

Abstract

本发明涉及一种基于韦伯多方向描述子的人脸表情识别特征提取方法，其主要技术特点是：将人脸表情图像进行Gabor小波变换,并将同一尺度各方向的Gabor特征进行融合；将Gabor特征图像分为不重叠的子块，并分别在水平、垂直、两个对角线方向上构建图结构；计算图结构在0°、45°、90°、135°方向上的特征值，取四个特征值中最大的一个作为韦伯多方向描述子的差分激励；分别计算中心像素在两个相互垂直方向上的梯度方向，并把两者中较大的梯度方向作为韦伯多方向描述子的主方向。本发明设计合理，能提取到更多有效、更具鉴别力的纹理细节特征，显著提高了人脸表情识别率，并且具有较好的识别稳定性及泛化能力，可广泛应用于人脸表情识别等图像处理领域。

Description

基于韦伯多方向描述子的人脸表情识别特征提取方法

技术领域

本发明属于图像处理领域，尤其是一种基于韦伯多方向描述子的人脸表情识别特征提取方法(WOD-GS)。

背景技术

人脸表情包含着丰富且复杂的情感信息，在人际交往和互动中扮演着重要角色。近年来，随着人工智能的发展，人脸表情识别在情感计算领域中已经成为一个研究热点。

特征提取算法在人脸表情识别系统中起着至关重要的作用。现有的人脸表情特征提取方法可以划分为四种类型：第一种方法是采用几何特征进行特征提取，测量眼睛、眉毛、嘴巴等显著性变化部位的位置、距离、形状变化及相互比例等几何特征进行表情识别，然而该方法丢失了一些重要的识别和信息，识别结果的精确性不高。第二种方法是基于整体统计特征的方法，主要包括主成分分析(PCA)、线性判别分析(LDA)、局部保持投影(LPP)等，该方法直接利用整个图像的内在属性信息，通过编码成更低维或子空间信息来计算图像间的相似性，由于忽略了大量的细节信息，外界因素的干扰导致识别率严重下降。第三种方法是基于频率域特征提取，其中Gabor小波变换是其中具有代表性的一种方法，该方法首先把图像的空间域特征转化为频率域特征，再提取相关低层次的特征，然而经过Gabor小波多尺度多方向的变换，特征矩阵维度很高，特征提取算法的时间复杂度很高，造成识别效率较低。第四种方法主要是利用光流法并通过建立光流模型来表示图像中人脸部位的结构及运动信息，然而该方法的计算量特别大，限制了它的进一步应用。

最近，韦伯局部描述子(WLD)和局部图结构(LGS)特征提取算法具有简单和高效性特点，已经成为一个研究热点。2010年，陈杰等人受到韦伯定律的启发，提出了韦伯局部描述子(WLD)，WLD用局部刺激比率大小及梯度方向两部分来描述图像纹理细节，然而，其存在的缺点是：计算差励时仅仅考虑中心像素与周围像素的对比度信息，忽视了周围像素间具有的内在关系。之后有学者分别从不同角度对WLD算法进行改进，但是这些算法仅计算水平、垂直方向的梯度信息，图像的空间结构信息没有得到充分利用。2011年，Abusham等人将图结构思想用于特征提取，在4×3的邻域内通过构建图结构(LGS)来提取图像特征，该方法的缺点是位于目标像素两边的像素点个数不同，算法不具有对称性。2014年，Mohd等人提出了对称图结构(SLGS)算法，在一定程度上弥补了原始LGS算法的不足，但是，以上图结构算法仍然缺少梯度方向信息。

综上所述，现有的人脸表情局部特征提取算法在表征人脸特征方面在识别率方面还有待提高。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于韦伯多方向描述子的人脸表情识别特征提取方法，能够在人脸表情识别的过程中，尽量准确地描述人脸特征，从而提高识别率。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于韦伯多方向描述子的人脸表情识别特征提取方法，包括以下步骤：

步骤1：将人脸表情图像进行Gabor小波变换,并将同一尺度各方向的Gabor特征进行融合；

步骤2：将一副人脸表情Gabor特征图像分为不重叠的子块，在每个子块上采用5×5的窗口，并分别在水平、垂直、两个对角线方向上构建图结构；

步骤3：分别计算图结构在0°、45°、90°、135°方向上的特征值，取四个特征值中最大的一个作为韦伯多方向描述子的差分激励；

步骤4：分别计算中心像素在两个相互垂直方向上的梯度方向，并把两者中较大的梯度方向作为韦伯多方向描述子的主方向，具体方法如下：

其中，θ的取值范围为

x_c，y_c表示邻域的中心像素，g₀-g₁₅表示中心像素周围的5×5邻域像素灰度值。

进一步，所述步骤1的具体实现方法为：将人脸表情图像经过Gabor小波变换转化为5个尺度、8个方向的Gabor特征图，将同一尺度8个方向的Gabor特征进行融合，得到不同尺度下的人脸表情融合图。

进一步，所述Gabor小波变换采用Gabor滤波器，该Gabor滤波器的核函数G(k，x，y，θ)采用如下公式计算：

其中，x，y代表中心像素点，θ代表Gabor核函数的方向，k_u，v是滤波器的中心频率，由它确定Gabor尺度因子v和方向u，σ是滤波器的带宽；

并且，采用如下公式计算MG_v(x，y)：

其中，MG_v(x，y)代表在第v个尺度上融合8个方向后的Gabor特征。

进一步，所述步骤3的实现方法为：在图结构中，对于目标像素0°方向、135°方向、90°方向以及45°方向的像素，箭头按照逆时针方向连接，如果箭头所指方向的像素灰度值大于箭头尾端像素值，则该边的权值赋值为1，反之，该边的权值赋值为0；在目标像素0°方向、90°方向、45°方向以及135°方向的像素按照顺时针方向比较，通过比较相邻像素的灰度值，在每个方向上得到一个8位的二进制序列，再把每位的二进制数乘以相应边上的权重得到该方向上最终的特征值，最后分别计算0°、45°、90°、135°方向上的特征值，取四个方向中最大特征值作为韦伯多方向描述子的差分激励。

进一步，所述计算0°、45°、90°、135°方向上的特征值采用如下公式：

WOD-GS(x_c，y_c)＝max(feature_0°，feature_45°，feature_90°，feature_135°)

其中，feature_0°表示用图结构算法在0°方向上取得的特征值，feature_45°表示用图结构算法在45°方向上取得的特征值，feature_90°表示用图结构算法在90°方向上取得的特征值，feature_135°表示用图结构算法在135°方向上取得的特征值。

本发明的优点和积极效果是：

本发明采用Gabor特征融合能够降低特征维度并加强Gabor信号幅值强度，在5×5的邻域内建立韦伯多方向描述子特征，通过构建多方向的图结构，选取最大的方向特征值作为最终的差分激励；在韦伯描述子特征方向上，新增添在对角线上的梯度方向信息，最终得到图像的特征值，从而能够提取到更多有效、更具鉴别力的纹理细节特征，在不同的人脸表情人脸数据库中，都能较好地描述人脸不同表情之间的纹理变化特征，显著提高了人脸表情识别率，并且具有较好的识别稳定性及泛化能力，可广泛应用于人脸表情识别等图像处理领域。

附图说明

图1为本发明将一幅表情图像经过Gabor变换后的特征实例图；

图2为本发明的各个尺度上的Gabor特征融合实例图；

图3为本发明在计算韦伯多方向描述子的差分激励时，在0°、90°45°、135°方向上使用的图结构实例图；

图4为本发明的演示图结构在45°方向上的计算过程实例图；

图5为本发明的在5×5邻域内构建的梯度方向示意图；

图6为本发明与LGS、SLGS、WLD、MOW-SLGS、OSLWGS在JAFFE数据库上得到的识别率结果图；

图7为本发明与LGS、SLGS、WLD、MOW-SLGS、OSLWGS在CK+数据库上得到的识别率结果图。

具体实施方式

以下结合附图对本发明实施例做进一步详述：

一种基于韦伯多方向描述子的人脸表情识别特征提取方法，包括以下步骤：

步骤1：将人脸表情图像经过Gabor小波变换转化为5个尺度、8个方向的Gabor特征图,将同一尺度8个方向的Gabor特征进行融合，得到不同尺度下的人脸表情融合图，并将各尺度下的人脸表情融合图分为不重叠的子块。

在本步骤中，Gabor小波变换采用Gabor滤波器，该Gabor滤波器的核函数G(k,x,y,θ)计算公式如下：

其中，(x，y)代表中心像素点，θ代表Gabor核函数的方向，k_u，v是滤波器的中心频率，由它确定Gabor尺度因子v和方向u，σ是滤波器的带宽。

在本实施例中，选取Gabor滤波器的参数：尺度因子v取为5，方向u取为8，利用下述公式在第v个尺度上融合8个方向后的Gabor特征：

其中，MG_v(x，y)代表在第v个尺度上融合8个方向后的Gabor特征。

通过上述计算公式，将每幅人脸表情图像变换为5个尺度Gabor特征融合图，其产生一组Gabor特征图像如图1及图2所示。

步骤2：将一副人脸表情Gabor特征整合图像分为不重叠的子块后，在每个子块上采用5×5的窗口，并分别在水平、垂直、两个对角线方向上构建图结构，如图3所示。

步骤3：计算图结构0°、45°、90°、135°方向上的特征值，取四个方向中最大特征值作为韦伯多方向描述子的差分激励WOD-GS值，其计算公式如下：

WOD-GS(x_c，y_c)＝max(feature_0°，feature_45°，feature_90°，feature_135°)

其中，x_c，y_c表示该邻域的中心像素，feature_0°表示用图结构算法在水平方向上(即0°方向)上取得的特征值，feature_45°表示用图结构算法在45°方向上取得的特征值，feature_90°表示用图结构算法在90°方向上取得的特征值，feature_135°表示用图结构算法135°方向上取得的特征值。

通过上述公式，计算得到WOD-GS算法的差分激励值。

图4给出了计算韦伯45°方向上描述子的差分激励WOD-GS值原理图：

WOD-GS(01100001)＝0×2⁷+1×2⁶+1×2⁵+0×2⁴+0×2³+0×2²+0×2¹+1×2⁰＝97。

步骤4：计算WOD-GS算法的梯度方向。

如图5所示，通过本步骤计算将得到目标像素的梯度方向，计算公式如下：

根据上述公式，最终得到5×5邻域内WOD-GS算法的差分激励值和梯度方向。

下面通过实现结果对本发明做进一步验证。

如图6所示，在JAFFE人脸表情数据库上，当训练样本数据取7、9、11、12、13、14时，本发明(WOD-GS算法)的识别率均高于LGS、SLGS、WLD、MOW-SLGS、OSLWGS算法，尤其是当训练样本数为14时，上述五种对比算法的识别率分别为91.25％、95.00％、92.29％、96.50％、97.62％，而本发明的识别率已经可以达到100％。

如图7所示，在CK+人脸表情数据库上，当每个样本每种表情的训练样本数据取1、2、3时，本发明(WOD-GS算法)的识别率均高于LBP、LGS、WLD算法，尤其是当训练样本数为2时，其他LGS、SLGS、WLD、MOW-SLGS、OSLWGS算法的识别率分别为93.50％、94.31％、90.86％、96.04％、94.67％，而本发明的识别率同样已经可以达到98.83％。

通过在两个人脸表情数据库上的比较，可以看出本发明的人脸表情识别率优于列出的其它算法，而且本发明鲁棒性强，不易受光照、姿态变化变化影响。

本发明识别结果稳定性要明显好于其他五种算法，在两种人脸表情数据库上的表现都很好。

本发明相对于LGS和WLD算法来说，克服了它们空间结构特征信息提取不充分和图像纹理变化方向描述不充分的问题，同时该算法融合Gabor小波变换达到滤波去噪及突出图像细节的目的，因此对人脸表情图像的识别率均优于其他算法。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (5)

1.一种基于韦伯多方向描述子的人脸表情识别特征提取方法，其特征在于：包括以下步骤：

步骤1：将人脸表情图像进行Gabor小波变换,并将同一尺度各方向的Gabor特征进行融合；

步骤2：将一副人脸表情Gabor特征图像分为不重叠的子块，在每个子块上采用5×5的窗口，并分别在水平、垂直、两个对角线方向上构建图结构；

步骤3：分别计算图结构在0°、45°、90°、135°方向上的特征值，取四个特征值中最大的一个作为韦伯多方向描述子的差分激励；

步骤4：分别计算中心像素在两个相互垂直方向上的梯度方向，并把两者中较大的梯度方向作为韦伯多方向描述子的主方向，具体方法如下：

θ(x_c，y_c)＝max[θ(0°，90°)，θ(45°，135°)]

其中，θ的取值范围为

x_c，y_c表示邻域的中心像素，g₀-g₁₅表示中心像素周围的5×5邻域像素灰度值。

2.根据权利要求1所述的基于韦伯多方向描述子的人脸表情识别特征提取方法，其特征在于：所述步骤1的具体实现方法为：将人脸表情图像经过Gabor小波变换转化为5个尺度、8个方向的Gabor特征图,将同一尺度8个方向的Gabor特征进行融合，得到不同尺度下的人脸表情融合图。

3.根据权利要求2所述的基于韦伯多方向描述子的人脸表情识别特征提取方法，其特征在于：所述Gabor小波变换采用Gabor滤波器，该Gabor滤波器的核函数G(k,x,y,θ)采用如下公式计算：

其中，x,y代表中心像素点，θ代表Gabor核函数的方向,k_u，v是滤波器的中心频率，由它确定Gabor尺度因子v和方向u，σ是滤波器的带宽；

并且，采用如下公式计算MG_v(x，y)：

其中，MG_v(x，y)代表在第v个尺度上融合8个方向后的Gabor特征。

4.根据权利要求1所述的基于韦伯多方向描述子的人脸表情识别特征提取方法，其特征在于：所述步骤3的实现方法为：在图结构中，对于目标像素0°方向、135°方向、90°方向以及45°方向的像素，箭头按照逆时针方向连接，如果箭头所指方向的像素灰度值大于箭头尾端像素值，则该边的权值赋值为1，反之，该边的权值赋值为0；在目标像素0°方向、90°方向、45°方向以及135°方向的像素按照顺时针方向比较，通过比较相邻像素的灰度值，在每个方向上得到一个8位的二进制序列，再把每位的二进制数乘以相应边上的权重得到该方向上最终的特征值，最后分别计算0°、45°、90°、135°方向上的特征值，取四个方向中最大特征值作为韦伯多方向描述子的差分激励。

5.根据权利要求4所述的基于韦伯多方向描述子的人脸表情识别特征提取方法，其特征在于：所述计算0°、45°、90°、135°方向上的特征值采用如下公式：

WOD-GS(x_c，y_c)＝max(feature_0°，feature_45°，feature_90°，feature_135°)

其中，feature_0°表示用图结构算法在0°方向上取得的特征值，feature_45°表示用图结构算法在45°方向上取得的特征值，feature_90°表示用图结构算法在90°方向上取得的特征值，feature_135°表示用图结构算法在135°方向上取得的特征值。

Images