CN109165551A - 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法 - Google Patents

Abstract

本发明公开了一种自适应加权融合显著性结构张量和LBP特征的表情识别方法，通过将结构张量特征和LBP特征进行融合使得图像特征既包含纹理细节信息又包含纹理结构信息，从而拥有更强的描述能力。结果表明该方法提高了表情识别的准确率。

Description

一种自适应加权融合显著性结构张量和LBP特征的表情识别 方法

技术领域

本发明涉及图像处理和计算机视觉领域，更具体地，涉及一种自适应加权融合显著性结构张量和LBP特征的表情识别方法。

背景技术

近年来，表情识别在教育、心理分析、医学以及商业领域引起了广泛关注。表情识别主要由图像预处理、特征提取和分类识别三部分组成。在特征提取方面，比较常用的特征主要有颜色、纹理、梯度、深度等。LBP纹理特征由于在人脸图像分析时对诸如姿态和光照等因素的变化时仍表现很强的鲁棒性，并且运算速度快，得到了广泛应用。然而传统的LBP只考虑了中心像素与邻域像素的差异，没有考虑差值幅度，丢失了图像的结构信息。Guo等提出了完全局部二值模式(CLBP)算法，该算法提取的特征具有较强的鉴别力，但是CLBP包含过多的冗余信息，增加了时间复杂度。Yang等人利用LBP和SVM决策树进行表情识别，识别率达到92％。该方法虽然识别率较高，但是单一特征不能有效全面地描述表情图像的详细信息。郑永斌等将SIFT与LBP进行结合，得到一种新的图像描述和匹配算法，但是该方法具有“不准确性”，且消耗内存。这些方法相比于传统的LBP都具有不同的优势，但是都没寻找到与LBP具有互补性的一种方法来提取更有效且全面的特征。

发明内容

本发明的目的是解决上述一个或多个缺陷，提出一种自适应加权融合显著性结构张量和LBP特征的表情识别方法。

为实现以上发明目的，采用的技术方案是：

一种自适应加权融合显著性结构张量和LBP特征的表情识别方法，包括以下步骤：

S1：数据预处理，选择不同的表情图片组成训练集和测试集，提取纯人脸图片，对表情图像进行校正和尺寸归一化，只留下人脸区域，将头发区域、耳朵区域和脖子区域去除；

S2：获取显著图，将预处理后的数据集用频率调谐显著性区域检测算法提取人脸的显著性区域，得到各种表情的显著图，其中表情的显著性区域主要集中在眼睛区域、鼻子区域、嘴巴区域；

S3：特征提取，提取显著性纹理特征，在显著图的基础上提取LBP特征和结构张量特征；

S4：特征融合，通过计算不同子块结构张量特征直方图和LBP特征直方图的信息熵，根据信息熵的贡献度作为加权因子来进行融合得到每个子块的特征向量，最后把每个子块的特征向量连接起来作为最终的分类特征，具体实现过程如下：

先将显著图划分成k×k个子区域，计算每个子区域的两种特征的信息熵：

上式中Em表示第m子块的信息熵的值，n表示像素值255，pm(i)表示像素值i出现的概率；

然后根据每一子区域的特征信息熵在两种特征信息熵E总和的占比来决定相应的权重系数。根据权重系数来加权融合两种纹理特征：

H_m＝w*H_LBP+(1-w)H_ST

式中wm表示第m子块的LBP特征的加权值，EmLBP表示LBP特征的信息熵，EmST表示结构张量特征的信息熵，Hm表示融合后的新特征；

最后将各个子块的特征向量按顺序串接组合起来，得到最终的联合特征向量：

H＝[H₁,H₂,H₃L,H_m,L H_k×k]。

S5：分类识别，将测试集和训练集新的特征送入支持向量机(SVM)进行分类测试。

优选的是，步骤S1所述纯人脸图像提取为采用snake和GVF模型进行提取。

优选的是，步骤S1所述表情图片所在的数据库为JAFFE表情库或CK+数据库。

优选的是，步骤S2所述显著图的获取包括以下步骤：

S2.1：对图像I进行高斯模糊处理，消除噪声，得到一张新的图像Ig：

上式中(i,j)表示像素坐标，“*”表示卷积操作，G表示高斯平滑滤波器；

S2.2：将原图像I和图像Ig从RGB颜色空间转换到Lab颜色空间。计算原图像转换到Lab颜色空间后，整副图像对应每个特征的均值Lμ，aμ，bμ：

上式中的L,a,b表示Lab色彩空间的三个分量；

S2.3：对于图像的每个像素点，计算显著值：

S(i,j)＝‖I_μ-I_ωhc‖

上式中的Iμ表示均值图像的特征向量，Iωhc表示高斯图像的特征向量，‖‖表示欧式距离。

与现有技术相比，本发明的有益效果是：

1)本发明对于现有技术而言，在特征提取前，本发明先对表情图像进行显著性检测得到表情图像的显著图，基于显著图提取特征可以拉伸表情关键区域和无关区域的对比度，同时可以抑制噪声。此外，显著图能够凸显出图像的全局结构信息，增强图像的纹理信息，有助于特征提取的准确性；

2)本发明针对LBP特征提取局部特征时丢失了结构信息，将结构张量特征与LBP特征进行融合，使得融合的特征可以更加准确的描述表情，在一定程度上消除了冗余信息，两种信息都是局部信息，既有互补也有冗余，通过特征融合可以将冗余特征去除；

3)本发明相对于现有的特征融合技术，本发明将信息熵运用到特征融合上，信息熵越大的特征，表明纹理信息越丰富，反之，纹理信息越稀疏；在特征融合时，根据信息熵的大小来衡量特征的贡献度，使得最终融合的特征增加更多图像的纹理信息，从而更有效地描述图像局部信息。最终的实验结果也表明，该方法提高了表情识别的识别率。

附图说明

图1为本发明所述方法的步骤流程图；

图2(a)为本发明所述JAFFE数据集的7种表情预处理图；

图2(b)为本发明所述JAFFE数据集的7种表情显著图；

图3(a)为本发明所述CK+数据集的显著图；

图3(b)为本发明所述基于显著图提取的结构张量特征图；

图3(c)为本发明所述基于显著图提取的LBP特征图；

图4为本发明所述对显著图进行分块的示意图；

图5为本发明所述对显著图进行不同分块模式下表情识别的识别率。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

以下结合附图和实施例对本发明做进一步的阐述。

实施例1

一种自适应加权融合显著性结构张量和LBP特征的表情识别方法，如图1所示，包括以下步骤：

S1：数据预处理。在表情数据库中选折不同的表情图像组成训练集测试集，然后采用snake和GVF模型提取表情图像的纯人脸区域，去掉了头发、耳朵、脖子、背景等对表情识别有干扰的信息。最后，对图像进行尺度归一化，效果图如图2(a)所示。

在本实例中，选择JAFFE表情库作为实验数据，库中表情分别分为：生气、厌恶、害怕、高兴、悲伤、惊讶、中性七类表情。本实例中每类表情选择了10张组成测试集，剩下的作为训练集。本实例同样在CK+数据库进行了实验，选取了7种表情25个人的表情图像组成训练集，选取15个人组成测试集。

S2：获取显著图。将预处理后的数据集用频率调谐显著性区域检测算法提取人脸的显著性区域，得到各种表情的显著图，如图2(b)所示。显著图的获取步骤如下：

S2.1：对图像I进行高斯模糊处理，消除噪声，得到一张新的图像Ig：

上式中(i,j)表示像素坐标，“*”表示卷积操作，G表示高斯平滑滤波器；

S2.2：将原图像I和图像Ig从RGB颜色空间转换到Lab颜色空间。计算原图像转换到Lab颜色空间后，整副图像对应每个特征的均值Lμ，aμ，bμ：

上式中的L,a,b表示Lab色彩空间的三个分量；

S2.3：对于图像的每个像素点，计算显著值：

S(i,j)＝‖I_μ-I_ωhc‖

上式中的Iμ表示均值图像的特征向量，Iωhc表示高斯图像的特征向量，‖‖表示欧式距离。

S3：特征提取。提取显著性纹理特征，在显著图的基础上提取LBP特征和结构张量。LBP纹理特征更多是描述图像局部的细节信息，结构张量侧重于图像的局部结构信息，结构张量特征和LBP特征的效果图如图3(b)和图3(c)所示。

S4：特征融合。通过计算不同子块结构张量特征直方图和LBP特征直方图的信息熵，根据信息熵的贡献度作为加权因子来进行融合得到每个子块的特征向量，最后把每个子块的特征向量连接起来作为最终的分类特征，显著图的分块效果图如图4所示。具体实现过程如下：

先将显著图划分成k×k个子区域，计算每个子区域的两种特征的信息熵：

上式中Em表示第m子块的信息熵的值，n表示像素值255，pm(i)表示像素值i出现的概率；

然后根据每一子区域的特征信息熵在两种特征信息熵E总和的占比来决定相应的权重系数。根据权重系数来加权融合两种纹理特征：

H_m＝w*H_LBP+(1-w)H_ST

式中wm表示第m子块的LBP特征的加权值，EmLBP表示LBP特征的信息熵，EmST表示结构张量特征的信息熵，Hm表示融合后的新特征；

最后将各个子块的特征向量按顺序串接组合起来，得到最终的联合特征向量：

H＝[H₁,H₂,H₃L,H_m,L H_k×k]。

由于图像不同区域包含的纹理信息有很大的差异，为了区分不同区域的纹理信息，本案例中将图像进行不同模式的分块，本案例主要将显著图分成了3×3、4×4、5×5、6×6、7×7五种模式，在JAFFE和CK+数据库上进行了实验，结果如图5所示，结果表明不同的分类模式对最终的识别率有很大的影响。

S5：分类识别。将融合的新特征送入支持向量机(SVM)进行分类测试，本案例中核函数选取的是高斯核函数。高斯核函数局部特征性强，具有较好的学习能力。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (4)

1.一种自适应加权融合显著性结构张量和LBP特征的表情识别方法，其特征在于，包括以下步骤：

S1：数据预处理，选择不同的表情图片组成训练集和测试集，提取纯人脸图片，对表情图像进行校正和尺寸归一化，只留下人脸区域，将头发区域、耳朵区域和脖子区域去除；

S2：获取显著图，将预处理后的数据集用频率调谐显著性区域检测算法提取人脸的显著性区域，得到各种表情的显著图，其中表情的显著性区域主要集中在眼睛区域、鼻子区域、嘴巴区域；

S3：特征提取，提取显著性纹理特征，在显著图的基础上提取LBP特征和结构张量特征；

S4：特征融合，通过计算不同子块结构张量特征直方图和LBP特征直方图的信息熵，根据信息熵的贡献度作为加权因子来进行融合得到每个子块的特征向量，最后把每个子块的特征向量连接起来作为最终的分类特征，具体实现过程如下：

先将显著图划分成k×k个子区域，计算每个子区域的两种特征的信息熵：

上式中Em表示第m子块的信息熵的值，n表示像素值255，pm(i)表示像素值i出现的概率；

然后根据每一子区域的特征信息熵在两种特征信息熵E总和的占比来决定相应的权重系数。根据权重系数来加权融合两种纹理特征：

H_m＝w*H_LBP+(1-w)H_ST

式中wm表示第m子块的LBP特征的加权值，EmLBP表示LBP特征的信息熵，EmST表示结构张量特征的信息熵，Hm表示融合后的新特征；

最后将各个子块的特征向量按顺序串接组合起来，得到最终的联合特征向量：

H＝[H₁,H₂,H₃L,H_m,L H_k×k]。

S5：分类识别，将测试集和训练集新的特征送入支持向量机(SVM)进行分类测试。

2.根据权利要求1所述的一种自适应加权融合显著性结构张量和LBP特征的表情识别方法，其特征在于，步骤S1所述纯人脸图像提取为采用snake和GVF模型进行提取。

3.根据权利要求1所述的一种自适应加权融合显著性结构张量和LBP特征的表情识别方法，其特征在于，步骤S1所述表情图片所在的数据库为JAFFE表情库或CK+数据库。

4.根据权利要求1所述的一种自适应加权融合显著性结构张量和LBP特征的表情识别方法，其特征在于，步骤S2所述显著图的获取包括以下步骤：

S2.1：对图像I进行高斯模糊处理，消除噪声，得到一张新的图像Ig：

上式中(i,j)表示像素坐标，“*”表示卷积操作，G表示高斯平滑滤波器；

S2.2：将原图像I和图像Ig从RGB颜色空间转换到Lab颜色空间。计算原图像转换到Lab颜色空间后，整副图像对应每个特征的均值Lμ，aμ，bμ：

上式中的L,a,b表示Lab色彩空间的三个分量；

S2.3：对于图像的每个像素点，计算显著值：

S(i,j)＝‖I_μ-I_ωhc‖

上式中的Iμ表示均值图像的特征向量，Iωhc表示高斯图像的特征向量，‖‖表示欧式距离。