CN106991385A - 一种基于特征融合的人脸表情识别方法 - Google Patents

Abstract

本发明公开了一种基于特征融合的人脸表情识别方法。首先选择不同类型的人脸表情图像作为训练样本，进行预处理；分别提取人脸表情图像的HOG特征和Gabor小波特征；将同类人脸表情图像的HOG特征和Gabor小波特征进行特征融合；将每类人脸表情图像融合后得到的新特征作为稀疏表示分类的字典，进行稀疏表示分类；将未知的人脸表情图像作为测试样本进行分类。本发明克服了现有表情识别方法图像提取特征维数高、特征包含冗余信息多的难题。

Description

一种基于特征融合的人脸表情识别方法

技术领域

本发明属于图像分类技术领域，涉及了一种人脸表情识别方法。

背景技术

人脸面部表情是人类表达内在情绪的一种非语言的交流方式。在不同文化、不同种族的人类大环境下，心理学家将六种基本表情(高兴、悲伤、害怕、沮丧、惊讶、生气)作为广泛的具有共性的表情特征。随着行为科学，人机交互等人工智能领域的发展，人脸表情识别技术已经得到越来越多的关注。

人脸表情识别的目的是在人脸图像的范围内提取出对表情识别有利的特征，并以此特征为基础进行表情分类，因此提取出信息丰富易于分类的特征可提高表情分类的准确度。Gabor小波是对人们感兴趣的图像区域提取信息，具有优良的空间局部性和方向选择性，能够抓住图像局部区域内多个方向的空间频率(尺度)和局部性结构特征。虽然Gabor小波提取的是图像的纹理信息，但是对于Gabor小波设置的参数不同，提取图像特征也有不同，并且利用Gabor小波提取的特征维数高，计算量大，计算时间长。

HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子，它通过计算和统计图像局部区域的梯度方向直方图来构成特征。HOG特征可以很好的描述人脸图像局部目标的形状(例如嘴，眼等部位)边缘的方向密度分布，虽具有计算简单，抗干扰能力强的优点，但没有旋转和尺度不变性。

在人脸表情识别过程中，最重要的一步是要提取利于分类的表情特征，而在人脸图像中往往包含许多冗余信息，因此对人脸表情特征融合的意义在于通过优化组合，处理两种特征矢量之间的相互依赖关系，既保留了有效的表情鉴别信息，又在一定程度上消除了冗余信息，这种新兴数据处理技术逐渐成为当前模式识别领域研究的热点方向。

发明内容

为了解决上述背景技术提出的技术问题，本发明旨在提供一种基于特征融合的人脸表情识别方法，克服现有表情识别方法图像提取特征维数高、特征包含冗余信息多的难题。

为了实现上述技术目的，本发明的技术方案为：

一种基于特征融合的人脸表情识别方法，包括以下步骤：

(1)选择不同类型的人脸表情图像作为训练样本，对人脸表情图像进行几何校正和尺寸归一化的预处理；

(2)分别提取人脸表情图像的HOG特征和Gabor小波特征；

(3)将同类人脸表情图像的HOG特征和Gabor小波特征进行特征融合；

(4)将每类人脸表情图像融合后得到的新特征作为稀疏表示分类的字典，进行稀疏表示分类；

(5)将未知的人脸表情图像作为测试样本，按照(1)-(4)，得到分类结果。

进一步地，在步骤(2)中，提取HOG特征的过程如下：

(a)设置HOG特征提取参数，包括每个细胞单元的像素大小、每个细胞单元划分的方向、合成一个图像块所需的细胞单元个数以及图像块的重叠率；

(b)计算图像中每个像素点的梯度：

上式中，H(x,y)为图像中点(x,y)处的像素值，G_x(x,y)、G_y(x,y)分别为图像中点(x,y)在x、y方向的梯度；

(c)计算梯度的幅值G(x,y)和方向α(x,y)：

(d)按照梯度方向与细胞单元的划分方向对应原则进行梯度幅值直方图统计，得到HOG特征。

进一步地，在步骤(2)中，提取Gabor小波特征的过程如下：

(A)设置Gabor小波特征提取参数，包括2维Gabor滤波的尺度、方向，以及Gabor滤波器窗口的大小；

(B)按照下式对人脸表情图像进行2维Gabor滤波，提取出Gabor小波特征：

x_p＝x·cosθ+y·sinθ

y_p＝y·cosθ-x·sinθ

上式中，(x,y)是图像中点的位置，f是Gabor滤波的尺度，θ是Gabor滤波的角度，S_x、S_x为Gabor滤波器窗口的尺寸。

进一步地，在步骤(A)中，设置2维Gabor滤波的尺度Gabor滤波的方向

进一步地，步骤(3)的具体过程如下：

(ⅰ)将同类人脸表情图像的HOG特征和Gabor小波特征放在一起，设HOG特征为X，Gabor小波特征为Y，计算X的自协方差矩阵C_xx、Y的自协方差矩阵C_yy、以及X、Y的互协方差矩阵C_xy；

(ⅱ)计算C_xx和C_yy的秩和特征向量，设C_xx的秩为h，C_yy的秩为g，在C_xx的特征向量中选取h个特征向量组成矩阵M，在C_yy的特征向量中选取g个特征向量组成矩阵N；

(iii)根据高维空间到低维空间的转换公式，计算低维空间中X的自协方差矩阵L_xx、Y的自协方差矩阵L_yy以及X、Y的互协方差矩阵L_xy、L_yx：

(ⅳ)设W_x为在低维空间中X的投影矩阵，W_y为在低维空间中Y的投影矩阵，建立如下优化模型，要求两组投影矩阵中对应投影矢量关系最大化：

上式中，J为优化模型的目标函数，W_x＝(α₁,α₂,...,α_k)，W_y＝(β₁,β₂,...,β_k)，α_i、β_i为第i对关系最大投影矢量；

(ⅴ)计算融合特征：

上式中，Z为复向量，将Z的虚部的数值与实部数值首尾相连，得到用于分类的融合特征。

进一步地，在步骤(ⅳ)中，采用拉格朗日乘数法，将优化模型的求解转化为两个广义特征方程组的求解：

上式中，λ为的特征值；

计算G₁、G₂的秩和特征向量，根据G₁、G₂的秩选取G₁、G₂特征向量的个数，组成矩阵P、Q；

根据矩阵P、Q计算出投影矩阵W_x、W_y：

采用上述技术方案带来的有益效果：

(1)本发明将同一类的两种特征融合，突出了人脸图像的表情特征，在一定程度上消除冗余信息，降低了特征维数，将融合后的特征作为稀疏表示分类的字典，进行稀疏表示分类，能够获得较精确的人脸表情图像分类结果；

(2)在本发明中，HOG特征提取的是人脸局部形状信息，Gabor小波提取的是纹理信息，两种信息既有互补也有冗余，通过特征融合技术将有相关性的表情特征保留，去除冗余特征；

(3)在Gabor小波特征提取时，针对不同类表情图像特点，提取特征时每类图像对应的Gabor小波参数设置不同，以获得利于鉴别各类表情的特征。

附图说明

图1是本发明的流程图；

图2是人脸表情图像的HOG特征示意图；

图3是人脸表情图像5个尺度8个方向的Gabor滤波效果图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

一种基于特征融合的人脸表情识别方法，如图1所示，具体步骤如下。

步骤1：选择不同类型的人脸表情图像作为训练样本，对人脸表情图像进行几何校正和尺寸归一化的预处理。

在本实施例中，选择Jaffe日本女性表情库作为训练集，库中表情图像按照表情变化不同分为六类，分别为生气、厌恶、害怕、高兴、悲伤和惊奇。其中生气表情图像为31幅，厌恶表情图像为29幅，害怕表情图像为32幅，高兴表情图像为31幅，悲伤表情图像为31幅，惊奇表情图像为30幅。

在本实施例中，可以把人脸表情图像统一规划为64*64的图像。

步骤2：分别提取人脸表情图像的HOG特征和Gabor小波特征。

1)提取HOG特征

首先，设置HOG特征提取参数，包括每个细胞单元的像素大小、每个细胞单元划分的方向、合成一个图像块所需的细胞单元个数以及图像块的重叠率。在本实施例中，每个细胞取8×8的像素大小，每个细胞单元划分9个方向，2×2个细胞单元合成一个图像块，图像块的重叠率为0.5，因此一幅图像的HOG特征为1764维。

接着，计算图像中每个像素点的梯度：

上式中，H(x,y)为图像中点(x,y)处的像素值，G_x(x,y)、G_y(x,y)分别为图像中点(x,y)在x、y方向的梯度；

然后，计算梯度的幅值G(x,y)和方向α(x,y)：

最后，按照梯度方向与细胞单元的划分方向对应原则进行梯度幅值直方图统计，得到HOG特征，如图2所示。

2)提取Gabor小波特征

首先，设置Gabor小波特征提取参数，包括2维Gabor滤波的尺度、方向，以及Gabor滤波器窗口的大小。在本实施例中，采用5个尺度、8个方向进行2维Gabor滤波：Gabor滤波器窗口大小为4×4，具体如表1所示。

表1

表情类	f	θ
			生气	1/8	3π/8
厌恶	1/8	6π/8
			害怕	1/10	4π/8
高兴	1/10	2π/8
			悲伤	1/8	3π/8
惊奇	1/6	2π/8

然后，按照下式对人脸表情图像进行2维Gabor滤波，提取出Gabor小波特征：

x_p＝x·cosθ+y·sinθ

y_p＝y·cosθ-x·sinθ

上式中，(x,y)是图像中点的位置，S_x、S_x为Gabor滤波器窗口的尺寸。通过对5个尺度8个方向的Gabor滤波器提取表情特征的效果，选择出了六类表情对应的Gabor滤波器的最优参数，Gabor小波提取出的每类表情的特征维数为4096维。如图3所示。

步骤3：将同类人脸表情图像的HOG特征和Gabor小波特征进行特征融合，具体过程如下：

(1)将同类人脸表情图像的HOG特征和Gabor小波特征放在一起，设HOG特征为X，Gabor小波特征为Y，计算X的自协方差矩阵C_xx、Y的自协方差矩阵C_yy、以及X、Y的互协方差矩阵C_xy。

(2)计算C_xx和C_yy的秩和特征向量，设C_xx的秩为h，C_yy的秩为g，在C_xx的特征向量中选取h个特征向量组成矩阵M，在C_yy的特征向量中选取g个特征向量组成矩阵N。

(3)根据高维空间到低维空间的转换公式，计算低维空间中X的自协方差矩阵L_xx、Y的自协方差矩阵L_yy以及X、Y的互协方差矩阵L_xy、L_yx：

(4)设W_x为在低维空间中X的投影矩阵，W_y为在低维空间中Y的投影矩阵，建立如下优化模型，要求两组投影矩阵中对应投影矢量关系最大化：

上式中，J为优化模型的目标函数，W_x＝(α₁,α₂,...,α_k)，W_y＝(β₁,β₂,...,β_k)，α_i、β_i为第i对关系最大投影矢量。

在本实施例中，采用拉格朗日乘数法，将优化模型的求解转化为两个广义特征方程组的求解：

上式中，λ为的特征值。

计算G₁、G₂的秩和特征向量，根据G₁、G₂的秩选取G₁、G₂特征向量的个数，组成矩阵P、Q；

根据矩阵P、Q计算出投影矩阵W_x、W_y：

计算融合特征：

上式中，Z为复向量，将Z的虚部的数值与实部数值首尾相连，得到用于分类的融合特征，融合特征维数为62维。

步骤4：将每类人脸表情图像融合后得到的新特征作为稀疏表示分类的字典，进行稀疏表示分类。

在得到新特征的每个表情类中随机提取20幅图像作为训练样本，实验做10次，并对训练样本做标签(生气为1，厌恶为2、害怕为3、高兴为4、悲伤为5和惊奇为6)。每个表情类除了提取的20幅训练样本之外，剩余的图像做测试样本，生气表情测试图像为11幅，厌恶表情测试图像为9幅、害怕表情测试图像为12、高兴表情测试图像为11、悲伤表情测试图像为11幅、惊奇表情测试图像为10幅。将每类测试图像进行稀疏表示分类，得到的每个表情分类精度。

表2给出了本发明与传统基于单一特征的识别方法所需的维数以及计算时间，表3为本发明的稀疏表示分类结果。由此可以看出，本发明与传统基于单一特征的识别方法相比，在一定程度上消除了冗余信息，更有助于提取人脸表情的细节信息，大大缩小了特征维数，计算精度较高，计算时间少，鲁棒性好。

表2

	特征维数	计算时间
			HOG+SRC	1764	254.795
Gabor+SRC	4096	266.458
			特征融合+SRC	62	208.554

表3

实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (6)

1.一种基于特征融合的人脸表情识别方法，其特征在于，包括以下步骤：

(1)选择不同类型的人脸表情图像作为训练样本，对人脸表情图像进行几何校正和尺寸归一化的预处理；

(2)分别提取人脸表情图像的HOG特征和Gabor小波特征；

(3)将同类人脸表情图像的HOG特征和Gabor小波特征进行特征融合；

(4)将每类人脸表情图像融合后得到的新特征作为稀疏表示分类的字典，进行稀疏表示分类；

(5)将未知的人脸表情图像作为测试样本，按照(1)-(4)，得到分类结果。

2.根据权利要求1所述基于特征融合的人脸表情识别方法，其特征在于：在步骤(2)中，提取HOG特征的过程如下：

(a)设置HOG特征提取参数，包括每个细胞单元的像素大小、每个细胞单元划分的方向、合成一个图像块所需的细胞单元个数以及图像块的重叠率；

(b)计算图像中每个像素点的梯度：

$\left\{\begin{array}{c}{G}_x(x,y)=H(x+1,y)-H(x-1,y)\\ G_y(x,y)=H(x,y+1)-H(x,y-1)\end{array}\right.$

上式中，H(x,y)为图像中点(x,y)处的像素值，G_x(x,y)、G_y(x,y)分别为图像中点(x,y)在x、y方向的梯度；

(c)计算梯度的幅值G(x,y)和方向α(x,y)：

$G(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2}$

$\mathrm{\α}(x,y)={\tan }^{-1}\left(\frac{G_y(x,y)}{G_x(x,y)}\right)$

(d)按照梯度方向与细胞单元的划分方向对应原则进行梯度幅值直方图统计，得到HOG特征。

3.根据权利要求1所述基于特征融合的人脸表情识别方法，其特征在于：在步骤(2)中，提取Gabor小波特征的过程如下：

(A)设置Gabor小波特征提取参数，包括2维Gabor滤波的尺度、方向，以及Gabor滤波器窗口的大小；

(B)按照下式对人脸表情图像进行2维Gabor滤波，提取出Gabor小波特征：

$G(x,y,\mathrm{\θ},f)=e^{-\frac{1}{2}\[{\left(\frac{x_p}{s_x}\right)}^2+{\left(\frac{y_p}{s_y}\right)}^2\]}\·cos\left(2{\mathrm{\πfx}}_p\right)$

x_p＝x·cosθ+y·sinθ

y_p＝y·cosθ-x·sinθ

上式中，(x,y)是图像中点的位置，f是Gabor滤波的尺度，θ是Gabor滤波的角度，S_x、S_x为Gabor滤波器窗口的尺寸。

4.根据权利要求3所述基于特征融合的人脸表情识别方法，其特征在于：在步骤(A)中，设置2维Gabor滤波的尺度Gabor滤波的方向

5.根据权利要求1所述基于特征融合的人脸表情识别方法，其特征在于：步骤(3)的具体过程如下：

(ⅰ)将同类人脸表情图像的HOG特征和Gabor小波特征放在一起，设HOG特征为X，Gabor小波特征为Y，计算X的自协方差矩阵C_xx、Y的自协方差矩阵C_yy、以及X、Y的互协方差矩阵C_xy；

(ⅱ)计算C_xx和C_yy的秩和特征向量，设C_xx的秩为h，C_yy的秩为g，在C_xx的特征向量中选取h个特征向量组成矩阵M，在C_yy的特征向量中选取g个特征向量组成矩阵N；

(iii)根据高维空间到低维空间的转换公式，计算低维空间中X的自协方差矩阵L_xx、Y的自协方差矩阵L_yy以及X、Y的互协方差矩阵L_xy、L_yx：

$\left\{\begin{array}{c}{L}_{xx}=M^T\·C_{xx}\·M\\ L_{yy}=N^T\·C_{yy}\·N\\ L_{xy}=M^T\·C_{xy}\·N\\ L_{yx}=L_{xy}\end{array}\right.$

(ⅳ)设W_x为在低维空间中X的投影矩阵，W_y为在低维空间中Y的投影矩阵，建立如下优化模型，要求两组投影矩阵中对应投影矢量关系最大化：

$\left\{\begin{array}{c}\max J(W_x,W_y)=\frac{W_x^T\·L_{xy}\·W_y}{{(W_x^T\·L_{xx}\·W_x\·W_y^T\·L_{yy}\·W_y)}^{\frac{1}{2}}}\\ \begin{array}{cc}s.t.& W_x^T\·L_{xx}\·W_x=W_y^T\·L_{yy}\·W_y=1\end{array}\\ {\mathrm{\α}}_{i+1}\·L_{xx}\·{\mathrm{\α}}_i={\mathrm{\β}}_{i+1}\·L_{yy}\·{\mathrm{\β}}_i=0,i=1,2,...,k\end{array}\right.$

上式中，J为优化模型的目标函数，W_x＝(α₁,α₂,...,α_k)，W_y＝(β₁,β₂,...,β_k)，α_i、β_i为第i对关系最大投影矢量；

(ⅴ)计算融合特征：

$Z=\left[\begin{array}{cc}{W}_x^T& 0\\ 0& W_y^T\end{array}\right]\·\left(\begin{array}{c}\tilde{x}\\ \tilde{y}\end{array}\right)$

上式中，Z为复向量，将Z的虚部的数值与实部数值首尾相连，得到用于分类的融合特征。

6.根据权利要求5所述基于特征融合的人脸表情识别方法，其特征在于：在步骤(ⅳ)中，采用拉格朗日乘数法，将优化模型的求解转化为两个广义特征方程组的求解：

$\left\{\begin{array}{c}{L}_{xx}^{-1}\·L_{xy}\·W_y=\mathrm{\λ}\·W_x\\ L_{yy}^{-1}\·L_{yx}\·W_x=\mathrm{\λ}\·W_y\end{array}\right.$

$\left\{\begin{array}{c}{G}_1=L_{yy}^{-1}\·L_{yx}\·L_{xx}^{-1}\·L_{xy}\\ G_2=L_{xx}^{-1}\·L_{xy}\·L_{yy}^{-1}\·L_{yx}\end{array}\right.$

上式中，的特征值；

计算G₁、G₂的秩和特征向量，根据G₁、G₂的秩选取G₁、G₂特征向量的个数，组成矩阵P、Q；

根据矩阵P、Q计算出投影矩阵W_x、W_y：

$\left\{\begin{array}{c}{W}_x=\frac{P}{\sqrt{L_{xx}}}\\ W_y=\frac{Q}{\sqrt{L_{yy}}}\end{array}\right..$