CN114998966A - 基于特征融合的人脸表情识别方法 - Google Patents

Abstract

本发明涉及基于特征融合的人脸表情识别方法。本发明采用人脸对齐算法对待识别图片中68个面部关键点进行定位，并根据关键点提取欧氏距离和偏心率的几何特征；然后采用LBP算法提取人脸的纹理特征；将几何特征和纹理特征进行融合；再然后采用最大相关性最小冗余算法(mRMR)对特征进行选择；最后将选择后的特征与卷积神经网络所提取的更深层的特征进行融合，送入Softmax分类函数进行分类；完成人脸表情识别。本发明在融合多种特征的情况下，利用最大相关性最小冗余法,选择最相关的特征来减少特征的尺寸，同时删除冗余特征，表情识别准确率高。

Description

基于特征融合的人脸表情识别方法

技术领域

本发明属于图形图像分类技术领域，涉及一种基于特征融合的人脸表情识别方法。

背景技术

人脸表情是表达人类情感和意图最有效、最常见的方式之一。人脸表情识别在日常生活中有着广泛的应用。比如，社交机器人、医疗服务、疲劳驾驶。著名心理学家Ekman发现，全世界共有六种基本的面部表情,并和Friensen通过一系列跨文明交流研究规定了六种基本的面部表情：生气(anger)，憎恨(disgust)，恐惧(fear)，喜悦(happiness)，悲伤(sadness)，惊讶(surprise)。因此，学术界普遍开始通过对这六种基本面部表情的分类，寻找计算机自动识别人脸表情的方法。

传统的人脸表情识别方法通常使用手动特征进行面部表情识别，例如PCA，ICA和FLD。PCA是一种常见的数据分析方法，它总是用于高维数据的降维，以提取数据的主要特征组成部分。ICA可以有效地提取具有高阶统计特征的表达特征，并从高阶相关性中对其进行分析。FLD可以从高维特征中提取最具鉴别力的低维特征，从而可以接近相同的样品并分离不同的样品。但上述方法基于手动功能，容易受到人为因素的干扰。近年来，深度学习已经显示出强大的信息处理能力和更好的鲁棒性，这不依赖于手动特征的精确设计。许多研究人员提出将经典的网络结构引入面部表情识别，为了提高性能，一些研究人员建议融合多种特征以进行综合表示。虽然识别的准确性有所提高，但这些方法中网络的复杂性也增加了。

虽然大规模深度学习模型实现了很高的识别精度，但面部表情数据集中有限的样本数量可能会限制性能。如果没有足够的训练样本，大规模的深度学习模型容易过度拟合。为了实现结构复杂性和识别精度之间的平衡，研究人员尝试设计一种结构紧凑、特征提取能力强的轻量级深度学习模型。但是，一些面部表情仍难以区分，如厌恶和悲伤。提取有效的面部特征对于面部情感识别至关重要。通常，使用两种类型的特征来区分面部情绪：几何特征和外观特征。几何特征提供有关面部组件的形状和位置的线索，而基于外观的特征包含有关沟壑，凸起，皱纹等信息。但它们的一个主要缺点是难以普遍适用于不同的人。所以，考虑特征融合可能是设计更具判别性特征以应对面部表情识别的有效方法。但是，基于特征融合的方法面临着信息冗余的问题，这个问题会影响面部表情识别的准确性。实际上，处理大量特征会增加计算时间，并使分类器不必要或冗余的信息不堪重负。因此，为了更好地训练面部表情识别，选择正确有效的特征至关重要，因为不相关和嘈杂的特征可能会误导和负面影响识别系统。

发明内容

本发明的目的就是提供一种基于特征融合的人脸表情识别方法。

本发明包括以下步骤：

采用人脸对齐算法对待识别图片中68个面部关键点进行定位，并根据关键点提取欧氏距离和偏心率的几何特征F_a；然后采用LBP算法提取人脸的纹理特征F_s；将几何特征F_a和纹理特征F_s进行融合，得到新的特征向量F_as进行融合；再然后采用最大相关性最小冗余算法(mRMR)对特征F_as进行选择；最后将选择后的特征F_as与卷积神经网络所提取的更深层的特征F_d进行融合，送入Softmax分类函数进行分类；完成人脸表情识别。

所述人脸对齐算法利用级联回归树，从像素灰度值的稀疏子集中估计人脸关键点的位置，然后求出各个坐标之间的欧式距离和关键位置的椭圆偏心率；

所述LBP算法通过定义一个基本的算子，将算子作用在整张图像上，通过滑动窗口，来提取图像的纹理特征F_s；

所述最大相关性最小冗余算法通过选择最相关的特征来减少特征的尺寸，同时删除冗余特征。

所述的欧式距离d(X,Y)用于捕获表达情绪期间的面部活动，

其中x₁和y₁显示第一个关键点X的坐标，并且x₂和y₂是第二个关键点的坐标。由于提取了68个关键点，因此计算出2278个(68×(68-1)/2)不同的线性特征。

所述的偏心率用于定义椭圆度水平，偏心率

是曲线到椭圆焦点c的距离与到定直线a的距离之比。如果偏心率接近于零，则椭圆更像一个圆形。但是，如果它接近1，则椭圆的椭圆度更高。考虑到嘴巴，眼睛和眉毛的偏心率特征可能提供有关其在整个表情状态下的几何形状变化的重要信息，所以提取这5个器官的偏心率特征。

进一步的，LBP算法考虑图像f(x,y)，并让v_j表示灰度值的一个像素位置(x,y)，即v_j＝f(x,y)。让v_p表示灰度的采样点位于一个等间距的圆形样本点的数量(P)和半径R的像素位置(x,y)。然后灰度值v_p,像素(x,y)的位置(x_p,y_p)表示为：f(x_p,y_p),p＝0,1,2……,P-1；

图像f(x,y)的局部纹理特征T是P+1像素的灰度值的联合分布。即：T＝t(v_j,v₀,v₁,……,v_P-1)；在邻域中减去中心像素的灰度值，则T＝t(v_j,v₀-v_j,v₁-v_j,……,v_P-1-v_j)；联合分布的近似方法是假设中心像素在统计上与差异无关，即:T＝t(v_j)t(v₀-v_j,v₁-v_j,……,v_P-1-v_j)；其中t(v_j)是f(x,y)上的强度分布，不包含任何有用的信息，故省略。因此，只考虑差异的联合分布，即：t(s(v₀-v_j),s(v₁-v_j),……,s(v_0-1-v_j))；其中s(3)是阈值(step)函数：

LBP的通用算法基于这种联合分布。

所述的几何特征F_a和纹理特征F_s融合的步骤为：

首先对几何特征F_a和纹理特征F_s进行归一化处理，公式如下：

其中，f_i表示其特征向量中的第i个数据，f_max和f_min分别为各自特征向量中对应的最大值和最小值，经处理后的每一个特征值在[0,1]区间内，消除了特征间量纲的影响。然后对归一化后的几何特征F_a特征和纹理特征F_S特征进行串联融合，得到新的特征向量F_as＝[F_a,F_s]。

进一步的，所述的最大相关性最小冗余算法(mRMR)为：

给定n个用于分类的特征，mRMR的目标是确定m个特征子集，使用特征之间的相互信息准确识别目标标签。两个给定离散随机变量a和b之间的互信息估计I(a，b)是根据其个人概率P(a),P(b)和联合概率P(ab)确定的，

其中a是选定特征A集合中的特征，b是目标原型集B中的类标签。

对于两个高度相互依赖的特征，删除其中任何一个都不会给特征的类判别能力带来变化。使特征变量a_i与类标签b之间的依赖关系最大化：

使成对特征a_i和a_j的依赖关系最小化：

此约束仅用于筛选出互斥的特征。

所述卷积神经网络将一张48×48的图片经过两次卷积，一次最大池化操作，再紧接着一次卷积，一次最大池化操作，最后全连接输出7×1的特征与经过特征选择的特征一起通过Softmax激活函数将网络的估计值转换为预测类的概率分布。

所述的将特征选择后的特征F_as与卷积神经网络所提取的更深层的特征F_d进行融合的步骤为：

首先，对卷积神经网络所提取的更深层的特征F_d和特征选择后的特征F_as数据进行零均值标准化，如公式

所示；其中，f_i表示其特征向量中的第i个数据；μ是所有样本数据的均值，计算方式如下

σ是标准差，用于衡量数据的离散程度，计算方式如下

然后对零均值标准化后的F_d特征和F_as特征进行向量拼接，从而得到融合后的特征向量F_asd，F_asd＝[F_as，F_d]。

本发明在融合多种特征的情况下，利用最大相关性最小冗余(mRMR)算法,选择最相关的特征来减少特征的尺寸，同时删除冗余特征。采用卷积神经网络(CNN)在FER2013人脸表情数据集上识别7种面部表情：中立，快乐，悲伤，愤怒，恐惧，厌恶和惊讶。该方法的平均识别准确率为74.12％，对比其他主流方法，准确率有所提升，验证了所提方法的有效性。对比结果如表所示。

表1本文方法与目前主流方法对比(FER2013)

附图说明

图1为本发明模型的流程示意图；

图2为人脸68个关键点示意图；

图3为五个面部椭圆的表示示意图；

图4为人脸LBP特征示意图；

图5为卷积神经网络的结构。

具体实施方式

下面结合说明书附图对本发明的技术方案作进一步说明。

如图1所示，一种基于特征融合的人脸表情识别方法，具体包括如下步骤：

步骤一、进行人脸检测与对齐：检测输入图像中的人脸，人脸检测算法使用定向梯度直方图(HOG)和支持向量机(SVM)，采用人脸对齐算法定位如图2所示68个面部关键点并对齐输入面部。

步骤二、数据预处理：执行灰度图像到标准灰度图像的转换，即最小到最大缩放，是以表示零均值和单位方差的方式缩放图像。接下来，对图像数据进行数据增强，通过水平翻转和角度旋转。旋转包括对原始图像和水平翻转后的图像分别进行-9°、-6°、-3°、3°、6°、9°的角度旋转，以达到数据增强的效果。

步骤三、特征提取：在提取68个关键点后，考虑两种类型的几何特征：线性特征和偏心率特征。对于线性特征(LF)，通过所有地标对之间的欧氏距离d(X,Y)，捕获表达情绪期间的面部活动，

其中x₁和y₁显示第一个关键点X的坐标，并且x₂和y₂是第二个关键点的坐标。由于提取了68个关键点，因此计算出2278个(68×(68-1)/2)不同的线性特征。

偏心率用于定义椭圆度水平，偏心率

是曲线到椭圆焦点c的距离与到定直线a的距离之比。如果偏心率接近于零，则椭圆更像一个圆形。但是，如果它接近1，则椭圆的椭圆度更高。对于这项工作，考虑到嘴巴，眼睛和眉毛的偏心率特征可能提供有关其在整个表情状态下的几何形状变化的重要信息，所以我们提取这5个器官的偏心率特征，如图3所示。

选择局部二值模式(LBP)直方图用作纹理特征。本实施例中LBP图像的如图4所示，通用LBP概述如下。考虑图像f(x,y)，并让v_j表示灰度值的一个像素位置(x,y)。即v_j＝f(x,y)。让v_p表示灰度的采样点位于一个等间距的圆形样本点的数量(P)和半径R的像素位置(x,y)。然后灰度值v_p,像素(x,y)的位置(x_p,y_p)表示为：f(x_p,y_p),p＝0,1,2……,P-1；

图像f(x,y)的局部纹理特征是P+1像素的灰度值的联合分布。即：T＝t(v_j,v₀,v₁,……,v_P-1)；在邻域中减去中心像素的灰度值，即T＝t(v_j,v₀-v_j,v₁-v_j,……,v_P-1-v_j)；联合分布的近似方法是假设中心像素在统计上与差异无关，即:T＝t(v_j)t(v₀-v_j,v₁-v_j,……,v_P-1-v_j)；其中t(v_j)是f(x,y)上的强度分布，因为它不包含任何有用的信息，故省略。因此，只考虑差异的联合分布。即：t(s(v₀-v_j),s(v₁-v_j),……,s(v_P-1-v_j))；其中s(3)是阈值(step)函数：

LBP的通用算法基于上述联合分布。

该步骤提取了欧氏距离和偏心率的几何特征与局部二值模式的纹理特征，并将几何特征和纹理特征进行融合。特征融合的具体步骤如下：首先对几何特征F_a和纹理特征F_s进行归一化处理，公式如下：

其中，f_i表示其特征向量中的第i个数据，f_max和f_min分别为各自特征向量中对应的最大值和最小值，经处理后的每一个特征值在[0,1]区间内，消除了特征间量纲的影响。然后对归一化后的几何特征F_a特征和纹理特征F_S特征进行串联融合，得到新的特征向量F_as＝[F_a,F_s]。提取有效的面部特征并且考虑特征融合会对表情识别的准确率的提高有着积极的作用。

步骤四、特征选择：采用了最大相关性最小冗余(mRMR)模型来帮助选择最相关的特征，以及最紧凑或非冗余的特征来表示人脸网格模型。给定n个用于分类的特征，mRMR的目标是确定m个特征子集，这些特征将使用它们之间的相互信息准确识别目标标签。两个给定离散随机变量a和b之间的互信息估计I(a，b)是根据其个人概率P(a),P(b)和联合概率P(ab)确定的，

其中a是选定特征A集合中的特征，b是目标原型集B中的类标签。对于两个高度相互依赖的特征，删除其中任何一个都不会给特征的类判别能力带来变化。使特征变量a_i与类标签b之间的依赖关系最大化：

使成对特征a_i和a_j的依赖关系最小化：

此约束仅用于筛选出互斥的特征。

该步骤采用最大相关性最小冗余mRMR算法对步骤三所融合的特征F_as进行选择，该算法通过选择最相关的特征来减少特征的尺寸，同时删除冗余特征。

步骤五、表情分类：卷积神经网路(convolutional neural network，CNN)是一类特殊的人工神经网络(ANN)模型，最初被引入到处理图像数据识别和分类中。CNN的网络结构包括输入层、卷积层、池化层和全连接层，以及包括分类器、损失函数等。本实施例中的卷积神经网络的结构如图5所示。将一张48×48的图片经过两次卷积，一次最大池化操作，再紧接着一次卷积，一次最大池化操作，最后全连接输出7×1的特征F_d与步骤四经过特征选择后的特征F_as进行特征融合。特征融合的具体步骤如下：首先，对特征F_d和特征F_as数据进行零均值标准化，如公式

所示。其中，f_i表示其特征向量中的第i个数据；μ是所有样本数据的均值，计算方式如下

σ是标准差，用于衡量数据的离散程度，计算方式如下

然后对零均值标准化后的F_d特征和F_as特征进行向量拼接，从而得到融合后的特征向量F_asd，如下F_asd＝[F_as，F_d]。之后，将F_asd特征输入到Softmax激活函数将网络的估计值转换为预测类的概率分布。然后，通过分类交叉熵(CCE)损失函数量化分配给数据集样本的预测和基本实况标签之间的接近程度。因此，损失函数的最小化构成了网络优化框架中的主要目标。最后，在正向传递完成后，反向传播在网络上下更新网络的可学习参数，尝试完成输出预测和样本实际值的收敛，从而最小化损失函数。对于这个问题，计算每个可学习参数的损失函数的梯度，随后使用它通过任意步骤更新相应的参数，该步骤由学习速率确定。在网络训练时，初始学习率设置为0.001，batch_size设置为32，dropout设置为0.5，正则化参数为0.01。

最后，本发明方法在FER2013人脸表情数据集上实现了74.12％的平均识别准确率。对于7种面部表情，针对中性，快乐，悲伤，愤怒，恐惧，厌恶和惊讶，最高识别准确率分别来自快乐和惊讶表情，而最低识别准确率来自悲伤和恐惧。分类结果详见表2。惊讶和快乐的较高识别性能可归因于这些表情在面部表面变形方面的强烈而独特的特征，例如在惊讶的情况下，眼睛和嘴巴的极度张开，和快乐情况下的嘴唇伸展。相比之下，悲伤和恐惧的糟糕准确率可能与他们与中性表达的高度相似性有关。

表2在FER2013上的混淆矩阵

Claims (8)

1.基于特征融合的人脸表情识别方法，其特征在于：具体包括如下步骤：

采用人脸对齐算法对待识别图片中68个面部关键点进行定位，并根据关键点提取欧氏距离和偏心率的几何特征F_a；然后采用LBP算法提取人脸的纹理特征F_s；将几何特征F_a和纹理特征F_s进行融合，得到新的特征向量F_as；再然后采用最大相关性最小冗余算法mRMR对特征进行选择；最后将选择后的特征F_as与卷积神经网络所提取的更深层的特征F_d进行融合，送入Softmax分类函数进行分类；完成人脸表情识别。

2.如权利要求1所述的基于特征融合的人脸表情识别方法，其特征在于：所述人脸对齐算法利用级联回归树，从像素灰度值的稀疏子集中估计人脸关键点的位置，然后求出各个坐标之间的欧式距离和关键位置的椭圆偏心率。

3.如权利要求1所述的基于特征融合的人脸表情识别方法，其特征在于：所述LBP算法通过定义一个基本的算子，将算子作用在整张图像上，通过滑动窗口，来提取图像的纹理特征F_s。

4.如权利要求1所述的基于特征融合的人脸表情识别方法，其特征在于：所述最大相关性最小冗余算法通过选择最相关的特征来减少特征的尺寸，同时删除冗余特征。

5.如权利要求3所述的基于特征融合的人脸表情识别方法，其特征在于：

所述LBP算法考虑图像f(x，y)，并让v_j表示灰度值的一个像素位置(x，y)，即v_j＝f(x，y)；让v_p表示灰度的采样点位于一个等间距的圆形样本点的数量(P)和半径R的像素位置(x，y)；然后灰度值v_p，像素(x，y)的位置(x_p，y_p)表示为：f(x_p，y_p)，p＝0，1，2......，P-1；

图像f(x，y)的局部纹理特征T是P+1像素的灰度值的联合分布；即：T＝t(v_j，v₀，v₁，......，v_P-1)；在邻域中减去中心像素的灰度值，则T＝t(v_j，v₀-v_j，v₁-v_j，......，v_P-1-v_j)；联合分布的近似方法是假设中心像素在统计上与差异无关，即：T＝t(v_j)t(v₀-v_j，v₁-v_j，......，v_P-1-v_j)；其中t(v_j)是f(x，y)上的强度分布，不包含任何有用的信息，故省略；因此，只考虑差异的联合分布，即：t(s(v₀-v_j)，s(v₁-v_j)，......，s(v_P-1-v_j))；其中s(u)是阈值(step)函数：

LBP的通用算法基于这种联合分布。

6.如权利要求1所述的基于特征融合的人脸表情识别方法，其特征在于：所述的几何特征F_a和纹理特征F_s融合的步骤为：

首先对几何特征F_a和纹理特征F_s进行归一化处理，公式如下：

其中，f_i表示其特征向量中的第i个数据，f_max和f_min分别为各自特征向量中对应的最大值和最小值，经处理后的每一个特征值在[0，1]区间内，消除了特征间量纲的影响；然后对归一化后的几何特征F_a特征和纹理特征F_S特征进行串联融合，得到新的特征向量F_as＝[F_a，F_s]。

7.如权利要求4所述的基于特征融合的人脸表情识别方法，其特征在于：所述的最大相关性最小冗余算法mRMR为：

给定n个用于分类的特征，mRMR的目标是确定m个特征子集，使用特征之间的相互信息准确识别目标标签；两个给定离散随机变量a和b之间的互信息估计I(a，b)是根据其个人概率P(a)，P(b)和联合概率P(ab)确定的，

其中a是选定特征A集合中的特征，b是目标原型集B中的类标签；

对于两个高度相互依赖的特征，删除其中任何一个都不会给特征的类判别能力带来变化；使特征变量ai与类标签b之间的依赖关系最大化：maxRv(A，b)，

使成对特征a_i和a_j的依赖关系最小化：minRd(A)，

此约束仅用于筛选出互斥的特征。

8.如权利要求1所述的基于特征融合的人脸表情识别方法，其特征在于：所述的将特征选择后的特征F_as与卷积神经网络所提取的更深层的特征F_d进行融合的步骤为：

首先，对卷积神经网络所提取的更深层的特征F_d和特征选择后的特征F_as特征数据进行零均值标准化，如公式

所示；其中，f_i表示其特征向量中的第i个数据；μ是所有样本数据的均值，计算方式如下

σ是标准差，用于衡量数据的离散程度，计算方式如下

然后对零均值标准化后的F_d特征和F_as特征进行向量拼接，从而得到融合后的特征向量F_asd，F_asd＝[F_as，F_d]。

Images