CN110059593A - 一种基于反馈卷积神经网络的面部表情识别方法 - Google Patents

Abstract

本发明公开了一种基于反馈卷积神经网络的面部表情识别方法，包括：首先采用摄像头采集RGB图像，然后对其进行预处理，预处理的步骤包括人脸检测、人脸配准、尺度变换以及样本扩充，然后将预处理后的表情图像用于反馈卷积神经网络的训练和测试。所述反馈卷积神经网络中包含有多个反馈层，使得反馈卷积神经网络能尽可能多的提取到有助于识别表情的特征，而尽可能少的提取身份、姿态等无关特征，以提升模型识别表情的准确率和鲁棒性。

Description

一种基于反馈卷积神经网络的面部表情识别方法

技术领域

本发明涉及面部表情识别领域，具体涉及一种基于反馈卷积神经网络的面部表情识别方法。

背景技术

面部表情是指利用计算机视觉技术从人脸图像中预测出表情类别，它在揭示人的意图、情感及其他内在状态方面发挥着极大的作用，是机器感知人类情绪变化并与人类进行沟通的重要手段，在智能人机交互、健康监控、市场、教育、心理学以及辅助驾驶等方面具有广泛的应用价值。

面部表情识别的流程包括图像预处理、特征提取以及表情分类。目前主流的人脸检测算法都是基于卷积神经网络的，比如目前流行的MTCNN人脸检测算法。检测到人脸后，可以利用眼睛、嘴角、笔尖等面部关键点来矫正人脸姿态，并从矫正后的人脸中提取表情相关的特征，并进一步送入分类器预测其所属的表情类别。

近年来基于卷积神经网络的人脸检测算法已经取得了很大的进展，一般来说人脸检测的准确率要优于最终表情分类的准确率，它已经不是制约面部表情识别效果的短板，而面部表情特征的提取和表情的分类才是最大的影响因素。因此，好的面部表情识别系统不仅需要准确检测人脸，更需要能够有效描述表情变化的特征以及准确区分不同表情的分类器。基于上述问题，本发明主要考虑面部表情特征的提取与表情识别问题，搭建一个反馈卷积神经网络来识别六种基本面部表情(高兴、愤怒、悲伤、恐惧、沮丧、惊讶)和中性表情。

发明内容

本发明的主要目的在于提出一种基于反馈卷积神经网络的面部表情识别方法，将相同结构的多个反馈层融入到baseCNN中，构建出一个反馈卷积神经网络用于从预处理后的表情图像中预测出其所属的表情类别(高兴、愤怒、悲伤、恐惧、沮丧、惊讶和中性)，对自然环境中的表情识别有较好的准确率和鲁棒性。

本发明采用如下技术方案：

本发明一种基于反馈卷积神经网络的面部表情识别方法，包括：

人脸检测，采用MTCNN方法进行人脸检测；

人脸姿态矫正，利用仿射变换矩阵对检测到的人脸进行人脸姿态变化以进行矫正；

面部表情识别，通过训练好的包括基本卷积神经网络baseCNN和反馈层的反馈卷积神经网络进行矫正后面部表情特征的提取，获得面部表情的分类；所述面部表情的分类包括高兴、愤怒、悲伤、恐惧、沮丧、惊讶和中性。

优选的，所述仿射变换矩阵的定义如下：

其中，θ表示左眼中心点到右眼中心点构成的向量与横轴之间的夹角，变换过程为其中(x,y)和(x',y')分别为变换前的横纵坐标和变换后的横纵坐标。

优选的，所述人脸姿态矫正之后还包括：

尺度变换，对每一幅人脸图像进行尺度变换，将其缩放到统一的尺度100x100x3；其中， 100为图像长或者宽，3代表RGB三个色彩通道。

优选的，训练过程中，所述人脸姿态矫正之后还包括：

数据扩充：在训练过程中将每一张图像都进行水平翻转并随机旋转-5°至5°之间的某个角度；将数据集按照类别分成7份，然后随机选取一个类别并从中选择一幅图像重新生成数据集以得到类别均衡的数据集。

优选的，所述baseCNN包括4个卷积模块、特征变换模块以和分类器；其中4个卷积模块用于从输入的表情图像中提取深度卷积特征；特征变换模块用于将第四个卷积模块输出的深度卷积特征变换成128维的特征向量，用来表征输入的表情图像；分类器用于根据128维的特征向量预测出所属的表情类别。

优选的，所述反馈层包括4个；每一个反馈层的输入都是一个(h,w,c)维的张量X^l；其中， h、w和c分别对应着高、宽和通道这三个维度，而l指代第l个反馈层；将反馈层的反馈状态g^l分解成空间反馈和通道反馈，如下

其中，和分别代表空间反馈和通道反馈；

将空间反馈和通道反馈的结果执行张量相乘积后送入sigmoid函数进行归一化，作为反馈层的输出。

优选的，所述空间反馈的具体实现为：

使用一个5层子网络对空间反馈进行建模；所述子网络由一个包括全局平均层、三个卷积核大小为3×3步幅为2的卷积层和尺度调整层；所述全局平均层的计算公式如下：

其中，代表第l个反馈层中空间反馈部分的第1个中间结果；代表X^l的第i个通道；i是一个临时变量，用作通道索引标号。

优选的，所述通道反馈的具体实现为：

使用一个三层网络来实现通道反馈，首先通过全局空间平均层执行挤压操作，将分布在各个空间位置的局部特征聚合，具体计算公式如下：

其中，代表第l个反馈层中通道反馈部分的第1个中间结果；代表X^l的第(i,j)个空间位置随影的所有通道值组成的向量；

接着通过两个全连接层实现用于承载自顶向下的反馈信息，具体实现如下：

其中，代表第l个反馈层中通道反馈部分的第2个中间结果；代表第l个反馈层中通道反馈部分的第3个中间结果；ReLU是一种神经元激活函数，其数学式为 ReLU(·)＝max(0,·)，其中“·”代表输入；和分别代表两个全连接层的参数矩阵，r表示压缩率。

与现有技术相比，本发明的有益效果如下：

(1)本发明一种基于反馈卷积神经网络的面部表情识别方法，考虑到光照变化、局部遮挡、面部旋转等复杂因素，对采集得到的人脸图像进行预处理以限制分析范围，从而提高人脸检测的准确率，进而为后续的表情分析部分提供良好的基础；

(2)对于表情分析而言，人脸图像中包含了若干噪声，比如身份、年龄、肤色以及光照等，且表情信息往往仅分布在眼睛、鼻子和嘴巴等局部区域中，因此本发明本发明一种基于反馈卷积神经网络的面部表情识别方法，在使用baseCNN提取丰富的深度卷积特征的同时，还融入了反馈层，目的就是从丰富的卷积特征中尽可能筛选出与表情分析任务相关的特征而滤除掉上述噪声，进一步提升整个模型识别表情的准确率和鲁棒性。

上述说明仅是本发明技术方案的概述，为了能够更清楚地了解本发明的技术手段，从而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下列举本发明的具体实施方式。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述及其他目的、优点和特征。

附图说明

图1为本发明的baseCNN结构框图；

图2为本发明的反馈层的结构框图；

图3为本发明的反馈卷积神经网络的结构框图；

图4为本发明的实施流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步的详细描述。

参见图1至图4所示，本发明一种基于反馈卷积神经网络的面部表情识别方法，能够通过反馈卷积神经网络识别七种表情类别(高兴、愤怒、悲伤、恐惧、沮丧、惊讶和中性)，具体步骤如下：

步骤1，进行数据预处理，尽量剔除背景信息，减弱姿态干扰；

步骤2，搭建一个反馈卷积神经网络以端到端的形式同时完成面部表情特征的提取和面部表情的分类。

步骤1具体包括：

步骤10，人脸检测：采用MTCNN算法进行人脸检测，从而减少人脸图像中与表情分析无关的背景信息，增强信噪比；

步骤11，姿态矫正：由于自然环境下的人脸姿态可能存在较大差异，利用仿射变换矩阵对其姿态变化进行矫正，该仿射变换矩阵的定义为其中θ为左眼中心点到右眼中心点构成的向量与横轴之间的夹角，变换过程为其中(x,y)和(x',y')分别为变换前的横纵坐标和变换后的横纵坐标。

步骤12，尺度变换：图像分辨率若过高，会严重增大算法计算复杂度，而分辨率过低又会使得细微的表情信息丢失，所以权衡两者后，对每一幅表情图像进行尺度变换，将其缩放到统一的尺度100x100x3(其中100为图像长或者宽，3代表RGB三个色彩通道)。

步骤13，数据扩充：由于高质量的表情数据集的构建比较困难，所以为了进一步扩充数据集以增加其丰富性，在训练过程中将每一张图像都进行水平翻转(符合人脸的水平对称性) 并随机旋转-5°至5°之间的某个角度。此外，由于数据集中各个表情类别的样本量相差太大，也就是说存在样本类别失衡问题，所以将数据集按照类别分成7份，然后随机选取一个类别并从中选择一幅图像从新生成数据集，采用这种方法可以得到类别均衡的数据集。

步骤1具体包括：

反馈卷积神经网络(FCNN)主要由baseCNN和反馈层(feedback layer)两部分构成：

baseCNN由4个卷积模块(卷积模块1、卷积模块2、卷积模块3和卷积模块4)、特征变换模块以及分类器组成，其组成如表1中的所示，其结构框图则如图1所示。其中4个卷积模块用于从输入的表情图像中提取丰富的深度卷积特征；特征变换模块用于将卷积模块4 输出的深度卷积特征变换成128维的特征向量，用来表征输入的表情图像；分类器的作用则是根据128维的特征向量预测出所属的表情类别。

表1 baseCNN各组成成分

反馈层(feedback layer)的具体实现如下：

每一个反馈层的输入都是一个(h,w,c)维的张量X^l；其中，h、w和c分别对应着高、宽和通道这三个维度，而l指代第l个反馈层。反馈层作用是为了同时利用高层信息和低层信息进而生成一组反馈状态Z＝g(X^l,θ^l)(维度与输入X^l相同)，且考虑到输入在空间和通道上的相对独立性，选择将反馈层分解成空间反馈和通道反馈：

其中，和分别代表空间反馈和通道反馈。通过设计一个双分支结构来实现两者的分解：一个分支对空间反馈进行建模(在各通道维度上共享)，另一个分支对通道反馈进行建模(在高度和宽度维度上共享)。通过这种设计，可以通过张量乘法高效的计算出整个反馈层的反馈状态g^l。

空间反馈的具体实现如下：

用一个很小的(共28个参数)5层子网络对空间反馈进行建模，如图2所示。该子网络由一个全局平均层(0个参数)、三个卷积核大小为3×3步幅为2的卷积层(共27个参数)以及尺度调整层(1个参数)。全局平均层的计算公式如下：

其中，代表第l个反馈层中空间反馈部分的第1个中间结果；代表X^l的第i个通道；i是一个临时变量，用作通道索引标号。

全局平均层是专门为压缩后续卷积层的输入大小进而压缩卷积层中参数数量而设计的，且因为在设计中所有通道都是共享相同的空间反馈，所以这种跨通道的平均也不失合理性。最后，我们添加了一个尺度调整层(1个参数)，该层自动学习出一个尺度因子来调整卷积层输出的尺度，以便于自适应的方式匹配通道反馈的尺度。

通道反馈的具体实现如下：

用一个小的三层自网络来实现通道反馈，如图2所示。首先通过全局空间平均层(0个参数)执行挤压操作，将分布在各个空间位置的局部特征聚合，具体计算公式如下：

其中，代表第l个反馈层中通道反馈部分的第1个中间结果；代表X^l的第(i,j)个空间位置随影的所有通道值组成的向量；

接着通过两个全连接层实现用于承载自顶向下的反馈信息，具体实现如下：

其中，代表第l个反馈层中通道反馈部分的第2个中间结果；代表第l个反馈层中通道反馈部分的第3个中间结果；ReLU是一种神经元激活函数，其数学式为 ReLU(·)＝max(0,·)，其中“·”代表输入；(c²/r个参数)和(c²/r个参数) 分别代表两个全连接层的参数矩阵，而r则表示压缩率(在实现中按经验选择r＝4)，这种压缩的策略可以将参数从c²个(直接用单个全连接层的情况)减少到2c²/r个，也就是说当r＝4时，参数数量减少一半。

反馈层的整合具体实现如下：

最后为了将空间反馈和通道反馈整合成一个完整的反馈层且满足前面对反馈层的约束，将两者的结果执行张量乘积后送入sigmoid函数进行归一化，作为反馈层的输出，最后得到如图2所示的反馈层。

反馈卷积神经网络的具体结构如下：

将baseCNN全局池化层之前的卷积部分划分为四个卷积模块(分别为图中的卷积模块1、卷积模块2、卷积模块3和卷积模块4)，且每个卷积模块的最后一层均为最大池化层，接下来在baseCNN的四个卷积模块之后都添加一个反馈层得到一个反馈卷积神经网络的实例 FCNN，FCNN结构框图如图3所示。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (8)

1.一种基于反馈卷积神经网络的面部表情识别方法，其特征在于，包括：

人脸检测，采用MTCNN方法进行人脸检测；

人脸姿态矫正，利用仿射变换矩阵对检测到的人脸进行人脸姿态变换以进行矫正；

面部表情识别，通过训练好的包括基本卷积神经网络baseCNN和反馈层的反馈卷积神经网络进行矫正后面部表情特征的提取，获得面部表情的分类；所述面部表情的分类包括高兴、愤怒、悲伤、恐惧、沮丧、惊讶和中性。

2.根据权利要求1所述的基于反馈卷积神经网络的面部表情识别方法，其特征在于，所述仿射变换矩阵的定义如下：

其中，θ表示左眼中心点到右眼中心点构成的向量与横轴之间的夹角，变换过程为其中(x,y)和(x',y')分别为变换前的横纵坐标和变换后的横纵坐标。

3.根据权利要求1所述的基于反馈卷积神经网络的面部表情识别方法，其特征在于，所述人脸姿态矫正之后还包括：

尺度变换，对每一幅人脸图像进行尺度变换，将其缩放到统一的尺度100x100x3；其中，100为图像长或者宽，3代表RGB三个色彩通道。

4.根据权利要求1所述的基于反馈卷积神经网络的面部表情识别方法，其特征在于，训练过程中，所述人脸姿态矫正之后还包括：

数据扩充：在训练过程中将每一张图像都进行水平翻转并随机旋转-5°至5°之间的某个角度；将数据集按照类别分成7份，然后随机选取一个类别并从中选择一幅图像重新生成数据集以得到类别均衡的数据集。

5.根据权利要求1所述的基于反馈卷积神经网络的面部表情识别方法，其特征在于，所述baseCNN包括4个卷积模块、特征变换模块以和分类器；其中4个卷积模块用于从输入的表情图像中提取深度卷积特征；特征变换模块用于将第四个卷积模块输出的深度卷积特征变换成128维的特征向量，用来表征输入的表情图像；分类器用于根据128维的特征向量预测出所属的表情类别。

6.根据权利要求5所述的基于反馈卷积神经网络的面部表情识别方法，其特征在于，所述反馈层包括4个；每一个反馈层的输入都是一个(h,w,c)维的张量X^l；其中，h、w和c分别对应着高、宽和通道这三个维度，而l指代第l个反馈层；将反馈层的反馈状态g^l分解成空间反馈和通道反馈，如下

其中，和分别代表空间反馈和通道反馈；

将空间反馈和通道反馈的结果执行张量相乘积后送入sigmoid函数进行归一化，作为反馈层的输出。

7.根据权利要求6所述的基于反馈卷积神经网络的面部表情识别方法，其特征在于，所述空间反馈的具体实现为：

使用一个5层子网络对空间反馈进行建模；所述子网络由一个包括全局平均层、三个卷积核大小为3×3步幅为2的卷积层和尺度调整层；所述全局平均层的计算公式如下：

其中，代表第l个反馈层中空间反馈部分的第1个中间结果；代表X^l的第i个通道；i是一个临时变量，用作通道索引标号。

8.根据权利要求7所述的基于反馈卷积神经网络的面部表情识别方法，其特征在于，所述通道反馈的具体实现为：

使用一个三层网络来实现通道反馈，首先通过全局空间平均层执行挤压操作，将分布在各个空间位置的局部特征聚合，具体计算公式如下：

其中，代表第l个反馈层中通道反馈部分的第1个中间结果；代表X^l的第(i,j)个空间位置随影的所有通道值组成的向量；

接着通过两个全连接层实现用于承载自顶向下的反馈信息，具体实现如下：

其中，代表第l个反馈层中通道反馈部分的第2个中间结果；代表第l个反馈层中通道反馈部分的第3个中间结果；ReLU是一种神经元激活函数，其数学式为ReLU(·)＝max(0,·)，其中“·”代表输入；和分别代表两个全连接层的参数矩阵，r表示压缩率。