CN112364705A - 基于多层次特征融合的轻量型cnn的表情识别方法 - Google Patents

Abstract

本发明涉及一种基于多层次特征融合的轻量型CNN的表情识别方法，包括下列步骤：准备表情识别数据集；对数据集进行预处理，裁剪到固定的尺寸；构建基于多层次特征融合的轻量型卷积神经网络的表情识别模型，该轻量型卷积神经网络由多个卷积层，包含卷积、批量归一化BatchNormalization和激活函数、m个Bottleneck模块、特征融合层Concat、全局平均池化层、softmax层组成；训练模型并测试：采用交叉熵损失，Adam优化器，对搭建的卷积神经网络模型进行优化，然后保存模型，在测试集上对模型进行测试。

Description

基于多层次特征融合的轻量型CNN的表情识别方法

技术领域

本发明涉及图像识别、深度学习等技术领域，尤其涉及一种多层次特征融合的轻量型卷积神经网络表情识别方法，该方法以轻量型的卷积网络为主干，并对卷积网络的深层和浅层特征信息进行融合。

背景技术

人脸表情识别属于情感计算的一个分支，早在上世纪70年代，著名心理学家PaulEkman就将人脸部表情划分为六类基本表情：愤怒、厌恶、恐惧、高兴、悲伤和惊讶，并提出表情可以通过观察面部信号进行识别。传统的表情识别大多采用手工特征或浅层学习的方法，例如LBP(Local Binary Patterns，局部二值模式)、HOG(Histogram of Oriented，方向梯度直方图)和稀疏学习等，这些方法虽然在实验室的摆拍小规模数据集上表现良好，但并不能应对复杂的真实场景。

近几年，随着深度学习的兴起，CNN(Convolutional Neural Networks，卷积神经网络)在图像领域得到应用，人脸表情识别的研究也开始从传统方法向深度学习方法转变。深度学习方法较传统方法，对图像特征的提取往往能取得更好的效果。

Yu等(Z D Yu,C Zhang.Image based Static Facial Expression Recognitionwith Multiple Deep Network Learning[C].International Conference on MultimodalInteraction,2015:435-442)先对三个CNN网络在较大数据集上进行预训练，然后在目标数据集上进行微调，其次对这三个网络的识别结果进行融合，得到了较好的表情识别结果。但该法包含三个CNN模型，参数量巨大，无法保证识别效率。

Li等(S Li,W H Deng,J P Du.Reliable Crowdsourcing and Deep Locality-Preserving Learning for Expression Recognition in the Wild[C].IEEE Conferenceon Computer Vision and Pattern Recognition,2017:2852-2861)设计了一种新的损失函数(LP-loss)，在保持类内紧凑的同时增大类间差异，达到增强模型表情判别力的目的，提出的DLP-CNN架构实现了较高的人脸表情识别率。但该法沿用经典的CNN结构，模型的参数量仍旧较大，增大了计算负荷。

Arriaga等(O Arriaga,M Valdenegro-Toro,P

Real-time convolutionalneural networks for emotion and gender classification[J].arXiv preprint,2017)利用深度可分离卷积网络，设计了一个体积更小、推理速度更快的网络结构，最终可实现在CPU上实时运行。但该法由于网络结构过于简单，表情识别的精度仅能达到基线水平。

李旻择等(李旻择,李小霞,王学渊,等.基于多尺度核特征卷积神经网络的实时人脸表情识别[J].计算机应用,2019,39(9):2568-2574.)设计了一个三分支的卷积模块，采用三个不同尺寸的卷积核提取特征，然后对三个分支的信息进行融合，该方法能提取到更丰富的特征信息，且该方法采用了轻量化的网络架构，最终实现了不错的精度和识别速度。但该方法由于大尺寸卷积核的运用，会造成一些识别效率的损失。

吕诲等(吕诲,童倩倩,袁志勇.基于人脸分割的复杂环境下表情识别实时框架[J/OL].计算机工程与应用.http://kns.cnki.net/kcms/detail/11.2127.tp.20190627.1738.013.html.)先采用图像分割，设计了一个人脸分割网络，通过人脸分割，得到对表情识别最相关的区域，再设计表情识别网络对分割后的图像进行识别，且两个网络都采用精简设计，最终实现了不错的识别率和识别效率。但该方法较为复杂，首先需要在表情数据集基础上构建一个人脸分割的数据集，然后训练人脸分割网络和表情识别网络，步骤较为繁琐。

综上所述，目前深度学习网络在表情识别方面的研究面临的主要难点在于：无法在保证识别准确率的前提下，提高计算效率。针对这些问题，本发明采用轻量化的卷积神经网络架构，并通过融合卷积网络的深层和浅层信息，实现了较好的识别率和识别效率。

发明内容

本发明针对现有的基于深度学习的表情识别方法存在的不足，提出一种基于多层次特征融合的轻量型卷积神经网络的表情识别方法。该方法采用轻量型网络架构设计，并对卷积网络的多个层次的特征进行融合，参数量更少，运行速度快，且具有较高识别率。技术方案如下：

一种基于多层次特征融合的轻量型CNN的表情识别方法，包括下列步骤：

[1]准备表情识别数据集；对数据集进行预处理，裁剪到固定的尺寸；

[2]构建基于多层次特征融合的轻量型卷积神经网络的表情识别模型，该轻量型卷积神经网络由多个卷积层，包含卷积、批量归一化BatchNormalization(简称BN)和激活函数、m个Bottleneck模块、特征融合层Concat、全局平均池化层、softmax层组成；

其中，Bottleneck模块，主干部分包括1×1卷积Conv2D-1和Conv2D-2、3×3可分离卷积DWConv2D；分支包括1×1卷积Conv2D-3，对主干和分支的特征图进行两个特征图对应元素相加的Add操作，得到输出特征图，Bottleneck结构采用MobileNetV2网络中的线性瓶颈层的结构，先用1×1卷积对特征图进行通道提升，对更多通道的特征图用深度可分离卷积提取特征，然后再进行通道压缩；本发明对其进行改进，在用于升维的1×1卷积Conv2D-1和用于提取特征的可分离卷积DWConv2D后使用更复杂的mish激活函数；

特征融合层Concat，对Bottleneck层输出的特征图经过1×1卷积降维至特定尺寸，然后对其进行Concat操作，Concat是对特征图进行叠加的操作，经过此操作，特征图通道数为叠加前通道数之和，融合多个卷积层的信息，在卷积神经网络中，不同卷积层输出的特征图分辨率不同，较浅层特征图分辨率高，对局部信息敏感，较深层特征图分辨率低，对整体轮廓信息敏感；

[3]训练模型并测试：采用交叉熵损失，Adam优化器，对搭建的卷积神经网络模型进行优化，然后保存模型，在测试集上对模型进行测试。

相较于现有的表情识别方法，本发明的优点在于：

1.在线性瓶颈结构中加入更复杂的mish激活函数，并添加了一个1×1卷积的分支，使该结构提取特征效果更好，基于该改进的线性瓶颈结构，构建了轻量型的表情识别网络，在保证一定精度的同时，减少了网络模型的参数量；

2.通过先对特征图降维，后进行通道合并的方法对卷积网络的深层和浅层信息进行融合，与直接使用全连接层进行融合的方法相比，本发明在仅增加少量模型参数量的情况下，实现了融合特征信息的目的，提高了表情识别的准确率。

附图说明

图1为本发明所述的网络结构图

图2为Bottleneck的结构图

图3为mish激活函数图像

图4为本发明在RAF-DB测试集上的混淆矩阵

图5为本发明在AffectNet测试集上的混淆矩阵

具体实施方式

下面结合附图对本发明加以详细说明，应当指出的是，所描述的实施例仅旨在便于对本发明的理解，而不对其起任何限定作用。

本发明的基于多层次特征融合的轻量型CNN的表情识别方法，包括下列步骤：

[1]准备表情识别数据集。对数据集进行预处理，裁剪到固定的尺寸。

[2]构建基于多层次特征融合的轻量型卷积神经网络的表情识别模型，训练网络的网络结构如图1所示，该网络由多个普通卷积层(包含卷积、批量归一化BatchNormalization(简称BN)、激活函数)、m个Bottleneck模块、特征融合层(Concat)、全局平均池化层、softmax层等结构组成。

其中Bottleneck结构如图2所示，主干部分包括1×1卷积Conv2D-1和Conv2D-2、3×3可分离卷积DWConv2D；分支包括1×1卷积Conv2D-3。对主干和分支的特征图进行Add操作(两个特征图对应元素相加)，得到输出特征图。本发明中的Bottleneck结构借鉴MobileNetV2网络中的线性瓶颈层的结构，先用1×1卷积对特征图进行通道提升，对更多通道的特征图用深度可分离卷积提取特征，然后再进行通道压缩。本发明对其进行改进，在用于升维的1×1卷积Conv2D-1和用于提取特征的可分离卷积DWConv2D后使用更复杂的mish激活函数，该激活函数的数学表达式为y＝tanh(ln(1+e^x))，图像如图3所示，与CNN中经常使用的relu激活函数(y＝max(0,x))相比，其对负值有轻微的允许，能获得更好的梯度流，有利于CNN的训练；并且Conv2D-3分支，使Add操作在网络输入和输出特征图通道不一致时也能进行，有利于CNN中的信息流通。

特征融合层设计，如图1所示，对几个特定Bottleneck层输出的特征图经过1×1卷积降维至特定尺寸，然后对其进行Concat操作(Concat是对特征图进行叠加的操作，经过此操作，特征图通道数为叠加前通道数之和)，融合多个卷积层的信息。在卷积神经网络中，不同卷积层输出的特征图分辨率不同，较浅层特征图分辨率高，对局部信息敏感，较深层特征图分辨率低，对整体轮廓信息敏感。与一般的直接用全连接层进行多层特征融合的方法不同，本发明先对各特定层的特征图降维，然后通过Concat操作叠加特征图，得到一个融合CNN深层和浅层信息的特征图，本发明的融合方法以更少的参数量达到了目的。

[4]训练模型并测试。采用交叉熵损失，Adam优化器，对搭建的卷积神经网络模型进行优化，然后保存模型，在测试集上对模型进行测试。

下结合实施例进一步说明。

1.准备表情识别数据集。本次训练模型主要用到RAF-DB数据集和AffectNet两个具有大量已标注表情的数据集。RAF-DB数据集包含12271个训练样本和3,068个测试样本，分为惊奇、害怕、厌恶、高兴、悲伤、生气、正常7类基本表情，该数据集已经被发布者处理为100×100。AffectNet数据集中的数据被标注为正常、高兴、悲伤、惊奇、害怕、厌恶、生气、轻视八类表情，由于该数据集数据较多，但厌恶、轻视等类别数据较少，所以对类别较多的数据进行随机挑选，避免样本过度不平衡，最终训练样本39720张，测试集4000张，这里需要对AffectNet数据集进行预处理，裁剪到112×112。

2.构建基于多层次特征融合的轻量型卷积神经网络的表情识别模型，训练网络的网络结构图，如图1所示，构建训练网络的具体过程如下：

1)构建所述网络的第0层，第0层为输入层，输入图像为112×112的RGB三通道图象。

2)构建所述网络的第1层，所述第一层包括普通卷积Conv2D，批量归一化BN和激活函数mish(图像如图3)。Conv2D卷积核大小为16×3×3×3，stride＝2，输入图像经过第一层卷积后，特征图尺寸变为56×56×16。

3)构建所述网络的第2-11层，该部分的10层网络均由Bottleneck结构组成，分别将第2-11层命名为Bottleneck1-10，Bottleneck结构如图2所示，主干部分包括卷积Conv2D-1、批量归一化BN、mish激活函数、可分离卷积DWConv2D、批量归一化BN、mish激活函数、卷积Conv2D-2和批量归一化BN；分支包括卷积Conv2D-3、批量归一化BN和mish激活函数，对主干和分支的特征图进行Add操作；其中Conv2D-1、Conv2D-2、Conv2D-3为1×1卷积，DWConv2D为3×3的可分离卷积。Bottleneck1-10的具体参数如下表1：

表1 Bottleneck1-10参数表

其中Conv2D-1卷积核通道数为输入特征图通道数的t倍，stride＝1；DWConv2D为3×3可分离卷积，stride＝s；Conv2D-2卷积核通道数为c，stride＝1；Conv2D-3的卷积核通道数为c，stride＝s。

4)构建所述网络的第12层(Concat层)，对Bottleneck2、4、6、7、8、9、10层的输出分别经过1×1卷积、批量归一化BN、mish激活函数，将每一个输出降维至14×14×10，然后对其进行Concat操作，该步骤用于多个卷积层特征的融合，经过Concat层，特征图尺寸变为14×14×70。

5)构建所述网络的第13层，所述第13层包括卷积Conv2D，批量归一化BN和激活函数mish。Conv2D卷积核大小为70×70×1×1，stride＝1。经过第13层，特征图尺寸变为14×14×70。

6)构建所述网络的第14层，所述第14层为全局平均池化层(Global--AveragePooling2D)。经过该层，特征图变为一个70维的向量。

7)构建所述网络的第15层，所述第15层为Reshape层。经过该层，特征图从一个70维的向量变为1×1×70。

8)构建所述网络的第16层，所述第16层为Dropout层。设置参数为0.3，经过该层，神经网络的神经元以30％的概率失活，避免模型过拟合。经过该层，特征图不变，仍为1×1×70。

9)构建所述网络的第17层，所述第17层为卷积Conv2D。Conv2D卷积核大小为k×70×1×1，stride＝1。经过该层，特征图尺寸变为1×1×k。(k为类别数)

10)构建所述网络的第18层，所述第18层为Softmax层。该层包含一个Softmax激活函数，用于将输出归一化为概率。经过该层，输出形状仍为1×1×k，但内容发生变化，变为k个概率值。

11)构建所述网络的第19层，所述网络的第10层为Reshape层。经过该层，输出一个k维向量(向量内为k个表情的分类概率)。

3.训练模型并测试。采用交叉熵损失，Adam优化器，初始学习率为0.002，当测试集损失不再下降时，对学习率进行0.5倍衰减，随机初始化权重，batch size(批量大小)为20，训练120个epoch，保存模型，在测试集上对模型进行测试。

最终本发明训练的模型，其参数量仅有167k，在RAF-DB数据集上实现了85.30％的准确率，混淆矩阵见图4，在AffectNet数据集上实现了57.23％的准确率，混淆矩阵见图5。

表2为各表情识别方法准确率和参数量的比较，可以看到相较经典的轻量型网络MobileNetV1、V2，本发明有更少的参数量，尽管相较Mini-Xception参数量更大，但实现了更好的识别率。本发明较好实现了识别率和识别效率的平衡。

表2 各方法参数和准确率对比图

网络结构	网络参数量	RAF-DB准确率	AffectNet准确率
				MobileNet V1	3.2M	82.14％	55.12％
MobileNet V2	2.3M	84.23％	56.27％
				Mini-Xception	0.06M	77.54％	52.34％
本发明	0.167M	85.30％	57.23％

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于多层次特征融合的轻量型CNN的表情识别方法，包括下列步骤：

1)准备表情识别数据集；对数据集进行预处理，裁剪到固定的尺寸；

2)构建基于多层次特征融合的轻量型卷积神经网络的表情识别模型，该轻量型卷积神经网络由多个卷积层，包含卷积、批量归一化BatchNormalization(简称BN)和激活函数、m个Bottleneck模块、特征融合层Concat、全局平均池化层、softmax层组成；

其中，Bottleneck模块，主干部分包括1×1卷积Conv2D-1和Conv2D-2、3×3可分离卷积DWConv2D；分支包括1×1卷积Conv2D-3，对主干和分支的特征图进行两个特征图对应元素相加的Add操作，得到输出特征图，Bottleneck结构采用MobileNetV2网络中的线性瓶颈层的结构，先用1×1卷积对特征图进行通道提升，对更多通道的特征图用深度可分离卷积提取特征，然后再进行通道压缩；在用于升维的1×1卷积Conv2D-1和用于提取特征的可分离卷积DWConv2D后使用更复杂的mish激活函数；

特征融合层Concat，对Bottleneck层输出的特征图经过1×1卷积降维至特定尺寸，然后对其进行Concat操作，Concat是对特征图进行叠加的操作，经过此操作，特征图通道数为叠加前通道数之和，融合多个卷积层的信息，在卷积神经网络中，不同卷积层输出的特征图分辨率不同，较浅层特征图分辨率高，对局部信息敏感，较深层特征图分辨率低，对整体轮廓信息敏感；

3)训练模型并测试：采用交叉熵损失，Adam优化器，对搭建的卷积神经网络模型进行优化，然后保存模型，在测试集上对模型进行测试。

Images