CN113516047A - 一种基于深度学习特征融合的人脸表情识别方法 - Google Patents

Abstract

本申请涉及一种基于深度学习特征融合的人脸表情识别方法，包括：人脸检测，获取人脸图像；将人脸图像通过改进的ResNet网络和VGG网络分别提取特征；提取的特征通过全连接层进行降维；采用加权融合的方法融合特征；送入Softmax层进行分类，输出人脸表情类别。本方法采用两种神经网络架构进行特征提取，充分融合提取到的特征。在训练过程中使用了余弦损失与交叉熵损失加权联合的损失函数，联合后的损失函数可以实现对相同类别之间紧密结合以及不同类别之间较大分离的功能。

Description

一种基于深度学习特征融合的人脸表情识别方法

技术领域

本发明涉及一种人脸表情识别方法，属于图像识别领域。

背景技术

人脸表情识别是计算机视觉领域的研究热点之一，其应用领域也十分广泛的。包括有人机交互、安全驾驶、智能监护、辅助驾驶、案件侦测等。当前的人脸表情识别算法主要是基于传统方法和基于深度学习方法。传统的人脸特征提取算法主要有主成分分析(Principal ComponentAnalysis,PCA)、尺度不变特征变换(Scale-Invariant FeatureTransformation,SIFT)、局部二值模式(Local Binary Patterns,LBP)、Gabor小波变换以及方向梯度直方图(Histogram Of Gradient,HOG)等，随着研究的深入和人工智能技术的发展，深度学习方法在图像识别领域大放异彩，深度神经网络(Deep neural network,DNN)被应用于表情识别并取得了较好的成绩。

然而目前的表情识别方法易受到图片噪声和人为干扰因素的影响造成识别率欠佳，而且单通道的神经网络从图像全局出发，容易忽略图像局部特征，造成特征的缺失，单网络模型提取特征单一是导致识别率较低的原因之一。

发明内容

本发明要解决的技术问题是人脸表情识别过程中单一卷积神经网络特征损失的问题，提出了一种基于深度学习特征融合的人脸表情识别方法。

为了达到上述目的，本发明采用的技术方案是：

S1、对待识别的图像进行人脸检测，获取人脸区域；

S2、对获取的人脸图像通过改进后的ResNet网络进行特征提取；

S3、对获取的人脸图像通过VGG网络进行特征提取；

S4、将步骤S2和步骤S3获取的特征送入全连接层进行降维；

S5、将步骤S4中降维后的特征利用加权融合的方式融合成新的特征；

S6、将步骤S5中的新特征送入全连接层进行再降维，然后利用Softmax层对其进行类别预测，输出类别信息。

进一步的，所述步骤S1中人脸检测获取人脸区域采用MSSD网络模型，其具体方法包括：

S11、以SSD目标检测网络为基础，将原基础网络VGG-16改为轻量化网络MobileNet。

S12、将步骤S11网络中的第7个深度可分离卷积层(浅层特征)与最后5层(深层特征)的特征图进行融合，将这六层的特征图分别重新调整为一维向量，再进行串联融合，实现多尺度人脸检测。

S13、目标检测网络由基础网络进行特征提取，元结构进行分类回归和边界框回归。

进一步的，所述步骤S2中对获取的人脸图像通过改进后的ResNet网络进行特征提取的具体方法是：对ResNet网络中的残差块进行改进，增加卷积操作，减少参数量，对网络层数进行修改并引入预激活方法。所述步骤S2包括：

S21、将S1中检测到的的人脸图像X＝(x₁,x₂,...,x_n)送入到ResNet网络中，经过若干个残差块处理之后，获取相应的全局特征f_S＝(f_S ¹,f_S ²,...,f_S ^m)，其中卷积运算过程如下所示：

其中x_l和x_l+1分别表示的是第l个残差单元的输入和输出。F是残差函数，而h(x_l)＝x_l表示恒等映射，f是RRelu激活函数。从浅层l到深层L的学习特征为

S22、特征经过展平层之后获到特征向量

进一步的，所述步骤S3中VGG网络提取特征的具体内容是：

VGG网络是采用连续的3×3卷积核代替较大卷积核，对于给定的感受野，使用多个小卷积核效果更好，通过激活函数可以实现非线性操作，能训练出更好的网络结构，同时代价不会增加。网络提取特征过程如下：

将S1中检测到的人脸图像经过VGG网络若干层卷积运算和最大池化运算之后获取到相应的局部特征f_V＝(f_V ¹,f_V ²,...,f_V ^k)；特征经过展平层之后获到特征向量

进一步的，步骤S4中降维的具体方法为：

S41、将步骤S2中提取到的特征向量

输入到两层全连接层f_c1-1和f_c1-2中进行降维，采用RRelu激活函数，如下所示：

全连接层各层结构如下所示：

f_c1-1＝{s₁,s₂,...,s₅₁₂}

f_c1-2＝{s₁,s₂,...,s₇}

其中，s表示当前全连接层的神经元，f₁₁中有512个神经元，f₁₂中有7个神经元，全连接层最后输出维度为7的特征向量

S42、将步骤S3中提取到的特征向量

输入到两层全连接层f_c2-1和f_c2-2中进行降维，各层结构如下所示：

f_c2-1＝{l₁,l₂,...,l₅₁₂}

f_c2-2＝{l₁,l₂,...,l₇}

其中，l表示当前全连接层的神经元，f_c2-1中有512个神经元，f_c2-2中有7个神经元，全连接层最后输出维度为7的特征向量

进一步的，所述步骤S5具体为：

将步骤S4中的特征

和

加权融合后形成新的特征F_z，设置权重系数k来调节两个通道的特征比重，融合过程如下所示：

当k取0或1的时候表示只有一个卷积神经网络提取特征。

进一步的，所述步骤S6中Softmax激活函数分类过程如下所示：

其中，Z是上一层的输出，Softmax的输入，维度为C，y_i为某一类别的概率值，i的取值代表了类别数。

本发明的先进点在于：

1、本发明采用双卷积神经网络进行特征提取，对基础网络进行改进，得到效果更好的网络结构，然后采用加权融合的方式，将两个特征向量融合后获取更有效的特征信息。

2、在卷积神经网络中将局部特征和全局特征有效融合，在特征提取的过程中将融合后的特征输入到后面的卷积层继续提取，丰富了特征图的信息。

3、采用新的损失函数—联合损失函数，使用了余弦损失与交叉熵损失加权联合后的损失函数，可以实现对相同类别之间紧密结合以及不同类别之间较大分离的功能。增强神经网络所提取特征的判别性。

附图说明

图1为MSSD人脸检测网络图。

图2为对ResNet网络改进后的结构图。

图3为基于深度学习特征融合的人脸表情识别方法流程图。

图4为神经网络提取表情特征的整体结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1，

参见图1-图4，本实施例1提供了一种基于深度学习特征融合的人脸表情识别方法，

包括如下步骤：

S1、对待识别的图像进行人脸检测，获取人脸区域；

参见图1，MobileNet中最大的亮点就是深度可分离卷积，它由深度卷积和点卷积组成，极大地加快了训练与识别的速度，因此采用深度可分离卷积来构建网络。在MSSD网络中，输入端通过1个卷积核大小为3×3、步长为2的标准卷积层，再经过13个深度可分离卷积层，后面输出端连接了4个卷积核分别为1×1、3×3交替组合的标准卷积层和1个最大池化层，考虑到池化层会损失一部分有效特征，因此在网络的标准卷积层中使用了步长为2的卷积核替代池化层。网络浅层特征的感受野较小，拥有更多的细节信息，对小目标的检测更具优势，因此MSSD人脸检测网络采用浅层与深层特征融合的方式。将第7层的浅层特征与深层特征融合时效果最好，因此网络采用第7、15、16、17、18、19层的融合特征。网络先将这六层的特征图分别重新调整为一维向量，再进行串联融合，实现多尺度人脸检测。

步骤S1中待识别的图像使用国际中一些人脸表情公开数据集，比如FER2013，CK+，和Jaffe等，或者采用摄像头获取图像，并将图片用于人脸检测和分割，具体步骤为：

S11、以SSD目标检测网络为基础，将原基础网络VGG-16改为轻量化网络MobileNet。

S12、将步骤S11网络中的第7个深度可分离卷积层(浅层特征)与最后5层(深层特征)的特征图进行融合，将这六层的特征图分别重新调整为一维向量，再进行串联融合，实现多尺度人脸检测。

S13、目标检测网络由基础网络进行特征提取，元结构进行分类回归和边界框回归。

具体的说，S1步骤是从人脸表情数据库，或者摄像头获取图像，然后使用MSSD网络对图像进行人脸检测，筛选出可信度最高的人脸区域，去除图像中背景的干扰，最终获取大小为48×48的人脸灰度图。

S2、对获取的人脸图像通过改进后的ResNet网络进行特征提取；

参见图2，对网络的改进是将残差块改为三层卷积层，前后各一个卷积核为1×1的卷积层，中间卷积层的卷积核大小没改变，这样增加了一个卷积操作，并且网络的参数量也大大减少了，在此基础上，为了防止梯度消失，缓解过拟合发生，以及增强网络的非线性表达能力，在每个卷积之后都加入了RRelu激活函数。之后将BN层和激活层提到卷积层之前，可以实现预激活，改变后的ResNet网络比原始ResNet网络训练速度会加快，并且误差会减少，。

步骤S2具体包括：

S21、将S1中检测到的的人脸图像X＝(x₁,x₂,...,x_n)送入到ResNet网络中，经过若干个残差块处理之后，获取相应的全局特征f_S＝(f_S ¹,f_S ²,...,f_S ^m)，其中卷积运算过程如下所示：

其中x_l和x_l+1分别表示的是第l个残差单元的输入和输出。F是残差函数，而h(x_l)＝x_l表示恒等映射，f是RRelu激活函数。从浅层l到深层L的学习特征为

S22、特征经过展平层之后获到特征向量

S3、对获取的人脸图像通过VGG网络进行特征提取：

具体的说，VGG网络是采用连续的3×3卷积核代替较大卷积核，对于给定的感受野，使用多个小卷积核效果更好，通过激活函数可以实现非线性操作，能训练出更好的网络结构，同时代价不会增加。VGG网络为基础结构，卷积核大小为3×3，在周边添加0填充padding＝1，这样可以保证卷积核得到的特征图大小不变，然后经过最大池化层将特征图尺寸减为一半，一共经过五个这样的卷积层，五个卷积核的通道数分别为64、128、256、512、512，其中有两个分支作为特征融合使用，经过卷积池化层调整好尺寸进行融合。两条通道经过全连接层后变为特征向量之后融合在一起，为了防止过拟合，引入dropout层。然后传入到后面的全连接层和softmax层进行分类预测，得到预测结果。将S1中检测到的人脸图像经过VGG网络若干层卷积运算和最大池化运算之后获取到相应的局部特征f_V＝(f_V ¹,f_V ²,...,f_V ^k)；特征经过展平层之后获到特征向量

步骤S4具体包括：

S41、将步骤S2中提取到的特征向量

输入到两层全连接层f_c1-1和f_c1-2中进行降维，采用RRelu激活函数，如下所示：

各层结构如下所示：

f_c1-1＝{s₁,s₂,...,s₅₁₂}

f_c1-2＝{s₁,s₂,...,s₇}

其中，s表示当前全连接层的神经元，f_c1-1中有512个神经元，f_c1-2中有7个神经元，全连接层最后输出维度为7的特征向量

S42、将步骤S3中提取到的特征向量

输入到来两层全连接层f_c2-1和f_c2-2进行降维，各层结构如下所示：

f_c2-1＝{l₁,l₂,...,l₅₁₂}

f_c2-2＝{l₁,l₂,...,l₇}

其中，l表示当前全连接层的神经元，f_c2-1中有512个神经元，f_c2-2中有7个神经元全连接层最后输出维度为7的特征向量

具体的说，将两个卷积神经网络输出的特征分别降为相同维度的特征，为特征融合做准备。

S5、将步骤S4中降维后的特征利用加权融合的方式融合成新的特征；

参见图4，整体网络结构是将VGG19网络进行裁剪操作，然后和改进后的ResNet网络进行融合。然后将浅层信息与深层信息相结合一起输入到下一个卷积层，这样可以使得提取到的特征信息更完整。这样的网络结构可以在不增加训练时间的情况下，更好地获得有利于分类的图像特征。融合后的特征相比于单通道提取的特征更容易匹配真实标签，识别效果也更好。将步骤S4中的特征

和

加权融合后形成新的特征F_z，设置权重系数k来调节两个通道的特征比重，融合过程如下所示：

当k取0或1的时候表示只有一个单通道的网络。

加权融合的好处就是可以调节不同神经网络输出特征的比例，通过大量实验寻找k的最佳取值，为0.5。

S6、将步骤S5中的新特征送入全连接层利用Softmax激活函数对其进行分类，输出表情；

所述步骤S6中Softmax激活函数分类过程如下所示：

其中，Z是上一层的输出，Softmax的输入，维度为C，y_i为某一类别的概率值，i的取值代表了类别数，此处将表情分为7类，分别是生气(anger)、厌恶(disgust)、恐惧(fear)、开心(happy)、伤心(sad)、惊讶(surprised)、中性(Normal)，最后的分类结果为输出最大概率值的神经元节点所对应的类别。

本发明未详述之处，均为本领域技术人员的公知技术。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (7)

1.一种基于深度学习特征融合的人脸表情识别方法，其特征在于，包括以下几个步骤：

S1、对待识别的图像进行人脸检测，获取人脸区域；

S2、对获取的人脸图像通过改进后的ResNet网络进行特征提取；

S3、对获取的人脸图像通过VGG网络进行特征提取；

S4、将步骤S2和步骤S3获取的特征送入全连接层进行降维；

S5、将步骤S4中降维后的特征利用加权融合的方式融合成新的特征；

S6、将步骤S5中的新特征送入全连接层进行再降维，然后利用Softmax层对其进行类别预测，输出类别信息。

2.根据权利要求1所述的基于深度学习特征融合的人脸表情识别方法，其特征在于，所述步骤S1包括：

S11、以SSD目标检测网络为基础，将原基础网络VGG-16改为轻量化网络MobileNet。

S12、将步骤S11网络中的第7个深度可分离卷积层(浅层特征)与最后5层(深层特征)的特征图进行融合，将这六层的特征图分别重新调整为一维向量，再进行串联融合，实现多尺度人脸检测。

S13、目标检测网络由基础网络进行特征提取，元结构进行分类回归和边界框回归。

3.根据权利要求2所述的基于深度学习特征融合的人脸表情识别方法，其特征在于，在所述步骤S2中包括：

S21、将S1中检测到的的人脸图像X＝(x₁,x₂,...,x_n)送入到ResNet网络中，经过若干个残差块处理之后，获取相应的全局特征f_S＝(f_S ¹,f_S ²,...,f_S ^m)，其中卷积运算过程如下所示：

其中x_l和x_l+1分别表示的是第l个残差单元的输入和输出。F是残差函数，而h(x_l)＝x_l表示恒等映射，f是RRelu激活函数。从浅层l到深层L的学习特征为

S22、特征经过展平层之后获到特征向量

4.根据权利要求3所述的基于深度学习特征融合的人脸表情识别方法，其特征在于，在所述步骤S3中，将S1中检测到的人脸图像经过VGG网络若干层卷积运算和最大池化运算之后获取到相应的局部特征f_V＝(f_V ¹,f_V ²,...,f_V ^k)；特征经过展平层之后获到特征向量

5.根据权利要求4所述的基于深度学习特征融合的人脸表情识别方法，其特征在于，在所述步骤S4包括：

S41、将步骤S3中提取到的特征向量

输入到两层全连接层f_c1-1和f_c1-2中进行降维，采用RRelu激活函数，如下所示：

各层结构如下所示：

f_c1-1＝{s₁,s₂,...,s₅₁₂}

f_c1-2＝{s₁,s₂,...,s₇}

其中，s表示当前全连接层的神经元，f_c1-1中有512个神经元，f_c1-2中有7个神经元，全连接层最后输出维度为7的特征向量

S42、将步骤S4中提取到的特征向量

输入到来两层全连接层f_c2-1和f_c2-2进行降维，各层结构如下所示：

f_c2-1＝{l₁,l₂,...,l₅₁₂}

f_c2-2＝{l₁,l₂,...,l₇}

其中，l表示当前全连接层的神经元，f_c2-1中有512个神经元，f_c2-2中有7个神经元全连接层最后输出维度为7的特征向量

6.根据权利要求5所述的基于深度学习特征融合的人脸表情识别方法，其特征在于，在所述步骤S5中加权融合的计算方法为：

将步骤S4中的特征

和

加权融合后形成新的特征F_z，设置权重系数k来调节两个通道的特征比重，融合过程如下所示：

当k取0或1的时候表示只有一个卷积神经网络提取特征。

7.根据权利要求6所述的基于深度学习特征融合的人脸表情识别方法，其特征在于，在所述步骤S6中Softmax激活函数的表达式为：

其中，Z是上一层的输出，Softmax的输入，维度为C，y_i为某一类别的概率值，i的取值代表了类别数，此处将表情分为7类，分别是生气(anger)、厌恶(disgust)、恐惧(fear)、开心(happy)、伤心(sad)、惊讶(surprised)、中性(Normal)，最后的分类结果为输出最大概率值的神经元节点所对应的类别。

Images