CN111339847B - 一种基于图卷积神经网络的人脸情绪识别方法 - Google Patents

Abstract

本发明涉及一种基于图卷积神经网络的人脸情绪识别方法。本发明在图像数据库中，利用非人脸区域的图卷积神经网络提取背景图，并将把图片的欧式结构转换成图结构，通过提取图结构中节点和边的空间特征信息分析背景中人物的情绪状态进行人脸情绪分类，最终极大地提高了人脸情绪识别率；对于视频序列的数据，图卷积神经网络不仅对于空间域上的特征信息提取也有所提高，而且对于视频序列中的背景变化信息进行了推理，从而极大地提高了人脸情绪识别率。

Description

一种基于图卷积神经网络的人脸情绪识别方法

技术领域

本发明属于表情识别领域，具体涉及一种基于图卷积神经网络的人脸情绪识别方法。

背景技术

人脸表情识别是指从给定的静态图像或动态视频序列中分离出特定的表情状态，从而确定被识别对象的心理情绪。实现计算机对人脸表情的理解与识别，从根本上改变人与计算机的关系，从而达到更好的人机交互。因此人脸表情识别在心理学、智能机器人、智能监控、虚拟现实及合成动画等领域有很大的潜在应用价值。

人脸表情识别技术是近几十年来才逐渐发展起来的，由于面部表情的多样性和复杂性，并且涉及生理学及心理学，表情识别具有较大的难度，因此，与其它生物识别技术如指纹识别、虹膜识别、人脸识别等相比，发展相对较慢，应用还不广泛。(但是表情识别对于人机交互却有重要的价值，因此国内外很多研究机构及学者致力于这方面的研究，并己经取得了一定的成果。)

传统的解决方案是通过定义人类的6种基本表情,建立面部动作编码系统(FacialAction Coding System，FACS)，按照系统划分的一系列人脸动作单元(Action Unit，AU)来描述人脸面部动作，通过人脸运动和表情的关系，进而检测人脸面部细微表情。Yingli等人通过分析图像序列的固定人脸特征(眉毛、眼睛和嘴巴等)以及瞬时人脸特征(皱纹的深浅等)中的细微动态变化，从而根据FACS和AUs的方法自动识别出人脸表情^[1]。但是，以上方法对不同人脸部分的权重设定是人为的，这种方法缺少了缺乏对权重设定的统计支持。Lin等人为了更深层的挖掘出脸部肌肉中的情感信息以及利用AU提取出脸部表情中区别最大的区域，分别提取了不同表情中人脸特征上相似的图块与相异的图块，然后通过SupportVector Machine(SVM)进行人脸表情分类^[2]。虽然，以上的方法都取得了一定的成果，但是，它们都只能局限于正面无遮挡的人脸表情，对复杂环境中的人脸情绪识别表现不佳。

为了提高情绪识别算法的应用能力，近年来，学术界开始利用深度学习的方法解决更加复杂环境下的人脸表情。目前基于深度学习的表情识别有以下较具代表性的方法：Fan等人提出基于卷积神经网络(CNN：Convolutional Neural Network)改进的深层监督卷积神经网络(DSN：Deeply Supervised CNN)^[3]，从不同的卷积层中提取多层次和多尺度的特征信息，从而整个网络更加深层更加充分的学习了环境复杂变化的图片中人脸表情信息。Li等人将注意力机制(Attention mechanism)^[4]加入卷积神经网络中，使得图片人脸部分遮挡情况下，将网络的权重集中在最突出且无遮挡的人脸部分，该算法不论人脸是否遮挡都识别良好。Lee等人发现识别人脸情绪过程中^[5]，人物当下的相处环境以及人物的肢体动作都可以帮助卷积神经网络更好的识别人物表情。该卷积网络中有两条网络分支组成：一条是处理从图片或视频序列中提取的人脸信息；另一条网络处理将人脸遮挡住的图片或视频序列，并且利用注意力机制提取出环境或者肢体动作特征信息。

虽然相关研究已经取得了较好的人脸表情识别效果，但有些时候由于图片或视频内容中背景多变、人脸姿态多样，使得数据特征提取困难，人脸表情识别率不够理想。

发明内容

本发明的目的在于克服现有技术的缺点和不足，提供一种基于图卷积神经网络的人脸情绪识别方法，利用图卷积网络的技术将图片或者视频序列中的人脸与环境信息充分提取分析，显著提高了复杂环境中人脸表情识别的准确率。

为实现上述目的，本发明的技术方案是：一种基于图卷积神经网络的人脸情绪识别方法，包括如下步骤：

步骤1、将训练的视频序列按10帧每秒的采样速度，连续抽取4帧图片，即网络输入一组图片I_i包含4帧，索引i∈{0,1,2,3}；

步骤2、将通过步骤1所获得的一组图片I_i利用多任务卷积神经网络MTCNN人脸检测模型将图片I_i中的人脸分割生成人脸图片组F_i以及去除人脸的背景图片B_i，索引i∈{0,1,2,3}；

步骤3、利用FasterR-CNN模型算法检测图片中存在的各种物体类别，将背景图像B_i从欧式结构转换成非欧式结构的拓扑图V_i，V_i＝{v₁,v₂,...,v_t}包含36个节点，索引t∈{0,1,2,...,35}和i∈{0,1,2,3}；

步骤4、利用步骤2中生成的人脸图片组F_i分别执行串联卷积层阶段、平均池化阶段和注意力机制阶段；最终，获得人脸图片的特征信息X_face；

步骤5、利用步骤3中生成的拓扑图V_i分别执行初始阶段、图卷积阶段和注意力机制阶段；最终，获得拓扑图的特征信息Y_background；

步骤6、利用步骤4和步骤5中生成的X_face和Y_background分别执行融合阶段和分类阶段，最终得到视频或者图片的分类结果Cls(X_face,Y_background)；

步骤7、选出步骤6分类概率输出中与视频或图片标注类别相对应的概率值；

步骤8、基于步骤7得出的分类概率值，不断更新并优化获得最优的卷积权值参数和偏置参数。

在本发明一实施例中，所述步骤4具体实现如下：

步骤4.1、串联卷积阶段：该阶段由5个卷积运行块组成，每个卷积运行块是由卷积运算、批量归一化、激活函数和池化运算得到，其计算公式是：

X₁＝max(σ_r(bn(W₁*F_i+B₁)),0),i∈{0,1,2,3}   (1)

其中W₁和B₁分别是卷积权值参数和偏置参数，bn是批量归一化函数，σ_r是Relu激活函数；

步骤4.2、平均池化阶段：该阶段将X₁特征信息在时空维度上取平均，其计算公式是：

X₂＝aver(X₁)   (2)

步骤4.3、注意力机制阶段：该阶段包括卷积运算、激活函数和卷积运算，其计算公式是：

其中W₃ ¹和W₃ ²分别是第一层和第二层卷积权值参数，

和

分别是第一层和第二层偏置参数，X_face是从人脸图片提取出来的特征信息。

在本发明一实施例中，所述步骤5具体实现如下：

步骤5.1、初始阶段：将拓扑图V_i进行全连接运算得到其输出Y₁，其计算公式是：

Y₁＝W₁*V_i+B₁,i∈{0,1,2,3}   (4)

其中W₁和B₁分别是全连接层权值参数和偏置参数；

步骤5.2、图卷积阶段：该阶段由4个图卷积运算块组成，一个图卷积运算块包括4次卷积运算，一个残差运算，得到其输出Y₂，其计算公式是：

Y₂＝W_r*(R*Y₁*W_g)+Y₁   (5)

R＝(W_i*Y₁(V_i)^T*(W_j*Y₁(V_j))),i∈{0,1,2,3},j∈{0,1,2,3}

其中W_i和W_j分别是相关系数卷积层的权重参数，W_r和W_g分别是图卷积残差运算和图卷积运算的权重参数；

步骤5.3、注意力机制阶段：该阶段包括卷积运算、激活函数和卷积运算，其计算公式是：

其中W₃ ¹和W₃ ²分别是第一层和第二层卷积权值参数，

和

分别是第一层和第二层偏置参数，σ_r是Relu激活函数，Y_background是从背景图片提取出来的特征信息。

在本发明一实施例中，所述步骤6具体实现如下：

步骤6.1、融合阶段：该阶段将步骤4和步骤5生成的X_face和Y_background执行softmax逻辑回归运算再按通道维度连接，其计算公式是：

F₁＝{X_face*λ_face,Y_background*λ_background}{λ_face,λ_backgrou nd}＝soft max(X_face,Y_background)   (7)

步骤6.2、分类阶段：该阶段包括2次卷积运算、丢失函数、激活函数和分类函数，其计算公式是：

其中W₂ ¹和W₂ ²分别是第一层和第二层卷积权值参数，

和

分别是第一层和第二层偏置参数，drop是丢失函数，Logsoftmax是最后的分类函数，σ_r是Relu激活函数。

在本发明一实施例中，所述步骤8中，若分类概率值没有达到预先设定的分类识别率，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤4；若分类概率值已经获得预先设定的分类识别率时，则停止反向传播，并最终求得步骤4、5和6所获得的卷积权值参数和偏置参数。

相较于现有技术，本发明具有以下有益效果：

第一，本发明在图像数据库中，利用非人脸区域的图卷积神经网络提取背景图，并将把图片的欧式结构转换成图结构，通过提取图结构中节点和边的空间特征信息分析背景中人物的情绪状态进行人脸情绪分类。与基于深度学习的技术相比，本发明对空间信息的提取更加高效，最终极大地提高了人脸情绪识别率；

第二，对于视频序列的数据，图卷积神经网络不仅对于空间域上的特征信息提取也有所提高，而且对于视频序列中的背景变化信息进行了推理，从而极大地提高了人脸情绪识别率。

附图说明

图1是本发明基于图卷积神经网络的人脸情绪识别方法的原理示意图；

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

如图1所示，本发明提供了一种基于图卷积神经网络的人脸情绪识别方法，包括如下步骤：

步骤1、将训练的视频序列按10帧每秒的采样速度，连续抽取4帧图片，即网络输入一组图片I_i包含4帧，索引i∈{0,1,2,3}；

步骤2、将通过步骤1所获得的一组图片I_i利用多任务卷积神经网络MTCNN人脸检测模型将图片I_i中的人脸分割生成人脸图片组F_i以及去除人脸的背景图片B_i，索引i∈{0,1,2,3}；

步骤3、利用FasterR-CNN模型算法检测图片中存在的各种物体类别，将背景图像B_i从欧式结构转换成非欧式结构的拓扑图V_i，V_i＝{v₁,v₂,...,v_t}包含36个节点，索引t∈{0,1,2,...,35}和i∈{0,1,2,3}；

步骤4、利用步骤2中生成的人脸图片组F_i分别执行串联卷积层阶段、平均池化阶段和注意力机制阶段；最终，获得人脸图片的特征信息X_face；

所述步骤4具体包括以下步骤：

步骤4.1、串联卷积阶段：该阶段由5个卷积运行块组成，每个卷积运行块是由卷积运算、批量归一化、激活函数和池化运算得到，其计算公式是：

X₁＝max(σ_r(bn(W₁*F_i+B₁)),0),i∈{0,1,2,3}   (1)

其中W₁和B₁分别是卷积权值参数和偏置参数，bn是批量归一化函数，σ_r是Relu激活函数；

步骤4.2、平均池化阶段：该阶段将X₁特征信息在时空维度上取平均，其计算公式是：

X₂＝aver(X₁)   (2)

步骤4.3、注意力机制阶段：该阶段包括卷积运算、激活函数和卷积运算，其计算公式是：

其中W₃ ¹和W₃ ²分别是第一层和第二层卷积权值参数，

和

分别是第一层和第二层偏置参数，X_face是从人脸图片提取出来的特征信息；

步骤5、利用步骤3中生成的拓扑图V_i分别执行初始阶段、图卷积阶段和注意力机制阶段；最终，获得拓扑图的特征信息Y_background；

所述步骤5具体包括以下步骤：

步骤5.1、初始阶段：将拓扑图V_i进行全连接运算得到其输出Y₁，其计算公式是：

Y₁＝W₁*V_i+B₁,i∈{0,1,2,3}   (4)

其中W₁和B₁分别是全连接层权值参数和偏置参数；

步骤5.2、图卷积阶段：该阶段由4个图卷积运算块组成，一个图卷积运算块包括4次卷积运算，一个残差运算，得到其输出Y₂，其计算公式是：

Y₂＝W_r*(R*Y₁*W_g)+Y₁   (5)

R＝(W_i*Y₁(V_i)^T*(W_j*Y₁(V_j))),i∈{0,1,2,3},j∈{0,1,2,3}

其中W_i和W_j分别是相关系数卷积层的权重参数，W_r和W_g分别是图卷积残差运算和图卷积运算的权重参数；

步骤5.3、注意力机制阶段：该阶段包括卷积运算、激活函数和卷积运算，其计算公式是：

其中W₃ ¹和W₃ ²分别是第一层和第二层卷积权值参数，

和

分别是第一层和第二层偏置参数，σ_r是Relu激活函数，Y_background是从背景图片提取出来的特征信息；

步骤6、利用步骤4和步骤5中生成的X_face和Y_background分别执行融合阶段和分类阶段，最终得到视频或者图片的分类结果Cls(X_face,Y_background)；

所述步骤6具体包括以下步骤：

步骤6.1、融合阶段：该阶段将步骤4和步骤5生成的X_face和Y_background执行softmax逻辑回归运算再按通道维度连接，其计算公式是：

F₁＝{X_face*λ_face,Y_background*λ_background}{λ_face,λ_background}＝soft max(X_face,Y_background)   (7)

步骤6.2、分类阶段：该阶段包括2次卷积运算、丢失函数、激活函数和分类函数，其计算公式是：

其中W₂ ¹和W₂ ²分别是第一层和第二层卷积权值参数，

和

分别是第一层和第二层偏置参数，drop是丢失函数，Logsoftmax是最后的分类函数，σ_r是Relu激活函数；

步骤7、选出步骤6分类概率输出中与视频或图片标注类别相对应的概率值；

步骤8、基于步骤7得出的分类概率值，不断更新并优化获得最优的卷积权值参数和偏置参数。

若分类概率值没有达到预先设定的分类识别率，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤4；若分类概率值已经获得预先设定的分类识别率时，则停止反向传播，并最终求得步骤4、5和6所获得的卷积权值参数和偏置参数。

为了验证本发明的有效性，采用CAER-S(Context-Aware Emotion Recogntion-Static)^[5]公开图片数据库进行实验，该数据库的图片分辨率为712*400(像素)，共有79个场景。本发明把图像数据集分为训练集和测试集，并且分割的人脸分辨率降为96*96，背景的图结构大小为36*2048。本发明的识别技术在图片数据库上与一些现有技术进行比较，例如Fine-tuned ResNet，Fine-tuned VGGNet和CAER-Net-S^[5]等。

表1本发明与现有技术对于CAER-S图片数据库的平均人脸情绪识别率

从表1中可以看出，与现有经典人脸情绪识别算法相比，本发明在图片人脸情绪识别率分别提高了13％到22％左右。由此可见，本发明采用以上技术方案，较现有其他技术相比，对于图片中人脸情绪识别有更好的识别效果。

为了进一步验证人脸情绪识别效果，本发明也在公开视频数据库CAER(Context-Aware Emotion Recogntion)^[5]上进行了性能评估。本发明将视频数据库中每个视频序列以10帧每秒的采样速率随机采样4帧图片作为输入，提取出人脸和背景在时间域中的变化信息，因此得到更好的识别效果。本发明的识别技术在视频数据库上与一些现有技术进行比较，例如Sports-1M-C3D，Fine-tuned C3D和CAER-Net^[5]等。

表2本发明与现有技术对于CAER视频数据库的平均表情识别率

识别算法	Sports-1M-C3D	Fine-tuned C3D	CAER-Net	本发明
					识别率(％)	66.38	71.02	77.04	91.32

从表2中可以看出，与现有经典人脸情绪识别算法相比，本发明在视频序列人脸情绪识别率分别提高了14％到25％左右。由此可见，本发明采用以上技术方案，较现有其他技术相比，对于视频序列中人脸表情有更好的识别效果。

表3本发明在CAER-S图片数据库中人脸情绪识别率的混淆矩阵

表3中的混淆矩阵展示的是对于数据库中的记录按照真实的类别与本发明的识别技术预测的类别判断的数据汇总，其中表格的行表示真实类别，表格的列表示预测类别。可以从表格中得出，本发明对于厌恶，恐惧和伤心表情的识别率都在90％以上，在其余表情识别率也大幅提升。

表4本发明在CAER视频数据库中人脸情绪识别率的混淆矩阵

从表4中得出，本发明在视频序列识别中对于开心，中立和伤心表情的识别率提高极大，其余表情识别率也比现有经典技术提高许多。不论在视频序列还是图片数据库上，与现有技术相比，本发明的人脸情绪识别率有大幅提升。

本发明提出的人脸表情识别算法的创新性主要体现在两个方面：第一，本发明在图像数据库中，利用非人脸区域的图卷积神经网络提取背景图，并将把图片的欧式结构转换成图结构，通过提取图结构中节点和边的空间特征信息分析背景中人物的情绪状态进行人脸情绪分类。与基于深度学习的技术相比，本发明对空间信息的提取更加高效，最终极大地提高了人脸情绪识别率。第二，对于视频序列的数据，图卷积神经网络不仅对于空间域上的特征信息提取也有所提高，而且对于视频序列中的背景变化信息进行了推理，从而极大地提高了人脸情绪识别率。

参考文献：

[1]Ying-Li Tian,T.Kanada and J.F.Cohn,"Recognizing upper face actionunits for facial expression analysis,"Proceedings IEEE Conference on ComputerVision and Pattern Recognition.CVPR 2000(Cat.No.PR00662),Hilton Head Island,SC,2000,pp.294-301 vol.1.doi:10.1109/CVPR.2000.855832

[2]Zhong L,Liu Q,Yang P,et al.Learning Multiscale Active FacialPatches for Expression Analysis[C]//Computer Vision and Pattern Recognition(CVPR),2012IEEE Conference on.IEEE,2012.

[3]Fan Y,Lam J C K,Li V O K.Video-based emotion recognition usingdeeply-supervised neural networks[C]//Proceedings ofthe 2018on InternationalConference on Multimodal Interaction.ACM,2018:584-588.

[4]Li Y,Zeng J,Shan S,et al.Occlusion aware facial expressionrecognition using cnn with attention mechanism[J].IEEE Transactions on ImageProcessing,2018,28(5):2439-2450.

[5]Lee J,Kim S,Kim S,et al.Context-Aware Emotion Recognition Networks[C]//Proceedings of the IEEE International Conference on ComputerVision.2019:10143-10152.

[6]Zhang K,Zhang Z,Li Z,et al.Joint face detection and alignmentusing multitask cascaded convolutional networks[J].IEEE Signal ProcessingLetters,2016,23(10):1499-1503.

[7]Ren S,He K,Girshick R,et al.Faster r-cnn:Towards real-time objectdetection with region proposal networks[C]//Advances in neural informationprocessing systems.2015:91-99.。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (1)

1.一种基于图卷积神经网络的人脸情绪识别方法，其特征在于，包括如下步骤：

步骤1、将训练的视频序列按10帧每秒的采样速度，连续抽取4帧图片，即网络输入一组图片I_i包含4帧，索引i∈{0,1,2,3}；

步骤2、将通过步骤1所获得的一组图片I_i利用多任务卷积神经网络MTCNN人脸检测模型将图片I_i中的人脸分割生成人脸图片组F_i以及去除人脸的背景图片B_i，索引i∈{0,1,2,3}；

步骤3、利用FasterR-CNN模型算法检测图片中存在的各种物体类别，将背景图像B_i从欧式结构转换成非欧式结构的拓扑图V_i，V_i＝{v₁,v₂,...,v_t}包含36个节点，索引t∈{0,1,2,...,35}和i∈{0,1,2,3}；

步骤4、利用步骤2中生成的人脸图片组F_i分别执行串联卷积层阶段、平均池化阶段和注意力机制阶段；最终，获得人脸图片的特征信息X_face；

步骤5、利用步骤3中生成的拓扑图V_i分别执行初始阶段、图卷积阶段和注意力机制阶段；最终，获得拓扑图的特征信息Y_background；

步骤6、利用步骤4和步骤5中生成的X_face和Y_background分别执行融合阶段和分类阶段，最终得到视频或者图片的分类结果Cls(X_face,Y_background)；

步骤7、选出步骤6分类概率输出中与视频或图片标注类别相对应的概率值；

步骤8、基于步骤7得出的分类概率值，不断更新并优化获得最优的卷积权值参数和偏置参数；

所述步骤4具体实现如下：

步骤4.1、串联卷积阶段：该阶段由5个卷积运行块组成，每个卷积运行块是由卷积运算、批量归一化、激活函数和池化运算得到，其计算公式是：

X₁＝max(σ_r(bn(W₁*F_i+B₁)),0),i∈{0,1,2,3}    (1)

其中W₁和B₁分别是卷积权值参数和偏置参数，bn是批量归一化函数，σ_r是Relu激活函数；

步骤4.2、平均池化阶段：该阶段将X₁特征信息在时空维度上取平均，其计算公式是：

X₂＝aver(X₁)    (2)

步骤4.3、注意力机制阶段：该阶段包括卷积运算、激活函数和卷积运算，其计算公式是：

其中W₃ ¹和W₃ ²分别是第一层和第二层卷积权值参数，

和

分别是第一层和第二层偏置参数，X_face是从人脸图片提取出来的特征信息；

所述步骤5具体实现如下：

步骤5.1、初始阶段：将拓扑图V_i进行全连接运算得到其输出Y₁，其计算公式是：

Y₁＝W₁*V_i+B₁,i∈{0,1,2,3}    (4)

其中W₁和B₁分别是全连接层权值参数和偏置参数；

步骤5.2、图卷积阶段：该阶段由4个图卷积运算块组成，一个图卷积运算块包括4次卷积运算，一个残差运算，得到其输出Y₂，其计算公式是：

Y₂＝W_r*(R*Y₁*W_g)+Y₁    (5)

R＝(W_i*Y₁(V_i)^T*(W_j*Y₁(V_j))),i∈{0,1,2,3},j∈{0,1,2,3}

其中W_i和W_j分别是相关系数卷积层的权重参数，W_r和W_g分别是图卷积残差运算和图卷积运算的权重参数；

步骤5.3、注意力机制阶段：该阶段包括卷积运算、激活函数和卷积运算，其计算公式是：

其中W₃ ¹和W₃ ²分别是第一层和第二层卷积权值参数，

和

分别是第一层和第二层偏置参数，σ_r是Relu激活函数，Y_background是从背景图片提取出来的特征信息；

所述步骤6具体实现如下：

步骤6.1、融合阶段：该阶段将步骤4和步骤5生成的X_face和Y_background执行softmax逻辑回归运算再按通道维度连接，其计算公式是：

F₁＝{X_face*λ_face,Y_background*λ_background}{λ_face,λ_background}＝softmax(X_face,Y_background)                                                                          (7)

步骤6.2、分类阶段：该阶段包括2次卷积运算、丢失函数、激活函数和分类函数，其计算公式是：

其中W₂ ¹和W₂ ²分别是第一层和第二层卷积权值参数，

和

分别是第一层和第二层偏置参数，drop是丢失函数，Logsoftmax是最后的分类函数，σ_r是Relu激活函数；

所述步骤8中，若分类概率值没有达到预先设定的分类识别率，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤4；若分类概率值已经获得预先设定的分类识别率时，则停止反向传播，并最终求得步骤4、5和6所获得的卷积权值参数和偏置参数。

Images