CN111523462B - 基于自注意增强cnn的视频序列表情识别系统及方法 - Google Patents

基于自注意增强cnn的视频序列表情识别系统及方法 Download PDF

Info

Publication number
CN111523462B
CN111523462B CN202010324540.0A CN202010324540A CN111523462B CN 111523462 B CN111523462 B CN 111523462B CN 202010324540 A CN202010324540 A CN 202010324540A CN 111523462 B CN111523462 B CN 111523462B
Authority
CN
China
Prior art keywords
self
cnn
layer
network
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010324540.0A
Other languages
English (en)
Other versions
CN111523462A (zh
Inventor
童莹
陈瑞
齐宇霄
陈乐�
曹雪虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN202010324540.0A priority Critical patent/CN111523462B/zh
Publication of CN111523462A publication Critical patent/CN111523462A/zh
Application granted granted Critical
Publication of CN111523462B publication Critical patent/CN111523462B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于自注意增强CNN的视频序列表情识别系统及方法，系统包括特征增强CNN模块、自注意力机制模块和全连接层；视频序列输入特征增强CNN模块，特征增强CNN模块输出的特征向量输入自注意力机制模块，自注意力机制模块输出的特征向量输入全连接层，全连接层将特征向量映射到样本标记空间中实现分类；特征增强CNN模块在骨干网络中增加若干卷积层，在骨干网络的中间层引出特征增强支路，并将特征增强支路的输出与骨干网络的输出融合，将网络中的全连接层替换为全局平局池化层。本发明提出的系统的复杂度更低，可有效提高视频序列表情识别的准确率，在人机交互、智慧教育、病人监护等领域具有广大应用前景。

Description

基于自注意增强CNN的视频序列表情识别系统及方法
技术领域
本发明涉及表情识别技术领域，具体涉及一种基于自注意增强CNN的视频序列表情识别系统及方法。
背景技术
人脸表情包含丰富的情感信息，是人类情绪表达的重要方式之一，也是人们进行非语言情感交流的有效手段。人们可以通过面部表情表达自己的情感，也可以准确辨认出对方的内心情感变化。因此，对人脸表情进行准确识别具有重要的研究价值和应用前景，是近年来人工智能领域的研究热点。
人脸表情识别系统一般包括图像预处理、人脸检测与人脸区域分割、表情特征提取和表情分类四个步骤，其中，表情特征提取和分类是系统实现的两个关键步骤。常用的传统人脸表情特征提取方法有LBP、HOG、SIFT、Gabor以及它们的改进算子，常用的传统分类器有支持向量机(Support Vector Machine，SVM)、随机森林(Random Forest，RF)、高斯过程(Gaussian Process，GP)、隐马尔可夫模型(Hidden Markov Model，HMM)等等。
然而，随着人脸表情识别在实际应用中的需求越来越广泛，进行测试的人脸表情数据库逐渐从简单的实验环境采集的数据库(人脸图像是正面、无遮挡的，且受试者根据要求夸张的表现情感)转向复杂的真实环境采集的数据库(人脸图像受真实环境光照、姿态变化、遮挡、配饰等多种因素混合干扰，且受试者自然的表现情感，情感表现程度各不相同)，这导致传统机器学习算法难以胜任复杂多变的非约束人脸表情识别。因此，具有强大学习能力的深度神经网络逐渐被应用在非约束人脸表情识别中，并取得了令人瞩目的效果。例如，MayyaV等人采用DCNN网络自动识别人脸表情；ConnieT等人采用混合CNN-SIFT网络提高人脸表情识别准确率；Bargal等人采用VGG13、VGG16、Resnet三个不同的网络提取表情图像的特征，并将特征融合使用支持向量机SVM实现分类；梁等人提出自适应Gabor卷积核编码网络的表情识别方法，对传统的Gabor核进行改进，提高了识别率。
上述方法是基于静态单帧图像的，与其相比，视频序列能够表达更丰富的表情变化信息，能够更精确地反映一个完整表情的运动过程，因此，基于视频序列的人脸表情识别研究更有实用价值也更具有挑战性。Zhao等人提出了一种基于peak-piloted的表情识别方法(PPDN)，使用峰值表情样本来监督相同类型的非峰值表情样本的中间特征变化，实现表情强度不变性；Yu等人提出了一种更深的级联peak-piloted的弱表情识别方法(DCPN)，增强了特征的辨别力，同时采用级联微调的方法避免过拟合；Jung等人提出了基于两种不同模型的联合微调网络(DTAGN)，其中一个深度网络从视频序列中提取时间变化特征，另一个网络从单帧图像面部关键点提取几何形态变化特征，从而提高了视频序列的人脸表情识别的精度。
目前，常用于视频序列表情识别的方法是结合CNN和长短期记忆(long short-term memory，LSTM)网络对视频中人脸表情的时空变化进行建模。为了获得较好的识别结果，一般需采用深层CNN网络提取空间信息，采用多层LSTM网络级联获取时间信息，这一方面增加了网络的计算开销，另一方面也会出现因网络层数加深而造成的梯度消失问题。
综上，虽然人脸表情识别已经取得了一定的成果，但仍存在一些不足：
(1)现有的研究多针对静态单帧图像，基于视频序列的人脸表情识别研究并不多，且研究成果多是在实验环境采集的视频数据库上进行验证的，例如，CK+，MMI，Oulu-CASIA等，这些数据中人脸表情夸张且受噪声干扰较少，对实际应用的参考价值不大；
(2)现有的在真实环境中采集的人脸表情视频数据较少，这导致深度神经网络的训练样本数量不足，严重影响了网络性能。同时，由于年龄、性别、种族等个体间差异，以及光照、姿态、遮挡、配饰等个体内变化，采集的人脸表情样本质量参差不齐。
这些均给设计一个实时、准确的非约束人脸表情识别系统增加了难度，现有的基于深度神经网络的人脸表情识别研究在性能提升上仍有很大的上升空间。
发明内容
发明目的：针对现有技术中存在的问题，本发明公开了一种基于自注意增强CNN的视频序列表情识别系统及方法，首先将传统CNN网络改进为特征增强CNN模块，以传统CNN网络为骨干网络，在骨干网络的中间层引出一条特征增强支路，并将特征增强支路的输出特征与骨干网络的输出的深层特征相融合，用于获取不同层次的人脸表情特征，丰富表情信息；同时，用自注意力机制模块代替多层LSTM网络，一方面通过自注意力机制模块学习序列内部的依赖关系，捕获内部结构，进而获取差异化的显著特征，另一方面自注意力机制是一种均值运算，可以有效避免因网络层数加深而造成的梯度消失问题，大大加快了网络的训练速度；特征增强CNN模块和自注意力机制模块结合有效提高了视频序列表情识别的准确率，在人机交互、智慧教育、病人监护等领域具有广大应用前景。
技术方案：本发明采用如下技术方案：一种基于自注意增强CNN的视频序列表情识别系统，其特征在于，包括特征增强CNN模块、自注意力机制模块和全连接层；其中，视频序列输入所述特征增强CNN模块，特征增强CNN模块用于获取视频序列的表情空间信息，特征增强CNN模块输出的特征向量输入所述自注意力机制模块，自注意力机制模块用于学习视频序列的面部纹理变化关系进而获取人脸表情特征，自注意力机制模块输出的特征向量输入级联的若干层全连接层，全连接层将特征向量映射到样本标记空间中实现表情分类；
所述特征增强CNN模块包括骨干网络和特征增强支路，其中，在骨干网络的中间层引出一条特征增强支路，并将特征增强支路的输出特征与骨干网络的输出特征相融合；在骨干网络中和特征增强支路中分别设置用于代替全连接层的全局平局池化层。
优选的，所述特征增强CNN模块的骨干网络为改进的VGG-16网络，其中，将VGG-16网络的全连接层替换为全局平局池化层，并在全局平局池化层前增加3层卷积层，3层卷积层的卷积核尺寸均为3*3*512*1024。
优选的，特征增强支路包括1层卷积层，卷积层的输入连接骨干网络的中间层，卷积层的输出连接特征增强支路中的全局平局池化层的输入，卷积层的卷积核尺寸为7*7*256*1024。
优选的，所述视频序列表情识别系统设置了1层全连接层。
优选的，所述自注意力机制模块中，权值矩阵尺寸为2048*2048，抑制注意力权重的超参数设置为0.1。
优选的，所述骨干网络的输出特征的维度与特征增强支路的输出特征的维度均为1024。
优选的，所述级联的全连接层之间还包括依次连接的归一化层、激活函数层和DropOut层。
一种基于自注意增强CNN的视频序列表情识别方法，其特征在于，包括如下步骤：
步骤A、对人脸表情视频进行人脸检测，截取人脸ROI区域，去除背景干扰；
步骤B、将预处理后的人脸表情视频以n帧为一组划分成若干视频序列；
步骤C、将每组视频序列顺序输入自注意增强CNN网络，输出n帧特征向量，自注意增强CNN网络由所述特征增强CNN模块、自注意力机制模块构成；
步骤D、将每组视频序列经过自注意增强CNN网络后输出的n帧特征向量融合为一个特征向量后，该特征向量经过归一化、激活函数、DropOut处理之后，使用全连接层将该特征向量映射到样本标记空间中，得到该组视频序列所属的表情类别；
步骤E、用Softmax函数计算各组视频序列所属的表情类别的概率值，最大概率值对应的表情类别即为该人脸表情视频的表情类别。
优选的，所述步骤B中，n小于或等于人脸表情视频长度的1/2，相邻的视频序列之间有n/2帧图像重叠。
有益效果：本发明具有如下有益效果：
1、本发明将传统CNN网络改进为特征增强CNN模块，以传统CNN网络为骨干网络，在骨干网络的中间层引出一条特征增强支路，并将特征增强支路的输出特征与骨干网络输出的深层特征相融合，丰富了表情信息；用全局平局池化层代替全连接层，降低了模型复杂度的同时并没有降低模型效率；
2、本发明用自注意力机制模块代替多层LSTM网络，一方面通过自注意力机制学习序列内部的依赖关系，捕获内部结构，进而获取差异化的显著特征，另一方面自注意力机制是一种均值运算，可以有效避免因网络层数加深而造成的梯度消失问题，大大加快了网络的训练速度；
3、与CNN-LSTM模型相比，本发明提出的自注意增强CNN模型的复杂度更低，识别效果更好，可有效提高视频序列表情识别系统的准确率，在人机交互、智慧教育、病人监护等领域具有广大应用前景。
附图说明
图1为本发明中基于自注意增强CNN的视频序列表情识别系统的整体系统框图；
图2为本发明中特征增强CNN模块的结构图；
图3为本发明中自注意力机制模块的结构图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
本发明公开了一种基于自注意增强CNN的视频序列表情识别系统，如图1所示，主要包含特征增强CNN(Feature-enhanced CNN)模块和自注意力机制(Self-attention)模块两个部分；视频序列输入特征增强CNN模块，特征增强CNN模块用于获取准确的视频序列的表情空间信息，特征增强CNN模块输出的特征向量输入自注意力机制模块，自注意力机制模块则通过学习视频序列内部的依赖关系，即帧与帧之间由于面部肌肉运动呈现的面部纹理变化关系，捕获内部结构，进而获取差异化的显著特征，即面部纹理变化呈现的显著人脸表情特征，可以有效提高非约束人脸表情识别的准确率，并且避免了梯度消失问题，网络训练时间大大降低，仅为传统CNN-LSTM网络的一半。
视频序列表情识别的具体过程为：输入一个视频序列，设为连续10帧图像，经特征增强CNN模块后，得到该10帧图像对应的特征向量x0，x1，…，x9；将特征向量x0，x1，…，x9输入自注意力机制模块，输出具有差异化的显著特征再将特征/>输入全连接层将学习到的深度语义特征映射到样本标记空间中实现表情分类。需要注意的是，在分类前本发明使用DropOut随机“灭活”特征值，防止模型过拟合。
卷积神经网络近年来在视觉识别任务上取得了巨大的成功，其中经典CNN网络有AlexNet、VGG、GoogLeNet和ResNet等。综合考虑网络的训练代价和识别精度，本发明采用VGG-16网络作为特征增强CNN模块的骨干网络。鉴于VGG-16的网络层数有限，在处理非约束人脸表情数据时，样本受真实环境光照、姿态变化、遮挡、配饰等多种因素混合干扰，且因个体文化差异，受试者表现同类情感的程度也各不相同，因此VGG-16提取的非约束人脸表情特征并不理想。
鉴于此，本发明对VGG-16网络进行改进，如图2所示，改进后的VGG-16网络的具体框架如下：
首先，在传统VGG-16网络的全连接层前又增加了3层卷积层，见图2中虚线框内，用于获取更深层的表情语义信息；3层卷积层的卷积核尺寸均为3*3*512*1024。
其次，在骨干网络的中间层引出一条特征增强支路进行特征增强，并将其与骨干网络输出的深层特征相融合，用于获取不同层次的人脸表情信息；这里，特征增强支路仅使用了1层卷积层，卷积核大小为7*7*256*1024，其目的是使用较大感受野保留更多的表情空间信息，且较少增加支路卷积深度。
最后，将特征增强CNN模块中的全连接层替换为全局平局池化(Global averagePooling，GAP)层，特征增强支路的卷积层的输出连接的特征增强支路的全局平局池化层的输入，其原理是求取每个特征通道的平均值，输出维度只与特征通道数有关，与特征尺寸无关，避免了全连接层中将多维特征拉成一维特征的复杂操作，大大降低模型的参数计算量。本发明中，骨干网络的全局平局池化层的输出特征的维度与特征增强支路的全局平局池化层的输出特征的维度相同，均为1024。
人类视觉系统利用注意力机制进行信息筛选，从而能够在复杂场景中迅速找到感兴趣的区域，极大地提高了视觉信息处理的效率与准确性。受此启发，本发明用自注意力机制模块代替多层LSTM网络，一方面通过自注意力机制模块学习视频序列内部的依赖关系，捕获内部结构，进而获取差异化的显著特征；另一方面自注意力机制是一种均值运算，可以有效避免因网络层数加深而造成的梯度消失问题，大大加快了模型的训练速度。
自注意力机制模块通过计算特征向量间的相关性得到注意力权重，根据注意力权重对特征向量进行加权后输出新的特征向量组；最后通过全连接层、激活函数层、DropOut层等网络计算出各表情类别的概率值，实验结果证明了自注意力机制模型的有效性。
自注意力机制模块内部结构如图3所示。
首先，将特征增强CNN模块输出的连续n帧图像的人脸表情特征向量表示为矩阵形式X＝[x1，x2，...，xn]，采用Q＝WqX，K＝WkX，V＝WvX计算图中的Q、K、V(即自注意力机制的查询Query、键Key、值Value)，其中，Wq、Wk、Wv为不同的网络权值矩阵，QKT描述了输入的特征矩阵X中的元素间相关性，即注意力权值，s是一个手工设置的一个超参数，目的是抑制注意力权值大小；
然后使用Softmax函数把注意力权值归一化为0到1之间，再与V相乘，得到差异化的显著特征矩阵X*。
这里，K、V、Q都是2048*2048的权值矩阵，相比全连接层，计算量大大降低，s抑制注意力权值，本发明中设置为0.1。
基于上述系统，本发明还公开了一种基于自注意增强CNN的视频序列表情识别方法，包括如下步骤：
步骤A、对人脸表情视频进行人脸检测，截取人脸ROI区域，去除背景干扰。
步骤B、将预处理后的人脸表情视频以n帧为一组划分成若干视频序列，n小于或等于人脸表情视频长度的1/2，且相邻的视频序列之间有n/2帧图像重叠。
若划分的视频序列的长度不足n帧时，则用该视频序列的最后一帧将其补全为n帧。
步骤C、将每组视频序列(n帧图像)顺序输入自注意增强CNN网络，输出n帧2048维特征，自注意增强CNN网络由上述特征增强CNN模块、自注意力机制模块构成。
步骤D、将每组视频序列经过自注意增强CNN网络后输出的n帧2048维特征相加取平均，融合为一个2048维度的特征向量，经过归一化、ReLU函数、DropOut之后，使用一层全连接层将该特征向量，即学习到的深度语义特征映射到样本标记空间中实现分类。
步骤E、用Sofimax计算属于该视频的各组序列的表情概率值，平均概率值最大对应的表情类别即为最终的识别标签。
本发明的一种基于自注意增强CNN的视频序列表情识别系统，网络训练参数的确定过程以及训练效果如下：
本发明实验的硬件环境为64位Ubuntu 16.04 LTS操作系统，CPU为Intel Corei7-7800X 3.50GHz，显卡型号为NVIDIA GeForce GTX 1080Ti，显存为11G。深度学习框架使用PyTorch框架。网络框架进行端到端训练。
1、数据库介绍
本发明在AFEW、CK+两个数据库上进行实验仿真，其中，AFEW均为真实环境采集的非约束人脸表情数据库，样本受环境光照、姿态变化、遮挡、配饰、分辨率、拍摄角度、复杂背景等多种因素混合干扰，且因个体文化差异，受试者表现同类情感的程度也各不相同；CK+为实验环境采集的约束人脸表情数据库，样本中人脸正面姿态、无遮挡，且受试者根据实验要求夸张的表现各类情感。可见，对非约束人脸表情进行识别研究更具挑战性。
(1)AFEW数据库
AFEW(Acted Facial Expression in the Wild)数据库由不同电影中节选的视频片段组成，受试者具有自发的人脸表情，且受真实环境光照、姿态变化、遮挡、配饰、拍摄角度、分辨率、复杂背景等多种因素混合干扰，自2013年起作为EmofiW竞赛中的评估数据，每年主委会均会对AFEW数据库进行微调。本发明选择2017年竞赛数据AFEW7.0进行实验。AFEW7.0数据库分为三个部分：训练集(773个样本)，验证集(383个样本)和测试集(653个样本)，其目的是为了确保三个数据集中受试者无重叠，由此验证人脸身份对人脸表情识别的影响。表情标签分别为生气(anger)、厌恶(disgust)、害怕(fear)、开心(happiness)、中性(neutral)、悲伤(sadness)、惊讶(surprise)等。
(2)CK+数据库
CK+数据库是用于评估人脸表情识别系统最广泛的实验室数据库，包含来自123个受试者的593个视频。视频持续时间从10帧到60帧不等，并且从中性表情一直变化到最夸张表情为止。其中，来自118名受试者的327个视频采用面部动作编码系统(FACS)被标记了七种基本情绪标签：生气(anger)，蔑视(contempt)，厌恶(disgust)，害怕(fear)，高兴(happiness)，悲伤(sadness)，惊讶(surprise)。由于CK+没有给定训练集和测试集，本发明将327个视频划分成长度为10帧的视频序列，共978个，取其中80％进行训练，20％进行测试，交叉验证5次得到实验结果。
2、网络预处理和数据扩增
本发明采用MTCNN网络对AFEW和CK+数据库进行人脸检测预处理，用以消除复杂背景对人脸表情识别的影响。同时，本发明也对这两个数据库进行了尺度缩放，用以扩增训练样本数量。
3、网络的预训练和微调
由于AFEW数据库复杂程度高于CK+数据库，因此，本发明主要基于AFEW数据库进行网络预训练和微调：
首先采用VGG-FACE权值作为骨干CNN网络的初始权值；
由于AFEW和CK+中训练数据有限，会导致网络训练参数不准确，因此用SFEW和FER2013中部分样本对自注意增强CNN网络进行微调，得到更准确的网络；
最后用AFEW的训练集及扩增的训练样本对自注意增强CNN网络进行训练，由此得到最佳网络参数；
CK+数据库则在此具有最佳网络参数的自注意增强CNN网络上直接进行训练和测试。
4、网络性能分析
(1)AFEW数据库上实验仿真
调整自注意增强CNN网络的结构和参数，在AFEW数据库上进行实验，得到仿真结果如表1所示。
表1
分析表1中数据，我们发现：
①当骨干网络输出维度、特征增强支路输出维度、超参数s均相同时，采用一层全连接层的识别效果优于两层全连接层的效果。见表1中实验1和实验2，当骨干输出维度＝支路输出维度＝1024，且自注意机制模块的超参数s＝0.06时，采用一层全连接层的识别率为41.97％，而两层全连接层的识别率为40.91％，下降了1.06％。
②在采用一层全连接层基础上，当骨干输出维度＝支路输出维度，超参数s取不同值时，网络识别效果也随之变化。见表1中实验2至实验6，当骨干输出维度＝支路输出维度＝1024，s分别取值等于0.06，0.01，0.1，0.2，0.3时，当超参数s＝0.1时，网络识别准确率达到最高值42.78％。
③若支路输出维度、全连接层数、超参数s设置相同，增加骨干输出维度，网络识别性能下降。见表1中实验2和实验7，当支路输出维度＝1024、全连接层数＝1、s＝0.06时，骨干输出维度等于1024的识别准确率为41.97％，而骨干输出维度增加到2048时，识别准确率下降了1.33％。
综上，我们得出结论：由于全连接层具有强大的拟合能力，当增加全连接层数时，有时会导致模型过拟合，识别准确率下降；同时，通过单纯的增加输出特征通道数提升网络识别性能，效果并不明显，因此，在本发明中，当骨干输出维度＝支路输出维度＝1024，超参数s＝0.1时，自注意增强CNN网络的性能最佳，识别准确率达到42.78％。
表2为采用自注意增强CNN网络与传统CNN-LSTM网络端到端训练和测试一张样本的运行时间，表3为两个网络在AFEW数据库上的性能比较。
表2
表3
从表2中数据可以看出，当用自注意力机制代替传统CNN-LSTM中多层LSTM网络，且用全局平局池化层代替全连接层时，网络训练时间由原来的40.34ms下降为21.25ms，下降了47.32％，测试时间也下降32.57％。同时，从表3中数据可以看出，自注意增强CNN网络的识别准确率相比传统CNN-LSTM网络提高了4.21％。
由此可见，本发明提出的自注意增强CNN网络对传统CNN网络进行改进，并且用自注意力机制代替多层LSTM网络，不仅提升了网络识别准确率，也大大降低了网络的训练和测试时间，在人机交互、智慧教育、病人监护等领域具有广阔应用前景和实用价值。
表4为自注意增强CNN网络在AFEW数据库上的混淆矩阵，其中，竖轴为真实标签，横轴为预测标签，数值单位为1％。
表4
从表4中可以看出，在AFEW数据库上，测试样本被正确分类的数量不占绝对优势，有时甚至会出现正确分类的视频数量远少于错误分类的视频数量。例如，标签为“害怕”的视频，正确分类的比例仅为13.64％，而被错误分类为“生气”的视频占27.27％，被错误分类为“开心”的视频占15.91％。同样，标签为“惊讶”的视频，正确分类的比例仅为15.56％，而被错误分类为“生气”的视频占28.89％。这是因为，现实生活中人的情绪往往不是单一的，会出现多种情感的混合。例如，生气、厌恶和悲伤三种情绪通常相互伴随，害怕、惊讶、开心的面部形态变化又具有某些相似性；并且，由于非约束人脸表情数据受年龄、性别、种族、光照条件、姿态变化、遮挡、分辨率、复杂背景等多种因素混合干扰，导致即使使用深度学习计算机也不易正确区分。这也从另一个角度说明，对视频序列的非约束人脸表情进行正确识别是一项极具挑战的研究课题。
(2)CK+数据库上实验仿真
采用上述在AFEW数据库上训练得到的，具有最佳结构和参数的自注意增强CNN网络(即骨干输出维度＝支路输出维度＝1024，超参数s＝0.1)训练CK+数据库，进行5次交叉验证，得到的自注意增强CNN网络在CK+数据库上的混淆矩阵如表5所示，其中，竖轴为真实标签，横轴为预测标签，数值单位为1％。
表5
从表5中数据可以看出，本发明在AFEW数据库训练得到的自注意增强CNN网络具有适用性，在CK+数据库上仍可以达到很好的识别性能。
(3)与先进算法的比较
为了进一步说明本发明提出的自注意增强CNN网络的先进性，在CK+数据库上进行实验，与现有先进算法进行比较，结果如表6所示。
表6
从表6中数据可以看出，本发明提出的自注意增强CNN网络达到最高识别率97.95％，比其他先进网络3DCNN-DAP、STM-ExpLet、DTAGN提高了5.6％，4.07％和1.52％，比传统CNN-LSTM网络提高了2.03％。
由此可见，在AFEW数据库训练得到的自注意增强CNN网络具有适用性，在CK+数据库上仍可以达到最佳识别性能，并且优于其他先进网络的识别结果，具有先进性。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于自注意增强CNN的视频序列表情识别系统，其特征在于，包括特征增强CNN模块、自注意力机制模块和全连接层；其中，视频序列输入所述特征增强CNN模块，特征增强CNN模块用于获取视频序列的表情空间信息，特征增强CNN模块输出的特征向量输入所述自注意力机制模块，自注意力机制模块用于学习视频序列的面部纹理变化关系进而获取人脸表情特征，自注意力机制模块输出的特征向量输入级联的若干层全连接层，全连接层将特征向量映射到样本标记空间中实现视频序列的表情分类；
所述特征增强CNN模块包括骨干网络和特征增强支路，其中，在骨干网络的中间层引出一条特征增强支路，并将特征增强支路的输出特征与骨干网络的输出特征相融合；在骨干网络中和特征增强支路中分别设置用于代替全连接层的全局平局池化层；
所述特征增强CNN模块的骨干网络为改进的VGG-16网络，其中，将VGG-16网络的全连接层替换为全局平局池化层，并在全局平局池化层前增加3层卷积层，3层卷积层的卷积核尺寸均为3*3*512*1024；
特征增强支路包括1层卷积层，卷积层的输入连接骨干网络的中间层，卷积层的输出连接特征增强支路中的全局平局池化层的输入，卷积层的卷积核尺寸为7*7*256*1024。
2.根据权利要求1所述的一种基于自注意增强CNN的视频序列表情识别系统，其特征在于，所述视频序列表情识别系统设置了1层全连接层。
3.根据权利要求2所述的一种基于自注意增强CNN的视频序列表情识别系统，其特征在于，所述自注意力机制模块中，权值矩阵尺寸为2048*2048，抑制注意力权重的超参数设置为0.1。
4.根据权利要求1所述的一种基于自注意增强CNN的视频序列表情识别系统，其特征在于，所述骨干网络的输出特征的维度与特征增强支路的输出特征的维度均为1024。
5.根据权利要求1所述的一种基于自注意增强CNN的视频序列表情识别系统，其特征在于，所述级联的全连接层之间还包括依次连接的归一化层、激活函数层和DropOut层。
6.根据权利要求1至5任一所述的一种基于自注意增强CNN的视频序列表情识别系统的表情识别方法，其特征在于，包括如下步骤：
步骤A、对人脸表情视频进行人脸检测，截取人脸ROI区域，去除背景干扰；
步骤B、将预处理后的人脸表情视频以n帧为一组划分成若干视频序列；
步骤C、将每组视频序列顺序输入自注意增强CNN网络，输出n帧特征向量，自注意增强CNN网络由所述特征增强CNN模块、自注意力机制模块构成；
步骤D、将每组视频序列经过自注意增强CNN网络后输出的n帧特征向量融合为一个特征向量后，该特征向量经过归一化、激活函数、DropOut处理之后，使用全连接层将该特征向量映射到样本标记空间中，得到该组视频序列所属的表情类别；
步骤E、用Softmax函数计算各组视频序列所属的表情类别的概率值，最大概率值对应的表情类别即为该人脸表情视频的表情类别。
7.根据权利要求6所述的一种基于自注意增强CNN的视频序列表情识别系统的表情识别方法，其特征在于，所述步骤B中，n小于或等于人脸表情视频长度的1/2，相邻的视频序列之间有n/2帧图像重叠。
CN202010324540.0A 2020-04-22 2020-04-22 基于自注意增强cnn的视频序列表情识别系统及方法 Active CN111523462B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010324540.0A CN111523462B (zh) 2020-04-22 2020-04-22 基于自注意增强cnn的视频序列表情识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010324540.0A CN111523462B (zh) 2020-04-22 2020-04-22 基于自注意增强cnn的视频序列表情识别系统及方法

Publications (2)

Publication Number Publication Date
CN111523462A CN111523462A (zh) 2020-08-11
CN111523462B true CN111523462B (zh) 2024-02-09

Family

ID=71904123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010324540.0A Active CN111523462B (zh) 2020-04-22 2020-04-22 基于自注意增强cnn的视频序列表情识别系统及方法

Country Status (1)

Country Link
CN (1) CN111523462B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308746A (zh) * 2020-09-28 2021-02-02 北京邮电大学 一种教学状态评估方法、装置及电子设备
CN112418095B (zh) * 2020-11-24 2023-06-30 华中师范大学 一种结合注意力机制的面部表情识别方法及系统
CN112651324A (zh) * 2020-12-22 2021-04-13 深圳壹账通智能科技有限公司 视频帧语义信息的提取方法、装置及计算机设备
CN112699815A (zh) * 2020-12-30 2021-04-23 常州码库数据科技有限公司 基于时空运动增强网络的动态表情识别方法及系统
CN112766119A (zh) * 2021-01-11 2021-05-07 厦门兆慧网络科技有限公司 一种基于多维度人脸分析精准识别陌生人构建社区安防的方法
CN112766158B (zh) * 2021-01-20 2022-06-03 重庆邮电大学 基于多任务级联式人脸遮挡表情识别方法
CN113033310A (zh) * 2021-02-25 2021-06-25 北京工业大学 一种基于视觉自注意力网络的表情识别方法
KR102677561B1 (ko) * 2021-07-05 2024-06-21 주식회사 아이티스노우볼 얼굴 감정 인식 장치 및 그 동작방법
CN113674334B (zh) * 2021-07-06 2023-04-18 复旦大学 基于深度自注意力网络和局部特征编码的纹理识别方法
CN113837015A (zh) * 2021-08-31 2021-12-24 艾普工华科技（武汉）有限公司 一种基于特征金字塔的人脸检测方法及系统
CN113723343A (zh) * 2021-09-08 2021-11-30 广州虎牙科技有限公司 表情特征参数处理方法、装置及电子设备
CN113963421B (zh) * 2021-11-16 2023-04-07 南京工程学院 基于混合特征增强网络的动态序列非约束表情识别方法
CN114842411A (zh) * 2022-04-02 2022-08-02 深圳先进技术研究院 一种基于互补时空信息建模的群体行为识别方法
CN114863520B (zh) * 2022-04-25 2023-04-25 陕西师范大学 一种基于c3d-sa的视频表情识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596039A (zh) * 2018-03-29 2018-09-28 南京邮电大学 一种基于3d卷积神经网络的双模态情感识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815785A (zh) * 2018-12-05 2019-05-28 四川大学 一种基于双流卷积神经网络的人脸情绪识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596039A (zh) * 2018-03-29 2018-09-28 南京邮电大学 一种基于3d卷积神经网络的双模态情感识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李政浩."基于深度注意力网络的人脸表情识别".《中国优秀硕士学位论文全文数据库 信息科技辑》.第三章、第2.2.2. *

Also Published As

Publication number Publication date
CN111523462A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN111523462B (zh) 基于自注意增强cnn的视频序列表情识别系统及方法
Song et al. Recognizing spontaneous micro-expression using a three-stream convolutional neural network
Canal et al. A survey on facial emotion recognition techniques: A state-of-the-art literature review
Bekhouche et al. Pyramid multi-level features for facial demographic estimation
Rao et al. Multi-pose facial expression recognition based on SURF boosting
CN109389045B (zh) 基于混合时空卷积模型的微表情识别方法与装置
Peng et al. Towards facial expression recognition in the wild: A new database and deep recognition system
Tiong et al. Implementation of multimodal biometric recognition via multi-feature deep learning networks and feature fusion
CN109711422A (zh) 图像数据处理、模型的建立方法、装置、计算机设备和存储介质
Zhou et al. Cross-database micro-expression recognition: a style aggregated and attention transfer approach
CN108427740A (zh) 一种基于深度度量学习的图像情感分类与检索算法
CN110427881A (zh) 基于人脸局部区域特征学习的跨数据库微表情识别方法及装置
Le et al. Dynamic image for micro-expression recognition on region-based framework
CN114511912A (zh) 基于双流卷积神经网络的跨库微表情识别方法及装置
Lu et al. Automatic gender recognition based on pixel-pattern-based texture feature
Sheikh Fathollahi et al. Gender classification from face images using central difference convolutional networks
Liu et al. Facial expression recognition for in-the-wild videos
Wei Saliency maps-based convolutional neural networks for facial expression recognition
CN111523461A (zh) 基于增强cnn和跨层lstm的表情识别系统与方法
Ma et al. Bottleneck feature extraction-based deep neural network model for facial emotion recognition
CN116883900A (zh) 一种基于多维生物特征的视频真伪鉴别方法和系统
Khellat-Kihel et al. Gender and ethnicity recognition based on visual attention-driven deep architectures
Takalkar et al. Improving micro-expression recognition accuracy using twofold feature extraction
Chen et al. Multithreading cascade of SURF for facial expression recognition
Wu et al. Question-driven multiple attention (dqma) model for visual question answer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant