CN114550270A

CN114550270A - 一种基于双注意力机制的微表情识别方法

Info

Publication number: CN114550270A
Application number: CN202210207843.3A
Authority: CN
Inventors: 唐宏; 朱龙娇; 刘红梅; 范森
Original assignee: Chongqing University of Post and Telecommunications
Current assignee: Chongqing University of Post and Telecommunications
Priority date: 2022-03-03
Filing date: 2022-03-03
Publication date: 2022-05-27

Abstract

本发明属于计算机视觉领域，具体涉及一种基于双注意力机制的微表情识别方法；该方法包括：获取待识别微表情数据并对其进行预处理；根据预处理后的微表情数据进行光流特征提取，得到光流的水平分量、垂直分量和光学应变；将光流的水平分量、垂直分量和光学应变进行通道连接，得到新微表情数据；将新微表情数据输入到基于双注意力机制的inception网络中进行处理，得到微表情识别结果；本发明通过光流法提取微表情的光流特征图，通过通道注意力模块对不同的通道赋予不同的权重，通过空间注意力模块对不同的空间位置赋予不同的权重，使得网络学习到微表情的关键特征；本发明有效地提高了微表情识别的准确率，具有良好的应用前景。

Description

一种基于双注意力机制的微表情识别方法

技术领域

本发明属于计算机视觉领域，涉及微表情识别、深度学习和光流法，特别涉及一种基于双注意力机制的微表情识别方法。

背景技术

人的面部表情主要分为宏表情和微表情两种。面部表情是非语言交流的一种形式，由情绪状态下面部肌肉收缩产生。不同的肌肉运动和方式最终反映出不同类型的情感。然而，宏表情并不能准确地暗示一个人的真实情绪状态，因为它很容易被伪造。而微表情是一种不能被神经系统控制的短暂的面部表情，能够反映人的真实情感且无法隐藏。微表情在心理学、公共安全、临床医学、刑事审讯等领域具有很多潜在的应用。但是微表情持续时间大约只有0.04s～0.2s，且强度微弱，发生在人脸的局部区域，因此很难被人的肉眼识别出来，即使是经过专业训练的人员，其对微表情的识别率也不高，且要花费大量的时间成本。所以基于计算机自动识别的微表情研究成为热点。

目前，自动微表情识别主要有深度学习方法和传统的机器学习方法。传统的微表情识别算法主要利用不同的特征提取器提取微表情特征，之后将提取到的特征输入到分类器，利用分类器学习训练样本进行微表情的识别。但是传统方法提取特征方式复杂，需要手动设计特征描述子，由于微表情的运动是局部性的，因此传统特征提取方法也很难完全捕捉面部的微弱变化，同时，特征的计算量较大，而且分类器的选择对分类性能的影响很大。所以，传统的微表情识别方法存在一定的局限性。

近年来，深度神经网络在人脸微表情识别方面取得了显著进展。深度学习的鲁棒性带来了比传统手工方法更有前途的性能。然而，深度学习方法所面临的困难主要有以下两点，一是现存的自发微表情数据集较少且每一个数据集中的样本数量十分有限；二是在单个数据集中存在类别不均衡的问题，即不同类别的样本之间数量相差较大，在微表情识别领域，手工特征方法与深度学习方法各有利弊且均能获得优于人工识别的准确率。但是由于微表情自身的面部运动特点以及数据的缺乏，使得如何充分学习微表情的关键特征仍然是微表情识别亟待解决的问题。

在微表情识别的深度学习方法中，网络的输入数据以及分类网络的设计决定了微表情识别的性能。一方面，在以多通道信息为网络输入的情况下，现存方法中并没有考虑每个通道的差异性，这在一定程度上限制了网络对关键信息的学习能力。另一方面，在设计网络结构时，如果网络过深会引入大量的参数使得模型较为复杂，并且会导致浅层信息的损失较多，限制了分类性能的提升；如果网络过浅，将难以充分的提取微表情的特征；另外，在微表情发生时，面部肌肉的局部变化强度因人而异导致了微表情特征具有局部区域的特点，这也给微表情特征的提取带来了挑战。

发明内容

针对现有技术存在的不足，本发明提出了一种基于双注意力机制的微表情识别方法，该方法包括：获取待识别微表情数据；将待识别微表情数据输入到训练好的基于双注意力机制的微表情识别模型中，得到微表情识别结果；

对基于双注意力机制的微表情识别模型进行训练的过程包括：

S1：获取训练微表情数据并对其进行预处理，得到预处理后的微表情数据；

S2：根据预处理后的微表情数据进行光流特征提取，得到光流的水平分量、垂直分量和光学应变；

S3：将光流的水平分量、垂直分量和光学应变进行通道连接，得到新微表情数据；

S4：将新微表情数据输入到基于双注意力机制的inception网络中进行处理，得到微表情识别结果；其中，基于双注意力机制的inception网络包括inception模块、通道注意力模块和空间注意力模块；

S5：计算基于双注意力机制的微表情识别模型的损失函数，根据损失函数调整模型参数；当损失最小时，得到训练好的基于双注意力机制的微表情识别模型。

优选的，对微表情数据进行预处理包括：

获取微表情数据的起始帧和顶点帧；

对微表情数据的起始帧和顶点帧进行人脸关键点检测和定位，得到定位坐标；根据定位坐标进行区域裁剪，得到仅包含发生微表情的人脸面部区域图像；

对仅包含发生微表情的人脸面部区域图像进行尺度归一化和灰度归一化操作，得到预处理好的微表情数据。

优选的，根据预处理后的微表情数据进行光流特征提取的过程包括：根据起始帧和顶点帧的面部区域图像，采用TV-L1近似光流法，计算光流的水平分量和垂直分量；根据光流的水平分量和垂直分量计算光学应变。

进一步的，计算光流的水平分量的垂直分量的公式为：

I(x，y，t)＝I(x+Δx，y+Δy，t+Δt)

Δx＝u_x，yΔt

Δy＝v_x，yΔt

其中，I(x，y，t)表示点(x，y，t)处的图像像素强度，Δx表示像素位移横坐标，Δy表示像素位移纵坐标，u_x，y表示位置为(x，y)处像素的光流水平分量，v_x，y表示位置为(x，y)处像素的光流垂直分量，t表示像素移动前的时间，Δt表示像素移动时间。

进一步的，计算光学应变的公式为：

其中，ε表示光学应变，(ε_xx，ε_yy)表示法向应变分量，(ε_xy，ε_yx)表示切向应变分量，u表示光流水平分量，v表示光流垂直分量，x表示像素位置横坐标，y表示像素位置纵坐标。

优选的，基于双注意力机制的inception网络对新微表情数据进行处理的过程包括：

采用inception模块对新微表情数据进行处理，得到4条分支的特征映射，将4条分支的特征映射连接，输出微表情特征映射；其中，inception模块包括：卷积核分别为1×1、3×3和5×5的三种卷积层以及一个最大池化层；

将微表情特征映射输入到通道注意力模块中，得到通道权重；

将微表情特征映射输入到空间注意力模块中，得到空间权重；

根据新微表情数据、通道权重和空间权重，得到特征图F″′；

将特征图F″′通过全连接层，采用softmax函数进行微表情识别，得到微表情识别结果。

进一步的，得到通道权重的过程包括：对微表情特征映射分别进行最大池化和平均池化处理，得到特征图

和特征图

对特征图

和特征图

分别进行卷积核为1×1的卷积和Relu激活函数处理并将结果按元素求和，得到第一向量；采用Sigmoid激活函数对第一向量进行处理，得到通道权重。

进一步的，得到空间权重的过程包括：对微表情特征映射分别进行最大通道池化和平均通道池化处理，得到特征图

和特征图

对特征图

和特征图

分别进行卷积核为1×1的卷积处理并将结果进行通道连接；将通道连接后的结果分别进行卷积核为3×3和7×7的卷积处理并将结果按元素求和，得到第二向量；采用Sigmoid激活函数对第二向量进行处理，得到空间权重。

优选的，基于双注意力机制的微表情识别模型的损失函数为：

其中，Loss表示模型损失，N表示训练样本的数量，i为训练样本的索引，c表示标签种类，C表示微表情的类别总数，y_ic表示第i个样本的真实标签为c类，

表示第i个样本预测为c类的概率。

本发明的有益效果为：本发明针对微表情发生在人脸局部区域的特点，采用inception网络融合双注意力机制并与光流进行结合对微表情进行识别；本发明通过光流法提取微表情的光流特征图，通过通道注意力模块对不同的通道赋予不同的权重，通过空间注意力模块对不同的空间位置赋予不同的权重，使得网络学习到微表情的关键特征；与传统方法相比，本发明不依赖于手工设计特征，具有自学习能力，是一种端到端的特征提取方式，很大程度上减少了计算量，其泛化能力和鲁棒性更好；与现有的深度学习方法相比，本发明关注了微表情发生的关键区域和不同微表情运动方向的差异，提取了微表情的显著特征；本发明有效地提高了微表情识别的准确率，具有良好的应用前景。

附图说明

图1为本发明中基于双注意力机制的微表情识别方法流程图；

图2为本发明中基于双注意力机制的微表情识别方法框架图；

图3为本发明中inception网络模块结构示意图；

图4为本发明中通道注意力结构图；

图5为本发明中空间注意力结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出了一种基于双注意力机制的微表情识别方法，如图1所示，所述方法包括：获取待识别微表情数据；将待识别微表情数据输入到训练好的基于双注意力机制的微表情识别模型中，得到微表情识别结果；

如图2所示，对基于双注意力机制的微表情识别模型进行训练的具体过程如下：

获取训练微表情数据即训练数据集，数据集中给出了微表情视频序列的起始帧和顶点帧索引，根据索引可直接获得两帧图片以及对应的情绪标签，对于部分没有顶点帧索引的样本，可获取中间位置帧代替顶点帧；其中，起始帧指被观察者开始出现微表情的那一帧，顶点帧指被观察者的微表情表现强度最显著的那一帧，中间位置帧指位置处于中间的那一帧。

一种对获得的每个微表情样本的起始帧与顶点帧进行数据预处理的优选实施方式如下：

使用OpenCV的dlib库对微表情的起始帧和顶点帧分别进行68点人脸关键点检测和定位，得到68个定位坐标。根据获得的68个坐标，选择裁剪区域的位置及裁剪区域的大小，得到仅包含发生微表情的人脸面部区域图像。

对仅包含发生微表情的人脸面部区域图像进行尺度归一化和灰度归一化操作，使得每个图像大小为112*112像素，通道数为1，得到预处理好的微表情数据。

根据预处理后的微表情数据进行光流特征提取，具体过程如下：

使用TV-L1近似光流法，基于微表情数据的起始帧和顶点帧的面部区域图像，可得到起始帧和顶点帧对应的水平光流u和垂直光流v。假设在点(x，y，t)处的图像像素强度为I(x，y，t)，经过时间Δt，像素移动位置为(x+Δx，y+Δy，t+Δt)，此时，像素强度为I(x+Δx，y+Δy，t+Δt)，由亮度守恒可知，公式如下：

I(x，y，t)＝I(x+Δx，y+Δy，t+Δt)

Δx＝u_x，yΔt

Δy＝v_x，yΔt

其中，u_x，y和v_x，y分别为每个像素需要计算的光流水平分量和光流垂直分量。

光学应变是光流的导数，它能够表征物体运动的形变大小，在微表情识别任务中，不易受到光照条件、面部遮盖物或头部的微小运动的影响；根据光流的水平分量和垂直分量可计算光学应变。光学应变ε的定义为：

其中，u＝[u，v]^T表示位移矢量，

表示对u进行求导，T表示转置，光学应变ε展开为矩阵形式：

其中，ε表示光学应变，x表示像素位置横坐标，y表示像素位置纵坐标；对角应变分量(ε_xx，ε_yy)为法向应变分量，(ε_xy，ε_yx)为切向应变分量；法线应变分量度量光流沿x和y维度的变化，而切线应变分量度量沿两个轴的形变引起的角度变化。

将光流的水平分量u、垂直分量v和光学应变ε进行通道连接，形成一个新的表征微表情序列的数据Θ＝(u，v，ε)，其通道数为3，数据大小为112*112*3；对新的微表情数据Θ进行标准化操作，使其大小统一为28*28*3。

基于双注意力机制的inception网络包括inception模块、通道注意力模块和空间注意力模块。

将新微表情数据输入到基于双注意力机制的inception网络中进行处理的一种优选实施例如下：

如图3所示，采用inception模块对新微表情数据进行处理，得到4条分支的特征映射，将4条分支的特征映射连接，输出微表情特征映射；优选的，inception模块包括：卷积核分别为3×3和5×5的两个卷积层和两个卷积核为1×1的卷积层，若直接将四条分支生成的特征映射以通道叠加的方式连接起来会存在特征映射的通道维度过多的问题，导致整个网络的计算量过大；因此，Inception模块在卷积核为3×3和5×5的卷积层前面增加了1×1的卷积层，在其中一个卷积核为1×1的卷积层前面增加了一个最大池化层。

卷积神经网络通过对输入图像进行逐像素的卷积操作，从而生成相应的特征映射来表示输入图像。设卷积神经网络的第l个卷积层输出的特征映射的值在位置(i，j)处为

则：

其中，f(x)为激活函数，

为第l层输入图像x^l中在位置(i，j)处的卷积计算结果，即：

其中，n为卷积核的大小，

为第l层输入图像中在位置(i，j)处的值，

为第l层卷积核在位置(a，b)处的值。

如图4所示，将微表情特征映射输入到通道注意力模块中，对微表情特征映射F∈R^H×W×C分别进行最大池化和平均池化处理，得到特征图

和特征图

将

和

分别依次进行核为1×1的卷积和Relu激活函数处理，然后对这两个的输出结果向量按元素求和，得到大小为1×1×C的向量即第一向量；将该第一向量通过Sigmoid激活函数得到通道权重结果M_c(F)∈R^1×1×C；其中，H、W和C分别表示特征图的高、宽和通道数。

如图5所示，将微表情特征映射输入到空间注意力模块中，对微表情特征映射F∈R^H×W×C分别进行最大通道池化和平均通道池化处理，得到特征图

和特征图

对特征图

和特征图

分别进行核为1×1的卷积处理并将结果进行通道连接；将通道连接后的结果分别进行核为3×3和7×7的卷积处理并将结果按元素求和，得到大小为H×W×1的向量即第二向量；将该第二向量通过Sigmoid激活函数得到空间权重结果M_s(F)∈R^H×W×1。

将微表情特征映射F∈R^H×W×C与通道权重M_c(F)∈R^1×1×C按元素相乘，得到特征图F′；将特征图F′与空间权重M_s(F)∈R^H×W×1按元素相乘，得到特征图F″；将微表情特征映射F与特征图F″逐元素相加得到得到最终输出的特征图F″′；将特征图F″′通过全连接层，采用softmax函数进行微表情识别，得到微表情识别结果。

计算基于双注意力机制的微表情识别模型的损失函数，损失函数为：

其中，Loss为模型损失，N表示训练样本的数量，i为训练样本的索引，c表示标签种类，C表示微表情的类别总数，y_ic表示第i个样本的真实标签为c类，

表示第i个样本预测为c类的概率。

根据损失函数对模型参数进行调整，当损失最小时，停止训练，得到训练好的基于双注意力机制的微表情识别模型；将待识别微表情数据输入到训练好的基于双注意力机制的微表情识别模型，可得到微表情识别结果。

本发明针对微表情发生在人脸局部区域的特点，采用inception网络融合双注意力机制并与光流进行结合对微表情进行识别；本发明通过光流法提取微表情的光流特征图，通过通道注意力模块对不同的通道赋予不同的权重，通过空间注意力模块对不同的空间位置赋予不同的权重，使得网络学习到微表情的关键特征；与传统方法相比，本发明不依赖于手工设计特征，具有自学习能力，是一种端到端的特征提取方式，很大程度上减少了计算量，其泛化能力和鲁棒性更好；与现有的深度学习方法相比，本发明关注了微表情发生的关键区域和不同微表情运动方向的差异，提取了微表情的显著特征；本发明有效地提高了微表情识别的准确率，具有良好的应用前景。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。