CN115984919A - 一种微表情识别方法及系统 - Google Patents

Abstract

本发明公开一种微表情识别方法及系统，该方法包括：对微表情视频序列进行预处理，得到人脸图像集；搭建网络模型DA_DenseNet，所述网络模型DA_DenseNet采用DenseNet‑121作为骨干网络，并在DenseNet‑121的每一个Dense Block之后加入两个分支，一个分支是en‑scSE模块，第二个分支为Triplet Attention模块，对两个分支输出的特征图进行相乘融合；在每一个Transition Layer后加入Triplet Attention，在提取的特征最终进行分类之前，根据所分类的类数，加入特征细化模块；采用训练集对网络模型DA_DenseNet进行训练，执行分类任务并生成分类模型；采用测试集将训练好的网络模型DA_DenseNet进行测试。嵌入增强的scSE模块，来抑制无关信息，强调有效特征信息的提取，帮助网络提取更有效的特征信息。

Description

一种微表情识别方法及系统

技术领域

本发明涉及图像处理和人工智能技术领域，具体涉及一种微表情识别方法系统。

背景技术

微表情是人在经历强烈情绪时产生的快速、无意识的自发式面部动作，它是人在试图掩盖内在情绪时产生，既无法伪造也无法抑制，可以作为判断人主观情绪的重要依据。

微表情通常具有持续时间短、运动强度低等特点，一般持续1/25s到1/3s，并且动作幅度非常小，不会同时在上半脸和下半脸出现。

微表情具有很大的研究价值，在临床诊断、情绪智力、司法侦讯等领域有着重要应用，越来越多的研究者进入到这个领域对微表情进行研究。

传统手工特征提取主要依赖于手工设计的特征提取规则，得到的特征往往无法解释具体每一维的物理含义，需要专业知识和复杂的参数调整过程，同时泛化性能和鲁棒性较差。基于深度学习的方法存在参数量偏大、特征提取不充分等问题。

发明内容

发明目的：为了克服现有技术的不足，本发明提供一种微表情识别方法，该方法可以解决现有技术所存在的微表情样本不足、特征提取不充分的问题，本发明还提供一种微表情识别系统。

技术方案：一方面，本发明提供微表情识别方法，包括：

(1)对微表情视频序列进行预处理，得到人脸图像集，并将所述人脸图像集划分为训练集和测试集；

(2)搭建网络模型DA_DenseNet，所述网络模型DA_DenseNet采用DenseNet-121作为骨干网络，并在DenseNet-121的每一个Dense Block之后加入两个分支，一个分支是en-scSE模块，第二个分支为Triplet Attention模块，对两个分支输出的特征图进行相乘融合；在每一个Transition Layer后加入Triplet Attention，在提取的特征最终进行分类之前，根据所分类的类数，加入特征细化模块；所述en-scSE模块是通道级的注意力模块与通道压缩-空间激励模块的并联模块，所述Triplet Attention模块为不同维度的交互处理模块；

(3)采用训练集对所述网络模型DA_DenseNet进行训练，执行分类任务并生成分类模型；

(4)采用测试集将训练好的网络模型DA_DenseNet进行测试。

进一步的，包括：

所述步骤(1)中，对微表情视频序列进行预处理，包括：

(11)定位每个微表情视频序列的起始帧和顶点帧，并从定位到的起始帧和顶点帧中分割出人脸区域；并增加微表情顶点帧前后各两帧作为训练或者测试样本；

(12)采用随机裁剪，直接将微表情视频序列裁剪出固定大小的微表情样本，对微表情样本进行随机旋转，并对微表情样本进行色彩抖动操作以进行数据增强。

进一步的，包括：

所述步骤(2)中，en-scSE模块的结构包括：

scSE是cSE模块和sSE模块的并联；cSE模块相当于通道级的注意力，其具体操作是将人脸图像U利用全局平均池化从[C，H，W]变为[C，1，1]，再用两次1×1×1卷积运算，最终获得一个C维的向量，再利用sigmoid函数对其进行归一化，最后通过channel-wise相乘得到输出特征。

进一步的，包括：

在所述channel-wise之前增加了两个线性层并使用ReLu激活函数。

进一步的，包括：

所述sSE是通道压缩和空间激励模块，它沿着通道压缩人脸图像U并在空间上激发，人脸图像利用1×1×1的卷积，从[C，H，W]变为[1，H，W]，使用sigmoid函数激活，然后与原来的人脸图像进行相乘。

进一步的，包括：

所述sSE还包括一支全局平均池化操作，与原来人脸图像特征相乘，空间内不重要的信息将会被抑制，更好地提取重要特征。

进一步的，包括：

所述步骤(2)中，Triplet Attention的结构为：

Triplet Attention由3个平行分支组成，第一个分支在H维度和C维度之间建立了交互，第二个分支在C维度和W维度建立了交互，第三个分支在H维度和W维度之间建立了交互，Z-pool层负责将C维度的Tensor缩减到2维，并将该维上的平均池化特征和最大池化特征连接起来，其公式为：

Z-pool(x)＝[Maxpool_0d(x)，Avgpool_0d(x)]

其中，Maxpool代表最大池化，Avgpool表示平均池化，0d是发生最大和平均池化操作的第0维；

最终3个分支的输出使用平均进行聚合，公式为：

其中，σ代表sigmoid激活函数，

表示三个分支中由卷积核大小k定义的标准二维卷积层，

分别表示第一、第三个分支旋转后的张量，

分别表示第一、二分支通过卷积层之后的张量。

进一步的，包括：

所述步骤(2)中，特征细化模块的结构为：

每个特征细化分支由一个全局平均池化和两个全连接层组成，其中，全连接层起到分类的作用，全连接层后是激活层sigmoid；如果训练样本x的微表情样本是第k个类别，则第k个分支中的真值为1，其他分支的真值为0，允许网络为每类表情生成特定于表情的特征。

另一方面，本发明还提供一种微表情识别系统，包括：

预处理模块，用于对微表情视频序列进行预处理，得到人脸图像集，并将所述人脸图像集划分为训练集和测试集；

模型构建模块，用于搭建网络模型DA_DenseNet，所述网络模型DA_DenseNet采用DenseNet-121作为骨干网络，并在DenseNet-121的每一个Dense Block之后加入两个分支，一个分支是en-scSE模块，第二个分支为Triplet Attention模块，对两个分支输出的特征图进行相乘融合；在每一个Transition Layer后加入Triplet Attention，在提取的特征最终进行分类之前，根据所分类的类数，加入特征细化模块；所述en-scSE模块是通道级的注意力模块与通道压缩-空间激励模块的并联模块，所述Triplet Attention模块为不同维度的交互处理模块；

训练模块，用于采用训练集对所述网络模型DA_DenseNet进行训练，执行分类任务并生成分类模型；

测试模块，用于采用测试集将训练好的网络模型DA_DenseNet进行测试。

在上面的基础上，本发明还提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序在被计算机处理器执行时实现上述所述的方法。

有益效果：(1)本发明采用DenseNet作为骨干网络，减轻了梯度消失问题，深层梯度可以直接传回浅层，加强了特征的传播，鼓励特征的reuse，每一层输出的特征都被后面的层所使用；(2)Dense Block之后嵌入增强的scSE(en-scSE)模块，来抑制无关信息，强调有效特征信息的提取，帮助网络提取更有效的特征信息；(3)TL层之后加入TripletAttention模块，在几乎不增加参数的前提下，通过旋转操作和残差变换建立维度间依赖关系；(4)使用特征细化模块对不同类的表情进行特定的表情特征提取，提高分类精度。

附图说明

图1为本发明实施例所述的识别方法的流程图；

图2为本发明实施例所述的DA_DenseNet的结构图；

图3为本发明实施例所述的en-scSE的结构图；

图4为本发明实施例所述的Triplet Attention的结构图；

图5为本发明实施例所述的特征细化的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

首先，本发明公开一种微表情识别方法，如图1是本发明方法的流程图，包括以下步骤：

步骤一：对微表情视频序列进行预处理，获取起始帧和顶点帧，并增加顶点帧前后各两帧作为训练测试样本，用裁剪、随机旋转、随机水平翻转、改变图像属性等方式来进行数据增强，解决微表情数据集过小问题；具体的：

其中，步骤一中所述的数据预处理的具体内容和方法为：

(1)定位每个微表情序列的起始帧和顶点帧，并从定位到的起始帧和顶点帧中分割出人脸区域；

(2)为了增加可用样本量，增加微表情顶点帧前后各两帧作为训练/测试样本；

(3)采用随机裁剪，直接裁剪出固定大小的微表情样本输入网络，为了增加模型鲁棒性，对微表情样本进行随机旋转，旋转角度范围为(-8°，8°)，并对微表情样本进行色彩抖动操作以进行数据增强。

步骤二：搭建DA_DenseNet网络模型；

如图2所示，步骤二中的DA_DenseNet结构为：

为了减缓梯度消失问题，模型选用DenseNet-121作为骨干网络，加强了特征的传播，浅层特征可以直接被深层使用；DenseNet-121有4个DB，3个TL层，TripletAttention是插入在DB和TL之间。

在每一个DB(Dense Block，密集块)之后加入两个分支，一个分支是en-scSE(enhanced Spatial and Channel Squeeze&Excitation Block，en-scSE)，第二个分支为TripletAttention模块，对两个分支输出的特征图进行相乘融合；在每一个TL(TransitionLayer，转换层)后加入Triplet Attention，来增强有效特征信息的提取，抑制无效特征信息；在提取的特征最终进行分类之前，根据所分类的类数，加入特征细化模块，以针对性地提取不同类型微表情的特征；该网络模型的训练方案是采用边际损失函数进行训练的。

如图3所示，DA_DenseNet模型中在DB之后加入的en-scSE结构为：

scSE是cSE(Spatial Squeeze and Channel Excitation Block)模块和sSE(Channel Squeeze and Spatial Excitation Block)模块的并联。

cSE模块相当于通道级的注意力，其具体操作是将特征图U利用全局平均池化从[C，H，W]变为[C，1，1]，再用两次1×1×1卷积运算，最终获得一个C维的向量，再利用sigmoid函数对其进行归一化，最后与原始特征channel-wise相乘得到输出特征，输出就是cSE模块的最终输出，用于与sSE融合。即：本发明将其用于微表情分类任务，为了提高模型的鲁棒性，对cSE进行了改进，在channel-wise之前增加了两个线性层并使用ReLu激活函数。

其公式如下：

其中，输入特征U＝[u₁，u₂，...，u_C]看作为通道u_i∈R^H×W的组合，

代表了第i个通道的重要性，在网络学习过程中，被适应性地调整，从而忽视无关紧要的通道，而关注那些相对重要的通道。

sSE是通道压缩和空间激励模块，它沿着通道压缩特征图U并在空间上激发，特征图利用1×1×1的卷积，从[C，H，W]变为[1，H，W]，使用sigmoid函数激活，然后与原来的特征图进行相乘。公式如下：

其中，输入张量认为是U＝[u^1，1，u^1，2，...，u^i，j，...，u^H，W]，u^i，j∈R^1×1×C对应于空间位置(i，j)，i∈{1，2，...，H}，j∈{1，2，...，W}；空间压缩运算是通过卷积和权重矩阵生成投影张量，然后通过sigmoid激活层σ(·)，σ(q_1，1)对应给定特征图的空间位置(i，j)的相对重要性。为了更适用于微表情识别任务，本发明在sSE上增加了一支全局平均池化操作，与原来sSE得到的特征相乘，空间内不重要的信息将会被抑制，更好地提取重要特征。

如图4所示，DA_DenseNet模型中在TL之后加入的Triplet Attention的结构为：

Triplet Attention由3个平行分支组成，第一个分支在H维度和C维度之间建立了交互，第二个分支在C维度和W维度建立了交互，第三个分支在H维度和W维度之间建立了交互，Z-pool层负责将C维度的Tensor缩减到2维，将该维上的平均池化特征和最大池化特征连接起来，其公式为：

Z-pool(x)＝[Maxpool_0d(x)，Avgpool_0d(x)]

其中，Maxpool代表最大池化，Avgpool表示平均池化，0d是发生最大和平均池化操作的第0维。

最终3个分支的输出使用平均进行聚合，公式为：

其中，σ代表sigmoid激活函数，

表示三个分支中由卷积核大小k定义的标准二维卷积层，

分别表示第一、第三个分支旋转后的张量，

分别表示第一、二分支通过卷积层之后的张量。

如图5所示，DA_DenseNet模型中特征细化模块的结构为：

每个特征细化分支由一个全局平均池化和两个全连接层组成，其中全连接层起到分类的作用，sigmoid层是激活层；如果训练样本x的微表情样本是第k个类别，则第k个分支中的真值为1，其他分支的真值为0，允许网络为每类表情生成特定于表情的特征。

步骤三：对DA_DenseNet进行训练，执行分类任务并生成分类模型；步骤四：利用训练好的DA_DenseNet模型使用LOSO验证方法进行测试。

下面通过在从CASME IISAMM和SMIC中挑选出来的复合数据集上进行分类实例阐述本发明的具体实施方式：

(1)图像预处理：定位每个微表情序列的起始帧和顶点帧，并从定位到的起始帧和顶点帧中分割出人脸区域；为了增加可用样本量，增加微表情顶点帧前后各两帧作为训练/测试样本；采用随机裁剪，直接裁剪出固定大小的微表情样本输入网络，这里固定大小为224*224，为了增加模型鲁棒性，对微表情样本进行随机旋转，旋转角度范围为(-8°，8°)，并对微表情样本进行色彩抖动操作以进行数据增强。

(2)搭建DA_DenseNet网络模型并采用边际损失函数作为损失函数来训练模型。

(3)利用训练好的DA_DenseNet网络模型使用LOSO策略在测试集上进行微表情识别。

(4)本方法与现有方法进行复合数据集对比，结果如表1所示。通过与其他方法的比较，可以验证本发明所提出的方法相对于其他方法具有很好的优越性：

表1

另一方面，本发明还提供微表情识别系统，包括：

预处理模块，用于对微表情视频序列进行预处理，得到人脸图像集，并将所述人脸图像集划分为训练集和测试集；

模型构建模块，用于搭建网络模型DA_DenseNet，所述网络模型DA_DenseNet采用DenseNet-121作为骨干网络，并在DenseNet-121的每一个Dense Block之后加入两个分支，一个分支是en-scSE模块，第二个分支为Triplet Attention模块，对两个分支输出的特征图进行相乘融合；在每一个Transition Layer后加入Triplet Attention，在提取的特征最终进行分类之前，根据所分类的类数，加入特征细化模块；所述en-scSE模块是通道级的注意力模块与通道压缩-空间激励模块的并联模块，所述Triplet Attention模块为不同维度的交互处理模块；

训练模块，用于采用训练集对所述网络模型DA_DenseNet进行训练，执行分类任务并生成分类模型；

测试模块，用于采用测试集将训练好的网络模型DA_DenseNet进行测试检测系统的其他技术细节与检测方法类似，本发明不再赘述。

基于上述实施例，本发明实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的基于双流卷积神经网络的人脸活体检测方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种微表情识别方法，其特征在于，包括：

(1)对微表情视频序列进行预处理，得到人脸图像集，并将所述人脸图像集划分为训练集和测试集；

(2)搭建网络模型DA_DenseNet，所述网络模型DA_DenseNet采用DenseNet-121作为骨干网络，并在DenseNet-121的每一个Dense Block之后加入两个分支，一个分支是en-scSE模块，第二个分支为Triplet Attention模块，对两个分支输出的特征图进行相乘融合；在每一个Transition Layer后加入Triplet Attention，在提取的特征最终进行分类之前，根据所分类的类数，加入特征细化模块；所述en-scSE模块是通道级的注意力模块与通道压缩-空间激励模块的并联模块，所述Triplet Attention模块为不同维度的交互处理模块；

(3)采用训练集对所述网络模型DA_DenseNet进行训练，执行分类任务并生成分类模型；

(4)采用测试集将训练好的网络模型DA_DenseNet进行测试。

2.根据权利要求1所述的微表情识别方法，其特征在于，所述步骤(1)中，对微表情视频序列进行预处理，包括：

(11)定位每个微表情视频序列的起始帧和顶点帧，并从定位到的起始帧和顶点帧中分割出人脸区域；并增加微表情顶点帧前后各两帧作为训练或者测试样本；

(12)采用随机裁剪，直接将微表情视频序列裁剪出固定大小的微表情样本，对微表情样本进行随机旋转，并对微表情样本进行色彩抖动操作以进行数据增强。

3.根据权利要求1所述的微表情识别方法，其特征在于，所述步骤(2)中，en-scSE模块的结构包括：

scSE是cSE模块和sSE模块的并联；cSE模块相当于通道级的注意力，其具体操作是将人脸图像U利用全局平均池化从[C，H，W]变为[C，1，1]，再用两次1×1×1卷积运算，最终获得一个C维的向量，再利用sigmoid函数对其进行归一化，最后通过channel-wise相乘得到输出特征。

4.根据权利要求3所述的微表情识别方法，其特征在于，在所述channel-wise之前增加了两个线性层并使用ReLu激活函数。

5.根据权利要求3所述的微表情识别方法，其特征在于，所述sSE是通道压缩和空间激励模块，它沿着通道压缩人脸图像U并在空间上激发，人脸图像利用1×1×1的卷积，从[C，H，W]变为[1，H，W]，使用sigmoid函数σ(·)激活，然后与原来的人脸图像进行相乘。

6.根据权利要求5所述的微表情识别方法，其特征在于，所述sSE模块还包括一支全局平均池化操作，与原来的人脸图像相乘，空间内不重要的信息将会被抑制，更好地提取重要特征。

7.根据权利要求1所述的微表情识别方法，其特征在于，所述步骤(2)中，TripletAttention的结构为：

Triplet Attention由3个平行分支组成，第一个分支在H维度和C维度之间建立了交互，第二个分支在C维度和W维度建立了交互，第三个分支在H维度和W维度之间建立了交互，Z-pool层负责将C维度的Tensor缩减到2维，并将该维上的平均池化特征和最大池化特征连接起来，其公式为：

Z-pool(x)＝[<axpool_0d(x)，Avgpool_0d(x)]

其中，Maxpool代表最大池化，Avgpool表示平均池化，0d是发生最大和平均池化操作的第0维；

最终3个分支的输出使用平均进行聚合，公式为：

其中，σ代表sigmoid激活函数，表示三个分支中由卷积核大小k定义的标准二维卷积层，分别表示第一、第三个分支旋转后的张量，分别表示第一、二分支通过卷积层之后的张量。

8.根据权利要求1所述的微表情识别方法，其特征在于，所述步骤(2)中，特征细化模块的结构为：

每个特征细化分支由一个全局平均池化和两个全连接层组成，其中，全连接层起到分类的作用，全连接层后是激活层sigmoid；如果训练样本x的微表情样本是第k个类别，则第k个分支中的真值为1，其他分支的真值为0，允许网络为每类表情生成特定于表情的特征。

9.一种微表情识别系统，其特征在于，包括：

预处理模块，用于对微表情视频序列进行预处理，得到人脸图像集，并将所述人脸图像集划分为训练集和测试集；

模型构建模块，用于搭建网络模型DA_DenseNet，所述网络模型DA_DenseNet采用DenseNet-121作为骨干网络，并在DenseNet-121的每一个Dense Block之后加入两个分支，一个分支是en-scSE模块，第二个分支为Triplet Attention模块，对两个分支输出的特征图进行相乘融合；在每一个Transition Layer后加入Triplet Attention，在提取的特征最终进行分类之前，根据所分类的类数，加入特征细化模块；所述en-scSE模块是通道级的注意力模块与通道压缩-空间激励模块的并联模块，所述Triplet Attention模块为不同维度的交互处理模块；

训练模块，用于采用训练集对所述网络模型DA_DenseNet进行训练，执行分类任务并生成分类模型；

测试模块，用于采用测试集将训练好的网络模型DA_DenseNet进行测试。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于：所述计算机程序在被计算机处理器执行时实现权利要求1至8任一项所述的方法。

Images