CN114241573A - 一种面部微表情识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明涉及一种面部微表情识别方法、装置、电子设备及存储介质。本发明的一种面部微表情识别方法包括：获取待识别微表情的视频；对所述视频进行预处理，得到经过动作放大和分辨率归一化的长视频序列；对所述长视频序列进行跨步采样，得到预设长度的子视频序列；将所述子视频序列输入训练好的微表情识别网络，得到所述视频对应的面部微表情的分类结果。本发明的一种面部微表情识别方法，设计了跨步采样方法来实现样本扩展，有效避免了深度学习在训练过程中产生的过拟合问题，有效提升了微表情识别的准确性。

Description

一种面部微表情识别方法、装置、电子设备及存储介质

技术领域

本发明涉及计算机视觉领域，特别是涉及一种面部微表情识别方法、装置、电子设备及存储介质。

背景技术

微表情是心理学领域的概念。面部微表情具有面部动作强度低，发生快，不容易被人为抑制的特点。因此，面部微表情特征比一般的面部表情更能代表真实的情绪。近几年，微表情识别方法已经在刑事调查、心理治疗和金融领域发挥着至关重要的作用，但是如何从长视频中准确识别出面部微表情仍旧是一个挑战。

目前，关于面部微表情识别方法主要可归纳为两大类：基于关键帧的微表情识别方法和基于视频的微表情识别方法。

1、基于关键帧的微表情识别方法即只使用微表情视频序列中所标记出的关键帧图片作为识别对象，其中关键帧代表了微表情在视频中发生的起始、峰值和结束的位置。这类方法会使用二维卷积网络等方法来识别出单张图片中所表达的微表情特征。

2、基于视频的微表情方法即使用微表情完整的视频序列作为识别对象，通过使用卷积和循环组合神经网络来对视频在空间和时序特征的变化进行识别。

这些方法存在的问题是：一方面，在使用组合的神经网络结构时未考虑模型组合结构的优化，导致神经网络在提取视频的空间和时序特征时无法更精准地关注到微表情感兴趣区域；另一方面，这些方法采用了多种微表情的图像特征来叠加，这无疑增加了资源成本和计算的复杂性。

发明内容

基于此，本发明的目的在于，提供一种面部微表情识别方法、装置、电子设备及存储介质，设计了设计跨步采样方法来实现样本扩展，有效避免了深度学习在训练过程中产生的过拟合问题，有效提升了微表情识别的准确性。

第一方面，本发明提供一种面部微表情识别方法，该方法包括以下步骤：

获取待识别微表情的视频；

对所述视频进行预处理，得到经过动作放大和分辨率归一化的长视频序列；

对所述长视频序列进行跨步采样，得到预设长度的子视频序列；

将所述子视频序列输入训练好的微表情识别网络，得到所述视频对应的面部微表情的分类结果。

进一步地，所述微表情识别网络包括局部空间差分特征堆叠块和时空特征提取网络；

将所述子视频序列输入训练好的微表情识别网络，得到所述视频对应的面部微表情的分类结果，包括：

将所述子视频序列输入所述局部空间差分特征堆叠块，得到局部空间增强后的空间特征；

将所述局部空间增强后的空间特征序列输入所述时空特征提取网络，得到所述视频的面部微表情的分类结果。

进一步地，所述局部空间差分特征堆叠块包括顺次连接的堆叠块、平均池化层、第一卷阶层、第一残差块、上采样层，所述上采样层的输出结果与第二卷积层的输出结果进行加权后输入第二残差块；

将所述子视频序列输入所述局部空间差分特征堆叠块，得到局部空间增强后的空间特征，包括：

将所述子视频序列中的每一帧输入所述第二卷积层，提取得到所述子视频序列对应的原始空间特征图序列；

将所述子视频序列中的每一帧输入所述堆叠块，得到所述子视频序列的差分特征；

将所述差分特征输入所述平均池化层，得到降维的差分特征；

将所述降维的差分特征顺次输入所述第一卷积层和所述残差块，得到差分的空间特征参数；

将所述差分的空间特征参数输入所述上采样层，得到与所述原始空间特征相同维度的差分空间特征；

将所述原始空间特征与所述差分空间特征进行求和加权；

将加权后的空间特征输入所述第二残差块，得到局部空间增强后的空间特征。

进一步地，所述时空特征提取网络包括顺次连接的VGGFace网络、时序卷积网络和分类层，所述分类层使用中心损失函数和正则化方法计算所述视频的面部微表情的分类结果；

将所述局部空间增强后的空间特征序列输入所述时空特征提取网络，得到所述视频的面部微表情的分类结果，包括：

将所述局部空间增强后的空间特征序列输入所述VGGFace网络，代表空间信息的输出特征向量X＝[x₁,x₂,...x_s]，其维度大小为(s,512)：

将所述特征向量X＝[x₁,x₂,...x_s]输入所述时序卷积网络，进行时序特征提取，得到包含空间时序信息的

特征向量；

将所述包含空间时序信息的

特征向量输入所述分类层，经过中心损失函数计算，得到所述视频的面部微表情的分类结果。

进一步地，所述微表情识别网络的训练步骤包括：

获取微表情视频数据；

对所述微表情视频数据进行预处理和跨步采样，得到预设长度的子视频序列数据集；

将所述数据集分为训练集、验证集和测试集，对所述微表情识别网络进行训练；

使用所述验证集选择所述微表情识别网络的参数，使用所述测试集检验不同参数对应的所述微表情识别网络的性能，得到训练好的微表情识别网络。

进一步地，对所述子视频序列进行跨步采样，包括：

将剪裁过后的长视频序列作为输入，获取该序列的长度L，并将序列平均划分为s段等长的片段，使得让每个片段的长度为T，

依据T的范围设置一个随机种子，从每个片段中随机选择一帧；

和/或，在视频的峰值帧出现片段中，抽取峰值帧；

将从每个片段中抽取的图片帧按照片段顺序排列，得到长度为s的子视频序列；

重复上述步骤，得到T^s-1个长度为s的等长子视频序列。

进一步地，对所述视频进行预处理包括：

将所述视频输入到欧拉视频放大算法模型中进行动作放大，其中，放大因子为10，截断波长为80，色彩削弱为0.1；

将经过动作放大的视频输入多任务卷积神经网络，进行人脸识别；

对于识别到人脸的子视频序列，进行人脸特征点的检测，得到包含眼睛、鼻子、嘴巴和人脸轮廓的24个像素点的坐标位置；

以所述子视频序列的第一帧图像的特征点作为标准将人脸剪裁出来，并且将帧图像分辨率归一化为224像素*224像素。

第二方面，本发明还提供一种面部微表情识别装置，包括：

视频获取模块，用于获取待识别微表情的视频；

预处理模块，用于对所述视频进行预处理，得到经过动作放大和分辨率归一化的长视频序列；

跨步采样模块，用于对所述长视频序列进行跨步采样，得到预设长度的子视频序列；

分类模块，用于将所述子视频序列输入训练好的微表情识别网络，得到所述视频对应的面部微表情的分类结果。

第三方面，本发明还提供一种电子设备，包括：

至少一个存储器以及至少一个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如本发明第一方面任一所述的一种面部微表情识别方法的步骤。

第四方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面任一所述的一种面部微表情识别方法的步骤。

本发明提供的一种面部微表情识别方法、装置、电子设备及存储介质，使用了欧拉视频放大方法来实现动作放大，有效增强了微表情视频的动作特征；设计了跨步采样方法来实现样本扩展，有效避免了深度学习在训练过程中产生的过拟合问题；采用了轻量级的时空组合神经网络作为骨干时空网络，来减少了模型的资源占用；设计了一个局部空间差堆叠块来辅助神经网络关注到微表情所表现的面部区域，有效提升了微表情识别的准确性，并且该方法只需使用微表情RGB特征进而降低了模型的计算复杂度。

为了更好地理解和实施，下面结合附图详细说明本发明。

附图说明

图1为本发明提供的一种面部微表情识别方法的流程示意图；

图2为本发明在一个实施例中使用的微表情识别网络的结构示意图；

图3为本发明在一个实施例中对视频数据进行跨步采样的流程示意图；

图4为本发明在一个实施例中本发明模型的使用流程示意图；

图5为本发明提供的一种面部微表情识别装置的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。

应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。

在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本发明中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在 A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

针对背景技术中的问题，本申请实施例提供一种面部微表情识别方法，如图1所示，该方法包括以下步骤：

S01：获取待识别微表情的视频。

S02：对所述视频进行预处理，得到经过动作放大和分辨率归一化的长视频序列。

在一个优选的实施例中，对所述视频进行预处理包括：

S021：将所述视频输入到欧拉视频放大算法模型中进行动作放大，其中，放大因子为10，截断波长为80，色彩削弱为0.1；

S022：将经过动作放大的视频输入多任务卷积神经网络，进行人脸识别；

S023：对于识别到人脸的子视频序列，进行人脸特征点的检测，得到包含眼睛、鼻子、嘴巴和人脸轮廓的24个像素点的坐标位置；

S024：以所述子视频序列的第一帧图像的特征点作为标准将人脸剪裁出来，并且将帧图像分辨率归一化为224像素*224像素。

S03：对所述长视频序列进行跨步采样，得到预设长度的子视频序列。

在一个优选的实施例中，对所述子视频序列进行跨步采样，包括：

S031：将剪裁过后的长视频序列作为输入，获取该序列的长度L，并将序列平均划分为s 段等长的片段，使得让每个片段的长度为T，

S032：依据T的范围设置一个随机种子，从每个片段中随机选择一帧；

S033：和/或，在视频的峰值帧出现片段中，抽取峰值帧；

S034：将从每个片段中抽取的图片帧按照片段顺序排列，得到长度为s的子视频序列；

S035：重复上述步骤，得到T^s-1个长度为s的等长子视频序列。

S04：将所述子视频序列输入训练好的微表情识别网络，得到所述视频对应的面部微表情的分类结果。

在一个优选的实施例中，如图2所示，所述微表情识别网络包括局部空间差分特征堆叠块和时空特征提取网络。

将所述子视频序列输入训练好的微表情识别网络，得到所述视频对应的面部微表情的分类结果，包括：

S041：将所述子视频序列输入所述局部空间差分特征堆叠块，得到局部空间增强后的空间特征；

S042：将所述局部空间增强后的空间特征序列输入所述时空特征提取网络，得到所述视频的面部微表情的分类结果。

优选的，所述局部空间差分特征堆叠块包括顺次连接的堆叠块、平均池化层、第一卷阶层、第一残差块、上采样层，所述上采样层的输出结果与第二卷积层的输出结果进行加权后输入第二残差块.

将所述子视频序列输入所述局部空间差分特征堆叠块，得到局部空间增强后的空间特征，包括：

S0411：将所述子视频序列中的每一帧输入所述第二卷积层，提取得到所述子视频序列对应的原始空间特征图序列；

S0412：将所述子视频序列中的每一帧输入所述堆叠块，得到所述子视频序列的差分特征；

S0413：将所述差分特征输入所述平均池化层，得到降维的差分特征；

S0414：将所述降维的差分特征顺次输入所述第一卷积层和所述第一残差块，得到差分的空间特征参数；

S0415：将所述差分的空间特征参数输入所述上采样层，得到与所述原始空间特征相同维度的差分空间特征；

S0416：将所述原始空间特征与所述差分空间特征进行求和加权；

S0417：将加权后的空间特征输入所述第二残差块，得到局部空间增强后的空间特征。

优选的，所述时空特征提取网络包括顺次连接的VGGFace网络、时序卷积网络和分类层，所述分类层使用中心损失函数和正则化方法计算所述视频的面部微表情的分类结果。

S0421：将所述局部空间增强后的空间特征序列输入所述时空特征提取网络，得到所述视频的面部微表情的分类结果，包括：

S0422：将所述局部空间增强后的空间特征序列输入所述VGGFace网络，代表空间信息的输出特征向量X＝[x₁,x₂,...x_s]，其维度大小为(s,512)：

S0423：将所述特征向量X＝[x₁,x₂,...x_s]输入所述时序卷积网络，进行时序特征提取，得到包含空间时序信息的

特征向量；

S0424：将所述包含空间时序信息的

特征向量输入所述分类层，经过中心损失函数计算，得到所述视频的面部微表情的分类结果。

本发明提供的一种面部微表情识别方法，设计了设计跨步采样方法来实现样本扩展，有效避免了深度学习在训练过程中产生的过拟合问题，有效提升了微表情识别的准确性。

在一个具体的实施例中，如图4所示，本发明提供的一种面部微表情识别方法，包括跨步采样设计、局部空间差分堆叠块设计和时空特征提取网络框架设计。

1、跨步采样设计。

1.1视频动作放大

经过欧拉视频放大方法，在放大因子为10，截断波长为80，色彩削弱为0.1的情况下，依靠视频运动轨迹对动作规律进行加权计算，进而增大面部运动强度后的视频数据。

1.2人脸识别

经过多任务卷积神经网络对动作放大后的视频数据进行人脸的识别，在识别过程中若未识别出人脸则需要对样本进行数据清洗后再进行下一样本的识别，成功识别出人脸的视频数据要进行人脸特征点的检测，人脸特征点是包含眼睛、鼻子、嘴巴和人脸轮廓的24个像素点的坐标位置。

1.3人脸裁剪

视频数据在获得所述人脸特征点后要依据特征点坐标对人脸进行剪裁，为避免视频中人脸位置发生偏移，每段视频数据总以第一帧图像的特征点作为标准将人脸剪裁出来，并且将帧图像分辨率归一化为224像素*224像素。

1.4跨步采样

如图3所示，图3为跨步采样的实施流程，所述跨步采样流程是将剪裁过后的长视频序列作为输入，获取该序列的长度L，并将序列平均划分为s段等长的片段，让每个片段的长度为T，那么此时L、s、和T之间的关系为：

所述跨步采样方法会依据T的范围设置一个随机种子，从每个片段中随机选择一帧来代表该片段的运动特征，同时在视频的峰值帧出现片段中则永远只抽取峰值帧来组建新的子序列。本发明所设计的跨步采样方法可以从一个长视频序列里最多共可分裂出T^s-1个长度为s的等长子序列。

2、局部空间差分堆叠块设计。

局部空间差分堆叠块的实施流程如图2所示，输入的长视频序列为v_j＝[I₁,I₂...,I_s]，序列中的每一帧都首先通过卷积层提取到对应的原始空间特征图序列F_j＝[F₁,F₂...,F_s]，其次再经过所述空间差分堆叠块对每一帧的空间特征进行增强，公式为：

F_i'＝R(F_i+H(I_i)) (2)

R(x)＝Activation(resblock(x)+x) (3)

其中，公式(3)所描述的R(x)函数表示残差计算，公式(2)所描述的H(I_i)函数为局部空间特征堆叠块的工作原理，H(I_i)的定义如下：

Diff_i＝concate(I_i-I_i-1,I_i+1-I_i) (4)

Q(I_i)＝R(Conv(DownSample(Diff_i))) (5)

H(I_i)＝Upsample(Q(I_i)) (6)

公式(4)表示在局部空间差分堆叠块中每一帧都要与其前后相邻的两个帧图像之间的 RGB特征计算差分，其中i表示视频序列中帧的索引号，I_i表示对应帧的RGB特征，concate表示通道堆叠函数，两个相邻帧之间的差分通过通道数堆叠得到的Diff_i参数表示图像所发生运动变化的局部区域。紧接着，Diff_i参数采用公式(5)中表示平均池化层的DownSample函数来降低差分的特征维度，经过降维的差分特征将继续通过表示第一卷积层的Conv函数、表示第一残差块的R(x)函数实现差分特征的深度理解，以得到差分的空间特征参数Q(I_i)。最后， Q(I_i)通过上采样层Upsample重塑为与原图像空间特征F_i相同的维度，进而实现与原图像空间特征进行求和加权，加权过后的空间特征最后通过一层残差块得到实现局部空间特征增强的空间特征F_i'。

3、时空特征提取网络框架设计。

时空特征提取网络框架设计以局部空间增强后的空间特征序列F’_j＝[F₁',F₂',...F_s']作为输入，经过由VGGFace和时序卷积网络组成的轻量级骨干时空网络模型进一步进行完整的空间与时序特征提取，如附图二所示。

3.1空间特征提取

空间特征提取是使用VGGFace网络模型获得特征序列F’_j＝[F₁',F₂',...F_s']的空间特征图参数。在空间特征提取过程中，输入特征序列F’_j＝[F₁',F₂',...F_s']的特征维度是由卷积神经网络指定的(112,112,3)。VGGFace事先在大规模人脸数据集上进行预训练，并对网络尾部增加了维度为1028和维度为512的两层全连接层，和采样阈值为0.5的dropout层进行微调，使每一帧的最后输出为包含空间信息的512维特征向量。最终，空间特征提取网络输出代表空间信息的输出特征向量X＝[x₁,x₂,...x_s]，其维度大小为(s,512)。

3.2时序特征提取

时序特征提取是使用时序卷积网络获得特征向量X＝[x₁,x₂,...x_s]的时序特征图参数。在空间特征提取之后，骨干网络框架选择时序卷积网络来学习特征向量X＝[x₁,x₂,...x_s]的时序信息。时序卷积网络包括因果卷积、扩张卷积和残差块，在处理整个特征序列依照并行处理，对每个单元实施权重共享，从而减少整个网络的参数数量。对于时序卷积网络的输入向量X，其输出的公式如下：

其中，Y表示时序卷积网络最后一个隐藏层的输出向量，在公式(7)中

是时序卷积网络输出的最后一个特征单元，当且仅有

包含整个序列的时序信息，因此时序特征提取网络的输出特征c使用

的特征取值，其维度为2048，公式如下：

3.3中心损失函数

包含空间时序信息的

特征向量经过中心损失函数得到模型对微表情视频特征的分类结果。在提取时空特征后，骨干网络使用中心损失函数对微表情的特征类别进行预测。多分类法的一般损失函数L_{cross_entropy}的方程如下：

公式(9)中，m和n分别表示同一个类别下的视频数据的批次大小和类别数量，i与j分别表示视频数据的批次索引和类别索引。x_i表示输入损失函数的特征向量，e表示自然常数， log函数表示对数计算，y_i是数据集为当前样本提供的真实标签，y_i∈{1,2，...n}，W表示全连接层的权重，b是偏置。在实施过程中n被设定为5。中心损失函数L为保证增加不同类别数据之间的类间距，紧接着在多分类函数中增加中心特征L_center，公式如下：

L＝L_{cross_entropy}+λL_center (11)

在公式(10)中c_yi代表y_i类别数据在模型训练过程中的中心特征位置。公式(11)中的λ是对中心损失加权的相关系数，最后所有视频数据根据中心损失函数进行训练，直至损失值收敛。最终，网络模型输出对人脸微表情视频在开心(happiness)、惊讶(surprise)、悲伤(sadness)、害怕(fear)和困惑(disgust)五种分类上的最佳结果。

基于上述的设计好的跨步采样方式和设计好的微表情识别网络，本发明所使用的微表情识别网络的训练步骤包括：

S21：获取微表情视频数据；

S22：对所述微表情视频数据进行预处理和跨步采样，得到预设长度的子视频序列数据集；

S23：将所述数据集分为训练集、验证集和测试集，对所述微表情识别网络进行训练；

S24：使用所述验证集选择所述微表情识别网络的参数，使用所述测试集检验不同参数对应的所述微表情识别网络的性能，得到训练好的微表情识别网络。

基于上述训练好的微表情识别网络，在一个具体的实施例中，识别一个微表情视频对应的面部微表情的分类结果的步骤包括：

1、动作放大。将一个微表情视频输入到欧拉视频放大算法模型中以放大因子为10的情况进行动作放大。

2、人脸对齐与裁剪。将一个子视频序列输入到人脸检测模型中检测并裁剪为224像素*224 像素。

3、视频帧采样。使用跨步采样模型对动作放大过的视频进行抽样获得长度为8的子视频序列。

4、模型推理。将经过处理的子视频序列输入到上述已训练好的模型中，获得关于面部微表情的五分类结果。

本申请实施例还提供一种面部微表情识别装置，如图5所示，该中文细粒度实体识别装置 400包括：

视频获取模块401，用于获取待识别微表情的视频；

预处理模块402，用于对所述视频进行预处理，得到经过动作放大和分辨率归一化的长视频序列；

跨步采样模块403，用于对所述长视频序列进行跨步采样，得到预设长度的子视频序列；

分类模块404，用于将所述子视频序列输入训练好的微表情识别网络，得到所述视频对应的面部微表情的分类结果。

本申请实施例还提供一种电子设备，包括：

至少一个存储器以及至少一个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如前所述的一种面部微表情识别方法的步骤。

本申请实施例还提供一种计算机可读存储介质，

所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的一种面部微表情识别方法的步骤。

本发明提供的一种面部微表情识别方法、装置、电子设备及存储介质，使用了欧拉视频放大方法来实现动作放大，有效增强了微表情视频的动作特征；设计了跨步采样方法来实现样本扩展，有效避免了深度学习在训练过程中产生的过拟合问题；采用了轻量级的时空组合神经网络作为骨干时空网络，来减少了模型的资源占用；设计了一个局部空间差堆叠块来辅助神经网络关注到微表情所表现的面部区域，有效提升了微表情识别的准确性，并且该方法只需使用微表情RGB特征进而降低了模型的计算复杂度。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种面部微表情识别方法，其特征在于，包括以下步骤：

获取待识别微表情的视频；

对所述视频进行预处理，得到经过动作放大和分辨率归一化的长视频序列；

对所述长视频序列进行跨步采样，得到预设长度的子视频序列；

将所述子视频序列输入训练好的微表情识别网络，得到所述视频对应的面部微表情的分类结果。

2.根据权利要求1所述的一种面部微表情识别方法，其特征在于，所述微表情识别网络包括局部空间差分特征堆叠块和时空特征提取网络；

将所述子视频序列输入训练好的微表情识别网络，得到所述视频对应的面部微表情的分类结果，包括：

将所述子视频序列输入所述局部空间差分特征堆叠块，得到局部空间增强后的空间特征；

将所述局部空间增强后的空间特征序列输入所述时空特征提取网络，得到所述视频的面部微表情的分类结果。

3.根据权利要求2所述的一种面部微表情识别方法，其特征在于，所述局部空间差分特征堆叠块包括顺次连接的堆叠块、平均池化层、第一卷阶层、第一残差块、上采样层，所述上采样层的输出结果与第二卷积层的输出结果进行加权后输入第二残差块；

将所述子视频序列输入所述局部空间差分特征堆叠块，得到局部空间增强后的空间特征，包括：

将所述子视频序列中的每一帧输入所述第二卷积层，提取得到所述子视频序列对应的原始空间特征图序列；

将所述子视频序列中的每一帧输入所述堆叠块，得到所述子视频序列的差分特征；

将所述差分特征输入所述平均池化层，得到降维的差分特征；

将所述降维的差分特征顺次输入所述第一卷积层和所述第一残差块，得到差分的空间特征参数；

将所述差分的空间特征参数输入所述上采样层，得到与所述原始空间特征相同维度的差分空间特征；

将所述原始空间特征与所述差分空间特征进行求和加权；

将加权后的空间特征输入所述第二残差块，得到局部空间增强后的空间特征。

4.根据权利要求3所述的一种面部微表情识别方法，其特征在于，所述时空特征提取网络包括顺次连接的VGGFace网络、时序卷积网络和分类层，所述分类层使用中心损失函数和正则化方法计算所述视频的面部微表情的分类结果；

将所述局部空间增强后的空间特征序列输入所述时空特征提取网络，得到所述视频的面部微表情的分类结果，包括：

将所述局部空间增强后的空间特征序列输入所述VGGFace网络，代表空间信息的输出特征向量X＝[x₁,x₂,...x_s]，其维度大小为(s,512)：

将所述特征向量X＝[x₁,x₂,...x_s]输入所述时序卷积网络，进行时序特征提取，得到包含空间时序信息的

特征向量；

将所述包含空间时序信息的

特征向量输入所述分类层，经过中心损失函数计算，得到所述视频的面部微表情的分类结果。

5.根据权利要求4所述的一种面部微表情识别方法，其特征在于，所述微表情识别网络的训练步骤包括：

获取微表情视频数据；

对所述微表情视频数据进行预处理和跨步采样，得到预设长度的子视频序列数据集；

将所述数据集分为训练集、验证集和测试集，对所述微表情识别网络进行训练；

使用所述验证集选择所述微表情识别网络的参数，使用所述测试集检验不同参数对应的所述微表情识别网络的性能，得到训练好的微表情识别网络。

6.根据权利要求1所述的一种面部微表情识别方法，其特征在于，对所述子视频序列进行跨步采样，包括：

将剪裁过后的长视频序列作为输入，获取该序列的长度L，并将序列平均划分为s段等长的片段，使得让每个片段的长度为T，

依据T的范围设置一个随机种子，从每个片段中随机选择一帧；

和/或，在视频的峰值帧出现片段中，抽取峰值帧；

将从每个片段中抽取的图片帧按照片段顺序排列，得到长度为s的子视频序列；

重复上述步骤，得到T^s-1个长度为s的等长子视频序列。

7.根据权利要求6所述的一种面部微表情识别方法，其特征在于，对所述视频进行预处理包括：

将所述视频输入到欧拉视频放大算法模型中进行动作放大，其中，放大因子为10，截断波长为80，色彩削弱为0.1；

将经过动作放大的视频输入多任务卷积神经网络，进行人脸识别；

对于识别到人脸的子视频序列，进行人脸特征点的检测，得到包含眼睛、鼻子、嘴巴和人脸轮廓的24个像素点的坐标位置；

以所述子视频序列的第一帧图像的特征点作为标准将人脸剪裁出来，并且将帧图像分辨率归一化为224像素*224像素。

8.一种面部微表情识别装置，其特征在于，包括：

视频获取模块，用于获取待识别微表情的视频；

预处理模块，用于对所述视频进行预处理，得到经过动作放大和分辨率归一化的长视频序列；

跨步采样模块，用于对所述长视频序列进行跨步采样，得到预设长度的子视频序列；

分类模块，用于将所述子视频序列输入训练好的微表情识别网络，得到所述视频对应的面部微表情的分类结果。

9.一种电子设备，其特征在于，包括：

至少一个存储器以及至少一个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7任一所述的一种面部微表情识别方法的步骤。

10.一种计算机可读存储介质，其特征在于：

所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一所述的一种面部微表情识别方法的步骤。

Images