CN114511912A - 基于双流卷积神经网络的跨库微表情识别方法及装置 - Google Patents

基于双流卷积神经网络的跨库微表情识别方法及装置 Download PDF

Info

Publication number
CN114511912A
CN114511912A CN202210246865.0A CN202210246865A CN114511912A CN 114511912 A CN114511912 A CN 114511912A CN 202210246865 A CN202210246865 A CN 202210246865A CN 114511912 A CN114511912 A CN 114511912A
Authority
CN
China
Prior art keywords
micro
neural network
convolutional neural
double
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210246865.0A
Other languages
English (en)
Inventor
宗源
宋宝林
郑文明
李克
朱洁
赵力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202210246865.0A priority Critical patent/CN114511912A/zh
Publication of CN114511912A publication Critical patent/CN114511912A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双流卷积神经网络的跨库微表情识别方法及装置，方法包括：(1)获取源数据库和目标数据库(2)从源数据库和目标数据库的微表情视频中提取关键帧(3)对峰值帧进行人脸区域检测和灰度处理，得到人脸灰度图像，作为空间线索；(4)分别计算起始帧与峰值帧之间以及峰值帧与终止帧之间的水平光流场和垂直光流场，并采用四个光流场堆叠得到一幅四通道灰度图像，作为时间线索；(5)建立双流卷积神经网络(6)将源数据库数据特征输入双流卷积神经网络进行预训练，训练好后再将目标数据库数据特征进行微调整训练；(7)将待识别微表情视频作为目标数据库中数据，输入训练好的双流卷积神经网络，得到微表情类型。本发明识别准确率更高。

Description

基于双流卷积神经网络的跨库微表情识别方法及装置
技术领域
本发明涉及微表情识别技术，尤其涉及一种基于双流卷积神经网络的跨库微表情识别方法及装置。
背景技术
微表情(Micro-Expression)是一种不自觉的面部表情，通常持续时间非常短且动作幅度也非常小，一般只发生在人脸很小的一部分区域内，不会同时出现在上半脸和下半脸。微表情通常能揭示人的真实感情和情绪，是人类隐藏情绪的重要非语言信号，被认为是识别谎言和危险的关键线索。因此，识别微表情有许多有价值的应用，例如，临床医疗诊断、刑侦询问和社会安全等。然而，与普通面部表情(Macro-Expression)相比，微表情的强度要低得多，持续时间要短得多，对于没有经过专业训练的普通人，捕捉并正确识别微表情有着相当的难度，为了帮助人类更高效地理解和识别微表情，利用计算机程序和人工智能算法进行自动微表情识别成为近年来的模式识别、计算机视觉、情感计算等领域的热门研究方向。
近年来，研究者提出了许多基于机器学习和深度学习的有效方法来自动识别微表情。例如，传统机器学习方法通常先提取手工特征，例如LBP-TOP及其变体(STLBP、DSLBP、LBP-SIP和STLBP-IP)、MDMO、FHOFO、Bi-WOOF和LTOGP，然后构造各种类型的分类器，例如SVM、RF、K-NN、SRC、relaxed K-SVD和GSL，专门用于识别微表情的任务。与此同时，一些深度学习方法也被用于识别微表情的任务，例如，LSTM，预训练的CNN(例如，OFF-ApexNet，MagGA/SA和3D-CNN)，CapsuleNet和STRCN。这些网络通常可以提高微表情的表示能力，并以端到端的方式学习时空特征和分类器，对微表情进行分类。
上述方法是在测试样本和训练样本来自相同数据库的理想情况下进行的。然而，在许多实际应用中，测试样本和训练样本通常来自不同的数据库，这很容易带来较大的领域差异，导致大多数微表情识别方法在跨库时的识别效果不能令人满意。近来，有许多研究者尝试解决跨数据库微表情识别问题，例如，Zong等人提出了一种基于目标样本再生器(TSRG)的域自适应方法来处理跨数据库微表情识别任务。Hassan等人提出了一种重要加权支持向量机(IW-SVM)，以消除不同样本之间的特征分布不匹配，提高不同数据库下的分类精度。Long等人提出应用转移核学习(TKL)来学习域不变核，以消除来自不同数据库的样本之间的特征分布差异。Gong等人提出了一种称为测地线流核(GFK)的方法，用Grassmann流形上设计良好的GFK连接两个不同的数据库并缩小它们之间的特征分布差异。Chu等人提出了一种选择性转移机(STM)来模拟训练样本与其AU信息之间的关系，其目的是通过研究STM中的一组权重值，确保测试样本具有与训练样本相似的特征分布。Fernando等人提出了一种子空间对齐(SA)的方法，用于寻找映射函数，该映射函数可以将源样本所在的子空间与目标样本对齐。Pan等人提出了一种基于再生核Hilbert空间的转移分量分析(TCA)方法，通过寻找一些跨域的转移分量来消除不同域样本的分布差异。Li等人提出了一种基于启用学习回归系数矩阵的目标自适应最小二乘回归(TALSR)方法，该方法可以从源样本及其标签信息中学习回归系数矩阵，以适应目标域数据库。以上绝大部分跨库微表情识别相关研究主要基于传统机器学习方法，依靠具有领域不变性的空时描述子和机器学习分类器来处理跨库微表情识别任务，识别率不十分理想，距离实际应用仍有一段距离；此外，随着微表情数据集样本的扩充，基于深度学习的方法将是跨库微表情识别在未来的主要研究方向之一，但目前相关研究较少，整体进展也较为缓慢。
发明内容
发明目的：本发明针对现有技术存在的问题，提供一种识别准确率更高的基于双流卷积神经网络的跨库微表情识别方法及装置。
技术方案：本发明所述的基于双流卷积神经网络的跨库微表情识别方法包括：
(1)获取两个不同的微表情数据库，分别为源数据库和目标数据库，源数据库中存储有微表情视频和对应的微表情类型标签，目标数据库中仅存储微表情视频；
(2)从源数据库和目标数据库的微表情视频中提取关键帧，包括起始帧、峰值帧和终止帧；
(3)对峰值帧进行人脸区域检测和灰度处理，得到人脸灰度图像，作为空间线索；
(4)分别计算起始帧与峰值帧之间以及峰值帧与终止帧之间的水平光流场和垂直光流场，并采用四个光流场堆叠得到一幅四通道灰度图像，作为时间线索；
(5)建立双流卷积神经网络，所述网络包括空间线索输入支路、时间线索输入支路和连接两个支路的全连接层；
(6)将源数据库的空间线索、时间线索和对应标签作为样本同时输入双流卷积神经网络进行预训练，训练好后再将目标数据库中的空间线索、时间线索作为样本进行微调整训练；
(7)将待识别微表情视频作为目标数据库中的数据，提取空间线索、时间线索作为样本输入训练好的双流卷积神经网络，得到微表情类型。
进一步的，步骤(3)具体包括：
(3-1)采用OpenCV的Viola-Jones级联检测器对峰值帧进行人脸区域检测，得到人脸区域图像；
(3-2)将检测到的人脸区域图像采样并做灰度化处理，最终获得48×48像素大小的单通道人脸灰度图像，作为空间线索。
进一步的，步骤(4)包括：
(4-1)计算起始帧与峰值帧之间的水平光流场和垂直光流场；
(4-2)计算峰值帧与终止帧之间的水平光流场和垂直光流场；
(4-3)分别从四个光流场中裁剪出人脸区域，得到四个人脸区域图像；
(4-4)分别将四个人脸区域图像按照下式进行min-max标准化处理，从而转化为四幅可显示的灰度图像：
Figure BDA0003545102890000031
其中Horg与Hnorm分别为标准化处理前后的图像矩阵；
(4-5)将四幅灰度图像堆叠操作后，最终得到一幅48×48像素的四通道灰度图像，作为时间线索。
进一步的，步骤(5)中建立的双流卷积神经网络的两个支路结构完全相同，都包括：从前到后依次连接的第一卷积层、最大值池化层、第二卷积层、第三卷积层、第一均值池化层、第四卷积层、第五卷积层、第二均值池化层和全连接层，卷积层和全连接层中每个神经元均采用参数化线性修正单元PReLU作为激活函数，所有全连接层神经元输出均采用随机失活Dropout防止过拟合。
进一步的，步骤(6)具体包括：
(6-1)将源数据库的空间线索、时间线索和对应标签作为样本同时输入双流卷积神经网络进行预训练，训练时采用的损失函数L为：
Figure BDA0003545102890000032
其中，n为样本编号，N为样本数目，j为微表情类别编号，J为微表情类别数目，Pn,j为第n个样本的实际输出为j的概率，τ(yn,j)为第n个样本的输出为j的期望概率；
(6-2)再将目标数据库中的空间线索、时间线索作为样本输入预训练好的双流卷积神经网络，进行微调整训练，训练时采用的损失函数Ltotal为：
Figure BDA0003545102890000033
其中，MMDi(XS,YT)代表第i批的目标数据库样本和源数据库样本在双流卷积神经网络的两个支路的末端全连接层及合并后全连接层上输出的特征分布的最大均值差异MMD，XS表示源数据库样本在网络全连接层上输出的特征分布，YT表示目标数据库样本在网络全连接层上输出的特征分布；MMD是在再生希尔伯特空间中两个分布的距离，αi和α是通过训练得到的结合强度系数。
本发明所述的基于双流卷积神经网络的跨库微表情识别装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
有益效果：本发明与现有技术相比，其显著优点是：本发明识别准确率更高。
附图说明
图1是本发明提供的基于双流卷积神经网络的跨库微表情识别方法的流程示意图；
图2是双流卷积神经网络DSCNN的跨库微表情识别架构示意图；
图3是双流卷积神经网络DSCNN的详细结构；
图4是双流卷积神经网络DSCNN、单支路网络结构OSCNN-I(只接受空间线索进行训练的单支路网络)和单支路网络结构OSCNN-II(只接受时间线索进行训练的单支路网络)在I型跨库微表情识别实验下的实验结果对比；
图5是双流卷积神经网络DSCNN、单支路网络结构OSCNN-I(只接受空间线索进行训练的单支路网络)和单支路网络结构OSCNN-II(只接受时间线索进行训练的单支路网络)在II型跨库微表情识别实验下的实验结果对比。
具体实施方式
本实施例提供了一种基于双流卷积神经网络的跨库微表情识别方法，如图1所示，包括：
(1)获取两个不同的微表情数据库，分别为源数据库和目标数据库，源数据库中存储有微表情视频和对应的微表情类型标签，目标数据库中仅存储微表情视频。
本发明中训练样本(源数据库或源域)和测试样本(目标域或目标数据库)分属于不同的微表情数据集，且两者具有明显的特征分布差异。
(2)从源数据库和目标数据库的微表情视频中提取关键帧，包括起始帧、峰值帧和终止帧。
(3)对峰值帧进行人脸区域检测和灰度处理，得到人脸灰度图像，作为空间线索。
该步骤具体包括：
(3-1)采用OpenCV的Viola-Jones级联检测器对峰值帧进行人脸区域检测，得到人脸区域图像；Viola-Jones级联检测器可以对正面人脸进行有效的检测，并具有较高的检测速度；
(3-2)将检测到的人脸区域图像采样并做灰度化处理，最终获得48×48像素大小的单通道人脸灰度图像，作为空间线索。空间线索最为直观地展示了发生微表情的面部纹理信息。
(4)分别计算起始帧与峰值帧之间以及峰值帧与终止帧之间的水平光流场和垂直光流场，并采用四个光流场堆叠得到一幅四通道灰度图像，作为时间线索。
该步骤具体包括：
(4-1)计算起始帧与峰值帧之间的水平光流场和垂直光流场；
(4-2)计算峰值帧与终止帧之间的水平光流场和垂直光流场；
其中，光流的计算采用开源光流估算器bob.ip.liu.optflow，对于输入的两幅图像可以计算出相同尺寸的两组光流矩阵分别是水平光流场和垂直光流场；
(4-3)分别从四个光流场中裁剪出人脸区域，得到四个人脸区域图像；
(4-4)分别将四个人脸区域图像按照下式进行min-max标准化处理，从而转化为四幅可显示的灰度图像：
Figure BDA0003545102890000051
其中Horg与Hnorm分别为标准化处理前后的图像矩阵；
(4-5)将四幅灰度图像堆叠操作后，最终得到一幅48×48像素的四通道灰度图像，作为时间线索。时间线索有效地描述了微表情由发生到峰值再由峰值至结束这两个动态过程在二维平面上的投影，从而使得卷积网络能够获取时序动态信息，可以有效地改善最终识别结果。
(5)建立双流卷积神经网络(Dual-Stream CNN,DSCNN)，所述网络包括空间线索输入支路、时间线索输入支路和连接两个支路的全连接层FC2。
如图2所示，双流卷积神经网络的两个支路结构完全相同，都包括：从前到后依次连接的第一卷积层conv1、最大值池化层Maxpool1、第二卷积层conv2、第三卷积层conv3、第一均值池化层Avepool1、第四卷积层conv4、第五卷积层conv5、第二均值池化层Avepool2和全连接层FC1，卷积层和全连接层中每个神经元均采用参数化线性修正单元PReLU作为激活函数，所有全连接层神经元输出均采用随机失活Dropout防止过拟合。
如图3所示，每条输入支路中的5个卷积层的局部感受野大小均设为5×5，步长(stride)均设为1，并在卷积后采用边缘补零策略保持特征映射大小不变。对于前3个卷积层，每个卷积层设置64个卷积核；对于后2个卷积层，每个卷积层设置128个卷积核；对于2种池化层，最大值池化层窗口大小均设为5×5，均值池化层窗口大小均设为3×3，步长(stride)均设为2。每个支路中第1个最大值池化层池化第1个卷积层，另外的2个均值池化层分别依次间隔池化剩余的4个卷积层，每一次池化均使映射输出的特征维度减小为原来的一半。
网络激活函数设置如下：
采用参数化修正线性单元(PReLU)作为DSCNN网络中每个神经元的激活函数，其定义如下：
Figure BDA0003545102890000061
其中i表示通道编号，参数ai是通过训练得到的映射强度系数，激活函数定义了神经元在线性变换后的非线性输出结果。相比于ReLU，PReLU以极小的过拟合风险和计算量的增加为代价，有效地提高了网络的分类能力。参数ai在更新时采用带动量的方式，如下所示：
Figure BDA0003545102890000062
(6)将源数据库的空间线索、时间线索和对应标签作为样本同时输入双流卷积神经网络进行预训练，训练好后再将目标数据库中的空间线索、时间线索作为样本进行微调整训练。
该步骤具体包括：
(6-1)将源数据库的空间线索、时间线索和对应标签作为样本同时输入双流卷积神经网络进行预训练，训练时采用交叉熵损失函数(Cross Entropy Loss Function)，具体损失函数L为：
Figure BDA0003545102890000063
其中，n为样本编号，N为样本数目，j为微表情类别编号，J为微表情类别数目，Pn,j为第n个样本的实际输出为j的概率，τ(yn,j)为第n个样本的输出为j的期望概率；交叉熵刻画了二者之间的距离，然后通过反向传播(Back Propagation,BP)算法在训练中降低损失函数。
(6-2)再将目标数据库中的空间线索、时间线索作为样本输入预训练好的双流卷积神经网络，进行微调整训练，训练时采用的损失函数Ltotal为：
Figure BDA0003545102890000064
其中，MMDi(XS,YT)代表第i批的目标数据库样本和源数据库样本在双流卷积神经网络的两个支路的末端全连接层及合并后全连接层上输出的特征分布的最大均值差异MMD(Maximum Mean Discrepancy)，XS表示源数据库样本在网络全连接层上输出的特征分布，YT表示目标数据库样本在网络全连接层上输出的特征分布；MMD是在再生希尔伯特空间中两个分布的距离，用来判断两个分布是否相同。如果这个值足够小，就认为两个分布相同，否则就认为它们不相同，是一种核学习方法，近年来，MMD越来越多地应用在领域自适应中。αi和α是通过训练得到的结合强度系数。
(7)将待识别微表情视频作为目标数据库中的数据，提取空间线索、时间线索作为样本输入训练好的双流卷积神经网络，得到微表情类型。
训练优化器配置：
训练优化器采用了带有校正因子动量(Nesterov Momentum)的随机梯度下降(Stochastic Gradient Descent,SGD)算法，计算损失函数从而不断更新权值，NesterovMomentum通过模拟物理中动量的概念，抑制梯度方向的震荡，加快收敛速度，若历史梯度与当前梯度方向一致，Momentum项增大，否则减少；而Nesterov项在梯度更新时加入一个校正，避免梯度更新前进太快，同时梯度更新更为灵活，迭代过程如下
Figure BDA0003545102890000071
θ＝θ-vt
其中η表示学习率，实验中设置为10-3，此外权值衰减设置为10-5，校正因子为0.9。
为加快训练速度，提高识别结果的可靠度，在用源数据库预训练的DSCNN网络模型上冻结各层权值，然后结合目标域样本和源域样本只对DSCNN后三个全连接层的权值进行训练微调，使之能够实现符合预期的跨库微表情识别任务。训练采用早停(Early Stop)策略，最大周期设置为500，当损失函数不再下降时即终止训练。
本实施例还提供了一种基于双流卷积神经网络的跨库微表情识别装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
为了验证本发明，进行仿真验证，仿真进行跨库微表情识别实验需要重新标记CASME II的样本标签，使CASME II和SMIC的三个子集具有相同的标签。首先从CASME II中选择快乐、惊讶、厌恶和压抑四种标签的样本，将快乐标签的样本重新标记为积极的样本，厌恶和压抑的样本被重新标记为消极的样本，惊讶标签的样本保持不变。为了验证本发明中的双流卷积网络DSCNN的有效性与必要性，我们在重新标记的CASME II和SMIC的三个子集(HS,VIS,NIR)上进行了两种类型的跨库微表情实验。其中，I型跨库微表情识别实验在SMIC的三个子集(HS、VIS、NIR)两两之间进行，例如，HS→VIS、VIS→HS、HS→NIS、NIR→HS、VIS→NIR和NIR→VIS；II型跨库微表情识别试验在重新标记的CASME II和SMIC的一个子集(HS、VIS、NIR)之间进行，例如，CAS→HS、HS→CAS、CAS→VIS、VIS→CAS、CAS→NIR和NIR→CAS。CAS、HS、VIS和NIR是重新标记的CASME II、SMIC(HS)、SMIC(VIS)和SMIC(NIR)的缩写。在实验中选取Accuracy/F1-Score作为评价指标，结果如图4、图5所示，可以观察到本发明中的双流卷积网络DSCNN在两类跨库微表情识别任务上均取得了优异的识别效果。DSCNN利用独特的两支路网络结构对时空信息进行了合理的利用；另外，设计的损失函数在DSCNN微调训练过程中可以约束两个数据库在网络上的特征分布差异，对跨库识别性能的提升起到了关键作用。
以上所揭露的仅为本发明一种较佳实施例而已，不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (6)

1.一种基于双流卷积神经网络的跨库微表情识别方法，其特征在于该方法包括：
(1)获取两个不同的微表情数据库，分别为源数据库和目标数据库，源数据库中存储有微表情视频和对应的微表情类型标签，目标数据库中仅存储微表情视频；
(2)从源数据库和目标数据库的微表情视频中提取关键帧，包括起始帧、峰值帧和终止帧；
(3)对峰值帧进行人脸区域检测和灰度处理，得到人脸灰度图像，作为空间线索；
(4)分别计算起始帧与峰值帧之间以及峰值帧与终止帧之间的水平光流场和垂直光流场，并采用四个光流场堆叠得到一幅四通道灰度图像，作为时间线索；
(5)建立双流卷积神经网络，所述网络包括空间线索输入支路、时间线索输入支路和连接两个支路的全连接层；
(6)将源数据库的空间线索、时间线索和对应标签作为样本同时输入双流卷积神经网络进行预训练，训练好后再将目标数据库中的空间线索、时间线索作为样本进行微调整训练；
(7)将待识别微表情视频作为目标数据库中的数据，提取空间线索、时间线索作为样本输入训练好的双流卷积神经网络，得到微表情类型。
2.根据权利要求1所述的基于双流卷积神经网络的跨库微表情识别方法，其特征在于：步骤(3)具体包括：
(3-1)采用OpenCV的Viola-Jones级联检测器对峰值帧进行人脸区域检测，得到人脸区域图像；
(3-2)将检测到的人脸区域图像采样并做灰度化处理，最终获得48×48像素大小的单通道人脸灰度图像，作为空间线索。
3.根据权利要求1所述的基于双流卷积神经网络的跨库微表情识别方法，其特征在于：步骤(4)包括：
(4-1)计算起始帧与峰值帧之间的水平光流场和垂直光流场；
(4-2)计算峰值帧与终止帧之间的水平光流场和垂直光流场；
(4-3)分别从四个光流场中裁剪出人脸区域，得到四个人脸区域图像；
(4-4)分别将四个人脸区域图像按照下式进行min-max标准化处理，从而转化为四幅可显示的灰度图像：
Figure FDA0003545102880000011
其中Horg与Hnorm分别为标准化处理前后的图像矩阵；
(4-5)将四幅灰度图像堆叠操作后，最终得到一幅48×48像素的四通道灰度图像，作为时间线索。
4.根据权利要求1所述的基于双流卷积神经网络的跨库微表情识别方法，其特征在于：步骤(5)中建立的双流卷积神经网络的两个支路结构完全相同，都包括：从前到后依次连接的第一卷积层、最大值池化层、第二卷积层、第三卷积层、第一均值池化层、第四卷积层、第五卷积层、第二均值池化层和全连接层，卷积层和全连接层中每个神经元均采用参数化线性修正单元PReLU作为激活函数，所有全连接层神经元输出均采用随机失活Dropout防止过拟合。
5.根据权利要求1所述的基于双流卷积神经网络的跨库微表情识别方法，其特征在于：步骤(6)具体包括：
(6-1)将源数据库的空间线索、时间线索和对应标签作为样本同时输入双流卷积神经网络进行预训练，训练时采用的损失函数L为：
Figure FDA0003545102880000021
其中，n为样本编号，N为样本数目，j为微表情类别编号，J为微表情类别数目，Pn,j为第n个样本的实际输出为j的概率，τ(yn,j)为第n个样本的输出为j的期望概率；
(6-2)再将目标数据库中的空间线索、时间线索作为样本输入预训练好的双流卷积神经网络，进行微调整训练，训练时采用的损失函数Ltotal为：
Figure FDA0003545102880000022
其中，MMDi(XS,YT)代表第i批的目标数据库样本和源数据库样本在双流卷积神经网络的两个支路的末端全连接层及合并后全连接层上输出的特征分布的最大均值差异MMD，XS表示源数据库样本在网络全连接层上输出的特征分布，YT表示目标数据库样本在网络全连接层上输出的特征分布；MMD是在再生希尔伯特空间中两个分布的距离，αi和α是通过训练得到的结合强度系数。
6.一种基于双流卷积神经网络的跨库微表情识别装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现权利要求1-5中任意一项所述的方法。
CN202210246865.0A 2022-03-14 2022-03-14 基于双流卷积神经网络的跨库微表情识别方法及装置 Pending CN114511912A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210246865.0A CN114511912A (zh) 2022-03-14 2022-03-14 基于双流卷积神经网络的跨库微表情识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210246865.0A CN114511912A (zh) 2022-03-14 2022-03-14 基于双流卷积神经网络的跨库微表情识别方法及装置

Publications (1)

Publication Number Publication Date
CN114511912A true CN114511912A (zh) 2022-05-17

Family

ID=81554067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210246865.0A Pending CN114511912A (zh) 2022-03-14 2022-03-14 基于双流卷积神经网络的跨库微表情识别方法及装置

Country Status (1)

Country Link
CN (1) CN114511912A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114944000A (zh) * 2022-06-07 2022-08-26 重庆第二师范学院 一种基于多尺度特征提取的人脸表情识别模型
CN116050507A (zh) * 2023-01-18 2023-05-02 合肥中科立恒智能科技有限公司 一种二氧化碳排放监测方法与系统
CN117197877A (zh) * 2023-11-07 2023-12-08 山东省工业技术研究院 一种基于区域加权光流特征的微表情识别方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114944000A (zh) * 2022-06-07 2022-08-26 重庆第二师范学院 一种基于多尺度特征提取的人脸表情识别模型
CN114944000B (zh) * 2022-06-07 2024-04-19 重庆第二师范学院 一种基于多尺度特征提取的人脸表情识别方法
CN116050507A (zh) * 2023-01-18 2023-05-02 合肥中科立恒智能科技有限公司 一种二氧化碳排放监测方法与系统
CN116050507B (zh) * 2023-01-18 2023-12-22 合肥中科立恒智能科技有限公司 一种二氧化碳排放监测方法与系统
CN117197877A (zh) * 2023-11-07 2023-12-08 山东省工业技术研究院 一种基于区域加权光流特征的微表情识别方法及系统
CN117197877B (zh) * 2023-11-07 2024-03-19 山东省工业技术研究院 一种基于区域加权光流特征的微表情识别方法及系统

Similar Documents

Publication Publication Date Title
CN112784798B (zh) 一种基于特征-时间注意力机制的多模态情感识别方法
CN108596039B (zh) 一种基于3d卷积神经网络的双模态情感识别方法及系统
Liao et al. Deep facial spatiotemporal network for engagement prediction in online learning
Boughrara et al. Facial expression recognition based on a mlp neural network using constructive training algorithm
Wan et al. Results and analysis of chalearn lap multi-modal isolated and continuous gesture recognition, and real versus fake expressed emotions challenges
CN111523462B (zh) 基于自注意增强cnn的视频序列表情识别系统及方法
CN110287805B (zh) 基于三流卷积神经网络的微表情识别方法及系统
CN109902546A (zh) 人脸识别方法、装置及计算机可读介质
CN114511912A (zh) 基于双流卷积神经网络的跨库微表情识别方法及装置
CN111797683A (zh) 一种基于深度残差注意力网络的视频表情识别方法
CN109711254A (zh) 基于对抗生成网络的图像处理方法和装置
Gao et al. The labeled multiple canonical correlation analysis for information fusion
US20220138472A1 (en) System and Method for Detecting Fabricated Videos
CN112784763A (zh) 基于局部与整体特征自适应融合的表情识别方法及系统
Zhao et al. ME-PLAN: A deep prototypical learning with local attention network for dynamic micro-expression recognition
CN110427881B (zh) 基于人脸局部区域特征学习的跨库微表情识别方法及装置
Ocquaye et al. Dual exclusive attentive transfer for unsupervised deep convolutional domain adaptation in speech emotion recognition
Russo et al. Sports classification in sequential frames using CNN and RNN
CN111259759B (zh) 基于域选择迁移回归的跨数据库微表情识别方法及装置
CN112633154A (zh) 一种异源人脸特征向量之间的转换方法及系统
CN116434311A (zh) 一种基于混合域一致性约束的面部表情识别方法及系统
Ahmed et al. Two person interaction recognition based on effective hybrid learning
CN111523461A (zh) 基于增强cnn和跨层lstm的表情识别系统与方法
Zhu et al. Micro-expression recognition convolutional network based on dual-stream temporal-domain information interaction
Takalkar et al. Improving micro-expression recognition accuracy using twofold feature extraction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination