CN114998973A - 一种基于域自适应的微表情识别方法 - Google Patents

一种基于域自适应的微表情识别方法 Download PDF

Info

Publication number
CN114998973A
CN114998973A CN202210767992.5A CN202210767992A CN114998973A CN 114998973 A CN114998973 A CN 114998973A CN 202210767992 A CN202210767992 A CN 202210767992A CN 114998973 A CN114998973 A CN 114998973A
Authority
CN
China
Prior art keywords
domain
feature
learning module
sample
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210767992.5A
Other languages
English (en)
Inventor
卢官明
葛环宇
卢峻禾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202210767992.5A priority Critical patent/CN114998973A/zh
Publication of CN114998973A publication Critical patent/CN114998973A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level

Abstract

本发明公开了一种基于域自适应的微表情识别方法，该方法包括以下步骤：将普通表情域作为源域，微表情域作为目标域，对普通表情和微表情图像进行预处理，建立源域和目标域样本集；构建包含特征学习模块、分类器和域判别器的对抗网络；在每个批次对对抗网络的训练中，用源域样本训练特征学习模块、分类器和域判别器，用目标域样本训练特征学习模块和域判别器，通过对抗学习使得源域和目标域样本的特征分布差异最小化，实现域的自适应；利用训练好的特征学习模块和分类器构建微表情识别模型，对输入的图像进行微表情识别。本发明利用现有普通表情样本去辅助微表情识别，以解决微表情训练样本数量不足的问题，提高微表情识别的准确率和鲁棒性。

Description

一种基于域自适应的微表情识别方法
技术领域
本发明涉及一种基于域自适应的微表情识别方法，属于微表情识别及人工智能领域。
背景技术
在日常的人际交流和沟通过程中，人类的面部表情变化可以表达各种各样的情感信息和情绪状态，与人类的心理状态、意图和目的有很密切的关系。“微表情(Micro-expression)”是一种持续时间仅为0.04～0.20s的自发式表情。与一般面部表情不同，微表情是一种受自主神经系统控制的应激反应，往往在人们试图掩盖自己真实情感时流露出的面部表情，表达了一个人试图压抑或隐藏的内心真实情感，既无法伪装也无法抑制。所以，微表情可作为测试谎言和行为分析的重要线索，在测谎、抑郁症和精神分裂症等心理疾病的临床诊断以及侦查讯问等领域具有潜在的应用前景。
微表情自被发现以来，已经吸引了大量研究人员的关注。随着深度学习技术的发展，深度神经网络在表情识别等任务中得到了应用。研究人员也尝试利用深度神经网络进行微表情识别。中国专利申请“一种基于3D卷积神经网络的微表情识别方法”(专利申请号CN201610954555.9，公开号CN106570474A)，对于微表情视频序列中的各帧图像提取灰度通道特征图、水平方向梯度通道特征图、竖直方向梯度通道特征图、水平方向光流通道特征图、竖直方向光流通道特征图从而获得待识别微表情视频序列所对应的一个特征图组，然后输入到3D卷积神经网络进一步提取特征并分类。该方法对于微表情视频序列的每一帧图像都要处理，计算量极大，并且由于没有足够的训练样本，很容易出现模型过拟合问题，影响模型的鲁棒性和泛化性能。
与普通表情相比，由于微表情的持续时间非常短，变化幅度小，强度弱，采集和标注微表情样本难度大，获取大量有类别标签的样本则需要付出巨大的标注代价。因为标注微表情的类别标签不仅需要由训练有素且具有丰富专业经验的心理专家来完成，而且耗时费力。因此，直接用现有的小规模微表情样本库无法训练出鲁棒的深度学习模型。
发明内容
发明目的：针对微表情训练样本规模小，难以训练出鲁棒的深度学习模型的问题，本发明提出了一种基于域自适应的微表情识别方法，该方法利用现有普通表情样本去辅助微表情识别，可以解决微表情训练样本数量不足的问题，提高微表情识别的准确率和鲁棒性；为了能够提取鉴别力强的表情特征，本发明提出了注意力单元，能够使特征学习模块在提取特征过程中能够重点关注肌肉运动幅度较大的区域，同时抑制不相关区域对表情识别带来的不利影响。
技术方案：本发明为实现上述发明目的采用以下技术方案：一种基于域自适应的微表情识别方法，包含以下步骤：
步骤1：将普通表情域作为源域，微表情域作为目标域，对普通表情和微表情图像进行预处理，建立源域和目标域样本集；
步骤2：构建包含特征学习模块、分类器和域判别器的对抗网络；
步骤3：在每个批次对对抗网络的训练中，用源域样本训练特征学习模块、分类器和域判别器，用目标域样本训练特征学习模块和域判别器，通过对抗学习使得源域和目标域样本的特征分布差异最小化，实现域的自适应；
步骤4：利用训练好的特征学习模块和分类器构建微表情识别模型，对输入的图像进行微表情识别。
进一步地，所述步骤2所述的对抗网络主要由特征学习模块、域判别器和分类器组成；
所述特征学习模块，由特征提取单元、特征划分单元、平均池化层、注意力单元和特征融合层组成；特征提取单元由o个卷积模块组成，每个卷积模块包含两个卷积层以及一个池化层，其中o在3、4、5数值中选取；特征划分单元用于将特征提取单元输出的特征张量
Figure BDA0003722895920000021
中的每个通道特征图在h维度上划分成三等份，得到对应人脸图像中眼睛区域的特征张量
Figure BDA0003722895920000022
鼻子区域的特征张量
Figure BDA0003722895920000023
和嘴巴区域的特征张量
Figure BDA0003722895920000024
其中c、h和w分别代表特征张量G的通道数、高度和宽度；平均池化层用于将特征张量G、L1、L2和L3中的每个通道的特征图降维成一个特征值，分别得到特征向量FG、F1、F2和F3；注意力单元由一个全连接层和一个softmax层组成，用于计算特征向量F1、F2和F3对分类结果的贡献程度，对F1、F2和F3进行加权，分别得到特征向量FL1、FL2和FL3；特征融合层用于将特征向量FG与FL1、FL2和FL3进行拼接；
所述域判别器，由两个全连接层和一个softmax层组成，用于判别输入特征学习模块的样本是源域样本还是目标域样本；
所述分类器，由三个全连接层和一个softmax层组成，用于对输入到特征学习模块的样本进行表情分类。
进一步地，所述注意力单元对特征向量F1、F2和F3进行加权的具体步骤为：
首先，将特征向量F1、F2和F3依次输入到注意力单元的全连接层，分别得到特征向量F1 ′、F2 ′和F3 ′，
Figure BDA0003722895920000031
U为表情类别数量；
然后，根据特征向量Fi ′，计算特征向量Fi的权重Zi：
Figure BDA0003722895920000032
其中
Figure BDA0003722895920000033
为特征向量Fi ′中第θ维的特征值，θ为输入样本的表情类别标签，θ∈{1,..,U}，i＝1,2,3；
最后，将特征向量F1、F2和F3与对应的权重Z1、Z2和Z3相乘，分别得到特征向量FL1、FL2和FL3。
进一步地，所述步骤(3)包含以下子步骤：
(3.1)用源域样本训练特征学习模块、域判别器和分类器；
将样本输入到特征学习模块，得到特征向量
Figure BDA0003722895920000034
将特征向量fs输入到分类器，利用梯度下降算法使分类器的交叉熵损失最小化，使得分类器能够对样本进行准确的表情分类；
将特征向量fs输入到域判别器，得到样本来自源域的概率Ps(fs)，根据域判别器的损失函数Ld进行梯度计算，利用梯度下降算法使域判别器的权重参数往最小化Ld损失的方向优化；当梯度反向传播到特征学习模块前，利用梯度反转层将梯度取反，使特征学习模块的权重参数往最大化Ld损失的方向优化，这就使得特征学习模块的训练目标与域判别器的训练目标相反，形成对抗；通过特征学习模块与域判别器之间的对抗，使得特征学习模块能够提取到源域和目标域样本的共享特征；
(3.2)用目标域样本训练特征学习模块和域判别器；
将样本输入到特征学习模块，得到特征向量
Figure BDA0003722895920000035
将特征向量ft输入到域判别器，得到样本来自目标域的概率Pt(ft)，并根据域判别器的损失函数Ld进行梯度计算，利用梯度下降算法使域判别器的权重参数往最小化Ld损失的方向优化；当梯度反向传播到特征学习模块前，利用梯度反转层将梯度取反，使特征学习模块的权重参数往最大化Ld损失的方向优化，这就使得特征学习模块的训练目标与域判别器的训练目标相反，形成对抗；通过特征学习模块与域判别器之间的对抗，使特征学习模块能够提取到源域和目标域样本的共享特征；
其中步骤(3.1)和(3.2)所述域判别器的损失函数Ld为交叉熵损失函数，定义为：
Ld＝-dlog(P(f))-(1-d)log(1-P(f))
上式中f为输入到域判别器的特征向量，P(f)为域判别器输出的概率值，d为二分类域标签，当样本为源域样本时d＝1，f∈fs，P(f)∈Ps(fs)，样本为目标域样本时d＝0，f∈ft，P(f)∈Pt(ft)；
(3.3)在每个批次对对抗网络的训练中，重复步骤(3.1)和(3.2)，通过V个批次的迭代训练，使得源域样本和目标样本间特征分布差异最小化，实现域的自适应，其中V在50、100、150数值中选取。
有益效果：与现有技术方案相比，本发明的技术方案具有以下有益技术效果：
(1)本发明公开了一种基于域自适应的微表情识别方法，该方法利用现有的普通表情样本去辅助微表情的识别，可以解决微表情训练样本数量不足的问题，提高微表情识别的准确率和鲁棒性。
(2)本发明提出了一个包含特征学习模块、分类器和域判别器的对抗网络；本发明在每个批次对对抗网络的训练中，用普通表情样本训练特征学习模块、分类器和域判别器，用微表情样本训练特征学习模块和域判别器，通过对抗学习使普通表情和微表情样本的特征分布差异最小化，使得从普通表情样本上学习到的知识可用于辅助微表情识别，提高微表情识别的准确率和鲁棒性。
(3)本发明提出的注意力单元，能够使特征学习模块在提取特征过程中，重点关注人脸图像中肌肉运动幅度较大的区域，即眼睛、鼻子和嘴巴区域，同时抑制不相关区域对表情识别带来的不利影响，使得特征学习模块能够提取到鉴别力强的表情特征，提高微表情识别的准确率。
(4)本发明提出的一种基于域自适应的微表情识别方法可以实现端到端训练，不需要进行繁琐的多阶段训练，更加简单高效。
附图说明
图1是本发明设计的一种基于域自适应的微表情识别方法的流程图；
图2是用源域样本训练特征学习模块、分类器和域判别器的示意图；
图3是用目标域样本训练特征学习模块和域判别器的示意图；
图4是本发明设计的一种基于域自适应的微表情识别模型。
具体实施方式
下面结合说明书附图对本发明的具体实施方式做进一步详细的说明。
本发明设计了一种基于域自适应的微表情识别方法，实际应用中具体包括如下步骤：
步骤1：将普通表情域作为源域，微表情域作为目标域，对普通表情和微表情图像进行预处理，建立源域和目标域样本集。
首先使用CASME II数据库作为微表情图像来源，抽取每个人脸图像序列中的峰值帧，CK+数据库作为普通表情图像来源，抽取每个人脸图像序列中的峰值帧图像；
然后对抽取的峰值帧图像进行预处理，其中预处理过程包括：对每幅图像进行人脸检测、人脸对齐和人脸区域裁剪，并对处理后的图像进行尺寸归一化，将图像固定到尺寸192×192；
最后对预处理后的微表情峰值帧图像使用欧拉运动放大算法进行运动放大，放大因子为5、6、7、8、9，用于放大脸部微小的变化，将样本量扩充为原来的5倍。
步骤2：构建包含特征学习模块、分类器和域判别器的对抗网络。
所述特征学习模块，由特征提取单元、特征划分单元、平均池化层、注意力单元和特征融合层组成；特征提取单元由o个卷积模块组成，每个卷积模块包含两个卷积层以及一个池化层，其中o在3、4、5数值中选取；特征划分单元用于将特征提取单元输出的特征张量
Figure BDA0003722895920000051
中的每个通道特征图在h维度上划分成三等份，得到对应人脸图像中眼睛区域的特征张量
Figure BDA0003722895920000052
鼻子区域的特征张量
Figure BDA0003722895920000053
和嘴巴区域的特征张量
Figure BDA0003722895920000054
其中c、h和w分别代表特征张量G的通道数、高度和宽度；平均池化层用于将特征张量G、L1、L2和L3中的每个通道的特征图降维成一个特征值，分别得到特征向量FG、F1、F2和F3；注意力单元由一个全连接层和一个softmax层组成，用于计算特征向量F1、F2和F3对分类结果的贡献程度，对F1、F2和F3进行加权，分别得到特征向量FL1、FL2和FL3；特征融合层用于将特征向量FG与FL1、FL2和FL3进行拼接；
所述域判别器，由两个全连接层和一个softmax层组成，用于判别输入特征学习模块的样本是源域样本还是目标域样本；
所述分类器，由三个全连接层和一个softmax层组成，用于对输入到特征学习模块的样本进行表情分类。
进一步地，所述注意力单元对特征向量F1、F2和F3进行加权的具体步骤为：
首先，将特征向量F1、F2和F3依次输入到注意力单元的全连接层，分别得到特征向量F1′、F2′和F3′，
Figure BDA0003722895920000055
U为表情类别数量；
然后，根据特征向量Fi′，计算特征向量Fi的权重Zi：
Figure BDA0003722895920000056
其中
Figure BDA0003722895920000057
为特征向量Fi′中第θ维的特征值，θ为输入样本的表情类别标签，θ∈{1,..,U}，i＝1,2,3；
最后，将特征向量F1、F2和F3与对应的权重Z1、Z2和Z3相乘，分别得到特征向量FL1、FL2和FL3。
步骤3：在每个批次对对抗网络的训练中，用源域样本训练特征学习模块、分类器和域判别器，用目标域样本训练特征学习模块和域判别器，通过对抗学习使得源域和目标域样本的特征分布差异最小化，实现域的自适应，具体包含以下子步骤：
(3.1)用源域样本训练特征学习模块、域判别器和分类器；
将样本输入到特征学习模块，得到特征向量
Figure BDA0003722895920000061
将特征向量fs输入到分类器，利用梯度下降算法使分类器的交叉熵损失最小化，使得分类器能够对样本进行准确的表情分类；
将特征向量fs输入到域判别器，得到样本来自源域的概率Ps(fs)，根据域判别器的损失函数Ld进行梯度计算，利用梯度下降算法使域判别器的权重参数往最小化Ld损失的方向优化；当梯度反向传播到特征学习模块前，利用梯度反转层将梯度取反，使特征学习模块的权重参数往最大化Ld损失的方向优化，这就使得特征学习模块的训练目标与域判别器的训练目标相反，形成对抗；通过特征学习模块与域判别器之间的对抗，使得特征学习模块能够提取到源域和目标域样本的共享特征；
(3.2)用目标域样本训练特征学习模块和域判别器；
将样本输入到特征学习模块，得到特征向量
Figure BDA0003722895920000062
将特征向量ft输入到域判别器，得到样本来自目标域的概率Pt(ft)，并根据域判别器的损失函数Ld进行梯度计算，利用梯度下降算法使域判别器的权重参数往最小化Ld损失的方向优化；当梯度反向传播到特征学习模块前，利用梯度反转层将梯度取反，使特征学习模块的权重参数往最大化Ld损失的方向优化，这就使得特征学习模块的训练目标与域判别器的训练目标相反，形成对抗；通过特征学习模块与域判别器之间的对抗，使得特征学习模块能够提取到源域和目标域样本的共享特征；
其中步骤(3.1)和(3.2)所述域判别器的损失函数Ld为交叉熵损失函数，定义为：
Ld＝-dlog(P(f))-(1-d)log(1-P(f))
上式中f为输入到域判别器的特征向量，P(f)为域判别器输出的概率值，d为二分类域标签，当样本为源域样本时d＝1，f∈fs，P(f)∈Ps(fs)，样本为目标域样本时d＝0，f∈ft，P(f)∈Pt(ft)；
(3.3)在每个批次对对抗网络的训练中，重复步骤(3.1)和(3.2)，通过50个批次的迭代训练，使得源域样本和目标样本间特征分布差异最小化，实现域的自适应。
上述技术方案仅体现了本发明技术方案的优选技术方案，本技术领域的技术人员对其中某些部分所可能做出的一些变动均体现了本发明的原理，属于本发明的保护范围之内。

Claims (6)

1.一种基于域自适应的微表情识别方法，其特征在于，该方法包含以下步骤：
S1：将普通表情域作为源域，微表情域作为目标域，对普通表情和微表情图像进行预处理，建立源域和目标域样本集；
S2：构建包含特征学习模块、分类器和域判别器的对抗网络；
S3：在每个批次对对抗网络的训练中，用源域样本训练特征学习模块、分类器和域判别器，用目标域样本训练特征学习模块和域判别器，通过对抗学习使得源域和目标域样本的特征分布差异最小化，实现域的自适应；
S4：利用训练好的特征学习模块和分类器构建微表情识别模型，对输入的图像进行微表情识别。
2.根据权利要求1所述的一种基于域自适应的微表情识别方法，其特征在于，步骤S2中所述的对抗网络由特征学习模块、域判别器和分类器组成；
所述特征学习模块，由特征提取单元、特征划分单元、平均池化层、注意力单元和特征融合层组成；特征提取单元由o个卷积模块组成，每个卷积模块包含两个卷积层以及一个池化层；特征划分单元用于将特征提取单元输出的特征张量
Figure FDA0003722895910000011
中的每个通道特征图在h维度上划分成三等份，得到对应人脸图像中眼睛区域的特征张量
Figure FDA0003722895910000012
鼻子区域的特征张量
Figure FDA0003722895910000013
嘴巴区域的特征张量
Figure FDA0003722895910000014
其中，c、h和w分别代表特征张量G的通道数、高度和宽度；平均池化层用于将特征张量G、L1、L2和L3中的每个通道的特征图降维成一个特征值，分别得到特征向量FG、F1、F2和F3；注意力单元由一个全连接层和一个softmax层组成，用于计算特征向量F1、F2和F3对分类结果的贡献程度，对F1、F2和F3进行加权，分别得到特征向量FL1、FL2和FL3；特征融合层用于将特征向量FG与FL1、FL2和FL3进行拼接；
所述域判别器，由两个全连接层和一个softmax层组成，用于判别输入特征学习模块的样本是源域样本还是目标域样本；
所述分类器，由三个全连接层和一个softmax层组成，用于对输入到特征学习模块的样本进行表情分类。
3.根据权利要求2所述的一种基于域自适应的微表情识别方法，其特征在于，其中，所述o在3、4、5数值中选取。
4.根据权利要求2所述的一种基于域自适应的微表情识别方法，其特征在于，所述注意力单元对特征向量F1、F2和F3进行加权的具体步骤为：
首先，将特征向量F1、F2和F3依次输入到注意力单元中的全连接层，分别得到特征向量F1′、F2′和F3′，
Figure FDA0003722895910000021
U为表情类别数量；根据特征向量Fi′，计算特征向量Fi的权重Zi：
Figure FDA0003722895910000022
其中，
Figure FDA0003722895910000023
为特征向量Fi′中第θ维的特征值，θ为输入样本的表情类别标签，θ∈{1,..,U}，i＝1,2,3；
将特征向量F1、F2和F3与对应的权重Z1、Z2和Z3相乘以分别得到特征向量FL1、FL2和FL3。
5.根据权利要求4所述的一种基于域自适应的微表情识别方法，其特征在于，所述步骤S3包含以下子步骤：
(3.1)用源域样本训练特征学习模块、域判别器和分类器；
将源域样本输入到特征学习模块，得到特征向量
Figure FDA0003722895910000024
将特征向量fs输入到分类器，利用梯度下降算法使分类器的交叉熵损失最小化，使得分类器能够对样本进行表情分类；
将特征向量fs输入到域判别器，得到样本来自源域的概率Ps(fs)，根据域判别器的损失函数ld进行梯度计算，利用梯度下降算法使域判别器的权重参数往最小化ld损失的方向优化；当梯度反向传播到特征学习模块前，利用梯度反转层将梯度取反，使特征学习模块的权重参数往最大化Ld损失的方向优化，使得特征学习模块的训练目标与域判别器的训练目标相反，形成对抗；通过特征学习模块与域判别器之间的对抗，使得特征学习模块提取到源域和目标域样本的共享特征；
(3.2)用目标域样本训练特征学习模块和域判别器；
将目标域样本输入到特征学习模块，得到特征向量
Figure FDA0003722895910000025
将特征向量ft输入到域判别器，得到样本来自目标域的概率Pt(ft)，根据域判别器的损失函数ld进行梯度计算，利用梯度下降算法使域判别器的权重参数往最小化Ld损失的方向优化；当梯度反向传播到特征学习模块前，利用梯度反转层将梯度取反，使特征学习模块的权重参数往最大化Ld损失的方向优化，使得特征学习模块的训练目标与域判别器的训练目标相反，形成对抗；通过特征学习模块与域判别器之间的对抗，使得特征学习模块能够提取到源域和目标域样本的共享特征；
其中，步骤(3.1)和(3.2)所述域判别器的损失函数Ld为交叉熵损失函数，定义为：
Ld＝-dlog(P(f))-(1-d)log(1-P(f))
其中，f为输入到域判别器的特征向量，P(f)为域判别器输出的概率值，d为二分类域标签，当样本为源域样本时d＝1，f∈fs，P(f)∈Ps(fs)，样本为目标域样本时d＝0，f∈ft，P(f)∈Pt(ft)；
(3.3)在每个批次对对抗网络的训练中，重复步骤(3.1)和(3.2)，通过V个批次的迭代训练，使得源域样本和目标样本间特征分布差异最小化，实现域的自适应。
6.根据权利要求5所述的一种基于域自适应的微表情识别方法，其特征在于，所述V在50、100、150数值中选取。
CN202210767992.5A 2022-06-30 2022-06-30 一种基于域自适应的微表情识别方法 Pending CN114998973A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210767992.5A CN114998973A (zh) 2022-06-30 2022-06-30 一种基于域自适应的微表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210767992.5A CN114998973A (zh) 2022-06-30 2022-06-30 一种基于域自适应的微表情识别方法

Publications (1)

Publication Number Publication Date
CN114998973A true CN114998973A (zh) 2022-09-02

Family

ID=83019457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210767992.5A Pending CN114998973A (zh) 2022-06-30 2022-06-30 一种基于域自适应的微表情识别方法

Country Status (1)

Country Link
CN (1) CN114998973A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115399773A (zh) * 2022-09-14 2022-11-29 山东大学 基于深度学习与脉搏信号的抑郁状态识别系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115399773A (zh) * 2022-09-14 2022-11-29 山东大学 基于深度学习与脉搏信号的抑郁状态识别系统

Similar Documents

Publication Publication Date Title
Sun et al. Improving deep neural networks with multi-layer maxout networks and a novel initialization method
Dong et al. Automatic age estimation based on deep learning algorithm
CN112307958B (zh) 基于时空外观运动注意力网络的微表情识别方法
Zhang et al. Multimodal learning for facial expression recognition
CN113496217B (zh) 视频图像序列中人脸微表情识别方法
CN108427921A (zh) 一种基于卷积神经网络的人脸识别方法
CN110399821B (zh) 基于人脸表情识别的顾客满意度获取方法
CN107808113B (zh) 一种基于差分深度特征的人脸表情识别方法及系统
CN109344759A (zh) 一种基于角度损失神经网络的亲属识别方法
CN111832573B (zh) 一种基于类激活映射和视觉显著性的图像情感分类方法
CN112084891B (zh) 基于多模态特征与对抗学习的跨域人体动作识别方法
CN115860152B (zh) 一种面向人物军事知识发现的跨模态联合学习方法
CN115761408A (zh) 一种基于知识蒸馏的联邦域适应方法及系统
Yue et al. Multi-task adversarial autoencoder network for face alignment in the wild
CN116386104A (zh) 对比学习结合掩码图像建模的自监督人脸表情识别方法
Shehu et al. Lateralized approach for robustness against attacks in emotion categorization from images
CN114998973A (zh) 一种基于域自适应的微表情识别方法
Zeng An off-line handwriting recognition employing tensorflow
Elaraby et al. A Novel Siamese Network for Few/Zero-Shot Handwritten Character Recognition Tasks.
CN113221683A (zh) 教学场景下基于cnn模型的表情识别方法
CN116311483B (zh) 基于局部面部区域重构和记忆对比学习的微表情识别方法
Yao Application of higher education management in colleges and universities by deep learning
CN115439791A (zh) 跨域视频动作识别方法、装置、设备和计算机可存储介质
CN115331284A (zh) 一种基于自愈机制的真实场景下的人脸表情识别方法及系统
Guo et al. JAC-Net: Joint learning with adaptive exploration and concise attention for unsupervised domain adaptive person re-identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination