CN111368734A - 一种基于正常表情辅助的微表情识别方法 - Google Patents

一种基于正常表情辅助的微表情识别方法 Download PDF

Info

Publication number
CN111368734A
CN111368734A CN202010143177.2A CN202010143177A CN111368734A CN 111368734 A CN111368734 A CN 111368734A CN 202010143177 A CN202010143177 A CN 202010143177A CN 111368734 A CN111368734 A CN 111368734A
Authority
CN
China
Prior art keywords
expression
micro
identity
image
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010143177.2A
Other languages
English (en)
Other versions
CN111368734B (zh
Inventor
王上飞
夏斌
王伟康
陈恩红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202010143177.2A priority Critical patent/CN111368734B/zh
Publication of CN111368734A publication Critical patent/CN111368734A/zh
Application granted granted Critical
Publication of CN111368734B publication Critical patent/CN111368734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种基于正常表情辅助的微表情识别方法，其步骤包括：1、对微表情视频和正常表情视频分别进行预处理，构建出微表情数据集和正常表情数据集；2、构建微表情身份解缠网络，从微表情图像中提取出微表情相关特征和身份相关特征；3、构建正常表情身份解缠网络，从正常表情图像中提取出正常表情相关特征和身份相关特征；4、将微表情身份解缠网络和正常表情身份解缠网络进行联合训练，利用三元组损失，对抗学习和不等式正则化损失对微表情身份解缠网络进行微调，从而得到最优微表情身份解缠网络。本发明能构建出适用于微表情识别的深度神经网络，从而提高微表情识别的准确性和鲁棒性。

Description

一种基于正常表情辅助的微表情识别方法
技术领域
本发明涉及情感计算领域，具体的是一种基于正常表情辅助的微表情识别方法。
背景技术
微表情识别作为情感计算的一个分支，近些年得到了广泛而又充分的研究和注意。现有的微表情识别方法可以按照所使用的特征类型分为两类：基于手工制作特征的方法和基于深度特征的方法。梯度直方图(HOG)，光流和三维正交平面局部二值特征(LBP-TOP)是最常用的手工制作特征。随着深度学习的发展，越来越多的领域使用深度神经网络来实现特征提取，在微表情领域，也有很多基于由深度神经网络所提取的特征的方法。
然而无论是基于手工制作特征的方法还是基于深度特征的方法，其均存在着根本上无法解决的问题。对于基于手工制作特征的方法，因为其特征基本上只能描述微表情视频或者图像的纹理、时序等浅层特征，并不适合处理微表情识别此类复杂问题，利用这些浅层特征构建出的分类器准确性较差。对于基于深度神经网络的方法，虽然理论上由神经网络产生的特征足够用于微表情的识别，但是其是建立在神经网络训练充分的前提下，而对于微表情识别此类复杂问题，神经网络需要大量的训练数据才能够训练充分，然而现有的微表情数据库均只有几十或上百段视频，远远达不到使得对应的神经网络训练充分的条件，因此基于深度特征的微表情识别方法没有很好的鲁棒性。
发明内容
本发明是为了解决上述现有技术存在的不足之处，提出一种基于正常表情辅助的微表情识别方法，以期能构建出适用于微表情识别的深度神经网络，从而提高微表情识别的准确性和鲁棒性。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于正常表情辅助的微表情识别方法的特点是按如下步骤进行：
步骤1、构建表情图像数据集：
步骤1.1、从微表情视频中提取出无表情变化的中性面部图片和微表情面部图片，并使用图片翻转、图片裁剪以及图片归一化的方法进行预处理，从而得到微表情数据集Dtr_1，令IN_1和IE_1表示所述微表情数据集Dtr_1中任意同一个人的中性面部图像和微表情图像，yE_1是微表情图像IE_1相应的微表情的标签；
步骤1.2、从正常表情视频中提取出中性面部图片和正常表情面部图片，并使用图片翻转、图片裁剪以及图片归一化的方法进行预处理，从而得到正常表情数据集DN_2，令IN_2和IE_2是表示所述正常表情数据集DN_2中任意同一个人的中性面部图像和正常表情图像，yE_2是正常表情图像IE_2相应的微表情的标签；
步骤2、构建微表情身份解缠网络F_1，包括微表情编码器E_1，微表情解码器D_1和微表情分类器C_1：
步骤2.1、构建所述编码器E_1，包含一个ResNet18结构与一个双分支结构；
所述ResNet18结构由四个深度残差块组成；
每个深度残差块均依次包含一个卷积核大小为n′×n′的卷积层，两个卷积核大小为n″×n″的卷积层，一个批归一化层和一个ReLU激活函数层；
所述双分支结构的两个支路分别依次包含k个卷积模块和一个非线性函数层；每个卷积模块均包含一个卷积核大小为n″′×n″′的卷积层和一个批归一化层；
步骤2.2、提取微表情相关特征和身份相关特征：
将所述微表情数据集Dtr_1的中性面部图像IN_1输入到编码器E_1，并通过所述双分支结构获得中性面部图像IN_1的特征
Figure BDA0002399806450000021
其中，
Figure BDA0002399806450000022
为中性面部图像IN_1的身份特征，
Figure BDA0002399806450000023
为中性面部图像IN_1的中性表情特征；
同样地，将所述微表情面部图像IE_1输入到所述编码器E_1，并得到微表情面部图像IE_1的特征
Figure BDA0002399806450000024
其中，
Figure BDA0002399806450000025
为微表情面部图像IE_1的身份特征，
Figure BDA0002399806450000026
为微表情面部图像IE_1的微表情特征；
步骤2.3、利用式(1)构建微表情的身份特征相似性损失函数Lsim_1：
Figure BDA0002399806450000027
步骤2.4、构建所述解码器D_1，依次包含一个非线性函数层，k′个卷积模块，一个上采样层，一个m′×m′卷积层和一个非线性函数层；
所述每个深度残差块均依次包含一个上采样层，一个卷积核大小为m″×m″的卷积层，一个批归一化层和一个非线性函数层；
步骤2.5、重构微表情面部图像：
将所述微表情面部图像IE_1的表情相关特征
Figure BDA0002399806450000037
和中性面部图像IN_1的身份特征
Figure BDA0002399806450000038
拼接后输入到所述解码器D_1中，得到重构的微表情面部图像I′E_1；
步骤2.6、利用式(2)构建微表情面部重建损失函数Lrec_1：
Lrec_1＝||IE_1-I′E_1||2 (2)
步骤2.7、构建所述分类器C_1，并依次包含n个线性层；
将所述微表情面部图像IE_1的表情相关特征
Figure BDA0002399806450000039
输入到所述分类器C_1中，得到所述分类器C_1预测微表情面部图像IE_1的表情类别y′E_1；
步骤2.8、利用式(3)构建微表情面部表情分类损失函数Lcls_1：
Lcls_1＝crossentropy{yE_1-y′E_1} (3)
式(3)中，crossentropy{·}表示交叉熵函数；
步骤2.9、利用式(4)构建微表情身份解缠网络的总损失函数Lphase_1：
Lphase_1＝Lcls_1+λ1_1Lsim_1+λ1_2Lrec_1 (4)
式(4)中，λ1_1和λ1_2是所设定的参数；
步骤3、构建正常表情身份解缠网络F_2，且F_2与微表情身份解缠网络F_1有相同的结构，并包括正常表情编码器E_2，解码器D_2和分类器C_2：
步骤3.1、构建与所述编码器E_1结构相同的编码器E_2；
步骤3.2、提取正常表情相关特征和身份相关特征：
将正常表情数据集DN_2的中性面部图像IN_2输入到编码器E_2，并通过相应的双分支结构获得中性面部图像IN_2的特征
Figure BDA0002399806450000031
其中，
Figure BDA0002399806450000032
为中性面部图像IN_2的身份特征，
Figure BDA0002399806450000033
为中性面部图像IN_2的中性表情特征；
同样地，将正常表情面部图像IE_2输入到编码器E_2，并得到正常表情面部图像IE_2的特征
Figure BDA0002399806450000034
其中，
Figure BDA0002399806450000035
为正常表情面部图像IE_2的身份特征，
Figure BDA0002399806450000036
为正常表情面部图像IE_2的正常表情特征；
步骤3.3、利用式(5)构建正常表情的身份特征相似性损失函数Lsim_2：
Figure BDA0002399806450000041
步骤3.4、构建与所述解码器D_1结构相同的解码器D_2；
步骤3.5、重构正常表情面部图像：
将正常表情面部图像IE_2的表情相关特征
Figure BDA0002399806450000042
和中性面部图像IN_2的身份特征
Figure BDA0002399806450000043
拼接后输入到所述解码器D_2中，得到重构的正常表情面部图像I′E_2；
步骤3.6、利用式(6)构建正常表情面部重建损失函数Lrec_2：
Lrec_2＝||IE_2-I′E_2||2 (6)
步骤3.7、构建与所述分类器C_1结构相同的分类器C_2；
将正常表情面部图像IE_2的表情相关特征
Figure BDA0002399806450000044
输入到分类器C_2中，得到分类器C_2预测正常表情面部图像IE_2的表情类别y′E_2；
步骤3.8、利用式(7)构建正常表情面部表情分类损失函数Lcls_2：
Lcls_2＝crossentropy{yE_2-y′E_2} (7)
步骤3.9、利用式(8)构建正常表情身份解缠网络的总损失函数Lphase_2：
Lphase_2＝Lcls_2+λ2_1Lsim_2+λ2_2Lrec_2 (8)
式(8)中，λ2_1和λ2_2是所设定的参数；
步骤4、从所述微表情数据集Dtr_1和正常表情数据集DN_2中构建出联合训练图像数据集Dun_3，令所述联合训练图像数据集Dun_3中的Ianc和Ineg是从所述微表情数据集Dtr_1中随机挑选出的不同类别的微表情图像，令所述联合训练图像数据集Dun_3中的Ipos是从所述正常表情数据集DN_2中随机挑选出的且和微表情图像Ianc是同类别的正常表情图像，yanc是微表情图像Ianc对应的类别标签；
步骤5、正常表情身份解缠网络F_2与微表情身份解缠网络F_1的联合训练：
步骤5.1、固定住正常表情身份解缠网络F_2的网络参数，辅助微表情身份解缠网络F_1进行微调训练；
步骤5.2、利用式(9)构建三元组损失函数Ltri：
Figure BDA0002399806450000051
式(9)中，m是设定的超参数；
Figure BDA0002399806450000052
是将微表情图像Ianc和Ineg分别输入到微表情身份解缠网络F_1所得到的对应的表情特征，
Figure BDA0002399806450000053
是将正常表情图像Ipos输入到正常表情身份解缠网络F_2所得到的对应的表情特征；
步骤5.3、构建对抗学习模块：
步骤5.3.1、在微表情身份解缠网络F_1和正常表情身份解缠网络F_2之间添加对抗学习模块，所述对抗学习模块是由判别器和生成器组成；
所述生成器是由微表情身份解缠网络F_1组成；
所述判别器依次包含n″个卷积模块，一个平均池化层和一个线性函数层；
所述每个卷积模块均依次包含一个卷积核大小为w×w的卷积层，一个批归一化层和一个非线性函数层；
分别将微表情图像Ianc的表情特征
Figure BDA0002399806450000054
和正常表情图像Ipos的表情特征
Figure BDA0002399806450000055
输入所述判别器中，并输出相应的表情特征
Figure BDA0002399806450000056
属于正常表情的概率Panc和表情特征
Figure BDA0002399806450000057
属于正常表情的概率Ppos；
步骤5.3.2、利用式(10)构建对抗学习模块的损失函数Ladv：
Ladv＝-logPanc (10)
步骤5.4、将微表情面部图像Ianc的表情特征
Figure BDA0002399806450000058
输入到微表情身份解缠网络F_1中的分类器C_1中，得到分类器C_1预测微表情面部图像Ianc的表情类别y′anc；
利用式(11)构建微表情身份解缠网络F1的分类损失函数Lcls_anc：
Lcls_anc＝crossentropy{yanc-y′anc} (11)
步骤5.5、将正常表情面部图像Ipos的表情特征
Figure BDA0002399806450000059
输入到特征F_2中的分类器C_2中，得到分类器C_2预测正常表情面部图像Ipos的表情类别y′pos；
利用式(12)构建正常表情面部图像F_2的分类损失函数Lcls_pos：
Lcls_pos＝crossentropy{yanc-y′pos} (12)
步骤5.6、利用式(13)构建不等式正则化损失函数LLIR：
LLIR＝max{Lcls_pos-Lcls_anc,0} (13)
步骤5.7、利用式(14)构建微表情身份解缠网络F_1和正常表情身份解缠网络F_2联合训练的总损失函数Lphase_3：
Lphase_3＝Lcls_anc+λ3_1Ltri+λ3_2Ladv+λ3_3LLIR (14)
式(14)中，λ3_1,λ3_2和λ3_3是人为设定的参数；
步骤5.8、利用梯度下降法对所述总损失函数Lphase_3中的微表情身份解缠网络F_1参数进行优化求解，从而得到最优微表情身份解缠网络
Figure BDA0002399806450000061
并用于微表情识别。
与现有技术相比，本发明的有益效果在于：
1、本发明提出了利用正常表情辅助的微表情识别方法，其优点在于既能利用神经网络来产生深度特征，又因为有了丰富的正常表情数据库而避免了神经网络学习不充分的问题。在公开的微表情数据库，较现有的微表情识别方法，本发明方法具有更好的鲁棒性和准确性。
2、本发明中的表情身份解缠网络模块成功地将表情图片中的深度特征分离成两个部分，身份相关特征以及表情相关特征，只使用表情相关特征训练的微表情识别网络能拥有更好的性能，减少了无关信息的干扰。
3、本发明在联合训练中使用了对抗学习的方式来充分利用正常表情的信息，通过对抗学习的损失函数迫使微表情的特征分布和正常表情的特征分布接近，从而通过正常表情和微表情的相互关系解决了微表情识别网络训练中训练数据数量不足的问题。
4、本发明在联合训练中提出了三元组损失函数，使相同类别的微表情特征相互聚集，而不同类别微表情特征相互分离，提高了微表情识别网络的准确性。
附图说明
图1为本发明一种基于正常表情辅助的微表情识别方法的流程图；
图2为本发明表情身份解缠网络模块中编码器的结构图；
图3为本发明表情身份解缠网络模块中解码器的结构图；
图4为本发明对抗学习模块中判别器的结构图。
具体实施方式
本实施例中，参见图1，一种基于正常表情辅助的微表情识别方法是按如下步骤进行：
步骤1、构建表情图像数据集：
步骤1.1、从微表情视频中提取出无表情变化的中性面部图片和微表情面部图片，并使用图片翻转、图片裁剪以及图片归一化的方法进行预处理，从而得到微表情数据集Dtr_1，令IN_1和IE_1表示微表情数据集Dtr_1中任意同一个人的中性面部图像和微表情图像，yE_1是微表情图像IE_1相应的微表情的标签；本实施例中，从CASME2数据集的视频中提取出249张中性面部图像和1245张微表情图像，构建出微表情数据集Dtr_1；
步骤1.2、从正常表情视频中提取出中性面部图片和正常表情面部图片，并使用图片翻转、图片裁剪以及图片归一化的方法进行预处理，从而得到正常表情数据集DN_2，令IN_2和IE_2是表示正常表情数据集DN_2中任意同一个人的中性面部图像和正常表情图像，yE_2是正常表情图像IE_2相应的微表情的标签；本实施例中，从CK+数据集的视频中提取出1000张中性面部图像和5000张正常表情图像，构建出正常表情数据集DN_2；
步骤2、构建微表情身份解缠网络F_1，包括微表情编码器E_1，微表情解码器D_1和微表情分类器C_1：
步骤2.1、构建编码器E_1，如图2所示，包含一个ResNet18结构与一个双分支结构；
ResNet18结构由四个深度残差块组成；
每个深度残差块均依次包含一个卷积核大小为n′×n′的卷积层，两个卷积核大小为n″×n″的卷积层，一个批归一化层和一个ReLU激活函数层；如图2所示，本实施例中，n′取为3，n″取为1；
双分支结构的两个支路分别依次包含k个卷积模块和一个非线性函数层；每个卷积模块均包含一个卷积核大小为n″′×n″′的卷积层和一个批归一化层；如图2所示，本实施例中，k取为2，n″′取为1；
步骤2.2、提取微表情相关特征和身份相关特征：
将微表情数据集Dtr_1的中性面部图像IN_1输入到编码器E_1，并通过双分支结构获得中性面部图像IN_1的特征
Figure BDA0002399806450000081
其中，
Figure BDA0002399806450000082
为中性面部图像IN_1的身份特征，
Figure BDA0002399806450000083
为中性面部图像IN_1的中性表情特征；
同样地，将微表情面部图像IE_1输入到编码器E_1，并得到微表情面部图像IE_1的特征
Figure BDA0002399806450000084
其中，
Figure BDA0002399806450000085
为微表情面部图像IE_1的身份特征，
Figure BDA0002399806450000086
为微表情面部图像IE_1的微表情特征；
步骤2.3、由于中性面部图像IN_1和微表情面部图像IE_1拥有相同的身份，因此它们的身份相关特征(即
Figure BDA0002399806450000087
和
Figure BDA0002399806450000088
)应该相似。利用式(1)构建微表情的身份特征相似性损失函数Lsim_1：
Figure BDA0002399806450000089
步骤2.4、构建解码器D_1，如图3所示，依次包含一个非线性函数层，k′个卷积模块，一个上采样层，一个m′×m′卷积层和一个非线性函数层；
每个深度残差块均依次包含一个上采样层，一个卷积核大小为m″×m″的卷积层，一个批归一化层和一个非线性函数层；本实施例中，k′取为4，m′和m″都取为3；
步骤2.5、重构微表情面部图像：
将微表情面部图像IE_1的表情相关特征
Figure BDA00023998064500000810
和中性面部图像IN_1的身份特征
Figure BDA00023998064500000811
拼接后输入到解码器D_1中，得到重构的微表情面部图像I′E_1；
步骤2.6、重构出的微表情面部图像I′E_1应该和原始的微表情面部图像IE_1相似，利用式(2)构建微表情面部重建损失函数Lrec_1：
Lrec_1＝||IE_1-I′E_1||2 (2)
步骤2.7、构建分类器C_1，并依次包含n个线性层；本实施例中，n取为3；
将微表情面部图像IE_1的表情相关特征
Figure BDA00023998064500000812
输入到分类器C_1中，得到分类器C_1预测微表情面部图像IE_1的表情类别y′E_1；
步骤2.8、利用式(3)构建微表情面部表情分类损失函数Lcls_1：
Lcls_1＝crossentropy{yE_1-y′E_1} (3)
式(3)中，crossentropy{·}表示交叉熵函数；
步骤2.9、利用式(4)构建微表情身份解缠网络的总损失函数Lphase_1：
Lphase_1＝Lcls_1+λ1_1Lsim_1+λ1_2Lrec_1 (4)
式(4)中，λ1_1和λ1_2是所设定的参数；本实施例中，λ1_1和λ1_2都取为0.01；
步骤3、构建正常表情身份解缠网络F_2，且F_2与微表情身份解缠网络F_1有相同的结构，并包括正常表情编码器E_2，解码器D_2和分类器C_2：
步骤3.1、构建与编码器E_1结构相同的编码器E_2；
步骤3.2、提取正常表情相关特征和身份相关特征：
将正常表情数据集DN_2的中性面部图像IN_2输入到编码器E_2，并通过相应的双分支结构获得中性面部图像IN_2的特征
Figure BDA0002399806450000091
其中，
Figure BDA0002399806450000092
为中性面部图像IN_2的身份特征，
Figure BDA0002399806450000093
为中性面部图像IN_2的中性表情特征；
同样地，将正常表情面部图像IE_2输入到编码器E_2，并得到正常表情面部图像IE_2的特征
Figure BDA0002399806450000094
其中，
Figure BDA0002399806450000095
为正常表情面部图像IE_2的身份特征，
Figure BDA0002399806450000096
为正常表情面部图像IE_2的正常表情特征；
步骤3.3、由于中性面部图像IN_2和正常表情面部图像IE_2拥有相同的身份，因此它们的身份相关特征(即
Figure BDA0002399806450000097
和
Figure BDA0002399806450000098
)应该相似；利用式(5)构建正常表情的身份特征相似性损失函数Lsim_2：
Figure BDA0002399806450000099
步骤3.4、构建与解码器D_1结构相同的解码器D_2；
步骤3.5、重构正常表情面部图像：
将正常表情面部图像IE_2的表情相关特征
Figure BDA00023998064500000910
和中性面部图像IN_2的身份特征
Figure BDA00023998064500000911
拼接后输入到解码器D_2中，得到重构的正常表情面部图像I′E_2；
步骤3.6、重构出的正常表情面部图像I′E_2应该和原始的正常表情面部图像IE_2相似，利用式(6)构建正常表情面部重建损失函数Lrec_2：
Lrec_2＝||IE_2-I′E_2||2 (6)
步骤3.7、构建与分类器C_1结构相同的分类器C_2；
将正常表情面部图像IE_2的表情相关特征
Figure BDA0002399806450000101
输入到分类器C_2中，得到分类器C_2预测正常表情面部图像IE_2的表情类别y′E_2；
步骤3.8、利用式(7)构建正常表情面部表情分类损失函数Lcls_2：
Lcls_2＝crossentropy{yE_2-y′E_2} (7)
步骤3.9、利用式(8)构建正常表情身份解缠网络的总损失函数Lphase_2：
Lphase_2＝Lcls_2+λ2_1Lsim_2+λ2_2Lrec_2 (8)
式(8)中，λ2_1和λ2_2是所设定的参数；本实施例中，λ2_1和λ2_2都取为0.01；
步骤4、从微表情数据集Dtr_1和正常表情数据集DN_2中构建出联合训练图像数据集Dun_3，令联合训练图像数据集Dun_3中的Ianc和Ineg是从微表情数据集Dtr_1中随机挑选出的不同类别的微表情图像，令联合训练图像数据集Dun_3中的Ipos是从正常表情数据集DN_2中随机挑选出的且和微表情图像Ianc是同类别的正常表情图像，yanc是微表情图像Ianc对应的类别标签；
步骤5、正常表情身份解缠网络F_2与微表情身份解缠网络F_1的联合训练：
步骤5.1、固定住正常表情身份解缠网络F_2的网络参数，辅助微表情身份解缠网络F_1进行微调训练；
步骤5.2、利用式(9)构建三元组损失函数Ltri：
Figure BDA0002399806450000102
式(9)中，m是设定的超参数；
Figure BDA0002399806450000103
是将微表情图像Ianc和Ineg分别输入到微表情身份解缠网络F_1所得到的对应的表情特征，
Figure BDA0002399806450000104
是将正常表情图像Ipos输入到正常表情身份解缠网络F_2所得到的对应的表情特征；三元组损失函数Ltri使具有相同类别的微表情特征相互接近，不同类别的微表情特征相互远离；
步骤5.3、构建对抗学习模块：
步骤5.3.1、在微表情身份解缠网络F_1和正常表情身份解缠网络F_2之间添加对抗学习模块，对抗学习模块是由判别器和生成器组成；
生成器是由微表情身份解缠网络F_1组成；
判别器如图4所示，n″个卷积模块，一个平均池化层和一个线性函数层；本实施例中，n″取为3；
每个卷积模块均依次包含一个卷积核大小为w×w的卷积层，一个批归一化层和一个非线性函数层；本实施例中，w取为3；
对于对抗学习模块来说，需要有用于训练的‘真’数据，有用于生成‘假’数据的生成器。在本实例中，F_2提供了正常表情图片的特征，作为对抗学习的‘真’数据。F_1充当生成器来提供微表情图片的特征，作为对抗学习的‘假’数据；
分别将微表情图像Ianc的表情特征
Figure BDA0002399806450000111
和正常表情图像Ipos的表情特征
Figure BDA0002399806450000112
输入判别器中，并输出相应的表情特征
Figure BDA0002399806450000113
属于正常表情的概率Panc和表情特征
Figure BDA0002399806450000114
属于正常表情的概率Ppos；由于Ianc和Ipos具有相同的类别标签，通过对抗性学习，它们对应的表情相关特征
Figure BDA0002399806450000115
和
Figure BDA0002399806450000116
可以显示相似的分布；
步骤5.3.2、F_1旨在生成判别器模块无法将其与正常表情特征判断真假的微表情的特征，而判别器的目的是区分这两种特征的真假性。通过这种对抗学习的方式，可以对F_1进行训练，以使得其产生的微表情的特征和具有相同类别标签的正常表情的特征类似；利用式(10)构建对抗学习模块的损失函数Ladv：
Ladv＝-log Panc (10)
步骤5.4、将微表情面部图像Ianc的表情特征
Figure BDA0002399806450000117
输入到微表情身份解缠网络F_1中的分类器C_1中，得到分类器C_1预测微表情面部图像Ianc的表情类别y′anc；
利用式(11)构建微表情身份解缠网络F_1的分类损失函数Lcls_anc：
Lcls_anc＝crossentropy{yanc-y′anc} (11)
步骤5.5、将正常表情面部图像Ipos的表情特征息
Figure BDA0002399806450000121
输入到特征F_2中的分类器C_2中，得到分类器C_2预测正常表情面部图像Ipos的表情类别y′pos；
利用式(12)构建正常表情面部图像F_2的分类损失函数Lcls_pos：
Lcls_pos＝crossentropy{yanc-y′pos} (12)
步骤5.6、正常表情作为微表情识别的辅助信息，正常表情的特征比微表情包含更多的信息，因此F_2会有比F_1更小的分类损失。利用式(13)构建不等式正则化损失函数LLIR：
LLIR＝max{Lcls_pos-Lcls_anc,0} (13)
步骤5.7、利用式(14)构建微表情身份解缠网络F_1和正常表情身份解缠网络F_2联合训练的总损失函数Lphase_3：
Lphase_3＝Lcls_anc+λ3_1Ltri+λ3_2Ladv+λ3_3LLIR (14)
式(14)中，λ3_1,λ3_2和λ3_3是人为设定的参数；本实施例中，λ3_1，λ3_2和λ3_3都取为0.01；
步骤5.8、利用梯度下降法对总损失函数Lphase_3中的微表情身份解缠网络F_1参数进行优化求解，从而得到最优微表情身份解缠网络F_ * 1，并用于微表情识别。
实施例：
为了验证本发明方法中的有效性，本实验例从常用的微表情数据集CASME2，正常表情数据集CK+中构建出最终实验使用的数据集。
本实施例采用leave-one-subject-out的验证方法，使用Accuracy和F1score作为评价标准。
本实施例中选用五种方法和本发明方法进行效果对比，所选方法分别是LBP-TOP，LBP-SIP，STLBP-IP，STCLQP，Bi-WOOF。EIDNet为本发明方法。根据实验结果可得出结果如表1所示：
表1本发明方法与选用的五种对比方法在CASME2数据集上进行微表情识别的实验结果
Model LBP-top LBP-SIP STLBP-IP STCLQP Bi-WOOF EIDNet
Accuracy 0.4900 0.4656 0.5951 0.6402 0.5885 0.7309
F1 score 0.5100 0.4484 0.5700 0.6381 0.6100 0.6640
表1的实验结果显示本发明方法与其它五种方法相比效果都要更好,从而证明了本发明提出方法的可行性。

Claims (1)

1.一种基于正常表情辅助的微表情识别方法，其特征是按如下步骤进行：
步骤1、构建表情图像数据集：
步骤1.1、从微表情视频中提取出无表情变化的中性面部图片和微表情面部图片，并使用图片翻转、图片裁剪以及图片归一化的方法进行预处理，从而得到微表情数据集Dtr_1，令IN_1和IE_1表示所述微表情数据集Dtr_1中任意同一个人的中性面部图像和微表情图像，yE_1是微表情图像IE_1相应的微表情的标签；
步骤1.2、从正常表情视频中提取出中性面部图片和正常表情面部图片，并使用图片翻转、图片裁剪以及图片归一化的方法进行预处理，从而得到正常表情数据集DN_2，令IN_2和IE_2是表示所述正常表情数据集DN_2中任意同一个人的中性面部图像和正常表情图像，yE_2是正常表情图像IE_2相应的微表情的标签；
步骤2、构建微表情身份解缠网络F_1，包括微表情编码器E_1，微表情解码器D_1和微表情分类器C_1：
步骤2.1、构建所述编码器E_1，包含一个ResNet18结构与一个双分支结构；
所述ResNet18结构由四个深度残差块组成；
每个深度残差块均依次包含一个卷积核大小为n′×n′的卷积层，两个卷积核大小为n″×n″的卷积层，一个批归一化层和一个ReLU激活函数层；
所述双分支结构的两个支路分别依次包含k个卷积模块和一个非线性函数层；每个卷积模块均包含一个卷积核大小为n″′×n″′的卷积层和一个批归一化层；
步骤2.2、提取微表情相关特征和身份相关特征：
将所述微表情数据集Dtr_1的中性面部图像IN_1输入到编码器E_1，并通过所述双分支结构获得中性面部图像IN_1的特征
Figure FDA0002399806440000011
其中，
Figure FDA0002399806440000012
为中性面部图像IN_1的身份特征，
Figure FDA0002399806440000013
为中性面部图像IN_1的中性表情特征；
同样地，将所述微表情面部图像IE_1输入到所述编码器E_1，并得到微表情面部图像IE_1的特征
Figure FDA0002399806440000014
其中，
Figure FDA0002399806440000015
为微表情面部图像IE_1的身份特征，
Figure FDA0002399806440000016
为微表情面部图像IE_1的微表情特征；
步骤2.3、利用式(1)构建微表情的身份特征相似性损失函数Lsim_1：
Figure FDA0002399806440000021
步骤2.4、构建所述解码器D_1，依次包含一个非线性函数层，k′个卷积模块，一个上采样层，一个m′×m′卷积层和一个非线性函数层；
所述每个深度残差块均依次包含一个上采样层，一个卷积核大小为m″×m″的卷积层，一个批归一化层和一个非线性函数层；
步骤2.5、重构微表情面部图像：
将所述微表情面部图像IE_1的表情相关特征
Figure FDA0002399806440000022
和中性面部图像IN_1的身份特征
Figure FDA0002399806440000023
拼接后输入到所述解码器D_1中，得到重构的微表情面部图像I′E_1；
步骤2.6、利用式(2)构建微表情面部重建损失函数Lrec_1：
Lrec_1＝||IE_1-I′E_1||2 (2)
步骤2.7、构建所述分类器C_1，并依次包含n个线性层；
将所述微表情面部图像IE_1的表情相关特征
Figure FDA0002399806440000024
输入到所述分类器C_1中，得到所述分类器C_1预测微表情面部图像IE_1的表情类别y′E_1；
步骤2.8、利用式(3)构建微表情面部表情分类损失函数Lcls_1：
Lcls_1＝crossentropy{yE_1-y′E_1} (3)
式(3)中，crossentropy{·}表示交叉熵函数；
步骤2.9、利用式(4)构建微表情身份解缠网络的总损失函数Lphase_1：
Lphase_1＝Lcls_1+λ1_1Lsim_1+λ1_2Lrec_1 (4)
式(4)中，λ1_1和λ1_2是所设定的参数；
步骤3、构建正常表情身份解缠网络F_2，且F_2与微表情身份解缠网络F_1有相同的结构，并包括正常表情编码器E_2，解码器D_2和分类器C_2：
步骤3.1、构建与所述编码器E_1结构相同的编码器E_2；
步骤3.2、提取正常表情相关特征和身份相关特征：
将正常表情数据集DN_2的中性面部图像IN_2输入到编码器E_2，并通过相应的双分支结构获得中性面部图像IN_2的特征
Figure FDA0002399806440000031
其中，
Figure FDA0002399806440000032
为中性面部图像IN_2的身份特征，
Figure FDA0002399806440000033
为中性面部图像IN_2的中性表情特征；
同样地，将正常表情面部图像IE_2输入到编码器E_2，并得到正常表情面部图像IE_2的特征
Figure FDA0002399806440000034
其中，
Figure FDA0002399806440000035
为正常表情面部图像IE_2的身份特征，
Figure FDA0002399806440000036
为正常表情面部图像IE_2的正常表情特征；
步骤3.3、利用式(5)构建正常表情的身份特征相似性损失函数Lsim_2：
Figure FDA0002399806440000037
步骤3.4、构建与所述解码器D_1结构相同的解码器D_2；
步骤3.5、重构正常表情面部图像：
将正常表情面部图像IE_2的表情相关特征
Figure FDA0002399806440000038
和中性面部图像IN_2的身份特征
Figure FDA0002399806440000039
拼接后输入到所述解码器D_2中，得到重构的正常表情面部图像I′E_2；
步骤3.6、利用式(6)构建正常表情面部重建损失函数Lrec_2：
Lrec_2＝||IE_2-I′E_2||2 (6)
步骤3.7、构建与所述分类器C_1结构相同的分类器C_2；
将正常表情面部图像IE_2的表情相关特征
Figure FDA00023998064400000310
输入到分类器C_2中，得到分类器C_2预测正常表情面部图像IE_2的表情类别y′E_2；
步骤3.8、利用式(7)构建正常表情面部表情分类损失函数Lcls_2：
Lcls_2＝crossentropy{yE_2-y′E_2} (7)
步骤3.9、利用式(8)构建正常表情身份解缠网络的总损失函数Lphase_2：
Lphase_2＝Lcls_2+λ2_1Lsim_2+λ2_2Lrec_2 (8)
式(8)中，λ2_1和λ2_2是所设定的参数；
步骤4、从所述微表情数据集Dtr_1和正常表情数据集DN_2中构建出联合训练图像数据集Dun_3，令所述联合训练图像数据集Dun_3中的Ianc和Ineg是从所述微表情数据集Dtr_1中随机挑选出的不同类别的微表情图像，令所述联合训练图像数据集Dun_3中的Ipos是从所述正常表情数据集DN_2中随机挑选出的且和微表情图像Ianc是同类别的正常表情图像，yanc是微表情图像Ianc对应的类别标签；
步骤5、正常表情身份解缠网络F_2与微表情身份解缠网络F_1的联合训练：
步骤5.1、固定住正常表情身份解缠网络F_2的网络参数，辅助微表情身份解缠网络F_1进行微调训练；
步骤5.2、利用式(9)构建三元组损失函数Ltri：
Figure FDA0002399806440000041
式(9)中，m是设定的超参数；
Figure FDA0002399806440000042
是将微表情图像Ianc和Ineg分别输入到微表情身份解缠网络F_1所得到的对应的表情特征，
Figure FDA0002399806440000043
是将正常表情图像Ipos输入到正常表情身份解缠网络F_2所得到的对应的表情特征；
步骤5.3、构建对抗学习模块：
步骤5.3.1、在微表情身份解缠网络F_1和正常表情身份解缠网络F_2之间添加对抗学习模块，所述对抗学习模块是由判别器和生成器组成；
所述生成器是由微表情身份解缠网络F_1组成；
所述判别器依次包含n″个卷积模块，一个平均池化层和一个线性函数层；
所述每个卷积模块均依次包含一个卷积核大小为w×w的卷积层，一个批归一化层和一个非线性函数层；
分别将微表情图像Ianc的表情特征
Figure FDA0002399806440000044
和正常表情图像Ipos的表情特征
Figure FDA0002399806440000045
输入所述判别器中，并输出相应的表情特征
Figure FDA0002399806440000046
属于正常表情的概率Panc和表情特征
Figure FDA0002399806440000047
属于正常表情的概率Ppos；
步骤5.3.2、利用式(10)构建对抗学习模块的损失函数Ladv：
Ladv＝-log Panc (10)
步骤5.4、将微表情面部图像Ianc的表情特征
Figure FDA0002399806440000048
输入到微表情身份解缠网络F_1中的分类器C_1中，得到分类器C_1预测微表情面部图像Ianc的表情类别y′anc；
利用式(11)构建微表情身份解缠网络F_1的分类损失函数Lcls_anc：
Lcls_anc＝crossentropy{yanc-y′anc} (11)
步骤5.5、将正常表情面部图像Ipos的表情特征
Figure FDA0002399806440000051
输入到特征F_2中的分类器C_2中，得到分类器C_2预测正常表情面部图像Ipos的表情类别y′pos；
利用式(12)构建正常表情面部图像F_2的分类损失函数Lcls_pos：
Lcls_pos＝crossentropy{yanc-y′pos} (12)
步骤5.6、利用式(13)构建不等式正则化损失函数LLIR：
LLIR＝max{Lcls_pos-Lcls_anc,0} (13)
步骤5.7、利用式(14)构建微表情身份解缠网络F_1和正常表情身份解缠网络F_2联合训练的总损失函数Lphase_3：
Lphase_3＝Lcls_anc+λ3_1Ltri+λ3_2Ladv+λ3_3LLIR (14)
式(14)中，λ3_1,λ3_2和λ3_3是人为设定的参数；
步骤5.8、利用梯度下降法对所述总损失函数Lphase_3中的微表情身份解缠网络F_1参数进行优化求解，从而得到最优微表情身份解缠网络
Figure FDA0002399806440000052
并用于微表情识别。
CN202010143177.2A 2020-03-04 2020-03-04 一种基于正常表情辅助的微表情识别方法 Active CN111368734B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010143177.2A CN111368734B (zh) 2020-03-04 2020-03-04 一种基于正常表情辅助的微表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010143177.2A CN111368734B (zh) 2020-03-04 2020-03-04 一种基于正常表情辅助的微表情识别方法

Publications (2)

Publication Number Publication Date
CN111368734A true CN111368734A (zh) 2020-07-03
CN111368734B CN111368734B (zh) 2022-09-06

Family

ID=71206536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010143177.2A Active CN111368734B (zh) 2020-03-04 2020-03-04 一种基于正常表情辅助的微表情识别方法

Country Status (1)

Country Link
CN (1) CN111368734B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580555A (zh) * 2020-12-25 2021-03-30 中国科学技术大学 一种自发微表情识别方法
CN114005153A (zh) * 2021-02-01 2022-02-01 南京云思创智信息科技有限公司 面貌多样性的个性化微表情实时识别方法
CN114648803A (zh) * 2022-05-20 2022-06-21 中国科学技术大学 自然场景下人脸表情识别方法、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599800A (zh) * 2016-11-25 2017-04-26 哈尔滨工程大学 一种基于深度学习的人脸微表情识别方法
CN107273876A (zh) * 2017-07-18 2017-10-20 山东大学 一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法
KR20190130179A (ko) * 2018-04-13 2019-11-22 인하대학교 산학협력단 미세한 표정변화 검출을 위한 2차원 랜드마크 기반 특징점 합성 및 표정 세기 검출 방법
CN110532950A (zh) * 2019-08-29 2019-12-03 中国科学院自动化研究所 基于微表情视频的视频特征提取方法、微表情识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599800A (zh) * 2016-11-25 2017-04-26 哈尔滨工程大学 一种基于深度学习的人脸微表情识别方法
CN107273876A (zh) * 2017-07-18 2017-10-20 山东大学 一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法
KR20190130179A (ko) * 2018-04-13 2019-11-22 인하대학교 산학협력단 미세한 표정변화 검출을 위한 2차원 랜드마크 기반 특징점 합성 및 표정 세기 검출 방법
CN110532950A (zh) * 2019-08-29 2019-12-03 中国科学院自动化研究所 基于微表情视频的视频特征提取方法、微表情识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUAI-QIAN KHOR ET AL.: "Enriched Long-Term Recurrent Convolutional Network for Facial Micro-Expression Recognition", 《2018 13TH IEEE INTERNATIONAL CONFERENCE ON AUTOMATIC FACE & GESTURE RECOGNITION (FG 2018)》 *
郭芳良: "基于深度学习的视频人脸微表情识别研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580555A (zh) * 2020-12-25 2021-03-30 中国科学技术大学 一种自发微表情识别方法
CN112580555B (zh) * 2020-12-25 2022-09-30 中国科学技术大学 一种自发微表情识别方法
CN114005153A (zh) * 2021-02-01 2022-02-01 南京云思创智信息科技有限公司 面貌多样性的个性化微表情实时识别方法
CN114648803A (zh) * 2022-05-20 2022-06-21 中国科学技术大学 自然场景下人脸表情识别方法、系统、设备及存储介质
CN114648803B (zh) * 2022-05-20 2022-09-06 中国科学技术大学 自然场景下人脸表情识别方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN111368734B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN109615582B (zh) 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN108596039B (zh) 一种基于3d卷积神经网络的双模态情感识别方法及系统
CN108520503B (zh) 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
Chen et al. The face image super-resolution algorithm based on combined representation learning
CN108629338B (zh) 一种基于lbp和卷积神经网络的人脸美丽预测方法
CN111368734B (zh) 一种基于正常表情辅助的微表情识别方法
CN109886881B (zh) 人脸妆容去除方法
CN110728209A (zh) 一种姿态识别方法、装置、电子设备及存储介质
CN104268593A (zh) 一种小样本情况下多稀疏表示的人脸识别方法
CN112818764B (zh) 一种基于特征重建模型的低分辨率图像人脸表情识别方法
Seyyedsalehi et al. A fast and efficient pre-training method based on layer-by-layer maximum discrimination for deep neural networks
Guo et al. JointPruning: Pruning networks along multiple dimensions for efficient point cloud processing
CN112686816A (zh) 一种基于内容注意力机制和掩码先验的图像补全方法
CN116645716B (zh) 基于局部特征和全局特征的表情识别方法
CN113989890A (zh) 基于多通道融合和轻量级神经网络的人脸表情识别方法
CN115966010A (zh) 一种基于注意力和多尺度特征融合的表情识别方法
CN112184582B (zh) 一种基于注意力机制的图像补全方法及装置
CN113379655A (zh) 一种基于动态自注意力生成对抗网络的图像合成方法
Lei et al. Nites: A non-parametric interpretable texture synthesis method
CN114093013B (zh) 一种深度伪造人脸逆向溯源方法及系统
CN114241459B (zh) 一种驾驶员身份验证方法、装置、计算机设备及存储介质
CN112686817B (zh) 一种基于不确定性估计的图像补全方法
CN114036553A (zh) 一种结合k匿名的行人身份隐私保护方法
CN113160032A (zh) 一种基于生成对抗网络的无监督多模态图像转换方法
CN109583406B (zh) 基于特征关注机制的人脸表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant