CN114937298A - 一种基于特征解耦的微表情识别方法 - Google Patents

一种基于特征解耦的微表情识别方法 Download PDF

Info

Publication number
CN114937298A
CN114937298A CN202210522618.9A CN202210522618A CN114937298A CN 114937298 A CN114937298 A CN 114937298A CN 202210522618 A CN202210522618 A CN 202210522618A CN 114937298 A CN114937298 A CN 114937298A
Authority
CN
China
Prior art keywords
expression
micro
identity
common
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210522618.9A
Other languages
English (en)
Inventor
卢官明
束永丽
卢峻禾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202210522618.9A priority Critical patent/CN114937298A/zh
Publication of CN114937298A publication Critical patent/CN114937298A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明公开了一种基于特征解耦的微表情识别方法，该方法包括以下步骤：构建并训练普通表情‑身份特征解耦网络，将训练好的普通表情‑身份特征解耦网络作为微表情‑身份特征解耦网络的初始模型，使用人脸微表情图像样本微调该模型，得到微表情‑身份特征解耦网络；构建包含普通表情‑身份特征解耦网络、微表情‑身份特征解耦网络的对抗网络模型，通过对抗学习方法，使用相同表情类别的人脸普通表情图像样本和人脸微表情图像样本训练对抗网络模型；将训练好的对抗网络模型中的微表情‑身份特征解耦网络作为最终的微表情识别模型。本发明可以使模型排除人脸身份特征干扰，更加关注微表情特征，从而提高微表情识别的准确率。

Description

一种基于特征解耦的微表情识别方法
技术领域
本发明涉及微表情识别及人工智能领域，具体涉及一种基于特征解耦的微表情识别方法。
背景技术
人脸表情作为人表现情感的主要方式之一，也是让机器人能智能化理解人类情感的一个重要途径。而微表情往往是在人想压抑自己情感时产生，这既无法伪造也无法抑制。由于微表情在无意识状态下自发产生，难以掩饰或伪装，通常与真实情感直接相关，所以微表情在情感分析中较为可靠，应用前景广阔。例如，在国家安全领域，有些训练有素的恐怖分子等危险人物可能轻易通过测谎仪的检测，但是通过微表情往往可以发现他们虚假表面下的真实情感，并且由于微表情的这种特点，它在司法系统和医学临床上也有着较好的应用。
由于存在诸多与人脸表情特征无关的身份信息的干扰，使得微表情识别不够准确，因此解除面部与身份信息有强关联的人脸身份特征，使得模型更加关注人脸表情特征会提高微表情的准确率。基于对抗学习特征解耦的方法利用多任务网络训练过程中不同任务间存在的对抗关系，当某个任务的特征无法作为微表情分类的有用特征时，可认为所提取的特征与该任务无关，即达到解耦的目的。其关键在于挖掘出决定相似图像类别差异的特征，实现与无关特征之间的解耦。
同时，由于微表情的持续时间短，面部肌肉变化幅度弱，微表情数据的采集工作比较困难，标注成本非常高，且受限于现有的微表情数据，直接使用深度学习方法在微表情识别上容易出现模型过拟合，而普通表情数据库的建立已经比较完善，每个数据库都包含大量标注好的训练样本。因此，利用丰富的普通表情数据辅助微表情识别会提高微表情识别的准确性，为了在微表情识别上有较好的表现，引入迁移学习的方法，使用不同身份的普通表情样本训练一个普通表情-身份特征解耦网络作为微表情-身份特征解耦网络的初始模型，利用源模型中的知识来加强目标任务中的学习，从而提高微表情识别的准确率。
中国专利申请“一种基于3D卷积神经网络的微表情识别方法”(专利申请号CN201610954555.9，公开号CN106570474A)，对于微表情视频序列中的各帧图像提取灰度通道特征图、水平方向梯度通道特征图、竖直方向梯度通道特征图、水平方向光流通道特征图、竖直方向光流通道特征图从而获得待识别微表情视频序列所对应的一个特征图组，然后输入到3D卷积神经网络进一步提取特征并分类。该方法对于微表情视频序列的每一帧图像都要处理，计算量极大，并且需要大量的训练样本，模型的训练过程中在样本不充足的情况下很容易出现过拟合问题。
发明内容
本发明目的：在于提供一种基于特征解耦的微表情识别方法，排除与身份信息有关的人脸身份特征的干扰，更加关注人脸表情特征，从而提高微表情识别的准确性。
为实现以上功能，本发明设计一种基于特征解耦的微表情识别方法，针对待识别人脸微表情图像，执行如下步骤S1-步骤S4，完成待识别人脸微表情图像中人脸微表情的识别：
S1:采集不同人脸普通表情图像样本，以经过预处理的各人脸普通表情图像样本为输入，基于特征提取模块、表情重建模块、表情分类模块，以人脸普通表情图像样本对应的表情类别为输出，构建将各人脸普通表情图像样本的人脸表情特征和人脸身份特征分离开的普通表情-身份特征解耦网络，并采用不同人脸普通表情图像样本，结合预设对应的表情类别，对普通表情-身份特征解耦网络进行训练，获得训练好的普通表情-身份特征解耦网络；
S2:采集不同人脸微表情图像样本，以经过预处理的各人脸微表情图像样本为输入，以各人脸微表情图像样本对应的表情类别为输出，以训练好的普通表情-身份特征解耦网络作为初始模型，采用迁移学习方法，构建微表情-身份特征解耦网络，并采用不同人脸微表情图像样本，结合预设对应的表情类别，对微表情-身份特征解耦网络进行训练，获得训练好的微表情-身份特征解耦网络；
S3:基于步骤S1所获得的普通表情-身份特征解耦网络、步骤S2所获得的微表情-身份特征解耦网络，并结合鉴别器，采用对抗学习方法，获得对抗网络模型，并采用相同表情类别的人脸普通表情图像样本和人脸微表情图像样本，对对抗网络模型进行训练，获得训练好的对抗网络模型；
S4:以步骤S3所获得的对抗网络模型中的微表情-身份特征解耦网络作为微表情识别模型，针对待识别人脸图像，完成待识别人脸图像中人脸微表情的识别。
作为本发明的一种优选技术方案：步骤S1中普通表情-身份特征解耦网络包括特征提取模块、表情重建模块、表情分类模块，普通表情-身份特征解耦网络具体结构如下：
所述特征提取模块包括一个双分支特征提取器，双分支特征提取器包括身份特征提取器和表情特征提取器，其中身份特征提取器基于卷积神经网络及身份特征提取器损失函数，提取人脸普通表情图像样本的人脸身份特征，表情特征提取器基于卷积神经网络及表情特征提取器损失函数，提取人脸普通表情图像样本的人脸表情特征；
所述表情重建模块将一个人脸普通表情图像样本的人脸身份特征、与另一个人脸普通表情图像样本的人脸表情特征相融合，基于一个嵌入层对融合所获得的特征进行编码，并通过上采样和卷积神经网络放大特征的尺寸，生成表情迁移图像；
所述表情分类模块包括一个用于评估表情迁移图像效果、输出普通表情类别的鉴别器，鉴别器由卷积神经网络和全连接层组成，鉴别器包括两个分支，分别为人脸身份鉴别器分支和人脸表情鉴别器分支。
作为本发明的一种优选技术方案：步骤S1中以经过预处理的各人脸普通表情图像样本为输入，基于特征提取模块、表情重建模块、表情分类模块，以人脸普通表情图像样本对应的表情类别为输出，构建将各人脸普通表情图像样本的人脸表情特征和人脸身份特征分离开的普通表情-身份特征解耦网络的具体步骤如下：
S11:特征提取：以经过预处理的各人脸普通表情图像样本中的两个不同的人脸普通表情图像样本Ie和Ii为输入，通过双分支特征提取器，分别提取人脸普通表情图像样本Ii的人脸身份特征
Figure BDA0003642359790000031
人脸普通表情图像样本Ie的人脸表情特征
Figure BDA0003642359790000032
S12:表情重建：将人脸身份特征
Figure BDA0003642359790000033
和人脸表情特征
Figure BDA0003642359790000034
结合，重建人脸普通表情图像，以所重建的人脸普通表情图像作为表情迁移图像，其中重建损失Lrec如下式：
Figure BDA0003642359790000035
S13:表情分类：将步骤S12所获得的表情迁移图像输入至表情分类模块的鉴别器中，鉴别器所使用的交叉熵函数Lc如下式：
Figure BDA0003642359790000041
式中，y为表情类别标签，L为表情类别标签的总数，
Figure BDA0003642359790000042
为预测的人脸表情特征
Figure BDA0003642359790000043
的表情类别分布；
S14:针对普通表情-身份特征解耦网络引入配对图像一致性约束，通过配对图像一致性损失，调节普通表情-身份特征解耦网络参数；
S15:使用各人脸普通表情图像样本对普通表情-身份特征解耦网络进行训练，获得训练好的普通表情-身份特征解耦网络。
作为本发明的一种优选技术方案：步骤S2中以经过预处理的各人脸微表情图像样本为输入，以各人脸微表情图像样本对应的表情类别为输出，以训练好的普通表情-身份特征解耦网络作为初始模型，构建微表情-身份特征解耦网络的具体步骤如下：
S21:固定步骤S1所获得的普通表情-身份特征解耦网络的参数，将步骤S1训练好的普通表情-身份特征解耦网络作为微表情-身份特征解耦网络的初始模型，微表情-身份特征解耦网络结构与普通表情-身份特征解耦网络相同，均包括特征提取模块、表情重建模块、表情分类模块；
S22:基于迁移学习方法，使用经过预处理的不同人脸微表情图像样本，对微表情-身份特征解耦网络的初始模型进行调整，获得微表情-身份特征解耦网络。
作为本发明的一种优选技术方案：步骤S3中基于步骤S1所获得的普通表情-身份特征解耦网络、步骤S2所获得的微表情-身份特征解耦网络，并结合鉴别器，采用对抗学习方法，获得对抗网络模型的具体步骤如下：
S31:将属于相同表情类别的一个人脸普通表情图像样本yc、以及一个人脸微表情图像样本xc分别输入至步骤S1所获得的普通表情-身份特征解耦网络、以及步骤S2所获得的微表情-身份特征解耦网络中，分别获得人脸普通表情图像样本yc所对应的人脸普通表情特征
Figure BDA0003642359790000044
以及人脸微表情图像样本xc所对应的人脸微表情特征
Figure BDA0003642359790000045
S32:固定步骤S1训练好的普通表情-身份特征解耦网络的参数、以及步骤S2训练好的微表情-身份特征解耦网络的参数，将普通表情-身份特征解耦网络输出的人脸普通表情特征，以及微表情-身份特征解耦网络输出的人脸微表情特征输入鉴别器，进行对抗学习，其中鉴别器的损失函数LD如下式：
Figure BDA0003642359790000051
式中，
Figure BDA0003642359790000052
为预测的人脸普通表情特征
Figure BDA0003642359790000053
的表情类别分布，
Figure BDA0003642359790000054
为预测的人脸微表情特征
Figure BDA0003642359790000055
的表情类别分布；
其中微表情-身份特征解耦网络的对抗损失Ladv如下式：
Figure BDA0003642359790000056
S33:人脸微表情图像样本xc输入至微表情-身份特征解耦网络中，微表情-身份特征解耦网络的表情分类模块对人脸微表情图像样本xc进行分类的交叉熵L1损失如下式：
Figure BDA0003642359790000057
式中，y为表情类别标签，L为表情类别标签的总数，
Figure BDA0003642359790000058
为预测的人脸微表情特征
Figure BDA0003642359790000059
的表情类别分布；
S34:针对普通表情-身份特征解耦网络、微表情-身份特征解耦网络、鉴别器所构建的对抗网络模型，基于正则化法，引入损失不等正则化LLIR如下式：
LLIR＝max*L2-L1,0+
式中，L2为人脸普通表情图像样本yc分类的交叉熵损失；
S35:计算对抗网络模型的总体损失函数LSUM如下式：
LSUM＝L1+m1Ladv+m2LLIR
式中，m1、m2为超参数；
S36:使用属于相同表情类别的人脸普通表情图像样本、人脸微表情图像样本对抗网络模型进行训练，获得训练好的对抗网络模型。
作为本发明的一种优选技术方案：特征提取模块的卷积神经网络包含至少一个卷积层，以及一个池化层，卷积层包括m1个k1×k1的卷积核，其中m1∈*64,128,256,512+，k1∈*3,5,7+，池化层包括k2×k2的池化核，其中k2∈*1,2,3+。
本发明还设计一种基于特征解耦的微表情识别方法的系统，其特征在于，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，针对待识别人脸微表情图像，执行如下步骤S1-步骤S4，完成待识别人脸微表情图像中人脸微表情的识别：
S1:采集不同人脸普通表情图像样本，以经过预处理的各人脸普通表情图像样本为输入，基于特征提取模块、表情重建模块、表情分类模块，以人脸普通表情图像样本对应的表情类别为输出，构建将各人脸普通表情图像样本的人脸表情特征和人脸身份特征分离开的普通表情-身份特征解耦网络，并采用不同人脸普通表情图像样本，结合预设对应的表情类别，对普通表情-身份特征解耦网络进行训练，获得训练好的普通表情-身份特征解耦网络；
S2:采集不同人脸微表情图像样本，以经过预处理的各人脸微表情图像样本为输入，以各人脸微表情图像样本对应的表情类别为输出，以训练好的普通表情-身份特征解耦网络作为初始模型，采用迁移学习方法，构建微表情-身份特征解耦网络，并采用不同人脸微表情图像样本，结合预设对应的表情类别，对微表情-身份特征解耦网络进行训练，获得训练好的微表情-身份特征解耦网络；
S3:基于步骤S1所获得的普通表情-身份特征解耦网络、步骤S2所获得的微表情-身份特征解耦网络，并结合鉴别器，采用对抗学习方法，获得对抗网络模型，并采用相同表情类别的人脸普通表情图像样本和人脸微表情图像样本，对对抗网络模型进行训练，获得训练好的对抗网络模型；
S4:以步骤S3所获得的对抗网络模型中的微表情-身份特征解耦网络作为微表情识别模型，针对待识别人脸图像，完成待识别人脸图像中人脸微表情的识别。
本发明还设计一种存储软件的计算机可读取介质，其特征在于，所述可读取介质包括能通过一个或多个计算机执行的指令，所述指令在被所述一个或多个计算机执行时，执行一种基于特征解耦的微表情识别方法的操作。
有益效果：相对于现有技术，本发明的优点包括：
(1)本发明构建了一种将人脸表情特征和人脸身份特征分离开的普通表情-身份特征解耦网络，所述普通表情-身份特征解耦网络解除了与身份信息有强关联的人脸身份特征的干扰，更加关注人脸表情特征，解决了由于存在诸多与人脸表情特征无关的身份信息的干扰使得微表情识别不够准确的问题；
(2)本发明利用迁移学习方法，将训练好的普通表情-身份特征解耦网络作为微表情-身份特征解耦网络的初始模型，解决了微表情数据受限的问题，利用源模型中的知识来加强目标任务中的学习，从而提高微表情识别的准确率；
(3)本发明针对微表情的持续时间短，面部肌肉变化幅度弱，且受限于现有的微表情数据，直接使用深度学习方法在微表情识别上容易出现模型过拟合等问题，引入迁移学习方法，通过利用丰富的普通表情数据辅助微表情识别，提高微表情识别的准确率；
(4)本发明构建了一种包含普通表情-身份特征解耦网络、微表情-身份特征解耦网络的对抗网络模型，在特征空间使用了对抗学习的方法辅助微表情识别模型的训练，有效地学习微表情和普通表情的相似特征；在标签空间使用损失不等正则化来校准普通表情-身份特征解耦网络、微表情-身份特征解耦网络的分类损失，相比基于手工特征的方法会获得更好的识别效果。
附图说明
图1是根据本发明实施例提供的基于特征解耦的微表情识别方法的流程图；
图2是根据本发明实施例提供的人脸普通表情-身份特征解耦网络结构图；
图3是根据本发明实施例提供的人脸微表情-身份特征解耦网络结构图；
图4是根据本发明实施例提供的对抗网络模型结构图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
参照图1，本发明实施例提供的一种基于特征解耦的微表情识别方法，针对待识别人脸微表情图像，执行如下步骤S1-步骤S4，完成待识别人脸微表情图像中人脸微表情的识别：
S1:采集不同人脸普通表情图像样本，以经过预处理的各人脸普通表情图像样本为输入，基于特征提取模块、表情重建模块、表情分类模块，以人脸普通表情图像样本对应的表情类别为输出，构建将各人脸普通表情图像样本的人脸表情特征和人脸身份特征分离开的普通表情-身份特征解耦网络，并采用不同人脸普通表情图像样本，结合预设对应的表情类别，对普通表情-身份特征解耦网络进行训练，获得训练好的普通表情-身份特征解耦网络，人脸普通表情-身份特征解耦网络结构图参照图2；
其中，普通表情-身份特征解耦网络包括特征提取模块、表情重建模块、表情分类模块，普通表情-身份特征解耦网络具体结构如下：
所述特征提取模块包括一个双分支特征提取器，双分支特征提取器包括身份特征提取器和表情特征提取器，其中身份特征提取器基于卷积神经网络及身份特征提取器损失函数，提取人脸普通表情图像样本的人脸身份特征，表情特征提取器基于卷积神经网络及表情特征提取器损失函数，提取人脸普通表情图像样本的人脸表情特征；
特征提取模块的卷积神经网络包含至少一个卷积层，以及一个池化层，卷积层包括m1个k1×k1的卷积核，其中m1∈*64,128,256,512+，k1∈*3,5,7+，池化层包括k2×k2的池化核，其中k2∈*1,2,3+。
在一个实施例中，首先将人脸普通表情图像样本进行预处理，经过卷积核大小为7×7的卷积层，然后进行一层最大池化，经下采样经过四个3×3的卷积核对上一层的输出进行卷积运算，接着经过三次升维和下采样，最后平均池化后进入全连接层。
所述表情重建模块将一个人脸普通表情图像样本的人脸身份特征、与另一个人脸普通表情图像样本的人脸表情特征相融合，基于一个嵌入层对融合所获得的特征进行编码，并通过上采样和卷积神经网络放大特征的尺寸，生成表情迁移图像；其中嵌入层的引入使表情重建模块能够处理来自不同空间的数据，使得表情重建模块可以修改表情，但保持其他面部表情，如头发、眼镜或姿势不动；
所述表情分类模块用于计算所输入的人脸普通表情样本属于各表情类别标签的概率，包括一个用于评估表情迁移图像效果、输出普通表情类别的鉴别器，鉴别器由卷积神经网络和全连接层组成，鉴别器包括两个分支，分别为人脸身份鉴别器分支和人脸表情鉴别器分支，其中鉴别器的两个分支用于评估合成的表情迁移图像效果，如果合成的表情迁移图像效果能够欺骗鉴别器，说明普通表情-身份特征解耦网络学习到的特征达到预设标准；人脸表情特征提取器分支的全连接层用于判别特征提取模块学习到的特征。
步骤S1的具体步骤如下：
S11:特征提取：以经过预处理的各人脸普通表情图像样本中的两个不同的人脸普通表情图像样本Ie和Ii为输入，通过双分支特征提取器，分别提取人脸普通表情图像样本Ii的人脸身份特征
Figure BDA0003642359790000081
人脸普通表情图像样本Ie的人脸表情特征
Figure BDA0003642359790000082
S12:表情重建：将人脸身份特征
Figure BDA0003642359790000091
和人脸表情特征
Figure BDA0003642359790000092
结合，重建人脸普通表情图像，以所重建的人脸普通表情图像作为表情迁移图像，其中重建损失Lrec如下式：
Figure BDA0003642359790000093
S13:表情分类：将步骤S12所获得的表情迁移图像输入至表情分类模块的鉴别器中，鉴别器所使用的交叉熵函数Lc如下式：
Figure BDA0003642359790000094
式中，y为表情类别标签，L为表情类别标签的总数，
Figure BDA0003642359790000095
为预测的人脸表情特征
Figure BDA0003642359790000096
的表情类别分布；
S14:针对普通表情-身份特征解耦网络引入配对图像一致性约束，通过配对图像一致性损失，调节普通表情-身份特征解耦网络参数；
S15:使用各人脸普通表情图像样本对普通表情-身份特征解耦网络进行训练，获得训练好的普通表情-身份特征解耦网络。
S2:采集不同人脸微表情图像样本，以经过预处理的各人脸微表情图像样本为输入，以各人脸微表情图像样本对应的表情类别为输出，以训练好的普通表情-身份特征解耦网络作为初始模型，采用迁移学习方法，构建微表情-身份特征解耦网络，并采用不同人脸微表情图像样本，结合预设对应的表情类别，对微表情-身份特征解耦网络进行训练，获得训练好的微表情-身份特征解耦网络，人脸微表情-身份特征解耦网络结构图参照图3；
在一个实施例中，针对各人脸普通表情图像样本、各人脸微表情图像样本的预处理包括人脸检测、裁剪、人脸对齐处理。
步骤S2的具体步骤如下：
S21:固定步骤S1所获得的普通表情-身份特征解耦网络的参数，将步骤S1训练好的普通表情-身份特征解耦网络作为微表情-身份特征解耦网络的初始模型，微表情-身份特征解耦网络结构与普通表情-身份特征解耦网络相同，均包括特征提取模块、表情重建模块、表情分类模块；
S22:由于微表情的持续时间短，面部肌肉变化幅度弱，且受限于现有的微表情数据，直接使用深度学习方法在微表情识别上的鲁棒性较差，所以利用丰富的普通表情数据辅助微表情识别会提高微表情识别的准确率，因此本发明中基于迁移学习方法，使用经过预处理的不同人脸微表情图像样本，对微表情-身份特征解耦网络的初始模型进行调整，获得微表情-身份特征解耦网络。
S3:基于步骤S1所获得的普通表情-身份特征解耦网络、步骤S2所获得的微表情-身份特征解耦网络，并结合鉴别器，采用对抗学习方法，获得对抗网络模型，并采用相同表情类别的人脸普通表情图像样本和人脸微表情图像样本，对对抗网络模型进行训练，获得训练好的对抗网络模型；
步骤S3的具体步骤如下：
S31:将属于相同表情类别的一个人脸普通表情图像样本yc、以及一个人脸微表情图像样本xc分别输入至步骤S1所获得的普通表情-身份特征解耦网络、以及步骤S2所获得的微表情-身份特征解耦网络中，分别获得人脸普通表情图像样本yc所对应的人脸普通表情特征
Figure BDA0003642359790000101
以及人脸微表情图像样本xc所对应的人脸微表情特征
Figure BDA0003642359790000102
S32:固定步骤S1训练好的普通表情-身份特征解耦网络的参数、以及步骤S2训练好的微表情-身份特征解耦网络的参数，将普通表情-身份特征解耦网络输出的人脸普通表情特征，以及微表情-身份特征解耦网络输出的人脸微表情特征输入鉴别器，进行对抗学习；
其中鉴别器用于区分人脸普通表情特征、人脸微表情特征，人脸微表情-身份特征解耦网络产生使鉴别器难以分辨的人脸微表情特征，而鉴别器区分出这两种特征，进行对抗学习；
其中鉴别器的损失函数LD如下式：
Figure BDA0003642359790000103
式中，
Figure BDA0003642359790000104
为预测的人脸普通表情特征
Figure BDA0003642359790000105
的表情类别分布，
Figure BDA0003642359790000106
为预测的人脸微表情特征
Figure BDA0003642359790000107
的表情类别分布；
其中用最小化
Figure BDA0003642359790000108
来代替最小化
Figure BDA0003642359790000109
能避免梯度消失问题，因此微表情-身份特征解耦网络的对抗损失Ladv如下式：
Figure BDA00036423597900001010
S33:人脸微表情图像样本xc输入至微表情-身份特征解耦网络中，分类损失被用于提高微表情识别准确率，微表情-身份特征解耦网络的表情分类模块对人脸微表情图像样本xc进行分类的交叉熵L1损失如下式：
Figure BDA0003642359790000111
式中，y为表情类别标签，L为表情类别标签的总数，
Figure BDA0003642359790000112
为预测的人脸微表情特征
Figure BDA0003642359790000113
的表情类别分布；
S34:针对普通表情-身份特征解耦网络、微表情-身份特征解耦网络、鉴别器所构建的对抗网络模型，由于输入相同表情类别的人脸普通表情图像样本和人脸微表情图像样本能产生相似的输出，因此引入正则化法，称为损失不等正则化，损失不等正则化假设次要的特征比主要的特征有更多的信息量，而人脸普通表情图像样本比人脸微表情图像样本有更多信息，其中引入损失不等正则化LLIR如下式：
LLIR＝max*L2-L1,0+
式中，L2为人脸普通表情图像样本yc分类的交叉熵损失；
S35:计算对抗网络模型的总体损失函数LSUM如下式：
LSUM＝L1+m1Ladv+m2LLIR
式中，m1、m2为超参数，用于控制损失的参数；
S36:使用属于相同表情类别的人脸普通表情图像样本、人脸微表情图像样本对抗网络模型进行训练，获得训练好的对抗网络模型。
S4:以步骤S3所获得的对抗网络模型中的微表情-身份特征解耦网络作为微表情识别模型，针对待识别人脸图像，完成待识别人脸图像中人脸微表情的识别。
本发明实施例还提供一种基于特征解耦的微表情识别方法的系统，其特征在于，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，针对待识别人脸微表情图像，执行如下步骤S1-步骤S4，完成待识别人脸微表情图像中人脸微表情的识别：
S1:采集不同人脸普通表情图像样本，以经过预处理的各人脸普通表情图像样本为输入，基于特征提取模块、表情重建模块、表情分类模块，以人脸普通表情图像样本对应的表情类别为输出，构建将各人脸普通表情图像样本的人脸表情特征和人脸身份特征分离开的普通表情-身份特征解耦网络，并采用不同人脸普通表情图像样本，结合预设对应的表情类别，对普通表情-身份特征解耦网络进行训练，获得训练好的普通表情-身份特征解耦网络；
S2:采集不同人脸微表情图像样本，以经过预处理的各人脸微表情图像样本为输入，以各人脸微表情图像样本对应的表情类别为输出，以训练好的普通表情-身份特征解耦网络作为初始模型，采用迁移学习方法，构建微表情-身份特征解耦网络，并采用不同人脸微表情图像样本，结合预设对应的表情类别，对微表情-身份特征解耦网络进行训练，获得训练好的微表情-身份特征解耦网络；
S3:基于步骤S1所获得的普通表情-身份特征解耦网络、步骤S2所获得的微表情-身份特征解耦网络，并结合鉴别器，采用对抗学习方法，获得对抗网络模型，并采用相同表情类别的人脸普通表情图像样本和人脸微表情图像样本，对对抗网络模型进行训练，获得训练好的对抗网络模型，对抗网络模型结构图参照图4；
S4:以步骤S3所获得的对抗网络模型中的微表情-身份特征解耦网络作为微表情识别模型，针对待识别人脸图像，完成待识别人脸图像中人脸微表情的识别。
本发明实施例还提供一种存储软件的计算机可读取介质，其特征在于，所述可读取介质包括能通过一个或多个计算机执行的指令，所述指令在被所述一个或多个计算机执行时，执行所述一种基于特征解耦的微表情识别方法的操作。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (8)

1.一种基于特征解耦的微表情识别方法，其特征在于，针对待识别人脸微表情图像，执行如下步骤S1-步骤S4，完成待识别人脸微表情图像中人脸微表情的识别：
S1:采集不同人脸普通表情图像样本，以经过预处理的各人脸普通表情图像样本为输入，基于特征提取模块、表情重建模块、表情分类模块，以人脸普通表情图像样本对应的表情类别为输出，构建将各人脸普通表情图像样本的人脸表情特征和人脸身份特征分离开的普通表情-身份特征解耦网络，并采用不同人脸普通表情图像样本，结合预设对应的表情类别，对普通表情-身份特征解耦网络进行训练，获得训练好的普通表情-身份特征解耦网络；
S2:采集不同人脸微表情图像样本，以经过预处理的各人脸微表情图像样本为输入，以各人脸微表情图像样本对应的表情类别为输出，以训练好的普通表情-身份特征解耦网络作为初始模型，采用迁移学习方法，构建微表情-身份特征解耦网络，并采用不同人脸微表情图像样本，结合预设对应的表情类别，对微表情-身份特征解耦网络进行训练，获得训练好的微表情-身份特征解耦网络；
S3:基于步骤S1所获得的普通表情-身份特征解耦网络、步骤S2所获得的微表情-身份特征解耦网络，并结合鉴别器，采用对抗学习方法，获得对抗网络模型，并采用相同表情类别的人脸普通表情图像样本和人脸微表情图像样本，对对抗网络模型进行训练，获得训练好的对抗网络模型；
S4:以步骤S3所获得的对抗网络模型中的微表情-身份特征解耦网络作为微表情识别模型，针对待识别人脸图像，完成待识别人脸图像中人脸微表情的识别。
2.根据权利要求1所述的一种基于特征解耦的微表情识别方法，其特征在于，步骤S1中普通表情-身份特征解耦网络包括特征提取模块、表情重建模块、表情分类模块，普通表情-身份特征解耦网络具体结构如下：
所述特征提取模块包括一个双分支特征提取器，双分支特征提取器包括身份特征提取器和表情特征提取器，其中身份特征提取器基于卷积神经网络及身份特征提取器损失函数，提取人脸普通表情图像样本的人脸身份特征，表情特征提取器基于卷积神经网络及表情特征提取器损失函数，提取人脸普通表情图像样本的人脸表情特征；
所述表情重建模块将一个人脸普通表情图像样本的人脸身份特征、与另一个人脸普通表情图像样本的人脸表情特征相融合，基于一个嵌入层对融合所获得的特征进行编码，并通过上采样和卷积神经网络放大特征的尺寸，生成表情迁移图像；
所述表情分类模块包括一个用于评估表情迁移图像效果、输出普通表情类别的鉴别器，鉴别器由卷积神经网络和全连接层组成，鉴别器包括两个分支，分别为人脸身份鉴别器分支和人脸表情鉴别器分支。
3.根据权利要求2所述的一种基于特征解耦的微表情识别方法，其特征在于，步骤S1中以经过预处理的各人脸普通表情图像样本为输入，基于特征提取模块、表情重建模块、表情分类模块，以人脸普通表情图像样本对应的表情类别为输出，构建将各人脸普通表情图像样本的人脸表情特征和人脸身份特征分离开的普通表情-身份特征解耦网络的具体步骤如下：
S11:特征提取：以经过预处理的各人脸普通表情图像样本中的两个不同的人脸普通表情图像样本Ie和Ii为输入，通过双分支特征提取器，分别提取人脸普通表情图像样本Ii的人脸身份特征
Figure FDA0003642359780000021
人脸普通表情图像样本Ie的人脸表情特征
Figure FDA0003642359780000022
S12:表情重建：将人脸身份特征
Figure FDA0003642359780000023
和人脸表情特征
Figure FDA0003642359780000024
结合，重建人脸普通表情图像，以所重建的人脸普通表情图像作为表情迁移图像，其中重建损失Lrec如下式：
Figure FDA0003642359780000025
S13:表情分类：将步骤S12所获得的表情迁移图像输入至表情分类模块的鉴别器中，鉴别器所使用的交叉熵函数Lc如下式：
Figure FDA0003642359780000026
式中，y为表情类别标签，L为表情类别标签总数，
Figure FDA0003642359780000027
为预测的人脸表情特征
Figure FDA0003642359780000028
的表情类别分布；
S14:针对普通表情-身份特征解耦网络引入配对图像一致性约束，通过配对图像一致性损失，调节普通表情-身份特征解耦网络参数；
S15:使用各人脸普通表情图像样本对普通表情-身份特征解耦网络进行训练，获得训练好的普通表情-身份特征解耦网络。
4.根据权利要求3所述的一种基于特征解耦的微表情识别方法，其特征在于，步骤S2中以经过预处理的各人脸微表情图像样本为输入，以各人脸微表情图像样本对应的表情类别为输出，以训练好的普通表情-身份特征解耦网络作为初始模型，构建微表情-身份特征解耦网络的具体步骤如下：
S21:固定步骤S1所获得的普通表情-身份特征解耦网络的参数，将步骤S1训练好的普通表情-身份特征解耦网络作为微表情-身份特征解耦网络的初始模型，微表情-身份特征解耦网络结构与普通表情-身份特征解耦网络相同，均包括特征提取模块、表情重建模块、表情分类模块；
S22:基于迁移学习方法，使用经过预处理的不同人脸微表情图像样本，对微表情-身份特征解耦网络的初始模型进行调整，获得微表情-身份特征解耦网络。
5.根据权利要求4所述的一种基于特征解耦的微表情识别方法，其特征在于，步骤S3中基于步骤S1所获得的普通表情-身份特征解耦网络、步骤S2所获得的微表情-身份特征解耦网络，并结合鉴别器，采用对抗学习方法，获得对抗网络模型的具体步骤如下：
S31:将属于相同表情类别的一个人脸普通表情图像样本yc、以及一个人脸微表情图像样本xc分别输入至步骤S1所获得的普通表情-身份特征解耦网络、以及步骤S2所获得的微表情-身份特征解耦网络中，分别获得人脸普通表情图像样本yc所对应的人脸普通表情特征
Figure FDA0003642359780000031
以及人脸微表情图像样本xc所对应的人脸微表情特征
Figure FDA0003642359780000032
S32:固定步骤S1训练好的普通表情-身份特征解耦网络的参数、以及步骤S2训练好的微表情-身份特征解耦网络的参数，将普通表情-身份特征解耦网络输出的人脸普通表情特征，以及微表情-身份特征解耦网络输出的人脸微表情特征输入鉴别器，进行对抗学习，其中鉴别器的损失函数LD如下式：
Figure FDA0003642359780000033
式中，
Figure FDA0003642359780000034
为预测的人脸普通表情特征
Figure FDA0003642359780000035
的表情类别分布，
Figure FDA0003642359780000036
为预测的人脸微表情特征
Figure FDA0003642359780000037
的表情类别分布；
其中微表情-身份特征解耦网络的对抗损失Ladv如下式：
Figure FDA0003642359780000038
S33:人脸微表情图像样本xc输入至微表情-身份特征解耦网络中，微表情-身份特征解耦网络的表情分类模块对人脸微表情图像样本xc进行分类的交叉熵L1损失如下式：
Figure FDA0003642359780000041
式中，y为表情类别标签，L为表情类别标签总数，
Figure FDA0003642359780000042
为预测的人脸微表情特征
Figure FDA0003642359780000043
的表情类别分布；
S34:针对普通表情-身份特征解耦网络、微表情-身份特征解耦网络、鉴别器所构建的对抗网络模型，基于正则化法，引入损失不等正则化LLIR如下式：
LLIR＝max*L2-L1,0+
式中，L2为人脸普通表情图像样本yc分类的交叉熵损失；
S35:计算对抗网络模型的总体损失函数LSUM如下式：
LSUM＝L1+m1Ladv+m2LLIR
式中，m1、m2为超参数；
S36:使用属于相同表情类别的人脸普通表情图像样本、人脸微表情图像样本对抗网络模型进行训练，获得训练好的对抗网络模型。
6.根据权利要求2所述的一种基于特征解耦的微表情识别方法，其特征在于，特征提取模块的卷积神经网络包含至少一个卷积层，以及一个池化层，卷积层包括m1个k1×k1的卷积核，其中m1∈*64,128,256,512+，k1∈*3,5,7+，池化层包括k2×k2的池化核，其中k2∈*1,2,3+。
7.一种基于特征解耦的微表情识别方法的系统，其特征在于，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，针对待识别人脸微表情图像，执行如下步骤S1-步骤S4，完成待识别人脸微表情图像中人脸微表情的识别：
S1:采集不同人脸普通表情图像样本，以经过预处理的各人脸普通表情图像样本为输入，基于特征提取模块、表情重建模块、表情分类模块，以人脸普通表情图像样本对应的表情类别为输出，构建将各人脸普通表情图像样本的人脸表情特征和人脸身份特征分离开的普通表情-身份特征解耦网络，并采用不同人脸普通表情图像样本，结合预设对应的表情类别，对普通表情-身份特征解耦网络进行训练，获得训练好的普通表情-身份特征解耦网络；
S2:采集不同人脸微表情图像样本，以经过预处理的各人脸微表情图像样本为输入，以各人脸微表情图像样本对应的表情类别为输出，以训练好的普通表情-身份特征解耦网络作为初始模型，采用迁移学习方法，构建微表情-身份特征解耦网络，并采用不同人脸微表情图像样本，结合预设对应的表情类别，对微表情-身份特征解耦网络进行训练，获得训练好的微表情-身份特征解耦网络；
S3:基于步骤S1所获得的普通表情-身份特征解耦网络、步骤S2所获得的微表情-身份特征解耦网络，并结合鉴别器，采用对抗学习方法，获得对抗网络模型，并采用相同表情类别的人脸普通表情图像样本和人脸微表情图像样本，对对抗网络模型进行训练，获得训练好的对抗网络模型；
S4:以步骤S3所获得的对抗网络模型中的微表情-身份特征解耦网络作为微表情识别模型，针对待识别人脸图像，完成待识别人脸图像中人脸微表情的识别。
8.一种存储软件的计算机可读取介质，其特征在于，所述可读取介质包括能通过一个或多个计算机执行的指令，所述指令在被所述一个或多个计算机执行时，执行如所述权利要求1-6中任意一项所述一种基于特征解耦的微表情识别方法的操作。
CN202210522618.9A 2022-05-13 2022-05-13 一种基于特征解耦的微表情识别方法 Pending CN114937298A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210522618.9A CN114937298A (zh) 2022-05-13 2022-05-13 一种基于特征解耦的微表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210522618.9A CN114937298A (zh) 2022-05-13 2022-05-13 一种基于特征解耦的微表情识别方法

Publications (1)

Publication Number Publication Date
CN114937298A true CN114937298A (zh) 2022-08-23

Family

ID=82864340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210522618.9A Pending CN114937298A (zh) 2022-05-13 2022-05-13 一种基于特征解耦的微表情识别方法

Country Status (1)

Country Link
CN (1) CN114937298A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229214A (zh) * 2023-03-20 2023-06-06 北京百度网讯科技有限公司 模型训练方法、装置及电子设备
CN116994099A (zh) * 2023-09-28 2023-11-03 北京科技大学 特征解耦的少量样本预训练模型鲁棒性微调方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229214A (zh) * 2023-03-20 2023-06-06 北京百度网讯科技有限公司 模型训练方法、装置及电子设备
CN116229214B (zh) * 2023-03-20 2023-12-01 北京百度网讯科技有限公司 模型训练方法、装置及电子设备
CN116994099A (zh) * 2023-09-28 2023-11-03 北京科技大学 特征解耦的少量样本预训练模型鲁棒性微调方法及装置
CN116994099B (zh) * 2023-09-28 2023-12-22 北京科技大学 特征解耦的少量样本预训练模型鲁棒性微调方法及装置

Similar Documents

Publication Publication Date Title
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN109615582B (zh) 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN110532900B (zh) 基于U-Net和LS-CNN的人脸表情识别方法
CN111898736B (zh) 基于属性感知的高效行人重识别方法
CN109543603B (zh) 一种基于宏表情知识迁移的微表情识别方法
Salman et al. Classification of real and fake human faces using deep learning
CN113076994B (zh) 一种开集域自适应图像分类方法及系统
CN109255289B (zh) 一种基于统一式生成模型的跨衰老人脸识别方法
CN110188653A (zh) 基于局部特征聚合编码和长短期记忆网络的行为识别方法
CN114937298A (zh) 一种基于特征解耦的微表情识别方法
CN110175248B (zh) 一种基于深度学习和哈希编码的人脸图像检索方法和装置
CN112084891B (zh) 基于多模态特征与对抗学习的跨域人体动作识别方法
CN113537027B (zh) 基于面部划分的人脸深度伪造检测方法及系统
CN112395442A (zh) 移动互联网上的低俗图片自动识别与内容过滤方法
CN106096517A (zh) 一种基于低秩矩阵与特征脸的人脸识别方法
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN115410258A (zh) 基于注意力图像的人脸表情识别方法
CN113221655B (zh) 基于特征空间约束的人脸欺骗检测方法
Ajagbe et al. Performance investigation of two-stage detection techniques using traffic light detection dataset
CN114842524A (zh) 一种基于不规则显著性像素簇的人脸鉴伪方法
CN103942545A (zh) 一种基于双向压缩数据空间维度缩减的人脸识别方法和装置
Sakthimohan et al. Detection and Recognition of Face Using Deep Learning
CN114241564A (zh) 一种基于类间差异强化网络的人脸表情识别方法
CN112800979A (zh) 一种基于表征流嵌入网络的动态表情识别方法及系统
CN116311483B (zh) 基于局部面部区域重构和记忆对比学习的微表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination