CN114333027A - 基于联合和交替学习框架的跨域新类人脸表情识别方法 - Google Patents
基于联合和交替学习框架的跨域新类人脸表情识别方法 Download PDFInfo
- Publication number
- CN114333027A CN114333027A CN202111671593.0A CN202111671593A CN114333027A CN 114333027 A CN114333027 A CN 114333027A CN 202111671593 A CN202111671593 A CN 202111671593A CN 114333027 A CN114333027 A CN 114333027A
- Authority
- CN
- China
- Prior art keywords
- similarity
- branch
- emotion
- expression data
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 230000008921 facial expression Effects 0.000 title claims abstract description 28
- 230000014509 gene expression Effects 0.000 claims abstract description 115
- 230000008451 emotion Effects 0.000 claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000005259 measurement Methods 0.000 claims abstract description 26
- 150000001875 compounds Chemical class 0.000 claims abstract description 20
- 238000005070 sampling Methods 0.000 claims abstract description 15
- 239000002131 composite material Substances 0.000 claims abstract description 12
- 238000013145 classification model Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims description 28
- 238000012360 testing method Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 12
- 230000002996 emotional effect Effects 0.000 claims description 11
- 239000000126 substance Substances 0.000 claims description 10
- 241000282414 Homo sapiens Species 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000013459 approach Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000001667 episodic effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000251737 Raja Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了基于联合和交替学习框架的跨域新类人脸表情识别方法，包括：A、建立基本类表情数据集和复合类表情数据集；B、构建用于表情数据识别的情感‑相似度网络；C、对步骤B中的情感分支进行训练全部基本类表情数据的分类模型；D、对步骤B中的相似度分支进行学习表情数据可迁移的特征和度量；E、构建二阶段的联合和交替学习学习框架进行训练情感‑相似度网络，以提高模型对新类表情的泛化能力；F、在复合类表情数据集上采样N个类，使每类包含K个有标签样本作为支持集，每类Q个样本作为查询集，然后基于经训练的相似度分支对查询集进行新类表情分类准确率的计算；本方案是一种灵活且贴近实际需求的解决新类人脸表情识别问题的方案。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及基于联合和交替学习框架的跨域新类人脸表情识别方法。
背景技术
人脸表情，是人类传递情感信号的最直观、有效的方式之一。近年来，人脸表情识别已经成为计算机视觉及人工智能领域一个重要的研究方向，并广泛应用于安全驾驶、医疗监护、在线教育等多个实际场景中。
根据著名心理学家Ekman等人的研究，人脸表情可以划分为七个基本表情类别，即愤怒、惊讶、厌恶、恐惧、高兴、悲伤和中立。基于此，研究者们收集了一系列的基本类表情数据集(如CK+,OULU,MMI,RAF,SFEW等)，并对自动化的人脸表情识别展开了研究。早年的表情识别方法主要基于纹理、几何等手工特征，它们能在可控的室内表情数据集上表现良好，但在非受控的真实数据集上性能不理想。随着深度学习的发展，基于神经网络的特征提取方法成为主流，表情识别算法的关注点也逐渐从简单的室内数据集，转移到更具挑战性的室外数据集上。
然而，这些基本表情类别很难刻画真实表情世界的多样性。2014年Du等人(Du,S.；Tao,Y.；and Martinez,A.M.2014.Compound facial expressions ofemotion.Proceedings of the National Academy of Sciences,111(15):E1454–E1462.)通过组合基本表情类别提出复合表情，并将表情类别扩展到22类。另一些学者，基于情感轮盘理论和层级模型收集了细粒度的表情数据集，进一步对表情数据集的类别进行扩展。虽然基本类表情识别问题已经得到了大量关注，但对上述非基本的表情类别的研究相对较少。Khadija Slimani等人(Khadija Slimani,Khadija Lekdioui,Rochdi Messoussi,andRaja Touahni.2019.Compound facial expression recognition based on highwayCNN.In Proceedings of the New Challenges in Data Sciences:Acts of the SecondConference of the Moroccan Classification Society.1–7.)提出高速卷积网络，用可学习的参数代替残差网络的短接线来完成复合表情识别任务。Jianzhu Guo等人(JianzhuGuo,Shuai Zhou,Jinlin Wu,Jun Wan,Xiangyu Zhu,Zhen Lei,and Stan ZLi.2017.Multi-modality network with visual and geometrical information formicro emotion recognition.In2017 12th IEEE International Conference onAutomatic Face and Gesture Recognition.IEEE,814–819.)提出多模态的网络，同时利用视觉和几何特征来识别复合表情。然而，这些方法需要依赖大量的有标签的复合类表情数据集。相比于基本类表情数据，复合表情的标注成本更大，且通常需要心理学家的专业指导。因此，如何利用少量的有标签样本来进行新的复合表情的识别是一个重要且尚未解决的问题。
对于我们人类来说，基于对已见过的情感的认知，在面对未知情感时，只需要少量的观察就能判断一种新的未知的情感。这种基于少量新类有标签样本，快速泛化到新类的学习范式在计算机领域被称为小样本学习。尽管小样本学习在图像识别，目标检测等领域有广泛的研究，但在表情识别领域鲜有探索。本发明旨在解决小样本学习范式下的新的复合表情分类问题，以缓解现有复合表情分类模型需要预先收集大量的有标注的复合表情数据的压力。值得注意的是，相比于把一个复合表情数据集划分为基类(用于训练)和新类(用于测试)，本发明适用一种更加具有挑战性但实用的场合，即跨域小样本的设置，我们在易获得的多个基本表情数据集上训练模型，在新的复合表情数据集上进行测试。
目前，小样本学习的方法主要分为两类:基于迁移学习的方法和基于元学习的方法。基于迁移学习的方法旨在利用传统的批训练(Batch Training)的方式，在基类数据集上学习完整的分类模型，并利用少量有标签的新类样本，微调分类器来完成新类识别任务。由于特征提取的过程与新任务完全无关，此类算法在新类上的泛化性能有限。基于元学习的方法，主要依靠情景训练的方式(Episodic Training)，在训练和测试时构造相似的任务，利用任务之间的相似性，来实现知识从基类到新类的迁移。其中，最常见的是基于度量的方法，在基类上学习易于泛化的度量，并迁移至新类。本发明正是基于此类基线方法。
然而，不同于miniImageNet,Ominglot等常用的评价小样本学习算法的数据集，基本表情的类别有限。因此，在情景训练的过程中，每次采样任务高度重复，模型极易陷入对见过的任务的过拟合问题，现有的小样本学习的算法在新类表情识别任务上性能不尽人意。
发明内容
有鉴于此，本发明的目的在于提出一种基于联合和交替学习框架的跨域新类人脸表情识别方法，其利用情感分支来辅助相似度分支的学习，完成灵活、高精度的新类表情识别任务。
为了实现上述的技术目的，本发明所采用的技术方案为：
一种基于联合和交替学习框架的跨域新类人脸表情识别方法，其包括：
A、建立基本类表情数据集和复合类表情数据集，并对其进行数据预处理；
B、构建用于表情数据识别的情感-相似度网络，其包括情感分支和相似度分支，其中，情感分支用于捕获全部基本类表情数据的整体特征，相似度分支用于学习两个表情数据之间可迁移的度量信息，且基于所获得的度量完成新类人脸表情的识别；
C、对步骤B中的情感分支采用批训练的方式进行训练全部基本类表情数据的分类模型；
D、对步骤B中的相似度分支采用元学习中情景训练的方法进行学习表情数据可迁移的特征和度量；
E、构建二阶段的联合和交替学习学习框架进行训练情感-相似度网络，以提高模型对新类表情的泛化能力；
F、在复合类表情数据集上采样N个类，使每类包含K个有标签样本作为支持集(即构造N-way K-shot任务)，每类Q个样本作为查询集，然后基于经训练的相似度分支对查询集进行新类表情分类准确率的计算。
作为一种可能的实施方式，进一步，步骤A中，所述基本类表情数据集包括室内数据集和室外数据集，其中，室内数据集至少包括CK+数据集，MMI数据集和OULU数据集中的一种以上；室外数据集至少包括RAF数据集和SFEW数据集中的一种以上。
作为一种较优的选择实施方式，优选的，步骤A中，所述复合类表情数据集包括CFEE数据集和EmotioNet数据集。
作为一种较优的选择实施方式，优选的，步骤A中，所述基本类表情数据集和复合类表情数据集均先经过MTCNN进行人脸对齐，并裁剪变化到224*224后，作为模型的输入项。
作为一种较优的选择实施方式，优选的，步骤B中，所述情感分支包括基于ResNet18的情感特征提取器和分类器两部分；所述相似度分支包括基于ResNet18的相似度特征提取器和度量模块两部分。
作为一种较优的选择实施方式，优选的，步骤C中，对情感分支采用批训练的方式进行训练全部基本类表情数据的分类模型，其每次迭代从一个基本类表情数据集中采样出批数据{X,Y}，然后对于其中的一个样本xi，经过情感特征提取器Ee和分类器f的前向传播，得到预测结果
再计算预测结果
与真实标签y的交叉熵损失
以用于更新网络参数，该交叉熵损失
的公式如下：
其中，C为基本表情的类别数，指示函数
为1当且仅当c＝yi时成立。
作为一种较优的选择实施方式，优选的，步骤D中，对步骤B中的相似度分支采用元学习中情景训练的方法进行学习表情数据可迁移的特征和度量，其每次从一个基本类表情数据集中随机采样出N个类，每类采样出若干样本并划分为支持集
和查询集
其中，Xs,Ys,Xq,Yq分别表示支持集和查询集的样本和标签，由此构造了N-Way K-shot的小样本分类任务，K为支持集中每类样本的个数；
将支持集和查询集的样本分别经过相似度特征提取器Es的前向传播计算图像特征，由度量模块M计算支持集和查询集的样本距离，并将查询集样本分配给最近邻的支持集，其公式如下：
其中，
表示对于查询集样本的预测结果，M表示度量模块；
对相似度分支，计算预测结果
与真实标签yq的交叉熵损失
用于更新网络参数，其公式如下：
作为一种较优的选择实施方式，优选的，步骤E包括：
E1、对步骤C、步骤D训练过程的每一批/情景中，随机选一个源域进行采样；
E2、联合学习过程：采用多任务学习，联合训练情感分支和相似度分支，利用情感分支对相似度分支进行正则化规约，来防止模型对采样的高度重复的任务的过拟合，该过程的整体损失为；
其中，λemo为调节两者损失的平衡参数，
分别表示公式一、公式三中定义的情感分支和相似度分支的任务损失；
E3、交替学习过程：固定相似度分支的网络参数，用相似度特征提取器的输出特征，监督情感特征提取器的输出特征，这一过程损失函数定义如下：
其中，
为公式一中定义的情感分支自身任务的损失函数，
表示用于监督的正则项
的权重；
将情感分支和相似度分支进行角色互换，固定情感分支的网络参数，并用情感特征提取器的输出特征监督相似度特征提取器的输出特征，同理，该过程的损失函数定义如下:
其中，
为公式三中定义的相似度分支自身任务的损失函数，动态变化的权重
用于强调本身相似度分支任务的重要性。
作为一种较优的选择实施方式，优选的，步骤F中，利用经步骤E训练好的情感-相似度网络模型，在复合类表情数据集上采样N个类，使每类包含K个有标签样本作为支持集，每类Q个样本作为查询集，计算查询集的所有N*Q个样本的分类准确率作为当前任务的精度；
测试过程，利用在基本类表情数据集上训练得到的相似度分支，将采样的支持集和查询集样本分别送入相似度特征提取器，再通过度量模块，计算查询集的各样本与支持集的每类的距离，并将查询集样本分配给特征空间中与其最近邻的支持集的类别。
基于上述方法，本发明还提供一种计算机可读的存储介质，所述的存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述的至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行实现上述所述的基于联合和交替学习框架的跨域新类人脸表情识别方法。
采用上述的技术方案，本发明与现有技术相比，其具有的有益效果为：本方案提出了一种基于联合和交替学习框架的跨域新类人脸表情识别方法，其基于现有的基于度量的小样本基线方法，针对基本表情类别有限所导致的采样任务高度重复问题，提出灵活、高精度的新类人脸表情识别方法。本方案提出了双分支的情感-相似度网络，并构建二阶段的基于联合和交替学习框架的训练策略来训练模型，首先，在多任务的模式下，联合训练情感分支和相似度分支，在情感分支的约束下，能够有效防止相似度分支对重复采样的基类的过拟合问题；其次，本方案让两个分支交替学习，进一步提升相似度分支对未见过的新类的泛化能力。本方案在多个基本表情数据集上训练模型，只需要少量新类图片就能快速将现有信息泛化到未知域的新类表情上，在室内和室外复合表情数据集上都取得了具有竞争力的结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的整个实现流程图。
图2为本发明实施例的整个网络框架图。
具体实施方式
下面结合附图和实施例，对本发明作进一步的详细描述。特别指出的是，以下实施例仅用于说明本发明，但不对本发明的范围进行限定。同样的，以下实施例仅为本发明的部分实施例而非全部实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1或图2所示，本方案一种基于联合和交替学习框架的跨域新类人脸表情识别方法，包括：
A、准备基本类、复合类表情数据，分别用于训练和测试，并进行数据预处理；
本步骤使用的训练数据集为5个常见的基本表情数据集，其中包括三个室内数据集CK+,MMI，OULU，和两个室外数据集RAF,SFEW。室内数据集是在室内环境下拍摄获得的，具有可控的外界因素，如光照、姿态等。室外数据集指的是自然条件下收集的数据集，具有不可控的外界因素，其中RAF数据集是在互联网上下载获得的，SFEW数据集包含了从电影中截取出的视频片段。上述数据集大都带有基本类表情数据集标注，分别是愤怒、惊讶、厌恶、恐惧、高兴、悲伤和中立，CK+数据集具有额外的轻蔑类表情标注。
本步骤使用的测试数据集来自两个最新收集的复合表情数据集，CFEE和EmotioNet。其中，CFEE数据集为室内数据集，EmotioNet为室外表情数据集。不同于基本类表情数据集，他们有更加细粒度的表情信息标注，且与训练数据的类别不同。所有训练、测试图片都先经过MTCNN进行人脸对齐，并裁剪变化到224*224，作为模型的输入。训练时，图像会经过额外的随机翻转及颜色抖动(亮度、对比度、饱和度和色相的变化)，来进行数据增强，以丰富训练数据的多样性。
B、构建用于表情数据识别的情感-相似度网络(主网络)，其包括情感分支和相似度分支，其中，情感分支用于捕获全部基本类表情数据的整体特征，相似度分支用于学习两个表情数据之间可迁移的度量信息，且基于所获得的度量完成新类人脸表情的识别；
其中，情感分支用于捕获全部基本表情类别的整体特征，并作为正则化的手段来防止相似度分支对于高度重复的采样任务的过拟合。情感分支包括基于ResNet18的情感特征提取器和分类器两部分。
相似度分支用于学习两个表情图片之间可迁移的度量信息，并基于度量完成新类表情识别。其由基于ResNet18的相似度特征提取器和度量模块两部分组成。
C、对步骤B中的情感分支采用传统的批训练(Batch Training)方式进行训练全部基本类表情数据的分类模型。
具体的，本步骤中，每次迭代从一个数据集中采样出批数据{X,Y}，对于其中的一个样本xi，经过情感特征提取器Ee和分类器f的前向传播，得到预测结果
计算预测结果
与真实标签y的交叉熵损失
用于更新网络参数，其公式如下：
其中，C为基本表情的类别数。指示函数
为1当且仅当c＝yi时成立。
D、对步骤B中的相似度分支采用元学习中常见的情景训练(Episodic Training)方法进行学习表情数据可迁移的特征和度量。
具体的，本步骤每次从一个数据集中随机采样出N个类，每类采样出若干样本并划分为支持集
和查询集
其中Xs,Ys,Xq,Yq分别表示支持集和查询集的样本和标签，由此构造了N-Way K-shot的小样本分类任务，K为支持集中每类样本的个数。相似度分支的目的就是利用支持集的有限的有标签的样本信息来完成对查询集的分类任务。
将支持集和查询集的样本分别经过相似度特征提取器Es的前向传播计算图像特征，由度量模块M计算支持集和查询集的样本距离，并将查询集样本分配给最近邻的支持集。相应公式如下：
其中，
表示对于查询集样本的预测结果。M表示度量模块，目前已有的小样本的基线方法研究了如欧式距离，余弦距离，基于学习的多种度量模块形式。实验证明，本方法所提出的联合和交替学习框架能在新类表情识别问题上，有效提升上述基线方法的性能。
对相似度分支，计算预测结果
与真实标签yq的交叉熵损失
用于更新网络参数，其公式如下：
E、为了防止由基本表情类别有限，造成的相似度分支对重复采样任务的过拟合问题，构建二阶段的联合和交替学习学习框架进行训练情感-相似度网络，以提高模型对新类表情的泛化能力。本步骤E可以进一步包括以下子步骤：
E1、整体上，批训练/情景训练的方式都从多域进行采样，来增强训练资料(数据/元任务)的多样性，同时缓解训练源域和测试目标域之间的域差异性问题。即，在训练过程的每一批/情景中，随机选一个源域进行采样。
E2、训练的第一阶段为联合学习过程。采用多任务学习，联合训练情感分支和相似度分支。利用情感分支对相似度分支进行正则化规约，来防止模型对采样的高度重复的任务的过拟合，这个过程的整体损失为；
其中，λemo为调节两者损失的平衡参数，在本发明中固定为1，
分别表示公式一、三中定义的情感分支和相似度分支的任务损失。
E3、训练的第二阶段为交替学习过程。尽管在联合学习的过程中，情感分支能够对相似度分支起到正则化的作用，有效避免相似度分支对于高度重复采样任务的过拟合，但传统的批训练的方式也限制了相似度分支对于新类的泛化能力。考虑两分支的优势和局限性，一方面，情感分支能够掌握所有基本表情的特征信息，但对新类表情的泛化能力差；另一方面，相似度分支在情景训练模式下能够对新任务有较好的新类泛化能力，但由于采样任务的高度重复，模型容易对当前采样任务的子类别过拟合。基于我们人类能够在相互学习的过程中取长补短现象的观察。在此基础上，本发明进一步构建了交替学习的过程，具体如下：
首先，固定相似度分支的网络参数，用相似度特征提取器的输出特征，监督情感特征提取器的输出特征，这一过程损失函数定义如下：
其中，
为公式一中定义的情感分支自身任务的损失函数。
表示用于监督的正则项
的权重。特别的，我们采用权重下降的策略，让权重随着当前的情景数ne逐渐下降，来强调情感分支自身任务的重要性。在正则项的约束下，情感分支对于新类的泛化能力有所提升，从而更好的指导相似度分支的学习。
随后，两分支的角色互换，固定情感分支的网络参数，并用情感特征提取器的输出特征监督相似度特征提取器的输出特征。同理，这一过程的损失函数定义如下：
其中，
为公式三中定义的相似度分支自身任务的损失函数。动态变化的权重
用来强调本身相似度分支任务的重要性。经过若干轮交替学习的过程，两个分支互相学习，从而提升了模型对于未知新类表情的泛化能力。
F、在用于测试的复合表情数据集上采样N个类，每类包含K个有标签样本作为支持集(即构造N-way K-shot任务)，每类Q个样本作为查询集，基于训练好的相似度分支，对查询集样本进行新类表情分类准确率的计算。
本方案中，单个N-way K-shot任务称作元任务，一个元任务计算查询集的所有N*Q个样本的分类准确率作为当前任务的精度。测试过程，利用在基类表情上训练得到的相似度分支，将采样的支持集和查询集样本分别送入相似度特征提取器，再通过度量模块，计算查询集的各样本与支持集的每类的距离，并将查询集样本分配给特征空间中与其最近邻的支持集的类别。在本发明的验证实验中，定义随机采样的类别N＝5，评测K＝1、5时模型的性能，每个元任务取Q＝16，即共5*16＝80个查询样本进行分类。最后，取1000个元任务的准确率均值来评价本发明的性能。
测试对比
为了便于与其他小样本方法进行测试对比，本发明中验证了所构建的联合和交替学习框架，对于现有的各类基于度量的小样本基线方法上的有效性。所采用的度量模块，包括ProtoNet方法(Jake Snell,Kevin Swersky,and Richard S Zemel.2017.Prototypicalnetworks for few-shot learning.In NIPS.4077–4087.)使用的欧式距离；MatchingNet方法(Oriol Vinyals,Charles Blundell,Timothy Lillicrap,Koray Kavukcuoglu,andDaan Wierstra.2016.Matching networks for one shot learning.In NIPS.3630–3638.)使用的余弦距离；RelationNet方法(Flood Sung,Yongxin Yang,Li Zhang,TaoXiang,Philip HS Torr,and Timothy MHospedales.2018.Learning to compare:Relation network for few-shot learning.In CVPR.1199–1208)使用的基于卷积网络的度量模块，以及GNN方法(Victor Garcia and Joan Bruna.2018.Few-shot learning withgraph neural networks.In ICLR.)使用的基于图神经网络的度量模块，具体对比测试结果如表1所示：
表1本方案与其它小样本方法在CFEE,EmotioNet测试数据集上的准确率对比
其中，
ProtoNet对应Jake Snell等人提出的方法(Jake Snell,Kevin Swersky,andRichard S Zemel.2017.Prototypical networks for few-shot learning.InNeurIPS.4077–4087.)；
MatchingNet对应Oriol Vinyals等人提出的方法(Oriol Vinyals,CharlesBlundell,Timothy Lillicrap,Koray Kavukcuoglu,and Daan Wierstra.2016.Matchingnetworks for one shot learning.In NeurIPS.3630–3638.)；
RelationNet对应Flood Sung等人提出的方法(Flood Sung,Yongxin Yang,LiZhang,Tao Xiang,Philip HS Torr,and Timothy MHospedales.2018.Learning tocompare:Relation network for few-shot learning.In CVPR.1199–1208)；
GNN对应Victor Garcia等人提出的方法(Victor Garcia and JoanBruna.2018.Few-shot learning with graph neural networks.In ICLR.)；
InfoPatch对应Liu,C.等人提出的方法(Liu,C.；Fu,Y.；Xu,C.；Yang,S.；Li,J.；Wang,C.；and Zhang,L.2021.Learning a few-shot embedding model with contrastiveLearning.In AAAI,volume 35,8635–8643.)；
DKT对应Patacchiola,M等人提出的方法(Patacchiola,M.；Turner,J.；Crowley,E.J.；O’Boyle,M.；and Storkey,A.2020.Bayesian meta-learning for the few-shotsetting via deep kernels.In NeurIPS.)；
GNN+LFT对应Tseng,H.-Y等人提出的方法(Tseng,H.-Y.；Lee,H.-Y.；Huang,J.-B.；and Yang,M.-H.2020.Cross-domain few-shot classification via learnedfeature-wise transformation.In ICLR.)；
BASELINE,BASELINE++对应Chen,W.-Y等人提出的方法(Chen,W.-Y.；Liu,Y.-C.；Kira,Z.；Wang,Y.-C.F.；and Huang,J.-B.2019.A closer look at few-shotclassification.In 7th International Conference on Learning Representations.)；
Arcmax loss对应Afrasiyabi,A等人提出的方法(Afrasiyabi,A.；Lalonde,J.-F.；and Gagn′e,C.2020.Associative alignment for few-shot imageclassification.In ECCV,18–35.Springer.)；
PT+NCM对应Hu,Y等人提出的方法(Hu,Y.；Gripon,V.；and Pateux,S.2021.Leveraging the feature distribution in transfer-based few-shotlearning.In ICANN,volume 12892,487–499.)；
LR+DC对应Yang,S.等人提出的方法(Yang,S.；Liu,L.；and Xu,M.2021.Freelunch for fewshot learning:Distribution calibration.In ICLR.)；
本发明方案提出的方法(P)，本发明提出的方法(M)，本发明提出的方法(R)，本发明提出的方法(G)，分别表示本发明以ProtoNet,MatchingNet,RelationNet,GNN为基线方法的变体。
由上表可知，本方案可以有效将情感信息由基本类表情迁移到细粒度的复合类表情数据集上，其只需要少量有标签的新类表情数据，就能快速泛化且胜任未知新类的表情识别任务。该方案不仅在多个公开的数据集上都取得了良好的识别性能，同时相比于传统的监督学习，是一种更加灵活，且贴近实际需求的解决新类人脸表情识别问题的方案。
另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的部分实施例，并非因此限制本发明的保护范围，凡是利用本发明说明书及附图内容所作的等效装置或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于联合和交替学习框架的跨域新类人脸表情识别方法，其特征在于，包括：
A、建立基本类表情数据集和复合类表情数据集，并对其进行数据预处理；
B、构建用于表情数据识别的情感-相似度网络，其包括情感分支和相似度分支，其中，情感分支用于捕获全部基本类表情数据的整体特征，相似度分支用于学习两个表情数据之间可迁移的度量信息，且基于所获得的度量完成新类人脸表情的识别；
C、对步骤B中的情感分支采用批训练的方式进行训练全部基本类表情数据的分类模型；
D、对步骤B中的相似度分支采用元学习中情景训练的方法进行学习表情数据可迁移的特征和度量；
E、构建二阶段的联合和交替学习学习框架进行训练情感-相似度网络，以提高模型对新类表情的泛化能力；
F、在复合类表情数据集上采样N个类，使每类包含K个有标签样本作为支持集，每类Q个样本作为查询集，然后基于经训练的相似度分支对查询集进行新类表情分类准确率的计算。
2.如权利要求1所述的基于联合和交替学习框架的跨域新类人脸表情识别方法，其特征在于，步骤A中，所述基本类表情数据集包括室内数据集和室外数据集，其中，室内数据集至少包括CK+数据集，MMI数据集和OULU数据集中的一种以上；室外数据集至少包括RAF数据集和SFEW数据集中的一种以上。
3.如权利要求2所述的基于联合和交替学习框架的跨域新类人脸表情识别方法，其特征在于，步骤A中，所述复合类表情数据集包括CFEE数据集和EmotioNet数据集。
4.如权利要求3所述的基于联合和交替学习框架的跨域新类人脸表情识别方法，其特征在于，步骤A中，所述基本类表情数据集和复合类表情数据集均先经过MTCNN进行人脸对齐，并裁剪变化到224*224后，作为模型的输入项。
5.如权利要求1所述的基于联合和交替学习框架的跨域新类人脸表情识别方法，其特征在于，步骤B中，所述情感分支包括基于ResNet18的情感特征提取器和分类器两部分；所述相似度分支包括基于ResNet18的相似度特征提取器和度量模块两部分。
6.如权利要求5所述的基于联合和交替学习框架的跨域新类人脸表情识别方法，其特征在于，步骤C中，对情感分支采用批训练的方式进行训练全部基本类表情数据的分类模型，其每次迭代从一个基本类表情数据集中采样出批数据{X,Y}，然后对于其中的一个样本xi，经过情感特征提取器Ee和分类器f的前向传播，得到预测结果
再计算预测结果
与真实标签y的交叉熵损失
以用于更新网络参数，该交叉熵损失
的公式如下：
其中，C为基本表情的类别数，指示函数
为1当且仅当c＝yi时成立。
7.如权利要求5所述的基于联合和交替学习框架的跨域新类人脸表情识别方法，其特征在于，步骤D中，对步骤B中的相似度分支采用元学习中情景训练的方法进行学习表情数据可迁移的特征和度量，其每次从一个基本类表情数据集中随机采样出N个类，每类采样出若干样本并划分为支持集
和查询集
其中，Xs,Ys,Xq,Yq分别表示支持集和查询集的样本和标签，由此构造了N-Way K-shot的小样本分类任务，K为支持集中每类样本的个数；
将支持集和查询集的样本分别经过相似度特征提取器Es的前向传播计算图像特征，由度量模块M计算支持集和查询集的样本距离，并将查询集样本分配给最近邻的支持集，其公式如下：
其中，
表示对于查询集样本的预测结果，M表示度量模块；
对相似度分支，计算预测结果
与真实标签yq的交叉熵损失
用于更新网络参数，其公式如下：
8.如权利要求1所述的基于联合和交替学习框架的跨域新类人脸表情识别方法，其特征在于，步骤E包括：
E1、对步骤C、步骤D训练过程的每一批/情景中，随机选一个源域进行采样；
E2、联合学习过程：采用多任务学习，联合训练情感分支和相似度分支，利用情感分支对相似度分支进行正则化规约，来防止模型对采样的高度重复的任务的过拟合，该过程的整体损失为；
其中，λemo为调节两者损失的平衡参数，
分别表示公式一、公式三中定义的情感分支和相似度分支的任务损失；
E3、交替学习过程：固定相似度分支的网络参数，用相似度特征提取器的输出特征，监督情感特征提取器的输出特征，这一过程损失函数定义如下：
其中，
为公式一中定义的情感分支自身任务的损失函数，
表示用于监督的正则项
的权重；
将情感分支和相似度分支进行角色互换，固定情感分支的网络参数，并用情感特征提取器的输出特征监督相似度特征提取器的输出特征，同理，该过程的损失函数定义如下：
其中，
为公式三中定义的相似度分支自身任务的损失函数，动态变化的权重
用于强调本身相似度分支任务的重要性。
9.如权利要求1所述的基于联合和交替学习框架的跨域新类人脸表情识别方法，其特征在于，步骤F中，
利用经步骤E训练好的情感-相似度网络模型，在复合类表情数据集上采样N个类，使每类包含K个有标签样本作为支持集，每类Q个样本作为查询集，计算查询集的所有N*Q个样本的分类准确率作为当前任务的精度；
测试过程，利用在基本类表情数据集上训练得到的相似度分支，将采样的支持集和查询集样本分别送入相似度特征提取器，再通过度量模块，计算查询集的各样本与支持集的每类的距离，并将查询集样本分配给特征空间中与其最近邻的支持集的类别。
10.一种计算机可读的存储介质，其特征在于：所述的存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述的至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行实现如权利要求1至9之一所述的基于联合和交替学习框架的跨域新类人脸表情识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111671593.0A CN114333027B (zh) | 2021-12-31 | 2021-12-31 | 基于联合和交替学习框架的跨域新类人脸表情识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111671593.0A CN114333027B (zh) | 2021-12-31 | 2021-12-31 | 基于联合和交替学习框架的跨域新类人脸表情识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114333027A true CN114333027A (zh) | 2022-04-12 |
| CN114333027B CN114333027B (zh) | 2024-05-14 |
Family
ID=81021700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111671593.0A Active CN114333027B (zh) | 2021-12-31 | 2021-12-31 | 基于联合和交替学习框架的跨域新类人脸表情识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114333027B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114549938A (zh) * | 2022-04-25 | 2022-05-27 | 广州市玄武无线科技股份有限公司 | 模型训练方法、图像信息管理方法、图像识别方法及装置 |
| CN114782779A (zh) * | 2022-05-06 | 2022-07-22 | 兰州理工大学 | 基于特征分布迁移的小样本图像特征学习方法及装置 |
| CN114882578A (zh) * | 2022-07-12 | 2022-08-09 | 华中科技大学 | 一种多域对抗学习的小样本条件下复合表情识别方法 |
| CN114926877A (zh) * | 2022-05-10 | 2022-08-19 | 西北工业大学 | 一种基于对比域差异的跨域人脸表情识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764207A (zh) * | 2018-06-07 | 2018-11-06 | 厦门大学 | 一种基于多任务卷积神经网络的人脸表情识别方法 |
| US20200097757A1 (en) * | 2018-09-25 | 2020-03-26 | Nec Laboratories America, Inc. | Network reparameterization for new class categorization |
| CN111814713A (zh) * | 2020-07-15 | 2020-10-23 | 陕西科技大学 | 一种基于bn参数迁移学习的表情识别方法 |
| CN112613556A (zh) * | 2020-09-01 | 2021-04-06 | 电子科技大学 | 基于元学习的少样本图像情感分类方法 |
-
2021
- 2021-12-31 CN CN202111671593.0A patent/CN114333027B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764207A (zh) * | 2018-06-07 | 2018-11-06 | 厦门大学 | 一种基于多任务卷积神经网络的人脸表情识别方法 |
| US20200097757A1 (en) * | 2018-09-25 | 2020-03-26 | Nec Laboratories America, Inc. | Network reparameterization for new class categorization |
| CN111814713A (zh) * | 2020-07-15 | 2020-10-23 | 陕西科技大学 | 一种基于bn参数迁移学习的表情识别方法 |
| CN112613556A (zh) * | 2020-09-01 | 2021-04-06 | 电子科技大学 | 基于元学习的少样本图像情感分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李新叶;龙慎鹏;: "基于度量方式不可知的少量样本的一次性面部识别", 电脑编程技巧与维护, no. 01, 18 January 2020 (2020-01-18) * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114549938A (zh) * | 2022-04-25 | 2022-05-27 | 广州市玄武无线科技股份有限公司 | 模型训练方法、图像信息管理方法、图像识别方法及装置 |
| CN114782779A (zh) * | 2022-05-06 | 2022-07-22 | 兰州理工大学 | 基于特征分布迁移的小样本图像特征学习方法及装置 |
| CN114926877A (zh) * | 2022-05-10 | 2022-08-19 | 西北工业大学 | 一种基于对比域差异的跨域人脸表情识别方法 |
| CN114926877B (zh) * | 2022-05-10 | 2024-02-20 | 西北工业大学 | 一种基于对比域差异的跨域人脸表情识别方法 |
| CN114882578A (zh) * | 2022-07-12 | 2022-08-09 | 华中科技大学 | 一种多域对抗学习的小样本条件下复合表情识别方法 |
| CN114882578B (zh) * | 2022-07-12 | 2022-09-06 | 华中科技大学 | 一种多域对抗学习的小样本条件下复合表情识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114333027B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Challenge-aware RGBT tracking | |
| Kumar et al. | Videoflow: A conditional flow-based model for stochastic video generation | |
| Wang et al. | Intra-class feature variation distillation for semantic segmentation | |
| Luo et al. | Grouped spatial-temporal aggregation for efficient action recognition | |
| CN114333027A (zh) | 基于联合和交替学习框架的跨域新类人脸表情识别方法 | |
| Cui et al. | Efficient human motion prediction using temporal convolutional generative adversarial network | |
| CN110347932B (zh) | 一种基于深度学习的跨网络用户对齐方法 | |
| Zhao et al. | Adaptive feature fusion for visual object tracking | |
| Liang et al. | Review–a survey of learning from noisy labels | |
| CN113963165A (zh) | 一种基于自监督学习的小样本图像分类方法及系统 | |
| CN111405314B (zh) | 一种信息处理方法、装置、设备及存储介质 | |
| Lopez-Lopez et al. | Incremental learning from low-labelled stream data in open-set video face recognition | |
| CN113987196A (zh) | 一种基于知识图谱蒸馏的知识图谱嵌入压缩方法 | |
| Chen et al. | AFOD: Adaptive focused discriminative segmentation tracker | |
| Zhou et al. | SiamET: a Siamese based visual tracking network with enhanced templates | |
| Li et al. | Multiple convolutional features in Siamese networks for object tracking | |
| Huang et al. | Exploiting probabilistic siamese visual tracking with a conditional variational autoencoder | |
| Yang et al. | TGAN: A simple model update strategy for visual tracking via template-guidance attention network | |
| Song et al. | Meta transfer learning for adaptive vehicle tracking in UAV videos | |
| Li et al. | Multi-branch siamese networks with online selection for object tracking | |
| Oner et al. | An activity recognition application based on markov decision process through fish eye camera | |
| Hu et al. | Data-free dense depth distillation | |
| Kuai et al. | Multi-task hierarchical feature learning for real-time visual tracking | |
| Choiński et al. | Insect detection on high-resolution images using deep learning | |
| CN111898708A (zh) | 一种迁移学习方法和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |