CN112613556A - 基于元学习的少样本图像情感分类方法 - Google Patents

基于元学习的少样本图像情感分类方法 Download PDF

Info

Publication number
CN112613556A
CN112613556A CN202011536734.3A CN202011536734A CN112613556A CN 112613556 A CN112613556 A CN 112613556A CN 202011536734 A CN202011536734 A CN 202011536734A CN 112613556 A CN112613556 A CN 112613556A
Authority
CN
China
Prior art keywords
meta
training
emotion
task
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011536734.3A
Other languages
English (en)
Other versions
CN112613556B (zh
Inventor
周帆
曹丞泰
钟婷
王天亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Publication of CN112613556A publication Critical patent/CN112613556A/zh
Application granted granted Critical
Publication of CN112613556B publication Critical patent/CN112613556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于元学习的少样本图像情感分类方法，首先在源数据集上构建多个与目标数据集中具有情感标签信息的少样本图像类似的元学习任务，然后通过对这些元学习任务学习，得到一个良好的分类模型初始化参数，使得分类模型在面对少样本目标数据集中情感图像时能够取得较好的分类效果。本发明不仅可以大大缓解对标注数据的需要，而且基于元学习的方式也更加符合人类的学习方式(人类学习新任务都是基于已经学过任务去学习的)，可以使神经网络模型更加智能化。

Description

基于元学习的少样本图像情感分类方法
技术领域
本发明属于机器学习(Machine Learning)中的神经网络(Neural Networks，NN)领域，涉及基于深度学习的图像情感分类方法，尤其涉及基于元学习的少样本图像情感分类。
背景技术
一些心理学研究表明，人类的情绪反应会随着不同的视觉刺激而变化，尤其是，图片对于吸引人们的注意力和激励他们采取行动是非常重要的。先前的各种研究表明，对于某些消费者来说，在无法真实地触摸产品的情况下，图片可以导致对更高产品质量的感知，这使得这种视觉暗示显得尤为重要。在电子商务场景中，图片也会对买家意向、信任度、风险降低、转化率和点击率产生影响。在一些慈善募捐活动中，“捐款呼吁材料”中积极和消极情绪的结合会激发观众捐款。
受心理学和艺术理论的启发，各种与视觉内容的情感反应相关的人为设计的图像特征被识别并纳入图像情感分类任务，例如8种不同的像素级别的特征(颜色、纹理、构图等)，并且相关研究也证明了它们对于分析图像情感非常重要。另一方面，随着机器学习(特别是深度学习)的发展，卷积神经网络在图像的语义内容识别方面取得了巨大成功，因此也产生了使用各种深度表示模型来提取层次化的潜在特征的模型，以提高图像的情感预测能力。例如结合卷积神经网络和支持向量机(SupportVectorMachine，SVM)来检测大规模图像数据集上的图像的情感。
然而现有图像情感分类方法都需要大量的有情感标签。而在实际应用中，具有情感标签的图像的数量往往是有限的，因为要获得足够的具有情感标签的图像需要大量的人力物力。因此，从有限资源中学习一个好的模型成为一个亟待解决的挑战。尤其当将从源数据集中学习到的模型转移到一个未知目标数据集(目标数据集仅有少量的图像具有情感标签信息)时候，由于源数据集的数据分布和目标数据集的数据分布可能非常不同，这种情况将会导致目标数据集的图像情感分类效果更加不理想。
发明内容
针对目前用于图像情感的深度学习方法，难以基于有限资源实现学习的问题，本发明目的旨在提供一种基于元学习的图像情感分类方法，能够实现少样本图像情感分类。
本发明主要利用元学习(MetaLearning)构建一套学习方法，此方法可以和任何卷积神经网络(ConvolutionalNeuralNetworks，CNN)结合使用，使其具有少样本(Few-shotLearning，FSL)图像情感分类(ImageEmotionClassification，IEC)的能力。这里的少样本图像分类指的是在仅给出少量的来自新的情感类别图像的情况下(只需要这少量图像的情感类别标签信息)，对剩余的情感类别图像进行情感识别。使用少样本图像情感分类的模型可以大大减少对人工标注数据的需要(人工标注数据需要大量的人力物力资源)。
本发明的思路为利用元学习的方法从一组有情感标签的图像数据集中学习一个先验知识，并且这个先验知识可以很容易地推广到其他未知的图像情感数据集上，而且新的图像情感数据集不再需要耗费大量的人力物力资源去标注大量的图像，只需要对每个类标注少量的图像就能得到较好的分类效果。
基于上述发明思路，本发明提出的基于元学习的少样本图像情感分类方法，所使用的数据集包括用于元学习的元训练阶段的源数据集和用于目标图像情感分类的目标数据集，所述基于元学习的少样本图像情感分类方法包括以下步骤：
S1利用源数据集和目标数据集构建元训练任务和元测试任务
依据目标数据集中图像情感类别和图像数量，首先在源数据集随机采样与目标数据集中图像情感类别数量相同的图像情感类别；再在所有属于随机采样到的图像情感类别的图像样本中随机采样与目标数据集中具有情感标签信息的图像数量相同的图像样本，得到一个支持集；然后从所有属于随机采样到的图像情感类别的剩余图像样本中随机采样若干样本作为查询集；所述支持集和查询集构成在源数据集上采样出的一个少样本情感分类的元训练任务(Meta-trainingTasks)；
重复上述操作，即可获得多个元训练任务；
将对目标数据集的分类任务称为元测试任务(Meta-testingTasks)；
S2学习元训练任务
利用分类模型在随机采样出来的多个元训练任务上进行元学习，通过多个小批次的训练，优化分类模型初始化参数；
S3对目标数据集图像情感分类
利用学习到的分类模型应用到目标数据集，执行元测试任务；首先使用目标数据集中的带有情感标签信息的图像样本对分类模型初始化参数进行微调，再使用初始参数微调后的分类模型对目标数据集中剩余的图像进行情感分类。
上述基于元学习的少样本图像情感分类方法，本发明中针对的元测试任务为少样本图像集，即目标数据集中仅包含少量具有情感标签信息的图像样本。
上述基于元学习的少样本图像情感分类方法，元学习的元训练阶段需要大量与元测试任务(目标数据集上的分类任务)相似但不同的少样本元训练任务，以模拟目标数据集的少样本情况。因此，步骤S1的目的在于在元训练阶段，构建多个少样本元训练任务，以模拟和元测试任务一样的少样本分类场景。本步骤主要是通过随机采样来实现的。给定源数据集为Dtrain，目标数据集为Dtest。源数据集中的图像样本都属于图像情感类别集合Ctrain中的一个，而目标数据集中的图像样本属于图像图像情感类别集合Ctest，值得注意的一点是Ctrain和Ctest是两个不相交的集合，即目标数据集中的图像情感类别为全新的类别，并且目标数据集中每个图像情感类别仅有少量的几个样本具有情感标签信息。在少样本学习领域，目标数据集总的类别个数为N，每个类别具有情感标签信息的图像数为K，那么这个元测试任务为一个N-Way，K-Shot的任务。
则在源数据集上，具体的一次元训练任务随机采样过程如下：在源数据集Dtrain所属的类别集合Ctrain中随机采样N个类别，作为这个任务的总的类别；再在所有属于这N个类别的样本中随机采样N*K个图像样本作为这个任务的支持集(用于分类模型训练，为了与前面的Dtrain清楚地区分开来，这里称为支持集(SupportSet))。最后在属于这N个类别的剩余图像样本中随机采样P个图像样本作为这个任务的查询集(用于分类模型测试，为了与前面的Dtest清楚地区分开来，这里称为查询集(QuerySet))。至此，在源数据集上采样出了一个元训练任务。重复上述操作多次即可获得多个随机采样得到的元训练任务。随机采样出来的每个元训练任务都是一个少样本情感分类任务。
上述基于元学习的少样本图像情感分类方法，由于本发明提供的是一套通用的图像情感分类方法，对于分类模型没有任何的限定，其可以与任何卷积神经网络(例如GoogleNet，AlexNet，VGG，MldrNet和ResNet)一起使用。因此，这里不对分类模型的具体架构做过多赘述。
上述基于元学习的少样本图像情感分类方法，步骤S2的目的在于，利用分类模型对元训练任务通过多个小批次(Mini-Batch)的训练，学习到一个良好的分类模型初始化参数。这个初始化参数在面对未知的少样本图像情感分类任务的情况下可以快速地进行更新，从而得到一个较好的泛化表现，能够对剩余的未标注情感(即没有情感标签信息)的图像样本进行情感分类。
基于此，步骤S2包括以下分步骤：
S21将所有元训练任务分为L批次元训练阶段，并令l从l＝1开始；
S22对于第l批次元训练阶段，利用分类模型对该批次内的所有元训练任务进行学习，并使用梯度下降算法对分类模型初始化参数进行优化更新；
S23判断分类模型是否收敛，若模型收敛，进入步骤S3；否则进入步骤S24；
S24判断元训练阶段次数是否达到最大次数L，若达到最大次数L，则令l＝1，返回步骤S22；否则，将元训练阶段次数在l基础上增加1，返回步骤S22。
为了加快分类模型的收敛，本发明不是一次学习单个元训练任务，而是一次同时学习多个采样出来的元训练任务，这样的学习方式称为小批次(Mini-Batch)学习。为此，步骤S21中，将所有元训练任务分为L批次元训练阶段。
步骤S22中，对于第l批次元训练阶段，利用分类模型对该批次内的所有元训练任务进行学习，并使用梯度下降算法对分类模型初始化参数进行优化更新。由于本发明针对的是所有相似的少样本图像情感分类任务，需要好的初始化参数(这里定义为θ)，而不是某个只在特定任务Ti上表现良好更新之后得到的参数(这里定义为φi)。因此，本发明元学习的优化是在分类模型初始化参数θ上执行的，而优化的目标初始化参数θ是使用更新后的模型参数φi计算得到的，具体包括下分步骤：
S221利用分类模型fθ对第l批次元训练阶段所有元训练任务进行学习，分类模型fθ在第l批次元训练阶段第i个元训练任务上学习包括以下分步骤：
S2211对于第i个元训练任务Ti，这个元训练任务的支持集Si＝{(xi1，yi1)，(xi2，yi2)，…，(xij，yij)，…，(xiJ，yiJ)}，其中J为这个元训练任务支持集中的图像样本个数，即J＝N*K，xij为第i个元训练任务Ti中支持集的第j个图像样本，yij为这个图像样本的情感标签，j＝1,2,…,J。
将第i个元训练任务支持集输入到情感分类模型fθ中，然后计算分类模型fθ在这个元训练任务支持集上的损失(Loss)。本发明采用的是交叉熵损失函数，得到的分类模型fθ在第i个元训练任务支持集上学习的损失值为：
Figure BDA0002853725020000041
式中，表示fθ(xij)表示xij输入到分类模型后的模型输出值，θ表示初始化参数。
S2212使用梯度下降法得到这个元训练任务的中间参数φi:
Figure BDA0002853725020000042
式中，α1为给定的任务学习率；
S2213将第i个元训练任务查询集输入到分类模型
Figure BDA0002853725020000051
得到分类模型
Figure BDA0002853725020000052
在第i个元训练任务查询集上评估的损失值：
Figure BDA0002853725020000053
式中，Qi表示第i个元训练任务Ti的查询集；xip表示第i个元训练任务Ti中查询集的第p个图像样本，yip表示这个图像样本的情感标签，p＝1,2,…,P，P表示第i个元训练任务查询集中图像数量；
Figure BDA0002853725020000054
示xip输入到分类模型
Figure BDA0002853725020000055
后的模型输出值；
S222使用梯度下降法按照以下公式更新分类模型θ：
Figure BDA0002853725020000056
式中，α2为给定的任务学习率；i＝1,2,…,I，I表示第l批次元训练阶段所有元训练任务数量。
为了获得一个良好的初始化参数(即需要优化的参数是初始化参数θ)，本发明在元训练任务中优化分类模型初始化参数在当前元训练阶段所有元训练任务上的整体性能。因此，步骤S23中，分类模型收敛条件为得到满足以下优化目标函数的分类模型初始化参数θ：
Figure BDA0002853725020000057
因此，通过上述步骤S21～S24，使分类模型初始化参数θ在一次或少量的梯度下降更新后，能够对新的少样本图像情感分类性能达到最大化。
上述基于元学习的少样本图像情感分类方法，步骤S3的目的在于将上一步学习到的分类模型(参数为初始化参数θ)应用到目标数据集上，也即元测试任务。首先使用目标数据集中的少量的带有情感标签信息的图像样本对分类模型的初始化参数进行微调，并使用微调后的分类模型对剩余的大量未标注的图像进行情感分类。具体包括以下分步骤：
S31利用元测试任务目标数据集中带有标签信息的图像样本构建元测试任务Te的支持集Ste，同时利用剩余未标记的图像样本构建元测试任务Te的查询集Qte。
这里，目标数据集中带有标签信息的图像样本很少，因此可以将元测试任务(也就是对目标数据集的图像做情感分类)中的少量的带有标签信息的图像样本构建集合，定义为元测试任务(Te)的支持集Ste；再将剩余需要分类的大量的未标记的样本集合定义为元测试任务的查询集Qte。
下述步骤S32和S33用于实现对分类模型初始化参数的微调。微调的过程和元训练时候在单一元训练任务上的更新方法类似。
S32利用步骤S2元训练任务学习后的分类模型fθ对支持集Ste进行预测，将预测值与真实标签进行对比，得到预测损失值
Figure BDA0002853725020000061
Figure BDA0002853725020000062
式中，xem为元测试任务Te中支持集的第m个图像，yem为该图像的情感标签,m＝1,2,…,M，M表示元测试任务支持集中图像数量；fθ(xem)表示xem输入到分类模型fθ后的模型输出值；
S33使用梯度下降对分类模型fθ初始化参数进行微调，公式如下：
Figure BDA0002853725020000063
式中，φe表示微调后的参数。
S34利用初始化参数微调后的分类模型
Figure BDA0002853725020000064
对元测试任务查询集中的图像样本进行情感分类。
这里为了清晰，只给出了一步梯度下降的更新。在实际操作中，可以对上述步骤S32～S33进行重复迭代，实现多步的梯度更新；具体的更新步数，可以根据在元测试任务的查询集Qte上的表现来决定，当更多的梯度下降不会带来性能的改进，甚至由于过拟合性能下降的时候，则微调过程应该终止。最后，使用微调之后的模型
Figure BDA0002853725020000065
去对剩余的来自未知的大量未标记的图片Qte进行分类预测。通过上述方法得到的分类模型表现的好坏也可以通过分类模型在Qte上的分类准确率来进行评估。
至此，本发明得到了一种基于元学习的可以用于少样本情感图像分类的方法框架，需要申明的一点是，这里的框架不对使用的神经网络做任何的限制，因此可以与任何神经网络结合使用，由于在与图像相关的问题上，卷积神经网络表现良好，因此，可以将此框架与卷积神经网络结合在一起使用。
与现有技术相比，本发明具有以下有益效果：
1、本发明基于元学习，提出了一套可用于少样本图像情感分类的方法，首先在源数据集上构建多个与目标数据集中具有情感标签信息的少样本图像类似的元学习任务，然后通过对这些元学习任务学习，得到一个良好的分类模型初始化参数，使得分类模型在面对少样本目标数据集中情感图像时能够取得较好的分类效果。
2、本发明对于分类模型初始化参数的优化是基于同时对多个元训练任务的整体学习性能，再通过多个小批次元训练阶段的学习，能够使得到的分类模型对具有少量情感标签的图像快速泛化，从而对来自未知情感类别的图像进行较为准确的分类，从而有助于为电子商务场景提供更有价值的情感图像。
3、本发明学习到的分类模型初始化参数在应用到目标数据集时，先通过目标数据集中少量具有情感标签的图像样本对初始化参数进行微调，这样能够更好的适用于目标数据集图像情感分类，提高情感图像分类的准确性。
4、本发明提出的少样本图像情感分类的方法，可以大大缓解对标注数据的需要，从而减少人力物力成本。
5、本发明提出了一个新的图像情感分类问题，即要求在仅给出少量的来自新的情感类别的图像的情况下(只需要这些少量图片的情感类别标签信息)，对剩余的来自新的情感类别的图像进行情感识别；这一问题的研究可以帮助减少标注数据的需要；另外元学习的方法也更加符合人类的学习方式(人类学习新任务都是基于已经学过任务去学习的)，从而可以使神经网络模型更加智能化。
附图说明
图1为本发明基于元学习的少样本图像情感分类方法的简要原理示意图，包括元训练和元测试两个阶段，元训练任务中的情感类别与元测试任务中的情感类别不同并且每个任务都是一个少样本的图像情感分类任务。
图2为本发明基于元学习的少样本图像情感分类方法的流程图。
图3为本发明学习元训练任务流程示意图。
图4为本发明所使用的分类模型初始化参数微调时，分类模型准确率和梯度下降次数之间的关系。
图5为本发明实施例中各种分类模型的准确率与每个情感类别的标签样本数量之间的关系。
术语解释
MetaLearning表示“元学习”；元学习的思想是利用之前学习过的任务帮助学习新的任务。因此需要元训练在之前的任务中学习一个先验知识(在本发明中即分类模型的初始化参数)，然后利用这个先验知识来帮助学习新的元测试任务。
CNN是ConvolutionalNeuralNetworks的缩写，表示“卷积神经网络”，旨在利用卷积操作从图像、文本等数据中提取出特征，然后利用提取到的特征完成相关的任务。
FSL是Few-shotLearning的缩写，表示“少样本学习”，即只有少量的带有标注信息的数据可以使用，由于传统的深度学习模型需要大量的样本来学习参数，因此少样本学习是深度学习亟待解决的一个挑战；在元学习的问题设置下，仅要求元测试任务是一个少样本学习任务即可。
IEC是ImageEmotionClassification的缩写，表示“情感图像分类”；图像是情感的一种载体，因此需要对图像所表达的情感进行识别分类。
具体实施方式
结合附图对本发明做进一步描述。
实施例
本实施例利用三个不同的真实数据集(ArtPhoto数据集、Flickr-Instagram(F-I)数据集以及GAPED数据集，第一个数据来源见参考文献【Machajdik,J.,Hanbury,A.,2010.Affective image classification usingfeatures inspired by psychology andart theory,in:Proceedings ofthe ACMinternational conference on Multimedia(MM),ACM.pp.83–92.】，第二个数据来源参考文献【You,Q.,Luo,J.,Jin,H.,Yang,J.,2016.Building a large scale datasetfor image emotion recognition:The fineprint and the benchmark,in:Proceedings of the AAAI Conference on ArtificialIntelligence,pp.308–314.】，第三个数据来源参考文献【Dan-Glauser,E.S.,Scherer,K.R.,2011.The geneva affective picturedatabase(gaped):a new 730-picturedatabase focusing on valenceand normative significance.Behavior researchmethods 43,468.】)对本发明提供的基于元学习的少样本图像情感分类方法进行详细解释。ArtPhoto数据集和F-I数据集都是以快乐或者悲伤等更加细粒度的八种情感作为情感类别，而GAPED数据集则是以消极和积极这两个粗粒度的情感作为情感类别，因此源数据集和目标数据集中的情感类别不同。
本实施例将ArtPhoto数据集和F-I数据集作为源数据集Dtrain，源数据集中的图像样本都属于图像情感类别集合Ctrain(包含快乐和悲伤两个情感类别)中的一个。将GAPED数据集作为目标数据集Dtest,GAPED数据集中的图像样本属于图像情感类别Ctest(包含消极和积极两个情感类别，即N＝2)，并且只给出GAPED数据集上每个情感类别少量样本的标签信息，具体给出了以下几种情况：(1)每个情感类别仅给出一个样本有标签信息(1-shot)(即K＝1)，(2)每个情感类别仅给出两个样本有标签信息(2-shot)(即K＝2)，(3)每个情感类别仅给出三个样本有标签信息(3-shot)(即K＝3)，(4)每个情感类别仅给出四个样本有标签信息(4-shot)(即K＝4)，(5)每个情感类别仅给出五个样本有标签信息(5-shot)(即K＝5)。因此，针对于目标数据集中每种少量样本情况，其相应的元测试任务为一个N-Way，K-Shot的任务。
本实施例使用分类模型为两种卷积神经网络：MldrNet和ResNet，形成了两个实例Meta-MldrNet和Meta-ResNet。
结合图1及图2所示，本实施例提供的基于元学习的少样本图像情感分类方法包括以下步骤：
S1利用源数据集和目标数据集构建元训练任务和元测试任务
在源数据集上构建多个元训练任务。具体的一次元训练任务随机采样过程如下：在源数据集Dtrain所属的类别集合Ctrain中随机采样N＝2个类别，作为这个任务的总的类别；再在所有属于这N个类别的样本中随机采样N*K个图像样本作为这个任务的支持集(SupportSet)；例如，对于GAPED数据集上每个情感类别只给出3个图像带有情感标签信息，则这里支持集中图像数量即为2*3＝6，即从所有属于这N个类别的样本中随机采样6个图像样本构建支持集。最后在属于这N个类别的剩余图像样本中随机采样P＝50个图像样本作为这个任务的查询集(Query Set)。至此，在源数据集上采样出了一个元训练任务。
本实施例重复上述操作100000次即可获得100000个随机采样得到的元训练任务。随机采样出来的每个元训练任务都是一个少样本情感分类任务。
S2学习元训练任务
利用分类模型在随机采样出来的多个元训练任务上进行元学习，通过多个小批次的训练，优化分类模型初始化参数。如图3所示，该步骤包括以下分步骤：
S21将所有元训练任务分为L批次元训练阶段，并令l从l＝1开始。
本实施例中将100000个随机采样得到的元训练任务分为L＝10000个批次，每个批次包含I＝10个元训练任务。
S22对于第l(l＝1,2,…,L)批次元训练阶段，利用分类模型对该批次内的所有元训练任务进行学习，并使用梯度下降算法对分类模型初始化参数进行优化更新，具体包括下分步骤：
S221利用分类模型fθ对第l批次元训练阶段所有元训练任务进行学习，分类模型fθ在第l批次元训练阶段第i个元训练任务(i＝1,2,…,I，I表示第l批次元训练阶段所有元训练任务数量)上学习包括以下分步骤：
S2211对于第i个元训练任务Ti，这个元训练任务的支持集Si＝{(xi1，yi1)，(xi2,yi2),…,(xij,yij),…,(xiJ,yiJ)}，其中J为这个元训练任务支持集中的图像样本个数，即J＝N*K,xij为第i个元训练任务Ti中支持集的第j个图像样本，yij为这个图像样本的情感标签，j＝1,2,…,J。
将第i个元训练任务支持集输入到情感分类模型fθ中，然后计算分类模型fθ在这个元训练任务支持集上的损失值：
Figure BDA0002853725020000101
式中，表示fθ(xij)表示xij输入到分类模型后的模型输出值，θ表示初始化参数。
S2212使用梯度下降法得到这个元训练任务的中间参数φi:
Figure BDA0002853725020000102
式中，α1为给定的任务学习率，本实施例中对于Meta-MldrNet，α1＝0.1；对于Meta-ResNet，α1＝0.15。
S2213将第i个元训练任务查询集输入到分类模型
Figure BDA0002853725020000103
得到分类模型
Figure BDA0002853725020000104
在第i个元训练任务查询集上评估的损失值：
Figure BDA0002853725020000105
式中，Qi表示第i个元训练任务Ti的查询集；xip表示第i个元训练任务Ti中查询集的第p个图像样本，yip表示这个图像样本的情感标签，p＝1,2,…,P，P表示第i个元训练任务查询集中图像数量；
Figure BDA0002853725020000106
示xip输入到分类模型
Figure BDA0002853725020000107
后的模型输出值。
S222使用梯度下降法按照以下公式更新分类模型θ：
Figure BDA0002853725020000108
式中，α2为给定的任务学习率，本实施例中对于Meta-MldrNet，α2＝0.005；对于Meta-ResNet，α2＝0.008。
S23判断分类模型是否收敛，若模型收敛，进入步骤S3；否则进入步骤S24。
本步骤中，分类模型收敛条件为得到满足以下优化目标函数的分类模型初始化参数θ：
Figure BDA0002853725020000109
当目标函数达到最小值时，表示分类模型已经收敛；否则进入步骤S24。
S24判断元训练阶段次数是否达到最大次数L，若达到最大次数L，则令l＝1，返回步骤S22；否则，将元训练阶段次数在l基础上增加1，返回步骤S22。
本步骤是为了进行下一元训练阶段，若已经是最后一个批次的元训练阶段，则l＝1，重新开始对分类模型进行训练；若没有到达最后一个批次的元训练阶段，则在l基础上增加1，进入对下一批次元训练任务的学习阶段。值得注意的是，本实施例中，各批次之间是相迭代的，即当前批次训练得到的初始化参数直接用于下一批次训练。
因此，重复上述步骤S22，对L批次元训练阶段进行迭代，使分类模型初始化参数θ在一次或少量的梯度下降更新后，得到使目标函数最小的初始化参数θ。
S3对目标数据集图像情感分类
利用学习到的分类模型应用到目标数据集，执行元测试任务，具体包括以下分步骤：
S31利用元测试任务目标数据集中带有标签信息的图像样本构建元测试任务Te的支持集Ste，同时利用剩余未标记的图像样本构建元测试任务Te的查询集Qte。
这里，依据前面GAPED数据集上给出的每个类别有情感标签的图像样本情况，将这些少量的带有标签信息的图像样本构建集合，定义为元测试任务(Te)的支持集Ste；再将剩余需要分类的大量的未标记的图像样本集合定义为元测试任务的查询集Qte。
S32利用步骤S2元训练任务学习后的分类模型fθ对支持集Ste进行预测，将预测值与真实标签进行对比，得到预测损失值
Figure BDA0002853725020000111
Figure BDA0002853725020000112
式中，xem为元测试任务Te中支持集的第m个图像，yem为该图像的情感标签,m＝1,2,…,M，M表示元测试任务支持集中图像数量；fθ(xem)表示xem输入到分类模型fθ后的模型输出值；
S33使用梯度下降对分类模型fθ初始化参数进行微调，公式如下：
Figure BDA0002853725020000113
式中，φe表示微调后的参数。
S34利用初始化参数微调后的分类模型
Figure BDA0002853725020000114
对元测试任务查询集中的图像样本进行情感分类。
以Meta-MldrNet为例，使用初始化参数微调后的分类模型
Figure BDA0002853725020000115
对元测试任务查询集中的图像样本进行情感分类。再依据分类结果及相应的真实标签，便可得到通过上述少样本图像情感分类方法的准确率。
进一步地，使用步骤S2训练好的分类模型，重复上述步骤S32～S33，对初始化参数进行5次迭代微调。利用每次初始化参数微调后的分类模型
Figure BDA0002853725020000121
对元测试任务查询集中的图像样本进行情感分类。可得到情感图像分类准确率随迭代次数(即梯度下降次数)的变化情况，如图4所示。从图4可以看出，随着迭代次数的增加，情感图像分类准确率逐步上升，并趋于平衡。
为了进一步显示本发明提供的基于元学习的少样本图像情感分类方法的准确性。进一步使用八种基线方法(Machajdik、Zhao、Rao、AlexNet、AlexNet+SVM、ResNet、MldrNet以及Zhu)分别在上述三个数据上进行少样本图像情感分类任务，其中只给出GAPED数据集上每个情感类别少量样本的标签信息，(1)每个情感类别仅给出一个样本有标签信息(1-shot)(即K＝1)，(2)每个情感类别仅给出两个样本有标签信息(2-shot)(即K＝2)，(3)每个情感类别仅给出三个样本有标签信息(3-shot)(即K＝3)，(4)每个情感类别仅给出四个样本有标签信息(4-shot)(即K＝4)，(5)每个情感类别仅给出五个样本有标签信息(5-shot)(即K＝5)。
Machajdik：基于特征工程的方法探索心理学和艺术理论，以提取特定于艺术品领域的特征,其实现过程参考文献【Machajdik,J.,Hanbury,A.,2010.Affective imageclassification usingfeatures inspired by psychology and art theory,in:Proceedings ofthe ACM international conference on Multimedia(MM),ACM.pp.83–92.】。
Zhao：运用了以艺术为基础的情感特征的原则，是不同原则所衍生的表现特征的统一组合,其实现过程参考文献【Zhao,S.,Gao,Y.,Jiang,X.,Yao,H.,Chua,T.S.,Sun,X.,2014.Exploring principles-of-art features for image emotion recognition,in:Proceedings of the ACM international conference on Multimedia(MM),ACM.pp.47–56.】。
Rao：利用了从不同图像块中提取的手工制作的多层次特征,其实现过程参考文献【Rao,T.,Xu,M.,Liu,H.,Wang,J.,Burnett,I.,2016b.Multi-scaleblocks based imageemotion classification using multiple instancelearning,in:InternationalConference on Image Processing(ICIP),IEEE.pp.634–638.】。
AlexNet：它基于ImageNet对AlexNet进行预训练，并使用目标数据集GAPED数据集中带有情感标签的图像对模型进行微调，其实现过程参考文献【Krizhevsky,A.,Sutskever,I.,Hinton,G.E.,2012.Imagenetclassificationwith deep convolutionalneural networks,in:Advances inneural information processing systems,pp.1097–1105.】。
AlexNet+SVM：利用AlexNet提取情感相关的深层特征，通过SVM进行分类，其实现过程参考文献【You,Q.,Luo,J.,Jin,H.,Yang,J.,2016.Building a large scaledatasetfor image emotion recognition:The fine print and the benchmark,in:Proceedings of the AAAI Conference on Artificial Intelligence,pp.308–314.】。
ResNet：它基于ImageNet对ResNet进行预训练，并使用目标数据集GAPED数据集中带有情感标签的图像对模型进行微调，其实现过程参考文献【He,K.,Zhang,X.,Ren,S.,Sun,J.,2016.Deep residual learningfor image recognition,in:Proceedings of theIEEE conference oncomputer vision and pattern recognition(CVPR),pp.770–778.】。
MldrNet：它利用从不同卷积块提取的多个层次的特征，其实现过程参考文献【Rao,T.,Li,X.,Xu,M.,2016a.Learning multi-level deep representationsfor imageemotion classification.Neural Processing Letters,1–19.】。
Zhu：采用统一的CNN-RNN架构进行视觉情感识别，其实现过程参考文献【Zhu,X.,Li,L.,Zhang,W.,Rao,T.,Xu,M.,Huang,Q.,Xu,D.,2017.Dependency exploitation:Aunified cnn-rnn approach for visualemotion recognition,in:Proceedings of theInternational JointConference on Artificial Intelligence(IJCAI),pp.3595–3601.】。
对应GAPED数据集上每个情感类别具有一个样本有标签信息(1-shot)和每个情感类别仅给出三个样本有标签信息(3-shot)的两种情况，各种分类模型的图像情感分类效果见表1未加粗字体部分。使用本发明提出的基于元学习的可用于少样本图像情感分类方法进行少样本图像情感分类效果见表1中粗体部分。
表1：在应用例数据集上进行少样本情感分类的效果
Figure BDA0002853725020000131
Figure BDA0002853725020000141
各种分类模型的准确率随着GAPED数据集上每个情感类别中具有标签信息的图像样本数量的增加的变化关系如图5所示。
使用图像情感分类准确率作为我们的评价指标(值越高，模型方法越好)。从表1的实验结果结合图5可以看出，本实施例提出的基于元学习的可用于少样本图像情感分类方法可以大幅度提高少样本图像情感分类的准确性，其分类准确率都高于其他常规分类模型。
由此可知，本发明基于元学习来进行少样本图像情感分类，首先在源数据集上通过随机采样构建大量元训练任务，并在这些元训练任务上学习到了一个良好的初始化参数，这个初始化参数在面对目标域的少样本图像情感分类任务的时候，只需要利用少量的带情感标签的图像样本去微调初始化参数，便可获得良好的表现，对剩余的大量未标记样本的情感做出较为准确的分类。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (6)

1.一种基于元学习的少样本图像情感分类方法，其特征在于所使用的数据集包括用于元学习的元训练阶段的源数据集和用于目标图像情感分类的目标数据集，所述基于元学习的少样本图像情感分类方法包括以下步骤：
S1利用源数据集和目标数据集构建元训练任务和元测试任务
依据目标数据集中图像情感类别和图像数量，首先在源数据集随机采样与目标数据集中图像情感类别数量相同的图像情感类别；再在所有属于随机采样到的图像情感类别的图像样本中随机采样与目标数据集中具有情感标签信息的图像数量相同的图像样本，得到一个支持集；然后从所有属于随机采样到的图像情感类别的剩余图像样本中随机采样若干样本作为查询集；所述支持集和查询集构成即为在源数据集上采样出的一个少样本情感分类的元训练任务；
重复上述操作，即可获得多个元训练任务；
将对目标数据集的分类任务称为元测试任务；
S2学习元训练任务
利用分类模型在随机采样出来的多个元训练任务上进行元学习，通过多个小批次的训练，优化分类模型初始化参数；
S3对目标数据集图像情感分类
利用学习到的分类模型应用到目标数据集，执行元测试任务；首先使用目标数据集中的带有情感标签信息的图像样本对分类模型初始化参数进行微调，再使用初始参数微调后的分类模型对目标数据集中剩余的图像进行情感分类。
2.根据权利要求1所述基于元学习的少样本图像情感分类方法，其特征在于步骤S1中，给定源数据集为Dtrain，目标数据集为Dtest，目标数据集上的元测试任务是一个N-Way，K-Shot的分类任务，N表示目标数据集总的类别个数，K表示每个类别具有情感标签信息的图像数；具体的一次随机采样过程如下：在源数据集Dtrain所属的类别集合Ctrain中随机采样N个类别，作为这个任务的总的类别；再在所有属于这N个类别的样本中随机采样N*K个图像样本作为这个任务的支持集；最后在属于这N个类别的剩余图像样本中随机采样P个图像样本作为这个任务的查询集；至此，在源数据集上采样出了一个元训练任务；重复上述操作多次即可获得多个随机采样得到的元训练任务。
3.根据权利要求1或2所述基于元学习的少样本图像情感分类方法，其特征在于步骤S2包括以下分步骤：
S21将所有元训练任务分为L批次元训练阶段，并令l从l＝1开始；
S22对于第l批次元训练阶段，利用分类模型对该批次内的所有元训练任务进行学习，并使用梯度下降算法对分类模型初始化参数进行优化更新；
S23判断分类模型是否收敛，若模型收敛，进入步骤S3；否则进入步骤S24；
S24判断元训练阶段次数是否达到最大次数L，若达到最大次数L，则令l＝1，返回步骤S22；否则，将元训练阶段次数在l基础上增加1，返回步骤S22。
4.根据权利要求3所述基于元学习的少样本图像情感分类方法，其特征在于步骤S22包括以下分步骤：
S221利用分类模型fθ对第l批次元训练阶段所有元训练任务进行学习，分类模型fθ在第l批次元训练阶段第i个元训练任务上学习包括以下分步骤：
S2211将第i个元训练任务支持集输入到分类模型fθ中，得到分类模型fθ在第i个元训练任务支持集上学习的损失值为：
Figure FDA0002853725010000021
式中，Si表示第i个元训练任务Ti的支持集；xij表示第i个元训练任务Ti中支持集的第j个图像样本，yij表示这个图像样本的情感标签，j＝1，2，...，J，J表示第i个元训练任务支持集中图像数量；fθ(xij)表示xij输入到分类模型后的模型输出值，θ表示初始化参数；
S2212使用梯度下降法得到这个元训练任务的中间参数φi：
Figure FDA0002853725010000022
式中，α1为给定的任务学习率；
S2213将第i个元训练任务查询集输入到分类模型
Figure FDA0002853725010000023
得到分类模型
Figure FDA0002853725010000024
在第i个元训练任务查询集上评估的损失值：
Figure FDA0002853725010000025
式中，Qi表示第i个元训练任务Ti的查询集；xip表示第i个元训练任务Ti中查询集的第p个图像样本，yip表示这个图像样本的情感标签，p＝1，2，...，P，P表示第i个元训练任务查询集中图像数量；
Figure FDA0002853725010000026
表示xip输入到分类模型
Figure FDA0002853725010000027
后的模型输出值；
S222使用梯度下降法按照以下公式更新分类模型θ：
Figure FDA0002853725010000031
式中，α2为给定的任务学习率；i＝1，2，...，I，I表示第l批次元训练阶段所有元训练任务数量。
5.根据权利要求4所述基于元学习的少样本图像情感分类方法，其特征在于步骤S23中，分类模型收敛条件为得到满足以下优化目标函数的分类模型初始化参数θ：
Figure FDA0002853725010000032
6.根据权利要求3所述基于元学习的少样本图像情感分类方法，其特征在于步骤S3包括以下分步骤：
S31利用元测试任务目标数据集中带有标签信息的图像样本构建元测试任务Te的支持集Ste，同时利用剩余未标记的图像样本构建元测试任务Te的查询集Qte；
S32利用步骤S2元训练任务学习后的分类模型fθ对支持集Ste进行预测，将预测值与真实标签进行对比，得到预测损失值
Figure FDA0002853725010000033
Figure FDA0002853725010000034
式中，xem为元测试任务Te中支持集的第m个图像，yem为该图像的情感标签，m＝1，2，...，M，M表示元测试任务支持集中图像数量；fθ(xem)表示xem输入到分类模型fθ后的模型输出值；
S33使用梯度下降对分类模型fθ初始化参数进行微调，公式如下：
Figure FDA0002853725010000035
式中，φe表示微调后的参数；
S34利用初始化参数微调后的分类模型
Figure FDA0002853725010000036
对元测试任务查询集中的图像样本进行情感分类。
CN202011536734.3A 2020-09-01 2020-12-23 基于元学习的少样本图像情感分类方法 Active CN112613556B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2020109049305 2020-09-01
CN202010904930 2020-09-01

Publications (2)

Publication Number Publication Date
CN112613556A true CN112613556A (zh) 2021-04-06
CN112613556B CN112613556B (zh) 2022-04-19

Family

ID=75244890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011536734.3A Active CN112613556B (zh) 2020-09-01 2020-12-23 基于元学习的少样本图像情感分类方法

Country Status (1)

Country Link
CN (1) CN112613556B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377990A (zh) * 2021-06-09 2021-09-10 电子科技大学 基于元自步学习的视频/图片-文本跨模态匹配训练方法
CN113392642A (zh) * 2021-06-04 2021-09-14 北京师范大学 一种基于元学习的育人案例自动标注系统及方法
CN113705215A (zh) * 2021-08-27 2021-11-26 南京大学 一种基于元学习的大规模多标签文本分类方法
CN113724197A (zh) * 2021-07-26 2021-11-30 南京邮电大学 基于元学习的螺纹旋合性判定方法
CN113947133A (zh) * 2021-09-17 2022-01-18 哈尔滨工业大学 小样本图像识别的任务重要性感知元学习方法
CN114333027A (zh) * 2021-12-31 2022-04-12 之江实验室 基于联合和交替学习框架的跨域新类人脸表情识别方法
CN114663679A (zh) * 2022-05-25 2022-06-24 山东师范大学 一种基于特征融合元学习的凝血指标异常分类方法
CN115730300A (zh) * 2022-12-12 2023-03-03 西南大学 基于混合式对抗元学习算法的程序安全模型构建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019137021A1 (zh) * 2018-01-11 2019-07-18 华为技术有限公司 一种机器学习模型训练方法和装置
CN110097094A (zh) * 2019-04-15 2019-08-06 天津大学 一种面向人物交互的多重语义融合少样本分类方法
CN110580500A (zh) * 2019-08-20 2019-12-17 天津大学 一种面向人物交互的网络权重生成少样本图像分类方法
CN111539448A (zh) * 2020-03-17 2020-08-14 广东省智能制造研究所 一种基于元学习的少样本图像分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019137021A1 (zh) * 2018-01-11 2019-07-18 华为技术有限公司 一种机器学习模型训练方法和装置
CN110097094A (zh) * 2019-04-15 2019-08-06 天津大学 一种面向人物交互的多重语义融合少样本分类方法
CN110580500A (zh) * 2019-08-20 2019-12-17 天津大学 一种面向人物交互的网络权重生成少样本图像分类方法
CN111539448A (zh) * 2020-03-17 2020-08-14 广东省智能制造研究所 一种基于元学习的少样本图像分类方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
FAN ZHOU,等: "Fast Network Alignment via Graph Meta-Learning", 《IEEE INFOCOM 2020 - IEEE CONFERENCE ON COMPUTER COMMUNICATIONS》 *
SUNG-CHIANG LIN,等: "A Multi-Label Classification With Hybrid Label-Based Meta-Learning Method in Internet of Things", 《IEEE ACCESS》 *
孙松涛等: "基于CNN特征空间的微博多标签情感分类", 《工程科学与技术》 *
闫雷鸣,等: "基于句式元学习的Twitter分类", 《北京大学学报(自然科学版)》 *
陈晨等: "任务相关的图像小样本深度学习分类方法研究", 《集成技术》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392642B (zh) * 2021-06-04 2023-06-02 北京师范大学 一种基于元学习的育人案例自动标注系统及方法
CN113392642A (zh) * 2021-06-04 2021-09-14 北京师范大学 一种基于元学习的育人案例自动标注系统及方法
CN113377990B (zh) * 2021-06-09 2022-06-14 电子科技大学 基于元自步学习的视频/图片-文本跨模态匹配训练方法
CN113377990A (zh) * 2021-06-09 2021-09-10 电子科技大学 基于元自步学习的视频/图片-文本跨模态匹配训练方法
CN113724197A (zh) * 2021-07-26 2021-11-30 南京邮电大学 基于元学习的螺纹旋合性判定方法
CN113724197B (zh) * 2021-07-26 2023-09-15 南京邮电大学 基于元学习的螺纹旋合性判定方法
CN113705215A (zh) * 2021-08-27 2021-11-26 南京大学 一种基于元学习的大规模多标签文本分类方法
CN113947133A (zh) * 2021-09-17 2022-01-18 哈尔滨工业大学 小样本图像识别的任务重要性感知元学习方法
CN114333027A (zh) * 2021-12-31 2022-04-12 之江实验室 基于联合和交替学习框架的跨域新类人脸表情识别方法
CN114333027B (zh) * 2021-12-31 2024-05-14 之江实验室 基于联合和交替学习框架的跨域新类人脸表情识别方法
CN114663679A (zh) * 2022-05-25 2022-06-24 山东师范大学 一种基于特征融合元学习的凝血指标异常分类方法
CN115730300A (zh) * 2022-12-12 2023-03-03 西南大学 基于混合式对抗元学习算法的程序安全模型构建方法
CN115730300B (zh) * 2022-12-12 2023-06-27 西南大学 基于混合式对抗元学习算法的程序安全模型构建方法

Also Published As

Publication number Publication date
CN112613556B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
CN112613556B (zh) 基于元学习的少样本图像情感分类方法
Meng et al. Adavit: Adaptive vision transformers for efficient image recognition
Yan et al. Image classification by cross-media active learning with privileged information
Al-Jarrah et al. Efficient machine learning for big data: A review
Ma et al. Insights into multiple/single lower bound approximation for extended variational inference in non-Gaussian structured data modeling
Jain et al. American sign language recognition using support vector machine and convolutional neural network
Lv et al. Semi-supervised multi-label feature selection with adaptive structure learning and manifold learning
CN113887643B (zh) 一种基于伪标签自训练和源域再训练的新对话意图识别方法
Zheng et al. Lightweight transformer image feature extraction network
Li et al. Two-class 3D-CNN classifiers combination for video copy detection
Wu et al. Improvement of Mask-RCNN object segmentation algorithm
Chen et al. Sparsity-regularized feature selection for multi-class remote sensing image classification
Guo et al. Learning to re-weight examples with optimal transport for imbalanced classification
Upreti Convolutional neural network (cnn). a comprehensive overview
Khan et al. Unsupervised domain adaptation using fuzzy rules and stochastic hierarchical convolutional neural networks
CN114329124A (zh) 基于梯度重优化的半监督小样本分类方法
Khan et al. Mini-batch dynamic geometric embedding for unsupervised domain adaptation
Fan et al. Nonparametric hierarchical Bayesian models for positive data clustering based on inverted Dirichlet-based distributions
Nematipour et al. Relevance feedback optimization in content based image retrieval via enhanced radial basis function network
Yang et al. Towards theoretically inspired neural initialization optimization
Hong et al. Neural tensor network for multi-label classification
CN115861765A (zh) 基于无监督蒸馏网络的学生网络获取方法、图像分类模型获取方法、图像分类方法
Tang et al. SCA-Net: Spatial and channel attention-based network for 3D point clouds
Liu et al. Combining active learning and semi-supervised learning based on extreme learning machine for multi-class image classification
CN109919200B (zh) 一种基于张量分解和域适应的图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant