CN112861995A - 基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质 - Google Patents

基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质 Download PDF

Info

Publication number
CN112861995A
CN112861995A CN202110273807.2A CN202110273807A CN112861995A CN 112861995 A CN112861995 A CN 112861995A CN 202110273807 A CN202110273807 A CN 202110273807A CN 112861995 A CN112861995 A CN 112861995A
Authority
CN
China
Prior art keywords
meta
neural network
training
convolutional neural
few
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110273807.2A
Other languages
English (en)
Other versions
CN112861995B (zh
Inventor
洪楷铎
郑伟诗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202110273807.2A priority Critical patent/CN112861995B/zh
Publication of CN112861995A publication Critical patent/CN112861995A/zh
Application granted granted Critical
Publication of CN112861995B publication Critical patent/CN112861995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质,包括下述步骤:生成训练数据,得到元训练集和元测试集;构造卷积神经网络模型,在卷积神经网络模型中引入快权重和慢权重,所述快权重在内部循环中进行迭代,所述慢权重在外部循环进行优化求解;利用元训练集和元测试集对优化后的卷积神经网络模型进行训练,得到优化后的神经网络模型;引入无监督相关损失,提高卷积神经网络模型分类效果;将待分类的图像输入到训练好的卷积神经网络,得到分类结果。本发明结合数据采样、数据增强、和无监督图像分类中的方法,提升模型无关原学习方法的训练速度,解决少样本学习无监督样本生成和计算效率的问题。

Description

基于模型无关元学习的无监督少样本图像分类方法、系统及 存储介质
技术领域
本发明属于人工智能领域和计算机视觉领域分支少样本图像分类,具体涉及一种基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质。
背景技术
随着计算机硬件的发展,计算能力得到大幅度的提高,使得卷积神经网络在计算视觉领域大显神通。图像分类作为计算视觉领域中一个基本的任务,在上世纪就受到了关注。
尽管由于卷积神经网络和深度学习的崛起,基于卷积神经网络和深度学习的相关方法在业界取得重大成果,但这些方法在解决一个特定任务时,需要大量的训练样本。为了解决此问题,LiFeiFei等人在论文《Learning generative visual models from fewtraining examples:An incremental Bayesian approach tested on 101objectcategories》,《One-shot learning of object categories》中提出利用少量样本甚至每个类别单样本的学习任务,旨在让模型从众多相似的任务上学习得到先验领域知识,迁移到当前任务中来,而不是从随机开始训练新的任务。在众多的少样本分类模型中,Finn,Chelsea;Abbeel,Pieter;Levine,Sergey在《Model-agnostic meta-learning for fastadaptation of deep networks》提出的模型无关元学习方法具有一定的代表性。
然而,该任务为了从相似任务中提取可迁移部分的知识,依旧需要大量相似任务的标注数据。特别是利用深度学习模型,更是如此。在图像分类领域存在一些无监督方法,这些方法多用于无监督图像表征的学习上,无法应用于当前的任务。Khodadadeh,Siavash;Boloni,Ladislau;Shah,Mubarak在《Unsupervised Meta-Learning for Few-Shot ImageClassification》指出,可以利用采样方法来生成用于少样本分类训练样本,而无需大量标注样本,可以进行无监督少样本学习。
但是上述方法仍然存在一些不足,面对复杂的分类任务,由于单一的图像生成策略,容易导致模型过拟合,模型健壮性不足。并且,模型无关元学习方法需要多次内部迭代,训练效率较低,且由于占用空间较大,不能适用于大规模网络。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足,提供一种基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质,提升模型无关原学习方法的训练速度,解决少样本学习无监督样本生成和计算效率的问题。
为了达到上述目的,本发明采用以下技术方案:
本发明一方面提供了一种基于模型无关元学习的无监督少样本图像分类方法,包括下述步骤:
生成训练数据,得到元训练集和元测试集;
构造卷积神经网络模型,在卷积神经网络模型中引入快权重和慢权重,所述快权重在内部循环中进行迭代,所述慢权重在外部循环进行优化求解,所述卷积神经网络包括三部分,具体为:
第一部分为神经网络的前面几层卷积层,用来提升较为通用的特征,称为卷积层前部,网络参数记为wf,将wf作为慢权重;
第二部分为网络除卷积层前部外的卷积层,称为卷积层后部,参数记为wb,wb作为快权重和慢权重;
第三部分为最后的全连接层参数记为w,w=wbias+wlinear,其中wbias是快权重,wlinear是慢权重;
利用元训练集和元测试集对优化后的卷积神经网络模型进行训练,得到优化后的神经网络模型;
引入无监督相关损失,提高卷积神经网络模型分类效果;
将待分类的图像输入到训练好的卷积神经网络,得到分类结果。
作为优选的技术方案,所述生成训练数据具体为:
随机采样得到原始输入数据D,赋予D中每张图片一个类别,构成初始的单次任务数据;
将单次任务数据进行多次复制,并使用图像增强技术对图像进行变换,变换后的图像数据及其类别,构成元训练数据;
将单次任务数据进行多次复制,并使用不同与元训练数据的图像增强技术对图像进行变换,变换后的图像数据及其类别构成元测试数据;
增强复制得到的数据,获得每个任务的训练数据集,这样得到的训练数据为单个任务的数据,重复多次,即得到多个任务训练数据。
作为优选的技术方案,所述利用元训练集和元测试集对优化后的卷积神经网络模型进行训练,具体为:
设x_spt为元训练数据,x_qry为元测试数据,卷积神经网络及损失函数为f,其参数为w,初始参数为w0,内部学习率为αinner,wk为第k次内部迭代得到的参数,则卷积神经网络模型的第一个训练目标就是:
minwf(wk,xqry);
Figure BDA0002975664810000031
其中的一些概念解释如下:
任务:在少样本图像分类中,定义任务为给定少量几张图像X,再给定另外同类别的几张图像Y,判断Y中的每一张图像,分别和X中哪张图像属于同一类别;
x_spt:元训练集,少样本图像分类任务中,每一个任务的少量训练样本;
x_qry:元测试集,少样本图像分类任务中,每一个任务的少量测试样本;
模型参数w,w_0等:指的是卷积神经网络中可训练的网络权重;
αinner:在模型无关元学习中,内层迭代使用的学习率。
作为优选的技术方案,在训练过程中,内部循环固定卷积神经网络的前几层参数,将w分为wf和wb,w=[wf,wb],wf和wb分别表示卷积神经网络的前几层参数和后面基层的参数,则优化目标变成:
minwf(wf,wb,k,xqry)
Figure BDA0002975664810000032
wb,0=wb,w=[wf,wb]。
作为优选的技术方案,还包括对全连接层参数进行分解的步骤,具体为:
卷积神经网络最后一层全连接层参数为w和b,其中w是线性操作参数,b是平移参数,w大小为fea_num×n,b大小为n,其中fea_num是卷积层的特征维度,n是少样本分类类别数,将w分为w=wbias+wlinear,其中wbias大小为fea_num×1,wlinear大小为fea_num×n,内部循环时,wbias保持不变,wlinear初始化为0开始迭代,外部循环只对wbias做优化,故优化目标为:
Figure BDA0002975664810000033
Figure BDA0002975664810000034
Figure BDA0002975664810000035
wlinear,0=wlinear,wb,0=wb,w=[wf,wb,wbias]。
作为优选的技术方案,在内部循环中,元训练集数据输入后,经过softmax层输出logits,logits一方面用于分类损失的计算,另一方面计算logits的熵,损失中加入一个logits的熵的项:
Loss=cross_entropy(logits,y)+λ∑logitsiloglogitsi
其中λ是一个超参数。
作为优选的技术方案,支撑集损失,在内层迭代中,加入熵约束,减少拟合风险
∑eilogei
Figure BDA0002975664810000041
zi=f(xspt,i)。
作为优选的技术方案,卷积特征后连接一个投影模块,用于旋转的预测。投影块由两层线性层组成,再加上一个softmax分类器,在内部循环中,将查询集每个图像x经过多次旋转,得到x1,x2,...,xr,输入同一张图像的两张不同角度的图片xi,xj,经过投影模块经过softmax层,输出一个12维的向量,表示预测的两张图片的旋转角度差。
本发明另一方面还提供了一种基于模型无关元学习的无监督少样本图像分类系统,应用于所述的基于模型无关元学习的无监督少样本图像分类方法,包括数据获取模块、模型构造模块、训练模块、损失模块以及分类模块;
所述数据获取模块,用于生成训练数据,得到元训练集和元测试集;
所述模型构造模块,用于构造卷积神经网络模型,在卷积神经网络模型中引入快权重和慢权重,所述快权重在内部循环中进行迭代,所述慢权重在外部循环进行优化求解,所述卷积神经网络包括三部分,具体为:
第一部分为神经网络的前面几层卷积层,用来提升较为通用的特征,称为卷积层前部,网络参数记为wf,将wf作为慢权重;
第二部分为网络除卷积层前部外的卷积层,称为卷积层后部,参数记为wb,wb作为快权重和慢权重;
第三部分为最后的全连接层参数记为w,w=wbias+wlinear,其中wbias是快权重,wlinear是慢权重;
所述训练模块,用于利用元训练集和元测试集对优化后的卷积神经网络模型进行训练,得到优化后的神经网络模型;
所述损失模块,用于引入无监督相关损失,提高卷积神经网络模型分类效果;
分类模块,用于将待分类的图像输入到训练好的卷积神经网络,得到分类结果。
本发明的又一方面还提供了一种存储介质,存储有程序,所述程序被处理器执行时,实现所述的基于模型无关元学习的无监督少样本图像分类方法。
本发明与现有技术相比,具有如下优点和有益效果:
(1)本发明构建的模型能适用于无监督和半监督情形的少样本学习。不仅如此依据其能够从大量无标注图像数据中自动生成训练数据集,在某些任务上还能得益于网络中存在的大量无标注图像。
(2)由于模型的改造,对内部循环固定一部分参数,能够避免对它们求二阶导数,能够有效避免在反向传播中计算梯度造成的大量的时间损耗。以及采用混合精度的训练方式,使得模型无关元学习方法单次迭代更快,且能适用于更大规模的网络结构。
(3)对内部循环引入熵的约束,同时加入查询集的旋转预测损失,能够加强模型的健壮性,避免模型过拟合,同时提高模型的预测能力。
附图说明
图1为本发明方法的整体流程图;
图2为网络结构整体框架图;
图3为实施例中训练集生成示意图;
图4为实施例中卷积神经网络结构图;
图5为实施例中线性层分类;
图6为本发明另一个实施例中系统的结构示意图;
图7为本发明另一个实施例中存储介质的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
实施例
如图1-图3所示,本实施例基于模型无关元学习的无监督少样本图像分类方法,包括下述步骤:
S1、生成训练数据,得到元训练集和元测试集;
步骤S1具体为:
选择和目标任务相似性比较大的数据集,或者从网络中获取相关的图片数据集,随机采样N张图得到原始输入数据D,N指的是少样本学习中每个任务的类别数。并赋予原始输入数据D中每张图片一个类别,分别从1到N,每张图片一个类别,所属类别随机确定。将数据和类别整体记为(D,Y)对,为当前任务原训练数据。
将数据(D,Y)进行复制4份,记为(D1,Y),(D2,Y),(D3,Y),(D4,Y)。采用不同的自动图像增强方法对图像进行增强。针对物体识别,对D1,D2,D3使用图像增强技术1,对D4采用图像增强技术2,增强复制得到的数据,以此获得每个任务的训练数据集。
每个任务的的数据集用两种图像增强技术得到的分别用作元训练集(也叫支撑集)和元测试集(也叫查询集)。其中Di增强得到Di’。支撑集构成为D1’,D2’,D3’,而查询集构成为D4’。
S2、构造卷积神经网络模型,在卷积神经网络模型中引入快权重和慢权重,所述快权重在内部循环中进行迭代,所述慢权重在外部循环进行优化求解,所述卷积神经网络包括三部分,具体为:
第一部分为神经网络的前面几层卷积层,用来提升较为通用的特征,称为卷积层前部,网络参数记为wf,将wf作为慢权重;
第二部分为网络除卷积层前部外的卷积层,称为卷积层后部,参数记为wb,wb作为快权重和慢权重;
第三部分为最后的全连接层参数记为w,w=wbias+wlinear,其中wbias是快权重,wlinear是慢权重;
利用元训练集和元测试集对优化后的卷积神经网络模型进行训练,得到优化后的神经网络模型;
进一步的,所述快权重、慢权重并不是分割的,即它们的交集不是空,有的权重仅是单一的快权重或者慢权重,有点两者都是。
在本申请的另一个实施例中,网络结构采用四成卷积神经网络,结构如图4所示,包括4个卷积层conv1、conv2、conv3、conv4和一个全连接层linear。将conv1,conv2设为慢权重,conv3,conv4设为快权重,全连接层权重拆分如图5所示。
所述利用元训练集和元测试集对优化后的卷积神经网络模型进行训练,具体为:
设x_spt为元训练数据,x_qry为元测试数据,卷积神经网络及损失函数为f,其参数为w,初始参数为w0,内部学习率为αinner,wk为第k次内部迭代得到的参数,则模型的第一个训练目标就是:
minwf(wk,xqry);
Figure BDA0002975664810000061
其中的一些概念解释如下:
任务:在少样本图像分类中,定义任务为给定少量几张图像X,再给定另外同类别的几张图像Y,判断Y中的每一张图像,分别和X中哪张图像属于同一类别;
x_spt:元训练集,少样本图像分类任务中,每一个任务的少量训练样本;
x_qry:元测试集,少样本图像分类任务中,每一个任务的少量测试样本;
模型参数w,w_0等:指的是卷积神经网络中可训练的网络权重;
αinner:在模型无关元学习中,内层迭代使用的学习率。
针对模型无关元学习方法,对卷积神经网络模型进行改造,同时在训练时期使用混合精度,加快模型训练,模型无关元学习方法分为内部迭代和外部迭代,在训练过程中,内部迭代固定卷积神经网络的前几层参数,将w分为wf和wb,w=[wf,wb],wf和wb分别表示卷积神经网络的前几层参数和后面基层的参数,则优化目标变成:
minwf(wf,wb,k,xqry);
Figure BDA0002975664810000071
wb,0=wb,w=[wf,wb]。
进一步的,将网络最后一层的全连接层参数进行分解,卷积神经网络最后一层全连接层参数为w和b,其中w是线性操作参数,b是平移参数。将w大小为fea_num×n,b大小为n,其中fea_num是卷积层的特征维度,n是少样本分类类别数,将w分为w=wbias+wlinear,其中wbias大小为fea_num×1,wlinear大小为fea_num×n,内部循环时,wbias保持不变,wlinear初始化为0开始迭代,外部循环只对wbias做优化,故优化目标为:
Figure BDA0002975664810000072
Figure BDA0002975664810000073
Figure BDA0002975664810000074
wlinear,0=wlinear,wb,0=wb,w=[wf,wb,wbias]。
S4、引入无监督相关损失,提高模型分类效果,避免模型过拟合。不同于上面的符号f,这里记f为卷积神经网络到最后一层线性层为止除softmax及损失的模型,忽略参数和迭代过程,记单次输入输出关系为y=f(x),在内部循环中加入如下两个损失:
a)支撑集损失,在内层迭代中,加入熵约束,减少拟合风险,
∑eilogei
Figure BDA0002975664810000081
zi=f(xspt,i)
b)增加一个模块g,用于旋转的预测,在卷积神经网络特征层后面,加上一个投影层,作为旋转预测模块;旋转预测模块,预测同一张图片不同的旋转角度。将查询集的每一张图片进行多次旋转,得到若干图片,该模块用于预测图片间的相对转角。为了简化任务复杂度,避免任务过于复杂难以拟合。将角度进行划分,360度分为12个区间,每30度为一个类别,模块g就是将卷积特征进行投影,然后映射到一个12维的归一化向量上。
S4、将待分类的图像输入到训练好的卷积神经网络,得到分类结果。
如图6所示,在另一个实施例中,提供了一种基于模型无关元学习的无监督少样本图像分类系统,该系统包括数据获取模块、模型构造模块、训练模块、损失模块以及分类模块;
所述数据获取模块,用于生成训练数据,得到元训练集和元测试集;
所述模型构造模块,用于构造卷积神经网络模型,在卷积神经网络模型中引入快权重和慢权重,所述快权重在内部循环中进行迭代,所述慢权重在外部循环进行优化求解,所述卷积神经网络包括三部分,具体为:
第一部分为神经网络的前面几层卷积层,用来提升较为通用的特征,称为卷积层前部,网络参数记为wf,将wf作为慢权重;
第二部分为网络除卷积层前部外的卷积层,称为卷积层后部,参数记为wb,wb作为快权重和慢权重;
第三部分为最后的全连接层参数记为w,w=wbias+wlinear,其中wbias是快权重,wlinear是慢权重;
所述训练模块,用于利用元训练集和元测试集对优化后的卷积神经网络模型进行训练,得到优化后的神经网络模型;
所述损失模块,用于引入无监督相关损失,提高卷积神经网络模型分类效果;
分类模块,用于将待分类的图像输入到训练好的卷积神经网络,得到分类图像。
在此需要说明的是,上述实施例提供的系统仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能,该系统是应用于上述实施例的基于同源性分析的APT攻击识别及归属方法。
如图7所示,在本申请的另一个实施例中,还提供了一种存储介质,存储有程序,所述程序被处理器执行时,实现基于模型无关元学习的无监督少样本图像分类方法,具体为:
生成训练数据,得到元训练集和元测试集;
构造卷积神经网络模型,在卷积神经网络模型中引入快权重和慢权重,所述快权重在内部循环中进行迭代,所述慢权重在外部循环进行优化求解,所述卷积神经网络包括三部分,具体为:
第一部分为神经网络的前面几层卷积层,用来提升较为通用的特征,称为卷积层前部,网络参数记为wf,将wf作为慢权重;
第二部分为网络除卷积层前部外的卷积层,称为卷积层后部,参数记为wb,wb作为快权重和慢权重;
第三部分为最后的全连接层参数记为w,w=wbias+wlinear,其中wbias是快权重,wlinear是慢权重;
利用元训练集和元测试集对优化后的卷积神经网络模型进行训练,得到优化后的神经网络模型;
引入无监督相关损失,提高卷积神经网络模型分类效果;
将待分类的图像输入到训练好的卷积神经网络,得到分类图像。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (10)

1.基于模型无关元学习的无监督少样本图像分类方法,其特征在于,包括下述步骤:
生成训练数据,得到元训练集和元测试集;
构造卷积神经网络模型,在卷积神经网络模型中引入快权重和慢权重,所述快权重在内部循环中进行迭代,所述慢权重在外部循环进行优化求解,所述卷积神经网络包括三部分,具体为:
第一部分为神经网络的前面几层卷积层,用来提升较为通用的特征,称为卷积层前部,网络参数记为wf,将wf作为慢权重;
第二部分为网络除卷积层前部外的卷积层,称为卷积层后部,参数记为wb,wb作为快权重和慢权重;
第三部分为最后的全连接层参数记为w,w=wbias+wlinear,其中wbias是快权重,wlinear是慢权重;
利用元训练集和元测试集对优化后的卷积神经网络模型进行训练,得到优化后的神经网络模型;
引入无监督相关损失,提高卷积神经网络模型分类效果;
将待分类的图像输入到训练好的卷积神经网络,得到分类结果。
2.根据权利要求1所述基于模型无关元学习的无监督少样本图像分类方法,其特征在于,所述生成训练数据具体为:
随机采样得到原始输入数据D,赋予D中每张图片一个类别,构成初始的单次任务数据;
将单次任务数据进行多次复制,并使用图像增强技术对图像进行变换,变换后的图像数据及其类别,构成元训练数据;
将单次任务数据进行多次复制,并使用不同与元训练数据的图像增强技术对图像进行变换,变换后的图像数据及其类别构成元测试数据;
增强复制得到的数据,获得每个任务的训练数据集,这样得到的训练数据为单个任务的数据,重复多次,即得到多个任务训练数据。
3.根据权利要求1所述基于模型无关元学习的无监督少样本图像分类方法,其特征在于,所述利用元训练集和元测试集对优化后的卷积神经网络模型进行训练,具体为:
设x_spt为元训练数据,x_qry为元测试数据,卷积神经网络及损失函数为f,其参数为w,初始参数为w0,内部学习率为αinner,wk为第k次内部迭代得到的参数,则卷积神经网络模型的第一个训练目标就是:
minw f(wk,xqry);
Figure FDA0002975664800000011
其中的一些概念解释如下:
任务:在少样本图像分类中,定义任务为给定少量几张图像X,再给定另外同类别的几张图像Y,判断Y中的每一张图像,分别和X中哪张图像属于同一类别;
x_spt:元训练集,少样本图像分类任务中,每一个任务的少量训练样本;
x_qry:元测试集,少样本图像分类任务中,每一个任务的少量测试样本;
模型参数w,w_0:指的是卷积神经网络中可训练的网络权重;
αinner:在模型无关元学习中,内层迭代使用的学习率。
4.根据权利要求3所述基于模型无关元学习的无监督少样本图像分类方法,其特征在于,在训练过程中,内部循环固定卷积神经网络的前几层参数,将w分为wf和wb,w=[wf,wb],wf和wb分别表示卷积神经网络的前几层参数和后面基层的参数,则优化目标变成:
minw f(wf,wb,k,xqry)
Figure FDA0002975664800000021
wb,0=wb,w=[wf,wb]。
5.根据权利要求3所述基于模型无关元学习的无监督少样本图像分类方法,其特征在于,还包括对全连接层参数进行分解的步骤,具体为:
卷积神经网络最后一层全连接层参数为w和b,其中w是线性操作参数,b是平移参数,w大小为fea_num×n,b大小为n,其中fea_num是卷积层的特征维度,n是少样本分类类别数,将w分为w=wbias+wlinear,其中wbias大小为fea_num×1,wlinear大小为fea_num×n,内部循环时,wbias保持不变,wlinear初始化为0开始迭代,外部循环只对wbias做优化,故优化目标为:
Figure FDA0002975664800000022
Figure FDA0002975664800000023
Figure FDA0002975664800000024
wlinear,0=wlinear,wb,0=wb,w=[wf,wb,wbias]。
6.根据权利要求1所述基于模型无关元学习的无监督少样本图像分类方法,其特征在于,在内部循环中,元训练集数据输入后,经过softmax层输出logits,logits一方面用于分类损失的计算,另一方面计算logits的熵,损失中加入一个logits的熵的项:
Loss=cross-entropy(logits,y)+λ∑logitsiloglogitsi
其中λ是一个超参数。
7.根据权利要求1所述基于模型无关元学习的无监督少样本图像分类方法,其特征在于,支撑集损失,在内层迭代中,加入熵约束,减少拟合风险
∑eilogei
Figure FDA0002975664800000031
zi=f(xspt,i)。
8.根据权利要求7所述基于模型无关元学习的无监督少样本图像分类方法,其特征在于,卷积特征后连接一个投影模块,用于旋转的预测。投影块由两层线性层组成,再加上一个softmax分类器,在内部循环中,将查询集每个图像x经过多次旋转,得到x1,x2,...,xr,输入同一张图像的两张不同角度的图片xi,xj,经过投影模块经过softmax层,输出一个12维的向量,表示预测的两张图片的旋转角度差。
9.基于模型无关元学习的无监督少样本图像分类系统,其特征在于,应用于权利要求1-8中任一项所述的基于模型无关元学习的无监督少样本图像分类方法,包括数据获取模块、模型构造模块、训练模块、损失模块以及分类模块;
所述数据获取模块,用于生成训练数据,得到元训练集和元测试集;
所述模型构造模块,用于构造卷积神经网络模型,在卷积神经网络模型中引入快权重和慢权重,所述快权重在内部循环中进行迭代,所述慢权重在外部循环进行优化求解,所述卷积神经网络包括三部分,具体为:
第一部分为神经网络的前面几层卷积层,用来提升较为通用的特征,称为卷积层前部,网络参数记为wf,将wf作为慢权重;
第二部分为网络除卷积层前部外的卷积层,称为卷积层后部,参数记为wb,wb作为快权重和慢权重;
第三部分为最后的全连接层参数记为w,w=wbias+wlinear,其中wbias是快权重,wlinear是慢权重;
所述训练模块,用于利用元训练集和元测试集对优化后的卷积神经网络模型进行训练,得到优化后的神经网络模型;
所述损失模块,用于引入无监督相关损失,提高卷积神经网络模型分类效果;
分类模块,用于将待分类的图像输入到训练好的卷积神经网络,得到分类结果。
10.一种存储介质,存储有程序,其特征在于:所述程序被处理器执行时,实现权利要求1-8任一项所述的基于模型无关元学习的无监督少样本图像分类方法。
CN202110273807.2A 2021-03-15 2021-03-15 基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质 Active CN112861995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110273807.2A CN112861995B (zh) 2021-03-15 2021-03-15 基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110273807.2A CN112861995B (zh) 2021-03-15 2021-03-15 基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN112861995A true CN112861995A (zh) 2021-05-28
CN112861995B CN112861995B (zh) 2023-03-31

Family

ID=75994419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110273807.2A Active CN112861995B (zh) 2021-03-15 2021-03-15 基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN112861995B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222061A (zh) * 2021-05-31 2021-08-06 北京理工大学 一种基于双路小样本学习的mri图像分类方法
CN113449700A (zh) * 2021-08-30 2021-09-28 腾讯科技(深圳)有限公司 视频分类模型的训练、视频分类方法、装置、设备及介质
CN113538349A (zh) * 2021-06-29 2021-10-22 山东师范大学 基于模型无关元学习的小样本糖尿病视网膜病变分类系统
CN113627434A (zh) * 2021-07-07 2021-11-09 中国科学院自动化研究所 一种应用于自然图像的处理模型的搭建方法及装置
CN113705869A (zh) * 2021-08-17 2021-11-26 东南大学 无监督元学习网络的机电设备少样本退化趋势预测方法
CN113723451A (zh) * 2021-07-20 2021-11-30 山东师范大学 视网膜图像分类模型训练方法、系统、存储介质及设备
CN113837256A (zh) * 2021-09-15 2021-12-24 深圳市商汤科技有限公司 对象识别方法、网络的训练方法及装置、设备及介质
CN113907710A (zh) * 2021-09-29 2022-01-11 山东师范大学 基于模型无关的图像增强元学习的皮肤病变分类系统
CN113989556A (zh) * 2021-10-27 2022-01-28 南京大学 一种小样本医学影像分类方法和系统
CN115984653A (zh) * 2023-02-14 2023-04-18 中南大学 一种动态智能货柜商品识别模型的构建方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190034798A1 (en) * 2017-07-25 2019-01-31 University Of Massachusetts Medical School Method for Meta-Level Continual Learning
US20200184274A1 (en) * 2018-12-07 2020-06-11 Seoul National University R&Db Foundation Apparatus and method for generating medical image segmentation deep-learning model, and medical image segmentation deep-learning model generated therefrom
CN111476292A (zh) * 2020-04-03 2020-07-31 北京全景德康医学影像诊断中心有限公司 医学图像分类处理人工智能的小样本元学习训练方法
CN112215280A (zh) * 2020-10-12 2021-01-12 西安交通大学 一种基于元骨干网络的小样本图像分类方法
CN112348792A (zh) * 2020-11-04 2021-02-09 广东工业大学 一种基于小样本学习和自监督学习的x光胸片图像分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190034798A1 (en) * 2017-07-25 2019-01-31 University Of Massachusetts Medical School Method for Meta-Level Continual Learning
US20200184274A1 (en) * 2018-12-07 2020-06-11 Seoul National University R&Db Foundation Apparatus and method for generating medical image segmentation deep-learning model, and medical image segmentation deep-learning model generated therefrom
CN111476292A (zh) * 2020-04-03 2020-07-31 北京全景德康医学影像诊断中心有限公司 医学图像分类处理人工智能的小样本元学习训练方法
CN112215280A (zh) * 2020-10-12 2021-01-12 西安交通大学 一种基于元骨干网络的小样本图像分类方法
CN112348792A (zh) * 2020-11-04 2021-02-09 广东工业大学 一种基于小样本学习和自监督学习的x光胸片图像分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SIAVASH KHODADADEH 等: "UNSUPERVISED META-LEARNING FOR FEW-SHOT IMAGE", 《33RD CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS (NEURIPS 2019)》 *
TSENDSUREN MUNKHDALAI 等: "Meta Networks", 《34TH INTERNATIONAL CONFERENCE ON MACHINE LEARNING》 *
刘婉婉: "结合无监督元学习方法的神经机器翻译", 《信息技术与信息化》 *
刘颖 等: "基于小样本学习的图像分类技术综述", 《自动化学报》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222061A (zh) * 2021-05-31 2021-08-06 北京理工大学 一种基于双路小样本学习的mri图像分类方法
CN113222061B (zh) * 2021-05-31 2022-12-09 北京理工大学 一种基于双路小样本学习的mri图像分类方法
CN113538349A (zh) * 2021-06-29 2021-10-22 山东师范大学 基于模型无关元学习的小样本糖尿病视网膜病变分类系统
CN113627434B (zh) * 2021-07-07 2024-05-28 中国科学院自动化研究所 一种应用于自然图像的处理模型的搭建方法及装置
CN113627434A (zh) * 2021-07-07 2021-11-09 中国科学院自动化研究所 一种应用于自然图像的处理模型的搭建方法及装置
CN113723451A (zh) * 2021-07-20 2021-11-30 山东师范大学 视网膜图像分类模型训练方法、系统、存储介质及设备
CN113705869A (zh) * 2021-08-17 2021-11-26 东南大学 无监督元学习网络的机电设备少样本退化趋势预测方法
CN113705869B (zh) * 2021-08-17 2022-11-04 东南大学 无监督元学习网络的机电设备少样本退化趋势预测方法
CN113449700A (zh) * 2021-08-30 2021-09-28 腾讯科技(深圳)有限公司 视频分类模型的训练、视频分类方法、装置、设备及介质
CN113837256A (zh) * 2021-09-15 2021-12-24 深圳市商汤科技有限公司 对象识别方法、网络的训练方法及装置、设备及介质
CN113837256B (zh) * 2021-09-15 2023-04-07 深圳市商汤科技有限公司 对象识别方法、网络的训练方法及装置、设备及介质
CN113907710A (zh) * 2021-09-29 2022-01-11 山东师范大学 基于模型无关的图像增强元学习的皮肤病变分类系统
CN113989556A (zh) * 2021-10-27 2022-01-28 南京大学 一种小样本医学影像分类方法和系统
CN113989556B (zh) * 2021-10-27 2024-04-09 南京大学 一种小样本医学影像分类方法和系统
CN115984653B (zh) * 2023-02-14 2023-08-01 中南大学 一种动态智能货柜商品识别模型的构建方法
CN115984653A (zh) * 2023-02-14 2023-04-18 中南大学 一种动态智能货柜商品识别模型的构建方法

Also Published As

Publication number Publication date
CN112861995B (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
CN112861995B (zh) 基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质
Chen et al. ReGAN: A pipelined ReRAM-based accelerator for generative adversarial networks
Sheng et al. Improving video temporal consistency via broad learning system
CN112699247A (zh) 一种基于多类交叉熵对比补全编码的知识表示学习框架
CN112348870B (zh) 一种基于残差融合的显著性目标检测方法
Liu et al. Weakly supervised 3d scene segmentation with region-level boundary awareness and instance discrimination
CN110363068A (zh) 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法
CN113222998B (zh) 基于自监督低秩网络的半监督图像语义分割方法及装置
Sun et al. A survey on graph matching in computer vision
CN114611617A (zh) 基于原型网络的深度领域自适应图像分类方法
Xu et al. Graphical modeling for multi-source domain adaptation
CN117494775A (zh) 训练神经网络模型的方法、电子设备、云端、集群及介质
Sood et al. Neunets: An automated synthesis engine for neural network design
CN113033410B (zh) 基于自动数据增强的域泛化行人重识别方法、系统及介质
Ran et al. TRNR: Task-driven image rain and noise removal with a few images based on patch analysis
Yan et al. Vaccine-style-net: Point cloud completion in implicit continuous function space
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
Lin et al. Dyspn: Learning dynamic affinity for image-guided depth completion
WO2022193628A1 (zh) 基于无监督迁移图片分类的结肠病变智能识别方法、系统及介质
Kalaie et al. A geometric deep learning framework for generation of virtual left ventricles as graphs
Cheng et al. FFA-Net: fast feature aggregation network for 3D point cloud segmentation
Yang et al. Multi-scale shape boltzmann machine: A shape model based on deep learning method
Huang et al. Flowformer: A transformer architecture and its masked cost volume autoencoding for optical flow
Zhou et al. Hflnet: Hierarchical Feature Learning Network for 3d Object Reconstruction
Ates et al. Convolutional encoder–decoder network using transfer learning for topology optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant