CN112861995B - 基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质 - Google Patents
基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质 Download PDFInfo
- Publication number
- CN112861995B CN112861995B CN202110273807.2A CN202110273807A CN112861995B CN 112861995 B CN112861995 B CN 112861995B CN 202110273807 A CN202110273807 A CN 202110273807A CN 112861995 B CN112861995 B CN 112861995B
- Authority
- CN
- China
- Prior art keywords
- neural network
- meta
- training
- convolutional neural
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质,包括下述步骤:生成训练数据,得到元训练集和元测试集;构造卷积神经网络模型,在卷积神经网络模型中引入快权重和慢权重,所述快权重在内部循环中进行迭代,所述慢权重在外部循环进行优化求解;利用元训练集和元测试集对优化后的卷积神经网络模型进行训练,得到优化后的神经网络模型;引入无监督相关损失,提高卷积神经网络模型分类效果;将待分类的图像输入到训练好的卷积神经网络,得到分类结果。本发明结合数据采样、数据增强、和无监督图像分类中的方法,提升模型无关原学习方法的训练速度,解决少样本学习无监督样本生成和计算效率的问题。
Description
技术领域
本发明属于人工智能领域和计算机视觉领域分支少样本图像分类,具体涉及一种基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质。
背景技术
随着计算机硬件的发展,计算能力得到大幅度的提高,使得卷积神经网络在计算视觉领域大显神通。图像分类作为计算视觉领域中一个基本的任务,在上世纪就受到了关注。
尽管由于卷积神经网络和深度学习的崛起,基于卷积神经网络和深度学习的相关方法在业界取得重大成果,但这些方法在解决一个特定任务时,需要大量的训练样本。为了解决此问题,LiFeiFei等人在论文《Learning generative visual models from fewtraining examples:An incremental Bayesian approach tested on 101objectcategories》,《One-shot learning of object categories》中提出利用少量样本甚至每个类别单样本的学习任务,旨在让模型从众多相似的任务上学习得到先验领域知识,迁移到当前任务中来,而不是从随机开始训练新的任务。在众多的少样本分类模型中,Finn,Chelsea;Abbeel,Pieter;Levine,Sergey在《Model-agnostic meta-learning for fastadaptation of deep networks》提出的模型无关元学习方法具有一定的代表性。
然而,该任务为了从相似任务中提取可迁移部分的知识,依旧需要大量相似任务的标注数据。特别是利用深度学习模型,更是如此。在图像分类领域存在一些无监督方法,这些方法多用于无监督图像表征的学习上,无法应用于当前的任务。Khodadadeh,Siavash;Boloni,Ladislau;Shah,Mubarak在《Unsupervised Meta-Learning for Few-Shot ImageClassification》指出,可以利用采样方法来生成用于少样本分类训练样本,而无需大量标注样本,可以进行无监督少样本学习。
但是上述方法仍然存在一些不足,面对复杂的分类任务,由于单一的图像生成策略,容易导致模型过拟合,模型健壮性不足。并且,模型无关元学习方法需要多次内部迭代,训练效率较低,且由于占用空间较大,不能适用于大规模网络。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足,提供一种基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质,提升模型无关原学习方法的训练速度,解决少样本学习无监督样本生成和计算效率的问题。
为了达到上述目的,本发明采用以下技术方案:
本发明一方面提供了一种基于模型无关元学习的无监督少样本图像分类方法,包括下述步骤:
生成训练数据,得到元训练集和元测试集;
构造卷积神经网络模型,在卷积神经网络模型中引入快权重和慢权重,所述快权重在内部循环中进行迭代,所述慢权重在外部循环进行优化求解,所述卷积神经网络包括三部分,具体为:
第一部分为神经网络的前面几层卷积层,用来提升较为通用的特征,称为卷积层前部,网络参数记为wf,将wf作为慢权重;
第二部分为网络除卷积层前部外的卷积层,称为卷积层后部,参数记为wb,wb作为快权重和慢权重;
第三部分为最后的全连接层参数记为w,w=wbias+wlinear,其中wbias是快权重,wlinear是慢权重;
利用元训练集和元测试集对优化后的卷积神经网络模型进行训练,得到优化后的神经网络模型;
引入无监督相关损失,提高卷积神经网络模型分类效果;
将待分类的图像输入到训练好的卷积神经网络,得到分类结果。
作为优选的技术方案,所述生成训练数据具体为:
随机采样得到原始输入数据D,赋予D中每张图片一个类别,构成初始的单次任务数据;
将单次任务数据进行多次复制,并使用图像增强技术对图像进行变换,变换后的图像数据及其类别,构成元训练数据;
将单次任务数据进行多次复制,并使用不同与元训练数据的图像增强技术对图像进行变换,变换后的图像数据及其类别构成元测试数据;
增强复制得到的数据,获得每个任务的训练数据集,这样得到的训练数据为单个任务的数据,重复多次,即得到多个任务训练数据。
作为优选的技术方案,所述利用元训练集和元测试集对优化后的卷积神经网络模型进行训练,具体为:
设x_spt为元训练数据,x_qry为元测试数据,卷积神经网络及损失函数为f,其参数为w,初始参数为w0,内部学习率为αinner,wk为第k次内部迭代得到的参数,则卷积神经网络模型的第一个训练目标就是:
minwf(wk,xqry);
其中的一些概念解释如下:
任务:在少样本图像分类中,定义任务为给定少量几张图像X,再给定另外同类别的几张图像Y,判断Y中的每一张图像,分别和X中哪张图像属于同一类别;
x_spt:元训练集,少样本图像分类任务中,每一个任务的少量训练样本;
x_qry:元测试集,少样本图像分类任务中,每一个任务的少量测试样本;
模型参数w,w_0等:指的是卷积神经网络中可训练的网络权重;
αinner:在模型无关元学习中,内层迭代使用的学习率。
作为优选的技术方案,在训练过程中,内部循环固定卷积神经网络的前几层参数,将w分为wf和wb,w=[wf,wb],wf和wb分别表示卷积神经网络的前几层参数和后面基层的参数,则优化目标变成:
minwf(wf,wb,k,xqry)
wb,0=wb,w=[wf,wb]。
作为优选的技术方案,还包括对全连接层参数进行分解的步骤,具体为:
卷积神经网络最后一层全连接层参数为w和b,其中w是线性操作参数,b是平移参数,w大小为fea_num×n,b大小为n,其中fea_num是卷积层的特征维度,n是少样本分类类别数,将w分为w=wbias+wlinear,其中wbias大小为fea_num×1,wlinear大小为fea_num×n,内部循环时,wbias保持不变,wlinear初始化为0开始迭代,外部循环只对wbias做优化,故优化目标为:
wlinear,0=wlinear,wb,0=wb,w=[wf,wb,wbias]。
作为优选的技术方案,在内部循环中,元训练集数据输入后,经过softmax层输出logits,logits一方面用于分类损失的计算,另一方面计算logits的熵,损失中加入一个logits的熵的项:
Loss=cross_entropy(logits,y)+λ∑logitsiloglogitsi
其中λ是一个超参数。
作为优选的技术方案,支撑集损失,在内层迭代中,加入熵约束,减少拟合风险
∑eilogei
zi=f(xspt,i)。
作为优选的技术方案,卷积特征后连接一个投影模块,用于旋转的预测。投影块由两层线性层组成,再加上一个softmax分类器,在内部循环中,将查询集每个图像x经过多次旋转,得到x1,x2,...,xr,输入同一张图像的两张不同角度的图片xi,xj,经过投影模块经过softmax层,输出一个12维的向量,表示预测的两张图片的旋转角度差。
本发明另一方面还提供了一种基于模型无关元学习的无监督少样本图像分类系统,应用于所述的基于模型无关元学习的无监督少样本图像分类方法,包括数据获取模块、模型构造模块、训练模块、损失模块以及分类模块;
所述数据获取模块,用于生成训练数据,得到元训练集和元测试集;
所述模型构造模块,用于构造卷积神经网络模型,在卷积神经网络模型中引入快权重和慢权重,所述快权重在内部循环中进行迭代,所述慢权重在外部循环进行优化求解,所述卷积神经网络包括三部分,具体为:
第一部分为神经网络的前面几层卷积层,用来提升较为通用的特征,称为卷积层前部,网络参数记为wf,将wf作为慢权重;
第二部分为网络除卷积层前部外的卷积层,称为卷积层后部,参数记为wb,wb作为快权重和慢权重;
第三部分为最后的全连接层参数记为w,w=wbias+wlinear,其中wbias是快权重,wlinear是慢权重;
所述训练模块,用于利用元训练集和元测试集对优化后的卷积神经网络模型进行训练,得到优化后的神经网络模型;
所述损失模块,用于引入无监督相关损失,提高卷积神经网络模型分类效果;
分类模块,用于将待分类的图像输入到训练好的卷积神经网络,得到分类结果。
本发明的又一方面还提供了一种存储介质,存储有程序,所述程序被处理器执行时,实现所述的基于模型无关元学习的无监督少样本图像分类方法。
本发明与现有技术相比,具有如下优点和有益效果:
(1)本发明构建的模型能适用于无监督和半监督情形的少样本学习。不仅如此依据其能够从大量无标注图像数据中自动生成训练数据集,在某些任务上还能得益于网络中存在的大量无标注图像。
(2)由于模型的改造,对内部循环固定一部分参数,能够避免对它们求二阶导数,能够有效避免在反向传播中计算梯度造成的大量的时间损耗。以及采用混合精度的训练方式,使得模型无关元学习方法单次迭代更快,且能适用于更大规模的网络结构。
(3)对内部循环引入熵的约束,同时加入查询集的旋转预测损失,能够加强模型的健壮性,避免模型过拟合,同时提高模型的预测能力。
附图说明
图1为本发明方法的整体流程图;
图2为网络结构整体框架图;
图3为实施例中训练集生成示意图;
图4为实施例中卷积神经网络结构图;
图5为实施例中线性层分类;
图6为本发明另一个实施例中系统的结构示意图;
图7为本发明另一个实施例中存储介质的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
实施例
如图1-图3所示,本实施例基于模型无关元学习的无监督少样本图像分类方法,包括下述步骤:
S1、生成训练数据,得到元训练集和元测试集;
步骤S1具体为:
选择和目标任务相似性比较大的数据集,或者从网络中获取相关的图片数据集,随机采样N张图得到原始输入数据D,N指的是少样本学习中每个任务的类别数。并赋予原始输入数据D中每张图片一个类别,分别从1到N,每张图片一个类别,所属类别随机确定。将数据和类别整体记为(D,Y)对,为当前任务原训练数据。
将数据(D,Y)进行复制4份,记为(D1,Y),(D2,Y),(D3,Y),(D4,Y)。采用不同的自动图像增强方法对图像进行增强。针对物体识别,对D1,D2,D3使用图像增强技术1,对D4采用图像增强技术2,增强复制得到的数据,以此获得每个任务的训练数据集。
每个任务的的数据集用两种图像增强技术得到的分别用作元训练集(也叫支撑集)和元测试集(也叫查询集)。其中Di增强得到Di’。支撑集构成为D1’,D2’,D3’,而查询集构成为D4’。
S2、构造卷积神经网络模型,在卷积神经网络模型中引入快权重和慢权重,所述快权重在内部循环中进行迭代,所述慢权重在外部循环进行优化求解,所述卷积神经网络包括三部分,具体为:
第一部分为神经网络的前面几层卷积层,用来提升较为通用的特征,称为卷积层前部,网络参数记为wf,将wf作为慢权重;
第二部分为网络除卷积层前部外的卷积层,称为卷积层后部,参数记为wb,wb作为快权重和慢权重;
第三部分为最后的全连接层参数记为w,w=wbias+wlinear,其中wbias是快权重,wlinear是慢权重;
利用元训练集和元测试集对优化后的卷积神经网络模型进行训练,得到优化后的神经网络模型;
进一步的,所述快权重、慢权重并不是分割的,即它们的交集不是空,有的权重仅是单一的快权重或者慢权重,有点两者都是。
在本申请的另一个实施例中,网络结构采用四成卷积神经网络,结构如图4所示,包括4个卷积层conv1、conv2、conv3、conv4和一个全连接层linear。将conv1,conv2设为慢权重,conv3,conv4设为快权重,全连接层权重拆分如图5所示。
所述利用元训练集和元测试集对优化后的卷积神经网络模型进行训练,具体为:
设x_spt为元训练数据,x_qry为元测试数据,卷积神经网络及损失函数为f,其参数为w,初始参数为w0,内部学习率为αinner,wk为第k次内部迭代得到的参数,则模型的第一个训练目标就是:
minwf(wk,xqry);
其中的一些概念解释如下:
任务:在少样本图像分类中,定义任务为给定少量几张图像X,再给定另外同类别的几张图像Y,判断Y中的每一张图像,分别和X中哪张图像属于同一类别;
x_spt:元训练集,少样本图像分类任务中,每一个任务的少量训练样本;
x_qry:元测试集,少样本图像分类任务中,每一个任务的少量测试样本;
模型参数w,w_0等:指的是卷积神经网络中可训练的网络权重;
αinner:在模型无关元学习中,内层迭代使用的学习率。
针对模型无关元学习方法,对卷积神经网络模型进行改造,同时在训练时期使用混合精度,加快模型训练,模型无关元学习方法分为内部迭代和外部迭代,在训练过程中,内部迭代固定卷积神经网络的前几层参数,将w分为wf和wb,w=[wf,wb],wf和wb分别表示卷积神经网络的前几层参数和后面基层的参数,则优化目标变成:
minwf(wf,wb,k,xqry);
wb,0=wb,w=[wf,wb]。
进一步的,将网络最后一层的全连接层参数进行分解,卷积神经网络最后一层全连接层参数为w和b,其中w是线性操作参数,b是平移参数。将w大小为fea_num×n,b大小为n,其中fea_num是卷积层的特征维度,n是少样本分类类别数,将w分为w=wbias+wlinear,其中wbias大小为fea_num×1,wlinear大小为fea_num×n,内部循环时,wbias保持不变,wlinear初始化为0开始迭代,外部循环只对wbias做优化,故优化目标为:
wlinear,0=wlinear,wb,0=wb,w=[wf,wb,wbias]。
S4、引入无监督相关损失,提高模型分类效果,避免模型过拟合。不同于上面的符号f,这里记f为卷积神经网络到最后一层线性层为止除softmax及损失的模型,忽略参数和迭代过程,记单次输入输出关系为y=f(x),在内部循环中加入如下两个损失:
a)支撑集损失,在内层迭代中,加入熵约束,减少拟合风险,
∑eilogei
zi=f(xspt,i)
b)增加一个模块g,用于旋转的预测,在卷积神经网络特征层后面,加上一个投影层,作为旋转预测模块;旋转预测模块,预测同一张图片不同的旋转角度。将查询集的每一张图片进行多次旋转,得到若干图片,该模块用于预测图片间的相对转角。为了简化任务复杂度,避免任务过于复杂难以拟合。将角度进行划分,360度分为12个区间,每30度为一个类别,模块g就是将卷积特征进行投影,然后映射到一个12维的归一化向量上。
S4、将待分类的图像输入到训练好的卷积神经网络,得到分类结果。
如图6所示,在另一个实施例中,提供了一种基于模型无关元学习的无监督少样本图像分类系统,该系统包括数据获取模块、模型构造模块、训练模块、损失模块以及分类模块;
所述数据获取模块,用于生成训练数据,得到元训练集和元测试集;
所述模型构造模块,用于构造卷积神经网络模型,在卷积神经网络模型中引入快权重和慢权重,所述快权重在内部循环中进行迭代,所述慢权重在外部循环进行优化求解,所述卷积神经网络包括三部分,具体为:
第一部分为神经网络的前面几层卷积层,用来提升较为通用的特征,称为卷积层前部,网络参数记为wf,将wf作为慢权重;
第二部分为网络除卷积层前部外的卷积层,称为卷积层后部,参数记为wb,wb作为快权重和慢权重;
第三部分为最后的全连接层参数记为w,w=wbias+wlinear,其中wbias是快权重,wlinear是慢权重;
所述训练模块,用于利用元训练集和元测试集对优化后的卷积神经网络模型进行训练,得到优化后的神经网络模型;
所述损失模块,用于引入无监督相关损失,提高卷积神经网络模型分类效果;
分类模块,用于将待分类的图像输入到训练好的卷积神经网络,得到分类图像。
在此需要说明的是,上述实施例提供的系统仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能,该系统是应用于上述实施例的基于同源性分析的APT攻击识别及归属方法。
如图7所示,在本申请的另一个实施例中,还提供了一种存储介质,存储有程序,所述程序被处理器执行时,实现基于模型无关元学习的无监督少样本图像分类方法,具体为:
生成训练数据,得到元训练集和元测试集;
构造卷积神经网络模型,在卷积神经网络模型中引入快权重和慢权重,所述快权重在内部循环中进行迭代,所述慢权重在外部循环进行优化求解,所述卷积神经网络包括三部分,具体为:
第一部分为神经网络的前面几层卷积层,用来提升较为通用的特征,称为卷积层前部,网络参数记为wf,将wf作为慢权重;
第二部分为网络除卷积层前部外的卷积层,称为卷积层后部,参数记为wb,wb作为快权重和慢权重;
第三部分为最后的全连接层参数记为w,w=wbias+wlinear,其中wbias是快权重,wlinear是慢权重;
利用元训练集和元测试集对优化后的卷积神经网络模型进行训练,得到优化后的神经网络模型;
引入无监督相关损失,提高卷积神经网络模型分类效果;
将待分类的图像输入到训练好的卷积神经网络,得到分类图像。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (6)
1.基于模型无关元学习的无监督少样本图像分类方法,其特征在于,包括下述步骤:
生成训练数据,得到元训练集和元测试集;
构造卷积神经网络模型,在卷积神经网络模型中引入快权重和慢权重,所述快权重在内部循环中进行迭代,所述慢权重在外部循环进行优化求解,所述卷积神经网络包括三部分,具体为:
第一部分为神经网络的前面几层卷积层,用来提升较为通用的特征,称为卷积层前部;
第二部分为网络除卷积层前部外的卷积层,称为卷积层后部;
第三部分为最后的全连接层线性操作参数记为w,w=wbias+wlinear;
在所有卷积层后连接一个投影模块,用于旋转的预测,投影模块由两层线性层组成,再加上一个softmax分类器,在内部循环中,将元测试集每个图像x经过多次旋转,得到x1,x2,…,xr,输入同一张图像的两张不同角度的图片xi,xj,经过投影模块经过softmax层,输出一个12维的向量,表示预测的两张图片的旋转角度差;
利用元训练集和元测试集对优化后的卷积神经网络模型进行训练,得到优化后的神经网络模型;
所述利用元训练集和元测试集对优化后的卷积神经网络模型进行训练,具体为:
其中的一些概念解释如下:
任务:在少样本图像分类中,定义任务为给定少量几张图像X,再给定另外同类别的几张图像Y,判断Y中的每一张图像,分别和X中哪张图像属于同一类别;
x_spt:元训练集,少样本图像分类任务中,每一个任务的少量训练样本;
x_qry:元测试集,少样本图像分类任务中,每一个任务的少量测试样本;
αinner:在模型无关元学习中,内层迭代使用的学习率;
还包括对全连接层参数进行分解的步骤,具体为:
卷积神经网络最后一层全连接层参数包括w和b,其中w是线性操作参数,b是平移参数,w在小为fea_num×n,b大小为n,其中fea_num是卷积层的特征维度,n是少样本分类类别数,将w分为w=wbias+wlinear,其中wbias大小为fea_num×1,wlinear大小为fea_num×n,内部循环时,wbias保持不变,wlinear初始化为0开始迭代,外部循环只对wbias做优化,故训练目标为:
wlinear,0=wlinear,wb,0=wb,w=[wf,wb,wbias];
引入无监督相关损失,提高卷积神经网络模型分类效果;
将待分类的图像输入到训练好的卷积神经网络,得到分类结果。
2.根据权利要求1所述基于模型无关元学习的无监督少样本图像分类方法,其特征在于,所述生成训练数据具体为:
随机采样得到原始输入数据D,赋予D中每张图片一个类别,构成初始的单次任务数据;
将单次任务数据进行多次复制,并使用图像增强技术对图像进行变换,变换后的图像数据及其类别,构成元训练数据;
将单次任务数据进行多次复制,并使用不同于元训练数据的图像增强技术对图像进行变换,变换后的图像数据及其类别构成元测试数据;
增强复制得到的数据,获得每个任务的训练数据集,这样得到的训练数据为单个任务的数据,重复多次,即得到多个任务训练数据。
3.根据权利要求1所述基于模型无关元学习的无监督少样本图像分类方法,其特征在于,在内部循环中,元训练集数据输入后,经过softmax层输出logits,logits一方面用于分类损失的计算,另一方面计算logits的熵,损失中加入一个logits的熵的项:
Loss=cross_entropy(logits,y)+λ∑logitsIloglogitsI
其中λ是一个超参数。
4.根据权利要求1所述基于模型无关元学习的无监督少样本图像分类方法,其特征在于,支撑集损失,在内层迭代中,加入熵约束,减少拟合风险。
5.基于模型无关元学习的无监督少样本图像分类系统,其特征在于,应用于权利要求1-4中任一项所述的基于模型无关元学习的无监督少样本图像分类方法,包括数据获取模块、模型构造模块、训练模块、损失模块以及分类模块;
所述数据获取模块,用于生成训练数据,得到元训练集和元测试集;
所述模型构造模块,用于构造卷积神经网络模型,在卷积神经网络模型中引入快权重和慢权重,所述快权重在内部循环中进行迭代,所述慢权重在外部循环进行优化求解,所述卷积神经网络包括三部分,具体为:
第一部分为神经网络的前面几层卷积层,用来提升较为通用的特征,称为卷积层前部;
第二部分为网络除卷积层前部外的卷积层,称为卷积层后部;
第三部分为最后的全连接层线性操作参数记为w,w=wbias+wlinear;
在所有卷积层后连接一个投影模块,用于旋转的预测,投影模块由两层线性层组成,再加上一个softmax分类器,在内部循环中,将元测试集每个图像x经过多次旋转,得到x1,x2,…,xr,输入同一张图像的两张不同角度的图片xi,xj,经过投影模块经过softmax层,输出一个12维的向量,表示预测的两张图片的旋转角度差;所述训练模块,用于利用元训练集和元测试集对优化后的卷积神经网络模型进行训练,得到优化后的神经网络模型;
所述损失模块,用于引入无监督相关损失,提高卷积神经网络模型分类效果;
分类模块,用于将待分类的图像输入到训练好的卷积神经网络,得到分类结果。
6.一种计算机可读存储介质,存储有程序,其特征在于:所述程序被处理器执行时,实现权利要求1-4任一项所述的基于模型无关元学习的无监督少样本图像分类方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110273807.2A CN112861995B (zh) | 2021-03-15 | 2021-03-15 | 基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110273807.2A CN112861995B (zh) | 2021-03-15 | 2021-03-15 | 基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112861995A CN112861995A (zh) | 2021-05-28 |
CN112861995B true CN112861995B (zh) | 2023-03-31 |
Family
ID=75994419
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110273807.2A Active CN112861995B (zh) | 2021-03-15 | 2021-03-15 | 基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112861995B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113222061B (zh) * | 2021-05-31 | 2022-12-09 | 北京理工大学 | 一种基于双路小样本学习的mri图像分类方法 |
CN113538349A (zh) * | 2021-06-29 | 2021-10-22 | 山东师范大学 | 基于模型无关元学习的小样本糖尿病视网膜病变分类系统 |
CN113627434B (zh) * | 2021-07-07 | 2024-05-28 | 中国科学院自动化研究所 | 一种应用于自然图像的处理模型的搭建方法及装置 |
CN113723451A (zh) * | 2021-07-20 | 2021-11-30 | 山东师范大学 | 视网膜图像分类模型训练方法、系统、存储介质及设备 |
CN113705869B (zh) * | 2021-08-17 | 2022-11-04 | 东南大学 | 无监督元学习网络的机电设备少样本退化趋势预测方法 |
CN113449700B (zh) * | 2021-08-30 | 2021-11-23 | 腾讯科技(深圳)有限公司 | 视频分类模型的训练、视频分类方法、装置、设备及介质 |
CN113837256B (zh) * | 2021-09-15 | 2023-04-07 | 深圳市商汤科技有限公司 | 对象识别方法、网络的训练方法及装置、设备及介质 |
CN113907710A (zh) * | 2021-09-29 | 2022-01-11 | 山东师范大学 | 基于模型无关的图像增强元学习的皮肤病变分类系统 |
CN113989556B (zh) * | 2021-10-27 | 2024-04-09 | 南京大学 | 一种小样本医学影像分类方法和系统 |
CN115984653B (zh) * | 2023-02-14 | 2023-08-01 | 中南大学 | 一种动态智能货柜商品识别模型的构建方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111476292A (zh) * | 2020-04-03 | 2020-07-31 | 北京全景德康医学影像诊断中心有限公司 | 医学图像分类处理人工智能的小样本元学习训练方法 |
CN112215280A (zh) * | 2020-10-12 | 2021-01-12 | 西安交通大学 | 一种基于元骨干网络的小样本图像分类方法 |
CN112348792A (zh) * | 2020-11-04 | 2021-02-09 | 广东工业大学 | 一种基于小样本学习和自监督学习的x光胸片图像分类方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11836611B2 (en) * | 2017-07-25 | 2023-12-05 | University Of Massachusetts | Method for meta-level continual learning |
KR102243644B1 (ko) * | 2018-12-07 | 2021-04-23 | 서울대학교 산학협력단 | 의료 영상 분획 딥러닝 모델 생성 장치 및 방법과, 그에 따라 생성된 의료 영상 분획 딥러닝 모델 |
-
2021
- 2021-03-15 CN CN202110273807.2A patent/CN112861995B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111476292A (zh) * | 2020-04-03 | 2020-07-31 | 北京全景德康医学影像诊断中心有限公司 | 医学图像分类处理人工智能的小样本元学习训练方法 |
CN112215280A (zh) * | 2020-10-12 | 2021-01-12 | 西安交通大学 | 一种基于元骨干网络的小样本图像分类方法 |
CN112348792A (zh) * | 2020-11-04 | 2021-02-09 | 广东工业大学 | 一种基于小样本学习和自监督学习的x光胸片图像分类方法 |
Non-Patent Citations (4)
Title |
---|
Meta Networks;Tsendsuren Munkhdalai 等;《34th International Conference on Machine Learning》;20170806;第1-11页 * |
UNSUPERVISED META-LEARNING FOR FEW-SHOT IMAGE;Siavash Khodadadeh 等;《33rd Conference on Neural Information Processing Systems (NeurIPS 2019)》;20191208;第1-15页 * |
基于小样本学习的图像分类技术综述;刘颖 等;《自动化学报》;20210228;第47卷(第2期);第297-315页 * |
结合无监督元学习方法的神经机器翻译;刘婉婉;《信息技术与信息化》;20210125(第1期);第241-243页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112861995A (zh) | 2021-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112861995B (zh) | 基于模型无关元学习的无监督少样本图像分类方法、系统及存储介质 | |
Chen et al. | ReGAN: A pipelined ReRAM-based accelerator for generative adversarial networks | |
Sheng et al. | Improving video temporal consistency via broad learning system | |
CN112699247A (zh) | 一种基于多类交叉熵对比补全编码的知识表示学习框架 | |
BR112021009042A2 (pt) | geração automatizada de modelos de aprendizagem por máquina | |
CN110363068A (zh) | 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法 | |
Sun et al. | A survey on graph matching in computer vision | |
CN117034100A (zh) | 基于分层池化架构自适应图分类方法、系统、设备和介质 | |
CN114723037A (zh) | 一种聚合高阶邻居节点的异构图神经网络计算方法 | |
CN117494775A (zh) | 训练神经网络模型的方法、电子设备、云端、集群及介质 | |
Sood et al. | Neunets: An automated synthesis engine for neural network design | |
CN113033410B (zh) | 基于自动数据增强的域泛化行人重识别方法、系统及介质 | |
Yan et al. | Vaccine-style-net: Point cloud completion in implicit continuous function space | |
Lin et al. | Dyspn: Learning dynamic affinity for image-guided depth completion | |
Ran et al. | TRNR: Task-driven image rain and noise removal with a few images based on patch analysis | |
Zhao et al. | APUNet: Attention-guided upsampling network for sparse and non-uniform point cloud | |
CN108898184A (zh) | 建立跨域联合分布匹配模型的方法、装置及其应用 | |
Shi et al. | Open-set semi-supervised learning for 3d point cloud understanding | |
CN114880527B (zh) | 一种基于多预测任务的多模态知识图谱表示方法 | |
WO2022193628A1 (zh) | 基于无监督迁移图片分类的结肠病变智能识别方法、系统及介质 | |
Kalaie et al. | A geometric deep learning framework for generation of virtual left ventricles as graphs | |
CN108960324A (zh) | 建立跨域联合分布匹配模型的方法、装置及其应用 | |
Mumuni et al. | Data augmentation with automated machine learning: approaches and performance comparison with classical data augmentation methods | |
Yang et al. | Multi-scale shape boltzmann machine: A shape model based on deep learning method | |
Zhou et al. | Hflnet: Hierarchical Feature Learning Network for 3d Object Reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |