CN114492624A - 一种基于元学习的小样本学习方法、装置和电子设备 - Google Patents

一种基于元学习的小样本学习方法、装置和电子设备 Download PDF

Info

Publication number
CN114492624A
CN114492624A CN202210084037.1A CN202210084037A CN114492624A CN 114492624 A CN114492624 A CN 114492624A CN 202210084037 A CN202210084037 A CN 202210084037A CN 114492624 A CN114492624 A CN 114492624A
Authority
CN
China
Prior art keywords
meta
network
parameters
model parameters
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210084037.1A
Other languages
English (en)
Inventor
楼财义
周华吉
骆振兴
郑仕链
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 36 Research Institute
Original Assignee
CETC 36 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 36 Research Institute filed Critical CETC 36 Research Institute
Priority to CN202210084037.1A priority Critical patent/CN114492624A/zh
Publication of CN114492624A publication Critical patent/CN114492624A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于元学习的小样本学习方法、装置和电子设备。本发明的方法包括：构建元学习的训练任务集，所述训练任务集包括多个训练任务；初始化元网络的模型参数和超参数；循环更新元网络的模型参数和超参数，其中利用多个训练任务更新元网络的模型参数，利用更新后的模型参数和事先构建的优化网络优化元网络的超参数；在满足预设条件时，停止优化元网络，将停止优化时的模型参数和超参数作为元初始参数，在新的任务中基于所述元初始参数对元网络的模型参数进行训练，利用训练好的元网络进行识别与发现。本发明的技术方案通过分别优化元网络的模型参数和超参数，可以显著提高元网络的泛化能力。

Description

一种基于元学习的小样本学习方法、装置和电子设备
技术领域
本发明涉及机器学习技术领域，具体涉及一种基于元学习的小样本学习方法、装置和电子设备。
背景技术
机器学习、特别是深度学习自兴起以来已成功应用于计算机视觉、自然语言处理、数据挖掘等多个领域。其之所以能在这些领域取得良好的表现的一个重要因素在于，在这些领域中易于获取海量标记数据。然而，由于诸如隐私、安全性或数据的高标签成本等一系列因素，许多现实的应用场景(例如在医学，军事和金融领域)没有条件获取足够数量的带标签的训练样本。因此，如何使得一个机器学习或深度学习系统能够从非常少量的样本中高效地学习和推广其认知能力，成为许多机器学习或深度学习研究人员迫切期待实现的蓝图。
其中小样本学习(又称为few-shot learning，简记为FSL)预计不会依赖大规模的训练样本，从而避免了某些特定应用中数据准备的高昂成本，且可以为一项新出现的、可采集样本很少的任务实现低成本，快速的模型部署。
目前的小样本学习方法，一般是通过对元网络的模型参数进行训练，提高元网络的泛化能力。但实际应用中，影响元网络的泛化能力的参数不但包括模型参数，还包括超参数。因此，现有技术中只对模型参数进行优化，只能有限的提高元网络的泛化能力的。
发明内容
有鉴于此，本发明的主要目的在于提供了一种基于元学习的小样本学习方法、装置和电子设备，用于提高元网络的泛化能力。
依据本发明的第一方面，提供了一种基于元学习的小样本学习方法，包括：
构建元学习的训练任务集，所述训练任务集包括多个训练任务；
初始化元网络的模型参数和超参数；
循环更新元网络的模型参数和超参数，其中利用多个训练任务更新元网络的模型参数，利用更新后的模型参数和事先构建的优化网络优化元网络的超参数；
在满足预设条件时，停止优化元网络，将停止优化时的模型参数和超参数作为元初始参数，在新的任务中基于所述元初始参数对元网络的模型参数进行训练，利用训练好的元网络进行识别与发现。
依据本发明的第二方面，提供了一种基于元学习的小样本学习装置，包括：
数据构建单元，用于构建元学习的训练任务集，所述训练任务集包括多个训练任务；
初始化单元，用于初始化元网络的模型参数和超参数；
更新单元，用于循环更新元网络的模型参数和超参数，其中利用多个训练任务更新元网络的模型参数，利用更新后的模型参数和事先构建的优化网络优化元网络的超参数；
停止更新单元，用于在满足预设条件时，停止优化元网络，将停止优化时的模型参数和超参数作为元初始参数，在新的任务中基于所述元初始参数对元网络的模型参数进行训练，利用训练好的元网络进行识别与发现。
依据本发明的第三方面，提供了一种电子设备，包括处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述基于元学习的小样本学习方法。
依据本发明的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现上述基于元学习的小样本学习方法。
本发明采用的上述至少一个技术方案能够达到以下有益效果：本发明实施例的基于元学习的小样本学习方法、装置和电子设备是从大量训练任务中采用不同的学习方法学习元网络的模型参数和超参数，使得得到的元初始参数能够在面向新的机器学习任务时，在小样本条件下也能快速收敛到一个较优的解，提高了模型的泛化能力。
且由于发明本实施例的元网络是基于大量的训练任务，所以其能够在新的任务上通过少量的迭代来产生泛化的性能，即本实施例的方法训练了一个易于微调的网络模型。
另外，由于发明本实施例并不会对元网络的形式做任何限制，所以可适配到任何机器学习问题，如分类问题、回归问题和强化学习问题等。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的一种基于元学习的小样本学习方法流程图；
图2示出了根据本发明一个实施例的利用LSTM更新元网络超参数的示意图；
图3示出了根据本发明一个实施例的一种基于元学习的小样本学习装置的结构示意图；
图4示出了根据本发明一个实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。
本发明实施例的基本构思是：从大量训练任务中采用不同的学习方法学习元网络的模型参数和超参数，这里模型参数和超参数构成元网络的元初始参数，该元初始参数可使得新的机器学习任务在小样本条件下也能快速收敛到一个较优的解。
图1示出了根据本发明一个实施例的一种基于元学习的小样本学习方法流程图，如图1所示，本实施例的方法至少包括步骤S110-步骤S140：
步骤S110，构建元学习的训练任务集，所述训练任务集包括多个训练任务。
与传统的机器学习方法不同的是，本实施例的小样本学习方法的目的是在任务级别上学习，而不是在样本数据上学习。因此，本实施例需要构建训练任务集，为了保证元网络的泛化能力，本实施例的训练任务集包括多个训练任务，每个训练任务包括两组数据集，即每个训练任务包括第一数据集和第二数据集，第一数据集和第二数据集均包括支持集(又称为Support Set)和查询集(又称为Query Set)，第一数据集用于更新元网络的模型参数，第二数据集用于优化元网络的超参数。
步骤S120，初始化元网络的模型参数和超参数。
本实施例中的元网络包括人工神经网络，人工神经网络是一种模仿动物神经网络行为特征、进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，达到处理信息的目的。
本实施例的元网络包括两类参数：一类需要从数据中学习和估计得到，称为模型参数(又称为Parameter)，该类模型参数即为模型本身的参数。比如，卷积层大小、卷积核参数都是模型参数。还有一类则是机器学习算法中的调优参数(又称为Tuning Parameters)，需要人为设定，称为超参数(又称为Hyperparameter)。比如，新任务的学习率、迭代次数、批次等都是超参数。
对元网络的超参数和模型参数进行初始化时，可以使用随机生成的参数作为元网络的初始超参数和初始模型参数。
步骤S130，循环更新元网络的模型参数和超参数，其中利用多个训练任务更新元网络的模型参数，利用更新后的模型参数和事先构建的优化网络优化元网络的超参数。
这里循环更新元网络的模型参数和超参数可以理解为：利用多个训练任务更新元网络的模型参数，利用更新后的模型参数和事先构建的优化网络优化元网络的超参数；并利用更新后的模型参数和优化后的超参数更新元网络，再通过多个训练任务再次更新元网络的模型参数，利用再次更新后的模型参数和优化网络再次优化元网络的超参数，依此循环更新元网络。
如前所述，利用多个训练任务更新元网络的模型参数是指利用多个训练任务的第一数据集更新模型参数，利用更新后的模型参数和事先构建的优化网络优化元网络的超参数是指利用多个训练任务的第二数据集和更新后的模型参数更新优化网络的损失函数，再利用优化网络更新元网络的超参数。
步骤S140，在满足预设条件时，停止优化元网络，将停止优化时的模型参数和超参数作为元初始参数，在新的任务中基于所述元初始参数对元网络的模型参数进行训练，利用训练好的元网络进行识别与发现。
例如在优化网络的损失函数小于设定值，或者优化网络的优化次数达到目标值时，可以停止优化元网络。停止优化时的模型参数和超参数伪元初始参数，该元初始参数下的元网络，在面对新的任务时，可利用少量样本数据完成模型的快速收敛。
可见图1所示的方法，是从大量训练任务中采用不同的学习方法学习元网络的模型参数和超参数，使得得到的元初始参数能够在面向新的机器学习任务时，在小样本条件下也能快速收敛到一个较优的解。且由于本实施例的元网络是基于大量的训练任务，所以其能够在新的任务上通过少量的迭代来产生泛化的性能，即本实施例的方法训练了一个易于微调的网络模型。另外，由于本实施例并不会对元网络的形式做任何限制，所以可适配到任何机器学习问题，如分类问题、回归问题和强化学习问题等。
在一些实施例中，构建元学习的训练任务集，包括：
获取多个训练任务Ti，所述多个训练任务Ti属于同一分布p(T)，每个训练任务Ti包括初始支持集
Figure BDA0003483345580000061
和初始查询集
Figure BDA0003483345580000062
这里i为自然数，表示训练任务的序号。
对每个训练任务Ti的初始支持集
Figure BDA0003483345580000063
进行数据增强处理，例如使用旋转、镜像等数据增强方法对初始支持集
Figure BDA0003483345580000064
进行增强处理，得到增强后的支持集，利用增强获得支持集合初始查询集构建该训练任务Ti的第一数据集和第二数据集。
例如，将初始支持集
Figure BDA0003483345580000065
均分为第一子数据集
Figure BDA0003483345580000066
和第二子数据集
Figure BDA0003483345580000067
那么第一子数据集
Figure BDA0003483345580000068
和第二子数据集
Figure BDA0003483345580000069
可以构成训练任务Ti的第一数据集Ti'，第一子数据集
Figure BDA0003483345580000071
和初始查询集
Figure BDA0003483345580000072
构成第二数据集Ti”。即第一数据集
Figure BDA0003483345580000073
Figure BDA0003483345580000074
第二数据集
Figure BDA0003483345580000075
Figure BDA0003483345580000076
为第一数据集Ti'和的第二数据集Ti”的支持集，
Figure BDA0003483345580000077
为第一数据集Ti'的第一查询集，
Figure BDA0003483345580000078
为第二数据集Ti”的第二查询集。
在一些实施例中，通过多个训练任务更新元网络的模型参数，包括：对训练任务集T中的任一训练任务Ti执行以下步骤：
步骤一，利用元网络对训练任务Ti的第一支持集
Figure BDA0003483345580000079
中的支持样本数据进行分类，得到分类结果。
利用元网络对支持样本数据进行特征提取，得到特征数据，根据支持样本数据的标签，将具有相同标签的特征数据分为一类，得到多个初始分类；对每个初始分类中的特征数据进行平均处理，得到分类结果。
例如，本实施例的元网络包括特征提取器，特征提取器为ResNet网络(又称为残差神经网络)的卷积层，包括多个残差模块，每个残差模块包括一个卷积层、两个残差块和一个最大池化层。利用特征提取器对训练任务Ti的第一支持集
Figure BDA00034833455800000710
中的支持样本数据进行特征提取，然后将具有相同标签的特征划分为一类，对没类中的特征计算平均值
Figure BDA00034833455800000711
这里m为该类中的样本数据的数量，y(v)为样本数据的标签。由此，可以得到多个分类，这多个分类的集合表示为{v0,v1,…vn},n为类别数。
步骤二，利用元网络计算训练任务Ti的第一查询集
Figure BDA00034833455800000712
中的查询样本数据与该训练任务的支持样本数据的各个分类结果之间的欧氏距离。
将第一查询集
Figure BDA00034833455800000713
中的查询样本数据输入到特征提取器中，获得第一查询集
Figure BDA00034833455800000714
中的查询样本数据的特征表示，计算每个查询样本数据v与各个分类结果vj之间的欧式距离
Figure BDA00034833455800000715
步骤三，将训练任务Ti的所述欧式距离作为优化目标，通过SGD(StochasticGradient Descent，又称为随机梯度下降)优化算法对所述元网络的模型参数进行更新，得到对应于训练任务Ti的更新后的模型参数。
根据第一查询集
Figure BDA0003483345580000081
中的查询样本数据与各个分类结果vj之间的欧式距离构建距离向量fθ＝{d1,d2,...dn}作为元网络的Softmax层，第一查询集
Figure BDA0003483345580000082
中各个特征到各个分类结果vj之间的最短距离为优化目标，训练元网络，也即训练元网络的特征提取器，对每个训练任务Ti上的梯度
Figure BDA0003483345580000083
与模型参数θ进行更新，得到更新后的模型参数θi'和训练任务Ti的损失函数
Figure BDA0003483345580000084
本实施例中，获取元网络在所述优化目标下的损失函数
Figure BDA0003483345580000085
和梯度
Figure BDA0003483345580000086
计算训练任务Ti的学习率α、所述梯度
Figure BDA0003483345580000087
和所述损失函数
Figure BDA0003483345580000088
三者的乘积，将元网络当下的模型参数θ与所述三者的乘积的差值作为更新后的模型参数θi'。
这里，
Figure BDA0003483345580000089
Figure BDA00034833455800000810
这里，θ和θi'分别为元网络在本轮更细时的模型参数和更新后的模型参数，α为训练任务Ti的学习率，xj为第一数据集Ti'中样本数据，yj为xj的标签。
本实施例可以更新一轮或多轮模型参数之后，再更新元网络的超参数。一个实施例中，在每更新一轮模型参数之后，即更新元网络的超参数：利用更新后的模型参数更新优化网络的损失函数；将元网络的超参数作为优化网络的输入，通过优化网络对超参数进行优化。
在一些实施例中，利用更新后的模型参数更新优化网络的损失函数，包括：
利用更新后的模型参数更新元网络的模型参数，即将更新后的模型参数θi'赋值给元网络中的模型参数，完成模型参数的更新。利用元网络对训练任务Ti的第二数据集Ti”中第二支持集
Figure BDA0003483345580000091
的支持样本数据进行分类，得到分类结果；利用元网络计算训练任务Ti的第二查询集
Figure BDA0003483345580000092
中的查询样本数据与该训练任务Ti的支持样本数据的各个分类结果之间的欧氏距离；将训练任务Ti在第二数据集Ti”下的所述欧式距离作为优化目标，获取元网络在所述优化目标下的损失函数
Figure BDA0003483345580000093
利用多个训练任务的损失函数的和值
Figure BDA0003483345580000094
更新优化网络的损失函数，例如通过优化超参数，使
Figure BDA0003483345580000095
最小化，即
Figure BDA0003483345580000096
这里l为新任务的学习率，N为迭代次数、b为批次大小。
本实施例可以采用近端策略优化算法对优化网络的损失函数进行训练，直至得到合适的超参数。在得到合适的超参数和模型参数之后，在新的任务中基于所述元初始参数对元网络的模型参数进行训练，利用训练好的元网络进行识别与发现，这里新的任务应符合前文的任务分布p(T)，保证元初始参数能够快速适应到新的任务中，提高模型的收敛速度和精度。
由于在超参数优化过程中，也需要对第二数据集进行分类与欧式距离计算，因此本实施例在构建训练任务时，使训练任务的第一数据集和第二数据集具有相同的支持集，以简化超参数优化过程中的计算步骤。
为便于理解本发明的上述实施例，以时序信号的训练任务进行元学习为例，针对时序信号任务，利用多个语音分类任务或多个声纹识别任务构建训练任务，对训练任务的数据集进行分组处理，得到训练任务的两个数据集。
如图2所示，采用LSTM(Long Short-Term Memory，又称为长短期记忆)网络构建优化网络，利用LSTM网络对元网络的超参数进行优化，由LSTM网络的Softmax层输出优化后的超参数，利用优化后的超参数更新元网络，元网络内部还进行模型参数的内存循环更新过程。当LSTM网络的损失函数小于预设值时，停止元网络的更新，将当下的超参数和模型参数作为元初始参数。
与前述实施例的基于元学习的小样本学习方法同属于一个技术构思，本发明实施例还提供了一种基于元学习的小样本学习装置。
图3示出了根据本发明一个实施例的一种基于元学习的小样本学习装置的结构示意图，如图3所示，基于元学习的小样本学习装置300能够实现上述基于元学习的小样本学习方法，基于元学习的小样本学习装置300包括：
数据构建单元310，用于构建元学习的训练任务集，所述训练任务集包括多个训练任务；
初始化单元320，用于初始化元网络的模型参数和超参数；
更新单元330，用于循环更新元网络的模型参数和超参数，其中利用多个训练任务更新元网络的模型参数，利用更新后的模型参数和事先构建的优化网络优化元网络的超参数；
停止更新单元340，用于在满足预设条件时，停止优化元网络，将停止优化时的模型参数和超参数作为元初始参数，在新的任务中基于所述元初始参数对元网络的模型参数进行训练，利用训练好的元网络进行识别与发现。
在一些实施例中，每个训练任务包括第一数据集，第一数据集包括第一支持集和第一查询集，更新单元330包括模型参数更新模块和超参数更新模块：
模型参数更新模块，用于对训练任务集T中的任一训练任务Ti执行以下步骤：利用元网络对训练任务Ti的第一支持集中的支持样本数据进行分类，得到分类结果；利用元网络计算训练任务Ti的第一查询集中的查询样本数据与该训练任务的支持样本数据的各个分类结果之间的欧氏距离；将训练任务Ti的所述欧式距离作为优化目标，通过SGD优化算法对所述元网络的模型参数进行更新，得到对应于训练任务Ti的更新后的模型参数。
在一些实施例中，模型参数更新模块，用于获取元网络在所述优化目标下的损失函数和梯度；计算训练任务Ti的学习率、所述梯度和所述损失函数三者的乘积；将元网络当下的模型参数与所述三者的乘积的差值作为更新后的模型参数。
在一些实施例中，超参数更新模块，用于利用更新后的模型参数更新优化网络的损失函数；将元网络的超参数作为优化网络的输入，通过优化网络对超参数进行优化。
在一些实施例中，每个训练任务还包括第二数据集，第二数据集包括第二支持集和第二查询集，超参数更新模块，用于利用更新后的模型参数更新元网络的模型参数；利用元网络对训练任务Ti的第二支持集中的支持样本数据进行分类，得到分类结果；利用元网络计算训练任务Ti的第二查询集中的查询样本数据与该训练任务Ti的支持样本数据的各个分类结果之间的欧氏距离；将训练任务Ti在第二数据集下的所述欧式距离作为优化目标，获取元网络在所述优化目标下的损失函数；利用多个训练任务的损失函数的和值更新优化网络的损失函数。
在一些实施例中，模型参数更新模块，用于利用元网络对支持样本数据进行特征提取，得到特征数据；根据支持样本数据的标签，将具有相同标签的特征数据分为一类，得到多个初始分类；对每个初始分类中的特征数据进行平均处理，得到分类结果。
在一些实施例中，模型参数更新模块，用于利用元网络的特征提取器对支持样本数据进行特征提取，所述特征提取器包括多个残差模块，每个残差模块包括一个卷积层、两个残差块和一个最大池化层。
在一些实施例中，数据构建单元310，用于获取多个训练任务，所述多个训练任务属于同一分布，每个训练任务包括初始支持集和初始查询集；对每个训练任务的初始支持集进行数据增强处理，得到增强后的支持集；利用增强获得支持集合初始查询集构建该训练任务的第一数据集和第二数据集。
能够理解，上述基于元学习的小样本学习装置，能够实现前述实施例中提供的基于元学习的小样本学习方法的各个步骤，关于基于元学习的小样本学习方法的相关阐释均适用于基于元学习的小样本学习装置，此处不再赘述。
需要说明的是：
图4示出了根据本发明一个实施例一种电子设备示意图。请参考图4，在硬件层面，该电子设备包括处理器和存储器，可选地还包括内部总线、网络接口。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、接口模块、通信模块和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放计算机可执行指令。存储器通过内部总线向处理器提供计算机可执行指令。
处理器，执行存储器所存放的计算机可执行指令，并具体用于实现以下操作：
构建元学习的训练任务集，所述训练任务集包括多个训练任务；
初始化元网络的模型参数和超参数；
循环更新元网络的模型参数和超参数，其中利用多个训练任务更新元网络的模型参数，利用更新后的模型参数和事先构建的优化网络优化元网络的超参数；
在满足预设条件时，停止优化元网络，将停止优化时的模型参数和超参数作为元初始参数，在新的任务中基于所述元初始参数对元网络的模型参数进行训练，利用训练好的元网络进行识别与发现。
上述如本发明图1所示实施例揭示的基于元学习的小样本学习方法执行的功能可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
本发明实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序当被处理器执行时，实现前述的基于元学习的小样本学习方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
以上仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种基于元学习的小样本学习方法，其特征在于，包括：
构建元学习的训练任务集，所述训练任务集包括多个训练任务；
初始化元网络的模型参数和超参数；
循环更新元网络的模型参数和超参数，其中利用多个训练任务更新元网络的模型参数，利用更新后的模型参数和事先构建的优化网络优化元网络的超参数；
在满足预设条件时，停止优化元网络，将停止优化时的模型参数和超参数作为元初始参数，在新的任务中基于所述元初始参数对元网络的模型参数进行训练，利用训练好的元网络进行识别与发现。
2.根据权利要求1所述的方法，其特征在于，每个训练任务包括第一数据集，第一数据集包括第一支持集和第一查询集，通过多个训练任务更新元网络的模型参数，包括：
对训练任务集T中的任一训练任务Ti执行以下步骤：
利用元网络对训练任务Ti的第一支持集中的支持样本数据进行分类，得到分类结果；
利用元网络计算训练任务Ti的第一查询集中的查询样本数据与该训练任务的支持样本数据的各个分类结果之间的欧氏距离；
将训练任务Ti的所述欧式距离作为优化目标，通过SGD优化算法对所述元网络的模型参数进行更新，得到对应于训练任务Ti的更新后的模型参数。
3.根据权利要求2所述的方法，其特征在于，将训练任务Ti的所述欧式距离作为优化目标，通过SGD优化算法对所述元网络的模型参数进行更新，得到对应于训练任务Ti的更新后的模型参数，包括：
获取元网络在所述优化目标下的损失函数和梯度；
计算训练任务Ti的学习率、所述梯度和所述损失函数三者的乘积；
将元网络当下的模型参数与所述三者的乘积的差值作为更新后的模型参数。
4.根据权利要求3所述的方法，其特征在于，利用更新后的模型参数和事先构建的优化网络优化元网络的超参数，包括：
利用更新后的模型参数更新优化网络的损失函数；
将元网络的超参数作为优化网络的输入，通过优化网络对超参数进行优化。
5.根据权利要求4所述的方法，其特征在于，每个训练任务还包括第二数据集，第二数据集包括第二支持集和第二查询集，利用更新后的模型参数更新优化网络的损失函数，包括：
利用更新后的模型参数更新元网络的模型参数；
利用元网络对训练任务Ti的第二支持集中的支持样本数据进行分类，得到分类结果；
利用元网络计算训练任务Ti的第二查询集中的查询样本数据与该训练任务Ti的支持样本数据的各个分类结果之间的欧氏距离；
将训练任务Ti在第二数据集下的所述欧式距离作为优化目标，获取元网络在所述优化目标下的损失函数；
利用多个训练任务的损失函数的和值更新优化网络的损失函数。
6.根据权利要求2所述的方法，其特征在于，利用元网络对每个训练任务的第一支持集中的支持样本数据进行分类，得到分类结果，包括：
利用元网络对支持样本数据进行特征提取，得到特征数据；
根据支持样本数据的标签，将具有相同标签的特征数据分为一类，得到多个初始分类；
对每个初始分类中的特征数据进行平均处理，得到分类结果。
7.根据权利要求6所述的方法，其特征在于，利用元网络对支持样本数据进行特征提取，得到特征数据，包括：
利用元网络的特征提取器对支持样本数据进行特征提取，所述特征提取器包括多个残差模块，每个残差模块包括一个卷积层、两个残差块和一个最大池化层。
8.根据权利要求1所述的方法，其特征在于，构建元学习的训练任务集，包括：
获取多个训练任务，所述多个训练任务属于同一分布，每个训练任务包括初始支持集和初始查询集；
对每个训练任务的初始支持集进行数据增强处理，得到增强后的支持集；利用增强获得支持集合初始查询集构建该训练任务的第一数据集和第二数据集。
9.一种基于元学习的小样本学习装置，其特征在于，包括：
数据构建单元，用于构建元学习的训练任务集，所述训练任务集包括多个训练任务；
初始化单元，用于初始化元网络的模型参数和超参数；
更新单元，用于循环更新元网络的模型参数和超参数，其中利用多个训练任务更新元网络的模型参数，利用更新后的模型参数和事先构建的优化网络优化元网络的超参数；
停止更新单元，用于在满足预设条件时，停止优化元网络，将停止优化时的模型参数和超参数作为元初始参数，在新的任务中基于所述元初始参数对元网络的模型参数进行训练，利用训练好的元网络进行识别与发现。
10.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1-8任一项所述的基于元学习的小样本学习方法。
CN202210084037.1A 2022-01-21 2022-01-21 一种基于元学习的小样本学习方法、装置和电子设备 Pending CN114492624A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210084037.1A CN114492624A (zh) 2022-01-21 2022-01-21 一种基于元学习的小样本学习方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210084037.1A CN114492624A (zh) 2022-01-21 2022-01-21 一种基于元学习的小样本学习方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN114492624A true CN114492624A (zh) 2022-05-13

Family

ID=81475250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210084037.1A Pending CN114492624A (zh) 2022-01-21 2022-01-21 一种基于元学习的小样本学习方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN114492624A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174272A (zh) * 2022-09-06 2022-10-11 浙江工业大学 一种基于元学习的小样本恶意网络流量检测方法
CN116527411A (zh) * 2023-07-05 2023-08-01 安羚科技(杭州)有限公司 数据安全智能防护模型构建方法、装置及协作平台
CN117408679A (zh) * 2023-12-14 2024-01-16 北京星汉博纳医药科技有限公司 一种运维场景信息的处理方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174272A (zh) * 2022-09-06 2022-10-11 浙江工业大学 一种基于元学习的小样本恶意网络流量检测方法
CN116527411A (zh) * 2023-07-05 2023-08-01 安羚科技(杭州)有限公司 数据安全智能防护模型构建方法、装置及协作平台
CN116527411B (zh) * 2023-07-05 2023-09-22 安羚科技(杭州)有限公司 数据安全智能防护模型构建方法、装置及协作平台
CN117408679A (zh) * 2023-12-14 2024-01-16 北京星汉博纳医药科技有限公司 一种运维场景信息的处理方法及装置
CN117408679B (zh) * 2023-12-14 2024-03-22 北京星汉博纳医药科技有限公司 一种运维场景信息的处理方法及装置

Similar Documents

Publication Publication Date Title
CN114492624A (zh) 一种基于元学习的小样本学习方法、装置和电子设备
CN109241903B (zh) 样本数据清洗方法、装置、计算机设备及存储介质
Su et al. Vitas: Vision transformer architecture search
CN111160217B (zh) 一种行人重识别系统对抗样本生成方法及系统
CN109492674B (zh) 用于目标检测的ssd框架的生成方法及装置
CN113128478B (zh) 模型训练方法、行人分析方法、装置、设备及存储介质
CN111079780A (zh) 空间图卷积网络的训练方法、电子设备及存储介质
CN113159115B (zh) 基于神经架构搜索的车辆细粒度识别方法、系统和装置
CN103971136A (zh) 一种面向大规模数据的并行结构化支持向量机分类方法
CN116089883B (zh) 用于提高已有类别增量学习新旧类别区分度的训练方法
CN115080749B (zh) 一种基于自监督训练的弱监督文本分类方法、系统和装置
CN111160526A (zh) 基于mape-d环形结构的深度学习系统在线测试方法与装置
CN114298179A (zh) 一种数据处理方法、装置及设备
CN111914949B (zh) 基于强化学习的零样本学习模型的训练方法及装置
CN111783936B (zh) 卷积神经网络构建方法、装置、设备及介质
Biçici et al. Conditional information gain networks
CN113254645A (zh) 一种文本分类方法、装置、计算机设备及可读存储介质
CN116701647A (zh) 基于嵌入向量与迁移学习融合的知识图谱补全方法及装置
Xiang et al. TKIL: tangent kernel approach for class balanced incremental learning
JP6993250B2 (ja) コンテンツ特徴量抽出装置、方法、及びプログラム
CN113377884A (zh) 基于多智能体增强学习的事件语料库提纯方法
Liu et al. Visual confusion label tree for image classification
CN114781554B (zh) 一种基于小样本条件的开集识别方法及系统
CN112149836B (zh) 一种机器学习程序更新方法、装置及设备
CN114826921B (zh) 基于抽样子图的网络资源动态分配方法、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination