CN111178526A - 一种基于元学习的变分随机特征的核方法 - Google Patents

一种基于元学习的变分随机特征的核方法 Download PDF

Info

Publication number
CN111178526A
CN111178526A CN201911404255.3A CN201911404255A CN111178526A CN 111178526 A CN111178526 A CN 111178526A CN 201911404255 A CN201911404255 A CN 201911404255A CN 111178526 A CN111178526 A CN 111178526A
Authority
CN
China
Prior art keywords
learning
meta
task
parameters
omega
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911404255.3A
Other languages
English (en)
Inventor
甄先通
张磊
李欣
左利云
简治平
蔡泽涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Petrochemical Technology
Original Assignee
Guangdong University of Petrochemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Petrochemical Technology filed Critical Guangdong University of Petrochemical Technology
Priority to CN201911404255.3A priority Critical patent/CN111178526A/zh
Publication of CN111178526A publication Critical patent/CN111178526A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于元学习的变分随机特征的核方法，属于元学习算法领域，可以实现利用LSTM和支持数据集S，根据前序任务的状态，可以学习得到参数的ω均值和方差；根据重新参数化原理，可以通过ω均值和方差所描述的分布，重新采样生成参数ω，这样，每一个任务t，可得一组参数ω，并利用这组参数可以构造分类器，对新任务数据集Q进行分类，整体优化的目的是使系统可以通过少量数据，快速学习到一个合适的分类器参数，本发明同目前现有的其他元学习方法区别在于，一方面首次将变分思想结合到LSTM框架中，利用LSTM融合多次任务中的知识信息，另一方面首次将核近似方法和元学习相结合，利用元学习得到核近似的参数ω，并利用核近似方法构建分类器。

Description

一种基于元学习的变分随机特征的核方法
技术领域
本发明涉及元学习算法领域，更具体地说，涉及一种基于元学习的变分随机特征的核方法。
背景技术
元学习的目的是解决学习如何学习的问题。其本质是利用对其他任务的前期学习的经验，快速适应新任务的需求。目前主流方法包括：1)通过在神经网络上添加记忆来实现对以往经验的利用；2)通过让神经网络利用以往的任务学习中梯度预测经验，使其在面对新的任务中，尽量将梯度预测准，达到快速学习的目的；3)人的注意力是可以利用以往的经验来实现提升的，基于此，利用以往的任务来训练一个注意力模型，从而面对新的任务，能够直接关注最重要的部分加快学习效果；4)利用LSTM的结构训练出一个神经网络的更新机制，输入当前网络参数，直接输出新的更新参数；5)同时启动多个任务，然后获取不同任务学习的合成梯度方向来更新，从而学习一个共同的最佳的基准平台。
核近似方法是通过对具有平移不变的核函数，进行傅里叶变换，找出显式的特征映射关系，避免复杂的计算。核近似方法具有很好的刻画非线性关系的特点，并在分类等任务上取得良好的性能，但其在元学习中很少有人研究。
目前在核近似方法中，虽在寻找显示的映射函数过程中，可以生成随机特征，并且这种随机特征可以很好地刻画非线性的问题，但其解决的只是传统机器学习的问题，即根据数据生成模型。而元学习旨在学会学习，即模型对新数据的学习能力。本发明旨在将两者的优点结合，并利用LSTM学习得到各不同任务之间的关联知识。
发明内容
1.要解决的技术问题
针对现有技术中存在的问题，本发明的目的在于提供一种基于元学习的变分随机特征的核方法，它可以实现利用LSTM和支持数据集S，根据前序任务的状态，可以学习得到参数的ω均值和方差；根据重新参数化原理，可以通过ω均值和方差所描述的分布，重新采样生成参数ω，这样，每一个任务t，可得一组参数ω，并利用这组参数可以构造分类器，对新任务数据集Q进行分类，整体优化的目的是使系统可以通过少量数据，快速学习到一个合适的分类器参数，本发明同目前现有的其他元学习方法区别在于，一方面首次将变分思想结合到LSTM框架中，利用LSTM融合多次任务中的知识信息，另一方面首次将核近似方法和元学习相结合，利用元学习得到核近似的参数ω，并利用核近似方法构建分类器。
2.技术方案
为解决上述问题，本发明采用如下的技术方案。
一种基于元学习的变分随机特征的核方法，包括以下步骤：
S1、学习过程：
输入：前序任务支持集S1:T-1前序任务1:T-1的参数
Figure BDA0002348204740000021
新的任务集数据QT，
输出：新任务的参数集
Figure BDA0002348204740000022
S11、给定支持集中输入图像x，根据常规的卷积神经网络，计算得到图像特征e；
S12、对支持集中所有图像，处理得到支持集图像特征；
S13、构建如图1所示的LSTM的损失函数如下：
Figure BDA0002348204740000031
S14、构建ωu的LSTM框架，并按照随机梯度下降法更新LSTM参数，包括下面公式中
Figure BDA0002348204740000032
并按照如下公式更新LSTM中间变量和输出变量，
Figure BDA0002348204740000033
S15、构建ωσ的LSTM框架，并按照随机梯度下降法更新LSTM参数，包括下面公式中
Figure BDA0002348204740000034
并按照如下公式更新LSTM中间变量和输出变量，
Figure BDA0002348204740000035
S16、由均值和方差生成如下权重：
Figure BDA0002348204740000036
S17、对每一个任务t，重复S21到S26，将支持集中所有任务覆盖；
S2、根据ω参数计算核相似测度进行分类：
S21、根据步骤S2得到的ω参数，构建z函数。
Figure BDA0002348204740000037
S22、构建训练核矩阵K的每一个矩阵元素如下：
k(x，x′)＝z(x)z(x′)T
其中x和x’为训练数据支持集中数据。
S23、得到基本分类器的参数α如下：
α＝(λI+K)-1Y；
S24、构建训练和新任务之间的核矩阵，
Figure BDA0002348204740000041
S25、对新任务数据进行分类，得到新的标签
Figure BDA0002348204740000042
Figure BDA0002348204740000043
进一步的，所述t是任务的序号，C是类别数，k为每一类训练样本数，则
Figure BDA0002348204740000044
为任务t的支持集，Λ是一个基本分类器，
Figure BDA0002348204740000045
是基本分类器参数，其也是由核近似方法得到的参数集，D指ω的个数。
进一步的，所述步骤S11中的卷积神经网络包括但不限于LeNet、AlexNet、VGG、NiN、GooLeNet、ResNet和DenseNet。
进一步的，所述步骤S12中按照置换不变池化方法获得支持集图像特征。
进一步的，所述步骤S13其中qΦ为利用变分的思想近似得到后验概率；p为元学习的先验概率。
进一步的，所述步骤S14和步骤S15中均按照随机梯度下降法更新LSTM参数。
3.有益效果
相比于现有技术，本发明的优点在于：
本方案可以实现利用LSTM和支持数据集S，根据前序任务的状态，可以学习得到参数的ω均值和方差；根据重新参数化原理，可以通过ω均值和方差所描述的分布，重新采样生成参数ω，这样，每一个任务t，可得一组参数ω，并利用这组参数可以构造分类器，对新任务数据集Q进行分类，整体优化的目的是使系统可以通过少量数据，快速学习到一个合适的分类器参数，本发明同目前现有的其他元学习方法区别在于，一方面首次将变分思想结合到LSTM框架中，利用LSTM融合多次任务中的知识信息，另一方面首次将核近似方法和元学习相结合，利用元学习得到核近似的参数ω，并利用核近似方法构建分类器。
附图说明
图1为本发明的学习示意图；
图2为本发明在miniImageNet和CIFAR-FS数据库上的结果数据表。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”、“顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“套设/接”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接，可以是机械连接，也可以是电连接，可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通，对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1：
一种基于元学习的变分随机特征的核方法，请参阅图1，包括以下步骤：
S1、学习过程：
输入：前序任务支持集S1:T-1前序任务1:T-1的参数
Figure BDA0002348204740000061
新的任务集数据QT，
输出：新任务的参数集
Figure BDA0002348204740000062
S11、给定支持集中输入图像x，根据常规的卷积神经网络，计算得到图像特征e；
S12、对支持集中所有图像，处理得到支持集图像特征；
S13、构建如图1所示的LSTM的损失函数如下：
Figure BDA0002348204740000063
S14、构建ωu的LSTM框架，并按照随机梯度下降法更新LSTM参数，包括下面公式中
Figure BDA0002348204740000064
并按照如下公式更新LSTM中间变量和输出变量，
Figure BDA0002348204740000065
S15、构建ωσ的LSTM框架，并按照随机梯度下降法更新LSTM参数，包括下面公式中
Figure BDA0002348204740000066
并按照如下公式更新LSTM中间变量和输出变量，
Figure BDA0002348204740000071
S16、由均值和方差生成如下权重：
Figure BDA0002348204740000072
S17、对每一个任务t，重复S21到S26，将支持集中所有任务覆盖；
S2、根据ω参数计算核相似测度进行分类：
S21、根据步骤S2得到的ω参数，构建z函数。
Figure BDA0002348204740000073
S22、构建训练核矩阵K的每一个矩阵元素如下：
k(x，x′)＝z(x)z(x′)T
其中x和x’为训练数据支持集中数据。
S23、得到基本分类器的参数α如下：
α＝(λI+K)-1Y；
S24、构建训练和新任务之间的核矩阵，
Figure BDA0002348204740000074
S25、对新任务数据进行分类，得到新的标签
Figure BDA0002348204740000075
Figure BDA0002348204740000076
图1中的t是任务的序号，C是类别数，k为每一类训练样本数，则
Figure BDA0002348204740000077
为任务t的支持集，Λ是一个基本分类器，
Figure BDA0002348204740000078
是基本分类器参数，其也是由核近似方法得到的参数集，D指ω的个数，新任务的数据集Qt。
本发明利用LSTM和支持数据集S，根据前序任务的状态，可以学习得到参数的ω均值和方差；根据重新参数化原理，可以通过ω均值和方差所描述的分布，重新采样生成参数ω，这样，每一个任务t，可得一组参数ω，并利用这组参数可以构造分类器，对新任务数据集Q进行分类。整体优化的目的是使系统可以通过少量数据，快速学习到一个合适的分类器参数。
请参阅图2，为本发明在miniImageNet和CIFAR-FS数据库上的结果数据表。
本发明同目前其他元学习方法区别在如下几点：
1、首次将变分思想结合到LSTM框架中，利用LSTM融合多次任务中的知识信息；
2、首次将核近似方法和元学习相结合，利用元学习得到核近似的参数ω，并利用核近似方法构建分类器。
以上所述，仅为本发明较佳的具体实施方式；但本发明的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。

Claims (6)

1.一种基于元学习的变分随机特征的核方法，其特征在于：包括以下步骤：
S1、学习过程：
输入：前序任务支持集S1:T-1前序任务1:T-1的参数
Figure FDA0002348204730000011
新的任务集数据QT，
输出：新任务的参数集
Figure FDA0002348204730000012
S11、给定支持集中输入图像x，根据常规的卷积神经网络，计算得到图像特征e；
S12、对支持集中所有图像，处理得到支持集图像特征；
S13、构建如图1所示的LSTM的损失函数如下：
Figure FDA0002348204730000013
S14、构建ωu的LSTM框架，并按照随机梯度下降法更新LSTM参数，包括下面公式中
Figure FDA0002348204730000014
并按照如下公式更新LSTM中间变量和输出变量，
Figure FDA0002348204730000015
Figure FDA0002348204730000016
Figure FDA0002348204730000017
Figure FDA0002348204730000018
Figure FDA0002348204730000019
S15、构建ωσ的LSTM框架，并按照随机梯度下降法更新LSTM参数，包括下面公式中
Figure FDA00023482047300000110
并按照如下公式更新LSTM中间变量和输出变量，
Figure FDA0002348204730000021
Figure FDA0002348204730000022
Figure FDA0002348204730000023
Figure FDA0002348204730000024
Figure FDA0002348204730000025
S16、由均值和方差生成如下权重：
Figure FDA0002348204730000026
S17、对每一个任务t，重复S21到S26，将支持集中所有任务覆盖；
S2、根据ω参数计算核相似测度进行分类：
S21、根据步骤S2得到的ω参数，构建z函数。
Figure FDA0002348204730000027
S22、构建训练核矩阵K的每一个矩阵元素如下：
k(x，x′)＝z(x)z(x′)T
其中x和x’为训练数据支持集中数据。
S23、得到基本分类器的参数α如下：
α＝(λI+K)-1Y；
S24、构建训练和新任务之间的核矩阵，
Figure FDA0002348204730000028
S25、对新任务数据进行分类，得到新的标签
Figure FDA0002348204730000029
Figure FDA00023482047300000210
2.根据权利要求1所述的一种基于元学习的变分随机特征的核方法，其特征在于：所述t是任务的序号，C是类别数，k为每一类训练样本数，则
Figure FDA00023482047300000211
为任务t的支持集，Λ是一个基本分类器，
Figure FDA00023482047300000212
是基本分类器参数，其也是由核近似方法得到的参数集，D指ω的个数。
3.根据权利要求1所述的一种基于元学习的变分随机特征的核方法，其特征在于：所述步骤S11中的卷积神经网络包括但不限于LeNet、AlexNet、VGG、NiN、GooLeNet、ResNet和DenseNet。
4.根据权利要求1所述的一种基于元学习的变分随机特征的核方法，其特征在于：所述步骤S12中按照置换不变池化方法获得支持集图像特征。
5.根据权利要求1所述的一种基于元学习的变分随机特征的核方法，其特征在于：所述步骤S13其中qΦ为利用变分的思想近似得到后验概率；p为元学习的先验概率。
6.根据权利要求1所述的一种基于元学习的变分随机特征的核方法，其特征在于：所述步骤S14和步骤S15中均按照随机梯度下降法更新LSTM参数。
CN201911404255.3A 2019-12-30 2019-12-30 一种基于元学习的变分随机特征的核方法 Pending CN111178526A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911404255.3A CN111178526A (zh) 2019-12-30 2019-12-30 一种基于元学习的变分随机特征的核方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911404255.3A CN111178526A (zh) 2019-12-30 2019-12-30 一种基于元学习的变分随机特征的核方法

Publications (1)

Publication Number Publication Date
CN111178526A true CN111178526A (zh) 2020-05-19

Family

ID=70646570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911404255.3A Pending CN111178526A (zh) 2019-12-30 2019-12-30 一种基于元学习的变分随机特征的核方法

Country Status (1)

Country Link
CN (1) CN111178526A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116002A (zh) * 2020-09-18 2020-12-22 北京旋极信息技术股份有限公司 一种检测模型的确定方法、验证方法和装置
CN113537044A (zh) * 2021-07-14 2021-10-22 哈尔滨理工大学 基于STFT与改进DenseNet的航空发动机故障诊断方法
JP7452648B2 (ja) 2020-06-08 2024-03-19 日本電信電話株式会社 学習方法、学習装置及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919299A (zh) * 2019-02-19 2019-06-21 西安交通大学 一种基于元学习器逐步梯度校正的元学习算法
CN109961093A (zh) * 2019-03-07 2019-07-02 北京工业大学 一种基于众智集成学习的图像分类方法
CN110032646A (zh) * 2019-05-08 2019-07-19 山西财经大学 基于多源领域适应联合学习的跨领域文本情感分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919299A (zh) * 2019-02-19 2019-06-21 西安交通大学 一种基于元学习器逐步梯度校正的元学习算法
CN109961093A (zh) * 2019-03-07 2019-07-02 北京工业大学 一种基于众智集成学习的图像分类方法
CN110032646A (zh) * 2019-05-08 2019-07-19 山西财经大学 基于多源领域适应联合学习的跨领域文本情感分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAOLIANG SUN ET.AL: "Learning to Learn Kernels with Variational Random Features", 《OPENREVIEW.NET -ICLR 2020 CONFERENCE BLIND SUBMISSION》, pages 1 - 16 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7452648B2 (ja) 2020-06-08 2024-03-19 日本電信電話株式会社 学習方法、学習装置及びプログラム
CN112116002A (zh) * 2020-09-18 2020-12-22 北京旋极信息技术股份有限公司 一种检测模型的确定方法、验证方法和装置
CN113537044A (zh) * 2021-07-14 2021-10-22 哈尔滨理工大学 基于STFT与改进DenseNet的航空发动机故障诊断方法
CN113537044B (zh) * 2021-07-14 2022-08-26 哈尔滨理工大学 基于STFT与改进DenseNet的航空发动机故障诊断方法

Similar Documents

Publication Publication Date Title
CN108229590B (zh) 一种获取多标签用户画像的方法和装置
CN106777318B (zh) 基于协同训练的矩阵分解跨模态哈希检索方法
CN110674407B (zh) 基于图卷积神经网络的混合推荐方法
CN109993102B (zh) 相似人脸检索方法、装置及存储介质
CN110674323B (zh) 基于虚拟标签回归的无监督跨模态哈希检索方法及系统
CN111178526A (zh) 一种基于元学习的变分随机特征的核方法
WO2019015246A1 (zh) 图像特征获取
CN108984642B (zh) 一种基于哈希编码的印花织物图像检索方法
WO2021109464A1 (zh) 一种面向大规模用户的个性化教学资源推荐方法
JP6029041B2 (ja) 顔印象度推定方法、装置、及びプログラム
CN108171279A (zh) 一种多视角视频自适应乘积Grassmann流形子空间聚类方法
CN111353033B (zh) 一种训练文本相似度模型的方法和系统
WO2020007177A1 (zh) 计算机执行的报价方法、报价装置、电子设备及存储介质
CN114186084B (zh) 在线多模态哈希检索方法、系统、存储介质及设备
CN113868366A (zh) 一种面向流数据的在线跨模态检索方法与系统
CN111090765B (zh) 一种基于缺失多模态哈希的社交图像检索方法及系统
CN111178543B (zh) 一种基于元学习的概率域泛化学习方法
CN114398935A (zh) 一种基于深度学习的医学影像报告多标签分类方法
JP5971722B2 (ja) ハッシュ関数の変換行列を定める方法、該ハッシュ関数を利用するハッシュ型近似最近傍探索方法、その装置及びそのコンピュータプログラム
CN110276283B (zh) 图片识别方法、目标识别模型训练方法及装置
CN116910357A (zh) 一种数据处理方法及相关装置
CN115080587B (zh) 一种基于知识图谱的电子元器件替代方法、装置及介质
CN116680578A (zh) 一种基于跨模态模型的深度语义理解方法
CN107622048B (zh) 一种文本模式识别方法及系统
CN109885758A (zh) 一种基于二部图的新型随机游走的推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination