CN111178526A - 一种基于元学习的变分随机特征的核方法 - Google Patents
一种基于元学习的变分随机特征的核方法 Download PDFInfo
- Publication number
- CN111178526A CN111178526A CN201911404255.3A CN201911404255A CN111178526A CN 111178526 A CN111178526 A CN 111178526A CN 201911404255 A CN201911404255 A CN 201911404255A CN 111178526 A CN111178526 A CN 111178526A
- Authority
- CN
- China
- Prior art keywords
- learning
- meta
- task
- parameters
- omega
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000011478 gradient descent method Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 abstract description 4
- 238000005070 sampling Methods 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于元学习的变分随机特征的核方法,属于元学习算法领域,可以实现利用LSTM和支持数据集S,根据前序任务的状态,可以学习得到参数的ω均值和方差;根据重新参数化原理,可以通过ω均值和方差所描述的分布,重新采样生成参数ω,这样,每一个任务t,可得一组参数ω,并利用这组参数可以构造分类器,对新任务数据集Q进行分类,整体优化的目的是使系统可以通过少量数据,快速学习到一个合适的分类器参数,本发明同目前现有的其他元学习方法区别在于,一方面首次将变分思想结合到LSTM框架中,利用LSTM融合多次任务中的知识信息,另一方面首次将核近似方法和元学习相结合,利用元学习得到核近似的参数ω,并利用核近似方法构建分类器。
Description
技术领域
本发明涉及元学习算法领域,更具体地说,涉及一种基于元学习的变分随机特征的核方法。
背景技术
元学习的目的是解决学习如何学习的问题。其本质是利用对其他任务的前期学习的经验,快速适应新任务的需求。目前主流方法包括:1)通过在神经网络上添加记忆来实现对以往经验的利用;2)通过让神经网络利用以往的任务学习中梯度预测经验,使其在面对新的任务中,尽量将梯度预测准,达到快速学习的目的;3)人的注意力是可以利用以往的经验来实现提升的,基于此,利用以往的任务来训练一个注意力模型,从而面对新的任务,能够直接关注最重要的部分加快学习效果;4)利用LSTM的结构训练出一个神经网络的更新机制,输入当前网络参数,直接输出新的更新参数;5)同时启动多个任务,然后获取不同任务学习的合成梯度方向来更新,从而学习一个共同的最佳的基准平台。
核近似方法是通过对具有平移不变的核函数,进行傅里叶变换,找出显式的特征映射关系,避免复杂的计算。核近似方法具有很好的刻画非线性关系的特点,并在分类等任务上取得良好的性能,但其在元学习中很少有人研究。
目前在核近似方法中,虽在寻找显示的映射函数过程中,可以生成随机特征,并且这种随机特征可以很好地刻画非线性的问题,但其解决的只是传统机器学习的问题,即根据数据生成模型。而元学习旨在学会学习,即模型对新数据的学习能力。本发明旨在将两者的优点结合,并利用LSTM学习得到各不同任务之间的关联知识。
发明内容
1.要解决的技术问题
针对现有技术中存在的问题,本发明的目的在于提供一种基于元学习的变分随机特征的核方法,它可以实现利用LSTM和支持数据集S,根据前序任务的状态,可以学习得到参数的ω均值和方差;根据重新参数化原理,可以通过ω均值和方差所描述的分布,重新采样生成参数ω,这样,每一个任务t,可得一组参数ω,并利用这组参数可以构造分类器,对新任务数据集Q进行分类,整体优化的目的是使系统可以通过少量数据,快速学习到一个合适的分类器参数,本发明同目前现有的其他元学习方法区别在于,一方面首次将变分思想结合到LSTM框架中,利用LSTM融合多次任务中的知识信息,另一方面首次将核近似方法和元学习相结合,利用元学习得到核近似的参数ω,并利用核近似方法构建分类器。
2.技术方案
为解决上述问题,本发明采用如下的技术方案。
一种基于元学习的变分随机特征的核方法,包括以下步骤:
S1、学习过程:
S11、给定支持集中输入图像x,根据常规的卷积神经网络,计算得到图像特征e;
S12、对支持集中所有图像,处理得到支持集图像特征;
S13、构建如图1所示的LSTM的损失函数如下:
S16、由均值和方差生成如下权重:
S17、对每一个任务t,重复S21到S26,将支持集中所有任务覆盖;
S2、根据ω参数计算核相似测度进行分类:
S21、根据步骤S2得到的ω参数,构建z函数。
S22、构建训练核矩阵K的每一个矩阵元素如下:
k(x,x′)=z(x)z(x′)T
其中x和x’为训练数据支持集中数据。
S23、得到基本分类器的参数α如下:
α=(λI+K)-1Y;
S24、构建训练和新任务之间的核矩阵,
进一步的,所述步骤S11中的卷积神经网络包括但不限于LeNet、AlexNet、VGG、NiN、GooLeNet、ResNet和DenseNet。
进一步的,所述步骤S12中按照置换不变池化方法获得支持集图像特征。
进一步的,所述步骤S13其中qΦ为利用变分的思想近似得到后验概率;p为元学习的先验概率。
进一步的,所述步骤S14和步骤S15中均按照随机梯度下降法更新LSTM参数。
3.有益效果
相比于现有技术,本发明的优点在于:
本方案可以实现利用LSTM和支持数据集S,根据前序任务的状态,可以学习得到参数的ω均值和方差;根据重新参数化原理,可以通过ω均值和方差所描述的分布,重新采样生成参数ω,这样,每一个任务t,可得一组参数ω,并利用这组参数可以构造分类器,对新任务数据集Q进行分类,整体优化的目的是使系统可以通过少量数据,快速学习到一个合适的分类器参数,本发明同目前现有的其他元学习方法区别在于,一方面首次将变分思想结合到LSTM框架中,利用LSTM融合多次任务中的知识信息,另一方面首次将核近似方法和元学习相结合,利用元学习得到核近似的参数ω,并利用核近似方法构建分类器。
附图说明
图1为本发明的学习示意图;
图2为本发明在miniImageNet和CIFAR-FS数据库上的结果数据表。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述;显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“上”、“下”、“内”、“外”、“顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“设置有”、“套设/接”、“连接”等,应做广义理解,例如“连接”,可以是固定连接,也可以是可拆卸连接,或一体地连接,可以是机械连接,也可以是电连接,可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通,对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例1:
一种基于元学习的变分随机特征的核方法,请参阅图1,包括以下步骤:
S1、学习过程:
S11、给定支持集中输入图像x,根据常规的卷积神经网络,计算得到图像特征e;
S12、对支持集中所有图像,处理得到支持集图像特征;
S13、构建如图1所示的LSTM的损失函数如下:
S16、由均值和方差生成如下权重:
S17、对每一个任务t,重复S21到S26,将支持集中所有任务覆盖;
S2、根据ω参数计算核相似测度进行分类:
S21、根据步骤S2得到的ω参数,构建z函数。
S22、构建训练核矩阵K的每一个矩阵元素如下:
k(x,x′)=z(x)z(x′)T
其中x和x’为训练数据支持集中数据。
S23、得到基本分类器的参数α如下:
α=(λI+K)-1Y;
S24、构建训练和新任务之间的核矩阵,
本发明利用LSTM和支持数据集S,根据前序任务的状态,可以学习得到参数的ω均值和方差;根据重新参数化原理,可以通过ω均值和方差所描述的分布,重新采样生成参数ω,这样,每一个任务t,可得一组参数ω,并利用这组参数可以构造分类器,对新任务数据集Q进行分类。整体优化的目的是使系统可以通过少量数据,快速学习到一个合适的分类器参数。
请参阅图2,为本发明在miniImageNet和CIFAR-FS数据库上的结果数据表。
本发明同目前其他元学习方法区别在如下几点:
1、首次将变分思想结合到LSTM框架中,利用LSTM融合多次任务中的知识信息;
2、首次将核近似方法和元学习相结合,利用元学习得到核近似的参数ω,并利用核近似方法构建分类器。
以上所述,仅为本发明较佳的具体实施方式;但本发明的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其改进构思加以等同替换或改变,都应涵盖在本发明的保护范围内。
Claims (6)
1.一种基于元学习的变分随机特征的核方法,其特征在于:包括以下步骤:
S1、学习过程:
S11、给定支持集中输入图像x,根据常规的卷积神经网络,计算得到图像特征e;
S12、对支持集中所有图像,处理得到支持集图像特征;
S13、构建如图1所示的LSTM的损失函数如下:
S16、由均值和方差生成如下权重:
S17、对每一个任务t,重复S21到S26,将支持集中所有任务覆盖;
S2、根据ω参数计算核相似测度进行分类:
S21、根据步骤S2得到的ω参数,构建z函数。
S22、构建训练核矩阵K的每一个矩阵元素如下:
k(x,x′)=z(x)z(x′)T
其中x和x’为训练数据支持集中数据。
S23、得到基本分类器的参数α如下:
α=(λI+K)-1Y;
S24、构建训练和新任务之间的核矩阵,
3.根据权利要求1所述的一种基于元学习的变分随机特征的核方法,其特征在于:所述步骤S11中的卷积神经网络包括但不限于LeNet、AlexNet、VGG、NiN、GooLeNet、ResNet和DenseNet。
4.根据权利要求1所述的一种基于元学习的变分随机特征的核方法,其特征在于:所述步骤S12中按照置换不变池化方法获得支持集图像特征。
5.根据权利要求1所述的一种基于元学习的变分随机特征的核方法,其特征在于:所述步骤S13其中qΦ为利用变分的思想近似得到后验概率;p为元学习的先验概率。
6.根据权利要求1所述的一种基于元学习的变分随机特征的核方法,其特征在于:所述步骤S14和步骤S15中均按照随机梯度下降法更新LSTM参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911404255.3A CN111178526A (zh) | 2019-12-30 | 2019-12-30 | 一种基于元学习的变分随机特征的核方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911404255.3A CN111178526A (zh) | 2019-12-30 | 2019-12-30 | 一种基于元学习的变分随机特征的核方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111178526A true CN111178526A (zh) | 2020-05-19 |
Family
ID=70646570
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911404255.3A Pending CN111178526A (zh) | 2019-12-30 | 2019-12-30 | 一种基于元学习的变分随机特征的核方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111178526A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112116002A (zh) * | 2020-09-18 | 2020-12-22 | 北京旋极信息技术股份有限公司 | 一种检测模型的确定方法、验证方法和装置 |
CN113537044A (zh) * | 2021-07-14 | 2021-10-22 | 哈尔滨理工大学 | 基于STFT与改进DenseNet的航空发动机故障诊断方法 |
JP7452648B2 (ja) | 2020-06-08 | 2024-03-19 | 日本電信電話株式会社 | 学習方法、学習装置及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109919299A (zh) * | 2019-02-19 | 2019-06-21 | 西安交通大学 | 一种基于元学习器逐步梯度校正的元学习算法 |
CN109961093A (zh) * | 2019-03-07 | 2019-07-02 | 北京工业大学 | 一种基于众智集成学习的图像分类方法 |
CN110032646A (zh) * | 2019-05-08 | 2019-07-19 | 山西财经大学 | 基于多源领域适应联合学习的跨领域文本情感分类方法 |
-
2019
- 2019-12-30 CN CN201911404255.3A patent/CN111178526A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109919299A (zh) * | 2019-02-19 | 2019-06-21 | 西安交通大学 | 一种基于元学习器逐步梯度校正的元学习算法 |
CN109961093A (zh) * | 2019-03-07 | 2019-07-02 | 北京工业大学 | 一种基于众智集成学习的图像分类方法 |
CN110032646A (zh) * | 2019-05-08 | 2019-07-19 | 山西财经大学 | 基于多源领域适应联合学习的跨领域文本情感分类方法 |
Non-Patent Citations (1)
Title |
---|
HAOLIANG SUN ET.AL: "Learning to Learn Kernels with Variational Random Features", 《OPENREVIEW.NET -ICLR 2020 CONFERENCE BLIND SUBMISSION》, pages 1 - 16 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7452648B2 (ja) | 2020-06-08 | 2024-03-19 | 日本電信電話株式会社 | 学習方法、学習装置及びプログラム |
CN112116002A (zh) * | 2020-09-18 | 2020-12-22 | 北京旋极信息技术股份有限公司 | 一种检测模型的确定方法、验证方法和装置 |
CN113537044A (zh) * | 2021-07-14 | 2021-10-22 | 哈尔滨理工大学 | 基于STFT与改进DenseNet的航空发动机故障诊断方法 |
CN113537044B (zh) * | 2021-07-14 | 2022-08-26 | 哈尔滨理工大学 | 基于STFT与改进DenseNet的航空发动机故障诊断方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108229590B (zh) | 一种获取多标签用户画像的方法和装置 | |
CN106777318B (zh) | 基于协同训练的矩阵分解跨模态哈希检索方法 | |
CN110674407B (zh) | 基于图卷积神经网络的混合推荐方法 | |
CN109993102B (zh) | 相似人脸检索方法、装置及存储介质 | |
CN110674323B (zh) | 基于虚拟标签回归的无监督跨模态哈希检索方法及系统 | |
CN111178526A (zh) | 一种基于元学习的变分随机特征的核方法 | |
WO2019015246A1 (zh) | 图像特征获取 | |
CN108984642B (zh) | 一种基于哈希编码的印花织物图像检索方法 | |
WO2021109464A1 (zh) | 一种面向大规模用户的个性化教学资源推荐方法 | |
JP6029041B2 (ja) | 顔印象度推定方法、装置、及びプログラム | |
CN108171279A (zh) | 一种多视角视频自适应乘积Grassmann流形子空间聚类方法 | |
CN111353033B (zh) | 一种训练文本相似度模型的方法和系统 | |
WO2020007177A1 (zh) | 计算机执行的报价方法、报价装置、电子设备及存储介质 | |
CN114186084B (zh) | 在线多模态哈希检索方法、系统、存储介质及设备 | |
CN113868366A (zh) | 一种面向流数据的在线跨模态检索方法与系统 | |
CN111090765B (zh) | 一种基于缺失多模态哈希的社交图像检索方法及系统 | |
CN111178543B (zh) | 一种基于元学习的概率域泛化学习方法 | |
CN114398935A (zh) | 一种基于深度学习的医学影像报告多标签分类方法 | |
JP5971722B2 (ja) | ハッシュ関数の変換行列を定める方法、該ハッシュ関数を利用するハッシュ型近似最近傍探索方法、その装置及びそのコンピュータプログラム | |
CN110276283B (zh) | 图片识别方法、目标识别模型训练方法及装置 | |
CN116910357A (zh) | 一种数据处理方法及相关装置 | |
CN115080587B (zh) | 一种基于知识图谱的电子元器件替代方法、装置及介质 | |
CN116680578A (zh) | 一种基于跨模态模型的深度语义理解方法 | |
CN107622048B (zh) | 一种文本模式识别方法及系统 | |
CN109885758A (zh) | 一种基于二部图的新型随机游走的推荐方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |