CN110705690A - 基于生成模型和元学习优化方法的连续学习方法及系统 - Google Patents

基于生成模型和元学习优化方法的连续学习方法及系统 Download PDF

Info

Publication number
CN110705690A
CN110705690A CN201910899856.XA CN201910899856A CN110705690A CN 110705690 A CN110705690 A CN 110705690A CN 201910899856 A CN201910899856 A CN 201910899856A CN 110705690 A CN110705690 A CN 110705690A
Authority
CN
China
Prior art keywords
learning
model
meta
task
optimization method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910899856.XA
Other languages
English (en)
Other versions
CN110705690B (zh
Inventor
朱文武
刘月
王鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910899856.XA priority Critical patent/CN110705690B/zh
Publication of CN110705690A publication Critical patent/CN110705690A/zh
Application granted granted Critical
Publication of CN110705690B publication Critical patent/CN110705690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了一种基于生成模型和元学习优化方法的连续学习方法及系统，其中，该方法包括以下步骤：建立深度学习模型和生成模型；接收到多个新任务时，利用元学习优化方法训练生成模型，生成模拟数据；将模拟数据和多个新任务的输入数据同时输入深度学习模型进行训练，使训练后的深度学习模型根据任意输入数据执行不同的任务。该方法结合生成模型和元学习的优化方法解决连续学习场景下的机器学习问题，也解决了多任务随时间先后到达时，模型在旧任务上学习的知识如何迁移到新任务学习的问题。

Description

基于生成模型和元学习优化方法的连续学习方法及系统
技术领域
本发明涉及机器连续学习技术领域，特别涉及一种基于生成模型和元学习优化方法的连续学习方法及系统。
背景技术
在统计机器学习系统和深度学习系统投入使用时，要求模型学习到的输入数据和输出数据的分布和要进行测试的分布是一致的，同时也要考虑输入数据、输出数据的分布随时间的变化。在单一任务的机器学习场景下，统计机器学习模型或深度神经网络模型的可行性和有效性严重取决于一个假设：输入和输出数据的分布不会随时间发生显著变化；否则会使得模型原本学习到的模式和复杂关系表现不佳或甚至完全不可用。但在真实世界中，这样的假设条件很少能够成立。以人类的认知学习为例，人类大脑在学习过程中，能够应对输入数据随时间变化的显著性和多样性，这是目前针对单一任务的机器学习模型不能够适应的。因此，使得神经网络的连续学习问题得到了越来越多的关注。
连续学习场景不同于传统单一任务的机器学习场景，也不同于多任务同时学习的场景。在连续学习的场景中，任务按照时间顺序到达，当前任务的训练过程结束后，继续在同一模型上训练下一个任务，已经结束的任务的数据是不能获得的，即我们不能获得已经结束的任务的数据分布。在测试阶段，连续学习场景下的模型要完成所有任务的测试，并保证在所有任务上的表现比较好。
解决连续学习问题的难点在于学习新任务的同时尽可能少地遗忘旧任务。现有技术主要通过约束模型参数变化程度、增加记忆储存单元等方法解决遗忘旧任务的问题。现有技术的缺点时通过约束模型参数变化程度一方面会影响新任务的学习效果，另一方面解决遗忘问题的效果不好；通过增加记忆储存单元的方法会增加额外的储存空间，当储存空间有限时，模型解决遗忘问题的效果不好。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于生成模型和元学习优化方法的连续学习方法。
本发明的另一个目的在于提出一种基于生成模型和元学习优化方法的连续学习系统。
为达到上述目的，本发明一方面提出了基于生成模型和元学习优化方法的连续学习方法，包括以下步骤：建立深度学习模型和生成模型；接收到多个新任务时，利用元学习优化方法训练所述生成模型，生成模拟数据；将所述模拟数据和所述多个新任务的输入数据同时输入所述深度学习模型进行训练，使训练后的深度学习模型根据任意输入数据执行不同的任务。
本发明实施例的基于生成模型和元学习优化方法的连续学习方法，通过建立元学习方法和生成模型相结合的框架，应用在连续学习的场景下，符合人类对于真实世界的认知过程；通过利用元学习优化方法，解决连续学习中的灾难性遗忘问题，同时提高模型从旧任务到新任务的迁移能力；通过利用生成模型，增量式学习不同任务的数据分布，生成具有多样性的模拟数据，解决灾难性遗忘问题。
另外，根据本发明上述实施例的基于生成模型和元学习优化方法的连续学习方法，还可以具有以下附加的技术特征：
在本发明的一个实施例中，所述多个新任务包括多个输入数据和所述多个输入数据需执行的目标任务。
在本发明的一个实施例中，所述元学习优化方法训练过程为：利用所述多个输入数据得到所述生成模型的当前梯度，将所述当前梯度方向下降预设梯度，再计算梯度下降后的模型参数的梯度，使用新梯度更新所述生成模型的参数，得到更新后的生成模型，利用所述更新后的生成模型生成所述模拟数据。
在本发明的一个实施例中，当接收到第一个任务时，利用所述元学习优化方法训练所述生成模型，使所述生成模型在当前任务上效果好。
在本发明的一个实施例中，每次接收到新任务时，所述元学习优化方法均根据新任务训练所述生成模型，使所述更新后的生成模型根据不同任务生成不同的模拟数据。
为达到上述目的，本发明另一方面提出了一种基于生成模型和元学习优化方法的连续学习系统，包括：构建模块，用于建立深度学习模型和生成模型；第一训练模块，用于接收到多个新任务时，利用元学习优化方法训练所述生成模型，生成模拟数据；第二训练模块，用于将所述模拟数据和所述多个新任务的输入数据同时输入所述深度学习模型进行训练，使训练后的深度学习模型根据任意输入数据执行不同的任务。
本发明实施例的基于生成模型和元学习优化方法的连续学习系统，建立元学习方法和生成模型相结合的框架，应用在连续学习的场景下，符合人类对于真实世界的认知过程；通过利用元学习优化方法，解决连续学习中的灾难性遗忘问题，同时提高模型从旧任务到新任务的迁移能力；通过利用生成模型，增量式学习不同任务的数据分布，生成具有多样性的模拟数据，解决灾难性遗忘问题。
另外，根据本发明上述实施例的基于生成模型和元学习优化方法的连续学习系统还可以具有以下附加的技术特征：
在本发明的一个实施例中，所述多个新任务包括多个输入数据和所述多个输入数据需执行的目标任务。
在本发明的一个实施例中，所述元学习优化方法训练过程为：利用所述多个输入数据得到所述生成模型的当前梯度，将所述当前梯度方向下降预设梯度，再计算梯度下降后的模型参数的梯度，使用新梯度更新所述生成模型的参数，得到更新后的生成模型，利用所述更新后的生成模型生成所述模拟数据。
在本发明的一个实施例中，当接收到第一个任务时，利用所述元学习优化方法训练所述生成模型，使所述生成模型在当前任务上效果好。
在本发明的一个实施例中，当接收到第一个任务时，利用所述元学习优化方法训练所述生成模型，使所述生成模型在当前任务上效果好。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的基于生成模型和元学习优化方法的连续学习方法流程图；
图2为根据本发明实施例的利用学习优化方法学习新任务流程示意图；
图3为根据本发明实施例的基于生成模型和元学习优化方法的连续学习系统结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于生成模型和元学习优化方法的连续学习方法及系统，首先将参照附图描述根据本发明实施例提出的基于生成模型和元学习优化方法的连续学习方法。
图1是本发明一个实施例的基于生成模型和元学习优化方法的连续学习方法流程图。
如图1所示，该基于生成模型和元学习优化方法的连续学习方法包括以下步骤：
在步骤S101中，建立深度学习模型和生成模型。
具体地，首先建立深度学习模型，可以选择卷积神经网络、全连接网络等模型，输入数据一般是图片、视频等形式，输出根据任务的不同有所变化。再建立生成模型，利用生成对抗网络，输入是高斯噪声，输出一般是图片、视频等。
在步骤S102中，接收到多个新任务时，利用元学习优化方法训练生成模型，生成模拟数据。
在本发明的一个实施例中，多个新任务包括多个输入数据和多个输入数据需执行的目标任务。
在本发明的一个实施例中，元学习优化方法训练过程为：利用多个输入数据得到生成模型的当前梯度，将当前梯度方向下降预设梯度，再计算梯度下降后的模型参数的梯度，使用新梯度更新生成模型的参数，得到更新后的生成模型，利用更新后的生成模型生成模拟数据。
也就是说，元学习优化方法的具体训练步骤是：利用输入数据得到当前模型的梯度，在当前梯度方向下降若干步，再计算梯度下降后的模型参数的梯度，使用新梯度更新原来的模型参数。
其中，当接收到第一个任务时，利用元学习优化方法训练生成模型，使生成模型在当前任务上效果好。也就是说，元学习优化方法能够在样本量少的情况下达到较好的学习效果。
在本发明的一个实施例中，每次接收到新任务时，元学习优化方法均根据新任务训练生成模型，使更新后的生成模型根据不同任务生成不同的模拟数据。
也就是说，每次新任务到达后，都训练生成模型，使得生成模型可以根据任务不同生成不同分布的数据。且生成模型可以学习旧任务的数据分布，在旧任务的数据不能获得的情况下生成模拟数据。
在步骤S103中，将模拟数据和多个新任务的输入数据同时输入深度学习模型进行训练，使训练后的深度学习模型根据任意输入数据执行不同的任务。
也就是说，在训练新任务时，利用生成模型生成模拟数据，将模拟数据和真实数据同时输入深度学习模型中进行学习。深度学习模型训练结束后，能够根据任意输入数据执行不同的任务。
如图2所示，在用户与机器的多任务交互场景中，用户对于任务的选择时随机的，每个任务的训练数据是固定的，基于本发明实施例，机器能够根据用户的输入自动判断用户选择的是什么任务，为用户提供相应的反馈。例如，用户输入一张图片，机器可以输出图片的类别，可以输出对于图片的文字描述，也可以输出图片经过变换后的新图片。
根据本发明实施例提出的基于生成模型和元学习优化方法的连续学习方法，通过建立元学习方法和生成模型相结合的框架，应用在连续学习的场景下，符合人类对于真实世界的认知过程；通过利用元学习优化方法，可有效解决连续学习中的灾难性遗忘问题，同时能够充分学习不同任务之间的关系，提高多任务之间的迁移效率，提高提高模型的学习能力；通过利用生成模型，增量式学习不同任务的数据分布，生成具有多样性的模拟数据，解决灾难性遗忘问题。
其次参照附图描述根据本发明实施例提出的基于生成模型和元学习优化方法的连续学习系统。
图3是本发明一个实施例的基于生成模型和元学习优化方法的连续学习系统结构示意图。
如图3所示，该基于生成模型和元学习优化方法的连续学习系统10包括：构建模块100、第一训练模块200和第二训练模块300。
其中，构建模块100，用于建立深度学习模型和生成模型。第一训练模块200，用于接收到多个新任务时，利用元学习优化方法训练生成模型，生成模拟数据。第二训练模块300，用于将模拟数据和多个新任务的输入数据同时输入深度学习模型进行训练，使训练后的深度学习模型根据任意输入数据执行不同的任务。
在本发明的一个实施例中，多个新任务包括多个输入数据和多个输入数据需执行的目标任务。
在本发明的一个实施例中，元学习优化方法训练过程为：
利用多个输入数据得到生成模型的当前梯度，将当前梯度方向下降预设梯度，再计算梯度下降后的模型参数的梯度，使用新梯度更新生成模型的参数，得到更新后的生成模型，利用更新后的生成模型生成模拟数据。
在本发明的一个实施例中，当接收到第一个任务时，利用元学习优化方法训练生成模型，使生成模型在当前任务上效果好。
在本发明的一个实施例中，每次接收到新任务时，元学习优化方法均根据新任务训练生成模型，使更新后的生成模型根据不同任务生成不同的模拟数据。
需要说明的是，前述对基于生成模型和元学习优化方法的连续学习方法实施例的解释说明也适用于该系统，此处不再赘述。
根据本发明实施例提出的基于生成模型和元学习优化方法的连续学习系统，通过建立元学习方法和生成模型相结合的框架，应用在连续学习的场景下，符合人类对于真实世界的认知过程；通过利用元学习优化方法，可有效解决连续学习中的灾难性遗忘问题，同时能够充分学习不同任务之间的关系，提高多任务之间的迁移效率，提高提高模型的学习能力；通过利用生成模型，增量式学习不同任务的数据分布，生成具有多样性的模拟数据，解决灾难性遗忘问题。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于生成模型和元学习优化方法的连续学习方法，其特征在于，包括以下步骤：
建立深度学习模型和生成模型；
接收到多个新任务时，利用元学习优化方法训练所述生成模型，生成模拟数据；
将所述模拟数据和所述多个新任务的输入数据同时输入所述深度学习模型进行训练，使训练后的深度学习模型根据任意输入数据执行不同的任务。
2.根据权利要求1所述的基于生成模型和元学习优化方法的连续学习方法，其特征在于，所述多个新任务包括多个输入数据和所述多个输入数据需执行的目标任务。
3.根据权利要求1所述的基于生成模型和元学习优化方法的连续学习方法，其特征在于，所述元学习优化方法训练过程为：
利用所述多个输入数据得到所述生成模型的当前梯度，将所述当前梯度方向下降预设梯度，再计算梯度下降后的模型参数的梯度，使用新梯度更新所述生成模型的参数，得到更新后的生成模型，利用所述更新后的生成模型生成所述模拟数据。
4.根据权利要求3所述的基于生成模型和元学习优化方法的连续学习方法，其特征在于，当接收到第一个任务时，利用所述元学习优化方法训练所述生成模型，使所述生成模型在当前任务上效果好。
5.根据权利要求3所述的基于生成模型和元学习优化方法的连续学习方法，其特征在于，每次接收到新任务时，所述元学习优化方法均根据新任务训练所述生成模型，使所述更新后的生成模型根据不同任务生成不同的模拟数据。
6.一种基于生成模型和元学习优化方法的连续学习系统，其特征在于，包括：
构建模块，用于建立深度学习模型和生成模型；
第一训练模块，用于接收到多个新任务时，利用元学习优化方法训练所述生成模型，生成模拟数据；
第二训练模块，用于将所述模拟数据和所述多个新任务的输入数据同时输入所述深度学习模型进行训练，使训练后的深度学习模型根据任意输入数据执行不同的任务。
7.根据权利要求6所述的基于生成模型和元学习优化方法的连续学习系统，其特征在于，所述多个新任务包括多个输入数据和所述多个输入数据需执行的目标任务。
8.根据权利要求6所述的基于生成模型和元学习优化方法的连续学习系统，其特征在于，所述元学习优化方法训练过程为：
利用所述多个输入数据得到所述生成模型的当前梯度，将所述当前梯度方向下降预设梯度，再计算梯度下降后的模型参数的梯度，使用新梯度更新所述生成模型的参数，得到更新后的生成模型，利用所述更新后的生成模型生成所述模拟数据。
9.根据权利要求8所述的基于生成模型和元学习优化方法的连续学习系统，其特征在于，当接收到第一个任务时，利用所述元学习优化方法训练所述生成模型，使所述生成模型在当前任务上效果好。
10.根据权利要求8所述的基于生成模型和元学习优化方法的连续学习系统，其特征在于，每次接收到新任务时，所述元学习优化方法均根据新任务训练所述生成模型，使所述更新后的生成模型根据不同任务生成不同的模拟数据。
CN201910899856.XA 2019-09-23 2019-09-23 基于生成模型和元学习优化方法的连续学习方法及系统 Active CN110705690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910899856.XA CN110705690B (zh) 2019-09-23 2019-09-23 基于生成模型和元学习优化方法的连续学习方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910899856.XA CN110705690B (zh) 2019-09-23 2019-09-23 基于生成模型和元学习优化方法的连续学习方法及系统

Publications (2)

Publication Number Publication Date
CN110705690A true CN110705690A (zh) 2020-01-17
CN110705690B CN110705690B (zh) 2021-09-14

Family

ID=69195020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910899856.XA Active CN110705690B (zh) 2019-09-23 2019-09-23 基于生成模型和元学习优化方法的连续学习方法及系统

Country Status (1)

Country Link
CN (1) CN110705690B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709409A (zh) * 2020-08-20 2020-09-25 腾讯科技（深圳）有限公司 人脸活体检测方法、装置、设备及介质
CN111950630A (zh) * 2020-08-12 2020-11-17 深圳市烨嘉为技术有限公司 基于两阶段迁移学习的小样本工业产品缺陷分类方法
CN112257785A (zh) * 2020-10-23 2021-01-22 中科院合肥技术创新工程院 基于记忆巩固机制与gan模型的序列化任务完成方法及系统
CN112381237A (zh) * 2020-12-09 2021-02-19 中国船舶工业系统工程研究院 基于岸海协同的水面无人系统的持续自主学习架构系统
CN113095440A (zh) * 2020-09-01 2021-07-09 电子科技大学 基于元学习者的训练数据生成方法及因果效应异质反应差异估计方法
CN115099401A (zh) * 2022-05-13 2022-09-23 清华大学 基于世界建模的持续学习框架的学习方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034175A (zh) * 2017-06-12 2018-12-18 华为技术有限公司 数据处理方法、装置及设备
CN109754079A (zh) * 2018-12-13 2019-05-14 中南大学 一种基于参数重要性克服灾难性遗忘的方法
CN109753566A (zh) * 2019-01-09 2019-05-14 大连民族大学 基于卷积神经网络的跨领域情感分析的模型训练方法
CN110020682A (zh) * 2019-03-29 2019-07-16 北京工商大学 一种基于小样本学习的注意力机制关系对比网络模型方法
US20190228297A1 (en) * 2018-01-22 2019-07-25 Yuan Shen Artificial Intelligence Modelling Engine
US20190272467A1 (en) * 2018-03-05 2019-09-05 Royal Bank Of Canada Device and method for machine-learning step-size adaptation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034175A (zh) * 2017-06-12 2018-12-18 华为技术有限公司 数据处理方法、装置及设备
US20190228297A1 (en) * 2018-01-22 2019-07-25 Yuan Shen Artificial Intelligence Modelling Engine
US20190272467A1 (en) * 2018-03-05 2019-09-05 Royal Bank Of Canada Device and method for machine-learning step-size adaptation
CN109754079A (zh) * 2018-12-13 2019-05-14 中南大学 一种基于参数重要性克服灾难性遗忘的方法
CN109753566A (zh) * 2019-01-09 2019-05-14 大连民族大学 基于卷积神经网络的跨领域情感分析的模型训练方法
CN110020682A (zh) * 2019-03-29 2019-07-16 北京工商大学 一种基于小样本学习的注意力机制关系对比网络模型方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李茂莹 等: "同构迁移学习理论和算法研究进展", 《南京信息工程大学学报(自然科学版)》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950630A (zh) * 2020-08-12 2020-11-17 深圳市烨嘉为技术有限公司 基于两阶段迁移学习的小样本工业产品缺陷分类方法
CN111950630B (zh) * 2020-08-12 2022-08-02 深圳市烨嘉为技术有限公司 基于两阶段迁移学习的小样本工业产品缺陷分类方法
CN111709409A (zh) * 2020-08-20 2020-09-25 腾讯科技（深圳）有限公司 人脸活体检测方法、装置、设备及介质
CN113095440A (zh) * 2020-09-01 2021-07-09 电子科技大学 基于元学习者的训练数据生成方法及因果效应异质反应差异估计方法
CN113095440B (zh) * 2020-09-01 2022-05-17 电子科技大学 基于元学习者的训练数据生成方法及因果效应异质反应差异估计方法
CN112257785A (zh) * 2020-10-23 2021-01-22 中科院合肥技术创新工程院 基于记忆巩固机制与gan模型的序列化任务完成方法及系统
CN112381237A (zh) * 2020-12-09 2021-02-19 中国船舶工业系统工程研究院 基于岸海协同的水面无人系统的持续自主学习架构系统
CN115099401A (zh) * 2022-05-13 2022-09-23 清华大学 基于世界建模的持续学习框架的学习方法、装置及设备
CN115099401B (zh) * 2022-05-13 2024-04-26 清华大学 基于世界建模的持续学习框架的学习方法、装置及设备

Also Published As

Publication number Publication date
CN110705690B (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN110705690B (zh) 基于生成模型和元学习优化方法的连续学习方法及系统
JP7131393B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN109697500A (zh) 数据处理方法、装置、电子设备及存储介质
US20170255718A1 (en) Method and system for determing welding process parameters
CN109202895A (zh) 设计支持装置、设计支持方法及存储设计支持程序的介质
CN111160562A (zh) 基于元学习优化方法的连续学习方法及装置
CN112541584A (zh) 深度神经网络模型并行模式选择方法
CN114258548A (zh) 用于为工程方案的完成提供推荐的方法和装置
CN115495838A (zh) 车身疲劳耐久仿真分析自动化方法及系统
CN110516475A (zh) 一种数据处理方法、装置及服务器
CN109976153A (zh) 控制无人驾驶设备及模型训练的方法、装置及电子设备
CN106886788B (zh) 基于多指标决策的单目标仿真航迹跟踪难度检测方法
CN115019150B (zh) 目标检测定点模型建立方法、装置及可读存储介质
CN116360294A (zh) 基于有源配电网的仿真方法及装置
CN115222773A (zh) 单点运动学习方法及装置
KR101335657B1 (ko) 실시간 시뮬레이터와 시스템 스위칭을 이용한 대규모 ｄｃｓ 검증 장치 및 그 검증방법
Fujita Deep Reinforcement Learning Approach for Maintenance Planning in a Flow-Shop Scheduling Problem
Fehrenbach et al. Developing a rapid service prototyping framework
Al-Azawi et al. Multi agent software engineering (mase) and agile methodology for game development
CN112967190A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN115099401B (zh) 基于世界建模的持续学习框架的学习方法、装置及设备
WO2020079815A1 (ja) 学習プログラム、学習方法および学習装置
CN117798936B (zh) 机械臂集群的控制方法、装置、电子设备及存储介质
WO2022097302A1 (ja) 生成プログラム、生成方法および情報処理装置
CN113395698B (zh) 资源调度方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant