CN116108195A - 基于时序元学习的动态知识图谱预测方法和装置 - Google Patents

基于时序元学习的动态知识图谱预测方法和装置 Download PDF

Info

Publication number
CN116108195A
CN116108195A CN202211551913.3A CN202211551913A CN116108195A CN 116108195 A CN116108195 A CN 116108195A CN 202211551913 A CN202211551913 A CN 202211551913A CN 116108195 A CN116108195 A CN 116108195A
Authority
CN
China
Prior art keywords
learning task
meta
base model
current
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211551913.3A
Other languages
English (en)
Inventor
吴书
刘强
张晓宇
夏雨微
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202211551913.3A priority Critical patent/CN116108195A/zh
Publication of CN116108195A publication Critical patent/CN116108195A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种基于时序元学习的动态知识图谱预测方法和装置，其中方法包括：获取多个历史时刻对应的知识图谱；将所述多个历史时刻对应的知识图谱输入至知识图谱预测模型，得到所述知识图谱预测模型输出的当前时刻对应的知识图谱的预测结果；所述知识图谱预测模型是基于多个在时序上相互关联的元学习任务对基模型进行训练后得到的；各个元学习任务中的支持集和查询集是基于相邻历史时刻对应的知识图谱确定的。本申请提供的方法和装置，提高了知识图谱预测模型对于动态知识图谱中时序元知识的学习能力，提高了知识图谱预测模型对于未知实体或者未知关系的预测能力，提高了动态知识图谱用于事件预测的准确性。

Description

基于时序元学习的动态知识图谱预测方法和装置
技术领域
本申请涉及人工智能技术领域，具体而言，涉及一种基于时序元学习的动态知识图谱预测方法和装置。
背景技术
传统的知识图谱以结构化的形式将现实世界的各种实体和关系表示成了多关系数据，并被应用于各种下游任务，如信息检索、对话系统、阅读理解、医疗健康等。然而，现实世界中的事件往往不是一成不变的，而是会随着时间不断进行演化、更新。而传统的静态知识图谱无法表达出事件这一时序特性，因此动态知识图谱被提出。
动态知识图谱作为表示现实世界中事件随时间演变的有效方式，具有重要的实用价值。在动态知识图谱中，事件的表达从三元组扩展到四元组。由于动态知识图谱具有很大的实用价值，近年来动态知识图谱推理的相关研究不断涌现。
但是，现有的知识图谱预测方法忽略了时间信息，即忽略了实体和关系表征随时间演化的性质，无法对未来事件或者未来实体进行准确的推理预测。
因此，如何提高动态知识图谱预测的准确性成为目前业界亟待解决的重要课题。
发明内容
本申请提供一种基于时序元学习的动态知识图谱预测方法和装置，用于解决如何提高动态知识图谱预测的准确性的技术问题。
本申请提供一种基于时序元学习的动态知识图谱预测方法，包括：
获取多个历史时刻对应的知识图谱；
将所述多个历史时刻对应的知识图谱输入至知识图谱预测模型，得到所述知识图谱预测模型输出的当前时刻对应的知识图谱的预测结果；
其中，所述知识图谱预测模型是基于多个在时序上相互关联的元学习任务对基模型进行训练后得到的；各个元学习任务中的支持集和查询集是基于相邻历史时刻对应的知识图谱确定的。
根据本申请提供的基于时序元学习的动态知识图谱预测方法，所述知识图谱预测模型是基于如下步骤训练得到的：
确定基模型，以及多个历史时刻对应的知识图谱样本；
基于所述多个历史时刻对应的知识图谱样本，确定多个在时序上相互关联的元学习任务，以及各个元学习任务对应的支持集和查询集；
基于上上一元学习任务中的基模型更新参数和上一元学习任务中的基模型更新参数，确定当前元学习任务中的基模型初始参数；
基于所述当前元学习任务中的支持集和查询集对所述基模型进行训练，对所述当前元学习任务中的基模型初始参数进行更新，得到所述当前元学习任务中的基模型更新参数；
在所述当前元学习任务为最末元学习任务的情况下，基于所述当前元学习任务中的基模型更新参数，确定所述知识图谱预测模型。
根据本申请提供的基于时序元学习的动态知识图谱预测方法，所述基于上上一元学习任务中的基模型更新参数和上一元学习任务中的基模型更新参数，确定当前元学习任务中的基模型初始参数，包括：
基于当前元学习任务对应的平衡权重，对所述上上一元学习任务中的基模型更新参数和所述上一元学习任务中的基模型更新参数进行融合，得到所述当前元学习任务中支持集对应的基模型初始参数；
基于所述上一元学习任务中的基模型更新参数，确定所述当前元学习任务中查询集对应的基模型初始参数；
其中，所述当前元学习任务对应的平衡权重是基于所述上一元学习任务对应的平衡权重，以及所述上一元学习任务中的基模型在支持集中对应的损失函数梯度下降值确定的。
根据本申请提供的基于时序元学习的动态知识图谱预测方法，所述当前元学习任务对应的平衡权重包括第一平衡权重和/或第二平衡权重；
在所述当前元学习任务对应的支持集的预测结果为实体的情况下，基于所述上一元学习任务对应的第一平衡权重，以及所述上一元学习任务中的基模型对应的损失函数梯度下降值，确定所述当前元学习任务对应的第一平衡权重；
在所述当前元学习任务对应的支持集的预测结果为关系的情况下，基于所述上一元学习任务对应的第二平衡权重，以及所述上一元学习任务中的基模型对应的损失函数梯度下降值，确定所述当前元学习任务对应的第二平衡权重。
根据本申请提供的基于时序元学习的动态知识图谱预测方法，所述基于所述当前元学习任务中的支持集和查询集对所述基模型进行训练，对所述当前元学习任务中的基模型初始参数进行更新，得到所述当前元学习任务中的基模型更新参数，包括：
基于所述当前元学习任务中的支持集对所述基模型进行训练，对所述当前元学习任务中的支持集对应的基模型初始参数进行更新，得到所述当前元学习任务中的支持集对应的基模型更新参数；
基于所述当前元学习任务中的查询集对所述基模型进行训练，对所述当前元学习任务中的查询集对应的基模型初始参数进行更新，得到所述当前元学习任务中的查询集对应的基模型更新参数；
将所述查询集对应的基模型更新参数，作为所述当前元学习任务中的基模型更新参数。
根据本申请提供的基于时序元学习的动态知识图谱预测方法，所述基于所述当前元学习任务中的支持集对所述基模型进行训练，对所述当前元学习任务中的支持集对应的基模型初始参数进行更新，得到所述当前元学习任务中的支持集对应的基模型更新参数，包括：
基于所述当前元学习任务中的支持集对应的基模型初始参数，以及所述当前元学习任务中的基模型在支持集中对应的损失函数梯度下降值，确定所述当前元学习任务中的支持集对应的基模型更新参数。
根据本申请提供的基于时序元学习的动态知识图谱预测方法，所述基于所述当前元学习任务中的查询集对所述基模型进行训练，对所述当前元学习任务中的查询集对应的基模型初始参数进行更新，得到所述当前元学习任务中的查询集对应的基模型更新参数，包括：
基于所述当前元学习任务中的查询集对应的基模型初始参数，以及所述当前元学习任务中的基模型在查询集中对应的损失函数梯度下降值，确定所述当前元学习任务中的查询集对应的基模型更新参数；
其中，所述基模型在查询集中对应的损失函数是基于所述当前元学习任务中的支持集对应的基模型更新参数对基模型进行参数更新，并对所述查询集中的训练损失进行预测后确定的。
本申请提供一种基于时序元学习的动态知识图谱预测装置，包括：
获取单元，用于获取多个历史时刻对应的知识图谱；
预测单元，用于将所述多个历史时刻对应的知识图谱输入至知识图谱预测模型，得到所述知识图谱预测模型输出的当前时刻对应的知识图谱的预测结果；
其中，所述知识图谱预测模型是基于多个在时序上相互关联的元学习任务对基模型进行训练后得到的；各个元学习任务中的支持集和查询集是基于相邻历史时刻对应的知识图谱确定的。
本申请提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的基于时序元学习的动态知识图谱预测方法。
本申请提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于时序元学习的动态知识图谱预测方法。
本申请提供的基于时序元学习的动态知识图谱预测方法和装置，将多个历史时刻对应的知识图谱输入至知识图谱预测模型，得到知识图谱预测模型输出的当前时刻对应的知识图谱的预测结果；由于知识图谱预测模型是根据多个在时序上相互关联的元学习任务对基模型进行训练后得到的；各个元学习任务中的支持集和查询集是根据相邻历史时刻对应的知识图谱确定的；使得知识图谱预测模型既能够学习得到动态知识图谱中的演化信息，又能够学习得到各个元学习任务之间的时序相关性，提高了知识图谱预测模型对于动态知识图谱中时序元知识的学习能力，提高了知识图谱预测模型对于未知实体或者未知关系的预测能力，提高了动态知识图谱用于事件预测的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的基于时序元学习的动态知识图谱预测方法的流程示意图之一；
图2是本申请提供的基于时序元学习的动态知识图谱预测方法的流程示意图之二；
图3是本申请提供的基于时序元学习的动态知识图谱预测装置的结构示意图；
图4是本申请提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是本申请提供的基于时序元学习的动态知识图谱预测方法的流程示意图之一，如图1所示，该方法包括步骤110和步骤120。
步骤110、获取多个历史时刻对应的知识图谱。
具体地，本申请实施例提供的方法的执行主体为基于时序元学习的动态知识图谱预测装置。动态知识图谱预测装置可以通过软件形式实现，例如运行于电子设备中的应用程序；也可以通过硬件形式实现，例如电子设备中独立设置的硬件模块。此处的电子设备可以为移动电子设备，也可以为非移动电子设备。移动电子设备可以包括手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备和智能可穿戴设备等，非移动电子设备可以包括服务器、网络附属存储器和台式计算机等。
本申请实施例中的知识图谱为动态知识图谱。知识图谱中的事件可以采用四元组进行表示，例如某事件采用四元组(头实体，关系，尾实体，时间戳)表示，能够有效地表达在时间戳下，头实体与尾实体以关系相连接的信息。在知识图谱中，实体可以用节点表示，关系可以用节点之间的边进行表示。
动态知识图谱可以看作由具有不同时刻的知识图谱构成的序列。任一时刻对应的知识图谱为动态知识图谱在该时刻对应的知识图谱。例如，在任一时刻对动态知识图谱中的所有节点和边进行保存，可以得到该时刻对应的知识图谱，该知识图谱为知识图谱，仅能用于表示动态知识图谱在该时刻的状态。
可以对动态知识图谱在多个历史时刻的状态进行保存，得到多个历史时刻对应的知识图谱。
步骤120、将多个历史时刻对应的知识图谱输入至知识图谱预测模型，得到知识图谱预测模型输出的当前时刻对应的知识图谱的预测结果；其中，知识图谱预测模型是基于多个在时序上相互关联的元学习任务对基模型进行训练后得到的；各个元学习任务中的支持集和查询集是基于相邻历史时刻对应的知识图谱确定的。
具体地，知识图谱的预测结果为对知识图谱中已知实体之间的未知关系，或者已知关系所连接的未知实体进行预测后得到结果。通过知识图谱的预测结果，可以确定知识图谱中出现的新事件或者新实体。
知识图谱的预测结果可以通过知识图谱预测模型实现。将多个历史时刻对应的知识图谱输入至知识图谱预测模型，由知识图谱预测模型对动态知识图谱中的实体或者关系随着时间而进行变化的趋势进行预测，得到知识图谱的预测结果。
需要说明的是，本申请实施例中的知识图谱预测模型是通过两个训练阶段得到的。第一训练阶段为根据知识图谱样本对初始模型进行训练，得到基模型；第二训练阶段为建立时序元学习任务，对基模型进行训练后，得到知识图谱预测模型。
第一训练阶段的步骤包括：收集大量历史时刻对应的知识图谱样本；对各个知识图谱样本中的实体或者关系进行标注，确定样本标签；然后根据知识图谱样本和样本标签对初始模型进行训练，得到基模型。
初始模型可以采用图神经网络模型、卷积神经网络模型、全连接神经网络模型、循环神经网络模型和长短期记忆神经网络模型等。
在第一训练阶段结束后，可以进入第二训练阶段，采用元学习(Meta Learning)的方法对基模型进行训练。
在第二训练阶段，可以将该阶段的基模型的训练任务划分为多个元学习任务。
可以根据动态知识图谱在多个历史时刻的状态得到多个历史时刻对应的知识图谱。选择相邻历史时刻对应的知识图谱作为元学习任务对应的支持集(Support set)和查询集(Query set)。例如，选择两个相邻历史时刻对应的知识图谱，将前一历史时刻对应的知识图谱作为当前元学习任务中的支持集，将后一历史时刻对应的知识图谱作为当前元学习任务中的查询集。
此外，由于各个元学习任务对应的支持集和查询集中的知识图谱均是具有对应的时刻，因此，所建立的多个元学习任务在时间顺序上也是相互关联的。
根据多个元学习任务对应的支持集和查询集对基模型进行训练，由于支持集和查询集是根据相邻历史时刻对应的知识图谱确定的，基模型可以在单个元学习任务中学习动态知识图谱中的演化信息；由于各个元学习任务具有时间顺序，基模型可以学习各个元学习任务之间的时序相关性。
本申请实施例提供的基于时序元学习的动态知识图谱预测方法，将多个历史时刻对应的知识图谱输入至知识图谱预测模型，得到知识图谱预测模型输出的当前时刻对应的知识图谱的预测结果；由于知识图谱预测模型是根据多个在时序上相互关联的元学习任务对基模型进行训练后得到的；各个元学习任务中的支持集和查询集是根据相邻历史时刻对应的知识图谱确定的；使得知识图谱预测模型既能够学习得到动态知识图谱中的演化信息，又能够学习得到各个元学习任务之间的时序相关性，提高了知识图谱预测模型对于动态知识图谱中时序元知识的学习能力，提高了知识图谱预测模型对于未知实体或者未知关系的预测能力，提高了动态知识图谱用于事件预测的准确性。
需要说明的是，本申请每一个实施方式可以自由组合、调换顺序或者单独执行，并不需要依靠或依赖固定的执行顺序。
在一些实施例中，知识图谱预测模型是基于如下步骤训练得到的：
确定基模型，以及多个历史时刻对应的知识图谱样本；
基于多个历史时刻对应的知识图谱样本，确定多个在时序上相互关联的元学习任务，以及各个元学习任务对应的支持集和查询集；
基于上上一元学习任务中的基模型更新参数和上一元学习任务中的基模型更新参数，确定当前元学习任务中的基模型初始参数；
基于当前元学习任务中的支持集和查询集对基模型进行训练，对当前元学习任务中的基模型初始参数进行更新，得到当前元学习任务中的基模型更新参数；
在当前元学习任务为最末元学习任务的情况下，基于当前元学习任务中的基模型更新参数，确定知识图谱预测模型。
具体地，将动态知识图谱看作由具有不同时刻的知识图谱构成的序列。从这些不同时刻的知识图谱中，可以选取多个历史时刻对应的知识图谱作为训练样本，即多个历史时刻对应的知识图谱样本。
根据多个历史时刻对应的知识图谱样本，可以确定多个在时序上相互关联的元学习任务，以及各个元学习任务对应的支持集和查询集。例如，从时序上看，对于第t个元学习任务Tt可以用公式表示为：
Tt＝{Gt-1,Gt}
式中，t为时序，Gt-1和Gt为两个相邻历史时刻对应的知识图谱，知识图谱Gt-1作为第t个元学习任务中的支持集，知识图谱Gt作为第t个元学习任务中的查询集。
由于动态知识图谱的时间特性，动态知识图谱场景中的元学习任务是时间相关的。也就是说，从当前元学习任务中学到的元知识有助于学习下一元学习任务。在元学习任务的学习过程中，需要考虑它们之间的时序相关性。由于这种相关性实际上是由动态知识图谱中具有相邻时间戳的知识图谱之间的时序相关性产生的，因此建立元学习任务之间相关性的关键是在不同任务中关联时间上相邻的知识图谱。
因此，可以将上一元学习任务中的查询集作为当前元学习任务中的支持集，从而得到多个在时序上相互关联的元学习任务。
例如，当前元学习任务为第t个元学习任务，上上一元学习任务Tt-2可以表示为{Gt-3,Gt-2}，上一元学习任务Tt-1可以表示为{Gt-2,Gt-1}。知识图谱Gt-2为Tt-2中的查询集，同时也为Tt-1中的支持集。
对于任一元学习任务而言，基模型初始参数为该元学习任务训练之间基模型的初始参数，基模型更新参数为该元学习任务训练之后基模型更新后的参数。
为了使基模型可以学习到各个元学习任务之间的时序相关性，可以根据上上一元学习任务中的基模型更新参数和上一元学习任务中的基模型更新参数，确定当前元学习任务中的基模型初始参数。
为了使基模型可以在当前元学习任务中学习动态知识图谱的演化信息，可以根据当前元学习任务中的支持集和查询集对基模型进行训练，对当前元学习任务中的基模型初始参数进行更新，得到当前元学习任务中的基模型更新参数。
按照各个元学习任务的顺序，依次学习，在当前元学习任务为最末元学习任务的情况下，将当前元学习任务中的基模型更新参数作为基模型的最终模型参数，可以得到知识图谱预测模型。
在一些实施例中，基于上上一元学习任务中的基模型更新参数和上一元学习任务中的基模型更新参数，确定当前元学习任务中的基模型初始参数，包括：
基于当前元学习任务对应的平衡权重，对上上一元学习任务中的基模型更新参数和上一元学习任务中的基模型更新参数进行融合，得到当前元学习任务中支持集对应的基模型初始参数；
基于上一元学习任务中的基模型更新参数，确定当前元学习任务中查询集对应的基模型初始参数；
其中，当前元学习任务对应的平衡权重是基于上一元学习任务对应的平衡权重，以及上一元学习任务中的基模型在支持集中对应的损失函数梯度下降值确定的。
具体地，在开始当前元学习任务之间，可以先确定当前元学习任务对应的基模型初始参数。基模型初始参数又可以具体包括支持集对应的基模型初始参数和查询集对应的基模型初始参数。
可以根据当前元学习任务对应的平衡权重，对上上一元学习任务中的基模型更新参数和上一元学习任务中的基模型更新参数进行融合，得到当前元学习任务中支持集对应的基模型初始参数，可以用公式表示为：
Figure BDA0003981551970000111
式中，s为支持集，
Figure BDA0003981551970000112
为第t个元学习任务(当前元学习任务)中支持集对应的基模型初始参数，θt-1为上一元学习任务中的基模型更新参数，θt-2为上上一元学习任务中的基模型更新参数，σ(·)是Sigmoid函数，用来将每个元素值映射到[0,1]之间。⊙表示元素相乘运算。
其中，
Figure BDA0003981551970000121
为当前元学习任务对应的平衡权重的初始值，是一个可学习的向量，用来平衡θt-1和θt-2的融合权重。
平衡权重是可以随着元学习任务的进行而更新的。当前元学习任务对应的平衡权重的初始值，为上一元学习任务对应的平衡权重的更新值，用公式可以表示为：
Figure BDA0003981551970000122
式中，g′t-1为上一元学习任务对应的平衡权重的更新值。该更新值可以根据上一元学习任务对应的平衡权重的初始值，以及上一元学习任务中的基模型对应的损失函数梯度下降值确定。
下面以当前元学习任务对应的平衡权重为例进行说明，更新过程可以用如下公式表示：
Figure BDA0003981551970000123
式中，f为基模型，g′t为当前元学习任务对应的平衡权重的更新值，
Figure BDA0003981551970000129
为根据当前元学习任务中的支持集对基模型进行训练，
Figure BDA0003981551970000124
为当前元学习任务中的基模型在支持集中对应的损失函数，
Figure BDA0003981551970000125
为损失函数
Figure BDA0003981551970000126
的梯度下降值。α为第一超参数，用来在支持集训练过程中控制更新步数大小。
在下一元学习任务训练中，当前元学习任务对应的平衡权重的更新值，将作为下一元学习任务对应的平衡权重的初始值。
此外，可以直接将上一元学习任务中的基模型更新参数，确定为当前元学习任务中查询集对应的基模型初始参数，用公式表示为：
Figure BDA0003981551970000127
式中，q为查询集，
Figure BDA0003981551970000128
为当前元学习任务中查询集对应的基模型初始参数。
在一些实施例中，当前元学习任务对应的平衡权重包括第一平衡权重和/或第二平衡权重；
在当前元学习任务对应的支持集的预测结果为实体的情况下，基于上一元学习任务对应的第一平衡权重，以及上一元学习任务中的基模型对应的损失函数梯度下降值，确定当前元学习任务对应的第一平衡权重；
在当前元学习任务对应的支持集的预测结果为关系的情况下，基于上一元学习任务对应的第二平衡权重，以及上一元学习任务中的基模型对应的损失函数梯度下降值，确定当前元学习任务对应的第二平衡权重。
具体地，在动态知识图谱中可能出现实体嵌入、关系嵌入或者其他参数更新，不同嵌入或者更新情况下，平衡权重的更新频率是不同的。
可以针对不同的嵌入情况设置不同的平衡权重。可以设置第一平衡权重，用于实体嵌入的情况；可以设置第二平衡权重，用于关系嵌入的情况。
对于实体嵌入，即在当前元学习任务对应的支持集的预测结果为实体的情况下，根据上一元学习任务对应的第一平衡权重，以及上一元学习任务中的基模型对应的损失函数梯度下降值，确定当前元学习任务对应的第一平衡权重。
对于关系嵌入，即在当前元学习任务对应的支持集的预测结果为关系的情况下，根据上一元学习任务对应的第二平衡权重，以及上一元学习任务中的基模型对应的损失函数梯度下降值，确定当前元学习任务对应的第二平衡权重。
在一些实施例中，基于当前元学习任务中的支持集和查询集对基模型进行训练，对当前元学习任务中的基模型初始参数进行更新，得到当前元学习任务中的基模型更新参数，包括：
基于当前元学习任务中的支持集对基模型进行训练，对当前元学习任务中的支持集对应的基模型初始参数进行更新，得到当前元学习任务中的支持集对应的基模型更新参数；
基于当前元学习任务中的查询集对基模型进行训练，对当前元学习任务中的查询集对应的基模型初始参数进行更新，得到当前元学习任务中的查询集对应的基模型更新参数；
将查询集对应的基模型更新参数，作为当前元学习任务中的基模型更新参数。
具体地，在当前元学习任务中，可以按照时间顺序，先采用支持集对基模型进行训练，再采用查询集对基模型进行训练。
在采用支持集进行训练时，可以只对当前元学习任务中的支持集对应的基模型初始参数进行更新，得到当前元学习任务中的支持集对应的基模型更新参数。
在采用查询集进行训练时，可以只对当前元学习任务中的查询集对应的基模型初始参数进行更新，得到当前元学习任务中的查询集对应的基模型更新参数。
在当前元学习任务结束后，将查询集对应的基模型更新参数，作为当前元学习任务中的基模型更新参数。
在一些实施例中，基于当前元学习任务中的支持集对基模型进行训练，对当前元学习任务中的支持集对应的基模型初始参数进行更新，得到当前元学习任务中的支持集对应的基模型更新参数，包括：
基于当前元学习任务中的支持集对应的基模型初始参数，以及当前元学习任务中的基模型在支持集中对应的损失函数梯度下降值，确定当前元学习任务中的支持集对应的基模型更新参数。
具体地，当前元学习任务中的支持集对应的基模型更新参数的确定方法可以用公式表示为：
Figure BDA0003981551970000141
其中，θt ′为当前元学习任务Tt中的支持集Gt-1对应的基模型更新参数，
Figure BDA0003981551970000151
为根据当前元学习任务中的支持集对基模型进行训练，
Figure BDA0003981551970000152
为当前元学习任务中的基模型在支持集中对应的损失函数，
Figure BDA0003981551970000153
为损失函数
Figure BDA0003981551970000154
的梯度下降值。
在一些实施例中，基于当前元学习任务中的查询集对基模型进行训练，对当前元学习任务中的查询集对应的基模型初始参数进行更新，得到当前元学习任务中的查询集对应的基模型更新参数，包括：
基于当前元学习任务中的查询集对应的基模型初始参数，以及当前元学习任务中的基模型在查询集中对应的损失函数梯度下降值，确定当前元学习任务中的查询集对应的基模型更新参数；
其中，基模型在查询集中对应的损失函数是基于当前元学习任务中的支持集对应的基模型更新参数对基模型进行参数更新，并对查询集中的训练损失进行预测后确定的。
具体地，当前元学习任务中的查询集对应的基模型更新参数的确定方法可以用公式表示为：
Figure BDA0003981551970000155
式中，θt为当前元学习任务Tt中的查询集Gt对应的基模型更新参数，同时，θt也作为了当前元学习任务中的基模型更新参数；
Figure BDA0003981551970000156
为根据当前元学习任务中的查询集对基模型进行训练，
Figure BDA0003981551970000157
为当前元学习任务中的基模型在查询集中对应的损失函数，
Figure BDA0003981551970000158
为损失函数
Figure BDA0003981551970000159
的梯度下降值。β为第二超参数，用来控制在查询集训练过程中更新步数大小。
需要说明的是，当前元学习任务中的基模型在查询集中对应的损失函数
Figure BDA00039815519700001510
是根据当前元学习任务中的支持集对应的基模型更新参数θt ′对基模型f进行参数更新，并对查询集中的训练损失进行预测后确定的。
图2是本申请提供的基于时序元学习的动态知识图谱预测方法的流程示意图之二，如图2所示，该方法包括：
步骤210，构建任务划分模块，利用该模块将动态知识图谱划分为不同的元学习任务，每个任务由两个具有相邻时间信息的知识图谱构成；
步骤220，构建时序元学习器，利用该时序元学习器，使用各个元学习任务对基模型进行训练，以使基模型学习不同元学习任务中隐含的演化信息，最终得到知识图谱预测模型。其中，时序元学习器内还包含一个门控集成子模块，用于建模这些时序元学习任务之间的时序相关性。
本申请实施例提供的基于时序元学习的动态知识图谱预测方法，适用于现有的知识图谱预测对应的基模型，对基模型的模型类型不做具体限定。
通过构建的时序元学习器学习动态知识图谱中隐含的演化知识，并传递给基模型。基模型通过学习到的时序元知识，学会如何更准确的预测未来的新事件、以及如何更好的学习在历史中没有见过的新实体。
为了验证本申请实施例所得到的知识图谱预测模型在事件预测任务上的准确性，将知识图谱预测模型在测试集上进行测试，并评估预测的精度和准确率。如表1所示，本申请实施例中插入框架后的预测模型在数据集ICEWS14、ICEWS18和ICEWS05-15上的性能指标均较好。
表1知识图谱预测模型在不同数据集的预测性能
Figure BDA0003981551970000161
Figure BDA0003981551970000171
其中，MRR指标用于计算预测链接实体中真值的倒数排名的平均值；Hit@1指标表示预测的前1个实体中真值所占的比例的平均值；Hit@10指标表示预测的前10个实体中真值所占的比例的平均值。
下面对本申请提供的基于时序元学习的动态知识图谱预测装置进行描述，下文描述的装置与上文描述的方法可相互对应参照。
图3是本申请提供的基于时序元学习的动态知识图谱预测装置的结构示意图，如图3所示，该装置包括：
获取单元310，用于获取多个历史时刻对应的知识图谱；
预测单元320，用于将多个历史时刻对应的知识图谱输入至知识图谱预测模型，得到知识图谱预测模型输出的当前时刻对应的知识图谱的预测结果；
其中，知识图谱预测模型是基于多个在时序上相互关联的元学习任务对基模型进行训练后得到的；各个元学习任务中的支持集和查询集是基于相邻历史时刻对应的知识图谱确定的。
本申请实施例提供的基于时序元学习的动态知识图谱预测装置，将多个历史时刻对应的知识图谱输入至知识图谱预测模型，得到知识图谱预测模型输出的当前时刻对应的知识图谱的预测结果；由于知识图谱预测模型是根据多个在时序上相互关联的元学习任务对基模型进行训练后得到的；各个元学习任务中的支持集和查询集是根据相邻历史时刻对应的知识图谱确定的；使得知识图谱预测模型既能够学习得到动态知识图谱中的演化信息，又能够学习得到各个元学习任务之间的时序相关性，提高了知识图谱预测模型对于动态知识图谱中时序元知识的学习能力，提高了知识图谱预测模型对于未知实体或者未知关系的预测能力，提高了动态知识图谱用于事件预测的准确性。
在一些实施例中，该装置还包括：
元学习单元，用于确定基模型，以及多个历史时刻对应的知识图谱样本；
基于多个历史时刻对应的知识图谱样本，确定多个在时序上相互关联的元学习任务，以及各个元学习任务对应的支持集和查询集；
基于上上一元学习任务中的基模型更新参数和上一元学习任务中的基模型更新参数，确定当前元学习任务中的基模型初始参数；
基于当前元学习任务中的支持集和查询集对基模型进行训练，对当前元学习任务中的基模型初始参数进行更新，得到当前元学习任务中的基模型更新参数；
在当前元学习任务为最末元学习任务的情况下，基于当前元学习任务中的基模型更新参数，确定知识图谱预测模型。
在一些实施例中，元学习单元具体用于：
基于当前元学习任务对应的平衡权重，对上上一元学习任务中的基模型更新参数和上一元学习任务中的基模型更新参数进行融合，得到当前元学习任务中支持集对应的基模型初始参数；
基于上一元学习任务中的基模型更新参数，确定当前元学习任务中查询集对应的基模型初始参数；
其中，当前元学习任务对应的平衡权重是基于上一元学习任务对应的平衡权重，以及上一元学习任务中的基模型在支持集中对应的损失函数梯度下降值确定的。
在一些实施例中，当前元学习任务对应的平衡权重包括第一平衡权重和/或第二平衡权重；
在当前元学习任务对应的支持集的预测结果为实体的情况下，基于上一元学习任务对应的第一平衡权重，以及上一元学习任务中的基模型对应的损失函数梯度下降值，确定当前元学习任务对应的第一平衡权重；
在当前元学习任务对应的支持集的预测结果为关系的情况下，基于上一元学习任务对应的第二平衡权重，以及上一元学习任务中的基模型对应的损失函数梯度下降值，确定当前元学习任务对应的第二平衡权重。
在一些实施例中，元学习单元具体用于：
基于当前元学习任务中的支持集对基模型进行训练，对当前元学习任务中的支持集对应的基模型初始参数进行更新，得到当前元学习任务中的支持集对应的基模型更新参数；
基于当前元学习任务中的查询集对基模型进行训练，对当前元学习任务中的查询集对应的基模型初始参数进行更新，得到当前元学习任务中的查询集对应的基模型更新参数；
将查询集对应的基模型更新参数，作为当前元学习任务中的基模型更新参数。
在一些实施例中，元学习单元具体用于：
基于当前元学习任务中的支持集对应的基模型初始参数，以及当前元学习任务中的基模型在支持集中对应的损失函数梯度下降值，确定当前元学习任务中的支持集对应的基模型更新参数。
在一些实施例中，元学习单元具体用于：
基于当前元学习任务中的查询集对应的基模型初始参数，以及当前元学习任务中的基模型在查询集中对应的损失函数梯度下降值，确定当前元学习任务中的查询集对应的基模型更新参数；
其中，基模型在查询集中对应的损失函数是基于当前元学习任务中的支持集对应的基模型更新参数对基模型进行参数更新，并对查询集中的训练损失进行预测后确定的。
图4是本申请提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(Processor)410、通信接口(Communications Interface)420、存储器(Memory)430和通信总线(Communications Bus)440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑命令，以执行如下方法：
获取多个历史时刻对应的知识图谱；将多个历史时刻对应的知识图谱输入至知识图谱预测模型，得到知识图谱预测模型输出的当前时刻对应的知识图谱的预测结果；其中，知识图谱预测模型是基于多个在时序上相互关联的元学习任务对基模型进行训练后得到的；各个元学习任务中的支持集和查询集是基于相邻历史时刻对应的知识图谱确定的。
此外，上述的存储器中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器可以调用存储器中的逻辑指令，实现上述方法，其具体的实施方式与前述方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
本申请实施例还提供一种计算机可读的存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法。
其具体的实施方式与前述方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
本申请实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如上述方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于时序元学习的动态知识图谱预测方法，其特征在于，包括：
获取多个历史时刻对应的知识图谱；
将所述多个历史时刻对应的知识图谱输入至知识图谱预测模型，得到所述知识图谱预测模型输出的当前时刻对应的知识图谱的预测结果；
其中，所述知识图谱预测模型是基于多个在时序上相互关联的元学习任务对基模型进行训练后得到的；各个元学习任务中的支持集和查询集是基于相邻历史时刻对应的知识图谱确定的。
2.根据权利要求1所述的基于时序元学习的动态知识图谱预测方法，其特征在于，所述知识图谱预测模型是基于如下步骤训练得到的：
确定基模型，以及多个历史时刻对应的知识图谱样本；
基于所述多个历史时刻对应的知识图谱样本，确定多个在时序上相互关联的元学习任务，以及各个元学习任务对应的支持集和查询集；
基于上上一元学习任务中的基模型更新参数和上一元学习任务中的基模型更新参数，确定当前元学习任务中的基模型初始参数；
基于所述当前元学习任务中的支持集和查询集对所述基模型进行训练，对所述当前元学习任务中的基模型初始参数进行更新，得到所述当前元学习任务中的基模型更新参数；
在所述当前元学习任务为最末元学习任务的情况下，基于所述当前元学习任务中的基模型更新参数，确定所述知识图谱预测模型。
3.根据权利要求2所述的基于时序元学习的动态知识图谱预测方法，其特征在于，所述基于上上一元学习任务中的基模型更新参数和上一元学习任务中的基模型更新参数，确定当前元学习任务中的基模型初始参数，包括：
基于当前元学习任务对应的平衡权重，对所述上上一元学习任务中的基模型更新参数和所述上一元学习任务中的基模型更新参数进行融合，得到所述当前元学习任务中支持集对应的基模型初始参数；
基于所述上一元学习任务中的基模型更新参数，确定所述当前元学习任务中查询集对应的基模型初始参数；
其中，所述当前元学习任务对应的平衡权重是基于所述上一元学习任务对应的平衡权重，以及所述上一元学习任务中的基模型在支持集中对应的损失函数梯度下降值确定的。
4.根据权利要求3所述的基于时序元学习的动态知识图谱预测方法，其特征在于，所述当前元学习任务对应的平衡权重包括第一平衡权重和/或第二平衡权重；
在所述当前元学习任务对应的支持集的预测结果为实体的情况下，基于所述上一元学习任务对应的第一平衡权重，以及所述上一元学习任务中的基模型对应的损失函数梯度下降值，确定所述当前元学习任务对应的第一平衡权重；
在所述当前元学习任务对应的支持集的预测结果为关系的情况下，基于所述上一元学习任务对应的第二平衡权重，以及所述上一元学习任务中的基模型对应的损失函数梯度下降值，确定所述当前元学习任务对应的第二平衡权重。
5.根据权利要求2所述的基于时序元学习的动态知识图谱预测方法，其特征在于，所述基于所述当前元学习任务中的支持集和查询集对所述基模型进行训练，对所述当前元学习任务中的基模型初始参数进行更新，得到所述当前元学习任务中的基模型更新参数，包括：
基于所述当前元学习任务中的支持集对所述基模型进行训练，对所述当前元学习任务中的支持集对应的基模型初始参数进行更新，得到所述当前元学习任务中的支持集对应的基模型更新参数；
基于所述当前元学习任务中的查询集对所述基模型进行训练，对所述当前元学习任务中的查询集对应的基模型初始参数进行更新，得到所述当前元学习任务中的查询集对应的基模型更新参数；
将所述查询集对应的基模型更新参数，作为所述当前元学习任务中的基模型更新参数。
6.根据权利要求5所述的基于时序元学习的动态知识图谱预测方法，其特征在于，所述基于所述当前元学习任务中的支持集对所述基模型进行训练，对所述当前元学习任务中的支持集对应的基模型初始参数进行更新，得到所述当前元学习任务中的支持集对应的基模型更新参数，包括：
基于所述当前元学习任务中的支持集对应的基模型初始参数，以及所述当前元学习任务中的基模型在支持集中对应的损失函数梯度下降值，确定所述当前元学习任务中的支持集对应的基模型更新参数。
7.根据权利要求5所述的基于时序元学习的动态知识图谱预测方法，其特征在于，所述基于所述当前元学习任务中的查询集对所述基模型进行训练，对所述当前元学习任务中的查询集对应的基模型初始参数进行更新，得到所述当前元学习任务中的查询集对应的基模型更新参数，包括：
基于所述当前元学习任务中的查询集对应的基模型初始参数，以及所述当前元学习任务中的基模型在查询集中对应的损失函数梯度下降值，确定所述当前元学习任务中的查询集对应的基模型更新参数；
其中，所述基模型在查询集中对应的损失函数是基于所述当前元学习任务中的支持集对应的基模型更新参数对基模型进行参数更新，并对所述查询集中的训练损失进行预测后确定的。
8.一种基于时序元学习的动态知识图谱预测装置，其特征在于，包括：
获取单元，用于获取多个历史时刻对应的知识图谱；
预测单元，用于将所述多个历史时刻对应的知识图谱输入至知识图谱预测模型，得到所述知识图谱预测模型输出的当前时刻对应的知识图谱的预测结果；
其中，所述知识图谱预测模型是基于多个在时序上相互关联的元学习任务对基模型进行训练后得到的；各个元学习任务中的支持集和查询集是基于相邻历史时刻对应的知识图谱确定的。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的基于时序元学习的动态知识图谱预测方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于时序元学习的动态知识图谱预测方法。
CN202211551913.3A 2022-12-05 2022-12-05 基于时序元学习的动态知识图谱预测方法和装置 Pending CN116108195A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211551913.3A CN116108195A (zh) 2022-12-05 2022-12-05 基于时序元学习的动态知识图谱预测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211551913.3A CN116108195A (zh) 2022-12-05 2022-12-05 基于时序元学习的动态知识图谱预测方法和装置

Publications (1)

Publication Number Publication Date
CN116108195A true CN116108195A (zh) 2023-05-12

Family

ID=86264696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211551913.3A Pending CN116108195A (zh) 2022-12-05 2022-12-05 基于时序元学习的动态知识图谱预测方法和装置

Country Status (1)

Country Link
CN (1) CN116108195A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116701573A (zh) * 2023-06-06 2023-09-05 哈尔滨理工大学 一种基于时序知识图谱的查询方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116701573A (zh) * 2023-06-06 2023-09-05 哈尔滨理工大学 一种基于时序知识图谱的查询方法和系统

Similar Documents

Publication Publication Date Title
CN114491039B (zh) 基于梯度改进的元学习少样本文本分类方法
CN113961765B (zh) 基于神经网络模型的搜索方法、装置、设备和介质
CN114861917B (zh) 贝叶斯小样本学习的知识图谱推理模型、系统及推理方法
CN114580794B (zh) 数据处理方法、装置、程序产品、计算机设备和介质
CN111310057A (zh) 在线学习挖掘方法、装置、在线学习系统及服务器
CN112420125A (zh) 分子属性预测方法、装置、智能设备和终端
CN116108195A (zh) 基于时序元学习的动态知识图谱预测方法和装置
CN114170484B (zh) 图片属性预测方法、装置、电子设备和存储介质
CN117726884B (zh) 对象类别识别模型的训练方法、对象类别识别方法及装置
KR20240034804A (ko) 자동 회귀 언어 모델 신경망을 사용하여 출력 시퀀스 평가
CN116125279A (zh) 一种电池健康状态的确定方法、装置、设备及存储介质
CN115062779A (zh) 基于动态知识图谱的事件预测方法及装置
CN113610228B (zh) 神经网络模型的构建方法及装置
CN114417982A (zh) 一种模型训练方法、终端设备及计算机可读存储介质
CN117744760A (zh) 文本信息的识别方法、装置、存储介质及电子设备
CN117312979A (zh) 对象分类方法、分类模型训练方法及电子设备
CN117010480A (zh) 模型训练方法、装置、设备、存储介质及程序产品
CN114445692A (zh) 图像识别模型构建方法、装置、计算机设备及存储介质
CN114462571A (zh) 训练深度学习模型的方法、数据处理方法及装置
CN114627085A (zh) 目标图像的识别方法和装置、存储介质及电子设备
CN114691856A (zh) 题目推荐方法、装置、设备及介质
CN114238106A (zh) 测试时间预测方法及装置、电子设备、存储介质
CN113191527A (zh) 一种基于预测模型进行人口预测的预测方法及装置
Sun et al. Online programming education modeling and knowledge tracing
CN115330319B (zh) 基于大数据的物流信息处理方法及人工智能服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination