CN115238855A - 基于图神经网络的时序知识图谱的补全方法及相关设备 - Google Patents

基于图神经网络的时序知识图谱的补全方法及相关设备 Download PDF

Info

Publication number
CN115238855A
CN115238855A CN202210567235.3A CN202210567235A CN115238855A CN 115238855 A CN115238855 A CN 115238855A CN 202210567235 A CN202210567235 A CN 202210567235A CN 115238855 A CN115238855 A CN 115238855A
Authority
CN
China
Prior art keywords
node
time sequence
knowledge graph
sequence knowledge
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210567235.3A
Other languages
English (en)
Inventor
张忠宝
危倩
苏森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202210567235.3A priority Critical patent/CN115238855A/zh
Publication of CN115238855A publication Critical patent/CN115238855A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供一种基于图神经网络的时序知识图谱的补全方法及相关设备。该方法包括：获取多个历史时刻的时序知识图谱和当前时刻的时序知识图谱，分别对每个所述时序知识图谱进行预处理；将经过所述预处理的全部所述时序知识图谱输入至经过预训练的补全模型中，得到当前时刻的所述时序知识图谱上每个节点的最终表示向量；通过相似度计算模型从预先构建的候选集中选取与所述最终表示向量对应的节点的相似度最大的候选节点作为补全节点，并基于所述补全节点对当前时刻的所述时序知识图谱进行补全。本申请提供一种基于图神经网络的时序知识图谱的补全方法及相关设备可方便有效地补全时序知识图谱。

Description

基于图神经网络的时序知识图谱的补全方法及相关设备
技术领域
本发明涉及机器学习领域，尤其涉及一种基于图神经网络的时序知识图谱的补全方法及相关设备。
背景技术
随着互联网、物联网、云计算等信息技术的不断发展，数据的快速增长已经成为许多行业共同面对的严峻挑战和宝贵机遇，整个社会已经迈入了大数据时代。为了更好地利用知识，谷歌于2012年，在语义研究热潮中提出知识图谱的概念。与普通的关系数据库相比，知识图谱是一种描述真实世界客观存在的实体、概念及它们之间的关联关系的语义网络，用于以符号形式描述物理世界中的实体、概念及其相互关系。这些结构化的知识促进了人和计算机对知识的理解和利用，是人工智能应用实现的知识基础。
目前，大量研究工作针对静态知识图谱，但是现有的知识图谱中，不少图谱都具有时间标识，这样的知识图谱称为时序知识图谱。时间作为自然事物发展的一个重要特征，它能描述事件的发展和演化模式，因此时序知识图谱具有更大的使用价值。与静态知识图谱相似，时序知识图谱也并不是完备的，仍然需要对其进行不断地补充。目前相关技术中对时序知识图谱的研究较少，因此如何补全时序知识图谱成为研究的难点问题。
发明内容
有鉴于此，本申请的目的在于提出一种基于图神经网络的时序知识图谱的补全方法及相关设备。
基于上述目的，本申请提供一种基于图神经网络的时序知识图谱的补全方法，包括：
获取多个历史时刻的时序知识图谱和当前时刻的时序知识图谱，分别对每个所述时序知识图谱进行预处理；
将经过所述预处理的全部所述时序知识图谱输入至经过预训练的补全模型中，得到当前时刻的所述时序知识图谱上每个节点的最终表示向量；
通过相似度计算模型从预先构建的候选集中选取与所述最终表示向量对应的节点的相似度最大的候选节点作为补全节点，并基于所述补全节点对当前时刻的所述时序知识图谱进行补全。
进一步的，所述预处理包括分别对所述时序知识图谱上的每个所述节点进行提取，以得到该节点对应的全部三元组。
进一步的，所述节点对应的全部三元组包括以所述节点为尾实体的所有入边三元组和以所述节点为头实体的所有出边三元组。
进一步的，所述将经过所述预处理的全部所述时序知识图谱输入至经过预训练的补全模型中，得到当前时刻的所述时序知识图谱上每个节点的最终表示向量，包括：
将每一个所述时序知识图谱中的每个节点对应的全部所述入边三元组和所述出边三元组进行嵌入，得到入边三元组的表示向量和出边三元组的表示向量；
基于所述入边三元组的表示向量和所述出边三元组的表示向量通过多头注意力机制计算得到当前时刻的所述时序知识图谱上每个节点的最终表示向量。
进一步的，所述基于所述入边三元组的表示向量和所述出边三元组的表示向量通过多头注意力机制计算得到当前时刻的所述时序知识图谱上每个节点的最终表示向量，包括：
通过Softmax函数对全部所述节点的所有所述入边三元组和所述出边三元组进行归一化，得到每个所述节点的入边三元组注意力系数和出边三元组注意力系数；
基于所述入边三元组注意力系数和所述出边三元组注意力系数通过多头注意力机制进行计算，分别得到所述节点的入边三元组聚合空间信息表示向量和出边三元组聚合空间信息表示向量；
通过门限函数将所述入边三元组聚合空间信息表示向量和所述出边三元组聚合空间信息表示向量进行聚合，得到所述节点的空间信息表示向量；
通过时间衰减函数将所述节点的时间信息与所述空间信息表示向量相结合，计算该节点的每个历史时刻的空间信息表示向量与当前时刻的空间信息表示向量之间的相关度，并基于所述相关度计算出该节点的每个历史时刻的注意力值；
基于所述注意力值和所述节点的所述空间信息表示向量进行计算，得到所述所有节点的最终表示向量。
进一步的，所述预训练包括：
构建训练集；
通过所述训练集及预先构建的目标函数对所述补全模型进行迭代训练，对所述目标函数进行最小化以得到所述补全模型。
进一步的，所述候选集包括多个候选节点，构建所述候选集包括：
从所述当前时刻的时序知识图谱上选取与所述节点存在未知关系的邻居节点作为所述候选集中的所述候选节点。
基于同一发明构思，本申请还提供了一种基于图神经网络的时序知识图谱的补全装置，包括：
预处理模块，被配置为获取多个历史时刻的时序知识图谱和当前时刻的时序知识图谱，分别对每个所述时序知识图谱进行预处理；
生成最终表示向量模块，被配置为将经过所述预处理的全部所述时序知识图谱输入至经过预训练的补全模型中，得到当前时刻的所述时序知识图谱上每个节点的最终表示向量；
补全模块，被配置为通过相似度计算模型从预先构建的候选集中选取与所述最终表示向量对应的节点的相似度最大的候选节点作为补全节点，并基于所述补全节点对当前时刻的所述时序知识图谱进行补全。
基于同一发明构思，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意所述的方法。
基于同一发明构思，本申请还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如上任意所述的方法。
从上面所述可以看出，本申请提供的一种基于图神经网络的时序知识图谱的补全方法及相关设备，将获取的多个历史时刻的时序知识图谱和当前时刻的时序知识图谱输入至经过预训练的补全模型中，基于模型输出结果从构建的候选集中选取候选节点作为补全节点从而对时序知识图谱进行补全。通过结合多个历史时刻的已有三元组的空间信息和时间信息，通过图神经网络对当前时刻缺失的三元组进行补全，既考虑到了每个节点的时间的延续性，且通过图神经网络对空间信息进行了更全面的聚合，以提升对时序知识图谱补全的准确率。
附图说明
为了更清楚地说明本申请或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的基于图神经网络的时序知识图谱的补全方法的流程示意图；
图2为本申请实施例的TRANSE模型中的头尾实体关系的示意图；
图3为本申请实施例的当前时刻的时序知识图谱的结构示意图；
图4为本申请实施例的基于图神经网络的时序知识图谱的补全装置的结构示意图；
图5为本申请实施例的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本申请进一步详细说明。
需要说明的是，除非另外定义，本申请实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
如背景技术所述，具有时间信息的知识图谱称为时序知识图谱。时序知识图谱中不仅包含实体之间的关系以及实体属性信息，还包含事件的发展和演化过程，一个三元组的成立具有时效性，在一定的时间内该三元组事实是成立的。与传统的知识图谱相比，时序知识图谱加入了时效性的考虑。虽然加入了时间信息，但是与静态知识图谱相似，时序知识图谱也并不是完备的，仍然需要对其进行不断地补充。基于时效性考虑对三元组进行补全的相关方法，与静态知识图谱补全方法类似，基于知识图谱现有的三元组数据预测真实存在的新三元组数据，由于三元组自带时间标签，因此一个事件的发展和演化结果可以通过一系列的三元组来进行表示。
有鉴于此，本申请所提出的基于图神经网络的时序知识图谱的补全方法DT-KGC(Dynamic Knowledge Graph Completion Algorithm Based on Graph Neural Network)是将获取的多个历史时刻的时序知识图谱和当前时刻的时序知识图谱输入至经过预训练的补全模型中，基于模型输出结果从构建的候选集中选取候选节点作为补全节点从而对时序知识图谱进行补全。
以下结合附图来详细说明本申请的实施例。
本申请提供了一种基于图神经网络的时序知识图谱的补全方法，参考图1，具体包括以下步骤：
步骤S101、获取多个历史时刻的时序知识图谱和当前时刻的时序知识图谱，分别对每个所述时序知识图谱进行预处理。
具体的，获取一个时间序列{0,1,2…T}上每个时刻对应的时序知识图谱{G0,G1,…GT}。其中，T时刻为当前时刻，GT为当前时刻的时序知识图谱，0～T-1为历史时刻，G0,G1,…GT-1皆为每个历史时刻对应的时序知识图谱，0时刻对应的时序知识图谱为G0,以此类推，1时刻对应的时序知识图谱为G1…T时刻对应的时序知识图谱为GT。所述预处理是提取所述时序知识图谱上每个节点的所有三元组。
步骤S102、将经过所述预处理的全部所述时序知识图谱输入至经过预训练的补全模型中，得到当前时刻的所述时序知识图谱上每个节点的最终表示向量。
具体的，将步骤S101获取的每个所述时序知识图谱中的每个节点对应的全部三元组输入到经过预训练的补全模型中进行空间信息和时间信息的嵌入，得到当前时刻的所述时序知识图谱上每个节点的最终表示向量。所述模型分为两部分，分别是空间信息嵌入部分和时间信息聚合部分。
步骤S103、通过相似度计算模型从预先构建的候选集中选取与所述最终表示向量对应的节点的相似度最大的候选节点作为补全节点，并基于所述补全节点对当前时刻的所述时序知识图谱进行补全。
具体的，所述相似度计算模型有很多种，常见的有TRANSE模型、TRANSH模型、TRANSR模型、TRANSD模型，根据具体情况进行选择。本实施例中采用TRANSE模型中的距离函数计算所述模型输出的最终表示向量和候选集中候选节点的表示向量之间的距离。在TRANSE模型中存在h+r＝t的关系，图2示出了TRANSE模型中头尾实体的关系。其中h为时序知识图谱中的头实体的表示向量，r为时序知识图谱中的关系的表示向量，t为时序知识图谱中的尾实体的表示向量。当所述最终表示向量与所述候选节点的表示向量距离最小时，则认为满足h+r≈t，则认为所述节点与所述候选节点存在关系，则将该候选节点作为当前时刻所述节点的补全节点，得到当前时刻所述节点的新三元组，从而达到对时序知识图谱的补全。
在一些实施例中，所述预处理包括分别对所述时序知识图谱上的每个所述节点进行提取，以得到该节点对应的全部三元组。
具体的，以所述时序知识图谱上的v节点为例，以u节点作为v节点的邻居节点，则提取到的v节点的其中一个三元组表示为(u,r,v)。对v节点的每个邻居节点逐一操作，提取v节点的全部三元组。
在一些实施例中，所述节点对应的全部三元组包括以所述节点为尾实体的所有入边三元组和以所述节点为头实体的所有出边三元组。
具体的，以所述时序知识图谱上的v节点为例，以u节点作为v节点的邻居节点，则v节点的入边三元组表示为(u,r,v)，v节点的出边三元组为(v,r,u)。对v节点的每个邻居节点逐一操作，提取v节点的全部入边三元组和出边三元组。
在一些实施例中，所述将经过所述预处理的全部所述时序知识图谱输入至经过预训练的补全模型中，得到当前时刻的所述时序知识图谱上每个节点的最终表示向量，包括：
将每一个所述时序知识图谱中的每个节点对应的全部所述入边三元组和所述出边三元组进行嵌入，得到入边三元组的表示向量和出边三元组的表示向量；
基于所述入边三元组的表示向量和所述出边三元组的表示向量通过多头注意力机制计算得到当前时刻的所述时序知识图谱上每个节点的最终表示向量。
具体的，通过计算得到v节点的入边三元组(u,r,v)的表示向量，计算公式如下
Figure BDA0003658033030000071
其中，wv和wr分别为实体和关系的权重映射矩阵，权重映射矩阵随机初始化；
Figure BDA0003658033030000072
为激活函数；
Figure BDA0003658033030000073
为一个前馈神经网络，能够将拼接向量映射成实数；eu为v节点的邻居节点u节点的表示向量，er为u节点和v节点关系的表示向量，ev为v节点的表示向量。三个表示向量通过公式(1)拼接形成v节点入边三元组的表示向量。同理，根据公式(1)计算出v节点出边三元组的表示向量。
然后根据v节点的入边三元组的表示向量和出边三元组的表示向量通过多头注意力机制计算得到当前时刻的v节点的最终表示向量。
在一些实施例中，所述基于所述入边三元组的表示向量和所述出边三元组的表示向量通过多头注意力机制计算得到当前时刻的所述时序知识图谱上每个节点的最终表示向量，包括：
通过Softmax函数对全部所述节点的所有所述入边三元组和所述出边三元组进行归一化，得到每个所述节点的入边三元组注意力系数和出边三元组注意力系数；
基于所述入边三元组注意力系数和所述出边三元组注意力系数通过多头注意力机制进行计算，分别得到所述节点的入边三元组聚合空间信息表示向量和出边三元组聚合空间信息表示向量；
通过门限函数将所述入边三元组聚合空间信息表示向量和所述出边三元组聚合空间信息表示向量进行聚合，得到所述节点的空间信息表示向量；
通过时间衰减函数将所述节点的时间信息与所述空间信息表示向量相结合，计算该节点的每个历史时刻的空间信息表示向量与当前时刻的空间信息表示向量之间的相关度，并基于所述相关度计算出该节点的每个历史时刻的注意力值；
基于所述注意力值和所述节点的所述空间信息表示向量进行计算，得到所述所有节点的最终表示向量。
具体的，对v节点的所有入边三元组通过Softmax函数进行归一化得到入边三元组的注意力系数，公式如下
Figure BDA0003658033030000081
其中，
Figure BDA0003658033030000082
为v节点的所有邻居节点的集合；z为v节点的邻居节点且z≠u；ezrv为v节点的以z节点作为头实体的入边三元组表示向量；αurv为入边三元组的注意力系数。同理，根据公式(2)计算出v节点的所有出边三元组的注意力系数。
具体的，基于v节点的入边三元组的注意力系数通过多头注意力机制进行信息聚合，得到所述入边三元组的聚合空间信息表示向量，计算公式如下
Figure BDA0003658033030000083
其中，
Figure BDA0003658033030000084
为向量拼接操作；K为注意力通道的数目；
Figure BDA0003658033030000085
为不同注意力通道k下的v节点的入边三元组的注意力系数；*为对v节点的入边三元组(u,r,v)中的头实体和关系进行外积运算；σ(·)为非线性函数；l为图神经网络最后的输出层l层；
Figure BDA0003658033030000086
为入边三元组的聚合空间信息表示向量。通过多头注意力机制对多个结果进行平均计算之后输出，使得输出结果稳定，提高了模型的稳定性。同理，根据公式(3)对v节点出边三元组进行信息聚合，得到所述出边三元组的聚合空间信息表示向量。
具体的，对v节点的入边三元组和出边三元组的聚合空间信息表示向量通过门限函数进行聚合，得到v节点的空间信息表示向量，聚合过程的计算公式如下
Figure BDA0003658033030000087
Figure BDA0003658033030000088
其中，Wλ为门限网络的可学习权重参数；ξ为偏差参数；δ(·)为非线性激活函数；λ为聚合系数；
Figure BDA0003658033030000089
为出边三元组的聚合空间信息表示向量，
Figure BDA00036580330300000810
为入边三元组的聚合空间信息表示向量；
Figure BDA00036580330300000811
为v节点的空间信息表示向量。
每个时刻下v节点的空间信息表示向量，如下所示
Figure BDA0003658033030000091
其中，tq为q时刻的时间表示。
具体的，v节点与邻居节点的关系在整个时刻序列上并不是保持不变的，其关系会随着时间的发展而变化，为了描述这种关系随时间的变化而变化的影响，将已发生的关系进行一个时间衰减。当v节点与其邻居节点之间在时间tq不存在关系时，应考虑上一次两者存在的关系对现在的影响，将tq之前的两者存在关系的时刻记为td，那么基于d时刻对q时刻的影响，q时刻的v节点的空间信息表示向量表示为
Figure BDA0003658033030000092
Figure BDA0003658033030000093
其中，
Figure BDA0003658033030000094
为衰减率，θ1和b1为可学习的参数，通常从一组随机值开始；exp(·)为时间衰减函数；max(·)为取最大值函数。
具体的，根据公式(7)(8)分别表示出v节点的0-T时刻的空间信息表示向量ev,t和T时刻的空间信息表示向量ev,T，计算v节点0-T任一时刻对T时刻的相关度，相关度计算公式如下
Figure BDA0003658033030000095
其中，αT(·)为向量映射函数，将向量映射为实数；W1、W2为可学习的参数；
Figure BDA0003658033030000096
为0-T时刻中t时刻的嵌入表示；
Figure BDA0003658033030000097
为T时刻的嵌入表示；t∈{0-T}。
通过公式计算出v节点的T时刻对0-T时刻的注意力值，公式如下
Figure BDA0003658033030000098
其中，t∈{0-T}；t′∈{0-T}且t′≠t。
具体的，通过公式计算得到v节点的最终表示向量，公式如下
Figure BDA0003658033030000099
其中，W3为可学习参数；
Figure BDA00036580330300000910
为t时刻的嵌入表示；ev,t为v节点的0-T时刻中t时刻的空间信息表示向量。
在一些实施例中，所述预训练包括：
构建训练集；
通过所述训练集及预先构建的目标函数对所述补全模型进行迭代训练，对所述目标函数进行最小化得到所述补全模型。
具体的，将获取的历史时序知识图谱划分为训练集和测试集，划分比例可以根据实际情况进行调整。例如训练集为数据总量的80％，测试集为数据总量的20％。训练集中又分为正样本和负样本。负样本的构建采用随机实体替换为三元组的头实体和尾实体。基于训练集对所述补全模型进行训练，通过测试集对经过训练的所述补全模型进行准确率的检测。
具体的，构建一个目标函数L来训练所述补全模型，对所述目标函数进行最小化直至收敛，得到最终的补全模型。首先采用一个正负样本最大化的函数L1，公式如下
Figure BDA0003658033030000101
其中，u′和v′为替换头实体或尾实体的负采样三元组；d为距离函数；γ为间隔距离超参数。函数L1保证当v节点的三元组事实成立时，有u+r＝v的等式成立，并通过正负例样本距离最大化来引导模型收敛。
然后，v节点三元组的事实成立可以看成是头实体在图神经网络中通过关系变为尾实体，因此采用了一个最大化相似度的函数L2，公式如下
Figure BDA0003658033030000102
其中，W4和b3为图神经网络中线性投影层的权重和偏差；yv为在图神经网络中经过变换的头实体的表示向量；S为知识图谱中的节点个数。通过公式(13)最大化es与yv的相似度。最大化该相似度就是在保证了v节点的入边三元组公式(12)成立时，出边三元组的事实也能成立。
最终，在对三元组的成立性进行约束之后，要保证v节点的入边三元组和其出边三元组的事实是一致的，即出边三元组的加入不能给已有图谱加入新的事实，这里引入信息论中的信息熵来进行约束，事实一致性约束函数L3公式如下
Figure BDA0003658033030000103
其中，D(·)为判别网络；r-为反向关系；r′为负样本；N、M分别为正负采样图谱的节点个数；
Figure BDA0003658033030000111
为负采样图谱；
Figure BDA0003658033030000112
为正采样图谱；i为正采样图谱中的节点；j为负采样图谱中的节点。
综上所述，目标函数L为
L＝L1+L2+L3 (15)
进一步的，对训练好的模型进行测试。将测试集中的数据输入至补全模型中，模型输出最终表示向量与测试集中包含的候选节点的表示向量之间的距离，公式如下
L4＝d(h+r-t) (16)
其中，d(·)为距离函数；h+r为补全模型输出的最终表示向量；t为候选节点的表示向量。
当所计算出的距离最小时，则认为两向量满足h+r≈t的关系，若满足此关系则认为三元组(h,r,t)是一个正确的三元组，将此三元组作为补全的三元组，则模型测试通过，若不满足此关系则为错误的三元组，模型测试不通过。通过目标函数L对模型进行训练是为了提高模型的准确度，以使模型输出准确率较高的最终表示向量。
在一些实施例中，所述候选集包括多个候选节点，构建所述候选集包括：
从所述当前时刻的时序知识图谱上选取与所述节点存在未知关系的邻居节点作为所述候选集中的所述候选节点。
具体的，图3示出了一个当前时刻的时序知识图谱。图上节点5和节点6为当前时刻未与其他节点存在关系的节点且二者为节点1的邻居节点，将节点5和节点6选做节点1的候选节点，构建候选集。通过本申请提出的方法补全节点1与节点5、节点6的关系。
本申请采用MRR和H@i(i∈{1,10})两个评分指标对上述补全方法进行评分。
为了评估所提出的方法的性能，采用时序知识图谱领域的三个基准数据集GDELT，ICEWS14和ICEWS05-15(ICEWS数据集的子集)来进行实验，这三个数据集都是基于时间点更新时间，符合本方法设计中时间信息是时刻的前提。
GDELT数据集：GDELT数据集中记载着从1969年开始，来自每个国家的新闻媒体中通过印刷、广播或者网页形式的新闻，这些信息被翻译为大概100多种语言记录在数据集中，而且这些信息每隔15分钟被更新一次。GDELT数据集中主要包含两大数据库，事件数据库和全球知识图谱，目前主要用于时序知识图谱补全领域的是其子集GDELT-500。
ICEWS数据集：ICEWS数据库包含来自250多个国家和区域的100多个来源的政治事件。这些事件信息每天被更新一次。其两个数据子集ICEWS14和ICEWS05-15主要被用于时序知识图谱补全领域。
为了更好的衡量所提所述方法的贡献，将DT-KGC算法与已有的静态知识图谱补全方法TransE，DistMult，ComplEx和SimplEx，以及基于图神经网络的静态知识图谱补全方法RGCN进行实验对比，在静态知识图谱补全方法中，忽略所有输入的时间信息。然后将DT-KGC算法与已有的动态知识图谱补全算法进行对比，包括TTransE，TADistmult，HyTe，TeMP。实验中，参数设置如下：图神经网络中隐藏网络层数L为2，GDELT中注意力通道数K为4，ICEWS14和ICEWS05-15注意力通道数K为8。为了确保结果的稳定性，每次实验重复10次，并取平均值作为最终结果。评分结果如表1所示。
表1 DT-KGC实验结果对比表
Figure BDA0003658033030000121
通过表1的实验数据结果得到如下结论：
与已有的静态知识图谱补全方法进行对比可以看到，DT-KGC算法在各方面的指标上均已超过已有方法的数据，这是因为时序知识图谱中三元组的事实并不是一成不变的，而静态知识图谱补全方法中忽略了时间的信息，导致前期存在而后面消失了的事实会对后期的三元组的预测产生极大地噪声，导致静态知识图谱补全方法在处理带有时间信息的动态数据的时候效果不理想。
与基于图神经网络的静态知识图谱补全基准方法RGCN进行对比，可以发现RGCN与已有的TransE等方法进行对比，其实验效果更好，这说明了图神经网络在处理知识图谱这种非欧图数据上的适用性。
与已有的动态知识图谱补全方法相比，可以看到在TransE以及DisMult等非图神经模型上加上时间信息的动态补全方法的效果并不理想，各方面的指标都低于基于图神经网络的TeMP方法，进一步证明了图神经网络在该问题上的适用性。进一步，TeMP中完成对图谱信息的嵌入之后，分别通过GRU和注意力机制建模时序信息得到整合了所有信息的嵌入表示，并将这两种方法进行了对比，在整体情况下基于GRU的TeMP方法优于基于自注意力的TeMP，但是本文提出的DT-KGC在ICEWS14数据集上是完全优于TeMP-GRU，而在其它两个数据集上部分优于TeMP-GRU，整体是完全优于TeMP-SA，这一方面是因为TeMP-SA中对时间信息的处理没有考虑到已发生事实的时间延续性，而TeMP-GRU中的时序建模考虑到了上一个时刻中有联系的邻居节点到下一个时刻中对目标节点的影响，而DT-KGC不仅考虑到了这一点，还通过图注意力网络对图谱的空间信息进行了更全面的聚合，这使得DT-KGC在各方面的表现都比较均衡，能较好的实现补全任务。
需要说明的是，本申请实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本申请实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本申请的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种基于图神经网络的时序知识图谱的补全装置。
参考图4，基于图神经网络的时序知识图谱的补全装置，包括：
预处理模块401，被配置为获取多个历史时刻的时序知识图谱和当前时刻的时序知识图谱，分别对每个所述时序知识图谱进行预处理；
生成最终表示向量模块402，被配置为将经过所述预处理的全部所述时序知识图谱输入至经过预训练的补全模型中，得到当前时刻的所述时序知识图谱上每个节点的最终表示向量；
补全模块403，被配置为通过相似度计算模型从预先构建的候选集中选取与所述最终表示向量对应的节点的相似度最大的候选节点作为补全节点，并基于所述补全节点对当前时刻的所述时序知识图谱进行补全。
在一些实施例中，所述预处理模块401还被配置为分别对所述时序知识图谱上的每个所述节点进行提取，以得到该节点对应的全部三元组。
在一些实施例中，所述节点对应的全部三元组包括以所述节点为尾实体的所有入边三元组和以所述节点为头实体的所有出边三元组。
在一些实施例中，所述生成最终表示向量模块402还被配置为，将每一个所述时序知识图谱中的每个节点对应的全部所述入边三元组和所述出边三元组进行嵌入，得到入边三元组的表示向量和出边三元组的表示向量；基于所述入边三元组的表示向量和所述出边三元组的表示向量通过多头注意力机制计算得到当前时刻的所述时序知识图谱上每个节点的最终表示向量。
在一些实施例中，所述生成最终表示向量模块402还被配置为，通过Softmax函数对全部所述节点的所有所述入边三元组和所述出边三元组进行归一化，得到每个所述节点的入边三元组注意力系数和出边三元组注意力系数；基于所述入边三元组注意力系数和所述出边三元组注意力系数通过多头注意力机制进行计算，分别得到所述节点的入边三元组聚合空间信息表示向量和出边三元组聚合空间信息表示向量；通过门限函数将所述入边三元组聚合空间信息表示向量和所述出边三元组聚合空间信息表示向量进行聚合，得到所述节点的空间信息表示向量；通过时间衰减函数将所述节点的时间信息与所述空间信息表示向量相结合，计算该节点的每个历史时刻的空间信息表示向量与当前时刻的空间信息表示向量之间的相关度，并基于所述相关度计算出该节点的每个历史时刻的注意力值；基于所述注意力值和所述节点的所述空间信息表示向量进行计算，得到所述所有节点的最终表示向量。
在一些实施例中，所述预训练包括：
构建训练集；
通过所述训练集及预先构建的目标函数对所述补全模型进行迭代训练，对所述目标函数进行最小化以得到所述补全模型。
在一些实施例中所述候选集包括多个候选节点，构建所述候选集包括：
从所述当前时刻的时序知识图谱上选取与所述节点存在未知关系的邻居节点作为所述候选集中的所述候选节点。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的基于图神经网络的时序知识图谱补全方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的基于图神经网络的时序知识图谱的补全方法。
图5示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的基于图神经网络的时序知识图谱补全方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的基于图神经网络的时序知识图谱的补全方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的基于图神经网络的时序知识图谱补全方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的范围(包括权利要求)被限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本申请实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本申请实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本申请的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本申请的具体实施例对本申请进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本申请实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于图神经网络的时序知识图谱的补全方法，其特征在于，包括：
获取多个历史时刻的时序知识图谱和当前时刻的时序知识图谱，分别对每个所述时序知识图谱进行预处理；
将经过所述预处理的全部所述时序知识图谱输入至经过预训练的补全模型中，得到当前时刻的所述时序知识图谱上每个节点的最终表示向量；
通过相似度计算模型从预先构建的候选集中选取与所述最终表示向量对应的节点的相似度最大的候选节点作为补全节点，并基于所述补全节点对当前时刻的所述时序知识图谱进行补全。
2.根据权利要求1所述的方法，其特征在于，所述预处理包括：
分别对所述时序知识图谱上的每个所述节点进行提取，以得到该节点对应的全部三元组。
3.根据权利要求2所述的方法，其特征在于，所述节点对应的全部三元组包括以所述节点为尾实体的所有入边三元组和以所述节点为头实体的所有出边三元组。
4.根据权利要求3所述的方法，其特征在于，所述将经过所述预处理的全部所述时序知识图谱输入至经过预训练的补全模型中，得到当前时刻的所述时序知识图谱上每个节点的最终表示向量，包括：
将每一个所述时序知识图谱中的每个节点对应的全部所述入边三元组和所述出边三元组进行嵌入，得到入边三元组的表示向量和出边三元组的表示向量；
基于所述入边三元组的表示向量和所述出边三元组的表示向量通过多头注意力机制计算得到当前时刻的所述时序知识图谱上每个节点的最终表示向量。
5.根据权利要求4所述的方法，其特征在于，所述基于所述入边三元组的表示向量和所述出边三元组的表示向量通过多头注意力机制计算得到当前时刻的所述时序知识图谱上每个节点的最终表示向量，包括：
通过Softmax函数对全部所述节点的所有所述入边三元组和所述出边三元组进行归一化，得到每个所述节点的入边三元组注意力系数和出边三元组注意力系数；
基于所述入边三元组注意力系数和所述出边三元组注意力系数通过多头注意力机制进行计算，分别得到所述节点的入边三元组聚合空间信息表示向量和出边三元组聚合空间信息表示向量；
通过门限函数将所述入边三元组聚合空间信息表示向量和所述出边三元组聚合空间信息表示向量进行聚合，得到所述节点的空间信息表示向量；
通过时间衰减函数将所述节点的时间信息与所述空间信息表示向量相结合，计算该节点的每个历史时刻的空间信息表示向量与当前时刻的空间信息表示向量之间的相关度，并基于所述相关度计算出该节点的每个历史时刻的注意力值；
基于全部所述注意力值和所述节点的全部所述空间信息表示向量进行计算，得到所述节点的最终表示向量。
6.根据权利要求1所述的方法，其特征在于，所述预训练包括：
构建训练集；
通过所述训练集及预先构建的目标函数对所述补全模型进行迭代训练，对所述目标函数进行最小化以得到所述补全模型。
7.根据权利要求1所述的方法，其特征在于，所述候选集包括多个候选节点，构建所述候选集包括：
从所述当前时刻的时序知识图谱上选取与所述节点存在未知关系的邻居节点作为所述候选集中的所述候选节点。
8.一种基于图神经网络的时序知识图谱的补全装置，包括：
预处理模块，被配置为获取多个历史时刻的时序知识图谱和当前时刻的时序知识图谱，分别对每个所述时序知识图谱进行预处理；
生成最终表示向量模块，被配置为将经过所述预处理的全部所述时序知识图谱输入至经过预训练的补全模型中，得到当前时刻的所述时序知识图谱上每个节点的最终表示向量；
补全模块，被配置为通过相似度计算模型从预先构建的候选集中选取与所述最终表示向量对应的节点的相似度最大的候选节点作为补全节点，并基于所述补全节点对当前时刻的所述时序知识图谱进行补全。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至7项所述方法。
10.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行权利要求1至7项所述方法。
CN202210567235.3A 2022-05-23 2022-05-23 基于图神经网络的时序知识图谱的补全方法及相关设备 Pending CN115238855A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210567235.3A CN115238855A (zh) 2022-05-23 2022-05-23 基于图神经网络的时序知识图谱的补全方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210567235.3A CN115238855A (zh) 2022-05-23 2022-05-23 基于图神经网络的时序知识图谱的补全方法及相关设备

Publications (1)

Publication Number Publication Date
CN115238855A true CN115238855A (zh) 2022-10-25

Family

ID=83668279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210567235.3A Pending CN115238855A (zh) 2022-05-23 2022-05-23 基于图神经网络的时序知识图谱的补全方法及相关设备

Country Status (1)

Country Link
CN (1) CN115238855A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115599927A (zh) * 2022-11-08 2023-01-13 哈尔滨工业大学（深圳）（哈尔滨工业大学深圳科技创新研究院）（Cn） 一种基于度量学习的时序知识图谱补全方法及系统
CN115879646A (zh) * 2023-02-15 2023-03-31 山东捷讯通信技术有限公司 一种水库水位预测方法、装置、介质及设备
CN116340524A (zh) * 2022-11-11 2023-06-27 华东师范大学 一种基于关系自适应网络的小样本时态知识图谱补全方法
CN116684200A (zh) * 2023-07-31 2023-09-01 北京天防安全科技有限公司 网络安全漏洞的攻击模式的知识补全方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115599927A (zh) * 2022-11-08 2023-01-13 哈尔滨工业大学（深圳）（哈尔滨工业大学深圳科技创新研究院）（Cn） 一种基于度量学习的时序知识图谱补全方法及系统
CN116340524A (zh) * 2022-11-11 2023-06-27 华东师范大学 一种基于关系自适应网络的小样本时态知识图谱补全方法
CN116340524B (zh) * 2022-11-11 2024-03-08 华东师范大学 一种基于关系自适应网络的小样本时态知识图谱补全方法
CN115879646A (zh) * 2023-02-15 2023-03-31 山东捷讯通信技术有限公司 一种水库水位预测方法、装置、介质及设备
CN115879646B (zh) * 2023-02-15 2023-11-07 山东捷讯通信技术有限公司 一种水库水位预测方法、装置、介质及设备
CN116684200A (zh) * 2023-07-31 2023-09-01 北京天防安全科技有限公司 网络安全漏洞的攻击模式的知识补全方法及系统
CN116684200B (zh) * 2023-07-31 2023-09-26 北京天防安全科技有限公司 网络安全漏洞的攻击模式的知识补全方法及系统

Similar Documents

Publication Publication Date Title
US20220076136A1 (en) Method and system for training a neural network model using knowledge distillation
CN115238855A (zh) 基于图神经网络的时序知识图谱的补全方法及相关设备
CN113222700B (zh) 基于会话的推荐方法及装置
CN109960810B (zh) 一种实体对齐方法及装置
US20150254554A1 (en) Information processing device and learning method
CN110138595A (zh) 动态加权网络的时间链路预测方法、装置、设备及介质
US20220121934A1 (en) Identifying neural networks that generate disentangled representations
CN112883227B (zh) 一种基于多尺度时序特征的视频摘要生成方法和装置
CN113177141A (zh) 基于语义嵌入软相似性的多标签视频哈希检索方法及设备
US20210064634A1 (en) Systems and Methods for Weighted Quantization
CN112699215B (zh) 基于胶囊网络与交互注意力机制的评级预测方法及系统
Jin et al. Dual low-rank multimodal fusion
CN115587321A (zh) 一种脑电信号识别分类方法、系统及电子设备
Hull Machine learning for economics and finance in tensorflow 2
Hanyu et al. Fuzzy relational matrix factorization and its granular characterization in data description
CN114861671A (zh) 模型训练方法、装置、计算机设备及存储介质
Ma et al. One-shot relational learning for extrapolation reasoning on temporal knowledge graphs
CN116993185A (zh) 时间序列预测方法、装置、设备及存储介质
Chang et al. Calibrated multi-task subspace learning via binary group structure constraint
Khetarpal et al. Power quality disturbance signal segmentation and classification based on modified BI‐LSTM with double attention mechanism
CN115169433A (zh) 基于元学习的知识图谱分类方法及相关设备
CN115329146A (zh) 时序网络中的链路预测方法、电子设备及存储介质
CN116150462A (zh) 针对目标对象的向量构建方法、装置和计算机设备
Kim et al. COVID-19 outbreak prediction using Seq2Seq+ Attention and Word2Vec keyword time series data
CN117540780B (zh) 一种神经网络模型的压缩方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination