CN114238658A - 时序知识图谱的链接预测方法、装置及电子设备 - Google Patents

时序知识图谱的链接预测方法、装置及电子设备 Download PDF

Info

Publication number
CN114238658A
CN114238658A CN202111568209.4A CN202111568209A CN114238658A CN 114238658 A CN114238658 A CN 114238658A CN 202111568209 A CN202111568209 A CN 202111568209A CN 114238658 A CN114238658 A CN 114238658A
Authority
CN
China
Prior art keywords
neural network
graph
entity
timestamp
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111568209.4A
Other languages
English (en)
Inventor
周金满
廖志明
盛丽兰
黄德洋
丁美美
李永强
林栋�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Fengjing Technology Co ltd
Original Assignee
Hangzhou Fengjing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Fengjing Technology Co ltd filed Critical Hangzhou Fengjing Technology Co ltd
Priority to CN202111568209.4A priority Critical patent/CN114238658A/zh
Publication of CN114238658A publication Critical patent/CN114238658A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation

Abstract

本发明提供了一种时序知识图谱的链接预测方法、装置及电子设备，包括：获取待预测时序知识图谱的初始实体、关系和当前时间戳；其中，初始实体包括头实体或尾实体；将初始实体、关系和当前时间戳输入到预先训练得到的预测模型中，得到目标实体；其中，预测模型是基于四元组和GRU算法对图卷积神经网络进行训练得到的，四元组包括头实体、关系、尾实体和时间戳。本发明能够解决现有的预测模型无法对时序知识图谱做出准确的预测的问题，同时提高了链接预测的准确性。

Description

时序知识图谱的链接预测方法、装置及电子设备
技术领域
本发明涉及人工智能技术领域，尤其是涉及一种时序知识图谱的链接预测方法、装置及电子设备。
背景技术
知识图谱链接预测是知识图谱学习与推理的重要应用，目的是对知识图谱中实体间可能存在的关系进行预测，实现知识图谱中缺失信息的发现和还原。随着信息化技术加快发展，简政放权的力度不断加大，需要加快推进政务服务数字化转型，大数据智能化将便民服务从线下转到网上，不断提高服务效率，从而催生了政务智能化。随着政务不断增多，现有的链接预测方法已无法对时序知识图谱做出准确的预测。
发明内容
有鉴于此，本发明的目的在于提供一种时序知识图谱的链接预测方法、装置及电子设备，以解决现有的预测模型无法对时序知识图谱做出准确的预测的问题，同时提高了链接预测的准确性。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种时序知识图谱的链接预测方法，包括：获取待预测时序知识图谱的初始实体、关系和当前时间戳；其中，初始实体包括头实体或尾实体；将初始实体、关系和当前时间戳输入到预先训练得到的预测模型中，得到目标实体；其中，预测模型是基于四元组和GRU算法对图卷积神经网络进行训练得到的，四元组包括头实体、关系、尾实体和时间戳。
在一种实施方式中，将初始实体、关系和当前时间戳输入到预先训练得到的预测模型中，得到目标实体，包括：将初始实体、关系和当前时间戳输入到预先训练得到的预测模型中，得到多个预测实体；将多个预测实体中概率最大的预测实体，确定为目标实体。
在一种实施方式中，将初始实体、关系和当前时间戳输入到预先训练得到的预测模型中，得到多个预测实体的概率，包括：基于前一时间戳下图卷积神经网络的权重矩阵和当前时间戳下图卷积神经网络的节点嵌入，确定当前时间戳下图卷积神经网络的权重矩阵；其中，图卷积神经网络的节点嵌入包括初始实体的嵌入；基于当前时间戳下图卷积神经网络的权重矩阵、图卷积神经网络的带权邻接矩阵和当前时间戳下图卷积神经网络的节点嵌入，确定当前时间戳下图卷积神经网络每一层的节点嵌入；将当前时间戳下图卷积神经网络每一层的节点嵌入进行聚合，并通过一层神经网络对聚合后的节点嵌入进行预测，得到多个预测实体的概率。
在一种实施方式中，预测模型的训练步骤包括：获取预设数量的样本数据；其中，样本数据包括时序知识图谱中事实的头实体、关系、尾实体和时间戳；基于样本数据的嵌入，采用GRU算法更新待训练图卷积神经网络，得到预测模型。
在一种实施方式中，基于样本数据的嵌入，采用GRU算法更新待训练图卷积神经网络，得到预测模型，包括：按照样本数据中时间戳的顺序，采用GRU算法，确定每个时间戳对应的待训练图卷积神经网络的权重矩阵；基于每个时间戳对应的待训练图卷积神经网络的权重矩阵、待训练图卷积神经网络的带权邻接矩阵和待训练图卷积神经网络的节点嵌入，确定每个时间戳下待训练图卷积神经网络每一层的节点嵌入；将同一时间戳下待训练图卷积神经网络每一层的节点嵌入进行聚合，并通过一层神经网络对聚合后的节点嵌入进行预测，得到预测结果；基于预测结果和时序知识图谱中的真实结果，计算交叉熵损失函数；基于交叉熵损失函数，重复更新待训练图卷积神经网络，直至达到预设迭代次数或者在预设回合内匹配分数为定值，得到预测模型。
在一种实施方式中，按照样本数据中时间戳的顺序，采用GRU算法，确定每个时间戳对应的待训练图卷积神经网络的权重矩阵，包括：按照样本数据中时间戳的顺序，基于前一时间戳下待训练图卷积神经网络的权重矩阵和当前时间戳下待训练图卷积神经网络的节点嵌入，确定每个时间戳对应的待训练图卷积神经网络的权重矩阵。
在一种实施方式中，基于样本数据的嵌入，采用GRU算法更新待训练图卷积神经网络，得到预测模型之前，还包括：对待训练图卷积神经网络的参数和GRU算法的参数进行初始化，并进行样本数据的嵌入。
第二方面，本发明实施例提供了一种时序知识图谱的链接预测装置，包括：数据获取模块，用于获取待预测时序知识图谱的初始实体、关系和当前时间戳；其中，初始实体包括头实体或尾实体；实体预测模块，用于将初始实体、关系和当前时间戳输入到预先训练得到的预测模型中，得到目标实体；其中，预测模型是基于四元组和GRU算法对图卷积神经网络进行训练得到的，四元组包括头实体、关系、尾实体和时间戳。
第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述第一方面提供的任一项的方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述第一方面提供的任一项的方法的步骤。
本发明实施例带来了以下有益效果：
本发明实施例提供的上述时序知识图谱的链接预测方法、装置及电子设备，首先，获取待预测时序知识图谱的初始实体(包括头实体或尾实体)、关系和当前时间戳；然后，将初始实体、关系和当前时间戳输入到预先训练得到的预测模型(基于四元组和GRU算法对图卷积神经网络进行训练得到的，四元组包括头实体、关系、尾实体和时间戳)中，得到目标实体。上述方法采用由时序知识图谱的四元组和GRU算法训练得到的图卷积神经网络进行链接预测，能够在已知头实体和关系的前提下，预测得到当前时间戳下的尾实体，或者在已知尾实体和关系的前提下，预测得到当前时间戳下的头实体，从而可以补充时序知识图谱，解决现有的预测模型无法对时序知识图谱做出准确的预测的问题，同时提高了链接预测的准确性。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种时序知识图谱的链接预测方法的流程图；
图2为本发明实施例提供的一种预测模型的训练方法流程图；
图3为本发明实施例提供的另一种预测模型的训练流程图；
图4为本发明实施例提供的一种时序知识图谱的链接预测装置的结构示意图；
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，随着政务不断增多，现有的链接预测方法已无法对时序知识图谱做出准确的预测。基于此，本发明实施例提供的一种时序知识图谱的链接预测方法、装置及电子设备，以解决现有的预测模型无法对时序知识图谱做出准确的预测的问题，同时提高了链接预测的准确性。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种时序知识图谱的链接预测方法进行详细介绍，该方法可以由电子设备执行，诸如智能手机、电脑、iPad等，参见图1所示的一种时序知识图谱的链接预测方法的流程图，示意出该方法主要包括以下步骤S101至步骤S102：
步骤S101：获取待预测时序知识图谱的初始实体、关系和当前时间戳。
其中，初始实体包括头实体或尾实体。具体的，可以从已知的数据集中获取初始实体、关系和当前时间戳，当前时间戳即为获取的实体对应的时间戳，并进行初始实体、关系和当前时间戳的嵌入，将其进行向量化处理，将文本信息性转化成预测模型可以识别的特征向量。
步骤S102：将初始实体、关系和当前时间戳输入到预先训练得到的预测模型中，得到目标实体。
其中，预测模型是基于四元组和GRU算法对图卷积神经网络进行训练得到的，四元组包括头实体、关系、尾实体和时间戳。门控循环单元(Gate Recurrent Unit，GRU)是循环神经网络(Recurrent Neural Network,RNN)的一种，有一个当前的输入和上一个节点传递下来的隐状态，这个隐状态包含了之前节点的相关信息，GRU会得到当前隐藏节点的输出和传递给下一个节点的隐状态。在一种可能的实施方式中，可以预先从已知时序知识图谱对应的数据集中，获取头实体、尾实体、关系和时间戳作为样本数据，通过GRU对图卷积神经网络(Graph Convolutional Network,GCN)进行训练得到预测模型。该预测模型考虑了时间对链接预测结果的影响，可以在当前时间戳下已知头实体和关系预测尾实体或已知尾实体和关系预测头实体。基于此，本发明实施例中的可以基于获取到的初始实体、关系和当前时间戳，利用预测模型得到目标实体，其中，当初始实体为头实体时，目标实体则为尾实体；当初始实体为尾实体时，目标实体即为头实体，从而能够补全待预测时序知识图谱。
本发明实施例提供的上述时序知识图谱的链接预测方法，采用由时序知识图谱的四元组和GRU算法训练得到的图卷积神经网络进行链接预测，能够在已知头实体和关系的前提下，预测得到当前时间戳下的尾实体，或者在已知尾实体和关系的前提下，预测得到当前时间戳下的头实体，从而可以补充时序知识图谱，解决现有的预测模型无法对时序知识图谱做出准确的预测的问题，同时提高了链接预测的准确性。
在一种实施方式中，在将初始实体、关系和当前时间戳输入到预先训练得到的预测模型中，得到目标实体时，可以采用但不限于以下方式，主要包括以下步骤1至步骤2：
步骤1：将初始实体、关系和当前时间戳输入到预先训练得到的预测模型中，得到多个预测实体的概率。
具体的，预测模型包括图卷积神经网络，在基于预测模型进行链接预测时，可以采用但不限于以下方式：
首先，基于前一时间戳下图卷积神经网络的权重矩阵和当前时间戳下图卷积神经网络的节点嵌入，确定当前时间戳下图卷积神经网络的权重矩阵；其中，图卷积神经网络的节点嵌入包括初始实体的嵌入。
在一种可能的实施方式中，图卷积神经网络中的节点可以用来表示时序知识图谱中的实体(头实体或尾实体)，边可以表示时序知识图谱中的关系(即实体之间的关系)。在本发明实施例中，可以利用初始实体、关系和当前时间戳的嵌入，基于GRU算法更新图卷积神经网络中的参数。
具体的，可以根据待预测时序知识图谱中事实对应的时间戳顺序，将前一时间戳下图卷积神经网络的权重矩阵和当前时间戳下图卷积神经网络的节点嵌入，输入到GRU中计算得到当前时间戳下图卷积神经网络的权重矩阵，具体以下公式：
Wt (l)＝GRU(Et (l),Wt-1 (l)) (1)
其中，Wt (l)表示t时间戳下图卷积神经网络中的第l层的权重矩阵，Et (l)表示t时间戳下图卷积神经网络中的第l层的节点嵌入，Wt-1 (l)表示t-1时间戳下图卷积神经网络中的第l层的权重矩阵。
然后，基于当前时间戳下图卷积神经网络的权重矩阵、图卷积神经网络的带权邻接矩阵和当前时间戳下图卷积神经网络的节点嵌入，确定当前时间戳下图卷积神经网络每一层的节点嵌入。
在得到当前时间戳下图卷积神经网络的权重矩阵后，可以进一步对图卷积神经网络的节点嵌入进行预测。具体的，结合当前时间戳下图卷积神经网络的权重矩阵、图卷积神经网络的带权邻接矩阵和当前时间戳下图卷积神经网络的节点嵌入，按照以下公式得到当前时间戳下图卷积神经网络每一层的节点嵌入：
Et (l+1)＝GCN(Mt,Wt (l),Et (l)) (2)
其中，Et (l+1)表示t时间戳下图卷积神经网络中的第l+1层的节点嵌入，Mt表示t时间戳下图卷积神经网络中的带权邻接矩阵，Wt (l)表示t时间戳下图卷积神经网络中的第l层的权重矩阵，Et (l)表示t时间戳下图卷积神经网络中的第l层的节点嵌入。
最后，将当前时间戳下图卷积神经网络每一层的节点嵌入进行聚合，并通过一层神经网络对聚合后的节点嵌入进行预测，得到多个预测实体。
在一种实施方式中，可以根据以下公式得到当前时间戳下图卷积神经网络中节点聚合的嵌入：
Ht＝CAT(Et (1),Et (2)...Et (m)) (3)
其中，Ht表示t时间戳下图卷积神经网络节点聚合的嵌入，CAT表示拼接操作。
进一步地，通过一层神经网络得到多个预测实体，具体公式如下：
Pt＝MLP(Ht) (4)
其中，Pt表示预测实体，即预测结果。
步骤2：将多个预测实体中概率最大的预测实体，确定为目标实体。
具体的，可以按照以下公式在多个预测实体中选择概率最大的作为最终的目标实体：
pt＝arg max(Pt) (5)
进一步地，本发明实施例还提供了一种预测模型的训练方法，参见图2所示的一种预测模型的训练方法流程图，示意出该方法主要包括以下步骤S201至步骤S202：
步骤S201：获取预设数量的样本数据；其中，样本数据包括时序知识图谱中事实的头实体、关系、尾实体和时间戳。
实际应用中，可以从网络上爬取样本数据，还可以从已知的数据集(诸如使用WIKI百科的数据集)中获取样本数据，样本数据中包括头实体、关系、尾实体和时间戳；例如：数据集中存在的事实为“杭州属于浙江”，那么，“杭州”即为头实体，“浙江”即为尾实体，“属于”即为关系，也即头实体和尾实体之间的关系，时间戳即为“杭州属于浙江”这个事实发布的时间。
步骤S202：基于样本数据的嵌入，采用GRU算法更新待训练图卷积神经网络，得到预测模型。
考虑到获取到的样本数据通常为文本或者数据，图卷积神经网络无法识别，因此需要对样本数据进行预处理，进行样本数据的嵌入，将其转化为特征向量；同时，还需要对待训练图卷积神经网络的参数以及采用的权重算法的参数进行初始化，因此，本发明实施例中，在基于样本数据的嵌入，采用GRU算法更新待训练图卷积神经网络之前，还包括：对待训练图卷积神经网络的参数和GRU算法的参数进行初始化，并进行样本数据的嵌入。
进一步地，在基于样本数据的嵌入，采用GRU算法更新待训练图卷积神经网络，得到预测模型时，可以采用但不限于以下方式：
首先，按照样本数据中时间戳的顺序，采用GRU算法，确定每个时间戳对应的待训练图卷积神经网络的权重矩阵。
本发明实施例中，可以按照样本数据中时间戳的顺序，基于前一时间戳下待训练图卷积神经网络的权重矩阵和当前时间戳下待训练图卷积神经网络的节点嵌入，确定每个时间戳对应的待训练图卷积神经网络的权重矩阵。具体的，可以采用GRU算法，如公式(1)所示，将前一时间戳下的权重矩阵和当前时间戳的节点嵌入输入到GRU中，得到当前时间戳下的权重矩阵，进而基于当前时间戳下的权重矩阵得到下一时间戳下的权重矩阵，以此类推，得到每个时间戳对应的待训练图卷积神经网络的权重矩阵。
其次，基于每个时间戳对应的待训练图卷积神经网络的权重矩阵、待训练图卷积神经网络的带权邻接矩阵和待训练图卷积神经网络的节点嵌入，确定每个时间戳下待训练图卷积神经网络每一层的节点嵌入。
具体的，结合当前时间戳下待训练图卷积神经网络的权重矩阵、待训练图卷积神经网络的带权邻接矩阵和当前时间戳下待训练图卷积神经网络的节点嵌入，按照前述公式(2)得到每个时间戳下待训练图卷积神经网络每一层的节点嵌入。
然后，将同一时间戳下待训练图卷积神经网络每一层的节点嵌入进行聚合，并通过待训练一层神经网络对聚合后的节点嵌入进行预测，得到预测结果。
具体的，可以按照前述公式(3)得到待训练图卷积神经网络每一层的节点嵌入的聚合结果，进一步，按照前述公式(4)通过待训练一层神经网络得到预测结果。
接着，基于预测结果和时序知识图谱中的真实结果，计算交叉熵损失函数。
具体的，可以按照以下公式计算真实结果和预测结果之间的交叉熵损失函数：
Figure BDA0003422607180000101
其中，Lt(P,Q)表示计算得到的交叉熵损失函数，Qt表示真实结果。
最后，基于交叉熵损失函数，重复更新待训练图卷积神经网络，直至达到预设迭代次数或者在预设回合内匹配分数为定值，得到预测模型。
具体的，可以根据计算得到的交叉熵损失函数，在交叉熵损失函数未满足预设要求时，重复上述训练过程，直至达到预设迭代次数(诸如N＝500)或者在预设回合内匹配分数为定值(诸如在5回合内MRR不再提升)。其中，MRR(Mean reciprocal rank)是一个通用的对搜索算法进行评价的机制，即第一个结果匹配，分数为1，第二个匹配分数为0.5，第n个匹配分数为1/n，如果没有匹配的句子分数为0，最终的匹配分数为所有得分之和。在本发明实施例中可以以5回合内MRR不再提升为判断依据，当满足要求时，确定预测模型训练完成。
本发明实施例中，首先获取数据集中的头实体、关系、尾实体、时间戳，然后随机初始化学习率、图卷积神经网络中的节点参数和边参数、GRU的参数，以及进行头实体，关系，尾实体，时间戳的嵌入，并利用这些嵌入更新图卷积神经网络中的参数和一层神经网络得到预测模型，最后可以在基于预测模型在该时间戳下已知头实体和关系预测尾实体或已知尾实体和关系预测头实体。本发明通过用数据集训练图卷积神经网络，然后用训练好的图卷积神经网络预测头实体或者尾实体，从而补充时序知识图谱，解决现有的预测模型无法对时序知识图谱做出准确的预测的问题，同时提高了链接预测的准确性。
为了便于理解，本发明实施例中以使用WIKI百科的数据集为实例，提供了一种时序知识图谱的链接预测方法，主要包括以下步骤(1)至步骤(4)：
步骤(1)：获取WIKI百科数据集中的头实体，关系，尾实体，时间戳。
步骤(2)：随机初始化学习率，图卷积神经网络中的节点参数和边参数，GRU的参数，以及进行头实体，关系，尾实体，时间戳的嵌入。
具体的，学习率是监督学习以及深度学习中重要的超参，其决定着目标函数能否收敛到局部最小值以及何时收敛到最小值，合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。图卷积神经网络中的节点参数表示头实体或者尾实体，边参数表示关系。
步骤(3)：利用头实体，关系，尾实体，时间戳的嵌入，更新图卷积神经网络中的参数和神经网络。
神经网络即为一层神经网络，步骤(3)具体包括以下步骤(3.1)至步骤(3.5)：
步骤(3.1)：根据时序知识图谱中事实对应的时间戳的顺序，将上一时刻的权重矩阵和该时刻的节点嵌入输入到GRU中进行计算得到该时刻的权重矩阵。具体可以按照前述公式(1)进行计算。
步骤(3.2)：利用经过GRU更新后的权重矩阵演化GCN。
在具体实现时，可以按照前述公式(2)进行计算。
步骤(3.3)：聚合图卷积神经网络中的节点特征后，用一层神经网络预测头实体或者尾实体。
在具体实现时，可以按照前述公式(3)聚合图卷积神经网络中的节点特征，按照前述公式(4)用一层神经网络预测头实体或者尾实体，得到预测结果。
步骤(3.4)：使用交叉熵计算损失函数。
具体的，可以按照前述公式(6)计算真实结果和预测结果之间的交叉熵损失函数。
步骤(3.5)：重复更新神经网络直到更新次数到达最大迭代次数N＝500或者5回合内MRR不再提升，得到预测模型。
步骤(4)：根据得到的预测模型，在该时间戳下已知头实体和关系预测尾实体或已知尾实体和关系预测头实体。
在具体实现时，根据得到的图卷积神经网络和神经网络，在该时间戳下已知头实体和关系预测尾实体或已知尾实体和关系预测头实体，即重复上述步骤(3.1)至步骤(3.3)得到预测结果Pt，并在Pt中获取最大概率的Pt作为目标实体，具体的，可以按照前述公式(5)确定目标实体。
本发明实施例中，以WIKI百科为例，采用前述链接预测方法得到的预测结果，相较于现有技术而言，预测效果能够提高10.5％。
本发明实施例中还提供了另一种预测模型的训练流程图，参见图3所示，示意出该方法主要包括以下步骤S301至步骤S304：
步骤S301：获取数据集。
步骤S302：初始化图卷积神经网络的参数和GRU的参数。
步骤S303：基于预设的损失函数对图卷积神经网络进行训练。
步骤S304：判断是否达到最大迭代次数或者MRR是否在预设回合内无增长；如果是，则结束训练，否则，返回步骤S302。
需要说明的是，本发明实施例所提供的模型训练方法，其实现原理及产生的技术效果和前述模型训练方法实施例相同，为简要描述，本实施例部分未提及之处，可参考前述模型训练方法实施例中相应内容。
综上所述，本发明通过四元组(头实体、关系、尾实体和时间戳)训练图卷积神经网络和一层神经网络，然后用训练好的图卷积神经网络和一层神经网络预测头实体或者尾实体，从而补充时序知识图谱，解决了现有的预测模型无法对时序知识图谱做出准确的预测的问题，同时提高了链接预测的准确性。
对于前述实施例提供的时序知识图谱的链接预测方法，本发明实施例还提供了一种时序知识图谱的链接预测装置，参见图4所示的一种时序知识图谱的链接预测装置的结构示意图，该装置可以包括以下部分：
数据获取模块401，用于获取待预测时序知识图谱的初始实体、关系和当前时间戳；其中，初始实体包括头实体或尾实体。
实体预测模块402，用于将初始实体、关系和当前时间戳输入到预先训练得到的预测模型中，得到目标实体；其中，预测模型是基于四元组和GRU算法对图卷积神经网络进行训练得到的，四元组包括头实体、关系、尾实体和时间戳。
本发明实施例提供的上述时序知识图谱的链接预测装置，采用由时序知识图谱的四元组和GRU算法训练得到的图卷积神经网络进行链接预测，能够在已知头实体和关系的前提下，预测得到当前时间戳下的尾实体，或者在已知尾实体和关系的前提下，预测得到当前时间戳下的头实体，从而可以补充时序知识图谱，解决现有的预测模型无法对时序知识图谱做出准确的预测的问题，同时提高了链接预测的准确性。
在一种实施方式中，上述实体预测模块402具体用于：将初始实体、关系和当前时间戳输入到预先训练得到的预测模型中，得到多个预测实体；将多个预测实体中概率最大的预测实体，确定为目标实体。
在一种实施方式中，上述实体预测模块402具体还用于：基于前一时间戳下图卷积神经网络的权重矩阵和当前时间戳下图卷积神经网络的节点嵌入，确定当前时间戳下图卷积神经网络的权重矩阵；其中，图卷积神经网络的节点嵌入包括初始实体的嵌入；基于当前时间戳下图卷积神经网络的权重矩阵、图卷积神经网络的带权邻接矩阵和当前时间戳下图卷积神经网络的节点嵌入，确定当前时间戳下图卷积神经网络每一层的节点嵌入；将当前时间戳下图卷积神经网络每一层的节点嵌入进行聚合，并通过一层神经网络对聚合后的节点嵌入进行预测，得到多个预测实体的概率。
在一种实施方式中，上述装置还包括模型训练模块，用于：获取预设数量的样本数据；其中，样本数据包括时序知识图谱中事实的头实体、关系、尾实体和时间戳；基于样本数据的嵌入，采用GRU算法更新待训练图卷积神经网络，得到预测模型。
在一种实施方式中，上述模型训练模块具体还用于：按照样本数据中时间戳的顺序，采用GRU算法，确定每个时间戳对应的待训练图卷积神经网络的权重矩阵；基于每个时间戳对应的待训练图卷积神经网络的权重矩阵、待训练图卷积神经网络的带权邻接矩阵和待训练图卷积神经网络的节点嵌入，确定每个时间戳下待训练图卷积神经网络每一层的节点嵌入；将同一时间戳下待训练图卷积神经网络每一层的节点嵌入进行聚合，并通过待训练一层神经网络对聚合后的节点嵌入进行预测，得到预测结果；基于预测结果和时序知识图谱中的真实结果，计算交叉熵损失函数；基于交叉熵损失函数，重复更新待训练图卷积神经网络，直至达到预设迭代次数或者在预设回合内匹配分数为定值，得到预测模型。
在一种实施方式中，上述模型训练模块具体还用于：按照样本数据中时间戳的顺序，基于前一时间戳下待训练图卷积神经网络的权重矩阵和当前时间戳下待训练图卷积神经网络的节点嵌入，确定每个时间戳对应的待训练图卷积神经网络的权重矩阵。
在一种实施方式中，上述模型训练模块具体还用于：对待训练图卷积神经网络的参数和GRU算法的参数进行初始化，并进行样本数据的嵌入。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例还提供了一种电子设备，具体的，该电子设备包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被处理器运行时执行如上实施方式的任一项所述的方法。
图5为本发明实施例提供的一种电子设备的结构示意图，该电子设备100包括：处理器50，存储器51，总线52和通信接口53，所述处理器50、通信接口53和存储器51通过总线52连接；处理器50用于执行存储器51中存储的可执行模块，例如计算机程序。
其中，存储器51可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口53(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线52可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器51用于存储程序，所述处理器50在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器50中，或者由处理器50实现。
处理器50可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器50中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器50可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器51，处理器50读取存储器51中的信息，结合其硬件完成上述方法的步骤。
本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种时序知识图谱的链接预测方法，其特征在于，包括：
获取待预测时序知识图谱的初始实体、关系和当前时间戳；其中，所述初始实体包括头实体或尾实体；
将所述初始实体、所述关系和所述当前时间戳输入到预先训练得到的预测模型中，得到目标实体；其中，所述预测模型是基于四元组和GRU算法对图卷积神经网络进行训练得到的，所述四元组包括头实体、关系、尾实体和时间戳。
2.根据权利要求1所述的方法，其特征在于，将所述初始实体、所述关系和所述当前时间戳输入到预先训练得到的预测模型中，得到目标实体，包括：
将所述初始实体、所述关系和所述当前时间戳输入到预先训练得到的预测模型中，得到多个预测实体；
将所述多个预测实体中概率最大的预测实体，确定为目标实体。
3.根据权利要求1所述的方法，其特征在于，将所述初始实体、所述关系和所述当前时间戳输入到预先训练得到的预测模型中，得到多个预测实体的概率，包括：
基于前一时间戳下所述图卷积神经网络的权重矩阵和所述当前时间戳下所述图卷积神经网络的节点嵌入，确定所述当前时间戳下所述图卷积神经网络的权重矩阵；其中，所述图卷积神经网络的节点嵌入包括所述初始实体的嵌入；
基于所述当前时间戳下所述图卷积神经网络的权重矩阵、所述图卷积神经网络的带权邻接矩阵和所述当前时间戳下图卷积神经网络的节点嵌入，确定所述当前时间戳下所述图卷积神经网络每一层的节点嵌入；
将当前时间戳下所述图卷积神经网络每一层的节点嵌入进行聚合，并通过一层神经网络对聚合后的节点嵌入进行预测，得到多个预测实体的概率。
4.根据权利要求3所述的方法，其特征在于，所述预测模型的训练步骤包括：
获取预设数量的样本数据；其中，所述样本数据包括时序知识图谱中事实的头实体、关系、尾实体和时间戳；
基于所述样本数据的嵌入，采用GRU算法更新待训练图卷积神经网络，得到预测模型。
5.根据权利要求4所述的方法，其特征在于，基于所述样本数据的嵌入，采用GRU算法更新待训练图卷积神经网络，得到预测模型，包括：
按照所述样本数据中所述时间戳的顺序，采用GRU算法，确定每个所述时间戳对应的所述待训练图卷积神经网络的权重矩阵；
基于每个所述时间戳对应的所述待训练图卷积神经网络的权重矩阵、所述待训练图卷积神经网络的带权邻接矩阵和所述待训练图卷积神经网络的节点嵌入，确定每个所述时间戳下所述待训练图卷积神经网络每一层的节点嵌入；
将同一时间戳下所述待训练图卷积神经网络每一层的节点嵌入进行聚合，并通过一层神经网络对聚合后的节点嵌入进行预测，得到预测结果；
基于所述预测结果和所述时序知识图谱中的真实结果，计算交叉熵损失函数；
基于所述交叉熵损失函数，重复更新所述待训练图卷积神经网络，直至达到预设迭代次数或者在预设回合内匹配分数为定值，得到预测模型。
6.根据权利要求5所述的方法，其特征在于，按照所述样本数据中所述时间戳的顺序，采用GRU算法，确定每个所述时间戳对应的所述待训练图卷积神经网络的权重矩阵，包括：
按照所述样本数据中所述时间戳的顺序，基于前一时间戳下所述待训练图卷积神经网络的权重矩阵和当前时间戳下所述待训练图卷积神经网络的节点嵌入，确定每个所述时间戳对应的所述待训练图卷积神经网络的权重矩阵。
7.根据权利要求4所述的方法，其特征在于，基于所述样本数据的嵌入，采用GRU算法更新待训练图卷积神经网络，得到预测模型之前，还包括：
对所述待训练图卷积神经网络的参数和所述GRU算法的参数进行初始化，并进行所述样本数据的嵌入。
8.一种时序知识图谱的链接预测装置，其特征在于，包括：
数据获取模块，用于获取待预测时序知识图谱的初始实体、关系和当前时间戳；其中，所述初始实体包括头实体或尾实体；
实体预测模块，用于将所述初始实体、所述关系和所述当前时间戳输入到预先训练得到的预测模型中，得到目标实体；其中，所述预测模型是基于四元组和GRU算法对图卷积神经网络进行训练得到的，所述四元组包括头实体、关系、尾实体和时间戳。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至7任一项所述的方法的步骤。
CN202111568209.4A 2021-12-21 2021-12-21 时序知识图谱的链接预测方法、装置及电子设备 Pending CN114238658A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111568209.4A CN114238658A (zh) 2021-12-21 2021-12-21 时序知识图谱的链接预测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111568209.4A CN114238658A (zh) 2021-12-21 2021-12-21 时序知识图谱的链接预测方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN114238658A true CN114238658A (zh) 2022-03-25

Family

ID=80760056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111568209.4A Pending CN114238658A (zh) 2021-12-21 2021-12-21 时序知识图谱的链接预测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114238658A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115391553A (zh) * 2022-08-23 2022-11-25 西北工业大学 一种自动搜索时序知识图谱补全模型的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115391553A (zh) * 2022-08-23 2022-11-25 西北工业大学 一种自动搜索时序知识图谱补全模型的方法
CN115391553B (zh) * 2022-08-23 2023-10-13 西北工业大学 一种自动搜索时序知识图谱补全模型的方法

Similar Documents

Publication Publication Date Title
CN109891897B (zh) 用于分析媒体内容的方法
CN110366734B (zh) 优化神经网络架构
US11861474B2 (en) Dynamic placement of computation sub-graphs
CN111819580A (zh) 用于密集图像预测任务的神经架构搜索
CN111602148A (zh) 正则化神经网络架构搜索
CN111753076B (zh) 对话方法、装置、电子设备及可读存储介质
CN108923983B (zh) 机会网络链路的预测方法、装置及可读存储介质
CN109635990B (zh) 一种训练方法、预测方法、装置、电子设备及存储介质
CN111406264A (zh) 神经架构搜索
US11423307B2 (en) Taxonomy construction via graph-based cross-domain knowledge transfer
CN114238658A (zh) 时序知识图谱的链接预测方法、装置及电子设备
WO2021169478A1 (zh) 神经网络模型的融合训练方法及装置
JP2020057357A (ja) 神経網の動作方法と学習方法及びその神経網
CN110717537B (zh) 训练用户分类模型、执行用户分类预测的方法及装置
WO2023179609A1 (zh) 一种数据处理方法及装置
WO2022267714A1 (zh) 一种逆强化学习处理方法、装置、存储介质及电子装置
CN116862580A (zh) 短信触达时间预测方法、装置、计算机设备及存储介质
CN114120180B (zh) 一种时序提名的生成方法、装置、设备及介质
CN111611531B (zh) 人员关系分析方法、装置及电子设备
CN115618065A (zh) 一种数据处理方法及相关设备
WO2023052827A1 (en) Processing a sequence of data items
CN114730380A (zh) 神经网络的深度并行训练
CN112669270A (zh) 视频质量的预测方法、装置及服务器
CN111782301B (zh) 卸载动作集合获取方法及装置
US20230403204A1 (en) Method, electronic device, and computer program product for information-centric networking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination