CN111026881A - 知识图谱中多跳实体关系预测方法和装置 - Google Patents

知识图谱中多跳实体关系预测方法和装置 Download PDF

Info

Publication number
CN111026881A
CN111026881A CN201911263786.5A CN201911263786A CN111026881A CN 111026881 A CN111026881 A CN 111026881A CN 201911263786 A CN201911263786 A CN 201911263786A CN 111026881 A CN111026881 A CN 111026881A
Authority
CN
China
Prior art keywords
sequence
entity
value
hidden state
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911263786.5A
Other languages
English (en)
Inventor
赵晓娟
常春喜
邓劲生
王昌海
刘静
宋怡晨
谢浩成
马锶霞
李晨晨
汪天祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201911263786.5A priority Critical patent/CN111026881A/zh
Publication of CN111026881A publication Critical patent/CN111026881A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及一种知识图谱中多跳实体关系预测方法和装置。所述方法包括：从训练集中获取实体对，根据实体对构建多跳的推理关系链，利用预先设置的第一门控循环单元对关系序列进行编码，得到关系序列对应的隐状态序列，利用预先设置的第二门控循环单元对隐状态序列进行编码，得到预测实体序列，根据预测实体序列，确定第一损失函数，根据第一损失函数以及训练集中的实体对，对预先设置的神经网络模型进行训练，得到实体关系预测模型，将知识图谱中实体对输入实体关系预测模型，得到实体对的关系预测结果。采用本方法能够准确的预测知识图谱中多跳实体对的关系。

Description

知识图谱中多跳实体关系预测方法和装置
技术领域
本申请涉及知识图谱技术领域，特别是涉及一种知识图谱中多跳实体关系预测方法和装置。
背景技术
知识图谱的初衷是为了提高搜索引擎的能力，增强用户的搜索质量以及搜索体验。常见的知识图谱有：Freebase、Wikidata、DBpedia、YAGO等。随着人工智能的技术发展和应用，知识图谱作为关键技术之一，已被广泛应用于智能搜索、智能问答、个性化推荐等领域。
传统推理是指通过各种方法获得新的知识或结论。知识图谱推理则是根据已有的知识图谱推断出新的实体与实体之间的关系，即建立新知识；还包括知识图谱逻辑冲突检测和冲突解决。知识图谱推理可以分为基于符号的推理和基于统计的推理。在人工智能的研究中，基于符号的推理一般是基于一阶谓词逻辑或者命题逻辑等经典逻辑进行的推理，有时候也包括基于缺少逻辑等经典逻辑的变异所进行的推理，通过是基于给定规则对知识图谱进行确定性推理。基于统计的方法是指通过统计规律从知识图谱中学习到新的实体与实体之间的关系，一般指关系机器学习方法，是一种不确定性推理。基于知识图谱的推理在知识分类、知识检验与评估、知识链接预测与知识图谱补全等知识计算中扮演重要角色。
在基于知识图谱推理的已有研究中，一方面，不同顺序的关系被编码到同一空间中得出同样的推理结果，而这常常是错误的；另一方面，只关注推理链上的关系而忽略推理链中不同的中间实体也可能会得出错误的推理结果。
发明内容
基于此，有必要针对上述技术问题，提供一种能够解决知识图谱中实体关系推测不准确问题的知识图谱中多跳实体关系预测方法和装置。
一种知识图谱中多跳实体关系预测方法，所述方法包括：
从训练集中获取实体对，根据所述实体对构建多跳的推理关系链；所述推理关系链包括：中间实体序列和关系序列；
利用预先设置的第一门控循环单元对所述关系序列进行编码，得到所述关系序列对应的隐状态序列；
利用预先设置的第二门控循环单元对所述隐状态序列进行编码，得到所述预测实体序列；
根据所述预测实体序列，确定第一损失函数；
根据所述第一损失函数以及所述训练集中的实体对，对预先设置的神经网络模型进行训练，得到实体关系预测模型；
将知识图谱中实体对输入所述实体关系预测模型，得到实体对的关系预测结果。
在其中一个实施例中，还包括：设置初始隐状态值；将所述初始隐状态值和所述关系序列中第一个值输入所述第一门控循环单元，得到隐状态序列的第一个值；将所述隐状态序列的第一个值和所述关系序列中第二个值输入所述第一门控循环单元，得到隐状态序列的第二个值；以此类推，将所述隐状态序列的第t-1个值和所述关系序列的第t个值输入所述第一门控循环单元，得到隐状态序列的第t个值；根据隐状态序列的第一个值、第二个值直至第t个值按序排列得到关系序列对应的隐状态序列。
在其中一个实施例中，还包括：设置初始预测实体为训练集中实体对中的头实体；训练集中实体对包括：头实体和尾实体；将所述头实体和所述隐状态序列中第一个值输入所述第二门控循环单元，得到预测实体序列的第一个值；将所述预测实体序列的第一个值和所述隐状态序列中第二个值输入所述第一门控循环单元，得到隐状态序列的第二个值；以此类推，将所述预测实体序列的第t-1个值和所述隐状态序列的第t个值输入所述第一门控循环单元，得到预测实体序列的第t个值；根据预测实体序列的第一个值、第二个值直至第t个值按序排列得到关系序列对应的预测实体序列。
在其中一个实施例中，还包括：获取所述实体对之间的中间实体序列；所述中间实体序列包括：正实体序列样本和负实体序列样本；获取所述实体对之间的关系序列；所述关系序列包括：正关系序列和负关系序列；根据所述中间实体序列和所述关系序列构建推理关系链。
在其中一个实施例中，还包括：所述第一损失函数的表达式如下：
Figure BDA0002312295790000031
其中，
Figure BDA0002312295790000032
表示第一损失函数，sin(·，·)表示计算两个向量之间的相似度，ei表示正中间实体序列中第i个值，ei -表示负中间实体序列中第i个值，
Figure BDA0002312295790000033
表示预测实体序列中第i个值，γ表示正中间实体序列和负中间实体序列的最小间隔。
在其中一个实施例中，还包括：获取所述第一门控循环单元和所述第二门控循环单元的重置门信息；所述重置门信息的表达式如下：
r＝σ(xtUr+st-1Wr)
其中，r表示重置门信息，xt表示关系序列中第t个值，st-1表示隐状态序列中第t-1个值，σ表示sigmoid函数；
根据所述重置门信息，构建第二损失函数；所述第二损失函数的表达式如下：
Figure BDA0002312295790000034
其中，
Figure BDA0002312295790000035
表示第二损失函数，
Figure BDA0002312295790000036
表示隐状态序列中第r个值，
Figure BDA0002312295790000037
表示根据负关系序列确定的负隐状态序列中第r个值，β表示隐状态序列和负隐状态序列的最小间隔；对所述第一损失函数和第二损失函数进行加权，得到损失函数；根据所述损失函数以及所述训练集中的实体对，对预先设置的神经网络模型进行训练，得到实体关系预测模型。
一种知识图谱中多跳实体关系预测装置，所述装置包括：
数据准备模块，用于从训练集中获取实体对，根据所述实体对构建多跳的推理关系链；所述推理关系链包括：中间实体序列和关系序列；
模型训练模块，用于利用预先设置的第一门控循环单元对所述关系序列进行编码，得到所述关系序列对应的隐状态序列；利用预先设置的第二门控循环单元对所述隐状态序列进行编码，得到所述预测实体序列；根据所述预测实体序列，确定第一损失函数；根据所述第一损失函数以及所述训练集中的实体对，对预先设置的神经网络模型进行训练，得到实体关系预测模型；
关系预测模块，用于将知识图谱中实体对输入所述实体关系预测模型，得到实体对的关系预测结果。
在其中一个实施例中，所述模型训练模块还用于设置初始隐状态值；将所述初始隐状态值和所述关系序列中第一个值输入所述第一门控循环单元，得到隐状态序列的第一个值；将所述隐状态序列的第一个值和所述关系序列中第二个值输入所述第一门控循环单元，得到隐状态序列的第二个值；以此类推，将所述隐状态序列的第t-1个值和所述关系序列的第t个值输入所述第一门控循环单元，得到隐状态序列的第t个值；根据隐状态序列的第一个值、第二个值直至第t个值按序排列得到关系序列对应的隐状态序列。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
从训练集中获取实体对，根据所述实体对构建多跳的推理关系链；所述推理关系链包括：中间实体序列和关系序列；
利用预先设置的第一门控循环单元对所述关系序列进行编码，得到所述关系序列对应的隐状态序列；
利用预先设置的第二门控循环单元对所述隐状态序列进行编码，得到所述预测实体序列；
根据所述预测实体序列，确定第一损失函数；
根据所述第一损失函数以及所述训练集中的实体对，对预先设置的神经网络模型进行训练，得到实体关系预测模型；
将知识图谱中实体对输入所述实体关系预测模型，得到实体对的关系预测结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
从训练集中获取实体对，根据所述实体对构建多跳的推理关系链；所述推理关系链包括：中间实体序列和关系序列；
利用预先设置的第一门控循环单元对所述关系序列进行编码，得到所述关系序列对应的隐状态序列；
利用预先设置的第二门控循环单元对所述隐状态序列进行编码，得到所述预测实体序列；
根据所述预测实体序列，确定第一损失函数；
根据所述第一损失函数以及所述训练集中的实体对，对预先设置的神经网络模型进行训练，得到实体关系预测模型；
将知识图谱中实体对输入所述实体关系预测模型，得到实体对的关系预测结果。
上述知识图谱中多跳实体关系预测方法、装置、计算机设备和存储介质，通过在进行关系推理时，通过门控循环单元，在推理时同时考虑中间实体的类型和中间实体之间的关系，从而有效的引导了推理的方向，提高推理性能，以及提高了实体关系预测的准确性。
附图说明
图1为一个实施例中知识图谱中多跳实体关系预测方法的应用场景图；
图2为一个实施例中门控循环单元的示意图；
图3为一个实施例中编码模型的结构示意图；
图4为一个实施例中知识图谱中多跳实体关系预测装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种知识图谱中多跳实体关系预测方法，包括以下步骤：
步骤102，从训练集中获取实体对，根据实体对构建多跳的推理关系链。
在知识图谱中，采用三元组描述了实体与实体之间的关系，对于存在多条的实体对，可以采用关系链来表示实体对的关系。
对于训练集中的实体对，可以构建确定的推理关系链，具体的，推理关系链包括：中间实体序列和关系序列，其表达式如下：p＝(eh，r1，e1，r2，e2，…，rt，et)，其中eh表示实体关系对中的头实体，et表示实体关系对中的尾实体，r表示关系类型，e表示实体类型，其中，中间实体序列可以表示为：(e1,e2,…,et)，关系序列可以表示为：(r1，r2，…，rt)。
步骤104，利用预先设置的第一门控循环单元对关系序列进行编码，得到关系序列对应的隐状态序列。
门控循环单元(GRU)使用了更新门(update gate)与重置门(reset gate)，其中更新门帮助模型决定到底要将多少过去的信息传递到未来，重置门决定了到底有多少过去的信息需要遗忘，工作原理如图2所示。
具体的，门控循环单元执行的计算过程如下：
z＝σ(xtUz+st-1Wz)
r＝σ(xtUr+st-1Wr)
Figure BDA0002312295790000061
Figure BDA0002312295790000062
其中，其中σ表示sigmoid函数，xt表示第t个输入向量，st-1是前一个时间步t-1保存的信息，r表示重置门的信息，h表示当前记忆内容，
Figure BDA0002312295790000063
表示Hadamard乘积，st表示当前时间步的最终记忆，U和W是要训练的参数。本方法中将单个GRU简化成如下形式:
st＝GRU(st-1，xt)
因此，将关系序列作为输入向量的序列，可以对关系序列进行编码，关系序列对应的隐状态序列。
步骤106，利用预先设置的第二门控循环单元对隐状态序列进行编码，得到预测实体序列。
同理，将隐状态序列作为输入向量序列，可以对隐状态序列进行编码，得到预测实体序列。
步骤108，根据预测实体序列，确定第一损失函数。
根据预测实体序列与中间实体序列相匹配，可以确定第一损失函数。
步骤110，根据第一损失函数以及训练集中的实体对，对预先设置的神经网络模型进行训练，得到实体关系预测模型。
通过损失函数和样本，可以对神经网络模型进行训练，模型收敛或达到预设轮次就可以得到实体关系预测模型。
步骤112，将知识图谱中实体对输入实体关系预测模型，得到实体对的关系预测结果。
上述知识图谱中多跳实体关系预测方法中，通过在进行关系推理时，通过门控循环单元，在推理时同时考虑中间实体的类型和中间实体之间的关系，从而有效的引导了推理的方向，提高推理性能，以及提高了实体关系预测的准确性。
在其中一个实施例中，如图3所示，对关系序列进行编码的步骤包括：设置初始隐状态值，将初始隐状态值和关系序列中第一个值输入第一门控循环单元，得到隐状态序列的第一个值，将隐状态序列的第一个值和关系序列中第二个值输入第一门控循环单元，得到隐状态序列的第二个值，以此类推，将隐状态序列的第t-1个值和关系序列的第t个值输入第一门控循环单元，得到隐状态序列的第t个值，根据隐状态序列的第一个值、第二个值直至第t个值按序排列得到关系序列对应的隐状态序列。
具体的，初始隐状态值可以设置为0，实际上同一实体对之间会有一条或者多条推理关系链，假设每一条推理关系链对应一组关系序列。考虑到推理链中关系的先后顺序会对推理结果产生影响，使用GRU对关系序列进行编码，对于单个输入rt，以及前一阶段得到的隐状态st-1，其输出可以表示为st＝GRU(st-1，rt)，其中s0＝0。其输入为关系序列(r1，r2，…，rt)，则输出为关系链的隐状态序列(s1，s2，…，st)，这个隐状态不仅包含了关系链中单个关系的含义，也包含了关系序列中各关系所在位置的含义。通过这种编码方式，同时保留了关系序列中的顺序信息，也保留了关系类型信息。
在其中一个实施例中，采用同样的方法，可以对上一步骤中输出的隐状态序列作为GRU的输入，可以输出预测实体序列，具体步骤如下：设置初始预测实体为训练集中实体对中的头实体，训练集中实体对包括：头实体和尾实体，将头实体和隐状态序列中第一个值输入第二门控循环单元，得到预测实体序列的第一个值，将预测实体序列的第一个值和隐状态序列中第二个值输入第一门控循环单元，得到隐状态序列的第二个值，以此类推，将预测实体序列的第t-1个值和隐状态序列的第t个值输入第一门控循环单元，得到预测实体序列的第t个值，根据预测实体序列的第一个值、第二个值直至第t个值按序排列得到关系序列对应的预测实体序列。
同一实体对之间会有一条或者多条链接路径，假设每一条路径对应一组中间实体序列，也就是正确实体序列，考虑到推理链中关系序列相同但中间实体不同会对推理结果产生影响，再次使用GRU对st进行编码，对于单个输入为st，以及前一阶段预测到的中间实体
Figure BDA0002312295790000081
输出可以表示为：
Figure BDA0002312295790000082
其中
Figure BDA0002312295790000083
当其输入为序列(s1，s2，…，st)时，其输出为预测的中间实体序列
Figure BDA0002312295790000084
正确的中间实体序列为e1,e2,...,et。
在其中一个实施例中，根据实体对构建多跳的推理关系链，包括：获取实体对之间的中间实体序列，中间实体序列包括：正实体序列样本和负实体序列样本，获取实体对之间的关系序列；关系序列包括：正关系序列和负关系序列，根据中间实体序列和关系序列构建推理关系链。
具体的，在确定第一损失函数的表达式时，具体表达式如下：
Figure BDA0002312295790000085
其中，
Figure BDA0002312295790000086
表示第一损失函数，sim(·，·)表示计算两个向量之间的相似度，ei表示正中间实体序列中第i个值，ei -表示负中间实体序列中第i个值，
Figure BDA0002312295790000091
表示预测实体序列中第i个值，γ表示正中间实体序列和负中间实体序列的最小间隔。
在另一个具体实施例中，还需要对第一损失函数进行修正，具体步骤如下：获取第一门控循环单元和第二门控循环单元的重置门信息；重置门信息的表达式如下：
r＝σ(xtUr+st-1Wr)
其中，r表示重置门信息，xt表示关系序列中第t个值，st-1表示隐状态序列中第t-1个值，σ表示sigmoid函数，根据重置门信息，构建第二损失函数，第二损失函数的表达式如下：
Figure BDA0002312295790000092
其中，
Figure BDA0002312295790000093
表示第二损失函数，
Figure BDA0002312295790000094
表示隐状态序列中第r个值，
Figure BDA0002312295790000095
表示根据负关系序列确定的负隐状态序列中第r个值，β表示隐状态序列和负隐状态序列的最小间隔，根据第二损失函数，可以对第一损失函数进行修正，那么在模型训练时，对第一损失函数和第二损失函数进行加权，得到损失函数，根据损失函数以及训练集中的实体对，对预先设置的神经网络模型进行训练，得到实体关系预测模型。
具体的加权表达式如下：
Figure BDA0002312295790000096
其中，
Figure BDA0002312295790000097
表示损失函数，α为权值系数，在(0,1)之间取值。
以下，以一个具体实际例子对本发明实施例进行说明，具体可以参照图3。
1、初始化GRU-1，GRU-2。
2、在训练集随机选取一训练数据：实体对(eh,et)，关系序列(r1,r2,...,rt)，中间实体序列(e1,e2,...,et),负采样(e1 -,e2 -,...,et -)。
3、将关系序列(r1,r2,...,rt)依次输入到GRU-1中，得到隐状态序列(s1,s2,...,st)。
4、for i form 1 to t:
将
Figure BDA0002312295790000101
st输入到GRU-2中，得到预测实体
Figure BDA0002312295790000102
循环结束后，得到预测实体序列
Figure BDA0002312295790000103
5、for i from 1 to t:
Figure BDA0002312295790000104
6、通过神经网络的梯度反向传播来更新网络的所有参数；模型收敛或者达到设定的轮数结束，否则转到2。
7、将知识图谱中实体对输入实体关系预测模型，得到实体对的关系预测结果。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种知识图谱中多跳实体关系预测装置，包括：数据准备模块402、模型训练模块404和关系预测模块406，其中：
数据准备模块402，用于从训练集中获取实体对，根据所述实体对构建多跳的推理关系链；所述推理关系链包括：中间实体序列和关系序列；
模型训练模块404，用于利用预先设置的第一门控循环单元对所述关系序列进行编码，得到所述关系序列对应的隐状态序列；利用预先设置的第二门控循环单元对所述隐状态序列进行编码，得到所述预测实体序列；根据所述预测实体序列，确定第一损失函数；根据所述第一损失函数以及所述训练集中的实体对，对预先设置的神经网络模型进行训练，得到实体关系预测模型；
关系预测模块406，用于将知识图谱中实体对输入所述实体关系预测模型，得到实体对的关系预测结果。
在其中一个实施例中，模型训练模块404还用于设置初始隐状态值；将所述初始隐状态值和所述关系序列中第一个值输入所述第一门控循环单元，得到隐状态序列的第一个值；将所述隐状态序列的第一个值和所述关系序列中第二个值输入所述第一门控循环单元，得到隐状态序列的第二个值；以此类推，将所述隐状态序列的第t-1个值和所述关系序列的第t个值输入所述第一门控循环单元，得到隐状态序列的第t个值；根据隐状态序列的第一个值、第二个值直至第t个值按序排列得到关系序列对应的隐状态序列。
在其中一个实施例中，模型训练模块404还用于设置初始预测实体为训练集中实体对中的头实体；训练集中实体对包括：头实体和尾实体；将所述头实体和所述隐状态序列中第一个值输入所述第二门控循环单元，得到预测实体序列的第一个值；将所述预测实体序列的第一个值和所述隐状态序列中第二个值输入所述第一门控循环单元，得到隐状态序列的第二个值；以此类推，将所述预测实体序列的第t-1个值和所述隐状态序列的第t个值输入所述第一门控循环单元，得到预测实体序列的第t个值；根据预测实体序列的第一个值、第二个值直至第t个值按序排列得到关系序列对应的预测实体序列。
在其中一个实施例中，数据准备模块402还用于获取所述实体对之间的中间实体序列；所述中间实体序列包括：正实体序列样本和负实体序列样本；获取所述实体对之间的关系序列；所述关系序列包括：正关系序列和负关系序列；根据所述中间实体序列和所述关系序列构建推理关系链。
在其中一个实施例中，模型训练模块404确定的第一损失函数的表达式如下：
Figure BDA0002312295790000111
其中，
Figure BDA0002312295790000112
表示第一损失函数，sim(·，·)表示计算两个向量之间的相似度，ei表示正中间实体序列中第i个值，ei -表示负中间实体序列中第i个值，
Figure BDA0002312295790000113
表示预测实体序列中第i个值，γ表示正中间实体序列和负中间实体序列的最小间隔。
在其中一个实施例中，模型训练模块404还用于获取所述第一门控循环单元和所述第二门控循环单元的重置门信息；所述重置门信息的表达式如下：
r＝σ(xtUr+st-1Wr)
其中，r表示重置门信息，xt表示关系序列中第t个值，st-1表示隐状态序列中第t-1个值，σ表示sigmoid函数；根据所述重置门信息，构建第二损失函数；所述第二损失函数的表达式如下：
Figure BDA0002312295790000121
其中，
Figure BDA0002312295790000122
表示第二损失函数，
Figure BDA0002312295790000123
表示隐状态序列中第r个值，
Figure BDA0002312295790000124
表示根据负关系序列确定的负隐状态序列中第r个值，β表示隐状态序列和负隐状态序列的最小间隔；对所述第一损失函数和第二损失函数进行加权，得到损失函数；根据所述损失函数以及所述训练集中的实体对，对预先设置的神经网络模型进行训练，得到实体关系预测模型。
关于知识图谱中多跳实体关系预测装置的具体限定可以参见上文中对于知识图谱中多跳实体关系预测方法的限定，在此不再赘述。上述知识图谱中多跳实体关系预测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种知识图谱中多跳实体关系预测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种知识图谱中多跳实体关系预测方法，所述方法包括：
从训练集中获取实体对，根据所述实体对构建多跳的推理关系链；所述推理关系链包括：中间实体序列和关系序列；
利用预先设置的第一门控循环单元对所述关系序列进行编码，得到所述关系序列对应的隐状态序列；
利用预先设置的第二门控循环单元对所述隐状态序列进行编码，得到所述预测实体序列；
根据所述预测实体序列，确定第一损失函数；
根据所述第一损失函数以及所述训练集中的实体对，对预先设置的神经网络模型进行训练，得到实体关系预测模型；
将知识图谱中实体对输入所述实体关系预测模型，得到实体对的关系预测结果。
2.根据权利要求1所述的方法，其特征在于，所述利用预先设置的第一门控循环单元对所述关系序列进行编码，得到所述关系序列对应的隐状态序列，包括：
设置初始隐状态值；
将所述初始隐状态值和所述关系序列中第一个值输入所述第一门控循环单元，得到隐状态序列的第一个值；
将所述隐状态序列的第一个值和所述关系序列中第二个值输入所述第一门控循环单元，得到隐状态序列的第二个值；
以此类推，将所述隐状态序列的第t-1个值和所述关系序列的第t个值输入所述第一门控循环单元，得到隐状态序列的第t个值；
根据隐状态序列的第一个值、第二个值直至第t个值按序排列得到关系序列对应的隐状态序列。
3.根据权利要求1所述的方法，其特征在于，所述利用预先设置的第二门控循环单元对所述隐状态序列进行编码，得到所述预测实体序列，包括：
设置初始预测实体为训练集中实体对中的头实体；训练集中实体对包括：头实体和尾实体；
将所述头实体和所述隐状态序列中第一个值输入所述第二门控循环单元，得到预测实体序列的第一个值；
将所述预测实体序列的第一个值和所述隐状态序列中第二个值输入所述第一门控循环单元，得到隐状态序列的第二个值；
以此类推，将所述预测实体序列的第t-1个值和所述隐状态序列的第t个值输入所述第一门控循环单元，得到预测实体序列的第t个值；
根据预测实体序列的第一个值、第二个值直至第t个值按序排列得到关系序列对应的预测实体序列。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述实体对构建多跳的推理关系链，包括：
获取所述实体对之间的中间实体序列；所述中间实体序列包括：正实体序列样本和负实体序列样本；
获取所述实体对之间的关系序列；所述关系序列包括：正关系序列和负关系序列；
根据所述中间实体序列和所述关系序列构建推理关系链。
5.根据权利要求4所述的方法，其特征在于，所述第一损失函数的表达式如下：
Figure FDA0002312295780000021
其中，
Figure FDA0002312295780000022
表示第一损失函数，sim(·，·)表示计算两个向量之间的相似度，ei表示正中间实体序列中第i个值，ei -表示负中间实体序列中第i个值，
Figure FDA0002312295780000023
表示预测实体序列中第i个值，γ表示正中间实体序列和负中间实体序列的最小间隔。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
获取所述第一门控循环单元和所述第二门控循环单元的重置门信息；所述重置门信息的表达式如下：
r＝σ(xtUr+st-1Wr)
其中，r表示重置门信息，xt表示关系序列中第t个值，st-1表示隐状态序列中第t-1个值，σ表示sigmoid函数；
根据所述重置门信息，构建第二损失函数；所述第二损失函数的表达式如下：
Figure FDA0002312295780000031
其中，
Figure FDA0002312295780000032
表示第二损失函数，
Figure FDA0002312295780000033
表示隐状态序列中第r个值，
Figure FDA0002312295780000034
表示根据负关系序列确定的负隐状态序列中第r个值，β表示隐状态序列和负隐状态序列的最小间隔；
根据所述第一损失函数以及所述训练集中的实体对，对预先设置的神经网络模型进行训练，得到实体关系预测模型，包括：
对所述第一损失函数和第二损失函数进行加权，得到损失函数；
根据所述损失函数以及所述训练集中的实体对，对预先设置的神经网络模型进行训练，得到实体关系预测模型。
7.一种知识图谱中多跳实体关系预测装置，其特征在于，所述装置包括：
数据准备模块，用于从训练集中获取实体对，根据所述实体对构建多跳的推理关系链；所述推理关系链包括：中间实体序列和关系序列；
模型训练模块，用于利用预先设置的第一门控循环单元对所述关系序列进行编码，得到所述关系序列对应的隐状态序列；利用预先设置的第二门控循环单元对所述隐状态序列进行编码，得到所述预测实体序列；根据所述预测实体序列，确定第一损失函数；根据所述第一损失函数以及所述训练集中的实体对，对预先设置的神经网络模型进行训练，得到实体关系预测模型；
关系预测模块，用于将知识图谱中实体对输入所述实体关系预测模型，得到实体对的关系预测结果。
8.根据权利要求7所述的装置，其特征在于，所述模型训练模块还用于设置初始隐状态值；将所述初始隐状态值和所述关系序列中第一个值输入所述第一门控循环单元，得到隐状态序列的第一个值；将所述隐状态序列的第一个值和所述关系序列中第二个值输入所述第一门控循环单元，得到隐状态序列的第二个值；以此类推，将所述隐状态序列的第t-1个值和所述关系序列的第t个值输入所述第一门控循环单元，得到隐状态序列的第t个值；根据隐状态序列的第一个值、第二个值直至第t个值按序排列得到关系序列对应的隐状态序列。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN201911263786.5A 2019-12-11 2019-12-11 知识图谱中多跳实体关系预测方法和装置 Pending CN111026881A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911263786.5A CN111026881A (zh) 2019-12-11 2019-12-11 知识图谱中多跳实体关系预测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911263786.5A CN111026881A (zh) 2019-12-11 2019-12-11 知识图谱中多跳实体关系预测方法和装置

Publications (1)

Publication Number Publication Date
CN111026881A true CN111026881A (zh) 2020-04-17

Family

ID=70205557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911263786.5A Pending CN111026881A (zh) 2019-12-11 2019-12-11 知识图谱中多跳实体关系预测方法和装置

Country Status (1)

Country Link
CN (1) CN111026881A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476035A (zh) * 2020-05-06 2020-07-31 中国人民解放军国防科技大学 中文开放关系预测方法、装置、计算机设备和存储介质
CN111695036A (zh) * 2020-06-11 2020-09-22 北京百度网讯科技有限公司 内容推荐方法及装置
CN111814982A (zh) * 2020-07-15 2020-10-23 四川大学 面向多跳问答的动态推理网络及方法
CN112100398A (zh) * 2020-08-31 2020-12-18 清华大学 一种专利空白预测方法及系统
CN112989024A (zh) * 2021-03-29 2021-06-18 腾讯科技（深圳）有限公司 文本内容的关系提取方法、装置、设备及存储介质
CN113836244A (zh) * 2021-09-27 2021-12-24 天弘基金管理有限公司 样本获取方法、模型训练方法、关系预测方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476035A (zh) * 2020-05-06 2020-07-31 中国人民解放军国防科技大学 中文开放关系预测方法、装置、计算机设备和存储介质
CN111476035B (zh) * 2020-05-06 2023-09-05 中国人民解放军国防科技大学 中文开放关系预测方法、装置、计算机设备和存储介质
CN111695036A (zh) * 2020-06-11 2020-09-22 北京百度网讯科技有限公司 内容推荐方法及装置
CN111695036B (zh) * 2020-06-11 2024-03-08 北京百度网讯科技有限公司 内容推荐方法及装置
CN111814982A (zh) * 2020-07-15 2020-10-23 四川大学 面向多跳问答的动态推理网络及方法
CN111814982B (zh) * 2020-07-15 2021-03-16 四川大学 面向多跳问答的动态推理网络系统及方法
CN112100398A (zh) * 2020-08-31 2020-12-18 清华大学 一种专利空白预测方法及系统
CN112100398B (zh) * 2020-08-31 2021-09-14 清华大学 一种专利空白预测方法及系统
CN112989024A (zh) * 2021-03-29 2021-06-18 腾讯科技（深圳）有限公司 文本内容的关系提取方法、装置、设备及存储介质
CN113836244A (zh) * 2021-09-27 2021-12-24 天弘基金管理有限公司 样本获取方法、模型训练方法、关系预测方法及装置
CN113836244B (zh) * 2021-09-27 2023-04-07 天弘基金管理有限公司 样本获取方法、模型训练方法、关系预测方法及装置

Similar Documents

Publication Publication Date Title
CN111026881A (zh) 知识图谱中多跳实体关系预测方法和装置
Tank et al. Neural granger causality
US11790238B2 (en) Multi-task neural networks with task-specific paths
US11562186B2 (en) Capturing network dynamics using dynamic graph representation learning
CN110598779B (zh) 摘要描述生成方法、装置、计算机设备和存储介质
Marcinkevičs et al. Interpretable models for granger causality using self-explaining neural networks
CN113361680B (zh) 一种神经网络架构搜索方法、装置、设备及介质
Montanari et al. Which graphical models are difficult to learn?
US11030275B2 (en) Modelling ordinary differential equations using a variational auto encoder
KR102011788B1 (ko) 계층적 시각 특징을 이용한 시각 질의 응답 장치 및 방법
Kleyko et al. Integer echo state networks: Efficient reservoir computing for digital hardware
Ning et al. Adaptive deep reuse: Accelerating CNN training on the fly
CN113128671B (zh) 一种基于多模态机器学习的服务需求动态预测方法及系统
CN110838364A (zh) 一种基于深度学习混合模型的克罗恩病预测方法及装置
Kleyko et al. Perceptron theory can predict the accuracy of neural networks
Collier et al. Transfer and marginalize: Explaining away label noise with privileged information
Xia et al. An iterative model-free feature screening procedure: Forward recursive selection
Rudner et al. On the connection between neural processes and gaussian processes with deep kernels
Yangzhen et al. A software reliability prediction model: Using improved long short term memory network
CN115565669B (zh) 一种基于gan和多任务学习的癌症生存分析方法
Hintze et al. Cryptic information transfer in differently-trained recurrent neural networks
Jang et al. Training dynamic exponential family models with causal and lateral dependencies for generalized neuromorphic computing
CN114722273A (zh) 基于局部结构特征增强的网络对齐方法、装置及设备
Pellatt et al. CausalBatch: solving complexity/performance tradeoffs for deep convolutional and LSTM networks for wearable activity recognition
Chien et al. Stochastic convolutional recurrent networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200417