CN111814480B - 一种知识图谱补全方法、装置、计算机设备和存储介质 - Google Patents

一种知识图谱补全方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111814480B
CN111814480B CN202010706974.7A CN202010706974A CN111814480B CN 111814480 B CN111814480 B CN 111814480B CN 202010706974 A CN202010706974 A CN 202010706974A CN 111814480 B CN111814480 B CN 111814480B
Authority
CN
China
Prior art keywords
entity
nodes
node
entity node
reasoning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010706974.7A
Other languages
English (en)
Other versions
CN111814480A (zh
Inventor
王伟
王鹤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Resources Digital Technology Co Ltd
Original Assignee
China Resources Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Resources Digital Technology Co Ltd filed Critical China Resources Digital Technology Co Ltd
Priority to CN202010706974.7A priority Critical patent/CN111814480B/zh
Publication of CN111814480A publication Critical patent/CN111814480A/zh
Application granted granted Critical
Publication of CN111814480B publication Critical patent/CN111814480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种知识图谱补全方法、装置、计算机设备和存储介质，其中，方法包括：对给定文档中的实体进行识别，得到文档矩阵；为文档矩阵中的每个实体赋予编号，从而构成文档知识图谱G，其中，G中所有实体节点的集合为E，所有边节点的集合为R；对G中所有的实体节点和边节点进行向量化处理，得到各自的嵌入向量；获取当前推理状态所在实体节点Ek的候选路径集合Ant；随机设置初始权重矩阵，计算候选路径集合中每条边j对实体节点Ei的注意力值；选择注意力值最大的边，执行一次推理行动，计算实体节点Ei的状态转移，到达新的实体节点；经过多轮的推理行动，最终找到缺失的实体节点并补全。本发明提高了补全效率和准确率。

Description

一种知识图谱补全方法、装置、计算机设备和存储介质
技术领域
本发明涉及知识图谱推理领域，特别涉及一种知识图谱补全方法、装置、计算机设备和存储介质。
背景技术
知识图谱已经在金融、电商、医疗等多个领域得到了广泛应用。知识图谱实体补全，又称知识图谱推理，是知识图谱构建和应用过程中的重要环节。给定知识图谱中需要补全的三元组<h,r,？>，需要在整个知识图谱中进行搜索，经过若干中间实体的传递，最终找到满足关系r要求的尾实体t，从而形成完整的三元组<h,r,t>。
目前公开的知识图谱补全方法有DeepWalk、MINEVRA等，这些方法将知识补全任务转换为马尔可夫决策MDP(Markov DecisionProcess)问题，再结合强化学习算法，让模型学习路径，最终找到满足指定关系r的尾实体t。
但现有方法在路径学习效率和准确率上都还有不少可提高空间。
发明内容
本发明的目的是提供一种知识图谱补全方法、装置、计算机设备和存储介质，旨在解决现有知识图谱补全方法效率和准确率方面均有待提高的问题。
本发明实施例提供一种基于强化学习的知识图谱补全方法，其包括：
接收用户输入的给定文档；
对给定文档中的实体进行识别，并对识别得到的实体按次序进行标记，得到文档矩阵，所述实体为由一个词构成或多个词同时构成；
按照从左到右、从上到下的顺序为文档矩阵中的每个实体赋予编号，从而构成文档知识图谱G，其中，G中所有实体节点的集合为E，所有边节点的集合为R；
对G中所有的实体节点和边节点进行向量化处理，得到各自的嵌入向量；
获取从实体节点Ei出发，经过第t步推理后到达实体节点Ek时，当前推理状态所在实体节点Ek的候选路径集合Ant；
随机设置初始权重矩阵W1＝(w1,w2,...,wAn)T，计算候选路径集合中每条边j对实体节点Ei的注意力值Attenij：
其中，所述/>为实体节点Ei在第t步的状态向量；
选择注意力值最大的边，执行一次推理行动，计算实体节点Ei的状态转移，到达新的实体节点；
经过多轮的推理行动，最终找到缺失的实体节点并补全。
进一步，还包括：
在训练过程中，当每一次推理行动结束后，按照下述奖励函数进行奖励：
其中，p_reward为正奖励值，n_reward为负奖励值；
在训练过程中持续对权重矩阵W1进行优化，使得最终的奖励值尽可能大。
进一步，所述获取从实体节点Ei出发，经过第t步推理后到达实体节点Ek时，当前推理状态所在实体节点Ek的候选路径集合Ant包括：
对于当前推理状态所在实体节点Ek，指定一个语义距离为半径，形成一个兴趣区域AOI；
将位于所述兴趣区域AOI范围内与Ek直接连接的节点作为Ek的邻居节点，并根据Ek的邻居节点建立所述候选路径集合Ant。
进一步，所述语义距离按下式计算：
根据两个实体节点在参照知识图谱中的层级权重和两个实体节点的嵌入向量余弦相似度，计算两个实体节点Ei和Ej之间的语义距离：
其中，为两个实体节点Ei和Ej之间的层级权重，sim(Ei,Ej)为两个实体节点Ei和Ej之间的嵌入向量余弦相似度，∑REi为实体节点Ei所有连接边的嵌入向量之和，∑REj为实体节点Ej所有连接边的嵌入向量之和。
进一步，所述按下式计算：
其中，所述Encode为基于深度神经网络的编码模型，为实体节点Ek的嵌入向量，/>为从实体节点Ei出发到达实体节点Ek时经过的推理路径的嵌入向量之和，为从实体节点Em出发到达实体节点Ek所经过的推理路径的嵌入向量之和；Em为从自身出发可经过推理到达实体节点Ek的实体节点。
进一步，还包括：
在每一轮训练结束后，根据训练效果扩大或减小兴趣区域AOI范围。
进一步，所述层级权重为λn，其中，n为两个实体节点Ei和Ej的层级差。
本发明实施例提供一种基于强化学习的知识图谱补全装置，其包括：
接收单元，用于接收用户输入的给定文档；
识别单元，用于对给定文档中的实体进行识别，并对识别得到的实体按次序进行标记，得到文档矩阵，所述实体为由一个词构成或多个词同时构成；
图谱构建单元，用于按照从左到右、从上到下的顺序为文档矩阵中的每个实体赋予编号，从而构成文档知识图谱G，其中，G中所有实体节点的集合为E，所有边节点的集合为R；
向量化处理单元，用于对G中所有的实体节点和边节点进行向量化处理，得到各自的嵌入向量；
候选路径集合获取单元，用于获取从实体节点Ei出发，经过第t步推理后到达实体节点Ek时，当前推理状态所在实体节点Ek的候选路径集合Ant；
注意力值计算单元，用于随机设置初始权重矩阵W1＝(w1,w2,...,wAn)T，计算候选路径集合中每条边j对实体节点Ei的注意力值Attenij：
其中，所述/>为实体节点Ei在第t步的状态向量；
推理行动单元，用于选择注意力值最大的边，执行一次推理行动，计算实体节点Ei的状态转移，到达新的实体节点；
补全单元，用于经过多轮的推理行动，最终找到缺失的实体节点并补全。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上任一项所述的基于强化学习的知识图谱补全方法。
本发明实施例还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如上所述的基于强化学习的知识图谱补全方法。
本发明实施例提供了一种知识图谱补全方法、装置、计算机设备和存储介质，其中，方法包括：接收用户输入的给定文档；对给定文档中的实体进行识别，并对识别得到的实体按次序进行标记，得到文档矩阵，所述实体为由一个词构成或多个词同时构成；按照从左到右、从上到下的顺序为文档矩阵中的每个实体赋予编号，从而构成文档知识图谱G，其中，G中所有实体节点的集合为E，所有边节点的集合为R；对G中所有的实体节点和边节点进行向量化处理，得到各自的嵌入向量；获取当前推理状态所在实体节点Ek的候选路径集合Ant；随机设置初始权重矩阵，计算候选路径集合中每条边j对实体节点Ei的注意力值；选择注意力值最大的边，执行一次推理行动，计算实体节点Ei的状态转移，到达新的实体节点；经过多轮的推理行动，最终找到缺失的实体节点并补全。本发明实施例选择行动更为合理，每次在决策时选取的是可能性比较高的行动，相比现有技术随机选择一个行动，在知识图谱规模较大时，本发明实施例能够减少发现最终合适节点的开销，从而提高效率；并且本发明实施例是在全局角度考虑下一步行动，每个节点的推理都不仅是从自身的角度出发，而且结合了语义上相近实体的信息，逐步寻找最优路径，所以推理行动更为准确。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于强化学习的知识图谱补全方法的流程示意图；
图2为本发明实施例提供的文档矩阵的示例图；
图3为本发明实施例提供的一种基于强化学习的知识图谱补全方法的推理原理示例图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，本发明实施例提供的一种基于强化学习的知识图谱补全方法，包括步骤S101～S108：
S101、接收用户输入的给定文档；
S102、对给定文档中的实体进行识别，并对识别得到的实体按次序进行标记，得到文档矩阵，所述实体为由一个词构成或多个词同时构成；
S103、按照从左到右、从上到下的顺序为文档矩阵中的每个实体赋予编号，从而构成文档知识图谱G，其中，G中所有实体节点的集合为E，所有边节点的集合为R；
S104、对G中所有的实体节点和边节点进行向量化处理，得到各自的嵌入向量；
S105、获取从实体节点Ei出发，经过第t步推理后到达实体节点Ek时，当前推理状态所在实体节点Ek的候选路径集合Ant；
S106、随机设置初始权重矩阵W1＝(w1,w2,...,wAn)T，计算候选路径集合中每条边j对实体节点Ei的注意力值Attenij：
其中，所述/>为实体节点Ei在第t步的状态向量；
S107、选择注意力值最大的边，执行一次推理行动，计算实体节点Ei的状态转移，到达新的实体节点；
S108、经过多轮的推理行动，最终找到缺失的实体节点并补全。
在所述步骤S101中，先接收用户输入的给定文档，为了训练模型，可以提前收集各种文档，并将其进行按照一定的比例进行划分，构成训练集和测试集，以便对后面的过程提供样本。
在所述步骤S102中，对于给定文档Di，设Di中第i个句子为xi。采用命名实体识别技术，将给定文档中的实体按顺序识别出来，第i个句子中的词按顺序依次标记为xi1、xi2、…，形成的文档矩阵如图2所示。至于命名实体识别技术，业界已有较为成熟的方法，本发明不限定具体方法，例如可采用基于Bi-LSTM+CRF的算法、基于Bert的预训练模型。另外，该给定文档Di可以是具有应用中的文档，例如金融文档、医疗文档等等。
在所述文档矩阵中，可能存在部分实体由多个词构成的情形，例如图2中以x14与x15为一个示例，这两个词构成了一个实体。本发明实施例所称的实体代表的是一个词或多个词，有的实体是多个词构成的短语，比如“命名实体识别”，这个是一个实体，由“命名”、“实体”和“识别”三个词构成。有的实体则是有一个词构成，例如“推理”。
在所述文档矩阵中，实体的排列顺序是按照原始文档的顺序进行排序。文档矩阵中各实体的先后顺序是先从左到右、再从上到下。
在所述步骤S103中，按照从左到右、从上到下的顺序为每个实体赋予编号，分别为E1、E2、...。这样，语料中识别出来的实体构成知识图谱G，G中所有实体(即实体节点)集合为E，所有边(即边节点)的集合为R。
在所述步骤S104中，对知识图谱G中所有的实体节点和边节点，采用TransE或者其改进方法得到各自的嵌入向量。
在所述步骤S105中，需要确定当前推理状态所在实体节点Ek的候选路径集合Ant。
在一实施例中，所述获取从实体节点Ei出发，经过第t步推理后到达实体节点Ek时，当前推理状态所在实体节点Ek的候选路径集合Ant包括：
对于当前推理状态所在实体节点Ek，指定一个语义距离为半径，形成一个兴趣区域AOI；
将位于所述兴趣区域AOI范围内与Ek直接连接的节点作为Ek的邻居节点，并根据Ek的邻居节点建立所述候选路径集合Ant。
对于当前推理状态所在实体节点Ek，需要初始指定一个语义距离为半径，形成一个兴趣区域AOI(AreaofInteresting)，位于该兴趣区域AOI范围内与Ek有直接连接的节点即为Ek的邻居节点。
对于本发明实施例中来说，该兴趣区域AOI的半径可动态变化，即语义距离可动态调整，在每一轮训练结束后，根据训练效果可扩大或减小兴趣区域AOI范围。
在一实施例中，所述语义距离按下式计算：
根据两个实体节点在参照知识图谱中的层级权重和两个实体节点的嵌入向量余弦相似度，计算两个实体节点Ei和Ej之间的语义距离：
其中，为两个实体节点Ei和Ej之间的层级权重，sim(Ei,Ej)为两个实体节点Ei和Ej之间的嵌入向量余弦相似度，∑REi为实体节点Ei所有连接边的嵌入向量之和，∑REj为实体节点Ej所有连接边的嵌入向量之和。
所述参照知识图谱可以是如Freebase、Wikipedia等实体丰富的大型知识图谱。
在一实施例中，所述层级权重为λn，其中，n为两个实体节点Ei和Ej的层级差。G中位于同一层级的实体节点Ei与Ej的层级权重/>定义为1，例如苹果和梨子、北京和上海；而对于类似汽车、轮胎这样的实体，具有自顶向下的关系或者自底向上的关系，例如设λ＝0.8，齿轮与发动机的层级相差一层，那么这两个实体节点的层级权重/>为0.8，齿轮与汽车的层级相差两层，那么这两个实体节点的层级权重/>为0.64。
在所述步骤S106中，计算候选路径集合中每条边j对实体节点Ei的注意力值Attenij。
在一实施例中，所述按下式计算：
其中，所述Encode为基于深度神经网络的编码模型，为实体节点Ek的嵌入向量，/>为从实体节点Ei出发到达实体节点Ek时经过的推理路径(即G中的边)的嵌入向量之和，/>为从实体节点Em出发到达实体节点Ek所经过的推理路径的嵌入向量之和；Em为从自身出发可经过推理到达实体节点Ek的实体节点(实际可能有多个)。“：”表示向量的拼接操作。
设从实体节点Ei出发，在第t步推理后到达实体节点Ek。定义Ant为从Ek出发的候选路径总数，即Ek的邻居节点总数。
第t步的推理状态：包括从实体节点Ei出发，在第t步到达的实体节点Ek及它的邻居节点。
Encode为基于深度神经网络的编码模型，常见的有LSTM、GRU及Transformer中Encoder模块。
在所述步骤S107中，当G中每个实体节点完成一步推理后，均将自己当前状态的变化情况报告给推理程序。当G中每个实体节点在下一步推理前，从推理程序处获得当前所在推理状态的邻居节点信息，包括该邻居节点的嵌入向量和到达该节点所途径的推理路径，然后选择行动。
推理程序选择以当前推理状态所在实体节点出发的一条边，现有技术的选择策略大多为随机选择。本发明实施例中，每一步，推理程序选择注意力值最大的边，执行一次推理行动，计算实体节点Ei的状态转移，到达新的实体节点。
在所述步骤S108中，经过多轮的推理行动，最终找到缺失的实体节点并补全。
如图3所示，模拟了某知识图谱中以实体节点E5为起点的一次推理过程，最终发现了缺失的实体节点E21。
在一实施例中，所述知识图谱补全方法还包括：
在训练过程中，当每一次推理行动结束后，按照下述奖励函数进行奖励：
其中，p_reward为正奖励值，n_reward为负奖励值；
在训练过程中持续对权重矩阵W1进行优化，使得最终的奖励值尽可能大。
具体的取值可自定义设置，例如p_reward为+1，n_reward为-1。
推理结束时所获得奖励值定义为J(θ)＝Eπθ(A/S)[R(S,A)]。πθ(A/S)函数表示从状态S选择某个行动A的概率。
本发明实施例中，选择行动更为合理，每次在决策时选取的是可能性比较高的行动，相比目前方法随机选择一个行动，在知识图谱规模较大时，能够减少发现最终合适节点的开销；并且本发明实施例是在全局角度考虑下一步行动，每个节点的推理都不仅是从自身的角度出发，而且结合了语义上相近实体的信息，逐步寻找最优路径。
本发明实施例提供一种基于强化学习的知识图谱补全装置，其包括：
接收单元，用于接收用户输入的给定文档；
识别单元，用于对给定文档中的实体进行识别，并对识别得到的实体按次序进行标记，得到文档矩阵，所述实体为由一个词构成或多个词同时构成；
图谱构建单元，用于按照从左到右、从上到下的顺序为文档矩阵中的每个实体赋予编号，从而构成文档知识图谱G，其中，G中所有实体节点的集合为E，所有边节点的集合为R；
向量化处理单元，用于对G中所有的实体节点和边节点进行向量化处理，得到各自的嵌入向量；
候选路径集合获取单元，用于获取从实体节点Ei出发，经过第t步推理后到达实体节点Ek时，当前推理状态所在实体节点Ek的候选路径集合Ant；
注意力值计算单元，用于随机设置初始权重矩阵W1＝(w1,w2,...,wAn)T，计算候选路径集合中每条边j对实体节点Ei的注意力值Attenij：
其中，所述/>为实体节点Ei在第t步的状态向量；
推理行动单元，用于选择注意力值最大的边，执行一次推理行动，计算实体节点Ei的状态转移，到达新的实体节点；
补全单元，用于经过多轮的推理行动，最终找到缺失的实体节点并补全。
本发明实施例提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于强化学习的知识图谱补全方法。
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如上所述的基于强化学习的知识图谱补全方法。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (6)

1.一种基于强化学习的知识图谱补全方法，其特征在于，包括：
接收用户输入的给定文档；
对给定文档中的实体进行识别，并对识别得到的实体按次序进行标记，得到文档矩阵，所述实体为由一个词构成或多个词同时构成；
按照从左到右、从上到下的顺序为文档矩阵中的每个实体赋予编号，从而构成文档知识图谱G，其中，G中所有实体节点的集合为E，所有边节点的集合为R；
对G中所有的实体节点和边节点进行向量化处理，得到各自的嵌入向量；
获取从实体节点Ei出发，经过第t步推理后到达实体节点Ek时，当前推理状态所在实体节点Ek的候选路径集合Ant；
随机设置初始权重矩阵W1＝(w1,w2,...,wAn)T，计算候选路径集合中每条边j对实体节点Ei的注意力值Attenij：
其中，所述/>为实体节点Ei在第t步的状态向量；
选择注意力值最大的边，执行一次推理行动，计算实体节点Ei的状态转移，到达新的实体节点；
经过多轮的推理行动，最终找到缺失的实体节点并补全；
所述获取从实体节点Ei出发，经过第t步推理后到达实体节点Ek时，当前推理状态所在实体节点Ek的候选路径集合Ant包括：
对于当前推理状态所在实体节点Ek，指定一个语义距离为半径，形成一个兴趣区域AOI；
将位于所述兴趣区域AOI范围内与Ek直接连接的节点作为Ek的邻居节点，并根据Ek的邻居节点建立所述候选路径集合Ant；该兴趣区域AOI的半径可动态变化，在每一轮训练结束后，根据训练效果扩大或减小兴趣区域AOI范围；
所述语义距离按下式计算：
根据两个实体节点在参照知识图谱中的层级权重和两个实体节点的嵌入向量余弦相似度，计算两个实体节点Ei和Ej之间的语义距离：
其中，为两个实体节点Ei和Ej之间的层级权重，sim(Ei,Ej)为两个实体节点Ei和Ej之间的嵌入向量余弦相似度，∑REi为实体节点Ei所有连接边的嵌入向量之和，∑REj为实体节点Ej所有连接边的嵌入向量之和；
所述按下式计算：
其中，所述Encode为基于深度神经网络的编码模型，为实体节点Ek的嵌入向量，/>为从实体节点Ei出发到达实体节点Ek时经过的推理路径的嵌入向量之和，/>为从实体节点Em出发到达实体节点Ek所经过的推理路径的嵌入向量之和；Em为从自身出发可经过推理到达实体节点Ek的实体节点。
2.根据权利要求1所述的基于强化学习的知识图谱补全方法，其特征在于，还包括：
在训练过程中，当每一次推理行动结束后，按照下述奖励函数进行奖励：
其中，p_reward为正奖励值，n_reward为负奖励值；
在训练过程中持续对权重矩阵W1进行优化，使得最终的奖励值尽可能大。
3.根据权利要求1所述的基于强化学习的知识图谱补全方法，其特征在于，所述层级权重为λn，其中，n为两个实体节点Ei和Ej的层级差。
4.一种基于强化学习的知识图谱补全装置，用于实现如权利要求1-3任一项所述的知识图谱补全方法，其特征在于，包括：
接收单元，用于接收用户输入的给定文档；
识别单元，用于对给定文档中的实体进行识别，并对识别得到的实体按次序进行标记，得到文档矩阵，所述实体为由一个词构成或多个词同时构成；
图谱构建单元，用于按照从左到右、从上到下的顺序为文档矩阵中的每个实体赋予编号，从而构成文档知识图谱G，其中，G中所有实体节点的集合为E，所有边节点的集合为R；
向量化处理单元，用于对G中所有的实体节点和边节点进行向量化处理，得到各自的嵌入向量；
候选路径集合获取单元，用于获取从实体节点Ei出发，经过第t步推理后到达实体节点Ek时，当前推理状态所在实体节点Ek的候选路径集合Ant；
注意力值计算单元，用于随机设置初始权重矩阵W1＝(w1,w2,...,wAn)T，计算候选路径集合中每条边j对实体节点Ei的注意力值Attenij：
其中，所述/>为实体节点Ei在第t步的状态向量；
推理行动单元，用于选择注意力值最大的边，执行一次推理行动，计算实体节点Ei的状态转移，到达新的实体节点；
补全单元，用于经过多轮的推理行动，最终找到缺失的实体节点并补全；
所述获取从实体节点Ei出发，经过第t步推理后到达实体节点Ek时，当前推理状态所在实体节点Ek的候选路径集合Ant包括：
对于当前推理状态所在实体节点Ek，指定一个语义距离为半径，形成一个兴趣区域AOI；
将位于所述兴趣区域AOI范围内与Ek直接连接的节点作为Ek的邻居节点，并根据Ek的邻居节点建立所述候选路径集合Ant；该兴趣区域AOI的半径可动态变化，在每一轮训练结束后，根据训练效果扩大或减小兴趣区域AOI范围；
所述语义距离按下式计算：
根据两个实体节点在参照知识图谱中的层级权重和两个实体节点的嵌入向量余弦相似度，计算两个实体节点Ei和Ej之间的语义距离：
其中，为两个实体节点Ei和Ej之间的层级权重，sim(Ei,Ej)为两个实体节点Ei和Ej之间的嵌入向量余弦相似度，∑REi为实体节点Ei所有连接边的嵌入向量之和，∑REj为实体节点Ej所有连接边的嵌入向量之和；
所述按下式计算：
其中，所述Encode为基于深度神经网络的编码模型，为实体节点Ek的嵌入向量，/>为从实体节点Ei出发到达实体节点Ek时经过的推理路径的嵌入向量之和，/>为从实体节点Em出发到达实体节点Ek所经过的推理路径的嵌入向量之和；Em为从自身出发可经过推理到达实体节点Ek的实体节点。
5.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3中任一项所述的基于强化学习的知识图谱补全方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至3任一项所述的基于强化学习的知识图谱补全方法。
CN202010706974.7A 2020-07-21 2020-07-21 一种知识图谱补全方法、装置、计算机设备和存储介质 Active CN111814480B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010706974.7A CN111814480B (zh) 2020-07-21 2020-07-21 一种知识图谱补全方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010706974.7A CN111814480B (zh) 2020-07-21 2020-07-21 一种知识图谱补全方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111814480A CN111814480A (zh) 2020-10-23
CN111814480B true CN111814480B (zh) 2024-04-16

Family

ID=72861532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010706974.7A Active CN111814480B (zh) 2020-07-21 2020-07-21 一种知识图谱补全方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111814480B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112559765B (zh) * 2020-12-11 2023-06-16 中电科大数据研究院有限公司 一种多源异构数据库语义集成方法
CN113220895B (zh) * 2021-04-23 2024-02-02 北京大数医达科技有限公司 基于强化学习的信息处理方法、装置、终端设备
CN114626530A (zh) * 2022-03-14 2022-06-14 电子科技大学 一种基于双边路径质量评估的强化学习知识图谱推理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073711A (zh) * 2017-12-21 2018-05-25 北京大学深圳研究生院 一种基于知识图谱的关系抽取方法和系统
CN109977234A (zh) * 2019-03-28 2019-07-05 哈尔滨工程大学 一种基于主题关键词过滤的知识图谱补全方法
CN110837550A (zh) * 2019-11-11 2020-02-25 中山大学 基于知识图谱的问答方法、装置、电子设备及存储介质
CN110929047A (zh) * 2019-12-11 2020-03-27 中国人民解放军国防科技大学 关注邻居实体的知识图谱推理方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11573991B2 (en) * 2018-11-30 2023-02-07 Samsung Electronics Co., Ltd. Deep reinforcement learning-based multi-step question answering systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073711A (zh) * 2017-12-21 2018-05-25 北京大学深圳研究生院 一种基于知识图谱的关系抽取方法和系统
CN109977234A (zh) * 2019-03-28 2019-07-05 哈尔滨工程大学 一种基于主题关键词过滤的知识图谱补全方法
CN110837550A (zh) * 2019-11-11 2020-02-25 中山大学 基于知识图谱的问答方法、装置、电子设备及存储介质
CN110929047A (zh) * 2019-12-11 2020-03-27 中国人民解放军国防科技大学 关注邻居实体的知识图谱推理方法和装置

Also Published As

Publication number Publication date
CN111814480A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN111814480B (zh) 一种知识图谱补全方法、装置、计算机设备和存储介质
CN112487168B (zh) 知识图谱的语义问答方法、装置、计算机设备及存储介质
CN112015868B (zh) 基于知识图谱补全的问答方法
CN110851566B (zh) 一种应用于命名实体识别的可微分网络结构搜索的方法
CN111897944B (zh) 基于语义空间共享的知识图谱问答系统
CN111897975A (zh) 一种面向知识图谱表示学习训练的局部训练方法
CN111382572B (zh) 一种命名实体识别方法、装置、设备以及介质
CN114780691B (zh) 模型预训练及自然语言处理方法、装置、设备及存储介质
CN112765312A (zh) 一种基于图神经网络嵌入匹配的知识图谱问答方法和系统
CN115964459B (zh) 基于食品安全认知图谱的多跳推理问答方法及系统
CN109933792A (zh) 基于多层双向lstm和验证模型的观点型问题阅读理解方法
CN114357120A (zh) 基于faq的无监督式检索方法、系统及介质
CN105335510A (zh) 文本数据高效搜索方法
CN111813888A (zh) 训练目标模型
CN117648429B (zh) 基于多模态自适应检索式增强大模型的问答方法及系统
CN115357692A (zh) 一种中文问答信息抽取方法、系统、设备及存储介质
CN105160046A (zh) 基于文本的数据检索方法
CN113313250B (zh) 采用混合精度量化与知识蒸馏的神经网络训练方法及系统
CN112148994B (zh) 信息推送效果评估方法、装置、电子设备及存储介质
CN116737956A (zh) 一种面向多模态知识图谱的实体对齐方法及装置
CN111126617A (zh) 一种选择融合模型权重参数的方法、装置及设备
CN115470333A (zh) 一种融合语义信息的知识推理问答方法
CN113032612B (zh) 一种多目标图像检索模型的构建方法及检索方法和装置
CN115238705A (zh) 语义解析结果重排序方法及系统
CN114969279A (zh) 一种基于层次图神经网络的表格文本问答方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: Room 2301, building 2, Fangda Plaza, No.20, Gaofa West Road, Taoyuan community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong 518000

Applicant after: China Resources Digital Technology Co.,Ltd.

Address before: Room 2301, building 2, Fangda Plaza, No.20, Gaofa West Road, Taoyuan community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong 518000

Applicant before: Runlian software system (Shenzhen) Co.,Ltd.

Country or region before: China

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant