CN114444697A - 一种基于知识图谱的常识缺失信息多跳推理方法 - Google Patents

一种基于知识图谱的常识缺失信息多跳推理方法 Download PDF

Info

Publication number
CN114444697A
CN114444697A CN202210065669.3A CN202210065669A CN114444697A CN 114444697 A CN114444697 A CN 114444697A CN 202210065669 A CN202210065669 A CN 202210065669A CN 114444697 A CN114444697 A CN 114444697A
Authority
CN
China
Prior art keywords
level
entity
low
network
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210065669.3A
Other languages
English (en)
Inventor
邵杰
朱安婕
杨晨旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Higher Research Institute Of University Of Electronic Science And Technology Shenzhen
Original Assignee
Higher Research Institute Of University Of Electronic Science And Technology Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Higher Research Institute Of University Of Electronic Science And Technology Shenzhen filed Critical Higher Research Institute Of University Of Electronic Science And Technology Shenzhen
Priority to CN202210065669.3A priority Critical patent/CN114444697A/zh
Publication of CN114444697A publication Critical patent/CN114444697A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于知识图谱的常识缺失信息多跳推理方法，根据常识缺失信息构建输入头实体及查询关系并进行预处理，并构建长短期记忆网络对路径历史信息进行编码，得到隐藏状态变量；构建高层次策略网络，并根据隐藏状态变量、预处理后的输入头实体及查询关系作为高层次策略网络，得到高层次决策结果；构建低层次策略网络结合高层次决策结果进行预测，得到预测的目标实体，进行评分，并根据预设步数最大值进行强化学习迭代，根据评分得到最终预测结果；本发明采用分层强化的学习框架，将预测任务分解为一个用于关系检测的高层次决策过程和一个用于实体推理的低层次决策过程，有效地控制动作空间，得到更加准确的预测目标实体。

Description

一种基于知识图谱的常识缺失信息多跳推理方法
技术领域
本发明涉及知识图谱技术领域，具体涉及一种基于知识图谱的常识缺失信息多跳推理方法。
背景技术
在过去几年中，代表实体之间结构关系的知识图谱(Knowledge Graph)引起了学术界和工业界的极大研究关注。
常识知识图谱存储丰富的信息，特别是以三元体的形式(头实体、关系、尾实体)，例如(汤姆汉克斯，出生于，加利福尼亚州)。常识知识图谱的推理任务主要是解决信息缺失的问题，例如(汤姆汉克斯，出生于，？)，对尾实体即加利福尼亚州进行预测
现有技术中，知识图谱推理可分为两类方法，一类是基于嵌入的方法，关注于如何将节点和边嵌入到向量空间中，尽管基于嵌入的模型能够预测正确的缺失信息，但它们的推理过程无法解释且不直观；另一种是多跳推理的方法，它应用多个步骤来达到目标答案，同时生成其推理路径。基于强化学习的方法是一种经典的多跳推理方法，在连续空间中进行路径搜索，并且通过引入多种奖励函数，使得路径查找更加灵活、可控。
尽管如此，仍然缺乏一种优雅的方法来处理一对多的困境，即同一个实体有多个关系，或者同一个实体关系对具有多个尾实体，尤其是在一些具有较大实体平均度数的数据集中。之前的方法均没有考虑实体与关系之间的逻辑关系，并且利用(关系，实体)对来形成潜在的动作空间，它们都忽略了大量有价值的和固有的信息，这样使得学习变得困难和不充分。另一个问题是动作空间(即所有关系和尾部实体的组合)将显著增大，这也加剧了学习的难度，并且减慢了训练速度。
发明内容
针对现有技术中的上述不足，本发明提供了一种基于分层强化学习的知识图谱推理方法，解决了现有技术中一对多的困境，导致动作空间显著增大，训练速度减缓，学习难度加大和不充分的问题。
为了达到上述发明目的，本发明采用的技术方案为：
一种基于知识图谱的常识缺失信息多跳推理方法，包括以下步骤：
S1、根据常识缺失信息构建输入头实体及查询关系，并进行预处理，得到预处理后的输入头实体及查询关系，并初始化当前时间步数；
S2、构建长短期记忆网络，对路径历史信息进行编码，得到隐藏状态变量；
S3、构建高层次策略网络，并根据隐藏状态变量、预处理后的输入头实体及查询关系作为高层次策略网络，得到高层次决策结果；
S4、构建低层次策略网络，并根据高层次决策结果及预处理后的输入头实体及查询关系，得到预测的目标实体；
S5、判断当前步数是否达到预设步数最大值，若满足则输出预测的目标实体，得到目标实体候选集，并进入步骤S6，否则返回步骤S2；
S6、对目标候选集中预测的各目标实体进行评分，选择最高评分所对应的预测实体作为最终预测结果。
优选地，步骤S1具体为：
将常识缺失信息映射到向量空间，并初始化输入头实体及查询关系的表示，得到预处理后的输入头实体及查询关系，并初始化当前时间步数。
优选地，步骤S3具体包括以下分步骤：
S31、根据预处理后的输入头实体及查询关系构建当前时刻下的高层次策略状态；
S32、根据当前时刻下的高层次策略状态构建高层次动作集合；
S33、利用不少于一层的全连接层构建初始高层次策略网络，并将隐藏状态变量、高层次动作集合作为高层次策略网络输入，得到初始高层次决策结果；
S34、在初始高层次决策网络后添加关系dropout网络，得到高层次决策网络，并结合初始高层次决策结果得到高层次决策结果；
S35、利用REINFORCE算法构建策略梯度函数，优化高层次策略网络，其梯度更新可表示为：
Figure BDA0003480183950000031
其中，θH*为更新后的梯度，
Figure BDA0003480183950000032
为高层次策略网络的期望函数，θH为高层次策略函数参数，α为学习率，β为信息熵的权重，
Figure BDA0003480183950000033
为高层次策略函数的梯度，log为对数函数，
Figure BDA0003480183950000034
为熵正则化项，
Figure BDA0003480183950000035
为高层次奖赏函数，rq为查询关系，et为当前时刻t下访问的当前实体，
Figure BDA0003480183950000036
为高层次策略网络更新前的梯度。
优选地，步骤S32具体为：
根据当前时刻下的高层次策略状态构建初始高层次动作集合，并添加当前时刻下的高层次策略状态中数据集所对应的逆向三元组，得到高层次动作集合。
优选地，步骤S33中初始高层次策略网络模型表示为：
Figure BDA0003480183950000037
其中，
Figure BDA0003480183950000041
为初始高层次策略网络输出的模型函数，σ(.)为softmax激活函数，Ot为堆叠的基于option空间的表征，ReLU(.)为激活函数，W2为可学习的参数，W1为可学习的参数，ht为隐藏状态变量，
Figure BDA0003480183950000042
为当前时刻t下的高层次策略状态，rq为查询关系，et为当前时刻t下访问的当前实体。
优选地，步骤S34中高层次决策网络的模型表达式为：
Figure BDA0003480183950000043
mi～Bernoulli(1-α),i＝1,…,|Ot|
其中，
Figure BDA0003480183950000044
为高层次决策网络输出的模型函数，∝为正比关系符号，m为掩码向量，mi为掩码向量中第i个参数向量，∈为常数参量，～为映射，Bernoulli(.)为伯努利函数，α为学习率。
优选地，步骤S4具体包括以下分步骤：
S41、根据高层次决策结果及预处理后的源实体及查询关系构建低层次策略状态，低层次策略状态表示为：
Figure BDA0003480183950000045
其中，
Figure BDA0003480183950000046
为当前时刻t下的低层次状态，es为源实体，rq为查询关系，et为当前时刻t下访问的当前实体，ot为高层次决策结果；
S42、根据当前时刻下的低层次策略状态构建低层次动作集合，然后对低层次动作空间进行评分，得到优化后的低层次动作空间；
S43、利用长短期记忆网络，对隐藏状态变量进行编码更新，得到更新后的隐藏状态变量，表示为：
h0＝LSTM(0,[r0,es])
ht*＝LSTM(ht-1,(ot-1,αt-1)),t>0
其中，ht*为当前时刻t下更新后的隐藏状态变量，ht-1为前一时刻下的隐藏状态变量，ot-1、at-1分别为上一时刻的高层次动作向量和低层次动作向量，r0为初始关系，es为源实体，LSTM(.)为长短期记忆网络模型函数。
S44、利用不少于一层的全连接层，构建初始低层次策略网络，并根据更新后的隐藏状态变量、低层次策略状态以及低层次动作集合，得到预测的初始目标实体概率，初始低层次策略网络表达为：
Figure BDA0003480183950000051
其中，
Figure BDA0003480183950000052
为初始低层次策略网络输出函数值，σ(.)为softmax激活函数，ReLU(.)为激活函数，W3、W4分别为可学习的参数，At为低层次动作集合，ot为高层次决策结果，即当前时刻t下的高层次动作向量，et为当前时刻t下访问的当前实体，rq为查询关系；
S45、根据当前实体与高层次决策结果，构建奖励函数，其奖励函数表示为：
Figure BDA0003480183950000053
其中，Rl(sT)为奖励函数，eT为T时刻的实体，etarget为目标实体，f(.)为基于嵌入式模型函数；
S46、在初始低层次策略网络后添加低层次关系dropout网络，得到低层次策略网络，并根据初始目标实体，得到预测的目标实体概率；
S47、利用REINFORCE算法构建策略梯度，优化低层次策略网络，其梯度更新可表示为：
Figure BDA0003480183950000054
其中，θL为低层次策略函数参数，β为信息熵的权重，α为学习率，
Figure BDA0003480183950000061
为低层次策略函数的梯度，
Figure BDA0003480183950000062
为低层次策略网络的期望函数，log为对数函数，H(μ)为熵正则化项；θL*为更新后的梯度。
优选地，步骤S42具体为：
根据当前时刻下的低层次策略状态中当前实体及其对应的查询关系出线边集，得到初始低层次动作集合，并融合当前节点上的自循环实体动作，得到低层次动作集合，然后根据当前实体与选择的关系，计算所有实体作为尾部实体的概率，并将前K评分的实体作为动作空间，得到优化后的低层次动作空间。
优选地，步骤S46的低层次策略网络表示为：
Figure BDA0003480183950000063
其中，
Figure BDA0003480183950000064
为低层次策略网络输出函数值，∝为正比关系符号，∈为常数参量，n为低层次策略网络的掩码向量。
优选地，步骤S6具体为：
根据目标候选集中预测的各目标实体所对应的低层次策略网络输出函数值，即为各目标实体的候选概率，并将该候选概率作为评分标准，选择最高评分所对应的目标实体作为最终预测结果。
本发明具有以下有益效果：
通过构建将多跳推理方法建模为半马尔科夫决策过程，根据常识缺失信息构建输入头实体及查询关系并进行预处理，并构建长短期记忆网络对路径历史信息进行编码，得到隐藏状态变量；构建高层次策略网络，并根据隐藏状态变量、预处理后的输入头实体及查询关系作为高层次策略网络，得到高层次决策结果；并构建低层次策略网络结合高层次决策结果进行预测，得到预测的目标实体，进行评分，根据预设步数最大值进行强化学习迭代，并根据评分得到最终预测结果；本发明采用分层强化的学习框架，将预测任务分解为一个用于关系检测的高层次决策过程和一个用于实体推理的低层次决策过程，有效地控制动作空间，得到更加准确的预测目标实体。
附图说明
图1为本发明提供的一种基于知识图谱的常识缺失信息多跳推理方法的步骤流程图；
图2为本发明实施例中高层次决策过程；
图3步骤S3的分步骤流程图；
图4为本发明实施例中低层次决策过程；
图5步骤S4的分步骤流程图；
图6为本发明实施例中低层次决策过程的历史信息编码过程；
图7为本发明实施例中嵌入不同维度在UMLS数据集的实验对比图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，本发明实施例提供一种基于知识图谱的常识缺失信息多跳推理方法，包括以下步骤：
S1、根据常识缺失信息构建输入头实体及查询关系，并进行预处理，得到预处理后的输入头实体及查询关系，并初始化当前时间步数；
优选地，步骤S1具体为：
将常识缺失信息映射到向量空间，并初始化输入头实体及查询关系的表示，得到预处理后的输入头实体及查询关系，并初始化当前时间步数。
可选的，本发明实施例的常识缺失信息，例如：汤姆汉克斯，出生于x，其中出生地则为常识信息中缺失的内容，将存在信息缺失的常识信息映射到向量空间，得到输入头实体及查询关系；
可选的，本发明实施例中，利用半马尔科夫过程进行多跳推理的推理过程，去计算式表示：p((r,e)|st)＝p(r|st)p(e|st,r)，其中，e为实体，r为关系，st为当前时刻t强化学习代理的状态；可通过分解学习过程来转换策略的目标，即通过逐步学习，得到预测的尾实体；强化学习代理可从环境中学习到当前的高层次状态，然后结合高层次策略网络选择最优方案，得到当前选择的关系，作为高层次策略网络的输出，进入低层次策略网络中，进行迭代，最终得到满足目标实体或超过预设步数最大值，作为预测的尾实体。
S2、构建长短期记忆网络，对路径历史信息进行编码，得到隐藏状态变量；可选的，本发明实例中，综合考虑图谱和搜索路径信息，为了更好的满足排序，代理需要满足的记录信息不仅包括现在正在发生的事情，还包括过去发生的事情，通过长短期记忆网络(Longshort term memory，LSTM)来编码搜索历史信息，即(es,r1,e1,…,rt,et)记为ht，本发明实施例中将长短期记忆网络的隐藏单元维度设置为200，层数为3，其计算的过程可表示为：
h0＝LSTM(0,r0),
ht＝LSTM(ht-1,αt-1),t>0
其中，r0为初始关系，一般采用随机或直接用0赋值，h0为初始隐藏状态变量，ht-1为前一时刻下的隐藏状态变量，ht为当前时刻的隐藏状态变量，at-1为前一时刻下的动作向量。
S3、构建高层次策略网络，并根据隐藏状态变量、预处理后的输入头实体及查询关系作为高层次策略网络，得到高层次决策结果；
可选的，高层次策略网络的目标是为了选择连接到目标实体中最有可能的关系，基于头实体、查询关系与当前时间t所在的实体拼接形成高层次策略的状态，高层次策略网络则根据其做出相应关系的决策。
如图2、3所示，步骤S3具体包括以下分步骤：
S31、根据预处理后的输入头实体及查询关系构建当前时刻下的高层次策略状态；
可选的，本发明实施例中关系选择的策略不仅仅取决于知识图谱中当前节点信息，还取决于查询关系，则当前时刻下的高层次策略状态可表示为：
Figure BDA0003480183950000091
其中，es为源实体、rq为查询关系、et为在当前时刻t访问的当前实体。
S32、根据当前时刻下的高层次策略状态构建高层次动作集合；
优选地，步骤S32具体为：
根据当前时刻下的高层次策略状态构建初始高层次动作集合，并添加当前时刻下的高层次策略状态中数据集所对应的逆向三元组，得到高层次动作集合。
可选的，来自状态
Figure BDA0003480183950000092
的高层次动作集合Ot涵盖了当前实体et的所有外出关系；可表示为：Ot＝{r|et,(et,r,e′)∈G}，其中，e′是尾部实体，那么从Ot中按照高层次策略选择μt，且为了广泛的探索，将展开搜索过程定义为一个固定的时间步，且还添加了逆向三元组，具体的，以(e1,r,e2)为例，则向数据集中添加逆向三元组(e2,r-1,e1)，其中，r-1为该三元组关系r的逆向关系。
S33、利用不少于一层的全连接层构建初始高层次策略网络，并将隐藏状态变量、高层次动作集合作为高层次策略网络输入，得到初始高层次决策结果；
可选的，初始高层次策略网络采用两层全连接层，其隐藏单元维度为200，激活函数为ReLU函数。
优选地，步骤S33中初始高层次策略网络模型表示为：
Figure BDA0003480183950000101
其中，
Figure BDA0003480183950000102
为初始高层次策略网络输出的模型函数，σ(.)为softmax激活函数，Ot为堆叠的基于option空间的表征，ReLU(.)为激活函数，W2为可学习的参数，W1为可学习的参数，ht为隐藏状态变量，
Figure BDA0003480183950000103
为当前时刻t下的高层次策略状态，rq为查询关系，et为当前时刻t下访问的当前实体。
S34、在初始高层次决策网络后添加关系dropout网络，得到高层次决策网络，并结合初始高层次决策结果得到高层次决策结果；
可选的，为了实现搜索过程的随机，添加了基于高层次动作的关系dropout网络，使得搜索更加多样化。
优选地，步骤S34中高层次决策网络的模型表达式为：
Figure BDA0003480183950000104
mi～Bernoulli(1-α),＝1,…,|Ot|
其中，
Figure BDA0003480183950000105
为高层次决策网络输出的模型函数，∝为正比关系符号，m为掩码向量，mi为掩码向量中第i个参数向量，∈为常数参量；当mi＝0的情况下，常数参量∈取值几乎为0，Bernoulli(.)为伯努利函数，α为学习率。
S35、利用REINFORCE算法构建策略梯度函数，优化高层次策略网络，其梯度更新可表示为：
Figure BDA0003480183950000111
其中，θH*为更新后的梯度，
Figure BDA0003480183950000112
为高层次策略网络的期望函数，θH为高层次策略函数参数，α为学习率，β为信息熵的权重，
Figure BDA0003480183950000113
为高层次策略函数的梯度，log为对数函数，
Figure BDA0003480183950000114
为熵正则化项，
Figure BDA0003480183950000115
为高层次奖赏函数，rq为查询关系，et为当前时刻t下访问的当前实体，
Figure BDA0003480183950000116
为高层次策略网络更新前的梯度。
可选的，高层次奖赏可从环境中进行反馈，得到一个中间报酬
Figure BDA0003480183950000117
用于后续的奖赏估计，如果强化学习代理到达目标实体，它将得到1作为鼓励，否则会得到一个小于1的数字作为惩罚；本发明实施例中可通过一预先训练的基于嵌入的模型来进行辅助，分配一个分数来进行三元组的可能性评价。
可选的，对于高层次策略网络的目标为最大化预期累积回报，可表示为：
Figure BDA0003480183950000118
其中，J(θH)为高层次策略的目标函数，
Figure BDA0003480183950000119
为其期望函数，G为知识图谱，
Figure BDA00034801839500001110
为其期望函数，Rh(sT)为高层次奖赏函数，es为源实体、rq为查询关系；为了优化上述目标，本发明实施例中使用策略梯度方法与REINFORCE算法，并为了探索更多的路径，本发明实施例中还添加了熵正则化项H(μ)和H(π)。
S4、构建低层次策略网络，并根据高层次决策结果及预处理后的输入头实体及查询关系，得到预测的目标实体；
可选的，类似于高层次策略网络，低层次强化学习的任务是根据头实体和选择的关系来决定尾实体；为了使所选的关系在低层策略过程中可访问，本发明实施例中从高层策略输出中选取选项ot作为低层尾实体决策过程的额外输入。这样，高层决策的结果会影响低层次策略的学习。
如图4、5所示，步骤S4具体包括以下分步骤：
S41、根据高层次决策结果及预处理后的源实体及查询关系构建低层次策略状态，低层次策略状态表示为：
Figure BDA0003480183950000121
其中，
Figure BDA0003480183950000122
为当前时刻t下的低层次状态，es为源实体，rq为查询关系，et为当前时刻t下访问的当前实体，ot为高层次决策结果；
S42、根据当前时刻下的低层次策略状态构建低层次动作集合，然后对低层次动作空间进行评分，得到优化后的低层次动作空间；
优选地，步骤S42具体为：
根据当前时刻下的低层次策略状态中当前实体及其对应的查询关系出线边集，得到初始低层次动作集合，并融合当前节点上的自循环实体动作，得到低层次动作集合，然后根据当前实体与选择的关系，计算所有实体作为尾部实体的概率，并将前K评分的实体作为动作空间，得到优化后的低层次动作空间。
可选的，对于构建的高层次及低层次框架中包含一个变体，即动态展望机制，其用于改善动作空间，在低层次强化学习过程中的动作空间，原来是所有连接到相应的头实体和关系的实体。嵌入模型由于映射到低维向量空间而具有鲁棒性，因此，本发明实施例中在决策时将嵌入信息注入到行动空间中，具体的，即为针对对于当前实体和选择的关系，计算所有实体作为尾实体的概率，然后根据前K评分的实体作为动作空间，其中K为各数据集中所预设的。
可选的，在时刻t的动作是为前一个(所选)实体-关系对和头实体-关系(查询)对选择最有希望的尾部实体。低级状态
Figure BDA0003480183950000131
的动作空间At是当前实体et和选定关系rt的出线边集，其中，At＝{(e′|et,rt,(et,rt,et′)∈G)}，et′是对应的尾实体；为了让强化学习智能体做出更智能的选择，本发明实施例中还在每个动作空间中添加一个特殊的动作，即停留在当前节点上的自循环实体动作，且根据高层次策略的决定关系，动作空间At满足
Figure BDA0003480183950000132
表示将特定头部实体和关系的所有出线边(尾实体)叠加在动作空间At中，其中，d2为实体嵌入维数。
S43、利用长短期记忆网络，对隐藏状态变量进行编码更新，得到更新后的隐藏状态变量，表示为：
h0＝LSTM(0,[r0,es])
ht*＝LSTM(ht-1,(ot-1,αt-1),t>0
其中，ht*为当前时刻t下更新后的隐藏状态变量，ht-1为前一时刻下的隐藏状态变量，ot-1、at-1分别为上一时刻的高层次动作向量和低层次动作向量，r0为初始关系，es为源实体；
可选的，如图6所示，为了简化计算和表示，采用与长短期记忆网络相同结构的长短期记忆网络，即其长短期记忆网络的隐藏单元维度设置为200，层数为3；对高层次与低层次决策策略来记录整个路径。
S44、利用不少于一层的全连接层，构建初始低层次策略网络，并根据更新后的隐藏状态变量、低层次策略状态以及低层次动作集合，得到预测的初始目标实体，初始低层次策略网络表达为：
Figure BDA0003480183950000133
其中，
Figure BDA0003480183950000134
为初始低层次策略网络输出函数值，σ(.)为softmax激活函数，ReLU(.)为激活函数，W3、W4分别为可学习的参数，At为低层次动作集合，ot为高层次决策结果，即当前时刻t下的高层次动作向量，et为当前时刻t下访问的当前实体，rq为查询关系；
可选的，本实施例中初始低层次策略网络包含两个全连接层，其隐藏单元维度为200，激活函数采用ReLU函数。
S45、根据当前实体与高层次决策结果，构建奖励函数，进行评分，其奖励函数表示为：
Figure BDA0003480183950000141
其中，Rl(sT)为奖励函数，eT为T时刻的实体，etarget为目标实体，f(.)为基于嵌入式模型函数；
S46、在初始低层次策略网络后添加低层次关系dropout网络，得到低层次策略网络，并根据初始目标实体，得到预测的目标实体；
优选地，步骤S46的低层次策略网络表示为：
Figure BDA0003480183950000142
其中，
Figure BDA0003480183950000143
为低层次策略网络输出函数值，∝为正比关系符号，∈为常数参量，n为低层次策略网络的掩码向量。
S47、利用REINFORCE算法构建策略梯度，优化低层次策略网络，其梯度更新可表示为：
Figure BDA0003480183950000144
其中，θL为低层次策略函数参数，β为信息熵的权重，α为学习率，
Figure BDA0003480183950000145
为低层次策略函数的梯度，
Figure BDA0003480183950000151
为低层次策略网络的期望函数，log为对数函数，H(μ)为熵正则化项；θL*为更新后的梯度。
可选的，对于低层次策略的目标是最大化预期累积回报，可表示为：
Figure BDA0003480183950000152
其中，J(θL)为低层次策略的目标函数，
Figure BDA0003480183950000153
为其所对应的期望函数，G为知识图谱，
Figure BDA0003480183950000154
为其期望函数，Rl(sT)为低层次奖励函数；并基于此最大化预期累积回报的目标，本发明实施例中采用策略梯度方法和REINFORCE算法，且为了探索更多的路径，添加了熵正则化项H(μ)和H(π)，对低层次策略网络进行优化。
S5、判断当前步数是否达到预设步数最大值，若满足则输出预测的目标实体，得到目标实体候选集，并进入步骤S6，否则返回步骤S2；
S6、对目标候选集中预测的各目标实体进行评分，选择最高评分所对应的预测实体作为最终预测结果。
优选地，步骤S6具体为：
根据目标候选集中预测的各目标实体所对应的低层次策略网络输出函数值，即为各目标实体的候选概率，并将该候选概率作为评分标准，选择最高评分所对应的目标实体作为最终预测结果。
可选的，本发明实施例基于四个基准数据集进行上述算法的有效性评估；即：
1)来自Freebase的FB15K-237，遵循DacKGR，我们构造了FB15K-237-10％和FB15K-237-50％，保留了原始数据集的10％和50％的事实；
2)NELL-995；
3)Kinship；
4)统一医学语言系统(UMLS)；
数据集间的实体和关系，如表1所示，可知小规模的知识图谱经常面临平均度数大的一对多困境。同时，大规模的知识图往往受到巨大的实体空间的影响。
表1
Figure BDA0003480183950000161
评价指标：
在测试集上，基于(eead,r,？)(尾实体未知)，在候选尾实体的集合中对真正的尾实体etail进行排序，假设ranki就是正确尾实体的第i次查询。采用如下两个评测指标进行有效性的验证：
1)Hits@K＝∑i1(ranki<K)/N
2)
Figure BDA0003480183950000162
其中，MRR(Mean Reciprocal Rank)为平均倒数排名，Hits@K为正确答案预测排名不超过K的概率。
参数设置：
实际中，为了公平比较，可将实体和关系的维度设置为200，在历史信息编码部分，使用三层LSTM并将隐藏状态的维度设置为200；此外，添加的熵正则化项将其权重设置在0到0.1之间；并使用Adam优化，其学习率介于0.001和0.003之间；具体的，不同的数据集有不同的学习率；在对低层次动作空间的动态展望中，将UMLS的K设置为16，Kinship设置为96，NELL-995设置为32，FB15K-237设置为64；本发明实施例中使用PyTorch框架来实现并在GPU机器上训练模型。
实验结果：
1)模型比较
如表2所示，UMLS的结果表明本发明实施例的模型具有较大的平均度数。在同样较小的数据集Kinship上，本发明实施例提高了Hits@1和MRR性能。有趣的是，在NELL-995上，本发明实施例的模型明显优于以前的方法。在FB15K-237-10％和FB15K-237-50％上，本发明实施例在Hits@3和Hits@10上表现出优势，并在MRR上表现出有竞争力的结果；本发明实施例对FB15K-237数据集略有改进的猜测是，与其他数据集相比，FB15K-237的实体和关系涵盖了许多领域，这可能会混淆智能体学习。不仅对于度数大的实体，还是对于度数较小的实体，本发明实施例都可以解决困境并取得卓越的结果。这意味着本发明实施例的模型对于多跳推理是稳健有效的；
2)消融实验
对分层框架的变体，动态前景进行评价，如表3所示，在NELL-995、UMLS和Kinship数据集上，去除动态前景模块时，与本发明实施例的模型相比MRR略有下降。此外，本发明实施例计算了16、32、96g中K的MRR结果，其中K是候选者的数量。本发明实施例可以看到，对于不同大小的数据集，需要设置不同的K值。一般来说，拥有更大实体平均度数的数据集需要更大的K，除了UMLS，其中K＝16是最好的。综上所述，动态展望是本发明实施例的框架中改善动作空间不可或缺的组成部分，使本发明实施例的分层框架在常识知识图谱推理中取得了更好的表现。
3)分析实验
a.泛化能力
对未知数据的泛化能力对于进一步应用至关重要。在本发明实施例的实验中，在训练集中看到了测试集中的一些三元组。根据表4和表5中的第一行，本发明实施例可以看到大约96.8％的验证集在Kinship上在之前看过查询数据，而只有15.3％看到了NELL-995上的查询。为了研究本发明实施例的模型对未见查询的泛化，本发明实施例对数据集中的已见查询和未见查询进行了实验，包括少量未见查询(Kinship和UMLS)和大量未见查询(NELL-995)，与Multihop-KG进行比较。以上两个表的结果表明，本发明实施例的模型在可见查询和不可见查询方面的性能都优于Multihop-KG方法。本发明实施例的分层框架在不同大小的不同数据集中显示了强大的泛化性；
b.嵌入维度的影响
实体和关系嵌入携带着极其多样化和丰富的信息。嵌入的不同维度可以为代理传递不同数量的信息以进行推理。通过这种方式，本发明实施例进行了一项实验，以调查关系和实体嵌入的维度如何影响学习。嵌入维度在100、200、300的上进行测试，如图7所示；
本发明实施例可以看到随着维度的增加，指标的性能(例如，MRR、Hits@1、Hits@3和Hits@10)更好；可知这是因为维度较大的关系和实体嵌入可以携带足够的信息进行推理。
表2
Figure BDA0003480183950000191
表3
Model NELL-995 UMLS Kinship
去除动态展望机制 81.2 89.2 81.1
K＝16 81.0 94.5 83.8
K＝32 82.1 90.0 82.0
K＝96 80 89.9 85.8
表4
Figure BDA0003480183950000192
表5
Figure BDA0003480183950000193
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (10)

1.一种基于知识图谱的常识缺失信息多跳推理方法，其特征在于，包括以下步骤：
S1、根据常识缺失信息构建输入头实体及查询关系，并进行预处理，得到预处理后的输入头实体及查询关系，并初始化当前时间步数；
S2、构建长短期记忆网络，对路径历史信息进行编码，得到隐藏状态变量；
S3、构建高层次策略网络，并根据隐藏状态变量、预处理后的输入头实体及查询关系作为高层次策略网络，得到高层次决策结果；
S4、构建低层次策略网络，并根据高层次决策结果及预处理后的输入头实体及查询关系，得到预测的目标实体；
S5、判断当前步数是否达到预设步数最大值，若满足则输出预测的目标实体，得到目标实体候选集，并进入步骤S6，否则返回步骤S2；
S6、对目标候选集中预测的各目标实体进行评分，选择最高评分所对应的预测实体作为最终预测结果。
2.根据权利要求1中基于知识图谱的常识缺失信息多跳推理方法，其特征在于，步骤S1具体为：
将常识缺失信息映射到向量空间，并初始化输入头实体及查询关系的表示，得到预处理后的输入头实体及查询关系，并初始化当前时间步数。
3.根据权利要求1中基于知识图谱的常识缺失信息多跳推理方法，其特征在于，步骤S3具体包括以下分步骤：
S31、根据预处理后的输入头实体及查询关系构建当前时刻下的高层次策略状态；
S32、根据当前时刻下的高层次策略状态构建高层次动作集合；
S33、利用不少于一层的全连接层构建初始高层次策略网络，并将隐藏状态变量、高层次动作集合作为高层次策略网络输入，得到初始高层次决策结果；
S34、在初始高层次决策网络后添加关系dropout网络，得到高层次决策网络，并结合初始高层次决策结果得到高层次决策结果；
S35、利用REINFORCE算法构建策略梯度函数，优化高层次策略网络，其梯度更新可表示为：
Figure FDA0003480183940000021
Figure FDA0003480183940000022
其中，θH*为更新后的梯度，
Figure FDA0003480183940000023
为高层次策略网络的期望函数，θH为高层次策略函数参数，α为学习率，β为信息熵的权重，
Figure FDA0003480183940000024
为高层次策略函数的梯度，log为对数函数，
Figure FDA0003480183940000025
为熵正则化项，
Figure FDA0003480183940000026
为高层次奖赏函数，rq为查询关系，et为当前时刻t下访问的当前实体，
Figure FDA0003480183940000027
为高层次策略网络更新前的梯度。
4.根据权利要求3中基于知识图谱的常识缺失信息多跳推理方法，其特征在于，步骤S32具体为：
根据当前时刻下的高层次策略状态构建初始高层次动作集合，并添加当前时刻下的高层次策略状态中数据集所对应的逆向三元组，得到高层次动作集合。
5.根据权利要求3中基于知识图谱的常识缺失信息多跳推理方法，其特征在于，步骤S33中初始高层次策略网络模型表示为：
Figure FDA0003480183940000028
其中，
Figure FDA0003480183940000029
为初始高层次策略网络输出的模型函数，σ(.)为softmax激活函数，Ot为堆叠的基于option空间的表征，ReLU(.)为激活函数，W2为可学习的参数，W1为可学习的参数，ht为隐藏状态变量，
Figure FDA0003480183940000031
为当前时刻t下的高层次策略状态，rq为查询关系，et为当前时刻t下访问的当前实体。
6.根据权利要求5中基于知识图谱的常识缺失信息多跳推理方法，其特征在于，步骤S34中高层次决策网络的模型表达式为：
Figure FDA0003480183940000032
mi～Bernoulli(1-α)，i＝1，...，|Ot|
其中，
Figure FDA0003480183940000033
为高层次决策网络输出的模型函数，∝为正比关系符号，m为掩码向量，mi为掩码向量中第i个参数向量，∈为常数参量，～为映射，Bernoulli(.)为伯努利函数，α为学习率。
7.根据权利要求1中基于知识图谱的常识缺失信息多跳推理方法，其特征在于，步骤S4具体包括以下分步骤：
S41、根据高层次决策结果及预处理后的源实体及查询关系构建低层次策略状态，低层次策略状态表示为：
Figure FDA0003480183940000034
其中，
Figure FDA0003480183940000035
为当前时刻t下的低层次状态，es为源实体，rq为查询关系，et为当前时刻t下访问的当前实体，ot为高层次决策结果；
S42、根据当前时刻下的低层次策略状态构建低层次动作集合，然后对低层次动作空间进行评分，得到优化后的低层次动作空间；
S43、利用长短期记忆网络，对隐藏状态变量进行编码更新，得到更新后的隐藏状态变量，表示为：
h0＝LSTM(0，[r0，es])
ht*＝LSTM(ht-1，(ot-1，at-1))，t＞0
其中，ht*为当前时刻t下更新后的隐藏状态变量，ht-1为前一时刻下的隐藏状态变量，ot-1、at-1分别为上一时刻的高层次动作向量和低层次动作向量，r0为初始关系，es为源实体，LSTM(.)为长短期记忆网络模型函数。
S44、利用不少于一层的全连接层，构建初始低层次策略网络，并根据更新后的隐藏状态变量、低层次策略状态以及低层次动作集合，得到预测的初始目标实体概率，初始低层次策略网络表达为：
Figure FDA0003480183940000041
其中，
Figure FDA0003480183940000042
为初始低层次策略网络输出函数值，σ(.)为softmax激活函数，ReLU(.)为激活函数，W3、W4分别为可学习的参数，At为低层次动作集合，ot为高层次决策结果，即当前时刻t下的高层次动作向量，et为当前时刻t下访问的当前实体，rq为查询关系；
S45、根据当前实体与高层次决策结果，构建奖励函数，其奖励函数表示为：
Figure FDA0003480183940000043
其中，R1(sT)为奖励函数，eT为T时刻的实体，etarget为目标实体，f(.)为基于嵌入式模型函数；
S46、在初始低层次策略网络后添加低层次关系dropout网络，得到低层次策略网络，并根据初始目标实体，得到预测的目标实体概率；
S47、利用REINFORCE算法构建策略梯度，优化低层次策略网络，其梯度更新可表示为：
Figure FDA0003480183940000044
Figure FDA0003480183940000045
其中，θL为低层次策略函数参数，β为信息熵的权重，α为学习率，
Figure FDA0003480183940000051
为低层次策略函数的梯度，
Figure FDA0003480183940000052
为低层次策略网络的期望函数，log为对数函数，H(μ)为熵正则化项；θL*为更新后的梯度。
8.根据权利要求7中基于知识图谱的常识缺失信息多跳推理方法，其特征在于，步骤S42具体为：
根据当前时刻下的低层次策略状态中当前实体及其对应的查询关系出线边集，得到初始低层次动作集合，并融合当前节点上的自循环实体动作，得到低层次动作集合，然后根据当前实体与选择的关系，计算所有实体作为尾部实体的概率，并将前K评分的实体作为动作空间，得到优化后的低层次动作空间。
9.根据权利要求7中基于知识图谱的常识缺失信息多跳推理方法，其特征在于，步骤S46的低层次策略网络表示为：
Figure FDA0003480183940000053
其中，
Figure FDA0003480183940000054
为低层次策略网络输出函数值，∝为正比关系符号，∈为常数参量，n为低层次策略网络的掩码向量。
10.根据权利要求1中基于知识图谱的常识缺失信息多跳推理方法，其特征在于，步骤S6具体为：
根据目标候选集中预测的各目标实体所对应的低层次策略网络输出函数值，即为各目标实体的候选概率，并将该候选概率作为评分标准，选择最高评分所对应的目标实体作为最终预测结果。
CN202210065669.3A 2022-01-20 2022-01-20 一种基于知识图谱的常识缺失信息多跳推理方法 Pending CN114444697A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210065669.3A CN114444697A (zh) 2022-01-20 2022-01-20 一种基于知识图谱的常识缺失信息多跳推理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210065669.3A CN114444697A (zh) 2022-01-20 2022-01-20 一种基于知识图谱的常识缺失信息多跳推理方法

Publications (1)

Publication Number Publication Date
CN114444697A true CN114444697A (zh) 2022-05-06

Family

ID=81368743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210065669.3A Pending CN114444697A (zh) 2022-01-20 2022-01-20 一种基于知识图谱的常识缺失信息多跳推理方法

Country Status (1)

Country Link
CN (1) CN114444697A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114925190A (zh) * 2022-05-30 2022-08-19 南瑞集团有限公司 一种基于规则推理与gru神经网络推理的混合推理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114925190A (zh) * 2022-05-30 2022-08-19 南瑞集团有限公司 一种基于规则推理与gru神经网络推理的混合推理方法
CN114925190B (zh) * 2022-05-30 2023-08-04 南瑞集团有限公司 一种基于规则推理与gru神经网络推理的混合推理方法

Similar Documents

Publication Publication Date Title
CN112529168B (zh) 一种基于gcn的属性多层网络表示学习方法
CN112699247B (zh) 一种基于多类交叉熵对比补全编码的知识表示学习方法
Zhang et al. A Rule‐Based Model for Bankruptcy Prediction Based on an Improved Genetic Ant Colony Algorithm
Lobato et al. Multi-objective genetic algorithm for missing data imputation
CN104298873B (zh) 一种基于遗传算法和粗糙集的属性约简方法及精神状态评估方法
CN110619081B (zh) 一种基于交互图神经网络的新闻推送方法
CN106411896A (zh) 基于apde‑rbf神经网络的网络安全态势预测方法
Sudjianto et al. Unwrapping the black box of deep ReLU networks: interpretability, diagnostics, and simplification
Gu et al. A self-adaptive fuzzy learning system for streaming data prediction
Chen et al. Reinforcement Learning‐Based Genetic Algorithm in Optimizing Multidimensional Data Discretization Scheme
Mehmanpazir et al. Development of an evolutionary fuzzy expert system for estimating future behavior of stock price
Jang et al. Predicting business failure of construction contractors using long short-term memory recurrent neural network
Chivukula et al. Adversarial learning games with deep learning models
Roy et al. A review of surrogate models and their ensembles to develop saltwater intrusion management strategies in coastal aquifers
CN112580728A (zh) 一种基于强化学习的动态链路预测模型鲁棒性增强方法
CN116992151A (zh) 一种基于双塔图卷积神经网络的在线课程推荐方法
CN114444697A (zh) 一种基于知识图谱的常识缺失信息多跳推理方法
CN114780879A (zh) 一种用于知识超图的可解释性链接预测方法
He et al. Reference point reconstruction-based firefly algorithm for irregular multi-objective optimization
CN116843456B (zh) 基于人工智能的金融大数据处理方法及系统
CN113095480A (zh) 一种基于知识蒸馏的可解释图神经网络表示方法
Liu et al. An intelligence optimized rolling grey forecasting model fitting to small economic dataset
CN110597983B (zh) 一种基于类别嵌入的层次化文本分类计算方法
CN114676228A (zh) 基于动态路由的跨模态注意力筛选网络的跨模态匹配方法
Cheng et al. BHONEM: Binary high-order network embedding methods for networked-guarantee loans

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination