CN111027700A - 基于wcur算法的知识库补全方法 - Google Patents

Abstract

本发明涉及一种基于WCUR算法的知识库补全方法，包括以下步骤：步骤S1:遍历整个知识库,获取实体和关系的上下文信息;步骤S2:在考虑单独三元组的基础上结合上一阶段的实体和关系的上下文信息，分别计算三元组置信度的三个部分P(h|Neighbor(h))、P(t|Neighbor(t))和P(r|Path(r));步骤S3:通过梯度下降算法优化目标函数，反向更新每个实体和关系的向量，得到最优表示;步骤S4:根据最优表示，得到新的知识，并添加至原始知识库，实现知识库补全。本发明能够结合概率嵌入模型以衡量每个三元组的置信度，为每个实体和关系学习到更好的低维向量表示，更高效的补全知识库。

Description

基于WCUR算法的知识库补全方法

技术领域

本发明涉及知识图谱下的知识表示与推理领域，具体涉及一种基于WCUR算法的知识库补全方法。

背景技术

目前，知识表示及推理模型以知识的确定性及是否引入外部信息将这些方法分为两大类：一是基于知识表示的知识推理，其中按照知识的确定性与否又分为基于确定性知识表示的知识推理和基于不确定知识表示的知识推理；二是引入外部信息的知识表示推理。基于确定性知识的知识表示推理方法包括：TransE方法、TransH方法、TransR方法等等。基于不确定性知识的知识表示推理方法有不确定性推理模型I I KE。这些方法最大的不足是将每个三元组视为孤立的个体，忽略了其上下文隐含的丰富的语义信息；引入外部信息的知识表示推理模型有GAKE模型、PTransE模型等，利用三元组的上下文信息、关系路径信息和文本信息等帮助建模。

现实世界中存在许多由于缺少人工干预而导致的不精确和不完备的知识库，确定性的推理研究在这类知识库上表现欠佳。此外，针对不确定性推理的现有模型主要针对孤立的三元组建模，忽略了互相联结的节点间蕴含的丰富语义信息。

发明内容

有鉴于此，本发明的目的在于提供一种基于WCUR算法的知识库补全方法，能够结合概率嵌入模型以衡量每个三元组的置信度，为每个实体和关系学习到更好的低维向量表示。

为实现上述目的，本发明采用如下技术方案：

一种基于WCUR算法的知识库补全方法，包括以下步骤：

步骤S1:遍历整个知识库,获取实体和关系的上下文信息；

步骤S2:在考虑单独三元组的基础上结合上一阶段的实体和关系的上下文信息，分别计算三元组置信度的三个部分P(h|Neighbor(h))、P(t|Neighbor(t))和P(r|Path(r))；

步骤S3:通过梯度下降算法优化目标函数，反向更新每个实体和关系的向量，得到最优表示；

步骤S4:根据最优表示，得到新的知识，并添加至原始知识库，实现知识库补全。进一步的，所述步骤S2具体为：

步骤S21:根据TransE的平移不变性假设为每个三元组定义的一个基本的得分函数，以衡量h+r和t之间的不相似性，如式(1)所示：

其中γ是一个超参；

步骤S22:一个事实三元组(h,r,t)的置信度认为是头实体h、关系r和尾实体t的联合概率,P(h|Neighbor(h))代表给定头实体h的实体上下文Neighbor(h)的情况下头实体h出现的概率，一个事实三元组(h,r,t)的概率则可以定义为式(2)：

步骤S223:通过替换任一元素之后组成知识库中不存在的事实三元组作为负例三元组,其中，所有替换头实体h组成的集合表示为Neg(？,r,t)，所有替换的关系r组成的集合表示为Neg(h,？,t)，所有替换的尾实体t组成的集合表示为Neg(h,r,？)。Neighbor(h)为给定头实体h的实体上下文，P(h|Neighbor(h))表示在h的实体上下文出现的情况下h出现的概率,则P(h|Neighbor(h))的计算如式(3)所示：

其中，α_h(h,r_i,t_i)代表头实体h的实体上下文对(ri,ti)下(h,ri,ti)成立概率的归一化权重，如式(4)所示：

步骤S24:类似的，得到在尾实体t的实体上下文Neighbor(t)出现的情况下t出现的概率P(t|Neighbor(t))，α_t(h_i,r_i,t)代表尾实体t的实体上下文对(h_i,r_i)下(h_i,r_i,t)成立概率的归一化权重，计算方式为式(5)和(6)所示。

步骤S25:引入关系r的上下文信息Path(r)，计算方式如式(7)所示：

其中，Path(r)＝{r₁,…,r_i}表示关系r的关系上下文有i条不同的路径，r_i＝{r_i1,…,r_ik}为其中一条关系路径r_i的k跳路径集合；当关系路径的长度为1时，该关系向量即为关系路径的向量；当关系路径的长度大于1时，关系路径的向量则为该条路径上所有关系的向量和；α_r(h,r_i,t)的值为当前考虑关系和其关系上下文的归一化权重，其中λ是一个超参。

进一步的，所述关系路径r_i的向量计算如式(8)所示:

采用语义相似度来度量关系r和关系路径{r_il,…,r_ik}间的紧密程度，语义相似度的计算公式为：||r-(r_i1+...+r_ik)||，即二者语义越相似，向量距离越接近。

进一步的，所述α_r(h,r_i,t)计算如式(9)所示:

进一步的，所述步骤S3具体如下：

步骤S31:模型嵌入的最终目的是学习合适的向量表示三元组的置信度同时最小化预测的三元组置信度和真实三元组置信度之间的差值损失，优化目标公式为：

(h,r,t,ω)为不确定知识网络训练集中由三元组(h,r,t)及其置信度权值组成的事实四元组Q＝(h,r,t,ω)构成的集合，P(h,r,t)即为式(2)的计算结果，损失函数为最小化预测的三元组的置信度P(h,r,t)与真实的三元组置信度ω之间的差值；

步骤S32:将计算量庞大的softmax归一化项近似转化为对数函数计算，得到式(11)～(13)：

以给定头实体h的上下文下Neighbor(h)下h出现的条件概率为例，计算公式如下：

σ(x)是sigmod函数，计算方式为σ(x)＝1/(1+exp^-x)。n为负采样个数，表示我们对每个正例三元组进行采样n个负例,同样的得到logP(t|Neighbor(t))及logP(r|Path(r)),最后的优化目标函数转换为式(13)：

步骤S33:通过该优化目标函数进行负采样训练；

步骤S34:通过梯度下降算法，利用公式(11)～(13)进行梯度下降更新向量以达到最优化训练。

本发明与现有技术相比具有以下有益效果：

本发明能够结合概率嵌入模型以衡量每个三元组的置信度，为每个实体和关系学习到更好的低维向量表示，更高效的补全知识库。

附图说明

图1是本发明方法流程图；

图2是本发明一实施例中知识推理举例图；

图3是本发明一实施例中WCUR算法框架图；

图4是本发明一实施例中实体的上下文示例；

图5是本发明一实施例中关系的上下文示例。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种基于WCUR算法的知识库补全方法，包括以下步骤：

步骤S1:遍历整个知识库,获取实体和关系的上下文信息；

步骤S2:在考虑单独三元组的基础上结合上一阶段的实体和关系的上下文信息，分别计算三元组置信度的三个部分P(h|Neighbor(h))、P(t|Neighbor(t))和P(r|Path(r))；

步骤S3:通过梯度下降算法优化目标函数，反向更新每个实体和关系的向量，得到最优表示；

步骤S4:根据最优表示，得到新的知识，并添加至原始知识库，实现知识库补全。

在本实施例中，设T＝(h,r,t)表示事实三元组，其中h表示头实体(head entity)，r表示关系(relation)，t表示尾实体(tail entity)。多个事实三元组T构成一个RDF知识库KB

设Q＝(h,r,t,w)表示事实四元组，其中其中h表示头实体(head entity)，r表示关系(relation)，t表示尾实体(tail entity)，w表示事实三元组(h,r,t)对应的置信度(weight)。

设KB＝(T₁,T₂,…，T_n)表示以RDF事实三元组集合构成的有向连接图，其中T_i＝(h_i,r_i,t_i)∈KB，h_i表示事实三元组T_i中的头节点，t_i为尾节点，r_i为一条连接头尾节点的有向边。

设实体集E＝{e₁,e₂,...,e_n}＝E_head∪E_tail表示包括头实体和尾实体的全体实体的集合，它描述了知识图谱中的所有实体，并且对应RDF中的实例集合。

设关系集合R＝{r₁,r₂,...,r_n}表示实体与实体之间的所有关系集合。

设事实集合F＝{T₁,T₂,...,T_i}表示知识库KB中的事实，每个事实由一个事实三元组T＝(实体1，关系，实体2)组成。

设不确定知识网络UNK＝<E,R,W>，其中E表示Entity(实体)的集合，R表示Relation(关系)的集合，W表示对应事实三元组的Weight(置信度)集合，即W：E→R,本发明用W(r_i,j)＝w_i,j表示被某条边联结的两节点之间的置信度。

本实施例中，采用带权上下文嵌入来表示每个实体和关系，给定一个头实体h，我们把与h直接相连的关系r和实体t记做其邻居上下文。即：h为一个头实体，它的邻居上下文Neighbor(h)＝{(r,t)|(h,r,t)∈KB}，其中r为与头实体h直接相连的关系，t为给定h通过r连接的另一个实体；类似地，尾实体t的邻居上下文可以通过相同的方式获得。图4是给定一个实体，与其相关联的上下文实例。

给定一个关系r，我们把与r直接相连的h和t之间的多条关系路径Path(r)记做r的关系上下文。即存在路径

其中(r₁…,r_l)集合为r的关系上下文Path(r)。图5所示为关系上下文的示例。其中，r^-1表示一个关系的逆关系。根据上述定义，基于不确定性推理的带权上下文嵌入模型的第一阶段，我们遍历整个知识库KB，为每个实体和关系获取其上下文信息并存储，用于下节置信度计算。

在本实施例中，所述步骤S2具体为：

步骤S21:根据TransE的平移不变性假设为每个三元组定义的一个基本的得分函数，以衡量h+r和t之间的不相似性，如式(1)所示：

其中γ是一个超参；

步骤S22:一个事实三元组(h,r,t)的置信度认为是头实体h、关系r和尾实体t的联合概率,P(h|Neighbor(h))代表给定头实体h的实体上下文Neighbor(h)的情况下头实体h出现的概率，一个事实三元组(h,r,t)的概率则可以定义为式(2)：

步骤S23:通过替换任一元素之后组成知识库中不存在的事实三元组作为负例三元组,其中，所有替换头实体h组成的集合表示为Neg(？,r,t)，所有替换的关系r组成的集合表示为Neg(h,？,t)，所有替换的尾实体t组成的集合表示为Neg(h,r,？)。Neighbor(h)为给定头实体h的实体上下文，P(h|Neighbor(h))表示在h的实体上下文出现的情况下h出现的概率,则P(h|Neighbor(h))的计算如式(3)所示：

其中，α_h(h,r_i,t_i)代表头实体h的实体上下文对(r_i,t_i)下(h,r_i,t_i)成立概率的归一化权重，如式(4)所示：

步骤S24:类似的，得到在尾实体t的实体上下文Neighbor(t)出现的情况下t出现的概率P(t|Neighbor(t))，α_t(h_i,r_i,t)代表尾实体t的实体上下文对(h_i,r_i)下(h_i,r_i,t)成立概率的归一化权重，计算方式为式(5)和(6)所示。

步骤S25:引入关系r的上下文信息Path(r)，计算方式如式(7)所示：

其中，Path(r)＝{r₁,…,r_i}表示关系r的关系上下文有i条不同的路径，r_i＝{r_i1,…,r_ik}为其中一条关系路径r_i的k跳路径集合；当关系路径的长度为1时，该关系向量即为关系路径的向量；当关系路径的长度大于1时，关系路径的向量则为该条路径上所有关系的向量和；α_r(h,r_i,t)的值为当前考虑关系和其关系上下文的归一化权重，其中λ是一个超参。关系路径r_i的向量计算如式(8)所示:

采用语义相似度来度量关系r和关系路径{r_il,…,r_ik}间的紧密程度，语义相似度的计算公式为：||r-(r_i1+...+r_ik)||，即二者语义越相似，向量距离越接近。所述α_r(h,r_i,t)计算如式(9)所示:

在本实施例中，所述步骤S3具体如下：

步骤S31:模型嵌入的最终目的是学习合适的向量表示三元组的置信度同时最小化预测的三元组置信度和真实三元组置信度之间的差值损失，优化目标公式为：

(h,r,t,ω)为不确定知识网络训练集中由三元组(h,r,t)及其置信度权值组成的事实四元组Q＝(h,r,t,ω)构成的集合，P(h,r,t)即为式(2)的计算结果，损失函数为最小化预测的三元组的置信度P(h,r,t)与真实的三元组置信度ω之间的差值；

步骤S32:将计算量庞大的softmax归一化项近似转化为对数函数计算，得到式(11)～(13)：

以给定头实体h的上下文下Neighbor(h)下h出现的条件概率为例，计算公式如下：

σ(x)是sigmod函数，计算方式为σ(x)＝1/(1+exp^-x)；n为负采样个数，表示我们对每个正例三元组进行采样n个负例,同样的得到logP(t|Neighbor(t))及logP(r|Path(r)),最后的优化目标函数转换为式(13)：

步骤S33:通过该优化目标函数进行负采样训练；

步骤S34:通过梯度下降算法，利用公式(11)～(13)进行梯度下降更新向量以达到最优化训练。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (5)

1.一种基于WCUR算法的知识库补全方法，其特征在于，包括以下步骤：

步骤S1:遍历整个知识库,获取实体和关系的上下文信息；

步骤S2:在考虑单独三元组的基础上结合上一阶段的实体和关系的上下文信息，分别计算三元组置信度的三个部分P(h|Neighbor(h))、P(t|Neighbor(t))和P(r|Path(r))；

步骤S3:通过梯度下降算法优化目标函数，反向更新每个实体和关系的向量，得到最优表示；

步骤S4:根据最优表示，得到新的知识，并添加至原始知识库，实现知识库补全。

2.根据权利要求1所述的基于WCUR算法的知识库补全方法，其特征在于，所述步骤S2具体为：

步骤S21:根据TransE的平移不变性假设为每个三元组定义的一个基本的得分函数，以衡量h+r和t之间的不相似性，如式(1)所示：

其中γ是一个超参；

步骤S22:一个事实三元组(h,r,t)的置信度认为是头实体h、关系r和尾实体t的联合概率,P(h|Neighbor(h))代表给定头实体h的实体上下文Neighbor(h)的情况下头实体h出现的概率，一个事实三元组(h,r,t)的概率则可以定义为式(2)：

步骤S223:通过替换任一元素之后组成知识库中不存在的事实三元组作为负例三元组,其中，所有替换头实体h组成的集合表示为Neg(？,r,t)，所有替换的关系r组成的集合表示为Neg(h,？,t)，所有替换的尾实体t组成的集合表示为Neg(h,r,？)。Neighbor(h)为给定头实体h的实体上下文，P(h|Neighbor(h))表示在h的实体上下文出现的情况下h出现的概率,则P(h|Neighbor(h))的计算如式(3)所示：

其中，α_h(h,r_i,t_i)代表头实体h的实体上下文对(r_i,t_i)下(h,r_i,t_i)成立概率的归一化权重，如式(4)所示：

步骤S24:类似的，得到在尾实体t的实体上下文Neighbor(t)出现的情况下t出现的概率P(t|Neighbor(t))，α_t(h_i,r_i,t)代表尾实体t的实体上下文对(h_i,r_i)下(h_i,r_i,t)成立概率的归一化权重，计算方式为式(5)和(6)所示。

步骤S25:引入关系r的上下文信息Path(r)，计算方式如式(7)所示：

其中，Path(r)＝{r₁,…,r_i}表示关系r的关系上下文有i条不同的路径，r_i＝{r_i1,…,r_ik}为其中一条关系路径r_i的k跳路径集合；当关系路径的长度为1时，该关系向量即为关系路径的向量；当关系路径的长度大于1时，关系路径的向量则为该条路径上所有关系的向量和；α_r(h,r_i,t)的值为当前考虑关系和其关系上下文的归一化权重，其中λ是一个超参。

3.根据权利要求2所述的基于WCUR算法的知识库补全方法，其特征在于：所述关系路径r_i的向量计算如式(8)所示:

采用语义相似度来度量关系r和关系路径{r_il,…,r_ik}间的紧密程度，语义相似度的计算公式为：||r-(r_i1+...+r_ik)||，即二者语义越相似，向量距离越接近。

4.根据权利要求2所述的基于WCUR算法的知识库补全方法，其特征在于：所述α_r(h,r_i,t)计算如式(9)所示:

5.根据权利要求2所述的基于WCUR算法的知识库补全方法，其特征在于：所述步骤S3具体如下：

步骤S31:模型嵌入的最终目的是学习合适的向量表示三元组的置信度同时最小化预测的三元组置信度和真实三元组置信度之间的差值损失，优化目标公式为：

(h,r,t,ω)为不确定知识网络训练集中由三元组(h,r,t)及其置信度权值组成的事实四元组Q＝(h,r,t,ω)构成的集合，P(h,r,t)即为式(2)的计算结果，损失函数为最小化预测的三元组的置信度P(h,r,t)与真实的三元组置信度ω之间的差值；

步骤S32:将计算量庞大的softmax归一化项近似转化为对数函数计算，得到式(11)～(13)：

以给定头实体h的上下文下Neighbor(h)下h出现的条件概率为例，计算公式如下：

σ(x)是sigmod函数，计算方式为σ(x)＝1/(1+exp^-x)；n为负采样个数，表示对每个正例三元组进行采样n个负例,同样的得到logP(t|Neighbor(t))及logP(r|Path(r)),最后的优化目标函数转换为式(13)：

步骤S33:通过该优化目标函数进行负采样训练；

步骤S34:通过梯度下降算法，利用公式(11)～(13)进行梯度下降更新向量以达到最优化训练。

Images