CN113051408B - 一种基于信息增强的稀疏知识图谱推理方法 - Google Patents

Abstract

本发明提出了一种基于信息增强的稀疏知识图谱推理方法，该方法包括：对待补全的稀疏知识图谱进行加载，在确定头尾目标实体之后，利用实体链接算法和外接的知识库来引入额外的信息，以此来对稀疏知识图谱进行信息增强；利用实体链接算法和外接的知识库来引入额外的信息，利用图卷积神经网络来获取外部知识图谱中的信息特征，使用双注意力机制对待补全知识图谱中抽取到的特征信息和增强的特征性进行特征融合，在对融合之后的特征进行评分，将分值最高的候选结果作为最终结果进行输出。

Description

一种基于信息增强的稀疏知识图谱推理方法

技术领域

本发明涉及稀疏知识图谱推理补全领域，尤其涉及一种基于信息增强的稀疏知识图谱推理方法。

背景技术

现在公布和接触到的知识图谱大部分都是或者说是公司构建和完善的知识图谱，这样的知识图谱有的在各个领域拥有较全面的知识和信息，而有的是在部分领域拥有比较完善的信息和知识结构。本文所改进的算法也主要是在解决知识图谱从建立到完善阶段使用到的知识图谱推理补全技术。重点是在研究知识图谱中缺失关系部分的问题，在缺失实体部分的问题未提出有效的解决方案。

但在研究的过程中发现，知识图谱永远都是不完整的这个特点是不变的，但是知识图谱也是逐渐丰富的过程。如果知识图谱的完整度划分出等级，那么在知识图谱构建的初期，其完整度是最低的，相应的稀疏程度是最高的。

知识图谱在一定程度上可以说是存储某一领域知识的数据库，而数据库在大多时候只能保存某而信息，无法存储所有信息；这和知识图谱的不完整性是同一的。而知识图谱因为其创建的时间的长短和创建是采集到信息的完整性，使得知识图谱中还存在很多的稀疏知识图谱。稀疏知识图谱本身因为缺少很多的关系，所以在推理时只能收集到目标头实体和尾实体的信息，而不能到更多的与头尾实体相关联的语义信息，这使得在推理过程中语义信息的收集变得困难；另一方面，由于其稀疏性图谱中边相对较少，并且这样使得能够在目标实体头尾节点周获取到的结构信息也变少，对图谱结构信息的提取方面也造成困难。

因此，本发明设计了一种基于信息增强的稀疏知识图谱推理方法，在确定头尾目标实体之后，利用实体链接算法和外接的知识库来引入额外的信息。与已有的知识图谱三元组关系预测推理不同的是，在使用评分函数进行评分之前，使用双注意力机制对待补全知识图谱中抽取到的特征信息和增强的特征性进行特征融合，在进行特征融合之后进行评分。以此来解决稀疏知识图谱推理补全的中的关系预测问题。

发明内容

知识图谱推理关系预测主要包含五个步骤：知识图谱加载、目标头尾节点选定、图谱信息获取并计算候选关系、关系结果评分的确定推理结果。本发明主要针对稀疏图谱在信息获取过程自身信息量较少的问题，提出一种基于信息增强的稀疏知识图谱推理方法。该方法基于图神经网络和外接知识图谱来提供额外信息，以此来对稀疏知识图谱进行信息增强。利用实体链接算法和外接的知识库来引入额外的信息，利用图卷积神经网络来获取外部知识图谱中的信息特征，使用双注意力机制对待补全知识图谱中抽取到的特征信息和增强的特征性进行特征融合，在对融合之后的特征进行评分，关系预测结果。法步骤如下：

(1)首先对稀疏知识图谱进行加载，将知识图谱的语义信息采用向量嵌入的方式加载，结构信息转变为向量之间的关系；

(2)对知识图谱中的目标预测关系的头实体和尾实体进行选定，计算目标节点周围注意力参数信息；

(3)利用LSTM文本信息提取对目标节点头尾实体进行特征计算，获得特征结果，作为特征结果1；

(4)在确定目标头尾实体后，同时利用实体链接算法确定外接知识库的目标实体；

(5)使用图卷积神经网络在外接知识库中获取增强信息特征结果，作为特征结果2；

(6)使用双注意力机制对特征结果1和特征结果2进行融合，得到融合特征结果；

(7)将不同的融合特征与候选关系进行结合，计算得到每个候选关系的阶段性值。

(8)最后通过评分函数对阶段性值进行计算，得到最终的评分值，得到最终的推理预测关系结果。

附图和附表说明

图1为本发明的主要算法结构图。

图2为本发明的LSTM文本特征提取示意图。

图3为本发明的实体链接算法的流程。

图4为本发明的稀疏知识图谱信息增强部分算法流程图。

图5为本发明的注意力机制特征信息融合算法流程。

具体实施方式

下面将结合本发明实例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。

如图1所示，本发明主要针对稀疏知识图谱信息量较少的问题，提出了信息增强的方法。信息增强采用外部知识图谱提供增强信息，利用实体链接算法对外部知识图中的目标实体进行定位，利用图卷积神经网络对外部知识图谱的信息进行聚合，最终得到增强特征。利用增强特征来解决稀疏知识图谱关系推理准确度较低的问题。具体实体方式如下：

步骤一：利用LSTM文本信息提取对目标节点头尾实体进行特征计算

如图2所示，需要对实体文本进行特征提取。双向语义特征提取中在经过词向量的嵌入之后，可获得对应序列中的每个词的词向量x_i。在双向LSTM网络中，由正向和负向两个网络同时进行文本语义层和结构层信息，具体的双向计算方式如公式(1)和公式(2)所示。

公式(1)和公式(2)中的

分别是t时刻的正向隐藏状态和负向隐藏状态，

和

分别是t-1时刻的隐藏状态，最后将通过

和

获得一个词向量的最终状态h_t。而LSTM网络提取到的短文本的最终特征可由每个词向量的最终状态表示，如公式(3)所示。

H＝(h₁,h₂,…,h_n) (3)

公式(3)中H∈R^n×2u，n代表词向量的数目，u代表的是每个词向量嵌入的维度大小。

最终的输出特征作为特征结果1。

步骤二：实体链接算法确定外接知识库的目标实体

实体链接的主要任务是将输入的纯文本中的实体链向特定知识库中的相应实体或数据条目过程。而这个过程根据处理的不同阶段又主要分为实体识别和实体消歧两个子任务。实体链接模型一般经过纯文本输入、实体识别、转化为实体标签文本、实体消歧、实体文本链接到知识库等几个步骤。

如图3所示，本发明采用的实体链接算法的实体识别中主要包含两个步骤：实体识别——主要是区分输入文本中的使用到的实体；实体消歧——针对识别的实体和提及的实体预测相应的实体。而实体消歧又分为两个步骤；候选实体生成——找出涉及到的实体之外的可能的其他实体；实体排序——通过上下文信息计算候选实体的分数然后进行排序。

步骤三：图卷积神经网络在外接知识库中获取增强信息特征结果

如图4所示，具体的稀疏知识图谱信息增强算法需要使用到图神经网络对目标节点周围的信息进行特征获取。首先对于包含多重关系的知识图谱进行建模，用G＝(V,ε,R)表示整个知识图谱，其中实体向量v_i∈V，关系类型R包含多种关系r∈R，有两个不同实体和一种关系组成了三元组关系对(v_i,r,v_j)∈ε。

图神经网络是基于热力学传播转化而来的可微的信息传播模型。进行知识图谱链接推理的图神经网络是基础的图神经网络GCNs的一种变体，GCNs中的消息传播模型如公式(4)所示。

其中

是实体变量v_i在隐藏层中的第l层的值，并且是d维的空间中的变量，即

公式(4)表示隐层的下一层结果由这一层的隐藏值进行两两线性变换θ_m得来的，θ_m一般采用权重矩阵W来进行线性变换，如公式(5)。σ(·)而则是神经网络中使用的激活函数，如ReLU。

在GCN基础上，定义了在多重关系图中的关于实体变量v_i的信息传递模型，如公式(6)所示。

其中

是知识图谱中与第i个节点存在关系r∈R的节点的下标集合，这样是为了计算到每重与关系相关的其他知识图谱中的实体。

最终的

为特征结果2。

步骤五：双注意力机制特征融合

如图5所示，将特征结果1和特征结果2进行主要力机制的融合。根据注意力机制理论，在使用自注意力机制的情况下的计算方法如公式(7)所示。

公式(7)中的

就是根据嵌入向量设计的比例因子。

而在知识图谱中抽取到增强信息，采用公式(8)的累计注意力机制方法。

文本中的抽取信息的注意力计算方式如公式(9)所示

公式(8)和公式(9)中ν是超参数，W是权重矩阵。

使用双注意力机制模型后需要将两个注意力α_i和β_i合一，计算方式如公式(10)所示。

步骤六：通过评分函数得到最终的评分值

为链接预测是预测知识图谱G＝(V,ε,R)中本来不存在的边，在进行卷积计算后，通过与原有的实体对应的变化后的实体进行遍历匹配关系后的可能存在的关系(s,r,o)进行评分得到最终的推理关系结果。

稀疏知识图谱推理关系预测使用的评分函数如公式(11)所示。

最后对评分值进行排序，将评分值最高的候选关系作为稀疏知识图谱中未知关系预测的结果。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围。凡采用等同替换或等效替换，这些变化是显而易见，一切利用本发明构思的发明创造均在保护之列。

Claims (6)

1.一种基于信息增强的稀疏知识图谱推理方法，该方法目标是对稀疏知识图谱中未知关系进行推理预测，方法的步骤如下：

步骤1：首先对稀疏知识图谱进行加载，将知识图谱的语义信息采用向量嵌入的方式加载，结构信息转变为向量之间的关系；

步骤2：对知识图谱中的目标预测关系的头实体和尾实体进行选定，计算目标节点周围注意力参数信息；

步骤3：利用LSTM文本信息提取对目标节点头尾实体进行特征计算，获得特征结果，作为特征结果1；

步骤4：在确定目标头尾实体后，同时利用实体链接算法确定外接知识库的目标实体；

步骤5：使用图卷积神经网络在外接知识库中获取增强信息特征结果，作为特征结果2；

步骤6：使用双注意力机制对特征结果1和特征结果2进行融合，得到融合特征结果；

步骤7：将不同的融合特征与候选关系进行结合，计算得到每个候选关系的阶段性值；

步骤8：最后通过评分函数对阶段性值进行计算，得到最终的评分值，得到最终的推理预测关系结果。

2.根据权利要求1所述的一种基于信息增强的稀疏知识图谱推理方法，其特征在于所述步骤3中对知识图谱进行文本实体特征抽取的具体方法为：

需实体文本进行特征提取；双向语义特征提取中在经过词向量的嵌入之后，可获得对应序列中的每个词的词向量x_i；在双向LSTM网络中，由正向和负向两个网络同时进行文本语义层和结构层信息，具体的双向计算方式如公式(1)和公式(2)所示；

公式(1)和公式(2)中的

分别是t时刻的正向隐藏状态和负向隐藏状态，

和

分别是t-1时刻的正向隐藏状态和负向隐藏状态，最后将通过

和

获得一个词向量的最终状态h_t；而LSTM网络提取到的短文本的最终特征可由每个词向量的最终状态表示，如公式(3)所示；

H＝(h₁,h₂,…,h_n) (3)

公式(3)中H∈R^n×2u，n代表词向量的数目，u代表的是每个词向量嵌入的维度大小；

最终的输出特征作为特征结果1。

3.根据权利要求1所述的一种基于信息增强的稀疏知识图谱推理方法，其特征在于所述步骤4中对目标头尾实体链接到外部知识图谱实体链接方法具体为：

实体识别——主要是区分输入文本中的使用到的实体，实体消歧——针对识别的实体和提及的实体预测相应的实体；而实体消歧又分为两个步骤：候选实体生成——找出涉及到的实体之外的可能的其他实体，实体排序——通过上下文信息计算候选实体的分数然后进行排序。

4.根据权利要求1所述的一种基于信息增强的稀疏知识图谱推理方法，其特征在于所述步骤5中利用图神经网络获得增强特征的过程具体指：

稀疏知识图谱信息增强算法需要使用到图神经网络对目标节点周围的信息进行特征获取；首先对于包含多重关系的知识图谱进行建模，用G＝(V,ε,R)表示整个知识图谱，其中实体向量v_i∈V，关系类型R包含多种关系r∈R，有两个不同实体和一种关系组成了三元组关系对(v_i,r,v_j)∈ε；

图神经网络是基于热力学传播转化而来的可微的信息传播模型；进行知识图谱链接推理的图神经网络是基础的图神经网络GCNs的一种变体，GCNs中的消息传播模型如公式(4)所示；

其中

是实体变量v_i在隐藏层中的第l层的值，并且是d维的空间中的变量，即

公式(4)表示隐层的下一层结果由这一层的隐藏值进行两两线性变换θ_m得来的，θ_m采用权重矩阵W来进行线性变换，如公式(5)；σ(·)而则是神经网络中使用的激活函数，如ReLU；

在GCN基础上，定义了在多重关系图中的关于实体变量v_i的信息传递模型，如公式(6)所示；

其中

是知识图谱中与第i个节点存在关系r∈R的节点的下标集合，这样是为了计算到每重与关系相关的其他知识图谱中的实体；

最终的

为特征结果2。

5.根据权利要求1所述的一种基于信息增强的稀疏知识图谱推理方法，其特征在于所述步骤6使用注意力机制融合源知识图谱特征和增强特征的方法具体指：

将特征结果1和特征结果2进行主要力机制的融合；根据注意力机制理论，在使用自注意力机制的情况下的计算方法如公式(7)所示；

公式(7)中的

就是根据嵌入向量设计的比例因子；

而在知识图谱中抽取到增强信息，采用公式(8)的累计注意力机制方法；

文本中的抽取信息的注意力计算方式如公式(9)所示；

公式(8)和公式(9)中v₁、ν₂是超参数，W₁、W₂是权重矩阵；

使用双注意力机制模型后需要将两个注意力α_i和β_i合一，计算方式如公式(10)所示：

6.根据权利要求1所述的一种基于信息增强的稀疏知识图谱推理方法，其特征在于所述步骤8使用的评分函数具体指：

为链接预测是预测知识图谱G＝(V,ε,R)中本来不存在的边，在进行卷积计算后，通过与原有的实体对应的变化后的实体进行遍历匹配关系后的可能存在的关系(s,r,o)进行评分得到最终的推理关系结果；

稀疏知识图谱推理关系预测使用的评分函数如公式(11)所示：

Images