CN114036308A - 基于图注意力神经网络的知识图谱表示方法 - Google Patents

Abstract

本发明公开了一种基于图注意力神经网络的知识图谱表示方法，包括如下步骤：步骤11，根据知识图谱构建异质图；步骤12，初始化六种连接对应的行归一化后的邻接矩阵；步骤21，定义异质图神经网络第l层所有的头节点、关系节点、尾节点的表示；步骤22，判断知识图谱数据是否包含头实体和关系的特征信息，是则执行步骤23，否则执行步骤24；步骤23，赋值给异质图神经网络第0层所有头节点、关系节点、尾节点的表示；步骤24，随机初始化；步骤3，用深层异质图卷积网络进行L次前向传播，得到知识图谱的头实体、关系、尾实体的最终表示。本发明既有语义翻译的简便性的优点，又能利用卷积操作提取更丰富的语义信息和多阶知识，使表示更有效。

Description

基于图注意力神经网络的知识图谱表示方法

技术领域

本发明属于数据挖掘技术领域，涉及一种知识图谱表示方法，具体是一种基于图注意力神经网络的知识图谱表示方法。

背景技术

近年来，表示学习在图像处理、自然语言处理、图数据处理等领域取得了重要的进展。受此启发，研究者们提出知识表示学习，即，将知识嵌入到低维欧式空间。实体与关系被表示为低维空间中的稠密实值向量。这样可以高效地计算实体与关系之间复杂的语义关联，方便知识的构建、推理、融合等一系列任务。

翻译模型作为最典型的知识表示框架，有着很好的性能和扩展性，得到了学者们的广泛关注。通常，一条知识可以被表示为<h,r,t>三元组结构，表明实体h到实体t的关系为 r。翻译语义是指：在低维空间内，使实体与关系的嵌入向量满足‖h+r-t‖≈0。翻译模型通过保留翻译语义，只利用很少的参数就可以将知识嵌入到低维空间。然而，目前翻译模型对于多阶知识的考虑仍然不足。例如，实体“某国第*任A职务”(以下简称“A职务”)可以被表示为如下：

0阶知识：A职务(自身特征)；

1阶知识：某A+职业；

2阶知识：某A+(B职务-某B)或者(某C-关系)+职业；

3阶知识：(某C-关系)+(B职务-某B)。

在具体任务中，不同阶的知识不同程度地，从不同的侧面刻画一个实体或者关系。

最近，图卷积网络GCN(Graph Convolutional Network)作为一种新的在图数据上进行深度学习的方法，成为研究者们关注的一个新的热点。GCN在多项图数据的处理任务中取得了当前最好的性能。受此激发，有一些研究工作开始尝试利用GCN来对知识进行嵌入。KGCN将实体当作节点，将关系当作边来构造一个图来进行图卷积运算。然而该方法没有保留翻译语义。AVR-GCN将实体区分为头节点和尾节点两种角色，并将翻译语义结合到对实体的图卷积运算中。然而，该方法忽略了关系在翻译语义中的重要性，将关系表示为头实体与尾实体的联合，从而破坏了翻译语义。RDGCN和GCN(SE+AE)分别提出了各自的启发式机制将关系转化为实体之间的连边权值，再进行图卷积运算。这样容易引入人的偏见，也可能引入新的误差。此外，现有的利用GCN对知识进行嵌入的方法，均无法有效地将任意多阶知识表示出来，也无法根据具体任务学习不同阶知识的重要性。

发明内容

本发明的目的在于，提供一种基于图注意力神经网络的知识图谱表示方法，解决现有的利用GCN网络对知识进行嵌入的方法无法有效考虑任意多阶知识并根据具体任务学习其重要性的技术问题。

为了实现上述目的，本发明采用如下技术方案予以解决：

一种基于图注意力神经网络的知识图谱表示方法，其特征在于，包括如下步骤：

步骤1，根据知识图谱数据，构建异质图，初始化邻接矩阵，具体包括如下子步骤：

步骤11，根据知识图谱的每一条<h,r,t>三元组构建异质图；

步骤12，根据异质图的六种连接，初始化六种连接对应的行归一化后的邻接矩阵,分别是

其中，上标H-T代表该矩阵是异质图中头节点与尾节点之间的邻接矩阵；上标H-R代表该矩阵是异质图中头节点与关系节点之间的邻接矩阵，其他矩阵同理；

步骤2，初始化异质图中节点的嵌入表示，具体包括如下子步骤：

步骤21，定义H[l]、R[l]、T[l]分别作为异质图神经网络第l层所有的头节点、关系节点、尾节点的表示；

步骤22，判断步骤1中知识图谱数据是否包含头实体和关系的特征信息，若是则执行步骤23，否则执行步骤24；

步骤23，将知识图谱中的每个实体和关系的原始特征数据分别赋值给异质图神经网络第0层所有的头节点、关系节点、尾节点的表示H[0]、R[0]、T[0]；

步骤24，随机初始化H[0]、R[0]、T[0]；

步骤3，用深层异质图卷积网络进行L次前向传播，分别得到知识图谱的头实体、关系、尾实体的最终表示H[L]、R[L]、T[L]，其中，L是前向传播的总次数。

进一步的，所述步骤11中，所述的根据知识图谱的每一条<h,r,t>三元组构建异质图是指：

将h、r、t分别表示为异质图中头节点、关系节点和尾节点；将三元组<h,r,t>在异质图中表示为两条路径，分别是由h指向t的一条路径和由r指向t的一条路径。因此，在异质图中，由所有不同的h,r,t形成六种不同的连接，分别是：h->t、 h->r、r->h、r->t、t->h、t->r，其中，h->t表示由h指向t的一条路径,其余连接同理；

进一步的，所述步骤24中，利用高斯分布方法或均匀分布方法进行随机初始化 H[0]、R[0]、T[0]。

进一步的，所述步骤3包括如下子步骤：

步骤31，根据第l-1层表示H[l-1]、R[l-1]、T[l-1]，以及步骤12得到的六种连接对应的行归一化后的邻接矩阵，计算第l层的暂时表示H′[l]、R′[l]、T′[l]：

步骤32，采用如下公式对上一层特征进行线性投影，得到H^Self[l-1]、R^Self[l-1]、T^Self[l-1]：

H^Self[l-1]＝H[l-1]·W^Self-H

R^Self[l-1]＝R[l-1]·W^Self-R

T^Self[l-1]＝T[l-1]·W^Self-T

式中，W^Self-T、W^Self-R、W^Self-T为投影矩阵；

步骤33，利用下式所示的注意力机制将步骤22和步骤23的输出进行融合：

H[l]＝Attn(H′[l],H′[l-1])

R[l]＝Attn(R′[l],R′[l-1])

T[l]＝Attn(T′[l],T′[l-1])

式中，Attn()为注意力机制；

步骤34，经过L次前向传播后，分别得到知识图谱的头实体、关系、尾实体的最终表示H[L]、R[L]、T[L]。

进一步的，所述步骤31中，采用如下公式计算第l层的暂时表示H′[l]、R′[l]、T′[l]：

式中，l是游标，W^T→H[l]、W^R→T[l]、W^T→R[l]、W^H→T[l]、W^H→R[l]、W^R→T[l]分别为第l层的投影矩阵；其中，W^T→H[l]是将T[l-1]投影到H′[l]所在的空间的投影矩阵，其他投影矩阵的含义同理。

进一步的，所述步骤33中，所述注意力机制采用GAT网络。

相较于现有技术，本发明的技术效果如下：

1、有效利用翻译语义的简便性以及GCN对图数据进行表示的有效性。

本发明采用语义翻译的方式，利用异质图表示知识图谱，学习实体和关系的表示。本方法既有语义翻译的简便性的优点，又能利用卷积操作提取更丰富的语义信息和多阶知识，使表示更有效。

2、有效考虑任意多阶知识并根据具体任务学习其重要性。

本发明学习到的表示融合了多阶知识，且学习到了不同阶知识的重要性。以往工作均无法有效考虑任意多阶的知识并根据具体任务学习其重要性。而本发明学习的表示不仅直接包含了多阶知识，还能融合重要程度不同的多阶知识。得到的表示更加贴近现实、包含更丰富的语义信息，还能更准确地表示出实体和关系的特征。

附图说明

图1是本发明实现的流程图。

下面结合附图和具体实施方式对本发明进行详细说明。

具体实施方式

本发明的思路是：将输入的知识图谱的数据(由若干形如<h,r,t>的三元组组成)，中的h、r、t分别视为异质图中三种不同类型的节点，据此构建异质图。构建异质图后，初始化异质图的邻接矩阵。然后初始化每个节点的表示，进行L步前向卷积聚合传播。得到最终(第L步)的表示可供下游多种任务使用，如分类任务、实体对齐任务。

本发明中涉及到的技术术语：

知识图谱：表示实体间关系的数据集。知识图谱数据形式如下：由多个形如<h,r,t> 的三元组组成，每个<h,r,t>三元组代表头实体h与尾实体t之间存在关系r。

下文中，用粗体大写字母代表矩阵；用普通字母表示标量。

本发明提出的基于图注意力神经网络的知识图谱表示方法，包括如下步骤：

步骤1，根据知识图谱数据，构建异质图，初始化邻接矩阵。具体包括如下子步骤：

步骤11，根据知识图谱的每一条<h,r,t>三元组构建异质图；具体地，将h、r、t分别表示为异质图中头节点、关系节点和尾节点；将三元组<h,r,t>在异质图中表示为两条路径，分别是由h指向t的一条路径和由r指向t的一条路径。因此，在异质图中，由所有不同的h,r,t形成六种不同的连接，分别是：h->t(即由h指向t的一条路径,下同)、 h->r、r->h、r->t、t->h、t->r；

步骤12，根据异质图的六种连接，初始化六种连接对应的行归一化后的邻接矩阵,分别是

其中，上标H-T代表该矩阵是异质图中头节点与尾节点之间的邻接矩阵；上标H-R代表该矩阵是异质图中头节点与关系节点之间的邻接矩阵，其他矩阵同理。

步骤2，初始化异质图中节点的嵌入表示。具体包括如下子步骤：

步骤21，定义H[l]、R[l]、T[l]分别作为异质图神经网络第l层所有的头节点、关系节点、尾节点的表示；

步骤22，判断步骤1中知识图谱数据是否包含头实体和关系的特征信息，若是则执行步骤23，否则执行步骤24；

步骤23，将知识图谱中的每个实体和关系的原始特征数据分别赋值给异质图神经网络第0层所有的头节点、关系节点、尾节点的表示H[0]、R[0]、T[0]；

步骤24，利用高斯分布或均匀分布等方法，随机初始化H[0]、R[0]、T[0]。

步骤3，用深层异质图卷积网络进行L次前向传播，分别得到知识图谱的头实体、关系、尾实体的最终表示H[L]、R[L]、T[L]，其中，L是前向传播的总次数；具体包括如下子步骤：

步骤31，根据第l-1层表示H[l-1]、R[l-1]、T[l-1]，以及步骤12得到的六种连接对应的行归一化后的邻接矩阵，用下式计算当前层(第l层)的暂时表示 H′[l]、R′[l]、T′[l]：

式中，l是游标，W^T→H[l]、W^R→T[l]、W^T→R[l]、W^H→T[l]、W^H→R[l]、W^R→T[l]分别为第l层的投影矩阵；其中，W^T→H[l]是将T[l-1]投影到H′[l]所在的空间的投影矩阵，其他投影矩阵的定义同理；其中的所有投影矩阵都是异质图卷积网络的可训练参数。

步骤32，利用下式，对上一层特征进行线性投影，得到H^Self[l-1]、R^Self[l-1]、 T^Self[l-1]：

H^Self[l-1]＝H[l-1]·W^Self-H

R^Self[l-1]＝R[l-1]·W^Self-R

T^Self[l-1]＝T[l-1]·W^Self-T

式中，W^Self-T、W^Self-R、W^Self-T为投影矩阵，为异质图卷积网络的可训练参数。

步骤33，利用下式所示的注意力机制将步骤22和步骤23的输出进行融合：

H[l]＝Attn(H′[l],H′[l-1])

R[l]＝Attn(R′[l],R′[l-1])

T[l]＝Attn(T′[l],T′[l-1])

式中，Attn()为注意力机制，其被具体实现为一个小的神经网络，如GAT。

步骤34，经过L次前向传播后，分别得到知识图谱的头实体、关系、尾实体的最终表示H[L]、R[L]、T[L]。

为了说明本发明的可行性和有效性，本发明进行了如下说明，并进行了试验验证。

1、理论可行性分析：

由上可知，假设神经网络模型有L层，利用数学归纳法易证，本发明中所提出深层异质图卷积方法能够捕捉L阶以内的所有知识，并学习各阶知识的重要性。例如，当模型有3层时，最后一层的表示可以捕捉之前所举例子中的0-3阶知识，并学习各阶知识的重要性。

2、实验验证：

根据步骤34的输出结果，将最后一层(第L层)头实体和尾实体的表示拼接起来作为实体的最终表示：

E＝Cat(H[L],T[L])·W_cat

其中W_cat为投影矩阵，Cat()为拼接操作，H[L]、T[L]分别为步骤33中得出的第L层的表示。

然后定义距离函数d(x,y)：

其中E_x为实体x的表示，E_y为实体y的表示。d(x,y)表示实体x和实体y对应的表示之间的距离。

表示1范数。其中x和y分别为实体对应的唯一编号。

然后设定损失函数：

其中，

表示标签数据，即已经预对齐的实体对。对齐是指已知x和y对应的实体是同一个实体。

为随机采样的负样本，负样本产生过程：随机采样对应不同实体的表示(如根据实体h1的编号x₁，随机选取另一个不同于h1的实体h2的编号y₁。则<x₁,y₁>构成一个负样例对)。γ₁和γ₂为大于零的距离参数。

通过优化损失函数，可以使得对齐的实体对的距离小于γ₁，而使非对齐的实体对的距离大于γ₂。对于某个实体，通过计算该实体与其他实体的表示向量之间的距离，选出距离最小的实体作为候选对齐实体。

对于上述所研究的实体对齐问题，本发明将实验数据及结果展示如下：

利用深度学习张量库PyTorch实现了一个3层的模型实例，并利用微软开源的自动超参优化框架NNI进行了超参搜索。超参被设定如下：学习率为0.005，l2正则化稀疏为0.01。对于各种类型的节点，隐层维度均被设定为128。每层的注意力网络实施概率为0.5的dropout，并在第2层的输出上实施概率为0.5的dropout。负采样的个数设定为1。对于γ₁和γ₂，我们先进行第一次前向运算，计算实体对两两之间的平均距离d，取γ₁＝d-m argin，γ₂＝d+m arg in。经过调试，margin取1.0。最终在开放数据集 DBP15K上进行测试，得到的量化结果如表1所示：

表1公开数据集DBP15K对齐任务测试结果

	GCN(SE+AE)	JE	AVR-GCN	MTransE	JAPE	RDGCN	Ours
								Hits@1	37.30	15.39	36.07	24.42	32.40	88.65	90.12
Hits@10	74.48	38.83	75.13	55.54	66.67	95.72	96.90

在基于真实数据构建的知识图谱上，本发明的网络模型取得了66.70％的Hits@1和 75.00％的Hits@10。

注：评估指标Hits@K：对测试集中的每一个对(x,y)，计算左边实体x与整个知识图谱中所有实体之间的距离，将结果按照升序排列。若右边实体y是否被正确地将排名前top_K个位置，则计数加1。最后计算总计数占测试集样本数的百分比，即为从左到右的Hits@K。同样地，计算从右到左的Hits@K，并平均两个方向的指标，即可得到最终指标。

Claims (6)

1.一种基于图注意力神经网络的知识图谱表示方法，其特征在于，包括如下步骤：

步骤1，根据知识图谱数据，构建异质图，初始化邻接矩阵，具体包括如下子步骤：

步骤11，根据知识图谱的每一条<h，r，t>三元组构建异质图；

步骤12，根据异质图的六种连接，初始化六种连接对应的行归一化后的邻接矩阵，分别是

其中，上标H-T代表该矩阵是异质图中头节点与尾节点之间的邻接矩阵；上标H-R代表该矩阵是异质图中头节点与关系节点之间的邻接矩阵，其他矩阵同理；

步骤2，初始化异质图中节点的嵌入表示，具体包括如下子步骤：

步骤21，定义H[l]、R[l]、T[l]分别作为异质图神经网络第l层所有的头节点、关系节点、尾节点的表示；

步骤22，判断步骤1中知识图谱数据是否包含头实体和关系的特征信息，若是则执行步骤23，否则执行步骤24；

步骤23，将知识图谱中的每个实体和关系的原始特征数据分别赋值给异质图神经网络第0层所有的头节点、关系节点、尾节点的表示H[0]、R[0]、T[0]；

步骤24，随机初始化H[0]、R[0]、T[0]；

步骤3，用深层异质图卷积网络进行L次前向传播，分别得到知识图谱的头实体、关系、尾实体的最终表示H[L]、R[L]、T[L]，其中，L是前向传播的总次数。

2.如权利要求1所述的基于图注意力神经网络的知识图谱表示方法，其特征在于，所述步骤11中，所述的根据知识图谱的每一条＜h，r，t＞三元组构建异质图是指：

将h、r、t分别表示为异质图中头节点、关系节点和尾节点；将三元组<h，r，t>在异质图中表示为两条路径，分别是由h指向t的一条路径和由r指向t的一条路径。因此，在异质图中，由所有不同的h，r，t形成六种不同的连接，分别是：h-＞t、h-＞r、r-＞h、r-＞t、t-＞h、t-＞r，其中，h-＞t表示由h指向t的一条路径，其余连接同理。

3.如权利要求1所述的基于图注意力神经网络的知识图谱表示方法，其特征在于，所述步骤24中，利用高斯分布方法或均匀分布方法进行随机初始化H[0]、R[0]、T[0]。

4.如权利要求1所述的基于图注意力神经网络的知识图谱表示方法，其特征在于，所述步骤3包括如下子步骤：

步骤31，根据第l-1层表示H[l-1]、R[l-1]、T[l-1]，以及步骤12得到的六种连接对应的行归一化后的邻接矩阵，计算第l层的暂时表示H′[l]、R′[l]、T′[l]：

步骤32，采用如下公式对上一层特征进行线性投影，得到H^Self[l-1]、R^Self[l-1]、T^Self[l-1]：

H^Self[l-1]＝H[l-1]·W^Self-H

R^Self[l-1]＝R[l-1]·W^Self-R

T^Self[l-1]＝T[l-1]·W^Self-T

式中，W^Self-T、W^Self-R、W^Self-T为投影矩阵；

步骤33，利用下式所示的注意力机制将步骤22和步骤23的输出进行融合：

H[l]＝Attn(H′[l]，H′[l-1])

R[l]＝Attn(R′[l]，R′[l-1])

T[l]＝Attn(T′[l]，T′[l-1])

式中，Attn()为注意力机制；

步骤34，经过L次前向传播后，分别得到知识图谱的头实体、关系、尾实体的最终表示H[L]、R[L]、T[L]。

5.如权利要求4所述的基于图注意力神经网络的知识图谱表示方法，其特征在于，所述步骤31中，采用如下公式计算第l层的暂时表示H′[l]、R′[l]、T′[l]：

式中，l是游标，W^T→H[l]、W^R→T[l]、W^T→R[l]、W^H→T[l]、W^H→R[l]、W^R→T[l]分别为第l层的投影矩阵；其中，W^T→H[l]是将T[l-1]投影到H′[l]所在的空间的投影矩阵，其他投影矩阵的含义同理。

6.如权利要求4所述的基于图注意力神经网络的知识图谱表示方法，其特征在于，所述步骤33中，所述注意力机制采用GAT网络。

Images