CN110866190A - 训练用于表征知识图谱的图神经网络模型的方法及装置 - Google Patents

Abstract

本说明书实施例提供一种训练用于表征知识图谱的图神经网络模型的方法和装置，其中方法包括，从知识图谱中获取三元组，其中包括第一节点，第二节点，以及从第一节点指向第二节点的第一连接边；然后，在边嵌入层，根据第一连接边对应的关系类型以及边属性特征，确定对应的第一边向量；在节点嵌入层，分别将第一节点和第二节点作为目标节点，根据目标节点的节点属性特征，以及目标节点的邻居节点集，进行多级向量嵌入，从而分别得到与第一节点和第二节点对应的第一高阶向量和第二高阶向量。接着，根据第一高阶向量、第二高阶向量和第一边向量，确定第一节点通过第一连接边连接到第二节点的概率，以最大化概率为目标，更新边嵌入层和节点嵌入层。

Description

训练用于表征知识图谱的图神经网络模型的方法及装置

技术领域

本说明书一个或多个实施例涉及机器学习领域，尤其涉及训练用于表征知识图谱的图神经网络模型的方法及装置。

背景技术

随着互联网的发展，网络数据内容呈现爆炸式增长的趋势。由于互联网内容的大规模、异质多元、组织结构松散的特点，给人们有效获取信息和知识提出了挑战。知识图谱(Knowledge Graph)以其强大的语义处理能力和开放组织能力，为知识化组织和人工智能应用奠定了基础。

知识图谱主要用来描述真实世界中存在的各种实体和概念，以及他们之间的关系，具有很强的数据描述能力。其初衷是为了提高搜索引擎的能力，改善用户的搜索质量以及搜索体验。随着人工智能的技术发展和应用，知识图谱作为关键技术之一，已被广泛应用于智能搜索、智能问答、个性化推荐、内容分发等领域。特别是，可以将知识图谱与机器学习模型相结合，增强模型的预测能力。例如，在客服机器人问答系统中，可以通过引入与产品服务相关的知识图谱，帮助意图识别模型对用户使用自然语言提出的问题进行语义分析和意图识别，之后在知识图谱中查询答案推送给用户。

知识图谱的使用离不开知识图谱的表征，也就是将知识图谱中各个实体以及实体之间的关系用向量的形式进行表征。然而，常规技术中对知识图谱的学习和表征不够深入和全面，使得其表达能力有限。

因此，希望能有改进的方案，更有效对知识图谱进行表征，增强其表达能力。

发明内容

本说明书一个或多个实施例描述了一种训练用于表征知识图谱的图神经网络模型的方法及装置，其中采用图神经网络模型，基于知识图谱中的特征信息和结构信息，对知识图谱进行表征，从而提高表征向量的表达能力。

根据第一方面，提供了一种训练用于表征知识图谱的图神经网络模型的方法，所述知识图谱包括对应于多个实体的多个节点，以及代表实体之间关系的有向连接边，所述图神经网络模型包括边嵌入层和节点嵌入层，所述方法包括：

从所述知识图谱中获取三元组，所述三元组包括第一节点，第二节点，以及从第一节点指向第二节点的第一连接边；

在所述边嵌入层，根据所述第一连接边对应的关系类型，以及该第一连接边的边属性特征，确定该第一连接边对应的第一边向量；

在所述节点嵌入层，分别将所述第一节点和第二节点作为目标节点，根据目标节点的节点属性特征，以及目标节点的邻居节点集，进行多级向量嵌入，从而分别得到第一节点对应的第一高阶向量，和第二节点对应的第二高阶向量；

根据所述第一高阶向量、所述第二高阶向量和第一边向量，确定所述第一节点通过所述第一连接边连接到所述第二节点的概率；

以最大化所述概率为目标，更新所述边嵌入层和所述节点嵌入层。

在一个实施例中，通过以下方式确定该第一连接边对应的第一边向量：

根据所述第一连接边对应的关系类型，确定关系编码向量；

根据所述第一连接边的边属性特征，确定特征编码向量；

将所述关系编码向量和所述特征编码向量进行融合，得到所述第一边向量。

进一步的，在各个例子中，将所述关系编码向量和所述特征编码向量进行融合可以包括以下中的至少一项：

将所述关系编码向量和所述特征编码向量进行向量点乘；

将所述关系编码向量和所述特征编码向量相加；

将所述关系编码向量和所述特征编码向量共同输入所述边嵌入层中包含的多层感知机，进行多层处理。

在一个实施例中，在节点嵌入层中根据目标节点的节点属性特征，以及目标节点的邻居节点集，进行多级向量嵌入具体包括：

根据目标节点的节点属性特征，确定目标节点的初级嵌入向量；

基于所述初级嵌入向量，以及目标节点的邻居节点集，执行多级向量聚合，其中，每级向量聚合包括，对所述邻居节点集中各个邻居节点的上一级嵌入向量进行邻居聚合，根据该邻居聚合结果，以及所述目标节点的上一级嵌入向量，确定所述目标节点的本级嵌入向量。

进一步的，在一个实施例中，对邻居节点集中各个邻居节点的上一级嵌入向量进行邻居聚合可以包括：对所述各个邻居节点的上一级嵌入向量进行池化操作；或者，对所述各个邻居节点的上一级嵌入向量进行求和。

在另一实施例中，对邻居节点集中各个邻居节点的上一级嵌入向量进行聚合操作可以包括，对所述各个邻居节点的上一级嵌入向量加权求和，其中，各个邻居节点对应的权重依赖于从该邻居节点到所述目标节点的连接边。

更进一步的，在所述邻居节点集中包括第三节点，该第三节点通过第二连接边指向所述目标节点的情况下，该第三节点对应的权重可以通过以下方式确定：

将所述第三节点的上一级嵌入向量，和第二连接边对应的第二边向量进行第一综合操作，得到第一综合向量，所述第一综合操作包括向量叠加；

将所述第一综合向量和所述目标节点的上一级嵌入向量进行第二综合操作，得到第二综合向量；

基于所述第二综合向量，得到该第三节点对应的权重。

在一个具体例子中，第一综合操作可以包括，利用与所述第二连接边的关系类型对应的第二关系矩阵处理所述第三节点的上一级嵌入向量，将处理后的向量与所述第二边向量相叠加；所述第二综合操作可以包括，利用所述第二关系矩阵处理所述目标节点的上一级嵌入向量，将处理后的向量与所述第一综合向量进行进一步综合。

根据一种实施方式，可以通过以下方式确定所述第一节点通过所述第一连接边连接到所述第二节点的概率：

确定所述第一高阶向量与所述第一边向量相叠加的和向量；

根据所述和向量与所述第二高阶向量之间的距离，确定所述概率，其中所述概率与所述距离负相关。

根据另一种实施方式，确定所述第一节点通过所述第一连接边连接到所述第二节点的概率可以包括：

利用与所述第一连接边的关系类型对应的第一关系矩阵分别处理所述第一高阶向量和第二高阶向量，得到第一处理向量和第二处理向量；

确定所述第一处理向量与所述第一边向量相叠加的和向量；

根据所述和向量与所述第二处理向量之间的距离，确定所述概率，其中所述概率与所述距离负相关。

在一个实施例中，目标节点的邻居节点集包括，通过连接边指向所述目标节点的节点。

根据第二方面，提供一种训练用于表征知识图谱的图神经网络模型的装置，所述知识图谱包括对应于多个实体的多个节点，以及代表实体之间关系的有向连接边，所述图神经网络模型包括边嵌入层和节点嵌入层，所述装置包括：

三元组获取单元，配置为从所述知识图谱中获取三元组，所述三元组包括第一节点，第二节点，以及从第一节点指向第二节点的第一连接边；

边向量确定单元，配置为通过所述边嵌入层，根据所述第一连接边对应的关系类型，以及该第一连接边的边属性特征，确定该第一连接边对应的第一边向量；

节点向量确定单元，配置为通过所述节点嵌入层，分别将所述第一节点和第二节点作为目标节点，根据目标节点的节点属性特征，以及目标节点的邻居节点集，进行多级向量嵌入，从而分别得到第一节点对应的第一高阶向量，和第二节点对应的第二高阶向量；

概率确定单元，配置为根据所述第一高阶向量、所述第二高阶向量和第一边向量，确定所述第一节点通过所述第一连接边连接到所述第二节点的概率；

更新单元，配置为以最大化所述概率为目标，更新所述边嵌入层和所述节点嵌入层。

根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。

根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。

根据本说明书实施例提供的方法和装置，在对知识图谱进行表征学习时，对于知识图谱中的连接边，不仅考虑其代表的关系类型，还融合了连接边上的边特征；对于知识图谱中的节点，则利用图神经网络的特点，综合考虑了节点自身的节点特征以及节点的邻居连接信息，进行多级嵌入，得到表征节点的高阶向量。如此，深入挖掘了知识图谱中更加全面的特征信息和结构信息，增强了向量的表达能力。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出根据一个实施例的表征知识图谱的示意图；

图2示出根据一个实施例的训练用于表征知识图谱的图神经网络模型的方法流程图；

图3示出根据一个实施例的图神经网络模型的结构示意图；

图4示出根据一个实施例的图神经网络模型的训练装置的示意性框图。

具体实施方式

下面结合附图，对本说明书提供的方案进行描述。

图1示出根据一个实施例的表征知识图谱的示意图。如图所示，知识图谱中包含多个实体(或概念)，例如，张三，李四，A公司，B公司，杭州，每个实体对应图中一个节点。具有一定关联关系的节点之间通过有向边连接，该有向边示出所连接的两个节点之间的关系。知识图谱中实体之间的关系可以有多种类型，例如在图1中，从李四指向A公司的有向边代表关系类型“法人”，从张三指向A公司，以及从A公司指向B公司的有向边代表关系类型“股东”，从李四指向杭州，以及从A公司指向杭州的有向边代表关系类型“所在地”。

可以理解，作为图结构的一种，知识图谱可以采用常规图结构记录方式，例如邻接矩阵之类，记录其拓扑结构。

然而，基于知识图谱本身的特点，在本领域中常常采用(头节点h，关系r，尾节点t)三元组的方式，来记录知识图谱。可以理解，一个三元组可以记录知识图谱中一条连接边所对应的实体关系，其中头节点h(head)为该连接边出发的节点，尾节点t(tail)为该连接边指向的节点，关系r(relation)即为该连接边代表的关系类型。例如，图1中虚线圈出区域的实体关系可以表示为三元组(张三，股东，A公司)。

为了表征知识图谱，可以将上述三元组示出的实体关系作为表征学习的目标。也就是说，在表征知识图谱时，将图谱中各个实体以及各种关系均用向量的形式表达，并且尽量使得向量表示可以符合三元组示出的实体关系。向量表示符合三元组实体关系可以体现为：头节点的向量

加上关系向量

等于尾节点的向量

在一种方案中，基于知识图谱中节点id以及关系id(或关系类型id)，将各个实体和关系映射为向量，并将上式(1)作为优化目标。然而，仅仅基于id信息进行向量映射，表征内容不够全面。

在本说明书的实施例中，在知识图谱表征中进一步考虑图谱的结构信息(邻居信息)，以及各个节点和连接边的特征信息。具体地，借鉴图神经网络的思想，训练图神经网络模型，利用该模型融合知识图谱中的结构信息和特征信息，对各个节点和连接边进行向量表征，来增强节点和连接边的表达能力。

下面描述训练上述图神经网络模型的具体过程。

图2示出根据一个实施例的训练用于表征知识图谱的图神经网络模型的方法流程图。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。如图2所示，训练过程至少包括以下步骤：步骤21，从知识图谱中获取三元组，所述三元组包括第一节点，第二节点，以及从第一节点指向第二节点的第一连接边；步骤22，在图神经网络模型的边嵌入层，根据第一连接边对应的关系类型，以及该第一连接边的边属性特征，确定该第一连接边对应的第一边向量；在步骤23，在图神经网络模型的节点嵌入层，分别将所述第一节点和第二节点作为目标节点，根据目标节点的节点属性特征，以及目标节点的邻居节点集，进行多级向量嵌入，从而分别得到第一节点对应的第一高阶向量，和第二节点对应的第二高阶向量；在步骤24，根据第一高阶向量、第二高阶向量和第一边向量，确定所述第一节点和第二节点通过所述第一连接边相连的概率；步骤25，以最大化所述概率为目标，更新所述边嵌入层和所述节点嵌入层。下面描述以上各个步骤的具体执行方式。

首先，在步骤21，从知识图谱中获取若干三元组。下面以其中任意的一个三元组为例描述后续处理过程。假定该三元组中包括第一节点，第二节点，以及从第一节点指向第二节点的第一连接边。换而言之，第一节点为该三元组中的头节点，第二节点为尾节点，第一连接边指示第一节点所代表的实体与第二节点所代表的实体之间的关系。

结合图1的知识图谱，在一个具体例子中，在步骤21，获取三元组(张三，股东，A公司)，其中张三为第一节点，A公司为第二节点，其间的代表“股东”关系的连接边为第一连接边。

然后，利用图神经网络模型处理该三元组。

图3示出根据一个实施例的图神经网络模型的结构示意图。如图3所示，图神经网络模型至少包括边嵌入层和节点嵌入层，其中边嵌入层可以根据知识图谱中连接边所代表的关系类型，以及该条边上的属性特征，确定出该条连接边的边嵌入向量；节点嵌入层则根据知识图谱中节点自身的属性特征，以及节点的邻居信息，确定出节点的高阶嵌入向量。

因此，当将步骤21获取的三元组输入图3所示的图神经网络模型后，在步骤22，在边嵌入层中，根据第一连接边对应的关系类型，以及该第一连接边的边属性特征，确定该第一连接边对应的第一边向量。

具体的，在步骤22，可以根据第一连接边对应的关系类型，确定对应的关系编码向量V_R。例如，在前述三元组例子(张三，股东，A公司)中，第一连接边对应的关系类型为“股东”，则可以将“股东”对应的编码向量作为关系编码向量V_R。

更具体的，在一个例子中，可以采用one-hot编码方式，将每种关系类型映射为一个向量。当存在N种可能的关系类型时，则得到N维向量。于是，可以将第一连接边所代表的关系类型所对应的向量作为关系编码向量V_R。在另一具体例子中，可以预先为每种关系类型赋予类型id。如此，可以确定出第一连接边所代表的关系类型的类型id，并基于该类型id进行预定转换，得到对应的关系编码向量V_R。

另一方面，还根据第一连接边的边属性特征，确定特征编码向量V_F。其中边属性特征可以是与连接边所代表的关系有关的、用于进一步刻画其特点的一些指标。例如，延续上例，第一连接边代表“股东”关系，则相应的边属性特征可以包括，持股时间，持股金额，持股比例，等等。对于代表其他关系的连接边，可以对应具有其他边属性特征。例如，对于代表“所在地”关系的连接边，边属性特征可以包括，停留时间，是否曾迁出，等等。通过对各项边属性特征进行编码，得到可以上述特征编码向量V_F。

在以上确定出关系编码向量V_R和特征编码向量V_F的基础上，可以对其进行融合操作，得到第一连接边对应的第一边向量。上述融合操作可以是，将关系编码向量V_R和特征编码向量V_F进行拼接，或者向量点乘，或者相加等操作。在一个具体例子中，边嵌入层中可以包括多层感知机(MLP)，用于进行多层非线性处理。在这样的情况下，可以将关系编码向量V_R和特征编码向量V_F共同输入多层感知机，进行多层处理，将多层处理的结果作为所述第一边向量。

如此，通过图神经网络模型中的边嵌入层，将输入三元组中的第一连接边嵌入为第一边向量E。

此外，在步骤23，在图神经网络模型的节点嵌入层，分别对第一节点和第二节点进行节点嵌入。该步骤中对第一节点和第二节点的处理方式是相同的，因此，本文中以第一节点和第二节点中任意节点作为目标节点描述节点嵌入的过程。针对目标节点的节点嵌入包括，根据目标节点的节点属性特征，以及目标节点的邻居节点集，进行多级向量嵌入，从而得到对应的高阶向量。

具体而言，为了对目标节点v进行多级向量嵌入，首先，根据目标节点的节点属性特征，确定目标节点的初级嵌入向量

然后基于初级嵌入向量，以及目标节点的邻居节点集，执行多级向量聚合，直到达到预定级数K，将预定级数的聚合向量

作为目标节点v的高阶向量。

首先描述初级嵌入向量的确定。在一个实施例中，根据目标节点自身的节点属性特征，来确定目标节点的初级嵌入向量。节点属性特征可以是与节点所代表的实体有关的、用于刻画该实体特点的一些指标。例如，对于前述三元组中第一节点所代表的实体“张三”，该实体为一个人物，对应的节点属性特征可以包括，该人物的性别、年龄、职业、人群标签，等等。又例如，对于第二节点所代表的实体“A公司”，该实体为一家企业，对应的节点属性特征可以包括，该企业的成立时间，公司性质，公司规模，等等。

在一个实施例中，对目标节点的各项节点属性特征进行编码，将编码得到的向量作为初级嵌入向量。在另一实施例中，还可以对编码得到的向量进行线性或非线性变换，将变换后的向量作为初级嵌入向量。

在得到初级嵌入向量的基础上，就可以基于初级嵌入向量

以及目标节点的邻居节点集，执行多级向量聚合，其中，每级向量聚合包括，对邻居节点集中各个邻居节点的上一级嵌入向量进行邻居聚合，根据该邻居聚合结果，以及目标节点的上一级嵌入向量，确定目标节点的本级嵌入向量。

在一个实施例中，上述邻居节点集包括所有与目标节点相连接的节点，即包括，指向目标节点的节点和所述目标节点所指向的节点。在另一实施例中，为了更好地凸显知识图谱中连接边所代表的单向关系，上述邻居节点集仅包括，指向所述目标节点的节点。

上述邻居聚合操作可以通过聚合函数AGG_k来表示。如此，对于目标节点v，其第k级向量聚合可以包括，首先利用聚合函数AGG_k，根据该目标节点v的邻居节点u的上一级(即k-1级)嵌入向量

得到邻居聚合向量

其中N(v)表示节点v的邻居节点集合，即：

然后，根据该邻居聚合向量

以及该目标节点v的上一级(即k-1级)嵌入向量

确定该目标节点v的本级(k级)嵌入向量

即：

其中，f表示对邻居聚合向量

和节点v上一级向量

施加的综合函数，W^k是第k级聚合的参数。在不同实施例中，函数f中的综合操作可以包括，将

与

拼接，或者求和，或者求平均，等等。

在不同实施例中，以上进行邻居聚合操作的聚合函数AGG_k可以采取不同的形式和算法。

在一个实施例中，上述聚合函数AGG_k包括池化操作。相应的，在公式(2)中根据邻居节点u的上一级嵌入向量

确定邻居聚合向量

即意味着，对目标节点v的各个邻居节点u的上一级嵌入向量

进行池化操作，得到邻居聚合向量

更具体的，上述池化操作可以包括，最大池化，平均池化，等等。

在另一个实施例中，上述聚合函数AGG_k包括求和操作。相应的，公式(2)具体化为，对各个邻居节点u的上一级嵌入向量

进行求和。

在又一实施例中，上述聚合函数AGG_k可以表示，将各个邻居节点u的上一级嵌入向量

依次输入LSTM神经网络，将如此得到的隐向量作为邻居聚合向量

根据一种实施方式，在进行上述邻居聚合时，引入注意力机制，针对不同邻居节点，赋予不同的注意力和权重。在该实施方式中，上述聚合函数AGG_k可以具体化为加权求和操作。相应的，公式(2)具体化为：

也就是，对目标节点v的邻居节点u的上一级嵌入向量

加权求和，得到邻居聚合向量

其中，α_uv为邻居节点u对应的权重因子。该权重因子可以依赖于从该邻居节点u到目标节点v的连接边。

在一个例子中，上述权重因子α_uv根据该邻居节点u与目标节点v之间的连接边的预定特征而确定。例如，当连接边对应于“股东”关系时，可以将持股比例作为上述预定特征，进而根据持股比例的具体数值，确定该邻居节点u对应的权重因子α_uv。

然而，在知识图谱中，各个邻居节点指向目标节点的各个连接边往往代表不同的关系类型，进而具有不同特征。考虑到知识图谱的特点，还可以基于邻居节点u的上一级嵌入向量、目标节点的上一级嵌入向量以及邻居节点与目标节点之间的连接边的边向量这三者，确定邻居节点u在邻居聚合操作中的权重因子。

具体的，对于邻居节点u，假定其通过第二连接边Euv指向目标节点v。在一个实施例中，在进行k级邻居聚合时，该邻居节点u的权重因子可以通过以下方式确定。

首先，将该邻居节点u的上一级嵌入向量

和第二连接边Euv对应的第二边向量e_uv进行向量叠加：

其中第二边向量e_uv可以利用前述的边嵌入层采用相似的处理方式得到。叠加的结果表示，在上一级嵌入的向量空间中，从邻居节点出发通过第二连接边所指向的位置。

然后，将上述叠加结果和目标节点v的上一级嵌入向量

进行综合操作，得到综合向量

其中f表示此处的综合操作，具体可以是拼接，相加，或相乘，等等。然后，可以基于该综合向量进行进一步处理，例如包括多层感知机的处理，施加softmax函数，等等，最后得到该邻居节点u对应的权重α_uv。在该实施例中，邻居节点u对应的权重α_uv可以表示为：

其中，W_α表示对综合向量进行进一步处理的参数。

在一个进一步的实施例中，针对各种关系类型，设置关系矩阵，用于对节点嵌入向量进行处理。在前述实施例的叠加操作和综合操作中，均使用经关系矩阵处理后的节点向量。

具体的，假定邻居节点u指向目标节点v的第二连接边Euv代表第二关系类型r2,对应于第二关系矩阵W_r2。此时，可以将上述公式(5)进一步修改为：

即，首先利用上述第二关系矩阵W_r2处理邻居节点u的上一级嵌入向量

将处理后的向量与第二边向量e_uv相叠加。此外，还用上述第二关系矩阵W_r处理目标节点v的上一级嵌入向量

将处理后的向量与叠加得到的向量进行综合，得到综合向量。

利用与关系类型对应的关系矩阵对节点嵌入向量进行处理，可以在节点嵌入向量与边嵌入向量维度不一致时，将节点嵌入向量对齐到边嵌入向量的维度，以便于两者的叠加和综合；并可以在叠加和综合时，考虑关系类型的影响。

如此，通过多种形式和算法的邻居聚合操作(即聚合函数AGG_k)，基于邻居节点的上一级嵌入向量确定出邻居聚合向量

然后，根据公式(3)，得到目标节点v的本级嵌入向量

可以理解，目标节点的初级嵌入向量即可以作为0级嵌入向量，基于此，使得k从1直到预设的聚合级数K，逐级执行聚合，可以得到目标节点v的预设级数K的高阶嵌入向量

通过将三元组中的第一节点和第二节点分别作为目标节点，可以分别得到第一节点对应的第一高阶向量H₁，和第二节点对应的第二高阶向量H₂。

于是，在步骤24，根据第一高阶向量H₁、第二高阶向量H₂和第一边向量E，确定第一节点和第二节点通过第一连接边相连的概率。

如前述结合公式(1)所述，知识图谱表征学习的目标，总体上可以表示为，使得三元组中头节点的向量加上关系向量，尽可能等于尾节点的向量。在训练学习的过程中，可以计算头节点向量叠加上关系向量的和向量，并计算该和向量与尾节点向量之间的距离。该距离可以体现，头节点与尾节点之间具有上述关系的概率，距离越小，概率越大，当距离为0，则表示和向量等于尾节点向量，整个三元组的向量表征与三元组的实体关系完全匹配。

因此，对于上述包含第一节点、第二节点和第一连接边的三元组，可以类似地根据第一高阶向量H₁、第二高阶向量H₂和第一边向量E，确定出第一节点和第二节点通过第一连接边相连的概率。

具体的，在一个实施例中，可以首先将第一高阶向量H₁与所述第一边向量E相叠加，并计算叠加得到的和向量与第二高阶向量H₂之间的距离d:

d＝||H₁+E-H₂|| (7)

根据上述距离d，确定第一节点通过第一连接边连接到第二节点的概率，其中该概率与距离d负相关，即距离越小，概率越大。

在另一实施例中，与根据公式(6)计算权重因子的思路一致的，首先利用关系矩阵对节点嵌入向量进行处理，基于处理后的向量进行上述叠加和求距离。具体的，假定第一连接边具有第一关系类型r1,对应于第一关系矩阵W_r1，则利用该第一关系矩阵W_r1分别处理第一节点对应的第一高阶向量H₁和第二节点对应的第二高阶向量H₂，得到第一处理向量W_r1·H₁和第二处理向量W_r1·H₂。然后，类似的将第一处理向量与第一边向量相叠加，并计算叠加的和向量与第二处理向量之间的距离d：

d＝||W_r1·H₁+E-W_r1·H₂|| (8)

如此，根据公式(8)计算的距离，确定第一节点和第二节点通过第一连接边连接的概率。

接着，在步骤25，以最大化上述概率为目标，更新边嵌入层和节点嵌入层，从而训练图神经网络模型。

具体地，在一个实施例中，可以将训练损失定义为：

Loss＝d (9)

其中距离d通过以上公式(7)或(8)确定。如此，训练损失负相关于上述概率，损失减小的方向即概率增大的方向。

在另一实施例中，对于前述的三元组(第一节点，第一连接边，第二节点)，还随机采样一个负例关系组(第一节点，第一连接边，第四节点)，其中第四节点是除第二节点外的任意节点，也就是，实际上第一节点没有通过第一连接边指向的节点。对上述第四节点同样利用节点嵌入层获得其对应的第四高阶向量。然后，利用前述的公式(7)或公式(8)，将其中的第二高阶向量替换为第四高阶向量，即可以确定出该负例关系组对应的距离d′。在这样的情况下，训练损失可以定义为：

Loss＝d-d′ (10)

在这样的情况下，训练的目标包括，最小化距离d，同时最大化d′，换而言之，最大化第一节点通过第一连接边指向第二节点的概率，同时最小化第一节点通过第一连接边指向其他节点(第四节点)的概率。

在确定出训练损失的基础上，就可以通过反向传播的方式，在损失减小的方向(对应于上述概率增大的方向)调整图神经网络中的参数，直到达到预定收敛条件。

如此训练得到的图神经网络可以对知识图谱进行表征，也就是将其中的节点和连接边均表示为向量的形式。节点和连接边的向量表示可以用于预测和发掘知识图谱中其他未知的节点间关系，从而补充完善知识图谱，也可以用于其他机器学习模型使用该知识图谱进行相关预测。

通过以上过程可以看到，在对知识图谱进行表征学习时，对于知识图谱中的连接边，不仅考虑其代表的关系类型，还融合了连接边上的边特征；对于知识图谱中的节点，则利用图神经网络的特点，综合考虑了节点自身的节点特征以及节点的邻居连接信息，进行多级嵌入，得到表征节点的高阶向量。如此，深入挖掘了知识图谱中更加全面的特征信息和结构信息，增强了向量的表达能力。

根据另一方面的实施例，提供了一种训练图神经网络模型的装置，该图神经网络模型用于表征知识图谱，所述知识图谱包括对应于多个实体的多个节点，以及代表实体之间关系的有向连接边，所述图神经网络模型包括边嵌入层和节点嵌入层。训练图神经网络模型的装置可以部署在任何具有计算、处理能力的设备、平台或设备集群中。图4示出根据一个实施例的图神经网络模型的训练装置的示意性框图。如图4所示，该训练装置400包括：

三元组获取单元41，配置为从所述知识图谱中获取三元组，所述三元组包括第一节点，第二节点，以及从第一节点指向第二节点的第一连接边；

边向量确定单元42，配置为通过所述边嵌入层，根据所述第一连接边对应的关系类型，以及该第一连接边的边属性特征，确定该第一连接边对应的第一边向量；

节点向量确定单元43，配置为通过所述节点嵌入层，分别将所述第一节点和第二节点作为目标节点，根据目标节点的节点属性特征，以及目标节点的邻居节点集，进行多级向量嵌入，从而分别得到第一节点对应的第一高阶向量，和第二节点对应的第二高阶向量；

概率确定单元44，配置为根据所述第一高阶向量、所述第二高阶向量和第一边向量，确定所述第一节点通过所述第一连接边连接到所述第二节点的概率；

更新单元45，配置为以最大化所述概率为目标，更新所述边嵌入层和所述节点嵌入层。

在一个实施例中，所述边向量确定单元42配置为：

根据所述第一连接边对应的关系类型，确定关系编码向量；

根据所述第一连接边的边属性特征，确定特征编码向量；

将所述关系编码向量和所述特征编码向量进行融合，得到所述第一边向量。

进一步地，在一个实施例中，所述边向量确定单元42配置为执行以下中的至少一项：

将所述关系编码向量和所述特征编码向量进行向量点乘；

将所述关系编码向量和所述特征编码向量相加；

将所述关系编码向量和所述特征编码向量共同输入所述边嵌入层中包含的多层感知机，进行多层处理。

在一个实施例中，所述节点向量确定单元43包括(未示出)：

初级嵌入模块，配置为根据目标节点的节点属性特征，确定目标节点的初级嵌入向量；

向量聚合模块，配置为基于所述初级嵌入向量，以及目标节点的邻居节点集，执行多级向量聚合，其中，每级向量聚合包括，对所述邻居节点集中各个邻居节点的上一级嵌入向量进行邻居聚合，根据该邻居聚合结果，以及所述目标节点的上一级嵌入向量，确定所述目标节点的本级嵌入向量。

具体地，在一个实施例中，上述向量聚合模块配置为：

对所述各个邻居节点的上一级嵌入向量进行池化操作；或者，

对所述各个邻居节点的上一级嵌入向量进行求和。

在另一实施例中，所述向量聚合模块配置为：

对所述各个邻居节点的上一级嵌入向量加权求和，其中，各个邻居节点对应的权重依赖于从该邻居节点到所述目标节点的连接边。

更具体地，根据一个实施例，在所述邻居节点集中包括第三节点，该第三节点通过第二连接边指向所述目标节点地情况下，该第三节点对应的权重通过以下方式确定：

将所述第三节点的上一级嵌入向量，和第二连接边对应的第二边向量进行第一综合操作，得到第一综合向量，所述第一综合操作包括向量叠加；

将所述第一综合向量和所述目标节点的上一级嵌入向量进行第二综合操作，得到第二综合向量；

基于所述第二综合向量，得到该第三节点对应的权重。

进一步地，在一个例子中，上述第一综合操作可以包括，利用与所述第二连接边的关系类型对应的第二关系矩阵处理所述第三节点的上一级嵌入向量，将处理后的向量与所述第二边向量相叠加；

所述第二综合操作可以包括，利用所述第二关系矩阵处理所述目标节点的上一级嵌入向量，将处理后的向量与所述第一综合向量进行进一步综合。

根据一种实施方式，所述概率确定单元44配置为：

确定所述第一高阶向量与所述第一边向量相叠加的和向量；

根据所述和向量与所述第二高阶向量之间的距离，确定所述概率，其中所述概率与所述距离负相关。

根据另一实施方式，所述概率确定单元44配置为：

利用与所述第一连接边的关系类型对应的第一关系矩阵分别处理所述第一高阶向量和第二高阶向量，得到第一处理向量和第二处理向量；

确定所述第一处理向量与所述第一边向量相叠加的和向量；

根据所述和向量与所述第二处理向量之间的距离，确定所述概率，其中所述概率与所述距离负相关。

通过以上的装置400，可以训练得到图神经网络模型，该图神经网络模型可以基于知识图谱中的特征信息和结构信息，对知识图谱中的节点和边进行更全面的表征，提高其向量表达能力。

根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2所描述的方法。

根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2所述的方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (24)

1.一种训练用于表征知识图谱的图神经网络模型的方法，所述知识图谱包括对应于多个实体的多个节点，以及代表实体之间关系的有向连接边，所述图神经网络模型包括边嵌入层和节点嵌入层，所述方法包括：

从所述知识图谱中获取三元组，所述三元组包括第一节点，第二节点，以及从第一节点指向第二节点的第一连接边；

在所述边嵌入层，根据所述第一连接边对应的关系类型，以及该第一连接边的边属性特征，确定该第一连接边对应的第一边向量；

在所述节点嵌入层，分别将所述第一节点和第二节点作为目标节点，根据目标节点的节点属性特征，以及目标节点的邻居节点集，进行多级向量嵌入，从而分别得到第一节点对应的第一高阶向量，和第二节点对应的第二高阶向量；

根据所述第一高阶向量、所述第二高阶向量和第一边向量，确定所述第一节点通过所述第一连接边连接到所述第二节点的概率；

以最大化所述概率为目标，更新所述边嵌入层和所述节点嵌入层。

2.根据权利要求1所述的方法，其中，确定该第一连接边对应的第一边向量包括：

根据所述第一连接边对应的关系类型，确定关系编码向量；

根据所述第一连接边的边属性特征，确定特征编码向量；

将所述关系编码向量和所述特征编码向量进行融合，得到所述第一边向量。

3.根据权利要求2所述的方法，其中，将所述关系编码向量和所述特征编码向量进行融合，包括以下中的任一项：

将所述关系编码向量和所述特征编码向量进行向量点乘；

将所述关系编码向量和所述特征编码向量相加；

将所述关系编码向量和所述特征编码向量共同输入所述边嵌入层中包含的多层感知机，进行多层处理。

4.根据权利要求1所述的方法，其中，根据目标节点的节点属性特征，以及目标节点的邻居节点集，进行多级向量嵌入，包括：

根据目标节点的节点属性特征，确定目标节点的初级嵌入向量；

基于所述初级嵌入向量，以及目标节点的邻居节点集，执行多级向量聚合，其中，每级向量聚合包括，对所述邻居节点集中各个邻居节点的上一级嵌入向量进行邻居聚合，根据该邻居聚合结果，以及所述目标节点的上一级嵌入向量，确定所述目标节点的本级嵌入向量。

5.根据权利要求4所述的方法，其中，对所述邻居节点集中各个邻居节点的上一级嵌入向量进行邻居聚合，包括：

对所述各个邻居节点的上一级嵌入向量进行池化操作；或者，

对所述各个邻居节点的上一级嵌入向量进行求和。

6.根据权利要求4所述的方法，其中，对所述邻居节点集中各个邻居节点的上一级嵌入向量进行聚合操作，包括：

对所述各个邻居节点的上一级嵌入向量加权求和，其中，各个邻居节点对应的权重依赖于从该邻居节点到所述目标节点的连接边。

7.根据权利要求6所述的方法，其中，所述邻居节点集中包括第三节点，该第三节点通过第二连接边指向所述目标节点；该第三节点对应的权重通过以下方式确定：

将所述第三节点的上一级嵌入向量，和第二连接边对应的第二边向量进行第一综合操作，得到第一综合向量，所述第一综合操作包括向量叠加；

将所述第一综合向量和所述目标节点的上一级嵌入向量进行第二综合操作，得到第二综合向量；

基于所述第二综合向量，得到该第三节点对应的权重。

8.根据权利要求7所述的方法，其中，所述第一综合操作包括，利用与所述第二连接边的关系类型对应的第二关系矩阵处理所述第三节点的上一级嵌入向量，将处理后的向量与所述第二边向量相叠加；

所述第二综合操作包括，利用所述第二关系矩阵处理所述目标节点的上一级嵌入向量，将处理后的向量与所述第一综合向量进行进一步综合。

9.根据权利要求1所述的方法，其中，确定所述第一节点通过所述第一连接边连接到所述第二节点的概率，包括：

确定所述第一高阶向量与所述第一边向量相叠加的和向量；

根据所述和向量与所述第二高阶向量之间的距离，确定所述概率，其中所述概率与所述距离负相关。

10.根据权利要求1或8所述的方法，其中，确定所述第一节点通过所述第一连接边连接到所述第二节点的概率，包括：

利用与所述第一连接边的关系类型对应的第一关系矩阵分别处理所述第一高阶向量和第二高阶向量，得到第一处理向量和第二处理向量；

确定所述第一处理向量与所述第一边向量相叠加的和向量；

根据所述和向量与所述第二处理向量之间的距离，确定所述概率，其中所述概率与所述距离负相关。

11.根据权利要求1所述的方法，其中，所述目标节点的邻居节点集包括，通过连接边指向所述目标节点的节点。

12.一种训练用于表征知识图谱的图神经网络模型的装置，所述知识图谱包括对应于多个实体的多个节点，以及代表实体之间关系的有向连接边，所述图神经网络模型包括边嵌入层和节点嵌入层，所述装置包括：

三元组获取单元，配置为从所述知识图谱中获取三元组，所述三元组包括第一节点，第二节点，以及从第一节点指向第二节点的第一连接边；

边向量确定单元，配置为通过所述边嵌入层，根据所述第一连接边对应的关系类型，以及该第一连接边的边属性特征，确定该第一连接边对应的第一边向量；

节点向量确定单元，配置为通过所述节点嵌入层，分别将所述第一节点和第二节点作为目标节点，根据目标节点的节点属性特征，以及目标节点的邻居节点集，进行多级向量嵌入，从而分别得到第一节点对应的第一高阶向量，和第二节点对应的第二高阶向量；

概率确定单元，配置为根据所述第一高阶向量、所述第二高阶向量和第一边向量，确定所述第一节点通过所述第一连接边连接到所述第二节点的概率；

更新单元，配置为以最大化所述概率为目标，更新所述边嵌入层和所述节点嵌入层。

13.根据权利要求12所述的装置，其中，所述边向量确定单元配置为：

根据所述第一连接边对应的关系类型，确定关系编码向量；

根据所述第一连接边的边属性特征，确定特征编码向量；

将所述关系编码向量和所述特征编码向量进行融合，得到所述第一边向量。

14.根据权利要求13所述的装置，其中，所述边向量确定单元配置为执行以下中的任一项：

将所述关系编码向量和所述特征编码向量进行向量点乘；

将所述关系编码向量和所述特征编码向量相加；

将所述关系编码向量和所述特征编码向量共同输入所述边嵌入层中包含的多层感知机，进行多层处理。

15.根据权利要求12所述的装置，其中，所述节点向量确定单元包括：

初级嵌入模块，配置为根据目标节点的节点属性特征，确定目标节点的初级嵌入向量；

向量聚合模块，配置为基于所述初级嵌入向量，以及目标节点的邻居节点集，执行多级向量聚合，其中，每级向量聚合包括，对所述邻居节点集中各个邻居节点的上一级嵌入向量进行邻居聚合，根据该邻居聚合结果，以及所述目标节点的上一级嵌入向量，确定所述目标节点的本级嵌入向量。

16.根据权利要求15所述的装置，其中，所述向量聚合模块配置为：

对所述各个邻居节点的上一级嵌入向量进行池化操作；或者，

对所述各个邻居节点的上一级嵌入向量进行求和。

17.根据权利要求15所述的装置，其中，所述向量聚合模块配置为：

对所述各个邻居节点的上一级嵌入向量加权求和，其中，各个邻居节点对应的权重依赖于从该邻居节点到所述目标节点的连接边。

18.根据权利要求17所述的装置，其中，所述邻居节点集中包括第三节点，该第三节点通过第二连接边指向所述目标节点；该第三节点对应的权重通过以下方式确定：

将所述第三节点的上一级嵌入向量，和第二连接边对应的第二边向量进行第一综合操作，得到第一综合向量，所述第一综合操作包括向量叠加；

将所述第一综合向量和所述目标节点的上一级嵌入向量进行第二综合操作，得到第二综合向量；

基于所述第二综合向量，得到该第三节点对应的权重。

19.根据权利要求18所述的装置，其中，所述第一综合操作包括，利用与所述第二连接边的关系类型对应的第二关系矩阵处理所述第三节点的上一级嵌入向量，将处理后的向量与所述第二边向量相叠加；

所述第二综合操作包括，利用所述第二关系矩阵处理所述目标节点的上一级嵌入向量，将处理后的向量与所述第一综合向量进行进一步综合。

20.根据权利要求12所述的装置，其中，所述概率确定单元配置为：

确定所述第一高阶向量与所述第一边向量相叠加的和向量；

根据所述和向量与所述第二高阶向量之间的距离，确定所述概率，其中所述概率与所述距离负相关。

21.根据权利要求12或19所述的装置，其中，所述概率确定单元配置为：

利用与所述第一连接边的关系类型对应的第一关系矩阵分别处理所述第一高阶向量和第二高阶向量，得到第一处理向量和第二处理向量；

确定所述第一处理向量与所述第一边向量相叠加的和向量；

根据所述和向量与所述第二处理向量之间的距离，确定所述概率，其中所述概率与所述距离负相关。

22.根据权利要求12所述的装置，其中，所述目标节点的邻居节点集包括，通过连接边指向所述目标节点的节点。

23.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-11中任一项的所述的方法。

24.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-11中任一项所述的方法。

Images