CN112633478A - 一种基于本体语义的图卷积网络学习模型的构建 - Google Patents

Abstract

本发明公开了一种基于本体语义的图卷积网络学习模型的构建，其步骤包括：输入知识图谱数据；关系图卷积神经网络计算；实体嵌入E：DistMult解码器计算：关系嵌入R：进行规则推理：判断是否达到目标迭代次数：训练后的知识图谱：本发明通过构建的IterG模型，可消除规则学习与图卷积网络的界限，通过规则学习将本体语义信息有机无缝的融入到图卷积网络模型之中。

Description

一种基于本体语义的图卷积网络学习模型的构建

技术领域

本发明涉及知识图谱表示学习领域，具体来说，涉及一种基于本体语义的图卷积网络学习模型的构建。

背景技术

随着人工智能的快速发展，知识图谱(Knowledge Graph)已被广泛认为是许多人工智能技术和系统中的重要组成部分。大量的知识图谱，例如YAGO、WordNet和Freebase已经被开发出来。知识图谱包含大量的先验知识，并且可以高效的管理数据。它们已被广泛用于问答系统、搜索引擎和推荐系统。知识图谱能够挖掘、组织和有效管理来自大规模数据的知识，从而提高信息服务的质量并为用户提供更智能的服务。所有这些方面都依赖于知识推理而非知识图谱的支持，因此知识图谱是推理领域的核心技术之一。

知识图谱上的知识推理拥有非常好的研究前景，已成为了工业界和学术界的研究热点。但其本质仍然是一个比较难的问题，面临着上文所述的一些问题挑战。针对这些挑战，在传统规则推理的基础上，通过图卷积神经网络强大的图结构特征信息提取能力，将知识图谱中实体使用向量表示，之后借鉴嵌入学习的思想，将知识图谱中原有离散的、无结构的三元组信息用连续的、实值的、低维度的向量表示。由此将三种方法有机无缝的结合起来，使得它们的优势互补，更好地完成知识推理任务。

推理对于大型知识图谱的开发至关重要，知识图谱补全和去噪是知识推理的两大基础应用，尤其是对于知识图谱的补全而言，推理的目的是基于现有的三元组来推断新的三元组。除了知识图谱补全与去噪，知识推理在垂直搜索、智能问答、机器翻译等领域也发挥了重要作用，在疾病诊断、金融反欺诈、数据异常分析等诸多不同的领域已展示出良好的应用前景。因此通过已有的知识推理方法，设计高效高准确率的大规模知识图谱上的知识推理方案，对增强知识图谱应用效果具有重要意义。

知识图谱推理可以根据现有知识推论新知识并检查知识的一致性。知识图谱推理最常见的三种学习方法是基于规则的推理、基于嵌入的推理和基于神经网络的推理。

基于规则的知识推理模型的基本思想是通过应用简单规则或统计特征对知识图谱进行推理。NELLS(Never-Ending Language Learning system)的推理学习概率规则，在手动筛选后实例化规则，最后从其他学习到的关系实例中推断出个新的关系实体。Spas-YAGO通过将三元组抽象为等效规则类来扩展知识图谱。Paulheim和Bizer提出了SDTYPE和SDValidate，它们利用属性和类型的统计分布来进行类型完成和错误检测。SDTYPE使用属性的头实体和尾实体位置中类型的统计分布来预测实体的类型。Jang和Megawati提出了一种评估知识图谱质量的新方法。他们选择出现频率更高的模式作为生成的测试模式，以评估产品的质量，分析数据模式后的知识图谱。Wang和Cohen支持使用个性化Pagerank(ProPPR)进行编程，以对知识图谱进行推理。规则学习方法旨在学习演绎和可解释的推理规则。基于规则的推理非常精确，可以为推理结果提供见解。在大规模知识图谱中，由于实体和关系的复杂性和多样性，很难穷尽所有推理模式。所以规则学习的主要困难是确定规则结构和搜索支持三元组时的巨大搜索空间，不适合大规模推理。

近些年来，基于图卷积网络的知识推理也受到了广泛的关注。作为一种重要的机器学习算法，神经网络基本上可以模仿人的大脑进行感知和认知。它己被广泛用于自然语言处理领域，并取得了显著成绩。神经网络具有强大的功能捕获能力。它可以通过非线性变换将输入数据的特征分布从原始空间转换为另一个特征空间，并自动学习特征表示。因此，它适用于抽象任务，例如知识推理。基于神经网络的推理方法试图利用神经网络的强大学习能力来表示知识图中的三元组，从而获得更好的推理能力。基于神经网络的知识推理利用神经网络直接建模知识图谱事实元组，推理能力较强，相较于嵌入学习，复杂度更高，可解释性更弱。简而言之，基于神经网络的单步推理尝试使用神经网络的强大学习能力来为知识图谱的事实图元组建模，从而获得良好的推理和泛化能力。但是，知识图谱的应用仍然存在神经网络固有的可解释性问题。如何正确解释神经网络的推理能力是一个难点，如何解释神经网络的推理能力值得研究。迄今为止，关于基于神经网络的推理方法的研究很少。但是，它在其他领域的强大表现能力和出色表现有望带来广阔的前景。如何将现有的神经网络方法扩展到知识图推理领域是一个将来值得探索的问题。

发明内容

本发明的目的在于克服上述现有技术中的不足，提供一种通过构建IterG模型消除规则学习与图卷积网络的界限，通过规则学习将本体语义信息有机无缝的融入到图卷积网络模型之中。

本发明通过下述技术方案予以实现：

一种基于本体语义的图卷积网络学习模型的构建，包括下述步骤：

步骤一、输入知识图谱数据：本步骤对知识图谱数据进行读取，包括实体集合、关系集合、训练三元组、有效三元组和测试三元组，之后对读取的数据进行初始化操作；

步骤二、关系图卷积神经网络计算：通过两层的关系图卷积神经网络获取知识图谱中节点的嵌入，即节点的向量表示；关系图卷积神经网络的主要动机是将在本地图邻域上运行的图卷积网络扩展为大型关系数据，关系图卷积神经网络可以进一步视为消息传递神经网络的子类，它包含可区分消息传递解释的许多先前的图形神经模型，包括图卷积网络，所述的图卷积神经网络模型，其消息传递函数如下所示：

其中

是节点v_i在神经网络第l层的隐藏状态，其中d^(l)是该层表示的维数。形式为g_m(·,·)的传入消息被累积并通过激活函数g_m(·,·)传递，

基于这些架构，图卷积网络模型使用消息传递架构用于计算有向关系多重图中以v_i表示的实体或节点的前向更新，该规则将来自节点本地邻居的信息聚合，然后将聚合的信息转发到下一层。R-GCN信息传播规则如下函数所示：

其中

表示关系r∈R下节点i的邻居索引集。c_i,r是特定于问题的规范化常数，可以预先学习或选择(例如

)；

步骤三、实体嵌入E：所述步骤一中，随机初始化操作的实体向量表示为E，经过两层关系卷积神经计算之后，可以将每个实体v_i∈V映射到实值向量

得到知识图谱中的实体嵌入E；

步骤四、DistMult解码器计算：在经过关系图卷积网络对知识图谱中的节点特征信息计算之后，采取DistMult作为解码器。DistMult是一种基于线性映射假设的方法，在DistMult中，每个关系r与一个对角矩阵

相关联并且三元组(h,r,t)通过以下公式计算得分：

步骤五、关系嵌入R：本步骤通过DistMult对实体嵌入E进行解码，训练时，与之前的因式分解方法相同，使用负采样来训练模型，对于每个示例，对其进行ω负采样，通过随机破坏每个准确示例的主题或对象来进行采样，之后通过针对交叉熵损失进行优化使模型中的三元组得分高于负采样中的三元组，通过最小化交叉熵损失来得到知识图谱中实体与关系的嵌入，交叉熵损失函数如下：

其中T是所有三元组的总集合，l是激活函数，y是一个指示符，当y＝1时表示正三元组，y＝0时表示负三元组，此外，使用全批次梯度下降技术训练模型，通过最小化损失函数，可以得到关系嵌入R；

步骤六、进行规则推理：在得到关系嵌入R之后，根据关系嵌入R与规则结论来进行规则推理，在本步骤中，提出了10种选自OWL本体语言的对象属性表达公理，本质上，对于每种公理，都可以基于线性映射假设通过关系的嵌入来得出规则结论，因此，可以通过计算关系嵌入和规则结论之间的相似度来获得关系满足的公理，通常，相似度越高，关系越可能满足相应的公理，相似度计算公式如下：

然后，因为不同类型的公理的s_a(F)的值变化区间很大，则s_a(F)进行如下归一化处理：

其中t是a所属的公理的类型。s_max(t)和s_min(t)是P中所有t类型公理中最大和最小Frobenius范数得分；s_a∈[0,1]是公理a的最终分数，此时s_a越高意味着公理a成立的可能性越大，之后选取得分高的公理即可生成新三元组；

步骤七、判断是否达到目标迭代次数：在本步骤中，预设50次迭代训练，当迭代次数到达50次时，便可停止训练，进入下一步；

步骤八、训练后的知识图谱：上述停止训练后便得到整个模型训练的最终结果，即得到一个训练后的知识图谱。

所述步骤七中，当判断是否达到目标迭代次数未满50次时，则进入新三元组，之后重新输入知识图谱，输入知识图谱后则返回步骤一程序，进行下一次的迭代训练。

本发明的有益效果是：

针对知识图谱上的链接预测任务，构建了一种基于本体语义信息的图卷积网络学习模型IterG，IterG模型采用图卷积网络提取知识图谱中节点与边的空间结构信息，之后IterG提出了十种OWL类属性公理并形式化公理条件和规则约束，对知识图谱中的本体语义信息进行提取，有机无缝的结合和空间结构信息与本体语义信息，大幅提升了知识图谱上的知识推理任务表现效果。

附图说明

图1是本发明的IterG模型整体框架图；

图2是本发明的图自编码模型框架图；

图3是本发明的OWL公理及其条件；

图4是本发明的OWL公理及其规则约束；

图5是本发明的实验数据集WN18、FB15k和FB15k-237；

图6是本发明的IterG模型在WN18和FB15k上实验结果；

图7是本发明的IterG模型在FB15k-237上实验结果；

图8是本发明基于本体语义的图卷积网络学习模型的构建流程图。

具体实施方式

本发明是通过8个步骤完成的，即步骤一、输入知识图谱数据；步骤二、关系图卷积神经网络计算；步骤三、实体嵌入E：步骤四、DistMult解码器计算：步骤五、关系嵌入R：步骤六、进行规则推理：步骤七、判断是否达到目标迭代次数：步骤八、训练后的知识图谱。下面结合附图更进一步说明本发明如下：

如图1-8所示：基于本体语义的图卷积学习模型IterG，IterG模型框架见图1所示，它主要包括两个部分：图自编码层与推理层，IterG模型首次将知识图谱中的本体语义信息融入到图卷积神经网络中，有机无缝的融合了知识图谱中的本体语义信息以及空间结构信息，有效的完成了知识推理任务。图自编码器层主要包括实体编码器与解码器两部分，其中使用关系图卷积神经网络作为实体编码器获得知识图谱中的实体的嵌入向量表示，其次使用基于线性映射的嵌入方法DistMult作为解码器对实体嵌入向量进行解码从而获得关系的嵌入矩阵表示；推理层使用图自编码层中得到的关系嵌入矩阵表示进行公理归纳，然后在公理注入环节选择具有高置信度的三元组将其添加到原始知识图谱中以进行下一次迭代学习。

本发明将R-GCN用作编码器，将DistMult用作解码器。首先，使用两层关系图卷积神经网络获取知识图谱中节点的嵌入，然后使用DistMult获得关系的嵌入，见图2所示，作为编码器，R-GCN模型将每个实体v_i∈V映射到实值向量

R-GCN的主要动机是将在本地图邻域上运行的GCN扩展为大型关系数据。R-GCN可以进一步视为消息传递神经网络的子类，它包含可区分消息传递解释的许多先前的图形神经模型，包括GCN。GCN可以被理解为简单的可区分消息传递框架的特殊情况，其消息传递函数如下所示：

其中

是节点v_i在神经网络第l层的隐藏状态，其中d^(l)是该层表示的维数。形式为g_m(·,·)的传入消息被累积并通过激活函数g_m(·,·)传递，例如

表示节点v_i的传入消息集，通常选择为与传入边缘集相同。通常将g_m(·,·)选择为特定于消息的神经网络函数或简单地将线性变换g_m(h_i,h_j)＝Wh_j与权重矩阵W。事实证明，这种类型的转换非常有效地从局部结构化邻域中累积和编码特征，并已运用在诸如图分类和基于图的半监督学习。

基于这些架构，R-GCN模型使用消息传递架构用于计算有向关系多重图中以vi表示的实体或节点的前向更新，该规则将来自节点本地邻居的信息聚合，然后将聚合的信息转发到下一层。R-GCN信息传播规则如下函数所示：

其中

表示关系r∈R下节点i的邻居索引集。c_i,r是特定于问题的规范化常数，可以预先学习或选择(例如

可以通过传递函数直观的看到，R-GCN通过将总和归一化来累积相邻节点变换后的特征向量。与常规GCN不同，R-GCN引入了特定于关系的变换，即取决于边的类型和方向。为了确保可以通过l层处的相应表示来求得l+1层中的节点的表示，向数据中的每个节点添加了特殊关系类型的单个自连接。R-GCN模型中的神经网络层更新会对图中的每个节点并行进行评估。在此，避免对邻域进行显式求和，可以使用稀疏矩阵乘法进行有效地实现。

在训练IterG模型时，与之前的因式分解方法相同，使用负采样来训练模型。对于每个示例，对其进行ω负采样。通过随机破坏每个准确示例的主题或对象来进行采样。之后通过针对交叉熵损失进行优化使模型中的三元组得分高于负采样中的三元组。通过最小化交叉熵损失来得到知识图谱中实体与关系的嵌入，交叉熵损失函数如下：

其中T是所有三元组的总集合，l是激活函数，y是一个指示符，当$y＝1$时表示正三元组，$y＝0$时表示负三元组。此外，在实践中我们使用全批次梯度下降技术训练模型。

在发明中，主要研究如何将本体语义信息集成到图卷积神经网络中。公理是知识图谱本体的主要组成部分，因为它们对于丰富知识图谱中的语义很重要。OWL(Web本体语言)是一种具有正式定义含义的语义Web本体语言，旨在表示有关实体和关系的丰富而复杂的知识。OWL定义了多种类型的公理，可用于规则推理。模型受IterE模型的启发，提出了10种选自OWL本体语言的对象属性表达公理。本质上，对于每种公理，都可以基于线性映射假设通过关系的嵌入来得出规则结论。例如，考虑公理SymmetricOP(hasFriend)，如果一个知识图谱包含三元组(Alice,hasFriend,Bob)，则根据图3及图4中对称公理的规则形式与规则结论，一个新的三元组(Bob,hasFriend,Alice)可以被推断出来。因此，可以通过计算关系嵌入和规则结论之间的相似度来获得关系满足的公理。通常，相似度越高，关系越可能满足相应的公理。相似度计算公式如下：

然后，因为不同类型的公理的s_a(F)的值变化区间很大，s_a(F)进行如下归一化处理：

其中t是a所属的公理的类型。s_max(t)和s_min(t)是P中所有t类型公理中最大和最小Frobenius范数得分。s_a∈[0,1]是公理a的最终分数，此时s_a越高意味着公理a成立的可能性越大。之后我们选取得分高的公理生成新的三元组注入知识图谱中，再次返回到图自编码器模型迭代学习。

本发明通过链接预测任务来验证模型的有效性，链接预测的评价指标大致有两种，一种是Mean Reciprocal Rank，简称MRR；另一种被称为Hits@N。在本发明中，在WN18，FB15k和FB15k-237三个基准数据集上评估IterG模型，数据集基本信息见图5所示。

在IterG的训练过程中，对于FB15k和WN18，采用具有单个编码层和两个基函数的基分解来获得结果。对于FB15k-237，当块尺寸为5x5且嵌入尺寸等于500时，块分解性能最佳。在归一化之前，编码器边缘丢失进行正则化。自环的边缘丢失率等于0.2，其他边的丢失率等于0.4。并将l2正则化参数0.01应用于解码器。图优化自动编码器模型中使用了Adam优化器，学习率为0.01。IterG是通过批量优化来训练的。

关于对比实验的选取，首先选择TransE作为第一基线，这是链接预测实验的通用基线，它可以在FB15k等标准数据集上很好地执行。其次选择DistMult作为第二基线，由于模型的对称性质，DistMult无法对反对称和逆模式进行建模。添加中提出的LinkFeat作为第三个基线，这是一个简单的基于邻居的LinkFeat算法。还将IterG与ComplEx，HolE和R-GCN进行比较，它们是链接预测的最新模型。ComplEx解决了DistMult问题，并且可以推断复杂空间中的对称和反对称模式。另外，由于共轭复数的存在，它也可以导出反规则。HolE与ComplE类似，但是HolE用循环相关替换了矢量矩阵乘积。

见图6为IterG模型在WN18以及FB15k上的实验结果，图7为IterG模型在FB5k-237上的实验结果。根据实验结果可以看到IterG模型优于其他所有对比模型，这说明了本发明的IterG模型成功的将本体语义信息融入到了图卷积网络中，并且本体语义信息对链接预测任务有着显著的作用。见图8为本发明基于本体语义的图卷积网络学习模型的构建流程图。

Claims (2)

1.一种基于本体语义的图卷积网络学习模型的构建，其特征在于，包括下述步骤：

步骤一、输入知识图谱数据：本步骤对知识图谱数据进行读取，包括实体集合、关系集合、训练三元组、有效三元组和测试三元组，之后对读取的数据进行初始化操作；

步骤二、关系图卷积神经网络计算：通过两层的关系图卷积神经网络获取知识图谱中节点的嵌入，即节点的向量表示；关系图卷积神经网络的主要动机是将在本地图邻域上运行的图卷积网络扩展为大型关系数据，关系图卷积神经网络可以进一步视为消息传递神经网络的子类，它包含可区分消息传递解释的许多先前的图形神经模型，包括图卷积网络，所述的图卷积神经网络模型，其消息传递函数如下所示：

其中

是节点v_i在神经网络第l层的隐藏状态，其中d^(l)是该层表示的维数。形式为g_m(·,·)的传入消息被累积并通过激活函数g_m(·,·)传递，

基于这些架构，图卷积网络模型使用消息传递架构用于计算有向关系多重图中以v_i表示的实体或节点的前向更新，该规则将来自节点本地邻居的信息聚合，然后将聚合的信息转发到下一层。R-GCN信息传播规则如下函数所示：

其中

表示关系r∈R下节点i的邻居索引集。c_i,r是特定于问题的规范化常数，可以预先学习或选择(例如

)；

步骤三、实体嵌入E：所述步骤一中，随机初始化操作的实体向量表示为E，经过两层关系卷积神经计算之后，可以将每个实体v_i∈V映射到实值向量

得到知识图谱中的实体嵌入E；

步骤四、DistMult解码器计算：在经过关系图卷积网络对知识图谱中的节点特征信息计算之后，采取DistMult作为解码器。DistMult是一种基于线性映射假设的方法，在DistMult中，每个关系r与一个对角矩阵

相关联并且三元组(h,r,t)通过以下公式计算得分：

步骤五、关系嵌入R：本步骤通过DistMult对实体嵌入E进行解码，训练时，与之前的因式分解方法相同，使用负采样来训练模型，对于每个示例，对其进行ω负采样，通过随机破坏每个准确示例的主题或对象来进行采样，之后通过针对交叉熵损失进行优化使模型中的三元组得分高于负采样中的三元组，通过最小化交叉熵损失来得到知识图谱中实体与关系的嵌入，交叉熵损失函数如下：

其中T是所有三元组的总集合，l是激活函数，y是一个指示符，当y＝1时表示正三元组，y＝0时表示负三元组，此外，使用全批次梯度下降技术训练模型，通过最小化损失函数，可以得到关系嵌入R；

步骤六、进行规则推理：在得到关系嵌入R之后，根据关系嵌入R与规则结论来进行规则推理，在本步骤中，提出了10种选自OWL本体语言的对象属性表达公理，本质上，对于每种公理，都可以基于线性映射假设通过关系的嵌入来得出规则结论，因此，可以通过计算关系嵌入和规则结论之间的相似度来获得关系满足的公理，通常，相似度越高，关系越可能满足相应的公理，相似度计算公式如下：

然后，因为不同类型的公理的s_a(F)的值变化区间很大，则s_a(F)进行如下归一化处理：

其中t是a所属的公理的类型。s_max(t)和s_min(t)是P中所有t类型公理中最大和最小Frobenius范数得分；s_a∈[0,1]是公理a的最终分数，此时s_a越高意味着公理a成立的可能性越大，之后选取得分高的公理即可生成新三元组；

步骤七、判断是否达到目标迭代次数：在本步骤中，预设50次迭代训练，当迭代次数到达50次时，便可停止训练，进入下一步；

步骤八、训练后的知识图谱：上述停止训练后便得到整个模型训练的最终结果，即得到一个训练后的知识图谱。

2.根据权利要求1一种基于本体语义的图卷积网络学习模型的构建，其特征在于，所述步骤七中，当判断是否达到目标迭代次数未满50次时，则进入新三元组，之后重新输入知识图谱，输入知识图谱后则返回步骤一程序，进行下一次的迭代训练。

Images