CN113312492A - 一种基于动态翻译的知识图谱表示学习方法 - Google Patents

Abstract

本发明公开了一种基于动态翻译的知识图谱表示学习方法，主要解决了TransE模型在处理复杂关系时效率不高的问题；针对TransE存在的问题，提出了一种基于动态翻译与超平面投影的表示学习方法。首先，将动态翻译与向量嵌入进行结合，得到新的翻译原则，使翻译的原则更加灵活；接着引入投影到特定关系超平面的机制，使得实体在不同关系中有不同的角色，提高模型处理复杂关系的性能；最后在训练模型时，采用新的抽样策略，不同的概率来替换头尾实体；在进行实体替换时需要选用语义最相似的实体，达到显著提升对实体的区分度的效果。该方法将动态翻译和超平面投影相结合，很好解决了TransE处理复杂关系性能不佳的问题。

Description

一种基于动态翻译的知识图谱表示学习方法

技术领域

在本发明属于知识图谱表示学习领域，涉及一种基于动态翻译的知识图谱 表示学习方法。

背景技术

知识图谱是一种用图模型来描述知识和建模世界万物之间的关联关系的 技术方法，属于语义层面的知识库，通常以网格的形式出现。在网格中，节点表 示实体，节点之间的边表示关系，并使用三元组(h,r,t)进行知识的表示。知识 图谱最早的应用是提升搜索引擎的能力。随后，知识图谱在辅助智能问答、自然 语言处理、大数据分析、推荐计算、物联网互联、可解释性人工智能等方面展现 出丰富的应用价值。其中，知识表示是这些应用的基础。然而，由于知识的不断 积累，知识库规模扩展非常快，知识形式也变得越来越多样化。以三元组的形式 对知识进行表示的弊端越来越明显，例如实体间语义关系的推理变得越来越难、 数据稀疏性问题变得越来越严重、计算的复杂性变得越来越高、运用到大型的知 识图谱上变得越来越困难。

近年来，以知识表示为代表的知识表示学习取得了新的研究进展，提出 了将稀疏的三元组(h,r,t)语义信息投射到低维稠密的向量空间，将实体与关系 的推理转变为对象间距离的计算。对象间计算的距离越小，则实体越相似。同时， 知识表示学习通过对实体与关系进行学习，能够解决传统知识表示方法面临的数 据稀疏、知识推理困难等问题，并且促进了知识获取、实体消岐性能的不断提升。

考虑到上述的优点，研究者们提出了若干知识表示模型，现有方法中， 受word2vec模型中词向量在语义空间的平移不变现象启发而提出的TransE模型 最著名。TransE在取得较好预测表现的同时保持了简单、高效的特点，但它在 处理复杂属性时的表现并不佳。例如在处理一对多、多对一、多对多和自反等复 杂关系时存在局限性，不能很好地区分具有相同关系的实体。

发明内容

在本发明提供一种基于动态翻译的知识图谱表示学习方法，该方法解决了TransE模型不能处理一对多、多对一、多对多和自反等复杂关系时存在局限性， 不能很好地区分具有相同关系的实体。

为达到上述发明目的，本发明提出一种基于动态翻译的知识图谱表示学习 方法：该方法包括以下步骤：

S1、将动态翻译技术和向量嵌入相融合，得到新的翻译原则；

S2、引入投影到特定关系超平面的机制，使得实体在不同关系中有不同的 角色；

S3、基于深度学习进行训练，训练此时知识图谱中实体和关系的新的向量 表示。

优选的，所述步骤S1中，对于所有的三元组(h,r,t)，假设h和r的嵌入 是给定的，那么可以降低约束，使t是一个平面范围，而不是由TransE模型确 定的一个固定向量或一组相同方向的向量；同样，假设h和t的嵌入是给定的， 那么r的范围可以表示一个平面；假设r和t的嵌入是给定的，那么h的范围也 可以表示为一个平面；将动态翻译模型与TransE模型相结合后，重新定义的翻 译原则为：

(h+α_h)+(r+α_r)≈(t+α_t)#(1)

其中，h为头实体向量，r为关系向量，t为尾实体向量，α_h、α_r和α_t分别为经过动态翻译后得到的头实体、关系和尾实体的向量表示。

优选的，所述步骤S1中，将动态翻译技术和向量嵌入相融合后如下得分 函数：

其中||·||l_1/2是l₁或l₂范数，f_r(h,t)代表给定三元组的得分。

所述步骤S2中，引入了投影到特定关系超平面的机制，首先将三元组中 的头实体(h+αh)和尾实体(t+αt)映射到给定关系的超平面w_r上，分别用(h+α_h) ⊥和(t+α_t)⊥表示，用关系向量r将超平面上的(h+α_h)⊥和(t+α_t)⊥联系起来， 得到如下公式：

此时得分函数为：

优选的，所述步骤S3中，对模型进行训练时，首先需要通过正例三元组 去构建负例三元组，针对不同的类型进行实体的替换；其次选择语义最相近的实 体。

优选的，以不同概率替换实体时，定义参数为q的伯努利分布来抽样；

其中，tqh为头实体对应的尾实体的平均数量，hqt为每个尾实体对应的 头实体的平均数量；规定，当tqh＜1.5且hqt＜1.5，表示关系r是一对一的； 当tqh＞1.5且hqt＞1.5，表示关系r是多对多的；当tqh≥1.5且hqt＜1.5， 表示关系r是一对多的；当tqh＜1.5且hqt≥1.5，表示关系r是多对一的。

优选的，在进行实体之间相似度判断时，选择实体或者关系之间的语义的 相似度进行判断，计算向量之间的相似度，公式为：

给定一个正例三元组(h,r,t)，替换头实体生成负例三元组(h′,r,t)时， 选择h′使得dis(h,h′)最小；替换尾实体生成负例三元组(h,r,t′)时，选择 t′使得dis(t,t′)最小。

优选的，所述步骤S3中，为了区分正确三元组和错误三元组，采用如下 基于边际的损失函数作为训练模型的优化目标函数：

其中，S表示正确三元组所属集合，S′表示错误三元组所属集合，max(x,y) 指的是返回x和y之间较大的值，γ表示正确三元组损失函数得分与错误三元 组损失函数得分之间的距离；该目标函数的优化目标就是最大程度地将正确的三 元组和错误的三元组分离。

本发明具有以下优点：本发明为解决TransE模型存在的问题，在其基础 上提出了一种基于动态翻译与超平面投影的表示学习模型。具体地，将动态翻译 模型与TransE模型相结合，使翻译的原则更加灵活。同时，引入投影到特定关 系超平面的机制，提高模型处理复杂关系的性能。首先，将原有的翻译规则改为 (h+α_h)+(r+α_r)≈(t+α_t)；其次，将三元组中的h和t映射到给定关系的超平 面。此外，在模型训练时，采用新的抽样策略，使尽可能多的实体得到训练。具 体来说，对于一对多的关系，替换头实体；对于多对一的关系，替换尾实体。在 进行实体替换时需要选用语义最相似的实体，目的是使实体之间的区分度得到显著提升。经过对不同模型的实验结果的对比，在同等实验条件下，本发明的方法 不论从效果还是效率上，都显著优于TransE模型。

附图说明

图1为本发明的流程示意图；

图2为动态翻译模型原理图；

图3为超平面模型的效果图；

具体实施方式

下面结合说明书附图对本发明做进一步的说明。

如图1所示，本发明提出一种基于动态翻译的知识图谱表示学习方法：该 方法包括以下步骤：

S1、将动态翻译技术和向量嵌入相融合，得到新的翻译原则；

S2、引入投影到特定关系超平面的机制，使得实体在不同关系中有不同的 角色；

S3、基于深度学习进行训练，训练得到此时知识图谱中实体和关系的新的 向量表示。

步骤S1中，对于所有的三元组(h,r,t)，假设h和r的嵌入是给定的，那 么可以降低约束，使t是一个平面范围，而不是由TransE模型确定的一个固定 向量或一组相同方向的向量；同样，假设h和t的嵌入是给定的，那么r的范围 可以表示一个平面；假设r和t的嵌入是给定的，那么h的范围也可以表示为一 个平面。动态翻译原理图如附图2所示；将动态翻译模型与TransE模型相结合 后，重新定义的翻译原则为：

(h+α_h)+(r+α_r)≈(t+α_t)#(1)

其中，h为头实体向量，r为关系向量，t为尾实体向量，α_h、α_r和α_t分别为经过动态翻译后得到的头实体、关系和尾实体的向量表示；将动态翻译技 术和向量嵌入相融合后如下得分函数：

其中||·||l_1/2是l₁或l₂范数，f_r(h,t)代表给定三元组的得分。

步骤S2中，引入了投影到特定关系超平面的机制，首先将三元组中的头 实体(h+α_h)和尾实体(t+α_t)映射到给定关系的超平面wr上，分别用(h+α_h)⊥ 和(t+α_t)⊥表示，用关系向量r将超平面上的(h+α_h)⊥和(t+α_t)⊥联系起来， 得到如下公式：

此时得分函数为：

步骤S3中，对模型进行训练时，首先需要通过正例三元组去构建负例三 元组，针对不同的类型进行实体的替换；其次选择语义最相近的实体。

以不同概率替换实体时，定义参数为q的伯努利分布来抽样；

其中，tqh为头实体对应的尾实体的平均数量，hqt为每个尾实体对应的 头实体的平均数量；规定，当tqh＜1.5且hqt＜1.5，表示关系r是一对一的； 当tqh＞1.5且hqt＞1.5，表示关系r是多对多的；当tqh≥1.5且hqt＜1.5， 表示关系r是一对多的；当tqh＜1.5且hqt≥1.5，表示关系r是多对一的。

在进行实体之间相似度判断时，选择实体或者关系之间的语义的相似度进 行判断，计算向量之间的相似度，公式为：

给定一个正例三元组(h,r,t)，替换头实体生成负例三元组(h′,r,t)时， 选择h′使得dis(h,h′)最小；替换尾实体生成负例三元组(h,r,t′)时，选择 t′使得dis(t,t′)最小。

所述步骤S3中，为了区分正确三元组和错误三元组，采用如下基于边际 的损失函数作为训练模型的优化目标函数：

其中，S表示正确三元组所属集合，S′表示错误三元组所属集合，max(x,y) 指的是返回x和y之间较大的值，γ表示正确三元组损失函数得分与错误三元 组损失函数得分之间的距离；该目标函数的优化目标就是最大程度地将正确的三 元组和错误的三元组分离。

算法1展现了本发明设计的一种基于动态翻译的知识表示学习算法的详 细过程。在此算法中，首先对关系集R中的关系进行初始化，然后对关系进行单 位化处理；接着对实体集E中的实体e进行初始化，对每个关系进行单位化处理； 从样本集中取少量三元组并初始化三元组，对每个三元组都做以上操作，然后构 造负例三元组，采用随机梯度下降方法进行训练。

综上所述，一种基于动态翻译的表示学习方法，主要解决了TransE模型 在处理复杂关系时效率不高的问题；运用了动态翻译的思想，使翻译的原则更加 灵活；应用了面向关系的超平面投影的思想，将头尾实体映射至给定关系的超平 面来加以区分；训练得到融合后的新的向量表示。

上面是对本发明的具体实施方式进行描述，以便于本技术领域的技术人员 理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的 普通技术人员来讲，只要各种变化在所附的权力要求限制和确定的本发明的精神 和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (7)

1.一种基于动态翻译的知识图谱表示学习方法，其特征在于，该方法包括以下步骤：

S1、将动态翻译技术和向量嵌入相融合，得到新的翻译原则；

S2、引入投影到特定关系超平面的机制，使得实体在不同关系中有不同的角色；

S3、基于深度学习进行训练，训练此时知识图谱中实体和关系的新的向量表示。

2.根据权利要求1所述的一种基于动态翻译的知识图谱表示学习方法，其特征在于，所述步骤S1中，对于所有的三元组(h,r,t)，假设h和r的嵌入是给定的，那么可以降低约束，使t是一个平面范围，而不是由TransE模型确定的一个固定向量或一组相同方向的向量；同样，假设h和t的嵌入是给定的，那么r的范围可以表示一个平面；假设r和t的嵌入是给定的，那么h的范围也可以表示为一个平面；将动态翻译模型与TransE模型相结合后，重新定义的翻译原则为：(h+α_h)+(r+α_r)≈(t+α_t)#(1)

其中，h为头实体向量，r为关系向量，t为尾实体向量，α_h、α_r和α_t分别为经过动态翻译后得到的头实体、关系和尾实体的向量表示。

3.根据权利要求1所述的一种基于动态翻译的知识图谱表示学习方法，其特征在于，所述步骤S1中，将动态翻译技术和向量嵌入相融合后如下得分函数：

其中||·||l_1/2是l₁或l₂范数，f_r(h,t)代表给定三元组的得分。

4.根据权利要求1述的一种基于动态翻译的知识图谱表示学习方法，其特征在于，所述步骤S2中，引入了投影到特定关系超平面的机制，首先将三元组中的头实体(h+α_h)和尾实体(t+α_t)映射到给定关系的超平面w_r上，分别用(h+α_h)_⊥和(t+α_t)_⊥表示，用关系向量r将超平面上的(h+α_h)_⊥和(t+α_t)_⊥联系起来，得到如下公式：

此时得分函数为：

5.根据权利要求1所述的一种基于动态翻译的知识图谱表示学习方法，其特征在于，所述步骤S3中，对模型进行训练时，首先需要通过正例三元组去构建负例三元组，针对不同的类型进行实体的替换；其次选择语义最相近的实体。

6.根据权利要求5所述的一种基于动态翻译的知识图谱表示学习方法，其特征在于，在进行实体之间相似度判断时，选择实体或者关系之间的语义的相似度进行判断，计算向量之间的相似度，公式为：

给定一个正例三元组(h,r,t)，替换头实体生成负例三元组(h′,r,t)时，选择h′使得dis(h,h′)最小；替换尾实体生成负例三元组(h,r,t′)时，选择t′使得dis(t,t′)最小。

7.根据权利要求1所述的一种基于动态翻译的知识图谱表示学习方法，其特征在于，所述步骤S3中，为了区分正确三元组和错误三元组，采用如下基于边际的损失函数作为训练模型的优化目标函数：

其中，S表示正确三元组所属集合，S′表示错误三元组所属集合，max(x,y)指的是返回x和y之间较大的值，γ表示正确三元组损失函数得分与错误三元组损失函数得分之间的距离；该目标函数的优化目标就是最大程度地将正确三元组和错误三元组分离。

Images