CN116186295A - 基于注意力的知识图谱链接预测方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种基于注意力的知识图谱链接预测方法、装置、设备及介质，包括：对知识图谱的原始数据中所有实体和关系构建索引和标签，得到样本数据；分别将实体的索引和关系的索引转化为嵌入向量并融合，得到融合嵌入向量；基于融合嵌入向量和标签，对初始知识图谱链接预测模型进行训练，得到训练好的知识图谱链接预测模型；将知识图谱中的实体和关系进行组合，得到模型输入数据，并将模型输入数据输入到训练好的知识图谱链接预测模型中进行预测，得到预测结果；将预测结果作为尾实体，并基于尾实体和输入数据，构建三元组并加入到知识图谱中。采用本发明可提高知识图谱链接预测的效率。

Description

基于注意力的知识图谱链接预测方法、装置、设备及介质

技术领域

本发明涉及知识图谱处理领域，尤其涉及一种基于注意力的知识图谱链接预测方法、装置、设备及介质。

背景技术

知识图谱是事实的结构化表示，它由大量的主体（节点）和关系（边）组成。使用(s,r, o)用来表示三元组，其中关系r表示主体s和客体o之间的联系，结构化信息包含大量的客观事实。知识图谱可以帮助下游的任务，如问答机器人，垂直搜索等，受到了业界的广泛关注。然而，知识图谱通常是不完整的、稀疏的，导致占用了大量的存储空间，而所包含的信息又相对有限，无法有效地应用于下游任务，因此需要对知识图谱进行补全。知识图谱补全，又称链接预测，是构建大规模知识图的关键环节。链接预测模型通常由简单的操作组成，并使用有限数量的参数。使用这种简单、快速、浅层的模型可拓展性强，但预测效果较差。在浅层模型中增加它们的表现力的唯一方法是通过增加嵌入的大小从而增加特征的数量。然而，这样做会减小模型的拓展性，因为嵌入参数的总数与图中实体和关系的数量成比例。其次，链接预测中生成负样本的常规方法是将三元组的头实体或尾实体替换为随机的实体，这样生成的负样本很容易与正样本区分开来，并且对训练的贡献很小。最后，现有方法生成的头实体和关系的嵌入极大的限制了模型的表现力，这样的模型不能处理头实体用于每个关系的情况。

现有方式中，公开号为CN112884006A（专利名称为一种融合图神经网络及其胶囊网络的链路预测方法）的专利文献和公开号为CN113190688A（专利名称为基于逻辑推理和图卷积的复杂网络链接预测方法及系统）的专利文献中，采用图神经网络捕获知识图谱的图信息，获取嵌入之后再使用简单神经网络捕捉三元组的特征，能有效提升链接预测的效果，但生成的负样本与正样本的区分度不大，对模型训练的作用很小，同时，这种方式模型和运算复杂度大幅度上升，训练和运算时间过长，不能很好的拓展到大型知识库中，实用性较低。

公开号为CN113190691A（专利名称为一种知识图谱的链路预测方法及系统）和公开号为CN113722499A（专利名称为基于关系注意力网络的临床知识图谱链接预测方法与系统）的专利文献中，利用基于神经网络的知识表示方法，能够深入捕捉三元组特征，具有较强的泛化能力，但生成的负样本很容易与正样本区分开，对训练的贡献很小；不能有效的利用知识图谱结构包含的信息，只能获取三元组的特征，难以有效的预测知识图谱中缺失的链接。

发明内容

本发明实施例提供一种基于注意力的知识图谱链接预测方法、装置、计算机设备和存储介质，以提高知识图谱链接预测的效率。

为了解决上述技术问题，本申请实施例提供一种基于注意力的知识图谱链接预测方法，所述基于注意力的知识图谱链接预测方法包括：

对知识图谱的原始数据（s,r,o）中所有实体和关系构建索引和标签，并对所述原始数据进行数据预处理，得到样本数据；

分别将实体的索引和关系的索引转化为嵌入向量，得到实体嵌入向量和关系嵌入向量，并将所述关系嵌入向量作为所述实体嵌入向量的上下文，得到融合嵌入向量；

基于所述融合嵌入向量和所述标签，对初始知识图谱链接预测模型进行训练，得到训练好的知识图谱链接预测模型，其中，所述初始知识图谱链接预测模型为包含注意力机制的神经网络模型；

将知识图谱中的实体和关系进行组合，得到模型输入数据（s,r），并将所述模型输入数据输入到所述训练好的知识图谱链接预测模型中进行预测，得到预测结果；

将所述预测结果作为尾实体，并基于所述尾实体和所述输入数据，构建三元组并加入到所述知识图谱中。

可选地，所述对知识图谱的原始数据（s,r,o）中所有实体和关系构建索引和标签，并对所述原始数据进行数据预处理，得到样本数据包括：

为原始数据（s,r,o）三元组中的所有实体和关系生成索引；

将三元组中的头实体和关系（s,r）的索引作为输入数据，构建输入数据的标签，所述标签的表现形式为1×n的矩阵，矩阵中尾实体o所在的位置为1，其余实体位置为0，作为正样本，其中，n为实体的个数；

选取K个训练好的异构的链接预测模型，作为负样本数据生成器，将三元组中的头实体和关系

输入到所述负样本数据生成器，得到K个预测结果

其中，m为输入数据的数量，pred _ji 为第j个模型对第i个（s,r）得出的预测结果，其表现形式为模型对所有实体的评分，即所有实体{O ₁ ，O ₂ ，...，O _i }是输入的（s,r）对应的尾实体的置信度，其表现形式为1×n的矩阵，n为实体数；

对pred _ji 中的评分降序排序，若在K个所述预测结果{pred _1i ，pred _2i ，...，pred _Ki }中，输入数据(s,r) _i 对应的尾实体O _i 的评分均未排在前十，则对{pred _1i ，pred _2i ，...，pred _Ki }进行混合排序，将评分排在前十的尾实体与(s,r) _i 组成十个三元组

，将(s,r) _i 作为输入数据加入到负样本集合中，其标签表现形式为1×n的矩阵，其中，O _i 所在的位置置为-1，其余实体置为0;

将所述正样本和所述负样本作为所述样本数据。

可选地，所述分别将实体的索引和关系的索引转化为嵌入向量，得到实体嵌入向量和关系嵌入向量包括:

构建一个n×m的二维权重矩阵，n为实体或关系的数量，m为嵌入维度；

将实体和关系的索引值对应一行，实体和关系的索引分别通过各自的二维权重矩阵，输出的行向量为对应的实体嵌入向量或关系嵌入向量。

可选地，所述将所述关系嵌入向量作为所述实体嵌入向量的上下文，得到融合嵌入向量包括：

基于人工神经网络构建参数生成器，将所述关系嵌入向量所述输入参数生成器中，得到上下文参数；

将上下文参数与实体嵌入向量做哈达玛积，得到与关系关联的实体向量表示，并将关系嵌入向量与所述实体向量表示堆叠得到融合嵌入向量。

可选地，所述基于所述融合嵌入向量和所述标签，对初始知识图谱链接预测模型进行训练，得到训练好的知识图谱链接预测模型包括：

将融合嵌入向量与初始知识图谱链接预测模型的自适应注意力矩阵进行哈达玛积运算，得到输入矩阵；

将所述输入矩阵通过初始知识图谱链接预测模型的卷积层进行卷积，并在经过全连接层后，与实体嵌入参数矩阵进行矩阵相乘加权后，输出预测结果；

通过得到的预测结果与标签计算损失，并通过反向传播优化模型参数，自适应注意力和参数生成器的参数，得到训练好的知识图谱链接预测模型。

为了解决上述技术问题，本申请实施例还提供一种基于注意力的知识图谱链接预测装置，包括：

样本增广模块，用于对知识图谱的原始数据（s,r,o）中所有实体和关系构建索引和标签，并对所述原始数据进行数据预处理，得到样本数据；

向量融合模块，用于分别将实体的索引和关系的索引转化为嵌入向量，得到实体嵌入向量和关系嵌入向量，并将所述关系嵌入向量作为所述实体嵌入向量的上下文，得到融合嵌入向量；

模型训练模块，用于基于所述融合嵌入向量和所述标签，对初始知识图谱链接预测模型进行训练，得到训练好的知识图谱链接预测模型，其中，所述初始知识图谱链接预测模型为包含注意力机制的神经网络模型；

链接预测模块，用于将知识图谱中的实体和关系进行组合，得到模型输入数据（s,r），并将所述模型输入数据输入到所述训练好的知识图谱链接预测模型中进行预测，得到预测结果；

知识图谱补全模块，用于将所述预测结果作为尾实体，并基于所述尾实体和所述输入数据，构建三元组并加入到所述知识图谱中。

可选地，所述样本增广模块包括：

索引生成单元，用于为原始数据（s,r,o）三元组中的所有实体和关系生成索引；

正样本生成单元，用于将三元组中的头实体和关系（s,r）的索引作为输入数据，构建输入数据的标签，所述标签的表现形式为1×n的矩阵，矩阵中尾实体o所在的位置为1，其余实体位置为0，作为正样本，其中，n为实体的个数；

负样本生成单元，用于选取K个训练好的异构的链接预测模型，作为负样本数据生成器，将三元组中的头实体和关系

输入到所述负样本数据生成器，得到K个预测结果/>

其中，m为输入数据的数量，pred _ji 为第j个模型对第i个（s,r）得出的预测结果，其表现形式为模型对所有实体的评分，即所有实体{O ₁ ，O ₂ ，...，O _i }是输入的（s,r）对应的尾实体的置信度，其表现形式为1×n的矩阵，n为实体数；

负样本确定单元，用于对pred _ji 中的评分降序排序，若在K个所述预测结果{pred _1i ，pred _2i ，...，pred _Ki }中，输入数据(s,r) _i 对应的尾实体O _i 的评分均未排在前十，则对{pred _1i ，pred _2i ，...，pred _Ki }进行混合排序，将评分排在前十的尾实体与(s,r) _i 组成十个三元组

，将(s,r) _i 作为输入数据加入到负样本集合中，其标签表现形式为1×n的矩阵，其中，O _i 所在的位置置为-1，其余实体置为0;

样本数据确定单元，用于将所述正样本和所述负样本作为所述样本数据。

可选地，所述向量融合模块包括:

权重矩阵构建单元，用于构建一个n×m的二维权重矩阵，n为实体或关系的数量，m为嵌入维度；

嵌入向量生成单元，用于将实体和关系的索引值对应一行，实体和关系的索引分别通过各自的二维权重矩阵，输出的行向量为对应的实体嵌入向量或关系嵌入向量。

可选地，所述向量融合模块还包括：

上下文参数生成单元，用于基于人工神经网络构建参数生成器，将所述关系嵌入向量所述输入参数生成器中，得到上下文参数；

向量融合单元，用于将上下文参数与实体嵌入向量做哈达玛积，得到与关系关联的实体向量表示，并将关系嵌入向量与所述实体向量表示堆叠得到融合嵌入向量。

可选地，所述模型训练模块包括：

注意力融合单元，用于将融合嵌入向量与初始知识图谱链接预测模型的自适应注意力矩阵进行哈达玛积运算，得到输入矩阵；

矩阵加权单元，用于将所述输入矩阵通过初始知识图谱链接预测模型的卷积层进行卷积，并在经过全连接层后，与实体嵌入参数矩阵进行矩阵相乘加权后，输出预测结果；

模型优化单元，用于通过得到的预测结果与标签计算损失，并通过反向传播优化模型参数，自适应注意力和参数生成器的参数，得到训练好的知识图谱链接预测模型。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于注意力的知识图谱链接预测方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于注意力的知识图谱链接预测方法的步骤。

本发明实施例提供的基于注意力的知识图谱链接预测方法、装置、计算机设备及存储介质，通过对知识图谱的原始数据（s,r,o）中所有实体和关系构建索引和标签，并对原始数据进行数据预处理，得到样本数据；分别将实体的索引和关系的索引转化为嵌入向量，得到实体嵌入向量和关系嵌入向量，并将关系嵌入向量作为实体嵌入向量的上下文，得到融合嵌入向量；基于融合嵌入向量和标签，对初始知识图谱链接预测模型进行训练，得到训练好的知识图谱链接预测模型，其中，初始知识图谱链接预测模型为包含注意力机制的神经网络模型；将知识图谱中的实体和关系进行组合，得到模型输入数据（s,r），并将模型输入数据输入到训练好的知识图谱链接预测模型中进行预测，得到预测结果；将预测结果作为尾实体，并基于尾实体和输入数据，构建三元组并加入到知识图谱中。实现采用简单模型捕获知识图谱的结构信息，进而进行补全处理，提高知识图谱链接预测的效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2是本申请的基于注意力的知识图谱链接预测方法的一个实施例的流程图；

图3是根据本申请的基于注意力的知识图谱链接预测装置的一个实施例的结构示意图；

图4是根据本申请的计算机设备的一个实施例的结构示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器( Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3 )、MP4( Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4 )播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的基于注意力的知识图谱链接预测方法由服务器执行，相应地，基于注意力的知识图谱链接预测装置设置于服务器中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器，本申请实施例中的终端设备101、102、103具体可以对应的是实际生产中的应用系统。

请参阅图2，图2示出本发明实施例提供的一种基于注意力的知识图谱链接预测方法，以该方法应用在图1中的服务端为例进行说明，详述如下：

S201：对知识图谱的原始数据（s,r,o）中所有实体和关系构建索引和标签，并对原始数据进行数据预处理，得到样本数据。

在一具体可选实施方式中，对知识图谱的原始数据（s,r,o）中所有实体和关系构建索引和标签，并对原始数据进行数据预处理，得到样本数据包括：

为原始数据（s,r,o）三元组中的所有实体和关系生成索引；

将三元组中的头实体和关系（s,r）的索引作为输入数据，构建输入数据的标签，标签的表现形式为1×n的矩阵，矩阵中尾实体o所在的位置为1，其余实体位置为0，作为正样本，其中，n为实体的个数；

选取K个训练好的异构的链接预测模型，作为负样本数据生成器，将三元组中的头实体和关系

输入到负样本数据生成器，得到K个预测结果

其中，m为输入数据的数量，为第j个模型对第i个（s,r）得出的预测结果，其表现形式为模型对所有实体的评分，即所有实体{O ₁ ，O ₂ ，...，O _i }是输入的（s,r）对应的尾实体的置信度，其表现形式为1×n的矩阵，n为实体数；

对pred _ji 中的评分降序排序，若在K个预测结果{pred _1i ，pred _2i ，...，pred _Ki }中，输入数据(s,r) _i 对应的尾实体O _i 的评分均未排在前十，则对{pred _1i ，pred _2i ，...，pred _Ki }进行混合排序，将评分排在前十的尾实体与(s,r) _i 组成十个三元组

，将(s,r) _i 作为输入数据加入到负样本集合中，其标签表现形式为1×n的矩阵，其中，O _i 所在的位置置为-1，其余实体置为0;

将正样本和负样本作为样本数据。

S202：分别将实体的索引和关系的索引转化为嵌入向量，得到实体嵌入向量和关系嵌入向量，并将关系嵌入向量作为实体嵌入向量的上下文，得到融合嵌入向量。

在一具体可选实施方式中，分别将实体的索引和关系的索引转化为嵌入向量，得到实体嵌入向量和关系嵌入向量包括:

构建一个n×m的二维权重矩阵，n为实体或关系的数量，m为嵌入维度；

将实体和关系的索引值对应一行，实体和关系的索引分别通过各自的二维权重矩阵，输出的行向量为对应的实体嵌入向量或关系嵌入向量。

在一具体可选实施方式中，将关系嵌入向量作为实体嵌入向量的上下文，得到融合嵌入向量包括：

基于人工神经网络构建参数生成器，将关系嵌入向量输入参数生成器中，得到上下文参数；

将上下文参数与实体嵌入向量做哈达玛积，得到与关系关联的实体向量表示，并将关系嵌入向量与实体向量表示堆叠得到融合嵌入向量。

本实施例中，通过融合嵌入向量，引入上下文参数生成器，为每个知识图谱三元组学习独特的向量表示，更好捕获每个三元组中的特征。

S203：基于融合嵌入向量和标签，对初始知识图谱链接预测模型进行训练，得到训练好的知识图谱链接预测模型，其中，初始知识图谱链接预测模型为包含注意力机制的神经网络模型。

在一具体可选实施方式中，基于融合嵌入向量和标签，对初始知识图谱链接预测模型进行训练，得到训练好的知识图谱链接预测模型包括：

将融合嵌入向量与初始知识图谱链接预测模型的自适应注意力矩阵进行哈达玛积运算，得到输入矩阵；

将输入矩阵通过初始知识图谱链接预测模型的卷积层进行卷积，并在经过全连接层后，与实体嵌入参数矩阵进行矩阵相乘加权后，输出预测结果；

通过得到的预测结果与标签计算损失，并通过反向传播优化模型参数，自适应注意力和参数生成器的参数，得到训练好的知识图谱链接预测模型。

S204：将知识图谱中的实体和关系进行组合，得到模型输入数据（s,r），并将模型输入数据输入到训练好的知识图谱链接预测模型中进行预测，得到预测结果；

S205：将预测结果作为尾实体，并基于尾实体和输入数据，构建三元组并加入到知识图谱中。

本实施例中，对知识图谱的原始数据（s,r,o）中所有实体和关系构建索引和标签，并对原始数据进行数据预处理，得到样本数据；分别将实体的索引和关系的索引转化为嵌入向量，得到实体嵌入向量和关系嵌入向量，并将关系嵌入向量作为实体嵌入向量的上下文，得到融合嵌入向量；基于融合嵌入向量和标签，对初始知识图谱链接预测模型进行训练，得到训练好的知识图谱链接预测模型，其中，初始知识图谱链接预测模型为包含注意力机制的神经网络模型；将知识图谱中的实体和关系进行组合，得到模型输入数据（s,r），并将模型输入数据输入到训练好的知识图谱链接预测模型中进行预测，得到预测结果；将预测结果作为尾实体，并基于尾实体和输入数据，构建三元组并加入到知识图谱中。实现采用简单模型捕获知识图谱的结构信息，进而进行补全处理，提高知识图谱链接预测的效率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

图3示出与上述实施例基于注意力的知识图谱链接预测方法一一对应的基于注意力的知识图谱链接预测装置的原理框图。如图3所示，该基于注意力的知识图谱链接预测装置包括样本增广模块31、向量融合模块32、模型训练模块33、链接预测模块34和知识图谱补全模块35。各功能模块详细说明如下：

样本增广模块31，用于对知识图谱的原始数据（s,r,o）中所有实体和关系构建索引和标签，并对原始数据进行数据预处理，得到样本数据；

向量融合模块32，用于分别将实体的索引和关系的索引转化为嵌入向量，得到实体嵌入向量和关系嵌入向量，并将关系嵌入向量作为实体嵌入向量的上下文，得到融合嵌入向量；

模型训练模块33，用于基于融合嵌入向量和标签，对初始知识图谱链接预测模型进行训练，得到训练好的知识图谱链接预测模型，其中，初始知识图谱链接预测模型为包含注意力机制的神经网络模型；

链接预测模块34，用于将知识图谱中的实体和关系进行组合，得到模型输入数据（s,r），并将模型输入数据输入到训练好的知识图谱链接预测模型中进行预测，得到预测结果；

知识图谱补全模块35，用于将预测结果作为尾实体，并基于尾实体和输入数据，构建三元组并加入到知识图谱中。

可选地，样本增广模块包括31：

索引生成单元，用于为原始数据（s,r,o）三元组中的所有实体和关系生成索引；

正样本生成单元，用于将三元组中的头实体和关系（s,r）的索引作为输入数据，构建输入数据的标签，标签的表现形式为1×n的矩阵，矩阵中尾实体o所在的位置为1，其余实体位置为0，作为正样本，其中，n为实体的个数；

负样本生成单元，用于选取K个训练好的异构的链接预测模型，作为负样本数据生成器，将三元组中的头实体和关系

输入到负样本数据生成器，得到K个预测结果/>

其中，m为输入数据的数量，pred _ji 为第j个模型对第i个（s,r）得出的预测结果，其表现形式为模型对所有实体的评分，即所有实体{O ₁ ，O ₂ ，...，O _i }是输入的（s,r）对应的尾实体的置信度，其表现形式为1×n的矩阵，n为实体数；

负样本确定单元，用于对pred _ji 中的评分降序排序，若在K个预测结果{pred _1i ，pred _2i ，...，pred _Ki }中，输入数据(s,r) _i 对应的尾实体O _i 的评分均未排在前十，则对{pred _1i ，pred _2i ，...，pred _Ki }进行混合排序，将评分排在前十的尾实体与(s,r) _i 组成十个三元组

，将(s,r) _i 作为输入数据加入到负样本集合中，其标签表现形式为1×n的矩阵，其中，O _i 所在的位置置为-1，其余实体置为0;

样本数据确定单元，用于将正样本和负样本作为样本数据。

可选地，向量融合模块32包括:

权重矩阵构建单元，用于构建一个n×m的二维权重矩阵，n为实体或关系的数量，m为嵌入维度；

嵌入向量生成单元，用于将实体和关系的索引值对应一行，实体和关系的索引分别通过各自的二维权重矩阵，输出的行向量为对应的实体嵌入向量或关系嵌入向量。

可选地，向量融合模块32还包括：

上下文参数生成单元，用于基于人工神经网络构建参数生成器，将关系嵌入向量输入参数生成器中，得到上下文参数；

向量融合单元，用于将上下文参数与实体嵌入向量做哈达玛积，得到与关系关联的实体向量表示，并将关系嵌入向量与实体向量表示堆叠（Concat）得到融合嵌入向量。

可选地，模型训练模块33包括：

注意力融合单元，用于将融合嵌入向量与初始知识图谱链接预测模型的自适应注意力矩阵进行哈达玛积运算，得到输入矩阵；

矩阵加权单元，用于将输入矩阵通过初始知识图谱链接预测模型的卷积层进行卷积，并在经过全连接层后，与实体嵌入参数矩阵进行矩阵相乘加权后，输出预测结果；

模型优化单元，用于通过得到的预测结果与标签计算损失，并通过反向传播优化模型参数，自适应注意力和参数生成器的参数，得到训练好的知识图谱链接预测模型。

关于基于注意力的知识图谱链接预测装置的具体限定可以参见上文中对于基于注意力的知识图谱链接预测方法的限定，在此不再赘述。上述基于注意力的知识图谱链接预测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。

所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器 (Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或D界面显示存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如基于注意力的知识图谱链接预测的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器42在一些实施例中可以是中央处理器（Central Processing Unit，CPU）、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行基于注意力的知识图谱链接预测的程序代码。

所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于注意力的知识图谱链接预测方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种基于注意力的知识图谱链接预测方法，其特征在于，包括：

对知识图谱的原始数据（s,r,o）中所有实体和关系构建索引和标签，并对所述原始数据进行数据预处理，得到样本数据；

分别将样本数据中实体的索引和关系的索引转化为嵌入向量，得到实体嵌入向量和关系嵌入向量，并将所述关系嵌入向量作为所述实体嵌入向量的上下文，得到融合嵌入向量；

基于所述融合嵌入向量和所述标签，对初始知识图谱链接预测模型进行训练，得到训练好的知识图谱链接预测模型，其中，所述初始知识图谱链接预测模型为包含注意力机制的神经网络模型；

将知识图谱中的实体和关系进行组合，得到模型输入数据（s,r），并将所述模型输入数据输入到所述训练好的知识图谱链接预测模型中进行预测，得到预测结果；

将所述预测结果作为尾实体，并基于所述尾实体和所述输入数据，构建三元组并加入到所述知识图谱中。

2.如权利要求1所述的基于注意力的知识图谱链接预测方法，其特征在于，所述对知识图谱的原始数据（s,r,o）中所有实体和关系构建索引和标签，并对所述原始数据进行数据预处理，得到样本数据包括：

为原始数据（s,r,o）三元组中的所有实体和关系生成索引；

将三元组中的头实体和关系（s,r）的索引作为输入数据，构建输入数据的标签，所述标签的表现形式为1×n的矩阵，矩阵中尾实体o所在的位置为1，其余实体位置为0，作为正样本，其中，n为实体的个数；

选取K个训练好的异构的链接预测模型，作为负样本数据生成器，将三元组中的头实体和关系

输入到所述负样本数据生成器，得到K个预测结果

其中，m为输入数据的数量，pred _ji 为第j个模型对第i个（s,r）得出的预测结果，其表现形式为模型对所有实体的评分，即所有实体{O ₁ ，O ₂ ，...，O _i }是输入的（s,r）对应的尾实体的置信度，其表现形式为1×n的矩阵，n为实体数；

对pred _ji 中的评分降序排序，若在K个所述预测结果{pred _1i ，pred _2i ，...，pred _Ki }中，输入数据(s,r) _i 对应的尾实体O _i 的评分均未排在前十，则对{pred _1i ，pred _2i ，...，pred _Ki }进行混合排序，将评分排在前十的尾实体与(s,r) _i 组成十个三元组

，将(s,r) _i 作为输入数据加入到负样本集合中，其标签表现形式为1×n的矩阵，其中，O _i 所在的位置置为-1，其余实体置为0;

将所述正样本和所述负样本作为所述样本数据。

3.如权利要求1所述的基于注意力的知识图谱链接预测方法，其特征在于，所述分别将实体的索引和关系的索引转化为嵌入向量，得到实体嵌入向量和关系嵌入向量包括:

构建一个n×m的二维权重矩阵，n为实体或关系的数量，m为嵌入维度；

将实体和关系的索引值对应一行，实体和关系的索引分别通过各自的二维权重矩阵，输出的行向量为对应的实体嵌入向量或关系嵌入向量。

4.如权利要求1所述的基于注意力的知识图谱链接预测方法，其特征在于，所述将所述关系嵌入向量作为所述实体嵌入向量的上下文，得到融合嵌入向量包括：

基于人工神经网络构建参数生成器，将所述关系嵌入向量所述输入参数生成器中，得到上下文参数；

将上下文参数与实体嵌入向量做哈达玛积，得到与关系关联的实体向量表示，并将关系嵌入向量与所述实体向量表示堆叠得到融合嵌入向量。

5.如权利要求1所述的基于注意力的知识图谱链接预测方法，其特征在于，所述基于所述融合嵌入向量和所述标签，对初始知识图谱链接预测模型进行训练，得到训练好的知识图谱链接预测模型包括：

将融合嵌入向量与初始知识图谱链接预测模型的自适应注意力矩阵进行哈达玛积运算，得到输入矩阵；

将所述输入矩阵通过初始知识图谱链接预测模型的卷积层进行卷积，并在经过全连接层后，与实体嵌入参数矩阵进行矩阵相乘加权后，输出预测结果；

通过得到的预测结果与标签计算损失，并通过反向传播优化模型参数，自适应注意力和参数生成器的参数，得到训练好的知识图谱链接预测模型。

6.一种基于注意力的知识图谱链接预测装置，其特征在于，包括：

样本增广模块，用于对知识图谱的原始数据（s,r,o）中所有实体和关系构建索引和标签，并对所述原始数据进行数据预处理，得到样本数据；

向量融合模块，用于分别将实体的索引和关系的索引转化为嵌入向量，得到实体嵌入向量和关系嵌入向量，并将所述关系嵌入向量作为所述实体嵌入向量的上下文，得到融合嵌入向量；

模型训练模块，用于基于所述融合嵌入向量和所述标签，对初始知识图谱链接预测模型进行训练，得到训练好的知识图谱链接预测模型，其中，所述初始知识图谱链接预测模型为包含注意力机制的神经网络模型；

链接预测模块，用于将知识图谱中的实体和关系进行组合，得到模型输入数据（s,r），并将所述模型输入数据输入到所述训练好的知识图谱链接预测模型中进行预测，得到预测结果；

知识图谱补全模块，用于将所述预测结果作为尾实体，并基于所述尾实体和所述输入数据，构建三元组并加入到所述知识图谱中。

7.如权利要求6所述的基于注意力的知识图谱链接预测装置，其特征在于，所述向量融合模块包括:

权重矩阵构建单元，用于构建一个n×m的二维权重矩阵，n为实体或关系的数量，m为嵌入维度；

嵌入向量生成单元，用于将实体和关系的索引值对应一行，实体和关系的索引分别通过各自的二维权重矩阵，输出的行向量为对应的实体嵌入向量或关系嵌入向量。

8.如权利要求6所述的基于注意力的知识图谱链接预测装置，其特征在于，所述向量融合模块还包括：

上下文参数生成单元，用于基于人工神经网络构建参数生成器，将所述关系嵌入向量所述输入参数生成器中，得到上下文参数；

向量融合单元，用于将上下文参数与实体嵌入向量做哈达玛积，得到与关系关联的实体向量表示，并将关系嵌入向量与所述实体向量表示堆叠得到融合嵌入向量。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的基于注意力的知识图谱链接预测方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的基于注意力的知识图谱链接预测方法。

Images