CN114064627A - 一种针对多重关系的知识图谱链接补全方法及系统 - Google Patents

一种针对多重关系的知识图谱链接补全方法及系统 Download PDF

Info

Publication number
CN114064627A
CN114064627A CN202111406286.XA CN202111406286A CN114064627A CN 114064627 A CN114064627 A CN 114064627A CN 202111406286 A CN202111406286 A CN 202111406286A CN 114064627 A CN114064627 A CN 114064627A
Authority
CN
China
Prior art keywords
matrix
relation
graph
knowledge graph
entity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111406286.XA
Other languages
English (en)
Inventor
韩忠明
张翙
段大高
熊海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Technology and Business University
Original Assignee
Beijing Technology and Business University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Technology and Business University filed Critical Beijing Technology and Business University
Priority to CN202111406286.XA priority Critical patent/CN114064627A/zh
Publication of CN114064627A publication Critical patent/CN114064627A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/288—Entity relationship models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明涉及一种一种针对多重关系的知识图谱链接补全方法及系统，方法包括：获取待补全的知识图谱三元组数据；将所述待补全的知识图谱三元组数据输入知识图谱链接补全模型，得到三元组补全结果；所述知识图谱链接补全模型是根据知识图谱数据构建的；所述知识图谱链接补全模型包括图卷积神经层、多关系注意力网络层和链路预测层；所述图卷积神经层的输出端和所述多关系注意力网络层的输出端均与所述链路预测层连接。本发明能够有效挖掘知识图谱结构特征与多关系特征，快速准确地完成知识图谱补全任务。

Description

一种针对多重关系的知识图谱链接补全方法及系统
技术领域
本发明涉及知识图谱领域，特别是涉及一种针对多重关系的知识图谱链接补全方法及系统。
背景技术
知识图谱组织了大量人类知识，并将其定义为三元组的格式进行存储，在三元组(清华大学，位于，北京)中，“清华大学”和“北京”分别为头实体(head entity)和尾实体(tail entity)、“位于”称为关系(relation)。近年来越来越多知识图谱运用在了各类应用上，比如机器阅读理解，信息检索等。但如今大部分的知识图谱是不完整的，存在着大量的缺失部分，例如Freebase中有30％的人物实体缺少记录他们父母亲信息的三元组。而这些覆盖面的缺失会对下游的各种知识图谱应用产生影响。
知识图谱补全就是向一个已有的知识图谱中增加新的三元组，且加入的三元组必须是客观事实。主要有两个渠道的信息可以用于补全知识图谱：1.从一个知识图谱已有的三元组来推理新的三元组。2.从文本中抽取新的实体和新的三元组。知识图谱嵌入模型就是利用了第一个渠道，为每个实体学习一个稠密的向量表示，同时基于实体的向量表示计算每个三元组的可信度。传统的知识图谱嵌入方法，将每个三元组单独考虑，把关系看作头尾实体的转化，有效利用了三元组本身的信息，典型的有TransE系列和DistMult等。这些方法无法捕获实体的邻域中存在的有用信息，舍弃了知识图谱作为图的结构特点。
发明内容
本发明的目的是提供一种针对多重关系的知识图谱链接补全方法及系统，能够有效挖掘知识图谱结构特征与多关系特征，快速准确地完成知识图谱补全任务。
为实现上述目的，本发明提供了如下方案：
一种针对多重关系的知识图谱链接补全方法，包括：
获取待补全的知识图谱三元组数据；
将所述待补全的知识图谱三元组数据输入知识图谱链接补全模型，得到三元组补全结果；所述知识图谱链接补全模型是根据知识图谱数据构建的；所述知识图谱链接补全模型包括图卷积神经层、多关系注意力网络层和链路预测层；所述图卷积神经层的输出端和所述多关系注意力网络层的输出端均与所述链路预测层连接。
可选地，所述知识图谱链接补全模型的构建过程包括：
获取知识图谱数据；
根据所述知识图谱数据确定拓扑图邻接矩阵和多关系邻居矩阵；
利用所述图卷积神经层对所述拓扑图邻接矩阵进行结构特征提取，得到结构特征嵌入矩阵；
利用所述多关系注意力网络层对所述多关系邻居矩阵进行实体邻居特征提取，得到多关系嵌入矩阵；
对所述结构特征嵌入矩阵和所述多关系嵌入矩阵进行聚合，得到实体嵌入矩阵；
利用所述链路预测层对所述实体嵌入矩阵进行链接预测，得到知识图谱链接补全模型。
可选地，所述利用所述多关系注意力网络层对所述多关系邻居矩阵进行实体邻居特征提取，得到多关系嵌入矩阵，具体包括：
将所述多关系邻居矩阵、初始化的初始实体特征和初始化的关系嵌入进行拼接，得到注意力系数；
将所述注意力系统与所述多关系邻居矩阵中邻居的实体嵌入相乘，得到多关系嵌入矩阵。
可选地，所述利用所述链路预测层对所述实体嵌入矩阵进行链接预测，得到知识图谱链接补全模型，具体包括：
根据所述知识图谱数据中的缺失三元组的缺失类型和所述实体嵌入矩阵确定张量；
将所述张量利用欧式距离进行匹配，得到知识图谱链接补全模型；所述欧氏距离为所述张量与所述知识图谱数据中实体的欧氏距离。
一种针对多重关系的知识图谱链接补全系统，包括：
获取模块，用于获取待补全的知识图谱三元组数据；
补全模块，用于将所述待补全的知识图谱三元组数据输入知识图谱链接补全模型，得到三元组补全结果；所述知识图谱链接补全模型是根据知识图谱数据构建的；所述知识图谱链接补全模型包括图卷积神经层、多关系注意力网络层和链路预测层；所述图卷积神经层的输出端和所述多关系注意力网络层的输出端均与所述链路预测层连接。
可选地，还包括构建模块，所述构建模块具体包括：
获取单元，用于获取知识图谱数据；
拓扑图邻接矩阵和多关系邻居矩阵确定单元，用于根据所述知识图谱数据确定拓扑图邻接矩阵和多关系邻居矩阵；
结构特征提取单元，用于利用所述图卷积神经层对所述拓扑图邻接矩阵进行结构特征提取，得到结构特征嵌入矩阵；
实体邻居特征提取单元，用于利用所述多关系注意力网络层对所述多关系邻居矩阵进行实体邻居特征提取，得到多关系嵌入矩阵；
聚合单元，用于对所述结构特征嵌入矩阵和所述多关系嵌入矩阵进行聚合，得到实体嵌入矩阵；
链接预测单元，用于利用所述链路预测层对所述实体嵌入矩阵进行链接预测，得到知识图谱链接补全模型。
可选地，所述实体邻居特征提取单元，具体包括：
拼接子单元，用于将所述多关系邻居矩阵、初始化的初始实体特征和初始化的关系嵌入进行拼接，得到注意力系数；
相乘子单元，用于将所述注意力系统与所述多关系邻居矩阵中邻居的实体嵌入相乘，得到多关系嵌入矩阵。
可选地，所述链接预测单元，具体包括：
张量确定子单元，用于根据所述知识图谱数据中的缺失三元组的缺失类型和所述实体嵌入矩阵确定张量；
匹配子单元，用于将所述张量利用欧式距离进行匹配，得到知识图谱链接补全模型；所述欧氏距离为所述张量与所述知识图谱数据中实体的欧氏距离。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供的一种针对多重关系的知识图谱链接补全方法及系统，将待补全的知识图谱三元组数据输入知识图谱链接补全模型，得到三元组补全结果；所述知识图谱链接补全模型是根据知识图谱数据构建的；所述知识图谱链接补全模型包括图卷积神经层、多关系注意力网络层和链路预测层；所述图卷积神经层的输出端和所述多关系注意力网络层的输出端均与所述链路预测层连接。将图卷积神经层与多关系注意力网络层用于知识图谱三元组补齐，能有效利用知识图谱中三元组本身信息与知识图谱整体结构信息，将图卷积神经层与特定于关系的多关系注意力网络层结合，能够全面有效地聚合实体邻居特征，提高模型的预测性能，以便准确高效地完成知识图谱补全任务。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的针对多重关系的知识图谱链接补全方法流程图；
图2为本发明提供的针对多重关系的知识图谱链接补全方法在实际应用中的流程图；
图3为本发明提供的知识图谱链接补全模型构建的流程图；
图4为本发明提供的知识图谱链接补全模型示意图；
图5为本发明提供的GCN结构示意图；
图6为本发明提供的Mulit-RAttE结构示意图；
图7为本发明提供的针对多重关系的知识图谱链接补全系统示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种针对多重关系的知识图谱链接补全方法及系统，能够有效挖掘知识图谱结构特征与多关系特征，快速准确地完成知识图谱补全任务。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明提供的一种针对多重关系的知识图谱链接补全方法，包括：
步骤201：获取待补全的知识图谱三元组数据。
步骤202：将所述待补全的知识图谱三元组数据输入知识图谱链接补全模型，得到三元组补全结果；所述知识图谱链接补全模型是根据知识图谱数据构建的；所述知识图谱链接补全模型包括图卷积神经层、多关系注意力网络层和链路预测层；所述图卷积神经层的输出端和所述多关系注意力网络层的输出端均与所述链路预测层连接。
在实际应用中，所述知识图谱链接补全模型的构建过程包括：
获取知识图谱数据。
根据所述知识图谱数据确定拓扑图邻接矩阵和多关系邻居矩阵。
利用所述图卷积神经层对所述拓扑图邻接矩阵进行结构特征提取，得到结构特征嵌入矩阵。
利用所述多关系注意力网络层对所述多关系邻居矩阵进行实体邻居特征提取，得到多关系嵌入矩阵。其中，所述利用所述多关系注意力网络层对所述多关系邻居矩阵进行实体邻居特征提取，得到多关系嵌入矩阵，具体包括：将所述多关系邻居矩阵、初始化的初始实体特征和初始化的关系嵌入进行拼接，得到注意力系数；将所述注意力系统与所述多关系邻居矩阵中邻居的实体嵌入相乘，得到多关系嵌入矩阵。
对所述结构特征嵌入矩阵和所述多关系嵌入矩阵进行聚合，得到实体嵌入矩阵。
利用所述链路预测层对所述实体嵌入矩阵进行链接预测，得到知识图谱链接补全模型。其中，所述利用所述链路预测层对所述实体嵌入矩阵进行链接预测，得到知识图谱链接补全模型，具体包括：根据所述知识图谱数据中的缺失三元组的缺失类型和所述实体嵌入矩阵确定张量；将所述张量利用欧式距离进行匹配，得到知识图谱链接补全模型；所述欧氏距离为所述张量与所述知识图谱数据中实体的欧氏距离。
如图2所示，本发明还提供一种针对多重关系的知识图谱链接补全方法在实际应用中的具体工作流程。该方法包括：
步骤101：根据知识图谱数据构建知识图谱链接补全模型。
根据知识图谱数据构建知识图谱链接补全模型，具体包括：
根据知识图谱数据构造知识图谱拓扑图和实体多关系邻居矩阵；将拓扑图输入至图卷积神经层中，得到结构嵌入矩阵，所述结构嵌入矩阵为知识图谱的结构信息；将所述实体多关系邻居矩阵输入至多关系注意力网络，得到多关系嵌入矩阵，所述多关系嵌入矩阵为知识图谱各实体通过聚合邻居信息获得的特征；将所述结构嵌入矩阵和多关系嵌入矩阵进行聚合，得到最终实体嵌入矩阵。根据所述实体嵌入矩阵，进行链接预测完成知识图谱补全任务。知识图谱补全任务包括：根据头、尾实体预测关系类型、根据头实体和关系预测尾实体以及根据关系和尾实体预测头实体。
如图4所示，所述知识图谱链接补全模型包括：图卷积神经层、多关系注意力网络层、链路预测层，所述图卷积神经层的输出端与所述多关系注意力网络层的输出端得到的数据进行加权求和后输入至所述链路预测层。图卷积神经层用于捕获知识图谱中存在的结构特征，多关系注意力网络可以对各个实体的多种关系下的邻居采用不同的权重聚合信息，捕获实体邻居特征。将图卷积神经层的结果与多关系注意力网络的结果聚合，作为链路预测层的输入，实现知识图谱链接补全。
本发明以谷歌发布的freebase数据派生子数据FB15k-237数据为例，下载地址为：https://deepai.org/dataset/fb15k-237。此数据包含14,541个实体、237种关系、271,115条训练三元组数据。
如图3所示，步骤1011：加载知识图谱数据，构造知识图谱拓扑图和实体多关系邻居矩阵。
知识图谱的拓扑图由知识图谱的实体和实体间的关系构成，拓扑图中的节点数为实体数量，在本发明中，节点数量为14，541个。用邻接矩阵A表示构建的拓扑图，维度为E×E，E代表实体。在本发明中，A的维度为14541×14541。构建一个无向无权图，具体公式如下：
Figure BDA0003372925910000071
不考虑实体之间关系的多样性，仅考虑实体之间是否存在联系，这样构建的拓扑图是一个无向的同构图。将构建的邻接矩阵作为图卷积神经层的输入。
实体多关系邻居矩阵是一个E×R×N的三维矩阵，其中E代表实体数量，R代表关系，N代表邻居，元素
Figure BDA0003372925910000072
代表实体i的关系r条件下拥有的N个邻居。在本发明中，为每个实体的每类关系采样10个邻居，最终获得14541×237×10的三维数据。
在采样邻居的过程中，对于实体i和关系r，若不存在以关系r与实体i相关联的实体k，则将实体i本身作为
Figure BDA0003372925910000073
若以关系r与实体i相关联的实体k数量大于N(在本发明中为10)，则在实体k集合中随机选择10个作为最终
Figure BDA0003372925910000074
若以关系r与实体i相关联的实体k数量小于N(在本发明中为10)，则在实体k集合中随机重复采样直至10，作为最终
Figure BDA0003372925910000075
将构建的实体多关系邻居矩阵作为多关系注意力网络的输入。
步骤1012：将上述拓扑图邻接矩阵输入图卷积神经层，得到结构特征嵌入矩阵。所述结构特征嵌入矩阵为每个实体的结构特征。
如图5所示，GCN模型能有效学习知识图谱全局结构信息，通过不含关系信息的拓扑图学习到的拓扑信息能有效代表知识图谱的整体结构特征。
GCN是一个特征提取器，其基本思想在于对任意节点，从它的邻居节点处获取特征信息。在本发明中的GCN中包含3个模块：图卷积1、图卷积2、Dropout层。每层图卷积神经层的输入为实体特征矩阵H和上述邻接矩阵A，而图卷积神经层的输出为下一层图卷积神经层的输入。神经层之间信息传递方式如下：
Figure BDA0003372925910000081
A为图的邻接矩阵，D为度矩阵，其中Dii＝∑jAij，W为权重，Hl是当前层输入的特征矩阵。H0为初始实体特征，通常遵循均值分布或者高斯分布进行初始化。初始的特征矩阵
Figure BDA0003372925910000082
n表示实体，d表示实体嵌入的维度。σ是非线性激活函数，一般使用sigmoid或者ReLU激活函数。在这里使用ReLU，将输出的张量中小于0的位置对应的元素值变为0。
通过两层卷积层后的特征矩阵H2经过Dropout层得到最终结构特征嵌入
Figure BDA0003372925910000083
将特征嵌入的维度设置为200，则最终结构特征嵌入Xs的大小为14541×200。
步骤1013：将所述实体多关系邻居矩阵输入至多关系注意力网络，得到多关系嵌入矩阵，所述多关系嵌入矩阵为知识图谱各实体通过聚合邻居信息获得的特征。
如图6所示，知识图谱作为特殊的图结构，在知识图谱中存在多类型的边(也叫做关系)。本发明着重考虑了知识图谱中两个实体之间存在多类关系的情况，构造了一个新的多关系注意力框架，帮助神经网络获得知识图谱实体之间的复杂关系。
在注意力机制中，针对不同的相邻实体的重要性进行邻居消息传递与聚合，且学习到的注意力是非对称的，能有效的反映知识图谱的有向性。对于一个实体的不同关系采用不同的注意力系数，形成特定于关系的注意力网络，捕获实体之间的关系，获得最终实体的多关系嵌入矩阵。
将邻居矩阵
Figure BDA0003372925910000091
步骤1012中初始化的初始实体嵌入
Figure BDA0003372925910000092
和初始化的关系嵌入
Figure BDA0003372925910000093
作为多关系注意力机制的输入，从而得到多关系注意力矩阵
Figure BDA0003372925910000094
注意力矩阵中Att(i,r,j)代表实体i的嵌入与在关系r时与第j个邻居的嵌入之间的注意力系数。将多关系实体邻居矩阵中邻居的实体嵌入与注意力系数相乘，得到实体对应的多关系嵌入矩阵。
注意力系数矩阵计算如下，首先按照注意力机制的基础准则，对于实体i、关系r和邻居j，将实体i的嵌入
Figure BDA0003372925910000095
作为注意力机制的查询向量Query；将关系r的嵌入REr与实体j的嵌入拼接后通过线性层生成的d维向量作为被查向量Key；最后将实体j的嵌入作为内容向量Value。具体的计算过程如下：
Figure BDA0003372925910000096
Figure BDA0003372925910000097
Qi为实体i的查询向量，它由实体i的初始嵌入
Figure BDA0003372925910000098
通过参数W进行特征增维获得，这是一种常见的特征增强方法。Kj为实体j的被查向量，实体j的嵌入
Figure BDA0003372925910000099
也通过参数W进行特征增维，之后与关系嵌入REr拼接，其向量维度变为2*d，通过线性层Linear将维度为2*d的拼接向量变换回d维向量作为实体j的被查向量。
αi,j＝softmax(σ(ar([Qi||Kj])))
在计算实体i与其实体邻居j的注意力系数时，将实体i的查询向量Qi和实体邻居j的被查向量Kj拼接，使用特定于关系r的可学习的参数ar将拼接后的高维特征映射为一个实数，ar的维度为R×d×1，每类关系对应一组参数。通过上述操作，学习到了实体i与其邻居j的相关性，通过激活函数σ()后对相关系数进行归一化，即softmax操作即可学习到最终的注意力系数αi,j。
根据求得的注意力系数，将实体的邻居特征加权聚合，公式如下：
Figure BDA00033729259100000910
Figure BDA0003372925910000101
Vj是实体j的内容向量，它是由实体j的嵌入
Figure BDA0003372925910000102
通过参数W进行特征增强之后获得的。
Figure BDA0003372925910000103
是通过多关系注意力机制学得的实体i的融合邻域信息的新特征，式中
Figure BDA0003372925910000104
代表实体i的邻居集。将X'm通过Dropout层，获得实体的多关系特征矩阵Xm∈E×d。
步骤1014：将所述结构嵌入矩阵和多关系嵌入矩阵进行聚合，得到最终实体嵌入矩阵。
结构嵌入矩阵反映知识图谱整体结构特征，多关系嵌入矩阵反映实体局部邻域特征，将结构嵌入矩阵与多关系嵌入矩阵拼接，拼接后的矩阵维度大小为E×2d。将拼接后的矩阵用线性映射的方式变换维度，最终获得维度为E×d的实体嵌入矩阵X。具体公式如下：
X＝Linear([Xs||Xm])
式中Xs，Xm分别代表结构嵌入矩阵和多关系嵌入矩阵。
步骤1015：根据所述实体嵌入矩阵，进行链接预测完成知识图谱补全任务。
对于一个缺失的三元组，存在三种缺失情况，分别为(h，r，？)、(h，？，t)和(？，r，t)。其中h和t分别表示头实体与尾实体、r表示头尾实体之间的关系。
若输入的三元组形式为(h，r，？)，则补全任务为通过头实体与关系预测尾实体。具体过程为：
从实体嵌入矩阵中选出h实体的嵌入，将其与关系嵌入矩阵选出的r关系的嵌入拼接后得到的高维嵌入通过线性映射生成维度与实体嵌入相同的张量，称为t’。将t’与所有实体的嵌入通过计算欧式距离进行匹配，距离最小的实体得分最高。
score(h,r,j)＝γ-||t'-Xj||2
γ是gamma系数，用来防止得分出现负数。得分最高的j作为三元组补齐的结果(h，t，j)；
若输入的三元组形式为(h，？，t)，则补全任务为通过头实体与尾实体预测实体之间关系。具体过程为：
从实体嵌入矩阵中选出h实体与t实体的嵌入，将h实体的嵌入与所有关系嵌入拼接后得到的高维嵌入通过线性映射生成维度与实体嵌入相同的张量矩阵，称为
Figure BDA0003372925910000111
将Mt每行与t实体的嵌入通过计算欧式距离进行匹配，距离最小的关系得分最高。
Figure BDA0003372925910000112
γ是gamma系数，用来防止得分出现负数。得分最高的r’作为三元组补齐的结果(h，r’，t)；
若输入的三元组形式为(？，r，t)，则补全任务为通过关系与尾实体预测头实体。具体过程为：
从关系嵌入矩阵选出的r关系的嵌入，将其与实体嵌入矩阵中选出t实体的嵌入拼接后得到的高维嵌入通过线性映射生成维度与实体嵌入相同的张量，称为h’。将h’与所有实体的嵌入通过计算欧式距离进行匹配，距离最小的实体得分最高。
score(j,r,t)＝γ-||h'-Xj||2
γ是gamma系数，用来防止得分出现负数。得分最高的j作为三元组补齐的结果(j，r，t)。
假设输入的三元组类型为(h，r，？)，首先在实体嵌入矩阵(设其维度为3×3，共3个实体)中取出h实体的嵌入Xh＝[0.1,0.2,0.1]，在关系嵌入中取出关系r的嵌入REr＝[0.5,0.5,1]。将Xh与REr拼接后得到的张量[0.1,0.2,0.1,0.5,0.5,1]通过线性映射变换成维度为3的张量。
t'＝Linear([X_h||RE_r])
计算获得的t’＝[0.3,0.35,0.7]，与所有的实体嵌入计算欧式距离获得得分。实体嵌入矩阵为
Figure BDA0003372925910000121
计算得到的距离值为D＝[0.65,0.18,0.68]。在本发明中将gamma系数设置为1，则最终三个实体的得分列表为Score＝[0.35,0.88,0.32]。选择得分为0.88的实体2作为补齐方案，最后得到的三元组为(h,t,2)。
步骤102：选择待补全的知识图谱三元组数据。
步骤103：将所述待补全的知识图谱三元组数据输入至所述知识图谱链接补全模型中，得到三元组补全结果。
如图7所示，本发明提供的一种针对多重关系的知识图谱链接补全系统，包括：
获取模块701，用于获取待补全的知识图谱三元组数据.
补全模块702，用于将所述待补全的知识图谱三元组数据输入知识图谱链接补全模型，得到三元组补全结果；所述知识图谱链接补全模型是根据知识图谱数据构建的；所述知识图谱链接补全模型包括图卷积神经层、多关系注意力网络层和链路预测层；所述图卷积神经层的输出端和所述多关系注意力网络层的输出端均与所述链路预测层连接。
在实际应用中，针对多重关系的知识图谱链接补全系统还包括构建模块，所述构建模块具体包括：
获取单元，用于获取知识图谱数据。
拓扑图邻接矩阵和多关系邻居矩阵确定单元，用于根据所述知识图谱数据确定拓扑图邻接矩阵和多关系邻居矩阵。
结构特征提取单元，用于利用所述图卷积神经层对所述拓扑图邻接矩阵进行结构特征提取，得到结构特征嵌入矩阵。
实体邻居特征提取单元，用于利用所述多关系注意力网络层对所述多关系邻居矩阵进行实体邻居特征提取，得到多关系嵌入矩阵。其中，所述实体邻居特征提取单元，具体包括：拼接子单元，用于将所述多关系邻居矩阵、初始化的初始实体特征和初始化的关系嵌入进行拼接，得到注意力系数；相乘子单元，用于将所述注意力系统与所述多关系邻居矩阵中邻居的实体嵌入相乘，得到多关系嵌入矩阵。
聚合单元，用于对所述结构特征嵌入矩阵和所述多关系嵌入矩阵进行聚合，得到实体嵌入矩阵。
链接预测单元，用于利用所述链路预测层对所述实体嵌入矩阵进行链接预测，得到知识图谱链接补全模型。其中，所述链接预测单元，具体包括：张量确定子单元，用于根据所述知识图谱数据中的缺失三元组的缺失类型和所述实体嵌入矩阵确定张量；匹配子单元，用于将所述张量利用欧式距离进行匹配，得到知识图谱链接补全模型；所述欧氏距离为所述张量与所述知识图谱数据中实体的欧氏距离。
本发明针对多重关系的知识图谱补全任务提出了将图卷积神经层与多关系注意力模型用于知识图谱三元组补齐，能有效利用知识图谱中三元组本身信息与知识图谱整体结构信息，将图卷积神经层与特定于关系的注意力神经网络结合，能够全面有效地聚合实体邻居特征，提高模型的预测性能，以便准确高效地完成知识图谱补全任务。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种针对多重关系的知识图谱链接补全方法，其特征在于，包括：
获取待补全的知识图谱三元组数据；
将所述待补全的知识图谱三元组数据输入知识图谱链接补全模型，得到三元组补全结果；所述知识图谱链接补全模型是根据知识图谱数据构建的；所述知识图谱链接补全模型包括图卷积神经层、多关系注意力网络层和链路预测层；所述图卷积神经层的输出端和所述多关系注意力网络层的输出端均与所述链路预测层连接。
2.根据权利要求1所述的针对多重关系的知识图谱链接补全方法，其特征在于，所述知识图谱链接补全模型的构建过程包括：
获取知识图谱数据；
根据所述知识图谱数据确定拓扑图邻接矩阵和多关系邻居矩阵；
利用所述图卷积神经层对所述拓扑图邻接矩阵进行结构特征提取，得到结构特征嵌入矩阵；
利用所述多关系注意力网络层对所述多关系邻居矩阵进行实体邻居特征提取，得到多关系嵌入矩阵；
对所述结构特征嵌入矩阵和所述多关系嵌入矩阵进行聚合，得到实体嵌入矩阵；
利用所述链路预测层对所述实体嵌入矩阵进行链接预测，得到知识图谱链接补全模型。
3.根据权利要求2所述的针对多重关系的知识图谱链接补全方法，其特征在于，所述利用所述多关系注意力网络层对所述多关系邻居矩阵进行实体邻居特征提取，得到多关系嵌入矩阵，具体包括：
将所述多关系邻居矩阵、初始化的初始实体特征和初始化的关系嵌入进行拼接，得到注意力系数；
将所述注意力系统与所述多关系邻居矩阵中邻居的实体嵌入相乘，得到多关系嵌入矩阵。
4.根据权利要求2所述的针对多重关系的知识图谱链接补全方法，其特征在于，所述利用所述链路预测层对所述实体嵌入矩阵进行链接预测，得到知识图谱链接补全模型，具体包括：
根据所述知识图谱数据中的缺失三元组的缺失类型和所述实体嵌入矩阵确定张量；
将所述张量利用欧式距离进行匹配，得到知识图谱链接补全模型；所述欧氏距离为所述张量与所述知识图谱数据中实体的欧氏距离。
5.一种针对多重关系的知识图谱链接补全系统，其特征在于，包括：
获取模块，用于获取待补全的知识图谱三元组数据；
补全模块，用于将所述待补全的知识图谱三元组数据输入知识图谱链接补全模型，得到三元组补全结果；所述知识图谱链接补全模型是根据知识图谱数据构建的；所述知识图谱链接补全模型包括图卷积神经层、多关系注意力网络层和链路预测层；所述图卷积神经层的输出端和所述多关系注意力网络层的输出端均与所述链路预测层连接。
6.根据权利要求5所述的针对多重关系的知识图谱链接补全系统，其特征在于，还包括构建模块，所述构建模块具体包括：
获取单元，用于获取知识图谱数据；
拓扑图邻接矩阵和多关系邻居矩阵确定单元，用于根据所述知识图谱数据确定拓扑图邻接矩阵和多关系邻居矩阵；
结构特征提取单元，用于利用所述图卷积神经层对所述拓扑图邻接矩阵进行结构特征提取，得到结构特征嵌入矩阵；
实体邻居特征提取单元，用于利用所述多关系注意力网络层对所述多关系邻居矩阵进行实体邻居特征提取，得到多关系嵌入矩阵；
聚合单元，用于对所述结构特征嵌入矩阵和所述多关系嵌入矩阵进行聚合，得到实体嵌入矩阵；
链接预测单元，用于利用所述链路预测层对所述实体嵌入矩阵进行链接预测，得到知识图谱链接补全模型。
7.根据权利要求6所述的针对多重关系的知识图谱链接补全系统，其特征在于，所述实体邻居特征提取单元，具体包括：
拼接子单元，用于将所述多关系邻居矩阵、初始化的初始实体特征和初始化的关系嵌入进行拼接，得到注意力系数；
相乘子单元，用于将所述注意力系统与所述多关系邻居矩阵中邻居的实体嵌入相乘，得到多关系嵌入矩阵。
8.根据权利要求6所述的针对多重关系的知识图谱链接补全系统，其特征在于，所述链接预测单元，具体包括：
张量确定子单元，用于根据所述知识图谱数据中的缺失三元组的缺失类型和所述实体嵌入矩阵确定张量；
匹配子单元，用于将所述张量利用欧式距离进行匹配，得到知识图谱链接补全模型；所述欧氏距离为所述张量与所述知识图谱数据中实体的欧氏距离。
CN202111406286.XA 2021-11-24 2021-11-24 一种针对多重关系的知识图谱链接补全方法及系统 Pending CN114064627A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111406286.XA CN114064627A (zh) 2021-11-24 2021-11-24 一种针对多重关系的知识图谱链接补全方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111406286.XA CN114064627A (zh) 2021-11-24 2021-11-24 一种针对多重关系的知识图谱链接补全方法及系统

Publications (1)

Publication Number Publication Date
CN114064627A true CN114064627A (zh) 2022-02-18

Family

ID=80276080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111406286.XA Pending CN114064627A (zh) 2021-11-24 2021-11-24 一种针对多重关系的知识图谱链接补全方法及系统

Country Status (1)

Country Link
CN (1) CN114064627A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115391563A (zh) * 2022-09-01 2022-11-25 广东工业大学 一种基于多源异构数据融合的知识图谱链路预测方法
CN116151635A (zh) * 2023-04-19 2023-05-23 深圳市迪博企业风险管理技术有限公司 一种基于多维关系图的抗风险企业决策的优化方法和装置
CN116186295A (zh) * 2023-04-28 2023-05-30 湖南工商大学 基于注意力的知识图谱链接预测方法、装置、设备及介质
CN116579425A (zh) * 2023-07-13 2023-08-11 北京邮电大学 基于全局和局部层级注意力的超关系知识图谱补全方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115391563A (zh) * 2022-09-01 2022-11-25 广东工业大学 一种基于多源异构数据融合的知识图谱链路预测方法
CN115391563B (zh) * 2022-09-01 2024-02-06 广东工业大学 一种基于多源异构数据融合的知识图谱链路预测方法
CN116151635A (zh) * 2023-04-19 2023-05-23 深圳市迪博企业风险管理技术有限公司 一种基于多维关系图的抗风险企业决策的优化方法和装置
CN116151635B (zh) * 2023-04-19 2024-03-08 深圳市迪博企业风险管理技术有限公司 一种基于多维关系图的抗风险企业决策的优化方法和装置
CN116186295A (zh) * 2023-04-28 2023-05-30 湖南工商大学 基于注意力的知识图谱链接预测方法、装置、设备及介质
CN116579425A (zh) * 2023-07-13 2023-08-11 北京邮电大学 基于全局和局部层级注意力的超关系知识图谱补全方法
CN116579425B (zh) * 2023-07-13 2024-02-06 北京邮电大学 基于全局和局部层级注意力的超关系知识图谱补全方法

Similar Documents

Publication Publication Date Title
CN114064627A (zh) 一种针对多重关系的知识图谱链接补全方法及系统
CN110263280B (zh) 一种基于多视图的动态链路预测深度模型及应用
CN109948029B (zh) 基于神经网络自适应的深度哈希图像搜索方法
CN112861967B (zh) 基于异构图神经网络的社交网络异常用户检测方法及设备
CN112256981B (zh) 一种基于线性和非线性传播的谣言检测方法
CN112950924B (zh) 一种基于深度学习的复杂交通路网交通速度预测方法
CN112016601B (zh) 基于知识图谱增强小样本视觉分类的网络模型构建方法
CN113190688B (zh) 基于逻辑推理和图卷积的复杂网络链接预测方法及系统
CN114817663B (zh) 一种基于类别感知图神经网络的服务建模与推荐方法
CN105787501A (zh) 输电线路走廊区域自动选择特征的植被分类方法
CN112381179A (zh) 一种基于双层注意力机制的异质图分类方法
CN113486190A (zh) 一种融合实体图像信息和实体类别信息的多模态知识表示方法
CN114265986A (zh) 一种融合知识图谱结构与路径语义的信息推送方法和系统
CN117237559B (zh) 面向数字孪生城市的三维模型数据智能分析方法及系统
CN115270007B (zh) 一种基于混合图神经网络的poi推荐方法及系统
CN112784118A (zh) 一种对三角形结构敏感的图中的社区发现方法和装置
CN112364747A (zh) 一种有限样本下的目标检测方法
CN113449612A (zh) 一种基于子流型稀疏卷积的三维目标点云识别的方法
CN116010813A (zh) 基于图神经网络融合标签节点影响度的社区检测方法
CN112818982B (zh) 基于深度特征自相关性激活的农业害虫图像检测方法
CN115935079A (zh) 一种基于簇的图协同过滤推荐方法
Lai et al. Learning graph convolution filters from data manifold
CN115170218A (zh) 融合图神经网络和多层级对比学习的神经网络序列推荐方法
CN114529325A (zh) 一种基于Darts的点击率预估模型自动化生成方法
CN113744023A (zh) 一种基于图卷积网络的双通道协同过滤推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination