CN111291139A - 基于注意力机制的知识图谱长尾关系补全方法 - Google Patents

基于注意力机制的知识图谱长尾关系补全方法 Download PDF

Info

Publication number
CN111291139A
CN111291139A CN202010189960.2A CN202010189960A CN111291139A CN 111291139 A CN111291139 A CN 111291139A CN 202010189960 A CN202010189960 A CN 202010189960A CN 111291139 A CN111291139 A CN 111291139A
Authority
CN
China
Prior art keywords
entity
knowledge graph
relationship
knowledge
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010189960.2A
Other languages
English (en)
Other versions
CN111291139B (zh
Inventor
周玉
孙建
宗成庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202010189960.2A priority Critical patent/CN111291139B/zh
Publication of CN111291139A publication Critical patent/CN111291139A/zh
Application granted granted Critical
Publication of CN111291139B publication Critical patent/CN111291139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/288—Entity relationship models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明属于知识图谱领域，具体涉及一种基于注意力机制的知识图谱长尾关系补全方法、系统、装置，旨在解决传统的关系补全模型因长尾关系数目稀少导致对长尾关系预测产生过拟合的问题。本系统方法：获取待补全的知识图谱，并根据其实体之间的关系类型将其构建为第一知识图谱和第二知识图谱；获取第一知识图谱中融合邻域信息的实体向量表示，作为第一表示；根据第一表示对第二知识图谱中各实体进行向量化表示，并构建支撑集和查询集；通过预设的多种网络类型的长尾关系预测方法获取查询集中各实体对的关系类型标签，并补全各实体之间的关系。本发明通过对知识图谱中各实体的邻域信息进行融合，避免了长尾关系预测时过拟合的问题。

Description

基于注意力机制的知识图谱长尾关系补全方法
技术领域
本发明属于知识图谱领域，具体涉及一种基于注意力机制的知识图谱长尾关系补全方法、系统、装置。
背景技术
知识图谱是人工智能和自然语言处理的关键资源，在问答系统、智能检索及情感分析等领域起到了重要作用，因此对不完整的知识图谱进行补全，即对知识图谱中缺失的关系进行补全，是知识图谱的基础任务，而且知识补全的质量直接影响到知识图谱在下游任务的性能。
基于翻译的嵌入模型是现行的知识图谱补全方法，这类方法基于实体和关系的分布式向量表示，将知识图谱中每个三元组实例中的关系看作是从头实体到尾实体的翻译。但传统的基于翻译的嵌入模型往往要求数据集中每个关系类型都有大量的实例，才会有比较好的性能。然而在真实的知识图谱中，关系是服从长尾分布的，即大量的关系仅有少量的三元组实例，而用传统基于翻译的嵌入模型对这些长尾关系进行预测会产生过拟合的现象。所以需要一种针对长尾关系的知识图谱关系补全方法来解决上述问题。
发明内容
为了解决现有技术中的上述问题，即为了解决传统的关系补全模型因长尾关系数目稀少导致对长尾关系预测产生过拟合的问题，本发明第一方面，提出了一种基于注意力机制的知识图谱长尾关系补全方法，该方法包括：
步骤S100，获取待补全的知识图谱，并根据该知识图谱实体之间的关系类型将其构建为第一知识图谱和第二知识图谱；所述第一知识图谱与所述第二知识图谱中包含的实体相同；
步骤S200，将所述第一知识图谱各三元组中的实体和关系映射到低维向量空间；选取各实体对应设定数量的关系向量进行加权平均，并结合各关系类型的向量表示，通过注意力机制获取各关系类型对各实体的重要性权重；基于所述重要性权重，通过预设的加权融合方法对各实体的邻域信息进行融合，得到融合邻域信息的实体向量表示，作为第一表示；所述邻域信息为各实体相邻实体向量和关系向量拼接后的向量信息；
步骤S300，根据所述第一表示对所述第二知识图谱中各实体进行向量化表示；并基于所述第二知识图谱中的各关系类型，选取其任一三元组的实体对构建支撑集，剩余三元组的实体对构建查询集；
步骤S400，通过预设的多种网络类型的长尾关系预测方法计算所述查询集与所述支撑集中各实体对的匹配度；基于所述匹配度，获取所述查询集中各实体对的关系类型标签，并补全各实体之间的关系。
在一些优选的实施方式中，所述第一知识图谱与所述第二知识图谱中的关系类型不相交。
在一些优选的实施方式中，步骤S200中“将所述第一知识图谱各三元组中的实体和关系映射到低维向量空间”，其方法为：采用随机初始化的方法和预训练词向量的方法，将实体和关系映射到低维向量空间。
在一些优选的实施方式中，步骤S200中“通过注意力机制获取各关系类型对各实体的重要性权重”，其方法为：
Figure BDA0002414083420000021
其中，
Figure BDA0002414083420000031
表示每个关系类型对实体e的重要性权重，rk表示每个关系的向量表示，rj表示第j个关系类型的向量表示，
Figure BDA0002414083420000032
表示实体e对应设定数量关系向量加权平均的结果，N表示各实体对应的关系向量的设置数量。
在一些优选的实施方式中，步骤S200中“通过预设的加权融合方法对各实体的邻域信息进行融合，得到融合邻域信息的实体向量表示”，其方法为：
Figure BDA0002414083420000033
其中，f(Ne)为实体e融合邻域信息的向量表示，We表示权重矩阵，tanh表示激活函数，[ek；rk]表示各实体的邻域信息，bc表示偏移系数。
在一些优选的实施方式中，若所述网络类型为原型网络，步骤S400中“通过预设的多种网络类型的长尾关系预测方法计算所述查询集与所述支撑集中各实体对的匹配度”其方法为：
将所述支撑集中的各实体对的头实体向量和尾实体向量进行拼接，作为各关系类型的特征中心；
通过设定的第一匹配度计算方法计算所述查询集中的实体对与各关系类型的特征中心的匹配度；
所述第一匹配度计算方法为：
fm(X,ci)＝||g(X)-ci||2
其中，fm(X,ci)表示查询集中的实体向量与到每一个特征中心的匹配度，X表示查询集中实体对的表示，函数g表示对向量表示进行编码的函数，ci表示各关系类型的特征中心，||.||2表示2-范数。
在一些优选的实施方式中，若所述网络类型为卷积神经网络，步骤S400中“通过预设的多种网络类型的长尾关系预测方法计算所述查询集与所述支撑集中各实体对的匹配度”其方法为：
将所述查询集和所述支撑集中同一关系类型的实体对中头实体向量和尾实体向量进行拼接，构建二维矩阵；
将所述二维矩阵进行卷积，并对卷积操作的输出结果进行两次特征映射，得到所述查询集与所述支撑集中各实体对的匹配度。
本发明的第二方面，提出了一种基于注意力机制的知识图谱长尾关系补全系统，该系统包括：知识图谱构建模块、邻域信息融合模块、支撑与查询集构建模块、补全关系模块；
所述知识图谱构建模块，配置为获取待补全的知识图谱，并根据该知识图谱实体之间的关系类型将其构建为第一知识图谱和第二知识图谱；所述第一知识图谱与所述第二知识图谱中包含的实体相同；
所述邻域信息融合模块，配置为将所述第一知识图谱各三元组中的实体和关系映射到低维向量空间；选取各实体对应设定数量的关系向量进行加权平均，并结合各关系类型的向量表示，通过注意力机制获取各关系类型对各实体的重要性权重；基于所述重要性权重，通过预设的加权融合方法对各实体的邻域信息进行融合，得到融合邻域信息的实体向量表示，作为第一表示；所述邻域信息为各实体相邻实体向量和关系向量拼接后的向量信息；
所述支撑与查询集构建模块，配置为根据所述第一表示对所述第二知识图谱中各实体进行向量化表示；并基于所述第二知识图谱中的各关系类型，选取其任一三元组的实体对构建支撑集，剩余三元组的实体对构建查询集；
所述补全关系模块，配置为通过预设的多种网络类型的长尾关系预测方法计算所述查询集与所述支撑集中各实体对的匹配度；基于所述匹配度，获取所述查询集中各实体对的关系类型标签，并补全各实体之间的关系。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序应用由处理器加载并执行以实现上述的基于注意力机制的知识图谱长尾关系补全方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的基于注意力机制的知识图谱长尾关系补全方法。
本发明的有益效果：
本发明通过对知识图谱中各实体的邻域信息进行融合，避免了长尾关系预测时过拟合的问题。本发明根据待补全的知识图谱中实体之间的关系类型将其构建为第一知识图谱和第二知识图谱，并将第一知识图谱中的各实体和关系映射到低维向量空间，通过注意力机制的实体邻域信息融合方法获取融合邻域信息的实体向量表示，作为第一表示，使得各实体的表示特征更加丰富，提高泛化能力。
同时，根据第一表示对第二知识图谱中的各实体进行向量表示，并将第二知识图谱中各关系类型三元组中的实体对构建支撑集和查询集，通过多种网络类型的长尾关系预测方法对各实体之间的关系进行预测并补全，即获取查询集中各实体对的网络类型标签，补全各实体之间的关系。提高了对长尾关系预测的准确率，并解决了传统的关系补全模型在长尾关系预测上会造成过拟合的问题。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的基于注意力机制的知识图谱长尾关系补全方法的流程示意图；
图2是本发明一种实施例的基于注意力机制的知识图谱长尾关系补全系统的框架示意图；
图3是本发明一种实施例的基于注意力机制的知识图谱长尾关系补全方法的详细流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的基于注意力机制的知识图谱长尾关系补全方法，如图1所示，包括以下步骤：
步骤S100，获取待补全的知识图谱，并根据该知识图谱实体之间的关系类型将其构建为第一知识图谱和第二知识图谱；所述第一知识图谱与所述第二知识图谱中包含的实体相同；
步骤S200，将所述第一知识图谱各三元组中的实体和关系映射到低维向量空间；选取各实体对应设定数量的关系向量进行加权平均，并结合各关系类型的向量表示，通过注意力机制获取各关系类型对各实体的重要性权重；基于所述重要性权重，通过预设的加权融合方法对各实体的邻域信息进行融合，得到融合邻域信息的实体向量表示，作为第一表示；所述邻域信息为各实体相邻实体向量和关系向量拼接后的向量信息；
步骤S300，根据所述第一表示对所述第二知识图谱中各实体进行向量化表示；并基于所述第二知识图谱中的各关系类型，选取其任一三元组的实体对构建支撑集，剩余三元组的实体对构建查询集；
步骤S400，通过预设的多种网络类型的长尾关系预测方法计算所述查询集与所述支撑集中各实体对的匹配度；基于所述匹配度，获取所述查询集中各实体对的关系类型标签，并补全各实体之间的关系。
为了更清晰地对本发明基于注意力机制的知识图谱长尾关系补全方法进行说明，下面结合附图对本发明方法一种实施例中各步骤进行展开详述。
步骤S100，获取待补全的知识图谱，并根据该知识图谱实体之间的关系类型将其构建为第一知识图谱和第二知识图谱；所述第一知识图谱与所述第二知识图谱中包含的实体相同。
在本实施例中，首先获取待补全的知识图谱，作为目标知识图谱，目标知识图谱是一个包含大量三元组的数据库，三元组的格式为(头实体，关系，尾实体)。在实际应用中，大规模的通用领域知识图谱比较容易获得，如Wikidata、NELL、Freebase等知识图谱。本实施例中使用了三个数据集所构造的长尾关系数据集：Wiki-One，NELL-One，FB15k-One。
基于获取的待补全的知识图谱，根据知识图谱中实体之间的关系类型将待补全的知识图谱，即目标知识图谱，分别构建为背景知识图谱和任务知识图谱，其中，背景知识图谱作为第一知识图谱，任务知识图谱作为第二知识图谱，第一知识图谱和第二知识图谱中的实体相同，但关系类型不相等，即不相交。
将上述获取的长尾关系数据集进行关系类型的划分后，各类数据信息如表1所示：
表1
Dataset Ent Rel Triples Tasks
NELL-One 68545 358 181109 67
Wiki-One 4838244 822 5859240 183
FB15k-One 14950 2287 508791 68
其中，Ent代表实体的数目，Rel代表关系的数目，Triples代表三元组的数目，Tasks代表除去背景知识图谱中的关系类型后，剩余的关系类型的所有三元组，即任务知识图谱中的关系类型。
步骤S200，将所述第一知识图谱各三元组中的实体和关系映射到低维向量空间；选取各实体对应设定数量的关系向量进行加权平均，并结合各关系类型的向量表示，通过注意力机制获取各关系类型对各实体的重要性权重；基于所述重要性权重，通过预设的加权融合方法对各实体的邻域信息进行融合，得到融合邻域信息的实体向量表示，作为第一表示；所述邻域信息为各实体相邻实体向量和关系向量拼接后的向量信息。
在本实施例中，获取背景知识图谱中所有三元组的头实体以及与该实体相连的所有关系和尾实体。
采用随机初始化的方法和预训练词向量的方法，将实体和关系映射到低维向量空间。随机初始化是将实体和关系的嵌入表示进行随机赋值操作，而预训练词向量则是将实体和关系通过传统的知识补全模型进行训练所得到的向量来对实体和关系进行初始化。
通过注意力机制的实体邻域信息方融合方法获取融合邻域信息的实体向量表示，具体如下：
针对背景知识图谱中的任一实体，随机选取N个相邻的关系向量和相邻的实体向量，将N个关系向量进行相加，获得N个关系的分布式向量和，然后对和向量进行平均操作，如公式(1)所示：
Figure BDA0002414083420000091
其中，N表示随机选择的关系向量的数目，rk表示N个关系中每个关系的向量表示(分布式向量表示)，
Figure BDA0002414083420000092
表示实体e对应设定数量关系向量加权平均的结果，将其作为注意力机制中的查询。
计算上述查询与每个关系向量表示的相似度，并进行归一化操作，即基于上述各实体的和向量，并结合各关系类型的向量表示，通过注意力机制获取各关系类型对各实体的重要性权重，如公式(2)所示：
Figure BDA0002414083420000093
其中，
Figure BDA0002414083420000094
表示每个关系类型对实体e的重要性权重，rj表示第j个关系类型的向量表示。
基于上述的重要性权重，通过预设的加权融合方法对各实体的邻域信息进行融合，得到融合邻域信息的实体向量表示，作为第一表示；所述邻域信息为各实体相邻实体向量和关系向量拼接后的向量信息。
如公式(3)所示：
Figure BDA0002414083420000095
其中，f(Ne)为实体e融合邻域信息的向量表示，We表示权重矩阵，tanh表示激活函数，[ek；rk]表示各实体的邻域信息，bc表示偏移系数。
经过步骤S100-步骤S200，背景知识图谱中的实体已经完成编码，融合邻域信息后，表示特征更加丰富，下面将在此基础上对长尾关系进行预测。
步骤S300，根据所述第一表示对所述第二知识图谱中各实体进行向量化表示；并基于所述第二知识图谱中的各关系类型，选取其任一三元组的实体对构建支撑集，剩余三元组的实体对构建查询集。
在本实施例中，基于背景知识图谱中融合邻域信息的实体向量表示对任务知识图谱中的实体进行向量化表示。然后针对任务知识图谱中的每一个关系类型，随机选取该关系类型的一个实例三元组，将该三元组的头实体h和尾实体t的向量表示结合在一起，作为该关系类型的一个特征，将结合后的向量作为支撑集S。
针对上述关系类型，获取剩余的三元组，将剩余的每一个三元组中的头实体和尾实体的向量表示结合在一起，共同作为查询集Q。
步骤S400，通过预设的多种网络类型的长尾关系预测方法计算所述查询集与所述支撑集中各实体对的匹配度；基于所述匹配度，获取所述查询集中各实体对的关系类型标签，并补全各实体之间的关系。
在本实例中，基于构建的支撑集和查询集，分别通过原型网络和卷积神经网络两种网络类型的长尾关系预测方法对长尾关系进行预测，原型网络作为一种基线模型，卷积神经网络则作为我们自己设计的的模型，如图3所示。具体处理过程如下：
1、基于原型网络的长尾关系预测方法
将支撑集中的实体对的头实体向量和尾实体向量进行拼接作为对应关系类型的原型中心，即特征中心。拼接过程如公式(4)(5)所示：
ci＝g(Xi) (4)
Figure BDA0002414083420000101
其中，
Figure BDA0002414083420000104
和
Figure BDA0002414083420000103
分别是头实体和尾实体融合领域信息后的向量表示，Xi表示将上述两个向量表示拼接后的表示，这个表示就作为该关系类型的一个特征中心，g(Xi)表示对该表示通过前向神经网络进行编码，最终的编码输出作为该关系类型的一个原型中心ci。
基于各关系类型对应的查询集，对查询集中的每一个实体对的表示[hi,ti]，分别计算其到不同关系类型的原型中心的欧式距离，即所述查询集与所述支撑集中各实体对的匹配度。计算如公式(6)所示：
fm(X,ci)＝||g(X)-ci||2 (6)
其中，X表示查询集中实体对的表示，函数g表示对向量表示进行编码，||.||2表示2-范数，fm(X,ci)表示查询集中的实体对到每一个特征中心的距离，即两个实体对的匹配度。
基于匹配度，获取查询集中各实体对的关系类型标签，并补全各实体之间的关系。其中，在网络的训练过程中，根据匹配度计算损失函数，更新原型网络的参数及实体的分布式表示，即更新各实体的相邻信息，即各实体对应的关系及相邻的实体。损失函数采用交叉熵损失函数，如公式(7)所示：
loss＝-∑iyilogσ(-fm(X,ci)) (7)
其中，yi表示该实体对的正确类型标签，σ是softmax函数，loss表示损失值。
使用Adam算法最小化上述损失函数，并更新网络参数以及实体的分布式表示。
2、基于卷积神经网络的长尾关系预测方法
获得支撑集S和查询集Q中实体对的向量表示，如公式(8)(9)所示；
Figure BDA0002414083420000111
Figure BDA0002414083420000112
其中，Si代表支撑集中关系类型为i的实体对的向量表示，Qi代表查询集中关系类型为j的实体对的向量表示，函数g表示前向的神经网络。
将支撑集和查询集中同一关系类型的实体对的向量表示拼接在i一起，组成二维矩阵。
将二维矩阵进行卷积操作，并对卷积操作的输出结果进行两次的特征映射，获取所述查询集与所述支撑集中各实体对的匹配度。映射过程如公式(10)所示：
fm(sj,qi)＝sigmoid(g(f([sj,qi]*w)W)) (10)
其中，fm(sj,qi)表示qi与代表关系类型为j的sj的匹配度，sigmoid是激活函数，函数g代表映射函数，[sj,qi]表示将sj与qi拼接在一起，维度是2，w代表卷积核，f([sj,qi]*w)代表对拼接向量进行卷积操作，W是映射矩阵。
同时，在训练过程中，根据损失函数对卷积神经网络进行跟新，和原型网络的更新过程一致，此处不再赘述。
其中，原型网络和卷积神经网络的处理过程并列执行。
为了证明本发明方法的有效性，将本发明方法与不同的模型进行比较，对比结果如表2所示：
表2
Figure BDA0002414083420000121
Figure BDA0002414083420000131
表2中，EMetric(Euclidean Distance Metric)为采用了本发明的基于原型网络的长尾关系预测方法，LMetric采用了本发明的基于卷积神经网络的长尾关系预测方法，TransE(Translating Embeddings)、DistMult(Bilinear-diag)、ComplEx(Complex-diag)、Rotate(Relational Rotation)和GMatching(Graph Matching)分别为5种对比模型方法，NELL-One，FB15k-One，Wiki-One表示数据集，MRR(Mean Reciprocal Rank)表示平均倒数排序，Hits@1(Hyperlink-Induced Topic Search)表示长尾关系预测的准确率。
由表2可以看出，本发明提供的基于原型网络的方法以及基于卷积神经网络的方法能够高效的预测长尾关系。首先可以看到的是，在大规模知识图谱上，效果提升的尤为明显，再在此仅选择GMatching进行对比。在NELL-One数据集上，对比GMatching模型，本发明的EMetric在MRR指标上能提高29.1％，Hits@1提高约52.3％；而基于原型网络的模型LMetric在MRR指标上提高33.4％，Hits@1提高60.1％，在Wiki-One数据集上，EMetric提高MRR大约86.4％，Hits@1的提高尤为显著，大概161％，可以看到本发明提出的算法有着非常显著的性能。
表3
Figure BDA0002414083420000132
表3中，EMetric(Euclidean Distance Metric)为采用了本发明的基于原型网络的长尾关系预测方法，在此基础上，我们对不同的融合方式进行了实验。其中，GNN(GraphNeural Network)，GCN(Graph Convolutional Network)和GAT(Graph AttentionNetwork)是基线模型。可以看到，本发明提到的基于注意力机制的领域信息融合方法(Att-EMetric)要优于其他模型。
本发明第二实施例的一种基于注意力机制的知识图谱长尾关系补全系统，如图2所示，包括：知识图谱构建模块100、邻域信息融合模块200、支撑与查询集构建模块300、补全关系模块400；
所述知识图谱构建模块100，配置为获取待补全的知识图谱，并根据该知识图谱实体之间的关系类型将其构建为第一知识图谱和第二知识图谱；所述第一知识图谱与所述第二知识图谱中包含的实体相同；
所述邻域信息融合模块200，配置为将所述第一知识图谱各三元组中的实体和关系映射到低维向量空间；选取各实体对应设定数量的关系向量进行加权平均，并结合各关系类型的向量表示，通过注意力机制获取各关系类型对各实体的重要性权重；基于所述重要性权重，通过预设的加权融合方法对各实体的邻域信息进行融合，得到融合邻域信息的实体向量表示，作为第一表示；所述邻域信息为各实体相邻实体向量和关系向量拼接后的向量信息；
所述支撑与查询集构建模块300，配置为根据所述第一表示对所述第二知识图谱中各实体进行向量化表示；并基于所述第二知识图谱中的各关系类型，选取其任一三元组的实体对构建支撑集，剩余三元组的实体对构建查询集；
所述补全关系模块400，配置为通过预设的多种网络类型的长尾关系预测方法计算所述查询集与所述支撑集中各实体对的匹配度；基于所述匹配度，获取所述查询集中各实体对的关系类型标签，并补全各实体之间的关系。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于注意力机制的知识图谱长尾关系补全系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的基于注意力机制的知识图谱长尾关系补全方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于注意力机制的知识图谱长尾关系补全方法。
所述技术领域的技术人员可以清楚的了解到，未描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于注意力机制的知识图谱长尾关系补全方法，其特征在于，该方法包括：
步骤S100，获取待补全的知识图谱，并根据该知识图谱实体之间的关系类型将其构建为第一知识图谱和第二知识图谱；所述第一知识图谱与所述第二知识图谱中包含的实体相同；
步骤S200，将所述第一知识图谱各三元组中的实体和关系映射到低维向量空间；选取各实体对应设定数量的关系向量进行加权平均，并结合各关系类型的向量表示，通过注意力机制获取各关系类型对各实体的重要性权重；基于所述重要性权重，通过预设的加权融合方法对各实体的邻域信息进行融合，得到融合邻域信息的实体向量表示，作为第一表示；所述邻域信息为各实体相邻实体向量和关系向量拼接后的向量信息；
步骤S300，根据所述第一表示对所述第二知识图谱中各实体进行向量化表示；并基于所述第二知识图谱中的各关系类型，选取其任一三元组的实体对构建支撑集，剩余三元组的实体对构建查询集；
步骤S400，通过预设的多种网络类型的长尾关系预测方法计算所述查询集与所述支撑集中各实体对的匹配度；基于所述匹配度，获取所述查询集中各实体对的关系类型标签，并补全各实体之间的关系。
2.根据权利要求1所述的基于注意力机制的知识图谱长尾关系补全方法，其特征在于，所述第一知识图谱与所述第二知识图谱中的关系类型不相交。
3.根据权利要求1所述的基于注意力机制的知识图谱长尾关系补全方法，其特征在于，步骤S200中“将所述第一知识图谱各三元组中的实体和关系映射到低维向量空间”，其方法为：采用随机初始化的方法和预训练词向量的方法，将实体和关系映射到低维向量空间。
4.根据权利要求1所述的基于注意力机制的知识图谱长尾关系补全方法，其特征在于，步骤S200中“通过注意力机制获取各关系类型对各实体的重要性权重”，其方法为：
Figure FDA0002414083410000021
其中，
Figure FDA0002414083410000022
表示每个关系类型对实体e的重要性权重，rk表示每个关系的向量表示，rj表示第j个关系类型的向量表示，
Figure FDA0002414083410000023
表示实体e对应设定数量关系向量加权平均的结果，N表示各实体对应的关系向量的设置数量。
5.根据权利要求4所述的基于注意力机制的知识图谱长尾关系补全方法，其特征在于，步骤S200中“通过预设的加权融合方法对各实体的邻域信息进行融合，得到融合邻域信息的实体向量表示”，其方法为：
Figure FDA0002414083410000024
其中，f(Ne)为实体e融合邻域信息的向量表示，We表示权重矩阵，tanh表示激活函数，[ek；rk]表示各实体的邻域信息，bc表示偏移系数。
6.根据权利要求1所述的基于注意力机制的知识图谱长尾关系补全方法，其特征在于，若所述网络类型为原型网络，步骤S400中“通过预设的多种网络类型的长尾关系预测方法计算所述查询集与所述支撑集中各实体对的匹配度”其方法为：
将所述支撑集中的各实体对的头实体向量和尾实体向量进行拼接，作为各关系类型的特征中心；
通过设定的第一匹配度计算方法计算所述查询集中的实体对与各关系类型的特征中心的匹配度；
所述第一匹配度计算方法为：
fm(X,ci)＝||g(X)-ci||2
其中，fm(X,ci)表示查询集中的实体向量与到每一个特征中心的匹配度，X表示查询集中实体对的表示，函数g表示对向量表示进行编码的函数，ci表示各关系类型的特征中心，||.||2表示2-范数。
7.根据权利要求1所述的基于注意力机制的知识图谱长尾关系补全方法，其特征在于，若所述网络类型为卷积神经网络，步骤S400中“通过预设的多种网络类型的长尾关系预测方法计算所述查询集与所述支撑集中各实体对的匹配度”其方法为：
将所述查询集和所述支撑集中同一关系类型的实体对中头实体向量和尾实体向量进行拼接，构建二维矩阵；
将所述二维矩阵进行卷积，并对卷积操作的输出结果进行两次特征映射，得到所述查询集与所述支撑集中各实体对的匹配度。
8.一种基于注意力机制的知识图谱长尾关系补全系统，其特征在于，该系统包括：知识图谱构建模块、邻域信息融合模块、支撑与查询集构建模块、补全关系模块；
所述知识图谱构建模块，配置为获取待补全的知识图谱，并根据该知识图谱实体之间的关系类型将其构建为第一知识图谱和第二知识图谱；所述第一知识图谱与所述第二知识图谱中包含的实体相同；
所述邻域信息融合模块，配置为将所述第一知识图谱各三元组中的实体和关系映射到低维向量空间；选取各实体对应设定数量的关系向量进行加权平均，并结合各关系类型的向量表示，通过注意力机制获取各关系类型对各实体的重要性权重；基于所述重要性权重，通过预设的加权融合方法对各实体的邻域信息进行融合，得到融合邻域信息的实体向量表示，作为第一表示；所述邻域信息为各实体相邻实体向量和关系向量拼接后的向量信息；
所述支撑与查询集构建模块，配置为根据所述第一表示对所述第二知识图谱中各实体进行向量化表示；并基于所述第二知识图谱中的各关系类型，选取其任一三元组的实体对构建支撑集，剩余三元组的实体对构建查询集；
所述补全关系模块，配置为通过预设的多种网络类型的长尾关系预测方法计算所述查询集与所述支撑集中各实体对的匹配度；基于所述匹配度，获取所述查询集中各实体对的关系类型标签，并补全各实体之间的关系。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序应用由处理器加载并执行以实现权利要求1-7任一项所述的基于注意力机制的知识图谱长尾关系补全方法。
10.一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-7任一项所述的基于注意力机制的知识图谱长尾关系补全方法。
CN202010189960.2A 2020-03-17 2020-03-17 基于注意力机制的知识图谱长尾关系补全方法 Active CN111291139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010189960.2A CN111291139B (zh) 2020-03-17 2020-03-17 基于注意力机制的知识图谱长尾关系补全方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010189960.2A CN111291139B (zh) 2020-03-17 2020-03-17 基于注意力机制的知识图谱长尾关系补全方法

Publications (2)

Publication Number Publication Date
CN111291139A true CN111291139A (zh) 2020-06-16
CN111291139B CN111291139B (zh) 2023-08-22

Family

ID=71027688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010189960.2A Active CN111291139B (zh) 2020-03-17 2020-03-17 基于注意力机制的知识图谱长尾关系补全方法

Country Status (1)

Country Link
CN (1) CN111291139B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832922A (zh) * 2020-06-30 2020-10-27 北方工业大学 基于知识图谱推理的食品安全事件风险研判方法及装置
CN111985581A (zh) * 2020-09-09 2020-11-24 福州大学 一种基于样本级注意力网络的少样本学习方法
CN112015868A (zh) * 2020-09-07 2020-12-01 重庆邮电大学 基于知识图谱补全的问答方法
CN112364108A (zh) * 2020-11-13 2021-02-12 四川省人工智能研究院(宜宾) 一种基于时空架构的时序知识图谱补全方法
CN112860904A (zh) * 2021-04-06 2021-05-28 哈尔滨工业大学 一种融入外部知识的生物医疗关系抽取方法
CN112948506A (zh) * 2021-04-01 2021-06-11 重庆邮电大学 一种基于卷积神经网络的改进元学习的关系预测方法
CN113190651A (zh) * 2021-04-23 2021-07-30 宁波乾睿导航科技有限公司 基于定额知识图谱技术的电力数据全局知识图谱补全方法
CN113239131A (zh) * 2021-06-18 2021-08-10 国网湖南省电力有限公司 基于元学习的少样本知识图谱补全方法
CN113282764A (zh) * 2021-06-29 2021-08-20 南方电网科学研究院有限责任公司 一种网络安全数据知识图谱构建方法及装置
CN113360670A (zh) * 2021-06-09 2021-09-07 山东大学 一种基于事实上下文的知识图谱补全方法及系统
CN113377964A (zh) * 2021-06-30 2021-09-10 武汉大学 知识图谱链接预测方法、装置、设备及存储介质
WO2022011681A1 (zh) * 2020-07-17 2022-01-20 国防科技大学 一种基于迭代补全的知识图谱融合方法
CN114117075A (zh) * 2021-11-30 2022-03-01 中山大学 基于语义对齐及对称结构编码的知识图谱补全方法及装置
WO2023087463A1 (zh) * 2021-11-17 2023-05-25 深圳先进技术研究院 一种知识库补全方法、终端设备以及计算机存储介质
CN117131208A (zh) * 2023-10-24 2023-11-28 北京中企慧云科技有限公司 产业科技文本数据推送方法、装置、设备和介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563653A (zh) * 2017-12-21 2018-09-21 清华大学 一种用于知识图谱中知识获取模型的构建方法及系统
CN108763237A (zh) * 2018-03-21 2018-11-06 浙江大学 一种基于注意力机制的知识图谱嵌入方法
CN108984745A (zh) * 2018-07-16 2018-12-11 福州大学 一种融合多知识图谱的神经网络文本分类方法
CN109359297A (zh) * 2018-09-20 2019-02-19 清华大学 一种关系抽取方法及系统
CN109829057A (zh) * 2019-01-11 2019-05-31 中山大学 一种基于图二阶相似性的知识图谱实体语义空间嵌入方法
CN109902183A (zh) * 2019-02-13 2019-06-18 北京航空航天大学 一种基于多样图注意力机制的知识图谱嵌入方法
CN109977234A (zh) * 2019-03-28 2019-07-05 哈尔滨工程大学 一种基于主题关键词过滤的知识图谱补全方法
CN110135888A (zh) * 2019-04-12 2019-08-16 平安科技（深圳）有限公司 产品信息推送方法、装置、计算机设备和存储介质
CN110232186A (zh) * 2019-05-20 2019-09-13 浙江大学 融合实体描述、层次化类型和文本关系信息的知识图谱表示学习方法
CN110765788A (zh) * 2019-10-29 2020-02-07 天津大学 一种基于隐式翻译模型的知识图谱嵌入方法
US20200073933A1 (en) * 2018-08-29 2020-03-05 National University Of Defense Technology Multi-triplet extraction method based on entity-relation joint extraction model

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563653A (zh) * 2017-12-21 2018-09-21 清华大学 一种用于知识图谱中知识获取模型的构建方法及系统
CN108763237A (zh) * 2018-03-21 2018-11-06 浙江大学 一种基于注意力机制的知识图谱嵌入方法
CN108984745A (zh) * 2018-07-16 2018-12-11 福州大学 一种融合多知识图谱的神经网络文本分类方法
US20200073933A1 (en) * 2018-08-29 2020-03-05 National University Of Defense Technology Multi-triplet extraction method based on entity-relation joint extraction model
CN109359297A (zh) * 2018-09-20 2019-02-19 清华大学 一种关系抽取方法及系统
CN109829057A (zh) * 2019-01-11 2019-05-31 中山大学 一种基于图二阶相似性的知识图谱实体语义空间嵌入方法
CN109902183A (zh) * 2019-02-13 2019-06-18 北京航空航天大学 一种基于多样图注意力机制的知识图谱嵌入方法
CN109977234A (zh) * 2019-03-28 2019-07-05 哈尔滨工程大学 一种基于主题关键词过滤的知识图谱补全方法
CN110135888A (zh) * 2019-04-12 2019-08-16 平安科技（深圳）有限公司 产品信息推送方法、装置、计算机设备和存储介质
CN110232186A (zh) * 2019-05-20 2019-09-13 浙江大学 融合实体描述、层次化类型和文本关系信息的知识图谱表示学习方法
CN110765788A (zh) * 2019-10-29 2020-02-07 天津大学 一种基于隐式翻译模型的知识图谱嵌入方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张仲伟等: "基于神经网络的知识推理研究综述", 《计算机工程与应用》, pages 8 - 19 *
杜倩龙等: "利用上下文相似度增强词对齐效果的自然语言推理方法", 《智能科学与技术学报》,, pages 26 - 35 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832922A (zh) * 2020-06-30 2020-10-27 北方工业大学 基于知识图谱推理的食品安全事件风险研判方法及装置
WO2022011681A1 (zh) * 2020-07-17 2022-01-20 国防科技大学 一种基于迭代补全的知识图谱融合方法
CN112015868A (zh) * 2020-09-07 2020-12-01 重庆邮电大学 基于知识图谱补全的问答方法
CN111985581A (zh) * 2020-09-09 2020-11-24 福州大学 一种基于样本级注意力网络的少样本学习方法
CN111985581B (zh) * 2020-09-09 2022-07-05 福州大学 一种基于样本级注意力网络的少样本学习方法
CN112364108A (zh) * 2020-11-13 2021-02-12 四川省人工智能研究院(宜宾) 一种基于时空架构的时序知识图谱补全方法
CN112364108B (zh) * 2020-11-13 2021-06-15 四川省人工智能研究院(宜宾) 一种基于时空架构的时序知识图谱补全方法
CN112948506A (zh) * 2021-04-01 2021-06-11 重庆邮电大学 一种基于卷积神经网络的改进元学习的关系预测方法
CN112860904A (zh) * 2021-04-06 2021-05-28 哈尔滨工业大学 一种融入外部知识的生物医疗关系抽取方法
CN113190651A (zh) * 2021-04-23 2021-07-30 宁波乾睿导航科技有限公司 基于定额知识图谱技术的电力数据全局知识图谱补全方法
CN113190651B (zh) * 2021-04-23 2022-09-09 宁波乾睿导航科技有限公司 基于定额知识图谱技术的电力数据全局知识图谱补全方法
CN113360670A (zh) * 2021-06-09 2021-09-07 山东大学 一种基于事实上下文的知识图谱补全方法及系统
CN113360670B (zh) * 2021-06-09 2022-06-17 山东大学 一种基于事实上下文的知识图谱补全方法及系统
CN113239131A (zh) * 2021-06-18 2021-08-10 国网湖南省电力有限公司 基于元学习的少样本知识图谱补全方法
CN113282764A (zh) * 2021-06-29 2021-08-20 南方电网科学研究院有限责任公司 一种网络安全数据知识图谱构建方法及装置
CN113377964A (zh) * 2021-06-30 2021-09-10 武汉大学 知识图谱链接预测方法、装置、设备及存储介质
WO2023087463A1 (zh) * 2021-11-17 2023-05-25 深圳先进技术研究院 一种知识库补全方法、终端设备以及计算机存储介质
CN114117075A (zh) * 2021-11-30 2022-03-01 中山大学 基于语义对齐及对称结构编码的知识图谱补全方法及装置
CN117131208A (zh) * 2023-10-24 2023-11-28 北京中企慧云科技有限公司 产业科技文本数据推送方法、装置、设备和介质
CN117131208B (zh) * 2023-10-24 2024-02-02 北京中企慧云科技有限公司 产业科技文本数据推送方法、装置、设备和介质

Also Published As

Publication number Publication date
CN111291139B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN111291139B (zh) 基于注意力机制的知识图谱长尾关系补全方法
US11227190B1 (en) Graph neural network training methods and systems
CN108108854B (zh) 城市路网链路预测方法、系统及存储介质
Kiranyaz et al. Multidimensional particle swarm optimization for machine learning and pattern recognition
CN113705772A (zh) 一种模型训练方法、装置、设备及可读存储介质
CN114048331A (zh) 一种基于改进型kgat模型的知识图谱推荐方法及系统
CN111782826A (zh) 知识图谱的信息处理方法、装置、设备及存储介质
CN107786943A (zh) 一种用户分群方法及计算设备
US20220138502A1 (en) Graph neural network training methods and systems
Concolato et al. Data science: A new paradigm in the age of big-data science and analytics
CN114547267A (zh) 智能问答模型的生成方法、装置、计算设备和存储介质
CN115293919A (zh) 面向社交网络分布外泛化的图神经网络预测方法及系统
CN113821527A (zh) 哈希码的生成方法、装置、计算机设备及存储介质
Bedalli et al. A heterogeneous cluster ensemble model for improving the stability of fuzzy cluster analysis
CN112131261A (zh) 基于社区网络的社区查询方法、装置和计算机设备
CN111488460B (zh) 数据处理方法、装置和计算机可读存储介质
CN109784404A (zh) 一种融合标签信息的多标签分类原型系统及方法
CN116992151A (zh) 一种基于双塔图卷积神经网络的在线课程推荐方法
CN110674181B (zh) 信息推荐方法、装置、电子设备及计算机可读存储介质
CN109033746B (zh) 一种基于节点向量的蛋白质复合物识别方法
CN116090522A (zh) 一种基于因果反馈的缺失数据集因果关系发现方法及系统
Mishra et al. Unsupervised functional link artificial neural networks for cluster Analysis
CN115238134A (zh) 用于生成图数据结构的图向量表示的方法及装置
CN111275176B (zh) 分布式计算方法及分布式计算系统
CN115017413A (zh) 推荐方法、装置、计算设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant