CN114579769B - 小样本知识图谱补全方法、系统、设备及存储介质 - Google Patents

小样本知识图谱补全方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN114579769B
CN114579769B CN202210492838.1A CN202210492838A CN114579769B CN 114579769 B CN114579769 B CN 114579769B CN 202210492838 A CN202210492838 A CN 202210492838A CN 114579769 B CN114579769 B CN 114579769B
Authority
CN
China
Prior art keywords
entity
support
query
pair
entities
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210492838.1A
Other languages
English (en)
Other versions
CN114579769A (zh
Inventor
徐童
陈恩红
罗鹏飞
朱熹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202210492838.1A priority Critical patent/CN114579769B/zh
Publication of CN114579769A publication Critical patent/CN114579769A/zh
Application granted granted Critical
Publication of CN114579769B publication Critical patent/CN114579769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种小样本知识图谱补全方法、系统、设备及存储介质，通过引入实体间的交互和实体间的关系，可以增强中心实体的表示能力。此外，通过进行语义交互建模可以捕捉支撑集中不同的实体对所反映的不同特征，有效的表示小样本关系的不同方面，最终进一步提高小样本关系连接预测的准确率，提升小样本知识图谱补全效果，进而提升在在搜索引擎、问答系统、推荐系统等相关应用中的效果。

Description

小样本知识图谱补全方法、系统、设备及存储介质
技术领域
本发明涉及图数据挖掘领域，尤其涉及一种小样本知识图谱补全方法、系统、设备及存储介质。
背景技术
图是一种数据结构，由节点和连接各节点的边组成。知识图谱是一种特殊的图，图中的边有着不同的类型，不同类型的边有不同的语义。在知识图谱中，节点表示一个实体，边表示关系。实体可以表示自然界中任何一类客观存在的对象或任何一种约定俗成的概念，关系则用于描述不同对象之间的相互作用、依赖关系。知识图谱是人类对于世界知识的表达和存储的一种方式，因此，有很高的研究价值和应用价值，也引起了学术界和工业界的广泛关注。
目前，知识图谱广泛应用于搜索引擎、问答系统、推荐系统中。知识图谱由一系列三元组构成，形如<头实体，关系，尾实体>。其中头实体与尾实体为知识图谱中的某一实体，关系为知识图谱上的一种关系。一个三元组定义了知识图谱中的一条边，知识图谱中所有的边共同构成整个知识图谱。知识补全是知识图谱上的任务之一，旨在根据已知的三元组，推测出潜在的、可能的三元组，进一步补全残缺的三元组，提高知识图谱的完整性，增强知识图谱的易用性，使得知识图谱在其他任务上更易于使用，可以提升在搜索引擎、问答系统、推荐系统的应用效果。
但是，数据统计发现，知识图谱中关系的频次，往往呈现出长尾分布的特性，换言之，一小部分的关系出现在三元组的次数很多，大部分的关系出现在三元组的次数很少。出现次数很少的关系被称为小样本关系。包含小样本关系的三元组很少，因此理解小样本关系较为困难。另外，小样本关系往往需要进一步补全，较少的三元组也提升了小样本知识图谱补全任务的难度。
目前为止，已有少许相关的技术方案与研究成果，部分代表性的公开技术方法大致可以分为以下两种类型：
1、传统的知识图谱补全方法。
传统的知识图谱补全方法需要大量的数据作为支撑，因而在小样本的场景下，往往表现的很差。最具有代表性的，是基于翻译的模型，最早的TransE模型则假设实体和关系的向量满足假设“头实体+关系=尾实体”，据此对每个实体和关系的向量表示优化。后续在翻译模型上的方法，如TransH，则是对TransE的优化和改进，进一步考虑到了不同关系的一对多、多对一的特性。但是在小样本关系下，表现仍然不好。
2、其他小样本知识图谱补全方法的方法。
其他小样本知识图谱补全方法的方法主要分为使用度量学习的方法和使用元学习的方法。
（1）使用度量学习的方法。度量学习是使用距离函数或相似度函数衡量两个向量间的距离或相似度。在度量学习的基础上，给定一种关系下的少数几个三元组（称为支撑集），再给定一个询问的头实体和尾实体（称为询问实体对），从而可以根据度量函数，判断询问实体对和给定的已知的三元组的关系。最终得出询问实体对是否满足当前的关系。论文“Xiong, Wenhan, et al. "One-Shot Relational Learning for Knowledge Graphs."Proceedings of the 2018 Conference on Empirical Methods in Natural LanguageProcessing. 2018.”描述了一种使用知识图谱中邻居实体节点编码的方法，该方法可以融合邻居实体结点的信息，进一步对实体对的节点进行表示。首先将每个实体嵌入到向量空间中，对于需要表达的实体，获取它在知识图谱上的一阶邻居，通过多层感知机得到编码后邻居实体向量，将邻居实体向量的平均值作为中心实体的表示。为了得到支撑集和询问实体对的相关关系，采用长短期记忆神经网络进行匹配。论文“Zhang, Chuxu, et al. "Few-shot knowledge graph completion." Proceedings of the AAAI Conference onArtificial Intelligence. Vol. 34. No. 03. 2020.”进一步考虑到了邻居实体节点编码时，不同实体节点的重要程度不同，进而为他们分配不同的权重，该权重应该由模型学习得到。具体而言，对于实体的邻居节点，使用全连接层得到中心实体节点对于邻居实体节点的权重，将邻居实体节点向量的加权和作为中心实体节点的向量表示。论文“Sheng,Jiawei, et al. "Adaptive Attentional Network for Few-Shot Knowledge GraphCompletion. " Proceedings of the 2020 Conference on Empirical Methods inNatural Language Processing. 2020.”在得到中心实体表示的过程当中，使用了注意力机制，计算出当前邻居实体系节点对于任务关系的权重，通过加权和的形式进一步融合了当前关系的表示，除此之外，为了得到更加一般化的询问实体对的表示，使用注意力机制，计算得到询问和支撑集之间的注意力关系，进而得到询问的向量表示。
（2）使用元学习的方法。元学习是一种学习方法，希望模型获得“学会学习”的能力，最终使得模型能够在已有知识的基础之上，快速适应或学习新的任务。论文“Chen,Mingyang, et al. "Meta Relational Learning for Few-Shot Link Prediction inKnowledge Graphs." Proceedings of the 2019 Conference on Empirical Methods inNatural Language Processing and the 9th International Joint Conference onNatural Language Processing (EMNLP-IJCNLP). 2019.”是一种基于元学习的方法。在训练时，该方法把不同小样本关系上的学习任务作为学到的知识，知识来源于两个方面，一种来源于支撑集和询问实体对中对于任务关系的知识，另外一种来源于不同任务之间可以快速迁移的梯度知识。
然而，上述使用度量学习的方法和使用元学习的方法在获得实体的表示时，忽略了邻居实体之间的语义交互。不同实体和关系之间组合蕴含了大量的语义信息，对小样本关系的学习和推断很有帮助。
综上所述，现有的技术方案虽然已经取得了一定的成效，但对于小样本存在如下困难：1、传统的知识图谱补全方法需要大量的三元组作为训练数据，而在小样本的场景下没有充足的训练数据，导致训练效果很差。2、其他小样本知识图谱补全方法的方法在获取实体的表示时，忽略了邻居实体与实体之间，实体与关系之间的语义交互。往往不同实体和关系之间组合蕴含了大量的语义信息，对小样本关系的学习和推断很有帮助。因此，对于如何有效的对小样本关系进行充分的挖掘和表示，是一项亟需解决的问题。
发明内容
本发明的目的是提供一种小样本知识图谱补全方法、系统、设备及存储介质，能够准确预测不同实体关系，准确对小样本关系进行补全，进而也能够提升在后续应用中的效果。
本发明的目的是通过以下技术方案实现的：
一种小样本知识图谱补全方法，包括：
从待补全的知识图谱中提取出所有小样本关系，对于每一小样本关系分别提取出若干支撑三元组构成的支撑集，以及对于每一小样本关系结合给定的若干询问实体对构造若干询问三元组，并提取出所有包含非小样本关系的三元组作为背景知识图谱；其中，小样本关系出现的次数少于非小样本关系，每一支撑三元组包含一个支撑实体对及支撑实体对的关系，所述支撑实体对与询问实体对均包含头尾两个实体；
对于每一小样本关系的每一询问三元组，以及支撑集中的每一支撑三元组，均各自通过背景知识图谱中分别提取出询问实体对与支撑实体对的一跳邻居集合，将询问实体对与支撑实体对各自与对应的一跳邻居集合进行语义交互建模，获得每一询问三元组中询问实体对的隐向量与每一支撑三元组中支撑实体对的隐向量；
对于每一小样本关系的每一询问三元组，将相应询问实体对的隐向量与对应支撑集的所有支撑三元组中支撑实体对的隐向量拼接后进行语义交互建模，获得每一支撑三元组中支撑实体对的交互特征与询问实体对的交互特征，再通过注意力机制计算出每一支撑三元组中支撑实体对的注意力权重，并对相应支撑实体对的隐向量进行加权，计算出支撑集的表示向量；通过支撑集的表示向量与询问实体对的交互特征计算询问实体对的评分；
对于具有相同询问头实体的询问实体对，选出评分最高的询问实体对对应的询问三元组更新待补全的知识图谱。
一种小样本知识图谱补全系统，包括：
知识图谱数据收集及预处理单元，用于从待补全的知识图谱中提取出所有小样本关系，对于每一小样本关系分别提取出若干支撑三元组构成的支撑集，以及对于每一小样本关系结合给定的若干询问实体对构造若干询问三元组，并提取出所有包含非小样本关系的三元组作为背景知识图谱；其中，小样本关系出现的次数少于非小样本关系，每一支撑三元组包含一个支撑实体对及支撑实体对的关系，所述支撑实体对与询问实体对均包含头尾两个实体；
交互式子图编码器，用于对于每一小样本关系的每一询问三元组，以及支撑集中的每一支撑三元组，均各自通过背景知识图谱中分别提取出询问实体对与支撑实体对的一跳邻居集合，将询问实体对与支撑实体对各自与对应的一跳邻居集合进行语义交互建模，获得每一询问三元组中询问实体对的隐向量与每一支撑三元组中支撑实体对的隐向量；
交互式匹配处理器，用于对于每一小样本关系的每一询问三元组，将相应询问实体对的隐向量与对应支撑集的所有支撑三元组中支撑实体对的隐向量拼接后进行语义交互建模，获得每一支撑三元组中支撑实体对的交互特征与询问实体对的交互特征，再通过注意力机制计算出每一支撑三元组中支撑实体对的注意力权重，并对相应支撑实体对的隐向量进行加权，计算出支撑集的表示向量；通过支撑集的表示向量与询问实体对的交互特征计算询问实体对的评分；
数据补全单元，对于具有相同询问头实体的询问实体对，选出评分最高的询问实体对对应的询问三元组更新待补全的知识图谱。
一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
由上述本发明提供的技术方案可以看出，通过引入实体间的交互和实体间的关系，可以增强实体的表示能力。此外，通过进行语义交互建模可以捕捉支撑集中不同的支撑实体对所反映的不同特征，有效的表示小样本关系的不同方面，最终进一步提高小样本关系连接预测的准确率，提升小样本知识图谱补全效果，进而提升在在搜索引擎、问答系统、推荐系统等相关应用中的效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种小样本知识图谱补全方法的流程图；
图2为本发明实施例提供的Transformer模型的架构示意图；
图3为本发明实施例提供的交互式子图编码器的结构示意图；
图4为本发明实施例提供的交互式匹配处理器的结构示意图；
图5为本发明实施例提供的一种小样本知识图谱补全系统的示意图；
图6为本发明实施例提供的一种处理设备的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
首先对本文中可能使用的术语进行如下说明：
术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素（如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等），应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
下面对本发明所提供的一种小样本知识图谱补全方法、系统、设备及存储介质进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。本发明实施例中所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。
实施例一
本发明实施例提供一种小样本知识图谱补全方法，如图1所示，其主要包括如下步骤：
步骤S1、知识图谱数据的收集、筛选和预处理。
本发明实施例中，从待补全的知识图谱中提取出所有小样本关系，对于每一小样本关系分别提取出若干支撑三元组构成的支撑集，以及对于每一小样本关系结合给定的若干询问实体对构造若干询问三元组，并提取出所有包含非小样本关系的三元组作为背景知识图谱；其中，小样本关系出现的次数少于非小样本关系，每一支撑三元组包含一个支撑实体对及支撑实体对的关系，所述支撑实体对与询问实体对均包含头尾两个实体。
本领域技术人员可以理解，每一三元组均包含头尾两个实体构成的实体对，支撑三元组与询问三元组均属于三元组，但是由于二者在本发明中的用途不同，因此，在名称上做了区分，同样的，三元组中的实体与实体对的名称也做了区分。
通常来说，一张知识图谱包含少则几十个三元组，多则上万个三元组。首先，需要确定知识图谱中的一些关系作为小样本关系，另外的关系则作为非小样本关系。小样本关系为需要学习的关系，属于非小样本关系的三元组则作为背景知识图谱作为辅助。小样本关系下的三元组中的头尾实体节点均会出现在背景知识图谱中，从而可以从背景知识图谱中获得某个实体的邻居实体节点和与其相连的关系，并且不会出现不存在于背景知识图谱的实体和关系。
本领域人员可以理解，小样本关系为行业术语，一般认为仅有几个（个位数）样本；也就是，当某个关系仅对应几个三元组时，可以认为是小样本关系。
步骤S2、交互式子图编码，获得编码隐向量。
本发明实施例中，对于每一小样本关系的每一询问三元组，以及支撑集中的每一支撑三元组，均各自通过背景知识图谱中分别提取出询问实体对与支撑实体对的一跳邻居集合，将询问实体对与支撑实体对各自与对应的一跳邻居集合进行语义交互建模，获得每一询问三元组中询问实体对的隐向量与每一支撑三元组中支撑实体对的隐向量。
此阶段，将每一个实体（包含四类：询问实体对中的询问头实体与询问尾实体，支撑集的支撑三元组中的支撑头实体与支撑头实体）与其所有一跳邻居实体构成的图结构看作一个子图，通过对子图中的实体进行交互编码，来得到每一个实体的对应的子图向量，将一个实体对（询问实体对、支撑实体对）的两个子图向量进行融合，从而得到一个实体对的隐向量。以上处理过程可以理解为，将每一个实体作为中心实体，建模一跳邻居实体的语义交互，同时引入实体之间的关系，来增强中心实体以及一跳邻居实体的语义表示。
本步骤中，语义交互建模可以采用Transformer模型实现，从而有效的增强实体的语义，Transformer模型为一种现有的模型，模型名称Transformer为专用名称，无对应的中文。
步骤S3、交互式匹配处理，获得询问实体对的评分分数。
本发明实施例中，对于每一小样本关系的每一询问三元组，将相应询问实体对的隐向量与对应支撑集的所有支撑三元组中支撑实体对的隐向量拼接后进行语义交互建模，获得每一支撑三元组中支撑实体对的交互特征与询问实体对的交互特征，再通过注意力机制计算出每一支撑三元组中支撑实体对的注意力权重，并对相应支撑实体对的隐向量进行加权，计算出支撑集的表示向量；通过支撑集的表示向量与询问实体对的交互特征计算询问实体对的评分，评分越高表明询问实体对属于相应小样本关系的可能性越大。
本发明实施例中，对于每一个小样本关系，将前述步骤2获得的每一询问实体对的隐向量与支撑集的所有支撑三元组中支撑实体对的隐向量进行语义交互建模（可通过Transformer模型实现），交互后的特征向量可以充分反映出询问实体对和支撑集的相关性。采用注意力机制得出每个询问向量和支撑集中的实体对的向量权重系数，支撑集实体对向量的加权和表示了相应小样本关系的综合表示，将询问向量和加权和后的向量之间的内积，作为询问实体对的评分。评分越高则说明两个实体存在某种小样本关系的可能性越大。
步骤S4、对于具有相同询问头实体的询问实体对，选出评分最高的询问实体对对应的询问三元组更新待补全的知识图谱。
为了便于理解，下面从如下六个方面对本发明做详细的介绍。
一、任务定义。
小样本图谱补全的任务是对于一个缺失的尾实体的询问
Figure 556374DEST_PATH_IMAGE001
，通过本发明提供的方案对知识图谱中的实体进行排序，将评分最高的实体作为预测结果，而真实的缺失实体为t，此处的真实的缺失实体t是在训练过程的标签，由于t是一个实体，将其转换成为向量的表示（每个实体均有一个向量表示）。在后续的损失函数中，希望真实的三元组评分，高于比负样本（替换掉真实的尾实体）的评分。
二、Transformer的基本结构。
如图2所示，Transformer的基本结构包含三部分：多头注意力，前向传播层，残差连接和正则化（图2中的符号⊕）。
1、多头注意力。
多头注意力采用了查询（Q）-键（K）-值（V）的注意力机制。给定是三个矩阵
Figure 961948DEST_PATH_IMAGE002
，
Figure 604281DEST_PATH_IMAGE003
，
Figure 411700DEST_PATH_IMAGE004
，内积注意力机制可以按如下方式写出：
Figure 114077DEST_PATH_IMAGE005
其中，
Figure 6947DEST_PATH_IMAGE006
表示实数集，N是查询的长度，M是键的数目，d k 是键的维度，d v 是值的维度，A为
Figure 718551DEST_PATH_IMAGE007
的简写。多头注意力机制则是在内积注意力机制的基础上，采用了多个注意力头，写作：
MultiHeadAttn(Q,K,V)=Concat(head 1 ,…,head H )W O
其中，head h 可以表示为
Figure 380476DEST_PATH_IMAGE008
，其中的
Figure 519334DEST_PATH_IMAGE009
，
Figure 571603DEST_PATH_IMAGE010
，
Figure 883636DEST_PATH_IMAGE011
，
Figure 603330DEST_PATH_IMAGE012
均为可以学习的参数矩阵，
Figure 709827DEST_PATH_IMAGE013
表示输入的维度，h=1,…,H，H表示注意力头的数目。当Q=K=V的时候，记作Self-Attention（自注意力机制）。
2、前向传播层（FFN）。
前向传播层是由两个线性层和ReLU激活函数构成的，可以写作如下的公式：
FFN(x 1)=ReLu(xW11+b11)W22+b22
其中，x 1表示输入向量，W11与W22为可训练的参数矩阵，b11与b22为可训练的偏置向量。
3、残差连接和正则化。
Transformer使用了残差连接和正则化技术，具体的，可以按如下公式计算：
H’=LayerNorm(Self-Attention(x 2)+x 2)
H=LayerNorm(FFN(H’)+ H’)
其中，x 2表示输入向量，LayerNorm表示层归一化，H’表示中间计算结果。
三、知识图谱数据的收集、筛选和预处理。
将待补全的知识图谱记为G，其包含三元组集合{(h,r,t)}⊆ε×β×ε；单个三元组(h,r,t)中，h表示头实体，t表示尾实体，头实体与尾实体构成三元组中的实体对，r表示实体对的关系；ε表示全部的实体所构成的集合，β表示全部的关系所构成的集合；按照关系出现的次数将集合β划分为两类，一类为小样本关系，构成集合R few ，这类小样本关系所包含的三元组较少，另一类为非小样本关系，构成集合R bg ，提取出所有包含非小样本关系的三元组作为背景知识图谱G bg 。满足：R few ∩R bg =∅，R few ∪R bg =β，也就是说，以上两类关系不会出现重叠。
对于每一小样本关系r’∈R few ，提取出对应的支撑集
Figure 249392DEST_PATH_IMAGE014
，其中，s i =(h i , r’,t i )表示支撑集中的第i个支撑三元组，h i 与t i 分别表示支撑集中第i个支撑三元组中的支撑头实体与支撑尾实体，U表示支撑集中支撑三元组的数目；支撑集中的支撑三元组为知识图谱中包含的小样本关系的三元组。
对于每一小样本关系r’∈R few ，利用给定的询问实体对构造若干询问三元组构成的集合{(h j ’, r’,t j ’)}，其中，h j ’与t j ’ 分别表示第j个询问三元组中的询问头实体与询问尾实体。
需要说明的是，知识图谱是目前已有的数据结构，其中的实体（包含头尾实体）、实体之间的关系，以及头尾实体及关系构成的三元组均为本领域通用术语。为了便于理解，下面以“用途”这一关系作为一个小样本关系做举例说明。假设有支撑集包含三个支撑三元组（灯泡，用途，照明），（洗衣机，用途，洗衣服），（水杯，用途，盛水）；给定若干询问实体对构造询问三元组，此处以三个相同询问头实体对应的询问三元组为例：（电话，用途，通话），（电话，用途，取暖），（电话，用途，清洁）；在知识图谱补全时，分别计算三个询问三元组的询问实体对的评分分数，例如，按照本发明提供的方案计算后，询问实体对（电话，通话）评分分数最高，则利用（电话，用途，通话）补全知识图谱。
四、交互式子图编码阶段。
本阶段的主要步骤包括：
1、对于每一询问三元组，从背景知识图谱中分别获取询问头实体与询问尾实体的所有一跳邻居实体及相应的关系，对于支撑集中的每一支撑三元组，从背景知识图谱中分别获取支撑头实体与支撑尾实体的所有一跳邻居实体及相应的关系；对每个一跳邻居实体与相应关系的嵌入表示进行融合编码，作为每个一跳邻居实体的融合表示向量，最终获得询问头实体与询问尾实体所有的一跳邻居实体的融合表示向量，以及每一支撑三元组中支撑头实体与支撑尾实体所有的一跳邻居实体的融合表示向量；通过编码小样本关系，获得关系向量，结合所述关系向量与相应实体的嵌入表示，获得每一询问三元组中询问头实体与询问尾实体的表示向量，以及每一支撑头实体与支撑尾实体的表示向量。
交互式子图编码阶段对于询问三元组以及支撑集中的每一三元组的处理过程是完全相同的，同时，本步骤1对于任意实体的处理过程也是完全相同的。因此，首先定义实体e表示询问头实体、支撑头实体、询问尾实体或者支撑尾实体，以前文第三部分提供的符号为例，此处定义的实体e可以指代如下四类实体：第j个询问三元组中的询问头实体h j ’，第j个询问三元组中的询问尾实体t j ’ ，第i个支撑三元组中的支撑头实体h i ，支撑集中第i个支撑三元组中的支撑尾实体t i 。
下面以实体e为例介绍本步骤1的处理过程，主要如下：
（1）从背景知识图谱中获取实体e的所有一跳邻居实体及相应的关系，记为
Figure 99537DEST_PATH_IMAGE015
，其中，其中，
Figure 939317DEST_PATH_IMAGE016
表示实体e的第f个一跳邻居实体，
Figure 154397DEST_PATH_IMAGE017
表示实体e与
Figure 509155DEST_PATH_IMAGE018
的关系，
Figure 835094DEST_PATH_IMAGE019
，
Figure 591698DEST_PATH_IMAGE020
为实体e的一跳邻居实体数目。
（2）定义第f个一跳邻居实体
Figure 977680DEST_PATH_IMAGE016
与关系
Figure 757417DEST_PATH_IMAGE017
的嵌入表示为向量
Figure 949364DEST_PATH_IMAGE021
和
Figure 498157DEST_PATH_IMAGE022
，通过第一感知机进行融合编码，获得第f个一跳邻居实体的融合表示向量
Figure 117357DEST_PATH_IMAGE023
：
Figure 118811DEST_PATH_IMAGE024
其中，
Figure 114449DEST_PATH_IMAGE025
为激活函数，例如，可以采用tanh函数；
Figure 783328DEST_PATH_IMAGE026
表示向量拼接操作，W1与b1表示第一组可学习的参数，W表示权重矩阵，b表示偏振向量。实体与关系的嵌入表示可以通过分别对实体与关系进行向量化获得，具体方式可参照常规技术，本发明不做赘述。
（3）为了得到实体对相对的小样本关系表示，同时考虑到关系的对称性，实体e所在询问三元组或者支撑三元组中对应的小样本关系通过下式公式进行编码计算，获得关系向量R e ：
Figure 511112DEST_PATH_IMAGE027
其中，
Figure 62179DEST_PATH_IMAGE028
与
Figure 799191DEST_PATH_IMAGE029
构成一个支撑实体对或者一个询问实体对；h j ’表示第j个询问三元组中的询问头实体，h i 表示支撑集中第i个支撑三元组中的支撑头实体，实体
Figure 119314DEST_PATH_IMAGE028
为h j ’或者h i ；t j ’表示第j个询问三元组中的询问尾实体，t i 表示支撑集中第i个支撑三元组中的支撑尾实体，实体
Figure 18000DEST_PATH_IMAGE029
为t j ’或者t i ；
Figure 56363DEST_PATH_IMAGE030
与
Figure 597066DEST_PATH_IMAGE031
分别表示实体
Figure 709378DEST_PATH_IMAGE029
与
Figure 106862DEST_PATH_IMAGE028
的嵌入表示；W2与b2表示第二组可学习的参数。
（4）结合关系向量R e 与实体e的嵌入表示E e ，获得实体e的表示向量h e ：
Figure 304625DEST_PATH_IMAGE032
如之前所述，四类实体都使用实体e来表示，因此，对于每一询问三元组中的询问实体（询问头实体与询问尾实体）的表示向量与支撑集中支撑三元组内实体（支撑头实体与支撑尾实体）的表示向量，以及它们各自对应的所有一跳邻居实体的融合表示向量都可通过以上（1）~（4）中的方式计算。
2、将每一询问三元组中询问头实体的表示向量及询问尾实体的表示向量分别与对应的所有的一跳邻居实体的融合表示向量进行拼接，则每一询问实体对获得两组拼接向量；将每一支撑头实体的表示向量及支撑尾实体的表示向量分别与对应的所有的一跳邻居实体的融合表示向量进行拼接，则每一支撑实体对获得两组拼接向量。
通过前述步骤1计算出每一类实体的表示向量以及它们对应的所有一跳邻居实体的融合表示向量后，本步骤2中将实体的表示向量以及它们对应的所有一跳邻居实体的融合表示向量拼接，一个实体对包含头尾两个实体（询问头实体与询问尾实体、支撑头实体与支撑尾实体），因此，可以得到两个拼接向量。
以前述实体e为例，将实体e的表示向量与其所有的一跳邻居实体的融合表示向量进行拼接，表示为：
Figure 445756DEST_PATH_IMAGE033
。
3、将每一询问实体对的两组拼接向量，以及每一支撑实体对的两组拼接向量，均分别单独通过Transformer模型进行语义交互建模，再融合两组拼接向量的语义交互建模结果，获得每一询问实体对的隐向量以及每一支撑实体对的隐向量。
本步骤3中，对每一组拼接向量都单独通过Transformer模型进行语义交互建模，之后，再将同属于一个实体对（询问实体对、支撑实体对）的两个语义交互建模进行融合，主要流程如下：
（1）通过Transformer模型进行语义交互建模，也就是使用Transformer来学习如何对一跳邻居实体表示向量的编码，Transformer模型的第l层输出的隐向量表示为：
Figure 412575DEST_PATH_IMAGE034
Figure 184222DEST_PATH_IMAGE035
其中，L表示Transformer模型的总层数，
Figure 931598DEST_PATH_IMAGE036
表示第l层输出的实体e的隐向量，
Figure 548524DEST_PATH_IMAGE037
表示第l层输出的第f个一跳邻居实体的隐向量，当l=1时，
Figure 697746DEST_PATH_IMAGE038
。
（2）聚合实体e以及所有一跳实体邻居隐向量：
Figure 374715DEST_PATH_IMAGE039
Figure 609387DEST_PATH_IMAGE040
其中，
Figure 30004DEST_PATH_IMAGE041
表示使用均值池化后的隐向量，W3与b3表示第三组可学习的参数，W4与b4表示第四组可学习的参数。
实体e对应的向量o e 即为针对拼接向量z 0的语义交互建模结果；参见之前的说明，可以将实体e与其所有一跳邻居实体构成的图结构看作一个子图，通过对子图中的实体进行交互编码，来得到每一个实体的对应的子图向量，也就是此处的向量o e 。
（3） 当实体e=
Figure 236995DEST_PATH_IMAGE028
时，向量o e =
Figure 147182DEST_PATH_IMAGE042
，实体e=
Figure 806833DEST_PATH_IMAGE029
时，向量o e =
Figure 827879DEST_PATH_IMAGE043
，也就是说，一个询问实体对或者支撑实体对都是以上步骤1~步骤3的方式计算出询问头实体或者支撑头实体的语义交互建模结果，以及询问尾实体或者支撑尾实体的语义交互建模结果。之后，通过第二感知机进行融合编码，获得支撑实体对或者询问实体对的隐向量：
Figure 889376DEST_PATH_IMAGE044
其中，W5与b5表示第五组可学习的参数；具体的：当实体
Figure 704885DEST_PATH_IMAGE028
为h j ’，实体
Figure 117412DEST_PATH_IMAGE029
为t j ’时，p表示第j个询问三元组中询问实体对的隐向量；当实体
Figure 879832DEST_PATH_IMAGE028
为h i ，实体
Figure 858152DEST_PATH_IMAGE029
为t i 时，p表示第i个支撑三元组中支撑实体对的隐向量。
基于交互式子图编码阶段所介绍的技术方案，可以计算出所有小样本关系下所有询问实体对的隐向量以及所有支撑实体对的隐向量。
图3以支撑集中的一个支撑三元组为例介绍了交互式子图编码阶段主要流程，由于展示了主要流程，因此，各个感知机的名称无需区分也可以准确理解交互式子图编码过程。图3左侧的s 1表示支撑集中的第一个支撑三元组，h 1与t 1分别表示支撑三元组s 1中的支撑头实体与支撑尾实体，h 1与t 1四周的实体表示它们各自的一跳邻居实体，考虑到附图尺寸问题，图3仅展示了一部分一跳邻居实体；同理，图1所示的支撑集中各个支撑三元组以及询问实体对的一跳邻居节点也是图3所示的结构，但是考虑到附图尺寸问题，在图1中省去了相关的一跳邻居节点结构；右侧从下往上依次表示按照前述步骤1~3获得支撑三元组s1中支撑实体对的隐向量
Figure 47825DEST_PATH_IMAGE045
。
五、交互式匹配处理阶段。
本阶段是在前述交互式子图编码阶段的基础上完成，考虑到支撑集中不同的支撑实体对反应了一个小样本关系不同的特性，为了能够更加细粒度的捕捉到不同实体对下的特性，为此，本发明采用了Transformer来学习询问三元组和支撑集的交互特征。如图4所示，本阶段的主要处理流程如下：
1、结合前文的介绍，对于每一个小样本关系r’，将询问实体对的隐向量，与对应的支撑集中所有支撑实体对的隐向量拼接，表示为：
Figure 490525DEST_PATH_IMAGE046
其中，
Figure 791056DEST_PATH_IMAGE047
表示第j个询问三元组中询问实体对
Figure 889462DEST_PATH_IMAGE048
的隐向量，
Figure 515616DEST_PATH_IMAGE049
表示支撑集中第i个支撑三元组的支撑实体对的隐向量，i=1,…, U，U表示支撑集中支撑三元组的数目。
2、将拼接后的隐向量c 0 通过Transformer模型进行语义交互建模，语义交互建模过程表示为：
Figure 371576DEST_PATH_IMAGE050
其中，
Figure 538115DEST_PATH_IMAGE051
；
Figure 428711DEST_PATH_IMAGE052
表示Transformer模型输出的对应第i个支撑三元组的支撑实体对的交互特征，
Figure 22503DEST_PATH_IMAGE053
表示Transformer模型输出的询问实体对的交互特征。
此处使用的Transformer模型和前文提到的Transformer从计算方式来说，是没有区别的，但是两个Transformer模型的参数是不同的。两个Transformer模型的输入向量的含义也是不同的，交互式子图编码过程输入为实体及其一跳邻居（以及和一跳邻居关系）的向量表示（即前文定义的向量z 0），目的在于处理局部子图的信息得到实体对应的向量。而此处的Transformer的输入为询问实体对和支撑集实体对的向量表示（即c 0），用于学习询问和支撑集之间的向量关系。
3、通过注意力机制计算出询问实体对与支撑集中每一支撑三元组的支撑实体对的权重，表示为：
Figure 365760DEST_PATH_IMAGE054
Figure 70411DEST_PATH_IMAGE055
其中，
Figure 81092DEST_PATH_IMAGE056
是一个度量函数（例如，可以使用向量的内积），
Figure 783469DEST_PATH_IMAGE057
表示第i个支撑三元组的支撑实体对与询问实体对的距离，
Figure 676338DEST_PATH_IMAGE058
表示第
Figure 122363DEST_PATH_IMAGE059
个支撑三元组的支撑实体对与询问实体对的距离，
Figure 784289DEST_PATH_IMAGE060
表示第i个支撑三元组的支撑实体对的注意力权重，D(c 0 )表示询问实体对的交互特征
Figure 923146DEST_PATH_IMAGE053
的维度，exp表示以e为底的指数函数。
4、通过计算出的注意力权重对支撑集中相应支撑三元组的支撑实体对的隐向量进行加权，计算出支撑集的表示向量：
Figure 240995DEST_PATH_IMAGE061
通过支撑集的表示向量与相应询问实体对的交互特征计算相应询问实体对的评分：
Figure 553028DEST_PATH_IMAGE062
其中，
Figure 7143DEST_PATH_IMAGE063
表示第j个询问三元组中询问实体对
Figure 848060DEST_PATH_IMAGE048
的评分分数，也就是，将
Figure 715522DEST_PATH_IMAGE064
与
Figure 503349DEST_PATH_IMAGE065
的距离作为评分分数。。
六、模型训练。
将图1展示的小样本知识图谱补全方法通过一个模型来实现，主要包含实现前述步骤S2的交互式子图编码器以及实现步骤S3的交互式匹配处理器。
为了使模型能够准确区分实体对的真实关系，需要利用所述待补全的知识图谱中已有三元组（真实的三元组）进行模型训练。考虑到小样本关系对应的三元组较少，训练阶段利用非小样本关系对应的三元组构建训练数据集，训练数据集包含正样本集合、支撑集与负样本集合；其中，对于每一非小样本关系r x ，从所述待补全的知识图谱中提取多个三元组，再从所述多个三元组中采样若干支撑三元组作为非小样本关系r x 的支撑集
Figure 139867DEST_PATH_IMAGE066
，其余三元组作为非小样本关系r x 的正样本集合
Figure 354947DEST_PATH_IMAGE067
；正样本集合
Figure 912968DEST_PATH_IMAGE067
中每一个三元组中的实体对均作为正样本，为每一个正样本构造相应的负样本，构成负样本集合
Figure 301224DEST_PATH_IMAGE068
；负样本的构造方法为：将正样本中的尾实体随机替换为所述待补全的知识图谱中除去相应正样本中尾实体外的其他实体。
训练阶段采用间隔损失函数，即拉远正负样本之间的距离，间隔损失函数表示为：
Figure 729931DEST_PATH_IMAGE069
其中，
Figure 443809DEST_PATH_IMAGE070
表示正样本集合
Figure 957967DEST_PATH_IMAGE067
中第y个三元组中的实体对，即第y个正样本，
Figure 353176DEST_PATH_IMAGE071
表示第y个负样本，
Figure 698707DEST_PATH_IMAGE072
表示第y个正样本
Figure 317907DEST_PATH_IMAGE070
的评分分数，
Figure 584940DEST_PATH_IMAGE073
表示第y个负样本的评分分数，
Figure 518261DEST_PATH_IMAGE074
表示正负样本间的距离，是一个实数值，可以由用户在模型训练开始前设定。
此部分计算正负样本的评分方式也是参照前文介绍的交互式子图编码阶段、交互式匹配处理阶段计算；即将正负样本作为询问实体对采用前文的流程计算评分，以第y个正样本
Figure 983878DEST_PATH_IMAGE070
为例，在交互式子图编码阶段，利用第y个正样本
Figure 711662DEST_PATH_IMAGE070
中头尾实体各自的一跳邻居及关系进行语义交互建模，获得第y个正样本
Figure 262729DEST_PATH_IMAGE070
的隐向量，并且计算出应的支撑集中所有支撑三元组的支撑实体对的隐向量；交互式匹配处理阶段，将第y个正样本
Figure 734162DEST_PATH_IMAGE070
的隐向量与对应的支撑集中所有支撑三元组的支撑实体对的隐向量拼接后进行语义交互建模，获得每一支撑实体对的交互特征与第y个正样本
Figure 54285DEST_PATH_IMAGE070
的交互特征，再通过注意力机制计算出支撑集中每一支撑三元组的支撑实体对的权重，并对支撑集中每一支撑三元组的支撑实体对的隐向量进行加权，计算出支撑集的表示向量；通过支撑集的表示向量与第y个正样本
Figure 218550DEST_PATH_IMAGE070
的交互特征计算第y个正样本
Figure 460176DEST_PATH_IMAGE070
的评分。
训练过程中，每一非小样本关系的支撑集和正样本集合的三元组的交集为空集，也即支撑集和正样本集合互补不重叠，以避免数据泄露。
通过上述间隔损失函数进行模型训练，使得模型能够准确区分实体对的真实关系，从而区分出属于小样本关系的询问实体对和不属于小样本关系的询问实体对。
对损失Loss使用梯度下降算法，即可更新模型中的参数，也即前文所涉及的各个参数W与b，此部分参数更新的的具体实施方式可参照常规技术实现，本发明不做赘述。
实施例二
本发明还提供一种小样本知识图谱补全系统，其主要基于前述实施例一提供的方法实现，如图5所示，该系统主要包括：
知识图谱数据收集及预处理单元，用于从待补全的知识图谱中提取出所有小样本关系，对于每一小样本关系分别提取出若干支撑三元组构成的支撑集，以及对于每一小样本关系结合给定的若干询问实体对构造若干询问三元组，并提取出所有包含非小样本关系的三元组作为背景知识图谱；其中，小样本关系出现的次数少于非小样本关系，每一支撑三元组包含一个支撑实体对及支撑实体对的关系，所述支撑实体对与询问实体对均包含头尾两个实体；
交互式子图编码器，用于对于每一小样本关系的每一询问三元组，以及支撑集中的每一支撑三元组，均各自通过背景知识图谱中分别提取出询问实体对与支撑实体对的一跳邻居集合，将询问实体对与支撑实体对各自与对应的一跳邻居集合进行语义交互建模，获得每一询问三元组中询问实体对的隐向量与每一支撑三元组中支撑实体对的隐向量；
交互式匹配处理器，用于对于每一小样本关系的每一询问三元组，将相应询问实体对的隐向量与对应支撑集的所有支撑三元组中支撑实体对的隐向量拼接后进行语义交互建模，获得每一支撑三元组中支撑实体对的交互特征与询问实体对的交互特征，再通过注意力机制计算出每一支撑三元组中支撑实体对的注意力权重，并对相应支撑实体对的隐向量进行加权，计算出支撑集的表示向量；通过支撑集的表示向量与询问实体对的交互特征计算询问实体对的评分；
数据补全单元，对于具有相同询问头实体的询问实体对，选出评分最高的询问实体对对应的询问三元组更新待补全的知识图谱。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
上述系统中各单元的主要实现原理已经在之前的实施例一中做了详细的介绍，故不再赘述。
实施例三
本发明还提供一种处理设备，如图6所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。
进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。
本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：
输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；
输出设备可以为显示终端；
存储器可以为随机存取存储器（Random Access Memory，RAM），也可为非不稳定的存储器（non-volatile memory），例如磁盘存储器。
实施例四
本发明还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。
本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (9)

1.一种小样本知识图谱补全方法，其特征在于，包括：
从待补全的知识图谱中提取出所有小样本关系，对于每一小样本关系分别提取出若干支撑三元组构成的支撑集，以及对于每一小样本关系结合给定的若干询问实体对构造若干询问三元组，并提取出所有包含非小样本关系的三元组作为背景知识图谱；其中，小样本关系出现的次数少于非小样本关系，每一支撑三元组包含一个支撑实体对及支撑实体对的关系，所述支撑实体对与询问实体对均包含头尾两个实体；
对于每一小样本关系的每一询问三元组，以及支撑集中的每一支撑三元组，均各自通过背景知识图谱中分别提取出询问实体对与支撑实体对的一跳邻居集合，将询问实体对与支撑实体对各自与对应的一跳邻居集合进行语义交互建模，获得每一询问三元组中询问实体对的隐向量与每一支撑三元组中支撑实体对的隐向量；
对于每一小样本关系的每一询问三元组，将相应询问实体对的隐向量与对应支撑集的所有支撑三元组中支撑实体对的隐向量拼接后进行语义交互建模，获得每一支撑三元组中支撑实体对的交互特征与询问实体对的交互特征，再通过注意力机制计算出每一支撑三元组中支撑实体对的注意力权重，并对相应支撑实体对的隐向量进行加权，计算出支撑集的表示向量；通过支撑集的表示向量与询问实体对的交互特征计算询问实体对的评分；
对于具有相同询问头实体的询问实体对，选出评分最高的询问实体对对应的询问三元组更新待补全的知识图谱；
其中，所述对于每一小样本关系的每一询问三元组，以及支撑集中的每一支撑三元组，均各自通过背景知识图谱中分别提取出询问实体对与支撑实体对的一跳邻居集合，将询问实体对与支撑实体对各自与对应的一跳邻居集合进行语义交互建模，获得每一询问三元组中询问实体对的隐向量与每一支撑三元组中支撑实体对的隐向量包括：
对于每一询问三元组，从背景知识图谱中分别获取询问头实体与询问尾实体的所有一跳邻居实体及相应的关系；对于支撑集中的每一支撑三元组，从背景知识图谱中分别获取支撑头实体与支撑尾实体的所有一跳邻居实体及相应的关系；对每个一跳邻居实体与相应关系的嵌入表示进行融合编码，作为每个一跳邻居实体的融合表示向量，最终获得询问头实体与询问尾实体所有的一跳邻居实体的融合表示向量，以及每一支撑三元组中支撑头实体与支撑尾实体所有的一跳邻居实体的融合表示向量；通过编码相应小样本关系，获得关系向量，结合所述关系向量与相应实体的嵌入表示，获得每一询问三元组中询问头实体与询问尾实体的表示向量，以及每一支撑三元组中支撑头实体与支撑尾实体的表示向量；
将每一询问三元组中询问头实体的表示向量及询问尾实体的表示向量分别与对应的所有的一跳邻居实体的融合表示向量进行拼接，则每一询问实体对获得两组拼接向量；将每一支撑三元组中支撑头实体的表示向量及支撑尾实体的表示向量分别与对应的所有的一跳邻居实体的融合表示向量进行拼接，则每一支撑实体对获得两组拼接向量；
将每一询问实体对的两组拼接向量，以及每一支撑实体对的两组拼接向量，均分别单独通过Transformer模型进行语义交互建模，再融合两组拼接向量的语义交互建模结果，获得每一询问三元组中询问实体对的隐向量以及每一支撑三元组中支撑实体对的隐向量。
2.根据权利要求1所述的一种小样本知识图谱补全方法，其特征在于，所述从待补全的知识图谱中提取出所有小样本关系，对于每一小样本关系分别提取出若干支撑三元组构成的支撑集，以及对于每一小样本关系结合给定的若干询问实体对构造若干询问三元组，并提取出所有包含非小样本关系的三元组作为背景知识图谱包括：
将待补全的知识图谱记为G，其包含三元组集合{(h,r,t)}⊆ε×β×ε；单个三元组(h,r,t)中，h表示头实体，t表示尾实体，头实体与尾实体构成三元组中的实体对，r表示实体对的关系；ε表示全部的实体所构成的集合，β表示全部的关系所构成的集合；
按照关系出现的次数将集合β划分为两类，一类为小样本关系，构成集合R few ，另一类为非小样本关系，构成集合R bg ，满足：R few ∩R bg =∅，R few ∪R bg =β；
提取出所有包含非小样本关系的三元组作为背景知识图谱G bg ；
对于每一小样本关系r’∈R few ，提取出对应的支撑集
Figure 205226DEST_PATH_IMAGE001
，其中，s i =(h i ,r’,t i )表示支撑集中的第i个支撑三元组，h i 与t i 分别表示第i个支撑三元组中的支撑头实体与支撑尾实体，U表示支撑集中支撑三元组的数目；
对于每一小样本关系r’∈R few ，利用给定的询问实体对构造若干询问三元组构成的集合{(h j ’, r’,t j ’)}，其中，h j ’与t j ’分别表示第j个询问三元组中的询问头实体与询问尾实体。
3.根据权利要求1所述的一种小样本知识图谱补全方法，其特征在于，每个一跳邻居实体的融合表示向量，每一询问三元组中询问头实体与询问尾实体的表示向量，以及每一支撑三元组中支撑头实体与支撑尾实体的表示向量采用下述方式计算：
定义实体e表示询问头实体、支撑头实体、询问尾实体或者支撑尾实体；从背景知识图谱中获取实体e的所有一跳邻居实体及相应的关系，记为
Figure 826700DEST_PATH_IMAGE002
，其中，
Figure 477125DEST_PATH_IMAGE003
表示实体e的第f个一跳邻居实体，
Figure 525852DEST_PATH_IMAGE004
表示实体e与
Figure 628937DEST_PATH_IMAGE005
的关系，
Figure 791453DEST_PATH_IMAGE006
，
Figure 561963DEST_PATH_IMAGE007
为实体e的一跳邻居实体数目；
定义第f个一跳邻居实体
Figure 781592DEST_PATH_IMAGE003
与关系
Figure 371973DEST_PATH_IMAGE004
的嵌入表示为向量
Figure 335250DEST_PATH_IMAGE008
和
Figure 960266DEST_PATH_IMAGE009
，通过第一感知机进行融合编码，获得第f个一跳邻居实体的融合表示向量
Figure 350796DEST_PATH_IMAGE010
：
Figure 428474DEST_PATH_IMAGE011
其中，
Figure 929862DEST_PATH_IMAGE012
为激活函数，
Figure 409385DEST_PATH_IMAGE013
表示向量拼接操作，W1与b1表示第一组可学习的参数；
实体e所在询问三元组或者支撑三元组中对应的小样本关系通过下述公式进行编码计算，获得关系向量R e ：
Figure 642920DEST_PATH_IMAGE014
其中，
Figure 535790DEST_PATH_IMAGE015
与
Figure 512973DEST_PATH_IMAGE016
构成一个支撑实体对或者一个询问实体对；h j ’表示第j个询问三元组中的询问头实体，h i 表示支撑集中第i个支撑三元组中的支撑头实体，实体
Figure 971636DEST_PATH_IMAGE015
为h j ’或者h i ；t j ’表示第j个询问三元组中的询问尾实体，t i 表示支撑集中第i个支撑三元组中的支撑尾实体，实体
Figure 579335DEST_PATH_IMAGE016
为t j ’或者t i ；
Figure 756239DEST_PATH_IMAGE017
与
Figure 740375DEST_PATH_IMAGE018
分别表示实体
Figure 56474DEST_PATH_IMAGE016
与
Figure 835075DEST_PATH_IMAGE015
的嵌入表示；W2与b2表示第二组可学习的参数；
结合关系向量R e 与实体e的嵌入表示E e ，获得实体e的表示向量h e ：
Figure 499274DEST_PATH_IMAGE019
。
4.根据权利要求3所述的一种小样本知识图谱补全方法，其特征在于，每一询问三元组中询问实体对的隐向量以及每一支撑三元组中支撑实体对的隐向量通过如下方式获得：
将实体e的表示向量与其所有的一跳邻居实体的融合表示向量进行拼接，表示为：
Figure 21522DEST_PATH_IMAGE020
通过Transformer模型进行语义交互建模，第l层输出的隐向量表示为：
Figure 189198DEST_PATH_IMAGE021
Figure 138700DEST_PATH_IMAGE022
其中，L表示Transformer模型的总层数，
Figure 290196DEST_PATH_IMAGE023
表示第l层输出的实体e的隐向量，
Figure 350555DEST_PATH_IMAGE024
表示第l层输出的第f个一跳邻居实体的隐向量，当l=1时，
Figure 638317DEST_PATH_IMAGE025
；
聚合实体e以及所有一跳实体邻居隐向量：
Figure 883354DEST_PATH_IMAGE026
Figure 131933DEST_PATH_IMAGE027
其中，
Figure 120617DEST_PATH_IMAGE028
表示使用均值池化后的隐向量，W3与b3表示第三组可学习的参数，W4与b4表示第四组可学习的参数；
实体e对应的向量o e 即为针对拼接向量z 0的语义交互建模结果；
当实体e=
Figure 403831DEST_PATH_IMAGE015
时，向量o e =
Figure 819769DEST_PATH_IMAGE029
，实体e=
Figure 555644DEST_PATH_IMAGE016
时，向量o e =
Figure 542492DEST_PATH_IMAGE030
；通过第二感知机进行融合编码，获得实体对的隐向量：
Figure 804846DEST_PATH_IMAGE031
其中，W5与b5表示第五组可学习的参数；当实体
Figure 267052DEST_PATH_IMAGE015
为h j ’，实体
Figure 614857DEST_PATH_IMAGE016
为t j ’时，p表示第j个询问三元组中询问实体对的隐向量；当实体
Figure 820710DEST_PATH_IMAGE015
为h i ，实体
Figure 937571DEST_PATH_IMAGE016
为t i 时，p表示第i个支撑三元组中支撑实体对的隐向量。
5.根据权利要求1所述的一种小样本知识图谱补全方法，其特征在于，计算支撑集的表示向量以及通过支撑集的表示向量与询问实体对的交互特征计算询问实体对的评分的方式包括：
对于每一个小样本关系r’，将询问三元组中询问实体对的隐向量，与对应的支撑集中所有支撑三元组的支撑实体对的隐向量拼接，表示为：
Figure 836256DEST_PATH_IMAGE032
其中，
Figure 671357DEST_PATH_IMAGE033
表示第j个询问三元组中询问实体对
Figure 415322DEST_PATH_IMAGE034
的隐向量，
Figure 324372DEST_PATH_IMAGE035
表示支撑集中第i个支撑三元组的支撑实体对的隐向量，i=1,…, U，U表示支撑集中支撑三元组的数目；
将拼接后的隐向量c 0通过Transformer模型进行语义交互建模，语义交互建模过程表示为：
Figure 456277DEST_PATH_IMAGE036
其中，
Figure 778673DEST_PATH_IMAGE037
；
Figure 123067DEST_PATH_IMAGE038
表示Transformer模型输出的对应第i个支撑三元组的支撑实体对的交互特征，
Figure 89886DEST_PATH_IMAGE039
表示Transformer模型输出的询问实体对的交互特征；
通过注意力机制计算出询问实体对与支撑集中每一支撑三元组的支撑实体对的注意力权重，表示为：
Figure 455008DEST_PATH_IMAGE040
Figure 874488DEST_PATH_IMAGE041
其中，
Figure 353399DEST_PATH_IMAGE042
是一个度量函数，
Figure 174724DEST_PATH_IMAGE043
表示第i个支撑三元组的支撑实体对与询问实体对的距离，
Figure 710748DEST_PATH_IMAGE044
表示第
Figure 351945DEST_PATH_IMAGE045
个支撑三元组的支撑实体对与询问实体对的距离，
Figure 366037DEST_PATH_IMAGE046
表示第i个支撑三元组的支撑实体对的注意力权重，D(c 0 )表示询问实体对的交互特征
Figure 307448DEST_PATH_IMAGE039
的维度；
通过计算出的注意力权重对支撑集中相应支撑三元组的支撑实体对的隐向量进行加权，计算出支撑集的表示向量：
Figure 14373DEST_PATH_IMAGE047
通过支撑集的表示向量与相应询问实体对的交互特征计算相应询问实体对的评分：
Figure 408445DEST_PATH_IMAGE048
其中，
Figure 226229DEST_PATH_IMAGE049
表示第j个询问三元组中询问实体对
Figure 756567DEST_PATH_IMAGE034
的评分分数，
Figure 634393DEST_PATH_IMAGE050
表示每一小样本关系r’对应的支撑集。
6.根据权利要求1所述的一种小样本知识图谱补全方法，其特征在于，将小样本知识图谱补全方法通过一个模型来实现，训练阶段，利用非小样本关系对应的三元组构建训练数据集，训练数据集包含正样本集合、支撑集与负样本集合；其中，对于每一非小样本关系r x ，从所述待补全的知识图谱中提取多个三元组，再从所述多个三元组中采样若干支撑三元组作为非小样本关系r x 的支撑集
Figure 515762DEST_PATH_IMAGE051
，其余三元组作为非小样本关系r x 的正样本集合
Figure 137236DEST_PATH_IMAGE052
；正样本集合
Figure 787660DEST_PATH_IMAGE052
中每一个三元组中的实体对均作为正样本，为每一个正样本构造相应的负样本，构成负样本集合
Figure 39650DEST_PATH_IMAGE053
；负样本的构造方法为：将正样本中的尾实体随机替换为所述待补全的知识图谱中除去相应正样本中尾实体外的其他实体；
训练阶段采用间隔损失函数，即拉远正负样本之间的距离，间隔损失函数表示为：
Figure 801457DEST_PATH_IMAGE054
其中，
Figure 570830DEST_PATH_IMAGE055
表示正样本集合
Figure 465974DEST_PATH_IMAGE052
中第y个三元组中的实体对，即第y个正样本，
Figure 295389DEST_PATH_IMAGE056
表示第y个负样本，
Figure 275984DEST_PATH_IMAGE057
表示第y个正样本
Figure 114627DEST_PATH_IMAGE055
的评分分数，
Figure 598698DEST_PATH_IMAGE058
表示第y个负样本的评分分数，
Figure 864594DEST_PATH_IMAGE059
表示正负样本间的距离。
7.一种小样本知识图谱补全系统，其特征在于，基于权利要求1~6任一项所述的方法实现，该系统包括：
知识图谱数据收集及预处理单元，用于从待补全的知识图谱中提取出所有小样本关系，对于每一小样本关系分别提取出若干支撑三元组构成的支撑集，以及对于每一小样本关系结合给定的若干询问实体对构造若干询问三元组，并提取出所有包含非小样本关系的三元组作为背景知识图谱；其中，小样本关系出现的次数少于非小样本关系，每一支撑三元组包含一个支撑实体对及支撑实体对的关系，所述支撑实体对与询问实体对均包含头尾两个实体；
交互式子图编码器，用于对于每一小样本关系的每一询问三元组，以及支撑集中的每一支撑三元组，均各自通过背景知识图谱中分别提取出询问实体对与支撑实体对的一跳邻居集合，将询问实体对与支撑实体对各自与对应的一跳邻居集合进行语义交互建模，获得每一询问三元组中询问实体对的隐向量与每一支撑三元组中支撑实体对的隐向量；
交互式匹配处理器，用于对于每一小样本关系的每一询问三元组，将相应询问实体对的隐向量与对应支撑集的所有支撑三元组中支撑实体对的隐向量拼接后进行语义交互建模，获得每一支撑三元组中支撑实体对的交互特征与询问实体对的交互特征，再通过注意力机制计算出每一支撑三元组中支撑实体对的注意力权重，并对相应支撑实体对的隐向量进行加权，计算出支撑集的表示向量；通过支撑集的表示向量与询问实体对的交互特征计算询问实体对的评分；
数据补全单元，对于具有相同询问头实体的询问实体对，选出评分最高的询问实体对对应的询问三元组更新待补全的知识图谱。
8.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1~6任一项所述的方法。
9.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1~6任一项所述的方法。
CN202210492838.1A 2022-05-07 2022-05-07 小样本知识图谱补全方法、系统、设备及存储介质 Active CN114579769B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210492838.1A CN114579769B (zh) 2022-05-07 2022-05-07 小样本知识图谱补全方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210492838.1A CN114579769B (zh) 2022-05-07 2022-05-07 小样本知识图谱补全方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114579769A CN114579769A (zh) 2022-06-03
CN114579769B true CN114579769B (zh) 2022-09-06

Family

ID=81767634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210492838.1A Active CN114579769B (zh) 2022-05-07 2022-05-07 小样本知识图谱补全方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114579769B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117575007B (zh) * 2024-01-17 2024-04-05 清华大学 基于后解码可信增强的大模型知识补全方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046193A (zh) * 2019-12-27 2020-04-21 南京邮电大学 一种基于元学习的领域知识图谱补全方法
CN112148892A (zh) * 2020-09-25 2020-12-29 中国人民解放军国防科技大学 动态知识图谱的知识补全方法、装置和计算机设备
CN112395428A (zh) * 2020-12-01 2021-02-23 中国科学技术大学 一种基于集合补全知识图谱实体摘要的方法及系统
CN113239131A (zh) * 2021-06-18 2021-08-10 国网湖南省电力有限公司 基于元学习的少样本知识图谱补全方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046193A (zh) * 2019-12-27 2020-04-21 南京邮电大学 一种基于元学习的领域知识图谱补全方法
CN112148892A (zh) * 2020-09-25 2020-12-29 中国人民解放军国防科技大学 动态知识图谱的知识补全方法、装置和计算机设备
CN112395428A (zh) * 2020-12-01 2021-02-23 中国科学技术大学 一种基于集合补全知识图谱实体摘要的方法及系统
CN113239131A (zh) * 2021-06-18 2021-08-10 国网湖南省电力有限公司 基于元学习的少样本知识图谱补全方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Data colletion vs.knowledge graph completion:what is needed to improve coverage?;kenneth church;《proceedings of the 2021 conference on empirical methods in natural language processing》;20211231;全文 *
knowledge graph completion for the chinese text of cultural relics based on bidirectional encoder representions from transformers with entity-type information;M Zhang el al.;《entropy》;20201231;全文 *

Also Published As

Publication number Publication date
CN114579769A (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN104899253B (zh) 面向社会图像的跨模态图像-标签相关度学习方法
CA3066029A1 (en) Image feature acquisition
CN113961718A (zh) 一种基于工业机械故障诊断知识图谱的知识推理方法
CN116049454A (zh) 一种基于多源异构数据的智能搜索方法及系统
CN111159485A (zh) 尾实体链接方法、装置、服务器及存储介质
CN115170449B (zh) 一种多模态融合场景图生成方法、系统、设备和介质
CN114579769B (zh) 小样本知识图谱补全方法、系统、设备及存储介质
CN116089645A (zh) 一种基于层次化风格的条件文本-电商图片检索方法和系统
Singhal et al. Towards a unified framework for visual compatibility prediction
CN112667824A (zh) 基于多语义学习的知识图谱补全方法
CN115438192A (zh) 一种基于元学习的小样本知识图谱补全方法
Wang et al. An enhanced multi-modal recommendation based on alternate training with knowledge graph representation
CN115203550A (zh) 一种增强邻居关系的社交推荐方法及系统
CN117216281A (zh) 一种基于知识图谱的用户兴趣扩散推荐方法及系统
CN114723535A (zh) 一种基于供应链与知识图谱的物品推荐方法、设备及介质
CN114898167A (zh) 基于视图间差异性检测的多视图子空间聚类方法及系统
López-Cifuentes et al. Attention-based knowledge distillation in scene recognition: the impact of a dct-driven loss
CN112148994A (zh) 信息推送效果评估方法、装置、电子设备及存储介质
CN117173702A (zh) 基于深度特征图融合的多视图多标记学习方法
CN115859963A (zh) 一种面向新词义原推荐的相似性判别方法及系统
CN114238439B (zh) 一种基于联合嵌入的任务驱动关系型数据视图推荐方法
CN116340635A (zh) 物品推荐方法、模型训练方法、装置及设备
CN115545833A (zh) 一种基于用户社交信息的推荐方法及系统
CN113343100B (zh) 一种基于知识图谱的智慧城市资源推荐方法和系统
Chang et al. Image classification algorithm based on big data and multilabel learning of improved convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant