CN116842199B - 一种基于多粒度层次和动态嵌入的知识图谱补全方法 - Google Patents

一种基于多粒度层次和动态嵌入的知识图谱补全方法 Download PDF

Info

Publication number
CN116842199B
CN116842199B CN202311121647.5A CN202311121647A CN116842199B CN 116842199 B CN116842199 B CN 116842199B CN 202311121647 A CN202311121647 A CN 202311121647A CN 116842199 B CN116842199 B CN 116842199B
Authority
CN
China
Prior art keywords
graph
granularity
entity
knowledge graph
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311121647.5A
Other languages
English (en)
Other versions
CN116842199A (zh
Inventor
尚子渝
汪鹏
柯文俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202311121647.5A priority Critical patent/CN116842199B/zh
Publication of CN116842199A publication Critical patent/CN116842199A/zh
Application granted granted Critical
Publication of CN116842199B publication Critical patent/CN116842199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于多粒度层次和动态嵌入的知识图谱补全方法。首先，通过在知识图谱上进行广度优先搜索，获取连接子图结构，可对三元组和关系路径进行建模。然后，提出一种基于查询感知的图神经网络在连接子图上为每个实体聚集周围邻居的信息，分别学习三元组粒度、关系路径粒度以及子图粒度三种层次嵌入。为了利用查询信息，提出了一种查询感知注意机制，使得在消息传递的过程中优先选择与当前查询相关的三元组，从而获得表达能力更强的关系路径粒度嵌入。此外，提出了一种基于自注意力的融合机制，使不同粒度嵌入相互关注和融合，捕捉其内部依赖关系。本发明在直推式和归纳式两种知识图谱补全任务上展现出了优秀的性能和良好的可解释性。

Description

一种基于多粒度层次和动态嵌入的知识图谱补全方法
技术领域
本发明属于人工智能知识图谱领域，具体为一种基于多粒度层次和动态嵌入的知识图谱补全方法。
背景技术
如何获取知识并利用知识解决问题是人工智能的核心问题之一。知识图谱作为一种结构化人类知识表示形式，在工业界和学术界受到广泛关注。知识图谱是现实世界中事实的结构化表示，其中包含实体、实体间关系以及实体语义描述。其中，实体可以表示现实世界的事物，关系表示实体间的联系。近年来，知识图谱已成功应用于各种知识密集型应用中，包括语义搜索、推荐系统以及问答系统等。由于知识图谱不可避免是不完整的，这就需要知识图谱补全来预测缺失的事实三元组。尽管已经有很多知识图谱补全的方法，它们主要是基于知识图谱嵌入的三类代表性方法：基于三元组、基于关系路径和基于子图的方法。
上述这些方法存在三个挑战：（1）首先，不能充分利用知识图谱中的结构信息。具体而言，基于三元组方法只使用知识图谱中已有三元组来最大化每个三元组的合理性，它们为固定的实体和关系集合在三元组结构上学习对应嵌入。基于三元组的方法在稀疏知识图谱上具有较强的鲁棒性，但是它们缺乏可解释性。基于关系路径的方法在头尾实体间的固定长度的关系路径上学习对应实体和关系的嵌入，虽然这类方法具有良好的可解释性，但是它们更关注关系路径上的关系集合，忽略了关系路径上除头尾实体外其它中间实体，因此，易受噪声路径的影响。基于子图方法根据是否需要显式抽取子图也有不同。需要显式抽取子图的方法很难用于大规模知识图谱，因为它们需要为每个目标三元组提取独立的封闭子图，并重复将图神经网络应用于每个封闭子图，这将会导致非常高的计算复杂度。对于不需要显式抽取子图的方法，一方面，它们需要完整的邻接矩阵同时更新所有实体的嵌入，这也很难应用于大规模知识图谱。另一方面，堆叠一定数量的图神经网络层会使得知识图谱中每个实体的感受野变大，这会导致过度平滑。由于每个实体所需的感受野大小有所差异，相同大小的感受野会导致局部或者全局结构信息丢失。（2）其次，现有方法大多都仅学习单独和静态的嵌入表示，这限制了它们在复杂关系模式中的表达力和灵活性。（3）最后，知识图谱补全按照预测阶段会不会出现训练阶段完全没有出现过的实体，可以分为两种设置：转换知识图谱补全和归纳知识图谱补全。目前大多数知识图谱补全方法都是用于转换知识图谱补全，这意味着它们只能在预测阶段处理训练阶段见过的实体。尽管，有一些用于归纳知识图谱补全的方法提出，但是它们需要提取每个目标三元组周围的独立封闭子图结构，这些独立封闭子图结构可能会包含相同的结构，需要大量的计算资源来进行重复提取。
本发明设计了一种新颖的多粒度层次和动态嵌入方法用于知识图谱补全，该方法旨在仅学习特定于关系的嵌入以动态获取查询感知、多粒度、和实体独立的嵌入表示。给定目标三元组（h,r,t），为了充分利用头实体h和尾实体t之间的各种结构信息，然后获得多粒度实体嵌入。首先，抽取它们之间的连接子图，其主要由两部分组成：三元组和不同长度的关系路径。然后，本发明设计了一个基于查询感知的图神经网络直接用于连接子图组组成部分，以获得不同层次的三元组粒度嵌入和关系路径粒度嵌入。为了利用不同粒度中所蕴含的独特结构特征，设计了一种基于自注意力的融合机制，该机制考虑了不同粒度之间的相互作用。进而，子图粒度嵌入可以通过融合三元组粒度嵌入以及不同长度的关系路径粒度嵌入获得。最后，本发明将上述三种粒度嵌入通过设计的基于自注意力的融合机制可以得到最终的多粒度嵌入表示。本发明抽取的连接子图可以同时表示多个目标三元组对应的子图结构。因此，本发明可以有效地缓解之前方法在抽取封闭子图的过程中存在重复抽取的问题。此外，本发明采用解耦学习(Disentangled Learning)思想，将知识图谱中每一种关系都视为一个方面(aspect)，然后学习所有实体在对应方面的表示。然而，由于知识图谱中的关系数量非常多，很难同时学习每个实体对应所有方面的表示。因此，本发明将给定查询中的关系视为当前方面，仅仅学习关系特定的表示，从而动态地得到所有实体的查询注意和实体独立的嵌入表示。
现有技术区别如下：
与专利CN116108188A“一种基于门控循环神经网络的时间知识图谱补全方法及系统”的技术对比；
专利CN116108188A专注于使用四元组描述的特殊时间知识图谱的补全，而我们的重点是使用三元组描述的一般知识图谱的补全；
专利CN116108188A使用门控循环神经网络技术，而我们则在连接子图上采用一种图神经网络的变体（基于查询注意的图神经网络），通过动态地学习实体和关系的嵌入表示来实现补全。这一点可以从整体框架以及具体公式细节上可以体现出来；
专利CN116108188A并未对涉及知识图谱补全方法的训练过程进行优化，而我们则通过移除二分类交叉熵损失函数中的高阶项，在不影响模型效果的前提下显著地提升了模型的训练速度。这使得我们的方法能够有效地适用于现实场景中数据量大的情况；
专利CN116108188A仅能学习实体特定的嵌入表示，而我们则能根据不同查询的特点为每个实体动态地学习相应的嵌入表示；
专利CN116108188A只适用于目标知识图谱中存在训练阶段中见过的实体，而我们的方法则只要求目标知识图谱与训练阶段中见过的关系一致，即可应用于完全未见过的实体。
与专利CN115203430A“时序知识图谱表征模型构建方法和时序知识图谱补全方法”的技术对比；
专利CN115203430A仅适用于时序知识图谱，而我们的方法既适用于使用四元组描述的时序知识图谱，也适用于采用三元组描述的一般知识图谱；
专利CN115203430A仅涉及时间粒度的信息，而我们则主要考虑知识图谱中的多粒度结构信息，包括三元组、关系路径以及子图结构；
专利CN115203430A使用LSTM模型对知识图谱中的实体、关系和时间进行向量表征的学习，而我们提出了一种基于查询感知的图神经网络，学习关系特定的嵌入表示，进而根据不同查询的特点，动态地学习与实体无关的嵌入表示；
专利CN116108188A未包含融合时间粒度信息的算法，而我们提出了一种基于自注意力的多粒度特征融合机制。
与专利CN113190654A“一种基于实体联合嵌入和概率模型的知识图谱补全方法”的技术对比；
专利CN113190654A使用图卷积网络聚合每个实体周围的拓扑结构信息，而我们提出的一种基于查询感知的图神经网络是基于消息传递机制的，与图卷积网络之间没有直接的关系；
专利CN113190654A学习的实体动态表示，是将实体的时间信息融合进了图卷积网络学习到的实体特定的表征向量中，而我们的动态表示是给定不同的查询为每个实体学习实体无关的嵌入表示；
专利CN113190654A学习的实体特定的表示只能用于目标知识图谱中存在训练阶段中见过的实体，而我们学习到的实体无关的嵌入表示可以自然地应用于目标知识图谱中存在从未见过的实体；
专利CN113190654A在模型的优化阶段仅采用传统的二元交叉熵损失函数，而我们针对二元交叉熵损失函数存在的训练收敛慢的问题，移除其中的高阶项，显著加快了模型在训练过程中的收敛速度。这使得我们的方法可以满足现实世界中知识图谱规模日益增长的场景需求；
专利CN113190654A使用概率模型学习三元组的深层特征，而我们提出了一种基于自注意力的多粒度特征融合机制，在更细粒度的实体层面上学习结构多粒度特征表示。
发明内容
为解决上述技术问题，本发明提出了一种基于多粒度层次和动态嵌入的知识图谱补全方法，首先，本发明提出了一种可以将知识图谱中的三元组结构和不同长度的关系路径结构进行层次化建模的连接子图，可以有效地缓解为不同目标三元组抽取封闭子图中存在的重复抽取的问题。然后，本发明提出了一种基于查询感知的图神经网络，其可以和连接子图抽取交替进行。因此，可以层次化地得到每个实体的三元组粒度嵌入和不同长度的关系路径粒度嵌入。在这个过程中，由于不同查询所需要的结构信息并不相同，本发明设计了一种查询感知机制，动态地为知识图谱中每一个三元组分配权重以形成表达力更强的关系路径粒度嵌入。接着，为了利用不同粒度嵌入中的特征，同时考虑不同粒度嵌入的相互关系，本发明设计了一种基于自注意力的融合机制，可以将每个实体的三元组粒度嵌入和不同长度的关系路径嵌入融合成对应的子图粒度嵌入。最后，将上述三种粒度嵌入通过设计的自注意力融合机制融合成最终多粒度嵌入。在训练阶段，本发明在不改变训练目标的前提下，将二分类交叉熵损失函数中的高阶项去除，以加快模型的收敛速度。在预测阶段，通过真实世界中的知识图谱补全任务来验证本发明。本发明具有优秀的知识图谱补全性能，同时具备训练收敛时间短的特点，能满足实际应用中大规模知识图谱快速补全的需求。
为实现上述目的，本发明采取的技术方案是：
一种基于多粒度层次和动态嵌入的知识图谱补全方法，包括如下步骤：
连接子图抽取：
提出一种在连接子图上进行表示学习的方式，其中连接子图是给定知识图谱中三元组，所述三元组包括头实体，关系和尾实体，以头实体或尾实体作为连接子图的起点，在知识图谱上进行广度优先搜索n次，最终得到的子图结构，为接下来学习关系特定的表示做准备；
2）基于查询感知的图神经网络：
该变体图神经网络，在消息传递过程中，根据当前查询，动态地为连接子图中的每条边分配对应的权重值，在消息传递过程中，基于查询感知的图神经网络首先会初始化知识图谱中所有实体嵌入至连续的向量空间中，然后基于查询感知的图神经网络和步骤1）所述的连接子图抽取交替执行；
3）基于自注意力的多粒度特征融合：
在步骤1）和步骤2）交替执行n次后，得到所有实体的三元组粒度嵌入和关系路径粒度嵌入，连接子图视为由三元组及不同长度关系路径集合组成，因此基于自注意力的多粒度特征融合机制，通过考虑到不同粒度特征间的交互，将所有实体的三元组结构嵌入以及不同长度的关系路径结构嵌入融合成对应的子图结构粒度嵌入；
4）知识图谱补全模型训练及预测：
在训练前，将知识图谱中所有三元组视为正样本三元组，然后将头实体和尾实体使用其它知识图谱中的实体进行破坏，从而得到大量负样本三元组，在训练中，采用类别不均衡下的二分类交叉熵损失函数优化模型参数，同时，给定一条查询，将该查询从知识图谱中临时移除，利用上述基于查询感知的图神经网络模型结构动态得到所有实体的多粒度结构粒度嵌入表示,接着将嵌入结果输入打分函数中得到正样本和负样本的分数，基于多粒度层次和动态嵌入的知识图谱方法训练结束后，在实际场景中进行预测时，将所有待预测查询进行分组，将具有相同的头实体和关系查询作为一组，将所有候选的实体输入至线性层实现的得分函数中，获得所有候选三元组的得分，最后，将所有三元组的得分进行排序得到预测结果。
作为本发明进一步改进，对所述步骤1）中的连接子图抽取过程具体为：
对于知识图谱中已有的三元组，首先向知识图谱中增加反向关系形成反向三元组/>，首先向知识图谱中增加反向关系形成反向三元组然后，将头实体h或尾实体t作为起点，在增加反向关系以及自环关系后的知识图谱上进行广度优先搜索n次，得到给定当前三元组/>的最终连接子图结构/>,其中m=n；
给定一个头实体h，其所对应的连接子图表示为，其中m是连接子图的大小；/>表示关系路径集合的组合操作；/>代表连接子图的组成部分，其表示从头实体h出发且长度为l的关系路径的集合，出现在连接子图的组成部分的实体和关系分别记作，其中表示在所有长度为l的关系路径上的第j个实体；此外，，向知识图谱中增加反向关系以及自环关系后，连接子图进行迭代抽取，公式如下：
。
作为本发明进一步改进，对所述步骤2）中的基于查询感知的图神经网络过程具体如下：
首先，基于查询感知的图神经网络对知识图谱中实体对应的嵌入表示初始化；
其次，基于查询感知的图神经网络通过堆叠L层消息传递层形成，其中L=n，其中，每一层在步骤1）广度优先搜索过程中形成的连接子图的组成部分上进行消息传递，实现图表示学习和连接子图抽取的同步进行；
然后，在每次消息传递过程中，为连接子图组成部分的每一个三元组根据其和当前查询的关系动态分配权重，从而让模型在预测和推理时具备良好的可解释性，以第L层为例，计算公式如下：
；
其中，表示在/>上的实体/>和在/>上的实体/>之间关系的嵌入表示；
表示在/>上的实体且该实体所在三元组指向在/>上的实体/>表示在基于查询感知的图神经网络的第L层中边对应的查询感知权重值；/>表示sigmoid激活函数；/>表示向量的拼接；，是第L层的训练参数；
最终，获得知识图谱中实体的三元组粒度嵌入以及不同长度的关系路径粒度嵌入，。
作为本发明进一步改进，基于查询感知的图神经网络通过以下三种方式之一对知识图谱中实体对应的嵌入表示初始化；
零向量方式或高斯分布方式或GloVe词向量方式。
作为本发明进一步改进，对所述步骤3）中的基于自注意力的多粒度特征融合过程具体如下：
针对给定知识图谱中的目标三元组，首先根据步骤1）和步骤2）获取当前知识图谱中实体的三元组粒度嵌入表示以及不同长度的关系路径粒度嵌入表示，将三元组粒度嵌入和不同长度的关系路径粒度嵌入进行融合。
作为本发明进一步改进，所述基于自注意力的多粒度特征融合指的是给定P个不同的粒度嵌入，旨在将其融合成一个更有表现力的嵌入，即/>，基于自注意力的多粒度特征融合用于获取子图粒度嵌入以及最终的多粒度嵌入；
所述基于自注意力的多粒度特征融合共包含三个函数：
（1）注意力函数；
所述注意力函数的计算方式为：
；
其中，表示查询，/>表示键，/>表示值，/>指的是查询向量的数量，/>指的是键向量的维度，/>指的是值向量的维度；
（2）多头注意力函数；
所述多头注意力函数的计算方式为：
；
其中，是可训练的参数；输出映射矩阵/>是多头注意力函数的输出维度；
（3）自注意力函数；
所述自注意力函数，其计算方式为：
；
根据上述定义的基于自注意力的多粒度特征融合过程，子图粒度嵌入通过如下计算方式得到：
；
其中，是训练参数。
作为本发明进一步改进，对所述步骤4）中的知识图谱补全模型训练及预测过程具体如下：
在知识图谱补全模型的训练阶段，首先将知识图谱中已有三元组作为正样本三元组，然后，在增强后的知识图谱上，按照步骤1）至步骤3）进行表示学习，获得所有实体的多粒度嵌入表示，最后，将多粒度嵌入表示输入线性层，以获得每一个候选三元组的得分，以查询为例，将候选实体e对应的多粒度嵌入表示输入至简单的线性层中获得候选三元组/>的得分，计算公式如下：
；
其中，是训练的参数。
作为本发明进一步改进，对步骤4）中的将所有三元组的得分进行排序得到预测结果，采用不稳定的快速排序方法对所有候选三元组的得分进行排序得到预测结果。
作为本发明进一步改进，所述步骤4）中对于训练过程中出现的一个正样本对应的过多负样本的情况，采用类别不均衡下的二分类交叉熵损失函数优化模型参数，方法具体如下：
在知识图谱补全模型的训练过程中，首先，将知识图谱中的每一个三元组转换成查询/>，然后，最小化二分类交叉熵损失函数来优化模型参数，以查询/>为例，损失函数计算方式如下所示：
；
其中，表示第j个通过替换正样本三元组/>中的尾实体t负样本三元组，/>；
对标准的二分类交叉熵损失函数做出下列转换：
；
其中，表示高阶项，得到最终的损失函数：
；
在知识图谱补全模型的测试阶段，给定查询，其中h和r分别表示头实体和关系，预测的目标是在给定头实体和关系的前提下，预测尾实体t。
作为本发明进一步改进，步骤4）基于多粒度层次和动态嵌入的知识图谱方法训练结束后，其在实际场景中的具体预测过程如下；
首先，将给定的查询进行分组，将具有相同的头实体和关系查询作为一组，同时进行测试；
然后，将所有候选实体输入至线性层实现的得分函数中，获得候选三元组的得分；
最后，将所有三元组的得分进行排序；
为了衡量排序的结果，采用的评价指标是平均倒数排名MRR、排名小于等于1的三元组的平均占比、排名小于等于3的三元组的平均占比/>和排名小于等于10的三元组的平均占比/>，计算指标，计算公式如下：
；
其中，表示所有三元组的数量；/>是指示函数，当满足条件/>时取1，不满足时取0。
与现有技术相比，本发明具有以下优点和有益效果：
本发明提出了一种基于多粒度层次和动态嵌入的知识图谱补全方法。该方法可以根据不同的查询动态地学习所有实体的多粒度、查询感知和实体独立的嵌入表示。通过在连接子图上进行图表示学习，实现以层次的方式统一建模知识图谱中的三元组结构、不同长度的关系路径结构和子图结构。同时，本发明提出的基于查询感知的图神经网络，在连接子图的组成部分上直接进行消息传递。这样一方面可以同时进行表示学习和连接子图抽取，减少等待时间；另一方面，在消息传递过程中，根据连接子图中不同三元组对目标查询的影响，动态地为其分配权重，实现实体的嵌入表示自适应学习。此外，本发明提出了基于自注意力的融合机制，通过考虑不同粒度嵌入表示的独特特征以及它们之间的关联，获得更具表现力的子图粒度嵌入和最终的多粒度嵌入表示。在训练过程中，本发明将传统二分类交叉熵损失函数中的高阶项移除，显著提高了模型的收敛速度。在知识图谱补全任务上对本发明进行了验证，证明了其优秀的性能和良好的泛化性，保证在实际应用中的高效率。因此，本发明具有广阔的应用前景和推广范围。
附图说明
图1为本发明方法的逻辑流程图；
图2为本发明方法连接子图抽取；
图3为本发明方法基于查询感知的图神经网络；
图4为本发明方法基于自注意力的多粒度特征融合图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
本发明提出了一种基于多粒度层次和动态嵌入的知识图谱补全方法。该方法可以根据不同的查询动态地学习所有实体的多粒度、查询感知和实体独立的嵌入表示。通过在连接子图上进行图表示学习，实现以层次方式统一建模知识图谱中的三元组结构、不同长度的关系路径结构和子图结构。同时，本发明提出的基于查询感知的图神经网络，在连接子图的组成部分上直接进行消息传递。这样一方面可以同时进行表示学习和连接子图抽取，减少等待时间；另一方面，在消息传递过程中，根据连接子图中不同三元组对目标查询的影响，动态地为其分配权重，实现实体的嵌入表示自适应学习。此外，本发明提出了基于自注意力的融合机制，通过考虑不同粒度嵌入表示的独特特征以及它们之间的关联，获得更具表现力的子图粒度嵌入和最终的多粒度嵌入表示。在训练过程中，本发明将传统二分类交叉熵损失函数中的高阶项移除，显著提高了模型的收敛速度。本发明兼顾了优秀的性能和良好的泛化性。因此，本发明具有广阔的应用前景和推广价值。
作为本发明一种具体实施例，本发明提供逻辑流程图如图1所示模型流程图如图2所示训练配置图如图3所示的一种基于多粒度层次和动态嵌入的知识图谱补全方法，包括步骤为：
1）连接子图抽取。
给定一个头实体h，其所对应的连接子图表示为，其中m是连接子图的大小；/>表示关系路径集合的组合操作；/>代表连接子图的组成部分，其表示从头实体h出发且长度为l的关系路径的集合。出现在连接子图的组成部分的实体和关系分别记作，其中表示在所有长度为l的关系路径上的第j个实体；此外，。
传统的知识图谱中，通常只包含正向的关系，即从一个实体指向另一个实体的关系。为了提升知识图谱的关系推理能力、提高信息检索效果以及增强知识图谱的表达能力，本发明将存在三元组对应的反向边以及自环边引入，从而扩展知识图谱的语义关系。因此，可以得到下列连接子图组成部分的递归表达式：
；
根据上式，连接子图的抽取过程可以直接通过广度优先搜索算法实现，以便于接下来的图表示学习过程。
2）基于查询感知的图神经网络。
基于查询感知的图神经网络可以利用图神经网络获得步骤1）获得的连接子图中所有实体的三元组粒度嵌入和不同长度的关系路径粒度嵌入。由连通子图的组成部分；可以看出其对应连通子图中的三元组结构，也就是说直接在其上进行表示学习即可以得到对应的三元组粒度嵌入表示。同理，当/>时，连接子图的组成部分对应不同长度的关系路径结构，直接在其上进行表示学习即可得到对应的不同长度关系路径粒度嵌入表示。对于每一个实体e，其三元组粒度嵌入可以表示为：
；
此外，其关系路径粒度嵌入可以表示为：
；
为了得到上述三元组粒度和关系路径粒度嵌入表示，本发明采用消息传递框架，其作用是通过聚集一个实体周围邻居实体对应的表示来更新当前实体的表示。由于知识图谱是一个多关系图，一般的消息传递框架无法建模这种异质图，本发明引入MESSAGE函数，该函数可以使用大部分基于三元组的知识图谱补全方法中的得分函数实现，例如：TransE、RotatE以及DistMult等。此外，为了捕捉连接子图中的和当前查询相关的知识，本发明向消息传递框架中提出了一种查询感知机制，可以向不同的边分配权重值。最后，由于在步骤1）中可以通过迭代地方式得到连接子图的各个组成部分，因此在每一次迭代后可以进行一次消息传递，实时获得每一部分中涉及到实体的嵌入表示。上述过程可以表示为下式：
；
其中，表示在/>上的实体/>和在/>上的实体/>之间关系的嵌入表示；
表示在/>上的实体且该实体所在三元组指向在/>上的实体/>表示在基于查询感知的图神经网络的第L层中边对应的查询感知权重值；/>表示sigmoid激活函数；/>表示向量的拼接；，是第L层的训练参数；
由于步骤1）中迭代连接子图抽取是从查询中的已知实体开始的，因此基于查询感知的图神经网络需要首先初始化查询实体对应的嵌入表示，初始化过程如下所示：
；
其中，是可训练的参数；/>代表查询实体h的固有表示，其获得的方式一共有三种：（1）零向量初始化；（2）随机高斯分布初始化；（3）实体h的名字对应的GloVe静态词向量的均值。值得注意的是，在模型训练过程中所有实体对应的固有表示不会被更新。在实际应用中选择方式（3）效果更好，因为除了知识图谱的多粒度结构信息外，可以引入另外一种粒度，即语义信息。
3）基于自注意力的多粒度特征融合。
经过步骤1）和步骤2）交替分别执行P次后，可以得到知识图谱中所有实体的三元组粒度嵌入以及不同长度的关系路径粒度嵌入。基于自注意力的多粒度特征融合指的是给定P个不同的粒度嵌入，旨在将其融合成一个更有表现力的嵌入，即，基于自注意力的多粒度特征融合可以用于获取子图粒度嵌入以及最终的多粒度嵌入。具体而言，基于自注意力的多粒度特征融合如图4所示共包含三个函数：（1）注意力函数；（2）多头注意力函数；（3）自注意力函数。
注意力函数（Att）的计算方式为：
；
其中，表示查询，/>表示键，/>表示值，/>指的是查询向量的数量，/>指的是键向量的维度，/>指的是值向量的维度；
由于在注意力函数中只计算单独的注意力，为了让模型可以关注数据的不同特征子空间，从而捕捉到更多的语义信息、上下文关系和特征组合，本发明引入多头注意力函数学习不同的注意力权重和特征表示。多头注意力函数（MA）的计算方式为：
；
其中，是可训练的参数；输出映射矩阵/>是多头注意力函数的输出维度；
为了考虑不同粒度嵌入之间的联系，本发明引入自注意力函数（SA），其计算方式为：
；
其中，LN表示层归一化函数；FF表示全连接前馈网络。
最后，为了将P个不同的粒度嵌入融合成一个嵌入，引入一个额外的训练参数/>，基于自注意力的多粒度特征融合的计算方式为：
；
根据上述定义的基于自注意力的多粒度特征融合过程，子图粒度嵌入可以通过如下计算方式得到；
；
其中，；
同理，多粒度融合嵌入可以通过如下计算方式得到：
；
其中，是可训练参数。
4）知识图谱补全模型训练及预测。
经过步骤3），可以得到所有实体的多粒度嵌入表示，对于查询，将候选实体e对应的多粒度嵌入表示输入至简单的线性层中可以获得候选三元组/>的得分，计算方式如下所示：
；
其中，是可训练的参数。
在知识图谱补全模型的训练过程中，首先，将知识图谱中的每一个三元组转换成查询/>和/>。然后，最小化二分类交叉熵损失函数来优化模型参数，以查询/>为例，损失函数计算方式如下所示：
；
其中，；表示第j个通过替换正样本三元组/>中的尾实体t负样本三元组，/>。
由于正三元组的数量为1，而当；数量非常大时，将会导致极其严重的正负样本不均衡的现象出现。因此，本发明对标准的二分类交叉熵损失函数做出下列转换：
；
其中，表示高阶项，理论上正是由于它的存在导致负类的权重过大以至于很难让模型收敛。因此，将其去除后，可以得到最终的损失函数：
；
在知识图谱补全模型的测试阶段，给定查询，其中h和r分别表示头实体和关系，预测的目标是在给定头实体和关系的前提下，预测尾实体t。具体预测过程如下，首先，由于本发明提出的连接子图可以同时表示多个目标三元组，因此将给定的查询进行分组，将具有相同的头实体和关系查询作为一组，同时进行测试，在实际应用中会显著提升模型的预测速度。然后，将所有候选实体输入至本发明定义的线性层实现的得分函数中，获得候选三元组的得分。
最后，将所有三元组的得分进行排序。为了衡量排序的结果，通常采用的评价指标是平均倒数排名MRR、排名小于等于1的三元组的平均占比、排名小于等于3的三元组的平均占比/>和排名小于等于10的三元组的平均占比/>，计算指标，计算公式如下：/>
；
其中，表示所有三元组的数量；/>是指示函数，当满足条件/>时取1，不满足时取0。
【实施例1】
在实施例中，将本发明提出的一种基于多粒度层次和动态嵌入的知识图谱补全方法在两个知识图谱补全场景中进行训练和预测，一个是转换知识图谱补全，使用的数据集是真实的FB15K-237、WN18RR以及NELL-995数据集；另一个是归纳知识图谱补全，使用的数据集是由上述三个数据集产生的FB15K-237(V1-V4)、WN18RR(V1-V4)以及NELL-995(V1-V4)数据集，且所有的其它实施例中均使用和本实施例相同的数据。FB15K-237数据集中包含14,541个实体和237种关系。其中，训练集共有272,115条三元组，验证集共有17,535条三元组，测试集共有20,466条三元组。WN18RR数据集中包含40943个实体和11种关系。其中，训练集中包含86,835条三元组，验证集中包含3,034条三元组，测试集中包含3,134条三元组。NELL-995数据集中包含74,536个实体和200种关系。其中，训练集中包含14,9678条三元组，验证集中包含543条三元组，测试集中包含2,818条三元组。由于模型具有良好的鲁棒性和泛化性，在不同的通用数据集中都可以使用相同的超参数设置。
在转换知识图谱补全场景下的具体实施如下：连接子图的大小设置为6。MESSAGE函数采用DistMult的得分函数。实体嵌入维度和关系的嵌入维度均为64，使用100维的GloVe嵌入来初始化实体的固有表示。多头注意力函数中的头的数量设置为2。在训练阶段，使用Adam优化器更新模型的参数，学习率大小设置为0.0001，训练的批次大小设置为16，训练的迭代次数为20次。
将训练好的知识图谱补全模型在转换知识图谱补全场景下的测试数据集上进行测试，将补全结果和实际结果进行对比，发现在三个转换场景下的数据集上的四个指标都达到了先进的性能，说明基于多粒度层次和动态表示的知识图谱补全在实际的应用场景中可以达到优秀和最优的性能。
在归纳知识图谱补全场景下的具体实施如下：连接子图的大小设置为6。MESSAGE函数采用RotatE的得分函数。实体嵌入维度和关系的嵌入维度均为64，使用100维的GloVe嵌入来初始化实体的固有表示。多头注意力函数中的头的数量设置为4。在训练阶段，使用Adam优化器更新模型的参数，学习率大小设置为0.0002，训练的批次大小设置为32，训练的迭代次数为20次。
将训练好的知识图谱补全模型在归纳知识图谱补全场景下的测试数据集上进行测试，将补全结果和实际结果进行对比，发现在三个归纳场景下的数据集上的四个指标都达到了先进的性能，说明基于多粒度层次和动态表示的知识图谱补全在实际的应用场景中可以很好地泛化到训练过程中未见到的实体，同时达到优秀和最优的性能。
【实施例2】
基于多粒度层次和动态表示的知识图谱补全方法在模型训练的收敛时间、推理时间以及参数量上实现了性能和效率的权衡。具体而言，采用改进版的二分类交叉熵损失函数相比于标准的二分类交叉熵损失函数在模型收敛时间上减少了73.5%。同时，模型预测阶段的推理时间并不会增加，参数量保持不变。
在实际应用中，由于数据爆炸式增长，知识图谱的规模会越来越大，现有的知识图谱补全方法难以高效地在大规模知识图谱上进行训练。所以，相比之前的方法，在资源有限的情况下，基于多粒度层次和动态表示的知识图谱补全方法可以极大地减少模型训练过程中的收敛时间。此外，由于传统的知识图谱补全方法只能用于训练阶段所见过的实体进行测试，而基于多粒度层次和动态表示的知识图谱补全方法对实体的限制完全放开，只需要训练过程中和测试阶段的关系种类相一致即可，展现出了较强的泛化能力。
【实施例3】
基于多粒度层次和动态表示的知识图谱补全方法融合产生的多粒度嵌入表示相较于单个粒度嵌入具有更好的表现能力。比如，在两个知识图谱补全场景上的四个数据集（WN18RR、WN18RR（V1）、FB15K-237（V1）、NELL-995（V1））上进行推理测试，发现融合后的多粒度嵌入表示相较于单个粒度嵌入在上述四个数据集的MRR分别提升2.0%-26.4%，0.7%-12.5%，3.5%-18.2%，1.4%-9.6%。进一步地探究基于自注意力的特征融合产生如此显著影响的原因，在WN18RR（V1）以及NELL-995（V1）数据集中的验证集和测试集计算了平滑度，发现采用基于自注意力的特征融合会显著地降低不同实体之间的嵌入表示一致性，降低了图神经网络中由于堆叠较多层会出现的过平滑风险。
【实施例4】
本发明涉及一种基于多粒度层次和动态嵌入的知识图谱补全方法，其中包括设计了一种基于查询感知的图神经网络。该方法在测试推理过程中能够动态地为连接子图中不同的三元组赋予权重，并通过将从查询实体到答案实体之间的所有关系路径上的三元组权重相加后求平均，计算出关系路径的综合得分。通过在大规模知识图谱NELL-995数据集上进行人工统计分析，发现较高的综合得分与正确的推理路径呈现正相关关系，从而进一步验证了基于多粒度层次和动态表示的知识图谱补全方法具备较强的可解释性。在实际应用中，本方法可用于辅助人工决策，提供有价值的决策支持。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (1)

1.一种基于多粒度层次和动态嵌入的知识图谱补全方法，其特征在于，该方法运用于语义搜索或问答系统：包括如下步骤：
1）连接子图抽取：
提出一种在连接子图上进行表示学习的方式，其中连接子图是给定知识图谱中三元组，所述三元组包括头实体，关系和尾实体，以头实体或尾实体作为连接子图的起点，在知识图谱上进行广度优先搜索n次，最终得到的子图结构，为接下来学习关系特定的表示做准备；
对所述步骤1）中的连接子图抽取过程具体为：
对于知识图谱中已有的三元组，首先向知识图谱中增加反向关系形成反向三元组/>，以及向知识图谱中增加自环关系形成自环三元组然后，将头实体h或尾实体t作为起点，在增加反向关系以及自环关系后的知识图谱上进行广度优先搜索n次，得到给定当前三元组/>的最终连接子图结构/>,其中m=n；
给定一个头实体h，其所对应的连接子图表示为，其中m是连接子图的大小；/>表示关系路径集合的组合操作；/>代表连接子图的组成部分，其表示从头实体h出发且长度为l的关系路径的集合，出现在连接子图的组成部分的实体和关系分别记作，其中表示在所有长度为l的关系路径上的第j个实体；此外，，向知识图谱中增加反向关系以及自环关系后，连接子图进行迭代抽取，公式如下：
；
2）基于查询感知的图神经网络：
该变体图神经网络，在消息传递过程中，根据当前查询，动态地为连接子图中的每条边分配对应的权重值，在消息传递过程中，基于查询感知的图神经网络首先会初始化知识图谱中所有实体嵌入至连续的向量空间中，然后基于查询感知的图神经网络和步骤1）所述的连接子图抽取交替执行；
基于查询感知的图神经网络通过以下三种方式之一对知识图谱中实体对应的嵌入表示初始化；
零向量方式或高斯分布方式或GloVe词向量方式；
对所述步骤2）中的基于查询感知的图神经网络过程具体如下：
首先，基于查询感知的图神经网络对知识图谱中实体对应的嵌入表示初始化；
其次，基于查询感知的图神经网络通过堆叠L层消息传递层形成，其中L=n，其中，每一层在步骤1）广度优先搜索过程中形成的连接子图的组成部分上进行消息传递，实现图表示学习和连接子图抽取的同步进行；
然后，在每次消息传递过程中，为连接子图组成部分的每一个三元组根据其和当前查询的关系动态分配权重，从而让模型在预测和推理时具备良好的可解释性，以第L层为例，计算公式如下：
；
其中，表示在/>上的实体/>和在/>上的实体/>之间关系的嵌入表示；
表示在/>上的实体且该实体所在三元组指向在/>上的实体/>表示在基于查询感知的图神经网络的第L层中边/>对应的查询感知权重值；/>表示sigmoid激活函数；/>表示向量的拼接；/>，是第L层的训练参数；
最终，获得知识图谱中实体的三元组粒度嵌入以及不同长度的关系路径粒度嵌入，；
3）基于自注意力的多粒度特征融合：
在步骤1）和步骤2）交替执行n次后，得到所有实体的三元组粒度嵌入和关系路径粒度嵌入，连接子图视为由三元组及不同长度关系路径集合组成，因此基于自注意力的多粒度特征融合机制，通过考虑到不同粒度特征间的交互，将所有实体的三元组结构嵌入以及不同长度的关系路径结构嵌入融合成对应的子图结构粒度嵌入；
对所述步骤3）中的基于自注意力的多粒度特征融合过程具体如下：
针对给定知识图谱中的目标三元组，首先根据步骤1）和步骤2）获取当前知识图谱中实体的三元组粒度嵌入表示以及不同长度的关系路径粒度嵌入表示，将三元组粒度嵌入和不同长度的关系路径粒度嵌入进行融合；
所述基于自注意力的多粒度特征融合指的是给定P个不同的粒度嵌入，旨在将其融合成一个更有表现力的嵌入，即/>，基于自注意力的多粒度特征融合用于获取子图粒度嵌入以及最终的多粒度嵌入；
所述基于自注意力的多粒度特征融合共包含三个函数：
（1）注意力函数；
所述注意力函数的计算方式为：
；
其中，表示查询，/>表示键，/>表示值，/>指的是查询向量的数量，/>指的是键向量的维度，/>指的是值向量的维度；
（2）多头注意力函数；
所述多头注意力函数的计算方式为：
；
其中，是可训练的参数；输出映射矩阵/>是多头注意力函数的输出维度；
（3）自注意力函数；
所述自注意力函数，其计算方式为：
；
根据上述定义的基于自注意力的多粒度特征融合过程，子图粒度嵌入通过如下计算方式得到：
；
其中，是训练参数；
4）知识图谱补全模型训练及预测：
在训练前，将知识图谱中所有三元组视为正样本三元组，然后将头实体和尾实体使用其它知识图谱中的实体进行破坏，从而得到大量负样本三元组，在训练中，采用类别不均衡下的二分类交叉熵损失函数优化模型参数，同时，给定一条查询，将该查询从知识图谱中临时移除，利用上述基于查询感知的图神经网络模型结构动态得到所有实体的多粒度结构粒度嵌入表示,接着将嵌入结果输入打分函数中得到正样本和负样本的分数，基于多粒度层次和动态嵌入的知识图谱方法训练结束后，在实际场景中进行预测时，将所有待预测查询进行分组，将具有相同的头实体和关系查询作为一组，将所有候选的实体输入至线性层实现的得分函数中，获得所有候选三元组的得分，最后，将所有三元组的得分进行排序得到预测结果；
对所述步骤4）中的知识图谱补全模型训练及预测过程具体如下：
在知识图谱补全模型的训练阶段，首先将知识图谱中已有三元组作为正样本三元组，然后，在增强后的知识图谱上，按照步骤1）至步骤3）进行表示学习，获得所有实体的多粒度嵌入表示，最后，将多粒度嵌入表示输入线性层，以获得每一个候选三元组的得分，以查询为例，将候选实体e对应的多粒度嵌入表示输入至简单的线性层中获得候选三元组/>的得分，计算公式如下：
；
其中，是训练的参数；
对步骤4）中的将所有三元组的得分进行排序得到预测结果，采用不稳定的快速排序方法对所有候选三元组的得分进行排序得到预测结果；
所述步骤4）中对于训练过程中出现的一个正样本对应的过多负样本的情况，采用类别不均衡下的二分类交叉熵损失函数优化模型参数，方法具体如下：
在知识图谱补全模型的训练过程中，首先，将知识图谱中的每一个三元组转换成查询/>，然后，最小化二分类交叉熵损失函数来优化模型参数，以查询/>为例，损失函数计算方式如下所示：
；
其中，表示第j个通过替换正样本三元组/>中的尾实体t负样本三元组，；
对标准的二分类交叉熵损失函数做出下列转换：
；
其中，表示高阶项，得到最终的损失函数：
；
在知识图谱补全模型的测试阶段，给定查询，其中h和r分别表示头实体和关系，预测的目标是在给定头实体和关系的前提下，预测尾实体t；
步骤4）基于多粒度层次和动态嵌入的知识图谱方法训练结束后，其在实际场景中的具体预测过程如下；
首先，将给定的查询进行分组，将具有相同的头实体和关系查询作为一组，同时进行测试；
然后，将所有候选实体输入至线性层实现的得分函数中，获得候选三元组的得分；
最后，将所有三元组的得分进行排序；
为了衡量排序的结果，采用的评价指标是平均倒数排名MRR、排名小于等于1的三元组的平均占比、排名小于等于3的三元组的平均占比/>和排名小于等于10的三元组的平均占比/>，计算指标，计算公式如下：
；
其中，表示所有三元组的数量；/>是指示函数，当满足条件/>时取1，不满足时取0。
CN202311121647.5A 2023-09-01 2023-09-01 一种基于多粒度层次和动态嵌入的知识图谱补全方法 Active CN116842199B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311121647.5A CN116842199B (zh) 2023-09-01 2023-09-01 一种基于多粒度层次和动态嵌入的知识图谱补全方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311121647.5A CN116842199B (zh) 2023-09-01 2023-09-01 一种基于多粒度层次和动态嵌入的知识图谱补全方法

Publications (2)

Publication Number Publication Date
CN116842199A CN116842199A (zh) 2023-10-03
CN116842199B true CN116842199B (zh) 2023-12-26

Family

ID=88163842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311121647.5A Active CN116842199B (zh) 2023-09-01 2023-09-01 一种基于多粒度层次和动态嵌入的知识图谱补全方法

Country Status (1)

Country Link
CN (1) CN116842199B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902165A (zh) * 2019-03-08 2019-06-18 中国科学院自动化研究所 基于马尔科夫逻辑网的智能交互式问答方法、系统、装置
CN111104522A (zh) * 2019-12-20 2020-05-05 武汉理工大学 一种基于知识图谱的区域产业关联效应趋势预测方法
CN112633478A (zh) * 2020-12-31 2021-04-09 天津大学 一种基于本体语义的图卷积网络学习模型的构建
CN114398491A (zh) * 2021-12-21 2022-04-26 成都量子矩阵科技有限公司 一种基于知识图谱的语义分割图像实体关系推理方法
CN114461907A (zh) * 2022-01-24 2022-05-10 华中师范大学 一种基于知识图谱的多元环境感知推荐方法及系统
CN115062159A (zh) * 2022-06-13 2022-09-16 西南交通大学 基于联邦学习的多粒度动态知识图谱嵌入模型构造方法
CN115186819A (zh) * 2022-06-22 2022-10-14 电子科技大学 一种结合子图结构和关系类型的知识图谱补全方法
CN115408531A (zh) * 2022-05-20 2022-11-29 矩阵纵横(北京)科技有限公司 一种具有归纳能力的知识图谱推理方法
CN115438189A (zh) * 2022-08-30 2022-12-06 西安理工大学 融合实体描述与路径信息的知识图谱表示学习模型的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11748356B2 (en) * 2019-12-06 2023-09-05 Nec Corporation Answering complex queries in knowledge graphs with bidirectional sequence encoders

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902165A (zh) * 2019-03-08 2019-06-18 中国科学院自动化研究所 基于马尔科夫逻辑网的智能交互式问答方法、系统、装置
CN111104522A (zh) * 2019-12-20 2020-05-05 武汉理工大学 一种基于知识图谱的区域产业关联效应趋势预测方法
CN112633478A (zh) * 2020-12-31 2021-04-09 天津大学 一种基于本体语义的图卷积网络学习模型的构建
CN114398491A (zh) * 2021-12-21 2022-04-26 成都量子矩阵科技有限公司 一种基于知识图谱的语义分割图像实体关系推理方法
CN114461907A (zh) * 2022-01-24 2022-05-10 华中师范大学 一种基于知识图谱的多元环境感知推荐方法及系统
CN115408531A (zh) * 2022-05-20 2022-11-29 矩阵纵横(北京)科技有限公司 一种具有归纳能力的知识图谱推理方法
CN115062159A (zh) * 2022-06-13 2022-09-16 西南交通大学 基于联邦学习的多粒度动态知识图谱嵌入模型构造方法
CN115186819A (zh) * 2022-06-22 2022-10-14 电子科技大学 一种结合子图结构和关系类型的知识图谱补全方法
CN115438189A (zh) * 2022-08-30 2022-12-06 西安理工大学 融合实体描述与路径信息的知识图谱表示学习模型的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于注意力机制的动态分配知识图谱补全方法;唐广谦 等;《重庆理工大学学报（自然科学）》;第37卷(第8期);231-237 *

Also Published As

Publication number Publication date
CN116842199A (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
Wu et al. Graphmixup: Improving class-imbalanced node classification on graphs by self-supervised context prediction
Hu et al. Type-aware embeddings for multi-hop reasoning over knowledge graphs
CN112633478A (zh) 一种基于本体语义的图卷积网络学习模型的构建
CN114565053A (zh) 基于特征融合的深层异质图嵌入模型
CN116257662A (zh) 基于k近邻图神经网络的异质图社区发现方法
Bi et al. Knowledge transfer for out-of-knowledge-base entities: Improving graph-neural-network-based embedding using convolutional layers
Wang et al. Automated graph neural network search under federated learning framework
CN116842199B (zh) 一种基于多粒度层次和动态嵌入的知识图谱补全方法
Chen et al. Model selection-knowledge distillation framework for model compression
Shang et al. LAFA: Multimodal Knowledge Graph Completion with Link Aware Fusion and Aggregation
CN114254117A (zh) 一种基于数据增强和自适应负采样技术的知识图谱推理方法
Hu et al. A classification surrogate model based evolutionary algorithm for neural network structure learning
Nagpal Applying soft computing techniques in information retrieval
CN107231252B (zh) 一种基于贝叶斯估计和种子节点邻居集合的链路预测方法
Zhao et al. SP-DARTS: Synchronous progressive differentiable neural architecture search for image classification
Shen et al. Learning network representation through reinforcement learning
Zhang et al. A hierarchical network embedding method based on network partitioning
CN117688121B (zh) SubGNN注入空间特征的地理知识图谱表示学习方法
Cai et al. An improved knowledge graph model based on fuzzy theory and TransR
Garciarena et al. Redefining Neural Architecture Search of Heterogeneous Multinetwork Models by Characterizing Variation Operators and Model Components
Guo et al. Negative Label Guided Discriminative Canonical Correlation Analysis for Semi-Supervised and Semi-Paired Learning
Loubière et al. A sensitivity analysis indicator to adapt the shift length in a metaheuristic
Xue et al. A framework of transferring structures across large-scale information networks
CN118228103A (zh) 基于网络模式和元路径的双视图范式的异构图神经网络节点分类方法
Han et al. Link Prediction with Mining and Filtering Information in Multiplex Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant