CN114861917A - 贝叶斯小样本学习的知识图谱推理模型、系统及推理方法 - Google Patents

贝叶斯小样本学习的知识图谱推理模型、系统及推理方法 Download PDF

Info

Publication number
CN114861917A
CN114861917A CN202210490127.0A CN202210490127A CN114861917A CN 114861917 A CN114861917 A CN 114861917A CN 202210490127 A CN202210490127 A CN 202210490127A CN 114861917 A CN114861917 A CN 114861917A
Authority
CN
China
Prior art keywords
meta
entity
knowledge graph
learner
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210490127.0A
Other languages
English (en)
Inventor
赵峰
闫成
金海�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202210490127.0A priority Critical patent/CN114861917A/zh
Publication of CN114861917A publication Critical patent/CN114861917A/zh
Priority to US17/938,058 priority patent/US20230351153A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明涉及一种贝叶斯小样本学习的知识图谱推理模型、系统及推理方法，所述方法至少包括：对知识图谱中的实体和关系进行高斯分布的建模以降低知识图谱的不确定性；将每个实体作为一个任务，以模拟动态知识图谱中新出现实体的元训练过程进行任务采样；基于图神经网络构建元学习器并进行随机推理；训练所述元学习器以使用支持集来表示新出现实体。本发明经过训练的模型具有快速适应的能力，无需重新训练就能推断出新的事实或出现的实体。

Description

贝叶斯小样本学习的知识图谱推理模型、系统及推理方法
技术领域
本发明涉及知识图谱推理模型技术领域，尤其涉及贝叶斯小样本学习的知识图谱推理模型、系统及推理方法。
背景技术
大规模知识图谱，如YAGO，NELL，Wikidata，包含大量的事实知识。作为许多应用的背景，随着知识图谱推理的快速发展，知识图谱推理在推荐系统、问题回答等方面的广泛应用也引起了越来越多的关注。知识图谱推理旨在从现有的知识图谱中推断出新的事实，知识图谱通常被建模为一个链接预测问题，以预测一个查询三元组的新实体或关系。
有许多不同的研究对知识图谱推理做出了实质性的贡献，最流行的方法之一是基于知识图嵌入方法，该方法将整个知识图谱映射到多维空间，通过各种向量运算操作来计算三元组的得分并预测新的三元组。因为知识图谱嵌入方法的简单性和高精度，使得它受到了高度的重视，但现有的知识图谱嵌入推理仍有一定的局限性。
事实上，知识不是静态的，而是随着时间动态发展的。因此，知识图谱随时间而变化，因为新知识出现或旧知识变得过时。例如，多年来，每天大约有200个实体出现在DBpedia中。在这里，提出知识图谱嵌入推理的两个挑战：第一，可扩展性差，知识图谱嵌入方法这种直推式的方法很难处理新出现的实体；因为当一个新的实体出现时，需要从头开始重新训练整个模型。直推式的方法依赖于实体和关系的表示，并且缺乏如归纳法能够泛化到不可见实体的能力。第二，由于时间的累积效应，长尾分布的现象在知识图谱中是十分常见的，大多数的实体只有与原有知识图谱很少的相关联的三元组。然而，直推式的方法假设每一个实体都有充足的训练数据，导致了表示层面上的不确定性以及推理上的不可靠性；并且知识图谱都是由众包和智能抽取构成的，往往会存在着一些噪音或者二义性问题，也导致了知识图谱的不确定性。
例如，中国专利CN112084344A公开了一种知识图谱推理方法，包括：获取待补全的初始知识图谱数据，初始知识图谱数据包括多组初始数据组，初始数据组仅包括头实体和实体关系；根据初始知识图谱数据，调用知识图谱推理模型得到补全后的目标知识图谱数据，知识图谱推理模型是基于强化学习预先训练得到的模型，目标知识谱图数据中的每组目标数据组均包括头实体、实体关系和尾实体。该专利的实施例通过调用基于强化学习训练得到的知识图谱推理模型对初始知识图谱进行知识推理，没有考虑时间的变化，采用多次训练来完善知识图谱。
因此，如何高效处理知识图谱中新出现的实体，以及考虑知识推理中的不确定性，是本发明的核心问题。
此外，一方面由于对本领域技术人员的理解存在差异；另一方面由于申请人做出本发明时研究了大量文献和专利，但篇幅所限并未详细罗列所有的细节与内容，然而这绝非本发明不具备这些现有技术的特征，相反本发明已经具备现有技术的所有特征，而且申请人保留在背景技术中增加相关现有技术之权利。
发明内容
现有技术中的知识图谱推理模型存在不确定性，导致训练样本出现长尾分布的现象。而现有的表示学习方法都属于直推式方法，难以扩展到不可见的实体上，因此本发明提出了一种基于小样本学习的贝叶斯归纳式推理方法。为了实现可扩展性，将利用元学习对不可见实体进行归纳推理。本发明还构建了贝叶斯图神经网络作为元学习器，将知识从原有的知识图谱推断到不可见实体。经过训练的知识图谱推理模型具有快速适应的能力，并且无需重新训练就能推断出新的事实或出现的实体。本发明对知识图谱中的不确定性进行建模，将所有实体和关系建模为高斯分布模型。此外，由于新出现的实体往往具有很高的不确定性，本发明将贝叶斯图神经网络这种可以估计的不确定性的模型纳入元学习器的设计中，完成现实动态场景中的具有不确定性知识图谱推理。
在真实世界的知识图谱中，少数的实体拥有着数据极多的相关联三元组，而大多数实体只有少量三元组，这种邻居数量分布不均的现象被称为长尾分布现象。
针对现有技术之不足，本发明提供了一种贝叶斯小样本学习的知识图谱推理方法，所述方法至少包括：
基于知识图谱中的实体和关系建立高斯分布模型以降低知识图谱的不确定性；
将每个实体作为一个任务，以模拟动态知识图谱中新出现实体的元训练过程进行任务采样；
基于图神经网络构建元学习器并进行随机推理；
训练所述元学习器以使用支持集来表示新出现实体。
本发明能够将知识从原有的知识图谱推断到不可见实体。经过训练的知识图谱推理模型具有快速适应的能力，无需重新训练就能推断出新的事实或出现的实体。此外，由于新出现的实体往往具有很高的不确定性，本发明将贝叶斯图神经网络这种可以估计的不确定性的模型纳入元学习器中，完成现实动态场景中的具有不确定性知识图谱推理。
优选地，基于知识图谱中的实体和关系建立高斯分布模型的步骤包括：
将头实体、关系、尾实体表示为：
Figure BDA0003624157160000031
Figure BDA0003624157160000032
μ表示实体或关系在向量空间中的位置，∑表示协方差，其大小与关系或实体的不确定性成正相关；
将头实体到尾实体的转换表示为
Figure BDA0003624157160000033
基于KL散度定义得分函数并用于计算三元组的信度。
通过计算三元组的信度，能够优化元学习器的参数。
优选地，所述用于计算三元组的信度的得分函数为：
s(eh，r，et)＝KL(Pr，Pe)，
其中，s表示三元组的得分函数，eh表示头实体，r表示关系，et表示尾实体，Pr表示关系分部，Pe表示转换分布。
优选地，以模拟动态知识图谱中新出现实体的元训练过程进行任务采样的步骤至少包括：
将原始数据集至少划分为含有模拟新出现实体元训练集和含有真实新出现实体的元测试集；
基于所述元训练集的元训练过程对模拟的新出现实体进行采样；
基于得分函数使查询集的三元组分数最大化。
优选地，基于图神经网络构建元学习器的步骤至少包括：
基于贝叶斯神经网络和知识图谱中的关系构建元学习器，
所述元学习器表示为：
Figure BDA0003624157160000041
其中，f(θ)表示权值，B表示贝叶斯神经网络，
Figure BDA0003624157160000042
表示------。
基于权值f(θ)遵循贝叶斯神经网络学习先验分布来建模并推理新兴实体的不确定性。
本发明中的元学习器，有能力使用支持集来表示真正的新实体，而无需进行微调或重新培训。
优选地，训练所述元学习器的步骤至少包括：
基于查询集和负例查询集计算损失函数中的梯度，从而基于梯度下降数据更新并优化知识图谱推理模型的参数；
以支持集Si作为输入，e′i的表示作为输出来进行元学习器的训练，
Figure BDA0003624157160000043
其中，f(θ)表示权值，Si表示支持集，e′i表示新出现实体。
优选地，训练所述元学习器的步骤还包括：
最小化先验分布和后验分布的KL散度：
Figure BDA0003624157160000044
使得目标函数表示为：
Figure BDA0003624157160000045
其中，q(θ)表示用来对Pr(θ)进行拟合的假设分布，Pr(θ)表示参数的真实分布，Pr(D|θ)表示训练数据集的分布。
使用KL散度作为得分函数来计算知识图谱三元组的可靠性即信度。随着这些高斯分布的后验收敛于训练，知识图谱中的不确定性也会减少并被拟合。
优选地，在所述元训练集Mtr中的新出现实体，包含：
相应的支持集
Figure BDA0003624157160000046
和
查询集
Figure BDA0003624157160000047
其中，n(e′i)表示新出现实体的相邻三元组数量，N表示小样本的大小，e′i表示新出现实体。
本发明还提供一种贝叶斯小样本学习的知识图谱推理系统，至少包括处理器，所述处理器被配置为:
基于知识图谱中的实体和关系建立高斯分布模型以降低知识图谱的不确定性；
将每个实体作为一个任务，以模拟动态知识图谱中新出现实体的元训练过程进行任务采样；
基于图神经网络构建元学习器并进行随机推理；
训练所述元学习器以使用支持集来表示新出现实体。
本发明还提供一种贝叶斯小样本学习的知识图谱推理模型，所述知识图谱推理模型至少包括：
基于知识图谱中的实体和关系建立高斯分布模型；和
基于图神经网络构建的元学习器。
附图说明
图1是本发明提供的一种知识推理模型的推理方法的逻辑示意图。
附图标记列表
1：支持集；2：查询集；3：第一知识图谱；4：第二知识图谱；5：元学习器；6：新出现实体。
具体实施方式
下面结合附图进行详细说明。
本发明提供一种贝叶斯小样本学习的知识图谱推理方法、系统及推理模型。本发明还提供一种能够允许本发明的贝叶斯小样本学习的知识图谱推理方法的电子设备。
本发明中的电子设备是指能够运行贝叶斯小样本学习的知识图谱推理程序的电子设备，例如服务器、计算机、移动式计算机、智能手机、专用处理器等等。
本发明中的电子设备至少包括处理器和存储器，处理器能够运行贝叶斯小样本学习的知识图谱推理方法的编码信息。存储器用于存储知识图谱推理方法的编码信息。
本发明中的贝叶斯小样本学习的知识图谱推理系统，至少包括处理器，处理器能够运行贝叶斯小样本学习的知识图谱推理程序。
本发明中的处理器，还可以是专用集成芯片、微处理器等等能够运行知识图谱推理方法的编码信息的电子元件。
本发明的知识图谱推理系统，还可以包括第一计算单元、采样计算单元和第二计算单元。
第一计算单元为能够基于知识图谱中的实体和关系建立高斯分布模型的处理器或专用集成芯片。
采样计算单元为能够执行模拟动态知识图谱中新出现实体的元训练过程并进行任务采样的步骤的处理器或专用集成芯片。即，采样计算单元能够运行实现模拟动态的新出现实体并实现任务采样的步骤的编码信息。
第二计算单元也称为元学习器，为能够运行元学习器的表示函数和实现推理过程的编码信息的处理器或专用集成芯片。
第一计算单元与第二计算单元通过至少一个数据连接端口建立数据传输关系。第一计算单元还设置有数据输入端口，用于接收知识图谱中的实体、关系、尾实体等数据。
采样计算单元与第一计算单元通过至少一个数据传输端口建立数据传输关系，以接收第一计算单元发送采样数据。采用数据例如是动态出现的新出现实体。
采样计算单元与第二计算单元通过至少一个数据传输端口建立数据传输关系，以向第二计算单元发送的高斯分布模型。
知识图谱推理系统还包括存储单元，至少用于存储与知识图谱推理过程相关的数据、函数、输出结果等信息。存储模块例如是RAM、ROM、磁盘、芯片等存储介质。存储单元与第一计算单元通过至少一个数据传输端口建立数据传输关系，使得第一计算单元能够从存储单元调取所需要的高斯分布模型数据。存储单元与第二计算单元通过至少一个数据传输端口建立数据传输关系，使得第一计算单元能够从存储单元调取所需要的元学习器表示函数、得分函数、损失函数和目标函数等，以进行元学习器的训练和实际的知识图谱推理。
存储单元的存储信息中，函数至少包括高斯分布模型、元学习器表示函数、得分函数、损失函数和目标函数。数据至少包括支持集、查询集、负例查询集和参数。输出结果至少包括新出现实体。
本发明中的贝叶斯小样本学习的知识图谱推理方法，如图1所示，方法至少包括：
S1：基于知识图谱中的实体和关系建立高斯分布模型以降低知识图谱的不确定性；
S2：将每个实体作为一个任务，以模拟动态知识图谱中新出现实体的元训练过程并进行任务采样；
S3：基于图神经网络构建元学习器并进行随机推理；
S4：训练所述元学习器以使用支持集来表示新出现实体。
本发明对各个步骤进行详细的说明。
基于知识图谱中的实体和关系建立高斯分布模型，是指将知识图谱本身实体关系链接数据学习为结构向量表示。具体而言，是将知识图谱中的实体以及关系建模为概率分布的表示形式，而不是一个实数的向量化表示，以用来拟合知识图谱中的不确定性。
假设每个实体和关系在知识图谱遵循某种高斯分布，从而允许近似统计不确定性，将头实体、关系、尾实体表示为：
Figure BDA0003624157160000071
Figure BDA0003624157160000072
μ表示实体或关系在向量空间中的位置，∑表示协方差，其大小与关系或实体的不确定性成正相关。
将头实体到尾实体的转换表示为
Figure BDA0003624157160000073
在表示层，该转换使关系分布Pr和转换分布Pe尽可能接近。
基于KL散度定义得分函数并用于计算三元组的信度。
使用KL散度作为得分函数来计算知识图谱三元组的可靠性即信度。随着这些高斯分布的后验收敛于训练，知识图谱中的不确定性也会减少并被拟合。
KL散度(Kullback-Leibler divergence)是两个概率分布P和Q差别的非对称性的度量。
用于计算三元组的信度的得分函数为：
s(eh，r，et)＝KL(Pr，Pe)，
其中，s表示三元组的得分函数，eh表示头实体，r表示关系，et表示尾实体，Pr表示关系分部，Pe表示转换分布。
本发明以模拟动态知识图谱中新出现实体的元训练过程进行任务采样。
如图1所示，将已观测的第一知识图谱3转换为含有新出现实体的第二知识图谱4。
任务划分，即基于任务采样的元训练过程来模拟动态知识图谱中出现的实体。具体地，将原始数据集至少划分为含有模拟新出现实体元训练集和含有真实新出现实体的元测试集。
基于元训练集的元训练过程对模拟的新出现实体进行采样。如图1所示，在元训练的过程中，每一个训练任务都会出现一些新出现的实体e′i。每个新实体都含有相应的支持集1和查询集2。支持集表示为：
Figure BDA0003624157160000081
查询集表示为：
Figure BDA0003624157160000082
支持集是指：与实体e相关联的N个三元组集合作为支持集，支持集将作为元学习器的输入来获取实体e的嵌入表示。与实体相关联的N个三元组将作为支持集，其余剩下的三元组将全部作为查询集。
在元训练过程中进行任务采样的目的是，采用支持集和元学习器fθ表示新出现的实体e′i，然后用得分函数使查询集上的三元组分数最大化。
Figure BDA0003624157160000083
表示三元组最大化时的得分函数。
本发明中，元训练过程是元学习框架的一部分。元学习框架分为元训练和元测试两个部分，在元训练过程中对元学习器中的参数进行训练并更新，其中元学习器将元训练过程中的支持集作为输入，输出节点的表示，再通过查询集中的数据对元学习器中的参数进行更新。
任务采样旨在将原有的数据集分成支持集和查询集两个部分。在本任务中，先是通过将支持集输入到元学习器中得到输出，再通过查询集中的数据计算输出的误差并完成对参数的更新。
fθ是以支持集作为输入的函数，指的就是元学习器。元学习器是以支持集作为输入的函数。
基于图神经网络构建元学习器，目的是迁移在原先知识图谱中的知识通过支持集转移到新出现实体上。由于图神经网络具有捕捉图结构的能力，本发明选择图神经网络作为元学习器。本发明中，元学习器可以聚集实体的异构邻居，并输出新新出现实体的表示。在元训练集Mtr上研究元学习器，然后在元测试集Mte上对训练后的元学习器进行评估更新。
元学习器是元学习框架的主要部分，主要的作用是完成对元知识的提取。在本发明中，元学习器是基于图神经网络设计的。如图1所示，元学习器5以支持集作为输入，将输出实体的嵌入表示，再通过查询集计算误差，实现对元学习器中参数的更新。
然而知识图谱与传统的图结构不同的是，知识图谱中的边代表关系，这和实体节点具有相同的重要程度。由于新出现实体的高度不确定性以及知识图谱与传统图结构的差异，本发明将贝叶斯神经网络和知识图谱中的关系边引入到图神经网络的设计中。
S31：基于贝叶斯神经网络和知识图谱中的关系构建元学习器。
S32：元学习器表示为：
Figure BDA0003624157160000091
其中，f(θ)表示权值，B表示贝叶斯神经网络，
Figure BDA0003624157160000092
表示与实体e′i相连的关系-实体对的个数。
通常，传递信息将通过线性神经网络或中的权重矩阵进行转换。然而，由于新出现实体的推理具有很高的不确定性，本发明基于权值f(θ)遵循贝叶斯神经网络学习先验分布来建模并推理新兴实体的不确定性。元学习器经过训练，知识图谱推理模型可以学习贝叶斯后验分布的变分近似。由于贝叶斯神经网络的权值不确定性，元学习器的输出也是随机变量，能够实现随机推理。
本发明中，采用元训练集训练所述元学习器。经过元训练集的充分训练，元学习器学习到的知识图谱推理模型能够求解元测试集中的真实新实体。在元学习器训练完成的情况下，元学习器能够使用支持集来表示真正的新实体，而无需进行微调或重新培训。
采用元训练集训练元学习器的步骤如下所述。
每个查询集只包含正三元组Qi＝{(e′i，r，e)|e∈E′}。
在元训练过程中，针对更新参数的查询集，为查询集构造负例查询集。构造负例查询集为：
Figure BDA0003624157160000093
负例查询集中包含的都是错误的三元组。查询集中都是正确的三元组。构造负例查询集的目的是在损失函数中，能够提高模型对负例的识别能力。
具体地，将正确三元组中某一个元素替换为任意其他的元素，目的是让模型能够区分正例和负例。
查询集表示为：
Figure BDA0003624157160000101
与实体相关联的N个三元组将作为支持集，其余剩下的三元组将全部作为查询集。查询集是用来更新模型参数的。
查询集更新参数的原理：通过最大化查询集中三元组的得分函数，计算损失函数中的梯度，进行梯度下降来更新模型参数。
损失函数表示：
Figure BDA0003624157160000102
损失函数是更新模型参数的依据，通过计算损失函数的梯度，并且对参数进行梯度下降以达到更新参数的目的。
对于新出现实体e′i的查询，元学习器以支持集Si作为输入，e′i的表示作为输出。即
Figure BDA0003624157160000103
其中，f(θ)表示权值，Si表示支持集，e′i表示新出现实体。
元学习器的权值fθ从后验分布中采样，通过后验抽样保证了不确定性，实现了随机推理。
由于后验分布Pr(θ|D)难以求解，本发明采用变分方法，利用由参数θ定义的分布qθ逼近真实后验分布Pr(θ|D)。本发明通过最小化先验分布和后验分布的KL散度，将求后验分布的问题转化为求最优参数θ的优化问题。
最小化先验分布和后验分布的KL散度的步骤包括：
Figure BDA0003624157160000104
使得目标函数表示为：
Figure BDA0003624157160000105
其中，q(θ)表示用来对Pr(θ)进行拟合的假设分布，Pr(θ)表示参数的真实分布，Pr(D|θ)表示训练数据集的分布。
经过元训练集的充分训练，学习后的模型能够求解元测试集中的真实新出现实体。在元测试中，每个新出现的实体也有自己的支持集和查询集。在元学习器完成训练的情况下，元学习器使用它的支持集来表示真正的新出现实体，无需进行微调或再训练。
在所述元训练集Mtr中的新出现实体，包含：
相应的支持集
Figure BDA0003624157160000111
和
查询集
Figure BDA0003624157160000112
其中，n(e′i)表示新出现实体的相邻三元组数量，N表示小样本的大小，e′i表示新出现实体。
元学习器经过元训练集Mtr的充分训练，学习到的知识推理模型能够求解元测试集Mte中的真实新兴实体。在元测试中，每个新出现的实体也有自己的支持集和查询集。在元学习器完成训练后，元学习器有能力使用它的支持集来对真正的新出现实体进行表示，不需要进行微调。
本发明还提供一种贝叶斯小样本学习的知识图谱推理模型，知识图谱推理模型至少包括：
基于知识图谱中的实体和关系建立高斯分布模型；和
基于图神经网络构建的元学习器。
元学习器表示为：
Figure BDA0003624157160000113
其中，f(θ)表示权值，B表示贝叶斯神经网络，
Figure BDA0003624157160000114
表示与实体e′i相连的关系-实体对的个数。
基于权值f(θ)遵循贝叶斯神经网络学习先验分布来建模并推理新兴实体的不确定性。
如图1所示，元学习器5以支持集Si作为输入，e′i的表示作为输出来进行元学习器的训练。
Figure BDA0003624157160000115
其中，f(θ)表示权值，Si表示支持集1，e′i表示新出现实体6。
知识图谱推理模型还包括损失函数。在训练元学习器的过程中，基于查询集和负例查询集计算损失函数中的梯度，从而基于梯度下降数据更新并优化知识图谱推理模型的参数。
其中，知识图谱推理模型还包括目标函数：
Figure BDA0003624157160000116
其中，q(θ)表示用来对Pr(θ)进行拟合的假设分布，Pr(θ)表示参数的真实分布，Pr(D|θ)表示训练数据集的分布。
本发明的知识图谱推理模型还包括得分函数，用于计算三元组的信度。
知识图谱推理模型的实施原理如下所述。
首先将知识图谱中的实体和关系都建模为高斯分布的形式以拟合不确定性。该方法主要基于元学习框架来实施，包括元训练和元测试两个部分。
知识图谱推理模型需要经过元训练过程。在元训练过程中，数据集被分为了支持集和查询集。为了学习到数据集中的元知识，将某个新出现实体的支持集输入到元学习器中后，能够得到当前实体的嵌入表示。将当前的表示带入到查询集中计算三元组的得分，并且对元学习器的参数进行梯度优化，得到学习好的参数。
在元训练过程结束后，得到优化的参数，即可以将知识图谱模型直接部署到真实场景中，将实体的相关联三元组，也就是元测试过程中的支持集，输入元学习器中得到新出现实体的嵌入表示。然后基于当前的嵌入表示完成推理任务。
需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。本发明说明书包含多项发明构思，诸如“优选地”、“根据一个优选实施方式”或“可选地”均表示相应段落公开了一个独立的构思，申请人保留根据每项发明构思提出分案申请的权利。

Claims (10)

1.一种贝叶斯小样本学习的知识图谱推理方法，其特征在于，所述方法至少包括：
基于知识图谱中的实体和关系建立高斯分布模型以降低知识图谱的不确定性；
将每个实体作为一个任务，以模拟动态知识图谱中新出现实体的元训练过程并进行任务采样；
基于图神经网络构建元学习器并进行随机推理；
训练所述元学习器以使用支持集来表示新出现实体。
2.根据权利要求1所述的贝叶斯小样本学习的知识图谱推理方法，其特征在于，基于知识图谱中的实体和关系建立高斯分布模型的步骤包括：
将头实体、关系、尾实体分别表示为：
Figure FDA0003624157150000011
Figure FDA0003624157150000012
μ表示实体或关系在向量空间中的位置，∑表示协方差，其大小与关系或实体的不确定性成正相关；
将头实体到尾实体的转换表示为
Figure FDA0003624157150000013
基于KL散度定义得分函数并用于计算三元组的信度。
3.根据权利要求1或2所述的贝叶斯小样本学习的知识图谱推理方法，其特征在于，用于计算三元组的信度的所述得分函数为：
s(eh，r，et)＝KL(Pr，Pe)，
其中，s表示三元组的得分函数，eh表示头实体，r表示关系，et表示尾实体，Pr表示关系分部，Pe表示转换分布。
4.根据权利要求1～3任一项所述的贝叶斯小样本学习的知识图谱推理方法，其特征在于，以模拟动态知识图谱中新出现实体的元训练过程并进行任务采样的步骤至少包括：
将原始数据集至少划分为含有模拟新出现实体元训练集和含有真实新出现实体的元测试集；
基于所述元训练集的元训练过程对模拟的新出现实体进行采样；
基于得分函数使查询集的三元组分数最大化。
5.根据权利要求1～4任一项所述的贝叶斯小样本学习的知识图谱推理方法，其特征在于，基于图神经网络构建元学习器的步骤至少包括：
基于贝叶斯神经网络和知识图谱中的关系构建元学习器，
所述元学习器表示为：
Figure FDA0003624157150000021
其中，f(θ)表示权值，B表示贝叶斯神经网络，
Figure FDA0003624157150000025
表示与实体e′i相连的关系-实体对的个数；
基于权值f(θ)遵循贝叶斯神经网络学习先验分布来建模并推理新兴实体的不确定性。
6.根据权利要求1～5任一项所述的贝叶斯小样本学习的知识图谱推理方法，其特征在于，训练所述元学习器的步骤至少包括：
基于查询集和负例查询集计算损失函数中的梯度，从而基于梯度下降数据更新并优化知识图谱推理模型的参数；
以支持集Si作为输入，e′i的表示作为输出来进行元学习器的训练，
Figure FDA0003624157150000022
其中，f(θ)表示权值，Si表示支持集，e′i表示新出现实体。
7.根据权利要求6所述的贝叶斯小样本学习的知识图谱推理方法，其特征在于，训练所述元学习器的步骤还包括：
最小化先验分布和后验分布的KL散度：
Figure FDA0003624157150000023
使得目标函数表示为：
Figure FDA0003624157150000024
其中，q(θ)表示用来对Pr(θ)进行拟合的假设分布，Pr(θ)表示参数的真实分布，Pr(D|θ)表示训练数据集的分布。
8.根据权利要求1～7任一项所述的贝叶斯小样本学习的知识图谱推理方法，其特征在于，在所述元训练集Mtr中的新出现实体，包含：
相应的支持集
Figure FDA0003624157150000031
和
查询集
Figure FDA0003624157150000032
其中，n(e′i)表示新出现实体的相邻三元组数量，N表示小样本的大小，e′i表示新出现实体。
9.一种贝叶斯小样本学习的知识图谱推理系统，其特征在于，至少包括处理器，所述处理器被配置为:
基于知识图谱中的实体和关系建立高斯分布模型以降低知识图谱的不确定性；
将每个实体作为一个任务，以模拟动态知识图谱中新出现实体的元训练过程并进行任务采样；
基于图神经网络构建元学习器并进行随机推理；
训练所述元学习器以使用支持集来表示新出现实体。
10.一种贝叶斯小样本学习的知识图谱推理模型，其特征在于，所述知识图谱推理模型至少包括：
基于知识图谱中的实体和关系建立高斯分布模型；和
基于图神经网络构建的元学习器。
CN202210490127.0A 2022-04-29 2022-04-29 贝叶斯小样本学习的知识图谱推理模型、系统及推理方法 Pending CN114861917A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210490127.0A CN114861917A (zh) 2022-04-29 2022-04-29 贝叶斯小样本学习的知识图谱推理模型、系统及推理方法
US17/938,058 US20230351153A1 (en) 2022-04-29 2022-10-05 Knowledge graph reasoning model, system, and reasoning method based on bayesian few-shot learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210490127.0A CN114861917A (zh) 2022-04-29 2022-04-29 贝叶斯小样本学习的知识图谱推理模型、系统及推理方法

Publications (1)

Publication Number Publication Date
CN114861917A true CN114861917A (zh) 2022-08-05

Family

ID=82635202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210490127.0A Pending CN114861917A (zh) 2022-04-29 2022-04-29 贝叶斯小样本学习的知识图谱推理模型、系统及推理方法

Country Status (2)

Country Link
US (1) US20230351153A1 (zh)
CN (1) CN114861917A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116417115A (zh) * 2023-06-07 2023-07-11 北京四海汇智科技有限公司 妊娠期糖尿病患者个性化营养方案推荐方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116417115A (zh) * 2023-06-07 2023-07-11 北京四海汇智科技有限公司 妊娠期糖尿病患者个性化营养方案推荐方法及系统
CN116417115B (zh) * 2023-06-07 2023-12-01 北京四海汇智科技有限公司 妊娠期糖尿病患者个性化营养方案推荐方法及系统

Also Published As

Publication number Publication date
US20230351153A1 (en) 2023-11-02

Similar Documents

Publication Publication Date Title
CN111160474B (zh) 一种基于深度课程学习的图像识别方法
CN113190688B (zh) 基于逻辑推理和图卷积的复杂网络链接预测方法及系统
CN111353582A (zh) 一种基于粒子群算法的分布式深度学习参数更新方法
CN106850289B (zh) 结合高斯过程与强化学习的服务组合方法
CN112685504B (zh) 一种面向生产过程的分布式迁移图学习方法
CN109840595B (zh) 一种基于群体学习行为特征的知识追踪方法
CN113361685B (zh) 一种基于学习者知识状态演化表示的知识追踪方法及系统
CN114491039B (zh) 基于梯度改进的元学习少样本文本分类方法
CN108763567A (zh) 应用于智能机器人交互的知识推理方法及装置
Dai et al. Hybrid deep model for human behavior understanding on industrial internet of video things
CN111310918B (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN110991621A (zh) 一种基于通道数搜索卷积神经网络的方法
CN115906997A (zh) 一种基于对比学习与记忆机制的知识追踪方法
CN114861917A (zh) 贝叶斯小样本学习的知识图谱推理模型、系统及推理方法
CN111985560B (zh) 知识追踪模型的优化方法、系统及计算机存储介质
CN117744760A (zh) 文本信息的识别方法、装置、存储介质及电子设备
Peng et al. Hmm-lstm for proactive traffic prediction in 6g wireless networks
CN116108195A (zh) 基于时序元学习的动态知识图谱预测方法和装置
CN113033653B (zh) 一种边-云协同的深度神经网络模型训练方法
CN114742292A (zh) 面向知识追踪过程的双态协同演化预测学生未来表现方法
CN114971066A (zh) 融合遗忘因素和学习能力的知识追踪方法及系统
CN114359510A (zh) 一种基于锚点检测的点云补全方法
JP6993250B2 (ja) コンテンツ特徴量抽出装置、方法、及びプログラム
CN113379068B (zh) 基于结构化数据的深度学习架构搜索方法
CN116257659A (zh) 一种智能导学系统的动态图嵌入方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination