CN114741532A - 基于多尺度分散动态路由的知识图谱补全方法及系统 - Google Patents

基于多尺度分散动态路由的知识图谱补全方法及系统 Download PDF

Info

Publication number
CN114741532A
CN114741532A CN202210390059.0A CN202210390059A CN114741532A CN 114741532 A CN114741532 A CN 114741532A CN 202210390059 A CN202210390059 A CN 202210390059A CN 114741532 A CN114741532 A CN 114741532A
Authority
CN
China
Prior art keywords
dynamic routing
knowledge graph
triples
matrix
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210390059.0A
Other languages
English (en)
Inventor
尉秀梅
马浩翔
姜雪松
柴慧慧
陈珺
陈佃迎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202210390059.0A priority Critical patent/CN114741532A/zh
Publication of CN114741532A publication Critical patent/CN114741532A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出了一种基于多尺度分散动态路由的知识图谱补全方法及系统，对获取的待补全三元组使用多头注意力机制与记忆矩阵循环交互，编码实体和关系之间的潜在依赖关系，生成三元组编码向量；将三元组编码向量，输入到训练好的胶囊网络中，提取全局特征，并为全局特征分配不同的耦合系数，根据全局特征预测缺失的三元组，完成知识图谱的补全；本发明在知识图谱预测时对实体之间潜在的依赖关系进行有效建模，尽可能地减少预测时动态路由造成的偏差，捕获不同抽象层次的特征，从而提高知识图谱补全预测精度和三元组分类的效果。

Description

基于多尺度分散动态路由的知识图谱补全方法及系统
技术领域
本发明属于知识图谱技术领域，尤其涉及基于多尺度分散动态路由的知识图谱补全方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
知识图谱(KG)是由谷歌在2012年提出的，通常被表达为一个多关系图谱，是一个事实三要素的集合，世界上有大量的事实可以简单地表示为实体和它们之间的关系，YAGO、Freebase和DBpedia通常是以事实(头实体、关系、尾实体)的形式表示实体之间的关系的KGs，表示为(h；r；t)，例如(“北京”,“属于”,“中国”)；在推荐系统、问题回答、信息检索和自然语言处理领域可以用知识图谱来刻画三元关系，然而，大型知识图谱，即使包含数十亿的三要素，仍然是不完整的，即缺少很多有效的三要素。
因此，很多研究工作都集中在知识图谱的补全上，包括给定头实体和关系，预测尾实体，或者给定尾实体和关系，预测头实体，其目的是预测知识图谱中缺失的三元组，很多学习知识图谱中实体和关系低维表示的嵌入方法被提出来，也已被证明是可扩展和有效的；此外，知识图谱预测的准确性也可以通过一些优化方法来提高；通过使用这些知识图谱的嵌入模型可以有效的对不完整的知识图谱进行预测补全。
现有的知识图谱补全方法大多是通过简单的线性变换将三元组嵌入到连续的低维向量空间中，尽管计算效率高，但这些模型的拟合能力并不理想；Chen，Yang等人提出了一种多尺度的胶囊网络模型MCapsE，从深度的角度对嵌入向量之间的关系进行建模，在胶囊网络的卷积层中使用具有不同窗口大小的卷积核提取三元组中实体和关系的语义特征，然后通过胶囊层中的路由过程算法将这些语义特征表示为连续向量进行知识图谱的补全研究。Nguye等人提出了一种新的嵌入模型R-MeN，用关系记忆网络来编码关系三元组中的潜在依赖关系，R-MeN将每个三元组视为3个输入向量的序列，这些向量使用Transformer自注意机制与内存循环交互，对来自内存和每个输入向量之间交互的新信息进行编码，以返回相应的向量，R-MeN将这3个返回的向量提供给基于卷积神经网络的解码器，以生成三元组的标量分数，进行知识图谱的分类。
现有方法的不足点：
1)MCapsE通过在卷积层中使多尺度的卷积核改进CapsE，提高了模型提取三元组的语义特征，但仅扩展胶囊网络模型无法有效地捕获实体之间的潜在依赖关系；2)而R-MeN，尽管可以很好地提取不同语义空间中实体之间的潜在依赖关系，但受限于卷积神经网络编码效率低的弊端；3)而且由于胶囊网络中的动态路由部分使用的Softmax函数会导致预测向量的错误求和，这会影响预测的最终结果，DE-CapsNet模型使用了含有Sigmoid函数的分散动态路由对胶囊网络进行了改进，在图像分类领域数据集CIFAR-10和F-MNIST现出非常好的性能，但在知识图谱补全领域并没有得到应用。
发明内容
为克服上述现有技术的不足，本发明提供了一种基于多尺度分散动态路由的知识图谱补全方法及系统，在知识图谱预测时对实体之间潜在的依赖关系进行有效建模，尽可能地减少预测时动态路由造成的偏差，捕获不同抽象层次的特征，从而提高知识图谱预测补全的准确度。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
本发明第一方面提供了基于多尺度分散动态路由的知识图谱补全方法；
基于多尺度分散动态路由的知识图谱补全方法，包括：
对获取的待补全三元组使用多头注意力机制与记忆矩阵循环交互，编码实体和关系之间的潜在依赖关系，生成三元组编码向量；
将三元组编码向量，输入到训练好的胶囊网络中，提取全局特征，并为全局特征分配不同的耦合系数，根据全局特征预测缺失的三元组，完成知识图谱的补全。
进一步的，所述三元组由头实体、关系和尾实体三部分组成，循环交互前，将三元组转换为头实体、关系和尾实体向量，并嵌入位置信息，得到头实体、关系和尾实体的三元组向量。
进一步的，所述多头注意力机制与记忆矩阵循环交互，具体方法是：
构建记忆矩阵，每一行都是一个记忆槽位，初始值为三元组向量形成的矩阵；
循环更新记忆矩阵，查询矩阵和键矩阵点积运算得到三元组向量和记忆矩阵的标量值，输入Softmax函数中，计算得到多头注意力权重值，用多头注意力权重值残差连接三元组向量和记忆矩阵得到新的记忆矩阵，循环更新记忆矩阵，直至更新完记忆矩阵的每一行。
进一步的，所述胶囊网络执行的具体步骤为：
将关系记忆模块输出的三元组编码向量拼接成卷积层的输入矩阵；
使用三种不同窗口大小的卷积核对输入矩阵的每一行执行卷积运算生成特征图，得到卷积层输出的特征图列表；
将特征图列表输入到胶囊层，为输出的特征分配不同的耦合系数，预测缺失的三元组。
进一步的，所述胶囊层预测缺失的三元组的具体方法：
将卷积层生成的多个特征图按照特征维度重组构建胶囊，捕获更多实体之间不同位置的特征向量，并将特征向量与权重矩阵相乘提取更重要的特征；
将提取的特征，输入到动态分散路由算法中，计算三元组的得分，通过得分排序，得到最终的缺失预测结果。
进一步的，动态分散路由算法的计算过程为：
提取的特征与耦合系数相乘，输入到非线性压缩函数中进行放大，计算三元组输出向量，并将三元组输出向量加权求和得到三元组的得分。
进一步的，所述耦合系数，是主胶囊和最终胶囊之间的相关强度，为真实特征分配更大的耦合系数，为错误的特征分配相对较小的耦合系数，通过Sigmoid函数计算得到。
本发明第二方面提供了基于多尺度分散动态路由的知识图谱补全系统。
基于多尺度分散动态路由的知识图谱补全系统，包括关系记忆模块和胶囊网络模块；
所述关系记忆模块，用于对获取的待补全三元组使用多头注意力机制与记忆矩阵循环交互，编码实体和关系之间的潜在依赖关系，生成三元组编码向量；
所述胶囊网络模块，用于将三元组编码向量，输入到训练好的胶囊网络中，提取全局特征，并为全局特征分配不同的耦合系数，根据全局特征预测缺失的三元组，完成知识图谱的补全。
本发明第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的基于多尺度分散动态路由的知识图谱补全方法中的步骤。
本发明第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的基于多尺度分散动态路由的知识图谱补全方法中的步骤。
以上一个或多个技术方案存在以下有益效果：
基于多尺度分散动态路由的知识图谱补全系统，将多头注意力机制引入多尺度胶囊网络模型，使用三元组记忆矩阵作为优化的胶囊网络模型的输入，能更好地编码实体间的依赖关系、捕获三元组空间结构信息。
在动态路由部分使用了分散动态路由来代替传统的胶囊网络中使用的动态路由，为真实特征分配更大的耦合系数，将与类别实际相关的真实特征转移到下一个胶囊层，同时为错误的特征分配相对较小的耦合系数，提高模型的性能。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为第一个实施例的方法流程图。
图2为第二个实施例的系统结构图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本发明提出的总体思路：
将多头注意力机制引入多尺度胶囊网络，使用三元组记忆矩阵作为优化的胶囊网络的输入，更好地编码实体间的依赖关系、捕获三元组空间结构信息；而在胶囊网络的动态路由部分，使用分散动态路由来代替传统的胶囊网络中使用的动态路由，为真实特征分配更大的耦合系数，将与类别实际相关的真实特征转移到下一个胶囊层，同时为错误的特征分配相对较小的耦合系数，提高模型的性能。
实施例一
本实施例公开了基于多尺度分散动态路由的知识图谱补全方法；
如图1所示，基于多尺度分散动态路由的知识图谱补全方法，包括：
S1：对获取的待补全三元组使用多头注意力机制与记忆矩阵循环交互，编码实体和关系之间的潜在依赖关系，生成三元组编码向量；
S2：将三元组编码向量，输入到训练好的胶囊网络中，提取全局特征，并为全局特征分配不同的耦合系数，根据全局特征预测缺失的三元组，完成知识图谱的补全。
S1步骤，由多层感知机和记忆门控组成，编码实体和关系之间的潜在依赖关系和重要部分的信息并形成编码嵌入向量。
将每个三元组连同位置嵌入一起转换为3个输入向量的序列，然后使用Transformer自注意力机制来引导记忆与每个输入向量交互以生成编码向量，捕获实体和关系的潜在语义联系，具体步骤如下：
由于头实体、关系和尾实体之间的相对位置对于推理事实三元组较为有用，向每个位置添加相应的位置嵌入；给定一个三元组，获得三元组h，r，t的向量表示Sh，Sr，St，如式(1)所示：
Figure BDA0003596469730000061
其中
Figure BDA0003596469730000062
是权重矩阵，
Figure BDA0003596469730000063
表示头实体、关系和尾实体的位置嵌入向量，N表示记忆大小，M表示实体和关系的维度，b是可学习的参数向量。
接下来将Sh，Sr，St视为一个由三个输入向量组成的序列，这些输入向量使用Transformer自注意力机制与记忆矩阵循环交互，以此编码和记忆关系和实体之间潜在的依赖联系；假设记忆矩阵
Figure BDA0003596469730000071
由Q行N列构成，其中每一行都是一个记忆槽位，使用M(d)表示时间d上的记忆矩阵，而
Figure BDA0003596469730000072
表示时间d上的第i个记忆槽位；使用多头注意力机制进行更新
Figure BDA0003596469730000073
以此循环交互Sh，Sr，St与记忆矩阵，来有效捕捉三元组之间的潜在依赖关系，
Figure BDA0003596469730000074
和
Figure BDA0003596469730000075
的计算如(2)和(3)所示：
Figure BDA0003596469730000076
Figure BDA0003596469730000077
其中，T代表多头注意力机制中头的数量，
Figure BDA0003596469730000078
是向量拼接操作。关于第t个头，Wd，V是值投影矩阵，
Figure BDA0003596469730000079
和αi，Q+1，d是由Softmax函数计算得到的多头注意力权重值，β是查询矩阵和键矩阵点积运算得到的标量值，如式(4-7)所示：
Figure BDA00035964697300000710
Figure BDA00035964697300000711
Figure BDA00035964697300000712
Figure BDA00035964697300000713
其中，Wt，Q和Wt，K分别是查询投影矩阵和键投影矩阵，x是多头注意力中头的大小，将S(d)和
Figure BDA00035964697300000714
之间的残差连接馈送给多层感知机与记忆门控，以生成编码向量h′，r′，t′和下一个时间(d+1)的记忆槽位
Figure BDA00035964697300000715
S2步骤中的胶囊网络，主要由嵌入矩阵、卷积层、胶囊层和输出层组成。在胶囊网络中，嵌入矩阵为步骤S1输出的3个编码嵌入向量，隐藏层则对三元组结构信息编码并进行分类，输出层相当于多个并行的二分类器，区分正确或者错误的三元组，在胶囊网络中的动态路由部分使用Sigmod函数代替Softmax函数的分散动态路由来计算系数。
利用多尺度用胶囊网络强大的特征提取能力和特征解释能力，将关系记忆网络输出的编码嵌入向量h′，r′，t′作为模型的输入，以此捕获实体和关系在低维空间中的联系，并最大限度地保留有价值的信息。在动态路由部分使用分散动态路由，用Sigmoid函数代替Softmax函数，可以为真实特征分配更大的耦合系数，同时为错误的特征分配相对较小的耦合系数。具体操作步骤如下：
嵌入矩阵：在胶囊网络中，使用关系记忆模块输出的3个编码嵌入向量h′，r′，t′作为模型的输入矩阵，三元组矩阵被定义为M＝[h′，r′，t′]∈Rk×3，其中Mi，：∈R1×3是M的第i行。
卷积层：通过使用三种不同窗口大小的卷积核ωj∈Mj×3对矩阵M的每一行执行卷积运算以生成特征图，得到了卷积层输出的特征图列表q。
胶囊层：胶囊层分为两层，在第一层中，将卷积层生成的多个特征图按照特征维度重组构建胶囊，以捕获更多实体之间不同位置的特征。将得到的胶囊的向量vjii∈{1，2，...，k}与权重矩阵Wji∈Rd×N相乘得到向量
Figure BDA0003596469730000081
第二个胶囊层的输入向量sj∈Rd×1由向量
Figure BDA0003596469730000082
加权求和获得，对sj使用非线性压缩(squash)函数得到向量输出ej∈Rd×1，通过对向量e1，e2，e3加权求和得到相应三元组的得分e，如(11)所示：
Figure BDA0003596469730000083
Figure BDA0003596469730000084
将squash函数的分母中的数字减小一半，使得特征向量在接近0时进行放大，更好地提取特征的相关性，如(12)所示：
Figure BDA0003596469730000091
ci是动态路由过程确定的耦合系数，对第一层的所有胶囊在动态路由中使用Sigmoid函数代替MCapeE中使用的Softmax函数，为下一层的每个胶囊输出适当长度的向量，如式(13)所示。
Figure BDA0003596469730000092
其中，耦合系数ci，不再代表最终胶囊的分配概率，而是主胶囊和最终胶囊之间的相关强度，重要的预测向量与较大的耦合系数相乘，使得重要的特征更具决定性，而且它还增加了最终胶囊层中向量长度之间的差异，使得正确的胶囊的长度超过所有其他胶囊，改进的动态路由算法如下：
Figure BDA0003596469730000093
将模型的评分函数定义如下：
f(h，r，t)＝||MCaps′((g[h′，r′，t′]*Ω))·w|| (11)
其中，Ω表示卷积核集，*表示卷积运算，MCaps′表示胶囊网络运算。
采用Adam优化器[18]，通过最小化以下损失函数来训练模型。
Figure BDA0003596469730000094
其中，(h，r，t)表示任意一个三元组，
Figure BDA0003596469730000101
表示有效三元组，
Figure BDA0003596469730000102
表示无效三元组，t(h，r，t)取值如下所示：
Figure BDA0003596469730000103
实施例二
本实施例公开了基于多尺度分散动态路由的知识图谱补全系统；
如图2所示，基于多尺度分散动态路由的知识图谱补全系统，包括关系记忆模块和胶囊网络模块；
所述关系记忆模块，用于对获取的待补全三元组使用多头注意力机制与记忆矩阵循环交互，编码实体和关系之间的潜在依赖关系，生成三元组编码向量；
所述胶囊网络模块，用于将三元组编码向量，输入到训练好的胶囊网络中，提取全局特征，并为全局特征分配不同的耦合系数，根据全局特征预测缺失的三元组，完成知识图谱的补全。
实施例三
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例1所述的基于多尺度分散动态路由的知识图谱补全方法中的步骤。
实施例四
本实施例的目的是提供一种电子设备。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的基于多尺度分散动态路由的知识图谱补全方法中的步骤。
以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.基于多尺度分散动态路由的知识图谱补全方法，其特征在于，
对获取的待补全三元组使用多头注意力机制与记忆矩阵循环交互，编码实体和关系之间的潜在依赖关系，生成三元组编码向量；
将三元组编码向量，输入到训练好的胶囊网络中，提取全局特征，并为全局特征分配不同的耦合系数，根据全局特征预测缺失的三元组，完成知识图谱的补全。
2.如权利要求1所述的基于多尺度分散动态路由的知识图谱补全方法，其特征在于，所述三元组由头实体、关系和尾实体三部分组成，循环交互前，将三元组转换为头实体、关系和尾实体向量，并嵌入位置信息，得到头实体、关系和尾实体的三元组向量。
3.如权利要求1所述的基于多尺度分散动态路由的知识图谱补全方法，其特征在于，所述多头注意力机制与记忆矩阵循环交互，具体方法是：
构建记忆矩阵，每一行都是一个记忆槽位，初始值为三元组向量形成的矩阵；
循环更新记忆矩阵，查询矩阵和键矩阵点积运算得到三元组向量和记忆矩阵的标量值，输入Softmax函数中，计算得到多头注意力权重值，用多头注意力权重值残差连接三元组向量和记忆矩阵得到新的记忆矩阵，循环更新记忆矩阵，直至更新完记忆矩阵的每一行。
4.如权利要求1所述的基于多尺度分散动态路由的知识图谱补全方法，其特征在于，所述胶囊网络执行的具体步骤为：
将关系记忆模块输出的三原则编码向量拼接成卷积层的输入矩阵；
使用三种不同窗口大小的卷积核对输入矩阵的每一行执行卷积运算生成特征图，得到卷积层输出的特征图列表；
将特征图列表输入到胶囊层，为输出的特征分配不同的耦合系数，预测缺失的三元组。
5.如权利要求4所述的基于多尺度分散动态路由的知识图谱补全方法，其特征在于，所述胶囊层预测缺失的三元组的具体方法：
将卷积层生成的多个特征图按照特征维度重组构建胶囊，捕获更多实体之间不同位置的特征向量，并将特征向量与权重矩阵相乘提取感兴趣的特征；
将提取的特征，输入到动态分散路由算法中，计算三元组的得分，通过得分排序，得到最终的缺失预测结果。
6.如权利要求5所述基于多尺度分散动态路由的知识图谱补全方法，其特征在于，动态分散路由算法的计算过程为：
提取的特征与耦合系数相乘，输入到非线性压缩函数中进行放大，计算三元组输出向量，并将三元组输出向量加权求和得到三元组的得分。
7.如权利要求6所述基于多尺度分散动态路由的知识图谱补全方法，其特征在于，所述耦合系数，是主胶囊和最终胶囊之间的相关强度，为真实特征分配更大的耦合系数，为错误的特征分配相对较小的耦合系数，通过Sigmoid函数计算得到。
8.基于多尺度分散动态路由的知识图谱补全系统，其特征在于：包括关系记忆模块和胶囊网络模块；
所述关系记忆模块，用于对获取的待补全三元组使用多头注意力机制与记忆矩阵循环交互，编码实体和关系之间的潜在依赖关系，生成三元组编码向量；
所述胶囊网络模块，用于将三元组编码向量，输入到训练好的胶囊网络中，提取全局特征，并为全局特征分配不同的耦合系数，根据全局特征预测缺失的三元组，完成知识图谱的补全。
9.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的基于多尺度分散动态路由的知识图谱补全方法中的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的基于多尺度分散动态路由的知识图谱补全方法中的步骤。
CN202210390059.0A 2022-04-14 2022-04-14 基于多尺度分散动态路由的知识图谱补全方法及系统 Pending CN114741532A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210390059.0A CN114741532A (zh) 2022-04-14 2022-04-14 基于多尺度分散动态路由的知识图谱补全方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210390059.0A CN114741532A (zh) 2022-04-14 2022-04-14 基于多尺度分散动态路由的知识图谱补全方法及系统

Publications (1)

Publication Number Publication Date
CN114741532A true CN114741532A (zh) 2022-07-12

Family

ID=82282468

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210390059.0A Pending CN114741532A (zh) 2022-04-14 2022-04-14 基于多尺度分散动态路由的知识图谱补全方法及系统

Country Status (1)

Country Link
CN (1) CN114741532A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116562992A (zh) * 2023-07-11 2023-08-08 数据空间研究院 一种建模用户新兴趣不确定性的物品推荐方法、装置及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116562992A (zh) * 2023-07-11 2023-08-08 数据空间研究院 一种建模用户新兴趣不确定性的物品推荐方法、装置及介质
CN116562992B (zh) * 2023-07-11 2023-09-29 数据空间研究院 一种建模用户新兴趣不确定性的物品推荐方法、装置及介质

Similar Documents

Publication Publication Date Title
CN111310707B (zh) 基于骨骼的图注意力网络动作识别方法及系统
Gao et al. Global second-order pooling convolutional networks
Chen et al. Renas: Reinforced evolutionary neural architecture search
CN110222718B (zh) 图像处理的方法及装置
CN108984642A (zh) 一种基于哈希编码的印花织物图像检索方法
CN110175248B (zh) 一种基于深度学习和哈希编码的人脸图像检索方法和装置
Chen et al. Reinforced evolutionary neural architecture search
CN115222998B (zh) 一种图像分类方法
CN113159067A (zh) 一种基于多粒度局部特征软关联聚合的细粒度图像辨识方法及装置
CN113128424A (zh) 基于注意力机制的图卷积神经网络动作识别方法
CN114998525A (zh) 基于动态局部-全局图卷积神经网络的动作识别方法
CN114639483A (zh) 一种基于图神经网络的电子病历检索方法及装置
CN114973418A (zh) 一种跨模态三维点云序列时空特征网络的行为识别方法
CN108805280B (zh) 一种图像检索的方法和装置
Lv et al. An inverted residual based lightweight network for object detection in sweeping robots
CN114741532A (zh) 基于多尺度分散动态路由的知识图谱补全方法及系统
CN112990154B (zh) 一种数据处理方法、计算机设备以及可读存储介质
Chu et al. Compact broad learning system based on fused lasso and smooth lasso
CN116306780B (zh) 一种动态图链接生成方法
CN116030537B (zh) 基于多分支注意力图卷积的三维人体姿态估计方法
CN116310728A (zh) 基于CNN-Linformer模型的浏览器识别方法
Martinez et al. Towards personalized preprocessing pipeline search
CN115481256A (zh) 基于卷积四元数的逆向关系旋转嵌入知识表示方法及系统
CN115544307A (zh) 基于关联矩阵的有向图数据特征提取与表达方法和系统
CN115100599A (zh) 基于掩码transformer的半监督人群场景异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination