CN117131936B - 一种基于多层级类比推理的知识图谱嵌入方法 - Google Patents

一种基于多层级类比推理的知识图谱嵌入方法 Download PDF

Info

Publication number
CN117131936B
CN117131936B CN202311397079.1A CN202311397079A CN117131936B CN 117131936 B CN117131936 B CN 117131936B CN 202311397079 A CN202311397079 A CN 202311397079A CN 117131936 B CN117131936 B CN 117131936B
Authority
CN
China
Prior art keywords
entity
semantic information
level
analog
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311397079.1A
Other languages
English (en)
Other versions
CN117131936A (zh
Inventor
赵晓非
杨梦倩
柴争义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Polytechnic University
Original Assignee
Tianjin Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Polytechnic University filed Critical Tianjin Polytechnic University
Priority to CN202311397079.1A priority Critical patent/CN117131936B/zh
Publication of CN117131936A publication Critical patent/CN117131936A/zh
Application granted granted Critical
Publication of CN117131936B publication Critical patent/CN117131936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/027—Frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种基于多层级类比推理的知识图谱嵌入方法，本发明分别在关系、实体和三元组三个层面进行聚合类比对象语义信息、聚合原始对象语义信息和类比对象语义信息和原始对象信息融合，通过变换矩阵，将原始表征和类比表征融合在一起，得到每个层面的最终表征，结合了模型的归纳推理能力和类比推理能力，一定程度上克服了图神经网络（GNN）聚合邻域节点信息过程中邻居节点不可靠的问题。通过在公开数据集上进行测试，本发明展现了较好的效果，可以有效增强基于GNN的知识图谱嵌入模型，提升知识推理效果.本发明基于GNN的多层级类比推理知识图谱嵌入模型为增强知识图谱的表示和分析能力提供了新思路，能够更有效地应用知识图谱解决相关推理问题。

Description

一种基于多层级类比推理的知识图谱嵌入方法
技术领域
本发明属于知识图谱技术领域，尤其是一种基于多层级类比推理的知识图谱嵌入方法。
背景技术
知识图谱（KGs）以（头实体、关系和尾实体）的形式存储了大量的三元组，是事实知识的常用数据结构。许多知识图谱项目，如Freebase、WordNet、YAGO和DBpedia，都是支持人工智能应用的重要基础。它们已成功应用于词义消歧、智能问答和信息抽取等任务，受到了广泛关注。然而知识图谱项目不可避免地存在事实缺失问题，因此需要在知识图谱的已知事实基础上推理预测出缺失链接。解决这个问题的常见方法之一是知识图谱嵌入。该任务旨在将知识图的实体和关系映射到低维向量空间，以便有效地捕捉知识图谱的语义和结构。然后通过机器学习模型可以有效地学习所获得的特征向量，进行相关的下游任务。
目前为止，被提出的知识图谱嵌入模型大体可以分为三类：
平移距离模型，典型的如BordesA等人提出的TransE模型(BordesA,UsunierN,Garcia-DuranA,etal.TranslatingEmbeddingsforModelingMulti-relationalData[C]//NeuralInformationProcessingSystems。CurranAssociatesInc.2013.)、SunZ等人提出的RotatE模型(SunZ,DengZH,NieJY,etal.RotatE:KnowledgeGraphEmbeddingbyRelationalRotationinComplexSpace[J].2019.)、ZhangZ等人提出的HAKE模型(ZhangZ,CaiJ,ZhangY,etal.LearningHierarchy-AwareKnowledgeGraphEmbeddingsforLinkPrediction[J].ProceedingsoftheAAAIConferenceonArtificialIntelligence,2020,34(3):3065-3072.).TransE的评分函数基于平移距离函数。为了解决TransE无法处理一对多、多对一和多对多的问题，又有一系列模型被相继提出，如ZhenW等人提出的TransH模型将关系映射到另外一个超平面上(ZhenW,ZhangJ,FengJ,etal.KnowledgeGraphEmbeddingbyTranslatingonHyperplanes[C]//NationalConferenceonArtificialIntelligence。AAAIPress,2014.)，ZhangZ等人提出的TransR模型将关系映射到关系空间上(ZhangZ,JiaJ,WanY,etal.TransR*:Representationlearningmodelbyflexibletranslationandrelationmatrixprojection[J].JournalofIntelligent&FuzzySystems:ApplicationsinEngineeringandTechnology,2021(5):40.)，JiG等人提出的TransD模型将关系矩阵进一步运算以区分头尾节点是(JiG,HeS,XuL,etal.KnowledgeGraphEmbeddingviaDynamicMappingMatrix[C]//MeetingoftheAssociationforComputationalLinguistics&theInternationalJointConferenceonNaturalLanguageProcessing.2015.).RotatE将每个关系定义为复杂向量空间中从源实体到目标实体的旋转，通过改进的评分函数/>提高了TransE的性能。HAKE显式地对模量信息建模，这在区分不同层次结构中的实体方面明显优于RotatE；
（2）语义匹配模型，如YangB等人提出的DistMult模型(YangB,YihWT,HeX,etal.EmbeddingEntitiesandRelationsforLearningandInferenceinKnowledgeBases[J].2014.DOI:10.48550/arXiv.1412.6575.)、TrouillonT等人提出的ComplEx模型(TrouillonT,WelblJ,RiedelS,etal.ComplexEmbeddingsforSimpleLinkPrediction[J].JMLR.org,2016.)、DettmersT等人提出的ConvE模型(DettmersT,MinerviniP,StenetorpP,etal.Convolutional2DKnowledgeGraphEmbeddings[J].2017.).语义匹配模型利用基于相似性的评分函数。DistMult提出了一个乘法模型来是事实的可能性。ComplEx对复杂域中的三重匹配函数进行了建模。VashishthS等人提出的InteractE模型将神经网络应用于相似性建模(VashishthS,SanyalS,NitinV,etal.InteractE:ImprovingConvolution-BasedKnowledgeGraphEmbeddingsbyIncreasingFeatureInteractions[J].ProceedingsoftheAAAIConferenceonArtificialIntelligence,2020,34(3):3009-3016.)；
（3）基于GNN的模型，如SchlichtkrullM等人提出的R-GCN模型(SchlichtkrullM,KipfTN,BloemP,etal.ModelingRelationalDatawithGraphConvolutionalNetworks[J].2017.)、VashishthS等人提出的CompGCN模型(VashishthS,SanyalS,NitinV,etal.Composition-basedMulti-RelationalGraphConvolutionalNetworks[J].2019.)、LiR等人提出的SE-GNN模型(LiR,CaoY,ZhuQ,etal.HowDoesKnowledgeGraphEmbeddingExtrapolatetoUnseenData:aSemanticEvidenceView[J].2022.).CompGCN提出了用于邻居聚合的多种合成操作，以对多关系图的结构模式进行建模。SE-GNN采用语义匹配的方法并将语义相关性分成三个层次，包括关系层面、实体层面和三元组层面。这些方法在知识图谱补全任务中取得了显著的成功。
尽管这些模型在链接预测方面取得了较好的效果，但仍存在一定的局限。一方面，在聚合邻居节点信息以更新目标节点的向量是的过程中，一些不相关或不适当的邻居节点信息被加入，导致是不够准确。尽管一些模型，如SE-GNN，通过引入注意力机制来解决相邻节点特征和自身节点特征的加权比例问题，但在实际中，由于缺乏足够的标记数据，难以获得可靠的语义信息；另一方面，这些模型所采用的参数学习范式将预测缺失环节视为闭书测试，这属于归纳推理。然而，归纳推理的准确性和效果在处理大型知识图谱时受到限制。首先，大型知识图谱往往包含不完整的三元组，这使得通过应用记忆范式进行归纳推理变得困难。其次，由于知识图谱的复杂性，参数学习范式可能无法捕捉到复杂关联关系并难以处理不确定性的情况。
发明内容
本发明的目的在于克服现有技术的不足，提出一种基于多层级类比推理的知识图谱嵌入方法，将类比推理和模型原始的归纳推理能力相结合，可以有效增强基于图神经网络（GNN）的知识图谱嵌入模型，提升知识推理效果.本发明基于GNN的多层级类比推理知识图谱嵌入模型为增强知识图谱的表示和分析能力提供了新的思路，能够更有效地应用知识图谱解决相关推理问题。
本发明解决其技术问题是采取以下技术方案实现的：
一种基于多层级类比推理的知识图谱嵌入方法，包括以下步骤：
步骤1、挖掘原始对象的类比对象；
步骤2、聚合原始对象邻域语义信息；
步骤3、聚合类比对象邻域语义信息；
步骤4、融合步骤3中类比对象邻域语义信息和步骤2中原始对象邻域语义信息，得到多层级的邻域语义信息；
步骤5、通过图神经网络模型的多层聚合机制融合步骤4中的多层级的邻域语义信息，构建知识图谱嵌入模型；
步骤6、对步骤5中构建的知识图谱嵌入模型进行解码预测。
而且，所述步骤1包括关系层面类比、实体层面类比和三元组层面类比，
其中关系层面的类比关系向量为：
；
其中，Wr是关系线性变换矩阵，是与原始关系r最相似关系组成的矩阵，/>为类比关系的向量；
实体层面类比向量为：
；
其中，We是实体线性变换矩阵，是与原始实体e最相似实体组成的矩阵，/>为类比实体的向量；
三元组层面类比对象为选取前K个最相似的实体和关系对象组成的集合N：
。
而且，所述步骤2包括关系层面语义信息、实体层面语义信息和三元组层面语义信息；
其中，关系层面语义信息为：
；
其中，为关系ri的关系语义表征，n为隐层维度；/>是关系rj的嵌入表征；/>为关系ri的邻域关系集合；/>是线性变换矩阵，/>是非线性激活函数；/>是注意力机制计算的聚合权重；
实体层面语义信息为：
；
其中，为实体ei的实体语义信息表征；/>为实体ei的邻域实体集合；ej是ei的邻居节点；/>是注意力机制计算的聚合权重；
三元组层面语义信息为：
；
其中，为实体/>的三元实体语义信息表征；/>是实体-关系的组合函数，/>为注意力权重。
而且，所述步骤3包括关系层面语义信息、实体层面语义信息和三元组层面语义信息；
其中，关系层面语义信息为：
；
其中，为关系/>的类比对象；
实体层面语义信息为：
；
其中，为实体/>类比对象；
三元组层面语义信息为：
；
其中，的类比对象。
而且，所述步骤4包括关系层面融合、实体层面融合和三元组层面融合，
其中关系层面融合函数为：
；
其中，和/>是可学习的参数，
实体层面融合函数为：
；
其中，和/>是可学习的参数；
三元组层面融合函数为：
；
其中，和/>是可学习的参数。
而且，所述步骤5的具体实现方法为：
；
其中，、/>和/>为可学习参数，将输出/>作为下一层的输入来迭代计算：
；
其中，是实体/>嵌入第(l+1)层，/>为第l层的三元组语义信息嵌入，/>为第l层的关系层语义信息嵌入、/>为第l层的实体层语义信息嵌入，第一层中，/>为初始化的嵌入，K层聚合后，取eK为输出实体嵌入，同时每一层初始化不同的/>，得到变换矩阵/>：
；
。
而且，所述步骤6的具体实现方法为：
利用输出向量执行，使用ConvE作为解码器以及2D卷积神经网络来匹配predict(h,r)和答案t：
其中，是模型所计算的预测向量，h和r取自eout和rout，使用二进制交叉熵损失来衡量t_pred和候选答案实体t之间的匹配：
其中，N是候选实体的总数；1(t)是一个指示函数，对于正实体输出1，对于负实体输出0，T代表矩阵的转置操作，使用转置后的与向量t进行点积运算。
本发明的优点和积极效果是：
本发明分别在关系、实体和三元组三个层面进行聚合类比对象语义信息、聚合原始对象语义信息和类比对象语义信息和原始对象信息融合，通过变换矩阵，将原始表征和类比表征融合在一起，得到每个层面的最终表征，结合了模型的归纳推理能力和类比推理能力，一定程度上克服了图神经网络（GNN）聚合邻域节点信息过程中邻居节点不可靠的问题.通过在公开数据集上进行测试，本发明展现了较好的效果，可以有效增强基于图神经网络（GNN）的知识图谱嵌入模型，提升知识推理效果.本发明基于GNN的多层级类比推理知识图谱嵌入模型为增强知识图谱的表示和分析能力提供了新的思路，能够更有效地应用知识图谱解决相关推理问题。
附图说明
图1为本发明MAKE的模型架构图；
图2为本发明捕获邻域语义信息示例图；
图3为本发明挖掘类比对象示例图。
具体实施方式
以下结合附图对本发明做进一步详述。
一种基于多层级类比推理的知识图谱嵌入方法，包括以下步骤：
步骤1、挖掘原始对象的类比对象。
步骤1包括关系层面类比、实体层面类比和三元组层面类比。
关系层面：由于基于局部邻域的关系类比方法具有高效性和可解释性，本发明采用这种方法来解决关系类比问题，当给定一个原始关系时，通过寻找与原始关系在局部邻域中最相似的关系来执行类比推理，这种方法也被称为局部邻域类比或KNN(K-NeArestNeighbors)类比。
假设给定原始关系，使用欧式距离（EuclideAndistAnce）来衡量原始关系r与KGs中其他关系的相似度，本发明将相似度sim定义为欧式距离的相反数，即距离越小，相似度越大：
其中，表示KGs中的另一个关系，/>表示欧式距离，选择前K个与r相似度最高的关系/>，将这些关系向量拼接到一起，使用线性变换将其转换为类比关系向量：
其中，Wr是关系线性变换矩阵，是与原始关系r最相似关系组成的矩阵，/>为类比关系的向量；
实体层面类比向量与关系类比原理一致，假设给定原始实体，衡量原始实体e与KGs中其他实体相似度为：
其中，表示图谱中的另一个实体，选择前K个最相似的实体/>，将这些实体的向量拼接到一起，使用线性变换将其转换为类比实体向量：
其中，We是实体线性变换矩阵，是与原始实体e最相似实体组成的矩阵，/>为类比实体的向量；
三元组层面：将实体层面的类比推理和关系层面的类比推理相结合，用于实现三元组层面的类比推理，给定原始实体-关系对，，/>，使用欧氏距离分别计算离目标实体和目标关系最近的实体和关系，二者之和最小，就是与原始实体-关系对相似的类比对象，其相似度公式为：
其中为原始三元组对象，/>为KGs中的另一个三元组对象，/>表示欧式距离。选择前K个最相似的实体和关系对，可以分别进行排序，并取前K个结果，得到集合。
三元组层面类比对象为选取前K个最相似的实体和关系对象组成的集合N：
步骤2、聚合原始对象邻域语义信息，包括关系层面语义信息、实体层面语义信息和三元组层面语义信息；
其中，关系层面语义信息描述了每个实体的关系交互情况，可以通过实体的邻域关系模式捕获：
其中，为关系ri的关系语义表征，它被形式化地定义为实体邻域中所有链接的关系的加权和，n为隐层维度；/>是关系rj的嵌入表征；/>为关系ri的邻域关系集合；/>是线性变换矩阵，/>是非线性激活函数；/>是注意力机制计算的聚合权重：
其中，是实体/>的嵌入表征，使用点积注意力来动态计算每个邻接关系rj相对中心节点ei的重要性程度。
实体层面语义信息描述了实体之间的路径连接信息，可以从邻域实体模式中捕获.通过邻居实体的单层聚合，捕获所有长度为1的路径，进一步地可以通过GNN的多层聚合机制访问更长的路径，单层聚合公式为：
其中，为实体ei的实体语义信息表征；/>为实体ei的邻域实体集合；/>是注意力机制计算的聚合权重；
通过这种方法，可以捕获实体之间的路径连接信息，其中实体级别的语义信息被表示为一个向量，可以通过多层聚合，访问更长的路径连接信息。
三元组层面语义信息在聚合时同时考虑邻域实体信息和邻域关系信息：
其中为实体/>的三元实体语义信息表征，（此处/>的下标ti仅作为下标出现，代表三元组层面语义信息的标记）；/>是实体-关系的组合函数，用来融合邻居实体和邻居关系信息.这里的函数可以有多种选择，由于RotAtE模型在KGE领域具有多关系建模能力、方向捕捉能力和高效的计算性能等优势，因此选择RotAtE的/>；注意力权重/>的计算公式为：
。
步骤3、聚合类比对象邻域语义信息，包括关系层面语义信息、实体层面语义信息和三元组层面语义信息。
其中，由类比推理得到的类比对象/>，关系层面语义信息为：
。
由类比推理得到类比对象/>，实体层面语义信息为：
。
由类比推理得到的类比对象/>，三元组层面语义信息为：
。
步骤4、融合步骤3中类比对象邻域语义信息和步骤2中原始对象邻域语义信息，得到多层级的邻域语义信息。
其中由类比推理得到的类比对象/>，得到类比关系的语义信息表征：
融合类比关系语义信息表征和原始关系语义信息表征，得到关系层面融合函数为：
其中，和/>是可学习的参数。
由类比推理得到类比对象/>，于是可以得到类比实体的语义信息表征：
融合类比实体的语义信息表征和原始实体的语义信息表征，得到实体层面融合函数为：
其中，和/>是可学习的参数。
由类比推理得到的类比对象/>，于是可以得到类比三元组的语义信息表征：
融合类比三元组语义信息表征和原始三元组语义信息表征，三元组层面融合函数为：
其中，和/>是可学习的参数。
步骤5、通过图神经网络模型的多层聚合机制融合步骤4中的多层级的邻域语义信息，构建知识图谱嵌入模型。
将三个层面的语义信息和原始实体知识表征融合：
其中，、/>和/>为可学习参数，得到了一层GNN的计算过程.在多层GNN中，输出/>可作为下一层的输入来迭代计算：
其中，是实体/>嵌入第(l+1)层，/>为第l层的三元组语义信息嵌入，/>为第l层的关系层语义信息嵌入、/>为第l层的实体层语义信息嵌入，由/>和/>计算：
根据上述计算方法能够得到、/>，第一层中，e1为初始化的嵌入，K层聚合后，取eK为输出实体嵌入，在关系嵌入方面，考虑到关系在不同的层中可能表达不同，为每一层初始化不同的rl，对于输出关系嵌入，将所有使用的rl连接起来，并通过一个变换矩阵Wout将它们合并在一起：
；
。
通过逐层迭代，模型成功获取了多层次的语义信息聚合表征，从而对三个层面的语义信息进行了建模。
步骤6、对步骤5中构建的知识图谱嵌入模型进行解码预测。
利用输出向量执行，使用ConvE作为解码器以及2D卷积神经网络来匹配predict(h,r)和答案t：
其中，是模型所计算的预测向量，h和r取自eout和rout，使用二进制交叉熵损失来衡量t_pred和候选答案实体t之间的匹配：
其中，N是候选实体的总数；1(t)是一个指示函数，对于正实体输出1，对于负实体输出0，T代表矩阵的转置操作，使用转置后的与向量t进行点积运算。
根据上述一种基于多层级类比推理的知识图谱嵌入方法，通过数据进行实验测试，以验证本发明的创造性。
如图1所示为本发明MAKE模型的整体结构，展示了关系、实体和三元组三个层次的语义信息类比聚合过程，MAKE模型包含原始对象聚合和类比对象聚合两个关键部分，原始对象聚合采用原始节点进行GNN邻域聚合，通过考虑与中心节点（黑色节点）直接相连的节点来捕捉关系、实体和三元组的语义信息，类比对象聚合旨在对给定的实体和关系进行三个层次的类比推理，它通过检索与给定实体和关系相关的类比对象来扩展邻域聚合的范围，通过类比推理得到节点的类比对象，并进行如图2所示的GNN邻域聚合。为了在三层语义信息的获取里分别融入类比推理，从这三个层次进行类比对象的检索，关系层中类比对象是关系；实体层中类比对象就是实体；三元组层中类比对象是实体-关系，使用类比对象作为监督信号来训练类比函数，此函数将原始对象投影到适当的类比对象上，下文采用的符号约定如下：令知识图谱G=(E,R,F)，其中E为实体的集合；R为关系的集合；F为三元组的集合且F={(h,r,t)}⊆E×R×E，给定头实体h和关系r，将预测尾实体t的任务表示为predict(h,r)→t；给定关系r和尾实体t，将预测头实体h的任务表示为predict(r,t)→h，由于预测推理predict(h,r)→t与predict(r,t)→h的任务过程类似，这里本发明仅以predict(h,r)→t为例进行说明，具体而言，对于predict(h,r)→t，进行如下类比推理：
关系层面（如图3关系层面所示）：在训练集中存在predict(h,ri)，那么ri就是r关系层面的类比对象，比如predict(人名A,建立)可以类比到predict(人名A,是成员)；实体层面（如图3实体层面所示）：在训练集中存在predict(hi,r)，那么hi就是h实体层面的类比对象，比如predict(人名A,建立)可以类比到predict(A相关人员B,建立)；三元组层面（如图3三元组层面所示）：在训练集中存在predict(hi,ri)，那么hi,ri就是h、r三元组层面的类比对象，比如predict(人名A,建立)可以类比到predict(A相关人员B,总裁)，经过这三个层面的推理，可以得到最终的预测结果t为“A所在单位C”。
MAKE模型通过将原始对象邻域聚合特征和类比对象邻域聚合特征进行拼接，结合了原始的归纳推理能力和增强的类比推理能力，通过逐层迭代，模型能够进一步获取图结构上的语义信息，最终，MAKE模型将GNN的输出实体的向量表示和关系聚合结果的向量表示馈送到KGs补全模型的解码器中，用于进行下游推理任务，通过这个过程，MAKE模型能够有效地理解和处理知识图谱中的语义关联性。
本发明采用Python3.10作为主要编程语言，并基于PyTorch深度学习开源框架实现了MAKE.在模型的嵌入学习过程中，首先将F划分为训练集（F(tr)）、验证集（F(va)）和测试集（F(te)），F(tr)和F(va)分别用于训练模型和选择最佳的模型参数，F(te)用于评估训练好的嵌入模型的推理性能，本发明在两个常用的知识图谱数据集——WN18RR和FB15k-237对模型进行了测评，验证了本模型对语义信息精细建模的有效性。
其中表1总结了这些数据集的详细信息。
表2展示了对MAKE模型进行的性能测试的结果，以及与相关模型的对比.这些模型包括：平移距离模型（TransE、RotatE和HAKE）、语义匹配模型（DistMult、ComplEx和ConvE）以及基于GNN模型（R-GCN、CompGCN和SE-GNN），测试结果显示，MAKE模型在所选数据集上的性能显著优于相关的方法，特别是优于未增加类比模块的SE-GNN模型，这也表明，类比推理在本模型上也发挥了重要作用，测试结果也表明，MAKE在FB15k-237数据集上的改进效果较WN18RR更加明显，本发明推测这是因为FB15k-237数据集中存在200多种关系类型，并且数据交互非常复杂，这增加了推理的挑战性，在这种情况下，MAKE模型中的类比推理在预测推理方面发挥了重要的作用，综合来看，本发明提出的MAKE模型有效克服了传统基于GNN的知识图谱嵌入模型中邻居不可靠的问题，进而有效地增强了基于GNN的知识图谱嵌入模型的知识推理能力。
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (4)

1.一种基于多层级类比推理的知识图谱嵌入方法，其特征在于：包括以下步骤：
步骤1、挖掘原始对象的类比对象；
步骤1包括关系层面类比、实体层面类比和三元组层面类比，
其中关系层面的类比关系向量为：
r′＝Wr[r1，r2，...，rk]T；
其中，Wr是关系线性变换矩阵，[r1，r2，...，rk]是与原始关系r最相似关系r1，r2，...，rk组成的矩阵，r′为类比关系的向量；
实体层面类比向量为：
e′＝We[e1，e2，...，ek]T；
其中，We是实体线性变换矩阵，[e1，e2，...，ek]是与原始实体e最相似实体e1，e2，...，ek组成的矩阵，e′为类比实体的向量；
三元组层面类比对象为选取前K个最相似的实体和关系对象组成的集合N：
N＝((e1，r1)，(e2，r2)，...，(ek，rk))；
步骤2、聚合原始对象邻域语义信息；
步骤2包括关系层面语义信息、实体层面语义信息和三元组层面语义信息；
其中，关系层面语义信息为：
其中，为关系ri的关系语义表征，n为隐层维度；/>是关系rj的嵌入表征；为关系ri的邻域关系集合；/>是线性变换矩阵，σ是非线性激活函数；是注意力机制计算的聚合权重；
实体层面语义信息为：
其中，为实体ei的实体语义信息表征；/>为实体ei的邻域实体集合；ej是ei的邻居节点；/>是注意力机制计算的聚合权重；
三元组层面语义信息为：
其中，为实体ei的三元实体语义信息表征；/>是实体-关系的组合函数，/>为注意力权重；
步骤3、聚合类比对象邻域语义信息；
步骤3包括关系层面语义信息、实体层面语义信息和三元组层面语义信息；
其中，关系层面语义信息为：
其中，r′j为关系rj的类比对象；
实体层面语义信息为：
其中，e′j为实体ej类比对象；
三元组层面语义信息为：
其中，(e′j，r′j)为(ej，rj)的类比对象；
步骤4、融合步骤3中类比对象邻域语义信息和步骤2中原始对象邻域语义信息，得到多层级的邻域语义信息；
步骤5、通过图神经网络模型的多层聚合机制融合步骤4中的多层级的邻域语义信息，构建知识图谱嵌入模型；
步骤6、对步骤5中构建的知识图谱嵌入模型进行解码预测。
2.根据权利要求1所述的一种基于多层级类比推理的知识图谱嵌入方法，其特征在于：所述步骤4包括关系层面融合、实体层面融合和三元组层面融合，
其中关系层面融合函数为：
其中，αr和βr是可学习的参数，
实体层面融合函数为：
其中，αe和βe是可学习的参数；
三元组层面融合函数为：
其中，αt和βt是可学习的参数。
3.根据权利要求2所述的一种基于多层级类比推理的知识图谱嵌入方法，其特征在于：所述步骤5的具体实现方法为：
其中，α、β和γ为可学习参数，将输出e′i作为下一层的输入来迭代计算：
其中，是实体ei嵌入第(l+1)层，/>为第l层的三元组语义信息嵌入，/>为第l层的关系层语义信息嵌入、/>为第l层的实体层语义信息嵌入，第一层中，e1为初始化的嵌入，K层聚合后，取eK为最终输出实体嵌入，同时每一层初始化不同的r1，得到变换矩阵Wout：
rout＝Wout[r1，r2，...，rk]；
eout＝eK。
4.根据权利要求3所述的一种基于多层级类比推理的知识图谱嵌入方法，其特征在于：所述步骤6的具体实现方法为：
利用输出向量执行(h，r，？)，使用ConvE作为解码器以及2D卷积神经网络来匹配predict(h,r)和答案t：
t_pred＝CovnE(h，r)
其中，是模型所计算的预测向量，h和r取自eout和rout，使用二进制交叉熵损失来衡量t_pred和候选答案实体t之间的匹配：
其中，N是候选实体的总数；1(t)是一个指示函数，对于正实体输出1，对于负实体输出0，T代表矩阵的转置操作，使用转置后的t_pred与向量t进行点积运算。
CN202311397079.1A 2023-10-26 2023-10-26 一种基于多层级类比推理的知识图谱嵌入方法 Active CN117131936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311397079.1A CN117131936B (zh) 2023-10-26 2023-10-26 一种基于多层级类比推理的知识图谱嵌入方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311397079.1A CN117131936B (zh) 2023-10-26 2023-10-26 一种基于多层级类比推理的知识图谱嵌入方法

Publications (2)

Publication Number Publication Date
CN117131936A CN117131936A (zh) 2023-11-28
CN117131936B true CN117131936B (zh) 2024-01-30

Family

ID=88856775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311397079.1A Active CN117131936B (zh) 2023-10-26 2023-10-26 一种基于多层级类比推理的知识图谱嵌入方法

Country Status (1)

Country Link
CN (1) CN117131936B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581395A (zh) * 2020-05-06 2020-08-25 西安交通大学 一种基于深度学习的模型融合三元组表示学习系统及方法
CN113010691A (zh) * 2021-03-30 2021-06-22 电子科技大学 一种基于图神经网络的知识图谱推理关系预测方法
CN115858800A (zh) * 2022-08-25 2023-03-28 浙江大学 一种基于类比推理的增强知识图谱补全方法
CN116401380A (zh) * 2023-06-07 2023-07-07 湖北工业大学 面向异构知识图谱的对比学习预测方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3080840A1 (en) * 2019-05-16 2020-11-16 Royal Bank Of Canada System and method for diachronic machine learning architecture
CN114691886A (zh) * 2022-03-16 2022-07-01 华中科技大学 一种关系增强的知识图谱嵌入方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581395A (zh) * 2020-05-06 2020-08-25 西安交通大学 一种基于深度学习的模型融合三元组表示学习系统及方法
CN113010691A (zh) * 2021-03-30 2021-06-22 电子科技大学 一种基于图神经网络的知识图谱推理关系预测方法
CN115858800A (zh) * 2022-08-25 2023-03-28 浙江大学 一种基于类比推理的增强知识图谱补全方法
CN116401380A (zh) * 2023-06-07 2023-07-07 湖北工业大学 面向异构知识图谱的对比学习预测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Analogical Inference Enhanced Knowledge Graph Embedding";Zhen Yao;《arxiv》;第1-10页 *
"知识图谱嵌入技术及其应用研究";张永生;《中国优秀硕士学位论文全文数据库信息科技辑》;全文 *

Also Published As

Publication number Publication date
CN117131936A (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
Song et al. Jkt: A joint graph convolutional network based deep knowledge tracing
Zhang et al. Relation adversarial network for low resource knowledge graph completion
Demir et al. EEG-GNN: Graph neural networks for classification of electroencephalogram (EEG) signals
CN114117220B (zh) 基于知识增强的深度强化学习交互式推荐系统及方法
CN112364976B (zh) 基于会话推荐系统的用户偏好预测方法
Ma et al. Adaptive-step graph meta-learner for few-shot graph classification
CN109389151B (zh) 一种基于半监督嵌入表示模型的知识图谱处理方法和装置
Yang et al. From properties to links: Deep network embedding on incomplete graphs
CN110851491B (zh) 基于多重邻居节点的多重语义影响的网络链接预测方法
CN110347932A (zh) 一种基于深度学习的跨网络用户对齐方法
Huang et al. Few-shot relational reasoning via connection subgraph pretraining
Li et al. Coupled-view deep classifier learning from multiple noisy annotators
Bonner et al. Temporal neighbourhood aggregation: Predicting future links in temporal graphs via recurrent variational graph convolutions
CN112801138A (zh) 基于人体拓扑结构对齐的多人姿态估计方法
CN114611617A (zh) 基于原型网络的深度领域自适应图像分类方法
CN117035089A (zh) 基于多关系循环事件图注意力的时态知识图谱推理方法
Wu et al. Heterogeneous representation learning and matching for few-shot relation prediction
Wang et al. Meta-learning adaptation network for few-shot link prediction in heterogeneous social networks
CN117131936B (zh) 一种基于多层级类比推理的知识图谱嵌入方法
Feng et al. Learning from noisy correspondence with tri-partition for cross-modal matching
CN116306834A (zh) 一种基于全局路径感知图神经网络模型的链路预测方法
CN110020379B (zh) 一种基于深度动态网络嵌入表示模型的链路预测方法
Xiang et al. Efficient learning-based community-preserving graph generation
Feng et al. Energy-efficient and robust cumulative training with net2net transformation
Kye et al. Meta-Learned Confidence for Transductive Few-shot Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant