CN116401380A - 面向异构知识图谱的对比学习预测方法及系统 - Google Patents

面向异构知识图谱的对比学习预测方法及系统 Download PDF

Info

Publication number
CN116401380A
CN116401380A CN202310666408.1A CN202310666408A CN116401380A CN 116401380 A CN116401380 A CN 116401380A CN 202310666408 A CN202310666408 A CN 202310666408A CN 116401380 A CN116401380 A CN 116401380A
Authority
CN
China
Prior art keywords
entity
representing
analog
relation
entities
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310666408.1A
Other languages
English (en)
Other versions
CN116401380B (zh
Inventor
陈建峡
王天赐
陈志康
罗梦宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN202310666408.1A priority Critical patent/CN116401380B/zh
Publication of CN116401380A publication Critical patent/CN116401380A/zh
Application granted granted Critical
Publication of CN116401380B publication Critical patent/CN116401380B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于知识表示与推理技术领域，公开了一种基于面向异构知识图谱的对比学习预测方法及系统，包括多关系图神经网络层；对比学习层；类比推理层；输出层；本发明提出了一种新颖的面向多关系学习的对比链路预测模型，采用层次化的注意力机制选择有用的关系路径和邻居有选择性的聚合实体周围的上下文信息，从而提高预测准确性。为了更好地捕捉实体在不同上下文中的表示，模型引入了模式增强技术，将知识图谱中实体之间的关系与其所属的模式结合来获取实体在不同语义环境下的表达。另外，为了预测部分不完全的三元组，模型还引入了类比对象检索器来增强类比推理能力。实验结果表明，该模型在多个数据集上表现出优异的性能。

Description

面向异构知识图谱的对比学习预测方法及系统
技术领域
本发明属于知识表示与推理技术领域，尤其涉及一种基于面向异构知识图谱的对比学习预测方法。
背景技术
目前，知识图谱是一种基于语义的图形数据库，用于描述实体之间的关系和属性。它由一组有向边连接的节点构成，每个节点代表一个实体，每条边代表实体之间的关系。链路预测是知识图谱中的一个重要任务，它的目标是预测未知实体之间的关系或已知实体之间的缺失关系，以推断出更多的潜在知识，丰富已知的知识图谱。链路预测在实际应用中非常重要，是问答、推荐等人工智能应用的重要基础。现实世界中已经创建了许多知识图谱，并应用于推荐系统、问答、对话生成等各种应用程序中，受到学术界和产业界的广泛关注。
现实世界中大多数知识图谱都是不完整的，因此预测实体之间缺失的链接是知识图谱的一个基本问题。为了解决知识图谱缺失的问题，研究者们提出了多种方法。传统的基于规则的方法，如Markov logic networks，这种方法通常需要手工构建规则，然后利用规则进行实体和关系的补全。该方法的优点是易于理解和解释，但其局限性在于需要专家知识，并且规则的构建成本较高。除了基于规则的方法外，还有其他主流的方法可用于知识图谱的补全。一类方法是基于知识图谱嵌入，例如TransE、RotatE和HAKE。另一类方法是通过图神经网络学习图的拓扑结构和实体信息，例如在模型中引入图卷积层等。此外，还有一些方法利用类比推理的思想增强知识图谱的实体和关系表示，例如通过学习实体之间的类比关系来预测新的实体和关系。
近年来，随着图神经网络（GNNs）被提出，并在图结构数据处理中展现出了卓越的性能。一些模型例如GCN、GIN、GraphSAGE将卷积运算应用于图数据，并提出了图卷积网络。虽然GNNs在图表示学习方面展现出了非凡的能力，但以往的研究大多集中在学习非关系图中节点的嵌入。而对于多关系图，本发明认为它不仅需要学习节点的嵌入，还需要学习关系的嵌入。
相较于同构图，知识图谱一般包含多类实体和关系，是一个异构信息网络(HIN)。异构性往往通过关系路径来反映，它体现了包含不同三元组的复杂语义特征，实体之间有一步或多步关系路径。因此，不同的关系路径可以聚合不同的语义信息，直接融合每个实体的所有邻居节点是不合理的。但是，考虑每个关系路径也不切实际，因为一些关键的关系路径中聚集的语义特征会被削弱。对于大多数知识图谱链路预测方法来说，已有的归纳推理的研究方法可以被看作是把训练数据当作一本书来背诵，把预测缺失的环节当作一本书来考试。由于大型知识图往往包含不完整的三元组，运用记忆范式很难归纳推断出这些三元组。
通过上述分析，现有技术存在的问题及缺陷为：
（1）现有的研究通常使用知识图谱嵌入来进行链路预测，但传统的基于嵌入的方法只考虑实体之间的关系，忽略了实体周围的上下文信息。
（2）由于知识图谱大多为多关系图，同一实体在不同的上下文中表达的语义信息也不同，现有的研究中无论是基于嵌入的方法亦或是基于图神经网络的方法都未考虑到这些问题。
（3）因为知识图谱往往包含大量不完全三元组，所以很难用知识图谱嵌入进行归纳推断，因此导致链路预测难度大大提高。
发明内容
针对现有技术存在的问题，本发明提供了一种基于面向异构知识图谱的对比学习预测方法。
本发明是这样实现的，一种基于面向异构知识图谱的对比学习预测方法，所述模型包括：
多关系图神经网络层：主要是利用实体级别、关系级别和自我级别等三重层次化的注意机制，对关系路径的实体特征进行聚合，以获取不同关系路径的权重。因此，模型能够根据实体之间的关系路径来捕捉不同关系下实体的语义信息；
对比学习层：首先，本层对实体进行全局以及上下文级别的数据采样，输入到编码器中用于对比学习；同时，对实体的上下文以及结构进行编码，捕获不同上下文环境中实体的语义信息，用于生成不同的实体表示，分别保留不同的上下文和结构视图特征；
类比推理层：本层利用基于知识图谱嵌入的评分函数评价三元组的相似度，并将得分最高的三元组作为合适的类比对象，用于预测不完全三元组；
输出层：输出最终计算出的实体相似度得分，相似度较高的实体作为预测结果。
进一步，所述的多关系图神经网络层包括：
实体级别聚合模块，用于对基于关系路径的实体特征进行聚合，即利用实体之间的关系路径来捕捉实体的语义信息；
关系级别聚合模块，利用与实体相关的关系路径，聚合各种类型的语义信息，从而获得关系级别的特征；
自我级别聚合模块，利用实体级别和关系级别的特征聚合自身信息，以获得更全面的实体表示。
进一步，所述实体级别聚合模块对不同关系路径上的实体特征进行聚合，获取同一类型实体的语义信息；同时，将实体特征
Figure SMS_1
和关系特征/>
Figure SMS_2
作为输入，针对每一条关系路径做如下的聚合操作，关系路径的聚合公式如公式（1）：
Figure SMS_3
(1)
在关系路径的聚合公式中，
Figure SMS_6
表示聚合的结果，/>
Figure SMS_8
表示实体关系路径的集合，符号/>
Figure SMS_10
是第/>
Figure SMS_5
层的第/>
Figure SMS_9
个实体，符号/>
Figure SMS_11
是第/>
Figure SMS_12
层的第/>
Figure SMS_4
个实体聚合特征，/>
Figure SMS_7
表示一个聚合函数；
在对关系路径上的实体特征进行聚合后，本发明通过注意力机制学习相邻实体之间的权重；计算的过程使用以下公式（2）：
Figure SMS_13
(2)
在实体级别聚合模块中，
Figure SMS_14
表示注意力函数，/>
Figure SMS_15
和/>
Figure SMS_16
表示中心实体的特征，/>
Figure SMS_17
表示实体i通过注意力函数学习到关系路径r的第j个邻居实体的权重，/>
Figure SMS_18
表示大小为n的权重矩阵，注意力函数使用以下公式（3）：
Figure SMS_19
(3)
在得到相邻实体之间的权重
Figure SMS_20
后，对权重系数进行归一化，计算的过程使用以下公式（4）：
Figure SMS_21
(4)
针对实体i的基于关系路径r的特征
Figure SMS_22
通过具有相应系数的邻居特征进行聚合；其中，LeakyReLU是激活函数，/>
Figure SMS_23
是拼接操作，计算过程使用以下公式（5）：
Figure SMS_24
(5)
接着，通过聚合得到实体在关系路径
Figure SMS_25
上的特征集合/>
Figure SMS_26
，计算过程使用以下公式（6）：
Figure SMS_27
(6)。
进一步，所述关系级聚合模块中，通过关系路径对不同类别的语义信息进行融合，通过学习不同关系路径的重要性来获取语义信息；
Figure SMS_28
表示一个/>
Figure SMS_29
维的关系嵌入，/>
Figure SMS_30
表示关系的集合，/>
Figure SMS_31
表示第/>
Figure SMS_32
层的第i个实体特征，/>
Figure SMS_33
表示一个聚合函数，计算过程使用以下公式（7）：
Figure SMS_34
(7)
在获取不同关系路径上的权重后，将实体级聚合的特征集合
Figure SMS_35
作为输入，每个关系路径聚合特征/>
Figure SMS_36
计算公式如下（8）：
Figure SMS_37
(8)
通过捕获基于关系
Figure SMS_38
的重要性，然后利用它来选择性地聚合实体关系间的信息；然后通过压缩和扩展操作/>
Figure SMS_39
，将全局的特征信息/>
Figure SMS_40
聚合到特定的关系符号/>
Figure SMS_41
中，其中/>
Figure SMS_42
表示特征信息的维度，计算过程使用以下公式（9）：
Figure SMS_43
(9)
在关系级聚合模块中，使用一个简单的门控机制来捕获每个关系路径聚合特征之间的关系，
Figure SMS_44
表示relu激活函数，/>
Figure SMS_45
表示sigmoid激活函数，/>
Figure SMS_46
和/>
Figure SMS_47
表示变换矩阵，
Figure SMS_48
表示关系路径的注意力权重；计算过程使用以下公式（10）：
Figure SMS_49
(10)
利用平移距离运算将关系特征整合到特征传播中，其中，
Figure SMS_50
表示关系特征，/>
Figure SMS_51
表示关系集合，/>
Figure SMS_52
表示实体级聚合特征的集合，/>
Figure SMS_53
表示关系路径r上的注意力权重集合，/>
Figure SMS_54
表示关系嵌入；计算过程使用以下公式（11）：
Figure SMS_55
(11)
进一步，所述自我级别聚合模块是针对前面实体级特征
Figure SMS_56
本身进行聚合，其中，
Figure SMS_57
是实体i在/>
Figure SMS_58
层的聚合特征，/>
Figure SMS_59
是聚合函数，/>
Figure SMS_60
是实体i的自身的特征，计算过程使用以下公式（12）：
Figure SMS_61
(12)
聚合特征
Figure SMS_62
的权重/>
Figure SMS_63
和实体自我特征/>
Figure SMS_64
的权重/>
Figure SMS_65
计算过程使用以下公式（13）：
Figure SMS_66
(13)
具体地，首先需要对聚合特征和实体自我特征进行非线性变换，然后通过注意力向量来衡量特征的重要性；其中
Figure SMS_67
是一个权重变换矩阵，/>
Figure SMS_68
是一个偏置向量，/>
Figure SMS_69
表示特征的重要性，/>
Figure SMS_70
表示一个激活函数，计算过程使用以下公式（14）：
Figure SMS_71
(14)
然后对上述得到的所有权重值进行归一化，得到特征
Figure SMS_72
和/>
Figure SMS_73
的权重值/>
Figure SMS_74
和
Figure SMS_75
，计算过程使用以下公式（15）：
Figure SMS_76
(15)
最后，通过非线性变换不断的更新实体特征
Figure SMS_78
和关系特征/>
Figure SMS_80
，其中，/>
Figure SMS_83
表示激活函数，/>
Figure SMS_79
表示实体特定的连接系数矩阵，/>
Figure SMS_82
表示关系特定的连接系数矩阵，/>
Figure SMS_84
是聚合特征/>
Figure SMS_85
的权重和/>
Figure SMS_77
是实体自我特征/>
Figure SMS_81
的权重，计算过程使用以下公式（16）和（17）：
Figure SMS_86
(16)
Figure SMS_87
(17)
进一步，所述对比学习层由正采样，负采样，编码器以及对比学习模块组成，其中编码器部分由结构编码器和上下文编码器两个部分组成；
具体地：
（1）正采样
所述对比学习层中使用
Figure SMS_88
表示实体s的上下文子图，使用/>
Figure SMS_89
表示对应的上下文模式；在上下文子图/>
Figure SMS_90
中的其他节点作为上下文实体；目标实体s的正样本可以表示为：
Figure SMS_91
(18)
其中， 表示上下文子图实体的三元组集合，s和u表示源实体和目标实体，r表示实体之间的关系；
（2）负采样
局部模式负采样策略：对于两个目标实体u和v，如果二者对应的子图可以被投影到相同的上下文模型，就认为他们的邻居实体
Figure SMS_92
为这二者彼此的负样本；那么实体s的负样本/>
Figure SMS_93
可以使用以下公式（19）表示：
Figure SMS_94
(19)
其中，
Figure SMS_95
表示一个批次的目标实体集合，/>
Figure SMS_96
表示实体s的上下文模式；
全局模式负采样策略：对于两个目标实体u和v，如果二者对应不同的上下文模式，对比学习层将二者的上下文模式定义为彼此的负样本，全局模式采样的负样本
Figure SMS_97
计算过程使用以下公式（20）：
Figure SMS_98
(20)
（3）结构与上下文视图编码器
结构视图编码器主要为了获取不同结构下实体的表达，给定实体s和关系r，全局结构感知实体嵌入
Figure SMS_99
和关系嵌入/>
Figure SMS_100
计算公式（21）如下：
Figure SMS_101
(21)
其中，
Figure SMS_102
表示一个GNN模型，/>
Figure SMS_103
表示一个嵌入网络；
上下文编码器主要目的是为了捕获实体周围的上下文信息，对比学习层使用一个
Figure SMS_104
层堆叠的转换函数去学习实体集合/>
Figure SMS_105
的上下文嵌入，/>
Figure SMS_106
表示实体s的子图的上下文嵌入，
Figure SMS_107
表示一个MLP的编码器，/>
Figure SMS_108
表示一个/>
Figure SMS_109
层的参数矩阵，/>
Figure SMS_110
表示一个语义关联矩阵，计算过程使用以下公式（22）：
Figure SMS_111
(22)
然后，通过聚合每一层的输出获取节点
Figure SMS_112
的上下文视图嵌入/>
Figure SMS_113
，计算过程使用以下公式（23）：
Figure SMS_114
(23)
（3）优化策略
上下文级优化策略：对比学习层使用InfoNCE Loss作为上下文级别的对比损失函数，InfoNCE Loss的主要作用是用于学习特征表示，它通过最大化正样本对的互信息来使得特征表示更加丰富和具有区分度。其中，
Figure SMS_115
用于控制评分函数的灵敏度，/>
Figure SMS_116
表示余弦相似度函数，/>
Figure SMS_117
和/>
Figure SMS_118
分别表示实体s和实体t的上下文实体嵌入，/>
Figure SMS_119
表示计算出的损失值，优化策略计算过程使用以下公式（24）：
Figure SMS_120
(24)
全局级优化策略：将实体s的上下文视图和结构视图嵌入作为输入，通过使用带有隐藏层的MLP(Multi-Layer Perceptron多层感知器)编码器将其映射到对比度损失空间中，优化策略计算过程使用以下公式（25~26）：
Figure SMS_121
(25)
Figure SMS_122
(26)
其中，
Figure SMS_124
是一个/>
Figure SMS_127
的激活函数，/>
Figure SMS_130
和/>
Figure SMS_125
是一个权重矩阵，/>
Figure SMS_126
和/>
Figure SMS_129
是偏置参数，
Figure SMS_132
和/>
Figure SMS_123
分别是节点s的上下文视图嵌入和结构视图嵌入；然后在实体的上下文和结构表示之间进行跨视图对比学习，其中，/>
Figure SMS_128
表示一个超参数，/>
Figure SMS_131
表示一个余弦相似度评分函数，计算过程使用以下公式（27）：
Figure SMS_133
(27)
进一步，所述类比推理层由类比检索器和类比函数组成，用知识图谱嵌入的评分函数评价三元组的相似度，并将得分最高的三元组作为合适的类比对象。
进一步，所述类比函数，类比推理层使用
Figure SMS_134
表示类比函数，使用实体和关系嵌入作为输入，并为类比推理的每个级别训练类比函数，并输出类比对象嵌入；/>
Figure SMS_135
和/>
Figure SMS_136
表示实体嵌入，/>
Figure SMS_137
表示训练好的嵌入模型，/>
Figure SMS_138
表示其他参数的集合；类比函数计算过程公式（28）如下：
Figure SMS_139
(28)
用于关系级的类比推理函数
Figure SMS_140
通过投影向量/>
Figure SMS_141
将关系/>
Figure SMS_142
在/>
Figure SMS_143
中的原始嵌入映射到类比嵌入向量中，关系级的类比函数计算过程使用以下公式（29）：
Figure SMS_144
(29)
其中，
Figure SMS_147
表示关系隐藏维度，/>
Figure SMS_150
表示元素乘积；同样的，实体级的类比推理函数
Figure SMS_152
将实体的原始嵌入映射到类比嵌入，/>
Figure SMS_146
表示实体的投影向量，/>
Figure SMS_149
表示实体隐藏维度，/>
Figure SMS_151
表示关系/>
Figure SMS_153
的变换矩阵，/>
Figure SMS_145
表示权重超参数，/>
Figure SMS_148
函数定义计算过程使用以下公式（30）：
Figure SMS_154
(30)
三重类比推理的类比函数
Figure SMS_155
通过堆叠实体和关系的嵌入输出实体和关系对的类比嵌入。其中，/>
Figure SMS_156
通过将给定的关系嵌入/>
Figure SMS_157
将头实体嵌入映射/>
Figure SMS_158
到尾实体嵌入/>
Figure SMS_159
，类比函数/>
Figure SMS_160
计算过程使用以下公式（31）：
Figure SMS_161
(31)
进一步，所述的类比检索器，类比推理层中提出了三个类比检索器以获得不同层次的类比对象；根据已知的三元组，通过头实体
Figure SMS_162
和关系实体/>
Figure SMS_163
，使用类比检索器检索出相似的三元组/>
Figure SMS_164
和/>
Figure SMS_165
，对/>
Figure SMS_166
检索出相似的三重级相似三元组/>
Figure SMS_167
；
在实体级检索器中，使用实体
Figure SMS_168
替换所有实体集合/>
Figure SMS_169
中的实体，然后使用一个已经训练好的知识图谱嵌入模型作为评分函数，将评分最高的三元组视为相似三元组；然后，将相似三元组的头实体作为实体级类比检索器的类比对象；类比对象集合计算过程使用以下公式（32）：
Figure SMS_170
(32)
其中，
Figure SMS_171
表示一个基于训练好的知识图谱嵌入模型的评分函数，/>
Figure SMS_172
表示一个三元组；给定一个三元组/>
Figure SMS_173
，关系类比检索器检索相似的关系/>
Figure SMS_174
用于类比推理，关系级类比检索器的类比对象集合计算过程使用以下公式（33）：
Figure SMS_175
(33)
三重级类比检索器是对实体级和关系级类比检索器的结合，通过给定的三元组
Figure SMS_176
检索相似三元组/>
Figure SMS_177
进行类比推理；类比推理层选取三重级类比检索得分最高的实体和关系集合进行配对；/>
Figure SMS_178
表示实体集合，/>
Figure SMS_179
表示关系集合，三重级类比检索器的类比对象集/>
Figure SMS_180
计算过程使用以下公式（34）：
Figure SMS_181
(34)。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述基于面向异构知识图谱的对比学习预测方法。
结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：
第一、本发明提出了一种新颖的面向多关系学习的对比链路预测模型，该模型采用层次化的注意力机制针对不同的关系路径添加权重，进而选择有用的关系路径和邻居。现有的研究中大多未针对实体的不同关系路径的重要性去有选择性的聚合信息，而是直接聚合实体周围的特征信息，这样会导致与实体预测无关的信息被聚合到实体特征中，进而影响预测的准确性。因此，本发明通过添加实体级、关系级和自我级等三重注意力机制有选择性的聚合目标实体周围的上下文信息，从而提高预测准确性。
第二、在多关系知识图谱中，同一实体在不同的上下文背景下所表达的含义也不同，而已有的研究中尚未考虑不同语义环境实体含义不同的问题。因此，为了更好地捕捉实体在不同上下文中的表示，本发明的模型引入了模式增强技术，将知识图谱中实体之间的关系以及上下文与其所属的模式结合，来获取实体在不同语义环境下的表达。
第三、现有的研究大多是通过归纳的知识推理方法预测实体信息，这种方法在绝大多数的知识图谱上都是有效的。但是，针对于存在大量缺失三元组的知识图谱上，基于归纳的推理方法却很难发挥效果。这是因为基于归纳的推理方法通常是聚合实体以及周围的邻居特征信息，而大量实体的缺失会导致模型难以聚合这些特征信息。因此，为了预测存在大量不完全的三元组的知识图谱，受到类比推理的启发，本发明的模型通过增加类比对象检索器来检索相似的目标实体，利用类比推理的方式预测缺失的三元组。具体而言，模型通过实体本身去检索相似的三元组信息，利用类比函数计算相似分数，最终将分数最高的三元组作为预测结果。这种方法仅仅需要实体本身的信息，并不需要实体周围的邻居或者关系信息，针对存在大量缺失三元组的知识图谱十分有效。实验结果表明，该模型在多个数据集上表现出优异的性能。
第四，基于上面的分析，本发明提出了一种新的面向多关系学习的对比链路预测模型MRA-CLE（Multi-Relation Attention Contrastive Learning Enhanced，简称MRA-CLE），模型采用层次化的注意力机制选择有用的关系路径和邻居。通过有选择性的聚合实体周围的上下文信息，去除对于实体预测无效的信息，从而提高预测准确性。同时，模型通过模式增强技术有效的捕捉实体在不同上下文中的所表达的语义信息。另外，模型基于类比推理的思想，通过类比检索器检索相似的三元组用于预测。模型在存在大量确实三元组的知识图谱上效果优异。通过在FB15K、FB15k-237、JF17K以及HumanWiki数据集上的实验研究，证明了模型在链路预测任务上的有效性。
本发明的主要贡献如下：
1.本发明提出了一种基于同一模式的实体和关系类型约束方法，能够有效地捕捉实体在不同语义环境下的结构和语义信息，从而增强实体嵌入的上下文相关性。
2.本发明提出了一种实体级、关系级和自我级等三重注意力机制，能够动态地选择和加权重要的关系路径和邻居特征，从而提高邻居特征的聚合效果。
3.本发明提出了一个新颖的类比检索器，能够利用相似三元组进行类比推理，从而提升模型的推理能力。
第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：
（1）本发明的技术方案转化后的预期收益和商业价值为：本发明可以帮助知识图谱搜索引擎改进搜索结果的准确性和相关性。通过预测搜索内容（实体）与已知知识图谱实体之间的关系，搜索引擎可以更好地理解用户的查询意图，并提供更精确的搜索结果;可以为内容推荐和个性化推荐提供基础。通过预测用户可能感兴趣的实体之间的关联关系，可以提供更加个性化和准确的推荐结果，提高用户满意度和转化率；通过分析知识图谱中的关系，可以更好地理解用户的兴趣和需求，从而提高广告定向投放的准确性和效果。预测实体之间的关系可以帮助广告主将广告投放给与其产品或服务相关的目标用户，提高广告的点击率和转化率；知识图谱的链路预测可以应用于网络安全和反欺诈领域。通过预测实体之间的关系，可以识别潜在的欺诈行为、网络攻击和恶意活动，提高网络安全性。
（2）本发明的技术方案解决了人们一直渴望解决、但始终未能获得成功的技术难题：本发明通过提出了模式增强技术解决了以往研究汇总不同语义环境下实体表达含义不同的难题。模式增强即将同一类型的实体以及关系视为同一模式，通过这种方法可以捕获不同上下文环境下的实体信息来做出准确的预测。在已有的相关研究中，针对于存在大量缺失三元组的知识图谱的链路预测一直是一个研究难题，现有的研究都是基于归纳的思想。本发明基于类比推理的思想提出了类比检索器，通过检索实体的相似三元组用于预测。解决了以往研究中在大量三元组的知识图谱中链路预测准确率确实较低的难题。
附图说明
图1是本发明实施例提供的基于面向异构知识图谱的对比学习预测方法架构图；
图2是本发明实施例提供的基于面向异构知识图谱的对比学习预测方法中多关系注意力机制结构图；
图3是本发明实施例提供的基于面向异构知识图谱的对比学习预测方法中对比学习模块整体架构图；
图4是本发明实施例提供的基于面向异构知识图谱的对比学习预测方法中类比推理层模块整体架构图。
图中：
图1和图3中
Figure SMS_182
表示实体对应的子图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明所提出的MRA-CLE模型由五个组件组成，每部分的内容作用如下。
输入层：输入实体i的上下文子图
Figure SMS_183
，表示从实体周围抽取的子图。
多关系图神经网络层：基于关系路径的实体特征进行聚合，即通过考虑实体之间的关系路径来捕捉实体的语义信息。
图对比学习层：对实体进行全局以及上下文级别的数据采样输入到编码器中用于对比学习。对实体的上下文以及结构进行编码得到不同上下实体生成不同的表示，以分别保留不同的上下文和结构视图特征。
类比推理层：类比推理模块基于知识图谱嵌入的评分函数评价三元组的相似度，并将得分最高的三元组作为合适的类比对象用于预测不完全三元组。
输出层：输出通过类比推理计算实体预测得分的结果。
以下将根据模型架构中的各个部分进行详细阐述：
1、多关系图神经网络层
多关系图神经网络层包含实体、关系和自我级别注意力机制三个主要模块，每个模块后是对计算结果进行聚合。本层的整体架构图如图2所示。输入为含有不同关系的异构图。其中，实体级别聚合模块首先对基于关系路径的实体特征进行聚合，即通过考虑实体之间的关系路径来捕捉实体的语义信息。而在关系级聚合部分，该模块通过与实体相关的关系路径聚合各种类型的语义信息，从而获得关系级别的特征。最后，在自我级别聚合模块中，模型利用实体级别和关系级别的特征，聚合自身信息，以获得更全面的实体表示。这些模块共同作用，为模型提供多层次的语义信息，从而更好地捕捉知识图谱中实体和关系之间的语义信息。
实体级别注意力模块旨在对不同关系路径上的实体特征进行聚合，以往的研究通常采用直接聚合每个实体的所有邻居特征的方法，但是这种方法存在问题，因为不同类型的实体信息可能分别存在于不同的嵌入空间中。实体级别聚合主要是获取同一类型实体的语义信息，本发明将实体特征
Figure SMS_184
和关系特征/>
Figure SMS_185
作为输入，针对每一条关系路径做如下聚合操作：
Figure SMS_186
(1)
在关系路径聚合公式中，
Figure SMS_189
表示实体关系路径的集合，符号/>
Figure SMS_190
是第/>
Figure SMS_193
层的第/>
Figure SMS_187
个实体，符号/>
Figure SMS_191
第/>
Figure SMS_192
层的第/>
Figure SMS_194
个实体聚合特征，/>
Figure SMS_188
表示一个聚合函数。
在对关系路径上的实体特征进行聚合后，模型通过注意力机制学习相邻实体之间的权重。计算的过程使用以下公式（2）：
Figure SMS_195
(2)
本发明使用GAT（）作为注意力函数
Figure SMS_196
，其中，和/>
Figure SMS_197
和/>
Figure SMS_198
是中心实体的特征，/>
Figure SMS_199
表示通过注意力函数学习到的第/>
Figure SMS_200
个邻居实体的权重，/>
Figure SMS_201
表示权重矩阵，注意力函数使用以下公式（3）：
Figure SMS_202
(3)
在得到相邻实体之间的权重
Figure SMS_203
后，对权重系数进行归一化，计算的过程使用以下公式（4）：/>
Figure SMS_204
(4)
针对实体i的基于关系路径
Figure SMS_205
的特征/>
Figure SMS_206
通过具有相应系数的邻居特征进行聚合。其中，LeakyReLU是激活函数，/>
Figure SMS_207
是拼接操作，计算的过程使用以下公式（5）：
Figure SMS_208
(5)
在计算完成以后，通过聚合得到实体在关系路径
Figure SMS_209
上的特征集合/>
Figure SMS_210
，计算过程使用以下公式（6）：
Figure SMS_211
(6)
在关系级聚合模块，模型通过关系路径对不同类别的语义信息进行融合。由于知识图谱的异构性，实体反映了各种类型的语义信息，每个语义特定的聚合特征只能从一个方面获取信息。因此，本发明通过学习不同关系路径的重要性来获取语义信息。
Figure SMS_212
表示一个/>
Figure SMS_213
维的关系嵌入，/>
Figure SMS_214
表示关系的集合，/>
Figure SMS_215
表示第/>
Figure SMS_216
层的第/>
Figure SMS_217
个实体特征，/>
Figure SMS_218
表示一个聚合函数，计算过程使用以下公式（7）：
Figure SMS_219
(7)
在获取不同关系路径上的权重后，将实体级聚合的特征集合
Figure SMS_220
作为输入，每个关系路径聚合特征计算公式如下（8）：
Figure SMS_221
(8)
通过捕获基于关系
Figure SMS_222
的重要性，然后利用它来选择性地聚合实体关系间的信息。然后通过压缩和扩展操作/>
Figure SMS_223
，将全局的特征信息/>
Figure SMS_224
聚合到特定的关系符号/>
Figure SMS_225
中，其中/>
Figure SMS_226
表示特征信息的维度，计算过程使用以下公式（9）：
Figure SMS_227
(9)
本发明使用一个简单的门控机制来捕获每个关系路径聚合特征之间的关系，
Figure SMS_228
表示relu激活函数，/>
Figure SMS_229
表示sigmoid激活函数，/>
Figure SMS_230
和/>
Figure SMS_231
表示变换矩阵，/>
Figure SMS_232
表示关系路径的注意力权重。计算过程使用以下公式（10）：
Figure SMS_233
(10)
本发明利用平移距离运算将关系特征整合到特征传播中，其中，
Figure SMS_234
表示关系特征，/>
Figure SMS_235
表示关系集合，/>
Figure SMS_236
表示实体级聚合特征的集合，/>
Figure SMS_237
表示关系路径/>
Figure SMS_238
上的注意力权重集合，/>
Figure SMS_239
表示关系嵌入。计算过程使用以下公式（11）：
Figure SMS_240
(11)
自我级聚合模块主要是针对前面实体级特征
Figure SMS_241
本身进行聚合，其中，/>
Figure SMS_242
是实体i在/>
Figure SMS_243
层的特征，/>
Figure SMS_244
是聚合函数，/>
Figure SMS_245
是实体i的特征，计算过程使用以下公式（12）：
Figure SMS_246
(12)
聚合特征
Figure SMS_247
的权重/>
Figure SMS_248
和实体自我特征/>
Figure SMS_249
的权重/>
Figure SMS_250
计算过程使用以下公式（13）：
Figure SMS_251
(13)
具体的过程，首先需要对聚合特征和实体自我特征进行非线性变换，然后通过注意力向量来衡量特征的重要性。其中
Figure SMS_252
是一个权重变换矩阵，/>
Figure SMS_253
是一个偏置向量，/>
Figure SMS_254
是一个偏置向量，/>
Figure SMS_255
表示特征的重要性，计算过程使用以下公式（14）：
Figure SMS_256
(14)
然后对上述得到的所有权重值进行归一化，得到特征
Figure SMS_257
和/>
Figure SMS_258
的权重值，计算过程使用以下公式（15）：
Figure SMS_259
(15)
最后，通过非线性变换不断的更新实体特征
Figure SMS_260
和关系特征/>
Figure SMS_263
，其中，/>
Figure SMS_266
表示relu激活函数/>
Figure SMS_262
表示实体特定的连接系数矩阵，/>
Figure SMS_264
表示关系特定的连接系数矩阵，/>
Figure SMS_267
是聚合特征/>
Figure SMS_268
的权重和/>
Figure SMS_261
是实体自我特征/>
Figure SMS_265
的权重，计算过程使用以下公式（16）和（17）：
Figure SMS_269
(16)
Figure SMS_270
(17)
2、对比学习层
对比学习模块主要由输入、数据采样、对比学习以及输出模块组成，其中输入为实体i的子图
Figure SMS_271
，数据采样模块由上下文采样以及全局采样组成，采样结束后将结果输入到多关系图神经网络层。接着，将多关系图神经网络层的输出结果分输入到上下文编码器和结构编码器中，通过编码获取对应的上下文嵌入和结构嵌入。然后，将获取的嵌入分别输入到上下文和全局级别的对比学习模块进行对比学习训练，。最后，将结果聚合输出得到实体嵌入和关系嵌入。对比学习层整体架构图如图3所示。
（1）正采样
本发明中使用
Figure SMS_272
表示实体/>
Figure SMS_273
的上下文子图，使用/>
Figure SMS_274
表示对应的上下文模式。在上下文子图/>
Figure SMS_275
中的其他节点作为上下文实体。目标实体s的正样本可以表示为：
Figure SMS_276
(18)
其中，表示上下文子图实体的三元组集合，
Figure SMS_277
和/>
Figure SMS_278
表示源实体和目标实体，/>
Figure SMS_279
表示实体之间的关系。
（2）负采样
局部模式负采样策略：对于两个目标实体
Figure SMS_280
和/>
Figure SMS_281
，如果二者对应的子图可以被投影到相同的上下文模型，本发明认为他们的邻居实体/>
Figure SMS_282
为这二者彼此的负样本。那么实体/>
Figure SMS_283
的负样本/>
Figure SMS_284
可以使用以下公式（19）表示：
Figure SMS_285
(19)
全局模式负采样策略：对于两个目标实体
Figure SMS_286
和/>
Figure SMS_287
，如果二者对应不同的上下文模式，本发明将二者的上下文模式定义为彼此的负样本，计算过程使用以下公式（20）：
Figure SMS_288
(20)
其中，
Figure SMS_289
表示一个批次的目标实体集合，/>
Figure SMS_290
表示实体/>
Figure SMS_291
的上下文模式。
（3）结构与上下文视图编码器
结构视图编码器主要为了获取不同结构下实体的表达，给定实体s和关系r，全局结构感知嵌入计算公式（21）如下：
Figure SMS_292
(21)
其中，
Figure SMS_293
表示一个GNN模型，/>
Figure SMS_294
表示一个嵌入网络。
上下文编码器主要目的是为了捕获实体周围的上下文信息，本发明使用一个
Figure SMS_296
层堆叠的转换函数去学习实体集合/>
Figure SMS_299
的上下文嵌入，/>
Figure SMS_301
表示实体/>
Figure SMS_297
的子图/>
Figure SMS_300
的上下文嵌入，
Figure SMS_302
表示一个MLP的编码器，/>
Figure SMS_303
表示一个/>
Figure SMS_295
层的参数矩阵，/>
Figure SMS_298
表示一个语义关联矩阵，计算过程使用以下公式（22）：
Figure SMS_304
(22)
然后，通过聚合每一层的输出来得到节点
Figure SMS_305
的上下文视图嵌入/>
Figure SMS_306
，计算过程使用以下公式（23）：
Figure SMS_307
(23)
（3）优化策略
上下文级优化策略：本发明使用InfoNCE Loss作为上下文级别的对比损失函数，InfoNCE Loss的主要作用是用于学习特征表示，它通过最大化正样本对的互信息来使得特征表示更加丰富和具有区分度，其中，
Figure SMS_308
用于控制评分函数的灵敏度，/>
Figure SMS_309
表示余弦相似度函数，/>
Figure SMS_310
和/>
Figure SMS_311
分别表示实体/>
Figure SMS_312
和实体/>
Figure SMS_313
的上下文实体嵌入，优化策略计算过程使用以下公式（24）：
Figure SMS_314
(24)
全局级优化策略：将实体s的上下文视图和结构视图嵌入作为输入，通过使用带有隐藏层的MLP编码器将其映射到对比度损失空间中，优化策略计算过程使用以下公式（25~26）：
Figure SMS_315
(25)
Figure SMS_316
(26)
其中，
Figure SMS_317
是一个/>
Figure SMS_322
的激活函数，/>
Figure SMS_325
和/>
Figure SMS_318
是一个权重矩阵，/>
Figure SMS_320
和/>
Figure SMS_323
是偏置参数，
Figure SMS_326
和/>
Figure SMS_319
是节点/>
Figure SMS_321
的上下文视图嵌入和结构视图嵌入。然后在实体的上下文和结构表示之间进行跨视图对比学习，其中，/>
Figure SMS_324
表示一个超参数，/>
Figure SMS_327
表示一个余弦相似度评分函数，计算过程使用以下公式（27）：
Figure SMS_328
(27)
类比推理层模块整体架构如图4所示，模块主要由输入、类比推理、输出模块组成，输入为对比学习层输出的实体和关系嵌入，然后经由类比检索器检索相似的三元组信息，并通过类比函数计算相识度得分作为损失值，然后经过重复训练，输出模块输出类比推理分数。本发明用知识图谱嵌入的评分函数评价三元组的相似度，并将得分最高的三元组作为合适的类比对象。
（1）类比函数
本发明使用
Figure SMS_329
表示类比函数，使用实体和关系嵌入作为输入，并为类比推理的每个级别训练类比函数，并输出类比对象嵌入。/>
Figure SMS_330
和/>
Figure SMS_331
表示实体嵌入，/>
Figure SMS_332
表示训练好的嵌入模型，/>
Figure SMS_333
表示其他参数的集合。类比函数计算过程公式（28）如下：
Figure SMS_334
(28)
用于关系级的类比推理函数
Figure SMS_335
通过投影向量/>
Figure SMS_336
将关系/>
Figure SMS_337
在/>
Figure SMS_338
中的原始嵌入映射到类比嵌入向量中，关系级的类比函数计算过程使用以下公式（29）：
Figure SMS_339
(29)/>
其中，
Figure SMS_342
表示关系隐藏维度，/>
Figure SMS_343
表示元素乘积。同样的，实体级的类比推理函数
Figure SMS_345
通过将实体的原始嵌入映射到类比嵌入，/>
Figure SMS_341
表示实体的投影向量，/>
Figure SMS_344
表示实体隐藏维度，/>
Figure SMS_346
表示关系/>
Figure SMS_347
的变换矩阵，/>
Figure SMS_340
表示权重超参数函数定义计算过程使用以下公式（30）：
Figure SMS_348
(30)
三重类比推理的类比函数
Figure SMS_349
通过堆叠实体和关系的嵌入来输出实体和关系对的类比嵌入，其中，./>
Figure SMS_350
.通过将给定的关系嵌入/>
Figure SMS_351
将头实体嵌入映射/>
Figure SMS_352
到尾实体嵌入
Figure SMS_353
，类比函数计算过程使用以下公式（31）：
Figure SMS_354
(31)
（2）类比检索器
类比推理是指根据两个或多个不同领域或不同问题之间的相似性，从一个领域或问题中推导出另一个领域或问题的解决方案或答案的过程。本发明提出了三个类比推理检索器，以获得不同层次的类比对象。本发明根据已知的三元组，通过头实体
Figure SMS_355
和关系实体/>
Figure SMS_359
，使用类比检索器检索出相似的三元组/>
Figure SMS_361
和/>
Figure SMS_356
，对/>
Figure SMS_358
检索出相似的三重级相似三元组/>
Figure SMS_360
。在实体级检索器中，本发明使用实体/>
Figure SMS_362
替换所有结果实体集合/>
Figure SMS_357
，然后使用一个已经训练好的知识图谱嵌入模型作为评分函数，将评分最高的三元组视为相似三元组。然后本发明将相似三元组的头实体作为实体级类比检索器的类比对象。类比对象集合计算过程使用以下公式（32）：
Figure SMS_363
(32)
其中，
Figure SMS_364
表示一个基于训练好的知识图谱嵌入模型的评分函数，/>
Figure SMS_365
表示一个三元组。给定一个三元组/>
Figure SMS_366
，关系类比检索器检索相似的关系/>
Figure SMS_367
用于类比推理，关系级类比检索器的类比对象集合计算过程使用以下公式（33）：
Figure SMS_368
(33)
三重级类比检索器是对实体级和关系级类比检索器的结合，通过给定的三元组
Figure SMS_369
检索相似三元组/>
Figure SMS_370
进行类比推理。为了降低检索的候选对的代价，本发明直接选取三重得分最高的实体和关系集合进行配对。/>
Figure SMS_371
表示实体集合，/>
Figure SMS_372
表示关系集合，三重级类比检索器的类比对象集/>
Figure SMS_373
计算过程使用以下公式（34）：
Figure SMS_374
(34)
下面结合本发明在验证模型性能中的实验数据对本发明进行进一步说明：
1.实验环境设置
本发明的相关实验基于Python 3.7及以上版本和torch 1.10.0或更高版本，运行环境版本需Anaconda 3-2020.02及以上。
主要的数据包包括cuda 10.2、cudnn10.2、torch==1.10.0+cu102、networkx==2.5.1、numpy==1.19.2、pandas==1.1.5、six==1.16.0、scikit-learn==0.24.2、spacy==3.4.0等。
1.1.数据描述
本发明在四个公开数据集上进行了实验，分别是：FB15K、FB15K-237、JF17K、HumanWiki。
(1)FB15K：FB15K是一个由Facebook AI Research发布的知识图谱数据集，包含约15，000个实体、1，345个关系和592，213个三元组，以及从Freebase中提取的概念和实体。
(2)FB15K-237：FB15K-237是FB15K的一个子集，由Toutanova等人在2015年提出，与原始FB15K相比，它仅包含237个关系，但在三元组数量方面与原始数据集相当。它移除了一些在原始数据集中出现频率较高的关系，而保留了在知识图谱中更普遍但在原始数据集中很少出现的关系。
(3)JF17K：JF17K是一个由清华大学提供的中文知识图谱数据集，包含17，000个实体和约120个关系，以及超过90，000个三元组。JF17K中的实体和关系都使用中文文本表示。
(4)HumanWiki：HumanWiki是一个英文知识图谱数据集，由微软公司研究人员提供，包含约5，000个实体和约50个关系，以及超过21，000个三元组。与其他知识图谱数据集不同，HumanWiki主要基于维基百科中的信息，因此它包含许多人类相关的实体和关系，例如人物、组织、国家、语言等。
具体的数据集信息如表1所示。
表1 数据集信息
Figure SMS_375
1.2评价指标
本发明采用交叉熵作为损失函数，一种常用于处理分类问题中的损失函数。在损失函数中使用的是正则化权重。本发明加入了L1正则化进行约束，L2正则化控制模型的复杂度，减少模型的过拟合。
本发明采用AUC和Macro-F1作为评估模型性能的评价指标。AUC和Macro-F1的指标越高，模型的性能就越好。
2.与其他模型比较的实验结果
为了证明本发明提出方法的有效性，本发明与以下的方法进行了对比，且实验结果如表2所示。
（1）TransE：是一种基于向量空间模型的方法，它将实体和关系映射到向量空间中的点和向量，以学习实体和关系之间的关联关系。
（2）ComplEx-N3：将不同类型的交互关系映射到不同的复平面上，能更准确地捕捉实体和关系之间的语义关联，从而提高知识图谱的表示能力。
（3）TransR：使用矩阵来表示每个关系在实体和向量空间之间的映射关系，在关系空间中对不同类型的关系进行分离和区分，以便处理复杂的多对多关系。
（4）TypeComplex：是一种用于知识图谱表示学习的模型，它利用类型嵌入向量来表示实体和关系的类型信息，并将其与语义信息一起进行建模，可以处理多重类型关系。
（5）SANS：是一种基于自适应负采样的知识图谱表示学习模型，使用自适应负采样策略来提高模型的效率和准确性。
（6）PairRE：是一种基于预训练语言模型的关系抽取模型，使用BERT作为编码器来提取实体对的表示，可以通过自适应地调整预训练模型的参数来适应不同的领域和任务。
（7）Node2vec：是一种基于深度学习的网络嵌入方法，它可以将节点嵌入到低维向量空间中，提高网络的表现力和效率，可以处理大规模的复杂网络。
（8）CompGCN：是一种基于图卷积神经网络的知识图谱表示学习模型，可以处理多重类型关系和高阶关系，并将它们嵌入到低维向量空间中，同时使用一个注意力机制来提高模型的表现力和可解释性。
（9）SLiCE：是一种基于生成对抗网络的知识图谱表示学习模型，将实体和关系表示为嵌入向量，并使用一个生成对抗网络来优化向量空间中的实体和关系之间的关联关系。
3.实验结果分析
本实验以近几年表现不错的模型为基准。与这些方法相比，本发明的结果如表2所示，可以看到本发明的模型在FB15K和JF17K以及HumanWiki上的效果优于绝大多数基于传统嵌入的和基于图神经网络的模型。
本发明通过捕获不同上下文环境下的实体语义信息以及通过对不同关系路径增加权重用于聚合有用的特征信息，同时利用类比检索器检索相似的实体三元组用于类比推理增强模型的类比推理能力。
实验结果表明，本发明可以有效的提高模型的表达能力以及链路预测的准确率。
本发明应用实施例提供的面向对比学习的异构知识图谱链路预测方法通常在相关技术上的应用实施例中被涉及。本发明应用实施可用于改善搜索引擎的结果。通过预测实体之间的关系，搜索引擎可以提供更准确和相关的搜索结果。例如，当用户搜索特定实体时，搜索引擎可以利用知识图谱链路预测来展示相关的实体和它们之间的关系，从而提供更全面的信息。
本发明应用实施例提供的面向对比学习的异构知识图谱链路预测方法可以用于个性化推荐系统，帮助识别用户的兴趣和偏好。通过预测实体之间的关联性，系统可以为用户提供更加个性化和相关的推荐内容。例如，在电影推荐系统中，知识图谱链路预测可以帮助系统理解电影之间的关系（如导演、演员、类型等），从而提供更准确的电影推荐。
本发明应用实施例提供的面向对比学习的异构知识图谱链路预测方法在生物医药领域中具有广泛的应用。它可以用于预测药物和疾病之间的关联、预测蛋白质相互作用、预测药物副作用等。这些预测可以帮助加速新药发现过程、优化临床试验设计，并提供个性化医疗建议。
本发明应用实施例提供的面向对比学习的异构知识图谱链路预测方法可以应用于社交网络分析，帮助发现用户之间的关系和社交网络的结构。通过预测用户之间的连接或社交网络中的隐含关系，可以识别潜在的社群结构、推荐朋友、预测信息传播路径等。
本发明实施例在研发或者使用过程中取得了一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合试验过程的数据、图表等进行描述。
本发明实施例提供的面向异构知识图谱的对比学习链路预测方法在FB15K、FB15K-237、JF17K以及HumanWiki数据集中取得优异的效果。
如表2所示，本发明在英文数据集FB15K以及HumanWiki数据集上的效果要优于以往的基于嵌入的模型如TransE、TransR、ComplEx-N3、TypeComplex
SANS、PairRE。以及基于图神经网络的模型，如Node2vec、CompGCN、SLiCE。
表2 模型实验比较结果
Figure SMS_376
然而，对于FB15K-237数据集，它是基于FB15K这个数据集进行删除了大量复杂关系后得到的数据集。相较于FB15K数据集，FB15K-237数据集链路预测难度大大提高。因为无论是基于嵌入的模型，还是基于图神经网络的模型，都极其依赖于图中关系的特征信息。而本模型更加依赖实体周围的关系以及上下文信息、但是，由于本发明增加了类比推理模块，可以基于类比检索器通过检索相似三元组的方式去预测缺失关系的实体。因此，可以看到即使在FB15K-237数据集上，MRA-CLE的实验结果虽然不是所有模型实验结果中最佳的，但是依然取得了优异的效果，预测准确率高达87.55%。同时，模型在JF17K中文知识图谱上的效果更加优异，准确率达到了97.62。本发明在中文和英文以及存在大量确实知识图谱的数据集上效果优异。
作为本发明实施例的一个优化方案，以实现基于面向异构知识图谱的对比学习预测系统：
1.收集知识图谱数据：从不同的数据源中收集不同类型的实体和关系数据，并将其表示为异构知识图谱，以便处理不同类型的实体和关系。
2.构建多关系图神经网络层：该层使用多个关系路径来捕捉实体之间的语义信息。它将实体的特征进行聚合，从而生成实体的表示，以便于后续的对比学习。
3.构建对比学习层：该层对实体进行全局以及上下文级别的数据采样，将其输入到编码器中进行对比学习。对实体的上下文以及结构进行编码，生成不同的表示，以分别保留不同的上下文和结构视图特征。
4.构建类比推理层：该层使用知识图谱嵌入的评分函数对三元组相似度进行评价，并将得分最高的三元组作为合适的类比对象用于预测不完全三元组。这一过程可以帮助系统进行推理和预测，以提高对实体之间关系的理解和预测能力。
5.构建输出层：该层输出最后的实体嵌入向量和关系嵌入向量，以便于进行后续的实体关系预测和推理。
总体来说，该系统利用面向异构知识图谱的对比学习方法，通过多关系图神经网络层、对比学习层、类比推理层和输出层等组成部分，实现了对实体之间关系的预测和推理。其中，多关系图神经网络层用于聚合实体特征，对比学习层用于对实体进行全局和上下文级别的数据采样，类比推理层用于评价三元组相似度，输出层用于输出最后的实体嵌入向量和关系嵌入向量。这一系统能够应用于各种场景，如自然语言处理、推荐系统、知识图谱等领域，以提高对实体之间关系的理解和预测能力。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于面向异构知识图谱的对比学习预测系统，其特征在于，包括：
输入层：输入实体i的上下文子图
Figure QLYQS_1
，表示从实体周围抽取的子图；
多关系图神经网络层：基于关系路径的实体特征进行聚合，即通过考虑实体之间的关系路径来捕捉实体的语义信息；
对比学习层：对实体进行全局以及上下文级别的数据采样输入到编码器中用于对比学习；对实体的上下文以及结构进行编码得到不同上下实体生成不同的表示，以分别保留不同的上下文和结构视图特征；
类比推理层：类比推理模块基于知识图谱嵌入的评分函数评价三元组的相似度，并将得分最高的三元组作为合适的类比对象用于预测不完全三元组；
输出层：输出最后的实体嵌入向量和关系嵌入向量。
2.如权利要求1所述基于面向异构知识图谱的对比学习预测系统，其特征在于，所述多关系图神经网络层包括：
实体级别聚合模块，用于对基于关系路径的实体特征进行聚合，即通过考虑实体之间的关系路径来捕捉实体的语义信息；
关系级别聚合模块，通过与实体相关的关系路径聚合各种类型的语义信息，从而获得关系级别的特征；
自我级别聚合模块，利用实体级别和关系级别的特征，聚合自身信息，以获得更全面的实体表示。
3.如权利要求2所述基于面向异构知识图谱的对比学习预测系统，其特征在于，所述实体级别聚合模块对不同关系路径上的实体特征进行聚合，获取同一类型实体的语义信息，在实体级别聚合模块中，将实体特征
Figure QLYQS_2
和关系特征/>
Figure QLYQS_3
作为输入，针对每一条关系路径做如下聚合操作，关系路径聚合公式如公式（1）：
Figure QLYQS_4
(1)
在关系路径聚合公式中，
Figure QLYQS_6
表示实体关系路径的集合，符号/>
Figure QLYQS_9
是第/>
Figure QLYQS_11
层的第/>
Figure QLYQS_7
个实体，符号/>
Figure QLYQS_8
第/>
Figure QLYQS_10
层的第/>
Figure QLYQS_12
个实体聚合特征，/>
Figure QLYQS_5
表示一个聚合函数；
在对关系路径上的实体特征进行聚合后，模型通过注意力机制学习相邻实体之间的权重；计算的过程使用以下公式（2）：
Figure QLYQS_13
(2)
实体级别聚合模块中使用GAT作为注意力函数
Figure QLYQS_14
，其中，和/>
Figure QLYQS_15
和/>
Figure QLYQS_16
是中心实体的特征，/>
Figure QLYQS_17
表示通过注意力函数学习到的第/>
Figure QLYQS_18
个邻居实体的权重，/>
Figure QLYQS_19
表示权重矩阵，注意力函数使用以下公式（3）：
Figure QLYQS_20
(3)
在得到相邻实体之间的权重
Figure QLYQS_21
后，对权重系数进行归一化，计算的过程使用以下公式（4）：
Figure QLYQS_22
(4)
针对实体
Figure QLYQS_23
的基于关系路径/>
Figure QLYQS_24
的特征/>
Figure QLYQS_25
通过具有相应系数的邻居特征进行聚合；其中，LeakyReLU是激活函数，/>
Figure QLYQS_26
是拼接操作，计算的过程使用以下公式（5）：
Figure QLYQS_27
(5)
在计算完成以后，通过聚合得到实体在关系路径r上的特征集合
Figure QLYQS_28
，计算过程使用以下公式（6）：
Figure QLYQS_29
(6)。
4.如权利要求2所述基于面向异构知识图谱的对比学习预测系统，其特征在于，所述关系级聚合模块中，通过关系路径对不同类别的语义信息进行融合，通过学习不同关系路径的重要性来获取语义信息；
Figure QLYQS_30
表示一个/>
Figure QLYQS_31
维的关系嵌入，/>
Figure QLYQS_32
表示关系的集合，/>
Figure QLYQS_33
表示第/>
Figure QLYQS_34
层的第/>
Figure QLYQS_35
个实体特征，/>
Figure QLYQS_36
表示一个聚合函数，计算过程使用以下公式（7）：
Figure QLYQS_37
(7)
在获取不同关系路径上的权重后，将实体级聚合的特征集合
Figure QLYQS_38
作为输入，每个关系路径聚合特征计算公式如下（8）：
Figure QLYQS_39
(8)
通过捕获基于关系
Figure QLYQS_40
的重要性，然后利用它来选择性地聚合实体关系间的信息；然后通过压缩和扩展操作/>
Figure QLYQS_41
，将全局的特征信息/>
Figure QLYQS_42
聚合到特定的关系符号/>
Figure QLYQS_43
中，其中/>
Figure QLYQS_44
表示特征信息的维度，计算过程使用以下公式（9）：
Figure QLYQS_45
(9)
在关系级聚合模块中，使用一个简单的门控机制来捕获每个关系路径聚合特征之间的关系，
Figure QLYQS_46
表示relu激活函数，/>
Figure QLYQS_47
表示sigmoid激活函数，/>
Figure QLYQS_48
和/>
Figure QLYQS_49
表示变换矩阵，/>
Figure QLYQS_50
表示关系路径的注意力权重；计算过程使用以下公式（10）：
Figure QLYQS_51
(10)
利用平移距离运算将关系特征整合到特征传播中，其中，
Figure QLYQS_52
表示关系特征，/>
Figure QLYQS_53
表示关系集合，/>
Figure QLYQS_54
表示实体级聚合特征的集合，/>
Figure QLYQS_55
表示关系路径/>
Figure QLYQS_56
上的注意力权重集合，/>
Figure QLYQS_57
表示关系嵌入；计算过程使用以下公式（11）：
Figure QLYQS_58
(11)。
5.如权利要求2所述基于面向异构知识图谱的对比学习预测系统，其特征在于，所述自我级聚合模块是针对前面实体级特征
Figure QLYQS_59
本身进行聚合，其中，/>
Figure QLYQS_60
是实体/>
Figure QLYQS_61
在/>
Figure QLYQS_62
层的特征，/>
Figure QLYQS_63
是聚合函数，/>
Figure QLYQS_64
是实体/>
Figure QLYQS_65
的特征，计算过程使用以下公式（12）：
Figure QLYQS_66
(12)
聚合特征
Figure QLYQS_67
Figure QLYQS_68
的权重/>
Figure QLYQS_69
和实体自我特征的权重/>
Figure QLYQS_70
计算过程使用以下公式（13）：
Figure QLYQS_71
(13)
具体地，首先需要对聚合特征和实体自我特征进行非线性变换，然后通过注意力向量来衡量特征的重要性；其中
Figure QLYQS_72
是一个权重变换矩阵，/>
Figure QLYQS_73
是一个偏置向量，/>
Figure QLYQS_74
是一个偏置向量，/>
Figure QLYQS_75
表示特征的重要性，计算过程使用以下公式（14）：
Figure QLYQS_76
(14)
然后对上述得到的所有权重值进行归一化，得到特征
Figure QLYQS_77
和/>
Figure QLYQS_78
的权重值，计算过程使用以下公式（15）：
Figure QLYQS_79
(15)
最后，通过非线性变换不断的更新实体特征
Figure QLYQS_82
和关系特征/>
Figure QLYQS_83
，其中，/>
Figure QLYQS_85
表示实体特定的连接系数矩阵，/>
Figure QLYQS_81
表示关系特定的连接系数矩阵，/>
Figure QLYQS_84
是聚合特征/>
Figure QLYQS_86
的权重和/>
Figure QLYQS_87
是实体自我特征/>
Figure QLYQS_80
的权重，计算过程使用以下公式（16）和（17）：
Figure QLYQS_88
(16)
Figure QLYQS_89
(17)。
6.如权利要求1所述基于面向异构知识图谱的对比学习预测系统，其特征在于，所述对比学习层由正采样、负采样、编码器以及对比学习模块组成，其中编码器部分由结构编码器和上下文编码器两个部分组成；
（1）正采样
所述对比学习层中使用
Figure QLYQS_90
表示实体/>
Figure QLYQS_91
的上下文子图，使用/>
Figure QLYQS_92
表示对应的上下文模式；在上下文子图/>
Figure QLYQS_93
中的其他节点作为上下文实体；目标实体/>
Figure QLYQS_94
的正样本可以表示为：
Figure QLYQS_95
(18)
其中， 表示上下文子图实体的三元组集合，
Figure QLYQS_96
和/>
Figure QLYQS_97
表示源实体和目标实体，/>
Figure QLYQS_98
表示实体之间的关系；
（2）负采样
局部模式负采样策略：对于两个目标实体
Figure QLYQS_99
和/>
Figure QLYQS_100
，如果二者对应的子图可以被投影到相同的上下文模型，就认为他们的邻居实体/>
Figure QLYQS_101
为这二者彼此的负样本；那么实体/>
Figure QLYQS_102
的负样本
Figure QLYQS_103
可以使用以下公式（20）表示：
Figure QLYQS_104
(19)
其中，
Figure QLYQS_105
表示一个批次的目标实体集合，/>
Figure QLYQS_106
表示实体/>
Figure QLYQS_107
的上下文模式；
全局模式负采样策略：对于两个目标实体
Figure QLYQS_108
和/>
Figure QLYQS_109
，如果二者对应不同的上下文模式，对比学习层将二者的上下文模式定义为彼此的负样本，计算过程使用以下公式（20）：
Figure QLYQS_110
(20)
（3）结构与上下文视图编码器
结构视图编码器主要为了获取不同结构下实体的表达，给定实体s和关系r，全局结构感知实体嵌入
Figure QLYQS_111
和关系嵌入/>
Figure QLYQS_112
计算公式（21）如下：
Figure QLYQS_113
(21)
其中，
Figure QLYQS_114
表示一个GNN模型，/>
Figure QLYQS_115
表示一个嵌入网络；
上下文编码器主要目的是为了捕获实体周围的上下文信息，对比学习层使用一个
Figure QLYQS_118
层堆叠的转换函数去学习实体集合/>
Figure QLYQS_121
的上下文嵌入，/>
Figure QLYQS_123
表示实体/>
Figure QLYQS_116
的子图/>
Figure QLYQS_119
的上下文嵌入，
Figure QLYQS_122
表示一个MLP的编码器，/>
Figure QLYQS_124
表示一个/>
Figure QLYQS_117
层的参数矩阵，/>
Figure QLYQS_120
表示一个语义关联矩阵，计算过程使用以下公式（22）：
Figure QLYQS_125
(22)
然后通过聚合每一层的输出来得到节点
Figure QLYQS_126
的上下文视图嵌入/>
Figure QLYQS_127
，计算过程使用以下公式（23）：
Figure QLYQS_128
(23)
（3）优化策略
上下文级优化策略：对比学习层使用InfoNCE Loss作为上下文级别的对比损失函数，InfoNCE Loss的主要作用是用于学习特征表示，它通过最大化正样本对的互信息来使得特征表示更加丰富和具有区分度，其中，
Figure QLYQS_129
用于控制评分函数的灵敏度，/>
Figure QLYQS_130
表示余弦相似度函数，/>
Figure QLYQS_131
和/>
Figure QLYQS_132
分别表示实体/>
Figure QLYQS_133
和实体/>
Figure QLYQS_134
的上下文实体嵌入，优化策略计算过程使用以下公式（24）：
Figure QLYQS_135
(24)
全局级优化策略：将实体
Figure QLYQS_136
的上下文视图和结构视图嵌入作为输入，通过使用带有隐藏层的MLP（全拼，简称MLP）编码器将其映射到对比度损失空间中，优化策略计算过程使用以下公式（25~26）：
Figure QLYQS_137
(25)
Figure QLYQS_138
(26)
其中，
Figure QLYQS_140
是一个/>
Figure QLYQS_142
的激活函数，/>
Figure QLYQS_145
和/>
Figure QLYQS_141
是一个权重矩阵，/>
Figure QLYQS_144
和/>
Figure QLYQS_147
是偏置参数，/>
Figure QLYQS_149
和
Figure QLYQS_139
是节点/>
Figure QLYQS_143
的上下文视图嵌入和结构视图嵌入；然后在实体的上下文和结构表示之间进行跨视图对比学习，其中，/>
Figure QLYQS_146
表示一个超参数，/>
Figure QLYQS_148
表示一个余弦相似度评分函数，计算过程使用以下公式（27）：
Figure QLYQS_150
(27)。
7.如权利要求1所述基于面向异构知识图谱的对比学习预测系统，其特征在于，所述类比推理层由类比检索器和类比函数组成，用知识图谱嵌入的评分函数评价三元组的相似度，并将得分最高的三元组作为合适的类比对象。
8.如权利要求7所述基于面向异构知识图谱的对比学习预测系统，其特征在于，所述类比函数，类比推理层使用
Figure QLYQS_151
表示类比函数，使用实体和关系嵌入作为输入，并为类比推理的每个级别训练类比函数，并输出类比对象嵌入；/>
Figure QLYQS_152
和/>
Figure QLYQS_153
表示实体嵌入，/>
Figure QLYQS_154
表示训练好的嵌入模型，/>
Figure QLYQS_155
表示其他参数的集合；类比函数计算过程公式（28）如下：
Figure QLYQS_156
(28)
用于关系级的类比推理函数
Figure QLYQS_157
通过投影向量/>
Figure QLYQS_158
将关系/>
Figure QLYQS_159
在/>
Figure QLYQS_160
中的原始嵌入映射到类比嵌入向量中，关系级的类比函数计算过程使用以下公式（29）：
Figure QLYQS_161
(29)
其中，
Figure QLYQS_164
表示关系隐藏维度，/>
Figure QLYQS_166
表示元素乘积；同样的，实体级的类比推理函数/>
Figure QLYQS_169
通过将实体的原始嵌入映射到类比嵌入，/>
Figure QLYQS_163
表示实体的投影向量，/>
Figure QLYQS_165
表示实体隐藏维度，
Figure QLYQS_168
表示关系/>
Figure QLYQS_170
的变换矩阵，/>
Figure QLYQS_162
表示权重超参数，/>
Figure QLYQS_167
函数定义计算过程使用以下公式（30）：
Figure QLYQS_171
(30)
三重类比推理的类比函数
Figure QLYQS_172
通过堆叠实体和关系的嵌入来输出实体和关系对的类比嵌入，其中，/>
Figure QLYQS_173
通过将给定的关系嵌入/>
Figure QLYQS_174
将头实体嵌入映射/>
Figure QLYQS_175
到尾实体嵌入/>
Figure QLYQS_176
，类比函数/>
Figure QLYQS_177
计算过程使用以下公式（31）：
Figure QLYQS_178
(31)。
9.如权利要求7所述基于面向异构知识图谱的对比学习预测系统，其特征在于，所述的类比检索器，类比推理层中提出了三个检索器，以获得不同层次的类比对象；根据已知的三元组，通过头实体
Figure QLYQS_179
与关系实体/>
Figure QLYQS_180
，使用类比检索器检索出相似的三元组/>
Figure QLYQS_181
和/>
Figure QLYQS_182
，对/>
Figure QLYQS_183
检索出相似的三重级相似三元组/>
Figure QLYQS_184
；
实体级检索器使用实体
Figure QLYQS_185
替换所有结果实体集合/>
Figure QLYQS_186
；然后，使用一个已经训练好的知识图谱嵌入模型作为评分函数，将评分最高的三元组视为相似三元组；最后，将相似三元组的头实体作为实体级类比检索器的类比对象；类比对象集合计算过程使用以下公式（32）：
Figure QLYQS_187
(32)
其中，
Figure QLYQS_188
表示一个基于训练好的知识图谱嵌入模型的评分函数，/>
Figure QLYQS_189
表示一个三元组；给定一个三元组/>
Figure QLYQS_190
，关系类比检索器检索相似的关系/>
Figure QLYQS_191
用于类比推理，关系级类比检索器的类比对象集合计算过程使用以下公式（33）：
Figure QLYQS_192
(33)
三重级类比检索器通过给定的三元组
Figure QLYQS_193
检索相似三元组/>
Figure QLYQS_194
进行类比推理；类比推理层选取三重得分最高的实体和关系集合进行配对；/>
Figure QLYQS_195
表示实体集合，/>
Figure QLYQS_196
表示关系集合，三重级检索器的类比对象集/>
Figure QLYQS_197
计算过程使用以下公式（34）：
Figure QLYQS_198
(34)。
10.一种基于面向异构知识图谱的对比学习预测方法，其特征在于，利用面向异构知识图谱的对比学习方法，通过多关系图神经网络层、对比学习层、类比推理层和输出层组成部分，实现了对实体之间关系的预测和推理；多关系图神经网络层用于聚合实体特征，对比学习层用于对实体进行全局和上下文级别的数据采样，类比推理层用于评价三元组相似度，输出层用于输出最后的实体嵌入向量和关系嵌入向量。
CN202310666408.1A 2023-06-07 2023-06-07 面向异构知识图谱的对比学习预测方法及系统 Active CN116401380B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310666408.1A CN116401380B (zh) 2023-06-07 2023-06-07 面向异构知识图谱的对比学习预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310666408.1A CN116401380B (zh) 2023-06-07 2023-06-07 面向异构知识图谱的对比学习预测方法及系统

Publications (2)

Publication Number Publication Date
CN116401380A true CN116401380A (zh) 2023-07-07
CN116401380B CN116401380B (zh) 2023-08-11

Family

ID=87018354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310666408.1A Active CN116401380B (zh) 2023-06-07 2023-06-07 面向异构知识图谱的对比学习预测方法及系统

Country Status (1)

Country Link
CN (1) CN116401380B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117131936A (zh) * 2023-10-26 2023-11-28 天津工业大学 一种基于多层级类比推理的知识图谱嵌入方法
CN117196025A (zh) * 2023-09-13 2023-12-08 安徽国麒科技有限公司 基于多视图解码器的知识图谱高阶关系预测方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112883200A (zh) * 2021-03-15 2021-06-01 重庆大学 一种面向知识图谱补全的链接预测方法
DE202021102099U1 (de) * 2021-04-20 2021-09-29 Robert Bosch Gmbh Vorrichtung zum Verarbeiten einer Wissensgrapheneinbettung
CN113961718A (zh) * 2021-10-28 2022-01-21 南京航空航天大学 一种基于工业机械故障诊断知识图谱的知识推理方法
US20220147836A1 (en) * 2020-11-06 2022-05-12 Huazhong University Of Science And Technology Method and device for text-enhanced knowledge graph joint representation learning
WO2022267953A1 (zh) * 2021-06-24 2022-12-29 浙江师范大学 基于多视图对比学习的引文网络图表示学习系统及方法
CN115640410A (zh) * 2022-12-06 2023-01-24 南京航空航天大学 基于强化学习路径推理的知识图谱多跳问答方法
CN115827883A (zh) * 2022-06-24 2023-03-21 南瑞集团有限公司 一种自监督图对齐的多语言知识图谱补全方法和系统
CN115858800A (zh) * 2022-08-25 2023-03-28 浙江大学 一种基于类比推理的增强知识图谱补全方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220147836A1 (en) * 2020-11-06 2022-05-12 Huazhong University Of Science And Technology Method and device for text-enhanced knowledge graph joint representation learning
CN112883200A (zh) * 2021-03-15 2021-06-01 重庆大学 一种面向知识图谱补全的链接预测方法
DE202021102099U1 (de) * 2021-04-20 2021-09-29 Robert Bosch Gmbh Vorrichtung zum Verarbeiten einer Wissensgrapheneinbettung
WO2022267953A1 (zh) * 2021-06-24 2022-12-29 浙江师范大学 基于多视图对比学习的引文网络图表示学习系统及方法
CN113961718A (zh) * 2021-10-28 2022-01-21 南京航空航天大学 一种基于工业机械故障诊断知识图谱的知识推理方法
CN115827883A (zh) * 2022-06-24 2023-03-21 南瑞集团有限公司 一种自监督图对齐的多语言知识图谱补全方法和系统
CN115858800A (zh) * 2022-08-25 2023-03-28 浙江大学 一种基于类比推理的增强知识图谱补全方法
CN115640410A (zh) * 2022-12-06 2023-01-24 南京航空航天大学 基于强化学习路径推理的知识图谱多跳问答方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LINYU LI等: "A knowledge graph completion model based on contrastive learning and relation enhancement method", KNOWLEDGE-BASED SYSTEMS *
吴运兵;杨帆;赖国华;林开标;: "知识图谱学习和推理研究进展", 小型微型计算机系统, no. 09 *
漆桂林;高桓;吴天星;: "知识图谱研究进展", 情报工程, no. 01 *
陈煜: "基于神经网络的关系抽取及预测模型研究", 万方数据 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117196025A (zh) * 2023-09-13 2023-12-08 安徽国麒科技有限公司 基于多视图解码器的知识图谱高阶关系预测方法及系统
CN117131936A (zh) * 2023-10-26 2023-11-28 天津工业大学 一种基于多层级类比推理的知识图谱嵌入方法
CN117131936B (zh) * 2023-10-26 2024-01-30 天津工业大学 一种基于多层级类比推理的知识图谱嵌入方法

Also Published As

Publication number Publication date
CN116401380B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
Yuan et al. Jointly embedding the local and global relations of heterogeneous graph for rumor detection
Trisedya et al. Entity alignment between knowledge graphs using attribute embeddings
CN116401380B (zh) 面向异构知识图谱的对比学习预测方法及系统
Ni et al. An effective recommendation model based on deep representation learning
Li et al. Image sentiment prediction based on textual descriptions with adjective noun pairs
Gao et al. CI-GNN: Building a category-instance graph for zero-shot video classification
Dai et al. MRGAT: multi-relational graph attention network for knowledge graph completion
CN113611356B (zh) 一种基于自监督图表征学习的药物重定位预测方法
Xiao et al. Link prediction based on feature representation and fusion
Yu et al. Iarnet: An information aggregating and reasoning network over heterogeneous graph for fake news detection
Xu et al. Relation-aware compositional zero-shot learning for attribute-object pair recognition
CN113806630A (zh) 基于注意力的多视角特征融合跨域推荐方法及装置
Li et al. Residual attention graph convolutional network for web services classification
Zhang et al. Multi-modal multi-relational feature aggregation network for medical knowledge representation learning
Liu et al. Identifying experts in community question answering website based on graph convolutional neural network
Xue et al. Relation-based multi-type aware knowledge graph embedding
Kou et al. Diversity-driven automated web API recommendation based on implicit requirements
Zhou et al. Multi-modal multi-hop interaction network for dialogue response generation
CN116467666A (zh) 一种基于集成学习和主动学习的图异常检测方法和系统
CN116501956A (zh) 一种基于分层图对比学习的知识感知多域推荐方法及系统
Han et al. Semantic-guided graph neural network for heterogeneous graph embedding
Arya et al. Node classification using deep learning in social networks
Wang et al. Modeling context pair interaction for pairwise tasks on graphs
CN115757897A (zh) 一种基于知识图卷积网络的文化资源智能推荐方法
Yang et al. A few-shot inductive link prediction model in knowledge graphs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant