CN118036726A - 基于启发式信息和图神经网络的知识图谱链接预测方法 - Google Patents

基于启发式信息和图神经网络的知识图谱链接预测方法 Download PDF

Info

Publication number
CN118036726A
CN118036726A CN202410176973.4A CN202410176973A CN118036726A CN 118036726 A CN118036726 A CN 118036726A CN 202410176973 A CN202410176973 A CN 202410176973A CN 118036726 A CN118036726 A CN 118036726A
Authority
CN
China
Prior art keywords
graph
entity
neural network
relation
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410176973.4A
Other languages
English (en)
Inventor
李凤英
伍锡鹏
董荣胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202410176973.4A priority Critical patent/CN118036726A/zh
Publication of CN118036726A publication Critical patent/CN118036726A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于启发式信息和图神经网络的知识图谱链接预测方法，包括数据集预处理、对数据集进行子图采样并使用双半径节点标记算法计算子图以得到启发式信息、将启发式信息融合到关系图神经网络模型中进行训练和测试、以及利用训练完毕的模型对不完全的链接进行预测的过程。本发明能够有效捕捉子图内节点之间的关系，提升了链接预测的准确性，并可以适用于大规模知识图谱数据集。

Description

基于启发式信息和图神经网络的知识图谱链接预测方法
技术领域
本发明涉及知识图谱技术领域，具体涉及一种基于启发式信息和图神经网络的知识图谱链接预测方法。
背景技术
知识图谱(KG)提供了一种以三元组形式存储结构化知识的方法，可以在知识图谱上进行搜索、问答和推荐。然而，现实中许多大型知识图谱通常都会因数据源本身的不完整性或知识抽取算法的缺陷等因素而存在知识图谱不完备的问题。利用各种链接预测方法来预测两个实体之间的可能存在的链接能够实现知识图谱补全，其中知识图谱嵌入方法最先在知识图谱补全中得到应用。知识图谱嵌入方法来源于自然语言处理(NLP)领域的词向量嵌入技术，它们将实体和关系映射到低维的向量空间中，将语义实体和关系的语义嵌入向量空间从而进行有效的推理。常见的知识图谱嵌入方法包括矩阵分解、翻译模型、神经网络模型、随机游走模型、强化学习模型和关系图神经网络模型等。由于关系图神经网络模型可以直接处理图结构数据，因此在知识图谱嵌入中具有天然优势。关系图神经网络模型通过在知识图谱上构建图神经网络，可以学习节点(实体)之间的复杂关系。在众多关系图神经网络模型中，消息传递图神经网络(Message Passing NeuralNetwork，MPNN)是一种常用的代表性图神经网络框架，其核心思想是将图中的节点视为一个消息传递者，通过将节点与其邻居节点之间的消息传递过程转化为神经网络的前向传播过程，实现对图结构数据的深度特征提取。然而，消息传递图神经网络如果堆叠过多的卷积层，容易遭受过度平滑和过度挤压的问题，进而表达能力受限。
发明内容
本发明所要解决的是现有基于消息传递图神经网络的知识图谱链接预测方法存在的过渡平滑和过渡挤压问题的问题，提供一种基于启发式信息和图神经网络的知识图谱链接预测方法。
为解决上述问题，本发明是通过以下技术方案实现的：
基于启发式信息和图神经网络的知识图谱链接预测方法，包括步骤如下：
步骤1、从公开数据网站下载知识图谱数据集，并进行预处理后，得到训练集和测试集；
步骤2、对训练集和测试集进行数据增强，其数据增强的方式是通过将每个三元组的头实体和尾实体对调，并反转关系，生成该三元组的反向三元组；
步骤3、生成训练集中每个三元组的子图，并在子图上运行双半径节点标记算法，生成子图中各个节点的整数标签，得到添加了标签信息的子图；
步骤4、利用训练集中所有添加了标签信息的子图对关系图神经网络进行训练，得到关系图神经网络模型；
步骤5、利用测试集对神经网络模型进行测试，得到最终关系图神经网络模型；
步骤6、用最终关系图神经网络模型对需要补全的知识图谱中的不完全链接进行预测。
上述步骤1的具体过程如下：
步骤1.1、从知识图谱数据集中读取原始的三元组数据，形成一个文本表示的三元组列表；
步骤1.2、为知识图谱的每个实体和每个关系分配一个唯一的ID，创建实体和关系到其ID的映射字典，并基于该映射字典将文本表示的三元组列表转换成ID表示的三元组列表；
步骤1.3、将所有三元组列表按比例分为两组，其中包含三元组数量较多的一组形成训练集，包含三元组数量较少的一组形成测试集。
上述步骤2中，生成训练集中每个三元组的子图的过程如下：
步骤2.1、根据设定的邻居节点采样范围，分别对三元组的头实体和尾实体进行子图采样，得到头实体的子图和尾实体的子图；
步骤2.2、分别对头实体的子图和尾实体的子图进行剪枝，在保留所有关系类型的前提下，随机删除每个关系类型的一部分边，得到头实体的新子图和尾实体的新子图；
步骤2.3、将到头实体的新子图和尾实体的新子图进行合并，合并过程中对边去重，并删除头实体和尾实体之间的边，得到三元组的子图。
上述步骤2.1中，设定的邻居节点采样范围为二阶。
上述步骤4中，在三元组(v,r,u)的子图中，其节点i的整数标签fl(i)为：
其中，v表示头实体，u表示尾实体，r表示关系，dv表示子图中节点i与节点即头实体v的距离，du表示子图中节点i与节点即尾实体u的距离，min()表示取最小值，％表示相除取余。
上述步骤4的具体过程如下：
步骤4.1、关系图神经网络将实体和关系的ID表示分别转换为实体和关系的初始嵌入表示，同时将整数标签转换为整数标签的初始嵌入表示；
步骤4.2、关系图神经网络将实体的初始嵌入表示及其整数标签的初始嵌入表示进行聚合，得到实体的聚合嵌入表示，并将实体的聚合嵌入表示和关系的初始嵌入表示进行聚合，得到实体的输入嵌入表示；同时将关系的初始嵌入表示作为关系的输入嵌入表示；
步骤4.3、关系图神经网络利用关系图卷积层对实体的输入嵌入表示和关系的输入嵌入表示进行更新，得到实体的输出嵌入表示和关系的输出嵌入表示；
步骤4.4、关系图神经网络基于实体的输出嵌入表示和关系的输出嵌入表示对三元组进行评分，并基于该评分构建损失函数，通过反向传播最小化损失函数，以更新解码器和编码器的参数，从而得到关系图神经网络模型。
上述步骤4.1中，实体的初始嵌入表示及其整数标签的初始嵌入表示采用相加方式进行聚合，实体的聚合嵌入表示和关系的初始嵌入表示采用乘积方式进行聚合。
上述步骤5中，使用MRR和Hits@n作为评估指标对神经网络模型进行评估。
上述步骤6中，当不完全的链接包括头实体和关系时，将头实体和关系输入最终的神经网络模型，得到所有实体作为该链接的尾实体的可能性评分；当不完全的链接包括尾实体和关系时，将尾实体和反转关系输入最终的神经网络模型，得到所有实体作为该链接的头实体的可能性评分。
本发明提出一种基于启发式信息和图神经网络的知识图谱链接预测方法，包括数据集预处理、对数据集进行子图采样并使用双半径节点标记算法计算子图以得到启发式信息、将启发式信息融合到关系图神经网络模型中进行训练和测试、以及利用训练完毕的模型对不完全的链接进行预测的过程。首先，优化的子图采样方法能够在保证子图完整性的前提下减少子图大小，从而能够适用于大规模异构图的子图提取，进而提升节点标记算法在大规模异构图上的计算效率。其次，将节点标记算法提取的子图信息融入链接预测的学习中，这种子图信息基于启发式算法，能有效捕捉子图内节点之间的关系，提升了链接预测的准确性。最后，融合启发式节点标记的关系图神经模型可以缓解图神经网络因卷积层数过多而导致的过渡平滑和过渡挤压问题，从而提高知识图谱链接预测的准确性，并可以适用于大规模知识图谱数据集。
附图说明
图1为在异构图中生成三元组子图的示意图。
图2为关系图卷积神经网络模型的架构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照附图，对本发明进一步详细说明。
为了缓解图神经网络中存在的过渡平滑和过渡挤压问题，本发明提出一种基于启发式信息和图神经网络的知识图谱链接预测方法，其包括步骤如下：
步骤1、从公开数据网站下载知识图谱数据集，并进行预处理后，得到训练集和测试集。
知识图谱数据集的知识图谱图以三元组(<头实体，关系，尾实体>)形式存在，因此需要对这些三元组进行ID映射、划分和数据增强的预处理得到训练集和测试集，以为后续的模型训练和评估准备格式化和结构化的数据，其中训练集和测试集的知识图谱图也以三元组(<头实体，关系，尾实体>)形式存在。
步骤1.1、生成文本表示的三元组列表：从知识图谱数据集中读取原始的三元组数据，形成一个文本表示的三元组列表。
步骤1.2、生成ID表示的三元组列表：为每个实体和每个关系各分配一个唯一的ID，创建实体和关系到其ID的映射字典，并基于该映射字典将实体和关系的文本表示转换为ID表示，从而将文本表示的三元组列表转换成ID表示的三元组列表。
经过映射后，后续所提及的三元组列表和三元组均为ID表示的三元组列表和ID表示的三元组。
步骤1.3、数据集划分：将三元组列表中的所有三元组按比例分成两组，其中包含三元组数量较多的组形成训练集，包含三元组数量较少的组形成测试集。
步骤2、对训练集和测试集进行数据增强，其数据增强的方式是通过将每个三元组的头实体和尾实体对调，并反转关系，生成该三元组的反向三元组。
生成反向三元组是知识图谱领域丰富数据和增强模型的学习能力的常用方法，其有助于捕捉和理解实体间的双向关系，如有些关系天生是对称的(例如朋友关系)，反向三元组能够很自然地表达这种关系。对训练集和测试集进行数据增强的目的是增加训练集和测试集中三元组数量，其通过生成集合内每个三元组的反向三元组的方式来实现。具体地，对于训练集和测试集的每个三元组，将三元组的头实体和尾实体对调，并反转关系后生成该三元组的反向三元组，并将该反向三元组加入到其所对应的三元组所在的训练集和测试集中。
步骤3、对训练集的每个三元组，生成该三元组的子图。
对于同构图来说，由于其原始知识图谱的节点和边的类型只有一种，因此在构建子图时直接在原始知识图谱中进行采样可以保证其子图的完整性。然而对于异构图来说，由于其原始知识图谱的节点和边的类型不止一种，因此在构建子图时直接在原始知识图谱中进行采样无法保证子图的完整性。为此，本发明针对异构图，提出一种三元组的子图生成方法，其具体过程如下：
步骤3.1、子图采样：根据设定的邻居节点采样范围对三元组的实体(包括头实体和尾实体)进行子图采样，得到实体的子图。
考虑到二阶以上的采样所带来的边际收益很低，因此在本实施例中，对单个节点的邻居节点采样范围限定在二阶，即设定dp＝2。
以头实体v为例，采样后的子图可表示为是子图的实体集合，εv是子图的边集合，/>是子图的关系集合。
步骤3.2、子图剪枝：根据关系类型对实体的子图进行剪枝，其规则是在保留所有关系类型的前提下，对于每个关系类型，随机保留该关系类型的一部分边，并删除该关系类型的另一部分边，得到实体的新子图，以期在保证子图信息的相对完整性的前提下减少子图的大小。
以头实体v为例，对步骤3.1所得到的子图的边进行了随机剪枝，从子图的边集合/>中随机选择m条包含关系r的边进行删除，其中i表示头实体，u表示尾实体，r表示关系，/>表示节点v的一阶邻居节点集合，/>是子图的关系集合，这样实体所拥有的每种关系都能够被包含在被修剪的子图中，以保证子图信息的相对完整性，剪枝后的子图记作/>
步骤3.3、子图合并：将头实体的新子图和尾实体的新子图进行合并，合并过程中需要对边去重(即去除重复的边)，并在合并后的子图中删除头实体和尾实体之间的边，以避免数据泄漏，由此得到三元组的子图。
在步骤3.2所得到的头实体剪枝后的子图和尾实体剪枝后的子图/>的基础上，将重复的边去除后，完成这2个子图的合并。因为模型需要学习v与u之间存在r关系，所以为了防止边e＝(v,r,u)造成数据泄漏，需要在合并后的子图中删除e，由此得到合并后的子图其中εe＝ε′v∪ε′u-{e}。
图1为一种在异构图中生成三元组的子图的示意图。图1(a)是一个简单的异构图，包含不同类型的节点和关系，需要提取子图的三元组是<u,r1,v>。首先分别对节点u和v进行二阶邻居采样，得到节点u和v的子图Gu和Gv，如图1(b-1)和(b-2)，其中①和②分别表示中心节点的一阶邻居节点和二阶邻居节点。接着根据关系类型分别对子图Gu和Gv进行剪枝，在保留所有关系类型的前提下，Gu被随机删除了边<2,r2,1>和<1,r2,u>，形成新的子图G′u，如图1(c-1)，Gv被随机删除了边<2,r2,1>和<1,r3,v>，形成新的子图G′v，如图1(c-2)。最后将新的子图将G′u和G′v合并，由于两个子图没有重复的边，所以不需要去重，而为了防止被采样的三元组的链接信息在训练中泄漏，合并后的子图中需要删除<u,r1,v>(图中用虚线表示)，最终得到三元组<u,r1,v>的子图Ge，如图1(d)。
本发明所提出的子图生成方法在尽量保持子图信息的相对完整性的前提下，通过减少采样次数和子图的大小，以降低后续双半径节点标记算法的的计算量，使后续双半径节点标记算法的耗时更短。
步骤4、在子图上运行双半径节点标记算法，生成该子图中各个节点的整数标签，得到带有节点标签的子图。
将子图输入双半径节点标记算法可以生成适合知识图谱链接预测任务的启发式子图信息。在三元组(v,r,u)所生成的子图中，其节点i的整数标签fl(i)为：
fl(i)＝1+min(dv,du)+(d/2)[(d/2)+(d％2)-1]
其中，v表示头实体，u表示尾实体，r表示关系。dv＝d(i,v)表示在节点对(v,u)的封闭子图内，节点i与节点即头实体v的距离。du＝d(i,u)表示在节点对(v,u)的封闭子图内，节点i与节点即尾实体u的距离。d＝dv+du。d％2表示取变量d除以2所得的余数。min(dv,du)表示取dv,du中的较小值。
节点标记算法为(v,u)的封闭子图中的每个节点都生成一个整数标签，用于表示子图中各个节点之间的差异，这种差异可以被认为是一种包含图位置和图结构的信息。
添加了标签信息的子图可表示为/>其中/> fl(i)是一个整数，表示节点i在子图/>中的标签信息，该信息不能孤立存在，只有以其所在的子图为背景才有意义。
步骤5、利用训练集中所有添加了标签信息的子图对关系图神经网络进行训练，得到充分理解训练集中实体和关系语义的关系图神经网络模型。
本发明将从子图中提取的启发式信息融入链接预测的学习，并将启发式信息扩展到了大规模异构图上。关系图神经网络为CompGCN，其采用编码器-解码器架构(Encoder-Decoder)；编码器负责接收数据输入，并使用关系图卷积层生成节点和关系的表示；解码器利用编码器的输出，给链接评分，并通过反向传播，更新解码器和编码器的参数。
步骤4.1、关系图神经网络将实体和关系的独热编码(one-hot encoding)ID表示分别转换为实体和关系的初始嵌入表示，同时将整数标签转换为整数标签的初始嵌入表示。
实体的初始嵌入表示xu为：
xu＝Wx*ID(u)
关系的初始嵌入表示zr为：
zr＝Wz*ID(r)
整数标签的初始嵌入表示yu为：
yu＝Wy*fl(u)
其中，ID(u)表示实体u的ID表示，ID(r)表示关系r的ID表示，fl(u)表示整数标签，是可学习的实体嵌入参数矩阵，/>是可学习的关系嵌入参数矩阵，/>是可学习的标签嵌入参数矩阵，Nx表示实体的总量，Nr表示关系类型的总量，dim表示嵌入的维度。
步骤4.2、将实体的初始嵌入表示xu及其整数标签的初始嵌入表示yu进行聚合得到实体的聚合嵌入表示g(xu,yu)，并将实体的聚合嵌入表示g(xu,yu)和关系的初始嵌入表示zr进行聚合得到实体的输入嵌入表示φ(g(xu,yu),zr)。同时，将关系的初始嵌入表示zr作为关系的输入嵌入表示zr。
g()是实体和标签的聚合算子，因为加法算子通常简单有效，所以本发明采用加法聚合算子聚合实体和标签，则：
g(xu,yu)＝xu+yu
φ()是节点和关系的聚合算子，本发明使用乘积聚合算子聚合节点和关系，则：
φ(g(xu,yu),zr)＝g(xu,yu)*zr
步骤4.3、关系图神经网络利用关系图卷积层对实体的输入嵌入表示和关系的输入嵌入表示进行更新，得到实体的输出嵌入表示和关系的输出嵌入表示。
关系图神经网络的编码器由关系图卷积层堆叠而成，其能够捕获和学习到实体和关系的语义，并将其存储在高维向量之中。由于关系图卷积层引入了在节点表示的基础上引入关系的表示和更新，因此更适合链接预测这类边级任务。
现有单层的关系图卷积层的节点更新表示公式为：
其中，f()表示激活函数，u表示节点(尾实体)，r表示关系，表示节点(头实体)v携带关系类型的一阶邻居节点集合。xu和zr分别是节点u和关系r的初始嵌入表示。Wλ(r)为节点嵌入更新阶段可学习的关系参数矩阵，为了大幅度缓解关系数量增长带来的参数爆炸问题，关系图神经网络将关系类型分为三种：正向关系/>反向关系/>和自环关系因此总的关系可以被定义为/>此时关系参数矩阵Wλ(r)表示为：
其中，WO表示节点嵌入更新阶段的正向关系参数矩阵，WI表示节点嵌入更新阶段的反向关系参数矩阵，WS表示节点嵌入更新阶段的自环关系参数矩阵。
在现有单层图卷积层的节点更新表示公式的基础上，本发明融入启发式子图信息，以增强模型的链接预测能力，则单层的关系图卷积层的节点更新表示公式为：
综上所述，第k层关系卷积层的前向传播公式为：
其中，表示实体u的第k-1层嵌入表示，/>表示实体u的整数标签的第k-1层嵌入表示，/>关系r的第k-1层嵌入表示，/>表示节点嵌入更新阶段第k-1层关系参数矩阵，/>表示关系嵌入更新阶段第k-1层关系参数矩阵，/>表示节点v在第k层的嵌入表示，/>表示关系r在第k层的嵌入表示，k＝1,2,…,K，K是关系图卷积层的层数。
步骤4.4、关系图神经网络基于实体的输出嵌入表示和关系的输出嵌入表示对三元组进行评分，并基于该评分构建损失函数，通过反向传播最小化损失函数，以更新解码器和编码器的参数，从而得到关系图神经网络模型。
解码器的本质是评分函数(Scoring Function)，它将编码器的输出(节点和关系的嵌入表示)和链接作为输入，经过评分函数的计算给链接打分，分数越高表明该链接越可能存在。对于正边，我们期望它的分数越高越好，对于负边，我们期望它的分数越低越好。由于GCN和ConvE的核心操作是卷积且在多个模型上表现优异，所以本发明采用ConvE的评分函数ψr(u,v)。为了将分数转换为[0,1]的概率，我们将sigmoid函数σ(·)应用到评分函数，即本发明所使用的最终评分函数为p＝σ(ψr(u,v)))。
为了避免模型只能学习到正例样本而过拟合，本发明在训练过程中需要使用负采样(Negative Sampling)训练模型，对于每个正例样本，我们随机破坏其头实体或者尾实体以生成一个负例样本。在此基础上，本发明使用二分类的交叉熵损失函数使用Adm梯度下降优化器最小化损失函数
其中，y是样本类型的标签，正例样本的y＝1，负例样本的y＝0。p为最终评分函数。
本发明的神经网络模型训练超参数如下：节点、关系和子图标签信息的嵌入维度统一使用200维，批次大小(Batch Size)为128，初始学习率为0.001，共训练5个轮次(Epoch)。由于训练数据较大且边的子图有重复被采样的情况，取选取30％的训练集所生成的子图进行训练。在对知识图谱进行二阶邻居采样，然后将得到的子图进行剪枝，每种关系类型保留至少5条边。模型的负采样策略是随机破坏头尾实体，为每条正边生成一条负边。使用简单的加法算子融合节点和标签信息的嵌入，使用Corr(circular-correlation)算子φ(es,er)＝es＊er融合节点和关系的嵌入。
图2为关系图卷积神经网络模型的架构图，模型主要分为编码器和解码器两个部分。xu是节点u的初始嵌入表示，yu是从节点u所在子图所提取的启发式标签信息，zr是关系r的初始嵌入表示。xu和yu首先经过g算子的聚合，然后使用算子再与zr聚合后，得到的实体表示作为编码器的实体输入。zr直接作为编码器的实体输入。编码器经过k层图卷积不断更新节点和关系的表示，输出/>和/>解码器接受编码器的输出，并使用评分函数ψr(u,v)给边({e1,e2,…,e|V|-1})打分，打分时既需要对正边进行打分，还需要对该正边所对应的负边进行打分，以便后续使用交叉熵损失函数。解码器在训练阶段，通常每个正例生成一个负例用于训练，而在评估阶段，会通过替换尾实体生成所有可能的边并打分。编码器得到评分后使用sigmoid函数将分数值转换为[0,1]的概率，这些概率值连同三元组的类别标签(正边标签为1，负边标签为0)通过交叉熵函数得到模型的损失，然后使用梯度下降算法更新模型的参数，以期拟合训练集的数据，让正边的分数更高，负边的分数更低。
步骤6、利用测试集对神经网络模型进行测试，得到最终关系图神经网络模型。
使用测试集测试所得到的关系图神经网络模型在未见样本中的泛化能力，，得到测试集中所有边与不同尾实体形成的链接的评分。本发明使用MRR和Hits@n作为评估指标，MRR和Hits@n的值大则说明模型表现越好。
MRR(Mean Reciprocal Rank)是一种衡量模型平均排名质量的指标，它是所有测试样本的倒数排名的平均值。MRR的计算公式为：
其中，|Q|是测试样本的总数，ranki是第i个测试样本的正确答案在模型预测中的排名。如果模型能够将正确答案排在更前面的位置，MRR值就会更高。
Hits@n指标用于衡量测试样本中正确答案出现在模型预测的前n名中的频率。Hits@n的计算公式为：
测试时选择Hits@1、Hits@3和Hits@10三种细粒度作为模型在高精准度和中低精准度的评价指标。例如，Hits@1衡量的是模型将正确答案排在第一位的能力，而Hits@10则更加宽松，只要正确答案出现在前10位即可。这些不同的细粒度指标可以帮助评估模型在不同精度水平上的表现。通常，较高的Hits@n值意味着模型具有更好的预测性能。
步骤7、用最终的神经网络模型对需要补全的知识图谱的不完全链接进行预测。
当不完全的链接包括头实体和关系时，将头实体和关系输入最终的神经网络模型，得到所有实体作为该链接的尾实体的可能性评分。
当不完全的链接包括尾实体和关系时，先将关系反转，再将尾实体和反转关系输入最终的神经网络模型，得到所有实体作为该链接的头实体的可能性评分。
可能性评分是一个0到1的概率值，概率越大说明与该给定实体组成的三元组是事实的可能性越大。
需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。

Claims (9)

1.基于启发式信息和图神经网络的知识图谱链接预测方法，其特征是，包括步骤如下：
步骤1、从公开数据网站下载知识图谱数据集，并进行预处理后，得到训练集和测试集；
步骤2、对训练集和测试集进行数据增强，其数据增强的方式是通过将每个三元组的头实体和尾实体对调，并反转关系，生成该三元组的反向三元组；
步骤3、生成训练集中每个三元组的子图，并在子图上运行双半径节点标记算法，生成子图中各个节点的整数标签，得到添加了标签信息的子图；
步骤4、利用训练集中所有添加了标签信息的子图对关系图神经网络进行训练，得到关系图神经网络模型；
步骤5、利用测试集对神经网络模型进行测试，得到最终关系图神经网络模型；
步骤6、用最终关系图神经网络模型对需要补全的知识图谱中的不完全链接进行预测。
2.根据权利要求1所述的基于启发式信息和图神经网络的知识图谱链接预测方法，其特征是，步骤1的具体过程如下：
步骤1.1、从知识图谱数据集中读取原始的三元组数据，形成一个文本表示的三元组列表；
步骤1.2、为知识图谱的每个实体和每个关系分配一个唯一的ID，创建实体和关系到其ID的映射字典，并基于该映射字典将文本表示的三元组列表转换成ID表示的三元组列表；
步骤1.3、将所有三元组列表按比例分为两组，其中包含三元组数量较多的一组形成训练集，包含三元组数量较少的一组形成测试集。
3.根据权利要求2所述的基于启发式信息和图神经网络的知识图谱链接预测方法，其特征是，步骤2中，生成训练集中每个三元组的子图的过程如下：
步骤2.1、根据设定的邻居节点采样范围，分别对三元组的头实体和尾实体进行子图采样，得到头实体的子图和尾实体的子图；
步骤2.2、分别对头实体的子图和尾实体的子图进行剪枝，在保留所有关系类型的前提下，随机删除每个关系类型的一部分边，得到头实体的新子图和尾实体的新子图；
步骤2.3、将到头实体的新子图和尾实体的新子图进行合并，合并过程中对边去重，并删除头实体和尾实体之间的边，得到三元组的子图。
4.根据权利要求3所述的基于启发式信息和图神经网络的知识图谱链接预测方法，其特征是，步骤2.1中，设定的邻居节点采样范围为二阶。
5.根据权利要求1所述的基于启发式信息和图神经网络的知识图谱链接预测方法，其特征是，步骤4中，在三元组(v,r,u)的子图中，其节点i的整数标签fi(i)为：
其中，v表示头实体，u表示尾实体，r表示关系，dv表示子图中节点i与节点即头实体v的距离，du表示子图中节点i与节点即尾实体u的距离，min()表示取最小值，％表示相除取余。
6.根据权利要求1所述的基于启发式信息和图神经网络的知识图谱链接预测方法，其特征是，步骤4的具体过程如下：
步骤4.1、关系图神经网络将实体和关系的ID表示分别转换为实体和关系的初始嵌入表示，同时将整数标签转换为整数标签的初始嵌入表示；
步骤4.2、关系图神经网络将实体的初始嵌入表示及其整数标签的初始嵌入表示进行聚合，得到实体的聚合嵌入表示，并将实体的聚合嵌入表示和关系的初始嵌入表示进行聚合，得到实体的输入嵌入表示；同时将关系的初始嵌入表示作为关系的输入嵌入表示；
步骤4.3、关系图神经网络利用关系图卷积层对实体的输入嵌入表示和关系的输入嵌入表示进行更新，得到实体的输出嵌入表示和关系的输出嵌入表示；
步骤4.4、关系图神经网络基于实体的输出嵌入表示和关系的输出嵌入表示对三元组进行评分，并基于该评分构建损失函数，通过反向传播最小化损失函数，以更新解码器和编码器的参数，从而得到关系图神经网络模型。
7.根据权利要求6所述的基于启发式信息和图神经网络的知识图谱链接预测方法，步骤4.1中，实体的初始嵌入表示及其整数标签的初始嵌入表示采用相加方式进行聚合，实体的聚合嵌入表示和关系的初始嵌入表示采用乘积方式进行聚合。
8.根据权利要求1所述的基于启发式信息和图神经网络的知识图谱链接预测方法，其特征是，步骤5中，使用MRR和Hits@n作为评估指标对神经网络模型进行评估。
9.根据权利要求1所述的基于启发式信息和图神经网络的知识图谱链接预测方法，其特征是，步骤6中，当不完全的链接包括头实体和关系时，将头实体和关系输入最终的神经网络模型，得到所有实体作为该链接的尾实体的可能性评分；当不完全的链接包括尾实体和关系时，将尾实体和反转关系输入最终的神经网络模型，得到所有实体作为该链接的头实体的可能性评分。
CN202410176973.4A 2024-02-08 2024-02-08 基于启发式信息和图神经网络的知识图谱链接预测方法 Pending CN118036726A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410176973.4A CN118036726A (zh) 2024-02-08 2024-02-08 基于启发式信息和图神经网络的知识图谱链接预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410176973.4A CN118036726A (zh) 2024-02-08 2024-02-08 基于启发式信息和图神经网络的知识图谱链接预测方法

Publications (1)

Publication Number Publication Date
CN118036726A true CN118036726A (zh) 2024-05-14

Family

ID=90987028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410176973.4A Pending CN118036726A (zh) 2024-02-08 2024-02-08 基于启发式信息和图神经网络的知识图谱链接预测方法

Country Status (1)

Country Link
CN (1) CN118036726A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118410805A (zh) * 2024-07-03 2024-07-30 北京语言大学 基于关系图卷积神经网络的中文作者姓名消歧方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118410805A (zh) * 2024-07-03 2024-07-30 北京语言大学 基于关系图卷积神经网络的中文作者姓名消歧方法及装置

Similar Documents

Publication Publication Date Title
US11941522B2 (en) Address information feature extraction method based on deep neural network model
WO2023065545A1 (zh) 风险预测方法、装置、设备及存储介质
CN113723632B (zh) 一种基于知识图谱的工业设备故障诊断方法
WO2022057669A1 (zh) 基于结构化上下文信息的知识图谱预训练方法
CN114169330B (zh) 融合时序卷积与Transformer编码器的中文命名实体识别方法
CN112380325B (zh) 基于联合知识嵌入模型和事实记忆网络的知识图谱问答系统
CN112699247A (zh) 一种基于多类交叉熵对比补全编码的知识表示学习框架
CN111753101A (zh) 一种融合实体描述及类型的知识图谱表示学习方法
CN109857457B (zh) 一种在双曲空间中学习源代码中的函数层次嵌入表示方法
CN109389151A (zh) 一种基于半监督嵌入表示模型的知识图谱处理方法和装置
CN113590799B (zh) 一种基于多视角推理的弱监督知识图谱问答方法
CN117149974A (zh) 一种子图检索优化的知识图谱问答方法
CN118036726A (zh) 基于启发式信息和图神经网络的知识图谱链接预测方法
CN114218389A (zh) 一种基于图神经网络的化工制备领域长文本分类方法
CN116975256B (zh) 抽水蓄能电站地下厂房施工过程多源信息的处理方法及系统
CN116383399A (zh) 一种事件舆情风险预测方法及系统
CN115526236A (zh) 一种基于多模态对比学习的文本网络图分类方法
CN114254093A (zh) 多空间知识增强的知识图谱问答方法及系统
CN114881125A (zh) 基于图一致性和半监督模型的标签含噪图像分类方法
CN114093445B (zh) 一种基于偏多标记学习的患者筛选标记方法
CN114860952A (zh) 一种基于数据统计和知识指导的图拓扑学习方法及系统
CN115033706A (zh) 一种知识图谱自动补全和更新的方法
CN117932065A (zh) 一种基于全局双曲嵌入的多意图检测与语义槽位填充方法
CN113656594A (zh) 一种基于飞行器维修的知识推理方法
CN117639057A (zh) 一种新能源配电台区拓扑关联分析方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination