CN117851615B - 一种基于Transformer的关系模式自适应对比学习知识图谱嵌入方法 - Google Patents
一种基于Transformer的关系模式自适应对比学习知识图谱嵌入方法 Download PDFInfo
- Publication number
- CN117851615B CN117851615B CN202410255249.0A CN202410255249A CN117851615B CN 117851615 B CN117851615 B CN 117851615B CN 202410255249 A CN202410255249 A CN 202410255249A CN 117851615 B CN117851615 B CN 117851615B
- Authority
- CN
- China
- Prior art keywords
- relation
- relationship
- path
- entity
- triplet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000006870 function Effects 0.000 claims description 48
- 238000012546 transfer Methods 0.000 claims description 27
- 230000000873 masking effect Effects 0.000 claims description 7
- 238000005295 random walk Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005303 weighing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 abstract description 6
- 230000003993 interaction Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 7
- 238000013519 translation Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 241000764238 Isis Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于Transformer的关系模式自适应对比学习知识图谱嵌入方法，属于知识图谱技术领域。本发明对于知识图谱三元组数据，通过将知识图谱转换为关系路径，不仅捕获了实体之间的直接关系，还揭示了它们之间的潜在语义关联和间接交互，解决了Transformer模型无法直接处理知识图谱数据的问题；通过根据关系路径中不同的关系模式生成锚点样本，并使用实体或关系替换的负采样方法构造负样本，构造对比损失，以捕获更加丰富的关系信息；通过对关系路径进行掩码，以增强Transformer模型对知识图谱中隐含关系的捕获能力，使得训练后的Transformer模型能够有效地学习实体和关系的嵌入表示。
Description
技术领域
本发明涉及知识图谱技术领域，尤其涉及一种基于Transformer的关系模式自适应对比学习知识图谱嵌入方法。
背景技术
知识图谱（Knowledge Graph，简称KG）作为一种组织和整合结构化及语义知识的关键技术，通过实体及实体之间的关系（通常以三元组的形式）来表达知识，例如（Paris,is_capital_of,France）。
在自然语言处理、推荐系统和语义搜索等多个领域发挥着至关重要的作用。为了进一步挖掘知识图谱中的潜在信息并支持各种机器学习任务，知识图谱嵌入（KnowledgeGraph Embedding，简称KGE）方法应运而生，其目标在于将图中的实体和关系映射到连续的向量空间中。KGE的发展推动了链接预测的实现，即预测图谱中的潜在实体关系。同时，KGE在关系抽取、知识图谱补全、语义搜索、问答系统、推荐系统、多模态信息检索及知识图谱可视化等任务中展现了其不可或缺的作用，为知识的发现、整合和应用奠定了坚实的基础。
KGE的发展可大致划分为几个类别：平移模型，如TransE（TranslatingEmbeddings，翻译嵌入），强调关系的平移性质；语义匹配模型，如DistMult（Distance-based Multivariate Models，基于距离的多元模型）和ComplEx（Complex Embeddings，复数嵌入），通过实体和关系的语义匹配来学习知识图谱的表示；以及图神经网络模型，如R-GCN（Relational Graph Convolutional Networks，关系图卷积网络）和GraphSAGE（GraphSample and Aggregated，图采样和聚合节点嵌入），利用图神经网络捕获实体和关系的复杂模式和上下文信息。尽管如此，如何有效捕获知识图谱中的丰富语义和复杂结构进而学习到高质量的知识图谱表示仍是KGE算法面临的一个重要挑战。因此，本发明提出一种基于Transformer的关系模式自适应对比学习知识图谱嵌入方法，旨在有效地学习实体和关系的嵌入表示。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明通过提供一种基于Transformer的关系模式自适应对比学习知识图谱嵌入方法、终端设备和计算机可读存储介质，旨在有效地学习实体和关系的嵌入表示。
为实现上述目的，本发明提供一种基于Transformer的关系模式自适应对比学习知识图谱嵌入方法，所述基于Transformer的关系模式自适应对比学习知识图谱嵌入方法包括以下：
将知识图谱输入改进的Triple2Path模块，所述改进的Triple2Path模块基于设定的概率转移函数将知识图谱转换为关系路径；
根据所述关系路径的关系模式，生成所述关系路径对应的锚点样本，以及将所述关系路径中的实体或关系进行替换，生成所述关系路径对应的负样本；
将所述关系路径、所述锚点样本以及所述负样本输入设定的损失函数，构造对比损失；
将所述关系路径进行随机掩码，并将掩码后的所述关系路径输入Transformer模型，构造最小负边距损失；
根据所述对比损失和所述最小负边距损失构造总损失，基于所述总损失训练所述Transformer模型。
可选地，所述将知识图谱输入改进的Triple2Path模块，所述改进的Triple2Path模块基于设定的概率转移函数将知识图谱转换为关系路径的步骤，包括：
从所述知识图谱中随机选定目标三元组；
根据所述目标三元组与下一候选实体之间的最短距离和所述概率转移函数，确定下一实体；
将所述下一实体嵌入所述目标三元组，获得初始关系路径；
将所述初始关系路径看作所述目标三元组，继续执行所述根据所述目标三元组与下一候选实体之间的最短距离和所述概率转移函数，确定下一实体的步骤，直至获得长度为L的所述关系路径。
可选地，所述根据所述关系路径的关系模式，生成所述关系路径对应的锚点样本的步骤，包括：
从后往前依次检查所述关系路径中各个三元组的关系之间的关系模式，根据所述关系之间的关系模式，确定各个三元组对应的锚点三元组；
基于所述概率转移函数，将所述锚点三元组转换为所述锚点样本。
可选地，所述基于所述概率转移函数，将所述锚点三元组转换为所述锚点样本的步骤，包括：
根据所述锚点三元组与下一候选实体之间的最短距离和所述概率转移函数，确定下一实体；
将所述下一实体嵌入所述锚点三元组，获得初始关系路径；
将所述初始关系路径看作所述锚点三元组，继续执行所述根据所述锚点三元组与下一候选实体之间的最短距离和所述概率转移函数，确定下一实体的步骤，直至获得长度为L的所述锚点样本。
可选地，所述概率转移函数定义为所有可能的下一个实体的未归一化概率的总和；所述概率转移函数为：
其中，表示当前实体，表示下一个实体，表示上一个实体，表示下一候
选实体；Z为归一化常数，用于确保概率之和为1；是由控制参数和控制
的函数，用于调整下一实体的概率； 是在发生的条件下发生的
概率，即在当前实体移动到实体的概率；
所述为：
其中，t表示当前三元组，表示当前三元组和下一候选实体在路径上的最短距
离。
所述关系模式包括对称关系、反对称关系、逆反关系和组合关系。
可选地，所述将所述关系路径中的实体或关系进行替换，生成所述关系路径对应的负样本的步骤，包括：
从其他关系路径中随机选定目标实体或目标关系；
将所述关系路径中的所述实体替换为所述目标实体，生成所述关系路径对应的所述负样本，或者将所述关系路径中的所述关系替换为所述目标关系，生成所述关系路径对应的所述负样本。
可选地，所述对比损失函数为：
其中，表示关系路径的向量表示；表示锚点样本的向量表示；表示负样本
的向量表示；表示关系路径和锚点样本之间的距离；表示关系路径和
负样本之间的距离；为设定阈值；为设定间隔值。
可选地，所述将所述关系路径进行随机掩码，并将掩码后的所述关系路径输入Transformer模型，构造最小负边距损失的步骤，包括：
获取所述Transformer模型输出的所述关系路径中被掩码组件的预测概率分布以及获取所述被掩码组件对应的独热编码；
将所述预测概率分别和所述独热编码输入设定的最小负边距损失函数，构造所述最小负边距损失。
可选地，所述最小负边距损失函数为：
其中，是Transformer模型对于第个被掩码组件的预测概率分布；是关系
路径中被掩码组件的独热编码；是掩码后的关系路径。
可选地，所述根据所述对比损失和所述最小负边距损失构造总损失，基于所述总损失训练所述Transformer模型的步骤，包括：
基于设定的总损失函数将所述对比损失和所述最小负边距损失组合，构造总损失。
所述总损失函数为：
其中，为设定的权衡参数；为对比损失；最小负边距损失。
本发明提出的一种基于Transformer的关系模式自适应对比学习知识图谱嵌入方法，通过将知识图谱转换为关系路径，不仅捕获了实体之间的直接关系，还揭示了它们之间的潜在语义关联和间接交互，解决了Transformer模型无法直接处理知识图谱数据的问题；通过根据关系路径中不同的关系模式生成锚点样本，并使用实体或关系替换的负采样方法构造负样本，构造对比损失，以捕获更加丰富的关系信息；通过对关系路径进行掩码，以增强Transformer模型对知识图谱中隐含关系的捕获能力，使得训练后的Transformer模型能够有效地学习实体和关系的嵌入表示。
附图说明
图1为本发明基于Transformer的关系模式自适应对比学习知识图谱嵌入方法的实施例的流程示意图；
图2为本发明涉及的基于Transformer的关系模式自适应对比学习知识图谱嵌入方法的模型架构图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
KGE的发展可大致划分为几个类别：平移模型，如TransE（TranslatingEmbeddings，翻译嵌入），强调关系的平移性质；语义匹配模型，如DistMult（Distance-based Multivariate Models，基于距离的多元模型）和ComplEx（Complex Embeddings，复数嵌入），通过实体和关系的语义匹配来学习知识图谱的表示；以及图神经网络模型，如R-GCN（Relational Graph Convolutional Networks，关系图卷积网络）和GraphSAGE（GraphSample and Aggregated，图采样和聚合节点嵌入），利用图神经网络捕获实体和关系的复杂模式和上下文信息。尽管如此，如何有效捕获知识图谱中的丰富语义和复杂结构进而学习到高质量的知识图谱表示仍是KGE算法面临的一个重要挑战。因此，本发明提出一种基于Transformer的关系模式自适应对比学习知识图谱嵌入方法，旨在有效地学习实体和关系的嵌入表示。
本发明提出一种基于Transformer的关系模式自适应对比学习知识图谱嵌入方法，其主要解决步骤包括以下：
通过将知识图谱转换为关系路径，不仅捕获了实体之间的直接关系，还揭示了它们之间的潜在语义关联和间接交互，解决了Transformer模型无法直接处理知识图谱数据的问题；通过根据关系路径中不同的关系模式生成锚点样本，并使用实体或关系替换的负采样方法构造负样本，构造对比损失，以捕获更加丰富的关系信息；通过对关系路径进行掩码，以增强Transformer模型对知识图谱中隐含关系的捕获能力，使得训练后的Transformer模型能够有效地学习实体和关系的嵌入表示。
为了更好地理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整地传达给本领域的技术人员。
参照图1，在本发明基于Transformer的关系模式自适应对比学习知识图谱嵌入方法的一实施例中，所述一种基于Transformer的关系模式自适应对比学习知识图谱嵌入方法包括以下步骤：
步骤S10：将知识图谱输入改进的Triple2Path模块，所述改进的Triple2Path模块基于设定的概率转移函数将知识图谱转换为关系路径；
在本实施例中，由于知识图谱本身是一种图结构，Transformer无法直接对知识图谱数据进行处理。本发明基于改进的Triple2Path（Triple to Path，三元组到路径）模块，将知识图谱转换为各个关系路径，以捕获实体之间的直接关系和揭示知识图谱中各实体之间的潜在语义关联和间接交互。转换后的关系路径能够直接作为Transformer模型的输入，从而解决了Transformer无法直接处理知识图谱数据的问题。
可以理解的是，知识图谱由各个三元组组成，三元组可表示为，
其中，为头实体，为关系，为尾实体。
可选地，改进的Triple2Path模块可通过从知识图谱中随机选定目标三元组，根据目标三元组与下一候选实体之间的最短距离和设定的概率转移函数，确定下一实体。从而将下一实体嵌入目标三元组，获得初始关系路径。之后将初始关系路径看作目标三元组，继续执行所述根据所述三元组与下一候选实体之间的最短距离和所述概率转移函数，确定下一实体的步骤，直至获得长度为L的关系路径。
在本实施例中，下一实体是嵌入目标三元组的尾部。Triple2Path模块的目的是对
任意给定的目标三元组，通过随机游走生成长度为L的各个关系路径。
可选地，概率转移函数定义为所有可能的下一个实体的未归一化概率的总和；所述概率转移函数为：
其中，表示当前实体，表示下一个实体，表示上一个实体，表示下一候
选实体；Z为归一化常数，用于确保概率之和为1；是由控制参数和控制
的函数，用于调整下一实体的概率； 是在发生的条件下发生的
概率，即在当前实体移动到实体的概率；
所述为：
其中，t表示当前三元组，表示当前三元组和下一候选实体在路径上的最短距
离。
Triple2Path模块基于上述的概率转移函数，在每一步游走中，从知识图谱中的任
意一个实体出发，选择下一个实体并记录途径的关系，最终生成条长度为的关系路径：。
可选地，Triple2Path模块中的和作为重要的控制参数，决定了游走的偏向性，
参数决定了游走是否更倾向于返回到先前的节点，而参数决定了游走是否更倾向于探
索新的节点。的取值范围可设置为。然而由于p和q的取值与模型的
表现有明确的相关性，当和的取值都较小时，意味着游走策略更偏向于频繁地回到先前
的节点并少量探索新节点，此时模型表现不佳；当和的取值较大时，模型的表现相对提
高，这暗示了它能够更好地探索和学习图谱中的复杂关系。用户可根据需求，具体设置控制
参数p和q的取值，本实施例对称不做具体限定。
可选地，关系路径的长度和数量直接决定了关系路径中包含知识的丰富程度。一个长度更长的关系路径可能包含更多的上下文信息，而更多数量的关系路径可能为模型提供了更多样的知识路径。本发明对于相对简单的数据集，可为关系路径设置较长的长度，有助于捕捉更多的上下文信息。对应复杂的数据集，可为关系路径设置较短的长度。而对于关系路径的数量需要着重避免导致模型的过拟合，可通过设置关系路径的数量最值，避免用户设置关系路径的数量时超过数量最值，从而导致模型的过拟合。
步骤S20：根据所述关系路径的关系模式，生成所述关系路径对应的锚点样本，以及将所述关系路径中的实体或关系进行替换，生成所述关系路径对应的负样本；
在本实施例中，关系路径的关系模式包括但不限于对称关系、反对称关系、逆反关系和组合关系。
可选地，可通过从后往前依次检查关系路径中各个三元组的关系之间的关系模式，进而根据关系之间的关系模式，确定各个三元组对应的锚点三元组，然后基于概率转移函数，将锚点三元组转换为锚点样本。可以理解的是，锚点样本和负样本均是一种关系路径。
可选地，对于任意关系路径，可按照对称关系、逆关系、组合关系的顺序，从后往前检查其中的关系模式，如果以上关系模式均不存在，则关系路径中均为反对称关系。依据检查到的关系模式来生成锚点样本。
具体地，每一种关系的关系模式可表示如下：
关系r是对称关系：
关系r是反对称关系：
关系r1和r2是逆反关系：
关系r1是由关系r2和关系r3的组合关系：
具体地，假设关系路径为。则不同关系模式生成的锚点三
元组为：
当中为对称关系，根据对称关系的定义，三元组和均成立，则即为锚点三元组。进而可沿着获得另一条新的关系路径，即锚点样本。
当中的和存在逆反关系，根据逆反关系的定义，三元组成立
且存在关系使得三元组也成立，则即可锚点三元组。进而可沿着获得另一条新的关系路径，即锚点样本。
当中的和存在组合关系，根据组合关系的定义，三元组与成立且存在关系使得三元组成立，则即为锚
点三元组。同样的以三元组为起点，随机游走获得新的关系路径，即锚点样本。
当中的为反对称关系时，根据反对称关系的定义，三元组成立
时不成立，则替换关系路径中的关系为，从继续沿着随机
游走获得新关系序列，即锚点样本。
其中，所有的均为通过随机游走获得的。
可选地，从其他关系路径中随机选定目标实体或目标关系，然后将关系路径中的实体替换为目标实体，进而生成关系路径对应的所述负样本，或者将关系路径中的关系替换为目标关系，进而生成关系路径对应的负样本。
具体地，假设关系路径为。可从实体、关系集合中随机选取
一个不同于当前关系路径中的实体或关系，并将其替换为关系路径中的任意实体或关
系得到负样本或。
步骤S30：将所述关系路径、所述锚点样本以及所述负样本输入设定的损失函数，构造对比损失；
在本实施例中，对比损失函数为：
其中，表示关系路径的向量表示；表示锚点样本的向量表示；表示负样本
的向量表示；表示关系路径和锚点样本之间的距离；表示关系路径和
负样本之间的距离；为设定阈值；为设定间隔值。
部分允许模型对那些距离超过阈值的负样本不再考虑，防止模型对
那些已经很远的负样本继续“惩罚”；确保正样本与锚点样本之间的距离不仅要小于正样
本与负样本之间的距离，还至少要小一个固定的间隔，鼓励模型将正样本对靠得更近，同
时将负样本对拉得更远。
步骤S40：将所述关系路径进行随机掩码，并将掩码后的所述关系路径输入Transformer模型，构造最小负边距损失；
在本实施例中，Transformer模型会根据输入的关系路径，确定知识图谱的嵌入表示后，将嵌入表示作为输出结果进行输出。可以理解的是，Transformer隐藏层的最后一层即为知识图谱的嵌入表示。本发明训练阶段会选择关系路径，从而将选择的关系路径的进行随机掩码后，输入Transformer模型，以增强Transformer模型对知识图谱中隐含关系的捕获能力，解决知识图谱中的信息不完整的问题。
可选地，在对选择的关系路径中选择掩码一个节点时，不总是简单地替换为标记。可将80%的时间使用替换，10%的时间使用随机实体或关系替换，10%
的时间保留原始节点。
可选地，可通过获取Transformer模型输出的关系路径中被掩码组件的预测概率分布以及获取被掩码组件对应的独热编码（one-hot编码），进而将预测概率分别和独热编码输入设定的最小负边距损失函数，构造最小负边距损失。
最小负边距损失函数为：
其中，是Transformer模型对于第个被掩码组件的预测概率分布；是关系
路径中被掩码组件的独热编码；是掩码后的关系路径。
需要说明的是，将掩码后的关系路径作为输入传递到Transformer的Encoder（编码器）中，由于Transformer的自注意力机制，它可以考虑路径中的所有实体和关系的上下文来预测被掩盖的节点，对于每个被掩盖的组件，模型的目标是最大化其真实组件的对数似然。
步骤S50：根据所述对比损失和所述最小负边距损失构造总损失，基于所述总损失训练所述Transformer模型。
在本实施例中，通过基于设定的总损失函数将对比损失和最小负边距损失组合，构造总损失。进而将总损失在Transformer模型和改进的Triple2Path模块中进行反向传播，以使Transformer模型和改进的Triple2Path模块不断根据总损失进行学习更新，直至收敛。收敛后即可将Transformer模型和改进的Triple2Path模块投入使用。
总损失函数为：
其中，为设定的权衡参数；为对比损失；最小负边距损失。
为方便理解本发明的模型架构，参考图2，图2为本发明涉及的基于Transformer的关系模式自适应对比学习知识图谱嵌入方法的模型架构图。其中，(a)表示知识图谱，(b)表示改进的Triple2Path模块，(c)表示样本构建过程。其中，(c)中的Positive表示正样本即关系路径，Anchor表示锚点样本，Negtive表示负样本。(d)表示掩码以及将掩码后的关系路径输入Transformer模型的过程。
进一步的，参照表1，本发明按照模型使用的方法将基线模型划分四种类型，并采用FB15K-237和WN18RR作为验证的数据集，比较在每种基线模型中本发明的模型架构与现有的模型之间的性能差异。从表1中观察到，基于Transformer和注意力的方法的表现普遍优于基于平移距离模型、语义匹配模型和图神经网络的方法，这与近年Transformer在各种任务中的卓越表现相一致。与基线相比，本发明在两个数据集上的表现均有一定的竞争力；在FB15K-237数据集上，本发明展现了较为卓越的性能。具体而言，MRR值为0.380，居于所有评估模型的前列，尤其在Hit@1和Hit@3指标上，该模型达到了0.323和0.437，达到了最优水平，相较于次优分别提升了4.2%，2.9%，凸显出其在预测准确度方面的优越性。在WN18RR数据集的实验中，本发明的MRR为0.498，其在Hit@1、Hit@3和Hit@10指标上的表现与顶尖模型如HittER和TCKGE仍然相当接近。综上所述，本发明在两大数据集上均展现了稳健且高效的性能，验证了其在链接预测任务上的有效性。
在本实施例提供的技术方案中，通过将知识图谱转换为关系路径，不仅捕获了实体之间的直接关系，还揭示了它们之间的潜在语义关联和间接交互，解决了Transformer模型无法直接处理知识图谱数据的问题；通过根据关系路径中不同的关系模式生成锚点样本，并使用实体或关系替换的负采样方法构造负样本，构造对比损失，以捕获更加丰富的关系信息；通过对关系路径进行掩码，以增强Transformer模型对知识图谱中隐含关系的捕获能力，使得训练后的Transformer模型能够有效地学习实体和关系的嵌入表示。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备（可以是电脑、服务器）执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种基于Transformer的关系模式自适应对比学习知识图谱嵌入方法，其特征在于，所述基于Transformer的关系模式自适应对比学习知识图谱嵌入方法包括：
将知识图谱输入改进的Triple2Path模块，所述改进的Triple2Path模块基于设定的概率转移函数将知识图谱转换为关系路径；
根据所述关系路径的关系模式，生成所述关系路径对应的锚点样本，以及将所述关系路径中的实体或关系进行替换，生成所述关系路径对应的负样本；
将所述关系路径、所述锚点样本以及所述负样本输入设定的损失函数，构造对比损失；
将所述关系路径进行随机掩码，并将掩码后的所述关系路径输入Transformer模型，构造最小负边距损失；
根据所述对比损失和所述最小负边距损失构造总损失，基于所述总损失训练所述Transformer模型；
所述将知识图谱输入改进的Triple2Path模块，所述改进的Triple2Path模块基于设定的概率转移函数将知识图谱转换为关系路径的步骤，包括：
从所述知识图谱中随机选定目标三元组；
根据所述目标三元组与下一候选实体之间的最短距离和所述概率转移函数，确定下一实体；
将所述下一实体嵌入所述目标三元组，获得初始关系路径；
将所述初始关系路径看作所述目标三元组，继续执行所述根据所述目标三元组与下一候选实体之间的最短距离和所述概率转移函数，确定下一实体的步骤，直至获得长度为L的所述关系路径；
所述根据所述关系路径的关系模式，生成所述关系路径对应的锚点样本的步骤，包括：
从后往前依次检查所述关系路径中各个三元组的关系之间的关系模式，根据所述关系之间的关系模式，确定各个三元组对应的锚点三元组；
基于所述概率转移函数，将所述锚点三元组转换为所述锚点样本；
所述基于所述概率转移函数，将所述锚点三元组转换为所述锚点样本的步骤，包括：
根据所述锚点三元组与下一候选实体之间的最短距离和所述概率转移函数，确定下一实体；
将所述下一实体嵌入所述锚点三元组，获得初始关系路径；
将所述初始关系路径看作所述锚点三元组，继续执行所述根据所述锚点三元组与下一候选实体之间的最短距离和所述概率转移函数，确定下一实体的步骤，直至获得长度为L的所述锚点样本;
每一种关系的关系模式可表示如下：
关系r是对称关系：
；
关系r是反对称关系：
；
关系r1和r2是逆反关系：
；
关系r1是由关系r2和关系r3的组合关系：
；
假设关系路径为，则不同关系模式生成的锚点三元组为：
当中为对称关系，根据对称关系的定义，三元组和均成立，则即为锚点三元组，进而可沿着获得另一条新的关系路径，即锚点样本；
当中的和存在逆反关系，根据逆反关系的定义，三元组成立且存
在关系使得三元组也成立，则即可锚点三元组，进而可沿着获
得另一条新的关系路径，即锚点样本；
当中的和存在组合关系，根据组合关系的定义，三元组与成立且存在关系使得三元组成立，则即为锚
点三元组，同样的以三元组为起点，随机游走获得新的关系路径，即锚点样本；
当中的为反对称关系时，根据反对称关系的定义，三元组成立时不成立，则替换关系路径中的关系为，从继续沿着随机游
走获得新关系序列，即锚点样本；
其中，所有的均为通过随机游走获得的，e1、e2和e3均表示实体。
2.如权利要求1所述的方法，其特征在于，所述概率转移函数定义为所有可能的下一个实体的未归一化概率的总和；所述概率转移函数为：
；
其中，表示当前实体，/>表示下一个实体，/>表示上一个实体，/>表示下一候选实体；Z为归一化常数，用于确保概率之和为1；/>是由控制参数/>和控制参数/>控制的函数，用于调整下一实体的概率；/>是/>在/>发生的条件下发生的概率，即在当前实体/>移动到实体/>的概率；
所述为：
；
其中，t表示当前三元组，表示当前三元组和下一候选实体在路径上的最短距离。
3.如权利要求1所述的方法，其特征在于，所述关系模式包括对称关系、反对称关系、逆反关系和组合关系。
4.如权利要求1所述的方法，其特征在于，所述将所述关系路径中的实体或关系进行替换，生成所述关系路径对应的负样本的步骤，包括：
从其他关系路径中随机选定目标实体或目标关系；
将所述关系路径中的所述实体替换为所述目标实体，生成所述关系路径对应的所述负样本，或者将所述关系路径中的所述关系替换为所述目标关系，生成所述关系路径对应的所述负样本。
5.如权利要求1所述的方法，其特征在于，所述对比损失函数为：
；
其中，表示关系路径的向量表示；/>表示锚点样本的向量表示；/>表示负样本的向量表示；/>表示关系路径和锚点样本之间的距离；/>表示关系路径和负样本之间的距离；/>为设定阈值；/>为设定间隔值。
6.如权利要求1所述的方法，其特征在于，所述将所述关系路径进行随机掩码，并将掩码后的所述关系路径输入Transformer模型，构造最小负边距损失的步骤，包括：
获取所述Transformer模型输出的所述关系路径中被掩码组件的预测概率分布以及获取所述被掩码组件对应的独热编码；
将所述预测概率分别和所述独热编码输入设定的最小负边距损失函数，构造所述最小负边距损失。
7.如权利要求6所述方法，其特征在于，所述最小负边距损失函数为：
；
其中，是Transformer模型对于第/>个被掩码组件的预测概率分布；/>是关系路径中被掩码组件的独热编码；/>是掩码后的关系路径。
8.如权利要求1所述的方法，其特征在于，所述根据所述对比损失和所述最小负边距损失构造总损失，基于所述总损失训练所述Transformer模型的步骤，包括：
基于设定的总损失函数将所述对比损失和所述最小负边距损失组合，构造总损失。
9.如权利要求8所述的方法，其特征在于，所述总损失函数为：
；
其中，为设定的权衡参数；/>为对比损失；/>最小负边距损失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410255249.0A CN117851615B (zh) | 2024-03-06 | 2024-03-06 | 一种基于Transformer的关系模式自适应对比学习知识图谱嵌入方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410255249.0A CN117851615B (zh) | 2024-03-06 | 2024-03-06 | 一种基于Transformer的关系模式自适应对比学习知识图谱嵌入方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117851615A CN117851615A (zh) | 2024-04-09 |
| CN117851615B true CN117851615B (zh) | 2024-05-03 |
Family
ID=90529405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410255249.0A Active CN117851615B (zh) | 2024-03-06 | 2024-03-06 | 一种基于Transformer的关系模式自适应对比学习知识图谱嵌入方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117851615B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111026875A (zh) * | 2019-11-26 | 2020-04-17 | 中国人民大学 | 一种基于实体描述和关系路径的知识图谱补全方法 |
| CN112818137A (zh) * | 2021-04-19 | 2021-05-18 | 中国科学院自动化研究所 | 基于实体对齐的多源异构知识图谱协同推理方法及装置 |
| KR20210114256A (ko) * | 2020-03-10 | 2021-09-23 | 연세대학교 산학협력단 | 지식 그래프를 이용한 상황 인지형 다중 문장 관계 추출 방법 및 장치 |
| CN114117075A (zh) * | 2021-11-30 | 2022-03-01 | 中山大学 | 基于语义对齐及对称结构编码的知识图谱补全方法及装置 |
| CN115438189A (zh) * | 2022-08-30 | 2022-12-06 | 西安理工大学 | 融合实体描述与路径信息的知识图谱表示学习模型的方法 |
| CN116383412A (zh) * | 2023-06-05 | 2023-07-04 | 中国电子科技集团公司信息科学研究院 | 基于知识图谱的功能点扩增方法和系统 |
-
2024
- 2024-03-06 CN CN202410255249.0A patent/CN117851615B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111026875A (zh) * | 2019-11-26 | 2020-04-17 | 中国人民大学 | 一种基于实体描述和关系路径的知识图谱补全方法 |
| KR20210114256A (ko) * | 2020-03-10 | 2021-09-23 | 연세대학교 산학협력단 | 지식 그래프를 이용한 상황 인지형 다중 문장 관계 추출 방법 및 장치 |
| CN112818137A (zh) * | 2021-04-19 | 2021-05-18 | 中国科学院自动化研究所 | 基于实体对齐的多源异构知识图谱协同推理方法及装置 |
| CN114117075A (zh) * | 2021-11-30 | 2022-03-01 | 中山大学 | 基于语义对齐及对称结构编码的知识图谱补全方法及装置 |
| CN115438189A (zh) * | 2022-08-30 | 2022-12-06 | 西安理工大学 | 融合实体描述与路径信息的知识图谱表示学习模型的方法 |
| CN116383412A (zh) * | 2023-06-05 | 2023-07-04 | 中国电子科技集团公司信息科学研究院 | 基于知识图谱的功能点扩增方法和系统 |
Non-Patent Citations (12)
| Title |
|---|
| CoKE: Contextualized Knowledge Graph Embedding;Quan Wang 等;《arxiv》;20200430;1-10 * |
| KBGAN: Adversarial Learning for Knowledge Graph Embeddings;Liwei Cai 等;《arxiv》;20180416;1-11 * |
| Knowledge Graph Embedding: A Survey of Approaches and Applications;Quan Wang 等;《 IEEE Transactions on Knowledge and Data Engineering》;20171231;2724 - 2743 * |
| Reinforced Anchor Knowledge Graph Generation for News Recommendation Reasoning;Danyang Liu 等;《ACM SIGKDD Conference on Knowledge Discovery & Data Mining》;20210831;1055–1065 * |
| 基于HARP框架的农业知识图谱表示模型研究;陈彩铭 等;《农业图书情报学报》;20231017;66-77 * |
| 基于双层随机游走的关系推理算法;刘峤 等;《计算机学报》;20161125;1275-1290 * |
| 基于图像融合的表情识别研究;孙洁;《自动化技术与应用》;20221219;72-76 * |
| 基于知识图谱关系路径的多跳智能问答模型研究;张元鸣 等;《电子学报》;20231221;3092-3099 * |
| 序列特征与学习过程融合的知识追踪模型;李子杰 等;《计算机工程》;20231130;13 * |
| 物联网能力知识模型与知识图谱推理的研究与实现;罗声悦;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190815;I136-242 * |
| 融合实体描述与关系路径信息的知识图谱嵌入模型;翟社平 等;《小型微型计算机系统》;20231110;8 * |
| 面向链接预测的知识图谱嵌入技术研究与应用;颜超一;《中国优秀硕士学位论文全文数据库信息科技辑》;20240215;I138-2040 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117851615A (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10956464B2 (en) | Natural language question answering method and apparatus | |
| CN111538819B (zh) | 一种基于文档集多跳推理的问答系统的构建方法 | |
| CN112015868B (zh) | 基于知识图谱补全的问答方法 | |
| Bi et al. | Unrestricted multi-hop reasoning network for interpretable question answering over knowledge graph | |
| Ye et al. | Generalized knowledge distillation via relationship matching | |
| CN115982338A (zh) | 一种基于查询路径排序的领域知识图谱问答方法及系统 | |
| CN113111178B (zh) | 无监督的基于表示学习的同名作者消歧方法及装置 | |
| CN117851615B (zh) | 一种基于Transformer的关系模式自适应对比学习知识图谱嵌入方法 | |
| CN112417170A (zh) | 面向不完备知识图谱的关系链接方法 | |
| CN116628303A (zh) | 一种基于提示学习的半结构化网页属性值抽取方法和系统 | |
| Li et al. | Reinforcement learning with dual attention guided graph convolution for relation extraction | |
| CN114579605B (zh) | 表格问答数据处理方法、电子设备及计算机存储介质 | |
| CN115658845A (zh) | 一种适用于开源软件供应链的智能问答方法及装置 | |
| Hirchoua et al. | β-random walk: Collaborative sampling and weighting mechanisms based on a single parameter for node embeddings | |
| CN116595125A (zh) | 一种基于知识图检索的开放域问答方法 | |
| CN115238705A (zh) | 语义解析结果重排序方法及系统 | |
| CN114997360A (zh) | 神经架构搜索算法的演化参数优化方法、系统及存储介质 | |
| CN114969279A (zh) | 一种基于层次图神经网络的表格文本问答方法 | |
| CN114637855A (zh) | 基于知识图谱的搜索方法、装置、计算机设备及存储介质 | |
| Yang et al. | HSRec: Hierarchical self-attention incorporating knowledge graph for sequential recommendation | |
| Tang et al. | A dynamic answering path based fusion model for KGQA | |
| CN112307219B (zh) | 网站搜索用词汇数据库更新方法、系统及计算机存储介质 | |
| Zuluaga Cajiao et al. | Graph-based similarity for document retrieval in the biomedical domain | |
| CN117151052B (zh) | 一种基于大语言模型和图算法的专利查询报告生成方法 | |
| Zhao et al. | Research on multi-hop question answering algorithm based on knowledge graph |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |