CN112860910B - 基于关系旋转和实体旋转的知识图谱嵌入方法和装置 - Google Patents

基于关系旋转和实体旋转的知识图谱嵌入方法和装置 Download PDF

Info

Publication number
CN112860910B
CN112860910B CN202110138762.8A CN202110138762A CN112860910B CN 112860910 B CN112860910 B CN 112860910B CN 202110138762 A CN202110138762 A CN 202110138762A CN 112860910 B CN112860910 B CN 112860910B
Authority
CN
China
Prior art keywords
entity
rotation
tail
embedded
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110138762.8A
Other languages
English (en)
Other versions
CN112860910A (zh
Inventor
谭真
黄旭倩
赵翔
唐九阳
曾维新
李欣奕
王吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110138762.8A priority Critical patent/CN112860910B/zh
Publication of CN112860910A publication Critical patent/CN112860910A/zh
Application granted granted Critical
Publication of CN112860910B publication Critical patent/CN112860910B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及一种基于关系旋转和实体旋转的知识图谱嵌入方法和装置。所述方法包括：利用命名实体工具从训练文本中提取三元组，将三元组嵌入至高维复向量空间中，得到关系旋转尾实体；根据关系旋转尾实体和高维尾实体，确定关系旋转距离函数，将三元组嵌入至点空间，根据第一距离和所述第二距离，得到实体旋转评分函数，构建嵌入模型，以及根据关系旋转距离函数和实体旋转评分函数构建嵌入模型的评价函数，根据三元组和评价函数训练嵌入模型，得到训练好的嵌入模型，利用命名实体工具从待嵌入文本中提取待嵌入三元组，将待嵌入三元组输入训练好的嵌入模型，得到嵌入结果。采用本方法能够进行准确的知识图谱嵌入。

Description

基于关系旋转和实体旋转的知识图谱嵌入方法和装置
技术领域
本申请涉及计算机技术领域，特别是涉及一种基于关系旋转和实体旋转的知识图谱嵌入方法和装置。
背景技术
知识图谱嵌入(Knowledge Graph Embedding, KGE)是近年来知识图谱补全研究的热点之一，它致力于学习实体和关系的低维表示。这些分布式实体和关系表示可以进一步用于检测知识图谱中缺失的事实。到目前为止，已经提出了许多KGE模型，如TransE、TransH、NTN，它们采用点向空间（point-wise space）来表示实体和关系。特别地，TransH通过引入超平面使实体在涉及到不同关系时具有分布式表示，从而可以表征一对多、多对一和多对多关系。然而，TransH不能捕获不同的关系模式。例如知识图谱包含三种关系模式，即对称/反对称(是……的兄弟)、逆关系(是……的父亲和父亲是)和组合关系(是……的妻子、有孩子和父亲是)，以及多元关系：一对多(是……的父亲)和多对一(父亲是)。知识图谱表示的目的是学习实体和关系的分布式表示。这些表示可以进一步用于执行链路预测任务，目标是在已知实体和关系的情况下预测未知实体。存在是……的妻子、有孩子、父亲是等的组成关系，这些关系在现实知识图谱中很常见。然而，TransH无法描述这些关系。因此，TransH在链路预测（link prediction）任务中的有效性受到了限制。
为了在一个模型中同时建模关系模式和多元关系，一个直观的想法就是整合TransH和RotatE两个模型。然而，如果TransH和RotatE结合，一方面会极大地增加模型的复杂性，降低计算效率。另一方面，这两种模型的结合并没有真正起到互补的作用，反而容易导致模型效果变差。
发明内容
基于此，有必要针对上述技术问题，提供一种能够嵌入效果差问题的基于关系旋转和实体旋转的知识图谱嵌入方法、装置、计算机设备和存储介质。
一种基于关系旋转和实体旋转的知识图谱嵌入方法，所述方法包括：
利用命名实体工具从训练文本中提取三元组；所述三元组包括：头实体、尾实体和关系；所述头实体和尾实体均为推理对象，所述关系为推理对象之间的关系，所述三元组为文本数据，所述头实体为人名或公司名，所述尾实体为人名或公司名；
将所述头实体和所述尾实体嵌入至高维复向量空间中，得到高维头实体和高维尾实体，根据所述高维头实体和所述关系的嵌入，得到关系旋转尾实体：，其中，/>表示Hadamard积，头实体/>和尾实体/>嵌入至高维复向量空间中为/>，/>，对于，/>，/>为/>中的元素，/>表示关系旋转尾实体；根据所述关系旋转尾实体和所述高维尾实体，确定关系旋转距离函数：/>；其中，所述关系的嵌入表示的模量恒定为1；
将所述头实体、所述尾实体和所述关系嵌入至点空间，得到点空间头实体、点空间尾实体和点空间关系：：，其中，头实体/>、尾实体/>和关系/>映射到点向空间嵌入表示为/>；其中，点空间头实体和点空间尾实体的第一距离等于点空间关系的第二距离；根据所述第一距离和所述第二距离，得到实体旋转评分函数：/>；
构建嵌入模型，以及根据所述关系旋转距离函数和所述实体旋转评分函数构建所述嵌入模型的评价函数：；
根据所述三元组和所述评价函数训练所述嵌入模型，得到训练好的嵌入模型：根据所述评价函数构建损失函数为：
其中，表示第i个负三元组，/>为s型函数，/>为固定裕度，n表示负三元组的总数，/>为：
其中，表示采样权重；根据所述损失函数训练所述嵌入模型，得到训练好的嵌入模型；
利用命名实体工具从待嵌入文本中提取待嵌入三元组，将所述待嵌入三元组输入训练好的嵌入模型，得到嵌入结果；
根据所述嵌入结果进行链路预测，获得所述预测结果；所述预测结果包括预测头实体、预测尾实体或预测关系，所述预测头实体为人名或公司名，所述预测尾实体为人名或公司名。
一种基于关系旋转和实体旋转的知识图谱嵌入装置，所述装置包括：
三元组提取模块，用于利用命名实体工具从训练文本中提取三元组；所述三元组包括：头实体、尾实体和关系；所述头实体和尾实体均为推理对象，所述关系为推理对象之间的关系，所述三元组为文本数据，所述头实体为人名或公司名，所述尾实体为人名或公司名；
关系旋转模块，用于将所述头实体和所述尾实体嵌入至高维复向量空间中，得到高维头实体和高维尾实体，根据所述高维头实体和所述关系的嵌入，得到关系旋转尾实体：，其中，/>表示Hadamard积，头实体/>和尾实体/>嵌入至高维复向量空间中为，/>，对于/>，/>，/>为/>中的元素，/>表示关系旋转尾实体；根据所述关系旋转尾实体和所述高维尾实体，确定关系旋转距离函数：/>；其中，所述关系的嵌入表示的模量恒定为1；
实体旋转模块，用于将所述头实体、所述尾实体和所述关系嵌入至点空间，得到点空间头实体、点空间尾实体和点空间关系：，其中，头实体/>、尾实体/>和关系映射到点向空间嵌入表示为/>；其中，点空间头实体和点空间尾实体的第一距离等于点空间关系的第二距离；根据所述第一距离和所述第二距离，得到实体旋转评分函数：/>；
模型训练模块，用于构建嵌入模型，以及根据所述关系旋转距离函数和所述实体旋转评分函数构建所述嵌入模型的评价函数：；根据所述三元组和所述评价函数训练所述嵌入模型，得到训练好的嵌入模型：根据所述评价函数构建损失函数为：
其中，表示第i个负三元组，/>为s型函数，/>为固定裕度，n表示负三元组的总数，/>为：
其中，表示采样权重；根据所述损失函数训练所述嵌入模型，得到训练好的嵌入模型；
嵌入模块，用于利用命名实体工具从待嵌入文本中提取待嵌入三元组，将所述待嵌入三元组输入训练好的嵌入模型，得到嵌入结果；
根据所述嵌入结果进行链路预测，获得所述预测结果；所述预测结果包括预测头实体、预测尾实体或预测关系，所述预测头实体为人名或公司名，所述预测尾实体为人名或公司名。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
利用命名实体工具从训练文本中提取三元组；所述三元组包括：头实体、尾实体和关系；所述头实体和尾实体均为推理对象，所述关系为推理对象之间的关系，所述三元组为文本数据，所述头实体为人名或公司名，所述尾实体为人名或公司名；
将所述头实体和所述尾实体嵌入至高维复向量空间中，得到高维头实体和高维尾实体，根据所述高维头实体和所述关系的嵌入，得到关系旋转尾实体：，其中，/>表示Hadamard积，头实体/>和尾实体/>嵌入至高维复向量空间中为/>，/>，对于，/>，/>为/>中的元素，/>表示关系旋转尾实体；根据所述关系旋转尾实体和所述高维尾实体，确定关系旋转距离函数：/>；其中，所述关系的嵌入表示的模量恒定为1；
将所述头实体、所述尾实体和所述关系嵌入至点空间，得到点空间头实体、点空间尾实体和点空间关系：，其中，头实体/>、尾实体/>和关系/>映射到点向空间嵌入表示为/>；其中，点空间头实体和点空间尾实体的第一距离等于点空间关系的第二距离；根据所述第一距离和所述第二距离，得到实体旋转评分函数：/>；
构建嵌入模型，以及根据所述关系旋转距离函数和所述实体旋转评分函数构建所述嵌入模型的评价函数：；
根据所述三元组和所述评价函数训练所述嵌入模型，得到训练好的嵌入模型：根据所述评价函数构建损失函数为：
其中，表示第i个负三元组，/>为s型函数，/>为固定裕度，n表示负三元组的总数，/>为：
其中，表示采样权重；根据所述损失函数训练所述嵌入模型，得到训练好的嵌入模型；
利用命名实体工具从待嵌入文本中提取待嵌入三元组，将所述待嵌入三元组输入训练好的嵌入模型，得到嵌入结果；
根据所述嵌入结果进行链路预测，获得所述预测结果；所述预测结果包括预测头实体、预测尾实体或预测关系，所述预测头实体为人名或公司名，所述预测尾实体为人名或公司名。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
利用命名实体工具从训练文本中提取三元组；所述三元组包括：头实体、尾实体和关系；所述头实体和尾实体均为推理对象，所述关系为推理对象之间的关系，所述三元组为文本数据，所述头实体为人名或公司名，所述尾实体为人名或公司名；
将所述头实体和所述尾实体嵌入至高维复向量空间中，得到高维头实体和高维尾实体，根据所述高维头实体和所述关系的嵌入，得到关系旋转尾实体：，其中，/>表示Hadamard积，头实体/>和尾实体/>嵌入至高维复向量空间中为/>，/>，对于，/>，/>为/>中的元素，/>表示关系旋转尾实体；根据所述关系旋转尾实体和所述高维尾实体，确定关系旋转距离函数：/>；其中，所述关系的嵌入表示的模量恒定为1；
将所述头实体、所述尾实体和所述关系嵌入至点空间，得到点空间头实体、点空间尾实体和点空间关系：，其中，头实体/>、尾实体/>和关系/>映射到点向空间嵌入表示为/>；其中，点空间头实体和点空间尾实体的第一距离等于点空间关系的第二距离；根据所述第一距离和所述第二距离，得到实体旋转评分函数：/>；
构建嵌入模型，以及根据所述关系旋转距离函数和所述实体旋转评分函数构建所述嵌入模型的评价函数：；
根据所述三元组和所述评价函数训练所述嵌入模型，得到训练好的嵌入模型：根据所述评价函数构建损失函数为：
其中，表示第i个负三元组，/>为s型函数，/>为固定裕度，n表示负三元组的总数，/>为：
其中，表示采样权重；根据所述损失函数训练所述嵌入模型，得到训练好的嵌入模型；
利用命名实体工具从待嵌入文本中提取待嵌入三元组，将所述待嵌入三元组输入训练好的嵌入模型，得到嵌入结果；
根据所述嵌入结果进行链路预测，获得所述预测结果；所述预测结果包括预测头实体、预测尾实体或预测关系，所述预测头实体为人名或公司名，所述预测尾实体为人名或公司名。
上述基于关系旋转和实体旋转的知识图谱嵌入方法、装置、计算机设备和存储介质，将关系看作是头部实体到尾部实体的旋转。通过关系的旋转，它可以建模和推断所有的关系模式，包括对称/反对称、逆关系和组合关系，但是关系旋转部分忽略了多元关系，因此设计了实体旋转部分，将头实体和尾实体的距离限制为与关系相同的距离，从而提取三元组的交互信息。值得注意的是实体旋转部分只限制头尾实体之间的距离，但对头尾实体的数量没有限制。因此，头尾实体都可以旋转，实现对多元关系的建模。这样，头实体和尾实体就不必是一一对应的。只要尾实体与头实体之间的距离足够接近，就可以预测两个尾实体。最后，实体旋转部分可以处理多元关系，与原来的关系旋转相比，这种修改提供了更好的性能。因此，为了同时刻画关系模式和多元关系。
附图说明
图1为一个实施例中基于关系旋转和实体旋转的知识图谱嵌入方法的流程示意图；
图2为一个实施例中嵌入模型的框架图；
图3为一个实施例中基于关系旋转和实体旋转的知识图谱嵌入装置的结构框图；
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于关系旋转和实体旋转的知识图谱嵌入方法，包括以下步骤：
步骤102，利用命名实体工具从训练文本中提取三元组。
三元组包括：头实体、尾实体和关系；头实体和尾实体均为推理对象，关系为推理对象之间的关系，具体的，推理对象是通过命名实体工具从训练文本提取的实体，实体可以是人名、公司名等，关系指的是人与人之间的关系，公司与公司之间的关系，人与公司之间的关系等。
通过命名实体提取的三元组，一定程度上表征了实体与实体之间的关系，然而，对于大量数据处理时，需要处理大量实体之间的关系，从而进行智能推荐、关系推理等工作，然而，大量数据之间关系复杂，通常是建立知识图谱处理，然而，如何将命名实体工具提取的孤立的三元组，嵌入至知识图谱，存在较大的困难，本实施例中，采用机器学习的方式，通过构建模型，在知识图谱嵌入时，取得了较好的效果。
步骤104，将头实体和尾实体嵌入至高维复向量空间中，得到高维头实体和高维尾实体，根据高维头实体和所述关系的嵌入，得到关系旋转尾实体；根据关系旋转尾实体和高维尾实体，确定关系旋转距离函数。
关系的嵌入表示的模量恒定为1。
步骤106，将头实体、尾实体和关系嵌入至点空间，得到点空间头实体、点空间尾实体和点空间关系；根据第一距离和第二距离，得到实体旋转评分函数。
其中，点空间头实体和点空间尾实体的第一距离等于点空间关系的第二距离。
步骤108，构建嵌入模型，以及根据关系旋转距离函数和实体旋转评分函数构建嵌入模型的评价函数。
步骤110，根据三元组和评价函数训练嵌入模型，得到训练好的嵌入模型。
步骤112，利用命名实体工具从待嵌入文本中提取待嵌入三元组，将所述待嵌入三元组输入训练好的嵌入模型，得到嵌入结果；根据所述嵌入结果进行链路预测，获得所述预测结果；所述预测结果包括预测头实体、预测尾实体或预测关系，所述预测头实体为人名或公司名，所述预测尾实体为人名或公司名。
上述基于关系旋转和实体旋转的知识图谱嵌入方法中，将关系看作是头部实体到尾部实体的旋转。通过关系的旋转，它可以建模和推断所有的关系模式，包括对称/反对称、逆关系和组合关系，但是关系旋转部分忽略了多元关系，因此设计了实体旋转部分，将头实体和尾实体的距离限制为与关系相同的距离，从而提取三元组的交互信息。值得注意的是实体旋转部分只限制头尾实体之间的距离，但对头尾实体的数量没有限制。因此，头尾实体都可以旋转，实现对多元关系的建模。这样，头实体和尾实体就不必是一一对应的。只要尾实体与头实体之间的距离足够接近，就可以预测两个尾实体。最后，实体旋转部分可以处理多元关系，与原来的关系旋转相比，这种修改提供了更好的性能。因此，为了同时刻画关系模式和多元关系。
首先，将知识图谱表示为，其中/>，/>和/>分别为实体集合、关系集合和三元组集合。实体的数量为/>，关系的数量为/>，嵌入的维度为/>。三元组表示为，其中/>表示头实体，/>表示关系，/>表示尾实体。加粗的字母/>，/>，/>表示/>的嵌入。为了区分关系旋转部分和实体旋转部分，分别将它们的嵌入表示为/>，/>，/>和/>，/>，。
本发明实施例的整体模型框架如图2所示，包括关系旋转部分和实体旋转部分。以下进行具体说明：
在其中一个实施例中，将头实体和尾实体嵌入至高维复向量空间中，得到高维头实体和高维尾实体，根据高维头实体和关系的嵌入，得到关系旋转尾实体为：
其中，表示Hadamard积，头实体/>和尾实体/>嵌入至高维复向量空间中为，/>，对于/>，/>，/>为/>中的元素，/>表示关系旋转尾实体。
通过上述设置，关系只影响实体嵌入在复向量空间中的相位。
在另一个实施例中，根据关系旋转尾实体和高维尾实体，确定关系旋转距离函数为：
。
关系旋转部分可以很好地建模三种关系模式，但也存在两个问题：（1）仅限制关系来实现头尾实体的旋转，而不限制实体。（2）它可以很好地处理一对一关系，但没有考虑一对多、多对一和多对多关系。
在其中一个实施例中，将头实体、尾实体和关系嵌入至点空间，得到点空间头实体、点空间尾实体和点空间关系，满足：
其中，头实体、尾实体/>和关系/>映射到点向空间嵌入表示为/>。
在这种情况下，头实体和尾实体可以在距离的约束条件下旋转，因此头实体和尾实体不必是一一对应的。相反，一个头实体可以对应多个尾实体，或一个尾实体可以对应多个头实体，或多个头实体可以对应多个尾实体，只要头实体和尾实体之间的距离和相应的关系的距离足够接近。
根据以上分析，在另一个实施例中，根据第一距离和所述第二距离，得到实体旋转评分函数为：
。
通过定义实体的旋转，实体旋转部分可以建模和推断一对多、多对一、多对多的关系。但是，实体旋转部分也存在一些问题。它只对头尾实体进行了约束，而没有对关系进行约束，且没有考虑关系模式。
关系旋转模型和实体旋转模型都只关注关系模式或多元关系某一方面的问题，在模型设计中存在一定的缺陷。但是，这两部分在功能和效果上是可以互补的。随后，将这两种互补的方法集成到一个统一的模型框架中，如图2所示。
嵌入模型MRotatE从两个方面考虑了三元组的特征：关系旋转部分（）和实体旋转部分（/>）。关系旋转和实体旋转部分表征了三元组特征的不同方面，可以联合提取三元组的交互信息，使嵌入模型更加有效。
因此，在一个实施例中，根据关系旋转距离函数和实体旋转评分函数构建嵌入模型的评价函数为：
其中，是Hadamard积，头实体/>和尾实体/>嵌入至高维复向量空间中为/>，，对于/>，/>，/>为/>中的元素，头实体/>、尾实体/>和关系/>映射到点向空间嵌入表示为/>，/>表示关系旋转距离函数，/>表示实体旋转评分函数。
此外，为了验证关系旋转部分和实体旋转部分的有效性，我们创建了一个变种模型，名为加权MRotatE。加权MRotatE的评分函数为：
其中，/>和/>是权重指标。
通过改变和/>的值，可以平衡模型中关系旋转部分和实体旋转部分的权重。在此过程中，可以观察到关系旋转部分和实体旋转部分的作用。
在另一个实施例中，根据评价函数构建损失函数为：
其中，表示评价函数，/>表示第i个负三元组，/>为s型函数，/>为固定裕度，n表示负三元组的总数，/>为：
其中，表示采样权重；
根据损失函数训练所述嵌入模型，得到训练好的嵌入模型。
值得说明的是，为了学习这样的嵌入模型，并鼓励正三元组和负三元组的区分，本发明使用RotatE中带有自对抗训练的负采样损失来优化嵌入模型。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图3所示，提供了一种基于关系旋转和实体旋转的知识图谱嵌入装置，包括：三元组提取模块302、关系旋转模块304、实体旋转模块306、模型训练模块308和嵌入模块310，其中：
三元组提取模块302，用于利用命名实体工具从训练文本中提取三元组；所述三元组包括：头实体、尾实体和关系；所述头实体和尾实体均为推理对象，所述关系为推理对象之间的关系，所述三元组为文本数据，所述头实体为人名或公司名，所述尾实体为人名或公司名；
关系旋转模块304，用于将所述头实体和所述尾实体嵌入至高维复向量空间中，得到高维头实体和高维尾实体，根据所述高维头实体和所述关系的嵌入，得到关系旋转尾实体；根据所述关系旋转尾实体和所述高维尾实体，确定关系旋转距离函数；其中，所述关系的嵌入表示的模量恒定为1；
实体旋转模块306，用于将所述头实体、所述尾实体和所述关系嵌入至点空间，得到点空间头实体、点空间尾实体和点空间关系；其中，点空间头实体和点空间尾实体的第一距离等于点空间关系的第二距离；根据所述第一距离和所述第二距离，得到实体旋转评分函数；
模型训练模块308，用于构建嵌入模型，以及根据所述关系旋转距离函数和所述实体旋转评分函数构建所述嵌入模型的评价函数；根据所述三元组和所述评价函数训练所述嵌入模型，得到训练好的嵌入模型；
嵌入模块310，用于利用命名实体工具从待嵌入文本中提取待嵌入三元组，将所述待嵌入三元组输入训练好的嵌入模型，得到嵌入结果；根据所述嵌入结果进行链路预测，获得所述预测结果；所述预测结果包括预测头实体、预测尾实体或预测关系，所述预测头实体为人名或公司名，所述预测尾实体为人名或公司名。
在其中一个实施例中，关系旋转模块304还用于将所述头实体和所述尾实体嵌入至高维复向量空间中，得到高维头实体和高维尾实体，根据所述高维头实体和所述关系的嵌入，得到关系旋转尾实体为：
其中，表示Hadamard积，头实体/>和尾实体/>嵌入至高维复向量空间中为，/>，对于/>，/>，/>为/>中的元素，/>表示关系旋转尾实体。
在其中一个实施例中，关系旋转模块304还用于根据所述关系旋转尾实体和所述高维尾实体，确定关系旋转距离函数为：
。
在其中一个实施例中，实体旋转模块306还用于将所述头实体、所述尾实体和所述关系嵌入至点空间，得到点空间头实体、点空间尾实体和点空间关系，满足：
其中，头实体、尾实体/>和关系/>映射到点向空间嵌入表示为/>。
在其中一个实施例中，实体旋转模块306还用于根据所述第一距离和所述第二距离，得到实体旋转评分函数为：
。
在其中一个实施例中，模型训练模块308还用于根据所述关系旋转距离函数和所述实体旋转评分函数构建所述嵌入模型的评价函数为：
其中，是Hadamard积，头实体/>和尾实体/>嵌入至高维复向量空间中为/>，，对于/>，/>，/>为/>中的元素，头实体/>、尾实体/>和关系/>映射到点向空间嵌入表示为/>，/>表示关系旋转距离函数，/>表示实体旋转评分函数。
在其中一个实施例中，模型训练模块308还用于根据所述评价函数构建损失函数为：
其中，表示评价函数，/>表示第i个负三元组，/>为s型函数，/>为固定裕度，n表示负三元组的总数，/>为：
其中，表示采样权重；
根据所述损失函数训练所述嵌入模型，得到训练好的嵌入模型。
关于基于关系旋转和实体旋转的知识图谱嵌入装置的具体限定可以参见上文中对于基于关系旋转和实体旋转的知识图谱嵌入方法的限定，在此不再赘述。上述基于关系旋转和实体旋转的知识图谱嵌入装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于关系旋转和实体旋转的知识图谱嵌入方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种基于关系旋转和实体旋转的知识图谱嵌入方法，其特征在于，所述方法包括：
利用命名实体工具从训练文本中提取三元组；所述三元组包括：头实体、尾实体和关系；所述头实体和尾实体均为推理对象，所述关系为推理对象之间的关系，所述三元组为文本数据，所述头实体为人名或公司名，所述尾实体为人名或公司名；
将所述头实体和所述尾实体嵌入至高维复向量空间中，得到高维头实体和高维尾实体，根据所述高维头实体和所述关系的嵌入，得到关系旋转尾实体：，其中，/>表示Hadamard积，头实体/>和尾实体/>嵌入至高维复向量空间中为/>，/>，对于，/>，/>为/>中的元素，/>表示关系旋转尾实体；根据所述关系旋转尾实体和所述高维尾实体，确定关系旋转距离函数：/>；其中，所述关系的嵌入表示的模量恒定为1；
将所述头实体、所述尾实体和所述关系嵌入至点空间，得到点空间头实体、点空间尾实体和点空间关系：，其中，头实体/>、尾实体/>和关系/>映射到点向空间嵌入表示为/>；其中，点空间头实体和点空间尾实体的第一距离等于点空间关系的第二距离；根据所述第一距离和所述第二距离，得到实体旋转评分函数：/>；
构建嵌入模型，以及根据所述关系旋转距离函数和所述实体旋转评分函数构建所述嵌入模型的评价函数：；
根据所述三元组和所述评价函数训练所述嵌入模型，得到训练好的嵌入模型：根据所述评价函数构建损失函数为：
其中，表示第i个负三元组，/>为s型函数，/>为固定裕度，n表示负三元组的总数，/>为：
其中，表示采样权重；根据所述损失函数训练所述嵌入模型，得到训练好的嵌入模型；
利用命名实体工具从待嵌入文本中提取待嵌入三元组，将所述待嵌入三元组输入训练好的嵌入模型，得到嵌入结果；
根据所述嵌入结果进行链路预测，获得所述预测结果；所述预测结果包括预测头实体、预测尾实体或预测关系，所述预测头实体为人名或公司名，所述预测尾实体为人名或公司名。
2.一种基于关系旋转和实体旋转的知识图谱嵌入装置，其特征在于，所述装置包括：
三元组提取模块，用于利用命名实体工具从训练文本中提取三元组；所述三元组包括：头实体、尾实体和关系；所述头实体和尾实体均为推理对象，所述关系为推理对象之间的关系，所述三元组为文本数据，所述头实体为人名或公司名，所述尾实体为人名或公司名；
关系旋转模块，用于将所述头实体和所述尾实体嵌入至高维复向量空间中，得到高维头实体和高维尾实体，根据所述高维头实体和所述关系的嵌入，得到关系旋转尾实体：，其中，/>表示Hadamard积，头实体/>和尾实体/>嵌入至高维复向量空间中为，/>，对于/>，/>，/>为/>中的元素，/>表示关系旋转尾实体；根据所述关系旋转尾实体和所述高维尾实体，确定关系旋转距离函数：/>；其中，所述关系的嵌入表示的模量恒定为1；
实体旋转模块，用于将所述头实体、所述尾实体和所述关系嵌入至点空间，得到点空间头实体、点空间尾实体和点空间关系：，其中，头实体/>、尾实体/>和关系/>映射到点向空间嵌入表示为/>；其中，点空间头实体和点空间尾实体的第一距离等于点空间关系的第二距离；根据所述第一距离和所述第二距离，得到实体旋转评分函数：；
模型训练模块，用于构建嵌入模型，以及根据所述关系旋转距离函数和所述实体旋转评分函数构建所述嵌入模型的评价函数：；根据所述三元组和所述评价函数训练所述嵌入模型，得到训练好的嵌入模型：根据所述评价函数构建损失函数为：
其中，表示第i个负三元组，/>为s型函数，/>为固定裕度，n表示负三元组的总数，/>为：
其中，表示采样权重；根据所述损失函数训练所述嵌入模型，得到训练好的嵌入模型；
嵌入模块，用于利用命名实体工具从待嵌入文本中提取待嵌入三元组，将所述待嵌入三元组输入训练好的嵌入模型，得到嵌入结果；
根据所述嵌入结果进行链路预测，获得所述预测结果；所述预测结果包括预测头实体、预测尾实体或预测关系，所述预测头实体为人名或公司名，所述预测尾实体为人名或公司名。
3.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1所述方法的步骤。
4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1所述的方法的步骤。
CN202110138762.8A 2021-02-01 2021-02-01 基于关系旋转和实体旋转的知识图谱嵌入方法和装置 Active CN112860910B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110138762.8A CN112860910B (zh) 2021-02-01 2021-02-01 基于关系旋转和实体旋转的知识图谱嵌入方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110138762.8A CN112860910B (zh) 2021-02-01 2021-02-01 基于关系旋转和实体旋转的知识图谱嵌入方法和装置

Publications (2)

Publication Number Publication Date
CN112860910A CN112860910A (zh) 2021-05-28
CN112860910B true CN112860910B (zh) 2024-04-09

Family

ID=75987540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110138762.8A Active CN112860910B (zh) 2021-02-01 2021-02-01 基于关系旋转和实体旋转的知识图谱嵌入方法和装置

Country Status (1)

Country Link
CN (1) CN112860910B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111930932A (zh) * 2020-09-25 2020-11-13 中国人民解放军国防科技大学 网络空间安全领域知识图谱表示学习方法和装置
CN112182245A (zh) * 2020-09-28 2021-01-05 中国科学院计算技术研究所 一种知识图谱嵌入模型的训练方法、系统和电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111930932A (zh) * 2020-09-25 2020-11-13 中国人民解放军国防科技大学 网络空间安全领域知识图谱表示学习方法和装置
CN112182245A (zh) * 2020-09-28 2021-01-05 中国科学院计算技术研究所 一种知识图谱嵌入模型的训练方法、系统和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ROTATE: KNOWLEDGE GRAPH EMBEDDING BY RELATIONAL ROTATION IN COMPLEX SPACE;Zhiqing Sun等;International Conference on Learning Representations 2019;20190226;全文 *

Also Published As

Publication number Publication date
CN112860910A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
Rao et al. Encoding physics to learn reaction–diffusion processes
Freiesleben et al. Machine learning and Design of Experiments: Alternative approaches or complementary methodologies for quality improvement?
Sugiyama Statistical reinforcement learning: modern machine learning approaches
Shu et al. A new multi-objective Bayesian optimization formulation with the acquisition function for convergence and diversity
CN107358247A (zh) 一种确定流失用户的方法及装置
Chen et al. MVE-Net: An automatic 3-D structured mesh validity evaluation framework using deep neural networks
Wang et al. Semisupervised incremental support vector machine learning based on neighborhood kernel estimation
Fisher et al. Low rank updates in preconditioning the saddle point systems arising from data assimilation problems
Xiao et al. Optimal expert knowledge elicitation for Bayesian network structure identification
Maboudou-Tchao Change detection using least squares one-class classification control chart
Fu et al. Functional random forests for curve response
Zhan et al. Neural networks for geospatial data
Guzmán‐Ramírez et al. Using the project‐based learning approach for incorporating an FPGA‐based integrated hardware/software tool for implementing and evaluating image processing algorithms into graduate level courses
Xiao et al. Adaptive learning‐based projection method for smoke simulation
Yang et al. A growing model-based OCSVM for abnormal student activity detection from daily campus consumption
Konomi et al. Bayesian Treed Calibration: an application to carbon capture with AX sorbent
CN112860910B (zh) 基于关系旋转和实体旋转的知识图谱嵌入方法和装置
Wei et al. Virtual sensor development for multioutput nonlinear processes based on bilinear neighborhood preserving regression model with localized construction
Zhang et al. Research on high-dimensional model representation with various metamodels
Ma et al. A two-stage causality method for time series prediction based on feature selection and momentary conditional independence
Ling et al. Financial Crisis Prediction Based on Long‐Term and Short‐Term Memory Neural Network
Aliyu et al. Deep Learning for Multivariate Prediction of Building Energy Performance of Residential Buildings.
Garcia-Tenorio et al. Analysis of the ROA of an anaerobic digestion process via data-driven Koopman operator
Maria Antony et al. FDM data driven U-Net as a 2D Laplace PINN solver
Zhang et al. A complex system health state assessment method with reference value optimization for interpretable BRB

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant