CN112148883A - 一种知识图谱的嵌入表示方法及相关设备 - Google Patents

一种知识图谱的嵌入表示方法及相关设备 Download PDF

Info

Publication number
CN112148883A
CN112148883A CN201910583845.0A CN201910583845A CN112148883A CN 112148883 A CN112148883 A CN 112148883A CN 201910583845 A CN201910583845 A CN 201910583845A CN 112148883 A CN112148883 A CN 112148883A
Authority
CN
China
Prior art keywords
entity
embedded representation
entities
relationship
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910583845.0A
Other languages
English (en)
Other versions
CN112148883B (zh
Inventor
吴丹萍
李秀星
国硕
刘冬
贾岩涛
王建勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Huawei Technologies Co Ltd
Original Assignee
Tsinghua University
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Huawei Technologies Co Ltd filed Critical Tsinghua University
Priority to CN201910583845.0A priority Critical patent/CN112148883B/zh
Priority to PCT/CN2020/096898 priority patent/WO2021000745A1/zh
Publication of CN112148883A publication Critical patent/CN112148883A/zh
Priority to US17/563,411 priority patent/US20220121966A1/en
Application granted granted Critical
Publication of CN112148883B publication Critical patent/CN112148883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/247—Thesauruses; Synonyms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Machine Translation (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Document Processing Apparatus (AREA)

Abstract

本申请实施例公开了一种知识图谱的嵌入表示方法及相关设备，所述方法包括：可以从预设的知识库中获取目标知识图谱的M个实体中每个实体的N个相关实体，以及每个相关实体对应的K个概念；接着确定每个实体与该实体的每个相关实体之间的语义相关度、以及根据对应的K个概念确定每个相关实体的第一实体嵌入表示；然后根据第一实体嵌入表示和语义相关度，对实体/关系的嵌入表示进行建模，并结合注意力机制和预设的模型训练方法对模型进行训练，得到实体/关系的嵌入表示。采用本申请实施例，可以捕获实体的背景内容、实现实体的语义扩展，提高嵌入表示模型在实体之间复杂关系下的表示能力、以及知识图谱补全的准确性和全面性。

Description

一种知识图谱的嵌入表示方法及相关设备
技术领域
本申请涉及信息处理领域，尤其涉及一种知识图谱的嵌入表示方法及相关设备。
背景技术
知识图谱是一种高度结构化的信息表现形式，可以用于描述现实世界中各种实体之间的关系。其中，实体为客观存在并可相互区别的事物，例如，人名、地名、电影名称等等。典型的知识图谱由大量的[头实体，实体关系，尾实体]三元组构成，每个三元组表示一个事实。如图1所示，该知识图谱包括的事实三元组有[周杰伦，血型，O型]、[周杰伦，民族，汉族]、 [不能说的秘密，制片人，江志强]、…。目前已有多个大规模、开放领域的知识图谱，如Freebase、WordNet，但是它们距离完备还有很远的距离，然而知识图谱的完备度决定了它的应用价值。为了完善知识图谱，提高其完备度，可以先对已有知识图谱进行的嵌入表示，再基于实体/关系的嵌入表示对该知识图谱进行补全。但是，现有的知识图谱的嵌入表示和补全方法一方面受到图谱的结构稀疏性的限制，另一方面所使用的外部信息特征容易受到文本语料库的规模的影响，从而导致所实现的知识图谱的补全效果不理想。
发明内容
本申请实施例提供了一种知识图谱的嵌入表示方法及相关设备，可以实现实体的语义扩展，从而提高知识图谱中实体之间复杂关系下的表示能力、以及知识图谱补全的准确性和全面性。
第一方面，本申请实施例提供了一种知识图谱补全方法，包括：首先获取目标知识图谱中的M个实体，其中，M个实体包括实体1、实体2、…、实体M，M为大于1的整数；接着从预设的知识库中获取M个实体中实体m的N个相关实体，以及N个相关实体中相关实体n对应的K个概念，N个相关实体包括相关实体1、相关实体2、…、相关实体N，其中，所N和K为不小于1的整数、m＝1,2,3,…,M以及n＝1,2,3…,N，且实体m与该实体放入 N个相关实体之间、以及相关实体n和与之对应的K个概念之间语义相关；其次确定M个实体中每个实体与该实体的每个相关实体之间的语义相关度、以及根据对应的K个概念确定每个相关实体的第一实体嵌入表示；最后根据第一实体嵌入表示和语义相关度，对M个实体和 M个实体之间的实体关系的嵌入表示进行建模，得到嵌入表示模型，并对嵌入表示模型进行训练，得到每个实体的第二实体嵌入表示和实体关系的关系嵌入表示。通过实体-相关实体- 相关实体的相关实体这样的两层信息融合机制来对知识图谱中的实体/关系嵌入表示进行建模，可以有效实现实体的语义扩展，从而提高知识图谱的补全效果。
在一种可能的设计中，可以对相关实体n的K个概念中每个概念进行向量化处理，得到每个概念的词向量；对相关实体n的K个概念的词向量进行平均求和，得到相关实体n的第一实体嵌入表示，n＝1,2,3…,N。其中，通过概念的词向量来表示相关实体，相当于进行从概念到相关实体的第一重信息融合，为从相关实体到实体的第二层信息融合做准备。
在另一种可能的设计中，可以根据语义相关度和N个相关实体的第一实体嵌入表示，确定每个实体对应的一元文本嵌入表示；根据N个相关实体，确定M个实体中每两个实体的共同相关实体；根据语义相关度和共同相关实体的第一实体嵌入表示，确定每两个实体对应的二元文本嵌入表示；根据一元文本嵌入表示和二元文本嵌入表示，确定嵌入表示模型。其中一元文本嵌入表示相关相当于实体的对齐文本的内容的向量化表示，用于捕获实体的背景信息。二元文本嵌入表示则相当于两个实体对应的对齐文本的内容交集的向量化表示，它随着实体的改变而改变、用于对关系进行建模，从而可以实现一对多、多对一和多对多的复杂关系的嵌入表示。
在另一种可能的设计中，可以将一元文本嵌入表示和二元文本嵌入表示映射到相同的向量空间得到语义增强的一元文本嵌入表示和二元文本嵌入表示；根据语义增强的一元文本嵌入表示和语义增强的二元文本嵌入表示，建立嵌入表示模型。由于单个实体对应的一元文本嵌入表示和两个实体对应的二元文本嵌入表示通常不在同一向量空间，增加的计算复杂度，为了克服这一缺陷，可以将这两者映射到同一向量空间。
在另一种可能的设计中，可以将语义相关度作为每个相关实体的第一权重系数；并按照第一权重系数将N个相关实体的第一实体嵌入表示进行加权求和，得到一元文本嵌入表示。其中，语义相关度能在一定程度上反映实体和相关实体之间的关联程度，因此将语义相关度作为权重系数，可以提高信息融合后实体的语义表达的倾向的准确性。
在另一种可能的设计中，将共同相关实体与每两个实体的语义相关度中的最小语义相关度作为共同相关实体的第二权重系数；按照第二权重系数对共同相关实体的第一实体嵌入表示进行加权求和，得到二元文本嵌入表示。其中，二元文本嵌入表示则相当于两个实体对应的对齐文本的内容交集的向量化表示，最小语义相关度可以提高该内容交集的准确性，从而提高保证二元文本嵌入表示的有效性和准确性。
在另一种可能的设计中，确定嵌入表示模型的损失函数；按照预设的训练方法对嵌入表示模型进行训练以使所述损失函数的函数值最小化，从而得到第二实体嵌入表示和所述关系嵌入表示。其中，损失函数表示已知事实三元组头实体和关系之间的和向量与尾实体之间的欧式距离。因此，最小化损失函数的函数值，可以使得该和向量与尾实体最接近，从而实现基于TransE框架的知识图谱的嵌入表示。
在另一种可能的设计中，损失函数的函数值与每个实体和实体关系的嵌入表示、以及一元文本嵌入表示相关联；因此，可以首先对每个实体和实体关系的嵌入表示进行初始化，得到初始实体嵌入表示和初始关系嵌入表示；然后按照注意力机制更新第一权重系数以更新一元文本嵌入表示、以及按照训练方法迭代更新初始实体嵌入表示和初始关系嵌入表示。其中，通过注意力机制可以不断学习相关实体在一元文本嵌入表示中的权重系数，从而不断提高捕获的每个实体的背景内容的准确性，因此结合更新的一元文本嵌入表示来更新初始实体嵌入表示和初始关系嵌入表示可以有效提高最终得到的实体和关系的嵌入表示对知识图谱补全的有益性。
在另一种可能的设计中，目标知识图谱中包括已知事实三元组，已知事实三元组中包括 M个实体中的两个实体、以及一种实体关系；因此得到每个实体的第二实体嵌入表示和实体关系的关系嵌入表示之后，还可以将已知事实三元组所包括的实体关系替换为N个实体之间的其他实体关系、或将已知事实三元组所包括的一个实体替换为N个实体中的其他实体，得到预测事实三元组；并根据预测事实三元组中的实体的第二实体嵌入表示、以及实体关系的关系嵌入表示，确定预测事实三元组的推荐得分；然后根据推荐得分，将预测事实三元组添加到目标知识图谱中。可以提高目标知识图谱的知识覆盖范围，从而提高知识图谱的使用价值。
第二方面，本申请实施例提供了一种知识图谱的嵌入表示装置，该知识图谱的嵌入表示装置被配置为实现上述第一方面中知识图谱的嵌入表示装置所执行的方法和功能，由硬件/软件实现，其硬件/软件包括与上述功能相应的单元。
第三方面，本申请实施例提供了一种知识图谱的嵌入表示设备，包括：处理器、存储器和通信总线，其中，通信总线用于实现处理器和存储器之间连接通信，处理器执行存储器中存储的程序用于实现上述第一方面提供的一种知识图谱的嵌入表示方法中的步骤。
在一种可能的设计中，本申请实施例提供的知识图谱的嵌入表示设备可以包含用于执行上述方法设计中知识图谱的补全装置行为相对应的模块。模块可以是软件和/或是硬件。
第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。
第五方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面的方法。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1是背景技术提供的一种知识图谱的结构示意图；
图2是本申请实施例提供的一种应用软件系统的结构示意图；
图3是本申请实施例提供的一种知识图谱的嵌入表示方法的流程示意图；
图4是本申请另一实施提供的一种知识图谱的嵌入表示方法的流程示意图；
图5是本申请实施例提供的一种知识图谱的补全效果的示意图；
图6是本申请实施例提供的一种知识图谱的嵌入表示装置的结构示意图；
图7是本申请实施例提供的一种知识图谱的嵌入表示设备的结构示意图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。
请参考图2，图2是本申请实施例提供的一种应用软件系统的结构示意图。如图所示，该应用软件系统包括知识图谱补全模块、知识图谱存储模块、查询接口以及知识图谱服务模块。其中，知识图谱补全模块中又可以包括实体/关系嵌入表示单元和实体/关系预测单元。知识图谱服务模块可以基于知识图谱存储模块所存储的知识图谱对外提供智能搜索、智能问答和智能推荐等服务。在该系统中，知识图谱补全模块可以接收外界输入的文本语料库和已知的知识图谱，并根据预设的知识图谱补全方法和文本语料库对已知的知识图谱进行补全，也就是在已知的知识图谱中加入新的事实三元组。其中，实体/关系嵌入表示单元可以对知识图谱中的实体和实体关系进行嵌入表示，其中，知识图谱中的实体和关系都是文本或其他不能作运算的形式，嵌入表示的意思是将每个实体和每种实体关系的语义信息映射到一个多维向量空间，表示成一个向量。实体/关系预测单元可以基于得到的向量推理新的事实三元组，并将新的事实三元组添加到已知知识图谱中。知识图谱存储模块则可以对补全后的已知知识图谱进行存储。知识图谱服务模块则可以通过查询接口将知识图谱存储模块所存储的知识图谱应用于各领域任务。例如，从存储的补全后的已知知识图谱中查询与用户输入的关键词相匹配的信息，并向用户展示。
目前，知识图谱补全模块所使用的知识图谱补全方法可以包括：(1)基于结构信息的方法—从知识图谱中已有的事实三元组中来推理新的三元组，如TransE、TransR模型。在实际运用中发现该方法往往容易受到图谱的结构稀疏性的限制，无法对待补全知识图谱中的复杂实体关系(一对多、多对一关系)进行有效的嵌入表示，从而导致知识图谱的补全效果不佳。 (2)基于信息融合的方法—融合外部信息(即文本语料库)抽取新的实体和新的事实三元组，然而该方法通常只用到了共现词的特征，并且该特征往往容易受到于语料规模的限制，从而导致知识图谱补全结果存在一定的误差。为了解决知识图谱补全效果不理想的问题，本申请实施例提供了以下知识图谱的嵌入表示方法。
请参考图3，图3是本申请实施例提供的一种知识图谱的嵌入表示方法的流程示意图。该方法包括但不限于如下步骤：
S301，获取目标知识图谱中的M个实体。
具体实现中，知识图谱可以看作是包含多个节点的网络图，其中，多个节点之间可以相互连接，每个节点表示一个实体，连接两个节点的边表示被连接的两个实体之间的关系。其中，M为不小于1的整数，M个实体包括实体1、实体2、…、实体M。目标知识图谱可以为任意一个需要进行嵌入表示和信息补全的知识图谱。例如，如图1所示，可以从该目标知识图谱中获取“周杰伦”、“淡江中学”、“台湾”以及“汉族”等实体。
S302，从预设的知识库中获取M个实体中实体m的N个相关实体、以及N个相关实体中相关实体n对应的K个概念。
具体实现中，N和K均为不小于1的整数，N个相关实体包括相关实体1、相关实体2…、相关实体M，且m＝1,2,3,..,M，n＝1,2,3,..,N。知识库中包括大量的文本和页面。首先，可以但不限于利用实体链接技术将目标知识图谱中的每个实体自动链接到知识库中的文本并获取该实体的相关实体，其中，针对目标知识图谱中的某个实体，相关实体是指与该实体语义相关的实体，也可以说是与该实体上下文相关的实体。例如，“张艺谋”和“金陵十三钗”。其中，可用的实体链接技术包括AIDA技术、Doctagger技术以及LINDEN技术。接着，可以将相关实体链接到知识库中的页面，在去掉页面的标点符号、停用词后，可以从该页面中获取相关实体对应的概念，其中，可以但不限于使用wiki工具自动识别页面中的所有概念，再从识别到的概念中抽取人名和地名作为该相关实体对应的概念。例如，相关实体为“大卫”，则“大卫”链接到的对应页面通常为介绍大卫这个人物的基本信息的页面，该页面中包括大卫的出生地为美国夏威夷、毕业院校为哈弗大学、以及大卫的妻子为米歇尔，则可以从该页面中提取地名“美国”、“夏威夷”和“哈弗大学”、以及提取人名“米歇尔”作为相关实体“大卫”对应的4个概念。在知识库领域，概念是比实体覆盖范围略广的指称，大部分情况下也可以将概念直接当作实体、以及将实体直接当作概念，而目前在不同的知识库中是否对概念和实体进行区分、以及如何区分均没有统一的标准。
S303，确定M个实体中每个实体与该实体的每个相关实体之间的语义相关度、以及根据对应的K个概念确定每个相关实体的第一实体嵌入表示。
具体实现中，一方面，可以首先确定目标知识图谱中的第i个实体ei的N个相关实体的实际总数量为E1、以及确定ei的第j个相关实体
Figure BDA0002113303580000051
对应的K个概念的实际总数量为E2。接着，基于E1和E2，可以按照(1)式计算实体ei与相关实体
Figure BDA0002113303580000052
之间的语义相关度yij。
Figure BDA0002113303580000053
，其中，W为预设的知识库中包含的实体的总数量。E1∩E2表示ei的E1个相关实体与
Figure RE-GDA0002259887210000054
的 E2个概念中的文本内容相同实体和概念的数量。例如，ei有“中国”、“华夏”和“文明古国”这3个相关实体、
Figure RE-GDA0002259887210000055
有“中国”这一概念，则ei和
Figure RE-GDA0002259887210000056
分别拥有文本内容均为“中国”的相关实体和概念，即E1∩E2为1。其中，min(a,b)表示求a和b中的最小值，max(a,b)表示求a和 b中的最大值。
需要补充说明的是，在步骤S302中通过实体链接技术通常可以获取到每个实体的R个相关实体，其中，R大于N。因此，可以根据语义相关度从R个相关实体中选取以上所述的N个相关实体。例如，可以按照语义相关度从高到低的顺序将R个相关实体进行排序，然后选取排在前N位的相关实体作为上述N个相关实体。还可以将R个相关实体中语义相关度大于某个预设的阈值的所有相关实体作为上述N个相关实体。
另一方面，可以利用词向量生成模型(如word2vec模型)对K个概念中的每个概念进行向量化处理，得到每个概念的词向量，然后将每个概念的词向量进行平均求和，并将平均求和的结果作为对应相关实体的第一实体嵌入表示。
例如：
Figure BDA0002113303580000057
对应的K个概念的词向量所组成的词向量集合为
Figure BDA0002113303580000058
其中，μ为一个G维的行向量，G的大小可以根据实际场景和/或知识图谱的规模进行设置。则
Figure BDA0002113303580000059
的第一实体嵌入表示
Figure BDA00021133035800000510
可以按照(2)式进行计算。
Figure BDA00021133035800000511
S304，根据第一实体嵌入表示和语义相关度，对M个实体和M个实体之间的实体关系的嵌入表示进行建模，得到嵌入表示模型。
具体实现中，可以将目标知识图谱中的实体ei看作中心实体，ei的M个相关实体为
Figure BDA00021133035800000512
以及
Figure BDA00021133035800000513
的第一实体嵌入表示分别为
Figure BDA00021133035800000514
则嵌入表示模型的建模步骤包括：
(1)、根据
Figure BDA00021133035800000515
以及每个相关实体与中心实体之间的语义相关度yij，计算中心实体ei对应的一元文本嵌入表示n(ei)，其中，可以将语义相关度作为每个相关实体的第一权重系数，再按照第一权重系数对
Figure BDA00021133035800000516
进行加权求和，得到
Figure BDA00021133035800000517
，上式中的系数
Figure BDA00021133035800000518
用来对第一权重系数进行归一化。其中，一元文本嵌入表示可以看作是中心实体ei所链接到的文本也就是相关实体所在的文本的内容的向量化表示。
(2)、根据每个实体的N个相关实体，确定每两个实体之间的共同相关实体。其中，两个实体的共同相关实体可能有一个或多个，也可能没有共同相关实体。例如，实体“张艺谋”的相关实体包括“归来”、“英雄”、“我的父亲母亲”。实体“巩俐”的相关实体包括“归来”、“霸王别姬”，则“张艺谋”和“巩俐”的共同相关实体为“归来”。然后根据每两个实体中的每个实体与共同相关实体的语义相关度、以及共同相关实体第一实体嵌入表示，确定每两个实体对应的二元文本嵌入表示，二元文本嵌入表示可以看作是两个中心实体ei所链接到的文本的内容交集的向量化表示。其中，可以先将共同相关实体与每两个实体的语义相关度中的最小语义相关度作为共同相关实体的第二权重系数。再按照第二权重系数对共同相关实体进行加权求和，并将加权求和的结果作为二元文本嵌入表示。例如，实体ei和ej的共同相关实体包括
Figure BDA0002113303580000061
则ei和ej对应的二元文本嵌入表示n(ei,ej)为
Figure BDA0002113303580000062
其中，yik和yjk分别为第一实体嵌入表示
Figure BDA0002113303580000063
对应的相关实体
Figure BDA0002113303580000064
与ei和ej之间的语义相关度。 min(yik,yjk)即为
Figure BDA0002113303580000065
的第二权重系数，1/Z用于对第二权重系数进行归一化。因此，
Figure BDA0002113303580000066
需要说明的是，当ei和ej没有共同相关实体时，可以将n(ei,ej)置为零向量。
(3)、根据一元文本嵌入表示和二元文本嵌入表示，确定嵌入表示模型。其中，可以基于现有的知识图谱嵌入表示模型—TransE模型，将一元文本嵌入表示和二元文本嵌入表示映射到相同的向量空间，得到语义增强的一元文本嵌入表示和二元文本嵌入表示，将再根据语义增强的一元文本嵌入表示和二元文本嵌入表示，建立嵌入表示模型。考虑到嵌入表示模型同时涉及实体的嵌入表示和关系的嵌入表示，可以从事实三元组的角度来说明建模过程。其中，针对目标知识图谱中的已知事实三元组[h,r,t]，根据上述(1)和(2)两个步骤，可以得到h和t对应的一元文本嵌入表示分别为n(h)、n(t)，以及h和t对应的二元文本嵌入表示 n(h,t)，则根据TransE模型将n(h)、n(t)和n(h,t)进行映射得到，
Figure BDA0002113303580000067
Figure BDA0002113303580000068
Figure BDA0002113303580000069
其中，A和B为预先确定的实体映射矩阵和关系映射矩阵。h、t和r为TransE模型中h、t 和r对应的模型参数，
Figure BDA00021133035800000610
即为n(h)、n(t)对应的语义增强的一元文本嵌入表示、以及
Figure BDA00021133035800000611
即为n(h,t)对应的语义增强的二元文本嵌入表示。
然后，可以继续沿用TransE模型的建模思想，以
Figure BDA00021133035800000612
和
Figure BDA00021133035800000613
为基础，将目标知识图谱的嵌入表示模型建模为
Figure BDA00021133035800000614
为了增强该模型实体/关系嵌入表示的鲁棒性，可以对其中的分量进行正则化约束，使得 ||h||2≤1、||t||2≤1、||r||2≤1、
Figure BDA00021133035800000615
||n(h)*A||2≤1、||n(t)*A||2≤1以及 ||n(h,t)*B||2≤1。其中，||·||2表示·的二范数。
需要说明的是，如式(8)所示，在针对不同的头实体h和/或尾实体t时，
Figure BDA00021133035800000616
具有不同的表示。而传统的TransE模型的损失函数为f′(h,t,r)＝||h+r-t||2，因此相比于传统的TransE 模型，本申请实施例提供的如(9)式所示的嵌入表示模型可以处理一对多、多对一和多对多的复杂关系，其具体原因在于，针对不同的h和t，f(h,t,r)中的
Figure BDA00021133035800000617
(即实体关系)具有不同的表示，而在f′(h,t,r)中r不随h和t而变化。此外，除了TransE模型，还可以使用其他知图谱嵌入表示模型的框架，如TransR、TransH等。其中，TransE、TransR和TransH为Trans 系列模型，Trans系列模型实现的基本思想为：通过不断调整h、r和t对应的模型参数h、t 和r，使h+r尽可能与t相等，即h+r≈t，只是多个模型的损失函数(模型函数)有所不同。
S305，对嵌入表示模型进行训练，得到每个实体的第二实体嵌入表示和实体关系的关系嵌入表示。
具体实现中，可以首先确定嵌入表示模型的损失函数。其中，基于TransE模型的基本思想，可以将本申请实体例提供的如(9)式所示的嵌入表示模型的损失函数确定为
L＝∑(h,r,t)∈S∑(h′,r′,t′)∈S′max(0,f(h,t,r)+λ-f(h′,r′,t′))(10)
，其中，λ为大于0的超参数，S为目标知识图谱中的已知事实三元组组成的正确三元组集合， S′为基于已知事实三元组，人为构造的错误的事实三元组组成的错误三元组集合，例如，[不能说的秘密，制片人，江志强]为已知事实三元组，则根据该已知事实三元组可以与构造错误事实三元组[不能说的秘密，制片人，周杰伦]。
然后，按照预设的训练方法对嵌入表示模型进行训练以使损失函数的函数值最小化，从而得到第二实体嵌入表示和关系嵌入表示。其中，可以但不限于按照梯度下降法对该模型进行训练，即以最小化损失函数的函数值为目标，按照梯度下降法迭代更新模型参数h、t和r 直到损失函数的函数值收敛、或迭代更新的次数大于预设次数。然后，将最后一次更新得到的h、t作为对应的h、t的实体嵌入表示、以及将r作为r的关系嵌入表示。
在本申请实施例中，可以首先获取目标知识图谱中的M个实体；接着从预设的知识库中获取M个实体中实体m的N个相关实体、以及N个相关实体中相关实体n对应的K个概念，其中，m＝1,2,3,…,M、n＝1,2,3,…,N；然后确定M个实体中每个实体与该实体的每个相关实体之间的语义相关度、以及根据对应的K个概念确定每个相关实体的第一实体嵌入表示；最后根据第一实体嵌入表示和语义相关度，对M个实体和M个实体之间的实体关系的嵌入表示进行建模，得到嵌入表示模型，并对嵌入表示模型进行训练，得到每个实体的第二实体嵌入表示和实体关系的关系嵌入表示。在TransE模型的基础上，通过实体-相关实体-相关实体的相关实体这样的的两层信息融合可以现实体和实体关系的语义扩展嵌入表示，使得最终得到的嵌入表示模型能够有效处理知识图谱中一对多、多对一以及多对多等复杂关系。
请参考图4，图4是本申请另一实施例提供的一种知识图谱的嵌入表示方法的流程示意图。该方法包括但不限于如下步骤：
S401，获取目标知识图谱中的M个实体。本步骤与上一实施例中的S301相同，本步骤不再赘述。
S402，从预设的知识库中获取M个实体实体m的N个相关实体，以及N个相关实体中相关实体n对应的的K个概念。本步骤与上一实施例中的S302相同，本步骤不再赘述。
S403，确定M个实体中每个实体与该实体的每个相关实体之间的语义相关度、以及根据对应的K个概念确定每个相关实体的第一实体嵌入表示。本步骤与上一实施例中的S303相同，本步骤不再赘述。
S404，根据第一实体嵌入表示和语义相关度，对M个实体和M个实体之间的实体关系的嵌入表示进行建模，得到嵌入表示模型。本步骤与上一实施例中的S304相同，本步骤不再赘述。
S405，确定嵌入表示模型的损失函数。
具体实现中，可以将嵌入表示模型的损失函数确定为如式(10)所示的函数。其中，联合(6)－(9)式，可知损失函数的函数值不仅与目标知识图谱中的实体h、t的嵌入表示h、t、以及实体关系r的嵌入表示r相关联，还与h、t对应的一元文本嵌入表示n(h)、n(t)、以及h和t对应的二元文本嵌入表示n(h,t)相关联。
S406，对每个实体和实体关系的嵌入表示进行初始化，得到初始实体嵌入表示和初始关系嵌入表示。
具体实现中，可以但不限与对h、t以及r进行任意初始化。例如，可以将h、t以及r每个维度的在0-1之间随意取一个值。并且在对h、t以及r初始化后需要对它们的模进行归一化。
S407，按照注意力机制更新第一权重系数以更新一元文本嵌入表示、以及按照预设的训练方法迭代更新初始实体嵌入表示和初始关系嵌入表示，从而实现对嵌入表示模型的训练，得到每个实体的第二实体嵌入表示和实体关系的关系嵌入表示。
具体实现中，一方面，按照注意力机制更新第一权重系数以更新的一元文本嵌入表示包括：
首先，根据第一权重系数yij，计算βij，
Figure BDA0002113303580000081
其中，tanh表示反正切函数。
Figure BDA0002113303580000082
V、b以及ω均为注意力机制学习到的参数。然后，按照βij更新第一权重系数，得到更新后的第一权重系数αij，
Figure BDA0002113303580000083
，在(10)式中，exp表示以自然常数e＝2.71828为底的指数函数。
其中，在训练嵌入表示模型的过程中，将同时执行注意力机制来学习每个相关实体在表示对应文本的文本内容时的重要程度，并根据每次学习的结果更新每个相关实体在对应文本的一元文本嵌入表示中的权重，即更新式(11)中的参数
Figure BDA0002113303580000084
V、b以及ω。因此βij的值在模型训练过程中是不断更新的，从而αij的值也是不断更新的。
例如：实体“张艺谋”对应的相关实体包括“归来”和“英雄”，则在“张艺谋”对应的主要介绍张艺谋导演的现实主义题材的对齐文本中，通过注意力机制可以逐步学习到“归来”的权重将大于“英雄”的权重。
另一方面，可以按照预设的模型训练方法(如梯度下降法)来迭代更新每个实体的初始实体嵌入表示和每种实体关系的初始关系嵌入表示。
综上所述，嵌入表示模型训练的实质为：以最小化损失函数的函数值为目的，不断更新一元文本嵌入表示n(h)、n(t)、以及实体和实体关系的嵌入表示h、t和r，直到损失函数收敛、或迭代更新的次数大于预设次数。然后，将最后一次更新得到的h、t作为h、t的第二实体嵌入表示、以及将最后一次更新得到r作为r的关系嵌入表示。
可选的，在获得目标知识图谱中的每个实体的第二实体嵌入表示和每种实体关系的关系表示之后，可以基于该嵌入表示对知识图谱进行补全，即在知识图谱中添加新的事实三元组。具体可以包括以下几个步骤：
(1)、将目标知识图谱中的已知事实三元组所包括的实体关系替换为包含于该知识图谱的其他实体关系、或将已知事实三元组所包括的一个实体替换为包含于该知识图谱的其他实体，得到预测事实三元组。
例如，如图1所示，知识图谱包括已知事实三元组[周杰伦，民族，汉族]，则可以将其中的一个实体“周杰伦”替换为该知识图谱中的另一实体“江志强”从而得到预测事实三元组[江志强，民族，汉族]。同理，还可以将“汉族”替换成“台湾”得到另一预测事实三元组[周杰伦，民族，台湾]。
(2)、根据预测事实三元组中的实体的第二实体嵌入表示、以及实体关系的关系嵌入表示，确定预测事实三元组的推荐得分，推荐得分可以用于衡量每个预测事实三元组的预测准确度，也可以看作是预测事实三元组为实际成立的事实三元组的概率。其中，可以将实体/ 实体关系的嵌入表示模型的模型函数(如式(9))作为该模型的得分函数，然后将预测事实三元组中的实体的第二实体嵌入表示、以及实体关系的关系嵌入表示代入得分函数进行计算，并根据计算得到的函数值确定预设事实三元组的推荐得分。其中，在TransE框架中，由于相比于正确的事实三元组，错误的事实三元组的
Figure BDA0002113303580000091
与
Figure BDA0002113303580000092
之间的距离更远，因此将其代入得分函数
Figure BDA0002113303580000093
进行计算得到的函数值相比于正确的事实三元组更大。在此情况下，为了符合一般的推荐逻辑，可以将预设的推荐得分最高可达到分数，也就是推荐得分的满分 (如1分、10分、100分等)减去f(h,t,r)的函数值的差值作为推荐得分。
(3)、根据推荐得分，将预测事实三元组添加到目标知识图谱中。其中，可以将每个预测事实三元组的推荐得分与预设阈值进行比较，并且可以但不限于将推荐得分大于预设阈值的预测事实三元组添加到目标知识图谱中。其中，预设阈值可以为0.8、8或80等。
例如：针对如图1所示的知识图谱，根据得分函数
Figure BDA0002113303580000094
得到预测事实三元组[江志强，民族，汉族]和[周杰伦，民族，台湾]为0.85和0.34，然后由于0.85大于0.8、0.34小于0.8，所以将[江志强，民族，汉族]添加到该知识图谱中，得到如图5所示的补全后的知识图谱。如图所示，在进行补全之前，目标知识图谱中的实体“江志强”和“汉族”之间不存在任何关系，通过实体/关系的嵌入表示则可以推理出它们之间事实存在实体关系“民族”，即通过实体/关系的嵌入表示可以推理出知识图谱中除已有的实体关系之外隐含的实体关系。
可选的，可以首先根据推荐得分对多个预测事实三元组进行排序，其中，可以但不限于按照推荐得分从高到低的顺序对多个预测事实三元组进行排序。然后将排列在前Q位的预测事实三元组添加到目标知识图谱中，Q为不小于1的整数。其中，Q的实际大小可以根据预测事实三元组的总数量来确定。例如，预测事实三元组的总数量为10个，则可以令 Q＝10*20％＝2。
在本申请实施例中，首先获取目标知识图谱中的M个实体；接着从预设的知识库中获取 M个实体中实体m的N个相关实体、以及N个相关实体中相关实体n对应的K个概念，其中，m＝1,2,3,…,M、n＝1,2,3,…,N；然后确定每个实体与该实体的每个相关实体之间的语义相关度、以及根据对应的K个概念确定每个相关实体的第一实体嵌入表示；最后根据第一实体嵌入表示和语义相关度，对M个实体和M个实体之间的实体关系的嵌入表示进行建模，得到嵌入表示模型，最后，按照注意力机制迭代更新所述第一权重系数以更新一元文本嵌入表示、并同时按照预设的模型训练方法迭代更新实体和实体关系的嵌入表示以训练嵌入表示模型，从而得到每个实体的第二实体嵌入表示和实体关系的关系嵌入表示。通过注意力机制可以进一步提高在对齐文本中捕获相关实体特征的能力，从而可以进一步提高实体/关系的嵌入表示效果、以及目标知识图谱的补全的准确性和全面性。
请参考图6，图6是本申请实施例提供的一种知识图谱的嵌入表示装置的结构示意图，如图所示，本申请实施例中的装置包括：
信息获取模块601，用于获取目标知识图谱中的M个实体，M个实体中包括实体1、实体2、…、实体M，M为大于1的整数；
实体对齐模块602，用于从预设的知识库中获取M个实体m的N个相关实体，以及N个相关实体中相关实体n对应的K个概念，N个相关实体包括相关实体1、相关实体2、…、相关实体N，其中，N和K为不小于1的整数、m＝1,2,3,…,M以及n＝1,2,3…,N，且实体m 与N个相关实体之间、以及相关实体n与K个概念之间语义相关；
文本嵌入表示模块603，用于确定M个实体中每个实体与该实体的每个相关实体之间的语义相关度、以及根据对应的K个概念确定每个相关实体的第一实体嵌入表示；
实体/关系建模模块604，用于根据第一实体嵌入表示和语义相关度，对M个实体和所M 个实体之间的实体关系的嵌入表示进行建模，得到嵌入表示模型；
实体/关系建模模块604，还用于对嵌入表示模型进行训练，得到M个实体中每个实体的第二实体嵌入表示和实体关系的关系嵌入表示。
可选的，文本嵌入表示模块603还用于对相关实体n对应的K个概念中每个概念进行向量化处理，得到每个概念的词向量；对该K个概念的词向量进行平均求和，得到相关实体n 的第一实体嵌入表示。
可选的，实体/关系建模模块604还用于根据语义相关度和N个相关实体的第一实体嵌入表示，确定每个实体对应的一元文本嵌入表示；根据N个相关实体，确定M个实体中每两个实体的共同相关实体；根据语义相关度和共同相关实体的第一实体嵌入表示，确定所述每两个实体对应的二元文本嵌入表示；根据一元文本嵌入表示和二元文本嵌入表示，确定所述嵌入表示模型。
可选的，实体/关系建模模块604还用于将一元文本嵌入表示和二元文本嵌入表示映射到相同的向量空间得到语义增强的一元文本嵌入表示和二元文本嵌入表示；根据语义增强的一元文本嵌入表示和语义增强的二元文本嵌入表示，建立嵌入表示模型。
可选的，实体/关系建模模块604还用于将语义相关度作为每个相关实体的第一权重系数；按照第一权重系数将N个相关实体的第一实体嵌入表示进行加权求和，得到一元文本嵌入表示。
可选的，实体/关系建模模块604还用于将共同相关实体与每两个实体的语义相关度中的最小语义相关度作为共同相关实体的第二权重系数；按照第二权重系数对共同相关实体的第一实体嵌入表示进行加权求和，得到二元文本嵌入表示。
可选的，实体/关系建模模块604还用于确定嵌入表示模型的损失函数；按照预设的训练方法对嵌入表示模型进行训练以使损失函数的函数值最小化，从而得到第二实体嵌入表示和关系嵌入表示。
其中，损失函数的函数值与每个实体和所述实体关系的嵌入表示、以及一元文本嵌入表示相关联；
可选的，实体/关系建模模块604还用于：对每个实体和实体关系的嵌入表示进行初始化，得到初始实体嵌入表示和初始关系嵌入表示；
可选的，本申请实施例中的知识图谱的嵌入表示装置还包括注意力计算模块，用于按照注意力机制更新第一权重系数以更新一元文本嵌入表示；
实体/关系建模模块604还用于在更新后的一元文本嵌入表示的基础上，按照训练方法迭代更新初始实体嵌入表示和初始关系嵌入表示。
其中，目标知识图谱中包括已知事实三元组，已知事实三元组中包括M个实体中的两个实体、以及一种实体关系；
本申请实施例中的知识图谱的嵌入表示装置还包括图谱补全模块，用于将已知事实三元组所包括的实体关系替换为N个实体之间的其他实体关系、或将已知事实三元组所包括的一个实体替换为N个实体中的其他实体，得到预测事实三元组；根据预测事实三元组中的实体的第二实体嵌入表示、以及实体关系的关系嵌入表示，确定预测事实三元组的推荐得分；根据推荐得分，将预测事实三元组添加到所述目标知识图谱中。
需要说明的是，各个模块的实现还可以对应参照图3和图4所示的方法实施例的相应描述，执行上述实施例中知识图谱的嵌入表示装置所执行的方法和功能。
请继续参考图7，图7是本申请实施例提供的一种知识图谱的嵌入表示设备的结构示意图。如图所示，该知识图谱的嵌入表示设备可以包括：至少一个处理器701，至少一个通信接口702，至少一个存储器703和至少一个通信总线704。当然，在有些实施方式中，处理器和存储器还可以集成在一起。
其中，处理器701可以是中央处理器单元，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理器和微处理器的组合等等。通信总线704可以是外设部件互连标准PCI总线或扩展工业标准结构EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信总线704用于实现这些组件之间的连接通信。其中，本申请实施例中设备的通信接口702用于与其他网元通信。存储器703可以包括易失性存储器，例如非挥发性动态随机存取内存(NonvolatileRandom Access Memory，NVRAM)、相变化随机存取内存(Phase Change RAM，PRAM)、磁阻式随机存取内存(Magetoresistive RAM，MRAM)等，还可以包括非易失性存储器，例如至少一个磁盘存储器件、电子可擦除可编程只读存储器(Electrically Erasable ProgrammableRead-Only Memory，EEPROM)、闪存器件，例如反或闪存(NOR flash memory)或是反及闪存(NAND flash memory)、半导体器件，例如固态硬盘(Solid State Disk，SSD)等。存储器703可选的还可以是至少一个位于远离前述处理器701的存储装置。存储器703中存储一组程序代码，且处理器701可选的还可以执行存储器703中所存储的程序：
获取目标知识图谱中的M个实体，所述M个实体包括实体1、实体2、…、实体M，所述M为大于1的整数；
从预设的知识库中获取所述M个实体中实体m的N个相关实体，以及所述N个相关实体中相关实体n对应的K个概念，所述N个相关实体包括相关实体1、相关实体2、…、相关实体N，其中，所述N和K为不小于1的整数、m＝1,2,3,…,M以及n＝1,2,3…,N，且所述实体m与所述N个相关实体之间、以及所述相关实体n与所述K个概念之间语义相关；
确定所述M个实体中每个实体与该实体的每个相关实体之间的语义相关度、以及根据对应的K个概念确定每个相关实体的第一实体嵌入表示；
根据所述第一实体嵌入表示和所述语义相关度，对所述M个实体和所述M个实体之间的实体关系的嵌入表示进行建模，得到嵌入表示模型；
对所述嵌入表示模型进行训练，得到所述每个实体的第二实体嵌入表示和所述实体关系的关系嵌入表示。
可选的，处理器701还用于执行如下操作：
对所述相关实体n对应的K个概念中每个概念进行向量化处理，得到所述每个概念的词向量；
对所述相关实体n对应的K个概念的词向量进行平均求和，得到所述相关实体n的第一实体嵌入表示。
可选的，处理器701还用于执行如下操作：
根据所述语义相关度和所述N个相关实体的第一实体嵌入表示，确定所述每个实体对应的一元文本嵌入表示；
根据所述N个相关实体，确定所述M个实体中每两个实体的共同相关实体；
根据所述语义相关度和所述共同相关实体的第一实体嵌入表示，确定所述每两个实体对应的二元文本嵌入表示；
根据所述一元文本嵌入表示和所述二元文本嵌入表示，确定所述嵌入表示模型。
可选的，处理器701还用于执行如下操作：
将所述一元文本嵌入表示和所述二元文本嵌入表示映射到相同的向量空间得到语义增强的一元文本嵌入表示和二元文本嵌入表示；
根据所述语义增强的一元文本嵌入表示和所述语义增强的二元文本嵌入表示，建立所述嵌入表示模型。
可选的，处理器701还用于执行如下操作：
将所述语义相关度作为所述每个相关实体的第一权重系数；
按照所述第一权重系数将所述N个相关实体的第一实体嵌入表示进行加权求和，得到所述一元文本嵌入表示。
可选的，处理器701还用于执行如下操作：
将所述共同相关实体与所述每两个实体的语义相关度中的最小语义相关度作为所述共同相关实体的第二权重系数；
按照所述第二权重系数对所述共同相关实体的第一实体嵌入表示进行加权求和，得到所述二元文本嵌入表示。
可选的，处理器701还用于执行如下操作：
确定所述嵌入表示模型的损失函数；
按照预设的训练方法对所述嵌入表示模型进行训练以使所述损失函数的函数值最小化，从而得到所述第二实体嵌入表示和所述关系嵌入表示。
可选的，所述函数值与所述每个实体和所述实体关系的嵌入表示、以及所述一元文本嵌入表示相关联；
处理器701还用于执行如下操作：
对所述每个实体和所述实体关系的嵌入表示进行初始化，得到初始实体嵌入表示和初始关系嵌入表示；
按照注意力机制更新所述第一权重系数以更新所述一元文本嵌入表示、以及按照所述训练方法迭代更新所述初始实体嵌入表示和所述初始关系嵌入表示。
可选的，所述目标知识图谱中包括已知事实三元组，所述已知事实三元组中包括所述M 个实体中的两个实体、以及一种实体关系；
处理器701还用于执行如下操作：
将所述已知事实三元组所包括的实体关系替换为所述N个实体之间的其他实体关系、或将所述已知事实三元组所包括的一个实体替换为所述N个实体中的其他实体，得到预测事实三元组；
根据所述预测事实三元组中的实体的第二实体嵌入表示、以及实体关系的关系嵌入表示，确定所述预测事实三元组的推荐得分；
根据所述推荐得分，将所述预测事实三元组添加到所述目标知识图谱中。
进一步的，处理器还可以与存储器和收发器相配合，执行上述申请实施例中知识图谱的嵌入表示装置的操作。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程基站。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)) 或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk (SSD))等。
以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (21)

1.一种知识图谱的嵌入表示方法，其特征在于，所述方法包括：
获取目标知识图谱中的M个实体，所述M个实体包括实体1、实体2、…、实体M，所述M为大于1的整数；
从预设的知识库中获取所述M个实体中实体m的N个相关实体，以及所述N个相关实体中相关实体n对应的K个概念，所述N个相关实体包括相关实体1、相关实体2、…、相关实体N，其中，所述N和K为不小于1的整数、m＝1,2,3,…,M以及n＝1,2,3…,N，且所述实体m与所述N个相关实体之间、以及所述相关实体n与所述K个概念之间语义相关；
确定所述M个实体中每个实体与该实体的每个相关实体之间的语义相关度、以及根据对应的K个概念确定每个相关实体的第一实体嵌入表示；
根据所述第一实体嵌入表示和所述语义相关度，对所述M个实体和所述M个实体之间的实体关系的嵌入表示进行建模，得到嵌入表示模型；
对所述嵌入表示模型进行训练，得到所述每个实体的第二实体嵌入表示和所述实体关系的关系嵌入表示。
2.如权利要求1所述的方法，其特征在于，所述根据对应的K个概念，确定每个相关实体的第一实体嵌入表示包括：
对所述相关实体n对应的K个概念中每个概念进行向量化处理，得到所述每个概念的词向量；
对所述相关实体n对应的K个概念的词向量进行平均求和，得到所述相关实体n的第一实体嵌入表示。
3.如权利要求1所述的方法，其特征在于，所述根据所述第一实体嵌入表示和所述语义相关度，对所述M个实体和所述M个实体之间的实体关系的嵌入表示进行建模，得到嵌入表示模型包括：
根据所述语义相关度和所述N个相关实体的第一实体嵌入表示，确定所述每个实体对应的一元文本嵌入表示；
根据所述N个相关实体，确定所述M个实体中每两个实体的共同相关实体；
根据所述语义相关度和所述共同相关实体的第一实体嵌入表示，确定所述每两个实体对应的二元文本嵌入表示；
根据所述一元文本嵌入表示和所述二元文本嵌入表示，建立所述嵌入表示模型。
4.如权利要求3所述的方法，其特征在于，所述根据所述一元文本嵌入表示和所述二元文本嵌入表示，建立所述嵌入表示模型包括：
将所述一元文本嵌入表示和所述二元文本嵌入表示映射到相同的向量空间，得到语义增强的一元文本嵌入表示和语义增强的二元文本嵌入表示；
根据所述语义增强的一元文本嵌入表示和所述语义增强的二元文本嵌入表示，建立所述嵌入表示模型。
5.如权利要求3或4所述的方法，其特征在于，所述根据所述语义相关度和所述N个相关实体的第一实体嵌入表示，确定所述每个实体对应的一元文本嵌入表示包括：
将所述语义相关度作为所述每个相关实体的第一权重系数；
按照所述第一权重系数将所述N个相关实体的第一实体嵌入表示进行加权求和，得到所述一元文本嵌入表示。
6.如权利要求3-5任一项所述的方法，其特征在于，所述根据所述语义相关度和所述共同相关实体的第一实体嵌入表示，确定所述每两个实体对应的二元文本嵌入表示包括：
将所述共同相关实体与所述每两个实体的语义相关度中的最小语义相关度作为所述共同相关实体的第二权重系数；
按照所述第二权重系数对所述共同相关实体的第一实体嵌入表示进行加权求和，得到所述二元文本嵌入表示。
7.如权利要求1-6任一项所述方法，其特征在于，所述对所述嵌入表示模型进行训练，得到所述每个实体的第二实体嵌入表示和所述实体关系的关系嵌入表示包括：
确定所述嵌入表示模型的损失函数；
按照预设的训练方法对所述嵌入表示模型进行训练以使所述损失函数的函数值最小化，从而得到所述第二实体嵌入表示和所述关系嵌入表示。
8.如权利要求7所述的方法，其特征在于，所述函数值与所述每个实体和所述实体关系的嵌入表示、以及所述一元文本嵌入表示相关联；
所述按照预设的训练方法对所述嵌入表示模型进行训练以使所述损失函数的函数值最小化，从而得到所述第二实体嵌入表示和所述关系嵌入表示包括：
对所述每个实体和所述实体关系的嵌入表示进行初始化，得到初始实体嵌入表示和初始关系嵌入表示；
按照注意力机制迭代更新所述第一权重系数以更新所述一元文本嵌入表示、以及按照所述训练方法迭代更新所述初始实体嵌入表示和所述初始关系嵌入表示。
9.如权利要求1-8任一项所述的方法，其特征在于，所述目标知识图谱中包括已知事实三元组，所述已知事实三元组包括所述M个实体中的两个实体、以及一种实体关系；
所述对所述嵌入表示模型进行训练，得到所述每个实体的第二实体嵌入表示和所述实体关系的关系嵌入表示之后，还包括：
将所述已知事实三元组所包括的实体关系替换为所述N个实体之间的其他实体关系、或将所述已知事实三元组所包括的一个实体替换为所述N个实体中的其他实体，得到预测事实三元组；
根据所述预测事实三元组中的实体的第二实体嵌入表示、以及实体关系的关系嵌入表示，确定所述预测事实三元组的推荐得分；
根据所述推荐得分，将所述预测事实三元组添加到所述目标知识图谱中。
10.一种知识图谱的嵌入表示装置，其特征在于，所述装置包括：
信息获取模块，用于获取目标知识图谱中的M个实体，所述M个实体包括实体1、实体2、…、实体M，所述M为大于1的整数；
实体对齐模块，用于从预设的知识库中获取所述M个实体中实体m的N个相关实体，以及所述N个相关实体中相关实体n对应的K个概念，所述N个相关实体包括相关实体1、相关实体2、…、相关实体N，其中，所述N和K为不小于1的整数、m＝1,2,3,…,M以及n＝1,2,3…,N、且所述实体m与所述N个相关实体之间、以及所述相关实体n与所述K概念之间语义相关；
文本嵌入表示模块，用于确定所述M个实体中每个实体与该实体的每个相关实体之间的语义相关度、以及根据对应的K个概念确定每个相关实体的第一实体嵌入表示；
实体/关系建模模块，用于根据所述第一实体嵌入表示和所述语义相关度，对所述M个实体和所述M个实体之间的实体关系的嵌入表示进行建模，得到嵌入表示模型；
所述实体/关系建模模块，还用于对所述嵌入表示模型进行训练，得到所述每个实体的第二实体嵌入表示和所述实体关系的关系嵌入表示。
11.如权利要求10所述的装置，其特征在于，所述文本嵌入表示模块还用于：
对所述相关实体n对应的K个概念中每个概念进行向量化处理，得到所述每个概念的词向量；
对所述相关实体n对应的K个概念的词向量进行平均求和，得到所述相关实体n的第一实体嵌入表示。
12.如权利要求11所述的装置，其特征在于，所述实体/关系建模模块还用于：
根据所述语义相关度和所述N个相关实体的第一实体嵌入表示，确定所述每个实体对应的一元文本嵌入表示；
根据所述N个相关实体，确定所述M个实体中每两个实体的共同相关实体；
根据所述语义相关度和所述共同相关实体的第一实体嵌入表示，确定所述每两个实体对应的二元文本嵌入表示；
根据所述一元文本嵌入表示和所述二元文本嵌入表示，建立所述嵌入表示模型。
13.如权利要求12所述的装置，其特征在于，所述实体/关系建模模块还用于：
将所述一元文本嵌入表示和所述二元文本嵌入表示映射到相同的向量空间，得到语义增强的一元文本嵌入表示和语义增强的二元文本嵌入表示；
根据所述语义增强的一元文本嵌入表示和所述语义增强的二元文本嵌入表示，建立所述嵌入表示模型。
14.如权利要求12或13所述的装置，其特征在于，所述实体/关系建模模块还用于：
将所述语义相关度作为所述每个相关实体的第一权重系数；
按照所述第一权重系数将所述N个相关实体的第一实体嵌入表示进行加权求和，得到所述一元文本嵌入表示。
15.如权利要求12-14任一项所述的装置，其特征在于，所述实体/关系建模模块还用于：
将所述共同相关实体与所述每两个实体的语义相关度中的最小语义相关度作为所述共同相关实体的第二权重系数；
按照所述第二权重系数对所述共同相关实体的第一实体嵌入表示进行加权求和，得到所述二元文本嵌入表示。
16.如权利要求10-15任一项所述的装置，其特征在于，所述实体/关系建模模块还用于：
确定所述嵌入表示模型的损失函数；
按照预设的训练方法对所述嵌入表示模型进行训练以使所述损失函数的函数值最小化，从而得到所述第二实体嵌入表示和所述关系嵌入表示。
17.如权利要求16所述的装置，其特征在于，所述函数值与所述每个实体和所述实体关系的嵌入表示、以及所述一元文本嵌入表示相关联；
所述实体/关系建模模块还用于：
对所述每个实体和所述实体关系的嵌入表示进行初始化，得到初始实体嵌入表示和初始关系嵌入表示；
所述知识图谱的嵌入表示装置还包括注意力计算模块，用于：
按照注意力机制迭代更新所述第一权重系数以更新所述一元文本嵌入表示；
所述实体/关系建模模块还用于：
在更新后的一元文本嵌入表示的基础上，按照所述训练方法迭代更新所述初始实体嵌入表示和所述初始关系嵌入表示。
18.如权利要求10-17任一项所述的装置，其特征在于，所述目标知识图谱中包括已知事实三元组，所述已知事实三元组包括所述M个实体中的两个实体、以及一种实体关系；
所述知识图谱的嵌入表示装置还包括图谱补全模块，用于：
将所述已知事实三元组所包括的实体关系替换为所述N个实体之间的其他实体关系、或将所述已知事实三元组所包括的一个实体替换为所述N个实体中的其他实体，得到预测事实三元组；
根据所述预测事实三元组中的实体的第二实体嵌入表示、以及实体关系的关系嵌入表示，确定所述预测事实三元组的推荐得分；
根据所述推荐得分，将所述预测事实三元组添加到所述目标知识图谱中。
19.一种知识图谱的嵌入表示设备，其特征在于，包括：存储器、通信总线以及处理器，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，用于执行权利要求1-9任一项所述的方法。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行权利要求1-9任一项所述的方法。
21.一种包含指令的计算机程序产品，其特征在于，当其在计算机上运行时，使得计算机执行权利要求1-9任一项所述的方法。
CN201910583845.0A 2019-06-29 2019-06-29 一种知识图谱的嵌入表示方法及相关设备 Active CN112148883B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910583845.0A CN112148883B (zh) 2019-06-29 2019-06-29 一种知识图谱的嵌入表示方法及相关设备
PCT/CN2020/096898 WO2021000745A1 (zh) 2019-06-29 2020-06-18 一种知识图谱的嵌入表示方法及相关设备
US17/563,411 US20220121966A1 (en) 2019-06-29 2021-12-28 Knowledge graph embedding representation method, and related device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910583845.0A CN112148883B (zh) 2019-06-29 2019-06-29 一种知识图谱的嵌入表示方法及相关设备

Publications (2)

Publication Number Publication Date
CN112148883A true CN112148883A (zh) 2020-12-29
CN112148883B CN112148883B (zh) 2024-09-10

Family

ID=73891789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910583845.0A Active CN112148883B (zh) 2019-06-29 2019-06-29 一种知识图谱的嵌入表示方法及相关设备

Country Status (3)

Country Link
US (1) US20220121966A1 (zh)
CN (1) CN112148883B (zh)
WO (1) WO2021000745A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113609311A (zh) * 2021-09-30 2021-11-05 航天宏康智能科技(北京)有限公司 推荐项目的方法和装置
CN117349275A (zh) * 2023-12-04 2024-01-05 中电数创(北京)科技有限公司 一种基于大语言模型的文本结构化方法和系统
CN118193750A (zh) * 2024-03-19 2024-06-14 中国科学院自动化研究所 知识图谱事实错误检测方法、装置、电子设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115270802B (zh) * 2022-09-29 2023-01-03 中科雨辰科技有限公司 一种问题语句的处理方法、电子设备及存储介质
CN115827877B (zh) * 2023-02-07 2023-04-28 湖南正宇软件技术开发有限公司 一种提案辅助并案的方法、装置、计算机设备和存储介质
CN116108162B (zh) * 2023-03-02 2024-03-08 广东工业大学 一种基于语义增强的复杂文本推荐方法及系统
CN116187446B (zh) * 2023-05-04 2023-07-04 中国人民解放军国防科技大学 基于自适应注意力机制的知识图谱补全方法、装置和设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150019462A1 (en) * 2013-07-15 2015-01-15 Senscio Systems Systems and methods for semantic reasoning
CN105824802A (zh) * 2016-03-31 2016-08-03 清华大学 一种获取知识图谱向量化表示的方法以及装置
CN106649550A (zh) * 2016-10-28 2017-05-10 浙江大学 一种基于代价敏感学习的联合知识嵌入方法
CN108304933A (zh) * 2018-01-29 2018-07-20 北京师范大学 一种知识库的补全方法及补全装置
CN108763237A (zh) * 2018-03-21 2018-11-06 浙江大学 一种基于注意力机制的知识图谱嵌入方法
CN109241290A (zh) * 2017-07-10 2019-01-18 华东师范大学 一种知识图谱补全方法、装置与存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391512B (zh) * 2016-05-17 2021-05-11 北京邮电大学 知识图谱预测的方法和装置
US20190122111A1 (en) * 2017-10-24 2019-04-25 Nec Laboratories America, Inc. Adaptive Convolutional Neural Knowledge Graph Learning System Leveraging Entity Descriptions
CN109376249B (zh) * 2018-09-07 2021-11-30 桂林电子科技大学 一种基于自适应负采样的知识图谱嵌入方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150019462A1 (en) * 2013-07-15 2015-01-15 Senscio Systems Systems and methods for semantic reasoning
CN105824802A (zh) * 2016-03-31 2016-08-03 清华大学 一种获取知识图谱向量化表示的方法以及装置
CN106649550A (zh) * 2016-10-28 2017-05-10 浙江大学 一种基于代价敏感学习的联合知识嵌入方法
CN109241290A (zh) * 2017-07-10 2019-01-18 华东师范大学 一种知识图谱补全方法、装置与存储介质
CN108304933A (zh) * 2018-01-29 2018-07-20 北京师范大学 一种知识库的补全方法及补全装置
CN108763237A (zh) * 2018-03-21 2018-11-06 浙江大学 一种基于注意力机制的知识图谱嵌入方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113609311A (zh) * 2021-09-30 2021-11-05 航天宏康智能科技(北京)有限公司 推荐项目的方法和装置
CN117349275A (zh) * 2023-12-04 2024-01-05 中电数创(北京)科技有限公司 一种基于大语言模型的文本结构化方法和系统
CN118193750A (zh) * 2024-03-19 2024-06-14 中国科学院自动化研究所 知识图谱事实错误检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2021000745A1 (zh) 2021-01-07
CN112148883B (zh) 2024-09-10
US20220121966A1 (en) 2022-04-21

Similar Documents

Publication Publication Date Title
US11636264B2 (en) Stylistic text rewriting for a target author
CN112148883A (zh) 一种知识图谱的嵌入表示方法及相关设备
US11227118B2 (en) Methods, devices, and systems for constructing intelligent knowledge base
CN108292310B (zh) 用于数字实体相关的技术
CN107704625B (zh) 字段匹配方法和装置
Garreta et al. Learning scikit-learn: machine learning in python
CN110059160B (zh) 一种端到端的基于上下文的知识库问答方法及装置
CN110704640A (zh) 一种知识图谱的表示学习方法及装置
CN111566654A (zh) 集成知识和自然语言处理的机器学习
CN112860852B (zh) 信息分析方法及装置、电子设备和计算机可读存储介质
JP7457125B2 (ja) 翻訳方法、装置、電子機器及びコンピュータプログラム
WO2021208727A1 (zh) 基于人工智能的文本错误检测方法、装置、计算机设备
CN116601626A (zh) 个人知识图谱构建方法、装置及相关设备
US7725306B2 (en) Efficient phrase pair extraction from bilingual word alignments
US11321362B2 (en) Analysis apparatus, analysis method and program
CN112527970A (zh) 数据字典标准化处理方法、装置、设备及存储介质
WO2023040742A1 (zh) 文本数据的处理方法、神经网络的训练方法以及相关设备
US10296635B2 (en) Auditing and augmenting user-generated tags for digital content
CN111488742A (zh) 用于翻译的方法和装置
CN111125318A (zh) 基于义原-义项信息提升知识图谱关系预测性能的方法
CN110941706A (zh) 答案确定方法及系统
US20230018525A1 (en) Artificial Intelligence (AI) Framework to Identify Object-Relational Mapping Issues in Real-Time
CN111625579B (zh) 一种信息处理方法、装置及系统
WO2024098860A1 (zh) 恢复语法树的方法和相关装置
RU2820953C2 (ru) Способ и сервер для выполнения проблемно-ориентированного перевода

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant