CN111221981B - 知识图谱嵌入模型的训练方法、装置和计算机存储介质 - Google Patents

知识图谱嵌入模型的训练方法、装置和计算机存储介质 Download PDF

Info

Publication number
CN111221981B
CN111221981B CN201911425280.XA CN201911425280A CN111221981B CN 111221981 B CN111221981 B CN 111221981B CN 201911425280 A CN201911425280 A CN 201911425280A CN 111221981 B CN111221981 B CN 111221981B
Authority
CN
China
Prior art keywords
entity
triplet
positive
triples
negative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911425280.XA
Other languages
English (en)
Other versions
CN111221981A (zh
Inventor
李晨曦
荆宁
张红林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911425280.XA priority Critical patent/CN111221981B/zh
Publication of CN111221981A publication Critical patent/CN111221981A/zh
Application granted granted Critical
Publication of CN111221981B publication Critical patent/CN111221981B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种知识图谱嵌入模型的训练方法、装置、计算机可读存储介质和计算机设备，所述方法包括：获取图谱数据中正三元组中的待替换的第一实体；计算第一实体与图谱数据中各个第二实体的语义相似度；确定知识图谱嵌入模型的当前训练迭代次序，根据当前训练迭代次序以及第一实体与各第二实体的语义相似度，调整各第二实体的采样概率；基于各第二实体的采样概率，从第二实体中随机筛选目标实体；将正三元组中的第一实体替换为目标实体，得到负三元组；根据正三元组以及负三元组，对知识图谱嵌入模型进行迭代训练。本申请提供的方案可以实现有助于知识图谱嵌入模型区分那些难以区分的错误三元组，使得模型获得更好的嵌入效果。

Description

知识图谱嵌入模型的训练方法、装置和计算机存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种知识图谱嵌入模型的训练方法、装置、计算机可读存储介质和计算机设备，以及一种基于知识图谱的实体间关系的预测方法。
背景技术
知识图谱嵌入是指将知识图谱中实体和关系映射到低维连续的向量空间，即将图谱三元组(s,p,o)表示为向量(h,r,t)，使得知识图谱数据能够进一步应用于各种任务中，如知识图谱补全、关系提取等。
但是，现有的知识图谱中只存储了有效的正确知识，而没有与之对应有效的错误知识，因而在传统的知识图谱嵌入技术中，特别是知识图谱嵌入模型的训练过程中需要生成负训练样本，负训练样本通常是随机选取的，即使用一个随机实体替换原有实体从而生成负样本。然而随机选取实体替换原有实体而生成的负训练样本大多数情况下是一个易于区分的负例，无法使知识图谱嵌入模型有效的区分语义上相似的正确实体与错误实体，导致训练得到的知识图谱嵌入模型的嵌入性能差，输出的实体向量或关系向量难以准确表示知识图谱中的实体或关系。
发明内容
基于此，有必要针对传统的随机选取实体替换原有实体而生成的负训练样本大多数情况下是一个易于区分的负例，导致训练得到的知识图谱嵌入模型的嵌入性能差的技术问题，提供一种知识图谱嵌入模型的训练方法、装置、计算机可读存储介质和计算机设备。
一种知识图谱嵌入模型的训练方法，包括：
获取图谱数据中正三元组中的待替换的第一实体；
计算所述第一实体与图谱数据中各个第二实体的语义相似度；
确定知识图谱嵌入模型的当前训练迭代次序，根据所述当前训练迭代次序以及所述第一实体与各所述第二实体的语义相似度，调整各所述第二实体的采样概率；
基于各所述第二实体的采样概率，从所述第二实体中随机筛选目标实体；
将所述正三元组中的第一实体替换为所述目标实体，得到负三元组；
根据所述正三元组以及所述负三元组，对知识图谱嵌入模型进行迭代训练。
一种基于知识图谱的实体间关系的预测方法，其特征在于，包括：
获取已知的第一实体以及已知的第二实体；
获取图谱数据中的各个关系类别，根据各所述关系类别、所述第一实体以及所述第二实体，生成与各所述关系类别对应的三元组；
通过知识图谱嵌入模型获取各所述三元组的嵌入向量；其中，所述知识图谱嵌入模型是根据图谱数据中正三元组以及与所述正三元组对应的负三元组进行迭代训练的；所述负三元组是基于图谱数据中正三元组中的待替换的第一实体与图谱数据中第二实体间的语义相似度以及当前训练迭代次序确定的第二实体的采样概率，从所述第二实体中随机筛选目标实体替换所述正三元组中的第一实体得到的；
分别对各所述三元组的嵌入向量进行打分，得到各所述三元组的三元组分值；
根据各所述三元组的三元组分值确定目标三元组，并将所述目标三元组对应的关系类别确定为所述第一实体以及第二实体间的关系类别。
一种知识图谱嵌入模型的训练装置，所述装置包括：
第一实体获取模块，用于获取图谱数据中正三元组中的待替换的第一实体；
语义相似度获取模块，用于计算所述第一实体与图谱数据中各个第二实体的语义相似度；
采样概率获取模块，用于确定知识图谱嵌入模型的当前训练迭代次序，根据所述当前训练迭代次序以及所述第一实体与各所述第二实体的语义相似度，调整各所述第二实体的采样概率；
目标实体确定模块，用于基于各所述第二实体的采样概率，从所述第二实体中随机筛选目标实体；
负三元组获取模块，用于将所述正三元组中的第一实体替换为所述目标实体，得到负三元组；
模型训练模块，用于根据所述正三元组以及所述负三元组，对知识图谱嵌入模型进行迭代训练。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
获取图谱数据中正三元组中的待替换的第一实体；
计算所述第一实体与图谱数据中各个第二实体的语义相似度；
确定知识图谱嵌入模型的当前训练迭代次序，根据所述当前训练迭代次序以及所述第一实体与各所述第二实体的语义相似度，调整各所述第二实体的采样概率；
基于各所述第二实体的采样概率，从所述第二实体中随机筛选目标实体；
将所述正三元组中的第一实体替换为所述目标实体，得到负三元组；
根据所述正三元组以及所述负三元组，对知识图谱嵌入模型进行迭代训练。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
获取图谱数据中正三元组中的待替换的第一实体；
计算所述第一实体与图谱数据中各个第二实体的语义相似度；
确定知识图谱嵌入模型的当前训练迭代次序，根据所述当前训练迭代次序以及所述第一实体与各所述第二实体的语义相似度，调整各所述第二实体的采样概率；
基于各所述第二实体的采样概率，从所述第二实体中随机筛选目标实体；
将所述正三元组中的第一实体替换为所述目标实体，得到负三元组；
根据所述正三元组以及所述负三元组，对知识图谱嵌入模型进行迭代训练。
上述知识图谱嵌入模型的训练方法、装置、计算机可读存储介质和计算机设备，在获取图谱数据中正三元组中的待替换的第一实体后，计算第一实体与图谱数据中各个第二实体的语义相似度；然后确定知识图谱嵌入模型的当前训练迭代次序，根据当前训练迭代次序以及第一实体与各第二实体的语义相似度，调整各第二实体的采样概率；进而基于各第二实体的采样概率，从第二实体中随机筛选目标实体，并将正三元组中的第一实体替换为目标实体，得到负三元组，最后根据正三元组以及负三元组，对知识图谱嵌入模型进行迭代训练。其中，在计算两两实体之间的语义相似度后，针对知识图谱嵌入模型训练过程中的每一次迭代训练，基于两两实体间的语义相似度重新调整实体负采样的概率，从而实现在每一次迭代训练中，自动调整各个实体的负采样概率，使得在知识图谱嵌入模型的训练后期，获取与正三元组中第一实体语义相似度更高的第二实体，并将第二实体对第一实体进行替换以获得负三元组，从而将正三元组以及负三元组作为知识图谱嵌入模型的训练数据对模型进行训练，有助于知识图谱嵌入模型区分那些难以区分的错误三元组，使得模型获得更好的嵌入效果，使得模型输出的实体向量或关系向量的准确性提高。
附图说明
图1为一个实施例中知识图谱嵌入模型的训练方法的应用环境图；
图2为一个实施例中知识图谱嵌入模型的训练方法的流程示意图；
图3为一个实施例中调整各第二实体的采样概率的步骤的流程示意图；
图4为另一个实施例中调整各第二实体的采样概率的步骤的流程示意图；
图5为一个实施例中计算所述第一实体与图谱数据中第二实体的语义相似度步骤的流程示意图；
图6为一个实施例中获取第一实体与各第二实体的共现关系相似度步骤的流程示意图；
图7为一个实施例中获取第一实体与各第二实体的实体类别相似度步骤的流程示意图；
图8为一个实施例中根据正三元组以及负三元组，对知识图谱嵌入模型进行迭代训练步骤的流程示意图；
图9为一个实施例中对知识图谱嵌入模型进行迭代训练的流程示意图；
图10为一个实施例中获取负三元组的流程示意图；
图11为一个实施例中基于知识图谱的实体间关系的预测方法的流程示意图；
图12为一个实施例中知识图谱嵌入模型的训练装置的结构框图；
图13为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
知识图谱，为Google在2012年提出的一种实体概念相互连接而成的语义网络，由节点(实体/属性值)与边(关系/属性)组成。存储形式为三元组：(实体，关系，实体)，符号表示为(s,p,o)；
负采样，指从训练数据中采样未出现过的、错误的三元组，是知识图谱嵌入的重要步骤。对于一个正三元组(s,p,o)，替换尾部实体o为一个新的实体o'，产生新的三元组(s,p,o')，并且该三元组未在训练集出现，则该三元组(s,p,o')为一个负三元组。
图1为一个实施例中知识图谱嵌入模型的训练方法的应用环境图。参照图1，该知识图谱嵌入模型的训练方法应用于一种计算机设备。该计算机设备可以是包括终端或服务器。如图1所示，以该计算机设备是服务器120为例，服务器120获取图谱数据中正三元组中的待替换的第一实体；计算第一实体与图谱数据中各个第二实体的语义相似度；确定知识图谱嵌入模型的当前训练迭代次序，根据当前训练迭代次序以及第一实体与各第二实体的语义相似度，调整各第二实体的采样概率；基于各第二实体的采样概率，从第二实体中随机筛选目标实体；将正三元组中的第一实体替换为目标实体，得到负三元组；服务器120根据正三元组以及负三元组，对知识图谱嵌入模型进行迭代训练，在训练结束后，获得可将图谱数据中的实体或关系转换为实体向量或关系向量的知识图谱嵌入模型。
如图2所示，在一个实施例中，提供了一种知识图谱嵌入模型的训练方法。本实施例主要以该方法应用于上述图1中的服务器120来举例说明。参照图2，该知识图谱嵌入模型的训练方法具体包括如下步骤：
步骤S202，获取图谱数据中正三元组中的待替换的第一实体。
其中，正三元组是指现有知识图谱数据中存储的有效的正确知识，例如(中国，首都，北京)、(韩国，首都，首尔)等。
其中，待替换的第一实体是指在一个正三元组中需要被替换的实体，可以是正三元组中的头部实体，也可以是正三元组中的尾部实体。例如，对于一个正三元组(s,p,o)，替换尾部实体o为一个新的实体o'，产生负三元组(s,p,o')此时，正三元组中的尾部实体o为第一实体。
具体地，服务器获取图谱数据，从图谱数据中抽取一个三元组，并获取这个三元组中的待替换的第一实体。
步骤S204，计算第一实体与图谱数据中各个第二实体的语义相似度。
其中，第二实体是指图谱数据中除第一实体以外的所有实体。在获取到待替换的第一实体后，服务器分别计算第一实体与图谱数据中各个第二实体间的语义相似度。
其中，语义相似度是指第一实体与第二实体两两之间在语义上的相似度，具体可以是利用实体类别信息、关系与实体的共现信息以及实体可出现位置的可能性等信息来计算实体的之间的语义相似度。因此，在一个实施例中，第一实体与图谱数据中各个第二实体的语义相似度，具体可以是先获取第一实体与不同关系类别的共现信息、第二实体与不同关系类别的共现信息、第一实体所属的实体类别以及第二实体所属的实体类别；然后基于第一实体与不同关系类别的共现信息、第二实体与不同关系类别的共现信息，计算第一实体与第二实体间的共现关系相似度，基于第一实体所属的实体类别以及第二实体所属的实体类别，计算第一实体与第二实体的实体类别相似度；最后根据第一实体与第二实体间的共现关系相似度以及实体类别相似度，确定第一实体与第二实体的语义相似度。
步骤S206，确定知识图谱嵌入模型的当前训练迭代次序，根据当前训练迭代次序以及第一实体与各第二实体的语义相似度，调整各第二实体的采样概率。
其中，当前训练迭代次序是指知识图谱嵌入模型迭代训练的次数；采样概率是指第二实体被采样的概率。在获取到第一实体与各个第二实体间的语义相似度后，服务器确定知识图谱嵌入模型当前的训练迭代次序，从而根据当前训练迭代次序以及第一实体与各个第二实体间的语义相似度，调整各个第二实体的采样概率。
在知识图谱嵌入模型进行模型训练过程中，随着模型训练迭代次数的增长，通过选取在语义上与第一实体非常相似的第二实体生成负三元组，可有效使得知识图谱嵌入模型有效的区分语义上非常相似的正确三元组(正三元组)与错误三元组(负三元组)，有效提高知识图谱嵌入模型输出的实体向量或关系向量的准确性。因此，在确定到知识图谱嵌入模型当前的训练迭代次序后，根据当前训练迭代次序以及第一实体与各个第二实体间的语义相似度，调整各个第二实体的采样概率，应该理解的是，当知识图谱嵌入模型当前的训练迭代次序越大，即模型训练进入到训练后期，与第一实体的语义相似度越高的第二实体的采样概率越高，使得与原实体(即第一实体)语义相似度高的第二实体更容易被负采样，使得知识图谱嵌入模型能够有效区分难以区分的负样本，从而能够在知识图谱嵌入模型训练的后期快速收敛到最优解。
具体地，根据当前训练迭代次序以及第一实体与第二实体的语义相似度，调整第二实体的采样概率，具体可以是获取训练迭代总次数，并获取当前训练迭代次数与训练迭代总次数的比值，进而根据当前训练迭代次数与训练迭代总次数的比值，调整第二实体的采样概率。例如，在当前训练迭代次数与训练迭代总次数的比值较接近0时，可以理解的是，知识图谱嵌入模型的训练仍然在训练前期，此时，将与第一实体的语义相似度越高的第二实体的采样概率调整为较低的值，实现对第二实体进行随机采样，使得知识图谱嵌入模型在训练初期能够有效进行模型收敛；在当前训练迭代次数与训练迭代总次数的比值越接近1，可以理解的是，知识图谱嵌入模型的训练逐渐进入到训练后期，此时，将与第一实体的语义相似度越高的第二实体的采样概率调整为较高的值，使得与第一实体语义相似度高的第二实体更容易被采样。
步骤S208，基于第二实体的采样概率，从第二实体中随机筛选目标实体。
其中，在确定到各个第二实体的采样概率后，基于各个第二实体的采样概率，从第二实体中筛选出目标实体。其中，目标实体的数量应该改为两个以上。
步骤S210，将正三元组中的第一实体替换为目标实体，得到负三元组。
其中，在得到目标实体后，将正三元组中的待替换的第一实体替换为目标实体，以获得负三元组。例如，对于一个正三元组(s，p，o)，尾部实体o被替换为目标实体o'后，得到的负三元组为(s，p，o')，其中目标实体o'即为从多个第二实体中筛选出的目标实体。
进一步地，为了提高负三元组的准确性，还可以将负三元组与图谱数据中的正三元组进行一一对比，当负三元组与图谱数据中所有的正三元组均不相同时，将该负三元组确定为有效的负三元组；当负三元组与图谱数据中的某个正三元组相同时，将该负三元组确定为一个无效的负三元组，此时，服务器基于第二实体的采样概率，重新从第二实体中随机筛选出一个目标实体，从而将该目标实体重新替换正三元组中的目标实体，以得到一个新的负三元组。
步骤S212，根据正三元组以及负三元组，对知识图谱嵌入模型进行迭代训练。
其中，在得到正三元组以及正三元组对应的多个负三元组后，将正三元组以及负三元组作为训练样本输入至知识图谱嵌入模型中，对知识图谱嵌入模型进行迭代训练，提高知识图谱嵌入模型的性能，使得知识图谱嵌入模型输出的实体向量或关系向量能够准确表示知识图谱中的实体或关系。
进一步地，在一个实施例中，根据正三元组以及负三元组对知识图谱模型进行迭代训练，具体可以是，分别将正三元组以及负三元组输入至知识图谱模型中，得到正三元组的嵌入向量以及负三元组的嵌入向量；然后利用预设的打分函数分别对正三元组的嵌入向量以及负三元组的嵌入向量进行打分，得到正三元组的分值以及负三元组的分值；得到正三元组以及负三元组的分值后，利用损失函数根据正三元组的分值以及负三元组的分值计算三元组损失值；最后根据三元组损失值对知识图谱嵌入模型中的参数进行调整，使得知识图谱嵌入模型输出的实体向量或关系向量能够准确表示知识图谱中的实体或关系。
例如，图谱数据中包括有1000个正三元组，在获取到各个正三元组对应的5个负三元组，即获得5000个负三元组后，把这6000个三元组作为知识图谱嵌入模型的训练样本输入至知识图谱嵌入模型中，对知识图谱嵌入模型进行一次迭代训练；具体地，在每一次迭代训练中，根据当前训练迭代次序以及正三元组中第一实体与各个第二实体的语义相似度，调整各第二实体的采样概率，从而基于第二实体的采样概率，采样正三元组对应的5个负三元组。也就是说，在每一次迭代训练中，采样得到的负三元组是不同的，当知识图谱嵌入模型当前的训练迭代次序越大，即模型训练进入到训练后期，与第一实体的语义相似度越高的第二实体的采样概率越高，使得与第一实体语义相似度高的第二实体更容易被负采样，使得知识图谱嵌入模型能够有效区分难以区分的负样本。
上述知识图谱嵌入模型的训练方法，在获取图谱数据中正三元组中的待替换的第一实体后，计算第一实体与图谱数据中各个第二实体的语义相似度；然后确定知识图谱嵌入模型的当前训练迭代次序，根据当前训练迭代次序以及第一实体与各第二实体的语义相似度，调整各第二实体的采样概率；进而基于各第二实体的采样概率，从第二实体中随机筛选目标实体，并将正三元组中的第一实体替换为目标实体，得到负三元组，最后根据正三元组以及负三元组，对知识图谱嵌入模型进行迭代训练。其中，在计算两两实体之间的语义相似度后，针对知识图谱嵌入模型训练过程中的每一次迭代训练，基于两两实体间的语义相似度重新调整实体负采样的概率，从而实现在每一次迭代训练中，自动调整各个实体的负采样概率，使得在知识图谱嵌入模型的训练后期，获取与正三元组中第一实体语义相似度更高的第二实体，并将第二实体对第一实体进行替换以获得负三元组，从而将正三元组以及负三元组作为知识图谱嵌入模型的训练数据对模型进行训练，有助于知识图谱嵌入模型区分那些难以区分的错误三元组，使得模型获得更好的嵌入效果，使得模型输出的实体向量或关系向量的准确性提高。
在一个实施例中，如图3所示，根据当前训练迭代次序以及第一实体与各第二实体的语义相似度，调整各第二实体的采样概率的步骤，包括：
步骤S302，获取各第二实体在图谱数据中的出现频率。
步骤S304，根据当前训练迭代次序、第一实体与各第二实体的语义相似度以及各第二实体的出现频率，计算各第二实体的采样概率。
其中，出现频率是指实体在图谱数据中所出现的次数。对于各个第二实体的采样频率的计算，可加入考虑第二实体在图谱数据中出现频率。其中，在获取到各个第二实体在图谱数据中的出现频率后，根据知识图谱嵌入模型的当前训练迭代次序、第一实体与各个第二实体的语义相似度以及各个第二实体的出现频率，计算各个第二实体的采样概率。应该理解是，当知识图谱嵌入模型当前的训练迭代次序越小时，即模型训练处于训练前期，此时，第二实体与第一实体的语义相似度越高对第二实体的采样概率影响较小，服务器采集出现频率较高的第二实体作为目标实体，使得知识图谱嵌入模型能够区分高频的错误三元组；当知识图谱嵌入模型当前的训练迭代次序越大时，即模型训练处于训练后期，此时，第二实体与第一实体的语义相似度越高对第二实体的采样概率影响较大，服务器采集与第一实体的语义相似度越高的第二实体作为目标实体，使得知识图谱嵌入模型能够有效区分难以区分的负样本，实现在知识图谱嵌入模型训练过程中快速收敛到最优解。
进一步地，在一个实施例中，如图4所示，步骤S320根据当前训练迭代次序、第一实体与各第二实体的语义相似度以及各第二实体的出现频率，计算各第二实体的采样概率的步骤，包括：
步骤S304a，获取预设的训练迭代总次数。
步骤S304b，根据当前训练迭代次序以及训练迭代总次数，确定第一实体与各第二实体的语义相似度的第一权重值，以及各第二实体的出现频率的第二权重值；
步骤S304c，根据第一权重值以及第二权重值，计算第一实体与第二实体的语义相似度以及第二实体的出现频率的加权平均值，得到第二实体的采样概率。
其中，训练迭代总次数可以根据不同的图谱数据进行设置的；一般而言，训练迭代总次数可以设置为50次。
其中，服务器在确定到训练迭代总次数后，可计算当前训练迭代次序与训练迭代总次数的比值，确定第一实体与第二实体的语义相似度的第一权重值，以及第二实体的出现频率的第二权重值，进而根据第一权重值以及第二权重值，对第一实体与第二实体的语义相似度以及第二实体的出现频率进行加权平均值的计算，得到第二实体的采样概率。
具体地，对于一个正三元组中的待替换第一实体o，对于图谱数据中各个第二实体o'的采样概率，可通过以下公式(1)获取：
其中，p(o,o')表示对于一个正三元组中的待替换第一实体o，第二实体o'的采样概率；i表示当前训练迭代次序，I表示训练迭代总次数；f(o,o')表示第一实体o与第二实体o'的语义相似度；N(o′)表示第二实体o'的频数；N代表总实体频数，表示第二实体o'的出现频率。
在一个实施例中，将正三元组中的第一实体替换为目标实体，得到负三元组的步骤，包括：将正三元组中的第一实体替换为目标实体，获得替换三元组；当替换三元组与图谱数据中各个三元组均不同，将替换三元组确定为与正三元组对应的负三元组。
其中，将正三元组中的第一实体替换为目标实体，得到替换三元组后，将替换三元组与图谱数据中的正三元组进行一一对比，当替换三元组与图谱数据中所有的正三元组均不相同时，将该替换三元组确定为有效的负三元组，通过将替换三元组与图谱数据中所有的正三元组进行对比，避免图谱数据中的正确知识作为错误知识输入至知识图谱嵌入模型中，作为负样本进行训练，提高知识图谱嵌入模型的嵌入准确性。
进一步地，当替换三元组与图谱数据中的某个三元组相同时，将该替换三元组确定为一个无效的负三元组，此时，服务器基于第二实体的采样概率，重新从第二实体中随机筛选出一个目标实体，从而将该目标实体重新替换正三元组中的目标实体，以得到一个新的替换三元组。
在一个实施例中，如图5所示，计算第一实体与图谱数据中第二实体的语义相似度的步骤，包括：
步骤S502，获取第一实体与各第二实体的共现关系相似度。
其中，第一实体与第二实体的共现关系相似度，是指与第一实体具有共现关系的关系类别与第二实体具有共现关系的关系类别间的相似度，可以利用同时与第一实体、第二实体具有共现关系的关系类别数量，占总的关系类别数量的占比进行表示。第一实体与第二实体的共现关系相似度可有效表征第一实体与第二实体，在实体与关系的共现信息以及实体可出现位置的可能性等方面的相似度。
其中，与某一实体具有共现关系的关系类别，是指在图谱数据的各个三元组中，存在一个三元组(*，p，o')时，关系类别r与实体o'存在共现关系，也就是说，当实体o'可以作为关系r的尾实词出现，即关系r与实体o'存在共现关系。
具体地，获取第一实体与各个第二实体的共现关系相似度，具体可以是先获取与第一实体存在共现关系的关系类别集合，并获取与第二实体存在共现关系的关系类别集合，然后计算两个关系类别集合中相同的关系类别的数量，最后根据相同关系类别的数量与关系类别总数量的比值，确定第一实体与第二实体间的共现关系相似度。
步骤S504，获取第一实体与第二实体的实体类别相似度。
其中，第一实体与第二实体的实体类别相似度，是指第一实体所属的实体类别与第二实体所属的实体类别的相似度，可以利用同时为第一实体以及第二实体所属的实体类别的实体类别数量，占总的实体类别数量的占比进行表示。第一实体与第二实体的实体类别相似度，可有效表征第一实体与第二实体，在实体类别信息这方面的相似度。
具体地，获取第一实体与各个第二实体的实体类别相似度，具体可以是先获取第一实体所属的实体类别集合，并获取第二实体所属类别集合，然后计算两个实体类别集合中相同的实体类别的数量，最后根据相同实体类别的数量与实体类别总数量的比值，确定第一实体与第二实体间的实体类别相似度。
步骤S506，根据共现关系相似度与实体类别相似度，确定第一实体与各第二实体的语义相似度。
其中，在得到第一实体与各个第二实体间的共现关系相似度以及实体类别相似度后，根据共现关系相似度与实体类别相似度，确定第一实体与各第二实体的语义相似度，使得语义相似度可有效表征第一实体与第二实体，在实体类别信息、实体与关系的共现信息以及实体可出现位置的可能性等方面的相似度。
具体地，根据共现关系相似度与实体类别相似度，确定第一实体与各第二实体的语义相似度，具体可以是利用下述公式(2)获取的：
其中，(o,o')表示第一实体与第二实体，f(o,o')表示第一实体o与第二实体o'的语义相似度；r表示三元组中的关系，I(o,o')为一个指示函数，当关系r和实体o'存在共现关系值取1，否则值取0；R(o)表示与第一实体o存在共现关系的关系类别集合，R(o')表示与第二实体o'存在共现关系的关系类别集合；R表示图谱数据中所有关系类别的集合，|R|表示图谱数据中关系类别总数量；T(o)代表第一实体o所属的实体类别的集合，T(o')代表实体o'所属的实体类别的集合；T表示图谱数据中所有实体类别的集合，|T|表示图谱数据中实体类别总数量；α是一个加权系数。
在一个实施例中，如图6所示，获取第一实体与各第二实体的共现关系相似度的步骤，包括：
步骤S602，获取与第一实体存在共现关系的关系类别，得到第一关系类别集合。
步骤S604，获取与各第二实体存在共现关系的关系类别，得到各个第二关系类别集合。
步骤S606，分别计算第一关系类别集合以及各第二关系类别集合中，相同的关系类别的数量。
步骤S608，分别计算相同的关系类别的数量与关系类别总数量的比值，得到第一实体与各第二实体间的共现关系相似度。
其中，与第一实体具有共现关系的关系类别，是指在图谱数据的各个三元组中，存在一个三元组(*，p，o)时，关系类别r与第一实体o存在共现关系。第一关系类别集合中包括所有与第一实体o存在共现关系的关系类别。
其中，与第二实体具有共现关系的关系类别，是指在图谱数据的各个三元组中，存在一个三元组(*，p，o')时，关系类别r与第二实体o'存在共现关系。第二关系类别集合中包括所有与第二实体o'存在共现关系的关系类别。
在获取到第一关系类别集合以及各个第二关系类别集合后，针对每一个第二实体对应的第二关系类别集合，计算第一关系类别集合与该第二关系类别集合间相同的关系类别的数量，从而根据相同的关系类别的数量以及关系类别总数量的比值，确定第一实体与该第二实体的共现关系相似度；以此类推，直至获取到所有第二实体与第一实体间的共现关系相似度。
在一个实施例中，如图7所示，获取第一实体与各第二实体的实体类别相似度的步骤，包括：
步骤S702，获取第一实体所属的实体类别,得到第一实体类别集合。
步骤S704，获取各第二实体所属的实体类别，得到各个第二实体类别集合。
步骤S706，分别计算第一实体类别集合与各第二实体类别集合中，相同的实体类别的数量。
步骤S708，分别计算相同的实体类别的数量与实体类别总数量的比值，得到第一实体与各第二实体间的实体类别相似度。
其中，第一实体类别集合包括有第一实体所属的所有实体类别，同样的，第二实体类别集合包括有第二实体所属的所有实体类别。其中，每个实体都有其所属的实体类别，例如实体“刘某某”所属的实体类别包括有歌手，人物，演员等，因此，对于实体“刘某某”的第一实体类别集合可以是{歌手，人物，演员}。
在获取到第一实体类别集合以及各个第二实体类别集合后，针对每一个第二实体对应的第二实体类别集合，计算第一实体类别集合与该第二实体类别集合间相同的实体类别的数量，从而根据相同的实体类别的数量以及实体类别总数量的比值，确定第一实体与该第二实体的实体类别相似度；以此类推，直至获取到所有第二实体与第一实体间的实体类别相似度。
在一个实施例中，如图8所示，根据正三元组以及负三元组，对知识图谱嵌入模型进行迭代训练的步骤，包括：
步骤S802，将正三元组以及负三元组输入至知识图谱嵌入模型，通过知识图谱嵌入模型获取正三元组的嵌入向量以及负三元组的嵌入向量。
其中，在获取到正三元组以及正三元组对应的负三元组后，分别将正三元组以及负三元组输入至知识图谱嵌入模型中，通过知识图谱嵌入模型获取正三元组的嵌入向量以及负三元组的嵌入向量。
其中，嵌入向量中包括与头部实体对应的实体向量、与关系对应的关系向量以及尾部实体对应的实体向量，例如，对于任意一个三元组(s，p，o)，知识图谱嵌入模型输出的嵌入向量为(h，r，t)，其中，向量h为与头部实体s对应的实体向量，向量r为与关系p对应的关系向量，向量t为与尾部实体o对应的实体向量。
进一步地，为了较好区分嵌入向量的非对称关系，利用复数表示三元组的嵌入向量。例如，对于任意一个三元组(s，p，o)，知识图谱嵌入模型输出的嵌入向量为(hre,him,rre,rim,tre,tim)，其中，(hre,him)分别为与头部实体s对应的实体向量的实部与虚部，(rre,rim)分别为与关系p对应的关系向量的实部与虚部，(tre,tim)分别为与尾部实体o对应的实体向量的实部与虚部。
步骤S804，分别对正三元组的嵌入向量以及负三元组的嵌入向量进行打分，得到正三元组分值以及负三元组分值。
其中，在获取到正三元组的嵌入向量以及负三元组的嵌入向量后，可以利用预设的打分函数对正三元组的嵌入向量进行打分，得到正三元组分值，并利用同样的打分函数对负三元组的嵌入向量进行打分，得到负三元组分值。
以嵌入向量为复数形式的嵌入向量为例，打分函数具体如下(3)式所示：
fr(h,t)＝hre*tre*rre+him*tim*rre+hre*tim*rim-him*tre*rim (3)
其中，fr(h,t)表示三元组分值，hre、him分别表示与头部实体s对应的实体向量的实部与虚部，rre、rim分别表示与关系p对应的关系向量的实部与虚部，tre、tim分别表示与尾部实体o对应的实体向量的实部与虚部。
步骤S806，根据正三元组分值以及负三元组分值计算三元组损失值。
其中，在获取到正三元组分值以及负三元组分值后，根据正三元组分值以及负三元组分值计算三元组损失值。具体地，计算三元组损失值具体可以根据如下(4)式的损失函数计算的，损失函数如下：
loss＝max{fr(h,t)-fr(h,t')+γ,0} (4)
其中，fr(h,t)表示正三元组分值；fr(h,t')表示负三元组分值，γ表示调整参数，max{·}表示取最大值。
步骤S808，根据三元组损失值对知识图谱嵌入模型进行参数调整。
其中，在计算出三元组损失值后，利用三元组损失值计算反馈的梯度来更新知识图谱嵌入模型中的模型参数，实现对知识图谱嵌入模型的一迭代训练。
结合图9所示的流程图，对本实施例中的对知识图谱嵌入模型进行迭代训练的步骤进行进一步说明。其中，在经过负采样获取到与正三元组对应的负三元组后，将正三元组(s，p，o)以及负三元组(s，p，o')分别输入至知识图谱嵌入模型中,通过知识图谱嵌入模型获取正三元组(s，p，o)对应的嵌入向量(hre,him,rre,rim,tre,tim)，以及负三元组(s，p，o')对应的嵌入向量(hre,him,rre,rim,t're,ti'm)；
然后，通过打分函数分别获取正三元组的嵌入向量的正三元组分值fr(h,t)，以及负三元组的嵌入向量的负三元组分值fr(h,t')。其中，正三元组分值fr(h,t)表示为：fr(h,t)＝hre*tre*rre+him*tim*rre+hre*tim*rim-him*tre*rim；负三元组分值fr(h,t')表示为：fr(h,t')＝hre*t're*rre+him*t’im'*rre+hre*ti'm*rim-him*t're*rim；
在获得正三元组分值以及负三元组分值后，通过损失函数计算三元组损失值；其中，损失函数为：loss＝max{fr(h,t)-fr(h,t')+γ,0}。进而根据三元组损失值对知识图谱嵌入模型进行参数调整；至此，完成一次知识图谱嵌入模型的迭代训练。
图9中的负三元组，针对知识图谱嵌入模型训练过程中每一次训练迭代次序，实际采样获得的负三元组是不同的。在确定到图谱数据中正三元组中的待替换的第一实体后，针对知识图谱嵌入模型训练过程中每一次训练迭代次序，都根据所述当前训练迭代次序以及所述第一实体与各所述第二实体的语义相似度，调整各所述第二实体的采样概率，从而基于各所述第二实体的采样概率，从所述第二实体中随机筛选目标实体，通过将所述正三元组中的第一实体替换为所述目标实体，获得负三元组。
在一个实施例中，一种知识图谱嵌入模型的训练方法，包括：
1、获取图谱数据中正三元组中的待替换的第一实体。
2、计算第一实体与图谱数据中各个第二实体的语义相似度。
2-1、获取第一实体与各第二实体的共现关系相似度；
2-1-1、获取与第一实体存在共现关系的关系类别，得到第一关系类别集合；
2-1-2、获取与各第二实体存在共现关系的关系类别，得到各个第二关系类别集合；
2-1-3、分别计算第一关系类别集合以及各第二关系类别集合中，相同的关系类别的数量；
2-1-4、分别计算相同的关系类别的数量与关系类别总数量的比值，得到第一实体与各第二实体间的共现关系相似度；
2-2、获取第一实体与各第二实体的实体类别相似度；
2-2-1、获取第一实体所属的实体类别,得到第一实体类别集合；
2-2-2、获取各第二实体所属的实体类别，得到各个第二实体类别集合；
2-2-3、分别计算第一实体类别集合与各第二实体类别集合中，相同的实体类别的数量；
2-2-4、分别计算相同的实体类别的数量与实体类别总数量的比值，得到第一实体与各第二实体间的实体类别相似度。
2-3、根据共现关系相似度与实体类别相似度，确定第一实体与各第二实体的语义相似度。
3、确定知识图谱嵌入模型的当前训练迭代次序，根据当前训练迭代次序以及第一实体与各第二实体的语义相似度，调整各第二实体的采样概率。
3-1、获取各第二实体在图谱数据中的出现频率；
3-2、根据当前训练迭代次序、第一实体与各第二实体的语义相似度以及各第二实体的出现频率，计算各第二实体的采样概率；
3-2-1、获取预设的训练迭代总次数；
3-2-2、根据当前训练迭代次序以及训练迭代总次数，确定第一实体与各第二实体的语义相似度的第一权重值，以及各第二实体的出现频率的第二权重值；
3-2-3、根据第一权重值以及第二权重值，计算第一实体与第二实体的语义相似度以及第二实体的出现频率的加权平均值，得到第二实体的采样概率。
4、基于各第二实体的采样概率，从第二实体中随机筛选目标实体。
5、将正三元组中的第一实体替换为目标实体，得到负三元组。
5-1、将正三元组中的第一实体替换为目标实体，获得替换三元组；
5-2、当替换三元组与图谱数据中各个三元组均不同，将替换三元组确定为与正三元组对应的负三元组；
5-3、当替换三元组与图谱数据中的三元组相同，跳转执行步骤4。
6、根据正三元组以及负三元组，对知识图谱嵌入模型进行迭代训练。
6-1、将正三元组以及负三元组输入至知识图谱嵌入模型，通过知识图谱嵌入模型获取正三元组的嵌入向量以及负三元组的嵌入向量；
6-2、分别对正三元组的嵌入向量以及负三元组的嵌入向量进行打分，得到正三元组分值以及负三元组分值；
6-3、根据正三元组分值以及负三元组分值计算三元组损失值；
6-4、根据三元组损失值对知识图谱嵌入模型进行参数调整。
结合图10，对本实施进行进一步说明，如图10所示，基于当前垂直细分领域的知识图谱对应的图谱数据，计算两两实体间的语义相似度；在确定到知识图谱嵌入模型的当前训练迭代次序后，根据当前训练迭代次序以及任意两个实体间的语义相似度，调整各个实体的采样概率。
然后，获取图谱数据中的第一个三元组，并将该三元组确定为正三元组。对于该三元组，确定该正三元组中待替换的第一实体，并获取以第一实体为待替换实体，图谱数据中其他第二实体的采样概率；进而基于各个第二实体的采样概率，从第二实体中随机筛选出目标实体对正三元组中的第一实体进行替换，得到替换三元组；通过判断该替换三元组与图谱数据中的某个三元组相同，若替换三元组与图谱数据中的某个三元组相同，则重新基于各个第二实体的采样概率，从第二实体中随机筛选出目标实体对正三元组中的第一实体进行替换；若替换三元组与图谱数据中的任意一个三元组均不相同，则将该替换三元组确定为负三元组，得到正三元组对应的负三元组。
进一步的，当图谱数据中包括多个三元组，对于图谱数据中每一个三元组，均确定为一个正三元组，并获取其对应的负三元组；例如，假设图谱数据中包括有1000个三元组，将这些三元组均确定为一个正三元组，得到1000个正三元组。对于每一个正三元组，均获取其对应的5个负三元组。在获取到各个正三元组对应的5个负三元组，即获得5000个负三元组后，把这6000个三元组(包括1000个正三元组以及5000个负三元组)作为知识图谱嵌入模型的训练样本输入至知识图谱嵌入模型中，对知识图谱嵌入模型进行一次迭代训练。
应该理解的是，每对知识图谱嵌入模型完成一次迭代训练，知识图谱嵌入模型的当前训练迭代次序增加1，此时，根据当前训练迭代次序以及正三元组中第一实体与各第二实体的语义相似度，重新调整各第二实体的采样概率。从而，基于第二实体的新的采样概率，重新采集正三元组对应的负三元组。也就是说，在每一次迭代训练中，采样得到的负三元组是不同的，当知识图谱嵌入模型当前的训练迭代次序越大，即模型训练进入到训练后期，与第一实体的语义相似度越高的第二实体的采样概率越高，使得与第一实体语义相似度高的第二实体更容易被负采样，使得知识图谱嵌入模型能够有效区分难以区分的负样本，从而使得模型训练的后期能够快速收敛到最优解，获得更好的嵌入效果。
在一个实施例中，如图11所示，一种基于知识图谱的实体间关系的预测方法，包括：
步骤S1102，获取已知的第一实体以及已知第二实体。
其中，第一实体可以是指图谱三元组中的头部实体，第二实体可以是指图谱三元组中的尾部实体。
步骤S1104，获取图谱数据中的各个关系类别，根据各关系类别、第一实体以及第二实体，生成与各关系类别对应的三元组。
其中，在确定到图谱三元组中的第一实体以及第二实体后，获取图谱数据中的所有关系类别，并利用每一个关系类别与获得的第一实体以及第二实体构造三元组，得到与各个关系类别对应的三元组。
例如，图谱数据中的关系类别包括有{p1,p2,…,pn}，利用每个关系类别与第一实体s、第二实体o构造三元组，构造的三元组包括(s,p1,o)、(s,p2,o)、……、(s,pn,o)。
步骤S1106，通过知识图谱嵌入模型获取各三元组的嵌入向量；其中，知识图谱嵌入模型是根据图谱数据中正三元组以及与正三元组对应的负三元组进行迭代训练的；负三元组是基于图谱数据中正三元组中的待替换的第一实体与图谱数据中第二实体间的语义相似度以及当前训练迭代次序确定的第二实体的采样概率，从第二实体中随机筛选目标实体替换正三元组中的第一实体得到的。
其中，在构造得到与各个关系类别对应的三元组后，将获取到的三元组逐一输入至知识图谱嵌入模型中，通过知识图谱嵌入模型获取各个三元组对应的嵌入向量。其中，知识图谱嵌入模型是基于上述任一实施例进行训练的，可输出有效表征三元组的嵌入向量，使得实体间关系预测的准确性大大提高。
其中，嵌入向量中包括与头部实体对应的实体向量、与关系对应的关系向量以及尾部实体对应的实体向量，例如，利用复数表示三元组的嵌入向量，对于任意一个三元组(s，p，o)，知识图谱嵌入模型输出的嵌入向量为(hre,him,rre,rim,tre,tim)，其中，(hre,him)分别为与头部实体s对应的实体向量的实部与虚部，(rre,rim)分别为与关系p对应的关系向量的实部与虚部，(tre,tim)分别为与尾部实体o对应的实体向量的实部与虚部。
步骤S1108，分别对各三元组的嵌入向量进行打分，得到各三元组的三元组分值。
其中，在获取到各个三元组对应的嵌入向量后，可以利用打分函数对各个三元组进行打分，得到各个三元组的三元组分值。
具体地，以嵌入向量为复数形式的嵌入向量为例，打分函数具体如下(5)式所示：
fr(h,t)＝hre*tre*rre+him*tim*rre+hre*tim*rim-him*tre*rim (5)
其中，fr(h,t)表示三元组分值，hre、him分别表示与头部实体s对应的实体向量的实部与虚部，rre、rim分别表示与关系p对应的关系向量的实部与虚部，tre、tim分别表示与尾部实体o对应的实体向量的实部与虚部。
步骤S1110，根据各三元组的三元组分值确定目标三元组，并将目标三元组对应的关系类别确定为第一实体以及第二实体间的关系类别。
其中，在获取到各个三元组的三元组分值后，将三元组分值最小的三元组确定为目标三元组，并将目标三元组对应的关系类别，确定为第一实体以及第二实体间的关系。
本实施例中，在获取到已知的第一实体以及已知的第二实体后，通过获取图谱数据中的各个关系类别，并根据各关系类别、第一实体以及第二实体，生成与各关系类别对应的三元组；然后，通过知识图谱嵌入模型获取各三元组的嵌入向量，并分别对各三元组的嵌入向量进行打分，得到各三元组的三元组分值，最后根据各三元组的三元组分值获取目标三元组，并将目标三元组对应的关系类别确定为第一实体以及第二实体间的关系类别。其中，知识图谱嵌入模型的模型训练阶段的动态自调节负样本的采样，在模型训练初期偏向随机选取实体生成与正三元组对应的负三元组，在模型后期偏向选取语义上难以区分的实体生成与正三元组对应的负三元组，使得知识图谱嵌入模型收敛到最优解，有助于知识图谱嵌入模型区分那些难以区分的错误三元组，获得更好的嵌入效果，可输出有效表征实体的实体向量以及关系的关系向量，使得实体间关系预测的准确性大大提高。
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图12所示，提供了一种知识图谱嵌入模型的训练装置1200，包括：第一实体获取模块1202，语义相似度获取模块1204，采样概率获取模块1206，目标实体确定模块1208，负三元组获取模块1210以及模型训练模块1212，其中：
第一实体获取模块1202，用于获取图谱数据中正三元组中的待替换的第一实体；
语义相似度获取模块1204，用于计算第一实体与图谱数据中各个第二实体的语义相似度；
采样概率获取模块1206，用于确定知识图谱嵌入模型的当前训练迭代次序，根据当前训练迭代次序以及第一实体与各第二实体的语义相似度，调整各第二实体的采样概率；
目标实体确定模块1208，用于基于各第二实体的采样概率，从第二实体中随机筛选目标实体；
负三元组获取模块1210，用于将正三元组中的第一实体替换为目标实体，得到负三元组；
模型训练模块1212，用于根据正三元组以及负三元组，对知识图谱嵌入模型进行迭代训练。
在一个实施例中，采样概率获取模块，包括：
频率获取模块，用于获取各第二实体在图谱数据中的出现频率；
概率计算模块，用于根据当前训练迭代次序、第一实体与各第二实体的语义相似度以及各第二实体的出现频率，计算各第二实体的采样概率。
在一个实施例中，概率计算模块，具体用于获取预设的训练迭代总次数；根据当前训练迭代次序以及训练迭代总次数，确定第一实体与各第二实体的语义相似度的第一权重值，以及各第二实体的出现频率的第二权重值；根据第一权重值以及第二权重值，计算第一实体与第二实体的语义相似度以及第二实体的出现频率的加权平均值，得到第二实体的采样概率。
在一个实施例中，负三元组获取模块，具体用于：将正三元组中的第一实体替换为目标实体，获得替换三元组；在替换三元组与图谱数据中各个正三元组均不同，将替换三元组确定为与正三元组对应的负三元组。
在一个实施例中，语义相似度获取模块，包括：
关系相似度获取模块，用于获取第一实体与各第二实体的共现关系相似度；
实体类别相似度获取模块，用于获取第一实体与各第二实体的实体类别相似度；
语义相似度计算模块，用于根据共现关系相似度与实体类别相似度，确定第一实体与各第二实体的语义相似度。
在一个实施例中，关系相似度获取模块，具体用于获取与第一实体存在共现关系的关系类别，得到第一关系类别集合；获取与各第二实体存在共现关系的关系类别，得到各个第二关系类别集合；分别计算第一关系类别集合以及各第二关系类别集合中，相同的关系类别的数量；分别计算相同的关系类别的数量与关系类别总数量的比值，得到第一实体与各第二实体间的共现关系相似度。
在一个实施例中，实体类别相似度获取模块，具体用于获取第一实体所属的实体类别,得到第一实体类别集合；获取各第二实体所属的实体类别，得到各个第二实体类别集合；分别计算第一实体类别集合与各第二实体类别集合中，相同的实体类别的数量；分别计算相同的实体类别的数量与实体类别总数量的比值，得到第一实体与各第二实体间的实体类别相似度。
在一个实施例中，模型训练模块，包括：
嵌入向量获取模块，用于将正三元组以及负三元组输入至知识图谱嵌入模型，通过知识图谱嵌入模型获取正三元组的嵌入向量以及负三元组的嵌入向量；
嵌入向量打分模块，用于分别对正三元组的嵌入向量以及负三元组的嵌入向量进行打分，得到正三元组分值以及负三元组分值；
损失值获取模块，用于根据正三元组分值以及负三元组分值计算三元组损失值；
参数调整模块，用于根据三元组损失值对知识图谱嵌入模型进行参数调整。
关于知识图谱嵌入模型的训练装置的具体限定可以参见上文中对于知识图谱嵌入模型的训练方法的限定，在此不再赘述。上述知识图谱嵌入模型的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图13示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的服务器120。如图13所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现知识图谱嵌入模型的训练方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行知识图谱嵌入模型的训练方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的知识图谱嵌入模型的训练装置可以实现为一种计算机程序的形式，计算机程序可在如图13所示的计算机设备上运行。计算机设备的存储器中可存储组成该知识图谱嵌入模型的训练装置的各个程序模块，比如，图12所示的第一实体获取模块1202，语义相似度获取模块1204，采样概率获取模块1206，目标实体确定模块1208，负三元组获取模块1210以及模型训练模块1212。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的知识图谱嵌入模型的训练方法中的步骤。
例如，图13所示的计算机设备可以通过如图12所示的知识图谱嵌入模型的训练装置中的第一实体获取模块1202执行步骤S202。计算机设备可通过语义相似度获取模块1204执行步骤S204。计算机设备可通过采样概率获取模块1206执行步骤S206。计算机设备可通过目标实体确定模块1208执行步骤S208。计算机设备可通过负三元组获取模块1210执行步骤S210。计算机设备可通过模型训练模块1212执行步骤S212。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述知识图谱嵌入模型的训练方法的步骤。此处知识图谱嵌入模型的训练方法的步骤可以是上述各个实施例的知识图谱嵌入模型的训练方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述知识图谱嵌入模型的训练方法的步骤。此处知识图谱嵌入模型的训练方法的步骤可以是上述各个实施例的知识图谱嵌入模型的训练方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种知识图谱嵌入模型的训练方法，包括：
获取图谱数据中正三元组中的待替换的第一实体；
计算所述第一实体与图谱数据中各个第二实体的语义相似度；
确定知识图谱嵌入模型的当前训练迭代次序，根据所述当前训练迭代次序以及所述第一实体与各所述第二实体的语义相似度，调整各所述第二实体的采样概率；
基于各所述第二实体的采样概率，从所述第二实体中随机筛选目标实体；
将所述正三元组中的第一实体替换为所述目标实体，得到负三元组；
根据所述正三元组以及所述负三元组，对知识图谱嵌入模型进行迭代训练。
2.根据权利要求1所述的方法，其特征在于，所述根据所述当前训练迭代次序以及所述第一实体与各所述第二实体的语义相似度，调整各所述第二实体的采样概率的步骤，包括：
获取各所述第二实体在所述图谱数据中的出现频率；
根据所述当前训练迭代次序、所述第一实体与各所述第二实体的语义相似度以及各所述第二实体的出现频率，计算各所述第二实体的采样概率。
3.根据权利要求2所述的方法，其特征在于，所述根据所述当前训练迭代次序、所述第一实体与各所述第二实体的语义相似度以及各所述第二实体的出现频率，计算各所述第二实体的采样概率的步骤，包括：
获取预设的训练迭代总次数；
根据所述当前训练迭代次序以及训练迭代总次数，确定所述第一实体与各所述第二实体的语义相似度的第一权重值，以及各所述第二实体的出现频率的第二权重值；
根据所述第一权重值以及所述第二权重值，计算所述第一实体与所述第二实体的语义相似度以及所述第二实体的出现频率的加权平均值，得到第二实体的采样概率。
4.根据权利要求1所述的方法，其特征在于，所述将所述正三元组中的第一实体替换为所述目标实体，得到负三元组的步骤，包括：
将所述正三元组中的第一实体替换为所述目标实体，获得替换三元组；
当所述替换三元组与所述图谱数据中各个三元组均不同，将所述替换三元组确定为与所述正三元组对应的负三元组。
5.根据权利要求1所述的方法，其特征在于，所述计算所述第一实体与图谱数据中各个第二实体的语义相似度的步骤，包括：
获取所述第一实体与各所述第二实体的共现关系相似度；
获取所述第一实体与各所述第二实体的实体类别相似度；
根据所述共现关系相似度与所述实体类别相似度，确定所述第一实体与各所述第二实体的语义相似度。
6.根据权利要求5所述的方法，其特征在于，所述获取所述第一实体与各所述第二实体的共现关系相似度的步骤，包括：
获取与所述第一实体存在共现关系的关系类别，得到第一关系类别集合；
获取与各所述第二实体存在共现关系的关系类别，得到各个第二关系类别集合；
分别计算所述第一关系类别集合以及各所述第二关系类别集合中，相同的关系类别的数量；
分别计算相同的关系类别的数量与关系类别总数量的比值，得到所述第一实体与各所述第二实体间的共现关系相似度。
7.根据权利要求5所述的方法，其特征在于，所述获取所述第一实体与各所述第二实体的实体类别相似度的步骤，包括：
获取所述第一实体所属的实体类别,得到第一实体类别集合；
获取各所述第二实体所属的实体类别，得到各个第二实体类别集合；
分别计算所述第一实体类别集合与各所述第二实体类别集合中，相同的实体类别的数量；
分别计算相同的实体类别的数量与实体类别总数量的比值，得到所述第一实体与各所述第二实体间的实体类别相似度。
8.根据权利要求1所述的方法，其特征在于，所述根据所述正三元组以及所述负三元组，对知识图谱嵌入模型进行迭代训练的步骤，包括：
将所述正三元组以及所述负三元组输入至所述知识图谱嵌入模型，通过知识图谱嵌入模型获取所述正三元组的嵌入向量以及所述负三元组的嵌入向量；
分别对所述正三元组的嵌入向量以及负三元组的嵌入向量进行打分，得到正三元组分值以及负三元组分值；
根据所述正三元组分值以及所述负三元组分值计算三元组损失值；
根据所述三元组损失值对所述知识图谱嵌入模型进行参数调整。
9.一种基于知识图谱的实体间关系的预测方法，其特征在于，包括：
获取已知的第一实体以及已知的第二实体；
获取图谱数据中的各个关系类别，根据各所述关系类别、所述第一实体以及所述第二实体，生成与各所述关系类别对应的三元组；
通过知识图谱嵌入模型获取各所述三元组的嵌入向量；其中，所述知识图谱嵌入模型是根据图谱数据中正三元组以及与所述正三元组对应的负三元组进行迭代训练的；所述负三元组是基于图谱数据中正三元组中的待替换的第一实体与图谱数据中第二实体间的语义相似度以及当前训练迭代次序确定的第二实体的采样概率，从所述第二实体中随机筛选目标实体替换所述正三元组中的第一实体得到的；
分别对各所述三元组的嵌入向量进行打分，得到各所述三元组的三元组分值；
根据各所述三元组的三元组分值确定目标三元组，并将所述目标三元组对应的关系类别确定为所述第一实体以及第二实体间的关系类别。
10.一种知识图谱嵌入模型的训练装置，其特征在于，所述装置包括：
第一实体获取模块，用于获取图谱数据中正三元组中的待替换的第一实体；
语义相似度获取模块，用于计算所述第一实体与图谱数据中各个第二实体的语义相似度；
采样概率获取模块，用于确定知识图谱嵌入模型的当前训练迭代次序，根据所述当前训练迭代次序以及所述第一实体与各所述第二实体的语义相似度，调整各所述第二实体的采样概率；
目标实体确定模块，用于基于各所述第二实体的采样概率，从所述第二实体中随机筛选目标实体；
负三元组获取模块，用于将所述正三元组中的第一实体替换为所述目标实体，得到负三元组；
模型训练模块，用于根据所述正三元组以及所述负三元组，对知识图谱嵌入模型进行迭代训练。
11.根据权利要求10所述的装置，其特征在于，所述采样概率获取模块，包括：
频率获取模块，用于获取各所述第二实体在所述图谱数据中的出现频率；
概率计算模块，用于根据所述当前训练迭代次序、所述第一实体与各所述第二实体的语义相似度以及各所述第二实体的出现频率，计算各所述第二实体的采样概率。
12.根据权利要求10所述的装置，其特征在于，所述负三元组获取模块，具体用于：将所述正三元组中的第一实体替换为所述目标实体，获得替换三元组；在所述替换三元组与所述图谱数据中各个正三元组均不同，将所述替换三元组确定为与所述正三元组对应的负三元组。
13.根据权利要求10所述的装置，其特征在于，所述模型训练模块，包括：
嵌入向量获取模块，用于将所述正三元组以及所述负三元组输入至所述知识图谱嵌入模型，通过知识图谱嵌入模型获取所述正三元组的嵌入向量以及所述负三元组的嵌入向量；
嵌入向量打分模块，用于分别对所述正三元组的嵌入向量以及负三元组的嵌入向量进行打分，得到正三元组分值以及负三元组分值；
损失值获取模块，用于根据所述正三元组分值以及所述负三元组分值计算三元组损失值；
参数调整模块，用于根据所述三元组损失值对所述知识图谱嵌入模型进行参数调整。
14.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述方法的步骤。
15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述方法的步骤。
CN201911425280.XA 2019-12-31 2019-12-31 知识图谱嵌入模型的训练方法、装置和计算机存储介质 Active CN111221981B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911425280.XA CN111221981B (zh) 2019-12-31 2019-12-31 知识图谱嵌入模型的训练方法、装置和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911425280.XA CN111221981B (zh) 2019-12-31 2019-12-31 知识图谱嵌入模型的训练方法、装置和计算机存储介质

Publications (2)

Publication Number Publication Date
CN111221981A CN111221981A (zh) 2020-06-02
CN111221981B true CN111221981B (zh) 2023-12-29

Family

ID=70828067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911425280.XA Active CN111221981B (zh) 2019-12-31 2019-12-31 知识图谱嵌入模型的训练方法、装置和计算机存储介质

Country Status (1)

Country Link
CN (1) CN111221981B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215441A (zh) * 2020-11-17 2021-01-12 北京明略软件系统有限公司 预测模型训练方法及系统
CN112800237B (zh) * 2021-01-19 2023-08-11 中国再保险(集团)股份有限公司 基于知识图谱嵌入表示的预测方法、装置和计算机设备
CN113111966B (zh) * 2021-04-29 2022-04-26 北京九章云极科技有限公司 一种图像处理方法和图像处理系统
CN113239697B (zh) * 2021-06-01 2023-03-24 平安科技（深圳）有限公司 实体识别模型训练方法、装置、计算机设备及存储介质
CN113568987B (zh) * 2021-07-29 2024-01-26 湖南大学 知识图谱嵌入模型的训练方法、装置、计算机设备
CN114691896B (zh) * 2022-05-31 2022-09-13 浙江大学 一种知识图谱数据清洗方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150178273A1 (en) * 2013-12-20 2015-06-25 Microsoft Corporation Unsupervised Relation Detection Model Training
CN109376249A (zh) * 2018-09-07 2019-02-22 桂林电子科技大学 一种基于自适应负采样的知识图谱嵌入方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150178273A1 (en) * 2013-12-20 2015-06-25 Microsoft Corporation Unsupervised Relation Detection Model Training
CN109376249A (zh) * 2018-09-07 2019-02-22 桂林电子科技大学 一种基于自适应负采样的知识图谱嵌入方法

Also Published As

Publication number Publication date
CN111221981A (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN111221981B (zh) 知识图谱嵌入模型的训练方法、装置和计算机存储介质
CN110930417B (zh) 图像分割模型的训练方法和装置、图像分割方法和装置
US10489918B1 (en) Video object tracking
CN109493417B (zh) 三维物体重建方法、装置、设备和存储介质
CN111126574A (zh) 基于内镜图像对机器学习模型进行训练的方法、装置和存储介质
Shi et al. Face hallucination by attentive sequence optimization with reinforcement learning
US20220301288A1 (en) Control method and information processing apparatus
CN111047508B (zh) 图像处理方法、装置、计算机设备和存储介质
Zhang et al. Affinity fusion graph-based framework for natural image segmentation
CN110704668B (zh) 基于网格的协同注意力vqa方法和装置
CN116797607A (zh) 图像分割方法和装置
CN114022480B (zh) 基于统计与形状拓扑图的医学图像关键点检测方法和装置
JP2019204214A (ja) 学習装置、学習方法、プログラム及び推定装置
CN111862260A (zh) 基于跨域对偶生成式对抗网络的偏见消除方法与装置
CN111445021A (zh) 学习方法、学习设备和计算机可读记录介质
CN116958693A (zh) 图像分析方法、装置、设备、存储介质和程序产品
CN116258877A (zh) 土地利用场景相似度变化检测方法、装置、介质及设备
CN114722273A (zh) 基于局部结构特征增强的网络对齐方法、装置及设备
JP2022191776A (ja) 画像処理装置、画像処理方法及びプログラム
CN112232360A (zh) 图像检索模型优化方法、图像检索方法、装置及存储介质
CN117851959B (zh) 基于fhgs的动态网络子图异常检测方法、装置和设备
KR102574458B1 (ko) 수정 정보를 반영 가능한 인공지능 기반의 전자문서 관리 장치 및 방법
KR102574459B1 (ko) 자동 알림 기능을 포함하는 인공지능 기반의 전자문서 관리 장치 및 방법
CN114334068B (zh) 一种放射学报告生成方法、装置、终端及存储介质
KR102574457B1 (ko) 인공지능 기반의 전자문서 관리 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40024841

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant