CN115577119A - 知识图谱推理模型训练方法、设备和存储介质 - Google Patents

知识图谱推理模型训练方法、设备和存储介质 Download PDF

Info

Publication number
CN115577119A
CN115577119A CN202211227127.8A CN202211227127A CN115577119A CN 115577119 A CN115577119 A CN 115577119A CN 202211227127 A CN202211227127 A CN 202211227127A CN 115577119 A CN115577119 A CN 115577119A
Authority
CN
China
Prior art keywords
target
entity node
vector representation
tuple
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211227127.8A
Other languages
English (en)
Inventor
谢晓颖
龚镖
吕逸良
赵德丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202211227127.8A priority Critical patent/CN115577119A/zh
Publication of CN115577119A publication Critical patent/CN115577119A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种知识图谱推理模型训练方法、设备和存储介质，该方法包括：获取与第一一阶逻辑结构对应的第一多元组，在知识图谱中确定第一多元组中多个实体节点各自对应的第一临实体节点；在包含多个实体节点及多个实体节点各自对应的第一临实体节点的推理子图中确定第二多元组及第二多元组对应的第二一阶逻辑结构。在知识图谱中确定目标多元组中各实体节点对应的第二临实体节点，根据实体节点及其第二临实体节点各自对应的第一向量表示的拼接结果确定相应实体节点对应的第二向量表示，以得到目标多元组的向量表示集。根据向量表示集对知识图谱推理模型进行训练。通过优化实体节点的向量表示和扩展新的一阶逻辑结构的样本，提高模型性能。

Description

知识图谱推理模型训练方法、设备和存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种知识图谱推理模型训练方法、设备和存储介质。
背景技术
知识图谱(knowledge graph,简称KG)可视为包含多种关系的图。在图中，每个节点是一个实体(如人名、地名、事件和活动等)，任意两个节点之间的边表示这两个节点之间的关系。一般而言，可以将知识图谱中任意两个相连的节点及其所连接边表示成三元组(triplet),即(头实体节点，关系，尾实体节点)，例如：(北京,首都,中国)。
知识图谱推理是一种通过模仿人类社会认知模式来探索机器智能的方法。人们结合数理逻辑、关系路径、分布式表示等广泛地研究了基于知识图谱的常识推理算法，并借助深度学习模型实现了在一阶逻辑查询下推理能力的泛化。一种进行知识图谱推理的方式是通过将知识图谱和查询嵌入到低维向量空间来进行一阶逻辑(First-Order-Logical，简称FOL)推理。不同于基本的三元组结构,一阶逻辑通过逻辑谓词和逻辑量化的组合来实现，比如使用了存在、合取、析取、否定、映射等逻辑运算符，非常适合来描述关系。围绕这些逻辑运算符，使得知识图谱推理模型的学习目标通常专注于逻辑映射而非实体、关系的表征。
然而一阶逻辑推理往往需要人工定义的逻辑范式(或者说逻辑结构)，对未见过的逻辑范式归纳能力较弱，使得泛化程度较差，并且相对较差的表征会导致推理模型难以抵抗噪声，进而对推理准确性造成不利影响，尤其在由真实世界知识构建的开集(open-set)知识图谱中。
发明内容
本发明实施例提供一种知识图谱推理模型训练方法、装置、设备和存储介质，用以提高知识图谱推理模型的泛化能力和准确度。
第一方面，本发明实施例提供一种知识图谱推理模型训练方法，所述方法包括：
获取与第一一阶逻辑结构对应的第一多元组，所述第一多元组中包括从预设训练查询信息中确定的多个实体节点和至少一个关系，所述多个实体节点中包括至少一个锚实体节点和目标实体节点；
在预设的知识图谱中分别确定所述第一多元组中所述多个实体节点各自对应的第一临实体节点；
在包含所述多个实体节点以及所述多个实体节点各自对应的第一临实体节点的推理子图中，确定第二多元组以及所述第二多元组对应的第二一阶逻辑结构；
在所述知识图谱中确定目标多元组中任一实体节点对应的第二临实体节点，所述目标多元组是所述第一多元组和所述第二多元组中任一个；
根据所述任一实体节点及其第二临实体节点各自对应的第一向量表示的拼接结果确定所述任一实体节点对应的第二向量表示，以得到所述目标多元组对应的向量表示集，所述向量表示集中包含所述目标多元组内各实体节点的第二向量表示以及各关系的初始向量表示；
根据所述向量表示集对知识图谱推理模型进行训练。
第二方面，本发明实施例提供一种知识图谱推理模型训练装置，所述装置包括：
获取模块，用于获取与第一一阶逻辑结构对应的第一多元组，所述第一多元组中包括从预设训练查询信息中确定的多个实体节点和至少一个关系，所述多个实体节点中包括至少一个锚实体节点和目标实体节点；
临域扩散模块，用于在预设的知识图谱中分别确定所述第一多元组中所述多个实体节点各自对应的第一临实体节点；在包含所述多个实体节点以及所述多个实体节点各自对应的第一临实体节点的推理子图中，确定第二多元组以及所述第二多元组对应的第二一阶逻辑结构；在所述知识图谱中确定目标多元组中任一实体节点对应的第二临实体节点，所述目标多元组是所述第一多元组和所述第二多元组中任一个；
特征确定模块，用于根据所述任一实体节点及其第二临实体节点各自对应的第一向量表示的拼接结果确定所述任一实体节点对应的第二向量表示，以得到所述目标多元组对应的向量表示集，所述向量表示集中包含所述目标多元组内各实体节点的第二向量表示以及各关系的初始向量表示；
训练模块，用于根据所述向量表示集对知识图谱推理模型进行训练。
第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如第一方面所述的知识图谱推理模型训练方法。
第四方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如第一方面所述的知识图谱推理模型训练方法。
第五方面，本发明实施例提供一种知识图谱推理模型训练方法，所述方法包括：
接收用户设备通过调用知识图谱推理模型训练服务触发的请求，所述请求中包括所述预设训练查询信息；
利用所述知识图谱推理模型训练服务对应的处理资源执行如下步骤：
获取与第一一阶逻辑结构对应的第一多元组，所述第一多元组中包括从所述预设训练查询信息中确定的多个实体节点和至少一个关系，所述多个实体节点中包括至少一个锚实体节点和目标实体节点；
在预设的知识图谱中分别确定所述第一多元组中所述多个实体节点各自对应的第一临实体节点；
在包含所述多个实体节点以及所述多个实体节点各自对应的第一临实体节点的推理子图中，确定第二多元组以及所述第二多元组对应的第二一阶逻辑结构；
在所述知识图谱中确定目标多元组中任一实体节点对应的第二临实体节点，所述目标多元组是所述第一多元组和所述第二多元组中任一个；
根据所述任一实体节点及其第二临实体节点各自对应的第一向量表示的拼接结果确定所述任一实体节点对应的第二向量表示，以得到所述目标多元组对应的向量表示集，所述向量表示集中包含所述目标多元组内各实体节点的第二向量表示以及各关系的初始向量表示；
根据所述向量表示集对知识图谱推理模型进行训练。
在本发明实施例提供的知识推理模型训练过程中，可以预先设定多种一阶逻辑结构，接受与任一一阶逻辑结构对应的查询信息作为输入，将训练用的该查询信息按照其对应的第一一阶逻辑结构转换为多元组形式，相应的第一多元组内包含至少一个锚实体节点、至少一个关系和目标实体节点。之后，通过临域扩散策略进行实体特征层面的增强(向量表示优化)以及逻辑层面的逻辑结构扩展(逻辑增强)处理，实现实体节点对应的向量表示的优化以及扩展更多的一阶逻辑结构，实现训练样本扩展。从而，通过上述表征建立和逻辑增强处理，使得知识图谱推理模型能够基于更加优化的实体节点的向量表征学习到更多未见过的一阶逻辑结构的样本多元组，提高了知识图谱推理模型针对未见过的一阶逻辑结构的泛化能力以及推理性能。
具体地，上述逻辑增强处理体现为：首先，针对上述第一多元组内包含的各个锚实体节点和目标实体节点，在已知的知识图谱中搜索其临实体节点，从而由这些锚实体节点、目标实体节点以及搜索到的临实体节点构成了扩展的推理子图，在该推理子图中可以发现新的第二一阶逻辑结构及其对应的第二多元组，实现了样本扩展。上述表征建立处理体现为：不管是针对第一多元组还是第二多元组，为便于描述称为目标多元组，在知识图谱中确定目标多元组中各个实体节点对应的临实体节点，针对其中任一实体节点，可以结合其临实体节点所对应的第一向量表示来优化该实体节点的向量表示。这样，目标多元组内各个实体节点的向量表示都被基于临实体节点进行了特征优化，之后可以基于包含优化后的实体节点的向量表示的向量表示集对知识图谱推理模型进行训练。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种知识图谱推理模型训练方法的流程图；
图2为本发明实施例提供的多种已定义的一阶逻辑结构的示意图；
图3为本发明实施例提供的一阶逻辑结构扩展过程的示意图；
图4为本发明实施例提供的一种知识图谱推理模型训练方法的应用示意图；
图5为本发明实施例提供的一种知识图谱推理模型训练模型训练方法的流程图；
图6为本发明实施例提供的一种知识图谱推理模型训练模型训练方法的流程图；
图7为本发明实施例提供的一种知识图谱推理模型训练模型训练方法的流程图；
图8为本发明实施例提供的一种知识图谱推理模型训练方法的应用示意图；
图9为本发明实施例提供的一种知识图谱推理模型训练装置的结构示意图；
图10为本实施例提供的一种电子设备的结构示意。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
先对本文中涉及到的一些概念进行解释说明。
知识图谱：知识图谱是使用图结构的数据模型或拓扑结构来整合数据的知识库，通常用于存储实体以及实体之间的相互关联的描述，同时也对所用描述(即用于描述实体的文字和描述关系的文字)的语义进行编码，实体比如是人名、地名、事件和活动等。在知识图谱中，两个实体以及其相关联的关系可以被组织成三元组的表示方式。
开集知识图谱：开集知识图谱，也可以称为开放域知识图谱，是指由来自不同源数据域的三元组构成的知识图谱，其中，来源占比更多的三元组为域内数据，反之为域外数据。
知识图谱推理：基于知识图谱中已有事实推理新的事实、关系、规则，一般围绕关系的推理展开，着重考察实体、关系和图谱结构。
推理子图：知识图谱图结构中，由多跳推理查询相关的实体集合与逻辑算符构成的有向子图，图中节点代表实体集合，边代表逻辑运算符。其中，逻辑运算符比如包括存在、合取、析取、否定、映射等。
多跳知识图谱推理：根据推理子图由锚实体节点集合(推理子图源点)向目标实体节点集合(推理子图汇节点)沿路径上有向边对应的逻辑运算符进行逻辑运算的过程。若锚实体集合中锚实体节点数大于1，则路径长度大于或等于1；若锚实体集合中锚实体节点数等于1，则路径长度大于1。为便于理解，可以简单认为多跳知识图谱推理是指从锚实体节点出发，需要经过多个关系边才能到达目标实体节点。
一阶逻辑：一阶逻辑是由逻辑谓词(比如，逻辑交、逻辑并、逻辑非)以及逻辑量词(比如存在量词、全称量词)构成的逻辑范式集合。
分布式假设：在自然语言处理工作中，如果两个词的上下文相似，那么这两个词本身也是相似的；扩展到知识图谱领域，如果知识图谱图结构中两个实体节点的临域节点相似，那么这两个实体节点本身的低维向量表示也是相似的。
提示(Prompt)：针对下游任务设计的一种输入形式或模板，它能够帮助知识图谱推理模型掌握每种逻辑结构特有的特征。
在传统的基于一阶逻辑的知识图谱推理方案中，只能基于人工预先定义的有限的一阶逻辑结构进行知识图谱推理，知识图谱推理模型对未见过的一阶逻辑结构的泛化程度很差，也容易受到域外数据的干扰，并且相对较差的表征(主要是指实体节点的向量表征)会导致知识图谱推理模型难以抵抗噪声，进而对推理准确性造成严重影响。具体来说，人们会预先定义几种一阶逻辑结构，收集符合该一阶逻辑结构的查询信息作为训练样本，以用于对知识图谱推理模型进行训练，如果在模型训练结束之后，给该模型输入的查询信息不符合上述已定义的几种一阶逻辑结构，那么模型给出的推理结果往往准确度不佳。尤其是在由来自不同源数据域的知识构建的开集知识图谱中，域外数据的干扰以及不可见的一阶逻辑结构问题对推理结果准确性的影响会更为明显。
其中，关于域外数据的干扰，举例来说，假设知识图谱的构建使用到领域1和领域2的知识，而当前的查询问题是与领域1对应的，那么知识图谱中领域2的知识(与领域2相关的各三元组)就属于域外数据，会对正确推理得到该查询问题对应的答案产生干扰。
为克服上述问题，本发明实施例分别针对不可见一阶逻辑结构问题以及域外数据干扰问题提供了相应的解决方案。概括来说，通过一个即插即用的通用性模块——临域扩散模块来解决不可见一阶逻辑结构问题，使得知识图谱推理模型具有针对任一种一阶逻辑结构的泛化能力；通过一个训练损失函数——三元组重构误差来解决域外数据干扰问题(也可以称为开集问题)。
其中，临域扩散模块可以由多个功能模块(其中可以包括多个神经网络模型)构成，其基于分布式假设，从训练数据中搜索并存储所有实体节点的临域节点，从实体表征维度和逻辑维度共同汇集临域信息，前者通过临域滤波器实现中心实体节点的特征优化，后者通过多级连接查询构建不可见的一阶逻辑结构。并且，在知识图谱推理模型的训练过程中，还可以为每一类一阶逻辑结构添加包含类内特有特征的prompt，以及通过平衡收敛速度实现不同一阶逻辑结构间的梯度自适应。
其中，三元组重构误差，通过约束锚实体节点集与目标实体节点集的双向映射关系，通过距离度量(或者说相似度度量)区分域内数据与域外数据，进而排除域外数据在模型训练或测试中的干扰。
本发明实施例中，知识图谱推理模型可以是一种包含多个卷积层的神经网络模型，可以采用现有的任一种知识图谱推理模型的结构。本发明实施例提供的方案相当于是对传统的知识图谱推理模型的一种优化。
图1为本发明实施例提供的一种知识图谱推理模型训练方法的流程图，如图1所示，该方法包括如下步骤：
101、获取与第一一阶逻辑结构对应的第一多元组，第一多元组中包括从预设训练查询信息中确定的多个实体节点和至少一个关系，多个实体节点中包括至少一个锚实体节点和目标实体节点。
102、在预设的知识图谱中分别确定第一多元组中多个实体节点各自对应的第一临实体节点。
103、在包含所述多个实体节点以及所述多个实体节点各自对应的第一临实体节点的推理子图中，确定第二多元组以及第二多元组对应的第二一阶逻辑结构。
104、在知识图谱中确定目标多元组中任一实体节点对应的第二临实体节点，目标多元组是第一多元组和第二多元组中任一个。
105、根据目标多元组中任一实体节点及其第二临实体节点各自对应的第一向量表示的拼接结果确定该任一实体节点对应的第二向量表示，以得到目标多元组对应的向量表示集，根据该向量表示集对知识图谱推理模型进行训练，其中，该向量表示集中包含目标多元组内各实体节点的第二向量表示以及各关系的初始向量表示。
本实施例中，可以预先人工定义多种一阶逻辑结构，并收集大量与这些一阶逻辑结构相对应的查询信息(通常可以称为一阶逻辑查询)作为训练数据，为了对知识图谱推理模型进行训练，将这些查询信息转为为多元组来表示。
为便于理解，图2中示意出了多种一阶逻辑结构，其中涉及如下多种逻辑运算符：
i：表示“交”运算，即合取运算；u：表示“并”运算，即析取运算；n：表示“非”运算，即否定运算；p：表示投影运算。为便于表示，图中以虚线箭头表示“非”这种运算。
如图2中所示，这里定义了14种一阶逻辑结构，包括原子训练结构：{1p,2p,3p,2i,3i}，进阶训练结构：{2in,3in,inp,pni,pin}与不可见训练结构：{ip,pi,2u,up}。其中，不可见训练结构仅在知识图谱推理模型的测试阶段使用，训练阶段使用前两组结构。不可见训练结构是为了检验训练后的知识图谱推理模型针对在训练阶段未见过的一阶逻辑结构的泛化能力。
图2中，包括三种实体节点：黑色圆点示意的目标实体节点，白色圆点示意的锚实体节点，三角形示意的是锚实体节点与目标实体节点之间的多跳映射路径上的其他实体节点。实际应用中，锚实体节点往往对应于查询问题，目标实体节点对应于该查询问题的答案。
简单举例说明上述多种一阶逻辑结构的含义。
比如1p,2p,3p，是指锚实体节点到目标实体节点之间需要经过几(1、2、3)跳映射关系。
比如2i,3i，是指由几(2、3)个锚实体节点指向同一目标实体节点。比如：草的颜色是绿的，树叶的颜色是绿的，这个查询信息的描述，即对应于2i这种一阶逻辑结构，其中，草和树叶分别是锚实体节点，“绿的”是目标实体节点，“颜色”是一个关系，“和”即为交运算。
比如2in，它可以视为是基于原子训练结构2i扩展出的一种一阶逻辑结构。比如“生活在杭州且不在阿里上班的人”这个查询信息便属于这种一阶逻辑结构。这里n就表示投影的否定结果。
基于图2中举例示意的多种预先定义的一阶逻辑结构，可以收集大量的符合这些一阶逻辑结构的查询信息用以训练知识图谱推理模型。首先，需要基于各查询信息所对应的一阶逻辑结构，将其转换为多元组，多元组中包括至少一个锚实体节点、至少一个关系以及目标实体节点，这些实体节点、关系都包含在预设的知识图谱中。
以上述举例的查询信息“草的颜色是绿的，树叶的颜色是绿的”为例，基于其对应的一阶逻辑结构2i可知，这个查询信息对应的多元组中应该包括两个锚实体节点(草、树叶)、一个目标实体节点(绿的)以及一个关系(颜色)。由此可以理解的是，锚实体节点，就是一次推理对应的源头节点，目标实体节点就是一次推理对应的结束节点。
上述步骤101中的第一一阶逻辑结构是已定义的多种一阶逻辑结构中的任一种，第一多元组是第一一阶逻辑结构对应的训练集中的任一多元组，也就是第一一阶逻辑结构对应的若干查询信息中任一查询信息对应的多元组。为便于描述，本发明实施例中仅以该第一多元组为例进行说明，可以理解的是，针对每种一阶逻辑结构对应的训练集中的各多元组都进行相似的后续处理。
在得到第一多元组之后，在知识图谱中分别确定第一多元组中各实体节点对应的临域节点，称为第一临实体节点，从而，由第一多元组内各实体节点以及每个实体节点对应的第一临实体节点，以及相关的关系，可以形成一个推理子图，在该推理子图中可以确定第二多元组以及第二多元组对应的第二一阶逻辑结构，该第二一阶逻辑结构未包含在已定义的多种一阶逻辑结构中，即相当于发现了新的一阶逻辑结构且得到了其对应的样本：第二多元组。
上述通过临域搜索以扩展出新的一阶逻辑结构及其对应的新多元组的过程，即为通过多级连接查询构建不可见的一阶逻辑结构的过程。
结合图3对上述样本和一阶逻辑结构扩展过程进行示意。
图3中，包括三种实体节点：黑色圆点示意的原始的目标实体节点，白色圆点示意的原始的锚实体节点，矩形框示意的扩展出的临实体节点。图3中,T0、T1表示原始的第0级目标实体节点，以及通过临域扩散出的第1级目标实体节点，类似地，A0—A3表示原始的第0级锚实体节点以及通过临域扩散出的第1、2和3级锚实体节点。
图3中示意的是基于图2中的五种原子训练结构分别进行临域扩展的情形，其中“-ex”表示的是扩展的意思。
由图3中的示意可知，所谓通过多级连接查询扩展出新的一阶逻辑结构，就是指基于某查询信息所对应的已知的一阶逻辑结构，通过多级连接以扩展出新的查询样本以及新的一阶逻辑结构。如图3中所示，可选地，在进行多级连接查询扩展时，以第一多元组来说，在知识图谱中确定其中包含的各锚实体节点各自的入方向的临实体节点，以及确定其中包含的目标实体节点的出方向和入方向的临实体节点。也就是说，在进行多级连接的扩展时，针对锚实体节点，仅考虑其入方向(即指向锚实体的方向)的相邻一跳(仅为举例，不以此为限)的实体节点，针对目标实体节点，考虑其入方向和出方向(从目标实体节点指出的方向)这两个方向的相邻实体节点。本发明实施例中，“临”和“邻”不做区别。
进行上述扩展方向的限制，原因是：这里的临域扩展目的是发现新的一阶逻辑结构以及新的多元组样本，而这个新的多元组是对应于现实中的一些查询信息的，在推理过程中，都是从锚实体节点向目标实体节点的推理，具有明显的方向性，因此，针对锚实体节点的临域扩展考虑的是入方向，针对目标实体节点的临域扩展可以考虑双向，其中入方向相当于是扩展锚实体节点，出方向相当于是扩展新的目标实体节点。
在得到如图3中所示的一些扩展结果后，可以从中提取出新的第二一阶逻辑结构以及其对应的第二多元组。具体地，可以人工或基于人工定义的提取规则来提出新的第二一阶逻辑结构，例如{9p,10i,3i7p}等。
通过以上过程，便可以基于已知的第一多元组，扩展出了新的第二多元组以及第二一阶逻辑结构，将第二多元组添加到第二一阶逻辑结构对应的训练集中，以用于知识图谱推理模型的训练，使得模型训练过程中可以使用到更多的新样本以及学习更多新的一阶逻辑结构。
在对知识图谱推理模型进行训练时，需要将多元组中的实体节点以及关系嵌入到低维向量空间，得到实体节点和关系对应的向量表示。
受分布式假设理论的启发，本发明实施例中，引入了临域滤波器这个功能模块，其核心作用是进行特征聚合：通过在一个小的子图区域内融合实体节点的特征来实现更好的中心实体节点的特征描述。实体节点的特征即实体节点的向量表示。
以目标多元组为例，通过该临域滤波器对目标多元组内包含的各实体节点进行向量表示的优化过程可以是：在知识图谱中确定目标多元组中任一实体节点对应的第二临实体节点，根据该任一实体节点及其第二临实体节点各自对应的第一向量表示的拼接结果确定该任一实体节点对应的第二向量表示。其中，目标多元组是上述第一多元组和第二多元组中任一个，也就是说针对每个多元组都进行该实体节点的向量表示优化处理。
某个实体节点的第一向量表示是指经过该临域滤波器的优化处理之前该实体节点的向量表示，第二向量表示是指经过该临域滤波器的优化处理之后该实体节点的向量表示。
以目标多元组内的任一实体节点e(可以是锚实体节点、目标实体节点)为例，可以在知识图谱上沿该实体节点e的入方向和出方向进行邻接的实体节点(可以搜索一跳范围的实体节点)的搜索，从而得到该实体节点e的第二临实体节点eneib，从而由搜索到的各第二临实体节点构成了作为中心的实体节点e的临域实体集合N(e)，其可以表示为：
Figure BDA0003880237080000085
其中，∨为取并运算符，
Figure BDA0003880237080000086
表示知识图谱中的关系集合，r表示关系集合中的一个关系，r(eneib,e)表示存在从实体节点eneib指向实体节点e的关系，r(e,eneib)表示存在从实体节点e指向实体节点eneib的关系。
由于不同实体节点的临域实体集合的大小并不是确定的，临域滤波器将其对齐为一个由超参数M约束的最大值。假设n为临域实体集合的实际大小，若n<M，则可以向原始集合中添加M-n个d维零向量，其中假设每个实体节点对应的向量表示是d维向量；反之，若n>M，则从原始集合中随机选择M个元素。
由此，对齐后的临域实体集合Ne′可表示为
Figure BDA0003880237080000081
其中
Figure BDA0003880237080000082
表示第i个临实体节点对应的第一向量表示。本发明实施例中，正体的e表示的是向量，斜体的e表示的是实体节点。
之后，可以使用一个多层二维卷积网络来进行特征融合。具体来说，假设实体节点e的第一向量表示为
Figure BDA0003880237080000083
则其通过临域滤波器优化后的第二向量表示
Figure BDA0003880237080000084
可表示为:
e′＝MLP(Flatten(ReLU(ωn★(τ′(e,N′e))+bn))
其中★表示二维卷积操作，ωn为设定的一种标准滤波器(卷积核)，bn为预设的偏置向量。e′表示实体节点e的第二向量表示，τ′为一种设定的连接与二维重塑操作函数，
Figure BDA0003880237080000091
Figure BDA0003880237080000092
即实体节点e对应的第一向量表示e与各第二临实体节点的第一向量表示的拼接结果：[e；eneib 1′；eneib 2′；…；eneib M],其中eneib i∈N′e。
MLP为多层感知器，即多层二维卷积网络，可表示为
Figure BDA0003880237080000093
其中m1×m2＝M。该多层感知器的作用主要是实现特征向量的降维，使得第二向量表示e′的维度降为d维。
Flatten为将二维矩阵展平为一维向量的运算符，ReLU是一种激活函数。
针对目标多元组内包含的各个实体节点，都进行临域滤波器的向量表示优化处理后，便可以得到优化后的该目标多元组对应的向量表示集，其中包含目标多元组中各个实体节点的第二向量表示以及目标多元组中各关系的初始向量表示。
其中，初始向量表示是指在构建出知识图谱时，初始为各个实体节点和关系进行语义编码得到的向量表示，比如one-hot向量。
通过上述临域滤波器对实体节点的向量表示的优化处理，使得目标多元组中每个实体节点对应的第二向量表示中聚合了其相邻的实体节点的语义信息，得到了更好的语义表示。
在得到目标多元组对应的向量表示集后，便可以使用该向量表示集对知识图谱推理模型进行训练。简单来说，可以将该向量表示集中的各锚实体节点的第二向量表示和各关系的初始向量表示输入到知识图谱推理模型中，以使得知识图谱推理模型输出预测的目标实体节点向量表示预测结果，基于该向量表示预测结果与已知的目标多元组中目标实体节点的第二向量表示，计算损失函数值，来调整知识图谱推理模型的参数。
如上文所述，在知识图谱构建时，可以对其中包含的各个实体节点和关系进行语义编码，得到各自对应的初始向量表示。上述实体节点的第一向量表示可以是对其初始向量表示进行嵌入(embedding)优化得到的。需要说明的是，在使用上述临域滤波器进行实体节点的特征优化处理时，第一向量表示也可以替换为初始向量表示。
实际应用中，可以预先训练一个知识图谱嵌入模型，针对上述目标多元组内包含的各个实体节点，可以通过该知识图谱嵌入模型得到其中每个实体节点的第一向量表示。由于不同的多元组中会涉及到知识图谱中的不同实体节点，因此，通过该知识图谱嵌入模型可以预先得到知识图谱中包含的各实体节点的第一向量表示。
该知识图谱嵌入模型的训练过程包括：
获取目标三元组，目标三元组中包括头实体节点、关系和尾实体节点；其中，目标三元组包括知识图谱内包含的三元组，或者，目标三元组包括所述知识图谱内包含的三元组以及从目标多元组中拆分出的三元组；
对头实体节点的初始向量表示和所述关系的初始向量表示的拼接结果进行多个卷积层的卷积操作，以得到融合向量表示；根据所述融合向量表示与所述拼接结果的加和结果，确定尾实体节点的目标向量表示；根据目标向量表示与尾实体节点的初始向量表示，确定用于训练知识图谱嵌入模型的损失函数值。
由此可知，知识图谱嵌入模型的训练是使用从知识图谱、目标多元组中提取到的三元组来进行训练的。下面具体介绍知识图谱嵌入模型的训练过程：
假设τ为一个拼接与二维重塑函数，以一个三元组(es,r,eo)为例，其中，es表示头实体节点，r代表关系，eo表示尾实体节点，并假设该头实体节点的初始向量表示为
Figure BDA0003880237080000101
该关系的初始向量表示
Figure BDA0003880237080000102
则
Figure BDA0003880237080000103
其中m1×m2＝2d。将e和r输入到知识图谱嵌入模型后，包含多个卷积层的知识图谱嵌入模型通过如下的计算过程得到尾实体节点eo的第一向量表示o：
Figure BDA0003880237080000104
Figure BDA0003880237080000105
Figure BDA0003880237080000106
其中★为二维卷积计算，
Figure BDA0003880237080000107
为设定的一种标准滤波器，
Figure BDA0003880237080000108
为空洞卷积中的空洞(dilated)滤波器，
Figure BDA0003880237080000109
与
Figure BDA00038802370800001010
是偏置向量。Cl表示经过l层卷积后的输出，CL为最后一个卷积层的输出。Flatten为将二维矩阵展平为一维向量的运算符，ReLU是一种激活函数。
在得到尾实体节点eo的第一向量表示o之后，通过第一向量表示o和尾实体节点eo的初始向量表示的相似度，确定损失函数值，以调整知识图谱嵌入模型的参数。其中，该相似度可以通过两个向量的某种距离来表示，比如余弦距离、欧式距离等。
可以理解的是，在一个三元组中某个实体节点作为头实体节点，在另一个三元组中该实体节点可能作为尾实体节点，因此，在使用大量的三元组对知识图谱嵌入模型进行训练后，通过训练好的知识图谱嵌入模型，可以得到知识图谱中各个实体节点的第一向量表示。
综上，本发明实施例中，通过临域扩散策略进行实体特征层面的增强(向量表示优化)以及逻辑层面的逻辑结构扩展(逻辑增强)处理，实现实体节点对应的向量表示的优化以及扩展更多的一阶逻辑结构，实现训练样本扩展。从而，通过上述表征建立和逻辑增强处理，使得知识图谱推理模型能够基于更加优化的实体节点的向量表征学习到更多未见过的一阶逻辑结构的样本多元组，提高了知识图谱推理模型针对未见过的一阶逻辑结构的泛化能力以及推理性能。
本发明实施例提供的知识图谱推理模型训练方法可以由服务器来执行，服务器执行该知识图谱推理模型训练方法的过程参见图4。
基于训练好的知识图谱推理模型，可以向其输入查询问题，该查询问题可以被转换为由锚实体节点和关系构成的多元组，知识图谱推理模型在知识图谱中预测出与该查询问题对应的答案——目标实体节点。
下面介绍在得到目标多元组的上述向量表示集之后，对知识图谱推理模型的训练过程。
图5为本发明实施例提供的一种知识图谱推理模型训练模型训练方法的流程图，如图5所示，该方法包括如下步骤：
501、将目标多元组对应的向量表示集和目标多元组对应的目标一阶逻辑结构的标识信息发送至预设的提示网络模型，以使提示网络模型确定与目标一阶逻辑结构对应的提示向量以及该提示向量与所述向量表示集中包含的各锚实体节点的第二向量表示和各关系的初始向量表示的融合结果。
502、将所述融合结果输入知识图谱推理模型，以得到知识图谱推理模型输出的与目标实体节点对应的预测向量表示。
503、根据所述预测向量表示与所述向量表示集中包含的目标实体节点的第二向量表示，确定目标多元组对应的目标损失函数值，以根据该目标损失函数值训练知识图谱推理模型和提示网络模型。
本实施例中，在进行知识图谱推理模型的训练过程中，同时引入了一个提示网络模型的训练任务，该提示网络模型可以是由多个卷积层构成的卷积神经网络模型，其目的是在知识图谱推理模型的训练过程中为每一类一阶逻辑结构添加包含类内特有特征的提示(prompt)向量，以便让知识图谱推理模型能够学习到各种一阶逻辑结构的特有的结构特征(一种类内信息)，以提高知识图谱推理模型的性能。
可以理解的是，经过上文的一阶逻辑结构的扩展，结合原本预先定义的多种一阶逻辑结构，已经可以获得更多的一阶逻辑结构，为便于描述，假设已经获得了k种一阶逻辑结构。每种一阶逻辑结构对应有相应的训练集，分别表示为：{Q1,Q2,…,Qk}。
假设目标多元组是第i个一阶逻辑结构对应的训练集中的第j个多元组，qi,j是目标多元组所对应的向量表示集。则可以将qi,j以及目标多元组对应的目标一阶逻辑结构的标识信息发送至提示网络模型。
提示网络模型可以正态随机初始化k个提示向量{T1,T2,…,Tk}，分别对应于上述k种一阶逻辑结构。接着，将Ti拼接到第i个一阶逻辑结构对应的训练集中各多元组的向量表示集上，以目标多元组来说，即拼接到其对应的向量表示集qi,j上，以实现提示向量Ti与向量表示集qi,j的特征融合。具体地，融合处理过程可以表示为：
q′i,j＝ReLU(ωT[Ti,qi,j]+bT)
其中，ωT表示一种滤波器，[Ti,qi,j]表示提示向量Ti和向量表示集qi,j中锚实体节点的第二向量表示和关系的初始向量表示的拼接，bT为设定的偏置向量。q′i,j表示融合结果。
将该融合结果输入到知识图谱推理模型，知识图谱推理模型会输出预测结果：预测的目标实体节点所对应的向量表示，称为预测向量表示。之后，预测向量表示与目标多元组内包含的目标实体节点的第二向量表示进行误差计算，以得到与目标多元组对应的损失函数值。在梯度反向传播过程中，根据该损失函数值调整知识图谱推理模型和提示网络模型的参数。其中，提示网络模型的参数调整即会不断调整每个一阶逻辑结构的提示向量，以便后续知识图谱推理模型能够基于优化的提示向量更准确地学习到不同一阶逻辑结构的特征。
在一可选实施例中，根据所述预测向量表示与目标多元组中目标实体节点的第二向量表示，确定目标多元组对应的目标损失函数值，还可以实现为：
在知识图谱中确定与目标多元组对应的非目标实体节点以及确定所述非目标实体节点对应的第一向量表示，该非目标实体节点与目标多元组中包含的各锚实体节点和目标实体节点不同，所述第一向量表示是基于上文所述的预先训练的知识图谱嵌入模型获得的；
根据所述预测向量表示与目标实体节点的第二向量表示确定第一损失函数值，以及根据所述预测向量表示与所述非目标实体节点的第一向量表示确定第二损失函数值；
根据第一损失函数值和第二损失函数值确定目标多元组对应的第一目标损失函数值，以根据第一目标损失函数值训练知识图谱推理模型和提示网络模型。
为便于理解和描述，假设目标多元组为：[e1,e2,r1,r2,t]，其中，e1,e2为两个锚实体节点；r1,r2为两个关系；t为目标实体节点，并假设目标多元组对应的向量表示集为：[e1,e2,r1,r2,t]，其中，e1,e2为上述两个锚实体节点的第二向量表示；r1,r2为上述两个关系的初始向量表示；t为上述目标实体节点的第二向量表示。
假设在知识图谱中随机选定n_s个不同于上述锚实体节点和目标实体节点的非目标实体节点，将选出的第i个非目标实体节点的第一向量表示表示为ti′，并假设将[e1,e2,r1,r2,？]输入知识图谱推理模型后该模型输出的预测向量表示为q，其中，？表示未将目标实体节点的第二向量表示输入该模型。
基于上述假设，目标多元组对应的第一目标损失函数值的计算可以表示为：
Figure BDA0003880237080000121
其中，score(q,t)表示目标实体节点的第二向量表示t与预测向量表示q之间的归一化的相似度分数，可以通过计算两者之间的某种距离来确定。score(q,ti′)表示预测向量表示q与非目标实体节点的第一向量表示ti′之间的归一化的相似度分数。σ代表Sigmoid函数。
上述第一目标损失函数值中的第一项是指拉近预测向量表示q与目标实体节点的第二向量表示t之间的距离，第二项推远非目标实体节点的第一向量表示ti′与预测向量表示q之间的距离。
图6为本发明实施例提供的一种知识图谱推理模型训练模型训练方法的流程图，如图6所示，该方法包括如下步骤：
601、将目标多元组对应的向量表示集和目标多元组对应的目标一阶逻辑结构的标识信息发送至预设的提示网络模型，以使提示网络模型确定与目标一阶逻辑结构对应的提示向量以及该提示向量与所述向量表示集中包含的各锚实体节点的第二向量表示和各关系的初始向量表示的融合结果。
602、将所述融合结果输入知识图谱推理模型，以得到知识图谱推理模型输出的与目标实体节点对应的预测向量表示。
603、根据所述预测向量表示与所述向量表示集中包含的目标实体节点的第二向量表示，确定目标多元组对应的第一目标损失函数值。
604、根据当前一轮迭代训练过程中，目标一阶逻辑结构对应的训练集中多个多元组各自对应的第一目标损失函数值，确定当前一轮迭代训练过程中目标一阶逻辑结构对应的第二目标损失函数值。
605、根据当前一轮迭代训练过程中多种一阶逻辑结构各自对应的第二目标损失函数值，确定当前一轮迭代训练过程对应的第一总损失函数值；根据前一轮迭代训练过程中目标一阶逻辑结构对应的训练集中多个多元组各自对应的第一目标损失函数值，确定前一轮迭代训练过程中目标一阶逻辑结构对应的第三目标损失函数值。
606、确定前一轮迭代训练过程中多种一阶逻辑结构各自对应的第三目标损失函数值中符合设定大小条件的第三目标损失函数值，使用设定的衰减因子对符合设定大小条件的第三目标损失函数值进行衰减处理，根据第一总损失函数值和所述衰减处理结果确定当前一轮迭代训练过程对应的第二总损失函数值，根据第二总损失函数值训练知识图谱推理模型和提示网络模型。
本实施例中，目标多元组是目标一阶逻辑结构对应的训练集中的任一多元组，目标一阶逻辑结构是已经得到的多种一阶逻辑结构中的一种。由于引入了多级连接查询机制扩展出了丰富多样的一阶逻辑结构，如果不施加任何限制，知识图谱推理模型将倾向于学习显性或简单的一阶逻辑结构，这对整体性能是不利的。因此，本发明实施例中提出了一种梯度自适应方案，其关键思想是抑制收敛速度最快的一阶逻辑结构上的样本梯度信息。通过这种处理，知识图谱推理模型在训练的早期有更多机会学习困难或长尾的样本。
具体来说，模型训练过程中是经过多轮迭代训练的，每一轮迭代训练过程中，可以遍历完全部多种一阶逻辑结构各自对应的训练集中的各多元组。
以目标一阶逻辑结构来说，目标多元组是其对应的训练集中的一个样本，通过上文中介绍的训练过程可以得到当前一轮迭代训练过程中目标多元组对应的第一目标损失函数值。同理，该训练集中的每个多元组都可以计算出其对应的第一目标损失函数值。累计目标一阶逻辑结构对应的训练集中各多元组在当前一轮迭代训练过程中对应的第一目标损失函数值，可以得到目标一阶逻辑结构在当前一轮迭代训练过程中目标一阶逻辑结构对应的第二目标损失函数值。
同理，针对每种一阶逻辑结构都进行上述处理，便可以得到当前一轮迭代训练过程中多种一阶逻辑结构各自对应的第二目标损失函数值。累计当前一轮迭代训练过程中多种一阶逻辑结构各自对应的第二目标损失函数值，以确定当前一轮迭代训练过程对应的第一总损失函数值。
前一轮迭代训练过程也进行同样的处理，可以根据前一轮迭代训练过程中目标一阶逻辑结构对应的训练集中多个多元组各自对应的第一目标损失函数值，确定前一轮迭代训练过程中目标一阶逻辑结构对应的第三目标损失函数值。同理，可以得到前一轮迭代训练过程中多种一阶逻辑结构各自对应的第三目标损失函数值。
确定前一轮迭代训练过程中多种一阶逻辑结构各自对应的第三目标损失函数值中符合设定大小条件的第三目标损失函数值，该设定大小条件比如是大于设定阈值，或者取最大值。
之后，使用设定的衰减因子z对该符合设定大小条件的第三目标损失函数值进行衰减处理，即给该第三目标损失函数值乘以该衰减因子。实际上，符合该设定大小条件的第三目标损失函数值所对应的一阶逻辑结构，即为快速收敛的一阶逻辑结构，通过给其乘以一个衰减因子来抑制其快速收敛。
之后，根据上述衰减处理结果对当前一轮迭代过程得到的第一总损失函数值进行调整，以得到当前一轮迭代训练过程对应的第二总损失函数值，以根据第二总损失函数值训练知识图谱推理模型和提示网络模型。
需要说明的是，本实施例提供的梯度自适应方案与提示网络模型是可以解耦的。
为便于理解，将上述梯度自适应处理过程表示如下：
假设一共有k种一阶逻辑结构：{p1,p2,…,pn}，若
Figure BDA0003880237080000141
是在第i-1次迭代中计算得到的各一阶逻辑结构分别对应的目标损失函数值，其累加结果为
Figure BDA0003880237080000142
Figure BDA0003880237080000143
是在第i次迭代中得到的各一阶逻辑结构分别对应的目标损失函数值，其累加结果为
Figure BDA0003880237080000144
则第i次迭代中调整后的第二总损失函数值可表示为：
Figure BDA0003880237080000145
其中，z为衰减因子，比如取值为0.05，
Figure BDA0003880237080000146
表示取第i-1次迭代中k种一阶逻辑结构分别对应的目标损失函数值中的最大值。
图7为本发明实施例提供的一种知识图谱推理模型训练模型训练方法的流程图，如图7所示，该方法包括如下步骤：
701、在知识图谱中确定与目标多元组对应的非目标实体节点以及确定非目标实体节点对应的第一向量表示，该非目标实体节点与目标多元组中包含的各锚实体节点和目标实体节点不同，所述第一向量表示是基于上文所述的预先训练的知识图谱嵌入模型获得的。
702、将目标多元组的向量表示集中各锚实体节点的第二向量表示和关系的初始向量表示输入知识图谱推理模型，以得到知识图谱推理模型输出的预测向量表示，根据所述预测向量表示与目标多元组中目标实体节点的第二向量表示确定第一损失函数值，以及根据所述预测向量表示与所述非目标实体节点的第一向量表示确定第二损失函数值；根据第一损失函数值和第二损失函数值确定目标多元组对应的第一目标损失函数值。
703、确定目标多元组中任一锚实体节点到目标实体节点的第一关系的初始向量表示；对第一关系的初始向量表示进行逆向映射处理，以得到目标实体节点到所述任一锚实体节点的第二关系的初始向量表示，第一关系包含于目标多元组中。
704、将目标实体节点的第二向量表示和第二关系的初始向量表示输入知识图谱推理模型，以得到所述任一锚实体节点对应的第一预测向量表示；以及，将非目标实体节点的第一向量表示和第二关系的初始向量表示输入知识图谱推理模型，以得到所述任一锚实体节点对应的第二预测向量表示。
705、根据第一预测向量表示和所述任一锚实体节点的第二向量表示确定所述任一锚实体节点对应的第三损失函数值；根据第二预测向量表示和所述任一锚实体节点的第二向量表示确定所述任一锚实体节点对应的第四损失函数值；根据第三损失函数值和第四损失函数值确定所述任一锚实体节点对应的总损失函数值。
706、根据目标多元组中各锚实体节点各自对应的总损失函数值，确定目标多元组对应的第四目标损失函数值。
707、根据目标多元组对应的第一目标损失函数值和第四目标损失函数值训练知识图谱推理模型。
此前将开放集知识图谱的推理过程中存在的问题分解为两个主要问题：不可见的一阶逻辑结构和域外数据干扰。本实施例中，提出一种三元组重构误差来解决域外数据干扰的问题。
用逻辑运算符排列构造的复杂查询问题可以简单地表示为推理子图。通过执行从锚实体节点到目标实体节点的逻辑运算来回答查询问题被定义为前向推理过程。然而，现有方法仅使用前向推理过程，这导致查询问题和答案之间的双向映射不可靠。所以本实施例中设计一个反向推理过程，以完善推理——反演过程是解决这个问题的关键。
三元组重构误差通过约束锚实体节点集与目标实体节点集的双向映射关系，通过距离度量区分域内数据与域外数据，进而排除域外数据在模型训练或测试中的干扰。
首先需要说明的是，如果一个多元组内包含不止一个目标实体节点，那么在一次迭代训练过程中，会随机从中选择一个目标实体节点参与本轮训练过程。因此，为便于描述，假设目标多元组内包含一个目标实体节点。
假设目标多元组为：[e1,e2,r1,r2,t]，其中，e1,e2为两个锚实体节点；r1,r2为两个关系；t为目标实体节点，并假设目标多元组对应的向量表示集为：[e1,e2,r1,r2,t]，其中，e1,e2为上述两个锚实体节点的第二向量表示；r1,r2为上述两个关系的初始向量表示；t为上述目标实体节点的第二向量表示。
假设在知识图谱中随机选定n_s个不同于上述锚实体节点和目标实体节点的非目标实体节点，将选出的第i个非目标实体节点ti′的第一向量表示表示为ti′，并假设将[e1,e2,r1,r2,？]输入知识图谱推理模型后该模型输出的预测向量表示为q，其中，？表示未将目标实体节点的第二向量表示输入该模型。本实施例中，目标多元组对应的第一目标损失函数值的计算结果表示为
Figure BDA0003880237080000151
计算过程参考上文中描述。
假设目标多元组为：[e1,e2,r1,r2,t]中可以拆分出如下两个三元组：[e1,r1,t]和,e2,r2,t]，那么以锚实体节点e1为例，其到达目标实体节点t的第一关系为r1，假设第一关系的初始向量表示为r1。并假设从锚实体节点e1出发，通过第一关系r1到达了一个随机选定的非目标实体节点ti′。本实施例中，将从锚实体节点e1出发，通过第一关系r1到达目标实体节点t的路径称为前正向关系路径:[e1,r1,t]，将从锚实体节点e1出发，通过第一关系r1到达非目标实体节点ti′的路径称为前负向关系路径[e1,r1,ti′]。其中，前向，对应于从锚实体节点出发到目标实体节点的方向；前向下的正/负向分别对应于到达目标实体节点和非目标实体节点的情形。
之后，对第一关系r1的初始向量表示r1进行逆向映射处理，以得到目标实体节点t到锚实体节点e1的第二关系的初始向量表示
Figure BDA0003880237080000161
基于该逆向映射关系，可以形成将从目标实体节点t出发，通过第二关系到达锚实体节点e1的前逆向关系路径:
Figure BDA0003880237080000162
将从非目标实体节点ti′出发，通过第二关系到达锚实体节点e1的路径称为负逆向关系路径
Figure BDA0003880237080000163
其中，逆向，对应于从目标实体节点出发到锚实体节点的方向；逆向下的正/负向分别对应于从目标实体节点到达锚实体节点的情形以及从非目标实体节点到锚实体节点的情形。
在上述举例中，将目标实体节点的第二向量表示t和第二关系的初始向量表示
Figure BDA0003880237080000164
输入知识图谱推理模型，以得到第一预测向量表示e1′；将非目标实体节点的第一向量表示ti′和第二关系的初始向量表示
Figure BDA0003880237080000165
输入知识图谱推理模型，以得到第二预测向量表示e1″。其中，目标实体节点的第二向量表示t和第二关系的初始向量表示
Figure BDA0003880237080000166
输入知识图谱推理模型的形式可以是：t-r1，即
Figure BDA0003880237080000167
之后，计算第一预测向量表示e1′与锚实体节点e1的第二向量表示e1之间的相似度分数，以根据该相似度分数确定锚实体节点e1对应的第三损失函数值；计算第二预测向量表示e1″与锚实体节点e1的第二向量表示e1之间的相似度分数，以根据该相似度分数确定锚实体节点e1对应的第四损失函数值，将第三损失函数值和第四损失函数值的加和结果确定为锚实体节点e1对应的总损失函数值
Figure BDA0003880237080000168
同理，针对上述目标多元组内的锚实体节点e2，通过类似的计算过程得到锚实体节点e2对应的总损失函数值
Figure BDA0003880237080000169
之后，基于锚实体节点e1对应的总损失函数值
Figure BDA00038802370800001610
和锚实体节点e2对应的总损失函数值
Figure BDA00038802370800001611
便可以得到目标多元组对应的第四目标损失函数值
Figure BDA00038802370800001612
具体地，根据目标多元组中包含的锚实体节点数量以及目标多元组对应的目标一阶逻辑结构，从目标多元组中各锚实体节点对应的总损失函数值中确定目标多元组对应的第四目标损失函数值。计算公式如下：
Figure BDA00038802370800001613
其中，pk代表目标多元组对应的目标一阶逻辑结构,{}中包含的是一阶逻辑结构的标识信息。Max表示取最大值，Min表示取最小值。
上述
Figure BDA00038802370800001614
所定义的损失函数即为本发明实施例中定义的三元组重构误差。
基于上述计算公式可知，如果目标多元组内包含三个锚实体节点，则可以从这三个锚实体节点对应的总损失函数值中确定最大值作为目标多元组的第四目标损失函数值。如果目标多元组内包含两个锚实体节点，则可以结合目标多元组所对应的目标一阶逻辑结构，从这两个锚实体节点对应的总损失函数值中确定最大值或最小值作为目标多元组的第四目标损失函数值。如果目标多元组内包含一个锚实体节点，则直接以该锚实体节点对应的总损失函数值作为目标多元组的第四目标损失函数值。
针对锚节点实体对应的总损失函数值，比如上述
Figure BDA0003880237080000171
可以根据如下计算公式计算：
Figure BDA0003880237080000172
其中，ej表示目标多元组内包含的第j个锚实体节点，i是从知识图谱中随机选定的n_s个非目标实体节点中的第i个非目标实体节点，
Figure BDA0003880237080000173
表示从目标实体节点t沿逆正向关系路径预测出的向量表示，
Figure BDA0003880237080000174
表示第i个非目标实体节点沿相应的逆负向关系路径预测出的向量表示。其中，score代表归一化的相似性分数，σ代表Sigmoid函数。
针对上述目标多元组来说，确定第一预测向量表示和任一锚实体节点e1的第二向量表示的相似度之后，还可以根据该相似度与设定阈值的比较结果，确定目标多元组是否包含域外数据。若确定目标多元组包含域外数据，则在目标多元组对应的目标一阶逻辑结构所对应的训练集中删除目标多元组。其中，该相似度即为
Figure BDA0003880237080000175
如果相似度小于设定阈值，说明目标多元组为域外数据。因为如果是域内数据，逆向下，从目标实体节点沿着正逆向关系路径预测出的锚实体节点的预测向量表示与该锚实体节点的第二向量表示应该是很相似的。
综上，针对目标多元组来说，在得到其对应的第一目标损失函数值
Figure BDA0003880237080000176
和第四目标损失函数值
Figure BDA0003880237080000177
之后，可以计算出目标多元组最终的损失函数：
Figure BDA0003880237080000178
其中，λ是一个控制三元组重构误差权重的预设超参数。
实际上，本发明实施例中，假设某个一阶逻辑查询信息对应的多元组中，锚实体节点集为：{a1,a2,…,as}，体现该多元组中锚实体节点、目标实体节点以及彼此之间连接关系的推理子图为Gq，则在Gq中可以定义正/负前向关系路径
Figure BDA0003880237080000179
具体来说，
Figure BDA00038802370800001710
表示从某个锚实体节点aj出发，经由Gq中的一条有向路径到达目标实体t；
Figure BDA00038802370800001711
表示从某个锚实体节点aj出发，经由Gq中的有向路径到达随机选定的非目标实体节点t′i。显然，正/负前向关系路径中涉及的逻辑操作只有关系投影算子：Pr(e)≡{e′∈:r(e,e′)＝True}，其中，r(e,e′)表示锚实体节点e通过关系r映射到实体节点e′。在定义上述两个前向关系路径之后，将前向关系路径中所有的关系投影算子替换为其逆映射
Figure BDA00038802370800001712
从而可以生成具有类似策略的后向关系路径：
Figure BDA00038802370800001713
代表从目标实体节点t到锚实体节点aj的正逆向关系路径；
Figure BDA00038802370800001714
代表从一个非目标实体节点t′i到锚实体节点aj的负逆向关系路径。
以上介绍了知识图谱推理模型的训练方法，通过上述方法，可以克服开集知识图谱中域外数据的干扰以及提高知识图谱推理模型对一阶逻辑结构的泛化能力和性能。
本发明实施例提供的知识图谱推理模型训练方法可以在云端来执行，在云端可以部署有若干计算节点(云服务器)，每个计算节点中都具有计算、存储等处理资源。在云端，可以组织由多个计算节点来提供某种服务，当然，一个计算节点也可以提供一种或多种服务。云端提供该服务的方式可以是对外提供服务接口，用户调用该服务接口以使用相应的服务。
针对本发明实施例提供的方案，云端可以提供有知识图谱推理模型训练服务的服务接口，用户通过车载终端设备调用该服务接口，以向云端触发知识图谱推理模型训练请求，该请求中包括预设训练查询信息。云端确定响应该请求的计算节点，利用该计算节点中的处理资源执行如下步骤：
获取与第一一阶逻辑结构对应的第一多元组，所述第一多元组中包括从预设训练查询信息中确定的多个实体节点和至少一个关系，所述多个实体节点中包括至少一个锚实体节点和目标实体节点；
在预设的知识图谱中分别确定所述第一多元组中所述多个实体节点各自对应的第一临实体节点；
在包含所述多个实体节点以及所述多个实体节点各自对应的第一临实体节点的推理子图中，确定第二多元组以及所述第二多元组对应的第二一阶逻辑结构；
在所述知识图谱中确定目标多元组中任一实体节点对应的第二临实体节点，所述目标多元组是所述第一多元组和所述第二多元组中任一个；
根据所述任一实体节点及其第二临实体节点各自对应的第一向量表示的拼接结果确定所述任一实体节点对应的第二向量表示，以得到所述目标多元组对应的向量表示集，所述向量表示集中包含所述目标多元组内各实体节点的第二向量表示以及各关系的初始向量表示；
根据所述向量表示集对知识图谱推理模型进行训练。
上述执行过程可以参考前述其他实施例中的相关说明，在此不赘述。
为便于理解，结合图8来示例性说明。用户可以通过图8中示意的用户设备E1调用知识图谱推理模型训练服务，以上传预设的训练查询信息。用户调用该服务的服务接口包括软件开发工具包(Software Development Kit，简称SDK)、应用程序接口(ApplicationProgramming Interface，简称API)等形式。图8中示意的是API接口的情形。在云端，如图中所示，假设由服务集群E2提供知识图谱推理模型训练服务，服务集群E2中包括至少一个计算节点。服务集群E2收到该请求后，执行前述实施例中所述的步骤，以得到训练好的知识图谱推理模型。
以下将详细描述本发明的一个或多个实施例的知识图谱推理模型训练装置。本领域技术人员可以理解，这些装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图9为本发明实施例提供的一种知识图谱推理模型训练装置的结构示意图，如图9所示，该装置包括：获取模块11、临域扩散模块12、特征确定模块13和训练模块14。
获取模块11，用于获取与第一一阶逻辑结构对应的第一多元组，所述第一多元组中包括从预设训练查询信息中确定的多个实体节点和至少一个关系，所述多个实体节点中包括至少一个锚实体节点和目标实体节点。
临域扩散模块12，用于在预设的知识图谱中分别确定所述第一多元组中所述多个实体节点各自对应的第一临实体节点；在包含所述多个实体节点以及所述多个实体节点各自对应的第一临实体节点的推理子图中，确定第二多元组以及所述第二多元组对应的第二一阶逻辑结构；在所述知识图谱中确定目标多元组中任一实体节点对应的第二临实体节点，所述目标多元组是所述第一多元组和所述第二多元组中任一个。
特征确定模块13，用于根据所述任一实体节点及其第二临实体节点各自对应的第一向量表示的拼接结果确定所述任一实体节点对应的第二向量表示，以得到所述目标多元组对应的向量表示集，所述向量表示集中包含所述目标多元组内各实体节点的第二向量表示以及各关系的初始向量表示。
训练模块14，用于根据所述向量表示集对知识图谱推理模型进行训练。
可选地，所述临域扩散模块12具体用于：在所述知识图谱中确定所述第一多元组中所述至少一个锚实体节点各自的入方向的临实体节点，以及确定所述目标实体节点的出方向和入方向的临实体节点。
可选地，所述临域扩散模块12具体用于：在所述知识图谱中确定所述目标多元组中任一实体节点的出方向和入方向的临实体节点。
可选地，所述装置还包括：嵌入模块，用于根据预先训练的知识图谱嵌入模型，获取所述目标多元组和所述知识图谱中包含的各实体节点的第一向量表示。
可选地，所述嵌入模块还用于：获取目标三元组，所述目标三元组中包括头实体节点、关系和尾实体节点；其中，所述目标三元组包括所述知识图谱内包含的三元组，或者，所述目标三元组包括所述知识图谱内包含的三元组以及从所述目标多元组中拆分出的三元组；对所述头实体节点的初始向量表示和所述关系的初始向量表示的拼接结果进行多个卷积层的卷积操作，以得到融合向量表示；根据所述融合向量表示与所述拼接结果的加和结果，确定所述尾实体节点的目标向量表示；根据所述目标向量表示与所述尾实体节点的初始向量表示，确定用于训练所述知识图谱嵌入模型的损失函数值。
可选地，所述训练模块具体用于：将所述向量表示集和所述目标多元组对应的目标一阶逻辑结构的标识信息发送至预设的提示网络模型，以使所述提示网络模型确定与所述目标一阶逻辑结构对应的提示向量以及所述提示向量与所述向量表示集中包含的各锚实体节点的第二向量表示和各关系的初始向量表示的融合结果；将所述融合结果输入所述知识图谱推理模型，以得到所述知识图谱推理模型输出的与所述目标实体节点对应的预测向量表示；根据所述预测向量表示与所述向量表示集中包含的所述目标实体节点的第二向量表示，确定所述目标多元组对应的目标损失函数值，以根据所述目标损失函数值训练所述知识图谱推理模型和所述提示网络模型。
可选地，在根据所述预测向量表示与所述向量表示集中包含的所述目标实体节点的第二向量表示，确定所述目标多元组对应的目标损失函数值的过程中，所述训练模块具体用于：在所述知识图谱中确定与所述目标多元组对应的非目标实体节点以及确定所述非目标实体节点对应的第一向量表示，所述非目标实体节点与所述目标多元组中所述至少一个锚实体节点和所述目标实体节点不同，所述第一向量表示是基于预先训练的知识图谱嵌入模型获得的；根据所述预测向量表示与所述目标实体节点的第二向量表示确定第一损失函数值，以及根据所述预测向量表示与所述非目标实体节点的第一向量表示确定第二损失函数值；根据所述第一损失函数值和所述第二损失函数值确定所述目标多元组对应的第一目标损失函数值，以根据所述第一目标损失函数值训练所述知识图谱推理模型和所述提示网络模型。
可选地，所述目标多元组是相应目标一阶逻辑结构对应的训练集中的任一多元组，所述目标一阶逻辑结构是多种一阶逻辑结构中的一种。在根据所述第一目标损失函数值训练所述知识图谱推理模型和所述提示网络模型的过程中，所述训练模块具体用于：根据当前一轮迭代训练过程中，所述目标一阶逻辑结构对应的训练集中多个多元组各自对应的第一目标损失函数值，确定所述当前一轮迭代训练过程中所述目标一阶逻辑结构对应的第二目标损失函数值；根据所述当前一轮迭代训练过程中所述多种一阶逻辑结构各自对应的第二目标损失函数值，确定所述当前一轮迭代训练过程对应的第一总损失函数值；根据前一轮迭代训练过程中，所述目标一阶逻辑结构对应的训练集中多个多元组各自对应的第一目标损失函数值，确定所述前一轮迭代训练过程中所述目标一阶逻辑结构对应的第三目标损失函数值；确定所述前一轮迭代训练过程中所述多种一阶逻辑结构各自对应的第三目标损失函数值中符合设定大小条件的第三目标损失函数值；使用设定的衰减因子对所述符合设定大小条件的第三目标损失函数值进行衰减处理；根据所述第一总损失函数值和所述衰减处理结果，确定所述当前一轮迭代训练过程对应的第二总损失函数值；根据所述第二总损失函数值训练所述知识图谱推理模型和所述提示网络模型。
可选地，所述训练模块还用于：确定所述目标多元组中任一锚实体节点到所述目标实体节点的第一关系的初始向量表示，所述第一关系包含于所述至少一个关系中；对所述第一关系的初始向量表示进行逆向映射处理，以得到所述目标实体节点到所述任一锚实体节点的第二关系的初始向量表示；将所述目标实体节点的第二向量表示和所述第二关系的初始向量表示输入所述知识图谱推理模型，以得到所述任一锚实体节点对应的第一预测向量表示；以及，将所述非目标实体节点的第一向量表示和所述第二关系的初始向量表示输入所述知识图谱推理模型，以得到所述任一锚实体节点对应的第二预测向量表示；根据所述第一预测向量表示和所述任一锚实体节点的第二向量表示，确定所述任一锚实体节点对应的第三损失函数值；根据所述第二预测向量表示和所述任一锚实体节点的第二向量表示，确定所述任一锚实体节点对应的第四损失函数值；根据所述第三损失函数值和所述第四损失函数值确定所述任一锚实体节点对应的总损失函数值；根据所述至少一个锚实体节点各自对应的总损失函数值，确定所述目标多元组对应的第四目标损失函数值；根据所述第一目标损失函数值和所述第四目标损失函数值训练所述知识图谱推理模型和所述提示网络模型。
其中，可选地，根据所述至少一个锚实体节点各自对应的总损失函数值，确定所述目标多元组对应的第四目标损失函数值的过程中，所述训练模块具体用于：根据所述目标多元组中包含的锚实体节点数量以及所述目标多元组对应的目标一阶逻辑结构，从所述至少一个锚实体节点各自对应的总损失函数值中确定所述目标多元组对应的第四目标损失函数值。
其中，所述训练模块还用于：确定所述第一预测向量表示和所述任一锚实体节点的第二向量表示的相似度，其中，所述第三损失函数值基于所述相似度确定；根据所述相似度与设定阈值的比较结果，确定所述目标多元组是否包含域外数据；若确定所述目标多元组包含域外数据，则在所述目标多元组对应的目标一阶逻辑结构所对应的训练集中删除所述目标多元组。
图9所示装置可以执行前述实施例中的步骤，详细的执行过程和技术效果参见前述实施例中的描述，在此不再赘述。
在一个可能的设计中，上述图9所示知识图谱推理模型训练装置的结构可实现为一电子设备。如图10所示，该电子设备可以包括：处理器21、存储器22、通信接口23。其中，存储器22上存储有可执行代码，当所述可执行代码被处理器21执行时，使处理器21至少可以实现如前述实施例中提供的知识图谱推理模型训练方法。
另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如前述实施例中提供的知识图谱推理模型训练方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

1.一种知识图谱推理模型训练方法，其特征在于，包括：
获取与第一一阶逻辑结构对应的第一多元组，所述第一多元组中包括从预设训练查询信息中确定的多个实体节点和至少一个关系，所述多个实体节点中包括至少一个锚实体节点和目标实体节点；
在预设的知识图谱中分别确定所述第一多元组中所述多个实体节点各自对应的第一临实体节点；
在包含所述多个实体节点以及所述多个实体节点各自对应的第一临实体节点的推理子图中，确定第二多元组以及所述第二多元组对应的第二一阶逻辑结构；
在所述知识图谱中确定目标多元组中任一实体节点对应的第二临实体节点，所述目标多元组是所述第一多元组和所述第二多元组中任一个；
根据所述任一实体节点及其第二临实体节点各自对应的第一向量表示的拼接结果确定所述任一实体节点对应的第二向量表示，以得到所述目标多元组对应的向量表示集，所述向量表示集中包含所述目标多元组内各实体节点的第二向量表示以及各关系的初始向量表示；
根据所述向量表示集对知识图谱推理模型进行训练。
2.根据权利要求1所述的方法，其特征在于，所述在预设的知识图谱中分别确定所述第一多元组中所述多个实体节点各自对应的第一临实体节点，包括：
在所述知识图谱中确定所述第一多元组中所述至少一个锚实体节点各自的入方向的临实体节点，以及确定所述目标实体节点的出方向和入方向的临实体节点。
3.根据权利要求1所述的方法，其特征在于，所述在所述知识图谱中确定目标多元组中任一实体节点对应的第二临实体节点，包括：
在所述知识图谱中确定所述目标多元组中任一实体节点的出方向和入方向的临实体节点。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据预先训练的知识图谱嵌入模型，获取所述目标多元组和所述知识图谱中包含的各实体节点的第一向量表示；其中，所述知识图谱嵌入模型的训练过程包括：
获取目标三元组，所述目标三元组中包括头实体节点、关系和尾实体节点；其中，所述目标三元组包括所述知识图谱内包含的三元组，或者，所述目标三元组包括所述知识图谱内包含的三元组以及从所述目标多元组中拆分出的三元组；
对所述头实体节点的初始向量表示和所述关系的初始向量表示的拼接结果进行多个卷积层的卷积操作，以得到融合向量表示；
根据所述融合向量表示与所述拼接结果的加和结果，确定所述尾实体节点的目标向量表示；
根据所述目标向量表示与所述尾实体节点的初始向量表示，确定用于训练所述知识图谱嵌入模型的损失函数值。
5.根据权利要求1所述的方法，其特征在于，所述根据所述向量表示集对知识图谱推理模型进行训练，包括：
将所述向量表示集和所述目标多元组对应的目标一阶逻辑结构的标识信息发送至预设的提示网络模型，以使所述提示网络模型确定与所述目标一阶逻辑结构对应的提示向量以及所述提示向量与所述向量表示集中包含的各锚实体节点的第二向量表示和各关系的初始向量表示的融合结果；
将所述融合结果输入所述知识图谱推理模型，以得到所述知识图谱推理模型输出的与所述目标实体节点对应的预测向量表示；
根据所述预测向量表示与所述向量表示集中包含的所述目标实体节点的第二向量表示，确定所述目标多元组对应的目标损失函数值，以根据所述目标损失函数值训练所述知识图谱推理模型和所述提示网络模型。
6.根据权利要求5所述的方法，其特征在于，所述根据所述预测向量表示与所述向量表示集中包含的所述目标实体节点的第二向量表示，确定所述目标多元组对应的目标损失函数值，包括：
在所述知识图谱中确定与所述目标多元组对应的非目标实体节点以及确定所述非目标实体节点对应的第一向量表示，所述非目标实体节点与所述目标多元组中所述至少一个锚实体节点和所述目标实体节点不同，所述第一向量表示是基于预先训练的知识图谱嵌入模型获得的；
根据所述预测向量表示与所述目标实体节点的第二向量表示确定第一损失函数值，以及根据所述预测向量表示与所述非目标实体节点的第一向量表示确定第二损失函数值；
根据所述第一损失函数值和所述第二损失函数值确定所述目标多元组对应的第一目标损失函数值，以根据所述第一目标损失函数值训练所述知识图谱推理模型和所述提示网络模型。
7.根据权利要求6所述的方法，其特征在于，所述目标多元组是相应目标一阶逻辑结构对应的训练集中的任一多元组，所述目标一阶逻辑结构是多种一阶逻辑结构中的一种；所述根据所述第一目标损失函数值训练所述知识图谱推理模型和所述提示网络模型，包括：
根据当前一轮迭代训练过程中，所述目标一阶逻辑结构对应的训练集中多个多元组各自对应的第一目标损失函数值，确定所述当前一轮迭代训练过程中所述目标一阶逻辑结构对应的第二目标损失函数值；
根据所述当前一轮迭代训练过程中所述多种一阶逻辑结构各自对应的第二目标损失函数值，确定所述当前一轮迭代训练过程对应的第一总损失函数值；
根据前一轮迭代训练过程中，所述目标一阶逻辑结构对应的训练集中多个多元组各自对应的第一目标损失函数值，确定所述前一轮迭代训练过程中所述目标一阶逻辑结构对应的第三目标损失函数值；
确定所述前一轮迭代训练过程中所述多种一阶逻辑结构各自对应的第三目标损失函数值中符合设定大小条件的第三目标损失函数值；
使用设定的衰减因子对所述符合设定大小条件的第三目标损失函数值进行衰减处理；
根据所述第一总损失函数值和所述衰减处理结果，确定所述当前一轮迭代训练过程对应的第二总损失函数值；
根据所述第二总损失函数值训练所述知识图谱推理模型和所述提示网络模型。
8.根据权利要求6或7所述的方法，其特征在于，所述方法还包括：
确定所述目标多元组中任一锚实体节点到所述目标实体节点的第一关系的初始向量表示，所述第一关系包含于所述至少一个关系中；
对所述第一关系的初始向量表示进行逆向映射处理，以得到所述目标实体节点到所述任一锚实体节点的第二关系的初始向量表示；
将所述目标实体节点的第二向量表示和所述第二关系的初始向量表示输入所述知识图谱推理模型，以得到所述任一锚实体节点对应的第一预测向量表示；以及，将所述非目标实体节点的第一向量表示和所述第二关系的初始向量表示输入所述知识图谱推理模型，以得到所述任一锚实体节点对应的第二预测向量表示；
根据所述第一预测向量表示和所述任一锚实体节点的第二向量表示，确定所述任一锚实体节点对应的第三损失函数值；根据所述第二预测向量表示和所述任一锚实体节点的第二向量表示，确定所述任一锚实体节点对应的第四损失函数值；
根据所述第三损失函数值和所述第四损失函数值确定所述任一锚实体节点对应的总损失函数值；
根据所述至少一个锚实体节点各自对应的总损失函数值，确定所述目标多元组对应的第四目标损失函数值；
根据所述第一目标损失函数值和所述第四目标损失函数值训练所述知识图谱推理模型和所述提示网络模型。
9.根据权利要求8所述的方法，其特征在于，所述根据所述至少一个锚实体节点各自对应的总损失函数值，确定所述目标多元组对应的第四目标损失函数值，包括：
根据所述目标多元组中包含的锚实体节点数量以及所述目标多元组对应的目标一阶逻辑结构，从所述至少一个锚实体节点各自对应的总损失函数值中确定所述目标多元组对应的第四目标损失函数值。
10.根据权利要求8所述的方法，其特征在于，所述方法还包括：
确定所述第一预测向量表示和所述任一锚实体节点的第二向量表示的相似度，其中，所述第三损失函数值基于所述相似度确定；
根据所述相似度与设定阈值的比较结果，确定所述目标多元组是否包含域外数据；
若确定所述目标多元组包含域外数据，则在所述目标多元组对应的目标一阶逻辑结构所对应的训练集中删除所述目标多元组。
11.一种知识图谱推理模型训练方法，其特征在于，包括：
接收用户设备通过调用知识图谱推理模型训练服务触发的请求，所述请求中包括预设训练查询信息；
利用所述知识图谱推理模型训练服务对应的处理资源执行如下步骤：
获取与第一一阶逻辑结构对应的第一多元组，所述第一多元组中包括从所述预设训练查询信息中确定的多个实体节点和至少一个关系，所述多个实体节点中包括至少一个锚实体节点和目标实体节点；
在预设的知识图谱中分别确定所述第一多元组中所述多个实体节点各自对应的第一临实体节点；
在包含所述多个实体节点以及所述多个实体节点各自对应的第一临实体节点的推理子图中，确定第二多元组以及所述第二多元组对应的第二一阶逻辑结构；
在所述知识图谱中确定目标多元组中任一实体节点对应的第二临实体节点，所述目标多元组是所述第一多元组和所述第二多元组中任一个；
根据所述任一实体节点及其第二临实体节点各自对应的第一向量表示的拼接结果确定所述任一实体节点对应的第二向量表示，以得到所述目标多元组对应的向量表示集，所述向量表示集中包含所述目标多元组内各实体节点的第二向量表示以及各关系的初始向量表示；
根据所述向量表示集对知识图谱推理模型进行训练。
12.一种电子设备，其特征在于，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至10中任一项所述的知识图谱推理模型训练方法。
13.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被云服务器的处理器执行时，使所述处理器执行如权利要求1至10中任一项所述的知识图谱推理模型训练方法。
CN202211227127.8A 2022-10-09 2022-10-09 知识图谱推理模型训练方法、设备和存储介质 Pending CN115577119A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211227127.8A CN115577119A (zh) 2022-10-09 2022-10-09 知识图谱推理模型训练方法、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211227127.8A CN115577119A (zh) 2022-10-09 2022-10-09 知识图谱推理模型训练方法、设备和存储介质

Publications (1)

Publication Number Publication Date
CN115577119A true CN115577119A (zh) 2023-01-06

Family

ID=84584534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211227127.8A Pending CN115577119A (zh) 2022-10-09 2022-10-09 知识图谱推理模型训练方法、设备和存储介质

Country Status (1)

Country Link
CN (1) CN115577119A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116610820A (zh) * 2023-07-21 2023-08-18 智慧眼科技股份有限公司 一种知识图谱实体对齐方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116610820A (zh) * 2023-07-21 2023-08-18 智慧眼科技股份有限公司 一种知识图谱实体对齐方法、装置、设备及存储介质
CN116610820B (zh) * 2023-07-21 2023-10-20 智慧眼科技股份有限公司 一种知识图谱实体对齐方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Zhou et al. Auto-gnn: Neural architecture search of graph neural networks
Park et al. Estimating node importance in knowledge graphs using graph neural networks
Kim et al. Hypergraph attention networks for multimodal learning
KR102302609B1 (ko) 신경망 아키텍처 최적화
Kargar et al. Finding affordable and collaborative teams from a network of experts
CN111382868B (zh) 神经网络结构搜索方法和神经网络结构搜索装置
CN111597314B (zh) 推理问答方法、装置以及设备
CN111612134A (zh) 神经网络结构搜索方法、装置、电子设备及存储介质
CN113449110B (zh) 情感分类方法、装置、存储介质及计算机设备
US20220383127A1 (en) Methods and systems for training a graph neural network using supervised contrastive learning
CN111275172A (zh) 一种基于搜索空间优化的前馈神经网络结构搜索方法
CN112464292A (zh) 基于隐私保护训练图神经网络的方法及装置
CN111291138B (zh) 更新关系网络的方法及装置
CN110837892A (zh) 基于带类型关系路径嵌入的事实溯因推理方法
CN115577119A (zh) 知识图谱推理模型训练方法、设备和存储介质
Salama et al. Ant colony algorithms for constructing Bayesian multi-net classifiers
US20230289618A1 (en) Performing knowledge graph embedding using a prediction model
CN112488316A (zh) 事件意图推理方法、装置、设备及存储介质
CN114462582A (zh) 基于卷积神经网络模型的数据处理方法及装置、设备
Liu et al. Conversational question answering with reformulations over knowledge graph
CN113761337A (zh) 基于事件隐式要素与显式联系的事件预测方法和装置
CN108256077B (zh) 一种面向中国移动智能客服的动态扩展知识图推理方法
CN113886554A (zh) 法律咨询问答方法及装置
CN111460169A (zh) 语义表达式生成方法、装置及设备
Lin et al. Network automation for path selection: A new knowledge transfer approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination