CN110929047A - 关注邻居实体的知识图谱推理方法和装置 - Google Patents

关注邻居实体的知识图谱推理方法和装置 Download PDF

Info

Publication number
CN110929047A
CN110929047A CN201911263789.9A CN201911263789A CN110929047A CN 110929047 A CN110929047 A CN 110929047A CN 201911263789 A CN201911263789 A CN 201911263789A CN 110929047 A CN110929047 A CN 110929047A
Authority
CN
China
Prior art keywords
representation
neighbor
entity
embedded
embedded representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911263789.9A
Other languages
English (en)
Other versions
CN110929047B (zh
Inventor
赵晓娟
常春喜
邓劲生
王昌海
刘静
宋怡晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201911263789.9A priority Critical patent/CN110929047B/zh
Publication of CN110929047A publication Critical patent/CN110929047A/zh
Application granted granted Critical
Publication of CN110929047B publication Critical patent/CN110929047B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367Ontology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请涉及一种关注邻居实体的知识图谱推理方法和装置。所述方法包括:获取知识图谱中实体与关系的初始嵌入表示,根据知识图谱中待推理问题,构建邻居子图,针对邻居子图中每个邻居节点,设置注意力概率,获取邻居子图中每一对三元组的特征表示,根据注意力概率和特征表示,得到融合邻居节点信息的头实体嵌入表示,对头实体嵌入表示和头实体对应的初始嵌入表示进行拼接,得到最终头实体的嵌入表示,根据嵌入表示,对组成的每个三元组进行评价排序,根据评价排序结果,推理得到三元组中的尾实体。采用本方法能够泛化不可见节点,提高知识图谱补全的效率。

Description

关注邻居实体的知识图谱推理方法和装置
技术领域
本申请涉及计算机技术领域,特别是涉及一种关注邻居实体的知识图谱推理方法和装置。
背景技术
在基于知识图谱(Knowledge Graph,KG)的推理中,现有的模型大多数是学习KG中实体和关系的固定嵌入表示,这一类模型大多要求KG中所有节点在模型训练期间出现,而且其嵌入结果不能泛化到不可见节点。现实中,KG是动态更新,新的知识(节点)源源不断的加入KG中,新增的节点这样会改变原有节点的表示。因此,添加一个节点,意味着许许多多与之相关的节点的表示都应该调整,这会带来极大的开销。
知识图谱补全(Knowledge Graph Completion,KGC)的任务就是从KG中能观察到的实体和关系来推断未知的实体/关系,以往的KGC模型,大多依赖低维向量表示对任意三元组给出打分,但这一类模型大多要求KG中所有节点在模型训练期间出现,而且其嵌入结果不能泛化到不可见节点。因此,学习一种有效的节点嵌入表示方法,高效地为没有见过的顶点生成嵌入才能有效提高推理模型性能。
发明内容
基于此,有必要针对上述技术问题,提供一种能够将嵌入结果泛化到不可见节点的关注邻居实体的知识图谱推理方法和装置。
一种关注邻居实体的知识图谱推理方法,所述方法包括:
获取知识图谱中实体与关系的初始嵌入表示;
根据知识图谱中待推理问题,构建邻居子图,针对所述邻居子图中每个邻居节点,设置注意力概率;
获取所述邻居子图中每一对三元组的特征表示,根据所述注意力概率和所述特征表示,得到融合邻居节点信息的头实体嵌入表示;
对所述头实体嵌入表示和头实体对应的所述初始嵌入表示进行拼接,得到最终头实体的嵌入表示;
根据所述嵌入表示,对组成的每个三元组进行评价排序,根据评价排序结果,推理得到三元组中的尾实体。
在其中一个实施例中,还包括:获取预先设置的嵌入模型;将所述头实体、尾实体以及实体关系依次输入所述嵌入模型,得到知识图谱中实体与关系的初始嵌入表示。
在其中一个实施例中,还包括:根据知识图谱中待推理问题,构建邻居子图;获取待推理问题的问题表示和实体关系与邻居节点的关系表示进行内积,通过采样的方式,预测所述问题表示和所述关系表示的匹配分数;所述匹配分数为所述邻居节点分配的注意力分数;对所有邻居节点的注意力分数进行归一化,得到每个邻居节点的注意力概率。
在其中一个实施例中,还包括:获取所述邻居子图中每一对三元组的特征表示为:
Figure BDA0002312295860000021
其中,
Figure BDA0002312295860000022
为所述特征表示,σ表示激活函数,Wh∈Rd×3d和bh∈Rd均表示可学习参数,es、rk
Figure BDA0002312295860000023
依次表示头实体、实体关系、尾实体;
将所述特征表示和所述注意力概率进行嵌入,得到嵌入特征表示为:
Figure BDA0002312295860000024
其中,
Figure BDA0002312295860000025
为嵌入特征表示,
Figure BDA0002312295860000026
表示邻居子图表示,pn表示注意力概率;
采用pooling聚合器对所述嵌入特征表示进行聚合,得到融合邻居节点信息的头实体嵌入表示。
在其中一个实施例中,还包括:对所述头实体嵌入表示和头实体对应的所述初始嵌入表示进行拼接,得到最终头实体的嵌入表示为:
Figure BDA0002312295860000031
其中
Figure BDA0002312295860000032
表示嵌入表示。
在其中一个实施例中,还包括:确定所述邻居节点的阶次信息,若所述邻居节点为一阶以上的邻居节点,则将所述邻居节点转化为一阶邻居节点;然后采用所述一阶邻居节点对应的头实体嵌入表示与所述初始嵌入表示进行拼接。
在其中一个实施例中,还包括:获取预先设置的评分函数;根据所述嵌入表示,将每个三元组中入所述评分函数进行评分;根据评分的大小对所述三元组进行排序;其中评分越高,排序越靠前;确定排序靠前的三元组中的尾实体为推理结果。
一种关注邻居实体的知识图谱推理装置,所述装置包括:
邻居子图构建模块,用于获取知识图谱中实体与关系的初始嵌入表示;根据知识图谱中待推理问题,构建邻居子图,针对所述邻居子图中每个邻居节点,设置注意力概率;
嵌入模块,用于获取所述邻居子图中每一对三元组的特征表示,根据所述注意力概率和所述特征表示,得到融合邻居节点信息的头实体嵌入表示;对所述头实体嵌入表示和头实体对应的所述初始嵌入表示进行拼接,得到最终头实体的嵌入表示;
推理模块,用于根据所述头实体嵌入表示,对组成的每个三元组进行评价排序,根据评价排序结果,推理得到三元组中的尾实体。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取知识图谱中实体与关系的初始嵌入表示;
根据知识图谱中待推理问题,构建邻居子图,针对所述邻居子图中每个邻居节点,设置注意力概率;
获取所述邻居子图中每一对三元组的特征表示,根据所述注意力概率和所述特征表示,得到融合邻居节点信息的头实体嵌入表示;
对所述头实体嵌入表示和头实体对应的所述初始嵌入表示进行拼接,得到最终头实体的嵌入表示;
根据所述嵌入表示,对组成的每个三元组进行评价排序,根据评价排序结果,推理得到三元组中的尾实体。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取知识图谱中实体与关系的初始嵌入表示;
根据知识图谱中待推理问题,构建邻居子图,针对所述邻居子图中每个邻居节点,设置注意力概率;
获取所述邻居子图中每一对三元组的特征表示,根据所述注意力概率和所述特征表示,得到融合邻居节点信息的头实体嵌入表示;
对所述头实体嵌入表示和头实体对应的所述初始嵌入表示进行拼接,得到最终头实体的嵌入表示;
根据所述嵌入表示,对组成的每个三元组进行评价排序,根据评价排序结果,推理得到三元组中的尾实体。
上述关注邻居实体的知识图谱推理方法、装置、计算机设备和存储介质,根据待推理问题,构建邻居子图,针对不同的待推理问题,设计不同的邻居子图,从而有效的将邻居节点的信息聚合到头实体,从而更好的进行节点嵌入表示,有效的表示三元组的语义。通过灵活的嵌入表示,提高了节点的泛化能力,可以适应新加入节点的补全。
附图说明
图1为一个实施例中关注邻居实体的知识图谱推理方法的流程示意图;
图2为一个实施例中关注邻居实体的知识图谱推理装置的结构框图;
图3为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种关注邻居实体的知识图谱推理方法,该方法可以在终端中执行,包括以下步骤:
步骤102,获取知识图谱中实体与关系的初始嵌入表示。
知识图谱中包含大量的机构化知识,这些知识通常采用三元组的形式表示,在三元组中,包括:头实体、尾实体以及实体关系。嵌入指的是将三元组中的信息采用向量的形式表示,便于终端进行识别和计算。常用的嵌入模型包括:词向量模型、词袋模型等。
步骤104,根据知识图谱中待推理问题,构建邻居子图,针对邻居子图中每个邻居节点,设置注意力概率。
待推理问题指的是知识图谱补全中问题,待推理问题包括:1、已知头实体和尾实体,推测实体对之间的实体关系;2、对三元组存在的真实性进行评估,即事实预测;3、给定三元组中的一个实体和实体关系,通过推理找到另一个实体。
本发明属于第3类待推理问题,即确定三元组中的尾实体。构建邻居子图时,可以以头实体为中心,其他尾实体作为中心的邻居节点,实体关系作为实体对的边。
注意力概率指的是通过推理得到邻居节点的概率,可以理解为给邻居节点设置权值。
步骤106,获取邻居子图中每一对三元组的特征表示,根据注意力概率和特征表示,得到融合邻居节点信息的头实体嵌入表示。
特征表示是通过对初始嵌入表示进行学习得到的。
步骤108,对头实体嵌入表示和头实体对应的初始嵌入表示进行拼接,得到最终头实体的嵌入表示。
步骤110,根据嵌入表示,对组成的每个三元组进行评价排序,根据评价排序结果,推理得到三元组中的尾实体。
上述关注邻居实体的知识图谱推理方法中,根据待推理问题,构建邻居子图,针对不同的待推理问题,设计不同的邻居子图,从而有效的将邻居节点的信息聚合到头实体,从而更好的进行节点嵌入表示,有效的表示三元组的语义。通过灵活的嵌入表示,提高了节点的泛化能力,可以适应新加入节点的补全。
在其中一个实施例中,获取预先设置的嵌入模型,将头实体、尾实体以及实体关系依次输入嵌入模型,得到知识图谱中实体与关系的初始嵌入表示。
本实施例中,嵌入模型可以是词向量模型,也可以是词袋模型,当然还可以选择其他嵌入模型,在此不一一列举。
具体的,对于待补全的知识图谱θ,表示为三元组集合
Figure BDA0002312295860000061
其中es和et分别表示头实体和尾实体,r表示实体关系,ε和R分别表示实体和关系的集合。假设es有N个邻居,也就是有K个关系和N个尾实体连接组成邻居子图。初始嵌入表示分别为:
Figure BDA0002312295860000062
其中,rk表示知识图谱中的一个关系,
Figure BDA0002312295860000063
表示es的一个邻居尾实体,emb(·)表示嵌入模型。
在一个实施例中,设置注意力概率的步骤包括:根据知识图谱中待推理问题,构建邻居子图,获取待推理问题的问题表示和实体关系与邻居节点的关系表示进行内积,通过采样的方式,预测问题表示和关系表示的匹配分数,匹配分数为邻居节点分配的注意力分数,对邻居节点的注意力分数进行归一化,得到每个邻居节点的注意力概率。
本实施例中,需要确定待推理问题,以已知头实体和实体关系,推测尾实体为例,则是按照头实体为中心,构建邻居子图。
具体的,在构建好邻居子图之后,开始关注每一邻居对,即实体关系-邻居对,并且在预测时的相关性分配一个概率pi,具体的,pi可以通过对实体关系r和邻居对中实体关系rk进行内积
Figure BDA0002312295860000064
从而得到匹配分数yn,从而对每一个邻居节点分配注意力分数yn,yn是标量,然后对所有邻居节点进行归一化,得到注意力概率为:
Figure BDA0002312295860000065
在归一化时,邻居节点的数量一般设置为20-25个,根据计算得到的概率pi,对概率进行排序,排序前50的邻居节点进行采样,当邻居节点数量不足指定数量时,采用有放回抽样的方式对邻居进行采样。
在其中一个实施例中,得到头实体嵌入表示的步骤包括:获取所述邻居子图中每一对三元组的特征表示为:
Figure BDA0002312295860000071
其中,
Figure BDA0002312295860000072
为特征表示,σ表示激活函数,Wh∈Rd×3d和bh∈Rd均表示可学习参数,es、rk
Figure BDA0002312295860000073
依次表示头实体、实体关系、尾实体;
将特征表示和所述注意力概率进行嵌入,得到嵌入特征表示为:
Figure BDA0002312295860000074
其中,
Figure BDA0002312295860000075
为嵌入特征表示,
Figure BDA0002312295860000076
表示邻居子图表示,pn表示注意力概率;
采用pooling聚合器对嵌入特征表示进行聚合,得到融合邻居节点信息的头实体嵌入表示。
具体的,pooling聚合器对嵌入特征表示进行聚合,得到融合邻居节点信息的头实体嵌入表示的过程如下:
Figure BDA0002312295860000077
max表示element-wise最大操作,取每个特征值的最大值。所有相邻节点的向量共享权重,先经过一个非线性全连接层,然后做最大池化操作。
在其中一个实施例中,得到嵌入表示的步骤包括:对头实体嵌入表示和头实体对应的初始嵌入表示进行拼接,得到最终头实体的嵌入表示为:
Figure BDA0002312295860000078
其中,
Figure BDA0002312295860000079
表示嵌入表示。
在另一个实施例中,确定邻居节点的阶次信息,若邻居节点为一阶以上的邻居节点,则将邻居节点转化为一阶邻居节点,然后采用一阶邻居节点对应的头实体嵌入表示与初始嵌入表示进行拼接。
具体的,如果在节点嵌入表示时考虑L阶邻居节点信息汇聚,则重复上述嵌入过程L次,例如,如果考虑二阶信息,则需要重复上述嵌入过程将二阶邻居节点的信息汇聚到一阶邻居,然后再将一阶邻居信息汇聚到头实体,获得头实体的嵌入表示。
在一个实施例中,评分过程包括:获取预先设置的评分函数,根据嵌入表示,将每个三元组中入评分函数进行评分,根据评分的大小对三元组进行排序,其中评分越高,排序越靠前,确定排序靠前的三元组中的尾实体为推理结果。
本实施例中,评分函数可以选择TransE、TransH等Trans系列模型的评分函数,可以采用DistMult,ConvE,SimplE等。
以采用DistMult评分函数为例,评分过程如下:
Figure BDA0002312295860000081
其中,
Figure BDA0002312295860000082
Figure BDA0002312295860000083
分别为头实体和尾实体的d维嵌入表示,
Figure BDA0002312295860000084
是一个d*d的对角矩阵,对角线是
Figure BDA0002312295860000085
应该理解的是,虽然图1的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图2所示,提供了一种关注邻居实体的知识图谱推理装置,包括:邻居子图构建模块202、嵌入模块204和推理模块206,其中:
邻居子图构建模块202,用于获取知识图谱中实体与关系的初始嵌入表示;根据知识图谱中待推理问题,构建邻居子图,针对所述邻居子图中每个邻居节点,设置注意力概率;
嵌入模块204,用于获取所述邻居子图中每一对三元组的特征表示,根据所述注意力概率和所述特征表示,得到融合邻居节点信息的头实体嵌入表示;对所述头实体嵌入表示和头实体对应的所述初始嵌入表示进行拼接,得到最终头实体的嵌入表示;
推理模块206,用于根据所述嵌入表示,对组成的每个三元组进行评价排序,根据评价排序结果,推理得到三元组中的尾实体。
在其中一个实施例中,邻居子图构建模块202还用于获取预先设置的嵌入模型;将所述头实体、尾实体以及实体关系依次输入所述嵌入模型,得到知识图谱中实体与关系的初始嵌入表示。
在其中一个实施例中,邻居子图构建模块202还用于根据知识图谱中待推理问题,构建邻居子图;获取待推理问题的问题表示和实体关系与邻居节点的关系表示进行内积,通过采样的方式,预测所述问题表示和所述关系表示的匹配分数;所述匹配分数为所述邻居节点分配的注意力分数;对所有邻居节点的注意力分数进行归一化,得到每个邻居节点的注意力概率。
在其中一个实施例中,嵌入模块204还用于获取所述邻居子图中每一对三元组的特征表示为:
Figure BDA0002312295860000091
其中,
Figure BDA0002312295860000092
为所述特征表示,σ表示激活函数,Wh∈Rd×3d和bh∈Rd均表示可学习参数,es、rk
Figure BDA0002312295860000093
依次表示头实体、实体关系、尾实体;
将所述特征表示和所述注意力概率进行嵌入,得到嵌入特征表示为:
Figure BDA0002312295860000094
其中,
Figure BDA0002312295860000095
为嵌入特征表示,
Figure BDA0002312295860000096
表示邻居子图表示,pn表示注意力概率;
采用pooling聚合器对所述嵌入特征表示进行聚合,得到融合邻居节点信息的头实体嵌入表示。
在其中一个实施例中,嵌入模块204还用于对所述头实体嵌入表示和头实体对应的所述初始嵌入表示进行拼接,得到最终头实体的嵌入表示为:
Figure BDA0002312295860000097
其中
Figure BDA0002312295860000098
表示嵌入表示。
在其中一个实施例中,嵌入模块204还用于确定所述邻居节点的阶次信息,若所述邻居节点为一阶以上的邻居节点,则将所述邻居节点转化为一阶邻居节点;然后采用所述一阶邻居节点对应的头实体嵌入表示与所述初始嵌入表示进行拼接。
在其中一个实施例中,推理模块206还用于获取预先设置的评分函数;根据所述嵌入表示,将每个三元组中入所述评分函数进行评分;根据评分的大小对所述三元组进行排序;其中评分越高,排序越靠前;确定排序靠前的三元组中的尾实体为推理结果。
关于关注邻居实体的知识图谱推理装置的具体限定可以参见上文中对于关注邻居实体的知识图谱推理方法的限定,在此不再赘述。上述关注邻居实体的知识图谱推理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种关注邻居实体的知识图谱推理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种关注邻居实体的知识图谱推理方法,所述方法包括:
获取知识图谱中实体与关系的初始嵌入表示;
根据知识图谱中待推理问题,构建邻居子图,针对所述邻居子图中每个邻居节点,设置注意力概率;
获取所述邻居子图中每一对三元组的特征表示,根据所述注意力概率和所述特征表示,得到融合邻居节点信息的头实体嵌入表示;
对所述头实体嵌入表示和头实体对应的所述初始嵌入表示进行拼接,得到最终头实体的嵌入表示;
根据所述嵌入表示,对组成的每个三元组进行评价排序,根据评价排序结果,推理得到三元组中的尾实体。
2.根据权利要求1所述的方法,其特征在于,所述获取知识图谱中实体与关系的初始嵌入表示,包括:
获取预先设置的嵌入模型;
将所述头实体、尾实体以及实体关系依次输入所述嵌入模型,得到知识图谱中实体与关系的初始嵌入表示。
3.根据权利要求1所述的方法,其特征在于,所述根据知识图谱中待推理问题,构建邻居子图,针对所述邻居子图中每个邻居实体,设置注意力概率,包括:
根据知识图谱中待推理问题,构建邻居子图;
获取待推理问题的问题表示和实体关系与邻居节点的关系表示进行内积,通过采样的方式,预测所述问题表示和所述关系表示的匹配分数;所述匹配分数为所述邻居节点分配的注意力分数;
对所有邻居节点的注意力分数进行归一化,得到每个邻居节点的注意力概率。
4.根据权利要求1至3任意一项所述的方法,其特征在于,获取所述邻居子图中每一对三元组的特征表示,根据所述注意力概率和所述特征表示,得到融合邻居节点信息的头实体嵌入表示,包括:
获取所述邻居子图中每一对三元组的特征表示为:
Figure FDA0002312295850000021
其中,
Figure FDA0002312295850000022
为所述特征表示,σ表示激活函数,Wh∈Rd×3d和bh∈Rd均表示可学习参数,es、rk
Figure FDA0002312295850000023
依次表示头实体、实体关系、尾实体;
将所述特征表示和所述注意力概率进行嵌入,得到嵌入特征表示为:
Figure FDA0002312295850000024
其中,
Figure FDA0002312295850000025
为嵌入特征表示,
Figure FDA0002312295850000026
表示邻居子图表示,pn表示注意力概率;
采用pooling聚合器对所述嵌入特征表示进行聚合,得到融合邻居节点信息的头实体嵌入表示。
5.根据权利要求1至3任一项所述的方法,其特征在于,对所述头实体嵌入表示和头实体对应的所述初始嵌入表示进行拼接,得到最终头实体的嵌入表示,包括:
对所述头实体嵌入表示和头实体对应的所述初始嵌入表示进行拼接,得到最终头实体的嵌入表示为:
Figure FDA0002312295850000027
其中,
Figure FDA0002312295850000028
表示嵌入表示。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
确定所述邻居节点的阶次信息,若所述邻居节点为一阶以上的邻居节点,则将所述邻居节点转化为一阶邻居节点;
然后采用所述一阶邻居节点对应的头实体嵌入表示与所述初始嵌入表示进行拼接。
7.根据权利要求1至3任一项所述的方法,其特征在于,根据所述头实体嵌入表示,对组成的每个三元组进行评价排序,根据评价排序结果,推理得到三元组中的尾实体,包括:
获取预先设置的评分函数;
根据所述嵌入表示,将每个三元组中入所述评分函数进行评分;
根据评分的大小对所述三元组进行排序;其中评分越高,排序越靠前;
确定排序靠前的三元组中的尾实体为推理结果。
8.一种关注邻居实体的知识图谱推理装置,其特征在于,所述装置包括:
邻居子图构建模块,用于获取知识图谱中实体与关系的初始嵌入表示;根据知识图谱中待推理问题,构建邻居子图,针对所述邻居子图中每个邻居节点,设置注意力概率;
嵌入模块,用于获取所述邻居子图中每一对三元组的特征表示,根据所述注意力概率和所述特征表示,得到融合邻居节点信息的头实体嵌入表示;对所述头实体嵌入表示和头实体对应的所述初始嵌入表示进行拼接,得到最终头实体的嵌入表示;
推理模块,用于根据所述嵌入表示,对组成的每个三元组进行评价排序,根据评价排序结果,推理得到三元组中的尾实体。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201911263789.9A 2019-12-11 2019-12-11 关注邻居实体的知识图谱推理方法和装置 Active CN110929047B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911263789.9A CN110929047B (zh) 2019-12-11 2019-12-11 关注邻居实体的知识图谱推理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911263789.9A CN110929047B (zh) 2019-12-11 2019-12-11 关注邻居实体的知识图谱推理方法和装置

Publications (2)

Publication Number Publication Date
CN110929047A true CN110929047A (zh) 2020-03-27
CN110929047B CN110929047B (zh) 2023-04-28

Family

ID=69858827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911263789.9A Active CN110929047B (zh) 2019-12-11 2019-12-11 关注邻居实体的知识图谱推理方法和装置

Country Status (1)

Country Link
CN (1) CN110929047B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111324643A (zh) * 2020-03-30 2020-06-23 北京百度网讯科技有限公司 知识图谱的生成方法、关系挖掘方法、装置、设备和介质
CN111339321A (zh) * 2020-05-18 2020-06-26 中国人民解放军国防科技大学 知识图谱中三元组真实性检测方法和装置
CN111814480A (zh) * 2020-07-21 2020-10-23 润联软件系统(深圳)有限公司 一种知识图谱补全方法、装置、计算机设备和存储介质
CN111832922A (zh) * 2020-06-30 2020-10-27 北方工业大学 基于知识图谱推理的食品安全事件风险研判方法及装置
CN111832924A (zh) * 2020-06-30 2020-10-27 北方工业大学 基于图神经网络的社区燃气系统动态风险评估方法及装置
CN112398819A (zh) * 2020-11-02 2021-02-23 杭州海康威视数字技术股份有限公司 异常识别的方法及装置
CN112528035A (zh) * 2020-07-22 2021-03-19 中国人民解放军国防科技大学 基于关系注意力的知识图谱推理方法、装置和计算机设备
CN113051404A (zh) * 2021-01-08 2021-06-29 中国科学院自动化研究所 一种基于张量分解的知识推理方法、装置、设备
CN113254580A (zh) * 2021-05-24 2021-08-13 厦门大学 一种特殊群体搜索方法及系统
CN113836319A (zh) * 2021-09-30 2021-12-24 福州大学 融合实体邻居的知识补全方法及系统
CN114399051A (zh) * 2021-12-29 2022-04-26 北方工业大学 食品安全智能问答推理方法及装置
CN115599927A (zh) * 2022-11-08 2023-01-13 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)(Cn) 一种基于度量学习的时序知识图谱补全方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170262528A1 (en) * 2016-03-11 2017-09-14 Ut-Battelle, Llc System and method of content based recommendation using hypernym expansion
US20190122111A1 (en) * 2017-10-24 2019-04-25 Nec Laboratories America, Inc. Adaptive Convolutional Neural Knowledge Graph Learning System Leveraging Entity Descriptions
CN109829057A (zh) * 2019-01-11 2019-05-31 中山大学 一种基于图二阶相似性的知识图谱实体语义空间嵌入方法
CN109902171A (zh) * 2019-01-30 2019-06-18 中国地质大学(武汉) 基于分层知识图谱注意力模型的文本关系抽取方法及系统
CN109902183A (zh) * 2019-02-13 2019-06-18 北京航空航天大学 一种基于多样图注意力机制的知识图谱嵌入方法
CN109977234A (zh) * 2019-03-28 2019-07-05 哈尔滨工程大学 一种基于主题关键词过滤的知识图谱补全方法
CN110147450A (zh) * 2019-05-06 2019-08-20 北京科技大学 一种知识图谱的知识补全方法及装置
CN110427524A (zh) * 2019-08-05 2019-11-08 北京百度网讯科技有限公司 知识图谱补全的方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170262528A1 (en) * 2016-03-11 2017-09-14 Ut-Battelle, Llc System and method of content based recommendation using hypernym expansion
US20190122111A1 (en) * 2017-10-24 2019-04-25 Nec Laboratories America, Inc. Adaptive Convolutional Neural Knowledge Graph Learning System Leveraging Entity Descriptions
CN109829057A (zh) * 2019-01-11 2019-05-31 中山大学 一种基于图二阶相似性的知识图谱实体语义空间嵌入方法
CN109902171A (zh) * 2019-01-30 2019-06-18 中国地质大学(武汉) 基于分层知识图谱注意力模型的文本关系抽取方法及系统
CN109902183A (zh) * 2019-02-13 2019-06-18 北京航空航天大学 一种基于多样图注意力机制的知识图谱嵌入方法
CN109977234A (zh) * 2019-03-28 2019-07-05 哈尔滨工程大学 一种基于主题关键词过滤的知识图谱补全方法
CN110147450A (zh) * 2019-05-06 2019-08-20 北京科技大学 一种知识图谱的知识补全方法及装置
CN110427524A (zh) * 2019-08-05 2019-11-08 北京百度网讯科技有限公司 知识图谱补全的方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王红;林海舟;卢林燕;: "基于Att_GCN模型的知识图谱推理算法" *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111324643B (zh) * 2020-03-30 2023-08-29 北京百度网讯科技有限公司 知识图谱的生成方法、关系挖掘方法、装置、设备和介质
CN111324643A (zh) * 2020-03-30 2020-06-23 北京百度网讯科技有限公司 知识图谱的生成方法、关系挖掘方法、装置、设备和介质
CN111339321A (zh) * 2020-05-18 2020-06-26 中国人民解放军国防科技大学 知识图谱中三元组真实性检测方法和装置
CN111339321B (zh) * 2020-05-18 2020-08-21 中国人民解放军国防科技大学 知识图谱中三元组真实性检测方法和装置
CN111832922A (zh) * 2020-06-30 2020-10-27 北方工业大学 基于知识图谱推理的食品安全事件风险研判方法及装置
CN111832924A (zh) * 2020-06-30 2020-10-27 北方工业大学 基于图神经网络的社区燃气系统动态风险评估方法及装置
CN111832924B (zh) * 2020-06-30 2021-06-15 北方工业大学 基于图神经网络的社区燃气系统动态风险评估方法及装置
CN111814480B (zh) * 2020-07-21 2024-04-16 华润数字科技有限公司 一种知识图谱补全方法、装置、计算机设备和存储介质
CN111814480A (zh) * 2020-07-21 2020-10-23 润联软件系统(深圳)有限公司 一种知识图谱补全方法、装置、计算机设备和存储介质
CN112528035A (zh) * 2020-07-22 2021-03-19 中国人民解放军国防科技大学 基于关系注意力的知识图谱推理方法、装置和计算机设备
CN112528035B (zh) * 2020-07-22 2022-09-16 中国人民解放军国防科技大学 基于关系注意力的知识图谱推理方法、装置和计算机设备
CN112398819A (zh) * 2020-11-02 2021-02-23 杭州海康威视数字技术股份有限公司 异常识别的方法及装置
CN113051404B (zh) * 2021-01-08 2024-02-06 中国科学院自动化研究所 一种基于张量分解的知识推理方法、装置、设备
CN113051404A (zh) * 2021-01-08 2021-06-29 中国科学院自动化研究所 一种基于张量分解的知识推理方法、装置、设备
CN113254580A (zh) * 2021-05-24 2021-08-13 厦门大学 一种特殊群体搜索方法及系统
CN113254580B (zh) * 2021-05-24 2023-10-03 厦门大学 一种特殊群体搜索方法及系统
CN113836319B (zh) * 2021-09-30 2023-08-01 福州大学 融合实体邻居的知识补全方法及系统
CN113836319A (zh) * 2021-09-30 2021-12-24 福州大学 融合实体邻居的知识补全方法及系统
CN114399051A (zh) * 2021-12-29 2022-04-26 北方工业大学 食品安全智能问答推理方法及装置
CN115599927A (zh) * 2022-11-08 2023-01-13 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)(Cn) 一种基于度量学习的时序知识图谱补全方法及系统

Also Published As

Publication number Publication date
CN110929047B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN110929047B (zh) 关注邻居实体的知识图谱推理方法和装置
US20230196117A1 (en) Training method for semi-supervised learning model, image processing method, and device
US20190095301A1 (en) Method for detecting abnormal session
CN110334742B (zh) 一种用于文档分类的基于强化学习的通过添加虚假节点的图对抗样本生成方法
US20210264287A1 (en) Multi-objective distributed hyperparameter tuning system
CN112528035B (zh) 基于关系注意力的知识图谱推理方法、装置和计算机设备
WO2022105108A1 (zh) 一种网络数据分类方法、装置、设备及可读存储介质
JP6971514B1 (ja) 情報処理装置、情報処理方法及びプログラム
CN112148892A (zh) 动态知识图谱的知识补全方法、装置和计算机设备
CN111597352B (zh) 结合本体概念和实例的网络空间知识图谱推理方法和装置
CN112633482A (zh) 一种高效宽度图卷积神经网络模型及其训练方法
CN111813949B (zh) 联合查询的网络空间知识图谱推理方法和装置
CN112396477B (zh) 业务预测模型的构建方法及装置
JP7306432B2 (ja) 情報処理方法、情報処理装置及びプログラム
CN115758271A (zh) 数据处理方法、装置、计算机设备和存储介质
Du et al. Geometric matrix completion via sylvester multi-graph neural network
US11609936B2 (en) Graph data processing method, device, and computer program product
CN114118631B (zh) 基于图神经网络的装卸货点推荐方法和装置
Alzubaidi et al. LPCNN: convolutional neural network for link prediction based on network structured features
WO2023231796A1 (zh) 一种视觉任务处理方法及其相关设备
US20230135468A1 (en) Non-transitory computer-readable storage medium for storing machine learning program, machine learning method, and machine learning apparatus
US20220382741A1 (en) Graph embeddings via node-property-aware fast random projection
US20240046068A1 (en) Information processing device for improving quality of generator of generative adversarial network (gan)
JP6702499B2 (ja) 情報処理システム、情報処理方法、及び、プログラム
Wang et al. A Developer Recommendation Algorithm Based on Multi-Relationship Knowledge Enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant