CN113761223A - 一种采用注意力机制的循环神经嵌入表示方法 - Google Patents

一种采用注意力机制的循环神经嵌入表示方法 Download PDF

Info

Publication number
CN113761223A
CN113761223A CN202110998520.6A CN202110998520A CN113761223A CN 113761223 A CN113761223 A CN 113761223A CN 202110998520 A CN202110998520 A CN 202110998520A CN 113761223 A CN113761223 A CN 113761223A
Authority
CN
China
Prior art keywords
hop
entity
sequence
graph
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110998520.6A
Other languages
English (en)
Other versions
CN113761223B (zh
Inventor
胡余强
刘琳岚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Hangkong University
Original Assignee
Nanchang Hangkong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Hangkong University filed Critical Nanchang Hangkong University
Priority to CN202110998520.6A priority Critical patent/CN113761223B/zh
Publication of CN113761223A publication Critical patent/CN113761223A/zh
Application granted granted Critical
Publication of CN113761223B publication Critical patent/CN113761223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/288—Entity relationship models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Animal Behavior & Ethology (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种采用注意力机制的循环神经嵌入表示方法，包括如下步骤：S1，构建基于随机游走的方法对知识图谱中以三元组中两实体为两端进行多跳路径的提取，多跳路径包括关系路径和实体路径；S2，利用循环神经网络在序列中的良好效果，进而将多跳实体路径嵌入表示成其对应的多跳实体路径向量，多跳关系路径嵌入表示成其对应的多跳关系路径向量，根据注意力机制用来实现对以知识图谱中三元组两端构成的实体子图和关系子图的向量表示。本发明利用RNN实现对知识图谱的向量表示，实现对知识图谱全局特征的提取，提出了Att‑RNN模型，解决了现有技术难以兼顾基于知识图谱特征表示的时间和空间的简单性和全局特征信息的表征的问题。

Description

一种采用注意力机制的循环神经嵌入表示方法
技术领域
本发明涉及知识图谱嵌入表示技术领域，特别是涉及一种采用注意力机制的循环神经嵌入表示方法。
背景技术
目前，知识图谱表示学习技术取得了巨大的进步，表示学习可以是利用机器学习实现知识图谱中实体和关系的低维稠密向量表示。大致分为基于翻译模型、双线性模型、基于神经网络模型和图嵌入模型。
图嵌入包括节点嵌入，边嵌入和整图嵌入。其中Node2vec、deepWalk和RDF2Vec将Skip-gram扩展到图数据，对序列中节点之间的高阶相似性进行建模。LINE和SDNE考虑到图中有大量节点间的连接是缺失的情况，采用节点的二阶相似性作为一阶相似性的补充，即利用两节点共有的邻居节点来表征它们的相似性。
然而，上述知识图谱嵌入表示方法中，通常很难兼顾基于知识图谱特征表示的时间和空间的简单性和全局特征信息的表征。
发明内容
针对上述问题，本发明的目的在于提出一种采用注意力机制的循环神经嵌入表示方法，以解决现有技术难以兼顾基于知识图谱特征表示的时间和空间的简单性和全局特征信息的表征的问题。
本发明采用的技术方案如下：一种采用注意力机制的循环神经嵌入表示方法，包括如下步骤：
S1，构建基于随机游走的方法对知识图谱中以三元组中两实体为两端进行多跳路径的提取，多跳路径包括关系路径和实体路径；
S2，利用循环神经网络(RNN)在序列中的良好效果，进而将多跳实体路径嵌入表示成其对应的多跳实体路径向量，多跳关系路径嵌入表示成其对应的多跳关系路径向量，根据注意力机制用来实现对以知识图谱中三元组两端构成的实体子图和关系子图的向量表示。
其中，步骤S1具体包括：
S11，定义相关概念，其中包括子图、关系子图、实体子图、多跳实体路径、多跳关系路径和三元组基本概念的描述；
S12，序列获取，利用随机游走获取多跳实体序列和多跳关系序列，以序列作为循环神经网络的输入；
S13，序列向量表示，利用循环神经网络在序列中良好的表现以实现多跳序列的表示向量。
其中，步骤S2中根据注意力机制用来实现对以知识图谱中三元组两端构成的实体子图和关系子图的向量表示，其向量表示的过程为：
子图向量表示，使用注意力机制得到子图中多跳序列与三元组之间的相关性权重，获取最后的多跳序列构成的关系子图和实体子图的向量表示。
根据本发明提供的采用注意力机制的循环神经嵌入表示方法，采用基于注意力机制的循环神经网络的知识图谱表示模型(Att-RNN模型)，用来实现对以知识图谱中三元组两端构成的实体子图和关系子图的向量表示。本发明首先利用RNN实现对知识图谱的向量表示，实现对知识图谱全局特征的提取，提出了Att-RNN模型，解决了现有技术难以兼顾基于知识图谱特征表示的时间和空间的简单性和全局特征信息的表征的问题。
附图说明
图1为采用注意力机制的循环神经网络的知识图谱表示模型示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种采用注意力机制的循环神经嵌入表示方法，首先采用随机游走的方法对知识图谱中以三元组中两实体为基础进行多跳路径的提取，多跳路径包括关系路径和实体路径；然后利用循环神经网络在序列中的良好效果，进而将多跳实体路径嵌入表示成其对应的多跳实体路径向量，多跳关系路径嵌入表示成其对应的多跳关系路径向量，根据注意力机制用来实现对以知识图谱中三元组两端构成的实体子图和关系子图的向量表示，其具体的实施方式如下：
第一步：概念定义
知识图谱
Figure BDA0003234704280000031
表示为
Figure BDA0003234704280000032
其中ε为实体集合、
Figure BDA0003234704280000033
为关系集合。三元组记为
Figure BDA0003234704280000034
中，其中h,t∈ε分别记为头实体和尾实体，
Figure BDA0003234704280000035
记为关系。三元组中关系元素构成的多跳关系序列集合记为
Figure BDA0003234704280000036
三元组中实体元素构成的多跳实体序列集合记为
Figure BDA0003234704280000037
三元组
Figure BDA0003234704280000038
对应的关系子图
Figure BDA0003234704280000039
实体子图
Figure BDA00032347042800000310
定义如下:
定义1：关系子图
Figure BDA00032347042800000311
实体子图
Figure BDA00032347042800000312
实体子图是由实体路径组成的集合，关系子图是由关系路径组成的集合，定义为
Figure BDA00032347042800000313
其中
Figure BDA00032347042800000314
为单跳序列，多跳关系子图
Figure BDA00032347042800000315
其中多跳关系序列
Figure BDA00032347042800000316
多跳实体子图
Figure BDA00032347042800000317
其中多跳实体序列
Figure BDA00032347042800000318
Figure BDA00032347042800000319
且
Figure BDA00032347042800000320
表示跳数，其中多跳序列中又可分为多跳关系序列以及多跳实体序列。
定义2：子图相似性：同一关系子图中不同多跳关系序列之间的相似性描述或者同一实体子图中不同多跳实体序列之间的相似性描述。对于子图
Figure BDA00032347042800000321
子图相似性取决于实体子图
Figure BDA00032347042800000322
中的多跳实体序列和
Figure BDA00032347042800000323
的单跳实体序列πht0之间的相似性和关系子图
Figure BDA00032347042800000324
中的多跳实体序列和
Figure BDA00032347042800000325
的单跳关系序列r0之间的相似性。
第二步：利用双向随机游走获取实体序列和关系序列
由于
Figure BDA0003234704280000041
中r0和πht0的获取相对简单，关系子图
Figure BDA0003234704280000042
和实体子图
Figure BDA0003234704280000043
构建的问题的关键是在知识图谱中获取给定两实体之间的多跳序列。这里采用双向随机游走的方法来得到基于两实体之间的多跳关系序列和实体序列。但这样做过于复杂导致效率很低，因此要获取给定的两实体之间的序列，可以基于实验的基础上选择最优的
Figure BDA0003234704280000044
其原因如下:第一，多跳数目增加导致多跳序列会成指数形式的增长；第二，太长的多跳序列导致与对应单跳序列中实体和关系的相关性大大降低影响实验结果。因此，在实际构建社区时往往会设置序列最大跳数
Figure BDA0003234704280000045
(综合考虑获取多跳序列集合的获取时间和子图序列相似性，通过实验找到最优的
Figure BDA0003234704280000046
)。
第三步：利用RNN获取序列的表示向量
为了在嵌入向量空间计算
Figure BDA0003234704280000047
和
Figure BDA0003234704280000048
之间的相似性，需要先计算子图中
Figure BDA0003234704280000049
中每条序列的嵌入向量。如图1中，RNN模型由三层组成。在第一个隐藏层，其输入为多跳关系序列或者是多跳实体序列。第一个隐藏层的隐藏状态根据下式进行计算:
Figure BDA00032347042800000410
多跳关系子图
Figure BDA00032347042800000411
其中多跳序列
Figure BDA00032347042800000412
Figure BDA00032347042800000413
多跳实体子图
Figure BDA00032347042800000414
其中多跳实体序列
Figure BDA00032347042800000415
Figure BDA00032347042800000416
且
Figure BDA00032347042800000417
表示跳数；
其中，Xt表示输入多跳序列
Figure BDA00032347042800000418
或者多跳实体序列
Figure BDA00032347042800000419
中第t个元素的嵌入向量，U1和W1表示第一层的权重系数矩阵，
Figure BDA00032347042800000420
和
Figure BDA00032347042800000421
表示第t阶和第
Figure BDA00032347042800000422
阶的状态，σ为非线性激活函数。
第二层是学习多跳关系序列和多跳实体序列中相互的依赖关系。由于有些知识图谱多跳序列
Figure BDA0003234704280000051
可能是较大，第二层将系数p(2)设为4。该层状态根据下式计算:
Figure BDA0003234704280000052
其中U2和W2为第二层的权重系数矩阵。
为了获得序列中实体和实体或者关系和关系之间的交互，在RNN的输出层增加了奇偶阶之间的交互连接，分别对应于实体和实体或者关系和关系。最后，多跳序列πi(πri或者πhti)的嵌入向量等于输出层最后一阶的输出:
Figure BDA0003234704280000053
其中Wr和We分别表示对应于相应所在的权重系数矩阵，
Figure BDA0003234704280000054
和
Figure BDA0003234704280000055
分别是第二层在第T-1和第T阶的状态，σ为输出层的激活函数。
第四步：使用注意力机制得到子图中多跳序列与三元组之间的相关性权重
考虑到注意力机制对于上述问题能很好的进行解决，在这通过RNN得到的序列嵌入向量得到子图
Figure BDA0003234704280000056
中多跳序列(关系序列和实体序列)的嵌入向量为π1,π2,..,,πi,...,πq，三元组的嵌入关系向量为r0和嵌入实体向量为πht0,用抽象字母x代替方便计算。多跳序列与三元组之间的相关性权重通过下式进行计算:
Figure BDA0003234704280000057
Figure BDA0003234704280000058
其中[πi；x]表示向量πi和向量x的垂直相接，其中
Figure BDA0003234704280000059
W表示间接矩阵和ba为偏置值。a＝[a1，a2，、、、，aq]为对应多跳序列的相关权重向量。
因此三元组子图的向量表示为下式:
Figure BDA00032347042800000510
根据上述的采用注意力机制的循环神经嵌入表示方法，采用基于注意力机制的循环神经网络的知识图谱表示模型(Att-RNN模型)，用来实现对以知识图谱中三元组两端构成的实体子图和关系子图的向量表示。本发明首先利用RNN实现对知识图谱的向量表示，实现对知识图谱全局特征的提取，提出了Att-RNN模型，解决了现有技术难以兼顾基于知识图谱特征表示的时间和空间的简单性和全局特征信息的表征的问题。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (3)

1.一种采用注意力机制的循环神经嵌入表示方法，其特征在于，包括如下步骤：
S1，构建基于随机游走的方法对知识图谱中以三元组中两实体为两端进行多跳路径的提取，多跳路径包括关系路径和实体路径；
S2，利用循环神经网络在序列中的良好效果，进而将多跳实体路径嵌入表示成其对应的多跳实体路径向量，多跳关系路径嵌入表示成其对应的多跳关系路径向量，根据注意力机制用来实现对以知识图谱中三元组两端构成的实体子图和关系子图的向量表示。
2.根据权利要求1所述的采用注意力机制的循环神经嵌入表示方法，其特征在于，步骤S1具体包括：
S11，定义相关概念，其中包括子图、关系子图、实体子图、多跳实体路径、多跳关系路径和三元组基本概念的描述；
S12，序列获取，利用随机游走获取多跳实体序列和多跳关系序列，以序列作为循环神经网络的输入；
S13，序列向量表示，利用循环神经网络在序列中良好的表现以实现多跳序列的表示向量。
3.根据权利要求1所述的采用注意力机制的循环神经嵌入表示方法，其特征在于，步骤S2中根据注意力机制用来实现对以知识图谱中三元组两端构成的实体子图和关系子图的向量表示，其向量表示的过程为：
子图向量表示，使用注意力机制得到子图中多跳序列与三元组之间的相关性权重，获取最后的多跳序列构成的关系子图和实体子图的向量表示。
CN202110998520.6A 2021-08-27 2021-08-27 一种采用注意力机制的循环神经嵌入表示方法 Active CN113761223B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110998520.6A CN113761223B (zh) 2021-08-27 2021-08-27 一种采用注意力机制的循环神经嵌入表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110998520.6A CN113761223B (zh) 2021-08-27 2021-08-27 一种采用注意力机制的循环神经嵌入表示方法

Publications (2)

Publication Number Publication Date
CN113761223A true CN113761223A (zh) 2021-12-07
CN113761223B CN113761223B (zh) 2023-06-23

Family

ID=78791621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110998520.6A Active CN113761223B (zh) 2021-08-27 2021-08-27 一种采用注意力机制的循环神经嵌入表示方法

Country Status (1)

Country Link
CN (1) CN113761223B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106528610A (zh) * 2016-09-28 2017-03-22 厦门理工学院 一种基于路径张量分解的知识图谱表示学习方法
CN109815345A (zh) * 2019-02-25 2019-05-28 南京大学 一种基于路径的知识图谱嵌入方法
CN109887284A (zh) * 2019-03-13 2019-06-14 银江股份有限公司 一种智慧城市交通信号控制推荐方法、系统及装置
CN111784081A (zh) * 2020-07-30 2020-10-16 南昌航空大学 一种采用知识图谱嵌入和时间卷积网络的社交网络链路预测方法
CN112949835A (zh) * 2021-03-30 2021-06-11 太原理工大学 基于卷积循环神经网络对知识图谱的推理方法及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106528610A (zh) * 2016-09-28 2017-03-22 厦门理工学院 一种基于路径张量分解的知识图谱表示学习方法
CN109815345A (zh) * 2019-02-25 2019-05-28 南京大学 一种基于路径的知识图谱嵌入方法
CN109887284A (zh) * 2019-03-13 2019-06-14 银江股份有限公司 一种智慧城市交通信号控制推荐方法、系统及装置
CN111784081A (zh) * 2020-07-30 2020-10-16 南昌航空大学 一种采用知识图谱嵌入和时间卷积网络的社交网络链路预测方法
CN112949835A (zh) * 2021-03-30 2021-06-11 太原理工大学 基于卷积循环神经网络对知识图谱的推理方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
舒坚: "基于深度图嵌入的无人机自组网链路预测" *

Also Published As

Publication number Publication date
CN113761223B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
Grathwohl et al. Ffjord: Free-form continuous dynamics for scalable reversible generative models
Leskovec et al. Kronecker graphs: an approach to modeling networks.
Kleyko et al. Holographic graph neuron: A bioinspired architecture for pattern processing
Carroll et al. Local estimating equations
Hu et al. Bipartite consensus for multi-agent systems on directed signed networks
CN112035746A (zh) 一种基于时空序列图卷积网络的会话推荐方法
Barabási et al. Deterministic scale-free networks
CN112200321B (zh) 基于知识联邦和图网络的推理方法、系统、设备及介质
Dadush Integer programming, lattice algorithms, and deterministic volume estimation
Ugander et al. Randomized graph cluster randomization
CN103106279A (zh) 一种同时基于节点属性以及结构关系相似度的聚类方法
Bonzom Large N limits in tensor models: Towards more universality classes of colored triangulations in dimension d≥ 2
Chen et al. Generalized capsule networks with trainable routing procedure
De Klerk et al. A comparison of lower bounds for the symmetric circulant traveling salesman problem
Fioretto et al. Differential privacy of hierarchical census data: An optimization approach
CN112633481B (zh) 一种多跳图卷积神经网络模型系统及训练方法
Barooah et al. Distributed estimation from relative measurements in sensor networks
CN115186831B (zh) 一种高效隐私保护的深度学习方法
CN114064627A (zh) 一种针对多重关系的知识图谱链接补全方法及系统
Zhang et al. Evolving pseudofractal networks
Heydenreich et al. Random graph asymptotics on high-dimensional tori
CN108737491A (zh) 信息推送方法和装置以及存储介质、电子装置
Tanaka et al. A faithful distributed implementation of dual decomposition and average consensus algorithms
CN103164487B (zh) 一种基于密度与几何信息的数据聚类方法
CN113761223A (zh) 一种采用注意力机制的循环神经嵌入表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant