CN116340524A - 一种基于关系自适应网络的小样本时态知识图谱补全方法 - Google Patents
一种基于关系自适应网络的小样本时态知识图谱补全方法 Download PDFInfo
- Publication number
- CN116340524A CN116340524A CN202211410498.XA CN202211410498A CN116340524A CN 116340524 A CN116340524 A CN 116340524A CN 202211410498 A CN202211410498 A CN 202211410498A CN 116340524 A CN116340524 A CN 116340524A
- Authority
- CN
- China
- Prior art keywords
- relation
- entity
- adaptive
- self
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002123 temporal effect Effects 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 21
- 230000001502 supplementing effect Effects 0.000 title claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 39
- 230000000295 complement effect Effects 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 11
- 230000002776 aggregation Effects 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 239000004973 liquid crystal related substance Substances 0.000 claims description 6
- 230000000873 masking effect Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 10
- 238000012360 testing method Methods 0.000 description 7
- 230000003068 static effect Effects 0.000 description 6
- 238000013213 extrapolation Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000007477 logistic regression Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000000547 structure data Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于关系自适应网络的小样本时态知识图谱补全方法，该方法具备知识图谱补全能力前，首先对时态知识图谱中局部和全局时间内的历史信息进行建模，然后针对不同的关系构建自适应的网络，由此训练得到具有补全时态知识图谱能力的模型。本发明的创新点在于针对时态知识图谱，在缓解关系的长尾和稀疏问题的同时提升了补全性能。本发明的时态知识图谱补全模型构建了融合局部和全局历史模式的时序演化编码器和关系自适应的解码器，在捕获时序特征的基础上进一步增强小样本关系的表示，最终提升小样本时态知识图谱补全效果。
Description
技术领域
本发明涉及计算机技术领域，涉及知识图谱补全技术，特别涉及一种基于关系自适应网络的小样本时态知识图谱补全方法。
背景技术
背景技术涉及：静态知识图谱补全，时态知识图谱补全，图神经网络。
1)静态知识图谱补全
静态知识图谱补全是利用知识图谱中现有的事实来推断缺失事实的任务，即在现有的实体和关系构成图谱的基础上增添实体与实体间原先未标明但客观上真实存在的关系。对于每一个三元组
知识图谱补全任务可以被形式化地表示为尾实体预测(s,r,p)，头实体预测(p,r,o)以及关系预测(s,p,o)。例如，根据已有的两个事实：(A，父子，B)和(B，父子，C)，(A，爷孙，C)这一事实是必然正确且容易推理的。因此，知识图谱补全任务的目标就在于推理出新的事实并使知识图谱更加完整。
一般来说，对于每一个要预测的三元组(s，r,o)，基于表示学习的知识图谱补全方法都定义一个评分函数f(s,r,o)来评估其合理性。表示学习模型的目标在于：定义一个评分函数f使得合理的三元组的得分f(s,r,o)高于不合理的三元组的得分f(s,r,o)。在训练的过程中，三元组中实体和关系的嵌入通常都会被随机初始化，不同方法采用不同的评分函数计算每一个三元组的得分并且优化不同的损失函数以学习嵌入和模型的参数。基于表示学习的知识图谱补全模型的常用的损失函数包括基于边界的成对排序损失、softmax回归的负对数似然损失和逻辑回归的负对数似然损失等。基于边界的成对排序损失是一个在传统的知识图谱补全方法中使用较多的目标损失，而softmax回归的负对数似然和逻辑回归的负对数似然损失则在最近的知识图谱补全方法中更为常用，分别如式(10)，(11)，(12)所示：
其中[x]+＝max(0,x)，γ是边界超参数，
和/>
是已有的和不合理的三元组集合；
其中，其中ε\{o}和ε\{s}指删去当前尾实体o或者当前头实体s的实体集合；
其中I(s,r,o)是指示函数，如式(13)所示：
对于基于表示学习的知识图谱补全方法，其优化过程旨在最大化正样本的合理性，并最小化负样本的合理性。在使用基于边界的成对排序损失和逻辑回归的负对数似然损失时，负样本通常利用不同的负采样方法得到。负采样方法的传统策略是随机选取正确的三元组并替换，以生成不合理的三元组。随着时间的推移，已经提出了更有效的方法来生成负样本，例如根据伯努利(Bernouilli)分布进行采样或是基于对抗学习的策略生成不正确的三元组。
在测试推理过程中，知识图谱补全任务的模型则对所有测试三元组执行头，尾实体预测或者关系预测。通过对每一个三元组，计算目标候选实体相对于所有其他候选实体的排名并以此进行评估。在理想情况下，目标实体应具有最高的三元组评分。
2)时态知识图谱补全
知识图谱的不完整限制了其在下游任务中应用的性能。与静态的知识图谱补全不同，时态知识图谱的补全需要对事实的时效性加以考虑。如(s,r,o,t1)和(s,r,o,t2)两个四元组，第一个四元组是一个虚假的事实，而第二个是真实的事实。如果不考虑时效性，两个四元组都退化为(s,r,o)，则很难判断其真实性。因此，由于复杂的时间动态，时态知识图谱补全任务相较于静态知识图谱补全更具挑战。
时态知识图谱补全可以分为两种设置：插值(interpolation)和外推(extrapolation)。插值设置旨在预测历史中缺失的事实，即预测事实的时间t的范围为t0≤t≤tT。对于这种设置，基于静态知识图谱补全的研究，一些研究试图将时间信息纳入知识图谱推理。例如基于嵌入的方法将时间与事实相关联并将它们映射到低维空间，将关系和时间视为实体之间的转换或者通过学习不同时间戳的嵌入来表征时间信息。然而，在这一设置下模型无法预测未来的事实。
外推设置则旨在根据历史事实预测未来的新事实，即预测事实的时间t>tT。外推设置在时态知识图谱推理中特别重要，因为它有助于在未来时间戳上填充知识图谱并有助于预测新兴事件。在现实场景中，时态知识图谱的外推对事件过程归纳，社会关系预测，救灾和财务分析等都具有重要的意义。
3)图神经网络
在现实世界中，事物对象通常是根据他们与其他事物的联系来定义的。一组对象，以及他们之间的联系，自然而然地可以表示为图的形式。图数据随处可见，例如社交网络，知识图谱，生物网络，分子结构等等。先前传统的神经网络模型，主要用于处理高度结构化的数据，如文本和图像等。而非结构化的图数据，由于其本身复杂的拓扑结构、无序性、动态性，导致先前的神经网络模型很难作用于其之上。而近些年来，研究者针对图结构的数据设计了与先前不同的图神经网络(Graph Neural Network，GNN)，并将其用于许多实际应用，包括物理模拟，假新闻检测，交通预测和推荐系统等等。而知识图谱作为典型的图结构数据，用GNN对其进行建模是直接且有效的。
图结构的数据通常包含两个要素：节点和边。其在不同的图数据中代表不同的含义，以知识图谱为例，图结构数据中的节点被描述为实体，而边则被描述为关系。此外，图结构中的数据中的边分为有向边和无向边，边的方向性同样用于刻画数据的专有图结构，而知识图谱中的边则通常被刻画为含有多种关系的有向边。
GNN是对图的所有属性(节点和边)的可优化转换，并且同时保留图的对称性，即置换不变性。通常来说，现有的GNN都采用“图入图出”架构，这意味着GNN接受图作为输入，将信息加载到其节点、边中，并逐步转换这些图中属性的嵌入。在这一过程中，输入的连接性图结构是不变的，即节点和边的嵌入表示在经过一层GNN后仅改变其内部的表示，而不改变原始的图结构。
消息传递范式是当前GNN的通用框架，其主要思想在于利用相邻节点或边交换信息并影响彼此嵌入的更新。具体来说，图神经网络的消息传递可以分为消息函数、节点更新函数、读出函数三部分。
消息函数：收集所有相邻节点的嵌入(消息)并通过聚合函数聚合所有消息，如式(14)所示：
其中
为所有相邻节点的集合，AGGREGATE为聚合函数。
节点更新函数：所有汇集的消息都通过一个更新函数传递，通常是一个可学习的神经网络，如式(15)所示：
读出函数：聚合所有节点更新后的表示以得到整张图的表示，如式(16)所示：
消息传递机制中单一节点聚合和更新的过程，与卷积神经网络有着同样的思想，即聚合和处理元素邻居信息以更新元素值的操作。通过将消息传递GNN层堆叠在一起，一个节点最终可以整合来自整个图的信息：例如在三层之后，一个节点将包含离它三步之远的节点的信息。同时，消息传递机制同样能被作用于图中的边，以聚合边的信息。常见的图神经网络包括图卷积网络(Graph Convolutional Networks，GCN)和图注意力网络(GraphAttention Networks，GAT)等，其主要区别在于其有着不同的聚合函数和节点更新函数。受到卷积神经网络的启发，GCN采用均值的聚合方式对图中的邻居表示进行聚合，如式(17)所示：
而与之相比，图注意力网络则是基于注意力的加权求和方式，以此衡量相邻节点与中心节点相关程度并加以聚合。
发明内容
本发明的目的在于提供一种基于关系自适应网络的小样本时态知识图谱补全方法，该方法针对时态知识图谱，在缓解关系的长尾和稀疏问题的同时提升了补全性能。本发明的时态知识图谱补全模型构建了融合局部和全局历史模式的时序演化编码器和关系自适应的解码器，在捕获时序特征的基础上进一步增强小样本关系的表示，最终提升小样本时态知识图谱补全效果。
实现本发明目的的具体技术方案是：
一种基于关系自适应网络的小样本时态知识图谱补全方法，该方法包括如下步骤：
步骤一：选择待补全的时态知识图谱，确定该时态知识图谱中的小样本关系，将其构建为数据集；
步骤二：基于多种关系类型构建关系自适应的补全模型，所述补全模型将被用于时态知识图谱补全；
步骤三：通过补全模型中融合局部和全局历史模式的时序演化编码器产生每个时间步的实体嵌入向量和关系嵌入向量；
步骤四：利用所述的实体嵌入向量和关系嵌入向量，通过补全模型中关系自适应的解码器计算待补全的时态知识图谱中候选实体的得分；
步骤五：基于实体预测和关系预测同时进行的多任务训练方式，利用数据集训练补全模型中的参数，得到训练后的补全模型；
步骤六：基于所述训练后的补全模型，完成时态知识图谱的补全。
所述关系自适应的补全模型，具体为：该模型整体基于编码器-解码器框架，融合局部和全局历史模式的时序演化编码器由局部历史编码器和全局历史编码器组成，解码器则利用关系自适应的解码器。其中，局部历史编码器对局部时刻内长度为1,2,…,m的历史子图进行演化并得到演化的实体和关系嵌入。全局历史编码器记录全局时间内的重复历史事实，其和局部历史编码器的输出一同被输入至关系自适应的解码器。关系自适应的解码器将不同时间长度的历史事实嵌入聚合并通过关系自适应的全连接神经网络进行在不同关系下重要性的选择。以此将得到的可变长度历史事实得分和关系自适应的路径匹配得分结合后获得最终的预测得分。
所述融合局部和全局历史模式的时序演化编码器，符合下列式子：
rt＝GRU(rt-1,r′t), (4)
其中，式(1)为图神经网络聚合器的形式化定义，
是实体对s、o在时刻t-1的第l层输入的嵌入向量，rt-1为时刻t-1输入的关系嵌入向量，/>
为图神经网络可学习的权重参数，且/>
是关系自适应的；RReLu为激活函数，ψ是一维卷积算子；当一个实体与子图中的其他实体没有任何关系时，仍然会有一条自循环边来将其进行自更新，以此得到最终图神经网络的l+1层输出/>
式(2)为面向实体的GRU的形式化定义，其输入为前一个时刻t-1的实体嵌入向量ht-1和经过式(1)表示的图神经网络聚合后的实体嵌入向量
输出为当前时刻t的实体嵌入向量ht；式(3)、(4)为关系嵌入更新的形式化定义，其中
是在时刻t处连接到r的所有实体，r′t由ht-1和/>
使用均值池化操作得到，rt-1是时刻t-1的关系嵌入向量；时刻t的关系嵌入向量rt最终由rt-1和r′t通过面向关系的GRU进行更新。
所述关系自适应的解码器，符合下列式子：
Wm＝softmax(WrelRt+brel), (7)
其中，
和/>
为编码器输出的实体嵌入向量，rt为编码器输出的关系嵌入向量，
为实体嵌入矩阵，Rt为关系嵌入矩阵；vec是一个特征映射算子，Wsr和Wso是用于线性变换的可学习参数，ψ是一维卷积算子；δ(s,r,k)和δ(s,o,k)分别是限定历史长度为k的解码器计算的实体预测和关系预测的得分；为了对不同的关系捕获不同长度的局部历史信息并建模不同长度的历史演化趋势，关系自适应解码器采用关系自适应的权值对历史演化表示的重要性进行区分；Wm代表不同关系重要性的权重，实体预测得分scorehis由其加权求和得到；由于关系预测中的关系是未知的，关系预测得分scorerel为不同长度局部历史得分直接相加得到；因此，关系自适应解码器将历史演化得分聚合后通过关系自适应的全连接网络计算最终实体预测和关系预测的得分。
所述步骤五，具体包括：
步骤a1：将训练集中的四元组事实分别进行尾实体和关系的掩码；进行掩码的部分就是补全模型实体预测和关系预测的参考标签；
步骤a2：将掩码后的四元组事实作为补全模型输入，获取对于不同候选实体的得分输出和候选关系的得分输出，分别是(8)和(9)中的scorehis和scorerel；
步骤a3：将补全模型输出和参考标签进行对照，使用交叉熵计算得出掩码四元组的实体预测损失和关系预测损失；
步骤a4：选取超参数将实体预测损失和关系预测损失加权求和得到最终的损失，以此进行梯度下降并更新模型参数。
本发明的有益效果在于：本发明结合以上技术训练出一种知识图谱补全模型，这个模型针对时态知识图谱，在缓解关系的长尾和稀疏问题的同时提升了补全性能。具体包括：
1.利用基于循环图神经网络的局部和全局历史编码器，捕获不同长度的历史信息，以此在时态知识图谱补全的预测过程中引入更多有效信息。
2.利用基于关系自适应网络的解码器，针对高频关系和小样本关系分别获取不同长度的历史信息，自适应调整小样本关系的可见历史长度，从而缓解关系的长尾和稀疏问题，提高补全的预测准确率。
3.通过多任务学习，使得模型分别可以从实体预测和关系预测角度进行知识图谱补全，并同时提升模型实体预测和关系预测的准确率。
附图说明
图1为本发明流程图；
图2为本发明的补全模型整体结构图。
具体实施方式
以下结合具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。
本发明的目的在于提供一种基于关系自适应网络的小样本时态知识图谱补全方法，该方法针对时态知识图谱，在缓解关系的长尾和稀疏问题的同时提升了补全性能。本发明的时态知识图谱补全模型构建了融合局部和全局历史模式的时序演化编码器和关系自适应的解码器，在捕获时序特征的基础上进一步增强小样本关系的表示，最终提升小样本时态知识图谱补全效果。
参阅图1，本发明包括以下具体步骤：
步骤1：选择待补全的时态知识图谱，确定该时态知识图谱中的小样本关系，将其构建为数据集。时态知识图谱
可以记为一个子图序列/>
并将在从时间戳1到T1、T1到T2、T2到T3(T1<T2<T3)的时态知识图谱分别用作训练、验证和测试集。此外，将时态知识图谱数据集中的关系/>
分为高频关系/>
和低频关系(小样本关系)/>
其区分的准则为全局时间的出现的次数nglobal小于时刻数Nt或者在局部时间窗口内出现的次数nwindow小于时间窗口长度lwindow。对于不同的数据集，时间窗口长度设置为数据集总时刻数的十分之一，即lwindow＝0.1×Nt。
步骤2：基于多种关系类型构建关系自适应的补全模型，所述补全模型将被用于时态知识图谱补全，构建的补全模型整体结构如图2所示。该模型整体基于编码器-解码器框架，融合局部和全局历史模式的时序演化编码器由局部历史编码器和全局历史编码器组成，解码器则利用关系自适应的解码器。其中，局部历史编码器用于对局部时刻内长度为1,2,…,m的历史子图进行演化并得到演化的实体和关系表示。全局历史编码器用于收集全局时间内的重复事实，其和局部历史编码器的输出一同被输入至关系自适应的解码器。关系自适应的解码器将不同长度的历史事实表示聚合并通过关系自适应的全连接神经网络进行在不同关系下重要性的选择。以此将得到的可变长度历史事实得分和关系自适应的路径匹配得分结合后获得最终的预测得分。局部历史编码器为不同的关系捕获不同的局部历史长度，以建模不同关系的演化特性。而关系自适应解码器则为小样本关系进行路径匹配，以增强小样本关系在历史时刻内的结构信息，从而缓解小样本关系在时态知识图谱中的长尾和稀疏问题。最后，本发明提出的补全模型同时进行了实体预测和关系预测的多任务学习，以此增强实体和关系表示。
步骤3：通过补全模型中融合局部和全局历史模式的时序演化编码器产生每个时间步的实体嵌入向量和关系嵌入向量。局部历史编码器主要用于捕获不同长度的局部历史的相关信息。对于每个查询(s,r,p,t)，局部历史编码器都考虑1,2,…,m个相邻时间戳的子图
具体而言，局部历史编码器对不同长度的局部历史信息进行空间和时间视图的聚合。其中，空间信息采用GCN进行聚合，时间信息采用GRU进行聚合。
在单步聚合的过程中，单个时间戳上的历史信息的捕获采用基于一维卷积的GCN。而在多步演化的过程中，为了考虑不同长度的局部历史信息，局部历史编码器考虑m种演化模式的局部历史信息，并同时采用面向实体和面向关系的GRU进行演化，如下式所示：
rt＝GRU(rt-1,rδt), (4)
其中，式(1)为图神经网络聚合器的形式化定义，
是实体对s、o在时刻t-1的第l层输入的嵌入向量，rt-1为时刻t-1输入的关系嵌入向量，/>
为图神经网络可学习的权重参数，且/>
是关系自适应的；RReLu为激活函数，ψ是一维卷积算子；当一个实体与子图中的其他实体没有任何关系时，仍然会有一条自循环边来将其进行自更新，以此得到最终图神经网络的l+1层输出/>
式(2)为面向实体的GRU的形式化定义，其输入为前一个时刻t-1的实体嵌入向量ht-1和经过式(1)表示的图神经网络聚合后的实体嵌入向量
输出为当前时刻t的实体嵌入向量ht；式(3)、(4)为关系嵌入更新的形式化定义，其中
是在时刻t处连接到r的所有实体，rδt由ht-1和/>
使用均值池化操作得到，rt-1是时刻t-1的关系嵌入向量；时刻t的关系嵌入向量rt最终由rt-1和rδt通过面向关系的GRU进行更新。
全局历史编码器旨在获取重复的全局候选事实，从而为解码器中的评分提供全局约束。对于每个查询(s,r,p,t)，全局历史编码器编用于获取候选的单跳或多跳实体。全局历史编码器仅考虑实体之前是否出现过，而不考虑其出现的频率。由于很久以前发生的事实并不一定会在未来发生，直接使用频率作为特征可能会误导预测，并且使预测事实总是倾向于高频历史事实，因此全局历史编码器不记录频率。此外，不记录频率的另一个原因在于局部历史编码器已经能够捕捉到最近事实频率的影响，该模块更多的是缩小预测范围，避免遗漏，而不是直接确定最终结果。具体而言，全局历史编码器遍历时刻t之前的所有子图
得到查询结果/>
然后在时刻t处计算选实体集的并集，如下式所示：
因此，对于查询(s,r,p,t)，候选实体矩阵
将/>
中事实曾经发生的位置的值赋为1，未发生过的赋为0。尽管这两个矩阵维度很大，但由于不考虑频率，在模型中其都是稀疏的(0,1)-矩阵，所以访问时空间复杂度和时间复杂度都比较低。此外，全局历史编码器还可用于不同距离的候选事实记录，包括一跳和多跳。
步骤4：利用所述的实体嵌入向量和关系嵌入向量，通过补全模型中关系自适应的解码器计算待补全的时态知识图谱中候选实体的得分。其中，关系自适应的解码器符合下列式子：
Wm＝softmax(WrelRt+brel), (7)
其中，
和/>
为编码器输出的实体嵌入向量，rt为编码器输出的关系嵌入向量，
为实体嵌入矩阵，Rt为关系嵌入矩阵；vec是一个特征映射算子，Wsr和Wso是用于线性变换的可学习参数，ψ是一维卷积算子；δ(s,r,k)和δ(s,o,k)分别是限定历史长度为k的解码器计算的实体预测和关系预测的得分；为了对不同的关系捕获不同长度的局部历史信息并建模不同长度的历史演化趋势，关系自适应解码器采用关系自适应的权值对历史演化表示的重要性进行区分；Wm代表不同关系重要性的权重，实体预测得分scorehis由其加权求和得到；由于关系预测中的关系是未知的，关系预测得分scorerel为不同长度局部历史得分直接相加得到；因此，关系自适应解码器将历史演化得分聚合后通过关系自适应的全连接网络计算最终实体预测和关系预测的得分。
此外，针对小样本关系，关系自适应解码器还利用关系自适应的动态路径匹配。对于每个预测时刻t，都有针对时刻t的前lwindow个时间戳中包含小样本关系的路径集合
模型将其与当前小样本关系的任意候选实体对路径进行匹配。具体而言，对于查询实体对qa＝(sa,r,oa)的路径集合P(sa,oa)和所有支持实体对/>
的路径集合P(su,ou)，StarRing都将计算查询和支持路径中任意两条路径pc∈P(sa,oa)、pd∈P(su,ou)之间的相似度。相似度的计算方式与TextRank类似，以用于确定路径的重叠，其表达式如下式所示：
其中rcom是pc和pd中的公共关系。θ(pc,pd)是pc和pd之间的相关性相似度。
由于实体对之间可能有许多不同长度的路径，路径的长度对于匹配具有不同的重要性。因此，模型计算不同长度路径的最大相似度，如下式所示：
其中Pl(a)和Pm 
分别为P(sa,oa)和P(su,ou)中长度为l和m的路径集合。ReLU用于避免负值。对于不同长度的路径，Wlm是可学习的参数。/>
则是路径集之间的相关性相似度。
基于不同长度的路径具有不同重要性的假设，最终的相关性匹配结果通过取最大值得到，如下式所示：
由此，基于路径的相关性匹配，最终得到候选实体的小样本路径匹配得分，如下式所示：
步骤5：基于实体预测和关系预测同时进行的多任务训练方式，利用数据集训练补全模型中的参数，得到训练后的补全模型。在得到历史编码器实体预测得分和路径得分后，候选实体评分按比例相加得到，如下式所示：
其中超参数λ的取值范围为λ∈[0,1]。相似度分数
是模型对不同查询的评分，模型的目标在于期望正确查询获得高分，而错误查询获得低分。
在训练过程中，对于每个小样本关系，除了已有的真实查询集
还需要从候选集中随机抽取实体，将正查询集破坏为负查询集/>
因此，模型的最终目标损失如下式所示：
其中[x]+＝max(0,x)，而γ是分隔正负查询的边距超参数。
步骤6：基于所述训练后的补全模型，完成时态知识图谱的补全。基于自适应补全模型在两个多关系数据集ICEWS14和GDELT上进行实体预测实验，其关系种类数分别为230和240，并同时进行关系预测实验。
表1测试数据集实体预测的补全性能
表2测试数据集小样本关系上实体预测的补全性能
表3测试数据集关系预测的补全性能
在实验过程中，对于所有数据集，嵌入维度d都设置为200。基于一维卷积的GCN层数设置为2，每层的dropout率设置为0.2。ICEWS14和GDELT的历史长度最大值m分别设置为9和7。对于所有数据集，实体预测中路径得分的权重设置为0.1。此外，Adam优化器用于参数学习，其学习率设置为0.001。
实体预测结果记录在表1、2中，关系预测结果记录在表3中。测试结果显示本补全模型的性能优于其它已知的时态知识图谱补全模型。
本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。
Claims (4)
1.一种基于关系自适应网络的小样本时态知识图谱补全方法，其特征在于，该方法包括如下步骤：
步骤一：选择待补全的时态知识图谱，确定该时态知识图谱中的小样本关系，将其构建为数据集；
步骤二：基于多种关系类型构建关系自适应的补全模型，所述补全模型将被用于时态知识图谱补全；
步骤三：通过所述补全模型中融合局部和全局历史模式的时序演化编码器产生每个时间步的实体嵌入向量和关系嵌入向量；
步骤四：利用所述的实体嵌入向量和关系嵌入向量，通过所述补全模型中关系自适应的解码器计算待补全的时态知识图谱中候选实体的得分；
步骤五：基于实体预测和关系预测同时进行的多任务训练方式，利用数据集训练补全模型中的参数，得到训练后的补全模型；
步骤六：基于所述训练后的补全模型，完成时态知识图谱的补全；其中：
所述关系自适应的补全模型，具体为：模型整体基于编码器-解码器框架，由局部历史编码器和全局历史编码器组成融合局部和全局历史模式的时序演化编码器，解码器则利用关系自适应的解码器；其中，局部历史编码器对局部时刻内长度为1,2,…,m的历史子图进行演化并得到演化的实体和关系嵌入；全局历史编码器记录全局时间内的重复历史事实，其和局部历史编码器的输出一同被输入至关系自适应的解码器；关系自适应的解码器将不同时间长度的历史事实嵌入聚合并通过关系自适应的全连接神经网络进行在不同关系下重要性的选择；以此将得到的可变长度历史事实得分和关系自适应的路径匹配得分结合后获得最终的预测得分。
2.如权利要求1所述的基于关系自适应网络的小样本时态知识图谱补全方法，其特征在于，所述融合局部和全局历史模式的时序演化编码器，符合下列式子：
rt＝GRU(rt-1,rt′), (4)
其中，式(1)为图神经网络聚合器的形式化定义，
是实体对s、o在时刻t-1的第l层输入的嵌入向量，rt-1为时刻t-1输入的关系嵌入向量，/>
为图神经网络可学习的权重参数，且/>
是关系自适应的；RReLu为激活函数，ψ是一维卷积算子；当一个实体与子图中的其他实体没有任何关系时，仍然会有一条自循环边来将其进行自更新，以此得到最终图神经网络的l+1层输出/>
式(2)为面向实体的GRU的形式化定义，其输入为前一个时刻t-1的实体嵌入向量ht-1和经过式(1)表示的图神经网络聚合后的实体嵌入向量
输出为当前时刻t的实体嵌入向量ht；式(3)、(4)为关系嵌入更新的形式化定义，其中
是在时刻t处连接到r的所有实体，rt′由ht-1和/>
使用均值池化操作得到，rt-1是时刻t-1的关系嵌入向量；时刻t的关系嵌入向量rt最终由rt-1和rt′通过面向关系的GRU进行更新。
3.如权利要求1所述的基于关系自适应网络的小样本时态知识图谱补全方法，其特征在于，所述关系自适应的解码器，符合下列式子：
Wm＝softmax(WrelRt+brel), (7)
其中，
和/>
为编码器输出的实体嵌入向量，rt为编码器输出的关系嵌入向量，/>
为实体嵌入矩阵，Rt为关系嵌入矩阵；vec是一个特征映射算子，Wsr和Wso是用于线性变换的可学习参数，ψ是一维卷积算子；δ(s,r,k)和δ(s,o,k)分别是限定历史长度为k的解码器计算的实体预测和关系预测的得分；为了对不同的关系捕获不同长度的局部历史信息并建模不同长度的历史演化趋势，关系自适应解码器采用关系自适应的权值对历史演化表示的重要性进行区分；Wm代表不同关系重要性的权重，实体预测得分scorehis由其加权求和得到；由于关系预测中的关系是未知的，关系预测得分scorerel为不同长度局部历史得分直接相加得到；因此，关系自适应解码器将历史演化得分聚合后通过关系自适应的全连接网络计算最终实体预测和关系预测的得分。
4.如权利要求1所述的基于关系自适应网络的小样本时态知识图谱补全方法，其特征在于，所述步骤五，具体包括：
步骤a1：将训练集中的四元组事实分别进行尾实体和关系的掩码；进行掩码的部分就是补全模型实体预测和关系预测的参考标签；
步骤a2：将掩码后的四元组事实作为补全模型输入，获取对于不同候选实体的得分scorehis输出和候选关系的得分和scorerel输出；
步骤a3：将补全模型输出和参考标签进行对照，使用交叉熵计算得出掩码四元组的实体预测损失和关系预测损失；
步骤a4：选取超参数将实体预测损失和关系预测损失加权求和得到最终的损失，以此进行梯度下降并更新模型参数，得到训练后的补全模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211410498.XA CN116340524B (zh) | 2022-11-11 | 2022-11-11 | 一种基于关系自适应网络的小样本时态知识图谱补全方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211410498.XA CN116340524B (zh) | 2022-11-11 | 2022-11-11 | 一种基于关系自适应网络的小样本时态知识图谱补全方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116340524A true CN116340524A (zh) | 2023-06-27 |
| CN116340524B CN116340524B (zh) | 2024-03-08 |
Family
ID=86880984
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211410498.XA Active CN116340524B (zh) | 2022-11-11 | 2022-11-11 | 一种基于关系自适应网络的小样本时态知识图谱补全方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116340524B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116579425A (zh) * | 2023-07-13 | 2023-08-11 | 北京邮电大学 | 基于全局和局部层级注意力的超关系知识图谱补全方法 |
| CN117093727A (zh) * | 2023-10-16 | 2023-11-21 | 湖南董因信息技术有限公司 | 基于时间关系感知的时序知识图谱补全方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140149418A1 (en) * | 2012-11-28 | 2014-05-29 | Share This Inc. | Method and system for measuring social influence and receptivity of users |
| CN109902183A (zh) * | 2019-02-13 | 2019-06-18 | 北京航空航天大学 | 一种基于多样图注意力机制的知识图谱嵌入方法 |
| CN111159425A (zh) * | 2019-12-30 | 2020-05-15 | 浙江大学 | 一种基于历史关系和双图卷积网络的时态知识图谱表示方法 |
| WO2022057671A1 (zh) * | 2020-09-16 | 2022-03-24 | 浙江大学 | 一种基于神经网络的知识图谱不一致性推理方法 |
| WO2022057669A1 (zh) * | 2020-09-16 | 2022-03-24 | 浙江大学 | 基于结构化上下文信息的知识图谱预训练方法 |
| CN114780739A (zh) * | 2022-04-14 | 2022-07-22 | 武汉大学 | 基于时间图卷积网络的时序知识图谱补全方法及系统 |
| CN115238855A (zh) * | 2022-05-23 | 2022-10-25 | 北京邮电大学 | 基于图神经网络的时序知识图谱的补全方法及相关设备 |
-
2022
- 2022-11-11 CN CN202211410498.XA patent/CN116340524B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140149418A1 (en) * | 2012-11-28 | 2014-05-29 | Share This Inc. | Method and system for measuring social influence and receptivity of users |
| CN109902183A (zh) * | 2019-02-13 | 2019-06-18 | 北京航空航天大学 | 一种基于多样图注意力机制的知识图谱嵌入方法 |
| CN111159425A (zh) * | 2019-12-30 | 2020-05-15 | 浙江大学 | 一种基于历史关系和双图卷积网络的时态知识图谱表示方法 |
| WO2022057671A1 (zh) * | 2020-09-16 | 2022-03-24 | 浙江大学 | 一种基于神经网络的知识图谱不一致性推理方法 |
| WO2022057669A1 (zh) * | 2020-09-16 | 2022-03-24 | 浙江大学 | 基于结构化上下文信息的知识图谱预训练方法 |
| CN114780739A (zh) * | 2022-04-14 | 2022-07-22 | 武汉大学 | 基于时间图卷积网络的时序知识图谱补全方法及系统 |
| CN115238855A (zh) * | 2022-05-23 | 2022-10-25 | 北京邮电大学 | 基于图神经网络的时序知识图谱的补全方法及相关设备 |
Non-Patent Citations (3)
| Title |
|---|
| 田满鑫等: "一种基于实体时间敏感度的知识表示方法", 《软件工程》, no. 01 * |
| 申宇铭等: "时态知识图谱补全的方法及其进展", 《大数据》, vol. 7, no. 03, pages 30 - 41 * |
| 陈浩等: "基于多关系循环事件的动态知识图谱推理", 模式识别与人工智能, vol. 33, no. 04, 15 April 2020 (2020-04-15) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116579425A (zh) * | 2023-07-13 | 2023-08-11 | 北京邮电大学 | 基于全局和局部层级注意力的超关系知识图谱补全方法 |
| CN116579425B (zh) * | 2023-07-13 | 2024-02-06 | 北京邮电大学 | 基于全局和局部层级注意力的超关系知识图谱补全方法 |
| CN117093727A (zh) * | 2023-10-16 | 2023-11-21 | 湖南董因信息技术有限公司 | 基于时间关系感知的时序知识图谱补全方法 |
| CN117093727B (zh) * | 2023-10-16 | 2024-01-05 | 湖南董因信息技术有限公司 | 基于时间关系感知的时序知识图谱补全方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116340524B (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Feng et al. | Learning to simulate human mobility | |
| Wu et al. | Hierarchically structured transformer networks for fine-grained spatial event forecasting | |
| CN116340524B (zh) | 一种基于关系自适应网络的小样本时态知识图谱补全方法 | |
| Bacciu et al. | Edge-based sequential graph generation with recurrent neural networks | |
| Dai et al. | MRGAT: multi-relational graph attention network for knowledge graph completion | |
| Li et al. | Dynamic graph structure learning for multivariate time series forecasting | |
| CN113962358A (zh) | 一种基于时序超图注意力神经网络的信息扩散预测方法 | |
| CN111259264B (zh) | 一种基于生成对抗网络的时序评分预测方法 | |
| Gao et al. | Adversarial mobility learning for human trajectory classification | |
| Zhang et al. | Dynamic representation learning via recurrent graph neural networks | |
| Wang et al. | R2-trans: Fine-grained visual categorization with redundancy reduction | |
| Wang et al. | Enhancing user interest modeling with knowledge-enriched itemsets for sequential recommendation | |
| Feng et al. | H-Diffu: hyperbolic representations for information diffusion prediction | |
| Shuai et al. | Relationship analysis of short-term origin–destination prediction performance and spatiotemporal characteristics in urban rail transit | |
| Meng et al. | POI recommendation for occasional groups Based on hybrid graph neural networks | |
| Xu et al. | CLDG: Contrastive Learning on Dynamic Graphs | |
| Wang et al. | Dynamic embedding graph attention networks for temporal knowledge graph completion | |
| CN115048530A (zh) | 融合邻居重要度和特征学习的图卷积推荐系统 | |
| ABBAS | A survey of research into artificial neural networks for crime prediction | |
| CN115965466A (zh) | 一种基于子图对比的以太坊账户身份推理方法及系统 | |
| Li et al. | Graph neural network-based bitcoin transaction tracking model | |
| Jiao et al. | Scalable self-supervised graph representation learning via enhancing and contrasting subgraphs | |
| Yan et al. | Modeling long-and short-term user behaviors for sequential recommendation with deep neural networks | |
| CN114116692A (zh) | 一种基于mask和双向模型的缺失POI轨迹补全方法 | |
| Liu et al. | Hpgat: High-order proximity informed graph attention network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |