CN113688253A - 一种层次感知的时态知识图谱表示学习方法 - Google Patents

Abstract

本发明公开了一种层次感知的时态知识图谱表示学习方法，包括：1)提取时态知识图谱中的事件；2)根据每个时刻的发生事件构建原图，建模实体之间的历史相关性；3)在层次图发现网络中，利用层次映射器将实体映射到实体组，并通过隐式关系编码器，以端到端的方式推理成对实体组之间的隐式相关性；4)在层次化耦合图卷积‑门控循环神经网络中，利用层次化图卷积更新每一个时刻的实体表示，并将不同时刻更新后的实体表示输入到门控循环神经网络中，获得包含历史信息和邻居信息的实体表示；5)通过多标签分类器输出实体之间未来可能发生的所有事件。该学习方法可以建模邻近和遥远的邻居实体以及事件之间的时间依赖对实体表示的影响。

Description

一种层次感知的时态知识图谱表示学习方法

技术领域

本发明属于时态知识图谱表示学习领域，具体涉及一种层次感知的时态知识图谱表示学习方法。

背景技术

时态知识图谱，例如全球新闻事件库(GDELT)和综合危机预警系统(ICEWS)，包含大量具有时间标记的知识，即事件。时态知识图谱中的事件以四元组(头实体、事件类型、尾实体、时间戳)的形式表示。时态知识图谱表示学习基于历史发生事件，将知识图谱中的实体和事件类型映射成低维、连续的向量表示，这对于社交网络分析等领域有着重要意义。

传统的时态知识图谱表示学习方法以向量表示学习、超平面的投影或张量分解的方式建模时间信息。这些方法只对时间信息进行简单建模，忽略了时间依赖。最近，序列模型的快速发展使得在时态知识图谱中建模事件之间的时间依赖变得可行。研究人员提出基于序列模型的时态知识图谱表示学习方法来建模事件之间的时间依赖。

基于序列模型的时态知识图谱表示学习方法利用序列学习模型建模时间依赖，具体可以细分为两类。第一类方法利用循环神经网络(RNN)与其变体，如门控循环神经网络(GRU)和长短时记忆模型(LSTM)，建模事件之间的时间依赖。然而，这类方法忽略了邻居实体对表示的影响。

第二类方法将图卷积网络(GCNs)和循环神经网络结合，同时建模邻居实体及事件之间的时间依赖。在这类方法中，往往基于历史发生事件构建图，并通过图卷积网络聚合邻居实体。这类方法通常通过堆叠多个图卷积层来建模遥远的邻居实体。然而，加深图卷积的层数会导致过平滑问题，即邻居实体的表示将变得相似。

发明内容

鉴于上述，本发明的目的是提供一种层次感知的时态知识图谱表示学习方法，有效建模遥远的邻居实体对实体表示的影响。

实施例提供的一种层次感知的时态知识图谱表示学习方法，包括以下步骤：

(1)从对时态知识图谱中提取发生事件；

(2)根据每个时刻的发生事件构建原图，建模实体之间的历史相关性；

(3)在层次图发现网络中，利用层次映射器对原图进行处理以将实体映射到实体组，并通过隐式关系编码器，以端到端的方式推理成对实体组之间的隐式相关性；

(4)在层次化耦合图卷积-门控循环神经网络中，利用层次化图卷积对实体组和实体组之间的隐式相关性进行处理以更新每一个时刻的实体表示，并将不同时刻更新后的实体表示输入到门控循环神经网络中，获得包含历史信息和邻居信息的实体表示；

(5)通过多标签分类器对实体表示进行处理以输出实体之间未来可能发生的所有事件。

本发明根据每个时刻的发生事件构建原图，利用层次映射器和隐式关系编码器完成层次图发现，并利用层次化耦合图卷积-门控循环神经网络进行表示学习，可以建模邻近和遥远的邻居实体及事件之间的时间依赖对实体表示的影响。与现有的方法相比，其优点在于：

1)引入了层次图发现网络基于原图发现层次图，利用层次映射器将实体映射到实体组，并通过隐式关系编码器，以端到端的方式推理成对实体组之间的隐式相关性。

2)引入了层次化耦合图卷积-门控循环神经网络，利用层次化图卷积建模原图和层次图上的信息交互，并将其结果输入到门控循环神经网络中，以建模邻近和遥远的邻居实体及事件之间的时间依赖对实体表示的影响。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是一实施例提供的层次感知的时态知识图谱表示学习方法的整体流程图；

图2是一实施例提供的层次感知的时态知识图谱表示学习方法的整体框架图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

为了解决如何在时态知识图谱表示学习方法中，有效建模遥远的邻居实体对实体表示的影响。本发明根据每个时刻的发生事件构建原图，利用层次映射器和隐式关系编码器完成层次图发现，并利用层次化耦合图卷积-门控循环神经网络进行表示学习，提出一种层次感知的时态知识图谱表示学习方法，可以建模邻近和遥远的邻居实体以及事件之间的时间依赖对实体表示的影响，进而提升模型性能，即提升了实体间未来可能发生事件的预测准确性，在关系预测、社会关系分析等领域具有广阔的应用前景。具体过程为：首先根据每个时刻的发生事件构建原图，建模实体之间的历史相关性；然后在层次图发现网络中，利用层次映射器将实体映射到实体组，并通过隐式关系编码器，以端到端的方式推理成对实体组之间的隐式相关性；其次在层次化耦合图卷积-门控循环神经网络中，利用层次化图卷积更新每一个时刻的实体表示，并将不同时刻更新后的实体表示输入到门控循环神经网络中，获得包含历史信息和邻居信息的实体表示；最后通过多标签分类器输出实体之间未来可能发生的所有事件。例如在社会关系分析这个实际应用中，实体为个人，关系类型为具有共同兴趣爱好、属于同一个职业、具有共同好友等，事件是由两个人，两个人之间发生的关系及关系发生时间构成的四元组，通过建模邻居信息和事件之间的时间依赖，可以提升人之间未来的社会关系分析的准确性。

图1是一实施例提供的层次感知的时态知识图谱表示学习方法的整体流程图；图2是一实施例提供的层次感知的时态知识图谱表示学习方法的整体框架图。如图1和图2所示，实施例提供的层次感知的时态知识图谱表示学习方法，包括以下步骤：

步骤1，对时态知识图谱中的数据进行事件提取。利用大小为T的滑动时间窗口对提取的事件进行划分，得到训练数据集。

时态知识图谱TKG中包含大量具有时间标记的知识，对TKG进行事件提取。事件以四元组(s,r,o,t)的形式表示，其中，s代表头实体，r代表事件类型，o代表尾实体，t代表时间戳。ε代表实体集合，且s,o∈ε。

代表事件类型集合，且

代表时间戳集合，且

四元组的时间戳为事件发生的时刻，将四元组按时刻顺序排列，然后利用大小为T的滑动时间窗口对排序的四元组进行步长为h的划分，每个步长内的四元组形成一个训练样本，多个训练样本组成训练数据集。

步骤2，根据每个时刻的发生事件构建原图G^primal＝(V^primal,E^primal)，其中V^primal表示原图上的节点集合，E^primal表示原图上的边集合。原图上的节点和边分别表示实体和实体之间发生的事件。

在此步骤中，根据每个时刻的发生事件构建原图：如果实体e_i到实体e_j发生过事件，则认为他们之间存在一条从实体e_i指向实体e_j的一条边，边的计算公式如下所示：

步骤3，将训练数据集按照固定的批量大小进行分批，批次总数为N。

步骤4，从训练数据集中顺序选取索引为k的一批训练样本，其中k∈*1,…,N}，对于该批次中的每一个训练样本，重复步骤5-9。

步骤5，在每一个时刻，利用层次图发现网络中的层次映射器计算出实体组的表示g_i,t，其中，i代表实体组序号，t代表时刻值。

在此步骤中，通过层次映射器可以发现实体和实体组之间的多对多映射关系。层次映射器确保了一个实体可以属于多个实体组，一个实体组可以包含多个实体。利用层次映射器可以将实体表示e映射到实体组表示g，计算公式如下所示(为了简化标记，下述步骤的变量在不引起歧义的情况下省略下标t)：

其中，e_i为实体表示，通过随机初始化得到，g_j为实体组的表示，

M_i,j表示实体i被分配到实体组j的概率，N_e和N_g分别为实体和实体组的数量。

步骤6，利用层次图发现网络中的隐式关系编码器以端到端的方式推理成对实体组之间的隐式相关性，完成层次图G^hierachical＝(V^hierachical,E^hierachical)的发现，其中V^hierachical表示层次图上的节点集合，E^hierachical表示层次图上的边集合。层次图上的节点和边分别表示实体组和实体组之间的隐式相关性。

在此步骤中，将层次图G^hierachical建模为全连接图，利用隐式关系编码器推理成对实体组之间的隐式相关性，计算公式如下所示：

c_i,j＝ReLU(σ(g_i,g_j))

其中，g_i和g_j是实体组的表示。σ为编码函数，由多层感知机MLP实现。

步骤7，利用层次化耦合图卷积-门控循环神经网络中的层次化图卷积建模原图和层次图上的信息交互，得到每一个时刻下更新后的实体表示e′_i,t，其中，i代表实体序号，t代表时刻值。

层次化耦合图卷积-门控循环神经网络包含层次化图卷积和门控循环神经网络。利用层次化图卷积可以得到各个时刻更新后的实体表示，将各个时刻更新后的实体表示输入到门控循环神经网络，可以得到最终的实体表示。层次化图卷积包含层次图卷积层和原图卷积层。在层次图卷积中，离彼此遥远的实体可以通过实体组共享信息。实体组的表示通过聚合和更新操作得到。聚合操作首先通过GCN聚合邻居实体组的信息，然后通过转换函数计算隐式关系的表示，具体公式如下所示(为了简化标记，下述步骤的变量在不引起歧义的情况下省略下标t)：

其中，

为转换函数，由多层感知机MLP实现。

之后，实体组的表示被更新，计算公式如下所示：

其中，

为转换函数，由多层感知机MLP实现。

在原图卷积中，实体的表示可以通过映射操作、聚合操作和更新操作得到。

首先，实体组的信息可以通过映射矩阵M反馈到实体，实体的表示e_i计算公式如下所示：

其中，N_g是实体组的数量。

其次，通过聚合操作，实体的表示聚合了来自邻居实体的信息，聚合操作可由CompGCN实现，CompGCN可以聚合来自邻居实体和关系的信息。聚合操作的计算公式如下所示：

其中，

是原图上实体e_i的邻居集合，r_i,j为事件类型表示，通过随机初始化得到。

之后，实体的表示被更新，计算公式如下所示：

其中，

为转换函数，由多层感知机MLP实现。

步骤8，将T-1个时刻的更新后的实体表示e′_i,1:T-1＝*e′_i,1,e′_i,2,…,e′_i,t,…,e′_i,T-1}输入到门控循环神经网络中，获得包含历史信息和邻居信息的实体表示

和

一个实体如果在某个时刻没有发生事件，该实体保持上一次发生事件的时刻的表示不变。一般来说，距离实体最后一次发生事件的时刻越远，该实体的影响越小，所以引入相应衰减系数γ_t，计算公式如下所示(为了简化标记，下述步骤的变量在不引起歧义的情况下省略下标i)：

γ_t＝sigmoid{0,-max(0,w_γ|t-t′|+b_γ)}

其中，w_γ和b_γ是学习参数，t′是该实体在t时刻之前最后一次发生事件的时刻。我们采用Sigmoid函数使衰减系数在0到1之间的合理范围内单调递减。

计算新的隐状态h_t之前，考虑到之前隐状态h_t-1的衰减，计算公式如下所示：

为了简化表示，将利用层次化图卷积获得实体或事件类型的表示过程记为f(X；Θ)，其中，Θ是总的参数。层次化耦合图卷积-门控循环神经网络的更新过程如下所示：

其中，X_t为t时刻的输入，h_t为t时刻的隐状态，r_t、z_t和

分别为t时刻的重置门、更新门和记忆单元。[·]代表串接操作，σ是激活函数，由Sigmoid实现，⊙是哈德曼积。

将T-1个时刻的更新后的实体表示e′_i,1:T-1＝*e′_i,1,e′_i,2,…,e′_i,t,…,e′_i,T-1}输入到门控循环神经网络中，通过上述更新过程，获得包含历史信息和邻居信息的实体表示

和

步骤9，将包含历史信息和邻居信息的实体表示

和

输入到多标签分类器，利用交叉熵函数计算单个样本的预测损失L_v，即该样本的真实值和模型输出的预测值之间的误差。

事件预测旨在基于历史发生事件，预测实体之间在T时刻可能发生的所有事件的概率。在此步骤中，将事件预测任务建模为多标签分类问题。在具体实现中，我们基于二分类实现多标签分类，即对每个事件类型进行二分类。

首先，将包含历史信息和邻居信息的实体表示

和

串接起来输入到最大池化层，得到T-1时刻综合的表示，

然后，将T-1时刻综合的表示Z_T-1输入全连接神经网络，计算实体s和实体o在T时刻可能发生事件的预测概率，计算公式如下：

P_T＝σ(ω(Z_T-1))

其中，ω是全连接神经网络，σ是激活函数，由Sigmoid实现。

之后，根据所有事件类型的预测结果，计算单个样本的交叉熵损失，计算公式如下所示：

其中，其中F是事件类型集合，y_i是样本的标签，y_i∈*0,1}，P_i是标签i的预测概率。

步骤10，根据批中所有样本的预测损失L，对整个模型中可学习的参数进行调整。

计算批中所有样本的预测损失，具体计算方式如下所示：

其中，L_v表示样本v的预测损失，u表示每个批中样本的数量。之后，根据预测损失L，对整个模型中可学习的参数进行调整。

步骤11，重复步骤4-10直到训练数据集的所有批次都参与了模型训练。

步骤12，重复步骤4-11直到达到指定迭代次数。

步骤13，将处理后的数据样本输入已训练好的模型，得到实体之间在未来可能发生的所有事件。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种层次感知的时态知识图谱表示学习方法，其特征在于，包括以下步骤：

(1)从对时态知识图谱中提取发生事件；

(2)根据每个时刻的发生事件构建原图，建模实体之间的历史相关性；

(3)在层次图发现网络中，利用层次映射器对原图进行处理以将实体映射到实体组，并通过隐式关系编码器，以端到端的方式推理成对实体组之间的隐式相关性；

(4)在层次化耦合图卷积-门控循环神经网络中，利用层次化图卷积对实体组和实体组之间的隐式相关性进行处理以更新每一个时刻的实体表示，并将不同时刻更新后的实体表示输入到门控循环神经网络中，获得包含历史信息和邻居信息的实体表示；

(5)通过多标签分类器对实体表示进行处理以输出实体之间未来可能发生的所有事件。

2.根据权利要求1所述的层次感知的时态知识图谱表示学习方法，其特征在于，步骤(1)中，提取的事件以四元组(s,r,o,t)的形式表示，其中，s代表头实体，r代表事件类型，o代表尾实体，t代表时间戳。ε代表实体集合，且s,o∈ε。

代表事件类型集合，且

代表时间戳集合，且

3.根据权利要求1所述的层次感知的时态知识图谱表示学习方法，其特征在于，步骤(2)中，构建的原图表示为G^primal＝(V^primal,E^primal)，其中V^primal表示原图上的节点集合，E^primal表示原图上的边集合，原图上的节点和边分别表示实体和实体之间发生的事件；

如果实体e_i到实体e_j发生过事件，则认为他们之间存在一条从实体e_i指向实体e_j的一条边，边的计算公式如下所示：

4.根据权利要求1所述的层次感知的时态知识图谱表示学习方法，其特征在于，步骤(3)中，通过层次映射器可以发现实体和实体组之间的多对多映射关系，利用层次映射器可以将实体表示e映射到实体组表示g，计算公式如下所示：

其中，e_i为实体表示，通过随机初始化得到，g_j为实体组的表示，

M_i,j表示实体i被分配到实体组j的概率，N_e为实体的数量。

5.根据权利要求1或4所述的层次感知的时态知识图谱表示学习方法，其特征在于，步骤(3)中，通过隐式关系编码器，以端到端的方式推理成对实体组之间的隐式相关性，完成层次图G^hierachical＝(V^hierachical,E^hierachical)的发现，其中V^hierachical表示层次图上的节点集合，E^hierachical表示层次图上的边集合；层次图上的节点和边分别表示实体组和实体组之间的隐式相关性；

将层次图G^hierachical建模为全连接图，利用隐式关系编码器推理成对实体组之间的隐式相关性，计算公式如下所示：

c_i,j＝ReLU(σ(g_i,g_j))

其中，g_i和g_j是实体组的表示，σ为编码函数，由多层感知机MLP实现。

6.根据权利要求1所述的层次感知的时态知识图谱表示学习方法，其特征在于，步骤(4)中，层次化图卷积包含层次图卷积层和原图卷积层，在层次图卷积中，离彼此遥远的实体通过实体组共享信息，实体组的表示通过聚合和更新操作得到，聚合操作首先通过GCN聚合邻居实体组的信息，然后通过转换函数计算隐式关系的表示，具体计算为：

其中，

为转换函数，由多层感知机MLP实现；

之后，实体组的表示被更新，计算公式如下所示：

其中，

为转换函数，由多层感知机MLP实现。

在原图卷积中，实体的表示可以通过映射操作、聚合操作和更新操作得到，首先，实体组的信息通过映射矩阵M反馈到实体，实体的表示e_i计算公式如下所示：

其次，通过聚合操作，实体的表示聚合了来自邻居实体的信息，聚合操作可由CompGCN实现，CompGCN可以聚合来自邻居实体和关系的信息，聚合操作的计算公式如下所示：

其中，

是原图上实体e_i的邻居集合，r_i,j为事件类型表示，通过随机初始化得到；

之后，实体的表示被更新，计算公式如下所示：

其中，

为转换函数，由多层感知机MLP实现。

7.根据权利要求1或6所述的层次感知的时态知识图谱表示学习方法，其特征在于，步骤(4)中，将不同时刻更新后的实体表示输入到门控循环神经网络中，获得包含历史信息和邻居信息的实体表示，包括：

计算新的隐状态h_t之前，考虑到之前隐状态h_t-1的衰减，计算公式如下所示：

其中，γ_t为衰减系数，表示为γ_t＝sigmoid{0,-max(0,w_γ|t-t′|+b_γ)}，w_γ和b_γ是学习参数，t′是该实体在t时刻之前最后一次发生事件的时刻；

为了简化表示，将利用层次化图卷积获得实体或事件类型的表示过程记为f(X；Θ)，其中，Θ是总的参数，层次化耦合图卷积-门控循环神经网络的更新过程如下所示：

其中，X_t为t时刻的输入，h_t为t时刻的隐状态，r_t、z_t和

分别为t时刻的重置门、更新门和记忆单元。[·]代表串接操作，σ是激活函数，由Sigmoid实现，⊙是哈德曼积；

将T-1个时刻的更新后的实体表示e′_i,1:T-1＝{e′_i,1,e′_i,2,…,e′_i,t,…,e′_i,T-1}输入到门控循环神经网络中，通过上述更新过程，获得包含历史信息和邻居信息的实体表示

和

8.根据权利要求7所述的层次感知的时态知识图谱表示学习方法，其特征在于，步骤(5)中，通过多标签分类器对实体表示进行处理以输出实体之间未来可能发生的所有事件，包括：

首先，将包含历史信息和邻居信息的实体表示

和

串接起来输入到最大池化层，得到T-1时刻综合的表示，

然后，将T-1时刻综合的表示Z_T-1输入全连接神经网络，计算实体s和实体o在T时刻可能发生事件的预测概率，计算公式如下：

P_T＝σ(ω(Z_T-1))

其中，ω是全连接神经网络，σ是激活函数，由Sigmoid实现。

Images