CN112231469A - 一种3drte时间知识图谱的三维旋转嵌入方法 - Google Patents

Abstract

本发明涉及一种3DRTE时间知识图谱的三维旋转嵌入方法，定义时间知识图谱TKG，给定实体集合E，关系集合R，时间戳集合T，一个TKG表示为时间事实四元组的集合，令已知的时间事实集合为G，则TKGC的目的就是在现有知识G的基础上推导出W；建立3DRTE模型，包括利用自注意力机制处理时间戳的各个片段带来的信息和利用四元数的旋转特性，将实体在融合了时间的关系的作用下，旋转建模在了三维空间中，从而获得了蕴含时间和关系的实体表示即完成模型建立；将得到的模型使用损失函数进行训练，并进行数据验证，最终实现补全时间知识图的目的。本发明通过自注意力机制处理关系和时间戳的联合序列，自适应地学习关系和时间的联合特征表示，从而更有助于补全的性能。

Description

一种3DRTE时间知识图谱的三维旋转嵌入方法

技术领域

本发明涉及知识图谱下的知识表示与推理技术,特别是一种3DRTE时间知识图谱的三维旋转嵌入方法。

背景技术

根据模型考虑时间信息的有无，可以将现有的技术分为两类：

KGC：以Trans为代表的翻译模型及其改进TranH、TranR等，这类模型通常应用简单的距离函数来衡量三元组的可靠程度。其中，最新的研究成果RotatE尤为成功，它归纳了三种常见的关系模式，并利用欧拉定理的思路将关系建模为复数平面上的旋转。之后，Zhang等人提出了QuatE的四元数嵌入模型。由于四元数比复数拥有更多的旋转自由度，QuatE在标准链路预测任务上的性能得到了很大提升。虽然QuatE是语义匹配模型，但仍然证明了其保留了其中两种模式：对称性(反对称性)、可逆性。

TKGC：一类直观且有效的方案就是在传统KGC上进行相应的时间扩展，比如，TTranE和HyTE分别在TransE和TransH上实施了时间扩展；García-Durán等人通过LSTM的方法编码出了关系和时间的交互，实现了在DistMult等模型上的扩展；RishabGoel等人借助于NLP上的共时词嵌入，提出了共时实体嵌入的扩展方法。

目前大多数的TKGC方法都是在传统嵌入模型上的扩展，这似乎是有效的。然而，传统的嵌入方法在得分函数上暴露出很大的弊端，即无法处理关系的三种基本模式。如果在传统方法上进行时序扩展，必定会影响模型的表达能力(例如TransE存在的无法处理关系对称性的问题，这仍然存在于TTransE和TA-ransE等模型中)。另外，本发明还认为时间戳的每个符号带来的增益是参差不齐的，比起使用LSTM这样的序列化计算方法，还应该让关系自适应地考虑时间戳的各个片段带来的收益，从而更有效的融合时间信息。

发明内容

有鉴于此，本发明的目的是提供一种3DRTE时间知识图谱的三维旋转嵌入方法，提出的3DRTE(Three Dimensional Rotation Time Embedding)模型能够有效地融合时间信息，给知识图补全带来更大的可靠性。

本发明采用以下方案实现：一种3DRTE时间知识图谱的三维旋转嵌入方法，包括以下步骤：

步骤S1：定义时间知识图谱TKG，给定实体集合E，关系集合R，时间戳集合T，一个TKG表示为时间事实四元组(s,r,o,t)的集合

其中s,o∈E表示实体，r∈R表示关系；令已知的时间事实集合为G，且

则TKGC(时间知识图谱补全)的目的就是在现有知识G的基础上推导出W，即在给定已知事实集合G的情况下补全出TKG的全貌W；

步骤S2：建立3DRTE模型，包括利用自注意力机制处理时间戳的各个片段带来的信息和利用四元数的旋转特性，将实体在融合了时间的关系的作用下，旋转建模在了三维空间中，从而获得实体在关系旋转下的得分函数，即完成模型建立；

步骤S3：将步骤S2中得到的模型使用损失函数进行训练，并进行数据验证，最终实现补全时间知识图的目的。

进一步地，所述步骤S2中所述利用3DRTE模型中的自注意力机制处理时间戳的各个片段带来的信息的具体内容为：

给定一个时间知识四元组(s,r,o,t)，仅考虑关系r和时间t，因此令它们的维度都是k；对于关系r，它来自关系的嵌入矩阵

其中N表示整个知识图谱中关系类型的个数；对于时间t，它是一个由l个token组成的时间戳，对每个token，都从矩阵

获得它们的表示，其中L表示知识图谱中时间token类型的个数；为了让关系自适应于每一个时间token带来的信息，引入自注意力(self-attention)机制处理关系-时间序列；自注意力通过计算每一个token对关系的影响程度，从而有选择性的融合特征；具体计算过程如下：首先，将关系和时间序列拼接作为整个计算图的输入I，即

I＝[r；t₁；t₂......；t_l] (1)

把I分别输入进三个参数矩阵W^U、W^K、W^V，经过线性变换得到查询(Query)矩阵U、键(Key)矩阵K以及值(Value)矩阵V，即

之后，为了计算每个查询矩阵U对每个键矩阵K的权重，先将K转置得到K^T，与U作矩阵乘法之后，经过softmax的激活，得到每个时间token对关系r的权重矩阵

最后，将V乘以

即得到最后的输出矩阵O，公式化为：

O＝V×softmax(K^T×U) (3)

只取O的第一行作为输出，即融合了时序信息的关系表示r_t。

进一步地，步骤S2中所述利用3DRTE模型中的四元数的旋转特性获得实体在关系旋转下的得分函数具体内容为：

从每一个维度即从1到k，k表示嵌入向量的维度，其调整为(128,256,512)，考虑实体和关系的交互；首先，头实体s和尾实体o都被表示成一组(x,y,z)坐标；对于关系r，根据公式s＝ror^-1中的几何意义，将其表示为给实体带来空间旋转的四元数Q_r∈H；令旋转角θ∈[-π,π]，则四元数表示为

施加两个假设Q_r的实部为零且a²+b²+c²＝1，使得四元数的作用对应一种特定的空间旋转，用以进一步计算

之所以第一项用的是既定θ的一半，是因为Q_r会将三维点旋转到四维空间中，为了使得到的点仍在三维，从而保持与尾实体的特征匹配，则需再施加一个

的旋转，即

则实体s在关系r作用下的三维旋转表示为

然后，通过l₂范数计算旋转后头实体坐标与尾实体坐标的距离，作为评估每一维度的得分，即

最后，一个三元组(s,r,o)的得分来自每个维度得分的和，即

对关系四元数嵌入r∈H^k的每个部分进行时间融合，即

r_t＝(f_t(p),f_t(q),f_t(u),f_t(v)) (9)

其中函数f_t:R^k→R^k表示公式(3)，将关系与时间进行融合，

分别是r的实部和虚部表示；最终的得分函数如下：

其中

表示r经过t融合后的旋转四元数嵌入。

进一步地，所述公式s＝ror^-1的几何意义为：

给定一个三元组(s,r,o)，基于这样的一个三维旋转假设：

s＝ror^-1 (11)

其中s,o∈Z^k表示实体s，o的嵌入，r∈H^k表示关系r的嵌入将实体投影到三元数的高维空间中，即实体的每一个维度都对应于空间中的一个点，并利用四元数Quaternion将关系建模为实体在空间中的旋转。

进一步地，步骤S3中所述的损失函数为：使用了RotatE中的自对抗负采样损失函数；

其中，γ是固定边界超参，σ表示sigmoid激活函数，四元组(s'_i,r,o'_i,t)是第i个负例，且

表示负采样四元组的概率分布，α是采样温度；

接着，使用Adam作为优化算法，并使用栅格检索法来寻找超参数，用以达到学习实体、关系和时间嵌入矩阵的目的；提供三个基准数据集进行链路实体预测验证，它们分别是ICEWS14、ICEWS05-15和GDELT，都划分成了训练集、验证集、测试集；对每个测试四元组，利用KG(知识图)中的全部实体，去替换其头实体或者尾实体，来产生新的四元组，遵循(filter)过滤的设置，过滤掉其中已经在训练集中出现过的四元组；利用公式(10)来对每个新四元组评分，对这些分数升序排序之后，得到每个四元组的排名；引入三项指标来评估排序结果的正确性：

平均排名MR：即每个正确实体在预测结果中的排名的平均值，越小的MR说明模型预测的准确性越高；

平均倒数排名MRR：即每个正确实体在预测结果中的排名倒数的平均值，越大的MRR越好；

前k名的命中率hit@k，取k的值为1,3,10：即每个正确实体在前k名的命中比重，越大说明结果越好；

经过损失函数训练模型后得到高评估指标的模型F之后，将模型应用于G中，遍历G中的所有实体和关系，组合成(s,r，？,t)的查询对，同时过滤掉已经出现在G中的查询，最后得到的集合作为查询集；对于查询集中的每一个查询，通过F预测出它对应的尾实体t，这样每一个查询都得到了补全，变成了四元组，将它们加入G，最后得到W。

与现有技术相比，本发明具有以下有益效果：

(1)现有的模型大多数忽略了知识的时间特性，因此往往在部分时间敏感的环境中得不到有效利用，而本发明提出的模型能够有效地融合时间信息，给知识图补全带来更大的可靠性。

(2)现有的结合了时间知识的补全模型，很多都是对传统嵌入模型的扩展。传统嵌入模型往往因其得分函数的性质使得模型本身不能有效地处理关系的基本模式(对称/反对称性、自反性、组合性)。而本发明提出的方法是基于四元数的三维旋转假设，该假设满足了这些基本关系模式。

(3)现有的一些模型的时间融合策略，往往没有考虑到时间戳各个片段带来的收益。本发明考虑到这一点，通过自注意力机制处理关系和时间戳的联合序列，自适应地学习关系和时间的联合特征表示，从而更有助于补全的性能。

附图说明

图1为本发明实施例的3DRTE的总体结构图。

图2为本发明实施例的关系-时间融合的计算过程。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供一种3DRTE时间知识图谱的三维旋转嵌入方法，包括以下步骤：

步骤S1：定义时间知识图谱TKG，给定实体集合E，关系集合R，时间戳集合T，一个TKG表示为时间事实四元组(s,r,o,t)的集合

其中s,o∈E表示实体，r∈R表示关系；令已知的时间事实集合为G，且

则TKGC的目的就是在现有知识G的基础上推导出W，即在给定已知事实集合G的情况下补全出TKG的全貌W；

步骤S2：建立3DRTE模型，包括利用自注意力机制处理时间戳的各个片段带来的信息和利用四元数的旋转特性，将实体在融合了时间的关系的作用下，旋转建模在了三维空间中，从而获得实体在关系旋转下的得分函数，即完成模型建立；

步骤S3：将步骤S2中得到的模型使用损失函数进行训练，并进行数据验证，最终实现补全时间知识图的目的。

在本实施例中，所述步骤S2中所述利用3DRTE模型中的自注意力机制处理时间戳的各个片段带来的信息的具体内容为：

给定一个时间知识四元组(s,r,o,t)，在本实施例中仅考虑关系r和时间t，因此令它们的维度都是k；对于关系r，它来自关系的嵌入矩阵

其中N表示整个知识图谱中关系类型的个数；对于时间t，它是一个由l个token组成的时间戳，对每个token，都从矩阵

获得它们的表示，其中L表示知识图谱中时间token类型的个数；为了让关系自适应于每一个时间token带来的信息，引入自注意力(self-attention)机制处理关系-时间序列；自注意力通过计算每一个token对关系的影响程度，从而有选择性的融合特征；具体计算过程如下：(如图2所示)

首先，将关系和时间序列拼接作为整个计算图的输入I，即

I＝[r；t₁；t₂......；t_l] (1)

把I分别输入进三个参数矩阵W^U、W^K、W^V，经过简单的线性变换得到查询(Query)矩阵U、键(Key)矩阵K以及值(Value)矩阵V，即

之后，为了计算每个查询矩阵U对每个键矩阵K的权重，先将K转置得到K^T，与U作矩阵乘法之后，经过softmax的激活，得到每个时间token对关系r的权重矩阵

最后，将V乘以

即得到最后的输出矩阵O，公式化为：

O＝V×softmax(K^T×U) (3)

只取O的第一行作为输出，即融合了时序信息的关系表示r_t。

在本实施例中，步骤S2中所述利用3DRTE模型中的四元数的旋转特性获得实体在关系旋转下的得分函数具体内容为：

从每一个维度即从1到k，k表示嵌入向量的维度，其调整为(128,256,512)，考虑实体和关系的交互；首先，头实体s和尾实体o都被表示成一组(x,y,z)坐标；对于关系r，根据公式s＝ror^-1中的几何意义，将其表示为给实体带来空间旋转的四元数Q_r∈H；令旋转角θ∈[-π,π]，则四元数表示为：

施加两个假设Q_r的实部为零且a²+b²+c²＝1，使得四元数的作用对应一种特定的空间旋转，用以进一步计算

之所以第一项用的是既定θ的一半，是因为Q_r会将三维点旋转到四维空间中，为了使得到的点仍在三维，从而保持与尾实体的特征匹配，则需再施加一个Q^-1的r旋转，即

则实体s在关系r作用下的三维旋转表示为

然后，通过l₂范数计算旋转后头实体坐标与尾实体坐标的距离，作为评估每一维度的得分，即

最后，一个三元组(s,r,o)的得分来自每个维度得分的和，即

对关系四元数嵌入r∈H^k的每个部分进行时间融合，即

r_t＝(f_t(p),f_t(q),f_t(u),f_t(v)) (9)

其中函数f_t:R^k→R^k表示公式(3)，将关系与时间进行融合，

分别是r的实部和虚部表示；最终的得分函数如下：

其中

表示r经过t融合后的旋转四元数嵌入。

在本实施例中，所述公式s＝ror^-1的几何意义为：

给定一个三元组(s,r,o)，基于这样的一个三维旋转假设：

s＝ror^-1 (11)

其中s,o∈Z^k表示实体s，o的嵌入，r∈H^k表示关系r的嵌入(在本实施例中，粗体符号表示相对应的嵌入表示)。将实体投影到三元数的高维空间中，即实体的每一个维度都对应于空间中的一个点，并利用四元数Quaternion将关系建模为实体在空间中的旋转。

在本实施例中，步骤S3中所述的损失函数为：使用了RotatE中的自对抗负采样损失函数；

其中，γ是固定边界超参，σ表示sigmoid激活函数，四元组(s'_i,r,o'_i,t)是第i个负例，且

表示负采样四元组的概率分布，α是采样温度；

接着，使用Adam作为优化算法，并使用栅格检索法来寻找超参数，用以达到学习实体、关系和时间嵌入矩阵的目的；提供三个基准数据集进行链路实体预测验证，它们分别是ICEWS14、ICEWS05-15和GDELT，都划分成了训练集、验证集、测试集；对每个测试四元组，利用KG(知识图)中的全部实体，去替换其头实体或者尾实体，来产生新的四元组，遵循(filter)过滤的设置，过滤掉其中已经在训练集中出现过的四元组；利用公式(10)来对每个新四元组评分，对这些分数升序排序之后，得到每个四元组的排名；引入三项指标来评估排序结果的正确性：

平均排名MR：即每个正确实体在预测结果中的排名的平均值，越小的MR说明模型预测的准确性越高；

平均倒数排名MRR：即每个正确实体在预测结果中的排名倒数的平均值，越大的MRR越好；

前k名的命中率hit@k，取k的值为1,3,10：即每个正确实体在前k名的命中比重，越大说明结果越好；

经过损失函数训练模型后得到高评估指标的模型F之后，将模型应用于G中，遍历G中的所有实体和关系，组合成(s,r，？,t)的查询对，同时过滤掉已经出现在G中的查询，最后得到的集合作为查询集；对于查询集中的每一个查询，通过F预测出它对应的尾实体t，这样每一个查询都得到了补全，变成了四元组，将它们加入G，最后得到W。

实验表明，在各项指标上都优于其他现有的模型，因此，认为本实施例能够有效补全知识图谱。

较佳的，在本实施例中，

定义(四元数Quaternion)由爱尔兰数学家哈密顿在1843年发明的数学概念。与简单的复数类似，四元数是由实数加上三个虚数单位i、j、k组成，即四元数可表示为Q＝a+bi+cj+dk，其中a,b,c,d都是实数。四元数的其他主要相关运算如下：

共轭(Conjugate)：

范数(Norm)：

乘法(Multiplication)：四元数的乘法满足各个部分之间的乘法分配律，乘法不满足交换律，但是满足结合律。四元数Q₁乘以Q₂，在几何意义上可以理解为先以Q₁的大小放缩，然后施加一种特殊的四维旋转，即

逆(Inverse)：一个非零四元数Q的逆为

显然Q·Q^-1＝1。

较佳的，本实施例为了建模关系的三种基本模式，同时又能够高效地融入知识的时间增益，本实施例提出了一种全新的时间知识嵌入模型ThreeDimensionalRotationTimeEmbedding(3DRTE)。该模型的总体结构如图1所示。首先，为了充分建模时间特定的关系，引入自注意力融合关系和时间；其次，对于每一个维度，我们将实体视为三维空间中的点，借助四元数建模关系，使得实体在关系的作用下进行三维旋转。

较佳的，在本实施例中：

①在时间知识图谱的背景下，提出了三维空间旋转的嵌入方法(3DRTE)。

②本实施例提出利用自注意力机制处理时间戳的各个片段带来的信息，它能够有效增强关系的表示。

③本实施例借助了四元数的旋转特性，将实体在融合了时间的关系的作用下，旋转建模在了三维空间中，从而获得了蕴含时间和关系的实体表示，最终达到了补全时间知识图的目的。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (5)

1.一种3DRTE时间知识图谱的三维旋转嵌入方法，其特征在于：包括以下步骤：

步骤S1：定义时间知识图谱TKG，给定实体集合E，关系集合R，时间戳集合T，一个TKG表示为时间事实四元组(s,r,o,t)的集合

其中s,o∈E表示实体，r∈R表示关系；令已知的时间事实集合为G，且

则TKGC的目的就是在现有知识G的基础上推导出W，即在给定已知事实集合G的情况下补全出TKG的全貌W；

步骤S2：建立3DRTE模型，包括利用自注意力机制处理时间戳的各个片段带来的信息和利用四元数的旋转特性，将实体在融合了时间的关系的作用下，旋转建模在了三维空间中，从而获得实体在关系旋转下的得分函数，即完成模型建立；

步骤S3：将步骤S2中得到的模型使用损失函数进行训练，并进行数据验证，最终实现补全时间知识图的目的。

2.根据权利要求1所述的一种3DRTE时间知识图谱的三维旋转嵌入方法，其特征在于：所述步骤S2中所述利用3DRTE模型中的自注意力机制处理时间戳的各个片段带来的信息的具体内容为：

给定一个时间知识四元组(s,r,o,t)，仅考虑关系r和时间t，因此令它们的维度都是k；对于关系r，它来自关系的嵌入矩阵

其中N表示整个知识图谱中关系类型的个数；对于时间t，它是一个由l个token组成的时间戳，对每个token，都从矩阵

获得它们的表示，其中L表示知识图谱中时间token类型的个数；为了让关系自适应于每一个时间token带来的信息，引入自注意力机制处理关系-时间序列；自注意力通过计算每一个token对关系的影响程度，从而有选择性的融合特征；具体计算过程如下：

首先，将关系和时间序列拼接作为整个计算图的输入I，即

I＝[r；t₁；t₂......；t_l] (1)

把I分别输入进三个参数矩阵W^U、W^K、W^V，经过线性变换得到查询矩阵U、键矩阵K以及值矩阵V，即

之后，为了计算每个查询矩阵U对每个键矩阵K的权重，先将K转置得到K^T，与U作矩阵乘法之后，经过softmax的激活，得到每个时间token对关系r的权重矩阵

最后，将V乘以

即得到最后的输出矩阵O，公式化为：

O＝V×softmax(K^T×U) (3)

只取O的第一行作为输出，即融合了时序信息的关系表示r_t。

3.根据权利要求1所述的一种3DRTE时间知识图谱的三维旋转嵌入方法，其特征在于：步骤S2中所述利用3DRTE模型中的四元数的旋转特性获得实体在关系旋转下的得分函数具体内容为：

从每一个维度即从1到k，k表示嵌入向量的维度，其调整为(128,256,512)，考虑实体和关系的交互；首先，头实体s和尾实体o都被表示成一组(x,y,z)坐标；对于关系r，根据公式s＝ror^-1中的几何意义，将其表示为给实体带来空间旋转的四元数Q_r∈H；令旋转角θ∈[-π,π]，则四元数表示为

施加两个假设Q_r的实部为零且a²+b²+c²＝1，使得四元数的作用对应一种特定的空间旋转，用以进一步计算

之所以第一项用的是既定θ的一半，是因为Q_r会将三维点旋转到四维空间中，为了使得到的点仍在三维，从而保持与尾实体的特征匹配，则需再施加一个

的旋转，即

则实体s在关系r作用下的三维旋转表示为

然后，通过l₂范数计算旋转后头实体坐标与尾实体坐标的距离，作为评估每一维度的得分，即

最后，一个三元组(s,r,o)的得分来自每个维度得分的和，即

对关系四元数嵌入r∈H^k的每个部分进行时间融合，即

r_t＝(f_t(p),f_t(q),f_t(u),f_t(v)) (9)

其中函数f_t:R^k→R^k表示公式(3)，将关系与时间进行融合，

分别是r的实部和虚部表示；最终的得分函数如下：

其中

表示r经过t融合后的旋转四元数嵌入。

4.根据权利要求3所述的一种3DRTE时间知识图谱的三维旋转嵌入方法，其特征在于：所述公式s＝ror^-1的几何意义为：

给定一个三元组(s,r,o)，基于这样的一个三维旋转假设：

s＝ror^-1 (11)

其中s,o∈Z^k表示实体s，o的嵌入，r∈H^k表示关系r的嵌入将实体投影到三元数的高维空间中，即实体的每一个维度都对应于空间中的一个点，并利用四元数Quaternion将关系建模为实体在空间中的旋转。

5.根据权利要求1所述的一种3DRTE时间知识图谱的三维旋转嵌入方法，其特征在于：步骤S3中所述的损失函数为：使用了RotatE中的自对抗负采样损失函数；

其中，γ是固定边界超参，σ表示sigmoid激活函数，四元组(s'_i,r,o'_i,t)是第i个负例，且

表示负采样四元组的概率分布，α是采样温度；

接着，使用Adam作为优化算法，并使用栅格检索法来寻找超参数，用以达到学习实体、关系和时间嵌入矩阵的目的；提供三个基准数据集进行链路实体预测验证，它们分别是ICEWS14、ICEWS05-15和GDELT，都划分成了训练集、验证集、测试集；对每个测试四元组，利用KG中的全部实体，去替换其头实体或者尾实体，来产生新的四元组，遵循过滤的设置，过滤掉其中已经在训练集中出现过的四元组；利用公式(10)来对每个新四元组评分，对这些分数升序排序之后，得到每个四元组的排名；引入三项指标来评估排序结果的正确性：

平均排名MR：即每个正确实体在预测结果中的排名的平均值，越小的MR说明模型预测的准确性越高；

平均倒数排名MRR：即每个正确实体在预测结果中的排名倒数的平均值，越大的MRR越好；

前k名的命中率hit@k，取k的值为1,3,10：即每个正确实体在前k名的命中比重，越大说明结果越好；

经过损失函数训练模型后得到高评估指标的模型F之后，将模型应用于G中，遍历G中的所有实体和关系，组合成(s,r，？,t)的查询对，同时过滤掉已经出现在G中的查询，最后得到的集合作为查询集；对于查询集中的每一个查询，通过F预测出它对应的尾实体t，这样每一个查询都得到了补全，变成了四元组，将它们加入G，最后得到W。

Images