CN111259085B - 基于关系超平面的时间感知翻译模型的关系预测方法 - Google Patents

Abstract

本发明涉及一种基于关系超平面的时间感知翻译模型的关系预测方法。该方法在实体嵌入的过程中运用关系映射的方法，兼顾实体、关系随时间演化的特点，实现了实体在不同的关系和时间下的特定角色表示、关系在不同的时间下的特定意义表示。本发明一方面解决了同一关系下由于时间冲突导致的预测错误问题，另一方面解决了复杂关系导致预测效率低下的问题。

Description

基于关系超平面的时间感知翻译模型的关系预测方法

技术领域

本发明涉及一种基于关系超平面的时间感知翻译模型的关系预测方法。

背景技术

早期用于知识库补全的翻译模型有TransE模型，TransE模型为知识图谱中每个实体和关系学习对应的向量表示，把关系向量看做是头实体向量到尾实体向量的平移，也可以将该平移称为翻译。TransE模型因为高效简单而受到欢迎，但是在学习一些复杂的多源关系时，表现力不足，建模效果较差。因此有不少研究学者基于TransE模型提出了一系列扩展模型，如TransH模型、TransR模型、TransD模型等都试图在TransE模型的缺陷上有所改进。传统的翻译嵌入模型在时序知识图谱上处理效果不佳，这些模型在预测(person,？,location)时，它们都无法正确的预测是关系wasBornIn还是关系diedIn。随即，有学者提出时间感知翻译模型，t-TransE是第一个提出学习关系时序知识的模型，例如(wasBorn→wonPrize→diedIn)，该模型学习关系之间的时间顺序，并提出一个关系时序评分函数，但是没有考虑到知识的确切时间信息；Dasgupta和García-Durán则是实现了将时间嵌入到模型当中；García-Durán提出的基于递归神经网络的模型只考虑了关系随时间的演化过程，未考虑时间对于头尾实体的有效性；Dasgupta提出的HyTE模型将一个输入的知识图分割成多个静态子图，每个子图对应一个时间戳，然后将每个子图的实体和关系投影到特定时间戳的超平面上。HyTE模型在时序知识图谱上取得了较好的效果，但是HyTE模型在头尾实体随时间的演化过程中未考虑实体在关系中的角色演变，导致在多对一，多对多的关系上预测效率低。

近年来，知识图谱嵌入领域越来越备受关注，由于存在事实仅在特定的时间点或时间段成立，开始有学者关注时序知识图谱并提出基于翻译思想的时间感知模型在时序知识图谱上做关系预测，但是这些模型未充分考虑到实体在关系和时间下的特定表示、关系在时间下的特定表示。为了提高预测准确性，本发明基于知识图谱的背景下，提出了一种基于关系超平面的时间感知翻译模型(Time-aware translation model based onrelational hyperplane，简称TTRH模型)。该模型在实体嵌入的过程中运用了关系映射的方法，兼顾实体、关系随时间演化的特点，实现了实体在不同的关系和时间下的特定角色表示、关系在不同的时间下的特定意义表示。一方面解决了同一关系下由于时间冲突导致的预测错误问题，另一方面解决了复杂关系导致预测效率低下的问题。最后我们将关系类型约束和关系时间顺序约束显式的整合该到模型的嵌入空间中来提高关系预测准确率。

发明内容

本发明的目的在于提供一种基于关系超平面的时间感知翻译模型的关系预测方法，一方面解决了同一关系下由于时间冲突导致的预测错误问题，另一方面解决了复杂关系导致预测效率低下的问题。

为实现上述目的，本发明的技术方案是：一种基于关系超平面的时间感知翻译模型的关系预测方法，在学习实体嵌入时把头实体s和尾实体o映射到对应的关系超平面w_p上得到头实体s_⊥和尾实体o_⊥，后结合开始时间维度t_b和事实的持续时间Δt，得到最后的头实体s_t和尾实体o_t，实现同一个实体在不同的时间点和不同的关系下具有不同的角色意义；在学习关系p嵌入时结合开始时间维度t_b和事实的持续时间Δt得到关系p_t，实现同一个关系下在不同的时间点具有不同的含义，提高实体间存在复杂关系下的预测性能。

在本发明一实施例中，还添加有类型约束和关系时序约束，进一步提高预测性能。

在本发明一实施例中，对于一个四元组(s,p,o,t)，其中，t＝[t_b,t_e]，该方法具体采用以下三种结合方式来将实体s和o以及关系p与开始时间维度t_b、事实的持续时间Δt结合，其中，Δt＝|t_e-t_b|：

(1)加法：先将头尾实体映射到关系超平面上，然后通过加上时间维度的开始时间向量，并加上时间间隔向量，得到最后的头尾实体向量，关系则是直接加上时间维度的开始时间向量和时间间隔向量，得到最后的关系向量：

p_t＝p+t_b+Δt

(2)减法：:先将头尾实体映射到关系超平面上，然后通过减去时间维度的开始时间向量，再加上时间间隔向量，得到最后的头尾实体向量，关系则是直接减去时间维度的开始时间向量，然后加上时间间隔向量，得到最后的关系向量：

p_t＝p-t_b+Δt

(3)乘法：先将头尾实体映射到关系超平面上，后通过乘以时间维度的开始时间向量，再加上时间间隔向量，得到最后的头尾实体向量，关系则是直接乘以时间维度的开始时间向量，然后加上时间间隔向量，得到最后的关系向量：

p_t＝pt_b+Δt。

在本发明一实施例中，在一个有效的时间段里面，一个事实可以映射为s_t+p_t≈o_t，结合投影公式和评分公式，可得三种方式的具体评分公式分别如下：

加法方式的评分公式：

减法方式的评分公式：

乘法方式的评分公式：

||w_p||₂＝1，||Δt||₂＝1

对于正例四元组，f(s,p,o,t)得分越小越好，对于负例四元组，f(s,p,o,t)得分越大越好。

在本发明一实施例中，将类型约束应用于时序知识图谱的四元组当中，对于属性A和关系R的负例采样方式具体如下：

(1)属性类型约束负例采样，即谓语p∈A，在构建负例的时候则按照Type-constrained TransE模型的方法，从Domain_p域随机选取一个，用来替换原四元组的头实体构造负例；或通过从Range_p域的实体随机选取一个，用来替换原四元组的尾实体构造负例；对应的负例集合公式如下：

(2)关系类型约束负例采样，即谓语p∈R，在构建负例时从Domain_p域以外的实体随机选取一个，用来替换原四元组的头实体构造负例；或通过从Range_p域以外的实体随机选取一个，用来替换原四元组的尾实体构造负例；对应的负例集合公式如下：

(3)无类型约束负例采样，构造负例在替换头尾实体时从实体集ε中采样，对应的负例集合公式如下：

S′_t＝{(s',p,o,t)|s'∈ε}∪{(s,p,o',t)|o'∈ε}

正例集合S_t则是从知识图谱中观察到的带有时间注解的正例四元组集合。

在本发明一实施例中，为了区别正例四元组和负例四元组来学习嵌入，使用Marginbased loss来实现优化目标：

上式为损失函数，其中中，γ＞0，是防止过拟合的一个边缘超参数，用来分离正例和负例；在损失函数当中可以看出模型训练的时候希望正例四元组的损失函数越小，负例四元组的损失函数值越大，在训练过程中不断加大正例和负例的距离。

在本发明一实施例中，将关系时序约束应用于时序知识图谱的四元组当中，关系时序的评分函数定义过程如下：

给定任意一个正例四元组(s_i,p_k,o_j,t_kb)∈S_t，可以找到与s_i相关的时间四元组(s_i,p_l,o_j,t_lb)∈S_t，这两个事实共享一个头实体s_i，且其时序关系对为<p_k,p_l>；为了捕获关系的时序性，进一步定义了时间演化向量Δτ，也可以称为时序关系对的时间间隔，具体定义如下：

Δτ＝|t_kb-t_lb|

其中

d是关系维度；先验关系可以通过时间演化向量Δτ得到后验关系；

如果t_kb＜t_lb，那么对应的正例时序关系对为y⁺＝<p_k,p_l>，对应的负例时序关系对为y^-＝<p_k,p_l>^-1＝<p_l,p_k>，在训练优化时，要求正例时序关系对得分比负例时序关系对低；因此，定义了如下时序评分函数：

g(<p_k,p_l>)＝||p_kt_kbΔτ-p_lt_lb||

当时间顺序关系按照时间顺序排列时，预期得分较低，反之，则预期得分较高。

在本发明一实施例中，关系时序的损失函数定义过程如下：

为了使得嵌入空间与基于关系超平面的时间感知翻译模型相兼容，对四元组的评分函数依照基于关系超平面的时间感知翻译模型的评分函数，四元组的评分函数与时序评分函数的联合评分函数如下：

其中γ、γ₁和λ均是超参数；第一项使得生成的嵌入空间与基于关系超平面的时间感知翻译模型观察到的四元组相兼容，第二要求该空间在时间上保持一致和正确；超参数λ在这两项中进行了权衡；并采用随机梯度下降来解决最小化问题；

一个正例四元组(s_i,p_k,o_j,t_kb)∈S_t，其相关的正例时序关系对集合定义如下：

Ω_si,tb＝{<p_k,p_l>|(s_i,p_k,o_j,t_kb)∈Δt,(s_i,p_l,o_m,t_lb)∈Δt,t_kb＜t_lb}

∪{<p_l,p_k>|(s_i,p_k,o_j,t_kb)∈Δt,(s_i,p_l,o_m,t_lb)∈Δt,t_kb＞t_lb}

其中关系p_k和关系p_l共享一个头实体s_i；

表示逆的正例关系对，即负例关系对；并且在实验中约束||s_i||₂≤1、||o_i||₂≤1、||p_k||₂≤1、||p_l||₂≤1、||t_kb||₂≤1和||t_lb||₂≤1来避免发生过度拟合的情况。

在本发明一实施例中，该方法应用于城市安全风险管控中，具体用于风险数据预测。

相较于现有技术，本发明具有以下有益效果：

1、本发明能够学习实体在不同的关系和时间下的特定向量表示，不仅如此，并学习关系在时间下的特定向量表示，本发明能够更好地处理复杂关系；

2.、本发明在模型中添加了关系类型约束，提出了一种负例构造方法，增强对嵌入空间中相似信息的判断能力；

3、本发明提出了一种的关系时序函数，并在该函数中融入了事实的确切发生时间信息，该方法既保留了原嵌入模型的优势，又使得模型预测更加准确。

附图说明

图1为本发明方法框架图。

图2为本发明时序关系演化图。

图3为本发明方法应用软件架构图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提供了一种基于关系超平面的时间感知翻译模型的关系预测方法，在学习实体嵌入时把头实体s和尾实体o映射到对应的关系超平面w_p上得到头实体s_⊥和尾实体o_⊥，后结合开始时间维度t_b和事实的持续时间Δt，得到最后的头实体s_t和尾实体o_t，实现同一个实体在不同的时间点和不同的关系下具有不同的角色意义；在学习关系p嵌入时结合开始时间维度t_b和事实的持续时间Δt得到关系p_t，实现同一个关系下在不同的时间点具有不同的含义，提高实体间存在复杂关系下的预测性能。还添加有类型约束和关系时序约束，进一步提高预测性能。

以下为本发明的具体实现过程。

本发明方法提出了一个简称为TTRH的模型，如图1所示，它在学习实体嵌入时把头实体s和尾实体o映射到对应的关系超平面w_p上得到头实体s_⊥和尾实体o_⊥，后结合开始时间维度t_b和事实的持续时间Δt，得到最后的头实体s_t、和尾实体o_t，实现同一个实体在不同的时间点和不同的关系下具有不同的角色意义。学习关系p嵌入时结合开始时间维度t_b和事实的持续时间Δt得到关系p_t，实现同一个关系下在不同的时间点具有不同的含义，解决实体间存在复杂关系而导致预测性能不佳的问题。此外，我们在该模型上添加了关系类型约束和关系时序约束，通过两种约束方式进一步提高模型的性能。

1、时间结合方式

时间是造成一对多、多对多、多对一关系的主要来源。例如某人在一个时间段之内可能身兼多职(即一个四元组可以在一个时间点与不同的尾实体相关联)，又或者某人在时间的演变下，发生“出生”到“工作”等关系状态的演化。面对以上一系列情况，是TTRH模型侧重解决的问题。在我们的模型之中，在学习实体和关系表示的时候同时考虑关系映射和时间维度从而提高预测的准确性。

对于一个四元组(s,p,o,t)，我们把实体s和o投影到对应的特定的关系超平面w_p上，后结合对应的时间维度；关系p则是直接结合对应的时间维度。对于四元组中的时间t_b和t_e(若事实仅发生在一个时间点，没有结束时间，则t_e＝t_b)，我们提取时间中的年份来计算。为了更全面地结合事实时间维度的开始时间t_b，提出了三种结合策略，分别是加法、减法、乘法方式。最后加上事实的持续时间间隔Δt(Δt＝|t_e-t_b|，为事实的结束时间减去事实的开始时间)。

加法(+):先将头尾实体映射到关系超平面上，然后通过加上时间维度的开始时间向量，并加上时间间隔向量，得到最后的头尾实体向量，关系则是直接加上时间维度的开始时间向量和时间间隔向量，得到最后的关系向量：

p_t＝p+t_b+Δt

减法(-):先将头尾实体映射到关系超平面上，然后通过减去时间维度的开始时间向量，再加上时间间隔向量，得到最后的头尾实体向量，关系则是直接减去时间维度的开始时间向量，然后加上时间间隔向量，得到最后的关系向量：

p_t＝p-t_b+Δt

乘法(*):先将头尾实体映射到关系超平面上，后通过乘以时间维度的开始时间向量，再加上时间间隔向量，得到最后的头尾实体向量，关系则是直接乘以时间维度的开始时间向量，然后加上时间间隔向量，得到最后的关系向量：

p_t＝pt_b+Δt

头尾实体s和o通过三种方法进行一系列操作计算使得头尾实体在不同的关系和不同的时间下具有特定的向量表示。关系p通过三种方法进行一系列计算使得关系在不同的时间内具有特定的向量表示。这三种方法均考虑了开始时间维度和事实有效时间间隔的重要性，并提高了使用关系映射来建模复杂关系的灵活性。

TTRH模型期待在一个有效的时间段里面，一个事实可以映射为s_t+p_t≈o_t，因此TTRH模型的评分公式如下：

f(s,p,o,t)＝||s_t+p_t-o_t||

以加法策略为例，结合投影公式和评分公式，可得具体评分公式如下：

同理可得，对应的减法具体评分公式如下：

同理可得，对应的乘法具体评分公式如下：

对于正例四元组，f(s,p,o,t)得分越小越好，对于负例四元组，其得分越大越好。其中，为了防止出现过拟合现象，约束||w_p||₂＝1，||Δt||₂＝1。

2、类型约束

在缺乏关系类型约束的情况下，会发生在预测这个事实(person,wasBornIn,ciry)的关系时，错误的将关系预测为isMarriedTo关系，在本章节当中，我们将关系类型约束扩展到我们提出的时间感知模型当中。

在知识图中，有些谓语p表示实体的属性，有些谓语p表示实体之间的关系(其中p∈R，R为关系集合)，例如“性别、国籍”为属性，“同学，师生”为关系。现有的大多数知识表示模型对所有关系一视同仁，在建模一对多、多对一的关系时往往预测精度低下，这一对多、多对一的关系大多由属性组成。因此本文中的类型约束将把关系和属性区别处理，分别使用R和A表示。

在Type-constrained TransE模型中认为，每个关系都有其对应的Domain域和Range域，其中Domain域存放观察到的谓语p相关的头实体，Range域存放观察到的谓语p相关的尾实体。该模型在构造负例时，三元组在替换头实体的时候从三元组关系对应的Domain域取值，在替换尾实体的时候从三元组关系对应的Range域取值。例如isMarriedTo这个关系在构造负例时，替换头尾实体从Person类的实例中取值。

在本小节当中认为type-constrained TransE模型存在不足之处。例如训练三元组(Cindy,playsFor,Football)，其中playsFor∈R，关系playsFor对应的Range域是Ball类，这个事实构造负例时，从Ball类中取值替换尾实体构成负例三元组(Cindy,playsFor,Basketball)，这个构造的负例三元组在现实世界中也有可能为真。从本文应用系统的风险数据知识图谱层面举例来说，三元组(食品安全事故，导致后果，生产经营受影响)这个事实构造负例时替换尾实体(食品安全事故，导致后果，企业声誉受影响)，这个构造的负例三元组完全有可能为真。适用于type-constrained TransE模型的约束应在属性关系上做约束。例如gender∈A，事实(Tom,gender,male)在构造负例时替换尾实体为(Tom,gender,female)，在属性层面上，我们可以认为这个构造三元组是负例。

将类型约束应用到时序知识图谱的四元组当中，对于属性A和关系R的负例采样方式具体如下：

属性类型约束负例采样，即谓语p∈A，在构建负例的时候则按照Type-constrained TransE模型的方法，从Domain_p域随机选取一个，用来替换原四元组的头实体构造负例；或通过从Range_p域的实体随机选取一个，用来替换原四元组的尾实体构造负例；对应的负例集合公式如下：

关系类型约束负例采样，即谓语p∈R，在构建负例时从Domain_p域以外的实体随机选取一个，用来替换原四元组的头实体构造负例；或通过从Range_p域以外的实体随机选取一个，用来替换原四元组的尾实体构造负例；对应的负例集合公式如下：

无类型约束负例采样，构造负例在替换头尾实体时从实体集ε中采样，对应的负例集合公式如下：

S′_t＝{(s',p,o,t)|s'∈ε}∪{(s,p,o',t)|o'∈ε}

正例集合S_t则是从知识图谱中观察到的带有时间注解的正例四元组集合。

3、损失函数

为了区别正例四元组和负例四元组来学习嵌入，使用Margin based loss来实现优化目标：

上式为损失函数，其中中，γ＞0，是防止过拟合的一个边缘超参数，用来分离正例和负例；在损失函数当中可以看出模型训练的时候希望正例四元组的损失函数越小，负例四元组的损失函数值越大，在训练过程中不断加大正例和负例的距离。在算法的每次主要迭代中，首先对实体的嵌入向量进行归一化。然后，从训练集中抽样作为小批量的训练四元组。最后通过采用具有恒定学习速率的随机梯度下降法来更新向量，该算法基于其在验证集上的性能而停止。

4、关系时序约束

时间敏感的事实对应的发生时间可能指示事实的特殊时间顺序和时间敏感关系。例如针对同一个实体，(Einstein,wasBornIn,Ulm)这个三元组事实发生在1879年，(Einstein,wonPrize,Nobel Prize)发生在1922年，(Einstein,diedIn,Princeton)发生在1955年。可以从这个三个事实当中推断出时间敏感关系的时间顺序：wasBornIn→wonPrize→diedIn。如图2所示，有两个事实共享一个头实体：(s,p₁,o₁,[t_1b,t_1e])和(s,p₂,o₂,[t_2b,t_2e])，并且这两个事实有时间约束t_1b＜t_2b。对于时间敏感关系，其中大部分事实仅发生在某一个时间点，因此不考虑结束时间t_ie。根据第三章提出的关系随时间演变的思想，在子图(a)中p₁关系在对应的发生时间t_1b的演变下成为p₁t_1b关系，在子图(b)中p₂关系在对应的发生时间t_2b的演变下成为p₂t_2b关系。在子图(c)p₁t_1b关系在两个事实发生的时间间隔Δτ的演化之后得到的关系表示向量近似于p₂t_2b关系。用时间间隔Δτ来捕获关系之间的时序信息。

例如：关系p₁＝wasBornIn发生在关系p₂＝diedIn之前，关系p₁和关系p₂首先各自乘以对应的事实发生时间得出其特定的分布式表示，然后关系p₁在对应时间下的分布式表示通过时间间隔Δτ的投影得出关系p₁t_1bΔτ，这个关系p₁t_1bΔτ近似于p₂t_2b关系，p₁t_1bΔτ≈p₂t_2b，但是p₁t_1bΔτ≠p₂t_2b。

5、关系时序评分函数

为了更好的建模知识图谱的演化过程，我们假设时序关系之间相互关联，并在时间维度上有一个演化过程。例如，对于一个人存在这样的一个关系的时序演变wasBornIn→graduatedFrom→diedIn。在时间维度上，wasBornIn关系可以演化成为graduatedFrom关系和diedIn关系，但是diedIn关系不能演化成为wasBornIn关系。为了捕获时间顺序，我们定义一对共享一个头实体的时序关系为时序关系对，例如<wasBornIn,diedIn>，将发生在前面的wasBornIn关系称为先验关系，发生在后面的diedIn关系称为后验关系。定义<先验关系，后验关系>为时序关系对的正例，将<后验关系，先验关系>看作是时序关系对的负例。

给定任意一个正例四元组(s_i,p_k,o_j,t_kb)∈S_t，可以找到与s_i相关的时间四元组(s_i,p_l,o_j,t_lb)∈S_t，这两个事实共享一个头实体s_i，且其时序关系对为<p_k,p_l>；为了捕获关系的时序性，进一步定义了时间演化向量Δτ，也可以称为时序关系对的时间间隔，具体定义如下：

Δτ＝|t_kb-t_lb|

其中

d是关系维度；先验关系可以通过时间演化向量Δτ得到后验关系；

如果t_kb＜t_lb，那么对应的正例时序关系对为y⁺＝<p_k,p_l>，对应的负例时序关系对为y^-＝<p_k,p_l>^-1＝<p_l,p_k>，在训练优化时，要求正例时序关系对得分比负例时序关系对低；因此，定义了如下时序评分函数：

g(<p_k,p_l>)＝||p_kt_kbΔτ-p_lt_lb||

当时间顺序关系按照时间顺序排列时，预期得分较低，反之，则预期得分较高。

6、关系时序损失函数

为了使得嵌入空间与基于关系超平面的时间感知翻译模型TTRH相兼容，对四元组的评分函数依照基于关系超平面的时间感知翻译模型的评分函数，四元组的评分函数与时序评分函数的联合评分函数如下：

其中γ、γ₁和λ均是超参数；第一项使得生成的嵌入空间与基于关系超平面的时间感知翻译模型观察到的四元组相兼容，第二要求该空间在时间上保持一致和正确；超参数λ在这两项中进行了权衡；并采用随机梯度下降来解决最小化问题；

一个正例四元组(s_i,p_k,o_j,t_kb)∈S_t，其相关的正例时序关系对集合定义如下：

Ω_si,tb＝{<p_k,p_l>|(s_i,p_k,o_j,t_kb)∈Δt,(s_i,p_l,o_m,t_lb)∈Δt,t_kb＜t_lb}

∪{<p_l,p_k>|(s_i,p_k,o_j,t_kb)∈Δt,(s_i,p_l,o_m,t_lb)∈Δt,t_kb＞t_lb}

其中关系p_k和关系p_l共享一个头实体s_i；

表示逆的正例关系对，即负例关系对；并且在实验中约束||s_i||₂≤1、||o_i||₂≤1、||p_k||₂≤1、||p_l||₂≤1、||t_kb||₂≤1和||t_lb||₂≤1来避免发生过度拟合的情况。

7、本发明在风险领域的应用

在本发明一实施例中，该方法应用于城市安全风险管控中，具体用于风险数据预测。

本发明方法应用于《城市安全风险管控系统》，进一步实现对带有时间注解的风险数据进行关系预测和实体预测，进而达到风险数据知识图谱边补全的目的。通过该模型使得监控人员对风险数据有更好的认识和把握，从而做出更好的决策。

在该系统上，主要分为风险采集模块和知识图谱模块，整体框架图如图3所示。

在风险采集模块上，采用SpringMVC框架将表现层、业务逻辑层和数据分开使得Web应用更易于维护和修改，进一步实现“高内聚低耦合”的思想。表现层为用户提供交互式操作界面，在技术上使用Twitter推出的一个前端开发的开源工具包Bootstrap和谷歌推出的一款前端框架AngularJS。业务层主要处理业务逻辑，处于数据层和表现访问层之间，起到了数据交换承上启下的作用。数据访问层也可以称为持久层，主要实现数据的读写。基础数据和交互数据存储在SQL Server关系型数据库。

在知识图谱模块上，利用SQL Server数据库存储风险知识图谱，同时利用D3.js插件在页面实现知识图谱的可视化展示。在该模块上嵌入了知识表示模型TRRH模型，其中数据集从SQL Server数据库中读取，训练好的数据模型存储在系统指定的文件夹当中。当用户进行关系预测和实体预测时，系统从指定的数据模型存储文件夹中获取相应的数据模型进行预测。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (7)

1.一种基于关系超平面的时间感知翻译模型的关系预测方法，其特征在于，该方法应用于城市安全风险管控系统中，实现对带有时间注解的风险数据进行关系预测和实体预测，达到风险数据知识图谱边补全的目的；城市安全风险管控系统分为风险采集模块和知识图谱模块，在知识图谱模块上，利用SQL Server数据库存储风险知识图谱，同时利用D3.js插件在页面实现知识图谱的可视化展示；在知识图谱模块上嵌入了知识表示模型TRRH模型，其中数据集从SQL Server数据库中读取，训练好的数据模型存储在城市安全风险管控系统指定的文件夹当中；当用户进行关系预测和实体预测时，城市安全风险管控系统从指定的文件夹中获取相应的数据模型进行预测；在学习实体嵌入时把头实体s和尾实体o映射到对应的关系超平面w_p上得到头实体s_⊥和尾实体o_⊥，后结合开始时间维度t_b和事实的持续时间Δt，得到最后的头实体s_t和尾实体o_t，实现同一个实体在不同的时间点和不同的关系下具有不同的角色意义；在学习关系p嵌入时结合开始时间维度t_b和事实的持续时间Δt得到关系p_t，实现同一个关系下在不同的时间点具有不同的含义，提高实体间存在复杂关系下的预测性能；

对于一个四元组(s,p,o,t)，其中，t＝[t_b,t_e]，该方法具体采用以下三种结合方式来将实体s和o以及关系p与开始时间维度t_b、结束时间维度t_e、事实的持续时间Δt结合，其中，Δt＝|t_e-t_b|：

(1)加法：先将头尾实体映射到关系超平面上，然后通过加上时间维度的开始时间向量，并加上时间间隔向量，得到最后的头尾实体向量，关系则是直接加上时间维度的开始时间向量和时间间隔向量，得到最后的关系向量：

p_t＝p+t_b+Δt

(2)减法：先将头尾实体映射到关系超平面上，然后通过减去时间维度的开始时间向量，再加上时间间隔向量，得到最后的头尾实体向量，关系则是直接减去时间维度的开始时间向量，然后加上时间间隔向量，得到最后的关系向量：

p_t＝p-t_b+Δt

(3)乘法：先将头尾实体映射到关系超平面上，后通过乘以时间维度的开始时间向量，再加上时间间隔向量，得到最后的头尾实体向量，关系则是直接乘以时间维度的开始时间向量，然后加上时间间隔向量，得到最后的关系向量：

p_t＝pt_b+Δt。

2.根据权利要求1所述的基于关系超平面的时间感知翻译模型的关系预测方法，其特征在于，还添加有类型约束和关系时序约束，进一步提高预测性能。

3.根据权利要求1所述的基于关系超平面的时间感知翻译模型的关系预测方法，其特征在于，在一个有效的时间段里面，一个事实可以映射为s_t+p_t≈o_t，结合投影公式和评分公式，可得三种方式的具体评分公式分别如下：

加法方式的评分公式：

减法方式的评分公式：

乘法方式的评分公式：

||w_p||₂＝1，||Δt||₂＝1

对于正例四元组，f(s,p,o,t)得分越小越好，对于负例四元组，f(s,p,o,t)得分越大越好。

4.根据权利要求1所述的基于关系超平面的时间感知翻译模型的关系预测方法，其特征在于，将类型约束应用于时序知识图谱的四元组当中，对于属性A和关系R的负例采样方式具体如下：

(1)属性类型约束负例采样，即谓语p∈A，在构建负例的时候则按照Type-constrainedTransE模型的方法，从Domain_p域随机选取一个，用来替换原四元组的头实体构造负例；或通过从Range_p域的实体随机选取一个，用来替换原四元组的尾实体构造负例；对应的负例集合公式如下：

(2)关系类型约束负例采样，即谓语p∈R，在构建负例时从Domain_p域以外的实体随机选取一个，用来替换原四元组的头实体构造负例；或通过从Range_p域以外的实体随机选取一个，用来替换原四元组的尾实体构造负例；对应的负例集合公式如下：

(3)无类型约束负例采样，构造负例在替换头尾实体时从实体集ε中采样，对应的负例集合公式如下：

S′_t＝{(s',p,o,t)|s'∈ε}∪{(s,p,o',t)|o'∈ε}

正例集合S_t则是从知识图谱中观察到的带有时间注解的正例四元组集合。

5.根据权利要求4所述的基于关系超平面的时间感知翻译模型的关系预测方法，其特征在于，为了区别正例四元组和负例四元组来学习嵌入，使用Margin based loss来实现优化目标：

上式为损失函数，其中，γ＞0，是防止过拟合的一个边缘超参数，用来分离正例和负例；在损失函数当中可以看出模型训练的时候希望正例四元组的损失函数越小，负例四元组的损失函数值越大，在训练过程中不断加大正例和负例的距离。

6.根据权利要求1所述的基于关系超平面的时间感知翻译模型的关系预测方法，其特征在于，将关系时序约束应用于时序知识图谱的四元组当中，关系时序的评分函数定义过程如下：

给定任意一个正例四元组(s_i,p_k,o_j,t_kb)∈S_t，可以找到与s_i相关的时间四元组(s_i,p_l,o_j,t_lb)∈S_t，这两个事实共享一个头实体s_i，且其时序关系对为<p_k,p_l>；为了捕获关系的时序性，进一步定义了时间演化向量Δτ，也可以称为时序关系对的时间间隔，具体定义如下：

Δτ＝|t_kb-t_lb|

其中

d是关系维度；先验关系可以通过时间演化向量Δτ得到后验关系；

如果t_kb＜t_lb，那么对应的正例时序关系对为y⁺＝<p_k,p_l>，对应的负例时序关系对为y^-＝<p_k,p_l>^-1＝<p_l,p_k>，在训练优化时，要求正例时序关系对得分比负例时序关系对低；因此，定义了如下时序评分函数：

g(<p_k,p_l>)＝||p_kt_kbΔτ-p_lt_lb||

当时间顺序关系按照时间顺序排列时，预期得分较低，反之，则预期得分较高。

7.根据权利要求6所述的基于关系超平面的时间感知翻译模型的关系预测方法，其特征在于，关系时序的损失函数定义过程如下：

为了使得嵌入空间与基于关系超平面的时间感知翻译模型相兼容，对四元组的评分函数依照基于关系超平面的时间感知翻译模型的评分函数，四元组的评分函数与时序评分函数的联合评分函数如下：

其中γ、γ₁和λ均是超参数；第一项使得生成的嵌入空间与基于关系超平面的时间感知翻译模型观察到的四元组相兼容，第二项 要求该空间在时间上保持一致和正确；超参数λ在这两项中进行了权衡；并采用随机梯度下降来解决最小化问题；

一个正例四元组(s_i,p_k,o_j,t_kb)∈S_t，其相关的正例时序关系对集合定义如下：

其中关系p_k和关系p_l共享一个头实体s_i；

表示逆的正例关系对，即负例关系对；并且在实验中约束||s_i||₂≤1、||o_i||₂≤1、||p_k||₂≤1、||p_l||₂≤1、||t_kb||₂≤1和||t_lb||₂≤1来避免发生过度拟合的情况。

Images