CN116432750A - 一种基于盒嵌入的少样本知识图谱补全方法 - Google Patents

Abstract

本发明公开了一种基于盒嵌入的少样本知识图谱补全方法，包括：首先将实体建模为盒空间中的盒子，使用盒间交集显式捕获实体间的相关特征，以突出重要邻居特征，去除无关特征；其次利用对偶注意网络中的位置编码器和通道编码器来分别捕获头尾实体之间的上下文关系语义和参考三元组之间的公共关系语义；最后应用元学习框架对少样本关系进行训练。本发明通过实体盒交集来捕获邻居实体中与当前任务相关的邻居信息，从而其提取重要特征，并通过关系间的相似值大小来度量邻居特征的重要程度，应用注意力机制对各邻居信息进行聚合；应用对偶注意网络分别从上下文层面和三元组层面来编码参考集中的关系特征。

Description

一种基于盒嵌入的少样本知识图谱补全方法

技术领域

本发明属于知识图谱补全领域，特别是涉及一种基于盒嵌入的少样本知识图谱补全方法。

背景技术

传统的知识图谱补全模型虽然在各种基准数据集上取得了较好的结果，但是均需要大量的关系事实来训练模型，少样本知识图谱补全技术相较于传统的知识图谱补全技术，能够更好的适应现实需求，不仅可以有效减少人工样本的处理工作，还可以使模型快速适应层出不穷的新样本，因此，少样本知识图谱补全问题受到大量研究人员的关注，成为知识图谱领域的一个重要研究方向。

虽然现有的少样本知识图谱补全模型取得了较好的成功，但是它们仍然存在一些缺陷：(1)在邻居编码模块，现有的方法将整个邻居实体特征进行聚合，而没有剔除邻居实体中与当前学习任务无关的特征信息。以图2(a)为例，对于参考三元组(CATL,produce,Perovskite Solar Cells)，邻居实体New Energy中包含的wind energy、geothermalenergy等特征均为与当前任务无关的冗余特征。特征选择研究表明，对象中存在的无关特征会降低模型的性能。因此，如何有效地提取邻居实体中的相关特征，忽略邻居信息中的无关特征是需要解决的第一个挑战。(2)在少样本关系表示模块，现有的方法考虑从三元组层面捕获参考集中参考三元组之间的公共关系信息，忽略了同一个少样本关系在不同上下文语境下的不同关系语义。以图2(b)为例，少样本关系produce在三个不同的参考三元组中分别表示出manufacture、educate、create三种不同的关系语义，若是只考虑该关系在参考集中的公共语义，将使得捕获的少样本关系语义不够完整。因此，如何同时从上下文层面和三元组层面来编码参考集中的少样本关系特征是需要解决的第二个挑战。

发明内容

本发明的目的是提供一种基于盒嵌入的少样本知识图谱补全方法，以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了一种基于盒嵌入的少样本知识图谱补全方法，包括：

获取少样本关系参考集中的三元组集合，将三元组中的实体映射到盒空间中，使用盒嵌入表征每个实体特征；

采用盒交集获取邻居实体与尾实体的相关邻居特征，利用基于关系感知的注意力机制来分别聚合头实体与尾实体的相关邻居特征，获得头尾实体对的增强表示向量；

对所述增强表示向量进行拼接操作，获得特征嵌入矩阵；构建对偶注意网络，将所述特征嵌入矩阵输入所述对偶注意网络中，获得编码特征，并对编码特征进行融合获得融合特征；应用注意力机制聚合实体隐藏状态，结合融合特征获得关系表示；

采用元学习方法对所述关系表示进行优化，直至达到优化目标，实现少样本知识图谱补全。

可选的，获取交叉特征的过程包括：将邻居实体盒与尾实体盒的交集区域进行公式化，公式如下：

其中，ζ为Gumbel分布的方差，邻居实体与尾实体的相关特征表示为交叉盒最小点和最大点的拼接，即

且/>

可选的，聚合邻居特征的过程包括：

采用双线性函数作为度量函数，计算获得邻居关系与少样本关系的相似度，并进行归一化操作，计算获得每个邻居的注意力权重；

应用注意力机制，分别聚合头实体与尾实体的所有邻居特征，获得头实体与尾实体的邻居信息。

可选的，注意力权重计算方式为：

φ(r_i，r)＝r_iWr+b#

式中，r_i和r分别为邻居关系和少样本关系的预嵌入向量，W和b均为可训练参数，α_i表示第i个邻居的注意力权重，

为实体的一跳邻居。

可选的，获得增强表示的过程还包括：将邻居信息耦合到实体中，获得头实体与尾实体的增强表示，其中，耦合过程采用以下公式：

h′＝ReLU(W₁h+W₂h_n)#

其中，ReLU(·)为激活函数，W₁和W₂均为可训练参数，h为头实体的预嵌入表示。

可选的，所述对偶注意网络包括位置注意编码器和通道注意编码器，所述位置注意编码器在实体维度采用自注意力机制来建模头实体和尾实体之间上下文关系语义，所述通道注意编码器在通道维度使用自注意力机制来建模参考三元组之间的公共关系语义。

可选的，对所述关系表示进行优化的过程包括：设置三元组的得分函数，根据所述得分函数构建损失函数，基于元学习训练策略，利用所述损失函数对所述关系表示进行优化。

可选的，所述得分函数公式如下：

f_r(h，t)＝(|h+r-t|)^TW_r(|h+r-t|)

其中h和t分别为头实体和尾实体的嵌入表示，r是通过参考集学习到的少样本关系表示，|·|表示各维度的绝对值，W_r是对应于自适应度量的特定于关系的对称非负权重矩阵。

可选的，所述损失函数表示为：

其中[*]₊＝max(0，*)，γ是一个超参数，决定了正采样和负采样的界限，(h_i，r，t′_i)是负采样S′_r中的三元组，

为所有的少样本三元组集合。

可选的，所述优化目标由所述得分函数和所述损失函数构成，优化目标为查询集的计算值最小化。

本发明的技术效果为：

(1)本发明设计了一个新颖的基于盒空间的邻居编码模块来编码邻居实体。该模块应用实体盒交集来捕获实体间的相关特征，从而过滤与当前任务无关的邻居特征信息，最后使用注意力机制聚合邻居信息，以获取高质量的邻居信息。

(2)本发明应用对偶注意网络分别从上下文层面和三元组层面来编码参考集中的关系语义，其中位置注意编码器能够捕获参考三元组中头实体和尾实体之间的上下文关系语义，通道注意编码器能够捕获参考集中各参考三元组之间的公共关系语义。

(3)本发明在少样本知识图谱补全任务的两个标准数据集上进行链接预测实验，相比于其他模型，在MRR指标上分别取得了6.4％和7.2％的提升。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例中的流程示意图；

图2为本发明实施例中的现有的少样本知识图谱补全模型使用示例，图(a)为现有模型邻居编码模块问题示例，图(b)为现有模型少样本关系表示模块问题示例。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

如图1所示，本实施例中提供一种基于盒嵌入的少样本知识图谱补全方法，包括：

盒嵌入最早由Vilnis等人引入，并使用轴对齐超矩阵来表示一个元素在盒空间的嵌入。盒嵌入由两种不同的表示形式，第一种形式是将实体e的盒嵌入表示成盒最小值点e^min与盒最大值点e^max的组合[e^min，e^max]，另一种形式是将实体e的盒嵌入表示成盒中心向量e^cen与盒偏移向量e^off的组合[e^cen，e^off]，两种组合之间存在着如下转换关系：

同时，上述公式需要满足如下约束：

其中i∈{0，1，...，d-1}，d表示盒嵌入维度。

此外，实体u和实体v之间的盒交集可以通过如下公式计算：

其中，max(·，·)和min(·，·)是分别计算两个向量元素级最大最小值的函数，[q^min，q^max]为两实体交叉区域的盒嵌入表示。

整个模型可以分为实体盒嵌入、基于盒嵌入的邻居编码器、基于对偶注意网络的少样本关系表示和基于MAML的训练策略四个模块。其中，盒嵌入模块是将所有实体映射到盒空间中，使用盒嵌入表征每个实体特征；邻居编码模块主要使用盒交集来捕获实体间的相关语义，以突出重要邻居特征，忽略无关邻居特征，并利用基于关系感知的注意力机制来聚合实体的所有邻居信息；少样本关系表示模块则是利用对偶注意网络，分别从上下文层面和三元组层面来编码参考集中包含的关系语义，进而学习少样本关系表示；基于MAML的训练策略模块是应用元学习框架对少样本关系进行训练。

盒映射

在进行邻居编码之前，首先需要将所有实体映射到盒空间Ω_Box中，以获取它们的盒嵌入表示，即：

其中，

为实体e基于TransE的预嵌入向量，/>

为盒嵌入中心向量，

为盒嵌入偏置向量，MLP为多层感知机，l是向量空间的预嵌入维度，d是盒空间中的盒嵌入维度，为了使得映射的盒嵌入能够满足公式(2)中的条件约束，将实体e的盒嵌入定义如下：

其中，Sigmoid(·)为激活函数。通过上述公式，可以得到实体e的盒嵌入表示，并将上述盒化过程记为Box(e)。

基于盒嵌入的邻居编码器

先前的研究表明，少样本知识图谱补全任务更加依赖于背景图中的邻居信息。虽然这些研究通过基于向量的方式来编码一跳邻居信息取得了较好的效果，但是都是将整个邻居实体进行聚合，而没有剔除邻居实体中的无关信息，这使得编码的邻居信息是次优的。为了解决这一问题，本申请设计了一个基于盒嵌入的注意力邻居编码器，使用盒之间交集区域来表示实体间的相关特征，应用注意力机制来聚合所有邻居特征，从而实现基于盒嵌入的细粒度邻居编码。

在给定少样本关系r的参考集中选择一个三元组(h，r，t)，以头实体h为例，实体h的一跳邻居可以表示为

其中/>

为背景图，r_i，e_i分别是实体h的第i个邻居关系和邻居实体。下面需要通过盒间交集来捕获邻居实体和尾实体之间的相关特征，虽然公式(3)可以计算出两个实体盒的相关特征，但是不相交的盒在训练过程中会出现没有梯度的情况，不利于模型的优化，进而本发明采用最新提出的Gumbel盒来作为模型中的盒结构。因此，邻居实体盒Box(e_i)与尾实体盒Box(t)的交集区域可以公式化为：

其中，ζ为Gumbel分布的方差，邻居实体与尾实体的相关特征表示为交叉盒最小点和最大点的拼接，即

且/>

此外，邻居关系和少样本关系间的相似度大小可以度量邻居的重要程度，相似度越高那么该邻居实体特征就越重要。为了量化不同邻居实体的重要程度，选择使用双线性函数作为度量函数，以计算邻居关系与少样本关系的相似度，并使用Softmax归一化操作，计算每个邻居的注意力权重α_i：

φ(r_i，r)＝r_iWr+b(7)

其中，r_i和r分别为邻居关系和少样本关系的预嵌入向量，W和b均为可训练参数，α_i表示第i个邻居的注意力权重。最后应用注意力机制，聚合头实体h的所有邻居特征：

其中，

为邻居实体的交叉特征，/>

为头实体h的邻居信息。为了防止遗忘原有的实体特征h，考虑将邻居信息耦合到实体中，得到最终的头实体嵌入h′：

h′＝ReLU(W₁h+W₂h_n)(10)

其中，ReLU(·)为激活函数，W₁和W₂均为可训练参数，h为头实体的预嵌入表示。至此，可以计算出头实体的邻居增强表示

该嵌入表示不能保留了实体原有的特征，还包含剔除无关特征后的邻居信息。重复上述过程可以计算出尾实体增强表示t′。

基于对偶注意网络的少样本关系表示

通过上述邻居编码模块，可以计算出所有参考三元组中头尾实体对的增强表示。接着需要设计少样本关系表示模块，从仅有少量样例的参考集

中，学习少样本关系r的关系表示。现有的少样本知识图谱补全模型(如MetaR和GANA)仅考虑利用参考集中的公共关系来补全缺失三元组，但忽略了不同上下文语境下头尾实体之间的不同关系语义。本发明提出了一个基于对偶注意力的关系表示模块，应用位置注意编码器(Position Attention Encoder，PAE)和通道注意编码器(Channel Attention Encoder，CAE)分别从上下文层面和三元组层面编码参考集中的关系语义；接着将两个注意力编码器的输出融合，计算出对应的关系表示。

本发明将参考集

中每个参考实体对(h_i，t_i)的特征嵌入表示为一个2×d的矩阵/>

即邻居编码后头实体嵌入和尾实体嵌入的拼接，其中d为实体的嵌入维度。因此，对于包含K个实体对的参考集S_r，它的特征可以形式化为一个矩阵X：

其中K为参考集中参考三元组的数目，

表示拼接操作，X为整个参考集的特征表示。为了全面的捕获参考集中的关系语义，将特征嵌入X输入到对偶注意网络中，即位置注意编码器和通道注意编码器，并对两个编码特征执行逐元素求和，实现特征融合，公式为：

X^position＝PAE(X)(12)

X^channel＝CAE(X)(13)

X′＝X^position+X^channel(14)

其中PAE(·)表示位置注意编码器，CAE(·)表示通道注意编码器，X^position和X^channel分别为两种注意模块的编码特征。在对偶注意网络中，位置注意编码器和通道注意编码器均基于自注意力机制实现，但是它们注意力关注的维度不同，例如位置注意编码器在实体维度使用自注意力机制来建模头实体和尾实体之间上下文关系语义，通道注意编码器则是在通道维度使用自注意力机制来建模参考三元组之间的公共关系语义。

为了获得少样本关系表示，本发明采用广泛使用的LSTM来累积对偶注意网络编码后的参考特征信息X′＝{x₁，x₂，...，x_K}，其中

它们的隐藏状态通过下式计算：

x′₁，x′₂，...，x′_K＝LSTM(x₁，x₂，...，x_K)(15)

最后，应用注意力机制聚合所有隐藏状态，计算出最终的关系表示，即：

其中r是根据参考集学习到少样本关系嵌入，它不仅编码了参考集中参考三元组的公共语义，还包含每个参考三元组之间的上下文关系语义。

基于MAML的少样本关系训练策略

为了保证从参考集中学习到的关系表示具有可推广性，即不仅能够保持参考集结果的一致性，还能够快速适应查询集，本发明利用MAML方法对少样本关系表示进行优化。考虑到实体/关系嵌入表示在不同维度的重要性差异，受TransA模型的启发，本发明将三元组(h，r，t)的得分函数可以设置为：

f_r(h，t)＝(|h+r-t|)^TW_r(|h+r-t|)(18)

其中h和t分别为头实体和尾实体的嵌入表示，r是通过参考集学习到的少样本关系表示，|·|表示各维度的绝对值，W_r是对应于自适应度量的特定于关系的对称非负权重矩阵。基于上述得分函数，整个参考集的损失函数定义如下：

其中[*]₊＝max(0，*)，γ是一个超参数，它决定了正采样和负采样的界限，(h_i，r，t′_i)是负采样S′_r中的三元组，它是通过对S_r中对应的三元组(h_i，r，t_i)进行尾实体破坏生成的，即

为所有的少样本三元组集合。

接着，基于MAML训练策略，使用参考集的损失L(S_r)来优化特定关系的中间参数。按照随机梯度下降，关系表示可以被更新为：

其中l_r表示更新关系表示的学习率。同样的，对特定于关系的权重矩阵W_r进行参数优化，使得模型可以更好地适应新的关系，梯度更新如下：

其中，l_w表示更新权重矩阵的学习率。在更新完特定关系的中间参数之后，按照与参考集相同的方法计算查询集的三元组得分和损失函数：

f_r(h，t)＝(|h+r′-t|)^TW′_r(|h+r′-t|)(22)

其中，Q′_r是对Q_r中所有三元组进行负采样生成的集合，整个模型的优化目标就是最小化L(Q_r)。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于盒嵌入的少样本知识图谱补全方法，其特征在于，包括以下步骤：

获取少样本关系参考集中的三元组集合，将三元组中的实体映射到盒空间中，使用盒嵌入表征每个实体特征；

采用盒交集获取邻居实体与尾实体之间的相关邻居特征，利用基于关系感知的注意力机制来分别聚合头实体与尾实体的相关邻居特征，获得头尾实体对的增强表示向量；

对所述增强表示向量进行拼接操作，获得特征嵌入矩阵；构建对偶注意网络，将所述特征嵌入矩阵输入所述对偶注意网络中，获得编码特征，并对编码特征进行融合获得融合特征；应用注意力机制聚合实体隐藏状态，结合融合特征获得关系表示；

采用元学习方法对所述关系表示进行优化，直至达到优化目标，实现少样本知识图谱补全。

2.根据权利要求1所述的基于盒嵌入的少样本知识图谱补全方法，其特征在于，

获取交叉特征的过程包括：将邻居实体盒与尾实体盒的交集区域进行公式化，公式如下：

其中，ζ为Gumbel分布的方差，邻居实体与尾实体的相关特征表示为交叉盒最小点和最大点的拼接，即

且/>

3.根据权利要求1所述的基于盒嵌入的少样本知识图谱补全方法，其特征在于，

聚合邻居特征的过程包括：

采用双线性函数作为度量函数，计算获得邻居关系与少样本关系的相似度，并进行归一化操作，计算获得每个邻居的注意力权重；

应用注意力机制，分别聚合头实体与尾实体的所有邻居特征，获得头实体与尾实体的邻居信息。

4.根据权利要求3所述的基于盒嵌入的少样本知识图谱补全方法，其特征在于，

注意力权重计算方式为：

φ(r_i,r)＝r_iWr+b

式中，r_i和r分别为邻居关系和少样本关系的预嵌入向量，W和b均为可训练参数，α_i表示第i个邻居的注意力权重，

为实体的一跳邻居。

5.根据权利要求1所述的基于盒嵌入的少样本知识图谱补全方法，其特征在于，

获得增强表示的过程还包括：将邻居信息耦合到实体中，获得头实体与尾实体的增强表示，其中，耦合过程采用以下公式：

h'＝ReLU(W₁h+W₂h_n)

其中，ReLU(·)为激活函数，W₁和W₂均为可训练参数，h为头实体的预嵌入表示。

6.根据权利要求1所述的基于盒嵌入的少样本知识图谱补全方法，其特征在于，

所述对偶注意网络包括位置注意编码器和通道注意编码器，所述位置注意编码器在实体维度采用自注意力机制来建模头实体和尾实体之间上下文关系语义，所述通道注意编码器在通道维度使用自注意力机制来建模参考三元组之间的公共关系语义。

7.根据权利要求1所述的基于盒嵌入的少样本知识图谱补全方法，其特征在于，

对所述关系表示进行优化的过程包括：设置三元组的得分函数，根据所述得分函数构建损失函数，基于元学习训练策略，利用所述损失函数对所述关系表示进行优化。

8.根据权利要求7所述的基于盒嵌入的少样本知识图谱补全方法，其特征在于，

所述得分函数公式如下：

f_r(h,t)＝(|h+r-t|)^TW_r(|h+r-t|)

其中h和t分别为头实体和尾实体的嵌入表示，r是通过参考集学习到的少样本关系表示，|·|表示各维度的绝对值，W_r是对应于自适应度量的特定于关系的对称非负权重矩阵。

9.根据权利要求8所述的基于盒嵌入的少样本知识图谱补全方法，其特征在于，

所述损失函数表示为：

其中[*]₊＝max(0,*)，γ是一个超参数，决定了正采样和负采样的界限，(h_i,r,t'_i)是负采样S'_r中的三元组，

为所有的少样本三元组集合。

10.根据权利要求9所述的基于盒嵌入的少样本知识图谱补全方法，其特征在于，

所述优化目标由所述得分函数和所述损失函数构成，优化目标为查询集的计算值最小化。

Images