CN116629356B

CN116629356B - 基于编码器和高斯混合模型的少样本知识图谱补全方法

Info

Publication number: CN116629356B
Application number: CN202310515634.XA
Authority: CN
Inventors: 周光有; 谢鹏辉; 李鹏飞
Original assignee: Central China Normal University
Current assignee: Central China Normal University
Priority date: 2023-05-09
Filing date: 2023-05-09
Publication date: 2024-01-26
Anticipated expiration: 2043-05-09
Also published as: CN116629356A

Abstract

本发明公开了基于编码器和高斯混合模型的少样本知识图谱补全方法，包括以下步骤：根据全局编码器获取给定实体远距离的全局邻居嵌入表示，根据局部编码器获取给定实体相邻距离的局部邻居嵌入表示；基于所述分层级联的编码策略，将所述全局邻居嵌入表示与所述局部邻居嵌入表示进行融合处理，获取最终的实体表示；通过自适应高斯混合模型对所述实体表示进行建模，利用KL散度计算查询与参考集之间的相似程度，完成少样本知识图谱补全。本发明分别从图级和任务级捕获邻居信息，计算高质量的实体嵌入表示，使用自适应高斯混合模型对少样本关系进行建模，捕获关系语义中的不确定性，并通过动态调整高斯权重来适应不同的查询。

Description

基于编码器和高斯混合模型的少样本知识图谱补全方法

技术领域

本发明属于知识图谱补全技术领域，尤其涉及基于编码器和高斯混合模型的少样本知识图谱补全方法。

背景技术

少样本知识图谱补全任务旨在通过少量的训练数据来补全知识图谱中缺失的部分。在实际应用中，获取大规模的标注数据不仅耗时还需要昂贵的成本，因此少样本知识图谱补全成为自然语言处理领域备受关注的研究方向。目前，大多数研究都是基于匹配度量的方法来解决少样本知识图谱问题，例如Xiong等人和Zhang等人设计了一种基于度量学习的算法框架来计算查询和参考之间的匹配相似度，从而解决少样本知识图谱补全问题。基于上述两个研究，Sheng等人设计了自适应注意网络来学习实体和关系的动态嵌入表示，从而实现自适应编码。He等人从外部结构特征和内部语义特征两方面来增强关系表示。普祥和等人则是通过类型感知邻居编码器学习实体邻居中隐含的类型信息，从而进一步增强实体表示。虽然上述研究在两个常用的标准数据集上均取得了较好的成果。但是，这些方法仍然存在以下两点不足：在邻居编码模块，它们只考虑对给定实体的一跳邻居信息进行编码，忽略了远距离邻居中的丰富特征和潜在语义。远距离邻居“2020NAB champion”中包含的“NAB”语义，能够为实体“Los Angeles Lakers”提供更丰富的背景信息，从而学习到高质量的实体嵌入。在关系表示模块，它们都基于关系具有确定表示这一假设，使用一个固定的实向量来表示关系特征。然而，在知识图谱中低频关系、复杂关系等都会导致关系语义的不确定性，从而难以准确地学习少样本关系特征。

发明内容

为解决上述技术问题，本发明提出了基于编码器和高斯混合模型的少样本知识图谱补全方法，分别从图级和任务级捕获邻居信息，计算高质量的实体嵌入表示。

为实现上述目的，本发明提供了基于编码器和高斯混合模型的少样本知识图谱补全方法，包括以下步骤：

根据全局编码器获取给定实体远距离的全局邻居嵌入表示，根据局部编码器获取给定实体相邻距离的局部邻居嵌入表示；

基于分层级联的编码策略，将所述全局邻居嵌入表示与所述局部邻居嵌入表示进行融合处理，获取最终的实体表示；

通过自适应高斯混合模型对所述实体表示进行建模，利用KL散度计算查询与参考集之间的相似程度，完成少样本知识图谱补全。

可选的，根据全局编码器获取给定实体远距离的全局邻居嵌入表示包括：构建实体和远距离邻近之间的辅助边，通过邻近三元组嵌入特征获取所有邻居信息，计算全局邻居嵌入获取多跳邻居的注意力权重及特征，将所述特征进行拼接处理，获取给定实体远距离的全局邻居嵌入表示。

可选的，通过邻居三元组嵌入特征的方法包括：

其中，τ_uv为邻居三元组的嵌入特征，W₁为可训练参数，为实体的预嵌入表示，u为给定实体，r_uv为辅助边的嵌入，通过路径关系的拼接获得。

可选的，计算全局邻居嵌入的方法包括：

其中，e_u为实体u的全局邻居嵌入，为实体u在背景图中的多跳邻居集合，α_v为多跳邻居的注意力权重，τ_uv为邻居三元组的嵌入特征。

可选的，所述多跳邻居的注意力权重的计算方法包括：

其中，W₂为线性变换参数，τ_uv'为中的多跳邻居特征，LeakyReLU(·)为非线性激活函数。

可选的，根据所述局部编码器获取给定实体相邻距离的局部邻居嵌入表示包括：根据双线性函数来度量邻居关系和给定实体关系的相似程度，获取关系结果；对所述关系结果进行归一化处理，获取邻居权重，通过注意力机制进行聚合，获取所述局部邻居嵌入表示。

可选的，所述关系结果计算为：

ψ(r_i,r)＝LeakyReLU(r^TW₃r_i+b)

其中，LeakyReLU(·)为非线性激活函数，W₃和b均为可训练参数，r_i为一跳邻居关系的预嵌入，r为少样本关系的预嵌入表示。

可选的，获取所述局部邻居嵌入表示的方法为：

其中，β_i为任务感知的邻居注意权重，e_i为邻居实体的预嵌入。

可选的，基于所述分层级联的编码策略，将所述全局邻居嵌入表示与所述局部邻居嵌入表示进行融合处理，获取最终的实体表示的方法包括：

其中，GE(·)为全局编码器，LE(·)为局部编码器，为实体v在第m-1层的局部编码器的输出，/>为全局编码器的输出，/>为局部编码器的输出。

本发明技术效果：

(1)设计了一个新颖的全局-局部邻居聚合框架，分别从图级和任务级捕获邻居信息，计算高质量的实体嵌入表示。

(2)为了从少量的参考三元组中学习到相应的关系表示，使用自适应高斯混合模型对少样本关系进行建模，捕获关系语义中的不确定性，并通过动态调整高斯权重来适应不同的查询。

(3)在两个广泛使用的基准数据集NELL-One和Wiki-One上评估了GLE-GMM模型，实验结果表明，该模型能够取得较好的效果。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例基于编码器和高斯混合模型的少样本知识图谱补全方法的流程示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

如图1所示，本实施例中提供基于编码器和高斯混合模型的少样本知识图谱补全方法，包括以下步骤：

基于分层级联的编码策略，将全局邻居嵌入表示与局部邻居嵌入表示进行融合处理，获取最终的实体表示；

通过自适应高斯混合模型对实体表示进行建模，利用KL散度计算查询与参考集之间的相似程度，完成少样本知识图谱补全。

全局邻居编码器

全局邻居编码将从图级来编码实体的多跳邻居信息。为了聚合远距离的邻居信息，将辅助边定义为关系路径的组合，通过增加辅助边来实现远距离邻居实体与当前实体的直接连接。具体来说，对于实体u在背景图中的N跳邻居(u,r₁,v₁)→(v₁,r_1,2,v₂)→…→(v_N-1,r_N-1,N,v)，构造实体u和远距离邻居v之间的辅助边r_uv，从而实现它们之间的直接连接，即(u,r_uv,v)。因此，邻居三元组(u,r_uv,v)的嵌入特征τ_uv通过下式计算：

其中，为可训练参数，d为嵌入维度，/>为实体的预嵌入表示，r_uv为辅助边的嵌入，通过路径关系的拼接获得，即：

其中，MLP(·)为多层感知机，r_N-1,N为N跳关系的预嵌入表示，为加法合成算子，该算子通过累积邻居路径上的所有关系向量来计算辅助边的嵌入表示。

为了区别不同邻居的重要程度，应用注意力机制来聚集实体u的所有邻居信息，从而计算出实体u的全局邻居嵌入：

其中，为实体u在背景图中的多跳邻居集合，τ_uv表示邻居三元组的嵌入，α_v为多跳邻居的注意力权重，计算公式如下：

其中，为线性变换参数，当注意力权重α_v越大，那么就表示远距离邻居v对实体u越重要。

通过上述公式，可以计算出实体u的全局嵌入表示e_u。为了使得学习过程更加稳定，同时能够捕获更加完整的邻居信息，全局邻居编码器将利用L个独立的注意力头从不同角度编码邻居特征。最后将多种邻居特征进行拼接，并与实体的预嵌入进行耦合以保留实体的原始特征：

其中，L为注意力头的数目，表示由第l个注意力头捕获的全局邻居信息。FNN(·)为前馈神经网络，/>为实体u的预嵌入表示。经过上述步骤，可以计算出实体u的全局嵌入表示，该嵌入不仅保留实体自身的原始特征，还能够较好表示实体u在背景图中的全局邻居特征。

局部邻居编码器

全局邻居编码器能够从图级捕获背景图中的实体邻居信息，但是未考虑不同关系邻居对实体的动态影响，从而忽略了任务关系中的细粒度语义。为了充分捕获实体的局部邻居信息，设计了一个基于任务感知的局部邻居编码器用于捕获单跳邻居的细粒度语义。具体来说，实体u的一跳邻居可以表示为其中r_i为一跳邻居关系，e_i为对应的一跳邻居实体，它们的嵌入表示可以通过预训练模型获得，为了区分不同邻居与当前少样本关系的契合程度，使用双线性函数来度量邻居关系r_i和少样本关系r的相似程度：

ψ(r_i,r)＝LeakyReLU(r^TW₃r_i+b)

其中，LeakyReLU(·)为非线性激活函数，和/>均为可训练参数，r_i为一跳邻居关系的预嵌入，r为少样本关系的预嵌入表示，通过平移模型TransE来计算获得，即为r＝t-h，其中g和t分别为少样本三元组头实体和尾实体的预嵌入向量。接着利用Softmax机制对上述结果进行归一化，计算邻居权重，最后利用注意力机制进行聚合，从而计算出实体u的局部嵌入表示：

其中，为实体u的单跳邻居集合，e_i为邻居实体的预嵌入，β_i为任务感知的邻居注意权重，该值越大那么对应的邻居与当前少样本关系越相关。此外，为了从不同角度捕获局部邻居特征，在局部邻居编码器中同样应用多头注意力机制，并将多种邻居特征与实体预嵌入进行耦合，即：

由此，计算出实体u的局部邻居嵌入，该嵌入不仅保留实体自身的原始特征，还融合了任务关系中的细粒度语义。

特征融合

为了充分利用全局邻居编码器和局部邻居编码器的优势，需要将两种邻居嵌入进行融合，进而为少样本关系表示模块生成高质量的实体嵌入。一种简单的方式是采用并行策略，先分别进行全局邻居编码和局部邻居编码，最后拼接全局输出和局部输出，但是当知识图谱规模过大时，并行策略将难以进行训练。因此采用分层级联的编码策略[90]：首先将实体的初始嵌入输入到全局编码器中，得到全局嵌入，接着将全局嵌入输入到局部编码器中，经过M次迭代生成最终的嵌入表示，公式表示如下：

建模计算查询与参考集之间的相似程度

通过图邻域编码器，可以得到头实体和尾实体的增强嵌入，接下来需要利用计算出实体嵌入对任务关系进行建模。以往的研究利用单点分布来表示少样本关系特征，忽略了少样本场景下关系语义的不确定性。受Vilnis等人的启发，本章采用高斯混合模型对少样本关系进行建模，该模型包含多个高斯组件，每个组件都是一个独立的正态分布，分别表示一种关系语义，高斯混合模型的公式表示如下：

其中，C是高斯混合模型的组件数目，π_i表示第i个组件的权重值，μ_i和∑_i分别表示第i个组件的均值和协方差矩阵。

采用全连接层将实体对(h,t)映射到高斯空间中，从而计算出头尾实体对的高斯嵌入：

其中，h',t'分别为头实体h和尾实体t的增强表示，[*；*]表示向量的拼接操作，均为可训练参数，d_g是高斯空间的嵌入维度。

给定少样本关系r的参考集通过上述公式将每个参考实体对(h_i,t_i)都参数化成一个多元高斯分布/>进而构成基于参考集的高斯混合模型/>且/>其中均值表示关系特征，协方差矩阵表示关系语义的不确定性，C＝K表示高斯组件的数目。

通过邻居编码器和高斯嵌入模块，可以将少样本关系r的整个参考集映射成高斯混合模型同样地也可以计算出查询实体对(h_q,t_q)的高斯嵌入/>利用注意力机制为不同的高斯组件分配不同的注意力权重，进而生成一般的高斯混合模型来自适应当前查询任务。为了简单起见，采用/>和/>之间的对数内积来度量两个高斯分布之间的语义相似性，公式表示如下：

其中，为高斯混合模型中第i个高斯组件，μ_i,∑_i分别为对应高斯组件的均值和方差，/>为查询实体对的高斯嵌入，μ_q,∑_q分别为查询高斯嵌入的均值和方差，d_g为高斯嵌入维度。

接着，引入Softmax机制进行归一化，计算自适应高斯混合模型中每个高斯组件的注意力权重值，第i个组件的注意力权重值π_i为：

最后，为了衡量查询三元组(h_q,r,t_q)的置信度，将得分函数定义为高斯混合模型中不同组件与查询分布之间能量函数的加权和，即：

其中，为能量函数，用于度量两个高斯分布之间的差异，并利用KL散度来计算获得，即：

少样本知识图谱补全任务指的是利用少量标注数据完成知识图谱补全任务的方法。本发明应用包括：1、智能问答系统：智能问答系统需要根据用户提出的问题，从知识图谱中找到相应的答案。然而，知识图谱可能存在一些缺失的关系。通过少样本知识图谱补全技术，可以自动发现并补全这些缺失的关系。2、推荐系统：推荐系统需要根据用户的兴趣和行为历史来推荐相关的商品或服务。少样本知识图谱补全技术可以用来识别相关的实体和关系，并将它们加入到知识图谱中，从而提高推荐系统的准确性。3、医疗健康：在医疗健康领域，可以利用知识图谱来探索不同疾病之间的关系，并通过少样本知识图谱补全技术来发现新的治疗方法。4、金融风险控制：在金融领域，可以利用知识图谱来分析金融市场中不同实体之间的关系，并通过少样本知识图谱补全技术来识别潜在的风险因素。本发明提高知识图谱的完整性：现有的知识图谱通常是不完整的，即某些实体之间缺乏连接关系。少样本知识图谱补全方法能够利用已知的知识来补充知识图谱，从而提高知识图谱的完整性。本发明适用于实际应用场景：在许多实际应用场景中，标注数据往往是极少的，例如COVID-19等领域，数据的标注不仅需要高昂的人力成本，还需要大量的时间成本。与传统知识图谱补全模型相比，少样本知识图谱补全方法对数据的依赖性较低，可以灵活地应用于各种实际场景。本发明推动少样本学习领域的发展：传统机器学习需要大量的标注数据来训练模型，而少样本知识图谱补全方法的研究可以为其他少样本学习问题提供参考与借鉴，进而推动少样本学习领域的研究和发展。

以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims

1.基于编码器和高斯混合模型的少样本知识图谱补全方法，其特征在于，包括以下步骤：

给定智能问答领域中的知识图谱，根据全局编码器获取所述知识图谱中实体远距离的全局邻居嵌入表示，根据局部编码器获取所述知识图谱中实体相邻距离的局部邻居嵌入表示；根据全局编码器获取所述知识图谱中实体远距离的全局邻居嵌入表示包括：构建实体和远距离邻近之间的辅助边，通过邻近三元组嵌入特征获取所有邻居信息，计算全局邻居嵌入获取多跳邻居的注意力权重及特征，将所述特征进行拼接处理，获取所述知识图谱中实体远距离的全局邻居嵌入表示；根据所述局部编码器获取所述知识图谱中实体相邻距离的局部邻居嵌入表示包括：根据双线性函数来度量邻居关系和给定实体关系的相似程度，获取关系结果；对所述关系结果进行归一化处理，获取邻居权重，通过注意力机制进行聚合，获取所述知识图谱中实体相邻距离的局部邻居嵌入表示；

基于分层级联的编码策略，将所述全局邻居嵌入表示与所述局部邻居嵌入表示进行融合处理，获取最终的实体表示包括：

其中，GE(·)为全局编码器，LE(·)为局部编码器，为实体v在第m-1层的局部编码器的输出，/>为全局编码器的输出，/>为局部编码器的输出，/>为实体u的单跳邻居集合，/>为实体u在背景图中的多跳邻居集合；

2.如权利要求1所述的基于编码器和高斯混合模型的少样本知识图谱补全方法，其特征在于，通过邻居三元组嵌入特征的方法包括：

3.如权利要求1所述的基于编码器和高斯混合模型的少样本知识图谱补全方法，其特征在于，计算全局邻居嵌入的方法包括：

4.如权利要求3所述的基于编码器和高斯混合模型的少样本知识图谱补全方法，其特征在于，所述多跳邻居的注意力权重的计算方法包括：

其中，W₂为线性变换参数，τ_uv′为中的多跳邻居特征，LeakyReLU(.)为非线性激活函数。

5.如权利要求1所述的基于编码器和高斯混合模型的少样本知识图谱补全方法，其特征在于，所述关系结果计算为：

ψ(r_i,r)＝LeakyReLU(r^TW₃r_i+b)

6.如权利要求5所述的基于编码器和高斯混合模型的少样本知识图谱补全方法，其特征在于，获取所述局部邻居嵌入表示的方法为：

其中，β_i为任务感知的邻居注意权重，e_i为邻居实体的预嵌入，为实体u的单跳邻居集合。