CN115438193B - 一种路径推理模型的训练方法及路径推理方法 - Google Patents

Abstract

本发明涉及知识图谱技术领域，尤其是指一种路径推理模型的训练方法、装置、计算机存储介质及路径推理方法。本发明所述的路径推理模型的训练方法，使用对比学习的思想，从样本自身出发引入代理任务，构建子路径和对应的负样本，解决了训练数据中数据分布不均的问题，同时增强了模型在推理过程中对正确路径的打分能力，使得模型在训练和推理时匹配，提高了模型对候选路径的筛选能力。

Description

一种路径推理模型的训练方法及路径推理方法

技术领域

本发明涉及知识图谱技术领域，尤其是指一种路径推理模型的训练方法、装置、计算机存储介质及路径推理方法。

背景技术

知识图谱问答(KBQA)主要以知识库为支撑，针对用户的问题返回相应的答案。知识库是一个结构化的数据库，一般是以(头实体，关系，尾实体)的三元组形式组成的知识集合。早期的KBQA工作着重于回答一个简单的问题，其中只涉及一条知识。例如，“大兴安岭的终点是哪里？”，仅用一个“(大兴安岭，终点，阿斯哈图石林)”知识即可回答。最近研究人员开始关注复杂KBQA，复杂问题通常包括多个实体指向、复合关系和数值运算等。Lan等将KBQA的解决方法分为两种，一种是基于语义解析的方法，另一种是基于信息检索的方法。基于语义解析的方法将问句解析成由实体和关系组成的语法树，根据语法树生成查询语句并返回答案。但该方法需要大量的标注数据，同时存在语法树结构和知识库三元组不匹配的问题。基于信息检索的方法先检索知识库生成候选路径，然后计算问句和路径的语义相似度，最后输出最优路径和答案。该方法在构造训练数据上更容易并且在多个数据集上也获得了更好的性能。实体链接和路径推理是基于信息检索方法的主要步骤，实体链接指的是找到在知识库中和问句相关的实体，路径推理指的是根据找到的实体候选生成推理路径候选并返回正确的推理路径。而在路径推理中候选路径数量的组合爆炸问题是一个严重影响问答系统效率和性能的问题，通过图遍历算法把候选实体相关的路径都找到并排序当然是一个全面的办法，但是考虑到真实知识库的大小，这种方案可行性很低。因此研究人员提出了基于分类和基于集束搜索的路径剪枝方法。

Chen等将多跳推理拆分成多次单跳分类，虽然解决了在复杂问答的路径推理中候选路径数量爆炸的问题，但容易产生错误传播的问题，模型在路径选择时缺少了容错能力。吴等采用集束搜索方法来解决路径选择的复杂度，对比分类方法提高了系统效率，并在训练阶段需要从知识库中采样一部分错误路径作为负样本，作者指出在负例选择过程中存在样本数量不均衡和多样性不够的问题，并提出了负例动态采样的方法来解决这一问题，首先从知识库中搜索所有的相关路径{G}，这里的相关路径指所有主题实体相关的一跳、两跳、多限制路径，然后得到负例路径{G’＝G-p+}，p+为全局正确路径，当{G’}数量未达到最小负例路径数时，随机生成路径补全；虽然提出的负例动态采样方法缓解了模型训练时的数据不平衡和多样性问题，但并没有关注到模型训练和推理时存在的差异。模型在训练时的正确路径是基于全局选定的，而集束搜索方法是基于局部知识进行选择的。因此，目前路径推理有两方面问题。1)构建路径负例是通过随机采样或人工设计规则的方式进行采样，但在训练数据中经常会出现一些高频实体，使得长尾训练数据非常稀疏。2)路径推理模型的目标任务为优化正确路径的预测，而在集束搜索的递进过程中，模型无法直接看到正确路径，缺乏路径相似的监督信号。因此，在路径推理中，训练数据中数据分布不均和模型在训练和推理时不匹配的问题是目前待解决的问题

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中训练数据中数据分布不均和模型在训练和推理时不匹配的问题。

为解决上述技术问题，本发明提供了一种路径推理模型的训练方法，包括：

从知识库中搜索与问句相关的主题实体的所有候选路径{G}；

构建正例样本集

其中，

为第i跳的正确子路径，即第i跳正例样本，i∈1...n，n为全局正确路径对应的跳数；

为所述第i跳正例样本构建对应的第i跳负例样本集

所述第i跳负例样本集中的元素为第i跳负例样本；

利用所述第i跳正例样本和所述第i跳负例样本集训练所述路径推理模型。

优选地，所述利用所述第i跳正例样本和所述第i跳负例样本集训练所述路径推理模型包括：

分别将每个样本和问句进行拼接；

将和问句拼接后的第i跳正例样本输入共享编码器中进行编码，并计算问句和该正例样本的第一相似度得分；

分别将每个和问句拼接后的第i跳负例样本输入共享编码器中进行编码，并计算问句和每个负例样本的第二相似度得分；

以第i跳正例样本和问句的第一相似度得分，以及第i跳负例样本和问句的第二相似度得分之间的差距最大化为优化目标，训练所述路径推理模型。

优选地，所述分别将每个样本和问句进行拼接包括：

使用特殊符号“[CLS]”和“[SEP]”将问句和样本拼接，即“[CLS]+问句+[SEP]+样本”。

优选地，所述共享编码器包括BERT编码层、全连接层和线性变换层。

优选地，所述相似度得分的计算过程包括：

将拼接后的问句和样本输入共享编码器编码，并经过全连接层和非线性变换层处理后，得到pair编码；

利用sigmod激活函数根据所述pair编码计算问句和样本的相似度得分。

优选地，所述以第i跳正例样本和问句的第一相似度得分，以及第i跳负例样本和问句的第二相似度得分之间的差距最大化为优化目标，训练所述路径推理模型包括：

采用margin loss损失函数最大化第i跳正例样本和问句的第一相似度得分以及第i跳负例样本和问句的第二相似度得分之间的差距，损失函数为：loss＝max(0,γ+score₂-score₁)，其中，γ为超参数，score₂为第二相似度得分，score₁为第一相似度得分。

本发明还提供了一种路径推理方法，包括：

利用上述的路径推理模型训练方法训练路径推理模型，得到训练好的路径推理模型；

从知识库中搜索与问句相关的主题实体的所有候选路径，将每个候选路径与问题拼接后输入所述训练好的路径推理模型；

计算每个第一跳候选路径和问句的相似度得分，并进行剪枝操作，所述剪枝操作为根据路径和问句的相似度得分对所有路径进行降序排序，保留前K个路径，K表示超参数束宽；

根据剪枝后的K个上一跳路径搜索下一跳路径，计算相似度得分，进行剪枝操作，重复该步骤，直至搜索跳数达到预设阈值；

从最终得到的路径集合中，筛选出相似度得分最高的目标路径。

本发明还提供了一种路径推理模型的训练装置，包括：

候选路径获取模块，用于从知识库中搜索与问句相关的主题实体的所有候选路径{G}；

正例样本集构建模块，用于构建正例样本集

其中，

为第i跳的正确子路径，即第i跳正例样本，i∈1...n，n为全局正确路径对应的跳数；

负例样本集构建模块，用于为所述第i跳正例样本构建对应的第i跳负例样本集

所述第i跳负例样本集中的元素为第i跳负例样本；

训练模块，用于利用所述第i跳正例样本和所述第i跳负例样本集训练所述路径推理模型。

优选地，所述路径推理模型的训练装置应用于知识图谱问答系统。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一路径推理模型的训练方法的步骤。

本发明的上述技术方案相比现有技术具有以下优点：

在真实应用场景下，由于知识库中关系数量级庞大导致在图谱上的全局推理不现实，多采用集束搜索的方法来解决路径推理的效率问题，但在路径推理模型训练时只是简单地考虑构建全局正确路径和其他路径的正负例样本，因此，本发明所述的路径推理模型的训练方法，使用对比学习的思想，从样本自身出发引入代理任务，构建子路径和对应的负样本，解决了训练数据中数据分布不均的问题，同时增强了模型在推理过程中对正确路径的打分能力，使得模型在训练和推理时匹配，提高了模型对候选路径的筛选能力。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中：

图1是束宽为2的集束搜索过程示意图；

图2是本发明一种路径推理模型的训练方法的实现流程图；

图3是本发明实施例提供的一种路径推理模型示意图；

图4为本发明实施例提供的一种路径推理模型的训练装置的结构框图。

具体实施方式

本发明的核心是提供一种路径推理模型的训练方法、装置、计算机存储介质及路径推理方法，使得训练数据分布均匀，模型在训练和推理时匹配。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

KBQA系统首先对问句进行问句意图分类、实体识别，然后通过实体链接得到与问句相关的主题实体，并根据图谱结构生成拓扑序列，最后获得和问句最匹配的答案路径，经过归纳返回问句答案。路径推理是KBQA系统最主要的模块之一，由于候选路径规模庞大，路径推理模块需要先对候选路径进行剪枝后，再计算路径和问句的相似度。

目前流行的真实知识图谱中，关系的数量级一般在亿级，我们也知道候选路径的数量会随着关系递推呈指数增长。一旦候选路径过大，通过全局模型来计算问句和路径的匹配度是不切实际的。同时知识图谱中的数据分布遵循长尾效应，问句相关的实体很可能链接到图谱中的超级节点。例如在CCKS2019-CKBQA数据集中，<中华人民共和国>的一跳关系路径为百万级，两跳范围内的路径达到了千万级。因此对候选路径剪枝是在推理阶段的重要步骤。

集束搜索是对贪心搜索的一个改进算法，相对贪心搜索扩大了搜索空间，但远不及全局搜索的指数级别搜索空间。如图1所示每一步会搜索当前序列中得分最高的k个结果，k表示超参数束宽。先搜索主题实体相关的第一跳路径，根据语义相似度模型保留得分最高的前k个路径和相关实体。然后根据相关实体生成第二跳的路径，再保留前k个路径和相关实体，以此类推。

对比学习是自监督学习(Self-Supervised Learning,SSL)的重要代表，通过使用代理任务来定义对象之间的相似度，根据设定的一些规则提取对象间的监督信号来训练模型。

在训练阶段需要从知识库中选择错误路径作为负例，之前的采样方法考虑到了路径的数量不平衡问题和多样性问题，但忽略了推理阶段是采用集束搜索的方式来选择路径的，对于每一跳关系的搜索，都需要模型进行打分。按照现有技术的训练方式模型在多跳问题上很可能一开始就会将正确的关系路径丢失，特别是当束宽取值较小的情况下。因此，我们在路径采样中使用对比学习的思想来扩充正确关系样本的学习。

假设问句query的全局正确路径p⁺＝r₁→r₂→r₃，r表示路径关系，从知识库中搜索所有相关的候选路径{G}，去除全局正确路径p⁺后的负例为{G-p⁺}，通过负例构建方法后可以得到模型所需的正负例训练样本。但现有技术忽略了正确路径中的监督信号r₁→r₂和r₁，正确路径中的子路径也是模型所需要的推理信息。因此对于第i跳正确子路径

也会构建相应的负例样本。

请参考图2，图2为本发明所提供的一种路径推理模型的训练方法的实现流程图；具体操作步骤如下：

S201:从知识库中搜索与问句相关的主题实体的所有候选路径{G}；

这里的候选路径指所有主题实体相关的一跳、两跳、多限制路径。

S202:构建正例样本集

其中，

为第i跳的正确子路径，即第i跳正例样本，i∈1...n，n为全局正确路径对应的跳数；

S203:为所述第i跳正例样本构建对应的第i跳负例样本集

所述第i跳负例样本集中的元素为第i跳负例样本；

S204:利用所述第i跳正例样本和所述第i跳负例样本集训练所述路径推理模型。

使用特殊符号“[CLS]”和“[SEP]”将问句和样本拼接，即“[CLS]+问句+[SEP]+样本”；

将和问句拼接后的第i跳正例样本输入共享编码器中进行编码，并计算问句和该正例样本的第一相似度得分；

分别将每个和问句拼接后的第i跳负例样本输入共享编码器中进行编码，并计算问句和每个负例样本的第二相似度得分；

以第i跳正例样本和问句的第一相似度得分，以及第i跳负例样本和问句的第二相似度得分之间的差距最大化为优化目标，训练所述路径推理模型。

之前的路径推理模型采用基于point-wise策略的方式学习问句和正确路径的匹配程度，无法很好地去建模根据对比学习方法构建的路径样本，因此我们基于pair-wise策略将模型优化目标变成上下文增强的路径偏序优化问题。

本发明所述的路径推理模型的训练方法，使用对比学习的思想，从样本自身出发引入代理任务，构建子路径和对应的负样本，解决了训练数据中数据分布不均的问题，同时增强了模型在推理过程中对正确路径的打分能力，使得模型在训练和推理时匹配，提高了模型对候选路径的筛选能力。

基于以上实施例，本实施例对步骤S204进行进一步详细说明：

所述共享编码器包括BERT编码层、全连接层和线性变换层；

所述相似度得分的计算过程包括：

将拼接后的问句和样本输入共享编码器编码，并经过全连接层和非线性变换层处理后，得到pair编码；

利用sigmod激活函数根据所述pair编码计算问句和样本的相似度得分。

参考图3，路径排序模型训练过程为：采用margin loss损失函数最大化第i跳正例样本和问句的第一相似度得分以及第i跳负例样本和问句的第二相似度得分之间的差距，损失函数为：loss＝max(0,γ+score<rep_y>-score<rep_x>)，其中，γ为超参数，score<rep_y>为问句和负例样本的第二相似度得分，score<rep_x>为问句和正例样本的第一相似度得分。

基于以上实施例，本实施例以具体的实验对本发明的提出的路径推理训练方法进行验证，具体如下：

实验数据来自于CCKS2021-生活服务知识图谱问答评测任务，该数据集整合了开放领域的问答数据和知识库，以及来源于美团的旅游、酒店、美食等领域的问答数据和生活服务领域的知识图谱，表1给出了标注数据示例：

表1问句示例

我们按8:2的比例划分了5162条训练集和1291条开发集的实验数据，给定的知识库三元组数量为66630393对。

实验基线模型(baseline)为仅用

和

构建的正负例样本训练路径推理模型；本发明(baseline+path_contrast)为采用

和

的正负例样本训练路径推理模型。

实验使用的BERT预训练语言模型为Google开源的中文BERT模型，包含12层Transformer编码器，文本使用的是BERT最后一层编码表示，维度为768。训练时使用加入warm-up策略的AdamW为优化器，损失函数中的γ超参数设置为0.5，学习率设置为2e-5，batch_size设置为32，每500个step对开发集进行评估，当连续20次再开发集上性能不再提升是时，模型停止训练。

我们在构建的开发集上评估了推理模型Top1、Top3、Top5和Top10的准确率，实验结果如表2所示。

表2基于对比学习的路径推理模型在开发集上的效果

基于开发集数据的实验中评估是全局的，模型在构建的所有相关路径上进行打分排序，而真实场景中每一跳推理都会检索整个知识库构建新的路径。因此为模拟真实问答场景，我们在构建的KBQA系统中也评估了两种模型在路径推理阶段的准确率，实验结果如表3所示。

表3基于对比学习的路径推理模型在KBQA系统中的路径推理效果

	Accc
		baseline	0.7131
baseline+path_contrast	0.7593

本发明还提供了一种路径推理方法，包括：

利用上述的路径推理模型训练方法训练路径推理模型，得到训练好的路径推理模型；

从知识库中搜索与问句相关的主题实体的所有候选路径，将每个候选路径与问题拼接后输入所述训练好的路径推理模型；

计算每个第一跳候选路径和问句的相似度得分，并进行剪枝操作，所述剪枝操作为根据路径和问句的相似度得分对所有路径进行降序排序，保留前K个路径，K表示超参数束宽；

根据剪枝后的K个上一跳路径搜索下一跳路径，计算相似度得分，进行剪枝操作，重复该步骤，直至搜索跳数达到预设阈值；

从最终得到的路径集合中，筛选出相似度得分最高的目标路径。

请参考图4，图4为本发明实施例提供的一种路径推理模型的训练装置的结构框图；具体装置可以包括：

候选路径获取模块100，用于从知识库中搜索与问句相关的主题实体的所有候选路径{G}；

正例样本集构建模块200，用于构建正例样本集

其中，

为第i跳的正确子路径，即第i跳正例样本，i∈1...n，n为全局正确路径对应的跳数；

负例样本集构建模块300，用于为所述第i跳正例样本构建对应的第i跳负例样本集

所述第i跳负例样本集中的元素为第i跳负例样本；

训练模块400，用于利用所述第i跳正例样本和所述第i跳负例样本集训练所述路径推理模型。

本实施例的路径推理模型的训练装置用于实现前述的路径推理模型的训练方法，因此路径推理模型的训练装置中的具体实施方式可见前文路径推理模型的训练方法的实施例部分，例如，候选路径获取模块100，正例样本集构建模块200，负例样本集构建模块300，训练模块400，分别用于实现上述路径推理模型的训练方法中步骤S201，S202，S203和S204，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种路径推理模型的训练方法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (9)

1.一种路径推理模型的训练方法，其特征在于，所述路径推理模型用于对一接收到的路径询问的问句进行路径规划，包括：

从知识库中搜索与问句相关的主题实体的所有候选路径{G}；

构建正例样本集

其中，

为第i跳的正确子路径，即第i跳正例样本，i∈1...n，n为全局正确路径对应的跳数；

为所述第i跳正例样本构建对应的第i跳负例样本集

所述第i跳负例样本集中的元素为第i跳负例样本；

利用所述第i跳正例样本和所述第i跳负例样本集训练所述路径推理模型；

所述利用所述第i跳正例样本和所述第i跳负例样本集训练所述路径推理模型包括：

分别将每个样本和问句进行拼接；

将和问句拼接后的第i跳正例样本输入共享编码器中进行编码，并计算问句和该正例样本的第一相似度得分；

分别将每个和问句拼接后的第i跳负例样本输入共享编码器中进行编码，并计算问句和每个负例样本的第二相似度得分；

以第i跳正例样本和问句的第一相似度得分，以及第i跳负例样本和问句的第二相似度得分之间的差距最大化为优化目标，训练所述路径推理模型。

2.根据权利要求1所述的路径推理模型的训练方法，其特征在于，所述分别将每个样本和问句进行拼接包括：

使用特殊符号“[CLS]”和“[SEP]”将问句和样本拼接，即“[CLS]+问句+[SEP]+样本”。

3.根据权利要求1所述的路径推理模型的训练方法，其特征在于，所述共享编码器包括BERT编码层、全连接层和线性变换层。

4.根据权利要求1所述的路径推理模型的训练方法，其特征在于，所述相似度得分的计算过程包括：

将拼接后的问句和样本输入共享编码器编码，并经过全连接层和非线性变换层处理后，得到pair编码；

利用sigmod激活函数根据所述pair编码计算问句和样本的相似度得分。

5.根据权利要求1所述的路径推理模型的训练方法，其特征在于，所述以第i跳正例样本和问句的第一相似度得分，以及第i跳负例样本和问句的第二相似度得分之间的差距最大化为优化目标，训练所述路径推理模型包括：

采用margin loss损失函数最大化第i跳正例样本和问句的第一相似度得分以及第i跳负例样本和问句的第二相似度得分之间的差距，损失函数为：loss＝max(0,γ+score 2-score 1)，其中，γ为超参数，score 2为第二相似度得分，score 1为第一相似度得分。

6.一种路径推理方法，其特征在于，包括：

利用权利要求1-5任一项所述的路径推理模型训练方法训练路径推理模型，得到训练好的路径推理模型；

从知识库中搜索与问句相关的主题实体的所有候选路径，将每个候选路径与问题拼接后输入所述训练好的路径推理模型；

计算每个第一跳候选路径和问句的相似度得分，并进行剪枝操作，所述剪枝操作为根据路径和问句的相似度得分对所有路径进行降序排序，保留前K个路径，K表示超参数束宽；

根据剪枝后的K个上一跳路径搜索下一跳路径，计算相似度得分，进行剪枝操作，重复该步骤，直至搜索跳数达到预设阈值；

从最终得到的路径集合中，筛选出相似度得分最高的目标路径。

7.一种路径推理模型的训练装置，其特征在于，包括：

候选路径获取模块，用于从知识库中搜索与问句相关的主题实体的所有候选路径{G}；

正例样本集构建模块，用于构建正例样本集

其中，

为第i跳的正确子路径，即第i跳正例样本，i∈1...n，n为全局正确路径对应的跳数；

负例样本集构建模块，用于为所述第i跳正例样本构建对应的第i跳负例样本集

所述第i跳负例样本集中的元素为第i跳负例样本；

训练模块，用于利用所述第i跳正例样本和所述第i跳负例样本集训练所述路径推理模型；

所述利用所述第i跳正例样本和所述第i跳负例样本集训练所述路径推理模型包括：

分别将每个样本和问句进行拼接；

将和问句拼接后的第i跳正例样本输入共享编码器中进行编码，并计算问句和该正例样本的第一相似度得分；

分别将每个和问句拼接后的第i跳负例样本输入共享编码器中进行编码，并计算问句和每个负例样本的第二相似度得分；

以第i跳正例样本和问句的第一相似度得分，以及第i跳负例样本和问句的第二相似度得分之间的差距最大化为优化目标，训练所述路径推理模型。

8.根据权利要求7所述的路径推理模型的训练装置，其特征在于，应用于知识图谱问答系统。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的一种路径推理模型的训练方法的步骤。

Images