CN116011548A - 一种多知识图谱问答模型训练方法、系统及存储介质 - Google Patents

Abstract

本发明涉及自然语言处理技术领域，特别涉及多知识图谱问答模型训练方法、系统及存储介质，包括以下步骤：将具有广义链接关系的原始三元组实例化为多个查询图，将查询图基于预设规则改写，得到问题、对应的候选答案及所属话题；基于广义链接构建跨图谱和负例三元组，将原始、跨图谱和负例三元组输入第一预设模型得到多组原始、跨图谱和负例三元组向量，将其输入第一预设函数进行打分以对第一预设模型进行训练；获取改写后查询图的问题，将问题输入第二预设模型得到问题语义向量，并将话题及候选答案输入第一预设模型得到话题和候选答案向量，将问题语义、候选答案和话题向量输入第一预设函数以对第二预设模型进行训练，得到训练好的第二预设模型。

Description

一种多知识图谱问答模型训练方法、系统及存储介质

技术领域

本发明涉及自然语言处理技术领域，特别涉及一种多知识图谱问答模型训练方法、系统及存储介质。

背景技术

知识图谱问答（KBQA—Knowledge Base Question Answering）旨在利用知识图谱回答事实类问题，为处理涉及多知识源的复杂问题，尝试利用多个知识图谱中的知识获取答案。现有技术中，先通过实体链接找到多张图谱间彼此链接的实体，再将这些实体合并为一个点，进而将多张图谱合并为一张大图谱。这样一来，多图谱问答的问题即转化为了传统单图谱问答，可以通过传统KBQA方法解决。

现有技术中主要缺点在于，合并图谱无法表示知识图谱间的所有链接关系。图谱之间的链接关系多种多样，除了表示相同概念、可以直接链接的实体外，还有一些源自不同图谱的实体对虽然表示不同的概念，但可能在问题中被当作同一个结点。这些指代不同对象的实体对并不能在传统方法中被合并，但一个鲁棒的多图谱KBQA系统应充分理解和应用它们之间的链接关系，因此存在很难充分地理解和应用多图谱之间的多样化链接关系以进行问答的问题。

发明内容

为解决现有存在很难充分地理解和应用多图谱之间的多样化链接关系以进行回答的问题，本发明提供了一种多知识图谱问答模型训练方法及控制系统。

本发明解决技术问题的方案是提供一种多知识图谱问答模型训练方法，包括以下步骤：

获取预设数据库，所述预设数据库包括至少两知识图谱，每个知识图谱均包括多组原始三元组，且不同知识图谱之间的原始三元组之间存在广义链接关系；

将具有广义链接关系的多组原始三元组实例化为多个查询图，并将多个查询图基于预设规则改写，得到多个改写后的查询图，改写后的查询图包括问题、对应的候选答案及所属话题；

基于知识图谱之间原始三元组的广义链接关系构建多组跨图谱三元组和负例三元组，将多组原始三元组、跨图谱三元组和负例三元组输入第一预设模型得到多组原始三元组向量、跨图谱三元组向量和负例三元组向量，并基于三种三元组向量对第一预设模型进行训练，得到训练好的第一预设模型；

将改写后的查询图中的问题输入第二预设模型得到问题语义向量，而将话题及候选答案输入训练好的第一预设模型得到话题向量和候选答案向量，并基于三种向量对第二预设模型进行训练，得到训练好的第二预设模型。

优选地，所述广义链接关系包括全链接关系和/或半链接关系。

优选地，将具有广义链接关系的多组原始三元组实例化为多个查询图，并将多个查询图基于预设规则改写，得到多个改写后的查询图，改写后的查询图包括问题、对应的候选答案及所属话题具体包括以下步骤：

获取预设的多个查询图结构模板，所述查询图结构模板具有两知识图谱存在广义链接关系的节点；

将两知识图谱的具有广义链接关系的多组三元组填入符合的查询图结构模板，得到多条查询图，所述查询图包括话题实体、变量实体及话题实体与变量实体之间的关系；

将每条查询图的变量实体进行掩盖，并将话题实体与关系部分连词成句转为问题，其中被掩盖的变量实体则为该问题的候选答案，得到每个改写后的查询图。

优选地，基于知识图谱之间原始三元组的广义链接关系构建多组跨图谱三元组和负例三元组，将多组原始三元组、跨图谱三元组和负例三元组输入第一预设模型得到多组原始三元组向量、跨图谱三元组向量和负例三元组向量，并基于三种三元组向量对第一预设模型进行训练，得到训练好的第一预设模型具体包括以下步骤：

界定其中一知识图谱的原始三元组的结构为第一头实体-第一关系-第一尾实体，另一知识图谱的原始三元组的结构为第二头实体-第二关系-第二尾实体，两知识图谱的第一头实体与第二头实体存在广义链接关系，将第二头实体和第一头实体互换，得到跨图谱三元组；

将原始三元组结构中的第一尾实体和/或第二尾实体替换成随机的尾实体，得到多个负例三元组；

将原始三元组、跨图谱三元组和负例三元组输入第一预设模型分别得到多组原始三元组向量、跨谱图三元组向量和负例三元组向量；

将多组原始三元组向量、跨图谱三元组向量和负例三元组向量输入第一预设函数，第一预设函数输出对原始三元组向量、跨图谱三元组向量和负例三元组向量的打分结果，使得对原始三元组向量和跨图谱三元组向量的打分高于对负例三元组向量的打分，并基于第一预设函数输出的打分结果训练第一预设模型，得到训练好的第一预设模型。

优选地，将改写后的查询图中的问题输入第二预设模型得到问题语义向量，而将话题及候选答案输入训练好的第一预设模型得到话题向量和候选答案向量，并基于三种向量对第二预设模型进行训练，得到训练好的第二预设模型具体包括以下步骤：

获取改写后的查询图的问题，将问题输入第二预设模型进行编码，得到问题语义向量；

将每个改写后的查询图的话题和候选答案输入训练好的第一预设模型得到话题向量和候选答案向量；

将问题语义向量、候选答案向量和话题向量输入第一预设函数，第一预设函数输出对问题语义向量、候选答案向量和话题向量的打分结果，并基于第一预设函数输出的打分结果训练第二预设模型，得到训练好的第二预设模型。

优选地，所述第一预设模型为KB embedding模型，所述第二预设模型为RoBERTa模型、BERT模型、GPT模型或ERNIE模型中的一种。

优选地，所述候选答案包括正样本候选答案和负样本候选答案。

优选地，对第一预设模型和第二预设模型进行训练的损失函数为：

；；

；

其中h_s，h_r，h_o表示原始三元组的向量；h_s ⁽ⁱ⁾代表h_s向量的第i维，hr⁽ⁱ⁾表示hr向量的第i维，h_o ⁽ⁱ⁾表示h_o向量的第i维；表示O的一个负例，λ_s,r,o表示complex函数对h_s，h_r，h_o向量的打分值。

本发明为解决上述技术问题还提供一种多知识图谱问答模型训练系统，包括以下模块：

获取模块：用于获取预设数据库，所述预设数据库包括至少两知识图谱，每个知识图谱均包括多组原始三元组，且不同知识图谱之间的原始三元组之间存在广义链接关系；

处理模块：用于将具有广义链接关系的多组原始三元组实例化为多个查询图，并将多个查询图基于预设规则改写，得到多个改写后的查询图，改写后的查询图包括问题、对应的候选答案及所属话题；

第一训练模块：用于基于知识图谱之间原始三元组的广义链接关系构建多组跨图谱三元组和负例三元组，将多组原始三元组、跨图谱三元组和负例三元组输入第一预设模型得到多组原始三元组向量、跨图谱三元组向量和负例三元组向量，并基于三种三元组向量对第一预设模型进行训练，得到训练好的第一预设模型；

第二训练模块：用于将改写后的查询图中的问题输入第二预设模型得到问题语义向量，而将话题及候选答案输入训练好的第一预设模型得到话题向量和候选答案向量，并基于三种向量对第二预设模型进行训练，得到训练好的第二预设模型。

本发明为解决上述技术问题还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的一种多知识图谱问答模型训练方法。

与现有技术相比，本发明的一种多知识图谱问答模型训练方法、系统及存储介质具有以下优点：

1、本发明的多知识图谱问答模型训练方法的步骤中当将多组原始三元组、跨图谱三元组和负例三元组输入第一预设模型，得到多组原始三元组向量、跨图谱三元组向量和负例三元组向量，然后将多组原始三元组向量、跨图谱三元组向量和负例三元组向量输入第一预设函数进行打分，在训练过程中使得第一预设函数对原始三元组和跨图谱三元组打分偏高，对负例三元组打分偏低，且其中原始三元组和跨图谱三元组的分值高于负例三元组的分值，进而得到训练好的第一预设模型，对第一预设模型训练的过程可以实现将两知识图谱的知识通过第一预设模型嵌入语义向量，其中跨图谱三元组可以涵盖多个数据源和领域，可以根据需求进行灵活的查询和分析，更好满足不同的分析需求，而负例三元组可以在对第一预设模型训练的过程中让第一预设模型学习到更多的负面信息，从而提高第一预设模型的鲁棒性和泛化能力，此外，负例三元组可以让模型更好地识别出正确的关系，进一步地，获取每个改写后的查询图中的问题，将问题输入第二预设模型得到问题语义向量，并给将每个改写后的查询图的话题及候选答案输入训练好的第一预设模型得到话题向量和候选答案向量，最后将问题语义向量、候选答案向量和话题向量输入第一预设函数进行打分，将打分的结果反馈至第二预设模型处以调节第二预设模型的参数，使得第二预设模型对问题进行编码时得到正确的问题语义向量，以训练第二预设模型，使得训练好的第二预设模型可以更好的表达问题的语义向量，从而可以在实际应用过程中可以更好地表达问题，查询速度更快，从而解决了现有存在的很难充分地理解和应用多知识图谱之间的多样化链接关系。

2、本发明的多知识图谱问答模型训练方法的全链接关系是指两个实体之间存在着完全的链接，半链接关系是指两个实体之间存在着部分的链接，这些链接可能其他的实体介入而形成，通过对全链接关系的分类可以更好地表达不同知识图谱间实体的链接关系，在训练过程中可以提高训练效率。

3、本发明的多知识图谱问答模型训练方法的步骤中先是将两知识图谱的广义链接关系的节点的预设的多个查询图结构模板，将两知识图谱具有广义链接关系的多组三元组填入对应的查询图结构模板，即可以得到多条查询图，将每条查询图中的变量实体进行掩盖，并将话题实体与关系部分连词成句转为问题，其中被掩盖的变量实体则为该问题的候选答案，则得到每个改写后的查询图，每个改写的查询图包括问题、对应候选答案及所属的话题，从而为后续对第一预设模型和第二预设模型进行训练提供了大量的语料，使得整个训练过程更加的顺畅，并且提升模型的准确性，具有较强的实用性。

4、本发明的多知识图谱问答模型训练方法步骤中由于一知识图谱的第一头实体和另一知识图谱的第二头实体存在广义链接关系，将第二头实体与第一头实体互换，进而构建得到跨图谱三元组，第二头实体-第一关系-第一尾实体，跨图谱的三元组的构建使其可以学习到两知识图谱间的广义链接关系，为后面对第一预设模型训练时提供更多的数据；也可以根据需求进行灵活的查询和分析，与此同时，将第一尾实体和第二尾实体进行随机替换，进行构建多组负例三元组，负例三元组的构建使得可以在对第一预设模型进行训练时，让第一预设模型学习到更多的负面信息，从而提高模型的鲁棒性和泛化能力，也能够让第一预设模型更好地识别正确的关系，从而提高第一预设模型的准确性和可靠性，进一步地，将多组原始三元组、跨图谱三元组和负例三元组输入第一预设模型，得到其对应的向量，最后将多组原始三元组向量、跨图谱三元组向量和负例三元组向量输入第一预设函数，第一预设函数对其进行打分，并基于第一预设函数输出的打分结果训练第一预设模型，训练过程中使得对原始三元组和跨图谱三元组向量高于负例三元组向量的分值，最后得到训练好的第一预设模型，训练好的第一预设模型可以方便后续得到具有语义表达的向量，从而方便后续的第二预设模型学习到问题语义表达，从而训练得到准确性更高的模型，具有较强的实用性。

5、本发明的多知识图谱问答模型训练方法的步骤中先是获取改写后的查询图的问题，将问题输入第二预设模型进行编码，得到问题语义向量，将每个改写后的查询图的话题和候选答案输入训练好的第一预设模型得到话题向量和候选答案向量，最终将问题语义向量、话题向量和候选答案向量输入第一预设函数，第一预设函数对其进行打分，并通过调节第二预设模型的参数，以得到正确的问题的语义向量，也方便后续在应用第二预设模型时，可以更好识别问题，以得到正确性更高的候选答案。

6、本发明的多知识图谱问答模型训练方法的第一预设模型为KBembedding模型，第二预设模型可以为RoBERTa模型、BERT模型、GPT模型或ERNIE模型中的任一种，RoBERTa模型是BERT模型的改进版本，具有较好的语言推理功能，可以进行更多的预训练任务，性能更强；而BERT模型使用了Tansformer编码器，并采用预训练方式，可以在更大的数据集上进行训练，以提高模型的表现，BERT模型可以用来进行文本分类、命名实体识别和问答任务；GPT模型是基于Transformer解码器，在文本生成领域的任务中表现更好，可以生成自然流畅的文本；ERNIE模型是面向中文自然语言处理任务的预训练语言模型，采用了更大的数据集和更多的训练任务，此外，该模型也可以用于情感分析及中文文本分类等一些任务，这些模型都可以输出可以表示实体或关系的语义向量，都可以用于知识图谱问答任务中，具有较强的实用性。

7、本发明的多知识图谱问答模型训练方法的候选答案包括正样本候选答案和负样本候选答案，正样本的候选答案可以在对第二预设模型的训练过程中学习到正确的信息，负样本候选答案的构建可以让第二预设模型学习到更多的负面信息，从而提高第二预设模型的鲁棒性和泛化能力，也能使得让第二预设模型能够更好的识别正确的关系，正样本和负样本的候选答案有助于训练第二预设模型的泛化能力，实用性较强。

8、本发明还提供一种多知识图谱问答模型训练系统和一种存储介质，具有与上述多知识图谱问答模型训练方法相同的有益效果，在此不做赘述。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明第一实施例提供的一种多知识图谱问答模型训练方法的步骤流程图。

图2是本发明第一实施例提供的一种多知识图谱问答模型训练方法之步骤S2的具体步骤流程图。

图3是本发明第一实施例提供的一种多知识图谱问答模型训练方法之步骤S3的具体步骤流程图。

图4是本发明第一实施例提供的一种多知识图谱问答模型训练方法之步骤S4的具体步骤流程图。

图5是本发明第二实施例提供的一种多知识图谱问答模型训练系统的框图。

附图标识说明：

1、多知识图谱问答模型训练系统；

10、获取模块；20、处理模块；30、第一训练模块；40、第二训练模块。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，本发明第一实施例提供一种多知识图谱问答模型训练方法，包括以下步骤：

S1：获取预设数据库，预设数据库包括至少两知识图谱，每个知识图谱均包括多组原始三元组，且不同知识图谱之间的原始三元组之间存在广义链接关系；

S2：将具有广义链接关系的多组原始三元组实例化为多个查询图，并将多个查询图基于预设规则改写，得到多个改写后的查询图，改写后的查询图包括问题、对应的候选答案及所属话题；

S3：基于知识图谱之间原始三元组的广义链接关系构建多组跨图谱三元组和负例三元组，将多组原始三元组、跨图谱三元组和负例三元组输入第一预设模型得到多组原始三元组向量、跨图谱三元组向量和负例三元组向量，并基于三种三元组向量对第一预设模型进行训练，得到训练好的第一预设模型；

S4：获取将改写后的查询图中的问题输入第二预设模型得到问题语义向量，而将话题及候选答案输入训练好的第一预设模型得到话题向量和候选答案向量，并基于三种向量对第二预设模型进行训练，得到训练好的第二预设模型。

可以理解地，本发明的步骤中当将多组原始三元组、跨图谱三元组和负例三元组输入第一预设模型，得到多组原始三元组向量、跨图谱三元组向量和负例三元组向量，然后将多组原始三元组向量、跨图谱三元组向量和负例三元组向量输入第一预设函数进行打分，在训练过程中使得第一预设函数对原始三元组和跨图谱三元组打分偏高，对负例三元组打分偏低，且其中原始三元组和跨图谱三元组的分值高于负例三元组的分值，进而得到训练好的第一预设模型，对第一预设模型训练的过程可以实现将两知识图谱的知识通过第一预设模型嵌入语义向量，其中跨图谱三元组可以涵盖多个数据源和领域，可以根据需求进行灵活的查询和分析，更好满足不同的分析需求，而负例三元组可以在对第一预设模型训练的过程中让第一预设模型学习到更多的负面信息，从而提高第一预设模型的鲁棒性和泛化能力，此外，负例三元组可以让模型更好地识别出正确的关系，进一步地，获取每个改写后的查询图中的问题，将问题输入第二预设模型得到问题语义向量，并给将每个改写后的查询图的话题及候选答案输入训练好的第一预设模型得到话题向量和候选答案向量，最后将问题语义向量、候选答案向量和话题向量输入第一预设函数进行打分，将打分的结果反馈至第二预设模型处以调节第二预设模型的参数，使得第二预设模型对问题进行编码时得到正确的问题语义向量，以训练第二预设模型，使得训练好的第二预设模型可以更好的表达问题的语义向量，从而可以在实际应用过程中可以更好地表达问题，查询速度更快，从而解决了现有存在的很难充分地理解和应用多知识图谱之间的多样化链接关系。

进一步地，作为一种可选的实施方式，广义链接关系包括全链接关系和/或半链接关系。

可以理解地，本发明的全链接关系是指两个实体之间存在着完全的链接，半链接关系是指两个实体之间存在着部分的链接，这些链接可能其他的实体介入而形成，通过对全链接关系的分类可以更好地表达不同知识图谱间实体的链接关系，在训练过程中可以提高训练效率。

请参阅图2，步骤S2的具体步骤如下：

S21：获取预设的多个查询图结构模板，查询图结构模板具有两知识图谱存在广义链接关系的节点；

S22：将两知识图谱的具有广义链接关系的多组三元组填入符合的查询图结构模板，得到多条查询图，查询图包括话题实体、变量实体及话题实体与变量实体之间的关系；

S23：将每条查询图的变量实体进行掩盖，并将话题实体与关系部分连词成句转为问题，其中被掩盖的变量实体则为该问题的候选答案，得到每个改写后的查询图。

可以理解地，本发明的步骤中先是将两知识图谱的广义链接关系的节点的预设的多个查询图结构模板，将两知识图谱具有广义链接关系的多组三元组填入对应的查询图结构模板，即可以得到多条查询图，将每条查询图中的变量实体进行掩盖，并将话题实体与关系部分连词成句转为问题，其中被掩盖的变量实体则为该问题的候选答案，则得到每个改写后的查询图，每个改写的查询图包括问题、对应候选答案及所属的话题，从而为后续对第一预设模型和第二预设模型进行训练提供了大量的语料，使得整个训练过程更加的顺畅，并且提升模型的准确性，具有较强的实用性。

请参阅图3，步骤S3的具体步骤如下：

S31：界定其中一知识图谱的原始三元组的结构为第一头实体-第一关系-第一尾实体，另一知识图谱的原始三元组的结构为第二头实体-第二关系-第二尾实体，两知识图谱的第一头实体与第二头实体存在广义链接关系，将第二头实体和第一头实体互换，得到跨图谱三元组；

S32：将原始三元组结构中的第一尾实体和/或第二尾实体替换成随机的尾实体，得到多个负例三元组；

S33：将原始三元组、跨图谱三元组和负例三元组输入第一预设模型分别得到多组原始三元组向量、跨谱图三元组向量和负例三元组向量；

S34：将多组原始三元组向量、跨图谱三元组向量和负例三元组向量输入第一预设函数，第一预设函数输出对原始三元组向量、跨图谱三元组向量和负例三元组向量的打分结果，使得对原始三元组向量和跨图谱三元组向量的打分高于对负例三元组向量的打分，并基于第一预设函数输出的打分结果训练第一预设模型，得到训练好的第一预设模型。

可以理解地，本发明的步骤中由于一知识图谱的第一头实体和另一知识图谱的第二头实体存在广义链接关系，将第二头实体与第一头实体互换，进而构建得到跨图谱三元组，第二头实体-第一关系-第一尾实体，跨图谱的三元组的构建使其可以学习到两知识图谱间的广义链接关系，为后面对第一预设模型训练时提供更多的数据；也可以根据需求进行灵活的查询和分析，与此同时，将第一尾实体和第二尾实体进行随机替换，进行构建多组负例三元组，负例三元组的构建使得可以在对第一预设模型进行训练时，让第一预设模型学习到更多的负面信息，从而提高模型的鲁棒性和泛化能力，也能够让第一预设模型更好地识别正确的关系，从而提高第一预设模型的准确性和可靠性，进一步地，将多组原始三元组、跨图谱三元组和负例三元组输入第一预设模型，得到其对应的向量，最后将多组原始三元组向量、跨图谱三元组向量和负例三元组向量输入第一预设函数，第一预设函数对其进行打分，并基于第一预设函数输出的打分结果训练第一预设模型，训练过程中使得对原始三元组和跨图谱三元组向量高于负例三元组向量的分值，最后得到训练好的第一预设模型，训练好的第一预设模型可以方便后续得到具有语义表达的向量，从而方便后续的第二预设模型学习到问题语义表达，从而训练得到准确性更高的模型，具有较强的实用性。

请参阅图4，步骤S4的具体步骤如下：

S41：获取改写后的查询图的问题，将问题输入第二预设模型进行编码，得到问题语义向量；

S42：将每个改写后的查询图的话题和候选答案输入训练好的第一预设模型得到话题向量和候选答案向量；

S43：将问题语义向量、候选答案向量和话题向量输入第一预设函数，第一预设函数输出对问题语义向量、候选答案向量和话题向量的打分结果，并基于第一预设函数输出的打分结果训练第二预设模型，得到训练好的第二预设模型。

可以理解的，本发明的步骤中先是获取改写后的查询图的问题，将问题输入第二预设模型进行编码，得到问题语义向量，将每个改写后的查询图的话题和候选答案输入训练好的第一预设模型得到话题向量和候选答案向量，最终将问题语义向量、话题向量和候选答案向量输入第一预设函数，第一预设函数对其进行打分，并通过调节第二预设模型的参数，以得到正确的问题的语义向量，也方便后续在应用第二预设模型时，可以更好识别问题，以得到正确性更高的候选答案。

作为一种可选的实施方式，第一预设模型为KB embedding模型，第二预设模型为RoBERTa模型、BERT模型、GPT模型或ERNIE模型中的一种。

可以理解地，本发明的第一预设模型为KBembedding模型，第二预设模型可以为RoBERTa模型、BERT模型、GPT模型或ERNIE模型中的任一种，RoBERTa模型是BERT模型的改进版本，具有较好的语言推理功能，可以进行更多的预训练任务，性能更强；而BERT模型使用了Tansformer编码器，并采用预训练方式，可以在更大的数据集上进行训练，以提高模型的表现，BERT模型可以用来进行文本分类、命名实体识别和问答任务；GPT模型是基于Transformer解码器，在文本生成领域的任务中表现更好，可以生成自然流畅的文本；ERNIE模型是面向中文自然语言处理任务的预训练语言模型，采用了更大的数据集和更多的训练任务，此外，该模型也可以用于情感分析及中文文本分类等一些任务，这些模型都可以输出可以表示实体或关系的语义向量，都可以用于知识图谱问答任务中，具有较强的实用性。

作为一种可选的实施方式，候选答案包括正样本候选答案和负样本候选答案。

可以理解地，本发明的候选答案包括正样本候选答案和负样本候选答案，正样本的候选答案可以在对第二预设模型的训练过程中学习到正确的信息，负样本候选答案的构建可以让第二预设模型学习到更多的负面信息，从而提高第二预设模型的鲁棒性和泛化能力，也能使得让第二预设模型能够更好的识别正确的关系，正样本和负样本的候选答案有助于训练第二预设模型的泛化能力，实用性较强。

作为一种可选的实施方式，第一预设函数为：

;

其中hs，hr，ho表示原始三元组的向量。

进一步地，对第一预设模型和第二预设模型进行训练的损失函数为：

;;

;

其中h_s，h_r，h_o表示原始三元组的向量；h_s ⁽ⁱ⁾代表h_s向量的第i维，hr⁽ⁱ⁾表示hr向量的第i维，h_o ⁽ⁱ⁾表示h_o向量的第i维；表示O的一个负例，λ_s,r,o表示complex函数对h_s，h_r，h_o向量的打分值。

请参阅图5，本发明的第二实施例提供一种多知识图谱问答模型训练系统1，包括以下模块：

获取模块10：用于获取预设数据库，预设数据库包括至少两知识图谱，每个知识图谱均包括多组原始三元组，且不同知识图谱之间的原始三元组之间存在广义链接关系；

处理模块20：用于将具有广义链接关系的多组原始三元组实例化为多个查询图，并将多个查询图基于预设规则改写，得到多个改写后的查询图，改写后的查询图包括问题、对应的候选答案及所属话题；

第一训练模块30：用于基于知识图谱之间原始三元组的广义链接关系构建多组跨图谱三元组和负例三元组，将多组原始三元组、跨图谱三元组和负例三元组输入第一预设模型得到多组原始三元组向量、跨图谱三元组向量和负例三元组向量，并基于三种三元组向量对第一预设模型进行训练，得到训练好的第一预设模型；

第二训练模块40：用于将改写后的查询图中的问题输入第二预设模型得到问题语义向量，而将话题及候选答案输入训练好的第一预设模型得到话题向量和候选答案向量，并基于三种向量对第二预设模型进行训练，得到训练好的第二预设模型。

可以理解地，该基于多知识图谱问答模型训练系统1的模块在运作时，需要利用到第一实施例提供的一种多知识图谱问答模型训练方法，因此无论将获取模块10、处理模块20、第一训练模块30、第二训练模块40予于整合或者配置不同的硬件产生与本发明所实现效果相似的功能，均属于本发明的保护范围内。

本发明第三实施例提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本发明第一实施例提供的一种多知识图谱问答模型训练方法。

可以理解地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者存储介质或者是上述两者的任意组合。存储介质例如包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

在本发明所提供的实施例中，应理解，“与A对应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在本发明的附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方案中，方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，在此基于涉及的功能而确定。需要特别注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

与现有技术相比，本发明的一种多知识图谱问答模型训练方法、系统及存储介质具有以下优点：

1、本发明的多知识图谱问答模型训练方法的步骤中当将多组原始三元组、跨图谱三元组和负例三元组输入第一预设模型，得到多组原始三元组向量、跨图谱三元组向量和负例三元组向量，然后将多组原始三元组向量、跨图谱三元组向量和负例三元组向量输入第一预设函数进行打分，在训练过程中使得第一预设函数对原始三元组和跨图谱三元组打分偏高，对负例三元组打分偏低，且其中原始三元组和跨图谱三元组的分值高于负例三元组的分值，进而得到训练好的第一预设模型，对第一预设模型训练的过程可以实现将两知识图谱的知识通过第一预设模型嵌入语义向量，其中跨图谱三元组可以涵盖多个数据源和领域，可以根据需求进行灵活的查询和分析，更好满足不同的分析需求，而负例三元组可以在对第一预设模型训练的过程中让第一预设模型学习到更多的负面信息，从而提高第一预设模型的鲁棒性和泛化能力，此外，负例三元组可以让模型更好地识别出正确的关系，进一步地，获取每个改写后的查询图中的问题，将问题输入第二预设模型得到问题语义向量，并给将每个改写后的查询图的话题及候选答案输入训练好的第一预设模型得到话题向量和候选答案向量，最后将问题语义向量、候选答案向量和话题向量输入第一预设函数进行打分，将打分的结果反馈至第二预设模型处以调节第二预设模型的参数，使得第二预设模型对问题进行编码时得到正确的问题语义向量，以训练第二预设模型，使得训练好的第二预设模型可以更好的表达问题的语义向量，从而可以在实际应用过程中可以更好地表达问题，查询速度更快，从而解决了现有存在的很难充分地理解和应用多知识图谱之间的多样化链接关系。

2、本发明的多知识图谱问答模型训练方法的全链接关系是指两个实体之间存在着完全的链接，半链接关系是指两个实体之间存在着部分的链接，这些链接可能其他的实体介入而形成，通过对全链接关系的分类可以更好地表达不同知识图谱间实体的链接关系，在训练过程中可以提高训练效率。

3、本发明的多知识图谱问答模型训练方法的步骤中先是将两知识图谱的广义链接关系的节点的预设的多个查询图结构模板，将两知识图谱具有广义链接关系的多组三元组填入对应的查询图结构模板，即可以得到多条查询图，将每条查询图中的变量实体进行掩盖，并将话题实体与关系部分连词成句转为问题，其中被掩盖的变量实体则为该问题的候选答案，则得到每个改写后的查询图，每个改写的查询图包括问题、对应候选答案及所属的话题，从而为后续对第一预设模型和第二预设模型进行训练提供了大量的语料，使得整个训练过程更加的顺畅，并且提升模型的准确性，具有较强的实用性。

4、本发明的多知识图谱问答模型训练方法步骤中由于一知识图谱的第一头实体和另一知识图谱的第二头实体存在广义链接关系，将第二头实体与第一头实体互换，进而构建得到跨图谱三元组，第二头实体-第一关系-第一尾实体，跨图谱的三元组的构建使其可以学习到两知识图谱间的广义链接关系，为后面对第一预设模型训练时提供更多的数据；也可以根据需求进行灵活的查询和分析，与此同时，将第一尾实体和第二尾实体进行随机替换，进行构建多组负例三元组，负例三元组的构建使得可以在对第一预设模型进行训练时，让第一预设模型学习到更多的负面信息，从而提高模型的鲁棒性和泛化能力，也能够让第一预设模型更好地识别正确的关系，从而提高第一预设模型的准确性和可靠性，进一步地，将多组原始三元组、跨图谱三元组和负例三元组输入第一预设模型，得到其对应的向量，最后将多组原始三元组向量、跨图谱三元组向量和负例三元组向量输入第一预设函数，第一预设函数对其进行打分，并基于第一预设函数输出的打分结果训练第一预设模型，训练过程中使得对原始三元组和跨图谱三元组向量高于负例三元组向量的分值，最后得到训练好的第一预设模型，训练好的第一预设模型可以方便后续得到具有语义表达的向量，从而方便后续的第二预设模型学习到问题语义表达，从而训练得到准确性更高的模型，具有较强的实用性。

5、本发明的多知识图谱问答模型训练方法的步骤中先是获取改写后的查询图的问题，将问题输入第二预设模型进行编码，得到问题语义向量，将每个改写后的查询图的话题和候选答案输入训练好的第一预设模型得到话题向量和候选答案向量，最终将问题语义向量、话题向量和候选答案向量输入第一预设函数，第一预设函数对其进行打分，并通过调节第二预设模型的参数，以得到正确的问题的语义向量，也方便后续在应用第二预设模型时，可以更好识别问题，以得到正确性更高的候选答案。

6、本发明的多知识图谱问答模型训练方法的第一预设模型为KB embedding模型，第二预设模型可以为RoBERTa模型、BERT模型、GPT模型或ERNIE模型中的任一种，RoBERTa模型是BERT模型的改进版本，具有较好的语言推理功能，可以进行更多的预训练任务，性能更强；而BERT模型使用了Tansformer编码器，并采用预训练方式，可以在更大的数据集上进行训练，以提高模型的表现，BERT模型可以用来进行文本分类、命名实体识别和问答任务；GPT模型是基于Transformer解码器，在文本生成领域的任务中表现更好，可以生成自然流畅的文本；ERNIE模型是面向中文自然语言处理任务的预训练语言模型，采用了更大的数据集和更多的训练任务，此外，该模型也可以用于情感分析及中文文本分类等一些任务，这些模型都可以输出可以表示实体或关系的语义向量，都可以用于知识图谱问答任务中，具有较强的实用性。

7、本发明的多知识图谱问答模型训练方法的候选答案包括正样本候选答案和负样本候选答案，正样本的候选答案可以在对第二预设模型的训练过程中学习到正确的信息，负样本候选答案的构建可以让第二预设模型学习到更多的负面信息，从而提高第二预设模型的鲁棒性和泛化能力，也能使得让第二预设模型能够更好的识别正确的关系，正样本和负样本的候选答案有助于训练第二预设模型的泛化能力，实用性较强。

8、本发明还提供一种多知识图谱问答模型训练系统和一种存储介质，具有与上述多知识图谱问答模型训练方法相同的有益效果，在此不做赘述。

以上对本发明实施例公开的一种多知识图谱问答模型训练方法、系统及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制，凡在本发明的原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

Claims (10)

1.一种多知识图谱问答模型训练方法，其特征在于：包括以下步骤：

获取预设数据库，所述预设数据库包括至少两知识图谱，每个知识图谱均包括多组原始三元组，且不同知识图谱之间的原始三元组之间存在广义链接关系；

将具有广义链接关系的多组原始三元组实例化为多个查询图，并将多个查询图基于预设规则改写，得到多个改写后的查询图，改写后的查询图包括问题、对应的候选答案及所属话题；

基于知识图谱之间原始三元组的广义链接关系构建多组跨图谱三元组和负例三元组，将多组原始三元组、跨图谱三元组和负例三元组输入第一预设模型得到多组原始三元组向量、跨图谱三元组向量和负例三元组向量，并基于三种三元组向量对第一预设模型进行训练，得到训练好的第一预设模型；

将改写后的查询图中的问题输入第二预设模型得到问题语义向量，而将话题及候选答案输入训练好的第一预设模型得到话题向量和候选答案向量，并基于三种向量对第二预设模型进行训练，得到训练好的第二预设模型。

2.如权利要求1所述的多知识图谱问答模型训练方法，其特征在于：所述广义链接关系包括全链接关系和/或半链接关系。

3.如权利要求1所述的多知识图谱问答模型训练方法，其特征在于：将具有广义链接关系的多组原始三元组实例化为多个查询图，并将多个查询图基于预设规则改写，得到多个改写后的查询图，改写后的查询图包括问题、对应的候选答案及所属话题具体包括以下步骤：

获取预设的多个查询图结构模板，所述查询图结构模板具有两知识图谱存在广义链接关系的节点；

将两知识图谱的具有广义链接关系的多组三元组填入符合的查询图结构模板，得到多条查询图，所述查询图包括话题实体、变量实体及话题实体与变量实体之间的关系；

将每条查询图的变量实体进行掩盖，并将话题实体与关系部分连词成句转为问题，其中被掩盖的变量实体则为该问题的候选答案，得到每个改写后的查询图。

4.如权利要求1所述的多知识图谱问答模型训练方法，其特征在于：基于知识图谱之间原始三元组的广义链接关系构建多组跨图谱三元组和负例三元组，将多组原始三元组、跨图谱三元组和负例三元组输入第一预设模型得到多组原始三元组向量、跨图谱三元组向量和负例三元组向量，并基于三种三元组向量对第一预设模型进行训练，得到训练好的第一预设模型具体包括以下步骤：

界定其中一知识图谱的原始三元组的结构为第一头实体-第一关系-第一尾实体，另一知识图谱的原始三元组的结构为第二头实体-第二关系-第二尾实体，两知识图谱的第一头实体与第二头实体存在广义链接关系，将第二头实体和第一头实体互换，得到跨图谱三元组；

将原始三元组结构中的第一尾实体和/或第二尾实体替换成随机的尾实体，得到多个负例三元组；

将原始三元组、跨图谱三元组和负例三元组输入第一预设模型分别得到多组原始三元组向量、跨谱图三元组向量和负例三元组向量；

将多组原始三元组向量、跨图谱三元组向量和负例三元组向量输入第一预设函数，第一预设函数输出对原始三元组向量、跨图谱三元组向量和负例三元组向量的打分结果，使得对原始三元组向量和跨图谱三元组向量的打分高于对负例三元组向量的打分，并基于第一预设函数输出的打分结果训练第一预设模型，得到训练好的第一预设模型。

5.如权利要求1所述的多知识图谱问答模型训练方法，其特征在于：将改写后的查询图中的问题输入第二预设模型得到问题语义向量，而将话题及候选答案输入训练好的第一预设模型得到话题向量和候选答案向量，并基于三种向量对第二预设模型进行训练，得到训练好的第二预设模型具体包括以下步骤：

获取改写后的查询图的问题，将问题输入第二预设模型进行编码，得到问题语义向量；

将每个改写后的查询图的话题和候选答案输入训练好的第一预设模型得到话题向量和候选答案向量；

将问题语义向量、候选答案向量和话题向量输入第一预设函数，第一预设函数输出对问题语义向量、候选答案向量和话题向量的打分结果，并基于第一预设函数输出的打分结果训练第二预设模型，得到训练好的第二预设模型。

6.如权利要求5所述的多知识图谱问答模型训练方法，其特征在于：所述第一预设模型为KB embedding模型，所述第二预设模型为RoBERTa模型、BERT模型、GPT模型或ERNIE模型中的一种。

7.如权利要求5所述的多知识图谱问答模型训练方法，其特征在于：所述候选答案包括正样本候选答案和负样本候选答案。

8.如权利要求1所述的多知识图谱问答模型训练方法，其特征在于：对第一预设模型和第二预设模型进行训练的损失函数为：

;;;

其中h_s，h_r，h_o表示原始三元组的向量；h_s ⁽ⁱ⁾代表h_s向量的第i维，hr⁽ⁱ⁾表示hr向量的第i维，h_o ⁽ⁱ⁾表示h_o向量的第i维；表示O的一个负例，λ_s,r,o表示complex函数对h_s，h_r，h_o向量的打分值。

9.一种多知识图谱问答模型训练系统，其特征在于：包括以下模块：

获取模块：用于获取预设数据库，所述预设数据库包括至少两知识图谱，每个知识图谱均包括多组原始三元组，且不同知识图谱之间的原始三元组之间存在广义链接关系；

处理模块：用于将具有广义链接关系的多组原始三元组实例化为多个查询图，并将多个查询图基于预设规则改写，得到多个改写后的查询图，改写后的查询图包括问题、对应的候选答案及所属话题；

第一训练模块：用于基于知识图谱之间原始三元组的广义链接关系构建多组跨图谱三元组和负例三元组，将多组原始三元组、跨图谱三元组和负例三元组输入第一预设模型得到多组原始三元组向量、跨图谱三元组向量和负例三元组向量，并基于三种三元组向量对第一预设模型进行训练，得到训练好的第一预设模型；

第二训练模块：用于将改写后的查询图中的问题输入第二预设模型得到问题语义向量，而将话题及候选答案输入训练好的第一预设模型得到话题向量和候选答案向量，并基于三种向量对第二预设模型进行训练，得到训练好的第二预设模型。

10.一种存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-8任意一项所述的一种多知识图谱问答模型训练方法。

Images