CN114547267A - 智能问答模型的生成方法、装置、计算设备和存储介质 - Google Patents

Abstract

本发明提供了一种智能问答模型的生成方法，包括：扩充原始样本数据集以使存在与所述原始样本数据集中问题对应的正样本，生成新样本数据集；将生成的新样本数据集输入到现有问答模型中，所述现有问答模型从新样本数据集中的知识库和文档中获取与问题相关的特征编码，并计算现有问答模型的损失L_qa；将获得的特征编码加入到改进的对比学习模型中，分别计算出真样本与新样本数据集中的困难正、负样本之间的相似度，得出对比损失L_cl；将现有问答模型的损失L_qa和对比损失L_cl进行结合，得到最终问答模型的损失L，并训练最终问答模型。本发明在现有问答模型加入对比学习模型，模型泛化能力更强，同时在知识库问答取得的效果相比于传统的方法更好。

Description

智能问答模型的生成方法、装置、计算设备和存储介质

技术领域

本发明涉及自然语言处理领域，特别涉及一种智能问答模型的生成方法、装置、计算设备和可存储介质。

背景技术

在基于自然语言的问答系统中，知识库是回答事实问题的必要资源，知识库又可以被称为知识图谱，在各大浏览器和推荐算法上得以应用广泛，比如谷歌浏览器有GoogleKnowledge Graph，微软的Bing搜索有Bing Satori，百度的百度知识图谱，以及在推荐系统Facebook中的Facebook Social Graph和淘宝中的Alicoco等等。

知识库中往往包含了很多三元组信息，每条三元组信息都描述着一个事实，一般三元组的形式表示包括两种形式：(头实体，关系，尾实体)和(实体，属性，值)。以第一种形式为例，“中国的首都是北京”这个自然语言中，用三元组的形式可以表达为(中国，首都，北京)。

随着互联网技术的高速发展，知识库的信息也呈现出爆炸式的增长趋势。目前在互联网领域的知识库问答模型中，用户一般是通过自然语言的方式提出问题并输入知识库问答模型，问答模型对用户提出的问题进行语义分析和输出，然后利用知识库中的信息进行查询和匹配，进而给出答案。

然而，目前基于知识库问答模型对于知识库信息的理解并不深入，即知识库中可能缺乏关键性的，能用于正确回答问题的知识，导致问答模型的答案准确率较低，问答模型有待于进一步提升。

发明内容

本发明实施例的目的是提供一种智能问答模型的生成方法、装置、终端设备和可存储介质，解决知识库问答中的精确度问题。

为了实现前述发明目的，本发明实施例提供的技术方案如下：

第一方面，本发明实施例提供了一种智能问答模型的生成方法，所述方法包括：

扩充原始样本数据集以使存在与所述原始样本数据集中问题对应的正样本，生成新样本数据集，其中所述正样本定义为原始样本数据集答案相同的问题，原始样本数据集答案不相同的问题定义为负样本；

将生成的新样本数据集输入到现有问答模型中，所述现有问答模型从新样本数据集中的知识库和文档中获取与问题相关的特征编码，并计算现有问答模型的损失L_qa；

将获得的特征编码加入到改进的对比学习模型中，分别计算出真样本与新样本数据集中的困难正、负样本之间的相似度，得出对比损失L_cl；

采用线性融合将现有问答模型的损失L_qa和对比损失L_cl进行结合，得到最终问答模型的损失L，并训练得到所述最终问答模型。

具体的，所述扩充原始样本数据集以使存在与所述原始样本数据集中问题对应的正样本，生成新样本数据集具体包括：

根据原始样本数据集中的问题和知识库三元组信息，生成与原始样本数据集中的问题对应的正样本，其中将原始样本数据集中答案相同的问题定义为正样本，答案不同的定义为负样本；

针对每一条数据样本生成三条正样本，得到新样本数据集，其中，原始样本数据集为公共的问答数据集WebQuestionSP。

具体的，所述现有问答模型从新样本数据集中的知识库和文档中获取与问题相关的特征编码具体包括：

现有问答模型对问题、知识库三元组信息和文档信息分别进行编码，分别得到它们的语义表达q，KB_i和doc_j，其中，KB_i表示知识库中第i个子图的语义表达，i＝1，2，..，l_kb，l_kb表示知识库中子图的总数；doc_j表示文档中第j个子图的语义表达，j＝1，2，..，l_doc，l_doc表示文档的总数；

利用LSTM注意力编码器对问题进行编码，获得问题特征向量

获得知识库的实体特征向量和文档的实体特征向量；

根据知识库的实体特征向量和文档的实体特征向量获得与问题相关的实体特征向量ent；

将所述问题特征向量

实体特征向量ent作为特征编码。

具体的，所述将获得的正样本利用动量更新编码器进行编码，具体包括：

将原始样本数据集标记为真样本x^query，计算所述真样本x^query的特征向量query，其中

将扩充的三条正样本数据标记为

计算正样本的特征向量(k₁，k₂，k₃)，其中，

θ_k←mθ_k+(1-m)θ_q，m∈[0，1)

其中f_q＝encoder，f_k＝moment encoder为现有问答模型和动量更新编码器，前者模型参数θ_q采用反向传播更新，后者模型参数θ_k采用动量更新方程，m为动量更新参数。

具体的，所述将获得的特征编码加入到改进的对比学习模型中，分别计算出真样本与新样本数据集中的困难正、负样本之间的相似度，得出对比损失L_cl，之后采用线性融合将现有问答模型的损失L_qa和对比损失L_cl进行结合，得到最终问答模型的损失L具体包括：

定义一个负样本队列Z_neg＝{z₁，z₂，...，z_K}，其中z_i表示样本数据集中的第i个负样本，K表示负样本队列的个数。

具体来说，困难正样本向量k_hard是所有正样本中和真样本最不相似的样本。这里本发明实施例提出了一种正推法来获取困难正样本，该方法通过计算真样本与正样本之间的余弦相似度，并最终提取相似度最小的正样本作为k_hard：

对于负样本向量，本发明实施例提出了一种新的方法(负融法)，即将正样本和真样本进行线性融合后形成新的困难负样本向量

然后更新进负样本队列Z_neg。具体公式表示如下：

其中，λ表示分配权重。

与提取困难正样本相反，困难负样本队列

是所有负样本队列Z_neg中与真样本最相似的那一部分样本。首先对Z_neg按照负样本和真样本的相似度进行从大到小的排序，即：||query||||z_i||＞||query||||z_j||，(i＜j)，之后只抽取Top-K个相似度最大的负样本来组成

满足：

其中λ_neg是一个人为设定的超参。通过实验发现λ_neg＝0.95时的

可以达到与完整的Z_neg相同甚至更好的实验效果，而本发明实施例的困难负样本队列个数仅为2000，该个数远远小于K。

根据上面得到的困难负样本队列向量

和困难正样本向量k_hard，本发明实施例再提出如下改进后的对比损失函数L_cl，

最终的模型损失函数L，

L＝λ_qaL_qa+λ_clL_cl

其中，τ为一个常数，λ_qa和λ_cl分别表示问答模型和对比模型的损失权重。

第二方面，本发明实施例提供了一种智能问答模型的生成装置，所述装置包括：

样本集生成模块，用于扩充原始样本数据集以使存在与所述原始样本数据集中问题对应的正样本，生成新样本数据集，其中所述正样本定义为原始样本数据集答案相同的问题，原始样本数据集答案不相同的问题定义为负样本；

编码模块，用于将生成的新样本数据集输入到现有问答模型中，所述现有问答模型从新样本数据集中的知识库和文档中获取与问题相关的特征编码，并计算现有问答模型的损失L_qa；

对比模块，用于将获得的特征编码加入到改进的对比学习模型中，分别计算出真样本与新样本数据集中的困难正、负样本之间的相似度，得出对比损失L_cl；

训练模块，用于采用线性融合将现有问答模型的损失L_qa和对比损失L_cl进行结合，得到最终问答模型的损失L，并训练得到所述最终问答模型。

优选的，所述编码模块具体包括：

第一编码单元，用于现有问答模型对问题、知识库三元组信息和文档信息分别进行编码，分别得到它们的语义表达q，KB_i和doc_j，其中，KB_i表示知识库中第i个子图的语义表达，i＝1，2，..，l_kb，这里l_kb表示知识库中子图的总数；doc_j表示文档中第j个子图的语义表达，j＝1，2，..，l_doc，l_doc表示文档的总数；

第二编码单元，用于利用LSTM注意力编码器对问题进行编码，获得问题特征向量

第一向量获取单元，用于获得知识库的实体特征向量和文档的实体特征向量；

第二向量获取单元，用于根据知识库的实体特征向量和文档的实体特征向量获得与问题相关的实体特征向量ent，将所述问题特征向量

实体特征向量ent作为特征编码。

第三方面，本发明实施例提供了一种计算设备，所述计算设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如前所述的智能问答模型的生成方法.

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如前所述的智能问答模型的生成方法。

本发明实施例在现有问答模型加入对比学习模型，使得新的问答模型的模型泛化能力更强，而且传统的对比学习在更新负样本队列时只简单地将正样本对已有的负样本进行替代，无法有效地保留困难正负样本，从而导致优化的效率和性能下降，在本发明实施例中针对样本还提出了正推法和负融法，该方法能有效的提取困难正负样本，摒弃了动辄上万的负样本队列(本发明只需要传统负队列的3％个数左右)，不仅极大地提高了时间和空间效率，还改进了模型的性能。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，本发明实施例的智能问答模型生成方法、装置、终端设备和可存储介质的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1为本发明实施例智能问答模型的生成方法的整体模型框架示意图；

图2为本发明实施例智能问答模型的生成方法的数据扩充示意图；

图3为本发明实施例智能问答模型的生成方法的问答模型示意图；

图4为本发明实施例智能问答模型的生成方法的对比学习模型示意图；

图5为本发明实施例智能问答模型的生成方法的计算设备示意图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘制了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

为了实现前述发明目的，本发明实施例提供的技术方案如下：

如图1所示，本发明实施例提供了一种智能问答模型的生成方法，所述方法包括：

S1.扩充原始样本数据集以使存在与所述原始样本数据集中问题对应的正样本，生成新样本数据集，其中所述正样本定义为原始样本数据集答案相同的问题，原始样本数据集答案不相同的问题定义为负样本；

S2.将生成的新样本数据集输入到现有问答模型中，所述现有问答模型从新样本数据集中的知识库和文档中获取与问题相关的特征编码，并计算现有问答模型的损失L_qa；

S3.将获得的特征编码加入到对比学习模型中，分别计算出真样本与新样本数据集中的正、负样本之间的相似度，得出对比损失L_cl；

S4.采用线性融合将现有问答模型的损失L_qa和对比损失L_cl进行结合，得到最终问答模型的损失L，并训练得到所述最终问答模型。

如图2所示，首先进行数据集的扩充，然后传入图3的问答模型中输出问题与相关实体的特征编码，之后将特征编码传入图4的对比模型中，计算出损失函数，并利用图2的问答模型预测最终答案。

首先，扩充原始样本数据集，使得原始样本数据集存在正样本与之对应，其具体为：利用原始样本数据集中的问题和知识库三元组信息，生成与原始样本数据集中的问题对应的正样本，其中将原始样本数据集中答案相同的问题定义为正样本，答案不同的定义为负样本，并且针对每一条数据样本生成三条正样本，得到新的样本数据集，其中，原始样本数据集为公共的问答数据集WebQuestionSP。

将生成的新样本数据集加入到现有问答模型中，所述现有问答模型从新的样本数据集中的知识库和文档中获取与问题相关的特征编码，并计算出现有问答模型的损失，其具体为：

将新的样本数据集输入到现有问答模型中，其中，所述现有问答模型主要包括：基于知识库的问题理解SGReader(·)和基于文档的问题理解KAReader(·)；

利用glove模型对问题、知识库三元组信息和文档信息分别进行编码，分别得到它们的语义表达q，KB_i和doc_j，其中，KB_i表示知识库中第i个子图的语义表达，i＝1，2，..，l_kb，这里l_kb表示知识库中子图的总数；doc_j表示文档中第j个子图的语义表达，j＝1，2，..，l_doc，l_doc表示文档的总数；

利用LSTM注意力编码器对问题进行编码，获得问题特征向量

按照如下公式获得与问题相关的实体特征向量ent、每个实体信息作为答案的概率s_e和问答模型的损失L_qa，

ent＝[e_kb；e_d]

L_qa＝bce(s_e，answer)

其中，e_kb表示知识库的实体特征向量，e_d表示文档的实体特征向量，两者拼接形成实体特征向量ent，σ_s(·)表示激活函数，W_s表示一个训练权重矩阵，bce(·)表示二进制交叉熵函数。

将获得的问题特征向量

实体特征向量ent加入到改进的对比学习模型中，分别计算出真样本与新的样本数据集中的困难正、负样本之间的相似度，从而得出对比损失，然后采用线性融合方式将问答模型的损失L_qa和对比损失L_cl结合，得到最终整体模型的损失L并训练模型，最后利用问答模型进行答案预测和生成，其具体步骤为：

将新的样本数据集分开，其中原始样本数据集标记为真样本x^query，扩充的三条正样本数据标记为

按照如下公式分别计算出真样本和正样本的特征向量query和(k₁，k₂，k₃)，

θ_k←mθ_k+(1-m)θ_q，m∈[0，1)

其中f_q＝encoder，f_k＝moment encoder为现有问答模型和动量编码器，前者模型参数θ_q采用反向传播更新，后者模型参数θ_k采用动量更新方程，m为动量更新参数；真样本特征向量query是由真样本x^query利用问题特征向量

和实体特征向量ent拼接而成，同理得到正样本特征向量为(k₁，k₂，k₃)。

定义一个负样本队列Z_neg＝{z₁，z₂，...，z_K}，其中z_i表示样本数据集中的第i个负样本，K表示负样本队列的个数。传统对比学习方法中K是一个人为设定的超参，一般为60000，但冗长的队列增加了计算和存储成本。相较于传统的对比学习，本发明实施例创新地提出了困难正负样本的概念，并只使用困难正负样本进行对比学习。该方案极大地简化了原有的学习过程，提高了优化效率和模型性能。

具体来说，困难正样本向量k_hard是所有正样本中和真样本最不相似的样本。这里本发明实施例提出了一种正推法来获取困难正样本，该方法通过计算真样本与正样本之间的余弦相似度，并最终提取相似度最小的正样本作为k_hard：

对于负样本向量，本发明实施例提出了一种新的方法(负融法)，即将正样本和真样本进行线性融合后形成新的困难负样本向量

然后更新进负样本队列Z_neg。具体公式表示如下：

其中，λ表示分配权重。

与提取困难正样本相反，困难负样本队列

是所有负样本队列Z_neg中与真样本最相似的那一部分样本。首先对Z_neg按照负样本和真样本的相似度进行从大到小的排序，即：||query||||z_i||＞||query||||z_j||，(i＜j)，之后只抽取Top-K个相似度最大的负样本来组成

满足：

其中λ_neg是一个人为设定的超参。通过实验发现λ_neg＝0.95时的

可以达到与完整的Z_neg相同甚至更好的实验效果，而本发明实施例的困难负样本队列个数仅为2000，该个数远远小于K。

根据上面得到的困难负样本队列向量

和困难正样本向量k_hard，本发明实施例再提出如下改进后的对比损失函数L_cl，

最终的模型损失函数L，

L＝λ_qaL_qa+λ_clL_cl

其中，τ为一个常数，λ_qa和λ_cl分别表示问答模型和对比模型的损失权重。

下面将上述方法应用于下列实施例中，以体现本发明的技术效果，实施例中具体步骤将不再赘述。

本发明实施例在公开数据集WebQuestionSP上进行实验。为了客观地评价本发明算法的性能，本发明实施例使用了问答系统中常见的评价标准Hit@1，F1。Hit@1表示答案预测的准确率，F1表示衡量模型的精确度。所得实验结果如表1所示，比对了多个不同程度知识库问答模型的实验结果，其中KDReader为本发明实施例中的问答模型实验效果，Ours为本发明实施例的实验结果。

表1的测试结果反映出，本发明实施例可以有效的学习到知识库三元组的信息，相比于传统问答模型的方法预测答案的效果更好。

表1基于不同程度知识库信息各模型的实验效果比较

另一方面，本发明实施例提供了一种智能问答模型的生成装置，所述装置包括：

样本集生成模块，用于扩充原始样本数据集以使存在与所述原始样本数据集中问题对应的正样本，生成新样本数据集，其中所述正样本定义为原始样本数据集答案相同的问题，原始样本数据集答案不相同的问题定义为负样本；

编码模块，用于将生成的新样本数据集输入到现有问答模型中，所述现有问答模型从新样本数据集中的知识库和文档中获取与问题相关的特征编码，并计算现有问答模型的损失L_qa；

对比模块，用于将获得的特征编码加入到改进的对比学习模型中，分别计算出真样本与新样本数据集中的困难正、负样本之间的相似度，得出对比损失L_cl；

训练模块，用于采用线性融合将现有问答模型的损失L_qa和对比损失L_cl进行结合，得到最终问答模型的损失L，并训练得到所述最终问答模型。

优选的，所述编码模块具体包括：

第一编码单元，用于现有问答模型对问题、知识库三元组信息和文档信息分别进行编码，分别得到它们的语义表达q，KB_i和doc_j，其中，KB_i表示知识库中第i个子图的语义表达，i＝1，2，..，l_kb，这里l_kb表示知识库中子图的总数；doc_j表示文档中第j个子图的语义表达，j＝1，2，..，l_doc，l_doc表示文档的总数；

第二编码单元，用于利用LSTM注意力编码器对问题进行编码，获得问题特征向量

第一向量获取单元，用于获得知识库的实体特征向量和文档的实体特征向量；

第二向量获取单元，用于根据知识库的实体特征向量和文档的实体特征向量获得与问题相关的实体特征向量ent，将所述问题特征向量

实体特征向量ent作为特征编码。

首先，扩充原始样本数据集，使得原始样本数据集存在正样本与之对应，其具体为：利用原始样本数据集中的问题和知识库三元组信息，生成与原始样本数据集中的问题对应的正样本，其中将原始样本数据集中答案相同的问题定义为正样本，答案不同的定义为负样本，并且针对每一条数据样本生成三条正样本，得到新的样本数据集，其中，原始样本数据集为公共的问答数据集WebQuestionSP。

将生成的新样本数据集加入到现有问答模型中，所述现有问答模型从新的样本数据集中的知识库和文档中获取与问题相关的特征编码，并计算出现有问答模型的损失，其具体为：

将新的样本数据集输入到现有问答模型中，其中，所述现有问答模型主要包括：基于知识库的问题理解SGReader(·)和基于文档的问题理解KAReader(·)；

利用glove模型对问题、知识库三元组信息和文档信息分别进行编码，分别得到它们的语义表达q，KB_i和doc_j，其中，KB_i表示知识库中第i个子图的语义表达，i＝1，2，..，l_kb，这里l_kb表示知识库中子图的总数；doc_j表示文档中第j个子图的语义表达，j＝1，2，..，l_doc，l_doc表示文档的总数；

利用LSTM注意力编码器对问题进行编码，获得问题特征向量

按照如下公式获得与问题相关的实体特征向量ent、每个实体信息作为答案的概率s_e和问答模型的损失L_qa，

ent＝[e_kb；e_d]

L_qa＝bce(s_e，answer)

其中，e_kb表示知识库的实体特征向量，e_d表示文档的实体特征向量，两者拼接形成实体特征向量ent，σ_s(·)表示激活函数，W_s表示一个训练权重矩阵，bce(·)表示二进制交叉熵函数。

将获得的问题特征向量

实体特征向量ent加入到对比学习模型中，分别计算出真样本与新的样本数据集中的正、负样本之间的相似度，从而得出对比损失，然后采用线性融合方式将问答模型的损失L_qa和对比损失L_cl结合，得到最终整体模型的损失L并训练模型，最后利用问答模型进行答案预测和生成，其具体步骤为：

将新的样本数据集分开，其中原始样本数据集标记为真样本x^query，扩充的三条正样本数据标记为

按照如下公式分别计算出真样本和正样本的特征向量query和(k₁，k₂，k₃)，

θ_k←mθ_k+(1-m)θ_q，m∈[0，1)

其中f_q＝encoder，f_k＝moment encoder为现有问答模型和动量编码器，前者模型参数θ_q采用反向传播更新，后者模型参数θ_k采用动量更新方程，m为动量更新参数；真样本特征向量query是由真样本x^query利用问题特征向量

和实体特征向量ent拼接而成，同理得到正样本特征向量为(k₁，k₂，k₃)。

定义一个负样本队列Z_neg＝{z₁，z₂，...，z_K}，其中z_i表示样本数据集中的第i个负样本，K表示负样本队列的个数。传统对比学习方法中K是一个人为设定的超参，一般为60000，但冗长的队列增加了计算和存储成本。相较于传统的对比学习，本发明实施例创新地提出了困难正负样本的概念，并只使用困难正负样本进行对比学习。该方案极大地简化了原有的学习过程，提高了优化效率和模型性能。

具体来说，困难正样本向量k_hard是所有正样本中和真样本最不相似的样本。这里本发明实施例提出了一种正推法来获取困难正样本，该方法通过计算真样本与正样本之间的余弦相似度，并最终提取相似度最小的正样本作为k_hard：

对于负样本向量，本发明实施例提出了一种新的方法(负融法)，即将正样本和真样本进行线性融合后形成新的困难负样本向量

然后更新进负样本队列Z_neg。具体公式表示如下：

其中，λ表示分配权重。

与提取困难正样本相反，困难负样本队列

是所有负样本队列Z_neg中与真样本最不相似的那一部分样本。首先对Z_neg按照负样本和真样本的相似度进行从大到小的排序，即：||query||||z_i||＞||query||||z_j||，(i＜j)，之后只抽取Top-K个相似度最大的负样本来组成

满足：

其中λ_neg是一个人为设定的超参。通过实验发现λ_neg＝0.95时的

可以达到与完整的Z_neg相同甚至更好的实验效果，而本发明实施例的困难负样本队列个数仅为2000，该个数远远小于K。

根据上面得到的困难负样本队列向量

和困难正样本向量k_hard，本发明实施例再提出如下改进后的对比损失函数L_cl，

最终的模型损失函数L，

L＝λ_qaL_qa+λ_ciL_cl

其中，τ为一个常数，λ_qa和λ_cl分别表示问答模型和对比模型的损失权重。

根据上述实施例，与提取困难正样本相反，困难负样本队列

是所有负样本队列Z_neg中与真样本最相似的那一部分样本，通过实验发现λ_neg＝0.95时的

可以达到与完整的Z_neg相同甚至更好的实验效果，而本发明实施例的困难负样本队列个数仅为2000，该个数远远小于K。

第三方面，本发明实施例还提供了一种计算设备，所述计算设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如前所述的智能问答模型的生成方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如前所述的智能问答模型的生成方法。

请参考图5，其示出了本申请一个实施例提供的计算设备1500的结构示意图。该计算设备1500可用于实施上述实施例中如前所述的智能问答模型的生成方法。

具体来讲：

所述计算设备1500包括中央处理单元(CPU)1501、包括随机存取存储器(RAM)1502和只读存储器(ROM)150三的系统存储器1504，以及连接系统存储器1504和中央处理单元1501的系统总线1505。所述计算设备1500还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1506，和用于存储操作系统151三、应用程序1514和其他程序模块1515的大容量存储设备1507。

所述基本输入/输出系统1506包括有用于显示信息的显示器1508和用于用户输入信息的诸如鼠标、键盘之类的输入设备1509。其中，所述显示器1508和输入设备1509都通过连接到系统总线1505的输入输出控制器1510连接到中央处理单元1501。所述基本输入/输出系统1506还可以包括输入输出控制器1510以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1510还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备1507通过连接到系统总线1505的大容量存储控制器(未示出)连接到中央处理单元1501。所述大容量存储设备1507及其相关联的计算机可读介质为计算设备1500提供非易失性存储。也就是说，所述大容量存储设备1507可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。

当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1504和大容量存储设备1507可以统称为存储器。

根据本申请的各种实施例，所述计算设备1500还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算设备1500可以通过连接在所述系统总线1505上的网络接口单元1511连接到网络1512，或者说，也可以使用网络接口单元1511来连接到其他类型的网络或远程计算机系统(未示出)。

所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行。上述一个或者一个以上程序包含用于实现如前所述的智能问答模型的生成方法。

在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被终端的处理器执行时实现如前所述的智能问答模型的生成方法。可选地，上述计算机可读存储介质可以是ROM(Read-OnlyMemory，只读存储器)、RAM(RandomAccessMemory，随机存取存储器)、CD-ROM(CompactDiscRead-OnlyMemory，只读光盘)、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品，当该计算机程序产品被执行时，其用于实现如前所述的智能问答模型的生成方法。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台终端设备(可以是个人计算机，或者网络设备等)执行本申请各个实施例所述的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solidstate disk，SSD))等。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种智能问答模型的生成方法，其特征在于，所述方法包括：

扩充原始样本数据集以使存在与所述原始样本数据集中问题对应的正样本，生成新样本数据集，其中，所述正样本定义为与原始样本数据集答案相同的问题，与原始样本数据集答案不相同的问题定义为负样本；

将生成的新样本数据集输入到现有问答模型中，所述现有问答模型从新样本数据集中的知识库和文档中获取与问题相关的特征编码，并计算现有问答模型的损失L_qa；

将获得的特征编码加入到改进的对比学习模型中，分别计算出真样本与新样本数据集中的困难正、负样本之间的相似度，得出对比损失L_cl；

采用线性融合将现有问答模型的损失L_qa和对比损失L_cl进行结合，得到最终问答模型的损失L，并训练得到所述最终问答模型。

2.根据权利要求1所述的智能问答模型的生成方法，其特征在于，所述扩充原始样本数据集以使存在与所述原始样本数据集中问题对应的正样本，生成新样本数据集具体包括：

根据原始样本数据集中的问题和知识库三元组信息，生成与原始样本数据集中的问题对应的正样本，其中将与原始样本数据集中答案相同的问题定义为正样本，答案不同的定义为负样本；

针对每一条数据样本生成三条正样本，得到新样本数据集，其中，原始样本数据集为公共的问答数据集WebQuestionSP。

3.根据权利要求2所述的智能问答模型的生成方法，其特征在于，所述现有问答模型从新样本数据集中的知识库和文档中获取与问题相关的特征编码具体包括：

现有问答模型对问题、知识库三元组信息和文档信息分别进行编码，分别得到它们的语义表达q，KB_i和doc_j，其中，KB_i表示知识库中第i个子图的语义表达，i＝1，2，..，l_kb，这里l_kb表示知识库中子图的总数；doc_j表示文档中第j个子图的语义表达，j＝1，2，..，l_doc，l_doc表示文档的总数；

利用LSTM注意力编码器对问题进行编码，获得问题特征向量

获得知识库的实体特征向量和文档的实体特征向量；

根据知识库的实体特征向量和文档的实体特征向量获得与问题相关的实体特征向量ent；

将所述问题特征向量

实体特征向量ent作为特征编码。

4.根据权利要求3所述的智能问答模型的生成方法，其特征在于，所述方法还包括：

将原始样本数据集标记为真样本x^query，计算所述真样本x^query的特征向量query，其中

将扩充的三条正样本数据标记为

计算正样本的特征向量(k₁，k₂，k₃)，其中，

θ_k←mθ_k+(1-m)θ_q，m∈[0，1)

其中f_q＝encoder，f_k＝moment encoder均为现有问答模型和动量更新编码器。

5.根据权利要求4所述的智能问答模型的生成方法，其特征在于，所述将获得的特征编码加入到改进的对比学习模型中，分别计算出真样本与新样本数据集中的困难正样本、负样本之间的相似度，得出对比损失L_cl，采用线性融合将现有问答模型的损失L_qa和对比损失L_cl进行结合，得到最终问答模型的损失L具体包括：

定义一个负样本队列Z_neg＝{z₁，z₂，...，z_K}，其中z_i表示样本数据集中的第l个负样本，K表示负样本队列的个数；

计算真样本与正样本之间的余弦相似度，并最终提取相似度最小的正样本作为困难正样本向量k_hard：

将正样本和真样本进行线性融合后形成新的困难负样本向量

然后更新进负样本队列Z_neg，具体公式如下：

其中，λ表示分配权重；

对Z_neg按照负样本和真样本的相似度进行从大到小的排序，得到||query||||z_i||＞||query||||z_j||，(i＜j)，抽取Top-K个相似度最大的负样本来组成

满足：

其中λ_neg为预先设定的超参；根据得到的困难负样本队列向量

和困难正样本向量k_hard，得到改进后的对比损失函数L_cl，

其中，τ为一个常数；

从而得到最终的模型损失函数L，

L＝λ_qaL_qa+λ_clL_cl

λ_qa和λ_cl分别表示现有问答模型和对比模型的损失权重。

6.一种智能问答模型的生成装置，其特征在于，所述装置包括：

样本集生成模块，用于扩充原始样本数据集以使存在与所述原始样本数据集中问题对应的正样本，生成新样本数据集，其中所述正样本定义为原始样本数据集答案相同的问题，原始样本数据集答案不相同的问题定义为负样本；

编码模块，用于将生成的新样本数据集输入到现有问答模型中，所述现有问答模型从新样本数据集中的知识库和文档中获取与问题相关的特征编码，并计算现有问答模型的损失L_qa；

对比模块，用于将获得的特征编码加入到对比学习模型中，分别计算出真样本与新样本数据集中的正、负样本之间的相似度，得出对比损失L_cl；

训练模块，用于采用线性融合将现有问答模型的损失L_qa和对比损失L_cl进行结合，得到最终问答模型的损失L，并训练得到所述最终问答模型。

7.根据权利要求6所述的智能问答模型的生成装置，其特征在于，所述编码模块具体包括：

第一编码单元，用于现有问答模型对问题、知识库三元组信息和文档信息分别进行编码，分别得到它们的语义表达q，KB_i和doc_j，其中，KB_i表示知识库中第i个子图的语义表达，i＝1，2，..，l_kb，这里l_kb表示知识库中子图的总数；doc_j表示文档中第j个子图的语义表达，j＝1，2，..，l_doc，l_doc表示文档的总数；

第二编码单元，用于利用LSTM注意力编码器对问题进行编码，获得问题特征向量

第一向量获取单元，用于获得知识库的实体特征向量和文档的实体特征向量；

第二向量获取单元，用于根据知识库的实体特征向量和文档的实体特征向量获得与问题相关的实体特征向量ent，将所述问题特征向量

实体特征向量ent作为特征编码。

8.一种计算设备，其特征在于，所述计算设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至5任一项所述的智能问答模型的生成方法。

9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至5任一项所述的智能问答模型的生成方法。

Images