CN112667797B - 自适应迁移学习的问答匹配方法、系统及存储介质 - Google Patents

Abstract

本发明提供的自适应迁移学习的问答匹配方法、系统及存储介质，方法包括：通过语言模型捕获文本，得到问题集合以及答案集合；根据问题集合以及答案集合进行点积，得到注意力矩阵；根据注意力矩阵、问题集合以及答案集合确定问题和答案的关联权重，并根据关联权重得到关联特征向量；根据关联特征向量以及上下文向量得到动态集成向量，根据动态集成向量与答案集合中的元素进行结合得到结果向量；根据结果向量训练得到问答匹配模型，将问答匹配模型迁移至目标数据集，根据目标数据集得到问题的候选答案。方法具有很好的鲁棒性，性能指标和MRR指标都有明显提升，并且泛化能力强，可广泛应用于自然语言处理技术领域。

Description

自适应迁移学习的问答匹配方法、系统及存储介质

技术领域

本发明涉及自然语言处理技术领域，尤其是自适应迁移学习的问答匹配方法、系统及存储介质。

背景技术

近年来，随着人工智能，互联网，社交媒体等信息技术的迅猛发展，信息与数据出现了爆发式的增长，每时每刻在各种互联网平台上产生如文本、图片、视频、文档等各种类型的数据。为了方便用户查找所需信息，搜索引擎应运而生。在这大量的互联网大数据和人工智能的背景下，文本数据占据了主要地位，其中如何让用户从大量的数据中快速得到想要的信息，为用户提供更加智能、有效、便捷的服务是互联网、人工智能的主要研究方向。

为了克服传统搜索引擎的缺点，问答系统技术应运而生。问答系统能够准确地识别出用户自然语言所表达的查询语义意图，根据相关的语义信息，精准的返回给用户简洁且有效的结果，降低了用户进一步查询的代价。在开放领域问答系统的背景下，问答匹配是其重要的组成部分。虽然对于不同问答系统的细节之处各有不同，但一个典型的开放领域问答系统应当包括：(a)对给定问题进行问题分析；(b)检索潜在相关文档；(c)在检索到的文档中排序和选择最有希望的句子(或更一般的段落)以及可选的句子；(d)从句子中提取回答问题的自然语言短语。由此可知，问答匹配在问答系统中占据核心地位，可以应用问答匹配来识别检索文档中与问题最相关的句子。除了在开放领域问答中的应用外，问答匹配还可以潜在地用于预测社区问答(CQA)站点的答案质量。但是，之前关于问答匹配的工作通常依赖于特征工程、语言工具或外部资源。这些传统方法，首先，它们对于大数据量的问题和答案信息处理效率较低，而且容易忽略问题本身的特征和答案本身，以及问题和答案之间某些特征的重要性之间的联系，不能很好的选择出问题的最佳答案；其次，传统的问答匹配模型，问题和答案的特征提取方法过于简单，并且采用的是概率统计方法进行相似度比较；再则，传统的问答匹配模型里面忽视了问题和答案之间的序列信息，而且对答案没有进行合理的排序，导致问答匹配的结果较差；最后，传统问答系统使用有监督学习来训练答案排序和问题检索模型，但该方法需要抽取复杂的文本特征，特征工程需要较多的工程经验，很难在特征构造上做到最优，并且该方法在新的数据集上泛化性能较差，对新数据集往往需求重新进行特征抽取和特征工程。最近，许多基于深度学习的方法被提出用于问答匹配，但通常基于单一的卷积神经网络或循环神经网络，无法全面准确地提取影响智能问答精度的各项特征，泛化能力弱。

发明内容

有鉴于此，为至少部分解决上述技术问题之一，本发明实施例目的在于提供一种鲁棒性更强、精度更高且泛化能力更强的自适应迁移学习的问答匹配方法；同时本申请还提供了对应的实现该方法的系统及计算机可读的存储介质。

第一方面，本申请的技术方案提供了自适应迁移学习的问答匹配方法，其步骤包括：

通过语言模型捕获文本，得到问题集合以及答案集合；

根据所述问题集合以及所述答案集合进行点积，得到注意力矩阵；

根据所述注意力矩阵、所述问题集合以及所述答案集合确定问题和答案的关联权重，并根据所述关联权重得到关联特征向量；

根据所述关联特征向量以及上下文向量得到动态集成向量，根据所述动态集成向量与所述答案集合中的元素进行结合得到结果向量；

根据所述结果向量训练得到问答匹配模型，将所述问答匹配模型迁移至目标数据集，根据所述目标数据集得到问题的候选答案。

在本申请方案的一种可行的实施例中，所述问答匹配方法还包括：根据所述结果向量通过神经网络得到权重分数，根据所述权重分数对所述候选答案进行排序。

在本申请方案的一种可行的实施例中，所述根据所述结果向量通过神经网络得到权重分数，其包括：将所述问题集合、所述答案集合以及目标标签输入至所述问答匹配模型；对所述问答匹配模型得到输出结果中的所述目标标签进行归一化，根据归一化后的目标标签得到相对熵损失；根据所述相对熵损失对所述问答匹配模型进行优化。

在本申请方案的一种可行的实施例中，所述关联特征向量包括第一关联特征向量、第二关联特征向量以及第三关联特征向量；所述根据所述注意力矩阵、所述问题集合以及所述答案集合确定问题和答案的关联权重，并根据所述关联权重得到关联特征向量这一步骤，其包括：

根据列表注意力机制生成所述第一关联特征向量；

根据K最大值注意力机制生成所述第二关联特征向量；

根据K阈值注意力机制生成所述第三关联特征向量。

在本申请方案的一种可行的实施例中，所述根据列表注意力机制生成所述第一关联特征向量这一步骤，其包括：

根据所述问题集合中的问题片段以及所述答案集合中的答案之间的相关性，确定所述问题片段与所述答案的第一关联权重，根据所述第一关联权重得到所述第一关联特征向量。

在本申请方案的一种可行的实施例中，所述根据K最大值注意力机制生成所述第二关联特征向量这一步骤，其包括：

将所述问题集合中的问题片段以及所述答案集合中的答案得到的组合片段进行排序；

当排序序号大于预设值，将所述组合片段的注意力权重置零，删除注意力权重置零的组合片段；

当排序序号小于预设值，根据所述组合片段得到所述第二关联特征向量。

在本申请方案的一种可行的实施例中，所述根据K阈值注意力机制生成所述第三关联特征向量这一步骤，其包括：

确定注意力权重阈值；

确定所述问题集合中的问题片段以及所述答案集合中的答案得到的组合片段的注意力权重不小于所述注意力权重阈值，根据所述组合片段生成所述第三关联特征向量。

第二方面，本发明的技术方案还提供自适应迁移学习的问答匹配的软件系统，包括：文本获取单元，用于通过语言模型捕获文本，得到问题集合以及答案集合；

注意力生成单元，用于根据所述问题集合以及所述答案集合进行点积，得到注意力矩阵；

特征关联单元，用于根据所述注意力矩阵、所述问题集合以及所述答案集合确定问题和答案的关联权重，并根据所述关联权重得到关联特征向量；以及根据所述关联特征向量以及上下文向量得到动态集成向量，根据所述动态集成向量与所述答案集合中的元素进行结合得到结果向量；

迁移学习单元，用于根据所述结果向量训练得到问答匹配模型，将所述问答匹配模型迁移至目标数据集，根据所述目标数据集得到问题的候选答案。

第三方面，本发明的技术方案还提供自适应迁移学习的问答匹配的硬件系统，其包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当至少一个程序被至少一个处理器执行，使得至少一个处理器运行第一方面中的自适应迁移学习的问答匹配方法。

第四方面，本发明的技术方案还提供了一种存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于运行第一方面中的方法。

本发明的优点和有益效果将在下面的描述中部分给出，其他部分可以通过本发明的具体实施方式了解得到：

本申请的技术方案通过基于模型的迁移方法通过在大规模源域数据集中得到输入问题和候选答案的向量表示，根据注意力矩阵得到的问题和候选答案动态多头交互注意力表示向量输入到问答匹配模型，然后在训练好的问答匹配模型算法的基础上迁移到目标数据集，在目标数据集上训练并微调模型参数得到最终的面向任务自适应迁移学习的问答匹配，从而本申请技术方案具有很好的鲁棒性，性能指标和MRR指标都有明显提升，并且泛化能力强。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的自适应迁移学习的问答匹配方法的步骤流程图；

图2为本发明实施例中动态集成的注意力机制层模型图；

图3为本发明实施例中基于多头交互注意力机制动态集成的问答匹配算法流程图；

图4为本发明实施例中面向任务自适应迁移学习的问答匹配算法TOATL流程图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

为了更好地解决问题和答案的复杂语义匹配问题，本申请的技术方案通过对目前的问答匹配算法进行分析后，对相关问题和答案的语料库进行建模，并提出了基于多头交互注意力动态集成和的问答匹配算法MHIDI(Multi-head Interactive AttentionDynamic Integration)和面向任务自适应迁移学习的问答匹配算法TOATL(Task-orientedadaptive transfer learning)。技术方案首先通过语言模型BERT对数据集进行预训练，提出了一种基于动态集成的交互注意力机制的问答匹配算法，通过神经网络对问题和答案的多种特征进行提取、编码，对文字特征进行多层编码，并通过动态交互注意力机制滤除掉注意力机制矩阵中的噪声，以达到更好的效果挖掘词级向量的语义相关性，再通过动态集成三种交互注意力机制，学习训练出问题和答案特征向量的网络模型。针对给定的问题，实施例可以计算数据集中问题与答案的相似度利用列表排序的方法来模拟问答匹配学习候选答案的相对顺序，即提出的基于多头交互注意力动态集成的问答匹配算法MHIDI(Multi-head Interactive Attention Dynamic Integration)。最后，利用基于模型的迁移方法通过在大规模源域数据集中进行语言模型的预训练得到输入问题和候选答案的向量表示，将其输入到动态多头交互注意力层中训练，再将得到的问题和候选答案动态多头交互注意力表示向量输入到比较-整合模型框架中得到问答匹配模型，然后再在训练好的问答匹配模型算法的基础上迁移到目标数据集，在目标数据集上训练微调模型参数得到最终的面向任务自适应迁移学习的问答匹配算法TOATL(Task-oriented adaptive transferlearning)。通过大量实验、仿真对比和结果分析表明，本专利提出的两种问答匹配算法具有很好的鲁棒性，在TrecQA数据集，WikiQA数据集中，MAP，MRR的指标上有明显的提升效果，并且泛化能力强，在特定领域的保险数据集insuranceQA上也有很好的效果。

首先，在一实施例中，如图1所示，基于多头交互注意力动态集成的问答匹配算法模型MHIDI主要由五个部分组成：语言模型(Pretrained Language Model)、动态集成的注意力机制层(Dynamically integrated Attention Layer)、比较层(Comparison Layer)、整合层(Aggregation Layer)，列表学习排名(Listwise Learning to Rank)。

在第一方面，本申请的技术方案提供了自适应迁移学习的问答匹配方法的实施例，其中，方法包括步骤S01-S05：

S01、通过语言模型捕获文本，得到问题集合以及答案集合。

具体地，实施例中通过预先训练过的语言模型(language Model，LM)替换传统算法模型中的嵌入层帮助捕获文本内容。实施例中，通过BERT(Bidirectional EncoderRepresentation from Transformers)语言模型，即双向Transformer的Encoder，采用Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。LQ＝BERT(Q)代表问题集合，LA＝BERT(A)代表答案集合，由组合得到的(Q，A_i)作为后续层的输入；其中，

l_q,l_a分别代表问题和答案的长度。

S02、根据问题集合以及答案集合进行点积，得到注意力矩阵。

具体地，列表注意力机制首先通过问题和答案做点积，计算问题集合中问题q_i和答案集合中答案a_j的注意力矩阵e_ij，根据该注意力后续可得到软对齐短语(soft aligned)

和/>

注意力矩阵e_ij，通过q_i和a_j进行点积得到：

e_ij＝q_i·a_j

S03、根据注意力矩阵、问题集合以及答案集合确定问题和答案的关联权重，并根据关联权重得到关联特征向量；

具体地，列表注意力机制首先通过问题和答案做点积，计算问题q_i和答案a_j的注意矩阵e_ij，然后得到软对齐(soft aligned)短语

和/>

进一步根据软对齐短语构成关联特征向量。如图2所示，实施例中的动态集成的多头交互注意力机制层是在listwiseattention(列表注意力机制)，K-max attention(K最大值注意力机制)，K-thresholdattention(K阈值注意力机制)这三种交互的注意力机制的基础上改进所得到的。

在现有技术中，多数情况下仅采用一种注意力机制得到的问题与答案的相关性或者关联向量。如此便存在一下两个问题：一方面，通常只有少数片段在两个句子中共享相关含义。当涉及不相关的片段时，语义关系变得模糊，并且仅合并相关片段以获得相应的向量更为合理；另一方面，在答案中的a_j与答案中的所有片段无关的情况下，需要弃用a_j，因为中没有与它匹配的部分，它不应该参与进一步的推断。然而，在注意力权重的归一化之后，仍然生成对齐的子短语，这会为后续层产生噪声干扰。因此，实施例在原有的列表注意力机制的基础上，增加了K最大值注意力机制和K阈值注意力机制，并动态分配列表注意力机制、K最大值注意力机制以及K阈值注意力机制所占比重。

S04、根据关联特征向量以及上下文向量得到动态集成向量，根据动态集成向量与答案集合中的元素进行结合得到结果向量。

具体地，在实施例中，动态集成步骤S03中的三种注意力机制，并使用同样的注意力机制引入句子级别的上下文向量u_s，并根据该向量动态分配三种注意力矩阵所占比重：

其中，α_i为注意力机制所占的比重，v^a为动态集成三种交互注意力机制后的特征向量，

是实施例中基于答案的多头交互注意力动态集成向量，同理

为实施例中基于问题的多头交互注意力动态集成向量。然后，由实施例中的比较层将每个a_j(A集合中第j个单词及其上下文)与/>

(与a_j最佳匹配的Q集合中的加权组合)相匹配。通过比较函数f，将a_j和/>

转换为结果向量/>

来表示比较结果，以及将q_j和/>

转换为结果向量/>

来表示比较结果：

其中，

操作符是指逐元素乘积。

S05、根据结果向量训练得到问答匹配模型，将问答匹配模型迁移至目标数据集，根据目标数据集得到问题的候选答案。

具体地，将比较层得到的一系列结果向量

和/>

最后通过一个单层的卷积神经网络CNN整合结果向量：

Score＝[r_a,r_q]^TW

其中，W是预测层的权重，[r_a,r_q]表示连接的结果，在测试的过程中，利用Score分数来对候选答案进行排序。

最后，本实施例还提出了面向任务自适应迁移学习的问答匹配算法TOATL(Task-oriented adaptive transfer learning)是在第一种算法基于多头交互注意力动态集成的问答匹配算法MHIDI(Multi-head Interactive Attention Dynamic Integration)上改进的。首先实施例利用语言模型BERT预训练大规模语料集QNLI，得到大规模语料集的词向量，输入到动态集成的多头注意力机制层中得到动态集成后的问题和候选答案的表示向量，再输入到比较—整合网络框架中，最后得到大规模语料集QNLI问题和候选答案的匹配概率并得到问答匹配模型，然后在此训练好的大规模语料集QNLI问答匹配模型的基础上去适应目标数据集WikiQA或者TrecQA并进行微调模型参数。除此之外，将基于迁移学习的自适应算法用在特定领域的数据集中，同理，用训练好的大规模语料集QNLI问答匹配模型算法去适应目标特定领域进行微调模型，并根据微调后的模型输出得到问题以及问题所对应的候选答案，得到的候选答案根据匹配程度进行降序排列。

在本实施例的一些可行的实施例中，问答匹配方法还包括：S06、根据结果向量通过神经网络得到权重分数，根据权重分数对候选答案进行排序。

具体地，实施例采用列表方法来建模问答匹配任务，将问题集合Q，答案集合A以及预先设置的目标标签集Y＝{y₁,y₂,…y_N}，得到得分向量S，即代表权重分数：

Score_j＝mod el[Q,A_j]

S＝softmax([Score₁,…,core_N])

根据该得分向量对得到的候选答案进行排序。

在本实施例的一些可行的实施例中，问答匹配方法还包括：

S07、将问题集合、答案集合以及目标标签输入至问答匹配模型；

S08对问答匹配模型得到输出结果中的目标标签进行归一化，根据归一化后的目标标签得到相对熵损失，根据相对熵损失对问答匹配模型进行优化。

具体地，实施例中，通过步骤S06将问题集合Q，答案集合A以及预先设置的目标标签集Y作为输入，根据问答匹配模型所得到输出结果中，根据问题以及对应的候选答案中的目标标签，进行归一化处理：

在应用相对熵损失(KL-divergence损失)：

再次训练模型，对模型进行优化。

在本实施例中，步骤S03中关联特征向量包括第一关联特征向量、第二关联特征向量以及第三关联特征向量，其中第一、第二以及第三关联特征向量，即为分别通过列表注意力机制、K最大值注意力机制以及K阈值注意力机制所得到关联特征向量。

在实施例中，步骤S03可进一步分为步骤S031-S032：

S031、根据列表注意力机制生成第一关联特征向量。更为具体地，根据问题集合中的问题片段以及答案集合中的答案之间的相关性，确定问题片段与答案的第一关联权重，根据第一关联权重得到第一关联特征向量。

根据问题q_i的每一个片段与答案a_j的相关性，得到问题和答案的关联权重，同理地，根据答案a_j的每一个部分和问题q_i的相关性，得到答案和问题的关联权重，并计算得到所有片段加权组合中，问题和答案的软对齐子短语

和/>

其中，

为问题对答案的关联权重，/>

为答案对问题的关联权重，

是在列表注意力机制中问题q_i对于答案a_j的关联特征向量，

是答案对问题的关联特征向量。

S032、根据K最大值注意力机制生成第二关联特征向量。更为具体地，将问题集合中的问题片段以及答案集合中的答案得到的组合片段进行排序；当排序序号大于预设值，将组合片段的注意力权重置零，删除注意力权重置零的组合片段；当排序序号小于预设值，根据组合片段得到第二关联特征向量。

K最大值注意力(K-max attention)机制，是在列表注意力(listwise attention)机制改进的最大值注意力机制，按降序对w_ij进行排序，并将最大注意力权重的排名前k的索引表示为S＝{i₁,i₂,…i_k}。如果排名在预设的k值之前，则保留，否则该注意力权重设为0。通过K-max注意力机制，在获得相应向量时保留相关片段，并丢弃掉注意力权重设置为0的不相关的片段：

即得到

是在K-max注意力机制中问题对答案的关联特征向量，/>

是在K-max注意力机制中答案对问题的关联特征向量。

S033、根据K阈值注意力机制生成第三关联特征向量。即确定注意力权重阈值；确定问题集合中的问题片段以及答案集合中的答案得到的组合片段的注意力权重不小于注意力权重阈值，根据组合片段生成第三关联特征向量。

K阈值注意力(K-threshold attention)机制是定义注意力权重的阈值为k，保留大于或等于k的注意力权重，过滤掉小于k的注意力权重：

即得到

是在K-threshold注意力机制中问题对答案的关联特征向量，/>

是答案对问题的关联特征向量。

通过步骤S032以及S033，对应向量中不会涉及到不相关的部分。此外，在另一个句子中没有语义匹配的片段不会受到进一步的影响。就两个步骤中的k的选择而言，它可以根据特定输入动态地确定。

在具体的实验验证过程中，实施例选择了三个基准数据集，分别为WikiQA，TrecQA和insuranceQA，另外一个迁移学习数据集QNLI数据集是在面向任务的自适应迁移学习算法中的源域数据集。InsuranceQA数据集主要是用来验证实施例面向任务的自适应迁移学习的问答匹配算法，因为WikiQA和TrecQA是开放域数据集，增加特定领域保险数据集insuranceQA来验证模型的适用性广泛，不仅能在开放域数据集上具有很好的模型优越性，而且在特定领域的数据集上也具有很好的适应性。

WikiQA数据集是一个开放域的问答数据集，它是由Bing和Wikipedia的真实查询构造出来的问答数据集，它的主要组成统计如表1所示。

表1

WikiQA datasets	Train	Dev	Test	Total
					#Questions	2118	296	633	3047
#Candidate Answers	20360	2733	6165	29258
					#Correct Answers	1040	140	293	1473
#Questions w/o correct Answers	1245	170	390	1805

数据集中有3047个问题和29258个候选答案句子，其中1473个句子被标记为其相应问题的正确答案句子。在WikiQA数据集中，有一些问题只有不正确的答案。没有与其匹配的正确答案。因此当WikiQA数据集被用于训练和评估问答匹配方向的研究时，通常会删除所有没有正确答案的问题。在删除所有没有正确答案的问题后的WikiQA有873/126/243个问题和8627/1130/2351个问题对，该拆分用于训练集，验证集以及测试集。

TrecQA数据集是从TREC问答轨道创建的。其清洁版本删除了开发和测试集中的问题中没有答案或只有正/负答案的相关问题，因此验证集和测试集的大小分别减少到65和68个问题。为训练集提供的数据分为两组：一组是人工判断的94个问题(TRAIN)，另一组是自动判断的1229个问题(TRAIN-ALL)。在本文中对问题进行了训练集，验证集，测试集的划分，分别有1,229/65/68个问题和53,417/1117/1442个问答对。

QNLI又名问题自然语言推理数据集，来自是来自斯坦福问答数据集SQUAD，是SQUAD数据集的一个修改版本，是通过将问题段转换为句子对，将SQUAD中的上下文段落拆分为句子，每个句子与问题配对。当句子包含答案时，真正的标签被赋予问题-句子对，有86，308/10，385个问题和428，998/169，435个问题对训练/测试集。考虑到该数据集的大规模，因此实施例使用它来训练迁移学习的模型。

InsuranceQA数据集是一个大规模领域特定答案选择数据集，其中所有问题和候选对都在保险领域。

实施例的软件实验环境为Anaconda3-5.2.0-Windows-x86_64，Python3.6.10以及TensorFlow1.15.0，keras2.0.0，具体如表2所示：

表2

如图3所示，在基于多头交互注意力机制动态集成的问答匹配算法中，将经过数据预处理的数据集中的问题和候选答案输入到BERT中进行预处理，其中由于输入的问题和候选答案的长度需要统一大小，因此实施例设置WikiQA数据集中问题的长度统一为最大长度25，答案的长度统一为最大长度为90，同理TrecQA数据集分别为30，70，其中如果问题和候选答案的长度不足最大长度则采用padding来填充0。在经过BERT语言模型后得到的WikiQA数据集中问题词向量维度变为25*768，答案维度变为90*768，同理TrecQA变为30*768,70*768，随后进入隐藏层后词向量维度都为300。

后续根据实施例所提供的步骤S01-S08训练得到问答匹配模型。在面向任务自适应迁移学习的问答匹配算法中，如图4所示，它是在提出的基于多头交互注意力动态集成的问答匹配框架上进一步改进的。首先利用语言模型BERT预训练大规模语料集QNLI，得到大规模语料集的词向量，输入到动态集成的多头注意力机制层中得到动态集成后的问题和候选答案的表示向量，再输入到比较—整合网络框架中，最后得到大规模语料集QNLI问题和候选答案的匹配概率并得到问答匹配算法模型，然后在此训练好的大规模语料集QNLI问答匹配模型的基础上去适应目标数据集WikiQA或者TrecQA并进行微调模型参数。除此之外，将提出的基于迁移学习的自适应算法用在特定领域的数据集中，同理，用训练好的大规模语料集QNLI问答匹配模型算法去适应目标特定领域的保险数据集insuranceQA并进行微调模型。

在问答匹配中，针对不同的数据集，它的数据来源不同，数据特点不同，因此不同的评价指标从不同的方面反映算法的性能优势。问答匹配通常使用MRR(Mean ReciprocalRank)和MAP(Mean Average Precision)评价指标，这两个指标是信息检索问答匹配中的标准指标。其中MRR是对于问题中正确候选答案排名倒数的平均值，正确答案位置越靠前，问答匹配的效果越好。评价标准的定义方式为：

其中Q表示问题集，即|Q|表示问题集的问题个数，表示候选答案在经过排序后，对于第i个问题所匹配的第一个正确候选答案的位置。

另一方面，如果对于问题集中的一个问题Q_j∈Q的正确候选答案集为

和R_jk是从顶部答案d₁到答案d_k的排序检索结果答案集，则MAP计算如下：

当一个问题根本没有得到相关的答案时，上述公式中该问题的精度值被认为是0。而MRR测量任何正确答案的排名，MAP检查所有正确答案的排名。一般来说，在相同的排名输出列表中，MRR高于MAP，但在每个问题都有一个正确答案的情况下，它们是相同的。

在WikiQA数据集和TrecQA数据集上对我们提出的基于多头交互的注意力动态集成的问答匹配算法进行了实验，以下是根据MRR和MAP评价指标分别在WikiQA数据集和TrecQA数据集形成的对比试验结果如表3所示：

表3

其中，表3中Model字段中包含除本实施例所提供的模型之外现有技术的各种模型，从表3中可以看出，基于多头交互注意力动态集成的问答匹配算法在WikiQA数据集上评价指标MAP为0.790比对比方法中SUM_BASE：PTK最好的结果高出3％以上，在评价指标MRR上为0.804比的对比方法中SUM_BASE：PTK最好的结果高出3％左右。这是因为SUM_BASE：PTK这个对比方法缺乏更多句法和语义特征的特征空间，没有理由深度学习神经网络捕捉语义信息的优势，实施例的模型算法的优势在于首先从一开始就使用了语言模型bert来预训练得到问题和候选答案的初始词向量，优势在于生成了更加精确的可以根据上下文语境动态生成词向量，其次提出了动态集成的多头交互注意力机制，这不仅解决了传统的注意机制引入了许多无关词的噪声干扰信息，而且能够具有非常强的泛化能力。

在第二方面，本申请所提供的一种用于第一方面中方法的自适应迁移学习的问答匹配的软件系统，其包括：

文本获取单元，用于通过语言模型捕获文本，得到问题集合以及答案集合；

注意力生成单元，用于根据问题集合以及答案集合进行点积，得到注意力矩阵；

特征关联单元，用于根据注意力矩阵、问题集合以及答案集合确定问题和答案的关联权重，并根据关联权重得到关联特征向量；以及根据关联特征向量以及上下文向量得到动态集成向量，根据动态集成向量与答案集合中的元素进行结合得到结果向量；

迁移学习单元，用于根据结果向量训练得到问答匹配模型，将问答匹配模型迁移至目标数据集，根据目标数据集得到问题的候选答案。

第三方面，本申请的技术方案还提供自适应迁移学习的问答匹配硬件系统的实施例，其包括至少一个处理器；至少一个存储器，用于存储至少一个程序；当至少一个程序被至少一个处理器执行，使得至少一个处理器运行如第一方面中的自适应迁移学习的问答匹配方法。

本发明实施例还提供了一种存储介质内存储有程序，程序被处理器执行，实现如第一方面中的方法。

从上述具体的实施过程，可以总结出，本发明所提供的技术方案相较于现有技术存在以下优点或优势：

1)本申请的技术方案引入了BERT模型作为语言模型进行预训练得到词嵌入向量，从而得到可根据上下文语境动态更新的词向量，在一开始就能够获得精确的问题和候选答案的词嵌入向量。

2)本申请的技术方案提出了基于多头交互注意力机制的动态集成算法，在深度学习比较—整合框架下进行了改进，提出了基于动态集成的多头交互注意力机制层，并利用列表排序学习来进行问答匹配排序。在发明实验中取得了很好的实验效果。

3)本申请的技术方案还提出了面向任务自适应迁移学习的问答匹配算法，这个算法是在基于多头交互注意力机制的动态集成算法的基础上加以改进，引入基于模型的迁移学习相关技术，增加了特定领域的保险问答数据集，取得了很好的实验结果，说明了提出的算法泛化能力强，适应任务的能力强。

4)本申请的技术方案的结构清晰，逻辑合理，模块之间耦合度较低，易于实现和部署，不仅可以快速扩展到分布式和并行化的开发环境中，而且有助于扩展以及测试维护。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (6)

1.自适应迁移学习的问答匹配方法，其特征在于，包括以下步骤：

通过语言模型捕获文本，得到问题集合以及答案集合；

根据所述问题集合以及所述答案集合进行点积，得到注意力矩阵；

根据所述注意力矩阵、所述问题集合以及所述答案集合确定问题和答案的关联权重，并根据所述关联权重得到关联特征向量；

根据所述关联特征向量以及上下文向量得到动态集成向量，根据所述动态集成向量与所述答案集合中的元素进行结合得到结果向量；

根据所述结果向量训练得到问答匹配模型，将所述问答匹配模型迁移至目标特定领域进行微调处理，得到微调后的模型，进而向微调后的模型中输入目标数据集，得到所述问题的候选答案；

所述关联特征向量包括第一关联特征向量、第二关联特征向量以及第三关联特征向量；所述根据所述注意力矩阵、所述问题集合以及所述答案集合确定问题和答案的关联权重，并根据所述关联权重得到关联特征向量这一步骤，其包括：

根据列表注意力机制生成所述第一关联特征向量；

根据K最大值注意力机制生成所述第二关联特征向量；

根据K阈值注意力机制生成所述第三关联特征向量；

所述根据列表注意力机制生成所述第一关联特征向量这一步骤，其包括：根据所述问题集合中的问题片段以及所述答案集合中的答案之间的相关性，确定所述问题片段与所述答案的第一关联权重，根据所述第一关联权重得到所述第一关联特征向量；

所述根据K最大值注意力机制生成所述第二关联特征向量这一步骤，其包括：

对所述问题集合中的问题片段以及所述答案集合中的答案得到的组合片段进行排序；

当排序序号大于预设值，将所述组合片段的注意力权重置零，删除注意力权重置零的组合片段；

当排序序号小于预设值，根据所述组合片段得到所述第二关联特征向量；

所述根据K阈值注意力机制生成所述第三关联特征向量这一步骤，其包括：

确定注意力权重阈值；

确定所述问题集合中的问题片段以及所述答案集合中的答案得到的组合片段的注意力权重不小于所述注意力权重阈值，根据所述组合片段生成所述第三关联特征向量。

2.根据权利要求1所述的自适应迁移学习的问答匹配方法，其特征在于，所述问答匹配方法还包括：

根据所述结果向量通过神经网络得到权重分数；

根据所述权重分数对所述候选答案进行排序。

3.根据权利要求2所述的自适应迁移学习的问答匹配方法，其特征在于，所述根据所述结果向量通过神经网络得到权重分数，其包括：

将所述问题集合、所述答案集合以及目标标签输入至所述问答匹配模型；

对所述问答匹配模型得到输出结果中的所述目标标签进行归一化，根据归一化后的目标标签得到相对熵损失；

根据所述相对熵损失对所述问答匹配模型进行优化。

4.自适应迁移学习的问答匹配系统，其特征在于，包括：

文本获取单元，用于通过语言模型捕获文本，得到问题集合以及答案集合；注意力生成单元，用于根据所述问题集合以及所述答案集合进行点积，得到注意力矩阵；

特征关联单元，用于根据所述注意力矩阵、所述问题集合以及所述答案集合确定问题和答案的关联权重，并根据所述关联权重得到关联特征向量；以及

根据所述关联特征向量以及上下文向量得到动态集成向量，根据所述动态集成向量与所述答案集合中的元素进行结合得到结果向量；

迁移学习单元，用于根据所述结果向量训练得到问答匹配模型，将所述问答匹配模型迁移至目标特定领域进行微调处理，得到微调后的模型，进而向微调后的模型中输入目标数据集，得到所述问题的候选答案；

所述关联特征向量包括第一关联特征向量、第二关联特征向量以及第三关联特征向量；所述特征关联单元，具体用于：

根据列表注意力机制生成所述第一关联特征向量；

根据K最大值注意力机制生成所述第二关联特征向量；

根据K阈值注意力机制生成所述第三关联特征向量；

所述根据列表注意力机制生成所述第一关联特征向量这一步骤，其包括：根据所述问题集合中的问题片段以及所述答案集合中的答案之间的相关性，确定所述问题片段与所述答案的第一关联权重，根据所述第一关联权重得到所述第一关联特征向量；

所述根据K最大值注意力机制生成所述第二关联特征向量这一步骤，其包括：

对所述问题集合中的问题片段以及所述答案集合中的答案得到的组合片段进行排序；

当排序序号大于预设值，将所述组合片段的注意力权重置零，删除注意力权重置零的组合片段；

当排序序号小于预设值，根据所述组合片段得到所述第二关联特征向量；

所述根据K阈值注意力机制生成所述第三关联特征向量这一步骤，其包括：

确定注意力权重阈值；

确定所述问题集合中的问题片段以及所述答案集合中的答案得到的组合片段的注意力权重不小于所述注意力权重阈值，根据所述组合片段生成所述第三关联特征向量。

5.自适应迁移学习的问答匹配系统，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器运行如权利要求1-3任一项所述的自适应迁移学习的问答匹配方法。

6.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于运行如权利要求1-3中任一项所述的自适应迁移学习的问答匹配方法。

Images