CN113420139A - 一种文本匹配方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供了一种文本匹配方法、装置、电子设备及存储介质，该方法包括：获取与用户输入的查询问题相对应的候选问答对；根据查询问题与每个候选问答对中候选问题和候选答案的交互，确定查询问题的第一增强向量、每个候选问题的第二增强向量和每个候选答案的第三增强向量；根据第一增强向量、第二增强向量和第三增强向量，计算查询问题与每个候选问答对中候选问题和候选答案的匹配度，得到候选问答对的综合匹配度；将满足预设匹配条件的候选问答对中的候选答案作为查询问题的查询答案，并反馈给用户；本申请中的查询问题，既考虑到了查询问题与候选问题的相似性，又考虑到了查询问题与候选答案的相关性，能够更加准确的筛选出查询答案。

Description

一种文本匹配方法、装置、电子设备及存储介质

技术领域

本申请涉及文本匹配技术领域，具体而言，涉及一种文本匹配方法、装置、电子设备及存储介质。

背景技术

问答系统属于信息检索的范畴，能够对用户提出的问题进行准确的理解，返回用户问题所对应的答案，有效满足用户的信息需求。目前，常用的智能问答系统包括三种：检索式问答系统、知识图谱问答系统、生成式问答系统。

检索式问答系统中存在一个标准检索库，该标准检索库中存储了常见问题及其答案所组成的检索问答对，而检索式问答系统的功能就是从标准检索库中匹配用户问题的常见问题，并将该常见问题对应的答案返回给用户。

现有的检索式问答系统，在选取匹配用户问题的常见问题时准确度低，也即在进行用户问题与常见问题的文本匹配时效果差，导致给用户反馈的答案的准确率低。

发明内容

有鉴于此，本申请的目的在于提供一种文本匹配方法、装置、电子设备及存储介质，将查询问题与候选问答对中候选问题和候选答案进行交互，既考虑到了查询问题与候选问题的相似性，又考虑到了查询问题与候选答案的相关性，能够更加准确的筛选出查询答案。

第一方面，本申请实施例提供了一种文本匹配方法，所述方法包括：

获取与用户输入的查询问题相对应的候选问答对，所述候选问答对是从预设的问答对检索库中选取得到的；其中，所述候选问答对中包括候选问题和每个候选问题对应的候选答案；

根据所述查询问题与每个候选问答对中候选问题和候选答案的交互，确定所述查询问题对应的第一增强向量、每个所述候选问题对应的第二增强向量和每个所述候选答案对应的第三增强向量；

根据所述查询问题对应的第一增强向量、每个所述候选问题对应的第二增强向量和每个所述候选答案对应的第三增强向量，计算所述查询问题与每个候选问答对中候选问题和候选答案的匹配度，得到所述候选问答对的综合匹配度；

将对应的综合匹配度满足预设匹配条件的候选问答对中的候选答案作为所述查询问题的查询答案，并将所述查询答案反馈给用户。

在本申请较佳的技术方案中，上述根据所述查询问题与每个候选问答对中候选问题和候选答案的交互，确定所述查询问题对应的第一增强向量、每个所述候选问题对应的第二增强向量和每个所述候选答案对应的第三增强向量，包括：

根据所述查询问题与每个候选问答对中候选问题和候选答案的交互，确定所述查询问题对应的第一增强向量；

根据所述查询问题与每个候选问答对中候选问题的交互，确定每个所述候选问题对应的第二增强向量；

根据所述查询问题与每个候选问答对中候选答案的交互，确定每个所述候选答案对应的第三增强向量。

在本申请较佳的技术方案中，上述根据所述查询问题与每个候选问答对中候选问题和候选答案的交互，确定所述查询问题对应的第一增强向量，包括：

根据所述查询问题对应第一向量序列和每个所述候选问题对应第二向量序列，计算得到所述查询问题和每个所述候选问题对应的第一相似矩阵；其中，所述第一向量序列中每一个向量对应所述查询问题中的每个分词；所述第二向量序列中每一个向量对应所述候选问题中的每个分词；

根据所述查询问题对应第一向量序列和每个所述候选答案对应第三向量序列，计算得到所述查询问题和每个所述候选答案对应的第二相似矩阵；其中，所述第三向量序列中每一个向量对应所述候选答案中的每个分词；

将所述第一相似矩阵和所述第二向量序列进行归一化处理，得到所述查询问题和每个所述候选问题对应的第一交互向量序列；

将所述第二相似矩阵和所述第三向量序列进行归一化处理，得到所述查询问题和每个所述候选答案对应的第二交互向量序列；

根据所述查询问题对应的第一向量序列、所述第一交互向量序列和所述第二交互向量序列，计算得到所述查询问题对应的第一增强向量；

在本申请较佳的技术方案中，上述所述根据所述查询问题与每个候选问答对中候选问题的交互，确定每个所述候选问题对应的第二增强向量，包括：

将所述第一相似矩阵和所述第一向量序列进行归一化处理，得到所述每个所述候选问题和查询问题对应的第三交互向量序列；

根据所述候选问题对应的第二向量序列和所述第三交互向量序列，计算得到每个所述候选问题对应的第二增强向量；

所述根据所述查询问题与每个候选问答对中候选答案的交互，确定每个所述候选答案对应的第三增强向量，包括：

将所述第二相似矩阵和所述第一向量序列进行归一化处理，得到所述每个所述候选答案和查询问题对应的第四交互向量序列；

根据所述候选答案对应的第三向量序列和所述第四交互向量序列，计算得到每个所述候选答案对应的第三增强向量。

在本申请较佳的技术方案中，上述根据所述查询问题对应的第一向量序列、所述第一交互向量序列和所述第二交互向量序列，计算得到所述查询问题对应的第一增强向量，包括：

计算所述第一交互向量序列和所述第二交互向量序列的均值为第五交互向量序列；根据所述查询问题对应的第一向量序列和所述第五交互向量序列，计算得到所述查询问题对应的第一增强向量；

或者；

选择所述第一交互向量序列和所述第二交互向量序列中各个位置向量的较大值为第五交互向量序列；根据所述查询问题对应的第一向量序列和所述第五交互向量序列，计算得到所述查询问题对应的第一增强向量。

在本申请较佳的技术方案中，上述所述根据所述查询问题对应的第一增强向量、每个所述候选问题对应的第二增强向量和每个所述候选答案对应的第三增强向量，计算所述查询问题与每个候选问答对中候选问题和候选答案的匹配度，得到所述候选问答对的综合匹配度，包括：

根据所述查询问题的第一增强向量和每个所述候选问题的第二增强向量，计算所述查询问题与每个所述候选问题的相似度分值；

根据所述查询问题的第一增强向量和每个所述候选答案的第三增强向量，计算所述查询问题与每个所述候选答案的相关度分值；

根据所述查询问题与每个所述候选问题的相似度分值和所述查询问题与每个所述候选答案的相关度分值，计算得到所述查询问题与每个所述候选问答对的综合匹配度。

在本申请较佳的技术方案中，上述通过检索式问答模型确定所述查询问题对应的第一增强向量、每个所述候选问题对应的第二增强向量和每个所述候选答案对应的第三增强向量，以及通过所述检索式问答模型得到所述候选问答对的综合匹配度；

其中，所述检索式问答模型包括依次连接的输入层、向量提取层、网络层、池化层、拼接层和线性层；

所述输入层，用于将所述查询问题以及所述候选问答对中的候选问题和候选答案输入给所述向量提取层；

所述向量提取层，用于提取所述候选问题对应的第一向量序列、候选答案对应的第二向量序列和所述查询问题对应的第三向量序列；

所述网络层，用于根据所述第一向量序列、第二向量序列和第三向量序列，计算所述查询问题的第一增强向量、每个所述候选问题的第二增强向量、每个所述候选答案的第三增强向量；

所述池化层，用于对所述第一增强向量、所述第二增强向量和所述第三增强向量分别进行池化，得到对应的第一池化向量、第二池化向量和第三池化向量；

所述拼接层，用于对所述第一池化向量、所述第二池化向量和所述第三池化向量进行拼接，得到池化合集；

所述线性层，用于根据池化合集，计算所述查询问题与所述候选问答对的综合匹配度。

在本申请较佳的技术方案中，上述检索式问答模型中的向量提取层通过如下方式训练得到：

构建继续训练数据，每条继续训练数据包括以下至少之一：继续训练问答对和继续训练查询问题；

将所述继续训练数据输入到所述检索式问答模型中的向量提取层，直至所述向量提取层的训练步数达到预设的训练步数阈值；所述检索式问答模型中的向量提取层为预训练提取模型；

在本申请较佳的技术方案中，上述检索式问答模型通过如下方式训练得到：

构建微调训练数据；每条微调训练数据包括：标注的微调查询问题和微调训练问答对；所述微调训练问答对包括微调训练问题、微调训练答案；

将所述微调查询问题和与该微调查询问题对应的微调训练问题和微调训练答案输入到所述输入层；

所述输入层将所述微调查询问题以及所述微调训练问题、所述微调训练答案输入给所述向量提取层；

所述向量提取层分别提取所述微调查询问题的第一测试向量序列、所述微调训练问题的第二测试向量序列和所述微调训练答案的第三测试向量序列；

根据所述第一测试向量序列和与所述微调查询问题对应的第一标准向量序列、所述第二测试向量序列和与所述微调训练问题对应的第二标准向量序列、所述第三测试向量序列和与所述微调训练答案对应的第三标准向量序列对所述向量提取层进行微调，得到微调后的向量提取层；

所述微调后的向量提取层分别提取所述微调查询问题对应的第一微调向量序列、所述微调训练问题对应的第二微调向量序列和所述微调训练答案对应的第三微调向量序列；

所述网络层根据所述第一微调向量序列、第二微调向量序列和第三微调向量序列，计算所述微调查询问题的第四增强向量、所述微调训练问题的第五增强向量、所述微调训练答案的第六增强向量；

所述线性层根据所述微调查询问题的第四增强向量、所述微调训练问题的第五增强向量、所述微调训练答案的第六增强向量，计算所述微调查询问题与所述微调训练问答对的综合匹配度；

根据所述微调查询问题和所述微调训练问答对的综合匹配度，不断调整损失函数，直至所述微调查询问题和与所述微调训练问答对的综合匹配度达到预设综合匹配度阈值。

第二方面，本申请实施例提供了一种文本匹配装置，所述装置包括：

获取模块，用于获取与用户输入的查询问题相对应的候选问答对，所述候选问答对是从预设的问答对检索库中选取得到的；其中，所述候选问答对中包括候选问题和每个候选问题对应的候选答案；

交互模块，用于根据所述查询问题与每个候选问答对中候选问题和候选答案的交互，确定所述查询问题对应的第一增强向量、每个所述候选问题对应的第二增强向量和每个所述候选答案对应的第三增强向量；

计算模块，用于根据所述查询问题对应的第一增强向量、每个所述候选问题对应的第二增强向量和每个所述候选答案对应的第三增强向量，计算所述查询问题与每个候选问答对中候选问题和候选答案的匹配度，得到所述候选问答对的综合匹配度；

反馈模块，用于将对应的综合匹配度满足预设匹配条件的候选问答对中的候选答案作为所述查询问题的查询答案，并将所述查询答案反馈给用户。

第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的文本匹配方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的文本匹配方法的步骤。

本申请实施例提供了一种文本匹配方法、装置、电子设备及存储介质，首先从检索库中粗筛选，选取与用户输入的查询问题相对应的候选问答对，之后，根据查询问题与每个候选问答对中候选问题和候选答案的交互，确定查询问题对应的第一增强向量、每个候选问题对应的第二增强向量和每个候选答案对应的第三增强向量；然后，根据查询问题、每个候选问题对应的第二增强向量和每个候选答案各自对应的相应的增强向量，计算查询问题与每个候选问答对中候选问题和候选答案的匹配度，得到候选问答对的综合匹配度；最后，将对应的综合匹配度满足预设匹配条件的候选问答对中的候选答案作为查询问题的查询答案，并将查询答案反馈给用户。本申请中，通过考虑到查询问题与候选问答对中候选问题和候选答案进行交互，为用户输入的查询问题匹配候选问答对，并直接将候选问答对中的答案返回给用户，与仅仅通过用户问题与常见问题相匹配返回答案的方式相比，提高了文本匹配的准确性，提高了答案的准确率。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍， 应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种文本匹配方法的流程示意图；

图2示出了本申请实施例所提供的一种检索式问答模型示意图；

图3示出了本申请实施例所提供的一种文本匹配装置示意图；

图4为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

现有的检索式问答系统，在接收到用户的查询问题之后，使用查询问题与检索库中的问题进行匹配，得到查询问题与检索库中每个问题的相似度。找到相似度高的检索库中的问题为候选问题，该候选问题对应的答案为参考答案，并将参考答案反馈给用户。

在上述过程中，在将查询问题与检索库中的问题进行匹配的时候，通常利用词袋模型或者Word2vec获取候选问答对中问题与用户问题的向量表示，在使用余弦距离计算相似度；或者利用神经网络模型分别对候选问答对中问题与用户问题进行编码，接入线性层进行文本匹配，将二者匹配概率作为二者相似度，通常使用的神经网络模型的为三种：表示型模型（CNN，RNN等）；交互型模型（ESIM，BIMPM等）；预训练语言模型（BERT，RoBERTa等）。

现有技术中查询问题与检索库中的问题匹配效果差，导致反馈给用户的查询答案不够准确。具体为，词袋模型缺乏对查询问题语义信息的理解，表示型模型和交互式模型都缺乏大规模通用语料支持的语言本身的先验信息，而预训练模型对特定领域内数据的敏锐度不足。

基于此，本申请实施例提供了一种文本匹配方法、装置、电子设备及存储介质，下面通过实施例进行描述。

图1示出了本申请实施例所提供的一种文本匹配方法的流程示意图，其中，该方法包括步骤S101-S104；具体的：

S101、获取与用户输入的查询问题相对应的候选问答对，候选问答对是从预设的问答对检索库中选取得到的；其中，候选问答对中包括候选问题和每个候选问题对应的候选答案；

S102、根据查询问题与每个候选问答对中候选问题和候选答案的交互，确定查询问题对应的第一增强向量、每个候选问题对应的第二增强向量和每个候选答案对应的第三增强向量；

S103、根据查询问题对应的第一增强向量、每个候选问题对应的第二增强向量和每个候选答案对应的第三增强向量，计算查询问题与每个候选问答对中候选问题和候选答案的匹配度，得到候选问答对的综合匹配度；

S104、将对应的综合匹配度满足预设匹配条件的候选问答对中的候选答案作为查询问题的查询答案，并将查询答案反馈给用户。

本申请中，通过考虑到查询问题与候选问答对中候选问题和候选答案进行交互，为用户输入的查询问题匹配候选问答对，并直接将候选问答对中的答案返回给用户，与仅仅通过用户问题与常见问题相匹配返回答案的方式相比，提高了文本匹配的准确性，提高了答案的准确率。

下面对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。上述方法可以应用服务器，也可以应用于终端设备，下面以应用于服务器为例进行说明。

S101、获取与用户输入的查询问题相对应的候选问答对，候选问答对是从预设的问答对检索库中选取得到的；其中，候选问答对中包括候选问题和每个候选问题对应的候选答案。

服务器中提供一检索式问答系统，当用户输入针对某一查询问题时，可通过查询检索式问答系统反馈给用户答案；该检索式问答系统中包括多个不同领域的问答对检索库，不同领域对应的问答对检索库不同，问答对检索库中包含的问答对与该领域是相对应的。

为了提高匹配效率，本申请中针对某个领域，检索式问答系统接收到用户的查询问题时，先从该领域预设的问答对检索库中，粗选出与用户的查询问题相关的候选问答对，然后从候选问答对中选取与查询问题综合匹配度最高的候选问答对，这里的候选问答对包括候选问题和与每个候选问题对应的候选答案。

通过如下方式获取与用户输入的查询问题相对应的候选问答对：

分别获取查询问题的关键词和检索库问答对中问题的关键词和答案的关键词；

根据查询问题对应的关键词、检索库问答对中问题的关键词和答案的关键词，确定候选问答对。

这里的关键词表征该领域中能够体现文本重要性的字或者词语，一个文本（查询问题、检索库问题或者检索库答案）可以对应一个关键词，也可以对应有多个关键词。

S102、根据查询问题与每个候选问答对中候选问题和候选答案的交互，确定查询问题对应的第一增强向量、每个候选问题对应的第二增强向量和每个候选答案对应的第三增强向量。

为了能够更加精准的为查询问题匹配到候选问答对，本申请加强了查询问题与候选问答对中候选问题和候选答案之间TextPair的比较，即将查询问题与每个候选问答对中候选问题和候选答案之间进行交互。

通过查询问题与每个候选问答对中候选问题和候选答案之间进行交互，得到三者分别对应的增强向量。本申请中使用查询问题对应的第一增强向量、每个候选问题对应的第二增强向量和每个候选答案对应的第三增强向量来计算查询问题与每个候选问答对之间的综合匹配度，提高了筛选查询答案的准确性。

在确定第一增强向量时,根据查询问题与每个候选问答对中候选问题和候选答案的交互，确定查询问题对应的第一增强向量。

具体的，根据查询问题对应第一向量序列和每个候选问题对应第二向量序列，计算得到查询问题和每个候选问题对应的第一相似矩阵；其中，第一向量序列中每一个向量对应查询问题中的每个分词；第二向量序列中每一个向量对应候选问题中的每个分词；

根据查询问题对应第一向量序列和每个候选答案对应第三向量序列，计算得到查询问题和每个候选答案对应的第二相似矩阵；其中，第三向量序列中每一个向量对应候选答案中的每个分词；

将第一相似矩阵和第二向量序列进行归一化处理，得到查询问题和每个候选问题对应的第一交互向量序列；

将第二相似矩阵和第三向量序列进行归一化处理，得到查询问题和每个候选答案对应的第二交互向量序列；

根据查询问题对应的第一向量序列、第一交互向量序列和第二交互向量序列，计算得到查询问题对应的第一增强向量。

在确定第二增强向量时,根据查询问题与每个候选问答对中候选问题的交互，确定每个候选问题对应的第二增强向量；

具体的，将第一相似矩阵和第一向量序列进行归一化处理，得到每个候选问题和查询问题对应的第三交互向量序列；

根据候选问题对应的第二向量序列和第三交互向量序列，计算得到每个候选问题对应的第二增强向量。

在确定第三增强向量时,根据查询问题与每个候选问答对中候选答案的交互，确定每个候选答案对应的第三增强向量。

具体的，将第二相似矩阵和第一向量序列进行归一化处理，得到每个候选答案和查询问题对应的第四交互向量序列；

根据候选答案对应的第三向量序列和第四交互向量序列，计算得到每个候选答案对应的第三增强向量。

本申请为了提高匹配结构的准确性，在进行交互时，不直接使用查询问题和候选问答对对应的文本，而是通过预训练提取模型提取查询问题和候选问答对对应的向量。这里的预训练提取模型可以是BERT模型或者：ERNIE，RoBERTa等。

则本申请中查询问题与候选问答对的交互过程为：通过预训练提取模型分别提取查询问题对应第一向量序列Q、每个候选问题对应第二向量序列q、每个候选答案对应第三向量序列a；

根据查询问题对应第一向量序列Q和每个候选问题对应第二向量序列q，计算得到查询问题和每个候选问题对应的第一相似矩阵e_q；

即e_q=Qq^T。

根据查询问题对应第一向量序列Q和每个候选答案对应第三向量序列a，计算得到查询问题和每个候选答案对应的第二相似矩阵e_a；

即e_a=Qa^T。

将第一相似矩阵e_q和第二向量序列q进行归一化处理，得到查询问题和每个候选问题对应的第一交互向量序列

；

即

；

将第二相似矩阵e_a和第三向量序列a进行归一化处理，得到查询问题和每个候选答案对应的第二交互向量序列

；

即

；

根据查询问题对应的第一向量序列Q、第一交互向量序列

和第二交互向量序列

，计算得到查询问题对应的第一增强向量

。

将第一相似矩阵

和第一向量序列Q进行归一化处理，得到每个候选问题和查询问题对应的第三交互向量序列

；

即

；

根据候选问题对应的第二向量序列q和第三交互向量序列

，计算得到每个候选问题对应的第二增强向量

；

即

=[q,

,q-

,q⊙

]。

将第二相似矩阵e_a和第一向量序列Q进行归一化处理，得到每个候选答案和查询问题对应的第四交互向量序列

；

根据候选答案对应的第三向量序列a和第四交互向量序列

，计算得到每个候选答案对应的第三增强向量

；

即

=[a,

,a-

,a⊙

]。

本申请实施例中，作为一可选实施例，根据查询问题对应的第一向量序列Q、第一交互向量序列

和第二交互向量序列

，计算得到查询问题对应的第一增强向量

时，先根据第一交互向量序列

和第二交互向量序列

计算得到第五交互向量序列

；

在这里，第五交互向量序列

的值有以下两种计算方式：

（1）

=

；

（2）

=

；

其中，上述（2）式表示

第i行第j列的向量为

，

对应位置的向量的较大值。

然后根据查询问题对应的第一向量序列Q和第五交互向量序列

，得到查询问题对应的第一增强向量

；

即

=[

,

,

-

,

⊙

]。

S103、根据查询问题对应的第一增强向量、每个候选问题对应的第二增强向量和每个候选答案对应的第三增强向量，计算查询问题与每个候选问答对中候选问题和候选答案的匹配度，得到候选问答对的综合匹配度。

本申请中根据第一增强向量、第二增强向量和第三增强向量，计算得到查询问题与候选问答对的综合匹配度；在具体计算时，根据第一增强向量和第二增强向量，计算查询问题与候选问答对中候选问题的匹配度，根据第一增强向量和第三增强向量，计算查询问题与候选问答对中候选答案的匹配度，进而得到查询问题与候选问答对的综合匹配度。

本申请在具体实施时，考虑到了查询问题与候选问题在文本或者语义上是具有相似性的，而查询问题与候选答案之间的文本或者语义之间是相关性的。这里的相关性表征该答案的文本或者语义回答、回复该问题的文本或者语义的符合逻辑的程度。

则本申请综合匹配度的计算过程如下：

根据查询问题的第一增强向量和每个候选问题的第二增强向量，计算查询问题与每个候选问题的相似度分值；

根据查询问题的第一增强向量和每个候选答案的第三增强向量，计算查询问题与每个候选答案的相关度分值；

根据查询问题与每个候选问题的相似度分值和查询问题与每个候选答案的相关度分值，计算得到查询问题与每个候选问答对的综合匹配度。

S104、将对应的综合匹配度满足预设匹配条件的候选问答对中的候选答案作为查询问题的查询答案，并将查询答案反馈给用户。

根据上述方式计算得到查询问题与每个候选问答对的综合匹配度，综合匹配度越高，说明该候选问答对中的候选问题与查询问题询问同一情景的可能性越大，也说明该候选问答对中的候选答案回答该查询问题的逻辑性越强，即候选问答对中的候选答案与用户期望得到的回复越接近。

用户可以通过设置匹配条件选择一个或者多个综合匹配度。这里的匹配条件可以是综合匹配度阈值，例如，选择综合匹配度大于95%的候选问答对。如果大于95%的候选问答对存在两个或者三个，用户只需要获取一个候选问答对时，可以改变综合匹配度阈值，直至最后仅有一个候选问答对，则该候选问答对中包含的候选答案作为查询问题的查询答案，并反馈给用户。

如图2所示，本申请上述方案中，查询问题对应的第一增强向量、每个候选问题对应的第二增强向量和每个候选答案对应的第三增强向量，可以通过检索式问答模型确定，以及候选问答对的综合匹配度也可以通过检索式问答模型得到；

其中，检索式问答模型包括依次连接的输入层、向量提取层、网络层、池化层、拼接层和线性层；

输入层，用于将查询问题以及候选问答对中的候选问题和候选答案输入给向量提取层；

向量提取层，用于提取候选问题对应的第一向量序列、候选答案对应的第二向量序列和查询问题对应的第三向量序列；

网络层，用于根据第一向量序列、第二向量序列和第三向量序列，计算查询问题的第一增强向量、每个候选问题的第二增强向量、每个候选答案的第三增强向量；

池化层，用于对第一增强向量、第二增强向量和第三增强向量分别进行池化，得到对应的第一池化向量、第二池化向量和第三池化向量；

拼接层，用于对第一池化向量、第二池化向量和第三池化向量进行拼接，得到池化合集；

线性层，用于根据池化合集，计算查询问题与候选问答对的综合匹配度。

检索式问答模型中的向量提取层通过如下方式训练得到：

构建继续训练数据，每条继续训练数据包括以下至少之一：继续训练问答对和继续训练查询问题；

将继续训练数据输入到检索式问答模型中的向量提取层，直至向量提取层的训练步数达到预设的训练步数阈值；检索式问答模型中的向量提取层为预训练提取模型。

在具体实施时，继续训练数据：用于预训练模型继续训练的数据。每一条数据为特定领域的一段文本，可以是用户问题、检索库问答对问题、检索库问答对答案。该过程不需要对每条数据进行标注。

利用继续训练数据，使用向量提取层在上述数据上做继续训练，直至学习率满足要求为止。向量提取层是预训练提取模型，例如BERT、ERNIE，RoBERTa等。预训练提取模型是在大规模通用语料上训练得到的，该预训练提取模型对语言本身的规律（比如：结构信息、格式信息等）已经具有较高的认知能力。继续训练能够提高模型在特定领域内数据的敏锐度。

检索式问答模型通过如下方式训练得到：

构建微调训练数据；每条微调训练数据包括：标注的微调查询问题和微调训练问答对；微调训练问答对包括微调训练问题、微调训练答案；

将微调查询问题和与该微调查询问题对应的微调训练问题和微调训练答案输入到输入层；

输入层将微调查询问题以及微调训练问题、微调训练答案输入给向量提取层；

向量提取层分别提取微调查询问题的第一测试向量序列、微调训练问题的第二测试向量序列和微调训练答案的第三测试向量序列；

根据第一测试向量序列和与微调查询问题对应的第一标准向量序列、第二测试向量序列和与微调训练问题对应的第二标准向量序列、第三测试向量序列和与微调训练答案对应的第三标准向量序列对向量提取层进行微调，得到微调后的向量提取层；

微调后的向量提取层分别提取微调查询问题对应的第一微调向量序列、微调训练问题对应的第二微调向量序列和微调训练答案对应的第三微调向量序列；

网络层根据第一微调向量序列、第二微调向量序列和第三微调向量序列，计算微调查询问题的第四增强向量、微调训练问题的第五增强向量、微调训练答案的第六增强向量；

线性层根据微调查询问题的第四增强向量、微调训练问题的第五增强向量、微调训练答案的第六增强向量，计算微调查询问题与微调训练问答对的综合匹配度；

根据微调查询问题和微调训练问答对的综合匹配度，不断调整损失函数，直至微调查询问题和与微调训练问答对的综合匹配度达到预设综合匹配度阈值。

在具体实施时，微调训练数据：每一条数据需要提供用户问题、检索库问题、检索库答案。该过程需要对每条数据进行标注，标签为0或者1，0代表该用户问题与检索库问答对不匹配，1代表该用户问题与检索库问答对相匹配。

本申请中微调训练数据，可以让该检索式问答模型更进一步加深对特定领域内训练数据的理解，使得预训练模型的向量提取层得到的文本字粒度的向量更加地准确。

根据微调训练数据，将检索库问题，检索库答案，用户问题分别输入继续训练过后的预训练模型的向量提取层中，获取各自的字粒度文本向量q，a，Q。

以用户问题Q、检索库问题q之间的交互过程为例，计算Q，q之间的相似矩阵

，矩阵中的每一个元素代表检索库问题与用户问题在word层。使用下面的公式分别计算出用户问题、检索库问题的另一种表示

，

：用户问题与检索库问题的相对出现的概率：

同样的，用户问题Q，检索库答案a之间的交互过程，得到用户问题、检索库答案的另一种表示

，

：

由检索问题q及其另一种表示

计算检索问题的增强向量

，

是综合了检索问题q，另一种表示

以及二者之间差异性的向量，二者的差异性使用q-

,q⊙

来表示：

=[q,

,q-

,q⊙

]

同理可以计算出检索答案的增强向量

：

=[a,

,a-

,a⊙

]

在计算用户问题的增强向量

时，由于存在

和

两种表示形式，所以首先计算

:

=

然后计算出用户问题的增强向量

：

=[

,

,

-

,

⊙

]

分别对增强向量同时进行平均池化和/或最大池化操作，并将池化结果进行拼接得到[v₁,v₂,v₃,v₄,v₅,v₆]。然后将其接入线性层，使用交叉熵损失函数作为二分类的优化目标，调整模型的超参数使得模型收敛并且具有较好的泛化能力，保存模型，完成微调训练过程。

针对现有技术存在的不足，上述方案提供了一种检索式问答模型，该模型在进行文本匹配时，综合考虑了检索库问答对中问题和答案的信息，利用大规模通用语料训练得到的预训练提取模型来提高模型对语言本身先验信息的记忆，同时使用继续训练以及微调的方式提高该检索式问答模型对领域内数据的敏锐度，增强了用户问题和目标文本在句子层面的交互式理解，最终达到提高文本匹配的效果，使得检索式问答系统的综合匹配度计算更加准确。

图3示出了本申请实施例所提供的一种文本匹配装置的结构示意图，装置包括：

获取模块，用于获取与用户输入的查询问题相对应的候选问答对，候选问答对是从预设的问答对检索库中选取得到的；其中，候选问答对中包括候选问题和每个候选问题对应的候选答案；

交互模块，用于根据查询问题与每个候选问答对中候选问题和候选答案的交互，确定查询问题对应的第一增强向量、每个候选问题对应的第二增强向量和每个候选答案对应的第三增强向量；

计算模块，用于根据查询问题对应的第一增强向量、每个候选问题对应的第二增强向量和每个候选答案对应的第三增强向量，计算查询问题与每个候选问答对中候选问题和候选答案的匹配度，得到候选问答对的综合匹配度；

反馈模块，用于将对应的综合匹配度满足预设匹配条件的候选问答对中的候选答案作为查询问题的查询答案，并将查询答案反馈给用户。

交互模块，在用于根据查询问题与每个候选问答对中候选问题和候选答案的交互，确定查询问题对应的第一增强向量、每个候选问题对应的第二增强向量和每个候选答案对应的第三增强向量时，包括：

根据查询问题与每个候选问答对中候选问题和候选答案的交互，确定查询问题对应的第一增强向量；

根据查询问题与每个候选问答对中候选问题的交互，确定每个候选问题对应的第二增强向量；

根据查询问题与每个候选问答对中候选答案的交互，确定每个候选答案对应的第三增强向量。

根据查询问题与每个候选问答对中候选问题和候选答案的交互，确定查询问题对应的第一增强向量，包括：

根据查询问题对应第一向量序列和每个候选问题对应第二向量序列，计算得到查询问题和每个候选问题对应的第一相似矩阵；其中，第一向量序列中每一个向量对应查询问题中的每个分词；第二向量序列中每一个向量对应候选问题中的每个分词；

根据查询问题对应第一向量序列和每个候选答案对应第三向量序列，计算得到查询问题和每个候选答案对应的第二相似矩阵；其中，第三向量序列中每一个向量对应候选答案中的每个分词；

将第一相似矩阵和第二向量序列进行归一化处理，得到查询问题和每个候选问题对应的第一交互向量序列；

将第二相似矩阵和第三向量序列进行归一化处理，得到查询问题和每个候选答案对应的第二交互向量序列；

根据查询问题对应的第一向量序列、第一交互向量序列和第二交互向量序列，计算得到查询问题对应的第一增强向量；

根据查询问题与每个候选问答对中候选问题的交互，确定每个候选问题对应的第二增强向量，包括：

将第一相似矩阵和第一向量序列进行归一化处理，得到每个候选问题和查询问题对应的第三交互向量序列；

根据候选问题对应的第二向量序列和第三交互向量序列，计算得到每个候选问题对应的第二增强向量；

根据查询问题与每个候选问答对中候选答案的交互，确定每个候选答案对应的第三增强向量，包括：

将第二相似矩阵和第一向量序列进行归一化处理，得到每个候选答案和查询问题对应的第四交互向量序列；

根据候选答案对应的第三向量序列和第四交互向量序列，计算得到每个候选答案对应的第三增强向量。

根据查询问题对应的第一向量序列、第一交互向量序列和第二交互向量序列，计算得到查询问题对应的第一增强向量，包括：

计算第一交互向量序列和第二交互向量序列的均值为第五交互向量序列；根据查询问题对应的第一向量序列和第五交互向量序列，计算得到查询问题对应的第一增强向量；

或者；

选择第一交互向量序列和第二交互向量序列中各个位置向量的较大值为第五交互向量序列；根据查询问题对应的第一向量序列和第五交互向量序列，计算得到查询问题对应的第一增强向量。

计算模块，在用于根据查询问题对应的第一增强向量、每个候选问题对应的第二增强向量和每个候选答案对应的第三增强向量，计算查询问题与每个候选问答对中候选问题和候选答案的匹配度，得到候选问答对的综合匹配度时，包括：

根据查询问题的第一增强向量和每个候选问题的第二增强向量，计算查询问题与每个候选问题的相似度分值；

根据查询问题的第一增强向量和每个候选答案的第三增强向量，计算查询问题与每个候选答案的相关度分值；

根据查询问题与每个候选问题的相似度分值和查询问题与每个候选答案的相关度分值，计算得到查询问题与每个候选问答对的综合匹配度。

如图4所示，本申请实施例提供了一种电子设备，用于执行本申请中的文本匹配方法，该设备包括存储器、处理器及存储在该存储器上并可在该处理器上运行的计算机程序，其中，上述处理器执行上述计算机程序时实现上述的文本匹配方法的步骤。

具体地，上述存储器和处理器可以为通用的存储器和处理器，这里不做具体限定，当处理器运行存储器存储的计算机程序时，能够执行上述的文本匹配方法。

对应于本申请中的文本匹配方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述的文本匹配方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述的文本匹配方法。

在本申请所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory， ROM）、随机存取存储器（Random Access Memory ，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种文本匹配方法，其特征在于，所述方法包括：

获取与用户输入的查询问题相对应的候选问答对，所述候选问答对是从预设的问答对检索库中选取得到的；其中，所述候选问答对中包括候选问题和每个候选问题对应的候选答案；

根据所述查询问题与每个候选问答对中候选问题和候选答案的交互，确定所述查询问题对应的第一增强向量、每个所述候选问题对应的第二增强向量和每个所述候选答案对应的第三增强向量；

根据所述查询问题对应的第一增强向量、每个所述候选问题对应的第二增强向量和每个所述候选答案对应的第三增强向量，计算所述查询问题与每个候选问答对中候选问题和候选答案的匹配度，得到所述候选问答对的综合匹配度；

将对应的综合匹配度满足预设匹配条件的候选问答对中的候选答案作为所述查询问题的查询答案，并将所述查询答案反馈给用户。

2.根据权利要求1所述的方法，其特征在于，所述根据所述查询问题与每个候选问答对中候选问题和候选答案的交互，确定所述查询问题对应的第一增强向量、每个所述候选问题对应的第二增强向量和每个所述候选答案对应的第三增强向量，包括：

根据所述查询问题与每个候选问答对中候选问题和候选答案的交互，确定所述查询问题对应的第一增强向量；

根据所述查询问题与每个候选问答对中候选问题的交互，确定每个所述候选问题对应的第二增强向量；

根据所述查询问题与每个候选问答对中候选答案的交互，确定每个所述候选答案对应的第三增强向量。

3.根据权利要求2所述的方法，其特征在于，所述根据所述查询问题与每个候选问答对中候选问题和候选答案的交互，确定所述查询问题对应的第一增强向量，包括：

根据所述查询问题对应第一向量序列和每个所述候选问题对应第二向量序列，计算得到所述查询问题和每个所述候选问题对应的第一相似矩阵；其中，所述第一向量序列中每一个向量对应所述查询问题中的每个分词；所述第二向量序列中每一个向量对应所述候选问题中的每个分词；

根据所述查询问题对应第一向量序列和每个所述候选答案对应第三向量序列，计算得到所述查询问题和每个所述候选答案对应的第二相似矩阵；其中，所述第三向量序列中每一个向量对应所述候选答案中的每个分词；

所述第一相似矩阵和所述第二向量序列进行归一化处理，得到所述查询问题和每个所述候选问题对应的第一交互向量序列；

将所述第二相似矩阵和所述第三向量序列进行归一化处理，得到所述查询问题和每个所述候选答案对应的第二交互向量序列；

根据所述查询问题对应的第一向量序列、所述第一交互向量序列和所述第二交互向量序列，计算得到所述查询问题对应的第一增强向量。

4.根据权利要求3所述的方法，其特征在于，所述根据所述查询问题与每个候选问答对中候选问题的交互，确定每个所述候选问题对应的第二增强向量，包括：

将所述第一相似矩阵和所述第一向量序列进行归一化处理，得到所述每个所述候选问题和查询问题对应的第三交互向量序列；根据所述候选问题对应的第二向量序列和所述第三交互向量序列，计算得到每个所述候选问题对应的第二增强向量；

所述根据所述查询问题与每个候选问答对中候选答案的交互，确定每个所述候选答案对应的第三增强向量，包括：

将所述第二相似矩阵和所述第一向量序列进行归一化处理，得到所述每个所述候选答案和查询问题对应的第四交互向量序列；根据所述候选答案对应的第三向量序列和所述第四交互向量序列，计算得到每个所述候选答案对应的第三增强向量。

5.根据权利要求3所述的方法，其特征在于，所述根据所述查询问题对应的第一向量序列、所述第一交互向量序列和所述第二交互向量序列，计算得到所述查询问题对应的第一增强向量，包括：

计算所述第一交互向量序列和所述第二交互向量序列的均值为第五交互向量序列；根据所述查询问题对应的第一向量序列和所述第五交互向量序列，计算得到所述查询问题对应的第一增强向量；

或者；

选择所述第一交互向量序列和所述第二交互向量序列中各个位置向量的较大值为第五交互向量序列；根据所述查询问题对应的第一向量序列和所述第五交互向量序列，计算得到所述查询问题对应的第一增强向量。

6.根据权利要求1所述的方法，其特征在于，所述根据所述查询问题对应的第一增强向量、每个所述候选问题对应的第二增强向量和每个所述候选答案对应的第三增强向量，计算所述查询问题与每个候选问答对中候选问题和候选答案的匹配度，得到所述候选问答对的综合匹配度，包括：

根据所述查询问题的第一增强向量和每个所述候选问题的第二增强向量，计算所述查询问题与每个所述候选问题的相似度分值；

根据所述查询问题的第一增强向量和每个所述候选答案的第三增强向量，计算所述查询问题与每个所述候选答案的相关度分值；

根据所述查询问题与每个所述候选问题的相似度分值和所述查询问题与每个所述候选答案的相关度分值，计算得到所述查询问题与每个所述候选问答对的综合匹配度。

7.根据权利要求3所述的方法，其特征在于，通过检索式问答模型确定所述查询问题对应的第一增强向量、每个所述候选问题对应的第二增强向量和每个所述候选答案对应的第三增强向量，以及通过所述检索式问答模型得到所述候选问答对的综合匹配度；

其中，所述检索式问答模型包括依次连接的输入层、向量提取层、网络层、池化层、拼接层和线性层；

所述输入层，用于将所述查询问题以及所述候选问答对中的候选问题和候选答案输入给所述向量提取层；

所述向量提取层，用于提取所述候选问题对应的第一向量序列、候选答案对应的第二向量序列和所述查询问题对应的第三向量序列；

所述网络层，用于根据所述第一向量序列、第二向量序列和第三向量序列，计算所述查询问题的第一增强向量、每个所述候选问题的第二增强向量、每个所述候选答案的第三增强向量；

所述池化层，用于对所述第一增强向量、所述第二增强向量和所述第三增强向量分别进行池化，得到对应的第一池化向量、第二池化向量和第三池化向量；

所述拼接层，用于对所述第一池化向量、所述第二池化向量和所述第三池化向量进行拼接，得到池化合集；

所述线性层，用于根据池化合集，计算所述查询问题与所述候选问答对的综合匹配度。

8.根据权利要求7所述的方法，其特征在于，所述检索式问答模型中的向量提取层通过如下方式训练得到：

构建继续训练数据，每条继续训练数据包括以下至少之一：继续训练问答对和继续训练查询问题；

将所述继续训练数据输入到所述检索式问答模型中的向量提取层，直至所述向量提取层的训练步数达到预设的训练步数阈值，得到训练好的向量提取层；所述检索式问答模型中的向量提取层为预训练提取模型。

9.根据权利要求8所述的方法，其特征在于，所述检索式问答模型通过如下方式训练得到：

构建微调训练数据；每条微调训练数据包括：标注的微调查询问题和微调训练问答对；所述微调训练问答对包括微调训练问题、微调训练答案；

将所述微调查询问题和与该微调查询问题对应的微调训练问题和微调训练答案输入到所述输入层；

所述输入层将所述微调查询问题以及所述微调训练问题、所述微调训练答案输入给所述向量提取层；

所述向量提取层分别提取所述微调查询问题的第一测试向量序列、所述微调训练问题的第二测试向量序列和所述微调训练答案的第三测试向量序列；

根据所述第一测试向量序列和与所述微调查询问题对应的第一标准向量序列、所述第二测试向量序列和与所述微调训练问题对应的第二标准向量序列、所述第三测试向量序列和与所述微调训练答案对应的第三标准向量序列对所述向量提取层进行微调，得到微调后的向量提取层；

所述微调后的向量提取层分别提取所述微调查询问题对应的第一微调向量序列、所述微调训练问题对应的第二微调向量序列和所述微调训练答案对应的第三微调向量序列；

所述网络层根据所述第一微调向量序列、第二微调向量序列和第三微调向量序列，计算所述微调查询问题的第四增强向量、所述微调训练问题的第五增强向量、所述微调训练答案的第六增强向量；

所述线性层根据所述微调查询问题的第四增强向量、所述微调训练问题的第五增强向量、所述微调训练答案的第六增强向量，计算所述微调查询问题与所述微调训练问答对的综合匹配度；

根据所述微调查询问题和所述微调训练问答对的综合匹配度，不断调整损失函数，直至所述微调查询问题和与所述微调训练问答对的综合匹配度达到预设综合匹配度阈值。

10.一种文本匹配装置，其特征在于，所述装置包括：

获取模块，用于获取与用户输入的查询问题相对应的候选问答对，所述候选问答对是从预设的问答对检索库中选取得到的；其中，所述候选问答对中包括候选问题和每个候选问题对应的候选答案；

交互模块，用于根据所述查询问题与每个候选问答对中候选问题和候选答案的交互，确定所述查询问题对应的第一增强向量、每个所述候选问题对应的第二增强向量和每个所述候选答案对应的第三增强向量；

计算模块，用于根据所述查询问题对应的第一增强向量、每个所述候选问题对应的第二增强向量和每个所述候选答案对应的第三增强向量，计算所述查询问题与每个候选问答对中候选问题和候选答案的匹配度，得到所述候选问答对的综合匹配度；

反馈模块，用于将对应的综合匹配度满足预设匹配条件的候选问答对中的候选答案作为所述查询问题的查询答案，并将所述查询答案反馈给用户。

11.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至9任一所述的文本匹配方法的步骤。

12.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至9任一所述的文本匹配方法的步骤。

Images