CN108846077A - 问答文本的语义匹配方法、装置、介质及电子设备 - Google Patents

Abstract

本公开提供了一种问答文本的语义匹配方法，包括利用循环神经网络获取问题文本的具有上下文局部特征的特征向量序列和候选答案文本的具有上下文局部特征的特征向量序列；基于问题文本和所述候选答案文本的具有上下文局部特征的特征向量序列和所述问题文本和候选答案的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成问题文本的具有上下文局部特征和全局特征的特征向量序列和候选答案文本的具有上下文局部特征和全局特征的特征向量序列；根据问题文本的具有上下文局部特征和全局特征的特征向量序列、候选答案文本的具有上下文局部特征和全局特征的特征向量序列，确定问题文本与候选答案的语义匹配度。

Description

问答文本的语义匹配方法、装置、介质及电子设备

技术领域

本发明涉及自然语言处理技术领域，具体而言，涉及一种问答文本的语义匹配方法、装置、介质及电子设备。

背景技术

目前，基于深度学习的问答文本语义匹配的方法可以包含以下步骤：基于神经网络训练的词嵌入模型对文本进行词向量表示，其表示语义能力更强。通过构建长短时记忆网络LSTM(Long Short-Term Memory)或门控循环单元GRU(Gated Recurrent Unit)等深度学习等模型对文本建模。虽然这些方法对特征选取依赖性较低，一定程度上提取了文本浅层语义信息和上下文局部特征，但不能表示大量重点全局特征，因此降低了问答文本语义匹配的准确性。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明实施例的目的在于提供一种问答文本的语义匹配方法、装置、介质及电子设备，进而至少可以在一定程度上克服问答文本语义匹配的准确性较低的问题。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的第一方面，提供了一种问答文本的语义匹配方法，包括：利用循环神经网络获取问题文本的具有上下文局部特征的特征向量序列和候选答案文本的具有上下文局部特征的特征向量序列；基于所述问题文本的具有上下文局部特征的特征向量序列和所述问题文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述问题文本的具有上下文局部特征和全局特征的特征向量序列；基于所述候选答案文本的具有上下文局部特征的特征向量序列和所述候选答案文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列；根据所述问题文本的具有上下文局部特征和全局特征的特征向量序列、所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列，确定所述问题文本与所述候选答案文本的语义匹配度。

在本发明的一些实施例中，基于前述方案，所述循环神经网络包括双向循环神经网络，所述双向循环神经网络中的循环神经网络包括基于长短时记忆LSTM和/或基于门控循环单元GRU的网络。

在本发明的一些实施例中，基于前述方案，上述还包括：基于所述问题文本的具有上下文局部特征的特征向量序列和所述候选答案文本的具有上下文局部特征的特征向量序列，生成背景信息，所述背景信息包括所述问题文本的词向量和所述候选答案的词向量在循环神经网络最后时刻之前的所有时间状态的语义信息；根据所述背景信息，确定所述问题文本的具有上下文局部特征的特征向量序列中每个时刻特征向量的注意力权重和所述候选答案文本的具有上下文局部特征的特征向量序列中每个时刻特征向量的注意力权重。

在本发明的一些实施例中，基于前述方案，基于所述问题文本的具有上下文局部特征的特征向量序列和所述问题文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述问题文本的具有上下文局部特征和全局特征的特征向量序列包括：根据所述背景信息，确定所述背景信息与所述问题文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的相似度；根据所述问题文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的相似度，确定所述问题文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的注意力权重；根据所述问题文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的注意力权重，对所述问题文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量加权，得到所述问题文本的具有上下文局部特征和全局特征的特征向量序列。

在本发明的一些实施例中，基于前述方案，基于所述候选答案文本的具有上下文局部特征的特征向量序列和所述候选答案文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列包括：根据所述背景信息，确定所述背景信息与所述候选答案文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的相似度；根据所述候选答案文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的相似度，确定所述候选答案文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的注意力权重；根据所述候选答案文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的注意力权重，对所述候选答案文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量加权，得到所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列。

在本发明的一些实施例中，基于前述方案，根据所述问题文本的具有上下文局部特征和全局特征的特征向量序列、所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列，确定所述问题文本与所述候选答案的语义匹配度包括：根据所述问题文本的具有上下文局部特征和全局特征的特征向量序列、所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列，依次计算所述问题文本的具有上下文局部特征和全局特征的特征向量序列和所述答案文本的具有上下文局部特征和全局特征的特征向量序列中的特征向量之间的相似度，得到所述问题文本和所述候选答案文本之间的相似度矩阵；根据所述问题文本和所述候选答案文本之间的相似度矩阵，确定所述问题文本与所述候选答案文本的语义匹配度。

在本发明的一些实施例中，基于前述方案，根据所述问题特征向量序列和所述候选答案特征向量序列的相似度矩阵，确定所述问题文本与所述候选答案的语义匹配度包括：从所述问题特征向量序列和所述候选答案特征向量序列的相似度矩阵中选取k个信息特征点组成代表所述问题文本与所述候选答案文本的语义匹配的特征向量，所述k为正整数；利用分类器对所述问题文本与所述候选答案文本的语义匹配的特征向量分类。

根据本发明实施例的第二方面，提供了一种问答文本的语义匹配装置，包括：获取模块，利用循环神经网络获取问题文本的具有上下文局部特征的特征向量序列和候选答案文本的具有上下文局部特征的特征向量序列；生成模块，基于所述问题文本的具有上下文局部特征的特征向量序列和所述问题文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述问题文本的具有上下文局部特征和全局特征的特征向量序列，以及基于所述候选答案文本的具有上下文局部特征的特征向量序列和所述候选答案文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列；确定模块，用于根据所述问题文本的具有上下文局部特征和全局特征的特征向量序列、所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列，确定所述问题文本与所述候选答案文本的语义匹配度。

根据本发明实施例的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中第一方面所述的问答文本的语义匹配方法。

根据本发明实施例的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中第一方面所述的问答文本的语义匹配方法。

本发明实施例提供的技术方案可以包括以下有益效果：

在本发明的一些实施例所提供的技术方案中，利用循环神经网络获取问题文本的具有上下文局部特征的特征向量序列和候选答案文本的具有上下文局部特征的特征向量序列，并基于所述问题文本的具有上下文局部特征的特征向量序列和所述问题文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述问题文本的具有上下文局部特征和全局特征的特征向量序列，以及基于所述候选答案文本的具有上下文局部特征的特征向量序列和所述候选答案文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列，以使得根据所述问题文本的具有上下文局部特征和全局特征的特征向量序列、所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列，能够确定出所述问题文本与所述候选答案的语义匹配度，以此方式确定出的问答文本的语义匹配度更准确，即提高了问答文本语义匹配的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出了根据本发明的一个实施例的问答文本的语义匹配方法的流程图；

图2示意性示出了根据本发明的另一个实施例的问答文本的语义匹配方法的流程图；

图3示意性示出了根据本发明的另一个实施例的问答文本的语义匹配方法的流程图；

图4示意性示出了根据本发明的另一个实施例的问答文本的语义匹配方法的流程图；

图5示意性示出了根据本发明的另一个实施例的问答文本的语义匹配方法的流程图；

图6示意性示出了根据本发明的另一个实施例的问答文本的语义匹配方法的流程图；

图7示意性示出了根据本发明的一个实施例的问答文本的语义匹配装置的框图；

图8示出了适于用来实现本发明实施例的问答文本的语义匹配装置的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示意性示出了根据本发明的一个实施例的问答文本的语义匹配方法的流程图。

如图1所示，问答文本的语义匹配方法包括步骤S110～步骤S140。

在步骤S110中，利用循环神经网络获取问题文本的具有上下文局部特征的特征向量序列和候选答案文本的具有上下文局部特征的特征向量序列。

在步骤S120中，基于所述问题文本的具有上下文局部特征的特征向量序列和所述问题文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述问题文本的具有上下文局部特征和全局特征的特征向量序列，以及基于所述候选答案文本的具有上下文局部特征的特征向量序列和所述候选答案文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列。

在步骤S130中，根据所述问题文本的具有上下文局部特征和全局特征的特征向量序列、所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列，确定所述问题文本与所述候选答案文本的语义匹配度。

该方法可以根据问题文本的具有上下文局部特征和全局特征的特征向量序列、候选答案文本的具有上下文局部特征和全局特征的特征向量序列，确定问题文本与候选答案文本的语义匹配度，然后可以根据该匹配度确定该问题文本的答案，以此方式获取的问题文本的答案更加准确。

在本发明的一个实施例中，可以将上述问答文本的语义匹配方法应用到智能问答机器人系统中，使得智能问答机器人系统向用户提供的答案更加准确，从而提高了用户体验。当然，智能问答机器人系统只是一个示例性的例子，该方法还可以应用到其他场景，在此不做限定。

在本发明的一个实施例中，步骤S110中的循环神经网络包括双向循环神经网络，该双向循环神经网络的中循环神经网络可以是基于长短时记忆LSTM和/或基于门控循环单元GRU的网络等等。

在本发明的一个实施例中，可以根据现有的问答文本(即问题文本和候选答案文本)语料构建专业领域用户词典。例如，该专业领域用户词典可以辨识日常词汇，还可以辨识特定领域(例如，保险、电商)的专有名词。另外，如果该特定领域的文本数据库中以后有了其他专有名词，只需将其添加到专业领域用户词典中即可。

在本发明的一个实施例中，可以利用上述专业领域用户词典可以对检索得到的问题文本和候选答案文本进行词向量训练，并将问题文本和候选答案文本中的词汇进行词向量的转化，即将问答文本(即问题文本和候选答案文本)中的词汇转化为数值化的具有固定长度的词向量。其中，在检索过程中，一个问题文本可以检索得到一个或多个候选答案文本。通过该方法可以从多个候选答案问题中确定出一个匹配度最高的候选答案文本。

在本发明的一个实施例中，可以利用双向循环神经网络捕获数值化问题文本和候选答案文本的上下文局部特征，分别得到两者的具有上下文特征的特征向量序列。例如，以利用双向长短时记忆网络Bi-LSTM捕获数值化问答文本(即问题文本和候选答案文本)的上下文局部特征，得到两者的具有上下文特征的特征向量序列为例，对步骤S110进行详细描述。

具体的，在步骤S110中，可以将利用专业领域用户词典转化后的相同词汇长度的问题文本和候选答案文本的词向量序列分别输入到两个双向长短时记忆网络Bi-LSTM提取上下文局部特征。在Bi-LSTM中，可以分别将正序问题文本和候选答案文本的词向量序列和倒序问题文本和候选答案文本的词向量序列输入两个长短时记忆网络LSTM，在输入的过程中可以结合过去时刻的信息，计算当前时刻的文本信息。LSTM的计算公式如下：

i_t＝σ(W_xix_t+W_hih_t-1+W_cic_t-1+b_i)

f_t＝σ(W_xfx_t+W_hfh_t-1+W_cfc_t-1+b_f)

c_t＝f_tc_t-1+i_ttanh(W_xcx_t+W_hch_t-1+b_c)

o_t＝σ(W_xox_t+W_hoh_t-1+W_coc_t+b_o)

h_t＝o_ttanh(c_t)

其中，σ表示sigmoid激活函数，tanh表示双曲正切激活函数，x_t表示步骤S110得到t时刻词向量，i_t表示t时刻输入门的输出向量，f_t表示t时刻遗忘门的输出向量，o_t表示t时刻输出门的输出向量，c_t和c_t-1分别表示t时刻和t-1时刻的细胞单元的记忆流状态，h_t和h_t-1分别表示t时刻和t-1时刻隐藏层向量。权值矩阵和偏置参数描述有明显的含义，例如W_xi表示输入和输入门的权值矩阵，W_hi表示隐藏层和输入门的权值矩阵，W_ci表示细胞单元和输入门的权值矩阵，b_i、b_f表示输入门和遗忘门的偏置参数，其角标表示所属的计算部分。这里的参数矩阵和偏置参数都是先随机初始化，然后在基于双向循环神经网络的模型训练中自动修正，最后会随循环神经网络得到最终的权值。

针对每个时刻t，拼接正序问答文本(即问题文本和候选答案文本)词向量序列和倒序问答文本(即问题文本和候选答案文本)词向量序列的两个长短记忆网络LSTM输出的特征向量h_fw和h_bw，作为Bi-LSTM时刻t的最终特征向量输出，其特征向量的维度是LSTM输出特征向量维度的2倍。

h_t＝[h_fw,h_bw]

其中，h_fw表示处理正序问答文本(即问题文本和候选答案文本)词向量序列的LSTM网络的输出，h_bw表示处理倒序问答文本(即问题文本和候选答案文本)词向量序列的LSTM网络的输出，h_t表示Bi-LSTM时刻t的特征向量输出。

根据本发明的实施例，上述Bi-LSTM是基于两个长短时记忆网络LSTM形成的双向长短时记忆网络。

根据本发明的实施例，可以利用LSTM的计算公式对问题文本和候选答案文本中的每个词向量进行处理后，可以得到问题文本的具有上下文局部特征的特征向量序列和候选答案文本的具有上下文局部特征的特征向量序列。

图2示意性示出了根据本发明的另一个实施例的问答文本的语义匹配方法的流程图。

如图2所示，除了图1实施例描述的步骤S110～步骤S130之外，该方法还包括步骤S210和步骤S220。

在步骤S210中，基于所述问题文本的具有上下文局部特征的特征向量序列和所述候选答案文本的具有上下文局部特征的特征向量序列，生成背景信息，所述背景信息包括所述问题文本的词向量和所述候选答案的词向量在循环神经网络最后时刻之前的所有时间状态的语义信息。

在步骤S220中，根据所述背景信息，确定所述问题文本的具有上下文局部特征的特征向量序列中每个时刻特征向量的注意力权重和所述候选答案文本的具有上下文局部特征的特征向量序列中每个时刻特征向量的注意力权重。

该方法通过将循环神经网络最后时刻之前的所有时间状态的语义信息作为问题文本和候选答案文本的背景信息，并参考该背景信息计算问题文本的具有上下文局部特征的特征向量序列中每个时刻特征向量的注意力权重和候选答案文本的具有上下文局部特征的特征向量序列中每个时刻特征向量的注意力权重，以此方式计算得到的注意力权重能够有效地反映出问答文本(即问题文本和候选答案文本)的深层语义信息和全局特征，从而克服了现有技术只反映了问答文本(即问题文本和候选答案文本)的浅层语义信息和上下文局部特征的缺陷。

在本发明的一个实施例中，上述背景信息可以是分别选取问题文本和候选答案文本在Bi-LSTM的最后时刻状态的特征向量进行向量拼接作为背景信息表示，此背景信息包含问答文本(即问题文本和候选答案文本)此前所有时间状态的语义信息。具体地，可以分别从上述问题文本的具有上下文局部特征的特征向量序列和候选答案文本的具有上下文局部特征的特征向量序列中选取两者在Bi-LSTM的最后时刻状态的特征向量进行向量进行拼接作为上述的背景信息。另外，由于该背景信息为问答文本(即问题文本和候选答案文本)在Bi-LSTM的最后时刻状态的特征向量，因此可以通过LSTM的计算公式得到最后时刻状态的特征向量。例如，可以通过结合LSTM中最后时刻之前的所有过去时刻状态的特征向量计算得到，因此该背景信息包含问答文本(即问题文本和候选答案文本)此前所有时间状态的语义信息。

下面参考图3和图4具体描述如何获得的问题文本和候选答案文本的具有上下文局部特征和全局特征的特征向量序列。

图3示意性示出了根据本发明的另一个实施例的问答文本的语义匹配方法的流程图。

如图3所示，步骤S120中的“基于所述问题文本的具有上下文局部特征的特征向量序列和所述问题文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述问题文本的具有上下文局部特征和全局特征的特征向量序列”具体可以包括步骤S121、步骤S122和步骤S123。

在步骤S121中，根据所述背景信息，确定所述背景信息与所述问题文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的相似度。

在步骤S122中，根所述背景信息与据所述问题文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的相似度，确定所述问题文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的注意力权重。

在步骤S123中，根据所述问题文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的注意力权重，对所述问题文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量加权，得到所述问题文本的具有上下文局部特征和全局特征的特征向量序列。

图4示意性示出了根据本发明的另一个实施例的问答文本的语义匹配方法的流程图。

如图4所示，步骤S120中的“基于所述候选答案文本的具有上下文局部特征的特征向量序列和所述候选答案文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列”具体可以包括步骤S124、步骤S125和步骤S126。

在步骤S124中，根据所述背景信息，确定所述背景信息与所述候选答案文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的相似度。

在步骤S125中，根据所述背景信息与所述候选答案文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的相似度，确定所述候选答案文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的注意力权重。

在步骤S126中，根据所述候选答案文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的注意力权重，对所述候选答案文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量加权，得到所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列。

根据本发明的实施例，通过参考上述背景信息来计算该背景信息与问题文本的具有上下文局部特征的特征向量序列中每个时刻的特征向量的相似度和与候选答案文本的具有上下文局部特征的特征向量序列中每个时刻的特征向量的相似度，然后根据问答文本(即问题文本和候选答案文本)在Bi-LSTM中的每个时刻的特征向量的相似度来计算问题文本的具有上下文局部特征的特征向量序列中每个时刻特征向量的注意力权重和候选答案文本的具有上下文局部特征的特征向量序列中每个时刻特征向量的注意力权重，以此方式计算得到的注意力权重能够有效地反映出问答文本(即问题文本和候选答案文本)的深层语义信息和全局特征，从而克服了现有技术只反映了问答文本(即问题文本和候选答案文本)的浅层语义信息和上下文局部特征的缺陷。

在本发明的一个实施例中，可以根据soft attention模型的基本思想，选取问题文本和候选答案文本在Bi-LSTM的最后时刻状态的特征向量进行向量拼接作为背景信息表示，此背景信息包含问答文本(即问题文本和候选答案文本)此前所有时间状态的语义信息。经过全连接层，将维度降到一半，与问题文本和候选答案文本在Bi-LSTM的输出序列向量维度一致。其参数表示为bkg。具体地可以通过三个阶段获得

问题文本和候选答案文本的具有上下文局部特征和全局特征的特征向量序列。

第一阶段：可以分别使用文本相似度公式计算背景信息bkg和问题答案文本在Bi-LSTM中的时刻t输出特征向量h_t的相似度，具体公式如下：

sim_t＝bkg·h_t

其中，sim_t表示为背景信息bkg和问答文本(即问题文本和候选答案文本)的具有上下文局部特征的特征向量序列中的某个词向量h_t的时刻t的相似度。因此根据该公式分别计算出问题文本和候选答案文本对应相似度矩阵Sim_q和Sim_a。根据该公式可以分别计算出问题文本和候选答案文本对应相似度矩阵Sim_q和Sim_a。

第二阶段，引入softmax计算方式，对第一阶段的相似度得分进行数值转换，一方面可以进行归一化，将原始计算分值整理成所有元素权值之和为1的概率分布；另一方面也可以通过softmax的内在机制更加突出问题文本和候选答案文本中重要信息的权重。公式如下：

其中，a_t为第t时刻问答文本(即问题文本和候选答案文本)的具有上下文局部特征的特征向量序列中的某个特征向量的注意力权重，N为问答文本(即问题文本和候选答案文本)的词汇数量。根据该公式可以分别通过相似度矩阵Sim_q和Sim_a计算出问题文本和候选答案文本每个时刻t的注意力权值a_qt和a_at。

第三阶段，a_qt和a_at分别为问答文本(即问题文本和候选答案文本)的具有上下文局部特征的特征向量序列中的某个特征向量在第t时刻的注意力权重，需要跟问题和候选答案文本第t时刻单词的输出向量h_t进行注意力权值加权，构成问答文本(即问题文本和候选答案文本)第t时刻单词新的向量s_t。该公式如下：

s_t＝a_th_t

经过以上阶段，根据背景信息计算出问答文本(即问题文本和候选答案文本)的具有上下文局部特征的特征向量序列中的每个特征向量在每个t时刻的注意力权值，然后给问答文本(即问题文本和候选答案文本)第t时刻的特征向量进行注意力权值的加权，这样可以分别构建出问题文本和候选答案文本的具有上下文局部特征和全局特征的特征序列S_q和S_a。

图5示意性示出了根据本发明的另一个实施例的问答文本的语义匹配方法的流程图。

如图5所示，图1实施例中的步骤S130具体可以包括步骤S131和步骤S132。

在步骤S131中，根据所述问题文本的具有上下文局部特征和全局特征的特征向量序列、所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列，依次计算所述问题文本的具有上下文局部特征和全局特征的特征向量序列和所述答案文本的具有上下文局部特征和全局特征的特征向量序列中的特征向量之间的相似度，得到所述问题文本和所述候选答案文本之间的相似度矩阵。

在步骤S132中，根据所述问题文本和所述候选答案文本之间的相似度矩阵，确定所述问题文本与所述候选答案文本的语义匹配度。

该方法可以根据问题文本的具有上下文局部特征和全局特征的特征向量序列、候选答案文本的具有上下文局部特征和全局特征的特征向量序列，确定问题文本和候选答案文本之间的相似度矩阵，该相似度矩阵可以更深层的反映了问题文本和候选答案文本相关性，根据两者的相关性可以更准确的确定问题文本与候选答案文本的匹配度。

在本发明的一个实施例中，通过上述三个阶段可以分别得到问题文本和候选答案文本的具有上下文局部特征和全局特征的特征向量序列S_q和S_a，在这种情况下，再次引入文本相似度公式是计算问题文本和候选答案文本的相似度，得到问题文本和候选答案文本中词汇彼此特征向量的相似度矩阵Sim。设s_qi和s_aj分别代表问题文本和候选答案文本的具有上下文局部特征和全局特征的特征向量序列S_q和S_a第i个和第j个特征向量，依次计算特征向量彼此的相似度，公式如下：

sim_qiaj＝s_qi·s_aj

其中sim_qiaj表示特征向量s_qi和s_aj的相似度。此处的问题文本和候选答案文本的具有上下文局部特征和全局特征的特征向量序列中的特征向量之间的相似度可以理解为两个特征向量之间的相关性。

通过该公式sim_qiaj＝s_qi·s_aj可以计算得到问题文本和候选答案文本中词汇彼此特征向量的相似度矩阵Sim，然后可以根据该相似度矩阵Sim确定问题与候选答案的匹配度。

图6示意性示出了根据本发明的另一个实施例的问答文本的语义匹配方法的流程图。

如图6所示，图5实施例中的步骤S132具体可以包括步骤S1321和步骤S1322。

在步骤S1321中，从所述问题特征向量序列和所述候选答案特征向量序列的相似度矩阵中选取k个信息特征点组成代表所述问题文本与所述候选答案文本的语义匹配的特征向量，所述k为正整数。

在步骤S1322中，利用分类器对所述问题文本与所述候选答案文本的语义匹配的特征向量分类。

该方法可以利用分类器对问题文本与候选答案文本的语义匹配的特征向量进行分类，从而得到问题文本与候选答案文本的语义匹配最高的特征向量，这样可以进一步提高了问题与答案的匹配度。

在本发明的一个实施例中，可以使用k-MAX Pooling的对文本相似度矩阵Sim选取k个信息特征点组成代表问题答案语义匹配的问答文本特征向量，将新的文本特征向量输入全连接层，最后使用softmax分类器进行问答文本(即问题文本和候选答案文本)语义匹配的二分类，从而判断问题文本和候选答案文本是否匹配。其中，k个信息特征点可以指在相似度矩阵中按照从最大的相似度逐渐降低的方式选取k个相似度。

图7示意性示出了根据本发明的一个实施例的问答文本的语义匹配装置的框图。

如图7所示，问答文本的语义匹配装置700包括获取模块710、生成模块720和确定模块730。

具体地，获取模块710，利用循环神经网络获取问题文本的具有上下文局部特征的特征向量序列和候选答案文本的具有上下文局部特征的特征向量序列；

生成模块720，基于所述问题文本的具有上下文局部特征的特征向量序列和所述问题文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述问题文本的具有上下文局部特征和全局特征的特征向量序列，以及基于所述候选答案文本的具有上下文局部特征的特征向量序列和所述候选答案文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列；

确定模块730，用于根据所述问题文本的具有上下文局部特征和全局特征的特征向量序列、所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列，确定所述问题文本与所述候选答案文本的语义匹配度。

该问答文本的语义匹配装置700可以根据问题文本的具有上下文局部特征和全局特征的特征向量序列、候选答案文本的具有上下文局部特征和全局特征的特征向量序列，确定问题文本与候选答案文本的语义匹配度，然后可以根据该匹配度确定该问题文本的答案，以此方式获取的问题文本的答案更加准确。

根据本发明的实施例，问答文本的语义匹配装置700可以用于实现上述图1～图6描述的问答文本的语义匹配方法。

由于本发明的示例实施例的问答文本的语义匹配装置700的各个模块可以用于实现上述问答文本的语义匹配方法的示例实施例的步骤，因此对于本发明装置实施例中未披露的细节，请参照本发明上述的问答文本的语义匹配方法的实施例。

下面参考图8，其示出了适于用来实现本发明实施例的问答文本的语义匹配装置的计算机系统800的结构示意图。图8示出的问答文本的语义匹配装置的计算机系统800仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，计算机系统800包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统操作所需的各种程序和数据。CPU801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的问答文本的语义匹配方法。

例如，所述的电子设备可以实现如图1中所示的：步骤S110，利用循环神经网络获取问题文本的具有上下文局部特征的特征向量序列和候选答案文本的具有上下文局部特征的特征向量序列；步骤S120，基于所述问题文本的具有上下文局部特征的特征向量序列和所述问题文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述问题文本的具有上下文局部特征和全局特征的特征向量序列，以及基于所述候选答案文本的具有上下文局部特征的特征向量序列和所述候选答案文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列；步骤S130，根据所述问题文本的具有上下文局部特征和全局特征的特征向量序列、所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列，确定所述问题文本与所述候选答案的语义匹配度。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种问答文本的语义匹配方法，其特征在于，该方法包括：

利用循环神经网络获取问题文本的具有上下文局部特征的特征向量序列和候选答案文本的具有上下文局部特征的特征向量序列；

基于所述问题文本的具有上下文局部特征的特征向量序列和所述问题文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述问题文本的具有上下文局部特征和全局特征的特征向量序列，以及基于所述候选答案文本的具有上下文局部特征的特征向量序列和所述候选答案文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列；

根据所述问题文本的具有上下文局部特征和全局特征的特征向量序列、所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列，确定所述问题文本与所述候选答案文本的语义匹配度。

2.根据权利要求1所述的方法，其特征在于，所述循环神经网络包括双向循环神经网络，所述双向循环神经网络中的循环神经网络包括基于长短时记忆LSTM和/或基于门控循环单元GRU的网络。

3.根据权利要求1所述的方法，其特征在于，该方法还包括：

基于所述问题文本的具有上下文局部特征的特征向量序列和所述候选答案文本的具有上下文局部特征的特征向量序列，生成背景信息，所述背景信息包括所述问题文本的词向量和所述候选答案的词向量在循环神经网络最后时刻之前的所有时间状态的语义信息；

根据所述背景信息，确定所述问题文本的具有上下文局部特征的特征向量序列中每个时刻特征向量的注意力权重和所述候选答案文本的具有上下文局部特征的特征向量序列中每个时刻特征向量的注意力权重。

4.根据权利要求3所述的方法，其特征在于，基于所述问题文本的具有上下文局部特征的特征向量序列和所述问题文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述问题文本的具有上下文局部特征和全局特征的特征向量序列包括：

根据所述背景信息，确定所述背景信息与所述问题文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的相似度；

根据所述背景信息与所述问题文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的相似度，确定所述问题文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的注意力权重；

根据所述问题文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的注意力权重，对所述问题文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量加权，得到所述问题文本的具有上下文局部特征和全局特征的特征向量序列。

5.根据权利要求3所述的方法，其特征在于，基于所述候选答案文本的具有上下文局部特征的特征向量序列和所述候选答案文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列包括：

根据所述背景信息，确定所述背景信息与所述候选答案文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的相似度；

根据所述背景信息与所述候选答案文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的相似度，确定所述候选答案文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的注意力权重；

根据所述候选答案文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的注意力权重，对所述候选答案文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量加权，得到所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列。

6.根据权利要求1所述的方法，其特征在于，根据所述问题文本的具有上下文局部特征和全局特征的特征向量序列、所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列，确定所述问题文本与所述候选答案的语义匹配度包括：

根据所述问题文本的具有上下文局部特征和全局特征的特征向量序列、所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列，依次计算所述问题文本的具有上下文局部特征和全局特征的特征向量序列和所述答案文本的具有上下文局部特征和全局特征的特征向量序列中的特征向量之间的相似度，得到所述问题文本和所述候选答案文本之间的相似度矩阵；

根据所述问题文本和所述候选答案文本之间的相似度矩阵，确定所述问题文本与所述候选答案文本的语义匹配度。

7.根据权利要求6所述的方法，其特征在于，根据所述问题特征向量序列和所述候选答案特征向量序列的相似度矩阵，确定所述问题文本与所述候选答案的语义匹配度包括：

从所述问题特征向量序列和所述候选答案特征向量序列的相似度矩阵中选取k个信息特征点组成代表所述问题文本与所述候选答案文本的语义匹配的特征向量，所述k为正整数；

利用分类器对所述问题文本与所述候选答案文本的语义匹配的特征向量分类。

8.一种问答文本的语义匹配装置，其特征在于，该方法包括：

获取模块，利用循环神经网络获取问题文本的具有上下文局部特征的特征向量序列和候选答案文本的具有上下文局部特征的特征向量序列；

生成模块，基于所述问题文本的具有上下文局部特征的特征向量序列和所述问题文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述问题文本的具有上下文局部特征和全局特征的特征向量序列，以及基于所述候选答案文本的具有上下文局部特征的特征向量序列和所述候选答案文本的具有上下文局部特征的特征向量序列中每个特征向量的注意力权重，生成所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列；

确定模块，用于根据所述问题文本的具有上下文局部特征和全局特征的特征向量序列、所述候选答案文本的具有上下文局部特征和全局特征的特征向量序列，确定所述问题文本与所述候选答案文本的语义匹配度。

9.一种问答文本的语义匹配装置，包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现根据权利要求1～7任意一项所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现根据权利要求1～7中任意一项所述方法。