CN109918484B - 对话生成方法和装置 - Google Patents

Abstract

本发明提供一种对话生成方法和装置，方法包括：对用户输入语句进行检索处理以获得检索结果集和评分集；其中，检索结果集包括第一检索结果，评分集包括第一评分，第一检索结果对应一个第一评分；根据第一检索结果和第一评分确定第一检索结果权重；根据第一检索结果和第一检索结果权重确定附加上下文向量；对附加上下文向量和第一上下文向量进行拼接处理，以得到第二上下文向量，其中，通过对用户输入语句进行编码后获得第一上下文向量；对第二上下文向量进行解码处理，以得到用户输入语句对应的回复语句。本发明中根据检索结果和用户输入语句获得回复语句，以使检索结果和用户输入语句同时影响回复语句生成，提高回复语句的精确度。

Description

对话生成方法和装置

技术领域

本发明涉及人工智能技术领域，尤其涉及一种对话生成方法和装置。

背景技术

通用对话系统作为人工智能的重要场景，得到越来越多的关注，通用对话系统通过人机交互以一问一答的方式为用户智能提供信息服务，因此，对话的生成是一个重要环节。

目前采用最多的对话生成方法是基于编码器-解码器的框架，编码器对用户输入的语句和语句的附加信息利用循环神经网络进行编码，生成上下文向量。其中，语句的附加信息包括：语句主题以及常识信息。然后，对上下文向量利用循环神经网络进行解码，生成用户输入的语句的回复语句。

然而，现有的对话生成方法由于仅通过输入语句和精度低的附加信息生成回复语句，导致生成回复语句精确度低。

发明内容

本发明提供一种对话生成方法和装置，以解决现有的对话生成方法由于仅通过输入语句和精度低的附加信息生成回复语句，导致生成回复语句精确度低的技术问题。

第一方面，本发明提供一种对话生成方法，包括：对用户输入语句进行检索处理以获得检索结果集和评分集；其中，检索结果集包括第一检索结果，评分集包括第一评分，第一检索结果对应一个第一评分；根据第一检索结果和第一评分确定第一检索结果权重；根据第一检索结果和第一检索结果权重确定附加上下文向量；对附加上下文向量和第一上下文向量进行拼接处理，以得到第二上下文向量，其中，通过对用户输入语句进行编码后获得第一上下文向量；对第二上下文向量进行解码处理，以得到用户输入语句对应的回复语句。

在本发明提供的一种对话生成方法中，对用户输入语句进行检索处理获得多个检索结果和多个评分，利用每个检索结果和对应评分获得该检索结果的权重，进而对所有检索结果进行加权平均得到附加上下文向量，对附加上下文向量和第一上下文向量进行解码得到回复语句，实现根据检索结果和用户输入语句获得回复语句，提高回复语句的精确度。

可选地，根据第一检索结果和第一评分获得第一检索结果权重，具体包括：对第一检索结果利用循环神经网络进行编码，以得到编码后的第一检索结果；对编码后的第一检索结果进行学习训练得到训练评分；根据训练评分、第一评分以及参照系数获得第一检索结果权重，其中，参照系数用于表示训练评分对第一检索结果权重的影响度。

在本发明提供的一种对话生成方法中，根据训练评分、第一评分以及参照系数获得第一检索结果权重，通过调节参照系数以调解训练评分对第一检索结果权重影响，进而实现对回复语句精确度的调整。

可选地，根据第一检索结果和第一检索结果权重获得附加上下文向量，具体包括：对第一检索结果以及第一检索结果权重进行加权处理获得附加上下文向量。

在本发明提供的一种对话生成方法中，对第一检索结果以及第一检索结果权重进行加权处理，获得附加上下文向量，实现将多个检索结果转化为附加上下文向量，进而，根据对附加上下文向量和第一上下文向量进行解码得到回复语句，提高回复语句的精确度。

可选地，对附加上下文向量和第一上下文向量进入拼接处理，得到第二上下文向量，具体包括：将附加上下文向量中元素增加至第一上下文向量中，以得到第二上下文向量，以使第二上下文向量的长度为第一上下文向量的长度与附加上下文向量的长度之和。

在本发明提供的一种对话生成方法中，通过将附加上下文向量中元素增加至第一上下文向量中，可以同时体现附加上下文向量和第一上下文向量对回复语句的影响，进而体现检索结果和用户输入语句对回复语句的影响，提高回复语句的精确度。

可选地，对编码后的第一检索结果进行学习训练得到训练评分，具体包括：

根据如下公式得到训练评分：

o′_k，t＝f(W_β[s_t-1；r_k，t])

其中，o′_k，t表示解码时刻t训练评分，

W_β表示随机矩阵，s_t-1表示对解码时刻t-1的隐含层变量，r_k，t表示在解码时刻t第k个检索结果的向量表示。

可选地，对训练评分、第一评分以及参照系数获得第一检索结果权重，具体包括：

根据如下公式获得第一检索结果权重：

β_k，t＝z_k，t·sc_k，t+(1-z_k，t)·o′_k，t

其中，β_k，t表示解码时刻t第k个检索结果权重，sc_k，t表示解码时刻t第k个检索结果的评分，z_k，t表示解码时刻t第k个检索结果对应的参照系数。

可选地，对第一检索结果以第一检索结果权重进行加权处理获得附加上下文向量，具体包括：

根据如下公式获得附加上下文向量：

其中，ns表示检索结果集中第一检索结果的数量，

表示解码时刻t附加上下文向量。

可选地，对第二上下文向量进行解码处理，得到用户输入语句对应的回复语句，具体包括：对第二上下文向量利用循环神经网络进行解码处理，以得到用户输入语句对应的回复语句；其中，第一上下文向量通过对用户输入语句利用循环神经网络进行编码后获得。

在本发明提供的一种对话生成方法中，通过对用户输入语句利用循环神经网络进行编码获得第一上下文向量，对检索结果利用循环神经网络进行编码后处理得到附加上下文向量，再通过对附加上下文向量和第一上下文向量进行拼接处理，以便对第二上下文向量利用循环神经网络进行解码处理，最终获得准确度高的回复语句。

第二方面，本发明提供一种对话生成装置，包括：检索模块，用于对用户输入语句进行检索处理获得检索结果集和评分集；其中，检索结果集包括第一检索结果，评分集包括第一评分，第一检索结果对应一个第一评分；获得模块，用于根据第一检索结果和第一评分获得第一检索结果权重；获得模块还用于对第一检索结果和第一检索结果权重获得附加上下文向量；拼接模块，用于对附加上下文向量和第一上下文向量进入拼接处理，得到第二上下文向量，其中，第一上下文向量通过对用户输入语句进行编码后获得；解码模块，用于对第二上下文向量进行解码处理，得到用户输入语句对应的回复语句。

可选地，获得模块具体用于：对所述第一检索结果利用循环神经网络进行编码，得到编码后的第一检索结果；对所述编码后的第一检索结果进行学习训练得到训练评分；根据所述训练评分、第一评分以及参照系数获得第一检索结果权重，其中，所述参照系数用于表示训练评分对所述第一检索结果权重的影响度。

可选地，获得模块具体用于：对第一检索结果以及第一检索结果权重进行加权处理获得附加上下文向量。

可选地，拼接模块具体用于：将附加上下文向量中元素增加至第一上下文向量中，以得到第二上下文向量，以使第二上下文向量的长度为第一上下文向量的长度与附加上下文向量的长度之和。

可选地，获得模块具体用于：

根据如下公式得到训练评分：

o′_k，t＝f(W_β[s_t-1；r_k，t])

其中，o′_k，t表示解码时刻t训练评分，

W_β表示随机矩阵，s_t-1表示对解码时刻t-1的隐含层变量，r_k，t表示在解码时刻t第k个检索结果的向量表示。

可选地，获得模块具体用于：

根据如下公式获得第一检索结果权重：

β_k，t＝z_k，t·sc_k，t+(1-z_k，t)·o′_k，t

其中，β_k，t表示解码时刻t第k个检索结果权重，sc_k，t表示解码时刻t第k个检索结果的评分，z_k，t表示解码时刻t第k个检索结果对应的参照系数。

可选地，获得模块具体用于：

根据如下公式获得附加上下文向量：

其中，ns表示检索结果集中第一检索结果的数量，

表示解码时刻t附加上下文向量。

可选地，解码模块具体用于：对第二上下文向量利用循环神经网络进行解码处理，以得到用户输入语句对应的回复语句；其中，第一上下文向量通过对用户输入语句利用循环神经网络进行编码后获得。

本发明提供一种对话生成方法和装置，在对话生成方法中，对用户输入语句进行检索处理获得多个检索结果和多个评分，利用每个检索结果和对应评分获得该检索结果的权重，对所有检索结果进行加权平均得到附加上下文向量，对附加上下文向量和第一上下文向量进行拼接处理后，得到第二上下文向量，对第二上下文向量进行解码得到回复语句，根据检索结果和用户输入语句获得回复语句，以使检索结果和用户输入语句同时影响回复语句生成，提高回复语句的精确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明根据一示例性实施例示出的对话生成方法的流程图；

图2为本发明根据另一示例性实施例示出的对话生成方法的流程图；

图3为基于图2所示实施例提供的对话生成方法的原理框图；

图4为基于图2所示实施例提供的对话生成方法中生成附加上下向量的原理框图；

图5为本发明根据一示例性实施例示出的对话生成装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种对话生成方法和装置，以解决现有的对话生成方法由于仅通过输入语句和精度低的附加信息生成回复语句，导致生成回复语句精确度低的技术问题。

图1为本发明根据一示例性实施例示出的对话生成方法的流程图。如图1所示，本发明提供的对话生成方法，包括：

S101、对用户输入语句进行检索处理以获得检索结果集和评分集。

更具体地，提取用户输入语句中关键词，利用关键词在数据库中查找与用户输入语句有关的信息，按照查找到的信息与用户输入语句的相关度，截取前ns个信息作为检索结果，即可以获得ns个检索结果，ns个检索结果构成检索结果集。并根据ns个检索结果与用户输入语句的相关度对每个检索结果进行评分，得到ns个评分，且一个检索结果对应一个评分，ns个评分构成评分集合。

在本实施例中，Apache Solr被选作检索模块，其默认的排序算法BM25作为相关性得分。其他更加复杂的信息检索系统也可以被用作检索模块。

S102、根据第一检索结果和第一评分确定第一检索结果权重。

更具体地，由于第一检索结果为文字信息，需要将第一检索结果编码，以便对编码后的第一检索结果进行。在获得编码后的第一检索结果，对编码后的第一检索结果进行学习训练得到训练评分，最终，根据训练评分、第一评分以及参照系数获得第一检索结果权重。其中，参照系数用于表示训练评分对第一检索结果权重的影响度，当参照系数比较大时，训练评分对第一检索结果权重的影响度大，当参照系数比较小时，训练评分对第一检索结果权重的影响度小。

S103、根据第一检索结果和第一检索结果权重确定附加上下文向量。

更具体地，对第一检索结果以及第一检索结果权重进行加权处理获得附加上下文向量。

S104、对附加上下文向量和第一上下文向量进行拼接处理，以得到第二上下文向量。

更具体地，对附加上下文向量和第一上下文向量进行拼接处理为：将附加上下文向量中元素增加至第一上下文向量中，以得到第二上下文向量，以使第二上下文向量的长度为第一上下文向量的长度与附加上下文向量的长度之和。其中，通过对用户输入语句进行编码后获得第一上下文向量，且对用户输入语句进行编码的方式与对第一检索结果进行编码的方式相同。

S105、对第二上下文向量进行解码处理，以得到用户输入语句对应的回复语句。

更具体地，通过对第二上下文向量进行解码处理，其中，解码处理与对第一检索结果进行编码处理、以及对用户输入结果进行编码处理为一组逆运算，通过对第二上下文向量进行解码处理，将数学量变成可以文字语句，最终得到用户输入语句对应的回复语句。

在本实施例中，对用户输入语句进行检索处理获得多个检索结果和多个评分，利用每个检索结果和对应评分获得该检索结果的权重，对所有检索结果进行加权平均得到附加上下文向量，对附加上下文向量和第一上下文向量进行拼接处理后，得到第二上下文向量，对第二上下文向量进行解码得到回复语句，根据检索结果和用户输入语句获得回复语句，以使检索结果和用户输入语句同时影响回复语句生成，提高回复语句的精确度。

图2为本发明根据另一示例性实施例示出的对话生成方法的流程图。图3为基于图2所示实施例提供的对话生成方法的原理框图。如图2所示，本实施例提供的对话生成方法包括：

S201、对用户输入语句进行检索处理以获得检索结果集和评分集。

更具体地，如图3所示，用户输入语句记为

通过对用户输入语句，得到ns个检索结果以及ns个评分，并记第k个检索结果为

第k个检索结果的评分为sc_k，t。

S202、对第一检索结果利用循环神经网络进行编码，以得到编码后的第一检索结果。

更具体地，对第k个检索结果

利用循环神经网络进行编码，得到编码后的第一检索结果

o_k，t，j＝tanh(W_α[s_t-1；h_k，j])

其中，r_k，t表示在解码时刻t第k个检索结果的向量表示，o_k，t，j和α_k，t，j是归一化前和归一化后的第k个检索结果中的第j个词在生成回复语句中第t个词时的权重，W_α表示随机矩阵，s_t-1表示在循环神经网络中解码时刻t-1的隐含层变量，随机矩阵W_α的初始值随机给出，在进行循环神经网络编码和解码过程中，不断学习，获得最佳的随机矩阵。

S203、对编码后的第一检索结果进行学习训练得到训练评分。

更具体地，图4为基于图2所示实施例提供的对话生成方法中生成附加上下向量的原理框图。如图4所示，根据如下公式对编码后的第一检索结果进行学习训练得到训练评分：

o′_k，t＝f(W_β[s_t-1；r_k，t])

其中，o′_k，t表示解码时刻t训练评分，

W_β表示随机矩阵，s_t-1表示在循环神经网络中解码时刻t-1的隐含层变量，r_k，t表示在解码时刻t第k个检索结果的向量表示，随机矩阵W_β的初始值随机给出，在进行循环神经网络编码和解码过程中，不断学习，获得最佳的随机矩阵。

S204、根据训练评分、第一评分以及参照系数获得第一检索结果权重，其中，参照系数用于表示训练评分对第一检索结果权重的影响度。

更具体地，根据如下公式获得第一检索结果权重：

β_k，t＝z_k，t·sc_k，t+(1-z_k，t)·o′_k，t

其中，β_k，t表示解码时刻t第k个检索结果权重，sc_k，t表示解码时刻t第k个检索结果的评分，z_k，t表示解码时刻t第k个检索结果对应的参照系数。

S205、根据第一检索结果和第一检索结果权重确定附加上下文向量。

更具体地，根据如下公式对第一检索结果以第一检索结果权重进行加权处理获得附加上下文向量：

其中，ns表示检索结果集中第一检索结果的数量，

表示解码时刻t附加上下文向量。

S206、将附加上下文向量中元素增加至第一上下文向量中，以得到第二上下文向量。

更具体地，对用户输入语句利用循环神经网络进行编码，得到第一上下文向量

假设用户输入语句是X＝(x₁，x₂，…，x_n)，编码器是一个双向的循环神经网络，将输入X编码为一个向量序列h＝(h₁，h₂，…，h_n)。对于每个词x_i，其对应的隐含层表示为：

即它由

和

拼接得到。其中

和

是前向和反向循环神经网络在词x_i位置的隐含层表示。

根据如下公式获得第一上下文向量

e_jk＝tanh(W_α[s_j-1；h_k])

其中α_jk是h_k归一化后的权重，e_jk是归一化之前的权重，W_α表示随机矩阵，s_t-1表示在循环神经网络中解码时刻t-1的隐含层变量，随机矩阵W_α的初始值随机给出，在进行循环神经网络编码和解码过程中，不断学习，获得最佳的随机矩阵。

根据如下公式将附加上下文向量中元素增加至第一上下文向量中，以得到第二上下文向量：

其中，α_t表示解码时刻t的第二上下文向量。

S207、对第二上下文向量利用循环神经网络进行解码处理，以得到用户输入语句对应的回复语句。

更具体地，在本实施例中，利用循环神经网络对第二上下文向量进行解码。其中，循环神经网络使用门结构循环单元，(Gated Recurrent Unit，简称，GRU)作为循环单元。引入了注意力机制以增强其能力。

在解码第j个词时，解码器的目标是最大化生成目标词y_j的条件概率，也就是：

p(y_j|x＜j，x)＝f(y_j-1，s_j)

s_j＝g(y_j-1，s_j-1，c_j)

其中，p(y_j|x＜j，x)表示目标词y_j的条件概率，f(·)是softmax激活函数，s_j是解码器中第j个词的隐含层向量，同样由GRU计算得到。特别的是，y₀是句子解码的起始符号，而s₀是编码器最后一个时刻的隐含层向量h_n。

在本实施例提供的对话生成方法中，通过检索得到评分与训练学习得到的训练，利用训练得分可以修正在检索过程中基于简单的匹配信息产生的偏差。另外，利用sigmoid函数对检索结果的向量表示进行训练得到训练评分，能够体现由检索结果是否对生成回复语句有作用。最终，检索结果与用户输入语句一起在解码器中发挥作用，从而增强了模型的学习能力，使模型能够生成出更具有信息量的回复。

图5为本发明根据一示例性实施例示出的对话生成装置的结构示意图。如图5所示，本发明提供一种对话生成装置300，包括：检索模块301，用于对用户输入语句进行检索处理获得检索结果集和评分集；其中，检索结果集包括第一检索结果，评分集包括第一评分，第一检索结果对应一个第一评分；获得模块302，用于根据第一检索结果和第一评分获得第一检索结果权重；获得模块302还用于对第一检索结果和第一检索结果权重获得附加上下文向量；拼接模块303，用于对附加上下文向量和第一上下文向量进入拼接处理，得到第二上下文向量，其中，第一上下文向量通过对用户输入语句进行编码后获得；解码模块304，用于对第二上下文向量进行解码处理，得到用户输入语句对应的回复语句。

可选地，获得模块302具体用于：对第一检索结果利用循环神经网络进行编码，得到编码后的第一检索结果；对编码后的第一检索结果进行学习训练得到训练评分；根据训练评分、第一评分以及参照系数获得第一检索结果权重，其中，参照系数用于表示训练评分对所述第一检索结果权重的影响度。

可选地，获得模块302具体用于：对第一检索结果以及第一检索结果权重进行加权处理获得附加上下文向量。

可选地，拼接模块303具体用于：将附加上下文向量中元素增加至第一上下文向量中，以得到第二上下文向量，以使第二上下文向量的长度为第一上下文向量的长度与附加上下文向量的长度之和。

可选地，获得模块302具体用于：

根据如下公式得到训练评分：

o′_k，t＝f(W_β[s_t-1；r_k，t])

其中，o′_k，t表示解码时刻t训练评分，

W_β表示随机矩阵，s_t-1表示对解码时刻t-1的隐含层变量，r_k，t表示在解码时刻t第k个检索结果的向量表示。

可选地，获得模块302具体用于：

根据如下公式获得第一检索结果权重：

β_k，t＝z_k，t·sc_k，t+(1-z_k，t)·o′_k，t

其中，β_k，t表示解码时刻t第k个检索结果权重，sc_k，t表示第k个检索结果的评分，z_k，t表示解码时刻t第k个检索结果对应的参照系数。

可选地，获得模块302具体用于：

根据如下公式获得附加上下文向量：

其中，ns表示检索结果集中第一检索结果的数量，

表示解码时刻t附加上下文向量。

可选地，解码模块304具体用于：对第二上下文向量利用循环神经网络进行解码处理，以得到用户输入语句对应的回复语句；其中，第一上下文向量通过对用户输入语句利用循环神经网络进行编码后获得。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种对话生成方法，其特征在于，包括：

对用户输入语句进行检索处理以获得检索结果集和评分集；其中，所述检索结果集包括第一检索结果，所述评分集包括第一评分，所述第一检索结果对应一个所述第一评分；

根据所述第一检索结果和所述第一评分确定第一检索结果权重；

根据所述第一检索结果和所述第一检索结果权重确定附加上下文向量；

对所述附加上下文向量和第一上下文向量进行拼接处理，以得到第二上下文向量，其中，通过对所述用户输入语句进行编码后获得所述第一上下文向量；

对所述第二上下文向量进行解码处理，以得到所述用户输入语句对应的回复语句；

其中，所述根据所述第一检索结果和所述第一评分获得第一检索结果权重，具体包括：

对所述第一检索结果利用循环神经网络进行编码，以得到编码后的第一检索结果；

对所述编码后的第一检索结果进行学习训练得到训练评分；

根据所述训练评分、第一评分以及参照系数获得第一检索结果权重，其中，所述参照系数用于表示所述训练评分对所述第一检索结果权重的影响度。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一检索结果和所述第一检索结果权重获得附加上下文向量，具体包括：

对所述第一检索结果以及所述第一检索结果权重进行加权处理获得所述附加上下文向量。

3.根据权利要求1所述的方法，其特征在于，所述对所述附加上下文向量和第一上下文向量进入拼接处理，得到第二上下文向量，具体包括：

将附加上下文向量中元素增加至所述第一上下文向量中，以得到所述第二上下文向量，以使所述第二上下文向量的长度为所述第一上下文向量的长度与所述附加上下文向量的长度之和。

4.根据权利要求1所述的方法，其特征在于，所述对所述编码后的第一检索结果进行学习训练得到训练评分，具体包括：

根据如下公式得到训练评分：

o′_k，t＝f(W_β[s_t-1；r_k，t])

其中，o′_k，t表示解码时刻t训练评分，

W_β表示随机矩阵，s_t-1表示对解码时刻t-1的隐含层变量，r_k，t表示在解码时刻t第k个检索结果的向量表示。

5.根据权利要求1所述的方法，其特征在于，根据所述训练评分、第一评分以及参照系数获得第一检索结果权重，具体包括：

根据如下公式获得第一检索结果权重：

β_k，t＝z_k，t·sc_k，t+(1-z_k，t)·o′_k，t

其中，β_k，t表示解码时刻t第k个检索结果权重，sc_k，t表示解码时刻t第k个检索结果的评分，z_k，t表示解码时刻t第k个检索结果对应的参照系数，o′_k，t表示解码时刻t第k个检索结果的训练评分。

6.根据权利要求2所述的方法，其特征在于，所述对所述第一检索结果以所述第一检索结果权重进行加权处理获得附加上下文向量，具体包括：

根据如下公式获得附加上下文向量：

其中，ns表示检索结果集中第一检索结果的数量，

表示解码时刻t附加上下文向量，β_k，t表示解码时刻t第k个检索结果权重，r_k，t表示在解码时刻t第k个检索结果的向量表示。

7.根据权利要求1所述的方法，其特征在于，所述对所述第二上下文向量进行解码处理，得到所述用户输入语句对应的回复语句，具体包括：

对所述第二上下文向量利用循环神经网络进行解码处理，以得到所述用户输入语句对应的所述回复语句；

其中，所述第一上下文向量通过对所述用户输入语句利用循环神经网络进行编码后获得。

8.一种对话生成装置，其特征在于，包括：

检索模块，用于对用户输入语句进行检索处理获得检索结果集和评分集；其中，所述检索结果集包括第一检索结果，所述评分集包括第一评分，所述第一检索结果对应一个所述第一评分；

获得模块，用于根据所述第一检索结果和所述第一评分获得第一检索结果权重；

所述获得模块还用于对所述第一检索结果和所述第一检索结果权重获得附加上下文向量；

拼接模块，用于对所述附加上下文向量和第一上下文向量进入拼接处理，得到第二上下文向量，其中，所述第一上下文向量通过对所述用户输入语句进行编码后获得；

解码模块，用于对所述第二上下文向量进行解码处理，得到所述用户输入语句对应的回复语句；

所述检索模块具体用于：

对所述第一检索结果利用循环神经网络进行编码，得到编码后的第一检索结果；

对所述编码后的第一检索结果进行学习训练得到训练评分；

对所述训练评分、第一评分以及参照系数获得第一检索结果权重，其中，所述参照系数用于表示训练评分对所述第一检索结果权重的影响度。

Images