CN110765253A - 客服场景下用户问句的回复方法、装置及设备 - Google Patents

Abstract

本说明书实施例提供一种客服场景下用户问句的回复方法、装置及设备，在回复方法中，接收第一租户下的当前用户问句。针对当前用户问句，获取当前用户问句的上下文信息。基于第一租户的租户标识、当前用户问句和上下文信息，生成新用户问句。基于新用户问句，从与第一租户对应的知识库中召回预定数目个答案。将预定数目个答案中的各答案以及新用户问句输入预测模型，以预测各答案与新用户问句的匹配分数。该预测模型包括多个租户共享的底层网络部分和多个租户分别对应的多个上层网络部分，多个上层网络部分具有相同的网络结构，以及针对不同租户训练得到的不同网络参数。基于匹配分数，从各答案中确定出目标答案并返回。

Description

客服场景下用户问句的回复方法、装置及设备

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种客服场景下用户问句的回复方法、装置及设备。

背景技术

随着互联网技术和IT基础设施的快速发展，如今很多企业在客服方面，都开始选择轻便的“云客服“系统。尤其是对于互联网创企来说，选择云客服，无疑要比传统客服系统更加便捷高效，并且成本更低。在目前的云客户产品中，通常会选择机器人来协助客服回复用户问句。

在云客服场景下，云客服租户数量通常比较多，动辄成百上千，因此，机器人如何针对不同租户下的用户问句进行准确回复就成为要解决的问题。

发明内容

本说明书一个或多个实施例描述了一种客服场景下用户问句的回复方法、装置及设备，可以实现不同租户下的用户问句的准确回复。

第一方面，提供了一种客服场景下用户问句的回复方法，包括：

接收第一租户下的当前用户问句；

针对所述当前用户问句，获取所述当前用户问句的上下文信息；

基于所述第一租户的租户标识、所述当前用户问句和所述上下文信息，生成新用户问句；

基于所述新用户问句，从与所述第一租户对应的知识库中召回预定数目个答案；其中，所述知识库包含多组问答对，每组问答对包括标准问句和答案；

将所述预定数目个答案中的各答案以及所述新用户问句输入预测模型，以预测所述各答案与所述新用户问句的匹配分数；所述预测模型包括多个租户共享的底层网络部分和所述多个租户分别对应的多个上层网络部分，所述多个上层网络部分具有相同的网络结构，以及针对不同租户训练得到的不同网络参数；所述各答案与所述新用户问句的匹配分数通过所述底层网络部分和所述第一租户对应的上层网络部分预测；

基于所述匹配分数，从所述各答案中确定出目标答案并返回。

第二方面，提供了一种客服场景下用户问句的回复装置，包括：

接收单元，用于接收第一租户下的当前用户问句；

获取单元，用于针对所述接收单元接收的所述当前用户问句，获取所述当前用户问句的上下文信息；

生成单元，用于基于所述第一租户的租户标识、所述接收单元接收的所述当前用户问句和所述获取单元获取的所述上下文信息，生成新用户问句；

召回单元，用于基于所述生成单元生成的所述新用户问句，从与所述第一租户对应的知识库中召回预定数目个答案；其中，所述知识库包含多组问答对，每组问答对包括标准问句和答案；

输入单元，用于将所述召回单元召回的所述预定数目个答案中的各答案以及所述生成单元生成的所述新用户问句输入预测模型，以预测所述各答案与所述新用户问句的匹配分数；所述预测模型包括多个租户共享的底层网络部分和所述多个租户分别对应的多个上层网络部分，所述多个上层网络部分具有相同的网络结构，以及针对不同租户训练得到的不同网络参数；所述各答案与所述新用户问句的匹配分数通过所述底层网络部分和所述第一租户对应的上层网络部分预测；

确定单元，用于基于所述匹配分数，从所述各答案中确定出目标答案；

发送单元，用于返回所述目标答案。

第三方面，提供了一种客服场景下用户问句的回复设备，包括：

存储器；

一个或多个处理器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序被所述处理器执行时实现以下步骤：

接收第一租户下的当前用户问句；

针对所述当前用户问句，获取所述当前用户问句的上下文信息；

基于所述第一租户的租户标识、所述当前用户问句和所述上下文信息，生成新用户问句；

基于所述新用户问句，从与所述第一租户对应的知识库中召回预定数目个答案；其中，所述知识库包含多组问答对，每组问答对包括标准问句和答案；

将所述预定数目个答案中的各答案以及所述新用户问句输入预测模型，以预测所述各答案与所述新用户问句的匹配分数；所述预测模型包括多个租户共享的底层网络部分和所述多个租户分别对应的多个上层网络部分，所述多个上层网络部分具有相同的网络结构，以及针对不同租户训练得到的不同网络参数；所述各答案与所述新用户问句的匹配分数通过所述底层网络部分和所述第一租户对应的上层网络部分预测；

基于所述匹配分数，从所述各答案中确定出目标答案并返回。

本说明书一个或多个实施例提供的客服场景下用户问句的回复方法、装置及设备，接收第一租户下的当前用户问句。针对当前用户问句，获取当前用户问句的上下文信息。基于第一租户的租户标识、当前用户问句和上下文信息，生成新用户问句。基于新用户问句，从与第一租户对应的知识库中召回预定数目个答案。其中，该知识库包含多组问答对，每组问答对包括标准问句和答案。将预定数目个答案中的各答案以及新用户问句输入预测模型，以预测各答案与新用户问句的匹配分数。该预测模型包括多个租户共享的底层网络部分和多个租户分别对应的多个上层网络部分，多个上层网络部分具有相同的网络结构，以及针对不同租户训练得到的不同网络参数。各答案与新用户问句的匹配分数通过底层网络部分和第一租户对应的上层网络部分预测。基于匹配分数，从各答案中确定出目标答案并返回。也即本说明书提供的方案中，在预测某租户下的新用户问句与各答案之间的匹配分数时，可以基于多租户共享的底层网络部分和该租户独享的上层网络部分来预测，由此，可以大大提升匹配分数预测的准确性，进而可以提升不同租户下的用户问句回复的准确性。

附图说明

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本说明书提供的客服场景下用户问句的回复方法的应用场景示意图；

图2为本说明书提供的预测模型示意图；

图3为本说明书一个实施例提供的客服场景下用户问句的回复方法流程图；

图4为本说明书提供的客服场景下用户问句的回复方法示意图；

图5为本说明书提供的预测模型的训练过程示意图；

图6为本说明书一个实施例提供的客服场景下用户问句的回复装置示意图；

图7为本说明书一个实施例提供的客服场景下用户问句的回复设备示意图。

具体实施方式

下面结合附图，对本说明书提供的方案进行描述。

在描述本说明书提供的方案之前，先对本方案的发明构思作以下说明。

在传统技术中，在云客服场景下，通常会先基于多个租户与客服的对话数据，训练预测模型。之后，在接收到任一租户下的当前用户问句时，均通过该预测模型来预测当前用户问句与多个预定答案的匹配分数，并基于该匹配分数从多个预定答案中选择目标答案。也就是说，传统技术中，通常不对租户进行区别，这会影响用户问句回复的准确性。

在本说明书中，预先构建预测模型，该预测模型包括多个租户共享的底层网络部分和多个租户分别对应的多个上层网络部分，多个上层网络部分具有相同的网络结构，以及针对不同租户训练得到的不同网络参数。也就是说，在本说明书提供的方案中，多个租户可以共享底层网络部分，且各租户独享各自对应的上层网络部分。对于上述构建的预测模型，可以使用多个租户与客服的对话数据对其进行交替训练。

在预测模型训练好之后，针对多个租户中任意的第一租户下的当前用户问句，先获取当前用户问句的上下文信息。基于第一租户的租户标识、当前用户问句和上下文信息，生成新用户问句。基于新用户问句，从与第一租户对应的知识库中召回预定数目个答案。其中，上述知识库包含多组问答对，每组问答对包括标准问句和答案。将预定数目个答案中的各答案以及新用户问句输入预测模型中，并通过该预测模型的底层网络部分和第一租户对应的上层网络部分预测各答案与新用户问句的匹配分数。基于匹配分数，从各答案中确定出目标答案并返回。

也即，在本说明书提供的方案中，针对不同租户下的用户问句，可以通过多租户共享的底层网络部分和该租户独享的上层网络部分进行匹配分数的预测，由此，可以大大提升不同租户下的用户问句回复的准确性。此外，由于底层网络部分是多个租户共享的，从而可以不用针对每个租户单独存储，由此，可以节省网络参数的存储空间，且可以不对预测模型的性能产生影响。

以上就是本说明书提供的发明构思，基于该发明构思就可以得到本方案。以下对本方案进行详细阐述。

图1为本说明书提供的客服场景下用户问句的回复方法的应用场景示意图。图1中，客服系统可以接收第一租户下的当前用户问句。之后可以针对接收的当前用户问句，获取当前用户问句的上下文信息。基于第一租户的租户标识、当前用户问句和上下文信息，生成新用户问句。基于新用户问句，从与第一租户对应的知识库中召回预定数目个答案。其中，该知识库包含多组问答对，每组问答对包括标准问句和答案。将预定数目个答案中的各答案以及新用户问句输入预测模型(后续说明)，以预测各答案与新用户问句的匹配分数。基于匹配分数，从各答案中确定出目标答案并返回。

图2为本说明书提供的预测模型示意图。图2中，该预测模型包括底层网络部分和上层网络部分。对于底层网络部分，其可以包括两层transformer编码器(encoder)层、关联向量表达层以及向量转化(Seq2vec)层。

在位于底部的transformer encoder层，可以分别对两路输入语句进行序列特征抽取，以得到各自对应的句子向量。其具体可以表示为：

ai＝transformer encoder(p，i),i∈[1,…,La]

bj＝transformer encoder(h，j),j∈[1,…,Lb]

其中，p和h分别为两个不同的输入语句，i和j为不同的时刻，La为语句p的长度，Lb为语句h的长度。ai为在第i时刻从语句p中提取的词语的特征向量(也称词向量)，bj为在第j时刻从语句h中提取的词语的特征向量。可以理解的是，La个时刻提取的各个词语的特征向量构成了语句p的第一句子向量(表示为:a)，Lb个时刻提取的各个词语的特征向量构成了语句h的第二句子向量(表示为：b)。

在关联向量表达层，可以对基于两路不同的输入语句所得到两个句子向量执行交互操作，并得到交互矩阵。交互矩阵中的矩阵元素表示一个输入语句中各个词与另一个输入语句中各个词之间的关联度。

上述交互操作可以理解为是对两个输入语句在各时刻提取的词语的特征向量执行交互操作。因此，上述交互矩阵可以表示为：e_ij＝a_i ^Tb_j。

之后，可以基于两路输入数据各自对应的句子向量以及交互矩阵，分别得到每路输入语句的基于另一输入语句的关联向量。用公式表达如下：

其中，

为在第i时刻从语句p中提取的词语的关联向量，为在第j时刻从语句h中提取的词语的关联向量。可以理解的是，La个时刻提取的各个词语的关联向量构成了语句p的基于语句h的关联向量(表示为：

)。Lb个时刻提取的各个词语的关联向量构成了语句h的基于语句g的关联向量(表示为：

)。

上述公式1的含义可以理解为，在计算第i时刻从语句p中提取的词语的关联向量时，可以先计算该词语与在Lb个时刻从语句h中提取的各个词语之间的相似度。然后将该相似度作为权重值，对在Lb个时刻从语句h中提取的各个词语对应的特征向量进行加权求和，并将该加权求和结果作为在第i时刻从语句p中提取的词语的关联向量。

最后，可以分别基于两路输入数据各自对应的句子向量以及关联向量，得到两路输入语句各自对应的融合结果。用公式表达如下：

其中，ma为语句p对应的融合结果，b为语句h对应的融合结果。

在位于上部的transformer encoder层，可以分别对两路输入语句各自对应的融合结果执行聚合操作，以得到各自对应的二次向量。在Seq2vec层，可以分别对两路输入语句各自对应的二次向量执行求平均和求最大操作，以得到各自对应的操作结果。之后，可以将得到的多个操作结果进行拼接，以得到两路输入语句共同对应的最终向量。用公式表达如下：

V＝[v_a,avg；v_a,max；v_b,avg；v_b,max] (公式3)

其中，v_a,avg和v_a,max分别为对语句p的二次向量执行求平均以及求最大操作的操作结果；v_b,avg和v_b,max为分别对语句h的二次向量执行求平均以及求最大操作的操作结果。V为两路输入语句共同对应的最终向量。

图2中，对于多个上层网络部分，其可以具有相同的网络结构，以及针对不同租户训练得到的不同网络参数。其中，每个上层网络部分具体可以包括多层感知器(Multi-Layer Perception，MLP)层和Softmax层。对于上述最终向量，可以基于输入语句中包含的租户标识，确定对应的上层网络部分。然后，通过将最终向量输入该确定的上层网络部分，来得到两个输入语句之间的匹配分数。

应理解，图2只是示出了一种预测模型的结构。在实际应用中，上述transformerencoder也可以替换为长短期记忆网络(Long Short-Term Memory，LSTM)或者卷积神经网络(Convolutional Neural Networks，CNN)。在本说明书中，transformer encoder层、LSTM层以及CNN层可以统称为序列特征表达模型层。此外，上述MLP也可以替换为深度学习网络(如，CNN或者DNN)等，本说明书对此不作限定。

图3为本说明书一个实施例提供的客服场景下用户问句的回复方法流程图。所述方法的执行主体可以为具有处理能力的设备：服务器或者系统或者装置，如，可以为图1中的客服系统。如图3所示，所述方法具体可以包括：

步骤302，接收第一租户下的当前用户问句。

在本说明书中，每个租户下可以有多个用户。以任意的第一租户为例来说，该第一租户下的任一用户的用户问句均可以理解为是第一租户下的用户问句。

在一个示例中，上述当前用户问句可以是从第一租户下的任一用户与客服的会话窗口中接收的。

步骤304，针对当前用户问句，获取当前用户问句的上下文信息。

如前述例子，可以是从第一租户下的任一用户与客服的会话窗口中获取当前用户问句的上下文信息。可以理解的是，在上述会话窗口中，在当前用户问句之前或者之后可能包含多轮问答，即已经存在多组问答对，可以预先设定当前用户问句的上下文信息包含的问答对的数目，或者预先设定当前用户问句的上下文信息包含的问句的数目，或预先设定当前用户问句的上下文信息包含的回复内容的数目。

步骤306，基于第一租户的租户标识、当前用户问句和上下文信息，生成新用户问句。

这里的租户标识例如可以为租户的租户ID等等。

在一种实现方式中，上述生成过程可以为：将第一租户的租户标识、当前用户问句和上下文信息按照指定顺序进行拼接，以得到拼接语句。对于拼接语句，可以判断其长度是否大于阈值。如果是，则可以对该拼接语句的前文进行截断，由此就可以生成新用户问句。

当然，在实际应用中，也可以先从当前用户问句和/或上下文信息中提取关键词，之后再将所提取的关键词与租户标识进行拼接，来获得拼接语句。或者，也可以对拼接语句的后文进行截断等等，本说明书对此不作限定。

步骤308，基于新用户问句，从与第一租户对应的知识库中召回预定数目个答案。

具体地，可以针对预定义的多个租户中每个租户创建对应的知识库。与各租户对应的知识库可以包含多组问答对，每组问答对包括标准问句和答案。这里的问答对也可以称为知识点或者话术。

在一个示例中，可以先基于新用户问句中的租户标识，确定与当前租户对应的知识库。之后，可以基于该新用户问句，在确定的知识库中作相似检索。如，可以计算该新用户问句与知识库中各组问答对中的标准问句之间的相似度，并基于计算的相似度，确定出预定数目个相似的标准问句。之后，将确定出的标准问句对应的答案作为上述召回的预定数目个答案。

步骤310，将预定数目个答案中的各答案以及新用户问句输入预测模型，以预测各答案与新用户问句的匹配分数。

如前所述，该预测模型可以多个租户共享的底层网络部分和多个租户分别对应的多个上层网络部分，多个上层网络部分具有相同的网络结构，以及针对不同租户训练得到的不同网络参数。

以下以预定数目个答案中任意的第一答案为例，并结合如上所述的预测模型，对步骤310的具体实施过程作以下说明：

在底层网络部分中，根据第一答案包含的各词对应的词向量，确定第一答案对应的第一句子的第一句子向量。根据新用户问句包含的各词对应的词向量，确定新用户问句对应的第二句子的第二句子向量。并根据第一句子向量和第二句子向量，确定第一答案和新用户问句共同对应的最终向量。

将最终向量作为第一租户对应的上层网络部分的输入，通过该上层网络部分的输出得到第一答案与新用户问句的匹配分数。

需要说明的是，对于如上所述的底层网络部分，其又可以括序列特征表达模型层、关联向量表达层以及向量转化(Seq2vec)层。

以下结合底层网络部分的各层，对第一答案和新用户问句共同对应的最终向量的获得过程进行说明。

首先，对于第一句子向量，其获取过程可以为：根据第一答案包含的各词对应的词向量(通过预训练得到)，确定第一句子的初始向量(word embedding)。将第一句子的初始向量作为序列特征表达模型的输入，通过序列特征表达模型的输出确定第一句子向量。对于第二句子向量，其获取过程可以为：根据新用户问句包含的各词对应的词向量，确定第二句子的初始向量。将第二句子的初始向量作为序列特征表达模型的输入，通过序列特征表达模型的输出确定第二句子向量。

之后，可以先对第一句子向量和第二句子向量执行交互操作，以得到交互矩阵，该交互矩阵中的矩阵元素表示第一句子中各个词与第二句子中各个词之间的关联度。最后，根据第一句子向量、第二句子向量以及交互矩阵，确定第一答案和新用户问句共同对应的最终向量。

在一个示例中，上述结合交互矩阵，确定最终向量的过程具体可以为：

先基于第一句子向量以及交互矩阵，确定新用户问句的基于第一答案的第一关联向量(具体计算过程可参见公式1)。对第二句子向量和第一关联向量进行融合，以得到新用户语句的第一融合结果(具体融合过程可参加公式2)。

相应地，基于第二句子向量以及交互矩阵，确定第一答案的基于新用户问句的第二关联向量(具体计算过程可参见公式1)。对第一句子向量和第二关联向量进行融合，以得到第一答案的第二融合结果(具体融合过程可参加公式2)。

根据第一融合结果和第二融合结果，确定第一答案和新用户问句共同对应的最终向量。

在得到上述第一融合结果和第二融合结果之后，可以直接对第一融合结果执行平均池化和最大池化操作，以得到相应的第一操作结果。对第二融合结果执行平均池化和最大池化操作，以得到相应的第二操作结果。对第一操作结果和第二操作结果进行拼接，以得到第一答案和新用户问句共同对应的最终向量。

当然，在实际应用中，也可以将第一融合结果作为序列特征表达模型的输入，之后对序列特征表达模型的输出执行平均池化和最大池化操作(具体地可参见公式3)，以得到第一操作结果。相应地，可以将第二融合结果作为序列特征表达模型的输入，对序列特征表达模型的输出执行平均池化和最大池化操作(具体地可参见公式3)，以得到第二操作结果。

应理解，上述平均池化和最大池化操作可以在Seq2vec层执行的。

步骤312，基于匹配分数，从各答案中确定出目标答案并返回。

如，可以按照匹配分数从高到低的顺序，对预定数目个答案进行排序。之后，可以将排在最前面的N个答案选取为目标答案。或者，也可以基于阈值来选取目标答案。如，可以将所有匹配分数大于阈值的答案均选取为目标答案等等，本说明书对此不作限定。

综上，本说明书实施例提供的客服场景下用户问句的回复方法，针对不同租户下的用户问句，可以通过多租户共享的底层网络部分和该租户独享的上层网络部分进行匹配分数的预测，由此，可以大大提升不同租户下的用户问句回复的准确性。此外，由于底层网络部分是多个租户共享的，从而可以不用针对每个租户单独存储，由此，可以节省网络参数的存储空间，且可以不对预测模型的性能产生影响。

图4为本说明书提供的客服场景下用户问句的回复方法示意图。图4中，可以先接收租户下的当前用户问句(query)，之后可以通过对话上下文管理模块获取当前用户问句的上下文信息，并将租户的租户标识、当前用户问句以及上下文信息进行拼接，以生成新用户问句。基于新用户问句，从与租户对应的知识库中召回预定数目个答案。将预定数目个答案中的各答案以及新用户问句输入预测模型，以预测各答案与新用户问句的匹配分数。基于匹配分数，对各答案进行排序，并基于排序结果，确定向用户推荐的答案。

以下对预测模型的训练过程进行说明。

图5为本说明书提供的预测模型的训练过程示意图。图5中，对于N个租户中的每个租户，从该租户下的用户与客服的对话日志中，获取与该租户对应的训练样本集。该训练样本集中的样本包括用户问句和用户问句的上下文信息、回复内容以及用户问句所属租户的租户标识。使用与N个租户对应的N个训练样本集，交替训练预测模型。

可以理解的是，对于各租户对应的训练样本集，其可以包括正例样本和负例样本。对于负例样本，其中的回复内容可以是从一个batch里的回复内容中随机采样得到。此外，对于训练得到的预测模型，可以基于验证集对其预测准确率进行验证。当验证通过时，可以对多租户共享的底层网络部分的模型参数以及各租户独享的上层网络部分的模型参数进行存储，以供后续预测用户答案时使用。

通过本说明书实施例训练得到的预测模型，针对不同租户下的用户问句均可以进行准确回复。

与上述客服场景下用户问句的回复方法对应地，本说明书一个实施例还提供的一种客服场景下用户问句的回复装置，如图6所示，该装置可以包括：

接收单元602，用于接收第一租户下的当前用户问句。

获取单元604，用于针对接收单元602接收的当前用户问句，获取当前用户问句的上下文信息。

生成单元606，用于基于第一租户的租户标识、接收单元602接收的当前用户问句和获取单元604获取的上下文信息，生成新用户问句。

召回单元608，用于基于生成单元606生成的新用户问句，从与第一租户对应的知识库中召回预定数目个答案。其中，知识库包含多组问答对，每组问答对包括标准问句和答案。

输入单元610，用于将召回单元608召回的预定数目个答案中的各答案以及生成单元606生成的新用户问句输入预测模型，以预测各答案与新用户问句的匹配分数。预测模型包括多个租户共享的底层网络部分和多个租户分别对应的多个上层网络部分，多个上层网络部分具有相同的网络结构，以及针对不同租户训练得到的不同网络参数。各答案与新用户问句的匹配分数通过底层网络部分和第一租户对应的上层网络部分预测。

这里的上层网络部分可以包括Softmax层以及多层感知器MLP层或者深度学习网络层。

此外，上述预定数目个答案包括第一答案，输入单元610具体可以用于：

在底层网络部分中，根据第一答案包含的各词对应的词向量，确定第一答案对应的第一句子的第一句子向量。根据新用户问句包含的各词对应的词向量，确定新用户问句对应的第二句子的第二句子向量。并根据第一句子向量和第二句子向量，确定第一答案和所述新用户问句共同对应的最终向量。

将最终向量作为第一租户对应的上层网络部分的输入，通过该上层网络部分的输出得到第一答案与新用户问句的匹配分数。

确定单元612，用于基于匹配分数，从各答案中确定出目标答案。

发送单元614，用于返回目标答案。

可选地，该装置还可以包括：

训练单元(图中未示出)，用于对于多个租户中的每个租户，从该租户下的用户与客服的对话日志中，获取与该租户对应的训练样本集。该训练样本集中的样本包括用户问句和用户问句的上下文信息、回复内容以及用户问句所属租户的租户标识。

使用与多个租户对应的多个训练样本集，交替训练预测模型。

可选地，上述底层网络部分包括可以包括序列特征表达模型层，该序列特征表达模型包括以下任一种：transformer编码器、长短期记忆网络LSTM以及卷积神经网络CNN。

输入单元610具体可以用于：

根据第一答案包含的各词对应的词向量，确定第一句子的初始向量。将第一句子的初始向量作为序列特征表达模型的输入，通过序列特征表达模型的输出确定第一句子向量。

输入单元610还具体可以用于：

根据新用户问句包含的各词对应的词向量，确定第二句子的初始向量。将第二句子的初始向量作为序列特征表达模型的输入，通过序列特征表达模型的输出确定第二句子向量。

输入单元610具体可以用于：

对第一句子向量和第二句子向量执行交互操作，以得到交互矩阵，交互矩阵中的矩阵元素表示第一句子中各个词与第二句子中各个词之间的关联度。

根据第一句子向量、第二句子向量以及交互矩阵，确定第一答案和新用户问句共同对应的最终向量。

输入单元610具体可以用于：

基于第一句子向量以及交互矩阵，确定新用户问句的基于第一答案的第一关联向量。对第二句子向量和第一关联向量进行融合，以得到新用户语句的第一融合结果。

基于第二句子向量以及交互矩阵，确定第一答案的基于新用户问句的第二关联向量。对第一句子向量和第二关联向量进行融合，以得到第一答案的第二融合结果。

根据第一融合结果和第二融合结果，确定第一答案和新用户问句共同对应的最终向量。

输入单元610具体可以用于：

对第一融合结果执行平均池化和最大池化操作，以得到相应的第一操作结果。

对第二融合结果执行平均池化和最大池化操作，以得到相应的第二操作结果。

对第一操作结果和第二操作结果进行拼接，以得到第一答案和新用户问句共同对应的最终向量。

可选地，底层网络部分可以包括序列特征表达模型层。序列特征表达模型包括以下任一种：transformer编码器、长短期记忆网络LSTM以及卷积神经网络CNN。

输入单元610具体可以用于：

将第一融合结果作为序列特征表达模型的输入，对序列特征表达模型的输出执行平均池化和最大池化操作，以得到第一操作结果。

输入单元610还具体用于：

将第二融合结果作为序列特征表达模型的输入，对序列特征表达模型的输出执行平均池化和最大池化操作，以得到第二操作结果。

本说明书上述实施例装置的各功能模块的功能，可以通过上述方法实施例的各步骤来实现，因此，本说明书一个实施例提供的装置的具体工作过程，在此不复赘述。

本说明书一个实施例提供的客服场景下用户问句的回复装置，接收单元602接收第一租户下的当前用户问句。获取单元604针对当前用户问句，获取当前用户问句的上下文信息。生成单元606基于第一租户的租户标识、当前用户问句和上下文信息，生成新用户问句。召回单元608基于新用户问句，从与第一租户对应的知识库中召回预定数目个答案。其中，知识库包含多组问答对，每组问答对包括标准问句和答案。输入单元610将预定数目个答案中的各答案以及新用户问句输入预测模型，以预测各答案与新用户问句的匹配分数。确定单元612基于匹配分数，从各答案中确定出目标答案。发送单元614返回目标答案。由此，可以大大提升不同租户下的用户问句回复的准确性。

本说明书一个实施例提供的客服场景下用户问句的回复装置可以为图1中客服系统的一个模块或者单元。

与上述客服场景下用户问句的回复方法对应地，本说明书实施例还提供了一种客服场景下用户问句的回复设备，如图7所示，该设备可以包括：存储器702、一个或多个处理器704以及一个或多个程序。其中，该一个或多个程序存储在存储器702中，并且被配置成由一个或多个处理器704执行，该程序被处理器704执行时实现以下步骤：

接收第一租户下的当前用户问句。

针对当前用户问句，获取当前用户问句的上下文信息。

基于第一租户的租户标识、当前用户问句和上下文信息，生成新用户问句。

基于新用户问句，从与第一租户对应的知识库中召回预定数目个答案。其中，知识库包含多组问答对，每组问答对包括标准问句和答案。

将预定数目个答案中的各答案以及新用户问句输入预测模型，以预测各答案与所述新用户问句的匹配分数。预测模型包括多个租户共享的底层网络部分和多个租户分别对应的多个上层网络部分，多个上层网络部分具有相同的网络结构，以及针对不同租户训练得到的不同网络参数。各答案与新用户问句的匹配分数通过底层网络部分和第一租户对应的上层网络部分预测。

基于匹配分数，从各答案中确定出目标答案并返回。

本说明书一个实施例提供的客服场景下用户问句的回复设备，可以大大提升不同租户下的用户问句回复的准确性。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

结合本说明书公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于服务器中。当然，处理器和存储介质也可以作为分立组件存在于服务器中。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

以上所述的具体实施方式，对本说明书的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书的具体实施方式而已，并不用于限定本说明书的保护范围，凡在本说明书的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书的保护范围之内。

Claims (19)

1.一种客服场景下用户问句的回复方法，包括：

接收第一租户下的当前用户问句；

针对所述当前用户问句，获取所述当前用户问句的上下文信息；

基于所述第一租户的租户标识、所述当前用户问句和所述上下文信息，生成新用户问句；

基于所述新用户问句，从与所述第一租户对应的知识库中召回预定数目个答案；其中，所述知识库包含多组问答对，每组问答对包括标准问句和答案；

将所述预定数目个答案中的各答案以及所述新用户问句输入预测模型，以预测所述各答案与所述新用户问句的匹配分数；所述预测模型包括多个租户共享的底层网络部分和所述多个租户分别对应的多个上层网络部分，所述多个上层网络部分具有相同的网络结构，以及针对不同租户训练得到的不同网络参数；所述各答案与所述新用户问句的匹配分数通过所述底层网络部分和所述第一租户对应的上层网络部分预测；

基于所述匹配分数，从所述各答案中确定出目标答案并返回。

2.根据权利要求1所述的方法，所述预测模型通过以下步骤训练得到：

对于所述多个租户中的每个租户，从该租户下的用户与客服的对话日志中，获取与该租户对应的训练样本集；所述训练样本集中的样本包括用户问句和用户问句的上下文信息、回复内容以及用户问句所属租户的租户标识；

使用与所述多个租户对应的多个训练样本集，交替训练所述预测模型。

3.根据权利要求1所述的方法，所述预定数目个答案包括第一答案；所述将所述预定数目个答案中的各答案以及所述新用户问句输入预测模型，以预测所述各答案与所述新用户问句的匹配分数，包括：

在所述底层网络部分中，根据所述第一答案包含的各词对应的词向量，确定所述第一答案对应的第一句子的第一句子向量；根据所述新用户问句包含的各词对应的词向量，确定所述新用户问句对应的第二句子的第二句子向量；并根据所述第一句子向量和所述第二句子向量，确定所述第一答案和所述新用户问句共同对应的最终向量；

将所述最终向量作为所述第一租户对应的上层网络部分的输入，通过该上层网络部分的输出得到所述第一答案与所述新用户问句的匹配分数。

4.根据权利要求3所述的方法，所述底层网络部分包括序列特征表达模型层；所述序列特征表达模型包括以下任一种：transformer编码器、长短期记忆网络LSTM以及卷积神经网络CNN；

所述根据所述第一答案包含的各词对应的词向量，确定所述第一答案对应的第一句子的第一句子向量，包括：

根据所述第一答案包含的各词对应的词向量，确定所述第一句子的初始向量；将所述第一句子的初始向量作为所述序列特征表达模型的输入，通过所述序列特征表达模型的输出确定所述第一句子向量；

所述根据所述新用户问句包含的各词对应的词向量，确定所述新用户问句对应的第二句子的第二句子向量，包括：

根据所述新用户问句包含的各词对应的词向量，确定所述第二句子的初始向量；将所述第二句子的初始向量作为所述序列特征表达模型的输入，通过所述序列特征表达模型的输出确定所述第二句子向量。

5.根据权利要求3所述的方法，所述根据所述第一句子向量和所述第二句子向量，确定所述第一答案和所述新用户问句共同对应的最终向量，包括：

对所述第一句子向量和第二句子向量执行交互操作，以得到交互矩阵，所述交互矩阵中的矩阵元素表示所述第一句子中各个词与所述第二句子中各个词之间的关联度；

根据所述第一句子向量、所述第二句子向量以及所述交互矩阵，确定所述第一答案和所述新用户问句共同对应的最终向量。

6.根据权利要求5所述的方法，所述根据所述第一句子向量、所述第二句子向量以及所述交互矩阵，确定所述第一答案和所述新用户问句共同对应的最终向量，包括：

基于所述第一句子向量以及所述交互矩阵，确定所述新用户问句的基于所述第一答案的第一关联向量；对所述第二句子向量和所述第一关联向量进行融合，以得到所述新用户语句的第一融合结果；

基于所述第二句子向量以及所述交互矩阵，确定所述第一答案的基于所述新用户问句的第二关联向量；对所述第一句子向量和所述第二关联向量进行融合，以得到所述第一答案的第二融合结果；

根据所述第一融合结果和所述第二融合结果，确定所述第一答案和所述新用户问句共同对应的最终向量。

7.根据权利要求6所述的方法，所述根据所述第一融合结果和所述第二融合结果，确定所述第一答案和所述新用户问句共同对应的最终向量，包括：

对所述第一融合结果执行平均池化和最大池化操作，以得到相应的第一操作结果；

对所述第二融合结果执行平均池化和最大池化操作，以得到相应的第二操作结果；

对所述第一操作结果和所述第二操作结果进行拼接，以得到所述第一答案和所述新用户问句共同对应的最终向量。

8.根据权利要求7所述的方法，所述底层网络部分包括序列特征表达模型层；所述序列特征表达模型包括以下任一种：transformer编码器、长短期记忆网络LSTM以及卷积神经网络CNN；

所述对所述第一融合结果执行平均池化和最大池化操作，以得到相应的第一操作结果，包括：

将所述第一融合结果作为所述序列特征表达模型的输入，对所述序列特征表达模型的输出执行平均池化和最大池化操作，以得到第一操作结果；

所述对所述第二融合结果执行平均池化和最大池化操作，以得到相应的第二操作结果，包括：

将所述第二融合结果作为所述序列特征表达模型的输入，对所述序列特征表达模型的输出执行平均池化和最大池化操作，以得到第二操作结果。

9.根据权利要求1所述的方法，所述上层网络部分包括Softmax层以及多层感知器MLP层或者深度学习网络层。

10.一种客服场景下用户问句的回复装置，包括：

接收单元，用于接收第一租户下的当前用户问句；

获取单元，用于针对所述接收单元接收的所述当前用户问句，获取所述当前用户问句的上下文信息；

生成单元，用于基于所述第一租户的租户标识、所述接收单元接收的所述当前用户问句和所述获取单元获取的所述上下文信息，生成新用户问句；

召回单元，用于基于所述生成单元生成的所述新用户问句，从与所述第一租户对应的知识库中召回预定数目个答案；其中，所述知识库包含多组问答对，每组问答对包括标准问句和答案；

输入单元，用于将所述召回单元召回的所述预定数目个答案中的各答案以及所述生成单元生成的所述新用户问句输入预测模型，以预测所述各答案与所述新用户问句的匹配分数；所述预测模型包括多个租户共享的底层网络部分和所述多个租户分别对应的多个上层网络部分，所述多个上层网络部分具有相同的网络结构，以及针对不同租户训练得到的不同网络参数；所述各答案与所述新用户问句的匹配分数通过所述底层网络部分和所述第一租户对应的上层网络部分预测；

确定单元，用于基于所述匹配分数，从所述各答案中确定出目标答案；

发送单元，用于返回所述目标答案。

11.根据权利要求10所述的装置，还包括：

训练单元，用于对于所述多个租户中的每个租户，从该租户下的用户与客服的对话日志中，获取与该租户对应的训练样本集；所述训练样本集中的样本包括用户问句和用户问句的上下文信息、回复内容以及用户问句所属租户的租户标识；

使用与所述多个租户对应的多个训练样本集，交替训练所述预测模型。

12.根据权利要求10所述的装置，所述预定数目个答案包括第一答案；所述输入单元具体用于：

在所述底层网络部分中，根据所述第一答案包含的各词对应的词向量，确定所述第一答案对应的第一句子的第一句子向量；根据所述新用户问句包含的各词对应的词向量，确定所述新用户问句对应的第二句子的第二句子向量；并根据所述第一句子向量和所述第二句子向量，确定所述第一答案和所述新用户问句共同对应的最终向量；

将所述最终向量作为所述第一租户对应的上层网络部分的输入，通过该上层网络部分的输出得到所述第一答案与所述新用户问句的匹配分数。

13.根据权利要求12所述的装置，所述底层网络部分包括序列特征表达模型层；所述序列特征表达模型包括以下任一种：transformer编码器、长短期记忆网络LSTM以及卷积神经网络CNN；

所述输入单元具体用于：

根据所述第一答案包含的各词对应的词向量，确定所述第一句子的初始向量；将所述第一句子的初始向量作为所述序列特征表达模型的输入，通过所述序列特征表达模型的输出确定所述第一句子向量；

所述输入单元还具体用于：

根据所述新用户问句包含的各词对应的词向量，确定所述第二句子的初始向量；将所述第二句子的初始向量作为所述序列特征表达模型的输入，通过所述序列特征表达模型的输出确定所述第二句子向量。

14.根据权利要求12所述的装置，所述输入单元具体用于：

对所述第一句子向量和第二句子向量执行交互操作，以得到交互矩阵，所述交互矩阵中的矩阵元素表示所述第一句子中各个词与所述第二句子中各个词之间的关联度；

根据所述第一句子向量、所述第二句子向量以及所述交互矩阵，确定所述第一答案和所述新用户问句共同对应的最终向量。

15.根据权利要求14所述的装置，所述输入单元具体用于：

基于所述第一句子向量以及所述交互矩阵，确定所述新用户问句的基于所述第一答案的第一关联向量；对所述第二句子向量和所述第一关联向量进行融合，以得到所述新用户语句的第一融合结果；

基于所述第二句子向量以及所述交互矩阵，确定所述第一答案的基于所述新用户问句的第二关联向量；对所述第一句子向量和所述第二关联向量进行融合，以得到所述第一答案的第二融合结果；

根据所述第一融合结果和所述第二融合结果，确定所述第一答案和所述新用户问句共同对应的最终向量。

16.根据权利要求15所述的装置，所述输入单元具体用于：

对所述第一融合结果执行平均池化和最大池化操作，以得到相应的第一操作结果；

对所述第二融合结果执行平均池化和最大池化操作，以得到相应的第二操作结果；

对所述第一操作结果和所述第二操作结果进行拼接，以得到所述第一答案和所述新用户问句共同对应的最终向量。

17.根据权利要求16所述的装置，所述底层网络部分包括序列特征表达模型层；所述序列特征表达模型包括以下任一种：transformer编码器、长短期记忆网络LSTM以及卷积神经网络CNN；

所述输入单元具体用于：

将所述第一融合结果作为所述序列特征表达模型的输入，对所述序列特征表达模型的输出执行平均池化和最大池化操作，以得到第一操作结果；

所述输入单元还具体用于：

将所述第二融合结果作为所述序列特征表达模型的输入，对所述序列特征表达模型的输出执行平均池化和最大池化操作，以得到第二操作结果。

18.根据权利要求10所述的装置，所述上层网络部分包括Softmax层以及多层感知器MLP层或者深度学习网络层。

19.一种客服场景下用户问句的回复设备，包括：

存储器；

一个或多个处理器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序被所述处理器执行时实现以下步骤：

接收第一租户下的当前用户问句；

针对所述当前用户问句，获取所述当前用户问句的上下文信息；

基于所述第一租户的租户标识、所述当前用户问句和所述上下文信息，生成新用户问句；

基于所述新用户问句，从与所述第一租户对应的知识库中召回预定数目个答案；其中，所述知识库包含多组问答对，每组问答对包括标准问句和答案；

将所述预定数目个答案中的各答案以及所述新用户问句输入预测模型，以预测所述各答案与所述新用户问句的匹配分数；所述预测模型包括多个租户共享的底层网络部分和所述多个租户分别对应的多个上层网络部分，所述多个上层网络部分具有相同的网络结构，以及针对不同租户训练得到的不同网络参数；所述各答案与所述新用户问句的匹配分数通过所述底层网络部分和所述第一租户对应的上层网络部分预测；

基于所述匹配分数，从所述各答案中确定出目标答案并返回。

Images