CN117668199A - 一种智能客服问答预测及推荐对话生成方法及装置 - Google Patents

Abstract

本发明公开了一种智能客服问答预测及推荐对话生成方法及装置，包括：基于收集到的客服问题及目标回答分别获取问题词向量和回答词向量，分别构建问题语义向量和回答词汇向量；根据问题语义向量利用分类器确认客服问题对应的主题类别，获取主题向量；基于B2B平台的知识库构建每个知识点的知识向量，基于相似度门限筛选出与问题语义向量相对应的知识向量；通过融合Multi‑head attention和LSTM对Seq2Seq模型进行改进，改进后的Seq2Seq模型基于问题词向量和回答词汇向量、知识向量和主题向量生成问题答案。本发明使用高效的自动回答取代低效人工查询流程，有效解决传统服务低效和满足不了新需求等痛点。

Description

一种智能客服问答预测及推荐对话生成方法及装置

技术领域

本发明属于人工智能技术领域，具体涉及一种智能客服问答预测及推荐对话生成方法及装置。

背景技术

传统B2B平台客户服务技术已发展多年，其主要采用人工服务的模式，但是传统人工服务模式劳动强度大，响应效率低，很难满足现有平台下的高并发需求。随着人工智能技术应用的发展，国内部分公司已经开始尝试应用聊天机器人辅助客户服务的方式来处理客服问题，但这种方式功能比较单一，回答效率和准确率均有待提升。

现有的聊天机器人一般基于规则匹配来进行智能问答配对，这种方式需要人工预先定义好所有规则，这使得它们无法回答超出预定义规则范围的问题。在聊天机器人接收到无法理解用户意图的问答时，会经常给出与用户问题无关的答案。另外这种聊天机器人也无法从与用户的互动中逐步学习并改进，因此，它们的服务水平不会随着时间的推移而提高，也无法学习到客户的需求演变规律，无法根据客户的需求调整自己的服务策略，导致客服服务水平很难提升。

发明内容

针对以上问题，本发明提出了一种智能客服问答预测及推荐对话生成方法及装置，通过引入人工智能技术构建自主学习的智能客服系统，利用深度学习技术提升自然语言理解能力，并通过学习总结客户互动得出个性化服务方案，从而解决现有技术服务效率及个性化程度不足的问题。为解决以上技术问题，本发明所采用的技术方案如下：

一种智能客服问答预测及推荐对话生成方法，包括如下步骤：

S1，收集客服问题及客服问题所对应的目标回答，基于客服问题和目标回答分别获取问题词向量和回答词向量，并基于问题词向量和回答词向量分别构建问题语义向量和回答词汇向量；

S2，根据步骤S1得到的问题语义向量利用分类器确认客服问题所对应的主题类别，基于主题类别获取主题向量；

S3，基于B2B平台的知识库构建每个知识点的知识向量，基于相似度门限筛选出与步骤S1得到的问题语义向量相对应的知识向量；

S4，通过融合Multi-head attention和LSTM对Seq2Seq模型进行改进，改进后的Seq2Seq模型基于步骤S1得到的问题词向量和回答词汇向量、步骤S3得到的知识向量和步骤S2得到的主题向量生成问题答案。

所述步骤S3包括如下步骤：

S3.1，基于B2B平台的知识库获取每个知识点的知识向量；

S3.2，计算问题语义向量与知识向量之间的相似度，获取每个问题语义向量与所有知识点之间的相似度矩阵；

S3.3，基于相似度门限和步骤S3.2得到的相似度矩阵从B2B平台知识库中筛选出客服问题所对应的知识向量。

在步骤S3.1中，所述知识向量的表达式为：

k_m＝k_m，struct+k_m，content；

式中，k_m，struct表示B2B平台知识库中第m个知识点的结构化表征向量，k_m，content表示B2B平台知识库中第m个知识点的知识语义表征向量，k_m表示B2B平台知识库中第m个知识点的知识向量。

在步骤S3.2中，所述相似度矩阵的表达式为：

式中，Similarity(e_q，k_m)表示问题语义向量e_q与知识向量k_m之间的相似度，M表示B2B平台的知识库中知识点的数量，表示问题语义向量e_q与B2B平台知识库中知识点的相似度矩阵；

所述问题语义向量e_q与知识向量k_m之间的相似度Similarity(e_q，k_m)的计算公式为：

所述步骤S4包括如下步骤：

S4.1，通过融合Multi-head attention和LSTM对Seq2Seq模型的编码器和解码器分别进行改进；

S4.2，基于步骤S1得到的问题词向量利用LSTM模型获取问题表征向量；

S4.3，改进后的Seq2Seq模型的编码器基于问题表征向量采用和主题向量输出编码器的隐向量；

S4.4，改进后的Seq2Seq模型的解码器基于步骤S3得到的知识向量输出关注知识向量和融合知识向量，并基于关注知识向量、融合知识向量、编码器的隐向量和回答词汇向量生成问题答案。

所述问题表征向量采用表示，/>其中，/>表示第i′个上下文语义向量，n表示问题词向量的总数；

所述上下文语义向量的表达式为：

式中，表示第i′-1个上下文语义向量，e_i′表示第i′个问题词向量。

在步骤S4.4中，所述问题答案采用表示，其表达式为：

式中，Proj(·)为线性映射函数，表示解码器的输出；

所述解码器的输出的表达式为：

式中，h′_r表示问题信息提取向量，y_r表示回答词语，表示t-1时刻的解码器的隐藏状态，C_t-1表示注意力机制在t-1时刻的记忆单元的输出，C_V表示主题向量。

所述问题信息提取向量h′_r的计算公式为：

所述权重的计算公式为：

式中，其中，w_s为参数矩阵，/>表示解码器的隐向量，h_i表示编码器的隐向量，b_de表示解码器的偏置。

一种智能客服问答预测及推荐对话生成装置，包括：

数据收集模块：用于收集客服问题和客服问题所对应的目标回答；

向量生成模块：用于基于数据收集模块收集到的客服问题和目标回答生成问题词向量和回答词向量，并基于问题词向量和回答词向量分别构建问题语义向量和回答词汇向量；

主题向量确认模块：用于基于向量生成模块得到的问题语义向量利用分类器确认客服问题所对应的主题类别，基于主题类别获取主题向量；

知识向量筛选模块：用于基于B2B平台的知识库构建每个知识点的知识向量，并基于相似度门限筛选出与向量生成模块得到的问题语义向量相对应的知识向量；

问题答案生成模块：用于融合Multi-head attention和LSTM对Seq2Seq模型的编码器和解码器分别进行改进，利用改进后的Seq2Seq模型结合向量生成模块得到的问题词向量和回答词汇向量、主题向量确认模块得到的主题向量以及知识向量筛选模块筛选出的知识向量生成问题答案。

本发明的有益效果：

1、自动回答能力强，快速高效为客户提供服务：借助深度学习技术，系统理解能力强，能第一时间给出有效解答为客户节约时间，大大提高自助服务率；对话智能化后，处理单条请求时间缩短到秒级，有效提高响应效率；初级问题自动闭环，不再浪费人工服务资源，降低客户等待成本；

2、模型改进，提高语义理解能力：使用Multi-head attention和LSTM分别对Seq2Seq模型的编码器和解码器进行改进，解码器基于不同的数据算法动态调参，及时纠正偏差，优化语义分析和对话能力，有效提升理解能力，添加新的数据特征，实现服务水平质的提升；

3、系统学习模拟人工智能，大大提高客服响应效率：深度学习使系统具备人工同样的语义理解力，根据大量历史案例训练，逼近员工处理效率，高效自动回答取代低效人工查询流程，有效解决传统服务低效和满足不了新需求等痛点，让用户享受类人工智能水平但更高效的服务体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Seq2Seq模型：用于对语句进行编码，并将语句表示为语义向量。Seq2Seq模型包含编码器和解码器，编码器将input序列映射为上下文向量，解码器再生成输出序列。运用注意力机制可以更好地捕捉输入和输出序列之间的关系，提高语义理解准确率。

编码器(Encoder)：通常使用循环神经网络(RNN)、长短期记忆模型(Long Short-Term Memory,LSTM)或门控循环单元(GRU)，这里选择使用LSTM。LSTM的网络结构包括输入门、遗忘门、输出门等复杂计算，输入门控制着LSTM网络单元是否将新的信息写入到单元状态中，遗忘门控制着LSTM网络单元是否将旧的信息从单元状态中删除，输出门控制着LSTM网络单元是否将单元状态中的信息输出到隐藏状态中。LSTM单元的关键公式为：

遗忘门：f_t＝σ(W_f·[h_t-1，x_t]+b_f)；

输入门：i_t＝σ(W_i·[h_t-1，x_t]+b_i)；

输出门：O_t＝σ(W_O·[h_t-1，x_t]+b_O)；

候选记忆单元：

记忆单元：

最终隐状态也即输出：h_t＝O_t*tanh(C_t)；

式中，W_f、W_i、W_O和W_C均表示权重，b_f、b_i、b_O和b_C均表示偏置，σ(·)表示sigmoid激活函数，[h_t-1，x_t]表示t-1时刻的隐藏状态和当前t时刻输入的合并。

解码器(Decoder)：与编码器类似，使用LSTM时解码器的公式与编码器相似，但它额外接收来自编码器的隐状态作为初始状态。编码器把输入序列编码为一个固定长度的向量，然后解码器从该向量生成目标序列。LSTM对于编码器和解码器来说都是一个不错的选择，因为它能处理输入和输出序列长度可变的情况，且对于长期依赖关系的处理比基本的RNN更优。

在B2B平台的具体内容中，知识库是一个存储和管理企业相关知识的数据库或知识管理系统。知识库中包含了产品或服务的详细描述、属性、参数等内容，以及与企业业务相关的其他知识点。在知识库中，每个知识点代表着一个特定的主题或问题。例如，一个知识点可以是关于特定产品的功能介绍，另一个知识点可以是关于服务流程的说明。每个知识点都会被分析和提取出一些特征向量，这些特征向量可以包括知识标题、关键词、内容概要、属性等所对应的特征向量，知识标题、关键词、内容概要、属性等这些相当于知识点的结构特征。

特征库是结构化存放知识点与特征向量的映射关系的数据库或数据结构，它用于将知识点的特征向量与实际知识点进行关联和索引，以便在回答生成过程中能够快速找到与用户问题语义匹配度高的候选知识。特征库是一个数据结构，这个数据结构可以采用不同的形式，例如关系型数据库、图数据库或其他数据结构。在特征库中，每个知识点都有一个唯一的标识符，可以是一个编号或其他形式的标识。与每个知识点相关联的是其对应的特征向量，特征向量可以包含多个特征，如标题、关键词、内容概要等。当需要根据用户问题的语义特征匹配最相关的知识点时，可以通过查询特征库来获取匹配度高的知识点的特征向量。在回答生成的过程中，首先从特征库中根据用户问题的语义特征提取出匹配度高的候选知识的特征向量。然后，将这些特征向量与用户问题的语义特征进行融合，作为解码器生成回答的输入。这样可以确保生成的回答与用户问题相关，并且结合了知识库中的相关信息。

为了提高回答的可读性和效果，可以使用注意力机制来高亮显示回答中引用的知识库中的关键语言，这样可以使回答更加准确和易于理解。此外，还可以利用关键词匹配的方法从知识库中提取最相关的新闻或产品链接，作为补充回复给用户。这样可以提供更多相关信息，满足用户的需求。

综上所述，知识库是存储和管理企业相关知识的数据库或知识管理系统，知识点是指具体的主题或问题，而特征库是用于将知识点的特征向量与实际知识点进行关联和索引的数据结构。通过结合用户问题的语义特征和知识库的特征，可以生成更准确、具有关联性的回答，并提供相关的新闻或产品链接作为补充回复。

以上是关于现有技术的介绍，本申请公开了一种智能客服问答预测及推荐对话生成方法，如图1所示，包括如下步骤：

S1，收集客服问题和客服问题所对应的目标回答，基于客服问题和目标回答分别获取问题词向量和回答词向量，并基于问题词向量和回答词向量分别构建问题语义向量和回答词汇向量，包括如下步骤：

S1.1，收集客服问题和客服问题所对应的目标回答，对收集到的客服问题和目标回答分别进行预处理得到问题词语列表和对应的回答词语列表；

所述问题词语列表采用Q表示，Q＝{w₁,w₂,…,w_n}，w_n表示第n个问题词语，n表示问题词语列表中问题词语的总数，问题词语通过分词操作得到，每个问题词语相当于一个词元。所述预处理包括分词、去停用词等。所述客服问题覆盖不同客户类型、问题种类、业务线等角度，保证训练数据样本的代表性，同时加入随机性防止重复采样偏颇。

通过对每一个目标回答进行分词操作即可得到若干个回答词语，若干个回答词语组成对应的回答词语列表。

S1.2，利用词向量模型根据步骤S1.1得到的问题词语列表和回答词语列表分别获取问题词向量和回答词向量；

具体地，将问题词语列表中的每个词语采用预训练的词向量模型如Word2Vec将词语映射到一个低维的向量空间中，每个词语都由一个唯一的向量表示，这样，就可以将问题中的词语转换为等维度的词向量表示。同样地，回答词语列表中的每个回答词语进行相同的操作即可得到对应的回答词向量。

S1.3，基于步骤S1.2得到的问题词向量和回答词向量分别构建问题语义向量和回答词汇向量；

所述问题语义向量采用e_q表示，其计算公式为：

式中，e_i′表示第i′个问题词向量。

所述回答词汇向量采用h_r表示，具体地，首先基于每一个回答词汇表获取对应的一组词向量，将这一组词向量依次拼接即可得到该回答词汇列表对应的回答词汇向量。

S2，根据步骤S1得到的问题语义向量利用分类器确认客服问题所对应的主题类别，基于主题类别获取主题向量；

所述根据步骤S1得到的问题语义向量利用分类器确认客服问题所对应的主题类别是指计算问题语义向量相对于所有主题类别的概率，选取概率最大的主题类别作为该问题语义向量也即对应的客服问题的主题类别，主题类别概率的计算公式为：

P(C|Q)＝softmax(W_Class*e_q+b_Class)； (2)

式中，W_Class表示参数矩阵，b_Class表示偏置，C表示主题类别集合，C＝{C₁，C₂，...，C_m}，C_m表示第m个主题类别，m表示主题类别总数。其中，参数矩阵W_Class的维度为[m，dim(e_q)]，dim(e_q)表示问题语义向量e_q的维度也即问题语义向量e_q的长度或特征数，通过这样的参数矩阵可以用来反映问题语义向量映射到不同主题类别的概率分布。偏置b_Class的维度为[m，1]。

所述主题类别包括产品问题、订单查询、技术支持、售后服务、支付问题、账号管理等。所述产品问题是指涉及关于产品功能、使用方法或故障的问题，例如，″我的手机无法连接到互联网″可以归类为产品问题主题。所述订单查询是指涉及关于订单状态或配送信息的查询，例如，″我的订单还没有收到，可以查询一下状态吗？″可以归类为订单查询主题。所述技术支持是指涉及关于软件或网络等技术问题的支持请求，例如，″我在使用管理后台软件时遇到了错误，需要帮助解决″可以归类为技术支持主题。所述售后服务是指涉及关于产品保修、退换货政策或客户投诉的问题，例如，″我购买的产品有质量问题，我想要退换货″可以归类为售后服务主题。所述支付问题是指涉及关于付款方式、支付失败或退款问题的疑问，例如，″我尝试支付订单时遇到了问题，付款没有成功″可以归类为支付问题主题。所述帐号管理是指涉及关于密码重置、帐号激活或帐号安全的问题，例如，″我忘记了我的登录密码，如何重置？″可以归类为帐号管理主题。对确认出的客服问题的主题类别进行词嵌入即可得到每个客服问题所对应的主题向量C_V。

S3，基于B2B平台的知识库构建每个知识点的知识向量，基于相似度门限筛选出与步骤S1得到的问题语义向量相对应的知识向量，包括如下步骤：

S3.1，基于B2B平台的知识库获取每个知识点的知识向量；

所述知识向量的表达式为：

k_m＝k_m，struct+k_m，content； (3)

式中，k_m，struct表示B2B平台知识库中第m个知识点的结构化表征向量，k_m，content表示B2B平台知识库中第m个知识点的知识语义表征向量，反映了知识点所对应的全部知识内容，k_m表示B2B平台知识库中第m个知识点的知识向量。知识向量解决了知识点结构不同字段格式的问题，确保了知识向量可以包含完整的结构特征和文本特征。

所述结构化表征向量k_m，struct的表达式为：

知识语义表征向量k_m，content的表达式为：

k_m，content＝LSTM(Text_m)； (5)

式中，Text_m表示B2B平台知识库中第m个知识点所对应的知识内容，表示B2B平台知识库中第m个知识点所对应的特征向量的个数，k_m，1表示B2B平台知识库中第m个知识点所对应的第一个特征向量，k_m，2表示B2B平台知识库中第m个知识点所对应的第二个特征向量，且/>比如，特征向量k_m，1可以对应于通过B2B平台的知识库中第m个知识点所提取出的知识标题得到的词嵌入向量，特征向量k_m，2可以对应于通过B2B平台的知识库中第m个知识点所提取出的属性得到的独热编码。

S3.2，计算问题语义向量与知识向量之间的相似度，获取每个问题语义向量与所有知识点之间的相似度矩阵；

所述相似度矩阵的表达式为：

式中，Similarity(e_q，k_m)表示问题语义向量e_q与知识向量k_m之间的相似度，M表示B2B平台的知识库中知识点的数量，表示问题语义向量e_q与B2B平台知识库中知识点的相似度矩阵。

所述问题语义向量e_q与知识向量k_m之间的相似度Similarity(e_q，k_m)的计算公式为：

S3.3，基于相似度门限和步骤S3.2得到的相似度矩阵从B2B平台知识库中筛选出客服问题也即问题语义向量对应的知识向量输出；

所述基于相似度门限和步骤S3.2得到的相似度矩阵从B2B平台的知识库中筛选出对应的知识向量输出是指首先根据相似度门限筛选出符合条件的知识点的索引，然后根据索引输出对应的知识向量k_eq→，k_eq→表示B2B平台知识库中问题语义向量e_q所对应的知识向量，筛选出符合条件的知识点的索引的公式为：

式中，θ表示相似度门限，表示在/>矩阵中找到最大值的索引，即找到与客服问题最相似的知识点的索引。/>为公式(8)的约束条件，如果 则选择该知识点，否则不选择。

S4，通过融合Multi-head attention和LSTM对Seq2Seq模型进行改进，改进后的Seq2Seq模型基于步骤S1得到的问题词向量和回答词汇向量、步骤S3得到的知识向量和步骤S2得到的主题向量生成问题答案，包括如下步骤：

S4.1，通过融合Multi-head attention和LSTM对Seq2Seq模型的编码器和解码器分别进行改进；

编码器的任务是将输入的问题表征向量进行进一步的编码和抽象，以提取更丰富的语义特征，这些编码后的特征可以用于匹配知识库中的候选知识、生成回答等任务。同时，编码器使用注意力计算来决定哪些输入信息与当前时间步t相关，并生成一个隐向量也即上下文向量或隐状态。解码器使用注意力计算来决定哪些上下文信息与当前时间步相关，并生成一个输出向量。

所述多头注意力机制的输出对应的表达式为：

h_mul＝Concat(head₁，head₂，...，head_μ)； (9)

式中，h_mul表示多头注意力的输出，μ表示多头注意力的头数，head_μ表示第μ头的注意力结果，通过对客服问题和知识向量进行独立的注意力计算得到。

所述第μ头的注意力结果head_μ的表达式对应于：

head_μ＝Attention(w_h，μ*h_t，w_k，μ*k_eq→)； (10)

式中，h_t表示问题隐层向量，w_h，μ和w_k，μ分别表示第μ个头的客服问题和知识向量的映射矩阵，用于将它们的表示投影到注意力空间。

S4.2，基于步骤S1得到的问题词向量利用LSTM模型获取问题表征向量；

所述问题表征向量采用表示，/> 表示第i′个上下文语义向量，它是通过LSTM网络对输入的词向量序列进行逐步处理得到的。随着时间步的增加，每个时间步的隐状态向量包含了越来越多的上下文语义信息，最后一个时间步的隐状态向量/>即为整个客服问题的上下文语义向量。

在B2B平台场景的知识匹配和生成回答的阶段，问题表征向量可以与知识库中的特征向量进行匹配，找到最相关的知识点，将其特征向量与问题表征向量相融合可以作为解码器生成回答的输入。问题表征向量是通过对问题中的词向量序列进行编码和池化所得到的固定维度的向量，可以用于后续的知识匹配、回答生成等任务。

所述上下文语义向量的表达式为：

式中，表示第i′-1个上下文语义向量。

S4.3，改进后的Seq2Seq模型的编码器基于问题表征向量采用和主题向量CV输出编码器的隐向量；

所述编码器的隐向量的表达式为：

加上主题变量C_V对编码器的隐向量h_t也即隐状态进行更新，对应的表达式为：

式中，h_t-1表示LSTM网络单元的前一个隐藏状态，C_t-1表示LSTM网络单元的前一个单元状态。将主题向量C_V加到问题隐状态h_t上，可以修正问题隐状态的主题影响，使更新后的隐状态h_t携带了客服问题的所有词意和问题主题。在智能客服场景中，主题和问题词意可以帮助LSTM网络单元更好地理解客服问题的含义，从而提供更准确的回答。

另外，编码器在t时间步时的权重α_t的计算公式为：

α_t＝softmax(e_i，j)； (14)

式中，e_ij＝w^Ttanh(w_h*h_i+w_e*e_j+b_en)，其中，w表示权重向量，用于将注意力机制应用于问题和知识的表示，它的维度通常与隐藏层的维度相同，h_i表示编码器的第i个隐向量，e_j表示输入序列的第j位置的向量表示，w_h表示客服问题的映射矩阵，用于将它们的表示投影到注意力空间，w_e为参数矩阵，用于确定输入序列在注意力计算中的权重，b_en表示编码器的偏置，tanh(·)为双曲正切函数，用于增强非线性建模能力。编码器的注意力公式(也即公式(14))用于计算输入序列中每个位置与其他位置的注意力权重，以便编码器能够对输入序列进行建模和编码。

S4.4，改进后的Seq2Seq模型的解码器基于步骤S3得到的知识向量k_eq→输出关注知识向量和融合知识向量，并基于关注知识向量、融合知识向量、编码器的隐向量和回答词汇向量h_r获取问题答案；

所述关注知识向量采用K_t*表示，反映了客服问题对不同知识向量的关注程度，其表达式为：

式中，表示解码器在t时间步时的权重。

所述融合知识向量采用h′_j表示，其表达式为：

式中，表示权重。融合知识向量可以提供更丰富的语义信息，而关注知识向量则更加关注编码器中与解码器当前状态相关的部分。

所述权重的计算公式为：

式中，i表示问题时间步，它从1开始到问题长度结束；j表示回答时间步，它从1开始到回答长度结束；e_t，i表示问题时间步对回答的注意力分数，T表示客服问题所对应的回答的时间步数也即回答长度，e_t，j表示问题时间步t时j时间步的回答所对应的注意力分数，表示对回答所有时间步的注意力分数的求和。

所述注意力分数e_t，i的计算公式为：

式中，h_t，i表示问题时间步i时的隐藏状态，W_a表示注意力权重矩阵，表示回答时间步j时的隐藏状态。

所述问题答案采用表示，其表达式为：

式中，Proj(·)为线性映射函数，将隐藏状态映射到与问题答案相对应的词表维度上。所述问题答案是一个向量序列。

所述解码器的输出也即隐藏状态的表达式为：

式中，h′_r表示问题信息提取向量，y_r表示回答词语。将回答词语y_r作为辅助输入可以助推模型学习，特别是在训练初期，它可以提供额外的正误回归信号。

所述问题信息提取向量h′_r的计算公式为：

所述权重的计算公式为：

式中，其中，w_s为参数矩阵，表示解码器隐藏状态在注意力计算中的权重，/>表示解码器的隐向量，h_i表示编码器的隐向量，b_de表示解码器的偏置。解码器的注意力公式(也即公式(19))用于计算解码器在生成输出时对编码器各个位置的关注程度，以便在解码过程中获得正确的上下文信息。尽管编码器和解码器的注意力公式形式有些相似，但编码器和解码器的注意力公式通常会根据任务和模型的设计进行微调和调整，以适应不同的输入输出维度和模型结构，因此，它们通常是不完全相同的，在输入和输出的维度上可能会存在差异。

另外，本申请还可以在线收集客服问题以及B2B平台下用户使用智能客服满足不了需求申请人工客服时所对应的回答，基于步骤S1-S4的方法对改进后的Seq2Seq模型的样本进行不断丰富，以提高模型的理解能力。

本申请实施例还公开了一种智能客服问答预测及推荐对话生成装置，包括：

数据收集模块：用于收集客服问题和客服问题所对应的目标回答；

向量生成模块：用于基于数据收集模块收集到的客服问题和目标回答生成问题词向量和回答词向量，并基于问题词向量和回答词向量分别构建问题语义向量和回答词汇向量；

主题向量确认模块：用于基于向量生成模块得到的问题语义向量利用分类器确认客服问题所对应的主题类别，基于主题类别获取主题向量；

知识向量筛选模块：用于基于B2B平台的知识库构建每个知识点的知识向量，并基于相似度门限筛选出与向量生成模块得到的问题语义向量相对应的知识向量；

问题答案生成模块：用于融合Multi-head attention和LSTM对Seq2Seq模型的编码器和解码器分别进行改进，利用改进后的Seq2Seq模型结合向量生成模块得到的问题词向量和回答词汇向量、主题向量确认模块得到的主题向量以及知识向量筛选模块筛选出的知识向量生成问题答案。

本申请实施例还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的智能客服问答预测及推荐对话生成方法。

本申请实施例还提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的智能客服问答预测及推荐对话生成方法。具体地，该存储介质可以为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述智能客服问答预测及推荐对话生成方法的实施例。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种智能客服问答预测及推荐对话生成方法，其特征在于，包括如下步骤：

S1，收集客服问题及客服问题所对应的目标回答，基于客服问题和目标回答分别获取问题词向量和回答词向量，并基于问题词向量和回答词向量分别构建问题语义向量和回答词汇向量；

S2，根据步骤S1得到的问题语义向量利用分类器确认客服问题所对应的主题类别，基于主题类别获取主题向量；

S3，基于B2B平台的知识库构建每个知识点的知识向量，基于相似度门限筛选出与步骤S1得到的问题语义向量相对应的知识向量；

S4，通过融合Multi-head attention和LSTM对Seq2Seq模型进行改进，改进后的Seq2Seq模型基于步骤S1得到的问题词向量和回答词汇向量、步骤S3得到的知识向量和步骤S2得到的主题向量生成问题答案。

2.根据权利要求1所述的智能客服问答预测及推荐对话生成方法，其特征在于，所述步骤S3包括如下步骤：

S3.1，基于B2B平台的知识库获取每个知识点的知识向量；

S3.2，计算问题语义向量与知识向量之间的相似度，获取每个问题语义向量与所有知识点之间的相似度矩阵；

S3.3，基于相似度门限和步骤S3.2得到的相似度矩阵从B2B平台知识库中筛选出客服问题所对应的知识向量。

3.根据权利要求2所述的智能客服问答预测及推荐对话生成方法，其特征在于，在步骤S3.1中，所述知识向量的表达式为：

k_m＝k_m，struct+k_mm，content；

式中，k_m，struct表示B2B平台知识库中第m个知识点的结构化表征向量，k_m，content表示B2B平台知识库中第m个知识点的知识语义表征向量，k_m表示B2B平台知识库中第m个知识点的知识向量。

4.根据权利要求2所述的智能客服问答预测及推荐对话生成方法，其特征在于，在步骤S3.2中，所述相似度矩阵的表达式为：

式中，Similarity(e_q，k_m)表示问题语义向量e_q与知识向量k_m之间的相似度，M表示B2B平台的知识库中知识点的数量，表示问题语义向量e_q与B2B平台知识库中知识点的相似度矩阵；

所述问题语义向量e_q与知识向量k_m之间的相似度Similarity(e_q，k_m)的计算公式为：

5.根据权利要求1所述的智能客服问答预测及推荐对话生成方法，其特征在于，所述步骤S4包括如下步骤：

S4.1，通过融合Multi-head attention和LSTM对Seq2Seq模型的编码器和解码器分别进行改进；

S4.2，基于步骤S1得到的问题词向量利用LSTM模型获取问题表征向量；

S4.3，改进后的Seq2Seq模型的编码器基于问题表征向量采用和主题向量输出编码器的隐向量；

S4.4，改进后的Seq2Seq模型的解码器基于步骤S3得到的知识向量输出关注知识向量和融合知识向量，并基于关注知识向量、融合知识向量、编码器的隐向量和回答词汇向量生成问题答案。

6.根据权利要求5所述的智能客服问答预测及推荐对话生成方法，其特征在于，所述问题表征向量采用表示，/>其中，/>表示第i′个上下文语义向量，n表示问题词向量的总数；

所述上下文语义向量的表达式为：

式中，表示第i′-1个上下文语义向量，e_i′表示第i′个问题词向量。

7.根据权利要求5所述的智能客服问答预测及推荐对话生成方法，其特征在于，在步骤S4.4中，所述问题答案采用表示，其表达式为：

式中，Proj(·)为线性映射函数，表示解码器的输出；

所述解码器的输出的表达式为：

式中，h′_r表示问题信息提取向量，y_r表示回答词语，表示t-1时刻的解码器的隐藏状态，C_t-1表示注意力机制在t-1时刻的记忆单元的输出，C_V表示主题向量。

8.根据权利要求7所述的智能客服问答预测及推荐对话生成方法，其特征在于，所述问题信息提取向量h′_r的计算公式为：

所述权重的计算公式为：

式中，其中，w_s为参数矩阵，/>表示解码器的隐向量，h_i表示编码器的隐向量，b_de表示解码器的偏置。

9.一种智能客服问答预测及推荐对话生成装置，其特征在于，包括：

数据收集模块：用于收集客服问题和客服问题所对应的目标回答；

向量生成模块：用于基于数据收集模块收集到的客服问题和目标回答生成问题词向量和回答词向量，并基于问题词向量和回答词向量分别构建问题语义向量和回答词汇向量；

主题向量确认模块：用于基于向量生成模块得到的问题语义向量利用分类器确认客服问题所对应的主题类别，基于主题类别获取主题向量；

知识向量筛选模块：用于基于B2B平台的知识库构建每个知识点的知识向量，并基于相似度门限筛选出与向量生成模块得到的问题语义向量相对应的知识向量；

问题答案生成模块：用于融合Multi-head attention和LSTM对Seq2Seq模型的编码器和解码器分别进行改进，利用改进后的Seq2Seq模型结合向量生成模块得到的问题词向量和回答词汇向量、主题向量确认模块得到的主题向量以及知识向量筛选模块筛选出的知识向量生成问题答案。