CN110688468B - 输出响应消息的方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请实施例提供了一种输出响应消息的方法、装置、电子设备及可读存储介质，旨在更准确地输出用户期望的响应消息。所述方法包括：接收用户针对本轮对话所输入的对话消息和针对上轮对话所选择的负向反馈选项；提取所述对话消息的消息特征和所述负向反馈选项的反馈特征；根据所述消息特征和所述反馈特征，确定候选意图的概率分布；提取所述候选意图的概率分布、所述对话消息、针对上轮对话的响应消息以及所述负向反馈选项的累计状态特征；根据所述累计状态特征，确定多个候选响应消息各自对应的概率；输出多个待选的负向反馈选项，并根据所述多个候选响应消息各自对应的概率，输出响应消息。

Description

输出响应消息的方法、装置、电子设备及可读存储介质

技术领域

本申请实施例涉及信息处理技术领域，尤其涉及一种输出响应消息的方法、装置、电子设备及可读存储介质。

背景技术

智能交互技术是信息处理技术领域的一种新兴技术，被广泛应用于各种线上和线下应用场景。其中，智能交互系统根据用户输入语音或文字等对话消息，向用户输出文字、语音、图片、链接或者动作(如拨打电话、发送短信)等各种形式的响应消息。

目前的智能交互系统在与用户进行交互期间，通常是被动地接收用户的询问、指示等对话消息，然后根据接收的对话消息，生成响应消息并向用户输出。然而采用此种方式，智能交互系统并不能较准确地理解用户意图，经常不能准确地输出用户的期望响应，导致用户体验较低。

发明内容

本申请实施例提供一种输出响应消息的方法、装置、电子设备及可读存储介质，旨在更准确地输出用户期望的响应消息。

本申请实施例第一方面提供了一种输出响应消息的方法，所述方法包括：

接收用户针对本轮对话所输入的对话消息和该用户针对上轮对话所选择的负向反馈选项；

将所述对话消息输入意图识别模型的第一提取模块，以提取所述对话消息的消息特征；

将所述负向反馈选项输入所述意图识别模型的第二提取模块，以提取所述负向反馈选项的反馈特征；

将所述消息特征和所述反馈特征拼接后输入所述意图识别模型的第一分类模块，得到候选意图的概率分布；

将所述候选意图的概率分布、所述对话消息、针对上轮对话的响应消息以及所述负向反馈选项输入所述对话决策模型的第三提取模块，以提取累计状态特征；

将所述累计状态特征输入所述对话决策模型的第二分类模块，得到多个候选响应消息各自对应的概率；

输出多个待选的负向反馈选项，并根据所述多个候选响应消息各自对应的概率，输出响应消息。

可选地，将所述候选意图的概率分布、所述对话消息、针对上轮对话的响应消息以及所述负向反馈选项输入所述对话决策模型的第三提取模块，以提取累计状态特征，包括：

获得历史累计状态特征，所述历史累计状态特征是通过所述第三提取模块所提取的针对上轮对话的累计状态特征；

将所述候选意图的概率分布、所述对话消息、针对上轮对话的响应消息、所述负向反馈选项以及所述历史累计状态特征输入所述对话决策模型的第三提取模块，以提取针对本轮对话的累计状态特征。

可选地，在根据所述多个候选响应消息各自对应的概率，输出响应消息之前，所述方法还包括：

根据预设排除规则和所述对话消息，将所述多个候选响应消息中的部分候选响应消息滤除；

根据所述多个候选响应消息各自对应的概率，输出响应消息，包括：

根据滤除后剩余的候选响应消息各自对应的概率，输出响应消息。

可选地，所述方法还包括：

在将所述累计状态特征输入所述对话决策模型的第二分类模块，得到多个候选响应消息各自对应的概率的同时，得到多个候选负向反馈选项各自对应的概率；

将概率最大的预设数量个候选负向反馈选项，确定为针对本轮对话的多个待选的负向反馈选项。

可选地，所述方法还包括：

获得第一训练样本集，该第一训练样本集中包括多个第一训练样本，所述第一训练样本是根据包括本轮历史对话和上轮历史对话的历史对话组建立的，所述第一训练样本包括：本轮历史对话的样本对话消息、针对上轮历史对话的样本反馈选项、以及针对本轮历史对话预先标记的意图；

基于所述第一训练样本集，对第一预设模型进行训练，得到所述意图识别模型。

可选地，所述方法还包括：

获得第二训练样本集，该第二训练样本集中包括多个第二训练样本，所述第二训练样本是根据包括本轮历史对话和上轮历史对话的历史对话组建立的，所述第二训练样本中包括：本轮历史对话的样本对话消息、本轮历史对话的样本意图、针对上轮历史对话的样本反馈选项、上轮历史对话的样本响应消息、针对本轮历史对话预先设定的响应消息、以及针对本轮历史对话预先设定的负向反馈选项；

基于所述第二训练样本集，对第二预设模型进行训练，得到所述对话决策模型。

可选地，所述方法还包括：

根据多轮对话各自对应的第三训练样本，对所述意图识别模型进行更新；

其中，每轮对话的第三训练样本包括：该轮对话的对话消息、针对上轮对话的负向反馈选项、以及针对该轮对话的意图。

可选地，所述方法还包括：

根据多轮对话各自对应的第四训练样本，对所述对话决策模型进行更新；

其中，每轮对话的第四训练样本包括：该轮对话的对话消息、针对该轮对话的修正后的意图、针对上轮对话的负向反馈选项、针对上轮对话的响应消息、以及针对该轮对话的响应消息。

本申请实施例第二方面提供一种输出响应消息的装置，所述装置包括：

接收模块，用于接收用户针对本轮对话所输入的对话消息和该用户针对上轮对话所选择的负向反馈选项；

消息特征提取模块，用于将所述对话消息输入意图识别模型的第一提取模块，以提取所述对话消息的消息特征；

反馈特征提取模块，用于将所述负向反馈选项输入所述意图识别模型的第二提取模块，以提取所述负向反馈选项的反馈特征；

候选意图概率获得模块，用于将所述消息特征和所述反馈特征拼接后输入所述意图识别模型的第一分类模块，得到候选意图的概率分布；

累计状态特征提取模块，用于将所述候选意图的概率分布、所述对话消息、针对上轮对话的响应消息以及所述负向反馈选项输入所述对话决策模型的第三提取模块，以提取累计状态特征；

候选响应消息概率获得模块，用于将所述累计状态特征输入所述对话决策模型的第二分类模块，得到多个候选响应消息各自对应的概率；

输出模块，用于输出多个待选的负向反馈选项，并根据所述多个候选响应消息各自对应的概率，输出响应消息。

可选地，所述累计状态特征提取模块包括：

历史累计状态特征获得子模块，用于获得历史累计状态特征，所述历史累计状态特征是通过所述第三提取模块所提取的针对上轮对话的累计状态特征；

累计状态特征提取子模块，用于将所述候选意图的概率分布、所述对话消息、针对上轮对话的响应消息、所述负向反馈选项以及所述历史累计状态特征输入所述对话决策模型的第三提取模块，以提取针对本轮对话的累计状态特征。

可选地，所述装置还包括：

候选响应消息滤除模块，用于在根据所述多个候选响应消息各自对应的概率，输出响应消息之前，根据预设排除规则和所述对话消息，将所述多个候选响应消息中的部分候选响应消息滤除；

所述输出模块包括：

输出子模块，用于根据滤除后剩余的候选响应消息各自对应的概率，输出响应消息。

可选地，所述装置还包括：

候选负向反馈选项概率获得模块，用于在将所述累计状态特征输入所述对话决策模型的第二分类模块，得到多个候选响应消息各自对应的概率的同时，得到多个候选负向反馈选项各自对应的概率；

负向反馈选项确定模块，用于将概率最大的预设数量个候选负向反馈选项，确定为针对本轮对话的多个待选的负向反馈选项。

可选地，所述装置还包括：

第一训练样本集获得模块，用于获得第一训练样本集，该第一训练样本集中包括多个第一训练样本，所述第一训练样本是根据包括本轮历史对话和上轮历史对话的历史对话组建立的，所述第一训练样本包括：本轮历史对话的样本对话消息、针对上轮历史对话的样本反馈选项、以及针对本轮历史对话预先标记的意图；

第一预设模型训练模块，用于基于所述第一训练样本集，对第一预设模型进行训练，得到所述意图识别模型。

可选地，所述装置还包括：

第二训练样本集获得模块，用于获得第二训练样本集，该第二训练样本集中包括多个第二训练样本，所述第二训练样本是根据包括本轮历史对话和上轮历史对话的历史对话组建立的，所述第二训练样本中包括：本轮历史对话的样本对话消息、本轮历史对话的样本意图、针对上轮历史对话的样本反馈选项、上轮历史对话的样本响应消息、针对本轮历史对话预先设定的响应消息、以及针对本轮历史对话预先设定的负向反馈选项；

第二预设模型训练模块，用于基于所述第二训练样本集，对第二预设模型进行训练，得到所述对话决策模型。

可选地，所述装置还包括：

意图识别模型更新模块，用于根据多轮对话各自对应的第三训练样本，对所述意图识别模型进行更新；其中，每轮对话的第三训练样本包括：该轮对话的对话消息、针对上轮对话的负向反馈选项、以及针对该轮对话的意图。

可选地，所述装置还包括：

对话决策模型更新模块，用于根据多轮对话各自对应的第四训练样本，对所述对话决策模型进行更新；其中，每轮对话的第四训练样本包括：该轮对话的对话消息、针对该轮对话的修正后的意图、针对上轮对话的负向反馈选项、针对上轮对话的响应消息、以及针对该轮对话的响应消息。

本申请实施例第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请第一方面所述的方法中的步骤。

本申请实施例第四方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请第一方面所述的方法的步骤。

采用本申请实施例提供的输出响应消息的方法，智能交互系统在针对上轮对话输出响应消息时，还会主动地向用户输出多个待选的负反馈选项，供用户选择。然后在本轮对话时，智能交互系统不仅会采集到用户本轮的对话消息，还会采集用户针对上轮对话所选择的负向反馈选项。智能交互系统根据对话消息和负向反馈选项各自的特征，确定多个候选意图的概率分布。最后智能交互系统再根据多个候选意图的概率分布、对话消息、针对上轮对话的响应消息以及负向反馈选项的累计状态特征，确定多个候选响应消息各自对应的概率，并输出针对本轮对话的响应消息和多个待选的负向反馈选项。

一方面，由于智能交互系统会针对上轮对话，主动地向用户输出多个待选的负反馈选项，因此当其接收到用户针所选择的负向反馈选项时，能有效将负向反馈信息与用户本轮对话消息区分开。另一方面，由于负向反馈表征了用户对上轮响应消息的满意程度，因此在进行用户意图预测时，通过考虑用户的负向反馈，可以提高对用户意图的预测准确性。再一方面，通过确定多个候选意图的概率分布、对话消息、针对上轮对话的响应消息以及负向反馈选项等多个因素的累计状态特征，再根据该累计状态特征确定多个候选响应消息各自对应的概率，可以进一步提高各候选响应消息对应概率的预测准确性，从而更准确地输出用户期望的响应消息。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提出的第一预设模型的结构示意图；

图2是本申请一实施例提出的第二预设模型的结构示意图；

图3是本申请一实施例提出的输出响应消息的方法的流程图；

图4是本申请一实施例提出的智能交互系统的图形用户界面示意图；

图5是本申请一实施例提出的对话决策模型的结构示意图；

图6是本申请一实施例提供的输出响应消息的装置的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

智能交互技术是信息处理技术领域的一种新兴技术，被广泛应用于各种线上和线下应用场景。本申请发明人发现，目前的交互系统在与用户进行交互期间，通常是被动地接收用户的询问、指示等对话消息，生成响应消息并向用户输出。而这种方式并不能较准确地理解用户意图，经常不能准确地输出用户的期望响应。有时候用户会向交互系统输入带有负向情绪的反馈，例如“回答错误”、“这不是我期望的结果”等等，但是目前的交互系统并不能有效将这些反馈和用户新一轮输入的询问、指示等对话消息区分开，导致交互系统迟迟不能更正对用户意图的理解，不能及时输出用户期望的响应，使用户体验降低。

有鉴于此，为了能够更准确地输出用户期望的响应消息，本申请发明人提出：智能交互系统在针对上轮对话输出响应消息时，主动地向用户输出多个待选的负反馈选项，供用户选择。然后在本轮对话时，采集用户针对本轮对话的对话消息和用户针对上轮对话所选择的负向反馈选项。再根据对话消息和负向反馈选项各自的特征，确定多个候选意图的概率分布。最后根据多个候选意图的概率分布、对话消息、针对上轮对话的响应消息以及负向反馈选项等各因素的累计状态特征，确定多个候选响应消息各自对应的概率，并输出针对本轮对话的响应消息和多个待选的负向反馈选项。

为了能更智能地实施本申请发明人提出的上述方法，本申请发明人预先构建了第一预设模型和第二预设模型，其中，第一预设模型和第二预设模型均是深度学习模型。然后采集第一训练样本集，对第一预设模型进行训练，得到意图识别模型；采集第二训练样本集，对第二预设模型进行训练，得到对话决策模型。其中，意图识别模型和对话决策模型可用于执行上述方法中的部分或全部步骤。

参考图1，图1是本申请一实施例提出的第一预设模型的结构示意图。如图1所示，第一预设模型包括：第一提取模块、第二提取模块、max-pooling层(最大池化层)以及第一分类模块。

其中，第一提取模块用于提取第一训练样本集中样本对话消息的消息特征。第二提取模块用于提取第一训练样本集中样本反馈选项的反馈特征。max-pooling层用于在消息特征和反馈特征被拼接后，对拼接后的特征进行最大池化操作，通过设置max-pooling层，可以在保留主要特征的同时减少参数和计算量，达到降维效果，防止过拟合，使最终获得的意图识别模型更具泛化能力。第一分类模块用于针对最大池化操作后的特征进行分类操作，以确定多个候选意图的概率分布。

示例地，如图1所示，第一提取模块可选用双向长短记忆网络BiLSTM。第二提取模块可选用词向量化模块，用于将负向反馈的内容向量化，得到负向反馈的词向量，即反馈特征。

为了获得意图识别模型，针对第一预设模型可采用以下训练方式：

获得第一训练样本集，该第一训练样本集中包括多个第一训练样本，所述第一训练样本是根据包括本轮历史对话和上轮历史对话的历史对话组建立的，所述第一训练样本包括：本轮历史对话的样本对话消息、针对上轮历史对话的样本反馈选项、以及针对本轮历史对话预先标记的意图；基于所述第一训练样本集，对第一预设模型进行训练，得到所述意图识别模型。

其中，第一训练样本集中的多个第一训练样本可以被分为多个分组，针对多个分组中的每个分组，该分组中的一个或多个第一训练样本均来自于同一段历史对话，该段历史对话包括一轮或多轮对话，每轮对话对应一个第一训练样本。

本实施例中，样本对话消息是样本用户输入的消息，例如样本用户输入的询问、指示等消息。样本反馈选项是样本用户针对上轮历史对话而选择的，例如“系统理解错误”、“回复不够准确”等选项。预先标记的意图可以是多个候选意图的概率分布，该意图可以形如概率向量，如(0.05,0.68,0.12,0.15)，其中各个概率值分别对应选购外卖、订购电影票、酒店预定、景点门票预定等候选意图。其中，预先标记的意图可用于在模型训练期间计算损失值，该损失值用于更新第一预设模型。

利用采集的第一训练样本集对第一预设模型进行多轮训练后，第一预设模型的参数被更新并趋于收敛，得到意图识别模型。意图识别模型的结构与图1所示第一预设模型的结构相同。

参考图2，图2是本申请一实施例提出的第二预设模型的结构示意图。如图1所示，第二预设模型包括：第三提取模块和第二分类模块。

其中，第三提取模块用于针对第二训练样本集中本轮历史对话的样本对话消息、本轮历史对话的样本意图、针对上轮历史对话的样本反馈选项、以及上轮历史对话的样本响应消息，提取累计状态特征。第二分类模块用于针对本轮历史对话的累计状态特征进行分类操作，以确定多个候选响应消息各自对应的概率。

示例地，如图2所示，第三提取模块可选用GRU(Gated Recurrent Unit)网络。第二分类模块可选用dense+softmax网络。

为了获得对话决策模型，针对第二预设模型可采用以下训练方式：

获得第二训练样本集，该第二训练样本集中包括多个第二训练样本，所述第二训练样本是根据包括本轮历史对话和上轮历史对话的历史对话组建立的，所述第二训练样本中包括：本轮历史对话的样本对话消息、本轮历史对话的样本意图、针对上轮历史对话的样本反馈选项、上轮历史对话的样本响应消息、针对本轮历史对话预先设定的响应消息、以及针对本轮历史对话预先设定的负向反馈选项；基于所述第二训练样本集，对第二预设模型进行训练，得到所述对话决策模型。

其中，第二训练样本集中的多个第二训练样本可以被分为多个分组，针对多个分组中的每个分组，该分组中的一个或多个第二训练样本均来自于同一段历史对话，该段历史对话包括一轮或多轮对话，每轮对话对应一个第二训练样本。

本实施例中，样本对话消息是样本用户输入的消息，例如样本用户输入的询问、指示等消息。样本意图可以是多个候选意图的概率分布，该样本意图可以形如概率向量，如(0.05,0.68,0.12,0.15)，其中各个概率值分别对应选购外卖、订购电影票、酒店预定、景点门票预定等候选意图。样本反馈选项是样本用户针对上轮历史对话而选择的，例如“系统理解错误”、“回复不够准确”等选项。样本响应消息是智能交互系统向用户输出的响应，例如输出的文字、语音、图片、链接或者动作(如拨打电话、发送短信)等响应。其中，预先设定的响应消息和预先设定的负向反馈选项可用于在模型训练期间计算损失值，该损失值用于更新第二预设模型。

利用采集的第二训练样本集对第二预设模型进行多轮训练后，第二预设模型的参数被更新并趋于收敛，得到对话决策模型。对话决策模型的结构与图2所示第二预设模型的结构相同。

本申请在实施期间，可以对第一预设模型和第二预设模型分别进行单独的训练，也可以对第一预设模型和第二预设模型进行联合训练。联合训练时，可以将第一训练样本中包括：本轮历史对话的样本对话消息、针对上轮历史对话的样本反馈选项、以及针对本轮历史对话预先标记的意图，分别作为第二训练样本中包括的：本轮历史对话的样本对话消息、针对上轮历史对话的样本反馈选项、以及本轮历史对话的样本意图。

参考图3，图3是本申请一实施例提出的输出响应消息的方法的流程图。如图3所示，该方法包括以下步骤：

步骤S31：接收用户针对本轮对话所输入的对话消息和该用户针对上轮对话所选择的负向反馈选项。

其中，用户输入的对话消息可以是文字信息或语音信息。用户针对上轮对话输入的负向反馈选项也可以是文字信息或语音信息，还可以是用户针对多个图形按键的点选，其中每个图形按键代表一个待选的负向反馈选项。

示例地，如果用户针对上轮对话输入的负向反馈选项是文字信息，用户针对本轮对话的对话消息也是文字信息，智能交互系统为了区分负向反馈选项和对话消息，可以将每一句文字信息与针对上轮对话输出的多个待选的负向反馈选项分别进行匹配，如果某一句文字信息与一个待选的负向反馈选项的匹配度大于预设阈值，则可将该句文字信息确定为该负向反馈选项，并且可以将其余的文字信息确定为对话消息。

示例地，如果用户针对上轮对话输入的负向反馈选项是语音信息，用户针对本轮对话的对话消息也是语音信息，智能交互系统为了区分负向反馈选项和对话消息，首先将每一句语音信息识别为文字信息，然后通过上一示例中所提出的方式，对负向反馈选项和对话消息进行区分。

示例地，参考图4，图4是本申请一实施例提出的智能交互系统的图形用户界面示意图。如图4所示，智能交互系统针对每轮对话输出响应消息时，还可以同时输出多个待选的负向反馈选项，每个待选的负向反馈选项以图形按键的形式展示，供用户点击选择。智能交互系统将用户点选的图形按键确定为用户针对上轮对话所选择的负向反馈选项。

如图4所示，其中“理解错误”选项表示：智能交互系统没有正确理解用户的意图。“推荐不够准确”选项表示：智能交互系统可能正确地理解了用户的意图，但是推荐的内容不准确。“更换推荐”选项表示：智能交互系统已经正确地理解了用户的意图，但是推荐的内容未能使用户满意。针对图4所示的对话轮次，图4所示用户可能会点选“理解错误”这一选项，表示智能交互系统没有能正确理解到用户想点饮品的意图。

步骤S12：将所述对话消息输入意图识别模型的第一提取模块，以提取所述对话消息的消息特征。

如图1所示，将针对本轮对话的对话消息输入双向长短记忆网络BiLSTM(第一提取模块)，将BiLSTM的输出作为该对话消息的消息特征。

步骤S13：将所述负向反馈选项输入所述意图识别模型的第二提取模块，以提取所述负向反馈选项的反馈特征。

如图1所示，将针对上轮对话所选择的负向反馈选项输入词向量化模块(第二提取模块)，进而输出负向反馈选项的词向量，将该词向量作为反馈特征。

步骤S14：将所述消息特征和所述反馈特征拼接后输入所述意图识别模型的第一分类模块，得到候选意图的概率分布。

如图1所示，可以首先将拼接后的特征输入max-pooling层，对该特征进行最大池化操作，以减少该特征的参数和后续计算量。然后将经过最大池化操作后的特征输入第一分类模块，该第一分类模块输出概率向量。概率向量即可视为候选意图的概率分布，概率向量中包括多个候选意图各自对应的概率。每个候选意图的概率表征该候选意图符合用户真实意图的可能性，换言之，一个候选意图对应的概率越大，该候选意图越可能是用户真实的意图。

步骤S15：将所述候选意图的概率分布、所述对话消息、针对上轮对话的响应消息以及所述负向反馈选项输入所述对话决策模型的第三提取模块，以提取累计状态特征。

本实施例中，可以选用具有记忆功能的网络作为第三提取模块，例如循环神经网络(RNN)、长短期记忆网络(LSTM)、GRU(Gated Recurrent Unit)网络等等。如图2所示，本申请具体将GRU网络作为第三提取模块。

将候选意图的概率分布、对话消息、针对上轮对话的响应消息以及负向反馈选项输入这类具有记忆功能的网络后，将这类网络的输出作为针对本轮对话的累计状态特征。

如图2所示，为了提取针对本轮对话的累计状态特征h_t-1，可以首先获得历史累计状态特征，所述历史累计状态特征是通过所述第三提取模块所提取的针对上轮对话的累计状态特征。然后将所述候选意图的概率分布、所述对话消息、针对上轮对话的响应消息、所述负向反馈选项以及所述历史累计状态特征输入所述对话决策模型的第三提取模块，以提取针对本轮对话的累计状态特征。

其中，除了候选意图的概率分布本身以概率向量的形式存在以外，还可以预先将对话消息、针对上轮对话的响应消息、以及负向反馈选项进行向量化，分别得到三者的向量形式。然后再将四者的向量以及历史累计状态特征输入对话决策模型的第三提取模块，以提取针对本轮对话的累计状态特征。

本实施例中，采用具有记忆功能的网络作为第三提取模块，使得该第三提取模块具有记忆功能和更好的推理能力，能针对候选意图的概率分布、对话消息、针对上轮对话的响应消息、以及负向反馈选项提取出累计状态特征，该累计状态特征与用户的对话状态更贴合。

步骤S16：将所述累计状态特征输入所述对话决策模型的第二分类模块，得到多个候选响应消息各自对应的概率。

本实施例中，将累计状态特征输入第二分类模块，该第二分类模块输出概率向量。概率向量中包括多个候选响应消息各自对应的概率。每个候选响应消息的概率表征该候选响应消息被输出的可能性，换言之，一个候选响应消息对应的概率越大，该候选响应消息越可能被智能交互系统输出给用户。

此外，如果利用上述训练得到的对话决策模型执行该步骤，则在将所述累计状态特征输入所述对话决策模型的第二分类模块，得到多个候选响应消息各自对应的概率的同时，还可以得到多个候选负向反馈选项各自对应的概率。此时，可以将概率最大的预设数量个候选负向反馈选项，确定为针对本轮对话的多个待选的负向反馈选项。

其中，第二分类模块针对候选负向反馈选项输出的概率可以是概率向量。每个候选负向反馈选项的概率表征该候选负向反馈选项被输出的可能性，换言之，一个候选负向反馈选项对应的概率越大，该候选负向反馈选项越可能被智能交互系统输出给用户。

步骤S17：输出多个待选的负向反馈选项，并根据所述多个候选响应消息各自对应的概率，输出响应消息。

本实施例中，可以根据多个候选响应消息各自对应的概率，从多个候选响应消息中选择概率最大的候选响应消息输出。

或者，可以针对多个候选响应消息中的每个候选响应消息，以该候选响应消息对应的概率，输出该候选响应消息。示例地，假设多个候选响应消息中，向用户推荐附近餐馆的响应消息A对应的概率是0.76，向用户推荐附近奶茶店的响应消息B对应的概率是0.12，在此情况下，智能交互系统以0.76的概率向用户输出响应消息A，以0.12的概率向用户输出响应消息B。

本实施例中，智能交互系统输出的多个待选的负向反馈选项可以是通过上述示例所述的方式确定的，即对话决策模型的第二分类模块输出多个候选负向反馈选项各自对应的概率，然后将概率最大的预设数量个候选负向反馈选项，确定为针对本轮对话的多个待选的负向反馈选项。

或者，智能交互系统每轮对话输出的多个待选的负向反馈选项也可以是固定的几个选项，这些选项不随着对话轮次的改变而改变。

通过执行上述包括步骤S11至步骤S17的输出响应消息的方法，一方面，由于智能交互系统会针对上轮对话，主动地向用户输出多个待选的负反馈选项，因此当其接收到用户针所选择的负向反馈选项时，能有效将负向反馈信息与用户本轮对话消息区分开。

另一方面，由于负向反馈表征了用户对上轮响应消息的满意程度，因此在进行用户意图预测时，通过考虑用户的负向反馈，可以提高对用户意图的预测准确性。

再一方面，通过确定多个候选意图的概率分布、对话消息、针对上轮对话的响应消息以及负向反馈选项等多个因素的累计状态特征，再根据该累计状态特征确定多个候选响应消息各自对应的概率，可以进一步提高各候选响应消息对应概率的预测准确性，从而更准确地输出用户期望的响应消息。

此外，考虑到多个候选响应消息中存在与本轮对话不相关的候选响应消息，虽然本申请在实施期间，通过第二分类模块输出各候选响应消息的概率时，这些与本轮对话不相关的候选响应消息对应的概率通常较小，但是为了进一步防止这些候选响应消息被误选并输出，导致用户体验降低，本申请在步骤S17：根据所述多个候选响应消息各自对应的概率，输出响应消息之前，还可以执行以下步骤：

步骤S16-5：根据预设排除规则和所述对话消息，将所述多个候选响应消息中的部分候选响应消息滤除。

然后在执行步骤S17时，具体是根据滤除后剩余的候选响应消息各自对应的概率，输出响应消息。

参考图5，图5是本申请一实施例提出的对话决策模型的结构示意图。如图5所示，该对话决策模型中包括强规模块，该强规模块中预设有多条排除规则，用于执行上述步骤S16-5所述的动作。应当理解的，该强规模块可以是软件模块，也可以是硬件模块。如果是硬件模块，该硬件模块中存储有用于执行步骤S16-5所述动作的软件。

示例地，假设一条排除规则是：在用户针对本轮对话所输入的对话消息中不存在电影名实体时，不能向用户输出查询电影票的响应动作。例如，用户针对本轮对话所输入的对话消息是“请帮我看一下附近有没有什么好吃的？”在此情况下，强规模块基于上述排除规则，将该对话消息与近期上映电影的名称进行匹配，确定该对话消息中不存在电影名实体，于是将“向用户输出查询电影票”的响应动作从多个候选响应消息中滤除。

通过执行上述步骤S16-5，可以将与本轮对话消息无关的候选响应消息滤除，防止这些无关的候选响应消息被误选并输出，因此可以更准确地输出用户期望的响应消息，进一步提高用户体验。

此外，考虑到意图识别模型和对话决策模型在被推广应用后，可以根据与用户的交互记录，产生一些训练样本，从而对意图识别模型和对话决策模型进行训练更新，从而顺应用户交流习惯的变化。

作为一种可实施方式，可以针对用户的多轮对话中的每轮对话，生成该轮对话对应的第三训练样本，然后根据多轮对话各自对应的第三训练样本，对所述意图识别模型进行更新。其中，每轮对话的第三训练样本包括：该轮对话的对话消息、针对上轮对话的负向反馈选项、以及针对该轮对话的意图。

示例地，假设在某一轮对话结束后，用户针对该轮对话输入了一个负向反馈选项，则说明该轮对话输出的响应消息不是用户期望的响应消息，在该轮对话中意图识别模型预测的意图并非用户真实意图。于是可以将针对该轮对话生产的第三训练样本作为负样本，用于意图识别模型进行训练更新。

作为一种可实施方式，可以针对用户的多轮对话中的每轮对话，生成该轮对话对应的第四训练样本，然后根据多轮对话各自对应的第四训练样本，对所述对话决策模型进行更新。其中，每轮对话的第四训练样本包括：该轮对话的对话消息、针对该轮对话的修正后的意图、针对上轮对话的负向反馈选项、针对上轮对话的响应消息、以及针对该轮对话的响应消息。

示例地，假设在第N轮对话结束后，用户针对该轮对话输入了一个负向反馈选项，则说明第N轮对话输出的响应消息不是用户期望的响应消息，在第N轮对话中意图识别模型预测的意图并非用户真实意图。假设用户在第N+1轮对话中输入了与第N轮对话类似的对话消息，并且在第N+1轮对话接收后，用户没有再输入负向反馈选项，则说明第N+1轮对话输出的响应消息是用户期望的响应消息，在第N+1轮对话中意图识别模型预测的意图是用户的真实意图。因此可以将：第N轮对话的对话消息、针对第N+1轮对话中意图识别模型输出的意图、针对第N-1轮对话的负向反馈选项、以及针对第N-1轮对话的响应消息确定为针对第N轮对话的第四训练样本。其中，第N+1轮对话中意图识别模型预测的意图是：针对第N轮对话的修正后的意图。

基于同一发明构思，本申请一实施例提供一种输出响应消息的装置。参考图6，图6是本申请一实施例提供的输出响应消息的装置的示意图。如图6所示，该装置包括：

接收模块61，用于接收用户针对本轮对话所输入的对话消息和该用户针对上轮对话所选择的负向反馈选项；

消息特征提取模块62，用于将所述对话消息输入意图识别模型的第一提取模块，以提取所述对话消息的消息特征；

反馈特征提取模块63，用于将所述负向反馈选项输入所述意图识别模型的第二提取模块，以提取所述负向反馈选项的反馈特征；

候选意图概率获得模块64，用于将所述消息特征和所述反馈特征拼接后输入所述意图识别模型的第一分类模块，得到候选意图的概率分布；

累计状态特征提取模块65，用于将所述候选意图的概率分布、所述对话消息、针对上轮对话的响应消息以及所述负向反馈选项输入所述对话决策模型的第三提取模块，以提取累计状态特征；

候选响应消息概率获得模块66，用于将所述累计状态特征输入所述对话决策模型的第二分类模块，得到多个候选响应消息各自对应的概率；

输出模块67，用于输出多个待选的负向反馈选项，并根据所述多个候选响应消息各自对应的概率，输出响应消息。

可选地，所述累计状态特征提取模块包括：

历史累计状态特征获得子模块，用于获得历史累计状态特征，所述历史累计状态特征是通过所述第三提取模块所提取的针对上轮对话的累计状态特征；

累计状态特征提取子模块，用于将所述候选意图的概率分布、所述对话消息、针对上轮对话的响应消息、所述负向反馈选项以及所述历史累计状态特征输入所述对话决策模型的第三提取模块，以提取针对本轮对话的累计状态特征。

可选地，所述装置还包括：

候选响应消息滤除模块，用于在根据所述多个候选响应消息各自对应的概率，输出响应消息之前，根据预设排除规则和所述对话消息，将所述多个候选响应消息中的部分候选响应消息滤除；

所述输出模块包括：

输出子模块，用于根据滤除后剩余的候选响应消息各自对应的概率，输出响应消息。

可选地，所述装置还包括：

候选负向反馈选项概率获得模块，用于在将所述累计状态特征输入所述对话决策模型的第二分类模块，得到多个候选响应消息各自对应的概率的同时，得到多个候选负向反馈选项各自对应的概率；

负向反馈选项确定模块，用于将概率最大的预设数量个候选负向反馈选项，确定为针对本轮对话的多个待选的负向反馈选项。

可选地，所述装置还包括：

第一训练样本集获得模块，用于获得第一训练样本集，该第一训练样本集中包括多个第一训练样本，所述第一训练样本是根据包括本轮历史对话和上轮历史对话的历史对话组建立的，所述第一训练样本包括：本轮历史对话的样本对话消息、针对上轮历史对话的样本反馈选项、以及针对本轮历史对话预先标记的意图；

第一预设模型训练模块，用于基于所述第一训练样本集，对第一预设模型进行训练，得到所述意图识别模型。

可选地，所述装置还包括：

第二训练样本集获得模块，用于获得第二训练样本集，该第二训练样本集中包括多个第二训练样本，所述第二训练样本是根据包括本轮历史对话和上轮历史对话的历史对话组建立的，所述第二训练样本中包括：本轮历史对话的样本对话消息、本轮历史对话的样本意图、针对上轮历史对话的样本反馈选项、上轮历史对话的样本响应消息、针对本轮历史对话预先设定的响应消息、以及针对本轮历史对话预先设定的负向反馈选项；

第二预设模型训练模块，用于基于所述第二训练样本集，对第二预设模型进行训练，得到所述对话决策模型。

可选地，所述装置还包括：

意图识别模型更新模块，用于根据多轮对话各自对应的第三训练样本，对所述意图识别模型进行更新；其中，每轮对话的第三训练样本包括：该轮对话的对话消息、针对上轮对话的负向反馈选项、以及针对该轮对话的意图。

可选地，所述装置还包括：

对话决策模型更新模块，用于根据多轮对话各自对应的第四训练样本，对所述对话决策模型进行更新；其中，每轮对话的第四训练样本包括：该轮对话的对话消息、针对该轮对话的修正后的意图、针对上轮对话的负向反馈选项、针对上轮对话的响应消息、以及针对该轮对话的响应消息。

基于同一发明构思，本申请另一实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请上述任一实施例所述的方法中的步骤。

基于同一发明构思，本申请另一实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请上述任一实施例所述的方法中的步骤。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种输出响应消息的方法、装置、电子设备及可读存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种输出响应消息的方法，其特征在于，所述方法包括：

接收用户针对本轮对话所输入的对话消息和该用户针对上轮对话所选择的负向反馈选项；

将所述对话消息输入意图识别模型的第一提取模块，以提取所述对话消息的消息特征；

将所述负向反馈选项输入所述意图识别模型的第二提取模块，以提取所述负向反馈选项的反馈特征；

将所述消息特征和所述反馈特征拼接后输入所述意图识别模型的第一分类模块，得到候选意图的概率分布；

将所述候选意图的概率分布、所述对话消息、针对上轮对话的响应消息以及所述负向反馈选项输入对话决策模型的第三提取模块，以提取累计状态特征；

将所述累计状态特征输入所述对话决策模型的第二分类模块，得到多个候选响应消息各自对应的概率；

输出多个待选的负向反馈选项，并根据所述多个候选响应消息各自对应的概率，输出响应消息。

2.根据权利要求1所述的方法，其特征在于，将所述候选意图的概率分布、所述对话消息、针对上轮对话的响应消息以及所述负向反馈选项输入对话决策模型的第三提取模块，以提取累计状态特征，包括：

获得历史累计状态特征，所述历史累计状态特征是通过所述第三提取模块所提取的针对上轮对话的累计状态特征；

将所述候选意图的概率分布、所述对话消息、针对上轮对话的响应消息、所述负向反馈选项以及所述历史累计状态特征输入所述对话决策模型的第三提取模块，以提取针对本轮对话的累计状态特征。

3.根据权利要求1所述的方法，其特征在于，在根据所述多个候选响应消息各自对应的概率，输出响应消息之前，所述方法还包括：

根据预设排除规则和所述对话消息，将所述多个候选响应消息中的部分候选响应消息滤除；

根据所述多个候选响应消息各自对应的概率，输出响应消息，包括：

根据滤除后剩余的候选响应消息各自对应的概率，输出响应消息。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在将所述累计状态特征输入所述对话决策模型的第二分类模块，得到多个候选响应消息各自对应的概率的同时，得到多个候选负向反馈选项各自对应的概率；

将概率最大的预设数量个候选负向反馈选项，确定为针对本轮对话的多个待选的负向反馈选项。

5.根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括：

获得第一训练样本集，该第一训练样本集中包括多个第一训练样本，所述第一训练样本是根据包括本轮历史对话和上轮历史对话的历史对话组建立的，所述第一训练样本包括：本轮历史对话的样本对话消息、针对上轮历史对话的样本反馈选项、以及针对本轮历史对话预先标记的意图；

基于所述第一训练样本集，对第一预设模型进行训练，得到所述意图识别模型。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

获得第二训练样本集，该第二训练样本集中包括多个第二训练样本，所述第二训练样本是根据包括本轮历史对话和上轮历史对话的历史对话组建立的，所述第二训练样本中包括：本轮历史对话的样本对话消息、本轮历史对话的样本意图、针对上轮历史对话的样本反馈选项、上轮历史对话的样本响应消息、针对本轮历史对话预先设定的响应消息、以及针对本轮历史对话预先设定的负向反馈选项；

基于所述第二训练样本集，对第二预设模型进行训练，得到所述对话决策模型。

7.根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括：

根据多轮对话各自对应的第三训练样本，对所述意图识别模型进行更新；

其中，每轮对话的第三训练样本包括：该轮对话的对话消息、针对上轮对话的负向反馈选项、以及针对该轮对话的意图。

8.根据权利要求1至3任一所述的方法，其特征在于，所述方法还包括：

根据多轮对话各自对应的第四训练样本，对所述对话决策模型进行更新；

其中，每轮对话的第四训练样本包括：该轮对话的对话消息、针对该轮对话的修正后的意图、针对上轮对话的负向反馈选项、针对上轮对话的响应消息、以及针对该轮对话的响应消息。

9.一种输出响应消息的装置，其特征在于，所述装置包括：

接收模块，用于接收用户针对本轮对话所输入的对话消息和该用户针对上轮对话所选择的负向反馈选项；

消息特征提取模块，用于将所述对话消息输入意图识别模型的第一提取模块，以提取所述对话消息的消息特征；

反馈特征提取模块，用于将所述负向反馈选项输入所述意图识别模型的第二提取模块，以提取所述负向反馈选项的反馈特征；

候选意图概率获得模块，用于将所述消息特征和所述反馈特征拼接后输入所述意图识别模型的第一分类模块，得到候选意图的概率分布；

累计状态特征提取模块，用于将所述候选意图的概率分布、所述对话消息、针对上轮对话的响应消息以及所述负向反馈选项输入对话决策模型的第三提取模块，以提取累计状态特征；

候选响应消息概率获得模块，用于将所述累计状态特征输入所述对话决策模型的第二分类模块，得到多个候选响应消息各自对应的概率；

输出模块，用于输出多个待选的负向反馈选项，并根据所述多个候选响应消息各自对应的概率，输出响应消息。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8任一所述的方法中的步骤。

11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行时实现如权利要求1至8任一所述的方法的步骤。

Images