CN114138943A - 对话消息生成方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种对话消息生成方法、装置、电子设备及存储介质，涉及自然语言处理技术领域，通过接收第一对话消息，并通过基于迁移学习的自然语言理解模型，对所述第一对话消息进行处理，生成对话意图信息和槽位信息，其中，对话意图信息用于表征输入所述第一对话消息的内容对应的业务意图；所述槽位信息用于表征所述业务意图对应的业务参数；根据所述对话意图信息和所述槽位信息，生成对话状态信息，所述对话状态信息用于表征所述第一对话消息对应的业务意图的当前完成状态；根据所述对话状态信息，生成第二对话消息，并发送所述第二对话消息，其中，所述第二对话消息用于回应所述第一对话消息所表征的业务意图。提高系统输出的对话消息准确性。

Description

对话消息生成方法、装置、电子设备及存储介质

技术领域

本申请涉及自然语言处理技术领域，尤其涉及一种对话消息生成方法、装置、电子设备及存储介质。

背景技术

在金融交易场景中，在金融客户进行对手交易时，需要通过交易平台的交易员进行报价、查询以及交易操作，以使金融客户在交易前获得所需的交易信息，并最终完成交易。

通过人工交易员完成上述工作，存在效率低、准确性差等问题，造成金融客户交易过程的耗时增加，无法保证交易的实时性。因此，现有技术中通常是通过设计智能客服，来根据金融客户的提问，自动回复相关消息以及执行相关交易操作，能够有效地提高一些简单交易的效率。

然而，在一些复杂的对手交易过程中，由于金融交易场景中交易过程的复杂性，现有技术中通过简单各规则和字典实现的智能客服，无法准确的识别用户的意图，因此造成了智能客服输出的对话消息准确性差、无法匹配用户的咨询和操作需求的问题。

发明内容

本申请提供一种对话消息生成方法、装置、电子设备及存储介质，用以解决智能客服输出的对话消息准确性差、无法匹配用户的咨询和操作需求的问题。

第一方面，本申请提供了一种对话消息生成方法，包括：

接收第一对话消息，并通过基于迁移学习的自然语言理解模型，对所述第一对话消息进行处理，生成对话意图信息和槽位信息，其中，对话意图信息用于表征输入所述第一对话消息的内容对应的业务意图；所述槽位信息用于表征所述业务意图对应的业务参数；根据所述对话意图信息和所述槽位信息，生成对话状态信息，所述对话状态信息用于表征所述第一对话消息对应的业务意图的当前完成状态；根据所述对话状态信息，生成第二对话消息，并发送所述第二对话消息，其中，所述第二对话消息用于回应所述第一对话消息所表征的业务意图。

在一种可能的实现方式中，根据所述对话意图信息和所述槽位信息，生成对话状态信息，包括：获取历史对话信息，所述历史对话信息表征所述第一对话消息所对应的对话任务中，在所述第一对话消息之前的对话轮次中产生的对话消息；根据所述历史对话信息和所述对话意图信息、所述槽位信息，生成对话状态信息。

在一种可能的实现方式中，所述获取历史对话信息，包括：获取所述对话任务对应的任务标识；基于所述任务标识，从预设的第一存储位置，获取所述历史对话信息。

在一种可能的实现方式中，根据所述历史对话信息和所述对话意图信息、所述槽位信息，生成对话状态信息，包括：根据所述历史对话信息，确定对话上下文信息，所述对话上下文信息表征所述第一对话消息的内容与所述历史对话信息的内容上的联系；基于所述上下文信息和对话意图信息、所述槽位信息，生成对话状态信息。

在一种可能的实现方式中，在生成所述对话状态信息后，所述方法还包括：将所述对话状态信息存储在预设的第二存储位置，所述第二存储位置包括Redis数据库。

在一种可能的实现方式中，根据所述对话状态信息，生成第二对话消息，包括：根据所述对话状态信息和对话策略模型，生成对话决策信息；基于自然语言生成模型，生成所述对话决策信息对应的第二对话消息。

在一种可能的实现方式中，所述第二对话消息包括引导消息，所述引导消息用于表征所述业务意图在所述当前完成状态之后的流程；所述基于自然语言生成模型，生成所述对话决策信息对应的第二对话消息，包括：基于所述对话意图信息，生成意图判断信息，所述意图判断信息用于表征所述第一对话消息对应的业务意图是否为交易意图；当所述意图判断信息表征的业务意图为交易意图时，则生成所述对话决策信息对应的引导消息。

在一种可能的实现方式中，生成第二对话消息之后，还包括：基于预设的文字纠错模型，对所述第二对话消息进行纠错处理，生成纠错信息，其中，所述文字纠错模型是基于历史消息训练得到的，所述历史消息的内容用于表征不同的业务意图；所述发送所述第二对话消息，包括：发送所述第二对话消息对应的纠错信息。

在一种可能的实现方式中，在接收第一对话消息后，所述方法还包括：将所述第一对话消息存储至第一存储位置的消息队列，所述第一存储位置包括RabbitMQ系统；基于自然语言理解模型，对所述第一对话消息进行处理，生成对话意图信息和槽位信息，包括：基于所述消息队列，依次将第一对话消息输入自然语言理解模型，生成对话意图信息和槽位信息。

在一种可能的实现方式中，所述对话意图信息包括以下至少一种：发起交易请求、修改交易请求、取消交易请求、业务类对话请求、一般性对话请求。

在一种可能的实现方式中，所述槽位信息包括以下至少一种：交易金额、交易期限、交易价格、交易产品信息。

第二方面，本申请提供了一种对话消息生成装置，包括：

接收模块，用于接收第一对话消息，并通过基于迁移学习的自然语言理解模型，对所述第一对话消息进行处理，生成对话意图信息和槽位信息，其中，对话意图信息用于表征输入所述第一对话消息的内容对应的业务意图；所述槽位信息用于表征所述业务意图对应的业务参数；

第一生成模块，用于根据所述对话意图信息和所述槽位信息，生成对话状态信息，所述对话状态信息用于表征所述第一对话消息对应的业务意图的当前完成状态；

第二生成模块，用于根据所述对话状态信息，生成第二对话消息，其中，所述第二对话消息用于回应所述第一对话消息所表征的业务意图；

发送模块，用于发送所述第二对话消息。

在一种可能的实现方式中，所述第一生成模块，具体用于：获取历史对话信息，所述历史对话信息表征所述第一对话消息所对应的对话任务中，在所述第一对话消息之前的对话轮次中产生的对话消息；根据所述历史对话信息和所述对话意图信息、所述槽位信息，生成对话状态信息。

在一种可能的实现方式中，第一生成模块在获取历史对话信息时，具体用于：获取所述对话任务对应的任务标识；基于所述任务标识，从预设的第一存储位置，获取所述历史对话信息。

在一种可能的实现方式中，第一生成模块在根据所述历史对话信息和所述对话意图信息、所述槽位信息，生成对话状态信息时，具体用于：根据所述历史对话信息，确定对话上下文信息，所述对话上下文信息表征所述第一对话消息的内容与所述历史对话信息的内容上的联系；基于所述上下文信息和对话意图信息、所述槽位信息，生成对话状态信息。

在一种可能的实现方式中，在生成所述对话状态信息后，所述第一生成模块，还用于：将所述对话状态信息存储在预设的第二存储位置，所述第二存储位置包括Redis数据库。

在一种可能的实现方式中，所述第二生成模块，具体用于：根据所述对话状态信息和对话策略模型，生成对话决策信息；基于自然语言生成模型，生成所述对话决策信息对应的第二对话消息。

在一种可能的实现方式中，所述第二对话消息包括引导消息，所述引导消息用于表征所述业务意图在所述当前完成状态之后的流程；第二生成模块在所述基于自然语言生成模型，生成所述对话决策信息对应的第二对话消息时，具体用于：基于所述对话意图信息，生成意图判断信息，所述意图判断信息用于表征所述第一对话消息对应的业务意图是否为交易意图；当所述意图判断信息表征的业务意图为交易意图时，则生成所述对话决策信息对应的引导消息。

在一种可能的实现方式中，生成第二对话消息之后，第二生成模块还用于：基于预设的文字纠错模型，对所述第二对话消息进行纠错处理，生成纠错信息，其中，所述文字纠错模型是基于历史消息训练得到的，所述历史消息的内容用于表征不同的业务意图；发送模块，具体用于：发送所述第二对话消息对应的纠错信息。

在一种可能的实现方式中，在接收第一对话消息后，所述第一生成模块，还用于：将所述第一对话消息存储至第一存储位置的消息队列，所述第一存储位置包括RabbitMQ系统；所述第一生成模块在基于自然语言理解模型，对所述第一对话消息进行处理，生成对话意图信息和槽位信息时，具体用于：基于所述消息队列，依次将第一对话消息输入自然语言理解模型，生成对话意图信息和槽位信息。

在一种可能的实现方式中，所述对话意图信息包括以下至少一种：发起交易请求、修改交易请求、取消交易请求、业务类对话请求、一般性对话请求。

在一种可能的实现方式中，所述槽位信息包括以下至少一种：交易金额、交易期限、交易价格、交易产品信息。

第三方面，本申请提供了一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如本申请实施例第一方面任一项所述的对话消息生成方法。

第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如本申请实施例第一方面任一项所述的对话消息生成方法。

根据本申请实施例的第五方面，本申请提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面任一项所述的对话消息生成方法。

本申请提供的对话消息生成方法、装置、电子设备及存储介质，通过接收第一对话消息，并通过基于迁移学习的自然语言理解模型，对所述第一对话消息进行处理，生成对话意图信息和槽位信息，其中，对话意图信息用于表征输入所述第一对话消息的内容对应的业务意图；所述槽位信息用于表征所述业务意图对应的业务参数；根据所述对话意图信息和所述槽位信息，生成对话状态信息，所述对话状态信息用于表征所述第一对话消息对应的业务意图的当前完成状态；根据所述对话状态信息，生成第二对话消息，并发送所述第二对话消息，其中，所述第二对话消息用于回应所述第一对话消息所表征的业务意图。由于通过自然语言理解模型，将第一对话消息转化为了在金融交易场景下所需要对话意图信息和槽位信息，进而生成表征业务意图的当前完成状态的对话状态信息，实现了对当前对话内容的准确评估，使基于对话状态信息生成的第二对话消息能够准确匹配第一对话消息所表征的业务意图，提高智能客服输出的对话消息准确性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请实施例提供的对话消息生成方法的一种应用场景图；

图2为本申请一个实施例提供的对话消息生成方法的流程图；

图3为图2所示实施例中步骤S102的实现步骤流程图；

图4为本申请另一个实施例提供的对话消息生成方法的流程图；

图5为图4所示实施例中步骤S207的实现步骤流程图；

图6为本申请一个实施例提供的对话消息生成装置的结构示意图；

图7为本申请一个实施例提供的电子设备的示意图；

图8是本申请一个示例性实施例示出的一种终端设备的框图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

本申请的技术方案中，所涉及的用户个人信息以及金融数据的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

下面对本申请实施例的应用场景进行解释：

图1为本申请实施例提供的对话消息生成方法的一种应用场景图，本申请实施例提供的对话消息生成方法可以应用于金融交易场景，更具体地，例如金融用户进行对手交易的场景下，示例性地，如图1所示，本申请实施例提供的方法的执行主体可以为金融交易/咨询平台服务器(以下简称服务器)，服务器与终端设备通信，终端设备内运行有用于对手交易的客户端，金融用户可以通过终端设备内运行的客户端，与服务器内运行的服务端通信，实现对手交易过程中的查询、交易等过程。在该过程中，具体地，终端设备基于运行的客户端，向服务器发送第一对话消息，进行相关信息的询问和查询，服务器接收到第一对话消息后，对第一对话消息进行分析，生成并发送用于回答第一对话消息的第二对话消息给终端设备，以答复用户的询问和查询请求，从而实现智能客服的功能。

现有技术，为了提高响应用户此类询问、查询和操作请求的效率，通常是通过设计智能客服的，来根据用户的提问，自动回复相关消息以及执行相关交易操作。现有技术中的智能客服的技术方案确实能够有效地提高一些简单交易的效率。然而，在一些复杂的对手交易过程中，由于金融交易场景中交易过程的复杂性，现有技术中通过简单各规则和字典实现的智能客服，无法准确的识别用户的意图，同时，在金融交易场景中，金融用户通常需要多轮次的询问才能得到目标答案，或者实现目操作，而现有技术中基于规则的方案难以实现综合多轮次询问，给出匹配回答内容的能力，因此造成了智能客服输出的对话消息准确性差、无法匹配用户的咨询和操作需求的问题。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图2为本申请一个实施例提供的对话消息生成方法的流程图，如图2所示，本实施例提供的对话消息生成方法包括以下几个步骤：

步骤S101，接收第一对话消息，并通过基于迁移学习的自然语言理解模型，对第一对话消息进行处理，生成对话意图信息和槽位信息，其中，对话意图信息用于表征输入第一对话消息的内容对应的业务意图；槽位信息用于表征业务意图对应的业务参数。

示例性地，本实施例提供的方法可以应用于服务器或其他类似功能的电子设备，本实施例中以服务器作为本实施例提供的方法的执行主体进行介绍。参考图1所示场景图，第一对话消息可以是终端设备向服务器发送的消息。第一对话消息中包括具体的自然语言，例如查询具体的交易信息、发起交易，或者一般的聊天等，第一对话消息的具体内容不受限制。

服务器在接收到第一对话消息后，通过预设的基于迁移学习的自然语言理解模型对第一对话消息进行处理，可以得到与第一对话消息对应的对话意图信息和槽位信息。其中，对话意图信息表征输入第一对话消息的内容对应的业务意图，槽位信息用于表征业务意图对应的业务参数。示例性地，对话意图信息例如包括：发起交易请求、修改交易请求、取消交易请求、业务类对话请求、一般性对话请求。相应的，上述各对话意图信息所表征的业务意图，即为发起交易、修改交易、取消交易、业务类对话、一般性对话。槽位信息包括以下至少一种：交易金额、交易期限、交易价格、交易产品信息。

本实施例中，对话意图信息表征用户进行金融交易的具体意图，是对第一对话消息进行处理后，表征第一对话消息中的内容的信息。对话意图信息可以通过基于迁移学习的自然语言理解模型得到。具体地，自然语言理解模型即通过自然语言理解技术(NaturalLanguage Understanding，NLU)实现的功能模块，自然语言理解模型可以实现使计算机“理解”自然语言，其具体实现原理为现有技术，此处进行赘述。其中，自然语言理解模型通过深度学习Bert模型来实现第一对话消息包含的对话意图信息和槽位信息的匹配提取。更具体地，例如，使用Bert和TextCNN联合模型对第一对话消息进行对话意图信息进行提取。通过BiLSTM+CRF+Bert的联合模型，进行槽位信息的提取。

示例性地，在基于深度学习的方法来进行语句中的意图(对话意图信息)提取时，TextCNN可以看作n-gram的表现形式，采用不同尺寸的卷积核去提取特征，在进行最大池化，最后将不同尺寸的卷积核提取的特征拼接在一起作为输入到softmax中的特征向量。该方法能够较好利用词向量“近义词有相近向量表示”，但是难以学习到远距离信息特征(如12gram)。本实施例采用的是在Bert Fine-tuning的基础上，在输出层中再叠加TextCNN来进行文本分类。

同样输入数据经过Bert网络模型获取到对应的字向量，提取出文本句子的重要特征，然后进入到TextCNN，使用N个卷积核得到N个feature map，再对feature map进行max-pooling，得到N个1*1的数值，拼接成一个N维向量，作为文本句子表示。最后将N维向量压缩到类目个数的维度，输入softmax中，得到分类结果。

示例性地，在基于模型的方法进行命名实体(即槽位信息)抽取时，经典的结构是使用BiLSTM+CRF。其优点是泛化能力强，但是在样本较少的情况下，效果会很糟糕。为了快速地实现一个实体提取器，提高模型整体的可用性，本实施例通过迁移学习的思想，在先验知识的基础上进行模型训练，使用Bert预训练模型做embedding，可以将大量的语义信息迁移过来。

首先，输入数据经过输入层进入到Bert模型中，经过多层transformer获取字向量，提取出文本的重要特征；然后进过BiLSTM深度学习上下文特征信息，进行命名实体识别；最后的CRF层对BiLSTM的输出序列进行处理，结合CRF中的状态转移矩阵，根据相邻之间标签得到一个全局最优序列。

在一种可能的实现方式中，自然语言理解模型先通过Bert和TextCNN联合模型对第一对话消息进行对话意图信息进行提取，之后，在判断对话意图信息表征交易意图(例如对话意图信息表征表征发起交易请求、修改交易请求、取消交易请求)时，再通过BiLSTM+CRF+Bert的联合模型，进行槽位信息的提取，以提高系统处理效率。示例性地

步骤S102，根据对话意图信息和槽位信息，生成对话状态信息，对话状态信息用于表征第一对话消息对应的业务意图的当前完成状态。

示例性地，在获得对话意图信息和槽位信息，可以确定发送第一对话消息的用户的业务意图，然而，在基于用户意图回复消息时，该业务意图的不同完成阶段，需要对应的回复不同的答复消息。因此，根据在获取对话意图信息和槽位信息之后，根据对话意图信息和槽位信息，生成表征第一对话消息对应的业务意图的当前完成状态的对话状态信息，从而实现对当前对话内容的准确评估。

其中，示例性地，如图3所示，步骤S102的具体实现步骤包括：

步骤S1021，获取历史对话信息，历史对话信息表征第一对话消息所对应的对话任务中，在第一对话消息之前的对话轮次中产生的对话消息。

示例性地，历史对话信息为表征第一对话消息所对应的对话任务中，在第一对话消息之前的对话轮次中产生的对话消息，例如，用户发送的第一对话消息的内容表征发起交易请求的操作请求，而在第一对话消息之前，用户还向服务器发送了表征价格查询、交易产品信息查询等操作请求的历史对话消息。该历史对话消息与第一对话消息归属于同一对话任务，其中，同一对话任务的认定例如可以通过以下方式实现：时间间隔小于预设值的对话消息，归属于同一对话任务；同一对话窗口下的对话消息，归属于同一对话任务，等等。

更具体地，示例性地，获取历史对话信息的具体步骤，包括：获取对话任务对应的任务标识；基于任务标识，从预设的第一存储位置，获取历史对话信息。其中，任务标识与对话任务一一对应，通过任务标识获取对应的历史对话信息，从而保证对话状态信息的准确性。

步骤S1022，根据历史对话信息和对话意图信息、槽位信息，生成对话状态信息。

进一步地，根据历史对话信息，以及对话意图信息、槽位信息，可以确定用户在同一对话任务下的多轮次对话中，对应的业务意图的具体完成情况，也即，本次对话任务进展到什么程度，即对话状态信息即表征的内容。

具体地，生成对话状态信息的步骤包括：根据历史对话信息，确定对话上下文信息，对话上下文信息表征第一对话消息的内容与历史对话信息的内容上的联系；基于上下文信息和对话意图信息、槽位信息，生成对话状态信息。

其中，通过历史对话信息确定表征第一对话消息的内容与历史对话信息的内容上的联系的上下文信息，实现对话消息之间的准确解析，进而，可以确定本次对话任务的具体进展程度，即对话状态信息，提高确定对话状态信息的准确性。

步骤S103，根据对话状态信息，生成第二对话消息，并发送第二对话消息，其中，第二对话消息用于回应第一对话消息所表征的业务意图。

示例性地，在确定对话状态信息后，根据其所表征的第一对话消息对应的业务意图的当前完成状态，确定一个与该完成状态相匹配的回答信息，即为第二对话信息。该第二对话信息回应第一对话消息所表征的业务意图，并且，由于第二对话信息是由对话状态信息确定的，因此，第二对话信息还可以适配第一对话消息对应的业务意图的当前完成状态，从而实现对第一对话消息的精确匹配和精确响应。

其中，生成第二对话消息的过程，可以基于预设的自然语言生成模型实现，自然语言生成模型是基于自然语言生成技术(Natural Language Generation，NLG)实现的功能模块，用于基于特定格式的特征信息，生成对应的自然语言，自然语言生成模型的具体实现原理为现有技术，此处不进行具体介绍。

本实施例中，通过接收第一对话消息，并通过基于迁移学习的自然语言理解模型，对第一对话消息进行处理，生成对话意图信息和槽位信息，其中，对话意图信息用于表征输入第一对话消息的内容对应的业务意图；槽位信息用于表征业务意图对应的业务参数；根据对话意图信息和槽位信息，生成对话状态信息，对话状态信息用于表征第一对话消息对应的业务意图的当前完成状态；根据对话状态信息，生成第二对话消息，并发送第二对话消息，其中，第二对话消息用于回应第一对话消息所表征的业务意图。由于通过自然语言理解模型，将第一对话消息转化为了在金融交易场景下所需要对话意图信息和槽位信息，进而生成表征业务意图的当前完成状态的对话状态信息，实现了对当前对话内容的准确评估，使基于对话状态信息生成的第二对话消息能够准确匹配第一对话消息所表征的业务意图，提高智能客服输出的对话消息准确性。

图4为本申请另一个实施例提供的对话消息生成方法的流程图，如图4所示，本实施例提供的对话消息生成方法在图2所示实施例提供的对话消息生成方法的基础上，对步骤S102进一步细化，并增加了对第一对话消息进行队列化处理等相关步骤，则本实施例提供的对话消息生成包括以下几个步骤：

步骤S201，接收第一对话消息。

步骤S202，将第一对话消息存储至第一存储位置的消息队列，第一存储位置包括RabbitMQ系统。

步骤S203，基于消息队列，依次将第一对话消息输入自然语言理解模型，生成对话意图信息和槽位信息。

示例性地，RabbitMQ是实现了高级消息队列协议(AMQP)的开源消息代理软件(亦称面向消息的中间件)，RabbitMQ服务器是用Erlang语言编写的，而群集和故障转移是构建在开放电信平台框架上的。所有主要的编程语言均有与代理接口通讯的客户端库。通过RabbitMQ，可以实现对第一对话消息的持久化，进而生成历史对话信息参与到计算步骤中，提高数据处理的效率。

在将第一对话消息存储至RabbitMQ系统后，基于RabbitMQ系统依次读取第一对话消息作为输入参数输入资源语言理解模型，得到模型输出的对话意图信息和槽位信息，该过程与图2所示实施例中的对应步骤的实现方式相同，此处不再赘述。

步骤S204，根据对话意图信息和槽位信息，生成对话状态信息，对话状态信息用于表征第一对话消息对应的业务意图的当前完成状态。

步骤S205，将对话状态信息存储在预设的第二存储位置，第二存储位置包括Redis数据库。

具体地，Redis即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库。使用Redis来对对话状态信息进行存储，使得就算模型重启，或者所在的部署环境出现问题修复之后也能继续前面的对话，适合部署在主流的高可用集群中，如K8S中，探查到服务不可用即重启策略，可以进一步地增强用户的使用体验。

步骤S206，根据对话状态信息和对话策略模型，生成对话决策信息。

示例性地，进一步地，通过Redis服务器，获取对话状态信息后，基于对话策略模型，即可生成对话决策信息，其中，对话决策信息表征对第一对话消息的答复信息的特征信息，即对第一对话消息的答复信息预测，该对话决策信息的实现方式与后续步骤中的自然语言生成模型相匹配，即可以通过将对话决策信息输入至自然语言生成模型后，生成对应的对话消息。其中，对话策略模型通过根据对话状态信息，进行对话决策，生成能够对第一对话消息形成有效答复的信息。

步骤S207，基于自然语言生成模型，生成对话决策信息对应的第二对话消息。

基于上述步骤中的介绍，对话决策信息可以作为自然语言生成模型的输入，基于该自然语言生成模型，生成对话决策信息对应的第二对话消息，该过程即对对话决策信息进行文本话的过程。通过自然语言生成模型，使对话决策信息转化为自然语言。

在一种可能的实现方式中，第二对话消息包括引导消息，引导消息用于表征业务意图在当前完成状态之后的流程。如图5所示，步骤S207的实现步骤包括：

步骤S2071，基于对话意图信息，生成意图判断信息，意图判断信息用于表征第一对话消息对应的业务意图是否为交易意图；

步骤S2072，当意图判断信息表征的业务意图为交易意图时，则生成对话决策信息对应的引导消息。

示例性地，意图判断信息用于判断第一对话消息对应的业务意图是否为交易意图，其中，意图判断信息可以为一个布尔值，通过0或1表征交易意图或非交易意图，其中，交易意图例如为：发起交易请求、修改交易请求、取消交易请求；交易意图例如为：一般性对话请求(闲聊对话)。进一步地，当意图判断信息表征的业务意图为交易意图时，生成对话决策信息对应的引导消息，其中，具体地，引导信息为用于引导用户完成业务意图当前完成状态之后的流程，也即，当前业务意图的剩余部分的流程，通过引导信息，可以实现对用户的引导，使用户方便的完成后续的业务意图的流程。

在一种可能的实现方式中，引导消息还用于引导用户输入不完整的槽位信息，从而实现对交易所需的槽位信息的补齐的目的。

步骤S208，基于预设的文字纠错模型，对引导消息进行纠错处理，生成纠错信息，其中，文字纠错模型是基于历史消息训练得到的，历史消息的内容用于表征不同的业务意图。

示例性地，在生成引导消息后，基于文字纠错模型对引导小心进行纠错，以进一步的提高后续输出的消息的准确性。其中，文字纠错模型的具体实现，可以为基于规则和Bert的文本纠错模型。具体地，例如，基于大规模的词典规则，然后结合金融数据输入到深度学习网络模型进行训练得到金融市场领域的文本纠错模型，不仅支持对谐音字词、相似字的纠错还支持对文本内容中涉及的金融领域的专业词汇定位错误之处并进行纠正，形成准确的回复返回给用户。

需要特别指出的是，本实施例中所所用的模型，包括自然语言理解模型、对话策略模型、自然语言生成模型和文字纠错模型，均需要在进行训练后使用。在具体实现方式中，简单地使用模型无法满足金融市场的询价要求，金融市场交易询价有其相应的常用且经典的金融话术，比如：加权DR，头寸等，因此需要用真实金融语料在预训练模型的基础上进行Fine-tunning，才能实现上述模型。

步骤S209，发送第二对话消息对应的纠错信息至终端设备。

本实施例中，步骤S201、步骤S209的实现方式与本申请图2所示实施例中的步骤S101、步骤S103中对应的步骤的实现方式相同，在此不再一一赘述。

图6为本申请一个实施例提供的对话消息生成装置的结构示意图，如图6所示，本实施例提供的对话消息生成装置3包括：

接收模块31，用于接收第一对话消息，并通过基于迁移学习的自然语言理解模型，对第一对话消息进行处理，生成对话意图信息和槽位信息，其中，对话意图信息用于表征输入第一对话消息的内容对应的业务意图；槽位信息用于表征业务意图对应的业务参数；

第一生成模块32，用于根据对话意图信息和槽位信息，生成对话状态信息，对话状态信息用于表征第一对话消息对应的业务意图的当前完成状态；

第二生成模块33，用于根据对话状态信息，生成第二对话消息，其中，第二对话消息用于回应第一对话消息所表征的业务意图；

发送模块34，用于发送第二对话消息。

在一种可能的实现方式中，第一生成模块32，具体用于：获取历史对话信息，历史对话信息表征第一对话消息所对应的对话任务中，在第一对话消息之前的对话轮次中产生的对话消息；根据历史对话信息和对话意图信息、槽位信息，生成对话状态信息。

在一种可能的实现方式中，第一生成模块32在获取历史对话信息时，具体用于：获取对话任务对应的任务标识；基于任务标识，从预设的第一存储位置，获取历史对话信息。

在一种可能的实现方式中，第一生成模块32在根据历史对话信息和对话意图信息、槽位信息，生成对话状态信息时，具体用于：根据历史对话信息，确定对话上下文信息，对话上下文信息表征第一对话消息的内容与历史对话信息的内容上的联系；基于上下文信息和对话意图信息、槽位信息，生成对话状态信息。

在一种可能的实现方式中，在生成对话状态信息后，第一生成模块32，还用于：将对话状态信息存储在预设的第二存储位置，第二存储位置包括Redis数据库。

在一种可能的实现方式中，第二生成模块33，具体用于：根据对话状态信息和基于对话策略模型，生成对话决策信息；基于自然语言生成模型，生成对话决策信息对应的第二对话消息。

在一种可能的实现方式中，第二对话消息包括引导消息，引导消息用于表征业务意图在当前完成状态之后的流程；第二生成模块33在基于自然语言生成模型，生成对话决策信息对应的第二对话消息时，具体用于：基于对话意图信息，生成意图判断信息，意图判断信息用于表征第一对话消息对应的业务意图是否为交易意图；当意图判断信息表征的业务意图为交易意图时，则生成对话决策信息对应的引导消息。

在一种可能的实现方式中，生成第二对话消息之后，第二生成模块33还用于：基于预设的文字纠错模型，对第二对话消息进行纠错处理，生成纠错信息，其中，文字纠错模型是基于历史消息训练得到的，历史消息的内容用于表征不同的业务意图；发送模块34，具体用于：发送第二对话消息对应的纠错信息。

在一种可能的实现方式中，在接收第一对话消息后，第一生成模块32，还用于：将第一对话消息存储至第一存储位置的消息队列，第一存储位置包括RabbitMQ系统；第一生成模块32在基于自然语言理解模型，对第一对话消息进行处理，生成对话意图信息和槽位信息时，具体用于：基于消息队列，依次将第一对话消息输入自然语言理解模型，生成对话意图信息和槽位信息。

在一种可能的实现方式中，对话意图信息包括以下至少一种：发起交易请求、修改交易请求、取消交易请求、业务类对话请求、一般性对话请求。

在一种可能的实现方式中，槽位信息包括以下至少一种：交易金额、交易期限、交易价格、交易产品信息。

其中，接收模块31、第一生成模块32、第二生成模块33和发送模块34依次连接。本实施例提供的对话消息生成装置3可以执行如图2-图5任一所示的方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图7为本申请一个实施例提供的电子设备的示意图，如图7所示，本实施例提供的电子设备4包括：处理器41，以及与处理器41通信连接的存储器42。

其中，存储器42存储计算机执行指令；

处理器41执行存储器42存储的计算机执行指令，以实现本申请图2-图5所对应的实施例中任一实施例提供的对话消息生成方法。

其中，存储器41和处理器42通过总线43连接。

相关说明可以对应参见图2-图5所对应的实施例中的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。

本申请一个实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现本申请图2-图5所对应的实施例中任一实施例提供的对话消息生成方法。

其中，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本申请一个实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本申请图2-图5所对应的实施例中任一实施例提供的对话消息生成方法。

图8是本申请一个示例性实施例示出的一种终端设备的框图，该终端设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

终端设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)接口812，传感器组件814，以及通信组件816。

处理组件802通常控制终端设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在终端设备800的操作。这些数据的示例包括用于在终端设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为终端设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为终端设备800生成、管理和分配电力相关联的组件。

多媒体组件808包括在终端设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当终端设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当终端设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为终端设备800提供各个方面的状态评估。例如，传感器组件814可以检测到终端设备800的打开/关闭状态，组件的相对定位，例如组件为终端设备800的显示器和小键盘，传感器组件814还可以检测终端设备800或终端设备800一个组件的位置改变，用户与终端设备800接触的存在或不存在，终端设备800方位或加速/减速和终端设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于终端设备800和其他设备之间有线或无线方式的通信。终端设备800可以接入基于通信标准的无线网络，如WiFi，3G、4G、5G或其他标准通信网络，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，终端设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述本申请图2-图5所对应的实施例中任一实施例提供的方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由终端设备800的处理器820执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本申请实施例还提供了一种非临时性计算机可读存储介质，当该存储介质中的指令由终端设备的处理器执行时，使得终端设备800能够执行上述本申请图2-图5所对应的实施例中任一实施例提供的方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (25)

1.一种对话消息生成方法，其特征在于，所述方法包括：

接收第一对话消息，并通过基于迁移学习的自然语言理解模型，对所述第一对话消息进行处理，生成对话意图信息和槽位信息，其中，对话意图信息用于表征输入所述第一对话消息的内容对应的业务意图；所述槽位信息用于表征所述业务意图对应的业务参数；

根据所述对话意图信息和所述槽位信息，生成对话状态信息，所述对话状态信息用于表征所述第一对话消息对应的业务意图的当前完成状态；

根据所述对话状态信息，生成第二对话消息，并发送所述第二对话消息，其中，所述第二对话消息用于回应所述第一对话消息所表征的业务意图。

2.根据权利要求1所述的方法，其特征在于，根据所述对话意图信息和所述槽位信息，生成对话状态信息，包括：

获取历史对话信息，所述历史对话信息表征所述第一对话消息所对应的对话任务中，在所述第一对话消息之前的对话轮次中产生的对话消息；

根据所述历史对话信息和所述对话意图信息、所述槽位信息，生成对话状态信息。

3.根据权利要求2所述的方法，其特征在于，所述获取历史对话信息，包括：

获取所述对话任务对应的任务标识；

基于所述任务标识，从预设的第一存储位置，获取所述历史对话信息。

4.根据权利要求2所述的方法，其特征在于，根据所述历史对话信息和所述对话意图信息、所述槽位信息，生成对话状态信息，包括：

根据所述历史对话信息，确定对话上下文信息，所述对话上下文信息表征所述第一对话消息的内容与所述历史对话信息的内容上的联系；

基于所述上下文信息和对话意图信息、所述槽位信息，生成对话状态信息。

5.根据权利要求1所述的方法，其特征在于，在生成所述对话状态信息后，所述方法还包括：

将所述对话状态信息存储在预设的第二存储位置，所述第二存储位置包括Redis数据库。

6.根据权利要求1所述的方法，其特征在于，根据所述对话状态信息，生成第二对话消息，包括：

根据所述对话状态信息和对话策略模型，生成对话决策信息；

基于自然语言生成模型，生成所述对话决策信息对应的第二对话消息。

7.根据权利要求6所述的方法，其特征在于，所述第二对话消息包括引导消息，所述引导消息用于表征所述业务意图在所述当前完成状态之后的流程；

所述基于自然语言生成模型，生成所述对话决策信息对应的第二对话消息，包括：

基于所述对话意图信息，生成意图判断信息，所述意图判断信息用于表征所述第一对话消息对应的业务意图是否为交易意图；

当所述意图判断信息表征的业务意图为交易意图时，则生成所述对话决策信息对应的引导消息。

8.根据权利要求6所述的方法，其特征在于，生成第二对话消息之后，还包括：

基于预设的文字纠错模型，对所述第二对话消息进行纠错处理，生成纠错信息，其中，所述文字纠错模型是基于历史消息训练得到的，所述历史消息的内容用于表征不同的业务意图；

所述发送所述第二对话消息，包括：

发送所述第二对话消息对应的纠错信息。

9.根据权利要求1-8任一项所述的方法，其特征在于，在接收第一对话消息后，所述方法还包括：

将所述第一对话消息存储至第一存储位置的消息队列，所述第一存储位置包括RabbitMQ系统；

基于自然语言理解模型，对所述第一对话消息进行处理，生成对话意图信息和槽位信息，包括：

基于所述消息队列，依次将第一对话消息输入自然语言理解模型，生成对话意图信息和槽位信息。

10.根据权利要求1-8任一项所述的方法，其特征在于，所述对话意图信息包括以下至少一种：

发起交易请求、修改交易请求、取消交易请求、业务类对话请求、一般性对话请求。

11.根据权利要求1-8任一项所述的方法，其特征在于，所述槽位信息包括以下至少一种：

交易金额、交易期限、交易价格、交易产品信息。

12.一种对话消息生成装置，其特征在于，包括：

接收模块，用于接收第一对话消息，并通过基于迁移学习的自然语言理解模型，对所述第一对话消息进行处理，生成对话意图信息和槽位信息，其中，对话意图信息用于表征输入所述第一对话消息的内容对应的业务意图；所述槽位信息用于表征所述业务意图对应的业务参数；

第一生成模块，用于根据所述对话意图信息和所述槽位信息，生成对话状态信息，所述对话状态信息用于表征所述第一对话消息对应的业务意图的当前完成状态；

第二生成模块，用于根据所述对话状态信息，生成第二对话消息，其中，所述第二对话消息用于回应所述第一对话消息所表征的业务意图；

发送模块，用于发送所述第二对话消息。

13.根据权利要求12所述的装置，其特征在于，

所述第一生成模块，具体用于：获取历史对话信息，所述历史对话信息表征所述第一对话消息所对应的对话任务中，在所述第一对话消息之前的对话轮次中产生的对话消息；根据所述历史对话信息和所述对话意图信息、所述槽位信息，生成对话状态信息。

14.根据权利要求13所述的装置，其特征在于，

第一生成模块在获取历史对话信息时，具体用于：获取所述对话任务对应的任务标识；基于所述任务标识，从预设的第一存储位置，获取所述历史对话信息。

15.根据权利要求13所述的装置，其特征在于，

所述第一生成模块在根据所述历史对话信息和所述对话意图信息、所述槽位信息，生成对话状态信息时，具体用于：根据所述历史对话信息，确定对话上下文信息，所述对话上下文信息表征所述第一对话消息的内容与所述历史对话信息的内容上的联系；基于所述上下文信息和对话意图信息、所述槽位信息，生成对话状态信息。

16.根据权利要求12所述的装置，其特征在于，

在生成所述对话状态信息后，所述第一生成模块，还用于：将所述对话状态信息存储在预设的第二存储位置，所述第二存储位置包括Redis数据库。

17.根据权利要求12所述的装置，其特征在于，

所述第二生成模块，具体用于：根据所述对话状态信息和对话策略模型，生成对话决策信息；基于自然语言生成模型，生成所述对话决策信息对应的第二对话消息。

18.根据权利要求17所述的装置，其特征在于，所述第二对话消息包括引导消息，所述引导消息用于表征所述业务意图在所述当前完成状态之后的流程；

第二生成模块在所述基于自然语言生成模型，生成所述对话决策信息对应的第二对话消息时，具体用于：基于所述对话意图信息，生成意图判断信息，所述意图判断信息用于表征所述第一对话消息对应的业务意图是否为交易意图；当所述意图判断信息表征的业务意图为交易意图时，则生成所述对话决策信息对应的引导消息。

19.根据权利要求17所述的装置，其特征在于，

生成第二对话消息之后，第二生成模块还用于：基于预设的文字纠错模型，对所述第二对话消息进行纠错处理，生成纠错信息，其中，所述文字纠错模型是基于历史消息训练得到的，所述历史消息的内容用于表征不同的业务意图；发送模块，具体用于：发送所述第二对话消息对应的纠错信息。

20.根据权利要求12-19任一项所述的装置，其特征在于，

在接收第一对话消息后，所述第一生成模块，还用于：将所述第一对话消息存储至第一存储位置的消息队列，所述第一存储位置包括RabbitMQ系统；所述第一生成模块在基于自然语言理解模型，对所述第一对话消息进行处理，生成对话意图信息和槽位信息时，具体用于：基于所述消息队列，依次将第一对话消息输入自然语言理解模型，生成对话意图信息和槽位信息。

21.根据权利要求12-19任一项所述的装置，其特征在于，

所述对话意图信息包括以下至少一种：发起交易请求、修改交易请求、取消交易请求、业务类对话请求、一般性对话请求。

22.根据权利要求12-19任一项所述的装置，其特征在于，

所述槽位信息包括以下至少一种：交易金额、交易期限、交易价格、交易产品信息。

23.一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至11中任一项所述的方法。

24.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至11中任一项所述的对话消息生成方法。

25.一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现权利要求1至11中任一项所述的对话消息生成方法。

Images