CN115203393A - 一种对话应答方法及其系统、电子设备、存储介质 - Google Patents

Abstract

本申请涉及人工智能技术领域，尤其是涉及一种对话应答方法及其系统、电子设备、存储介质。本申请实施例的对话应答方法中，需要先接收对话交流语句，并将对话交流语句输入意图识别模型，其中，意图识别模型由基础识别模型通过训练语句信息和训练意图标签训练得到。进一步，经由意图识别模型对对话交流语句进行意图识别，获取目标意图信息，最终基于目标意图信息从预设数据库中匹配得到应答语句，以回应对话交流语句。本申请通过意图识别模型来从对话交流语句中识别得到目标意图信息，从而进一步依照目标意图信息确认应答语句，能够提升改善自动化客服在对话应答过程中，依据对话信息选择应答内容的准确性。

Description

一种对话应答方法及其系统、电子设备、存储介质

技术领域

本申请涉及人工智能技术领域，尤其是涉及一种对话应答方法及其系统、电子设备、存储介质。

背景技术

随着科技水平的提高，人们对人工智能对话应答领域的研究越来越深入。自动化客服已经应用在各行各业，自动化客服虽然能够进行简单的问题回答，但仍然不够智能。相关技术中，人工智能对话系统大多专注于处理单循环的问答对话，并没有考虑对话信息中较为复杂的语义意图，无法根据对话信息的语义意图来选择对话应答的话术方案，以至于自动化客服无法针对性的回应用户的需求，从而动用人工客服予以解决。因此，如何改善自动化客服在对话应答过程中，依据对话信息选择应答内容的准确性，成为业内亟待解决的一大难题。

发明内容

本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种对话应答方法及其系统、电子设备、存储介质，能够提改善自动化客服在对话应答过程中，依据对话信息选择应答内容的准确性。

根据本申请的第一方面实施例的对话应答方法，包括：

接收对话交流语句，并将所述对话交流语句输入意图识别模型，其中，所述意图识别模型由基础识别模型通过训练语句信息和训练意图标签训练得到；

经由所述意图识别模型对所述对话交流语句进行意图识别，获取目标意图信息；

基于所述目标意图信息从预设数据库中匹配得到应答语句，以回应所述对话交流语句。

根据本申请的一些实施例，所述接收对话交流语句，并将所述对话交流语句输入意图识别模型之前，还包括：

获取训练数据集，所述训练数据集包括多个所述训练语句信息和所述训练意图标签，所述训练意图标签包括与各个所述训练语句信息相匹配的语义意图；

基于所述训练数据集对所述基础识别模型进行优化训练，得到所述意图识别模型。

根据本申请的一些实施例，所述基于所述训练数据集对所述基础识别模型进行优化训练，得到所述意图识别模型，包括：

基于所述训练数据集对所述基础识别模型进行迭代训练，每一轮所述迭代训练中，将所述训练语句信息输入所述基础识别模型进行本轮训练处理，获取与所述训练语句信息对应的本轮识别意图；

每一轮所述迭代训练后，将所述本轮识别意图与所述训练意图标签进行比对，计算所述基础识别模型的识别准确率并对所述基础识别模型的参数进行第一类更新；

统计所述基础识别模型在每一轮所述迭代训练后的指标变化情况，当所述识别准确率收敛于第一定值，得到训练好的所述意图识别模型。

根据本申请的一些实施例，所述基于所述训练数据集对所述基础识别模型进行优化训练，得到所述意图识别模型，还包括：

每一轮所述迭代训练后，计算所述基础识别模型的损失函数输出值并对所述基础识别模型的参数进行第二类更新。

根据本申请的一些实施例，所述每一轮所述迭代训练后，计算所述基础识别模型的损失函数输出值并对所述基础识别模型的参数进行第二类更新，包括：

根据本轮迭代训练中的所述训练语句信息对所述训练意图标签进行划分，其中，与本轮所述训练语句信息匹配的所述训练意图标签被划定为目标类别集合Ω_pos，与本轮所述训练语句信息不匹配的所述训练意图标签被划定为非目标类别集合Ω_neg；

每一轮所述迭代训练后，通过下列解析式计算所述基础识别模型的损失函数Circle Loss的输出值：

其中，s_i为本轮迭代训练中非目标类别集合Ω_neg的得分，s_j为本轮迭代训练中目标类别集合Ω_pos的得分，γ为缩放因子，m为样本间隔；

基于所述损失函数Circle Loss的输出值，对所述基础识别模型的参数进行第二类更新。

根据本申请的一些实施例，所述统计所述基础识别模型在每一轮所述迭代训练后的指标变化情况，当所述识别准确率收敛于第一定值，得到训练好的所述意图识别模型，包括：

统计所述识别准确率、所述损失函数输出值在每一轮所述迭代训练后的变化情况；

当所述识别准确率收敛于第一定值并且所述损失函数输出值收敛于第二定值，得到训练好的所述意图识别模型。

根据本申请的一些实施例，所述基于所述目标意图信息从预设数据库中匹配得到应答语句，包括:

对所述目标意图信息进行解析，得到与所述对话交流语句对应的多个目标语义意图；

按照预设的优先级排序规则从多个所述目标语义意图中确定关键语义意图；

基于所述关键语义意图，在所述预设数据库中匹配得到所述应答语句。

根据本申请的第二方面实施例的对话应答系统，包括：

语句获取模块，用于接收对话交流语句，并将所述对话交流语句输入意图识别模型，其中，所述意图识别模型由基础识别模型通过训练语句信息和训练意图标签训练得到；

语句识别模块，用于经由所述意图识别模型对所述对话交流语句进行意图识别，获取目标意图信息；

应答模块，用以基于所述目标意图信息从预设数据库中匹配得到应答语句，以回应所述对话交流语句。

第三方面，本申请实施例提供了一种电子设备，包括：存储器、处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如本申请第一方面实施例中任意一项所述的对话应答方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如本申请第一方面实施例中任意一项所述的对话应答方法。

根据本申请实施例的对话应答方法、电子设备、存储介质，至少具有如下有益效果：

本申请实施例的对话应答方法中，需要先接收对话交流语句，并将所述对话交流语句输入意图识别模型，其中，所述意图识别模型由基础识别模型通过训练语句信息和训练意图标签训练得到。进一步，经由所述意图识别模型对所述对话交流语句进行意图识别，获取目标意图信息，最终基于所述目标意图信息从预设数据库中匹配得到应答语句，以回应所述对话交流语句。本申请通过意图识别模型来从对话交流语句中识别得到目标意图信息，从而进一步依照目标意图信息确认应答语句，能够提改善自动化客服在对话应答过程中，依据对话信息选择应答内容的准确性。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例提供的对话应答方法流程示意图；

图2为本申请实施例提供的对话应答方法另一流程示意图；

图3为本申请实施例提供的对话应答方法另一流程示意图；

图4为本申请实施例提供的对话应答方法另一流程示意图；

图5为本申请实施例提供的对话应答方法另一流程示意图；

图6为本申请实施例提供的对话应答方法另一流程示意图；

图7为本申请实施例提供的对话应答系统模块示意图；

图8为执行本申请实施例提供的对话应答方法的电子设备示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

在本申请的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

在本申请的描述中，需要理解的是，涉及到方位描述，例如上、下、左、右、前、后等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

本申请的描述中，需要说明的是，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本申请中的具体含义。另外，下文中对于具体步骤的标识并不代表对于步骤顺序与执行逻辑的限定，各个步骤之间的执行顺序与执行逻辑应参照实施例所表述的内容进行理解与推定。

人工智能(artificial intelligence，AI)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

随着科技水平的提高，人们对人工智能对话应答领域的研究越来越深入。自动化客服已经应用在各行各业，自动化客服虽然能够进行简单的问题回答，但仍然不够智能。相关技术中，人工智能对话系统大多专注于处理单循环的问答对话，并没有考虑对话信息中较为复杂的语义意图，无法根据对话信息的语义意图来选择对话应答的话术方案，以至于自动化客服无法针对性的回应用户的需求，从而动用人工客服予以解决。因此，如何改善自动化客服在对话应答过程中，依据对话信息选择应答内容的准确性，成为业内亟待解决的一大难题。

本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种对话应答方法及其系统、电子设备、存储介质，能够提改善自动化客服在对话应答过程中，依据对话信息选择应答内容的准确性。

下面以附图为依据作出进一步说明。

参照图1，根据本申请的第一方面实施例的对话应答方法，包括：

步骤S101，接收对话交流语句，并将对话交流语句输入意图识别模型，其中，意图识别模型由基础识别模型通过训练语句信息和训练意图标签训练得到；

根据本申请提供的一些实施例，对话交流语句指的是对话应答方法所需要作出应答的对象语句。需要说明的是，对话交流语句的表现形式多种多样，可以包括，但不限于语音形式、文本形式、图片形式或者其他类型的表现形式。本申请一些实施例中，对话交流语句由交流对象发出，应理解，交流对象可以是自然人，也可以是人工智能或者其他类型的交流对象。由于对话交流语句的语义意图蕴含在目标意图信息中，因此，为了在准确理解目标意图信息的基础上，向交流对象作出应答，本申请一些示例性的实施例中需要将对话交流语句输入意图识别模型，以获取对话交流语句中的目标意图信息，从而进一步基于目标意图信息来作出应答。

步骤S102，经由意图识别模型对对话交流语句进行意图识别，获取目标意图信息；

根据本申请提供的一些实施例，目标意图信息指的是体现对话交流语句之语义意图的信息。需要说明的是，目标意图信息体现了交流对象的交流意图，因此，为了提改善自动化客服在对话应答过程中，依据对话信息选择应答内容的准确性，需要先经由意图识别模型对对话交流语句进行意图识别，获取目标意图信息，再进一步针对目标意图信息所体现的语义意图，向交流对象作出应答。

步骤S103，基于目标意图信息从预设数据库中匹配得到应答语句，以回应对话交流语句。

根据本申请提供的一些实施例，预设数据库中，针对各种各样的客服场景预先设置有各种类型的预设答复语句，其中各种类型的预设答复语句则是分别用于处理各种各样客服场景下会出现的问题。一些示例性的实施例中，客服场景可以包括，但不限于是用户希望咨询业务、用户希望自助充值、用户希望退订业务、用户希望转换成人工服务等类型的客服场景。应理解，在预设数据库中可以分别针对用户希望咨询业务、用户希望自助充值、用户希望退订业务、用户希望转换成人工服务等类型的客服场景，来预先设置用于解决各式问题的话术规范，其中各种类型的预设答复语句即为话术规范的组成部分。需要说明，预设意图信息指的是预先设置的意图信息，本申请一些实施例的预设数据库中，往往配置有预设答复语句与预设意图信息的映射关系，获取到目标意图信息之后，即可进一步判断目标意图信息与哪一条预设意图信息相对应，确定了与目标意图信息相对应的预设意图信息之后，即可依照预设答复语句与预设意图信息的映射关系，匹配得到与目标意图信息相对应的预设答复语句，进而将与目标意图信息相对应的预设答复语句确定为应答语句，以回应对话交流语句。应理解，同一条对话交流语句中可能存在一个或多个目标意图信息，一些实施例中，当同一条对话交流语句中存在多个目标意图信息时，可以针对多个目标意图信息分别回应对话交流语句，也可以从多个目标意图信息中筛选识别出一个最重要的关键语义意图，再以关键语义意图从预设数据库中匹配得到应答语句，以回应对话交流语句。需要强调，基于目标意图信息从预设数据库中匹配得到应答语句的实施方式多种多样，可以包括，但不限于上述提出的具体实施例。

本申请实施例的对话应答方法中，需要先接收对话交流语句，并将对话交流语句输入意图识别模型，其中，意图识别模型由基础识别模型通过训练语句信息和训练意图标签训练得到。进一步，经由意图识别模型对对话交流语句进行意图识别，获取目标意图信息，最终基于目标意图信息从预设数据库中匹配得到应答语句，以回应对话交流语句。本申请通过意图识别模型来从对话交流语句中识别得到目标意图信息，从而进一步依照目标意图信息确认应答语句，能够提改善自动化客服在对话应答过程中，依据对话信息选择应答内容的准确性。

参照图2，根据本申请的一些实施例，接收对话交流语句，并将对话交流语句输入意图识别模型之前，还包括：

步骤S201，获取训练数据集，训练数据集包括多个训练语句信息和训练意图标签，训练意图标签包括与各个训练语句信息相匹配的语义意图；

需要说明的是，为了确保意图识别模型具备准确识别语义意图的能力，根据本申请提供的一些实施例，在将对话交流语句输入意图识别模型之前，需要预先对对基础识别模型进行优化训练，得到意图识别模型。而在对基础识别模型进行优化训练之前，需要预先确定优化训练中所用到的训练数据集。根据本申请提供的一些较为优选的实施例，训练数据集包括多个训练语句信息和训练意图标签，训练意图标签包括与各个训练语句信息相匹配的语义意图。需要明确，训练语句信息指的是用于优化训练的语句信息，在训练数据集中，每一个训练语句信息都配置有对应的训练意图标签，其中，训练意图标签用于标识训练语句信息准确的语义意图。本申请一些示例性的实施例中，当训练数据集包括多个训练语句信息和与多个训练语句信息分别对应的训练意图标签，即可对基础识别模型进行有监督的优化训练，从而在优化训练中提升基础识别模型的语义意图识别能力，最终得到能够准确识别语义意图的意图识别模型。

步骤S202，基于训练数据集对基础识别模型进行优化训练，得到意图识别模型。

根据本申请提供的一些实施例，优化训练指的是对基础识别模型语义意图识别能力进行优化的训练。需要明确的是，基础识别模型，可以是尚不具备基本意图识别能力的人工智能模型，也可以是经过常规的意图识别训练过程，并已经具备初级意图识别能力的人工智能模型。根据本申请一些示例性的实施例，基础识别模型可以包括卷积层、特征处理网络以及全连接层。其中，基础识别模型的卷积层用于将获取到的训练语句信息进行向量化，特征处理网络则用于对向量化之后的训练语句信息进行意图特征向量的提取，之后经由全连接层基于意图特征向量得到各类语义意图的分数，并基于各类语义意图的分数得到对训练语句信息的分类识别结果。根据本申请提供的一些实施例，基础识别模型中的特征处理网络有多种选用方案，包括但不限于：将循环神经网络(Recurrent Neural Network，RNN)作为提取意图特征向量的特征处理网络、将长短期记忆网络(Long Short-Term Memory，LSTM)作为提取意图特征向量的特征处理网络、将门控循环单元结构(Gated RecurrentUnit，GRU)或者其他神经网络模型作为提取意图特征向量的特征处理网络。需要说明的是，普通的RNN具有梯度保障或消失的问题，因此LSTM通过引入线性自循环单元，即可保持梯度的长期存在。GRU是RNN的其中一种，和LSTM一样，也是为了解决长期记忆和反向传播中的梯度等问题而被提出来的。由于LSTM在序列建模问题上有一定优势，具有长时记忆功能，实现起来简单，解决了长序列训练过程中存在的梯度消失和梯度爆炸的问题，故而本申请一些较为优选的实施例中，选用LSTM作为特征处理网络，与卷积层、特征处理网络以及全连接层共同形成基础识别模型。应理解，基础识别模型的选用方案多种多样，包括但不限于上述举出的具体实施例。

参照图3，根据本申请的一些实施例，基于训练数据集对基础识别模型进行优化训练，得到意图识别模型，包括：

步骤S301，基于训练数据集对基础识别模型进行迭代训练，每一轮迭代训练中，将训练语句信息输入基础识别模型进行本轮训练处理，获取与训练语句信息对应的本轮识别意图；

需要说明的是，迭代训练的目的，是为了令基础识别模型经过数轮根据训练语句信息识别得到训练识别意图的训练，逐渐提升基础识别模型从各个训练语句信息映射到各自对应的训练识别意图的能力。根据本申请提供的一些实施例，训练基础识别模型根据训练语句信息识别得到训练识别意图的过程包括：将训练数据集中的训练语句信息输入基础识别模型中进行迭代训练，每一轮迭代训练中，将训练语句信息输入基础识别模型进行本轮训练处理，获取本轮训练中与训练语句信息对应的训练识别意图，也即本轮识别意图。本申请一些较为具体的实施例中，基础识别模型可以包括卷积层、特征处理网络以及全连接层，每一轮迭代训练中，基础识别模型的卷积层用于将获取到的训练语句信息进行向量化，特征处理网络则用于对向量化之后的训练语句信息进行训练意图特征的提取，之后经由全连接层基于训练意图特征得到各类语义意图的本轮分数，并基于各类语义意图的本轮分数得到对训练语句信息的本轮识别意图。需要说明的是，全连接层基于训练意图特征得到各类语义意图的本轮分数，是对训练意图特征所表示的语义意图进行分类的过程，全连接层基于各类预设意图信息所对应的预设向量特征，对训练意图特征进行相似性比对，若训练意图特征与某一类预设向量特征越相似，则该类预设向量特征所对应的预设意图信息就与训练语句信息的语义意图越接近。故而，本申请一些实施例中将全连接层打分最高的那一类预设意图信息确定为本轮识别意图。在多意图识别的场景下，本申请一些实施例中还可以将打分较高的多类预设意图信息确定为多个本轮识别意图。应理解，每一轮迭代训练中的训练处理可以包括，但不限于上述举出的具体实施例。

步骤S302，每一轮迭代训练后，将本轮识别意图与训练意图标签进行比对，计算基础识别模型的识别准确率并对基础识别模型的参数进行第一类更新；

根据本申请提供的一些实施例，每一轮迭代训练后，将本轮识别意图与训练意图标签中与本轮训练语句信息对应的语义意图进行比对，计算基础识别模型的识别准确率并对基础识别模型进行第一类更新。需要说明的是，在训练数据集中，每一个训练语句信息都配置有对应的训练意图标签，其中，训练意图标签用于标识训练语句信息准确的语义意图。本申请一些示例性的实施例中，当训练数据集包括多个训练语句信息和与多个训练语句信息分别对应的训练意图标签，即可对基础识别模型进行有监督的优化训练，从而在优化训练中提升基础识别模型的语义意图识别能力，最终得到能够准确识别语义意图的意图识别模型。应理解，每一轮迭代训练后，将本轮识别意图与本轮训练语句信息对应的训练意图标签进行比对，等同于将本轮识别意图与本轮训练语句信息对应的准确语义意图进行比对，故而，将本轮识别意图与本轮训练语句信息对应的训练意图标签进行比对，即可计算出基础识别模型在本轮迭代训练后的识别准确率，从而进一步对基础识别模型的参数进行第一类更新。需要明确，对基础识别模型的参数进行第一类更新，指的是对基础识别模型中与识别准确率有关的内部参数进行调整所形成的更新。

步骤S303，统计基础识别模型在每一轮迭代训练后的指标变化情况，当识别准确率收敛于第一定值，得到训练好的意图识别模型。

需要说明的是，当识别准确率收敛于第一定值，即可停止迭代训练并得到训练好的意图识别模型，其中第一定值指的是：随着迭代训练的不断进行，对基础识别模型的内部参数进行数轮调整后，基础识别模型的识别准确率收敛值。本申请提供的一些实施例中，基础识别模型的识别准确率将会稳定在某一误差区间内，例如基础识别模型的识别准确率在86％到88％区间内波动，则可以认为定值为87％。应理解，第一定值不是一个确切不变的值，而是一个会随训练条件发生变化的值。当基础识别模型的识别准确率收敛于第一定值，判定优化训练已达较佳效果，即可停止迭代训练，其中，停止迭代训练后得到的基础识别模型即意图识别模型，通过优化训练得到的意图识别模型，能够准确识别对话交流语句的语义意图。根据本申请提供的一些实施例，随着迭代训练的进行，基础识别模型识别训练语句信息之语义意图的能力将得到提升。

根据本申请的一些实施例，基于训练数据集对基础识别模型进行优化训练，得到意图识别模型，还包括：每一轮迭代训练后，计算基础识别模型的损失函数输出值并对基础识别模型的参数进行第二类更新。

需要说明的是，当损失函数输出值收敛于第二定值，即可停止迭代训练并得到训练好的意图识别模型，其中第二定值指的是：在对基础识别模型的内部参数进行数轮调整后，基础识别模型的损失函数输出收敛值。本申请提供的一些实施例中，基础识别模型的损失函数输出值将会稳定在某一误差区间内，例如基础识别模型的损失函数输出值在6％到8％区间内波动，则可以认为定值为7％。应理解，第二定值不是一个确切不变的值，而是一个会随训练条件发生变化的值。本申请一些示例性的实施例中，随着迭代训练的进行，基础识别模型识别训练语句信息之语义意图的能力将得到提升，当基础识别模型的损失函数输出值收敛于第二定值，判定优化训练已达较佳效果，即可停止迭代训练，其中，停止迭代训练后得到的基础识别模型即意图识别模型，通过优化训练得到的意图识别模型，能够准确识别对话交流语句的语义意图。需要明确，对基础识别模型的参数进行第二类更新，指的是对基础识别模型中与损失函数有关的内部参数进行调整所形成的更新。

参照图4，本申请一些较为具体的实施例中，每一轮迭代训练后，计算基础识别模型的损失函数输出值并对基础识别模型的参数进行第二类更新，包括：

步骤S401，根据本轮迭代训练中的训练语句信息对训练意图标签进行划分，其中，与本轮训练语句信息匹配的训练意图标签被划定为目标类别集合Ω_pos，与本轮训练语句信息不匹配的训练意图标签被划定为非目标类别集合Ω_neg；

根据本申请一些示例性的实施例，训练数据集包括多个训练语句信息和训练意图标签，训练意图标签包括与各个训练语句信息相匹配的语义意图。需要明确，训练语句信息指的是用于优化训练的语句信息，在训练数据集中，每一个训练语句信息都配置有对应的训练意图标签，其中，训练意图标签用于标识训练语句信息准确的语义意图。因此，在明确了本轮迭代训练中的训练语句信息之后，即可确定训练数据集中的哪一部分训练意图标签，用于标识本轮训练语句信息之准确语义意图。本申请一些实施例中，将用于标识本轮训练语句信息之准确语义意图的训练意图标签划定为目标类别集合Ω_pos，将其余不用于标识本轮训练语句信息之准确语义意图的训练意图标签划定为非目标类别集合Ω_neg，即可完成对训练意图标签进行划分。应理解，由于在训练数据集中，每一个训练语句信息都配置有对应的训练意图标签，故而当本轮迭代训练的训练语句信息一经确定，则可以对训练意图标签进行划分。

步骤S402，每一轮迭代训练后，通过下列解析式计算基础识别模型的损失函数Circle Loss的输出值：

故而，

其中，s_i为本轮迭代训练中非目标类别集合Ω_neg的得分，s_j为本轮迭代训练中目标类别集合Ω_pos的得分，γ为缩放因子，m为样本间隔；

根据本申请提供的一些实施例，深度特征学习有两种基本范式，分别是使用类标签和使用正负样本对标签进行学习。其一，使用类标签时，一般需要用分类损失函数(例如softmax结合cross entropy)来优化样本和权重向量之间的相似度；其二，使用样本对标签时，通常用度量损失函数(比如triplet损失)来优化样本之间的相似度。这两种学习方法之间并无本质区别，其目标都是最大化类内相似度(SP)和最小化类间相似度(SN)。从这个角度看，很多常用的损失函数(例如triplet损失函数、softmax损失函数及其变体)有着相似的优化模式：它们会将SN和SP组合成相似度对(Similarity Pair)来优化样本之间的相似度，并试图减小(SN-SP)。需要说明的是，这种对称式的优化方法容易出现优化缺乏灵活性、收敛状态不明确等问题。

需要说明的是，损失函数Circle Loss的优点包括但不限于以下三个方面：其一，Circle Loss统一的损失函数。从统一的相似度配对优化角度出发，它为两种基本学习范式(即使用类别标签和使用样本对标签的学习)提出了统一的损失函数；其二，灵活的优化方式。在训练期间，向SN或SP的梯度反向传播会根据权重来调整幅度大小，其中，优化状态不佳的相似度分数，会被分配更大的权重因子，并因此获得更大的更新梯度；其三，CircleLoss具备明确的收敛状态，这种明确的优化目标有利于提高基础识别模型的特征鉴别能力。基于上述原因，本申请一些较为优选的实施例，选用了Circle Loss作为本申请实施例中基础识别模型的损失函数。

步骤S403，基于损失函数Circle Loss的输出值，对基础识别模型的参数进行第二类更新。

需要说明的是，每一轮迭代训练后，即可计算得到基础识别模型的损失函数Circle Loss的输出值，并以损失函数Circle Loss的输出值对基础识别模型的参数进行第二类更新。需要明确，对基础识别模型的参数进行第二类更新，指的是对基础识别模型中与损失函数有关的内部参数进行调整所形成的更新。

参照图5，根据本申请的一些实施例，统计基础识别模型在每一轮迭代训练后的指标变化情况，当识别准确率收敛于第一定值，得到训练好的意图识别模型，包括：

步骤S501，统计识别准确率、损失函数输出值在每一轮迭代训练后的变化情况；

根据本申请提供的一些实施例，当训练数据集包括多个训练语句信息和与多个训练语句信息分别对应的训练意图标签，即可对基础识别模型进行有监督的优化训练，从而在优化训练中提升基础识别模型的语义意图识别能力，最终得到能够准确识别语义意图的意图识别模型。需要明确，本申请对话应答方法中，需要对意图识别模型进行优化训练的原因在于，确保意图识别模型能够准确识别对话交流语句中的语义意图。因此，一些较为优选的实施例中，在将对话交流语句输入意图识别模型之前，需要预先对基础识别模型进行有监督的优化训练，以得到能够准确识别语义意图的意图识别模型。而在有监督的优化训练过程中，经过每一轮或者每几轮迭代训练就需要对基础识别模型的指标变化情况进行统计，根据基础识别模型的指标变化情况判断，当识别准确率收敛于第一定值，即可说明基础识别模型根据训练语句信息识别得到的训练识别意图，与训练语句信息准确语义意图对应的训练意图标签较为接近。而当损失函数输出值收敛于第二定值，即可说明基础识别模型根据训练语句信息识别得到的训练识别意图，与训练语句信息准确语义意图对应的训练意图标签之间的预测差距较小。

步骤S502，当识别准确率收敛于第一定值并且损失函数输出值收敛于第二定值，得到训练好的意图识别模型。

根据本申请提供的一些实施例，优化训练指的是对基础识别模型语义意图识别能力进行优化的训练。需要说明的是，当识别准确率收敛于第一定值并且损失函数输出值收敛于第二定值，则说明基础识别模型根据训练语句信息识别得到的训练识别意图，与训练语句信息准确语义意图对应的训练意图标签较为接近，同时，训练识别意图与训练语句信息准确语义意图对应的训练意图标签之间的预测差距较小。应理解，优化训练基础识别模型使得识别准确率收敛于第一定值，能够优化基础识别模型从众多预设意图信息找出与训练识别意图最接近预设意图信息的能力(从众多预设意图信息挑选出最接近的意图信息)，而优化训练基础识别模型使得损失函数输出值收敛于第二定值，则能够进一步拉近基础识别模型得出的训练识别意图与预设意图信息之间的差距(将识别得到的训练识别意图与最接近的预设意图信息之间的相似度进一步优化)。因此，当识别准确率收敛于第一定值并且损失函数输出值收敛于第二定值，得到训练好的意图识别模型，该模型不仅能够对对话交流语句中的语义意图类型作出较为准确的判定，而且获取到更为准确、更符合预设意图信息表述形式的目标意图信息，以便于从预设数据库中匹配得到应答语句。故而，本申请一些较为优选的实施例中，当识别准确率收敛于第一定值并且损失函数输出值收敛于第二定值，即可得到训练好的意图识别模型。

参照图6，根据本申请的一些实施例，基于目标意图信息从预设数据库中匹配得到应答语句，包括:

步骤S601，对目标意图信息进行解析，得到与对话交流语句对应的多个目标语义意图；

在自动化客服与用户对话时，用户表达的对话交流语句常常并非仅包含一个意图，而是包含有多个意图。例如“我在忙，你是哪位？”这句对话交流语句中包含两个意图：用户忙、询问自动化客服的身份；又例如“我现在在忙，晚十分钟再打给我”对话交流语句中也包含两个意图：用户忙、预计回访时间。因此，自动化客服常常需要具备识别对话交流语句中多个意图的能力。应理解，多意图识别指的是利用人工智能技术对对话信息进行的多维度意图识别的技术。根据本申请提供的一些实施例，当同一条对话交流语句中存在多个目标意图信息时，可以针对多个目标意图信息分别回应对话交流语句，也可以从多个目标意图信息中筛选识别出一个最重要的关键语义意图，再以关键语义意图从预设数据库中匹配得到应答语句，以回应对话交流语句。

步骤S602，按照预设的优先级排序规则从多个目标语义意图中确定关键语义意图；

根据本申请一些较为具体的实施例，当同一条对话交流语句中存在多个目标意图信息时，按照预设的优先级排序规则从多个目标语义意图中确定关键语义意图。需要说明，关键语义意图，指的是多个目标语义意图最为关键的语义意图。应理解，预设的优先级排序规则，指的是预先设置的、对语义意图按照重要程度进行排序的优先级规则。

步骤S603，基于关键语义意图，在预设数据库中匹配得到应答语句。

根据本申请提供的一些较为具体的实施例，优先级排序规则中，可以针对某些业务场景预设一些较高优先级的语义意图。例如，当确定业务场景为用户希望咨询A业务，则可以选择A业务相关的业务答复语句、业务介绍语句作为反馈给用户的应答语句，如若客户进一步表示“我说的不是A业务，而是B业务”，对目标意图信息进行解析，得到与对话交流语句对应的多个目标语义意图(用户指出先前的判断出错、用户指正实际需要咨询的业务类型)，则进一步按照优先级排序规则，先将较高优先级的安抚语句作为应答语句反馈给用户，再将次优先级的B业务相关的业务答复语句、业务介绍语句作为应答语句反馈给用户；又例如，当确定业务场景为用户希望自助充值，则可以选择自助充值相关操作的业务答复语句、业务介绍语句作为反馈给用户的应答语句，如若客户进一步表示“我做错操作了，干脆重新启动好了”，对目标意图信息进行解析，得到与对话交流语句对应的多个目标语义意图(用户操作执行出错、用户希望通过重新启动来修正操作失误)，则进一步按照优先级排序规则，先将较高优先级的提醒语句作为应答语句反馈给用户，告知其无需重新启动，再将次优先级的修正错误操作相关的业务答复语句、业务介绍语句作为应答语句反馈给用户。再例如，当确定业务场景为用户希望转换成人工服务，则可以直接按照优先级排序规则，将最高优先级的人工转接语句作为应答语句反馈给用户。应理解，基于关键语义意图，在预设数据库中匹配得到应答语句可以包括，但不限于上述举出的具体实施例。

参照图7，根据本申请的第二方面实施例的对话应答系统700，包括：

语句获取模块701，用于接收对话交流语句，并将对话交流语句输入意图识别模型，其中，意图识别模型由基础识别模型通过训练语句信息和训练意图标签训练得到；

语句识别模块702，用于经由意图识别模型对对话交流语句进行意图识别，获取目标意图信息；

应答模块703，用以基于目标意图信息从预设数据库中匹配得到应答语句，以回应对话交流语句。

本申请实施例的对话应答系统700中，需要先经由语句获取模块701接收对话交流语句，并将对话交流语句输入语句识别模块702的意图识别模型，其中，意图识别模型由基础识别模型通过训练语句信息和训练意图标签训练得到。进一步，语句识别模块702经由意图识别模型对对话交流语句进行意图识别，获取目标意图信息，最终以应答模块703根据目标意图信息从预设数据库中匹配得到应答语句，以回应对话交流语句。本申请实施例的对话应答系统700，通过语句识别模块702中的意图识别模型来从对话交流语句中识别得到目标意图信息，从而进一步基于应答模块703依照目标意图信息确认应答语句，能够提改善自动化客服在对话应答过程中，依据对话信息选择应答内容的准确性。

图8示出了本申请实施例提供的电子设备800。电子设备800包括：处理器801、存储器802及存储在存储器802上并可在处理器801上运行的计算机程序，计算机程序运行时用于执行上述的对话应答方法。

处理器801和存储器802可以通过总线或者其他方式连接。

存储器802作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如本申请实施例描述的对话应答方法。处理器801通过运行存储在存储器802中的非暂态软件程序以及指令，从而实现上述的对话应答方法。

存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序。存储数据区可存储执行上述的对话应答方法。此外，存储器802可以包括高速随机存取存储器802，还可以包括非暂态存储器802，例如至少一个储存设备存储器件、闪存器件或其他非暂态固态存储器件。在一些实施方式中，存储器802可选包括相对于处理器801远程设置的存储器802，这些远程存储器802可以通过网络连接至该电子设备800。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现上述的对话应答方法所需的非暂态软件程序以及指令存储在存储器802中，当被一个或者多个处理器801执行时，执行上述的对话应答方法，例如，执行图1中的方法步骤S101至步骤S103、图2中的方法步骤S201至步骤S202、图3中的方法步骤S301至步骤S303、图4中的方法步骤S401至步骤S403、图5中的方法步骤S501至步骤S502、图6中的方法步骤S601至步骤S603。

本申请实施例还提供了计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行上述的对话应答方法。

在一实施例中，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，例如，执行图1中的方法步骤S101至步骤S103、图2中的方法步骤S201至步骤S202、图3中的方法步骤S301至步骤S303、图4中的方法步骤S401至步骤S403、图5中的方法步骤S501至步骤S502、图6中的方法步骤S601至步骤S603。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于R对话应答方法、电子设备、存储介质M、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、储存设备存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。还应了解，本申请实施例提供的各种实施方式可以任意进行组合，以实现不同的技术效果。

以上是对本申请的较佳实施进行了具体说明，但本申请并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请精神的共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本申请权利要求所限定的范围内。

Claims (10)

1.一种对话应答方法，其特征在于，包括：

接收对话交流语句，并将所述对话交流语句输入意图识别模型，其中，所述意图识别模型由基础识别模型通过训练语句信息和训练意图标签训练得到；

经由所述意图识别模型对所述对话交流语句进行意图识别，获取目标意图信息；

基于所述目标意图信息从预设数据库中匹配得到应答语句，以回应所述对话交流语句。

2.根据权利要求1所述的方法，其特征在于，所述接收对话交流语句，并将所述对话交流语句输入意图识别模型之前，还包括：

获取训练数据集，所述训练数据集包括多个所述训练语句信息和所述训练意图标签，所述训练意图标签包括与各个所述训练语句信息相匹配的语义意图；

基于所述训练数据集对所述基础识别模型进行优化训练，得到所述意图识别模型。

3.根据权利要求2所述的方法，其特征在于，所述基于所述训练数据集对所述基础识别模型进行优化训练，得到所述意图识别模型，包括：

基于所述训练数据集对所述基础识别模型进行迭代训练，每一轮所述迭代训练中，将所述训练语句信息输入所述基础识别模型进行本轮训练处理，获取与所述训练语句信息对应的本轮识别意图；

每一轮所述迭代训练后，将所述本轮识别意图与所述训练意图标签进行比对，计算所述基础识别模型的识别准确率并对所述基础识别模型的参数进行第一类更新；

统计所述基础识别模型在每一轮所述迭代训练后的指标变化情况，当所述识别准确率收敛于第一定值，得到训练好的所述意图识别模型。

4.根据权利要求3所述的方法，其特征在于，所述基于所述训练数据集对所述基础识别模型进行优化训练，得到所述意图识别模型，还包括：

每一轮所述迭代训练后，计算所述基础识别模型的损失函数输出值并对所述基础识别模型的参数进行第二类更新。

5.根据权利要求4所述的方法，其特征在于，所述每一轮所述迭代训练后，计算所述基础识别模型的损失函数输出值并对所述基础识别模型的参数进行第二类更新，包括：

根据本轮迭代训练中的所述训练语句信息对所述训练意图标签进行划分，其中，与本轮所述训练语句信息匹配的所述训练意图标签被划定为目标类别集合Ω_pos，与本轮所述训练语句信息不匹配的所述训练意图标签被划定为非目标类别集合Ω_neg；

每一轮所述迭代训练后，通过下列解析式计算所述基础识别模型的损失函数CircleLoss的输出值：

其中，s_i为本轮迭代训练中非目标类别集合Ω_neg的得分，s_j为本轮迭代训练中目标类别集合Ω_pos的得分，γ为缩放因子，m为样本间隔；

基于所述损失函数Circle Loss的输出值，对所述基础识别模型的参数进行第二类更新。

6.根据权利要求4或5所述的方法，其特征在于，所述统计所述基础识别模型在每一轮所述迭代训练后的指标变化情况，当所述识别准确率收敛于第一定值，得到训练好的所述意图识别模型，包括：

统计所述识别准确率、所述损失函数输出值在每一轮所述迭代训练后的变化情况；

当所述识别准确率收敛于第一定值并且所述损失函数输出值收敛于第二定值，得到训练好的所述意图识别模型。

7.根据权利要求1至5任一项所述的方法，其特征在于，所述基于所述目标意图信息从预设数据库中匹配得到应答语句，包括:

对所述目标意图信息进行解析，得到与所述对话交流语句对应的多个目标语义意图；

按照预设的优先级排序规则从多个所述目标语义意图中确定关键语义意图；

基于所述关键语义意图，在所述预设数据库中匹配得到所述应答语句。

8.一种对话应答系统，其特征在于，包括：

语句获取模块，用于接收对话交流语句，并将所述对话交流语句输入意图识别模型，其中，所述意图识别模型由基础识别模型通过训练语句信息和训练意图标签训练得到；

语句识别模块，用于经由所述意图识别模型对所述对话交流语句进行意图识别，获取目标意图信息；

应答模块，用以基于所述目标意图信息从预设数据库中匹配得到应答语句，以回应所述对话交流语句。

9.一种电子设备，其特征在于，包括：存储器、处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的对话应答方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至7中任意一项所述的对话应答方法。

Images