CN109376361A

CN109376361A - 一种意图识别方法及装置

Info

Publication number: CN109376361A
Application number: CN201811368504.3A
Authority: CN
Inventors: 韩亮; 韩青; 叶锦宇
Original assignee: Beijing Jiuhu Times Intelligent Technology Co Ltd
Current assignee: Beijing Jiuhu Times Intelligent Technology Co Ltd
Priority date: 2018-11-16
Filing date: 2018-11-16
Publication date: 2019-02-22

Abstract

本申请提供了一种意图识别方法及装置，其中，该方法包括：获取用户的回答文本；根据所述回答文本，生成所述回答文本对应的文本向量；根据所述文本向量以及标记有意图标签的预设样本，确定所述用户的回答文本的行为意图。本申请实施例通过获取用户的回答文本的文本向量，并根据文本向量与标记有意图标签的预设样本确定回答文本的行为意图，提高了判断用户的回答意图的效率和准确度。

Description

一种意图识别方法及装置

技术领域

本申请涉及数据处理分析技术领域，具体而言，涉及一种意图识别方法及装置。

背景技术

随着互联网的快速发展，意图识别技术在搜索、推荐等各个领域中都有较为广泛的应用。尤其是在金融领域，意图识别技术的应用更为频繁。其中，意图识别技术实际上是一种通过分类的办法将自然语句中的实际含义分配到相应的意图种类中的技术。

目前在金融领域中应用的意图识别技术，主要是通过将预设的问题及用户相应的可能的答案存储在服务器中。当出现用户的答案没有存储在服务器中的情况时，则可能出现对用户的意图判断不准确的情况。

发明内容

有鉴于此，本申请实施例的目的在于提供一种意图识别方法及装置，能够通过使用确定用户的回答文本的文本向量，较为精确的识别用户意图，提高金融催收的效率和服务质量。

第一方面，本申请实施例提供了一种意图识别方法，其中，包括：

获取用户的回答文本；

根据所述回答文本，生成所述回答文本对应的文本向量；

根据所述文本向量以及标注有意图标签的预设样本，确定所述用户的回答文本的行为意图。

结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，所述根据所述回答文本，生成所述回答文本对应的文本向量，包括：

将所述回答文本输入语义识别模型，并生成所述回答文本中包含的每个目标词汇对应的词向量；

根据所述词向量，生成所述回答文本对应的文本向量。

结合第一方面第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，其中，所述根据所述词向量，生成所述回答文本对应的文本向量，包括：

将所述回答文本中目标语句包含的目标词汇对应的词向量输入第一特征提取模型，并生成所述目标语句对应的句向量；

将所述回答文本中每个目标语句对应的句向量输入第二特征提取模型，并生成所述回答文本对应的文本向量。

结合第一方面的第二种可能的实施方式，本申请实施例提供了第一方面的第三种可能的实施方式，其中，所述将所述回答文本中目标语句包含的目标词汇对应的词向量输入第一特征提取模型，并生成所述目标语句对应的句向量，包括：

将所述目标词汇对应的每个词向量按照在所述目标语句中的顺序输入所述第一特征提取模型，并生成所述每个词向量对应的第一中间词向量和所述目标语句对应的初始句向量；

将所述每个第一中间词向量与所述初始句向量做内积计算，生成与每个所述第一中间词向量对应的第一中间句向量；

为每个所述中间句向量动态分配权重，确定所述目标语句对应的句向量。

结合第一方面的第二种可能的实施方式，本申请实施例提供了第一方面的第四种可能的实施方式，其中，所述将所述回答文本中每个目标语句对应的句向量输入第二特征提取模型，并生成所述回答文本对应的文本向量，包括：

将所述每个目标语句对应的句向量按照在所述回答文本中的顺序输入所述第二特征提取模型，并生成所述句向量对应的第二中间句向量和所述目标语句对应的初始文本向量；

将所述每个第二中间句向量与所述初始文本向量做内积计算，生成与每个所述第二中间句向量对应的中间文本向量；

为每个所述中间文本向量动态分配权重，确定所述回答文本对应的文本向量。

结合第一方面，本申请实施例提供了第一方面的第五种可能的实施方式，其中，所述根据所述文本向量以及标注有意图标签的预设样本，确定所述用户的回答文本的行为意图，包括：

计算所述文本向量与所述预设样本的样本差值；

根据所述样本差值，确定所述文本向量对应的至少一个意图标签的概率值；

根据所述概率值，确定所述用户的文本向量的行为意图。

第二方面，本申请实施例还提供一种意图识别装置，包括：

获取模块，用于获取用户的回答文本；

生成模块，用于根据所述回答文本，生成所述回答文本对应的文本向量；

确定模块，用于根据所述文本向量以及标注有意图标签的预设样本，确定所述用户的回答文本的行为意图。

结合第二方面，本申请实施例提供了第二方面的第一种可能的实施方式，其中，所述生成模块具体用于：

根据所述词向量，生成所述回答文本对应的文本向量。

第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

第四方面，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

本申请实施例提供的一种意图识别方法及装置，首先获取用户的回答文本，其次，根据用户的回答文本，生成与回答文本对应的文本向量，最后根据文本向量以及标注有意图标签的预设样本，确定用户的回答文本的行为意图。本申请实施例通过生成用户的回答文本对应的文本向量，并通过文本向量获取用户的行为意图，提高了对用户回答文本的意图进行预测的准确性，并提高了金融领域对用户的服务效率和服务质量。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种意图识别方法的流程图；

图2示出了本申请实施例所提供的另一种意图识别方法的流程图；

图3示出了本申请实施例所提供的一种意图识别装置的结构示意图；

图4示出了本申请实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

在金融领域中，利用机器人进行用户服务已经成为一种高可行性的替代人工服务的方案，在降低成本的同时，也可以保证金融服务话术的一致性和高标准的服务质量。现有的方法是，首先对在与用户的多轮对话中可能出现的问题以及用户可能的回答进行预测，并预先存储在服务器中。

但是在机器人智能服务的多轮对话中，机器人不仅仅要讲标准的既定话术，同时也要根据用户的回答，识别出用户的说话意图，并根据用户的意图，智能的调整对话流程策略，以完成整体的金融服务流程。因此，对用户的回答文本的意图识别是整个多轮对话服务流程中最重要的一环。而意图识别是通过分类的方法，将自然语句的实际含义分配到相应的意图种类中。意图识别在搜索、推荐等各个领域都有较为广泛的应用。

基于上述问题，本申请提供的一种意图识别方法及装置，可以较为精确的识别用户的行为意图。如图1所示，首先对本申请实施例所公开的一种意图识别方法进行详细介绍，其中，意图识别方法的步骤包括：

S101，获取用户的回答文本。

这里，获取的用户的回答文本一般是指在金融服务的多轮对话领域中，根据金融产品的特点而涉及的可能的话术。利用机器人以可能的标准问题为起始，以问题引导的方式对用户进行问题的询问，并将用户针对询问的问题的回答文本进行存储。

用户的回答文本可以是通过将用户的回答语音转化为回答文本，经将用户的回答文本进行存储。同时，对获取的回答文本，进行预处理。预处理首先是采用填充(Padding)算法对文本信息进行短补空格和过长截断等操作，从而获取相同的回答文本的文本长度。另外，对回答文本进行分词，然后由于回答文本的语料的长度是短文本，不进行去除停用词处理，以免影响数据内容的完整性和准确性。其中，对回答文本进行去除标点符号处理，在切词时，标点符号会单独切出并进行过滤。

S102，根据所述回答文本，生成所述回答文本对应的文本向量。

这里，根据用户的回答文本生成回答文本对应的文本向量，对应的具体步骤如下：

将回答文本输入语义识别模型，并生成回答文本中包含的每个目标词汇对应的词向量；根据词向量，生成回答文本对应的文本向量。

这里，首先将获取到的用户的回答文本输入预先训练好的语义识别模型。在对语义识别模型进行训练时，将问题与标注了意图标签的预设样本一起输入语义识别模型中。这里的语义识别模型可以是word2vec词向量模型。其中，将前期通过人工服务获取的回答语料进行人工标注并作为预设样本，对于服务流程中每个问题的回答，都有相应种类的意图分类。人工标注的方式主要有两种，一种是专门的数据标注团队对获取的语料进行标注，另一种是通过半监督的方式自动生成标注数据。

具体的，对回答文本进行深度学习向量化处理，将经过分词后的回答文本输入word2vec词向量模型，并对回答文本进行训练，获得用户的回答文本中包括的每一个目标词汇的词向量。

根据获取的目标词汇的词向量生成回答文本对应的文本向量，具体的步骤包括：

将回答文本中目标语句包含的目标词汇对应的词向量输入第一特征提取模型，并生成目标语句对应的句向量；将回答文本中每个目标语句对应的句向量输入第二特征提取模型，并生成回答文本对应的文本向量。

这里，本申请实施例主要是通过对回答文本进行分级，一般回答文本由各个目标语句组成，而目标语句由各个目标词汇组成，因此在目标词汇、目标语句和回答文本之间具有层级联系。通过这种层级关系，获取目标词汇的词向量，生成最终回答文本对应的文本向量。

首先通过词向量获取句向量的具体步骤包括：将目标词汇对应的每个词向量按照在目标语句中的顺序输入第一特征提取模型，并生成每个词向量对应的第一中间词向量和目标语句对应的初始句向量；将每个第一中间词向量与初始句向量做内积计算，生成与每个第一中间词向量对应的第一中间句向量；为每个中间句向量动态分配权重，确定目标语句对应的句向量。

具体的，将回答文本中目标语句包含的目标词汇输入第一特征提取模型，并通过第一特征提取模型生成目标语句对应的句向量。其中，第一特征提取模型是指门控神经网络(Gated Recurrent Unit，GRU)，为了克服递归神经网络(Recurrent Neural Network，RNN)无法很好处理远距离依赖而提出了长短期记忆网络(Long Short-Term Memory，LSTM)，而GRU网络模型则是LSTM的一个变体，GRU网络模型保持了LSTM的效果同时又使结构更加简单，并且使计算速度更加快捷。这里，采用固定长度的GRU神经网络。将各个目标词汇对应的词向量依次输入GRU网络模型中，获取具有上下文顺序特征的向量特征，即目标语句对应的初始句向量。同时，在GRU网络模型的工作过程中，每一个词向量输入后都会有中间向量输出，把这个输出的中间向量作为第一中间词向量。若目标语句中有m个目标词汇，那么就有m个第一中间词向量输出。将得到的初始句向量输入注意力模型，进行注意力函数计算。目标语句的具体含义并不是根据其中包含的所有目标词汇共同表现的，并不是目标语句中包含的所有目标词汇对目标语句的真实意图有决定性作用。对初始句向量进行注意力函数计算的过程如公式1所示，其中，Q是初始句向量，K是第一中间词向量，d_k是注意力模型的调节因子，通过调节因子使得内积不至于太大，影响注意力模型的输出效果。

其中，注意力模型主要是通过将初始句向量与其他第一中间词向量作内积计算，并使用softmax函数为内积计算后输出的第一中间句向量动态分配权重，获得最终的预目标语句对应的句向量。

同时，一般用户的真实意图并不会完全通过回答文本中的所有目标语句来表示，即并不是用户说的每一句目标语句都能真实表达用户的意图。因此，在获得回答文本中包含的各个目标语句对应的句向量后，通过将每个目标语句对应的句向量输入第二特征提取模型，并生成回答文本对应的文本向量。这里文本向量的生成过程与上述句向量的生成过程相似，通过语句向量获取文本向量的具体步骤包括：

将每个目标语句对应的句向量按照在回答文本中的顺序输入所述第二特征提取模型，并生成句向量对应的第二中间句向量和目标语句对应的初始文本向量；将每个第二中间句向量与初始文本向量做内积计算，生成与每个第二中间句向量对应的中间文本向量；每个中间文本向量动态分配权重，确定回答文本对应的文本向量。

具体的，这里的第二特征提取模型也为GRU模型。首先将各个目标语句对应的句向量依次输入GRU网络模型中，获取具有上下文顺序特征的向量特征，即目标语句对应的初始文本向量。同时，在GRU网络模型的工作过程中，每一个句向量输入后都会有中间向量输出，把这个输出的中间向量作为第二中间句向量。若回答文本中有n个目标语句，那么就有n个第二中间句向量输出。将得到的初始文本向量输入注意力模型，进行注意力函数计算。注意力模型主要是通过将初始文本向量与其他第二中间句向量作内积计算，并使用softmax函数为内积计算后输出的中间文本向量动态分配权重，获得最终的回答文本对应的文本向量。另外，对初始文本向量进行注意力函数计算的过程如公式2所示，其中，P是初始句向量，V是第二中间句向量，dk是注意力模型的调节因子，通过调节因子使得内积不至于太大，影响注意力模型的输出效果。

上述过程中引入GRU模型可以考虑到词与词顺序上的关系，经过远距离的计算，距离较远的词所起到的作用降低。而注意力模型可以增强关联较强的目标词汇的权重，并降低关联较小的目标词汇的权重。采用问题特征与答案特征进行注意力函数计算，然后将注意力计算得到的权值应用到答案特征用以加强对问题较为重要的目标词汇的权值，降低对问题不是很重要目标词汇的权值。

S103，根据所述文本向量以及标注有意图标签的预设样本，确定所述用户的回答文本的行为意图。

这里，通过计算文本向量与预设样本的样本差值，并根据样本差值，确定文本向量对应的至少一个意图标签的概率值，最后根据概率值，确定用户的文本向量的行为意图。

具体的，计算文本向量与预设样本的样本差值，即交叉熵，并应用链式法则，得到文本向量对应的分数，并根据分数确定概率值，对概率值进行排序，并选择最大的概率值对应的意图标签为该回答文本对应的行为意图。

本申请实施例通过以目标词汇为单元，将词向量通过GRU模型和注意力模型抽取词汇级特征，并得到表示目标语句的特征向量，即句向量；然后将句向量输入GRU模型和注意力模型，抽取语句级特征得到最终的文本级特征，即文本向量，然后将文本向量通过一个线性表示和softmax函数进行分类，得到回答文本对应的行为意图。如图2所示，将词向量W21、W22、...、W2m输入GRU模型，分别得到与词向量对应的第一中间词向量H21、H22、...、H2m，将第一中间词向量与词向量输入GRU模型后得到的初始句向量Uw，并将Uw分别与各个第一中间词向量输入注意力模型，得到句向量S2。通过相同的方法获得其它句向量S1、...、Sn，并将句向量输入GRU模型得到初始文本向量Us，并且分别得到与句向量对应的第二中间句向量H1、H2、...、Hn，将第二中间句向量与初始文本向量输入注意力模型，得到文本向量V。本申请实施例通过设计一个层级架构的GRU-注意力模型，提升了意图识别的准确性，并根据用户的意图，智能的调整对话流程策略，以完成整体的服务流程，在降低成本的同时，也可以保证服务话术的一致性和高标准的服务质量。

基于同一发明构思，本申请实施例中还提供了与意图识别方法对应的意图识别装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述意图识别方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。如图3所示，本申请实施例还提供一种意图识别装置，其中，包括：

获取模块301，用于获取用户的回答文本；

生成模块302，用于根据所述回答文本，生成所述回答文本对应的文本向量；

确定模块303，用于根据所述文本向量以及标注有意图标签的预设样本，确定所述用户的回答文本的行为意图。

其中，所述生成模块302具体用于：

根据所述词向量，生成所述回答文本对应的文本向量。

本实施例中，获取模块301、生成模块302和确定模块303的具体功能和交互方式，可参见图1对应的实施例的记载，在此不再赘述。

如图4所示，为本申请实施例提供的电子设备的装置示意图，该装置包括处理器41、存储器42和总线43，所述存储器42存储执行指令，当所述装置运行时，所述处理器41与所述存储器42之间通过总线43通信，所述处理器41执行所述执行指令使得所述装置执行如下方法：

获取用户的回答文本；

根据所述回答文本，生成所述回答文本对应的文本向量；

可选地，所述处理器41执行的所述方法中，所述根据所述回答文本，生成所述回答文本对应的文本向量，包括：

根据所述词向量，生成所述回答文本对应的文本向量。

可选地，所述处理器41执行的所述方法中，所述根据所述词向量，生成所述回答文本对应的文本向量，包括：

可选地，所述处理器41执行的所述方法中，所述将所述回答文本中目标语句包含的目标词汇对应的词向量输入第一特征提取模型，并生成所述目标语句对应的句向量，包括：

可选地，所述处理器41执行的所述方法中，所述将所述回答文本中每个目标语句对应的句向量输入第二特征提取模型，并生成所述回答文本对应的文本向量，包括：

可选地，所述处理器41执行的所述方法中，所述根据所述文本向量以及标注有意图标签的预设样本，确定所述用户的回答文本的行为意图，包括：

计算所述文本向量与所述预设样本的样本差值；

根据所述概率值，确定所述用户的文本向量的行为意图。

对应于图1中的意图识别方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述意图识别方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述意图识别方法，从而解决识别用户意图的问题，进而达到提高识别用户意图的准确性，并提升金融服务效率。

本申请实施例所提供的一种意图识别方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种意图识别方法，其特征在于，包括：

获取用户的回答文本；

根据所述回答文本，生成所述回答文本对应的文本向量；

2.根据权利要求1所述的方法，其特征在于，所述根据所述回答文本，生成所述回答文本对应的文本向量，包括：

根据所述词向量，生成所述回答文本对应的文本向量。

3.根据权利要求2所述的方法，其特征在于，所述根据所述词向量，生成所述回答文本对应的文本向量，包括：

4.根据权利要求3所述的方法，其特征在于，所述将所述回答文本中目标语句包含的目标词汇对应的词向量输入第一特征提取模型，并生成所述目标语句对应的句向量，包括：

5.根据权利要求3所述的方法，其特征在于，所述将所述回答文本中每个目标语句对应的句向量输入第二特征提取模型，并生成所述回答文本对应的文本向量，包括：

6.根据权利要求1所述的方法，其特征在于，所述根据所述文本向量以及标注有意图标签的预设样本，确定所述用户的回答文本的行为意图，包括：

计算所述文本向量与所述预设样本的样本差值；

根据所述概率值，确定所述用户的文本向量的行为意图。

7.一种意图识别装置，其特征在于，包括：

获取模块，用于获取用户的回答文本；

8.根据权利要求7所述的装置，其特征在于，所述生成模块具体用于：

根据所述词向量，生成所述回答文本对应的文本向量。

9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至6任意一项所述的一种意图识别方法的步骤。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至6任意一项所述的一种意图识别方法的步骤。