CN112613308A - 用户意图识别方法、装置、终端设备及存储介质 - Google Patents

Abstract

本申请适用于人工智能技术领域，提供了一种用户意图识别方法、装置、终端设备及存储介质，方法包括：获取用户当前时刻输入的对话信息，以及与当前时刻之前的多个时刻对应的历史对话记录；利用长短期记忆网络对对话信息进行特征处理，得到对话特征；以及，利用长短期记忆网络对历史对话记录进行特征处理，得到历史对话特征；通过注意力机制计算对话特征和每个历史对话特征对应的相关性权重；根据相关性权重，对历史对话特征进行加权处理，得到上下文特征；将上下文特征和对话特征输入至分类器中，识别对话信息中的用户意图。采用上述方法对对话信息中的上下文特征和对话特征进行用户意图识别，可提高对对话信息中用户意图识别的准确性。

Description

用户意图识别方法、装置、终端设备及存储介质

技术领域

本申请属于人工智能技术领域，尤其涉及一种用户意图识别方法、装置、终端设备及存储介质。

背景技术

现有技术中，在用户与智能终端之间的多轮对话中，智能终端对用户输入的文本进行语义解析，均是针对文本本身来对当前文本的用户意图进行解析。或者，只根据当前时刻之前的相邻时刻下的历史对话文本，对当前文本的用户意图进行解析。按照上述方式识别当前文本的用户意图准确率较低。

发明内容

本申请实施例提供了一种用户意图识别方法、装置、终端设备及存储介质，可以解决目前对当前文本进行用户意图识别时，其识别当前文本的用户意图准确率低的问题。

第一方面，本申请实施例提供了一种用户意图识别方法，包括：

获取用户当前时刻输入的对话信息，以及与当前时刻之前的多个时刻分别一一对应的历史对话记录；

利用意图识别模型中的长短期记忆网络对所述对话信息进行特征处理，得到所述对话信息的对话特征；以及，

利用所述长短期记忆网络分别对多个历史对话记录进行特征处理，得到每个历史对话记录对应的历史对话特征，所述意图识别模型还包括注意力机制和分类器；

通过所述注意力机制计算所述对话特征和每个历史对话特征对应的相关性权重；

根据多个相关性权重，对所述历史对话特征进行加权处理，得到所述当前时刻的上下文特征；

将所述上下文特征和所述对话特征输入至所述分类器中，识别所述对话信息中的用户意图。

在一实施例中，所述对话信息包括多个文本分词，所述利用意图识别模型中的长短期记忆网络对所述对话信息进行特征处理，得到所述对话信息的对话特征，包括：

按照所述多个文本分词中初始分词至结束分词的正向分词顺序，逐个提取每个文本分词的词特征；

获取当前文本分词的正向相邻融合特征；

将所述当前文本分词的词特征以及所述当前文本分词的正向相邻融合特征，输入至所述长短期记忆网络中进行特征处理，得到所述当前文本分词的正向融合特征，以此得到分别与所述多个文本分词一一对应的正向融合特征；其中，任一文本分词的所述正向相邻融合特征为相邻的前一文本分词的所述正向融合特征；

按照所述多个文本分词中结束分词至初始分词的反向分词顺序，逐个提取每个文本分词的词特征；

获取所述当前文本分词的反向相邻融合特征；

将所述当前文本分词的词特征以及所述当前文本分词的反向相邻融合特征，输入至所述长短期记忆网络中进行特征处理，得到所述当前文本分词的反向融合特征，以此得到分别与所述多个文本分词一一对应的反向融合特征；其中，任一文本分词的所述反向相邻融合特征为相邻的前一文本分词的所述反向融合特征；

将所述结束分词的正向融合特征和所述初始分词的反向融合特征进行特征融合，得到所述对话信息的对话特征。

在一实施例中，所述通过所述注意力机制计算所述对话特征和每个历史对话特征对应的相关性权重，包括：

通过注意力机制对所述对话特征和每个历史对话特征进行处理，根据处理结果计算所述对话信息与每个历史对话记录之间的匹配度；

对所述匹配度进行归一化处理，得到所述对话特征和所述每个历史对话特征的相关性权重。

在一实施例中，所述意图识别模型还包括单层前馈神经网络，所述将所述上下文特征和所述对话特征输入至所述分类器中，识别所述对话信息中的用户意图，包括：

输入所述上下文特征和所述对话特征至单层前馈神经网络中；

将所述上下文特征和所述对话特征分别与所述单层前馈神经网络中的权重矩阵进行乘积求和得到融合特征；

将所述融合特征输入至所述分类器中，识别所述对话信息中的用户意图。

在一实施例中，所述用户意图包括多种意图类别；

所述将所述融合特征输入至所述分类器中，识别所述对话信息中的用户意图，包括：

获取所述分类器预测所述用户意图分别属于每种意图类别的分类概率；

从多个分类概率中确定目标分类概率，并将所述目标分类概率对应的所述意图类别作为所述用户意图的识别结果。

在一实施例中，所述意图识别模型还包括序列标注网络，所述序列标注网络用于对所述对话信息中的多个文本分词进行序列标注；

所述用户意图识别方法，还包括：

分别将所述上下文特征和所述对话特征，输入至序列标注网络中进行命名实体识别，得到与所述多个文本分词一一对应的标注类别；

根据所述标注类别输出目标实体词，所述目标实体词为所述对话信息中的关键信息。

在一实施例中，所述标注类别包括开始类别、中间类别和其它类别；

所述根据所述标注类别输出目标实体词，包括：

确定多个标注类别中，所述开始类别对应的开始文本分词；

确定处于所述开始文本分词之后，与所述开始文本分词相邻且连续的多个中间类别对应的中间文本分词；

将所述开始文本分词以及所述中间文本分词，作为目标实体词。

第二方面，本申请实施例提供了一种用户意图识别装置，包括：

获取模块，用于获取用户当前时刻输入的对话信息，以及与当前时刻之前的多个时刻分别一一对应的历史对话记录；

第一处理模块，用于利用意图识别模型中的长短期记忆网络对所述对话信息进行特征处理，得到所述对话信息的对话特征；

第二处理模块，用于利用所述长短期记忆网络分别对多个历史对话记录进行特征处理，得到每个历史对话记录对应的历史对话特征，所述意图识别模型还包括注意力机制和分类器；

计算模块，用于通过所述注意力机制计算所述对话特征和每个历史对话特征对应的相关性权重；

加权模块，用于根据多个相关性权重，对所述历史对话特征进行加权处理，得到所述当前时刻的上下文特征；

识别模块，用于将所述上下文特征和所述对话特征输入至所述分类器中，识别所述对话信息中的用户意图。

第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面任一项所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面任一项所述的方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的方法。

在本实施例中，通过获取到当前时刻输入的对话信息，以及当前时刻之前的每个时刻下的历史对话记录，并对对话信息和每个历史对话记录均进行特征处理。之后，利用注意力机制计算对话特征和每个历史对话特征对应的相关性权重，并根据相关性权重对每个历史对话特征进行加权处理，得到上下文本特征。以此，可从多个历史对话特征中获得更多与对话信息相关的细节信息，进而，使经过注意力机制处理后得到的上下文特征，能够好的表示多个历史对话记录中的重要信息。基于此，可提高分类器根据上下文特征和对话特征，识别对话信息中用户意图的准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的一种用户意图识别方法的实现流程图；

图2是本申请一实施例提供的一种用户意图识别方法的S102的一种实现方式示意图；

图3是本申请一实施例提供的一种用户意图识别方法的S104的一种实现方式示意图；

图4是本申请一实施例提供的一种用户意图识别方法的S106的一种实现方式示意图；

图5是本申请一实施例提供的一种用户意图识别方法的S1063的一种实现方式示意图；

图6是本申请另一实施例提供的一种用户意图识别方法的实现流程图；

图7是本申请一实施例提供的一种用户意图识别方法的S108的一种实现方式示意图；

图8是本申请实施例提供的一种用户意图识别方装置的结构框图；

图9是本申请实施例提供的一种终端设备的结构框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

本申请实施例提供的用户意图识别方法可以应用于平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC))等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。

图1示出了本发明实施例提供的用户意图识别方法的实现流程图，详述如下：

S101、获取用户当前时刻输入的对话信息，以及与当前时刻之前的多个时刻分别一一对应的历史对话记录。

在应用中，上述对话信息为用户在当前时刻下输入的文本信息，可以为用户咨询某一具体业务的咨询信息。其中，对话信息的输入形式包括但不限于语音输入形式、文字输入形式、图片传输形式。其中，对于上述语音输入形式，可以采用语音转换技术将语音转换为文本信息。同样的，图片传输形式，可以采用图片识别技术从图片中提取文本信息。

在应用中，上述历史对话记录为当前时刻之前，用户与终端设备在每个时刻下进行交互的对话信息。可以理解的是，对于任一当前时刻，若当前时刻之前具有多个时刻，则之前的每个时刻均对应有一段历史对话记录。对应的，可将其表示为H(i)＝(h1，h2，...，hi)，其中，Hi为i时刻之前的多个时刻的历史对话记录集合，hn为i时刻之前的第n个时刻的历史对话记录，其中，1≤n≤i-1。

在应用中，终端设备可以实时获取用户输入的对话信息并进行存储，也可以为终端设备在指定存储路径下获取的对话记录，并将当前时刻处理的文本信息作为用户当前时刻输入的对话信息，以及将对话记录中当前时刻之前的对话信息作为历史对话记录。可以理解的是，对话记录中需要同时包含每个文本信息的对话时间，以此确定对话记录中多个时刻分别一一对应的历史对话记录。

S102、利用意图识别模型中的长短期记忆网络对所述对话信息进行特征处理，得到所述对话信息的对话特征。

S103、利用所述长短期记忆网络分别对多个历史对话记录进行特征处理，得到每个历史对话记录对应的历史对话特征，所述意图识别模型还包括注意力机制和分类器。

在应用中，意图识别模型由长短期记忆网络、注意力机制和分类器等多种神经网络结构组成。其中，上述长短期记忆网络用于对对话信息和历史对话记录分别进行编码处理，得到可被终端设备理解的对话特征。上述注意力机制可用于计算出各个历史对话记录对对话信息的影响，并可根据该影响从每个历史对话记录中获得更多所需要关注的细节信息，并抑制其它无用信息。进而，使经过注意力机制处理后得到的特征，能够表示历史对话记录中的重要信息。上述分类器可用于根据经过注意力机制处理后得到特征进行用户意图识别，对用户意图的意图类别进行分类。

在应用中，上述对话特征可以理解为向量数据，长短期记忆网络可以采用嵌入(Embedding)方式对对话信息进行向量提取。其中，Embedding为把高维原始数据(图像，句子)映射到低维流形，使得高维的原始数据被映射到低维流形之后变得可分。例如，可把多个词组成的句子映射到一个表征向量进行表示。

具体的，可在终端设备内部预先设置词向量库，该词向量库中包含多个词的词向量。在提取对话信息的对话特征时，可在词向量库中确定与对话信息中每个文本词一致的词，以及确定该词的词向量。以此，生成多个文本词组成的对话信息的对话特征。示例性的，对于对话信息为“咨询人身保险”，对应的词向量数据可分别为[710，795，632，303，451，379]。基于此，可认为提取到的对话特征为：U＝(U1，U2，…，Um)，其中，m可以理解为对话信息中共有m个分词，Um为提取到的第m个分词的词向量，U为根据对话信息提取到的对话特征。可以理解的是，长短期记忆网络对各个历史对话记录进行处理得到历史对话特征的过程，与对对话信息进行处理得到对话特征的过程类似，对此不再进行说明。

S104、通过所述注意力机制计算所述对话特征和每个历史对话特征对应的相关性权重。

在应用中，上述S103中已对注意力机制进行解释说明，对此不再进行论述。其中，对于输入的各个历史对话特征以及对话特征，因特征均为相应的词向量数据。因此，可统计对话特征与各个历史对话特征之间词向量数据相同的个数，并计算其与词向量数据的总个数的比值，将比值作为对话特征和各个历史对话特征之间的匹配度。需要补充的是，因对话特征与各个历史对话特征之间的维度不同，难以参与匹配度计算。因此，可先统一每个特征(对话特征和历史对话特征)维度。例如，对于维度低的对话特征或历史记录特征，可在其词向量数据之后增加特殊数值(例如0)，以增加其词向量数据的维度，使其能够更好的计算相应的匹配度。

在应用中，上述计算得到匹配度可以在一定程度上体现对话特征与各个历史对话特征之间的相关性权重。或者，也可以为，根据匹配度使用预先设置的权重计算公式，对计算得到的匹配度再次进行修正，并将修正后的结果作为相关性权重，对此不作限定。

S105、根据多个相关性权重，对所述历史对话特征进行加权处理，得到所述当前时刻的上下文特征。

在应用中，在得到每个历史对话特征与对话特征的相关性权重后，可对其进行加权求和处理，得到当前时刻的上下文特征。具体的，上述上下文特征HCi可以用于表示整个历史对话记录的向量信息，其可根据多个相关性权重与对应的历史对话特征进行加权求和得到。具体的，计算公式可以为：

其中，aij表示第j个历史对话记录hj对当前时刻(i时刻)的对话信息hi的重要程度(相关性权重)，Tx为多个历史对话记录的数量，HCi为当前时刻得到的上下文特征，f(xj)表示为第j个历史对话记录hj的历史对话特征。

S106、将所述上下文特征和所述对话特征输入至所述分类器中，识别所述对话信息中的用户意图.

在应用中，上述S103中已对分类器进行说明，对此不再进行论述。其中，在应用中，上述分类器可包括但不限于softmax分类器、sigmoid分类器。其中，softmax分类器可用于根据输入的上下文特征和对话特征，预测出对话信息中的用户意图属于哪一种意图类别的概率。需要说明的是，需要识别的用户意图的意图类别包括但不限于询问、回复、通知等意图类别。因此，softmax分类器可以根据上下文特征和对话特征预测出其属于每一类用户意图的概率，并根据概率值的大小，将概率值最大对应的意图类别作为用户意图。可以理解的是，因用户意图的类别具有多类，若使用sigmoid分类器只能得到具体属于哪一类用户意图的概率，其更适用于二分类的分类场景。

在本实施例中，通过获取到当前时刻输入的对话信息，以及当前时刻之前的每个时刻下的历史对话记录，并对对话信息和每个历史对话记录均进行特征处理。之后，利用注意力机制计算对话特征和每个历史对话特征对应的相关性权重，并根据相关性权重对每个历史对话特征进行加权处理，得到上下文本特征。以此，可从多个历史对话特征中获得更多与对话信息相关的细节信息，进而，使经过注意力机制处理后得到的上下文特征，能够好的表示多个历史对话记录中的重要信息。基于此，可提高分类器根据上下文特征和对话特征，识别对话信息中用户意图的准确率。

参照图2，在一实施例中，所述对话信息包括多个文本分词，S102利用意图识别模型中的长短期记忆网络对所述对话信息进行特征处理，得到所述对话信息的对话特征中，还包括如下子步骤S1021-S1027，详述如下：

S1021、按照所述多个文本分词中初始分词至结束分词的正向分词顺序，逐个提取每个文本分词的词特征。

在应用中，上述对话信息中包含的多个文本分词可以为，终端设备将对话信息中的每个字符作为一个文本分词，也可以为将对话信息中的词与预设分词库中包含的分词进行比较。例如，从对话信息中，将与预设分词库中分词一致的词作为文本分词，对此不作限定。

在应用中，上述对话信息可以为一句话，也可以为一段话。因此，可认为每个文本分词在对话信息中均具有相应的分词顺序，使每个文本分词可以连成一段对话信息。上述正向分词顺序可认为是从对话信息中的第一个文本分词(初始分词)至最后一个文本分词(结束分词)的顺序。上述提取文本分词的词特征已在上述S103中进行描述，对此不在进行论述。

S1022、获取当前文本分词的正向相邻融合特征。

S1023、将所述当前文本分词的词特征以及所述当前文本分词的正向相邻融合特征，输入至所述长短期记忆网络中进行特征处理，得到所述当前文本分词的正向融合特征，以此得到分别与所述多个文本分词一一对应的正向融合特征；其中，任一文本分词的所述正向相邻融合特征为相邻的前一文本分词的所述正向融合特征。

在应用中，上述S1023中已说明任一文本分词的正向相邻融合特征为相邻的前一文本分词的所述正向融合特征。基于此，可以理解的是，终端设备在获取到对话信息后，对于初始分词而言，其为对话信息的第一个分词，也即初始文本词不存在相邻的前一文本分词的正向融合特征。因此，初始文本词的正向融合特征是通过将初始分词的词特征输入至长短期记忆网络模型中进行特征处理得到。

可以理解的是，上述正向相邻融合特征为相邻的前一文本分词的正向融合特征。上述正融合特征为根据当前文本分词的词特征以及当前文本分词的正向相邻融合特征，进行特征处理后得到。即可认为对于当前文本分词的正向融合特征来讲，其融合了正向相邻融合特征的特征因素在内，而正向相邻融合特征同样的包含了当前文本分词之前的多个文本分词的特征因素在内。因此，可认为结束分词的正向融合特征即涵盖了整个对话信息的特征。

S1024、按照所述多个文本分词中结束分词至初始分词的反向分词顺序，逐个提取每个文本分词的词特征。

S1025、获取所述当前文本分词的反向相邻融合特征。

S1026、将所述当前文本分词的词特征以及所述当前文本分词的反向相邻融合特征，输入至所述长短期记忆网络中进行特征处理，得到所述当前文本分词的反向融合特征，以此得到分别与所述多个文本分词一一对应的反向融合特征；其中，任一文本分词的所述反向相邻融合特征为相邻的前一文本分词的所述反向融合特征。

在应用中，上述反向分词顺序可认为是从对话信息中的最后一个文本分词(结束分词)至第一个文本分词(初始分词)的顺序。可以理解的是，上述反向融合特征的处理过程具体与S1023中的正向融合特征类似，具体可参照上述S1023中描述内容，对此不再进行描述。

S1027、将所述结束分词的正向融合特征和所述初始分词的反向融合特征进行特征融合，得到所述对话信息的对话特征。

在应用中，上述将结束分词的正向融合特征和初始分词的反向融合特征进行特征融合，可以理解为进行向量拼接融合。例如，结束分词的正向融合特征为Ua＝(C1，C2，…，CA)，其维度为A。初始分词的反向融合特征为Ub＝(D1，D2，…，DB)，其维度为B，则得到对话特征为U＝(C1，C2，…，CA，D1，D2，…，DB)，其维度为A+B。

需要说明的是，本实施例中的记忆长短期网络为双向记忆长短期网络，正向融合特征可认为通过正向的记忆长短期网络学习到的特征，其可认为该正向融合特征可用于表示对话信息中句法方面的特征。而通过反向的记忆长短期网络学习到的反向融合特征，其可认为更倾向于学习对话信息中词义方面的相关特征。因此，在本实施例中，对结束分词正向融合特征和反向融合特征进行特征融合，可使得融合后的对话特征能够更好的表示对话信息中的词义信息、句法信息、上下文相关的语义信息等综合信息。以此，可提高分类器在根据对话特征进行用户意图识别时的准确率。

参照图3，在一实施例中，S104通过所述注意力机制计算所述对话特征和每个历史对话特征对应的相关性权重，还包括如下子步骤S1041-S1042，详述如下：

S1041、通过注意力机制对所述对话特征和每个历史对话特征进行处理，根据处理结果计算所述对话信息与每个历史对话记录之间的匹配度。

在应用中，上述通过注意力机制对对话特征和每个历史对话特征进行处理可以为，对于输入的对话特征和历史对话特征分别进行编码和解码处理。其中，编码处理为将对话特征和历史对话特征的输入压缩到一个固定长度的向量中。解码处理为将固定长度的向量当做是输入的对话特征和历史对话特征的语义概要，并进行初始化，每次初始化将产生新的特征编码(处理结果)，以此形成新的对话特征和历史对话特征。进而，进而根据处理结果计算对话信息与每个历史对话记录之间的匹配度。其中，计算匹配度的步骤已在上述S104中进行描述，对此不再进行说明。

S1042、对所述匹配度进行归一化处理，得到所述对话特征和所述每个历史对话特征的相关性权重。

在应用中，上述归一化处理可通过softmax函数进行处理，其可将一个含任意实数的K维向量“压缩”到另一个K维实向量中，使得每一个元素的范围都在之间，并且所有元素的和为1。具体的，对于计算得到的多个匹配度，可采用如下公式计算相关性权重，

其中，eij为i时刻的对话信息和第j个历史对话记录之间的匹配度，当匹配度越高时，说明该历史对话记录对对话信息的影响越大，则aij的值也就越大。另外，对匹配度进行归一化，可以用于凸显其中最大的值，并抑制远低于最大值的其他分量，使其能够根据相关性权重，从多个历史对话记录中，得到更能体现出上下文特征的向量信息。

参照图4，在一实施例中，所述意图识别模型还包括单层前馈神经网络，S106将所述上下文特征和所述对话特征输入至所述分类器中，识别所述对话信息中的用户意图，还包括如下子步骤S1061-S1063，详述如下：

S1061、输入所述上下文特征和所述对话特征至单层前馈神经网络中。

S1062、将所述上下文特征和所述对话特征分别与所述单层前馈神经网络中的权重矩阵进行乘积求和得到融合特征。

在应用中，上述前馈神经网络可以利用上下文特征对对话特征进行修正，得到当前时刻下的融合特征。以使得终端设备可根据修正后的融合特征更准确的识别出对话信息中的用户意图。

具体的，上述单层前馈神经网络只包含一个输出层，输出层上的节点值(融合特征)通过输入值(上下文特征和对话特征)乘以权重矩阵得到。其中，单层前馈神经网络中的权重矩阵可以为业务人员预先进行神经网络模型训练得到。即预先设置单层前馈神经网络以及其内部的初始权重矩阵，将训练样本作为单层前馈神经网络的输入数据，经过初始权重矩阵的计算后，得到的样本输出数据。之后，计算样本输出数据与输入数据之间的误差，并使用该误差对权重矩阵进行调整，得到训练后的单层前馈神经网络中的权重矩阵。可以理解的是，上述对话特征不包含上下文信息(历史对话记录的信息)，但在与包含了上下文信息(历史对话记录的信息)的上下文特征，经过单层前馈神经网路的权重矩阵进行处理后得到的融合特征，即可认为该融合特征包含了上下文信息以及对话信息。

S1063、将所述融合特征输入至所述分类器中，识别所述对话信息中的用户意图。

在应用中，上述S1062已说明融合特征包含了上下文信息以及对话信息，且经过单层前馈神经网络中的权重矩阵对特征进行修正。基于此，分类器根据融合特征进行用户意图识别时，可提高分类器对用户意图识别的准确率。

参照图5，在一实施例中，所述用户意图包括多种意图类别；S1063将所述融合特征输入至所述分类器中，识别所述对话信息中的用户意图，还包括如下子步骤S10631-S10632，详述如下：

S10631、获取所述所述分类器预测所述用户意图分别属于每种意图类别的分类概率。

S10632、从多个分类概率中确定目标分类概率，并将所述目标分类概率对应的所述意图类别作为所述用户意图的识别结果。

在应用中，上述S106已说明分类器为softmax分类器，其可预测出用户意图其属于每一种意图的概率值。基于此，可根据每一种意图对应的概率值大小，将概率值最大对应的意图作为该对话信息中的用户意图。具体可参照上述S106中的内容，对此不再进行描述。

参照图6，在一实施例中，所述意图识别模型还包括序列标注网络，所述序列标注网络用于对所述对话信息中的多个文本分词进行序列标注；所述用户意图识别方法，还包括如下步骤S107-S108，详述如下：

S107、分别将所述上下文特征和所述对话特征，输入至序列标注网络中进行命名实体识别，得到与所述多个文本分词一一对应的标注类别。

S108、根据所述标注类别输出目标实体词，所述目标实体词为所述对话信息中的关键信息。

在应用中，上述序列标注网络可用于对对话信息中多个文本分词进行序列标注，以确定对话信息中的实体内容(关键信息)。其中，序列标注网络包括但不限于FNN网络模型(基于因子分解机的神经网络模型)、CRF网络模型(条件随机场网络模型)。可以理解的是，序列标注网络可基于经过长短期记忆网络、注意力机制和单层前馈神经网络进行处理后得到的融合特征，对对话信息中的多个文本分词进行标注。从而，可在保证对多个文本分词进行命名实体识别时准确性的基础上，减少序列标注网络对多个文本分词进行特征处理的处理时间。

需要说明的是，上述在对对话信息中的每个文本分词进行序列标注时，除了需要依次将对话信息中的每个文本分词的词特征输入至序列标注网络，还同时需要将带上下文本信息的融合特征输入至序列标注网络中。使得序列标注网络可基于上下文信息，对当前文本分词进行序列标注。

在应用中，上述标注类别包括开始类别、中间类别和其它类别。上述命名实体识别可采用BIO标注实体名词，其中，BIO标注：将每个元素标注为“B-X”、“I-X”或者“O”。其中，“B-X”表示此元素(分词)所在的片段属于X类型并且此元素在此片段的开头(即开始类别)，“I-X”表示此元素所在的片段属于X类型并且此元素在此片段的中间位置(即中间类别)，“O”表示不属于任何类型(即其他类别)。上述根据标注类别输出目标实体词，可认为是将开始类别和中间类别对应的文本分词，作为目标实体词。

需要说明的是，采用上述序列标注网络对对话信息进行用户意图识别时，可使用经过S101至S105进行处理后得到的融合特征，分别对序列标注网络和分类器进行训练。因此，可以理解为整个意图识别网络模型为端到端进行训练的模型，也就是说不存在多个神经网络模型之间的误差传递，即不容易产生积累误差。进而，可进一步提高意图识别模型同时对对话信息中的用户意图识别和序列标注准确率。不会因提高对对话信息中用户意图识别的准确率，而降低了对对话信息进行序列标注的准确率。

在一实施例中，所述标注类别包括开始类别、中间类别和其它类别；S108根据所述标注类别输出目标实体词，还包括如下子步骤S1081-S1083，详述如下：

S1081、确定多个标注类别中，所述开始类别对应的开始文本分词。

S1082、确定处于所述开始文本分词之后，与所述开始文本分词相邻且连续的多个中间类别对应的中间文本分词。

S1083、将所述开始文本分词以及所述中间文本分词，作为目标实体词。

上述S108中已说明是将开始类别和中间类别对应的文本分词，作为目标实体词，对此不再进行详细说明。

示例性的，对为“咨询人身保险”的当前对话信息进行命名实体识别后，可得到的序列标注类别依次为：O(咨)、O(询)、B-(人)、I-(身)、I-(保)、I-(险)。而上述多个序列标注中，可将B-(人)、I-(身)I-(保)、I-(险)对应的序列标注作为主要信息。且意图识别模型中的分类器，可根据对其进行用户意图识别时，刻确定用户意图为“询问”类别。

在一实施例中，本申请实施例提供一种用户意图识别装置的结构框图。具体的，请参阅图8，图8是本申请实施例提供的一种用户意图识别装置的结构框图。本实施例中用户意图识别装置包括的各模块用于执行图1至图7对应的实施例中的各步骤。具体请参阅图1至图7以及图1至图7所对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参照图8，用户意图识别装置800包括：获取模块810、第一处理模块820、第二处理模块830、计算模块840、加权模块850以及识别模块860，其中：

获取模块810，用于获取用户当前时刻输入的对话信息，以及与当前时刻之前的多个时刻分别一一对应的历史对话记录。

第一处理模块820，用于利用意图识别模型中的长短期记忆网络对所述对话信息进行特征处理，得到所述对话信息的对话特征。

第二处理模块830，用于利用所述长短期记忆网络分别对多个历史对话记录进行特征处理，得到每个历史对话记录对应的历史对话特征，所述意图识别模型还包括注意力机制和分类器.

计算模块840，用于通过所述注意力机制计算所述对话特征和每个历史对话特征对应的相关性权重。

加权模块850，用于根据多个相关性权重，对所述历史对话特征进行加权处理，得到所述当前时刻的上下文特征。

识别模块860，用于将所述上下文特征和所述对话特征输入至所述分类器中，识别所述对话信息中的用户意图。

在一实施例中，所述第一处理模块820还用于：

按照所述多个文本分词中初始分词至结束分词的正向分词顺序，逐个提取每个文本分词的词特征；

获取当前文本分词的正向相邻融合特征；

将所述当前文本分词的词特征以及所述当前文本分词的正向相邻融合特征，输入至所述长短期记忆网络中进行特征处理，得到所述当前文本分词的正向融合特征，以此得到分别与所述多个文本分词一一对应的正向融合特征；其中，任一文本分词的所述正向相邻融合特征为相邻的前一文本分词的所述正向融合特征；

按照所述多个文本分词中结束分词至初始分词的反向分词顺序，逐个提取每个文本分词的词特征；

获取所述当前文本分词的反向相邻融合特征；

将所述当前文本分词的词特征以及所述当前文本分词的反向相邻融合特征，输入至所述长短期记忆网络中进行特征处理，得到所述当前文本分词的反向融合特征，以此得到分别与所述多个文本分词一一对应的反向融合特征；其中，任一文本分词的所述反向相邻融合特征为相邻的前一文本分词的所述反向融合特征；

将所述结束分词的正向融合特征和所述初始分词的反向融合特征进行特征融合，得到所述对话信息的对话特征。

在一实施例中，计算模块840，还用于：

通过注意力机制对所述对话特征和每个历史对话特征进行处理，根据处理结果计算所述对话信息与每个历史对话记录之间的匹配度；

对所述匹配度进行归一化处理，得到所述对话特征和所述每个历史对话特征的相关性权重。

在一实施例中，所述意图识别模型还包括单层前馈神经网络，识别模块860还用于：

输入所述上下文特征和所述对话特征至单层前馈神经网络中；

将所述上下文特征和所述对话特征分别与所述单层前馈神经网络中的权重矩阵进行乘积求和得到融合特征；

将所述融合特征输入至所述分类器中，识别所述对话信息中的用户意图。

在一实施例中，所述用户意图包括多种意图类别；识别模块860还用于：

获取所述分类器预测所述用户意图分别属于每种意图类别的分类概率；

从多个分类概率中确定目标分类概率，并将所述目标分类概率对应的所述意图类别作为所述用户意图的识别结果。

在一实施例中，所述意图识别模型还包括序列标注网络，所述序列标注网络用于对所述对话信息中的多个文本分词进行序列标注；用户意图识别装置还包括如下模块：

输入模块，用于分别将所述上下文特征和所述对话特征，输入至序列标注网络中进行命名实体识别，得到与所述多个文本分词一一对应的标注类别。

输出模块，用于根据所述标注类别输出目标实体词，所述目标实体词为所述对话信息中的关键信息。

在一实施例中，所述标注类别包括开始类别、中间类别和其它类别；输出模块还用于：

确定多个标注类别中，所述开始类别对应的开始文本分词；

确定处于所述开始文本分词之后，与所述开始文本分词相邻且连续的多个中间类别对应的中间文本分词；

将所述开始文本分词以及所述中间文本分词，作为目标实体词。

应当理解的是，图8示出的用户意图识别装置的结构框图中，各单元/模块用于执行图1至图7对应的实施例中的各步骤，而对于图1至图7对应的实施例中的各步骤已在上述实施例中进行详细解释，具体请参阅图1至图7以及图1至图7所对应的实施例中的相关描述，此处不再赘述。

图9是本申请另一实施例提供的一种终端设备的结构框图。如图9所示，该实施例的终端设备90包括：处理器91、存储器92以及存储在存储器92中并可在处理器91运行的计算机程序93，例如用户意图识别方法的程序。处理器91执行计算机程序93时实现上述各个用户意图识别方法各实施例中的步骤，例如图1所示的S101至S106。或者，处理器91执行计算机程序93时实现上述图8对应的实施例中各模块的功能，例如，图8所示的模块810至860的功能，具体请参阅图8对应的实施例中的相关描述。

示例性的，计算机程序93可以被分割成一个或多个单元，一个或者多个单元被存储在存储器92中，并由处理器91执行，以完成本申请。一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序93在终端设备90中的执行过程。例如，计算机程序93可以被分割成获取模块、第一处理模块、第二处理模块、计算模块、加权模块以及识别模块，各模块具体功能可参阅图8对应的实施例中的相关描述。

终端设备可包括，但不仅限于，处理器91、存储器92。本领域技术人员可以理解，图9仅仅是终端设备90的示例，并不构成对终端设备90的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器91可以是中央处理单元，还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器92可以是终端设备90的内部存储单元，例如终端设备90的硬盘或内存。存储器92也可以是终端设备90的外部存储设备，例如终端设备90上配备的插接式硬盘，智能存储卡，闪存卡等。进一步地，存储器92还可以既包括终端设备90的内部存储单元也包括外部存储设备。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种用户意图识别方法，其特征在于，包括：

获取用户当前时刻输入的对话信息，以及与当前时刻之前的多个时刻分别一一对应的历史对话记录；

利用意图识别模型中的长短期记忆网络对所述对话信息进行特征处理，得到所述对话信息的对话特征；以及，

利用所述长短期记忆网络分别对多个历史对话记录进行特征处理，得到每个历史对话记录对应的历史对话特征，所述意图识别模型还包括注意力机制和分类器；

通过所述注意力机制计算所述对话特征和每个历史对话特征对应的相关性权重；

根据多个相关性权重，对所述历史对话特征进行加权处理，得到所述当前时刻的上下文特征；

将所述上下文特征和所述对话特征输入至所述分类器中，识别所述对话信息中的用户意图。

2.如权利要求1所述的用户意图识别方法，其特征在于，所述对话信息包括多个文本分词，所述利用意图识别模型中的长短期记忆网络对所述对话信息进行特征处理，得到所述对话信息的对话特征，包括：

按照所述多个文本分词中初始分词至结束分词的正向分词顺序，逐个提取每个文本分词的词特征；

获取当前文本分词的正向相邻融合特征；

将所述当前文本分词的词特征以及所述当前文本分词的正向相邻融合特征，输入至所述长短期记忆网络中进行特征处理，得到所述当前文本分词的正向融合特征，以此得到分别与所述多个文本分词一一对应的正向融合特征；其中，任一文本分词的所述正向相邻融合特征为相邻的前一文本分词的所述正向融合特征；

按照所述多个文本分词中结束分词至初始分词的反向分词顺序，逐个提取每个文本分词的词特征；

获取所述当前文本分词的反向相邻融合特征；

将所述当前文本分词的词特征以及所述当前文本分词的反向相邻融合特征，输入至所述长短期记忆网络中进行特征处理，得到所述当前文本分词的反向融合特征，以此得到分别与所述多个文本分词一一对应的反向融合特征；其中，任一文本分词的所述反向相邻融合特征为相邻的前一文本分词的所述反向融合特征；

将所述结束分词的正向融合特征和所述初始分词的反向融合特征进行特征融合，得到所述对话信息的对话特征。

3.如权利要求1所述的用户意图识别方法，其特征在于，所述通过所述注意力机制计算所述对话特征和每个历史对话特征对应的相关性权重，包括：

通过注意力机制对所述对话特征和每个历史对话特征进行处理，根据处理结果计算所述对话信息与每个历史对话记录之间的匹配度；

对所述匹配度进行归一化处理，得到所述对话特征和所述每个历史对话特征的相关性权重。

4.如权利要求1-3任一所述的用户意图识别方法，其特征在于，所述意图识别模型还包括单层前馈神经网络，所述将所述上下文特征和所述对话特征输入至所述分类器中，识别所述对话信息中的用户意图，包括：

输入所述上下文特征和所述对话特征至单层前馈神经网络中；

将所述上下文特征和所述对话特征分别与所述单层前馈神经网络中的权重矩阵进行乘积求和得到融合特征；

将所述融合特征输入至所述分类器中，识别所述对话信息中的用户意图。

5.如权利要求4所述的用户意图识别方法，其特征在于，所述用户意图包括多种意图类别；

所述将所述融合特征输入至所述分类器中，识别所述对话信息中的用户意图，包括：

获取所述分类器预测所述用户意图分别属于每种意图类别的分类概率；

从多个分类概率中确定目标分类概率，并将所述目标分类概率对应的所述意图类别作为所述用户意图的识别结果。

6.如权利要求2所述的用户意图识别方法，其特征在于，所述意图识别模型还包括序列标注网络，所述序列标注网络用于对所述对话信息中的多个文本分词进行序列标注；

所述用户意图识别方法，还包括：

分别将所述上下文特征和所述对话特征，输入至序列标注网络中进行命名实体识别，得到与所述多个文本分词一一对应的标注类别；

根据所述标注类别输出目标实体词，所述目标实体词为所述对话信息中的关键信息。

7.如权利要求6所述的用户意图识别方法，其特征在于，所述标注类别包括开始类别、中间类别和其它类别；

所述根据所述标注类别输出目标实体词，包括：

确定多个标注类别中，所述开始类别对应的开始文本分词；

确定处于所述开始文本分词之后，与所述开始文本分词相邻且连续的多个中间类别对应的中间文本分词；

将所述开始文本分词以及所述中间文本分词，作为目标实体词。

8.一种用户意图识别装置，其特征在于，包括：

获取模块，用于获取用户当前时刻输入的对话信息，以及与当前时刻之前的多个时刻分别一一对应的历史对话记录；

第一处理模块，用于利用意图识别模型中的长短期记忆网络对所述对话信息进行特征处理，得到所述对话信息的对话特征；

第二处理模块，用于利用所述长短期记忆网络分别对多个历史对话记录进行特征处理，得到每个历史对话记录对应的历史对话特征，所述意图识别模型还包括注意力机制和分类器；

计算模块，用于通过所述注意力机制计算所述对话特征和每个历史对话特征对应的相关性权重；

加权模块，用于根据多个相关性权重，对所述历史对话特征进行加权处理，得到所述当前时刻的上下文特征；

识别模块，用于将所述上下文特征和所述对话特征输入至所述分类器中，识别所述对话信息中的用户意图。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

Images