CN112183101A - 文本意图识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明涉及人工智能技术领域，提供一种文本意图识别方法、装置、电子设备及存储介质，所述方法包括：获取会话文本进行实体识别得到多个实体；根据会话文本生成第一文本向量，根据多个实体生成实体特征向量；将第一文本向量转换为多个粒度第二文本向量；对多个粒度的第二文本向量进行特征提取得到语义特征向量，拼接语义特征向量及实体特征向量得到模板特征向量确定会话文本对应的意图类别。本发明通过将会话文本转换为语义特征向量和实体特征向量进行拼接确定会话文本的意图类别，增加实体特征辅助意图分类，提高了意图识别的识别准确率，可应用于医疗平台的病历管理，协助医生分析详尽的病历，为制定准确有效的治疗方案提供基础。

Description

文本意图识别方法、装置、电子设备及存储介质

技术领域

本发明涉及人工智能技术领域，具体涉及一种文本意图识别方法、装置、电子设备及存储介质。

背景技术

意图识别是智能机器人核心模块之一，现有的意图识别方法主要有三种，基于规则模板的方法，基于过往日志匹配的方法，基于分类模型的方法，无论是基于日志匹配或者文本分类模型，其本质都是基于人工整理或历史数据进行意图分类，在当前的智能客户对话系统中，例如以下3个句子：句子A：你好，平安银行武汉都市花园社区支行在哪？句子B:你好，平安银行武汉鹦鹉花园社区支行在哪？句子C:你好，我要去平安银行武汉都市花园社区支行？三个句子都是在问地址，且都是武汉同叫“花园社区支行”的地址，其中句子A和句子C是指向一个地址，句子A和句子B由于所处的区不同，导致答案差异会很大，但句子A和句子B的句式及文字都很相似，通过现有的意图识别模型得到的答案为：句子A和句子B的相似性要高于句子A和句子C的相似性，导致意图识别错误。

此外，这种句式相同但意思不同的情况在客服场景下及其常见，例如保险行业保险名目五花八门，差一个字就是不同的险种之间的差别，或者医疗领域中，差一个字就是不同疾病之间的差别，即意图识别粒度较细时，导致意图识别的识别准确率较低。

发明内容

鉴于以上内容，有必要提出一种文本意图识别方法、装置、电子设备及存储介质，通过将会话文本转换为语义特征向量和实体特征向量进行拼接确定会话文本的意图类别，增加实体特征辅助意图分类，提高了意图识别的识别准确率。

本发明的第一方面提供一种文本意图识别方法，所述方法包括：

获取会话文本，并对所述会话文本进行实体识别得到多个实体；

根据所述会话文本生成包含上下文特征的第一文本向量，及根据所述多个实体生成实体特征向量；

通过卷积运算将所述第一文本向量转换为多个粒度第二文本向量；

对所述多个粒度的第二文本向量进行特征提取得到语义特征向量，拼接所述语义特征向量及所述实体特征向量得到模板特征向量；

根据所述模板特征向量确定所述会话文本对应的意图类别。

可选的，所述将所述多个实体转换成实体特征向量包括：

利用词向量映射模型将所述多个实体映射为词向量集合，其中，每个实体对应一个词向量；

计算所述词向量集合的每个维度的均值；

根据所述每个维度的均值生成实体特征向量。

可选的，所述通过卷积运算将所述第一文本向量转换为多个第二文本向量包括：

获取多个预设的卷积核矩阵向量；

针对每一个预设的卷积核矩阵向量，从所述第一文本向量中的起始位置开始逐次滑动直至滑动至所述第一文本向量中的终止位置，获取每次滑动时所述预设的卷积核矩阵向量对应的子矩阵向量；

计算每次滑动时所述预设的卷积核矩阵向量与对应的子矩阵向量的乘积得到多个元素，并累加所述多个元素得到卷积结果；

将每一个预设的卷积核矩阵向量每次滑动时得到的卷积结果作为第二文本向量。

可选的，所述对所述多个粒度的第二文本向量进行特征提取得到语义特征向量包括：

对所述多个粒度的第二文本向量进行最大池化后提取每个粒度的第二文本向量的最大值，并进行拼接得到语义特征向量。

可选的，所述对所述会话文本进行实体识别得到多个实体包括：

将所述会话文本输入至命名实体识别模型中进行实体识别得到多个实体。

可选的，所述命名实体识别模型的训练过程包括：

在预设的训练集中提取训练会话文本；

标注所述训练会话文本对应的训练实体，并基于所述训练实体及所述训练会话文本构建待训练命名实体识别模型的训练样本；

将所述训练样本输入所述待训练命名实体识别模型进行模型训练，获得命名实体识别模型。

可选的，所述将所述会话文本转换为包含上下文特征的第一文本向量包括：

对所述会话文本进行分词操作，得到与所述会话文本对应的字集合；

利用第一词向量映射模型将所述字集合映射为字向量集合；

将所述字向量集合表示为按字序排列的字向量矩阵；

基于所述字向量矩阵，计算每个字向量的上文向量及下文向量；

将每个字向量、所述字向量的上文向量以及所述字向量的下文向量进行拼接，得到包含上下文特征的第一文本向量。

本发明的第二方面提供一种文本意图识别装置，所述装置包括：

获取模块，用于获取会话文本，并对所述会话文本进行实体识别得到多个实体；

生成模块，用于根据所述会话文本生成包含上下文特征的第一文本向量，及根据所述多个实体生成实体特征向量；

转换模块，用于通过卷积运算将所述第一文本向量转换为多个粒度第二文本向量；

拼接模块，用于对所述多个粒度的第二文本向量进行特征提取得到语义特征向量，拼接所述语义特征向量及所述实体特征向量得到模板特征向量；

确定模块，用于根据所述模板特征向量确定所述会话文本对应的意图类别。

本发明的第三方面提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的文本意图识别方法。

本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的文本意图识别方法。

综上所述，本发明所述的一种文本意图识别方法、装置、电子设备及存储介质，通过获取会话文本，并对所述会话文本进行实体识别得到多个实体；根据所述会话文本生成包含上下文特征的第一文本向量，及根据所述多个实体生成实体特征向量；通过卷积运算将所述第一文本向量转换为多个粒度第二文本向量；对所述多个粒度的第二文本向量进行特征提取得到语义特征向量，拼接所述语义特征向量及所述实体特征向量得到模板特征向量；根据所述模板特征向量确定所述会话文本对应的意图类别。

本发明，一方面，通过将所述会话文本输入至命名实体识别模型中进行实体识别得到多个实体，并不断的增加新的训练集进行命名识别模型的训练，提高了识别得到的多个实体的准确率；另一方面，通过将所述语义特征向量与所述实体特征向量进行拼接得到模板特征向量，根据所述模板特征向量确定所述会话文本对应的意图类别，增加实体特征辅助意图分类，增大了不同意图之间的区别，提高了相同意图下文本的相似度，进而提高了意图识别的识别准确率；最后，通过计算对实体进行训练得到的词向量集合的每个维度的均值得到对应的实体特征向量，降低了实体特性向量的维度，提高了提取得到的实体特性向量的准确率。

附图说明

图1是本发明实施例一提供的文本意图识别方法的流程图。

图2是本发明实施例提供的文本向量图。

图3是本发明实施例二提供的文本意图识别装置的结构图。

图4是本发明实施例三提供的电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

实施例一

图1是本发明实施例一提供的文本意图识别方法的流程图。

在本实施例中，所述文本意图识别方法可以应用于电子设备中，对于需要进行文本意图识别的电子设备，可以直接在电子设备上集成本发明的方法所提供的文本意图识别的功能，或者以软件开发工具包(Software Development Kit，SKD)的形式运行在电子设备中。

在本实施例中，所述文本意图识别方法可应用于与机器人进行会话中，使机器人能够理解用户一方的会话文本对应的意图，以便返回与该意图对应的回答。具体地，会话文本的意图可以包括多个大类别会话意图，而每个大类别会话意图中包括多个细粒度意图，例如，会话文本1为：“你好，平安银行武汉都市花园社区支行在哪？”，会话文本2为：“你好，平安银行武汉鹦鹉花园社区支行在哪？”，会话文本3为：“我要去平安银行武汉都市花园社区支行”，会话文本1、会话文本2及会话文本3对应的大类别会话意图为询问地址类意图，会话文本1对应的细粒度意图为：都市花园社区支行，会话文本2对应的细粒度意图为：鹦鹉花园社区支行，会话文本3对应的细粒度意图为：都市花园社区支行。

为了准确的识别出人机对话过程中用户想要表达的意图类别，通过增加实体标注，具体的，增加的实体标注为：城市名：武汉，机构名：都市花园社区支行及鹦鹉花园社区支行来进一步的对原始语句信息进行意图识别。

S11：获取会话文本，并对所述会话文本进行实体识别得到多个实体。

本实施例中，获取用户输入的会话文本，所述会话文本可以为用户通过文字输入设备输入给会话机器人的一系列文字，也可以为所述会话机器人通过音频采集设备，例如，麦克风，通过麦克风对用户会话进行音频采集，并接收音频采集设备采集到的会话音频，通过音频转文本处理将其转换为与该会话音频对应的会话文本，其中，所述会话文本可以由一系列的文字组成，所述文字可以包括，但不限于，字或者词，具体地，所述文字可以为一句话，也可以为一段话。

本实施例中，当获取到会话文本后，识别所述会话文本中的多个实体，其中，所述实体可以是指人名、地名、组织机构名、时间、数字表达等，也可以是根据实际的领域或者需求进行自定义的，例如，保险行业的保险名、银行理财产品名及电商的商品名等可以根据对应的领域进行自定义标注实体。

优选的，所述对所述会话文本进行实体识别得到多个实体包括：

将所述会话文本输入至命名实体识别模型中进行实体识别得到多个实体。

具体的，所述命名实体识别模型的训练过程包括：

在预设的训练集中提取训练会话文本；

标注所述训练会话文本对应的训练实体，并基于所述训练实体及所述训练会话文本构建待训练命名实体识别模型的训练样本；

将所述训练样本输入所述待训练命名实体识别模型进行模型训练，获得命名实体识别模型。

本实施例中，可以预先从不同的数据源获取历史会话文本构建训练集，所述预设的数据源可以为第三方应用平台，也可以为存储有历史会话文本的数据库，在获取历史会话文本构建的训练集之后，标注所述训练对话文本对应的训练实体，并基于所述训练实体及所述训练文本信息构建待训练命名实体识别模型的训练样本；最后将所述训练样本输入所述待训练命名实体识别模型进行模型训练，即可获得命名实体识别模型。

本实施例中，通过不断的增加新的训练集进行命名识别模型的训练，提高了得到多个实体的识别的准确率。

S12：根据所述会话文本生成包含上下文特征的第一文本向量，及根据所述多个实体生成实体特征向量。

本实施例中，所述第一文本向量是提取了会话文本的文本特征对应的文本向量，所述实体特征向量是针对会话文本中的实体进行的实体特征提取得到的实体特征向量。

优选的，所述根据所述会话文本生成包含上下文特征的第一文本向量包括：

对所述会话文本进行分词操作，得到与所述会话文本对应的字集合；

利用第一词向量映射模型将所述字集合映射为字向量集合；

将所述字向量集合表示为按字序排列的字向量矩阵；

基于所述字向量矩阵，计算每个字向量的上文向量及下文向量；

将每个字向量、所述字向量的上文向量以及所述字向量的下文向量进行拼接，得到包含上下文特征的第一文本向量。

本实施例中，可以根据会话文本的语序，对每个词的前一个词和后一个词分别进行特征向量的提取，其中，所述前一个词表示上文的词，所述后一个词表示下文的词，并与当前词合并，得到所述每个词的更新的词向量，所述更新的词向量表示包含了每个词的上下文特征，保存了准确的语义特征，将会话文本中的每个词以所述更新的词向量进行表示，从而可以得到会话文本的包含上下文特征的向量表示为第一文本向量。

进一步的，所述基于所述字向量矩阵，计算每个字向量的上文向量及下文向量包括：

将目标字向量的前一个字向量的上文向量与所述前一个字向量合并，得到所述目标字向量的上文向量；

将目标字向量的后一个字向量的下文向量与所述后一个字向量合并，得到所述目标字向量的下文向量。

本实施例中，所述上文向量是通过将所述目标字向量的前一个字向量的上文向量与所述前一个字向量合并得到的，所述下文向量是通过将目标字向量的后一个字向量的下文向量与所述后一个字向量合并得到的，通过将所述上文向量和所述下文向量进行拼接，得到包含上下文特征的第一文本向量，所述第一文本向量既能够保留会话文本的词序信息，也能够保存较远的词与词之间的联系信息，从而更加全面的对会话文本的语义进行了保留，提高了文本意图识别的准确率。

优选的，所述根据所述多个实体生成实体特征向量包括：

利用词向量映射模型将所述多个实体映射为词向量集合，其中，每个实体对应一个词向量；

计算所述词向量集合的每个维度的均值；

根据所述每个维度的均值得到所述多个实体对应的实体特征向量。

示例性的，获取会话文本为：平安银行武汉都市花园社区支行在哪？提取所述会话文本中的多个实体：实体1：城市名-武汉，实体2：机构名-都市花园社区支行，将所述武汉及所述都市花园社区支行转换为实体体特向量，参阅图2所示，具体地，每个实体对应一个词向量，所有实体特征长度为10，计算所述会话文本的第一维度上的均值为：

采用相同的方法计算得到所述会话文本的每个维度上的均值，根据计算得到的所述会话文本的每个维度的均值，进而得到所述会话文本的多个实体对应的实体特征向量为[0.6,0.5,0.7,0.5,0.4,0.8]。

本实施例中，通过计算对实体进行训练得到的词向量集合的每个维度的均值得到对应的实体特征向量，降低了实体特性向量的维度，提高了提取得到的实体特性向量的准确率。

S13：通过卷积运算将所述第一文本向量转换为多个粒度第二文本向量。

本实施例中，由于会话文本的多样性，转换得到的所述第一文本向量的空间分布比较分散，不利于后续的向量特征提取，通过所述卷积运算将所述第一文本向量进行转换，使所述第一文本向量集中在特定的向量空间得到第二文本向量。

优选的，所述通过卷积运算将所述第一文本向量转换为多个第二文本向量包括：

获取多个预设的卷积核矩阵向量；

针对每一个预设的卷积核矩阵向量，从所述第一文本向量中的起始位置开始逐次滑动直至滑动至所述第一文本向量中的终止位置，获取每次滑动时所述每个预设的卷积核矩阵向量对应的子矩阵向量；

计算每次滑动时所述预设的卷积核矩阵向量与对应的子矩阵向量的乘积得到多个元素，并累加所述多个元素得到卷积结果；

将每一个预设的卷积核矩阵向量每次滑动时得到的卷积结果作为第二文本向量。

本实施例中，卷积核矩阵向量是根据第一文本向量的维度进行预先设置的，可以预先设置多个尺寸的卷积核矩阵向量，然后将所述第一文本向量从初始位置开始逐次滑动得到每个预设的卷积核矩阵向量对应的子矩阵向量，并计算每次滑动时所述预设的卷积核矩阵向量与对应的子矩阵向量的乘积得到多个元素，并累加所述多个元素得到卷积结果，将每一个预设的卷积核矩阵向量每次滑动时得到的卷积结果作为第二文本向量。

示例性的，获取多个预设的卷积核矩阵向量，从所述第一文本向量中的起始位置开始，获取每个预设的卷积核矩阵向量在当前位置的子矩阵向量；执行卷积计算，所述卷积计算包括：计算所述每个预设的卷积核矩阵向量与对应的子矩阵向量对应位置的元素的乘积得到多个元素，并累加所述多个元素得到所述当前位置的卷积结果；及将所述每个预设的卷积核矩阵向量从所述当前位置向下移动一步至下一位置，并获取所述下一位置对应的子矩阵向量；重复执行所述卷积计算，直至完成所述第一文本向量的卷积计算，得到所述每个预设的卷积核矩阵向量对应的第二文本向量。

本实施例中，可以预先设置不同尺寸的卷积核，通过将不同尺寸的卷积核分别与所述第一文本向量进行卷积计算，得到多个粒度的第二文本向量，提高了所述会话文本的特性的多样性。

S14：对所述多个粒度的第二文本向量进行特征提取得到语义特征向量，拼接所述语义特征向量及所述实体特征向量得到模板特征向量。

本实施例中，通过对所述多个粒度的第二文本向量进行特征提取，可以获得所述会话文本的较为全面的语义特征向量，并将所述语义特征向量与所述实体特征向量进行拼接得到所述会话文本的最终特性向量。

优选的，所述对所述多个粒度的第二文本向量进行特征提取得到语义特征向量包括：

对所述多个粒度的第二文本向量进行最大池化后提取每个粒度的第二文本向量的最大值，并进行拼接得到语义特征向量。

本实施例中，每个卷积核对应一个粒度的第二文本向量，对每个粒度的第二文本向量使用池化函数，提取出每个池化后的第二文本向量中的最大特征值，将多个最大特征值进行拼接得到语义特性向量。

在本实施例中，通过增加实体特性向量，并将所述语义特征向量与所述实体特征向量拼接起来，增加了会话文本的细粒度意图，提高了会话文本的意图识别的识别率。

S15：根据所述模板特征向量确定所述会话文本对应的意图类别。

本实施例中，通过将最后拼接得到的最终特性向量通过一个全连接层，并通过softmax层输出最后的类别概率，将所述最后的类别概率作为每个类别的概率值，根据所述每个类别的概率值确定所述会话文本对应的意图类别。

优选的，所述根据所述模板特征向量确定所述会话文本对应的意图类别包括：

通过全连接层计算所述模板特征向量中每个意图类别的分数；

将每个意图类别的分数经过softmax层映射为概率，并选取概率最大的意图类别作为所述会话文本对应的意图类别。

本实施例中，所述全连接层将预设的权重矩阵与输入向量相乘再加上偏置，将所述模板特征向量中的实体映射为对应的每个意图类别的分数，将所述每个意图类别的分数通过softmax层映射为每个类别对应的概率，具体地，所述softmax就是将所述模板特征向量归一化为(0，1)之间的值。

本实施例中，通过将所述语义特征向量与所述实体特征向量进行拼接得到模板特征向量，根据所述模板特征向量确定所述会话文本对应的意图类别，增加实体特征辅助意图分类，增大了不同意图之间的区别，提高了相同意图下文本的相似度，进而提高了意图识别的识别准确率。

本实施例所述的一种文本意图识别方法，通过获取会话文本，并对所述会话文本进行实体识别得到多个实体；根据所述会话文本生成包含上下文特征的第一文本向量，及根据所述多个实体生成实体特征向量；通过卷积运算将所述第一文本向量转换为多个粒度第二文本向量；对所述多个粒度的第二文本向量进行特征提取得到语义特征向量，拼接所述语义特征向量及所述实体特征向量得到模板特征向量；根据所述模板特征向量确定所述会话文本对应的意图类别。

本实施例，一方面，通过将所述会话文本输入至命名实体识别模型中进行实体识别得到多个实体，并不断的增加新的训练集进行命名识别模型的训练，提高了识别得到的多个实体的准确率；另一方面，通过将所述语义特征向量与所述实体特征向量进行拼接得到模板特征向量，根据所述模板特征向量确定所述会话文本对应的意图类别，增加实体特征辅助意图分类，增大了不同意图之间的区别，提高了相同意图下文本的相似度，进而提高了意图识别的识别准确率；最后，通过计算对实体进行训练得到的词向量集合的每个维度的均值得到对应的实体特征向量，降低了实体特性向量的维度，提高了提取得到的实体特性向量的准确率。需要说明的是，本申请可应用于医疗平台的病历管理，可以协助医生分析详尽的病历，为制定准确有效的治疗方案提供基础。

实施例二

图3是本发明实施例二提供的文本意图识别装置的结构图。

在一些实施例中，所述文本意图识别装置30可以包括多个由程序代码段所组成的功能模块。所述文本意图识别装置30中的各个程序段的程序代码可以存储于电子设备的存储器中，并由所述至少一个处理器所执行，以执行(详见图1描述)文本意图识别的功能。

本实施例中，所述文本意图识别装置30根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：获取模块301、生成模块302、转换模块303、拼接模块304及确定模块305。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。

在本实施例中，所述文本意图识别方法可应用于与机器人进行会话中，使机器人能够理解用户一方的会话文本对应的意图，以便返回与该意图对应的回答。具体地，会话文本的意图可以包括多个大类别会话意图，而每个大类别会话意图中包括多个细粒度意图，比如，会话文本1为：“你好，平安银行武汉都市花园社区支行在哪？”，会话文本2为：“你好，平安银行武汉鹦鹉花园社区支行在哪？”，会话文本3为：“我要去平安银行武汉都市花园社区支行”会话文本1、会话文本2及会话文本3对应的大类别会话意图为询问地址类意图，会话文本1对应的细粒度意图为：都市花园社区支行，会话文本2对应的细粒度意图为：鹦鹉花园社区支行，会话文本3对应的细粒度意图为：都市花园社区支行。

为了准确的识别出人机对话过程中用户想要表达的意图类别，通过增加实体标注，具体的，增加的实体标注为：城市名：武汉，机构名：都市花园社区支行及鹦鹉花园社区支行来进一步的对原始语句信息进行意图识别。

获取模块301：用于获取会话文本，并对所述会话文本进行实体识别得到多个实体。

本实施例中，获取用户输入的会话文本，所述会话文本可以为用户通过文字输入设备输入给会话机器人的一系列文字，也可以为所述会话机器人通过音频采集设备，例如，麦克风，通过麦克风对用户会话进行音频采集，并接收音频采集设备采集到的会话音频，通过音频转文本处理将其转换为与该会话音频对应的会话文本，其中，所述会话文本可以由一系列的文字组成，所述文字可以包括，但不限于，字或者词，具体地，所述文字可以为一句话，也可以为一段话。

本实施例中，当获取到会话文本后，识别所述会话文本中的多个实体，其中，所述实体可以是指人名、地名、组织机构名、时间、数字表达等，也可以是根据实际的领域或者需求进行自定义的，例如，保险行业的保险名、银行理财产品名及电商的商品名等可以根据对应的领域进行自定义标注实体。

优选的，所述获取模块301对所述会话文本进行实体识别得到多个实体包括：

将所述会话文本输入至命名实体识别模型中进行实体识别得到多个实体。

具体的，所述命名实体识别模型的训练过程包括：

在预设的训练集中提取训练会话文本；

标注所述训练会话文本对应的训练实体，并基于所述训练实体及所述训练会话文本构建待训练命名实体识别模型的训练样本；

将所述训练样本输入所述待训练命名实体识别模型进行模型训练，获得命名实体识别模型。

本实施例中，可以预先从不同的数据源获取历史会话文本构建训练集，所述预设的数据源可以为第三方应用平台，也可以为存储有历史会话文本的数据库，在获取历史会话文本构建的训练集之后，标注所述训练对话文本对应的训练实体，并基于所述训练实体及所述训练文本信息构建待训练命名实体识别模型的训练样本；最后将所述训练样本输入所述待训练命名实体识别模型进行模型训练，即可获得命名实体识别模型。

本实施例中，通过不断的增加新的训练集进行命名识别模型的训练，提高了得到多个实体的识别的准确率。

生成模块302：用于根据所述会话文本生成包含上下文特征的第一文本向量，及根据所述多个实体生成实体特征向量。

本实施例中，所述第一文本向量是提取了会话文本的文本特征对应的文本向量，所述实体特征向量是针对会话文本中的实体进行的实体特征提取得到的实体特征向量。

优选的，所述生成模块302根据所述会话文本生成包含上下文特征的第一文本向量包括：

对所述会话文本进行分词操作，得到与所述会话文本对应的字集合；

利用第一词向量映射模型将所述字集合映射为字向量集合；

将所述字向量集合表示为按字序排列的字向量矩阵；

基于所述字向量矩阵，计算每个字向量的上文向量及下文向量；

将每个字向量、所述字向量的上文向量以及所述字向量的下文向量进行拼接，得到包含上下文特征的第一文本向量。

本实施例中，可以根据会话文本的语序，对每个词的前一个词和后一个词分别进行特征向量的提取，其中，所述前一个词表示上文的词，所述后一个词表示下文的词，并与当前词合并，得到所述每个词的更新的词向量，所述更新的词向量表示包含了每个词的上下文特征，保存了准确的语义特征，将会话文本中的每个词以所述更新的词向量进行表示，从而可以得到会话文本的包含上下文特征的向量表示为第一文本向量。

进一步的，所述基于所述字向量矩阵，计算每个字向量的上文向量及下文向量包括：

将目标字向量的前一个字向量的上文向量与所述前一个字向量合并，得到所述目标字向量的上文向量；

将目标字向量的后一个字向量的下文向量与所述后一个字向量合并，得到所述目标字向量的下文向量。

本实施例中，所述上文向量是通过将所述目标字向量的前一个字向量的上文向量与所述前一个字向量合并得到的，所述下文向量是通过将目标字向量的后一个字向量的下文向量与所述后一个字向量合并得到的，通过将所述上文向量和所述下文向量进行拼接，得到包含上下文特征的第一文本向量，所述第一文本向量既能够保留会话文本的词序信息，也能够保存较远的词与词之间的联系信息，从而更加全面的对会话文本的语义进行了保留，提高了文本意图识别的准确率。

优选的，所述生成模块301根据所述多个实体生成实体特征向量包括：

利用词向量映射模型将所述多个实体映射为词向量集合，其中，每个实体对应一个词向量；

计算所述词向量集合的每个维度的均值；

根据所述每个维度的均值得到所述多个实体对应的实体特征向量。

示例性的，获取会话文本为：平安银行武汉都市花园社区支行在哪？提取所述会话文本中的多个实体：实体1：城市名-武汉，实体2：机构名-都市花园社区支行，将所述武汉及所述都市花园社区支行转换为实体体特向量，参阅图2所示，具体地，每个实体对应一个词向量，所有实体特征长度为10，计算所述会话文本的第一维度上的均值为：

采用相同的方法计算得到所述会话文本的每个维度上的均值，根据计算得到的所述会话文本的每个维度的均值，进而得到所述会话文本的多个实体对应的实体特征向量为[0.6,0.5,0.7,0.5,0.4,0.8]。

本实施例中，通过计算对实体进行训练得到的词向量集合的每个维度的均值得到对应的实体特征向量，降低了实体特性向量的维度，提高了提取得到的实体特性向量的准确率。

转换模块303：用于通过卷积运算将所述第一文本向量转换为多个粒度第二文本向量。

本实施例中，由于会话文本的多样性，转换得到的所述第一文本向量的空间分布比较分散，不利于后续的向量特征提取，通过所述卷积运算将所述第一文本向量进行转换，使所述第一文本向量集中在特定的向量空间得到第二文本向量。

优选的，所述转换模块303通过卷积运算将所述第一文本向量转换为多个第二文本向量包括：

获取多个预设的卷积核矩阵向量；

针对每一个预设的卷积核矩阵向量，从所述第一文本向量中的起始位置开始逐次滑动直至滑动至所述第一文本向量中的终止位置，获取每次滑动时所述每个预设的卷积核矩阵向量对应的子矩阵向量；

计算每次滑动时所述预设的卷积核矩阵向量与对应的子矩阵向量的乘积得到多个元素，并累加所述多个元素得到卷积结果；

将每一个预设的卷积核矩阵向量每次滑动时得到的卷积结果作为第二文本向量。

本实施例中，卷积核矩阵向量是根据第一文本向量的维度进行预先设置的，可以预先设置多个尺寸的卷积核矩阵向量，然后将所述第一文本向量从初始位置开始逐次滑动得到每个预设的卷积核矩阵向量对应的子矩阵向量，并计算每次滑动时所述预设的卷积核矩阵向量与对应的子矩阵向量的乘积得到多个元素，并累加所述多个元素得到卷积结果，将每一个预设的卷积核矩阵向量每次滑动时得到的卷积结果作为第二文本向量。

示例性的，获取多个预设的卷积核矩阵向量，从所述第一文本向量中的起始位置开始，获取每个预设的卷积核矩阵向量在当前位置的子矩阵向量；执行卷积计算，所述卷积计算包括：计算所述每个预设的卷积核矩阵向量与对应的子矩阵向量对应位置的元素的乘积得到多个元素，并累加所述多个元素得到所述当前位置的卷积结果；及将所述每个预设的卷积核矩阵向量从所述当前位置向下移动一步至下一位置，并获取所述下一位置对应的子矩阵向量；重复执行所述卷积计算，直至完成所述第一文本向量的卷积计算，得到所述每个预设的卷积核矩阵向量对应的第二文本向量。

本实施例中，可以预先设置不同尺寸的卷积核，通过将不同尺寸的卷积核分别与所述第一文本向量进行卷积计算，得到多个粒度的第二文本向量，提高了所述会话文本的特性的多样性。

拼接模块304：用于对所述多个粒度的第二文本向量进行特征提取得到语义特征向量，拼接所述语义特征向量及所述实体特征向量得到模板特征向量。

本实施例中，通过对所述多个粒度的第二文本向量进行特征提取，可以获得所述会话文本的较为全面的语义特征向量，并将所述语义特征向量与所述实体特征向量进行拼接得到所述会话文本的最终特性向量。

优选的，所述拼接模块304对所述多个粒度的第二文本向量进行特征提取得到语义特征向量包括：

对所述多个粒度的第二文本向量进行最大池化后提取每个粒度的第二文本向量的最大值，并进行拼接得到语义特征向量。

本实施例中，每个卷积核对应一个粒度的第二文本向量，对每个粒度的第二文本向量使用池化函数，提取出每个池化后的第二文本向量中的最大特征值，将多个最大特征值进行拼接得到语义特性向量。

本实施例中，通过将所述语义特征向量与所述实体特征向量拼接起来，增加了会话文本的细粒度意图。

确定模块305：用于根据所述模板特征向量确定所述会话文本对应的意图类别。

本实施例中，通过将最后拼接得到的最终特性向量通过一个全连接层，并通过softmax层输出最后的类别概率，将所述最后的类别概率作为每个类别的概率值，根据所述每个类别的概率值确定所述会话文本对应的意图类别。

优选的，所述确定模块305根据所述模板特征向量确定所述会话文本对应的意图类别包括：

通过全连接层计算所述模板特征向量中每个意图类别的分数；

将每个意图类别的分数经过softmax层映射为概率，并选取概率最大的意图类别作为所述会话文本对应的意图类别。

本实施例中，所述全连接层将预设的权重矩阵与输入向量相乘再加上偏置，将所述模板特征向量中的实体映射为对应的每个意图类别的分数，将所述每个意图类别的分数通过softmax层映射为每个类别对应的概率，具体地，所述softmax就是将所述模板特征向量归一化为(0，1)之间的值。

本实施例中，通过将所述语义特征向量与所述实体特征向量进行拼接得到模板特征向量，根据所述模板特征向量确定所述会话文本对应的意图类别，增加实体特征辅助意图分类，增大了不同意图之间的区别，提高了相同意图下文本的相似度，进而提高了意图识别的识别准确率。

本实施例所述的一种文本意图识别装置，通过获取会话文本，并对所述会话文本进行实体识别得到多个实体；根据所述会话文本生成包含上下文特征的第一文本向量，及根据所述多个实体生成实体特征向量；通过卷积运算将所述第一文本向量转换为多个粒度第二文本向量；对所述多个粒度的第二文本向量进行特征提取得到语义特征向量，拼接所述语义特征向量及所述实体特征向量得到模板特征向量；根据所述模板特征向量确定所述会话文本对应的意图类别。

本实施例，一方面，通过将所述会话文本输入至命名实体识别模型中进行实体识别得到多个实体，并不断的增加新的训练集进行命名识别模型的训练，提高了识别得到的多个实体的准确率；另一方面，通过将所述语义特征向量与所述实体特征向量进行拼接得到模板特征向量，根据所述模板特征向量确定所述会话文本对应的意图类别，增加实体特征辅助意图分类，增大了不同意图之间的区别，提高了相同意图下文本的相似度，进而提高了意图识别的识别准确率；最后，通过计算对实体进行训练得到的词向量集合的每个维度的均值得到对应的实体特征向量，降低了实体特性向量的维度，提高了提取得到的实体特性向量的准确率。

实施例三

参阅图4所示，为本发明实施例三提供的电子设备的结构示意图。在本发明较佳实施例中，所述电子设备4包括存储器41、至少一个处理器42、至少一条通信总线43及收发器44。

本领域技术人员应该了解，图4示出的电子设备的结构并不构成本发明实施例的限定，既可以是总线型结构，也可以是星形结构，所述电子设备4还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。

在一些实施例中，所述电子设备4是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述电子设备4还可包括客户设备，所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。

需要说明的是，所述电子设备4仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。

在一些实施例中，所述存储器41用于存储程序代码和各种数据，例如安装在所述电子设备4中的文本意图识别装置30，并在电子设备4的运行过程中实现高速、自动地完成程序或数据的存取。所述存储器41包括只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

在一些实施例中，所述至少一个处理器42可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器42是所述电子设备4的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备4的各个部件，通过运行或执行存储在所述存储器41内的程序或者模块，以及调用存储在所述存储器41内的数据，以执行电子设备4的各种功能和处理数据。

在一些实施例中，所述至少一条通信总线43被设置为实现所述存储器41以及所述至少一个处理器42等之间的连接通信。

尽管未示出，所述电子设备4还可以包括给各个部件供电的电源(比如电池)，可选的，电源可以通过电源管理装置与所述至少一个处理器42逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备4还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分。

在进一步的实施例中，结合图3，所述至少一个处理器42可执行所述电子设备4的操作装置以及安装的各类应用程序(如所述的文本意图识别装置30)、程序代码等，例如，上述的各个模块。

所述存储器41中存储有程序代码，且所述至少一个处理器42可调用所述存储器41中存储的程序代码以执行相关的功能。例如，图3中所述的各个模块是存储在所述存储器41中的程序代码，并由所述至少一个处理器42所执行，从而实现所述各个模块的功能以达到文本意图识别的目的。

在本发明的一个实施例中，所述存储器41存储多个指令，所述多个指令被所述至少一个处理器42所执行以实现文本意图识别的功能。

具体地，所述至少一个处理器42对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种文本意图识别方法，其特征在于，所述文本意图识别方法包括：

获取会话文本，并对所述会话文本进行实体识别得到多个实体；

根据所述会话文本生成包含上下文特征的第一文本向量，及根据所述多个实体生成实体特征向量；

通过卷积运算将所述第一文本向量转换为多个粒度第二文本向量；

对所述多个粒度的第二文本向量进行特征提取得到语义特征向量，拼接所述语义特征向量及所述实体特征向量得到模板特征向量；

根据所述模板特征向量确定所述会话文本对应的意图类别。

2.如权利要求1所述的文本意图识别方法，其特征在于，所述将所述多个实体转换成实体特征向量包括：

利用词向量映射模型将所述多个实体映射为词向量集合，其中，每个实体对应一个词向量；

计算所述词向量集合的每个维度的均值；

根据所述每个维度的均值生成实体特征向量。

3.如权利要求1所述的文本意图识别方法，其特征在于，所述通过卷积运算将所述第一文本向量转换为多个第二文本向量包括：

获取多个预设的卷积核矩阵向量；

针对每一个预设的卷积核矩阵向量，从所述第一文本向量中的起始位置开始逐次滑动直至滑动至所述第一文本向量中的终止位置，获取每次滑动时所述预设的卷积核矩阵向量对应的子矩阵向量；

计算每次滑动时所述预设的卷积核矩阵向量与对应的子矩阵向量的乘积得到多个元素，并累加所述多个元素得到卷积结果；

将每一个预设的卷积核矩阵向量每次滑动时得到的卷积结果作为第二文本向量。

4.如权利要求1所述的文本意图识别方法，其特征在于，所述对所述多个粒度的第二文本向量进行特征提取得到语义特征向量包括：

对所述多个粒度的第二文本向量进行最大池化后提取每个粒度的第二文本向量的最大值，并进行拼接得到语义特征向量。

5.如权利要求1所述的文本意图识别方法，其特征在于，所述对所述会话文本进行实体识别得到多个实体包括：

将所述会话文本输入至命名实体识别模型中进行实体识别得到多个实体。

6.如权利要求5所述的文本意图识别方法，其特征在于，所述命名实体识别模型的训练过程包括：

在预设的训练集中提取训练会话文本；

标注所述训练会话文本对应的训练实体，并基于所述训练实体及所述训练会话文本构建待训练命名实体识别模型的训练样本；

将所述训练样本输入所述待训练命名实体识别模型进行模型训练，获得命名实体识别模型。

7.如权利要求1所述的文本意图识别方法，其特征在于，所述将所述会话文本转换为包含上下文特征的第一文本向量包括：

对所述会话文本进行分词操作，得到与所述会话文本对应的字集合；

利用第一词向量映射模型将所述字集合映射为字向量集合；

将所述字向量集合表示为按字序排列的字向量矩阵；

基于所述字向量矩阵，计算每个字向量的上文向量及下文向量；

将每个字向量、所述字向量的上文向量以及所述字向量的下文向量进行拼接，得到包含上下文特征的第一文本向量。

8.一种文本意图识别装置，其特征在于，所述文本意图识别装置包括：

获取模块，用于获取会话文本，并对所述会话文本进行实体识别得到多个实体；

生成模块，用于根据所述会话文本生成包含上下文特征的第一文本向量，及根据所述多个实体生成实体特征向量；

转换模块，用于通过卷积运算将所述第一文本向量转换为多个粒度第二文本向量；

拼接模块，用于对所述多个粒度的第二文本向量进行特征提取得到语义特征向量，拼接所述语义特征向量及所述实体特征向量得到模板特征向量；

确定模块，用于根据所述模板特征向量确定所述会话文本对应的意图类别。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至7中任意一项所述的文本意图识别方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的文本意图识别方法。

Images