CN114154492A - 一种融合了主题信息的多意图识别方法和系统 - Google Patents

Abstract

本发明涉及自然语言处理和深度学习技术领域，为了提高多意图识别的准确度，提供了一种融合了主题信息的多意图识别方法，包括：1、获取用户的输入文本并对其进行规范化处理得到处理文本；2、获取处理文本中基于句子的主题信息和基于词的主题信息；3、将处理文本与所述基于句子的主题信息进行融合；4、将步骤3中融合后的文本及基于词的主题信息分别转化为向量表示；5、构建意图识别模型并训练；6、将步骤4中转化得到的向量表示输入意图识别模型，得到意图分类结果。一种融合了主题信息的多意图识别系统，包括：文本获取单元、主题获取单元、主题融合单元、向量转换单元及意图分类单元。采用上述结构提高了多意图识别的准确度。

Description

一种融合了主题信息的多意图识别方法和系统

技术领域

本发明涉及自然语言处理和深度学习技术领域，具体是一种融合了主题信息的多意图识别方法和系统。

背景技术

意图识别一直以来都是自然语言理解任务中至关重要的一个环节，随着人工智能技术在自然语言领域的不断发展和应用，越来越多的研究人员开始关注意图识别模块的性能提升。意图识别的定义是让机器理解用户的意图，帮助用户完成特定任务，为用户带来个性化的服务体验。在搜索引擎中，意图识别被用于识别用户输入内容的搜索意图，系统再根据搜索意图优先返回用户想要的结果，此场景下往往是单意图识别任务。在自动对话系统当中，意图识别被用于识别用户的对话目的，对话系统在了解了用户意图后，将匹配相应的子模型来进行处理，此场景下用户通常会表达多种意图。足以见得，意图识别模块在各种应用场景中都是一个不可或缺的上游任务，这个上游任务的准确性直接影响到后续任务甚至整个系统的性能效果。

早期的意图识别任务采用较简单的词表穷举法，通过将句子中的单词与词表进行匹配的方式来获取用户意图，但是这种方法需要大量的人工参与工作，对词表容量和更新速度要求较高，很难实现自动化预测。其次，比较简单的方法叫规则解析法，通过规则来判断句子的意图，这类方法对查询语句的规范化要求较高，且需要大量人工参与规则的制定。

基于统计的意图识别方法在一定程度上缓解了传统方法需要较多人工参与的问题，不过对数据量的要求较高，数据量越大，预测效果越好。深度学习模型的出现让意图识别任务的准确率有了进一步的提升，但是深度学习模型对数据标注的准确性要求较高。

综上所述，现有意图识别模型存在以下几点问题：

1、大部分意图识别模型对训练样本的语义规范性要求较高，但实际的对话过程中，用户的表达往往由于过于口语化导致用语不规范的问题。

2、目前效果较好的意图识别模型多用于识别单意图，当运用到多标签意图识别任务上的时候效果就会变差。

3、大多数意图识别模型都比较依赖庞大的训练数据和准确的标注结果，一旦训练数据不足，模型效果将会有明显下降，数据标签的准确性也对模型的训练有很大的影响。

发明内容

为了提高多意图识别的准确度，本申请提供了一种融合了主题信息的多意图识别方法和系统。

本发明解决上述问题所采用的技术方案是：

一种融合了主题信息的多意图识别方法，包括：

步骤1、获取用户的输入文本并对其进行规范化处理得到处理文本；

步骤2、获取处理文本中基于句子的主题信息和基于词的主题信息；

步骤3、将处理文本与所述基于句子的主题信息进行融合；

步骤4、将步骤3中融合后的文本及基于词的主题信息分别转化为向量表示；

步骤5、构建意图识别模型并训练；

步骤6、将步骤4中转化得到的向量表示输入意图识别模型，得到意图分类结果。

进一步地，所述步骤2具体为：

步骤21、构建主题模型并训练；

步骤22、将处理文本输入训练后的主题模型中以获取基于句子的主题信息和基于词的主题信息。

进一步地，所述主题模型采用概率排序法选取基于句子的主题信息和基于词的主题信息。

进一步地，所述步骤3将处理文本与所述基于句子的主题信息进行融合所采用的方法为全采样融合法或随机采样融合法。

进一步地，所述步骤4具体为采用预训练语言模型将融合后的文本及基于词的主题信息分别转化为向量表示。

进一步地，所述预训练语言模型包括单向特征表示的自回归预训练语言模型、双向特征表示的自编码预训练语言模型或双向特征表示的自回归预训练语言模型。

进一步地，所述步骤5构建意图识别模型包括搭建神经网络基础框架，构建基于词的主题信息融合网络层。

进一步地，所述步骤5进行模型训练时还包括设定损失函数并迭代更新意图识别模型的参数。

一种融合了主题信息的多意图识别系统，包括：

文本获取单元：用于获取用户的输入文本并对输入文本进行规范化处理得到处理文本；

主题获取单元：用于根据处理文本获取基于句子的主题信息和基于词的主题信息；

主题融合单元：用于将处理文本与基于句子的主题信息进行融合；

向量转换单元：用于将主题融合单元中融合后的文本及基于词的主题信息分别转化为向量表示；

意图分类单元：用于根据融合后的文本的向量表示和基于词的主题信息向量表示获取意图分类结果。

本发明相比于现有技术具有的有益效果是：在对输入文本进行处理前，对输入文本进行了规范化处理，解决了实际应用场景中用户表达过于口语化的问题，提高了意图识别的准确率；通过引入主题信息来帮助多标签意图识别模型完成预测，利用句子级别的主题分布去影响意图识别模型对意图个数的判断，从而解决了大多数意图识别模型在多意图识别情况下准确率较低的问题；此外，在所添加的主题信息数据量较少的情况下可以丰富语料信息量，在标注结果不准确的情况下还可以起到标注校正的效果，缓解了大多数意图识别模型过度依赖训练数据规模和数据标注准确性的问题。

附图说明

图1为本申请多意图识别方法的流程图；

图2为多意图识别系统的系统结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，一种融合了主题信息的多意图识别方法，包括：

步骤1、获取用户输入文本并对其进行规范化处理得到处理文本；规范化处理如将文本中所有单词转换为小写，基于规则对文本中的单词和词组进行纠错，删除单词的变形部分并将其还原到词根状态等。

步骤2、获取处理文本中基于句子的主题信息和基于词的主题信息。在本实施例中通过主题模型获取基于句子的主题信息和基于词的主题信息，主题模型采用基于奇异值分解(SVD)的潜在语义分析(LSA)法或基于吉布斯采样的潜在狄利克雷分布(LDA)法获取相关主题分布。为了提高主题模型的准确率，在使用主题模型前需要对模型进行训练，包括获取训练语料，对训练预料中的文本进行预处理，包括去除标点符号、所有单词转化为小写、去掉停用词、对所有单词进行词根还原等，将预处理后的文本放入主题模型进行训练。

将处理文本输入主题模型，得到基于句子的主题信息和基于词的主题信息的方法，包括：采用概率排序法选取所述基于句子的主题信息和基于词的主题信息，具体为：将步骤1中规范化处理后的文本输入训练好的主题模型中，得到规范化后文本的主题分布，选取主题分布中概率最大的k个主题作为当前文本的基于句子的主题，每个主题选取n个单词，选取的k×n个单词即为当前输入文本的基于句子的主题信息。

采用概率排序法选取基于词的主题信息的方法包括：将规范化处理后的文本中的每个单词依次输入训练好的主题模型，得到每个单词的主题分布，选取主题分布中概率最大的m个主题作为当前文本的基于词的主题，每个主题选取n个单词，选取的m×n个单词即为当前输入文本的基于词的主题信息。

步骤3、将处理文本与所述基于句子的主题信息进行融合，融合时可以采用全采样融合法或随机采样融合法。

全采样融合法为：将所述基于句子的主题信息中的全部主题词串接到处理文本之前，构成融合了基于句子主题信息的文本。

随机采样融合法为：随机采样i个(i≤k×n)基于句子的主题信息中的主题词，并将其串接到处理文本之前，构成融合了基于句子主题信息的文本。

步骤4、将步骤3中融合后的文本及基于词的主题信息分别转化为向量表示；在本实施例中采用预训练语言模型进行向量转化，预训练语言模型包括：单向特征表示的自回归预训练语言模型，这样的模型单方向抽取预训练语料文本的特征，如ELMO模型和ULMFiT模型等；双向特征表示的自编码预训练语言模型，以BERT预训练语言模型为主，其衍生模型还有ERINE模型、RoBERTa模型和spanBERT模型；双向特征表示的自回归预训练语言模型，引入了双注意力流和transformer机制，代表模型有XLNet。

步骤5、构建意图识别模型并训练；构建意图识别模型具体包括：搭建神经网络基础框架，构建基于词的主题信息融合网络层。搭建神经网络基础框架包括：基于循环神经网络的深度学习模型，或基于卷积神经网络的深度学习模型，或基于对抗神经网络的深度学习模型。构建基于词的主题信息融合网络层包括：在神经网络基础框架的底层添加一层双向长短期记忆神经网络层，在双向长短期记忆神经网络层的每个时间步上通过因式分解机(FM)算法将基于词的主题信息和步骤4中融合后的文本的向量表示融合，并将融合后的向量表示传入神经网络基础框架的中间层。

在进行模型训练时还包括：设定损失函数及迭代更新所述意图识别模型的参数。

损失函数的设定方法包括：采用最大间隔损失函数来计算真实值与预测值之间的差值。迭代更新意图识别模型参数的方法包括：采用Adam优化器，或采用AdaGrad优化器。通过优化器一次一次地更新模型参数，看损失函数计算出来的真实值和预测值之间的差值是否达到了最小值，如果没有达到最小值，就再一次更新参数，直到损失函数计算出来的差值是最小值为止，以此达到提高模型精度的目的。

意图识别模型的训练方法包含获取训练语料数据，根据实际需求对语料中的文本进行规范化处理，将所述规范化处理后的文本传入训练好的主题模型获取每条文本基于句子的主题信息和基于词的主题信息，将所述规范化处理后的文本和所述主题信息转换为向量表示，将所述向量表示批量放入意图识别模型进行训练。

步骤6、将融合后的文本的向量表示和基于词的主题信息向量表示输入意图识别模型，得到意图分类结果。

实施例2

如图2所示，一种融合了主题信息的多意图识别系统，包括：

文本获取单元：用于获取用户的输入文本并对输入文本进行规范化处理得到处理文本；

主题获取单元：用于根据处理文本获取基于句子的主题信息和基于词的主题信息；

主题融合单元：用于将处理文本与基于句子的主题信息进行融合；

向量转换单元：用于将主题融合单元中融合后的文本及基于词的主题信息分别转化为向量表示；

意图分类单元：用于根据融合后的文本的向量表示和基于词的主题信息向量表示获取意图分类结果。

需要说明的是，本实施例中的各个单元是逻辑意义上的，在具体实施过程中，一个单元可拆分成多个单元，多个单元也可以合并成一个单元。

本申请通过引入主题知识来强化多标签分类任务的预测效果，利用句子级别的主题分布去影响意图识别模型对意图个数的判断，加入词级别的主题信息来丰富每个单词的语义表示，增加语料信息量，同时缓解了传统的基于深度学习的意图识别方法过度依赖标注数据准确性的问题。

Claims (9)

1.一种融合了主题信息的多意图识别方法，其特征在于，包括：

步骤1、获取用户的输入文本并对其进行规范化处理得到处理文本；

步骤2、获取处理文本中基于句子的主题信息和基于词的主题信息；

步骤3、将处理文本与所述基于句子的主题信息进行融合；

步骤4、将步骤3中融合后的文本及基于词的主题信息分别转化为向量表示；

步骤5、构建意图识别模型并训练；

步骤6、将步骤4中转化得到的向量表示输入意图识别模型，得到意图分类结果。

2.根据权利要求1所述的一种融合了主题信息的多意图识别方法，其特征在于，所述步骤2具体为：

步骤21、构建主题模型并训练；

步骤22、将处理文本输入训练后的主题模型中以获取基于句子的主题信息和基于词的主题信息。

3.根据权利要求2所述的一种融合了主题信息的多意图识别方法，其特征在于，所述主题模型采用概率排序法选取基于句子的主题信息和基于词的主题信息。

4.根据权利要求1所述的一种融合了主题信息的多意图识别方法，其特征在于，所述步骤3将处理文本与所述基于句子的主题信息进行融合所采用的方法为全采样融合法或随机采样融合法。

5.根据权利要求1所述的一种融合了主题信息的多意图识别方法，其特征在于，所述步骤4具体为采用预训练语言模型将融合后的文本及基于词的主题信息分别转化为向量表示。

6.根据权利要求5所述的一种融合了主题信息的多意图识别方法，其特征在于，所述预训练语言模型包括单向特征表示的自回归预训练语言模型、双向特征表示的自编码预训练语言模型或双向特征表示的自回归预训练语言模型。

7.根据权利要求1所述的一种融合了主题信息的多意图识别方法，其特征在于，所述步骤5构建意图识别模型包括搭建神经网络基础框架，构建基于词的主题信息融合网络层。

8.根据权利要求7所述的一种融合了主题信息的多意图识别方法，其特征在于，所述步骤5进行模型训练时还包括设定损失函数并迭代更新意图识别模型的参数。

9.一种融合了主题信息的多意图识别系统，其特征在于，包括：

文本获取单元：用于获取用户的输入文本并对输入文本进行规范化处理得到处理文本；

主题获取单元：用于根据处理文本获取基于句子的主题信息和基于词的主题信息；

主题融合单元：用于将处理文本与基于句子的主题信息进行融合；

向量转换单元：用于将主题融合单元中融合后的文本及基于词的主题信息分别转化为向量表示；

意图分类单元：用于根据融合后的文本的向量表示和基于词的主题信息向量表示获取意图分类结果。

Images