CN113051385B - 意图识别的方法、介质、装置和计算设备 - Google Patents

Abstract

本公开的实施方式提供了一种意图识别的方法、介质、装置和计算设备。该方法包括：获取待识别的文本数据，使用文本分类模型按照类别粗细分层对所述文本数据进行识别，使用小样本学习模型对所述文本数据进行识别，对所述文本分类模型的识别结果和所述小样本学习模型的识别结果进行融合，得到意图识别结果。本公开实施例能够降低标注数据的人工成本以及对样本和人工标注结果的依赖程度，更适应真实场景中不断新增意图类别及不平衡数据的情况，能够获得更高的准确率。

Description

意图识别的方法、介质、装置和计算设备

技术领域

本公开的实施方式涉及文本分类技术领域，更具体地，本公开的实施方式涉及意图识别的方法、介质、装置和计算设备。

背景技术

本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是相关技术。

意图识别是智能客服实现自动答复用户问题的关键一环，其是指对用户的问题抽象化总结为人的话语想法。目前，具备一定泛化性识别能力的基于统计特征的机器学习模型，成为大部分智能客服意图识别方案的首选。该方案首先由人工定义用户的问题并收集线上真实问题，然后根据已设定的意图逐条进行标注，得到文本分类模型，最后使用该模型识别智能客服中用户问题所属的意图。

上述方案虽然模型稳定、方案成熟，但是，由于一种意图平均需要上百个表达丰富的样本，才能够达到上线识别的要求，导致要求标注的数据量巨大，因此，需要消耗很多人力满足标注数据量和质的要求，人工成本较高，且比较依赖人工标注的结果。

发明内容

本公开期望提供一种意图识别的方法和装置。

在本公开实施方式的第一方面中，提供了一种意图识别的方法，包括：

获取待识别的文本数据；

使用文本分类模型按照类别粗细分层对所述文本数据进行识别；

使用小样本学习模型对所述文本数据进行识别；

对所述文本分类模型的识别结果和所述小样本学习模型的识别结果进行融合，得到意图识别结果。

在本公开的一个实施例中，所述文本分类模型划分的类别包括第一层意图类别和第二层意图类别，且所述第二层意图类别的粗细粒度细于所述第一层意图类别的粗细粒度。

在本公开的一个实施例中，所述使用文本分类模型按照类别粗细分层对所述文本数据进行识别，包括：

使用文本分类模型对所述文本数据进行编码；

对所述编码后的文本数据，分别按照所述第一层意图类别和第二层意图类别进行特征抽取；

根据所述特征抽取得到的特征矩阵，计算所述文本数据在所述第一层意图类别和第二层意图类别的各类别的概率分布。

在本公开的一个实施例中，所述对所述编码后的文本数据，分别按照所述第一层意图类别和第二层意图类别进行特征抽取，包括：

对所述编码后的文本数据，按照所述第一层意图类别进行特征抽取；

对所述编码后的文本数据，结合所述第一层意图类别特征抽取得到的特征矩阵，按照所述第二层意图类别进行特征抽取。

在本公开的一个实施例中，所述根据所述特征抽取得到的特征矩阵，计算所述文本数据在所述第一层意图类别和第二层意图类别的各类别的概率分布，包括：

对所述第一层意图类别的特征矩阵进行归一化操作，得到所述文本数据在所述第一层意图类别中各类别的概率分布；

对所述第二层意图类别的特征矩阵进行掩膜的归一化操作，得到所述文本数据在所述第二层意图类别中各类别的概率分布。

在本公开的一个实施例中，所述小样本学习模型在训练过程中使用来自同一个场景的查询集和支撑集进行训练。

在本公开的一个实施例中，所述对所述文本分类模型的识别结果和所述小样本学习模型的识别结果进行融合，得到意图识别结果，包括：

使用预设的阈值，分别确定出所述文本分类模型的第一识别结果及所述小样本学习模型的第二识别结果各自对应的置信度级别；

将所述第一识别结果和所述第二识别结果进行比较，根据比较结果是否符合预设的投票规则，对所述置信度级别进行级别调整，将级别调整后的第一识别结果和第二识别结果作为意图识别结果。

在本公开的一个实施例中，所述根据比较结果是否符合预设的投票规则，对所述置信度级别进行级别调整，包括：

若所述第一识别结果和第二识别结果有交集，则将二者的置信度级别均进行升级调整；

若所述第一识别结果和第二识别结果无交集，则对所述第一识别结果和第二识别结果的置信度级别中的至少之一，进行降级调整或维持原级别。

在本公开的一个实施例中，所述若所述第一识别结果和第二识别结果有交集，则将二者的置信度级别均进行升级调整，包括：

若所述第一识别结果和第二识别结果有交集，且对应的置信度级别均为中等或以上的级别，则将每个置信度级别都提高一个级别。

在本公开的一个实施例中，所述若所述第一识别结果和第二识别结果无交集，则对所述第一识别结果和第二识别结果的置信度级别中的至少之一，进行降级调整或维持原级别，包括：

若所述第一识别结果和第二识别结果无交集，则将所述第一识别结果和第二识别结果的置信度级别中，原来为强的级别降级为中等，原来为中等的保持不变。

在本公开的一个实施例中，所述方法还包括：

若所述第一识别结果和第二识别结果其中之一识别出其他类别，则将另一个识别结果对应的置信度级别降低一个级别；其中，所述其他类别为所述文本分类模型和小样本学习模型划分的类别以外的类别。

在本公开实施方式的第二方面中，提供了一种意图识别的装置，包括：

获取模块，用于获取待识别的文本数据；

第一识别模块，用于使用文本分类模型按照类别粗细分层对所述文本数据进行识别；

第二识别模块，用于使用小样本学习模型对所述文本数据进行识别；

融合模块，用于对所述文本分类模型的识别结果和所述小样本学习模型的识别结果进行融合，得到意图识别结果。

在本公开的一个实施例中，所述文本分类模型划分的类别包括第一层意图类别和第二层意图类别，且所述第二层意图类别的粗细粒度细于所述第一层意图类别的粗细粒度。

在本公开的一个实施例中，所述第一识别模块包括：

编码单元，用于使用文本分类模型对所述文本数据进行编码；

特征抽取单元，用于对所述编码后的文本数据，分别按照所述第一层意图类别和第二层意图类别进行特征抽取；

计算单元，用于根据所述特征抽取得到的特征矩阵，计算所述文本数据在所述第一层意图类别和第二层意图类别的各类别的概率分布。

在本公开的一个实施例中，所述特征抽取单元具体用于：

对所述编码后的文本数据，按照所述第一层意图类别进行特征抽取；

对所述编码后的文本数据，结合所述第一层意图类别特征抽取得到的特征矩阵，按照所述第二层意图类别进行特征抽取。

在本公开的一个实施例中，所述计算单元具体用于：

对所述第一层意图类别的特征矩阵进行归一化操作，得到所述文本数据在所述第一层意图类别中各类别的概率分布；

对所述第二层意图类别的特征矩阵进行掩膜的归一化操作，得到所述文本数据在所述第二层意图类别中各类别的概率分布。

在本公开的一个实施例中，所述小样本学习模型在训练过程中使用来自同一个场景的查询集和支撑集进行训练。

在本公开的一个实施例中，所述融合模块包括：

确定单元，用于使用预设的阈值，分别确定出所述文本分类模型的第一识别结果及所述小样本学习模型的第二识别结果各自对应的置信度级别；

融合单元，用于将所述第一识别结果和所述第二识别结果进行比较，根据比较结果是否符合预设的投票规则，对所述置信度级别进行级别调整，将级别调整后的第一识别结果和第二识别结果作为意图识别结果。

在本公开的一个实施例中，所述调整单元包括：

比较子单元，用于将所述第一识别结果和所述第二识别结果进行比较；

第一调整子单元，用于若所述第一识别结果和第二识别结果有交集，则将二者的置信度级别均进行升级调整；

第二调整子单元，用于若所述第一识别结果和第二识别结果无交集，则对所述第一识别结果和第二识别结果的置信度级别中的至少之一，进行降级调整或维持原级别；

融合子单元，用于将级别调整后的第一识别结果和第二识别结果作为意图识别结果。

在本公开的一个实施例中，所述第一调整子单元具体用于：

若所述第一识别结果和第二识别结果有交集，且对应的置信度级别均为中等或以上的级别，则将每个置信度级别都提高一个级别。

在本公开的一个实施例中，所述第二调整子单元具体用于：

若所述第一识别结果和第二识别结果无交集，则将所述第一识别结果和第二识别结果的置信度级别中，原来为强的级别降级为中等，原来为中等的保持不变。

在本公开的一个实施例中，所述调整单元还包括：

第三调整子单元，用于若所述第一识别结果和第二识别结果其中之一识别出其他类别，则将另一个识别结果对应的置信度级别降低一个级别；其中，所述其他类别为所述文本分类模型和小样本学习模型划分的类别以外的类别。

在本公开实施方式的第三方面中，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现上述意图识别的方法的步骤。

在本公开实施方式的第四方面中，提供了一种计算设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现意图识别的方法的步骤。

根据本公开实施方式的意图识别的方法和装置，可以对文本数据进行意图识别，通过使用文本分类模型按照类别粗细分层对该文本数据进行识别，并且使用小样本学习模型对该文本数据进行识别，将两个模型的识别结果融合后得到意图识别结果。由于采用文本分类模型和小样本学习模型相结合，用小样本学习模型的优点弥补文本分类模型的缺点，不仅降低了标注数据的人工成本，以及意图识别场景对样本的依赖程度和对人工标注结果的依赖程度，而且文本分类模型基于类别粗细分层进行识别，更适应真实场景中不断新增意图类别及不平衡数据的情况，能够获得更高的准确率。

附图说明

通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：

图1示意性地示出了根据本公开一实施方式的意图识别的方法实现流程图一；

图2示意性地示出了根据本公开一实施方式的意图识别的应用流程示意图；

图3示意性地示出了根据本公开一实施方式的意图识别的方法实现流程图二；

图4示意性地示出了根据本公开一实施方式的文本分类模型的结构示意图；

图5示意性地示出了根据本公开一实施方式的两层特征抽取示意图；

图6示意性地示出了根据本公开一实施方式的意图识别的方法实现流程图三；

图7示意性地示出了根据本公开一实施方式的小样本学习模型的结构示意图；

图8示意性地示出了根据本公开一实施方式的用于意图识别的方法的介质示意图；

图9示意性地示出了根据本公开一实施方式的意图识别的装置结构示意图；

图10示意性地示出了根据本公开一实施方式的计算设备的结构示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本公开的实施方式，提出了一种意图识别的方法、介质、装置和计算设备。

在本文中，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本公开的若干代表性实施方式，详细阐释本公开的原理和精神。

发明概述

本公开人发现，现有的智能客服意图识别方案中，需要消耗很多人力满足标注数据量和质的要求，人工成本较高，且比较依赖人工标注的结果。

有鉴于此，本公开提供一种意图识别的方法和装置，对文本数据进行意图识别，即使用文本分类模型按照类别粗细分层对该文本数据进行识别，并且使用小样本学习模型对该文本数据进行识别，将两个模型的识别结果融合后得到意图识别结果。由于采用文本分类模型和小样本学习模型相结合，用小样本学习模型的优点弥补文本分类模型的缺点，不仅降低了标注数据的人工成本，以及意图识别场景对样本的依赖程度和对人工标注结果的依赖程度，而且文本分类模型基于类别粗细分层进行识别，更适应真实场景中不断新增意图类别及不平衡数据的情况，能够获得更高的准确率。

在介绍了本公开的基本原理之后，下面具体介绍本公开的各种非限制性实施方式。

示例性方法

下面参考图1来描述根据本公开示例性实施方式的意图识别的方法。

如图1所示，本公开实施例的意图识别的方法包括以下步骤：

S11：获取待识别的文本数据；

S12：使用文本分类模型按照类别粗细分层对文本数据进行识别；

S13：使用小样本学习模型对文本数据进行识别；

S14：对文本分类模型的识别结果和小样本学习模型的识别结果进行融合，得到意图识别结果。

本公开中的意图(intent)是指人在对话过程中的想法，表达的诉求或意愿。意图识别就是指将人的意图自动识别出来，包括在不同的领域，不同的场景下，将人的意图自动识别出来。文本分类模型用于将文本类型数据归类为预先设定的类别，通常预先设定的类别的数量为两个或两个以上。小样本学习模型通常用于在样本较少的情况下进行文本识别，在本公开中作为文本分类模型的补充，由二者结合来共同进行意图识别。

通过上述过程，本公开实施例对文本数据进行意图识别，由于采用文本分类模型和小样本学习模型相结合，用小样本学习模型的优点弥补文本分类模型的缺点，不仅降低了标注数据的人工成本以及对人工标注结果的依赖，而且文本分类模型基于类别粗细分层进行识别，更适应真实场景中不断新增意图类别及不平衡的数据集如数据量的不平衡、类别定义上的粒度不平衡等情况，能够获得更高的准确率。

图2示意性地示出了根据本公开一实施方式的意图识别的应用流程示意图。如图2所示，意图识别的应用流程包括：首先，获取用户语句，获取方式包括语音输入或语音识别等，当然本公开的方案也可以应用到其他意图识别场景当中，例如接收用户在智能客服中咨询的语句文本内容。其次，对用户语句进行文本清洗，包括对文本分词、去除标点符号、繁体转简体、特殊字符的转换等处理。然后，采用上述方法对文本清洗后的内容进行意图识别；最终得到意图结果，即在预先设定的意图类别中确定出用户语句所属的分类。

在一种可能的实施方式中，上述文本分类模型划分的类别包括第一层意图类别和第二层意图类别，且第二层意图类别的粗细粒度细于第一层意图类别的粗细粒度。

其中，第一层意图类别可以包括一种或多种类别，属于粗细粒度相对较粗的类别划分。第二层意图类别可以包括一种或多种类别，属于粗细粒度相对较细的类别划分。通常，第二层意图类别是在第一层意图类别的基础上更为细致的分类。例如，第一层意图类别包括订单和发票两种类别，第二层意图类别包括如何查找已删除订单、如何查看订单、如何删除订单、发票种类咨询、发票信息错误和补开发票共六种类别。其中，如何查找已删除订单、如何查看订单和如何删除订单为订单类别下面的三个小类别，发票种类咨询、发票信息错误和补开发票为发票类别下面的三个小类别。

当然，在一些实施方式中，也可以将文本分类模型的类别划分更多的层次，如包括第一层至第三层意图类别，或者包括第一层至第五层意图类别等等，其中每层的意图类别的粗细粒度均不同，本公开对文本分类模型的类别划分出的层次数目不做具体限定。

这种通过对文本分类模型进行粗细粒度不同的层次化分类，能够保证一些意图只分类到粗细粒度较粗的层次类别即可，无需再进行进一步粗细粒度较细的层次类别分类，能够避免浪费无意义识别的时间，减少硬件资源的消耗，极大地提高意图识别的效率。

在一种可能的实施方式中，S12具体包括：使用文本分类模型对文本数据进行编码；对编码后的文本数据，分别按照第一层意图类别和第二层意图类别进行特征抽取；根据特征抽取得到的特征矩阵，计算文本数据在第一层意图类别和第二层意图类别的各类别的概率分布。

其中，对文本数据进行编码是指对文本数据进行处理，将其转换为计算机可识别的数据类型。该处理包括但不限于：将文本切割为单字或词，并一一对应为不同的词嵌入(Embedding)，即包含先验信息或不包含先验信息的向量。上述编码过程可以采用多种编码方式来实现，如采用深层结构语言模型BERT作为编码方式，其网络结构包括12层的转换器(tansformer)，可以提供更多的语言信息。当然也可以采用其他编码方式来实现，本公开对此不做具体限定。

上述基于第一层意图类别和第二层意图类别的层次化方式，意图类别划分更细致、合理，为意图识别提供了有力的数据支持。

在一种可能的实施方式中，上述对编码后的文本数据，分别按照第一层意图类别和第二层意图类别进行特征抽取，包括：对编码后的文本数据，按照第一层意图类别进行特征抽取；对编码后的文本数据，结合第一层意图类别特征抽取得到的特征矩阵，按照第二层意图类别进行特征抽取。

这种基于第一层意图类别和第二层意图类别分别进行特征抽取的方式，对于真实场景中不断新增意图类别及不平衡数据的情况，能够得到很好地解决，而且第二层意图类别的特征抽取结合了第一层意图类别的特征抽取结果，得到的特征矩阵更准确，精度更高，进而能够获得更高的意图识别准确率。

在一种可能的实施方式中，上述根据特征抽取得到的特征矩阵，计算文本数据在第一层意图类别和第二层意图类别的各类别的概率分布，包括：对第一层意图类别的特征矩阵进行归一化操作，得到文本数据在第一层意图类别中各类别的概率分布；对第二层意图类别的特征矩阵进行掩膜的归一化操作，得到文本数据在第二层意图类别中各类别的概率分布。

其中，归一化操作可以采用softmax函数来实现，该函数是归一化指数函数，在本公开中用于根据特征矩阵计算文本数据在各个类别的概率分布。掩膜的归一化操作可以采用mask softmax函数来实现，在本公开中用于在排除无关类别后，根据特征矩阵在剩余的各个类别中计算文本数据的概率分布。由于根据第一层意图类别中各类别的概率分布，能够确定出文本数据的非所属类别，即文本数据不属于的类别(粒度粗的类别)。因此，该无关类别是指文本数据的非所属类别在第二层意图类别中对应的下属类别(粒度细的类别)。这种情况下，则无需在第二层意图类别中对非所属类别的下属类别，进行概率分布的计算，可以只关注有关的类别，避免粒度粗的级别对粒度细的级别的影响，并且减少了无意义的计算，避免资源浪费，极大地提高了计算效率，进而提高了模型的学习效率和意图识别的效果，能够更好地适应粒度不一致及数据不平衡的应用场景。

例如，第一层意图类别包括订单和发票两种类别，第二层意图类别包括如何查找已删除订单、如何查看订单、如何删除订单、发票种类咨询、发票信息错误和补开发票共六种类别。其中，如何查找已删除订单、如何查看订单和如何删除订单为订单类别的下属类别，发票种类咨询、发票信息错误和补开发票为发票类别的下属类别。根据第一层意图类别中各类别的概率分布，可以确定当前的文本数据不属于发票类别，可能属于订单类别，则进行掩膜的归一化操作时，可以仅对第二层意图类别中的如何查找已删除订单、如何查看订单和如何删除订单类别进行概率分布计算，而无需对发票种类咨询、发票信息错误和补开发票类别进行概率分布计算。

图3示意性地示出了根据本公开一实施方式的意图识别的方法实现流程图。如图3所示，本公开实施例的意图识别的方法包括以下步骤：

S31：获取待识别的文本数据；

S32：使用文本分类模型对文本数据进行编码；

其中，文本分类模型划分的类别包括第一层意图类别和第二层意图类别，且第二层意图类别的粗细粒度细于第一层意图类别的粗细粒度；

S33：对编码后的文本数据，按照第一层意图类别进行特征抽取；

S34：对编码后的文本数据，结合第一层意图类别特征抽取得到的特征矩阵，按照第二层意图类别进行特征抽取；

S35：对第一层意图类别的特征矩阵进行归一化操作，得到文本数据在第一层意图类别中各类别的概率分布；

S36：对第二层意图类别的特征矩阵进行掩膜的归一化操作，得到文本数据在第二层意图类别中各类别的概率分布；

S37：使用小样本学习模型对文本数据进行识别；

S38：对文本分类模型的识别结果和小样本学习模型的识别结果进行融合，得到意图识别结果。

图4示意性地示出了根据本公开一实施方式的文本分类模型的结构示意图。如图4所示，训练过程中的文本分类模型包括三层结构：编码层、特征抽取层和损失计算层。首先，编码层采用bert方式进行编码，将文本数据转换为计算机可识别的数据类型。其次，特征抽取层包括两个分支，level1按照第一层意图类别对编码后的文本数据进行特征抽取，level2按照第二层意图类别对编码后的文本数据进行特征抽取。同时，level1得到的特征矩阵也输入至level2中，即level2结合level1的特征抽取结果进行特征抽取，从而完成了类别粗细分层的特征抽取。最后，损失计算层使用softmax函数对level1得到的特征矩阵进行计算，得到文本数据在第一层意图类别中各个类别的概率分布。使用mask softmax函数对level2得到的特征矩阵进行计算，得到文本数据在第二层意图类别中相应类别的概率分布。其中，在反向传播的时候避免第一层意图类别中的非所属类别的意图信息传播，从而达到了提升模型学习细粒度类别及少样本类别的能力的效果，进而提升了意图识别的效率。另外，还可以采用损失函数分别对应level1和level2进行损失计算，并依据损失尽量小原则对文本分类模型进行调整。需要声明的是，上述文本分类模型在识别过程中，也会经过编码、特征抽取和概率分布计算的过程，但是无需再进行损失计算对文本分类模型进行调整，得到识别的结果即可。

图5示意性地示出了根据本公开一实施方式的两层特征抽取示意图。如图5所示，左图为level1结构，按照第一层意图类别进行特征抽取，右图为level2结构，按照第二层意图类别进行特征抽取。两个结构中均首先采用bert编码方式对文本数据进行编码，然后使用Bi-LSTM(Bi-directional Long Short-Term Memory，双向长短期记忆网络)和注意力池化(attention pooling)进行特征抽取。其中，Bi-LSTM的特点是可以有效抽取文本的上下文及循序的特征，当然也可以使用GRU、CNN或Transformers等来替换Bi-LSTM。Attention-pooling通过可学习的权重以关注不同的原字/词将Bi-LSTM得到的三维矩阵，映射到二维的特征矩阵。level2结构与level1结构的不同之处在于，数据来源除了编码后的文本数据外，还包括level1学习到的特征矩阵。

在本公开中，小样本学习模型相对于文本分类模型使用更少的样本进行意图识别。使用小样本学习模型能够针对文本分类模型识别效果不好的类别进行补充识别。通常，小样本学习模型使用的数据集包括查询集(query set)和支撑集(support set)。其中，查询集是指一般分类任务的训练集，用于减少模型损失；支撑集通常用于组成不同的训练任务。本公开中，对于不平衡的数据集，包括数据量的不平衡如查询集过多而支撑集过少，以及在类别定义上的粒度不平衡等场景，结合小样本学习模型的文本分类模型更容易进行学习。这种结合小样本学习模型的方式，不仅以更高效的方式处理不平衡分类的问题，而且减少了单一分类模型的识别错误，提高了意图识别的准确率。

在一种可能的实施方式中，S14具体包括：使用预设的阈值，分别确定出文本分类模型的第一识别结果及小样本学习模型的第二识别结果各自对应的置信度级别；将第一识别结果和第二识别结果进行比较，根据比较结果是否符合预设的投票规则，对置信度级别进行级别调整，将级别调整后的第一识别结果和第二识别结果作为意图识别结果。这种基于投票规则进行级别调整的方式，能够进一步提高意图识别的准确度，得到的识别结果具有更高的用户满意度。

在一种可能的实施方式中，上述根据比较结果是否符合预设的投票规则，对置信度级别进行级别调整，包括：若第一识别结果和第二识别结果有交集，则将二者的置信度级别均进行升级调整；若第一识别结果和第二识别结果无交集，则对第一识别结果和第二识别结果的置信度级别中的至少之一，进行降级调整或维持原级别。其中，第一识别结果和第二识别结果有交集是指第一识别结果和第二识别结果中包括一个或多个相同的类别。例如，第一识别结果包括订单和发票两个类别，第二识别结果包括发票和客服两个类别，二者具有相同的类别发票，则认为第一识别结果和第二识别结果有交集。这种根据两个识别结果是否有交集进行相应升级、降级或平级处理的方式，能够充分保证识别结果置信度级别的准确性，进而为提高意图识别的精度提供了有力保障。

在一种可能的实施方式中，上述方法还包括：若第一识别结果和第二识别结果其中之一识别出其他类别，则将另一个识别结果对应的置信度级别降低一个级别；其中，其他类别为文本分类模型和小样本学习模型划分的类别以外的类别。这种方式从不同的角度来对识别结果的置信度级别进行调整，使得置信度级别调整更全面、更有效，从而保证了置信度级别的准确性。

图6示意性地示出了根据本公开一实施方式的意图识别的方法实现流程图三。如图6所示，本公开实施例的意图识别的方法包括以下步骤：

S61：获取待识别的文本数据；

S62：使用文本分类模型按照类别粗细分层对文本数据进行识别，并使用小样本学习模型对文本数据进行识别；

其中，小样本学习模型在训练过程中使用来自同一个场景的查询集和支撑集进行训练。

S63：使用预设的阈值，分别确定出文本分类模型的第一识别结果及小样本学习模型的第二识别结果各自对应的置信度级别；

本公开中，置信度级别可以根据需要设置多个级别，如强、中等、不采纳共三个级别等，本公开对此不做具体限定。其中，置信度级别为强的意图识别结果，可以将意图识别结果对应的意图答案直接返回给智能客服中发起咨询的用户；置信度级别为中等的意图识别结果，可以将对应的意图答案转换为用户可点选的问题，显示给用户供用户查看和选择确认；置信度级别为不采纳的意图识别结果，则无需展示给用户，对用户不可见。这种策略保证了直接曝光给用户的答案是高可信的。同时针对一些可能存在误判或者未曝光的答案，通过曝光给用户点选查看答案，能够提供用户选择相应答案的机会，避免直接给出错误答案，减少了错失解决用户问题的可能。

上述阈值可以根据需要设置，如设置两个阈值T1和T2，当识别结果的概率分布值大于或等于T1时，确定该识别结果的置信度级别为强，当识别结果的概率分布值大于或等于T2且小于T1时，确定该识别结果的置信度级别为中等，当识别结果的概率分布值小于T2时，确定该识别结果的置信度级别为不采纳。

S64：将第一识别结果和第二识别结果进行比较；

S65：若第一识别结果和第二识别结果有交集，则将二者的置信度级别均进行升级调整；

S66：若第一识别结果和第二识别结果无交集，则对第一识别结果和第二识别结果的置信度级别中的至少之一，进行降级调整或维持原级别；

S67：若第一识别结果和第二识别结果其中之一识别出其他类别，则将另一个识别结果对应的置信度级别降低一个级别；其中，其他类别为文本分类模型和小样本学习模型划分的类别以外的类别。

在一种可能的实施方式中，S65具体包括：若第一识别结果和第二识别结果有交集，且对应的置信度级别均为中等或以上的级别，则将每个置信度级别都提高一个级别。这种情况通常表明文本分类模型和小样本学习模型的识别结果具有一定程度的一致性，可信度较高，达到了较好的学习效果，因此，通过置信度级别的升级调整进一步提高了意图识别的准确性。

在一种可能的实施方式中，S66具体包括：若第一识别结果和第二识别结果无交集，则将第一识别结果和第二识别结果的置信度级别中，原来为强的级别降级为中等，原来为中等的保持不变。这种情况通常表明文本分类模型和小样本学习模型的识别结果具有一定程度的误差，可信度不高，因此，通过置信度级别的降级或平级处理，能够保证意图识别结果的精准，降低误判率。

图7示意性地示出了根据本公开一实施方式的小样本学习模型的结构示意图。如图7所示，小样本学习模型的训练样本包括查询集(query set)和支撑集(support set)。预设总共有N个类别，每次训练时，可以从N个类别里随机抽取C个类别，再从该C个类别中的每个类别随机抽取K个样本共同组成支撑集，并且从该C个类别中的每个类别随机抽取K个样本组成查询集。随机抽取后组合为训练样本X＝{查询集,支撑集}。该训练样本首先经过编码层采用bert方式进行编码，并在特征抽取层使用LSTM结构做上下文的特征抽取，分别得到查询集和支撑集的文本表示Qr和Sr，其中Sr为经过平均处理后得到的与Qr维度一致的矩阵。然后，在关系层对查询集和支撑集的关联特征进行抽取，得到关联特征Rqs，该关联特征是一个二维矩阵，表示查询集中每个类别和支撑集中每个类别的相似性得分。最后由损失计算层进行损失的计算，可以采用二进制损失函数(binary loss)计算，当使用查询集和支撑集训练得到的类别一致时，损失函数计算的结果为1，当使用查询集和支撑集训练得到的类别不一致时，损失函数计算的结果为0，最终完成训练过程。该训练过程使用的查询集和支撑集均来自同一个场景，如均为电商场景或均为金融场景等。在意图识别应用阶段即推断阶段，将待识别的文本数据作为查询集，从与训练场景相异的、未在训练过程曝光的类别中，按照上述方式重新抽取C个类别、K个样本组成支撑集。然后，使用应用阶段的查询集和支撑集采用本公开的方法进行意图识别，得到意图识别结果。

本公开中，小样本学习模型在训练过程中使用来自同一个场景的查询集和支撑集进行训练，这种方式与现有的小样本学习模型由原场景迁移至新场景进行训练的方式明显不同，例如，现有的小样本学习模型查询集为电商场景，支撑集为金融场景，而本公开的小样本学习模型查询集和支撑集均为电子商务场景或智能客服场景，只是该支撑集的意图类别是该查询集的意图类别的扩充，但均属于同一个场景。本公开采用来自同一个场景的查询集和支撑集进行训练，变更了传统小样本学习模型的训练方式，能够充分地适应线上智能客服中意图类别不断扩充的情况，提升了对原有意图类别和扩充意图类别的区分和识别效果，解决了新增意图类别带来数据标注缺失的问题。而且，在保证意图识别准确度的同时，减少了对数据量的依赖，降低了人力成本。

示例性介质

在介绍了本公开示例性实施方式的方法之后，接下来，参考图8对本公开示例性实施方式的介质进行说明。

在一些可能的实施方式中，本公开的各个方面还可以实现为一种计算机可读介质，其上存储有程序，当所述程序被处理器执行时用于实现本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的意图识别的方法中的步骤。

具体地，上述处理器执行上述程序时用于实现如下步骤：获取待识别的文本数据，使用文本分类模型按照类别粗细分层对文本数据进行识别，使用小样本学习模型对文本数据进行识别，对文本分类模型的识别结果和小样本学习模型的识别结果进行融合，得到意图识别结果。

需要说明的是：上述的介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

如图8所示，描述了根据本公开的实施方式的介质80，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序，并可以在设备上运行。然而，本公开不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算设备。

示例性装置

在介绍了本公开示例性实施方式的介质之后，接下来，参考图9对本公开示例性实施方式的装置进行说明。

如图9所示，本公开实施例的意图识别的装置可以包括：

获取模块901，用于获取待识别的文本数据；

第一识别模块902，用于使用文本分类模型按照类别粗细分层对文本数据进行识别；

第二识别模块903，用于使用小样本学习模型对文本数据进行识别；

融合模块904，用于对文本分类模型的识别结果和小样本学习模型的识别结果进行融合，得到意图识别结果。

在一种可能的实施方式中，文本分类模型划分的类别包括第一层意图类别和第二层意图类别，且第二层意图类别的粗细粒度细于第一层意图类别的粗细粒度。

在一种可能的实施方式中，第一识别模块包括：

编码单元，用于使用文本分类模型对文本数据进行编码；

特征抽取单元，用于对编码后的文本数据，分别按照第一层意图类别和第二层意图类别进行特征抽取；

计算单元，用于根据特征抽取得到的特征矩阵，计算文本数据在第一层意图类别和第二层意图类别的各类别的概率分布。

在一种可能的实施方式中，特征抽取单元具体用于：

对编码后的文本数据，按照第一层意图类别进行特征抽取；

对编码后的文本数据，结合第一层意图类别特征抽取得到的特征矩阵，按照第二层意图类别进行特征抽取。

在一种可能的实施方式中，计算单元具体用于：

对第一层意图类别的特征矩阵进行归一化操作，得到文本数据在第一层意图类别中各类别的概率分布；

对第二层意图类别的特征矩阵进行掩膜的归一化操作，得到文本数据在第二层意图类别中各类别的概率分布。

在一种可能的实施方式中，小样本学习模型在训练过程中使用来自同一个场景的查询集和支撑集进行训练。

在一种可能的实施方式中，融合模块包括：

确定单元，用于使用预设的阈值，分别确定出文本分类模型的第一识别结果及小样本学习模型的第二识别结果各自对应的置信度级别；

融合单元，用于将第一识别结果和第二识别结果进行比较，根据比较结果是否符合预设的投票规则，对置信度级别进行级别调整，将级别调整后的第一识别结果和第二识别结果作为意图识别结果。

在一种可能的实施方式中，融合单元包括：

比较子单元，用于将第一识别结果和第二识别结果进行比较；

第一调整子单元，用于若第一识别结果和第二识别结果有交集，则将二者的置信度级别均进行升级调整；

第二调整子单元，用于若第一识别结果和第二识别结果无交集，则对第一识别结果和第二识别结果的置信度级别中的至少之一，进行降级调整或维持原级别；

融合子单元，用于将级别调整后的第一识别结果和第二识别结果作为意图识别结果。

在一种可能的实施方式中，第一调整子单元具体用于：

若第一识别结果和第二识别结果有交集，且对应的置信度级别均为中等或以上的级别，则将每个置信度级别都提高一个级别。

在一种可能的实施方式中，第二调整子单元具体用于：

若第一识别结果和第二识别结果无交集，则将第一识别结果和第二识别结果的置信度级别中，原来为强的级别降级为中等，原来为中等的保持不变。

在一种可能的实施方式中，调整单元还包括：

第三调整子单元，用于若第一识别结果和第二识别结果其中之一识别出其他类别，则将另一个识别结果对应的置信度级别降低一个级别；其中，其他类别为文本分类模型和小样本学习模型划分的类别以外的类别。

本公开实施方式提供的上述装置，可以对文本数据进行意图识别，通过使用文本分类模型按照类别粗细分层对该文本数据进行识别，并且使用小样本学习模型对该文本数据进行识别，将两个模型的识别结果融合后得到意图识别结果。由于采用文本分类模型和小样本学习模型相结合，用小样本学习模型的优点弥补文本分类模型的缺点，不仅降低了标注数据的人工成本，以及意图识别场景对样本的依赖程度和对人工标注结果的依赖程度，而且文本分类模型基于类别粗细分层进行识别，更适应真实场景中不断新增意图类别及不平衡的数据集如数据量的不平衡、类别定义上的不平衡等情况，能够获得更高的准确率。

示例性计算设备

在介绍了本公开示例性实施方式的方法、介质和装置之后，接下来，参考图10对本公开示例性实施方式的计算设备进行说明。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，根据本公开实施方式的计算设备可以至少包括至少一个处理单元以及至少一个存储单元。其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行本说明书上述“示例性方法”部分中描述的根据本公开的各种示例性实施方式的意图识别的方法中的步骤。

下面参照图10来描述根据本公开的这种实施方式的计算设备100。图10显示的计算设备100仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图10所示，计算设备100以通用计算设备的形式表现。计算设备100的组件可以包括但不限于：上述至少一个处理单元1001、上述至少一个存储单元1002，连接不同系统组件(包括处理单元1001和存储单元1002)的总线1003。

总线1003包括数据总线、控制总线和地址总线。

存储单元1002可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)10021和/或高速缓存存储器10022，可以进一步包括非易失性存储器形式的可读介质，例如只读存储器(ROM)10023。

存储单元1002还可以包括具有一组(至少一个)程序模块10024的程序/实用工具10025，这样的程序模块10024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

计算设备100也可以与一个或多个外部设备1004(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口1005进行。并且，计算设备100还可以通过网络适配器1006与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图10所示，网络适配器1006通过总线1003与计算设备100的其它模块通信。应当理解，尽管图中未示出，可以结合计算设备100使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了意图识别的装置的若干单元/模块或子单元/子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本公开的精神和原理，但是应该理解，本公开并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (22)

1.一种意图识别的方法，其特征在于，包括：

获取待识别的文本数据；

使用文本分类模型按照类别粗细分层对所述文本数据进行识别；

使用小样本学习模型对所述文本数据进行识别；

使用预设的阈值，分别确定出所述文本分类模型的第一识别结果及所述小样本学习模型的第二识别结果各自对应的置信度级别；

将所述第一识别结果和所述第二识别结果进行比较，根据比较结果是否符合预设的投票规则，对所述置信度级别进行级别调整，将级别调整后的第一识别结果和第二识别结果作为意图识别结果。

2.根据权利要求1所述的方法，其特征在于，所述文本分类模型划分的类别包括第一层意图类别和第二层意图类别，且所述第二层意图类别的粗细粒度细于所述第一层意图类别的粗细粒度。

3.根据权利要求2所述的方法，其特征在于，所述使用文本分类模型按照类别粗细分层对所述文本数据进行识别，包括：

使用文本分类模型对所述文本数据进行编码；

对所述编码后的文本数据，分别按照所述第一层意图类别和第二层意图类别进行特征抽取；

根据所述特征抽取得到的特征矩阵，计算所述文本数据在所述第一层意图类别和第二层意图类别的各类别的概率分布。

4.根据权利要求3所述的方法，其特征在于，所述对所述编码后的文本数据，分别按照所述第一层意图类别和第二层意图类别进行特征抽取，包括：

对所述编码后的文本数据，按照所述第一层意图类别进行特征抽取；

对所述编码后的文本数据，结合所述第一层意图类别特征抽取得到的特征矩阵，按照所述第二层意图类别进行特征抽取。

5.根据权利要求3所述的方法，其特征在于，所述根据所述特征抽取得到的特征矩阵，计算所述文本数据在所述第一层意图类别和第二层意图类别的各类别的概率分布，包括：

对所述第一层意图类别的特征矩阵进行归一化操作，得到所述文本数据在所述第一层意图类别中各类别的概率分布；

对所述第二层意图类别的特征矩阵进行掩膜的归一化操作，得到所述文本数据在所述第二层意图类别中各类别的概率分布。

6.根据权利要求1所述的方法，其特征在于，所述小样本学习模型在训练过程中使用来自同一个场景的查询集和支撑集进行训练。

7.根据权利要求1所述的方法，其特征在于，所述根据比较结果是否符合预设的投票规则，对所述置信度级别进行级别调整，包括：

若所述第一识别结果和第二识别结果有交集，则将二者的置信度级别均进行升级调整；

若所述第一识别结果和第二识别结果无交集，则对所述第一识别结果和第二识别结果的置信度级别中的至少之一，进行降级调整或维持原级别。

8.根据权利要求7所述的方法，其特征在于，所述若所述第一识别结果和第二识别结果有交集，则将二者的置信度级别均进行升级调整，包括：

若所述第一识别结果和第二识别结果有交集，且对应的置信度级别均为中等以上的级别，则将每个置信度级别都提高一个级别。

9.根据权利要求7所述的方法，其特征在于，所述若所述第一识别结果和第二识别结果无交集，则对所述第一识别结果和第二识别结果的置信度级别中的至少之一，进行降级调整或维持原级别，包括：

若所述第一识别结果和第二识别结果无交集，则将所述第一识别结果和第二识别结果的置信度级别中，原来为强的级别降级为中等，原来为中等的保持不变。

10.根据权利要求7所述的方法，其特征在于，所述方法还包括：

若所述第一识别结果和第二识别结果其中之一识别出其他类别，则将另一个识别结果对应的置信度级别降低一个级别；其中，所述其他类别为所述文本分类模型和小样本学习模型划分的类别以外的类别。

11.一种意图识别的装置，其特征在于，包括：

获取模块，用于获取待识别的文本数据；

第一识别模块，用于使用文本分类模型按照类别粗细分层对所述文本数据进行识别；

第二识别模块，用于使用小样本学习模型对所述文本数据进行识别；

融合模块，用于使用预设的阈值，分别确定出所述文本分类模型的第一识别结果及所述小样本学习模型的第二识别结果各自对应的置信度级别，将所述第一识别结果和所述第二识别结果进行比较，根据比较结果是否符合预设的投票规则，对所述置信度级别进行级别调整，将级别调整后的第一识别结果和第二识别结果作为意图识别结果。

12.根据权利要求11所述的装置，其特征在于，所述文本分类模型划分的类别包括第一层意图类别和第二层意图类别，且所述第二层意图类别的粗细粒度细于所述第一层意图类别的粗细粒度。

13.根据权利要求12所述的装置，其特征在于，所述第一识别模块包括：

编码单元，用于使用文本分类模型对所述文本数据进行编码；

特征抽取单元，用于对所述编码后的文本数据，分别按照所述第一层意图类别和第二层意图类别进行特征抽取；

计算单元，用于根据所述特征抽取得到的特征矩阵，计算所述文本数据在所述第一层意图类别和第二层意图类别的各类别的概率分布。

14.根据权利要求13所述的装置，其特征在于，所述特征抽取单元具体用于：

对所述编码后的文本数据，按照所述第一层意图类别进行特征抽取；

对所述编码后的文本数据，结合所述第一层意图类别特征抽取得到的特征矩阵，按照所述第二层意图类别进行特征抽取。

15.根据权利要求13所述的装置，其特征在于，所述计算单元具体用于：

对所述第一层意图类别的特征矩阵进行归一化操作，得到所述文本数据在所述第一层意图类别中各类别的概率分布；

对所述第二层意图类别的特征矩阵进行掩膜的归一化操作，得到所述文本数据在所述第二层意图类别中各类别的概率分布。

16.根据权利要求11所述的装置，其特征在于，所述小样本学习模型在训练过程中使用来自同一个场景的查询集和支撑集进行训练。

17.根据权利要求11所述的装置，其特征在于，所述融合单元包括：

比较子单元，用于将所述第一识别结果和所述第二识别结果进行比较；

第一调整子单元，用于若所述第一识别结果和第二识别结果有交集，则将二者的置信度级别均进行升级调整；

第二调整子单元，用于若所述第一识别结果和第二识别结果无交集，则对所述第一识别结果和第二识别结果的置信度级别中的至少之一，进行降级调整或维持原级别；

融合子单元，用于将级别调整后的第一识别结果和第二识别结果作为意图识别结果。

18.根据权利要求17所述的装置，其特征在于，所述第一调整子单元具体用于：

若所述第一识别结果和第二识别结果有交集，且对应的置信度级别均为中等以上的级别，则将每个置信度级别都提高一个级别。

19.根据权利要求17所述的装置，其特征在于，所述第二调整子单元具体用于：

若所述第一识别结果和第二识别结果无交集，则将所述第一识别结果和第二识别结果的置信度级别中，原来为强的级别降级为中等，原来为中等的保持不变。

20.根据权利要求17所述的装置，其特征在于，所述融合单元还包括：

第三调整子单元，用于若所述第一识别结果和第二识别结果其中之一识别出其他类别，则将另一个识别结果对应的置信度级别降低一个级别；其中，所述其他类别为所述文本分类模型和小样本学习模型划分的类别以外的类别。

21.一种介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的方法。

22.一种计算设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-10中任一所述的方法。

Images