CN114564964B - 一种基于k近邻对比学习的未知意图检测方法 - Google Patents

Abstract

本发明提供一种基于k近邻对比学习的未知意图检测方法，其特征在于，包括以下步骤：步骤S1，利用已知意图的语料构建经验风险损失；步骤S2，构建语义表示模型，采用k近邻对比学习与经验风险损失对所述语义表示模型进行训练；步骤S3，将待测文本输入至训练后的语义表示模型，以获取所述待测文本的语义表示；步骤S4，采用下游检测算法检测所述语义表示是否为未知意图，并输出为已知意图的语义表示的类别。该基于k近邻对比学习的未知意图检测方法在语义表示学习阶段和未知检测阶段都不依赖于语义分布的任何假设，而且检测精度高、设计简单且应用场景广泛，解决了现有意图检测方法在现实场景应用受限的缺陷。

Description

一种基于k近邻对比学习的未知意图检测方法

技术领域

本发明属于对话语义检测技术领域，具体涉及一种基于k近邻对比学习的未知意图检测方法。

背景技术

现代社会正在进入AI时代，借助各大互联网公司发布的对话系统平台或者语言助手，如Google's DiaFlow,Amazon's Lex，智能型任务对话系统正走入千万人的生活，人们正在习惯于和机器进行对话，用自然语言对机器发出一些指令让机器帮助自己完成一些工作。

由于对话系统面对的环境越来越开放，很多情况下，用户会向对话系统提出一些超出对话系统本身预定义范围的命令。比如一个对话系统的功能主要是帮助用户预订机票、酒店以及安排用户日程等，但现在用户问出“腹疼应该吃什么药？”这样的意图。对话系统需要将其识别出并提醒用户，而不是给一个错误的回答。

现有的未知意图检测方法，一般分为两个阶段：第一阶段利用已知意图的语料来学习语义表示模型；第二阶段通过一些异常检测算法来识别意图是否属于未知意图。为了适应下游的检测算法，在第一阶段学习语义表示时，现有的方法通常会隐性假定同类意图的样本在语义空间中的分布范围内不包含其他的类别(未知意图样本或者已知意图其他类别样本)，通过最大化不同类之间的方差，最小化同类中样本方差的方式来学习语义表示模型。同时一些下游检测算法也会假设意图的语义分布服从某种特定的分布(通常假定为高斯分布)。

然而在现实的场景中，未知意图经常会出现在已知意图的分布中，其具体表现形式为在语义空间中已知意图样本范围内包含未知意图的样本或者其他类别的样本。“最大化类类之间的方差，最小化类内方差”的学习方式有可能会拉近未知意图和已知意图在语义空间中的距离，不利于异常点检测。与此同时，意图在语义空间的分布可能是任意的，并不会服从某种分布(尤其在小样本的情况下)。综上，现有的未知意图检测方法在现实场景下会受到一定的限制。

发明内容

为解决上述问题，提供一种适用于更一般现实场景，即不依赖任何语义分布的假设且更适应下游检测的未知意图检测方法，本发明采用了如下技术方案：

本发明提供了一种基于k近邻对比学习的未知意图检测方法，其特征在于，包括以下步骤：步骤S1，利用已知意图的语料构建经验风险损失；步骤S2，构建语义表示模型，采用k近邻对比学习与经验风险损失对语义表示模型进行训练；步骤S3，将待测文本输入至训练后的语义表示模型，以获取待测文本的语义表示；步骤S4，采用下游检测算法检测语义表示是否为未知意图，并输出为已知意图的语义表示的类别。

本发明提供的一种基于k近邻对比学习的未知意图检测方法，还可以具有这样的技术特征，其中，经验风险损失的函数为：

式中，φ(·)表示一个线性分类器，z_i表示第i个样本的语义表示特征表示，N表示样本数，K表示已知意图标签数，log表示幂运算，exp表示以e为底的指数运算。

本发明提供的一种基于k近邻对比学习的未知意图检测方法，还可以具有这样的技术特征，其中，k近邻对比学习损失为拉近样本和其最相似的k个样本在语义空间的距离，同时拉远样本和不同类别样本在语义空间的距离，k近邻对比学习的损失函数表示如下：

式中，z_i表示样本的语义表示，N_k表示和z_i语义空间中最相似的k个样本的集合，z_j表示属于集合N_k中样本的语义表示。I表示和z_i不属于同一类别的样本集合，z_q表示数据集合I中的样本语义表示，log表示幂运算，exp表示以e为底的指数运算。

本发明提供的一种基于k近邻对比学习的未知意图检测方法，还可以具有这样的技术特征，其中，步骤S2包括以下子步骤：步骤S2-1，构建初始化样本队列，初始化样本队列的容量大于语义表示模型训练过程中构建的batch的数量；步骤S2-2，在训练语义表示模型的过程中，从初始化样本队列中选取和输入样本最相似的K个样本作为正样本，将初始化样本队列中其他类别的样本作为负样本，构建损失函数；步骤S2-3，优化上述损失函数并更新队列中的样本，将batch中的样本压入队列，将留在队列最久的样本移除出队列，使用优化后的损失函数以及更新后的样本对语义表示模型不断进行优化，该语义表示模型的最终优化目标为：

式中，λ用来平衡两个损失函数的超参数，

表示步骤S2构建的k近邻对比损失，/>

表示步骤S1中构建的经验风险损失。

本发明提供的一种基于k近邻对比学习的未知意图检测方法，还可以具有这样的技术特征，其中，步骤S3获取的语义表示为：

Z_i＝Mean-Pooling([[CLS],T_1i...T_N])

式中，[CLS]表示样本句级别的语义表示，T₁表示构成样本具体词的(Token级别)语义表示，Mean-Pooling表示平均池化运算。

本发明提供的一种基于k近邻对比学习的未知意图检测方法，还可以具有这样的技术特征，其中，步骤S4为将语义表示输入至下游检测算法，得到与语义表示对应的LOF得分，当LOF得分大于预定阈值时，则语义表示为未知意图，当LOF得分小于预定阈值时，则语义表示为已知意图，已知意图的类别为根据SoftMax得到的最大概率值：

式中，

表示最终的输出即是否为已知或未知意图，z_i表示样本的最终的语义表示，Lof表示异常检测算法(全称Local Outlier Factor)，输出样本的是否为异常的得分，δ为预定义的阈值，用于判断样本是否为未知意图，p_i为样本经过语义模型的输出再经过Softmax运算的值，N代表已知意图的类别数。

发明作用与效果

根据本发明的基于k近邻对比学习的未知意图检测方法，首先采用了基于已知意图语料构建的经验风险损失函数对语义表示模型进行了训练，使得模型不仅能获取意图的语义表示，还在有效识别出未知意图的同时保证已知意图的识别的准确性。其次，为了使学习的语义表示能更适应下游检测，同时适应于一般现实的场景不依赖于任何语义分布的假设，本发明的未知意图检测方法通过拉近样本和其最相似的K个样本在语言空间的距离并且拉远和不同类别样本的距离的k近邻对比学习方法对模型进行了学习训练，这样就考虑到了意图分布中的未知意图样本，从而减小了将未知意图识别为已知意图的风险。

本发明的基于k近邻对比学习的未知意图检测方法在语义表示学习阶段和未知检测阶段都不依赖于语义分布的任何假设，检测精度高、设计简单且应用场景广泛，解决了现有意图检测方法在现实场景应用受限的缺陷。

附图说明

图1是本发明实施例中基于k近邻对比学习的未知意图检测的总体框架示意图；

图2是本发明实施例中基于k近邻对比学习的未知意图检测方法的流程图；

图3是本发明实施例中的本发明和现有的基于有监督对比学习方法的效果对比。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的一种基于k近邻对比学习的未知意图检测方法作具体阐述。

<实施例>

图1是本发明实施例中基于k近邻对比学习的未知意图检测的总体框架示意图。

如图1所示，基于k近邻对比学习的未知意图检测方法包括两个阶段，第一阶段学习一种不依赖于任何分布假设且适应下游检测的语义表示，第二阶段检测是否未知意图或者识别出该意图属于已知意图的具体类别。

图2是本发明实施例中基于k近邻对比学习的未知意图检测方法的流程图。

如图2所示，基于k近邻对比学习的未知意图检测方法包括以下步骤：

步骤S1，利用已知意图的语料构建经验风险损失。

为了获取意图的语义表示以及在有效识别出未知意图的同时保证已知意图的识别的准确性。本实施例利用已知意图的语料构造出经验风险损失函数，其表达式如下所示：

式中，φ(·)表示一个线性分类器，z_i表示第i个样本的语义表示特征表，N表示样本数，K表示已知意图标签数，log表示幂运算，exp表示以e为底的指数运算。

步骤S2，构建语义表示模型，采用k近邻对比学习损失与经验风险损失对语义表示模型进行学习与训练。

本实施例中，为了使学习的语义表示能更适应下游检测，同时适应于一般现实的场景不依赖于任何语义分布的假设，采用k近邻对比学习，即拉近某一个样本和其最相似的k个样本在语义空间的距离，同时拉远该样本和不同类别样本在语义空间的距离对语义表示模型进行学习。

其中，k近邻对比学习的损失函数表示如下：

式中，z_i表示样本的语义表示，N_k表示和z_i(语义空间中)最相似的k个样本的集合，z_j表示属于集合N_k中样本的语义表示。I表示和z_i不属于同一类别的样本集合，z_q表示数据集合I中样本的语义表示，log表示幂运算，exp表示以e为底的指数运算。

在本步骤S2中，对语义表示模型进行训练的过程如下：

步骤S2-1，构建初始化样本队列，初始化样本队列的容量远大于语义表示模型训练过程中构建的batch的数量；

步骤S2-2，在训练语义表示模型的过程中，从初始化样本队列中选取和输入样本最相似的K个样本作为正样本，将初始化样本队列中其他类别的样本作为负样本，构建损失函数；

步骤S2-3，优化步骤S2-2的损失函数并更新队列中的样本，将batch中的样本压入队列，将留在队列最久的样本移除出队列，使用优化后的损失函数以及更新后的样本对语义表示模型不断进行优化。

本实施例中，语义表示模型的最终优化目标为：

式中，λ用来平衡两个损失函数的参数，

表示步骤S2中构建的k近邻对比损失，/>

表示步骤S1中构建的经验风险损失。

步骤S3，将待测文本输入至训练后的语义表示模型，以获取待测文本的语义表示：

Z_i＝Mean-Pooling([[CLS],T₁,...T_N])

式中，[CLS]表示样本句级别的语义表示，T表示构成样本具体词(Token级别)的语义表示，Mean-Pooling表示平均池化运算。

步骤S4，将语义表示输入至下游检测算法(LOF)，得到与该语义表示对应的LOF得分，基于该LOF得分对该语义表示的意图或者类别进行检测。具体地：

当LOF得分大于预定阈值时，则语义表示为未知意图；

当LOF得分小于预定阈值时，则语义表示为已知意图。

其中，已知意图的类别为根据SoftMax得到的最大概率值：

式中，

表示最终的输出(即是否为已知或未知意图)，Z_i表示样本的最终语义表示，Lof表示异常检测算法(全称Local Outlier Factor)，输出为样本是否为异常的得分，δ为预定义的阈值(用于判断样本是否为未知意图)，p_i为样本经过语义模型的输出后再经过Softmax运算的值，N代表已知意图的类别数。

图3是本发明实施例中的本发明和现有的基于有监督对比学习方法的效果对比。

本实施例中，采用基于k近邻对比学习的未知意图检测方法和现有的基于有监督对比学习方法对已知意图样本和未知意图样本进行语义表时并进行可视化，实验结果如图3所示，相较于现有方法，本发明的检测方法有效地将未知意图的样本区分(远离各中类别的已知意图)同时也拉开了不同已知意图类别的距离，从而保证了在有效检测未知意图的同时也保证了已知意图的识别。

实施例作用与效果

根据本实施例提供的基于k近邻对比学习的未知意图检测方法，首先采用了基于已知意图语料构建的经验风险损失函数对语义表示模型进行了训练，使得模型不仅能获取意图的语义表示，还在有效识别出未知意图的同时保证了已知意图识别的准确性。其次利用k近邻对比学习与经验风险损失对语义表示模型进行了学习与训练，由训练好的模型输出待测文本的语义表示，然后采用下游检测算法检测出语义表示是否为未知意图或者输出该语义表示为已知意图的类别。该基于k近邻对比学习的未知意图检测方法在语义表示学习阶段和未知检测阶段都不依赖于语义分布的任何假设，检测精度高、设计简单且应用场景广泛，解决了现有意图检测方法在现实场景应用受限的缺陷。

实施例中，由于采用拉近样本和其最相似的K个样本在语言空间的距离并且拉远和不同类别样本的距离的k近邻对比学习方法对模型进行了学习训练，相较于现有方法中拉近同属于同一类意图所有样本在语义空间中的距离，本实施例的未知意图检测方法只考虑某一样本最相似的K个样本，这样就考虑到了意图分布中的未知意图样本，从而减小了将未知意图识别为已知意图的风险。同时，在学习语义表示时对已知意图分布不做任何限制，在进一步保持“未知”区域为“未知”的基础上，聚集确定的同一类意图样本，从而更适应下游基于密度的(无需假定限定已知意图的分布为特定的分布)异常检测算法。

实施例中，还由于构建负样本的方式为从初始化样本队列中选取其他类别的样本，而不是像一般监督对比学习从batch中选取其他类别样本。由于构建的初始化样本队列的容量相比batch足够大，其选取的负样本的类别数和数量都更多样，能更好发挥对比学习的效果且能进一步提高识别已知意图的准确率。

上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。

Claims (6)

1.一种基于k近邻对比学习的未知意图检测方法，其特征在于，包括以下步骤：

步骤S1，利用已知意图的语料构建经验风险损失；

步骤S2，构建语义表示模型，采用k近邻对比学习与所述经验风险损失对所述语义表示模型进行训练；

步骤S3，将待测文本输入至训练后的语义表示模型，以获取所述待测文本的语义表示；

步骤S4，采用下游检测算法获取所述语义表示的LOF得分，基于所述LOF得分判别是否为未知意图，并输出为已知意图的语义表示的类别；

其中，所述步骤S2包括以下子步骤：

步骤S2-1，构建初始化样本队列，所述初始化样本队列的容量大于所述语义表示模型训练过程中构建的batch的数量；

步骤S2-2，在训练所述语义表示模型的过程中，从所述初始化样本队列中选取和输入样本最相似的K个样本作为正样本，将所述初始化样本队列中其他类别的样本作为负样本，构建损失函数；

步骤S2-3，优化所述损失函数并更新队列中的样本，将所述batch中的样本压入队列，将留在队列最久的样本移除出队列，使用优化后的损失函数以及更新后的样本对所述语义表示模型不断进行优化。

2.根据权利要求1所述的基于k近邻对比学习的未知意图检测方法，其特征在于：

其中，所述经验风险损失的函数为：

式中，φ(·)表示一个线性分类器，

表示第i个样本的语义表示，N表示样本数，K表示已知意图标签数，log表示幂运算，exp表示以e为底的指数运算。

3.根据权利要求1所述的基于k近邻对比学习的未知意图检测方法，其特征在于：

其中，所述k近邻对比学习为拉近样本和其最相似的k个样本在语义空间的距离，同时拉远所述样本和不同类别样本在语义空间的距离，

所述k近邻对比学习的损失函数表示如下：

式中，

表示样本的语义表示，N_k表示和/>

最相似的k个样本的集合，/>

表示属于集合N_k中样本的语义表示，I表示和/>

不属于同一类别的样本集合，/>

表示数据集合I中的样本语义表示，log表示幂运算，exp表示以e为底的指数运算。

4.根据权利要求1所述的基于k近邻对比学习的未知意图检测方法，其特征在于：

其中，所述语义表示模型的最终优化目标为：

/>

式中，λ用来平衡两个损失函数的参数，

表示步骤S2中构建的k近邻对比损失，

表示步骤S1中构建的经验风险损失。

5.根据权利要求1所述的基于k近邻对比学习的未知意图检测方法，其特征在于：

其中，所述步骤S3获取的所述语义表示为：

Z_i＝Mean-Pooling([[CLS]，T₁，...T_N])

式中，[CLS]表示样本句级别的语义表示，T表示构成样本具体词的语义表示，Mean-Pooling表示平均池化运算。

6.根据权利要求1所述的基于k近邻对比学习的未知意图检测方法，其特征在于：

其中，所述步骤S4为将所述语义表示输入至所述下游检测算法，得到与所述语义表示对应的LOF得分，

当所述LOF得分大于预定阈值时，则所述语义表示为未知意图，

当所述LOF得分小于预定阈值时，则所述语义表示为已知意图，

所述已知意图的类别为根据SoftMax得到的最大概率值：

式中，

表示最终的输出即是否为已知意图或未知意图，z_i表示样本的最终的语义表示，Lof表示异常检测算法，输出样本是否为异常的得分，δ为预定义的阈值，用于判断样本是否为未知意图，p_i为样本经过语义模型的输出后再经过Softmax运算的值，N代表已知意图的类别数。/>

Images