CN116521875A - 引入群体情绪感染的原型增强小样本对话情感识别方法 - Google Patents

Abstract

本发明公开了引入群体情绪感染的原型增强小样本对话情感识别方法，涉及自然语言处理技术领域，针对现有的小样本对话情感识别方法直接根据对话中语句类别采样导致的各类别语句不均衡问题，本方法引入自适应交叉采样策略，根据对话中各类别语句数量进行自适应分组，并根据不同组之间的比例进行采样，有效缓解了各类别语句不平衡问题。同时，在考虑对话上下文信息方面，本方法引入了群体情绪感染机制构建加权有向无环图，有效区分了他人与说话者本人对说话者的不同影响。此外，本方法基于原型网络提出了增强对话原型网络，通过动态加权计算对话内各类别语句原型再平均的方法，增强了对话内语句类原型表示。

Description

引入群体情绪感染的原型增强小样本对话情感识别方法

技术领域

本发明涉及自然语言处理技术领域，尤其是引入群体情绪感染的原型增强小样本对话情感识别方法。

背景技术

随着自然语言处理在学术理论上的深入研究和实际场景下的广泛应用，对话情感识别逐渐成为其中一个重要领域。传统的对话情感识别方法可以归纳为基于图模型和基于递归模型的方法，但是这些方法都存在着严重的局限性，即需要大量带注释的数据训练模型以正确识别对话情感，并且近年来情感分类不断细化，对话情感的划分也将逐步增加，若依旧采用传统的对话情感识别方法，将会带来非常昂贵的计算代价，而小样本学习旨在通过学习少量样本即可实现对新样本的分类。小样本对话情感识别包括两个输入：支持集对话语句和查询集对话语句。首先模型分别对支持集对话和查询集对话提取上下文信息，然后在支持集对话中训练并提取对话中语句类原型，使用支持集类原型特征对查询集对话语句分类。

目前，小样本对话情感识别主要采用原型网络，其在自然语言处理方面有着非常广泛且有效的应用。但是应用在小样本对话情感识别中仍然面临着诸多问题：(1)支持集和查询集中的语句类别个数是不确定的，支持集和查询集以对话为单位进行采样，对话中每个类别的语句数量不能保证，然而如何确保语句类别数量均衡是构建小样本对话情感识别的主要问题；(2)对于对话情感识别而言，不仅要有效提取上下文信息和说话者关系，对话中存在的情绪感染对判断说话者的情感也是至关重要的，如何利用此信息对于对话情感识别任务非常关键；(3)原型网络忽略了对话内语句之间的联系，如何将原型网络更好的应用在对话情感识别中是非常重要的。

发明内容

本发明人针对上述问题及技术需求，提出了引入群体情绪感染的原型增强小样本对话情感识别方法，提出自适应分组交叉采样，缓解了类别不平衡问题；然后，引入群体情绪感染机制构建了加权有向无环图，并利用有向无环图神经网络提取对话上下文信息；最后，采用重加权方法对每个对话语句进行动态加权再平均计算其类原型，增强对话内各类别语句类原型表示。本发明的技术方案如下：

引入群体情绪感染的原型增强小样本对话情感识别方法，包括如下步骤：

步骤1：获取包含多个说话者语句的对话文本构建数据集，并将所述数据集中的对话按照对应的情感类别划分成各个目标类别集合；

步骤2：将所有目标类别集合中的对话进行自适应交叉采样，构成支持集和查询集；

步骤3：基于群体情绪感染机制对所述支持集和查询集中的每个对话分别构建加权有向无环图，并提取出每个对话的引入对话语句上下文信息的语句表示；

步骤4：根据所述支持集中每个对话的引入对话语句上下文信息的语句表示，计算支持集中的每个对话中所包含各情感类别语句的增强类原型；

步骤5：计算所述查询集中每个对话的引入对话语句上下文信息的语句表示分别与各个增强类原型的欧式距离，将与所述查询集中每个对话最近的增强类原型对应的原型情感类别，作为该对话的情感类别。

本发明的有益技术效果是：

1)通过步骤2提出的自适应交叉采样，有效缓解了支持集和查询集中各类别语句数量不平衡问题；

2)步骤3基于群体情绪感染机制构建加权有向无环图，有效区分了同一说话者与不同说话者之间的情感影响；

3)步骤4中，结合上一步获取的结果计算得到了对话中语句的增强类原型，加强了对话内的类原型的表示，有效区分了不同对话间语句原型的权重影响；

4)与现有的小样本对话情感识别方法相比，本方法的准确率更高，同时缓解了类别不平衡问题，并考虑了对话中说话者之间的关系，有更好更全面提取对话上下文信息的能力，同时增强了对话内的类原型表示。

附图说明

图1是本申请提供的小样本对话情感识别方法流程图。

图2是本申请提供的该方法的整体框架图。

图3是本申请提供的自适应交叉采样结构图。

图4是本申请提供的加权有向无环图的结构示意。

图5是本申请提供的增强对话原型结构图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。

结合图1、图2所示，本实施例公开了一种引入群体情绪感染的原型增强小样本对话情感识别方法，包括如下步骤：

步骤1：获取包含多个说话者语句的对话文本构建数据集，并将数据集中的对话按照对应的情感类别划分成各个目标类别集合。

在本实施例中，以公开的数据集DailyDialog为例进行阐述。其中，将数据集中的对话按照对应的情感类别划分成各个目标类别集合具体包括：

假设情感类别数为N_C，若对话中含有至少一个语句属于情感类别k∈[1,N_C]，则将此对话标识为目标类别k，目标类别k集合表示为其中：|D^k|表示目标类别集合D^k中的对话数量，C_i∈D^k表示目标类别集合D^k中的第i个对话，D^k∈D，D为包含所有对话文本的数据集集合。

步骤1划分得到的目标类别集合D^k已满足支持集与查询集的采样条件，即分别从每个情绪类别中选取N_S个对话支持集和N_Q个对话查询集。但是在选取目标类别集合中的对话时，对话中包含的各类别语句数量不确定，例如选取类别k中的一个对话，对话中只含有一个类别为k的语句，而含有多个其他类别的语句，这将导致各类别语句数量极不平衡，对分类结果造成较大误差。针对该问题，本发明提出自适应交叉采样，对步骤一得到的目标类别集合进行重新划分，即进入步骤2。

步骤2：将所有目标类别集合中的对话进行自适应交叉采样，构成支持集和查询集。如图3所示，具体包括：

步骤2-1：根据所有目标类别集合对话中的语句类别数量确定阈值的初始值，记为mm。

对于每个目标类别集合，计算集合中每个对话的语句属于该集合对应的情感类别的数量，并选取其中的最大值。以目标类别集合D^k为例，对D^k中的每个对话C_i，计算对话C_i中语句类别为k的数量计算目标类别k∈[1,N_C]的集合D^k中/>的最大值为

从计算得到的各个目标类别集合对应的最大值中选出一个最小值作为阈值的初始值，即

步骤2-2：根据阈值将每个目标类别集合中的对话划分为G₁和G₂两个集合。具体的，对于每个目标类别集合，判断计算得到的与阈值mm的大小关系，若/>则将对话划分到集合G₁中；若/>则将对话划分到集合G₂中。

步骤2-3：根据G₁和G₂两个集合中的对话数量确定比例R，R＝|G₂|/(|G₁|+|G₂|)，其中|G₁|和|G₂|分别表示相应集合中的对话数量。

步骤2-4：判断比例R是否合适。即当满足γ₁＜R＜γ₂或者mm≤1时，进入步骤2-5；若不满足此条件，则令mm＝mm-1，再重新执行步骤2-2，直到条件满足，其中γ₁和γ₂为超参数。

步骤2-5：分别从集合G₁中采样(1-R)*N_S个对话、从集合G₂中采样R*N_S个对话构成支持集S，以及分别从集合G₁中采样(1-R)*N_Q个对话、从集合G₂中采样R*N_Q个对话构成查询集Q，且其中N_S和N_Q为预定采样参数。

通过步骤2构建的自适应交叉采样，集合G₁是为了保证所有对话都能够被采样，集合G₂是让包含目标类别语句多的对话被划分在相应目标类别中。对每个类别都按照一定的比例从G₁和G₂中分组采样，既保证了所有数据集都有机会被选择作为支持集和查询集，也保证了支持集和查询集在各类别对话中含有的对应类别语句数量占有优势，从而在每次训练中都尽可能保证各类别语句数量均衡，不会出现较大的差距。

步骤3：基于群体情绪感染机制对支持集和查询集中的每个对话分别构建加权有向无环图，并提取出每个对话的引入对话语句上下文信息的语句表示。

群体情绪感染，顾名思义是指在群体中个体情绪更容易受到他人情绪的影响。心理学研究表明，人们会不由自主的模仿他人的面部表情、肢体动作、说话方式以及语调。此外，人们也会设身处地的感受他人的情绪，并作出合时宜的反应。通过具体的实验数据，Barsade教授证明了在群体中确实存在情绪感染。因此，本方法引入了群体情绪感染机制构建加权有效无环图，通过区分不同说话者对当前语句的影响，有效提取引入对话语句上下文信息的语句表示。

步骤3-1：对支持集和查询集中的每个对话分别提取其语句特征。

在本实施例中，采用现有的RoBERTa模型作为特征提取器，首先在每个语句前面加上特殊标记[CLS]，使输入成为u₁＝{[CLS],w₁,w₂,……,w_b}，其中w表示语句中的单词，b表示语句中的单词数量。然后经过RoBERTa模型在最后一层利用[CLS]的池化嵌入作为语句的特征表示u_i，则对每个对话C_i提取的语句特征集合U＝{u₁,u₂,……,u_|Ci|}，其中|C_i|为对话C_i中的语句数量。提取语句特征的方法也可以采用其他类似的模型作为特征提取器，对此本申请不做具体限定。

步骤3-2：将每个对话中的语句特征u_i作为加权有向无环图的节点，从一个节点u_i向另一个节点u_j的信息传递作为加权有向无环图的边e_ij。如图4所示，不同图形表示不同说话者，不同灰度表示不同情绪类别，不同图形也代表了不同的节点，节点之间的连线表示边e_ij，虚线表示同一说话者之间的信息传递，实线表示不同说话者之间的信息传递。

步骤3-3：引入群体情绪感染机制，表现为：在对话中，将同一个说话者的前一个语句传递给当前语句的信息权重ω₁作为边的值，将同一个说话者两个语句间不同说话者传递给当前语句的信息权重ω₂作为边的值，其中ω₁＜ω₂，e_ij∈{ω₁,ω₂}。然后将两个相邻语句间说话者是否属于同一个人作为边之间的关系r_ij，若两个相邻语句间说话者为同一个人，则确定r_ij＝1，否则r_ij＝0。由此，完成加权有向无环图的构建，如图4所示。

步骤3-4：采用对话情感识别的有向无环图神经网络提取对话语句的上下文信息。具体的，将加权有向无环图的节点u_i、边值e_ij和边之间的关系r_ij送入三层有向无环图神经网络中，提取出每个对话的引入对话语句上下文信息的语句表示v。本实施例采用的加权有向无环图神经网络包括关系感知特征转换网络、节点信息单元和上下文信息单元，其中节点信息单元和上下文信息单元由两个门控循环单元实现。以对话中的节点u_i为例，在加权有向无环图神经网络中，首先基于关系感知特征转换网络得到当前节点在l层的聚合信息：

其中，表示节点u_i的邻近节点，/>表示提取的l-1层节点i的引入上下文信息的语句表示，/>表示提取的l层节点j的引入上下文信息的语句表示。

再经过两个门控循环单元提取在l层的节点信息和上下文信息/>将节点信息和上下文信息进行串联得到引入对话语句上下文信息的语句表示/>

现有的小样本对话情感识别方法基于原型网络，直接将对话支持集中所有对话的语句按类别划分并计算每个类别语句的平均原型，但这种方法忽略了对话内各类别语句之间的关系。对此本方法提出了增强对话原型网络，如图5所示，进入步骤4。

步骤4：根据支持集中每个对话的引入对话语句上下文信息的语句表示，计算支持集中的每个对话中所包含各情感类别语句的增强类原型。

首先，根据支持集中每个对话的引入对话语句上下文信息的语句表示，计算支持集中的每个对话中所包含各情感类别语句的类原型，并根据各类别语句在对话中的数量占比进行加权，得到各情感类别语句的动态加权平均类原型；然后，采用平均法计算支持集中的每个对话中所包含各情感类别语句的增强类原型。

以对话C_i为例，假设对话C_i中情感类别为k的语句的动态加权平均类原型表示为则：

其中，表示对话中语句类别为k的语句集合，v_j表示对话中提取的第j个引入对话语句上下文信息的语句表示，即语句表示v_j的情感标签为k。然后，采用平均法计算支持集中对话C_i中含有k类别语句的增强类原型p_k的计算表达式为：

其中，N_C*N_S表示支持集中的对话数量。

最后，采用标准交叉熵函数计算模型总损失

其中，y_i,j表示查询集中第i个对话中第j个语句的真实情感标签(即类别)，P_i,j表示查询集样本预测正确的概率。

步骤4中构建的增强对话原型网络，通过计算每个对话中的动态加权平均类原型，考虑了各类别语句在所属对话中的权重影响，而不是无差别的将所有对话中的各类别语句提取出来计算类原型。最后再次利用平均法计算支持集中所有对话包含的加权平均类原型，这样既考虑了对话内相同情感类别语句间的联系，也包含了数据集中此类别语句存在的共同特点，有效的将原型网络应用在小样本对话情感识别中。

步骤5：计算查询集中每个对话的引入对话语句上下文信息的语句表示分别与各个增强类原型的欧式距离，将与查询集中每个对话最近的增强类原型对应的原型情感类别，作为该对话的情感类别。

为了验证本发明的准确性与鲁棒性，本发明在公开数据集DailyDialog和MELD上进行实验。DailyDialog是从多个不同英语学习网站提取的英语学习者在日常生活中练习的英语对话，涵盖了非常广泛的日常情景。该数据集的每段对话由两个说话者构成，包含6种基本的情感标签，共有13118个对话，平均每个对话包含7.9个语句，其中11118个对话为训练集，验证集和测试集各有1000个对话。MELD来自情景喜剧《老友记》中的对话，每段对话包含多个说话者，含有7种基本情感标签，共有1432个对话，平均每个对话包含9.6个语句，其中1038个对话为训练集，114个对话为验证集，280个对话为测试集。实验参数设置参考表1所示：

表1.数据集实验参数设置

表1是两个数据集在实验中的参数设置。其中分别包括训练样本、验证样本和测试样本的对话数量和语句数量，以及学习率和总的迭代次数。

表2为上述实施例提出的引入群体情绪感染的原型增强小样本对话情感识别方法在DailyDialog和MELD数据集上的测试结果，其中对DailyDialog数据集采用微观F1评价指标，MELD数据集采用宏观F1评价指标。从表2可以看出，本方法在双人对话数据集DailyDialog和多人对话数据集MELD中都取得了先进的结果，这表明本发明提出的方法具有很好的鲁棒性。

表2.在DailyDialog和MELD数据集上的性能指标

数据集	DailyDialog	MELD
			PEEmoConta	57.87	58.82

为了验证本发明提出的自适应交叉采样、引入群体情绪感染机制的加权有向无环图和增强对话原型网络的有效性，另外构建了一个基础模型，该模型包括一个特征提取网络RoBERTa，对提取的语句特征构建有向无环图，利用有向无环图网络计算对话语句的上下文信息，然后采用序列原型网络计算每类语句的原型表示。从表3中可以看出，对于DailyDialog数据集，基础网络的精度达到56.67。在基础网络中添加自适应交叉采样模块，精确度达到57.17。引入群体情绪感染后，构建加权有向无环图，模型精度进一步提高达到57.21。在此基础上，添加增强对话原型网络，模型精度达到较高的结果57.87。这表明本申请设计的自适应交叉采样、引入群体情绪感染机制的加权有向无环图和增强对话原型网络对小样本对话情感识别分类都有正向效果，它们分别减缓了类别数量不平衡问题、增加了对话中情绪感染的影响、增强了类原型对话内语句间的联系，进而提高了模型的分类能力。

表3.在DailyDialog数据集上三个模型的效果

以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (10)

1.引入群体情绪感染的原型增强小样本对话情感识别方法，其特征在于，所述方法包括：

获取包含多个说话者语句的对话文本构建数据集，并将所述数据集中的对话按照对应的情感类别划分成各个目标类别集合；

将所有目标类别集合中的对话进行自适应交叉采样，构成支持集和查询集；

基于群体情绪感染机制对所述支持集和查询集中的每个对话分别构建加权有向无环图，并提取出每个对话的引入对话语句上下文信息的语句表示；

根据所述支持集中每个对话的引入对话语句上下文信息的语句表示，计算支持集中的每个对话中所包含各情感类别语句的增强类原型；

计算所述查询集中每个对话的引入对话语句上下文信息的语句表示分别与各个增强类原型的欧式距离，将与所述查询集中每个对话最近的增强类原型对应的原型情感类别，作为该对话的情感类别。

2.根据权利要求1所述的引入群体情绪感染的原型增强小样本对话情感识别方法，其特征在于，将所述数据集中的对话按照对应的情感类别划分成各个目标类别集合的方法包括：

假设情感类别数为N_C，若对话中含有至少一个语句属于情感类别k∈[1,N_C]，则将此对话标识为目标类别k，目标类别k集合表示为其中：|D^k|表示目标类别集合D^k中的对话数量，C_i∈D^k表示目标类别集合D^k中的第i个对话，D^k∈D，D为包含所有对话文本的数据集集合。

3.根据权利要求1所述的引入群体情绪感染的原型增强小样本对话情感识别方法，其特征在于，将所有目标类别集合中的对话进行自适应交叉采样，构成支持集和查询集的方法包括：

根据所有目标类别集合对话中的语句类别数量确定阈值的初始值，记为mm；

根据所述阈值将每个所述目标类别集合中的对话划分为G₁和G₂两个集合；

根据G₁和G₂两个集合中的对话数量确定比例R，R＝|G₂|/(|G₁|+|G₂|)；当满足γ₁＜R＜γ₂或者mm≤1时，分别从集合G₁中采样(1-R)*N_S个对话、从集合G₂中采样R*N_S个对话构成支持集S，以及分别从集合G₁中采样(1-R)*N_Q个对话、从集合G₂中采样R*N_Q个对话构成查询集Q，且否则令mm＝mm-1，再重新执行根据所述阈值将每个所述目标类别集合中的对话划分为G₁和G₂两个集合；

其中，|G₁|和|G₂|分别表示相应集合中的对话数量，γ₁和γ₂为超参数，N_S和N_Q为预定采样参数。

4.根据权利要求3所述的引入群体情绪感染的原型增强小样本对话情感识别方法，其特征在于，所述根据所有目标类别集合对话中的语句类别数量确认阈值的初始值的方法包括：

对于每个所述目标类别集合，计算集合中每个对话的语句属于该集合对应的情感类别的数量，并选取其中的最大值；

从计算得到的各个目标类别集合对应的最大值中选出一个最小值作为阈值的初始值。

5.根据权利要求3所述的引入群体情绪感染的原型增强小样本对话情感识别方法，其特征在于，根据所述阈值将每个所述目标类别集合中的对话划分为G₁和G₂两个集合的方法包括：

对于每个所述目标类别集合，计算集合中每个对话的语句属于该集合对应的情感类别的数量若/>则将所述对话划分到集合G₁中，否则划分到集合G₂中。

6.根据权利要求1所述的引入群体情绪感染的原型增强小样本对话情感识别方法，其特征在于，基于群体情绪感染机制对所述支持集和查询集中的每个对话分别构建加权有向无环图的方法包括：

对所述支持集和查询集中的每个对话分别提取其语句特征；

将每个对话中的语句特征作为加权有向无环图的节点，从一个节点向另一个节点的信息传递作为加权有向无环图的边；

引入群体情绪感染机制，表现为：在所述对话中，将同一个说话者的前一个语句传递给当前语句的信息权重ω₁作为所述边的值，将同一个说话者两个语句间不同说话者传递给当前语句的信息权重ω₂作为所述边的值，其中ω₁＜ω₂；若两个相邻语句间说话者为同一个人，则确定边之间的关系r_ij＝1，否则r_ij＝0。

7.根据权利要求1所述的引入群体情绪感染的原型增强小样本对话情感识别方法，其特征在于，提取出每个对话的引入对话语句上下文信息的语句表示的方法包括：

将构建加权有向无环图时得到的参数送入用于对话情感识别的有向无环图神经网络中，提取出每个对话的引入对话语句上下文信息的语句表示；其中，所述加权有向无环图的参数包括节点、边值和边之间的关系。

8.根据权利要求7所述的引入群体情绪感染的原型增强小样本对话情感识别方法，其特征在于，所述有向无环图神经网络包括关系感知特征转换网络、节点信息单元和上下文信息单元，其中节点信息单元和上下文信息单元由两个门控循环单元实现；在所述有向无环图神经网络中，基于所述关系感知特征转换网络得到当前节点的聚合信息，再经过两个所述门控循环单元提取节点信息和上下文信息，将所述节点信息和上下文信息进行串联得到引入对话语句上下文信息的语句表示。

9.根据权利要求1所述的引入群体情绪感染的原型增强小样本对话情感识别方法，其特征在于，根据所述支持集中每个对话的引入对话语句上下文信息的语句表示，计算支持集中的每个对话中所包含各情感类别语句的增强类原型的方法包括：

首先，根据所述支持集中每个对话的引入对话语句上下文信息的语句表示，计算支持集中的每个对话中所包含各情感类别语句的类原型，并根据各类别语句在对话中的数量占比进行加权，得到各情感类别语句的动态加权平均类原型；然后，采用平均法计算所述支持集中的每个对话中所包含各情感类别语句的增强类原型；假设情感类别为k的语句的动态加权平均类原型表示为则所述支持集中的每个对话中含有k类别语句的增强类原型p_k的计算表达式为：

其中，N_C*N_S表示支持集中的对话数量。

10.根据权利要求9所述的引入群体情绪感染的原型增强小样本对话情感识别方法，其特征在于，情感类别为k的语句的动态加权平均类原型的计算表达式为：

其中，|C_i|表示对话中语句的数量，表示对话C_i中语句类别为k的数量，/>表示对话中语句类别为k的语句集合，v_j表示对话中提取的第j个引入对话语句上下文信息的语句表示。