CN114091478A - 基于有监督对比学习与回复生成辅助的对话情感识别方法 - Google Patents

Abstract

本发明提供一种基于有监督对比学习与回复生成辅助的对话情感识别方法，首先，由于构建的预训练模型CoG‑BART，采用对话级Transformer模块对待测对话进行上下文建模，从而解决了话语之间的长距离依赖问题，同时由于整体模型架构均由Transformer组成，因此引入了更少的结构先验假设；其次，由于采用了有监督对比学习来训练模型，在充分利用标签信息的情况下，不仅能够增加模型训练时的稳定性并增强模型的泛化性，还使得相同情感的样本间内聚，不同情感的样本相互斥，因此改进了相似情感难以区分的问题；最后，由于辅助性回复生成任务能够根据给定的上文信息获取更准确的下文，从而使得模型在判断话语情感时能考虑更加丰富的上下文信息，提升模型识别对话的情感标签的精确性。

Description

基于有监督对比学习与回复生成辅助的对话情感识别方法

技术领域

本发明属于深度学习与自然语言处理领域，具体涉及一种基于有监督对比学习与回复生成辅助的对话情感识别方法。

背景技术

随着个人智能终端技术和社交网络的发展与普及，构建可理解用户情感、意图并进行有效对话交互的对话系统的重要性显著提升。对话系统中尤为关键的模块便是对用户情感进行分析的自然语言理解模块。对具有上下文关系的用户情感进行分析不仅是简单情感分类任务的进阶，并且在现实世界中更符合使用场景且更具有研究价值。对话情感识别的任务便是对具有上下文关系的一端历史对话中的所有话语进行情感分类，同时每段历史对话中包含多个不同的会话者之间的交互。

对话情感识别任务中主要存在三个挑战：(1)对话进程中的每个话语的情感都会收到上下文信息的影响。比如，特定情感会依赖于上下文中的特定话语。同时，具有相同表达的话语在不同的语境下可能存在着截然不同的情感标签。因此，高效地建模上下文依赖以及说话者之间的依赖问题是该任务相较于传统情感识别任务的主要区别。(2)每个说话者的情感都会受到对话过程中其他说话者话语的影响，所以在会话过程中存在说话者情绪突变的情况。(3)存在部分语义相似的情感，如“沮丧”和“伤心”，“快乐”和“兴奋”等。区别这类相似情感存在一定的困难性。

目前的部分工作通过使用各类图神经网络来处理上下文依赖和说话者依赖问题。然而，随着图网络层数的加深，开始逐渐出现过平滑现象，使得相似情感的表示趋向于更难区分。

发明内容

为解决上述问题，提供一种更好地建模上下文依赖关系和说话者依赖关系的对话情感识别方法，本发明采用了如下技术方案：

本发明提供了一种基于有监督对比学习与回复生成辅助的对话情感识别方法，其特征在于，包括以下步骤：步骤S1，基于编码器-解码器构建预训练模型CoG-BART，预训练模型CoG-BART具有对话级Transformer模块以及共享嵌入层；步骤S2，采用预训练模型CoG-BART对训练用对话进行话语编码获取训练用对话所包含的话语的隐状态；步骤S3，预训练模型CoG-BART基于话语的隐状态和上下文文本对进行辅助性回复生成任务并计算生成损失，同时将隐状态输入至对话级Transformer模块进行话语的上下文建模得到新的话语隐状态；步骤S4，基于新的话语隐状态计算有监督对比学习损失和交叉熵损失；步骤S5，基于生成损失、有监督对比学习损失以及交叉熵损失计算总体训练损失，并对预训练模型CoG-BART进行训练，直至获得训练好的预训练模型CoG-BART并将其作为对话情感识别模型；步骤S6，将包含若干句子的待测对话输入至对话情感识别模型进行情感识别并输出待测对话中若干句子对应的情感标签，其中，上下文文本对基于训练用对话生成。

本发明提供的基于有监督对比学习与回复生成辅助的对话情感识别方法，还可以具有这样的技术特征，其中，步骤S2包括以下子步骤：步骤S2-1，将训练用对话中的一个话语与对应的说话者进行拼接得到拼接后的话语：

式中，u_t为训练用对话中的某个话语，p(u_t)为话语u_t的说话者；步骤S2-2，对拼接后的话语进行词块化得到词块化的话语：

式中，w_t，i表示词块化后的词块，|n_t|表示第t轮话语进行词块后的序列长度，＜s＞和＜/s＞分别表示句子开始和结束的特殊词块；步骤S2-3，将词块化的话语依次输入至共享嵌入层以及编码器获取与词块化的话语对应句子表示即话语的隐状态：

式中，H_t表示嵌入后的句子表示，

为经过编码的句子表示，

其中，s，d分别表示序列长度和隐状态维度。

本发明提供的基于有监督对比学习与回复生成辅助的对话情感识别方法，还可以具有这样的技术特征，其中，在步骤S3中，上下文建模包括以下子步骤：步骤S3-1，将经过编码的句子表示

通过最大池化获取每个话语的聚合表示

式中，M表示对填补上的位置进行掩码操作；步骤S3-2，针对一个上下文中的所有对话，基于多头注意力机制计算每两个不同话语之间的多头注意力，并对每个话语的不同特征进行聚合获取最终的隐状态表示，每两个不同话语的隐状态

的多头注意力的计算公式为：

MultiHead(Q，K，V)＝[head₁；…；head_n]W^O

式中，Q、K、V分别表示将两个不同话语的隐状态

与三个可训练参数矩阵W_i ^Q、W_i ^K、W_i ^V相乘得到的查询向量、键向量以及值向量，M表示掩码向量，W^O表示将各个注意力头headi中的信息进行聚合的参数向量；步骤S3-3，基于对话级Transformer模块进行上下文依赖关系的建模获取新的话语隐状态：

式中，

表示窗口中的某个对话，

表示一段对话中窗口大小bs内的对话，

表示进行上下文建模后的新的话语隐状态。

本发明提供的基于有监督对比学习与回复生成辅助的对话情感识别方法，还可以具有这样的技术特征，其中，在步骤S3中，辅助性回复生成任务为：预训练模型CoG-BART基于上文u_t生成对应的下文u_t+1，下文u_t+1中的每一个词块的隐状态由解码器序列输出：

式中，BART-Encoder和BART-Decoder分别表示预训练模型CoG-BART的编码器和解码器，编码器对话语隐状态H_t进行编码后生成编码后的隐状态

由解码器生成下一个词块的隐状态

并通过Softmax函数得到词块u_t+1，j。

本发明提供的基于有监督对比学习与回复生成辅助的对话情感识别方法，还可以具有这样的技术特征，其中，有监督对比学习为：对于一个具有N个训练样例的批量，对批量中的每个训练样例通过预定增强方法获取增强后的2N个训练样例，预定增强方法为将一个话语的隐状态

复制一份并删除其梯度，得到

本发明提供的基于有监督对比学习与回复生成辅助的对话情感识别方法，还可以具有这样的技术特征，其中，总体训练损失为交叉熵损失、有监督对比损失以及生成损失的加权和，交叉熵损失为计算经过上下文建模生成的话语表示经过多层感知机得到情感标签概率的分布：

式中，P_i为语句

表示经过Softmax函数计算后得到的在标签空间上的条件概率，并通过argmax函数得到概率最大的预测的标签

y_i，c表示某个话语的真实的情感标签，

表示密度层输出的在类别c上的概率分布，L_CE为交叉熵损失，生成损失

为：

式中，θ是需要被优化的预训练模型CoG-BART的参数，加权和为1，即：

式中，α表示有监督对比损失的权重，β表示生成损失的权重，

为生成损失。

发明作用与效果

根据本发明的基于有监督对比学习与回复生成辅助的对话情感识别方法，首先，由于基于Transformer编码器-解码器构建的预训练模型CoG-BART，采用对话级Transformer模块对待测对话进行上下文建模获取话语表示，从而解决了话语之间的长距离依赖问题，同时由于整体模型架构均由Transformer组成，因此引入了更少的结构先验假设。其次，由于采用了有监督对比学习(Supervised ContrastiveLearning，SCL)来训练模型，在充分利用标签信息的情况下，使得相同情感的样本间内聚，不同情感的样本相互斥，因此改进了相似情感难以区分的问题。同时在处理噪声标签时，相比于交叉熵损失，有监督对比损失能够增加模型训练时的稳定性并增强模型的泛化性。最后，在进行上下文建模时，还进行辅助性回复生成任务以根据给定的上文信息获取更准确的下文，从而使得模型在判断话语情感时能考虑更加丰富的上下文信息，提升了模型识别对话的情感标签的精确性。

附图说明

图1是本发明实施例中的基于有监督对比学习与回复生成辅助的对话情感识别方法的流程图；

图2是本发明实施例中的对话情感识别模型的结构示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的基于有监督对比学习与回复生成辅助的对话情感识别方法作具体阐述。

<实施例>

图1是本发明实施例中的基于有监督对比学习与回复生成辅助的对话情感识别方法的流程图.

如图1所示，基于有监督对比学习与回复生成辅助的对话情感识别方法包括以下子步骤：

步骤S1，基于编码器-解码器构建预训练模型CoG-BART，该预训练模型CoG-BART具有对话级Transformer模块以及共享嵌入层。

步骤S2，采用预训练模型CoG-BART对训练用对话进行话语编码获取训练用对话所包含的话语的隐状态。

本实施例中，为了建模说话者和话语之间的依赖关系，对于训练用对话中的某一个话语u_t，首先将其与对应的说话者p(u_t)进行拼接得到拼接后的话语

然后对拼接后的话语

进行词块化得到词块化的话语：

式中，w_t，i表示词块化后的词块，|n_t|表示第t轮话语进行词块后的序列长度，＜s＞和＜/s＞分别表示句子开始和结束的特殊词块。

最后将词块化的话语依次输入至共享嵌入层以及编码器获取与词块化的话语对应句子表示即话语的隐状态：

式中，H_t表示嵌入后的句子表示，

为经过编码的句子表示，

其中，s，d分别表示序列长度和隐状态维度。

步骤S3，预训练模型CoG-BART基于话语的隐状态和上下文文本对进行辅助性回复生成任务并计算生成损失，同时将隐状态输入至对话级Transformer模块进行话语的上下文建模得到新的话语隐状态。

其中，上下文文本对是通过将训练用对话中的第n句话与第n+1句话以对话形式进行组合得出，例如：将训练用对话中的每句话表示为{n1，n2，n3，n4，n5}，则上下文文本对为{n1，n2}、{n2，n3}、{n3，n4}以及{n4，n5}。

其中，辅助性回复生成能够使模型在判断话语情感时能考虑更加丰富的上下文信息。

该辅助性回复生成任务为：预训练模型CoG-BART基于上文u_t生成对应的下文u_t+1，该下文u_t+1中的每一个词块的隐状态由解码器序列输出：

式中，BART-Encoder和BART-Decoder分别表示预训练模型CoG-BART的编码器和解码器，编码器对话语隐状态H_t进行编码后生成编码后的隐状态

由解码器生成下一个词块的隐状态

并通过Softmax函数得到词块u_t+1，j。

其中，辅助性回复任务的生成损失为：

式中，θ是需要被优化的预训练模型CoG-BART的参数。

上下文建模任务的过程如下：

步骤S3-1，将经过编码的句子表示

通过最大池化获取每个话语的聚合表示

式中，M表示对填补上的位置进行掩码操作，使得最大池化的过程中去除无关词块对句子表示的影响。

步骤S3-2，针对一个上下文中的所有对话，基于多头注意力机制计算每两个不同话语之间的多头注意力，并对每个话语的不同特征进行聚合获取最终的隐状态表示，从而充分建模上下文间不同话语之间复杂的依赖关系。

其中，每两个不同话语的隐状态

的多头注意力的计算公式为：

MultiHead(Q，K，V)＝[head₁；…；head_n]W^O

式中，Q、K、V分别表示将两个不同话语的隐状态

与三个可训练参数矩阵W_i ^Q、W_i ^K、W_i ^V相乘得到的查询向量、键向量以及值向量，M表示掩码向量，W^O表示将各个注意力头head_i中的信息进行聚合的参数向量。

步骤S3-3，基于对话级Transformer模块进行上下文依赖关系的建模获取新的话语隐状态：

式中，

表示窗口中的某个对话，

表示一段对话中窗口大小bs内的对话，

表示进行上下文建模后的新的话语隐状态。

步骤S4，基于新的话语隐状态计算有监督对比学习损失和交叉熵损失。

图2是本发明实施例中的对话情感识别模型的结构示意图。

相较于普通的自监督对比学习，本实施例采用有监督对比学习充分利用标签信息，使得其不仅限于单一正负例之间的关系，还能考虑到批量中的所有同类信息，使得相同情感的样本间内聚，不同情感的样本相互斥(如图2所示)。

对于对话情感分类而言，因为部分数据集中的每个类别的样本数量极其不均衡，并且有监督对比学习的损失在计算时会掩码自身，若一个批量中的某个类别仅存在一个样例时，不能直接将其应用于计算损失。

因此，本实施例中，为阻止其梯度回传，保证模型的参数优化维持稳定，将一个话语的隐状态

复制一份并删除其梯度，得到

对于一个具有N个训练样例的批量，对批量中的每个训练样例通过上述方法获取增强后的2N个训练样例。

其中，一个批量中所有训练样例在训练模型时的损失为：

式中，i∈I＝{1，2，…，2N}表示一个多视图批量中样例的索引，Φ(·)∈R^d表示编码器输出的经过L2正则化且在输入密度层之前的隐状态，τ∈R⁺表示用于控制距离的温度系数，P(i)＝I_j＝i-{i，N+i}表示与i具有相同类别且除去自身的样例，A(i)＝I-{i，N+i}表示批量中除了自身以外的其他样例，

为有监督对比学习损失。

将经过上下文建模生成的话语表示(新的话语隐状态)经过多层感知机得到情感标签概率的分布用于计算交叉熵损失：

式中，P_i为语句

表示经过Softmax函数计算后得到的在标签空间上的条件概率，并通过argmax函数得到概率最大的预测的标签

y_i，c表示某个话语的真实的情感标签，

表示密度层输出的在类别c上的概率分布，L_CE为交叉熵损失。

步骤S5，基于生成损失、有监督对比学习损失以及交叉熵损失计算总体训练损失，并对预训练模型CoG-BART进行训练，直至获得训练好的预训练模型CoG-BART并将其作为对话情感识别模型。

本实施例中，总体训练损失为交叉熵损失、有监督对比损失以及生成损失的加权和，且该加权和为1。

式中，α表示有监督对比损失的权重，β表示辅助性回复生成损失的权重。

步骤S6，将包含若干句子的待测对话输入至对话情感识别模型进行情感识别并输出待测对话中若干句子对应的情感标签。

实施例作用与效果

根据本实施例提供的基于有监督对比学习与回复生成辅助的对话情感识别方法，由于预训练模型CoG-BART基于Transformer编码器-解码器的架构建立，并且采用对话级Transformer模块对待测对话进行上下文建模获取话语表示，以解决话语之间的长距离依赖问题。相较于之前仅使用预训练模型作为特征提取器，并将提取的特征用于下游图网络节点表示的方法，由于本实施例中模型架构均为Transformer组成，因此引入了更少的结构先验假设；同时，在进行上下文建模时，还进行辅助性回复生成任务以根据给定的上文信息获取更准确的下文，从而使得模型在判断话语情感时能考虑更加丰富的上下文信息，提升了模型识别对话的情感标签的精确性。

实施例中，由于采用了有监督对比学习(Supervised Contrastive Learning,SCL)来训练模型，在充分利用标签信息的情况下，使得相同情感的样本间内聚，不同情感的样本相互斥，因此改进了相似情感难以区分的问题。同时在处理噪声标签时，相比于交叉熵损失，有监督对比损失能够增加模型训练时的稳定性并增强模型的泛化性。同时，相比于原始的SCL，本实施例的有监督对比学习在模型训练过程中，将一个批量的样本的隐状态复制一份，并删除其梯度作为多视图表示，从而避免因数据集样本不均衡而导致的计算错误。

上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。

Claims (6)

1.一种基于有监督对比学习与回复生成辅助的对话情感识别方法，其特征在于，包括以下步骤：

步骤S1，基于编码器-解码器构建预训练模型CoG-BART，所述预训练模型CoG-BART具有对话级Transformer模块以及共享嵌入层；

步骤S2，采用所述预训练模型CoG-BART对训练用对话进行话语编码获取所述训练用对话所包含的话语的隐状态；

步骤S3，所述预训练模型CoG-BART基于所述话语的隐状态和上下文文本对进行辅助性回复生成任务并计算生成损失，同时将所述隐状态输入至所述对话级Transformer模块进行话语的上下文建模得到新的话语隐状态；

步骤S4，基于所述新的话语隐状态计算有监督对比学习损失和交叉熵损失；

步骤S5，基于所述生成损失、有监督对比学习损失以及交叉熵损失计算总体训练损失，并对所述预训练模型CoG-BART进行训练，直至获得训练好的预训练模型CoG-BART并将其作为对话情感识别模型；

步骤S6，将包含若干句子的待测对话输入至对话情感识别模型进行情感识别并输出待测对话中若干句子对应的情感标签，其中，所述上下文文本对基于所述训练用对话生成。

2.根据权利要求1所述的一种基于有监督对比学习与回复生成辅助的对话情感识别方法，其特征在于：

其中，所述步骤S2包括以下子步骤：

步骤S2-1，将所述训练用对话中的一个话语与对应的说话者进行拼接得到拼接后的话语：

式中，u_t为所述训练用对话中的某个话语，p(u_t)为话语u_t的说话者；

步骤S2-2，对所述拼接后的话语进行词块化得到词块化的话语：

式中，w_t,i表示词块化后的词块，|n_t|表示第t轮话语进行词块后的序列长度，<s>和</s>分别表示句子开始和结束的特殊词块；

步骤S2-3，将所述词块化的话语依次输入至所述共享嵌入层以及编码器获取与所述词块化的话语对应句子表示即所述话语的隐状态：

式中，H_t表示嵌入后的句子表示，

为经过编码的句子表示，

其中，s,d分别表示序列长度和隐状态维度。

3.根据权利要求2所述的一种基于有监督对比学习与回复生成辅助的对话情感识别方法，其特征在于：

其中，在所述步骤S3中，所述上下文建模包括以下子步骤：

步骤S3-1，将经过编码的句子表示

通过最大池化获取每个话语的聚合表示

式中，M表示对填补上的位置进行掩码操作；

步骤S3-2，针对一个上下文中的所有对话，基于多头注意力机制计算每两个不同话语之间的多头注意力，并对所述每个话语的不同特征进行聚合获取最终的隐状态表示，所述每两个不同话语的隐状态

的多头注意力的计算公式为：

MultiHead(Q,K,V)＝[head₁；…；head_n]W^O

式中，Q、K、V分别表示将两个不同话语的隐状态

与三个可训练参数矩阵W_i ^Q、W_i ^K、W_i ^V相乘得到的查询向量、键向量以及值向量，M表示掩码向量，W^O表示将各个注意力头head_i中的信息进行聚合的参数向量；

步骤S3-3，基于所述对话级Transformer模块进行上下文依赖关系的建模获取所述新的话语隐状态：

式中，

表示窗口中的某个对话，

表示一段对话中窗口大小bs内的对话，

表示进行上下文建模后的所述新的话语隐状态。

4.根据权利要求3所述的一种基于有监督对比学习与回复生成辅助的对话情感识别方法，其特征在于：

其中，在所述步骤S3中，所述辅助性回复生成任务为：

所述预训练模型CoG-BART基于上文u_t生成对应的下文u_t+1，

所述下文u_t+1中的每一个词块的隐状态由解码器序列输出：

式中，BART-Encoder和BART-Decoder分别表示所述预训练模型CoG-BART的编码器和解码器，编码器对话语隐状态H_t进行编码后生成编码后的隐状态

由解码器生成下一个词块的隐状态

并通过Softmax函数得到词块u_t+1,j。

5.根据权利要求4所述的一种基于有监督对比学习与回复生成辅助的对话情感识别方法，其特征在于：

其中，所述有监督对比学习为：

对于一个具有N个训练样例的批量，对所述批量中的每个所述训练样例通过预定增强方法获取增强后的2N个训练样例，

所述预定增强方法为将一个话语的隐状态

复制一份并删除其梯度，得到

6.根据权利要求5所述的一种基于有监督对比学习与回复生成辅助的对话情感识别方法，其特征在于：

其中，所述总体训练损失为所述交叉熵损失、所述有监督对比损失以及所述生成损失的加权和，

所述交叉熵损失为计算经过所述上下文建模生成的所述新的话语隐状态经过多层感知机得到情感标签概率的分布：

式中，P_i为语句

表示经过Softmax函数计算后得到的在标签空间上的条件概率，并通过argmax函数得到概率最大的预测的标签

y_i,c表示某个话语的真实的情感标签，

表示密度层输出的在类别c上的概率分布，L_CE为所述交叉熵损失，

所述生成损失

为：

式中，θ是需要被优化的预训练模型CoG-BART的参数，

所述加权和为1，即：

式中，α表示所述有监督对比损失的权重，β表示所述生成损失的权重，

为所述生成损失。

Images