CN111966824B - 一种基于情感相似度注意力机制的文本情感识别方法 - Google Patents

Abstract

本发明公开一种基于情感相似度注意力机制的文本情感识别方法，在情感语料库训练数据不充足的情况下，提取有效的情感特征改进文本情感识别任务的效果。该方法以情感相似度为导向的注意力机制来计算每个句子在不同情感维度的权重分布，通过情感注意力机制可以提取出更有效更具有情感特征的文本向量，因此在离散的情感识别和连续的情绪回归任务上都取得了更好的效果。此外本发明验证了离散的情感分类和维度的VAD回归多任务训练可以有效提升系统的鲁棒性。

Description

一种基于情感相似度注意力机制的文本情感识别方法

技术领域

本发明属于情感计算邻域，具体是基于情感相似度注意力机制和多任务学习的文本情感识别方法。

背景技术

情感计算在众多邻域中都要重要应用，如医疗，社会科学，心理学，人机交互系统等。基于文本模态的情感识别问题是近年来情感计算中一个重要的子任务，有多种研究方法，比较常用的是使用情感词典，因为每个情感值往往代表对应单词的情感极性和情感强度，比如有的研究将文本分词后所有的单词和情感词典中的每个词进行语义相似度计算，并取最大值作为该文本在此单词维度下的情感极性。情感词典的使用可以一定程度上增强训练过程中的情感特征，但是其作用往往受限于情感词典的大小，此外在表达一个句子的情感极性时，将句子中的每个单词的情感极性相加或是取最大值的做法是不太恰当的，比如当两个正反极性的单词组合在一起，其情感极性不一定是两者相加或取最大值。

注意力机制模型，即给情感特征更大的权重，这种方法在文本情感识别中也有较多应用。但是这些方法主要是基于语义和句法信息对上下文进行建模从而给不同的特征分配权重，并没有包含特定的情感信息。引入知识图谱或迁移学习的方法也可以提高情感识别的准确率，但是这类引入外部特征的方法缺少一定的鲁棒性，往往取决于目标数据库和外部知识的相关程度，并不能够根据不同数据库不同情景去自适应的增强情感信息。

发明内容

本发明的目的是为了克服现有技术中的不足，针对如何提取有效的情感特征来提高情感识别精度问题，提供一种以情感相似度为导向的注意力机制模型以及多任务训练的方法。该方法通过以情感相似度为情感导向的方法来给不同的情感特征分配相应权重，有效的提升了情感识别的准确度。为提高整个模型的鲁棒性，采用多任务学习(离散的情感分类任务和维度的VAD回归任务)的方法。

本发明的目的是通过以下技术方案实现的：

一种基于情感相似度注意力机制的文本情感识别方法，包括以下步骤：

步骤一、准备输入数据：对多模态数据库IEMOCAP中的文本数据归纳整理；

步骤二、处理文本句子：通过基于Transformer结构的Universal SentenceEncoder模型提取文本的语义和句意信息，并使用Universal Sentence Encoder模型将基础情感类别转换为情感向量以及将步骤一归纳整理后的文本中的每个句子s_i转换为句向量/>基础情感类别包括开心、生气、中性和伤心；

步骤三、通过情感注意力机制计算每个句子在每种情感方向上的情感趋向度，然后得到情感特征增强的句向量，用D表示得到的特征矩阵；

步骤四、深度特征提取：将步骤三得到的特征矩阵D输入到卷积神经网络中提取更深层次和更复杂的特征，得到特征矩阵H^*；

步骤五、多任务学习输出。

进一步的，包括离散的情感分类和维度的VAD回归两个任务；其中情感分类任务用softmax分类器分为开心、生气、中性、伤心四类；回归任务用linear线性回归函数在效价、唤醒度和优势度三个维度上进行拟合。

进一步的，步骤三情感注意力机制的具体计算方法如下：

(301)分别计算每个句向量和每种情感向量/>的相似度，先计算句向量和情感向量的余弦相似度，然后通过arccos转换为角距离；

其中1＜i＜l，1＜j＜4，l是批尺寸大小，代表/>的转置；

(302)将四类情感相似度通过softmax计算句向量对应每种情感的概率/>

(303)从情感词典中选取这四种情感的效价值val_j作为情感极性，并计算每个句子在每个情感方向上的情感注意力a_i,j：

其中α是调节情感注意力值范围的参数；

(304)计算以情感注意力为导向的情感特征D：

其中d^s是句向量大小，W_s是学习矩阵。

进一步的，步骤四中的深度特征提取方法具体如下：

(401)将矩阵D输入到二维卷积神经网络中，选择w个滤波器做尺寸为m×n的卷积操作；

(402)接着是最大池化层，将卷积神经网络输出的特征图进行降采样处理，其中池化尺寸为p₁×p₂，然后通过dropout层防止过拟合；

(403)然后是三个不同节点的全连接层，分别连着三个dropout层。

进一步的，步骤五多任务学习步骤具体如下：数据库中的每个句子都有两类不同的标签，分别是离散的情感标签y_emo,i和连续的代表效价、唤醒度和优势度的情绪标签(y_val,i,y_aro,i,y_dom,i)；

(501)情感分类任务：首先将步骤五输出的特征向量输入softmax分类器计算各情感的概率值分布：

P(y_emo)＝soft max(W_eH^*+b_e) (5)

W_e,b_e是softmax层的参数矩阵，H^*为第四步深度特征提取后的特征矩阵；目标多分类交叉熵损失函数定义如下：

其中y_emo,i是句子s_i的真实标签，P(y_emo,i)是s_i的概率分布；

(502)VAD回归任务：

对于连续的VAD回归任务，使用linear函数预测每个效价、唤醒度、优势度的值：

其中，W_s,b_s是linear层的参数矩阵，表示第三个全连接输出层句子s_i的特征向量；使用均方误差损失函数L_{s,val|aro|dom}作为目标函数，定义如下：

其中是预测值，/>是初始值；

(503)多任务训练目标函数：

J＝J_e+β*(L_s,act+L_s,aro+L_s,dom) (9)

其中J_e是情感分类任务的损失函数，β是控制回归任务权重的参数，用于平衡分类任务和回归任务的相互作用；L_s,act、L_s,aro、L_s,dom分别是VAD回归任务中在效价、唤醒度、优势度三个维度上的损失函数。

与现有技术相比，本发明的技术方案所带来的有益效果是：

本发明所提出的基于文本的情感识别方法和现有的技术相比，采用了以情感相似度为导向的注意力机制来计算每个句子在不同情感维度的权重分布，通过情感注意力机制可以提取出更有效更具有情感特征的文本向量，因此在离散的情感识别和连续的情绪回归任务上都取得了更好的效果。此外本发明验证了离散的情感分类和维度的VAD回归多任务训练可以有效提升系统的鲁棒性。

在目前情感语料库训练数据不充足的情况下，选取有效的情感特征对情感识别任务尤为重要。本发明的工作为文本情感识别相关任务中如何提取有效的情感特征开拓了一条新的思路，为提高小样本情感识别研究做出了贡献。

附图说明

图1是本发明提出的基于情感注意力机制增强情感特征方法和多任务学习方法的框架图；

图2是本发明提出的以情感相似度为导向的注意力机制模型。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本实施例提供一种基于情感相似度注意力机制和多任务学习的文本情感识别方法，本方法以每个句子和不同情感的情感相似度为导向，以情感词典中选取的情感极性为情感强度，来表示每个句子在不同情感特征方面的权重。此外，众多研究者认为情感和效价，唤醒度等离散维度的指标密切相关，因此同时引入效价(V)，唤醒度(A)和优势度(D)三个标签作连续VAD回归任务辅助情感分类任务形成多任务学习，来提升整体效果。

主要有离散的情感分类和维度的VAD回归两个任务。其中情感分类任务用softmax分类器进行四分类(开心、生气、中性、伤心)，VAD回归任务用linear线性回归函数在效价、唤醒度和优势度三个维度上进行拟合。具体如下：

步骤一，输入数据准备：对多模态数据库中的文本数据归纳整理。

步骤二，文本句子处理：基于Transformer结构的Universal Sentence Encoder模型能够有效的提取文本的语义和句意信息，因此本实施例用这个模型将基础情感类别和训练文本中的所有句子转换为句向量特征。

步骤三，通过情感注意力机制计算每个句子在每种情感方向上的趋向度，然后得到情感特征增强的句向量，用d表示得到的特征矩阵。情感注意力机制的具体计算方法如下：

(301)分别计算每个句向量和四种情感向量/>的相似度:

其中1＜i＜l，1＜j＜4，l是批尺寸大小，代表/>的转置。计算相似度的方法有多种，如欧几里得距离、曼哈顿距离、杰卡德相似系数等。本实施例中先计算句向量和情感向量的余弦相似度，然后通过arccos转换为角距离，这种方法被多次实验验证相比于常用的相似度方法有更好的表现。

(302)将四类情感相似度通过softmax计算该句子对应每种情感的概率:

(303)从情感词典中选取这四种情感的效价值val_j作为情感极性，并计算每个句子在每个情感方向上的情感注意力：

其中α是调节情感注意力值范围的参数。

(304)计算以情感注意力为导向的情感特征：

其中d^s是句向量大小，W_s是学习矩阵。

步骤四，深度特征提取；把步骤三得到的特征矩阵D输入到卷积神经网络中提取更深层次和更复杂的特征，得到特征矩阵H^*。具体如下：

(401)将矩阵D输入到二维卷积神经网络中，选择w个滤波器做尺寸为m×n的卷积操作。

(402)接着是最大池化层，将卷积神经网络输出的特征图进行降采样处理，其中池化尺寸为p₁×p₂，然后通过dropout层防止过拟合。

(403)然后是三个不同节点的全连接层，分别连着三个dropout层。

步骤五，多任务学习输出，具体如下：数据库中的每个句子都有两类不同的标签，分别是离散的情感标签y_emo,i和连续的代表效价、唤醒度和优势度的情绪标签(y_val,i,y_aro,i,y_dom,i)。

(501)情感分类任务：

首先将步骤五输出的特征向量输入softmax分类器计算各情感的概率值分布：

P(y_emo)＝soft max(W_eH^*+b_e) (5)

W_e,b_e是softmax层的参数矩阵，H^*为第四步深度特征提取后的特征矩阵。目标多分类交叉熵损失函数定义如下：

其中y_emo,i是句子s_i的真实的标签，P(y_emo,i)是s_i的概率分布.

(502)VAD回归任务：

对于连续的VAD回归任务，softmax分类器便不再适用，因此本实施例中使用linear函数去预测每个效价，唤醒度，优势度的值：

其中，W_s,b_s是linear层的参数矩阵,表示第三个全连接输出层句子s_i的特征向量。使用均方误差损失函数作为目标函数，定义如下：

其中是预测值，/>是初始值。

(503)多任务训练目标函数：

J＝J_e+β*(L_s,act+L_s,aro+L_s,dom) (9)

其中J_e是情感分类任务的损失函数，β是控制回归任务权重的参数，用于平衡分类任务和回归任务的相互作用。L_s,act、L_s,aro、L_s,dom分别是VAD回归任务中在效价、唤醒度、优势度三个维度上的损失函数

具体的，图1是本发明方法的整体框架图，主要步骤如下：

步骤一，输入数据准备：此次实验本实施例采用IEMOCAP数据库。这是个多模态数据库，内容为10名不同的说话人在自发和剧本两种不同的语境下的对话视频，包括转录文本，音频和面部动作等特征。本实施例中仅采用转录文本的数据。为了与前沿的实验进行对比，使用离散的5531句，共有四类情感，分别为开心(29.6％)，中性(30.9％)，生气(19.9％)和伤心(19.6％)，需要说明的是为了平衡各个情感类别的分布，将原始的开心和激动两类情感归为开心一类。取用会话集1到4中前8名说话者的对话内容作为训练集，其余的作为测试集来做说话人无关的情感识别。为了与前沿的研究做对比，本实施例使用IEMOCAP中离散的5531句，共有四类情感，分别为开心、生气、中性、伤心；有三类情绪维度标签，分别为效价、唤醒度、优势度，每类标签的情绪维度为1到5。

此外，本实施例使用ANEW情感词典，该词典在效价，唤醒度和优势度三个维度的范围分别为1至9，对应每个维度情绪从弱到强的程度。本实施例只选取效价值作为情感极性，来区别不同单词的情感从不愉悦到愉悦的情感强度。

步骤二，文本句子处理：通过基于Transformer结构的Universal SentenceEncoder预训练模型将训练集和四类情感转换为句向量矩阵，句向量维度d^s为512，训练集和情感集向量矩阵尺寸分别为(4290×512),(4×512)。

步骤三，情感注意力计算：图2是本发明提出的以情感相似度为导向的注意力机制模型，通过上文提出来的公式计算出情感注意力机制增强的情感特征矩阵D(尺寸为4290×2048)。

步骤四，深度特征提取：本发明使用卷积神经网络来提取复杂有效的特征。具体构建步骤如下：

(1)将矩阵D输入到一层CNN卷积中，其中16个尺寸为4×4的滤波器做卷积操作，得到16个尺寸为512×4的特征图。

(2)接着是最大池化层，其中池化尺寸为2×2，降采样后的输出为16个尺寸为256×2的特征图，然后通过dropout层，dropout值为0.5，防止过拟合。

(3)然后是三个不同节点数的全连接层，分别连着三个dropout层。首先将最大池化后的所有特征通过Flatten层拼合成一个特征矩阵，然后输入到全连接层，三个全连接的隐藏节点分别为1024，512，256，dropout率为0.5。

步骤五，多任务训练：分别输入softmax分类器和linear线性回归函数，得到开心，生气，中性，伤心四种情感分类概率和效价、唤醒度、优势度三个情感维度值。选择Adam优化器。其中控制两个任务权重的参数β设置为1。

表1是在IEMOCAP数据库上实现说话人无关的情感分类任务的实验结果对比，模型评估指标是F1值，加权正确率，非加权正确率。加权正确率是整个测试集合上的正确率，非加权正确率是先计算测试集中每类情感的正确率，再取均值，这样无论每一类情感集测试样本多少，都同等重要。F1值则平衡了精度和召回值差异。从表中可以看到，本发明提出的模型在单任务中与前沿已有的研究结果相比，在F1值，加权正确率和非加权正确率上至少分别提高了3.35％，1.48％和3.06％，这说明了本发明中的以情感相似度为导向的注意力机制可以帮助模型有效的提取情感特征。而多任务的结果表现会更好，这说明情感分类任务和情绪回归任务是可以相互辅助达到更好的结果。

表2是在IEMOCAP数据库上情绪回归任务得实验结果对比，模型得评估指标是均方根误差和皮尔逊相关系数。其中均方根误差越小，皮尔逊相关系数越大，代表模型表现效果越好。从表中可以看到，本发明所提出的模型无论在单任务还是多任务上，从这两个评估指标来看都是表现最好的。

表1

表2

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (3)

1.一种基于情感相似度注意力机制的文本情感识别方法，其特征在于，包括以下步骤：

步骤一、准备输入数据：对多模态数据库IEMOCAP中的文本数据归纳整理；

步骤二、处理文本句子：通过基于Transformer结构的Universal Sentence Encoder模型提取文本的语义和句意信息，并使用Universal Sentence Encoder模型将基础情感类别转换为情感向量以及将步骤一归纳整理后的文本中的每个句子s_i转换为句向量/>基础情感类别包括开心、生气、中性和伤心；

步骤三、通过情感注意力机制计算每个句子在每种情感方向上的情感趋向度，然后得到情感特征增强的句向量，用D表示得到的特征矩阵；情感注意力机制的具体计算方法如下：

(301)分别计算每个句向量和每种情感向量/>的相似度，先计算句向量和情感向量的余弦相似度，然后通过arccos转换为角距离；

其中1＜i＜l，1＜j＜4，l是批尺寸大小，代表/>的转置；

(302)将四类情感相似度通过softmax计算句向量对应每种情感的概率/>

(303)从情感词典中选取这四种情感的效价值val_j作为情感极性，并计算每个句子在每个情感方向上的情感注意力a_i，j：

其中α是调节情感注意力值范围的参数；

(304)计算以情感注意力为导向的情感特征D：

其中d^s是句向量大小，W_s是学习矩阵；

步骤四、深度特征提取：将步骤三得到的特征矩阵D输入到卷积神经网络中提取更深层次和更复杂的特征，得到特征矩阵H^*；具体如下：

(401)将矩阵D输入到二维卷积神经网络中，选择w个滤波器做尺寸为m×n的卷积操作；

(402)接着是最大池化层，将卷积神经网络输出的特征图进行降采样处理，其中池化尺寸为p₁×p₂，然后通过dropout层防止过拟合；

(403)然后是三个不同节点的全连接层，分别连着三个dropout层；

步骤五、多任务学习输出。

2.根据权利要求1所述一种基于情感相似度注意力机制的文本情感识别方法，其特征在于，包括离散的情感分类和维度的VAD回归两个任务；其中情感分类任务用softmax分类器分为开心、生气、中性、伤心四类；回归任务用linear线性回归函数在效价、唤醒度和优势度三个维度上进行拟合。

3.根据权利要求1所述一种基于情感相似度注意力机制的文本情感识别方法，其特征在于，步骤五多任务学习步骤具体如下：数据库中的每个句子都有两类不同的标签，分别是离散的情感标签y_emo，i和连续的代表效价、唤醒度和优势度的情绪标签(y_val，i，y_aro，i，y_dom，i)；

(501)情感分类任务：首先将步骤五输出的特征向量输入softmax分类器计算各情感的概率值分布：

P(y_emo)＝softmax(W_eH^*+b_e) (5)

W_e，b_e是softmax层的参数矩阵，H^*为第四步深度特征提取后的特征矩阵；目标多分类交叉熵损失函数定义如下：

其中y_emo，i是句子s_i的真实标签，P(y_emo，i)是s_i的概率分布；

(502)VAD回归任务：

对于连续的VAD回归任务，使用linear函数预测每个效价、唤醒度、优势度的值：

其中，W_s，b_s是linear层的参数矩阵，表示第三个全连接输出层句子s_i的特征向量；使用均方误差损失函数L_{s，val|aro|dom}作为目标函数，定义如下：

其中是预测值，/>是初始值；

(503)多任务训练目标函数：

J＝J_e+β*(L_s，act+L_s，aro+L_s，dom) (9)

其中J_e是情感分类任务的损失函数，β是控制回归任务权重的参数，用于平衡分类任务和回归任务的相互作用；L_s，act、L_s，aro、L_s，dom分别是VAD回归任务中在效价、唤醒度、优势度三个维度上的损失函数。