CN113158644A - 一种基于多任务学习的修辞格及隐式情绪识别方法 - Google Patents

Abstract

本发明涉及计算机文本情感分析领域，具体涉及一种基于多任务学习的修辞格及隐式情绪识别方法。本方法为了识别修辞格与情绪而提出，首先利用BERT与Tree‑LSTMs捕获句子的语义及句法表示。基于此，设计门控机制的修辞格分类器与基于语义的情绪分类器，分别获取句子的修辞格及情绪的关联分布表示。然后构建融入关联表示的多标签预测，得到句子的修辞格与情绪的标签集。

Description

一种基于多任务学习的修辞格及隐式情绪识别方法

技术领域

本发明涉及计算机文本情感分析领域，具体涉及一种基于多任务学习的修辞格及隐式情绪识别方法。

背景技术

修辞格的隐式情绪表达广泛存在于文学作品、产品评论等文本中，开展修辞格及情绪分析相关研究，可为智慧教育及产品舆情分析等提供技术支撑。在智能教育中，解答文学作品的语言鉴赏类阅读理解题，如“阅读材料从多个角度抒发着对生命的敬畏，请选择一个细节进行语言特色分析”，需要修辞格与情绪相关知识的支持。修辞格及情绪的自动识别技术，可以帮助学生快速分析及解答习题，巩固相关知识点，从而帮助学生提高成绩的同时，减轻了教师的负担。另外，相关识别技术也可实现自动评卷系统，精准挖掘用户知识的薄弱点，完成个性化教学，提升系统的性能。在产品舆情分析中，修辞格的情绪分析技术可以帮助实现先进的自动评价系统，协助消费者快速挑选合适的产品，提高生产者快速挖掘产品缺陷和不足的能力，提升产品质量，为用户提供更好的体验。

在修辞格识别任务中，现存识别方法的特征构造耗费时力，且特定模型仅解决一种修辞格识别，泛化性差。在文本情绪识别中，目前大多数研究集中于显式情绪识别，学者鲜有涉及隐式情绪，尤其是修辞格的隐式情绪识别。

修辞格的构成依赖于语义与句法信息，且修辞格与情绪间具有强关联性。如，“比喻、排比、拟人”等修辞格更倾向表达“好”的情绪；而“反问、反语”等修辞格更倾向表达“恶”的情绪。另外，现有研究验证了预训练语言模型及多任务学习机制是解决隐式情绪识别的重要武器，为本发明提供了理论基础。因此，如何利用预训练语言模型及多任务学习机制，准确地从文本上下文中动态挖掘特定修辞格依赖的语义与句法信息；构建修辞格与情绪类别间的关联关系，相互促进两个识别任务，是亟待解决的问题。本发明提供一种基于多任务学习的修辞格及情绪识别方法，可以服务于智慧教育以及产品舆情分析。

发明内容

本发明的目的是为了识别修辞格与情绪而提出的基于多任务学习的方法。该方法针对修辞格构成模式灵活、类别与情绪类别间具有关联性的特点，设计语义与句法模块，捕获构成修辞格及情绪的语义与句法信息；并提出关联表示，编码修辞格与情绪之间的关系，以提升修辞格及情绪的识别性能。在修辞格及情绪数据集上，修辞格及情绪识别的F1值分别取得了93.83与88.84，均高于目前最好的多任务方法。

为达到上述目的，本发明的构思为：首先，利用BERT与Tree-LSTMs捕获句子的语义及句法表示。基于此，设计门控机制的修辞格分类器与基于语义的情绪分类器，分别获取句子的修辞格及情绪的关联分布表示。然后，构建融入关联表示的多标签预测，得到句子的修辞格与情绪的标签集。

为了达到上述目的，本发明采用了下列技术方案：

一种基于多任务学习的修辞格及隐式情绪识别方法，包括以下步骤：

步骤1，语义信息编码：对于包含N个词语的句子S＝{w₁,w₂,...,w_N}，利用BERT模型，捕获句子S的语义表示sr^sem；

步骤2，句法信息编码：利用预训练的综合词义词向量与知识词向量，通过拼接的方式，获取句子S的词向量矩阵X＝{x₁,x₂,...,x_N}，然后采用Tree-LSTMs模型编码句子S的句法表示sr^syn；

步骤3，修辞格关联分布表示获取：基于上述步骤句子S的语义与句法表示，为每个修辞格设计独立的基于门控机制的分类器，从而获得输入句子S的第i类修辞格概率

将R类修辞格概率连接成一个修辞格的分布表示

用于计算情绪的关联分布表示；

步骤4，情绪关联分布表示获取：连接句子S的语义表示sr^sem与修辞格分布表示

作为情绪分类器的特征，用于获取句子S的情绪关联分布表示

步骤5，修辞格预测：为了融入情绪的分布表示，提升句子的修辞格预测，基于情绪关联分布表示

结合第i类修辞格分类器获取的特征表示，获取修辞格识别新特征f_i ^r，以预测第i类修辞格的概率

连接R类修辞格的预测概率为概率分布表示

用于句子的情绪预测；

步骤6，情绪预测：利用句子的修辞格预测概率分布及语义表示，通过公式(16)计算出一个新的关联特征，然后设计sigmoid分类器预测情绪的概率分布，见公式(17)：

其中，“||”表示连接操作，sr^e为情绪预测的关联特征，W^pe为sigmoid分类器中训练参数，

代表输入句子的情绪预测概率分布，且

即

为E维向量；

步骤7，修辞格与情绪标签确定：修辞格的隐式情绪句常利用多种修辞格增强句子表达，同时传递多种情绪。因此，利用修辞格及情绪识别任务的阈值thre^r与thre^e，将预测概率大于阈值的句子标记为特定的类别，从而获取句子的修辞格及情绪标签集，见公式(18)：

其中，k∈{r,e}，且r与e分别代表修辞格或情绪识别任务，

为任务k中第i类的预测标签，thre^k为任务k确定类别的阈值；

步骤8，设计基于多任务学习机制的目标函数：鉴于修辞格及情绪识别任务采用的多标签预测方式，利用分类模型中普遍使用的一对多交叉熵损失函数度量两个任务的损失；考虑到修辞格与情绪类别间的关联，设计多任务学习的目标函数，使得本发明在参数共享信息的基础上，相互促进两个任务的识别效果。

进一步地，所述步骤1中利用BERT模型，捕获句子S的语义表示sr^sem，具体步骤为：

步骤1.1，将句子规范化为BERT模型需要的格式，即在句子开头加入[CLS]表示；

步骤1.2，利用[CLS]的输出作为整个句子的语义表示，如公式(1)所示：

sr^sem＝BERT(S) (1)

其中，S代表句子，sr^sem为S的语义表示，

即sr^sem为d₁维向量。

进一步地，所述步骤2中利用预训练的综合词义词向量与知识词向量，通过拼接的方式，获取句子S的词向量矩阵X＝{x₁,x₂,...,x_N}，然后采用Tree-LSTMs模型编码句子S的句法表示sr^syn，具体步骤为：

步骤2.1，结合两类不同预训练词向量，获取句子S的词向量矩阵X＝{x₁,x₂,...,x_N}，一类为大规模语料库上训练的词向量，用于表达词语在多种上下文环境下的综合词义；另一类为基于知识库的确切词义的词向量，如公式(2)所示：

x_i＝[g_i||k_i] (2)

其中，x_i为词语w_i(i＝1,2,...N)的词向量，g_i代表词语的综合含义词向量，来源于腾讯智能实验室；k_i为基于义原的知识词向量，通过SE-WRL模型获取；“||”表示连接操作；

步骤2.2，将词向量矩阵X作为Tree-LSTMs的输入，并利用句子依存句法树的根结点表示作为句子的句法表示，如公式(3)所示：

sr^syn＝Tree-LSTM(X,X^syn) (3)

其中，X＝{x₁,x₂,...,x_N}，X^syn为斯坦福句法分析器获取的依存句法树，且

即sr^syn为d₂维向量。

进一步地，所述步骤3中基于上述步骤句子S的语义与句法表示，为每个修辞格设计独立的基于门控机制的分类器，从而获得输入句子S的第i类修辞格概率

将R类修辞格概率连接成一个修辞格的分布表示

具体步骤为：

步骤3.1，动态结合特定修辞依赖的语义与句法表示，句子S的表示由公式(4)～(7)计算：

r_i＝σ(W_i ^r*[sr^syn,sr^sem]) (4)

z_i＝σ(W_i ^z*[sr^syn,sr^sem]) (5)

其中，r_i、z_i和sr_i ^r分别代表第i类修辞格分类器中句子表示的重置门、更新门及隐层状态；W_i ^r、W_i ^z与

分别为重置门、更新门及隐层状态计算过程中训练参数；σ和tanh为sigmoid函数及双曲正切函数，代表按元素乘法；

即sr_i ^r为d₂维向量；

步骤3.2，在句子表示的基础上，通过公式(8)提取特定修辞格的特征，公式(8)如下：

其中，

为第i类修辞格识别的特征，W_i ^fr为特征抽取的训练参数，

即

为d₃维向量；

步骤3.3，句子S的第i类修辞格的概率通过公式(9)计算：

其中，

为第i类修辞格的概率，W_i ^pr为概率计算过程中训练参数，且

即

为一维向量；

步骤3.4，R类修辞格概率通过公式(10)连接成一个修辞格的分布表示，用于计算情绪的关联分布表示，公式(10)如下：

其中，

即

为R维向量。

进一步地，所述步骤4中连接句子S的语义表示sr^sem与修辞格分布表示

作为情绪分类器的特征，具体步骤为：

步骤4.1，情绪分类器的特征利用公式(11)计算：

其中，sr^e为获取句子情绪关联分布表示的特征；

步骤4.2，句子的情绪关联分布表示通过公式(12)获取：

其中，

为输入句子的情绪关联分布表示，W^pe为情绪关联分布表示计算过程中的训练参数，且

即

为E维向量。

进一步地，所述步骤5中基于情绪关联分布表示

结合第i类修辞格分类器获取的特征表示，获取修辞格识别新特征f_i ^r，以预测第i类修辞格的概率

连接R类修辞格的预测概率为概率分布表示

具体步骤为：

步骤5.1，基于情绪关联分布表示下的转换特征f^e→r通过公式(13)获取：

其中，W^e→r代表情绪关联分布表示的转换矩阵；

步骤5.2，结合修辞分类器获取的特征表示

与转换特征f^e→r，形成新的关联特征f_i ^r，见公式(14)：

步骤5.3，第i类修辞格的预测概率通过sigmoid分类器获取，见公式(15)：

其中，

为第i类修辞格的预测概率，W_i ^pr为训练参数；

步骤5.4，将R类修辞格预测概率串联为一个修辞格预测概率分布表示

即

为R维向量。

进一步地，所述步骤8中鉴于修辞格及情绪识别任务采用的多标签预测方式，利用分类模型中普遍使用的一对多交叉熵损失函数度量两个任务的损失；考虑到修辞格与情绪类别间的关联，设计多任务学习的目标函数，使得本发明在参数共享信息的基础上，相互促进两个任务的识别效果，具体步骤为：

步骤8.1，利用一对多交叉熵计算修辞格识别任务的损失，如公式(19)所示：

其中，loss^r为修辞格识别任务的损失，

与

表示S_l第i类修辞格的真实标签与预测概率，L为数据集句子的总数，R为修辞格类别数量；

步骤8.2，利用一对多交叉熵计算情绪识别任务损失，如公式(20)所示：

其中，loss^e为情绪识别任务的损失，

与

表示S_l第i类情绪的真实标签与预测概率，L为数据集句子的总数，E为情绪类别数量；

步骤8.3，综合两个识别任务的损失作为本发明的总损失，如公式(21)所示：

loss＝loss^r+loss^e (21)

其中，loss为本发明的总损失。

与现有技术相比，本发明具有以下优点：

1.针对文本语义与句法信息不同的展示方式，分别采用BERT及树状结构的Tree-LSTMs模型，构建文本的句法与语义表示。

2.针对不同修辞格构成模式对句子的语义与句法信息依赖程度不同，本发明为修辞格设计基于门控机制的分类器，具有较好的泛化性。

3.设计修辞格及情绪的关联分布表示，刻画修辞格与情绪标签间的关系，提升本发明对两个任务的识别效果。

4.本发明采用多任务学习机制训练模型，调整共享的参数。在语义及句法表示、关联分布表示及预测过程中，深层地挖掘修辞格与情绪识别任务的关系，从而取得更好的效果。

附图说明

图1是本发明的整体层次结构框架图；

图2为在修辞格及情绪识别任务中，经验地选取最佳阈值thre^e(上)与thre^r(下)的过程。

具体实施方式

如图1所示，本发明的一种基于多任务学习的修辞格及隐式情绪识别方法将修辞格及情绪识别划分为三个子模块，每个模块间逐层相连，最后通过多任务机制将其融合进行训练，具体包括以下步骤：

步骤1，语义信息编码：对于包含N个词语的句子S＝{w₁,w₂,...,w_N}，利用BERT模型，捕获句子S的语义表示sr^sem，具体步骤为：

步骤1.1，将句子规范化为BERT模型需要的格式，即在句子开头加入[CLS]表示；

步骤1.2，利用[CLS]的输出作为整个句子的语义表示，如公式(1)所示：

sr^sem＝BERT(S) (1)

其中，S代表句子，sr^sem为S的语义表示，

即sr^sem为d₁维向量。

步骤2，句法信息编码：利用预训练的综合词义词向量与知识词向量，通过拼接的方式，获取句子S的词向量矩阵X＝{x₁,x₂,...,x_N}，然后采用Tree-LSTMs模型编码句子S的句法表示sr^syn，具体步骤为：

步骤2.1，结合两类不同预训练词向量，获取句子S的词向量矩阵X＝{x₁,x₂,...,x_N}，一类为大规模语料库上训练的词向量，用于表达词语在多种上下文环境下的综合词义；另一类为基于知识库的确切词义的词向量，如公式(2)所示：

x_i＝[g_i||k_i] (2)

其中，x_i为词语w_i(i＝1,2,...N)的词向量，g_i代表词语的综合含义词向量，来源于腾讯智能实验室；k_i为基于义原的知识词向量，通过SE-WRL模型获取；“||”表示连接操作；

步骤2.2，将词向量矩阵X作为Tree-LSTMs的输入，并利用句子依存句法树的根结点表示作为句子的句法表示，如公式(3)所示：

sr^syn＝Tree-LSTM(X,X^syn) (3)

其中，X＝{x₁,x₂,...,x_N}，X^syn为斯坦福句法分析器获取的依存句法树，且

即sr^syn为d₂维向量。

步骤3，修辞格关联分布表示获取：基于上述步骤句子S的语义与句法表示，为每个修辞格设计独立的基于门控机制的分类器，从而获得输入句子S的第i类修辞格概率

将R类修辞格概率连接成一个修辞格的分布表示

用于计算情绪的关联分布表示，具体步骤为：

步骤3.1，动态结合特定修辞依赖的语义与句法表示，句子S的表示由公式(4)～(7)计算：

r_i＝σ(W_i ^r*[sr^syn,sr^sem]) (4)

z_i＝σ(W_i ^z*[sr^syn,sr^sem]) (5)

其中，r_i、z_i和sr_i ^r分别代表第i类修辞格分类器中句子表示的重置门、更新门及隐层状态；W_i ^r、W_i ^z与

分别为重置门、更新门及隐层状态计算过程中训练参数；σ和tanh为sigmoid函数及双曲正切函数，代表按元素乘法；

即sr_i ^r为d₂维向量；

步骤3.2，在句子表示的基础上，通过公式(8)提取特定修辞格的特征，公式(8)如下：

其中，

为第i类修辞格识别的特征，W_i ^fr为特征抽取的训练参数，

即

为d₃维向量；

步骤3.3，句子S的第i类修辞格的概率通过公式(9)计算：

其中，

为第i类修辞格的概率，W_i ^pr为概率计算过程中训练参数，且

即

为一维向量；

步骤3.4，R类修辞格概率通过公式(10)连接成一个修辞格的分布表示，用于计算情绪的关联分布表示，公式(10)如下：

其中，

即

为R维向量。

步骤4，情绪关联分布表示获取：连接句子S的语义表示sr^sem与修辞格分布表示

作为情绪分类器的特征，用于获取句子S的情绪分布表示

具体步骤为：

步骤4.1，情绪分类器的特征利用公式(11)计算：

其中，sr^e为获取句子情绪关联分布表示的特征；

步骤4.2，句子的情绪关联分布表示通过公式(12)获取：

其中，

为输入句子的情绪关联分布表示，W^pe为情绪关联分布表示计算过程中的训练参数，且

即

为E维向量。

步骤5，修辞格预测：基于情绪关联分布表示

结合第i类修辞格分类器获取的特征表示，获取修辞格识别新特征f_i ^r，以预测第i类修辞格的概率

连接R类修辞格的预测概率为概率分布表示

用于句子的情绪预测，具体步骤为：

步骤5.1，基于情绪关联分布表示下的转换特征f^e→r通过公式(13)获取：

其中，W^e→r代表情绪关联分布表示的转换矩阵；

步骤5.2，结合修辞分类器获取的特征表示

与转换特征f^e→r，形成新的关联特征f_i ^r，见公式(14)：

步骤5.3，第i类修辞格的预测概率通过sigmoid分类器获取，见公式(15)：

其中，

为第i类修辞格的预测概率，W_i ^pr为训练参数；

步骤5.4，将R类修辞格预测概率串联为一个修辞格预测概率分布表示

即

为R维向量。

步骤6，情绪预测：利用句子的修辞格预测概率分布及语义表示，通过公式(16)计算出一个新的关联特征，然后设计sigmoid分类器预测情绪的概率分布，见公式(17)：

其中，“||”表示连接操作，sr^e为情绪预测的关联特征，W^pe为sigmoid分类器中训练参数，

代表输入句子的情绪预测概率分布，且

即

为E维向量；

步骤7，修辞格与情绪标签确定：利用修辞格及情绪识别任务的阈值thre^r与thre^e，将预测概率大于阈值的句子标记为特定的类别，从而获取句子的修辞格及情绪标签集，见公式(18)：

其中，k∈{r,e}，且r与e分别代表修辞格或情绪识别任务，

为任务k中第i类的预测标签，thre^k为任务k确定类别的阈值；

步骤8，设计基于多任务学习机制的目标函数：鉴于修辞格及情绪识别任务采用的多标签预测方式，利用分类模型中普遍使用的一对多交叉熵损失函数度量两个任务的损失，考虑到修辞格与情绪类别间的关联，设计多任务学习的目标函数，使得本发明在参数共享信息的基础上，相互促进两个任务的识别效果，具体步骤为：

步骤8.1，利用一对多交叉熵计算修辞格识别任务的损失，如公式(19)所示：

其中，loss^r为修辞格识别任务的损失，

与

表示S_l第i类修辞格的真实标签与预测概率，L为数据集句子的总数，R为修辞格类别数量；

步骤8.2，利用一对多交叉熵计算情绪识别任务损失，如公式(20)所示：

其中，loss^e为情绪识别任务的损失，

与

表示S_l第i类情绪的真实标签与预测概率，L为数据集句子的总数，E为情绪类别数量；

步骤8.3，综合两个识别任务的损失作为本发明的总损失，如公式(21)所示：

loss＝loss^r+loss^e (21)

其中，loss为本发明的总损失。

本发明的一些参数设定和细节说明：

1.基于Tree-LSTMs的句法表示中，使用斯坦福句法分析器自动解析句子的依存句法。

2.句法树词嵌入层，选取腾讯人工智能实验室的基于大规模多领域语料训练的综合词向量与窗口为3的SE-WRL模型训练的知识词向量，它们维度都为200。

3.通过网格搜索方式，微调Tree-LSTMs隐层维度、修辞格分类器的特征维度、修辞格预测阈值及情绪预测阈值，依据验证集最佳的微平均F1值，它们的值分别设置为64、64、0.88和0.73。

4.为了保证本发明在同一参数配置下稳定的结果，对本发明的参数环境设置种子值为666。

5.训练过程中，批量样本数为6，Epoch值为15。

6.利用初始学习率为0.00005的Adamax优化模型。

7.为了避免产生过拟合问题，训练过程中，在BERT模型和预测层上设置值为0.1的dropout。

为了验证本发明的有效性，表1展示了面向中文构建的一个多标签的修辞格及情绪数据集。数据集源语料来自课本、文学作品、网站及微博，3个研究生完成了标注任务，最终数据库包括11820个句子。在修辞格数据中，3个人标注结果的kappa值为0.848，0.692，0.757；情绪数据中，kappa值为0.458，0.512，0.556。实验过程中，我们根据8:1:1比例划分数据集为训练集、验证集及测试集。

表1修辞格与情绪数据集统计结果

进一步，为了验证本发明的有效性，表2展示了本发明与多个表现优异的多任务模型在修辞格及情绪识别任务中的结果，其中选取的多任务模型的介绍具体如下：

CNN-Adversarial-MUL：多任务学习通过共享相关任务的参数，促进多个任务效果的提升。然而模型的共享部分包含多个任务的共享特征及特定任务的私有特征，学习过程中，相关任务的私有特征对目标任务造成了干扰。因此，一种用于文本分类的对抗式多任务学习框架缓解了共享和私有特征之间的相互干扰。

BERT-MUL：预训练语言模型的语义刻画能力已在多个自然语言理解任务中获得验证，特别是BERT语言模型。基于BERT，提出了一种神经网络的多任务学习框架，用于解决多种自然语言理解任务。模型受益于大量跨任务数据相互产生的正则化效应，使得模型可以学习更通用的语义表示，加快模型对新任务的适应。

表2多任务学习模型的修辞格与情绪识别结果(％)

实验结果表明，本发明优于现有的最好的多任务基准模型。此优势主要得益于以下原因：(1)本发明利用修辞格与情绪的关联分布表示，提升了修辞格及情绪的识别效果。(2)基于门控机制的修辞格分类器，根据特定修辞格类别的特点，自动选取文本的语义及句法信息，能为特定修辞格的识别提供更加精准的信息，且使得本发明有更好的泛化性。

更进一步，为了验证本发明各个模块的重要部分对识别任务的有效性，表2展示了本发明与单任务模型在修辞格及情绪识别中的结果，表3从任务关联学习、基于门控机制的修辞格分类器、词嵌入三个方面，展示了消融模型对修辞格及情绪识别的影响。单任务模型及消融模型的设计具体如下：

(a)任务关联学习

RI-SIG：单任务模式下，在句子的语义及句法表示的基础上，基于门控机制的修辞格分类器识别修辞格。

EI-SIG：单任务模式下，基于BERT模型表示句子语义，利用情绪分类器识别情绪。

w/o RheFusing：情绪识别过程中，移除修辞格的关联分布表示，即基于文本语义表示，利用情绪分类器预测句子的情绪标签。

w/o EmoFusing：修辞格识别过程中，移除情绪的关联分布表示，即基于门控机制的修辞格分类器完成句子的修辞格识别。

w/o Fusing：情绪及修辞格的识别过程中，均移除对应的关联分布表示。

(b)基于门控机制的修辞格分类器

SameRepresentforRI：针对所有修辞格类别，设计一个基于门控机制的修辞格分类器，完成识别任务。

w/o Gate：修辞格分类器中，删除动态结合语义与句法信息的门控机制，句子表示通过连接语义与句法表示获得。

w/o Tree：移除修辞格分类器中的句法表示。

(c)词嵌入

w/o ComprehensiveEmb,w/o KnowledgeEmb:分别移除基于Tree-LSTMs句法表示中的综合词向量或知识词向量。

表3单任务与多任务模型的修辞格与情绪识别结果(％)

表3展示的实验结果表明，在修辞格及情绪识别两个任务中，本发明结果优于单任务模型，从而验证了多任务学习策略对两个识别任务的有效性。其原因是两个任务在多任务学习的策略下，共同调整模型的共享参数，相互促进学习更有效的识别特征，从而提升了两个任务的识别结果。

表4消融实验结果(％)

表4展示的消融实验结果，可得出以下结论：(1)w/o RheFusing、w/o EmoFusing和w/o Fusing的F1值均低于本发明，从而证明本发明的关联分布表示可以相互提升修辞格及情绪的识别的性能。(2)在修辞格识别任务中，SameRepresentforRI、w/o Gate和w/o Tree的F1值均低于本发明，即验证基于门控机制的修辞格分类器是有效的。(3)在基于Tree-LSTMs句法表示中，w/o ComprehensiveEmb和w/o KnowledgeEmb的F1值均低于本发明，并且w/oKnowledgeEmb的F1值最低，此结果证明两种词向量中包含互补的信息，当同时利用两个词向量时，全面准确地刻画了词语的语义。另外，知识词向量可以将词语的含义表达地更为准确。

最后，图2展示了在修辞格及情绪识别任务中，经验地选取最佳阈值thre^r与thre^e的过程。本发明采用广泛使用的网格搜索方法，以0.01为间隔，从0.01到0.99，调整参数thre^r与thre^e，然后分别选择在验证集上实现最佳Micro-F1结果的值，用于修辞格和情绪的预测。图2中本发明在情绪识别(图上半部分)与修辞格识别(图下半部分)任务中，当thre^r＝0.88与thre^e＝0.73时，本发明取得了最佳的结果，因此，选取此两个阈值确定修辞格及情绪标签。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。尽管本文结合实施例的描述，协助技术人员理解本发明的核心思想，但本发明不受限于展示的具体实施例。对于本技术领域的普通技术人员，对本发明核心思想范围内，对实施例进行改变，同样属于本发明保护之列。

Claims (7)

1.一种基于多任务学习的修辞格及隐式情绪识别方法，其特征在于，包括以下步骤：

步骤1，语义信息编码：对于包含N个词语的句子S＝{w₁,w₂,...,w_N}，利用BERT模型，捕获句子S的语义表示sr^sem；

步骤2，句法信息编码：利用预训练的综合词义词向量与知识词向量，通过拼接的方式，获取句子S的词向量矩阵X＝{x₁,x₂,...,x_N}，然后采用Tree-LSTMs模型编码句子S的句法表示sr^syn；

步骤3，修辞格关联分布表示获取：基于上述步骤句子S的语义与句法表示，为每个修辞格设计独立的基于门控机制的分类器，从而获得输入句子S的第i类修辞格概率

将R类修辞格概率连接成一个修辞格的分布表示

用于计算情绪的关联分布表示；

步骤4，情绪关联分布表示获取：连接句子S的语义表示sr^sem与修辞格分布表示

作为情绪分类器的特征，用于获取句子S的情绪关联分布表示

步骤5，修辞格预测：基于情绪关联分布表示

结合第i类修辞格分类器获取的特征表示，获取修辞格识别新特征f_i ^r，以预测第i类修辞格的概率

连接R类修辞格的预测概率为概率分布表示

用于句子的情绪预测；

步骤6，情绪预测：利用句子的修辞格预测概率分布及语义表示，通过公式(16)计算出一个新的关联特征，然后设计sigmoid分类器预测情绪的概率分布，见公式(17)：

其中，“||”表示连接操作，sr^e为情绪预测的关联特征，W^pe为sigmoid分类器中训练参数，

代表输入句子的情绪预测概率分布，且

即

为E维向量；

步骤7，修辞格与情绪标签确定：利用修辞格及情绪识别任务的阈值thre^r与thre^e，将预测概率大于阈值的句子标记为特定的类别，从而获取句子的修辞格及情绪标签集，见公式(18)：

其中，k∈{r,e}，且r与e分别代表修辞格或情绪识别任务，

为任务k中第i类的预测标签，thre^k为任务k确定类别的阈值；

步骤8，设计基于多任务学习机制的目标函数：鉴于修辞格及情绪识别任务采用的多标签预测方式，利用分类模型中普遍使用的一对多交叉熵损失函数度量两个任务的损失；考虑到修辞格与情绪类别间的关联，设计多任务学习的目标函数，使得本发明在参数共享信息的基础上，相互促进两个任务的识别效果。

2.根据权利要求1所述的一种基于多任务学习的修辞格及隐式情绪识别方法，其特征在于，所述步骤1中利用BERT模型，捕获句子S的语义表示sr^sem，具体步骤为：

步骤1.1，将句子规范化为BERT模型需要的格式，即在句子开头加入[CLS]表示；

步骤1.2，利用[CLS]的输出作为整个句子的语义表示，如公式(1)所示：

sr^sem＝BERT(S) (1)

其中，S代表句子，sr^sem为S的语义表示，

即sr^sem为d₁维向量。

3.根据权利要求1所述的一种基于多任务学习的修辞格及隐式情绪识别方法，其特征在于，所述步骤2中利用预训练的综合词义词向量与知识词向量，通过拼接的方式，获取句子S的词向量矩阵X＝{x₁,x₂,...,x_N}，然后采用Tree-LSTMs模型编码句子S的句法表示sr^syn，具体步骤为：

步骤2.1，结合两类不同预训练词向量，获取句子S的词向量矩阵X＝{x₁,x₂,...,x_N}，一类为大规模语料库上训练的词向量，用于表达词语在多种上下文环境下的综合词义；另一类为基于知识库的确切词义的词向量，如公式(2)所示：

x_i＝[g_i||k_i] (2)

其中，x_i为词语w_i(i＝1,2,...N)的词向量，g_i代表词语的综合含义词向量，来源于腾讯智能实验室；k_i为基于义原的知识词向量，通过SE-WRL模型获取；“||”表示连接操作；

步骤2.2，将词向量矩阵X作为Tree-LSTMs的输入，并利用句子依存句法树的根结点表示作为句子的句法表示，如公式(3)所示：

sr^syn＝Tree-LSTM(X,X^syn) (3)

其中，X＝{x₁,x₂,...,x_N}，X^syn为斯坦福句法分析器获取的依存句法树，且

即sr^syn为d₂维向量。

4.根据权利要求1所述的一种基于多任务学习的修辞格及隐式情绪识别方法，其特征在于，所述步骤3中基于上述步骤句子S的语义与句法表示，为每个修辞格设计独立的基于门控机制的分类器，从而获得输入句子S的第i类修辞格概率

将R类修辞格概率连接成一个修辞格的分布表示

具体步骤为：

步骤3.1，动态结合特定修辞依赖的语义与句法表示，句子S的表示由公式(4)～(7)计算：

r_i＝σ(W_i ^r*[sr^syn,sr^sem]) (4)

z_i＝σ(W_i ^z*[sr^syn,sr^sem]) (5)

其中，r_i、z_i和sr_i ^r分别代表第i类修辞格分类器中句子表示的重置门、更新门及隐层状态；W_i ^r、W_i ^z与

分别为重置门、更新门及隐层状态计算过程中训练参数；σ和tanh为sigmoid函数及双曲正切函数，代表按元素乘法；

即sr_i ^r为d₂维向量；

步骤3.2，在句子表示的基础上，通过公式(8)提取特定修辞格的特征，公式(8)如下：

其中，

为第i类修辞格识别的特征，W_i ^fr为特征抽取的训练参数，

即

为d₃维向量；

步骤3.3，句子S的第i类修辞格的概率通过公式(9)计算：

其中，

为第i类修辞格的概率，W_i ^pr为概率计算过程中训练参数，且

即

为一维向量；

步骤3.4，R类修辞格概率通过公式(10)连接成一个修辞格的分布表示，用于计算情绪的关联分布表示，公式(10)如下：

其中，

即

为R维向量。

5.根据权利要求1所述的一种基于多任务学习的修辞格及隐式情绪识别方法，其特征在于，所述步骤4中连接句子S的语义表示sr^sem与修辞格分布表示

作为情绪分类器的特征，具体步骤为：

步骤4.1，情绪分类器的特征利用公式(11)计算：

其中，sr^e为获取句子情绪关联分布表示的特征；

步骤4.2，句子的情绪关联分布表示通过公式(12)获取：

其中，

为输入句子的情绪关联分布表示，W^pe为情绪关联分布表示计算过程中的训练参数，且

即

为E维向量。

6.根据权利要求1所述的一种基于多任务学习的修辞格及隐式情绪识别方法，其特征在于，所述步骤5中基于情绪关联分布表示

结合第i类修辞格分类器获取的特征表示，获取修辞格识别新特征f_i ^r，以预测第i类修辞格的概率

连接R类修辞格的预测概率为概率分布表示

具体步骤为：

步骤5.1，基于情绪关联分布表示下的转换特征f^e→r通过公式(13)获取：

其中，W^e→r代表情绪关联分布表示的转换矩阵；

步骤5.2，结合修辞分类器获取的特征表示

与转换特征f^e→r，形成新的关联特征f_i ^r，见公式(14)：

步骤5.3，第i类修辞格的预测概率通过sigmoid分类器获取，见公式(15)：

其中，

为第i类修辞格的预测概率，W_i ^pr为训练参数；

步骤5.4，将R类修辞格预测概率串联为一个修辞格预测概率分布表示

即

为R维向量。

7.根据权利要求1所述的一种基于多任务学习的修辞格及隐式情绪识别方法，其特征在于，所述步骤8中鉴于修辞格及情绪识别任务采用的多标签预测方式，利用分类模型中普遍使用的一对多交叉熵损失函数度量两个任务的损失；考虑到修辞格与情绪类别间的关联，设计多任务学习的目标函数，使得本发明在参数共享信息的基础上，相互促进两个任务的识别效果，具体步骤为：

步骤8.1，利用一对多交叉熵计算修辞格识别任务的损失，如公式(19)所示：

其中，loss^r为修辞格识别任务的损失，

与

表示S_l第i类修辞格的真实标签与预测概率，L为数据集句子的总数，R为修辞格类别数量；

步骤8.2，利用一对多交叉熵计算情绪识别任务损失，如公式(20)所示：

其中，loss^e为情绪识别任务的损失，

与

表示S_l第i类情绪的真实标签与预测概率，L为数据集句子的总数，E为情绪类别数量；

步骤8.3，综合两个识别任务的损失作为本发明的总损失，如公式(21)所示：

loss＝loss^r+loss^e (21)

其中，loss为本发明的总损失。

Images