CN112183064B - 基于多任务联合学习的文本情绪原因识别系统 - Google Patents

Abstract

本发明涉及一种基于多任务联合学习的文本情绪原因识别系统。包括：数据预处理模块，用于对数据进行预处理；文本编码模块，提取文本内容上下文依赖关系，获取其隐层向量表示，作为文本子句信息的整体表示；相对位置信息嵌入模块，从相对位置表示中学习出相对位置信息，并将其嵌入到文本子句向量中。情绪分类子任务模块，通过引入情绪分类子任务，使模型学习到的相对位置信息表示能帮助情绪识别任务精准的定位目标子句的位置；情绪原因识别标签输出模块，用于分析文本子句之间的上下文关系，完成情绪原因识别的标签预测工作。本发明能够从文本数据中学习高质量的文本向量特点，最终标注出关键情绪词的原因。

Description

基于多任务联合学习的文本情绪原因识别系统

技术领域

本发明涉及情感分析和情绪挖掘领域，更具体地，涉及一种基于多任务联合学习的文本情绪原因识别系统，，能够较好地提取文本的语音信息，能有效利用文本子句的相对位置信息，能够精确的识别标注出文本中的情绪原因。

背景技术

个体情绪原因分析是自然语言处理领域非常重要的研究方向之一，它主要研究个体文本数据所蕴含的情绪及与情绪相关的深层信息，近年来由于其广泛的应用潜力而受到关注，研究者们主要利用自然语言处理技术对个体文本数据进行分析，挖掘其中所包含的情绪的过程，是舆情分析监控及商品质量反馈等应用的核心部分。然而，仅对个体情绪进行分析是不够充分的，知其然也需要知其所以然，产生情绪及情绪发生变化的原因比情绪本身有时候更值得引起我们重视。比如，决策者可能更关心反对者反对的原因，而不仅仅是反对者的数量。

Chen和Lee等人首次提出个体情绪原因提取任务，他们从中科院研究所中平衡语料库中手动构建了一个关于个体情绪原因提取的小型语料库，并且基于该语料库开发了一种基于规则的方法来检测情绪原因。Gao等人提出一种基于规则的情绪原因识别模型，然后对相应的微博数据进行情绪原因的抽取，然而，制定的规则并不能完全覆盖所有的语言现象，而且同一个子句可能同时匹配多个规则，很容易造成规则冲突。再者不同领域语料的语言结构有一定的区别，针对特定领域的文本制定的规则并不能很好地适用于其他领域的文本，需要耗费巨大的人力物力重新分析语言结构来添加新的规则。Alena Neviarouskaya通过句法、语法和规则相结合的方法，分析情绪原因的语言现象，以此来推测一段文本的情绪类别和情绪原因。Weiyuan Li等人通过抽取情绪原因特征进行情绪分类，其特征抽取仍采用基于规则的方法。

在基于统计方法的情绪原因识别方面，袁丽提取语言学线索词的特征、句子距离特征、候选词词法特征等信息，然后得到特征向量空间，最后应用SVM分类器和条件随机场对个体情绪归因进行了判别。Lin Gui等人不仅通过建立25条规则来进行个体情绪原因的预测，还运用分类方法来预测个体情绪原因。李逸薇等将个体情绪归因识别任务看成序列标注，并建立了相应的模型，将所有候选原因子句当成一个序列，从而标记出哪些属于原因子句，她特别指出在利用序列标注模型进行情绪原因识别的过程中，上下文特征尤为重要。Ghazi D等人利用FrameNet建立了情绪和情绪原因相关联的数据集，然后利用CRF来预测文本句子级别的情绪。Gaoyan Ou等人建立文本公众情绪和情绪事件之间关系，利用文本情绪对文本中事件进行预测。Lin Gui等人首先构建了一个情绪归因语料库，标注了表达情绪的核心子句，在核心句的前后子句中标注情绪原因子句，然后从核心句的前后每个子句中抽取候选原因事件，通过训练分类器，最后判定抽取的候选原因事件是否是情绪核心子句的原因事件。

深度学习技术也已应用于情绪原因识别。Cheng等使用长短期记忆网络来进行情绪原因检测，提出了一种新的记忆网络架构来对每个词的上下文进行建模。但是在之前的研究中，大都数都仅仅只是使用了个体情绪的文本内容信息。

发明内容

本发明的目的在于提供一种基于多任务联合学习的文本情绪原因识别系统，能够抽取出有效特征，并对特征进行抽象和组合，最终识别出引起情绪变化的文本子句。

为实现上述目的，本发明的技术方案是：一种基于多任务联合学习的文本情绪原因识别系统，包括：

数据预处理模块，用于对文本数据进行预处理；

文本编码模块，提取文本内容上下文依赖关系，获取其隐层向量表示，作为文本子句信息的整体表示；

相对位置信息嵌入模块，从相对位置表示中学习出相对位置信息，并将其嵌入到文本子句向量中；

情绪分类子任务模块，通过引入情绪分类子任务，使得相对位置信息表示能帮助情绪识别任务精准的定位目标子句的位置；

情绪原因识别标签输出模块，用于分析文本子句之间的上下文关系，完成情绪原因识别的标签预测工作。

在本发明一实施例中，所述数据预处理模块，对文本数据进行预处理的具体方式为：对文本数据进行分词、文本内容表示、生成相对位置表示向量、基于情绪词标注出文本中每个子句的相对位置，将文本中每个子句依据其情绪关键词的位置标注出相应文本子句在文本中相对位置。

在本发明一实施例中，所述数据预处理模块中文本内容表示使用的是发表在NLPCC2017年上通过word2vec方法训练110万中文微博语料库得到的词向量模型，在文本分词后的内容映射到低维的语义空间中获取词向量表示。

在本发明一实施例中，所述数据预处理模块中生成相对位置表示向量采用随机生成正太分布的50维向量表示其相对位置。

在本发明一实施例中，所述文本编码模块，使用双向长短时记忆神经网络学习文本中各个子句中词语的上下文关系的文本表示，利用注意力网络得到文本中每个词的注意力分布，并进行加权求和得到文本子句的句子级向量表示。

在本发明一实施例中，所述相对位置信息嵌入模块，将相对位置表示向量输入残差网络学习新的相对位置信息，嵌入文本子句向量的方式为串联。

在本发明一实施例中，所述情绪分类子任务模块，将包含相对位置信息的文本子句向量输入长短时记忆神经网络学习出每个子句的上下文关系的文本表示，采用softmax函数对所得到的文本向量处理，预测文本的情绪类别。

在本发明一实施例中，所述情绪原因识别标签输出模块，先采用transform网络对输入的包含相对位置信息的文本子句向量进行编码，在对得到的文本子句上下文表示进行预测和标签遮掩得到全局标签，串联到文本子句上下文表示后，在输入到下一层transform网络中，对特征进一步编码得到最终的文本向量，预测文本中各个子句的情感原因标签；所述全局标签为将得到的文本子句上下文表示输入到softmax层，得到基于当前文本上下文表示向量的预测结果，并得到所有子句预测结果的全局标签向量，每个子句将全局标签上该子句的预测结果遮掩掉，即置为0，并将其串联在文本上下文表示后面。

在本发明一实施例中，所述系统模型的目标函数为情绪分类子任务和情绪原因识别主任务以及参数的L2范数的加权和。

在本发明一实施例中，在系统模型的训练阶段，权重矩阵都是参数，根据信息的前向传播和误差的后向传播将不断地对他们进行调整，逐步优化目标函数。

相较于现有技术，本发明具有以下有益效果：本发明能够抽取出有效特征，并对特征进行抽象和组合，最终识别出引起情绪变化的文本子句。

附图说明

图1为本发明一种基于多任务联合学习的文本情绪原因识别系统示意图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

如图1所示，本发明提供了一种基于多任务联合学习的文本情绪原因识别系统，包括：：数据预处理模块，用于对数据进行预处理；文本编码模块，提取文本内容上下文依赖关系，获取其隐层向量表示，作为文本子句信息的整体表示；相对位置信息嵌入模块，从相对位置表示中学习出相对位置信息，并将其嵌入到文本子句向量中。情绪分类子任务模块，通过引入情绪分类子任务，使模型学习到的相对位置信息表示能帮助情绪识别任务精准的定位目标子句的位置；情绪原因识别标签输出模块，用于分析文本子句之间的上下文关系，完成情绪原因识别的标签预测工作。下面分别详细描述各模块的配置。

1）数据预处理模块1

首先，描述数据预处理模块1如何对数据进行预处理。

因为神经网络的输入数据一般是向量，以便模型的端到端训练，因此需要首先对文本数据进行向量化表示。为了便于数据的处理和分析，在本发明的数据预处理模块，我们根据对数据集实现分词操作，且不过滤停用词。预处理后，通过查找NLPCC2017发布的词向量模型即可将文本数据从文本形式转换成向量形式，如果词语不在词向量模型中则随机生成一个区间在[-0.1,0.1]内均匀分布的200维向量。在随机生成正太分布的50维向量表示其相对位置。

2）文本编码模块2

下面描述特征抽取模块2是如何将上一模块得到的数据进行编码的。此模块由双向长短时记忆神经网络和注意力网络两个部分组成。在双向长短时记忆神经网络中将模块1）中的文本数据先输入到正向和反向的长短期记忆循环神经网络中得到两个上下文隐层状态，在将得到的两个上下文隐层状态进行连接操作，输入到注意力网络层，注意力网络层通过全连接的方式计算出每个单词在文本子句中的重要程度得分，在对其进行基于softmax函数的归一化。最后每个词窗口对应的每个列向量进行加权求和，带到文本子句的句子级向量表示。

3）相对位置信息嵌入模块3

接着描述相对位置信息嵌入模块3是如何将相对位置信息嵌入模型的。此模块是将模块1）中的位置信息表示输入到残差网络中学习得到一个新的位置信息，而后将新的位置信息串联到模块2）的文本子句的句子级向量表示之后。其中残差网络层是将位置信息表示输入先输入到一层全连接层，在采用Relu激活函数，在把输出的向量输入到下一层的全连接层，得到新的位置信息向量。

4）情绪分类子任务模块4

接着描述情绪分类子任务模块4是如何利用多任务方法增强位置信息表示的。此模块是将模块3）得到的包含位置信息的句子向量输入到长短时记忆神经网络中，提取文本子句之间的上下文语义关系，从而输入到softmax层预测文本的情绪标签。在将情绪分类子任务的交叉损失熵加入到总模型的损失函数中去。

5）情绪原因识别标签输出模块5

接着描述情绪原因识别标签输出模块5是如何标注文本数据中的情绪原因。在此模块是将模块1）中的位置信息表示输入到transform网络中进行编码，对得到的文本子句上下文表示进行预测和标签遮掩得到全局标签，串联到文本子句上下文表示后，在输入到下一层transform网络中，对特征进一步编码得到最终的文本向量，预测文本中各个子句的情感原因标签。其中全局标签为将transform层的输出输入到softmax层，得到基于当前文本上下文表示向量的预测结果，并得到所有子句预测结果的全局标签向量。每个子句将全局标签上该子句的预测结果遮掩掉(置为0),并将其串联在文本上下文表示后面。模型的损失函数为情绪分类子任务的误差和情绪原因识别的误差以及参数的L2范数的加权和。其中情绪分类子任务的权重为0.005，情绪原因识别任务和模型参数的L2范数的权重为1。在训练阶段，以降低损失函数值为目标，利用随机梯度下降法和后向传播对整个系统的参数进行迭代更新；否则，只需将得到的预测值输出即可。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (4)

1.一种基于多任务联合学习的文本情绪原因识别系统，其特征在于，包括：

数据预处理模块，用于对文本数据进行预处理；

文本编码模块，提取文本内容上下文依赖关系，获取其隐层向量表示，作为文本子句信息的整体表示；

相对位置信息嵌入模块，从相对位置表示中学习出相对位置信息，并将其嵌入到文本子句向量中；

情绪分类子任务模块，通过引入情绪分类子任务，使得相对位置信息表示能帮助情绪识别任务精准的定位目标子句的位置；

情绪原因识别标签输出模块，用于分析文本子句之间的上下文关系，完成情绪原因识别的标签预测工作；

所述文本编码模块，使用双向长短时记忆神经网络学习文本中各个子句中词语的上下文关系的文本表示，利用注意力网络得到文本中每个词的注意力分布，并进行加权求和得到文本子句的句子级向量表示；所述相对位置信息嵌入模块，将相对位置表示向量输入残差网络学习新的相对位置信息，嵌入文本子句向量的方式为串联；所述情绪分类子任务模块，将包含相对位置信息的文本子句向量输入长短时记忆神经网络学习出每个子句的上下文关系的文本表示，采用softmax函数对所得到的文本向量处理，预测文本的情绪类别；所述情绪原因识别标签输出模块，先采用transform网络对输入的包含相对位置信息的文本子句向量进行编码，在对得到的文本子句上下文表示进行预测和标签遮掩得到全局标签，串联到文本子句上下文表示后，在输入到下一层transform网络中，对特征进一步编码得到最终的文本向量，预测文本中各个子句的情感原因标签；所述全局标签为将得到的文本子句上下文表示输入到softmax层，得到基于当前文本上下文表示向量的预测结果，并得到所有子句预测结果的全局标签向量，每个子句将全局标签上该子句的预测结果遮掩掉，即置为0，并将其串联在文本上下文表示后面。

2.根据权利要求1所述的基于多任务联合学习的文本情绪原因识别系统，其特征在于，所述数据预处理模块，对文本数据进行预处理的具体方式为：对文本数据进行分词、文本内容表示、生成相对位置表示向量、基于情绪词标注出文本中每个子句的相对位置，将文本中每个子句依据其情绪关键词的位置标注出相应文本子句在文本中相对位置。

3.根据权利要求2所述的基于多任务联合学习的文本情绪原因识别系统，其特征在于，所述数据预处理模块中文本内容表示使用的是发表在NLPCC2017年上通过word2vec方法训练110万中文微博语料库得到的词向量模型，在文本分词后的内容映射到低维的语义空间中获取词向量表示。

4.根据权利要求2所述的基于多任务联合学习的文本情绪原因识别系统，其特征在于，所述数据预处理模块中生成相对位置表示向量采用随机生成正太分布的50维向量表示其相对位置。

Images