CN111414476A - 一种基于多任务学习的属性级情感分析方法 - Google Patents
一种基于多任务学习的属性级情感分析方法 Download PDFInfo
- Publication number
- CN111414476A CN111414476A CN202010153639.9A CN202010153639A CN111414476A CN 111414476 A CN111414476 A CN 111414476A CN 202010153639 A CN202010153639 A CN 202010153639A CN 111414476 A CN111414476 A CN 111414476A
- Authority
- CN
- China
- Prior art keywords
- emotion
- attribute
- task
- words
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 237
- 238000004458 analytical method Methods 0.000 title claims abstract description 36
- 238000000605 extraction Methods 0.000 claims abstract description 62
- 230000003993 interaction Effects 0.000 claims abstract description 15
- 239000013598 vector Substances 0.000 claims description 61
- 238000013527 convolutional neural network Methods 0.000 claims description 45
- 238000012549 training Methods 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 35
- 238000000034 method Methods 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 21
- 238000004574 scanning tunneling microscopy Methods 0.000 claims description 19
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 17
- 230000002457 bidirectional effect Effects 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 abstract description 3
- 239000000047 product Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000739 chaotic effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明是一种基于多任务学习的属性级情感分析方法。本发明通过构建多个任务的学习模型,实现属性词抽取及其情感极性判断两个子任务的一站式完成,提高系统性能。通过构建属性词平均长度预测辅助任务降低模型属性词抽取的难度;通过构建情感词抽取和词语级情感极性分类辅助任务增强属性词情感极性判断能力;通过构建文档级文本的情感极性分类和领域分类辅助任务从较大规模语料中引入有效的语义信息;通过显式构建属性词抽取和属性词情感极性判别的特征交互单元使模型能学习到两个子任务之间的相关信息。通过实验验证本发明已达到较优的属性级情感分析性能。
Description
技术领域
本发明涉及情感分析技术领域,是一种基于多任务学习的属性级情感分析方法。
背景技术
随着互联网电子商务的发展,人们经常在博客、论坛、社交网络、在线评论、电子商务平台中对于某些事物主动表达自己的心情、情感或态度,由此产生的主观性评论文本数量迅速增长。情感分析技术为大量的非结构化主观性文本的分析提供了重要技术手段。在情感分析任务中属性级情感分析是一个重要研究课题,侧重分析在一段非结构化主观性评论中对不同实体或属性其作者所表达的积极或消极情感。例如句子“我觉得屏幕很好,但内存太小了”,作者分别表达了对“屏幕”的积极情感和对“内存”的消极情感,在情感分析系统中通过这种细粒度的属性级情感分析技术能有效提高情感分析结果的准确性和系统实用性。
属性级情感分析任务主要包括属性词抽取、情感词抽取、属性的情感极性分类等子任务,近几年在属性级情感分析各任务上以深度学习研究方法为主。,目前大多数的研究方法主要是针对属性级情感分析的某一项子任务,由于属性词、情感词及情感词极性之间存在语义上的相关性,显然这种分步解决方式会丢失一部分有用的语义信息,将使神经网络在训练模型时产生错误累积,导致系统的精确度降低。因此,在本发明中,提出通过多任务学习模型把以上各子任务有效融合,同时解决属性词、情感词抽取任务并判断其情感极性。
发明内容
本发明为提供一种基于多任务的学习模型,构建辅助任务,并显式构建特征交互,一站式解决属性词抽取和属性的情感极性分类两步任务的方法,以满足需要同时完成两步任务的需求,并提高模型精度,本发明提供了一种基于多任务学习的属性级情感分析方法,本发明提供了以下技术方案:
一种基于多任务学习的属性级情感分析方法,包括以下步骤:
步骤1:获取属性级情感分析的训练样本,根据属性词加情感词的联合抽取任务和属性词的情感极性预测任务生成相应的两种序列标签;根据属性词计算每个样本句子属性词平均长度预测任务;获取句中每个词的情感极性预测任务;获取用于文档级文本情感极性预测任务的训练样本,并对所述训练样本进行预处理;
步骤2:将预处理后的所述训练样本的文本映射为通用词向量和领域词向量,并进行拼接,将拼接后的词向量输入到双向LSTM模型,得到文本序列编码,文本序列中每个token词或字对应一个编码向量;
步骤3:将步骤2中获得的文本序列编码输入到两个参数独立的卷积神经网络中,分别作为属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果;
步骤4:将步骤3得到的属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果分别做最大池化得到两个向量编码,通过一个全连接层后分别得到属性词平均长度预测结果,用于两个句子属性词平均长度预测任务;
步骤5:将步骤3得到的属性词加情感词的联合抽取任务的编码结果的文本序列中每个token词或字对应的编码向量,通过全连接层计算得到情感词极性预测结果,用于句中每个词的情感极性预测任务;
步骤6:将步骤3得到的属性词加情感词的联合抽取任务和属性词的情感极性预测任务编码结果同时输入特征交互单元中,计算交互信息后分别输出新的属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果;
步骤7:使用CRF模型分别对属性词加情感词的联合抽取任务和属性词的情感极性预测任务编码结果进行解码,分别得到属性词加情感词的预测序列标签,及属性词情感极性的预测序列标签;
步骤8:将预处理后的用于文档级文本情感极性预测任务的文本映射为通用词向量和领域词向量并拼接,和用于文档级文本的领域分类任务的文本仅映射为通用词向量,分别输入到与步骤2中双向LSTM模型中,分别得到文本序列编码;
步骤9:将步骤8得到两个文本序列编码分别输入到两个卷积神经网络中,分别得到卷积神经网络编码结果;
步骤10:随机初始化两个可训练的权值矩阵,与步骤9得到的两个卷积神经网络编码结果分别计算注意力权重,将编码结果沿序列维度加权和,得到最终文本向量编码;所述向量编码通过全连接层计算后得到预测结果;
步骤11:将属性词加情感词的联合抽取任务、属性词的情感极性预测任务、句子属性词平均长度预测任务和句中每个词的情感极性预测任务计算的损失作为第一部分损失,文档级文本情感极性预测任务和文档级文本的领域分类任务的损失作为第二部分损失,进行交替学习优化。
优选地,所述训练样本进行预处理具体为:使用正则匹配对文本中日期、价格、网址、邮箱的统一替换;特殊符号和标点符号的分割;英文文本大写转小写;中文文本分词。
优选地,所述骤3中将文本序列编码hS输入到两个参数独立的卷积神经网络中组件中,所述参数独立的卷积神经网络中组件的卷积计算公式为:
其中,l为卷积神经网络层数,r为不同卷积窗口大小标识,和为随机初始化的可训练参数,dS是共享特征维度,d1是卷积神经网络组件的filter数,filter窗口大小为奇数,移动步长为1,f为ReLU激活函数,卷积过程中,第i个token的表示通过其本身及其相邻的2c个词得到,即左边c个词右边c个词,不够的补0向量,使每层卷积后序列长度不变,仍和每个词位置对应,然后得到属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果和
优选地,所述步骤4中将属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果hAOE和hAS沿序列方向做最大池化操作,用于句子属性词平均长度预测任务,通过下式表示用于句子属性词平均长度预测任务:
计算句子属性词平均长度预测任务的均方差损失,通过下式表示句子属性词平均长度预测任务的均方差损失:
优选地,所述步骤5中取属性词加情感词的联合抽取任务的编码结果中每个token的向量编码与随机初始化的可训练参数做点积,其中Cw为情感类别数,并通过归一化函数softmax得到各个情感类别的预测概率,取概率最大的为预测类别,通过下式取概率最大的为预测类别:
采用交叉熵损失函数计算每个token的损失,样本的损失为每个token损失的平均,通过下式表示每个token的损失:
优选地,所述步骤6具体为:
步骤6.1:将步骤3中得到的属性词加情感词的联合抽取任务和属性词的情感极性预测任务编码结果输入到特征交互计算单元中,得到形状大小不变的输出,其中S{AOE,AS}是交互式attention的权重矩阵,通过下式得到形状大小不变的输出:
hAOE=hAOE+softmaxrow(SAOE)hAS
hAS=hAS+softmaxrow(SAS)hAOE。
优选地,所述步骤7中用CRF模型分别对属性词加情感词的联合抽取任务和属性词的情感极性预测任务编码结果进行解码,得到属性词加情感词的预测序列标签,及属性词情感极性的预测序列标签,通过下式表示CRF模型对数似然损失:
其中,L为CRF模型对数似然损失,p(y|h;W(c),b(c))是CRF模型的概率函数,W(c),b(c)是可训练参数,得到得到属性词加情感词的预测序列标签LAOE和属性词情感极性的预测序列标签LAS。
优选地,所述步骤8中预处理后的用于文档级文本情感极性预测任务的文本s=[w1,w2,...,wL]输入步骤2中双向LSTM序列编码模型中,得到共享特征表示文档级文本情感极性预测任务、文档级文本的领域分类任务、属性词加情感词的联合抽取任务、属性词的情感极性预测任务使用的共享特征编码器双向LSTM均是共享参数的。
优选地,所述步骤9中将步骤8得到两个文本序列编码分别输入到两个卷积神经网络中得到的不同共享特征表示输入到两个不共享参数的卷积神经网络组件中,卷积神经网络组件同步骤3,最后得到的卷积神经网络编码结果分别为和
其中,αDS和αDD分别是文档级文本情感极性预测任务和文档级文本的领域分类任务attention得分的归一化权重,和分别是文档级文本情感极性预测任务和文档级文本的领域分类任务attention加权和的结果,和分别是文档级文本情感极性预测任务和文档级文本的领域分类任务顶层分类器输出的各个类别的归一化概率,和分别是文档级文本情感极性预测任务和文档级文本的领域分类任务的预测结果及是可训练参数,Cds和Cdd分别是文档级文本情感极性类别数和领域类别数,σ是sigmoid激活函数;
进行交叉熵损失计算,通过下式表示交叉熵损失计算结果:
优选地,所述步骤11具体为:
步骤11.1:将属性词加情感词的联合抽取任务、属性词的情感极性预测任务、句子属性词平均长度预测任务和句中每个词的情感极性预测任务计算的损失作为第一部分损失,文档级文本情感极性预测任务和文档级文本的领域分类任务的损失作为第二部分损失,通过下式表示第一部分损失和第二部分损失:
Ld=LDS+LDD
其中,La为第一部分损失,Ld为第二部分损失;
步骤11.2:进行交替学习优化,定义一个预训练轮次数pre-epoch对文档级文本分类任务做训练,完成后再定义正式训练轮次数epoch,对属性级文本分析进行训练,且在分批量训练时,定义一个比率r,当batch-index除以r的余数为0时进行一个批次的文档级文本分类任务的训练。
本发明具有以下有益效果:
本发明通过构建多个任务的学习模型,实现属性词抽取及其情感极性判断两个子任务的一站式完成,提高系统性能。通过构建属性词平均长度预测辅助任务降低模型属性词抽取的难度;通过构建情感词抽取和词语级情感极性分类辅助任务增强属性词情感极性判断能力;通过构建文档级文本的情感极性分类和领域分类辅助任务从较大规模语料中引入有效的语义信息;通过显式构建属性词抽取和属性词情感极性判别的特征交互单元使模型能学习到两个子任务之间的相关信息。通过实验验证本发明已达到较优的属性级情感分析性能。
附图说明
图1为基于多任务学习的属性级情感分析结构图;
图2为DE-CNN组件的结构图;
图3为特征交互计算单元的结构图;
图4为优化训练流程图流程图。
具体实施方式
以下结合具体实施例,对本发明进行了详细说明。
具体实施例一:
本发明提供一种基于多任务学习的属性级情感分析方法,包括以下步骤:
步骤1:获取属性级情感分析的训练样本,根据属性词加情感词的联合抽取任务和属性词的情感极性预测任务生成相应的两种序列标签;根据属性词计算每个样本句子属性词平均长度预测任务;获取句中每个词的情感极性预测任务;获取用于文档级文本情感极性预测任务的训练样本,并对所述训练样本进行预处理;
所述训练样本进行预处理具体为:使用正则匹配对文本中日期、价格、网址、邮箱的统一替换;特殊符号和标点符号的分割;英文文本大写转小写;中文文本分词。
步骤2:将预处理后的所述训练样本的文本映射为通用词向量和领域词向量,并进行拼接,将拼接后的词向量输入到双向LSTM模型,得到文本序列编码,文本序列中每个token词或字对应一个编码向量;
步骤3:将步骤2中获得的文本序列编码输入到两个参数独立的卷积神经网络中,分别作为属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果;
所述骤3中将文本序列编码hS输入到两个参数独立的卷积神经网络中组件中,所述参数独立的卷积神经网络中组件的卷积计算公式为:
其中,l为卷积神经网络层数,r为不同卷积窗口大小标识,和为随机初始化的可训练参数,dS是共享特征维度,d1是卷积神经网络组件的filter数,filter窗口大小为奇数,移动步长为1,f为ReLU激活函数,卷积过程中,第i个token的表示通过其本身及其相邻的2c个词得到,即左边c个词右边c个词,不够的补0向量,使每层卷积后序列长度不变,仍和每个词位置对应,然后得到属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果和
步骤4:将步骤3得到的属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果分别做最大池化得到两个向量编码,通过一个全连接层后分别得到属性词平均长度预测结果,用于两个句子属性词平均长度预测任务;
所述步骤4中将属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果hAOE和hAS沿序列方向做最大池化操作,用于句子属性词平均长度预测任务,通过下式表示用于句子属性词平均长度预测任务:
计算句子属性词平均长度预测任务的均方差损失,通过下式表示句子属性词平均长度预测任务的均方差损失:
步骤5:将步骤3得到的属性词加情感词的联合抽取任务的编码结果的文本序列每个token词或字对应的编码向量,通过全连接层计算得到情感词极性预测结果,用于句中每个词的情感极性预测任务;
所述步骤5中取属性词加情感词的联合抽取任务的编码结果中每个token的向量编码与随机初始化的可训练参数做点积,其中Cw为情感类别数,并通过归一化函数softmax得到各个情感类别的预测概率,取概率最大的为预测类别,通过下式取概率最大的为预测类别:
采用交叉熵损失函数计算每个token的损失,样本的损失为每个token损失的平均,通过下式表示每个token的损失:
步骤6:将步骤3得到的属性词加情感词的联合抽取任务和属性词的情感极性预测任务编码结果同时输入特征交互单元中,计算交互信息后分别输出新的属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果;
所述步骤6具体为:
步骤6.1:将步骤3中得到的属性词加情感词的联合抽取任务和属性词的情感极性预测任务编码结果输入到特征交互计算单元中,得到形状大小不变的输出,其中S{AOE,AS}是交互式attention的权重矩阵,通过下式得到形状大小不变的输出:
hAOE=hAOE+softmaxrow(SAOE)hAS
hAS=hAS+softmaxrow(SAS)hAOE。
步骤7:使用CRF模型分别对属性词加情感词的联合抽取任务和属性词的情感极性预测任务编码结果进行解码,分别得到属性词加情感词的预测序列标签,及属性词情感极性的预测序列标签;
所述步骤7中用CRF模型分别对属性词加情感词的联合抽取任务和属性词的情感极性预测任务编码结果进行解码,得到属性词加情感词的预测序列标签,及属性词情感极性的预测序列标签,通过下式表示CRF模型对数似然损失:
其中,L为CRF模型对数似然损失,p(y|h;W(c),b(c))是CRF模型的概率函数,W(c),b(c)是可训练参数,得到得到属性词加情感词的预测序列标签LAOE和属性词情感极性的预测序列标签LAS。
步骤8:将预处理后的用于文档级文本情感极性预测任务的文本映射为通用词向量和领域词向量并拼接,和用于文档级文本的领域分类任务的文本仅映射为通用词向量,分别输入到与步骤2中双向LSTM模型中,分别得到文本序列编码;
所述步骤8中预处理后的用于文档级文本情感极性预测任务的文本s=[w1,w2,...,wL]输入步骤2中双向LSTM序列编码模型中,得到共享特征表示文档级文本情感极性预测任务、文档级文本的领域分类任务、属性词加情感词的联合抽取任务、属性词的情感极性预测任务使用的共享特征编码器双向LSTM均是共享参数的。
步骤9:将步骤8得到两个文本序列编码分别输入到两个卷积神经网络中,分别得到卷积神经网络编码结果;
步骤10:随机初始化两个可训练的权值矩阵,与步骤9得到的两个卷积神经网络编码结果分别计算注意力权重,将编码结果沿序列维度加权和,得到最终文本向量编码;所述向量编码通过全连接层计算后得到预测结果;
所述步骤10中利用attention机制将卷积神经网络编码结果向量h{DS,DD}进行加权和操作,计算公式为:
其中,αDS和αDD分别是文档级文本情感极性预测任务和文档级文本的领域分类任务attention得分的归一化权重,和分别是文档级文本情感极性预测任务和文档级文本的领域分类任务attention加权和的结果,和分别是文档级文本情感极性预测任务和文档级文本的领域分类任务顶层分类器输出的各个类别的归一化概率,和分别是文档级文本情感极性预测任务和文档级文本的领域分类任务的预测结果,及是可训练参数,Cds和Cdd分别是文档级文本情感极性类别数和领域类别数,σ是sigmoid激活函数;
进行交叉熵损失计算,通过下式表示交叉熵损失计算结果:
步骤11:将属性词加情感词的联合抽取任务、属性词的情感极性预测任务、句子属性词平均长度预测任务和句中每个词的情感极性预测任务计算的损失作为第一部分损失,文档级文本情感极性预测任务和文档级文本的领域分类任务的损失作为第二部分损失,进行交替学习优化。
所述步骤11具体为:
步骤11.1:将属性词加情感词的联合抽取任务、属性词的情感极性预测任务、句子属性词平均长度预测任务和句中每个词的情感极性预测任务计算的损失作为第一部分损失,文档级文本情感极性预测任务和文档级文本的领域分类任务的损失作为第二部分损失,通过下式表示第一部分损失和第二部分损失:
Ld=LDS+LDD
其中,La为第一部分损失,Ld为第二部分损失;
步骤11.2:进行交替学习优化,定义一个预训练轮次数pre-epoch对文档级文本分类任务做训练,完成后再定义正式训练轮次数epoch,对属性级文本分析进行训练,且在分批量训练时,定义一个比率r,当batch-index除以r的余数为0时进行一个批次的文档级文本分类任务的训练。步骤1:建立四阶电力系统混沌数学模型,对四阶电力系统混沌数学模型进行简化后建立受控系统;
具体实施例二:
本发明的整体模型结构,及其工作过程,如图1所示
步骤一:首先对原始文本进行预处理,包括使用正则匹配对文本中日期、价格、网址、邮箱的统一替换;特殊符号和标点符号的分割;英文文本大写转小写;中文文本分词。并根据带标签的属性级情感分析数据生成AOE任务标注、AS任务标注、每个句子属性词平均长度、每个单词情感极性的标注。所述的AOE任务(Aspect-Opinion Extraction)即属性词加情感词的联合抽取任务;所述的AS任务(Aspect Sentiment)即属性词的情感极性预测任务;所述的ALE任务(Aspect Length Enhancement)即句子属性词平均长度预测任务;所述的WSE任务(Word Sentiment Enhancement)即句中每个词的情感极性预测任务;所述的DS任务(Document Sentiment)即文档级文本情感极性预测任务;所述的DD任务(DocumentDomain)即文档级文本的领域分类任务。
可选的,本实施例中通用词向量维度为300,领域词向量维度为100,仍由Hu Xu等人提供。使用的双向LSTM中,单向隐藏层大小为256,即dS=512。
步骤三:将共享特征表示hs输入到两个不共享参数的CNN组件中(AOE和AS任务部分),CNN组件结构如图2所示。卷积计算公式为:
其中l为CNN层数,r为不同卷积窗口大小标识。和为随机初始化的可训练参数,dS是共享特征维度,d1是CNN组件的filter数,filter窗口大小为奇数,移动步长为1,f为ReLU激活函数。卷积过程中,第i个token的表示通过它本身及其相邻的2c个词得到,即左边c个词右边c个词,不够的补0向量,使每层卷积后序列长度不变,仍和每个词位置对应。然后得到AOE和AS的编码结果
可选的,本实施例中AOE的CNN组件层数为3,AS、DS、DD的CNN组件层数均为1。所有CNN组件都是包含窗口大小为5的256个filter,即d1=d2=256。
步骤四:将hAOE和hAS沿序列方向做最大池化操作,用于ALE任务,即:
使用交叉熵损失函数计算每个token的损失,样本的损失为每个token损失的平均:
可选的,本实施例token情感类别包括{POS,NEG,NONE}三类,即Cw=3。
步骤六:将步骤三中得到的hAOE和hAS编码结果输入到特征交互计算单元中,得到形状大小不变的输出,即更新后的和hAOE编码中将融入属性词情感极性信息,hAS编码中将融入属性词和情感词信息。特征交互计算单元如图3所示,其中S{AOE,AS}是交互式attention的权重矩阵,计算公式如下:
其中为随机初始化可训练参数,K是一个可设定的超参数,这种张量操作可看作多个双向线性操作,能模拟两个向量间更复杂的组合。f为tanh激活函数,为随机初始化可训练参数,与上述结果做点积后得到标量最终得到两个权重矩阵和更新hAOE和hAS的方式为:
hAOE=hAOE+softmaxrow(SAOE)hAS
hAS=hAS+softmaxrow(SAS)hAOE
步骤七:用CRF解码h{AOE,AS}得到最终AOE和AS的标注序列。CRF对数似然损失:
其中p(y|h;W(c),b(c))是CRF的概率函数,W(c),b(c)是可训练参数。得到LAOE和LAS。
步骤八:分别将用于情感极性分类(DS)和领域分类(DD)的文档级文本s=[w1,w2,...,wL]输入到与步骤二共享参数的双向LSTM序列编码模型中,得到共享特征表示(这里为了便于描述和理解,使用与属性级情感分析文本相同的符号)。DS、DD及AOE、AS使用的共享特征编码器双向LSTM均是共享参数的。
步骤十:利用attention机制将h{DS,DD}进行加权和操作,计算公式为:
可选的,本实施例中DS任务文档级文本情感极性包括{POS,NEG,NEU}三类,DD任务文档级文本领域包括{Lap,Res},即笔记本电脑和餐厅两类。
步骤十一:将AOE、AS、ALE、WSE任务计算的损失作为第一部分损失,DS、DD任务的损失作为第二部分损失,具体定义为:
Ld=LDS+LDD
模型优化时的训练规则如图4流程图所示,先定义一个预训练轮次数pre-epoch对文档级文本分类任务做训练,完成后再定义正式训练轮次数epoch,对属性级文本分析进行训练,且在分批量(mini-batch)训练时,定义一个比率r,当batch-index除以r的余数为0时进行一个批次的文档级文本分类任务的训练。
可选的,本实施例中,在embedding层和每个CNN层后添加dropout值为0.5,学习率为1e-4,使用Adam优化器。mini-batch大小为32,pre-epoch大小为5,epoch固定80。
2.实施例数据及评估指标介绍
本实施例中,AOE和AS任务使用SemEvel-2014 Task 4提供的用于属性级情感分析的笔记本电脑评论英文数据,可用于属性词抽取及属性词情感极性分类任务。
DS和DD任务使用的数据,一个来自Yelp餐厅领域,一个来自Amazon电子领域的数据集,在做DS任务时,使用的Amazon电子领域的数据集做情感极性分类,包括30,000条类别完全均衡的文本;在做DD任务时,使用两个数据集合起来的60,000条文本做领域二分类,类别仍完全均衡。
属性级情感分析数据集的具体分布情况见表1:
表1:属性级情感分析数据中各情感极性属性词数和情感词数统计
本发明采用精确率(precision)、召回率(recall)、F1分(F1-score)评估属性词抽取的性能和属性词抽取及其情感极性判断两步任务的性能。抽取的属性词完全匹配才视为属性词抽取任务的正确样例;抽取的属性词完全匹配且情感预测准确才视为两步任务的正确样例。
3.实验结果
属性词抽取实验结果如表2所示,属性词抽取及其情感极性判断两步任务实验结果如表3所示。
表2:属性词抽取实验结果
表3:属性词抽取及其情感极性判断两步任务实验结果
BiLSTM+CRF模型和BERT模型在完成两步任务时,使用复合标签{B-pos,I-pos,B-neg,I-neg,B-neu,I-neu,B-con,I-con,O}做序列标注任务。MNN、DOER、IMN是三个多任务模型。
以上所述仅是一种基于多任务学习的属性级情感分析方法的优选实施方式,一种基于多任务学习的属性级情感分析方法的保护范围并不仅局限于上述实施例,凡属于该思路下的技术方案均属于本发明的保护范围。应当指出,对于本领域的技术人员来说,在不脱离本发明原理前提下的若干改进和变化,这些改进和变化也应视为本发明的保护范围。
Claims (12)
1.一种基于多任务学习的属性级情感分析方法,其特征是:包括以下步骤:
步骤1:获取属性级情感分析的训练样本,根据属性词加情感词的联合抽取任务和属性词的情感极性预测任务生成相应的两种序列标签;根据属性词计算每个样本句子属性词平均长度预测任务;获取句中每个词的情感极性预测任务;获取用于文档级文本情感极性预测任务的训练样本,并对所述训练样本进行预处理;
步骤2:将预处理后的所述训练样本的文本映射为通用词向量和领域词向量,并进行拼接,将拼接后的词向量输入到双向LSTM模型,得到文本序列编码,文本序列中每个token词或字对应一个编码向量;
步骤3:将步骤2中获得的文本序列编码输入到两个参数独立的卷积神经网络中,分别作为属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果;
步骤4:将步骤3得到的属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果分别做最大池化得到两个向量编码,通过一个全连接层后分别得到属性词平均长度预测结果,用于两个句子属性词平均长度预测任务;
步骤5:将步骤3得到的属性词加情感词的联合抽取任务的编码结果的文本序列中每个token词或字对应的编码向量,通过全连接层计算得到情感词极性预测结果,用于句中每个词的情感极性预测任务;
步骤6:将步骤3得到的属性词加情感词的联合抽取任务和属性词的情感极性预测任务编码结果同时输入特征交互单元中,计算交互信息后分别输出新的属性词加情感词的联合抽取任务和属性词的情感极性预测任务的编码结果;
步骤7:使用CRF模型分别对属性词加情感词的联合抽取任务和属性词的情感极性预测任务编码结果进行解码,分别得到属性词加情感词的预测序列标签,及属性词情感极性的预测序列标签;
步骤8:将预处理后的用于文档级文本情感极性预测任务的文本映射为通用词向量和领域词向量并拼接,和用于文档级文本的领域分类任务的文本仅映射为通用词向量,分别输入到与步骤2中双向LSTM模型中,分别得到文本序列编码;
步骤9:将步骤8得到两个文本序列编码分别输入到两个卷积神经网络中,分别得到卷积神经网络编码结果;
步骤10:随机初始化两个可训练的权值矩阵,与步骤9得到的两个卷积神经网络编码结果分别计算注意力权重,将编码结果沿序列维度加权和,得到最终文本向量编码;所述向量编码通过全连接层计算后得到预测结果;
步骤11:将属性词加情感词的联合抽取任务、属性词的情感极性预测任务、句子属性词平均长度预测任务和句中每个词的情感极性预测任务计算的损失作为第一部分损失,文档级文本情感极性预测任务和文档级文本的领域分类任务的损失作为第二部分损失,进行交替学习优化。
2.根据权利要求1所述的一种基于多任务学习的属性级情感分析方法,其特征是:所述训练样本进行预处理具体为:使用正则匹配对文本中日期、价格、网址、邮箱的统一替换;特殊符号和标点符号的分割;英文文本大写转小写;中文文本分词。
4.根据权利要求1所述的一种基于多任务学习的属性级情感分析方法,其特征是:所述骤3中将文本序列编码hS输入到两个参数独立的卷积神经网络中组件中,所述参数独立的卷积神经网络中组件的卷积计算公式为:
7.根据权利要求1所述的一种基于多任务学习的属性级情感分析方法,其特征是:所述步骤6具体为:
步骤6.1:将步骤3中得到的属性词加情感词的联合抽取任务和属性词的情感极性预测任务编码结果输入到特征交互计算单元中,得到形状大小不变的输出,其中S{AOE,AS}是交互式attention的权重矩阵,通过下式得到形状大小不变的输出:
hAOE=hAOE+softmaxrow(SAOE)hAS
hAS=hAS+softmaxrow(SAS)hAOE。
11.根据权利要求1所述的一种基于多任务学习的属性级情感分析方法,其特征是:所述步骤10中利用attention机制将卷积神经网络编码结果向量h{DS,DD}进行加权和操作,计算公式为:
其中,αDS和αDD分别是文档级文本情感极性预测任务和文档级文本的领域分类任务attention得分的归一化权重,和分别是文档级文本情感极性预测任务和文档级文本的领域分类任务attention加权和的结果,和分别是文档级文本情感极性预测任务和文档级文本的领域分类任务顶层分类器输出的各个类别的归一化概率,和分别是文档级文本情感极性预测任务和文档级文本的领域分类任务的预测结果,及是可训练参数,Cds和Cdd分别是文档级文本情感极性类别数和领域类别数,σ是sigmoid激活函数;
进行交叉熵损失计算,通过下式表示交叉熵损失计算结果:
12.根据权利要求1所述的一种基于多任务学习的属性级情感分析方法,其特征是:所述步骤11具体为:
步骤11.1:将属性词加情感词的联合抽取任务、属性词的情感极性预测任务、句子属性词平均长度预测任务和句中每个词的情感极性预测任务计算的损失作为第一部分损失,文档级文本情感极性预测任务和文档级文本的领域分类任务的损失作为第二部分损失,通过下式表示第一部分损失和第二部分损失:
Ld=LDS+LDD
其中,La为第一部分损失,Ld为第二部分损失;
步骤11.2:进行交替学习优化,定义一个预训练轮次数pre-epoch对文档级文本分类任务做训练,完成后再定义正式训练轮次数epoch,对属性级文本分析进行训练,且在分批量训练时,定义一个比率r,当batch-index除以r的余数为0时进行一个批次的文档级文本分类任务的训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010153639.9A CN111414476A (zh) | 2020-03-06 | 2020-03-06 | 一种基于多任务学习的属性级情感分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010153639.9A CN111414476A (zh) | 2020-03-06 | 2020-03-06 | 一种基于多任务学习的属性级情感分析方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111414476A true CN111414476A (zh) | 2020-07-14 |
Family
ID=71494325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010153639.9A Pending CN111414476A (zh) | 2020-03-06 | 2020-03-06 | 一种基于多任务学习的属性级情感分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111414476A (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111881671A (zh) * | 2020-09-27 | 2020-11-03 | 华南师范大学 | 一种属性词提取方法 |
CN111930953A (zh) * | 2020-09-21 | 2020-11-13 | 北京合享智慧科技有限公司 | 一种文本属性特征的识别、分类及结构分析方法及装置 |
CN112100376A (zh) * | 2020-09-11 | 2020-12-18 | 湖南大学 | 用于细粒度情感分析的相互增强转换网络 |
CN112699240A (zh) * | 2020-12-31 | 2021-04-23 | 荆门汇易佳信息科技有限公司 | 中文情感特征词智能动态发掘和归类方法 |
CN113065331A (zh) * | 2021-04-15 | 2021-07-02 | 上海金融期货信息技术有限公司 | 基于实体上下文判别的实体情感识别方法和系统 |
CN113076718A (zh) * | 2021-04-09 | 2021-07-06 | 苏州爱语认知智能科技有限公司 | 一种商品属性抽取方法及其系统 |
CN113204624A (zh) * | 2021-06-07 | 2021-08-03 | 吉林大学 | 一种多特征融合的文本情感分析模型及装置 |
CN113268592A (zh) * | 2021-05-06 | 2021-08-17 | 天津科技大学 | 基于多层次交互注意力机制的短文本对象情感分类方法 |
CN113297352A (zh) * | 2021-06-07 | 2021-08-24 | 苏州大学 | 基于多任务网络的属性级情感分类方法及装置 |
CN113641821A (zh) * | 2021-08-11 | 2021-11-12 | 北京信息科技大学 | 一种社交网络中意见领袖的价值取向识别方法及系统 |
CN113792541A (zh) * | 2021-09-24 | 2021-12-14 | 福州大学 | 一种引入互信息正则化器的方面级情感分析方法 |
CN114281993A (zh) * | 2021-12-23 | 2022-04-05 | 中国科学技术大学 | 一种文本共情预测模型及方法 |
CN114510934A (zh) * | 2022-02-18 | 2022-05-17 | 上海喜马拉雅科技有限公司 | 一种文本处理方法、装置、服务器及存储介质 |
CN114519353A (zh) * | 2022-02-22 | 2022-05-20 | 平安科技(深圳)有限公司 | 模型的训练方法、情感消息生成方法和装置、设备、介质 |
TWI779810B (zh) * | 2021-08-31 | 2022-10-01 | 中華電信股份有限公司 | 文本評論資料分析系統、方法及電腦可讀媒介 |
CN115409135A (zh) * | 2022-11-03 | 2022-11-29 | 南昌惠联网络技术有限公司 | 一种网络业务文档的分类管理方法 |
CN118153553A (zh) * | 2024-05-09 | 2024-06-07 | 江西科技师范大学 | 基于多任务的社交网络用户心理危机原因抽取方法与系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109299262A (zh) * | 2018-10-09 | 2019-02-01 | 中山大学 | 一种融合多粒度信息的文本蕴含关系识别方法 |
-
2020
- 2020-03-06 CN CN202010153639.9A patent/CN111414476A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109299262A (zh) * | 2018-10-09 | 2019-02-01 | 中山大学 | 一种融合多粒度信息的文本蕴含关系识别方法 |
Non-Patent Citations (3)
Title |
---|
HUAISHAO LUO等: "DOER: dual cross-shared RNN for aspect term-polarity co-extraction", 《ARXIV》 * |
RUIDAN HE等: "an interactive multi-task learning network for end-to-end aspect-based sentiment analysis", 《ARXIV》 * |
ZICHAO YANG等: "Hierarchical Attention Networks for Document Class", 《RESEARCHGATE》 * |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112100376A (zh) * | 2020-09-11 | 2020-12-18 | 湖南大学 | 用于细粒度情感分析的相互增强转换网络 |
CN111930953A (zh) * | 2020-09-21 | 2020-11-13 | 北京合享智慧科技有限公司 | 一种文本属性特征的识别、分类及结构分析方法及装置 |
CN112632286A (zh) * | 2020-09-21 | 2021-04-09 | 北京合享智慧科技有限公司 | 一种文本属性特征的识别、分类及结构分析方法及装置 |
CN111881671A (zh) * | 2020-09-27 | 2020-11-03 | 华南师范大学 | 一种属性词提取方法 |
CN112699240A (zh) * | 2020-12-31 | 2021-04-23 | 荆门汇易佳信息科技有限公司 | 中文情感特征词智能动态发掘和归类方法 |
CN113076718A (zh) * | 2021-04-09 | 2021-07-06 | 苏州爱语认知智能科技有限公司 | 一种商品属性抽取方法及其系统 |
CN113065331A (zh) * | 2021-04-15 | 2021-07-02 | 上海金融期货信息技术有限公司 | 基于实体上下文判别的实体情感识别方法和系统 |
CN113268592A (zh) * | 2021-05-06 | 2021-08-17 | 天津科技大学 | 基于多层次交互注意力机制的短文本对象情感分类方法 |
CN113204624A (zh) * | 2021-06-07 | 2021-08-03 | 吉林大学 | 一种多特征融合的文本情感分析模型及装置 |
CN113297352A (zh) * | 2021-06-07 | 2021-08-24 | 苏州大学 | 基于多任务网络的属性级情感分类方法及装置 |
CN113297352B (zh) * | 2021-06-07 | 2024-01-16 | 苏州大学 | 基于多任务网络的属性级情感分类方法及装置 |
CN113204624B (zh) * | 2021-06-07 | 2022-06-14 | 吉林大学 | 一种多特征融合的文本情感分析模型及装置 |
CN113641821A (zh) * | 2021-08-11 | 2021-11-12 | 北京信息科技大学 | 一种社交网络中意见领袖的价值取向识别方法及系统 |
CN113641821B (zh) * | 2021-08-11 | 2023-08-29 | 北京信息科技大学 | 一种社交网络中意见领袖的价值取向识别方法及系统 |
TWI779810B (zh) * | 2021-08-31 | 2022-10-01 | 中華電信股份有限公司 | 文本評論資料分析系統、方法及電腦可讀媒介 |
CN113792541A (zh) * | 2021-09-24 | 2021-12-14 | 福州大学 | 一种引入互信息正则化器的方面级情感分析方法 |
CN113792541B (zh) * | 2021-09-24 | 2023-08-11 | 福州大学 | 一种引入互信息正则化器的方面级情感分析方法 |
CN114281993A (zh) * | 2021-12-23 | 2022-04-05 | 中国科学技术大学 | 一种文本共情预测模型及方法 |
CN114281993B (zh) * | 2021-12-23 | 2024-03-29 | 中国科学技术大学 | 一种文本共情预测系统及方法 |
CN114510934A (zh) * | 2022-02-18 | 2022-05-17 | 上海喜马拉雅科技有限公司 | 一种文本处理方法、装置、服务器及存储介质 |
CN114519353B (zh) * | 2022-02-22 | 2023-07-25 | 平安科技(深圳)有限公司 | 模型的训练方法、情感消息生成方法和装置、设备、介质 |
CN114519353A (zh) * | 2022-02-22 | 2022-05-20 | 平安科技(深圳)有限公司 | 模型的训练方法、情感消息生成方法和装置、设备、介质 |
CN115409135A (zh) * | 2022-11-03 | 2022-11-29 | 南昌惠联网络技术有限公司 | 一种网络业务文档的分类管理方法 |
CN118153553A (zh) * | 2024-05-09 | 2024-06-07 | 江西科技师范大学 | 基于多任务的社交网络用户心理危机原因抽取方法与系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111414476A (zh) | 一种基于多任务学习的属性级情感分析方法 | |
CN111444709B (zh) | 文本分类方法、装置、存储介质及设备 | |
CN111858944B (zh) | 一种基于注意力机制的实体方面级情感分析方法 | |
CN110457480B (zh) | 基于交互式注意力机制的细粒度情感分类模型的构建方法 | |
CN108363695B (zh) | 一种基于双向依赖语法树表征的用户评论属性抽取方法 | |
CN112667818B (zh) | 融合gcn与多粒度注意力的用户评论情感分析方法及系统 | |
CN110287323B (zh) | 一种面向目标的情感分类方法 | |
CN110502626A (zh) | 一种基于卷积神经网络的方面级情感分析方法 | |
CN112307168A (zh) | 基于人工智能的问诊会话处理方法、装置和计算机设备 | |
CN110046356B (zh) | 标签嵌入的微博文本情绪多标签分类方法 | |
CN110472245B (zh) | 一种基于层次化卷积神经网络的多标记情绪强度预测方法 | |
Zhang et al. | A BERT fine-tuning model for targeted sentiment analysis of Chinese online course reviews | |
CN112069320B (zh) | 一种基于跨度的细粒度情感分析方法 | |
CN112434161B (zh) | 一种采用双向长短期记忆网络的方面级情感分析方法 | |
CN112256866A (zh) | 一种基于深度学习的文本细粒度情感分析方法 | |
CN111897954A (zh) | 一种用户评论方面挖掘系统、方法、及存储介质 | |
CN114020900A (zh) | 基于融合空间位置注意力机制的图表英语摘要生成方法 | |
CN116245110A (zh) | 基于图注意力网络的多维度信息融合用户立场检测方法 | |
CN115630145A (zh) | 一种基于多粒度情感的对话推荐方法及系统 | |
CN114492661B (zh) | 文本数据分类方法和装置、计算机设备、存储介质 | |
Zhang et al. | Survey of transformers and towards ensemble learning using transformers for natural language processing | |
CN115129807A (zh) | 基于自注意的社交媒体主题评论的细粒度分类方法及系统 | |
CN112989803A (zh) | 一种基于主题向量学习的实体链接模型 | |
CN114595693A (zh) | 一种基于深度学习的文本情感分析方法 | |
Samrat et al. | Deep Learning Techniques for Sentiment Analysis: A Comparative Study |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200714 |