CN116029305A - 一种基于多任务学习的中文属性级情感分析方法、系统、设备及介质 - Google Patents
一种基于多任务学习的中文属性级情感分析方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN116029305A CN116029305A CN202310212271.2A CN202310212271A CN116029305A CN 116029305 A CN116029305 A CN 116029305A CN 202310212271 A CN202310212271 A CN 202310212271A CN 116029305 A CN116029305 A CN 116029305A
- Authority
- CN
- China
- Prior art keywords
- attribute
- word
- context
- emotion
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 128
- 238000004458 analytical method Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 36
- 230000007246 mechanism Effects 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 31
- 239000000284 extract Substances 0.000 claims abstract description 9
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 37
- 238000012937 correction Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 12
- 230000002452 interceptive effect Effects 0.000 claims description 10
- 230000007935 neutral effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 239000003607 modifier Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 239000012634 fragment Substances 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000015654 memory Effects 0.000 claims description 2
- 238000003058 natural language processing Methods 0.000 description 8
- 238000011160 research Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Machine Translation (AREA)
Abstract
一种基于多任务学习的中文属性级文本情感分析方法、系统、设备及介质，其方法为：使用MacBERT预训练语言模型作为面向中文的情感分析任务的上下文嵌入模块；在使用MacBERT对中文文本进行词嵌入时，能够同时对输入模型的评论文本进行属性词抽取和属性情感分类；使用句法相对距离，改进了基于词语间距的局部上下文聚焦机制；使用多头注意力机制，对属性词抽取模块产生的全局上下文特征和属性情感分类模块产生的局部上下文特征进行交互学习，构建多任务的学习框架；其系统、设备及介质能够对输入的评论文本基于多任务学习进行情感分析；本发明能够适应大规模数据集，自动提取属性词并预测属性词的情感极性，极大地降低了手动标注所有属性词及其情感极性标签的巨大成本。
Description
技术领域
本发明属于自然语言处理和数据挖掘分析应用技术领域，尤其涉及一种基于多任务学习的中文属性级情感分析方法、系统、设备及介质。
背景技术
互联网的普及率逐年提升，网民规模逐年扩大，越来越多的网民愿意在各大互联网应用平台上主动地表达个人意见，分享个人生活动态等，由此在互联网上产生了大量情感色彩丰富、观点表达鲜明的评论文本。这些评论文本承载了用户的直观感受表达，一般都带有明显的情感倾向，这些情感倾向可能包含针对文章或视频的内容质量、针对商品的使用体验的评价。
从数据存储的角度来讲，以现有的存储能力能够完整地保存所有用户的所有评论数据，这为评论文本的情感分类研究提供了物质基础。在网络上的评论文本中，用户一般不会考虑格式，经常会包含一些新颖的网络用语，所以评论文本和普通文学在表达方式上有很大的不同，这种非结构化的数据给文本情感分析带来了一定的研究难度。
情感分析是自然语言处理(Natural Laguage Processing,NLP)中的一项基础任务，也是当前NLP领域中比较热门和活跃的研究方向。从任务划分角度，可以将其归为自然语言处理中的文本分类任务，文本分类任务是构建一个分类算法，该算法模型通过在含有预标注数据的数据集上进行训练，能够预测待检测文本的分类标签。而情感分析的目标是分析文本中所蕴含的用户观点，挖掘出用户的情感倾向，通过构建情感分类算法，完成对文本的情感分类标签的分类预测任务。
情感分析的应用场景十分广泛，比如在电商平台上，可以广泛收集商品评论，进行数据分析和挖掘，产生巨大的商业价值；在社交网络中，可以抓取微博等平台上用户发表的观点，进行舆情分析和管理；在电影影视领域，可以统计分析平台上的用户观影评论，进行票房预估。
传统的文本情感分析主要研究文档级和句子级等粗粒度的文本，主要是从整体上对文本的情感极性做出判断，主要的研究方法可以分为基于情感词典与规则和基于机器学习两类。
基于情感词典与规则的方法重点是构建情感词典，利用构建好的情感词典，对文本中出现的情感词数量进行统计，然后依据特定的公式或规则计算文本的情感倾向数值，从而确定文本的情感类别。基于情感词典与规则的方法在特定领域和数据集上，实现了对文本情感倾向的判断，它的优点是原理简单，不依赖有标注的数据集；缺点是构建耗时耗力，成本非常高，而且需要不断更新，维护成本也很高；无法进行跨领域情感分析，灵活性不高，情感词典与规则无法应对不同领域下的文本。
深度学习通过构建网络模型模拟人脑神经系统实现文本分析、特征提取、自动优化模型的过程，有效解决了机器学习方法在自然语言处理领域中数据稀疏，误差传播和特征提取等问题。基于深度学习的情感分析方法包括循环神经网络、注意力机制、卷积神经网络和图神经网络等方法。
文本是一种非结构化的数据。长短不一，而且句子的顺序不能随意更换，顺序的改变可能会导致完全不同的语义。循环神经网络(Recurrent Neural Network，RNN)是一种具有序列学习能力的网络结构，适合用于处理基于时间的词汇序列。但RNN存在长期依赖问题，存在梯度消失或梯度爆炸的问题，这严重影响了文本情感分析任务的效果和性能。
长短期记忆网络(Long Short-Term Memory)利用门结构对RNN中的神经元结构进行了改造，有效解决了长期依赖问题。但无论是在RNN还是在LSTM中，信息流动都是单向的，这个特点导致这些网络模型在一些NLP任务中表现不佳，比如在词性标注任务中，一个词的词性不仅与它前面的单词及其自身有关，还与其后面的单词有关。
随着对深度学习方法的深入研究，一些模型在各种自然语言处理任务已经取得了较好的性能表现，能够进行初步的语义理解，在一些简单的场景下，基本达到甚至超过了人类的平均水平。但是因为自然语言的复杂性，在语义识别理解和文本分类等方面，还存在提升空间。
中国专利CN110516245A公开了一种细粒度情感分析方法、装置、计算机设备及存储介质，该方法包括：获取源领域数据集和目标领域数据集，源领域数据集中的每条数据为评论文本、评论标签、评论分数的三元组格式数据；搭建情感分析初始模型；将源领域数据集的评论文本序列和评论标签序列进行向量化；将向量化后的评论文本序列和评论标签序列输入情感分析初始模型进行训练，得到情感分析预训练模型；利用情感分析预训练模型在目标领域数据集上进行训练，微调情感分析预训练模型的参数，得到细粒度情感分析模型；对待分析文本进行处理，在处理后输入细粒度情感分析模型，进行细粒度情感分析，输出得到情感分析结果。该发明可以克服中文细粒度情感分析数据集缺乏的困难，但是对于文本情感分析的语义识别理解和文本分类等方面的性能和效果仍待提高。
发明内容
为了克服上述现有技术的不足，本发明的目的在于提供一种基于多任务学习的中文属性级情感分析方法、系统、设备及介质，使用MacBERT(MLM as correction BERT)预训练语言模型作为面向中文的情感分析任务的上下文嵌入模块；在使用MacBERT对中文文本进行词嵌入时，能够同时对输入模型的评论文本进行属性词抽取(Aspect termextraction,ATE)和属性情感分类(Aspect Sentiment Classification，ASC)；使用句法相对距离，改进了基于词语间距的局部上下文聚焦(Local context focus)机制，有效降低了和属性词之间句法联系较弱的不相关词对属性情感分类的负面影响；使用多头注意力机制，对属性词抽取模块产生的全局上下文特征和属性情感分类模块产生的局部上下文特征进行交互学习，构建多任务的学习框架；本发明能够适应评论文本语言非结构化、网络新词频繁出现的特点，通过对少量属性词及其极性的有标注数据进行训练，可以适应大规模数据集，能够自动提取属性词并预测属性词的情感极性，极大地降低了手动标注所有属性词及其情感极性标签的巨大成本。
为了实现上述目的，本发明采用如下技术方案：
一种基于多任务学习的中文属性级文本情感分析方法，使用MacBERT(MLM ascorrection BERT)预训练语言模型作为面向中文的情感分析任务的上下文嵌入模块；在使用MacBERT对中文文本进行词嵌入时，同时对输入模型的评论文本进行属性词抽取(Aspectterm extraction,ATE)和属性情感分类(Aspect Sentiment Classification，ASC)；使用句法相对距离，改进基于词语间距的局部上下文聚焦(Local context focus)机制，然后使用多头注意力机制，对属性词抽取模块产生的全局上下文特征和属性情感分类模块产生的局部上下文特征进行交互学习，构建多任务的学习框架。
一种基于多任务学习的中文属性级文本情感分析方法，具体步骤包括：
步骤1.使用MacBERT(MLM as correction BERT)预训练语言模型作为面向中文的情感分析任务的上下文嵌入模块，构建文本嵌入模型；
步骤2.构建属性词抽取模型：通过MacBERT预训练模型，获取输入文本的词向量，将其输入到下游的文本情感分析任务模型当中，抽取文本当中的情感特征；
步骤3.构建属性情感分类模块：使用句法相对距离，改进基于词语间距的局部上下文聚焦(Local context focus)机制，降低和目标属性词距离远、句法联系弱的不相关词对属性情感分类的负面影响；使用多头注意力机制，对属性词抽取模块产生的全局上下文特征和属性情感分类模块产生的局部上下文特征进行交互学习，构建多任务的学习框架。
所述步骤1具体方法为：
使用预训练语言模型MacBERT(MLM as correction BERT)作为面向中文的情感分析任务的上下文嵌入模块，MacBERT由两个预训练任务组成：MLM as correction和句子顺序预测(Sentence order prediction,SOP)，其中，MLM as correction将原始BERT原始模型中的掩蔽语言模型(MLM)任务修改为语言纠正方式，在MLM as correction预训练任务中，没有采用任何预定义的标记来进行屏蔽，而是将原始MLM转换为文本纠正任务，MLM ascorrection模型将错误的单词纠正为正确的单词，缓解预训练和微调阶段的差异；在SOP任务中，正样本由两个连续的文本生成，而负样本则通过打乱文本的原始顺序来生成。
所述步骤2的具体方法为：
给定一个包含n个标记(Tokens)的句子S，S＝{wi|i∈[1,n]}，端到端的ABSA提取由m个属性词构成的集合A，A＝{ai|i∈[1,m]}，同时输出每个属性词的情感极性yp∈{Positive(积极),Negative(消极),Neutral(中性)}；
将属性词抽取看作是一个序列标注问题，使用IOB标签来标注输入的标记，其中每个输入标记wi被分配一个标签yi；标签yi的值来自集合{B,I,O}(Begin,Inside,Outside)，分别表示该标记是属性词的开始，属性词的内部和非属性词；
属性词抽取模块由上下文嵌入、词性嵌入和基于依赖关系的嵌入组成；
属性词抽取任务的具体执行过程如下：
首先在文本预处理阶段，需要在输入序列的开头使用特殊的分类标记[CLS]，并在输入序列的末尾添加分隔符[SEP]；输入语句被转换为“[CLS]”+输入序列+“[SEP]”的格式；将准备好的文本序列输入到MacBERT模型中，产生上下文嵌入；
在词性嵌入阶段，每个词的词性都使用通用词性标记(Universal POS tags)进行标注，从而得到输入序列的词性信息P＝{p1,p2，…，pn}；词性嵌入层用稀疏向量表示P来提取稠密向量表示VP：
其中，POS_emb表示词性嵌入的隐藏大小；
在基于依存关系的嵌入阶段，根据单词参与的句法关系，使用基于依存关系的上下文；首先使用依存树来解析句子，对每个目标词w和与之对应的修饰词m1,m2,...,mn，构建上下文：
C＝{(m1,rel1),(m2,rel2),...,(mn,reln)} (2)
其中，reli是目标词w和修饰词mi之间的依存关系；
通过拼接上下文的嵌入输出、词性嵌入输出和基于依赖的嵌入输出，得到局部上下文的特征表示，在得到局部上下文特征表示之后，将其输入到一个全连接层以及Softmax函数层中，经过Softmax函数的处理，模型输出的是输入文本中的每个Token对应的属性词类别；最后，属性词抽取模块的训练目标是最小化带有L2正则化的交叉熵损失函数。
所述步骤3的具体方法为：
1)改进基于词语间距的局部上下文聚焦(Local context focus)机制：给定一个句子S＝{wi|i∈[1,n]}和上一步中提取出的方面词A＝{ai|i∈[1,m]}，确定在上下文句中的方面词的情感极性{Positive,Neutral,Negative}；
将上下文句S和方面词A结合起来构建全局上下文G，G＝[CLS]+S+[SEP]+A+[SEP]；另一方面，构建局部上下文L，L＝[CLS]+S+[SEP]；全局上下文G被显式表示为由上下文句子S和方面词A组成的一对文本；当G中的一个标记token属于句子对的第一个或第二个片段时，其segment token片段标记分别被索引为1或2；
2)通过将局部上下文输入到上下文嵌入中，得到局部上下文向量：
在Vl上使用改进的上下文特征动态加权(CDM)；其中单词之间的语义相对距离(SRD)依存解析树中对应节点之间的最短距离来衡量，减少与目标属性词距离较远的无关意见词的负面影响；
3)构建多任务的学习框架：在对局部上下文进行特征动态加权之后，与全局上下文进行拼接，然后使用多头自注意力机制对拼接后的向量进行特征交互学习，多头自注意力层的输出构成了属性情感分类模块的输入；
使用自注意力机制，通过计算将输入中的任意两个地方的信息关联起来，提取稀疏数据的重要特征，捕获特征的内部相关性；自注意力机制的计算过程如下：
在公式(4)中，ｄｋ表示隐藏层的维度，除以为归一化操作，以防止出现梯度消失；
在计算注意力时，将下游任务抽象成Query(Q)，将源文本看成<Key(K)，Value(V)>键值对，首先将查询项Query和每个键值项key进行相似度计算得到权重，然后对这些权重进行softmax归一化；自注意力机制中不需要外部提供额外的查询信息，有Q＝K＝V，句子中每个词和其他所有词都要计算注意力得分；
多头注意力(Multi-Head Attention)是通过并行计算多次注意力来捕获元素的全部特征，其计算过程如公式(5)和公式(6)所示：
headi＝Attention(Qi,Ki,Vi) (5)
MultiHead＝Concat(head1,head2,...,headn) (6)
其中，headi表示第i个注意力头的计算结果，详细计算过程如公式(4)所示，MultiHead表示对多个注意力头的计算结果进行拼接的结果；
在通过多头注意力对拼接后的特征向量进行交互学习之后，通过Head pool操作将“[CLS]”处的隐藏状态hCLS输入到全连接层中，全连接层使用Softmax函数，以从集合{积极，消极，中性}预测属性测的情感分类极性；使用带有L2正则化的交叉熵损失作为损失函数来微调整个属性情感分类模块。
基于上述分析方法的多任务学习的中文属性级文本情感分析系统，包括：
词向量生成模块，用于将数据集中的文本信息转换为低维的稠密向量表示：采用MacBERT预训练模型将输入的文本转换为上下文嵌入向量，同时引入了词性嵌入向量和基于依存关系的嵌入向量，将三种嵌入向量拼接后，作为词向量生成模块的输出表示，该表示充分利用了输入文本中的句法信息；
属性词抽取模块，用于充分提取输入文本中的属性词；该模块使用MacBERT作为上下文嵌入工具，同时结合词性嵌入、基于依赖关系的嵌入和上下文嵌入，区分属性词的边界，提高属性词抽取任务的准确性；
属性情感分类模块，用于生成属性词的情感分类预测标签；在生成局部上下文嵌入时，使用句法相对距离来改进局部上下文聚焦机制，
一种基于多任务学习的中文属性级文本情感分析设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现步骤1至3所述基于多任务学习的中文属性级情感分析方法。
一种计算机可读存储介质，所述计算机可读存储介质用来存储计算机程序，所述计算机程序被处理器执行时能够对输入的评论文本基于多任务学习进行情感分析，同时完成属性词抽取(Aspect term extraction,ATE)和属性情感分类(Aspect SentimentClassification，ASC)任务。
本发明与现有技术相比，具有如下优点：
1、本发明提出了一个创新的属性级文本情感分析方法，该方法主要面向中文商品评论文本，利用多任务学习方法，能够同时提取中文评论文本中所包含的属性词，并且预测属性词对应的情感极性。不仅能够挖掘输入文本中包含的多个不同的情感信息对象，而且还能对这些对象的情感倾向进行分析预测。
2、在使用MacBERT对中文文本进行词嵌入时，同时结合了词性嵌入、基于依赖关系的嵌入和上下文嵌入，充分利用了文本中的句法信息，挖掘出文本中蕴含的情感语义，强化了模型对文本语义表征的能力。在属性情感分类模块中，当生成局部上下文嵌入时，使用句法相对距离，改进了基于词语间距的局部上下文聚焦机制，有效降低了和属性词之间句法联系较弱的不相关词对属性情感分类的负面影响。
3、使用多头注意力机制，对全局上下文特征和局部上下文特征进行交互学习，构建了一个多任务的学习框架。与使用流水线方式解决ABSA任务的方式相比，本发明所提的情感分析方法避免了模块间的错误传播问题，通过多任务学习的方式，联合训练ATE和ASC任务。
附图说明
图1是本发明所使用的MacBERT预训练语言模型的结构图。
图2是本发明基于多任务学习的中文属性级文本情感分析方法框架结构图。
图3是本发明实施例的训练和测试流程图。
具体实施方式
下面结合附图对本发明进一步详细说明。
一种基于多任务学习的中文属性级文本情感分析方法，具体步骤如下：
步骤1.使用MacBERT(MLM as correction BERT)预训练语言模型作为面向中文的情感分析任务的上下文嵌入模块，构建文本嵌入模型：
使用MacBERT预训练模型的tokenizers来对文本进行预处理，MacBERT由两个预训练任务组成：MLM as correction和句子顺序预测(Sentence order prediction,SOP)如图1，其中，MLM as correction将原始BERT原始模型中的掩蔽语言模型(MLM)任务修改为语言纠正方式，在MLM as correction预训练任务中，没有采用任何预定义的标记来进行屏蔽，而是将原始MLM转换为文本纠正任务，MLM as correction模型将错误的单词纠正为正确的单词，缓解预训练和微调阶段的差异；在SOP任务中，正样本由两个连续的文本生成，而负样本则通过打乱文本的原始顺序来生成，该任务被证明比BERT中的下一句预测(Nextsentence prediction,NS)任务更为有效。
步骤2.构建属性词抽取模型：通过MacBERT预训练模型，获取输入文本的词向量，将其输入到下游的文本情感分析任务模型当中，抽取文本当中的情感特征：
给定一个包含n个标记(Tokens)的句子S，S＝{wi|i∈[1,n]}，端到端的ABSA提取由m个属性词构成的集合A，A＝{ai|i∈[1,m]}，同时输出每个属性词的情感极性yp∈{Positive(积极),Negative(消极),Neutral(中性)}；
将属性词抽取看作是一个序列标注问题，使用IOB标签来标注输入的标记，其中每个输入标记wi被分配一个标签yi；标签yi的值来自集合{B,I,O}(Begin,Inside,Outside)，分别表示该标记是属性词的开始，属性词的内部和非属性词；
属性词抽取模块由上下文嵌入、词性嵌入和基于依赖关系的嵌入组成。
属性词抽取任务的具体执行过程如下：
首先在文本预处理阶段，需要在输入序列的开头使用特殊的分类标记[CLS]，并在输入序列的末尾添加分隔符[SEP]；输入语句被转换为“[CLS]”+输入序列+“[SEP]”的格式；将准备好的文本序列输入到MacBERT模型中，产生上下文嵌入，如图2。
在词性嵌入阶段，每个词的词性都使用通用词性标记(Universal POS tags)进行标注，从而得到输入序列的词性信息P＝{p1,p2，…，pn}；词性嵌入层用稀疏向量表示P来提取稠密向量表示VP：
其中，POS_emb表示词性嵌入的隐藏大小；
在基于依存关系的嵌入阶段，根据单词参与的句法关系，使用基于依存关系的上下文；首先使用依存树来解析句子，对每个目标词w和与之对应的修饰词m1,m2,...,mn，构建上下文：
C＝{(m1,rel1),(m2,rel2),...,(mn,reln)} (2)
其中，reli是目标词w和修饰词mi之间的依存关系；
通过拼接上下文的嵌入输出、词性嵌入输出和基于依赖的嵌入输出，得到了局部上下文的特征表示，该特征表示融合了丰富的句法信息。在得到局部上下文特征表示之后，将其输入到一个全连接层以及Softmax函数层中，经过Softmax函数的处理，模型输出的是输入文本中的每个Token对应的属性词类别；最后，属性词抽取模块的训练目标是最小化带有L2正则化的交叉熵损失函数。
步骤3.构建属性情感分类模块：使用句法相对距离，改进基于词语间距的局部上下文聚焦(Local context focus)机制，降低和目标属性词距离远、句法联系弱的不相关词对属性情感分类的负面影响；使用多头注意力机制，对属性词抽取模块产生的全局上下文特征和属性情感分类模块产生的局部上下文特征进行交互学习，构建多任务的学习框架，具体为：
给定一个句子S＝{wi|i∈[1,n]}和上一步中提取出的方面词A＝{ai|i∈[1,m]}，确定在上下文句中的方面词的情感极性{Positive,Neutral,Negative}；
将上下文句S和方面词A结合起来构建全局上下文G，G＝[CLS]+S+[SEP]+A+[SEP]；另一方面，构建局部上下文L，L＝[CLS]+S+[SEP]，如图2；全局上下文G被显式表示为由上下文句子S和方面词A组成的一对文本；当G中的一个标记token属于句子对的第一个或第二个片段时，其segment token片段标记分别被索引为1或2；
通过将局部上下文输入到上下文嵌入中，得到局部上下文向量：
在Vl上使用改进的上下文特征动态加权(CDM)减少与目标属性词距离较远的无关意见词的负面影响；其中单词之间的语义相对距离(SRD)依存解析树中对应节点之间的最短距离来衡量；
在对局部上下文进行特征动态加权之后，与全局上下文进行拼接，然后使用多头自注意力机制对拼接后的向量进行特征交互学习，多头自注意力层的输出构成了属性情感分类模块的输入；
使用自注意力机制可以更好地表示整个输入的信息，通过计算将输入中的任意两个地方的信息关联起来，提取稀疏数据的重要特征，减少对外部信息的依赖，捕获特征的内部相关性；自注意力机制的计算过程如下：
在公式(4)中，dk表示隐藏层的维度，除以是为了防止出现梯度消失而进行的归一化操作；在计算注意力时，将下游任务抽象成Query(Q)，将源文本看成<Key(K)，Value(V)>键值对，在计算注意力得分时，首先将查询项Query和每个键值项key进行相似度计算得到权重，然后对这些权重进行softmax归一化。在自注意力机制中，由于不需要外部提供额外的查询信息，因此有Q＝K＝V，句子中每个词和其他所有词都要计算注意力得分。
多头注意力(Multi-Head Attention)就是通过并行计算多次注意力来捕获元素的全部特征，其计算过程如公式(5)和公式(6)所示：
headi＝Attention(Qi,Ki,Vi) (5)
MultiHead＝Concat(head1,head2,...,headn) (6)
其中，headi表示第i个注意力头的计算结果，详细计算过程如公式(4)所示，MultiHead表示对多个注意力头的计算结果进行拼接的结果。
在通过多头注意力对拼接后的特征向量进行交互学习之后，通过Head pool操作将“[CLS]”处的隐藏状态hCLS输入到全连接层中，全连接层使用Softmax函数，以从集合{积极，消极，中性}预测属性测的情感分类极性；使用带有L2正则化的交叉熵损失作为损失函数来微调整个属性情感分类模块。
对本发明评价指标和实验设置，如图3所示。
模型性能评价指标采用的是准确率(Accuracy)和F1-score。在测试集上，使用evaluate()函数计算Loss和Accuracy，F1-score指标，获取训练得到的模型在测试集上的文本情感分类效果评价。
为了验证模型的有效性，利用本方法提出的模型和其他的基线模型进行了对比实验。实验基于三个中文数据集来进行属性级情感分析，将本发明提出的方法与其他的基准模型进行了对比，最终验证了本发明所提出的模型的性能更为优异，实验数据如下：
表1本发明所提模型与其他基线模型的实验对比结果
实验所用的操作系统为Ubuntu18.04，深度学习框架是PyTorch，实验所涉及的具体配置如表2所示：
表2实验环境及配置表
Claims (8)
1.一种基于多任务学习的中文属性级文本情感分析方法，其特征在于，使用MacBERT(MLM as correction BERT)预训练语言模型作为面向中文的情感分析任务的上下文嵌入模块；在使用MacBERT对中文文本进行词嵌入时，同时对输入模型的评论文本进行属性词抽取(Aspect term extraction,ATE)和属性情感分类(Aspect Sentiment Classification，ASC)；使用句法相对距离，改进基于词语间距的局部上下文聚焦(Local context focus)机制，然后使用多头注意力机制，对属性词抽取模块产生的全局上下文特征和属性情感分类模块产生的局部上下文特征进行交互学习，构建多任务的学习框架。
2.根据权利要求1所述的一种基于多任务学习的中文属性级文本情感分析方法，其特征在于，具体步骤包括：
步骤1.使用MacBERT(MLM as correction BERT)预训练语言模型作为面向中文的情感分析任务的上下文嵌入模块，构建文本嵌入模型；
步骤2.构建属性词抽取模型：通过MacBERT预训练模型，获取输入文本的词向量，将其输入到下游的文本情感分析任务模型当中，抽取文本当中的情感特征；
步骤3.构建属性情感分类模块：使用句法相对距离，改进基于词语间距的局部上下文聚焦(Local context focus)机制，降低和目标属性词距离远、句法联系弱的不相关词对属性情感分类的负面影响；使用多头注意力机制，对属性词抽取模块产生的全局上下文特征和属性情感分类模块产生的局部上下文特征进行交互学习，构建多任务的学习框架。
3.根据权利要求2所述的一种基于多任务学习的中文属性级文本情感分析方法，其特征在于，所述步骤1具体方法为：
使用预训练语言模型MacBERT(MLM as correction BERT)作为面向中文的情感分析任务的上下文嵌入模块，MacBERT由两个预训练任务组成：MLM as correction和句子顺序预测(Sentence order prediction,SOP)，其中，MLM as correction将原始BERT原始模型中的掩蔽语言模型(MLM)任务修改为语言纠正方式，在MLM as correction预训练任务中，没有采用任何预定义的标记来进行屏蔽，而是将原始MLM转换为文本纠正任务，MLM ascorrection模型将错误的单词纠正为正确的单词，缓解预训练和微调阶段的差异；在SOP任务中，正样本由两个连续的文本生成，而负样本则通过打乱文本的原始顺序来生成。
4.根据权利要求2所述的一种基于多任务学习的中文属性级文本情感分析方法，其特征在于，所述步骤2的具体方法为：
给定一个包含n个标记(Tokens)的句子S，S＝{wi|i∈[1,n]}，端到端的ABSA提取由m个属性词构成的集合A，A＝{ai|i∈[1,m]}，同时输出每个属性词的情感极性yp∈{Positive(积极),Negative(消极),Neutral(中性)}；
将属性词抽取看作是一个序列标注问题，使用IOB标签来标注输入的标记，其中每个输入标记wi被分配一个标签yi；标签yi的值来自集合{B,I,O}(Begin,Inside,Outside)，分别表示该标记是属性词的开始，属性词的内部和非属性词；
属性词抽取模块由上下文嵌入、词性嵌入和基于依赖关系的嵌入组成；
属性词抽取任务的具体执行过程如下：
首先在文本预处理阶段，需要在输入序列的开头使用特殊的分类标记[CLS]，并在输入序列的末尾添加分隔符[SEP]；输入语句被转换为“[CLS]”+输入序列+“[SEP]”的格式；将准备好的文本序列输入到MacBERT模型中，产生上下文嵌入；
在词性嵌入阶段，每个词的词性都使用通用词性标记(Universal POS tags)进行标注，从而得到输入序列的词性信息P＝{p1,p2，…，pn}；词性嵌入层用稀疏向量表示P来提取稠密向量表示VＰ：
其中，POS_emb表示词性嵌入的隐藏大小；
在基于依存关系的嵌入阶段，根据单词参与的句法关系，使用基于依存关系的上下文；首先使用依存树来解析句子，对每个目标词w和与之对应的修饰词m1,m2,...,mn，构建上下文：
C＝{(m1,rel1),(m2,rel2),...,(mn,reln)} (2)
其中，reli是目标词w和修饰词mi之间的依存关系；
通过拼接上下文的嵌入输出、词性嵌入输出和基于依赖的嵌入输出，得到局部上下文的特征表示，在得到局部上下文特征表示之后，将其输入到一个全连接层以及Softmax函数层中，经过Softmax函数的处理，模型输出的是输入文本中的每个Token对应的属性词类别；最后，属性词抽取模块的训练目标是最小化带有L2正则化的交叉熵损失函数。
5.根据权利要求2所述的一种基于多任务学习的中文属性级文本情感分析方法，其特征在于，所述步骤3的具体方法为：构建属性情感分类模块：
1)改进基于词语间距的局部上下文聚焦(Localcontext focus)机制：给定一个句子S＝{wi|i∈[1,n]}和上一步中提取出的方面词A＝{ai|i∈[1,m]}，确定在上下文句中的方面词的情感极性{Positive,Neutral,Negative}；
将上下文句S和方面词A结合起来构建全局上下文G，G＝[CLS]+S+[SEP]+A+[SEP]；另一方面，构建局部上下文L，L＝[CLS]+S+[SEP]；全局上下文G被显式表示为由上下文句子S和方面词A组成的一对文本；当G中的一个标记token属于句子对的第一个或第二个片段时，其segment token片段标记分别被索引为1或2；
2)通过将局部上下文输入到上下文嵌入中，得到局部上下文向量：
在Vl上使用改进的上下文特征动态加权(CDM)；其中单词之间的语义相对距离(SRD)依存解析树中对应节点之间的最短距离来衡量，减少与目标属性词距离较远的无关意见词的负面影响；
3)构建多任务的学习框架：在对局部上下文进行特征动态加权之后，与全局上下文进行拼接，然后使用多头自注意力机制对拼接后的向量进行特征交互学习，多头自注意力层的输出构成了属性情感分类模块的输入；
使用自注意力机制，通过计算将输入中的任意两个地方的信息关联起来，提取稀疏数据的重要特征，捕获特征的内部相关性；自注意力机制的计算过程如下：
在公式(4)中，dk表示隐藏层的维度，除以为归一化操作，以防止出现梯度消失；
在计算注意力时，将下游任务抽象成Query(Q)，将源文本看成<Key(K)，Value(V)>键值对，首先将查询项Query和每个键值项key进行相似度计算得到权重，然后对这些权重进行softmax归一化；自注意力机制中不需要外部提供额外的查询信息，有Q＝K＝V，句子中每个词和其他所有词都要计算注意力得分；
多头注意力(Multi-Head Attention)是通过并行计算多次注意力来捕获元素的全部特征，其计算过程如公式(5)和公式(6)所示：
headi＝Attention(Qi,Ki,Vi) (5)
MultiHead＝Concat(head1,head2,...,headn) (6)
其中，headi表示第i个注意力头的计算结果，详细计算过程如公式(4)所示，MultiHead表示对多个注意力头的计算结果进行拼接的结果；
在通过多头注意力对拼接后的特征向量进行交互学习之后，通过Head pool操作将“[CLS]”处的隐藏状态hCLS输入到全连接层中，全连接层使用Softmax函数，以从集合{积极，消极，中性}预测属性测的情感分类极性；使用带有L2正则化的交叉熵损失作为损失函数来微调整个属性情感分类模块。
6.基于权利要求1至5任一项所述分析方法的多任务学习的中文属性级文本情感分析系统，其特征在于，包括：
词向量生成模块，用于将数据集中的文本信息转换为低维的稠密向量表示：采用MacBERT预训练模型将输入的文本转换为上下文嵌入向量，同时引入了词性嵌入向量和基于依存关系的嵌入向量，将三种嵌入向量拼接后，作为词向量生成模块的输出表示，该表示充分利用了输入文本中的句法信息；
属性词抽取模块，用于充分提取输入文本中的属性词；该模块使用MacBERT作为上下文嵌入工具，同时结合词性嵌入、基于依赖关系的嵌入和上下文嵌入，区分属性词的边界；
属性情感分类模块，用于生成属性词的情感分类预测标签；在生成局部上下文嵌入时，使用句法相对距离来改进局部上下文聚焦机制。
7.一种基于多任务学习的中文属性级文本情感分析设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现权利要求1至6所述基于多任务学习的中文属性级情感分析方法。
8.一种计算机可读存储介质，所述计算机可读存储介质用来存储计算机程序，所述计算机程序被处理器执行时能够对输入的评论文本基于多任务学习进行情感分析，同时完成属性词抽取(Aspect term extraction,ATE)和属性情感分类(Aspect SentimentClassification，ASC)任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310212271.2A CN116029305A (zh) | 2023-03-07 | 2023-03-07 | 一种基于多任务学习的中文属性级情感分析方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310212271.2A CN116029305A (zh) | 2023-03-07 | 2023-03-07 | 一种基于多任务学习的中文属性级情感分析方法、系统、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116029305A true CN116029305A (zh) | 2023-04-28 |
Family
ID=86070793
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310212271.2A Pending CN116029305A (zh) | 2023-03-07 | 2023-03-07 | 一种基于多任务学习的中文属性级情感分析方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116029305A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117390140A (zh) * | 2023-12-04 | 2024-01-12 | 中国传媒大学 | 基于机器阅读理解的中文方面级情感分析方法及系统 |
| CN117436446A (zh) * | 2023-12-21 | 2024-01-23 | 江西农业大学 | 基于弱监督的农业社会化销售服务用户评价数据分析方法 |
-
2023
- 2023-03-07 CN CN202310212271.2A patent/CN116029305A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117390140A (zh) * | 2023-12-04 | 2024-01-12 | 中国传媒大学 | 基于机器阅读理解的中文方面级情感分析方法及系统 |
| CN117390140B (zh) * | 2023-12-04 | 2024-03-15 | 中国传媒大学 | 基于机器阅读理解的中文方面级情感分析方法及系统 |
| CN117436446A (zh) * | 2023-12-21 | 2024-01-23 | 江西农业大学 | 基于弱监督的农业社会化销售服务用户评价数据分析方法 |
| CN117436446B (zh) * | 2023-12-21 | 2024-03-22 | 江西农业大学 | 基于弱监督的农业社会化销售服务用户评价数据分析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106776581B (zh) | 基于深度学习的主观性文本情感分析方法 | |
| CN109933664B (zh) | 一种基于情感词嵌入的细粒度情绪分析改进方法 | |
| CN109284506A (zh) | 一种基于注意力卷积神经网络的用户评论情感分析系统及方法 | |
| CN110852087A (zh) | 中文纠错方法和装置、存储介质及电子装置 | |
| CN108363695B (zh) | 一种基于双向依赖语法树表征的用户评论属性抽取方法 | |
| Arshad et al. | Aiding intra-text representations with visual context for multimodal named entity recognition | |
| Chang et al. | Research on detection methods based on Doc2vec abnormal comments | |
| CN109409221A (zh) | 基于帧选择的视频内容描述方法和系统 | |
| CN116029305A (zh) | 一种基于多任务学习的中文属性级情感分析方法、系统、设备及介质 | |
| CN112818698B (zh) | 一种基于双通道模型的细粒度的用户评论情感分析方法 | |
| CN113392209A (zh) | 一种基于人工智能的文本聚类方法、相关设备及存储介质 | |
| CN114818717A (zh) | 融合词汇和句法信息的中文命名实体识别方法及系统 | |
| CN112905736A (zh) | 一种基于量子理论的无监督文本情感分析方法 | |
| CN111311364B (zh) | 基于多模态商品评论分析的商品推荐方法及系统 | |
| CN116402066A (zh) | 多网络特征融合的属性级文本情感联合抽取方法及系统 | |
| CN116579347A (zh) | 一种基于动态语义特征融合的评论文本情感分析方法、系统、设备及介质 | |
| CN115238693A (zh) | 一种基于多分词和多层双向长短期记忆的中文命名实体识别方法 | |
| Du et al. | A convolutional attentional neural network for sentiment classification | |
| Parvin et al. | Transformer-based local-global guidance for image captioning | |
| CN113486174B (zh) | 模型训练、阅读理解方法、装置、电子设备及存储介质 | |
| CN114742069A (zh) | 一种代码相似度检测方法及装置 | |
| Huang et al. | Sentence-embedding and similarity via hybrid bidirectional-lstm and cnn utilizing weighted-pooling attention | |
| CN116663566A (zh) | 一种基于商品评价的方面级情感分析方法及系统 | |
| Hu et al. | Emotion prediction oriented method with multiple supervisions for emotion-cause pair extraction | |
| Wang et al. | Dual-Perspective Fusion Network for Aspect-based Multimodal Sentiment Analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |