CN115374789A - 基于预训练模型bert的多粒度融合方面级情感分析方法 - Google Patents

基于预训练模型bert的多粒度融合方面级情感分析方法 Download PDF

Info

Publication number
CN115374789A
CN115374789A CN202210214958.5A CN202210214958A CN115374789A CN 115374789 A CN115374789 A CN 115374789A CN 202210214958 A CN202210214958 A CN 202210214958A CN 115374789 A CN115374789 A CN 115374789A
Authority
CN
China
Prior art keywords
sentence
level
output
emotion
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210214958.5A
Other languages
English (en)
Inventor
方义秋
彭杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202210214958.5A priority Critical patent/CN115374789A/zh
Publication of CN115374789A publication Critical patent/CN115374789A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及自然语言处理技术领域，公开了一种基于预训练模型BERT的多粒度融合方面级情感分析方法，步骤包括将文本输入到预训练模型中获取预训练词向量，并获取方面项的上下文信息s；通过LSTM长短期记忆网络来学习句子的上下文句子信息h；将双向LSTM的输出h作为句子级别注意力层的输入，计算每个句子的重要程度，得到句子级别注意力层的输出u；将u进行维度变换为与s一致，再将s与句子级的输出u进行调和得到最终的输出O；将O作为情感分类层的输入，计算情感极性的概率P，并根据损失函数进行损失，再采用反向传播算法进行优化。本发明能够防止上下文句子过多，影响当前句子方面的极性判断的问题，从而增强对当前句子方面的极性判断，提升方面情感预测的性能。

Description

基于预训练模型BERT的多粒度融合方面级情感分析方法
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种基于预训练模型BERT的多粒度融合方面级情感分析方法。
背景技术
方面级情感分析作为情感分析的子任务，一直是自然语言处理领域研究的热点之一。不同于文档级、句子级粗粒度的情感分析任务只需找出整个文档或者整个句子的情感，方面级情感分析这种细粒度的任务则需找出一句话中每个方面的情感。例如句子“Thefood is good but the service is slow.”，对于句子级别情感分析，关于这句话的情感极性则会识别为中性。而方面级情感分析，对于句子中两个不同的方面实体(food和service)，则会识别出对应的积极和消极两种不同的情感极性。
早期方面级情感分析主要基于规则的方法。基于规则的方法高度依赖大量的手动标注的特征，这会导致错误在这些方法中传播，并因此阻碍方面级情感分析任务的性能。为了解决基于规则的方法带来的弊端，深度学习中卷积神经网络与循环神经网络搭配注意力机制、记忆模块等方法被用于方面级情感分析领域并取得了不错的效果。为了应对这类问题，依存句法也被引入到方面级情感分析。依存句法是一种重要的句法结构，它可以远距离的建模修饰词与被修饰词之间的关系。
除了上述方法，另一种可行的方式便是基于神经网络的多粒度融合方面级情感分析方法，但目前这种方法，当句子中存在多个方面时，其只对单个句子进行上下文信息学习，这样就导致难以预测该句子中所有方面的情感极性。
发明内容
有鉴于此，本发明的目的是提供一种基于预训练模型BERT的多粒度融合方面级情感分析方法，能够防止上下文句子过多，影响当前句子方面的极性判断的问题，从而增强对当前句子方面的极性判断，提升方面情感预测的性能。
本发明通过以下技术手段解决上述技术问题：
基于预训练模型BERT的多粒度融合方面级情感分析方法，其特征在于：包括以下步骤，
S1、将文本输入到预训练模型中获取预训练词向量，并获取token-level的关于方面项的上下文信息s；
S2、通过LSTM长短期记忆网络来学习句子的上下文句子信息h；
S3、将LSTM的输出h作为句子级别注意力层的输入，计算每个句子的重要程度，得到句子级别注意力层的输出u；
S4、将句子级别的输出u进行维度变换为与方面级输出s一致，再将方面级的输出s与句子级别注意力层的输出u进行调和，得到最终的输出O；
S5、将最终的输出O作为情感分类层的输入，通过softmax计算情感极性的概率P，并根据损失函数进行损失，再采用反向传播算法进行优化。
进一步，所述步骤S1中，将文本输入到预训练模型中获取预训练词向量的方法具体为：
E＝{e1,e2,L,el}
其中，E表示预训练词向量，ei表示文档中的第i个词向量表示，l表示输入文本的长度。
进一步，所述步骤S1中，采用平均池化的方法获取所述token-level的关于方面项的上下文信息s。
进一步，所述S2步骤中，通过LSTM长短期记忆网络来学习句子的上下文句子信息h的具体方法为：
Figure BDA0003533252750000021
进一步，所述S3步骤中，将双向LSTM的输出作为句子级别注意力层的输入，计算每个句子重要程度的方法为：
sh＝tanh(whhs+bh)
Figure BDA0003533252750000031
Figure BDA0003533252750000032
其中，wh表示权重，bh表示偏置，sh表示注意力得分，ah表示经过softmax函数之后得到的权重概率，u表示句子级别注意力层的输出。
进一步，所述步骤S4中，将句子级别的输出进行维度变换为与方面级输出s一致，再将方面级的输出与句子级的输出进行调和，得到最终的输出O的具体方法为：
z＝f(wuu+bu)
gz＝σ(wzz+bz)
o＝gze z+(1-gz)e s
其中，所述f表示全连接层，z表示全脸层的维度变换后的输出，wu表示全连接层的权重，bu表示全连接层的偏置，σ表示sigmoid激活函数，wz表示sigmoid的权重，bz表示sigmoid的偏置，gz的输出在(0,1)区间。
如果将句子级别注意力层的输出直接作为情感分类层的输入，那么当前句子可能会过多的学习上下文句子信息，从而会影响当前句子方面级情感的极性判断。因此，我们设计了门控机制，首先将句子级别的输出进行维度变换与方面级输出s一致，然后将方面级的输出与句子级的输出进行调和，得到最终的输出。
进一步，所述步骤S5中，将最终的输出O作为情感分类层的输入，通过softmax计算情感极性的概率P，具体为:
P＝Softmax(wpo+bp)
其中，wp表示情感分类层的权重，bp表示情感分类层的偏置，P表示预测的情感概率。
本发明的有益效果：
本发明通过预训练模型强大的学习能力获取token-level的方面项的上下文信息，利用平均池化得到经过预训练模型的方面级输出；然后将获取的输出作为句子级别注意力层的输入，获取sentence-level级别的上下文句子信息，从而辅助方面级的情感极性判断；再将句子级输出与方面级输出进行门控机制调节，防止上下文句子过多从而影响当前句子方面的极性判断的问题，最后将门控机制调节后的输出作为情感分类层的输入进行情感极性判断，使得方面情感预测的性能得以提升。
附图说明
图1是本发明基于预训练模型BERT的多粒度融合方面级情感分析方法的流程图；
图2是本发明基于预训练模型BERT的多粒度融合方面级情感分析方法的网络结构图；
图3是实施例对上下文句子过多的句子采用本发明的方法进行方面级情感分析的举例图。
具体实施方式
以下将结合附图对本发明进行详细说明：
如图1-3所示：
本实施例的基于预训练模型BERT的多粒度融合方面级情感分析方法，采用图1所示处理流程；具体如下：
S1、将文本输入到预训练模型中获取预训练词向量，然后通过平均池化得到token-level的关于方面项的上下文信息s，其中将文本输入到预训练模型中得到预训练词向量：
E＝{e1,e2,L,el}
其中，ei表示文档中的第i个词向量表示，l表示输入文本的长度；
S2、通过LSTM长短期记忆网络来学习句子的上下文句子信息h，其具体方法为：
Figure BDA0003533252750000051
S3：将双向LSTM的输出h作为句子级别注意力层的输入，用来计算每个句子的重要程度，得到句子级别的输出u，其中本实施例将双向LSTM的输出作为句子级别注意力层的输入，计算每个句子重要程度的方法为：
sh＝tanh(whhs+bh)
Figure BDA0003533252750000052
Figure BDA0003533252750000053
其中，wh表示权重，bh表示偏置，sh表示注意力得分，ah表示经过softmax函数之后得到的权重概率，u表示句子级别注意力层的输出；
S4：将句子级别的输出进行维度变换与方面级输出s一致，然后将方面级的输出与句子级的输出进行调和，得到最终的输出O；具体方法为：
z＝f(wuu+bu)
gz＝σ(wzz+bz)
o＝gze z+(1-gz)e s
其中，所述f表示全连接层，z表示全脸层的维度变换后的输出，wu表示全连接层的权重，bu表示全连接层的偏置，σ表示sigmoid激活函数，wz表示sigmoid的权重，bz表示sigmoid的偏置，gz的输出在(0,1)区间；
S5：将最终的输出O作为情感分类层的输入，通过softmax计算情感极性的概率P。并根据损失函数进行损失，并采用反向传播算法进行优化，具体为:
P＝Softmax(wpo+bp)
其中，wp表示情感分类层的权重，bp表示情感分类层的偏置，P表示预测的情感概率。
本实施例所用数据集为SemEval 2014 Task 4和SemEval 2016 Task 5。
本实施例通过预训练模型强大的学习能力获取token-level的方面项的上下文信息，利用平均池化得到经过预训练模型的方面级输出；当句子中的方面情感难以捕捉时，句子级别的上下文句子信息则会提供很好的帮助。
如图3所示，来自Rest16数据集中的一个文档信息，其中，例1中描述了餐厅食物food和环境interior的情感极性；例2中描述了环境space的情感极性。如果只使用token-level单独预测例2中space的情感极性的话，很难得出消极的情感极性，但是结合上文例1句子中环境interior中描述的“could use some help”可以容易得出消极的情感极性，因此能够辅助例2中环境space的判断。
接着将获取的输出作为句子级别注意力层的输入，获取sentence-level级别的上下文句子信息，从而辅助方面级的情感极性判断；然后将句子级输出与方面级输出进行门控机制调节，防止上下文句子过多的影响当前句子方面的极性判断。最后将门控机制调节后的输出作为情感分类层的输入进行情感极性判断。
以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。本发明未详细描述的技术、形状、构造部分均为公知技术。

Claims (7)

1.基于预训练模型BERT的多粒度融合方面级情感分析方法，其特征在于：包括以下步骤，
S1、将文本输入到预训练模型中获取预训练词向量，并获取token-level的关于方面项的上下文信息s；
S2、通过LSTM长短期记忆网络来学习句子的上下文句子信息h；
S3、将LSTM的输出h作为句子级别注意力层的输入，计算每个句子的重要程度，得到句子级别注意力层的输出u；
S4、将句子级别注意力层的输出u进行维度变换为与方面级输出s一致，再将方面级的输出s与句子级别注意力层的输出u进行调和，得到最终的输出O；
S5、将最终的输出O作为情感分类层的输入，通过softmax计算情感极性的概率P，并根据损失函数进行损失，再采用反向传播算法进行优化。
2.根据权利要求1所述的基于预训练模型BERT的多粒度融合方面级情感分析方法，其特征在于：所述步骤S1中，将文本输入到预训练模型中获取预训练词向量的方法具体为：
E＝{e1,e2,L,el}
其中，E表示预训练词向量，ei表示文档中的第i个词向量表示，l表示输入文本的长度。
3.根据权利要求2所述的基于预训练模型BERT的多粒度融合方面级情感分析方法，其特征在于：所述步骤S1中，采用平均池化的方法获取所述token-level的关于方面项的上下文信息s。
4.根据权利要求1所述的基于预训练模型BERT的多粒度融合方面级情感分析方法，其特征在于：所述S2步骤中，通过LSTM长短期记忆网络来学习句子的上下文句子信息h的具体方法为：
Figure FDA0003533252740000011
5.根据权利要求1所述的基于预训练模型BERT的多粒度融合方面级情感分析方法，其特征在于：所述S3步骤中，将双向LSTM的输出作为句子级别注意力层的输入，计算每个句子重要程度的方法为：
sh＝tanh(whhs+bh)
Figure FDA0003533252740000021
Figure FDA0003533252740000022
其中，wh表示权重，bh表示偏置，sh表示注意力得分，ah表示经过softmax函数之后得到的权重概率，u表示句子级别注意力层的输出。
6.根据权利要求1所述的基于预训练模型BERT的多粒度融合方面级情感分析方法，其特征在于：所述步骤S4中，将句子级别的输出进行维度变换为与方面级输出s一致，再将方面级的输出与句子级的输出进行调和，得到最终的输出O的具体方法为：
z＝f(wuu+bu)
gz＝σ(wzz+bz)
o＝gze z+(1-gz)e s
其中，所述f表示全连接层，z表示全脸层的维度变换后的输出，wu表示全连接层的权重，bu表示全连接层的偏置，σ表示sigmoid激活函数，wz表示sigmoid的权重，bz表示sigmoid的偏置，gz的输出在(0,1)区间。
7.根据权利要求6所述的基于预训练模型BERT的多粒度融合方面级情感分析方法，其特征在于：所述步骤S5中，将最终的输出O作为情感分类层的输入，通过softmax计算情感极性的概率P，具体为:
P＝Soft max(wpo+bp)
其中，wp表示情感分类层的权重，bp表示情感分类层的偏置，P表示预测的情感概率。
CN202210214958.5A 2022-03-04 2022-03-04 基于预训练模型bert的多粒度融合方面级情感分析方法 Pending CN115374789A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210214958.5A CN115374789A (zh) 2022-03-04 2022-03-04 基于预训练模型bert的多粒度融合方面级情感分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210214958.5A CN115374789A (zh) 2022-03-04 2022-03-04 基于预训练模型bert的多粒度融合方面级情感分析方法

Publications (1)

Publication Number Publication Date
CN115374789A true CN115374789A (zh) 2022-11-22

Family

ID=84060882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210214958.5A Pending CN115374789A (zh) 2022-03-04 2022-03-04 基于预训练模型bert的多粒度融合方面级情感分析方法

Country Status (1)

Country Link
CN (1) CN115374789A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116108187A (zh) * 2023-04-14 2023-05-12 华东交通大学 一种集成多粒度信息的方面级情感分类方法
CN116562305A (zh) * 2023-07-10 2023-08-08 江西财经大学 方面情感四元组预测方法与系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116108187A (zh) * 2023-04-14 2023-05-12 华东交通大学 一种集成多粒度信息的方面级情感分类方法
CN116562305A (zh) * 2023-07-10 2023-08-08 江西财经大学 方面情感四元组预测方法与系统
CN116562305B (zh) * 2023-07-10 2023-09-12 江西财经大学 方面情感四元组预测方法与系统

Similar Documents

Publication Publication Date Title
CN110929030B (zh) 一种文本摘要和情感分类联合训练方法
US11631007B2 (en) Method and device for text-enhanced knowledge graph joint representation learning
CN109635109B (zh) 基于lstm并结合词性及多注意力机制的句子分类方法
CN108363753B (zh) 评论文本情感分类模型训练与情感分类方法、装置及设备
US10606946B2 (en) Learning word embedding using morphological knowledge
CN111339255B (zh) 目标情感分析的方法、模型训练方法、介质和设备
CN110083705A (zh) 一种用于目标情感分类的多跳注意力深度模型、方法、存储介质和终端
CN111143576A (zh) 一种面向事件的动态知识图谱构建方法和装置
CN111401084B (zh) 一种机器翻译的方法、设备以及计算机可读存储介质
CN109214006B (zh) 图像增强的层次化语义表示的自然语言推理方法
CN112883714B (zh) 基于依赖图卷积和迁移学习的absc任务句法约束方法
CN115374789A (zh) 基于预训练模型bert的多粒度融合方面级情感分析方法
CN111368082A (zh) 一种基于层次网络的领域自适应词嵌入的情感分析方法
CN110851601A (zh) 基于分层注意力机制的跨领域情感分类系统及方法
CN112906398B (zh) 句子语义匹配方法、系统、存储介质和电子设备
CN113128206A (zh) 基于单词重要性加权的问题生成方法
CN110569355A (zh) 一种基于词块的观点目标抽取和目标情感分类联合方法及系统
CN112818698A (zh) 一种基于双通道模型的细粒度的用户评论情感分析方法
CN114925687B (zh) 一种基于动态词向量表征的中文作文评分方法及系统
CN118278543A (zh) 答案评价模型训练方法、评价方法、装置、设备及介质
CN112989803B (zh) 一种基于主题向量学习的实体链接预测方法
CN111259147A (zh) 基于自适应注意力机制的句子级情感预测方法及系统
CN111274396A (zh) 一种基于外部知识的视角级文本情感分类方法及系统
CN114356990A (zh) 基于迁移学习的基地命名实体识别系统及方法
CN116757195B (zh) 一种基于提示学习的隐性情感识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination