CN115730606A - 一种基于bert模型以及注意力集中网络的细粒度情感分析方法 - Google Patents
一种基于bert模型以及注意力集中网络的细粒度情感分析方法 Download PDFInfo
- Publication number
- CN115730606A CN115730606A CN202211565870.4A CN202211565870A CN115730606A CN 115730606 A CN115730606 A CN 115730606A CN 202211565870 A CN202211565870 A CN 202211565870A CN 115730606 A CN115730606 A CN 115730606A
- Authority
- CN
- China
- Prior art keywords
- attention
- fine
- model
- bert model
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 51
- 230000008451 emotion Effects 0.000 title claims 14
- 238000000034 method Methods 0.000 claims abstract description 13
- 230000007246 mechanism Effects 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 230000002996 emotional effect Effects 0.000 claims description 16
- 230000014509 gene expression Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000007935 neutral effect Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 description 7
- 238000012552 review Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
Abstract
一种基于BERT模型和注意力集中网络的细粒度情感分析方法，通过结合BERT模型与注意力机制，构造了一种进行细粒度情感分析任务的模型。首先将待分析的句子及其方面词拼接为输入文本，使用BERT模型对输入文本进行语义信息整合，然后通过注意力机制构造一个注意力集中网络层，进行更深层次的信息提取，最后使用一个全连接层获取最终的情感分析预测结果。本方法实现了一种注意力集中网络，将句子与方面词的文本信息交互，然后使得注意力集中于句中对应方面的语义信息，并通过将其与BERT结合，使得模型有能力提取出细粒度情感分析任务文本中较深层次的语义，相较于各基线模型，成功地提高了细粒度情感分析结果的准确度和F1值指标。
Description
技术领域
本发明涉及自然语言处理、深度学习、方面级情感分析领域，特别涉及一种基于BERT 模型和注意力集中网络的细粒度情感分析方法。
背景技术
随着互联网技术的高速发展，网民数量也日益增多，社交媒体、电子商务等新兴产业在此带动下得以迅猛发展，越来越多的人会在网络分享、发表对于各种产品、服务、事件、新闻等的评论分析，而通过情感分析的手段，这些评论信息可以反映出许多有价值的信息。比如，对于商家而言，可以获取消费者对于某种产品的反馈，进而分析出这种产品的市场价值以及改进空间大小，从而创造出更好的收益；对于消费者而言，可以据此判断一种产品的口碑、质量，从而对于是否购买这种产品做出更理性的判断；对于新闻所涉及的相关单位来说，可以据此获取网民对于一个事件的态度、情感倾向，从而做出更好的后续应对。
传统的商品评论粗粒度情感分析，识别的是整条评论所表达出来的情感倾向，然而在有些情况下，一条评论信息中有可能会涵盖多个角度，而对于不同角度的情感倾向有可能是不一致的。比如，一条评论中可能会表达出一家店铺的产品质量很好，但是店铺环境一般，位置不好的观点，从而对于这条评论的粗粒度情感分析并不能涵盖它所表达的完整情感倾向，得出不准确的结论。细粒度情感分析可以识别一条评论中各个给定的方面词的情感倾向，并由此得出更加准确、全面的情感分析结论，避免信息丢失。
目前，已存在很多细粒度情感分析领域的研究，研究中涉及了各种神经网络，包括长短期记忆人工神经网络、卷积神经网络、循环神经网络、BERT模型，等等，取得了较好的效果。然而，在进行细粒度情感分析时，有可能存在其他多个角度的情感倾向文本信息，以及隐式的情感表达，这就会导致训练过程中的信息缺失，对情感分析结果的准确性造成较大的干扰。
发明内容
本发明提供一种基于BERT模型和注意力集中网络的细粒度情感分析方法，缓解了现有技术中存在的训练过程中信息缺失的现象，更有效地解决了方面级情感分析问题。
本发明是通过以下技术方案实现的：一种基于BERT模型和注意力集中网络的细粒度情感分析方法，步骤如下：
S1：获取待进行细粒度情感分析的句子及其对应的方面词，经过预处理，获得文本中的每个单词的词向量表达；
将待进行细粒度情感分析的句子及其对应的方面词拼接为“[CLS]+待分析的句子+[SEP]+ 方面词+[SEP]”形式的输入文本序列，其中[CLS]作为文本开始符号，[SEP]作为文本分隔及结束符号；然后采用BERT模型对长度为x的输入文本序列进行向量转化，得到文本的词向量表达s。
S2：将S1获取的词向量表达序列输入到BERT神经网络模型进行处理，获得每个词向量与上下文信息整合后的语义信息；
所述步骤S2具体包括：将文本的词向量表达s输入到BERT模型进行处理，得到BERT模型最后一层的隐藏状态作为每个词向量与上下文信息整合后的语义信息Hx*h，其中h为BERT模型的隐藏层数量。
S3：对S2获得的语义信息，采用根据注意力机制所构建的注意力集中网络层进行分析处理，提取关键信息；
所述步骤S3具体包括：将BERT模型提取到的语义信息Hx*h输入到根据注意力机制构建的注意力集中网络层进行信息提取，注意力集中网络层具体结构如下：
在注意力集中网络层的第一层，Hx*h经过无偏置项的全连接层进行线性变换，再使用 Sigmoid激活函数，得到
在注意力集中网络层的第二层，
经过无偏置项的全连接层进行线性变换，再使用Softmax激活函数，得到
在注意力集中网络层的第三层，将
与BERT模型提取到的语义信息Hx*h经过矩阵乘法得到的矩阵输入无偏置项的全连接层进行线性变换，再使用Tanh激活函数，得到
其中，
为可训练的参数；
去除
中维数为1的维度，得到关键信息
S4：将S3提取出的关键信息输入全连接层进行细粒度情感预测，得到本基于BERT模型和注意力集中网络的细粒度情感分析方法的分析结果；
将S3步骤得到的关键信息
输入一个全连接层，获得维度为p的输出向量，其中p代表情感分析任务中包含的不同的情感极性数量，如：任务包含了积极、中性、消极三种情感极性，则p的取值为3；具体表达式如下：
其中，
为可训练的参数，
为偏置项；y为模型预测的情感极性结果。
对本基于BERT模型和注意力集中网络的细粒度情感分析方法模型训练优化的策略为，采用Adam优化器对本模型进行训练，优化过程中使用交叉熵作为损失函数，并引入L2正则化来防止模型出现过拟合。
本发明的一种基于BERT模型和注意力集中网络的细粒度情感分析方法具有以下优点：本模型通过采用BERT模型以及注意力机制，可以提取出较深层次的语义信息，并且相较于细粒度情感分析的基线模型，准确率和F1值均有所提升，证明了本模型的有效性。
附图说明
图1是本发明步骤图。
图2是本发明流程图。
图3是本发明架构图。
具体实施方式
下面结合附图和具体实施例对本发明作出进一步说明，以使本领域的技术人员可以更好的理解本发明并能够予以实施，但所举实施例并不作为对本发明的限定。
本发明实例提供一种基于BERT模型和注意力集中网络的细粒度情感分析方法，用于进行细粒度情感分析任务。
对于评论S及其方面词A，按照图1所示流程图，通过以下步骤来分析评论S在方面A上的情感倾向为消极0，中性1，积极2中的一类。
S1：获取评论S及其方面词A，经过预处理，获得文本中的每个单词的词向量表达s；将待进行细粒度情感分析的评论S及其方面词A经过截取或填充，拼接为长度为x的“[CLS]S[SEP]A[SEP]”形式的输入文本序列，其中[CLS]作为文本开始符号，[SEP]作为文本分隔及结束符号；然后采用BERT模型对输入文本序列进行向量转化，得到文本的词向量表达s。
S2：将s输入到BERT神经网络模型进行处理，获得每个词向量与上下文信息整合后的语义信息Hx*h；
将文本的词向量表达s输入到BERT模型进行处理，得到BERT模型最后一层的隐藏状态作为每个词向量与上下文信息整合后的语义信息Hx*h，其中h为BERT模型的隐藏层数量。
S3：对于Hx*h，采用根据注意力机制所构建的注意力集中网络层进行分析处理，提取关键信息
所述步骤S3具体包括：将BERT模型提取到的语义信息Hx*h输入到根据注意力机制构建的注意力集中网络层进行信息提取，注意力集中网络层具体结构如下：
在注意力集中网络层的第一层，Hx*h经过无偏置项的全连接层进行线性变换，再使用 Sigmoid激活函数，得到
在注意力集中网络层的第二层，
经过无偏置项的全连接层进行线性变换，再使用Softmax激活函数，得到
在注意力集中网络层的第三层，将
与BERT模型提取到的语义信息Hx*h经过矩阵乘法得到的矩阵输入无偏置项的全连接层进行线性变换，再使用Tanh激活函数，得到
其中，
为可训练的参数；
去除
中维数为1的维度，得到关键信息
S4：将
输入全连接层进行细粒度情感预测，得到本基于BERT模型和注意力集中网络的细粒度情感分析方法的情感分析结果y：
所述步骤S4具体包括：将S3步骤得到的关键信息
输入一个全连接层，获得维度为p 的输出向量，其中p代表情感分析任务中包含的不同的情感极性数量，本例中p的取值为3；具体表达式如下：
其中，
为可训练的参数，
为偏置项；y为模型预测的情感极性结果。
对本基于BERT模型和注意力集中网络的细粒度情感分析方法模型训练优化的策略为，采用Adam优化器对本模型进行训练，优化过程中使用交叉熵作为损失函数，并引入L2正则化来防止模型出现过拟合。
实施例1：
为了评价本发明所述的一种基于BERT模型和注意力集中网络的细粒度情感分析方法及其模型合理性、有效性，通过以下评测实验进行了分析。
本实例在公开数据集SemEval-2014task4中的restaurant数据集上进行了本发明的评估工作，该数据集共包含3608条评论及方面词数据，其中包括了积极Positive、消极Negative和中立Neural共3种情感极性。
本实例以Feature-based SVM、MGAN、RAM、BERT-PT、AEN-BERT、BERT-SPC等模型作为评估的基线，以acc和F1值作为评估指标。本评估实验结果如下表1所示。
表1：不同模型实验结果对比表
在restaurant数据集中，本发明所述的一种基于BERT模型和注意力集中网络的细粒度情感分析方法BERT-ATT-GA的指标相比评估基线均有一定程度的提升，其中准确率达到了 85.80％，而F1值达到了80.95％，相比于评估基线中的最高值，分别提升了0.85％和3.97％，证明了本方法的合理性、有效性，在兼顾了模型效率的同时，提取出了较深层次的语义信息，取得了较好的细粒度情感分析预测结果。
Claims (6)
1.一种基于BERT模型和注意力集中网络的细粒度情感分析方法，其特征在于，包含以下步骤：
S1：获取待进行细粒度情感分析的句子及其对应的方面词，经过预处理，获得文本中的每个单词的词向量表达；
S2：将S1获取的词向量表达序列输入到BERT神经网络模型进行处理，获得每个词向量与上下文信息整合后的语义信息；
S3：对S2获得的语义信息，采用根据注意力机制所构建的注意力集中网络层进行分析处理，提取关键信息；
S4：将S3提取出的关键信息输入全连接层进行细粒度情感预测，得到本基于BERT模型和注意力集中网络的细粒度情感分析方法的分析结果。
2.根据权利要求1所述的基于BERT模型和注意力集中网络的细粒度情感分析方法，其特征在于，所述的步骤1中，获得文本中的每个单词的词向量表达的过程为：将待进行细粒度情感分析的句子及其对应的方面词拼接为“[CLS]+待分析的句子+[SEP]+方面词+[SEP]”形式的输入文本序列，其中[CLS]作为文本开始符号，[SEP]作为文本分隔及结束符号；然后采用BERT模型对长度为x的输入文本序列进行向量转化，得到文本的词向量表达s。
3.根据权利要求1所述的基于BERT模型和注意力集中网络的细粒度情感分析方法，其特征在于，所述的步骤2)中，具体方法为：将文本的词向量表达s输入到BERT模型进行处理，得到BERT模型最后一层的隐藏状态作为每个词向量与上下文信息整合后的语义信息Hx*h，其中h为BERT模型的隐藏层数量。
4.根据权利要求1所述的基于BERT模型和注意力集中网络的细粒度情感分析方法，其特征在于，所述的步骤3)中，具体方法为：将BERT模型提取到的语义信息Hx*h输入到根据注意力机制构建的注意力集中网络层进行信息提取，注意力集中网络层具体结构如下：
在注意力集中网络层的第一层，Hx*h经过无偏置项的全连接层进行线性变换，再使用Sigmoid激活函数，得到
在注意力集中网络层的第二层，
经过无偏置项的全连接层进行线性变换，再使用Softmax激活函数，得到
在注意力集中网络层的第三层，将
与BERT模型提取到的语义信息Hx*h经过矩阵乘法得到的矩阵输入无偏置项的全连接层进行线性变换，再使用Tanh激活函数，得到
其中，
为可训练的参数；
去除
中维数为1的维度，得到关键信息
5.根据权利要求1所述的一种基于BERT模型和注意力集中网络的细粒度情感分析方法，其特征在于，所述的步骤4中，具体方法为：将S3步骤得到的关键信息
输入一个全连接层，获得维度为p的输出向量，其中p代表情感分析任务中包含的不同的情感极性数量，如：任务包含了积极、中性、消极三种情感极性，则p的取值为3；具体表达式如下：
其中，
为可训练的参数，
为偏置项；y为模型预测的情感极性结果。
6.根据权利要求1所述的基于BERT模型和注意力集中网络的细粒度情感分析方法，其特征在于，对本基于BERT模型和注意力集中网络的细粒度情感分析方法模型训练优化的策略为，采用Adam优化器对本模型进行训练，优化过程中使用交叉熵作为损失函数，并引入L2正则化防止模型出现过拟合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211565870.4A CN115730606A (zh) | 2022-12-07 | 2022-12-07 | 一种基于bert模型以及注意力集中网络的细粒度情感分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211565870.4A CN115730606A (zh) | 2022-12-07 | 2022-12-07 | 一种基于bert模型以及注意力集中网络的细粒度情感分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115730606A true CN115730606A (zh) | 2023-03-03 |
Family
ID=85300512
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211565870.4A Pending CN115730606A (zh) | 2022-12-07 | 2022-12-07 | 一种基于bert模型以及注意力集中网络的细粒度情感分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115730606A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116432107A (zh) * | 2023-05-30 | 2023-07-14 | 江苏大学 | 一种细粒度情感分类方法 |
| CN117497140A (zh) * | 2023-10-09 | 2024-02-02 | 合肥工业大学 | 一种基于细粒度提示学习的多层次抑郁状态检测方法 |
| CN118917310A (zh) * | 2024-10-12 | 2024-11-08 | 浪潮软件科技有限公司 | 关键词提取方法、系统、设备及介质 |
-
2022
- 2022-12-07 CN CN202211565870.4A patent/CN115730606A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116432107A (zh) * | 2023-05-30 | 2023-07-14 | 江苏大学 | 一种细粒度情感分类方法 |
| CN117497140A (zh) * | 2023-10-09 | 2024-02-02 | 合肥工业大学 | 一种基于细粒度提示学习的多层次抑郁状态检测方法 |
| CN117497140B (zh) * | 2023-10-09 | 2024-05-31 | 合肥工业大学 | 一种基于细粒度提示学习的多层次抑郁状态检测方法 |
| CN118917310A (zh) * | 2024-10-12 | 2024-11-08 | 浪潮软件科技有限公司 | 关键词提取方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | BiERU: Bidirectional emotional recurrent unit for conversational sentiment analysis | |
| Sun et al. | Embracing textual data analytics in auditing with deep learning. | |
| CN115730606A (zh) | 一种基于bert模型以及注意力集中网络的细粒度情感分析方法 | |
| CN105844424A (zh) | 基于网络评论的产品质量问题发现及风险评估方法 | |
| CN111242679A (zh) | 一种基于产品评论观点挖掘的销量预测方法 | |
| CN110619044A (zh) | 一种情感分析方法、系统、存储介质及设备 | |
| Xu et al. | An emoji feature-incorporated multi-view deep learning for explainable sentiment classification of social media reviews | |
| Wei et al. | Sentiment classification of Chinese Weibo based on extended sentiment dictionary and organisational structure of comments | |
| Sayeed et al. | Bert: A review of applications in sentiment analysis | |
| CN106339718A (zh) | 一种基于神经网络的分类方法及装置 | |
| Liu et al. | Unveiling consumer preferences in automotive reviews through aspect-based opinion generation | |
| Zhang et al. | A hybrid neural network approach for fine-grained emotion classification and computing | |
| Singh et al. | An interpretation of sentiment analysis for enrichment of Business Intelligence | |
| Sonia et al. | Stock price analysis using sentiment analysis of twitter data | |
| Chauhan et al. | Fine grained sentiment analysis using machine learning and deep learning | |
| Mariappan et al. | Sentiment and Context-Aware Recurrent Convolutional Neural Network for Sentiment Analysis | |
| Abuhammad et al. | Automatic Negation Detection for Semantic Analysis in Arabic Hotel Reviews Through Lexical and Structural Features: A Supervised Classification | |
| Ali et al. | Emotion Detection in Arabic Text in Social Media: A Brief Survey | |
| Jain et al. | KNetwork: advancing cross-lingual sentiment analysis for enhanced decision-making in linguistically diverse environments | |
| Alshahrani et al. | Evaluating the influence of Twitter on the Saudi Arabian stock market indicators | |
| CN114036949B (zh) | 基于资讯信息分析的投资策略确定方法及装置 | |
| Cronin | Unpacking Transformer-Based NLP | |
| Scientific | Sentiment Analysis Based On Pubgm Player Aspects From App Store Reviews Using Bidirectional Encoder Representation From Transformer (BERT) | |
| Prabhu et al. | An Aspect-Based Sentiment Analysis Model to Classify the Sentiment of Twitter Data Using Long-Short Term Memory Classifier | |
| Nuriu | SENTIMENT ANALYSIS IN TWITTER USING ORANGE |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |