CN109543180B - 一种基于注意力机制的文本情感分析方法 - Google Patents
一种基于注意力机制的文本情感分析方法 Download PDFInfo
- Publication number
- CN109543180B CN109543180B CN201811329085.2A CN201811329085A CN109543180B CN 109543180 B CN109543180 B CN 109543180B CN 201811329085 A CN201811329085 A CN 201811329085A CN 109543180 B CN109543180 B CN 109543180B
- Authority
- CN
- China
- Prior art keywords
- vectors
- attention
- word
- attention mechanism
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本发明公开一种基于注意力机制的文本情感分析方法,包括如下步骤:一、对文本数据进行预处理;二、构建词表并利用GloVe模型构建词向量;三、利用内在注意力对句向量进行编码,利用交互注意力对目标词向量进行编码,并通过GRU融合编码后的两个向量,平均池化后得到融合表示;四、根据得到的融合表示,通过逐点的前馈网络(FFN)得到上下文向量的抽象特征,再通过全连接与Softmax函数计算情感分类标签的概率分布,得到分类结果;五、将预处理后的语料划分为训练集和测试集,对模型参数进行多次训练,选取分类准确率最高的模型用于情感倾向性分类。本发明的方法仅使用注意力机制对文本建模,并加强了对目标词的理解,使用户可以了解文本中对特定目标词所持有的情感倾向。
Description
技术领域
本发明涉及文本情感分析领域,更具体地,涉及一种基于注意力机制的文本情感分析方法。
背景技术
在信息爆炸的互联网时代里,社交网络、即时通讯平台等社交平台迅速发展,成为网络用户交流和交往的重要方式之一,也成为了网络最大的信息产生平台之一。利用社交网络的海量文本数据进行情感分析任务,将有助于精确的商品推荐、罪犯追踪以及舆情监控引导方面提供更多的帮助。
目标级情感分类旨在确定句子对特定目标词的情感倾向,是一种细粒度的情感分析任务,旨在确定一个句子对一个特定目标词的情绪极性(否定、中立或肯定)。例如,给定一个上下文句“这家餐厅口味很棒,但是服务很一般。”在这个句子里,对目标词“口味”和“服务”的情感极性分别为正性和中性。
大多数基于深度学习的方法采用递归神经网络(RNN),如LSTM等,结合注意机制,对上下文和目标词进行建模。然而,RNN计算效率不高,也不擅长建模长期依赖关系,在解决长程依赖问题方面并不是很有效,其建模完整上下文信息的能力有限。
发明内容
本发明提供一种基于注意力机制的文本情感分析方法,对于给定的目标词建模上下文表示。本发明不使用递归式,而是采用两种不同的关注编码器进行语境建模,挖掘词嵌入中丰富的内省的和交互的语义信息。由于模型参数明显较少,我们可以享受更快的训练过程。
为了达到上述技术效果,本发明的技术方案如下:
一种基于注意力机制的文本情感分析方法,包括以下步骤:
S1:对文本数据进行预处理,包括分词、去停用词和标点符号;
S2:构建词表并利用GloVe模型构建词向量,将本文映射为词向量后作为网络的输入;
S3:利用内在注意力对句向量进行编码,利用交互注意力对目标词向量进行编码,并通过GRU融合编码后的两个向量,平均池化后得到融合表示;
S4:根据得到的融合表示,通过逐点的前馈计算得到上下文向量的抽象特征,再通过全连接与Softmax函数计算情感分类标签的概率分布,得到分类结果;
S5:将预处理后的语料划分为训练集和测试集,对模型参数进行多次训练,选取分类准确率最高的模型用于情感倾向性分类。
进一步地,所述步骤S3的具体过程是:
S31:采用内在注意力机制对句向量进行编码,则编码的计算公式如下:
Intra-Attention(K)=ScoreFunction(K,K)·K
其中,K为输入的句向量矩阵,ScoreFunction用于计算两个词向量之间的语义相似度:
ScoreFunction(Q,K)=tanh(W·[Q;K]+b)
其中W为要训练的权重矩阵,b为要训练的偏置值;
S32:采用交互注意力机制对目标词向量进行编码,则编码的计算公式如下:
Inter-Attention(Q,K)=ScoreFunction(Q,K)·K
其中,K为输入的句向量矩阵,Q为目标词向量矩阵,ScoreFunction用于计算两个词向量之间的语义相似度;
S33:通过GRU融合编码后的两个向量,得到融合表示G:
z=sigmoid(C·W1+T·W2+b)
G=z·C+(1-z)·T
其中,z是更新门,C是句向量通过内在注意力机制编码后的内容,T是目标词向量通过交互注意力机制编码后的内容,W1和W2为要训练的权重矩阵。
进一步地,所述步骤S4的具体过程是:
采用逐点的前馈网络(FFN)对句向量进行编码,其计算公式如下:
FFN(x)=ReLU(x·W1+b1)·W2+b2
其中x是步骤S3得到融合表示,W1和W2为要训练的权重矩阵,b1和b2为要训练的偏置值。
与现有技术相比,本发明技术方案的有益效果是:
本发明对于句子的建模,不再使用LSTM等循环计算,而是使用内外两种注意力机制,得到上下文的内省表示和新的目标词表示。基于GRU和FFN,对句子的内省表示和新的目标词表示做信息融合和变换,用于后续分类。本发明在分类准确率达到最好水平的同时,大大降低了参数数量和训练时间
附图说明
图1为本发明流程示意图;
图2为本发明的模型结构示意图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示,本发明是一种基于注意力机制的文本情感分析方法,是一种深度学习方法。我们使用的是SemEval-2014Task 4的数据集,包括了两个针对笔记本电脑(Laptops)和餐厅(Restaurants)的领域特定数据集,其中包含超过6K的句子和细粒度的方面级标注,是方面级情感分析的标准数据集。两个领域特定数据集都有两个子数据集:训练集,测试集。
在之前的方法中,通常都是使用LSTM等循环计算来对句子和目标词编码。由于RNN计算无法并行,对长程依赖的建模能力有限。本发明不使用递归式,而是采用两种不同的关注编码器进行语境建模,挖掘词嵌入中丰富的内省的和交互的语义信息。所以我们就提出了一种基于注意力机制的文本情感分析方法。
具体方法步骤如下:首先对原始文本语料做分词、去停用词和标点符号等预处理操作,然后通过GloVe对处理后的文本做向量化。接下来,将向量化的文本输入本方法构建的注意力汇流编码器网络来对句子和目标词编码、融合、变换等建模操作。模型最后用Softmax函数输出分类标签的概率分布。细节如下:
1、首先读入数据集,做分词、去停用词和标点符号等预处理操作;
2、根据文本语料中的词,制作词表,将语料的词序列转为索引序列,并通过GloVe预训练的词向量构建词嵌入矩阵,将本文映射为词向量后作为网络的输入;
3、利用内在注意力对句向量进行编码,利用交互注意力对目标词向量进行编码,并通过GRU融合编码后的两个向量,平均池化后得到融合表示;
4、根据步骤3得到的融合表示,通过逐点的前馈计算得到上下文向量的抽象特征,再通过全连接与Softmax函数计算情感分类标签的概率分布,根据标注的正确标签计算交叉熵损失,使用Adam优化方法调整网络参数;
5、重复步骤3和步骤4大约50个epoch,然后对相应的测试数据集进行测试并记录准确率结果,选取分类准确率最高的模型保存下来,用于后续情感倾向性分类。
为了和以前方法做对比,具体结果由准确率Accuracy来评价。具体结果如以下表格所示:
表1、与其他模型的实验对比结果
结果显示本发明较其他方法有明显的提升。本发明的具体结构如附图2所示。
附图中描述位置关系的用于仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (3)
1.一种基于注意力机制的文本情感分析方法,其特征在于,包括以下步骤:
S1:对文本数据进行预处理,包括分词、去停用词和标点符号;
S2:构建词表并利用GloVe模型构建词向量,将文本映射为词向量后作为网络的输入,通过GloVe对处理后的文本做向量化,将向量化的文本输入构建的注意力汇流编码器网络来对句子和目标词编码、融合、变换建模操作,用Softmax函数输出分类标签的概率分布;
S3:利用内在注意力对句向量进行编码,利用交互注意力对目标词向量进行编码,并通过GRU融合编码后的两个向量,平均池化后得到融合表示;
S4:根据得到的融合表示,通过逐点的前馈计算得到上下文向量的抽象特征,再通过全连接与Softmax函数计算情感分类标签的概率分布,得到分类结果;
S5:将预处理后的语料划分为训练集和测试集,对模型参数进行多次训练,选取分类准确率最高的模型用于情感倾向性分类。
2.根据权利要求1所述的基于注意力机制的文本情感分析方法,其特征在于,所述步骤S3的具体过程是:
S31:采用内在注意力机制对句向量进行编码,则编码的计算公式如下:
Intra-Attention(K)=ScoreFunction(K,K)·K
其中,K为输入的句向量矩阵,ScoreFunction用于计算两个词向量之间的语义相似度:
ScoreFunction(Q,K)=tanh(W·[Q;K]+b)
其中W为要训练的权重矩阵,b为要训练的偏置值;
S32:采用交互注意力机制对目标词向量进行编码,则编码的计算公式如下:
Inter-Attention(Q,K)=ScoreFunction(Q,K)·K
其中,K为输入的句向量矩阵,Q为目标词向量矩阵,ScoreFunction用于计算两个词向量之间的语义相似度;
S33:通过GRU融合编码后的两个向量,得到融合表示G:
z=sigmoid(C·W1+T·W2+b)
G=z·C+(1-z)·T
其中,z是更新门,C是句向量通过内在注意力机制编码后的内容,T是目标词向量通过交互注意力机制编码后的内容,W1和W2为要训练的权重矩阵。
3.根据权利要求1所述的基于注意力机制的文本情感分析方法,其特征在于,所述步骤S4的具体过程是:
采用逐点的前馈网络(FFN)对句向量进行编码,其计算公式如下:
FFN(x)=ReLU(x·W1+b1)·W2+b2
其中x是步骤S3得到融合表示,W1和W2为要训练的权重矩阵,b1和b2为要训练的偏置值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811329085.2A CN109543180B (zh) | 2018-11-08 | 2018-11-08 | 一种基于注意力机制的文本情感分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811329085.2A CN109543180B (zh) | 2018-11-08 | 2018-11-08 | 一种基于注意力机制的文本情感分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109543180A CN109543180A (zh) | 2019-03-29 |
CN109543180B true CN109543180B (zh) | 2020-12-04 |
Family
ID=65846278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811329085.2A Active CN109543180B (zh) | 2018-11-08 | 2018-11-08 | 一种基于注意力机制的文本情感分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109543180B (zh) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109992668B (zh) * | 2019-04-04 | 2023-02-21 | 上海冰鉴信息科技有限公司 | 一种基于自注意力的企业舆情分析方法和装置 |
CN109948165B (zh) * | 2019-04-24 | 2023-04-25 | 吉林大学 | 基于混合注意力网络的细粒度情感极性预测方法 |
CN110134765B (zh) * | 2019-05-05 | 2021-06-29 | 杭州师范大学 | 一种基于情感分析的餐厅用户评论分析系统及方法 |
CN110083705B (zh) * | 2019-05-06 | 2021-11-02 | 电子科技大学 | 一种用于目标情感分类的多跳注意力深度模型、方法、存储介质和终端 |
CN110134789B (zh) * | 2019-05-17 | 2021-05-25 | 电子科技大学 | 一种引入多路选择融合机制的多标签长文本分类方法 |
CN110297889B (zh) * | 2019-06-28 | 2020-10-23 | 南京冰鉴信息科技有限公司 | 一种基于特征融合的企业情感倾向分析方法 |
CN110297907B (zh) * | 2019-06-28 | 2022-03-08 | 谭浩 | 生成访谈报告的方法、计算机可读存储介质和终端设备 |
CN110377740B (zh) * | 2019-07-22 | 2022-05-20 | 腾讯科技(深圳)有限公司 | 情感极性分析方法、装置、电子设备及存储介质 |
CN110390017B (zh) * | 2019-07-25 | 2022-12-27 | 中国民航大学 | 基于注意力门控卷积网络的目标情感分析方法及系统 |
CN110569508A (zh) * | 2019-09-10 | 2019-12-13 | 重庆邮电大学 | 融合词性和自注意力机制的情感倾向性分类方法及系统 |
CN110597961B (zh) * | 2019-09-18 | 2023-10-27 | 腾讯云计算(北京)有限责任公司 | 一种文本类目标注方法、装置、电子设备及存储介质 |
CN110704622A (zh) * | 2019-09-27 | 2020-01-17 | 北京明略软件系统有限公司 | 文本情感分类方法、装置及电子设备 |
CN110942831B (zh) * | 2019-11-26 | 2022-10-11 | 北京航空航天大学 | 基于自注意力机制的孕期数据建模方法 |
CN111144126A (zh) * | 2019-12-24 | 2020-05-12 | 北京三快在线科技有限公司 | 一种语义分析模型的训练方法、语义分析方法及装置 |
CN113095063A (zh) * | 2020-01-08 | 2021-07-09 | 中国科学院信息工程研究所 | 一种基于遮蔽语言模型的两阶段情感迁移方法和系统 |
CN111708864A (zh) * | 2020-06-11 | 2020-09-25 | 兰州理工大学 | 一种用户评论文本情感分析方法及装置 |
CN112100379B (zh) * | 2020-09-15 | 2023-07-28 | 北京百度网讯科技有限公司 | 用于处理数据的方法、装置、设备以及存储介质 |
CN112133304B (zh) * | 2020-09-18 | 2022-05-06 | 中科极限元(杭州)智能科技股份有限公司 | 基于前馈神经网络的低延时语音识别模型及训练方法 |
CN112231472B (zh) * | 2020-09-18 | 2022-07-29 | 昆明理工大学 | 融入领域术语词典的司法舆情敏感信息识别方法 |
CN112395832B (zh) * | 2020-11-17 | 2024-05-21 | 上海金桥信息股份有限公司 | 一种基于序列到序列的文本量化分析与生成方法及系统 |
CN112560432B (zh) * | 2020-12-11 | 2023-08-11 | 中南大学 | 基于图注意力网络的文本情感分析方法 |
CN112528168B (zh) * | 2020-12-23 | 2022-03-29 | 华南理工大学 | 基于可形变自注意力机制的社交网络文本情感分析方法 |
CN112732871B (zh) * | 2021-01-12 | 2023-04-28 | 上海畅圣计算机科技有限公司 | 一种机器人催收获取客户意向标签的多标签分类方法 |
CN112651242B (zh) * | 2021-01-20 | 2024-04-26 | 重庆大学 | 一种基于内外注意力机制和可变尺度卷积的文本分类方法 |
CN112784018A (zh) * | 2021-01-28 | 2021-05-11 | 新华智云科技有限公司 | 一种用于人物实体库的文本相似度实体消歧方法和系统 |
CN113096640A (zh) * | 2021-03-08 | 2021-07-09 | 北京达佳互联信息技术有限公司 | 一种语音合成方法、装置、电子设备及存储介质 |
CN113288163A (zh) * | 2021-06-04 | 2021-08-24 | 浙江理工大学 | 基于注意力机制的多特征融合心电信号分类模型建模方法 |
CN113377908B (zh) * | 2021-06-08 | 2022-06-28 | 四川大学 | 基于可学习多单词对打分器的方面级情感三元组抽取方法 |
CN114691858B (zh) * | 2022-03-15 | 2023-10-03 | 电子科技大学 | 一种基于改进的unilm摘要生成方法 |
CN117590944A (zh) * | 2023-11-28 | 2024-02-23 | 上海源庐加佳信息科技有限公司 | 实体人对象和数字虚拟人对象的绑定系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104731773A (zh) * | 2015-04-17 | 2015-06-24 | 深圳证券信息有限公司 | 文本情感分析方法及系统 |
WO2018085722A1 (en) * | 2016-11-04 | 2018-05-11 | Salesforce.Com, Inc. | Quasi-recurrent neural network |
CN108519890A (zh) * | 2018-04-08 | 2018-09-11 | 武汉大学 | 一种基于自注意力机制的鲁棒性代码摘要生成方法 |
CN108595601A (zh) * | 2018-04-20 | 2018-09-28 | 福州大学 | 一种融入Attention机制的长文本情感分析方法 |
CN108664632A (zh) * | 2018-05-15 | 2018-10-16 | 华南理工大学 | 一种基于卷积神经网络和注意力机制的文本情感分类算法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11222253B2 (en) * | 2016-11-03 | 2022-01-11 | Salesforce.Com, Inc. | Deep neural network model for processing data through multiple linguistic task hierarchies |
-
2018
- 2018-11-08 CN CN201811329085.2A patent/CN109543180B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104731773A (zh) * | 2015-04-17 | 2015-06-24 | 深圳证券信息有限公司 | 文本情感分析方法及系统 |
WO2018085722A1 (en) * | 2016-11-04 | 2018-05-11 | Salesforce.Com, Inc. | Quasi-recurrent neural network |
CN108519890A (zh) * | 2018-04-08 | 2018-09-11 | 武汉大学 | 一种基于自注意力机制的鲁棒性代码摘要生成方法 |
CN108595601A (zh) * | 2018-04-20 | 2018-09-28 | 福州大学 | 一种融入Attention机制的长文本情感分析方法 |
CN108664632A (zh) * | 2018-05-15 | 2018-10-16 | 华南理工大学 | 一种基于卷积神经网络和注意力机制的文本情感分类算法 |
Non-Patent Citations (2)
Title |
---|
Feature-enhanced attention network for target-dependent sentiment classification;Min Yang, QiangQu , XiaojunChen;《Neurocomputing》;20180504;91-97 * |
基于多注意力卷积神经网络的特定目标情感分析;梁斌等;《计算机研究与发展》;20170831;第54卷(第8期);1724-1735 * |
Also Published As
Publication number | Publication date |
---|---|
CN109543180A (zh) | 2019-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109543180B (zh) | 一种基于注意力机制的文本情感分析方法 | |
CN109284506B (zh) | 一种基于注意力卷积神经网络的用户评论情感分析系统及方法 | |
CN110298037B (zh) | 基于增强注意力机制的卷积神经网络匹配的文本识别方法 | |
CN110162749B (zh) | 信息提取方法、装置、计算机设备及计算机可读存储介质 | |
CN107358948B (zh) | 基于注意力模型的语言输入关联性检测方法 | |
CN109614471B (zh) | 一种基于生成式对抗网络的开放式问题自动生成方法 | |
CN111738003B (zh) | 命名实体识别模型训练方法、命名实体识别方法和介质 | |
CN108733792A (zh) | 一种实体关系抽取方法 | |
CN110879940B (zh) | 一种基于深度神经网络的机器翻译方法及系统 | |
CN111079409B (zh) | 一种利用上下文和方面记忆信息的情感分类方法 | |
CN110502626B (zh) | 一种基于卷积神经网络的方面级情感分析方法 | |
CN112667818B (zh) | 融合gcn与多粒度注意力的用户评论情感分析方法及系统 | |
CN111881677A (zh) | 基于深度学习模型的地址匹配算法 | |
CN114757182A (zh) | 一种改进训练方式的bert短文本情感分析方法 | |
CN112784532B (zh) | 用于短文本情感分类的多头注意力记忆系统 | |
CN112527966B (zh) | 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法 | |
CN111241807A (zh) | 一种基于知识引导注意力的机器阅读理解方法 | |
CN113705238B (zh) | 基于bert和方面特征定位模型的方面级情感分析方法及系统 | |
Zhang et al. | A BERT fine-tuning model for targeted sentiment analysis of Chinese online course reviews | |
CN116521882A (zh) | 基于知识图谱的领域长文本分类方法及系统 | |
CN111145914B (zh) | 一种确定肺癌临床病种库文本实体的方法及装置 | |
CN113094502A (zh) | 一种多粒度外卖用户评论情感分析方法 | |
CN114332519A (zh) | 一种基于外部三元组和抽象关系的图像描述生成方法 | |
CN113887836B (zh) | 一种融合事件环境信息的叙述性事件预测方法 | |
Huang | A CNN model for SMS spam detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |