CN111680154B - 一种基于深度学习的评论文本属性级情感分析方法 - Google Patents
一种基于深度学习的评论文本属性级情感分析方法 Download PDFInfo
- Publication number
- CN111680154B CN111680154B CN202010284879.2A CN202010284879A CN111680154B CN 111680154 B CN111680154 B CN 111680154B CN 202010284879 A CN202010284879 A CN 202010284879A CN 111680154 B CN111680154 B CN 111680154B
- Authority
- CN
- China
- Prior art keywords
- attribute
- text
- attention
- deep learning
- comment text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3335—Syntactic pre-processing, e.g. stopword elimination, stemming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
Abstract
本发明提出了一种基于深度学习的评论文本属性级情感分析方法,包括以下步骤:步骤A:获取公开的评论文本数据,例如某论坛某领域相关的评论文本数据等,形成原始数据集;步骤B:为原始数据集打上形如(属性类别,情感倾向)的二元组标签;步骤C:文本预处理及分词;步骤D:利用深度学习框架,采用新型自注意力融合网络,训练得到最终模型,以进行属性级情感分析。本发明通过新型自注意力融合网络有效融合了评论文本及其对应属性信息,更好地促进了两者之间的信息交互,有效提高了针对评论文本属性级情感倾向预测的准确率。并且本发明相比于一般基于RNN的深度学习解决方案,具有更短的模型训练迭代时间。
Description
技术领域
本发明涉及人工智能、深度学习技术领域,尤其涉及自然语言处理有关的研究和分析,具体涉及评论文本属性级情感分析。
背景技术
随着互联网技术的发展,顾客和零售商/生产者之间的互动方式已经发生了巨大的变化。现在,越来越多的公司倾向于收集顾客的反馈,比如评论,在线论坛讨论等,以改善客户体验、产品设计等等。然而,我们面临的一个主要挑战是如何从大量超载的信息中提取有用的信息。情感分析是解决上述问题的关键手段。情感分析可以为公司和客户提供很多有价值的信息。更进一步,一些公司不仅感兴趣用户评论对于给定产品的整体情感倾向,也希望知道用户对某一产品的某一特定属性的情感倾向。因此,针对评论文本的属性级情感分析问题便显得十分重要。
除了传统的机器学习方法,例如SVM,深度学习的发展为此类问题的分析提供了极大的帮助。现有的研究大多利用一些新兴的深度学习结构诸如LSTM、CNN以及注意力机制,并针对这一特定问题做出一定的修正,以解决评论文本的属性级情感分析问题。虽然现有的方法可以一定程度上更好地关注到句子中针对该特定属性的部分,以更好的进行属性级情感分析,然而现有的方法并没有很好的考虑评论文本信息及其对应属性信息的融合。
发明内容
为解决现有技术中存在的上述问题,本发明提供了一种基于深度学习的评论文本属性级情感分析方法。
本发明提出的基于深度学习的评论文本属性级情感分析方法,包括以下步骤:
步骤A:获取公开的评论文本数据,形成原始数据集;
步骤B:为所述原始数据集打上二元组标签;所述二元组标签为(属性类别,情感倾向);
步骤C:文本预处理及分词;
步骤D:利用深度学习框架,采用新型自注意力融合网络,训练得到最终模型,以进行属性级情感分析。
本发明步骤B包括:
步骤B1:针对目标文本预先定义属性类别,情感倾向定义包括三种:正向情感、负向情感和中立情感;
步骤B2:将所述原始数据集逐一打上二元组标签。
本发明步骤C中,文本预处理包括特殊符号去除及停用词去除;分词采用按“字”为单位分隔。
本发明步骤D中,所述新型自注意力融合网络将文本及其对应的属性标签的词向量作为输入,得到最终文本针对该属性的情感倾向预测结果概率分布。
本发明步骤D包括:
步骤D1:新型自注意力融合网络首先由两个多头自注意力模块分别对文本及其对应属性标签编码,分别得到文本特征表示及对应属性特征表示;
步骤D2:将得到的文本特征表示及对应属性特征表示作为输入送入第三个多头注意力模块得到文本-属性融合特征表示;
步骤D3:将文本-属性融合特征表示作为输入送入二维卷积及最大池化模块;
步骤D4:将二维卷积及最大池化模块计算得到的结果送入全连接层并利用softmax函数进行归一化操作得到最终文本针对该属性的情感倾向预测结果概率分布。
本发明步骤D中,多头注意力机制输入包括由n个查询向量组成的矩阵Q∈Rn*d、由n个键向量组成的矩阵K∈Rn*d和由n个值向量组成的矩阵V∈Rn*d;其中d为网络中的隐层向量维度,n为文本句子的长度;三个矩阵按如下公式计算“标度点乘注意力”:
本发明中,采用H个头部注意力,即线性映射Q、K、V三个矩阵H次;每一个映射后的Q、K、V矩阵都被用于计算“标度点乘注意力”以获得H个头部注意力;最后拼接H个头部注意力,并且将拼接后的向量线性映射为向量o:
o=Concat(head1,…,headH)Wo
本发明步骤D中,参数化位置向量,将所述位置向量与文本及其属性词向量相加得到最终输入向量。
本发明步骤D中,产生文本-属性融合特征表示的第三个多头注意力模块的键向量、值向量输入均为文本特征表示;该模块的查询向量输入为属性特征表示。
本发明的有益效果为:相比于现有方法,本发明通过新型自注意力融合网络有效融合了评论文本及其对应属性信息,更好地促进了两者之间的信息交互,有效提高了针对评论文本属性级情感倾向预测的准确率。并且本发明相比于一般基于RNN的深度学习解决方案,具有更短的模型训练迭代时间。
附图说明
图1为本发明整体流程图。
图2为新型自注意力融合网络结构图。
具体实施方式
结合以下具体实施例,对发明作进一步的详细说明。实施本发明的过程、条件、实验方法等,除以下专门提及的内容之外,均为本领域的普遍知识和公知常识,本发明没有特别限制内容。
本发明提出的基于深度学习的评论文本属性级情感分析方法,包括以下步骤:
步骤A:获取公开的评论文本数据,例如某论坛某领域相关的评论文本数据等,形成原始数据集。
步骤B:为原始数据集打上形如(属性类别,情感倾向)的二元组标签。
步骤C:文本预处理及分词。
步骤D:利用深度学习框架,采用新型自注意力融合网络,训练得到最终模型,以进行属性级情感分析。
本发明步骤B中,属性级情感分析需要首先针对目标文本预先定义属性类别。情感倾向一般定义为三种:正向情感、负向情感和中立情感。之后将原始文本数据集逐一打上形如(属性类别,情感倾向)的二元组标签。
本发明步骤C中,文本预处理主要包括特殊符号去除及停用词去除。分词采用按“字”为单位分隔。
本发明步骤D中,新型自注意力融合网络的整体结构图如图1所示。
本发明步骤D中,新型自注意力融合网络将文本及其对应的属性标签的词向量作为输入。新型自注意力融合网络首先由两个多头自注意力模块分别对文本及其对应属性标签编码,分别得到文本特征表示及对应属性特征表示。之后将得到的文本特征表示及对应属性特征表示作为输入送入第三个多头注意力模块得到文本-属性融合特征表示。接下来将文本-属性融合特征表示作为输入送入二维卷积及最大池化模块。最后将二维卷积及最大池化模块计算得到的结果送入全连接层并利用softmax函数进行归一化操作得到最终文本针对该属性的情感倾向预测结果概率分布。
本发明步骤D中,多头注意力机制输入包括由n个查询向量组成的矩阵Q∈Rn*d、由n个键向量组成的矩阵K∈Rn*d和由n个值向量组成的矩阵V∈Rn*d。其中d为网络中的隐层向量维度,n为文本句子的长度。这三个矩阵按如下公式计算“标度点乘注意力”:
此外,为了提升效果,提高效率,采用H个头部注意力,即线性映射Q、K、V三个矩阵H次。每一个映射后的Q、K、V矩阵都被用于计算“标度点乘注意力”以获得H个头部注意力。最后拼接这H个头部注意力,并且将拼接后的向量线性映射为向量o。
o=Concat(head1,…,headH)Wo
本发明步骤D中,自注意力机制没有考虑位置信息,故参数化位置向量,将此位置向量与文本及其属性词向量相加得到最终输入向量。
本发明步骤D中,产生文本-属性融合特征表示的第三个多头注意力模块的键向量、值向量输入均为文本特征表示。该模块的查询向量输入为属性特征表示。
实施例1
本实施例所述基于深度学习的评论文本属性级情感分析方法,包括以下步骤:
步骤A:获取某论坛汽车领域在线用户评论文本数据,形成原始数据集。
步骤B:根据领域内已有知识,人为确定版本、车身颜色、动力系统等二十种属性类别。为原始数据集逐一打上形如(属性类别,情感倾向)的二元组标签。
步骤C:文本预处理及分词。文本预处理主要包括例如“@”、“&”等特殊符号的去除,以及例如“的”、“啊”等停用词的去除。分词采用按“字”为单位的分隔方式。
步骤D:利用深度学习框架tensorflow,基于主机设备内存32G,GPU:NVIDIA GTX1080Ti,采用新型自注意力融合网络编写深度学习代码,并训练得到最终模型,以进行属性级情感分析。
本发明未尽事宜为公知技术。
上述实施例只为说明本发明的技术构思及特点,其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施,并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰,都应涵盖在本发明的保护范围之内。
Claims (4)
1.一种基于深度学习的评论文本属性级情感分析方法,其特征在于,包括以下步骤:
步骤A:获取公开的评论文本数据,形成原始数据集;
步骤B:为所述原始数据集打上二元组标签;所述二元组标签为(属性类别,情感倾向);
步骤C:文本预处理及分词;
步骤D:利用深度学习框架,采用新型自注意力融合网络,训练得到最终模型,以进行属性级情感分析;步骤D包括:
步骤D1:新型自注意力融合网络首先由两个多头自注意力模块分别对文本及其对应属性标签编码,分别得到文本特征表示及对应属性特征表示;其中,参数化位置向量,将所述位置向量与文本及其属性词向量相加得到输入向量;
步骤D2:将得到的文本特征表示及对应属性特征表示作为输入送入第三个多头注意力模块得到文本-属性融合特征表示;
步骤D3:将文本-属性融合特征表示作为输入送入二维卷积及最大池化模块;
步骤D4:将二维卷积及最大池化模块计算得到的结果送入全连接层并利用softmax函数进行归一化操作得到最终文本针对该属性的情感倾向预测结果概率分布;
步骤D中,多头注意力机制输入包括由n个查询向量组成的矩阵Q∈Rn*d、由n个键向量组成的矩阵K∈Rn*d和由n个值向量组成的矩阵V∈Rn*d;其中d为网络中的隐层向量维度,n为文本句子的长度;三个矩阵按如下公式计算“标度点乘注意力”:
采用H个头部注意力,即线性映射Q、K、V三个矩阵H次;每一个映射后的Q、K、V矩阵都被用于计算“标度点乘注意力”以获得H个头部注意力;最后拼接H个头部注意力,并且将拼接后的向量线性映射为向量o:
o=Concat(head1,…,headH)Wo
步骤D中,产生文本-属性融合特征表示的第三个多头注意力模块的键向量、值向量输入均为文本特征表示;该模块的查询向量输入为属性特征表示。
2.如权利要求1所述的基于深度学习的评论文本属性级情感分析方法,其特征在于,步骤B包括:
步骤B1:针对目标文本预先定义属性类别,情感倾向定义包括三种:正向情感、负向情感和中立情感;
步骤B2:将所述原始数据集逐一打上二元组标签。
3.如权利要求1所述的基于深度学习的评论文本属性级情感分析方法,其特征在于,步骤C中,文本预处理包括特殊符号去除及停用词去除;分词采用按“字”为单位分隔。
4.如权利要求1所述的基于深度学习的评论文本属性级情感分析方法,其特征在于,步骤D中,所述新型自注意力融合网络将文本及其对应的属性标签的词向量作为输入,得到最终文本针对该属性的情感倾向预测结果概率分布。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010284879.2A CN111680154B (zh) | 2020-04-13 | 2020-04-13 | 一种基于深度学习的评论文本属性级情感分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010284879.2A CN111680154B (zh) | 2020-04-13 | 2020-04-13 | 一种基于深度学习的评论文本属性级情感分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111680154A CN111680154A (zh) | 2020-09-18 |
CN111680154B true CN111680154B (zh) | 2023-06-27 |
Family
ID=72433332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010284879.2A Active CN111680154B (zh) | 2020-04-13 | 2020-04-13 | 一种基于深度学习的评论文本属性级情感分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111680154B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112800184B (zh) * | 2021-01-13 | 2021-08-06 | 华东师范大学 | 基于Target-Aspect-Opinion联合抽取的短文本评论情感分析方法 |
CN112765351A (zh) * | 2021-01-18 | 2021-05-07 | 上海交通大学宁波人工智能研究院 | 一种融合深度学习的学生文本反馈细粒度分析装置与方法 |
CN112926336A (zh) * | 2021-02-05 | 2021-06-08 | 昆明理工大学 | 基于正文评论交互式注意力的微博案件方面级观点识别方法 |
CN113076753A (zh) * | 2021-03-03 | 2021-07-06 | 山东英信计算机技术有限公司 | 一种情感分析模型训练优化方法、系统和存储介质 |
CN114048288A (zh) * | 2021-11-10 | 2022-02-15 | 北京明略软件系统有限公司 | 细粒度情感分析方法、系统、计算机设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107066445A (zh) * | 2017-04-11 | 2017-08-18 | 华东师范大学 | 一种属性情感词向量的深度学习方法 |
CN110532380A (zh) * | 2019-07-12 | 2019-12-03 | 杭州电子科技大学 | 一种基于记忆网络的文本情感分类方法 |
CN110569508A (zh) * | 2019-09-10 | 2019-12-13 | 重庆邮电大学 | 融合词性和自注意力机制的情感倾向性分类方法及系统 |
CN110826336A (zh) * | 2019-09-18 | 2020-02-21 | 华南师范大学 | 一种情感分类方法、系统、存储介质及设备 |
-
2020
- 2020-04-13 CN CN202010284879.2A patent/CN111680154B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107066445A (zh) * | 2017-04-11 | 2017-08-18 | 华东师范大学 | 一种属性情感词向量的深度学习方法 |
CN110532380A (zh) * | 2019-07-12 | 2019-12-03 | 杭州电子科技大学 | 一种基于记忆网络的文本情感分类方法 |
CN110569508A (zh) * | 2019-09-10 | 2019-12-13 | 重庆邮电大学 | 融合词性和自注意力机制的情感倾向性分类方法及系统 |
CN110826336A (zh) * | 2019-09-18 | 2020-02-21 | 华南师范大学 | 一种情感分类方法、系统、存储介质及设备 |
Non-Patent Citations (3)
Title |
---|
刘娇 ; 李艳玲 ; 林民 ; .人机对话系统中意图识别方法综述.计算机工程与应用.2019,(12),全文. * |
张新生 ; 高腾 ; .多头注意力记忆网络的对象级情感分类.模式识别与人工智能.2019,(第11期),全文. * |
贾红雨 ; 王宇涵 ; 丛日晴 ; 林岩 ; .结合自注意力机制的神经网络文本分类算法研究.计算机应用与软件.2020,(02),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111680154A (zh) | 2020-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111680154B (zh) | 一种基于深度学习的评论文本属性级情感分析方法 | |
CN109857990B (zh) | 一种基于文档结构与深度学习的金融类公告信息抽取方法 | |
Shi et al. | Deep adaptively-enhanced hashing with discriminative similarity guidance for unsupervised cross-modal retrieval | |
CN110705296A (zh) | 一种基于机器学习和深度学习的中文自然语言处理工具系统 | |
CN116450796B (zh) | 一种智能问答模型构建方法及设备 | |
CN111461157A (zh) | 一种基于自学习的跨模态哈希检索方法 | |
CN111259153B (zh) | 一种完全注意力机制的属性级情感分析方法 | |
CN113672718B (zh) | 基于特征匹配和领域自适应的对话意图识别方法及系统 | |
CN110046356B (zh) | 标签嵌入的微博文本情绪多标签分类方法 | |
CN113987169A (zh) | 基于语义块的文本摘要生成方法、装置、设备及存储介质 | |
CN112800184B (zh) | 基于Target-Aspect-Opinion联合抽取的短文本评论情感分析方法 | |
CN116070602B (zh) | 一种pdf文档智能标注与抽取方法 | |
CN115688752A (zh) | 一种基于多语义特征的知识抽取方法 | |
CN115526236A (zh) | 一种基于多模态对比学习的文本网络图分类方法 | |
CN114201605A (zh) | 一种基于联合属性建模的图像情感分析方法 | |
CN114154504A (zh) | 一种基于多信息增强的中文命名实体识别算法 | |
CN109446523A (zh) | 基于BiLSTM和条件随机场的实体属性抽取模型 | |
CN114020900B (zh) | 基于融合空间位置注意力机制的图表英语摘要生成方法 | |
CN115600605A (zh) | 一种中文实体关系联合抽取方法、系统、设备及存储介质 | |
CN115129807A (zh) | 基于自注意的社交媒体主题评论的细粒度分类方法及系统 | |
Wen et al. | A sequence-to-sequence framework based on transformer with masked language model for optical music recognition | |
CN114138971A (zh) | 一种基于遗传算法的极大多标签分类方法 | |
CN116975292A (zh) | 信息识别方法、装置、电子设备、存储介质及程序产品 | |
Shekhar et al. | An effective bi-LSTM word embedding system for analysis and identification of language in code-mixed social media text in English and Roman Hindi | |
CN117034948A (zh) | 基于多特征自适应融合的段落识别方法、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |