CN112256866B - 一种基于深度学习的文本细粒度情感分析算法 - Google Patents

一种基于深度学习的文本细粒度情感分析算法 Download PDF

Info

Publication number
CN112256866B
CN112256866B CN202011027335.4A CN202011027335A CN112256866B CN 112256866 B CN112256866 B CN 112256866B CN 202011027335 A CN202011027335 A CN 202011027335A CN 112256866 B CN112256866 B CN 112256866B
Authority
CN
China
Prior art keywords
text
attention
target
word
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011027335.4A
Other languages
English (en)
Other versions
CN112256866A (zh
Inventor
韩东红
朱帅伟
李婧
吴刚
乔百友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN202011027335.4A priority Critical patent/CN112256866B/zh
Publication of CN112256866A publication Critical patent/CN112256866A/zh
Application granted granted Critical
Publication of CN112256866B publication Critical patent/CN112256866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了一种基于深度学习的文本细粒度情感分析方法，包括如下步骤：基于辅助学习和注意力机制的AL‑ATT模型和基于图卷积网络与注意力机制的GCN‑ATT模型；基于辅助学习和注意力机制的AL‑ATT模型包括如下步骤：数据预处理—注意力嵌入模块—辅助学习模块—交互注意力模块—输出模块—正则化约束；相比于依赖语言学知识和人工特征提取的基于规则和机器学习方法，使用深度学习不需要人工的选择特征也不需要依赖大量的特征工程，它可以很好的处理高维的输入数据，可以自动学习文本中的特征，从而对文本向量实现进行准确的分类。

Description

一种基于深度学习的文本细粒度情感分析算法
技术领域
本发明涉及自然语言处理中检测文本目标实体情感极性领域，尤其涉及一种基于深度学习的文本细粒度情感分析算法。
背景技术
现今社会，网络越来越便利，移动端越来越普及，各大社交网络平台蓬勃发展，人们愿意随时随地在各大平台上发表自己对于某件事的观点，表达自己情绪，这使社交网络上积累了大量的情感数据。较为活跃的社交平台包括国内的贴吧，论坛，朋友圈，微博，国外的Twitter，Instagram，Facebook等等。随着这些网络文本评论数据的不断增加，这些内容包含大量的有用的信息，通过对这些信息进行主观的情感分析，在诸多领域，例如舆情分析、推荐系统、电子商务等有相当大意义，文本情感分析基于处理文本的粒度不同，可以分为篇章级、段落级、句子级、短语级、词语级等几个层次，当前的情感分析研究大多是粗粒度的，即模型只得出一个整体的情感极性，然而，随着文本内容的复杂性和用户的需求逐渐增加，粗粒度的情感分析已不能满足社会需求；
文本细粒度情感分析，又称特定目标或情感实体的情感分析，旨在识别每个句子中各个目标或情感实体的情感极性，如“这个笔记本电脑CPU性能很强，但是屏幕分辨率不是很好”这条评论，对于情感实体“CPU”的情感极性是积极的，而对情感实体“屏幕分辨率”的情感极性是消极的，对于这样的文本，如果使用粗粒度情感分析，可能会得到中性情感的结论，这没有任何参考价值，甚至会对用户产生误导，所以，细粒度情感分析有着重要意义，在电子商务领域，可以通过用户对商品各个方面的评论信息进行情感分析，给其他用户提供一个参考依据，此外，厂家也可通过情感分析所得信息对商品进行针对性改进，得到更好的收益，在舆情分析方面，政府可以通过对网络平台上用户讨论的热门话题进行情感分析，了解民众反应，有利于政府做出应对措施。
现有技术的问题：细粒度情感分析在电子商务，舆情分析，心理健康等领域有着重要的理论和应用价值，在现有的基于深度学习的细粒度情感分析研究中，仍存在难以充分挖掘与情感实体情感极性相关的信息、忽略句子中各个情感实体之间的联系等问题。
发明内容
本发明的目的在于提供一种基于深度学习的文本细粒度情感分析算法，以解决上述技术问题。
本发明为解决上述技术问题，采用以下技术方案来实现：
一种基于深度学习的文本细粒度情感分析算法，其特征在于：包括如下步骤：基于辅助学习和注意力机制的AL-ATT模型和基于图卷积网络与注意力机制的GCN-ATT模型；
基于辅助学习和注意力机制的AL-ATT模型包括如下步骤：数据预处理-注意力嵌入模块-辅助学习模块-交互注意力模块-输出模块-正则化约束；
基于图卷积网络与注意力机制的GCN-ATT模型包括如下步骤：数据预处理-输入嵌入Bi-GRU模块-注意力嵌入模块-图卷积网络模块-输出模块与正则化约束；
辅助学习模块包括以下步骤：
S1、先将上下文或者目标项的词性映射为词性向量epos，并通过Glove预训练模型得到的词向量eG，将两者拼接得到i＝[epos；eG]作为辅助学习层的输入；
S2、将i输入到Bi-LSTM中得到前向隐含向量
Figure GDA0003180797520000021
和后向隐含向量
Figure GDA0003180797520000022
将
Figure GDA0003180797520000023
和
Figure GDA0003180797520000024
拼接得到最后的上下文隐含表示
Figure GDA0003180797520000025
S3、将辅助信息Haux与注意力嵌入模块得到的ht与hc加权融合得到目标的隐含向量表示Ht和文本隐含向量表示Hc；
图卷积网络模块包括以下步骤：
S1、构造一个图来表示一个句子中多个情感实体的情感依赖关系，该图中每个节点表示一个情感实体，每条边表示的是情感实体之间的情感依赖关系，节点在GCN中对应于情感实体表示s＝[x1，x2，...，xK]；
S2、使用图卷积网络将图中节点与其邻接节点的相关信息表示一个新的向量表示，连接多个GCN层，最终使每个节点表示包含其他节点的信息，在每个GCN层中，都将上一层的节点向量表示作为输入，并得到新的节点表示，即
Figure GDA0003180797520000031
其中，l表示层数，σ表示RELU激活函数。
优选的，所述基于辅助学习和注意力机制的AL-ATT模型中的数据预处理包括：
S1、根据xml文件中的标签“<text>”、“<aspectCategory>”等，提取出模型训练需要的文本内容，主要包括每条句子、句子包含的目标项以及对应目标项的情感极性；
S2、利用步骤S1的结果，以空格或标点符号进行分词；
S3、采用的工具是Python的自然语言处理库NLTK，通过其提供的英文停用词词典来去停用词；
S4、对分词后的每一个词标注正确词性，预处理后文本标记为
Figure GDA0003180797520000032
目标实体标记为
Figure GDA0003180797520000033
优选的，所述基于辅助学习和注意力机制的AL-ATT模型中的注意力嵌入模块包括：
S1、通过BERT模型将模型的文本输入sc，目标实体st转换为词向量表示即
Figure GDA0003180797520000034
目标实体
Figure GDA0003180797520000035
S2、将多头注意力机制应用于文本sc和st后，可以得到上下文词语义表示的集合c＝{c1，c2，…，cn}以及目标中每个词与上下文交互后的表示集合t＝{t1，t2，…，tm}；
S3、将c和t输入到两个全连接层中，最终得到注意嵌入层隐含表示
Figure GDA0003180797520000036
和
Figure GDA0003180797520000037
优选的，所述基于辅助学习和注意力机制的AL-ATT模型中的交互注意力模块包括：
S1、双向注意力机制通过Ht和Hc得到一个相似度矩阵M∈Rn×m，从Context-to-Target和Target-to-Context两个方向来计算文本的注意力向量表示mc和目标的注意力向量表示mt；
S2、平均池化上下文的词嵌入，然后利用其与目标项表示Ht进行向量运算，为目标项中每个词嵌入分配注意力权重，得到包含情感依赖信息的目标项嵌入表示nt；
S3、平均池化特定目标项的词嵌入，然后利用其与上下文的词嵌入表示Hc进行向量运算，得到含有情感依赖信息的上下文词嵌入nc。
优选的，所述基于辅助学习和注意力机制的AL-ATT模型中的输出模块包括：交互注意力模块得到的注意力向量mc和mt，以及上下文表示nc和目标项表示nt，将这四个向量结合在一起作为最后的向量表示O＝[mc；mt；nc；nt]，通过softmax层预测给定目标项的情感极性，即y＝softmax(Wo*O+bo)。
优选的，所述基于辅助学习和注意力机制的AL-ATT模型中的正则化约束包括：在交叉熵损失中引入一个标签平滑正则项，对于每个样本x，其真实标签分布为p(k|x)，为了避免模型过于自信，引入一个独立于样本的分布u(k)和平滑项参数λ，使用q(k|x)＝(1-λ)p(k|x)+λu(x)来代替标签分布p(k|x)，这里分布u(k)使用均匀分布，即u(k)＝1/c，c为情感类别个数，则本模型的损失函数计算公式为
Figure GDA0003180797520000041
其中，y是样本真实标签的One-Hot向量，μ是L2正则化是系数，Θ是参数集合，在训练时采用随机梯度下降的优化算法方法Adam进行参数更新，并使用dropout机制来防止过拟合。
优选的，所述基于图卷积网络与注意力机制的GCN-ATT模型中的数据预处理包括有：
S1、根据xml文件中的标签“<text>”、“<aspectCategory>”等，提取出模型训练需要的文本内容，主要包括每条句子、句子包含的目标项以及对应目标项的情感极性；
S2、利用步骤S1的的结果，以空格或标点符号进行分词；
S3、采用的工具是Python的自然语言处理库NLTK，通过其提供的英文停用词词典来去停用词；
S4、对分词后的每一个词标注正确词性。预处理后文本标记为c＝{w1，w2，...，wN}，其中包括k个目标项，即ti＝{t1，t2，...，tk}，一个目标可包括多个词ti＝{wi1，wi2，...，wiM}，其中i表示句子中第i个目标实体。
优选的，所述基于图卷积网络与注意力机制的GCN-ATT模型中的输入嵌入Bi-GRU模块包括有：
S1、该模型使用预训练的BERT模型将文本c与ti转换为词向量表示，c＝{e1，e2，...，eN}，ti＝{ei1，ei2，…，eiM}，ei，
Figure GDA0003180797520000051
demd为词向量维度；
S2、将每个目标项ti输入到Bi-GRU得到前向隐含表示
Figure GDA0003180797520000052
和后向隐含表示
Figure GDA0003180797520000053
dhid是隐含单元数量，将
Figure GDA0003180797520000054
和
Figure GDA0003180797520000055
拼接在一起，得到最后的隐含表示
Figure GDA0003180797520000056
S3、步骤与S1相似，输入上下文表示c到Bi-GRU获取句子的文本的隐含表示
Figure GDA0003180797520000057
S4、引入位置权重
Figure GDA0003180797520000058
其由句子中单词与特定目标的距离决定，L为单词与目标的距离，将得到的每个词的位置权重与其上下文隐含表示hc进行加权得到每个目标项包含上下文位置信息的表示
Figure GDA0003180797520000059
优选的，所述基于图卷积网络与注意力机制的GCN-ATT模型中的注意力嵌入模块包括有：
S1、句子到情感实体方向，文本向量hc通过平均池化得到的
Figure GDA00031807975200000510
通过
Figure GDA00031807975200000511
和隐含向量
Figure GDA00031807975200000512
计算得到情感实体中每一个词的权重
Figure GDA00031807975200000513
再通过
Figure GDA00031807975200000514
来对情感实体的各个词
Figure GDA00031807975200000515
进行加权，得到新的情感实体向量表示
Figure GDA00031807975200000516
S2、情感实体到句子方向意在为情感实体上下文单词分配不同的注意力权重，计算思想与句子到情感实体的一致，得到了
Figure GDA00031807975200000517
在后文表示为xi，一个句子中有K个情感实体，则会得到K个基于特定情感实体的句子向量表示s＝[x1，x2，…，xK]，s作为GCN的输入。
优选的，所述基于图卷积网络与注意力机制的GCN-ATT模型中的输出模块与正则化约束包括有：
S1、
Figure GDA00031807975200000518
为某个句子中第i个情感实体，然后将其输入一个全连接网络中，得到其情感极性，
Figure GDA0003180797520000061
S2、模型使用的损失函数是带有L2正则化的交叉熵损失函数，公式为
Figure GDA0003180797520000062
其中，qij为第i个情感实体的真实标签，pij为
Figure GDA0003180797520000063
属于每个情感极性的几率，
Figure GDA0003180797520000064
本发明的有益效果是：
本发明细粒度情感分类属于情感分类中的更加细化分类任务，自从它被提出以来，引起了许多国内外学者的研究，研究方法主要包括传统的机器学习方法和神经网络方法，传统的机器学习方法包括支持向量机，最大熵等等，相比于依赖语言学知识和人工特征提取的基于规则和机器学习方法，使用深度学习不需要人工的选择特征也不需要依赖大量的特征工程，它可以很好的处理高维的输入数据，可以自动学习文本中的特征，从而对文本向量实现进行准确的分类。
附图说明
图1为本发明一种基于深度学习的文本细粒度情感分析算法的AL-ATT模型总体结构图；
图2为本发明词性维度大小对模型准确率的影响示意图；
图3为本发明辅助学习模块连接参数对模型准确率的影响示意图；
图4为本发明GCN-ATT模型总体结构示意图；
图5为本发明GCN层数在Twitter数据集下的对模型的影响结构图；
图6为本发明GCN层数在Restaurant数据集下的对模型的影响结构图；
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施例和附图，进一步阐述本发明，但下述实施例仅仅为本发明的优选实施例，并非全部。基于实施方式中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得其它实施例，都属于本发明的保护范围。
下面结合附图1-6描述本发明的具体实施例。
实施例1
数据集：AL-ATT模型使用的数据集为国际语义测评比赛SemEval-2014中Task4中的数据集，该数据集由餐饮(Restaurant)和笔记本(Laptop)评论两部分组成，该数据集的具体信息如表1所示：
Datasets Positive Neutral Negative
Restaurant-Train 2164 807 637
Restaurant-Test 728 196 196
Laptop-Train 994 870 464
Laptop-Test 341 128 169
表1 SemEval-2014数据集
原始数据集包含四种情感，分别为积极(Positive)、中性(Neural)、消极(Negative)和矛盾(conflict)。然而，conflict情感同时包含积极和消极，且该类别包含的样本数量比较少，为了保持整个数据集的平衡，对conflict这种情感类别的样本不予考虑，只保留其他三种情感类别的样本。
GCN-ATT模型除了SemEval-2014Task4的数据集外还使用了由Dong等人收集到的Twitter数据集，该数据集的具体的信息如表2所示：
Positive Neutral Negative
Twitter-Train 1561 3127 1560
Twitter-Test 173 346 173
表2 Twitter数据集
效果评估：评估指标包括准确率和F1值，定义如下：
Figure GDA0003180797520000071
Figure GDA0003180797520000072
Figure GDA0003180797520000081
Figure GDA0003180797520000082
超参数与训练：AL-ATT模型中超参数设置的详细信息如表3所示：
Figure GDA0003180797520000083
表3 实验参数设置
图2给出了词性维度大小对模型准确率的影响。
图3给出了辅助学习模块连接参数对模型准确率的影响。
实验结果表明，当词性纬度值为100时，模型在预测情感类别时，能取得最好的结果，准确率最高。当连接权重值为0.4时，模型在两数据集上都取得较高的准确率。因此，模型选择的连接权值α为0.4。
GCN-ATT模型中超参数设置的详细信息如表4所示：
Figure GDA0003180797520000084
Figure GDA0003180797520000091
表4 实验参数设置
图5给出了GCN层数在Twitter数据集下的对模型F1值和准确率的影响
图6给出了GCN层数在Restaurant数据集下的对模型F1值和准确率的影响
图5可以看出当层数为2时，准确率相对其他几层要高。图6可以看出，随着GCN层数的增加，准确率呈现下降的趋势，当GCN层数为2时，准确率最高，因此本章模型GCN层数设置为2。
不同模型间细粒度情感分类的比较：
AL-ATT模型：
我们选择了几种情感分类算法作为基线，包括传统的机器学习方法和最先进的神经网络结构。实验表明，AL-ATT在细粒度情感分类上表现比较优秀。AL-ATT模型对比实验的结果列于表5：
Figure GDA0003180797520000092
Figure GDA0003180797520000101
表5 不同模型实验结果对比
根据表5，我们的模型在SemEval-2014 Task4测试数据集上具有最好的性能。与LSTM模型和CNN网络相比，附加LSTM的GCN网络能更有效地捕捉博客中的上下文情感信息，保留句子的句法信息。依存句法分析树是在大量语料的基础上，采用深度学习的方法训练出来的，它为语言结构提供了大量有意义的信息。基于语法的GCN网络可以利用复杂的依赖分析技术。
模块有效性验证：
1、为了验证模型中辅助学习模块的有效性，本节将使用不包含辅助学习模块的模型和AL-ATT模型进行对比，实验结果如表6所示：
Figure GDA0003180797520000102
表6 辅助学习模块的影响
由表6可得在两个数据集上，在没有辅助学习模块的情况下，无论是准确率还是Macro-F1值，都没有加上辅助学习模块效果好。由此可见，辅助学习模块确实能提高特定目标情感分析任务的情感极性预测效果。
2、为了验证交互注意力模块的有效性，使用不包含无交互注意力模块的模型和AL-ATT模型进行对比实验，实验结果如表7所示：
Figure GDA0003180797520000111
表7 交互注意力模块的影响
由表7可以看出AL-ATT模型的准确率和F1值在Restaurant和Laptop数据集上分别都有很大的提升。由此可见，本模型交互注意力模块确实能提高特定目标情感分析任务的情感极性预测效果。
3、为了验证除注意力嵌入模块之外的模块的有效性，接下来将使用只包含注意力嵌入模块的模型和AL-ATT模型进行对比，实验结果如表8所示：
Figure GDA0003180797520000112
表8 辅助学习模块和交互注意力模块的影响
由表8可以看出AL-ATT模型的准确率在Restaurant数据集和Laptop数据集上分别提升了3.92％和4.70％，F1值在Restaurant数据集和Laptop数据集上分别提升了6.17％和4.61％。由此可见，本模型提出的交互注意力模块和辅助学习模块确实能提高特定目标情感分析任务的情感极性预测效果。
GCN-ATT模型：
对比实验的结果列于表9：
Figure GDA0003180797520000121
表9 不同模型实验结果对比
从表9的结果可以看出，GCN-ATT模型与前八个模型相比，在这三个数据集上无论是准确率还是Macro-F1值都有提升。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种基于深度学习的文本细粒度情感分析算法，其特征在于：包括如下步骤：基于辅助学习和注意力机制的AL-ATT模型和基于图卷积网络与注意力机制的GCN-ATT模型；
基于辅助学习和注意力机制的AL-ATT模型包括如下步骤：数据预处理—注意力嵌入模块—辅助学习模块—交互注意力模块—输出模块—正则化约束；
基于图卷积网络与注意力机制的GCN-ATT模型包括如下步骤：数据预处理—输入嵌入Bi-GRU模块—注意力嵌入模块—图卷积网络模块—输出模块与正则化约束；
辅助学习模块包括以下步骤：
S1、先将上下文或者目标项的词性映射为词性向量epos，并通过Glove预训练模型得到的词向量eG，将两者拼接得到i＝[epos；eG]作为辅助学习层的输入；
S2、将i输入到Bi-LSTM中得到前向隐含向量
Figure FDA0003180797510000011
和后向隐含向量
Figure FDA0003180797510000012
将
Figure FDA0003180797510000013
和
Figure FDA0003180797510000014
拼接得到最后的上下文隐含表示
Figure FDA0003180797510000015
S3、将辅助信息Haux与注意力嵌入模块得到的ht与hc加权融合得到目标的隐含向量表示Ht和文本隐含向量表示Hc；
图卷积网络模块包括以下步骤：
S1、构造一个图来表示一个句子中多个情感实体的情感依赖关系，该图中每个节点表示一个情感实体，每条边表示的是情感实体之间的情感依赖关系，节点在GCN中对应于情感实体表示s＝[x1，x2，...，xK]；
S2、使用图卷积网络将图中节点与其邻接节点的相关信息表示一个新的向量表示，连接多个GCN层，最终使每个节点表示包含其他节点的信息，在每个GCN层中，都将上一层的节点向量表示作为输入，并得到新的节点表示，即
Figure FDA0003180797510000016
其中，l表示层数，σ表示RELU激活函数。
2.根据权利要求1所述的一种基于深度学习的文本细粒度情感分析算法，其特征在于所述基于辅助学习和注意力机制的AL-ATT模型中的数据预处理包括：
S1、根据xml文件中的标签“<text>”、“<aspectCategory>”，提取出模型训练需要的文本内容，主要包括每条句子、句子包含的目标项以及对应目标项的情感极性；
S2、利用步骤S1的结果，以空格或标点符号进行分词；
S3、采用的工具是Python的自然语言处理库NLTK，通过其提供的英文停用词词典来去停用词；
S4、对分词后的每一个词标注正确词性，预处理后文本标记为
Figure FDA0003180797510000021
目标实体标记为
Figure FDA0003180797510000022
3.根据权利要求1所述的一种基于深度学习的文本细粒度情感分析算法，其特征在于所述基于辅助学习和注意力机制的AL-ATT模型中的注意力嵌入模块包括：
S1、通过BERT模型将模型的文本输入sc，目标实体st转换为词向量表示即
Figure FDA0003180797510000023
目标实体
Figure FDA0003180797510000024
S2、将多头注意力机制应用于文本sc和st后，可以得到上下文词语义表示的集合c＝{c1，c2，…，cn}以及目标中每个词与上下文交互后的表示集合t＝{t1，t2，…，tm}；
S3、将c和t输入到两个全连接层中，最终得到注意嵌入层隐含表示
Figure FDA0003180797510000025
和
Figure FDA0003180797510000026
4.根据权利要求1所述的一种基于深度学习的文本细粒度情感分析算法，其特征在于所述基于辅助学习和注意力机制的AL-ATT模型中的交互注意力模块包括：
S1、双向注意力机制通过Ht和Hc得到一个相似度矩阵M∈Rn×m，从Context-to-Target和Target-to-Context两个方向来计算文本的注意力向量表示mc和目标的注意力向量表示mt；
S2、平均池化上下文的词嵌入，然后利用其与目标项表示Ht进行向量运算，为目标项中每个词嵌入分配注意力权重，得到包含情感依赖信息的目标项嵌入表示nt；
S3、平均池化特定目标项的词嵌入，然后利用其与上下文的词嵌入表示Hc进行向量运算，得到含有情感依赖信息的上下文词嵌入nc。
5.根据权利要求1所述的一种基于深度学习的文本细粒度情感分析算法，其特征在于所述基于辅助学习和注意力机制的AL-ATT模型中的输出模块包括：交互注意力模块得到的注意力向量mc和mt，以及上下文表示nc和目标项表示nt，将这四个向量结合在一起作为最后的向量表示O＝[mc；mt；nc；nt]，通过softmax层预测给定目标项的情感极性，即y＝softmax(Wo*O+bo)。
6.根据权利要求1所述的一种基于深度学习的文本细粒度情感分析算法，其特征在于所述基于辅助学习和注意力机制的AL-ATT模型中的正则化约束包括：在交叉熵损失中引入一个标签平滑正则项，对于每个样本x，其真实标签分布为p(k|x)，为了避免模型过于自信，引入一个独立于样本的分布u(k)和平滑项参数λ，使用q(k|x)＝(1-λ)p(k|x)+λu(x)来代替标签分布p(k|x)，这里分布u(k)使用均匀分布，即u(k)＝1/c，c为情感类别个数，则本模型的损失函数计算公式为
Figure FDA0003180797510000031
其中，y是样本真实标签的One-Hot向量，μ是L2正则化是系数，Θ是参数集合，在训练时采用随机梯度下降的优化算法方法Adam进行参数更新，并使用dropout机制来防止过拟合。
7.根据权利要求1所述的一种基于深度学习的文本细粒度情感分析算法，其特征在于所述基于图卷积网络与注意力机制的GCN-ATT模型中的数据预处理包括有：
S1、根据xml文件中的标签“<text>”、“<aspectCategory>”，提取出模型训练需要的文本内容，主要包括每条句子、句子包含的目标项以及对应目标项的情感极性；
S2、利用步骤S1的的结果，以空格或标点符号进行分词；
S3、采用的工具是Python的自然语言处理库NLTK，通过其提供的英文停用词词典来去停用词；
S4、对分词后的每一个词标注正确词性，预处理后文本标记为c＝{w1，w2，...，wN}，其中包括k个目标项，即ti＝{t1，t2，...，tk},一个目标可包括多个词ti＝{wi1，wi2，...，wiM}，其中i表示句子中第i个目标实体。
8.根据权利要求1所述的一种基于深度学习的文本细粒度情感分析算法，其特征在于所述基于图卷积网络与注意力机制的GCN-ATT模型中的输入嵌入Bi-GRU模块包括有：
S1、该模型使用预训练的BERT模型将文本c与ti转换为词向量表示，
c＝{e1，e2，...，eN}，ti＝{ei1，ei2，...，eiM}，ei，
Figure FDA0003180797510000041
demd为词向量维度；
S2、将每个目标项ti输入到Bi-GRU得到前向隐含表示
Figure FDA0003180797510000042
和后向隐含表示
Figure FDA0003180797510000043
dhid是隐含单元数量，将
Figure FDA0003180797510000044
和
Figure FDA0003180797510000045
拼接在一起，得到最后的隐含表示
Figure FDA0003180797510000046
S3、步骤与S1相似，输入上下文表示c到Bi-GRU获取句子的文本的隐含表示
Figure FDA0003180797510000047
S4、引入位置权重
Figure FDA0003180797510000048
其由句子中单词与特定目标的距离决定，L为单词与目标的距离，将得到的每个词的位置权重与其上下文隐含表示hc进行加权得到每个目标项包含上下文位置信息的表示
Figure FDA0003180797510000049
9.根据权利要求1所述的一种基于深度学习的文本细粒度情感分析算法，其特征在于所述基于图卷积网络与注意力机制的GCN-ATT模型中的注意力嵌入模块包括有：
S1、句子到情感实体方向，文本向量hc通过平均池化得到的
Figure FDA00031807975100000410
通过
Figure FDA00031807975100000411
和隐含向量
Figure FDA00031807975100000412
计算得到情感实体中每一个词的权重
Figure FDA00031807975100000413
再通过
Figure FDA00031807975100000414
来对情感实体的各个词
Figure FDA00031807975100000415
进行加权，得到新的情感实体向量表示
Figure FDA00031807975100000416
S2、情感实体到句子方向意在为情感实体上下文单词分配不同的注意力权重,计算思想与句子到情感实体的一致，得到了
Figure FDA00031807975100000417
在后文表示为xi，一个句子中有K个情感实体，则会得到K个基于特定情感实体的句子向量表示s＝[x1，x2，...，xK],s作为GCN的输入。
10.根据权利要求1所述的一种基于深度学习的文本细粒度情感分析算法，其特征在于所述基于图卷积网络与注意力机制的GCN-ATT模型中的输出模块与正则化约束包括有：
S1、
Figure FDA00031807975100000418
为某个句子中第i个情感实体，然后将其输入一个全连接网络中，得到其情感极性，
Figure FDA00031807975100000419
S2、模型使用的损失函数是带有L2正则化的交叉熵损失函数，公式为
Figure FDA00031807975100000420
其中，qij为第i个情感实体的真实标签，pij为
Figure FDA0003180797510000051
属于每个情感极性的几率，
Figure FDA0003180797510000052
CN202011027335.4A 2020-09-25 2020-09-25 一种基于深度学习的文本细粒度情感分析算法 Active CN112256866B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011027335.4A CN112256866B (zh) 2020-09-25 2020-09-25 一种基于深度学习的文本细粒度情感分析算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011027335.4A CN112256866B (zh) 2020-09-25 2020-09-25 一种基于深度学习的文本细粒度情感分析算法

Publications (2)

Publication Number Publication Date
CN112256866A CN112256866A (zh) 2021-01-22
CN112256866B true CN112256866B (zh) 2021-09-03

Family

ID=74233776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011027335.4A Active CN112256866B (zh) 2020-09-25 2020-09-25 一种基于深度学习的文本细粒度情感分析算法

Country Status (1)

Country Link
CN (1) CN112256866B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117203629A (zh) * 2021-02-27 2023-12-08 微软技术许可有限责任公司 使用图和神经网络的极限分类处理
CN113158684B (zh) * 2021-04-21 2022-09-27 清华大学深圳国际研究生院 一种情绪分析方法、情绪提醒方法及情绪提醒控制装置
CN113688634B (zh) * 2021-08-17 2022-02-11 中国矿业大学(北京) 一种细粒度情感分析方法
CN113762381B (zh) * 2021-09-07 2023-12-19 上海明略人工智能(集团)有限公司 一种情感分类方法、系统、电子设备及介质
CN113806547B (zh) * 2021-10-15 2023-08-11 南京大学 一种基于图模型的深度学习多标签文本分类方法
CN114141271B (zh) * 2021-11-26 2023-04-28 思必驰科技股份有限公司 心理状态检测方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10796220B2 (en) * 2016-05-24 2020-10-06 Marvell Asia Pte, Ltd. Systems and methods for vectorized FFT for multi-dimensional convolution operations
CN110096587B (zh) * 2019-01-11 2020-07-07 杭州电子科技大学 基于注意力机制的lstm-cnn词嵌入的细粒度情感分类模型
CN111581474B (zh) * 2020-04-02 2022-07-29 昆明理工大学 基于多头注意力机制的涉案微博评论的评价对象抽取方法

Also Published As

Publication number Publication date
CN112256866A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN112256866B (zh) 一种基于深度学习的文本细粒度情感分析算法
CN110298037B (zh) 基于增强注意力机制的卷积神经网络匹配的文本识别方法
Ain et al. Sentiment analysis using deep learning techniques: a review
CN110245229B (zh) 一种基于数据增强的深度学习主题情感分类方法
CN111966917B (zh) 一种基于预训练语言模型的事件检测与摘要方法
CN109753566A (zh) 基于卷积神经网络的跨领域情感分析的模型训练方法
Ma et al. A deep-learning based citation count prediction model with paper metadata semantic features
Huang et al. Expert as a service: Software expert recommendation via knowledge domain embeddings in stack overflow
Huang et al. Siamese network-based supervised topic modeling
US20220269939A1 (en) Graph-based labeling rule augmentation for weakly supervised training of machine-learning-based named entity recognition
CN107688870A (zh) 一种基于文本流输入的深度神经网络的分层因素可视化分析方法及装置
CN113987187A (zh) 基于多标签嵌入的舆情文本分类方法、系统、终端及介质
CN113392209A (zh) 一种基于人工智能的文本聚类方法、相关设备及存储介质
CN111368082A (zh) 一种基于层次网络的领域自适应词嵌入的情感分析方法
CN114896386A (zh) 基于BiLSTM的电影评论语义情感分析方法及系统
CN113486645A (zh) 一种基于深度学习的文本相似度检测方法
CN110569355B (zh) 一种基于词块的观点目标抽取和目标情感分类联合方法及系统
CN113268592B (zh) 基于多层次交互注意力机制的短文本对象情感分类方法
Zhang et al. Description-Enhanced Label Embedding Contrastive Learning for Text Classification
CN112699685A (zh) 基于标签引导的字词融合的命名实体识别方法
CN115033689B (zh) 一种基于小样本文本分类原型网络欧氏距离计算方法
Xu et al. Research on Depression Tendency Detection Based on Image and Text Fusion
CN115906824A (zh) 一种文本细粒度情感分析方法、系统、介质和计算设备
CN115630223A (zh) 基于多模型融合的服务推荐方法及推荐系统
Gorai et al. A BERT-encoded ensembled CNN model for suicide risk identification in social media posts

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant