CN112256866A - 一种基于深度学习的文本细粒度情感分析方法 - Google Patents

一种基于深度学习的文本细粒度情感分析方法 Download PDF

Info

Publication number
CN112256866A
CN112256866A CN202011027335.4A CN202011027335A CN112256866A CN 112256866 A CN112256866 A CN 112256866A CN 202011027335 A CN202011027335 A CN 202011027335A CN 112256866 A CN112256866 A CN 112256866A
Authority
CN
China
Prior art keywords
text
attention
target
module
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011027335.4A
Other languages
English (en)
Other versions
CN112256866B (zh
Inventor
韩东红
朱帅伟
李婧
吴刚
乔百友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN202011027335.4A priority Critical patent/CN112256866B/zh
Publication of CN112256866A publication Critical patent/CN112256866A/zh
Application granted granted Critical
Publication of CN112256866B publication Critical patent/CN112256866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Abstract

本发明提供了一种基于深度学习的文本细粒度情感分析方法，包括如下步骤：基于辅助学习和注意力机制的AL‑ATT模型和基于图卷积网络与注意力机制的GCN‑ATT模型；基于辅助学习和注意力机制的AL‑ATT模型包括如下步骤：数据预处理—注意力嵌入模块—辅助学习模块—交互注意力模块—输出模块—正则化约束；相比于依赖语言学知识和人工特征提取的基于规则和机器学习方法，使用深度学习不需要人工的选择特征也不需要依赖大量的特征工程，它可以很好的处理高维的输入数据，可以自动学习文本中的特征，从而对文本向量实现进行准确的分类。

Description

一种基于深度学习的文本细粒度情感分析方法
技术领域
本发明涉及自然语言处理中检测文本目标实体情感极性领域，尤其涉及 一种基于深度学习的文本细粒度情感分析方法。
背景技术
现今社会，网络越来越便利，移动端越来越普及，各大社交网络平台蓬 勃发展，人们愿意随时随地在各大平台上发表自己对于某件事的观点，表达 自己情绪，这使社交网络上积累了大量的情感数据。较为活跃的社交平台包 括国内的贴吧，论坛，朋友圈，微博，国外的Twitter，Instagram，Facebook 等等。随着这些网络文本评论数据的不断增加，这些内容包含大量的有用的 信息，通过对这些信息进行主观的情感分析，在诸多领域，例如舆情分析、 推荐系统、电子商务等有相当大意义，文本情感分析基于处理文本的粒度不 同，可以分为篇章级、段落级、句子级、短语级、词语级等几个层次，当前 的情感分析研究大多是粗粒度的，即模型只得出一个整体的情感极性，然而， 随着文本内容的复杂性和用户的需求逐渐增加，粗粒度的情感分析已不能满 足社会需求；
文本细粒度情感分析，又称特定目标或情感实体的情感分析，旨在识别 每个句子中各个目标或情感实体的情感极性，如“这个笔记本电脑CPU性能 很强，但是屏幕分辨率不是很好”这条评论，对于情感实体“CPU”的情感极 性是积极的，而对情感实体“屏幕分辨率”的情感极性是消极的，对于这样 的文本，如果使用粗粒度情感分析，可能会得到中性情感的结论，这没有任 何参考价值，甚至会对用户产生误导，所以，细粒度情感分析有着重要意义， 在电子商务领域，可以通过用户对商品各个方面的评论信息进行情感分析， 给其他用户提供一个参考依据，此外，厂家也可通过情感分析所得信息对商 品进行针对性改进，得到更好的收益。
现有技术的问题：细粒度情感分析在电子商务，舆情分析，心理健康等 领域有着重要的理论和应用价值，在现有的基于深度学习的细粒度情感分析 研究中，仍存在难以充分挖掘与情感实体情感极性相关的信息、忽略句子中 各个情感实体之间的联系等问题。
发明内容
本发明的目的在于提供一种基于深度学习的文本细粒度情感分析方法， 以解决上述技术问题。
本发明为解决上述技术问题，采用以下技术方案来实现：
一种基于深度学习的文本细粒度情感分析方法，包括如下步骤：基于辅 助学习和注意力机制的AL-ATT模型和基于图卷积网络与注意力机制的 GCN-ATT模型；
基于辅助学习和注意力机制的AL-ATT模型包括如下步骤：数据预处理— 注意力嵌入模块—辅助学习模块—交互注意力模块—输出模块—正则化约 束；
基于图卷积网络与注意力机制的GCN-ATT模型包括如下步骤：数据预处理 —输入嵌入Bi-GRU模块—注意力嵌入模块—图卷积网络模块—输出模块与正 则化约束；
辅助学习模块包括以下步骤：
S1、先将上下文或者目标项的词性映射为词性向量epos，并通过Glove预训 练模型得到的词向量eG，将两者拼接得到i＝[epos；eG]作为辅助学习层的输入；
S2、将i输入到Bi-LSTM中得到前向隐含向量
Figure BDA0002702508290000021
和后向隐含向量
Figure BDA0002702508290000022
将
Figure BDA0002702508290000023
和
Figure BDA0002702508290000024
拼 接得到最后的上下文隐含表示
Figure BDA0002702508290000025
S3、将辅助信息Haux与注意力嵌入模块得到的ht与hc加权融合得到目标的 隐含向量表示Ht和文本隐含向量表示Hc；
图卷积网络模块包括以下步骤：
S1、构造一个图来表示一个句子中多个情感实体的情感依赖关系，该图 中每个节点表示一个情感实体，每条边表示的是情感实体之间的情感依赖关 系，节点在GCN中对应于情感实体表示s＝[x1，x2，...，xK]；
S2、使用图卷积网络将图中节点与其邻接节点的相关信息表示一个新的 向量表示，连接多个GCN层，最终使每个节点表示包含其他节点的信息，在每 个GCN层中，都将上一层的节点向量表示作为输入，并得到新的节点表示，即
Figure BDA0002702508290000031
其中，l表示层数，σ表示RELU 激活函数。
优选的，所述基于辅助学习和注意力机制的AL-ATT模型中的数据预处理 包括：
S1、根据xml文件中的标签“<text>”、“<aspectCategory>”等，提取出 模型训练需要的文本内容，主要包括每条句子、句子包含的目标项以及对应 目标项的情感极性；
S2、利用步骤S1的结果，以空格或标点符号进行分词；
S3、采用的工具是Python的自然语言处理库NLTK，通过其提供的英文停 用词词典来去停用词；
S4、对分词后的每一个词标注正确词性，预处理后文本标记为
Figure BDA0002702508290000032
目标实体标记为
Figure BDA0002702508290000033
优选的，所述基于辅助学习和注意力机制的AL-ATT模型中的注意力嵌入 模块包括：
S1、通过BERT模型将模型的文本输入sc，目标实体st转换为词向量表示即
Figure BDA0002702508290000034
目标实体
Figure BDA0002702508290000035
S2、将多头注意力机制应用于文本sc和st后，可以得到上下文词语义表示 的集合c＝{c1，c2，…，cn}以及目标中每个词与上下文交互后的表示集合 t={t1，t2，…，tm}；
S3、将c和t输入到两个全连接层中，最终得到注意嵌入层隐含表示
Figure BDA0002702508290000036
和
Figure BDA0002702508290000037
优选的，所述基于辅助学习和注意力机制的AL-ATT模型中的交互注意力 模块包括：
S1、双向注意力机制通过Ht和Hc得到一个相似度矩阵M∈Rn×m，从 Context-to-Target和Target-to-Context两个方向来计算文本的注意力向量 表示mc和目标的注意力向量表示mt；
S2、平均池化上下文的词嵌入，然后利用其与目标项表示Ht进行向量运算， 为目标项中每个词嵌入分配注意力权重，得到包含情感依赖信息的目标项嵌 入表示nt；
S3、平均池化特定目标项的词嵌入，然后利用其与上下文的词嵌入表示 Hc进行向量运算，得到含有情感依赖信息的上下文词嵌入nc。
优选的，所述基于辅助学习和注意力机制的AL-ATT模型中的输出模块包 括：交互注意力模块得到的注意力向量mc和mt，以及上下文表示nc和目标项表 示nt，将这四个向量结合在一起作为最后的向量表示O=[mc；mt；nc；nt]，通过 softmax层预测给定目标项的情感极性，即y=softmax(Wo*O+bo)。
优选的，所述基于辅助学习和注意力机制的AL-ATT模型中的正则化约束 包括：在交叉熵损失中引入一个标签平滑正则项，对于每个样本x，其真实标 签分布为p(k|x)，为了避免模型过于自信，引入一个独立于样本的分布u(k)和 平滑项参数λ，使用q(k|x)＝(1-λ)p(k|x)+λu(x)来代替标签分布p(k|x)，这里分布 u(k)使用均匀分布，即u(k)＝1/c，c为情感类别个数，则本模型的损失函数计算 公式为
Figure BDA0002702508290000041
其中，y是样本真实标签的One-Hot向 量，μ是L2正则化是系数，Θ是参数集合，在训练时采用随机梯度下降的优化 算法方法Adam进行参数更新，并使用dropout机制来防止过拟合。
优选的，所述基于图卷积网络与注意力机制的GCN-ATT模型中的数据预处 理包括有：
S1、根据xml文件中的标签“<text>”、“<aspectCategory>”等，提取出 模型训练需要的文本内容，主要包括每条句子、句子包含的目标项以及对应 目标项的情感极性；
S2、利用步骤S1的的结果，以空格或标点符号进行分词；
S3、采用的工具是Python的自然语言处理库NLTK，通过其提供的英文停 用词词典来去停用词；
S4、对分词后的每一个词标注正确词性。预处理后文本标记为c＝{w1，w2，...，wN}，其中包括k个目标项，即ti＝{t1，t2，...，tk},一个目标可包括多个词 ti＝{wi1，wi2，...，wiM}，其中i表示句子中第i个目标实体。
优选的，所述基于图卷积网络与注意力机制的GCN-ATT模型中的输入嵌入 Bi-GRU模块包括有：
S1、该模型使用预训练的BERT模型将文本c与ti转换为词向量表示， c＝{e1，e2，...，eN}，ti＝{ei1，ei2，...，eiM}，
Figure BDA0002702508290000051
demd为词向量维度；
S2、将每个目标项ti输入到Bi-GRU得到前向隐含表示
Figure BDA0002702508290000052
和后向隐 含表示
Figure BDA0002702508290000053
dhid是隐含单元数量，将
Figure BDA0002702508290000054
和
Figure BDA0002702508290000055
拼接在一起，得到最后的 隐含表示
Figure BDA0002702508290000056
S3、步骤与S1相似，输入上下文表示c到Bi-GRU获取句子的文本的隐含表 示
Figure BDA0002702508290000057
S4、引入位置权重
Figure BDA0002702508290000058
其由句子中单词与特定目标的距离决定，L 为单词与目标的距离，将得到的每个词的位置权重与其上下文隐含表示hc进行 加权得到每个目标项包含上下文位置信息的表示
Figure BDA0002702508290000059
优选的，所述基于图卷积网络与注意力机制的GCN-ATT模型中的注意力嵌 入模块包括有：
S1、句子到情感实体方向，文本向量hc通过平均池化得到的
Figure BDA00027025082900000510
通过
Figure BDA00027025082900000511
和隐含向量
Figure BDA00027025082900000512
计算得到情感实体中每一个词的权重
Figure BDA00027025082900000513
再通过
Figure BDA00027025082900000514
来对情 感实体的各个词
Figure BDA00027025082900000515
进行加权，得到新的情感实体向量表示
Figure BDA00027025082900000516
S2、情感实体到句子方向意在为情感实体上下文单词分配不同的注意力 权重,计算思想与句子到情感实体的一致，得到了
Figure BDA00027025082900000517
在后文表示为xi，一个 句子中有K个情感实体，则会得到K个基于特定情感实体的句子向量表示 s＝[x1，x2，...，xK],s作为GCN的输入。
优选的，所述基于图卷积网络与注意力机制的GCN-ATT模型中的输出模块 与正则化约束包括有：
S1、
Figure BDA00027025082900000518
为某个句子中第i个情感实体，然后将其输入一个全连接网络中， 得到其情感极性，
Figure BDA0002702508290000061
S2、模型使用的损失函数是带有L2正则化的交叉熵损失函数，公式为
Figure BDA0002702508290000062
其中，qij为第i个情感实体的真实标签，pij 为
Figure BDA0002702508290000063
属于每个情感极性的几率，
Figure BDA0002702508290000064
本发明的有益效果是：
本发明细粒度情感分类属于情感分类中的更加细化分类任务，自从它被 提出以来，引起了许多国内外学者的研究，研究方法主要包括传统的机器学 习方法和神经网络方法，传统的机器学习方法包括支持向量机，最大熵等等， 相比于依赖语言学知识和人工特征提取的基于规则和机器学习方法，使用深 度学习不需要人工的选择特征也不需要依赖大量的特征工程，它可以很好的 处理高维的输入数据，可以自动学习文本中的特征，从而对文本向量实现进 行准确的分类。
附图说明
图1为本发明一种基于深度学习的文本细粒度情感分析方法的AL-ATT模 型总体结构图；
图2为本发明词性维度大小对模型准确率的影响示意图；
图3为本发明辅助学习模块连接参数对模型准确率的影响示意图；
图4为本发明GCN-ATT模型总体结构示意图；
图5为本发明GCN层数在Twitter数据集下的对模型的影响结构图；
图6为本发明GCN层数在Restaurant数据集下的对模型的影响结构图；
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了 解，下面结合具体实施例和附图，进一步阐述本发明，但下述实施例仅仅为 本发明的优选实施例，并非全部。基于实施方式中的实施例，本领域技术人 员在没有做出创造性劳动的前提下所获得其它实施例，都属于本发明的保护 范围。
下面结合附图1-6描述本发明的具体实施例。
实施例1
数据集：AL-ATT模型使用的数据集为国际语义测评比赛SemEval-2014中 Task4中的数据集，该数据集由餐饮(Restaurant)和笔记本(Laptop)评论两部 分组成，该数据集的具体信息如表1所示：
Datasets Positive Neutral Negative
Restaurant-Train 2164 807 637
Restaurant-Test 728 196 196
Laptop-Train 994 870 464
Laptop-Test 341 128 169
表1 SemEval-2014数据集
原始数据集包含四种情感，分别为积极(Positive)、中性(Neural)、消 极(Negative)和矛盾(conflict)。然而，conflict情感同时包含积极和消 极，且该类别包含的样本数量比较少，为了保持整个数据集的平衡，对 conflict这种情感类别的样本不予考虑，只保留其他三种情感类别的样本。
GCN-ATT模型除了SemEval-2014Task4的数据集外还使用了由Dong等人收 集到的Twitter数据集,该数据集的具体的信息如表2所示：
Positive Neutral Negative
Twitter-Train 1561 3127 1560
Twitter-Test 173 346 173
表2 Twitter数据集 效果评估：评估指标包括准确率和F1值，定义如下:
Figure BDA0002702508290000071
Figure BDA0002702508290000072
Figure BDA0002702508290000081
Figure BDA0002702508290000082
超参数与训练：AL-ATT模型中超参数设置的详细信息如表3所示：
Figure BDA0002702508290000083
表3实验参数设置
图2给出了词性维度大小对模型准确率的影响。
图3给出了辅助学习模块连接参数对模型准确率的影响。
实验结果表明，当词性纬度值为100时，模型在预测情感类别时，能取得 最好的结果，准确率最高。当连接权重值为0.4时，模型在两数据集上都取 得较高的准确率。因此，模型选择的连接权值α为0.4。
GCN-ATT模型中超参数设置的详细信息如表4所示：
Figure BDA0002702508290000091
表4实验参数设置
图5给出了GCN层数在Twitter数据集下的对模型F1值和准确率的影响
图6给出了GCN层数在Restaurant数据集下的对模型F1值和准确率的影 响
图5可以看出当层数为2时，准确率相对其他几层要高。图6可以看出， 随着GCN层数的增加，准确率呈现下降的趋势，当GCN层数为2时，准确率 最高，因此本章模型GCN层数设置为2。
不同模型间细粒度情感分类的比较：
AL-ATT模型：
我们选择了几种情感分类算法作为基线，包括传统的机器学习方法和最 先进的神经网络结构。实验表明，AL-ATT在细粒度情感分类上表现比较优秀。 AL-ATT模型对比实验的结果列于表5：
Figure BDA0002702508290000101
表5不同模型实验结果对比
根据表5，我们的模型在SemEval-2014 Task4测试数据集上具有最好的 性能。与LSTM模型和CNN网络相比，附加LSTM的GCN网络能更有效地捕捉 博客中的上下文情感信息，保留句子的句法信息。依存句法分析树是在大量 语料的基础上，采用深度学习的方法训练出来的，它为语言结构提供了大量 有意义的信息。基于语法的GCN网络可以利用复杂的依赖分析技术。
模块有效性验证：
1、为了验证模型中辅助学习模块的有效性，本节将使用不包含辅助学习 模块的模型和AL-ATT模型进行对比，实验结果如表6所示：
Figure BDA0002702508290000111
表6辅助学习模块的影响
由表6可得在两个数据集上，在没有辅助学习模块的情况下，无论是准确 率还是Macro-F1值，都没有加上辅助学习模块效果好。由此可见，辅助学习 模块确实能提高特定目标情感分析任务的情感极性预测效果。
2、为了验证交互注意力模块的有效性，使用不包含无交互注意力模块的 模型和AL-ATT模型进行对比实验，实验结果如表7所示：
Figure BDA0002702508290000112
表7交互注意力模块的影响
由表7可以看出AL-ATT模型的准确率和F1值在Restaurant和Laptop数 据集上分别都有很大的提升。由此可见，本模型交互注意力模块确实能提高 特定目标情感分析任务的情感极性预测效果。
2、为了验证除注意力嵌入模块之外的模块的有效性，接下来将使用只包 含注意力嵌入模块的模型和AL-ATT模型进行对比，实验结果如表8所示：
Figure BDA0002702508290000121
表8辅助学习模块和交互注意力模块的影响
由表8可以看出AL-ATT模型的准确率在Restaurant数据集和Laptop数 据集上分别提升了3.93％和4.70％，F1值在Restaurant数据集和Laptop数据 集上分别提升了6.17％和4.61％。由此可见，本模型提出的交互注意力模块和 辅助学习模块确实能提高特定目标情感分析任务的情感极性预测效果。
GCN-ATT模型：
对比实验的结果列于表9：
Figure BDA0002702508290000131
表9不同模型实验结果对比
从表9的结果可以看出，GCN-ATT模型与前八个模型相比，在这三个数据 集上无论是准确率还是Macro-F1值都有提升。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上” 或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征 不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二 特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方， 或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、 “下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示 第一特征水平高度小于第二特征。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行 业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明 书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精 神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等 效物界定。

Claims (10)

1.一种基于深度学习的文本细粒度情感分析方法，其特征在于：包括如下步骤：基于辅助学习和注意力机制的AL-ATT模型和基于图卷积网络与注意力机制的GCN-ATT模型；
基于辅助学习和注意力机制的AL-ATT模型包括如下步骤：数据预处理—注意力嵌入模块—辅助学习模块—交互注意力模块—输出模块—正则化约束；
基于图卷积网络与注意力机制的GCN-ATT模型包括如下步骤：数据预处理—输入嵌入Bi-GRU模块—注意力嵌入模块—图卷积网络模块—输出模块与正则化约束；
辅助学习模块包括以下步骤：
S1、先将上下文或者目标项的词性映射为词性向量epos，并通过Glove预训练模型得到的词向量eG，将两者拼接得到i＝[epos；eG]作为辅助学习层的输入；
S2、将i输入到Bi-LSTM中得到前向隐含向量
Figure FDA0002702508280000011
和后向隐含向量
Figure FDA0002702508280000012
将
Figure FDA0002702508280000013
和
Figure FDA0002702508280000014
拼接得到最后的上下文隐含表示
Figure FDA0002702508280000015
S3、将辅助信息Haux与注意力嵌入模块得到的ht与hc加权融合得到目标的隐含向量表示Ht和文本隐含向量表示Hc；
图卷积网络模块包括以下步骤：
S1、构造一个图来表示一个句子中多个情感实体的情感依赖关系，该图中每个节点表示一个情感实体，每条边表示的是情感实体之间的情感依赖关系，节点在GCN中对应于情感实体表示s＝[x1，x2，...，xK]；
S2、使用图卷积网络将图中节点与其邻接节点的相关信息表示一个新的向量表示，连接多个GCN层，最终使每个节点表示包含其他节点的信息，在每个GCN层中，都将上一层的节点向量表示作为输入，并得到新的节点表示，即
Figure FDA0002702508280000016
其中，l表示层数，σ表示RELU激活函数。
2.根据权利要求1所述的一种基于深度学习的文本细粒度情感分析方法，其特征在于所述基于辅助学习和注意力机制的AL-ATT模型中的数据预处理包括：
S1、根据xml文件中的标签“<text>”、“<aspectCategory>”等，提取出模型训练需要的文本内容，主要包括每条句子、句子包含的目标项以及对应目标项的情感极性；
S2、利用步骤S1的结果，以空格或标点符号进行分词；
S3、采用的工具是Python的自然语言处理库NLTK，通过其提供的英文停用词词典来去停用词；
S4、对分词后的每一个词标注正确词性，预处理后文本标记为
Figure FDA0002702508280000021
目标实体标记为
Figure FDA0002702508280000022
3.根据权利要求1所述的一种基于深度学习的文本细粒度情感分析方法，其特征在于所述基于辅助学习和注意力机制的AL-ATT模型中的注意力嵌入模块包括：
S1、通过BERT模型将模型的文本输入sc，目标实体st转换为词向量表示即
Figure FDA0002702508280000023
目标实体
Figure FDA0002702508280000024
S2、将多头注意力机制应用于文本sc和st后，可以得到上下文词语义表示的集合c＝{c1，c2，…，cn}以及目标中每个词与上下文交互后的表示集合t＝{t1，t2，…，tm}；
S3、将c和t输入到两个全连接层中，最终得到注意嵌入层隐含表示
Figure FDA0002702508280000025
和
Figure FDA0002702508280000026
4.根据权利要求1所述的一种基于深度学习的文本细粒度情感分析方法，其特征在于所述基于辅助学习和注意力机制的AL-ATT模型中的交互注意力模块包括：
S1、双向注意力机制通过Ht和Hc得到一个相似度矩阵M∈Rn×m，从Context-to-Target和Target-to-Context两个方向来计算文本的注意力向量表示mc和目标的注意力向量表示mt；
S2、平均池化上下文的词嵌入，然后利用其与目标项表示Ht进行向量运算，为目标项中每个词嵌入分配注意力权重，得到包含情感依赖信息的目标项嵌入表示nt；
S3、平均池化特定目标项的词嵌入，然后利用其与上下文的词嵌入表示Hc进行向量运算，得到含有情感依赖信息的上下文词嵌入nc。
5.根据权利要求1所述的一种基于深度学习的文本细粒度情感分析方法，其特征在于所述基于辅助学习和注意力机制的AL-ATT模型中的输出模块包括：交互注意力模块得到的注意力向量mc和mt，以及上下文表示nc和目标项表示nt，将这四个向量结合在一起作为最后的向量表示O＝[mc；mt；nc；nt]，通过softmax层预测给定目标项的情感极性，即y＝softmax(Wo*O+bo)。
6.根据权利要求1所述的一种基于深度学习的文本细粒度情感分析方法，其特征在于所述基于辅助学习和注意力机制的AL-ATT模型中的正则化约束包括：在交叉熵损失中引入一个标签平滑正则项，对于每个样本x，其真实标签分布为p(k|x)，为了避免模型过于自信，引入一个独立于样本的分布u(k)和平滑项参数λ，使用q(k|x)＝(1-λ)p(k|x)+λu(x)来代替标签分布p(k|x)，这里分布u(k)使用均匀分布，即u(k)＝1/c，c为情感类别个数，则本模型的损失函数计算公式为
Figure FDA0002702508280000031
其中，y是样本真实标签的One-Hot向量，μ是L2正则化是系数，Θ是参数集合，在训练时采用随机梯度下降的优化算法方法Adam进行参数更新，并使用dropout机制来防止过拟合。
7.根据权利要求1所述的一种基于深度学习的文本细粒度情感分析方法，其特征在于所述基于图卷积网络与注意力机制的GCN-ATT模型中的数据预处理包括有：
S1、根据xml文件中的标签“<text>”、“<aspectCategory>”等，提取出模型训练需要的文本内容，主要包括每条句子、句子包含的目标项以及对应目标项的情感极性；
S2、利用步骤S1的的结果，以空格或标点符号进行分词；
S3、采用的工具是Python的自然语言处理库NLTK，通过其提供的英文停用词词典来去停用词；
S4、对分词后的每一个词标注正确词性。预处理后文本标记为c＝{w1，w2，...，wN}，其中包括k个目标项，即ti＝{t1，t2，...，tk},一个目标可包括多个词ti＝{wi1，wi2，...，wiM}，其中i表示句子中第i个目标实体。
8.根据权利要求1所述的一种基于深度学习的文本细粒度情感分析方法，其特征在于所述基于图卷积网络与注意力机制的GCN-ATT模型中的输入嵌入Bi-GRU模块包括有：
S1、该模型使用预训练的BERT模型将文本c与ti转换为词向量表示，c＝{e1，e2，...，eN}，ti＝{ei1，ei2，...，eiM}，
Figure FDA0002702508280000041
demd为词向量维度；
S2、将每个目标项ti输入到Bi-GRU得到前向隐含表示
Figure FDA0002702508280000042
和后向隐含表示
Figure FDA0002702508280000043
dhid是隐含单元数量，将
Figure FDA0002702508280000044
和
Figure FDA0002702508280000045
拼接在一起，得到最后的隐含表示
Figure FDA0002702508280000046
S3、步骤与S1相似，输入上下文表示c到Bi-GRU获取句子的文本的隐含表示
Figure FDA0002702508280000047
S4、引入位置权重
Figure FDA0002702508280000048
其由句子中单词与特定目标的距离决定，L为单词与目标的距离，将得到的每个词的位置权重与其上下文隐含表示hc进行加权得到每个目标项包含上下文位置信息的表示
Figure FDA0002702508280000049
9.根据权利要求1所述的一种基于深度学习的文本细粒度情感分析方法，其特征在于所述基于图卷积网络与注意力机制的GCN-ATT模型中的注意力嵌入模块包括有：
S1、句子到情感实体方向，文本向量hc通过平均池化得到的
Figure FDA00027025082800000410
通过
Figure FDA00027025082800000411
和隐含向量
Figure FDA00027025082800000412
计算得到情感实体中每一个词的权重
Figure FDA00027025082800000413
再通过
Figure FDA00027025082800000414
来对情感实体的各个词
Figure FDA00027025082800000415
进行加权，得到新的情感实体向量表示
Figure FDA00027025082800000416
S2、情感实体到句子方向意在为情感实体上下文单词分配不同的注意力权重,计算思想与句子到情感实体的一致，得到了
Figure FDA00027025082800000417
在后文表示为xi，一个句子中有K个情感实体，则会得到K个基于特定情感实体的句子向量表示s＝[x1，x2，...，xK],s作为GCN的输入。
10.根据权利要求1所述的一种基于深度学习的文本细粒度情感分析方法，其特征在于所述基于图卷积网络与注意力机制的GCN-ATT模型中的输出模块与正则化约束包括有：
S1、
Figure FDA00027025082800000418
为某个句子中第i个情感实体，然后将其输入一个全连接网络中，得到其情感极性，
Figure FDA00027025082800000419
S2、模型使用的损失函数是带有L2正则化的交叉熵损失函数，公式为
Figure FDA00027025082800000420
其中，qij为第i个情感实体的真实标签，pij为
Figure FDA0002702508280000051
属于每个情感极性的几率，
Figure FDA0002702508280000052
CN202011027335.4A 2020-09-25 2020-09-25 一种基于深度学习的文本细粒度情感分析算法 Active CN112256866B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011027335.4A CN112256866B (zh) 2020-09-25 2020-09-25 一种基于深度学习的文本细粒度情感分析算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011027335.4A CN112256866B (zh) 2020-09-25 2020-09-25 一种基于深度学习的文本细粒度情感分析算法

Publications (2)

Publication Number Publication Date
CN112256866A true CN112256866A (zh) 2021-01-22
CN112256866B CN112256866B (zh) 2021-09-03

Family

ID=74233776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011027335.4A Active CN112256866B (zh) 2020-09-25 2020-09-25 一种基于深度学习的文本细粒度情感分析算法

Country Status (1)

Country Link
CN (1) CN112256866B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158684A (zh) * 2021-04-21 2021-07-23 清华大学深圳国际研究生院 一种情绪分析方法、情绪提醒方法及情绪提醒控制装置
CN113688634A (zh) * 2021-08-17 2021-11-23 中国矿业大学(北京) 一种细粒度情感分析方法
CN113762381A (zh) * 2021-09-07 2021-12-07 上海明略人工智能(集团)有限公司 一种情感分类方法、系统、电子设备及介质
CN113806547A (zh) * 2021-10-15 2021-12-17 南京大学 一种基于图模型的深度学习多标签文本分类方法
CN114141271A (zh) * 2021-11-26 2022-03-04 思必驰科技股份有限公司 心理状态检测方法及系统
WO2022182372A1 (en) * 2021-02-27 2022-09-01 Microsoft Technology Licensing, Llc Extreme classification processing using graphs and neural networks

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170344880A1 (en) * 2016-05-24 2017-11-30 Cavium, Inc. Systems and methods for vectorized fft for multi-dimensional convolution operations
CN110096587A (zh) * 2019-01-11 2019-08-06 杭州电子科技大学 基于注意力机制的lstm-cnn词嵌入的细粒度情感分类模型
CN111581474A (zh) * 2020-04-02 2020-08-25 昆明理工大学 基于多头注意力机制的涉案微博评论的评价对象抽取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170344880A1 (en) * 2016-05-24 2017-11-30 Cavium, Inc. Systems and methods for vectorized fft for multi-dimensional convolution operations
CN110096587A (zh) * 2019-01-11 2019-08-06 杭州电子科技大学 基于注意力机制的lstm-cnn词嵌入的细粒度情感分类模型
CN111581474A (zh) * 2020-04-02 2020-08-25 昆明理工大学 基于多头注意力机制的涉案微博评论的评价对象抽取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵志滨等: "中文产品评论的维度挖掘及情感分析技术研究", 《东北大学学报(自然科学版)》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022182372A1 (en) * 2021-02-27 2022-09-01 Microsoft Technology Licensing, Llc Extreme classification processing using graphs and neural networks
CN113158684A (zh) * 2021-04-21 2021-07-23 清华大学深圳国际研究生院 一种情绪分析方法、情绪提醒方法及情绪提醒控制装置
CN113688634A (zh) * 2021-08-17 2021-11-23 中国矿业大学(北京) 一种细粒度情感分析方法
CN113688634B (zh) * 2021-08-17 2022-02-11 中国矿业大学(北京) 一种细粒度情感分析方法
CN113762381A (zh) * 2021-09-07 2021-12-07 上海明略人工智能(集团)有限公司 一种情感分类方法、系统、电子设备及介质
CN113762381B (zh) * 2021-09-07 2023-12-19 上海明略人工智能(集团)有限公司 一种情感分类方法、系统、电子设备及介质
CN113806547A (zh) * 2021-10-15 2021-12-17 南京大学 一种基于图模型的深度学习多标签文本分类方法
CN113806547B (zh) * 2021-10-15 2023-08-11 南京大学 一种基于图模型的深度学习多标签文本分类方法
CN114141271A (zh) * 2021-11-26 2022-03-04 思必驰科技股份有限公司 心理状态检测方法及系统

Also Published As

Publication number Publication date
CN112256866B (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN112256866B (zh) 一种基于深度学习的文本细粒度情感分析算法
CN110298037B (zh) 基于增强注意力机制的卷积神经网络匹配的文本识别方法
CN108399158B (zh) 基于依存树和注意力机制的属性情感分类方法
Swathi et al. An optimal deep learning-based LSTM for stock price prediction using twitter sentiment analysis
CN110245229B (zh) 一种基于数据增强的深度学习主题情感分类方法
CN111966917B (zh) 一种基于预训练语言模型的事件检测与摘要方法
CN111222332B (zh) 一种结合注意力网络和用户情感的商品推荐方法
CN109753566A (zh) 基于卷积神经网络的跨领域情感分析的模型训练方法
CN110472042B (zh) 一种细粒度情感分类方法
Ma et al. A deep-learning based citation count prediction model with paper metadata semantic features
CN110929034A (zh) 一种基于改进lstm的商品评论细粒度情感分类方法
CN107688870B (zh) 一种基于文本流输入的深度神经网络的分层因素可视化分析方法及装置
Almars Attention-Based Bi-LSTM Model for Arabic Depression Classification.
Huang et al. Siamese network-based supervised topic modeling
CN113392209A (zh) 一种基于人工智能的文本聚类方法、相关设备及存储介质
CN111368082A (zh) 一种基于层次网络的领域自适应词嵌入的情感分析方法
CN113987187A (zh) 基于多标签嵌入的舆情文本分类方法、系统、终端及介质
CN113486645A (zh) 一种基于深度学习的文本相似度检测方法
CN110569355B (zh) 一种基于词块的观点目标抽取和目标情感分类联合方法及系统
CN116578705A (zh) 基于预训练语言模型与集成神经网络的微博情感分类方法
CN113268592B (zh) 基于多层次交互注意力机制的短文本对象情感分类方法
CN109902174B (zh) 一种基于方面依赖的记忆网络的情感极性检测方法
CN115033689B (zh) 一种基于小样本文本分类原型网络欧氏距离计算方法
CN115630223A (zh) 基于多模型融合的服务推荐方法及推荐系统
Zhang et al. Probabilistic verb selection for data-to-text generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant