CN116561323B - 一种基于方面词嵌入图卷积网络的情感分析方法 - Google Patents
一种基于方面词嵌入图卷积网络的情感分析方法 Download PDFInfo
- Publication number
- CN116561323B CN116561323B CN202310788453.4A CN202310788453A CN116561323B CN 116561323 B CN116561323 B CN 116561323B CN 202310788453 A CN202310788453 A CN 202310788453A CN 116561323 B CN116561323 B CN 116561323B
- Authority
- CN
- China
- Prior art keywords
- word
- embedding
- layer
- model
- representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 73
- 238000004458 analytical method Methods 0.000 title claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000005096 rolling process Methods 0.000 claims abstract description 23
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 41
- 230000007246 mechanism Effects 0.000 claims description 37
- 239000013598 vector Substances 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 11
- 230000002457 bidirectional effect Effects 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000002790 cross-validation Methods 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
一种基于方面词嵌入图卷积网络的情感分析方法，包含以下步骤：步骤1，使用嵌入模块来捕获关于词序的上下文信息，通过BERT方式来获得句子中每个单词的上下文表示，得到预处理后的句子特征表示；步骤2，构建基于方面词嵌入图卷积网络的情感分析模型；步骤3，进行模型训练，将预处理后的数据随机打乱，并划分训练集和测试集，设置模型参数进行训练，测试每次训练的模型的分类准确率；步骤4，将训练得到的模型保存，挑选分类准确率最高的模型进行方面级情感分析。本发明更加关注整体方面词信息，以提高方面词信息在方面级情感分析中的利用，减少了同一句中出现多个面向方面词时，不相关方面词对当前关注的方面词的影响。
Description
技术领域
本发明属于自然语言处理技术领域，具体涉及一种基于方面词嵌入图卷积网络的方面级情感分析方法。
背景技术
文本情感分析，也称为观点挖掘，是针对人们表达的观点、评论和情感进行计算的研究。对评论进行方面级情感分析可以帮助用户做出更好的决策。为了进行更加全面的情感分析，系统需要确定评论文本对每个方面所表达的情感信息，这就是方面级情感分析技术。方面级情感分析是一项细粒度任务，旨在查找用于评估的目标信息及其相应的情感极性。句子可能包含几个不同的方面，每个方面都包含不同的情感极性。迄今为止的发展包括基于传统机器学习的情感分析方法，基于情感词汇的情感分析方法，以及基于深度学习的情感分析方法。
传统基于机器学习的方法利用机器学习技术来分析大量有标记或无标记的数据，这些数据由统计机器学习算法提取并转化为情感分析。 情感词典是利用各种情感词典中所能表达的情感词的情感极性进行不同分类的一种方法。与传统机器学习情感分析不同，基于深度学习的算法使神经网络能够实现一定程度的文本与文本的语义关联。神经网络的主要研究工具有：卷积神经网络；循环神经网络；长短期记忆网络和注意力机制。近年来出现了一种图卷积网络(Graph Convolutional Network, GCN)技术。充分利用语言中的语义信息，通过语义句法链接来理解语言的技术，从而实现了语言的情感分类。
在目前的方面级情感分类方法中，缺乏方面词整体信息的关键利用，它们大多只是在数据预处理中进行整理，随后将这部分信息应用于位置编码信息等一些后续网络中，在整体语义的使用中，仅有完整句子的信息，这样会导致忽略完整方面词信息的突出作用，使得方面词信息的作用大打折扣；而当一个句子中出现多个方面词时，多个方面词具有不同的情感倾向，它们可能会相互干扰，而这些方面词的描述符可能会相互抵消或混淆，从而导致各自方面描述符的关注度和权重降低，且对其他方面的分类产生噪声，使情感分析变得复杂。
发明内容
本发明为了充分利用方面词对方面级情感分析的影响以及减弱同一句子中出现多个方面词时出现的噪声影响，提出了一种基于方面词嵌入图卷积网络的情感分析方法，该方法更加关注整体方面词信息，以提高方面词信息在方面级情感分析中的利用，并且减少了同一句中出现多个面向方面词时，不相关方面词对当前关注的方面词的影响。同时在SemEval2014等多个数据集上有着更高的预测准确率。
本发明采用的技术方案是：
一种基于方面词嵌入图卷积网络的情感分析方法，包含以下步骤：
步骤1，使用嵌入模块来捕获关于词序的上下文信息，包括：通过Glove+BILSTM方式或者BERT方式来获得句子中每个单词的上下文表示，得到预处理后的句子特征表示；
步骤2，构建基于方面词嵌入图卷积网络的情感分析模型，该模型利用双向图卷积网络收集句法信息和远程单词依存关系，并在之后采用Mask机制来获得面向方面的特征；然后对嵌入模块的输出以及经过Mask机制的双向图卷积网络输出添加方面词嵌入，分别作为方面嵌入层和图卷积嵌入层，并将方面嵌入层和图卷积嵌入层送入Attention机制，得到预测的最终表示；最后将得到的预测最终表示送入Softmax层，输出情感分类标签；
步骤3，进行模型训练，包括：将预处理后的数据随机打乱，并划分训练集和测试集，设置模型参数进行训练，测试每次训练的模型的分类准确率；
步骤4，将步骤3中训练得到的模型进行保存，并挑选分类准确率最高的模型进行方面级情感分析，具体是将待分类的语料经过步骤1处理后，输入到所述的分类准确率最高的模型中，该模型输出语料的情感类别标签。
进一步的，步骤1中所述的Glove+BILSTM方式，包括以下步骤：
首先，对输入的数据进行分词；
其次，统一句子长度n，对长度不足n的句子进行补零；对长度超过n的句子进行截断操作；n为正整数，n代表句子中单词的个数；
然后，通过Glove模型训练得到词向量，将单词表达成由实数组成的向量；将句子中的词按照次序进行连接操作，得到句子的矩阵表示形式；
最后，将Glove模型训练得到的词向量输入进BILSTM网络；BILSTM网络采用两个独立的LSTM网络进行特征提取，得到前向隐藏状态和后向隐藏状态，再将前向隐藏状态和后向隐藏状态拼接得到完整的句子特征表示。
进一步的，步骤1中所述的BERT方式，包括以下步骤：
首先，对输入的数据进行分词；
其次，根据BERT模型中的词汇表（vocab.txt）获取每个词的对应的索引；
然后，生成句子的位置编码；
最后，将对应词的索引以及位置编码输入进BERT模型，通过BERT模型后得到完整的句子特征表示。
进一步的，步骤2中，利用双向图卷积网络收集句法信息和远程单词依存关系的过程，包括以下步骤：
首先，给定一个有n个节点的图，图结构用一个n × n邻接矩阵A表示；如果存在从节点i到节点j的有向边，那么在L层GCN中，将输入向量表示为，输出向量表示为，图的卷积运算写成下式：
其中，A为邻接矩阵，，I为单位矩阵，双向图卷积网络由两个独立的GCN网络构成，分别是前向GCN网络F-GCN以及后向GCN网络B-GCN；对于F-GCN，邻接矩阵为A，对于B-GCN，邻接矩阵为/>；/>为非线性激活函数；/>为A的度矩阵；W为权重矩阵；
其次，引入位置编码在自然语言中建模，位置编码信息如下式所示：
其中，是第t个标记的位置权重；n为句子中单词的个数；i是目标词的起始位置；m是目标词的长度；/>为分配位置权重的函数；/>为得到的隐藏层句子表示；P为包含位置编码信息的隐藏层句子表示；
在双向图卷积网络中，由于一个方面的极性更有可能受到与该方面更接近的上下文单词的影响，所以引入了位置编码在自然语言中建模这一正常规则。
然后，分别使用F-GCN和B-GCN获得前向和后向的特征表示，再添加位置编码后，得到最终的特征表示，如下式所示：
其中，与/>为前向两层GCN的输出，/>与/>为后向两层GCN的输出；为RELU激活函数；/>为A的度矩阵；
最后，将F-GCN层与B-GCN层的输出进行拼接，得到整个BIGCN层的表示，如下式所示：
。
进一步的，在步骤2中，采用Mask机制来获得面向方面的特征，其过程为：
将BIGCN层的输出输入进Mask机制中，屏蔽掉非方面词的隐藏状态向量，保持方面词状态不变（为了隐去非方面词的隐藏状态向量），得到面向方面的特征。
进一步的，在步骤2中，所述的添加方面词嵌入，其过程如下：
首先，对步骤1中所述的嵌入模块的输出添加方面词嵌入，如下式所示：
其中，是加入了方面词嵌入之后的方面嵌入层表示；/>是嵌入模块的输出；/>是完整的方面词信息；
是方面嵌入层的特征表示；
由于方面词信息在方面级情感分析中有至关重要的作用，所以在此时对于嵌入模块的输出上添加方面词嵌入信息，这对于方面级情感分析的关键信息会有更完整的表示。而普遍的方面级情感分析在此时仅仅采用了单独的文本特征表示，缺乏方面词的完整信息，这也导致了情感分析的最终效果会有所折损。
然后，对所述的面向方面的特征添加方面词嵌入，如下式所示：
其中，是加入了方面词嵌入之后新的图卷积嵌入层表示；是BIGCN层经过MASK掩码机制之后新的句子隐藏状态向量；是图卷积嵌入层的特征表示。
在本步对于BIGCN的输出中同样添加了方面词嵌入，一部分原因是由于方面词信息的整体添加会与方面嵌入层进行对应；另一部分原因在于对接下来的Attention机制中，方面嵌入层与图卷积嵌入层的维度应该相等，这样才能使Attention机制发挥完整的作用，对于同一句子中出现多个方面词时，尽可能的避免不同方面词之间的噪声影响。而普遍的方面级情感分析方法中，对于方面词的完整信息的缺失则会使得同一句子中出现多个方面词时，出现更多的噪声影响。
进一步的，在步骤2中，所述的Attention机制，其过程如下：
采用基于搜索的注意力机制，将嵌入模块添加方面词嵌入的部分和BIGCN添加方面词嵌入的部分，送入Attention机制；Attention机制的计算如下式所示：
其中，r为预测的最终表示；表示目标词对于每个位置的注意力权重；/>表示目标词之后的位置的隐藏状态；/>表示表示句子中第i个位置的隐藏状态；/>表示位置t的归一化注意力权重；/>表示第i个位置的注意力权重；n为句子中单词的个数。
进一步的，在步骤2中，所述的送入Softmax层，输出情感分类标签，其过程如下：
首先将预测的最终表示r送入全连接层，再经过Softmax归一化层，以在极性决策空间上产生概率分布s，如下式所示：
其中，和/>分别是学习得到的权重和偏差。
进一步的，在步骤3中，设置模型参数进行训练的过程包括：在每次训练过程中，设置模型的数据批数量和数据迭代轮数；定义Loss为具有交叉熵损失和L2正则化的标准梯度下降算法，选择优化器；最后在10折交叉验证过后，得到10个模型的测试分类准确率。
本发明的有益效果：
（1）更多地关注整体方面词信息，方面词的情感倾向往往受到其周围上下文的影响，因此建模方面词时，需要保证各自方面词与对应的上下文信息关联，将方面词信息与上下文信息顺序对应匹配，得到整体的方面词信息，来提高方面词信息在方面级情感分析中的利用率。
（2）采用基于搜索的注意力机制时，在嵌入模块的隐藏层和BIGCN的输出层都增加了面向方面的整体信息嵌入，而在方面词整体嵌入时，如何准确地识别方面词，并将其有效地表示为模型可以处理的形式是重中之重，对句子中的方面词信息进行单独整合，以得到完整的方面词信息，并且将这部分信息利用到一种基于搜索的注意力机制中，当同一句子中出现多个方面词时，减少了不相关的方面词对当前关注的方面词的影响。
（3）在五个基准数据集上的实验结果证明了所提模型在方面级情感分析任务中的有效性。
附图说明
图1是本发明的中文情感倾向性分类方法整体流程图；
图2是模型整体框架图，其中，圆圈代表句子的特征表示，这些特征表示是通过词嵌入、上下文编码器（BERT）获得的句子级别的表示，每个小圆圈代表一个位置或一个词在句子中的表示；
图3是本发明与其他方法在数据集Laptop上的预测准确率对比图；
图4是本发明与其他方法在数据集Twitter上的预测准确率对比图；
图5是本发明与其他方法在数据集Rest14上的预测准确率对比图。
具体实施方式
如图1和图2所示，一种基于方面词嵌入图卷积网络的情感分析方法，包含以下步骤：
步骤1，使用嵌入模块来捕获关于词序的上下文信息，包括：通过Glove+BILSTM方式或者BERT方式来获得句子中每个单词的上下文表示，得到预处理后的句子特征表示；
其中，所述的Glove+BILSTM方式，包括以下步骤：
首先，对输入的数据进行分词；
其次，统一句子长度n，对长度不足n的句子进行补零；对长度超过n的句子进行截断操作；n为正整数，n代表句子中单词的个数；
然后，通过Glove模型训练得到词向量，将单词表达成由实数组成的向量；将句子中的词按照次序进行连接操作，得到句子的矩阵表示形式；
最后，将Glove模型训练得到的词向量输入进BILSTM网络；BILSTM网络采用两个独立的LSTM网络进行特征提取，得到前向隐藏状态和后向隐藏状态，再将前向隐藏状态和后向隐藏状态拼接得到完整的句子特征表示。
所述的BERT方式，包括以下步骤：
首先，对输入的数据进行分词；
其次，根据BERT模型中的词汇表（vocab.txt）获取每个词的对应的索引；
然后，生成句子的位置编码；
最后，将对应词的索引以及位置编码输入进BERT模型，通过BERT模型后得到完整的句子特征表示。
步骤2，构建基于方面词嵌入图卷积网络的情感分析模型，该模型利用双向图卷积网络收集句法信息和远程单词依存关系，并在之后采用Mask机制来获得面向方面的特征；然后对嵌入模块的输出以及经过Mask机制的双向图卷积网络输出添加方面词嵌入，分别作为方面嵌入层和图卷积嵌入层，并将方面嵌入层和图卷积嵌入层送入Attention机制，得到预测的最终表示；最后将得到的预测最终表示送入Softmax层，输出情感分类标签；
其中，利用双向图卷积网络收集句法信息和远程单词依存关系的过程，包括以下步骤：
首先，给定一个有n个节点的图，图结构用一个n × n邻接矩阵A表示；如果存在从节点i到节点j的有向边（有向边表示节点之间的连接关系是有方向的，即从节点i指向节点j的有向边。有向边的存在与否可以表示两个节点之间的关系或信息传递的方向性。在图结构中，有向边的存在表示节点之间的单向连接，而无向边表示节点之间的双向连接或无方向的关系），那么在L层GCN中，将输入向量表示为，输出向量表示为/>，图的卷积运算写成下式：
其中，A为邻接矩阵，，I为单位矩阵，双向图卷积网络由两个独立的GCN网络构成，分别是前向GCN网络F-GCN以及后向GCN网络B-GCN；对于F-GCN，邻接矩阵为A，对于B-GCN，邻接矩阵为/>；/>为非线性激活函数；/>为A的度矩阵；W为权重矩阵；
其次，引入位置编码在自然语言中建模，位置编码信息如下式所示：
其中，是第t个标记的位置权重；n为句子中单词的个数；i是目标词的起始位置；m是目标词的长度；/>为分配位置权重的函数；/>为得到的隐藏层句子表示；P为包含位置编码信息的隐藏层句子表示；
在双向图卷积网络中，由于一个方面的极性更有可能受到与该方面更接近的上下文单词的影响，所以引入了位置编码在自然语言中建模这一正常规则。
然后，分别使用F-GCN和B-GCN获得前向和后向的特征表示，再添加位置编码后，得到最终的特征表示，如下式所示：
其中，与/>为前向两层GCN的输出，/>与/>为后向两层GCN的输出；为RELU激活函数；/>为A的度矩阵；
最后，将F-GCN层与B-GCN层的输出进行拼接，得到整个BIGCN层的表示，如下式所示：
。
采用Mask机制来获得面向方面的特征，其过程为：
将BIGCN层的输出输入进Mask机制中，屏蔽掉非方面词的隐藏状态向量，保持方面词状态不变（为了隐去非方面词的隐藏状态向量），得到面向方面的特征。
所述的添加方面词嵌入，其过程如下：
首先，对步骤1中所述的嵌入模块的输出添加方面词嵌入，如下式所示：
其中，是加入了方面词嵌入之后的方面嵌入层表示；/>是嵌入模块的输出；/>是完整的方面词信息；
是方面嵌入层的特征表示；
由于方面词信息在方面级情感分析中有至关重要的作用，所以在此时对于嵌入模块的输出上添加方面词嵌入信息，这对于方面级情感分析的关键信息会有更完整的表示。而普遍的方面级情感分析在此时仅仅采用了单独的文本特征表示，缺乏方面词的完整信息，这也导致了情感分析的最终效果会有所折损。
然后，对上文所述的面向方面的特征添加方面词嵌入，如下式所示：
其中，是加入了方面词嵌入之后新的图卷积嵌入层表示；是BIGCN层经过MASK掩码机制之后新的句子隐藏状态向量；是图卷积嵌入层的特征表示。
在本步对于BIGCN的输出中同样添加了方面词嵌入，一部分原因是由于方面词信息的整体添加会与方面嵌入层进行对应；另一部分原因在于对接下来的Attention机制中，方面嵌入层与图卷积嵌入层的维度应该相等，这样才能使Attention机制发挥完整的作用，对于同一句子中出现多个方面词时，尽可能的避免不同方面词之间的噪声影响。而普遍的方面级情感分析方法中，对于方面词的完整信息的缺失则会使得同一句子中出现多个方面词时，出现更多的噪声影响。
所述的Attention机制，其过程如下：
采用基于搜索的注意力机制，将嵌入模块添加方面词嵌入的部分和BIGCN添加方面词嵌入的部分，送入Attention(注意力机制)机制；Attention机制的计算如下式所示：
其中，r为预测的最终表示；表示目标词对于每个位置的注意力权重；/>表示目标词之后的位置的隐藏状态；/>表示表示句子中第i个位置的隐藏状态；/>表示位置t的归一化注意力权重；/>表示第i个位置的注意力权重；n为句子中单词的个数。
所述的送入Softmax层，输出情感分类标签，其过程如下：
首先将预测的最终表示r送入全连接层，再经过Softmax归一化层，以在极性决策空间上产生概率分布s，如下式所示：
其中，和/>分别是学习得到的权重和偏差。
步骤3，进行模型训练，包括：将预处理后的数据随机打乱，并划分训练集和测试集，设置模型参数进行训练，测试每次训练的模型的分类准确率；
其中，设置模型参数进行训练的过程包括：在每次训练过程中，设置模型的数据批数量和数据迭代轮数；定义Loss为具有交叉熵损失和L2正则化的标准梯度下降算法，选择优化器；最后在10折交叉验证（10折交叉验证是一种常用的模型评估方法，用于评估机器学习模型的性能和泛化能力。在10折交叉验证中，将原始数据集随机分成10个大小相等的子集，其中9个子集作为训练集，剩余的1个子集作为测试集。然后，重复进行10次训练和测试，每次选取不同的子集作为测试集，最终得到10个模型的性能评估结果。最后，将这10个评估结果进行平均，得到模型在整个数据集上的性能指标）过后，得到10个模型的测试分类准确率。
步骤4，将步骤3中训练得到的模型进行保存，并挑选分类准确率最高的模型进行方面级情感分析，具体是将待分类的语料经过步骤1处理后，输入到所述的分类准确率最高的模型中，该模型输出语料的情感类别标签。
为了验证本方法的有效性，在方面级情感分析的五个官方数据集上进行试验，分别为：Laptop、Twitter、Rest14、Rest15、Rest16。
本方法词向量采用两种方式进行了实验：分别是Glove+BILSTM方法和BERT方法。
步骤（1）：数据预处理。
对各个数据集采用嵌入模块获取词向量，当采用Glove+BILSTM方式时，Glove采用300维词向量，所有不在词向量字典中的词，均随机初始化[-1 ,1]间均匀分布的300维词向量。
步骤（2）：构建基于方面词嵌入图卷积网络的方面级情感分析模型。
步骤（3）：训练模型。
设定超参数，将训练集输入到情感分析模型中，得到损失函数值，每批数量batch＝32，不断迭代指导模型loss到达稳定极小值。然后对各个模型进行分类准确率测试，选择10次结果中准确率最高的模型作为方法最终的模型。
步骤（4）：预测。
模型训练完成后，将准备预测的测试集输入模型，即可得到准确率和损失函数值。数据集Laptop、Twitter、Rest14、Rest15、Rest16在提出模型下的准确率及和其他模型的准确率对比如图3-图5所示。
Claims (7)
1.一种基于方面词嵌入图卷积网络的情感分析方法，其特征在于，包含以下步骤：
步骤1，使用嵌入模块来捕获关于词序的上下文信息，包括：通过Glove+BILSTM方式或者BERT方式来获得句子中每个单词的上下文表示，得到预处理后的句子特征表示；
步骤2，构建基于方面词嵌入图卷积网络的情感分析模型，该模型利用双向图卷积网络收集句法信息和远程单词依存关系，并在之后采用Mask机制来获得面向方面的特征；然后对嵌入模块的输出以及经过Mask机制的双向图卷积网络输出添加方面词嵌入，分别作为方面嵌入层和图卷积嵌入层，并将方面嵌入层和图卷积嵌入层送入Attention机制，得到预测的最终表示；最后将得到的预测最终表示送入Softmax层，输出情感分类标签；
步骤3，进行模型训练，包括：将预处理后的数据随机打乱，并划分训练集和测试集，设置模型参数进行训练，测试每次训练的模型的分类准确率；
步骤4，将步骤3中训练得到的模型进行保存，并挑选分类准确率最高的模型进行方面级情感分析，具体是将待分类的语料经过步骤1处理后，输入到所述的分类准确率最高的模型中，该模型输出语料的情感类别标签；
在步骤2中，采用Mask机制来获得面向方面的特征，其过程为：
将BIGCN层的输出输入进Mask机制中，屏蔽掉非方面词的隐藏状态向量，保持方面词状态不变，得到面向方面的特征；所述的添加方面词嵌入，其过程如下：首先，对步骤1中所述的嵌入模块的输出添加方面词嵌入，如下式所示：；
其中，是加入了方面词嵌入之后的方面嵌入层表示；/> 是嵌入模块的输出；/>是完整的方面词信息；
是方面嵌入层的特征表示；
然后，对所述的面向方面的特征添加方面词嵌入，如下式所示：；
其中，是加入了方面词嵌入之后新的图卷积嵌入层表示；/>是BIGCN层经过MASK掩码机制之后新的句子隐藏状态向量；/>是图卷积嵌入层的特征表示。
2.如权利要求1所述的基于方面词嵌入图卷积网络的情感分析方法，其特征在于，步骤1中所述的Glove+BILSTM方式，包括以下步骤：
首先，对输入的数据进行分词；
其次，统一句子长度n，对长度不足n的句子进行补零；对长度超过n的句子进行截断操作；n为正整数，n代表句子中单词的个数；
然后，通过Glove模型训练得到词向量，将单词表达成由实数组成的向量；将句子中的词按照次序进行连接操作，得到句子的矩阵表示形式；
最后，将Glove模型训练得到的词向量输入进BILSTM网络；BILSTM网络采用两个独立的LSTM网络进行特征提取，得到前向隐藏状态和后向隐藏状态，再将前向隐藏状态和后向隐藏状态拼接得到完整的句子特征表示。
3.如权利要求1所述的基于方面词嵌入图卷积网络的情感分析方法，其特征在于，步骤1中所述的BERT方式，包括以下步骤：
首先，对输入的数据进行分词；
其次，根据BERT模型中的词汇表获取每个词的对应的索引；
然后，生成句子的位置编码；
最后，将对应词的索引以及位置编码输入进BERT模型，通过BERT模型后得到完整的句子特征表示。
4.如权利要求1所述的基于方面词嵌入图卷积网络的情感分析方法，其特征在于，步骤2中，利用双向图卷积网络收集句法信息和远程单词依存关系的过程，包括以下步骤：
首先，给定一个有n个节点的图，图结构用一个n × n邻接矩阵A表示；如果存在从节点i到节点j的有向边，那么在L层GCN中，将输入向量表示为，输出向量表示为/>，图的卷积运算写成下式：/>；
其中，A为邻接矩阵，为单位矩阵，双向图卷积网络由两个独立的GCN网络构成，分别是前向GCN网络F-GCN以及后向GCN网络B-GCN；对于F-GCN，邻接矩阵为A，对于B-GCN，邻接矩阵为/>；/>为非线性激活函数；/>为A的度矩阵；W为权重矩阵；
其次，引入位置编码在自然语言中建模，位置编码信息如下式所示：；
其中，是第t个标记的位置权重；n为句子中单词的个数；i是目标词的起始位置；m是目标词的长度；/>为分配位置权重的函数；/>为得到的隐藏层句子表示；P为包含位置编码信息的隐藏层句子表示；
然后，分别使用F-GCN和B-GCN获得前向和后向的特征表示，再添加位置编码后，得到最终的特征表示，如下式所示：；
其中，与/>为前向两层GCN的输出，/>与/>为后向两层GCN的输出；/>为RELU激活函数；/>为A的度矩阵；
最后，将F-GCN层与B-GCN层的输出进行拼接，得到整个BIGCN层的表示，如下式所示：；
5.如权利要求1所述的基于方面词嵌入图卷积网络的情感分析方法，其特征在于，在步骤2中，所述的Attention机制，其过程如下：
采用基于搜索的注意力机制，将嵌入模块添加方面词嵌入的部分和BIGCN添加方面词嵌入的部分，送入Attention机制；Attention机制的计算如下式所示：；
其中，r为预测的最终表示；表示目标词对于每个位置的注意力权重；/>表示目标词之后的位置的隐藏状态；/>表示表示句子中第i个位置的隐藏状态；/>表示位置t的归一化注意力权重；/>表示第i个位置的注意力权重；n为句子中单词的个数。
6.如权利要求1所述的基于方面词嵌入图卷积网络的情感分析方法，其特征在于，在步骤2中，所述的送入Softmax层，输出情感分类标签，其过程如下：
首先将预测的最终表示r送入全连接层，再经过Softmax归一化层，以在极性决策空间上产生概率分布s，如下式所示：；
其中，和/>分别是学习得到的权重和偏差。
7.如权利要求1所述的基于方面词嵌入图卷积网络的情感分析方法，其特征在于，在步骤3中，设置模型参数进行训练的过程包括：在每次训练过程中，设置模型的数据批数量和数据迭代轮数；定义Loss为具有交叉熵损失和L2正则化的标准梯度下降算法，选择优化器；最后在10折交叉验证过后，得到10个模型的测试分类准确率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310788453.4A CN116561323B (zh) | 2023-06-30 | 2023-06-30 | 一种基于方面词嵌入图卷积网络的情感分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310788453.4A CN116561323B (zh) | 2023-06-30 | 2023-06-30 | 一种基于方面词嵌入图卷积网络的情感分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116561323A CN116561323A (zh) | 2023-08-08 |
| CN116561323B true CN116561323B (zh) | 2023-09-19 |
Family
ID=87486401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310788453.4A Active CN116561323B (zh) | 2023-06-30 | 2023-06-30 | 一种基于方面词嵌入图卷积网络的情感分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116561323B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110866405A (zh) * | 2019-11-14 | 2020-03-06 | 电子科技大学 | 一种基于语句信息的方面级情感分类方法 |
| CN113343665A (zh) * | 2021-05-14 | 2021-09-03 | 合肥工业大学 | 基于方面级细粒度的商品评论情感分析方法和系统 |
| CN113361258A (zh) * | 2021-05-17 | 2021-09-07 | 山东师范大学 | 基于图卷积网络和选择注意力的方面级情感分析方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11010559B2 (en) * | 2018-08-30 | 2021-05-18 | International Business Machines Corporation | Multi-aspect sentiment analysis by collaborative attention allocation |
| US11868730B2 (en) * | 2020-09-23 | 2024-01-09 | Jingdong Digits Technology Holding Co., Ltd. | Method and system for aspect-level sentiment classification by graph diffusion transformer |
-
2023
- 2023-06-30 CN CN202310788453.4A patent/CN116561323B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110866405A (zh) * | 2019-11-14 | 2020-03-06 | 电子科技大学 | 一种基于语句信息的方面级情感分类方法 |
| CN113343665A (zh) * | 2021-05-14 | 2021-09-03 | 合肥工业大学 | 基于方面级细粒度的商品评论情感分析方法和系统 |
| CN113361258A (zh) * | 2021-05-17 | 2021-09-07 | 山东师范大学 | 基于图卷积网络和选择注意力的方面级情感分析方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| Du, Hui et al..Aspect-specific Sentimental Word Embedding for Sentiment Analysis of Online Reviews.PROCEEDINGS OF THE 25TH INTERNATIONAL CONFERENCE ON WORLD WIDE WEB (WWW'16 COMPANION).2016,第29-30页. * |
| 基于词嵌入与记忆网络的方面情感分类;刘一伊;张瑾;余智华;刘悦;程学旗;;模式识别与人工智能(12);第1093-1099页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116561323A (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110929030B (zh) | 一种文本摘要和情感分类联合训练方法 | |
| Oord et al. | Representation learning with contrastive predictive coding | |
| CN110245229B (zh) | 一种基于数据增强的深度学习主题情感分类方法 | |
| CN111241294B (zh) | 基于依赖解析和关键词的图卷积网络的关系抽取方法 | |
| CN109800434B (zh) | 基于眼动注意力的抽象文本标题生成方法 | |
| CN112215013B (zh) | 一种基于深度学习的克隆代码语义检测方法 | |
| CN112749274B (zh) | 基于注意力机制和干扰词删除的中文文本分类方法 | |
| Suman et al. | Why pay more? A simple and efficient named entity recognition system for tweets | |
| CN112232087A (zh) | 一种基于Transformer的多粒度注意力模型的特定方面情感分析方法 | |
| CN113987187A (zh) | 基于多标签嵌入的舆情文本分类方法、系统、终端及介质 | |
| Zhang et al. | Exploring deep recurrent convolution neural networks for subjectivity classification | |
| CN112818698A (zh) | 一种基于双通道模型的细粒度的用户评论情感分析方法 | |
| CN111145914B (zh) | 一种确定肺癌临床病种库文本实体的方法及装置 | |
| CN109446326A (zh) | 基于复制机制的生物医学事件联合抽取方法 | |
| Xu et al. | A FOFE-based local detection approach for named entity recognition and mention detection | |
| CN115759119A (zh) | 一种金融文本情感分析方法、系统、介质和设备 | |
| CN117094291B (zh) | 基于智能写作的自动新闻生成系统 | |
| CN117236338B (zh) | 一种稠密实体文本的命名实体识别模型及其训练方法 | |
| Vo | Se4exsum: An integrated semantic-aware neural approach with graph convolutional network for extractive text summarization | |
| CN111159405B (zh) | 基于背景知识的讽刺检测方法 | |
| Hu et al. | Emotion prediction oriented method with multiple supervisions for emotion-cause pair extraction | |
| CN116561323B (zh) | 一种基于方面词嵌入图卷积网络的情感分析方法 | |
| CN113222059B (zh) | 利用协作式神经网络链的多标签情感分类方法 | |
| CN115510230A (zh) | 一种基于多维特征融合与比较增强学习机制的蒙古语情感分析方法 | |
| CN112732903A (zh) | 即时通信信息取证过程中证据分类方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |