CN114662503A - 一种基于lstm和语法距离的方面级情感分析方法 - Google Patents
一种基于lstm和语法距离的方面级情感分析方法 Download PDFInfo
- Publication number
- CN114662503A CN114662503A CN202210362526.9A CN202210362526A CN114662503A CN 114662503 A CN114662503 A CN 114662503A CN 202210362526 A CN202210362526 A CN 202210362526A CN 114662503 A CN114662503 A CN 114662503A
- Authority
- CN
- China
- Prior art keywords
- words
- context
- word
- layer
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 45
- 238000004458 analytical method Methods 0.000 title claims abstract description 32
- 239000013598 vector Substances 0.000 claims abstract description 21
- 230000003993 interaction Effects 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000011176 pooling Methods 0.000 claims abstract description 4
- 230000014509 gene expression Effects 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 claims description 10
- 230000000873 masking effect Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 5
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/253—Grammatical analysis; Style critique
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于LSTM和语法距离的方面级情感分析方法，包括S1:特征输入：使用GloVe预训练模型对词向量进行映射，再分别让方面词和上下文词经过Bi‑LSTM，得到方面词和上下文的隐藏表示；S2:语义特征提取：采用图卷积网络和mLSTM分别提取方面词和上下文的语义特征；S3:方面词和上下文词语义交互阶段:将S2提取到的方面词和上下文的特征进行一个点积注意力操作；S4:情感预测阶段:对S3中得到的特征进行一个最大池化操作后，再通过softmax操作得到最终预测的情感极性。提升了方面词与重要上下文正确匹配的概率，并通过引入语法距离权重代替相对距离，进一步在语法层面上提取与方面词语法关联程度大的上下文，最终提升了方面级情感分析的准确率。
Description
技术领域
本发明涉及一种基于LSTM和语法距离的方面级情感分析方法，主要涉及自然语言领域。
背景技术
与传统情感分析不同的是，方面级情感分析(Aspect-Based SentimentAnalysis,ABSA)由于能分析出句子中特定方面的情感而受到广泛研究。近年来，深度学习方法被广泛用于方面级情感分析，并且大多依赖于长短时记忆网络(Long-Short TermMemory,LSTM)和注意力机制。LSTM由于可以避免梯度消失或爆炸的问题被广泛用于特征提取。Tang等使用LSTM的隐藏表示预测情感。Ruder等使用双向长短时记忆网络(Bidirectional LSTM,Bi-LSTM)获得了更好的分类效果。Li等提出了特定目标的转换网络(Target-Specific Transformation Networks,Tnet)，将上下文特征和转换后的特征卷积以获取最终表示。但以上模型采用传统的LSTM，同等地看待上下文词，无法准确的匹配与方面词更相关的上下文词。因此，Wang等引入注意力机制，并将方面嵌入直接拼接到上下文嵌入中，取得了不错的效果，证明了注意力机制在ABSA中的作用。Xu等结合局部上下文焦点和依赖集群构建注意力用于方面级情感分析。Basiri基于注意力机制，构建了一种融合CNN与RNN的情感分析模型。Tang等提出深度记忆网络(Deep Memory Network,MemNet),采用多层注意力分配上下文权重获得了更好的分类效果。但是以上模型采用的注意力机制忽略了方面词与上下文的交互，限制了分类性能。为了实现方面词与上下文的交互，获取更好的特征表示，Ma等和Huang等分别提出了交互注意力网络(Interactive Attention networks,IAN)和双重注意力网络(Attention-over-Attention,AOA)。让方面词与上下文词分别参与对方的建模，进一步提高了分类性能。然而，这些交互注意力机制由于没有逐词地计算方面词与上下文的一致性，可能错误地关联与方面词不相关的上下文词，限制了分类性能，此外，也缺少对语法特征的分析。图卷积网络(Graph Convolutional Networks,GCN)由于能够捕获单词间的语法特征而被应用于ABSA。Zhou提出一种基于语法和知识的图卷积网络。Zhu提出一种利用局部和全局信息引导图卷积网络构建的模型。Zhang等提出了特定方面的图卷积网络(Aspect-specific GCN,ASGCN)，用GCN提取到方面词特征后再反馈给上下文表示，获得交互注意力权重作为情感分类的依据，取得了不错的效果。但是，上述及现有方法在进行ABSA任务是会存在以下缺陷：
(1)使用相对位置权重，缺乏语法距离的考虑，很可能错误地将方面词与语法上关联度不高的上下文错误匹配，导致情感分类错误。
(2)大部分方法缺乏方面词和上下文词的交互，很容易使得方面词匹配到与其情感极性判断无关的上下文词，影响情感极性的判断。
(3)在获取最终表示时，仅考虑方面词和上下文词的特征表示，忽略了其他特征。
因此，亟需一种能够同时解决上述缺陷的方面级情感分析方法。
发明内容
针对以上现有技术的不足，本发明提出一种基于LSTM和语法距离的方面级情感分析方法，从语义上改进了方面词和上下文错误匹配的情况，提升了方面词和上下文词的语义关联性；从语法上改进了图卷积网络的输入，使得方面词和上下文词的语法关联性更高；并在最终的信息交互时，使得位置权重层的输出也参与信息交互，从而获取了更多的位置权重特征。
为达到上述目的，本发明的技术方案是：
一种基于LSTM和语法距离的方面级情感分析方法，其特征在于，包括以下步骤：
S1:特征输入：使用GloVe预训练模型对词向量进行映射，再分别让方面词和上下文词经过Bi-LSTM，得到方面词和上下文的隐藏表示；
S2:语义特征提取：采用图卷积网络和mLSTM分别提取方面词和上下文的语义特征；
S3:方面词和上下文词语义交互阶段:将S2提取到的方面词和上下文的特征进行一个点积注意力操作；
S4:情感预测阶段:对S3中得到的特征进行一个最大池化操作后，再通过softmax操作得到最终预测的情感极性。
优选地，步骤S1中，使用GloVe预训练模型，将待进行情感分析的句子中每个词转换为词向量，并采用Bi-LSTM得到方面词和上下文词的隐藏表示。
优选地，步骤S2中，采用图卷积网络和mLSTM分别提取方面词和上下文的语义特征，具体包括：将步骤S1中得到的方面词的隐藏表示同上下文词逐一地计算关联程度，得到方面词对于上下文词的注意力向量，并将该注意力向量与上下文词的隐藏表示拼接起来，作为mLSTM的输入，得到含有更多方面信息的上下文词的特征表示；然后使用spaCy进行语法依赖分析得到语法依赖树，并引入语法距离作为位置权重，使得在语法依赖树上与方面词距离更近的上下文词获得更大的权重，同时与上下文词的最终表示和经过语法依赖树构建的邻接矩阵一同作为图卷积网络的输入，经由图卷积网络获取不相邻单词之间的依赖关系并获取到丰富的语法特征；然后经过方面掩盖层过滤掉非方面词，得到方面词的隐藏表示；然后将得到的上下文词表示、方面词表示和语法距离权重进行信息交互，用于方面级情感分析。
优选地，所述的模型包括mLSTM层，位置权重层，图卷积层，方面掩盖层和信息交互层。
优选地，所述的mLSTM层计算过程包括：
将通过Bi-LSTM得到的方面词和上下文词的隐藏表示
和
逐一的计算二者之间的关联性，表达式为：
其中，αkj是用来编码上下文词
和方面词
之间的的注意权重，表达式为：
其中，ekj，用来获取上下文词
与不同方面词之间的关联，表达式为：
其中,we和所有的参数矩阵W*均为可学习的权重矩阵。
是由mLSTM产生的第k个位置的隐藏状态；
然后将上下文中第k个单词的关于方面词的注意力权重ak与上下文中第k个单词的隐藏状态
融合起来，作为mLSTM的输入mk。经过mLSTM得到含有方面信息的上下文表示
优选地，步骤S2中，引入语法距离权重代替相等距离，使得与方面词的语法关联更大的上下文词能够获得更大的权重，优化图卷积网络的输入，经过图卷积网络得到含有丰富语法特征的句子表示后，又通过方面掩盖层过滤掉非方面词，得到方面表示。
优选地，语法距离权重由语法依赖树得到，其表达式为：
其中，di,a为上下文中第k个单词
与方面词的语法距离，dmax表示DS,a中语法距离的最大值。然后位置权重层将语法距离权重与上下文的最终表示作为输入，得到位置权重层的输出：
其中
将位置权重层的输出Hpm、上下文的隐藏表示Hm和句子依赖树的邻接矩阵Aij作为图卷积网络的输入。假设图卷积网络为L层，则图卷积网络更新规则的表达式为：
其中，
为第l层图卷积网络的第i个节点的隐藏表示,
表示第(l-1)层的第j个节点的隐藏表示；Aij是n*n的邻接矩阵，由句法依赖树得到；Aij＝1表示节点i和节点j之间有连接；自环设定为1；Wl是权重矩阵，bl为偏差项，Wl和bl都是可训练的；
表示与第i个节点相关联的边数；
最后得到L层图卷积网络的隐藏表示为
方面掩盖层只让方面的隐藏表示通过，而对于非方面的单词，则不能通过；经过方面掩盖层的隐藏表示为
其表达式为：
其中，
代表方面词t的隐藏表示，τ+1表示方面词的起始位置，τ+q表示方面词的结束位置。
优选地，所述的信息交互层使用上下文表示Hm、位置权重层Hpm和方面特征表示
得到最终的注意力权重ra，其流程为：
然后情感分类层以最终的注意力权重ra作为输入，使用softmax函数获取到情感的概率分布p；
p＝softmax(Wpra+bp)
其中，权重矩阵Wp和偏置项bp为可训练的。
优选地，步骤S4中，在训练阶段采用交叉熵和L2正则化来计算预测标签和真实标签之间的损失值，并通过Dropout机制防止模型过拟合；在测试阶段根据预测值来评价模型的效果。
本发明的技术原理及有益效果如下：
1、使用mLSTM将方面词逐一地与上下文词计算相关性，得到注意力向量，并将该注意力向量与上下文表示拼接起来，作为mLSTM的输入，以获取到与方面词关联性更高的上下文表示，从而减少方面词与不相关上下文错误匹配的概率；
2、引入语法距离权重代替相对距离权重，并使用该权重优化图卷积网络的输入，保证了语法距离小的上下文具有更大的位置权重，可以减小与目标方面无关的其他方面的情感词的影响；
3、在计算最终的交互信息时，增加了位置权重层的输出，充分利用了文本提供的有用信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的其中两幅，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1融合mLSTM和语法距离的图卷积网络；
图2“food”的句法依赖树。
具体实施方式
下面将结合附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的较佳实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1所示，本发明实施例一种基于LSTM和语法距离的方面级情感分析方法，其特征在于，包括以下步骤：
S1:特征输入：使用GloVe预训练模型对词向量进行映射，再分别让方面词和上下文词经过Bi-LSTM，得到方面词和上下文的隐藏表示。
用高维的数字向量表示每一句话中的单词，并采用GloVe词嵌入进行词向量映射，然后将该映射作为方面级情感分析的输入，并进行一次Bi-LSTM层的计算，分别得到含有方面词和上下文语义信息的隐藏表示。
S2:语义特征提取：采用图卷积网络和mLSTM分别提取方面词和上下文的语义特征；
S3:方面词和上下文词语义交互阶段:将S2提取到的方面词和上下文的特征进行一个点积注意力操作；
S4:情感预测阶段:对S3中得到的特征进行一个最大池化操作后，再通过softmax操作得到最终预测的情感极性。
步骤S1中，使用GloVe预训练模型，将待进行情感分析的句子中每个词转换为词向量，并采用Bi-LSTM得到方面词和上下文词的隐藏表示。
步骤S1，用高维的数字向量表示每一句话中的单词，并采用GloVe词嵌入进行词向量映射，然后将该映射作为方面级情感分析的输入，并进行一次Bi-LSTM层的计算，分别得到含有方面词和上下文语义信息的隐藏表示。
步骤S2中，采用图卷积网络和mLSTM分别提取方面词和上下文的语义特征，具体包括：将步骤S1中得到的方面词的隐藏表示，同上下文词逐一地计算关联程度，得到方面词对于上下文词的注意力向量，并将该注意力向量与上下文词的隐藏表示拼接起来，作为mLSTM的输入，得到含有更多方面信息的上下文词的特征表示；然后使用spaCy进行语法依赖分析得到语法依赖树，并引入语法距离作为位置权重，使得在语法依赖树上与方面词距离更近的上下文词获得更大的权重，并将经过mLSTM得到的上下文隐藏表示与语法距离权重作为位置权重层的输入，经过位置权重层的输出连同邻接矩阵作为图卷积网络的输入，得到含有丰富语法特征的句子表示，再通过方面掩盖层过滤掉上下文词，得到方面词的特征表示。
所述的模型包括mLSTM层，位置权重层，图卷积层，方面掩盖层和信息交互层。
所述的mLSTM层计算过程包括：
将通过Bi-LSTM得到的方面词和上下文词的隐藏表示
和
逐一的计算二者之间的关联性，表达式为：
其中，αkj是用来编码上下文词
和方面词
之间的的注意权重，表达式为：
其中，ekj，用来获取上下文词
与不同方面词之间的关联，表达式为：
其中,we和所有的参数矩阵W*均为可学习的权重矩阵。
是由mLSTM产生的第k个位置的隐藏状态；
然后将上下文中第k个单词的关于方面词的注意力权重ak与上下文中第k个单词的隐藏状态
融合起来，作为mLSTM的输入mk。经过mLSTM得到含有方面信息的上下文表示
步骤S2中，引入语法距离权重代替相等距离，使得与方面词的语法关联更大的上下文词能够获得更大的权重，优化图卷积网络的输入，经过图卷积网络得到含有丰富语法特征的句子表示后，又通过方面掩盖层过滤掉非方面词，得到方面表示。
语法距离权重由语法依赖树得到，其表达式为：
其中，di,a为上下文中第k个单词
与方面词的语法距离，dmax表示DS,a中语法距离的最大值。然后位置权重层将语法距离权重与上下文的最终表示作为输入，得到位置权重层的输出：
其中
将位置权重层的输出Hpm、上下文的隐藏表示Hm和句子依赖树的邻接矩阵Aij作为图卷积网络的输入。假设图卷积网络为L层，则图卷积网络更新规则的表达式为：
其中，
为第l层图卷积网络的第i个节点的隐藏表示,
表示第(l-1)层的第j个节点的隐藏表示；Aij是n*n的邻接矩阵，由句法依赖树得到；Aij＝1表示节点i和节点j之间有连接；自环设定为1；Wl是权重矩阵，bl为偏差项，Wl和bl都是可训练的；
表示与第i个节点相关联的边数；
最后得到L层图卷积网络的隐藏表示为
方面掩盖层只让方面的隐藏表示通过，而对于非方面的单词，则不能通过；经过方面掩盖层的隐藏表示为
其表达式为：
其中，
代表方面词t的隐藏表示，τ+1表示方面词的起始位置，τ+q表示方面词的结束位置。
所述的信息交互层使用上下文表示Hm、位置权重层Hpm和方面特征表示
得到最终的注意力权重ra，其流程为：
然后情感分类层以最终的注意力权重ra作为输入，使用softmax函数获取到情感的概率分布p；
p＝softmax(Wpra+bp)
其中，权重矩阵Wp和偏置项bp为可训练的。
步骤S3，将(2)得到的方面词和上下文的隐藏表示进行点积注意力操作，获取对于方面词的情感判断重要的信息。
步骤S4中，在训练阶段采用交叉熵和L2正则化来计算预测标签和真实标签之间的损失值，并通过Dropout机制防止模型过拟合；在测试阶段根据预测值来评价模型的效果。
步骤S4在训练阶段采用交叉熵和L2正则化来计算预测标签和真实标签之间的损失值，并通过Dropout机制防止模型过拟合；在测试阶段根据预测值来评价模型的效果。
从语义上改进了方面词和上下文错误匹配的情况，提升了方面词和上下文词的语义关联性；从语法上改进了图卷积网络的输入，使得方面词和上下文词的语法关联性更高；并在最终的信息交互时，使得位置权重层的输出也参与信息交互，从而获取了更多的位置权重特征。
提升了方面词与重要上下文正确匹配的概率，并通过引入语法距离权重代替相对距离，进一步在语法层面上提取与方面词语法关联程度大的上下文，最终提升了方面级情感分析的准确率。
本发明方法的实施过程包括如下具体步骤：
步骤1：对长度为n的语句
其中方面词表示为
由GloVe预训练模型分别得到方面词和上下文的词向量
和
后，经过Bi-LSTM，分别得到方面词的隐藏表示
和上下文隐藏表示
步骤2：使用
和
分别表示方面词
和上下文词
的隐藏状态。用ak表示方面隐藏状态对上下文中单词
的注意力向量，其表达式为：
其中，αkj是用来编码上下文词
和方面词
之间的的注意权重，其表达式为：
其中，ekj，用来获取上下文词
与不同方面词之间的关联，其表达式为：
其中,we和所有的参数矩阵W*均为可学习的权重矩阵。
是由mLSTM产生的第k个位置的隐藏状态。这里，将上下文中第k个单词的关于方面词的注意力权重ak与上下文中第k个单词的隐藏状态
融合起来，作为mLSTM的输入mk。
最后得到逐词匹配后上下文词的隐藏表示
其次，在获取方面词的特征表示时，用spaCy构建语法依赖树，再使用语法依赖树得到上下文词
的权重值lk为：
其中dk,a为上下文中第k个单词
与方面词的语法距离，dmax表示DS,a中语法距离的最大值。保证了语法距离小的上下文具有更大的位置权重，可以减小与目标方面无关的其他方面的情感词的影响。
位置权重层的输出为
其中
使用图卷积网络来获取情感特征。将位置权重层的输出Hpm、上下文的隐藏表示Hm和句子依赖树的邻接矩阵Aij作为图卷积网络的输入。假设图卷积网络为L层，则图卷积网络更新规则的表达式为：
其中，
为第l层图卷积网络的第i个节点的隐藏表示,
表示第(l-1)层的第j个节点的隐藏表示。Aij是n*n的邻接矩阵，由句法依赖树得到。Aij＝1表示节点i和节点j之间有连接。特别地，自环设定为1。Wl是权重矩阵，bl为偏差项，Wl和bl都是可训练的。
表示与第i个节点相关联的边数。
最后得到L层图卷积网络的隐藏表示为
方面掩盖层只让方面的隐藏表示通过，而对于非方面的单词，则不能通过。经过方面掩盖层的隐藏表示
其表达式为：
其中，
代表方面词t的隐藏表示，τ+1表示方面词的起始位置，τ+q表示方面词的结束位置。
步骤3:在计算最终的注意力权重时，本文考虑了包含上下文语义，位置权重和带有语法信息的方面特征等多重因素，充分利用了文本信息。使用上下文表示Hm、位置权重层Hpm和方面特征表示
得到最终的注意力权重ra。
步骤4:对于上一层得到的最终的注意力权重ra进行softmax操作得到用于情感极性分类的最终表示，其表达式为：
p＝softmax(Wpra+bp)
其中，权重矩阵Wp和偏置项bp为可训练的。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于LSTM和语法距离的方面级情感分析方法，其特征在于，包括以下步骤：
S1:特征输入：使用GloVe预训练模型对词向量进行映射，再分别让方面词和上下文词经过Bi-LSTM，得到方面词和上下文的隐藏表示；
S2:语义特征提取：采用图卷积网络和mLSTM分别提取方面词和上下文的语义特征；
S3:方面词和上下文词语义交互阶段:将S2提取到的方面词和上下文的特征进行一个点积注意力操作；
S4:情感预测阶段:对S3中得到的特征进行一个最大池化操作后，再通过softmax操作得到最终预测的情感极性。
2.根据权利要求1所述的一种基于LSTM和语法距离的方面级情感分析方法，其特征在于：步骤S1中，使用GloVe预训练模型，将待进行情感分析的句子中每个词转换为词向量，并采用Bi-LSTM得到方面词和上下文词的隐藏表示。
3.根据权利要求1所述的一种基于LSTM和语法距离的方面级情感分析方法，其特征在于：步骤S2中，采用图卷积网络和mLSTM分别提取方面词和上下文的语义特征，具体包括：将步骤S1中得到的方面词的隐藏表示同上下文词逐一地计算关联程度，得到方面词对于上下文词的注意力向量，并将该注意力向量与上下文词的隐藏表示拼接起来，作为mLSTM的输入，得到含有更多方面信息的上下文词的特征表示；然后使用spaCy进行语法依赖分析得到语法依赖树，并引入语法距离作为位置权重，使得在语法依赖树上与方面词距离更近的上下文词获得更大的权重，同时与上下文词的最终表示和经过语法依赖树构建的邻接矩阵一同作为图卷积网络的输入，经由图卷积网络获取不相邻单词之间的依赖关系并获取到丰富的语法特征；然后经过方面掩盖层过滤掉非方面词，得到方面词的隐藏表示；然后将得到的上下文词表示、方面词表示和语法距离权重进行信息交互，用于方面级情感分析。
4.根据权利要求3所述的一种基于LSTM和语法距离的方面级情感分析方法，其特征在于：
所述的模型包括mLSTM层，位置权重层，图卷积层，方面掩盖层和信息交互层。
5.根据权利要求4所述的一种基于LSTM和语法距离的方面级情感分析方法，其特征在于，所述的mLSTM层计算过程包括：
将通过Bi-LSTM得到的方面词和上下文词的隐藏表示
和
逐一的计算二者之间的关联性，表达式为：
其中，αkj是用来编码上下文词
和方面词
之间的的注意权重，表达式为：
其中，ekj，用来获取上下文词
与不同方面词之间的关联，表达式为：
其中,we和所有的参数矩阵W*均为可学习的权重矩阵。
是由mLSTM产生的第k个位置的隐藏状态；
然后将上下文中第k个单词的关于方面词的注意力权重ak与上下文中第k个单词的隐藏状态
融合起来，作为mLSTM的输入mk。经过mLSTM得到含有方面信息的上下文表示
6.根据权利要求4所述的一种基于LSTM和语法距离的方面级情感分析方法，其特征在于，步骤S2中，引入语法距离权重代替相等距离，使得与方面词的语法关联更大的上下文词能够获得更大的权重，优化图卷积网络的输入，经过图卷积网络得到含有丰富语法特征的句子表示后，又通过方面掩盖层过滤掉非方面词，得到方面表示。
7.根据权利要求4所述的一种基于LSTM和语法距离的方面级情感分析方法，其特征在于，语法距离权重由语法依赖树得到，其表达式为：
其中，di,a为上下文中第k个单词
与方面词的语法距离，dmax表示DS,a中语法距离的最大值。然后位置权重层将语法距离权重与上下文的最终表示作为输入，得到位置权重层的输出：
其中
将位置权重层的输出Hpm、上下文的隐藏表示Hm和句子依赖树的邻接矩阵Aij作为图卷积网络的输入。假设图卷积网络为L层，则图卷积网络更新规则的表达式为：
其中，
为第l层图卷积网络的第i个节点的隐藏表示,
表示第(l-1)层的第j个节点的隐藏表示；Aij是n*n的邻接矩阵，由句法依赖树得到；Aij＝1表示节点i和节点j之间有连接；自环设定为1；Wl是权重矩阵，bl为偏差项，Wl和bl都是可训练的；
表示与第i个节点相关联的边数；
最后得到L层图卷积网络的隐藏表示为
方面掩盖层只让方面的隐藏表示通过，而对于非方面的单词，则不能通过；经过方面掩盖层的隐藏表示为
其表达式为：
其中，
代表方面词t的隐藏表示，τ+1表示方面词的起始位置，τ+q表示方面词的结束位置。
8.根据权利要求4所述的一种基于LSTM和语法距离的方面级情感分析方法，其特征在于，所述的信息交互层使用上下文表示Hm、位置权重层Hpm和方面特征表示
得到最终的注意力权重ra，其流程为：
然后情感分类层以最终的注意力权重ra作为输入，使用softmax函数获取到情感的概率分布p；
p＝soft max(Wpra+bp)
其中，权重矩阵Wp和偏置项bp为可训练的。
9.根据权利要求1所述的一种基于LSTM和语法距离的方面级情感分析方法，其特征在于，步骤S4中，在训练阶段采用交叉熵和L2正则化来计算预测标签和真实标签之间的损失值，并通过Dropout机制防止模型过拟合；在测试阶段根据预测值来评价模型的效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210362526.9A CN114662503B (zh) | 2022-04-07 | 2022-04-07 | 一种基于lstm和语法距离的方面级情感分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210362526.9A CN114662503B (zh) | 2022-04-07 | 2022-04-07 | 一种基于lstm和语法距离的方面级情感分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114662503A true CN114662503A (zh) | 2022-06-24 |
| CN114662503B CN114662503B (zh) | 2024-06-07 |
Family
ID=82034403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210362526.9A Active CN114662503B (zh) | 2022-04-07 | 2022-04-07 | 一种基于lstm和语法距离的方面级情感分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114662503B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110472003A (zh) * | 2019-08-08 | 2019-11-19 | 东北大学 | 基于图卷积网络的社交网络文本情感细粒度分类方法 |
| WO2020068831A1 (en) * | 2018-09-26 | 2020-04-02 | Visa International Service Association | Dynamic graph representation learning via attention networks |
| CN111259142A (zh) * | 2020-01-14 | 2020-06-09 | 华南师范大学 | 基于注意力编码和图卷积网络的特定目标情感分类方法 |
| CN112115700A (zh) * | 2020-08-19 | 2020-12-22 | 北京交通大学 | 一种基于依存句法树和深度学习的方面级情感分析方法 |
| CN113535904A (zh) * | 2021-07-23 | 2021-10-22 | 重庆邮电大学 | 一种基于图神经网络的方面级情感分析方法 |
| US11194972B1 (en) * | 2021-02-19 | 2021-12-07 | Institute Of Automation, Chinese Academy Of Sciences | Semantic sentiment analysis method fusing in-depth features and time sequence models |
-
2022
- 2022-04-07 CN CN202210362526.9A patent/CN114662503B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020068831A1 (en) * | 2018-09-26 | 2020-04-02 | Visa International Service Association | Dynamic graph representation learning via attention networks |
| CN110472003A (zh) * | 2019-08-08 | 2019-11-19 | 东北大学 | 基于图卷积网络的社交网络文本情感细粒度分类方法 |
| CN111259142A (zh) * | 2020-01-14 | 2020-06-09 | 华南师范大学 | 基于注意力编码和图卷积网络的特定目标情感分类方法 |
| CN112115700A (zh) * | 2020-08-19 | 2020-12-22 | 北京交通大学 | 一种基于依存句法树和深度学习的方面级情感分析方法 |
| US11194972B1 (en) * | 2021-02-19 | 2021-12-07 | Institute Of Automation, Chinese Academy Of Sciences | Semantic sentiment analysis method fusing in-depth features and time sequence models |
| CN113535904A (zh) * | 2021-07-23 | 2021-10-22 | 重庆邮电大学 | 一种基于图神经网络的方面级情感分析方法 |
Non-Patent Citations (5)
| Title |
|---|
| CHEN ZHANG等: "Aspect-based Sentiment Classification with Aspect-specific Graph Convolutional Networks", 《ARXIV PREPRINT ARXIV:1909.03477》, 8 September 2019 (2019-09-08), pages 1 - 11 * |
| 刘辉等: "融合匹配长短时记忆网络和语法距离的方面级情感分析模型", 《计算机应用》, vol. 43, no. 1, 18 May 2022 (2022-05-18), pages 45 - 50 * |
| 张文轩等: "基于依存树增强注意力模型的方面级情感分析", 《计算机应用研究》, vol. 39, no. 06, 27 January 2022 (2022-01-27), pages 1656 - 1662 * |
| 李颖: "基于深度学习的短文本情感分析研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 07, 15 July 2021 (2021-07-15), pages 138 - 764 * |
| 马祥: "基于深度学习的评论文本方面级情感分析研究", 《重庆邮电大学硕士学位论文》, 25 April 2024 (2024-04-25), pages 1 - 70 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114662503B (zh) | 2024-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110929030B (zh) | 一种文本摘要和情感分类联合训练方法 | |
| US20240161732A1 (en) | Multi-dialect and multilingual speech recognition | |
| CN108962224B (zh) | 口语理解和语言模型联合建模方法、对话方法及系统 | |
| CN111931506B (zh) | 一种基于图信息增强的实体关系抽取方法 | |
| CN113535904B (zh) | 一种基于图神经网络的方面级情感分析方法 | |
| CN109214006B (zh) | 图像增强的层次化语义表示的自然语言推理方法 | |
| CN111353029B (zh) | 一种基于语义匹配的多轮对话口语理解方法 | |
| CN110263325A (zh) | 中文分词系统 | |
| CN113641822B (zh) | 一种基于图神经网络的细粒度情感分类方法 | |
| CN114443827A (zh) | 基于预训练语言模型的局部信息感知对话方法及系统 | |
| CN113255366B (zh) | 一种基于异构图神经网络的方面级文本情感分析方法 | |
| CN111651973A (zh) | 一种基于句法感知的文本匹配方法 | |
| CN114490991A (zh) | 基于细粒度局部信息增强的对话结构感知对话方法及系统 | |
| CN114818717A (zh) | 融合词汇和句法信息的中文命名实体识别方法及系统 | |
| CN114548099A (zh) | 基于多任务框架的方面词和方面类别联合抽取和检测方法 | |
| Mishakova et al. | Learning natural language understanding systems from unaligned labels for voice command in smart homes | |
| CN115238691A (zh) | 基于知识融合的嵌入的多意图识别与槽位填充模型 | |
| CN114492459A (zh) | 基于知识图谱与交互图卷积的评论情感分析方法及系统 | |
| CN117094325B (zh) | 水稻病虫害领域命名实体识别方法 | |
| WO2024040793A1 (zh) | 一种结合分层策略的多模态情绪识别方法 | |
| Zhu et al. | Learning to start for sequence to sequence architecture | |
| CN116258147A (zh) | 一种基于异构图卷积的多模态评论情感分析方法及系统 | |
| CN115376547A (zh) | 发音评测方法、装置、计算机设备和存储介质 | |
| CN114662503A (zh) | 一种基于lstm和语法距离的方面级情感分析方法 | |
| CN113255360A (zh) | 基于层次化自注意力网络的文档评级方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |