CN114579741A - 融合句法信息的gcn-rn方面级情感分析方法和系统 - Google Patents
融合句法信息的gcn-rn方面级情感分析方法和系统 Download PDFInfo
- Publication number
- CN114579741A CN114579741A CN202210095137.4A CN202210095137A CN114579741A CN 114579741 A CN114579741 A CN 114579741A CN 202210095137 A CN202210095137 A CN 202210095137A CN 114579741 A CN114579741 A CN 114579741A
- Authority
- CN
- China
- Prior art keywords
- layer
- gcn
- text
- word
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 65
- 238000004458 analytical method Methods 0.000 title claims abstract description 51
- 239000011159 matrix material Substances 0.000 claims abstract description 78
- 239000013598 vector Substances 0.000 claims abstract description 77
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 50
- 238000000605 extraction Methods 0.000 claims abstract description 31
- 230000004927 fusion Effects 0.000 claims abstract description 9
- 230000002996 emotional effect Effects 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000015654 memory Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 14
- 238000002474 experimental method Methods 0.000 description 14
- 230000007246 mechanism Effects 0.000 description 13
- 239000000284 extract Substances 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0463—Neocognitrons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明提供一种融合句法信息的GCN‑RN方面级情感分析方法和系统，涉及情感分析领域。本发明构建了GCN‑RN模型，包括词嵌入层、隐层、特征提取层和输出层；将待分析文本输入词嵌入层，获取待分析文本的向量表示；将向量表示输入隐层，采用LSTM获取对应的隐层状态；将预先构建的邻接矩阵和方面词距离权重矩阵、隐层状态输入特征提取层的第一个图卷积残差块的GCN层，获取输出向量；将隐层状态和输出向量进行残差连接，并输入下一个图卷积残差块，最终获取文本特征表示；将文本特征表示输入输出层，获取待分析文本中方面词的情感极性预测结果。采用LSTM学习长距离依赖信息，进行特征融合；构建句法依存树并用多个图卷积残差块提取句法信息，提升情感分类准确率。
Description
技术领域
本发明涉及情感分析技术领域，具体涉及一种融合句法信息的GCN-RN方面级情感分析方法、系统、存储介质和电子设备。
背景技术
情感分析是自然语言处理的基本任务之一，它能够从一段文本中获得文本的情感色彩，即正性、负性、中性。在互联网高速发展的今天，人们习惯于在网络上提交购物评价、电影评论、微博看法等，这些带有情感倾向的文本中包含着用户的产品需求、审美需求、社会舆情导向等重要信息，而采用人工进行情感分析将耗费大量人力财力，传统的粗粒度情感分析又无法准确获取文本情感倾向，故方面级情感分析的研究具有重大意义。
方面级情感分析旨在预测句子中作者对不同对象的情感倾向。例如在句子“餐厅的服务态度让我感觉很满意，但味道确实不够好。”中，作者对“味道”的情感倾向为负性，对“服务”的情感倾向为正性。例子中的“味道”和“服务”就是不同的方面词，方面级情感分析的重点在于准确提取不同方面词的特征。一方面，虽然神经网络模型能够提取出方面词的情感特征，但是却可能因为无法提取句子中的语法信息而分类错误。对于上述例子，常规的神经网络模型通过距离计算、卷积等，很可能错误地将“味道”的情感态度识别为“满意”，而实际的语义并非如此。另一方面，图卷积神经网络能够提取句子的语法结构，但在叠加时的效果不尽人意。
虽然如今已经提出在注意力机制中加入了句法约束，提高了注意力机制的有效性，但没有充分地利用句法信息，造成情感分类准确率较低。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种融合句法信息的GCN-RN方面级情感分析方法、系统、存储介质和电子设备，解决了未充分地利用句法信息的技术问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
一种融合句法信息的GCN-RN方面级情感分析方法，预先构建了GCN-RN模型，所述GCN-RN模型包括词嵌入层、隐层、特征提取层和输出层；该方法具体包括：
S1、将待分析文本输入所述词嵌入层，获取所述待分析文本的向量表示；
S2、将所述向量表示输入所述隐层，采用LSTM获取对应的隐层状态；
S3、预先构建所述待分析文本的邻接矩阵和方面词距离权重矩阵，将所述邻接矩阵、方面词距离权重矩阵和隐层状态输入所述特征提取层的第一个图卷积残差块的GCN层，获取该GCN层的输出向量；将所述隐层状态和输出向量进行残差连接，并输入下一个图卷积残差块，最终获取对应的文本特征表示；
S4、将所述文本特征表示输入所述输出层，获取所述待分析文本中方面词的情感极性预测结果。
优选的，所述S3中邻接矩阵的构建过程包括：
定义所述邻接矩阵为A，A∈Rn×n，Aij表示所述待分析文本中单词i与单词j之间的语法依赖关系，若Aij＝0，则两单词没有连接；若Aij＝1，则两单词有连接，且当i＝j时，Aij＝1。
优选的，所述S3中方面词距离权重矩阵的构建过程包括：
定义所述距离权重向量为Qi＝{q1，q2，…，qn}，其计算公式如下，
其中，i表示所述待分析文本的第i单词，单词总数为n；当τ+1≤i≤τ+m，表示所述待分析文本中单词长度为m的方面词所在位置。
优选的，所述S3中将所述邻接矩阵、方面词距离权重矩阵和隐层状态输入所述特征提取层的第一个图卷积残差块的GCN层，获取该GCN层的输出向量，具体包括；
GCN的各个节点通过相邻节点更新当前的节点表示，如计算公式下，
其中，
为第l层GCN的第i个节点的表示，qj为节点j的距离权重，
为第l-1层GCN的第j个节点的表示，Wl和bl为需要学习的权重矩阵和偏差矩阵；得到经L层GCN的输出为
优选的，所述S3中将所述隐层状态和输出向量输入所述特征提取层的图卷积残差块中，最终获取对应的文本特征表示，具体包括：
预先搭建n个图卷积残差块提取句法信息，采用shotcut进行残差连接，每个图卷积残差块的计算过程下，
其中，当i＝1时，x代表所述隐层状态；i＝2，…，n时，x代表第i-1个图卷积残差块的输出；FL是间接映射，即GCN图卷积操作的输出向量；T(x)是直接映射；经过n个图卷积残差块后得到的所述文本特征表示为
优选的，所述输出层包括掩码层、注意力层和分类器层，所述S4具体包括：
S41、将所述文本特征表示输入所述掩码层，获得仅含方面词向量的输出，包括：
保持所述文本特征表示HG中方面词的向量不变，将HG中的非方面词向量改为0，即
得到的输出为
S42、将所述仅含方面词向量的输出输入所述注意力层，获取包含方面词的重要情感特征的上下文表示，包括：
其中，
表示隐层状态的转置；Qt代表方面词与上下文单词的相关度矩阵，归一化后得到注意力分布矩阵Zt，将Zt与
相乘即可得到所述包含方面词的重要情感特征的上下文表示S；
S43、将所述包含方面词的重要情感特征的上下文表示输入所述分类器中，获取方面词对应情感极性的概率值，取概率最大的情感极性作为预测结果。
优选的，所述GCN-RN模型选用交叉熵来计算损失，并引入L2范数来防止模型过拟合，计算公式如下，
其中，Ω表示数据集，i为标签，yi表示真实的情感极性，pi为模型预测的情感极性，
代表所有可训练的参数，θ为L2正则化的系数。
一种融合句法信息的GCN-RN方面级情感分析系统，预先构建了GCN-RN模型，所述GCN-RN模型包括词嵌入层、隐层、特征提取层和输出层；该系统具体包括：
词嵌入模块，用于将待分析文本输入所述词嵌入层，获取所述待分析文本的向量表示；
特征融合模块，用于将所述向量表示输入所述隐层，采用LSTM获取对应的隐层状态；
特征提取模块，用于预先构建所述待分析文本的邻接矩阵和方面词距离权重矩阵，将所述邻接矩阵、方面词距离权重矩阵和隐层状态输入所述特征提取层的第一个图卷积残差块的GCN层，获取该GCN层的输出向量；将所述隐层状态和输出向量进行残差连接，并输入下一个图卷积残差块，最终获取对应的文本特征表示；
预测模块，用于将所述文本特征表示输入所述输出层，获取所述待分析文本中方面词的情感极性预测结果。
一种存储介质，其存储有用于融合句法信息的GCN-RN方面级情感分析的计算机程序，其中，所述计算机程序使得计算机执行如上所述的GCN-RN方面级情感分析方法。
一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的GCN-RN方面级情感分析方法。
(三)有益效果
本发明提供了一种融合句法信息的GCN-RN方面级情感分析方法、系统、存储介质和电子设备。与现有技术相比，具备以下有益效果：
本发明预先构建了GCN-RN模型，所述GCN-RN模型包括词嵌入层、隐层、特征提取层和输出层；该方法具体包括：将待分析文本输入所述词嵌入层，获取所述待分析文本的向量表示；将所述向量表示输入所述隐层，采用LSTM获取对应的隐层状态；预先构建所述待分析文本的邻接矩阵和方面词距离权重矩阵，将所述邻接矩阵、方面词距离权重矩阵和隐层状态输入所述特征提取层的第一个图卷积残差块的GCN层，获取该GCN层的输出向量；将所述隐层状态和输出向量进行残差连接，并输入下一个图卷积残差块，最终获取对应的文本特征表示；将所述文本特征表示输入所述输出层，获取所述待分析文本中方面词的情感极性预测结果。通过采用LSTM学习长距离依赖信息，进行特征融合；构建句法依存树并用多个图卷积残差块有效提取句法信息；用注意力机制进一步筛选关键信息，用以提升情感分类准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种融合句法信息的GCN-RN方面级情感分析方法的流程示意图；
图2为本发明实施例提供的一种GCN-RN模型的结构示意图；
图3为本发明实施例提供的一个句法依存树示例；
图4为本发明实施例提供的不同残差块个数的准确率。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种融合句法信息的GCN-RN方面级情感分析方法、系统、存储介质和电子设备，解决了未充分地利用句法信息的技术问题。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
本发明实施例预先构建了GCN-RN模型，所述GCN-RN模型包括词嵌入层、隐层、特征提取层和输出层；该方法具体包括：将待分析文本输入所述词嵌入层，获取所述待分析文本的向量表示；将所述向量表示输入所述隐层，采用LSTM获取对应的隐层状态；预先构建所述待分析文本的邻接矩阵和方面词距离权重矩阵，将所述邻接矩阵、方面词距离权重矩阵和隐层状态输入所述特征提取层的第一个图卷积残差块的GCN层，获取该GCN层的输出向量；将所述隐层状态和输出向量进行残差连接，并输入下一个图卷积残差块，最终获取对应的文本特征表示；将所述文本特征表示输入所述输出层，获取所述待分析文本中方面词的情感极性预测结果。通过采用LSTM学习长距离依赖信息，进行特征融合；构建句法依存树并用多个图卷积残差块有效提取句法信息；用注意力机制进一步筛选关键信息，用以提升情感分类准确率。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例：
第一方面，如图1所示，本发明实施例提供了一种融合句法信息的GCN-RN方面级情感分析方法，该方法预先构建了GCN-RN模型，如图2所示，所述GCN-RN模型包括词嵌入层、隐层、特征提取层和输出层；具体包括：
S1、将待分析文本输入所述词嵌入层，获取所述待分析文本的向量表示；
S2、将所述向量表示输入所述隐层，采用LSTM获取对应的隐层状态；
S3、预先构建所述待分析文本的邻接矩阵和方面词距离权重矩阵，将所述邻接矩阵、方面词距离权重矩阵和隐层状态输入所述特征提取层的第一个图卷积残差块的GCN层，获取该GCN层的输出向量；将所述隐层状态和输出向量进行残差连接，并输入下一个图卷积残差块，最终获取对应的文本特征表示；
S4、将所述文本特征表示输入所述输出层，获取所述待分析文本中方面词的情感极性预测结果。
本发明实施例通过采用LSTM学习长距离依赖信息，进行特征融合；构建句法依存树并用多个图卷积残差块有效提取句法信息；用注意力机制进一步筛选关键信息，用以提升情感分类准确率。
下面将结合具体内容详细说明上述方案的各个步骤：
首先需要说明的是，本申请中提及的GCN-RN英文全称为Graph ConvolutionalResidual Neural Network，中文含义为图卷积残差神经网络方面级情感分析。
S1、将待分析文本输入所述词嵌入层，获取所述待分析文本的向量表示。
在进行文本分析前，需将文本转换成计算机可识别的词向量。
定义所述待分析文本为一个长度为n的句子
其中包含一个长度为m的方面词
采用已经训练好的词嵌入矩阵
将每个单词映射到一个低维实值的向量空间，其中|V|代表词典的大小，de代表词嵌入的维度。记每个单词
对应的词向量为
则所述待分析文本的向量表示为：
即
S2、将所述向量表示输入所述隐层，采用LSTM获取对应的隐层状态。
LSTM通过引入自循环机制，能够较好地学习长期依赖信息，故使用LSTM来进行进一步的特征融合。LSTM单元由t时刻的输入词向量vt，细胞状态
隐层状态ht，遗忘门ft，记忆门it，输出门ot组成。通过在细胞状态中的遗忘信息和记忆新信息，LSTM能够丢弃无用信息并且传递有用信息，其具体计算公式为：
ft＝σ(Wf·[ht-1，ht]+bf)
it＝σ(Wi·[ht-1，vt]+bi)
ht＝sigmoid(Wo·[ht-1，vt]+bo)*tanh(Ct)
其中Wf、Wi、Wc、Wo为权重矩阵，bf、bi、bc、bo为偏差项，tanh为双曲正切激活函数。得到所述待分析文本上下文的隐层状态Hc为：
其中
dh表示LSTM的隐层维度，
分别表示
的隐层状态。
S3、预先构建所述待分析文本的邻接矩阵和方面词距离权重矩阵，将所述邻接矩阵、方面词距离权重矩阵和隐层状态输入所述特征提取层的第一个图卷积残差块的GCN层，获取该GCN层的输出向量；将所述隐层状态和输出向量进行残差连接，并输入下一个图卷积残差块，最终获取对应的文本特征表示。
与粗粒度情感分析任务不同，细粒度情感分析的难点在于针对方面词提取特征。GCN-RN模型在根据方面词构造距离权重矩阵、搭建句法依存树并构建邻接矩阵的基础上，用多个图卷积残差块提取方面词的句法特征。
使用spacy库构建句法依存树，例如“it is fast booting up，shutting down，and connection with the internet”的句法依存树如图3所示。句子中的每一个单词都在句法依存树中被视为一个节点，即长度为n的句子s的句法依存树中有n个节点。
随后构建邻接矩阵，所述邻接矩阵的构建过程包括：
定义所述邻接矩阵为A，A∈Rn×n，Aij表示所述待分析文本中单词i与单词j之间的语法依赖关系，若Aij＝0，则两单词没有连接；若Aij＝1，则两单词有连接，且由于自循环能够较好保留节点信息，所以为句法依存树的节点加入自循环，即当i＝j时，Aij＝1。
为了防止提取句法依存树信息过程中出现过多噪声，同时强调离方面词近的单词，构造方面词距离权重矩阵，所述方面词距离权重矩阵的构建过程包括：
定义所述距离权重向量为Qi＝{q1，q2，…，qn}，其计算公式如下，
其中，i表示所述待分析文本的第i单词，单词总数为n；当τ+1≤i≤τ+m，表示所述待分析文本中单词长度为m的方面词所在位置。
所述S3中将所述邻接矩阵、方面词距离权重矩阵和隐层状态输入所述特征提取层的第一个图卷积残差块的GCN层，获取该GCN层的输出向量，具体包括；
GCN的各个节点通过相邻节点更新当前的节点表示，如计算公式下，
其中，
为第l层GCN的第i个节点的表示，qj为节点j的距离权重，
为第l-1层GCN的第j个节点的表示，Wl和bl为需要学习的权重矩阵和偏差矩阵；得到经L层GCN的输出为
所述S3中将所述隐层状态和输出向量输入所述特征提取层的图卷积残差块中，最终获取对应的文本特征表示，具体包括：
为了克服GCN层数叠加导致的模型退化问题，同时保护信息的完整性，预先搭建n个图卷积残差块提取句法信息，使用shotcut进行残差连接；每个图卷积残差块的计算过程下，
其中，当i＝1时，x代表所述隐层状态；i＝2，…，n时，x代表第i-1个图卷积残差块的输出；FL是间接映射，即GCN图卷积操作的输出向量；T(x)是直接映射；经过n个图卷积残差块后得到的所述文本特征表示为
S4、将所述文本特征表示输入所述输出层，获取所述待分析文本中方面词的情感极性预测结果。
本发明实施例中所述输出层包括掩码层、注意力层和分类器层，具体的，将S3中获取的文本特征表示随后通过掩码层，只保留方面词的特征表示，用针对方面词的注意力机制计算单词权重，对隐层输出进行加权求和得到最终情感特征，最后将其输入分类器进行情感分类。
所述S4具体包括：
S41、将所述文本特征表示输入所述掩码层，获得仅含方面词向量的输出，包括：
保持所述文本特征表示HG中方面词的向量不变，将HG中的非方面词向量改为0，即
得到的输出为
S42、将所述仅含方面词向量的输出输入所述注意力层，获取包含方面词的重要情感特征的上下文表示，包括：
其中，
表示隐层状态的转置；Qt代表方面词与上下文单词的相关度矩阵，归一化后得到注意力分布矩阵Zt，将Zt与
相乘即可得到所述包含方面词的重要情感特征的上下文表示S；
S43、将所述包含方面词的重要情感特征的上下文表示输入所述分类器中，获取方面词对应情感极性的概率值，取概率最大的情感极性作为预测结果。
本发明实施例选择softmax分类器进行归一化，获得方面词对应情感极性的概率值，如下式所示，
P＝soft max(W*S+b0)
其中W为权重矩阵，b0为偏差项，k为情感极性的类别数。
此外，需要说明的是，在训练所述GCN-RN模型阶段，为衡量该模型的预测效果，选用交叉熵来计算损失，并引入L2范数来防止模型过拟合，计算公式如下，
其中，Ω表示数据集，i为标签，yi表示真实的情感极性，pi为模型预测的情感极性，
代表所有可训练的参数，θ为L2正则化的系数。
为了验证本发明实施例提出的融合句法信息的GCN-RN方面级情感分析方法的优越性，接下来将提供具体实验予以说明。
实验数据与实验设置
实验数据为3个公开数据集，分别是SemEval2014任务中LAP14和REST14、TWITTER数据集，其具体信息如表1所示。
表1数据集信息
Table 1 Statistics for dataset
实验的开发语言为Python,开发平台为Pytorch。实验在词嵌入时使用了Glove和BERT,其隐藏状态的向量维数分别为300维和768维，训练中使用学习率为0.001的Adam作为优化器，L2-正则化的系数为105，批处理大小为32，使用Dropout和Early stop防止过拟合。
评估标准
由于数据集中数据分布的不均匀，故选用准确率(accuracy,Acc)和宏平均值(macro average F1,MF1)作为模型的价指标。假设在各个类别中，被预测正确的正样本数为TP，其他类别的样本被预测为当前样本的数为FP，当前的类别被预测成其他类别样本的数为FN，则准确率的计算公式如下所示，MF1值的计算方法如下所示。
基线模型
为了评估GCN-RN模型，将其与一系列基线模型与最先进模型进行比较。
(1)SVM(支持向量机，support vector machines)：使用SVM基本分类器。
(2)LSTM(长短时记忆网络，Long Short Term Memory network)：将LSTM的隐层表示作为情感特征。
(3)AT-LSTM(Attention-based LSTM)：利用LSTM得到隐层表示，使用注意力机制提取方面词的情感特征。
(4)IAN(Interactive Attention Networks)：通过两个LSTM分别生成方面词和上下文的表示，并使用交互注意力得到方面词与上下文的联系。
(5)ASGCN(Aspect-specific Graph Convolutional Networks)：使用LSTM对上下文信息建模，并以句法依存树的节点特征输入GCN提取方面词特征表示，最后用注意力机制获得最终的上下文中表示。
6)BERT-AEN(attentional encoder network with BERT)：使用BERT将方面词和上下文进行向量化，利用多头注意力机制、卷积变换操作进行编码，输入多头注意力机制提取情感特征。
(7)TD-BERT(Target-dependent sentiment classification with BERT)：使用BERT得到上下文的特征表示，将方面词特征向量最大池化得到情感特征。
结果分析
在3个公开数据集中，基线模型和本文提出的GCN-RN模型的实验结果如表2所示，基线模型数据为原论文的实验数据，“-”表示原论文没有注明该实验数据，记录的GCN-RN模型的数据为实验数据的平均值，图卷积残差块个数n取2，表中数据的单位皆为％。
由表2可知，当使用glove进行词嵌入时，在3个数据集中，GCN-RN模型在准确率和MF1值上均取得最好的结果，证明了GCN-RN模型的有效性。基线模型中能够在某一组数据中准确率最高的模型有ASGCN、IAN。分析可知，ASGCN用GCN提取了句法信息，且融合上下文信息，故实验效果普遍较好。IAN在TWWITER中的实验结果好于其他基线模型，这是由于该数据集语法不规范，难以准确提取语法信息，故与ASGCN相比，不提取语法信息的IAN效果更好。GCN-RN模型相比基线模型的最高准确率而言，在3个数据集上的准确率分别高出1.77％、1.44％、0.24％。
表2不同模型的实验结果(％)
Table 2 Experimental results of different models
当使用BERT进行词嵌入时，在3个数据集中，GCN-RN模型与使用BERT基线模型的最好结果相比，在准确率上分别高出2.51％、1.96％、0.44％，在MF1值上也取得了最好的结果，再次说明了GCN-RN模型的有效性。同时，与glove相比，使用BERT进行预训练后模型的效果有很大的提升，表明了预训练模型的重要性。
总体而言GCN-RN的效果最好，这是因为GCN-RN使用了LSTM有效融合了句子的时序信息，得到上下文的隐层表示；此外，改进了特征提取层，使用多个图卷积残差块提取特征，有效地提取了句法信息；随后引入了注意力机制，有效筛选了重要信息。
4.5模型分析
为了探究本发明实施例提供模型中LSTM隐层和残差结构的有效性，及图卷积残差块个数n的取值，设计三组对比实验，分别为LSTM对模型性能影响的实验、残差结构对模型性能影响的实验、图卷积残差块个数对模型性能影响的实验。对比实验均采用300维的Glove进行词嵌入。
(1)LSTM对模型性能的影响
为了探究GCN-RN模型中LSTM隐层的有效性，去掉模型中的隐层、将隐层改为Bi-LSTM，分别在3个数据集(LAP14,REST14,TWITTER)上进行对比实验，采用ACC和MFl作为模型的评价指标，对比实验的结果如表3所示。
表格3不同隐层的实验结果(％)
Table 3 Experimental results of models with different hidden layers
由表可知，在3个数据集上，三个模型中，使用LSTM作为隐层的模型效果最好，使用Bi-LSTM作为隐层的模型次之，无隐层的模型效果最差。分析认为，使用隐层能够较好地融合句子的时序信息，进而提升模型效果，故无隐层的模型效果最差；而Bi-LSTM因为捕捉了双向的长距离依赖关系，反而造成了较多噪声，导致使用Bi-LSTM作为隐层的模型效果不如使用LSTM作为隐层的模型。
(2)残差结构对模型性能的影响
为了探究GCN-RN模型中残差结构的有效性，去掉图卷积残差块中的残差结构，分别在3个数据集(LAP14,REST14,TWITTER)上进行对比实验，采用ACC和MFl作为模型的评价指标，对比实验的结果如表4所示。
表4有无残差结构的实验结果(％)
Table 4 Experimental results of models with or without residualstructure
由表可知，在3个数据集上，有残差结构的模型和无残差结构的模型相比，前者的准确率分别高出0.94％、0.15％、0.63％；MF1值在分别高出0.56％、0.64％、0.45％，证明了图卷积残差块中残差结构的有效性。这是因为图卷积残差块由直接映射和GCN的间接映射组成，直接映射能够将GCN的学习目标由期望输出转变成了期望输出与输入的差，从而降低了学习难度。同时，传统神经网络在传递信息的过程中会存在信息丢失的问题，而残差结构通过让输入信息直接绕道传送到输出，保留了信息的完整性。
(3)图卷积残差块个数对模型性能的影响
为探究图卷积残差块个数对模型性能的影响，取残差块个数从1-5，在数据集LAP14上进行实验，结果如图4所示。
由图4可知，当残差块的个数为2个时，准确率的值最大，证明了GCN-RN模型选用2个残差块进行叠加的科学性。此外，当残差块个数为2-5时，模型准确率整体呈下降趋势，其原因在于随着残差块的叠加，模型将变得难以训练。
第二方面，本发明实施例提供了一种融合句法信息的GCN-RN方面级情感分析系统，预先构建了GCN-RN模型，所述GCN-RN模型包括词嵌入层、隐层、特征提取层和输出层；该系统具体包括：
词嵌入模块，用于将待分析文本输入所述词嵌入层，获取所述待分析文本的向量表示；
特征融合模块，用于将所述向量表示输入所述隐层，采用LSTM获取对应的隐层状态；
特征提取模块，用于预先构建所述待分析文本的邻接矩阵和方面词距离权重矩阵，将所述邻接矩阵、方面词距离权重矩阵和隐层状态输入所述特征提取层的第一个图卷积残差块的GCN层，获取该GCN层的输出向量；将所述隐层状态和输出向量进行残差连接，并输入下一个图卷积残差块，最终获取对应的文本特征表示；
预测模块，用于将所述文本特征表示输入所述输出层，获取所述待分析文本中方面词的情感极性预测结果。
第三方面，本发明实施例提供了一种存储介质，其存储有用于融合句法信息的GCN-RN方面级情感分析的计算机程序，其中，所述计算机程序使得计算机执行如上所述的GCN-RN方面级情感分析方法。
第四方面，本发明实施例提供了一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的GCN-RN方面级情感分析方法。
可理解的是，本发明实施例提供的融合句法信息的GCN-RN方面级情感分析系统、存储介质和电子设备与本发明实施例提供的融合句法信息的GCN-RN方面级情感分析方法相对应，其有关内容的解释、举例和有益效果等部分可以参考GCN-RN方面级情感分析方法中的相应部分，此处不再赘述。
综上所述，与现有技术相比，具备以下有益效果：
本发明实施例预先构建了GCN-RN模型，所述GCN-RN模型包括词嵌入层、隐层、特征提取层和输出层；该方法具体包括：将待分析文本输入所述词嵌入层，获取所述待分析文本的向量表示；将所述向量表示输入所述隐层，采用LSTM获取对应的隐层状态；预先构建所述待分析文本的邻接矩阵和方面词距离权重矩阵，将所述邻接矩阵、方面词距离权重矩阵和隐层状态输入所述特征提取层的第一个图卷积残差块的GCN层，获取该GCN层的输出向量；将所述隐层状态和输出向量进行残差连接，并输入下一个图卷积残差块，最终获取对应的文本特征表示；将所述文本特征表示输入所述输出层，获取所述待分析文本中方面词的情感极性预测结果。通过采用LSTM学习长距离依赖信息，进行特征融合；构建句法依存树并用多个图卷积残差块有效提取句法信息；用注意力机制进一步筛选关键信息，用以提升情感分类准确率。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种融合句法信息的GCN-RN方面级情感分析方法，其特征在于，预先构建了GCN-RN模型，所述GCN-RN模型包括词嵌入层、隐层、特征提取层和输出层；该方法具体包括：
S1、将待分析文本输入所述词嵌入层，获取所述待分析文本的向量表示；
S2、将所述向量表示输入所述隐层，采用LSTM获取对应的隐层状态；
S3、预先构建所述待分析文本的邻接矩阵和方面词距离权重矩阵，将所述邻接矩阵、方面词距离权重矩阵和隐层状态输入所述特征提取层的第一个图卷积残差块的GCN层，获取该GCN层的输出向量；将所述隐层状态和输出向量进行残差连接，并输入下一个图卷积残差块，最终获取对应的文本特征表示；
S4、将所述文本特征表示输入所述输出层，获取所述待分析文本中方面词的情感极性预测结果。
2.如权利要求1所述的GCN-RN方面级情感分析方法，其特征在于，所述S3中邻接矩阵的构建过程包括：
定义所述邻接矩阵为A，A∈Rn×n，Aij表示所述待分析文本中单词i与单词j之间的语法依赖关系，若Aij＝0，则两单词没有连接；若Aij＝1，则两单词有连接，且当i＝j时，Aij＝1。
3.如权利要求2所述的GCN-RN方面级情感分析方法，其特征在于，所述S3中方面词距离权重矩阵的构建过程包括：
定义所述距离权重向量为Qi＝{q1,q2,…,qn}，其计算公式如下，
其中，i表示所述待分析文本的第i单词，单词总数为n；当τ+1≤i≤τ+m，表示所述待分析文本中单词长度为m的方面词所在位置。
4.如权利要求3所述的GCN-RN方面级情感分析方法，其特征在于，所述S3中将所述邻接矩阵、方面词距离权重矩阵和隐层状态输入所述特征提取层的第一个图卷积残差块的GCN层，获取该GCN层的输出向量，具体包括；
GCN的各个节点通过相邻节点更新当前的节点表示，如计算公式下，
其中，
为第l层GCN的第i个节点的表示，qj为节点j的距离权重，
为第l-1层GCN的第j个节点的表示，Wl和bl为需要学习的权重矩阵和偏差矩阵；得到经L层GCN的输出为
5.如权利要求4所述的GCN-RN方面级情感分析方法，其特征在于，所述S3中将所述隐层状态和输出向量输入所述特征提取层的图卷积残差块中，最终获取对应的文本特征表示，具体包括：
预先搭建n个图卷积残差块提取句法信息，采用shotcut进行残差连接，每个图卷积残差块的计算过程下，
其中，当i＝1时，x代表所述隐层状态；i＝2,…,n时，x代表第i-1个图卷积残差块的输出；FL是间接映射，即GCN图卷积操作的输出向量；T(x)是直接映射；经过n个图卷积残差块后得到的所述文本特征表示为
6.如权利要求3所述的GCN-RN方面级情感分析方法，其特征在于，所述输出层包括掩码层、注意力层和分类器层，所述S4具体包括：
S41、将所述文本特征表示输入所述掩码层，获得仅含方面词向量的输出，包括：
保持所述文本特征表示HG中方面词的向量不变，将HG中的非方面词向量改为0，即
得到的输出为
S42、将所述仅含方面词向量的输出输入所述注意力层，获取包含方面词的重要情感特征的上下文表示，包括：
其中，
表示隐层状态的转置；Qt代表方面词与上下文单词的相关度矩阵，归一化后得到注意力分布矩阵Zt，将Zt与
相乘即可得到所述包含方面词的重要情感特征的上下文表示S；
S43、将所述包含方面词的重要情感特征的上下文表示输入所述分类器中，获取方面词对应情感极性的概率值，取概率最大的情感极性作为预测结果。
7.如权利要求1～6任一项所述的GCN-RN方面级情感分析方法，其特征在于，所述GCN-RN模型选用交叉熵来计算损失，并引入L2范数来防止模型过拟合，计算公式如下，
其中，Ω表示数据集，i为标签，yi表示真实的情感极性，pi为模型预测的情感极性，
代表所有可训练的参数，θ为L2正则化的系数。
8.一种融合句法信息的GCN-RN方面级情感分析系统，其特征在于，预先构建了GCN-RN模型，所述GCN-RN模型包括词嵌入层、隐层、特征提取层和输出层；该系统具体包括：
词嵌入模块，用于将待分析文本输入所述词嵌入层，获取所述待分析文本的向量表示；
特征融合模块，用于将所述向量表示输入所述隐层，采用LSTM获取对应的隐层状态；
特征提取模块，用于预先构建所述待分析文本的邻接矩阵和方面词距离权重矩阵，将所述邻接矩阵、方面词距离权重矩阵和隐层状态输入所述特征提取层的第一个图卷积残差块的GCN层，获取该GCN层的输出向量；将所述隐层状态和输出向量进行残差连接，并输入下一个图卷积残差块，最终获取对应的文本特征表示；
预测模块，用于将所述文本特征表示输入所述输出层，获取所述待分析文本中方面词的情感极性预测结果。
9.一种存储介质，其特征在于，其存储有用于融合句法信息的GCN-RN方面级情感分析的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1～7任一项所述的GCN-RN方面级情感分析方法。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1～7任一项所述的GCN-RN方面级情感分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210095137.4A CN114579741B (zh) | 2022-01-26 | 2022-01-26 | 融合句法信息的gcn-rn方面级情感分析方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210095137.4A CN114579741B (zh) | 2022-01-26 | 2022-01-26 | 融合句法信息的gcn-rn方面级情感分析方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114579741A true CN114579741A (zh) | 2022-06-03 |
| CN114579741B CN114579741B (zh) | 2024-06-21 |
Family
ID=81769966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210095137.4A Active CN114579741B (zh) | 2022-01-26 | 2022-01-26 | 融合句法信息的gcn-rn方面级情感分析方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114579741B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024000956A1 (zh) * | 2022-06-30 | 2024-01-04 | 苏州思萃人工智能研究所有限公司 | 方面情感分析方法、模型及介质 |
| CN117436446A (zh) * | 2023-12-21 | 2024-01-23 | 江西农业大学 | 基于弱监督的农业社会化销售服务用户评价数据分析方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180165554A1 (en) * | 2016-12-09 | 2018-06-14 | The Research Foundation For The State University Of New York | Semisupervised autoencoder for sentiment analysis |
| US20210034701A1 (en) * | 2019-07-30 | 2021-02-04 | Baidu Usa Llc | Coreference-aware representation learning for neural named entity recognition |
| CN112417157A (zh) * | 2020-12-15 | 2021-02-26 | 华南师范大学 | 一种基于深度学习网络的文本属性词的情感分类方法 |
| CN113535904A (zh) * | 2021-07-23 | 2021-10-22 | 重庆邮电大学 | 一种基于图神经网络的方面级情感分析方法 |
| CN113868425A (zh) * | 2021-10-20 | 2021-12-31 | 西安邮电大学 | 一种方面级情感分类方法 |
-
2022
- 2022-01-26 CN CN202210095137.4A patent/CN114579741B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180165554A1 (en) * | 2016-12-09 | 2018-06-14 | The Research Foundation For The State University Of New York | Semisupervised autoencoder for sentiment analysis |
| US20210034701A1 (en) * | 2019-07-30 | 2021-02-04 | Baidu Usa Llc | Coreference-aware representation learning for neural named entity recognition |
| CN112417157A (zh) * | 2020-12-15 | 2021-02-26 | 华南师范大学 | 一种基于深度学习网络的文本属性词的情感分类方法 |
| CN113535904A (zh) * | 2021-07-23 | 2021-10-22 | 重庆邮电大学 | 一种基于图神经网络的方面级情感分析方法 |
| CN113868425A (zh) * | 2021-10-20 | 2021-12-31 | 西安邮电大学 | 一种方面级情感分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王杰;张曦煌;: "基于图卷积网络和自编码器的半监督网络表示学习模型", 模式识别与人工智能, no. 04, 15 April 2019 (2019-04-15) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024000956A1 (zh) * | 2022-06-30 | 2024-01-04 | 苏州思萃人工智能研究所有限公司 | 方面情感分析方法、模型及介质 |
| CN117436446A (zh) * | 2023-12-21 | 2024-01-23 | 江西农业大学 | 基于弱监督的农业社会化销售服务用户评价数据分析方法 |
| CN117436446B (zh) * | 2023-12-21 | 2024-03-22 | 江西农业大学 | 基于弱监督的农业社会化销售服务用户评价数据分析方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114579741B (zh) | 2024-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Knowledge-oriented convolutional neural network for causal relation extraction from natural language texts | |
| CN112528672B (zh) | 一种基于图卷积神经网络的方面级情感分析方法及装置 | |
| CN111783474B (zh) | 一种评论文本观点信息处理方法、装置及存储介质 | |
| CN111061856B (zh) | 一种基于知识感知的新闻推荐方法 | |
| CN111914067B (zh) | 中文文本匹配方法及系统 | |
| CN111738003B (zh) | 命名实体识别模型训练方法、命名实体识别方法和介质 | |
| CN109214006B (zh) | 图像增强的层次化语义表示的自然语言推理方法 | |
| CN110704576B (zh) | 一种基于文本的实体关系抽取方法及装置 | |
| CN112328900A (zh) | 一种融合评分矩阵和评论文本的深度学习推荐方法 | |
| CN112784532B (zh) | 用于短文本情感分类的多头注意力记忆系统 | |
| CN114579741B (zh) | 融合句法信息的gcn-rn方面级情感分析方法和系统 | |
| CN112380835B (zh) | 融合实体和句子推理信息的问题答案提取方法及电子装置 | |
| CN110457714B (zh) | 一种基于时序主题模型的自然语言生成方法 | |
| CN113255366B (zh) | 一种基于异构图神经网络的方面级文本情感分析方法 | |
| US20230169271A1 (en) | System and methods for neural topic modeling using topic attention networks | |
| CN111368082A (zh) | 一种基于层次网络的领域自适应词嵌入的情感分析方法 | |
| CN111507093A (zh) | 一种基于相似字典的文本攻击方法、装置及存储介质 | |
| CN115545030A (zh) | 实体抽取模型的训练方法、实体关系抽取方法及装置 | |
| CN116385937A (zh) | 一种基于多粒度的跨模态交互框架解决视频问答的方法及系统 | |
| CN114880307A (zh) | 一种开放教育领域知识的结构化建模方法 | |
| Zhu et al. | Design of knowledge graph retrieval system for legal and regulatory framework of multilevel latent semantic indexing | |
| CN112434512A (zh) | 一种结合上下文语境的新词确定方法及装置 | |
| CN114970557B (zh) | 基于知识增强的跨语言结构化情感分析方法 | |
| Ermatita et al. | Sentiment Analysis of COVID-19 using Multimodal Fusion Neural Networks. | |
| CN115659981A (zh) | 一种基于神经网络模型的命名实体识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |