CN112560432B - 基于图注意力网络的文本情感分析方法 - Google Patents
基于图注意力网络的文本情感分析方法 Download PDFInfo
- Publication number
- CN112560432B CN112560432B CN202011458024.3A CN202011458024A CN112560432B CN 112560432 B CN112560432 B CN 112560432B CN 202011458024 A CN202011458024 A CN 202011458024A CN 112560432 B CN112560432 B CN 112560432B
- Authority
- CN
- China
- Prior art keywords
- node
- graph
- representing
- network model
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 66
- 238000004458 analytical method Methods 0.000 title claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 56
- 239000013598 vector Substances 0.000 claims abstract description 46
- 238000012360 testing method Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 35
- 230000009466 transformation Effects 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 13
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 claims description 3
- 239000003607 modifier Substances 0.000 claims 1
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于图注意力网络的文本情感分析方法，包括：步骤1，从Semeval 2014 Task 4数据集中获取文本集合和感情标签集合；步骤2，按比例在文本集合和感情标签集合中进行随机选取，得到训练集和测试集；步骤3，通过Biaffine依赖解析器对训练集中的句子进行句法依存关系分析，根据句子的句法依存关系构建句法依存图；步骤4，将训练集输入BERT预训练模型，通过BERT预训练模型将训练集中的词转化为词向量。本发明通过Biaffine依赖解析器对句子间的句法依存关系进行分析，通过BERT预训练模型获得词向量表示，通过图注意力网络模型对文本进行情感分析，充分利用了文本中复杂的句法结构，提高了文本情感分析的准确率。
Description
技术领域
本发明涉及自然语言处理技术领域，特别涉及一种基于图注意力网络的文本情感分析方法。
背景技术
近年来，随着互联网的迅猛发展，人们习惯在社交网络或电商网站表达自身的情感或观点，使得互联网上涌现出大量的网络评价，一条网络评论可能包括对同一实体的多方面的评价，使得对文本情感分析有了更进一步的要求，方面级别的情感分析(ABSA)是对文本情感分析中的一项细粒度任务，旨在对出现实体的不同方面进行情感分析，为其他自然语言处理任务提供重要的情感信息，也是自然语言处理领域的研究热点之一。
研究学者对方面级文本情感分析做了大量的研究，早期对文本情感分析的研究多是利用提取和学习文本特征，以构建分类模型，包括支持向量机、决策树、朴素贝叶斯分类器等，上述方法虽然取得一定效果，但需耗费大量的人力、物力设计语义和语法特征，方法性能极大程度依赖这些特征。与传统方法相比较，研究学者逐渐将目光转移到深度学习模型上来。基于深度学习的文本情感分类方法通常采用Word2Vec模型或者BERT预训练模型将每个词语都训练表示成一个实数向量，从而获取到低维文本特征标识，再构建神经网络模型加以训练，最后得到文本的情感极向。基本方法包括:卷积神经网络(CNN)、递归神经网络(RNN)、长短时记忆网络(LSTM)等，其中大多数都是利用LSTM编码上下文以获取上下文信息。上述方法都按相同的权重去计算不同单词对最后分类结果的影响，而未考虑到不同方面情况下上下文对情感分类的影响程度不同的情况。
虽然注意力机制(Attention)的提出，一定程度上解决神经网络对每个单词都是同等考虑的问题。但是基于注意力机制的这些方法很大程度上有助于方面级别的情感分析，它们不足以捕捉句子中方面之间的句法依赖关系。注意力机制可能导致给定的方面错误地将句法上不相关的上下文词作为描述词，对句法结构的效果尚未得到充分利用。难以表达文本中复杂的句法结构，使得文本情感分类的准确率仍存在提高的空间。
发明内容
本发明提供了一种基于图注意力网络的文本情感分析方法，其目的是为了解决传统的情感分析方法难以捕捉句子中方面之间的句法依赖关系和难以表达文本中复杂的句法结构，且文本情感分类的准确率较低的问题。
为了达到上述目的，本发明的实施例提供了一种基于图注意力网络的文本情感分析方法，包括：
步骤1，从Semeval 2014Task 4数据集中获取文本集合和感情标签集合；
步骤2，按比例在文本集合和感情标签集合中进行随机选取，得到训练集和测试集；
步骤3，通过Biaffine依赖解析器对训练集中的句子进行句法依存关系分析，根据句子的句法依存关系构建句法依存图；
步骤4，将训练集输入BERT预训练模型，通过BERT预训练模型将训练集中的词转化为词向量；
步骤5，根据句法依存图搭建邻接矩阵；
步骤6，根据邻接矩阵搭建图注意力网络模型；
步骤7，将词向量嵌入到图注意力网络模型中相对应的节点中，将词向量作为节点的初始化状态；
步骤8，对图注意力网络模型进行更新，将图注意力网络模型中的节点和与节点邻接的向量按注意力权重进行聚合，得到更新后的节点的向量序列，将节点的向量序列作为图注意力网络模型中相对应节点的临时状态；
步骤9，将图注意力网络模型节点的初始化状态输入GRU模型中进行保存，得到图注意力网络模型节点的保存状态；
步骤10，将图注意力网络模型节点的临时状态和图注意力网络模型节点的保存状态进行节点状态聚合，得到图注意力网络模型节点的最终状态；
步骤11，将图注意力网络模型节点的最终状态通过Softmax函数进行激活，得到文本情感趋向；
步骤12，对图注意力网络模型进行多层训练，构建损失函数；
步骤13，根据损失函数对注意力权重进行调整，当损失函数值小于所记录的损失函数的最小值时，更新损失函数值最小值并将对应的图注意力网络模型参数进行记录，得到最优的图注意力网络模型；
步骤14，通过最优的图注意力网络模型对文本进行情感分析。
其中，所述步骤3具体包括：
通过Biaffine依赖解析器对训练集中的句子进行语法依存分析操作，将一个句子划分成词的线性序列并转化为根据句子语法依赖的图形结构，得到句法依存图，通过句法依存图将存在修饰关系的词相连接。
其中，所述步骤4具体包括：
将训练集输入BERT预训练模型，通过BERT预训练模型的Transformer架构将训练集中的词语转化为维度为300的词向量。
其中，所述步骤5具体包括：
根据句法依存图中的具有非对称的二元关系的节点构建具有对称关系的邻接矩阵，当邻接矩阵为1时，邻接矩阵中对应坐标的两节点之间有有向弧相连接，当邻接矩阵为0时，邻接矩阵中对应坐标的两节点之间无有向弧相连接。
其中，所述步骤6具体包括：
将邻接矩阵的节点作为图注意力网络模型的节点，节点之间的有向弧作为图注意力网络模型的边，搭建图注意力网络模型。
其中，所述步骤7具体包括：
将维度为300的词向量嵌入至图注意力网络模型中对应的节点，作为图注意力网络模型中的节点的初始化状态。
其中，所述步骤8具体包括：
更新图注意力网络层，如下所示：
其中，αij表示节点j到i的注意力系数，N表示节点的个数，W表示在每个节点上应用的线性变换权重矩阵，表示节点i对应的实体向量，/>表示节点j对应的实体向量，/>表示节点k对应的实体向量，Ni表示节点i的邻居节点；
通过多头注意力机制对各个节点进行上下文信息捕获，通过注意力权重将各个节点周围的节点的表达以加权和的形式聚合到相对应的节点，对于K个独立注意力机制下的计算结果，采用K平均来替代连接，如下所示：
其中，表示节点i更新的值，k表示为多个注意力机制中的第k个，||表示将多个注意力头学习到的特征进行拼接，σ表示激活函数，/>表示节点i对节点j的注意力系数，Wk表示输入节点的线性变换权重矩阵。
其中，所述步骤9具体包括：
通过GRU对节点当前状态进行建模，搭建GRU模型，将节点的初始化状态输入GRU模型，结合节点t时刻的输入xt来更新重置门和控制门的状态，如下所示：
rt＝σ(Wz.[ht-1,xt]) (3)
zt＝σ(Wr.[ht-1,xt]) (4)
其中，σ表示sigmod函数，通过数据从0-1的变换来充当门控信号，rt表示t时刻控制重置的门控，zt表示t时刻控制更新的门控，ht-1表示t-1时刻的节点状态，表示t时刻的候选集，*表示矩阵的乘积，[]表示两个向量相连，tanh表示为双曲正切函数。
其中，所述步骤9还包括：
通过同一个门控z同时进行遗忘和选择记忆，门控信号z的范围为0-1，当门控信号越靠近1，代表数据的重要性更高，如下所示：
其中，1-z表示遗忘门，(1-z)Θht-1表示忘记t-1时刻节点状态中一些不重要的信息，表示对t时刻的候选集中重要的信息进行选择；
将整个图注意力网络模型的前馈过程表示为：
Hl+1＝GRU(GAT(Hl)，Hl) (7)
其中，Hl+1表示第L+1层节点状态，Hl表示第L层节点状态。
其中，所述步骤11、所述步骤12、所述步骤13和所述步骤14具体包括：
模型训练，采用L2正则化方法调节最小化交叉熵损失函数训练图注意力网络模型，通过线性变换将目标节点的状态映射到分类空间，通过Softmax函数计算目标节点的情感分类k的概率，如下所示：
其中，W表示线性变换的权重矩阵，ht表示目标节点状态，b表示线性变换的偏差，y表示情感类别的集合。
本发明的上述方案有如下的有益效果：
本发明的上述实施例所述的基于图注意力网络的文本情感分析方法，通过Biaffine依赖解析器对句子间的句法依存关系进行分析，通过BERT预训练模型获得词向量表示，通过图注意力网络模型对文本进行情感分析，充分的利用了文本中复杂的句法结构，提高了文本情感分析的准确率。
附图说明
图1为本发明的流程图；
图2为本发明的具体操作示意图；
图3为本发明的多头注意力机制示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的情感分析方法难以捕捉句子中方面之间的句法依赖关系和难以表达文本中复杂的句法结构，且文本情感分类的准确率较低的问题，提供了一种基于图注意力网络的文本情感分析方法。
如图1至图3所示，本发明的实施例提供了一种基于图注意力网络的文本情感分析方法，包括：步骤1，从Semeval 2014Task 4数据集中获取文本集合和感情标签集合；步骤2，按比例在文本集合和感情标签集合中进行随机选取，得到训练集和测试集；步骤3，通过Biaffine依赖解析器对训练集中的句子进行句法依存关系分析，根据句子的句法依存关系构建句法依存图；步骤4，将训练集输入BERT预训练模型，通过BERT预训练模型将训练集中的词转化为词向量；步骤5，根据句法依存图搭建邻接矩阵；步骤6，根据邻接矩阵搭建图注意力网络模型；步骤7，将词向量嵌入到图注意力网络模型中相对应的节点中，将词向量作为节点的初始化状态；步骤8，对图注意力网络模型进行更新，将图注意力网络模型中的节点和与节点邻接的向量按注意力权重进行聚合，得到更新后的节点的向量序列，将节点的向量序列作为图注意力网络模型中相对应节点的临时状态；步骤9，将图注意力网络模型节点的初始化状态输入GRU模型中进行保存，得到图注意力网络模型节点的保存状态；步骤10，将图注意力网络模型节点的临时状态和图注意力网络模型节点的保存状态进行节点状态聚合，得到图注意力网络模型节点的最终状态；步骤11，将图注意力网络模型节点的最终状态通过Softmax函数进行激活，得到文本情感趋向；步骤12，对图注意力网络模型进行多层训练，构建损失函数；步骤13，根据损失函数对注意力权重进行调整，当损失函数值小于所记录的损失函数的最小值时，更新损失函数值最小值并将对应的图注意力网络模型参数进行记录，得到最优的图注意力网络模型；步骤14，通过最优的图注意力网络模型对文本进行情感分析。
其中，所述步骤3具体包括：通过Biaffine依赖解析器对训练集中的句子进行语法依存分析操作，将一个句子划分成词的线性序列并转化为根据句子语法依赖的图形结构，得到句法依存图，通过句法依存图将存在修饰关系的词相连接。
本发明的上述实施例所述的基于图注意力网络的文本情感分析方法，由于文本数据中存在一个句子有多个方面的评价，需对不同方面进行文本情感分析操作，使用Biaffine依赖解析器获取句法依存图，将一个句子划分成词的线性序列转化为根据其语法依赖的图形结构，句法依存图将每个方面所包涵的词相连接，减少了无关信息的干扰以及不同方面之间的词性影响，依据句子的依存关系用一个有向图进行准确的描述。
其中，所述步骤4具体包括：将训练集输入BERT预训练模型，通过BERT预训练模型的Transformer架构将训练集中的词语转化为维度为300的词向量。
本发明的上述实施例所述的基于图注意力网络的文本情感分析方法，通过BERT预训练模型的Transformer架构，使得词语的语义信息得到了极大程度的反映。
其中，所述步骤5具体包括：根据句法依存图中的具有非对称的二元关系的节点构建具有对称关系的邻接矩阵，当邻接矩阵为1时，邻接矩阵中对应坐标的两节点之间有有向弧相连接，当邻接矩阵为0时，邻接矩阵中对应坐标的两节点之间无有向弧相连接。
其中，所述步骤6具体包括：将邻接矩阵的节点作为图注意力网络模型的节点，节点之间的有向弧作为图注意力网络模型的边，搭建图注意力网络模型。
本发明的上述实施例所述的基于图注意力网络的文本情感分析方法，句法依存图中的节点和有向弧分别与图注意力网络模型中的节点和边一一对应。
其中，所述步骤7具体包括：将维度为300的词向量嵌入至图注意力网络模型中对应的节点，作为图注意力网络模型中的节点的初始化状态。
其中，所述步骤8具体包括：更新图注意力网络层，如下所示：
其中，αij表示节点j到i的注意力系数，N表示节点的个数，W表示在每个节点上应用的线性变换权重矩阵，表示节点i对应的实体向量，/>表示节点j对应的实体向量，/>表示节点k对应的实体向量，Ni表示节点i的邻居节点；
通过多头注意力机制对各个节点进行上下文信息捕获，通过注意力权重将各个节点周围的节点的表达以加权和的形式聚合到相对应的节点，对于K个独立注意力机制下的计算结果，采用K平均来替代连接，如下所示：
其中，表示节点i更新的值，k表示为多个注意力机制中的第k个，||表示将多个注意力头学习到的特征进行拼接，σ表示激活函数，/>表示节点i对节点j的注意力系数，Wk表示输入节点的线性变换权重矩阵。
本发明的上述实施例所述的基于图注意力网络的文本情感分析方法，通过引入多头注意力机制以捕获上下文信息从而稳定学习过程。
其中，所述步骤9具体包括：通过GRU对节点当前状态进行建模，搭建GRU模型，将节点的初始化状态输入GRU模型，结合节点t时刻的输入xt来更新重置门和控制门的状态，如下所示：
rt＝σ(Wz.[ht-1,xt]) (3)
zt＝σ(Wr.[ht-1,xt]) (4)
其中，σ表示sigmod函数，通过数据从0-1的变换来充当门控信号，rt表示t时刻控制重置的门控，zt表示t时刻控制更新的门控，ht-1表示t-1时刻的节点状态，表示t时刻的候选集，*表示矩阵的乘积，[]表示两个向量相连，tanh表示为双曲正切函数。
其中，所述步骤9还包括：通过同一个门控z同时进行遗忘和选择记忆，门控信号z的范围为0-1，当门控信号越靠近1，代表数据的重要性更高，如下所示：
其中，1-z表示遗忘门，(1-z)Θht-1表示忘记t-1时刻节点状态中一些不重要的信息，表示对t时刻的候选集中重要的信息进行选择；
将整个图注意力网络模型的前馈过程表示为：
Hl+1＝GRU(GAT(Hl)，Hl) (7)
其中，Hl+1表示第L+1层节点状态，Hl表示第L层节点状态。
本发明的上述实施例所述的基于图注意力网络的文本情感分析方法，使用GRU对节点当前状态进行建模，将节点的初始化状态输入GRU模型中进行保存，将节点的临时状态和保存后的节点状态进行节点状态聚合，得到最终的节点状态，提高了图注意力网络的收敛性。
其中，所述步骤11、所述步骤12、所述步骤13和所述步骤14具体包括：模型训练，采用L2正则化方法调节最小化交叉熵损失函数训练图注意力网络模型，通过线性变换将目标节点的状态映射到分类空间，通过Softmax函数计算目标节点的情感分类k的概率，如下所示：
其中，W表示线性变换的权重矩阵，ht表示目标节点状态，b表示线性变换的偏差，y表示情感类别的集合。
本发明的上述实施例所述的基于图注意力网络的文本情感分析方法，通过Biaffine依赖解析器对句子间的句法依存关系进行分析并构建句法依存图，根据句法依存图构建邻接矩阵，根据邻接矩阵构建图注意力网络模型，通过BERT预训练模型将词转换为词向量嵌入至图注意力网络模型中并将词向量作为图注意力网络模型节点的初始化状态，对图注意力网络模型进行更新，根据注意力权重将图注意力网络模型的节点以及节点邻域的向量聚合，得到新的向量序列，并将新的向量序列作为图注意力网络模型节点的临时状态，将图注意力网络模型节点的初始化状态输入搭建的GRU模型中进行保存，得到图注意力网络模型节点的保存状态，将图注意力网络模型节点的临时状态和图注意力网络模型节点的保存状态进行节点状态聚合，得到图注意力网络模型节点的最终状态，通过Softmax函数对图注意力网络模型节点的最终状态进行激活得到文本情感趋向，对图注意力网络模型进行多层训练，构建损失函数，调整注意力权重，得到最优的图注意力网络模型，通过最优的图注意力网络模型对文本进行情感分析，所述基于图注意力网络的文本情感分析方法，通过Biaffine依赖解析器对句子间的句法依存关系进行分析，通过BERT预训练模型获得词向量表示，通过图注意力网络模型对文本进行情感分析，充分的表达了文本中复杂的句法结构，提高了文本情感分析的准确率。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种基于图注意力网络的文本情感分析方法，其特征在于，包括：
步骤1，从Semeval2014Task4数据集中获取文本集合和感情标签集合；
步骤2，按比例在文本集合和感情标签集合中进行随机选取，得到训练集和测试集；
步骤3，通过Biaffine依赖解析器对训练集中的句子进行句法依存关系分析，根据句子的句法依存关系构建句法依存图；
步骤4，将训练集输入BERT预训练模型，通过BERT预训练模型将训练集中的词转化为词向量；
步骤5，根据句法依存图搭建邻接矩阵；所述步骤5具体包括：根据句法依存图中的具有非对称的二元关系的节点构建具有对称关系的邻接矩阵，当邻接矩阵为1时，邻接矩阵中对应坐标的两节点之间有有向弧相连接，当邻接矩阵为0时，邻接矩阵中对应坐标的两节点之间无有向弧相连接；
步骤6，根据邻接矩阵搭建图注意力网络模型；所述步骤6具体包括：将邻接矩阵的节点作为图注意力网络模型的节点，节点之间的有向弧作为图注意力网络模型的边，搭建图注意力网络模型；
步骤7，将词向量嵌入到图注意力网络模型中相对应的节点中，将词向量作为节点的初始化状态；所述步骤7具体包括：将维度为300的词向量嵌入至图注意力网络模型中对应的节点，作为图注意力网络模型中的节点的初始化状态；
步骤8，对图注意力网络模型进行更新，将图注意力网络模型中的节点和与节点邻接的向量按注意力权重进行聚合，得到更新后的节点的向量序列，将节点的向量序列作为图注意力网络模型中相对应节点的临时状态；所述步骤8具体包括：更新图注意力网络层，如下所示：
其中，αij表示节点j到i的注意力系数，N表示节点的个数，W表示在每个节点上应用的线性变换权重矩阵，表示节点i对应的实体向量，/>表示节点j对应的实体向量，/>表示节点k对应的实体向量，Ni表示节点i的邻居节点；
通过多头注意力机制对各个节点进行上下文信息捕获，通过注意力权重将各个节点周围的节点的表达以加权和的形式聚合到相对应的节点，对于K个独立注意力机制下的计算结果，采用K平均来替代连接，如下所示：
其中，表示节点i更新的值，k表示为多个注意力机制中的第k个，||表示将多个注意力头学习到的特征进行拼接，σ表示激活函数，/>表示节点i对节点j的注意力系数，Wk表示输入节点的线性变换权重矩阵；
步骤9，搭建GRU模型，将图注意力网络模型节点的初始化状态输入GRU模型中进行保存，得到图注意力网络模型节点的保存状态；
步骤10，将图注意力网络模型节点的临时状态和图注意力网络模型节点的保存状态进行节点状态聚合，得到图注意力网络模型节点的最终状态；
步骤11，将图注意力网络模型节点的最终状态通过Softmax函数进行激活，得到文本情感趋向；
步骤12，对图注意力网络模型进行多层训练，构建损失函数；
步骤13，根据损失函数对注意力权重进行调整，当损失函数值小于所记录的损失函数的最小值时，更新损失函数值最小值并将对应的图注意力网络模型参数进行记录，得到最优的图注意力网络模型；
步骤14，通过最优的图注意力网络模型对文本进行情感分析。
2.根据权利要求1所述的基于图注意力网络的文本情感分析方法，其特征在于，所述步骤3具体包括：
通过Biaffine依赖解析器对训练集中的句子进行语法依存分析，将一个句子划分成词的线性序列并转化为根据句子语法依赖的图形结构，得到句法依存图，通过句法依存图将存在修饰关系的词相连接。
3.根据权利要求1所述的基于图注意力网络的文本情感分析方法，其特征在于，所述步骤4具体包括：
将训练集输入BERT预训练模型，通过BERT预训练模型的Transformer架构将训练集中的词语转化为维度为300的词向量。
4.根据权利要求1所述的基于图注意力网络的文本情感分析方法，其特征在于，所述步骤9具体包括：
通过GRU对节点当前状态进行建模，搭建GRU模型，将节点的初始化状态输入GRU模型，结合节点t时刻的输入xt来更新重置门和控制门的状态，如下所示：
rt＝σ(Wz.[ht-1,xt])(3)
zt＝σ(Wr.[ht-1,xt])(4)
其中，σ表示sigmod函数，通过数据从0-1的变换来充当门控信号，rt表示t时刻控制重置的门控，zt表示t时刻控制更新的门控，ht-1表示t-1时刻的节点状态，表示t时刻的候选集，*表示矩阵的乘积，[]表示两个向量相连，tanh表示为双曲正切函数。
5.根据权利要求4所述的基于图注意力网络的文本情感分析方法，其特征在于，所述步骤9还包括：
通过同一个门控z同时进行遗忘和选择记忆，门控信号z的范围为0-1，当门控信号越靠近1，代表数据的重要性更高，如下所示：
其中，1-z表示遗忘门，(1-z)Θht-1表示忘记t-1时刻节点状态中一些不重要的信息，表示对t时刻的候选集中重要的信息进行选择；
将整个图注意力网络模型的前馈过程表示为：
Hl+1＝GRU(GAT(Hl)，Hl)(7)
其中，Hl+1表示第L+1层节点状态，Hl表示第L层节点状态。
6.根据权利要求5所述的基于图注意力网络的文本情感分析方法，其特征在于，所述步骤11、所述步骤12、所述步骤13和所述步骤14具体包括：
模型训练，采用L2正则化方法调节最小化交叉熵损失函数训练图注意力网络模型，通过线性变换将目标节点的状态映射到分类空间，通过Softmax函数计算目标节点的情感分类k的概率，如下所示：
其中，W表示线性变换的权重矩阵，ht表示目标节点状态，b表示线性变换的偏差，y表示情感类别的集合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011458024.3A CN112560432B (zh) | 2020-12-11 | 2020-12-11 | 基于图注意力网络的文本情感分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011458024.3A CN112560432B (zh) | 2020-12-11 | 2020-12-11 | 基于图注意力网络的文本情感分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112560432A CN112560432A (zh) | 2021-03-26 |
| CN112560432B true CN112560432B (zh) | 2023-08-11 |
Family
ID=75062091
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011458024.3A Active CN112560432B (zh) | 2020-12-11 | 2020-12-11 | 基于图注意力网络的文本情感分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112560432B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113194458B (zh) * | 2021-04-08 | 2022-05-13 | 南京中新赛克科技有限责任公司 | 多卡宝号码识别方法、装置 |
| CN113158644B (zh) * | 2021-05-13 | 2022-09-20 | 山西大学 | 一种基于多任务学习的修辞格及隐式情绪识别方法 |
| CN113033215B (zh) * | 2021-05-18 | 2021-08-13 | 华南师范大学 | 情感检测方法、装置、设备以及存储介质 |
| CN113255366B (zh) * | 2021-05-28 | 2022-12-09 | 西安交通大学 | 一种基于异构图神经网络的方面级文本情感分析方法 |
| CN113642235B (zh) * | 2021-08-09 | 2023-12-22 | 贵州电网有限责任公司 | 一种基于局部时空特征融合的覆冰预测方法 |
| CN114398976A (zh) * | 2022-01-13 | 2022-04-26 | 福州大学 | 基于bert与门控类注意力增强网络的机器阅读理解方法 |
| CN114648015B (zh) * | 2022-03-15 | 2022-11-15 | 北京理工大学 | 一种基于依存关系注意力模型的方面级情感词识别方法 |
| CN114444473B (zh) * | 2022-04-11 | 2022-06-21 | 江西财经大学 | 基于多通道层次图注意力网络的开放事件抽取方法与系统 |
| CN115422920B (zh) * | 2022-11-03 | 2023-02-28 | 南京信息工程大学 | 基于bert和gat的裁判文书争议焦点识别方法 |
| CN116188173A (zh) * | 2023-05-04 | 2023-05-30 | 北京澜舟科技有限公司 | 证券市场波动预警方法、系统以及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109543180A (zh) * | 2018-11-08 | 2019-03-29 | 中山大学 | 一种基于注意力机制的文本情感分析方法 |
| CN111914185A (zh) * | 2020-07-06 | 2020-11-10 | 华中科技大学 | 一种基于图注意力网络的社交网络中文本情感分析方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10839284B2 (en) * | 2016-11-03 | 2020-11-17 | Salesforce.Com, Inc. | Joint many-task neural network model for multiple natural language processing (NLP) tasks |
-
2020
- 2020-12-11 CN CN202011458024.3A patent/CN112560432B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109543180A (zh) * | 2018-11-08 | 2019-03-29 | 中山大学 | 一种基于注意力机制的文本情感分析方法 |
| CN111914185A (zh) * | 2020-07-06 | 2020-11-10 | 华中科技大学 | 一种基于图注意力网络的社交网络中文本情感分析方法 |
Non-Patent Citations (1)
| Title |
|---|
| A Recommendation Method of Educational Resources Based on Knowledge Structure;Ronghua Shi等;《 2018 IEEE 4th International Conference on Computer and Communications (ICCC)》;第2547-2552页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112560432A (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112560432B (zh) | 基于图注意力网络的文本情感分析方法 | |
| Harshvardhan et al. | A comprehensive survey and analysis of generative models in machine learning | |
| CN110334705B (zh) | 一种结合全局和局部信息的场景文本图像的语种识别方法 | |
| CN109376242B (zh) | 基于循环神经网络变体和卷积神经网络的文本分类方法 | |
| CN108388651B (zh) | 一种基于图核和卷积神经网络的文本分类方法 | |
| CN110069778B (zh) | 中文融入嵌入词位置感知的商品情感分析方法 | |
| CN110046252B (zh) | 一种基于注意力机制神经网络与知识图谱的医疗文本分级方法 | |
| CN110866542B (zh) | 一种基于特征可控融合的深度表示学习方法 | |
| CN111612051B (zh) | 一种基于图卷积神经网络的弱监督目标检测方法 | |
| CN109753897B (zh) | 基于记忆单元强化-时序动态学习的行为识别方法 | |
| CN113190699A (zh) | 一种基于类别级语义哈希的遥感图像检索方法及装置 | |
| CN110188827B (zh) | 一种基于卷积神经网络和递归自动编码器模型的场景识别方法 | |
| CN113535953B (zh) | 一种基于元学习的少样本分类方法 | |
| CN111291556A (zh) | 基于实体义项的字和词特征融合的中文实体关系抽取方法 | |
| CN112464004A (zh) | 一种多视角深度生成图像聚类方法 | |
| CN113139468B (zh) | 融合局部目标特征与全局特征的视频摘要生成方法 | |
| CN107818080A (zh) | 术语识别方法及装置 | |
| CN112561064A (zh) | 基于owkbc模型的知识库补全方法 | |
| CN113254675B (zh) | 基于自适应少样本关系抽取的知识图谱构建方法 | |
| CN113255366B (zh) | 一种基于异构图神经网络的方面级文本情感分析方法 | |
| CN112232395B (zh) | 一种基于联合训练生成对抗网络的半监督图像分类方法 | |
| CN114925205B (zh) | 基于对比学习的gcn-gru文本分类方法 | |
| CN113780003A (zh) | 时空数据变分编解码跨模态增强方法 | |
| CN115687609A (zh) | 一种基于Prompt多模板融合的零样本关系抽取方法 | |
| CN110263855B (zh) | 一种利用共基胶囊投影进行图像分类的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |