CN116702753A - 基于图注意力网络的文本情感分析方法 - Google Patents

基于图注意力网络的文本情感分析方法 Download PDF

Info

Publication number
CN116702753A
CN116702753A CN202310724825.7A CN202310724825A CN116702753A CN 116702753 A CN116702753 A CN 116702753A CN 202310724825 A CN202310724825 A CN 202310724825A CN 116702753 A CN116702753 A CN 116702753A
Authority
CN
China
Prior art keywords
matrix
attention
head
graph
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310724825.7A
Other languages
English (en)
Inventor
李建平
周越
田洁
苏辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202310724825.7A priority Critical patent/CN116702753A/zh
Publication of CN116702753A publication Critical patent/CN116702753A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了基于图注意力网络的文本情感分析方法。包括：基于向量模型对上下文文本进行向量化表示，获取句子词向量和方面词向量；基于Bert预训练模型处理句子词向量和方面词向量获取句子词编码；图注意网络模型GAT基于句法依存树处理句子词向量获取句法信息矩阵；图注意网络模型GAT基于多头自注意力机制处理句子词编码获取语义信息矩阵；基于相互连接向量分别处理句法信息矩阵和语义信息矩阵，获取句法特征矩阵和语义特征矩阵；基于句法特征矩阵和语义特征矩阵获取情感概率分布。解决了现有技术中确定每个评论对象表达情感的上下文范围不准确致情感分析偏差的技术问题。

Description

基于图注意力网络的文本情感分析方法
技术领域
本发明涉及文本情感分析技术领域，尤其涉及基于图注意力网络的文本情感分析方法。
背景技术
文本情感分析又称之为意见挖掘，是自然语言处理领域中的一个重要研究分支，其主要目的是对主观发表的带有感情色彩的文本数据进行收集、分析和总结，具体而言是指人们对某一实体的观点看法和意见，并对其进行情感分析，从而提取出有价值的信息。文本情感分析按照研究的粒度划分可以划分成三个方向的任务，分别是篇章级文本情感分析、句子级文本情感分析和方面级文本情感分析。篇章级文本情感分析整合一篇文章所有的情感内容，旨在分析文章整体的情感倾向，句子级情感分析是对一个句子进行情感分析。篇章级和句子级都属于概括性地给出评价，因此无法做到面面俱到。而在实际场景中，一段文字往往会给出多个实体，用户对实体的不同方面可能会给出不同的评价，不同实体间的情感差异也有可能是相反的，很多时候人们更关注于某一具体方面的情感极性，以上描述的这两种分析粒度均不能准确地做到这点。方面级情感分析任务的提出刚好可以避免忽视对应实体评价的情况，它是将实体的特征定义为方面，然后继续对句子进行拆分，对实体进行识别和情感分析，最后对各个实体分别给出情感极性判别。
方面级情感分析可以针对某一特定的方面进行跟踪，便于决策者采取针对性的措施。但是方面级情感分析过程中，因为获取文本中多个评论对象表达情感的上下文范围不准确，从而导致文本情感分析的结果存在偏差。
发明内容
针对现有技术中所存在的不足，本发明提供了基于图注意力网络的文本情感分析方法，其解决了现有技术中确定每个评论对象表达情感的上下文范围不准确致情感分析偏差的技术问题。
根据本发明基于图注意力网络的文本情感分析方法，基于图注意力网络的文本情感分析方法，所述方法包括：
词嵌入步骤：基于向量模型对上下文文本进行向量化表示，获取句子词向量和方面词向量；
特征提取步骤：基于Bert预训练模型处理句子词向量和方面词向量获取句子词编码；
图注意网络步骤：图注意网络模型GAT基于句法依存树处理句子词向量获取句法信息矩阵；图注意网络模型GAT基于多头自注意力机制处理句子词编码获取语义信息矩阵；
融合输出步骤：基于相互连接向量分别处理句法信息矩阵和语义信息矩阵，获取句法特征矩阵和语义特征矩阵；基于句法特征矩阵和语义特征矩阵获取情感概率分布。
进一步地，基于Bert预训练模型处理句子词向量和方面词向量获取句子词编码，包括：
基于预设分析格式处理句子词向量和方面词向量获取Bert预训练模型的预设格式向量；
基于多头注意力机制计算预设格式向量获取多头注意力权重矩阵；
对预设格式向量和多头注意力权重矩阵进行归一化操作，获取归一化编码向量；
将归一化编码向量输入前馈神经网络进行计算，得到句子词编码。
进一步地，基于多头注意力机制计算预设格式向量获取多头注意力权重矩阵，包括：
每一自注意力均对预设格式向量进行线性变换获取多个变换矩阵；每一自注意力基于多个变换矩阵获取单头注意力权重矩阵，计算公式为：
其中，headi为第i个单头注意力权重矩阵；Atter(.)为注意力计算函数；d为句子词向量的维度；T表示矩阵转置；Q、K以及U均为变换矩阵；
将所有单头自注意力权重进行拼接获取多头注意力权重矩阵，计算公式为：
Z＝concat(head1,head2,…,head8)×W0；
其中，Z为多头注意力矩阵；concat为拼接计算函数；W0为权重矩阵。
进一步地，对预设格式向量和多头注意力权重矩阵进行归一化操作，获取归一化编码向量，包括：将预设格式向量和多头注意力权重矩阵相加后，进行平滑处理获取归一化编码向量。
进一步地，将归一化编码向量输入前馈神经网络进行计算，得到句子词编码，计算公式为：
EL＝b1+W1×max(Z×W2+b2,0)；
其中，LN(xi)为单词xi的语义矩阵；EL为句子词编码；α、ε、β、b1、ε、W1、W2以及b2均为可学习参数；Z为多头注意力矩阵。
进一步地，图注意网络模型GAT基于句法依存树处理句子词向量获取句法信息矩阵，包括：
基于句法依赖解析模型处理句子词向量生成邻接矩阵Msyn；
将多头注意力权重矩阵Z作为句法依存树的初始节点，图注意网络模型GAT基于邻接矩阵Msyn输入获得句法信息矩阵计算公式为：
其中，为节点j到节点i的注意力系数；Z(i)为以多头注意力权重矩阵Z初始节点的邻居节点；leakyReLU(.)为激活函数；/>和Wlk均为权重参数；/>以及/>均为邻居节点的输出；σ(.)为归一化计算函数。
进一步地，图注意网络模型GAT基于多头自注意力机制处理句子词编码获取语义信息矩阵，包括：
基于多头注意力机制和topK运算处理句子词编码，获取多个邻接矩阵Asem；
图注意网络模型GAT按顺序将多个邻接矩阵Asem进行拼接后，依次进行softmax运算、argmax运算以及topK运算获取注意力权重矩阵计算公式为：
其中，topK(.)为注意力选择函数；为第i个邻接矩阵；
通过GCN层处理注意力权重矩阵获取语义信息矩阵/>计算公式为：
其中，σ(.)为归一化计算函数；为注意力权重矩阵；Wsem'为可学习参数；/>为上一语义信息矩阵；bsem'为偏移量。
进一步地，基于多头注意力机制和topK运算处理句子词编码，获取多个邻接矩阵Asem，包括：
基于多头自注意机制处理句子词编码获取多个注意力权重矩阵
将多个注意力权重矩阵相加后进行topK运算获取降噪权重矩阵计算公式为：
其中，topK(.)为注意力选择函数；k为注意力权重矩阵的个数；
图注意网络模型GAT计算降噪权重矩阵获取邻接矩阵Asem。
进一步地，基于相互连接向量分别处理句法信息矩阵和语义信息矩阵，获取句法特征矩阵和语义特征矩阵；基于句法特征矩阵和语义特征矩阵获取情感概率分布，包括：
基于相互连接向量分别处理句法信息矩阵和语义信息矩阵，获取句法特征矩阵和语义特征矩阵；
基于句法特征矩阵和语义特征矩阵Y获取情感概率分布，计算公式为：
y＝softmax(W[X][Y]+b)；
其中，X为句法特征矩阵；Y为语义特征矩阵；W为权重参数；b为偏移量。
进一步地，所述向量模型包括GloVe模型，GloVe模型对上下文文本或方面词依次进行分词、向量化后获得句子词向量或方面词向量。
相比于现有技术，本发明具有如下有益效果：
本发明中，在词嵌入步骤中使用GloVe模型使文本向量化从而获取句子词向量和方面词向量，方便特征提取步骤中Bert预训练模型进行处理；Bert预训练模型通过多个自注意力的差异性获取多个不同类型的语义，来生成句子词编码用于图注意网络步骤进行分析；图注意网络模型GAT基于句法依存树处理句子词向量能够将长距离依赖和复杂的句法信息完全挖掘出来；图注意网络模型GAT基于多头自注意力机制处理句子词编码获取语义信息矩阵。然后将语义信息矩阵和句法信息矩阵融合后输出情感概率分布。解决了现有技术中确定每个评论对象表达情感的上下文范围不准确致情感分析偏差的技术问题。
附图说明
图1为本发明实施例的步骤流程图。
图2为Bert预训练模型的多头注意力机制的计算过程示意图。
具体实施方式
下面结合附图及实施例对本发明中的技术方案进一步说明。
如图1所示，基于图注意力网络的文本情感分析方法，所述方法包括：
S1词嵌入步骤：基于向量模型对上下文文本进行向量化表示，获取句子词向量和方面词向量；
向量模型包括GloVe模型，GloVe模型对上下文文本或方面词依次进行分词、向量化后获得句子词向量或方面词向量。
S2特征提取步骤：基于Bert预训练模型处理句子词向量和方面词向量获取句子词编码；
通过Bert预训练模型处理句子词向量和方面词向量进行特征提取获取感知方面词来生成句子词编码；Bert预训练模型有着非常强大的学习文本句子语义的能力，其内部结构包括了多层的Transformer，Bert预训练模型的训练方式分成两个阶段，首先进行预训练，然后根据任务类型进行微调，从而适用于多种情感分析任务和情感分类任务。
S3图注意网络步骤：图注意网络模型GAT基于句法依存树处理句子词向量获取句法信息矩阵；图注意网络模型GAT基于多头自注意力机制处理句子词编码获取语义信息矩阵；
图注意网络模型GAT基于句法依存树根据句子词向量来获取句法信息；图注意网络模型GAT基于多头自注意力机制来根据句子词编码获取语义信息。
S4融合输出步骤：基于相互连接向量分别处理句法信息矩阵和语义信息矩阵，获取句法特征矩阵和语义特征矩阵；基于句法特征矩阵和语义特征矩阵获取情感概率分布；
将句法信息矩阵和语义信息矩阵进行融合处理，更能理解句子和方面词。
本实施例的具体实施过程包括：
本实施例中，在词嵌入步骤中使用GloVe模型使文本向量化从而获取句子词向量和方面词向量，方便特征提取步骤中Bert预训练模型进行处理；Bert预训练模型通过多个自注意力的差异性获取多个不同类型的语义，来生成句子词编码用于图注意网络步骤进行分析；图注意网络模型GAT基于句法依存树处理句子词向量能够将长距离依赖和复杂的句法信息完全挖掘出来；图注意网络模型GAT基于多头自注意力机制处理句子词编码获取语义信息矩阵。然后将语义信息矩阵和句法信息矩阵融合后输出情感概率分布。
本实施例整体基于深度学习模型实现所述文本情感分析方法，深度学习模型包括词嵌入层、特征提取层、图注意网络层以及融合输出层，所述词嵌入层用于执行词嵌入步骤；特征提取层用于执行特征提取步骤；图注意网络层用于执行图注意网络步骤；融合输出层用于执行融合输出步骤。
本实施例中，基于Bert预训练模型处理句子词向量和方面词向量获取句子词编码，包括：
基于预设分析格式处理句子词向量和方面词向量获取Bert预训练模型的预设格式向量；预设分析格式包括：“[CLS]+句子+[SEP]+方面词+[SEP]”；
基于多头注意力机制计算预设格式向量获取多头注意力权重矩阵；
对预设格式向量和多头注意力权重矩阵进行归一化操作，获取归一化编码向量；包括：将预设格式向量和多头注意力权重矩阵相加后，进行平滑处理获取归一化编码向量，以使归一化编码向量服从N(0,1)的标准正态分布。
将归一化编码向量输入前馈神经网络进行计算，得到句子词编码。
Bert预训练模型包括多个计算模块，多个计算模块包括多头注意力计算模块；前馈网络模块以及归一化模块；
多头注意力计算模块用于计算预设格式向量获取多头注意力权重矩阵；归一化模块用于对预设格式向量和多头注意力权重矩阵进行归一化操作，获取归一化编码向量；前馈网络模块用于对归一化编码向量进行计算，获取句子词编码。
如图2所示，Bert预训练模型的多头注意力机制的计算过程，包括：
每一自注意力均对预设格式向量进行线性变换获取多个变换矩阵；每一自注意力基于多个变换矩阵获取单头注意力权重矩阵，计算公式为：
其中，headi为第i个单头注意力权重矩阵；Atter(.)为注意力计算函数；d为句子词向量的维度；T表示矩阵转置；Q、K以及U均为变换矩阵；
将所有单头自注意力权重进行拼接获取多头注意力权重矩阵，计算公式为：
Z＝concat(head1,head2,…,head8)×W0；
其中，Z为多头注意力矩阵；concat为拼接计算函数；W0为权重矩阵。
本实施例中多头注意力计算模块包括8个自注意力单元；每个自注意单元均配置有不同的参数矩阵来获取不同类型的语义信息即单头注意力权重矩阵。然后将每个自注意力单元计算获取单头注意力权重矩阵进行拼接获取多头注意力权重矩阵。
本实施例中，将归一化编码向量输入前馈神经网络进行计算得到句子的语义特征表示即句子词编码，计算公式为：
EL＝b1+W1×max(Z×W2+b2,0)；
其中，LN(xi)为单词xi的语义矩阵；EL为句子词编码；α、ε、β、b1、ε、W1、W2以及b2均为可学习参数；Z为多头注意力矩阵。
本发明的另一实施例，图注意网络模型GAT基于句法依存树处理句子词向量获取句法信息矩阵，包括：
基于句法依赖解析模型处理句子词向量生成邻接矩阵Msyn；本实施例中所述句法依赖解析模型包括LAL-Parser模型，方便注意网络模型GAT捕获结构信息；
将多头注意力权重矩阵Z作为句法依存树的初始节点，图注意网络模型GAT基于邻接矩阵Msyn输入获得句法信息矩阵计算公式为：
其中，为节点j到节点i的注意力系数；Z(i)为以多头注意力权重矩阵Z初始节点的邻居节点；leakyReLU(.)为激活函数；/>和Wlk均为权重参数；/>以及/>均为邻居节点的输出；σ(.)为归一化计算函数。
图注意网络模型GAT基于多头自注意力机制处理句子词编码获取语义信息矩阵，包括：
基于多头注意力机制和topK运算处理句子词编码，获取多个邻接矩阵Asem，包括：
基于多头自注意机制处理句子词编码获取多个注意力权重矩阵
将多个注意力权重矩阵相加后进行topK运算获取降噪权重矩阵降噪权重矩阵/>表示第一个注意力机制的得分矩阵，计算公式为：
其中，topK(.)为注意力选择函数；k为注意力权重矩阵的个数；
图注意网络模型GAT计算降噪权重矩阵获取邻接矩阵Asem，计算公式为：
其中为图注意网络模型GAT的输出向量；σ(.)为归一化计算函数；Hc为影响力权重矩阵；dbert为bert的维数；K为多头注意力的个数；/>和/>均为权重矩阵；dhead为注意力维度；wsem和bsem均为可学习参数。
图注意网络模型GAT按顺序将多个邻接矩阵Asem进行拼接后，依次进行softmax运算、argmax运算以及topK运算获取注意力权重矩阵计算公式为：
其中，topK(.)为注意力选择函数；为第i个邻接矩阵；
通过GCN层处理注意力权重矩阵获取语义信息矩阵/>计算公式为：
其中，其中，σ(.)为归一化计算函数；为注意力权重矩阵；Wsem'为可学习参数；为上一语义信息矩阵；bsem'为偏移量。
本实施例的具体实施过程包括：
图注意网络模型GAT对词语之间有联系的边给予了同等权重，更能突出方面词和情感词之间的联系，图注意网络模型GAT一方面基于句法依存树进行提取句法特征，句法依存树用来提取自然语言文本中的语义和结构信息，帮助机器理解文本，从而支持机器翻译和自然语言处理应用。例如，给定一句话“他给我买了一本书”，句法依存树可以帮助识别出买者和被买者的身份，以及买的物品是什么。另外，它也可以用来提取文本中的句子关系，如主语、宾语、定语等；另一方面基于多头自注意力机制提取语义特征；使得后续融合过程中，交互式地学习与方面词相关的句法和语义重要特征。
本发明的另一实施例，基于相互连接向量分别处理句法信息矩阵和语义信息矩阵，获取句法特征矩阵和语义特征矩阵；基于句法特征矩阵和语义特征矩阵获取情感概率分布，包括：
基于相互连接向量分别处理句法信息矩阵和语义信息矩阵，获取句法特征矩阵和语义特征矩阵；
句法特征矩阵的计算公式为：
其中，hsysT和hsem为相互连接向量；ri和ai均为交互中间值；X为句法特征矩阵。
语义特征矩阵的计算公式为：
其中，hsysT和hsem为相互连接向量；qi和βi均为交互中间值；Y为语义特征矩阵。
基于句法特征矩阵和语义特征矩阵Y获取情感概率分布，计算公式为：
y＝softmax(W[X][Y]+b)；
其中，X为句法特征矩阵；Y为语义特征矩阵；W为权重参数；b为偏移量。
本实施例的具体过程包括：
将语义和句法的特征进行融合是为了学习与方面词情感相关的最终表示。
需要说明的是，对于整个深度学习模型，本实施例还使用交叉熵所谓损失函数；损失函数的计算公式为：
其中，D为数据集；(d,label)代表一条数据和对应标签；λ为正则化系数；Θ为梯度下降的训练参数集合；Plabel为。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.基于图注意力网络的文本情感分析方法，其特征在于：所述方法包括：
基于向量模型对上下文文本进行向量化表示，获取句子词向量和方面词向量；
基于Bert预训练模型处理句子词向量和方面词向量获取句子词编码；
图注意网络模型GAT基于句法依存树处理句子词向量获取句法信息矩阵；图注意网络模型GAT基于多头自注意力机制处理句子词编码获取语义信息矩阵；
基于相互连接向量分别处理句法信息矩阵和语义信息矩阵，获取句法特征矩阵和语义特征矩阵；基于句法特征矩阵和语义特征矩阵获取情感概率分布。
2.如权利要求1所述的基于图注意力网络的文本情感分析方法，其特征在于：基于Bert预训练模型处理句子词向量和方面词向量获取句子词编码，包括：
基于预设分析格式处理句子词向量和方面词向量获取Bert预训练模型的预设格式向量；
基于多头注意力机制计算预设格式向量获取多头注意力权重矩阵；
对预设格式向量和多头注意力权重矩阵进行归一化操作，获取归一化编码向量；
将归一化编码向量输入前馈神经网络进行计算，得到句子词编码。
3.如权利要求2所述的基于图注意力网络的文本情感分析方法，其特征在于：基于多头注意力机制计算预设格式向量获取多头注意力权重矩阵，包括：
每一自注意力均对预设格式向量进行线性变换获取多个变换矩阵；每一自注意力基于多个变换矩阵获取单头注意力权重矩阵，计算公式为：
其中，headi为第i个单头注意力权重矩阵；Atter(.)为注意力计算函数；d为句子词向量的维度；T表示矩阵转置；Q、K以及U均为变换矩阵；
将所有单头自注意力权重进行拼接获取多头注意力权重矩阵，计算公式为：
Z＝concat(head1,head2,…,head8)×W0；
其中，Z为多头注意力矩阵；concat为拼接计算函数；W0为权重矩阵。
4.如权利要求2所述的基于图注意力网络的文本情感分析方法，其特征在于：对预设格式向量和多头注意力权重矩阵进行归一化操作，获取归一化编码向量，包括：将预设格式向量和多头注意力权重矩阵相加后，进行平滑处理获取归一化编码向量。
5.如权利要求4所述的基于图注意力网络的文本情感分析方法，其特征在于：将归一化编码向量输入前馈神经网络进行计算，得到句子词编码，计算公式为：
EL＝b1+W1×max(Z×W2+b2,0)；
其中，LN(xi)为单词xi的语义矩阵；EL为句子词编码；α、ε、β、b1、ε、W1、W2以及b2均为可学习参数；Z为多头注意力矩阵。
6.如权利要求5所述的基于图注意力网络的文本情感分析方法，其特征在于：图注意网络模型GAT基于句法依存树处理句子词向量获取句法信息矩阵，包括：
基于句法依赖解析模型处理句子词向量生成邻接矩阵Msyn；
将多头注意力权重矩阵Z作为句法依存树的初始节点，图注意网络模型GAT基于邻接矩阵Msyn输入获得句法信息矩阵计算公式为：
其中，为节点j到节点i的注意力系数；Z(i)为以多头注意力权重矩阵Z初始节点的邻居节点；leakyReLU(.)为激活函数；/>和Wlk均为权重参数；/>以及/>均为邻居节点的输出；σ(.)为归一化计算函数。
7.如权利要求6所述的基于图注意力网络的文本情感分析方法，其特征在于：图注意网络模型GAT基于多头自注意力机制处理句子词编码获取语义信息矩阵，包括：
基于多头注意力机制和topK运算处理句子词编码，获取多个邻接矩阵Asem；
图注意网络模型GAT按顺序将多个邻接矩阵Asem进行拼接后，依次进行softmax运算、argmax运算以及topK运算获取注意力权重矩阵计算公式为：
其中，topK(.)为注意力选择函数；为第i个邻接矩阵；
通过GCN层处理注意力权重矩阵获取语义信息矩阵/>计算公式为：
其中，σ(.)为归一化计算函数；为注意力权重矩阵；Wsem'为可学习参数；/>为上一语义信息矩阵；bsem'为偏移量。
8.如权利要求7所述的基于图注意力网络的文本情感分析方法，其特征在于：基于多头注意力机制和topK运算处理句子词编码，获取多个邻接矩阵Asem，包括：
基于多头自注意机制处理句子词编码获取多个注意力权重矩阵
将多个注意力权重矩阵相加后进行topK运算获取降噪权重矩阵计算公式为：
其中，topK(.)为注意力选择函数；k为注意力权重矩阵的个数；
图注意网络模型GAT计算降噪权重矩阵获取邻接矩阵Asem。
9.如权利要求8所述的基于图注意力网络的文本情感分析方法，其特征在于：基于相互连接向量分别处理句法信息矩阵和语义信息矩阵，获取句法特征矩阵和语义特征矩阵；基于句法特征矩阵和语义特征矩阵获取情感概率分布，包括：
基于相互连接向量分别处理句法信息矩阵和语义信息矩阵，获取句法特征矩阵和语义特征矩阵；
基于句法特征矩阵和语义特征矩阵Y获取情感概率分布，计算公式为：
y＝softmax(W[X][Y]+b)；
其中，X为句法特征矩阵；Y为语义特征矩阵；W为权重参数；b为偏移量。
10.如权利要求1所述的基于图注意力网络的文本情感分析方法，其特征在于：所述向量模型包括GloVe模型，GloVe模型对上下文文本或方面词依次进行分词、向量化后获得句子词向量或方面词向量。
CN202310724825.7A 2023-06-19 2023-06-19 基于图注意力网络的文本情感分析方法 Pending CN116702753A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310724825.7A CN116702753A (zh) 2023-06-19 2023-06-19 基于图注意力网络的文本情感分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310724825.7A CN116702753A (zh) 2023-06-19 2023-06-19 基于图注意力网络的文本情感分析方法

Publications (1)

Publication Number Publication Date
CN116702753A true CN116702753A (zh) 2023-09-05

Family

ID=87843022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310724825.7A Pending CN116702753A (zh) 2023-06-19 2023-06-19 基于图注意力网络的文本情感分析方法

Country Status (1)

Country Link
CN (1) CN116702753A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117034327A (zh) * 2023-10-09 2023-11-10 广东源恒软件科技有限公司 一种电子书内容加密防护方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117034327A (zh) * 2023-10-09 2023-11-10 广东源恒软件科技有限公司 一种电子书内容加密防护方法
CN117034327B (zh) * 2023-10-09 2024-03-19 广东源恒软件科技有限公司 一种电子书内容加密防护方法

Similar Documents

Publication Publication Date Title
Rani et al. Deep learning based sentiment analysis using convolution neural network
CN110134757B (zh) 一种基于多头注意力机制的事件论元角色抽取方法
CN106776581B (zh) 基于深度学习的主观性文本情感分析方法
CN107168945B (zh) 一种融合多特征的双向循环神经网络细粒度意见挖掘方法
CN106980608A (zh) 一种中文电子病历分词和命名实体识别方法及系统
CN110287323B (zh) 一种面向目标的情感分类方法
CN110427616B (zh) 一种基于深度学习的文本情感分析方法
CN111382565A (zh) 基于多标签的情绪-原因对抽取方法及系统
CN115239937B (zh) 一种跨模态情感预测方法
Chang et al. Research on detection methods based on Doc2vec abnormal comments
CN107301163B (zh) 包含公式的文本语义解析方法及装置
Kaur Incorporating sentimental analysis into development of a hybrid classification model: A comprehensive study
CN113705238B (zh) 基于bert和方面特征定位模型的方面级情感分析方法及系统
CN112395417A (zh) 基于深度学习的网络舆情演化仿真方法及系统
CN110969023B (zh) 文本相似度的确定方法及装置
CN112905739A (zh) 虚假评论检测模型训练方法、检测方法及电子设备
CN111091007A (zh) 一种基于舆情及企业画像识别多个企业之间关系的方法
CN116702753A (zh) 基于图注意力网络的文本情感分析方法
CN116029305A (zh) 一种基于多任务学习的中文属性级情感分析方法、系统、设备及介质
CN116245110A (zh) 基于图注意力网络的多维度信息融合用户立场检测方法
CN114841151A (zh) 基于分解-重组策略的医学文本实体关系联合抽取方法
CN114443846A (zh) 一种基于多层级文本异构图的分类方法、装置及电子设备
CN112287119B (zh) 一种在线资源相关信息抽取的知识图谱生成方法
CN112784601A (zh) 关键信息提取方法、装置、电子设备和存储介质
CN116186562A (zh) 基于编码器的长文本匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination