CN112528672A - 一种基于图卷积神经网络的方面级情感分析方法及装置 - Google Patents

一种基于图卷积神经网络的方面级情感分析方法及装置 Download PDF

Info

Publication number
CN112528672A
CN112528672A CN202011463822.5A CN202011463822A CN112528672A CN 112528672 A CN112528672 A CN 112528672A CN 202011463822 A CN202011463822 A CN 202011463822A CN 112528672 A CN112528672 A CN 112528672A
Authority
CN
China
Prior art keywords
graph
sentence
emotion analysis
neural network
subjected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011463822.5A
Other languages
English (en)
Other versions
CN112528672B (zh
Inventor
李睿凡
陈昊
冯方向
张光卫
王小捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202011463822.5A priority Critical patent/CN112528672B/zh
Publication of CN112528672A publication Critical patent/CN112528672A/zh
Application granted granted Critical
Publication of CN112528672B publication Critical patent/CN112528672B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本发明实施例提供了一种基于图卷积神经网络的方面级情感分析方法及装置，所述方法包括：获取待进行方面情感分析的句子，以及该待进行方面情感分析句子中的方面词；对待进行方面情感分析的句子以及方面词进行预处理，得到待进行方面情感分析的句子对应的输入向量序列以及句法加权图；将输入向量序列和句法加权图，输入预先训练的双重图卷积神经网络中，得到方面词对应的情感分析结果。本发明实施例，使用双重图卷积神经网络不仅关注句子的句法特征，还关注句子的语义特征，提取句子对应的语义相关特征，弥补了对句法不敏感的句子提取句法特征不准确的缺陷，提高情感分析结果的准确性。

Description

一种基于图卷积神经网络的方面级情感分析方法及装置
技术领域
本发明涉及自然语言处理技术领域，特别是涉及一种基于图卷积神经网络的方面级情感分析方法及装置。
背景技术
ABSA(Aspect-based Sentiment Analysis,基于方面的情感分析)是一个面向实体级的细粒度情感分析任务，旨在判断句子中给定的方面词的情感极性。方面级情感分析可以更加精确地识别出用户对一个具体方面的情感态度，而不是直接在句子级粒度上判断情感极性。
现有方面级情感分析使用的是基于句法依存树的GCN(Graph ConvolutionNetwork，图卷积网络)，具体的，将待进行方面情感分析的句子作为输入信息，使用预训练的Glove词嵌入将该输入信息中的每个词转换为词向量，进而将词向量输入预先训练的BiLSTM(Bidirectional Long Short-Term Memory，双向长短期记忆网络)中，得到词向量对应的隐藏状态特征，以及将输入信息输入预先训练的依存句法分析器中得到句法依存树，并将句法依存树转换为包含待进行方面情感分析句子中各词的无向图，进一步将词向量对应的隐藏状态特征、无向图，以及待进行方面情感分析的句子中方面词的位置信息，输入预先训练的GCN中进行情感分析，得到待进行方面情感分析的句子中方面词所对应的情感分析结果。
然而，发明人发现，现有使用基于句法依存树的GCN实现方面级情感分析的过程中，因依存句法分析器对句子的句法解析存在解析结果不准确的现象，以及当待进行情感分析的句子对句法依赖不敏感时，使用依存句法分析器解析得到的句法依存树所转换的无向图作为GCN的一项输入，使得通过GCN得到的情感分析结果不准确。
发明内容
本发明实施例的目的在于提供一种基于图卷积神经网络的方面级情感分析方法及装置，以提高情感分析结果的准确性。具体技术方案如下：
第一方面，本发明实施例提供了一种基于图卷积神经网络的方面级情感分析方法，所述方法包括：
获取待进行方面情感分析的句子，以及该待进行方面情感分析句子中的方面词；
对所述待进行方面情感分析的句子以及所述方面词进行预处理，得到所述待进行方面情感分析的句子对应的输入向量序列以及句法加权图；其中，所述输入向量序列用于表征所述待进行方面情感分析句子的初始特征，所述初始特征包括所述方面词的相对距离信息，所述句法加权图用于表征所述待进行方面情感分析句子中各个词之间的依存关系；
将所述输入向量序列和所述句法加权图，输入预先训练的双重图卷积神经网络中，得到所述方面词对应的情感分析结果；其中，所述预先训练的双重图卷积神经网络包括：句法图卷积子神经网络和基于自注意力机制的语义图卷积子神经网络，所述句法图卷积子神经网络用于提取所述待进行方面情感分析的句子对应的句法相关特征，所述基于自注意力机制的语义图卷积子神经网络用于提取所述待进行方面情感分析的句子对应的语义相关特征，所述预先训练的双重图卷积神经网络是根据样本句子对应的输入向量序列，样本句子对应的句法加权图，以及样本句子中方面词对应的标准情感分析结果训练得到的，所述标准情感分析结果包括：正向结果、中性结果以及负向结果。
可选地，所述对所述待进行方面情感分析的句子以及所述方面词进行预处理，得到所述待进行方面情感分析的句子对应的输入向量序列以及句法加权图的步骤，包括：
使用预训练的Glove词嵌入，将所述待进行方面情感分析的句子中每个词转换为词向量；
将所述待进行方面情感分析的句子中方面词的相对距离信息，以及每个词的词性信息分别使用向量表示，并与所述词向量进行拼接，得到所述待进行方面情感分析的句子对应的输入向量序列；
将所述待进行方面情感分析的句子中每个词的词性信息对应的向量和所述词向量，输入预先训练的依存句法分析器中，得到所述待进行方面情感分析的句子对应的依赖弧概率矩阵，并将所述依赖弧概率矩阵转换为句法加权图；所述预先训练的依存句法分析器是根据预设数据集训练得到的。
可选地，所述将所述输入向量序列和所述句法加权图，输入预先训练的双重图卷积神经网络中，得到所述方面词对应的情感分析结果的步骤，包括：
利用所述预先训练的双重图卷积神经网络中的双向长短期记忆网络BiLSTM，对所述输入向量序列进行特征转换，得到所述待进行方面情感分析的句子对应的隐藏状态特征；
基于所述待进行方面情感分析的句子对应的隐藏状态特征以及句法加权图，利用所述句法图卷积子神经网络，对所述待进行方面情感分析的句子进行句法特征提取，得到所述待进行方面情感分析的句子对应的第一句法图特征；
基于所述待进行方面情感分析的句子对应的隐藏状态特征，利用所述基于自注意力机制的语义图卷积子神经网络，对所述待进行方面情感分析的句子进行语义特征提取，得到所述待进行方面情感分析的句子对应的第一语义图特征；
利用所述预先训练的双重图卷积神经网络中的双仿射模块，分别对所述待进行方面情感分析的句子对应的第一句法图特征和第一语义图特征进行特征转换，得到所述待进行方面情感分析的句子对应的第二句法图特征和第二语义图特征；
分别提取所述待进行方面情感分析的句子对应的第二句法图特征和第二语义图特征中的方面词节点特征，并利用所述预先训练的双重图卷积神经网络中的池化层，对提取的方面词节点特征进行池化和拼接处理，得到第一拼接特征；
利用所述预先训练的双重图卷积神经网络中的全连接层，对所述第一拼接特征进行概率分析，得到所述方面词对应的情感分析结果。
可选地，所述双重图卷积神经网络的训练过程，包括：
构建初始双重图卷积神经网络模型，所述初始双重图卷积神经网络模型包括：双向长短期记忆网络BiLSTM，句法图卷积子神经网络，基于自注意力机制的语义图卷积子神经网络，双仿射模块，池化层和全连接层；
将样本句子对应的输入向量序列，输入至所述BiLSTM中，得到所述样本句子对应的隐藏状态特征；
将所述样本句子对应的隐藏状态特征以及样本句子对应的句法加权图，输入所述句法图卷积子神经网络中进行句法特征提取，得到样本句子对应的第一句法图特征；
将所述样本句子对应的隐藏状态特征，输入所述基于自注意力机制的语义图卷积子神经网络进行语义特征提取，得到样本句子对应的第一语义图特征；
利用所述双仿射模块，分别对所述样本句子对应的第一句法图特征和第一语义图特征进行特征转换，得到所述样本句子对应的第二句法图特征和第二语义图特征；
分别提取所述样本句子对应的第二句法图特征和第二语义图特征中的方面词节点特征，将提取的方面词节点特征输入池化层，进行池化和拼接处理，得到第二拼接特征；
将所述第二拼接特征输入全连接层，得到样本句子中方面词对应的情感分析结果；
基于所述情感分析结果与标准情感分析结果的差异，计算所述初始双重图卷积神经网络模型对应的损失函数；
对所述损失函数进行最小化处理，确定所述初始双重图卷积神经网络模型中各模块的权重参数；
基于所述初始双重图卷积神经网络模型中各模块的权重参数，对所述初始双重图卷积神经网络模型中的参数进行更新，训练得到所述双重图卷积神经网络模型。
可选地，所述句法图卷积子神经网络和基于自注意力机制的语义图卷积子神经网络各包含N层，N为大于1的整数；
所述利用所述双仿射模块，分别对所述样本句子对应的第一句法图特征和第一语义图特征进行特征转换，得到所述样本句子对应的第二句法图特征和第二语义图特征之后，还包括：
将所述样本句子对应的第二句法图特征，更新为样本句子对应的隐藏状态特征，并执行将所述样本句子对应的隐藏状态特征以及样本句子对应的句法加权图，输入所述句法图卷积子神经网络中进行句法特征提取，得到样本句子对应的第一句法图特征的步骤；
将所述样本句子对应的第二语义图特征，更新为样本句子对应的隐藏状态特征，并执行将所述样本句子对应的隐藏状态特征，输入所述基于自注意力机制的语义图卷积子神经网络进行语义特征提取，得到样本句子对应的第一语义图特征的步骤。
可选地，所述损失函数的表达式为：
lT＝lC+λ1RO+λ2RD+λ3||Θ||2
Figure BDA0002833494160000041
Figure BDA0002833494160000042
其中，lT表示损失函数，lC表示交叉熵损失，λ1、λ2和λ3表示正则项权重系数，RO表示正交正则损失值，RD表示差异正则损失值，Θ表示所述双重图卷积神经网络模型中所有可训练参数，Asem表示基于自注意力机制的语义图卷积子神经网络中自注意力机制对所述样本句子进行注意力计算，得到的注意力得分矩阵，I表示单位矩阵，Asyn表示依赖弧概率矩阵。
第二方面，本发明实施例提供了一种基于图卷积神经网络的方面级情感分析装置，所述装置包括：
获取模块，用于获取待进行方面情感分析的句子，以及该待进行方面情感分析句子中的方面词；
预处理模块，用于对所述待进行方面情感分析的句子以及所述方面词进行预处理，得到所述待进行方面情感分析的句子对应的输入向量序列以及句法加权图；其中，所述输入向量序列用于表征所述待进行方面情感分析句子的初始特征，所述初始特征包括所述方面词的相对距离信息，所述句法加权图用于表征所述待进行方面情感分析句子中各个词之间的依存关系；
情感分析模块，用于将所述输入向量序列和所述句法加权图，输入预先训练的双重图卷积神经网络中，得到所述方面词对应的情感分析结果；其中，所述预先训练的双重图卷积神经网络包括：句法图卷积子神经网络和基于自注意力机制的语义图卷积子神经网络，所述句法图卷积子神经网络用于提取所述待进行方面情感分析的句子对应的句法相关特征，所述基于自注意力机制的语义图卷积子神经网络用于提取所述待进行方面情感分析的句子对应的语义相关特征，所述预先训练的双重图卷积神经网络是根据样本句子对应的输入向量序列，样本句子对应的句法加权图，以及样本句子中方面词对应的标准情感分析结果训练得到的，所述标准情感分析结果包括：正向结果、中性结果以及负向结果。
可选地，所述预处理模块，包括：
第一转换子模块，用于使用预训练的Glove词嵌入，将所述待进行方面情感分析的句子中每个词转换为词向量；
拼接子模块，用于将所述待进行方面情感分析的句子中方面词的相对距离信息，以及每个词的词性信息分别使用向量表示，并与所述词向量进行拼接，得到所述待进行方面情感分析的句子对应的输入向量序列；
分析子模块，用于将所述待进行方面情感分析的句子中每个词的词性信息对应的向量和所述词向量，输入预先训练的依存句法分析器中，得到所述待进行方面情感分析的句子对应的依赖弧概率矩阵，并将所述依赖弧概率矩阵转换为句法加权图；所述预先训练的依存句法分析器是根据预设数据集训练得到的。
可选地，情感分析模块，包括：
第二转换子模块，用于利用所述预先训练的双重图卷积神经网络中的双向长短期记忆网络BiLSTM，对所述输入向量序列进行特征转换，得到所述待进行方面情感分析的句子对应的隐藏状态特征；
第一特征提取子模块，用于基于所述待进行方面情感分析的句子对应的隐藏状态特征以及句法加权图，利用所述句法图卷积子神经网络，对所述待进行方面情感分析的句子进行句法特征提取，得到所述待进行方面情感分析的句子对应的第一句法图特征；
第二特征提取子模块，用于基于所述待进行方面情感分析的句子对应的隐藏状态特征，利用所述基于自注意力机制的语义图卷积子神经网络，对所述待进行方面情感分析的句子进行语义特征提取，得到所述待进行方面情感分析的句子对应的第一语义图特征；
第三转换子模块，用于利用所述预先训练的双重图卷积神经网络中的双仿射模块，分别对所述待进行方面情感分析的句子对应的第一句法图特征和第一语义图特征进行特征转换，得到所述待进行方面情感分析的句子对应的第二句法图特征和第二语义图特征；
池化子模块，用于分别提取所述待进行方面情感分析的句子对应的第二句法图特征和第二语义图特征中的方面词节点特征，并利用所述预先训练的双重图卷积神经网络中的池化层，对提取的方面词节点特征进行池化和拼接处理，得到第一拼接特征；
概率分析子模块，用于利用所述预先训练的双重图卷积神经网络中的全连接层，对所述第一拼接特征进行概率分析，得到所述方面词对应的情感分析结果。
可选地，所述装置还包括：
构建模块，用于构建初始双重图卷积神经网络模型，所述初始双重图卷积神经网络模型包括：双向长短期记忆网络BiLSTM，句法图卷积子神经网络，基于自注意力机制的语义图卷积子神经网络，双仿射模块，池化层和全连接层；
获得模块，用于将样本句子对应的输入向量序列，输入至所述BiLSTM中，得到所述样本句子对应的隐藏状态特征；
第一特征提取模块，用于将所述样本句子对应的隐藏状态特征以及样本句子对应的句法加权图，输入所述句法图卷积子神经网络中进行句法特征提取，得到样本句子对应的第一句法图特征；
第二特征提取模块，用于将所述样本句子对应的隐藏状态特征，输入所述基于自注意力机制的语义图卷积子神经网络进行语义特征提取，得到样本句子对应的第一语义图特征；
特征转换模块，用于利用所述双仿射模块，分别对所述样本句子对应的第一句法图特征和第一语义图特征进行特征转换，得到所述样本句子对应的第二句法图特征和第二语义图特征；
池化模块，用于分别提取所述样本句子对应的第二句法图特征和第二语义图特征中的方面词节点特征，将提取的方面词节点特征输入池化层，进行池化和拼接处理，得到第二拼接特征；
分析模块，用于将所述第二拼接特征输入全连接层，得到样本句子中方面词对应的情感分析结果；
计算模块，用于基于所述情感分析结果与标准情感分析结果的差异，计算所述初始双重图卷积神经网络模型对应的损失函数；
确定模块，用于对所述损失函数进行最小化处理，确定所述初始双重图卷积神经网络模型中各模块的权重参数；
训练模块，用于基于所述初始双重图卷积神经网络模型中各模块的权重参数，对所述初始双重图卷积神经网络模型中的参数进行更新，训练得到所述双重图卷积神经网络模型。
可选地，所述句法图卷积子神经网络和基于自注意力机制的语义图卷积子神经网络各包含N层，N为大于1的整数；所述装置还包括：
第一更新模块，用于将所述样本句子对应的第二句法图特征，更新为样本句子对应的隐藏状态特征，并执行将所述样本句子对应的隐藏状态特征以及样本句子对应的句法加权图，输入所述句法图卷积子神经网络中进行句法特征提取，得到样本句子对应的第一句法图特征的步骤；
第二更新模块，用于将所述样本句子对应的第二语义图特征，更新为样本句子对应的隐藏状态特征，并执行将所述样本句子对应的隐藏状态特征，输入所述基于自注意力机制的语义图卷积子神经网络进行语义特征提取，得到样本句子对应的第一语义图特征的步骤。
可选地，所述损失函数的表达式为：
lT＝lC+λ1RO+λ2RD+λ3||Θ||2
Figure BDA0002833494160000071
Figure BDA0002833494160000072
其中，lT表示损失函数，lC表示交叉熵损失，λ1、λ2和λ3表示正则项权重系数，RO表示正交正则损失值，RD表示差异正则损失值，Θ表示所述双重图卷积神经网络模型中所有可训练参数，Asem表示基于自注意力机制的语义图卷积子神经网络中自注意力机制对所述样本句子进行注意力计算，得到的注意力得分矩阵，I表示单位矩阵，Asyn表示依赖弧概率矩阵。
第三方面，本发明实施例提供了一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面所述的方法步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现实现上述第一方面所述的方法步骤。
本发明实施例有益效果：
本发明实施例提供的一种基于图卷积神经网络的方面级情感分析方法及装置，因预先训练的双重图卷积神经网络包括：句法图卷积子神经网络和基于自注意力机制的语义图卷积子神经网络，而句法图卷积子神经网络用于提取待进行方面情感分析的句子对应的句法相关特征，基于自注意力机制的语义图卷积子神经网络用于提取待进行方面情感分析的句子对应的语义相关特征，使得双重图卷积神经网络不仅关注句子的句法特征，还关注句子的语义特征，进而能够使用基于自注意力机制的语义图卷积子神经网络提取句子对应的语义相关特征，以弥补对句法不敏感的句子提取句法特征不准确的缺陷，提高情感分析结果的准确性。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于图卷积神经网络的方面级情感分析方法的流程示意图；
图2为本发明实施例提供的一种对待进行方面情感分析的句子以及方面词预处理的实施方式流程示意图；
图3为本发明实施例提供的一种对待进行方面情感分析的句子以及方面词分析的结构示意图；
图4为本发明实施例提供的一种获得方面词对应的情感分析结果的实施方式流程示意图；
图5为本发明实施例提供的一种双重图卷积神经网络模型的结构示意图；
图6为本发明实施例提供的一种双重图卷积神经网络模型示意图；
图7为本发明实施例提供的一种双重图卷积神经网络模型训练实施方式流程示意图；
图8为本发明实施例提供的一种基于图卷积神经网络的方面级情感分析装置的结构示意图；
图9为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先，对图卷积神经网络进行介绍，GCN(Graph Convolutional Network，图卷积神经网络)受传统的CNN(Convolutional Neural Network，卷积神经网络)和图嵌入的启发，GCN是CNN的一种有效的变体，且可以直接在图上进行操作。GCN可以在直接连接的节点上使用卷积操作，编码局部信息，通过多层的GCN消息传递，图中的每个节点可以学习更多的全局信息。
例如，给定一个具有n个节点的图，该图可以表示为一个邻接矩阵
Figure BDA0002833494160000091
进而可以通过编码依存句法树和引入词之间的依赖路径来扩展GCN，从而增强GCN模型，以及可以利用句子的句法依存句法树来构建邻接矩阵A，A中的元素Aij表示节点i是否与节点j相连。具体地，如果Aij＝1表示节点i与节点j相连，Aij＝0则表示节点i与节点j不相连。另外，邻接矩阵只由0和1组成，可以被视为依存句法分析器的最终离散输出。第l层的节点i的隐藏状态可以表示为
Figure BDA0002833494160000101
通过下列公式进行更新节点表示：
Figure BDA0002833494160000102
其中，
Figure BDA0002833494160000103
表示第l层的节点i的隐藏状态，σ表示激活函数，k表示第k个节点，j表示第j个节点，Wl表示第l层的权重矩阵，
Figure BDA0002833494160000104
表示第l-1层节点j的隐藏状态，bl表示第l层的一个偏置项，
Figure BDA0002833494160000105
表示初始输入。
为了解决现有使用基于句法依存树的GCN实现方面级情感分析的过程中，因依存句法分析器对句子的句法解析存在解析结果不准确的现象，以及当待进行情感分析的句子对句法依赖不敏感时，使用依存句法分析器解析得到的句法依存树所转换的无向图作为GCN的一项输入，使得通过GCN得到的情感分析结果不准确的问题，本发明实施例提供了一种基于图卷积神经网络的方面级情感分析方法，该方法包括：
获取待进行方面情感分析的句子，以及该待进行方面情感分析句子中的方面词；对上述待进行方面情感分析的句子以及方面词进行预处理，得到待进行方面情感分析的句子对应的输入向量序列以及句法加权图；将输入向量序列和句法加权图，输入预先训练的双重图卷积神经网络中，得到方面词对应的情感分析结果；其中，输入向量序列用于表征待进行方面情感分析句子的初始特征，初始特征包括方面词的相对距离信息，句法加权图用于表征待进行方面情感分析句子中各个词之间的依存关系；预先训练的双重图卷积神经网络包括：句法图卷积子神经网络和基于自注意力机制的语义图卷积子神经网络，句法图卷积子神经网络用于提取待进行方面情感分析的句子对应的句法相关特征，基于自注意力机制的语义图卷积子神经网络用于提取待进行方面情感分析的句子对应的语义相关特征，预先训练的双重图卷积神经网络是根据样本句子对应的输入向量序列，样本句子对应的句法加权图，以及样本句子中方面词对应的标准情感分析结果训练得到的，标准情感分析结果包括：正向结果、中性结果以及负向结果。
本发明实施例，因预先训练的双重图卷积神经网络包括：句法图卷积子神经网络和基于自注意力机制的语义图卷积子神经网络，而句法图卷积子神经网络用于提取待进行方面情感分析的句子对应的句法相关特征，基于自注意力机制的语义图卷积子神经网络用于提取待进行方面情感分析的句子对应的语义相关特征，使得双重图卷积神经网络不仅关注句子的句法特征，还关注句子的语义特征，进而能够使用基于自注意力机制的语义图卷积子神经网络提取句子对应的语义相关特征，以弥补对句法不敏感的句子提取句法特征不准确的缺陷，提高情感分析结果的准确性。
下面进行具体说明，参见图1，图1为本发明实施例提供的一种基于图卷积神经网络的方面级情感分析方法的流程示意图，该方法可以包括：
S101，获取待进行方面情感分析的句子，以及该待进行方面情感分析句子中的方面词。
本发明实施例基于图卷积神经网络的方面级情感分析方法可以通过电子设备实现，具体的，该电子设备可以为个人电脑或服务器等。
在需要对句子进行方面级情感分析时，可以获取待进行方面情感分析的句子，以及该待进行方面情感分析句子中的方面词。其中，方面词可以是描述一个实体的不同属性或方面的单词或词语，例如，关于餐饮行业的一条评论：The price is reasonablealthough the service is poor，价格合理但是服务不好，在该条评论中包含两个方面词：price和service，对应的观点词分别为reasonable和poor。又如，同样关于餐饮的一条评论：The wine list is excellent，酒单极好，在该句子中包含一个方面词：wine list，对应的观点词为excellent。
S102，对待进行方面情感分析的句子以及方面词进行预处理，得到待进行方面情感分析的句子对应的输入向量序列以及句法加权图。
可以对待进行方面情感分析的句子中包含的词以及方面词进行预处理，得到待进行方面情感分析的句子对应的输入向量序列以及句法加权图。其中，输入向量序列可以用于表征待进行方面情感分析句子的初始特征，初始特征可以包括方面词的相对距离信息，句法加权图可以用于表征待进行方面情感分析句子中各个词之间的依存关系。具体对待进行方面情感分析的句子中包含的词以及方面词进行预处理的过程在下文详细介绍。
S103，将输入向量序列和句法加权图，输入预先训练的双重图卷积神经网络中，得到方面词对应的情感分析结果。
在对待进行方面情感分析的句子以及方面词进行预处理之后，可以进一步将得到的待进行方面情感分析的句子对应的输入向量序列以及句法加权图，输入预先训练的双重图卷积神经网络中进行方面词的情感分析，得到方面词对应的情感分析结果，该方面词对应的情感分析结果可以包括：正向结果、中性结果以及负向结果。
其中，预先训练的双重图卷积神经网络可以包括：句法图卷积子神经网络和基于自注意力机制的语义图卷积子神经网络，句法图卷积子神经网络可以用于提取待进行方面情感分析的句子对应的句法相关特征，基于自注意力机制的语义图卷积子神经网络可以用于提取待进行方面情感分析的句子对应的语义相关特征。预先训练的双重图卷积神经网络是根据样本句子对应的输入向量序列，样本句子对应的句法加权图，以及样本句子中方面词对应的标准情感分析结果训练得到的，标准情感分析结果包括：正向结果、中性结果以及负向结果。
示例性的，针对待进行方面情感分析的句子：The price is reasonablealthough the service is poor中的方面词price，可以得到该方面词对应的情感分析结果为正向结果，而针对待进行方面情感分析的句子：The price is reasonable althoughthe service is poor中的方面词service，可以得到该方面词对应的情感分析结果为负向结果。
本发明实施例提供的基于图卷积神经网络的方面级情感分析方法，因预先训练的双重图卷积神经网络包括：句法图卷积子神经网络和基于自注意力机制的语义图卷积子神经网络，而句法图卷积子神经网络用于提取待进行方面情感分析的句子对应的句法相关特征，基于自注意力机制的语义图卷积子神经网络用于提取待进行方面情感分析的句子对应的语义相关特征，使得双重图卷积神经网络不仅关注句子的句法特征，还关注句子的语义特征，进而能够使用基于自注意力机制的语义图卷积子神经网络提取句子对应的语义相关特征，以弥补对句法不敏感的句子提取句法特征不准确的缺陷，提高情感分析结果的准确性。
在一种可能的实施方式中，参见图2，上述对待进行方面情感分析的句子以及方面词进行预处理，得到待进行方面情感分析的句子对应的输入向量序列以及句法加权图的实施方式，可以包括：
S1021，使用预训练的Glove词嵌入，将待进行方面情感分析的句子中每个词转换为词向量。
上述获取待进行方面情感分析的句子时，可以进一步获取该句子中所包含的每个词对应的词性信息，以及获取待进行方面情感分析句子中的方面词时，可以进一步获取该方面词在句子中的位置信息或相对距离信息等。其中，方面词在句子中的位置信息可以用于标识方面词在句子中的具体位置，方面词在句子中的相对距离信息可以用于标识方面词相对该句子中其他词的位置信息。
示例性的，如图3所示，针对待进行方面情感分析的句子：The price isreasonable although the service is poor，可以对该句子进行分词，得到“The”，“price”，“is”，“reasonable”，“although”，“the”，“service”，“is”，“poor”，以及可以对该句子中每个词对应的词性信息依次进行标注为：限定词、名词、动词、形容词、连接词、限定词、名词、动词、形容词，该句子中的方面词包含price和service，每次可以针对一个方面词，例如针对方面词price，该方面词在句子中的位置信息可以表示为：[0,1,0,0,0,0,0,0,0,0]，相对距离信息可以表示为：[-1,0,1,2,3,4,5,6,7,8]等。
进而可以使用预训练的Glove词嵌入，将待进行方面情感分析的句子中每个词转换为词向量。其中，预训练的Glove词嵌入可以为现有的Glove词嵌入，用于将待进行方面情感分析的句子中每个词使用向量表示，即将待进行方面情感分析的句子中每个词转换为词向量。
示例性的，获取的待进行方面情感分析的句子，以及该待进行方面情感分析句子中的方面词可以表示为：(a,s)，(a,s)即方面词句子对，其中，a表示句子s中的方面词，方面词的集合可以表示为：a＝{a1,a2,...,am}，a是句子s＝{w1,w2,...,wn}的子序列，am表示句子s中的第m个方面词，wn表示句子s中的第n个词。进而使用预训练的Glove词嵌入，将待进行方面情感分析的句子中每个词转换为词向量可以表示为：x＝{x1,x2,...,xn}，xn表示第n个词对应的词向量。
S1022，将待进行方面情感分析的句子中方面词的相对距离信息，以及每个词的词性信息分别使用向量表示，并与词向量进行拼接，得到待进行方面情感分析的句子对应的输入向量序列。
将待进行方面情感分析的句子中方面词的相对距离信息，以及每个词的词性信息可以分别使用向量表示。其中，每个词的词性信息可以使用词性标记符号表示，例如，限定词、名词、动词、形容词、连接词、限定词、名词、动词、形容词依次可以表示为：DT，NN，VBZ，JJ，IN，DT，NN，VBZ，JJ，进而将DT，NN，VBZ，JJ，IN，DT，NN，VBZ，JJ使用向量表示。
进一步的，将待进行方面情感分析的句子中方面词的相对距离信息向量，每个词的词性信息向量，与上述词向量进行拼接，得到待进行方面情感分析的句子对应的输入向量序列，该输入向量序列可以用于表征待进行方面情感分析句子的初始特征，可以理解的，该初始特征包括了方面词的相对距离信息，以及待进行方面情感分析的句子中每个词的词性信息、每个词对应的词向量。
S1023，将待进行方面情感分析的句子中每个词的词性信息对应的向量和词向量，输入预先训练的依存句法分析器中，得到待进行方面情感分析的句子对应的依赖弧概率矩阵，并将依赖弧概率矩阵转换为句法加权图。
本发明实施例中，可以使用预先训练的依存句法分析器，建立待进行方面情感分析的句子中各个词之间的联系，该预先训练的依存句法分析器可以是根据预设数据集训练得到的，该预设数据集可以是PTB(English Penn Tree-bank，英文宾州树库)数据集等。
本发明实施例中，将待进行方面情感分析的句子中每个词的词性信息对应的向量和上述得到的词向量，输入预先训练的依存句法分析器中，得到待进行方面情感分析的句子对应的依赖弧概率矩阵。如图3所示，方面词price和观点词reasonable之间有一条依赖关系，方面词service和观点词poor之间有一条依赖关系等，进而将各个词之间的依赖关系使用依赖弧概率矩阵表示。进一步的，将依赖弧概率矩阵转换为句法加权图，该句法加权图可以是无向加权图，句法加权图中每一节点即为待进行方面情感分析的句子中的每个词。
本发明实施例中，利用依存句法分析器，得到待进行方面情感分析的句子对应的依赖弧概率矩阵，而不是依存句法分析器最终输出的0/1形式的离散值，进而将该依赖弧概率矩阵所对应的句法加权图，作为分析待进行方面情感分析的句子中方面词情感的一个依据，且句法加权图可以表征待进行方面情感分析的句子中各个词之间的依赖关系，与依存句法分析器最终离散的输出相比，依赖弧概率矩阵可以提供潜在的句法结构，能够表达更丰富的句法信息，进而能够减轻依存句法分析器对句子的句法解析不准确的现象，提高情感分析结果的准确性。
在一种可能的实施方式中，参见图4，上述将输入向量序列和句法加权图，输入预先训练的双重图卷积神经网络中，得到方面词对应的情感分析结果的实施方式，可以包括：
S1031，利用预先训练的双重图卷积神经网络中的双向长短期记忆网络BiLSTM，对输入向量序列进行特征转换，得到待进行方面情感分析的句子对应的隐藏状态特征。
如图5所示，本发明实施例中，双重图卷积神经网络可以包括：BiLSTM(Bidirectional Long Short-Term Memory，双向长短期记忆网络)，句法图卷积子神经网络，基于自注意力机制的语义图卷积子神经网络，双仿射模块，池化层以及全连接层。
在得到待进行方面情感分析的句子对应的输入向量序列以及句法加权图之后，利用预先训练的双重图卷积神经网络中的双向长短期记忆网络BiLSTM，对输入向量序列进行特征转换可以是：将输入向量序列输入双重图卷积神经网络中的BiLSTM，对输入向量序列进行特征转换，得到待进行方面情感分析的句子对应的隐藏状态特征，其中，BiLSTM能够捕捉各个词在句子中的上下文依赖关系，BiLSTM的维度本领域技术人员可根据实际需求进行设置。示例性的，所得到的待进行方面情感分析的句子对应的隐藏状态特征所对应的序列可以表示为H＝{h1,h2,...,hn}，hn表示第n个词所对应的隐藏状态特征表示。
S1032，基于待进行方面情感分析的句子对应的隐藏状态特征以及句法加权图，利用句法图卷积子神经网络，对待进行方面情感分析的句子进行句法特征提取，得到待进行方面情感分析的句子对应的第一句法图特征。
基于待进行方面情感分析的句子对应的隐藏状态特征以及句法加权图，利用句法图卷积子神经网络，对待进行方面情感分析的句子进行句法特征提取，得到待进行方面情感分析的句子对应的第一句法图特征的过程可以是：将待进行方面情感分析的句子对应的隐藏状态特征以及句法加权图作为输入，输入至句法图卷积子神经网络中，对待进行方面情感分析的句子进行句法特征提取，得到待进行方面情感分析的句子对应的第一句法图特征的输出。利用句法图卷积子神经网络，可以捕获待进行方面情感分析的句子中各个词之间的依赖关系。
具体的，句法加权图输入至句法图卷积子神经网络中，可以形成一个邻接矩阵
Figure BDA0002833494160000151
将从BiLSTM输出的待进行方面情感分析的句子对应的隐藏状态特征向量序列H作为句法图中节点的初始表示，通过以下公式，从句法图卷积子神经网络中得到待进行方面情感分析的句子对应的第一句法图特征(即句子中每个词的句法特征)表示可以为：
Figure BDA0002833494160000152
其中
Figure BDA0002833494160000153
表示句法图卷积子神经网络中节点i的句法隐藏表示，使用
Figure BDA0002833494160000154
表示方面词节点的句法隐藏表示。
Figure BDA0002833494160000155
S1033，基于待进行方面情感分析的句子对应的隐藏状态特征，利用基于自注意力机制的语义图卷积子神经网络，对待进行方面情感分析的句子进行语义特征提取，得到待进行方面情感分析的句子对应的第一语义图特征。
基于待进行方面情感分析的句子对应的隐藏状态特征，利用基于自注意力机制的语义图卷积子神经网络，对待进行方面情感分析的句子进行语义特征提取，得到待进行方面情感分析的句子对应的第一语义图特征的过程可以是：将待进行方面情感分析的句子对应的隐藏状态特征作为输入，输入至自注意力机制的语义图卷积子神经网络，对待进行方面情感分析的句子进行语义特征提取，得到待进行方面情感分析的句子对应的第一语义图特征。
自注意力可以并行地计算基于自注意力机制的语义图卷积子神经网络中每一对元素的注意力得分，将一个自注意力层计算得到的句子的注意力得分矩阵
Figure BDA0002833494160000156
作为基于自注意力机制的语义图卷积子神经网络的邻接矩阵，具体的，通过如下公式计算注意力得分矩阵Asem：
Figure BDA0002833494160000161
Figure BDA0002833494160000162
其中，Q和K均等于基于自注意力机制的语义图卷积子神经网络前一层的图表示，WQ和WK均表示可学习的参数权重矩阵，dk表示缩放系数，d表示输入节点特征的维度，g表示注意力通道数，T表示转置。示例性的，可以使用其中一个注意力通道的自注意力来得到句子的注意力得分矩阵。从基于自注意力机制的语义图卷积子神经网络中得到待进行方面情感分析的句子对应的第一语义图特征(即句子中每个词的语义特征)表示可以为：
Figure BDA0002833494160000163
其中
Figure BDA0002833494160000164
表示基于自注意力机制的语义图卷积子神经网络中节点i的语义隐藏表示，使用
Figure BDA0002833494160000165
表示方面词节点的语义隐藏表示。
本发明实施例中，通过自注意力机制将得到的注意力得分矩阵作为邻接矩阵，自注意力可以捕捉句子中每个词的语义相关项，能够更好地对句法信息不敏感的数据提取语义相关特征。
S1034，利用预先训练的双重图卷积神经网络中的双仿射模块，分别对待进行方面情感分析的句子对应的第一句法图特征和第一语义图特征进行特征转换，得到待进行方面情感分析的句子对应的第二句法图特征和第二语义图特征。
利用预先训练的双重图卷积神经网络中的双仿射模块，分别对待进行方面情感分析的句子对应的第一句法图特征和第一语义图特征进行特征转换，得到待进行方面情感分析的句子对应的第二句法图特征和第二语义图特征的过程可以是：将待进行方面情感分析的句子对应的第一句法图特征和第一语义图特征作为输入，输入至双仿射模块，对待进行方面情感分析的句子对应的第一句法图特征和第一语义图特征进行特征转换，得到待进行方面情感分析的句子对应的第二句法图特征和第二语义图特征。
本发明实施例中，利用一个相互的双仿射转换过程在句法图卷积子神经网络和基于自注意力机制的语义图卷积子神经网络之间桥接信息流，交换相关特征。示例性的，计算过程可以如下：
Hsyn′＝softmax(HsynW1HsemT)Hsem
Hsem′＝softmax(HsemW2HsynT)Hsyn
(Hsyn′,Hsem′)＝Biaffine(Hsyn,Hsem)
其中，Hsyn′表示第二句法图特征，Hsyn表示第一句法图特征，Hsem′表示第二语义图特征，Hsem表示第一语义图特征，W1和W2表示两个可训练的参数，(Hsyn′,Hsem′)表示通过双仿射桥接的第二句法图特征和第二语义图特征。
S1035，分别提取待进行方面情感分析的句子对应的第二句法图特征和第二语义图特征中的方面词节点特征，并利用预先训练的双重图卷积神经网络中的池化层，对提取的方面词节点特征进行池化和拼接处理，得到第一拼接特征。
如图6所示，待进行方面情感分析的句子对应的输入向量序列中包含方面词的相对距离信息，进而可以根据方面词的相对距离信息，解析得到方面词的位置信息，进一步可以根据方面词的位置信息分别提取得到待进行方面情感分析的句子对应的第二句法图特征和第二语义图特征中的方面词节点特征，利用池化层，对提取的方面词节点特征进行池化和拼接处理，得到第一拼接特征。
示例性的，针对待进行方面情感分析的句子The wine list is excellent，方面词为wine list，进而可以分别提取待进行方面情感分析的句子对应的第二句法图特征和第二语义图特征中的方面词节点wine list的特征，对提取的方面词节点特征进行池化和拼接处理。具体的，可以使用如下公式，对提取的方面词节点特征进行池化和拼接处理：
Figure BDA0002833494160000171
Figure BDA0002833494160000172
Figure BDA0002833494160000173
其中，
Figure BDA0002833494160000174
表示对待进行方面情感分析的句子对应的第二句法图特征中方面词节点a的平均池化处理，f(·)表示平均池化函数，
Figure BDA0002833494160000175
表示待进行方面情感分析的句子中各方面词节点的句法隐藏表示，
Figure BDA0002833494160000176
表示对待进行方面情感分析的句子对应的第二语义图特征中方面词节点a的平均池化处理，
Figure BDA0002833494160000177
表示待进行方面情感分析的句子中各方面词节点的语义隐藏表示，r表示第一拼接特征，[,]表示拼接操作。
S1036，利用预先训练的双重图卷积神经网络中的全连接层，对第一拼接特征进行概率分析，得到方面词对应的情感分析结果。
利用双重图卷积神经网络中的全连接层，对从池化层得到的第一拼接特征进行概率分析，得到方面词对应的情感分析结果。具体的，如图6所示，将从池化层得到的第一拼接特征输入全连接层，经过softmax分类器产生一个关于方面词a情感极性的概率分布p，p(a)＝softmax(Wpr+bp)，其中，Wp和bp分别表示可学习的权重和偏置，r表示第一拼接特征。
本发明实施例中，使用双重图卷积神经网络，对待进行方面情感分析的句子中方面词进行情感分析，可以更加精确地识别出用户对于一个具体方面的情感态度，而不是直接在句子级粒度上判断情感极性。且，句法图卷积子神经网络可以用于提取待进行方面情感分析的句子对应的句法相关特征，基于自注意力机制的语义图卷积子神经网络可以用于提取待进行方面情感分析的句子对应的语义相关特征，使得双重图卷积神经网络不仅关注句子的句法特征，还关注句子的语义特征，进而能够使用基于自注意力机制的语义图卷积子神经网络提取句子对应的语义相关特征，以弥补对句法不敏感的句子提取句法特征不准确的缺陷，提高情感分析结果的准确性。
本发明实施例还提供了一种双重图卷积神经网络的训练方法，参见图7，该方法可以包括：
S201，构建初始双重图卷积神经网络模型。
如图5所示，本发明实施例中，构建的初始双重图卷积神经网络模型可以包括：双向长短期记忆网络BiLSTM，句法图卷积子神经网络，基于自注意力机制的语义图卷积子神经网络，双仿射模块，池化层和全连接层等。
S202，将样本句子对应的输入向量序列，输入至BiLSTM中，得到样本句子对应的隐藏状态特征。
本发明实施例中，可以采用上述获取待进行方面情感分析的句子，以及该待进行方面情感分析句子中的方面词，并对待进行方面情感分析的句子以及方面词进行预处理，得到待进行方面情感分析的句子对应的输入向量序列以及句法加权图的实施方式，获取样本句子对应的输入向量序列和句法加权图。具体的，样本句子的选取，可以是任何行业任意句子。
进而，将样本句子对应的输入向量序列，输入至BiLSTM中，对样本句子对应的输入向量序列进行特征转换，得到样本句子对应的隐藏状态特征。
S203，将样本句子对应的隐藏状态特征以及样本句子对应的句法加权图，输入句法图卷积子神经网络中进行句法特征提取，得到样本句子对应的第一句法图特征。
S204，将样本句子对应的隐藏状态特征，输入基于自注意力机制的语义图卷积子神经网络进行语义特征提取，得到样本句子对应的第一语义图特征。
S205，利用双仿射模块，分别对样本句子对应的第一句法图特征和第一语义图特征进行特征转换，得到样本句子对应的第二句法图特征和第二语义图特征。
S206，分别提取样本句子对应的第二句法图特征和第二语义图特征中的方面词节点特征，将提取的方面词节点特征输入池化层，进行池化和拼接处理，得到第二拼接特征。
S207，将第二拼接特征输入全连接层，得到样本句子中方面词对应的情感分析结果。
上述步骤S203-S207的实现过程，可参照上述步骤S1032-S1036的具体实现过程，本发明实施例在此不再赘述。
S208，基于情感分析结果与标准情感分析结果的差异，计算初始双重图卷积神经网络模型对应的损失函数。
在一种可能的实施方式中，本发明实施例中损失函数的表达式可以为：
lT＝lC+λ1RO+λ2RD+λ3||Θ||2
Figure BDA0002833494160000191
Figure BDA0002833494160000192
其中，lT表示损失函数，lC表示交叉熵损失，λ1、λ2和λ3表示正则项权重系数，RO表示正交正则损失值，RD表示差异正则损失值，Θ表示双重图卷积神经网络模型中所有可训练参数，Asem表示基于自注意力机制的语义图卷积子神经网络中自注意力机制对样本句子进行注意力计算，得到的注意力得分矩阵，I表示单位矩阵，Asyn表示依赖弧概率矩阵。
本发明实施例中，提出了两种正则化，即正交正则和差异正则，目的是为了限制基于自注意力机制的语义图卷积子神经网络中的邻接矩阵捕获到的有效的语义信息。
实际应用中，同一个句子中每个词的语义相关项应该分布在句子中的不同部分，因此，基于自注意力机制的语义图卷积子神经网络中注意力得分的分布应该很少重叠。正交正则的作用是将句子中所有词的注意力得分向量尽量趋于正交化，因此每个词会关注到不同的相关项。假设注意力得分矩阵记为
Figure BDA0002833494160000193
正交正则计算可以如下：
Figure BDA0002833494160000194
这样，可以通过最小化每个非对角线上的元素达到正交的目的。
从句法图卷积子神经网络和基于自注意力机制的语义图卷积子神经网络中，学习到的两种特征表示分别为第一句法图特征和第一语义图特征，第一句法图特征和第一语义图特征分别包含在句法依赖和语义相关性两个不同层次的特征表示。在句法图卷积子神经网络和基于自注意力机制的语义图卷积子神经网络的邻接矩阵之间应用一个差异正则项，约束第一句法图特征和第一语义图特征之间的差异性，该差异正则项可以表示如下，实质上，该差异正则项只对Asem约束。
Figure BDA0002833494160000201
交叉熵损失lC可以表示如下：
Figure BDA0002833494160000202
其中，
Figure BDA0002833494160000203
表示包含所有方面词句子对(a,s)的集合，
Figure BDA0002833494160000204
表示不同情感极性的集合，c表示情感极性，p(a)即为全连接层输出的方面词a情感极性的概率分布。
S209，对损失函数进行最小化处理，确定初始双重图卷积神经网络模型中各模块的权重参数。
S2010，基于初始双重图卷积神经网络模型中各模块的权重参数，对初始双重图卷积神经网络模型中的参数进行更新，训练得到双重图卷积神经网络模型。
上述步骤S209～S2010中，对损失函数进行最小化处理，确定初始双重图卷积神经网络模型中各模块的权重参数，进而基于初始双重图卷积神经网络模型中各模块的权重参数，对初始双重图卷积神经网络模型中的参数进行更新，训练得到双重图卷积神经网络模型。此过程的详细实现过程，可参见现有技术的实现，本发明实施例在此不再赘述。
在一种可能的实施方式中，本发明实施例中的句法图卷积子神经网络和基于自注意力机制的语义图卷积子神经网络可以各包含N层，N为大于1的整数，如图6所示。相应的，
上述利用双仿射模块，分别对样本句子对应的第一句法图特征和第一语义图特征进行特征转换，得到样本句子对应的第二句法图特征和第二语义图特征之后，还包括以下操作：
将样本句子对应的第二句法图特征，更新为样本句子对应的隐藏状态特征，并执行将样本句子对应的隐藏状态特征以及样本句子对应的句法加权图，输入句法图卷积子神经网络中进行句法特征提取，得到样本句子对应的第一句法图特征的步骤。
以及，将样本句子对应的第二语义图特征，更新为样本句子对应的隐藏状态特征，并执行将样本句子对应的隐藏状态特征，输入基于自注意力机制的语义图卷积子神经网络进行语义特征提取，得到样本句子对应的第一语义图特征的步骤。
相应于上述方法实施例，本发明实施例提供了一种基于图卷积神经网络的方面级情感分析装置，如图8所示，该装置可以包括：
获取模块301，用于获取待进行方面情感分析的句子，以及该待进行方面情感分析句子中的方面词。
预处理模块302，用于对待进行方面情感分析的句子以及方面词进行预处理，得到待进行方面情感分析的句子对应的输入向量序列以及句法加权图；其中，输入向量序列用于表征待进行方面情感分析句子的初始特征，初始特征包括方面词的相对距离信息，句法加权图用于表征待进行方面情感分析句子中各个词之间的依存关系。
情感分析模块303，用于将输入向量序列和句法加权图，输入预先训练的双重图卷积神经网络中，得到方面词对应的情感分析结果；其中，预先训练的双重图卷积神经网络包括：句法图卷积子神经网络和基于自注意力机制的语义图卷积子神经网络，句法图卷积子神经网络用于提取待进行方面情感分析的句子对应的句法相关特征，基于自注意力机制的语义图卷积子神经网络用于提取待进行方面情感分析的句子对应的语义相关特征，预先训练的双重图卷积神经网络是根据样本句子对应的输入向量序列，样本句子对应的句法加权图，以及样本句子中方面词对应的标准情感分析结果训练得到的，标准情感分析结果包括：正向结果、中性结果以及负向结果。
本发明实施例，因预先训练的双重图卷积神经网络包括：句法图卷积子神经网络和基于自注意力机制的语义图卷积子神经网络，而句法图卷积子神经网络用于提取待进行方面情感分析的句子对应的句法相关特征，基于自注意力机制的语义图卷积子神经网络用于提取待进行方面情感分析的句子对应的语义相关特征，使得双重图卷积神经网络不仅关注句子的句法特征，还关注句子的语义特征，进而能够使用基于自注意力机制的语义图卷积子神经网络提取句子对应的语义相关特征，以弥补对句法不敏感的句子提取句法特征不准确的缺陷，提高情感分析结果的准确性。
可选地，上述预处理模块302，可以包括：
第一转换子模块，用于使用预训练的Glove词嵌入，将待进行方面情感分析的句子中每个词转换为词向量。拼接子模块，用于将待进行方面情感分析的句子中方面词的相对距离信息，以及每个词的词性信息分别使用向量表示，并与词向量进行拼接，得到待进行方面情感分析的句子对应的输入向量序列。分析子模块，用于将待进行方面情感分析的句子中每个词的词性信息对应的向量和词向量，输入预先训练的依存句法分析器中，得到待进行方面情感分析的句子对应的依赖弧概率矩阵，并将依赖弧概率矩阵转换为句法加权图；预先训练的依存句法分析器是根据预设数据集训练得到的。
可选地，上述情感分析模块303，可以包括：
第二转换子模块，用于利用预先训练的双重图卷积神经网络中的双向长短期记忆网络BiLSTM，对输入向量序列进行特征转换，得到待进行方面情感分析的句子对应的隐藏状态特征。第一特征提取子模块，用于基于待进行方面情感分析的句子对应的隐藏状态特征以及句法加权图，利用句法图卷积子神经网络，对待进行方面情感分析的句子进行句法特征提取，得到待进行方面情感分析的句子对应的第一句法图特征。第二特征提取子模块，用于基于待进行方面情感分析的句子对应的隐藏状态特征，利用基于自注意力机制的语义图卷积子神经网络，对待进行方面情感分析的句子进行语义特征提取，得到待进行方面情感分析的句子对应的第一语义图特征。第三转换子模块，用于利用预先训练的双重图卷积神经网络中的双仿射模块，分别对待进行方面情感分析的句子对应的第一句法图特征和第一语义图特征进行特征转换，得到待进行方面情感分析的句子对应的第二句法图特征和第二语义图特征。池化子模块，用于分别提取待进行方面情感分析的句子对应的第二句法图特征和第二语义图特征中的方面词节点特征，并利用预先训练的双重图卷积神经网络中的池化层，对提取的方面词节点特征进行池化和拼接处理，得到第一拼接特征。概率分析子模块，用于利用预先训练的双重图卷积神经网络中的全连接层，对第一拼接特征进行概率分析，得到方面词对应的情感分析结果。
可选地，上述装置还可以包括：
构建模块，用于构建初始双重图卷积神经网络模型，初始双重图卷积神经网络模型包括：双向长短期记忆网络BiLSTM，句法图卷积子神经网络，基于自注意力机制的语义图卷积子神经网络，双仿射模块，池化层和全连接层。
获得模块，用于将样本句子对应的输入向量序列，输入至BiLSTM中，得到样本句子对应的隐藏状态特征。
第一特征提取模块，用于将样本句子对应的隐藏状态特征以及样本句子对应的句法加权图，输入句法图卷积子神经网络中进行句法特征提取，得到样本句子对应的第一句法图特征。
第二特征提取模块，用于将样本句子对应的隐藏状态特征，输入基于自注意力机制的语义图卷积子神经网络进行语义特征提取，得到样本句子对应的第一语义图特征。
特征转换模块，用于利用双仿射模块，分别对样本句子对应的第一句法图特征和第一语义图特征进行特征转换，得到样本句子对应的第二句法图特征和第二语义图特征。
池化模块，用于分别提取样本句子对应的第二句法图特征和第二语义图特征中的方面词节点特征，将提取的方面词节点特征输入池化层，进行池化和拼接处理，得到第二拼接特征。
分析模块，用于将第二拼接特征输入全连接层，得到样本句子中方面词对应的情感分析结果。
计算模块，用于基于情感分析结果与标准情感分析结果的差异，计算初始双重图卷积神经网络模型对应的损失函数。
确定模块，用于对损失函数进行最小化处理，确定初始双重图卷积神经网络模型中各模块的权重参数。
训练模块，用于基于初始双重图卷积神经网络模型中各模块的权重参数，对初始双重图卷积神经网络模型中的参数进行更新，训练得到双重图卷积神经网络模型。
可选地，句法图卷积子神经网络和基于自注意力机制的语义图卷积子神经网络各包含N层，N为大于1的整数。上述装置还可以包括：
第一更新模块，用于将样本句子对应的第二句法图特征，更新为样本句子对应的隐藏状态特征，并执行将样本句子对应的隐藏状态特征以及样本句子对应的句法加权图，输入句法图卷积子神经网络中进行句法特征提取，得到样本句子对应的第一句法图特征的步骤。
第二更新模块，用于将样本句子对应的第二语义图特征，更新为样本句子对应的隐藏状态特征，并执行将样本句子对应的隐藏状态特征，输入基于自注意力机制的语义图卷积子神经网络进行语义特征提取，得到样本句子对应的第一语义图特征的步骤。
可选地，损失函数的表达式为：
lT＝lC+λ1RO+λ2RD+λ3||Θ||2
Figure BDA0002833494160000231
Figure BDA0002833494160000232
其中，lT表示损失函数，lC表示交叉熵损失，λ1、λ2和λ3表示正则项权重系数，RO表示正交正则损失值，RD表示差异正则损失值，Θ表示双重图卷积神经网络模型中所有可训练参数，Asem表示基于自注意力机制的语义图卷积子神经网络中自注意力机制对样本句子进行注意力计算，得到的注意力得分矩阵，I表示单位矩阵，Asyn表示依赖弧概率矩阵。
本发明实施例还提供了一种电子设备，如图9所示，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信，
存储器403，用于存放计算机程序；
处理器401，用于执行存储器403上所存放的程序时，实现本申请中任一一种基于图卷积神经网络的方面级情感分析的步骤。
上述电子设备提到的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一一种基于图卷积神经网络的方面级情感分析方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一一种基于图卷积神经网络的方面级情感分析方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种基于图卷积神经网络的方面级情感分析方法，其特征在于，所述方法包括：
获取待进行方面情感分析的句子，以及该待进行方面情感分析句子中的方面词；
对所述待进行方面情感分析的句子以及所述方面词进行预处理，得到所述待进行方面情感分析的句子对应的输入向量序列以及句法加权图；其中，所述输入向量序列用于表征所述待进行方面情感分析句子的初始特征，所述初始特征包括所述方面词的相对距离信息，所述句法加权图用于表征所述待进行方面情感分析句子中各个词之间的依存关系；
将所述输入向量序列和所述句法加权图，输入预先训练的双重图卷积神经网络中，得到所述方面词对应的情感分析结果；其中，所述预先训练的双重图卷积神经网络包括：句法图卷积子神经网络和基于自注意力机制的语义图卷积子神经网络，所述句法图卷积子神经网络用于提取所述待进行方面情感分析的句子对应的句法相关特征，所述基于自注意力机制的语义图卷积子神经网络用于提取所述待进行方面情感分析的句子对应的语义相关特征，所述预先训练的双重图卷积神经网络是根据样本句子对应的输入向量序列，样本句子对应的句法加权图，以及样本句子中方面词对应的标准情感分析结果训练得到的，所述标准情感分析结果包括：正向结果、中性结果以及负向结果。
2.根据权利要求1所述的方法，其特征在于，所述对所述待进行方面情感分析的句子以及所述方面词进行预处理，得到所述待进行方面情感分析的句子对应的输入向量序列以及句法加权图的步骤，包括：
使用预训练的Glove词嵌入，将所述待进行方面情感分析的句子中每个词转换为词向量；
将所述待进行方面情感分析的句子中方面词的相对距离信息，以及每个词的词性信息分别使用向量表示，并与所述词向量进行拼接，得到所述待进行方面情感分析的句子对应的输入向量序列；
将所述待进行方面情感分析的句子中每个词的词性信息对应的向量和所述词向量，输入预先训练的依存句法分析器中，得到所述待进行方面情感分析的句子对应的依赖弧概率矩阵，并将所述依赖弧概率矩阵转换为句法加权图；所述预先训练的依存句法分析器是根据预设数据集训练得到的。
3.根据权利要求1所述的方法，其特征在于，所述将所述输入向量序列和所述句法加权图，输入预先训练的双重图卷积神经网络中，得到所述方面词对应的情感分析结果的步骤，包括：
利用所述预先训练的双重图卷积神经网络中的双向长短期记忆网络BiLSTM，对所述输入向量序列进行特征转换，得到所述待进行方面情感分析的句子对应的隐藏状态特征；
基于所述待进行方面情感分析的句子对应的隐藏状态特征以及句法加权图，利用所述句法图卷积子神经网络，对所述待进行方面情感分析的句子进行句法特征提取，得到所述待进行方面情感分析的句子对应的第一句法图特征；
基于所述待进行方面情感分析的句子对应的隐藏状态特征，利用所述基于自注意力机制的语义图卷积子神经网络，对所述待进行方面情感分析的句子进行语义特征提取，得到所述待进行方面情感分析的句子对应的第一语义图特征；
利用所述预先训练的双重图卷积神经网络中的双仿射模块，分别对所述待进行方面情感分析的句子对应的第一句法图特征和第一语义图特征进行特征转换，得到所述待进行方面情感分析的句子对应的第二句法图特征和第二语义图特征；
分别提取所述待进行方面情感分析的句子对应的第二句法图特征和第二语义图特征中的方面词节点特征，并利用所述预先训练的双重图卷积神经网络中的池化层，对提取的方面词节点特征进行池化和拼接处理，得到第一拼接特征；
利用所述预先训练的双重图卷积神经网络中的全连接层，对所述第一拼接特征进行概率分析，得到所述方面词对应的情感分析结果。
4.根据权利要求1-3任一所述的方法，其特征在于，所述双重图卷积神经网络的训练过程，包括：
构建初始双重图卷积神经网络模型，所述初始双重图卷积神经网络模型包括：双向长短期记忆网络BiLSTM，句法图卷积子神经网络，基于自注意力机制的语义图卷积子神经网络，双仿射模块，池化层和全连接层；
将样本句子对应的输入向量序列，输入至所述BiLSTM中，得到所述样本句子对应的隐藏状态特征；
将所述样本句子对应的隐藏状态特征以及样本句子对应的句法加权图，输入所述句法图卷积子神经网络中进行句法特征提取，得到样本句子对应的第一句法图特征；
将所述样本句子对应的隐藏状态特征，输入所述基于自注意力机制的语义图卷积子神经网络进行语义特征提取，得到样本句子对应的第一语义图特征；
利用所述双仿射模块，分别对所述样本句子对应的第一句法图特征和第一语义图特征进行特征转换，得到所述样本句子对应的第二句法图特征和第二语义图特征；
分别提取所述样本句子对应的第二句法图特征和第二语义图特征中的方面词节点特征，将提取的方面词节点特征输入池化层，进行池化和拼接处理，得到第二拼接特征；
将所述第二拼接特征输入全连接层，得到样本句子中方面词对应的情感分析结果；
基于所述情感分析结果与标准情感分析结果的差异，计算所述初始双重图卷积神经网络模型对应的损失函数；
对所述损失函数进行最小化处理，确定所述初始双重图卷积神经网络模型中各模块的权重参数；
基于所述初始双重图卷积神经网络模型中各模块的权重参数，对所述初始双重图卷积神经网络模型中的参数进行更新，训练得到所述双重图卷积神经网络模型。
5.根据权利要求4所述的方法，其特征在于，所述句法图卷积子神经网络和基于自注意力机制的语义图卷积子神经网络各包含N层，N为大于1的整数；
所述利用所述双仿射模块，分别对所述样本句子对应的第一句法图特征和第一语义图特征进行特征转换，得到所述样本句子对应的第二句法图特征和第二语义图特征之后，还包括：
将所述样本句子对应的第二句法图特征，更新为样本句子对应的隐藏状态特征，并执行将所述样本句子对应的隐藏状态特征以及样本句子对应的句法加权图，输入所述句法图卷积子神经网络中进行句法特征提取，得到样本句子对应的第一句法图特征的步骤；
将所述样本句子对应的第二语义图特征，更新为样本句子对应的隐藏状态特征，并执行将所述样本句子对应的隐藏状态特征，输入所述基于自注意力机制的语义图卷积子神经网络进行语义特征提取，得到样本句子对应的第一语义图特征的步骤。
6.根据权利要求4所述的方法，其特征在于，所述损失函数的表达式为：
lT＝lC+λ1RO+λ2RD+λ3||Θ||2
Figure FDA0002833494150000032
Figure FDA0002833494150000031
其中，lT表示损失函数，lC表示交叉熵损失，λ1、λ2和λ3表示正则项权重系数，RO表示正交正则损失值，RD表示差异正则损失值，Θ表示所述双重图卷积神经网络模型中所有可训练参数，Asem表示基于自注意力机制的语义图卷积子神经网络中自注意力机制对所述样本句子进行注意力计算，得到的注意力得分矩阵，I表示单位矩阵，Asyn表示依赖弧概率矩阵。
7.一种基于图卷积神经网络的方面级情感分析装置，其特征在于，所述装置包括：
获取模块，用于获取待进行方面情感分析的句子，以及该待进行方面情感分析句子中的方面词；
预处理模块，用于对所述待进行方面情感分析的句子以及所述方面词进行预处理，得到所述待进行方面情感分析的句子对应的输入向量序列以及句法加权图；其中，所述输入向量序列用于表征所述待进行方面情感分析句子的初始特征，所述初始特征包括所述方面词的相对距离信息，所述句法加权图用于表征所述待进行方面情感分析句子中各个词之间的依存关系；
情感分析模块，用于将所述输入向量序列和所述句法加权图，输入预先训练的双重图卷积神经网络中，得到所述方面词对应的情感分析结果；其中，所述预先训练的双重图卷积神经网络包括：句法图卷积子神经网络和基于自注意力机制的语义图卷积子神经网络，所述句法图卷积子神经网络用于提取所述待进行方面情感分析的句子对应的句法相关特征，所述基于自注意力机制的语义图卷积子神经网络用于提取所述待进行方面情感分析的句子对应的语义相关特征，所述预先训练的双重图卷积神经网络是根据样本句子对应的输入向量序列，样本句子对应的句法加权图，以及样本句子中方面词对应的标准情感分析结果训练得到的，所述标准情感分析结果包括：正向结果、中性结果以及负向结果。
8.根据权利要求7所述的装置，其特征在于，所述预处理模块，包括：
第一转换子模块，用于使用预训练的Glove词嵌入，将所述待进行方面情感分析的句子中每个词转换为词向量；
拼接子模块，用于将所述待进行方面情感分析的句子中方面词的相对距离信息，以及每个词的词性信息分别使用向量表示，并与所述词向量进行拼接，得到所述待进行方面情感分析的句子对应的输入向量序列；
分析子模块，用于将所述待进行方面情感分析的句子中每个词的词性信息对应的向量和所述词向量，输入预先训练的依存句法分析器中，得到所述待进行方面情感分析的句子对应的依赖弧概率矩阵，并将所述依赖弧概率矩阵转换为句法加权图；所述预先训练的依存句法分析器是根据预设数据集训练得到的。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
CN202011463822.5A 2020-12-14 2020-12-14 一种基于图卷积神经网络的方面级情感分析方法及装置 Active CN112528672B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011463822.5A CN112528672B (zh) 2020-12-14 2020-12-14 一种基于图卷积神经网络的方面级情感分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011463822.5A CN112528672B (zh) 2020-12-14 2020-12-14 一种基于图卷积神经网络的方面级情感分析方法及装置

Publications (2)

Publication Number Publication Date
CN112528672A true CN112528672A (zh) 2021-03-19
CN112528672B CN112528672B (zh) 2021-07-30

Family

ID=74999375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011463822.5A Active CN112528672B (zh) 2020-12-14 2020-12-14 一种基于图卷积神经网络的方面级情感分析方法及装置

Country Status (1)

Country Link
CN (1) CN112528672B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112883741A (zh) * 2021-04-29 2021-06-01 华南师范大学 基于双通道图神经网络的特定目标情感分类方法
CN112966074A (zh) * 2021-05-17 2021-06-15 华南师范大学 一种情感分析方法、装置、电子设备以及存储介质
CN113158684A (zh) * 2021-04-21 2021-07-23 清华大学深圳国际研究生院 一种情绪分析方法、情绪提醒方法及情绪提醒控制装置
CN113220893A (zh) * 2021-07-09 2021-08-06 北京邮电大学 基于情感分析的产品反馈分析系统及方法
CN113254637A (zh) * 2021-05-07 2021-08-13 山东师范大学 一种融合语法的方面级文本情感分类方法及系统
CN113361258A (zh) * 2021-05-17 2021-09-07 山东师范大学 基于图卷积网络和选择注意力的方面级情感分析方法及系统
CN113378573A (zh) * 2021-06-24 2021-09-10 北京华成智云软件股份有限公司 面向内容大数据的小样本关系抽取方法和装置
CN113378545A (zh) * 2021-06-08 2021-09-10 北京邮电大学 一种方面级情感分析方法、装置、电子设备及存储介质
CN113449110A (zh) * 2021-08-30 2021-09-28 华南师范大学 情感分类方法、装置、存储介质及计算机设备
CN113535897A (zh) * 2021-06-30 2021-10-22 杭州电子科技大学 一种基于句法关系和意见词分布的细粒度情感分析方法
CN113535904A (zh) * 2021-07-23 2021-10-22 重庆邮电大学 一种基于图神经网络的方面级情感分析方法
CN113641822A (zh) * 2021-08-11 2021-11-12 哈尔滨工业大学 一种基于图神经网络的细粒度情感分类方法
CN113641820A (zh) * 2021-08-10 2021-11-12 福州大学 基于图卷积神经网络的视角级文本情感分类方法及系统
CN113688212A (zh) * 2021-10-27 2021-11-23 华南师范大学 句子情感分析方法、装置以及设备
CN113761941A (zh) * 2021-11-09 2021-12-07 华南师范大学 一种文本情感分析方法
CN114417823A (zh) * 2022-01-10 2022-04-29 大连海事大学 一种基于句法和图卷积网络的方面级情感分析方法及装置
CN114429122A (zh) * 2022-01-25 2022-05-03 重庆大学 一种基于循环注意力的方面级情感分析系统和方法
CN114781352A (zh) * 2022-04-07 2022-07-22 重庆邮电大学 一种基于语法依赖类型和方面间关联的情感分析方法
CN114791950A (zh) * 2022-04-29 2022-07-26 西安邮电大学 基于词性位置与图卷积网络的方面级情感分类方法及装置
CN115099219A (zh) * 2022-07-06 2022-09-23 曲阜师范大学 一种基于增强图卷积神经网络的方面级情感分析方法
CN115204183A (zh) * 2022-09-19 2022-10-18 华南师范大学 基于知识增强的双通道情感分析方法、装置以及设备
CN115659951A (zh) * 2022-12-26 2023-01-31 华南师范大学 基于标签嵌入的语句情感分析方法、装置以及设备
CN115827878A (zh) * 2023-02-13 2023-03-21 华南师范大学 语句情感分析方法、装置以及设备
CN115860006A (zh) * 2023-02-13 2023-03-28 广东工业大学 一种基于语义句法的方面级情感预测方法及装置
CN115906861A (zh) * 2022-10-21 2023-04-04 华南师范大学 基于交互方面信息融合的语句情感分析方法以及装置
CN115906863A (zh) * 2022-10-25 2023-04-04 华南师范大学 基于对比学习的情感分析方法、装置、设备以及存储介质
CN117171610A (zh) * 2023-08-03 2023-12-05 江南大学 一种基于知识增强的方面情感三元组提取方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894102A (zh) * 2010-07-16 2010-11-24 浙江工商大学 一种主观性文本情感倾向性分析方法和装置
US20140317089A1 (en) * 2013-04-18 2014-10-23 International Business Machines Corporation Context aware dynamic sentiment analysis
CN104281645A (zh) * 2014-08-27 2015-01-14 北京理工大学 一种基于词汇语义和句法依存的情感关键句识别方法
CN109472031A (zh) * 2018-11-09 2019-03-15 电子科技大学 一种基于双记忆注意力的方面级别情感分类模型及方法
CN109992779A (zh) * 2019-03-29 2019-07-09 长沙理工大学 一种基于cnn的情感分析方法、装置、设备及存储介质
CN110502626A (zh) * 2019-08-27 2019-11-26 重庆大学 一种基于卷积神经网络的方面级情感分析方法
CN110532353A (zh) * 2019-08-27 2019-12-03 海南阿凡题科技有限公司 基于深度学习的文本实体匹配方法、系统、装置
CN110765269A (zh) * 2019-10-30 2020-02-07 华南理工大学 基于动态词向量和层级神经网络的文档级情感分类方法
CN110807320A (zh) * 2019-11-11 2020-02-18 北京工商大学 基于cnn双向gru注意力机制的短文本情感分析方法
US10628528B2 (en) * 2017-06-29 2020-04-21 Robert Bosch Gmbh System and method for domain-independent aspect level sentiment detection
CN111241295A (zh) * 2020-01-03 2020-06-05 浙江大学 基于语义句法交互网络的知识图谱关系数据抽取方法
CN111259142A (zh) * 2020-01-14 2020-06-09 华南师范大学 基于注意力编码和图卷积网络的特定目标情感分类方法
CN112001185A (zh) * 2020-08-26 2020-11-27 重庆理工大学 一种结合中文句法和图卷积神经网络的情感分类方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894102A (zh) * 2010-07-16 2010-11-24 浙江工商大学 一种主观性文本情感倾向性分析方法和装置
US20140317089A1 (en) * 2013-04-18 2014-10-23 International Business Machines Corporation Context aware dynamic sentiment analysis
CN104281645A (zh) * 2014-08-27 2015-01-14 北京理工大学 一种基于词汇语义和句法依存的情感关键句识别方法
US10628528B2 (en) * 2017-06-29 2020-04-21 Robert Bosch Gmbh System and method for domain-independent aspect level sentiment detection
CN109472031A (zh) * 2018-11-09 2019-03-15 电子科技大学 一种基于双记忆注意力的方面级别情感分类模型及方法
CN109992779A (zh) * 2019-03-29 2019-07-09 长沙理工大学 一种基于cnn的情感分析方法、装置、设备及存储介质
CN110502626A (zh) * 2019-08-27 2019-11-26 重庆大学 一种基于卷积神经网络的方面级情感分析方法
CN110532353A (zh) * 2019-08-27 2019-12-03 海南阿凡题科技有限公司 基于深度学习的文本实体匹配方法、系统、装置
CN110765269A (zh) * 2019-10-30 2020-02-07 华南理工大学 基于动态词向量和层级神经网络的文档级情感分类方法
CN110807320A (zh) * 2019-11-11 2020-02-18 北京工商大学 基于cnn双向gru注意力机制的短文本情感分析方法
CN111241295A (zh) * 2020-01-03 2020-06-05 浙江大学 基于语义句法交互网络的知识图谱关系数据抽取方法
CN111259142A (zh) * 2020-01-14 2020-06-09 华南师范大学 基于注意力编码和图卷积网络的特定目标情感分类方法
CN112001185A (zh) * 2020-08-26 2020-11-27 重庆理工大学 一种结合中文句法和图卷积神经网络的情感分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MI ZHANG ET AL.: "Convolution over Hierarchical Syntactic and Lexical Graphs for Aspect Level Sentiment Analysis", 《EMPIRICAL METHODS IN NATURAL LANGUAGE PROCESSING》 *
李睿凡 等: "全卷积神经结构的段落式图像描述算法", 《北京邮电大学学报》 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158684A (zh) * 2021-04-21 2021-07-23 清华大学深圳国际研究生院 一种情绪分析方法、情绪提醒方法及情绪提醒控制装置
CN112883741A (zh) * 2021-04-29 2021-06-01 华南师范大学 基于双通道图神经网络的特定目标情感分类方法
CN113254637A (zh) * 2021-05-07 2021-08-13 山东师范大学 一种融合语法的方面级文本情感分类方法及系统
CN112966074B (zh) * 2021-05-17 2021-08-03 华南师范大学 一种情感分析方法、装置、电子设备以及存储介质
CN113361258A (zh) * 2021-05-17 2021-09-07 山东师范大学 基于图卷积网络和选择注意力的方面级情感分析方法及系统
CN112966074A (zh) * 2021-05-17 2021-06-15 华南师范大学 一种情感分析方法、装置、电子设备以及存储介质
CN113378545B (zh) * 2021-06-08 2022-02-11 北京邮电大学 一种方面级情感分析方法、装置、电子设备及存储介质
CN113378545A (zh) * 2021-06-08 2021-09-10 北京邮电大学 一种方面级情感分析方法、装置、电子设备及存储介质
CN113378573A (zh) * 2021-06-24 2021-09-10 北京华成智云软件股份有限公司 面向内容大数据的小样本关系抽取方法和装置
CN113535897A (zh) * 2021-06-30 2021-10-22 杭州电子科技大学 一种基于句法关系和意见词分布的细粒度情感分析方法
CN113220893A (zh) * 2021-07-09 2021-08-06 北京邮电大学 基于情感分析的产品反馈分析系统及方法
CN113535904A (zh) * 2021-07-23 2021-10-22 重庆邮电大学 一种基于图神经网络的方面级情感分析方法
CN113641820A (zh) * 2021-08-10 2021-11-12 福州大学 基于图卷积神经网络的视角级文本情感分类方法及系统
CN113641820B (zh) * 2021-08-10 2023-11-17 福州大学 基于图卷积神经网络的视角级文本情感分类方法及系统
CN113641822A (zh) * 2021-08-11 2021-11-12 哈尔滨工业大学 一种基于图神经网络的细粒度情感分类方法
CN113449110A (zh) * 2021-08-30 2021-09-28 华南师范大学 情感分类方法、装置、存储介质及计算机设备
CN113449110B (zh) * 2021-08-30 2021-12-07 华南师范大学 情感分类方法、装置、存储介质及计算机设备
CN113688212B (zh) * 2021-10-27 2022-02-08 华南师范大学 句子情感分析方法、装置以及设备
CN113688212A (zh) * 2021-10-27 2021-11-23 华南师范大学 句子情感分析方法、装置以及设备
CN113761941A (zh) * 2021-11-09 2021-12-07 华南师范大学 一种文本情感分析方法
CN114417823A (zh) * 2022-01-10 2022-04-29 大连海事大学 一种基于句法和图卷积网络的方面级情感分析方法及装置
CN114417823B (zh) * 2022-01-10 2024-09-06 大连海事大学 一种基于句法和图卷积网络的方面级情感分析方法及装置
CN114429122A (zh) * 2022-01-25 2022-05-03 重庆大学 一种基于循环注意力的方面级情感分析系统和方法
CN114781352A (zh) * 2022-04-07 2022-07-22 重庆邮电大学 一种基于语法依赖类型和方面间关联的情感分析方法
CN114791950A (zh) * 2022-04-29 2022-07-26 西安邮电大学 基于词性位置与图卷积网络的方面级情感分类方法及装置
CN115099219A (zh) * 2022-07-06 2022-09-23 曲阜师范大学 一种基于增强图卷积神经网络的方面级情感分析方法
CN115204183A (zh) * 2022-09-19 2022-10-18 华南师范大学 基于知识增强的双通道情感分析方法、装置以及设备
CN115204183B (zh) * 2022-09-19 2022-12-27 华南师范大学 基于知识增强的双通道情感分析方法、装置以及设备
CN115906861A (zh) * 2022-10-21 2023-04-04 华南师范大学 基于交互方面信息融合的语句情感分析方法以及装置
CN115906861B (zh) * 2022-10-21 2023-09-26 华南师范大学 基于交互方面信息融合的语句情感分析方法以及装置
CN115906863B (zh) * 2022-10-25 2023-09-12 华南师范大学 基于对比学习的情感分析方法、装置、设备以及存储介质
CN115906863A (zh) * 2022-10-25 2023-04-04 华南师范大学 基于对比学习的情感分析方法、装置、设备以及存储介质
CN115659951A (zh) * 2022-12-26 2023-01-31 华南师范大学 基于标签嵌入的语句情感分析方法、装置以及设备
CN115827878B (zh) * 2023-02-13 2023-06-06 华南师范大学 语句情感分析方法、装置以及设备
CN115860006B (zh) * 2023-02-13 2023-04-25 广东工业大学 一种基于语义句法的方面级情感预测方法及装置
CN115860006A (zh) * 2023-02-13 2023-03-28 广东工业大学 一种基于语义句法的方面级情感预测方法及装置
CN115827878A (zh) * 2023-02-13 2023-03-21 华南师范大学 语句情感分析方法、装置以及设备
CN117171610A (zh) * 2023-08-03 2023-12-05 江南大学 一种基于知识增强的方面情感三元组提取方法及系统
CN117171610B (zh) * 2023-08-03 2024-05-03 江南大学 一种基于知识增强的方面情感三元组提取方法及系统

Also Published As

Publication number Publication date
CN112528672B (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN112528672B (zh) 一种基于图卷积神经网络的方面级情感分析方法及装置
WO2023065544A1 (zh) 意图分类方法、装置、电子设备及计算机可读存储介质
CN108363790B (zh) 用于对评论进行评估的方法、装置、设备和存储介质
WO2022007823A1 (zh) 一种文本数据处理方法及装置
CN110674317B (zh) 一种基于图神经网络的实体链接方法及装置
CN111401077B (zh) 语言模型的处理方法、装置和计算机设备
CN111611807B (zh) 一种基于神经网络的关键词提取方法、装置及电子设备
CN110704576B (zh) 一种基于文本的实体关系抽取方法及装置
CN110298019A (zh) 命名实体识别方法、装置、设备及计算机可读存储介质
CN109214006B (zh) 图像增强的层次化语义表示的自然语言推理方法
CN111914067A (zh) 中文文本匹配方法及系统
CN113255320A (zh) 基于句法树和图注意力机制的实体关系抽取方法及装置
CN113076739A (zh) 一种实现跨领域的中文文本纠错方法和系统
CN111967264B (zh) 一种命名实体识别方法
JP7335300B2 (ja) 知識事前訓練モデルの訓練方法、装置及び電子機器
CN112446211A (zh) 文本处理装置、方法、设备和计算机可读存储介质
CN114579741B (zh) 融合句法信息的gcn-rn方面级情感分析方法和系统
CN113779190B (zh) 事件因果关系识别方法、装置、电子设备与存储介质
KR20210125449A (ko) 업계 텍스트를 증분하는 방법, 관련 장치 및 매체에 저장된 컴퓨터 프로그램
CN111767720B (zh) 一种标题生成方法、计算机及可读存储介质
CN115129826B (zh) 电力领域模型预训练方法、精调方法、装置及设备
WO2023137903A1 (zh) 基于粗糙语义的回复语句确定方法、装置及电子设备
CN114490946A (zh) 基于Xlnet模型的类案检索方法、系统及设备
CN115062136A (zh) 基于图神经网络的事件消歧方法及其相关设备
CN114091432A (zh) 一种基于多任务学习的话务质检违规原因抽取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Feng Fangxiang

Inventor after: Chen Hao

Inventor after: Li Ruifan

Inventor after: Zhang Guangwei

Inventor after: Wang Xiaojie

Inventor before: Li Ruifan

Inventor before: Chen Hao

Inventor before: Feng Fangxiang

Inventor before: Zhang Guangwei

Inventor before: Wang Xiaojie

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant