CN114118058A - 基于句法特征和注意力机制相融合的情感分析系统及方法 - Google Patents

基于句法特征和注意力机制相融合的情感分析系统及方法 Download PDF

Info

Publication number
CN114118058A
CN114118058A CN202111280270.9A CN202111280270A CN114118058A CN 114118058 A CN114118058 A CN 114118058A CN 202111280270 A CN202111280270 A CN 202111280270A CN 114118058 A CN114118058 A CN 114118058A
Authority
CN
China
Prior art keywords
syntactic
features
initial context
layer
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111280270.9A
Other languages
English (en)
Inventor
刘峰
王展帆
赵峥涞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202111280270.9A priority Critical patent/CN114118058A/zh
Publication of CN114118058A publication Critical patent/CN114118058A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了自然语言处理技术领域的基于句法特征和注意力机制相融合的情感分析系统及方法，包括：获取文本数据，进行数据集分类；基于分类后的文本数据进行词向量嵌入表示转化后，利用双向长短期记忆网络提取初始上下文特征；将初始上下文特征输入到图卷积网络后，结合局部平均池化提取句法特征；将初始上下文特征进行位置编码后输入到注意力模型后，结合全局最大池化提取全局特征；基于句法特征和全局特征进行向量拼接后，输入全连接层和随机失活层，获得情感分类的最终结果。本发明同时考虑了文本的句法信息、位置信息和语义信息，能够有效提高情感分类的准确性。

Description

基于句法特征和注意力机制相融合的情感分析系统及方法
技术领域
本发明涉及基于句法特征和注意力机制相融合的情感分析系统及方法，属于自然语言处理技术领域。
背景技术
随着互联网与大数据时代的到来，博客、微博等社交媒体、电商平台与各种新闻网站已经成为人们日常表达情感与获取信息的重要平台，从而也产生了海量的带有个人情感倾向的文本数据；方面级情感分析是针对文本中不同的方面词进行分析，是对文本情感分析的更深层次的研究。
基于手工特征和传统机器学习方法的复杂度高、工作量大且效率低；基于深度学习和神经网络的分类模型，如卷积神经网络、循环神经网络、注意力机制等不能够同时有效的利用文本中的句法信息、位置信息和语义信息，而使用Bert等模型具有耗时长、效率低的缺陷，为解决现有技术的不足，本发明提出了基于句法特征和注意力机制相融合的方面级情感分析方法，通过实验验证了在方面级文本情感分析准确率上具有更好的效果，具有一定的推广意义。
发明内容
本发明的目的在于克服现有技术中的不足，提供基于句法特征和注意力机制相融合的情感分析系统及方法，可以同时利用文本的句法信息、位置信息和语义信息的方面级情感分析方法，提高了方面级文本情感分析的准确率。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了基于句法特征和注意力机制相融合的情感分析方法，包括：
获取文本数据，进行数据集分类；
基于分类后的文本数据进行词向量嵌入表示转化后，利用双向长短期记忆网络提取初始上下文特征；
将初始上下文特征输入到图卷积网络后，结合局部平均池化提取句法特征；
将初始上下文特征进行位置编码后输入到注意力模型后，结合全局最大池化提取全局特征；
基于句法特征和全局特征进行向量拼接后，输入全连接层和随机失活层，获得情感分类的最终结果。
进一步的，获取文本数据，进行数据集分类，包括：
通过获取网上公开的数据集来构建数据样本，将数据样本按照7：3的比例划分为训练集和测试集。
进一步的，将初始上下文特征输入到图卷积网络后，结合局部平均池化提取句法特征，包括：
将初始上下文特征输入图卷积网络中，利用图卷积网络捕捉方面词与相邻单词的句法关系，获得一层句法特征；
通过设置门控机制对一层句法特征进行特征选择，筛选出一层重要句法特征；
将一层重要句法特征作为输入，重新输入图卷积网络中进行特征选择，获得最终重要句法特征；
将最终重要句法特征除方面词之外的上下文特征置零；
基于置零后的最终重要句法特征进行平均池化操作获得句法特征。
进一步的，所述一层重要句法特征为：
Figure BDA0003330785330000031
H2＝H1·G
其中，H1表示一层句法特征，H2表示一层重要句法特征，A表示文本数据的邻接矩阵，I表示单位矩阵，G表示筛选加权矩阵，
Figure BDA0003330785330000032
表示(A+I)的度矩阵，W表示权重矩阵，b表示偏置。
进一步的，将初始上下文特征进行位置编码后输入到注意力模型后，结合全局最大池化提取全局特征，包括：
使用位置编码对所述初始上下文特征进行编码处理；
将编码处理后的结果输入到自注意力机制网络进行加权，获得注意力强化特征；
将注意力强化特征依次进行归一化处理和最大池化处理，获得全局特征。
第二方面，本发明提供了基于句法特征和注意力机制相融合的情感分析系统，包括：
分类模块：用于获取文本数据，进行数据集分类；
初始上下文特征提取模块：用于基于分类后的文本数据进行词向量嵌入表示转化后，利用双向长短期记忆网络提取初始上下文特征；
句法特征提取模块：用于将初始上下文特征输入到图卷积网络后，结合局部平均池化提取句法特征；
全局特征提取模块：用于将初始上下文特征进行位置编码后输入到注意力模型后，结合全局最大池化提取全局特征；
输出模块：基于句法特征和全局特征进行向量拼接后，输入全连接层和随机失活层，获得情感分类的最终结果。
第三方面，基于句法特征和注意力机制相融合的情感分析装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据上述任一项所述方法的步骤。
第四方面，计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。
与现有技术相比，本发明所达到的有益效果：
本发明提出的基于句法特征和注意力机制相融合的情感分析系统及方法，使用增加门控机制的图卷积网络，能够有效提取文本的句法信息，并去除部分冗余；在自注意力机制前嵌入位置编码，可以充分利用方面词的位置信息，自注意力机制可以缓解图卷积网络感受野受限的问题，从而有效预测文本方面级情感倾向。
附图说明
图1是本发明实施例一提供的基于句法特征和注意力机制相融合的方面级情感分析方法流程图；
图2是本发明实施例一提供的基于句法特征和注意力机制相融合的方面级情感分析方法模型结构图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
基于句法特征和注意力机制相融合的情感分析方法，包括以下步骤：
步骤1：通过获取网上公开的laptap数据集和restaurant数据集来构建数据样本，将数据样本按照7：3的比例划分为训练集和测试集，并进行预处理。laptap数据集和restaurant数据集是方面级文本情感分析领域比较权威的数据集，分别有3266和8838条文本数据。
(1)将第一步获取的文本数据进行预处理操作，包括将文本数据转化为glove词向量嵌入表示，并利用双向长短期记忆网络提取初始上下文特征。预处理的目的是提取文本中的有效信息，使接下来的工作变得简单、高效。
步骤2：将步骤1所述初始上下文特征输入到图卷积网络，结合局部平均池化，聚合得到句法特征，具体分步骤如下：
(1)将所述初始上下文特征输入第一层图卷积网络GCN中，利用GCN捕捉方面词与相邻单词的句法关系，获得一层句法特征H1。
(2)通过设置门控机制对一层句法特征H1进行特征选择，筛选出一层重要句法特征H2。用A表示文本数据的邻接矩阵，I表示单位矩阵，
Figure BDA0003330785330000051
表示(A+I)的度矩阵，W表示权重矩阵，b表示偏置，G表示筛选加权矩阵，则经过特征选择的输出为一层重要句法特征H2：
Figure BDA0003330785330000052
H2＝H1·G (2)
(3)将一层重要句法特征H2作为输入，重复上述步骤(1)和(2)，扩大感受野的范围，获得最终重要句法特征H4。
(4)对最终重要句法特征H4进行mask操作，具体为：将最终重要句法特征H4除方面词之外的上下文特征置零。
(5)对上述步骤(4)的输出，进行平均池化操作获得句法特征H，过程为：H＝avgpooling(H4)。
步骤3：将步骤1所述初始上下文特征进行位置编码后输入到预设的Attention模型(注意力模型)中，结合全局最大池化，聚合得到全局特征，具体分步骤如下：
(1)使用位置编码对所述初始上下文特征进行编码处理，使文本信息具有位置感知。
(2)对经过位置编码后的输出，输入到自注意力机制网络进行加权，获得注意力强化特征W1。
(3)通过LayerNorm归一化层，将注意力强化特征W1归一化，使得后面进行反向传播时能够获取平衡的梯度，获得的结果更加稳定。
(4)对通过LayerNorm归一化层的输出进行最大池化操作获得全局特征W，过程为：W＝maxpooling(W1)。
步骤4：将所述句法特征H和全局特征W进行向量拼接，输入全连接层至本层的三个输出神经元，再经过dropout随机失活层来减少过拟合。至此完成神经网络的构建。
步骤5：通过误差反向传播算法调整网络模型的参数至最优，固定训练好的参数，得到基于句法特征和注意力机制的方面级文本情感分类模型，将样本测试集输入到网络模型中，从而实现方面级文本情感分类。
本发明提出一种基于句法特征和注意力机制相融合的方面级文本情感分类方法，一方面构建句法依赖树，通过图卷积网络和基于方面词的平均池化操作将重要句法邻域词的情感特征传播到方面词，提取句法特征；另一方面在自注意力机制前嵌入位置编码，充分利用方面词的位置信息，采用自注意力机制可以缓解图卷积网络感受野受限的问题，最后将提取的特征进行拼接；本发明能够有效预测文本方面级情感倾向。
实施例二：
基于句法特征和注意力机制相融合的情感分析系统，包括：
分类模块：用于获取文本数据，进行数据集分类；
初始上下文特征提取模块：用于基于分类后的文本数据进行词向量嵌入表示转化后，利用双向长短期记忆网络提取初始上下文特征；
句法特征提取模块：用于将初始上下文特征输入到图卷积网络后，结合局部平均池化提取句法特征；
全局特征提取模块：用于将初始上下文特征进行位置编码后输入到注意力模型后，结合全局最大池化提取全局特征；
输出模块：基于句法特征和全局特征进行向量拼接后，输入全连接层和随机失活层，获得情感分类的最终结果。
实施例三：
本发明实施例还提供了基于句法特征和注意力机制相融合的情感分析装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行下述方法的步骤：
获取文本数据，进行数据集分类；
基于分类后的文本数据进行词向量嵌入表示转化后，利用双向长短期记忆网络提取初始上下文特征；
将初始上下文特征输入到图卷积网络后，结合局部平均池化提取句法特征；
将初始上下文特征进行位置编码后输入到注意力模型后，结合全局最大池化提取全局特征；
基于句法特征和全局特征进行向量拼接后，输入全连接层和随机失活层，获得情感分类的最终结果。
实施例四：
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现下述方法的步骤：
获取文本数据，进行数据集分类；
基于分类后的文本数据进行词向量嵌入表示转化后，利用双向长短期记忆网络提取初始上下文特征；
将初始上下文特征输入到图卷积网络后，结合局部平均池化提取句法特征；
将初始上下文特征进行位置编码后输入到注意力模型后，结合全局最大池化提取全局特征；
基于句法特征和全局特征进行向量拼接后，输入全连接层和随机失活层，获得情感分类的最终结果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.基于句法特征和注意力机制相融合的情感分析方法，其特征是，包括：
获取文本数据，进行数据集分类；
基于分类后的文本数据进行词向量嵌入表示转化后，利用双向长短期记忆网络提取初始上下文特征；
将初始上下文特征输入到图卷积网络后，结合局部平均池化提取句法特征；
将初始上下文特征进行位置编码后输入到注意力模型后，结合全局最大池化提取全局特征；
基于句法特征和全局特征进行向量拼接后，输入全连接层和随机失活层，获得情感分类的最终结果。
2.根据权利要求1所述的基于句法特征和注意力机制相融合的情感分析方法，其特征是，
获取文本数据，进行数据集分类，包括：
通过获取网上公开的数据集来构建数据样本，将数据样本按照7：3的比例划分为训练集和测试集。
3.根据权利要求1所述的基于句法特征和注意力机制相融合的情感分析方法，其特征是，
将初始上下文特征输入到图卷积网络后，结合局部平均池化提取句法特征，包括：
将初始上下文特征输入图卷积网络中，利用图卷积网络捕捉方面词与相邻单词的句法关系，获得一层句法特征；
通过设置门控机制对一层句法特征进行特征选择，筛选出一层重要句法特征；
将一层重要句法特征作为输入，重新输入图卷积网络中进行特征选择，获得最终重要句法特征；
将最终重要句法特征除方面词之外的上下文特征置零；
基于置零后的最终重要句法特征进行平均池化操作获得句法特征。
4.根据权利要求3所述的基于句法特征和注意力机制相融合的情感分析方法，其特征是，所述一层重要句法特征为：
Figure FDA0003330785320000021
H2＝H1·G
其中，H1表示一层句法特征，H2表示一层重要句法特征，A表示文本数据的邻接矩阵，I表示单位矩阵，G表示筛选加权矩阵，
Figure FDA0003330785320000022
表示(A+I)的度矩阵，W表示权重矩阵，b表示偏置。
5.根据权利要求1所述的基于句法特征和注意力机制相融合的情感分析方法，其特征是，
将初始上下文特征进行位置编码后输入到注意力模型后，结合全局最大池化提取全局特征，包括：
使用位置编码对所述初始上下文特征进行编码处理；
将编码处理后的结果输入到自注意力机制网络进行加权，获得注意力强化特征；
将注意力强化特征依次进行归一化处理和最大池化处理，获得全局特征。
6.基于句法特征和注意力机制相融合的情感分析系统，其特征在于，包括：
分类模块：用于获取文本数据，进行数据集分类；
初始上下文特征提取模块：用于基于分类后的文本数据进行词向量嵌入表示转化后，利用双向长短期记忆网络提取初始上下文特征；
句法特征提取模块：用于将初始上下文特征输入到图卷积网络后，结合局部平均池化提取句法特征；
全局特征提取模块：用于将初始上下文特征进行位置编码后输入到注意力模型后，结合全局最大池化提取全局特征；
输出模块：基于句法特征和全局特征进行向量拼接后，输入全连接层和随机失活层，获得情感分类的最终结果。
7.基于句法特征和注意力机制相融合的情感分析装置，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1～5任一项所述方法的步骤。
8.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～5任一项所述方法的步骤。
CN202111280270.9A 2021-11-01 2021-11-01 基于句法特征和注意力机制相融合的情感分析系统及方法 Pending CN114118058A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111280270.9A CN114118058A (zh) 2021-11-01 2021-11-01 基于句法特征和注意力机制相融合的情感分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111280270.9A CN114118058A (zh) 2021-11-01 2021-11-01 基于句法特征和注意力机制相融合的情感分析系统及方法

Publications (1)

Publication Number Publication Date
CN114118058A true CN114118058A (zh) 2022-03-01

Family

ID=80380089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111280270.9A Pending CN114118058A (zh) 2021-11-01 2021-11-01 基于句法特征和注意力机制相融合的情感分析系统及方法

Country Status (1)

Country Link
CN (1) CN114118058A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115412105A (zh) * 2022-05-06 2022-11-29 南京邮电大学 基于usrp rio的强化学习通信干扰方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115412105A (zh) * 2022-05-06 2022-11-29 南京邮电大学 基于usrp rio的强化学习通信干扰方法
CN115412105B (zh) * 2022-05-06 2024-03-12 南京邮电大学 基于usrp rio的强化学习通信干扰方法

Similar Documents

Publication Publication Date Title
CN111859978B (zh) 一种基于深度学习的情感文本生成方法
Huang et al. Deep sentiment representation based on CNN and LSTM
CN111144131B (zh) 一种基于预训练语言模型的网络谣言检测方法
CN110472003B (zh) 基于图卷积网络的社交网络文本情感细粒度分类方法
CN109359297B (zh) 一种关系抽取方法及系统
WO2018218708A1 (zh) 一种基于深度学习的舆情热点类别划分方法
CN111368086A (zh) 一种基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法
CN109582952B (zh) 诗歌生成方法、装置、计算机设备和介质
CN107688576B (zh) 一种cnn-svm模型的构建及倾向性分类方法
CN111966827B (zh) 基于异构二部图的对话情感分析方法
CN110222173B (zh) 基于神经网络的短文本情感分类方法及装置
CN113239186A (zh) 一种基于多依存关系表示机制的图卷积网络关系抽取方法
CN112100401B (zh) 面向科技服务的知识图谱构建方法、装置、设备及存储介质
CN111814450B (zh) 一种基于残差注意力的方面级情感分析方法
CN114528398A (zh) 一种基于交互双重图卷积网络的情感预测方法及系统
CN104794209B (zh) 基于马尔科夫逻辑网络的中文微博情绪分类方法及系统
CN115759119A (zh) 一种金融文本情感分析方法、系统、介质和设备
CN110727758A (zh) 一种基于多长度文本向量拼接的舆情分析方法及其系统
CN111241843B (zh) 基于复合神经网络的语义关系推断系统和方法
CN111597333A (zh) 一种面向区块链领域的事件与事件要素抽取方法及装置
CN114065749A (zh) 一种面向文本的粤语识别模型及系统的训练、识别方法
CN114118058A (zh) 基于句法特征和注意力机制相融合的情感分析系统及方法
CN113806564A (zh) 多模态信息性推文检测方法及系统
CN116796288A (zh) 一种面向工业文档的多模态信息提炼方法和系统
CN116258147A (zh) 一种基于异构图卷积的多模态评论情感分析方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination