CN117592460A - 一种基于特征融合的端到端方面级情感分析方法 - Google Patents

一种基于特征融合的端到端方面级情感分析方法 Download PDF

Info

Publication number
CN117592460A
CN117592460A CN202410066205.3A CN202410066205A CN117592460A CN 117592460 A CN117592460 A CN 117592460A CN 202410066205 A CN202410066205 A CN 202410066205A CN 117592460 A CN117592460 A CN 117592460A
Authority
CN
China
Prior art keywords
text
word
model
dependency
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410066205.3A
Other languages
English (en)
Inventor
张明杰
孟令泳
毋思喆
魏秋月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Original Assignee
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications filed Critical Xian University of Posts and Telecommunications
Priority to CN202410066205.3A priority Critical patent/CN117592460A/zh
Publication of CN117592460A publication Critical patent/CN117592460A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Machine Translation (AREA)

Abstract

一种基于特征融合的端到端方面级情感分析方法，属于自然语言处理技术领域，包含以下步骤：步骤1，对原数据集进行整体标注，并使用词嵌入层对文本编码，将输入的文本向量化；步骤2，构建一种基于特征融合的端到端方面级情感分析模型；步骤3，进行模型训练和测试，将待输入文本划分为训练集和测试集，设置模型参数进行训练，保存交叉验证方法训练后的最优模型，并在测试集检验保存模型的分类性能。本发明使用统一标记的方法实现方面词抽取和方面词情感分析任务，以充分利用文本中的句法特征和语义特征之间的相互作用，减弱噪声的影响，提高端到端方面级情感分析的准确率。

Description

一种基于特征融合的端到端方面级情感分析方法
技术领域
本发明属于自然语言处理技术领域，具体涉及一种基于特征融合的端到端方面级情感分析方法。
背景技术
随着社交媒体的快速发展，人们可以自由地以文本、图片和视频等形式发布个人内容，进行信息交流和意见表达。对这些海量用户生成的数据进行情感分析，将有助于产品分析、舆情监控、观点获取、用户决策等多方面。
端到端方面级情感分析（End-to-End Aspect-Based Sentiment Analysis, E2E-ABSA）是情感分析中的子任务，旨在抽取文本中的方面词并判断其情感极性。E2E-ABSA可以分为两项子任务，即方面词抽取和方面词情感分析任务。其中，方面词抽取任务旨在提取文本数据中的方面词，方面词情感分析任务旨在判断被提取方面词对应的情感极性。目前处理这两个子任务有三种方法：流水线方法、联合方法和统一标记方法。流水线方法是按顺序执行方面词抽取和方面词情感分析任务，这种方法忽略了任务间的联系，并且存在误差传播。联合任务方法是在多任务学习框架下建模两个子任务间的相关信息，取得了良好的效果，但模型针对两个子任务的解码结果可能会产生不匹配。统一标记方法在模型中消除了两个子任务的边界，使用统一标签作为方面词抽取任务和方面词情感分析任务的输出，这种方法不仅同时完成方面词抽取和方面词情感分析子任务，而且避免了其他两种方法中存在的问题。近年来一些研究将图卷积网络(Graph Convolutional Network, GCN)应用于统一标记方法的端到端方面级情感分析任务中，通过句法连接来增强语义理解，从而实现文本的端到端方面级情感分析。
现有的研究方法存在以下问题：（1）图卷积网络的优势在于能够利用文本单词之间的句法依存关系提升模型学习方面词情感信息的能力，但常用的句法依存树仅利用词语间的依存关系信息，利用额外的辅助信息优化图卷积网络的性能不足，例如，传统图卷积网络方法忽略了句法依存树中的依存类型信息，此方法平等对待词语间的依存关系，导致不重要的关系可能无法区分，从而影响端到端方面级情感分析的判断。（2）现有方法多是基于语义的方法，通过深度学习技术对文本的方面词上下文特征进行分析，容易引入噪声，并且这种方法忽略了文本中句法特征和语义特征之间的相互作用，导致识别情感信息不准确，从而影响端到端方面级情感分析的结果。
发明内容
本发明的目的是提出一种基于特征融合的端到端方面级情感分析方法，使用统一标记的方法实现方面词抽取和方面词情感分析任务，以充分利用文本中的句法特征和语义特征之间的相互作用，减弱噪声的影响，提高端到端方面级情感分析的准确率。
本发明采用的技术方案是：
一种基于特征融合的端到端方面级情感分析方法，包含以下步骤：
步骤1，采用统一标记方法对方面词边界和方面词情感进行整体标注，然后使用词嵌入层对文本编码，将输入的文本向量化，包括：先对文本进行分词，然后对分词后的文本长度进行统一化，再使用BERT预训练模型将待输入文本中的每一个词映射为一个多维词向量，再将每一个词的多维词向量组合，从而得到待输入文本的词向量矩阵；
步骤2，先将步骤1得到的词向量输入到多头自注意力机制中，使用多头自注意力机制生成文本的全局语义特征；然后再将步骤1得到的词向量输入到依存类型嵌入的有向图卷积网络中，构建依存类型嵌入的有向图卷积网络对句法依存树编码，提取文本嵌入依存类型的句法特征；最后将生成的全局语义特征和嵌入依存类型的句法特征进行融合，将融合结果输入Softmax分类层，进而得到对应的情感标签；
步骤3，进行模型训练和测试，包括：先将待输入文本划分为训练集和测试集，然后设置模型参数，使用10折交叉验证方法训练模型，并保存交叉验证效果最好的模型，最后使用测试集检验模型的分类性能。
进一步的，步骤1中所述的对方面词边界和方面词情感进行整体标注，包括以下步骤：
首先，方面词边界标注分为方面词的开始、中间、结束、单个以及非方面词；
其次，将方面词情感极性标注分为积极、消极、中性；
最后，将方面词边界和方面词情感组合得到标签集：、、/>、/>以及O。
进一步的，步骤1中所述的文本向量化，包括以下步骤：
首先，对输入的文本进行分词；
其次，设置文本最大长度为n，对长度小于n的文本进行补零；对长度超过n的文本进行截断操作；n为正整数，n代表文本中词语的个数；
然后，给定一个文本，其中/>表示文本中第/>个词语，将文本X输入BERT模型，得到文本X的词向量、句子向量以及位置编码，由词向量、句子向量以及位置编码组成输入特征集/>，其中/>表示第/>个词语的输入特征，将特征集输入Transformer层，训练得到文本的上下文表征，各Transformer层间的关系如下式所示：
；
其中表示BERT预训练模型的Transformer层，为Transformer的隐藏层输出，其中/>为Transformer层的层数，/>表示第/>个词语在第/>层输出的隐藏状态。
进一步的，步骤2中，利用多头自注意力机制生成文本全局语义特征的过程，包括以下步骤：
将步骤1中得到的输入到多头自注意力机制中，用于建模文本序列内部元素间的依存关系，加强对文本语义的理解；令多头自注意力的输出为/>，其计算公式为：
；
其中表示多头自注意力层，多头自注意力的输出为，其中/>是词向量的维度，/>表示第/>个词语的多头自注意力层输出。
进一步的，步骤2中，构建依存类型嵌入的有向图卷积网络对句法依存树编码，提取文本句法特征的过程，包括以下步骤：
首先，利用Stanfordcorenlp工具对词语间的依存关系进行分析，生成句法依存树，再通过解析依存树得到邻接矩阵和邻接矩阵/>，其中/>存放/>和/>的依存关系，如果/>和/>之间存在依存关系，那么/>的值为1，否则为0；邻接矩阵/>存放/>和/>的依存关系类型，/>表示词语/>和/>的依存关系类型；
其次，构建一个字典映射表，以在图卷积网络中嵌入依存类型，使用字典映射表将依存类型映射为/>，引入注意力机制，将/>添加到图卷积网络连接权值的计算中，/>为第/>层/>和/>之间的连接权值，计算公式为：
；
其中，/>、/>分别是/>、/>第l-1层的中间向量，其计算公式为：
；
其中表示向量拼接操作，/>、/>分别表示/>、/>第l-1层的隐藏层状态，/>表示/>和/>的依存关系类型映射；
然后，在图卷积网络中引入一种方向机制，对所有与词语有依存关系的上下文词语记为/>，利用/>和/>的位置关系（/>在/>左侧、/>在/>右侧或自身位置）对/>上下文特征进行编码；
最后，使用作为/>和/>之间的连接权值，并且利用与/>的位置关系信息，得到依存类型嵌入的有向图卷积网络，计算公式为：
；
其中、/>分别为依存类型嵌入有向图卷积网络的权重和偏置，对于方向信息，/>利用所有/>相对于/>的位置关系进行编码；/>表示/>在第/>层的隐藏层状态，/>表示/>在第l-1层的隐藏层状态，/>表示ReLU激活函数。
进一步的，步骤2中，将生成的全局语义特征和嵌入依存类型的句法特征进行融合，将融合结果输入Softmax分类层，进而得到对应的情感标签，其过程如下：
首先，将多头自注意力和依存类型嵌入的有向图卷积网络的输出拼接得到最终的特征表示，其公式如下：
；
其中表示多头自注意力机制的输出，/>表示依存类型嵌入的有向图卷积网络第/>层的输出；
再将作为分类层的输入，通过Softmax函数输出情感标签y，如下式所示：
；
其中表示标签，/>表示标签集。
进一步的，在步骤3中，设置模型参数，使用10折交叉验证方法训练模型的过程包括：设置训练的文本批数量、迭代轮数、模型的学习率、图卷积网络层数和多头自注意力头数，将训练集划分为10份，其中9份作为训练集，剩下1份作为验证集，利用验证集进行交叉验证，选出最好的模型进行保存。
进一步的，在步骤3中，使用测试集检验模型的分类性能的过程是：将测试集输入到保存的模型中，测试模型的精确率、召回率及F1值。
本发明的有益效果：通过多头自注意力机制获取文本的全局语义特征；在图卷积网络中，通过引入额外的辅助信息（方向信息和依存类型信息）优化图卷积网络，并构建依存类型嵌入的有向图卷积网络提取依存树中的句法特征。将嵌入依存类型的句法特征和全局语义特征融合，完成端到端方面级情感分析任务。具体表现为：
（1）使用多头自注意力机制提取文本的全局语义特征，在多头自注意力机制中，通过设置多个注意力头，在不同语义空间中分析文本的词语依存关系，从而加强对模型文本语义的理解，生成带有全局语义特征的词向量。
（2）构建依存类型嵌入的有向图卷积网络，在图卷积网络中引入一种方向机制，对于每个单词，分别对与其关联词具有不同位置关系的上下文特征进行编码，并在图卷积网络中引入了依存类型信息，使用图卷积网络编码句法依存树，获得嵌入依存类型的句法特征。依存类型嵌入的有向图卷积网络模型通过输入的不同部分的方向信息来增强文本建模，另外，此模型不仅关注词语间的依存关系，也能区分不同依存关系的重要性，针对词语依存关系对任务的重要程度，赋予不同权值，得到更丰富的文本句法特征，有助于增强文本表示，本发明通过引入额外的辅助信息（方向信息和依存类型信息）优化图卷积网络，提升了端到端情感分析模型的分类性能。
（3）通过融合嵌入依存类型的句法特征和全局语义特征，充分利用文本中句法特征和语义特征间的相互作用，减弱噪声的影响，提高了情感分析的准确率，并在基准数据集上的实验结果证明了本发明提出的模型在端到端方面级情感分析任务中的有效性。
附图说明
图1是本发明的端到端方面级情感分析方法整体流程图；
图2是本发明所使用的基于特征融合的端到端方面级情感分析模型框架图；
图3是本发明与其他方法在数据集Laptop14上的预测准确率对比图；
图4是本发明与其他方法在数据集Rest14上的预测准确率对比图。
具体实施方式
如图1和图2所示，一种基于特征融合的端到端方面级情感分析方法，包含以下步骤：
步骤1，采用统一标记方法，对方面词边界和方面词情感进行整体标注，然后使用词嵌入层对文本编码，将输入的文本向量化，包括：先对文本进行分词，然后对分词后的文本长度进行统一化，再使用BERT预训练模型将待输入文本中的每一个词映射为一个多维词向量，再将每一个词的多维词向量组合，从而得到待输入文本的词向量矩阵；
其中，步骤1中所述的对方面词边界和方面词情感进行整体标注的过程，包括以下步骤：
首先，方面词边界标注分为方面词的开始（B）、中间（I）、结束（E）、单个（S）以及非方面词（O）；
其次，将方面词情感极性标注分为积极（POS）、消极（NEG）、中性（NEU）；
最后，将方面词边界和方面词情感组合得到标签集：、、/>、/>以及O。
其中，步骤1中所述的文本序列向量化的过程，包括以下步骤：
首先，对输入的文本进行分词；
其次，设置文本最大长度为n，对长度小于n的文本进行补零；对长度超过n的文本进行截断操作；n为正整数，n代表文本中词语的个数；
然后，给定一个文本，其中/>表示文本中第/>个词语，将文本X输入BERT模型，得到文本X的词向量、句子向量以及位置编码，由词向量、句子向量以及位置编码组成输入特征集/>，其中/>表示第/>个词语的输入特征，将特征集输入Transformer层，训练得到文本的上下文表征，各Transformer层间的关系如下式所示：
；
其中表示BERT预训练模型的Transformer层，为Transformer的隐藏层输出，其中/>为Transformer层的层数，/>表示第/>个词语在第/>层输出的隐藏状态。
步骤2，先将步骤1得到的词向量输入到多头自注意力机制中，使用多头自注意力机制生成文本的全局语义特征；然后再将步骤1得到的词向量输入到依存类型嵌入的有向图卷积网络中，构建依存类型嵌入的有向图卷积网络对句法依存树编码，提取文本嵌入依存类型的句法特征；最后将生成的全局语义特征和嵌入依存类型的句法特征进行融合，将融合结果输入Softmax分类层，进而得到对应的情感标签；
其中，利用多头自注意力机制生成文本全局语义特征的过程，包括以下步骤：将步骤1中得到的输入到多头自注意力机制中，用于建模文本序列内部元素间的依存关系，加强对文本语义的理解；令多头自注意力的输出为/>，其计算公式为：
；
其中表示多头自注意力层，多头自注意力的输出为：
；
其中是词向量的维度，/>表示第/>个词语的多头自注意力层输出。
所述构建依存类型嵌入的有向图卷积网络对句法依存树编码，提取文本句法特征的过程，包括以下步骤：利用Stanfordcorenlp工具对词语间的依存关系进行分析，生成句法依存树，再通过解析依存树得到邻接矩阵和邻接矩阵/>，其中存放/>和/>的依存关系，如果/>和/>之间存在依存关系，那么/>的值为1，否则为0；邻接矩阵/>存放/>和/>的依存关系类型，/>表示词语/>和/>的依存关系类型；
其次，构建一个字典映射表，以在图卷积网络中嵌入依存类型，使用字典映射表将依存类型映射为/>，引入注意力机制，将/>添加到图卷积网络连接权值的计算中，/>为第/>层/>和/>之间的连接权值，计算公式为：
；
其中，/>、/>分别是/>、/>第l-1层的中间向量，其计算公式为：
；
其中表示向量拼接操作，/>、/>分别表示/>、/>第l-1层的隐藏层状态，/>表示/>和/>的依存关系类型映射；
然后，在图卷积网络中引入一种方向机制，对所有与词语有依存关系的上下文词语记为/>，利用/>和/>的位置关系对/>上下文特征进行编码；本实例中，所有/>相对于/>的位置关系有三种选择，如果/>，/>相对于/>的位置关系为/>在/>左侧；如果/>，/>相对于/>的位置关系为自身位置；如果/>，/>相对于/>的位置关系为/>在/>右侧。
最后，使用作为/>和/>之间的连接权值，并且利用与/>的位置关系信息，得到依存类型嵌入的有向图卷积网络，计算公式为：
；
其中、/>分别为依存类型嵌入有向图卷积网络的权重和偏置，对于方向信息，/>利用所有/>相对于/>的位置关系进行编码；/>表示/>在第/>层的隐藏层状态，/>表示/>在第l-1层的隐藏层状态，/>表示ReLU激活函数。
所述将生成的全局语义特征和嵌入依存类型的句法特征进行融合，将融合结果输入Softmax分类层，进而得到对应的情感标签，其过程如下：
首先，将多头自注意力和依存类型嵌入的有向图卷积网络的输出拼接得到最终的特征表示，其公式如下：
；
其中表示多头自注意力机制的输出，/>表示依存类型嵌入的有向图卷积网络第/>层的输出；
再将作为分类层的输入，通过Softmax函数输出情感标签y，如下式所示：
；
其中表示标签，/>表示标签集。
步骤3，进行模型训练和测试，包括：先将待输入文本划分为训练集和测试集，然后设置模型参数，使用10折交叉验证方法训练模型，并保存交叉验证效果最好的模型，最后使用测试集检验模型的分类性能。
其中，设置模型参数，使用10折交叉验证方法训练模型的过程包括：设置训练的文本批数量、迭代轮数、模型的学习率、图卷积网络层数和多头自注意力头数，将训练集划分为10份，其中9份作为训练集，剩下1份作为验证集，利用验证集进行交叉验证，选出最好的模型进行保存。
所述使用测试集检验模型的分类性能的过程是：将测试集输入到保存的模型中，测试模型的精确率、召回率及F1值。
为了验证本方法的有效性，在端到端方面级情感分析任务的官方数据集Laptop14和Rest14上进行试验。
步骤（1）：数据预处理。
对于端到端方面级情感分析任务，实现更集成的解决方案需要对数据进行标注，本发明采用“统一标记方法”，对方面词边界和方面词情感进行整体标注。
对各个数据集使用BERT预训练模型获取词向量，选用“Bert-Large-Uncased”模型，词向量维度为1024，Transformer层数为24。
步骤（2）：构建基于特征融合的端到端方面级情感分析模型。
步骤（3）：训练和测试模型。
先设定模型参数，将训练集输入到情感分析模型中，得到损失函数值，再使用优化器进行优化迭代。设置文本训练批数量为16、迭代轮数为16、设置模型的学习率、图卷积网络层数为3、多头自注意力头数为3，模型迭代训练使loss稳定在极小值，保存交叉验证中的最优模型。然后使用测试集对保存模型进行性能测试，在数据集Laptop14和Rest14上，本发明模型和其他对比模型的F1值如图3-图4所示。

Claims (8)

1.一种基于特征融合的端到端方面级情感分析方法，其特征在于，包含以下步骤：
步骤1，采用统一标记方法对方面词边界和方面词情感进行整体标注，然后使用词嵌入层对文本编码，将输入的文本向量化，包括：先对文本进行分词，然后对分词后的文本长度进行统一化，再使用BERT预训练模型将待输入文本中的每一个词映射为一个多维词向量，再将每一个词的多维词向量组合，从而得到待输入文本的词向量矩阵；
步骤2，先将步骤1得到的词向量输入到多头自注意力机制中，使用多头自注意力机制生成文本的全局语义特征；然后再将步骤1得到的词向量输入到依存类型嵌入的有向图卷积网络中，构建依存类型嵌入的有向图卷积网络对句法依存树编码，提取文本嵌入依存类型的句法特征；最后将生成的全局语义特征和嵌入依存类型的句法特征进行融合，将融合结果输入Softmax分类层，进而得到对应的情感标签；
步骤3，进行模型训练和测试，包括：先将待输入文本划分为训练集和测试集，然后设置模型参数，使用10折交叉验证方法训练模型，并保存交叉验证效果最好的模型，最后使用测试集检验模型的分类性能。
2.如权利要求1所述的一种基于特征融合的端到端方面级情感分析方法，其特征在于，步骤1中所述的对方面词边界和方面词情感进行整体标注，包括以下步骤：
首先，方面词边界标注分为方面词的开始、中间、结束、单个以及非方面词，依次分别标记为B、I、E、S、O；
其次，将方面词情感极性标注分为积极、消极、中性，依次分别标记为POS、NEG、NEU；
最后，将方面词边界和方面词情感组合得到标签集：、、/>、/>以及O。
3.如权利要求1所述的一种基于特征融合的端到端方面级情感分析方法，其特征在于，步骤1中所述的文本向量化，包括以下步骤：
首先，对输入的文本进行分词；
其次，设置文本最大长度为n，对长度小于n的文本进行补零；对长度超过n的文本进行截断操作；n为正整数，n代表文本中词语的个数；
然后，给定一个文本，其中/>表示文本中第/>个词语，将文本X输入BERT模型，得到文本X的词向量、句子向量以及位置编码，由词向量、句子向量以及位置编码组成输入特征集：
；
其中表示第/>个词语的输入特征，将特征集输入Transformer层，训练得到文本的上下文表征，各Transformer层间的关系如下式所示：
；
其中表示BERT预训练模型的Transformer层，为Transformer的隐藏层输出，其中/>为Transformer层的层数，/>表示第/>个词语在第/>层输出的隐藏状态。
4.如权利要求1所述的一种基于特征融合的端到端方面级情感分析方法，其特征在于，步骤2中，利用多头自注意力机制生成文本全局语义特征的过程，包括以下步骤：
将步骤1中得到的输入到多头自注意力机制中，用于建模文本序列内部元素间的依存关系，加强对文本语义的理解；令多头自注意力的输出为/>，其计算公式为：
；
其中表示多头自注意力层，多头自注意力的输出为，其中/>是词向量的维度，/>表示第/>个词语的多头自注意力层输出。
5.如权利要求1所述的一种基于特征融合的端到端方面级情感分析方法，其特征在于，步骤2中，构建依存类型嵌入的有向图卷积网络对句法依存树编码，提取文本句法特征的过程，包括以下步骤：
首先，利用Stanfordcorenlp工具对词语间的依存关系进行分析，生成句法依存树，再通过解析依存树得到邻接矩阵和邻接矩阵/>，其中/>存放/>和/>的依存关系，如果/>和/>之间存在依存关系，那么/>的值为1，否则为0；邻接矩阵/>存放/>和/>的依存关系类型，/>表示词语/>和/>的依存关系类型；
其次，构建一个字典映射表，以在图卷积网络中嵌入依存类型，使用字典映射表将依存类型映射为/>，引入注意力机制，将/>添加到图卷积网络连接权值的计算中，为第/>层/>和/>之间的连接权值，计算公式为：；
其中，/>、/>分别是/>、/>第l-1层的中间向量，其计算公式为：
；
其中表示向量拼接操作，/>、/>分别表示/>、/>第l-1层的隐藏层状态，/>表示/>和/>的依存关系类型映射；
然后，在图卷积网络中引入一种方向机制，对所有与词语有依存关系的上下文词语记为/>，利用/>和/>的位置关系对/>上下文特征进行编码；
最后，使用作为/>和/>之间的连接权值，并且利用与/>的位置关系信息，得到依存类型嵌入的有向图卷积网络，计算公式为：
；
其中、/>分别为依存类型嵌入有向图卷积网络的权重和偏置，对于方向信息，利用所有/>相对于/>的位置关系进行编码；/>表示/>在第/>层的隐藏层状态，/>表示/>在第l-1层的隐藏层状态，/>表示ReLU激活函数。
6.如权利要求1所述的一种基于特征融合的端到端方面级情感分析方法，其特征在于，步骤2中，将生成的全局语义特征和嵌入依存类型的句法特征进行融合，将融合结果输入Softmax分类层，进而得到对应的情感标签，其过程如下：
首先，将多头自注意力和依存类型嵌入的有向图卷积网络的输出拼接得到最终的特征表示，其公式如下：
；
其中表示多头自注意力机制的输出，/>表示依存类型嵌入的有向图卷积网络第/>层的输出；
再将作为分类层的输入，通过Softmax函数输出情感标签y，如下式所示：
；
其中表示标签，/>表示标签集。
7.如权利要求1所述的一种基于特征融合的端到端方面级情感分析方法，其特征在于，在步骤3中，设置模型参数，使用10折交叉验证方法训练模型的过程包括：设置训练的文本批数量、迭代轮数、模型的学习率、图卷积网络层数和多头自注意力头数，将训练集划分为10份，其中9份作为训练集，剩下1份作为验证集，利用验证集进行交叉验证，选出最好的模型进行保存。
8.如权利要求1所述的一种基于特征融合的端到端方面级情感分析方法，其特征在于，在步骤3中，使用测试集检验模型的分类性能的过程是：将测试集输入到保存的模型中，测试模型的精确率、召回率及F1值。
CN202410066205.3A 2024-01-17 2024-01-17 一种基于特征融合的端到端方面级情感分析方法 Pending CN117592460A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410066205.3A CN117592460A (zh) 2024-01-17 2024-01-17 一种基于特征融合的端到端方面级情感分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410066205.3A CN117592460A (zh) 2024-01-17 2024-01-17 一种基于特征融合的端到端方面级情感分析方法

Publications (1)

Publication Number Publication Date
CN117592460A true CN117592460A (zh) 2024-02-23

Family

ID=89920376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410066205.3A Pending CN117592460A (zh) 2024-01-17 2024-01-17 一种基于特征融合的端到端方面级情感分析方法

Country Status (1)

Country Link
CN (1) CN117592460A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259142A (zh) * 2020-01-14 2020-06-09 华南师范大学 基于注意力编码和图卷积网络的特定目标情感分类方法
CN112329474A (zh) * 2020-11-02 2021-02-05 山东师范大学 融合注意力的方面级用户评论文本情感分析方法及系统
US20220092267A1 (en) * 2020-09-23 2022-03-24 Jingdong Digits Technology Holding Co., Ltd. Method and system for aspect-level sentiment classification by graph diffusion transformer
CN116340507A (zh) * 2023-02-03 2023-06-27 江苏科技大学 一种基于混合权重和双通道图卷积的方面级情感分析方法
CN116663566A (zh) * 2023-05-29 2023-08-29 贵州财经大学 一种基于商品评价的方面级情感分析方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259142A (zh) * 2020-01-14 2020-06-09 华南师范大学 基于注意力编码和图卷积网络的特定目标情感分类方法
US20220092267A1 (en) * 2020-09-23 2022-03-24 Jingdong Digits Technology Holding Co., Ltd. Method and system for aspect-level sentiment classification by graph diffusion transformer
CN112329474A (zh) * 2020-11-02 2021-02-05 山东师范大学 融合注意力的方面级用户评论文本情感分析方法及系统
CN116340507A (zh) * 2023-02-03 2023-06-27 江苏科技大学 一种基于混合权重和双通道图卷积的方面级情感分析方法
CN116663566A (zh) * 2023-05-29 2023-08-29 贵州财经大学 一种基于商品评价的方面级情感分析方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱龙珠等: "基于多层次语义表示学习的电力服务诉求识别", 电子器件, vol. 45, no. 6, 31 December 2022 (2022-12-31), pages 1424 - 1428 *

Similar Documents

Publication Publication Date Title
CN108519890A (zh) 一种基于自注意力机制的鲁棒性代码摘要生成方法
CN111476023B (zh) 识别实体关系的方法及装置
CN112989796B (zh) 一种基于句法指导的文本命名实体信息识别方法
CN110599592B (zh) 一种基于文本的三维室内场景重建方法
CN113743097B (zh) 基于跨度共享和语法依存关系增强的情感三元组抽取方法
CN113761893B (zh) 一种基于模式预训练的关系抽取方法
CN112966525B (zh) 一种基于预训练模型和卷积神经网络算法的法律领域事件抽取方法
CN110232123A (zh) 文本的情感分析方法及其装置、计算设备与可读介质
CN110175334A (zh) 基于自定义的知识槽结构的文本知识抽取系统和方法
CN114547298A (zh) 基于多头注意力和图卷积网络结合R-Drop机制的生物医学关系抽取方法、装置和介质
CN111651983A (zh) 一种基于自训练与噪声模型的因果事件抽取方法
CN110046356A (zh) 标签嵌入在微博文本情绪多标签分类中的应用研究
CN116661805B (zh) 代码表示的生成方法和装置、存储介质及电子设备
CN117236338B (zh) 一种稠密实体文本的命名实体识别模型及其训练方法
CN113868432A (zh) 一种用于钢铁制造企业的知识图谱自动构建方法和系统
CN114818717A (zh) 融合词汇和句法信息的中文命名实体识别方法及系统
CN113342933A (zh) 一种类双塔模型的多特征交互网络招聘文本分类方法
CN114168754A (zh) 一种基于句法依赖和融合信息的关系抽取方法
CN115098634A (zh) 一种基于语义依存关系融合特征的舆情文本情感分析方法
CN116070632A (zh) 一种非正式文本实体标签识别方法和装置
CN116340513A (zh) 一种基于标签与文本交互的多标签情感分类方法和系统
CN114117041B (zh) 一种基于特定属性词上下文建模的属性级情感分析方法
CN113051904B (zh) 一种面向小规模知识图谱的链接预测方法
CN114036246A (zh) 商品图谱向量化方法、装置、电子设备及存储介质
CN113901813A (zh) 一种基于主题特征和隐式句子结构的事件抽取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination