CN110472042A - 一种细粒度情感分类方法 - Google Patents

一种细粒度情感分类方法 Download PDF

Info

Publication number
CN110472042A
CN110472042A CN201910588500.4A CN201910588500A CN110472042A CN 110472042 A CN110472042 A CN 110472042A CN 201910588500 A CN201910588500 A CN 201910588500A CN 110472042 A CN110472042 A CN 110472042A
Authority
CN
China
Prior art keywords
information
sentence
vector
network
indicate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910588500.4A
Other languages
English (en)
Other versions
CN110472042B (zh
Inventor
蔡晓东
彭军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN201910588500.4A priority Critical patent/CN110472042B/zh
Publication of CN110472042A publication Critical patent/CN110472042A/zh
Application granted granted Critical
Publication of CN110472042B publication Critical patent/CN110472042B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种细粒度情感分类系统及方法，其方法包括以下步骤:对输入的句子进行预处理，以查表的方式，映射为低维稠密的词向量；双向LSTM网络对句子的词向量进行特征提取获取句子的语义特征信息利用句子的语义特征信息和注意力机制提取目标属性的特征信息将特征信息与语义特征信息进行信息融合得到特征信息对特征信息进行位置编码得到记忆信息使用位置信息Lo扩展记忆信息得网络记忆信息Mk；利用多轮的注意力机制对目标属性的网络记忆信息Mk进行提取网络记忆信息的情感信息；将情感信息映射为概率向量，得到情感预测向量，依据情感预测向量判别出细粒度情感分类结果。相对现有技术，本发明能够改善网络性能，提高细粒度情感分类的准确率。

Description

一种细粒度情感分类方法
技术领域
本发明涉及自然语言处理技术领域，具体而言，特别涉及一种基于目标信息融合记忆网络的细粒度情感分类方法。
背景技术
近年来，随着互联网技术的高速发展，社交媒体和电商平台随之兴起。越来越多的用户针对网络上的特定商品、事件等进行评价，这使得网络评论性文本规模迅速增长。情感分析、又称作观点挖掘，是分析人们对于产品、服务、组织、个人、事件、主题及其属性等实体对象所持有的意见、情感、评价、看法、态度等主观感受的研究领域。文本情感分析具有极大的实用价值和研究价值，例如，从商品评论数据中识别出特定商品属性的情感信息，可以为商家、其他用户、生产企业等提供决策和参考。
传统的情感分析多是针对句子或者文本进行整体的情感判别，而现实中的评论数据往往是一个句子蕴含着事物的不同属性，而这些属性的情感倾向有时并不相同。基于属性词的情感分类是细粒度的情感分析任务，他的目的是判别上下文中特定目标的情感极性。和普通的情感分析任务不同，基于属性词的情感极性判别不仅依赖于文本的特定上下文信息，同时还取决于目标词的特征信息。
在过去的研究中，文本情感分析技术主要分为基于规则的方法和基于统计机器学习的方法。基于规则的方法利用人工构建规则和情感词典，对文本进行分析；而基于统计机器学习的方法使用人工标注的语料库，提取出文本特征并建立统计模型，实现情感分类。这些传统的技术方法依赖于手工特征的提取，需要领域专家设计特征及大量的人力物力投入，效率低下，难以适应网络大量文本数据处理的需求。
随着深度学习技术的发展，基于神经网络的文本情感分析得到了很大发展。在细粒度情感分类方面，研究者提出了一系列的神经网络模型，取得了一定的成果。然而，已存的大多数网络基本上是通过注意力模型实现基于目标的情感分类任务。在使用注意力机制的过程中，往往采用目标词的均值或者是句子的均值来计算注意力权重。这使得在含有多个不同目标的细粒度情感分类任务中表现不佳，因为不同情感词或者属性词的特征会相互抵消，这弱化了网络的特征表达能力。
发明内容
本发明旨在至少在一定程度上解决现有技术中的上述技术问题之一。为此，本发明的一个目的在于提出一种基于目标信息融合记忆网络的细粒度情感分类方法，能够改善网络性能，提高细粒度情感分类的准确率。
本发明解决上述技术问题的技术方案如下：一种细粒度情感分类方法，包括以下步骤:
步骤1:对输入的句子进行预处理，将预处理后的句子以查表的方式，映射为低维稠密的词向量；
步骤2：输入句子的词向量，双向LSTM网络对句子的词向量进行特征提取，获取句子的语义特征信息
步骤3：利用句子的语义特征信息和注意力机制提取目标属性的特征信息利用残差连接的方式，将目标属性的特征信息与句子的语义特征信息进行信息融合，得到特征信息对特征信息进行位置编码得到记忆信息使用位置信息Lo扩展记忆信息形成目标属性的网络记忆信息Mk；
步骤4：利用多轮的注意力机制对目标属性的网络记忆信息Mk进行处理，提取网络记忆信息的情感信息；
步骤5：将情感信息映射为一个三维的概率向量，得到情感预测向量，依据情感预测向量判别出细粒度情感分类结果。
本发明的有益效果是：可以有效的改善只使用注意力机制时，采用取均值计算注意力权重造成的不同情感词或者目标属性的特征相互抵消问题，能够利用外部的目标属性信息、位置信息等扩展LSTM网络的特征提取能力，能够改善网络性能，提高细粒度情感分类的准确率，判别准确率相比传统方法也有显著提高。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述步骤1中，词向量是词的分布式表达，定义词表L∈R|V|×d,其中，|V|为词表的大小，d为词向量的维度；通过将句子的每一个单词映射为词向量，得到词向量表达式X＝[x1,x2,…,xi,…,xn-1,xn]，其中，n代表句子中单词的个数。
采用上述进一步方案的有益效果是：对句子进行词向量化，便于进行数据处理。
进一步，所述双向LSTM网络包括前向LSTM网络和后向LSTM网络，所述前向LSTM网络和后向LSTM网络的输入顺序相反；通过前向LSTM网络和后向LSTM网络捕捉词向量的前后位置关系，获取句子的语义特征信息
采用上述进一步方案的有益效果是：通过双向LSTM网络获取句子的特征信息，提高目标属性情感分类的准确率。
进一步，所述前向LSTM网络的表达式如下：
其中，为前向LSTM网络在k时刻遗忘门的输出，为时刻k输入门的输入，为输出门的输出；为遗忘门的权重矩阵、Wi f为输入门的权重矩阵、为输出门的权重矩阵、为记忆信息的权重矩阵； 均为权重矩阵，为遗忘门的偏置向量、为输入门的偏置向量、为输出门的偏置向量，为记忆信息的偏置向量；表示新的上下文记忆信息，代表更新的LSTM网络单元的记忆内容；σ表示sigmoid函数，⊙表示元素乘积，为k-1时刻的前向隐藏层输出，为k时刻的输入信息。
采用上述进一步方案的有益效果是：通过双向LSTM网络获取句子的特征信息，能够改善网络性能，提高细粒度情感分类的准确率。
进一步，所述步骤3中利用句子的语义特征信息和注意力机制提取目标属性的特征信息具体为:输入句子的语义特征信息利用目标属性的词向量和双向LSTM对目标属性进行建模，得到目标属性的隐向量其中j＝1,2,...,m,m表示目标属性的单词数量；利用注意力机制对目标属性的隐向量和句子的语义向量进行建模，得到目标属性的特征信息
采用上述进一步方案的有益效果是：通过双向LSTM网络和注意力机制建模得到目标属性的特征信息，能够改善网络性能，提高细粒度情感分类的准确率。
进一步，所述步骤3中获取特征信息具体为:使用双向LSTM网络处理目标属性的词向量得到目标属性的隐向量表达式利用目标属性的隐向量和句子的语义特征信息构建目标属性融合的模型，目标属性融合的模型如下：
[χ1,χ2,...,χj,...,χm]＝softmax([γ1,γ2,...,γj,...,γm])；
其中，W1为目标属性的权重向量，b1为相应的偏置项，为句子的语义特征信息，γj为注意力权值，χj为归一化的注意力权重；
利用目标属性的隐向量进行建模，得到目标属性的特征信息具体为：
其中，χj为归一化的注意力权重系数；
利用残差连接方式，将目标属性的特征信息与句子的语义特征信息进行信息融合，具体为：
其中，W3、W4表示权重矩阵，ReLU表示修正线性单元，表示融合的语义特征。
进一步，所述步骤3中利用位置编码得到记忆信息使用位置信息Lo扩展记忆信息形成特定目标属性的网络记忆信息Mk具体为：使用位置加权处理融合的特征信息句子中单词的位置权重函数W(i)具体为：
其中：i表示单词的位置标号，k表示目标属性的起始位置，m表示目标属性的长度，n表示句子的长度；L(i)表示一个与位置相关的加权系数；
利用特征信息和位置函数W(i)得到的位置权重wloc做乘积，得到初始的记忆信息具体为：
利用绝对值距离衡量文本中单词和目标属性的位置关系，具体表达式为
Lo＝|k-i|/lmax；
其中，lmax表示句子的长度，Lo表示与位置有关的权重；
利用和Lo在向量维度上进行扩展，得到网络的记忆信息Mk，具体为：
采用上述进一步方案的有益效果是：融合目标属性、单词位置等外部的信息扩展LSTM网络的特征提取能力，提高目标属性情感分类的准确率。
进一步，所述步骤4中利用多轮的注意力机制对特定目标属性的网络记忆信息进行处理，提取网络记忆信息的情感特征具体为：利用GRU网络更新情感特征et，具体更新过程如下：
r＝σ(Writ L+Uret-1)
其中，Wr、Wz、Wx、Wg、Ur、Uz为权重矩阵,et-1表示前一时刻从网络记忆信息中抽取的情感特征，表示当前时刻的输入信息，et表示当前时刻的情感特征信息；
当前时刻t的输入信息的获取过程如下：
其中，(mj,et-1,hT)表示向量维度上的结合，WL表示权重矩阵，表示偏移项，表示注意力权重，代表注意力权重的归一化值，表示GRU网络在t时刻的输入向量，hT表示目标属性特征，通过求解的均值得到，k＝1,2,...,n；
经过m轮的注意力机制求解，得到的情感信息em。
采用上述进一步方案的有益效果是：利用多轮的注意力机制，抽取情感特征信息，提高目标属性情感分类的准确率。
进一步，所述步骤5中，将情感信息em映射为一个三维的概率向量，得到情感预测向量；当该情感预测向量第一维的概率值最大，则将目标词判别为正向；当情感预测向量第二维的概率值最大，则将目标词判别为中性；否则，则将目标词判别为反向。
采用上述进一步方案的有益效果是：实现快速判别细粒度情感分类。
本发明解决上述技术问题的另一技术方案如下：一种细粒度情感分类系统，包括：
预处理层，用于对输入的句子进行预处理；
词向量层，用于将预处理后的句子以查表的方式，映射为低维稠密的词向量；
双向LSTM网络层，用于对句子的词向量进行特征提取，获取句子的语义特征信息
记忆网络层，用于利用句子的语义特征信息和注意力机制提取目标属性的特征信息利用残差连接的方式，将目标属性的特征信息与句子的语义特征信息进行信息融合，得到特征信息对特征信息进行位置编码得到记忆信息使用位置信息Lo扩展记忆信息形成目标属性的网络记忆信息Mk；
循环注意力层，用于利用多轮的注意力机制对目标属性的网络记忆信息Mk进行处理，提取网络记忆信息的情感信息；
softmax层，用于将情感信息映射为一个三维的概率向量，得到情感预测向量，依据情感预测向量判别出细粒度情感分类结果。
本发明的有益效果是：可以有效的改善只使用注意力机制时，采用取均值计算注意力权重造成的不同情感词或者目标属性的特征相互抵消问题，能够利用外部的目标属性信息、位置信息等扩展LSTM网络的特征提取能力，能够改善网络性能，提高细粒度情感分类的准确率，判别准确率相比传统方法也有显著提高。
附图说明
图1为本发明一种细粒度情感分类方法的流程图；
图2为本发明一种细粒度情感分类方法的示意图；
图3为本发明网络记忆信息的流程图；
图4为本发明一种细粒度情感分类系统的模块框图。
附图中，各标号所代表的部件列表如下：
1、预处理层，2、词向量层，3、双向LSTM网络层，4、记忆网络层，5、循环注意力层，6、softmax层。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
实施例1：
如图1至图3所示，一种细粒度情感分类方法，包括以下步骤:
步骤1:对输入的句子进行预处理，将预处理后的句子以查表的方式，映射为低维稠密的词向量；
步骤2：输入句子的词向量，双向LSTM网络对句子的词向量进行特征提取，获取句子的语义特征信息
步骤3：利用句子的语义特征信息和注意力机制提取目标属性的特征信息利用残差连接的方式，将目标属性的特征信息与句子的语义特征信息进行信息融合，得到特征信息对特征信息进行位置编码得到记忆信息使用位置信息Lo扩展记忆信息形成目标属性的网络记忆信息Mk；
步骤4：利用多轮的注意力机制对目标属性的网络记忆信息Mk进行处理，提取网络记忆信息的情感信息；
步骤5：将情感信息映射为一个三维的概率向量，得到情感预测向量，依据情感预测向量判别出细粒度情感分类结果。
上述实施例中，所述步骤1中，词向量是词的分布式表达，定义词表L∈R|V|×d,其中，|V|为词表的大小，d为词向量的维度；所述步骤1中，通过将句子的每一个单词映射为词向量，得到词向量表达式X＝[x1,x2,…,xi,…,xn-1,xn]，其中，n代表句子中单词的个数。
上述实施例中，所述双向LSTM网络包括前向LSTM网络和后向LSTM网络，所述前向LSTM网络和后向LSTM网络的输入顺序相反；通过前向LSTM网络和后向LSTM网络捕捉词向量的前后位置关系，获取句子的语义特征信息
上述实施例中，所述前向LSTM网络的表达式如下：
其中，为前向LSTM网络在k时刻遗忘门的输出，为时刻k输入门的输入，为输出门的输出；为遗忘门的权重矩阵、Wi f为输入门的权重矩阵、为输出门的权重矩阵、为记忆信息的权重矩阵； 均为权重矩阵，为遗忘门的偏置向量、为输入门的偏置向量、为输出门的偏置向量，为记忆信息的偏置向量；表示新的上下文记忆信息，代表更新的LSTM网络单元的记忆内容；σ表示sigmoid函数，⊙表示元素乘积，为k-1时刻的前向隐藏层输出，为k时刻的输入信息。
上述实施例中，所述步骤3中利用句子的语义特征信息和注意力机制提取目标属性的特征信息具体为:输入句子的语义特征信息利用目标属性的词向量和双向LSTM对目标属性进行建模，得到目标属性的隐向量其中j＝1,2,...,m,m表示目标属性的单词数量；利用注意力机制对目标属性的隐向量和句子的语义向量进行建模，得到目标属性的特征信息
上述实施例中，所述步骤3中获取特征信息具体为:使用双向LSTM网络处理目标属性的词向量得到目标属性的隐向量表达式利用目标属性的隐向量和句子的语义特征信息构建目标属性融合的模型，目标属性融合的模型如下：
[χ1,χ2,...,χj,...,χm]＝softmax([γ1,γ2,...,γj,...,γm])；
其中，W1为目标属性的权重向量，b1为相应的偏置项，为句子的语义特征信息，γj为注意力权值，χj为归一化的注意力权重；
利用目标属性的隐向量进行建模，得到目标属性的特征信息具体为：
其中，χj为归一化的注意力权重系数；
利用残差连接方式，将目标属性的特征信息与句子的语义特征信息进行信息融合，具体为：
其中，W3、W4表示权重矩阵，ReLU表示修正线性单元，表示融合的语义特征。
上述实施例中，所述步骤3中利用位置编码得到记忆信息使用位置信息Lo扩展记忆信息形成特定目标属性的网络记忆信息Mk具体为：使用位置加权处理融合的特征信息句子中单词的位置权重函数W(i)具体为：
其中：i表示单词的位置标号，k表示目标属性的起始位置，m表示目标属性的长度，n表示句子的长度；L(i)表示一个与位置相关的加权系数；
利用特征信息和位置函数W(i)得到的位置权重wloc做乘积，得到初始的记忆信息具体为：
利用绝对值距离衡量文本中单词和目标属性的位置关系，具体表达式为
Lo＝|k-i|/lmax；
其中，lmax表示句子的长度，Lo表示与位置有关的权重；
利用和Lo在向量维度上进行扩展，得到网络的记忆信息Mk，具体为：
上述实施例中，所述步骤4中利用多轮的注意力机制对特定目标属性的网络记忆信息进行处理，提取网络记忆信息的情感特征具体为：利用GRU网络更新情感特征et，具体更新过程如下：
r＝σ(Writ L+Uret-1)
其中，Wr、Wz、Wx、Wg、Ur、Uz为权重矩阵,et-1表示前一时刻从网络记忆信息中抽取的情感特征，表示当前时刻的输入信息，et表示当前时刻的情感特征信息；
当前时刻t的输入信息的获取过程如下：
其中，(mj,et-1,hT)表示向量维度上的结合，WL表示权重矩阵，表示偏移项，表示注意力权重，代表注意力权重的归一化值，表示GRU网络在t时刻的输入向量，hT表示目标属性特征，通过求解的均值得到，k＝1,2,...,n；
经过m轮的注意力机制求解，得到的情感信息em。
上述实施例中，所述步骤5中，将情感信息em映射为一个三维的概率向量，得到情感预测向量；当该情感预测向量第一维的概率值最大，则将目标词判别为正向；当情感预测向量第二维的概率值最大，则将目标词判别为中性；否则，则将目标词判别为反向。
本实施例对技术方案可以有效的改善只使用注意力机制时，采用取均值计算注意力权重造成的不同情感词或者属性词的特征相互抵消问题，能够改善网络性能，提高细粒度情感分类的准确率，判别准确率相比传统方法也有显著提高。
实施例2：
如图2至图4所示，一种细粒度情感分类系统，包括：
预处理层1，用于对输入的句子进行预处理；
词向量层2，用于将预处理后的句子以查表的方式，映射为低维稠密的词向量；
双向LSTM网络层3，用于对句子的词向量进行特征提取，获取句子的语义特征信息
记忆网络层4，用于利用句子的语义特征信息和注意力机制提取目标属性的特征信息利用残差连接的方式，将目标属性的特征信息与句子的语义特征信息进行信息融合，得到特征信息对特征信息进行位置编码得到记忆信息使用位置信息Lo扩展记忆信息形成目标属性的网络记忆信息Mk；
循环注意力层5，用于利用多轮的注意力机制对目标属性的网络记忆信息Mk进行处理，提取网络记忆信息的情感信息；
softmax层6，用于将情感信息映射为一个三维的概率向量，得到情感预测向量，依据情感预测向量判别出细粒度情感分类结果。
上述实施例中，所述步骤1中，词向量是词的分布式表达，定义词表L∈R|V|×d,其中，|V|为词表的大小，d为词向量的维度；所述步骤1中，通过将句子的每一个单词映射为词向量，得到词向量表达式X＝[x1,x2,…,xi,…,xn-1,xn]，其中，n代表句子中单词的个数。
上述实施例中，所述双向LSTM网络包括前向LSTM网络和后向LSTM网络，所述前向LSTM网络和后向LSTM网络的输入顺序相反；通过前向LSTM网络和后向LSTM网络捕捉词向量的前后位置关系，获取句子的语义特征信息
上述实施例中，所述前向LSTM网络的表达式如下：
其中，为前向LSTM网络在k时刻遗忘门的输出，为时刻k输入门的输入，为输出门的输出；为遗忘门的权重矩阵、Wi f为输入门的权重矩阵、为输出门的权重矩阵、为记忆信息的权重矩阵； 均为权重矩阵，为遗忘门的偏置向量、为输入门的偏置向量、为输出门的偏置向量，为记忆信息的偏置向量；表示新的上下文记忆信息，代表更新的LSTM网络单元的记忆内容；σ表示sigmoid函数，⊙表示元素乘积，为k-1时刻的前向隐藏层输出，为k时刻的输入信息。
上述实施例中，所述步骤3中利用句子的语义特征信息和注意力机制提取目标属性的特征信息具体为:输入句子的语义特征信息利用目标属性的词向量和双向LSTM对目标属性进行建模，得到目标属性的隐向量其中j＝1,2,...,m,m表示目标属性的单词数量；利用注意力机制对目标属性的隐向量和句子的语义向量进行建模，得到目标属性的特征信息
上述实施例中，所述步骤3中获取特征信息具体为:使用双向LSTM网络处理目标属性的词向量得到目标属性的隐向量表达式利用目标属性的隐向量和句子的语义特征信息构建目标属性融合的模型，目标属性融合的模型如下：
[χ1,χ2,...,χj,...,χm]＝softmax([γ1,γ2,...,γj,...,γm])；
其中，W1为目标属性的权重向量，b1为相应的偏置项，为句子的语义特征信息，γj为注意力权值，χj为归一化的注意力权重；
利用目标属性的隐向量进行建模，得到目标属性的特征信息具体为：
其中，χj为归一化的注意力权重系数；
利用残差连接方式，将目标属性的特征信息与句子的语义特征信息进行信息融合，具体为：
其中，W3、W4表示权重矩阵，ReLU表示修正线性单元，表示融合的语义特征。
上述实施例中，所述步骤3中利用位置编码得到记忆信息使用位置信息Lo扩展记忆信息形成特定目标属性的网络记忆信息Mk具体为：使用位置加权处理融合的特征信息句子中单词的位置权重函数W(i)具体为：
其中：i表示单词的位置标号，k表示目标属性的起始位置，m表示目标属性的长度，n表示句子的长度；L(i)表示一个与位置相关的加权系数；
利用特征信息和位置函数W(i)得到的位置权重wloc做乘积，得到初始的记忆信息具体为：
利用绝对值距离衡量文本中单词和目标属性的位置关系，具体表达式为
Lo＝|k-i|/lmax；
其中，lmax表示句子的长度，Lo表示与位置有关的权重；
利用和Lo在向量维度上进行扩展，得到网络的记忆信息Mk，具体为：
上述实施例中，所述步骤4中利用多轮的注意力机制对特定目标属性的网络记忆信息进行处理，提取网络记忆信息的情感特征具体为：利用GRU网络更新情感特征et，具体更新过程如下：
r＝σ(Writ L+Uret-1)
其中，Wr、Wz、Wx、Wg、Ur、Uz为权重矩阵,et-1表示前一时刻从网络记忆信息中抽取的情感特征，表示当前时刻的输入信息，et表示当前时刻的情感特征信息；
当前时刻t的输入信息的获取过程如下：
其中，(mj,et-1,hT)表示向量维度上的结合，WL表示权重矩阵，表示偏移项，表示注意力权重，代表注意力权重的归一化值，表示GRU网络在t时刻的输入向量，hT表示目标属性特征，通过求解的均值得到，k＝1,2,...,n；
经过m轮的注意力机制求解，得到的情感信息em。
上述实施例中，所述步骤5中，将情感信息em映射为一个三维的概率向量，得到情感预测向量；当该情感预测向量第一维的概率值最大，则将目标词判别为正向；当情感预测向量第二维的概率值最大，则将目标词判别为中性；否则，则将目标词判别为反向。
本实施例对技术方案可以有效的改善只使用注意力机制时，采用取均值计算注意力权重造成的不同情感词或者属性词的特征相互抵消问题，能够改善网络性能，提高细粒度情感分类的准确率，判别准确率相比传统方法也有显著提高。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种细粒度情感分类方法，其特征在于,包括以下步骤:
步骤1:对输入的句子进行预处理，将预处理后的句子以查表的方式，映射为低维稠密的词向量；
步骤2：输入句子的词向量，双向LSTM网络对句子的词向量进行特征提取，获取句子的语义特征信息
步骤3：利用句子的语义特征信息和注意力机制提取目标属性的特征信息利用残差连接的方式，将目标属性的特征信息与句子的语义特征信息进行信息融合，得到特征信息对特征信息进行位置编码得到记忆信息使用位置信息Lo扩展记忆信息形成目标属性的网络记忆信息Mk；
步骤4：利用多轮的注意力机制对目标属性的网络记忆信息Mk进行处理，提取网络记忆信息的情感信息；
步骤5：将情感信息映射为一个三维的概率向量，得到情感预测向量，依据情感预测向量判别出细粒度情感分类结果。
2.根据权利要求1所述一种细粒度情感分类方法，其特征在于,所述步骤1中，通过将句子的每一个单词映射为词向量，得到词向量表达式X＝[x1,x2,…,xi,…,xn-1,xn]，其中，n代表句子中单词的个数。
3.根据权利要求2所述一种细粒度情感分类方法，其特征在于,所述步骤2中:所述双向LSTM网络包括前向LSTM网络和后向LSTM网络，所述前向LSTM网络和后向LSTM网络的输入顺序相反；通过前向LSTM网络和后向LSTM网络捕捉词向量的前后位置关系，获取句子的语义特征信息
4.根据权利要求3所述一种细粒度情感分类方法，其特征在于,所述前向LSTM网络的表达式如下：
其中，为前向LSTM网络在k时刻遗忘门的输出，为时刻k输入门的输入，为输出门的输出；为遗忘门的权重矩阵、Wi f为输入门的权重矩阵、为输出门的权重矩阵、为记忆信息的权重矩阵； 均为权重矩阵，为遗忘门的偏置向量、为输入门的偏置向量、为输出门的偏置向量，为记忆信息的偏置向量；表示新的上下文记忆信息，代表更新的LSTM网络单元的记忆内容；σ表示sigmoid函数，⊙表示元素乘积，为k-1时刻的前向隐藏层输出，为k时刻的输入信息。
5.根据权利要求1-4中任一项所述一种细粒度情感分类方法，其特征在于,所述步骤3中利用句子的语义特征信息和注意力机制提取目标属性的特征信息具体为:输入句子的语义特征信息利用目标属性的词向量和双向LSTM对目标属性进行建模，得到目标属性的隐向量其中j＝1,2,...,m,m表示目标属性的单词数量；利用注意力机制对目标属性的隐向量和句子的语义向量进行建模，得到目标属性的特征信息
6.根据权利要求5所述一种细粒度情感分类方法，其特征在于,所述步骤3中获取特征信息具体为:使用双向LSTM网络处理目标属性的词向量得到目标属性的隐向量表达式利用目标属性的隐向量和句子的语义特征信息构建目标属性融合的模型，目标属性融合的模型如下：
[χ1,χ2,...,χj,...,χm]＝softmax([γ1,γ2,...,γj,...,γm])；
其中，W1为目标属性的权重向量，b1为相应的偏置项，为句子的语义特征信息，γj为注意力权值，χj为归一化的注意力权重；
利用目标属性的隐向量进行建模，得到目标属性的特征信息具体为：
其中，χj为归一化的注意力权重系数；
利用残差连接方式，将目标属性的特征信息与句子的语义特征信息进行信息融合，具体为：
其中，W3、W4表示权重矩阵，ReLU表示修正线性单元，表示融合的语义特征。
7.根据权利要求6所述一种细粒度情感分类方法，其特征在于,所述步骤3中利用位置编码得到记忆信息使用位置信息Lo扩展记忆信息形成特定目标属性的网络记忆信息Mk具体为：使用位置加权处理融合的特征信息句子中单词的位置权重函数W(i)具体为：
其中：i表示单词的位置标号，k表示目标属性的起始位置，m表示目标属性的长度，n表示句子的长度；L(i)表示一个与位置相关的加权系数；
利用特征信息和位置函数W(i)得到的位置权重wloc做乘积，得到初始的记忆信息具体为：
利用绝对值距离衡量文本中单词和目标属性的位置关系，具体表达式为
Lo＝|k-i|/lmax；
其中，lmax表示句子的长度，Lo表示与位置有关的权重；
利用和Lo在向量维度上进行扩展，得到网络的记忆信息Mk，具体为：
8.根据权利要求7所述一种细粒度情感分类方法，其特征在于,所述步骤4中利用多轮的注意力机制对特定目标属性的网络记忆信息进行处理，提取网络记忆信息的情感特征具体为：利用GRU网络更新情感特征et，具体更新过程如下：
其中，Wr、Wz、Wx、Wg、Ur、Uz为权重矩阵,et-1表示前一时刻从网络记忆信息中抽取的情感特征，表示当前时刻的输入向量，et表示当前时刻的情感特征信息；
当前时刻t的输入信息的获取过程如下：
其中，(mj,et-1,hT)表示向量维度上的结合，WL表示权重矩阵，表示偏移项，表示注意力权重，代表注意力权重的归一化值，表示GRU网络在t时刻的输入向量，hT表示目标属性特征，通过求解的均值得到，k＝1,2,...,n；
经过m轮的注意力机制求解，得到的情感信息em。
9.根据权利要求8所述一种细粒度情感分类方法，其特征在于,所述步骤5中，将情感信息em映射为一个三维的概率向量，得到情感预测向量；当该情感预测向量第一维的概率值最大，则将目标词判别为正向；当情感预测向量第二维的概率值最大，则将目标词判别为中性；否则，则将目标词判别为反向。
10.一种细粒度情感分类系统，其特征在于，包括：
预处理层(1)，用于对输入的句子进行预处理；
词向量层(2)，用于将预处理后的句子以查表的方式，映射为低维稠密的词向量；
双向LSTM网络层(3)，用于对句子的词向量进行特征提取，获取句子的语义特征信息
记忆网络层(4)，用于利用句子的语义特征信息和注意力机制提取目标属性的特征信息利用残差连接的方式，将目标属性的特征信息与句子的语义特征信息进行信息融合，得到特征信息对特征信息进行位置编码得到记忆信息使用位置信息Lo扩展记忆信息形成目标属性的网络记忆信息Mk；
循环注意力层(5)，用于利用多轮的注意力机制对目标属性的网络记忆信息Mk进行处理，提取网络记忆信息的情感信息；
softmax层(6)，用于将情感信息映射为一个三维的概率向量，得到情感预测向量，依据情感预测向量判别出细粒度情感分类结果。
CN201910588500.4A 2019-07-02 2019-07-02 一种细粒度情感分类方法 Active CN110472042B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910588500.4A CN110472042B (zh) 2019-07-02 2019-07-02 一种细粒度情感分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910588500.4A CN110472042B (zh) 2019-07-02 2019-07-02 一种细粒度情感分类方法

Publications (2)

Publication Number Publication Date
CN110472042A true CN110472042A (zh) 2019-11-19
CN110472042B CN110472042B (zh) 2021-11-26

Family

ID=68507552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910588500.4A Active CN110472042B (zh) 2019-07-02 2019-07-02 一种细粒度情感分类方法

Country Status (1)

Country Link
CN (1) CN110472042B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929034A (zh) * 2019-11-26 2020-03-27 北京工商大学 一种基于改进lstm的商品评论细粒度情感分类方法
CN111144130A (zh) * 2019-12-26 2020-05-12 辽宁工程技术大学 一种基于上下文感知的混合神经网络的细粒度情感分类方法
CN111259147A (zh) * 2020-01-19 2020-06-09 山东大学 基于自适应注意力机制的句子级情感预测方法及系统
CN112241453A (zh) * 2020-10-20 2021-01-19 虎博网络技术(上海)有限公司 情感属性确定方法、装置及电子设备
CN112926311A (zh) * 2021-02-03 2021-06-08 昆明理工大学 一种结合序列和主题信息的无监督方面词提取方法
CN113190681A (zh) * 2021-03-02 2021-07-30 东北大学 一种基于胶囊网络遮罩记忆注意力的细粒度文本分类方法
CN113705197A (zh) * 2021-08-30 2021-11-26 北京工业大学 一种基于位置增强的细粒度情感分析方法
CN113761204A (zh) * 2021-09-06 2021-12-07 南京大学 一种基于深度学习的emoji文本情感分析方法及系统
CN113849651A (zh) * 2021-09-28 2021-12-28 平安科技（深圳）有限公司 基于文档级情感倾向的情感分类方法、装置、设备及介质
WO2022141861A1 (zh) * 2020-12-31 2022-07-07 平安科技（深圳）有限公司 情感分类方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133038A (zh) * 2018-01-10 2018-06-08 重庆邮电大学 一种基于动态记忆网络的实体级别情感分类系统及方法
CN108446275A (zh) * 2018-03-21 2018-08-24 北京理工大学 基于注意力双层lstm的长文本情感倾向性分析方法
CN108491680A (zh) * 2018-03-07 2018-09-04 安庆师范大学 基于残差网络和注意力机制的药物关系抽取方法
CN109522548A (zh) * 2018-10-26 2019-03-26 天津大学 一种基于双向交互神经网络的文本情感分析方法
CN109582764A (zh) * 2018-11-09 2019-04-05 华南师范大学 基于依存句法的交互注意力情感分析方法
CN109710761A (zh) * 2018-12-21 2019-05-03 中国标准化研究院 基于注意力增强的双向lstm模型的情感分析方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133038A (zh) * 2018-01-10 2018-06-08 重庆邮电大学 一种基于动态记忆网络的实体级别情感分类系统及方法
CN108491680A (zh) * 2018-03-07 2018-09-04 安庆师范大学 基于残差网络和注意力机制的药物关系抽取方法
CN108446275A (zh) * 2018-03-21 2018-08-24 北京理工大学 基于注意力双层lstm的长文本情感倾向性分析方法
CN109522548A (zh) * 2018-10-26 2019-03-26 天津大学 一种基于双向交互神经网络的文本情感分析方法
CN109582764A (zh) * 2018-11-09 2019-04-05 华南师范大学 基于依存句法的交互注意力情感分析方法
CN109710761A (zh) * 2018-12-21 2019-05-03 中国标准化研究院 基于注意力增强的双向lstm模型的情感分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡朝举，梁宁: "基于深层注意力的LSTM的特定主题情感分析", 《计算机应用研究》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929034A (zh) * 2019-11-26 2020-03-27 北京工商大学 一种基于改进lstm的商品评论细粒度情感分类方法
CN111144130A (zh) * 2019-12-26 2020-05-12 辽宁工程技术大学 一种基于上下文感知的混合神经网络的细粒度情感分类方法
CN111259147B (zh) * 2020-01-19 2024-02-20 山东大学 基于自适应注意力机制的句子级情感预测方法及系统
CN111259147A (zh) * 2020-01-19 2020-06-09 山东大学 基于自适应注意力机制的句子级情感预测方法及系统
CN112241453A (zh) * 2020-10-20 2021-01-19 虎博网络技术(上海)有限公司 情感属性确定方法、装置及电子设备
CN112241453B (zh) * 2020-10-20 2023-10-13 虎博网络技术(上海)有限公司 情感属性确定方法、装置及电子设备
WO2022141861A1 (zh) * 2020-12-31 2022-07-07 平安科技（深圳）有限公司 情感分类方法、装置、电子设备及存储介质
CN112926311B (zh) * 2021-02-03 2022-08-02 昆明理工大学 一种结合序列和主题信息的无监督方面词提取方法
CN112926311A (zh) * 2021-02-03 2021-06-08 昆明理工大学 一种结合序列和主题信息的无监督方面词提取方法
CN113190681A (zh) * 2021-03-02 2021-07-30 东北大学 一种基于胶囊网络遮罩记忆注意力的细粒度文本分类方法
CN113190681B (zh) * 2021-03-02 2023-07-25 东北大学 一种基于胶囊网络遮罩记忆注意力的细粒度文本分类方法
CN113705197B (zh) * 2021-08-30 2024-04-02 北京工业大学 一种基于位置增强的细粒度情感分析方法
CN113705197A (zh) * 2021-08-30 2021-11-26 北京工业大学 一种基于位置增强的细粒度情感分析方法
CN113761204B (zh) * 2021-09-06 2023-07-28 南京大学 一种基于深度学习的emoji文本情感分析方法及系统
CN113761204A (zh) * 2021-09-06 2021-12-07 南京大学 一种基于深度学习的emoji文本情感分析方法及系统
CN113849651A (zh) * 2021-09-28 2021-12-28 平安科技（深圳）有限公司 基于文档级情感倾向的情感分类方法、装置、设备及介质
CN113849651B (zh) * 2021-09-28 2024-04-09 平安科技（深圳）有限公司 基于文档级情感倾向的情感分类方法、装置、设备及介质

Also Published As

Publication number Publication date
CN110472042B (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN110472042A (zh) 一种细粒度情感分类方法
CN107145483B (zh) 一种基于嵌入式表示的自适应中文分词方法
CN110287320B (zh) 一种结合注意力机制的深度学习多分类情感分析模型
CN110008338B (zh) 一种融合gan和迁移学习的电商评价情感分析方法
Er et al. Attention pooling-based convolutional neural network for sentence modelling
CN107066445B (zh) 一种属性情感词向量的深度学习方法
CN109710761A (zh) 基于注意力增强的双向lstm模型的情感分析方法
CN109284506A (zh) 一种基于注意力卷积神经网络的用户评论情感分析系统及方法
CN111079985B (zh) 一种基于bert并融合可区分属性特征的刑事案件刑期预测方法
CN109522548A (zh) 一种基于双向交互神经网络的文本情感分析方法
CN108536679A (zh) 命名实体识别方法、装置、设备及计算机可读存储介质
CN109299396A (zh) 融合注意力模型的卷积神经网络协同过滤推荐方法及系统
CN107832400A (zh) 一种基于位置的lstm和cnn联合模型进行关系分类的方法
CN108388544A (zh) 一种基于深度学习的图文融合微博情感分析方法
CN107544957A (zh) 一种面向商品目标词的情感倾向分析方法
CN107729309A (zh) 一种基于深度学习的中文语义分析的方法及装置
CN112579778A (zh) 基于多层次的特征注意力的方面级情感分类方法
CN107608956A (zh) 一种基于cnn‑grnn的读者情绪分布预测算法
CN108595643A (zh) 基于多分类节点卷积循环网络的文本特征提取及分类方法
CN109614487A (zh) 一种基于张量融合方式的情感分类的方法
CN110096575B (zh) 面向微博用户的心理画像方法
CN110457480A (zh) 基于交互式注意力机制的细粒度情感分类模型的构建方法
CN112884551B (zh) 一种基于近邻用户和评论信息的商品推荐方法
CN112256866B (zh) 一种基于深度学习的文本细粒度情感分析算法
CN110543242A (zh) 基于bert技术的表情输入法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant