CN109472031A - 一种基于双记忆注意力的方面级别情感分类模型及方法 - Google Patents
一种基于双记忆注意力的方面级别情感分类模型及方法 Download PDFInfo
- Publication number
- CN109472031A CN109472031A CN201811337352.0A CN201811337352A CN109472031A CN 109472031 A CN109472031 A CN 109472031A CN 201811337352 A CN201811337352 A CN 201811337352A CN 109472031 A CN109472031 A CN 109472031A
- Authority
- CN
- China
- Prior art keywords
- memory
- equal
- neural network
- attention
- gru
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000015654 memory Effects 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000013145 classification model Methods 0.000 title claims abstract description 12
- 230000008451 emotion Effects 0.000 claims abstract description 38
- 238000013528 artificial neural network Methods 0.000 claims abstract description 36
- 230000000306 recurrent effect Effects 0.000 claims abstract description 14
- 239000013598 vector Substances 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims description 3
- 230000002996 emotional effect Effects 0.000 abstract description 4
- 125000004122 cyclic group Chemical group 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于双记忆注意力的方面级别情感分类模型及方法,属于文本情感分类技术领域。本发明所述模型主要包括三个模块:一个由标准的GRU循环神经网络构成的编码器、一个引入前馈神经网络注意力层的GRU循环神经网络解码器和一个Softmax分类器。模型将输入语句看作一个序列,基于句子中方面级别词语位置的注意力,从原始文本序列和编码器的隐藏层状态中分别构建两个记忆模块,通过前馈神经网络注意力层对随机初始化的注意力分布进行微调以捕获语句中的重要情感特征,并基于GRU循环神经网络对序列的学习能力建立编码器‑解码器分类模型,以实现方面级别情感分类能力。本发明可以显著改善文本情感分类的鲁棒性,提高分类正确率。
Description
技术领域
本发明属于文本情感分类技术领域,具体属于自然语言处理技术领域,具体涉及一种基于双记忆注意力机制和编码器-解码器结构的方面级别情感分类模型及方法。
背景技术
情感分析,又称为意见挖掘,是分析人们对于产品、服务、组织、个人、事件、主题及其属性等实体对象所怀有的意见、情感、评价、看法和态度等主观感受的研究领域。方面级别情感分析是针对给定语句所描述对象的特定方面(如顾客对餐馆的评价中可能涉及服务,环境,菜品等多个方面),分析该语句所表达出的情感倾向(积极、消极或中性),它是情感分析的一个细分任务,也是该领域关注的基本问题之一。
传统的特征表示方法包括One-hot、N-Gram以及领域专家通过文本或者额外的情感词典设计的一些有效特征。然而,特征工程是一个劳动密集型的任务,且需要较多的领域知识。因此,特征的自动学习渐渐成为人们研究的重点。基于神经网络的深度学习方法就是自动学习特征的一种方法。并且随着深度学习在计算机视觉,语音识别和自然语言处理等领域的成功应用,越来越多的基于深度学习的文本情感分类模型产生,这些模型普遍地利用词嵌入(Word Embedding,WE)的方法进行特征表示,这种低维度词向量表示方法不仅能很好地解决传统语言模型中词表示中存在的维度过大的问题,而且能很好的保留词的语义信息,使得语义相似的词距离更近。另外,在词嵌入的基础上,通过卷积神经网络(Convolutional Neural Network,CNN)、递归神经网络(Recursive Neural Network,RNN)和循环神经网络(Recurrent Neural Network,RNN)等神经网络模型,能很好地表示句子或者文本级别的语义信息。
现有的解决方案中,基于注意力机制的循环神经网络模型和基于注意力机制的多层模型性能表现较好,前者性能较好的原因是借助深度学习模型的特征抽象机制,可以获得更加准确的注意力分布,而后者是利用上一层捕获的注意力来帮助下一层计算得到更精确的注意力分布,然而,这两种学习模型忽视了蕴含在句子中不明显但同样对情感分类很重要的词级别或短语级别情感特征。
发明内容
本发明的目的是克服上述现有技术的缺陷,提供一种基于双记忆注意力的方面级别情感分类模型及方法。
本发明所提出的技术问题是这样解决的:
一种基于双记忆注意力的方面级别情感分类模型,包括编码器、解码器和softmax分类器;
编码器:利用标准GRU循环神经网络依次对输入语句中的方面级别信息和输入语句进行编码,并从原始输入语句及其在编码器中的隐藏层状态中分别构成两个记忆,根据方面级别词语的位置对其进行加权,分别称为原始记忆(original memory,om)和编码记忆(encoded memory,em);
解码器:由前馈神经网络注意力层和多层GRU循环神经网络组成,前者从方面级别记忆的语义关联中捕捉重要的情感信息,后者则将这些信息在不同计算层中选择性组合,构成对编码记忆em和原始记忆om的两个解码阶段;
Softmax分类器:将解码器学习到的特征用于情感分类。
一种基于双记忆注意力的方面级别情感分类方法,包括以下步骤:
步骤1.设定输入语句为s={w1,w2,...,wN},对输入语句中的每个单词做词嵌入得到向量表示x={x1,x2,...,xN},其中N代表句子长度,1≤i≤N,d表示词向量维度,表示d维空间;设定输入语句中的方面级别信息为sa={wa1,wa2,...,waL},做词嵌入得到a={a1,a2,...,aL},其中L是输入语句中方面级别词语的数量;
步骤2.从输入语句中构建第一个记忆——原始记忆om,并根据方面级别词语的位置对其进行加权;将方面级别词语和上下文词语的绝对距离定义为词语的位置,将方面词语的位置看作0,则输入语句中的词语wi的位置权重向量的第j个元素为:
其中,1≤j≤d,qi是词wi的位置,向量vi是由堆叠起来的与xi相同维度的向量;
计算原始记忆om中的第i片记忆为:⊙表示矩阵按元素相乘;
步骤3.用编码器对输入语句的方面级别词语进行编码,方面级别表示bL为:
bL=GRU(bL-1,aL)
其中,是GRU在L-1时刻的隐藏层状态,bl=GRU(bl-1,al),2≤l≤L-1,b1=GRU(0,a1);
对输入语句进行编码,i=1时,第一次计算的隐藏层状态为:
i≥2时,第i次计算的隐藏层状态为:
步骤4.从编码后的输入语句中构成第二个记忆——编码记忆em,同样根据方面级别词语的位置对其进行加权,所加权重向量与步骤2中构建原始记忆om所用位置权重向量vi相同,最终得到编码记忆em中的第i片记忆的计算方法为:
步骤5.在解码器上先对编码记忆em解码,利用解码器的前馈神经网络注意力层,以方面表示bL、GRU之前的隐藏层状态和编码记忆em为输入,1≤t≤p,p为预设的编码记忆em解码阶段计算层数;
当2≤t≤p时,注意力权重的评分函数为:
其中,是编码记忆em中的第i个向量,矩阵和是模型参数,在训练开始前对参数矩阵随机初始化,在整个解码阶段共享;
当t=1时,
采用一个Soffmax函数来计算注意力权重βt=(βt,1,βt,2,...,βt,N):
最后得到输出向量:
当2≤t≤p时,由和上一个计算层的隐藏层状态得到t时刻的隐藏层状态为:
当t=1时,
步骤6.在解码器上对原始记忆om解码,利用解码器的前馈神经网络注意力层,以方面表示bL、GRU之前的隐藏层状态和原始记忆om为输入,1≤u≤k,k为预设的原始记忆om解码阶段计算层数;
当2≤u≤k时,注意力权重的评分函数为:
其中,是记忆om中的第i个向量;
当u=1时,
采用一个Softmax函数来计算注意力权重αu=(αu,1,αu,2,...,αu,N):
最后得到输出向量
当2≤u≤k时,由和上一个计算层的隐藏层状态得到t时刻的隐藏层状态为:
当u=1时,
步骤7.将解码器的最后输出作为Softmax分类器的输入:
其中,是条件概率分布,是模型需要学习的参数,C是情感类别的集合,|C|是集合中情感类别的个数;
步骤8.采用有监督学习方式使交叉熵损失函数的最小化,其中损失函数如下所示:
其中,αm是模型对训练集中第m个样本类别标签的正确预测概率,1≤m≤训练样本数;
编码器和解码器中,标准GRU循环神经网络为:
rt=σ(wrxt+urht-1)
zt=σ(wzxt+uzht-1)
其中,rt为重置门,zt为更新门,ht为隐藏层状态,xt、ht-1代表t时刻的输入和t-1时刻隐藏层输出,为状态权重矩阵,随机初始化并学习得到,σ为激活函数。
步骤3中,也可以先对输入语句进行编码,再对方面级别词语进行编码。
本发明的有益效果是:
本发明基于编码器-解码器模型和注意力机制,提出了一种带有双记忆注意力的文本方面级别情感分类模型及方法,引入位置注意力层构建原始记忆om和编码记忆em,应用一个特殊的前馈神经网络注意力层对随机初始化的注意力分布微调,以此来持续捕获语句中的重要情感特征,通过有监督学习的方式训练出文本方面级别情感分类模型。
本发明不同于已有专利或文献中提到的双重注意力模型中将注意力分别作用于BLSTM(Bidirectional Long Short-Term Memory,双向长短记忆)编码后的输入文本和情感符号的集合,本发明从原始文本序列和GRU循环神经网络编码后的隐藏层状态中分别构建两个记忆模块,将两个注意力机制分别作用于这两个记忆中。
与现有技术相比,能够显著增强文本方面级别情感分类的鲁棒性,提高方面级别情感分类的正确率。
附图说明
图1为本发明所述模型总体结构示意图;
图2为本发明所使用的前馈神经网络注意力层计算模型。
具体实施方式
下面结合附图和实施例对本发明进行进一步的说明。
本实施例提供一种具有双记忆注意力的RNN编码器-解码器情感分类模型,该模型由编码器、两个记忆模块、解码器和分类器组成。首先,编码器对输入语句对应的词向量进行编码,获得GRU循环神经网络中的隐藏层状态和中间向量并构成om、em两个记忆模块,其中分别储存了潜在的词级别和短语级别特征;其次,解码器首先在em上执行第一个解码阶段,之后在om上执行第二个解码阶段,其目的是分别从两个记忆中捕获短语级别和词级别特征。特别地,本发明采用了一个特殊的前馈神经网络注意力层,通过对随机初始化的注意力分布微调来持续捕获语句中的重要情感特征,并采用GRU循环神经网络选择性结合各个计算层所捕获的重要情感特征。最后,将解码器的最终输出作为分类器的输入,通过有监督学习的方式实现文本的方面级别情感分类。
一种基于双记忆注意力的方面级别情感分类模型,包括编码器、解码器和softmax分类器;
编码器:利用标准GRU循环神经网络依次对输入语句中的方面级别信息和输入语句进行编码,并从原始输入语句及其在编码器中的隐藏层状态中分别构成两个记忆,根据方面级别词语的位置对其进行加权,分别称为原始记忆(original memory,om)和编码记忆(encoded memory,em);
解码器:由前馈神经网络注意力层和多层GRU循环神经网络组成,前者从方面级别记忆的语义关联中捕捉重要的情感信息,后者则将这些信息在不同计算层中选择性组合,构成对编码记忆em和原始记忆om的两个解码阶段;
Softmax分类器:将解码器学习到的特征用于情感分类。
一种基于双记忆注意力的方面级别情感分类方法,包括以下步骤:
步骤1.设定输入语句为s={w1,w2,...,wN},对输入语句中的每个单词做词嵌入得到向量表示x={x1,x2,...,xN},其中N代表句子长度,1≤i≤N,d表示词向量维度,表示d维空间;设定输入语句中的方面级别信息为sa={wa1,wa2,...,waL},做词嵌入得到a={a1,a2,...,aL},其中L是输入语句中方面级别词语的数量;
步骤2.从输入语句中构建第一个记忆——原始记忆om,并根据方面级别词语的位置对其进行加权;将方面级别词语和上下文词语的绝对距离定义为词语的位置,将方面词语的位置看作0,则输入语句中的词语wi的位置权重向量的第j个元素为:
其中,1≤j≤d,qi是词wi的位置,向量vi是由堆叠起来的与xi相同维度的向量;
计算原始记忆om中的第i片记忆为:⊙表示矩阵按元素相乘;
步骤3.用编码器对输入语句的方面级别词语进行编码,方面级别表示bL为:
bL=GRU(bL-1,aL)
其中,是GRU在L-1时刻的隐藏层状态,bl=GRU(bl-1,al),2≤l≤L-1,b1=GRU(0,a1);
对输入语句进行编码,i=1时,第一次计算的隐藏层状态为:
i≥2时,第i次计算的隐藏层状态为:
步骤4.从编码后的输入语句中构成第二个记忆——编码记忆em,同样根据方面级别词语的位置对其进行加权,所加权重向量与步骤2中构建原始记忆om所用位置权重向量vi相同,最终得到编码记忆em中的第i片记忆的计算方法为:
步骤5.在解码器上先对编码记忆em解码,利用解码器的前馈神经网络注意力层,以方面表示bL、GRU之前的隐藏层状态和编码记忆em为输入,1≤t≤p,p为预设的编码记忆em解码阶段计算层数;
当2≤t≤p时,注意力权重的评分函数为:
其中,是编码记忆em中的第i个向量,矩阵和是模型参数,在训练开始前对参数矩阵随机初始化,在整个解码阶段共享;
当t=1时,
采用一个Softmax函数来计算注意力权重βt=(βt,1,βt,2,...,βt,N):
最后得到输出向量:
当2≤t≤p时,由和上一个计算层的隐藏层状态得到t时刻的隐藏层状态为:
当t=1时,
步骤6.在解码器上对原始记忆om解码,利用解码器的前馈神经网络注意力层,以方面表示bL、GRU之前的隐藏层状态和原始记忆om为输入,1≤u≤k,k为预设的原始记忆om解码阶段计算层数;
当2≤u≤k时,注意力权重的评分函数为:
其中,是记忆om中的第i个向量;
当u=1时,
采用一个Softmax函数来计算注意力权重αu=(αu,1,αu,2,...,αu,N):
最后得到输出向量
当2≤u≤k时,由和上一个计算层的隐藏层状态得到t时刻的隐藏层状态为:
当u=1时,
步骤7.将解码器的最后输出作为Softmax分类器的输入:
其中,是条件概率分布,是模型需要学习的参数,C是情感类别的集合,|C|是集合中情感类别的个数;
步骤8.采用有监督学习方式使交叉熵损失函数的最小化,其中损失函数如下所示:
其中,αm是模型对训练集中第m个样本类别标签的正确预测概率,1≤m≤训练样本数;
编码器和解码器中,标准GRU循环神经网络为:
rt=σ(wrxt+urht-1)
zt=σ(wzxt+uzht-1)
其中,rt为重置门,zt为更新门,ht为隐藏层状态,xt、ht-1代表t时刻的输入和t-1时刻隐藏层输出,为状态权重矩阵,随机初始化并学习得到,σ为激活函数。
步骤3中,也可以先对输入语句进行编码,再对方面级别词语进行编码。
本发明采用随机梯度下降(Stochastic Gradient Descent,SGD)方法优化目标函数且使用dropout技巧来缓和过拟合问题。
Claims (4)
1.一种基于双记忆注意力的方面级别情感分类模型,其特征在于,包括编码器、解码器和softmax分类器;
编码器:利用标准GRU循环神经网络依次对输入语句中的方面级别信息和输入语句进行编码,并从原始输入语句及其在编码器中的隐藏层状态中分别构成两个记忆,根据方面级别词语的位置对其进行加权,分别称为原始记忆和编码记忆;
解码器:由前馈神经网络注意力层和多层GRU循环神经网络组成,前者从方面级别记忆的语义关联中捕捉重要的情感信息,后者则将这些信息在不同计算层中选择性组合,构成对编码记忆和原始记忆的两个解码阶段;
Softmax分类器:将解码器学习到的特征用于情感分类。
2.利用权利要求1所述的基于双记忆注意力的方面级别情感分类模型进行情感分类的方法,其特征在于,包括以下步骤:
步骤1.设定输入语句为s={w1,w2,...,wN},对输入语句中的每个单词做词嵌入得到向量表示x={x1,x2,...,xN},其中N代表句子长度,1≤i≤N,d表示词向量维度,表示d维空间;设定输入语句中的方面级别信息为sa={wa1,wa2,...,waL},做词嵌入得到a={a1,a2,...,aL},其中L是输入语句中方面级别词语的数量;
步骤2.从输入语句中构建第一个记忆——原始记忆om,并根据方面级别词语的位置对其进行加权;将方面级别词语和上下文词语的绝对距离定义为词语的位置,将方面词语的位置看作0,则输入语句中的词语wi的位置权重向量的第j个元素为:
其中,1≤j≤d,qi是词wi的位置,向量vi是由堆叠起来的与xi相同维度的向量;
计算原始记忆om中的第i片记忆为:⊙表示矩阵按元素相乘;
步骤3.用编码器对输入语句的方面级别词语进行编码,方面级别表示bL为:
bL=GRU(bL-1,aL)
其中,是GRU在L-1时刻的隐藏层状态,bl=GRU(bl-1,al),2≤l≤L-1,b1=GRU(0,a1);
对输入语句进行编码,i=1时,第一次计算的隐藏层状态为:
i≥2时,第i次计算的隐藏层状态为:
步骤4.从编码后的输入语句中构成第二个记忆——编码记忆em,权重向量与步骤2中构建原始记忆om所用位置权重向量vi相同,最终得到编码记忆em中的第i片记忆为:
步骤5.在解码器上先对编码记忆em解码,利用解码器的前馈神经网络注意力层,以方面表示bL、GRU之前的隐藏层状态和编码记忆em为输入,1≤t≤p,p为预设的编码记忆em解码阶段计算层数;
当2≤t≤p时,注意力权重的评分函数为:
其中,是编码记忆em中的第i个向量,矩阵和是模型参数,在训练开始前对参数矩阵随机初始化,在整个解码阶段共享;
当t=1时,
采用一个Softmax函数来计算注意力权重βt=(βt,1,βt,2,...,βt,N):
最后得到输出向量:
当2≤t≤p时,由和上一个计算层的隐藏层状态得到t时刻的隐藏层状态为:
当t=1时,
步骤6.在解码器上对原始记忆om解码,利用解码器的前馈神经网络注意力层,以方面表示bL、GRU之前的隐藏层状态和原始记忆om为输入,1≤u≤k,k为预设的原始记忆om解码阶段计算层数;
当2≤u≤k时,注意力权重的评分函数为:
其中,是记忆om中的第i个向量;
当u=1时,
采用一个Softmax函数来计算注意力权重αu=(αu,1,αu,2,...,αu,N):
最后得到输出向量
当2≤u≤k时,由和上一个计算层的隐藏层状态得到t时刻的隐藏层状态为:
当u=1时,
步骤7.将解码器的最后输出作为Softmax分类器的输入:
其中,是条件概率分布,是模型需要学习的参数,C是情感类别的集合,|C|是集合中情感类别的个数;
步骤8.采用有监督学习方式使交叉熵损失函数的最小化,其中损失函数如下所示:
其中,αm是模型对训练集中第m个样本类别标签的正确预测概率,1≤m≤训练样本数。
3.根据权利要求2所述的情感分类方法,其特征在于,编码器和解码器中,标准GRU循环神经网络为:
rt=σ(wrxt+urht-1)
zt=σ(wzxt+uzht-1)
其中,rt为重置门,zt为更新门,ht为隐藏层状态,xt、ht-1代表t时刻的输入和t-1时刻隐藏层输出,为状态权重矩阵,随机初始化并学习得到,σ为激活函数。
4.根据权利要求2所述的情感分类方法,其特征在于,步骤3中,先对输入语句进行编码,再对方面级别词语进行编码。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811337352.0A CN109472031B (zh) | 2018-11-09 | 2018-11-09 | 一种基于双记忆注意力的方面级别情感分类模型及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811337352.0A CN109472031B (zh) | 2018-11-09 | 2018-11-09 | 一种基于双记忆注意力的方面级别情感分类模型及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109472031A true CN109472031A (zh) | 2019-03-15 |
CN109472031B CN109472031B (zh) | 2021-05-04 |
Family
ID=65671679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811337352.0A Active CN109472031B (zh) | 2018-11-09 | 2018-11-09 | 一种基于双记忆注意力的方面级别情感分类模型及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109472031B (zh) |
Cited By (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109948165A (zh) * | 2019-04-24 | 2019-06-28 | 吉林大学 | 基于混合注意力网络的细粒度情感极性预测方法 |
CN110046356A (zh) * | 2019-04-26 | 2019-07-23 | 中森云链(成都)科技有限责任公司 | 标签嵌入在微博文本情绪多标签分类中的应用研究 |
CN110069778A (zh) * | 2019-04-18 | 2019-07-30 | 东华大学 | 中文融入嵌入词位置感知的商品情感分析方法 |
CN110083702A (zh) * | 2019-04-15 | 2019-08-02 | 中国科学院深圳先进技术研究院 | 一种基于多任务学习的方面级别文本情感转换方法 |
CN110134765A (zh) * | 2019-05-05 | 2019-08-16 | 杭州师范大学 | 一种基于情感分析的餐厅用户评论分析系统及方法 |
CN110134789A (zh) * | 2019-05-17 | 2019-08-16 | 电子科技大学 | 一种引入多路选择融合机制的多标签长文本分类方法 |
CN110162789A (zh) * | 2019-05-13 | 2019-08-23 | 北京一览群智数据科技有限责任公司 | 一种基于汉语拼音的词表征方法及装置 |
CN110222342A (zh) * | 2019-06-13 | 2019-09-10 | 哈尔滨工业大学(深圳) | 结合情感原因发现的文本情感预测学习系统 |
CN110502626A (zh) * | 2019-08-27 | 2019-11-26 | 重庆大学 | 一种基于卷积神经网络的方面级情感分析方法 |
CN110543567A (zh) * | 2019-09-06 | 2019-12-06 | 上海海事大学 | 一种基于a-gcnn网络和acelm算法的中文文本情感分类方法 |
CN110717334A (zh) * | 2019-09-10 | 2020-01-21 | 上海理工大学 | 基于bert模型和双通道注意力的文本情感分析方法 |
CN110717338A (zh) * | 2019-07-29 | 2020-01-21 | 北京车慧科技有限公司 | 一种基于用户评论的典型意见生成装置 |
CN110866405A (zh) * | 2019-11-14 | 2020-03-06 | 电子科技大学 | 一种基于语句信息的方面级情感分类方法 |
CN111160037A (zh) * | 2019-12-02 | 2020-05-15 | 广州大学 | 一种支持跨语言迁移的细粒度情感分析方法 |
CN111275118A (zh) * | 2020-01-22 | 2020-06-12 | 复旦大学 | 基于自我修正式标签生成网络的胸片多标签分类方法 |
CN111274396A (zh) * | 2020-01-20 | 2020-06-12 | 福州大学 | 一种基于外部知识的视角级文本情感分类方法及系统 |
CN111291189A (zh) * | 2020-03-10 | 2020-06-16 | 北京芯盾时代科技有限公司 | 一种文本处理方法、设备及计算机可读存储介质 |
CN111414505A (zh) * | 2020-03-11 | 2020-07-14 | 上海爱数信息技术股份有限公司 | 一种基于序列生成模型的快速图像摘要生成方法 |
CN111784303A (zh) * | 2020-07-06 | 2020-10-16 | 泰康保险集团股份有限公司 | 核保信息处理方法、装置、计算机存储介质及电子设备 |
WO2020211611A1 (zh) * | 2019-04-17 | 2020-10-22 | 腾讯科技(深圳)有限公司 | 用于语言处理的循环神经网络中隐状态的生成方法和装置 |
CN111814450A (zh) * | 2020-07-10 | 2020-10-23 | 重庆大学 | 一种基于残差注意力的方面级情感分析方法 |
CN111859978A (zh) * | 2020-06-11 | 2020-10-30 | 南京邮电大学 | 一种基于深度学习的情感文本生成方法 |
CN111985205A (zh) * | 2020-08-05 | 2020-11-24 | 重庆大学 | 一种方面级情感分类模型 |
CN112182162A (zh) * | 2020-09-30 | 2021-01-05 | 中国人民大学 | 一种基于记忆神经网络的个性化对话方法和系统 |
CN112256876A (zh) * | 2020-10-26 | 2021-01-22 | 南京工业大学 | 基于多记忆注意力网络的方面级情感分类模型 |
CN112416956A (zh) * | 2020-11-19 | 2021-02-26 | 重庆邮电大学 | 一种基于bert和独立循环神经网络的问句分类方法 |
CN112434161A (zh) * | 2020-11-24 | 2021-03-02 | 哈尔滨工程大学 | 一种采用双向长短期记忆网络的方面级情感分析方法 |
CN112434143A (zh) * | 2020-11-20 | 2021-03-02 | 西安交通大学 | 基于gru单元隐藏状态约束的对话方法、存储介质及系统 |
CN112464281A (zh) * | 2020-11-29 | 2021-03-09 | 哈尔滨工程大学 | 基于隐私分组和情感识别的网络信息分析方法 |
CN112463956A (zh) * | 2020-11-26 | 2021-03-09 | 重庆邮电大学 | 基于对抗学习和分层神经网络的文本摘要生成系统和方法 |
CN112528672A (zh) * | 2020-12-14 | 2021-03-19 | 北京邮电大学 | 一种基于图卷积神经网络的方面级情感分析方法及装置 |
CN112527966A (zh) * | 2020-12-18 | 2021-03-19 | 重庆邮电大学 | 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法 |
CN112559683A (zh) * | 2020-12-11 | 2021-03-26 | 苏州元启创人工智能科技有限公司 | 基于多模态数据及多交互记忆网络的方面级情感分析方法 |
CN112700796A (zh) * | 2020-12-21 | 2021-04-23 | 北京工业大学 | 一种基于交互式注意力模型的语音情感识别方法 |
CN112800339A (zh) * | 2021-04-06 | 2021-05-14 | 腾讯科技(深圳)有限公司 | 信息流搜索方法、装置及设备 |
CN112836520A (zh) * | 2021-02-19 | 2021-05-25 | 支付宝(杭州)信息技术有限公司 | 基于用户特征生成用户描述文本的方法和装置 |
CN112926311A (zh) * | 2021-02-03 | 2021-06-08 | 昆明理工大学 | 一种结合序列和主题信息的无监督方面词提取方法 |
CN113032559A (zh) * | 2021-03-15 | 2021-06-25 | 新疆大学 | 一种用于低资源黏着性语言文本分类的语言模型微调方法 |
CN113241128A (zh) * | 2021-04-29 | 2021-08-10 | 天津大学 | 基于分子空间位置编码注意力神经网络模型的分子性质预测方法 |
CN113257280A (zh) * | 2021-06-07 | 2021-08-13 | 苏州大学 | 基于wav2vec的语音情感识别方法 |
WO2021169364A1 (zh) * | 2020-09-23 | 2021-09-02 | 平安科技(深圳)有限公司 | 分析语义情感的方法、装置、设备及存储介质 |
CN113505208A (zh) * | 2021-07-09 | 2021-10-15 | 福州大学 | 一种融合多路注意力机制的智能对话系统 |
CN113609840A (zh) * | 2021-08-25 | 2021-11-05 | 西华大学 | 一种汉语法律判决摘要生成方法及系统 |
CN113761204A (zh) * | 2021-09-06 | 2021-12-07 | 南京大学 | 一种基于深度学习的emoji文本情感分析方法及系统 |
CN115758211A (zh) * | 2022-11-10 | 2023-03-07 | 中国电信股份有限公司 | 文本信息分类方法、装置、电子设备和存储介质 |
CN111079409B (zh) * | 2019-12-16 | 2023-04-25 | 东北大学秦皇岛分校 | 一种利用上下文和方面记忆信息的情感分类方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105868829A (zh) * | 2015-02-06 | 2016-08-17 | 谷歌公司 | 用于数据项生成的循环神经网络 |
US20180129933A1 (en) * | 2016-11-10 | 2018-05-10 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and Apparatus for Processing Data Sequence |
CN108133038A (zh) * | 2018-01-10 | 2018-06-08 | 重庆邮电大学 | 一种基于动态记忆网络的实体级别情感分类系统及方法 |
CN108153913A (zh) * | 2018-01-24 | 2018-06-12 | 北京神州泰岳软件股份有限公司 | 回复信息生成模型的训练方法、回复信息生成方法及装置 |
-
2018
- 2018-11-09 CN CN201811337352.0A patent/CN109472031B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105868829A (zh) * | 2015-02-06 | 2016-08-17 | 谷歌公司 | 用于数据项生成的循环神经网络 |
US20180129933A1 (en) * | 2016-11-10 | 2018-05-10 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and Apparatus for Processing Data Sequence |
CN108133038A (zh) * | 2018-01-10 | 2018-06-08 | 重庆邮电大学 | 一种基于动态记忆网络的实体级别情感分类系统及方法 |
CN108153913A (zh) * | 2018-01-24 | 2018-06-12 | 北京神州泰岳软件股份有限公司 | 回复信息生成模型的训练方法、回复信息生成方法及装置 |
Non-Patent Citations (3)
Title |
---|
XING-FU WANG 等: "Aspect level sentiment classification with memory", 《IEEE》 * |
张紫琼: "在线中文评论情感分类问题研究", 《中国博士学位论文全文数据库》 * |
黄发良 等: "基于多特征融合的微博主题情感挖掘", 《计算机学报》 * |
Cited By (69)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110083702B (zh) * | 2019-04-15 | 2021-04-09 | 中国科学院深圳先进技术研究院 | 一种基于多任务学习的方面级别文本情感转换方法 |
CN110083702A (zh) * | 2019-04-15 | 2019-08-02 | 中国科学院深圳先进技术研究院 | 一种基于多任务学习的方面级别文本情感转换方法 |
WO2020211611A1 (zh) * | 2019-04-17 | 2020-10-22 | 腾讯科技(深圳)有限公司 | 用于语言处理的循环神经网络中隐状态的生成方法和装置 |
CN110069778A (zh) * | 2019-04-18 | 2019-07-30 | 东华大学 | 中文融入嵌入词位置感知的商品情感分析方法 |
CN110069778B (zh) * | 2019-04-18 | 2023-06-02 | 东华大学 | 中文融入嵌入词位置感知的商品情感分析方法 |
CN109948165B (zh) * | 2019-04-24 | 2023-04-25 | 吉林大学 | 基于混合注意力网络的细粒度情感极性预测方法 |
CN109948165A (zh) * | 2019-04-24 | 2019-06-28 | 吉林大学 | 基于混合注意力网络的细粒度情感极性预测方法 |
CN110046356A (zh) * | 2019-04-26 | 2019-07-23 | 中森云链(成都)科技有限责任公司 | 标签嵌入在微博文本情绪多标签分类中的应用研究 |
CN110134765A (zh) * | 2019-05-05 | 2019-08-16 | 杭州师范大学 | 一种基于情感分析的餐厅用户评论分析系统及方法 |
CN110162789A (zh) * | 2019-05-13 | 2019-08-23 | 北京一览群智数据科技有限责任公司 | 一种基于汉语拼音的词表征方法及装置 |
CN110162789B (zh) * | 2019-05-13 | 2023-07-21 | 北京一览群智数据科技有限责任公司 | 一种基于汉语拼音的词表征方法及装置 |
CN110134789A (zh) * | 2019-05-17 | 2019-08-16 | 电子科技大学 | 一种引入多路选择融合机制的多标签长文本分类方法 |
CN110222342A (zh) * | 2019-06-13 | 2019-09-10 | 哈尔滨工业大学(深圳) | 结合情感原因发现的文本情感预测学习系统 |
CN110222342B (zh) * | 2019-06-13 | 2023-05-02 | 哈尔滨工业大学(深圳) | 结合情感原因发现的文本情感预测学习系统 |
CN110717338A (zh) * | 2019-07-29 | 2020-01-21 | 北京车慧科技有限公司 | 一种基于用户评论的典型意见生成装置 |
CN110502626A (zh) * | 2019-08-27 | 2019-11-26 | 重庆大学 | 一种基于卷积神经网络的方面级情感分析方法 |
CN110502626B (zh) * | 2019-08-27 | 2023-04-07 | 重庆大学 | 一种基于卷积神经网络的方面级情感分析方法 |
CN110543567A (zh) * | 2019-09-06 | 2019-12-06 | 上海海事大学 | 一种基于a-gcnn网络和acelm算法的中文文本情感分类方法 |
CN110717334A (zh) * | 2019-09-10 | 2020-01-21 | 上海理工大学 | 基于bert模型和双通道注意力的文本情感分析方法 |
CN110717334B (zh) * | 2019-09-10 | 2023-10-10 | 上海理工大学 | 基于bert模型和双通道注意力的文本情感分析方法 |
CN110866405A (zh) * | 2019-11-14 | 2020-03-06 | 电子科技大学 | 一种基于语句信息的方面级情感分类方法 |
CN111160037A (zh) * | 2019-12-02 | 2020-05-15 | 广州大学 | 一种支持跨语言迁移的细粒度情感分析方法 |
CN111079409B (zh) * | 2019-12-16 | 2023-04-25 | 东北大学秦皇岛分校 | 一种利用上下文和方面记忆信息的情感分类方法 |
CN111274396B (zh) * | 2020-01-20 | 2022-06-07 | 福州大学 | 一种基于外部知识的视角级文本情感分类方法及系统 |
CN111274396A (zh) * | 2020-01-20 | 2020-06-12 | 福州大学 | 一种基于外部知识的视角级文本情感分类方法及系统 |
CN111275118B (zh) * | 2020-01-22 | 2022-09-16 | 复旦大学 | 基于自我修正式标签生成网络的胸片多标签分类方法 |
CN111275118A (zh) * | 2020-01-22 | 2020-06-12 | 复旦大学 | 基于自我修正式标签生成网络的胸片多标签分类方法 |
CN111291189A (zh) * | 2020-03-10 | 2020-06-16 | 北京芯盾时代科技有限公司 | 一种文本处理方法、设备及计算机可读存储介质 |
CN111414505B (zh) * | 2020-03-11 | 2023-10-20 | 上海爱数信息技术股份有限公司 | 一种基于序列生成模型的快速图像摘要生成方法 |
CN111414505A (zh) * | 2020-03-11 | 2020-07-14 | 上海爱数信息技术股份有限公司 | 一种基于序列生成模型的快速图像摘要生成方法 |
CN111859978B (zh) * | 2020-06-11 | 2023-06-20 | 南京邮电大学 | 一种基于深度学习的情感文本生成方法 |
CN111859978A (zh) * | 2020-06-11 | 2020-10-30 | 南京邮电大学 | 一种基于深度学习的情感文本生成方法 |
CN111784303A (zh) * | 2020-07-06 | 2020-10-16 | 泰康保险集团股份有限公司 | 核保信息处理方法、装置、计算机存储介质及电子设备 |
CN111784303B (zh) * | 2020-07-06 | 2023-08-22 | 泰康保险集团股份有限公司 | 核保信息处理方法、装置、计算机存储介质及电子设备 |
CN111814450B (zh) * | 2020-07-10 | 2023-08-11 | 重庆大学 | 一种基于残差注意力的方面级情感分析方法 |
CN111814450A (zh) * | 2020-07-10 | 2020-10-23 | 重庆大学 | 一种基于残差注意力的方面级情感分析方法 |
CN111985205A (zh) * | 2020-08-05 | 2020-11-24 | 重庆大学 | 一种方面级情感分类模型 |
WO2021169364A1 (zh) * | 2020-09-23 | 2021-09-02 | 平安科技(深圳)有限公司 | 分析语义情感的方法、装置、设备及存储介质 |
CN112182162B (zh) * | 2020-09-30 | 2023-10-31 | 中国人民大学 | 一种基于记忆神经网络的个性化对话方法和系统 |
CN112182162A (zh) * | 2020-09-30 | 2021-01-05 | 中国人民大学 | 一种基于记忆神经网络的个性化对话方法和系统 |
CN112256876A (zh) * | 2020-10-26 | 2021-01-22 | 南京工业大学 | 基于多记忆注意力网络的方面级情感分类模型 |
CN112416956A (zh) * | 2020-11-19 | 2021-02-26 | 重庆邮电大学 | 一种基于bert和独立循环神经网络的问句分类方法 |
CN112434143A (zh) * | 2020-11-20 | 2021-03-02 | 西安交通大学 | 基于gru单元隐藏状态约束的对话方法、存储介质及系统 |
CN112434143B (zh) * | 2020-11-20 | 2022-12-09 | 西安交通大学 | 基于gru单元隐藏状态约束的对话方法、存储介质及系统 |
CN112434161B (zh) * | 2020-11-24 | 2023-01-03 | 哈尔滨工程大学 | 一种采用双向长短期记忆网络的方面级情感分析方法 |
CN112434161A (zh) * | 2020-11-24 | 2021-03-02 | 哈尔滨工程大学 | 一种采用双向长短期记忆网络的方面级情感分析方法 |
CN112463956A (zh) * | 2020-11-26 | 2021-03-09 | 重庆邮电大学 | 基于对抗学习和分层神经网络的文本摘要生成系统和方法 |
CN112464281A (zh) * | 2020-11-29 | 2021-03-09 | 哈尔滨工程大学 | 基于隐私分组和情感识别的网络信息分析方法 |
CN112464281B (zh) * | 2020-11-29 | 2022-11-18 | 深圳市索迪统计科技有限公司 | 基于隐私分组和情感识别的网络信息分析方法 |
CN112559683A (zh) * | 2020-12-11 | 2021-03-26 | 苏州元启创人工智能科技有限公司 | 基于多模态数据及多交互记忆网络的方面级情感分析方法 |
CN112528672B (zh) * | 2020-12-14 | 2021-07-30 | 北京邮电大学 | 一种基于图卷积神经网络的方面级情感分析方法及装置 |
CN112528672A (zh) * | 2020-12-14 | 2021-03-19 | 北京邮电大学 | 一种基于图卷积神经网络的方面级情感分析方法及装置 |
CN112527966B (zh) * | 2020-12-18 | 2022-09-20 | 重庆邮电大学 | 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法 |
CN112527966A (zh) * | 2020-12-18 | 2021-03-19 | 重庆邮电大学 | 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法 |
CN112700796A (zh) * | 2020-12-21 | 2021-04-23 | 北京工业大学 | 一种基于交互式注意力模型的语音情感识别方法 |
CN112926311A (zh) * | 2021-02-03 | 2021-06-08 | 昆明理工大学 | 一种结合序列和主题信息的无监督方面词提取方法 |
CN112836520A (zh) * | 2021-02-19 | 2021-05-25 | 支付宝(杭州)信息技术有限公司 | 基于用户特征生成用户描述文本的方法和装置 |
CN113032559A (zh) * | 2021-03-15 | 2021-06-25 | 新疆大学 | 一种用于低资源黏着性语言文本分类的语言模型微调方法 |
CN112800339A (zh) * | 2021-04-06 | 2021-05-14 | 腾讯科技(深圳)有限公司 | 信息流搜索方法、装置及设备 |
CN113241128A (zh) * | 2021-04-29 | 2021-08-10 | 天津大学 | 基于分子空间位置编码注意力神经网络模型的分子性质预测方法 |
CN113257280A (zh) * | 2021-06-07 | 2021-08-13 | 苏州大学 | 基于wav2vec的语音情感识别方法 |
CN113505208A (zh) * | 2021-07-09 | 2021-10-15 | 福州大学 | 一种融合多路注意力机制的智能对话系统 |
CN113505208B (zh) * | 2021-07-09 | 2024-02-02 | 福州大学 | 一种融合多路注意力机制的智能对话系统 |
CN113609840B (zh) * | 2021-08-25 | 2023-06-16 | 西华大学 | 一种汉语法律判决摘要生成方法及系统 |
CN113609840A (zh) * | 2021-08-25 | 2021-11-05 | 西华大学 | 一种汉语法律判决摘要生成方法及系统 |
CN113761204A (zh) * | 2021-09-06 | 2021-12-07 | 南京大学 | 一种基于深度学习的emoji文本情感分析方法及系统 |
CN113761204B (zh) * | 2021-09-06 | 2023-07-28 | 南京大学 | 一种基于深度学习的emoji文本情感分析方法及系统 |
CN115758211A (zh) * | 2022-11-10 | 2023-03-07 | 中国电信股份有限公司 | 文本信息分类方法、装置、电子设备和存储介质 |
CN115758211B (zh) * | 2022-11-10 | 2024-03-01 | 中国电信股份有限公司 | 文本信息分类方法、装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109472031B (zh) | 2021-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109472031B (zh) | 一种基于双记忆注意力的方面级别情感分类模型及方法 | |
CN109284506B (zh) | 一种基于注意力卷积神经网络的用户评论情感分析系统及方法 | |
Oord et al. | Representation learning with contrastive predictive coding | |
CN108681610B (zh) | 生成式多轮闲聊对话方法、系统及计算机可读存储介质 | |
CN107358948B (zh) | 基于注意力模型的语言输入关联性检测方法 | |
CN109524006B (zh) | 一种基于深度学习的汉语普通话唇语识别方法 | |
CN111026869B (zh) | 一种利用基于多层注意力的序列生成网络进行多罪名预测的方法 | |
WO2021208722A1 (zh) | 分类模型训练方法、装置、终端及存储介质 | |
CN111401061A (zh) | 基于BERT及BiLSTM-Attention的涉案新闻观点句识别方法 | |
CN109522411A (zh) | 一种基于神经网络的写作辅助方法 | |
CN112749274B (zh) | 基于注意力机制和干扰词删除的中文文本分类方法 | |
CN112527966B (zh) | 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法 | |
CN114169330A (zh) | 融合时序卷积与Transformer编码器的中文命名实体识别方法 | |
CN111274398A (zh) | 一种方面级用户产品评论情感分析方法及系统 | |
CN111506732B (zh) | 一种文本多层次标签分类方法 | |
CN112818861A (zh) | 一种基于多模态上下文语义特征的情感分类方法及系统 | |
CN112232087B (zh) | 一种基于Transformer的多粒度注意力模型的特定方面情感分析方法 | |
CN113255366B (zh) | 一种基于异构图神经网络的方面级文本情感分析方法 | |
CN111046233A (zh) | 一种基于视频评论文本的视频标签确定方法 | |
CN111309909A (zh) | 一种基于混合模型的文本情感分类方法 | |
CN113887836B (zh) | 一种融合事件环境信息的叙述性事件预测方法 | |
Zhao et al. | Knowledge-aware bayesian co-attention for multimodal emotion recognition | |
CN110175330B (zh) | 一种基于注意力机制的命名实体识别方法 | |
CN114091469A (zh) | 基于样本扩充的网络舆情分析方法 | |
CN116644759B (zh) | 语句中方面类别及其语义极性的提取方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |