CN112528168B - 基于可形变自注意力机制的社交网络文本情感分析方法 - Google Patents
基于可形变自注意力机制的社交网络文本情感分析方法 Download PDFInfo
- Publication number
- CN112528168B CN112528168B CN202011540244.0A CN202011540244A CN112528168B CN 112528168 B CN112528168 B CN 112528168B CN 202011540244 A CN202011540244 A CN 202011540244A CN 112528168 B CN112528168 B CN 112528168B
- Authority
- CN
- China
- Prior art keywords
- context
- sentence
- word
- matrix
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 28
- 238000004458 analytical method Methods 0.000 title claims abstract description 22
- 230000008451 emotion Effects 0.000 title claims abstract description 20
- 239000013598 vector Substances 0.000 claims abstract description 45
- 238000013528 artificial neural network Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 13
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims abstract description 6
- 230000000306 recurrent effect Effects 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 47
- 238000004364 calculation method Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 2
- 125000004122 cyclic group Chemical group 0.000 claims 1
- 230000014509 gene expression Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 102000002274 Matrix Metalloproteinases Human genes 0.000 description 1
- 108010000684 Matrix Metalloproteinases Proteins 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9536—Search customisation based on social or collaborative filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于可形变自注意力机制的社交网络文本情感分析方法,用于分析用户话语的情感。步骤如下:将用户话语文本数据中的每个句子切分为词,将每个词用词向量表示;将词向量序列输入双向循环神经网络(Bi‑LSTM)中得到每个词的编码表示;利用可形变自注意力机制,将词的编码表示转化为多种具有不同上下文范围的句子编码表示;将多种句子编码表示融合得到一个句子编码表示;将融合的句子编码表示输入到前馈神经网络(FFN)中分类,输出结果;根据模型输出结果和数据真实结果,最小化交叉熵损失函数迭代训练模型更新参数;将待分类的社交网络文本输入到经过训练的模型得到情感分析结果。
Description
技术领域
本发明涉及自然语言处理中的社交网络文本情感分析技术领域,具体涉及一种基于可形变自注意力机制的社交网络文本情感分析方法。
背景技术
互联网中基于用户关系而成的内容生产与交换的平台即社交网络,人们彼此之间可以分享意见观点。利用文本情感分析方法,可以自动化的提取用户对一些事物如产品、服务、事件等的情感偏向,从而帮助用户更好的挑选自己喜欢的产品,帮助商家提供更加优质的产品和服务等。利用舆情情感分析还可以预测民众对社会事件的态度,情绪的变化趋势,从而有利于企业和政府机构即时做出相应调整等。社交网络文本情感分析是自然语言处理中很重要的研究领域,在如今互联网的迅速发展下,有着重要的实践和应用价值。
在文本情感分析的局部上下文特征提取方面,国内外目前的方法都是提取固定尺度的上下文特征或者只考虑全局的上下文特征。然而,文本中局部上下文信息很重要,且不同的词所需要的局部上下文大小是不一样的。一些人使用卷积神经网络(CNN),该方法采用固定大小的卷积核提取几种尺度的上下文特征(具体参见:R.Johnson and T.Zhang,“Deeppyramid convolutional neural networks for text categorization,”inProc.Annu.Meeting Assoc.Comput.Linguistics,2017.)。有些人使用自注意力模型模型(具体参见:Z.Lin,M.Feng,C.N.dos Santos,M.Yu,B.Xiang,B.Zhou,and Y.Bengio,“Astructured self-attentive sentence embedding,”2017.),然而,RNN由于顺序的编码每一个词,它没有直接建模多尺度的上下文特征,自注意力模型提取的是全局的上下文特征。有一些局部自注意力模型也考虑了局部上下文特征,具体参见:T.Shen,T.Zhou,G.Long,J.Jiang,and C.Zhang,“Tensorized self-attention:Efficiently modeling pairwiseand global dependencies together,”in Proc.Conf.North Amer.ChapterAssoc.Comput.Linguistics,2019,pp.1256–1266.),但是这种模型提取的上下文特征也是固定尺度的。目前国内外的方法都没有很好的针对不同的词学习不同的尺度的局部上下文特征,提取的都是固定尺度或者全局尺度的上下文。考虑到这一点,目前亟待提出一种基于可形变自注意力机制的社交网络文本情感分析方法。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷,提供一种基于可形变自注意力机制的社交网络文本情感分析方法,可根据不同词自适应提取不同尺度局部上下文特征,该方法先计算出每个词所需要的局部上下文大小,然后利用可形变自注意力机制对每个词在所学得的局部上下文大小内进行特征的提取,接着融合多种范围的局部上下文特征,得到最终的输入特征表示。
本发明的目的可以通过采取如下技术方案达到:
一种基于可形变自注意力机制的社交网络文本情感分析方法,所述的社交网络文本情感分析方法包括以下步骤:
S1、将用户话语文本数据中的每个句子切分为词,切分后的词序列表示为w=(w1,w2,…,wi,…,wN),并将每个词用词向量序列表示为 其中,wi是第i个词,是第i个词的词向量,1≤i≤N,N为词的个数,emb为词向量维度大小,为由所有emb维向量组成的实数向量空间;
S2、将词向量序列输入双向循环神经网络(Bi-LSTM)中得到每个词的编码表示H=(h1,h2,…,hi,…,hN),其中 是第i个词的编码表示,为由所有2d维向量组成的实数向量空间,1≤i≤N,d为单向LSTM隐层单元的维度大小,2d为Bi-LSTM隐层单元的维度大小;
S3、利用可形变自注意力机制,将每个词的编码表示H=(h1,h2,…,hi,…,hN)转化为多种具有不同上下文范围的句子编码表示F=(F1;F2;…;Fl;…;FL),其中,l∈{1,2,…,L},是具有第l种上下文范围的句子编码表示,为由所有N×d维矩阵组成的实数矩阵向量空间,L为不同上下文范围的个数;
S5、将融合的句子编码表示输入到前馈神经网络(FFN)中分类,输出结果;
S6、根据前馈神经网络(FFN)输出结果和数据真实结果,最小化交叉熵损失函数迭代训练,更新双向循环神经网络(Bi-LSTM)、可形变自注意力机制、前馈神经网络(FFN)中涉及的参数;
S7、将待分类的社交网络文本数据重复步骤S1-S5,得到从前馈神经网络(FFN)输出的情感分析结果。
进一步地,所述的步骤S3过程如下:
S31、将词的编码表示H按照下式映射到不同的子空间:
其中是将H映射到第l个子空间的3个可以训练的权重矩阵,代表所有由2d×d维矩阵组成的实数矩阵向量空间,Ql,Kl,Vl是H在第l个子空间映射后得到的3个不同的表示,l∈{1,2,…,L},L为子空间的个数,它的值也等于不同上下文范围的个数,接下来计算每个子空间下对应的注意力分数矩阵{S1,S2,…,Sl,…,SL},其中Sl是第l个子空间下对应的注意力分数矩阵,每个Sl计算公式如下:
S32、在第l个子空间学习上下文半径在Rl-1~Rl的上下文半径向量 Rl-1和Rl是预定义的上下文半径常量,为两个实数且Rl-1<Rl,R0=1,为所有由N维向量组成的实数向量空间,上下文半径向量的第i个元素代表第i个词学习到的上下文半径,代表实数空间;
其中,M(R)i,i′是矩阵M(R)第i行第i′列的元素,i′∈{1,2,…,N};
其中是可形变注意力权重矩阵的第i行,q枚举上取整和下取整得到的2个整数,是第l个子空间的注意力分数矩阵Sl的第i行,M(q)i,·是上下文半径为q的带宽掩码矩阵M(q)的第i行,函数K(·,·)的计算公式如下:
K(a,b)=max(0,1-|a-b|)
其中,a,b为任意两个实数;
S35、得到多种具有不同上下文范围的句子编码表示F=(F1;F2;…;Fl;…;FL),每一种句子编码表示Fl计算公式如下:
进一步地,所述的步骤S32中,上下文半径向量gl计算公式如下:
pl,i=tanh(el,i)⊙(1-σ(dl,i)*2)
其中,是除第l种上下文范围句子编码表示的其他范围的句子编码表示,l′∈{1,2,…,L},是Fl的第i行,是的第i行,都为计算的中间结果,⊙、·、*分别是按元素乘积,点乘和普通乘法,tanh(·)是正切函数,是l1范数;
进一步地,所述的文本数据包括中文数据和/或英文数据。
本发明相对于现有技术具有如下的优点及效果:
1、与卷积神经网络采用一些固定大小的卷积核或局部自注意力机制采用固定的注意力范围不同,这些方法对所有的词提取固定尺度的上下文特征,本发明提出的可形变自注意力机制可以根据不同的词调整上下文尺度的大小,从而提取该词最优的局部特征。
2、和传统的自注意力机制计算整个句子全局的上下文特征不同,由于词的含义可以由词本身和它的局部上下文决定,本发明方法提取的是局部上下文特征,减少了计算全局上下文特征过程中的冗余特征,可以得到更加精简的局部特征。
附图说明
图1是本发明实施例公开的一种基于可形变自注意力机制的社交网络文本情感分析方法的流程图;
图2是本发明实施例公开的一种基于可形变自注意力机制的社交网络文本情感分析方法模型概要图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例
如图1是本实施例公开的基于可形变自注意力机制的社交网络文本情感分析方法的流程图,如图1所示,该方法包括以下步骤:
S1、将用户话语文本数据中的每个句子切分为词。数据可以是中文数据也可以是英文数据,在这里以英文数据为例。这个句子是社交网络中用户对电影的评价,情感分类标签为消极。如图2所示将句子“The film has little insight into history.”切分为词,得到切分后的词序列:[The,file,has,little,insight,into,history],将每个词用词向量表示 N为词的个数,这里为7,1≤i≤7,每个词向量维度大小为emb维,这里为300维;
S3.1、将词的编码表示H按照下式映射到不同的子空间:
其中是将H映射到第l个子空间的3个可以训练的权重矩阵,Ql,Kl,Vl是H在第l个子空间映射后得到的3个不同的表示,如图2所示,子空间的个数L=3,H被映射到3个子空间得到了Q1,K1,V1,Q2,K2,V2,Q3,K3,V3,接下来计算每个子空间下对应的注意力分数矩阵{S1,S2,S3},每个Sl计算公式如下:
S3.2、如图2所示,在第1个子空间学习上下文半径在R0~R1的上下文半径向量向量的第i个元素代表第i个词学习到的上下文半径,这里R0=1,R1=2,R2=4,R3=6,g1的7个元素分别为[1.2,2.3,2.2,1.3,2.4,1.1,1.3],以第1个子空间为例,对第4个词“little”,网络学习的该词上下文半径为1.3,四舍五入后上下文半径近似为1,即该词上下文为它的前1个词和后1个词,学习到的短语为“has little insight”,对第5个词“insight”,学得上下文半径为2.4,四舍五入后上下文半径近似为2,学得上下文短语为“has little insight into history”,通过这种方式,网络根据不同的词调整了上下文尺度的大小,从而可以学习到不同长度的短语信息,下面依然以第1个子空间的计算为例,第2、3个子空间的计算同理;
S3.3、第一个子空间的上下文半径向量计算公式如下:
其中,M(R)i,i′是矩阵M(R)第i行第i′列的元素,1≤i′≤7;
以第4个词的计算为例,其中是可形变注意力权重矩阵的第4行,q枚举上取整和下取整得到的2个整数,这里是1和2两个整数,是第1个子空间的注意力分数矩阵S1的第4行,M(q)4,·是上下文半径为q的带宽掩码矩阵M(q)的第4行,对第4个词,这里要计算M(1)4,·和M(2)4,·。函数K(·,·)的计算公式如下:
K(a,b)=max(0,1-|a-b|)
其中,a,b为任意两个实数,对第4个词,需要计算K(1.3,1)和K(1.3,2)。
S3.6、如图2所示,得到3种具有不同上下文范围的句子编码表示F=(F1;F2;F3),每一种句子编码表示Fl计算公式如下:
pl,i=tanh(el,i)⊙(1-σ(dl,i)*2)
其中,是除第l种上下文范围句子编码表示的其他范围的句子编码表示,l′∈{1,2,3},是Fl的第i行,是的第i行,el,i,都为计算的中间结果,⊙、·、*分别是按元素乘积,点乘和普通乘法,tanh(·)是正切函数,是l1范数。
S5、将融合的句子编码表示F′输入到前馈神经网络(FFN)中分类,输出结果。
综上所述,本实施例提出的基于可形变自注意力机制的方法先对每个词都计算一个最优的上下文大小,然后在多个不同的子空间提取多种范围的局部上下文特征,它可以根据不同的词调整计算的范围。接着,多个子空间得到的局部特征句子编码融合为一个句子编码,再输入到前馈神经网络(FFN)中。相对于传统的模型对每个词采用固定尺度学习,如卷积网络和局部注意力机制对每个词都使用固定大小的卷积核或采用固定的注意力范围,本发明可以提取更加准确的局部上下文信息,引导模型理解句子的含义,达到很好的分析效果,从而帮助用户更好的挑选喜欢的电影和产品等。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (4)
1.一种基于可形变自注意力机制的社交网络文本情感分析方法,其特征在于,所述的社交网络文本情感分析方法包括以下步骤:
S1、将用户话语文本数据中的每个句子切分为词,切分后的词序列表示为w=(w1,w2,…,wi,…,wN),并将每个词用词向量序列表示为 其中,wi是第i个词,是第i个词的词向量,1≤i≤N,N为词的个数,emb为词向量维度大小,为由所有emb维向量组成的实数向量空间;
S2、将词向量序列输入双向循环神经网络中得到每个词的编码表示H=(h1,h2,…,hi,…,hN),其中,双向循环神经网络简称Bi-LSTM,是第i个词的编码表示,为由所有2d维向量组成的实数向量空间,1≤i≤N,d为单向LSTM隐层单元的维度大小,2d为Bi-LSTM隐层单元的维度大小;
S3、利用可形变自注意力机制,将每个词的编码表示H=(h1,h2,…,hi,…,hN)转化为多种具有不同上下文范围的句子编码表示F=(F1;F2;…;Fl;…;FL),其中,l∈{1,2,…,L},是具有第l种上下文范围的句子编码表示,为由所有N×d维矩阵组成的实数矩阵向量空间,L为不同上下文范围的个数;
S5、将融合的句子编码表示输入到前馈神经网络中分类,输出结果;
S6、根据前馈神经网络输出结果和数据真实结果,最小化交叉熵损失函数迭代训练,更新双向循环神经网络、可形变自注意力机制、前馈神经网络中涉及的参数;
S7、将待分类的社交网络文本数据重复步骤S1-S5,得到从前馈神经网络输出的情感分析结果;
其中,所述的步骤S3过程如下:
S31、将词的编码表示H按照下式映射到不同的子空间:
其中是将H映射到第l个子空间的3个可以训练的权重矩阵,代表所有由2d×d维矩阵组成的实数矩阵向量空间,Ql,Kl,Vl是H在第l个子空间映射后得到的3个不同的表示,l∈{1,2,…,L},L为子空间的个数,它的值也等于不同上下文范围的个数,接下来计算每个子空间下对应的注意力分数矩阵{S1,S2,…,Sl,…,SL},其中Sl是第l个子空间下对应的注意力分数矩阵,每个Sl计算公式如下:
S32、在第l个子空间学习上下文半径在Rl-1~Rl的上下文半径向量 Rl-1和Rl是预定义的上下文半径常量,为两个实数且Rl-1<Rl,R0=1,为所有由N维向量组成的实数向量空间,上下文半径向量的第i个元素代表第i个词学习到的上下文半径,代表实数空间;
其中,M(R)i,i′是矩阵M(R)第i行第i′列的元素,i′∈{1,2,…,N};
其中是可形变注意力权重矩阵的第i行,q枚举上取整和下取整得到的2个整数,是第l个子空间的注意力分数矩阵Sl的第i行,M(q)i,·是上下文半径为q的带宽掩码矩阵M(q)的第i行,函数K(·,·)的计算公式如下:
K(a,b)=max(0,1-|a-b|)
其中,a,b为任意两个实数;
S35、得到多种具有不同上下文范围的句子编码表示F=(F1;F2;…;Fl;…;FL),每一种句子编码表示Fl计算公式如下:
3.根据权利要求1所述的基于可形变自注意力机制的社交网络文本情感分析方法,其特征在于,所述的步骤S4将多种句子编码表示F=(F1;F2;…;Fl;…;FL)融合得到一个句子编码表示其中,代表所有由L×N×d维张量组成的实数张量空间,过程如下:
pl,i=tanh(el,i)⊙(1-σ(dl,i)*2)
其中,是除第l种上下文范围句子编码表示的其他范围的句子编码表示,l′∈{1,2,…,L},是Fl的第i行,是的第i行,都为计算的中间结果,⊙、·、*分别是按元素乘积,点乘和普通乘法,tanh(·)是正切函数,是l1范数;
4.根据权利要求1至3任一所述的一种基于可形变自注意力机制的社交网络文本情感分析方法,其特征在于,所述的文本数据包括中文数据和/或英文数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011540244.0A CN112528168B (zh) | 2020-12-23 | 2020-12-23 | 基于可形变自注意力机制的社交网络文本情感分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011540244.0A CN112528168B (zh) | 2020-12-23 | 2020-12-23 | 基于可形变自注意力机制的社交网络文本情感分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112528168A CN112528168A (zh) | 2021-03-19 |
CN112528168B true CN112528168B (zh) | 2022-03-29 |
Family
ID=74976038
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011540244.0A Active CN112528168B (zh) | 2020-12-23 | 2020-12-23 | 基于可形变自注意力机制的社交网络文本情感分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112528168B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113553052B (zh) * | 2021-06-09 | 2022-07-08 | 麒麟软件有限公司 | 使用Attention编码表示自动识别与安全相关的代码提交的方法 |
CN113673222B (zh) * | 2021-07-12 | 2022-09-20 | 华南理工大学 | 基于双向协同网络的社交媒体文本细粒度情感分析方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109543180A (zh) * | 2018-11-08 | 2019-03-29 | 中山大学 | 一种基于注意力机制的文本情感分析方法 |
CN109918503A (zh) * | 2019-01-29 | 2019-06-21 | 华南理工大学 | 基于动态窗口自注意力机制提取语义特征的槽填充方法 |
WO2020068831A1 (en) * | 2018-09-26 | 2020-04-02 | Visa International Service Association | Dynamic graph representation learning via attention networks |
-
2020
- 2020-12-23 CN CN202011540244.0A patent/CN112528168B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020068831A1 (en) * | 2018-09-26 | 2020-04-02 | Visa International Service Association | Dynamic graph representation learning via attention networks |
CN109543180A (zh) * | 2018-11-08 | 2019-03-29 | 中山大学 | 一种基于注意力机制的文本情感分析方法 |
CN109918503A (zh) * | 2019-01-29 | 2019-06-21 | 华南理工大学 | 基于动态窗口自注意力机制提取语义特征的槽填充方法 |
Non-Patent Citations (2)
Title |
---|
Multilingual Data Analysis to Classify Sentiment Analysis for Tweets Using NLP and Classification Algorithm;Goel, P. 等;《Advances in Data and Information Sciences. Proceedings of ICDIS 2019. Lecture Notes in Networks and Systems (LNNS 94)》;20190330;第271-80页 * |
基于BGRU和自注意力机制的情感分析;孙敏 等;《江汉大学学报(自然科学版)》;20200807;第48卷(第04期);第80-89页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112528168A (zh) | 2021-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110597947B (zh) | 一种基于全局和局部注意力交互的阅读理解系统及方法 | |
CN111368996B (zh) | 可传递自然语言表示的重新训练投影网络 | |
CN109543180B (zh) | 一种基于注意力机制的文本情感分析方法 | |
CN108830287A (zh) | 基于残差连接的Inception网络结合多层GRU的中文图像语义描述方法 | |
CN109977199B (zh) | 一种基于注意力池化机制的阅读理解方法 | |
CN108829684A (zh) | 一种基于迁移学习策略的蒙汉神经机器翻译方法 | |
CN110502753A (zh) | 一种基于语义增强的深度学习情感分析模型及其分析方法 | |
CN112115687B (zh) | 一种结合知识库中的三元组和实体类型的生成问题方法 | |
CN112527966B (zh) | 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法 | |
CN111143563A (zh) | 基于bert与lstm及cnn融合的文本分类方法 | |
CN111125333B (zh) | 一种基于表示学习与多层覆盖机制的生成式知识问答方法 | |
CN111104513B (zh) | 一种游戏平台用户问答业务的短文本分类方法 | |
CN112926655B (zh) | 一种图像内容理解与视觉问答vqa方法、存储介质和终端 | |
CN111402365B (zh) | 一种基于双向架构对抗生成网络的由文字生成图片的方法 | |
CN112528168B (zh) | 基于可形变自注意力机制的社交网络文本情感分析方法 | |
CN110276396B (zh) | 基于物体显著性和跨模态融合特征的图片描述生成方法 | |
CN112784532A (zh) | 用于短文本情感分类的多头注意力记忆网络 | |
CN112434686A (zh) | 针对ocr图片的端到端含错文本分类识别仪 | |
CN115759119A (zh) | 一种金融文本情感分析方法、系统、介质和设备 | |
CN117932066A (zh) | 一种基于预训练的“提取-生成”式答案生成模型及方法 | |
CN116543289B (zh) | 一种基于编码器-解码器及Bi-LSTM注意力模型的图像描述方法 | |
CN115422362B (zh) | 一种基于人工智能的文本匹配方法 | |
CN113901820A (zh) | 一种基于bert模型的中文三元组抽取方法 | |
CN114743056A (zh) | 一种基于动态早退的图像描述生成模型及模型训练方法 | |
CN115617959A (zh) | 问题解答方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |