CN110209824A - 基于组合模型的文本情感分析方法、系统、装置 - Google Patents
基于组合模型的文本情感分析方法、系统、装置 Download PDFInfo
- Publication number
- CN110209824A CN110209824A CN201910510457.XA CN201910510457A CN110209824A CN 110209824 A CN110209824 A CN 110209824A CN 201910510457 A CN201910510457 A CN 201910510457A CN 110209824 A CN110209824 A CN 110209824A
- Authority
- CN
- China
- Prior art keywords
- emotion
- text
- judged
- sentence
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 197
- 238000004458 analytical method Methods 0.000 title claims abstract description 37
- 239000013598 vector Substances 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 13
- 230000002457 bidirectional effect Effects 0.000 claims description 44
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000013527 convolutional neural network Methods 0.000 claims description 24
- 230000009467 reduction Effects 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 6
- 230000002996 emotional effect Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 6
- 230000015654 memory Effects 0.000 description 5
- 230000000306 recurrent effect Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于模式识别技术领域,具体涉及了一种基于组合模型的文本情感分析方法、系统、装置,旨在解决无法有效结合文本的双向序列和结构化信息,文本情感分析不够全面、准确的问题。本发明方法包括:采用词向量词典对文本查表,获得文本每个词的词向量;对词的位置信息进行编码,并与相应词向量相加,获得文本的句子表示;采用双向编码表示器,提取文本的深度双向特征表示;采用多核卷积神经网络提取文本的深度双向特征表示的句子结构信息;对文本的句子结构信息分类得到待判断情感文本的情感类别。本发明能够有效的提取文本的双向序列特性以及结构特征,能够对文本情感进行更为全面的分析,并且网络可以并行训练,能够大大缩减训练时间。
Description
技术领域
本发明属于模式识别技术领域,具体涉及了一种基于组合模型的文本情感分析方法、系统、装置。
背景技术
很多文本都包含了情感信息,不管是电子商品评价、电影评论、酒店评价等等,越来越多的消费者在购买产品或享受服务的时候会对产品或服务的评价信息进行参考。商家也会对这些评价进行分析,判断这些评价是不是可以吸引顾客,分析哪些方面还存在不足,发现潜在的问题然后进行改进。由于评价数据的数据量往往十分巨大,人工分析将会花费大量的人力物力。利用机器学习方法可以更高效率的进行文本情感分析。
深度神经网络(DNN,Deep Neural Network)由于不需要手工构建特征并且其结果好,已经成为情感分析中广泛使用的方法。文本情感分析中的深度神经网络主要涉及卷积神经网络(CNN,Convolutional Neural Network)和循环神经网络(RNN,Recurrent NeuralNetwork)两种框架。文本是结构化和有组织的,基于卷积神经网络的算法可以有效地挖掘文本中的结构化信息,从而提高分类的准确性。不管对情感分析有用的特征出现在句子中的什么位置,卷积神经网络都能够有效的提取这些特征。比如在情感分析中,卷积神经网络能够通过中心词周围的几个词,对中心词的特征进行准确的提取。由于卷积神经网络可以并行化训练并能够使用GPU加速,训练时间比循环神经网络快的多。基于循环神经网络的算法可以有效地挖掘文本中的序列信息,并且本身就具有处理变长输入的优势。长短期记忆神经网络(LSTM,Long Short Term Memory)是循环神经网络一种变体,在任何给定时间段,长短期记忆神经网络都可以“记忆”先前读取的值。直观地说,当进行任何类型的文本分析时,使用长短期记忆神经网络的好处是网络能记住它以前“读”过的内容,从而可以更好地理解输入。比如在情感分析中,它可能能够处理情绪变化的句子,比如“我讨厌读书,直到我读了百年孤独”。循环神经网络能过整个序列信息从而判断该句子的情感是积极的。
但是,单纯的使用卷积神经网络无法有效捕捉句子的序列信息,而使用长短期记忆神经网络无法提取句子的结构化特征。并且使用长短期记忆神经网络进行序列信息提取还有存在如下几个问题:无法很好的捕捉长文本时序关系;训练速度比较慢;只考虑了一个方向的序列关系。目前几乎所有的网络情感分析方法要么没有考虑到双向的序列信息,要么没有考虑句子的结构化信息。
发明内容
为了解决现有技术中的上述问题,即无法有效结合文本的双向序列和结构化信息,文本情感分析不够全面、准确的问题,本发明提供了一种基于组合模型的文本情感分析方法,包括:
步骤S10,采用词向量词典对获取的待判断情感文本进行查表,获得待判断情感文本每个词的词向量;
步骤S20,对每个词的位置信息进行编码,将编码得到的每个词的位置表示与相应词的词向量相加,获得待判断情感文本的句子表示;
步骤S30,采用双向编码表示器,依据所述待判断情感文本的句子表示,获得待判断情感文本的深度双向特征表示;
步骤S40,采用多核卷积神经网络提取所述待判断情感文本的深度双向特征表示的句子结构信息;
步骤S50,使用softmax分类函数对所述待判断情感文本的句子结构信息进行分类,获得待判断情感文本的情感类别。
在一些优选的实施例中,步骤S10中“采用词向量词典对获取的待判断情感文本进行查表,获得待判断情感文本每个词的词向量”,其方法为:
vi=oiWem
其中,vi代表词向量,i代表词向量对应的词在句子中的位置;oi为1×N维度的one-hot向量,表示词向量对应的词在词典中的位置,N为词向量词典中所有词的个数;Wem为N×d维度的矩阵代表词向量词典,d为句子的长度。
在一些优选的实施例中,步骤S20中“对每个词的位置信息进行编码”,其方法为:
pi=|pi,1pi,2 pi,3…pi,2j pi,2j+1…pi,d|
其中,pi代表第i个词的位置编码;pi,2j为pi的第2j个元素,d为句子的长度。
在一些优选的实施例中,步骤S20中“将编码得到的每个词的位置表示与相应词的词向量相加,获得待判断情感文本的句子表示”,其方法为:
X=|v1+p1 v2+p2 v3+p3…vi+pi…vl+pl|T
其中,vi为词向量,pi为词向量对应的位置表示,l为待判断情感文本的句子长度。
在一些优选的实施例中,步骤S30中“采用双向编码表示器,依据所述待判断情感文本的句子表示,获得待判断情感文本的深度双向特征表示”,其方法为:
步骤S31:通过对所述待判断情感文本的句子表示进行第一设定数量的权重矩阵相乘的线性变换,对句子的表示进行降维,得到待判断情感文本的句子的第一设定数量的降维矩阵表示;
步骤S32,将所述第一设定数量的降维矩阵分别进行自注意力机制操作后拼接,然后进行一次矩阵相乘的线性变换,得到待判断情感文本的句子的二次降维矩阵表示;
步骤S33,将所述待判断情感文本的句子表示与待判断情感文本的句子的二次降维矩阵表示进行残差连接后进行归一化处理,获得隐层特征表示;
步骤S34,将所述隐层特征表示输入位置相关的前馈网络,将获得的二次隐层特征表示与隐层特征表示进行残差连接后进行归一化处理,获得待判断情感文本的深度双向特征表示。
在一些优选的实施例中,步骤S40中“采用多核卷积神经网络提取所述待判断情感文本的深度双向特征表示的句子结构信息”,其方法为:
步骤S41:采用多种卷积核的多核卷积神经网络对所述待判断情感文本的深度双向特征表示按照不同卷积核进行一维多核卷积操作;
步骤S42,对卷积操作获得的每一个特征图,进行最大池化操作,并通过全连接操作映射到c维,获得待判断情感文本的句子结构信息,c为情感类别的数量。
在一些优选的实施例中,步骤S50中“使用softmax分类函数对所述待判断情感文本的句子结构信息进行分类,获得待判断情感文本的情感类别”,其方法为:
y’=|y’1y’2…y’i y’i+1…y’c|
其中,y’i代表文本情感是第i个情感的概率,hj代表softmax层的第j个节点的值;y'为softmax函数的输出值;c为情感类别的数量;
y'中最大值出现的位置为待判断情感文本所属的情感类别。
在一些优选的实施例中,所属词向量词典,其获取方法为:
利用word2vec工具对原始文本数据进行训练,得到词向量词典。
本发明的另一方面,提出了一种基于组合模型的文本情感分析系统,包括输入模块、词向量查找模块、位置编码模块、双向编码表示模块、结构信息提取模块、分类模块、输出模块;
所述输入模块,配置为获取待判断情感文本并输入;
所述词向量查找模块,配置为采用词向量词典对待判断情感文本进行查表,获得待判断情感文本每个词的词向量;
所述位置编码模块,配置为对待判断情感文本每个词的位置信息进行编码并与相应的词向量相加,获得待判断情感文本的句子表示;
所述双向编码表示模块,配置为采用双向编码表示器,依据待判断情感文本的句子表示,获得待判断情感文本的深度双向特征表示;
所述结构信息提取模块,配置为采用多核卷积神经网络提取待判断情感文本的深度双向特征表示的句子结构信息;
所述分类模块,配置为使用softmax分类函数对待判断情感文本的句子结构信息进行分类,获得待判断情感文本的情感类别;
所述输出模块,配置为将获得的待判断情感文本的情感类别输出。
本发明的第三方面,提出了一种存储装置,其中存储有多条程序,所述程序适于由处理器加载并执行以实现上述的基于组合模型的文本情感分析方法。
本发明的第四方面,提出了一种处理装置,包括处理器、存储装置;所述处理器,适于执行各条程序;所述存储装置,适于存储多条程序;所述程序适于由处理器加载并执行以实现上述的基于组合模型的文本情感分析方法。
本发明的有益效果:
(1)本发明基于组合模型的文本情感分析方法,能够有效的提取文本的双向序列特性以及结构特征,能够对文本情感进行更为全面的分析。
(2)本发明基于组合模型的文本情感分析方法,将BERT与CNN结合,可以很好的将句子内部结构特征信息和句子的序列信息结合,综合考虑之后对整个文本的情感值进行预测。
(3)本发明基于组合模型的文本情感分析方法,BERT和CNN可以并行训练,能够大大缩减训练所需要的时间,所以适合在数据量很大的数据库上进行有效的训练,提高情感预测的准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本发明基于组合模型的文本情感分析方法的流程示意图;
图2是本发明基于组合模型的文本情感分析方法一种实施例的数据流示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明的一种基于组合模型的文本情感分析方法,该文本情感分析方法包括:
步骤S10,采用词向量词典对获取的待判断情感文本进行查表,获得待判断情感文本每个词的词向量;
步骤S20,对每个词的位置信息进行编码,将编码得到的每个词的位置表示与相应词的词向量相加,获得待判断情感文本的句子表示;
步骤S30,采用双向编码表示器,依据所述待判断情感文本的句子表示,获得待判断情感文本的深度双向特征表示;
步骤S40,采用多核卷积神经网络提取所述待判断情感文本的深度双向特征表示的句子结构信息;
步骤S50,使用softmax分类函数对所述待判断情感文本的句子结构信息进行分类,获得待判断情感文本的情感类别。
为了更清晰地对本发明基于组合模型的文本情感分析方法进行说明,下面结合图1对本发明方法实施例中各步骤展开详述。
本发明一种实施例的基于组合模型的文本情感分析方法,该文本情感分析方法包括步骤S10-步骤S50,各步骤详细描述如下:
步骤S10,采用词向量词典对获取的待判断情感文本进行查表,获得待判断情感文本每个词的词向量。
词向量词典通过word2vec工具对原始文本数据进行训练得到,词典包含了所有训练数据的单词,并且每一个单词对应一个词向量。
待判断情感文本中每个词的词向量通过在词向量词典中查表得到,如式(1)所示:
vi=oiWem 式(1)
其中,vi代表词向量,i代表词向量对应的词在句子中的位置;oi为1×N维度的one-hot向量,表示词向量对应的词在词典中的位置,N为词向量词典中所有词的个数;Wem为N×d维度的矩阵,代表词向量词典,d为句子的长度。
步骤S20,对每个词的位置信息进行编码,将编码得到的每个词的位置表示与相应词的词向量相加,获得待判断情感文本的句子表示。
由于本发明未使用循环神经网络(RNN,Recurrent Neural Network),为了利用文本中词的位置序列信息,对每个词进行位置信息编码,如式(2)所示:
pi=|pi,1 pi,2 pi,3…pi,2j pi,2j+1…pi,d| 式(2)
其中,pi代表第i个词的位置编码;pi,2j为pi的第2j个元素,d为句子的长度。
将编码得到的每个词的位置表示与相应词的词向量相加,获得待判断情感文本的句子表示,如式(3)所示:
X=|v1+p1 v2+p2 v3+p3…vi+pi…vl+pl|T 式(3)
其中,vi为词向量,pi为词向量对应的位置表示,l为待判断情感文本的句子长度。
步骤S30,采用双向编码表示器,依据所述待判断情感文本的句子表示,获得待判断情感文本的深度双向特征表示。
步骤S31:通过对所述待判断情感文本的句子表示进行第一设定数量的权重矩阵相乘的线性变换,对句子的表示进行降维,得到待判断情感文本的句子的第一设定数量的降维矩阵表示。
本发明一个实施例中,对所述待判断情感文本的句子表示进行三个矩阵相乘的线性变换,如式(4)所示:
(Qi,Ki,Vi)=(XWi Q,XWi K,XWi V),i=1,2,3…h 式(4)
其中,Wi Q、Wi K、为权重矩阵,h为可调节的正整数超参数,d为句子的长度。
步骤S32,将所述第一设定数量的降维矩阵分别进行自注意力机制操作后拼接,然后进行一次矩阵相乘的线性变换,得到待判断情感文本的句子的二次降维矩阵表示。
将多个降维矩阵分别进行自注意力机制操作,其方法如式(5)所示:
其中,为尺度缩放因子,
将经过自注意力机制变换后的结果进行拼接,再经过与矩阵相乘的线性变换,如式(6)所示:
Multihead(X)=concat(head1,head2…headh)Wo 式(6)
其中,concat()表示对矩阵拼接,head1,head2…headh的矩阵维度为拼接后的矩阵维度为l×d,Wo∈Rd×d为权重矩阵。
步骤S33,将所述待判断情感文本的句子表示与待判断情感文本的句子的二次降维矩阵表示进行残差连接后进行归一化处理,获得隐层特征表示。
将待判断情感文本的句子表示与待判断情感文本的句子的二次降维矩阵表示进行残差连接,其方法如式(7)所示:
Res(X)=X+Multihead(X) 式(7)
步骤S34,将所述隐层特征表示输入位置相关的前馈网络,将获得的二次隐层特征表示与隐层特征表示进行残差连接后进行归一化处理,获得待判断情感文本的深度双向特征表示。
将所述隐层特征表示输入位置相关的前馈网络,获得的二次隐层特征表示,其方法如式(8)所示:
PFW(r)=max(0,rW1+b1)W2+b2 式(8)
其中,r为隐层特征表示中的一个行向量,W1、W2分别为权重矩阵,b1、b2分别为偏置。
步骤S40,采用多核卷积神经网络提取所述待判断情感文本的深度双向特征表示的句子结构信息。
步骤S41:采用多种卷积核的多核卷积神经网络对所述待判断情感文本的深度双向特征表示按照不同卷积核进行一维多核卷积操作。
本发明一个实施例中,采用3种卷积核的多核卷积神经网络,其卷积核大小分别为3、4、5,使用多个卷积核相当于抽取了文本不同局部信息的结构特征,相对于只用一个卷积核的卷积来说,使用多核卷积抽取到的特征表达更加丰富全面。
步骤S42,对卷积操作获得的每一个特征图,进行最大池化操作,并通过全连接操作映射到c维,获得待判断情感文本的句子结构信息,c为情感类别的数量。
步骤S50,使用softmax分类函数对所述待判断情感文本的句子结构信息进行分类,获得待判断情感文本的情感类别,如式(9)所示:
y’=|y’1 y’2…y’i y’i+1…y’c| 式(9)
其中,y’i代表文本情感是第i个情感的概率,hj代表softmax层的第j个节点的值;y'为softmax函数的输出值;c为情感类别的数量。
y'中最大值出现的位置为待判断情感文本所属的情感类别,例如将文本情感分为三类:消极的、中性的、积极的,y'则是一个三维的向量。
如图2所示,为本发明基于组合模型的文本情感分析方法一种实施例的数据流示意图,V为输入的待判断情感的文本,从词向量词典中查找的待判断情感文本中每一个词的词向量与相应的位置编码信息相加,获得待判断情感文本的句子表示,通过BERT预训练模型(BERT,Bidirectional Encoder Representation from Transformers)以及卷积神经网络模型(CNN,Convolutional Neural Network)提取待判断情感文本的深度双向特征表示的句子结构信息,最终采用softmax分类函数对所述待判断情感文本的句子结构信息进行分类,获得待判断情感文本的情感类别y'。其中BERT预训练模型将待判断情感文本的句子表示依次进行一次多个矩阵线性变换操作、一次注意力机制操作、一次矩阵拼接操作、一次线性变换操作、一次残差连接操作、一次归一化操作、两次位置相关全连接操作、一次残差连接操作、一次归一化操作;CNN卷积神经网络模型对BERT预训练模型处理后的信息依次进行一次卷积核为3、4、5的多核卷积操作、一次最大池化操作、一次全连接操作。
本发明第二实施例的基于组合模型的文本情感分析系统,包括输入模块、词向量查找模块、位置编码模块、双向编码表示模块、结构信息提取模块、分类模块、输出模块;
所述输入模块,配置为获取待判断情感文本并输入;
所述词向量查找模块,配置为采用词向量词典对待判断情感文本进行查表,获得待判断情感文本每个词的词向量;
所述位置编码模块,配置为对待判断情感文本每个词的位置信息进行编码并与相应的词向量相加,获得待判断情感文本的句子表示;
所述双向编码表示模块,配置为采用双向编码表示器,依据待判断情感文本的句子表示,获得待判断情感文本的深度双向特征表示;
所述结构信息提取模块,配置为采用多核卷积神经网络提取待判断情感文本的深度双向特征表示的句子结构信息;
所述分类模块,配置为使用softmax分类函数对待判断情感文本的句子结构信息进行分类,获得待判断情感文本的情感类别;
所述输出模块,配置为将获得的待判断情感文本的情感类别输出。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
需要说明的是,上述实施例提供的基于组合模型的文本情感分析系统,仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块来完成,即将本发明实施例中的模块或者步骤再分解或者组合,例如,上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块,以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称,仅仅是为了区分各个模块或者步骤,不视为对本发明的不当限定。
本发明第三实施例的一种存储装置,其中存储有多条程序,所述程序适于由处理器加载并执行以实现上述的基于组合模型的文本情感分析方法。
本发明第四实施例的一种处理装置,包括处理器、存储装置;处理器,适于执行各条程序;存储装置,适于存储多条程序;所述程序适于由处理器加载并执行以实现上述的基于组合模型的文本情感分析方法。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的存储装置、处理装置的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的模块、方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (11)
1.一种基于组合模型的文本情感分析方法,其特征在于,该文本情感分析方法包括:
步骤S10,采用词向量词典对获取的待判断情感文本进行查表,获得待判断情感文本每个词的词向量;
步骤S20,对每个词的位置信息进行编码,将编码得到的每个词的位置表示与相应词的词向量相加,获得待判断情感文本的句子表示;
步骤S30,采用双向编码表示器,依据所述待判断情感文本的句子表示,获得待判断情感文本的深度双向特征表示;
步骤S40,采用多核卷积神经网络提取所述待判断情感文本的深度双向特征表示的句子结构信息;
步骤S50,使用softmax分类函数对所述待判断情感文本的句子结构信息进行分类,获得待判断情感文本的情感类别。
2.根据权利要求1所述的基于组合模型的文本情感分析方法,其特征在于,步骤S10中“采用词向量词典对获取的待判断情感文本进行查表,获得待判断情感文本每个词的词向量”,其方法为:
vi=oiWem
其中,vi代表词向量,i代表词向量对应的词在句子中的位置;oi为1×N维度的one-hot向量,表示词向量对应的词在词典中的位置,N为词向量词典中所有词的个数;Wem为N×d维度的矩阵代表词向量词典,d为句子的长度。
3.根据权利要求1所述的基于组合模型的文本情感分析方法,其特征在于,步骤S20中“对每个词的位置信息进行编码”,其方法为:
pi=|pi,1 pi,2 pi,3 …pi,2j pi,2j+1…pi,d|
其中,pi代表第i个词的位置编码; pi,2j为pi的第2j个元素,d为句子的长度。
4.根据权利要求1所述的基于组合模型的文本情感分析方法,其特征在于,步骤S20中“将编码得到的每个词的位置表示与相应词的词向量相加,获得待判断情感文本的句子表示”,其方法为:
X=|v1+p1 v2+p2 v3+p3…vi+pi…vl+pl|T
其中,vi为词向量,pi为词向量对应的位置表示,l为待判断情感文本的句子长度。
5.根据权利要求1所述的基于组合模型的文本情感分析方法,其特征在于,步骤S30中“采用双向编码表示器,依据所述待判断情感文本的句子表示,获得待判断情感文本的深度双向特征表示”,其方法为:
步骤S31:通过对所述待判断情感文本的句子表示进行第一设定数量的权重矩阵相乘的线性变换,对句子的表示进行降维,得到待判断情感文本的句子的第一设定数量的降维矩阵表示;
步骤S32,将所述第一设定数量的降维矩阵分别进行自注意力机制操作后拼接,然后进行一次矩阵相乘的线性变换,得到待判断情感文本的句子的二次降维矩阵表示;
步骤S33,将所述待判断情感文本的句子表示与待判断情感文本的句子的二次降维矩阵表示进行残差连接后进行归一化处理,获得隐层特征表示;
步骤S34,将所述隐层特征表示输入位置相关的前馈网络,将获得的二次隐层特征表示与隐层特征表示进行残差连接后进行归一化处理,获得待判断情感文本的深度双向特征表示。
6.根据权利要求1所述的基于组合模型的文本情感分析方法,其特征在于,步骤S40中“采用多核卷积神经网络提取所述待判断情感文本的深度双向特征表示的句子结构信息”,其方法为:
步骤S41:采用多种卷积核的多核卷积神经网络对所述待判断情感文本的深度双向特征表示按照不同卷积核进行一维多核卷积操作;
步骤S42,对卷积操作获得的每一个特征图,进行最大池化操作,并通过全连接操作映射到c维,获得待判断情感文本的句子结构信息,c为情感类别的数量。
7.根据权利要求1所述的基于组合模型的文本情感分析方法,其特征在于,步骤S50中“使用softmax分类函数对所述待判断情感文本的句子结构信息进行分类,获得待判断情感文本的情感类别”,其方法为:
y′=|y′1 y′2…y′i y′i+1…y′c|
其中,y′i代表文本情感是第i个情感的概率,hj代表softmax层的第j个节点的值;y'为softmax函数的输出值;c为情感类别的数量;
y'中最大值出现的位置为待判断情感文本所属的情感类别。
8.根据权利要求1所述的基于组合模型的文本情感分析方法,其特征在于,所属词向量词典,其获取方法为:
利用word2vec工具对原始文本数据进行训练,得到词向量词典。
9.一种基于组合模型的文本情感分析系统,其特征在于,包括输入模块、词向量查找模块、位置编码模块、双向编码表示模块、结构信息提取模块、分类模块、输出模块;
所述输入模块,配置为获取待判断情感文本并输入;
所述词向量查找模块,配置为采用词向量词典对待判断情感文本进行查表,获得待判断情感文本每个词的词向量;
所述位置编码模块,配置为对待判断情感文本每个词的位置信息进行编码并与相应的词向量相加,获得待判断情感文本的句子表示;
所述双向编码表示模块,配置为采用双向编码表示器,依据待判断情感文本的句子表示,获得待判断情感文本的深度双向特征表示;
所述结构信息提取模块,配置为采用多核卷积神经网络提取待判断情感文本的深度双向特征表示的句子结构信息;
所述分类模块,配置为使用softmax分类函数对待判断情感文本的句子结构信息进行分类,获得待判断情感文本的情感类别;
所述输出模块,配置为将获得的待判断情感文本的情感类别输出。
10.一种存储装置,其中存储有多条程序,其特征在于,所述程序适于由处理器加载并执行以实现权利要求1-8任一项所述的基于组合模型的文本情感分析方法。
11.一种处理装置,包括
处理器,适于执行各条程序;以及
存储装置,适于存储多条程序;
其特征在于,所述程序适于由处理器加载并执行以实现:
权利要求1-8任一项所述的基于组合模型的文本情感分析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910510457.XA CN110209824B (zh) | 2019-06-13 | 2019-06-13 | 基于组合模型的文本情感分析方法、系统、装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910510457.XA CN110209824B (zh) | 2019-06-13 | 2019-06-13 | 基于组合模型的文本情感分析方法、系统、装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110209824A true CN110209824A (zh) | 2019-09-06 |
CN110209824B CN110209824B (zh) | 2021-06-22 |
Family
ID=67792457
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910510457.XA Active CN110209824B (zh) | 2019-06-13 | 2019-06-13 | 基于组合模型的文本情感分析方法、系统、装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110209824B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110851604A (zh) * | 2019-11-12 | 2020-02-28 | 中科鼎富(北京)科技发展有限公司 | 一种文本分类方法、装置、电子设备及存储介质 |
CN110889443A (zh) * | 2019-11-21 | 2020-03-17 | 成都数联铭品科技有限公司 | 无监督文本分类系统及方法 |
CN110909549A (zh) * | 2019-10-11 | 2020-03-24 | 北京师范大学 | 对古汉语进行断句的方法、装置以及存储介质 |
CN111144507A (zh) * | 2019-12-30 | 2020-05-12 | 北京百度网讯科技有限公司 | 情感分析模型预训练方法、装置及电子设备 |
CN111159378A (zh) * | 2019-12-30 | 2020-05-15 | 支付宝(杭州)信息技术有限公司 | 对问题描述信息进行分类的方法及装置 |
CN111177376A (zh) * | 2019-12-17 | 2020-05-19 | 东华大学 | 一种基于bert与cnn层级连接的中文文本分类方法 |
CN111797229A (zh) * | 2020-06-10 | 2020-10-20 | 南京擎盾信息科技有限公司 | 文本表示方法、装置和文本分类方法 |
CN111859957A (zh) * | 2020-07-15 | 2020-10-30 | 中南民族大学 | 情感原因子句标签的抽取方法、装置、设备及存储介质 |
CN111931795A (zh) * | 2020-09-25 | 2020-11-13 | 湖南大学 | 基于子空间稀疏特征融合的多模态情感识别方法及系统 |
CN112199496A (zh) * | 2020-08-05 | 2021-01-08 | 广西大学 | 基于多头注意力机制与rcnn网络的电网设备缺陷文本分类方法 |
CN112199084A (zh) * | 2020-10-22 | 2021-01-08 | 北京计算机技术及应用研究所 | 基于Django的文本标注平台 |
WO2021051598A1 (zh) * | 2019-09-19 | 2021-03-25 | 平安科技(深圳)有限公司 | 文本情感分析模型训练方法、装置、设备及可读存储介质 |
CN113254590A (zh) * | 2021-06-15 | 2021-08-13 | 北京建筑大学 | 一种基于多核双层卷积神经网络的中文文本情绪分类方法 |
CN113342970A (zh) * | 2020-11-24 | 2021-09-03 | 中电万维信息技术有限责任公司 | 一种多标签复杂文本分类方法 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107247703A (zh) * | 2017-06-08 | 2017-10-13 | 天津大学 | 基于卷积神经网络和集成学习的微博情感分析方法 |
CN107609009A (zh) * | 2017-07-26 | 2018-01-19 | 北京大学深圳研究院 | 文本情感分析方法、装置、存储介质和计算机设备 |
CN107832400A (zh) * | 2017-11-01 | 2018-03-23 | 山东大学 | 一种基于位置的lstm和cnn联合模型进行关系分类的方法 |
US20180165539A1 (en) * | 2016-12-08 | 2018-06-14 | Intel Corporation | Visual-saliency driven scene description |
CN108446275A (zh) * | 2018-03-21 | 2018-08-24 | 北京理工大学 | 基于注意力双层lstm的长文本情感倾向性分析方法 |
CN108664632A (zh) * | 2018-05-15 | 2018-10-16 | 华南理工大学 | 一种基于卷积神经网络和注意力机制的文本情感分类算法 |
CN108763204A (zh) * | 2018-05-21 | 2018-11-06 | 浙江大学 | 一种多层次的文本情感特征提取方法和模型 |
CN108804677A (zh) * | 2018-06-12 | 2018-11-13 | 合肥工业大学 | 结合多层级注意力机制的深度学习问题分类方法及系统 |
CN108875021A (zh) * | 2017-11-10 | 2018-11-23 | 云南大学 | 一种基于区域cnn-lstm的情感分析方法 |
CN109189933A (zh) * | 2018-09-14 | 2019-01-11 | 腾讯科技(深圳)有限公司 | 一种文本信息分类的方法及服务器 |
CN109299253A (zh) * | 2018-09-03 | 2019-02-01 | 华南理工大学 | 一种基于深度融合神经网络的中文社交文本情绪识别模型构造方法 |
CN109325114A (zh) * | 2018-07-24 | 2019-02-12 | 武汉理工大学 | 一种融合统计特征与Attention机制的文本分类算法 |
CN109388706A (zh) * | 2017-08-10 | 2019-02-26 | 华东师范大学 | 一种问题细粒度分类方法、系统与装置 |
CN109582789A (zh) * | 2018-11-12 | 2019-04-05 | 北京大学 | 基于语义单元信息的文本多标签分类方法 |
-
2019
- 2019-06-13 CN CN201910510457.XA patent/CN110209824B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180165539A1 (en) * | 2016-12-08 | 2018-06-14 | Intel Corporation | Visual-saliency driven scene description |
CN107247703A (zh) * | 2017-06-08 | 2017-10-13 | 天津大学 | 基于卷积神经网络和集成学习的微博情感分析方法 |
CN107609009A (zh) * | 2017-07-26 | 2018-01-19 | 北京大学深圳研究院 | 文本情感分析方法、装置、存储介质和计算机设备 |
CN109388706A (zh) * | 2017-08-10 | 2019-02-26 | 华东师范大学 | 一种问题细粒度分类方法、系统与装置 |
CN107832400A (zh) * | 2017-11-01 | 2018-03-23 | 山东大学 | 一种基于位置的lstm和cnn联合模型进行关系分类的方法 |
CN108875021A (zh) * | 2017-11-10 | 2018-11-23 | 云南大学 | 一种基于区域cnn-lstm的情感分析方法 |
CN108446275A (zh) * | 2018-03-21 | 2018-08-24 | 北京理工大学 | 基于注意力双层lstm的长文本情感倾向性分析方法 |
CN108664632A (zh) * | 2018-05-15 | 2018-10-16 | 华南理工大学 | 一种基于卷积神经网络和注意力机制的文本情感分类算法 |
CN108763204A (zh) * | 2018-05-21 | 2018-11-06 | 浙江大学 | 一种多层次的文本情感特征提取方法和模型 |
CN108804677A (zh) * | 2018-06-12 | 2018-11-13 | 合肥工业大学 | 结合多层级注意力机制的深度学习问题分类方法及系统 |
CN109325114A (zh) * | 2018-07-24 | 2019-02-12 | 武汉理工大学 | 一种融合统计特征与Attention机制的文本分类算法 |
CN109299253A (zh) * | 2018-09-03 | 2019-02-01 | 华南理工大学 | 一种基于深度融合神经网络的中文社交文本情绪识别模型构造方法 |
CN109189933A (zh) * | 2018-09-14 | 2019-01-11 | 腾讯科技(深圳)有限公司 | 一种文本信息分类的方法及服务器 |
CN109582789A (zh) * | 2018-11-12 | 2019-04-05 | 北京大学 | 基于语义单元信息的文本多标签分类方法 |
Non-Patent Citations (4)
Title |
---|
梁斌等: "基于多注意力卷积神经网络的特定目标情感分析", 《计算机研究与发展》 * |
程艳等: "融合卷积神经网络与层次化注意力网络的中文文本情感倾向性分析", 《中文信息学报》 * |
胡朝举等: "基于深层注意力的LSTM的特定主题情感分析", 《计算机应用研究》 * |
赵冬梅等: "基于协同过滤Attention机制的情感分析模型", 《中文信息学报》 * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021051598A1 (zh) * | 2019-09-19 | 2021-03-25 | 平安科技(深圳)有限公司 | 文本情感分析模型训练方法、装置、设备及可读存储介质 |
CN110909549A (zh) * | 2019-10-11 | 2020-03-24 | 北京师范大学 | 对古汉语进行断句的方法、装置以及存储介质 |
CN110851604B (zh) * | 2019-11-12 | 2022-09-13 | 鼎富智能科技有限公司 | 一种文本分类方法、装置、电子设备及存储介质 |
CN110851604A (zh) * | 2019-11-12 | 2020-02-28 | 中科鼎富(北京)科技发展有限公司 | 一种文本分类方法、装置、电子设备及存储介质 |
CN110889443A (zh) * | 2019-11-21 | 2020-03-17 | 成都数联铭品科技有限公司 | 无监督文本分类系统及方法 |
CN111177376B (zh) * | 2019-12-17 | 2023-08-15 | 东华大学 | 一种基于bert与cnn层级连接的中文文本分类方法 |
CN111177376A (zh) * | 2019-12-17 | 2020-05-19 | 东华大学 | 一种基于bert与cnn层级连接的中文文本分类方法 |
CN111144507A (zh) * | 2019-12-30 | 2020-05-12 | 北京百度网讯科技有限公司 | 情感分析模型预训练方法、装置及电子设备 |
US11537792B2 (en) | 2019-12-30 | 2022-12-27 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Pre-training method for sentiment analysis model, and electronic device |
CN111159378A (zh) * | 2019-12-30 | 2020-05-15 | 支付宝(杭州)信息技术有限公司 | 对问题描述信息进行分类的方法及装置 |
CN111144507B (zh) * | 2019-12-30 | 2021-06-08 | 北京百度网讯科技有限公司 | 情感分析模型预训练方法、装置及电子设备 |
CN111797229A (zh) * | 2020-06-10 | 2020-10-20 | 南京擎盾信息科技有限公司 | 文本表示方法、装置和文本分类方法 |
CN111859957B (zh) * | 2020-07-15 | 2023-11-07 | 中南民族大学 | 情感原因子句标签的抽取方法、装置、设备及存储介质 |
CN111859957A (zh) * | 2020-07-15 | 2020-10-30 | 中南民族大学 | 情感原因子句标签的抽取方法、装置、设备及存储介质 |
CN112199496A (zh) * | 2020-08-05 | 2021-01-08 | 广西大学 | 基于多头注意力机制与rcnn网络的电网设备缺陷文本分类方法 |
CN111931795B (zh) * | 2020-09-25 | 2020-12-25 | 湖南大学 | 基于子空间稀疏特征融合的多模态情感识别方法及系统 |
CN111931795A (zh) * | 2020-09-25 | 2020-11-13 | 湖南大学 | 基于子空间稀疏特征融合的多模态情感识别方法及系统 |
CN112199084A (zh) * | 2020-10-22 | 2021-01-08 | 北京计算机技术及应用研究所 | 基于Django的文本标注平台 |
CN113342970A (zh) * | 2020-11-24 | 2021-09-03 | 中电万维信息技术有限责任公司 | 一种多标签复杂文本分类方法 |
CN113254590B (zh) * | 2021-06-15 | 2021-11-09 | 北京建筑大学 | 一种基于多核双层卷积神经网络的中文文本情绪分类方法 |
CN113254590A (zh) * | 2021-06-15 | 2021-08-13 | 北京建筑大学 | 一种基于多核双层卷积神经网络的中文文本情绪分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110209824B (zh) | 2021-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110209824B (zh) | 基于组合模型的文本情感分析方法、系统、装置 | |
CN108304911B (zh) | 基于记忆神经网络的知识抽取方法以及系统和设备 | |
CN108960330B (zh) | 基于快速区域卷积神经网络的遥感图像语义生成方法 | |
CN111368049A (zh) | 信息获取方法、装置、电子设备及计算机可读存储介质 | |
CN110298043B (zh) | 一种车辆命名实体识别方法及系统 | |
CN110795527B (zh) | 候选实体排序方法、训练方法及相关装置 | |
CN110532386A (zh) | 文本情感分类方法、装置、电子设备及存储介质 | |
CN108984555B (zh) | 用户状态挖掘和信息推荐方法、装置以及设备 | |
CN111126057B (zh) | 一种分级神经网络的案件情节精准量刑系统 | |
CN112100377B (zh) | 文本分类方法、装置、计算机设备和存储介质 | |
CN112632224B (zh) | 基于案例知识图谱的案件推荐方法、装置和电子设备 | |
CN112667782A (zh) | 一种文本分类方法、装置、设备及存储介质 | |
CN112084435A (zh) | 搜索排序模型训练方法及装置、搜索排序方法及装置 | |
CN112380421A (zh) | 简历的搜索方法、装置、电子设备及计算机存储介质 | |
CN112766368A (zh) | 一种数据分类方法、设备和可读存储介质 | |
CN114528835A (zh) | 基于区间判别的半监督专业术语抽取方法、介质及设备 | |
CN117807232A (zh) | 商品分类方法、商品分类模型构建方法及装置 | |
CN114282513A (zh) | 文本语义相似度的匹配方法、系统、智能终端及存储介质 | |
CN116935411A (zh) | 一种基于字符分解和重构的部首级古文字识别方法 | |
CN113128235A (zh) | 一种语义理解方法 | |
CN116244442A (zh) | 文本分类方法、装置、存储介质及电子设备 | |
CN110889290A (zh) | 文本编码方法和设备、文本编码有效性检验方法和设备 | |
CN116186255A (zh) | 训练未知意图检测模型的方法、未知意图检测方法及装置 | |
CN115544361A (zh) | 一种窗口相似度分析的关注点变化预测框架及其分析方法 | |
CN113157892B (zh) | 用户意图处理方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |