CN111858945A - 基于深度学习的评论文本方面级情感分类方法及系统 - Google Patents
基于深度学习的评论文本方面级情感分类方法及系统 Download PDFInfo
- Publication number
- CN111858945A CN111858945A CN202010776165.3A CN202010776165A CN111858945A CN 111858945 A CN111858945 A CN 111858945A CN 202010776165 A CN202010776165 A CN 202010776165A CN 111858945 A CN111858945 A CN 111858945A
- Authority
- CN
- China
- Prior art keywords
- model
- matrix
- layer
- word
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000013135 deep learning Methods 0.000 title claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims abstract description 66
- 239000013598 vector Substances 0.000 claims abstract description 54
- 238000013528 artificial neural network Methods 0.000 claims abstract description 39
- 238000004364 calculation method Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000013136 deep learning model Methods 0.000 claims abstract description 5
- 230000011218 segmentation Effects 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 24
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 13
- 230000002996 emotional effect Effects 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 8
- 230000002441 reversible effect Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000000644 propagated effect Effects 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 230000006399 behavior Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 11
- 238000010276 construction Methods 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000011160 research Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 235000012054 meals Nutrition 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013215 result calculation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
本发明提供一种基于深度学习的评论文本方面级情感分类方法,先将评论文本进行预处理,包括分词和去除停用词,然后对方面词及对应的标签进行平衡处理,生成平衡样本,再将平衡样本与原始样本中的中文词语进行向量化,获得平衡样本中的词向量;输入到模型中进行评论结果的预测;所述模型是根据深度神经网络构建的深度学习模型,通过方面词的词向量与句子其他词语进行相似度计算,生成平衡样本的方面情感语义矩阵。本发明通过平衡处理和构建Attn‑Bi‑LCNN模型,能够有效输出情感语义矩阵,提高了模型的精准度与实际应用时的预测速度,从而使本发明的方法适用于文本的方面级细粒度情感分类。
Description
【技术领域】
本发明涉及是深度学习在自然语言处理领域内的共识算法,尤其 是一种基于深度学习的评论文本方面级情感分类方法,还涉及实现所 述方法的系统。
【背景技术】
在当今的大数据时代,每天都有大量的数据产生。互联网的普及, 不仅使得人与人之间的联系更为紧密,更是使得人与信息之间的联系 更为频繁。互联网的出现不仅使得信息的传播更为便捷,更是激发起 人们分享信息的欲望,尤其是当今的年轻人更是愿意在各种社交媒体 和门户网站上发表自己的言论以此表达自己的情感。挖掘这种大量的 含有个人情感的博客,微博,商品评价和事物评论等,不仅能够了解 用户的情感倾向,同时也能够为其他文本应用领域带来辅助作用。
当今社会,互联网已经成为人们获取信息的主要来源,当人们通 过网络浏览他人发表的带有情感倾向的言论时,往往受其影响,尤其 是对商店或商品等评论,能够轻易地影响顾客的选择。例如,随着社 会的发展和人们经济水平的提高,越来越多的人选择外出就餐,人们 可以从互联网上获取到各种餐馆的信息。但是与餐馆自身介绍相比, 人们往往更加看重其他顾客对于餐馆的评价。这是因为,顾客的评论 往往更加真实,更加客观,与餐馆自身介绍相比更加贴合真实情况。 从餐馆自身的长远发展来看,已经评论的顾客和浏览评论的顾客都是 下一个潜在客户。因此,了解顾客在评论中所谈及餐馆的优点和不足 显得尤为重要。但是,在信息社会的背景下,这种文本评论的数量依 然还在快速增长中,想要依靠人力去判断文本中所包含的情感倾向是 不现实的。所以,借助人工智能的方法来挖掘文本情感,是目前主流 并且有效的方法。对于潜在客户而言,也无需再逐条浏览评论,人为归纳分析是否值得去消费。利用人工智能挖掘文本情感倾向也能够大 幅度提升客户的获取信息效率,提升客户消费体验。
文本的情感分析是自然语言处理研究的重要领域之一,情感分析 的目的就是挖掘出文本所蕴含的情感极性。传统的情感分析主要是针 对整个句子的情感极性。随着技术的发展和用户的需求的增加,传统 的情感分析显然不能够满足用户的需求。例如,“这个餐馆饭菜很好, 但是卫生不行”,这时传统的情感分析就不能够进行很好的判断。因 为,“饭菜”方面情感极性为好,“卫生”方面情感极性为差。如果单 纯的判断句子的情感极性好坏,那么往往会误导顾客,影响顾客判断。 所以,对文本进行方面级细粒度的情感分析无论对于商家自身的改进, 还是帮助顾客进行更为精准的判断都是十分重要的。
【发明内容】
本发明的目的是针对现有技术缺陷,提供一种具有动态生成平衡 样本同时预测所有方面的方面级情感分类方法,在传统卷积神经网络、 长短期记忆网络等算法的基础上做出了改进和优化,提高了算法的实 际应用能力,使之更适用于文本的方面级细粒度情感分类。
本发明的思路是在数据平衡方面采取批处理平衡方法替代传统 的上采样和下采样,使之平衡方法适用于多标签多分类问题。其次, 利用注意力机制实现同时对不同方面的情感倾向的关注,由传统的情 感语义向量转化为情感语义矩阵,在保证算法准确度的前提下,提高 了算法的预测速度。
为了实现上述目的,本发明提供一种基于深度学习评论文本方面 级情感分类方法,所述方法包括以下步骤:
(1)将评论文本进行预处理,所述预处理包括分词和去除停用 词,得到文本中的方面词及对应的标签;
(2)对所述方面词及对应的标签进行平衡处理,获得评论文本 的平衡标签;根据所述平衡标签生成平衡样本;
(3)将平衡样本和原始样本中的中文词语进行向量化,获得平 衡样本中的词向量;
(4)将所述词向量输入到模型中进行评论结果的预测;
所述的模型是根据深度神经网络构建的深度学习模型,通过方 面词的词向量与句子其他词语进行相似度计算,生成平衡样本的方面 情感语义矩阵;利用情感语义矩阵同时计算平衡样本内所有方面的情 感倾向;所述模型根据训练文本的标签来计算模型损失,通过模型损 失的反向传播优化神经网络中的权重;
在本发明中,步骤(2)通过平衡标签生成平衡样本的意义在于 避免模型对数量多的类别预测产生倾向性。例如一个batch中只有一 个训练语句:“这个酒店环境很好,服务很好,菜品一般”,这条语句 中涉及到三个方面:环境——好,服务——好,菜品——一般。但是 积极标签有两个,中性标签有一个,标签出现了不平衡的现象。这时, 自动生成法自动生成另外一条训练文本,自动生成文本可以直接为 “服务一般——中性”,这时训练数据就包括两个文本,一条为原始 文本,一条为根据原始标签自动生成平衡文本,将这两条文本重新作 为新的batch进行训练,这样每次训练的数据类别数量都是平衡的, 因此能够避免模型对数量多的类别预测产生倾向性。
批处理平衡算法代码实现步骤如下:
对平衡样本中的中文词语进行向量化生成的平衡样本的方面情 感语义矩阵的每一行即为每一方面的情感向量。但是不同的方面的情 感极性不同,同时也意味着不同方面对于句子的关注点是不同的,所 以在这里,本模型采用注意力机制解决这一问题。矩阵的每一行情感 语义向量都是通过注意力机制与模型上一层输出计算得出的语义向 量进行计算,并赋予不同的关注权重,实现对不同方面的情感更好地 预测。
在本发明中,采用深度学习Attn-Bi-LCNN模型结构实现平衡处理, 利用方面词向量进行注意力机制计算,形成情感语义矩阵,如图1所示。
Attn-Bi-LCNN模型结构各网络层作用如下所示:
(1)Embedding层
模型中的Embedding层的作用是将词语映射为词向量,Embedding 层的本质即为一层全连接层,其内部权重即为词向量。因此,我们可 以将Word2vec训练好的词向量作为Embedding层权重,同时也可以使 用腾讯提供词向量作为权重。
通过Embedding层之后,将训练文本转换为文本矩阵,矩阵的第i 行即为句子中第i个词的词向量,结果如公式(1)所示。
S=RL×d (1)
根据公式(1)可知,文本矩阵大小为L×d,其中L为矩阵行数,同 时也是句子词语数,d为词语向量化维度。
(2)Bi-LSTM层
Bi-LSTM层的作用是为了提取句子中单词之间的顺序特征,并对 句子表示进行记忆存储。Bi-LSTM表示双向LSTM,当文本矩阵中的词 语按照时间顺序输入到双向LSTM中,会获取当前词的前向语义表示ht 和反向语义表示h’t,并将二者拼凑起来得到当前词的完整语义表示[ht, h’t]。
同样,文本向量矩阵经过Bi-LSTM层的输出为文本的高维语义表 示,输出结果如公式(2)所示:
其中,Slstm代表文本高维语义表示矩阵,l代表句子长度,dlstm代表 Bi-LSTM隐藏层维度大小,矩阵的每一行即为对应词的完整语义表示 [ht,h't]。
(3)CNN层
CNN层的作用是为了提取高维语义表示中的词与词之间的关系。 循环神经网络的第i个词会受到前i-1个词的记忆影响,与循环神经网络 不同,此处CNN的作用是为了提取相邻若干个词之间的关系,对窗口 之外的词并无任何影响。
本处CNN层采用的是前文介绍的CNN的一维卷积,其卷积结果由 卷积核大小和卷积核步数决定。结果如公式(3)所示。
其中SCNN为卷积之后的句子向量,C代表卷积操作,dCNN代表SCNN维度大小,具体值由设置超参数决定。
(4)Attention层
本文采用的是自我注意力机制,其注意力权重计算公式如公式(4) 所示。
A=softmax(Vatanh(WmDT)) (4)
其中公式(4)中的A即为注意力权重矩阵,矩阵的每一列即代表 一个方面的注意力权重;DT代表卷积神经网络卷积核得出的语义向量 所组成的矩阵,矩阵的每一行即为图2中的di CNN,代表不同就不同卷积 核卷积得到的特征向量;公式中的Wm代表DT的权重矩阵,相当于一层 全连接神经网络,其神经元数目为m个,为超参数;此处的Va与原始 作者提出的为随机初始向量不同,此处的Va为方面词词向量矩阵,矩 阵的每一行代表训练数据的各个方面词向量化得到的词向量,此处在 实验中可以进行微调更新或者不参与更新。最后通过Softmax激活函数 对结果进行激活得到注意力权重矩阵A。
得到不同方面的注意力权重之后,将权重矩阵A与卷积层得到的 语义向量进行相乘,得到不同方面的情感语义矩阵。计算公式如公式(5) 所示。
S=A×D (5)
(5)隐藏层
隐藏层等同于前面介绍的全连接神经网络,起到特征融合和降维 的作用,对于特征向量,可以通过设置隐藏层大小,进行升维或降维 的作用。
(6)输出层
本发明为了实现方面级细粒度情感分析,属于分类问题,所以选 择Softmax函数作为输出层激活函数,其计算结果即为模型预测结果。
输出层Softmax层计算公式如公式(6)所示。
其中,分子ei代表向量中第i个元素的值;分母∑jej代表向量中所 有元素的和。
在本发明中,采用正态分布初始化和Kaiming初始化相结合的方 式对所述隐藏层进行权重初始化,其中,全连接层采用正态分布初始 化,模型中的卷积层采用Kaiming初始化,通过两种初始化结合的方 式对网络模型各个代表层进行权重初始化。
基于上述方法,本发明还提供实现评论文本方面级情感分类方法 的系统,所述系统包括:
(1)对文本数据预处理装置,所述预处理包括分词和去除停用 词,得到文本中的方面词及对应的标签;
(2)数据平衡装置,针对原始文本动态生成平衡标签,根据平 衡标签生成新的样本。将原始数据与生成数据一起作为新的训练样本。
(3)词向量生成装置,词向量生成装置的作用是将词语转化为 高维向量,用以输入到模型中。
(4)神经网络训练装置,用以搭建系统所用的深度学习模型;
所述神经网络搭建方式是:定义模型的输入序列的同时,准备好 其训练标签;定义输入样本X=[x1,…,xn],其对应标签为Y=[y1,…,yn]; 其中,yi为第i方面的标签;将数据前向输入到模型中,根据其对应 标签反向传播,通过优化模型权重W来减少损失;
利用注意力机制来关注句子中对不同方面的侧重点,形成情感语 义矩阵,一次性预测所有方面的情感;
(5)神经网络预测装置,用以检验模型学习能力并投入到实际 应用;
将待预测样本输入到预训练好的模型中,将模型预测结果的最大 值作为模型预测结果。
与现有技术相比,传统的神经网络结构通常是将文本转化为单一 语义向量,例如RCNN,LSTM+Attention等,但是由于文本往往蕴 含多个方面的不同情感,单一语义向量可能无法准确预测所有方面的 情感,需要重复预测。而本发明通过构建Attn-Bi-LCNN模型,模型 输出结果为情感语义矩阵,矩阵的每一行即为一个方面的情感,大大 提高了模型的精准度与实际应用时的预测速度,从而使本发明的方法 适用于文本的方面级细粒度情感分类。
【附图说明】
图1为本发明的Attn-Bi-LCNN模型图;
图2为本发明中模型结构中的注意力层具体结构;
图3为全连接网络结构图;
图4为实施例1的流程图。
【具体实施方式】
以下实施例用于非限制性地解释本发明的技术方案。
实施例1
为了实现评论文本方面级细粒度情感分析,借助现有的神经网络 技术,本发明在神经网络训练前加入神经网络权重的预处理。在神经 网络计算过程中,其前向传播的本质即为矩阵乘法,而神经网络中的 参数本质形式为参数矩阵。全连接神经网络如图3所示。
全连接神经网络由三层构成:输入层、隐藏层、输出层。其中输 入层代表输入数据,用向量x表示,在上图中x∈3×1的列向量。隐藏 层代表神经网络的权重层,其中包含隐藏层权重,以图3为例,隐藏层 权重即为w∈4*3。在神经网络的前项计算中,数据由输入层流向隐藏 层并参与计算,其计算结果o的数学表达式如公式(1)所示。
o=w*x (1)
其中,o为大小为4×1的列向量。在上述计算过程中,表明神经网 络的本质其实是矩阵乘法,输入数据是已知的,但是隐藏层的神经网 络权重却是未知的,需要人为进行初始化,如果初始化的初始权重随 意设置,可能会引起前向传播计算爆炸或计算消失等问题。如果初始 化矩阵数值过大,并且神经网络层数较深,那么数据每一次经过隐藏 层都会对原有结果进行放大,从而导致输出结果过大。输出结果过大 则会导致神经网络在反向传播过程中更新缓慢,从而导致学习缓慢, 甚至致使神经网络学习器无法学习。同理,如果神经网络初始权重过 小,则会导致最终输出结果过小,从而导致输出结果计算的损失收敛缓慢或无法收敛,导致神经网络无法进行学习。
为了避免上述问题的出现,对神经网络的初始化显得尤为重要。 常见的网络初始化有正态分布初始化,Kaiming初始化等。
其中正态分布初始化的意思是将神经网络的初始化权重按照正态 分布进行初始化,其中正态分布的期望与方差需要根据具体情况人为 设置。
Kaiming初始化也称为Kaiming均匀分布,由何凯明提出。其初始 化表达为参数为bound的均匀分布:μ=(-bound,bound)。其中bound 计算方式由公式(2)所示。
其中,a代表ReLU激活函数的负斜率,fan_in代表保持前向传播的 权重方差的数量级。
为避免前向传播中出现输出结果爆炸或者结果消失等现象,本发 明采用正态分布初始化和Kaiming初始化相结合的方式对神经网络的 隐藏层进行权重初始化,其中全连接层采用正态分布初始化,模型中 的卷积层采用Kaiming初始化,通过两种初始化结合的方式对网络模型 各个代表层进行权重初始化。本发明的网络权重初始化算法如下:
假定训练句子s={W1,W2,…,Wi,…,Wn},其中Wi代表句子 中第i个词,句子共有n个词。模型的输入即为训练句子s的词向量矩阵 V,其中V∈Rn×d,d为词语向量化维度。句子矩阵的第i行即为句子中 Wi的词向量表示。
方面级别细粒度情感分类就是将训练数据输入到模型中,并由模 型判断个方面情感极性。例如句子“这个酒店环境很好,就是有些贵”, 需要将句子分词之后去除停用词之后得到的结果进行向量化,并将向 量化之后的句子矩阵输入到模型中。当判断“环境”方面时,模型输 出应为积极;当判断“价格”方面时,模型输入结果为消极。
通过采用批处理随机梯度下降和随机梯度下降相结合的方式,即 每次输入模型中的数据为若干条或单条待训练文本。因为循环神经网 络能够处理任意长度的文本序列,所以在输入数据中需要我们对数据 进行可变长度处理——对较短长度的句子进行填充。最终输入到模型 中的数据大小为RB×L×d,其中B为批处理数据量,L为批处理数据中句 子最大长度,d为词向量维度。
当确定好输入数据以及采用深度学习方法后,下一步即是训练模 型。模型的训练本质上就是对模型中参数进行优化更新,找到最合适 的参数集合。与此同时,为了更好更快地找到参数最优近似解,本发 明采用批处理随机梯度下降法与随机梯度下降相结合的方式:即每次 训练所有数据中的一部分或其中一个,然后利用上述介绍的反向传播 算法进行参数更新,等所有数据完成一次训练即为一轮训练,随后进 行多轮训练。梯度下降法与其他更新方式相比,梯度下降法需要选择 步长,随后进行迭代求解,梯度下降法公式如公式(7)所示:
w=w′-ηΔ (7)
其中,w代表更新之后的权重,w'代表更新之前的权重,η代表学 习率,Δ代表网络中的权重梯度。
涉及到更新的权重如公式(8)所示:
P={WR,WC,WA,WO} (8)
其中WR为循环神经网络层权重,WC为卷积层权重,WA为注意力 层权重,WO为输出层网络权重。
文本的情感分析是自言语言处理研究的重要领域之一,情感分析 的目的就是挖掘出文本所蕴含的情感极性。传统的情感分析主要是针 对整个句子的情感极性。本人在前人研究的基础上,结合当下的深度 学习技术,对方面级细粒度文本情感分析问题进行了更加深入的研究, 研究成果包含以下几个方面:
针对深度学习下的数据不平衡问题,提出了BB算法。针对每一次 训练样本的标签分布,动态生成平衡样本,使得标签分布均匀。很大 程度避免了学习器分类倾向问题。同时,为避免由于神经网络过深导 致输出值消失问题,本文设计了一种权重初始化方法:将正态分布与 Kaiming分布相结合,达到输出值收敛的目的。
针对CNN与LSTM提取特征的特点,本发明将二者结合起来进行 特征提取工作。利用注意力机制关注句子不同部位的特点生成情感语 义矩阵。与传统模型生成情感向量不同,语义矩阵包含情感更为丰富, 能够同时预测不同方面的不同情感。同时,模型在实际应用时,与其 他模型相比,预测速度更快。
图4给出了一个方面级细粒度情感预测实例。
以评论文本“酒店卫生很好,价格也便宜,但是服务有点一般” 为例,首先对文本进行预处理,得到文本中的方面词及对应的标签“酒 店卫生很好价格便宜服务一般”,进行平衡处理后得到平衡标签 “酒店卫生一般”。对平衡衡样本与原始样本中的中文词语进行向量 化,得到:
[1,2,3,4,5,6,7]
[1,2,7,0,0,0,0]
将它作为Attn-Bi-LCNN模型Embedding层的输入,通过神经网络 权重预处理进行初始化,转换为文本矩阵:
[0.1,0.2],
[0.3,0.4],
[0.5,0.6],
[0.7,0.8],
[0.9,1.0],
[1.1,1.2]
[1.3,1.4],
[[0.1,0.2],
[0.3,0.4],
[1.3,1.4],
[0,0],
[0,0],
[0,0],
[0,0]].
然后,通过LSTM层提取句子中单词之间的顺序特征得到文本高维 语义表示矩阵,然后由CNN层通过一维卷积提取高维语义表示中的词 与词之间的关系,再由Attention层计算不同方面的情感语义矩阵,得 出注意力矩阵,然后与CNN层输出相乘,通过隐藏层和输出层得到判 断结果矩阵。
本发明通过平衡处理和构建Attn-Bi-LCNN模型,能够有效输出 情感语义矩阵,提高了模型的精准度与实际应用时的预测速度,从而 使本发明的方法适用于文本的方面级细粒度情感分类。
Claims (5)
1.一种基于深度学习的评论文本方面级情感分类方法,所述方法包括以下步骤:
(1)将评论文本进行预处理,所述预处理包括分词和去除停用词,得到文本中的方面词及对应的标签;
(2)对所述方面词及对应的标签进行平衡处理,获得评论文本的平衡标签,根据所述平衡标签生成平衡样本;
(3)将平衡样本与原始样本中的中文词语进行向量化,获得平衡样本中的词向量;
(4)将所述词向量输入到模型中进行评论结果的预测;
所述的模型是根据深度神经网络构建的深度学习模型,通过方面词的词向量与句子其他词语进行相似度计算,生成平衡样本的方面情感语义矩阵;
利用情感语义矩阵同时计算所述平衡样本内所有方面的情感倾向;所述模型根据训练文本的标签来计算模型损失,通过模型损失的反向传播优化神经网络中的权重;
2.根据权利要求1所述的评论文本方面级情感分类方法,其特征在于针对情感分类问题,通过Attn-Bi-LCNN模型,利用方面词向量进行注意力机制计算,形成情感语义矩阵。
3.根据权利要求2所述的评论文本方面级情感分类方法,其特征在于所述Attn-Bi-LCNN模型结构包括Embedding层、Bi-LSTM层、CNN层、Attention层、隐藏层和输出层,其中:
(1)Embedding层
模型中的Embedding层用于将词语映射为词向量,训练文本通过Embedding层之后被转换为文本矩阵,矩阵的第i行即为句子中第i个词的词向量,其输出为S=RL×d,其中,文本矩阵大小为L×d,中L为矩阵行数,也是句子词语数,d为词语向量化维度;
(2)Bi-LSTM层
Bi-LSTM层用于提取句子中单词之间的顺序特征,并对句子表示进行记忆存储;当文本矩阵中的词语按照时间顺序输入到Bi-LSTM层中,会获取当前词的前向语义表示ht和反向语义表示h’t,并将所述前向语义表示ht和反向语义表示h’t拼凑得到当前词的完整语义表示[ht,h’t];
文本向量矩阵经过Bi-LSTM层的输出为文本的高维语义表示,其输出为其中,Slstm代表文本高维语义表示矩阵,l代表句子长度,dlstm代表Bi-LSTM隐藏层维度大小,矩阵的每一行即为对应词的完整语义表示[ht,h't];
(3)CNN层
(4)Attention层
注意力权重计算公式为A=softmax(Vatanh(WmDT)),其中,A为注意力权重矩阵,矩阵的每一列即代表一个方面的注意力权重;DT代表卷积神经网络卷积核得出的语义向量所组成的矩阵,矩阵的每一行为di CNN,代表不同就不同卷积核卷积得到的特征向量;Wm代表DT的权重矩阵,Va为方面词词向量矩阵,矩阵的每一行代表训练数据的各个方面词向量化得到的词向量;通过Softmax激活函数对结果进行激活得到注意力权重矩阵A;
得到不同方面的注意力权重之后,将权重矩阵A与卷积层得到的语义向量进行相乘,得到不同方面的情感语义矩阵,输出为S=A×D;
(5)隐藏层
隐藏层实现特征融合和降维;
(6)输出层
4.根据权利要求3所述的评论文本方面级情感分类方法,其特征在于采用正态分布初始化和Kaiming初始化相结合的方式对所述隐藏层进行权重初始化,其中,全连接层采用正态分布初始化,模型中的卷积层采用Kaiming初始化,通过两种初始化结合的方式对网络模型各个代表层进行权重初始化。
5.实现权利要求1-4中任一项权利要求书所述方法的系统,所述系统包括:
(1)对文本数据预处理装置,所述预处理包括分词和去除停用词,得到文本中的方面词及对应的标签;
(2)数据平衡装置,针对原始文本动态生成平衡标签,根据平衡标签生成新的样本。将原始数据与生成数据一起作为新的训练样本。
(3)词向量生成装置,词向量生成装置的作用是将词语转化为高维向量,用以输入到模型中。
(4)神经网络训练装置,用以搭建系统所用的深度学习模型;
所述神经网络搭建方式是:定义模型的输入序列的同时,准备好其训练标签;定义输入样本X=[x1,…,xn],其对应标签为Y=[y1,…,yn];其中,yi为第i方面的标签;将数据前向输入到模型中,根据其对应标签反向传播,通过优化模型权重W来减少损失;
利用注意力机制来关注句子中对不同方面的侧重点,形成情感语义矩阵,一次性预测所有方面的情感;
(5)神经网络预测装置,用以检验模型学习能力并投入到实际应用;
将待预测样本输入到预训练好的模型中,将模型预测结果的最大值作为模型预测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010776165.3A CN111858945B (zh) | 2020-08-05 | 2020-08-05 | 基于深度学习的评论文本方面级情感分类方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010776165.3A CN111858945B (zh) | 2020-08-05 | 2020-08-05 | 基于深度学习的评论文本方面级情感分类方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111858945A true CN111858945A (zh) | 2020-10-30 |
CN111858945B CN111858945B (zh) | 2024-04-23 |
Family
ID=72972152
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010776165.3A Active CN111858945B (zh) | 2020-08-05 | 2020-08-05 | 基于深度学习的评论文本方面级情感分类方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111858945B (zh) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112199956A (zh) * | 2020-11-02 | 2021-01-08 | 天津大学 | 一种基于深度表示学习的实体情感分析方法 |
CN112329474A (zh) * | 2020-11-02 | 2021-02-05 | 山东师范大学 | 融合注意力的方面级用户评论文本情感分析方法及系统 |
CN112463966A (zh) * | 2020-12-08 | 2021-03-09 | 北京邮电大学 | 虚假评论检测模型训练方法、检测方法及装置 |
CN112487143A (zh) * | 2020-11-30 | 2021-03-12 | 重庆邮电大学 | 一种基于舆情大数据分析的多标签文本分类方法 |
CN112667816A (zh) * | 2020-12-31 | 2021-04-16 | 华中师范大学 | 一种基于深度学习的方面级情感分析方法及系统 |
CN112667818A (zh) * | 2021-01-04 | 2021-04-16 | 福州大学 | 融合gcn与多粒度注意力的用户评论情感分析方法及系统 |
CN112765353A (zh) * | 2021-01-22 | 2021-05-07 | 重庆邮电大学 | 一种基于科研文本的生物医学学科分类方法及装置 |
CN112860905A (zh) * | 2021-04-08 | 2021-05-28 | 深圳壹账通智能科技有限公司 | 文本信息抽取方法、装置、设备及可读存储介质 |
CN112860894A (zh) * | 2021-02-10 | 2021-05-28 | 北京百度网讯科技有限公司 | 情感分析模型的训练方法、情感分析方法、装置和设备 |
CN113220876A (zh) * | 2021-04-16 | 2021-08-06 | 山东师范大学 | 一种用于英文文本的多标签分类方法及系统 |
CN113254637A (zh) * | 2021-05-07 | 2021-08-13 | 山东师范大学 | 一种融合语法的方面级文本情感分类方法及系统 |
CN113343665A (zh) * | 2021-05-14 | 2021-09-03 | 合肥工业大学 | 基于方面级细粒度的商品评论情感分析方法和系统 |
CN113378545A (zh) * | 2021-06-08 | 2021-09-10 | 北京邮电大学 | 一种方面级情感分析方法、装置、电子设备及存储介质 |
CN113495960A (zh) * | 2021-06-03 | 2021-10-12 | 创络(上海)数据科技有限公司 | 一种基于情感分类的多层归因图谱构建方法 |
CN113688911A (zh) * | 2021-08-26 | 2021-11-23 | 安徽咪鼠科技有限公司 | 一种基于softmax的文本多标签分类方法 |
CN113761910A (zh) * | 2021-03-17 | 2021-12-07 | 中科天玑数据科技股份有限公司 | 一种融合情感特征的评论文本细粒度情感分析方法 |
CN113806545A (zh) * | 2021-09-24 | 2021-12-17 | 重庆理工大学 | 基于标签描述生成的评论文本情感分类方法 |
CN113869065A (zh) * | 2021-10-15 | 2021-12-31 | 梧州学院 | 一种基于“单词-短语”注意力机制的情感分类方法和系统 |
CN114358201A (zh) * | 2022-01-11 | 2022-04-15 | 平安科技(深圳)有限公司 | 基于文本的情感分类方法和装置、计算机设备、存储介质 |
CN115146704A (zh) * | 2022-05-27 | 2022-10-04 | 中睿信数字技术有限公司 | 基于分布式数据库和机器学习的事件自动分类方法和系统 |
CN116541523A (zh) * | 2023-04-28 | 2023-08-04 | 重庆邮电大学 | 一种基于大数据的法律判决舆情分类方法 |
CN117852507A (zh) * | 2024-03-07 | 2024-04-09 | 南京信息工程大学 | 一种餐馆回头客预测模型、方法、系统及设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106776581A (zh) * | 2017-02-21 | 2017-05-31 | 浙江工商大学 | 基于深度学习的主观性文本情感分析方法 |
CN108038492A (zh) * | 2017-11-23 | 2018-05-15 | 西安理工大学 | 一种基于深度学习的感性词向量及情感分类方法 |
CN108427670A (zh) * | 2018-04-08 | 2018-08-21 | 重庆邮电大学 | 一种基于语境词向量和深度学习的情感分析方法 |
CN109165387A (zh) * | 2018-09-20 | 2019-01-08 | 南京信息工程大学 | 一种基于gru神经网络的中文评论情感分析法 |
CN110569508A (zh) * | 2019-09-10 | 2019-12-13 | 重庆邮电大学 | 融合词性和自注意力机制的情感倾向性分类方法及系统 |
AU2020100710A4 (en) * | 2020-05-05 | 2020-06-11 | Chen, Dadu Mr | A method for sentiment analysis of film reviews based on deep learning and natural language processing |
-
2020
- 2020-08-05 CN CN202010776165.3A patent/CN111858945B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106776581A (zh) * | 2017-02-21 | 2017-05-31 | 浙江工商大学 | 基于深度学习的主观性文本情感分析方法 |
CN108038492A (zh) * | 2017-11-23 | 2018-05-15 | 西安理工大学 | 一种基于深度学习的感性词向量及情感分类方法 |
CN108427670A (zh) * | 2018-04-08 | 2018-08-21 | 重庆邮电大学 | 一种基于语境词向量和深度学习的情感分析方法 |
CN109165387A (zh) * | 2018-09-20 | 2019-01-08 | 南京信息工程大学 | 一种基于gru神经网络的中文评论情感分析法 |
CN110569508A (zh) * | 2019-09-10 | 2019-12-13 | 重庆邮电大学 | 融合词性和自注意力机制的情感倾向性分类方法及系统 |
AU2020100710A4 (en) * | 2020-05-05 | 2020-06-11 | Chen, Dadu Mr | A method for sentiment analysis of film reviews based on deep learning and natural language processing |
Non-Patent Citations (2)
Title |
---|
王铃;陶宏才;: "基于LSTM前融合中文情感倾向分类模型的研究", 成都信息工程大学学报, no. 02 * |
高统超;张云华;: "基于cw2vec与BiLSTM的中文商品评论情感分类", 软件导刊, no. 04 * |
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112199956A (zh) * | 2020-11-02 | 2021-01-08 | 天津大学 | 一种基于深度表示学习的实体情感分析方法 |
CN112329474A (zh) * | 2020-11-02 | 2021-02-05 | 山东师范大学 | 融合注意力的方面级用户评论文本情感分析方法及系统 |
CN112329474B (zh) * | 2020-11-02 | 2022-10-04 | 山东师范大学 | 融合注意力的方面级用户评论文本情感分析方法及系统 |
CN112487143A (zh) * | 2020-11-30 | 2021-03-12 | 重庆邮电大学 | 一种基于舆情大数据分析的多标签文本分类方法 |
CN112487143B (zh) * | 2020-11-30 | 2022-11-18 | 重庆邮电大学 | 一种基于舆情大数据分析的多标签文本分类方法 |
CN112463966A (zh) * | 2020-12-08 | 2021-03-09 | 北京邮电大学 | 虚假评论检测模型训练方法、检测方法及装置 |
CN112463966B (zh) * | 2020-12-08 | 2024-04-05 | 北京邮电大学 | 虚假评论检测模型训练方法、检测方法及装置 |
CN112667816A (zh) * | 2020-12-31 | 2021-04-16 | 华中师范大学 | 一种基于深度学习的方面级情感分析方法及系统 |
CN112667816B (zh) * | 2020-12-31 | 2022-07-05 | 华中师范大学 | 一种基于深度学习的方面级情感分析方法及系统 |
CN112667818A (zh) * | 2021-01-04 | 2021-04-16 | 福州大学 | 融合gcn与多粒度注意力的用户评论情感分析方法及系统 |
CN112765353A (zh) * | 2021-01-22 | 2021-05-07 | 重庆邮电大学 | 一种基于科研文本的生物医学学科分类方法及装置 |
CN112765353B (zh) * | 2021-01-22 | 2022-11-04 | 重庆邮电大学 | 一种基于科研文本的生物医学学科分类方法及装置 |
CN112860894A (zh) * | 2021-02-10 | 2021-05-28 | 北京百度网讯科技有限公司 | 情感分析模型的训练方法、情感分析方法、装置和设备 |
CN112860894B (zh) * | 2021-02-10 | 2023-06-27 | 北京百度网讯科技有限公司 | 情感分析模型的训练方法、情感分析方法、装置和设备 |
CN113761910A (zh) * | 2021-03-17 | 2021-12-07 | 中科天玑数据科技股份有限公司 | 一种融合情感特征的评论文本细粒度情感分析方法 |
CN112860905A (zh) * | 2021-04-08 | 2021-05-28 | 深圳壹账通智能科技有限公司 | 文本信息抽取方法、装置、设备及可读存储介质 |
CN113220876A (zh) * | 2021-04-16 | 2021-08-06 | 山东师范大学 | 一种用于英文文本的多标签分类方法及系统 |
CN113220876B (zh) * | 2021-04-16 | 2022-12-06 | 山东师范大学 | 一种用于英文文本的多标签分类方法及系统 |
CN113254637A (zh) * | 2021-05-07 | 2021-08-13 | 山东师范大学 | 一种融合语法的方面级文本情感分类方法及系统 |
CN113343665B (zh) * | 2021-05-14 | 2024-07-26 | 合肥工业大学 | 基于方面级细粒度的商品评论情感分析方法和系统 |
CN113343665A (zh) * | 2021-05-14 | 2021-09-03 | 合肥工业大学 | 基于方面级细粒度的商品评论情感分析方法和系统 |
CN113495960A (zh) * | 2021-06-03 | 2021-10-12 | 创络(上海)数据科技有限公司 | 一种基于情感分类的多层归因图谱构建方法 |
CN113378545B (zh) * | 2021-06-08 | 2022-02-11 | 北京邮电大学 | 一种方面级情感分析方法、装置、电子设备及存储介质 |
CN113378545A (zh) * | 2021-06-08 | 2021-09-10 | 北京邮电大学 | 一种方面级情感分析方法、装置、电子设备及存储介质 |
CN113688911A (zh) * | 2021-08-26 | 2021-11-23 | 安徽咪鼠科技有限公司 | 一种基于softmax的文本多标签分类方法 |
CN113806545A (zh) * | 2021-09-24 | 2021-12-17 | 重庆理工大学 | 基于标签描述生成的评论文本情感分类方法 |
CN113806545B (zh) * | 2021-09-24 | 2022-06-17 | 重庆理工大学 | 基于标签描述生成的评论文本情感分类方法 |
CN113869065A (zh) * | 2021-10-15 | 2021-12-31 | 梧州学院 | 一种基于“单词-短语”注意力机制的情感分类方法和系统 |
CN113869065B (zh) * | 2021-10-15 | 2024-04-12 | 梧州学院 | 一种基于“单词-短语”注意力机制的情感分类方法和系统 |
WO2023134083A1 (zh) * | 2022-01-11 | 2023-07-20 | 平安科技(深圳)有限公司 | 基于文本的情感分类方法和装置、计算机设备、存储介质 |
CN114358201A (zh) * | 2022-01-11 | 2022-04-15 | 平安科技(深圳)有限公司 | 基于文本的情感分类方法和装置、计算机设备、存储介质 |
CN115146704A (zh) * | 2022-05-27 | 2022-10-04 | 中睿信数字技术有限公司 | 基于分布式数据库和机器学习的事件自动分类方法和系统 |
CN115146704B (zh) * | 2022-05-27 | 2023-11-07 | 中睿信数字技术有限公司 | 基于分布式数据库和机器学习的事件自动分类方法和系统 |
CN116541523A (zh) * | 2023-04-28 | 2023-08-04 | 重庆邮电大学 | 一种基于大数据的法律判决舆情分类方法 |
CN116541523B (zh) * | 2023-04-28 | 2024-08-16 | 芽米科技(广州)有限公司 | 一种基于大数据的法律判决舆情分类方法 |
CN117852507A (zh) * | 2024-03-07 | 2024-04-09 | 南京信息工程大学 | 一种餐馆回头客预测模型、方法、系统及设备 |
CN117852507B (zh) * | 2024-03-07 | 2024-05-17 | 南京信息工程大学 | 一种餐馆回头客预测模型、方法、系统及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111858945B (zh) | 2024-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111858945B (zh) | 基于深度学习的评论文本方面级情感分类方法及系统 | |
CN106383815B (zh) | 结合用户和产品信息的神经网络情感分析方法 | |
CN108021616B (zh) | 一种基于循环神经网络的社区问答专家推荐方法 | |
CN110245229B (zh) | 一种基于数据增强的深度学习主题情感分类方法 | |
CN111339255B (zh) | 目标情感分析的方法、模型训练方法、介质和设备 | |
CN109902177B (zh) | 基于双通道卷积记忆神经网络的文本情感分析方法 | |
CN109492229B (zh) | 一种跨领域情感分类方法和相关装置 | |
Ruangkanokmas et al. | Deep belief networks with feature selection for sentiment classification | |
Dong et al. | A commodity review sentiment analysis based on BERT-CNN model | |
CN110347837A (zh) | 一种心血管疾病非计划再住院风险预测方法 | |
CN108984530A (zh) | 一种网络敏感内容的检测方法及检测系统 | |
CN111767741A (zh) | 一种基于深度学习和tfidf算法的文本情感分析方法 | |
CN106372058A (zh) | 一种基于深度学习的短文本情感要素抽取方法及装置 | |
CN110765769B (zh) | 一种基于子句特征的实体属性依赖情感分析方法 | |
CN110929034A (zh) | 一种基于改进lstm的商品评论细粒度情感分类方法 | |
CN108388654B (zh) | 一种基于转折句语义块划分机制的情感分类方法 | |
CN109840328B (zh) | 深度学习商品评论文本情感倾向分析方法 | |
CN112131345B (zh) | 文本质量的识别方法、装置、设备及存储介质 | |
CN111814453A (zh) | 基于BiLSTM-TextCNN的细粒度情感分析方法 | |
CN113094502A (zh) | 一种多粒度外卖用户评论情感分析方法 | |
Zouzou et al. | Text sentiment analysis with CNN & GRU model using GloVe | |
CN112069320A (zh) | 一种基于跨度的细粒度情感分析方法 | |
CN116579347A (zh) | 一种基于动态语义特征融合的评论文本情感分析方法、系统、设备及介质 | |
Dedeepya et al. | Detecting cyber bullying on twitter using support vector machine | |
Dangi et al. | An efficient model for sentiment analysis using artificial rabbits optimized vector functional link network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |