CN111858945A - 基于深度学习的评论文本方面级情感分类方法及系统 - Google Patents

基于深度学习的评论文本方面级情感分类方法及系统 Download PDF

Info

Publication number
CN111858945A
CN111858945A CN202010776165.3A CN202010776165A CN111858945A CN 111858945 A CN111858945 A CN 111858945A CN 202010776165 A CN202010776165 A CN 202010776165A CN 111858945 A CN111858945 A CN 111858945A
Authority
CN
China
Prior art keywords
model
matrix
layer
word
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010776165.3A
Other languages
English (en)
Other versions
CN111858945B (zh
Inventor
刘文远
郭智存
于家新
付闯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Habee Information Technology Co ltd
Original Assignee
Shanghai Habee Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Habee Information Technology Co ltd filed Critical Shanghai Habee Information Technology Co ltd
Priority to CN202010776165.3A priority Critical patent/CN111858945B/zh
Publication of CN111858945A publication Critical patent/CN111858945A/zh
Application granted granted Critical
Publication of CN111858945B publication Critical patent/CN111858945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种基于深度学习的评论文本方面级情感分类方法,先将评论文本进行预处理,包括分词和去除停用词,然后对方面词及对应的标签进行平衡处理,生成平衡样本,再将平衡样本与原始样本中的中文词语进行向量化,获得平衡样本中的词向量;输入到模型中进行评论结果的预测;所述模型是根据深度神经网络构建的深度学习模型,通过方面词的词向量与句子其他词语进行相似度计算,生成平衡样本的方面情感语义矩阵。本发明通过平衡处理和构建Attn‑Bi‑LCNN模型,能够有效输出情感语义矩阵,提高了模型的精准度与实际应用时的预测速度,从而使本发明的方法适用于文本的方面级细粒度情感分类。

Description

基于深度学习的评论文本方面级情感分类方法及系统
【技术领域】
本发明涉及是深度学习在自然语言处理领域内的共识算法,尤其 是一种基于深度学习的评论文本方面级情感分类方法,还涉及实现所 述方法的系统。
【背景技术】
在当今的大数据时代,每天都有大量的数据产生。互联网的普及, 不仅使得人与人之间的联系更为紧密,更是使得人与信息之间的联系 更为频繁。互联网的出现不仅使得信息的传播更为便捷,更是激发起 人们分享信息的欲望,尤其是当今的年轻人更是愿意在各种社交媒体 和门户网站上发表自己的言论以此表达自己的情感。挖掘这种大量的 含有个人情感的博客,微博,商品评价和事物评论等,不仅能够了解 用户的情感倾向,同时也能够为其他文本应用领域带来辅助作用。
当今社会,互联网已经成为人们获取信息的主要来源,当人们通 过网络浏览他人发表的带有情感倾向的言论时,往往受其影响,尤其 是对商店或商品等评论,能够轻易地影响顾客的选择。例如,随着社 会的发展和人们经济水平的提高,越来越多的人选择外出就餐,人们 可以从互联网上获取到各种餐馆的信息。但是与餐馆自身介绍相比, 人们往往更加看重其他顾客对于餐馆的评价。这是因为,顾客的评论 往往更加真实,更加客观,与餐馆自身介绍相比更加贴合真实情况。 从餐馆自身的长远发展来看,已经评论的顾客和浏览评论的顾客都是 下一个潜在客户。因此,了解顾客在评论中所谈及餐馆的优点和不足 显得尤为重要。但是,在信息社会的背景下,这种文本评论的数量依 然还在快速增长中,想要依靠人力去判断文本中所包含的情感倾向是 不现实的。所以,借助人工智能的方法来挖掘文本情感,是目前主流 并且有效的方法。对于潜在客户而言,也无需再逐条浏览评论,人为归纳分析是否值得去消费。利用人工智能挖掘文本情感倾向也能够大 幅度提升客户的获取信息效率,提升客户消费体验。
文本的情感分析是自然语言处理研究的重要领域之一,情感分析 的目的就是挖掘出文本所蕴含的情感极性。传统的情感分析主要是针 对整个句子的情感极性。随着技术的发展和用户的需求的增加,传统 的情感分析显然不能够满足用户的需求。例如,“这个餐馆饭菜很好, 但是卫生不行”,这时传统的情感分析就不能够进行很好的判断。因 为,“饭菜”方面情感极性为好,“卫生”方面情感极性为差。如果单 纯的判断句子的情感极性好坏,那么往往会误导顾客,影响顾客判断。 所以,对文本进行方面级细粒度的情感分析无论对于商家自身的改进, 还是帮助顾客进行更为精准的判断都是十分重要的。
【发明内容】
本发明的目的是针对现有技术缺陷,提供一种具有动态生成平衡 样本同时预测所有方面的方面级情感分类方法,在传统卷积神经网络、 长短期记忆网络等算法的基础上做出了改进和优化,提高了算法的实 际应用能力,使之更适用于文本的方面级细粒度情感分类。
本发明的思路是在数据平衡方面采取批处理平衡方法替代传统 的上采样和下采样,使之平衡方法适用于多标签多分类问题。其次, 利用注意力机制实现同时对不同方面的情感倾向的关注,由传统的情 感语义向量转化为情感语义矩阵,在保证算法准确度的前提下,提高 了算法的预测速度。
为了实现上述目的,本发明提供一种基于深度学习评论文本方面 级情感分类方法,所述方法包括以下步骤:
(1)将评论文本进行预处理,所述预处理包括分词和去除停用 词,得到文本中的方面词及对应的标签;
(2)对所述方面词及对应的标签进行平衡处理,获得评论文本 的平衡标签;根据所述平衡标签生成平衡样本;
(3)将平衡样本和原始样本中的中文词语进行向量化,获得平 衡样本中的词向量;
(4)将所述词向量输入到模型中进行评论结果的预测;
所述的模型是根据深度神经网络构建的深度学习模型,通过方 面词的词向量与句子其他词语进行相似度计算,生成平衡样本的方面 情感语义矩阵;利用情感语义矩阵同时计算平衡样本内所有方面的情 感倾向;所述模型根据训练文本的标签来计算模型损失,通过模型损 失的反向传播优化神经网络中的权重;
(5)所述模型的输出结果采用Softmax函数进行激活:
Figure BDA0002618494640000031
其中ei为对应标签得分,Softmax函数将得分转换 为0-1之内的概率值,概率值最大的类别即为模型预测类别。
在本发明中,步骤(2)通过平衡标签生成平衡样本的意义在于 避免模型对数量多的类别预测产生倾向性。例如一个batch中只有一 个训练语句:“这个酒店环境很好,服务很好,菜品一般”,这条语句 中涉及到三个方面:环境——好,服务——好,菜品——一般。但是 积极标签有两个,中性标签有一个,标签出现了不平衡的现象。这时, 自动生成法自动生成另外一条训练文本,自动生成文本可以直接为 “服务一般——中性”,这时训练数据就包括两个文本,一条为原始 文本,一条为根据原始标签自动生成平衡文本,将这两条文本重新作 为新的batch进行训练,这样每次训练的数据类别数量都是平衡的, 因此能够避免模型对数量多的类别预测产生倾向性。
批处理平衡算法代码实现步骤如下:
Figure BDA0002618494640000032
Figure BDA0002618494640000041
对平衡样本中的中文词语进行向量化生成的平衡样本的方面情 感语义矩阵的每一行即为每一方面的情感向量。但是不同的方面的情 感极性不同,同时也意味着不同方面对于句子的关注点是不同的,所 以在这里,本模型采用注意力机制解决这一问题。矩阵的每一行情感 语义向量都是通过注意力机制与模型上一层输出计算得出的语义向 量进行计算,并赋予不同的关注权重,实现对不同方面的情感更好地 预测。
在本发明中,采用深度学习Attn-Bi-LCNN模型结构实现平衡处理, 利用方面词向量进行注意力机制计算,形成情感语义矩阵,如图1所示。
Attn-Bi-LCNN模型结构各网络层作用如下所示:
(1)Embedding层
模型中的Embedding层的作用是将词语映射为词向量,Embedding 层的本质即为一层全连接层,其内部权重即为词向量。因此,我们可 以将Word2vec训练好的词向量作为Embedding层权重,同时也可以使 用腾讯提供词向量作为权重。
通过Embedding层之后,将训练文本转换为文本矩阵,矩阵的第i 行即为句子中第i个词的词向量,结果如公式(1)所示。
S=RL×d (1)
根据公式(1)可知,文本矩阵大小为L×d,其中L为矩阵行数,同 时也是句子词语数,d为词语向量化维度。
(2)Bi-LSTM层
Bi-LSTM层的作用是为了提取句子中单词之间的顺序特征,并对 句子表示进行记忆存储。Bi-LSTM表示双向LSTM,当文本矩阵中的词 语按照时间顺序输入到双向LSTM中,会获取当前词的前向语义表示ht 和反向语义表示h’t,并将二者拼凑起来得到当前词的完整语义表示[ht, h’t]。
同样,文本向量矩阵经过Bi-LSTM层的输出为文本的高维语义表 示,输出结果如公式(2)所示:
Figure BDA0002618494640000051
其中,Slstm代表文本高维语义表示矩阵,l代表句子长度,dlstm代表 Bi-LSTM隐藏层维度大小,矩阵的每一行即为对应词的完整语义表示 [ht,h't]。
(3)CNN层
CNN层的作用是为了提取高维语义表示中的词与词之间的关系。 循环神经网络的第i个词会受到前i-1个词的记忆影响,与循环神经网络 不同,此处CNN的作用是为了提取相邻若干个词之间的关系,对窗口 之外的词并无任何影响。
本处CNN层采用的是前文介绍的CNN的一维卷积,其卷积结果由 卷积核大小和卷积核步数决定。结果如公式(3)所示。
Figure BDA0002618494640000052
其中SCNN为卷积之后的句子向量,C代表卷积操作,dCNN代表SCNN维度大小,具体值由设置超参数决定。
(4)Attention层
本文采用的是自我注意力机制,其注意力权重计算公式如公式(4) 所示。
A=softmax(Vatanh(WmDT)) (4)
其中公式(4)中的A即为注意力权重矩阵,矩阵的每一列即代表 一个方面的注意力权重;DT代表卷积神经网络卷积核得出的语义向量 所组成的矩阵,矩阵的每一行即为图2中的di CNN,代表不同就不同卷积 核卷积得到的特征向量;公式中的Wm代表DT的权重矩阵,相当于一层 全连接神经网络,其神经元数目为m个,为超参数;此处的Va与原始 作者提出的为随机初始向量不同,此处的Va为方面词词向量矩阵,矩 阵的每一行代表训练数据的各个方面词向量化得到的词向量,此处在 实验中可以进行微调更新或者不参与更新。最后通过Softmax激活函数 对结果进行激活得到注意力权重矩阵A。
得到不同方面的注意力权重之后,将权重矩阵A与卷积层得到的 语义向量进行相乘,得到不同方面的情感语义矩阵。计算公式如公式(5) 所示。
S=A×D (5)
(5)隐藏层
隐藏层等同于前面介绍的全连接神经网络,起到特征融合和降维 的作用,对于特征向量,可以通过设置隐藏层大小,进行升维或降维 的作用。
(6)输出层
本发明为了实现方面级细粒度情感分析,属于分类问题,所以选 择Softmax函数作为输出层激活函数,其计算结果即为模型预测结果。
输出层Softmax层计算公式如公式(6)所示。
Figure BDA0002618494640000061
其中,分子ei代表向量中第i个元素的值;分母∑jej代表向量中所 有元素的和。
在本发明中,采用正态分布初始化和Kaiming初始化相结合的方 式对所述隐藏层进行权重初始化,其中,全连接层采用正态分布初始 化,模型中的卷积层采用Kaiming初始化,通过两种初始化结合的方 式对网络模型各个代表层进行权重初始化。
基于上述方法,本发明还提供实现评论文本方面级情感分类方法 的系统,所述系统包括:
(1)对文本数据预处理装置,所述预处理包括分词和去除停用 词,得到文本中的方面词及对应的标签;
(2)数据平衡装置,针对原始文本动态生成平衡标签,根据平 衡标签生成新的样本。将原始数据与生成数据一起作为新的训练样本。
(3)词向量生成装置,词向量生成装置的作用是将词语转化为 高维向量,用以输入到模型中。
(4)神经网络训练装置,用以搭建系统所用的深度学习模型;
所述神经网络搭建方式是:定义模型的输入序列的同时,准备好 其训练标签;定义输入样本X=[x1,…,xn],其对应标签为Y=[y1,…,yn]; 其中,yi为第i方面的标签;将数据前向输入到模型中,根据其对应 标签反向传播,通过优化模型权重W来减少损失;
利用注意力机制来关注句子中对不同方面的侧重点,形成情感语 义矩阵,一次性预测所有方面的情感;
(5)神经网络预测装置,用以检验模型学习能力并投入到实际 应用;
将待预测样本输入到预训练好的模型中,将模型预测结果的最大 值作为模型预测结果。
与现有技术相比,传统的神经网络结构通常是将文本转化为单一 语义向量,例如RCNN,LSTM+Attention等,但是由于文本往往蕴 含多个方面的不同情感,单一语义向量可能无法准确预测所有方面的 情感,需要重复预测。而本发明通过构建Attn-Bi-LCNN模型,模型 输出结果为情感语义矩阵,矩阵的每一行即为一个方面的情感,大大 提高了模型的精准度与实际应用时的预测速度,从而使本发明的方法 适用于文本的方面级细粒度情感分类。
【附图说明】
图1为本发明的Attn-Bi-LCNN模型图;
图2为本发明中模型结构中的注意力层具体结构;
图3为全连接网络结构图;
图4为实施例1的流程图。
【具体实施方式】
以下实施例用于非限制性地解释本发明的技术方案。
实施例1
为了实现评论文本方面级细粒度情感分析,借助现有的神经网络 技术,本发明在神经网络训练前加入神经网络权重的预处理。在神经 网络计算过程中,其前向传播的本质即为矩阵乘法,而神经网络中的 参数本质形式为参数矩阵。全连接神经网络如图3所示。
全连接神经网络由三层构成:输入层、隐藏层、输出层。其中输 入层代表输入数据,用向量x表示,在上图中x∈3×1的列向量。隐藏 层代表神经网络的权重层,其中包含隐藏层权重,以图3为例,隐藏层 权重即为w∈4*3。在神经网络的前项计算中,数据由输入层流向隐藏 层并参与计算,其计算结果o的数学表达式如公式(1)所示。
o=w*x (1)
其中,o为大小为4×1的列向量。在上述计算过程中,表明神经网 络的本质其实是矩阵乘法,输入数据是已知的,但是隐藏层的神经网 络权重却是未知的,需要人为进行初始化,如果初始化的初始权重随 意设置,可能会引起前向传播计算爆炸或计算消失等问题。如果初始 化矩阵数值过大,并且神经网络层数较深,那么数据每一次经过隐藏 层都会对原有结果进行放大,从而导致输出结果过大。输出结果过大 则会导致神经网络在反向传播过程中更新缓慢,从而导致学习缓慢, 甚至致使神经网络学习器无法学习。同理,如果神经网络初始权重过 小,则会导致最终输出结果过小,从而导致输出结果计算的损失收敛缓慢或无法收敛,导致神经网络无法进行学习。
为了避免上述问题的出现,对神经网络的初始化显得尤为重要。 常见的网络初始化有正态分布初始化,Kaiming初始化等。
其中正态分布初始化的意思是将神经网络的初始化权重按照正态 分布进行初始化,其中正态分布的期望与方差需要根据具体情况人为 设置。
Kaiming初始化也称为Kaiming均匀分布,由何凯明提出。其初始 化表达为参数为bound的均匀分布:μ=(-bound,bound)。其中bound 计算方式由公式(2)所示。
Figure BDA0002618494640000091
其中,a代表ReLU激活函数的负斜率,fan_in代表保持前向传播的 权重方差的数量级。
为避免前向传播中出现输出结果爆炸或者结果消失等现象,本发 明采用正态分布初始化和Kaiming初始化相结合的方式对神经网络的 隐藏层进行权重初始化,其中全连接层采用正态分布初始化,模型中 的卷积层采用Kaiming初始化,通过两种初始化结合的方式对网络模型 各个代表层进行权重初始化。本发明的网络权重初始化算法如下:
Figure BDA0002618494640000092
假定训练句子s={W1,W2,…,Wi,…,Wn},其中Wi代表句子 中第i个词,句子共有n个词。模型的输入即为训练句子s的词向量矩阵 V,其中V∈Rn×d,d为词语向量化维度。句子矩阵的第i行即为句子中 Wi的词向量表示。
方面级别细粒度情感分类就是将训练数据输入到模型中,并由模 型判断个方面情感极性。例如句子“这个酒店环境很好,就是有些贵”, 需要将句子分词之后去除停用词之后得到的结果进行向量化,并将向 量化之后的句子矩阵输入到模型中。当判断“环境”方面时,模型输 出应为积极;当判断“价格”方面时,模型输入结果为消极。
通过采用批处理随机梯度下降和随机梯度下降相结合的方式,即 每次输入模型中的数据为若干条或单条待训练文本。因为循环神经网 络能够处理任意长度的文本序列,所以在输入数据中需要我们对数据 进行可变长度处理——对较短长度的句子进行填充。最终输入到模型 中的数据大小为RB×L×d,其中B为批处理数据量,L为批处理数据中句 子最大长度,d为词向量维度。
当确定好输入数据以及采用深度学习方法后,下一步即是训练模 型。模型的训练本质上就是对模型中参数进行优化更新,找到最合适 的参数集合。与此同时,为了更好更快地找到参数最优近似解,本发 明采用批处理随机梯度下降法与随机梯度下降相结合的方式:即每次 训练所有数据中的一部分或其中一个,然后利用上述介绍的反向传播 算法进行参数更新,等所有数据完成一次训练即为一轮训练,随后进 行多轮训练。梯度下降法与其他更新方式相比,梯度下降法需要选择 步长,随后进行迭代求解,梯度下降法公式如公式(7)所示:
w=w′-ηΔ (7)
其中,w代表更新之后的权重,w'代表更新之前的权重,η代表学 习率,Δ代表网络中的权重梯度。
涉及到更新的权重如公式(8)所示:
P={WR,WC,WA,WO} (8)
其中WR为循环神经网络层权重,WC为卷积层权重,WA为注意力 层权重,WO为输出层网络权重。
文本的情感分析是自言语言处理研究的重要领域之一,情感分析 的目的就是挖掘出文本所蕴含的情感极性。传统的情感分析主要是针 对整个句子的情感极性。本人在前人研究的基础上,结合当下的深度 学习技术,对方面级细粒度文本情感分析问题进行了更加深入的研究, 研究成果包含以下几个方面:
针对深度学习下的数据不平衡问题,提出了BB算法。针对每一次 训练样本的标签分布,动态生成平衡样本,使得标签分布均匀。很大 程度避免了学习器分类倾向问题。同时,为避免由于神经网络过深导 致输出值消失问题,本文设计了一种权重初始化方法:将正态分布与 Kaiming分布相结合,达到输出值收敛的目的。
针对CNN与LSTM提取特征的特点,本发明将二者结合起来进行 特征提取工作。利用注意力机制关注句子不同部位的特点生成情感语 义矩阵。与传统模型生成情感向量不同,语义矩阵包含情感更为丰富, 能够同时预测不同方面的不同情感。同时,模型在实际应用时,与其 他模型相比,预测速度更快。
图4给出了一个方面级细粒度情感预测实例。
以评论文本“酒店卫生很好,价格也便宜,但是服务有点一般” 为例,首先对文本进行预处理,得到文本中的方面词及对应的标签“酒 店卫生很好价格便宜服务一般”,进行平衡处理后得到平衡标签 “酒店卫生一般”。对平衡衡样本与原始样本中的中文词语进行向量 化,得到:
[1,2,3,4,5,6,7]
[1,2,7,0,0,0,0]
将它作为Attn-Bi-LCNN模型Embedding层的输入,通过神经网络 权重预处理进行初始化,转换为文本矩阵:
[0.1,0.2],
[0.3,0.4],
[0.5,0.6],
[0.7,0.8],
[0.9,1.0],
[1.1,1.2]
[1.3,1.4],
[[0.1,0.2],
[0.3,0.4],
[1.3,1.4],
[0,0],
[0,0],
[0,0],
[0,0]].
然后,通过LSTM层提取句子中单词之间的顺序特征得到文本高维 语义表示矩阵,然后由CNN层通过一维卷积提取高维语义表示中的词 与词之间的关系,再由Attention层计算不同方面的情感语义矩阵,得 出注意力矩阵,然后与CNN层输出相乘,通过隐藏层和输出层得到判 断结果矩阵。
本发明通过平衡处理和构建Attn-Bi-LCNN模型,能够有效输出 情感语义矩阵,提高了模型的精准度与实际应用时的预测速度,从而 使本发明的方法适用于文本的方面级细粒度情感分类。

Claims (5)

1.一种基于深度学习的评论文本方面级情感分类方法,所述方法包括以下步骤:
(1)将评论文本进行预处理,所述预处理包括分词和去除停用词,得到文本中的方面词及对应的标签;
(2)对所述方面词及对应的标签进行平衡处理,获得评论文本的平衡标签,根据所述平衡标签生成平衡样本;
(3)将平衡样本与原始样本中的中文词语进行向量化,获得平衡样本中的词向量;
(4)将所述词向量输入到模型中进行评论结果的预测;
所述的模型是根据深度神经网络构建的深度学习模型,通过方面词的词向量与句子其他词语进行相似度计算,生成平衡样本的方面情感语义矩阵;
利用情感语义矩阵同时计算所述平衡样本内所有方面的情感倾向;所述模型根据训练文本的标签来计算模型损失,通过模型损失的反向传播优化神经网络中的权重;
(5)所述模型的输出结果采用Softmax函数进行激活:
Figure FDA0002618494630000011
其中ei为对应标签得分,Softmax函数将得分转换为0-1之内的概率值,概率值最大的类别即为模型预测类别。
2.根据权利要求1所述的评论文本方面级情感分类方法,其特征在于针对情感分类问题,通过Attn-Bi-LCNN模型,利用方面词向量进行注意力机制计算,形成情感语义矩阵。
3.根据权利要求2所述的评论文本方面级情感分类方法,其特征在于所述Attn-Bi-LCNN模型结构包括Embedding层、Bi-LSTM层、CNN层、Attention层、隐藏层和输出层,其中:
(1)Embedding层
模型中的Embedding层用于将词语映射为词向量,训练文本通过Embedding层之后被转换为文本矩阵,矩阵的第i行即为句子中第i个词的词向量,其输出为S=RL×d,其中,文本矩阵大小为L×d,中L为矩阵行数,也是句子词语数,d为词语向量化维度;
(2)Bi-LSTM层
Bi-LSTM层用于提取句子中单词之间的顺序特征,并对句子表示进行记忆存储;当文本矩阵中的词语按照时间顺序输入到Bi-LSTM层中,会获取当前词的前向语义表示ht和反向语义表示h’t,并将所述前向语义表示ht和反向语义表示h’t拼凑得到当前词的完整语义表示[ht,h’t];
文本向量矩阵经过Bi-LSTM层的输出为文本的高维语义表示,其输出为
Figure FDA0002618494630000021
其中,Slstm代表文本高维语义表示矩阵,l代表句子长度,dlstm代表Bi-LSTM隐藏层维度大小,矩阵的每一行即为对应词的完整语义表示[ht,h't];
(3)CNN层
CNN层用于提取高维语义表示中的词与词之间的关系;其输出为
Figure FDA0002618494630000022
其中,SCNN为卷积之后的句子向量,C代表卷积操作,dCNN代表SCNN维度大小;
(4)Attention层
注意力权重计算公式为A=softmax(Vatanh(WmDT)),其中,A为注意力权重矩阵,矩阵的每一列即代表一个方面的注意力权重;DT代表卷积神经网络卷积核得出的语义向量所组成的矩阵,矩阵的每一行为di CNN,代表不同就不同卷积核卷积得到的特征向量;Wm代表DT的权重矩阵,Va为方面词词向量矩阵,矩阵的每一行代表训练数据的各个方面词向量化得到的词向量;通过Softmax激活函数对结果进行激活得到注意力权重矩阵A;
得到不同方面的注意力权重之后,将权重矩阵A与卷积层得到的语义向量进行相乘,得到不同方面的情感语义矩阵,输出为S=A×D;
(5)隐藏层
隐藏层实现特征融合和降维;
(6)输出层
输出层激活函数为Softmax函数,其计算结果为模型预测结果,算公式为
Figure FDA0002618494630000031
其中,分子ei代表向量中第i个元素的值;分母∑jej代表向量中所有元素的和。
4.根据权利要求3所述的评论文本方面级情感分类方法,其特征在于采用正态分布初始化和Kaiming初始化相结合的方式对所述隐藏层进行权重初始化,其中,全连接层采用正态分布初始化,模型中的卷积层采用Kaiming初始化,通过两种初始化结合的方式对网络模型各个代表层进行权重初始化。
5.实现权利要求1-4中任一项权利要求书所述方法的系统,所述系统包括:
(1)对文本数据预处理装置,所述预处理包括分词和去除停用词,得到文本中的方面词及对应的标签;
(2)数据平衡装置,针对原始文本动态生成平衡标签,根据平衡标签生成新的样本。将原始数据与生成数据一起作为新的训练样本。
(3)词向量生成装置,词向量生成装置的作用是将词语转化为高维向量,用以输入到模型中。
(4)神经网络训练装置,用以搭建系统所用的深度学习模型;
所述神经网络搭建方式是:定义模型的输入序列的同时,准备好其训练标签;定义输入样本X=[x1,…,xn],其对应标签为Y=[y1,…,yn];其中,yi为第i方面的标签;将数据前向输入到模型中,根据其对应标签反向传播,通过优化模型权重W来减少损失;
利用注意力机制来关注句子中对不同方面的侧重点,形成情感语义矩阵,一次性预测所有方面的情感;
(5)神经网络预测装置,用以检验模型学习能力并投入到实际应用;
将待预测样本输入到预训练好的模型中,将模型预测结果的最大值作为模型预测结果。
CN202010776165.3A 2020-08-05 2020-08-05 基于深度学习的评论文本方面级情感分类方法及系统 Active CN111858945B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010776165.3A CN111858945B (zh) 2020-08-05 2020-08-05 基于深度学习的评论文本方面级情感分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010776165.3A CN111858945B (zh) 2020-08-05 2020-08-05 基于深度学习的评论文本方面级情感分类方法及系统

Publications (2)

Publication Number Publication Date
CN111858945A true CN111858945A (zh) 2020-10-30
CN111858945B CN111858945B (zh) 2024-04-23

Family

ID=72972152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010776165.3A Active CN111858945B (zh) 2020-08-05 2020-08-05 基于深度学习的评论文本方面级情感分类方法及系统

Country Status (1)

Country Link
CN (1) CN111858945B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112199956A (zh) * 2020-11-02 2021-01-08 天津大学 一种基于深度表示学习的实体情感分析方法
CN112329474A (zh) * 2020-11-02 2021-02-05 山东师范大学 融合注意力的方面级用户评论文本情感分析方法及系统
CN112463966A (zh) * 2020-12-08 2021-03-09 北京邮电大学 虚假评论检测模型训练方法、检测方法及装置
CN112487143A (zh) * 2020-11-30 2021-03-12 重庆邮电大学 一种基于舆情大数据分析的多标签文本分类方法
CN112667816A (zh) * 2020-12-31 2021-04-16 华中师范大学 一种基于深度学习的方面级情感分析方法及系统
CN112667818A (zh) * 2021-01-04 2021-04-16 福州大学 融合gcn与多粒度注意力的用户评论情感分析方法及系统
CN112765353A (zh) * 2021-01-22 2021-05-07 重庆邮电大学 一种基于科研文本的生物医学学科分类方法及装置
CN112860905A (zh) * 2021-04-08 2021-05-28 深圳壹账通智能科技有限公司 文本信息抽取方法、装置、设备及可读存储介质
CN112860894A (zh) * 2021-02-10 2021-05-28 北京百度网讯科技有限公司 情感分析模型的训练方法、情感分析方法、装置和设备
CN113220876A (zh) * 2021-04-16 2021-08-06 山东师范大学 一种用于英文文本的多标签分类方法及系统
CN113254637A (zh) * 2021-05-07 2021-08-13 山东师范大学 一种融合语法的方面级文本情感分类方法及系统
CN113343665A (zh) * 2021-05-14 2021-09-03 合肥工业大学 基于方面级细粒度的商品评论情感分析方法和系统
CN113378545A (zh) * 2021-06-08 2021-09-10 北京邮电大学 一种方面级情感分析方法、装置、电子设备及存储介质
CN113495960A (zh) * 2021-06-03 2021-10-12 创络(上海)数据科技有限公司 一种基于情感分类的多层归因图谱构建方法
CN113688911A (zh) * 2021-08-26 2021-11-23 安徽咪鼠科技有限公司 一种基于softmax的文本多标签分类方法
CN113761910A (zh) * 2021-03-17 2021-12-07 中科天玑数据科技股份有限公司 一种融合情感特征的评论文本细粒度情感分析方法
CN113806545A (zh) * 2021-09-24 2021-12-17 重庆理工大学 基于标签描述生成的评论文本情感分类方法
CN113869065A (zh) * 2021-10-15 2021-12-31 梧州学院 一种基于“单词-短语”注意力机制的情感分类方法和系统
CN114358201A (zh) * 2022-01-11 2022-04-15 平安科技(深圳)有限公司 基于文本的情感分类方法和装置、计算机设备、存储介质
CN115146704A (zh) * 2022-05-27 2022-10-04 中睿信数字技术有限公司 基于分布式数据库和机器学习的事件自动分类方法和系统
CN116541523A (zh) * 2023-04-28 2023-08-04 重庆邮电大学 一种基于大数据的法律判决舆情分类方法
CN117852507A (zh) * 2024-03-07 2024-04-09 南京信息工程大学 一种餐馆回头客预测模型、方法、系统及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776581A (zh) * 2017-02-21 2017-05-31 浙江工商大学 基于深度学习的主观性文本情感分析方法
CN108038492A (zh) * 2017-11-23 2018-05-15 西安理工大学 一种基于深度学习的感性词向量及情感分类方法
CN108427670A (zh) * 2018-04-08 2018-08-21 重庆邮电大学 一种基于语境词向量和深度学习的情感分析方法
CN109165387A (zh) * 2018-09-20 2019-01-08 南京信息工程大学 一种基于gru神经网络的中文评论情感分析法
CN110569508A (zh) * 2019-09-10 2019-12-13 重庆邮电大学 融合词性和自注意力机制的情感倾向性分类方法及系统
AU2020100710A4 (en) * 2020-05-05 2020-06-11 Chen, Dadu Mr A method for sentiment analysis of film reviews based on deep learning and natural language processing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776581A (zh) * 2017-02-21 2017-05-31 浙江工商大学 基于深度学习的主观性文本情感分析方法
CN108038492A (zh) * 2017-11-23 2018-05-15 西安理工大学 一种基于深度学习的感性词向量及情感分类方法
CN108427670A (zh) * 2018-04-08 2018-08-21 重庆邮电大学 一种基于语境词向量和深度学习的情感分析方法
CN109165387A (zh) * 2018-09-20 2019-01-08 南京信息工程大学 一种基于gru神经网络的中文评论情感分析法
CN110569508A (zh) * 2019-09-10 2019-12-13 重庆邮电大学 融合词性和自注意力机制的情感倾向性分类方法及系统
AU2020100710A4 (en) * 2020-05-05 2020-06-11 Chen, Dadu Mr A method for sentiment analysis of film reviews based on deep learning and natural language processing

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王铃;陶宏才;: "基于LSTM前融合中文情感倾向分类模型的研究", 成都信息工程大学学报, no. 02 *
高统超;张云华;: "基于cw2vec与BiLSTM的中文商品评论情感分类", 软件导刊, no. 04 *

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112199956A (zh) * 2020-11-02 2021-01-08 天津大学 一种基于深度表示学习的实体情感分析方法
CN112329474A (zh) * 2020-11-02 2021-02-05 山东师范大学 融合注意力的方面级用户评论文本情感分析方法及系统
CN112329474B (zh) * 2020-11-02 2022-10-04 山东师范大学 融合注意力的方面级用户评论文本情感分析方法及系统
CN112487143A (zh) * 2020-11-30 2021-03-12 重庆邮电大学 一种基于舆情大数据分析的多标签文本分类方法
CN112487143B (zh) * 2020-11-30 2022-11-18 重庆邮电大学 一种基于舆情大数据分析的多标签文本分类方法
CN112463966A (zh) * 2020-12-08 2021-03-09 北京邮电大学 虚假评论检测模型训练方法、检测方法及装置
CN112463966B (zh) * 2020-12-08 2024-04-05 北京邮电大学 虚假评论检测模型训练方法、检测方法及装置
CN112667816A (zh) * 2020-12-31 2021-04-16 华中师范大学 一种基于深度学习的方面级情感分析方法及系统
CN112667816B (zh) * 2020-12-31 2022-07-05 华中师范大学 一种基于深度学习的方面级情感分析方法及系统
CN112667818A (zh) * 2021-01-04 2021-04-16 福州大学 融合gcn与多粒度注意力的用户评论情感分析方法及系统
CN112765353A (zh) * 2021-01-22 2021-05-07 重庆邮电大学 一种基于科研文本的生物医学学科分类方法及装置
CN112765353B (zh) * 2021-01-22 2022-11-04 重庆邮电大学 一种基于科研文本的生物医学学科分类方法及装置
CN112860894A (zh) * 2021-02-10 2021-05-28 北京百度网讯科技有限公司 情感分析模型的训练方法、情感分析方法、装置和设备
CN112860894B (zh) * 2021-02-10 2023-06-27 北京百度网讯科技有限公司 情感分析模型的训练方法、情感分析方法、装置和设备
CN113761910A (zh) * 2021-03-17 2021-12-07 中科天玑数据科技股份有限公司 一种融合情感特征的评论文本细粒度情感分析方法
CN112860905A (zh) * 2021-04-08 2021-05-28 深圳壹账通智能科技有限公司 文本信息抽取方法、装置、设备及可读存储介质
CN113220876A (zh) * 2021-04-16 2021-08-06 山东师范大学 一种用于英文文本的多标签分类方法及系统
CN113220876B (zh) * 2021-04-16 2022-12-06 山东师范大学 一种用于英文文本的多标签分类方法及系统
CN113254637A (zh) * 2021-05-07 2021-08-13 山东师范大学 一种融合语法的方面级文本情感分类方法及系统
CN113343665B (zh) * 2021-05-14 2024-07-26 合肥工业大学 基于方面级细粒度的商品评论情感分析方法和系统
CN113343665A (zh) * 2021-05-14 2021-09-03 合肥工业大学 基于方面级细粒度的商品评论情感分析方法和系统
CN113495960A (zh) * 2021-06-03 2021-10-12 创络(上海)数据科技有限公司 一种基于情感分类的多层归因图谱构建方法
CN113378545B (zh) * 2021-06-08 2022-02-11 北京邮电大学 一种方面级情感分析方法、装置、电子设备及存储介质
CN113378545A (zh) * 2021-06-08 2021-09-10 北京邮电大学 一种方面级情感分析方法、装置、电子设备及存储介质
CN113688911A (zh) * 2021-08-26 2021-11-23 安徽咪鼠科技有限公司 一种基于softmax的文本多标签分类方法
CN113806545A (zh) * 2021-09-24 2021-12-17 重庆理工大学 基于标签描述生成的评论文本情感分类方法
CN113806545B (zh) * 2021-09-24 2022-06-17 重庆理工大学 基于标签描述生成的评论文本情感分类方法
CN113869065A (zh) * 2021-10-15 2021-12-31 梧州学院 一种基于“单词-短语”注意力机制的情感分类方法和系统
CN113869065B (zh) * 2021-10-15 2024-04-12 梧州学院 一种基于“单词-短语”注意力机制的情感分类方法和系统
WO2023134083A1 (zh) * 2022-01-11 2023-07-20 平安科技(深圳)有限公司 基于文本的情感分类方法和装置、计算机设备、存储介质
CN114358201A (zh) * 2022-01-11 2022-04-15 平安科技(深圳)有限公司 基于文本的情感分类方法和装置、计算机设备、存储介质
CN115146704A (zh) * 2022-05-27 2022-10-04 中睿信数字技术有限公司 基于分布式数据库和机器学习的事件自动分类方法和系统
CN115146704B (zh) * 2022-05-27 2023-11-07 中睿信数字技术有限公司 基于分布式数据库和机器学习的事件自动分类方法和系统
CN116541523A (zh) * 2023-04-28 2023-08-04 重庆邮电大学 一种基于大数据的法律判决舆情分类方法
CN116541523B (zh) * 2023-04-28 2024-08-16 芽米科技(广州)有限公司 一种基于大数据的法律判决舆情分类方法
CN117852507A (zh) * 2024-03-07 2024-04-09 南京信息工程大学 一种餐馆回头客预测模型、方法、系统及设备
CN117852507B (zh) * 2024-03-07 2024-05-17 南京信息工程大学 一种餐馆回头客预测模型、方法、系统及设备

Also Published As

Publication number Publication date
CN111858945B (zh) 2024-04-23

Similar Documents

Publication Publication Date Title
CN111858945B (zh) 基于深度学习的评论文本方面级情感分类方法及系统
CN106383815B (zh) 结合用户和产品信息的神经网络情感分析方法
CN108021616B (zh) 一种基于循环神经网络的社区问答专家推荐方法
CN110245229B (zh) 一种基于数据增强的深度学习主题情感分类方法
CN111339255B (zh) 目标情感分析的方法、模型训练方法、介质和设备
CN109902177B (zh) 基于双通道卷积记忆神经网络的文本情感分析方法
CN109492229B (zh) 一种跨领域情感分类方法和相关装置
Ruangkanokmas et al. Deep belief networks with feature selection for sentiment classification
Dong et al. A commodity review sentiment analysis based on BERT-CNN model
CN110347837A (zh) 一种心血管疾病非计划再住院风险预测方法
CN108984530A (zh) 一种网络敏感内容的检测方法及检测系统
CN111767741A (zh) 一种基于深度学习和tfidf算法的文本情感分析方法
CN106372058A (zh) 一种基于深度学习的短文本情感要素抽取方法及装置
CN110765769B (zh) 一种基于子句特征的实体属性依赖情感分析方法
CN110929034A (zh) 一种基于改进lstm的商品评论细粒度情感分类方法
CN108388654B (zh) 一种基于转折句语义块划分机制的情感分类方法
CN109840328B (zh) 深度学习商品评论文本情感倾向分析方法
CN112131345B (zh) 文本质量的识别方法、装置、设备及存储介质
CN111814453A (zh) 基于BiLSTM-TextCNN的细粒度情感分析方法
CN113094502A (zh) 一种多粒度外卖用户评论情感分析方法
Zouzou et al. Text sentiment analysis with CNN & GRU model using GloVe
CN112069320A (zh) 一种基于跨度的细粒度情感分析方法
CN116579347A (zh) 一种基于动态语义特征融合的评论文本情感分析方法、系统、设备及介质
Dedeepya et al. Detecting cyber bullying on twitter using support vector machine
Dangi et al. An efficient model for sentiment analysis using artificial rabbits optimized vector functional link network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant