CN109902174B - 一种基于方面依赖的记忆网络的情感极性检测方法 - Google Patents
一种基于方面依赖的记忆网络的情感极性检测方法 Download PDFInfo
- Publication number
- CN109902174B CN109902174B CN201910124240.5A CN201910124240A CN109902174B CN 109902174 B CN109902174 B CN 109902174B CN 201910124240 A CN201910124240 A CN 201910124240A CN 109902174 B CN109902174 B CN 109902174B
- Authority
- CN
- China
- Prior art keywords
- sentence
- vector
- output
- gru
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 title claims abstract description 17
- 230000001419 dependent effect Effects 0.000 title claims abstract description 9
- 239000013598 vector Substances 0.000 claims abstract description 112
- 230000008447 perception Effects 0.000 claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims description 32
- 238000012360 testing method Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 230000007935 neutral effect Effects 0.000 claims description 3
- 239000013604 expression vector Substances 0.000 claims 9
- 238000004364 calculation method Methods 0.000 abstract 1
- 230000036962 time dependent Effects 0.000 abstract 1
- 210000004027 cell Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Machine Translation (AREA)
Abstract
本发明公开了一种基于方面依赖的记忆网络的情感极性检测方法,该方法利用GRU网络对句子中的各个方面进行同时分类,并对它们相应的句子表示进行时间依赖处理,从而达到情感极性的检测;通过使用基于注意力的GRU网络将一个句子连同其所有方面项,生成相对于每个方面的句子感知表示向量,以此获得面向方面的特征,并将多个感知方面句子表示向量放入第二个GRU神经网络,将输出与生成的目标方面表示向量放入注意力层进行计算,并放入第三个GRU神经网络,将计算后的结果与第三个GRU网络的输出进行计算后与生成的目标方面表示向量相加,使用softmax分类器预测其情感极性,在SemEval 2014 ABSA数据集上评估我们的模型。
Description
技术领域
本发明涉及服务计算技术领域,具体是涉及一种基于方面依赖的记忆网络的情感极性检测方法。
背景技术
随着微博网站的兴起,人们可以用尽可能少的词汇来接触到大量的人群。微博和新闻是在线发送信息的常用方法之一,这些文本的动态性质可以有效地用于金融领域,以跟踪和预测股票价格,这些可以由个人或组织用于做出与任何公司或股票相关的明智预测,这引起了金融领域情感极性分析的一个有趣问题。一项研究表明,从Twitter提要中获得的公众情感的情感极性分析可用于最终预测个别股票价格的变动。一个有效的情感极性分析系统是参与金融股票市场价格预测的公司的核心组成部分。
因此,在互联网技术的飞速增长下,提供一个准确的情感极性检测方法可以为上述问题提供一个良好的解决思路。
发明内容
针对现有的情感极性检测方法存在的检测准确度不高的问题,本发明的目的在于提供一种基于方面依赖的记忆网络的情感极性检测方法,以解决上述背景技术中的问题。
为实现上述目的,本发明提供如下技术方案:
一种基于方面依赖的记忆网络的情感极性检测方法,包括以下步骤:
步骤1:收集数据集文档,将数据集按主题分为宾馆评论与笔记本电脑评论两类。将标签定义为三类。按照数据集中数据的分布将数据分为训练集与测试集。将训练组与测试组中的标签集转化为one-hot向量;
步骤2:对训练组与测试组进行文本预处理:使用Glove模型将训练组与测试组中的方面内容训练成方面向量。并使用Glove模型将每个句子中的每个单词训练成词向量。将一个句子中的多个词向量分别与多个方面向量进行连接后放入GRU网络,后将输出通过注意力层得到一个句子的多个方面感知句子表示向量。同时生成目标方面表示向量;
步骤3:将得到的多个方面感知句子表示向量放入第二个GRU网络,将输出与目标方面表示向量相乘后放入注意力层,将多个方面的感知句子表示向量放入第三个GRU神经网络,将该神经网络的输出与注意力层的输出相乘后再与目标方面表示向量相加,相加之后进行分类。最后对该整体的神经网络模型进行训练,不断修改参数直至分类效果达到最优。
作为本发明进一步的方案,步骤1中对评论内容加标签的过程为:将标签分为三类,分别为:1分、0分、2分,分别对应情绪中的正面、负面和中性。并使用one-hot工具将标签转化为one-hot向量。
作为本发明进一步的方案,步骤2,具体包括以下子步骤:
步骤2.2:将一个句子中的多个词向量分别与多个方面向量进行连接后放入GRU网络,GRU网络描述如下:
z=σ(xtUz+st-1Wz) Ⅰ
r=σ(xtUr+st-1Wr) Ⅱ
ht=tanh(xtUh+(st-1*r)Wh) Ⅲ
st=(1-z)*ht+z*st-1 Ⅳ
其中,ht和st分别是时间t下的隐藏输出和单元状态。xt为输入。而Uz、Wz、Ur、Wr、Uh、Wh是需要学习的参数矩阵。
α=softmax(z) Ⅵ
其中,Ws是要学习的参数矩阵,bs为偏移量,而αT为α的转置向量。
步骤2.4:通过一个全连接层生成目标方面表示向量q,具体过程如式Ⅷ所示:
作为本发明进一步的方案,步骤3包括将步骤2中的得到的方面感知句子表示向量放入第二个GRU神经网络,将该神经网络的输出与注意力层的输出相乘后再与目标方面表示向量相加,最后进行整合并分类,具体包括以下步骤:
步骤3.1:将得到的多个方面感知句子表示向量放入第二个GRU网络,将该神经网络的输出Q与目标方面表示向量q相乘后放入注意力层。具体过程如下所示:
z=qQT IX
β=softmax(z) X
其中,β是目标方面与各个方面之间的注意力得分。
步骤3.2:将输出Q放入第三个GRU网络中,将输出Q′与目标方面与各个方面之间的注意力得分β相乘。具体过程如下所示:
Q′=GRU(Q)Ⅺ
ο=βTQ′Ⅻ
步骤3.3:将目标方面表示向量q与第三个GRU网络的输出ο相加以生成精确的目标方面表示向量,使用softmax函数对其进行分类。
步骤3.4:在步骤3.3之后,将softmax函数映射的结果与one-hot标签向量进行比对,若不相同,则通过反向传播算法对模型的参数进行调整;若相同,则参数不变,经过迭代后训练出最优参数。
综上所述,本发明与现有技术相比具有以下有益效果:
(1)使用包含两个主题的数据集对模型进行训练,具有较好的通用性;
(2)单纯的基于内容的情感极性检测方法效果不准确,本方法通过使用方面依赖和注意力的多个GRU神经网络,提高了检测结果的准确性;
(3)使用多个方面的句子来获得句子表示向量放入GRU网络,提高了模型分类的准确度;
(4)本检测方法的精度达到了79.1%,能够胜任大部分的检测任务。
为更清楚地阐述本发明的结构特征和功效,下面结合附图与具体实施例来对本发明进行详细说明。
附图说明
图1为基于方面依赖和注意力记忆网络的结构示意图。
图2为生成第i个方面感知句子表示向量的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案做进一步的说明。
结合图1至图2,一种基于方面依赖的记忆网络的情感极性检测方法,包括以下步骤:
步骤1:收集数据集文档,将数据集按主题分为宾馆评论与笔记本电脑评论两类。将标签定义为三类。按照数据集中数据的分布将数据分为训练集与测试集。将训练组与测试组中的标签集转化为one-hot向量;
步骤2:对训练组与测试组进行文本预处理:使用Glove模型将训练组与测试组中的方面内容训练成方面向量。并使用Glove模型将每个句子中的每个单词训练成词向量。将一个句子中的多个词向量分别与多个方面向量进行连接后放入GRU网络,后将输出通过注意力层得到一个句子的多个方面感知句子表示向量。同时生成目标方面表示向量;
步骤3:将得到的多个方面感知句子表示向量放入第二个GRU网络,将输出与目标方面表示向量相乘后放入注意力层,将多个方面的感知句子表示向量放入第三个GRU神经网络,将该神经网络的输出与注意力层的输出相乘后再与目标方面表示向量相加,相加之后进行分类。最后对该整体的神经网络模型进行训练,不断修改参数直至分类效果达到最优。
进一步的,步骤1中对评论内容加标签的过程为:将标签分为三类,分别为:1分、0分、2分,分别对应情绪中的正面、负面和中性。并使用one-hot工具将标签转化为one-hot向量。
进一步的,步骤2,具体包括以下子步骤:
步骤2.2:将一个句子中的多个词向量分别与多个方面向量进行连接后放入GRU网络,GRU网络描述如下:
z=σ(xtUz+st-1Wz) Ⅰ
r=σ(xtUr+st-1Wr) Ⅱ
ht=tanh(xtUh+(st-1*r)Wh) Ⅲ
st=(1-z)*ht+z*st-1 Ⅳ
其中,ht和st分别是时间t下的隐藏输出和单元状态。xt为输入。而Uz、Wz、Ur、Wr、Uh、Wh是需要学习的参数矩阵。
α=softmax(z) Ⅵ
其中,Ws是要学习的参数矩阵,bs为偏移量,而αT为α的转置向量。
步骤2.4:通过一个全连接层生成目标方面表示向量q,具体过程如式Ⅷ所示:
在进一步的,步骤3包括将步骤2中的得到的方面感知句子表示向量放入第二个GRU神经网络,将该神经网络的输出与注意力层的输出相乘后再与目标方面表示向量相加,最后进行整合并分类,具体包括以下步骤:
步骤3.1:将得到的多个方面感知句子表示向量放入第二个GRU网络,将该神经网络的输出Q与目标方面表示向量q相乘后放入注意力层。具体过程如下所示:
z=qQT Ⅸ
β=softmax(z) X
其中,β是目标方面与各个方面之间的注意力得分。
步骤3.2:将输出Q放入第三个GRU网络中,将输出Q′与目标方面与各个方面之间的注意力得分β相乘。具体过程如下所示:
Q′=GRU(Q) Ⅺ
ο=βTQ′ Ⅻ
步骤3.3:将目标方面表示向量q与第三个GRU网络的输出ο相加以生成精确的目标方面表示向量,使用softmax函数对其进行分类。
步骤3.4:在步骤3.3之后,将softmax函数映射的结果与one-hot标签向量进行比对,若不相同,则通过反向传播算法对模型的参数进行调整;若相同,则参数不变,经过迭代后训练出最优参数。
实施例1
下面是应用本发明具体实施例:
使用SemEval 2014ABSA数据集来验证本方法。该数据集分为两个不同的主题,一部分为酒店评论数据,另一部分为笔记本电脑评论数据。其中,酒店评论数据集包含3602条训练数据和1120条测试数据。而笔记本电脑评论包含2313条训练数据和638条测试数据。
执行步骤1,收集数据集文档,将标签定义为三类。情感极性为正的值设为“1”,情感极性为中的值设为“2”,情感极性为负的值设为“0”。将数据的训练集与测试集中的标签集转化为one-hot向量
执行步骤2,对训练组与测试组进行文本预处理:使用Glove模型将训练组与测试组中的方面内容训练成方面向量。并使用Glove模型将每个句子中的每个单词训练成词向量。将一个句子中的多个词向量分别与多个方面向量进行连接后放入GRU网络,后将输出通过注意力层得到一个句子的多个方面感知句子表示向量。同时生成目标方面表示向量。
执行步骤3,利用步骤2得到的方面感知句子表示向量和目标方面表示向量,放入第二个GRU网络,将输出与目标方面表示向量相乘后放入注意力层,将多个方面的感知句子表示向量放入第三个GRU神经网络,将该神经网络的输出与注意力层的输出相乘后再与目标方面表示向量相加,相加之后进行分类。对该整体的神经网络模型进行训练。其中模型参数如表1所示:
表1模型参数设置
参数描述 | 数值 |
Drop率 | 0.3 |
Batch大小 | 30 |
Epochs数 | 20 |
GRU神经元数 | 150 |
训练集验证集划分比例 | 9:1 |
定义的损失函数如下:
在步骤3之后,模型参数基本固定后,用测试集对模型进行评价。
以上结合具体实施例描述了本发明的技术原理,仅是本发明的优选实施方式。本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式,这些方式都将落入本发明的保护范围之内。
Claims (1)
1.一种基于方面依赖的记忆网络的情感极性检测方法,其特征在于,包括以下步骤:
步骤1:收集数据集文档,将数据集按主题分为宾馆评论与笔记本电脑评论两类;将标签定义为三类,按照数据集中数据的分布将数据分为训练集与测试集,将训练组与测试组中的标签集转化为one-hot向量;
步骤2:对训练组与测试组进行文本预处理:使用Glove模型将训练组与测试组中的方面内容训练成方面向量,并使用Glove模型将每个句子中的每个单词训练成词向量,将一个句子中的多个词向量分别与多个方面向量进行连接后放入GRU网络,后将输出通过注意力层得到一个句子的多个方面感知句子表示向量,同时生成目标方面表示向量;
步骤3:将得到的多个方面感知句子表示向量放入第二个GRU网络,将输出与目标方面表示向量相乘后放入注意力层,将多个方面的感知句子表示向量放入第三个GRU神经网络,将该神经网络的输出与注意力层的输出相乘后再与目标方面表示向量相加,相加之后进行分类,最后对该整体的神经网络模型进行训练,不断修改参数直至分类效果达到最优;
其中,步骤1中对评论内容加标签的过程为:将标签分为三类,分别为:1分、0分、2分,分别对应情绪中的正面、负面和中性,并使用one-hot工具将标签转化为one-hot向量;
步骤2,具体包括以下子步骤:
步骤2.2:将一个句子中的多个词向量分别与多个方面向量进行连接后放入GRU网络,GRU网络描述如下:
z=σ(xtUz+st-1Wz) I
r=σ(xtUr+st-1Wr) II
ht=tanh(xtUh+(st-1*r)Wh) III
st=(1-z)*ht+z*st-1 IV
其中,ht和st分别是时间t下的隐藏输出和单元状态,xt为输入,而Uz、Wz、Ur、Wr、Uh、Wh是需要学习的参数矩阵;
α=softmax(z) VI
其中,Ws是要学习的参数矩阵,bs为偏移量,而dT为d的转置向量;
步骤2.4:通过一个全连接层生成目标方面表示向量q,具体过程如式VIII所示:
步骤3包括将步骤2中的得到的方面感知句子表示向量放入第二个GRU神经网络,将该神经网络的输出与注意力层的输出相乘后再与目标方面表示向量相加,最后进行整合并分类,具体包括以下步骤:
步骤3.1:将得到的多个方面感知句子表示向量放入第二个GRU网络,将该神经网络的输出Q与目标方面表示向量q相乘后放入注意力层;具体过程如下所示:
z=qQT IX
β=softmx(z) X
其中,β是目标方面与各个方面之间的注意力得分;
步骤3.2:将输出Q放入第三个GRU网络中,将输出Q′与目标方面与各个方面之间的注意力得分β相乘;具体过程如下所示:
Q′=GRU(Q) XI
o=βTQ′ XII
步骤3.3:将目标方面表示向量q与第三个GRU网络的输出o相加以生成精确的目标方面表示向量,使用softmax函数对其进行分类;
步骤3.4:在步骤3.3之后,将softmax函数映射的结果与one-hot标签向量进行比对,若不相同,则通过反向传播算法对模型的参数进行调整;若相同,则参数不变,经过迭代后训练出最优参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910124240.5A CN109902174B (zh) | 2019-02-18 | 2019-02-18 | 一种基于方面依赖的记忆网络的情感极性检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910124240.5A CN109902174B (zh) | 2019-02-18 | 2019-02-18 | 一种基于方面依赖的记忆网络的情感极性检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109902174A CN109902174A (zh) | 2019-06-18 |
CN109902174B true CN109902174B (zh) | 2023-06-20 |
Family
ID=66945093
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910124240.5A Active CN109902174B (zh) | 2019-02-18 | 2019-02-18 | 一种基于方面依赖的记忆网络的情感极性检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109902174B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111274386A (zh) * | 2019-11-21 | 2020-06-12 | 国网浙江杭州市萧山区供电有限公司 | 基于卷积神经网络与多注意力机制的工单文本分类算法 |
CN111985205A (zh) * | 2020-08-05 | 2020-11-24 | 重庆大学 | 一种方面级情感分类模型 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106776581A (zh) * | 2017-02-21 | 2017-05-31 | 浙江工商大学 | 基于深度学习的主观性文本情感分析方法 |
CN107092596A (zh) * | 2017-04-24 | 2017-08-25 | 重庆邮电大学 | 基于attention CNNs和CCR的文本情感分析方法 |
CN108133038A (zh) * | 2018-01-10 | 2018-06-08 | 重庆邮电大学 | 一种基于动态记忆网络的实体级别情感分类系统及方法 |
CN108460009A (zh) * | 2017-12-14 | 2018-08-28 | 中山大学 | 嵌入情感词典的注意力机制循环神经网络文本情感分析法 |
CN108595601A (zh) * | 2018-04-20 | 2018-09-28 | 福州大学 | 一种融入Attention机制的长文本情感分析方法 |
CN108984724A (zh) * | 2018-07-10 | 2018-12-11 | 凯尔博特信息科技(昆山)有限公司 | 利用高维表示提高特定属性情感分类准确率方法 |
-
2019
- 2019-02-18 CN CN201910124240.5A patent/CN109902174B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106776581A (zh) * | 2017-02-21 | 2017-05-31 | 浙江工商大学 | 基于深度学习的主观性文本情感分析方法 |
CN107092596A (zh) * | 2017-04-24 | 2017-08-25 | 重庆邮电大学 | 基于attention CNNs和CCR的文本情感分析方法 |
CN108460009A (zh) * | 2017-12-14 | 2018-08-28 | 中山大学 | 嵌入情感词典的注意力机制循环神经网络文本情感分析法 |
CN108133038A (zh) * | 2018-01-10 | 2018-06-08 | 重庆邮电大学 | 一种基于动态记忆网络的实体级别情感分类系统及方法 |
CN108595601A (zh) * | 2018-04-20 | 2018-09-28 | 福州大学 | 一种融入Attention机制的长文本情感分析方法 |
CN108984724A (zh) * | 2018-07-10 | 2018-12-11 | 凯尔博特信息科技(昆山)有限公司 | 利用高维表示提高特定属性情感分类准确率方法 |
Non-Patent Citations (1)
Title |
---|
方面级情感分析在互联网评论中的应用研究;赵越;《中国优秀硕士学位论文全文数据库信息科技辑》;20181015;论文第四五章 * |
Also Published As
Publication number | Publication date |
---|---|
CN109902174A (zh) | 2019-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Swathi et al. | An optimal deep learning-based LSTM for stock price prediction using twitter sentiment analysis | |
CN110609897B (zh) | 一种融合全局和局部特征的多类别中文文本分类方法 | |
CN109325231B (zh) | 一种多任务模型生成词向量的方法 | |
CN109165294B (zh) | 一种基于贝叶斯分类的短文本分类方法 | |
CN112256866B (zh) | 一种基于深度学习的文本细粒度情感分析算法 | |
CN110728153A (zh) | 基于模型融合的多类别情感分类方法 | |
CN109902174B (zh) | 一种基于方面依赖的记忆网络的情感极性检测方法 | |
Mozafari et al. | Emotion detection by using similarity techniques | |
Wei et al. | Sentiment classification of Chinese Weibo based on extended sentiment dictionary and organisational structure of comments | |
Srinivasarao et al. | Sentiment analysis from email pattern using feature selection algorithm | |
Zou et al. | Deep field relation neural network for click-through rate prediction | |
CN111274396A (zh) | 一种基于外部知识的视角级文本情感分类方法及系统 | |
Jayakody et al. | Sentiment analysis on product reviews on twitter using Machine Learning Approaches | |
Wang et al. | Sentiment analysis of commodity reviews based on ALBERT-LSTM | |
Featherstone et al. | Validating sentiment analysis on opinion mining using self-reported attitude scores | |
Ahmed et al. | Advancement in Bangla Sentiment Analysis: A Comparative Study of Transformer-Based and Transfer Learning Models for E-commerce Sentiment Classification. | |
CN111723127A (zh) | 基于文本摘要情感挖掘的股票趋势预测方法和系统 | |
CN116467451A (zh) | 一种文本分类方法、装置、存储介质以及电子设备 | |
Gyllensten et al. | Distributional term set expansion | |
Gillmann et al. | Quantification of Economic Uncertainty: a deep learning approach | |
Anuradha et al. | Fuzzy based summarization of product reviews for better analysis | |
Jayawickrama et al. | Seeking sinhala sentiment: Predicting facebook reactions of sinhala posts | |
CN114297390A (zh) | 一种长尾分布场景下的方面类别识别方法及系统 | |
CN114595324A (zh) | 电网业务数据分域的方法、装置、终端和非暂时性存储介质 | |
CN112036170A (zh) | 一种基于类型注意力的神经零样本细粒度实体分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |