CN110222342B - 结合情感原因发现的文本情感预测学习系统 - Google Patents

结合情感原因发现的文本情感预测学习系统 Download PDF

Info

Publication number
CN110222342B
CN110222342B CN201910511670.2A CN201910511670A CN110222342B CN 110222342 B CN110222342 B CN 110222342B CN 201910511670 A CN201910511670 A CN 201910511670A CN 110222342 B CN110222342 B CN 110222342B
Authority
CN
China
Prior art keywords
clause
emotion
word
level
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910511670.2A
Other languages
English (en)
Other versions
CN110222342A (zh
Inventor
徐睿峰
范创
杜嘉晨
黄锦辉
陆勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN201910511670.2A priority Critical patent/CN110222342B/zh
Publication of CN110222342A publication Critical patent/CN110222342A/zh
Application granted granted Critical
Publication of CN110222342B publication Critical patent/CN110222342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

一种文本情感原因发现装置，该装置包括词‑子句层级结构，包含有四部分：词级别编码器、词级别注意力、子句级别编码器、子句级别注意力；其中，词级别编码器，将文本送入词级别编码器，用于捕获词与词之间的序列特征；词级别注意力，通过当前词语的隐状态表示和与之对应的情绪表达词之间的关系来获得词级别的注意力值，用来指示当前词在其所在的子句中所占的重要程度，然后通过权重和累加操作获得每个子句的表示；子句级别注意力，利用一个分类器来获得当前子句是情感原因的概率，并以此作为子句的注意力值，同时将当前子句距离情绪表达词的距离的分布式表示与子句表示拼接；子句级别编码器，通过子句级编码器获取不同子句之间的结构性信息更新子句表示，通过softmax来获得分类特征的概率分布。通过该装置可以帮助机器更加精准地判断人类触发情感的原因。

Description

结合情感原因发现的文本情感预测学习系统
技术领域
本发明属于情感预测技术领域，特别涉及结合情感原因发现的文本情感预测学习系统。
背景技术
在传统文本情感分析的研究中，通常采用单任务学习模型，将文本情感原因发现和文本情感预测分别看作单一任务。
由于传统的情感分析方法将情感原因发现和情感预测看作两个独立的学习任务，需要针对不同的任务设计不同的学习模型，这种方式效率低下且难以挖掘二者之间密切的联系，即情感原因驱动情感的产生，所以对文本情感原因的研究能够促进对情感本身的研究。此外，单任务学习模型在优化时，梯度的反向传播倾向于陷入局部极小值，而多任务学习中不同任务的局部极小值处于不同的位置，通过相互作用，可以帮助隐含层逃离局部极小值，找到更优解。
发明内容
为克服已有技术的不足之处，本发明提出一种结合情感原因发现的文本情感预测学习系统，可以帮助机器更加精准地判断人类的情感。
为了实现上述目的，本发明采用的技术方案为：
一种文本情感原因发现装置，其特征在于，该装置包括词-子句层级结构，包含有四部分：词级别编码器、词级别注意力、子句级别编码器、子句级别注意力；其中，
词级别编码器，将文本送入词级别编码器，用于捕获词与词之间的序列特征；
词级别注意力，通过当前词语的隐状态表示和与之对应的情绪表达之间的关系来获得词级别的注意力值，用来指示当前词在其所在的子句中所占的重要程度，然后通过权重和累加操作获得每个子句的表示；
子句级别注意力，利用一个分类器来获得当前子句是情感原因的概率以此作为子句的注意力值，在子句层级将当前子句距离情绪表达词的距离与子句表示拼接；
子句级别编码器，通过子句编码器获取不同子句之间的结构性信息更新子句表示，通过softmax来获得分类特征的概率分布。
一种结合情感原因发现的情感预测学习系统，该系统包括上述情感原因发现装置以及共享模块、情感预测模块。
相比于现有的技术，本发明的优点有：
首先针对目前情感原因发现领域中忽略文本的结构性信息及不同子句之间关系的问题，提出一种层级结构增强子句的文本表示。其次，根据情感原因对于准确识别情感的推动作用，采用联合任务模型结合情感原因对文本进行情感预测，以帮助机器更加精准地判断人类的情感。
附图说明
图1是文本情感原因发现框架图；
图2是结合情绪原因的文本分类的联合模型。
具体实施方式
下面结合附图说明及具体实施方式对本发明进一步说明。
由于目前有关情感原因发现的方法忽略了文本的结构性信息及不同子句之间的关系，这些信息可以为情感原因发现任务提供重要的线索。本发明将采用一种层级的框架结构以提取文本中的有关情感原因的结构性信息及不同子句之间的语义关系。文本中不同的词和句子会呈现不同的信息，因此本发明在每个层级增加注意力机制来捕获子句及篇章的内在语义信息以增强子句的文本表示，助于最终的分类决策。
如图1所示：框架采用词-子句层级结构，主要分为四部分：词级别编码器、词级别注意力、子句级别编码器、子句级别注意力。下面将针对以上四部分进行详细介绍。
1)词级别编码器：首先将文本送入词级别的编码器，用于捕获词与词之间的序列特征。本发明采用门限循环单元(GRU)作为最基础的词级别编码器，在每一个时间步，隐状态ht通过以下公式进行更新：
zt＝σ(Wzxt+Uzht-1+bz)   (1)
rt＝σ(Wrxt+Urht-1+br)   (2)
Figure BDA0002093694250000021
Figure BDA0002093694250000022
其中，xt是输入单词wt的向量表示，σ和tanh是激活函数，
Figure BDA0002093694250000023
是点积操作，Wz、Wr、Wh、Uz、Ur、Uh是待学习的参数矩阵，bz、br、bh是待学习的参数向量。
由于前序、后序信息对于当前的表达都很重要，因此本发明采用双向的GRU用来作为词级别的码器并通过以下公式进行更新隐状态：
Figure BDA0002093694250000031
Figure BDA0002093694250000032
其中，xit表示第i个子句(ci)第t个单词wit的向量表示，k为ci的长度,
Figure BDA0002093694250000033
和
Figure BDA0002093694250000034
是公式(1-4)的抽象表示，
Figure BDA0002093694250000035
和
Figure BDA0002093694250000036
分别为子句ci的前向和后向隐状态表示。最后，将
Figure BDA0002093694250000037
和
Figure BDA0002093694250000038
连接作为最终wit的表示：
Figure BDA0002093694250000039
2)词级别注意力：通过当前词语的隐状态表示和与之对应的情绪表达之间的关系来获得词级别的注意力值，用来指示当前词在其所在的子句中所占的重要程度，然后通过权重和累加操作获得每个子句的表示，计算公式如下：
Figure BDA00020936942500000310
Figure BDA00020936942500000311
Figure BDA00020936942500000312
其中，w为参数矩阵，
Figure BDA00020936942500000313
为情绪表达ew的向量表示，αit指示了单词wit在子句ci中的重要程度。
Figure BDA00020936942500000315
为子句ci的输出标识。
3)子句级别注意力：不仅是词之间有这样的关系，不同的子句同样有不同的重要程度。因此，本发明利用一个分类器来获得当前子句是情感原因的概率以此作为子句的注意力值，此外，也可以表达有多少当前的信息被保留。同时，位置信息表示是很重要的信息，因此在子句层级将当前子句距离情绪表达词距离的分布式表示与子句表示拼接。计算公式如下：
Figure BDA00020936942500000314
Figure BDA00020936942500000412
其中，Wv为参数矩阵，li为位置信息向量表示，qi为子句ci是情感原因的概率，同时也表示将有多少信息被保留到
Figure BDA0002093694250000041
4)子句级别编码器：通过子句编码器获取不同子句之间的结构性信息更新子句表示。最后，通过softmax来获得分类特征的概率分布。
计算公式如下：
Figure BDA0002093694250000042
Figure BDA0002093694250000043
Figure BDA0002093694250000044
Figure BDA0002093694250000045
其中，
Figure BDA0002093694250000046
和
Figure BDA0002093694250000047
是子句GRU单元，li为位置信息向量表示，
Figure BDA0002093694250000048
和
Figure BDA0002093694250000049
为子句的ci前向和后向隐状态表示，Wm为参数矩阵，
Figure BDA00020936942500000410
为不同子句的情感原因概率分布。
由于情感原因发现及文本情感预测具有很强的相关性，因此本发明利用文本情感原因对于情绪的驱动作用，来辅助文本情感预测任务的决策。本发明采用一种联合模型，如图2所示，为了保留任务本身的特征，针对文本情感原因发现任务和文本情感预测任务，增添分别提取任务特定信息的神经网络层，为了共享任务的交互信息，设置共享层，这样既能提取任务特定特征又能捕获两个任务共享的信息，达到提升情感预测任务的准确性的目的，其中情感原因发现模块即为图1中的结构。
1)共享模块：情感原因驱动情感的产生，所以对文本情感原因的研究能够促进对情感本身的研究。因此，本发明设置一个共享模块捕获两个任务间的共享信息并通过一个共享GRU单元实现，计算公式如下：
Figure BDA00020936942500000411
Figure BDA0002093694250000051
Figure BDA0002093694250000052
其中，
Figure BDA0002093694250000053
和
Figure BDA0002093694250000054
为前向和后向GRU单元，xst为情感原因发现文本或者情感预测文本，
Figure BDA0002093694250000055
和
Figure BDA0002093694250000056
为情感文本的前向和后向表示。hst为
Figure BDA0002093694250000057
和
Figure BDA0002093694250000058
的连接表示。
2)情感预测模块：该模块利用GRU单元捕获情感预测文本的序列特征，并通过注意力机制获取文本的隐状态表示，最后和共享层的输出一起用于情感预测，计算公式如下：
Figure BDA0002093694250000059
Figure BDA00020936942500000510
Figure BDA00020936942500000511
gpt＝wp·hpt   (23)
Figure BDA00020936942500000512
Figure BDA00020936942500000513
其中，
Figure BDA00020936942500000514
和
Figure BDA00020936942500000515
为前向和后向GRU单元，xpt为情感预测文本，
Figure BDA00020936942500000516
和
Figure BDA00020936942500000517
为情感文本的前向和后向表示，hpt为
Figure BDA00020936942500000518
和
Figure BDA00020936942500000519
的连接表示，wp为参数向量，αpt为注意力值，op为情感预测文本的输出表示。
考虑两个任务的优化目标不同，本发明将对单任务进行分别优化，将交叉熵作为损失函数，如公式(26)所示：
L＝-∑D∑c∈Cyclogfc(x；θ)   (26)
其中，D是训练数据，C是样例的所有类别，yc是真实类别的分布，fc(x；θ)是模型预测为c-th类别的概率分布。
综上，本发明中提出了层级结构增强子句的文本表示，并根据情感原因对于准确识别情感的推动作用，采用联合任务模型结合情感原因对文本进行情感预测，能够帮助机器更准确地判断人类的情感。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种文本情感原因发现装置，其特征在于，该装置包括词-子句层级结构，包含有四部分：词级别编码器、词级别注意力、子句级别注意力、子句级别编码器；其中，
词级别编码器，将文本送入词级别编码器，用于捕获词与词之间的序列特征；
词级别注意力，通过当前词语的隐状态表示和与之对应的情绪表达之间的关系来获得词级别的注意力值，用来指示当前词在其所在的子句中所占的重要程度，然后通过权重和累加操作获得每个子句的表示，其中，所述词级别注意力的计算公式如下：
Figure FDA0004092576140000011
Figure FDA0004092576140000012
Figure FDA0004092576140000013
其中，w为参数矩阵，
Figure FDA0004092576140000014
为情绪表达ew的向量表示，αit指示单词，wit在子句ci中的重要程度，
Figure FDA0004092576140000015
为子句ci的输出标识，git和git'为不同时间步中计算注意力值的中间值，hit为第i个子句的向量表示；
子句级别注意力，利用一个分类器来获得当前子句是情感原因的概率以此作为子句的注意力值，在子句层级将当前子句距离情绪表达词的距离与子句表示拼接；
子句级别编码器，通过子句级别编码器获取不同子句之间的结构性信息更新子句表示，通过softmax来获得分类特征的概率分布。
2.根据权利要求1所述的文本情感原因发现装置，其特征在于：所述词级别编码器采用门限循环单元。
3.根据权利要求1所述的情感原因发现装置，其特征在于：子句级别注意力中，在子句层级将当前子句距离情感表达词的距离与子句表示拼接，计算公式如下：
Figure FDA0004092576140000021
Figure FDA0004092576140000022
其中，Wv为参数矩阵，li为位置信息向量表示，qi为子句ci是情感原因的概率，同时也表示将有多少信息被保留到
Figure FDA0004092576140000023
4.根据权利要求3所述的情感原因发现装置，其特征在于：子句级别编码器中的计算公式如下：
Figure FDA0004092576140000024
Figure FDA0004092576140000025
Figure FDA0004092576140000026
Figure FDA0004092576140000027
其中，
Figure FDA0004092576140000028
和
Figure FDA0004092576140000029
是子句GRU单元，li为位置信息向量表示，
Figure FDA00040925761400000210
和
Figure FDA00040925761400000211
为子句的ci前向和后向隐状态表示，Wm为参数矩阵，
Figure FDA00040925761400000212
为不同子句的情感原因概率分布。
5.一种结合情感原因发现的情感预测学习系统，该系统包括如权利要求1-4任一项所述的情感原因发现装置以及共享模块、情感预测模块。
6.如权利要求5所述的情感预测学习系统，其特征在于：共享模块捕获两个任务间的共享信息，并通过一共享GRU单元实现，其计算公式如下：
Figure FDA0004092576140000031
Figure FDA0004092576140000032
Figure FDA0004092576140000033
其中，
Figure FDA0004092576140000034
和
Figure FDA0004092576140000035
为前向和后向GRU单元，xst为情感原因发现文本或者情感预测文本，
Figure FDA0004092576140000036
和
Figure FDA0004092576140000037
为情感文本的前向和后向表示，hst为
Figure FDA0004092576140000038
和
Figure FDA0004092576140000039
的连接表示。
7.如权利要求5所述的情感预测学习系统，其特征在于：所述情感预测模块利用GRU单元捕获情感预测文本的序列特征，并通过注意力机制获取文本的隐状态表示，最后和共享层的输出一起用于情感预测。
8.如权利要求5所述的情感预测学习系统，其特征在于：对情感原因发现和情感预测分别进行优化，将交叉熵作为损失函数，
L＝-∑D∑c∈Cyclogfc(x；θ)
其中，D是训练数据，C是样例的所有类别，yc是真实类别的分布，fc(x；θ)是模型预测为c-th类别的概率分布。
CN201910511670.2A 2019-06-13 2019-06-13 结合情感原因发现的文本情感预测学习系统 Active CN110222342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910511670.2A CN110222342B (zh) 2019-06-13 2019-06-13 结合情感原因发现的文本情感预测学习系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910511670.2A CN110222342B (zh) 2019-06-13 2019-06-13 结合情感原因发现的文本情感预测学习系统

Publications (2)

Publication Number Publication Date
CN110222342A CN110222342A (zh) 2019-09-10
CN110222342B true CN110222342B (zh) 2023-05-02

Family

ID=67817047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910511670.2A Active CN110222342B (zh) 2019-06-13 2019-06-13 结合情感原因发现的文本情感预测学习系统

Country Status (1)

Country Link
CN (1) CN110222342B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364127A (zh) * 2020-10-30 2021-02-12 重庆大学 一种短文档情感原因对提取方法、系统、存储介质
CN114817566B (zh) * 2022-04-29 2023-03-10 天津大学 基于情绪嵌入的情绪原因对抽取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11272664A (ja) * 1998-03-19 1999-10-08 Sharp Corp テキスト構造解析装置および抄録装置、並びにプログラム記録媒体
CN106528528A (zh) * 2016-10-18 2017-03-22 哈尔滨工业大学深圳研究生院 文本情感分析的方法及装置
CN108446275A (zh) * 2018-03-21 2018-08-24 北京理工大学 基于注意力双层lstm的长文本情感倾向性分析方法
CN109472031A (zh) * 2018-11-09 2019-03-15 电子科技大学 一种基于双记忆注意力的方面级别情感分类模型及方法
CN109800390A (zh) * 2018-12-21 2019-05-24 北京石油化工学院 一种个性化情感摘要的计算方法与装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140365208A1 (en) * 2013-06-05 2014-12-11 Microsoft Corporation Classification of affective states in social media

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11272664A (ja) * 1998-03-19 1999-10-08 Sharp Corp テキスト構造解析装置および抄録装置、並びにプログラム記録媒体
CN106528528A (zh) * 2016-10-18 2017-03-22 哈尔滨工业大学深圳研究生院 文本情感分析的方法及装置
CN108446275A (zh) * 2018-03-21 2018-08-24 北京理工大学 基于注意力双层lstm的长文本情感倾向性分析方法
CN109472031A (zh) * 2018-11-09 2019-03-15 电子科技大学 一种基于双记忆注意力的方面级别情感分类模型及方法
CN109800390A (zh) * 2018-12-21 2019-05-24 北京石油化工学院 一种个性化情感摘要的计算方法与装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《结合卷积神经网络和词语情感序列特征的中文情感分析》;陈钊;《中文信息学报》;20151130;全文 *

Also Published As

Publication number Publication date
CN110222342A (zh) 2019-09-10

Similar Documents

Publication Publication Date Title
Mou et al. Natural language inference by tree-based convolution and heuristic matching
CN109858041B (zh) 一种半监督学习结合自定义词典的命名实体识别方法
CN109325112B (zh) 一种基于emoji的跨语言情感分析方法和装置
CN110232109A (zh) 一种网络舆情分析方法以及系统
CN108319666A (zh) 一种基于多模态舆情分析的供电服务评估方法
CN110569359B (zh) 识别模型的训练及应用方法、装置、计算设备及存储介质
CN110222342B (zh) 结合情感原因发现的文本情感预测学习系统
CN110263325A (zh) 中文分词系统
CN114186069B (zh) 基于多模态异构图注意力网络的深度视频理解知识图谱构建方法
CN113035311A (zh) 一种基于多模态注意力机制的医学图像报告自动生成方法
CN110717045A (zh) 一种基于信访信件概况的信件要素自动提取方法
CN113516152A (zh) 一种基于复合图像语义的图像描述方法
EP4080380A1 (en) Technology trend prediction method and system
CN116955699A (zh) 一种视频跨模态搜索模型训练方法、搜索方法及装置
Khan et al. A deep neural framework for image caption generation using gru-based attention mechanism
CN111311364A (zh) 基于多模态商品评论分析的商品推荐方法及系统
CN107766895A (zh) 一种诱导式非负投影半监督数据分类方法及系统
CN114048314A (zh) 一种自然语言隐写分析方法
CN117290515A (zh) 文本标注模型的训练方法、文生图方法及装置
CN115631504B (zh) 一种基于双模态图网络信息瓶颈的情感识别方法
CN114386412B (zh) 一种基于不确定性感知的多模态命名实体识别方法
Serban et al. Text-based speaker identification for multi-participant opendomain dialogue systems
CN114398896A (zh) 信息录入方法、装置、电子设备及计算机可读存储介质
Zhang et al. Hierarchical attention networks for grid text classification
CN113919358A (zh) 一种基于主动学习的命名实体识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant