CN111506700B - 基于上下文感知嵌入的细粒度情感分析方法 - Google Patents
基于上下文感知嵌入的细粒度情感分析方法 Download PDFInfo
- Publication number
- CN111506700B CN111506700B CN202010214894.XA CN202010214894A CN111506700B CN 111506700 B CN111506700 B CN 111506700B CN 202010214894 A CN202010214894 A CN 202010214894A CN 111506700 B CN111506700 B CN 111506700B
- Authority
- CN
- China
- Prior art keywords
- layer
- capsule
- vector
- type
- context information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 38
- 238000004458 analytical method Methods 0.000 title claims abstract description 25
- 230000008447 perception Effects 0.000 title description 2
- 239000002775 capsule Substances 0.000 claims abstract description 55
- 239000013598 vector Substances 0.000 claims abstract description 47
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 29
- 230000004913 activation Effects 0.000 claims description 12
- 230000007935 neutral effect Effects 0.000 claims description 7
- 238000001125 extrusion Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 6
- 230000002996 emotional effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于上下文感知嵌入的细粒度情感分析方法。本发明步骤:1、对需要进行情感分析的数据文本进行预处理;2、将处理好的数据文本输入预训练模型中,获得固定长度的句子向量;3、将句子向量输入胶囊网络的WordCaps层,通过动态路由算法,利用平方欧几里得损失函数获取方面类型对应的极度相似的相关上下文信息;4、将相关上下文信息与方面词结合,得到重构的方面类型;5、将重构的方面向量输入胶囊网络的ApsectCaps层,通过动态路由算法进行情感分析,得到不同方面的情感极性。本发明利用带有高度相关性的上下文信息的方面向量作为输入,能更加准确的提取指定方面词的情感词,从而有效的提高情感分析的准确性。
Description
技术领域
本发明涉及情感分类领域,具体涉及一种基于上下文感知嵌入的细粒度情感分析方法。
背景技术
基于方面的情感分析任务(ABSA)旨在推断句子中不同方面的情感极性,比如正面情感、负面情感、中性情感等。它是情感分析任务中的细粒度任务。
尽管以前的工作取得了显着的进步,但它们通常利用独立的上下文向量或随机初始化的向量来表示方面类型,这就会丢失语义信息并忽略特定的方面与上下文之间的相互依赖性。
发明内容
本发明的目的是针对现有的细粒度情感分析的不足,提供了一种基于上下文感知嵌入的细粒度情感分析方法。本发明先使用两层胶囊网络进行训练,首先,胶囊网络的第一层用于提取相关上下文信息,使用平方欧几里得损失函数替换原有的损失函数,从而得到与方面词高度相关联的相关上下文信息。然后,将高度相关的上下文信息与方面类型结合得到重构的方面类型,并作为第二层胶囊网络的初始输入,使用动态路由算法进行情感分析。
本发明具体实现步骤如下:
步骤1、对需要进行情感分析的数据文本进行预处理;
步骤2、将处理好的数据文本输入预训练模型中,获得固定长度的句子向量;
步骤3、将句子向量输入胶囊网络的WordCaps层,通过动态路由算法,利用平方欧几里得损失函数获取方面类型对应的极度相似的相关上下文信息;
步骤4、将相关上下文信息与方面词结合,得到重构的方面类型;
步骤5、将重构的方面向量输入胶囊网络的ApsectCaps层,通过动态路由算法进行情感分析,得到不同方面的情感极性;
步骤1具体实现如下:
1.1.将在整个数据文本的语料库中仅出现一次的单词删除并使用UNK标记进行替换;
1.2.删除少于5个单词的句子。
进一步的,步骤2具体实现如下:
2.1.用BERT词向量模型将每一条句子表示为句子向量形式ht={w1,w2…wn},n是句子长度即该句子对应的单词的个数。
进一步的,步骤3具体实现如下:
3.1.将输入的句子向量中的每个单词wi都分别当做一个胶囊,从而组成胶囊网络的第一层,也就是WordCaps层;使用激活函数得到每个胶囊的预测向量,该预测向量表示WordCaps层的第t个胶囊属于AspectCaps层的第i个胶囊的可能性,该预测向量的公式可表示为:
3.2.从WordCaps层到AspectCaps层动态路由每个单词的预测向量,通过预测概率来确定每个方面类型对应的上下文信息si,所述的方面类型是指胶囊对应的类型,每个胶囊对应一个方面类型;
所述的上下文信息si的公式可表示为:
其中,ci|t是WordCaps层第t个胶囊和AspectCaps层第i个胶囊之间的协议值,是动态路由自动学习的参数;
3.3.对于确定第i个方面类型对应的上下文信息si,使用的损失函数为平方欧几里得损失函数,其公式为:
其中,K指代AspectCaps层的方面类型的数量;ai表示给定的数据文本每个单词对应的真实的方面类型。
进一步的,步骤4具体实现如下:
4.1.对于得到的上下文信息si,将其与对应的方面类型进行重构,其公式可表示为:
进一步的,步骤5具体实现如下:
5.2.将挤压得到的向量ua使用激活函数得到方面胶囊,组成胶囊网络的第二层即AspectCaps层,其公式可表示为:
其中,p∈{1,2,3},表示不同的极性,这里极性共有3种,分别是:积极、消极和中立;且积极、消极以及中立这3种不同的极性构成胶囊网络的第三层,即情感分类器;σ表示激活函数,和是需要通过训练学习的参数;
5.3.利用动态路由算法对AspectCaps层的方面胶囊进行情感极性分类,其公式可表示为:
其中,DYNAMIC ROUTING表示动态路由算法,与步骤3的3.2中使用的动态路由算法相同;iterintent表示动态路由的迭代次数;
5.4.情感分类器的结果所采用的损失函数为边界损失函数,其公式可表示为:
本发明的优点及有益效果如下:
本发明主要为了解决对评论文本的细粒度情感分类问题。现有的方法依靠随机初始化来表示方面类型初始输入向量,这就导致方面类型的向量表示脱离的上下文,使得情感分类的准确率较低。本发明使用两层胶囊网络进行训练,胶囊网络的第一层用于提取上下文特征,得到与方面词高度相关联的上下文特征信息。并将高度相关的上下文信息与方面词结合得到重构的方面向量,作为第二层胶囊网络的初始输入,这就解决了初始的方面向量脱离上下文信息的问题。同时,结合动态路由算法进行情感分析,从而有效的提高情感分析的准确性。
本发明利用带有高度相关性的上下文信息的方面向量作为输入的方法,可以更加准确的提取指定方面词的情感词,从而有效的提高情感分析的准确性。
附图说明
图1是本发明所述方法的流程框图。
图2是本发明所述模型方法的架构图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1和图2,基于上下文感知嵌入的细粒度情感分析方法,包括以下步骤:
步骤1、对需要进行情感分析的数据文本进行预处理;
步骤2、将处理好的数据文本输入预训练模型中,获得固定长度的句子向量;
步骤3、将句子向量输入胶囊网络的WordCaps层,通过动态路由算法,利用平方欧几里得损失函数获取方面类型对应的极度相似的相关上下文信息;
步骤4、将相关上下文信息与方面词结合,得到重构的方面类型;
步骤5、将重构的方面向量输入胶囊网络的ApsectCaps层,通过动态路由算法进行情感分析,得到不同方面的情感极性;
步骤1具体实现如下:
1.1.将在整个数据文本的语料库中仅出现一次的单词删除并使用UNK标记进行替换;
1.2.删除少于5个单词的句子。
所述的步骤2具体实现如下:
2.1.用BERT词向量模型将每一条句子表示为句子向量形式ht={w1,w2…wn},n是句子长度即该句子对应的单词的个数。
所述的步骤3具体实现如下:
3.1.将输入的句子向量中的每个单词wi都分别当做一个胶囊,从而组成胶囊网络的第一层,也就是WordCaps层;使用激活函数得到每个胶囊的预测向量,该预测向量表示WordCaps层的第t个胶囊属于AspectCaps层的第i个胶囊的可能性,该预测向量的公式可表示为:
3.2.从WordCaps层到AspectCaps层动态路由每个单词的预测向量,通过预测概率来确定每个方面类型对应的上下文信息si,所述的方面类型是指胶囊对应的类型,每个胶囊对应一个方面类型;
所述的上下文信息si的公式可表示为:
其中,ci|t是WordCaps层第t个胶囊和AspectCaps层第i个胶囊之间的协议值,是动态路由自动学习的参数;
3.3.对于确定第i个方面类型对应的上下文信息si,使用的损失函数为平方欧几里得损失函数,其公式为:
其中,K指代AspectCaps层的方面类型的数量;ai表示给定的数据文本每个单词对应的真实的方面类型。
所述的步骤4具体实现如下:
4.1.对于得到的上下文信息si,将其与对应的方面类型进行重构,其公式可表示为:
所述的步骤5具体实现如下:
5.2.将挤压得到的向量ua使用激活函数得到方面胶囊,组成胶囊网络的第二层即AspectCaps层,其公式可表示为:
其中,p∈{1,2,3},表示不同的极性,这里极性共有3种,分别是:积极、消极和中立;且积极、消极以及中立这3种不同的极性构成胶囊网络的第三层,即情感分类器;σ表示激活函数,和是需要通过训练学习的参数;
5.3.利用动态路由算法对AspectCaps层的方面胶囊进行情感极性分类,其公式可表示为:
其中,DYNAMIC ROUTING表示动态路由算法,与步骤3的3.2中使用的动态路由算法相同;iterintent表示动态路由的迭代次数;
5.4.情感分类器的结果所采用的损失函数为边界损失函数,其公式可表示为:
Claims (3)
1.基于上下文感知嵌入的细粒度情感分析方法,其特征在于包括如下步骤:
步骤1、对需要进行情感分析的数据文本进行预处理;
步骤2、将处理好的数据文本输入预训练模型中,获得固定长度的句子向量;
步骤3、将句子向量输入胶囊网络的WordCaps层,通过动态路由算法,利用平方欧几里得损失函数获取方面类型对应的极度相似的相关上下文信息;
步骤4、将相关上下文信息与方面词结合,得到重构的方面类型;
步骤5、将重构的方面向量输入胶囊网络的ApsectCaps层,通过动态路由算法进行情感分析,得到不同方面的情感极性;
步骤1具体实现如下:
1.1.将在整个数据文本的语料库中仅出现一次的单词删除并使用UNK标记进行替换;
1.2.删除少于5个单词的句子;
步骤2具体实现如下:
2.1.用BERT词向量模型将每一条句子表示为句子向量形式ht={w1,w2…wn},n是句子长度即该句子对应的单词的个数;
步骤3具体实现如下:
3.1.将输入的句子向量中的每个单词wi都分别当做一个胶囊,从而组成胶囊网络的第一层,也就是WordCaps层;使用激活函数得到每个胶囊的预测向量,该预测向量表示WordCaps层的第t个胶囊属于AspectCaps层的第i个胶囊的可能性,该预测向量的公式可表示为:
3.2.从WordCaps层到AspectCaps层动态路由每个单词的预测向量,通过预测概率来确定每个方面类型对应的上下文信息si,所述的方面类型是指胶囊对应的类型,每个胶囊对应一个方面类型;
所述的上下文信息si的公式可表示为:
其中,ci|t是WordCaps层第t个胶囊和AspectCaps层第i个胶囊之间的协议值,是动态路由自动学习的参数;
3.3.对于确定第i个方面类型对应的上下文信息si,使用的损失函数为平方欧几里得损失函数,其公式为:
其中,K指代AspectCaps层的方面类型的数量;ai表示给定的数据文本每个单词对应的真实的方面类型。
3.根据权利要求2所述的基于上下文感知嵌入的细粒度情感分析方法,其特征在于步骤5具体实现如下:
5.2.将挤压得到的向量ua使用激活函数得到方面胶囊,组成胶囊网络的第二层即AspectCaps层,其公式可表示为:
其中,p∈{1,2,3},表示不同的极性,这里极性共有3种,分别是:积极、消极和中立;且积极、消极以及中立这3种不同的极性构成胶囊网络的第三层,即情感分类器;σ表示激活函数,和是需要通过训练学习的参数;
5.3.利用动态路由算法对AspectCaps层的方面胶囊进行情感极性分类,其公式可表示为:
其中,DYNAMIC ROUTING表示动态路由算法,与步骤3的3.2中使用的动态路由算法相同;iterintent表示动态路由的迭代次数;
5.4.情感分类器的结果所采用的损失函数为边界损失函数,其公式可表示为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010214894.XA CN111506700B (zh) | 2020-03-24 | 2020-03-24 | 基于上下文感知嵌入的细粒度情感分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010214894.XA CN111506700B (zh) | 2020-03-24 | 2020-03-24 | 基于上下文感知嵌入的细粒度情感分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111506700A CN111506700A (zh) | 2020-08-07 |
CN111506700B true CN111506700B (zh) | 2021-01-19 |
Family
ID=71872497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010214894.XA Active CN111506700B (zh) | 2020-03-24 | 2020-03-24 | 基于上下文感知嵌入的细粒度情感分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111506700B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111666409B (zh) * | 2020-05-28 | 2022-02-08 | 武汉大学 | 一种基于综合深度胶囊网络的复杂评论文本的整体情感智能分类方法 |
CN112541082A (zh) * | 2020-12-21 | 2021-03-23 | 重庆兆光科技股份有限公司 | 一种文本情感分类方法及系统 |
CN113283234B (zh) * | 2021-05-28 | 2022-05-06 | 天津大学 | 一种基于胶囊网络的情感分类方法 |
CN115098631B (zh) * | 2022-06-23 | 2024-08-02 | 浙江工商大学 | 一种基于文本胶囊神经网络的句子级情感分析方法 |
CN115495572B (zh) * | 2022-08-01 | 2023-05-26 | 广州大学 | 一种基于复合情绪分析的抑郁情绪辅助管理方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109933664A (zh) * | 2019-03-12 | 2019-06-25 | 中南大学 | 一种基于情感词嵌入的细粒度情绪分析改进方法 |
CN110188195A (zh) * | 2019-04-29 | 2019-08-30 | 苏宁易购集团股份有限公司 | 一种基于深度学习的文本意图识别方法、装置及设备 |
CN110826336A (zh) * | 2019-09-18 | 2020-02-21 | 华南师范大学 | 一种情感分类方法、系统、存储介质及设备 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9971807B2 (en) * | 2009-10-14 | 2018-05-15 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
US11093533B2 (en) * | 2018-06-05 | 2021-08-17 | International Business Machines Corporation | Validating belief states of an AI system by sentiment analysis and controversy detection |
US10459962B1 (en) * | 2018-09-19 | 2019-10-29 | Servicenow, Inc. | Selectively generating word vector and paragraph vector representations of fields for machine learning |
CN110457710B (zh) * | 2019-08-19 | 2022-08-02 | 电子科技大学 | 一种基于动态路由机制的机器阅读理解网络模型的建立方法、方法、存储介质及终端 |
CN110825849A (zh) * | 2019-11-05 | 2020-02-21 | 泰康保险集团股份有限公司 | 文本信息情感分析方法、装置、介质及电子设备 |
-
2020
- 2020-03-24 CN CN202010214894.XA patent/CN111506700B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109933664A (zh) * | 2019-03-12 | 2019-06-25 | 中南大学 | 一种基于情感词嵌入的细粒度情绪分析改进方法 |
CN110188195A (zh) * | 2019-04-29 | 2019-08-30 | 苏宁易购集团股份有限公司 | 一种基于深度学习的文本意图识别方法、装置及设备 |
CN110826336A (zh) * | 2019-09-18 | 2020-02-21 | 华南师范大学 | 一种情感分类方法、系统、存储介质及设备 |
Non-Patent Citations (1)
Title |
---|
Sentiment Analysis by Capsules;Yequan Wang,等;《WWW "18: Proceedings of the 2018 World Wide Web Conference》;20180430;第1165-1174页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111506700A (zh) | 2020-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111506700B (zh) | 基于上下文感知嵌入的细粒度情感分析方法 | |
CN108875807B (zh) | 一种基于多注意力多尺度的图像描述方法 | |
CN112100388B (zh) | 一种长文本新闻舆情的情感极性的分析方法 | |
CN111008293A (zh) | 基于结构化语义表示的视觉问答方法 | |
CN110110323B (zh) | 一种文本情感分类方法和装置、计算机可读存储介质 | |
CN106919646A (zh) | 中文文本摘要生成系统及方法 | |
CN110825845A (zh) | 一种基于字符与自注意力机制的层次文本分类方法及中文文本分类方法 | |
CN109740148A (zh) | 一种BiLSTM结合Attention机制的文本情感分析方法 | |
CN109885670A (zh) | 一种面向话题文本的交互注意力编码情感分析方法 | |
CN109684449B (zh) | 一种基于注意力机制的自然语言语义表征方法 | |
CN113987179A (zh) | 基于知识增强和回溯损失的对话情绪识别网络模型、构建方法、电子设备及存储介质 | |
CN112925904B (zh) | 一种基于Tucker分解的轻量级文本分类方法 | |
CN107688576B (zh) | 一种cnn-svm模型的构建及倾向性分类方法 | |
CN112861524A (zh) | 一种基于深度学习的多层次中文细粒度情感分析方法 | |
CN110717330A (zh) | 基于深度学习的词句级短文本分类方法 | |
CN110069611B (zh) | 一种主题增强的聊天机器人回复生成方法及装置 | |
WO2021135457A1 (zh) | 基于循环神经网络的情绪识别方法、装置及存储介质 | |
CN110263164A (zh) | 一种基于模型融合的情感倾向分析方法 | |
CN113627550A (zh) | 一种基于多模态融合的图文情感分析方法 | |
CN113435192A (zh) | 一种基于改变神经网络通道基数的中文文本情感分析方法 | |
CN115064154A (zh) | 混合语言语音识别模型的生成方法及装置 | |
CN114444481B (zh) | 一种新闻评论的情感分析与生成方法 | |
CN114091469B (zh) | 基于样本扩充的网络舆情分析方法 | |
CN111581379A (zh) | 一种基于作文扣题度的自动作文评分计算方法 | |
CN114492458A (zh) | 一种基于多头注意力和词共现的方面级情感分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200807 Assignee: Hangzhou Yuanchuan New Technology Co.,Ltd. Assignor: HANGZHOU DIANZI University Contract record no.: X2021330000781 Denomination of invention: Fine grained emotion analysis method based on context aware embedding Granted publication date: 20210119 License type: Common License Record date: 20211206 |