CN114676259A - 一种基于因果感知交互网络的对话情绪识别方法 - Google Patents
一种基于因果感知交互网络的对话情绪识别方法 Download PDFInfo
- Publication number
- CN114676259A CN114676259A CN202210373952.2A CN202210373952A CN114676259A CN 114676259 A CN114676259 A CN 114676259A CN 202210373952 A CN202210373952 A CN 202210373952A CN 114676259 A CN114676259 A CN 114676259A
- Authority
- CN
- China
- Prior art keywords
- causal
- vector
- statement
- vectors
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种基于因果感知交互网络的对话情绪识别方法,涉及情绪识别技术领域,针对现有技术中对话情绪识别的准确率低的问题,本申请提出了一种基于因果感知交互网络的对话情绪识别方法,用于对话情绪识别。更具体地说,本申请探索了在识别目标语句的情绪时,将情绪原因纳入考虑的有效性。常识知识作为因果线索被利用,以帮助自动提取因果关系,缓解因缺乏情感原因注释而带来的限制。然后,本申请设计了包括因果线索检索和因果语句回溯在内的两步因果感知交互,以检测与目标语句相关的自身和他人间情绪原因。由此获得了具有因果感知的上下文表述,用于情绪识别。在三个基准数据集上的实验结果证明了所提出的CauAIN的有效性及其检测准确情绪原因的能力。
Description
技术领域
本发明涉及情绪识别技术领域,具体为一种基于因果感知交互网络的对话情绪识别方法。
背景技术
对话情绪识别(Emotion Recognition in Conversations,ERC)旨在预测对话中每条语句的情绪标签。由于其在实现共情系统方面的关键作用以及在意见挖掘、社交媒体分析、医疗保健和其他领域的广泛应用,ERC在自然语言处理(NLP)界受到越来越多的关注。
ERC的关键挑战在于对话中的情绪动态变化,它指的是说话人之间交互过程中的情绪影响。早期的研究已经致力于应对这一挑战,其用用循环神经网络(Recurrent NeuralNetwork,RNN)和图神经网络(Graph Neural Network,GNN)来模拟说话者自身和之间的依赖关系。
然而,这种对说话人自身和说话人之间的依赖性建模的尝试在捕捉更深层次和更丰富的情绪动态线索方面是有限的,原因是忽略了确切地触发目标情绪的情绪原因。因此,现有技术中对话情绪识别的准确率并不高。
发明内容
本发明的目的是:针对现有技术中对话情绪识别的准确率低的问题,提出一种基于因果感知交互网络的对话情绪识别方法。
本发明为了解决上述技术问题采取的技术方案是:一种基于因果感知交互网络的对话情绪识别方法,包括以下步骤:
步骤一:获取待识别的对话语料;
步骤二:将待识别的对话语料中的语句分别输入RoBERTa预训练语言模型和COMET常识知识生成模型;
输入RoBERTa预训练语言模型得到语句的语义表示向量ci;
输入COMET常识知识生成模型得到自身因果线索向量和他人因果线索向量;
步骤三:将语句的语义表示向量经过前向的语境和后向的语境进行建模,得到表示语句上下文语义信息的隐藏向量hi;
步骤四:将自身因果线索向量和他人因果线索向量分别经过线性特征整合,然后分别与隐藏向量进行拼接,得到自身因果隐藏向量和他人因果隐藏向量;
步骤六:将联合的因果线索检索结果根据说话人自身的轮次和对方的轮次拆分成两部分,然后将拆分后的两部分分别与表示语句上下文语义信息的隐藏向量hi进行乘积,然后将两个乘积结果进行加和得到因果语句回溯过程的结果,即具有因果意识的语句表示向量
步骤七:基于步骤六中拆分后的两部分,将根据说话人自身的轮次拆分的结果与自身因果隐藏向量进行乘积,将根据对方的轮次拆分的结果与他人因果隐藏向量进行乘积,最后将两个乘积结果进行加和得到融入因果线索中包含的情感信息
进一步的,所述语句的语义表示向量ci表示为:
ci=RoBERTa([CLS],w1,w2,…,wL)
进一步的,所述表示语句上下文语义信息的隐藏向量hi表示为:
hi=GRU(ci,hi-1)
其中,表示自身因果线索检索得分,表示他人因果线索检索得分,hj表示第j条对话语句的隐藏向量,表示第j条对话语句对应的他人因果线索向量,表示第j条对话语句对应的自身因果线索向量,表示第i条对话语句隐藏向量和第j条对话语句隐藏向量之间是否要进行他人因果线索检索点积运算操作,表示第i条对话语句隐藏向量和第j条对话语句隐藏向量之间是否要进行自身因果线索检索点积运算操作,1表示进行,0表示不进行,fq(·),fk(·)和fe(·)都表示线性变换,φ表示对话语句与对应说话人的映射。
其中,fk(·)是一个线性变换。
其中,We和be表示可学习的参数,hf表示由拼接后的结果组成的一组向量。
本发明的有益效果是:
本申请为了捕捉更深层次和更丰富的情感动态线索,并明确建立说话人自身和说话人之间的依赖关系,提出了一种基于因果感知交互网络的对话情绪识别方法,用于对话情绪识别。更具体地说,本申请探索了在识别目标语句的情绪时,将情绪原因纳入考虑的有效性。常识知识作为因果线索被利用,以帮助自动提取因果关系,缓解因缺乏情感原因注释而带来的限制。然后,本申请设计了包括因果线索检索和因果语句回溯在内的两步因果感知交互,以检测与目标语句相关的自身和他人间情绪原因。由此获得了具有因果感知的上下文表述,用于情绪识别。在三个基准数据集上的实验结果证明了所提出的CauAIN的有效性及其检测准确情绪原因的能力。
附图说明
图1为本申请的整体流程图。
具体实施方式
需要特别说明的是,在不冲突的情况下,本申请公开的各个实施方式之间可以相互组合。
具体实施方式一:参照图1具体说明本实施方式,本实施方式所述的一种基于因果感知交互网络的对话情绪识别方法,包括以下步骤:
步骤一:获取待识别的对话语料;
步骤二:将待识别的对话语料中的语句分别输入RoBERTa预训练语言模型和COMET常识知识生成模型;
输入RoBERTa预训练语言模型得到语句的语义表示向量ci;
输入COMET常识知识生成模型得到自身因果线索向量和他人因果线索向量;
步骤三:将语句的语义表示向量经过前向的语境和后向的语境进行建模,得到表示语句上下文语义信息的隐藏向量hi;
步骤四:将自身因果线索向量和他人因果线索向量分别经过线性特征整合,然后分别与隐藏向量进行拼接,得到自身因果隐藏向量和他人因果隐藏向量;
步骤六:将联合的因果线索检索结果根据说话人自身的轮次和对方的轮次拆分成两部分,然后将拆分后的两部分分别与表示语句上下文语义信息的隐藏向量hi进行乘积,然后将两个乘积结果进行加和得到因果语句回溯过程的结果,即具有因果意识的语句表示向量
步骤七:基于步骤六中拆分后的两部分,将根据说话人自身的轮次拆分的结果与自身因果隐藏向量进行乘积,将根据对方的轮次拆分的结果与他人因果隐藏向量进行乘积,最后将两个乘积结果进行加和得到融入因果线索中包含的情感信息
实施例:
本申请具体实施时,可由如图1所示的的模型CauAIN进行,它由四个部分组成。因果线索获取、因果线索检索、因果语句回溯和情感识别。
因果线索获取
自身因果和他人因果的线索表示
为了获取因果关系内和因果关系间的线索,本申请采用了生成性常识Transformer模型COMET。给定输入的事件(在对话的情况下被称为语句ui)和选择的关系类型,COMET将以if-then推理的格式生成then的描述。例如,将ui和关系类型oReact作为输入,COMET可以得出“如果ui,那么其他人就会感到”的推理序列。本申请将ui和关系与掩码标记连接起来,如(ui[MASK]oReact)来构建COMET的输入。本申请将COMET最后一个编码器层的隐藏状态代表被作为因果线索。因此,在这项工作中,对于每个ui,从COMET中产生的三条自身因果线索被拼接起来,并以线性单位映射到2dh的维度。其他三条他人的因果线索也是如此。本申请把它们表示为(自身因果线索向量)和 (他人因果线索向量)。
对话语句表示
本申请采用广泛使用的预训练模型RoBERTa来提取语篇级特征向量。具体来说,对于每个语料u={w1,w2,…,wL},本申请在语料的开始部分设置一个特殊的标记[CLS]。然后,序列{[CLS],w1,w2,…,wL}被送入预训练的RoBERTa模型,进行对话语句情感分类任务的微调,最后一层的[CLS]标记通过池化层,将其分类到其情感类别。
在微调过程之后,为了得到对应于[CLS]标记的对话语句级特征向量ci,我们将每个语料以相同的输入格式{[CLS],w1,w2,…,wL}传递。
ci=RoBERTa([CLS],w1,w2,…,wL)
对话情景的表示
在对话环境下,一条语句的情感通常取决于整个对话的背景。因此,基于语篇层面的特征ci,本申请应用双向门控循环单元(Gated Recurrent Unit,GRU)(即前向和后向)来模拟相邻语句之间的顺序依赖关系,对话表征hi可以计算为:
hi=GRU(ci,hi-1)
因果意识交互
为了获得更丰富的对话中的情感动态线索,并明确交互说话人内部和说话人之间的依赖关系,本申请设计了两步的因果意识交互,包括因果线索检索和因果语料追溯,以丰富情感原因的语境表示。
因果线索检索
为了探索目标语词的情感原因在多大程度上取决于自身原因或他人原因的语句,本申请应该检索自身和他人的因果线索,并给它们分配加权分数。对于自身因果线索的检索,本申请主要关注来自同一说话人的影响或作用,检索分数可以计算为:
其中,fq(x),fk(x)和fe(x)都是线性变换。确保目标语句hi检索到与它相同的说话人的语句,以进行自身原因线索检索。值得注意的是,保证了检索过程的正确时间顺序,这符合因果关系的本质,即不能根据未来的因果线索来寻找原因。
其中φ是对话语句与其说话人的映射。
他人间线索检索的过程中,要注意其他说话人的话语中所包含的线索。
一旦从自身和他人间线索中获得检索分数,就应该在同一尺度上综合考虑它们。控制应该从自身或他人间因果语句中收集多少信息的联合值可以通过以下方式计算出来:
因果语句回溯
在因果语句回溯的步骤中,模型可以意识到不同的权重,根据因果线索检索得出的结果,更多地关注与情绪原因相关的语句。上述联合值被分解成两部分,由说话人自身和对方的轮次进行区分,表示为αintra和αinter。
然后,因果意识的语境表征与自身原因语句和他人间原因语句相结合,可以得到:
其中,S(i)是与语句ui相同的说话人的语句集合,O(i)代表说话人与语句ui不同的语句集合。此外,因果线索中包含的情感信息也应被考虑在内:
其中fk(x)是一个线性变换。而最终的因果意识表示是通过以下方式拼接起来的:
情感识别
最后,以上述因果意识表示为基础,应用情感分类器来预测语句的情感。
需要注意的是,具体实施方式仅仅是对本发明技术方案的解释和说明,不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的,仍应落入本发明的保护范围内。
Claims (10)
1.一种基于因果感知交互网络的对话情绪识别方法,其特征在于包括以下步骤:
步骤一:获取待识别的对话语料;
步骤二:将待识别的对话语料中的语句分别输入RoBERTa预训练语言模型和COMET常识知识生成模型;
输入RoBERTa预训练语言模型得到语句的语义表示向量ci;
输入COMET常识知识生成模型得到自身因果线索向量和他人因果线索向量;
步骤三:将语句的语义表示向量经过前向的语境和后向的语境进行建模,得到表示语句上下文语义信息的隐藏向量hi;
步骤四:将自身因果线索向量和他人因果线索向量分别经过线性特征整合,然后分别与隐藏向量进行拼接,得到自身因果隐藏向量和他人因果隐藏向量;
步骤六:将联合的因果线索检索结果根据说话人自身的轮次和对方的轮次拆分成两部分,然后将拆分后的两部分分别与表示语句上下文语义信息的隐藏向量hi进行乘积,然后将两个乘积结果进行加和得到因果语句回溯过程的结果,即具有因果意识的语句表示向量
步骤七:基于步骤六中拆分后的两部分,将根据说话人自身的轮次拆分的结果与自身因果隐藏向量进行乘积,将根据对方的轮次拆分的结果与他人因果隐藏向量进行乘积,最后将两个乘积结果进行加和得到融入因果线索中包含的情感信息
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210373952.2A CN114676259B (zh) | 2022-04-11 | 2022-04-11 | 一种基于因果感知交互网络的对话情绪识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210373952.2A CN114676259B (zh) | 2022-04-11 | 2022-04-11 | 一种基于因果感知交互网络的对话情绪识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114676259A true CN114676259A (zh) | 2022-06-28 |
CN114676259B CN114676259B (zh) | 2022-09-23 |
Family
ID=82077798
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210373952.2A Active CN114676259B (zh) | 2022-04-11 | 2022-04-11 | 一种基于因果感知交互网络的对话情绪识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114676259B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116521875A (zh) * | 2023-05-09 | 2023-08-01 | 江南大学 | 引入群体情绪感染的原型增强小样本对话情感识别方法 |
CN116680369A (zh) * | 2023-04-13 | 2023-09-01 | 华中师范大学 | 一种共情对话生成方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150286928A1 (en) * | 2014-04-03 | 2015-10-08 | Adobe Systems Incorporated | Causal Modeling and Attribution |
CN110781369A (zh) * | 2018-07-11 | 2020-02-11 | 天津大学 | 一种基于依存句法和泛化因果网络进行情感原因挖掘方法 |
CN113254576A (zh) * | 2021-04-26 | 2021-08-13 | 中国科学院信息工程研究所 | 一种人类行为与情感的预测、溯源方法及装置 |
CN113486657A (zh) * | 2021-07-26 | 2021-10-08 | 刘德喜 | 一种基于知识辅助的情感-原因对抽取系统 |
CN113987179A (zh) * | 2021-10-27 | 2022-01-28 | 哈尔滨工业大学 | 基于知识增强和回溯损失的对话情绪识别网络模型、构建方法、电子设备及存储介质 |
-
2022
- 2022-04-11 CN CN202210373952.2A patent/CN114676259B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150286928A1 (en) * | 2014-04-03 | 2015-10-08 | Adobe Systems Incorporated | Causal Modeling and Attribution |
CN110781369A (zh) * | 2018-07-11 | 2020-02-11 | 天津大学 | 一种基于依存句法和泛化因果网络进行情感原因挖掘方法 |
CN113254576A (zh) * | 2021-04-26 | 2021-08-13 | 中国科学院信息工程研究所 | 一种人类行为与情感的预测、溯源方法及装置 |
CN113486657A (zh) * | 2021-07-26 | 2021-10-08 | 刘德喜 | 一种基于知识辅助的情感-原因对抽取系统 |
CN113987179A (zh) * | 2021-10-27 | 2022-01-28 | 哈尔滨工业大学 | 基于知识增强和回溯损失的对话情绪识别网络模型、构建方法、电子设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
WEIXIANG ZHAO等: "CauAIN:Causal Aware Interaction Network for Emotion Recognition in Conversations", 《IJCAI-22》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116680369A (zh) * | 2023-04-13 | 2023-09-01 | 华中师范大学 | 一种共情对话生成方法及系统 |
CN116680369B (zh) * | 2023-04-13 | 2023-12-15 | 华中师范大学 | 一种共情对话生成方法及系统 |
CN116521875A (zh) * | 2023-05-09 | 2023-08-01 | 江南大学 | 引入群体情绪感染的原型增强小样本对话情感识别方法 |
CN116521875B (zh) * | 2023-05-09 | 2023-10-31 | 江南大学 | 引入群体情绪感染的原型增强小样本对话情感识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114676259B (zh) | 2022-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zadeh et al. | Memory fusion network for multi-view sequential learning | |
Zhu et al. | Multimodal sentiment analysis based on fusion methods: A survey | |
Wu et al. | Emotion recognition from text using semantic labels and separable mixture models | |
CN113420807A (zh) | 基于多任务学习与注意力机制的多模态融合情感识别系统、方法及实验评价方法 | |
Nie et al. | Long dialogue emotion detection based on commonsense knowledge graph guidance | |
CN114676259B (zh) | 一种基于因果感知交互网络的对话情绪识别方法 | |
Yang et al. | Multimodal sentiment analysis with unidirectional modality translation | |
Wang et al. | Learning Mutual Correlation in Multimodal Transformer for Speech Emotion Recognition. | |
Fu et al. | CONSK-GCN: conversational semantic-and knowledge-oriented graph convolutional network for multimodal emotion recognition | |
CN113392265A (zh) | 多媒体处理方法、装置及设备 | |
Tseng et al. | Approaching Human Performance in Behavior Estimation in Couples Therapy Using Deep Sentence Embeddings. | |
Zhang et al. | AIA-Net: adaptive interactive attention network for text–audio emotion recognition | |
Sachidananda et al. | Calm: Contrastive aligned audio-language multirate and multimodal representations | |
Abubakar et al. | Explainable emotion recognition from tweets using deep learning and word embedding models | |
Heaton et al. | Language models as emotional classifiers for textual conversation | |
Chharia et al. | Deep recurrent architecture based scene description generator for visually impaired | |
Ai et al. | A Two-Stage Multimodal Emotion Recognition Model Based on Graph Contrastive Learning | |
Bai et al. | Low-rank multimodal fusion algorithm based on context modeling | |
Kumar et al. | Augmenting small data to classify contextualized dialogue acts for exploratory visualization | |
Jiang et al. | Self-supervised utterance order prediction for emotion recognition in conversations | |
CN113836273A (zh) | 基于复杂语境的法律咨询方法及相关设备 | |
Singh et al. | Textual Conversational Sentiment Analysis in Deep Learning using capsule network | |
Elbarougy et al. | Continuous audiovisual emotion recognition using feature selection and lstm | |
Jain | Enhancing Emotion Recognition in Textual Conversation by Leveraging Common-sense | |
Luo et al. | Mutual Cross-Attention in Dyadic Fusion Networks for Audio-Video Emotion Recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |