CN113065344A - 一种基于迁移学习和注意力机制的跨语料库情感识别方法 - Google Patents

一种基于迁移学习和注意力机制的跨语料库情感识别方法 Download PDF

Info

Publication number
CN113065344A
CN113065344A CN202110330443.7A CN202110330443A CN113065344A CN 113065344 A CN113065344 A CN 113065344A CN 202110330443 A CN202110330443 A CN 202110330443A CN 113065344 A CN113065344 A CN 113065344A
Authority
CN
China
Prior art keywords
neural network
emotion
context
target
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110330443.7A
Other languages
English (en)
Inventor
王塔娜
张强
王鹏飞
候亚庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202110330443.7A priority Critical patent/CN113065344A/zh
Publication of CN113065344A publication Critical patent/CN113065344A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明属于迁移学习、情感计算等技术领域，涉及一种基于迁移学习和注意力机制的跨语料库情感识别方法。本发明方法中使用编码‑解码在源语料库上进行训练，并通过循环卷积神经网络RNN提取上下文中的情感依赖和传递情况，将编码和上下文情感依赖等特征参数迁移到目标语料库的训练中，通过训练将迁移损失控制在一定范围内进而完成知识迁移，在目标语料库上借助迁移学习的知识进行编码‑上下文特征参数提取‑分类的操作，最终完成目标语料库上说话人情感状态判定的任务，能够有效解决小样本训练不充分的问题。

Description

一种基于迁移学习和注意力机制的跨语料库情感识别方法
技术领域
本发明属于迁移学习、情感计算等技术领域，涉及一种基于迁移学习和注意力机制的跨语料库情感识别方法，用于解决小样本训练不充分的问题。
背景技术
情感计算旨在通过赋予计算机识别、理解、表达和适应人的情感能力来构建和谐的人机环境，并使计算机具有更加高效全面的智能。作为人工智能的重要分支，情感计算与分析不仅在实现机器智能化方面不可或缺，在舆论舆情监控、临床心理动态检测以及人机交互等领域更是十分重要。
近些年，深度学习在语音处理、图像分类和其他机器学习相关领域表现优异，这其中就包括人类的情感识别和认知理解，很多工作都是在卷积神经网络(CNN)、循环神经网络(RNN)等及其变种模型上进行，取得了一定的进步。最初的研究多是在单一语料库上通过表情或文字等单模态来识别目标人物的情感状态，然而随着神经网络结构的不断复杂化，网络训练需要大量的标注数据，高昂的数据标注成本一定程度上制约了训练的实际操作。为解决这一难题，近些年有学者提出迁移学习的思路，即从相关领域中迁移标注数据或者知识结构对目标领域或任务进行实现或改进。此外，在实际中由于采集环境和设备、对话情景和主题等不同，训练集和测试集中的情感数据往往差异很大，所以进行跨语料库的情感识别更加贴近于真实生活和应用场景。但跨语料库情感识别的难点在于如何提取合适的情感特征并通过不断缩小源任务和目标任务之间的特征差异来完成知识迁移。
《基于神经网络和迁移学习的多模态情感识别方法、系统》(专利号：CN201710698379.1)该方法基于大规模数据训练深度神经网络并通过迁移学习获取音频特征提取器、视频特征提取器，进而对多模态情感数据进行音频特征视频特征的提取，从而识别各语音情感类别的概率、各视频情感类别的概率，并通概率值判断最终情感类别。
《一种基于增强式深度残差神经网络的多模态语音情感识别方法》(专利号：CN201811346114.6)，该方法提取视频(序列数据)与语音的特征表达，包括将语音数据转换为相应的语谱图表达，以及对时序数据进行编码:使用卷积神经网络提取原始数据的情感特征表达用于分类，模型接受多输入并且输入维度不等，提出交叉卷积层对不同模态的数据特征进行融合,模型使用的整体网络结构是增强式深度残差神经网络：模型初始化后，使用语音语谱图、序列视频信息及相应的情感标签训练多分类模型，训练完毕后对末标记的语音和视频进行预测，得到情感预测的概率值，选择概率最大值作为该多模态数据的情感类别。
《一种基于情景感知的多模态抑郁症检测方法和系统》(专利号：201911198356.X)该方法包括：构建训练样本集，所述训练样本集包括话题信息、语谱图和对应的文本信息:使用卷积神经网络，结合多任务学习，对所述训练样本集的语谱图进行声学特征提取，获得具备情景感知的声学特征；利用所述训练样木集，使用Transformer模型对词嵌入进行处理，提取具备情景感知的文本特征；对于所述情景感知的声学特征建立进行抑郁症检测的声学通道子系统，对于所述情景感知的文本特征建立进行抑郁症检测的文本通道子系统，对所述声学通道子系统和所述文本通道子系统的输出进行融合,获得抑郁症分类信息。
考虑到实际交谈场景中说话人目标语句的情感状态往往还会受到上下文语句的影响。本发明在选取特征进行迁移时，除了传统的情感特征，也将上下文中有关于情感的动态变化进行特征提取并进行迁移。在迁移过程中，使用注意力迁移机制使得目标任务的特征图(feature map)与源任务的特征图(feature map)尽可能相似进而完成知识迁移。
发明内容
基于上述跨语料库情感识别的难点，本发明提出了一种基于迁移学习和注意力机制的跨语料库情感识别方法。通过本发明方法，首先在源语料库上针对整段对话中的每个单句进行编码，并将单句的编码向量送入到循环神经网络(RNN)，通过RNN提取上下文中的情感依赖和传递情况，将编码和上下文情感依赖等特征参数迁移到目标语料库的训练中，通过训练将迁移损失控制在一定范围内进而完成知识迁移，在目标语料库上借助迁移学习的知识进行编码-上下文特征参数提取-分类的操作，最终完成目标语料库上说话人情感状态判定的任务。
为了达到上述目的，本发明采用的技术方案如下：
一种基于迁移学习和注意力机制的跨语料库情感识别方法，具体步骤如下：
S1：将源语料库中对话部分划分为t条的语句X＝[x1,x2,…,xi…,xt]，选取对话中所有说话人的文本数据。
S2：使用编码解码器架构进行建模。编码解码器使用三个顺序组件以分层方式对会话进行构建循环神经网络模型：编码器循环神经网络用于句子编码，上下文循环神经网络用于语句级对话上下文进行建模，解码器循环神经网络用于生成响应句子。将步骤S1划分好的每条语句送入循环神经网络模型进行编码-上下文建模-解码操作：
编码操作：首先，将步骤S1划分好的每条语句送入编码器循环神经网络进行编码，并通过注意力机制获得编码过程中情感相关的隐藏层向量，在某一时刻t进行如下公式所示的计算：
Figure BDA0002990429450000031
其中，
Figure BDA0002990429450000041
表示编码器在i时刻的状态输出，fes表示源任务编码器循环神经网络函数，Attention表示进行注意力机制计算。
上下文建模：将编码操作中得到的
Figure BDA0002990429450000042
(其中i＝1,2,…,t)送入到上下文循环神经网络进行对话上下文建模，将得到t时间点的隐藏层状态
Figure BDA0002990429450000043
Figure BDA0002990429450000044
其中，fcs表示源任务上下文循环神经网络函数。
解码操作：使用解码器循环神经网络用于生成响应句子xt+1：
Figure BDA0002990429450000045
其中，fds表示源任务解码器循环神经网络函数。编码解码器架构通过最大似然估计目标arg maxθ∑ilog p(Xi)将语料库中的对话进行整体训练。
S3：类似的，对目标任务的目标语料库中每条语句送入循环神经网络模型进行编码-上下文建模操作：
编码操作：首先，将每条语句送入编码器进行编码，并通过注意力机制获得编码过程中情感相关的隐藏层向量，在某一时刻t进行如下公式所示的计算：
Figure BDA0002990429450000046
其中，
Figure BDA0002990429450000047
表示编码器在i时刻的状态输出，fet表示目标任务编码器循环神经网络函数，Attention表示进行注意力机制计算。
上下文建模：将编码操作中得到的
Figure BDA0002990429450000048
(其中i＝1,2,…,t)送入到上下文循环神经网络进行对话上下文建模，将得到t时间点的隐藏层状态
Figure BDA0002990429450000049
Figure BDA00029904294500000410
其中，fct表示目标任务上下文循环神经网络函数。
S4：通过定义空间注意力图将注意力信息从源语料库转移到目标语料库的训练网络中，完成知识迁移。定义循环神经网络网络的激活张量
Figure BDA0002990429450000051
其中由C个通道组成，空间维度为H×W，映射函数F将A作为输入和输出，则空间注意力图计算如下：
Figure BDA0002990429450000052
对于空间注意力图，由于隐藏神经元激活的绝对值可以表示神经元相对于特定输入的重要性，在跨通道维度计算隐藏神经元激活的绝对值的统计信息，并构建以下空间注意力映射：
Figure BDA0002990429450000053
其中，i∈{1,2,…,H}和j∈{1,2,…,W}，p表示在特定卷积层的源域和目标域的激活映射进行所有卷积响应通道上的lp-范数池化计算。在注意力转移模块中，给定源任务的空间注意力图，目标是训练目标任务不仅能做出正确的预测，而且还能拥有与源任务类似的注意力图，源任务和目标任务之间的迁移损失通过以下公式计算：
Figure BDA0002990429450000054
其中，
Figure BDA0002990429450000055
和
Figure BDA0002990429450000056
分别表示源任务和目标任务的损失，WAT表示迁移损失的权重，
Figure BDA0002990429450000057
表示迁移损失。
Figure BDA0002990429450000058
具体计算如下：
Figure BDA0002990429450000059
其中，Θ表示空间注意图，
Figure BDA00029904294500000510
和
Figure BDA00029904294500000511
分别表示目标任务和源任务中的第j对空间注意力图。
Figure BDA00029904294500000512
计算选择l1-范数池化计算。
S5：在完成步骤S4的知识迁移并在目标任务语料库上进行编码建模训练后，使用softmax分类器对目标语句进行情感分类并得到各类情感的识别率。最终结果输出目标语句的情感分类矩阵，从而能够判断每个句子说话人所处的情感状态。
softmax分类器的分类计算以及训练过程中的损失函数Loss计算表达式如下：
Figure BDA0002990429450000061
Figure BDA0002990429450000062
Figure BDA0002990429450000063
其中，y是所有真实的情感标签，
Figure BDA0002990429450000064
表示目标任务中上下文循环神经网络t时间点的隐藏层状态，Wo是权重矩阵，bo为偏差项，
Figure BDA0002990429450000065
为预测概率，c为情感类数，N表示样本数量，yi,j表示第i句话是第j类情感的真实标签，
Figure BDA0002990429450000066
表示第i句话是第j类情感的预测概率。
本发明的有益效果：本发明提出了一种基于迁移学习和注意力机制的跨语料库情感识别方法，该方法中使用循环神经网络(RNN)提取上下文中的情感依赖和传递情况，并通过注意力迁移模块将编码和上下文情感依赖等特征参数迁移到目标语料库的训练中，训练过程中约束迁移损失控制在一定范围内进而完成知识迁移。该方法能够在数据量较少的目标语料库上借助迁移学习的知识完成目标语料库上说话人情感状态判定的任务，能够有效解决小样本训练不充分的问题。
附图说明
图1为本发明的框架流程图。
图2为源任务和目标任务的网络结构图。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
本发明可用于基于迁移学习和注意力机制的跨语料库情感识别任务，本发明的流程如图1所示，所采用网络结构如图2所示。本实施例应用到了对话中说话人所处情感分类任务，下面主要针对对话中说话人情感识别问题对本发明的实施方式进行详细说明，具体包括以下步骤：
S1：将源语料库中对话部分划分为t条的语句X＝[x1,x2,…,xi…,xt]，选取对话中所有说话人的文本数据。
S2：使用编码解码器架构进行建模。编码解码器使用三个顺序组件以分层方式对会话进行建模：编码器循环神经网络用于句子编码，上下文循环神经网络用于语句级对话上下文进行建模，解码器循环神经网络用于生成响应句子。将步骤S1划分好的每条语句送入循环神经网络模型进行编码-上下文建模-解码操作。参见图2，编码器和上下文建模选用双向长短期记忆网络(BLSTM)模型，解码器选用双向长短期记忆网络(LSTM)模型：
编码操作：首先，将步骤S1划分好的每条语句送入编码器循环神经网络进行编码，并通过注意力机制获得编码过程中情感相关的隐藏层向量，在某一时刻t进行如下公式所示的计算：
Figure BDA0002990429450000071
其中，
Figure BDA0002990429450000072
表示编码器在i时刻的状态输出，fes表示源任务编码器循环神经网络函数，Attention表示进行注意力机制计算。
上下文建模：将上一步中得到的
Figure BDA0002990429450000073
(其中i＝1,2,…,t)送入到上下文循环神经网络进行对话上下文建模，将得到t时间点的隐藏层状态
Figure BDA0002990429450000074
Figure BDA0002990429450000075
其中，fcs表示源任务上下文循环神经网络函数。
解码操作：使用解码器循环神经网络用于生成响应句子xt+1。
Figure BDA0002990429450000081
其中，fds表示源任务解码器循环神经网络函数。编码解码器架构通过最大似然估计目标arg maxθ∑ilog p(Xi)将语料库中的对话进行整体训练。
S3：类似的，对目标任务的每条语句送入循环神经网络模型进行编码-上下文建模操作：
编码操作：首先，将每条语句送入编码器进行编码，并通过注意力机制获得编码过程中情感相关的隐藏层向量，在某一时刻t进行如下公式所示的计算：
Figure BDA0002990429450000082
其中，
Figure BDA0002990429450000083
表示编码器在i时刻的状态输出，fet表示目标任务编码器循环神经网络函数，Attention表示进行注意力机制计算。
上下文建模：将上一步中得到的
Figure BDA0002990429450000084
(其中i＝1,2,…,t)送入到上下文循环神经网络进行对话上下文建模，将得到t时间点的隐藏层状态
Figure BDA0002990429450000085
Figure BDA0002990429450000086
其中，fct表示目标任务上下文循环神经网络函数。
S4：注意力迁移模块。该模块通过定义空间注意力图将注意力信息从源语料库转移到目标语料库的训练网络中。定义双向LSTM网络的激活张量
Figure BDA0002990429450000087
其中由C(对于双向LSTM，C＝1)个通道组成，空间维度为H×W，映射函数F将A作为输入和输出，则空间注意力图计算如下：
Figure BDA0002990429450000088
对于空间注意力图，由于隐藏神经元激活的绝对值可以表示神经元相对于特定输入的重要性，在跨通道维度计算这些绝对值的统计信息，并构建以下空间注意力映射：
Figure BDA0002990429450000091
其中，i∈{1,2,…,H}和j∈{1,2,…,W}，p表示在特定卷积层的源域和目标域的激活映射进行所有卷积响应通道上的lp-范数池化计算。在注意力转移模块中，给定源任务的空间注意图，目标是训练目标任务不仅能做出正确的预测，而且还能拥有与源任务类似的注意图，源任务和目标任务之间的迁移损失通过以下公式计算：
Figure BDA0002990429450000092
其中，
Figure BDA0002990429450000093
和
Figure BDA0002990429450000094
分别表示源任务和目标任务的损失，WAT表示迁移损失的权重，
Figure BDA0002990429450000095
表示迁移损失。
具体的，
Figure BDA0002990429450000096
具体计算如下：
Figure BDA0002990429450000097
其中，Θ表示空间注意图，
Figure BDA0002990429450000098
和
Figure BDA0002990429450000099
分别表示目标任务和源任务中的第j对空间注意图。此处
Figure BDA00029904294500000910
选择l1-范数池化计算。
此外，
Figure BDA00029904294500000911
具体计算如下：
Figure BDA00029904294500000912
其中，σ为softmax函数，fs表示源任务模型，它对N类标签的对话语句进行分类任务：即对带有Ys标签的语句Xs进行分类，且属于第n类。
类似的，
Figure BDA00029904294500000913
具体计算如下：
Figure BDA0002990429450000101
其中，第一项是常规的softmax交叉熵损失函数，第二项是迁移损失，
Figure BDA0002990429450000102
和
Figure BDA0002990429450000103
分别表示目标任务模型ft和源任务模型fs的第j对空间注意图，β为注意力转移损失的权重。
为了实现注意力迁移，在源任务语料库上进行预先训练，获得空间注意力图。对于源任务模型的训练，使用编码器-上下文建模-解码器模型，其中BLSTM网络的前向隐层和后向隐层各有128个单元，同时将学习速率设置为0.001。并使用Movie Dialog Corpus数据集(数据量较大)作为源任务数据库。
S5：使用softmax分类器对目标语句进行情感分类并得到各类情感的识别率。最终结果输出目标语句的情感分类矩阵，从而能够判断每个句子说话人所处的情感状态。
softmax分类器的分类计算以及训练过程中的损失函数Loss计算表达式如下：
Figure BDA0002990429450000104
Figure BDA0002990429450000105
Figure BDA0002990429450000106
其中，y是所有真实的情感标签，Wo是权重矩阵，bo为偏差项，
Figure BDA0002990429450000107
为预测概率，c为情感类数，N表示样本数量，yi,j表示第i句话是第j类情感的真实标签，
Figure BDA0002990429450000108
表示第i句话是第j类情感的预测概率。
本实施例使用Adam优化器来优化训练网络学习参数，使用Dropout来防止过拟合，初始学习率设置为0.001。本实施例中选用Movie Dialog Corpus作源任务语料库，IEMOCAP和DailyDialog作目标任务语料库上分别进行6类情感(高兴、悲伤、中性、生气、激动、懊恼)分类实验，得到如下实验结果：
源任务语料库 目标任务语料库 平均识别率(％)
Movie Dialog Corpus IEMOCAP 61.4
Movie Dialog Corpus DailyDialog 52.8
上表中展示了本发明的方法在IEMOCAP和DailyDialog作目标任务语料库通过借助源任务语料库Movie Dialog Corpus上学习到的知识能够进行有效的情感识别。
尽管本实施例以训练过程介绍该发明方法，但实际应用中，利用训练好的网络模型可以针对不同数据集进行分类测试，此外，除了实例中使用的LSTM，双向LSTM之外，也可以采用其他包含时间序列信息的模型。

Claims (1)

1.一种基于迁移学习和注意力机制的跨语料库情感识别方法，其特征在于，具体步骤如下：
S1：将源语料库中对话部分划分为t条的语句X＝[x1，x2，...，xi...，xt]，选取对话中所有说话人的文本数据；
S2：使用编码解码器架构进行建模；编码解码器使用三个顺序组件以分层方式对会话进行构建循环神经网络模型：编码器循环神经网络用于句子编码，上下文循环神经网络用于语句级对话上下文进行建模，解码器循环神经网络用于生成响应句子；将步骤S1划分好的每条语句送入循环神经网络模型进行编码-上下文建模-解码操作：
编码操作：首先，将步骤S1划分好的每条语句送入编码器循环神经网络进行编码，并通过注意力机制获得编码过程中情感相关的隐藏层向量，在某一时刻t进行如下公式所示的计算：
Figure FDA0002990429440000011
其中，
Figure FDA0002990429440000017
表示编码器在i时刻的状态输出，fes表示源任务编码器循环神经网络函数，Attention表示进行注意力机制计算；
上下文建模：将编码操作中得到的
Figure FDA0002990429440000013
送入到上下文循环神经网络进行对话上下文建模，将得到t时间点的隐藏层状态
Figure FDA0002990429440000014
其中i＝1，2，...，t：
Figure FDA0002990429440000015
其中，fcs表示源任务上下文循环神经网络函数；
解码操作：使用解码器循环神经网络用于生成响应句子xt+1：
Figure FDA0002990429440000016
其中，fds表示源任务解码器循环神经网络函数；编码解码器架构通过最大似然估计目标arg maxθ∑ilog p(Xi)将语料库中的对话进行整体训练；
S3：类似的，对目标任务的目标语料库中每条语句送入循环神经网络模型进行编码-上下文建模操作：
编码操作：首先，将每条语句送入编码器进行编码，并通过注意力机制获得编码过程中情感相关的隐藏层向量，在某一时刻t进行如下公式所示的计算：
Figure FDA0002990429440000021
其中，
Figure FDA0002990429440000022
表示编码器在i时刻的状态输出，fet表示目标任务编码器循环神经网络函数，Attention表示进行注意力机制计算；
上下文建模：将编码操作中得到的
Figure FDA0002990429440000023
送入到上下文循环神经网络进行对话上下文建模，将得到t时间点的隐藏层状态
Figure FDA0002990429440000024
其中i＝1，2，...，t：
Figure FDA0002990429440000025
其中，fct表示目标任务上下文循环神经网络函数；
S4：通过定义空间注意力图将注意力信息从源语料库转移到目标语料库的训练网络中，完成知识迁移；定义循环神经网络网络的激活张量
Figure FDA0002990429440000026
其中由C个通道组成，空间维度为H×W，映射函数F将A作为输入和输出，则空间注意力图计算如下：
F：
Figure FDA0002990429440000027
对于空间注意力图，由于隐藏神经元激活的绝对值表示神经元相对于特定输入的重要性，在跨通道维度计算隐藏神经元激活的绝对值的统计信息，并构建以下空间注意力映射：
Figure FDA0002990429440000028
其中，i∈{1，2，...，H}和j∈{1，2，...，W}，p表示在特定卷积层的源域和目标域的激活映射进行所有卷积响应通道上的lp-范数池化计算；给定源任务的空间注意力图，目标是训练目标任务不仅能做出正确的预测，而且还能拥有与源任务类似的注意力图，源任务和目标任务之间的迁移损失通过以下公式计算：
Figure FDA0002990429440000031
其中，
Figure FDA0002990429440000032
和
Figure FDA0002990429440000033
分别表示源任务和目标任务的损失，WAT表示迁移损失的权重，
Figure FDA0002990429440000034
表示迁移损失；
Figure FDA0002990429440000035
具体计算如下：
Figure FDA0002990429440000036
其中，Θ表示空间注意图，
Figure FDA0002990429440000037
和
Figure FDA0002990429440000038
分别表示目标任务和源任务中的第j对空间注意力图；
Figure FDA0002990429440000039
计算选择l1-范数池化计算；
S5：在完成步骤S4的知识迁移并在目标任务语料库上进行编码建模训练后，使用softmax分类器对目标语句进行情感分类并得到各类情感的识别率；最终结果输出目标语句的情感分类矩阵，从而能够判断每个句子说话人所处的情感状态；
softmax分类器的分类计算以及训练过程中的损失函数Loss计算表达式如下：
Figure FDA00029904294400000310
Figure FDA00029904294400000311
Figure FDA00029904294400000312
其中，y是所有真实的情感标签，
Figure FDA00029904294400000313
表示目标任务中上下文循环神经网络t时间点的隐藏层状态，Wo是权重矩阵，bo为偏差项，
Figure FDA00029904294400000314
为预测概率，c为情感类数，N表示样本数量，yi，j表示第i句话是第j类情感的真实标签，
Figure FDA00029904294400000315
表示第i句话是第j类情感的预测概率。
CN202110330443.7A 2021-03-24 2021-03-24 一种基于迁移学习和注意力机制的跨语料库情感识别方法 Pending CN113065344A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110330443.7A CN113065344A (zh) 2021-03-24 2021-03-24 一种基于迁移学习和注意力机制的跨语料库情感识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110330443.7A CN113065344A (zh) 2021-03-24 2021-03-24 一种基于迁移学习和注意力机制的跨语料库情感识别方法

Publications (1)

Publication Number Publication Date
CN113065344A true CN113065344A (zh) 2021-07-02

Family

ID=76564008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110330443.7A Pending CN113065344A (zh) 2021-03-24 2021-03-24 一种基于迁移学习和注意力机制的跨语料库情感识别方法

Country Status (1)

Country Link
CN (1) CN113065344A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627349A (zh) * 2021-08-12 2021-11-09 南京信息工程大学 一种基于自注意力变换网络的动态人脸表情识别方法
CN113779249A (zh) * 2021-08-31 2021-12-10 华南师范大学 跨领域文本情感分类方法、装置、存储介质以及电子设备
CN113946670A (zh) * 2021-10-19 2022-01-18 北京理工大学 一种面向对话情感识别的对比式上下文理解增强方法
CN114817494A (zh) * 2022-04-02 2022-07-29 华南理工大学 基于预训练和注意力交互网络的知识型检索式对话方法
CN115033700A (zh) * 2022-08-10 2022-09-09 华南师范大学 基于相互学习网络的跨领域情感分析方法、装置以及设备
CN116978409A (zh) * 2023-09-22 2023-10-31 苏州复变医疗科技有限公司 基于语音信号的抑郁状态评估方法、装置、终端及介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627349A (zh) * 2021-08-12 2021-11-09 南京信息工程大学 一种基于自注意力变换网络的动态人脸表情识别方法
CN113627349B (zh) * 2021-08-12 2023-12-05 南京信息工程大学 一种基于自注意力变换网络的动态人脸表情识别方法
CN113779249A (zh) * 2021-08-31 2021-12-10 华南师范大学 跨领域文本情感分类方法、装置、存储介质以及电子设备
CN113946670A (zh) * 2021-10-19 2022-01-18 北京理工大学 一种面向对话情感识别的对比式上下文理解增强方法
CN113946670B (zh) * 2021-10-19 2024-05-10 北京理工大学 一种面向对话情感识别的对比式上下文理解增强方法
CN114817494A (zh) * 2022-04-02 2022-07-29 华南理工大学 基于预训练和注意力交互网络的知识型检索式对话方法
CN115033700A (zh) * 2022-08-10 2022-09-09 华南师范大学 基于相互学习网络的跨领域情感分析方法、装置以及设备
CN116978409A (zh) * 2023-09-22 2023-10-31 苏州复变医疗科技有限公司 基于语音信号的抑郁状态评估方法、装置、终端及介质

Similar Documents

Publication Publication Date Title
CN110609891B (zh) 一种基于上下文感知图神经网络的视觉对话生成方法
CN112348075B (zh) 一种基于情景注意力神经网络的多模态情感识别方法
CN110188343B (zh) 基于融合注意力网络的多模态情感识别方法
CN108763284B (zh) 一种基于深度学习和主题模型的问答系统实现方法
CN113065344A (zh) 一种基于迁移学习和注意力机制的跨语料库情感识别方法
CN110647612A (zh) 一种基于双视觉注意力网络的视觉对话生成方法
CN111966800B (zh) 情感对话生成方法、装置及情感对话模型训练方法、装置
CN112633364B (zh) 一种基于Transformer-ESIM注意力机制的多模态情绪识别方法
CN113987179B (zh) 基于知识增强和回溯损失的对话情绪识别网络模型、构建方法、电子设备及存储介质
CN108170848B (zh) 一种面向中国移动智能客服的对话场景分类方法
CN113127624B (zh) 问答模型的训练方法及装置
CN112037773B (zh) 一种n最优口语语义识别方法、装置及电子设备
CN114091478A (zh) 基于有监督对比学习与回复生成辅助的对话情感识别方法
CN112287106A (zh) 一种基于双通道混合神经网络的在线评论情感分类方法
CN114385802A (zh) 一种融合主题预测和情感推理的共情对话生成方法
CN112101044A (zh) 一种意图识别方法、装置及电子设备
CN115393933A (zh) 一种基于帧注意力机制的视频人脸情绪识别方法
CN114091466A (zh) 一种基于Transformer和多任务学习的多模态情感分析方法及系统
CN114168707A (zh) 一种面向推荐的情绪型对话方法
CN114360584A (zh) 一种基于音素级的语音情感分层式识别方法及系统
CN110297894A (zh) 一种基于辅助网络的智能对话生成方法
CN113779224A (zh) 一种基于用户对话历史的个性化对话生成方法与系统
CN113297374A (zh) 一种基于bert和字词特征融合的文本分类方法
CN114239575B (zh) 语句分析模型的构建方法、语句分析方法、装置、介质和计算设备
CN115795010A (zh) 一种外部知识辅助的多因素层次建模共情对话生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination