CN117017288B - 跨被试情绪识别模型及其训练方法、情绪识别方法、设备 - Google Patents

跨被试情绪识别模型及其训练方法、情绪识别方法、设备 Download PDF

Info

Publication number
CN117017288B
CN117017288B CN202310707364.2A CN202310707364A CN117017288B CN 117017288 B CN117017288 B CN 117017288B CN 202310707364 A CN202310707364 A CN 202310707364A CN 117017288 B CN117017288 B CN 117017288B
Authority
CN
China
Prior art keywords
neural network
sub
domain data
cross
emotion recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310707364.2A
Other languages
English (en)
Other versions
CN117017288A (zh
Inventor
顾瑾
龚新皓
李天瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202310707364.2A priority Critical patent/CN117017288B/zh
Publication of CN117017288A publication Critical patent/CN117017288A/zh
Application granted granted Critical
Publication of CN117017288B publication Critical patent/CN117017288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Psychiatry (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Developmental Disabilities (AREA)
  • Fuzzy Systems (AREA)
  • Physiology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种跨被试情绪识别模型及其训练方法、情绪识别方法、设备，训练方法基于神经网络结构实现，神经网络结构包括两个独立且结构相同的子神经网络；训练方法包括以下步骤：S1：获取脑电原始信号，并对其进行微分熵特征提取；S2：将提取的微分熵特征划分为多个数据组，并将其中一个作为目标域数据，剩余的作为源域数据；S3：假设当前源域数据分别为Si和Sj，目标域数据为T，其中，Si为子神经网络一的输入，Sj为子神经网络二的输入；S4：建立子神经网络的目标函数；S5：建立跨被试情绪识别模型的损失函数；S6：进行神经网络训练，直至跨被试情绪识别模型的损失函数最小化。本发明获得的跨被试情绪识别模型更加轻量化、识别准确率更高。

Description

跨被试情绪识别模型及其训练方法、情绪识别方法、设备
技术领域
本发明涉及脑电情绪识别技术领域，特别涉及一种跨被试情绪识别模型及其训练方法、情绪识别方法、设备。
背景技术
在脑电跨被试情绪识别中，主要难点是脑电数据存在基于被试的个体差异性。这将导致两方面问题：1、特定于被试的模型在新被试上表现差；2、被试通用模型预测效果不佳。目前，这方面的研究最常用的解决办法是在神经网络中引入域适应。域适应目的是将源域中学到的知识可以应用到不同但相关的目标域中，通过对齐源域和目标域的边缘分布或条件分布，将模型推广到不同分布的不同领域。在域适应中度量源域和目标域的分布距离一般采用最大均值差异(MMD)。在神经网络训练过程中，通过不断最小化MMD损失函数来降低源域和目标域的分布差异，提高模型在目标域的泛化能力。
在现有技术MS-MDA中，采用多源域适应的方法进行脑电跨被试情绪识别，但该方法的模型结果会随着被试的增多而增大，在被试较多的数据集中，如DEAP数据集(含32被试)需要构建32个DSFE和DSC，极大增加了模型的参数量，降低模型运行效率；另外，该方法仅考虑了对齐源域和目标域的边缘分布而忽视了条件分布，降低了域不变特征的情感识别能力。
发明内容
针对上述问题，本发明旨在提供一种跨被试情绪识别模型及其训练方法、情绪识别方法、设备。
本发明的技术方案如下：
本发明提供了一种跨被试情绪识别模型的训练方法，所述训练方法基于神经网络结构实现，所述神经网络结构包括两个独立且结构相同的子神经网络一和子神经网络二，两个子神经网络均包括一个编码器和一个分类器，所述编码器用于进行特征提取，并将提取的特征输入到所述分类器中，所述分类器用于完成预测；
所述训练方法包括以下步骤：
S1：获取脑电原始信号，并根据所述脑电原始信号提取微分熵特征；
S2：将提取获得的微分熵特征根据被试个数划分为多个数据组，并将其中一个数据组作为目标域数据，剩余的其他数据组作为源域数据；
S3：假设当前源域数据分别为Si和Sj，目标域数据为T，其中，所述Si为子神经网络一的输入，所述Sj为子神经网络二的输入；
S4：以相同的方法建立所述子神经网络一的目标函数一和所述子神经网络二的目标函数二；
S5：根据所述目标函数一和所述目标函数二建立跨被试情绪识别模型的损失函数；
S6：对所述神经网络结构进行神经网络训练，直至所述跨被试情绪识别模型的损失函数最小化，此时获得的神经网络结构即为能够进行跨被试情绪识别的跨被试情绪识别模型。
作为优选，步骤S4中，所述子神经网络一的目标函数一为：
式中：为子神经网络一的目标函数一；/>为子神经网络一关于源域数据Si上的交叉熵损失函数；/>为子神经网络二指导子神经网络一产生的协作损失函数；/>为动态对齐目标域数据和源域数据之间的边缘分布和条件分布的函数；
步骤S5中，所述跨被试情绪识别模型的损失函数为：
式中：为跨被试情绪识别模型的损失函数；/>为子神经网络二的目标函数二。
作为优选，所述子神经网络一关于源域数据Si上的交叉熵损失函数为：
式中：k为批大小；yi为源域数据的真实标签；为源域数据由子神经网络一的分类器经过softmax得到的预测标签。
作为优选，所述子神经网络二指导子神经网络一产生的协作损失函数为：
式中：为源域数据Sj经过子神经网络二的编码器得到的特征；/>为源域数据Sj经过子神经网络一的编码器得到的特征；/>为目标域数据T经过子神经网络二的编码器得到的特征；/>为目标域数据T经过子神经网络一的编码器得到的特征。
作为优选，所述动态对齐目标域数据和源域数据之间的边缘分布和条件分布的函数为：
式中：α为关于训练轮数的单调递减函数；为减少目标域数据和源域数据的边缘分布；/>为减少目标域数据和源域数据的条件分布。
作为优选，所述关于训练轮数的单调递减函数α为：
式中：e为自然常数；epoch为当前训练轮数；N为总训练轮数；
作为优选，所述减少目标域数据和源域数据的边缘分布通过下式进行计算：
式中：n和m分别为源域样本量和目标域样本量；k(·,·)为核函数；对应编码器的作用；/>和/>分别为源域第i个和第j个样本数据，/>和/>分别为目标域第i和第j个样本数据；
所述减少目标域数据和源域数据的条件分布通过下式进行计算：
式中：M为标签类别的数量；Dcc(·,·)和Dcc‘(·,·)分别表示相同标签的跨域差异和不同标签的跨域差异。
本发明还提供了一种跨被试情绪识别模型，采用上述任意一项所述的跨被试情绪识别模型的训练方法训练而成。
本发明还提供了一种跨被试情绪识别方法，采用上述所述的跨被试情绪识别模型进行跨被试情绪识别。
本发明还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的跨被试情绪识别模型的训练方法或上述所述的跨被试情绪识别方法。
本发明的有益效果是：
本发明通过采用两个独立且结构相同的子神经网络，使两者互为对方的Teacher网络，相互指导和学习，通过协作学习关联提升两个网络的泛化能力；本发明在建立目标函数时，通过考虑动态对齐目标域数据和源域数据之间的边缘分布和条件分布的函数，减小相同类别的分布差异，增大不同类别的分布差异，利用动态分布自适应实现对齐每个类别内的分布；综上使得本发明跨被试情绪识别模型相较于多源域适应的方法，不会随着被试的增多而增大，且模型本身的参数量较少，能够实现模型轻量化，且预测准确率高，能够为脑电跨被试情绪识别提供技术支持。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明跨被试情绪识别模型的结构示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的技术特征可以相互结合。需要指出的是，除非另有指明，本申请使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。本发明公开使用的“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
实施例1
如图1所示，本实施例提供了一种跨被试情绪识别模型的训练方法，所述训练方法基于神经网络结构实现，所述神经网络结构包括两个独立且结构相同的子神经网络一和子神经网络二，两个子神经网络均包括一个编码器和一个分类器，所述编码器用于进行特征提取，并将提取的特征输入到所述分类器中，所述分类器用于完成预测；
所述训练方法包括以下步骤：
S1：获取脑电原始信号，并根据所述脑电原始信号提取微分熵特征。
S2：将提取获得的微分熵特征根据被试个数划分为多个数据组，并将其中一个数据组作为目标域数据，剩余的其他数据组作为源域数据。
S3：假设当前源域数据分别为Si和Sj，目标域数据为T，其中，所述Si为子神经网络一的输入，所述Sj为子神经网络二的输入。
S4：以相同的方法建立所述子神经网络一的目标函数一和所述子神经网络二的目标函数二。
在一个具体的实施例中，所述子神经网络一的目标函数一为：
式中：为子神经网络一的目标函数一；/>为子神经网络一关于源域数据Si上的交叉熵损失函数；/>为子神经网络二指导子神经网络一产生的协作损失函数；/>为动态对齐目标域数据和源域数据之间的边缘分布和条件分布的函数。
在一个具体的实施例中，所述子神经网络一关于源域数据Si上的交叉熵损失函数为：
式中：k为批大小；yi为源域数据的真实标签；为源域数据由子神经网络一的分类器经过softmax得到的预测标签。
所述子神经网络二指导子神经网络一产生的协作损失函数为：
式中：为源域数据Sj经过子神经网络二的编码器得到的特征；/>为源域数据Sj经过子神经网络一的编码器得到的特征；/>为目标域数据T经过子神经网络二的编码器得到的特征；/>为目标域数据T经过子神经网络一的编码器得到的特征。
在本实施例中，利用两个子神经网络相互为对方生成伪标签，在子神经网络一中目标域的标签由前一轮训练的子神经网络二生成，子神经网络二目标域标签同理；最后采用FixMatch的方法为生成的伪标签设置一个高且固定的置信阈值，以滤除大量的噪声数据标签。
所述动态对齐目标域数据和源域数据之间的边缘分布和条件分布的函数为：
式中：α为关于训练轮数的单调递减函数；为减少目标域数据和源域数据的边缘分布；/>为减少目标域数据和源域数据的条件分布。
在一个具体的实施例中，所述关于训练轮数的单调递减函数α为：
式中：e为自然常数；epoch为当前训练轮数；N为总训练轮数；
所述减少目标域数据和源域数据的边缘分布通过下式进行计算：
式中：n和m分别为源域样本量和目标域样本量；k(·,·)为核函数；对应编码器的作用；/>和/>分别为源域第i个和第j个样本数据，/>和/>分别为目标域第i和第j个样本数据；
所述减少目标域数据和源域数据的条件分布通过下式进行计算：
式中：M为标签类别的数量；Dcc（·,·)和Dcc‘(·,·)分别表示相同标签的跨域差异和不同标签的跨域差异。
对于任意两个类别的分类器c1和c2，它们的差值由以下公式计算：
式中：ns和nt分别为源域和目标域的样本量；为同属于c1标签；/>为同属于c2标签；/>为属于c1和c2两个不同标签；/>为源域第i个样本的真实标签；/>为源域第j个样本的真实标签；/>为目标域第i个样本的真实标签；/>为目标域第j个样本的真实标签。
需要说明的是，所述子神经网络二的目标函数二与所述子神经网络一的目标函数一的建立方法相同，即所述子神经网络二的目标函数二的表达式与式(1)类似，只是其中的参数会相应的换为子神经网络二关于源域数据Sj上的交叉熵损失函数，子神经网络一指导子神经网络二产生的协作损失函数等，具体公式在此不再赘述。
S5：根据所述目标函数一和所述目标函数二建立跨被试情绪识别模型的损失函数；所述跨被试情绪识别模型的损失函数为：
式中：为跨被试情绪识别模型的损失函数；/>为子神经网络二的目标函数二。
S6：对所述神经网络结构进行神经网络训练，直至所述跨被试情绪识别模型的损失函数最小化，此时获得的神经网络结构即为能够进行跨被试情绪识别的跨被试情绪识别模型。
在一个具体的实施例中，采用本发明所述的跨被试情绪识别模型的训练方法进行跨被试情绪识别模型的训练，具体包括以下步骤：
(1)获取数据集
本实施例使用SEED和SEED-IV两个公开数据集进行训练和测试，两个数据集包含了15名被试者，脑电信号采集设备均为62个通道的电极帽。在SEED数据集中包含三种情绪，SEED-IV数据集对应四种情绪。
(2)构建神经网络结构
所述神经网络结构由两个独立且结构相同的子神经网络一M1和子神经网络二M2构成，每个子神经网络均包含一个编码器e(·)和一个分类器c(·)，子神经网络一M1由e1和c1组成，子神经网络二M2由e2和c2组成，所述编码器的作用是进行特征提取，然后将提取的特征输入到所述分类器，由所述分类器完成预测。
在本实施例中，所述编码器采用多层感知机来实现，所述分类器由一个线性层构成。具体的，所述编码器为一个五层的网络结构，输入层的节点是310，每层的隐藏层节点数量分别为256、128、64、32，层与层之间使用批归一化并采用线性整流函数作为激活层；所述分类器是预测结果的输出，其隐藏层节点与所使用的数据集情感类别相对应，SEED是三个情绪类别，SEED-IV对应四个情绪类别。
(3)对数据集中的脑电原始信号进行微分熵特征提取
首先，将脑电原始信号通过带通滤波分解为δ(1-4Hz)、θ(4-8Hz)、α(8-14Hz)、β(14-31Hz)和γ(31-50Hz)五个频段。假设脑电信号服从高斯分布，则微分熵(DE)公式可以化简为：
式中：a和b表示提取从a到b这段脑电信号的微分熵的起始采样点和终点；σ为标准差；x为脑电信号采样点；μ为均值；
然后通过合并频段和通道即可得到微分熵特征，记为X＝(X1,X2,…,X15)∈R15 ×N×5c，其对应的标签记为Y＝(Y1,Y2,…,Y15)∈R15×N，其中N表示一个被试的样本数量。
(4)初始化两个子神经网络M1和M2。在被试数据中遍历选择一个被试数据Xi作为目标域T，其他被试作为源域S＝(S1,…,Si-1,Si+1,…,S15)；
(5)从源域数据中随机抽取不同被试分别记为Si和Sj，然后再与目标域数据T共同作为两个子神经网络的输入；
(6)通过式(3)计算子神经网络一M1关于源域数据Si上的交叉熵损失函数，更换式(3)相应参数计算子神经网络二M2关于源域数据Sj上的交叉熵损失函数；
(7)通过式(4)计算子神经网络二M2指导子神经网络一M1产生的协作损失函数，更换式(4)相应参数计算子神经网络一M1指导子神经网络二M2产生的协作损失函数；
(8)通过式(5)-(13)对子神经网络应用动态分布自适应进行优化，降低源域与目标域的分布差异；在本实施例中，总训练轮数为100轮；
(9)通过式(1)计算子神经网络一M1的目标函数一，更换式(1)相应参数计算子神经网络二M2的目标函数二，
(10)通过式(2)计算情绪识别模型的损失函数，根据所述情绪识别模型的损失函数优化e1，c1，e2，c2；
(11)重复步骤(5)-(10)直到两个子神经网络均已遍历完当前源域；
(12)重复步骤(4)-(11)直到目标域遍历完所有被试数据，此时获得的神经网络结构即为能够进行跨被试情绪识别的跨被试情绪识别模型。
实施例2
本实施例提供了一种跨被试情绪识别模型，采用实施例1所述的跨被试情绪识别模型的训练方法训练而成。
实施例3
本实施例提供了一种跨被试情绪识别方法，采用实施例2所述的跨被试情绪识别模型进行跨被试情绪识别。
在一个具体的实施例中，采用本发明所述跨被试情绪识别方法以及现有跨被试情绪识别方法进行脑电跨被试情绪识别，在SEED和SEED-IV均做了15次留一验证，即在15个被试中，有一个被试被当做目标域数据，剩余的14个被试作为源域数据进行预测得到一次预测结果，遍历选择不同被试作为目标域数据重复15次，最终结果取15次留一验证预测结果的平均值，识别结果如表1所示：
表1SEED和SEED-IV上不同方法的跨被试情绪识别平均结果
从表1可以看出，本发明在数据集SEED上平均分类准确率达到90.08％，在数据集SEED-IV上平均分类准确率达到77.55％，均优于现有情绪识别方法。
实施例4
本实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1所述的跨被试情绪识别模型的训练方法或实施例3所述的跨被试情绪识别方法。
需要说明的是，所述存储器和所述处理器均为现有技术，具体结构在此不再赘述。
实施例5
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的跨被试情绪识别模型的训练方法或上述所述的跨被试情绪识别方法。
在一个具体的实施例中，所述计算机可读存储介质为便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件中的任意一种或多种。
在另一个具体的实施例中，所述计算机可读存储介质为一种程序产品的形式，包括程序代码；当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1所述的跨被试情绪识别模型的训练方法或实施例3所述的跨被试情绪识别方法。需要说明的是，所述程序产品的程序代码可以采用一种或多种程序设计语言进行编写。
综上所述，本发明能够更准确地识别脑电情绪。与现有技术相比，本发明具有显著的进步。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (9)

1.一种跨被试情绪识别模型的训练方法，其特征在于，所述训练方法基于神经网络结构实现，所述神经网络结构包括两个独立且结构相同的子神经网络一和子神经网络二，两个子神经网络均包括一个编码器和一个分类器，所述编码器用于进行特征提取，并将提取的特征输入到所述分类器中，所述分类器用于完成预测；
所述训练方法包括以下步骤：
S1：获取脑电原始信号，并根据所述脑电原始信号提取微分熵特征；
S2：将提取获得的微分熵特征根据被试个数划分为多个数据组，并将其中一个数据组作为目标域数据，剩余的其他数据组作为源域数据；
S3：假设当前源域数据分别为Si和Sj，目标域数据为T，其中，所述Si为子神经网络一的输入，所述Sj为子神经网络二的输入；
S4：以相同的方法建立所述子神经网络一的目标函数一和所述子神经网络二的目标函数二；所述子神经网络一的目标函数一为：
式中：为子神经网络一的目标函数一；/>为子神经网络一关于源域数据Si上的交叉熵损失函数；/>为子神经网络二指导子神经网络一产生的协作损失函数；/>为动态对齐目标域数据和源域数据之间的边缘分布和条件分布的函数；
S5：根据所述目标函数一和所述目标函数二建立跨被试情绪识别模型的损失函数；所述跨被试情绪识别模型的损失函数为：
式中：为跨被试情绪识别模型的损失函数；/>为子神经网络二的目标函数二；
S6：对所述神经网络结构进行神经网络训练，直至所述跨被试情绪识别模型的损失函数最小化，此时获得的神经网络结构即为能够进行跨被试情绪识别的跨被试情绪识别模型。
2.根据权利要求1所述的跨被试情绪识别模型的训练方法，其特征在于，所述子神经网络一关于源域数据Si上的交叉熵损失函数为：
式中：k为批大小；yi为源域数据的真实标签；为源域数据由子神经网络一的分类器经过softmax得到的预测标签。
3.根据权利要求1所述的跨被试情绪识别模型的训练方法，其特征在于，所述子神经网络二指导子神经网络一产生的协作损失函数为：
式中：k为批大小；为源域数据Sj经过子神经网络二的编码器得到的特征；/>为源域数据Sj经过子神经网络一的编码器得到的特征；/>为目标域数据T经过子神经网络二的编码器得到的特征；/>为目标域数据T经过子神经网络一的编码器得到的特征。
4.根据权利要求1所述的跨被试情绪识别模型的训练方法，其特征在于，所述动态对齐目标域数据和源域数据之间的边缘分布和条件分布的函数为：
式中：α为关于训练轮数的单调递减函数；为减少目标域数据和源域数据的边缘分布；/>为减少目标域数据和源域数据的条件分布。
5.根据权利要求4所述的跨被试情绪识别模型的训练方法，其特征在于，所述关于训练轮数的单调递减函数α为：
式中：e为自然常数；epoch为当前训练轮数；N为总训练轮数。
6.根据权利要求4或5所述的跨被试情绪识别模型的训练方法，其特征在于，所述减少目标域数据和源域数据的边缘分布通过下式进行计算：
式中：n和m分别为源域样本量和目标域样本量；k(·,·)为核函数；对应编码器的作用；/>和/>分别为源域第i个和第j个样本数据，/>和/>分别为目标域第i和第j个样本数据；
所述减少目标域数据和源域数据的条件分布通过下式进行计算：
式中：M为标签类别的数量；Dcc(·,·)和Dcc‘(·,·)分别表示相同标签的跨域差异和不同标签的跨域差异。
7.一种跨被试情绪识别模型，其特征在于，采用权利要求1-6中任意一项所述的跨被试情绪识别模型的训练方法训练而成。
8.一种跨被试情绪识别方法，其特征在于，采用权利要求7所述的跨被试情绪识别模型进行跨被试情绪识别。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-6中任一项所述的跨被试情绪识别模型的训练方法或权利要求8所述的跨被试情绪识别方法。
CN202310707364.2A 2023-06-14 2023-06-14 跨被试情绪识别模型及其训练方法、情绪识别方法、设备 Active CN117017288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310707364.2A CN117017288B (zh) 2023-06-14 2023-06-14 跨被试情绪识别模型及其训练方法、情绪识别方法、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310707364.2A CN117017288B (zh) 2023-06-14 2023-06-14 跨被试情绪识别模型及其训练方法、情绪识别方法、设备

Publications (2)

Publication Number Publication Date
CN117017288A CN117017288A (zh) 2023-11-10
CN117017288B true CN117017288B (zh) 2024-03-19

Family

ID=88641777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310707364.2A Active CN117017288B (zh) 2023-06-14 2023-06-14 跨被试情绪识别模型及其训练方法、情绪识别方法、设备

Country Status (1)

Country Link
CN (1) CN117017288B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022042487A (ja) * 2020-09-02 2022-03-14 富士通株式会社 ドメイン適応型ニューラルネットワークの訓練方法
CN114186063A (zh) * 2021-12-14 2022-03-15 合肥工业大学 跨域文本情绪分类模型的训练方法和分类方法
CN114631831A (zh) * 2022-03-04 2022-06-17 南京理工大学 基于半监督领域自适应的跨个体情绪脑电识别方法及系统
CN115034296A (zh) * 2022-06-02 2022-09-09 杭州电子科技大学 一种基于域相似性脑电跨被试源域选择方法
CN115105076A (zh) * 2022-05-20 2022-09-27 中国科学院自动化研究所 基于动态卷积残差多源迁移的脑电情绪识别方法及系统
CN115512721A (zh) * 2022-08-23 2022-12-23 东南大学 基于pdan的跨库语音情感识别方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112629863B (zh) * 2020-12-31 2022-03-01 苏州大学 变工况下动态联合分布对齐网络的轴承故障诊断方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022042487A (ja) * 2020-09-02 2022-03-14 富士通株式会社 ドメイン適応型ニューラルネットワークの訓練方法
CN114186063A (zh) * 2021-12-14 2022-03-15 合肥工业大学 跨域文本情绪分类模型的训练方法和分类方法
CN114631831A (zh) * 2022-03-04 2022-06-17 南京理工大学 基于半监督领域自适应的跨个体情绪脑电识别方法及系统
CN115105076A (zh) * 2022-05-20 2022-09-27 中国科学院自动化研究所 基于动态卷积残差多源迁移的脑电情绪识别方法及系统
CN115034296A (zh) * 2022-06-02 2022-09-09 杭州电子科技大学 一种基于域相似性脑电跨被试源域选择方法
CN115512721A (zh) * 2022-08-23 2022-12-23 东南大学 基于pdan的跨库语音情感识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于最大分类器差异域对抗方法的跨被试 脑电情绪识别研究;蔡梓良;《生物医学工程学杂志》;20210630;第38卷(第3期);第456-459页 *

Also Published As

Publication number Publication date
CN117017288A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN111126386B (zh) 场景文本识别中基于对抗学习的序列领域适应方法
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
Banville et al. Self-supervised representation learning from electroencephalography signals
CN111738172B (zh) 基于特征对抗学习和自相似性聚类的跨域目标重识别方法
CN110347839A (zh) 一种基于生成式多任务学习模型的文本分类方法
CN110826630A (zh) 基于深度卷积神经网络的雷达干扰信号特征级融合识别方法
CN107491729B (zh) 基于余弦相似度激活的卷积神经网络的手写数字识别方法
CN113722509A (zh) 一种基于实体属性相似度的知识图谱数据融合方法
CN102156885A (zh) 基于级联式码本生成的图像分类方法
Wang et al. Radio frequency signal identification using transfer learning based on LSTM
CN112801003B (zh) 一种无人机辐射源调制样式识别方法
CN109583506A (zh) 一种基于参数迁移学习的无监督图像识别方法
CN115105076A (zh) 基于动态卷积残差多源迁移的脑电情绪识别方法及系统
CN112528777A (zh) 一种用于课堂环境下的学生面部表情识别方法及系统
CN111191033A (zh) 一种基于分类效用的开集分类方法
Wang et al. R2-trans: Fine-grained visual categorization with redundancy reduction
CN117017288B (zh) 跨被试情绪识别模型及其训练方法、情绪识别方法、设备
CN116452897B (zh) 跨域小样本分类方法、系统、设备及存储介质
Nguyen et al. Manga-mmtl: Multimodal multitask transfer learning for manga character analysis
CN109993381B (zh) 基于知识图谱的需求管理应用方法、装置、设备及介质
CN111159370A (zh) 一种短会话新问题生成方法、存储介质和人机交互装置
CN114860922B (zh) 心理测评量表的分类模型获取方法、筛查方法及系统
CN115512721A (zh) 基于pdan的跨库语音情感识别方法及装置
CN113516209B (zh) 一种用于少样本意图识别的对比任务适应学习方法
CN111027321B (zh) 一种警务相关智能组题方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant