CN114662524B - 基于脑电信号的即插即用式域适应方法 - Google Patents
基于脑电信号的即插即用式域适应方法 Download PDFInfo
- Publication number
- CN114662524B CN114662524B CN202011533118.2A CN202011533118A CN114662524B CN 114662524 B CN114662524 B CN 114662524B CN 202011533118 A CN202011533118 A CN 202011533118A CN 114662524 B CN114662524 B CN 114662524B
- Authority
- CN
- China
- Prior art keywords
- classifier
- encoder
- private
- common
- electroencephalogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000006978 adaptation Effects 0.000 title claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 14
- 230000007787 long-term memory Effects 0.000 claims abstract description 10
- 230000006403 short-term memory Effects 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 23
- 210000004556 brain Anatomy 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 13
- 230000008451 emotion Effects 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 10
- 230000008909 emotion recognition Effects 0.000 claims description 10
- 230000014509 gene expression Effects 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 10
- 239000010410 layer Substances 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000001228 spectrum Methods 0.000 claims description 7
- 230000015654 memory Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 3
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 2
- 230000002996 emotional effect Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 239000002356 single layer Substances 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Signal Processing (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
一种基于脑电信号的即插即用式域适应方法，通过脑电帽采集脑电信号并经预处理后，通过微分熵特征提取得到用于训练基于长短期记忆的神经网络的训练集，再通过对训练后的神经网络进行校正，实现即插即用式域适应。本发明能通过少数无标签的目标被试数据对模型进行校正，同时不明显降低模型准确率。
Description
技术领域
本发明涉及的是一种医疗监测领域的技术，具体是一种基于脑电信号的即插即用式域适应方法。
背景技术
近年来，基于脑电信号的情绪识别以其内含信息量大和识别精度高的特点引起了科研人员的广泛关注。然而，由于个体间如心理状态、头皮电阻、头型等结构和功能上的差异，脑电信号的特征模式与被试呈现高度相关，这一缺点阻碍了基于脑电信号的情绪识别技术的大规模应用。目前常见的解决上述问题的方式是通过迁移学习方法进行域适应(Domain adaptation，DA)或域泛化(Domain Generalization，DG)。域适应方式需要预先采集大量目标被试数据再进行训练，存在效率低下、时间成本高、用户体验差等问题；而域泛化方法则会因为完全不依赖于目标被试的任何数据，导致准确率不佳。相较于域适应和域泛化两种方法，在进行实时情绪识别开始前，提前使用部分目标被试的数据对模型进行校正在实际中也是可以接受的。然而，已有的研究证明，如果没有提供与特征向量维度相匹配的训练数据，那么模型很可能会失效。因此如何使用有限的目标训练数据得到一个好的域适应结果是很有挑战性的问题。
发明内容
本发明针对现有技术特征识别需要重新采集新被试大量数据并重新训练才能达到较好识别效果的难点，提出一种基于脑电信号的即插即用式域适应方法，能通过少数无标签的目标被试数据对模型进行校正，同时不明显降低模型准确率。
本发明是通过以下技术方案实现的：
本发明涉及一种基于脑电信号的即插即用式域适应方法，通过脑电帽采集脑电信号并经预处理后，通过微分熵特征提取得到用于训练基于长短期记忆的神经网络的训练集，再通过对训练后的神经网络进行校正，实现即插即用式域适应。
所述的校正是指：利用少量无标签目标域数据，为目标被试生成私有编码器，并通过计算目标被试及源被试间的编码器输出Cosin相似度，输出综合了私有分类器和共有分类器的分类结果，进而对目标被试进行情绪识别。
所述的预处理是指：对采集到的脑电信号降采样至200Hz，在1-75Hz进行带通滤波，以过滤噪音及伪迹。
所述的微分熵特征提取是指：对经过预处理的脑电信号进行短时傅里叶变换，在频域以1秒的时间窗口对特征频段求能量谱，并提取微分熵(Differential Entropy，DE)特征，具体包括以下步骤：
1)对于脑电信号序列x[n]＝x1，...，xn，其中：N表示一个时间窗口内样本个数；对该信号序列进行短时傅里叶变换：其中/>是角频率，k＝0，1，...，N-1，w[n]是窗函数；对每一个时间窗口使用傅里叶变换，且随着m的增加窗口在时间轴上平移，得到频域信号。
所述的窗函数优选采用汉宁窗(Hanningwindow)，即 经过汉宁窗处理可以减少由于傅里叶变换导致的频谱损失。
2)根据特征频段计算出相应的能量谱E(ωk)＝X(m，ωk)X*(m，ωk)。
3)基于能量谱计算微分熵特征其中：X为随机变量，f(x)是X概率密度函数，是f(x)的支持(Support)；当脑电信号服从X的高斯分布N(μ，σ2)，则微分熵为/>
由于脑电信号的微分熵只和方差σ2有关，而脑电信号中的直流分量经带通滤波滤除，因此均值为0。因此有而脑电信号不同频段的方差σ2与该频段能量Pi成正比，即/>由此得到每个频段的微分熵/>
所述的特征频段具体是指：Delta波，其频率范围为：1-4Hz；Theta波，其频率范围为：4-8Hz；Alpha波，其频率范围为：8-14Hz；Beta波，其频率范围为：14-31Hz；Gamma波，其频率范围为：31-50Hz。
所述的基于长短期记忆的神经网络包括：共有和私有两种类别的编码器与解码器，从而从脑电信号中，找到情绪相关的所有被试都具有的共有成分及每个被试各不相同的私有成分，其中：对于共有编码器在时刻t的脑电特征及在时刻t-1的LSTM隐状态/>被用来计算其t时刻的隐状态/>同样在t时刻的私有编码器隐状态/>也通过类似的方式同时计算得到，将私有编码器和共有编码器的隐状态相加得到共有解码器的输入/>即
所述的训练是指：基于注意力的池化被用于利用脑电信号中的关键导联和频段的空间信息，基于长短期记忆的编码器、解码器被用于学习时序信息，分类器根据编码器输出的结果进行情绪标签预测，域分类器被用于与共有编码器形成对抗，具体包括：
1)随机初始化共有编码器Es、私有编码器共有解码器Ds、共有分类器Cs及私有分类器/>其中：1-n表示源域上的n名被试。
2)对于j＝1：n，计算共有分类器损失函数及私有分类器损失函数/>其中：/>代表第j名被试的输入/>所对应的正确情绪标签，/>和/>分别代表共有分类器和私有分类器的预测结果。
3)计算编码器的重构损失函数：其中：k是脑电特征的数量，而代表L2范数损失函数。同时计算差异损失函数/>其中：/>代表Frobenius范式，/>
为了提取脑电信号中与被试无关的成分，通过对域分类器进行梯度反转与共有编码器形成对抗。所述的梯度反转层的损失函数为：其中：di是正确的域标签，/>
4)计算整体的损失函数：根据整体损失函数优化/>
所述的校正，通过使用目标被试部分无标签数据，在不改变Es和Ds的条件下，更新该被试的私有编码器具体包括：
①随机初始化根据训练后的AT，Es，Ds，计算/>
②根据最小化重构损失函数：优化/>
所述的插即用式域适应是指：在测试阶段，使用共有分类器Cs进行预测的同时将基于私有编码器与其他私有编码器之间的相似度来进行预测，分类器综合所有相似度分类结果后输出最终结果，具体包括：
i)对于Xt中的每一个数据xt，随机从Xs中选择计算/>和的相似性权重ws，其中：相似性权重根据Cosin相似性得到；
ii)计算加权后的私有源域分类器预测结果：
iii)计算共有分类器的预测结果：
iv)根据私有源域分类器和共有分类器的预测结果输出最终预测结果：并返回/>
本发明涉及一种实现上述方法的系统，包括：基于注意力机制的池化单元、基于长短期记忆的编码器单元和解码器单元以及分类器单元，其中：基于注意力机制的池化单元使用输入的脑电微分熵特征，进行加权处理，得到加权后的脑电特征，编码器单元接受输入的加权向量，并对其进行编码，得到共有及私有的中间表达，解码器单元接受中间表达，对其进行解码重构，得到重构后的脑电特征，分类器单元根据接收到的共有及私有表达，得到分类结果，并根据所有共有及私有分类器结果输出最终预测标签。
所述的基于注意力的池化(Attention-based Pooling)指：通过注意力机制学习原始脑电信号中情绪识别相关的关键导联和频段。记xt∈Rm为时刻t的脑电信号特征向量，即xt的每一维都代表了某一个频段的某一个特定导联；加权后的脑电特征向量为通过公式/>得到，AT代表基于注意力的池化。即xt为某一全连接层输入，而标准化后的权向量αt∈Rm代表每一个维度的重要性，通过表达式αt＝softmax(Wαxt+bα)得到。而/>则是新的加权后的脑电特征，即/>对于αt中的每一个元素，其值越大代表所对应的特征越重要。权重矩阵Wα∈Rm×m及偏置向量bα∈Rm的值随机初始化，并在训练过程中进行调整。
所述的基于长短期记忆(Long Short-Term Memory，LSTM)的编码器与解码器指采用LSTM作为编码器和解码器的基本单元，对于输入序列的每一个元素，长短期记忆单元的输入门it＝σ(Wiixt+bii+Whiht-1+bhi)，遗忘门ft＝σ(Wifxt+bif+Whfht-1+bhf)，记忆门gt＝tanh(Wigxt+big+Whght-1+bhg)，输出门ot＝σ(Wioxt+bio+Whoht-1+bho)， 其中：ht和ct则为时间t的隐藏状态和记忆细胞状态，对应ht-1为该层在t-1或者最开始的初始状态，σ为sigmoid函数，/>为Hadamard积。
所述的分类器包括：所有被试都具有的公共分类器及每个被试私有的分类器。本方法采用单层的全连接神经网络作为分类器，该分类器将经过编码器的编码的数据作为输入，输出情绪类别。最终系统的分类结果根据目标域数据和源域数据的相似性对分类器结果进行加权，得到最终预测情绪类别。
技术效果
本发明整体解决现有域迁移方法需要采集新被试的大量数据并进行训练，耗时长、用户体验差、实用性不强；而域泛化方法虽然无需新被试数据，但由于缺少新被试数据性能较差的问题。
与现有技术相比，本发明只需提前训练好模型，在将模型迁移至新被试时，只使用新被试的短时(一分钟内)无标签脑电数据对训练好的模型进行校正即可，在保证用户体验及准确率的前提下将模型迁移至新被试。由于在适配新被试时只需进行校正阶段，免去了重新使用大量被试数据重新训练，大量减少了等待时间的同时保证了模型准确率，提高了使用体验，在实时性更具优势。
附图说明
图1为本发明流程示意图；
图2为本发明中校正阶段所使用数据量与性能之间的关系；
图3为本发明中基于注意力机制的关键频段可视化示意图；
图中：H、N、S代表被试观看高兴、中性、悲伤素材；
图4为本发明中基于注意力机制的关键脑区可视化。
具体实施方式
如图1所示，为本实施例涉及一种基于脑电信号的即插即用式域适应方法，包含以下步骤：
步骤一：给定15名健康被试分三次参与实验，观看高兴、悲伤及中性三种类型情绪刺激素材，以诱发被试相应的情绪，每种情绪共五个片段。通过62导脑电帽，根据10-20国际标准电位分布采集被试脑电数据。
步骤二：将数据降采样至200Hz，在1-75Hz进行带通滤波，以过滤噪音及伪迹。
步骤三：对脑电信号进行短时傅里叶变换，在Delta、Theta、Alpha、Beta、Gamma五个频段上以1秒的时间窗口提取微分熵特征。
步骤四：将其中14名被试每名被试3394个样本点作为源域数据输入到神经网络，进入训练阶段，待神经网络稳定后，保存神经网络用于后续检测。
步骤五：将剩余一名被试作为新被试，将其少量(60秒左右)无标签脑电数据进行提取特征，并输入至神经网络并运行校正算法对模型进行校正。
步骤六：为检测模型识别能力，将新被试的剩余脑电数据作为测试集输入至神经网络，进行测试阶段，得到预测结果及准确率。
如图2所示，通过创新性的加入校正阶段之后，模型的性能相比不加入新被试的任何数据准确度得到提升，说明校正阶段能够有效去除由于外界因素及被试自身心理状态所导致的变化；同时无需重复对模型的训练过程，节省了大量时间。总的来说，模型的性能会随着校正所使用的数据时长增长而提升，在时长达到一定程度后，性能提升逐渐趋于稳定。
如图3所示，通过对基于注意力的池化层进行可视化，得到了由神经网络自主学习得到的与情绪识别相关的脑电信号关键频段：Beta和Gamma。
如图4所示，同样通过对基于注意力的池化层可视化，得到了与情绪识别相关的关键脑区主要为两耳处所对应的区域。
表1为使用不同时长的新被试无标签脑电数据对训练得到的模型分别进行校正后的情绪识别准确率比较。当新被试数据时长为0时代表域泛化方式，可以看到和域泛化方式相比，在使用少量的新被试无标签脑电数据时，本方法能够提高模型准确率。
| 时长(秒) | 0 | 15 | 30 | 45 | 60 | 75 | 80 | 95 |
| 准确率(％) | 85.37 | 86.57 | 86.58 | 86.71 | 86.56 | 86.53 | 86.56 | 86.58 |
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。
Claims (9)
1.一种基于脑电信号的即插即用式域适应方法，其特征在于，通过脑电帽采集脑电信号并经预处理后，通过微分熵特征提取得到用于训练基于长短期记忆的神经网络的训练集，再通过对训练后的神经网络进行校正，实现即插即用式域适应；
所述的校正是指：利用少量无标签目标域数据，为目标被试生成私有编码器，并通过计算目标被试及源被试间的编码器输出Cosin相似度，输出综合了私有分类器和共有分类器的分类结果，进而对目标被试进行情绪识别；
所述的训练是指：基于注意力的池化被用于利用脑电信号中的关键导联和频段的空间信息，基于长短期记忆的编码器、解码器被用于学习时序信息，分类器根据编码器输出的结果进行情绪标签预测，域分类器被用于与共有编码器形成对抗，具体包括：
1)随机初始化共有编码器Es、私有编码器共有解码器Ds、共有分类器Cs及私有分类器/>其中：1-n表示源域上的n名被试；
2)对于j＝1∶n，计算共有分类器损失函数及私有分类器损失函数其中：/>代表第j名被试的输入/>所对应的正确情绪标签，/>和/>分别代表共有分类器和私有分类器的预测结果；
3)计算编码器的重构损失函数：其中：k是脑电特征的数量，而/>代表L2范数损失函数；同时计算差异损失函数/>其中：/>代表Frobenius范式，/>
为了提取脑电信号中与被试无关的成分，通过对域分类器进行梯度反转与共有编码器形成对抗；所述的梯度反转层的损失函数为：其中：di是正确的域标签，/>
4)计算整体的损失函数：根据整体损失函数优化AT,/>E/>C"，D
s，
所述的校正是指，通过使用目标被试部分无标签数据，在不改变Es和Ds的条件下，更新该被试的私有编码器具体包括：
①随机初始化根据训练后的AT，Es，Ds，计算/>
②根据最小化重构损失函数：优化/>
2.根据权利要求1所述的基于脑电信号的即插即用式域适应方法，其特征是，所述的特征频段具体是指：Delta波，其频率范围为：1-4Hz；Theta波，其频率范围为：4-8Hz；Alpha波，其频率范围为：8-14Hz；Beta波，其频率范围为：14-31Hz；Gamma波，其频率范围为：31-50Hz。
3.根据权利要求1所述的基于脑电信号的即插即用式域适应方法，其特征是，所述的基于长短期记忆的神经网络包括：共有和私有两种类别的编码器与解码器，从而从脑电信号中，找到情绪相关的所有被试都具有的共有成分及每个被试各不相同的私有成分，其中：对于共有编码器在时刻t的脑电特征及在时刻t-1的LSTM隐状态/>被用来计算其t时刻的隐状态/>同样在t时刻的私有编码器隐状态/>也通过类似的方式同时计算得到，将私有编码器和共有编码器的隐状态相加得到共有解码器的输入/>即/>
4.根据权利要求1所述的基于脑电信号的即插即用式域适应方法，其特征是，所述的微分熵特征提取是指：对经过预处理的脑电信号进行短时傅里叶变换，在频域以1秒的时间窗口对特征频段求能量谱，并提取微分熵特征，具体包括以下步骤：
1)对于脑电信号序列x[n]＝x1，...，xn，其中：N表示一个时间窗口内样本个数；对该信号序列进行短时傅里叶变换：其中是角频率，k＝0，1，...，N-1，w[n]是窗函数；对每一个时间窗口使用傅里叶变换，且随着m的增加窗口在时间轴上平移，得到频域信号；
2)根据特征频段计算出相应的能量谱E(ωk)＝X(m，ωk)X*(m，ωk)；
3)基于能量谱计算微分熵特征其中：X为随机变量，f(x)是X概率密度函数，是f(x)的支持(Support)；当脑电信号服从X的高斯分布N(μ，σ2)，则微分熵为/>
每个频段的微分熵
5.根据权利要求1所述的基于脑电信号的即插即用式域适应方法，其特征是，所述的即插即用式域适应是指：在测试阶段，使用共有分类器Cs进行预测的同时将基于私有编码器与其他私有编码器之间的相似度来进行预测，分类器综合所有相似度分类结果后输出最终结果，具体包括：
i)对于Xt中的每一个数据xt，随机从Xs中选择计算/>和/>的相似性权重ws，其中：相似性权重根据Cosin相似性得到；
ii)计算加权后的私有源域分类器预测结果：
iii)计算共有分类器的预测结果：
iv)根据私有源域分类器和共有分类器的预测结果输出最终预测结果：并返回/>
6.一种实现权利要求1～5中任一所述方法的系统，其特征在于，包括：基于注意力机制的池化单元、基于长短期记忆的编码器单元和解码器单元以及分类器单元，其中：基于注意力机制的池化单元使用输入的脑电微分熵特征，进行加权处理，得到加权后的脑电特征，编码器单元接受输入的加权向量，并对其进行编码，得到共有及私有的中间表达，解码器单元接受中间表达，对其进行解码重构，得到重构后的脑电特征，分类器单元根据接收到的共有及私有表达，得到分类结果，并根据所有共有及私有分类器结果输出最终预测标签。
7.根据权利要求6所述的系统，其特征是，所述的基于注意力的池化指：通过注意力机制学习原始脑电信号中情绪识别相关的关键导联和频段，记xt∈Rm为时刻t的脑电信号特征向量，即xt的每一维都代表了某一个频段的某一个特定导联；加权后的脑电特征向量为通过公式/>得到，AT代表基于注意力的池化，即xt为某一全连接层输入，而标准化后的权向量αt∈Rm代表每一个维度的重要性，通过表达式αt＝softmax(Wαxt+bα)得到，而/>则是新的加权后的脑电特征，即/>对于αt中的每一个元素，其值越大代表所对应的特征越重要，权重矩阵Wα∈Rm×m及偏置向量bα∈Rm的值随机初始化，并在训练过程中进行调整。
8.根据权利要求6所述的系统，其特征是，所述的基于长短期记忆的编码器与解码器指采用LSTM作为编码器和解码器的基本单元，对于输入序列的每一个元素，长短期记忆单元的输入门it＝σ(Wiixt+bii+Whiht-1+bhi)，遗忘门ft＝σ(Wifxt+bif+Whfht-1+bhf)，记忆门gt＝tanh(Wigxt+big+Whght-1+bhg)，输出门ot＝σ(Wioxt+bio+Whoht-1+bho)，其中：ht和ct则为时间t的隐藏状态和记忆细胞状态，对应ht-1为该层在t-1或者最开始的初始状态，σ为sigmoid函数，/>为Hadamard积。
9.根据权利要求6所述的系统，其特征是，所述的分类器包括：所有被试都具有的公共分类器及每个被试私有的分类器，本方法采用单层的全连接神经网络作为分类器，该分类器将经过编码器的编码的数据作为输入，输出情绪类别，最终系统的分类结果根据目标域数据和源域数据的相似性对分类器结果进行加权，得到最终预测情绪类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011533118.2A CN114662524B (zh) | 2020-12-22 | 2020-12-22 | 基于脑电信号的即插即用式域适应方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011533118.2A CN114662524B (zh) | 2020-12-22 | 2020-12-22 | 基于脑电信号的即插即用式域适应方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114662524A CN114662524A (zh) | 2022-06-24 |
| CN114662524B true CN114662524B (zh) | 2024-05-31 |
Family
ID=82024272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011533118.2A Active CN114662524B (zh) | 2020-12-22 | 2020-12-22 | 基于脑电信号的即插即用式域适应方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114662524B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115422983A (zh) * | 2022-11-04 | 2022-12-02 | 智慧眼科技股份有限公司 | 基于脑电波信号的情绪分类方法及装置 |
| CN117113063B (zh) * | 2023-10-19 | 2024-02-02 | 北京齐碳科技有限公司 | 用于纳米孔信号的编解码系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018014436A1 (zh) * | 2016-07-18 | 2018-01-25 | 天津大学 | 一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法 |
| CN109271964A (zh) * | 2018-10-11 | 2019-01-25 | 刘仕琪 | 基于深度学习模型与长短记忆网络的情绪识别方法及系统 |
| CN111134666A (zh) * | 2020-01-09 | 2020-05-12 | 中国科学院软件研究所 | 一种多通道脑电数据的情绪识别方法及电子装置 |
| CN111584029A (zh) * | 2020-04-30 | 2020-08-25 | 天津大学 | 基于判别式对抗网络的脑电自适应模型及在康复中的应用 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11227191B2 (en) * | 2018-02-13 | 2022-01-18 | Slingshot Aerospace, Inc. | Conditional loss function modification in a neural network |
| CA3044281C (en) * | 2018-05-28 | 2021-09-21 | Adrian Razvan Nestor | System and method for generating visual identity and category reconstruction from electroencephalography (eeg) signals |
-
2020
- 2020-12-22 CN CN202011533118.2A patent/CN114662524B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018014436A1 (zh) * | 2016-07-18 | 2018-01-25 | 天津大学 | 一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法 |
| CN109271964A (zh) * | 2018-10-11 | 2019-01-25 | 刘仕琪 | 基于深度学习模型与长短记忆网络的情绪识别方法及系统 |
| CN111134666A (zh) * | 2020-01-09 | 2020-05-12 | 中国科学院软件研究所 | 一种多通道脑电数据的情绪识别方法及电子装置 |
| CN111584029A (zh) * | 2020-04-30 | 2020-08-25 | 天津大学 | 基于判别式对抗网络的脑电自适应模型及在康复中的应用 |
Non-Patent Citations (2)
| Title |
|---|
| Plug-and-Play Domain Adaptation for Cross-Subject EEG-based Emotion Recognition;Li-Ming Zhao;《AAAI Conference on Artificial Intelligence》》;20210531;第1-6页 * |
| 用异质迁移学习构建跨被试脑电情感模型;郑伟龙;《计算机学报》;20200229;第43卷(第2期);第1-13页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114662524A (zh) | 2022-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Atila et al. | Attention guided 3D CNN-LSTM model for accurate speech based emotion recognition | |
| CN110491416B (zh) | 一种基于lstm和sae的电话语音情感分析与识别方法 | |
| Ren et al. | Deep scalogram representations for acoustic scene classification | |
| Yang et al. | Deep multimodal representation learning from temporal data | |
| CN111461176B (zh) | 基于归一化互信息的多模态融合方法、装置、介质及设备 | |
| CN112818861B (zh) | 一种基于多模态上下文语义特征的情感分类方法及系统 | |
| CN110610168A (zh) | 一种基于注意力机制的脑电情绪识别方法 | |
| WO2015180368A1 (zh) | 一种半监督语音特征可变因素分解方法 | |
| CN113158815B (zh) | 一种无监督行人重识别方法、系统及计算机可读介质 | |
| CN113598774A (zh) | 基于多通道脑电数据的积极情绪多标签分类方法及装置 | |
| CN110472649B (zh) | 基于多尺度分析和集成树模型的脑电情感分类方法及系统 | |
| CN115590515A (zh) | 基于生成式自监督学习和脑电信号的情绪识别方法及系统 | |
| CN111954250B (zh) | 一种轻量级Wi-Fi行为感知方法和系统 | |
| Bu | Human motion gesture recognition algorithm in video based on convolutional neural features of training images | |
| CN114662524B (zh) | 基于脑电信号的即插即用式域适应方法 | |
| CN112465069B (zh) | 一种基于多尺度卷积核cnn的脑电情绪分类方法 | |
| Wei et al. | A novel speech emotion recognition algorithm based on wavelet kernel sparse classifier in stacked deep auto-encoder model | |
| CN115393933A (zh) | 一种基于帧注意力机制的视频人脸情绪识别方法 | |
| CN113951883A (zh) | 基于脑电信号情绪识别的性别差异性检测方法 | |
| CN113554110A (zh) | 一种基于二值胶囊网络的脑电情绪识别方法 | |
| CN114841216B (zh) | 一种基于模型不确定性学习的脑电信号分类方法 | |
| CN112151071A (zh) | 一种基于混合小波包特征深度学习的语音情感识别方法 | |
| De Lope et al. | A hybrid time-distributed deep neural architecture for speech emotion recognition | |
| CN116701568A (zh) | 一种基于3d卷积神经网络的短视频情感分类方法及系统 | |
| Shen et al. | A high-precision feature extraction network of fatigue speech from air traffic controller radiotelephony based on improved deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220801 Address after: Room 23a, No. 19, Lane 99, Nandan East Road, Xuhui District, Shanghai 200030 Applicant after: Lv Baoliang Address before: 200240 No. 800, Dongchuan Road, Shanghai, Minhang District Applicant before: SHANGHAI JIAO TONG University |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220914 Address after: Room 901, Building A, SOHO Fuxing Plaza, No. 388 Madang Road, Huangpu District, Shanghai, 200025 Applicant after: Shanghai Zero Unique Technology Co.,Ltd. Address before: Room 23a, No. 19, Lane 99, Nandan East Road, Xuhui District, Shanghai 200030 Applicant before: Lv Baoliang |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |