CN115105076A - 基于动态卷积残差多源迁移的脑电情绪识别方法及系统 - Google Patents
基于动态卷积残差多源迁移的脑电情绪识别方法及系统 Download PDFInfo
- Publication number
- CN115105076A CN115105076A CN202210556070.XA CN202210556070A CN115105076A CN 115105076 A CN115105076 A CN 115105076A CN 202210556070 A CN202210556070 A CN 202210556070A CN 115105076 A CN115105076 A CN 115105076A
- Authority
- CN
- China
- Prior art keywords
- domain
- dynamic
- emotion recognition
- electroencephalogram
- attention mechanism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 59
- 230000005012 migration Effects 0.000 title claims description 9
- 238000013508 migration Methods 0.000 title claims description 9
- 230000007246 mechanism Effects 0.000 claims abstract description 65
- 238000009826 distribution Methods 0.000 claims abstract description 55
- 230000003068 static effect Effects 0.000 claims abstract description 47
- 230000006978 adaptation Effects 0.000 claims abstract description 38
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 34
- 238000013526 transfer learning Methods 0.000 claims abstract description 30
- 230000006870 function Effects 0.000 claims description 61
- 238000012549 training Methods 0.000 claims description 46
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000008451 emotion Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 230000002996 emotional effect Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 230000007547 defect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Psychiatry (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Artificial Intelligence (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Evolutionary Computation (AREA)
- Psychology (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Signal Processing (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Hospice & Palliative Care (AREA)
- Physiology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Fuzzy Systems (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明属于脑电情绪识别领域，具体涉及了一种基于动态卷积残差多源迁移学习的脑电情绪识别方法及系统，旨在解决现有脑电情绪识别无法克服脑电信号非平稳性和个体时间差异带来的预测精度不足的问题。本发明包括：基于静态网络和动态卷积残差块构建基于注意力机制的特征提取器，并分别提取源域和目标域的脑电信号的高维特征；结合边缘分布域适应方法和条件分布域适应方法，度量目标域和源域的差异性，并基于差异性进行源域和目标域的高维特征对齐；通过分类器进行对齐的高维特征的分类，获得源域和目标域的脑电信号的情绪识别结果。本发明克服了脑电信号非平稳性和个体时间差异带来的不足，预测精度高、效率高，模型应用价值更高。
Description
技术领域
本发明属于脑电情绪识别领域，具体涉及了一种基于动态卷积残差多源迁移学习的脑电情绪识别方法及系统。
背景技术
情绪识别具有极大的科学和临床意义。脑电信号是一种具有较高时间分辨率的生理信号，通过分析情绪刺激引起的即时大脑活动来进行情绪识别，比面部表情、手势、语言等非生理手段更加客观可靠。
目前利用脑电信号进行情绪识别的研究在个体非独立下已经达到较高精度。但是脑电信号存在非平稳性且个体差异较大的挑战，一些传统的模型参数需要根据不同个体进行调整，脑电情绪识别的效率以及识别结果的准确性和精度都受到了限制。
综上所述，探索基于迁移学习的脑电信号情绪识别算法，并针对跨时间、跨个体情境下的多源域脑电情绪识别的进一步的研究具有实际意义。
发明内容
为了解决现有技术中的上述问题，即现有脑电情绪识别无法克服脑电信号非平稳性和个体时间差异带来的预测精度不足的问题，本发明提供了一种基于动态卷积残差多源迁移学习的脑电情绪识别方法，所述脑电情绪识别方法包括：
基于静态网络和动态卷积残差块构建特征提取器，并分别提取源域和目标域的脑电信号的高维特征；所述特征提取器包括静态网络、动态网络、第一注意力机制和第二注意力机制，所述第一注意力机制用于根据不同的样本调整所述动态网络和所述静态网络在特征提取器所占的权重，所述第二注意力机制用于进行所述动态网络的参数动态调整；
结合边缘分布域适应方法和条件分布域适应方法，度量目标域和源域的差异性，并基于所述差异性进行源域和目标域的脑电信号的高维特征对齐；
通过分类器进行所述对齐的高维特征的分类，获得源域和目标域的脑电信号的情绪识别结果。
在一些优选的实施例中，所述静态网络和所述动态网络，其结构为：
所述静态网络为一个一维卷积层，所述一维卷积层的参数为不随样本变化的静态参数；
所述动态网络包括k个一维卷积残差块，所述k个一维卷积残差块在所述动态网络中所占的动态权重，根据不同的样本通过所述第二注意力机制模块进行动态调整，其中，k为预设的超参数。
在一些优选的实施例中，所述预设的超参数k的取值为：
当针对跨个体任务时，k＝4；
当针对同一个体的跨时间任务时，k＝2。
在一些优选的实施例中，所述动态网络，在特征提取器所占的权重为：
Wθ(x)＝λW0+(1-λ)ΔWθ(x)
其中，Wθ(x)代表特征提取器的主体函数，ΔWθ(x)代表动态网络的主体函数，W0代表静态网络的卷积核，λ代表第一注意力机制模块获取的动态网络在特征提取器所占的权重，πi(x)代表第二注意力机制模块获取的动态网络中第i个一维卷积残差块随样本x变化的动态权重，Φi代表第i个一维卷积残差块。
在一些优选的实施例中，所述k个一维卷积残差块在所述动态网络所占的动态权重为：
a＝Softmax(W2(Relu(W1x+b1)+b2))
其中，a为一维卷积残差块在动态网络所占的动态权重，W1和W2分别代表预设的第二注意力机制的两个全连接层参数，b1和b2分别代表第二注意力机制的两个全连接层的偏置，x代表样本，Relu代表第二注意力机制的第一个全连接层的激活函数，Softmax代表第二注意力机制的第二个全连接层的激活函数。
在一些优选的实施例中，所述脑电情绪识别方法，其训练中的总损失包括情绪分类损失、边缘分布域适应损失和条件分布域适应损失；
所述总损失，其表示为：
L＝Lcls+LMMD+LMCD
其中，L代表总损失函数，Lcls为情绪分类损失函数，LMMD为边缘分布域适应损失函数，LMCD为条件分布域适应损失函数。
在一些优选的实施例中，所述情绪分类损失函数为交叉熵损失函数。
在一些优选的实施例中，所述边缘分布域适应损失函数LMMD，其表示为：
其中，Xs＝{xs1，xs2，…，xsi，…，xsn}，Xt＝{xt1，xt2，…，xtj，…，xtn}分别代表训练中的源域和目标域的样本数据，n为源域X的样本数据量，m为目标域的样本数据量，φ为预设的将样本数据映射到希尔伯特空间的映射函数，
代表计算样本数据在希尔伯特空间的距离。
在一些优选的实施例中，所述条件分布域适应损失函数LMCD，在三阶段训练的每一阶段为不同的函数，将特征提取器记作G，将两个分类器记作F1，F2；
第一训练阶段，训练特征提取器G和两个分类器F1，F2，其目标函数为：
其中，Ys为源域的样本数据标签，L(Xs，Ys)代表源域分类的交叉熵损失，γ为随着训练迭代次数从0逐渐增大的权重，r为第r次迭代训练；
第二训练阶段，固定特征提取器G，训练两个分类器F1，F2，其目标函数为：
其中，
代表在目标域中计算[d(p1(y1|xt)，p2(y2|xt))]的数学期望，p1(y1|xt)代表分类器F1输入为xt时分类为y1的概率分布，p2(y2|xt)代表分类器F2的输入为xt时分类为y2的概率分布，p1c，p2c分别代表p1(y1|xt)，p2(y2|xt)在第c个类别的概率，c代表第c个类别，C为样本数据的类别数；
第三训练阶段，固定两个分类器F1，F2，训练特征提取器G，其目标函数为：
本发明的另一方面，提出了一种基于动态卷积残差多源迁移学习的脑电情绪识别系统，所述脑电情绪识别系统包括：
特征提取模块，配置为基于静态网络和动态卷积残差块构建基于注意力机制的特征提取器，并分别提取源域和目标域的脑电信号的高维特征；所述特征提取器包括静态网络、动态网络、第一注意力机制和第二注意力机制，所述第一注意力机制用于根据不同的样本调整所述动态网络和所述静态网络在特征提取器所占的权重，所述第二注意力机制用于进行所述动态网络的参数动态调整；
特征对齐模块，配置为结合边缘分布域适应方法和条件分布域适应方法，度量目标域和源域的差异性，并基于所述差异性进行源域和目标域的脑电信号的高维特征对齐；
分类模块，配置为通过分类器进行所述对齐的高维特征的分类，获得源域和目标域的脑电信号的情绪识别结果。
本发明的有益效果：
(1)本发明基于动态卷积残差多源迁移学习的脑电情绪识别方法，模型参数只有一套，无需针对每个个体分别构建特征提取器和分类器，方便随着数据集增大而扩展，有更好的实用价值。
(2)本发明基于动态卷积残差多源迁移学习的脑电情绪识别方法，针对神经网络参数量大，如果所有参数均动态调整，网络很难进行学习的问题，采取网络中一部分参数随样本动态变化、另一部分参数保持静态的模型结构，将模型对输入样本的依赖限制在少量的参数上，有效提升了模型训练的效率和模型性能，此外，动态参数和静态参数的结合有效解决了跨个体和跨时间脑电信号差异大的难题。
(2)本发明基于动态卷积残差多源迁移学习的脑电情绪识别方法，动态部分的卷积残差块的数量随任务性质调整，针对跨个体任务时，卷积残差块的数量较多，而针对同一个个体的跨时间任务时，卷积残差块的数量较少，并采用注意力机制针对不同的输入样本匹配不同卷积残差块的组合方式以及自适应地调整静态部分和动态部分的重要性，使得模型能适应多源域迁移问题。
(3)本发明基于动态卷积残差多源迁移学习的脑电情绪识别方法，对样本的多样性和样本数量的依赖性低，减少时间点及训练样本均能实现最好的情绪预测结果，有更好的稳定性和泛化性能。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于动态卷积残差多源迁移学习的脑电情绪识别方法的示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于动态卷积残差多源迁移学习的脑电情绪识别方法，本方法将跨时间跨个体情绪识别问题建模为多源域适应问题，其核心主要基于两个模块：基于注意力机制的特征提取器和基于迁移学习的情绪分类识别。
多源域适应，实现对多源域不变特征的提取。针对跨个体这种源域与目标域差异较大的采用更强的迁移方法，比如结合边缘分布域适应和条件分布域适应，缩小源域与目标域的数据分布距离的同时缩小每个情绪类别内的源域数据与目标域数据的距离。针对跨时间这种源域与目标域差异较小的采用较弱的迁移方法进行数据分布对齐，以免出现负迁移的影响。
特征提取器中融入注意力机制及残差块，根据样本分布自动学习注意力权重，对卷积残差块进行动态权重组合，通过对样本的动态适应实现不同域间的迁移，使得模型能适应不同个体的脑电信号。
基于迁移学习的情绪识别方法，实现了在多数据集以及小训练样本下获得较好的分类训练效果。对于不同任务场景采取不同处理策略。针对跨个体任务，不同个体间脑电信号差异非常大，采用边缘分布和条件分布域适应相结合的域适应方法，针对跨时间任务，对于同一个体不同时间点的脑电信号差异较小，可以只采用条件分布域适应算法。
本发明提出的基于迁移学习的跨个体、跨时间场景下的有效脑电情绪识别新模型，使用该方法对目标任务的识别效果高于同类其他方法，为脑电情绪识别提供先进有效的方案。
本发明的一种基于动态卷积残差多源迁移学习的脑电情绪识别方法，所述脑电情绪识别方法包括：
基于静态网络和动态卷积残差块构建特征提取器，并分别提取源域和目标域的脑电信号的高维特征；所述特征提取器包括静态网络、动态网络、第一注意力机制和第二注意力机制，所述第一注意力机制用于根据不同的样本调整所述动态网络和所述静态网络在特征提取器所占的权重，所述第二注意力机制用于进行所述动态网络的参数动态调整；
结合边缘分布域适应方法和条件分布域适应方法，度量目标域和源域的差异性，并基于所述差异性进行源域和目标域的脑电信号的高维特征对齐；
通过分类器进行所述对齐的高维特征的分类，获得源域和目标域的脑电信号的情绪识别结果。
为了更清晰地对本发明基于动态卷积残差多源迁移学习的脑电情绪识别方法进行说明，下面结合图1对本发明实施例展开详述。
本发明第一实施例的基于动态卷积残差多源迁移学习的脑电情绪识别方法，详细描述如下：
基于静态网络和动态卷积残差块构建基于注意力机制的特征提取器，并分别提取源域和目标域的脑电信号的高维特征。
对于动态特征提取器，本发明考虑到神经网络参数量非常大，如果所有参数均动态，模型很难进行学习，为了能简化模型设计同时更快实现预测，采取部分网络参数随样本动态变化、部分网络参数保持静态的模型结构，将模型对输入样本的依赖限制在少量的参数上。该模型由静态网络和动态网络(动态网络包括k个一维卷积残差块，k为预设的超参数：当针对跨个体任务时，k＝4；当针对同一个体的跨时间任务时，k＝2)组成，所有的卷积均为一维卷积，用于建模脑电信号的空间及频域信息。
同时考虑到每个域动态部分和静态部分不是比例不同，不是同等重要，直接将动态部分和静态部分的结果相加忽视了每个域的差异大小，本发明采用注意力机制，根据实际数据分布，自适应地调整静态部分和动态部分重要性，提升模型迁移效果。
特征提取器包括静态网络、动态网络、第一注意力机制和第二注意力机制，第一注意力机制用于根据不同的样本调整所述动态网络和所述静态网络在特征提取器所占的权重，第二注意力机制用于进行所述动态网络的参数动态调整。
静态网络和所述动态网络，其结构为：
静态网络为一个一维卷积层，一维卷积层的参数为不随样本变化的静态参数。
动态网络包括k个一维卷积残差块，所述k个一维卷积残差块在所述动态网络中所占的动态权重，根据不同的样本通过所述第二注意力机制模块进行动态调整，其中，k为预设的超参数。
第一注意力机制获取动态网络在特征提取器所占的权重，如式(1)和式(2)所示：
Wθ(x)＝λW0+(1-λ)ΔWθ(x) (1)
其中，Wθ(x)代表特征提取器的主体函数，ΔWθ(x)代表动态网络的主体函数，W0代表静态网络的卷积核，λ代表第一注意力机制模块获取的动态网络在特征提取器所占的权重，πi(x)代表第二注意力机制模块获取的动态网络中第i个一维卷积残差块随样本x变化的动态权重，Φi代表第i个一维卷积残差块。
第二注意力机制模块获取k个一维卷积残差块在动态网络所占的动态权重，如式(3)所示：
a＝Softmax(W2(Relu(W1x+b1)+b2)) (3)
其中，a为一维卷积残差块在动态网络所占的动态权重，W和W2分别代表预设的第二注意力机制的两个全连接层参数，b1和b2分别代表第二注意力机制的两个全连接层的偏置，x代表样本，Relu代表第二注意力机制的第一个全连接层的激活函数，Softmax代表第二注意力机制的第二个全连接层的激活函数。
基于第一注意力机制根据不同的样本对动态网络和静态网络的结果分别进行缩放，使得模型能适应多源域迁移问题，基于第二注意力机制进行动态网络参数的动态调整，通过对单个样本的适应实现多源域适应。
将通过权重调整后的静态网络提取的静态特征和动态网络提取的动态特征，通过一维卷积进行加和，获得输入信号的高维特征。
本发明一个实施例中，对于脑电信号的特征提取的具体过程为：输入脑电信号，按照通道数C、频段数N，构建C×N×1的数据，将数据同时输入静态卷积和动态卷积以及两个注意力网络，注意力网络首先进行平均池化，将输入数据变为一维后输入后续注意力权重的计算。根据第一个注意力机制(第一注意力机制模块)的权重为每个动态卷积残差块分配权重，进行加权求和，第二个注意力机制(第二注意力机制模块)得到的权重a分别作为静态网络和动态网络的加权求和的权重，最后将动态和静态部分加权求和的结果通过一维卷积，得到提取出来的高维特征。
结合边缘分布域适应方法和条件分布域适应方法，度量目标域和源域的差异性，并基于所述差异性进行源域和目标域的脑电信号的高维特征对齐。
通过分类器进行所述对齐的高维特征的分类，获得源域和目标域的脑电信号的情绪识别结果。
为了保证特征提取器提取出来的高维特征具有域不变性，需要进行数据分布域适应辅助目标域到源域的迁移，本发明采用的边缘分布域适应算法为最大均值差异MMD，可以度量在再生希尔伯特空间中两个分布的均值的距离，是一种核学习方法。
对于条件分布域适应，本发明采用的方法为最大分类器差异MCD，MCD重点关注每个类分类效果不好的样本，找到目标域与源域的差异性，构建一个特征提取器和两个分类器：在最大化阶段，最大化两个分类器之间的差异；在最小化阶段，最小化两个分类器之间的差异。最终经过多轮迭代，使得两个领域间的差异变小。
脑电情绪识别方法，其训练中的总损失函数L包含三个部分，一部分是情绪分类损失函数，本发明采用交叉熵损失函数，一部分是边缘分布域适应MMD，还有一部分是条件分布域适应MCD。总损失函数如式(4)所示：
L＝Lcls+LMMD+LMCD (4)
其中，Lcls为情绪分类损失函数，LMMD为边缘分布域适应损失函数，LMCD为条件分布域适应损失函数。
边缘分布域适应损失函数LMMD，其表示如式(5)：
其中，Xs＝{xs1，xs2，…，xsi，…，xsn}，Xt＝{xt1，xt2，…，xtj，…，xtn}分别代表训练中的源域和目标域的样本数据，n为源域X的样本数据量，m为目标域的样本数据量，φ为预设的将样本数据映射到希尔伯特空间的映射函数，
代表计算样本数据在希尔伯特空间的距离。
本发明一个实施例中，核函数φ为高斯核函数。
总体计算框架为目标域和源域的数据分别输入网络，提取到目标域特征和源域特征后，源域特征输入分类器得到情绪分类损失，源域和目标域输入域适应算法部分得到MMD和MCD损失。
在实际计算过程中，因为MCD算法为三段式训练方式，所以训练方式与上述流程略有不同：在第一阶段用源域数据训练特征提取器和分类器，然后目标域和源域一起计算MMD损失来训练特征提取器，保证特征提取器和分类器能有效识别源域的数据；第二阶段，固定特征提取器参数，训练两个分类器，希望能使源域分类正确且最大化两个分类器对目标域的预测差异，希望找到目标域中与源域差异比较大的样本；第三阶段固定两个分类器，只用目标域样本训练特征提取器，损失函数为最小化两个分类器的预测差异，为了将差异大的目标域与源域对齐，该方法每次训练会将第三阶段重复四次。
条件分布域适应损失函数LMCD，在三阶段训练的每一阶段为不同的函数，第一训练阶段为第一目标函数、第二训练阶段为第二目标函数、第三训练阶段为第三目标函数。
将特征提取器记作G，将两个分类器记作F1，F2。
第一训练阶段，训练特征提取器G和两个分类器F1，F2，其目标函数如式(6)所示：
其中，Ys为源域的样本数据标签，Yt为预测的目标域的样本数据标签，L(Xs，Ys)代表源域分类的交叉熵损失，γ为随着训练迭代次数从0逐渐增大的权重。
权重γ的计算方法如式(7)所示：
其中，r为第r次迭代训练。
第二训练阶段，固定特征提取器G，训练两个分类器F1，F2，其目标函数如式(8)所示：
第三训练阶段，固定两个分类器F1，F2，训练特征提取器G，其目标函数如式(9)所示：
第二训练阶段和第三训练阶段的目标函数中的
均如式(10)所示：
其中，
代表在目标域中计算[d(p1(y1|xt)，p2(y2|xt))]的数学期望，p1(y1|xt)代表分类器F1输入为xt时分类为y1的概率分布，p2(y2|xt)代表分类器F2的输入为xt时分类为y2的概率分布。
度量两个分类器输出概率的差异的d(p1(y1|xt)，p2(y2|xt))如式(11)所示：
其中，p1c，p2c分别代表p1(y1|xt)，p2(y2|xt)在第c个类别的概率，c代表第c个类别，C为样本数据的类别数。
本发明与已有的每个源域设计一个特定特征提取器和特定分类器的多源域适应方法和假设所有个体来自一个源域采用单源域适应方法不同，本发明只需要设计一套特征提取器和分类器，并通过动态调整网络参数实现网络对多源域的适应，提升网络的表达能力，通过对单个样本的适应实现多源域适应。此外，本发明通过边缘分布域适应和条件分布预适应实现联合分布域适应，通过将目标域迁移到源域，提升目标个体的脑电情绪识别精度，在公开数据集SEED上达到跨个体跨时间90％以上的精度。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
本发明第二实施例的基于动态卷积残差多源迁移学习的脑电情绪识别系统，所述脑电情绪识别系统包括：
特征提取模块，配置为基于静态网络和动态卷积残差块构建基于注意力机制的特征提取器，并分别提取源域和目标域的脑电信号的高维特征；所述特征提取器包括静态网络、动态网络、第一注意力机制和第二注意力机制，所述第一注意力机制用于根据不同的样本调整所述动态网络和所述静态网络在特征提取器所占的权重，所述第二注意力机制用于进行所述动态网络的参数动态调整；
特征对齐模块，配置为结合边缘分布域适应方法和条件分布域适应方法，度量目标域和源域的差异性，并基于所述差异性进行源域和目标域的脑电信号的高维特征对齐；
分类模块，配置为通过分类器进行所述对齐的高维特征的分类，获得源域和目标域的脑电信号的情绪识别结果。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于动态卷积残差多源迁移学习的脑电情绪识别系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种电子设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于动态卷积残差多源迁移学习的脑电情绪识别方法。
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于动态卷积残差多源迁移学习的脑电情绪识别方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种基于动态卷积残差多源迁移学习的脑电情绪识别方法，其特征在于，所述脑电情绪识别方法包括：
基于静态网络和动态卷积残差块构建特征提取器，并分别提取源域和目标域的脑电信号的高维特征；所述特征提取器包括静态网络、动态网络、第一注意力机制和第二注意力机制，所述第一注意力机制用于根据不同的样本调整所述动态网络和所述静态网络在特征提取器所占的权重，所述第二注意力机制用于进行所述动态网络的参数动态调整；
结合边缘分布域适应方法和条件分布域适应方法，度量目标域和源域的差异性，并基于所述差异性进行源域和目标域的脑电信号的高维特征对齐；
通过分类器进行所述对齐的高维特征的分类，获得源域和目标域的脑电信号的情绪识别结果。
2.根据权利要求1所述的基于动态卷积残差多源迁移学习的脑电情绪识别方法，其特征在于，所述静态网络和所述动态网络，其结构为：
所述静态网络为一个一维卷积层，所述一维卷积层的参数为不随样本变化的静态参数；
所述动态网络包括k个一维卷积残差块，所述k个一维卷积残差块在所述动态网络中所占的动态权重，根据不同的样本通过所述第二注意力机制模块进行动态调整，其中，k为预设的超参数。
3.根据权利要求2所述的基于动态卷积残差多源迁移学习的脑电情绪识别方法，其特征在于，所述预设的超参数k的取值为：
当针对跨个体任务时，k＝4；
当针对同一个体的跨时间任务时，k＝2。
4.根据权利要求1所述的基于动态卷积残差多源迁移学习的脑电情绪识别方法，其特征在于，所述动态网络，在特征提取器所占的权重为：
Wθ(x)＝λW0+(1-λ)ΔWθ(x)
其中，Wθ(x)代表特征提取器的主体函数，ΔWθ(x)代表动态网络的主体函数，W0代表静态网络的卷积核，λ代表第一注意力机制模块获取的动态网络在特征提取器所占的权重，πi(x)代表第二注意力机制模块获取的动态网络中第i个一维卷积残差块随样本x变化的动态权重，Φi代表第i个一维卷积残差块。
5.根据权利要求4所述的基于动态卷积残差多源迁移学习的脑电情绪识别方法，其特征在于，所述k个一维卷积残差块在所述动态网络所占的动态权重为：
a＝Softmax(W2(Relu(W1x+b1)+b2))
其中，a为一维卷积残差块在动态网络所占的动态权重，W1和W2分别代表预设的第二注意力机制的两个全连接层参数，b1和b2分别代表第二注意力机制的两个全连接层的偏置，x代表样本，Relu代表第二注意力机制的第一个全连接层的激活函数，Softmax代表第二注意力机制的第二个全连接层的激活函数。
6.根据权利要求1所述的基于动态卷积残差多源迁移学习的脑电情绪识别方法，其特征在于，所述脑电情绪识别方法，其训练中的总损失包括情绪分类损失、边缘分布域适应损失和条件分布域适应损失；
所述总损失，其表示为：
L＝Lcls+LMMD+LMCD
其中，L代表总损失函数，Lcls为情绪分类损失函数，LMMD为边缘分布域适应损失函数，LMCD为条件分布域适应损失函数。
7.根据权利要求6所述的基于动态卷积残差多源迁移学习的脑电情绪识别方法，其特征在于，所述情绪分类损失函数为交叉熵损失函数。
8.根据权利要求6所述的基于动态卷积残差多源迁移学习的脑电情绪识别方法，其特征在于，所述边缘分布域适应损失函数LMMD，其表示为：
其中，Xs＝{xs1，xs2，…，xsi，…，xsn}，Xt＝{xt1，xt2，…，xtj，…，xtn}分别代表训练中的源域和目标域的样本数据，n为源域X的样本数据量，m为目标域的样本数据量，φ为预设的将样本数据映射到希尔伯特空间的映射函数，
代表计算样本数据在希尔伯特空间的距离。
9.根据权利要求8所述的基于动态卷积残差多源迁移学习的脑电情绪识别方法，其特征在于，所述条件分布域适应损失函数LMCD，在三阶段训练的每一阶段为不同的函数，将特征提取器记作Ｇ，将两个分类器记作F1，F2；
第一训练阶段，训练特征提取器G和两个分类器F1，F2，其目标函数为：
其中，Ys为源域的样本数据标签，L(Xs，Ys)代表源域分类的交叉熵损失，γ为随着训练迭代次数从0逐渐增大的权重，r为第r次迭代训练；
第二训练阶段，固定特征提取器G，训练两个分类器F1，F2，其目标函数为：
其中，
代表在目标域中计算[d(p1(y1|xt)，p2(y2|xt))]的数学期望，p1(y1|xt)代表分类器F1输入为xt时分类为y1的概率分布，p2(y2|xt)代表分类器F2的输入为xt时分类为y2的概率分布，p1c，p2c分别代表p1(y1|xt)，p2(y2|xt)在第c个类别的概率，c代表第c个类别，C为样本数据的类别数；
第三训练阶段，固定两个分类器F1，F2，训练特征提取器G，其目标函数为：
10.一种基于动态卷积残差多源迁移学习的脑电情绪识别系统，其特征在于，所述脑电情绪识别系统包括：
特征提取模块，配置为基于静态网络和动态卷积残差块构建基于注意力机制的特征提取器，并分别提取源域和目标域的脑电信号的高维特征；所述特征提取器包括静态网络、动态网络、第一注意力机制和第二注意力机制，所述第一注意力机制用于根据不同的样本调整所述动态网络和所述静态网络在特征提取器所占的权重，所述第二注意力机制用于进行所述动态网络的参数动态调整；
特征对齐模块，配置为结合边缘分布域适应方法和条件分布域适应方法，度量目标域和源域的差异性，并基于所述差异性进行源域和目标域的脑电信号的高维特征对齐；
分类模块，配置为通过分类器进行所述对齐的高维特征的分类，获得源域和目标域的脑电信号的情绪识别结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210556070.XA CN115105076A (zh) | 2022-05-20 | 2022-05-20 | 基于动态卷积残差多源迁移的脑电情绪识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210556070.XA CN115105076A (zh) | 2022-05-20 | 2022-05-20 | 基于动态卷积残差多源迁移的脑电情绪识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115105076A true CN115105076A (zh) | 2022-09-27 |
Family
ID=83325558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210556070.XA Pending CN115105076A (zh) | 2022-05-20 | 2022-05-20 | 基于动态卷积残差多源迁移的脑电情绪识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115105076A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115578593A (zh) * | 2022-10-19 | 2023-01-06 | 北京建筑大学 | 一种使用残差注意力模块的域适应方法 |
| CN117017288A (zh) * | 2023-06-14 | 2023-11-10 | 西南交通大学 | 跨被试情绪识别模型及其训练方法、情绪识别方法、设备 |
| CN117473303A (zh) * | 2023-12-27 | 2024-01-30 | 小舟科技有限公司 | 基于脑电信号的个性化动态意图特征提取方法及相关装置 |
-
2022
- 2022-05-20 CN CN202210556070.XA patent/CN115105076A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115578593A (zh) * | 2022-10-19 | 2023-01-06 | 北京建筑大学 | 一种使用残差注意力模块的域适应方法 |
| CN117017288A (zh) * | 2023-06-14 | 2023-11-10 | 西南交通大学 | 跨被试情绪识别模型及其训练方法、情绪识别方法、设备 |
| CN117017288B (zh) * | 2023-06-14 | 2024-03-19 | 西南交通大学 | 跨被试情绪识别模型及其训练方法、情绪识别方法、设备 |
| CN117473303A (zh) * | 2023-12-27 | 2024-01-30 | 小舟科技有限公司 | 基于脑电信号的个性化动态意图特征提取方法及相关装置 |
| CN117473303B (zh) * | 2023-12-27 | 2024-03-19 | 小舟科技有限公司 | 基于脑电信号的个性化动态意图特征提取方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112308158B (zh) | 一种基于部分特征对齐的多源领域自适应模型及方法 | |
| Sandoval et al. | Two-stage deep learning approach to the classification of fine-art paintings | |
| CN115105076A (zh) | 基于动态卷积残差多源迁移的脑电情绪识别方法及系统 | |
| Que et al. | Back to the future: Radial basis function networks revisited | |
| Henaff et al. | Deep convolutional networks on graph-structured data | |
| Klibisz et al. | Fast, simple calcium imaging segmentation with fully convolutional networks | |
| Bavkar et al. | Multimodal sarcasm detection via hybrid classifier with optimistic logic | |
| CN109993236A (zh) | 基于one-shot Siamese卷积神经网络的少样本满文匹配方法 | |
| CN112580436B (zh) | 一种基于黎曼流形坐标对齐的脑电信号域适应方法 | |
| CN107045640A (zh) | 一种用于图像识别的基于邻域保持和核子空间对齐的方法 | |
| Medhat et al. | Masked conditional neural networks for environmental sound classification | |
| Xu et al. | Mimic embedding via adaptive aggregation: learning generalizable person re-identification | |
| Rosli et al. | Development of CNN transfer learning for dyslexia handwriting recognition | |
| CN115919330A (zh) | 基于多层次se注意力和图卷积的eeg情绪状态分类方法 | |
| Xu et al. | Deep learning for cross-domain few-shot visual recognition: A survey | |
| CN109543637A (zh) | 一种人脸识别方法、装置、设备以及可读存储介质 | |
| Carlin et al. | Sustained firing of model central auditory neurons yields a discriminative spectro-temporal representation for natural sounds | |
| Li et al. | Deep convolutional neural networks for classifying body constitution | |
| CN116821764A (zh) | 一种基于知识蒸馏的多源域适应的eeg情绪状态分类方法 | |
| Zamanian et al. | Insect identification based on bioacoustic signal using spectral and temporal features | |
| Deng et al. | Fast image recognition with Gabor filter and pseudoinverse learning autoencoders | |
| Carino-Escobar et al. | Spiking neural networks trained with particle swarm optimization for motor imagery classification | |
| CN113296947A (zh) | 基于改进XGBoost模型的资源需求预测方法 | |
| Peng et al. | Identification of incorrect karyotypes using deep learning | |
| Nguyen et al. | Classifying Shark Behavior in Time and Frequency Domain using CNN and RNN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |