CN114145744A - 基于跨设备前额脑电情绪识别的方法和系统 - Google Patents
基于跨设备前额脑电情绪识别的方法和系统 Download PDFInfo
- Publication number
- CN114145744A CN114145744A CN202111403629.7A CN202111403629A CN114145744A CN 114145744 A CN114145744 A CN 114145744A CN 202111403629 A CN202111403629 A CN 202111403629A CN 114145744 A CN114145744 A CN 114145744A
- Authority
- CN
- China
- Prior art keywords
- domain
- electroencephalogram
- space
- layer
- electroencephalogram data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000001061 forehead Anatomy 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 28
- 230000003044 adaptive effect Effects 0.000 claims abstract description 75
- 230000008451 emotion Effects 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000012360 testing method Methods 0.000 claims abstract description 10
- 210000004556 brain Anatomy 0.000 claims description 33
- 238000000354 decomposition reaction Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 238000004891 communication Methods 0.000 claims 2
- 238000004806 packaging method and process Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 238000011160 research Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000005611 electricity Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Psychology (AREA)
- Evolutionary Computation (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明涉及信号处理技术领域，尤其是基于跨设备前额脑电情绪识别的方法和系统，包括步骤：将预处理后的源域脑电数据、目标域脑电数据一起输入多空间域适应网络模型，通过多空间域适应网络模型提取多空间的脑电信号特征，计算源域脑电数据和目标域脑电数据之间的多空间的域适应损失，计算源域脑电数据的分类损失；最小化多空间域适应网络总损失，直至多空间域适应网络模型收敛；将待分类的目标域脑电数据输入收敛模型中进行测试，输出对目标域中脑电数据所属类别的预测情绪标签。本发明通过结合多空间域适应网络模型，可以消除个体差异和设备差异，提高了模型的泛化能力，在跨设备研究中取得了较好的分类效果。
Description
技术领域
本发明涉及信号处理技术领域，尤其涉及基于跨设备前额脑电情绪识别的方法和系统。
背景技术
情绪是一种自然的表达方式，反映了人的生理或心理状态，已经有大量的研究是分析生理信号与情绪的关联。其中脑电信号可以直接反映大脑的活动，具有良好的时间分辨率和采集成本低、便利性好等优点，基于脑电信号的情绪识别越来越受到人们的重视。随着研究的深入，通过脑电信号来分析个体的情绪状态可以解决工作生活中的各种问题，例如作为可穿戴设备对人体的精神健康状态进行日常监测、在车辆行驶过程中监测司机的疲劳状态、在人机交互(HCI)中提高用户的体验度等。
目前，大部分研究均是对于多通道脑电的分析，其数据采集过程复杂且不方便，不符合可穿戴的理念。而前额脑电在可穿戴情绪识别中具有非常大的潜力，但却又很少针对前额脑电的算法模型设计。另外，目前由于不同个体采集的脑电信号大不相同引起的个体差异，导致现有算法模型在面临新个体的时候表现很差，消除个体差异已经成为了基于脑电的情绪识别研究的迫切需求。
发明内容
为解决现有技术所存在的技术问题，本发明提供基于跨设备前额脑电情绪识别的方法，通过多空间域适应网络细粒化提取前额三导联脑电信号至多通道脑源信号，构造脑电时-空域连通图，并利用图卷积获取非欧式空间的脑电特征，扩大卷积的感受野，以消息传递的方式提取大脑的连通性，可以更加有效地提取到脑电信号中与情绪相关的特征；通过在欧式空间和非欧式空间中对齐源域和目标域的数据，使得多空间域适应网络在不同空间中学习到更多与情绪相关的共性特征，消除了个体差异和设备差异，提高了模型的泛化能力，在跨设备实验中取得了较好的分类效果。
基于相同的发明构思，本发明还提供基于跨设备前额脑电情绪识别的系统。
本发明采用以下技术方案来实现：
基于跨设备前额脑电情绪识别的方法，包括以下步骤：
S1、采集受试者的前额脑电数据，将一种脑电采集设备采集到的脑电数据作为源域，将另一种脑电采集设备采集到的脑电数据作为目标域，源域带有情绪标签，目标域不带有情绪标签；
S2、对采集到的源域脑电数据、目标域脑电数据进行切分预处理；
S3、将预处理后的源域脑电数据、目标域脑电数据一起输入多空间域适应网络模型，通过多空间域适应网络模型提取多空间的脑电信号特征，计算源域脑电数据和目标域脑电数据之间的多空间的域适应损失，计算源域脑电数据的分类损失；
S4、最小化多空间域适应网络总损失，直至多空间域适应网络模型收敛；
S5、将待分类的目标域脑电数据输入步骤S4收敛的多空间域适应网络模型中进行测试，输出对目标域中脑电数据所属类别的预测情绪标签。
根据本发明的基于跨设备前额脑电情绪识别的系统，包括：
采集处理模块，用于采集受试者的前额脑电数据，将一种脑电采集设备采集到的脑电数据作为源域，将另一种脑电采集设备采集到的脑电数据作为目标域，源域带有情绪标签，目标域不带有情绪标签；
数据预处理模块，用于对采集到的源域脑电数据、目标域脑电数据进行切分预处理；
多空间域适应网络模块，用于将预处理后的源域脑电数据、目标域脑电数据一起输入多空间域适应网络模型，通过多空间域适应网络模型提取多空间的脑电信号特征，计算源域脑电数据和目标域脑电数据之间的多空间的域适应损失，计算源域脑电数据的分类损失；
模型优化模块，用于最小化多空间域适应网络总损失，直至多空间域适应网络模型收敛；
测试输出模块，用于将待分类的目标域脑电数据输入收敛的多空间域适应网络模型中进行测试，输出对目标域中脑电数据所属类别的预测情绪标签。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明提出了基于跨设备前额脑电情绪识别的方法和系统，弥补了目前关于前额三导联脑电情绪识别的方法的空缺，可以有效地应用在可穿戴设备中，提供泛化性能高的模型，并且可以有效地与虚拟现实技术、医疗技术、健康监测技术等结合使用，在医疗、康复、健康护理等领域均可利用，应用范围广。
2、通过多空间域适应网络细粒化提取前额三导联脑电信号至多通道脑源信号，构造脑电时-空域连通图，并利用图卷积获取非欧式空间的脑电特征，扩大卷积的感受野，以消息传递的方式提取大脑的连通性，可以更加有效地提取到脑电信号中与情绪相关的特征。
3、通过在欧式空间和非欧式空间中对齐源域和目标域的数据，使得多空间域适应网络在不同空间中学习到更多与情绪相关的共性特征，消除了个体差异和设备差异，提高了模型的泛化能力，在跨设备实验中取得了较好的分类效果，具有很强的实际应用能力，可以在多种复杂场景保持模型的泛化性能。
附图说明
图1是本发明实施例中的可穿戴前额脑电情绪分类方法流程图；
图2是本发明实施例中的多空间域适应网络的结构示意图；
图3是本发明实施例中的构造脑电时-空域连通图的分解层和构造层的结构示意图；
图4是本发明实施例中的源域和目标域数据经过网络后特征聚类的效果示意图。
具体实施方式
下面将结合附图和实施例，对本发明技术方案做进一步详细描述，显然所描述的实施例是本发明一部分实施例，而不是全部的实施例，本发明的实施方式并不限于此。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明通过计算最大均值差异来拉近源域和目标域的分布，以此来减少领域差异，提高模型的泛化性能。而在基于脑电的情绪识别问题中，可将源域视为已有个体的数据，目标域视为新个体的数据，通过域适应来消除个体差异。而图卷积可以很好地处理在非传统的非欧式空间的数据，如蛋白质结构，社交网络等。这样的数据通常被称为拓扑图，而人的脑网络也是一种拓扑图，图卷积提供了用另一种方式来探究大脑连通性的重要线索，可以充分利用到大脑的时域、频域、空域和连通性特征。
实施例
如图1所示，本实施例提供了基于跨设备前额脑电情绪识别的方法，包括以下步骤：
S1、采集受试者的前额脑电数据，将一种脑电采集设备采集到的脑电数据作为源域，将另一种脑电采集设备采集到的脑电数据作为目标域，源域带有情绪标签，目标域不带有情绪标签。
本实施例中，一种脑电采集设备是多导生理仪，另一种脑电采集设备是优感脑电头戴，使用织物干电极的方式采集前额三导联脑电数据。诱发情绪的方式为佩戴虚拟现实眼镜观看积极和消极的虚拟现实场景，采用自我评估法获取情绪标签，最终获取多人的正负情绪下的前额脑电信号(Fp1，Fpz，Fp2)。将多导生理仪采集到的受试者的前额脑电数据视为源域，优感脑电头戴采集到的受试者的前额脑电数据视为目标域。其中源域带有情绪标签，目标域不带有情绪标签，源域Xs包括Ns个样本，目标域Xt包括Nt个样本，Xs和Xt分别是源域和目标域的前额脑电情绪识别数据的集合。因为其中的受试者和脑电采集设备均不同，需要消除个体差异和设备差异，因此需要进行跨设备前额脑电的情绪识别。
S2、对采集到的源域脑电数据、目标域脑电数据进行切分预处理。
因不同的脑电采集设备具备不同特性，为了保证划分的脑电数据信息量足够，同时为了保证源域样本量和目标域样本量近似，需要先将源域脑电数据按照4秒的窗口50％重叠方式进行切分，目标域脑电数据按照2秒的窗口50％重叠方式进行切分。对采集到的源域脑电数据、目标域脑电数据进行预处理，便于数据的后续提取使用。
S3、将预处理后的源域脑电数据、目标域脑电数据一起输入至预先建立的多空间域适应网络模型，通过多空间域适应网络提取多空间的脑电信号特征，计算源域脑电数据和目标域脑电数据之间的多空间的域适应损失，计算源域脑电数据的分类损失。
如图2所示，多空间域适应网络的结构示意图，多空间域适应网络模型包括分解层、构造层、图卷积层、全连接层和分类层，源域、目标域的原始脑电数据依次经过分解层、构造层、图卷积层，最后将输出的两个全连接层拼接在一起输入分类层，得到预测的情绪标签。
其中：
分解层为一个预训练好的自动编码器，包括一层编码器和一层解码器，输入层维数为3，对应前额三导联脑电信号，隐藏层维数为64，输出层维数为12，对应12道脑源信号，12道脑源信号对应12个脑区。分解层将前额三导联中的十二道脑源信号提取出来，其中依旧包括了空间域的特征，将分解层提取的特征称为欧式空间中的脑电信号特征。
构造层包括一个邻接矩阵，优选地，为12*12大小的邻接矩阵A，表示了十二个脑区之间的连通关系，一个脑区用一个节点来表示，每个节点上都有对应的节点特征，用于将数据格式由欧氏空间数据转化为非欧式空间数据(连通图格式)。其中节点特征为一个特征矩阵，优选地，为12*32大小的特征矩阵W，是对提取到的12通道脑源信号在时序上进行卷积压缩，卷积核大小为(1，15)，无重叠提取脑电信号的时序特征，其中12表示12通道脑源信号，32表示提取到的32个时间片段的时序特征。构造层构造了脑电时-空域连通图，包括了32个连续时间片段的脑电信号特征和12个脑区之间的连通性。如图3所示，展现了脑电时-空域连通图构造的过程。
图卷积层包括三层图卷积，其中输入层维数为32，对应映射层输出的特征矩阵W的维度，隐藏层维数为128，输出层维数为16。对构造层得到的脑电时-空域连通图进行图卷积，提取非欧式空间的特征，由于图卷积的特性，可以弥补在欧式空间中无法利用到所有通道相互影响的信息，从而将感受野扩大至整个连通图，获取各通道之间的连通性特征，可以更加有效地提取到脑电信号中与情绪相关的特征。图卷积层通过添加自环，将节点自身特征与相邻节点特征结合更新节点的特征，对邻接矩阵A使用对称归一化，即行和列分别归一化。
全连接层包括扁平化处理后的所提取经过分解层后的欧式空间的特征向量Fe和经过图卷积层后的非欧式空间的特征向量Fn。其中，特征向量Fe包括了细粒化为12道的脑源信号中的空间和时间特征，特征向量Fn包括了12道的脑源信号中空间、时间特征和各通道之间的连通性特征。多空间域适应网络分别对源域、目标域中的特征向量Fe和特征向量Fn计算最大均值差异，并将两者之和作为多空间域适应网络的域适应损失，源域脑电数据预测标签与真实标签的交叉熵损失作为分类损失，域适应损失与分类损失之和作为多空间域适应网络总损失，综上，多空间域适应网络总损失函数F为：
其中，ns表示源域的总样本数，
表示源域中第i个样本，
表示第i个样本的预测标签，
表示源域中第i个样本对应的真实标签，J(·,·)表示预测标签和真实标签的交叉熵损失，
表示源域和目标域的最大均值差异，γmΘ(X)表示源域(Xs)和目标域(Xt)在不同空间中的表示，m＝2；λ是权重系数，是一个均衡的值，λ＞0。
分类层的输入为欧式空间全连接层和非欧式空间全连接层的拼接，经过训练，两个空间全连接层中的特征向量Fe和Fn的分布距离已经拉齐。在欧式空间和非欧式空间中对齐源域和目标域的数据，使得多空间域适应网络在不同空间中学习到更多与情绪相关的共性特征，消除了个体差异和设备差异，包括了各个空间中的脑电共性特征，输出则为预测情绪标签。
S4、最小化多空间域适应网络总损失，直至多空间域适应网络模型收敛。
具体地，将源域的脑电数据打包为一个epoch输入多空间域适应网络进行训练，为了加快多空间域适应网络的收敛速度，对数据进行批处理，设置batchsize为16，在一个epoch中分批输入多空间域适应网络训练。通过Adam优化器最小化步骤S3中计算的多空间域适应网络总损失函数，其中λ随着多空间域适应网络训练不断变化，最终平衡域适应损失和分类损失，达到一个均衡的值，直至多空间域适应网络最终收敛。
S5、将待分类的目标域脑电数据输入收敛的多空间域适应网络模型中进行测试，输出对目标域中脑电数据所属类别的预测情绪标签。
具体地，将待分类的目标域脑电数据输入收敛的多空间域适应网络模型，目标域脑电数据经过该模型中的最后一层softmax层并输出类别预测标签。
本次实验使用到的数据库为在虚拟现实诱发下的正负情绪脑电数据，使用织物组成的干电极来采集脑电信号，适用于可穿戴设备，并可以与多种技术相结合。实验结果如表1所示：
本实例在实施过程中进行了可视化处理，如图4所示，是本实施例中目标域中一个随机个体的脑电数据。可以观察到，通过多空间域适应网络，源域(点)和目标域(交叉点)的所有样本都很好地混合在一起，这表明源域和目标域的分布非常相似。从可视化结果可以看出，本文提出的方法可以弥补传统方法的不足，减少多层约束下源域和目标域之间的分布距离，获得更多的公共特征。
基于相同的发明构思，本实施例还提出基于跨设备前额脑电情绪识别的系统，包括：
采集处理模块，用于采集受试者的前额脑电数据，将一种脑电采集设备采集到的脑电数据作为源域，将另一种脑电采集设备采集到的脑电数据作为目标域，源域带有情绪标签，目标域不带有情绪标签；
数据预处理模块，用于对采集到的源域脑电数据、目标域脑电数据进行切分预处理；
多空间域适应网络模块，用于将预处理后的源域脑电数据、目标域脑电数据一起输入多空间域适应网络模型，通过多空间域适应网络模型提取多空间的脑电信号特征，计算源域脑电数据和目标域脑电数据之间的多空间的域适应损失，计算源域脑电数据的分类损失；
模型优化模块，用于最小化多空间域适应网络总损失，直至多空间域适应网络模型收敛；
测试输出模块，用于将待分类的目标域脑电数据输入收敛的多空间域适应网络模型中进行测试，输出对目标域中脑电数据所属类别的预测情绪标签。
本发明提出的基于跨设备前额脑电情绪识别的方法，弥补了目前关于稀疏导联脑电情绪识别方法的空缺，可以有效地应用在可穿戴设备中，提供泛化性能高的模型。并且可以有效地与虚拟现实技术、医疗技术、健康监测技术等结合使用，在医疗、康复、健康护理等领域均可利用，应用范围广。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包括在本发明的保护范围之内。
Claims (10)
1.基于跨设备前额脑电情绪识别的方法，其特征在于：包括以下步骤：
S1、采集受试者的前额脑电数据，将一种脑电采集设备采集到的脑电数据作为源域，将另一种脑电采集设备采集到的脑电数据作为目标域，源域带有情绪标签，目标域不带有情绪标签；
S2、对采集到的源域脑电数据、目标域脑电数据进行切分预处理；
S3、将预处理后的源域脑电数据、目标域脑电数据一起输入多空间域适应网络模型，通过多空间域适应网络模型提取多空间的脑电信号特征，计算源域脑电数据和目标域脑电数据之间的多空间的域适应损失，计算源域脑电数据的分类损失；
S4、最小化多空间域适应网络总损失，直至多空间域适应网络模型收敛；
S5、将待分类的目标域脑电数据输入收敛的多空间域适应网络模型中进行测试，输出对目标域中脑电数据所属类别的预测情绪标签。
2.根据要求1所述的基于跨设备前额脑电情绪识别的方法，其特征在于：步骤S3的多空间域适应网络模型包括分解层、构造层、图卷积层、全连接层和分类层，源域、目标域的脑电数据依次经过分解层、构造层、图卷积层，最后将输出的两个全连接层拼接在一起输入分类层。
3.根据要求2所述的基于跨设备前额脑电情绪识别的方法，其特征在于：分解层为一个预训练好的自动编码器，输入层维数为3，对应前额三导联脑电信号，输出层维数对应多道脑源信号。
4.根据要求2所述的基于跨设备前额脑电情绪识别的方法，其特征在于：构造层包括一个邻接矩阵，用于表示多个脑区之间的连通关系，一个脑区用一个节点来表示，每个节点上都有对应的节点特征；节点特征为一个特征矩阵，用于对提取到的多通道脑源信号在时序上进行卷积压缩，无重叠提取脑电信号的时序特征。
5.根据要求2所述的基于跨设备前额脑电情绪识别的方法，其特征在于：图卷积层包括三层图卷积，输入层维数对应映射层输出的特征矩阵的维度，对构造层得到的脑电时-空域连通图进行图卷积，提取非欧式空间的特征。
6.根据要求2所述的基于跨设备前额脑电情绪识别的方法，其特征在于：全连接层包括欧式空间的特征向量和非欧式空间的特征向量，欧式空间的特征向量包括多通道脑源信号中的空间、时间特征，非欧式空间的特征向量包括多通道脑源信号中的空间、时间特征和各通道之间的连通性特征。
7.根据要求1所述的基于跨设备前额脑电情绪识别的方法，其特征在于：步骤S4所述最小化多空间域适应网络总损失的运算函数为：
其中，ns表示源域的总样本数，
表示源域中第i个样本，
表示第i个样本的预测标签，
表示源域中第i个样本对应的真实标签，γmΘ(X)表示源域(Xs)和目标域(Xt)在不同空间中的表示，m＝2；λ是权重系数，λ＞0。
8.根据要求7所述的基于跨设备前额脑电情绪识别的方法，其特征在于：步骤S4具体包括：
将源域的脑电数据打包为一个epoch输入多空间域适应网络进行训练，对数据进行批处理，通过Adam优化器最小化多空间域适应网络总损失函数，λ随着多空间域适应网络训练不断变化，直至多空间域适应网络最终收敛。
9.基于跨设备前额脑电情绪识别的系统，其中特征在于：包括：
采集处理模块，用于采集受试者的前额脑电数据，将一种脑电采集设备采集到的脑电数据作为源域，将另一种脑电采集设备采集到的脑电数据作为目标域，源域带有情绪标签，目标域不带有情绪标签；
数据预处理模块，用于对采集到的源域脑电数据、目标域脑电数据进行切分预处理；
多空间域适应网络模块，用于将预处理后的源域脑电数据、目标域脑电数据一起输入多空间域适应网络模型，通过多空间域适应网络模型提取多空间的脑电信号特征，计算源域脑电数据和目标域脑电数据之间的多空间的域适应损失，计算源域脑电数据的分类损失；
模型优化模块，用于最小化多空间域适应网络总损失，直至多空间域适应网络模型收敛；
测试输出模块，用于将待分类的目标域脑电数据输入收敛的多空间域适应网络模型中进行测试，输出对目标域中脑电数据所属类别的预测情绪标签。
10.根据要求9所述的基于跨设备前额脑电情绪识别的系统，其特征在于：多空间域适应网络模型包括分解层、构造层、图卷积层、全连接层和分类层，源域、目标域的脑电数据依次经过分解层、构造层、图卷积层，最后将输出的两个全连接层拼接在一起输入分类层；
构造层包括一个邻接矩阵，用于表示多个脑区之间的连通关系，一个脑区用一个节点来表示，每个节点上都有对应的节点特征；节点特征为一个特征矩阵，用于对提取到的多通道脑源信号在时序上进行卷积压缩，无重叠提取脑电信号的时序特征；
图卷积层包括三层图卷积，其中输入层维数对应映射层输出的特征矩阵的维度，对构造层得到的脑电时-空域连通图进行图卷积，提取非欧式空间的特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111403629.7A CN114145744B (zh) | 2021-11-22 | 2021-11-22 | 基于跨设备前额脑电情绪识别的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111403629.7A CN114145744B (zh) | 2021-11-22 | 2021-11-22 | 基于跨设备前额脑电情绪识别的方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114145744A true CN114145744A (zh) | 2022-03-08 |
| CN114145744B CN114145744B (zh) | 2024-03-29 |
Family
ID=80457435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111403629.7A Active CN114145744B (zh) | 2021-11-22 | 2021-11-22 | 基于跨设备前额脑电情绪识别的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114145744B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115238835A (zh) * | 2022-09-23 | 2022-10-25 | 华南理工大学 | 基于双空间自适应融合的脑电情感识别方法、介质及设备 |
| CN117708570A (zh) * | 2024-02-05 | 2024-03-15 | 中国科学院自动化研究所 | 癫痫预测方法、装置、电子设备及存储介质 |
| CN117708570B (zh) * | 2024-02-05 | 2024-06-04 | 中国科学院自动化研究所 | 癫痫预测方法、装置、电子设备及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109431492A (zh) * | 2018-10-16 | 2019-03-08 | 上海优加利健康管理有限公司 | 基于神经网络算法的心电图导联数据模拟重建方法 |
| KR20190035368A (ko) * | 2017-09-26 | 2019-04-03 | 연세대학교 산학협력단 | 뇌 신호로부터 변환한 이미지 기반의 감정 인식 방법 및 장치 |
| CN110070105A (zh) * | 2019-03-25 | 2019-07-30 | 中国科学院自动化研究所 | 基于元学习实例快速筛选的脑电情绪识别方法、系统 |
| CN110222643A (zh) * | 2019-06-06 | 2019-09-10 | 西安交通大学 | 一种基于卷积神经网络的稳态视觉诱发电位信号分类方法 |
| CN111544256A (zh) * | 2020-04-30 | 2020-08-18 | 天津大学 | 基于图卷积和迁移学习的脑控智能全肢体康复方法 |
| CN111657935A (zh) * | 2020-05-11 | 2020-09-15 | 浙江大学 | 一种基于层次图卷积神经网络的癫痫脑电识别系统、终端及存储介质 |
| CN112043473A (zh) * | 2020-09-01 | 2020-12-08 | 西安交通大学 | 智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器 |
| CN112690793A (zh) * | 2020-12-28 | 2021-04-23 | 中国人民解放军战略支援部队信息工程大学 | 情绪脑电迁移模型训练方法、系统及情绪识别方法和设备 |
| CN112735570A (zh) * | 2021-01-09 | 2021-04-30 | 深圳先进技术研究院 | 影像驱动的脑图谱构建方法、装置、设备及存储介质 |
| CN112906783A (zh) * | 2021-02-06 | 2021-06-04 | 西北大学 | 一种适用于跨被试的脑电情绪识别方法及装置 |
| CN113057657A (zh) * | 2021-03-22 | 2021-07-02 | 华南理工大学 | 基于多尺度连通性特征和元迁移学习的脑电情绪分类方法 |
| CN113157096A (zh) * | 2021-04-26 | 2021-07-23 | 杭州电子科技大学 | 基于深度子域关联适应网络的脑电情感迁移方法 |
| CN113191225A (zh) * | 2021-04-19 | 2021-07-30 | 华南师范大学 | 一种基于图注意力网络的情绪脑电识别方法及系统 |
-
2021
- 2021-11-22 CN CN202111403629.7A patent/CN114145744B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190035368A (ko) * | 2017-09-26 | 2019-04-03 | 연세대학교 산학협력단 | 뇌 신호로부터 변환한 이미지 기반의 감정 인식 방법 및 장치 |
| CN109431492A (zh) * | 2018-10-16 | 2019-03-08 | 上海优加利健康管理有限公司 | 基于神经网络算法的心电图导联数据模拟重建方法 |
| CN110070105A (zh) * | 2019-03-25 | 2019-07-30 | 中国科学院自动化研究所 | 基于元学习实例快速筛选的脑电情绪识别方法、系统 |
| CN110222643A (zh) * | 2019-06-06 | 2019-09-10 | 西安交通大学 | 一种基于卷积神经网络的稳态视觉诱发电位信号分类方法 |
| CN111544256A (zh) * | 2020-04-30 | 2020-08-18 | 天津大学 | 基于图卷积和迁移学习的脑控智能全肢体康复方法 |
| CN111657935A (zh) * | 2020-05-11 | 2020-09-15 | 浙江大学 | 一种基于层次图卷积神经网络的癫痫脑电识别系统、终端及存储介质 |
| CN112043473A (zh) * | 2020-09-01 | 2020-12-08 | 西安交通大学 | 智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器 |
| CN112690793A (zh) * | 2020-12-28 | 2021-04-23 | 中国人民解放军战略支援部队信息工程大学 | 情绪脑电迁移模型训练方法、系统及情绪识别方法和设备 |
| CN112735570A (zh) * | 2021-01-09 | 2021-04-30 | 深圳先进技术研究院 | 影像驱动的脑图谱构建方法、装置、设备及存储介质 |
| CN112906783A (zh) * | 2021-02-06 | 2021-06-04 | 西北大学 | 一种适用于跨被试的脑电情绪识别方法及装置 |
| CN113057657A (zh) * | 2021-03-22 | 2021-07-02 | 华南理工大学 | 基于多尺度连通性特征和元迁移学习的脑电情绪分类方法 |
| CN113191225A (zh) * | 2021-04-19 | 2021-07-30 | 华南师范大学 | 一种基于图注意力网络的情绪脑电识别方法及系统 |
| CN113157096A (zh) * | 2021-04-26 | 2021-07-23 | 杭州电子科技大学 | 基于深度子域关联适应网络的脑电情感迁移方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115238835A (zh) * | 2022-09-23 | 2022-10-25 | 华南理工大学 | 基于双空间自适应融合的脑电情感识别方法、介质及设备 |
| CN117708570A (zh) * | 2024-02-05 | 2024-03-15 | 中国科学院自动化研究所 | 癫痫预测方法、装置、电子设备及存储介质 |
| CN117708570B (zh) * | 2024-02-05 | 2024-06-04 | 中国科学院自动化研究所 | 癫痫预测方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114145744B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Cascade and parallel convolutional recurrent neural networks on EEG-based intention recognition for brain computer interface | |
| Li et al. | Densely feature fusion based on convolutional neural networks for motor imagery EEG classification | |
| CN112120694B (zh) | 一种基于神经网络的运动想象脑电信号分类方法 | |
| CN110969108B (zh) | 一种基于自主运动想象脑电的肢体动作识别方法 | |
| CN110353702A (zh) | 一种基于浅层卷积神经网络的情感识别方法及系统 | |
| Feng et al. | EEG-based emotion recognition using spatial-temporal graph convolutional LSTM with attention mechanism | |
| Zou et al. | A transfer learning model for gesture recognition based on the deep features extracted by CNN | |
| CN111990989A (zh) | 一种基于生成对抗及卷积循环网络的心电信号识别方法 | |
| CN114533086B (zh) | 一种基于空域特征时频变换的运动想象脑电解码方法 | |
| CN113065526B (zh) | 一种基于改进深度残差分组卷积网络的脑电信号分类方法 | |
| CN109330613A (zh) | 基于实时脑电的人体情绪识别方法 | |
| CN111513735A (zh) | 基于脑机接口和深度学习的重度抑郁症辨识系统及应用 | |
| CN111544256A (zh) | 基于图卷积和迁移学习的脑控智能全肢体康复方法 | |
| CN111544855A (zh) | 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用 | |
| CN112733774A (zh) | 一种基于BiLSTM与串并多尺度CNN结合的轻量化ECG分类方法 | |
| CN111584029A (zh) | 基于判别式对抗网络的脑电自适应模型及在康复中的应用 | |
| CN113010013A (zh) | 一种基于Wasserstein距离的运动想象脑电迁移学习方法 | |
| CN111930238A (zh) | 基于动态ssvep范式的脑机接口系统实现方法及装置 | |
| CN113128353B (zh) | 面向自然人机交互的情绪感知方法及其系统 | |
| Du et al. | SSVEP-based emotion recognition for IoT via multiobjective neural architecture search | |
| CN114145744B (zh) | 基于跨设备前额脑电情绪识别的方法和系统 | |
| CN113988135A (zh) | 一种基于双分支多流网络的肌电信号手势识别方法 | |
| CN111931578B (zh) | 一种基于最小生成树和区域双层网络的脑电识别方法 | |
| CN115414050A (zh) | 一种实现情绪识别的eeg脑网络最大团检测方法及系统 | |
| CN117520891A (zh) | 一种运动想象脑电信号分类方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |