CN114631831A - 基于半监督领域自适应的跨个体情绪脑电识别方法及系统 - Google Patents

基于半监督领域自适应的跨个体情绪脑电识别方法及系统 Download PDF

Info

Publication number
CN114631831A
CN114631831A CN202210212990.XA CN202210212990A CN114631831A CN 114631831 A CN114631831 A CN 114631831A CN 202210212990 A CN202210212990 A CN 202210212990A CN 114631831 A CN114631831 A CN 114631831A
Authority
CN
China
Prior art keywords
emotion
electroencephalogram
domain
data
target domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210212990.XA
Other languages
English (en)
Inventor
张应祥
周慧
位少聪
张茜茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202210212990.XA priority Critical patent/CN114631831A/zh
Publication of CN114631831A publication Critical patent/CN114631831A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor

Abstract

本发明公开了一种基于半监督领域自适应的跨个体情绪脑电识别方法及系统，方法包括：使用视频材料诱发实验范式采集源域和目标域情绪脑电信号；对原始脑电信号进行滤波降噪和伪迹去除等预处理；搭建基于卷积神经网络的脑电信号特征提取及分类模型；使用卷积神经网络为目标域情绪脑电数据赋伪标签；使用卷积神经网络对源域情绪脑电数据和目标域脑电数据分别提取特征；使用源域情绪脑电数据和目标域情绪脑电数据对卷积神经网络进行训练实现跨个体的情绪脑电识别。本发明通过卷积神经网络模型自动提取情绪脑电的特征并分类。本发明通过半监督自适应学习的方法，可以有效提高模型的泛化能力，解决跨个体场景下情绪脑电信号差异较大的问题。

Description

基于半监督领域自适应的跨个体情绪脑电识别方法及系统
技术领域
本发明属于迁移学习技术领域，具体涉及一种基于半监督领域自适应的跨个体情绪脑电识别方法及系统。
背景技术
情绪是人类对外部事件或特定情境的行为反应，是主观的有意识的体验和感受，具有心理和生理反应的特征。人们常见的情绪有高兴、愤怒、恐惧、悲伤、厌恶和惊奇等。人的日常活动，如交流、行为、决策等都不同程度受到情绪的影响。如今，情绪识别在医学领域、驾驶员情绪状态监测，教育领域、娱乐、虚拟现实等领域都有一定的应用价值。当前，情绪识别的研究主要集中在客观的生理指标上。这些生理指标包括皮肤电反应(GSR)、心率(HR)、脑电图(EEG)、脑磁图(MEG)和功能磁共振成像(fMRI)等，对测试者情绪的反映客观可信。情绪识别中，基于不同生理指标的方法具有不同的优势和缺陷，没有一种绝对的方法可以兼顾时间分辨率和空间分辨率，比如MEG空间分辨率极高但是时间分辨率低，EEG时间分辨率高但是空间分辨率低。但是目前大多数基于生理指标的情绪研究采用的是EEG信号，因为EEG除了时间分辨率高还具有低成本、无创性、相对易用性等优势，随着技艺进步，EEG信号采集电极导联越来越多，一定程度上弥补了其空间分辨率较低的缺陷。
但是EEG信号存在固有的非平稳性、非线性等特点，在同一实验范式下采集的不同个体的情绪脑电信号具有较大的差异性，因此传统的基于脑电的情绪识别方法难以做到跨个体的识别效果，通常由特定受试者的数据训练出的模型只适用于其自身的脑电信号，对于其他受试者的情绪脑电信号识别效果通常比较差；并且传统方法处理情绪脑电信号需要人工提取特征，过程繁琐。如专利CN 103690165 A中分别计算各电极脑电信号的功率谱密度，计算不对称指数得到待识别特征向量，再使用支持向量机进行分类，专利CN 109271964A中计算脑电信号各个频段的能量谱，进而构建输入图像，再使用变分编码器和长短时记忆网网络识别，都需要人工提取特征并且没有很好解决不同个体脑电信号差异较大的问题。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出一种基于半监督领域自适应的跨个体情绪脑电识别方法及系统，自动提取原始脑电数据的特征，并利用有标签的源域数据和无标签的目标域数据通过半监督领域自适应的模型训练方法，有效提高模型的跨个体识别能力。
为实现上述目的，本发明所提供的技术方案为：一种基于半监督领域自适应的跨个体情绪脑电识别方法，包括以下步骤：
步骤S1：采集源域和目标域的情绪脑电信号；
步骤S2：对原始情绪脑电信号进行预处理；
步骤S3：搭建脑电信号特征提取及分类模型，以卷积神经网络为架构，构建三层卷积层、池化层和Batch Norm层用于提取情绪脑电信号的特征，构建三层全连接层作为分类器，对卷积神经网络提取的特征进行分类；
步骤S4：使用步骤S3中构建的卷积神经网络给目标域情绪脑电数据赋初始伪标签；
步骤S5：使用步骤S3中构建的卷积神经网络对源域情绪脑电数据和目标域脑电数据分别提取特征，记为源域特征和目标域特征；
步骤S6：使用带标签源域情绪脑电数据和带伪标签的目标域情绪脑电数据对步骤S3中的卷积神经网络进行训练。
进一步的，步骤S1包含以下步骤：
步骤S11：情绪脑电的采集实验范式以标准图片材料作为情绪诱发素材，情绪标签设置为三类，分别为积极、消极和中性；每种标签对应的情绪诱发素材数量相等。实验过程中，受试者观看图片时间与休息时间相间隔。用作源域数据的受试者在看完每张图片之后要手动打上标签，用作目标域数据的受试者在看完每张图片之后不用操作。最后得到具有真实标签的源域情绪脑电数据和没有标签的目标域情绪脑电数据。
进一步的，步骤S2包含以下步骤：
步骤S21：对原始情绪脑电数据进行伪迹降噪，采用四阶巴特沃斯滤波器对信号进行0～60Hz低通滤波，保留情绪脑电中的主要成分，采用陷波滤波器滤除50Hz的工频干扰；
步骤S22：对原始情绪脑电数据进行眼电和心电伪迹的去除，使用FastCIA技术将脑电信号分离出多种源信号，根据样本熵剔除眼电和心电源信号成分；
步骤S23：将去除伪迹后的信号分频段，提取有效诱发情绪时间段内的数据，构建纯净情绪脑电信号数据集。
进一步的，步骤S3包含以下步骤：
步骤S31：构建三层卷积层，使用边缘零值补充，使卷积层输入输出的特征图大小一致；
步骤S32：构建三层池化层，三个池化层的池化窗口大小都为2×2，采用平均池化方法，每层池化层分别位于卷积层之后；
步骤S33：构建Batch Norm层，每层卷积层后设置Batch Norm层，将此层卷积层输出的特征进行标准化操作，防止内部协转移现象；
步骤S34：构建三层全连接层，将卷积层输出的特征进行分类，进而实现情绪脑电的识别。
进一步的，步骤S4包含以下步骤：
步骤S41：加载卷积神经网络模型和目标域情绪脑电数据集，第一次加载时使用初始化后的卷积神经网络对目标域脑电数据进行预测，后续使用更新后的卷积神经网络对目标域数据进行预测，预测的结果作为目标域数据的伪标签。
进一步的，步骤S5包含以下步骤：
步骤S51：加载带有真实标签的源域情绪脑电数据集和带有伪标签的目标域情绪脑电数据集，进过卷积层分别提取源域和目标域特征；
步骤S52：根据源域和目标域特征计算二者最大均值差异。
进一步的，步骤S6包含以下步骤：
步骤S61：计算源域情绪脑电数据的分类损失值；
步骤S62：计算目标域情绪脑电数据的伪标签损失值；
步骤S62：计算模型训练的总损失值，经误差反向传播更新模型参数。
一种基于半监督领域自适应的跨个体情绪脑电识别系统，包括以下模块：
脑电采集模块：同步采集受试者的脑电信号并存储；
预处理模块：加载采集好的原始脑电信号，运行滤波降噪及伪迹去除的程序，并对脑电信号分频段，分段提取有效诱发情绪时间段的脑电信号，得到纯净的情绪脑电数据集；
情绪识别模块：加载源域和目标域脑电数据集，对卷积神经网络进行训练，再使用训练完毕的模型对测试数据进行情绪识别。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的基于半监督领域自适应的跨个体情绪脑电识别方法。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于半监督领域自适应的跨个体情绪脑电识别方法。
与现有技术相比，本发明的有益效果为：
(1)本发明设计一套滤波降噪流程，首先将原始脑电中的高频噪声以及工频噪声等去除，然后通过FastICA算法去除了脑电信号中的眼电、心电等伪迹，得到纯净的情绪脑电信号；
(2)本发明针对情绪脑电特征提取工作繁琐的问题，设计基于卷积神经网络的情绪分类模型，实现对情绪脑电端到端的训练。使用原始脑电数据作为输入，省去传统方法的特征提取步骤，节省大量人工成本；
(3)本发明针对情绪脑电信号采集流程繁琐、数据标注需要大量人工成本、数据分布不同的信号导致情绪分类模型泛化能力较差的问题，采用基于半监督领域自适应的迁移学习方法，设计了源域和目标域之间的自适应损失和目标域数据的伪标签损失，改进卷积神经网络模型的训练过程，极大提高了模型的泛化能力。
附图说明
图1为本发明的主要方法流程图。
图2为本发明跨个体情绪脑电识别方法示意图。
图3为本发明原始情绪脑电数据的预处理流程图。
图4为本发明基于卷积神经网络的情绪分类模型结构图。
图5为本发明基于半监督领域自适应的方法示意图。
图6为本发明伪标签生成及更新流程图。
图7为本发明基于半监督领域自适应的跨个体情绪脑电识别系统结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。
由于现有的传统机器学习方法或者深度网络对单被试者的情绪脑电数据分类效果尚可，但是没有解决脑电信号的个体差异性和非平稳性的问题，导致难以训练出一个通用的分类器。所以本发明实例，提出一种基于半监督领域自适应的跨个体情绪脑电识别方法及系统。
如图1、图2所示，本发明的一种基于半监督领域自适应的跨个体情绪脑电识别方法，包括以下步骤：
步骤S1、情绪脑电信号的采集，具体包含以下步骤。
步骤S11：情绪脑电信号采集实验使用Brain Product脑电采集设备，实验范式设计具有32个导联电极通道，采样频率为2000Hz，以标准图片材料作为情绪诱发素材。情绪标签设置为三类，分别为积极、消极和中性。每种标签对应的情绪诱发素材数量相等；
步骤S12：实验过程中，用作源域数据的受试者注视屏幕，每张图片出现5s，然后休息5s。每张图片观看完毕之后要手动打上标签；
步骤S13：实验过程中，用作目标域数据的受试者注视屏幕，每张图片出现5s，然后休息5s。每张图片观看完毕之后无需做其他操作。
得到具有真实标签的源域情绪脑电数据和没有标签的目标域情绪脑电数据。
步骤S2、对原始情绪脑电信号进行预处理，如图3所示，具体包含以下步骤。
步骤S21：对原始情绪脑电数据进行伪迹降噪，采用四阶巴特沃斯滤波器对信号进行0～60Hz低通滤波，保留情绪脑电中的主要成分，采用陷波滤波器滤除50Hz的工频干扰，最后得到降噪后的情绪脑电信号x(t)；
步骤S22：使用零均值方法处理原始脑电数据x(t)，得到xcenter(t)；
步骤S23：为了使得xcenter(t)的协方差矩阵为单位矩阵将xcenter(t)进行白化，得到z(t)；
步骤S24：对独立分量分析方法中的分离矩阵赋初值，并通过最大化负熵J对分离矩阵W进行更新，计算过程如下，
Figure BDA0003532360190000051
其中
Figure BDA0003532360190000052
为累计分布函数，其概率分布函数G′(s)＝tanh(a1s)，E为均值，Wold和Wnew分别为更新前后的分离矩阵，取a1为1，分离出源信号；
步骤S25:根据样本熵计算方法计算出所有源信号的样本熵；
步骤S26：根据样本熵的区别，将眼电和心电等源信号剔除；
步骤S27：将去除伪迹后的源信号重构，得到去除伪迹后的情绪脑电信号x′(t)；
步骤S28：将情绪脑电数据分成四个波段:θ,α,β,γ,其中θ波频率范围为4～8Hz、α波频率范围为8～13Hz、β波频率范围为13～30Hz和γ波频率范围为大于30Hz。根据每张图片的呈现时间和休息时间，将脑电信号分段提取。得到纯净的诱发出的情绪脑电信号；
步骤S29：以100ms时间长度、50ms重叠的滑动时间窗对脑电数据进行切分，每个时间窗的脑电数据作为一个样本，最后构建完整的源域和目标域情绪脑电数据集。
步骤S3、搭建脑电信号特征提取及分类模型，以卷积神经网络为架构，构建三层卷积层、池化层和Batch Norm层用于提取情绪脑电信号的特征，构建三层全连接层作为分类器，对卷积神经网络提取的特征进行分类。如图4所示，具体包含以下步骤。
步骤S31：构建卷积层第一层卷积层设置32个5×5大小的卷积核、第二层卷积层设置64个5×5大小的卷积核、第三层卷积层设置128个5×5大小的卷积核；为了使得卷积前后特征图大小保持一致，采用边缘零值补充。卷积过程如下，
Figure BDA0003532360190000061
上式中wk和bk分别为第k个卷积核的权值矩阵和偏置矩阵，ck为卷积层经过激活函数激活后的输出,i和j定位了ck上的一个元素值；
步骤S32：构建池化层，三个池化层的池化窗口大小都为2×2，采用平均池化方法，计算过程如下，
Figure BDA0003532360190000062
其中yk为第一层卷积层经过激活函数激活后的输出，并作为池化层的输入，pk为经过第一层池化层之后的输出，i和j定位了pk的一个元素；
步骤S33：构建Batch Norm层，每层卷积层后设置Batch Norm层，将此层卷积层输出的特征进行标准化操作，防止内部协转移现象。计算过程如下，
Figure BDA0003532360190000063
其中ck为卷积层经过激活函数激活后的输出，作为Batch Norm层的输入，yk为Batch Norm层的输出，E[ck]为ck的均值，Var[ck]为ck的方差。γk和βk分别为Batch Norm层的两个参数，模型训练过程中需要动态更新这两个参数；
步骤S34：构建全连接层，第一层全连接层神经元个数为128，第二层为64，第三层为3，其中3代表情绪类别数。计算过程如下，
f2＝Relu(f1·w+b) (7)
其中f1为全连接层的输入，f2为全连接层的输出，w和b分别为全连接层的权重和偏置。
步骤S4、使用步骤s3中构建的卷积神经网络给目标域情绪脑电数据赋初始伪标签，如图5所示，具体包含以下步骤。
步骤S41：加载步骤3中的卷积神经网络模型，并对其中参数进行初始化；
步骤S42：加载目标域数据集，第一次加载时使用初始化后的卷积神经网络对目标域脑电数据进行预测，后续使用更新后的卷积神经网络对目标域数据进行预测，预测的结果作为目标域数据的伪标签。
步骤S5、使用步骤s3中构建的卷积神经网络对源域情绪脑电数据和目标域脑电数据分别提取特征，记为源域特征和目标域特征，具体包含以下步骤。
步骤S51：将带有真实标签的源域数据和带有伪标签的目标域数据同时分批次加载进卷积神经网络模型，以第一层全连接层前的数据作为提取的特征，由源域和目标域数据可分别得到源域特征x和目标域特征y；
步骤S52：根据源域特征和目标域特征，使用最大均值差异(MMD)计算特征之间的距离。计算流程如下，
Figure BDA0003532360190000072
Figure BDA0003532360190000073
上式中，f为映射函数，将源域和目标域数据映射到可再生希尔伯特空间p和q分别为源域和目标域随机变量分布，x和y分别为源域和目标域特征，E表示期望值。由上式可得
Figure BDA0003532360190000071
通过寻找不同的映射函数确定源域和目标域映射后期望值之差的上确界作为MMD值。经过展开之后可得到最大均值差异为
Figure BDA0003532360190000081
其中k(xi,yi)＝<f(xi),f(yi)>为核函数，通常映射函数f难以求解，利用核函数可以避免直接求映射函数，利用核技巧可以求出最大均值差异。不同的核函数会将源域和目标域的数据映射到不同的RKHS空间，而在不同的RKHS空间中，源域和目标域数据的差异不同，为了使得差异最大化，设计选择综合效果良好的高斯核函数。以MMD值作为源域和目标域的自适应损失值adaption-loss。
步骤S6、使用带标签源域情绪脑电数据和带伪标签的目标域情绪脑电数据对步骤S3中的卷积神经网络进行训练，具体包含以下步骤。
步骤S61：将带有真实标签的源域数据和带有伪标签的目标域数据同时分批次加载进模型；
步骤S62：使用交叉熵损失函数作为模型的损失函数，根据模型对源域数据的预测结果和其真实标签计算源域数据的分类损失值clf-loss；
步骤S63：同样使用交叉熵损失函数，根据模型对目标域数据的预测结果和其伪标签计算目标域数据的伪标签损失值pseudo-loss；
步骤S64：如图5所示，计算模型的总损失者为分类损失、伪标签损失值和自适应损失值之和；
步骤S65：根据总损失值进行误差反向传播，更新卷积神经网络的模型参数；
步骤S66：如图6所示，使用更新完参数的卷积神经网络重新对目标域情绪脑电数据进行预测，将预测结果作为新得伪标签，取代原有伪标签。
重复步骤S4-S6，直到模型的训练达到良好的效果。
进一步的，本发明还提供一种基于半监督领域自适应的跨个体情绪脑电识别系统，如图7所示，包括以下内容：
脑电采集模块：使用Brain Product脑电采集设备，实验范式设计具有32个导联电极通道，采样频率设置为2000Hz，运行基于图片诱发的情绪脑电实验范式程序，采集设备同时采集受试者的情绪脑电信号。
预处理模块：加载采集的原始情绪脑电信号，运行巴特沃斯滤波及陷波滤波程序去除原始信号中的噪声，运行FastICA程序去除眼电及心电等伪迹。并对脑电信号分频段，分段提取有效诱发情绪时间段的脑电信号，得到纯净的情绪脑电数据集。
情绪识别模块：加载源域和目标域情绪脑电数据和卷积神经网络模型，将数据集输入到模型中，运行上述情绪识别方法中模型的训练程序，即分别计算源域数据分类损失、目标域伪标签损失和域自适应损失值，不断更新模型参数。使用训练完毕的模型对测试数据进行情绪识别。
上述各组成模块的具体实现过程与前述的基于半监督领域自适应的跨个体情绪脑电识别方法相同，本发明不再赘述。
以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于半监督领域自适应的跨个体情绪脑电识别方法，其特征在于，包括以下步骤：
步骤S1：采集源域和目标域的情绪脑电信号；
步骤S2：对原始情绪脑电信号进行预处理；
步骤S3：搭建脑电信号特征提取及分类模型，以卷积神经网络为架构，构建三层卷积层、池化层和Batch Norm层用于提取情绪脑电信号的特征，构建三层全连接层作为分类器，对卷积神经网络提取的特征进行分类；
步骤S4：使用步骤S3中构建的卷积神经网络给目标域情绪脑电数据赋初始伪标签；
步骤S5：使用步骤S3中构建的卷积神经网络对源域情绪脑电数据和目标域脑电数据分别提取特征，记为源域特征和目标域特征；
步骤S6：使用带标签源域情绪脑电数据和带伪标签的目标域情绪脑电数据对步骤S3中的卷积神经网络进行训练。
2.根据权利要求1所述的基于半监督领域自适应的跨个体情绪脑电识别方法，其特征在于，步骤S1包含以下步骤：
情绪脑电的采集实验范式以标准图片材料作为情绪诱发素材，情绪标签设置为三类，分别为积极、消极和中性；每种标签对应的情绪诱发素材数量相等；实验过程中，受试者观看图片时间与休息时间相间隔；用作源域数据的受试者在看完每张图片之后要手动打上标签，用作目标域数据的受试者在看完每张图片之后不用操作；最后得到具有真实标签的源域情绪脑电数据和没有标签的目标域情绪脑电数据。
3.根据权利要求1所述的基于半监督领域自适应的跨个体情绪脑电识别方法，其特征在于，步骤S2包含以下步骤：
步骤S21：对原始情绪脑电数据进行伪迹降噪，采用四阶巴特沃斯滤波器对信号进行0～60Hz低通滤波，保留情绪脑电中的主要成分，采用陷波滤波器滤除50Hz的工频干扰；
步骤S22：对原始情绪脑电数据进行眼电和心电伪迹的去除，使用FastCIA技术将脑电信号分离出多种源信号，根据样本熵剔除眼电和心电源信号成分；
步骤S23：将去除伪迹后的信号分频段，提取有效诱发情绪时间段内的数据，构建纯净情绪脑电信号数据集。
4.根据权利要求1所述的基于半监督领域自适应的跨个体情绪脑电识别方法，其特征在于，步骤S3包含以下步骤：
步骤S31：构建三层卷积层，使用边缘零值补充，使卷积层输入输出的特征图大小一致；
步骤S32：构建三层池化层，三个池化层的池化窗口大小都为2×2，采用平均池化方法，每层池化层分别位于卷积层之后；
步骤S33：构建Batch Norm层，每层卷积层后设置Batch Norm层，将此层卷积层输出的特征进行标准化操作；
步骤S34：构建三层全连接层，将卷积层输出的特征进行分类，进而实现情绪脑电的识别。
5.根据权利要求1所述的基于半监督领域自适应的跨个体情绪脑电识别方法，其特征在于，步骤S4包含以下步骤：
加载卷积神经网络模型和目标域情绪脑电数据集，第一次加载时使用初始化后的卷积神经网络对目标域脑电数据进行预测，后续使用更新后的卷积神经网络对目标域数据进行预测，预测的结果作为目标域数据的伪标签。
6.根据权利要求1所述的基于半监督领域自适应的跨个体情绪脑电识别方法，其特征在于，步骤S5包含以下步骤：
步骤S51：加载带有真实标签的源域情绪脑电数据集和带有伪标签的目标域情绪脑电数据集，进过卷积层分别提取源域和目标域特征；
步骤S52：根据源域和目标域特征计算二者最大均值差异。
7.根据权利要求1所述的基于半监督领域自适应的跨个体情绪脑电识别方法，其特征在于，步骤S6包含以下步骤：
步骤S61：计算源域情绪脑电数据的分类损失值；
步骤S62：计算目标域情绪脑电数据的伪标签损失值；
步骤S62：计算模型训练的总损失值，经误差反向传播更新模型参数。
8.一种基于半监督领域自适应的跨个体情绪脑电识别系统，其特征在于，包括以下模块：
脑电采集模块：同步采集受试者的脑电信号并存储；
预处理模块：加载采集好的原始脑电信号，运行滤波降噪及伪迹去除的程序，并对脑电信号分频段，分段提取有效诱发情绪时间段的脑电信号，得到纯净的情绪脑电数据集；
情绪识别模块：加载源域和目标域脑电数据集，对卷积神经网络进行训练，再使用训练完毕的模型对测试数据进行情绪识别。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的基于半监督领域自适应的跨个体情绪脑电识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的基于半监督领域自适应的跨个体情绪脑电识别方法。
CN202210212990.XA 2022-03-04 2022-03-04 基于半监督领域自适应的跨个体情绪脑电识别方法及系统 Pending CN114631831A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210212990.XA CN114631831A (zh) 2022-03-04 2022-03-04 基于半监督领域自适应的跨个体情绪脑电识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210212990.XA CN114631831A (zh) 2022-03-04 2022-03-04 基于半监督领域自适应的跨个体情绪脑电识别方法及系统

Publications (1)

Publication Number Publication Date
CN114631831A true CN114631831A (zh) 2022-06-17

Family

ID=81947719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210212990.XA Pending CN114631831A (zh) 2022-03-04 2022-03-04 基于半监督领域自适应的跨个体情绪脑电识别方法及系统

Country Status (1)

Country Link
CN (1) CN114631831A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115105079A (zh) * 2022-07-26 2022-09-27 杭州罗莱迪思科技股份有限公司 基于自注意力机制的脑电情绪识别方法及其应用
CN116671919A (zh) * 2023-08-02 2023-09-01 电子科技大学 一种基于可穿戴设备的情绪检测提醒方法
CN117017288A (zh) * 2023-06-14 2023-11-10 西南交通大学 跨被试情绪识别模型及其训练方法、情绪识别方法、设备
CN117171557A (zh) * 2023-08-03 2023-12-05 武汉纺织大学 基于脑电信号的自监督情绪识别模型的预训练方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115105079A (zh) * 2022-07-26 2022-09-27 杭州罗莱迪思科技股份有限公司 基于自注意力机制的脑电情绪识别方法及其应用
CN117017288A (zh) * 2023-06-14 2023-11-10 西南交通大学 跨被试情绪识别模型及其训练方法、情绪识别方法、设备
CN117017288B (zh) * 2023-06-14 2024-03-19 西南交通大学 跨被试情绪识别模型及其训练方法、情绪识别方法、设备
CN116671919A (zh) * 2023-08-02 2023-09-01 电子科技大学 一种基于可穿戴设备的情绪检测提醒方法
CN116671919B (zh) * 2023-08-02 2023-10-20 电子科技大学 一种基于可穿戴设备的情绪检测提醒方法
CN117171557A (zh) * 2023-08-03 2023-12-05 武汉纺织大学 基于脑电信号的自监督情绪识别模型的预训练方法及装置
CN117171557B (zh) * 2023-08-03 2024-03-22 武汉纺织大学 基于脑电信号的自监督情绪识别模型的预训练方法及装置

Similar Documents

Publication Publication Date Title
CN114631831A (zh) 基于半监督领域自适应的跨个体情绪脑电识别方法及系统
CN111329474B (zh) 基于深度学习的脑电身份识别方法、系统及信息更新方法
CN110353702A (zh) 一种基于浅层卷积神经网络的情感识别方法及系统
CN114052735A (zh) 一种基于深度领域自适应的脑电情绪识别方法及系统
CN111832431A (zh) 一种基于cnn的情绪脑电分类方法
CN112488002B (zh) 基于n170的情绪识别方法及识别系统
An et al. Electroencephalogram emotion recognition based on 3D feature fusion and convolutional autoencoder
CN114533086A (zh) 一种基于空域特征时频变换的运动想象脑电解码方法
CN114732409A (zh) 一种基于脑电信号的情绪识别方法
Zhong et al. Cross-subject emotion recognition from EEG using convolutional neural networks
Yue et al. Exploring BCI control in smart environments: intention recognition via EEG representation enhancement learning
Song et al. Common spatial generative adversarial networks based EEG data augmentation for cross-subject brain-computer interface
Jiang et al. Analytical comparison of two emotion classification models based on convolutional neural networks
Bahador et al. A correlation-driven mapping for deep learning application in detecting artifacts within the EEG
Ghonchi et al. Spatio-temporal deep learning for EEG-fNIRS brain computer interface
Al-dabag et al. EEG motor movement classification based on cross-correlation with effective channel
CN116421200A (zh) 一种基于并行训练的多任务混合模型的脑电情感分析方法
CN116919422A (zh) 基于图卷积的多特征情感脑电识别模型建立方法及装置
Puri et al. Wavelet packet sub-band based classification of alcoholic and controlled state EEG signals
Shashi Kumar et al. Neural network approach for classification of human emotions from EEG signal
CN115444431A (zh) 一种基于互信息驱动下的脑电情绪分类模型生成方法
Chenane et al. EEG Signal Classification for BCI based on Neural Network
Tallón-Ballesteros An effective deep neural network architecture for cross-subject epileptic seizure detection in EEG data
CN114305452A (zh) 一种基于脑电和领域适配的跨任务认知负荷识别方法
Sharma et al. Investigating the effect of eeg channel selection on inter-subject emotion classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination