CN117725490B - 跨被试被动式音高感知eeg自动分类方法及系统 - Google Patents
跨被试被动式音高感知eeg自动分类方法及系统 Download PDFInfo
- Publication number
- CN117725490B CN117725490B CN202410176326.3A CN202410176326A CN117725490B CN 117725490 B CN117725490 B CN 117725490B CN 202410176326 A CN202410176326 A CN 202410176326A CN 117725490 B CN117725490 B CN 117725490B
- Authority
- CN
- China
- Prior art keywords
- model
- eegnet
- test
- layer
- models
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 146
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000008447 perception Effects 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 27
- 210000004556 brain Anatomy 0.000 claims abstract description 16
- 230000005611 electricity Effects 0.000 claims abstract description 6
- 238000011176 pooling Methods 0.000 claims description 54
- 238000005457 optimization Methods 0.000 claims description 23
- 238000002790 cross-validation Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims 1
- 239000011295 pitch Substances 0.000 description 32
- 230000006870 function Effects 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 8
- 230000010354 integration Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000000638 stimulation Effects 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 206010036626 Presbyacusis Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013095 identification testing Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011306 natural pitch Substances 0.000 description 1
- 238000012803 optimization experiment Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 208000009800 presbycusis Diseases 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提出了基于跨被试被动式音高感知EEG自动分类方法及系统，包括：采集每名受试者对音高感知的脑电数据；将每名受试者采集的脑电数据划分为训练集和测试集，基于训练集和测试集确定EEGNet模型的最优超参数，其中，共采集N名被试数据，得到N个EEGNet模型，所述N个EEGNet模型将构成跨被试训练所用的模型库；当对一名新被试进行跨被试建模时，新被试的一部分数据作标定数据集，剩下的部分作测试集，标定数据集的作用是对模型库中所有单被试建好的模型分别进行分类预测，并对N个EEGNet模型在标定数据集下的准确率进行排序，选出分类表现较好的M个EEGNet模型组成优选模型集，基于优选模型集得到最终分类预测结果。
Description
技术领域
本发明属于数据处理技术领域，尤其涉及基于跨被试被动式音高感知EEG自动分类方法。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
声刺激诱发的脑电事件相关电位（Event-related Potentials，ERP）可作为听力评估的生物标记物，如失匹配负波（Mismatch Negativity，MMN）可用于评估音高感知的分辨能力。尽管纯音音高刺激可以用于听力脑电（Electroencephalogram，EEG）评估，但其不符合实际情况。
目前临床上多是通过主观测听问卷进行听力评估，然而，并不是所有人都能进行主观测听。例如，新生儿、语前聋植入人工耳蜗（Cochlear Implant，CI）的儿童。而基于声刺激的脑电信号客观评估，无需被试对声刺激做出反馈，只需被动感知声刺激，进而根据输入的声刺激对大脑输出的响应模式进行量化评估，这将更适合这部分人群的听力评估。
尽管已有一些基于EEG的客观音高感知的研究，但多为定性检测方法或者定量检测方法。这两种客观音高分类方法均依赖于对每个被试采集大量听觉EEG数据，然后手工提取对应空时特征，再用基于机器学习的分类器建模。建模方法大多基于单被试进行，导致所建模型在评估音高感知任务的通用性上较难提高。
发明内容
为克服上述现有技术的不足，本发明提供了基于跨被试被动式音高感知EEG自动分类方法，可有效对音高感知任务进行客观音高感知分类。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
第一方面，公开了基于跨被试被动式音高感知EEG自动分类方法，包括：
采集每名受试者对音高感知的脑电数据；
将所有采集得到的脑电数据采用两个滤波器依次进行滤波，其中一个为高通滤波器，用于去除脑电信号中的直流分量；另一个为陷波滤波器，用于去除工频干扰；
将每名受试者采集的脑电数据划分为训练集和测试集，基于训练集和测试集确定EEGNet模型的最优超参数，其中，共采集N名被试数据，得到N个EEGNet模型，所述N个EEGNet模型将构成跨被试训练所用的模型库；
当对一名新被试进行跨被试建模时，新被试的一部分数据作标定数据集，剩下的部分作测试集，标定数据集用于对模型库中所有单被试建好的模型分别进行分类预测，并对N个EEGNet模型在标定数据集下的准确率进行排序，选出分类表现较好的M个EEGNet模型组成优选模型集，基于优选模型集得到最终分类预测结果。
在本发明技术方案中，关于深度学习实现的基础是：具有多层神经网络结构；自动特征提取的端到端模型；通过上述方式可自动学习与任务相关的分类特征；相比机器学习算法，具有泛化能力强的优点。
作为进一步的技术方案，确定EEGNet模型的最优超参数时，EEGNet模型超参数优选的顺序依次为：
1）EEGNet模型的第一层卷积核个数及其尺寸；
2）EEGNet模型的第二层卷积核个数；
3）EEGNet模型的第一层平均池化尺度；
4）EEGNet模型的第二层平均池化尺度。
作为进一步的技术方案，对于单被试优化建模，按如下方式优选模型的第一层卷积核个数及其尺寸：
固定EEGNet模型的第二层卷积核个数，第一层平均池化尺度，第二层平均池化尺度，分别训练多个EEGNet模型；
对每个模型进行5折交叉验证以后，记录模型在测试集上的平均准确率，记录到平均准确率最大的模型所对应的第一层卷积核个数及其尺寸。
作为进一步的技术方案，对于单被试优化建模，按如下方式优选模型的第二层卷积核个数：
固定EEGNet模型的第一层卷积核个数及其尺寸，第一层平均池化尺度，第二层平均池化尺度，分别训练多个EEGNet模型，对每个模型进行5折交叉验证以后，记录每个模型在测试集上的平均准确率，记录到平均准确率最大的模型所对应的第二层卷积核个数。
作为进一步的技术方案，对于单被试优化建模，按如下方式优选模型的第一层平均池化尺度：
固定EEGNet模型的第一层卷积核个数及其尺寸，第二层卷积核个数，第二层平均池化尺度，分别训练多个EEGNet模型，对每个模型进行5折交叉验证以后，记录每个模型在测试集上的平均准确率，记录到平均准确率最大的模型所对应的第一层平均池化尺度。
作为进一步的技术方案，对于单被试优化建模，按如下方式优选模型的第二层卷积核个数：
固定EEGNet模型的第一层卷积核个数，第二层卷积核个数，第一层平均池化尺度，分别训练多个EEGNet模型，对每个模型进行5折交叉验证以后，记录每个模型在测试集上的平均准确率。记录到平均准确率最大的模型所对应的第二层卷积核个数。
作为进一步的技术方案，所述EEGNet模型用于进行音高感知解码和预测分类：
采集的每名受试者对音高感知的脑电数据，具体为的信号矩阵，其中C为通道数目，T为脑电信号采样点数；
输入的C×T信号通过每个通道含有N1个卷积核的分通道卷积层，该卷积核可视为时域滤波器，然后经过一个池化尺度为N3的平均池化层减小特征维度，随后，再通过具有N2个（C, 1）尺寸的卷积核的卷积层，该卷积核可视为空域滤波器，再通过一个池化尺度为N4的平均池化层进一步减小特征维度，然后通过每个通道含有1个卷积核的分通道卷积层，接着通过具有N5个卷积核的卷积层，最后输出的特征通过Softmax进行映射，得到每一类的后验概率，最终选择概率最大的那一类的标签作为最终模型输出。
第二方面，公开了基于深度学习的跨被试被动式音高感知EEG自动分类系统，包括：
脑电数据采集模块，被配置为：采集每名受试者对音高感知的脑电数据；
脑电数据滤波模块，被配置为：将所有采集得到的脑电数据采用两个滤波器依次进行滤波，其中一个为高通滤波器，用于去除脑电信号中的直流分量；另一个为陷波滤波器，用于去除工频干扰；
模型库构建模块，被配置为：将每名受试者采集的脑电数据划分为训练集和测试集，基于训练集和测试集确定EEGNet模型的最优超参数，其中，共采集N名被试数据，得到N个EEGNet模型，所述N个EEGNet模型将构成跨被试训练所用的模型库；
跨被试建模模块，被配置为：对一名新被试进行跨被试建模时，新被试的一部分数据作标定数据集，剩下的部分作测试集，标定数据集的作用是对模型库中所有单被试建好的模型分别进行分类预测，并对N个EEGNet模型在标定数据集下的准确率进行排序，选出分类表现较好的M个EEGNet模型组成优选模型集，基于优选模型集得到最终分类预测结果。
以上一个或多个技术方案存在以下有益效果：
本发明技术方案为一种在自然音高声刺激下、基于客观EEG数据的通用音高感知自动分类方法。是基于被动感知的Go/No-Go范式采集11名正常听力被试在G3和B6小提琴音刺激下的EEG信号，构成研究所用数据集。在此基础上，采用EEGNet模型进行音高感知任务下的分类实验，并对模型超参数行优选，从而得到单被试的EEGNet模型库。
本发明技术方案基于11名单被试的模型库通过分类器集成方法构建了一种跨被试通用的音高感知分类模型。另外，为确定解码音高感知的有效数据段，还选择多个EEG数据段进行分类对比实验。EEGNet模型可有效对音高感知任务进行客观音高感知分类。所提出的基于模型迁移及分类器集成的新型跨被试音高感知评估方法能显著增强模型的泛化性能。本发明技术方案结果可为客观音高感知评估系统设计提供指导。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例基于EEGNet模型的跨被试建模过程示意图；
图2为本发明中涉及的EEGNet模型结构示意图；
图3为本发明实施例跨被试建模条件下的分类性能示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
整体构思：
首先采用被动感知的Go/No-Go范式记录了G3和B6小提琴音高声刺激下的EEG信号，构成所用的数据集。
该范式下刺激出现概率相等，被试被动感知声音，无需进行按键选择。相比Oddball范式，在相同声刺激和间隔条件下具有实验时长短（高效）的优点。
为阐明EEG时间段对音高分类的影响，分析了多种时间窗下的EEG数据的EEGNet模型的音高分类性能。
同时，为探讨深度学习模型下客观音高预测的有效性，基于EEGNet模型进行了单被试音高感知分类实验，并对模型超参数进行优选，进而构建了单被试的EEGNet模型库。
进一步的，为构建通用的、高精度、跨被试的音高感知分类模型，在EEGNet模型库基础上，引入一种分类器集成方法提出了跨被试的音高感知分类模型。
另外，为确定解码音高感知的有效数据段，研究还选择多个EEG数据段进行分类对比实验。
术语解释
单被试优化建模：
定义：针对每个受试者分别建立一个独立的模型。这种建模方式的核心是个体化处理，即为每个受试者定制一个最适合其数据特征的模型。
过程：在单被试优化建模中，首先为每位受试者独立建立模型。接着，通过遍历多种模型超参数，例如不同EEG窗长度、不同的卷积核数量等，寻找并确定能够在特定受试者的测试数据集上获得最佳平均准确率的模型配置。
目的：该方法的目标是为每个受试者找到一个最优模型。这里的“最优”是指模型在该受试者的测试数据集上展现出的最高平均准确率。
跨被试优化建模：
定义：与单被试优化建模不同，跨被试优化建模是使用多个受试者的数据来建立一个通用模型。这种方法旨在发现一个能够适用于多个受试者的统一模型。
过程：首先收集多个受试者的数据，并将这些数据用作建立一个共同模型的基础。随后，通过调整和遍历不同的模型超参数，找到一个能够在所有受试者的测试数据集上表现最佳的模型配置。
目的：该方法的最终目的是创建一个普遍适用的最优模型。这里的“最优”依然是指模型在所有受试者的测试数据集上的平均准确率最高。
分通道卷积：
通道卷积指的是一种卷积操作，其中输入的每个通道分别与其自己的一组过滤器进行卷积。这种方法用于对不同的通道应用不同的过滤器，允许更加定制化和高效地处理输入数据。
反向传播算法：
反向传播算法是一种高效的梯度计算方法，用于优化神经网络的权重。通过计算损失函数相对于网络参数的梯度，反向传播算法能够有效地调整网络中的权重，以最小化损失函数。在EEGNet模型中，反向传播算法使模型能够通过迭代训练逐渐提高对EEG数据的分类准确性，从而实现对脑电信号的有效解析和应用。
实施例一
本实施例公开了基于跨被试被动式音高感知EEG自动分类方法，包括：
图1为基于EEGNet的跨被试建模的过程。首先，跨被试建模需基于单被试建模方法构建一个模型库。假设已有N名被试EEG数据，则会有N个EEGNet单模型，每个EEGNet单模型的结构如图2所示。当对一名新被试进行跨被试建模时，新被试的一部分数据（假设m%）作标定数据集，剩下的部分作测试集（1-m%）。标定数据集的作用是对模型库中所有单被试建好的模型分别进行分类预测，并对N个模型在标定数据集下的准确率进行排序。接着选出分类表现较好的M=3个EEGNet模型组成集成优选模型。最后，基于集成优选模型在测试集下通过投票策略得到最终分类预测结果，该预测结果为模型识别测试集样本的准确率。该方案的具体步骤如下：
步骤一：用数据采集器（脑电信号放大器）采集训练数据，对每名受试者采用被动感知的Go/No-Go范式进行采集，得到Z试次的脑电数据。在本实施例子中Z为200，具体来说，被动感知的Go/No-Go范式对每名受试者进行200个试次的实验，每个试次的实验长度为5秒，其中前2秒（0-2秒）为准备时间，屏幕出现一个十字（受试者被要求盯着十字看以集中注意力）；接下来的2秒（2-4秒）为实验时间，受试者会听到随机出现的两种不同频率的乐音（如小提琴音G3调或B6调）；最后一秒钟（4-5秒）屏幕为黑色，是受试者休息时间。在整个实验过程中，每做完40个试次会让受试者休息1-2分钟。在该范式下，受试者仅需被动听音，不用进行主观反馈。因此相较于传统的有主观反馈的Go/No-Go范式，被动感知的Go/No-Go范式所需时间更短，更能捕获到受试者对音高感知的客观脑电特征。
步骤二：对于每名受试者，若脑电采集器的采样频率为500Hz，则在被动感知的Go/No-Go范式下可以得到200个的信号矩阵，其中C=59为通道数目，T=1000为脑电信号采样点数。
步骤三：将所有采集得到的脑电数据即信号矩阵采用两个巴特沃兹滤波器依次进行滤波，其中一个为Nf=5阶的高通滤波器，截止频率为0.1Hz，这可以有效地去除脑电信号中的直流分量；另一个为陷波滤波器，陷波频率为50Hz以去除工频干扰，通过去除与EEG无关的噪声信号，防止模型学习到与噪声相关的特征，干扰分类结果。
步骤四：基于典型EEGNet的单被试优化建模。滤波后的每一名被试的200个试次的数据基于五折交叉验证随机划分为训练集和测试集，而在训练集中随机选择10%的训练集数据作验证集。之后，优选EEGNet模型的超参数。为确定最优超参数，从而提高音高感知的分类表现，研究采用固定变量法、基于分类预测准确率依次确定每名被试在EEGNet模型下的最优超参数。模型超参数优选的顺序依次为：
1）EEGNet模型的第一层卷积核个数N1；
2）EEGNet模型的第二层卷积核个数N2；
3）EEGNet模型的第一层平均池化尺度N3；
4）EEGNet模型的第二层平均池化尺度 N4；
其中EEGNet模型的第一层卷积核个数从8、16、32、48、56个中优选，EEGNet模型的第二层卷积核个数从1、2、4、6、8个中优选，EEGNet模型的第一层平均池化尺度从2、4、6、8、10中优选，EEGNet模型的第二层平均池化尺度从4、6、8、10、12中优选。
此外，第一层卷积的每个卷积核尺度（阶数）为L1=64，第二层卷积的每个卷积核尺度（阶数）与通道数C相等。第三层卷积的卷积核个数为N5=N1×N2，卷积核尺寸为（1,8），第三层平均池化层的尺寸为（1,8）。
对于单被试优化建模，按如下方式优选模型：
步骤4-1）：固定EEGNet模型的第二层卷积核个数为1，第一层平均池化尺度为2，第二层平均池化尺度为6，分别训练5个EEGNet模型，这5个EEGNet模型的第一层卷积核个数分别为8、16、32、48、56。对每个模型进行5折交叉验证以后，记录每个模型在测试集上的平均准确率。记录得到平均准确率最大的模型所对应的第一层卷积核个数为N1=16。
步骤4-2）：固定EEGNet模型的第一层卷积核个数为N1=16，第一层平均池化尺度为2，第二层平均池化尺度为6，分别训练5个EEGNet模型，这5个EEGNet模型的第二层卷积核个数分别为1、2、4、6、8。对每个模型进行5折交叉验证以后，记录每个模型在测试集上的平均准确率。记录到平均准确率最大的模型所对应的第二层卷积核个数为N2=6。
步骤4-3）：固定EEGNet模型的第一层卷积核个数为N1=16，第二层卷积核个数为N2=6，第二层平均池化尺度为6，分别训练5个EEGNet模型，这5个EEGNet模型的第一层平均池化尺度分别为2、4、6、8、10。对每个模型进行5折交叉验证以后，记录每个模型在测试集上的平均准确率。记录到平均准确率最大的模型所对应的第一层平均池化尺度为N3=10。
步骤4-4）：固定EEGNet模型的第一层卷积核个数为N1=16，第二层卷积核个数为N2=6，第一层平均池化尺度为N3=10，分别训练5个EEGNet模型，这5个EEGNet模型的第二层平均池化尺度分别为4、6、8、10、12。对每个模型进行5折交叉验证以后，记录每个模型在测试集上的平均准确率。记录到平均准确率最大的模型所对应的第二层平均池化尺度为N4=4。
步骤4-5）：经过以上步骤，就得到了该被试所对应的最优模型结构参数。
步骤五：共采集N=11名被试数据，因此研究将得到N个EEGNet模型。这N个模型将构成跨被试训练所用的模型库，用于跨被试模型建模。
步骤六：跨被试建模，如图1所示。单被试优化建模后，所有被试的模型构建成为一个模型库。假设已有N名被试的EEG数据，单被试建模方法，则能建模产生N个单被试模型。当对一名新被试进行跨被试建模时，新被试的一部分数据（假设m%）作标定数据集，剩下的部分作测试集（1-m%）。本发明中标定数据集占比包括20%、40%、60%、80%（即m=20, 40, 60,80），测试集占比包括80%、60%、40%、20%。标定数据集的作用是对模型库中所有单被试建好的模型分别进行分类预测，并对N个模型在标定数据集下的准确率进行排序。接着选出分类表现较好的M个EEGNet模型组成优选模型集。最后，基于优选模型集在测试集下通过投票策略得到最终分类预测结果。
关于投票策略需要说明的是：M个模型对输入样本进行预测，会出现M个预测结果。对M个结果进行统计排序，预测个数最多的结果作为最终结果输出，即为投票策略。
具体来说，对一名新的受试者进行跨被试建模，首先用被动感知的Go/No-Go范式进行采集，得到200个试次的脑电数据，然后取m=20，即20%的数据（对应40个试次的脑电数据）作为标定数据集，剩下的80%的数据（160个试次）的数据作为测试集。将模型库中的N=11个单被试模型在标定数据集上进行测试，能得到N=11个准确率，选出分类表现最好的M=3个模型组成优选模型集。最后将优选模型集中的所有模型在测试集上进行测试，得到优选模型集在测试集上的平均准确率作为最终的评估结果。平均准确率越高说明被试的脑电信号中包含有更多的与音高感知相关的特征，从而音高感知能力越强。
需要说明的是，本发明实施例子采用EEGNet模型进行自动特征提取和分类。EEGNet模型是一种轻量级深度网络，其被证明可以在多种脑机接口任务中学习各种各样的特征，具有一定的鲁棒性。
因此本发明选择EEGNet模型进行音高感知解码和预测分类，具体包括：
首先，输入的C×T信号通过每个通道含有N1个（1, L1）尺寸的卷积核的分通道卷积层，该卷积核可视为时域滤波器。
然后经过一个池化尺度为N3的平均池化层减小特征维度。
随后，再通过具有N2个（C, 1）尺寸的卷积核的卷积层，该卷积核可视为空域滤波器。
再通过一个池化尺度为N4的平均池化层进一步减小特征维度。
然后通过尺寸为（1,16），卷积核个数为N5=N1×N2的卷积层，接着通过尺寸为（1,8）的平均池化层进一步减少特征维度。 N5是模型参数，具体为空域滤波后所产生的特征矩阵。
最后输出的特征通过Softmax进行映射，得到每一类的后验概率，最终选择概率最大的那一类的标签作为最终模型输出。
卷积层是卷积网络的核心，其通过学习一组或多组卷积核可实现对输入数据的特征提取。给定样本,以及一个长宽分别为k1和k2的卷积核/>，T为EEG信号采样点数，则卷积层输出的特征S可表示为：
（1）
其中b为卷积核的偏置。
在本发明实施例子中，EEGNet模型的训练采用了反向传播算法，以交叉熵损失函数作为优化的目标。交叉熵损失函数是一种常用于分类问题的损失函数，特别适合于多类别的分类任务。本发明模型训练中损失函数为最小为分类交叉熵损失函数，其公式为：
（2）
其中，N表示样本（试次）个数，表示对应样本的标签值，/>表示对样本标签的预测值。交叉熵损失函数衡量的是模型对脑电图(EEG)数据的分类预测准确度。损失函数的值越低，意味着模型的预测越接近实际的数据标签，即模型的性能越好。
本实施例基于11名被试的在不同跨被试情况下的分类表现。图3中顶部虚线表示模型在单被试情况下的分类平均准确率为77.3%，中部虚线表示集成分类方法中选后三个分类器情况下的分类平均准确率为51.8%，下部虚线表示集成分类方法中随机选三个分类器情况下的分类平均准确率为60%。对于跨被试情况，分类器集成优选方法在10选3、80%数据为标定数据集情况下分类准确率达71.2%。整体上分类器集成模型的分类准确率随着可选被试个数增加而增加。这说明基于EEGNet的分类器集成模型在被试个数较多的情况下能学习到音高感知任务的一般特征，从而有效分类新两种音高刺激。同时，分类器集成优选方法的分类准确率随标定数据集的增大而增大，这可能是因为标定数据越大使得集成的分类器学到了新被试的更多的音高特征，从而提高跨被试模型的有效性。
同时，分类器集成优选方法分类准确率显著高于选后三个或随机选择三个分类器情况下的分类准确率，这说明优选出前三个分类器所学特征与新被试在音高感知任务的特征之间有较好的一致性，进而提高了预测的准确度。但是分类器集成优选方法的最高分类准确率比单被试情况下准确率低6.1%。这可能因为每个被试在音高感知任务下脑网络存在一定差异，这使得分类器集成优选方法很难学到每个被试的个性特征。尽管所提跨被试建模方法准确率低于单被试建模方法，但跨被试建模方法可降低新被试的EEG测听时间，具有实际应用价值。
本实施例子所采用被动感知的Go/No-Go范式记录了G3和B6小提琴音高声刺激下的EEG信号，并采用EEGNet模型进行了单被试建模分类实验、跨被试建模分类实验及EEG数据段优选实验。研究表明所提出的跨被试建模方法可有效减少新被试的EEG数据采集时间，具有应用价值，有潜力用于客观音高感知分类。
实施例二
本实施例的目的是提供一种计算机装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
实施例三
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述方法的步骤。
实施例四
本实施例的目的是提供了基于深度学习的跨被试被动式音高感知EEG自动分类系统，包括：
脑电数据采集模块，被配置为：采集每名受试者对音高感知的脑电数据；
脑电数据滤波模块，被配置为：将所有采集得到的脑电数据采用两个滤波器依次进行滤波，其中一个为高通滤波器，用于去除脑电信号中的直流分量；另一个为陷波滤波器，用于去除工频干扰；
模型库构建模块，被配置为：将每名受试者采集的脑电数据划分为训练集和测试集，基于训练集和测试集确定EEGNet模型的最优超参数，其中，共采集N名被试数据，得到N个EEGNet模型，所述N个EEGNet模型将构成跨被试训练所用的模型库；
跨被试建模模块，被配置为：对一名新被试进行跨被试建模时，新被试的一部分数据作标定数据集，剩下的部分作测试集，标定数据集的作用是对模型库中所有单被试建好的模型分别进行分类预测，并对N个EEGNet模型在标定数据集下的准确率进行排序，选出分类表现较好的M个EEGNet模型组成优选模型集，基于优选模型集得到最终分类预测结果。
以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (9)
1.基于跨被试被动式音高感知EEG自动分类方法，其特征是，包括：
采集每名受试者对音高感知的脑电数据；
将所有采集得到的脑电数据采用两个滤波器依次进行滤波，其中一个为高通滤波器，用于去除脑电信号中的直流分量；另一个为陷波滤波器，用于去除工频干扰；
将每名受试者采集的脑电数据划分为训练集和测试集，基于训练集和测试集确定EEGNet模型的最优超参数，其中，共采集N名被试数据，得到N个EEGNet模型，所述N个EEGNet模型将构成跨被试训练所用的模型库；
所述EEGNet模型用于进行音高感知解码和预测分类：
采集的每名受试者对音高感知的脑电数据，具体为的信号矩阵，其中C为通道数目，T为脑电信号采样点数；
输入的C×T信号通过每个通道含有N1个尺度为L1的卷积核的分通道卷积层，该卷积核可视为时域滤波器，然后经过一个池化尺度为N3的平均池化层减小特征维度，随后，再通过具有N2个（C, 1）尺寸的卷积核的卷积层，该卷积核可视为空域滤波器，再通过一个池化尺度为N4的平均池化层进一步减小特征维度，然后通过每个通道含有1个卷积核的分通道卷积层，接着通过具有N5个卷积核的卷积层，最后输出的特征通过Softmax进行映射，得到每一类的后验概率，最终选择概率最大的那一类的标签作为最终模型输出；
当对一名新被试进行跨被试建模时，新被试的一部分数据作标定数据集，剩下的部分作测试集，标定数据集的作用是对模型库中所有单被试建好的模型分别进行分类预测，并对N个EEGNet模型在标定数据集下的准确率进行排序，选出分类表现较好的M个EEGNet模型组成优选模型集，基于优选模型集得到最终分类预测结果。
2.如权利要求1所述的基于跨被试被动式音高感知EEG自动分类方法，其特征是，确定EEGNet模型的最优超参数时，EEGNet模型超参数优选的顺序依次为：
1）EEGNet模型的第一层卷积核个数及其尺度；
2）EEGNet模型的第二层卷积核个数；
3）EEGNet模型的第一层平均池化尺度；
4）EEGNet模型的第二层平均池化尺度。
3.如权利要求2所述的基于跨被试被动式音高感知EEG自动分类方法，其特征是，对于单被试优化建模，按如下方式优选模型的第一层卷积核个数及其尺度：
固定EEGNet模型的第二层卷积核个数、第一层平均池化尺度、第二层平均池化尺度，分别训练多个EEGNet模型；
对每个模型进行5折交叉验证以后，记录模型在测试集上的平均准确率，记录到平均准确率最大的模型所对应的第一层卷积核个数及其尺度。
4.如权利要求2所述的基于跨被试被动式音高感知EEG自动分类方法，其特征是，对于单被试优化建模，按如下方式优选模型的第二层卷积核个数：
固定EEGNet模型的第一层卷积核个数及其尺度、第一层平均池化尺度、第二层平均池化尺度，分别训练多个EEGNet模型，对每个模型进行5折交叉验证以后，记录每个模型在测试集上的平均准确率，记录到平均准确率最大的模型所对应的第二层卷积核个数。
5.如权利要求2所述的基于跨被试被动式音高感知EEG自动分类方法，其特征是，对于单被试优化建模，按如下方式优选模型的第一层平均池化尺度：
固定EEGNet模型的第一层卷积核个数及其尺度、第二层卷积核个数、第二层平均池化尺度，分别训练多个EEGNet模型，对每个模型进行5折交叉验证以后，记录每个模型在测试集上的平均准确率，记录到平均准确率最大的模型所对应的第一层平均池化尺度。
6.如权利要求2所述的基于跨被试被动式音高感知EEG自动分类方法，其特征是，对于单被试优化建模，按如下方式优选模型的第二层平均池化尺度：
固定EEGNet模型的第一层卷积核个数及其尺度、第二层卷积核个数、第一层平均池化尺度，分别训练多个EEGNet模型，对每个模型进行5折交叉验证以后，记录每个模型在测试集上的平均准确率，记录到平均准确率最大的模型所对应的第二层平均池化尺度。
7.基于深度学习的跨被试被动式音高感知EEG自动分类系统，其特征是，包括：
脑电数据采集模块，被配置为：采集每名受试者对音高感知的脑电数据；
脑电数据滤波模块，被配置为：将所有采集得到的脑电数据采用两个滤波器依次进行滤波，其中一个为高通滤波器，用于去除脑电信号中的直流分量；另一个为陷波滤波器，用于去除工频干扰；
模型库构建模块，被配置为：将每名受试者采集的脑电数据划分为训练集和测试集，基于训练集和测试集确定EEGNet模型的最优超参数，其中，共采集N名被试数据，得到N个EEGNet模型，所述N个EEGNet模型将构成跨被试训练所用的模型库；
所述EEGNet模型用于进行音高感知解码和预测分类：
采集的每名受试者对音高感知的脑电数据，具体为的信号矩阵，其中C为通道数目，T为脑电信号采样点数；
输入的C×T信号通过每个通道含有N1个尺度为L1的卷积核的分通道卷积层，该卷积核可视为时域滤波器，然后经过一个池化尺度为N3的平均池化层减小特征维度，随后，再通过具有N2个（C, 1）尺寸的卷积核的卷积层，该卷积核可视为空域滤波器，再通过一个池化尺度为N4的平均池化层进一步减小特征维度，然后通过每个通道含有1个卷积核的分通道卷积层，接着通过具有N5个卷积核的卷积层，最后输出的特征通过Softmax进行映射，得到每一类的后验概率，最终选择概率最大的那一类的标签作为最终模型输出；
跨被试建模模块，被配置为：对一名新被试进行跨被试建模时，新被试的一部分数据作标定数据集，剩下的部分作测试集，标定数据集的作用是对模型库中所有单被试建好的模型分别进行分类预测，并对N个EEGNet模型在标定数据集下的准确率进行排序，选出分类表现较好的M个EEGNet模型组成优选模型集，基于优选模型集得到最终分类预测结果。
8.一种计算机装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-6任一所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时执行上述权利要求1-6任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410176326.3A CN117725490B (zh) | 2024-02-08 | 2024-02-08 | 跨被试被动式音高感知eeg自动分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410176326.3A CN117725490B (zh) | 2024-02-08 | 2024-02-08 | 跨被试被动式音高感知eeg自动分类方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117725490A CN117725490A (zh) | 2024-03-19 |
| CN117725490B true CN117725490B (zh) | 2024-04-26 |
Family
ID=90200174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410176326.3A Active CN117725490B (zh) | 2024-02-08 | 2024-02-08 | 跨被试被动式音高感知eeg自动分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117725490B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112022153A (zh) * | 2020-09-27 | 2020-12-04 | 西安电子科技大学 | 基于卷积神经网络的脑电信号检测方法 |
| CA3145254A1 (en) * | 2019-07-29 | 2021-02-04 | Edward F. CHANG | Method of contextual speech decoding from the brain |
| CN113627391A (zh) * | 2021-08-31 | 2021-11-09 | 杭州电子科技大学 | 一种考虑个体差异的跨模式脑电信号识别方法 |
| CN113855038A (zh) * | 2021-10-15 | 2021-12-31 | 南方医科大学 | 基于多模型集成的心电信号危急值的预测方法及装置 |
| CN115067878A (zh) * | 2022-05-30 | 2022-09-20 | 杭州电子科技大学 | 基于EEGNet的静息态脑电意识障碍分类方法及系统 |
| CN115251909A (zh) * | 2022-07-15 | 2022-11-01 | 山东大学 | 基于时空卷积神经网络的脑电信号评估听力的方法及装置 |
| CN116244633A (zh) * | 2023-03-14 | 2023-06-09 | 东北电力大学 | 一种运动想象脑电信号分类方法及系统 |
| CN116340825A (zh) * | 2023-03-28 | 2023-06-27 | 北京工业大学 | 一种基于迁移学习的跨被试rsvp脑电信号的分类方法 |
| CN117009780A (zh) * | 2023-07-03 | 2023-11-07 | 北京航空航天大学 | 一种基于对比学习的时空频域有效通道注意力运动想象脑电解码方法 |
| CN117150346A (zh) * | 2023-09-12 | 2023-12-01 | 广州大学 | 基于eeg的运动想象脑电分类方法、装置、设备及介质 |
| CN117520891A (zh) * | 2023-11-08 | 2024-02-06 | 山东大学 | 一种运动想象脑电信号分类方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9269055B2 (en) * | 2013-04-23 | 2016-02-23 | Alcatel Lucent | Data classifier using proximity graphs, edge weights, and propagation labels |
| CN111460892A (zh) * | 2020-03-02 | 2020-07-28 | 五邑大学 | 一种脑电图模式分类模型的训练方法、分类方法及系统 |
-
2024
- 2024-02-08 CN CN202410176326.3A patent/CN117725490B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3145254A1 (en) * | 2019-07-29 | 2021-02-04 | Edward F. CHANG | Method of contextual speech decoding from the brain |
| CN112022153A (zh) * | 2020-09-27 | 2020-12-04 | 西安电子科技大学 | 基于卷积神经网络的脑电信号检测方法 |
| CN113627391A (zh) * | 2021-08-31 | 2021-11-09 | 杭州电子科技大学 | 一种考虑个体差异的跨模式脑电信号识别方法 |
| CN113855038A (zh) * | 2021-10-15 | 2021-12-31 | 南方医科大学 | 基于多模型集成的心电信号危急值的预测方法及装置 |
| CN115067878A (zh) * | 2022-05-30 | 2022-09-20 | 杭州电子科技大学 | 基于EEGNet的静息态脑电意识障碍分类方法及系统 |
| CN115251909A (zh) * | 2022-07-15 | 2022-11-01 | 山东大学 | 基于时空卷积神经网络的脑电信号评估听力的方法及装置 |
| CN116244633A (zh) * | 2023-03-14 | 2023-06-09 | 东北电力大学 | 一种运动想象脑电信号分类方法及系统 |
| CN116340825A (zh) * | 2023-03-28 | 2023-06-27 | 北京工业大学 | 一种基于迁移学习的跨被试rsvp脑电信号的分类方法 |
| CN117009780A (zh) * | 2023-07-03 | 2023-11-07 | 北京航空航天大学 | 一种基于对比学习的时空频域有效通道注意力运动想象脑电解码方法 |
| CN117150346A (zh) * | 2023-09-12 | 2023-12-01 | 广州大学 | 基于eeg的运动想象脑电分类方法、装置、设备及介质 |
| CN117520891A (zh) * | 2023-11-08 | 2024-02-06 | 山东大学 | 一种运动想象脑电信号分类方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| Cross-subject emotion EEG signal recognition based on source microstate analysis;Zhang Lei;Frontiers in Neuroscience;20231128;全文 * |
| EEG-based familiar and unfamiliar face classification using filter bank differential entropy features;Guoyang Liu;IEEE Transcactions on Human Machine systems;20231204;全文 * |
| 单次样本对的CSP滤波器设计及其在脑电训练样本优化中的应用;刘锦;吴小培;周蚌艳;吕钊;张磊;;信号处理;20170725(07);全文 * |
| 基于Stacking模型融合策略的脑力负荷等级评定方法;曹子轩;尹钟;张建华;;软件导刊;20200115(01);全文 * |
| 基于迁移学习的跨被试脑电疲劳驾驶检测;邱轶辉;南昌大学学报(理科版);20230825;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117725490A (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109389059B (zh) | 一种基于cnn-lstm网络的p300检测方法 | |
| CN108960182B (zh) | 一种基于深度学习的p300事件相关电位分类识别方法 | |
| CN110693493A (zh) | 一种基于卷积与循环神经网络结合时间多尺度的癫痫脑电预测方法 | |
| CN108304917A (zh) | 一种基于lstm网络的p300信号检测方法 | |
| CN112244873A (zh) | 一种基于混合神经网络的脑电时空特征学习与情感分类方法 | |
| Palaniappan et al. | VEP optimal channel selection using genetic algorithm for neural network classification of alcoholics | |
| CN117503057B (zh) | 基于高阶张量分解构建脑网络的癫痫发作检测装置及介质 | |
| CN115804602A (zh) | 基于注意力机制的多通道特征融合的脑电情绪信号检测方法、设备和介质 | |
| CN113066502A (zh) | 基于vmd和多小波的心音分割定位方法 | |
| Li et al. | Patient-specific seizure prediction from electroencephalogram signal via multichannel feedback capsule network | |
| CN112380959A (zh) | 一种基于图神经网络的单变量时间序列分类方法 | |
| CN112932501A (zh) | 一种基于一维卷积神经网络自动识别失眠方法 | |
| CN114595725B (zh) | 一种基于加法网络和监督对比学习的脑电信号分类方法 | |
| CN115414051A (zh) | 一种脑电信号自适应窗口的情绪分类识别方法 | |
| CN116668198A (zh) | 基于深度学习的流量回放测试方法、装置、设备及介质 | |
| CN117725490B (zh) | 跨被试被动式音高感知eeg自动分类方法及系统 | |
| Srinivasan et al. | A novel approach to schizophrenia Detection: Optimized preprocessing and deep learning analysis of multichannel EEG data | |
| CN115251909B (zh) | 基于时空卷积神经网络的脑电信号评估听力的方法及装置 | |
| CN115017960A (zh) | 一种基于时空联合mlp网络的脑电信号分类方法及应用 | |
| Palaniappan et al. | Using genetic algorithm to identify the discriminatory subset of multi-channel spectral bands for visual response | |
| CN113197545B (zh) | 基于图注意力残差网络与焦点损失的癫痫检测系统 | |
| CN114519367A (zh) | 基于样本学习的运动想象脑电频率特性分析方法及其系统 | |
| Özyurt et al. | Multi-transfer learning techniques for detecting auditory brainstem response | |
| CN113288050A (zh) | 基于图卷积网络的多维增强癫痫发作预测系统 | |
| CN111783857A (zh) | 基于非线性网络信息图的运动想象脑机接口 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |