CN115919315B - 一种基于eeg通道多尺度并行卷积的跨主体疲劳检测深度学习方法 - Google Patents
一种基于eeg通道多尺度并行卷积的跨主体疲劳检测深度学习方法 Download PDFInfo
- Publication number
- CN115919315B CN115919315B CN202211484556.3A CN202211484556A CN115919315B CN 115919315 B CN115919315 B CN 115919315B CN 202211484556 A CN202211484556 A CN 202211484556A CN 115919315 B CN115919315 B CN 115919315B
- Authority
- CN
- China
- Prior art keywords
- convolution
- channel
- module
- depth
- eeg
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000001514 detection method Methods 0.000 title claims abstract description 40
- 238000013135 deep learning Methods 0.000 title claims abstract description 30
- 238000000605 extraction Methods 0.000 claims abstract description 44
- 230000011218 segmentation Effects 0.000 claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 238000005070 sampling Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 17
- 206010041349 Somnolence Diseases 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 230000006996 mental state Effects 0.000 claims description 6
- 238000004070 electrodeposition Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000002474 experimental method Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013401 experimental design Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000032140 Sleepiness Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000006998 cognitive state Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Image Analysis (AREA)
- Complex Calculations (AREA)
Abstract
本发明公开了一种基于EEG通道多尺度并行卷积的跨主体疲劳检测深度学习方法，包括：通过多个电极采样得到待处理的EEG信号；构建深度可分离卷积模块，包括逐点卷积和逐深度卷积；将EEG信号送入深度可分离卷积模块进行特征提取，获取EEG空间与通道维度的特征信息；构建通道切分的多尺度并行卷积模块，包括通道切分模块和多尺度并行分组卷积模块；通过通道切分模块对特征信息按通道维度进行切片分组；通过多尺度并行分组卷积模块子特征分别用不同尺寸卷积核进行多频率提取并对进行多频率融合；构建分类模块，包括全连接层和softmax层，将经过提取融合后的特征信息送入分类模块，得到疲劳状态的分类检测结果。本发明在跨主体疲劳检测任务中具有优秀的性能表现。
Description
技术领域
本发明涉及人工智能在交通领域的应用，尤其涉及一种基于EEG(脑电信号)通道多尺度并行卷积的跨主体疲劳检测深度学习方法。
背景技术
驾驶员由疲劳嗜睡引发的交通事故，一直是现代交通运输业迫切需要解决的问题。驾驶员监控系统(DMS)是减少交通事故主要方法，DMS是通过采集与分析驾驶员的行为和状态，预测异常情况和降低潜在危险，从而避免交通事故。DMS的研究可以分为2类：(1)基于车辆运行状态检测，(2)基于驾驶员状态检测。前者针对汽车的状态，后者研究驾驶员的状态。
目前研究人员任务基于驾驶员的状态检测准确率更高，其中最主流有效的方法，是使用EEG生理信号进行疲劳检测。
基于EEG的疲劳检测，从手工特征提取阶段进入使用深度学习方法的阶段，使用深度学习方法可以直接输入EEG原始信号，利用方法完成特征提取和分类，极大的提高了效率与准确率。
但是目前主流方法都是依赖主体校准，这代表每个受试者在进行检测前，都需要进行耗时的校准，若对每位受试者都进行校准，时间成本令人难以接受，阻碍了基于EEG认知状态的研究。需要校准的原因，是EEG不可避免受个体固有差异的影响，影响检测效率。具体而言，每个受试者的头部形状、大小以及大脑活动模式均不同。所以跨主体的疲劳检测受到了广泛的关注，因为跨主体疲劳检测仅使用现有受试者EEG数据进行训练，便可检测其他新受试者的疲劳状态。
然而当前主流的跨主体的疲劳检测方法，在处理EEG的样本数据的过程中，通常将多个通道特征视为一个整体，忽视了通道子特征间的特殊性和关联信息，虽然有些方法设置了通道方向的过滤器，例如通道卷积或分组卷积，但是提取的特征后续依然经过相同处理，本质上没有将子特征区别对待。另外，EEG信号的很多关键特征已经被发现对疲劳检测具有帮助，然而，目前的主流方式在先经过繁琐的信号处理得到关键特征，然后将这些特征作为方法的输入。这样需要依赖专家的知识和经过复杂的处理流程，而且研究人员已经发现将EEG信号值直接送入深度学习方法，效果会更好，因为在深度学习方法内部进行关键特征的提取，是可以获得更多维度的关联信息。可是这样又没有利用到专家在EEG特征研究的先验知识。
针对以上问题，需要进行以下改进：
1.)EEG信号中不可避免会混杂其他干扰信号，比如眨眼时的伪影干扰。此外，EEG信号具有高分辨率的空间通道维度信息。所以需要完成空间和通道特征的有效提取。
2.)不同的受试者因体质各异，必然导致获取的EEG信号有所差异。需要处理从特征中以更细腻的视角捕获子特征的关联信息，寻找更具有普遍性的疲劳鉴别特征，减少个体的差异性，提高方法的泛化能力。
3.)EEG具有不同的频段，能反映驾驶员不同的精神状态，而直接输入频段特征会减弱深度学习方法的高维优势，需要在方法内部利用EEG的频段特点，提高特征的普遍性。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于EEG通道多尺度并行卷积的跨主体疲劳检测深度学习方法。
本发明解决其技术问题所采用的技术方案是：
本发明提供一种基于EEG通道多尺度并行卷积的跨主体疲劳检测深度学习方法，该方法包括以下步骤：
步骤1、通过多个电极采样得到待处理的EEG信号；
步骤2、构建深度可分离卷积模块，深度可分离卷积模块由2层卷积层构成，包括逐点卷积和逐深度卷积；将采样得到的EEG信号送入深度可分离卷积模块进行特征提取，获取EEG空间与通道维度的特征信息；
步骤3、构建通道切分的多尺度并行卷积模块，包括通道切分模块和多尺度并行分组卷积模块；通过通道切分模块对深度可分离模块输出的特征信息按通道维度进行切片分组；通过多尺度并行分组卷积模块将分组后的子特征分别用不同尺寸卷积核进行多频率提取，以提取子特征被忽略的信息，并且对疲劳驾驶关键的δ频段进行多频率的提取融合；
步骤4、构建分类模块，包括一个全连接层和softmax层，将经过通道切分的多尺度并行卷积模块提取融合后的特征信息送入分类模块，得到疲劳状态的分类检测结果。
进一步地，本发明的所述步骤2中的逐点卷积具体包括：
逐点卷积的卷积核为(k1，1)，输入的EEG信号为X(1,E,H)，其中E为电极数，H为信号长度；第一层为逐点卷积，k1＝E，即对每一个电极位置分配了一个(1,1)的卷积核，实现E个电极信号特征统一提取，完成电极方向的融合，逐点卷积的输出为：
其中，i＝1,2,3,...,C1表示输出的通道维数，即第一层卷积核个数；p＝1,2,3...E表示电极，xp,是输入EEG信号样本的第p个通道的第j个采样点；表示在第一层卷积中的权重，由于有E个电极，故有E个权重和1个偏差/>参数。
进一步地，本发明的所述步骤2中的逐深度卷积具体包括：
第二层为逐深度卷积，用于从中进一步获取空间相关与交叉通道相关特征；不同于常规卷积操作，逐深度卷积的一个卷积核负责一个通道；即一个通道只被一个卷积核卷积，输入和输出的不同通道间没有任何计算将它们联系起来；
第一层逐点卷积本身具有通道和电极方向融合的能力，两层卷积结合实现EEG信号时空维度与通道维度特征的提取；逐深度卷积具体过程为：
逐深度卷积的卷积核为(1,k2)，对第一层的输出进行卷积操作，由C1个通道维度按G组进行分组卷积操作，扩展成C2个通道维度，该层的输出为：
其中，m＝1,2,...C2表示所在的通道节点，q＝1,2,...,k2表示所在的卷积核；权重W(2)的形状为(C2，1，k2)，这些权重从U/>中取样,每一个计算节点都有偏置/>
进一步地，本发明的所述步骤3中的通道切分模块具体包括：
完成深度可分离卷积后的输出数据从通道维度为1的EEG原始数据依然扩展成了C2；其频率信号的通道内依然包含大量有效信息，每一部分通道间的特征fc都写成：
fi＝σ(Conv(xi))
其中，i＝1,2,...,C表示所在通道数，σ是激活函数，Conv表示卷积操作，xc是第c个通道中的输入；而当有一系列的通道特征时，仅仅使用相同的过滤器，会忽略子特征中的一些信息，所以将子特征分别送入不同的过滤器，得到特征f表示成：
其中，G表示通道切分成的组数，C表示表示通道数，Convi表示第i个卷积操作，通道分为G组故有G个卷积。
进一步地，本发明的所述步骤3中的多尺度并行分组卷积模块具体包括：
在EEG信号数据中，频带是δ＝1–3hz是最重要的频域之一，通过δ能提供更多关于困倦状态的信息，能反映驾驶员困倦的精神状态；因此针对δ＝1–3hz的频段进行多尺度的并行分组卷积；
以0.5hz为间隔，选取了1.5hz，2hz，2.5hz，3hz的频率信号，并进行融合，；为此使用了四个不同尺寸的卷积核分别提取上述的4种信号，从而从子特征中获取多个频率特征；为了获取上述4个信号，在本模块设置尺寸分别为(1,K1),(1,K2),(1,K3),(1,K4)的卷积核进行分组卷积，卷积操作如下：
其中，n＝1,2,3,4代表卷积核的分组，表示所在的通道节点，q＝1,2,...Kn表示所在卷积的卷积核；
对提取出特征独立进行ReLU函数的激活:
批量归一化Batch Normalization：
全局平均池化GAP，防止过拟合：
其中，W、H分别是全局平均池化GAP核的长与高；
最终将并行的四个输出进行融合：
其中，表示从4个频率中提取出通道子特征。
进一步地，本发明的所述步骤4中的分类模块具体包括：
全连接层表示如下：
其中，m＝1,2,...,C2表示通道数，s＝1或0，分别表示警惕状态或困倦状态；在输出结果时，用softmax函数将未规范化的预测变换为非负数并且总和为1，即输出值范围在[0,1]；公式如下：
其中/>
其中，j表示输入的节点数，C为输出的的节点数。
本发明提供一种基于EEG通道多尺度并行卷积的跨主体疲劳检测深度学习系统，该系统包括：
信号获取模块，用于通过多个电极采样得到待处理的EEG信号；
深度可分离卷积模块，深度可分离卷积模块由2层卷积层构成，包括逐点卷积和逐深度卷积；用于将采样得到的EEG信号送入深度可分离卷积模块进行特征提取，获取EEG空间与通道维度的特征信息；
通道切分的多尺度并行卷积模块，包括通道切分模块和多尺度并行分组卷积模块；用于通过通道切分模块对深度可分离模块输出的特征信息按通道维度进行切片分组；通过多尺度并行分组卷积模块将分组后的子特征分别用不同尺寸卷积核进行多频率提取，以提取子特征被忽略的信息，并且对疲劳驾驶关键的δ频段进行多频率的提取融合；
分类模块，包括一个全连接层和softmax层，用于将经过通道切分的多尺度并行卷积模块提取融合后的特征信息送入分类模块，得到疲劳状态的分类检测结果。
进一步地，本发明的所述深度可分离卷积模块具体包括：
逐点卷积具体包括：
逐点卷积的卷积核为(k1，1)，输入的EEG信号为X(1,E,H)，其中E为电极数，H为信号长度；第一层为逐点卷积，k1＝E，即对每一个电极位置分配了一个(1,1)的卷积核，实现E个电极信号特征统一提取，完成电极方向的融合，逐点卷积的输出为：
其中，i＝1,2,3,...,C1表示输出的通道维数，即第一层卷积核个数；p＝1,2,3...E表示电极，xp,是输入EEG信号样本的第p个通道的第j个采样点；表示在第一层卷积中的权重，由于有E个电极，故有E个权重和1个偏差/>参数；
逐深度卷积具体包括：
第二层为逐深度卷积，用于从中进一步获取空间相关与交叉通道相关特征；不同于常规卷积操作，逐深度卷积的一个卷积核负责一个通道；即一个通道只被一个卷积核卷积，输入和输出的不同通道间没有任何计算将它们联系起来；
第一层逐点卷积本身具有通道和电极方向融合的能力，两层卷积结合实现EEG信号时空维度与通道维度特征的提取；逐深度卷积具体过程为：
逐深度卷积的卷积核为(1,k2)，对第一层的输出进行卷积操作，由C1个通道维度按G组进行分组卷积操作，扩展成C2个通道维度，该层的输出为：
其中，m＝1,2,...C2表示所在的通道节点，q＝1,2,...,k2表示所在的卷积核；权重W(2)的形状为(C2，1，k2)，这些权重从U/>中取样,每一个计算节点都有偏置/>
进一步地，本发明的所述通道切分的多尺度并行卷积模块具体包括：
通道切分模块具体包括：
完成深度可分离卷积后的输出数据从通道维度为1的EEG原始数据依然扩展成了C2；其频率信号的通道内依然包含大量有效信息，每一部分通道间的特征fc都写成：
fi＝σ(Conv(xi))
其中，i＝1,2,...,C表示所在通道数，σ是激活函数，Conv表示卷积操作，xc是第c个通道中的输入；而当有一系列的通道特征时，仅仅使用相同的过滤器，会忽略子特征中的一些信息，所以将子特征分别送入不同的过滤器，得到特征f表示成：
其中，G表示通道切分成的组数，C表示表示通道数，Convi表示第i个卷积操作，通道分为G组故有G个卷积；
多尺度并行分组卷积模块具体包括：
在EEG信号数据中，频带是δ＝1–3hz是最重要的频域之一，通过δ能提供更多关于困倦状态的信息，能反映驾驶员困倦的精神状态；因此针对δ＝1–3hz的频段进行多尺度的并行分组卷积；
以0.5hz为间隔，选取了1.5hz，2hz，2.5hz，3hz的频率信号，并进行融合，；为此使用了四个不同尺寸的卷积核分别提取上述的4种信号，从而从子特征中获取多个频率特征；为了获取上述4个信号，在本模块设置尺寸分别为(1,K1),(1,K2),(1,K3),(1,K4)的卷积核进行分组卷积，卷积操作如下：
其中，n＝1,2,3,4代表卷积核的分组，表示所在的通道节点，q＝1,2,...Kn表示所在卷积的卷积核；
对提取出特征独立进行ReLU函数的激活:
批量归一化Batch Normalization：
全局平均池化GAP，防止过拟合：
其中，W、H分别是全局平均池化GAP核的长与高；
最终将并行的四个输出进行融合：
其中，表示从4个频率中提取出通道子特征。
进一步地，本发明的所述分类模块具体包括：
全连接层表示如下：
其中，m＝1,2,...,C2表示通道数，s＝1或0，分别表示警惕状态或困倦状态；在输出结果时，用softmax函数将未规范化的预测变换为非负数并且总和为1，即输出值范围在[0,1]；公式如下：
其中/>
其中，j表示输入的节点数，C为输出的的节点数。
本发明产生的有益效果是：
1.)本发明针对基于EEG跨主体的疲劳检测，提出了一个新颖的深度学习方法CMSPCNN。它由三个模块组成：深度可分离卷积模块，通道切分的多尺度并行卷积模块和分类模块。其中深度可分离卷积模块能有效提取EEG空间与通道特征。
2.)本发明设计了一个通道切分的多尺度并行卷积模块，实现子特征的特殊处理与方法内部完成关键特征的获取。本模块将特征沿通道方向划分为多个子特征分组，并分别送入不同尺寸的卷积核，提取有鉴别性的多频率组合特征，从而提高方法的泛化能力。此外，本发明基于实验结果发现，基于δ频段的4频率组合特征作为关键特征，在跨主体疲劳检测任务中具有优秀的性能表现。
3.)本发明在由11个受试者样本组成的2个的数据集上进行实验，证明所提方法的有效性。实验结果显示，CMSCNN在平衡数据集上的检测准确率高达81.49％，在不平衡数据集上的检测准确率达到78.10％，均高于其他最优秀的基线方法。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例的所提出基于通道多尺度的卷积神经网络方法CMSPCNN的总体框架；
图2是本发明实施例的CMSPCNN中的深度可分离卷积模块；
图3是本发明实施例的CSMCM通道切分多尺度卷积模块；
图4是本发明实施例的数据实验设计；(a)与事件相关的车道偏离范例；(b,c)脑电图和行为同时被记录；
图5是本发明实施例的多频率组合在平衡数据集上前20个训练周期的平均准确率比较；
图6是本发明实施例的深度学习方法在平衡数据集上的表现；
图7是本发明实施例的基于平衡数据集在20个训练周期内CMSPCNN与其变化版本的平均准确率。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例一：
本发明实施例的基于EEG通道多尺度并行卷积的跨主体疲劳检测深度学习方法，该方法包括以下步骤：
步骤1、通过多个电极采样得到待处理的EEG信号；
步骤2、构建深度可分离卷积模块，深度可分离卷积模块由2层卷积层构成，包括逐点卷积和逐深度卷积；将采样得到的EEG信号送入深度可分离卷积模块进行特征提取，获取EEG空间与通道维度的特征信息；
步骤3、构建通道切分的多尺度并行卷积模块，包括通道切分模块和多尺度并行分组卷积模块；通过通道切分模块对深度可分离模块输出的特征信息按通道维度进行切片分组；通过多尺度并行分组卷积模块将分组后的子特征分别用不同尺寸卷积核进行多频率提取，以提取子特征被忽略的信息，并且对疲劳驾驶关键的δ频段进行多频率的提取融合；
步骤4、构建分类模块，包括一个全连接层和softmax层，将经过通道切分的多尺度并行卷积模块提取融合后的特征信息送入分类模块，得到疲劳状态的分类检测结果。
本发明实施例中包括以下主要技术要点：
(1)空间和通道特征的提取的深度可分离卷积模块
本模块采用的深度可分离卷积是卷积神经网络的一种其核心思想是将一个完整的卷积运算步骤分解成两步，分别是逐深度卷积和逐点卷积。深度可分离卷积具有减少参数数量的效果，而且能独立学习EEG的空间特征与交叉通道(corss-channel)的相关性。
其要解决的技术问题为：设计一个深度学习的空间通道特征提取模块，基于EEG的原始信号，将多个电极收集的脑电频率值从时间，频率等角度解码，本模块重点研究在于如何利用深度学习方法，有效提取出具有时空维度和频率维度的特征，以及通道交叉的相关性。
(2)子特征信息提取的通道切分多尺度卷积模块
本模块使用通道切分的方式提取子特征，从子特征中提取多个频率信息，以找到更具有鉴别性的共有特征。模块中分为两个步骤，其一是通道切分模块(CSM)对深度可分离模块的输出按通道维度进行切片分组，其二是多尺度并行卷积(MSPC)将分组后的子特征分别用不同尺寸卷积核进行多频率提取，目的是提取子特征被忽略的信息。
其要解决的技术问题为：设计了一个细腻度处理子特征的模块，实现子特征的特殊处理与方法内部完成关键特征的获取。本模块重点研究如何将从空间和通道特征中得到子特征，并分别送入不同尺寸的卷积核，提取有鉴别性的多频率组合特征，从而提高方法的泛化能力。
(3)多频率组合特征的探索
基于MPC实现多频率组合特征的探索，频率数与并行卷积个数相同，即多个频率对于多个卷积层，将提取的频率进行融合，达到多个EEG频率的组合利用效果，并通过实验发现基于delta(δ，1-3hz)的4频率组合效果最佳。
其要解决的技术问题为：基于上述两个模块，在方法内部实现频段特征的提取，提高特征的普遍性。本模块重点研究如何在方法内部获取频段特征，以及研究利用哪一些频段特征能更好的提高跨主体疲劳检测准确率。
实施例二：
本发明实施例中所提方法CMSPCNN从EEG信号中获取空间与通道特征，并从这些特征的子特征中学习更具有鉴别性的多频率信息，提高方法的自适应能力，实现基于EEG的跨主体疲劳检测。
1、方法总体框架
总体框架如图1所示，它由三个主要的模块组成，分别是A.)深度可分离卷积模块；B.)通道切分多尺度并行分组卷积模块；C.)分类模块。
首先，本发明实施例将由128hz采样的3秒EEG信号，送入深度可分离卷积模块，进行特征的提取。其中，深度可分离卷积模块由2层Conv构成，分别经过逐深度卷积和逐点卷积，获取EEG空间与通道的特征信息。第二，将特征信息输入到CSM模块(Channel SplitModule)以通道的维度切分成S个子特征块，每一组进行不同卷积核大小的并行分组卷积，获取不同频率的特征，提取通道方向的多尺度信息。第三，分类决策由一个具有Softmax函数的全连接层实现。将在下面的小节中详细介绍CMSCNN的三个主要模块。
2、深度可分离卷积模块的搭建
卷积神经网络对信号特征的提取，属于空间滤波技术的一种，目的是从信号中筛选出更具有价值的信息。空间滤波技术能从EEG原始信号中提取过滤后的新信号，设从E个电极记录的脑电信号是{xi}i＝1,,...,，则N个新的信号{SJ}J＝1,,...,可以从原始的E个信号的线性组合中得到：
在(1)中，权值{Wi，j}可理解成一组空间滤波器，bj是常数，它可以根据各种独立的评价标准进行计算。由于获得的新信号集{Sj}期望包含最小的噪声和冗余，因此可以从每个新信号Sj中提取一组特征用于分类。
Fj(Sj)＝ [ fj,1,fj,2,....,fj,k ] (2)
在(2)中，新信号Sj经过特征提取函数Fj得到一组新特征Cj，这类方式与卷积神经网络对特征提取的思想相契合：
Conv(Tj)＝[ fj,1,fj,2,....,fj,k ] (3)
在(3)中，输入数据为T，经过卷积操作亦可提取出新的数据特征fj。因为卷积神经网络中的卷积核(convolution kernel)又能认为是滤波器，对EEG信号进行扫描以提取出新的信号特征。
本模块采用的深度可分离卷积是卷积神经网络的一种，如图2所示，其核心思想是将一个完整的卷积运算步骤分解成两步，分别是逐深度卷积和逐点卷积。深度可分离卷积具有减少参数数量的效果，而且能独立学习EEG的空间特征与交叉通道(corss-channel)的相关性。
1.)逐点卷积(Pointwise Convolution)
本方法的深度可分离卷积模块由一个卷积核为(k1，1)的逐点卷积和一个卷积核为(1,k2)的逐深度卷积组成，其中k1＝30，k2＝32。输入的EEG信号为X(1,E,H)，其中E＝30代表电极数，H＝384为3秒的128hz频率信号长度。第一层为逐点卷积，因为k1＝E＝30，相当于对每一个电极位置分配了一个(1,1)的卷积核。实现E个电极信号特征统一提取，完成电极方向的融合，逐点卷积的输出可以解释(described as)为：
在(4)中，i＝1,2,3,...,C1(C1＝32)表示输出的通道维数，即第一层卷积核个数。p＝1,2,3...E表示电极，xp,是输入EEG样本的第p个通道的第j个采样点。表示在第一层卷积中的权重，由于有E(30)个电极，故有E(30)个权重和1个偏差/>参数。此时输出的信号形状为(32,1,384)，其中32为维度，1为特征高度，384是特征宽度。
2.)逐深度卷积(Depthwise Convolution)
第二层为逐深度卷积，用于从中进一步获取空间相关与交叉通道相关特征。不同于常规卷积操作，逐深度卷积的一个卷积核负责一个通道。换而言之，一个通道只被一个卷积核卷积，输入和输出的不同通道间没有任何计算将它们联系起来。而第一层逐点卷积本身具有通道和电极方向融合的能力，两层卷积结合实现EEG信号时空维度与通道维度特征的提取。逐深度卷积具体过程，对第一层的输出/>进行卷积操作，由C1个通道维度按G(G＝32)组进行分组卷积操作，扩展成C2(C2＝64)个通道维度。该层的输出为：
在(5)中，m＝1,2,...C2表示所在的通道节点，q＝1,2,...,K2表示所在的卷积核。权重W(2)的形状为(C2，1，K2)，这些权重从U/>中取样,每一个计算节点都有偏置/>此时输出的信号形状为(64,1,353)。
EEG信号经过了2个卷积层组合的深度可分离卷积后，简洁高效地完成了电极方向的融合，实现空间信息和交叉通道信息的提取。
3、通道通道切分多尺度卷积模块的搭建
EEG频率信号在经过卷积层后，在通道维度上被映射成更多的信号特征，这些子特征可按通道维度分为多组，每组子特征的不仅有丰富的空间特征信息，还具有通道深度关联性，但是频率数据的通道不同于图像数据的通道，所以在过去很多工作中，通常将所有的通道维度视为一个整体，忽略每个通道间特征的差异性和关联，这是影响方法自适应能力的关键之一。
所以，在本模块使用通道切分的方式提取子特征，从子特征中提取多个频率信息，以找到更具有鉴别性的共有特征。如图3所示。模块中分为两个步骤，其一是CSM对深度可分离模块的输出按通道维度进行切片分组，其二是MPC将分组后的子特征分别用不同尺寸卷积核进行多频率提取，目的是提取子特征被忽略的信息。
1.)通道切分模块(CSM)
完成深度可分离卷积后的输出数据形状为(64,1,353)，可见从通道维度为1的EEG原始数据依然扩展成了64。虽然频率信号的通道维度不同于图像的通道维度(例如RGB通道)，但是频率信号的通道内依然包含大量有效信息。每一部分通道间的特征fc都可以写成：
fi＝σ(Conv(xi)) (6)
在(6)中，i＝1,2,...,C表示所在通道数，σ是激活函数，Conv表示卷积操作，xc是第c个通道中的输入。而当有一系列的通道特征时，仅仅使用相同的过滤器，是会忽略子特征中的一些信息，需要将子特征分别送入不同的过滤器，得到特征f表示成：
在(7)中，G(G＝4)表示通道切分成的组数，C(C＝64)表示表示通道数，其中对G的设置是为了在多尺度并行分组卷积中提取特定的4个频率。Convi表示第i个卷积操作，通道分为G组故有G个卷积。若不进行通道方向的分组，在下一层设置的卷积神经网络因为卷积核尺寸的固定，只能获取特征f中单一频段的特征，公式表示如下：
f＝{f1,f2,...,fn} (8)
在(8)中，n表示信号所覆盖的频段数，若只有一个卷积过滤器，便很难获取其他频段的特征。通道切分将形状(64,1,353)的特征分成4个形状为(16,1,353)的特征。
2.)多尺度并行分组卷积(MSPC)
在EEG数据中，频带是δ(1–3hz)是最重要的频域之一，而δ可以提供更多关于困倦状态的信息，能反映驾驶员困倦的精神状态。因此本步骤中将针对δ(1–3hz)的频段进行多尺度的并行分组卷积。本方法中以0.5hz为间隔，选取了1.5hz，2hz，2.5hz，3hz的频率信号，并进行融合。为此，使用了四个不同尺寸的卷积核分别提取上述的4种信号，从而从子特征中获取多个频率特征。具体而言，本发明实施例使用的输入数据采样率为128hz的3秒EEG信号，故长度为3*128(384)，在经过卷积核为(1,32)的逐深度卷积后，卷积核的感受野正好获取32时间步长的信号，由T＝1/F(T代表时间，F代表频率)可知逐深度卷积输出的特征属于4hz，为了获取上述4个信号，在本模块设置的尺寸分别为(1,K1＝10),(1,K2＝20),(1,K3＝34),(1,K4＝54)的卷积核进行分组卷积，卷积操作如下：
公式(9)中，n＝1,2,3,4代表卷积核的分组，表示所在的通道节点，q表示所在卷积的卷积核。考虑到通道切分后的子特征间依然具有连续性，我们的卷积核也保持从小到大的方式。4个卷积的输出形式分别是(16,1,344)，(16,1,334)，(16,1,320)，(16,1,300)
在方法的第4层(本文中CSM模块Channel Split Module未视为单独的一层)，对提取出特征独立进行ReLU函数的激活:
批量归一化Batch Normalization：
本模块的最后一层为全局平均池化(GAP)，防止过拟合：
其中W，H分别是全局平均池化GAP核的长与高。最终将并行的四个输出进行融合：
在(13)中，(1≤i≤4)表示从4个频率中提取出通道子特征。
经过通道切分多尺度卷积模块，从通道方向的子特征中进行了更细致的特征提取，并且对疲劳驾驶关键的δ频段进行多频率的提取融合，得到特征信息将送入最后一个模块中进行分类。
4、分类模块的搭建
本方法的分类模块简单高效，由一个全连接层和softmax层组成，对输入特征进行疲劳状态的分类。全连接层表示如下：
在(14)中，m＝1,2,...,C2表示通道数，s＝1或0，分别表示警惕状态或困倦状态。在输出结果时，用softmax函数将未规范化的预测变换为非负数并且总和为1，即输出值范围在[0,1]。公式如下：
其中/>
在(15)中，j表示输入的节点数，C为输出的的节点数。
将三个模块组合的方法CMSPCNN，它能获取空间与通道的相关性，并从通道子特征中提取多频率的特征。我们将在第四节中用实验证明，该方法在跨主体疲劳检测中的有效性。
实验实施例：
1.)EEG数据介绍
从27名健康合格驾驶员的高速公路模拟驾驶中获取32通道了脑电图EEG数据。实验设计过程如图4所示。
该实验在虚拟现实(VR)动态驾驶模拟器中采用了事件相关的车道偏离范式，在90分钟驾驶过程中，随机使驾驶的车偏离原始巡航车道，驾驶员需要迅速调整方向盘，使车回到车道中央。实验器材完整记录车辆的偏离时间、驾驶员修正时间、回到车道中央的时间，以及驾驶员的操作行为和脑电信号，用于疲劳检测系统的开发。选取的30个电极在500Hz下采集EEG信号，并用1-50Hz带通滤波器和伪影抑制进行预处理，将原始数据降频至128hz，以发生车辆偏移前3秒的EEG为实验样本，由于是30个电极获取的EEG信号，故每个样本的尺寸为30(电极通道)x384(样本点)。
2.)方法性能测试
本实验基于留一主体交叉验证法(leave-one-subject-out cross validation)实现方法之间的比较与评估，这种验证方法每次将一个主体作为测试集，剩下的其他全部主体的数据作为训练集。另外BatchNormalization批量归一化层分别设置了track_running_stats＝False和motum＝0。优化器的选择上使用Adma，并使用默认参数，能高效找到较为稳定的方法参数。平衡数据集中，CMSPCNN方法参数批处理量bs＝25，学习率lr＝0.00128，在非平衡数据集时，批处理bs＝47，学习率lr＝0.0015。
多频率组合特征的探索：多频率组合在平衡数据集上前20个训练周期的平均准确率如图5所示。我们选出前4轮对比中性能优秀的5组频率组合进行对比，1+1.5+2+2.5hz的四频率组合峰值准确率是5组中最高的峰值准确率，达到81.09％；3hz的单频率峰值准确率为80.79％；2.5+3hz的双频率组合峰值准确率为80.56％；2+2.5+3hz的三频率组合峰值准确率为79.03％；1+1.5+2+2.5+3hz的五频率组合峰值准确率为80.22％。
模拟驾驶过程中的疲劳检测识别：在20个训练周期内的基线深度学习方法和CMSPCNN方法平均分类准确率如图6所示。CMSPCNN的整体表现比其他4个深度学习方法更好。它在第1轮训练时就达到了74.93％的平均分类准确率，于第11轮训练时达到81.49％的平均分类准确率峰值，超过所有的基线深度学习方法，之后准确率略微下降，在前50个epoch中依然保持在78.50％以上，有着稳定的效果。实验结果显示，CMSPCNN在平衡数据集上，取得比其他深度学习方法更好的准确率，在epcoh＝11时，准确率高达81.49％。
表1能更好的反映参与对比实验的深度学习方法，在平衡数据集上11个主体的表现,。选取基线深度学习方法在前20个训练周期内最好的平均准确率，作为比较。如表2所示，CMSPCNN的平均准确率最高，达到81.49％，并且在主体1-6和主体:10中的表现都是对比实验中最高的，分别为88.82％，80.30％，86.66％，81.75％，90.62％，89.75％和82.40％。
表1-基于EEG跨主体平衡数据集的深度学习方法每个主体的分类准确率(％)
在不平衡数据集上每个主体的分类准确率如表2所示。所提方法CMSPCNN虽然只有两个主体的准确率是表现最佳的，分别是主体1的84.73％和主体10的92.68％，但是11个主体的平均准确率最高，达到78.10％。实验结果表明，CMSPCNN在模拟实际情况中，依然也有较好的性能表现，准确率高于其他基线方法。
表2-基于EEG跨主体非平衡数据集的深度学习与传统方法每个主体的分类准确率(％)
消融实验：本发明实施例设置消融实验来比较CMSPCNN和它的变化版本的不同，进一步研究各个模块的性能表现。CMSPCNN与它的4种变种(Variations)在平衡数据集中的平均准确率如图7所示。
CMSPCNN的峰值准确率最高，达到81.49％，总体表现最好。其中NoBatchNorm是从CMSPCNN中剔除了批量归一化层的版本，在epoch＝16时峰值准确率为74.86％，总体表现较低，可见BN层对方法的影响非常大；NoCSMCM是从CMSPCNN中剔除了通道切分多尺度并行分组卷积模块的版本，在epoch＝12时峰值准确率为79.81％；NoDSCM是剔除了可分离卷积模块的版本，在epoch＝8时峰值准确率为79.57％；此外，本发明实施例颠倒CMSPCNN的通道切分并行分组卷积中处理子特征的顺序，从卷积核倒金字塔的结构变成了正金字塔的结构，即卷积核逐渐增大的结构，取名为CMSPCNN-Turn，在epoch＝11时峰值准确率为79.63％。实验结果表明，批量归一化、可分离卷积模块、通道切分并行分组卷积模块都对CMSPCNN有积极的贡献，其中容易被忽略的子特征处理的顺序，其实对方法影响非常大。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (5)
1.一种基于EEG通道多尺度并行卷积的跨主体疲劳检测深度学习方法，其特征在于，该方法包括以下步骤：
步骤1、通过多个电极采样得到待处理的EEG信号；
步骤2、构建深度可分离卷积模块，深度可分离卷积模块由2层卷积层构成，包括逐点卷积和逐深度卷积；将采样得到的EEG信号送入深度可分离卷积模块进行特征提取，获取EEG空间与通道维度的特征信息；
步骤3、构建通道切分的多尺度并行卷积模块，包括通道切分模块和多尺度并行分组卷积模块；通过通道切分模块对深度可分离模块输出的特征信息按通道维度进行切片分组；通过多尺度并行分组卷积模块将分组后的子特征分别用不同尺寸卷积核进行多频率提取，以提取子特征被忽略的信息，并且对疲劳驾驶关键的δ频段进行多频率的提取融合；
步骤4、构建分类模块，包括一个全连接层和softmax层，将经过通道切分的多尺度并行卷积模块提取融合后的特征信息送入分类模块，得到疲劳状态的分类检测结果；
所述步骤2中的逐点卷积具体包括：
逐点卷积的卷积核为（k1，1），输入的EEG信号为X(1,E,H)，其中E为电极数，H为信号长度；第一层为逐点卷积，k1=E，即对每一个电极位置分配了一个（1,1）的卷积核，实现E个电极信号特征统一提取，完成电极方向的融合，逐点卷积的输出为：
其中，i=1,2,3,..., p=1,2,3...E表示电极，是输入EEG信号样本的第p个通道的第j个采样点；{/>}/>表示在第一层卷积中的权重，由于有E个电极，故有E个权重和1个偏差/>参数；
所述步骤2中的逐深度卷积具体包括：
第二层为逐深度卷积，用于从中进一步获取空间相关与交叉通道相关特征；不同于常规卷积操作，逐深度卷积的一个卷积核负责一个通道；即一个通道只被一个卷积核卷积，输入和输出的不同通道间没有任何计算将它们联系起来；
第一层逐点卷积本身具有通道和电极方向融合的能力，两层卷积结合实现EEG信号时空维度与通道维度特征的提取；逐深度卷积具体过程为：
逐深度卷积的卷积核为（1,K2），对第一层的输出进行卷积操作，由C1个通道维度按G组进行分组卷积操作，扩展成C2个通道维度，该层的输出为：
其中，m=1,2,...C2表示所在的通道节点，q=1,2,...,K2表示所在的卷积核；权重的形状为（C2，/>，1，K2），这些权重从U（-/>，/>）中取样, k=/>；每一个计算节点都有偏置/>；
所述步骤3中的通道切分模块具体包括：
完成深度可分离卷积后的输出数据从通道维度为1的EEG原始数据依然扩展成了C2；其频率信号的通道内依然包含大量有效信息，每一部分通道间的特征都写成：
其中，i=1,2,...,C表示所在通道数，是激活函数，Conv表示卷积操作，/>是第c个通道中的输入；而当有一系列的通道特征时，仅仅使用相同的过滤器，会忽略子特征中的一些信息，所以将子特征分别送入不同的过滤器，得到特征f表示成：
其中，G表示通道切分成的组数，C表示通道数，表示第i个卷积操作，通道分为G组故有G个卷积。
2.根据权利要求1所述的基于EEG通道多尺度并行卷积的跨主体疲劳检测深度学习方法，其特征在于，所述步骤3中的多尺度并行分组卷积模块具体包括：
在EEG信号数据中，频带是δ=1–3hz是最重要的频域之一，通过δ能提供更多关于困倦状态的信息，能反映驾驶员困倦的精神状态；因此针对δ=1–3hz的频段进行多尺度的并行分组卷积；
以0.5hz为间隔，选取了1.5hz，2hz，2.5hz，3hz的频率信号，并进行融合，；为此使用了四个不同尺寸的卷积核分别提取上述的4种信号，从而从子特征中获取多个频率特征；为了获取上述4个信号，在本模块设置尺寸分别为（1,）,（1,/>）,（1,/>）,（1,/>）的卷积核进行分组卷积，卷积操作如下：
其中，n=1,2,3,4代表卷积核的分组，m=1,2,...表示所在的通道节点，q=1,2,.../>表示所在卷积的卷积核；
对提取出特征独立进行ReLU函数的激活:
）
批量归一化Batch Normalization：
全局平均池化GAP，防止过拟合：
其中，W、H分别是全局平均池化GAP核的长与高；
最终将并行的四个输出进行融合：
+/>+/>+/>
其中，、/>、/>、/>表示从4个频率中提取出通道子特征。
3.根据权利要求2所述的基于EEG通道多尺度并行卷积的跨主体疲劳检测深度学习方法，其特征在于，所述步骤4中的分类模块具体包括：
全连接层表示如下：
其中，m=1,2,...,表示所在的通道节点，s=1或0，分别表示警惕状态或困倦状态；在输出结果时，用softmax函数将未规范化的预测变换为非负数并且总和为1，即输出值范围在[0, 1]；公式如下：
其中，j表示输入的节点数，C为输出的节点数。
4.一种基于EEG通道多尺度并行卷积的跨主体疲劳检测深度学习系统，其特征在于，该系统包括：
信号获取模块，用于通过多个电极采样得到待处理的EEG信号；
深度可分离卷积模块，深度可分离卷积模块由2层卷积层构成，包括逐点卷积和逐深度卷积；用于将采样得到的EEG信号送入深度可分离卷积模块进行特征提取，获取EEG空间与通道维度的特征信息；
通道切分的多尺度并行卷积模块，包括通道切分模块和多尺度并行分组卷积模块；用于通过通道切分模块对深度可分离模块输出的特征信息按通道维度进行切片分组；通过多尺度并行分组卷积模块将分组后的子特征分别用不同尺寸卷积核进行多频率提取，以提取子特征被忽略的信息，并且对疲劳驾驶关键的δ频段进行多频率的提取融合；
分类模块，包括一个全连接层和softmax层，用于将经过通道切分的多尺度并行卷积模块提取融合后的特征信息送入分类模块，得到疲劳状态的分类检测结果；
所述深度可分离卷积模块具体包括：
逐点卷积具体包括：
逐点卷积的卷积核为（k1，1），输入的EEG信号为X(1,E,H)，其中E为电极数，H为信号长度；第一层为逐点卷积，k1=E，即对每一个电极位置分配了一个（1,1）的卷积核，实现E个电极信号特征统一提取，完成电极方向的融合，逐点卷积的输出为：
其中，i=1,2,3,...，p=1,2,3...E表示电极，是输入EEG信号样本的第p个通道的第j个采样点；{/>}/>表示在第一层卷积中的权重，由于有E个电极，故有E个权重和1个偏差/>参数；
逐深度卷积具体包括：
第二层为逐深度卷积，用于从中进一步获取空间相关与交叉通道相关特征；不同于常规卷积操作，逐深度卷积的一个卷积核负责一个通道；即一个通道只被一个卷积核卷积，输入和输出的不同通道间没有任何计算将它们联系起来；
第一层逐点卷积本身具有通道和电极方向融合的能力，两层卷积结合实现EEG信号时空维度与通道维度特征的提取；逐深度卷积具体过程为：
逐深度卷积的卷积核为（1,K2），对第一层的输出进行卷积操作，由C1个通道维度按G组进行分组卷积操作，扩展成C2个通道维度，该层的输出为：
其中，m=1,2,...C2表示所在的通道节点，q=1,2,...,K2表示所在的卷积核；权重的形状为（C2，/>，1，K2），这些权重从U（-/>，/>）中取样, k=/>；每一个计算节点都有偏置/>；
所述通道切分的多尺度并行卷积模块具体包括：
通道切分模块具体包括：
完成深度可分离卷积后的输出数据从通道维度为1的EEG原始数据依然扩展成了C2；其频率信号的通道内依然包含大量有效信息，每一部分通道间的特征都写成：
其中，i=1,2,...,C表示所在通道数，是激活函数，Conv表示卷积操作，/>是第c个通道中的输入；而当有一系列的通道特征时，仅仅使用相同的过滤器，会忽略子特征中的一些信息，所以将子特征分别送入不同的过滤器，得到特征f表示成：
其中，G表示通道切分成的组数，C表示通道数，表示第i个卷积操作，通道分为G组故有G个卷积；
多尺度并行分组卷积模块具体包括：
在EEG信号数据中，频带是δ=1–3hz是最重要的频域之一，通过δ能提供更多关于困倦状态的信息，能反映驾驶员困倦的精神状态；因此针对δ=1–3hz的频段进行多尺度的并行分组卷积；
以0.5hz为间隔，选取了1.5hz，2hz，2.5hz，3hz的频率信号，并进行融合，；为此使用了四个不同尺寸的卷积核分别提取上述的4种信号，从而从子特征中获取多个频率特征；为了获取上述4个信号，在本模块设置尺寸分别为（1,）,（1,/>）,（1,/>）,（1,/>）的卷积核进行分组卷积，卷积操作如下：
其中，n=1,2,3,4代表卷积核的分组，m=1,2,...表示所在的通道节点，q=1,2,.../>表示所在卷积的卷积核；
对提取出特征独立进行ReLU函数的激活:
）
批量归一化Batch Normalization：
全局平均池化GAP，防止过拟合：
其中，W、H分别是全局平均池化GAP核的长与高；
最终将并行的四个输出进行融合：
+/>+/>+/>
其中，、/>、/>、/>表示从4个频率中提取出通道子特征。
5.根据权利要求4所述的基于EEG通道多尺度并行卷积的跨主体疲劳检测深度学习系统，其特征在于，所述分类模块具体包括：
全连接层表示如下：
其中，m=1,2,...,表示所在的通道节点，s=1或0，分别表示警惕状态或困倦状态；在输出结果时，用softmax函数将未规范化的预测变换为非负数并且总和为1，即输出值范围在[0, 1]；公式如下：
其中，j表示输入的节点数，C为输出的节点数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211484556.3A CN115919315B (zh) | 2022-11-24 | 2022-11-24 | 一种基于eeg通道多尺度并行卷积的跨主体疲劳检测深度学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211484556.3A CN115919315B (zh) | 2022-11-24 | 2022-11-24 | 一种基于eeg通道多尺度并行卷积的跨主体疲劳检测深度学习方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115919315A CN115919315A (zh) | 2023-04-07 |
| CN115919315B true CN115919315B (zh) | 2023-08-29 |
Family
ID=86698612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211484556.3A Active CN115919315B (zh) | 2022-11-24 | 2022-11-24 | 一种基于eeg通道多尺度并行卷积的跨主体疲劳检测深度学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115919315B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116807479B (zh) * | 2023-08-28 | 2023-11-10 | 成都信息工程大学 | 一种基于多模态深度神经网络的驾驶注意力检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110772268A (zh) * | 2019-11-01 | 2020-02-11 | 哈尔滨理工大学 | 一种多模脑电信号及1dcnn迁移的驾驶疲劳状态识别方法 |
| CN111428699A (zh) * | 2020-06-10 | 2020-07-17 | 南京理工大学 | 伪3d卷积神经网络与注意力机制结合的驾驶疲劳检测方法及系统 |
| WO2020151075A1 (zh) * | 2019-01-23 | 2020-07-30 | 五邑大学 | 一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法 |
| CN114266276A (zh) * | 2021-12-25 | 2022-04-01 | 北京工业大学 | 一种基于通道注意力和多尺度时域卷积的运动想象脑电信号分类方法 |
| CN114287937A (zh) * | 2021-11-24 | 2022-04-08 | 杭州电子科技大学 | 一种基于多模态卷积神经网络的情绪识别方法 |
| CN114781442A (zh) * | 2022-04-07 | 2022-07-22 | 成都信息工程大学 | 基于四维注意力卷积循环神经网络的疲劳分类方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111460892A (zh) * | 2020-03-02 | 2020-07-28 | 五邑大学 | 一种脑电图模式分类模型的训练方法、分类方法及系统 |
-
2022
- 2022-11-24 CN CN202211484556.3A patent/CN115919315B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020151075A1 (zh) * | 2019-01-23 | 2020-07-30 | 五邑大学 | 一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法 |
| CN110772268A (zh) * | 2019-11-01 | 2020-02-11 | 哈尔滨理工大学 | 一种多模脑电信号及1dcnn迁移的驾驶疲劳状态识别方法 |
| CN111428699A (zh) * | 2020-06-10 | 2020-07-17 | 南京理工大学 | 伪3d卷积神经网络与注意力机制结合的驾驶疲劳检测方法及系统 |
| CN114287937A (zh) * | 2021-11-24 | 2022-04-08 | 杭州电子科技大学 | 一种基于多模态卷积神经网络的情绪识别方法 |
| CN114266276A (zh) * | 2021-12-25 | 2022-04-01 | 北京工业大学 | 一种基于通道注意力和多尺度时域卷积的运动想象脑电信号分类方法 |
| CN114781442A (zh) * | 2022-04-07 | 2022-07-22 | 成都信息工程大学 | 基于四维注意力卷积循环神经网络的疲劳分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于受限玻尔兹曼机的疲劳脑电特性分析;甘达雲;谢云;王明丽;卢扩锋;;测控技术(02);第103-108页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115919315A (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| George et al. | Classification of epileptic EEG signals using PSO based artificial neural network and tunable-Q wavelet transform | |
| Almogbel et al. | EEG-signals based cognitive workload detection of vehicle driver using deep learning | |
| Taqi et al. | Classification and discrimination of focal and non-focal EEG signals based on deep neural network | |
| Bouallegue et al. | A dynamic filtering DF-RNN deep-learning-based approach for EEG-based neurological disorders diagnosis | |
| CN113786204A (zh) | 基于深度卷积注意力网络的癫痫颅内脑电信号预警方法 | |
| CN111544017A (zh) | 基于gpdc图卷积神经网络的疲劳检测方法、装置及存储介质 | |
| Pisano et al. | Convolutional neural network for seizure detection of nocturnal frontal lobe epilepsy | |
| CN115919315B (zh) | 一种基于eeg通道多尺度并行卷积的跨主体疲劳检测深度学习方法 | |
| CN114781442A (zh) | 基于四维注意力卷积循环神经网络的疲劳分类方法 | |
| CN110584597A (zh) | 基于时空卷积神经网络的多通道脑电信号监测方法及应用 | |
| Polat et al. | Epileptic seizure detection from EEG signals by using wavelet and Hilbert transform | |
| Zainuddin et al. | Comparison of extreme learning machine and K-nearest neighbour performance in classifying EEG signal of normal, poor and capable dyslexic children | |
| Sharma et al. | Attention deficit hyperactivity disorder detection in children using multivariate empirical EEG decomposition approaches: A comprehensive analytical study | |
| CN114595725A (zh) | 一种基于加法网络和监督对比学习的脑电信号分类方法 | |
| Mohi–ud–Din et al. | Autism Spectrum Disorder classification using EEG and 1D-CNN | |
| Motin et al. | Detecting Parkinson’s disease from electroencephalogram signals: an explainable machine learning approach | |
| CN114578967A (zh) | 一种基于脑电信号的情感识别方法及系统 | |
| Atilla et al. | EEG-based classification of drivers attention using convolutional neural network | |
| Chougule et al. | Enabling safe its: Eeg-based microsleep detection in vanets | |
| Mohi-ud-Din et al. | Detection of Autism Spectrum Disorder from EEG signals using pre-trained deep convolution neural networks | |
| Hamad et al. | A hybrid automated detection of epileptic seizures in EEG based on wavelet and machine learning techniques | |
| Thejaswini et al. | EEG Classification Using Modified KNN Algorithm | |
| Grossi et al. | Detection of an autism EEG signature through a new processing method based on a topological approach | |
| Wei et al. | Automatic recognition of chewing noises in epileptic EEG based on period segmentation | |
| Alshaltone et al. | Epileptic seizure detection using short time fourier transform and convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |