CN110772268A - 一种多模脑电信号及1dcnn迁移的驾驶疲劳状态识别方法 - Google Patents
一种多模脑电信号及1dcnn迁移的驾驶疲劳状态识别方法 Download PDFInfo
- Publication number
- CN110772268A CN110772268A CN201911059617.XA CN201911059617A CN110772268A CN 110772268 A CN110772268 A CN 110772268A CN 201911059617 A CN201911059617 A CN 201911059617A CN 110772268 A CN110772268 A CN 110772268A
- Authority
- CN
- China
- Prior art keywords
- 1dcnn
- model
- layer
- migration
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000013508 migration Methods 0.000 title claims abstract description 48
- 230000005012 migration Effects 0.000 title claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 44
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000012360 testing method Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 30
- 210000001061 forehead Anatomy 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 13
- 230000005611 electricity Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000005284 excitation Effects 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011410 subtraction method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 206010039203 Road traffic accident Diseases 0.000 abstract description 3
- 206010016256 fatigue Diseases 0.000 description 44
- 238000011176 pooling Methods 0.000 description 13
- 210000001508 eye Anatomy 0.000 description 11
- 210000004556 brain Anatomy 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 4
- 206010041349 Somnolence Diseases 0.000 description 3
- 238000012880 independent component analysis Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000004434 saccadic eye movement Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000012899 de-mixing Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000002618 waking effect Effects 0.000 description 2
- 206010062519 Poor quality sleep Diseases 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006998 cognitive state Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000008433 psychological processes and functions Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000003478 temporal lobe Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Psychology (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Fuzzy Systems (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Evolutionary Computation (AREA)
- Social Psychology (AREA)
- Power Engineering (AREA)
- Ophthalmology & Optometry (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
一种多模脑电信号及一维卷积神经网络(1DCNN)迁移的驾驶疲劳状态识别方法。属于疲劳驾驶检测和分类技术领域，目的是为了对驾驶员进行疲劳预警，以较少因疲劳驾驶而引发交通事故对人们的生命财产造成的伤害。本发明包括：步骤一：脑电(EEG)信号预处理及特征提取，步骤二：眼电(EOG)信号预处理及特征提取，步骤三：1DCNN模型的构建和预训练，步骤四：1DCNN迁移模型的构建，步骤五：融合特征送入1DCNN迁移模型，将EEG特征和EOG特征进行融合送入1DCNN迁移模型进行训练和测试，对样本进行疲劳状态的识别。本发明应用于疲劳驾驶的识别与分类。
Description
技术领域
本发明涉及到疲劳驾驶的识别与分类，具体涉及一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法。
背景技术
驾驶疲劳是驾驶员神经持续处于紧张状态，身体的生理机能和心理机能下降导致驾驶员反应迟钝，注意力、感知处理信息能力下降的现象，是引发交通事故，威胁人们的生命财产的重要原因。疲劳驾驶识别的研究已成为世界各国争先研究的重点领域。近年来，生理信号被认为是一种高效的检测驾驶疲劳的方法。驾驶员由清醒变疲劳的过程，其生理指标如脑电(electroencephalogram，EEG)、心电(electrocardiogram，ECG) 和肌电(electromyogram，EMG)信号等均会产生相应的变化，研究者尝试基于不同生理指标研究驾驶疲劳的判别方法，并取得一定成果。与基于计算机视觉疲劳检测相比，基于人体生理信号的疲劳检测可以提供驾驶员状态的客观表征。在众多的被用于驾驶员疲劳程度检测的生理信号中，EEG信号已被证明可以很好的表征驾驶员的疲劳程度。其次，EOG 是眼球运动产生的另一种电信号，可以通过眼球周围的皮肤进行测量。EOG信号包含丰富的眼动信息，可以直接的反应疲劳的级别。
融合不同信号进行多模态分析已成为系统设计新的趋势，其优点是不仅可以提升系统的鲁棒性，还可以提高识别的精度。一些文献表明，不同区域的生物信号可以反应出心理状态的不同层面。EEG通常表示内部的认知状态，而EOG通常反应外部潜意识的行为。本发明的目的是通过融合EEG和EOG，充分的挖掘两种信号的互补信息，针对清醒、疲劳、困倦三种驾驶疲劳状态，基于完全卷积网络迁移，构建泛化性强、准确度高的驾驶疲劳分类系统。
发明内容
本发明的目的是为了对驾驶员进行疲劳预警，以减少因疲劳驾驶而引发交通事故对人们的生命财产造成的伤害；提出了一种利用迁移模型微调，进而实现驾驶状态清醒、疲劳、困倦状态的识别与分类的多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法。
上述的目的通过以下的技术方案实现：
一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法，该方法包括如下步骤：
步骤一：EEG信号预处理及特征提取；
EEG信号在进行特征融合前，需要经过滤波、特征提取；
步骤二：EOG信号预处理及特征提取；
EOG信号在进行特征融合前，需要经过滤波、水平和垂直眼电分离及特征提取；
步骤三：1DCNN模型的构建和预训练；
搭建包含卷积层、全连接层和softmax分类层的1DCNN模型，并对模型进行预训练；；
步骤四：1DCNN迁移模型的构建；
将预训的1DCNN进行模型迁移，以作为新个体识别的迁移模型；
步骤五：融合特征送入1DCNN迁移模型训练和测试；
将EEG特征和EOG特征在特征层面上进行融合送入1DCNN迁移模型进行训练和测试，对样本进行疲劳状态的识别；
根据权利要求1所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法，其特征在于：所述的步骤一包括如下过程：
首先用一个0-60Hz的带通滤波器对脑电信号进行过滤，其作用为对信号进行降噪和去伪迹处理；
然后，基于离散短时傅里叶变换将脑电信号分别划分为5频段和25频段，并针对每个频带计算微分熵特征，离散短时傅里叶变换及微分熵的定义如式(1)，式(2)所示：
其中，x[n]表示待变换的信号，ω[n]是窗函数，这里采用汉宁窗。
如果一个随机变量遵循高斯分布N(u，σ2)，则微分熵可以简单的被下式计算：
其中
x表示经过离散短时傅里叶变换脑电频段数据。
根据权利要求1所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法，其特征在于：所述的步骤二包括如下过程：
首先用一个0-30Hz的带通滤波器对眼电信号进行滤波；
然后通过直接相减的方法从前额的四个电极信号中分离水平眼电，通过FastICA方法从前额电极信号中分离垂直眼电，若输入为前额电极信号(其中混杂着脑电信号、眼电信号等) 的观察向量X，ICA分离过程中包含解混矩阵W，它将多通道数据分解为独立分量的总和如式(3)。
U＝W*X (3)
其中，U为解混的含眼电和脑电的独立分量。
接着采用小波变换和峰值检测法对水平眼电和垂直眼电进行特征提取，其小波基函数采用墨西哥帽子小波如式(4)
小波变换方法利用墨西哥母波对水平眼电和垂直眼电信号计算每八秒的小波系数；
然后采用波峰检测算法作用于小波系数来检测眨眼和扫视；同时计算扫视、眨眼、注视的平均值、最大值、方差作为眼电特征。
根据权利要求1所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法，其特征在于：所述的步骤三包括如下过程：
(1)卷积层
卷积层的主要作用是对输入数据进行特征提取，卷积层完成一次卷积操作首先选取卷积核的大小和个数与特征图进行卷积操作，然后通过一个激活函数，就可以输出新的特征图，作为下一层的输入。Cl表示卷积神经网络第l层的特征图(C0＝X)。假设
是第l层卷积神经网络的第j个特征图，
的产生过程如式(5)所示：
其中，
表示连接l-1层第i个特征图和l层第j个特征图的权值矩阵，*表示卷积。
表示第l-1层的第i个特征图，i，j是输入和输出特征图的索引；
表示第l层每个输出特征图对应偏置。最终通过一个激励函数f(·)得到l层的第j个特征图
激励函数选取ReLU函数。
(2)全连接层和softmax分类层
考虑模型输入信号为频域信号，故数据间无冗余。为了减小信息的损失，提高模型的识别能力，所有的卷积操作后不进行池化操作。输入信号经过三个卷积层，进行充分的特征提取。
全连接层和softmax层分类，输出疲劳程度的类别。全连接网络对提取的特征进行分类，得到基于输入的概率分布P(li表示第i个标签类别)。如式(6)所示，卷积神经网络本质上是原始序列X经过多个层次的变换或降维，映射到一个新的特征表达Y的数学模型：
Y(i)＝P(L＝li|X；(W，b)) (6)
卷积神经网络通过训练使最小化损失函数L(W，b)，进行模型的训练。1DCNN模型采用交叉熵作为损失函数，对比预测的softmax输出概率分布和目标类概率分布的相似性。p(x) 表示目标类概率分布，q(x)表示预测分布，p(x)和q(x)的交叉熵定义为式(7)：
为了最小化损失函数，本文采用随机梯度下降算法。为了防止过拟合和提高模型的泛化能力，在第一个全连接网络前采用丢弃法(dropout技术)来防止过拟合。dropout在监督学习中使用，训练阶段dropout概率设置为p，即每个神经元以概率p被丢弃，以概率1-p被保留。在这里p的值设置为0.2。
选取一个各状态样本相对均衡的个体用于预训练，通过前向传播和最小化损失反向传播进行1DCNN模型的预训练，并保存训练好的预训练模型1DCNN。。
根据权利要求1所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法，其特征在于：所述的步骤四包括如下过程：
将训练好的预训练模型进行迁移，即固定预训练模型的特征提取部分的训练参数，重置一下分类层；用其他个体数据对模型分类层进行微调和测试。
根据权利要求1所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法，其特征在于：所述的步骤五包括如下过程：
将脑电特征和眼电特征在特征级别上直接融合，并进行最大最小归一化操作如式(8)，
其中，x表示输入特征，u表示特征均值，σ表示特征方差。
本发明所达到的有益效果是：1.本发明通过搭建1DCNN网络，用于训练预训练模型。
2.本发明通过预训练模型微调对不同区域脑电特征，不同区域脑电特征加眼电特征对驾驶员状态(清醒、疲劳、困倦)进行分类与识别。
3.在单模态的情况下，2频带的前额脑电特征对疲劳状态的识别效果最好，准确率达到 95.71％±2.36％。4.在融合多模态的情况下，2频带的枕部脑电加眼电特征对疲劳状态的识别效果最好，准确率达到97.63％±1.78。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是疲劳驾驶识别系统的整体框图。
图2 1DCNN结构图。
图3 1DCNN疲劳识别流程图。
图4单一模态和融合多模态结果对比。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
具体实施方式一：
一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法，该方法包括如下步骤：
步骤一：EEG信号预处理及特征提取；
EEG信号在进行特征融合前，需要经过滤波、特征提取；
步骤二：EOG信号预处理及特征提取；
EOG信号在进行特征融合前，需要经过滤波、水平和垂直眼电分离及特征提取；
步骤三：1DCNN模型的构建和预训练；
搭建包含卷积层、全连接层和softmax分类层的1DCNN模型，并对模型进行预训练；；
步骤四：1DCNN迁移模型的构建；
将预训的1DCNN进行模型迁移，以作为新个体识别的迁移模型；
步骤五：融合特征送入1DCNN迁移模型；
将EEG特征和EOG特征进行融合送入1DCNN迁移模型进行训练和测试，对样本进行疲劳状态的识别；
具体实施方式二：
本实施方式是对具体实施方式一所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法的进一步说明，所述的步骤一包括如下过程：
首先用一个0-60Hz的带通滤波器对脑电信号进行过滤，其作用为对信号进行降噪和去伪迹处理；
然后，基于离散短时傅里叶变换将脑电信号分别划分为5频段和25频段，并针对每个频带计算微分熵特征，离散短时傅里叶变换及微分熵的定义如式(1)，式(2)所示：
其中，x[n]表示待变换的信号，ω[n]是窗函数，这里采用汉宁窗。
如果一个随机变量遵循高斯分布N(u，σ2)，则微分熵可以简单的被下式计算：
其中x表示经过离散短时傅里叶变换脑电频段数据。
具体实施方式三：
本实施方式是对具体实施方式一所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法的进一步说明，所述的步骤二包括如下过程：
首先用一个0-30Hz的带通滤波器对前额电极信号进行滤波；
然后通过直接相减的方法从前额的四个电极信号中分离水平眼电，通过FastICA方法从前额电极信号中分离垂直眼电，若输入为前额电极信号(其中混杂着脑电信号、眼电信号等) 的观察向量X，ICA分离过程中包含解混矩阵W，它将多通道数据分解为独立分量的总和如式(3)。
U＝W*X (3)
其中，U为解混的含眼电和脑电的独立分量。
接着采用小波方法和峰值检测法从分离出的垂直眼电和水平眼电提取眨眼、注视、扫视相关特征，其小波基函数采用墨西哥帽子小波如式(4)
小波变换方法利用墨西哥母波对水平眼电和垂直眼电信号计算每八秒的小波系数；
具体实施方式四：
本实施方式是对具体实施方式一所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法的进一步说明，所述的步骤三包括如下过程：
(1)卷积层
卷积层的主要作用是对输入数据进行特征提取，卷积层完成一次卷积操作首先选取卷积核的大小和个数与特征图进行卷积操作，然后通过一个激活函数，就可以输出新的特征图，作为下一层的输入；Cl表示卷积神经网络第l层的特征图(C0＝X)；假设
是第l层卷积神经网络的第j个特征图，
的产生过程如式(5)所示：
其中，
表示连接l-1层第i个特征图和l层第j个特征图的权值矩阵，*表示卷积；表示第l-1层的第i个特征图，i，j是输入和输出特征图的索引；
表示第l层每个输出特征图对应偏置；最终通过一个激励函数f(·)得到l层的第j个特征图
激励函数选取ReLU函数。
(2)全连接层和softmax分类层
考虑模型输入信号为频域信号，故数据间无冗余；为了减小信息的损失，提高模型的识别能力，所有的卷积操作后不进行池化操作；输入信号经过三个卷积层，进行充分的特征提取。
全连接层和softmax层分类，输出疲劳程度的类别；全连接网络对提取的特征进行分类，得到基于输入的概率分布P(li表示第i个标签美别)；如式(6)所示，卷积神经网络本质上是原始序列X经过多个层次的变换或降维，映射到一个新的特征表达Y的数学模型：
Y(i)＝P(L＝li|X；(W，b)) (6)
卷积神经网络通过训练使最小化损失函数L(W，b)，进行模型的训练；1DCNN模型采用交叉熵作为损失函数，对比预测的softmax输出概率分布和目标类概率分布的相似性；p(x) 表示目标类概率分布，q(x)表示预测分布，p(x)和q(x)的交叉熵定义为式(7)：
为了最小化损失函数，本文采用随机梯度下降算法；为了防止过拟合和提高模型的泛化能力，在第一个全连接网络前采用丢弃法(dropout技术)来防止过拟合；dropout在监督学习中使用，训练阶段dropout概率设置为p，即每个神经元以概率p被丢弃，以概率1-p被保留；在这里p的值设置为0.2。
选取一个各状态样本相对均衡的个体用于预训练，通过前向传播和最小化损失反向传播进行1DCNN模型的预训练，并保存训练好的预训练模型1DCNN。。
具体实施方式五：
本实施方式是对具体实施方式一所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法的进一步说明，所述的步骤四包括如下过程：
将训练好的预训练模型进行迁移，即固定预训练模型的特征提取部分的训练参数，重置一下分类层；用其他个体数据对模型分类层进行微调和测试。
具体实施方式六：
本实施方式是对具体实施方式一所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法的进一步说明，所述的步骤五包括如下过程：
将脑电特征和眼电特征在特征级别上直接融合，并进行最大最小归一化操作如式(8)，
其中，x表示输入特征，v表示特征均值，σ表示特征方差。
具体实施方式七：
本实施方式是对具体实施方式四所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法的进一步说明，1DCNN模型包括三个卷积层、一个全连接层和一个softmax分类层，其卷积层的参数设置如表1所示：
表1卷积层参数设置
Tab.1 Convolution layer parameter setting
1DCNN模型第一个全连接层隐层神经元设置为100；且在第一个全连接层前设置一个概率为20％的丢失层来克服过拟合。
使用小批量梯度优化算法，参数设置：学习率：0.02；动量：0.05；批次尺寸：32；预训练模型训练迭代次数500；迁移模型训练迭代次数200；λ：1×10-7。
本实验的计算机环境为：中央处理器(central processing unit，CPU)(Core i5-4210M@ 2.6GHz，Intel，美国)；随机存取存储器(random access memory，RAM)(DDR4 8GB，Samsung，韩国)。
性能对比：
为了对比分类性能，采用了传统的机器学习算法SVM分类器，对数据进行学习分类。其中， c和g分别基于[1，103，5×103，104，5×104]和[0.0001，0.0005，0.001，0.005，0.01，0.1]进行网格搜索来选取最佳参数，核函数采用径向基函数(rbf)。
选取上海交通大学仿脑计算与机器智能研究中心的疲劳警觉度估计数据集SEED-VIG进行实验验证。数据集包括不同脑区脑电主要包含颞叶脑区T区，枕部脑区P区，前额脑电F 区；前额眼电(EOG)，PERCLOS指数，共含有23个人的数据。
根据PERCLOS指数，将小于等于0.35的样本状态为清醒，介于0.35和0.7之间的样本状态为疲劳，大于等于0.7的样本状态为困倦，此得到各样本的标签。数据输入网络前对数据进行归一化处理，然后通过五折交叉验证进行评估。
本发明通过对比不同脑区的脑电信号、眼电信号、不同脑区特征融合眼电信号的驾驶疲劳状态识别，通过平均准确率和标准差进行性能的评估，以确定输入信号的融合模式。
实验结果分析：
现有的脑电数据包括通过独立成分分析算法从前额信号重建的4通道脑电信号、来自枕部的11通道脑电信号和颞区的6通道脑电信号。对上述脑电信号提取DE特征：一种来自5 个频带，另一种在整个频带使用2HZ的频率分辨率。基于不同脑区的脑电评估结果如表2 所示。
表2基于不同脑区的脑电评估结果
通过对比分析P区5频带的脑电特征1DCNN稍差于SVM，其它实验结果表明2频带的脑电特征评估效果要优于5频带的脑电特征，1DCNN的评估效果明显优于SVM，采用1DCNN迁移模型的最高平均准确率为96.41％，比SVM平均最高准确率高2.39％，且具有较小的标准差。
将来自不同部位(枕部、前额和颞区)的EEG特征和前额EOG特征融合在一起，以利用它们的互补特性来提高检测模型的泛化性和精度。
附图4显示了每种单一模态和不同模态融合策略的表现。从整体来看1DCNN的检测效果要优于SVM，相对于单一形态，融合多种模态可显著提高检测的精度和鲁棒性。
采用表现最好的P区脑电加眼电的样本特征，利用1DCNN迁移模型分别对22个个体数据进行5折交叉验证实验，统计22个个体中3894测试样本绘制混淆矩阵如表3所示。
表3疲劳状态混淆矩阵
采用连续条件神经元场(CCNF)，进回归后在进行分类的平均准确率为87.31％，本发明的 1DCNN迁移模型的方法比其高10.32％，体现本发明方法的优越性。
池化操作是卷积神经网络中的常规环节，但作为模型输入的基于功率谱的微分熵的脑电和眼电信号，其带宽已是有用频率范围(1-50Hz)，因此，本发明对比了在第一个卷积层后包含最大池化层、均值池化层和无池化层的网络结构进行了实验对比，其数据分别采用P区脑电与眼电融合特征(P+EOG)、T区脑电和眼电融合特征(T+EOG)、F区脑电和眼电融合特征(F+EOG)实验结果如表4所示：
表4有无池化层实验对比
通过对比实验结果，不包含池化层的实验效果要优于包含池化层的，采用最大池化的结果要优于均值池化的结果；这可能由于信号功率谱能量集中特性，信号通过池化层降低了模型的表达能力；所以，上述深度迁移卷积神经网络模型均采用无池化层的网络结构进行评估。
以上所述仅为本发明的优先实施方式，本发明并不限定于上述实施方式，只要以基本相同手段实现本发明目的的技术方案都属于本发明的保护范围之内。
Claims (8)
1.一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法，其特征在于该方法包括以下步骤：
步骤一：EEG信号预处理及特征提取；
EEG信号在进行特征融合前，需要经过滤波、特征提取；
步骤二：EOG信号预处理及特征提取；
EOG信号在进行特征融合前，需要经过滤波、水平和垂直眼电分离及特征提取；
步骤三：1DCNN模型的构建和预训练；
搭建包含卷积层、全连接层和softmax分类层的1DCNN模型，并对模型进行预训练；
步骤四：1DCNN迁移模型的构建；
将预训的1DCNN进行模型迁移，以作为新个体识别的迁移模型；
步骤五：融合特征送入1DCNN迁移模型；
将EEG特征和EOG特征在特征级别上进行融合送入1DCNN迁移模型进行训练和测试，对样本进行疲劳状态的识别。
2.根据权利要求1所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法，其特征在于：所述的步骤一包括如下过程：
首先用一个0-60Hz的带通滤波器对脑电信号进行过滤，其作用为对信号进行降噪和去伪迹处理；
然后，基于离散短时傅里叶变换将脑电信号分别划分为5频段和25频段，并针对每个频带计算微分熵特征。
3.根据权利要求1所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法，其特征在于：所述的步骤二包括如下过程：
首先用一个0-30Hz的带通滤波器对眼电信号进行滤波；
然后通过直接相减的方法从前额的四个电极信号中分离水平眼电，通过FastICA方法从前额电极信号中分离垂直眼电，接着采用小波变换和峰值检测法对水平眼电和垂直眼电进行特征提取。
4.根据权利要求1所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法，其特征在于：所述的步骤三包括如下过程：
搭建了一个包含3个卷积层、一个全连接层和一个softmax的分类层的卷积神经网络；卷积层的主要作用是对输入数据进行特征提取，假设
是第l层卷积神经网络的第j个特征图，
的产生过程如式(1)所示：
其中，
表示连接l-1层第i个特征图和l层第j个特征图的权值矩阵，*表示卷积；表示第l-1层的第i个特征图，i，j是输入和输出特征图的索引；
表示第l层每个输出特征图对应偏置；最终通过一个激励函数f(·)得到l层的第j个特征图
激励函数选取ReLU函数。
5.根据权利要求1或4所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法，其特征在于：步骤3中全连接层隐层神经元个数设置为100，且在第一个全连接层前设置一个概率为20％的丢失层来克服过拟合；
卷积神经网络通过训练使最小化损失函数进行模型的训练；1DCNN模型采用交叉熵作为损失函数，对比预测的softmax输出概率分布和目标类概率分布的相似性；p(x)表示目标类概率分布，q(x)表示预测分布，p(x)和q(x)的交叉熵定义为式(2)：
选取一个各状态样本相对均衡的个体用于预训练，通过前向传播和最小化损失反向传播进行1DCNN模型的预训练，并保存训练好的预训练模型1DCNN。
6.根据权利要求1所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法，其特征在于：所述的步骤四包括如下过程：
将训练好的预训练模型进行迁移，即固定预训练模型的特征提取部分的训练参数，重置一下分类层；用其他个体数据对模型分类层进行微调和测试。
7.根据权利要求1或5所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法，其特征在于：步骤四中网络训练使用小批量梯度优化算法，参数设置：学习率：0.02；动量：0.05；批次尺寸：32；迁移模型训练迭代次数200；λ：1×10-7。
8.根据权利要求1所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法，其特征在于：所述的步骤五包括如下过程：
将脑电特征和眼电特征在特征级别上直接融合，并进行最大最小归一化操作如式(8)，
其中，x表示输入特征，u表示特征均值，σ表示特征方差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911059617.XA CN110772268A (zh) | 2019-11-01 | 2019-11-01 | 一种多模脑电信号及1dcnn迁移的驾驶疲劳状态识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911059617.XA CN110772268A (zh) | 2019-11-01 | 2019-11-01 | 一种多模脑电信号及1dcnn迁移的驾驶疲劳状态识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110772268A true CN110772268A (zh) | 2020-02-11 |
Family
ID=69388411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911059617.XA Pending CN110772268A (zh) | 2019-11-01 | 2019-11-01 | 一种多模脑电信号及1dcnn迁移的驾驶疲劳状态识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110772268A (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111543982A (zh) * | 2020-04-01 | 2020-08-18 | 五邑大学 | 一种疲劳驾驶检测方法、装置及存储介质 |
| CN111603158A (zh) * | 2020-04-21 | 2020-09-01 | 苏州乐达纳米科技有限公司 | 基于电生理信号人工智能分析的疲劳驾驶告警方法及系统 |
| CN112438741A (zh) * | 2020-09-30 | 2021-03-05 | 燕山大学 | 一种基于脑电特征迁移学习的驾驶状态检测方法及系统 |
| CN112527959A (zh) * | 2020-12-11 | 2021-03-19 | 重庆邮电大学 | 基于无池化卷积嵌入和注意分布神经网络的新闻分类方法 |
| CN112528815A (zh) * | 2020-12-05 | 2021-03-19 | 西安电子科技大学 | 基于多模态信息融合的疲劳驾驶检测方法 |
| CN112617835A (zh) * | 2020-12-17 | 2021-04-09 | 南京邮电大学 | 一种基于迁移学习的多特征融合疲劳检测方法 |
| CN113116352A (zh) * | 2021-03-24 | 2021-07-16 | 深兰科技（上海）有限公司 | 疲劳状态预测的方法、装置、电子设备及存储介质 |
| CN113143273A (zh) * | 2021-03-23 | 2021-07-23 | 陕西师范大学 | 一种在线视频学习中学习者注意状态智能检测系统及方法 |
| CN113384277A (zh) * | 2020-02-26 | 2021-09-14 | 京东方科技集团股份有限公司 | 心电数据的分类方法及分类系统 |
| CN114081491A (zh) * | 2021-11-15 | 2022-02-25 | 西南交通大学 | 基于脑电时序数据测定的高速铁路调度员疲劳预测方法 |
| CN114287937A (zh) * | 2021-11-24 | 2022-04-08 | 杭州电子科技大学 | 一种基于多模态卷积神经网络的情绪识别方法 |
| CN114305454A (zh) * | 2021-11-22 | 2022-04-12 | 广东电网有限责任公司 | 基于域对抗神经网络的疲劳状态识别方法及装置 |
| CN114424941A (zh) * | 2022-01-26 | 2022-05-03 | 广东电网有限责任公司 | 疲劳检测模型构建方法、疲劳检测方法、装置及设备 |
| CN114533062A (zh) * | 2022-01-14 | 2022-05-27 | 中国人民解放军火箭军工程大学 | 基于微分熵和二叉树支持向量机的脑疲劳检测方法及装置 |
| CN114699080A (zh) * | 2022-04-28 | 2022-07-05 | 电子科技大学 | 一种基于融合特征的驾驶员精神紧张程度识别方法 |
| CN115281676A (zh) * | 2022-10-08 | 2022-11-04 | 齐鲁工业大学 | 基于gru神经网络和ecg信号的疲劳检测方法 |
| CN115568864A (zh) * | 2022-09-30 | 2023-01-06 | 东北林业大学 | 一种驾驶行为信息采集及检测系统 |
| CN115919315A (zh) * | 2022-11-24 | 2023-04-07 | 华中农业大学 | 一种基于eeg通道多尺度并行卷积的跨主体疲劳检测深度学习方法 |
| CN116304563A (zh) * | 2023-02-09 | 2023-06-23 | 清华大学 | 施工工人的疲劳程度计算方法及系统 |
| CN116350190A (zh) * | 2023-05-29 | 2023-06-30 | 中国第一汽车股份有限公司 | 一种驾驶能力确定方法、电子设备及存储介质 |
| CN116807479A (zh) * | 2023-08-28 | 2023-09-29 | 成都信息工程大学 | 一种基于多模态深度神经网络的驾驶注意力检测方法 |
| CN116889411A (zh) * | 2023-07-21 | 2023-10-17 | 北京交通大学 | 自动驾驶安全员脑电信息语义分析方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160090097A1 (en) * | 2014-09-29 | 2016-03-31 | The Boeing Company | System for fatigue detection using a suite of physiological measurement devices |
| CN109271522A (zh) * | 2018-11-20 | 2019-01-25 | 深圳大学 | 基于深度混合模型迁移学习的评论情感分类方法及系统 |
| CN109472224A (zh) * | 2018-10-26 | 2019-03-15 | 蓝色传感（北京）科技有限公司 | 基于eeg与eog融合的疲劳驾驶检测系统 |
| CN109753566A (zh) * | 2019-01-09 | 2019-05-14 | 大连民族大学 | 基于卷积神经网络的跨领域情感分析的模型训练方法 |
| CN109820525A (zh) * | 2019-01-23 | 2019-05-31 | 五邑大学 | 一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法 |
| CN109998525A (zh) * | 2019-04-03 | 2019-07-12 | 哈尔滨理工大学 | 一种基于判别式深度置信网络的心律失常自动分类方法 |
-
2019
- 2019-11-01 CN CN201911059617.XA patent/CN110772268A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160090097A1 (en) * | 2014-09-29 | 2016-03-31 | The Boeing Company | System for fatigue detection using a suite of physiological measurement devices |
| CN109472224A (zh) * | 2018-10-26 | 2019-03-15 | 蓝色传感（北京）科技有限公司 | 基于eeg与eog融合的疲劳驾驶检测系统 |
| CN109271522A (zh) * | 2018-11-20 | 2019-01-25 | 深圳大学 | 基于深度混合模型迁移学习的评论情感分类方法及系统 |
| CN109753566A (zh) * | 2019-01-09 | 2019-05-14 | 大连民族大学 | 基于卷积神经网络的跨领域情感分析的模型训练方法 |
| CN109820525A (zh) * | 2019-01-23 | 2019-05-31 | 五邑大学 | 一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法 |
| CN109998525A (zh) * | 2019-04-03 | 2019-07-12 | 哈尔滨理工大学 | 一种基于判别式深度置信网络的心律失常自动分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| WEI LONGZHENG: "A multimodal approach to estimating", 《JOURNAL OF NEURAL ENGINEERING》 * |
| 谢平: "基于多生理信息及迁移学习的驾驶疲劳评估", 《仪器仪表学报》 * |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113384277A (zh) * | 2020-02-26 | 2021-09-14 | 京东方科技集团股份有限公司 | 心电数据的分类方法及分类系统 |
| CN111543982A (zh) * | 2020-04-01 | 2020-08-18 | 五邑大学 | 一种疲劳驾驶检测方法、装置及存储介质 |
| CN111603158A (zh) * | 2020-04-21 | 2020-09-01 | 苏州乐达纳米科技有限公司 | 基于电生理信号人工智能分析的疲劳驾驶告警方法及系统 |
| CN112438741A (zh) * | 2020-09-30 | 2021-03-05 | 燕山大学 | 一种基于脑电特征迁移学习的驾驶状态检测方法及系统 |
| CN112528815A (zh) * | 2020-12-05 | 2021-03-19 | 西安电子科技大学 | 基于多模态信息融合的疲劳驾驶检测方法 |
| CN112527959A (zh) * | 2020-12-11 | 2021-03-19 | 重庆邮电大学 | 基于无池化卷积嵌入和注意分布神经网络的新闻分类方法 |
| CN112527959B (zh) * | 2020-12-11 | 2023-05-30 | 重庆邮电大学 | 基于无池化卷积嵌入和注意分布神经网络的新闻分类方法 |
| CN112617835B (zh) * | 2020-12-17 | 2022-12-13 | 南京邮电大学 | 一种基于迁移学习的多特征融合疲劳检测方法 |
| CN112617835A (zh) * | 2020-12-17 | 2021-04-09 | 南京邮电大学 | 一种基于迁移学习的多特征融合疲劳检测方法 |
| CN113143273A (zh) * | 2021-03-23 | 2021-07-23 | 陕西师范大学 | 一种在线视频学习中学习者注意状态智能检测系统及方法 |
| CN113116352A (zh) * | 2021-03-24 | 2021-07-16 | 深兰科技（上海）有限公司 | 疲劳状态预测的方法、装置、电子设备及存储介质 |
| CN114081491A (zh) * | 2021-11-15 | 2022-02-25 | 西南交通大学 | 基于脑电时序数据测定的高速铁路调度员疲劳预测方法 |
| CN114081491B (zh) * | 2021-11-15 | 2023-04-25 | 西南交通大学 | 基于脑电时序数据测定的高速铁路调度员疲劳预测方法 |
| CN114305454A (zh) * | 2021-11-22 | 2022-04-12 | 广东电网有限责任公司 | 基于域对抗神经网络的疲劳状态识别方法及装置 |
| CN114287937A (zh) * | 2021-11-24 | 2022-04-08 | 杭州电子科技大学 | 一种基于多模态卷积神经网络的情绪识别方法 |
| CN114533062A (zh) * | 2022-01-14 | 2022-05-27 | 中国人民解放军火箭军工程大学 | 基于微分熵和二叉树支持向量机的脑疲劳检测方法及装置 |
| CN114533062B (zh) * | 2022-01-14 | 2024-04-23 | 中国人民解放军火箭军工程大学 | 基于微分熵和二叉树支持向量机的脑疲劳检测方法及装置 |
| CN114424941A (zh) * | 2022-01-26 | 2022-05-03 | 广东电网有限责任公司 | 疲劳检测模型构建方法、疲劳检测方法、装置及设备 |
| CN114699080A (zh) * | 2022-04-28 | 2022-07-05 | 电子科技大学 | 一种基于融合特征的驾驶员精神紧张程度识别方法 |
| CN114699080B (zh) * | 2022-04-28 | 2023-04-25 | 电子科技大学 | 一种基于融合特征的驾驶员精神紧张程度识别方法 |
| CN115568864A (zh) * | 2022-09-30 | 2023-01-06 | 东北林业大学 | 一种驾驶行为信息采集及检测系统 |
| CN115281676A (zh) * | 2022-10-08 | 2022-11-04 | 齐鲁工业大学 | 基于gru神经网络和ecg信号的疲劳检测方法 |
| CN115919315B (zh) * | 2022-11-24 | 2023-08-29 | 华中农业大学 | 一种基于eeg通道多尺度并行卷积的跨主体疲劳检测深度学习方法 |
| CN115919315A (zh) * | 2022-11-24 | 2023-04-07 | 华中农业大学 | 一种基于eeg通道多尺度并行卷积的跨主体疲劳检测深度学习方法 |
| CN116304563A (zh) * | 2023-02-09 | 2023-06-23 | 清华大学 | 施工工人的疲劳程度计算方法及系统 |
| CN116304563B (zh) * | 2023-02-09 | 2024-02-06 | 清华大学 | 施工工人的疲劳程度计算方法及系统 |
| CN116350190A (zh) * | 2023-05-29 | 2023-06-30 | 中国第一汽车股份有限公司 | 一种驾驶能力确定方法、电子设备及存储介质 |
| CN116350190B (zh) * | 2023-05-29 | 2023-08-18 | 中国第一汽车股份有限公司 | 一种驾驶能力确定方法、电子设备及存储介质 |
| CN116889411A (zh) * | 2023-07-21 | 2023-10-17 | 北京交通大学 | 自动驾驶安全员脑电信息语义分析方法及系统 |
| CN116807479A (zh) * | 2023-08-28 | 2023-09-29 | 成都信息工程大学 | 一种基于多模态深度神经网络的驾驶注意力检测方法 |
| CN116807479B (zh) * | 2023-08-28 | 2023-11-10 | 成都信息工程大学 | 一种基于多模态深度神经网络的驾驶注意力检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110772268A (zh) | 一种多模脑电信号及1dcnn迁移的驾驶疲劳状态识别方法 | |
| Zhu et al. | Vehicle driver drowsiness detection method using wearable EEG based on convolution neural network | |
| Zhu et al. | EOG-based drowsiness detection using convolutional neural networks | |
| CN106108894A (zh) | 一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法 | |
| Hsu et al. | Automatic sleep stage recurrent neural classifier using energy features of EEG signals | |
| Cheng et al. | A motor imagery EEG feature extraction method based on energy principal component analysis and deep belief networks | |
| Wu et al. | A regression method with subnetwork neurons for vigilance estimation using EOG and EEG | |
| Hong et al. | Intelligent system for drowsiness recognition based on ear canal electroencephalography with photoplethysmography and electrocardiography | |
| CN101828921A (zh) | 基于视觉诱发脑电vep的身份识别方法 | |
| Peng et al. | 3D-STCNN: Spatiotemporal Convolutional Neural Network based on EEG 3D features for detecting driving fatigue | |
| Tian et al. | A hierarchical classification method for automatic sleep scoring using multiscale entropy features and proportion information of sleep architecture | |
| Shalash | Driver fatigue detection with single EEG channel using transfer learning | |
| CN101843491A (zh) | 基于双线性模型的静息脑电身份识别方法 | |
| CN113925459A (zh) | 一种基于脑电特征融合的睡眠分期方法 | |
| CN110390272A (zh) | 一种基于加权主成分分析的eeg信号特征降维方法 | |
| Pan et al. | ST-SCGNN: a spatio-temporal self-constructing graph neural network for cross-subject EEG-based emotion recognition and consciousness detection | |
| Zeng et al. | Epileptic seizure detection with deep EEG features by convolutional neural network and shallow classifiers | |
| Sun et al. | Automatic Epileptic Seizure Detection Using PSO‐Based Feature Selection and Multilevel Spectral Analysis for EEG Signals | |
| Othmani et al. | EEG-based neural networks approaches for fatigue and drowsiness detection: A survey | |
| Abdollahpour et al. | A two-stage learning convolutional neural network for sleep stage classification using a filterbank and single feature | |
| Ma et al. | Dynamic threshold distribution domain adaptation network: A cross-subject fatigue recognition method based on EEG signals | |
| Wang et al. | Real driving environment EEG-based detection of driving fatigue using the wavelet scattering network | |
| Jiao et al. | Detecting slow eye movements with bimodal-LSTM for recognizing drivers’ sleep onset period | |
| CN117332259A (zh) | 基于信息融合的运动想象脑机接口时频组合优化方法 | |
| Murugappan et al. | Subtractive fuzzy classifier based driver drowsiness levels classification using EEG |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200211 |
|
| RJ01 | Rejection of invention patent application after publication |