CN116304643B - 脑力负荷检测及模型训练方法、装置、设备及存储介质 - Google Patents
脑力负荷检测及模型训练方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116304643B CN116304643B CN202310559305.5A CN202310559305A CN116304643B CN 116304643 B CN116304643 B CN 116304643B CN 202310559305 A CN202310559305 A CN 202310559305A CN 116304643 B CN116304643 B CN 116304643B
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram
- detected
- characteristic
- feature
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003340 mental effect Effects 0.000 title claims abstract description 133
- 238000001514 detection method Methods 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012549 training Methods 0.000 title claims abstract description 43
- 230000004424 eye movement Effects 0.000 claims abstract description 66
- 238000001228 spectrum Methods 0.000 claims abstract description 50
- 230000004927 fusion Effects 0.000 claims abstract description 48
- 210000004556 brain Anatomy 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 31
- 230000000638 stimulation Effects 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 13
- 210000001747 pupil Anatomy 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 230000035945 sensitivity Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 210000002569 neuron Anatomy 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000033764 rhythmic process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 206010029412 Nightmare Diseases 0.000 description 1
- 208000028017 Psychotic disease Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000000147 hypnotic effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000031893 sensory processing Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
Abstract
本发明实施例公开的脑力负荷检测及模型训练方法、装置、设备及存储介质，属于生物电信号处理技术领域，主要包括：分别对用户的脑电信号、心率信息以及眼动信息进行采集和特征提取，对应得到用户的待检测脑电特征、待检测心率特征以及待检测眼动特征；待检测脑电特征包括脑电信号的能量谱特征，模糊熵特征以及信息熵特征；将待检测脑电特征、待检测心率特征以及待检测眼动特征进行特征融合得到用户的待检测融合生理特征；以及，将待检测融合生理特征作为预训练的脑力负荷检测模型的输入，利用脑力负荷检测模型检测并输出得到用户的脑力负荷。本发明实施例能够有效提高对用户脑力负荷的检测准确率和效率。
Description
技术领域
本发明涉及生物电信号处理技术领域，尤其涉及一种脑力负荷检测及模型训练方法、装置、设备及存储介质。
背景技术
脑力负荷的大小对人们的日常活动影响颇大。例如，驾驶员在驾驶车辆的过程中，脑力负荷过大会加速驾驶疲劳，增加安全驾驶风险。由于脑电等信号对脑力负荷检测的出色表现，近年来针对脑电等其他人体生理信号进行客观脑力负荷检测的研究越来越多。但是现有技术在不能很好地利用多模态生理信号，使得对脑力负荷检测的准确率较低。
发明内容
本发明实施例提供一种脑力负荷检测及模型训练方法、装置、设备及存储介质，能够充分有效地利用用户的多模态生理信号，提高对用户力脑力负荷的检测准确率。
第一方面，本发明实施例提供一种脑力负荷检测方法，包括：分别对用户的脑电信号、心率信息以及眼动信息进行采集和特征提取，对应得到所述用户的待检测脑电特征、待检测心率特征以及待检测眼动特征；所述待检测脑电特征包括所述脑电信号的能量谱特征，模糊熵特征以及信息熵特征；将所述待检测脑电特征、所述待检测心率特征以及所述待检测眼动特征进行特征融合得到所述用户的待检测融合生理特征；以及，将所述待检测融合生理特征作为预训练的脑力负荷检测模型的输入，利用所述脑力负荷检测模型检测并输出得到所述用户的脑力负荷。
第二方面，本发明实施例提供一种脑力负荷检测模型训练方法，包括：分别对受试者面对多个刺激场景的脑电信号、心率信息以及眼动信息进行采集和特征提取，对应得到分别与每个刺激场景一一对应的多个样本脑电特征，多个样本心率特征和多个样本眼动特征；所述样本脑电特征包括所述脑电信号的能量谱特征，模糊熵特征以及信息熵特征；将所述每个刺激场景对应的所述样本脑电特征、所述样本心率特征以及所述样本眼动特征进行融合得到多个样本融合生理特征；采集获取所述受试者面对所述每个刺激场景时的脑力负荷得到多个样本脑力负荷；以及，利用所述多个样本融合生理特征以及所述多个样本脑力负荷对神经网络进行训练得到脑力负荷检测模型。
第三方面，本发明实施例提供一种脑力负荷检测装置，包括：特征获取模块，用于分别对用户的脑电信号、心率信息以及眼动信息进行采集和特征提取，对应得到所述用户的待检测脑电特征、待检测心率特征以及待检测眼动特征；所述待检测脑电特征包括所述脑电信号的能量谱特征，模糊熵特征以及信息熵特征；特征融合模块，用于将所述待检测脑电特征、所述待检测心率特征以及所述待检测眼动特征进行特征融合得到所述用户的待检测融合生理特征；以及检测模块，用于将所述待检测融合生理特征作为预训练的脑力负荷检测模型的输入，利用所述脑力负荷检测模型检测并输出得到所述用户的脑力负荷。
第四方面，本发明实施例提供一种脑力负荷检测模型训练装置，包括：样本特征提取模块，用于分别对受试者面对多个刺激场景的脑电信号、心率信息以及眼动信息进行采集和特征提取，对应得到分别与每个刺激场景一一对应的多个样本脑电特征，多个样本心率特征和多个样本眼动特征；所述样本脑电特征包括所述脑电信号的能量谱特征，模糊熵特征以及信息熵特征；样本特征融合模块，用于将所述每个刺激场景对应的所述样本脑电特征、所述样本心率特征以及所述样本眼动特征进行融合得到多个样本融合生理特征；样本脑力负荷获取模块，用于采集获取所述受试者面对所述每个刺激场景时的脑力负荷得到多个样本脑力负荷；以及，训练模块，用于利用所述多个样本融合生理特征以及所述多个样本脑力负荷对神经网络进行训练得到脑力负荷检测模型。
第五方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的脑力负荷检测方法或者脑力负荷检测模型训练方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的脑力负荷检测方法或者脑力负荷检测模型训练方法。
本发明实施例中，通过基于包括能量谱特征、模糊熵特征以及信息熵特征的脑电特征与心率特征和眼动特征的融合特征，利用脑力负荷检测模型对用户的脑力负荷进行检测，能够充分有效地利用用户的多模态生理信号，有效提高对用户脑力负荷的检测准确率和效率。
附图说明
图1是本发明实施例提供的脑力负荷检测方法的一个流程示意图；
图2是本发明实施例提供的脑力负荷检测方法的另一个流程示意图；
图3是本发明实施例提供的脑力负荷检测模型训练方法的一个流程示意图；
图4是本发明实施例提供的脑力负荷检测装置的一个结构示意图；
图5是本发明实施例提供的脑力负荷检测模型训练装置的一个结构示意图；
图6是本发明实施例提供的电子设备的一个结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明实施例提供的脑力负荷检测方法的一个流程示意图，该方法可以由本发明实施例提供的脑力负荷检测装置来执行，该装置可采用软件和/或硬件的方式实现。在一个具体的实施例中，该装置可以集成在电子设备中，电子设备比如可以是计算机、车辆客户端等。以下实施例将以该装置集成在电子设备中为例进行说明。参考图1，该方法具体可以包括如下步骤：
步骤101，分别对用户的脑电信号、心率信息以及眼动信息进行采集和特征提取，对应得到所述用户的待检测脑电特征、待检测心率特征以及待检测眼动特征；所述待检测脑电特征包括所述脑电信号的能量谱特征，模糊熵特征以及信息熵特征。能够利于对待检测脑电特征、待检测心率特征以及待检测眼动特征进行融合，并根据融合特征利用脑力负荷检测模型对用户的脑力负荷进行检测。
具体的，上述用户可以是运行中车辆的驾驶员。
具体的，上述对用户的脑电信号、心率信息以及眼动信息进行采集的过程，可以是在车辆驾驶员驾驶车辆运行的过程中实时进行的。
具体的，可以对最近第一预定时长，例如最近5分钟内，采集的脑电信号、心率信息以及眼动信息进行特征提取，对应得到上述待检测脑电特征、待检测心率特征以及待检测眼动特征。
可选的，上述对用户的脑电信号进行采集的过程可以利用62通道的脑电采集仪进行。上述脑电信号可以是情感脑电数据集（SEED数据集），五种不同的频段：δ频段、θ频段、α频段、β频段和γ频段。其中，δ频段（1-4Hz）：与我们深层次的放松和恢复性睡眠相关。不规则的δ波运动与认知困难及保持意识的问题都息息相关；θ频段（4-8Hz）：在成年人意愿受挫或者抑郁以及精神病患者中这种波极为显著，它普遍存在于人们精神恍惚或者是催眠状态；α频段（8-14Hz）：能够帮助你平静下来，促进更深层次的放松和满足感，人在清醒、安静并闭眼时该节律最为明显；β频段（14-31Hz）：当精神紧张和情绪激动或亢奋时出现此波，当人从噩梦中惊醒时，原来的慢波节律可立即被该节律所替代；γ频段（31-51Hz）：γ波除了参与健康认知功能外，还参与处理更复杂的任务。γ波对学习、记忆和处理非常重要，它被用作我们的感官处理新信息的结合工具。
可选的，上述心率信息包括心率以及心率异变性，可以利用心率仪直接对用户心率和心率异变性进行实时检测获取。
可选的，上述眼动信息包括：眨眼时间，眨眼频率以及瞳孔直径。可以直接利用眼动仪对用户的眨眼时间，眨眼频率以及瞳孔直径进行实时监测获取。
在本发明的可选具体实施例中，对用户的脑电信号进行特征提取得到所述待检测脑电特征的过程包括：根据所述脑电信号对脑力负荷的敏感程度，对所述脑电信号进行滤波得到负荷敏感脑电信号。
具体的，滤波获取对脑力负荷较为敏感的频段的脑电信号，能够避免其他对脑力负荷不敏感频段的脑电信号的干扰，同时降低运算量，节省算力，提高系统相应及对用户脑力负荷的检测效率。
具体的，可以利用滤波器对上述脑电信号进行4-30Hz滤波，保留脑力负荷较为敏感θ、α和β三个频段的脑电信号。
在本发明的可选具体实施例中，对用户的脑电信号进行特征提取得到所述待检测脑电特征的过程包括：根据预设的时间窗对所述负荷敏感脑电信号进行切分得到多个脑电信号切片；以及计算得到每个脑电信号切片对应的能量谱特征，模糊熵特征以及信息熵特征，并对所述每个脑电信号切片对应的能量谱特征，模糊熵特征以及信息熵特征进行拼接得到所述待检测脑电特征。
具体的，脑电信号的时序上连续的信号，如果要进行能量谱特征，模糊熵特征以及信息熵特征，需要将连续的脑电信号划分成多个小段。
具体的，上述时间窗可以是30s。
具体的，可以将所获取的最近5分钟的脑电信号利用30秒的时间窗，切分成10个脑电信号切片。
可选的，上述计算得到每个脑电信号切片对应的能量谱特征，模糊熵特征以及信息熵特征，并对所述每个脑电信号切片对应的能量谱特征，模糊熵特征以及信息熵特征进行拼接得到所述待检测脑电特征的过程包括：将上述每个脑电信号切片进行时频转换得到对应的脑电信号切片频域信号，并计算每个脑电信号切片频域信号能量谱特征、模糊熵特征以及信息熵特征。
在本发明的可选具体实施例中，上述对用户的心率信息进行特征提取得到所述待检测心率特征的过程包括：分别计算得到与每个所述时间窗对应的时段内的所述心率以及所述心率异变性的数值的平均值，以及，对所述心率以及所述心率异变性的数值的平均值进行归一化处理，并拼接得到所述待检测心率特征。
具体的，可以将所获取的最近5分钟内的心率信息，切分为10个30秒的心率信息，并计算每个30s内心率的平均值和心率异变性值的平均值。之后将每个平均值进行归一化后拼接。
在本发明的可选具体实施例中，所述对用户的眼动信息进行特征提取得到所述待检测眼动特征的过程包括：分别计算得到与每个所述时间窗对应的时段内的所述眨眼时间，所述眨眼频率以及所述瞳孔直径的数值的平均值，以及，对所述眨眼时间，所述眨眼频率以及所述瞳孔直径的数值的平均值进行归一化处理，并拼接得到所述待检测眼动特征。
具体的，可以将所获取的最近5分钟内的眼动信息，切分为10个30秒的眼动信息，并计算每个30s内眨眼时间的平均值、眨眼频率的平均值和瞳孔直径的平均值，之后将每个平均值进行归一化后拼接。
步骤102，将所述待检测脑电特征、所述待检测心率特征以及所述待检测眼动特征进行特征融合得到所述用户的待检测融合生理特征。能够利于根据融合特征利用脑力负荷检测模型对用户的脑力负荷进行检测。
在本发明的可选具体实施例中，上述将所述待检测脑电特征、所述待检测心率特征以及所述待检测眼动特征进行特征融合得到所述用户的待检测融合生理特征的过程包括：对所述待检测脑电特征、所述待检测心率特征以及所述待检测眼动特征进行拼接得到所述待检测融合生理特征。
具体的，可以通过其他的融合方法，例如相加融合等，将上述待检测脑电特征、待检测心率特征以及待检测眼动特征进行融合得到上述待检测融合生理特征。
步骤103，将所述待检测融合生理特征作为预训练的脑力负荷检测模型的输入，利用所述脑力负荷检测模型检测并输出得到所述用户的脑力负荷。能够根据对脑电信号，心率信息以及眼动信息进行充分特征提取并的融合生理特征，准确、高效地对用户的脑力负荷进行检测。
具体的，上述脑力负荷检测模型可以是对多层前馈神经网络进行预训练得到的。
具体的，上述多层前馈神经网络可以多层前馈神经网络。
下面进一步介绍脑力负荷检测方法的方法，如图2所示，即图1中的步骤101可以包括如下步骤：
步骤1011，对所述每个脑电信号切片进行频段划分得到所述每个脑电信号切片的多个脑电信号频带。
具体的，也可以将上述频段划分的过程设置在根据预设的时间窗进行切分之前。
具体的，当用户的脑力负荷发生变化时，对脑力负荷敏感的脑电信号，不同人不同频段的敏感程度也是不同的，因此可以将脑电信号切片划分为多个频带，以提高检测效率和准确率。
具体的，可以将每个脑电信号切片θ、α和β三个频段。
步骤1012，对所述每个脑电信号切片的每个脑电信号频带进行时频转换得到所述每个脑电信号切片的多个脑电频域信号。
具体的，脑电信号是时域信号，将时域信号转化成频域信号才能够进行能量谱特征、模糊熵特征以及信息熵特征的提取。
具体的，可以对上述每个脑电信号切片的每个脑电信号频带进行傅里叶变换，得到对应的脑电频域信号。
步骤1013，对所述每个脑电信号切片的每个脑电频域信号的能量谱占所述每个脑电信号切片的所述多个脑电频域信号的总能量谱的比例进行计算，得到所述每个脑电信号切片对应的能量谱特征。
具体的，可以采用以下公式计算能量谱：
其中，X（f）为快速傅里叶变换后的频域信号，down是该频域最低频率，up是最高频率。
步骤1014，对所述每个脑电信号切片的每个脑电频域信号的模糊熵进行计算得到所述每个脑电信号切片对应的模糊熵特征。
具体的，可以采用以下方式计算模糊熵：
（1）对所述每个脑电信号切片的每个脑电频域信号X进行相空间重构，得到时间序列Y：
其中m为嵌入维数，为均值，N表示每个脑电信号切片的时间序列的长度，即每个脑电信号切片的时间序列包括的点的个数。
（2）定义两个时间序列Y（i）与Y（j）的距离为序列Y（i）中的点与时间序列Y（j）中的点的最大距离：
其中k用来遍历序列Y（i）以及序列Y（j）中的点。
（3）引入模糊隶属函数，利用模糊函数计算时间序列Y（i）与Y（j）之间的相似度：
其中r为相似容限度，i，j=1,2，…,N-m+1,切i≠j。
（4）定义函数：
（5）原时间序列的模糊熵为：
（6）对于有限长的时间序列，模糊熵估计为：
以及1015，对所述每个脑电信号切片的每个脑电频域信号的信息熵进行计算得到所述每个脑电信号切片对应的信息熵特征。
具体的，可以采用以下公式计算信息熵：
其中n为所分片段个数，p（xi）表示x取xi的概率。
本实施例通过对各个脑电信号切片进行频段划分，可以提高对用户的脑电信号进行检测时的检测效率和准确率。
图3为本发明实施例提供的脑力负荷检测模型训练方法的一个流程示意图，该方法可以由本发明实施例提供的脑力负荷检测模型训练装置来执行，该装置可采用软件和/或硬件的方式实现。在一个具体的实施例中，该装置可以集成在电子设备中，电子设备比如可以是计算机、车辆客户端及服务器等。以下实施例将以该装置集成在电子设备中为例进行说明。参考图3，该方法具体可以包括如下步骤：
步骤301，分别对受试者面对多个刺激场景的脑电信号、心率信息以及眼动信息进行采集和特征提取，对应得到分别与每个刺激场景一一对应的多个样本脑电特征，多个样本心率特征和多个样本眼动特征；所述样本脑电特征包括所述脑电信号的能量谱特征，模糊熵特征以及信息熵特征。
具体的，上述受试者优选为本申请实施例中的用户。
具体的，上述刺激场景包括：受试者驾驶车辆的过程中会面对的不同路况下的车辆运行场景，具体可以是真实的车辆运行场景，也可以是模拟车辆运行场景。
具体的，受试者面对真实车辆运行场景可以是受试者观看真是车辆运行场景，也可以是受试者驾驶车辆在真实车辆运行场景中运行。
具体的，受试者面对虚拟车辆运行场景可以是受试者观看虚拟车辆运行场景的视频，也可以是利用模拟驾驶器，使受试者模拟在上述虚拟车辆运行场景中运行。
具体的，上述刺激场景优选安静、温度适宜、无其他明显干扰的实验环境。
步骤302，将所述每个刺激场景对应的所述样本脑电特征、所述样本心率特征以及所述样本眼动特征进行融合得到多个样本融合生理特征。
步骤303，采集获取所述受试者面对所述每个刺激场景时的脑力负荷得到多个样本脑力负荷。
具体的，上述采集获取所述受试者面对所述每个刺激场景时的脑力负荷的过程可以包括：记录受试者根据主观负荷量表（SWAT量表）对面对上述每个刺激场景的脑力负荷等级描述。
例如，可以每隔5分钟记录一次受试者对利用驾驶模拟器在虚拟车辆运行环境中运行时的脑力负荷等级的描述。
具体的，上述脑力负荷等级可以分为低、中、高三个等级。
以及步骤304，利用所述多个样本融合生理特征以及所述多个样本脑力负荷对神经网络进行训练得到脑力负荷检测模型。
具体的，上述神经网络可以是卷积神经网络、多层前馈神经网络等，优选多层前馈神经网络。
具体的，上述利用所述多个样本融合生理特征以及所述多个样本脑力负荷对神经网络进行训练得到脑力负荷检测模型的过程，具体可为包括：
L0：将每个样本融合生理特征作为输入经由多层前馈神经网络的输入层进行输入。
具体的，输入层的维度可以是m*130，m代表采集次数，130代表数据的种类。
L1：在所述多层前馈神经网络的多层前馈神经网络的第一隐藏层，利用第一激活函数根据上述输入向量输出得到浅层多模态特征。
可选的，上述第一激活函数可以是PReLU激活函数。
具体的，第一隐藏层可以由660个神经元构成，在神经元上采用PReLU激活函数对线性运算后的神经元进行激活，其中PReLU函数可通过训练确定激活函数中的最佳参数，最终输出矩阵的大小为m*660。
L2：在所述多层前馈神经网络的多层前馈神经网络的第二隐藏层，利用第二激活函数根据上述浅层多模态特征输出得到中层多模态特征。
可选的，上述第二激活函数可以是tanh激活函数。
具体的，第二隐藏层由660个神经元构成，在神经元上采用tanh激活函数对线性运算后的矩阵值进行激活，最终输出矩阵的大小为m*660。
L3：在所述多层前馈神经网络的多层前馈神经网络的第三隐藏层，利用第三激活函数根据上述中层多模态特征输出得到深层多模态特征。
可选的，上述第三激活函数可以是LeakyRelu激活函数。
具体的，第三隐藏层可以由660个神经元构成，在神经元上采用LeakyRelu激活函数对线性运算后的神经元进行激活，LeakyRelu中的超参选取为0.012，并对激活后的值进行归一化，最终输出矩阵的大小也为m*660。
L4：在所述多层前馈神经网络的全连接层将上述深层多模态特征一维化得到一维化特征。
具体的，可以利用flatten函数将深层多模态特征进行一维化，最终输出矩阵大小为m*180。
L5：在所述多层前馈神经网络的输出层根据所述一维化特征输出得到与所述每个样本融合生理特征对应的训练脑力负荷。
具体的，可以利用softmax函数输出上述对应的训练脑力负荷。
L6：对所述多层前馈神经网络的参数进行调整以使与所述每个样本融合生理特征对应的训练脑力负荷，与对应的样本脑力负荷相符合。
可选的，脑力负荷包含低、中、高三种，其标签可以记为1，2，3。
具体的，可以根据随机梯度下降原则及L2正则化化算法，反向传播修正并优化模型中的参数，直至模型达到理想分类效果。
在本发明的可选具体实施例中，对训练得到脑力负荷检测模型进行测试。能够进一步提高脑力负荷检测模型的检测准确性。
可选的，利用五折交叉验证法对上述脑力负荷检测模型进行测试。
可选的，在训练整个网络时，使用负对数似然性作为损失函数来估计分类损失，加快收敛速度，提高分类能力。
图4是本发明实施例提供的脑力负荷检测装置的一个结构图，该装置适用于执行本发明实施例提供的脑力负荷检测方法。如图4所示，该装置具体可以包括：
特征获取模块401，用于分别对用户的脑电信号、心率信息以及眼动信息进行采集和特征提取，对应得到所述用户的待检测脑电特征、待检测心率特征以及待检测眼动特征；所述待检测脑电特征包括所述脑电信号的能量谱特征，模糊熵特征以及信息熵特征，能够利于对待检测脑电特征、待检测心率特征以及待检测眼动特征进行融合，并根据融合特征利用脑力负荷检测模型对用户的脑力负荷进行检测。
可选的，所述心率信息包括：心率以及心率异变性；所述眼动信息包括：眨眼时间，眨眼频率以及瞳孔直径。
可选的，特征获取模块401可具体用于根据所述脑电信号对脑力负荷的敏感程度，对所述脑电信号进行滤波得到负荷敏感脑电信号；根据预设的时间窗对所述负荷敏感脑电信号进行切分得到多个脑电信号切片；以及，计算得到每个脑电信号切片对应的能量谱特征，模糊熵特征以及信息熵特征，并对所述每个脑电信号切片对应的能量谱特征，模糊熵特征以及信息熵特征进行拼接得到所述待检测脑电特征。
可选的，特征获取模块401可具体用于对所述每个脑电信号切片进行频段划分得到所述每个脑电信号切片的多个脑电信号频带；对所述每个脑电信号切片的每个脑电信号频带进行时频转换得到所述每个脑电信号切片的多个脑电频域信号；对所述每个脑电信号切片的每个脑电频域信号的能量谱占所述每个脑电信号切片的所述多个脑电频域信号的总能量谱的比例进行计算，得到所述每个脑电信号切片对应的能量谱特征；对所述每个脑电信号切片的每个脑电频域信号的模糊熵进行计算得到所述每个脑电信号切片对应的模糊熵特征；以及对所述每个脑电信号切片的每个脑电频域信号的信息熵进行计算得到所述每个脑电信号切片对应的信息熵特征。
可选的，特征获取模块401可具体用于分别计算得到与每个所述时间窗对应的时段内的所述心率以及所述心率异变性的数值的平均值，以及，对所述心率以及所述心率异变性的数值的平均值进行归一化处理，并拼接得到所述待检测心率特征。
可选的，特征获取模块401可具体用于分别计算得到与每个所述时间窗对应的时段内的所述眨眼时间，所述眨眼频率以及所述瞳孔直径的数值的平均值，以及，对所述眨眼时间，所述眨眼频率以及所述瞳孔直径的数值的平均值进行归一化处理，并拼接得到所述待检测眼动特征。
特征融合模块402，用于将所述待检测脑电特征、所述待检测心率特征以及所述待检测眼动特征进行特征融合得到所述用户的待检测融合生理特征。能够利于根据融合特征利用脑力负荷检测模型对用户的脑力负荷进行检测。
可选的，特征融合模块402可具体用于对所述待检测脑电特征、所述待检测心率特征以及所述待检测眼动特征进行拼接得到所述待检测融合生理特征。
检测模块403，用于将所述待检测融合生理特征作为预训练的脑力负荷检测模型的输入，利用所述脑力负荷检测模型检测并输出得到所述用户的脑力负荷，能够根据对脑电信号，心率信息以及眼动信息进行充分特征提取并的融合生理特征，准确、高效地对用户的脑力负荷进行检测。
本发明实施例提供的脑力负荷检测装置，能够利用脑力负荷检测模型对用户的脑力负荷进行检测，能够充分有效地利用用户的多模态生理信号，有效提高对用户脑力负荷的检测准确率和效率。
图5是本发明实施例提供的脑力负荷检测模型训练装置的一个结构图，该装置适用于执行本发明实施例提供的脑力负荷检测模型训练方法。如图5所示，该装置具体可以包括：
样本特征提取模块501，用于分别对受试者面对多个刺激场景的脑电信号、心率信息以及眼动信息进行采集和特征提取，对应得到分别与每个刺激场景一一对应的多个样本脑电特征，多个样本心率特征和多个样本眼动特征；所述样本脑电特征包括所述脑电信号的能量谱特征，模糊熵特征以及信息熵特征。
样本特征融合模块502，用于将所述每个刺激场景对应的所述样本脑电特征、所述样本心率特征以及所述样本眼动特征进行融合得到多个样本融合生理特征。
样本脑力负荷获取模块503，用于采集获取所述受试者面对所述每个刺激场景时的脑力负荷得到多个样本脑力负荷。
以及训练模块504，用于利用所述多个样本融合生理特征以及所述多个样本脑力负荷对神经网络进行训练得到脑力负荷检测模型。
可选的，上述神经网络为多层前馈神经网络。
可选的，上述训练模块504能够具体用于将每个样本融合生理特征作为输入经由所述多层前馈神经网络的输入层进行输入；在所述多层前馈神经网络的第一隐藏层利用第一激活函数根据上述输入向量输出得到浅层多模态特征；在所述多层前馈神经网络的第二隐藏层利用第二激活函数根据所述浅层多模态特征输出得到中层多模态特征；在所述多层前馈神经网络的第三隐藏层利用第三激活函数根据所述中层多模态特征输出得到深层多模态特征；在所述多层前馈神经网络的全连接层对所述深层多模态特征进行一维化处理得到一维化特征；在所述多层前馈神经网络的输出层根据所述一维化特征输出得到与所述每个样本融合生理特征对应的训练脑力负荷；以及，对所述多层前馈神经网络的参数进行调整以使与所述每个样本融合生理特征对应的训练脑力负荷，与对应的样本脑力负荷相符合。
本领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述功能模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例提供的脑力负荷检测方法或者脑力负荷检测模型训练方法。
本发明实施例还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例提供的脑力负荷检测方法或者脑力负荷检测模型训练方法。
下面参考图6，其示出了适于用来实现本发明实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块和/或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块和/或单元也可以设置在处理器中，例如，可以描述为：一种处理器包括特征获取模块、特征融合模块、和检测模块；或者，可以描述为：一种处理器包括样本特征提取模块、样本特征融合模块、样本脑力负荷获取模块和训练模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种脑力负荷检测方法，其特征在于，包括：
分别对用户的脑电信号、心率信息以及眼动信息进行采集和特征提取，对应得到所述用户的待检测脑电特征、待检测心率特征以及待检测眼动特征；所述待检测脑电特征包括所述脑电信号的能量谱特征，模糊熵特征以及信息熵特征；
将所述待检测脑电特征、所述待检测心率特征以及所述待检测眼动特征进行特征融合得到所述用户的待检测融合生理特征；以及
将所述待检测融合生理特征作为预训练的脑力负荷检测模型的输入，利用所述脑力负荷检测模型检测并输出得到所述用户的脑力负荷；
其中所述对用户的脑电信号进行特征提取得到所述待检测脑电特征的过程包括：
根据所述脑电信号对脑力负荷的敏感程度，对所述脑电信号进行滤波得到负荷敏感脑电信号；根据预设的时间窗对所述负荷敏感脑电信号进行切分得到多个脑电信号切片；以及计算得到每个脑电信号切片对应的能量谱特征，模糊熵特征以及信息熵特征，并对所述每个脑电信号切片对应的能量谱特征，模糊熵特征以及信息熵特征进行拼接得到所述待检测脑电特征；
所述计算得到每个脑电信号切片对应的能量谱特征，模糊熵特征以及信息熵特征的过程包括：
对所述每个脑电信号切片进行频段划分得到所述每个脑电信号切片的多个脑电信号频带；对所述每个脑电信号切片的每个脑电信号频带进行时频转换得到所述每个脑电信号切片的多个脑电频域信号；对所述每个脑电信号切片的每个脑电频域信号的能量谱占所述每个脑电信号切片的所述多个脑电频域信号的总能量谱的比例进行计算，得到所述每个脑电信号切片对应的能量谱特征；对所述每个脑电信号切片的每个脑电频域信号的模糊熵进行计算得到所述每个脑电信号切片对应的模糊熵特征；以及对所述每个脑电信号切片的每个脑电频域信号的信息熵进行计算得到所述每个脑电信号切片对应的信息熵特征。
2.根据权利要求1所述的脑力负荷检测方法，其特征在于，
所述心率信息包括：心率以及心率异变性；
所述眼动信息包括：眨眼时间，眨眼频率以及瞳孔直径。
3.根据权利要求2所述的脑力负荷检测方法，其特征在于，
所述对用户的心率信息进行特征提取得到所述待检测心率特征的过程包括：分别计算得到与每个所述时间窗对应的时段内的所述心率以及所述心率异变性的数值的平均值，以及对所述心率以及所述心率异变性的数值的平均值进行归一化处理，并拼接得到所述待检测心率特征；
所述对用户的眼动信息进行特征提取得到所述待检测眼动特征的过程包括：分别计算得到与每个所述时间窗对应的时段内的所述眨眼时间，所述眨眼频率以及所述瞳孔直径的数值的平均值，以及对所述眨眼时间，所述眨眼频率以及所述瞳孔直径的数值的平均值进行归一化处理，并拼接得到所述待检测眼动特征。
4.根据权利要求1所述的脑力负荷检测方法，其特征在于，所述将所述待检测脑电特征、所述待检测心率特征以及所述待检测眼动特征进行特征融合得到所述用户的待检测融合生理特征的过程包括：
对所述待检测脑电特征、所述待检测心率特征以及所述待检测眼动特征进行拼接得到所述待检测融合生理特征。
5.一种脑力负荷检测模型训练方法，其特征在于，包括：
分别对受试者面对多个刺激场景的脑电信号、心率信息以及眼动信息进行采集和特征提取，对应得到分别与每个刺激场景一一对应的多个样本脑电特征，多个样本心率特征和多个样本眼动特征；所述样本脑电特征包括所述脑电信号的能量谱特征，模糊熵特征以及信息熵特征；
将所述每个刺激场景对应的所述样本脑电特征、所述样本心率特征以及所述样本眼动特征进行融合得到多个样本融合生理特征；
采集获取所述受试者面对所述每个刺激场景时的脑力负荷得到多个样本脑力负荷；以及
利用所述多个样本融合生理特征以及所述多个样本脑力负荷对神经网络进行训练得到脑力负荷检测模型；
所述对受试者面对多个刺激场景的脑电信号进行特征提取得到多个样本脑电特征的过程包括：
根据所述脑电信号对脑力负荷的敏感程度，对所述脑电信号进行滤波得到负荷敏感脑电信号；根据预设的时间窗对所述负荷敏感脑电信号进行切分得到多个脑电信号切片；以及计算得到每个脑电信号切片对应的能量谱特征，模糊熵特征以及信息熵特征，并对所述每个脑电信号切片对应的能量谱特征，模糊熵特征以及信息熵特征进行拼接得到待检测脑电特征；
所述计算得到每个脑电信号切片对应的能量谱特征，模糊熵特征以及信息熵特征的过程包括：
对所述每个脑电信号切片进行频段划分得到所述每个脑电信号切片的多个脑电信号频带；对所述每个脑电信号切片的每个脑电信号频带进行时频转换得到所述每个脑电信号切片的多个脑电频域信号；对所述每个脑电信号切片的每个脑电频域信号的能量谱占所述每个脑电信号切片的所述多个脑电频域信号的总能量谱的比例进行计算，得到所述每个脑电信号切片对应的能量谱特征；对所述每个脑电信号切片的每个脑电频域信号的模糊熵进行计算得到所述每个脑电信号切片对应的模糊熵特征；以及对所述每个脑电信号切片的每个脑电频域信号的信息熵进行计算得到所述每个脑电信号切片对应的信息熵特征。
6.根据权利要求5所述的脑力负荷检测模型训练方法，其特征在于，
所述神经网络为多层前馈神经网络；
所述利用所述多个样本融合生理特征以及所述多个样本脑力负荷对神经网络进行训练得到脑力负荷检测模型的过程包括：
将每个样本融合生理特征作为输入经由所述多层前馈神经网络的输入层进行输入；
在所述多层前馈神经网络的第一隐藏层利用第一激活函数根据上述输入向量输出得到浅层多模态特征；
在所述多层前馈神经网络的第二隐藏层利用第二激活函数根据所述浅层多模态特征输出得到中层多模态特征；
在所述多层前馈神经网络的第三隐藏层利用第三激活函数根据所述中层多模态特征输出得到深层多模态特征；
在所述多层前馈神经网络的全连接层对所述深层多模态特征进行一维化处理得到一维化特征；
在所述多层前馈神经网络的输出层根据所述一维化特征输出得到与所述每个样本融合生理特征对应的训练脑力负荷；以及
对所述多层前馈神经网络的参数进行调整以使与所述每个样本融合生理特征对应的训练脑力负荷，与对应的样本脑力负荷相符合。
7.一种脑力负荷检测装置，其特征在于，包括：
特征获取模块，用于分别对用户的脑电信号、心率信息以及眼动信息进行采集和特征提取，对应得到所述用户的待检测脑电特征、待检测心率特征以及待检测眼动特征；所述待检测脑电特征包括所述脑电信号的能量谱特征，模糊熵特征以及信息熵特征能量谱特征，模糊熵特征以及信息熵特征；
特征融合模块，用于将所述待检测脑电特征、所述待检测心率特征以及所述待检测眼动特征进行特征融合得到所述用户的待检测融合生理特征；以及
检测模块，用于将所述待检测融合生理特征作为预训练的脑力负荷检测模型的输入，利用所述脑力负荷检测模型检测并输出得到所述用户的脑力负荷；
其中所述特征获取模块具体用于，根据所述脑电信号对脑力负荷的敏感程度，对所述脑电信号进行滤波得到负荷敏感脑电信号；根据预设的时间窗对所述负荷敏感脑电信号进行切分得到多个脑电信号切片；对每个脑电信号切片进行频段划分得到所述每个脑电信号切片的多个脑电信号频带；对所述每个脑电信号切片的每个脑电信号频带进行时频转换得到所述每个脑电信号切片的多个脑电频域信号；对所述每个脑电信号切片的每个脑电频域信号的能量谱占所述每个脑电信号切片的所述多个脑电频域信号的总能量谱的比例进行计算，得到所述每个脑电信号切片对应的能量谱特征；对所述每个脑电信号切片的每个脑电频域信号的模糊熵进行计算得到所述每个脑电信号切片对应的模糊熵特征；以及对所述每个脑电信号切片的每个脑电频域信号的信息熵进行计算得到所述每个脑电信号切片对应的信息熵特征；对所述每个脑电信号切片对应的能量谱特征，模糊熵特征以及信息熵特征进行拼接得到所述待检测脑电特征。
8.一种脑力负荷检测模型训练装置，其特征在于，包括：
样本特征提取模块，用于分别对受试者面对多个刺激场景的脑电信号、心率信息以及眼动信息进行采集和特征提取，对应得到分别与每个刺激场景一一对应的多个样本脑电特征，多个样本心率特征和多个样本眼动特征；所述样本脑电特征包括所述脑电信号的能量谱特征，模糊熵特征以及信息熵特征；
样本特征融合模块，用于将所述每个刺激场景对应的所述样本脑电特征、所述样本心率特征以及所述样本眼动特征进行融合得到多个样本融合生理特征；
样本脑力负荷获取模块，用于采集获取所述受试者面对所述每个刺激场景时的脑力负荷得到多个样本脑力负荷；以及
训练模块，用于利用所述多个样本融合生理特征以及所述多个样本脑力负荷对神经网络进行训练得到脑力负荷检测模型；
其中所述样本特征提取模块，具体用于根据所述脑电信号对脑力负荷的敏感程度，对所述脑电信号进行滤波得到负荷敏感脑电信号；根据预设的时间窗对所述负荷敏感脑电信号进行切分得到多个脑电信号切片；对所述每个脑电信号切片进行频段划分得到所述每个脑电信号切片的多个脑电信号频带；对所述每个脑电信号切片的每个脑电信号频带进行时频转换得到所述每个脑电信号切片的多个脑电频域信号；对所述每个脑电信号切片的每个脑电频域信号的能量谱占所述每个脑电信号切片的所述多个脑电频域信号的总能量谱的比例进行计算，得到所述每个脑电信号切片对应的能量谱特征；对所述每个脑电信号切片的每个脑电频域信号的模糊熵进行计算得到所述每个脑电信号切片对应的模糊熵特征；以及对所述每个脑电信号切片的每个脑电频域信号的信息熵进行计算得到所述每个脑电信号切片对应的信息熵特征；对所述每个脑电信号切片对应的能量谱特征，模糊熵特征以及信息熵特征进行拼接得到待检测脑电特征。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4中任一所述的脑力负荷检测方法，或者所述处理器执行所述程序时实现如权利要求5或6中的脑力负荷检测模型训练方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4中任一所述的脑力负荷检测方法，或者该程序被处理器执行时实现如权利要求5或6中的脑力负荷检测模型训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310559305.5A CN116304643B (zh) | 2023-05-18 | 2023-05-18 | 脑力负荷检测及模型训练方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310559305.5A CN116304643B (zh) | 2023-05-18 | 2023-05-18 | 脑力负荷检测及模型训练方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116304643A CN116304643A (zh) | 2023-06-23 |
| CN116304643B true CN116304643B (zh) | 2023-08-11 |
Family
ID=86798159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310559305.5A Active CN116304643B (zh) | 2023-05-18 | 2023-05-18 | 脑力负荷检测及模型训练方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116304643B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103610447A (zh) * | 2013-12-04 | 2014-03-05 | 天津大学 | 一种基于前额脑电信号的脑力负荷在线检测方法 |
| WO2020156589A1 (zh) * | 2019-02-01 | 2020-08-06 | 五邑大学 | 一种疲劳检测方法、装置及其存储介质 |
| CN111839506A (zh) * | 2019-04-30 | 2020-10-30 | 清华大学 | 脑力负荷检测方法及装置 |
| CN112256123A (zh) * | 2020-09-25 | 2021-01-22 | 北京师范大学 | 基于脑负荷的操控工效分析方法、设备及系统 |
| CN113095428A (zh) * | 2021-04-23 | 2021-07-09 | 西安交通大学 | 一种融合脑电和刺激源信息的视频情感分类方法及系统 |
| CN113576481A (zh) * | 2021-09-02 | 2021-11-02 | 北京航空航天大学 | 一种脑力负荷评估方法、装置、设备、介质 |
| CN115017996A (zh) * | 2022-06-15 | 2022-09-06 | 中国铁道科学研究院集团有限公司 | 一种基于多生理参数的脑力负荷预测方法和系统 |
| CN115270849A (zh) * | 2022-06-21 | 2022-11-01 | 西南交通大学 | 一种多模态情感识别方法、装置、设备及可读存储介质 |
-
2023
- 2023-05-18 CN CN202310559305.5A patent/CN116304643B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103610447A (zh) * | 2013-12-04 | 2014-03-05 | 天津大学 | 一种基于前额脑电信号的脑力负荷在线检测方法 |
| WO2020156589A1 (zh) * | 2019-02-01 | 2020-08-06 | 五邑大学 | 一种疲劳检测方法、装置及其存储介质 |
| CN111839506A (zh) * | 2019-04-30 | 2020-10-30 | 清华大学 | 脑力负荷检测方法及装置 |
| CN112256123A (zh) * | 2020-09-25 | 2021-01-22 | 北京师范大学 | 基于脑负荷的操控工效分析方法、设备及系统 |
| CN113095428A (zh) * | 2021-04-23 | 2021-07-09 | 西安交通大学 | 一种融合脑电和刺激源信息的视频情感分类方法及系统 |
| CN113576481A (zh) * | 2021-09-02 | 2021-11-02 | 北京航空航天大学 | 一种脑力负荷评估方法、装置、设备、介质 |
| CN115017996A (zh) * | 2022-06-15 | 2022-09-06 | 中国铁道科学研究院集团有限公司 | 一种基于多生理参数的脑力负荷预测方法和系统 |
| CN115270849A (zh) * | 2022-06-21 | 2022-11-01 | 西南交通大学 | 一种多模态情感识别方法、装置、设备及可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 王禹等.基于脑电信号的脑力负荷监测技术研究现状.航天医学与医学工程.2018,第577-582页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116304643A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Peker | An efficient sleep scoring system based on EEG signal using complex-valued machine learning algorithms | |
| CN110604565A (zh) | 一种基于便携式eeg设备的脑部健康筛查方法 | |
| KR101842750B1 (ko) | 뇌파 훈련을 위한 실시간 시뮬레이터 및 이를 이용한 인터페이스 장치 | |
| CN110946576A (zh) | 一种基于宽度学习的视觉诱发电位识别情绪方法 | |
| CN105147281A (zh) | 便携式意识障碍刺激促醒与评估系统 | |
| CN111920420B (zh) | 一种基于统计学习的患者行为多模态分析与预测系统 | |
| CN111513730A (zh) | 基于多通道生理数据的心理压力预测方法和系统 | |
| CN115153463A (zh) | 睡眠状态识别模型的训练方法、睡眠状态识别方法和装置 | |
| Long et al. | Positive and negative emotion classification based on multi-channel | |
| Venkata Phanikrishna et al. | Deep review of machine learning techniques on detection of drowsiness using EEG signal | |
| CN113723557A (zh) | 一种基于多频带时空卷积网络的抑郁脑电分类系统 | |
| Zainuddin et al. | Performance of support vector machine in classifying EEG signal of dyslexic children using RBF kernel | |
| Akhonda et al. | Stress detection of computer user in office like working environment using neural network | |
| CN116304643B (zh) | 脑力负荷检测及模型训练方法、装置、设备及存储介质 | |
| CN111613338A (zh) | 棘慢复合波检测模型构建方法、系统 | |
| CN115206489A (zh) | 一种基于神经反馈系统的冥想训练方法、装置及电子设备 | |
| Elahi et al. | Galvanic skin response signal based cognitive load classification using machine learning classifier | |
| CN116304642B (zh) | 情绪识别预警及模型训练方法、装置、设备和存储介质 | |
| Melek et al. | Roza: a new and comprehensive metric for evaluating classification systems | |
| Divya et al. | Identification of epileptic seizures using autoencoders and convolutional neural network | |
| Chang | Research on prediction algorithm of employees’ psychological stress based on multifeature fusion | |
| Sharanreddy et al. | An improved approximate entropy based epilepsy seizure detection using multi-wavelet and artificial neural networks | |
| Xin et al. | Stress State Evaluation by Improved Support Vector Machine | |
| Issa et al. | A novel method for gender and age detection based on EEG brain signals. | |
| Moontaha et al. | Wearable EEG-Based Cognitive Load Classification by Personalized and Generalized Model Using Brain Asymmetry. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |