CN114224344A - 基于eeg与迁移学习的疲劳状态实时检测系统 - Google Patents
基于eeg与迁移学习的疲劳状态实时检测系统 Download PDFInfo
- Publication number
- CN114224344A CN114224344A CN202111664458.3A CN202111664458A CN114224344A CN 114224344 A CN114224344 A CN 114224344A CN 202111664458 A CN202111664458 A CN 202111664458A CN 114224344 A CN114224344 A CN 114224344A
- Authority
- CN
- China
- Prior art keywords
- module
- visualization
- wpf
- eeg
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013526 transfer learning Methods 0.000 title claims abstract description 26
- 238000011897 real-time detection Methods 0.000 title claims abstract description 23
- 238000012800 visualization Methods 0.000 claims abstract description 59
- 238000004891 communication Methods 0.000 claims abstract description 41
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 238000013079 data visualisation Methods 0.000 claims abstract description 6
- 238000012216 screening Methods 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims description 17
- 230000006996 mental state Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 230000000284 resting effect Effects 0.000 claims description 12
- 238000001228 spectrum Methods 0.000 claims description 9
- 238000012821 model calculation Methods 0.000 claims description 8
- 210000004556 brain Anatomy 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000013139 quantization Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 206010062519 Poor quality sleep Diseases 0.000 claims description 3
- 238000000034 method Methods 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 2
- 230000005012 migration Effects 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000003595 spectral effect Effects 0.000 claims description 2
- 230000035080 detection of muscle activity involved in regulation of muscle adaptation Effects 0.000 abstract 1
- 238000004458 analytical method Methods 0.000 description 8
- 230000000638 stimulation Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000032140 Sleepiness Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
- A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychology (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于EEG与迁移学习的疲劳状态实时检测系统。本发明包括信号采集模块、WPF可视化模块以及远程计算模块。信号采集模块通过开源软件Openvibe连接脑电帽采集设备获得原始脑电信号，并通过VRPN通信协议与WPF可视化模块相连；WPF可视化模块与远程计算模块通过WebSocket通信协议相连。信号采集模块将采集到的被试的实时EEG信号进行通道筛选然后发送给WPF可视化模块，WPF可视化模块作为中间媒介将获得的脑电信号分段后传送给远程计算模块。远程计算模块获得对应被试的脑电数据后会训练生成相匹配的判别网络模型，该模型将判断回馈给WPF可视化模块进行数据可视化以及疲劳状态预警。本发明使用方便、快速准确，便于进行疲劳状态的实时检测，并对其进行疲劳预警。
Description
技术领域
本发明涉及一种疲劳状态实时检测系统，尤其是一种基于脑电信号(EEG)与迁移学习的疲劳状态实时检测系统。
背景技术
近年来，随着交通事故数量的迅速增加，人们的生命和财产遭受了巨大的损失，全球每年约有130万人在交通事故中丧生，其中疲劳状态下的驾驶(疲劳驾驶)是交通事故的主要原因之一。因此，设计并实现一套能够对疲劳驾驶准确地做出预警的系统，对减少因疲劳驾驶导致的生命和财产损失有重大意义。
基于EEG的心理状态分析方法是一种有效且客观的疲劳检测方法，但是传统的EEG分析方法主要还是停留在被试之间的学习训练，而跨被试的研究还比较少。在EEG分析的真实场景中，由于不同被试间的脑电信号存在差异,甚至同一被试的EEG信号随着时间的变化也会存在差异，这使得传统的分析方法容易产生不准确的分析和错误的决策。因此，应考虑基于迁移学习的分析方法。迁移学习被广泛用于预测想象力和语音识别领域的模型上，因为它可以有效地将某个领域上学习到的知识应用到不同但相关的领域中，用于完成某些特定的决策任务，这种理念在EEG的跨被试分析上也是适用的。
在实际应用中，现有的基于EEG的实时检测系统存在以下几点不足之处：①EEG的分析算法在跨被试的应用场景下判别能力不足；②EEG设备通常有多个电极来记录来自不同脑区通道以及不同频段的信号，多通道的数据量规模巨大，导致对心理疲劳检测系统的实时性、采集设备的便携性提出了很高的要求；③本地终端的计算能力有限，会对疲劳检测算法的模型训练产生阻碍。在考察分析上述不足的情况下，我们将EEG与迁移学习模型在线化，并探索其在疲劳状态实时检测系统上的应用。
发明内容
本发明的目的是为了解决上述现有系统方案在疲劳驾驶实时检测中存在的缺陷，提供了一个基于EEG与迁移学习的疲劳状态实时检测系统，该系统使用Openvibe及VRPN-WebSocket双通信协议结合的模式，获得实时脑电信号分段传输到远程服务器进行模型训练及计算；同时对臃肿的脑电数据进行了通道优化，大幅度减少计算复杂度，减轻采集终端的负载压力，有利于疲劳状态的实时检测。本系统利用GDANN迁移学习方法和Eff频谱信息量化指标这两种判断方法的结合获得一个综合计算模型，使疲劳状态的实时判断更加准确全面。
本发明的目的可以通过采取如下技术方案达到：
基于EEG与迁移学习的疲劳状态实时检测系统，包括信号采集模块、WPF可视化模块以及远程计算模块；所述信号采集模块通过开源软件Openvibe连接脑电帽采集设备获得原始脑电信号，并通过VRPN通信协议与WPF可视化模块相连，所述WPF可视化模块与远程计算模块通过WebSocket通信协议相连。信号采集模块负责将采集到的被试的实时EEG信号进行通道筛选然后发送给WPF可视化模块，WPF可视化模块作为中间媒介将获得的脑电信号分段后传送给远程计算模块。远程计算模块获得对应被试的脑电数据后会训练生成相匹配的判别网络模型，该模型能对被试的实时精神状态进行判断打分，从而回馈给WPF可视化模块进行数据可视化以及疲劳状态预警。
优选的，所述信号采集模块包括脑电帽采集设备、Openvibe信号采集单元以及VRPN通信单元:
所述脑电帽采集设备为市面上通用的非侵入式脑电帽装置；所述Openvibe信号采集单元为开源EEG处理软件，支持匹配多型号的脑电脑采集设备，并进行自定义EEG信号处理；所述VRPN通信单元为Openvibe信号采集单元的外延功能，用来接收开始采集的信号以及将采集到的脑电信号转发给自研软件做后续处理。
优选的，所述WPF可视化模块包含VRPN通信单元、范式可视化单元以及WebSocket通信单元：
所述VRPN通信单元用来发送开始以及结束采集的刺激给信号采集模块，同时接收来自信号采集模块的实时EEG信号，对其进行分段操作之后，通过WebSocket通信单元与远程计算模块相连；所述范式可视化单元，包括范式选择可视化界面、静息态数据获取可视化界面、精神状态良好可视化界面以及精神状态欠佳可视化界面。
优选的，所述远程计算模块包括WebSocket通信单元、数据预处理单元以及模型计算单元：
所述WebSocket通信单元用来接收来自WPF可视化模块的分段脑电信号，并在模型计算后将计算出的精神状态判断结果回传回去；所述数据预处理单元对获得的分段EEG信号进行统一的在线预处理操作，包括EEG处理领域通用的空间滤波器、时间滤波器以及PSD频谱特征提取；所述模型计算单元对经过数据预处理单元处理后的脑电信号进行GDANN迁移学习模型训练以及Eff频谱计算量化指标，结合之后得到一个百分制的分数反馈给WPF可视化模块进行数据可视化以及疲劳状态预警。
进一步的，信号采集模块由开源软件Openvibe开发完成，WPF可视化模块由WPF和C#脚本开发完成，远程计算模块由Python以及WebSocket模块开发完成，并且对应数据预处理由Scikit-learn模块开发完成，以及模型计算单元由Pytorch和Numpy模块开发完成。
进一步的，被试打开WPF可视化模块，即WPF本地终端，先选择数据演示对象，包含已有数据库的数据回放以及现场采集两种模式，然后对可视化范式进行挑选；
更进一步的，在被试挑选好范式之后，选择“启动设备”操作，来启动信号采集模块的Openvibe信号采集单元，从而通过VRPN通信单元不断获得实时脑电信号；同时，Openvibe信号采集单元会将脑电帽采集设备的默认原始通道进行优化，挑选出对疲劳状态比较敏感的若干个通道进行数据采集，大大降低终端负载压力；
更进一步的，在启动设备后，被试需先选择“静息态”范式可视化界面，进行2分钟的静息态脑电信号采集，这段时间采集到的脑电信号将由WebSocket通信单元实时发送给远程计算模块进行模型训练，作为后续状态判断的基准线；
更进一步的，当WPF可视化模块接收到来自远程计算模块的代表模型已经训练完成的提示信号后，被试可进入“疲劳检测”范式可视化界面进行疲劳状态的实时检测；在“疲劳检测”可视化界面，会显示被试的实时精神状态分数，状态良好时提示“您目前的状态良好！”，状态欠佳，即稍显疲劳时，会红色感叹号提示“您目前的情况不大好！”；
进一步的，脑电信号的delta波反应了睡眠、疲劳的潜意识状态，theta波代表了困倦、深度放松的潜意识状态，alpha波代表了清醒、安静的潜意识状态，beta波代表了思维活动、忙碌、紧张的潜意识状态，常将上述频段组合使用，用来对被试的精神状态进行判断，故远程计算模块的模型计算单元会先通过静息态数据来计算被试的疲劳状态基数，再根据范式的实时脑电信号来计算被试的实时疲劳指数beta、theta、delta以及alpha波的相对功率比)，从而获得相对疲劳指数Eff；
更进一步的，模型计算单元集成了用于疲劳状态检测的迁移学习模型GDANN，将模型训练的到的预测值与相对疲劳指数Eff根据权重得到综合的百分制结果，在通过WebSocket通信单元回馈给WPF可视化模块进行疲劳状态实时预警。
本发明相对于现有技术具有如下的有益效果：
1、本发明设计了一种基于EEG与迁移学习的疲劳状态实时检测系统，通过VRPN-WebSocket双通信协议结合的模式，将实时EEG信号流转到远程服务器，减轻本地终端的计算压力，为疲劳状态实时检测提供了可靠方案；
2、本发明寻找对疲劳状态敏感的脑电通道，优化了脑电信号采集设备所需的通道数目，大大降低了计算负载压力以及网络通信成本，对实时设备的便携性、实时性提供帮助；
3、本发明提出了Eff疲劳量化指数(对beta、theta、delta及alpha脑电波相对频率进行分析)相对频率进行分析)，并与迁移学习模型GDANN结合，得到一个综合的疲劳状态判断指标，使疲劳状态判断结果在跨被试的应用场景下更加准确全面。
附图说明
图1为本发明实施例的基于EEG与迁移学习的疲劳状态实时检测系统总体结构框图。
图2为本发明实施例的信号采集模块Openvibe的内部配置图。
图3为本发明实施例的WPF可视化模块的工作流程图。
图4为本发明实例的远程计算模块的计算流程图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
实施例1：
如图1所示，本实施例的基于EEG与迁移学习的疲劳状态实时检测系统包括信号采集模块、WPF可视化模块以及远程计算模块；所述信号采集模块通过VRPN通信单元与WPF可视化模块相连，所述WPF可视化模块与远程计算模块通过WebSocket通信单元相连。信号采集模块将实时采集到的被试的EEG信号发送给WPF可视化模块，WPF可视化模块再讲分段EEG信号发送给远程计算模块，远程计算模块对分段信号进行数据预处理并获得相应的精神状态判断结果，反馈给WPF可视化模块进行数据可视化及疲劳状态预警。
如图2所示，为本实施例的信号采集模块Openvibe的内部配置图。Openvibe是业内开源的EEG信号采集、分析软件，帮助我们匹配不同型号的采集设备，同时进行通道优化筛选操作。
本实例所使用的脑电帽采集设备为Brain Products GmbH 64导型号，原始采集数据为{Fp1,Fpz,Fp2,AF7,AF3,AFz,AF4,AF8,F7,F5,F3,F1,Fz,F2,F4,F6,F8,FT7,FC5,FC3,FC1,FCz,FC2,FC4,FC6,FT8,T7,C5,C3,C1,Cz,C2,C4,C6,T8,TP7,CP5,CP3,CP1,CPz,CP2,CP4,CP6,TP8,P7,P5,P3,P1,Pz,P2,P4,P6,P8,PO7,PO3,POz,PO4,PO8,O1,Oz,O2}等61个通道信号；
Openvibe信号采集单元里的配置首先为Acquistition client，取默认的1024通信端口，采样率设置为200Hz，一秒有200个采样点；然后通过Channel Rename功能块，设定该采集设备对应的通道；接着通过Channel Selector功能块，进行通道优化筛选，筛选后的通道为{Fp1,Fpz,Fp2,AFz,AF8,F5,F1,F4,F8,FC6,FT8,T8,P7}等13个通道，大幅减少采集规模；
VRPN通信单元由一个负责接收刺激的Button VRPN Client功能块和一个负责发送信号的Analog VRPN Server功能块组成。Button VRPN Client监听默认的50555通信端口，接收WPF可视化模块传过来的实验刺激，目前包含实验开始、实验结束、静息态开始、静息态结束这四个刺激动作，由Stimulation multiplexer功能块整合为一个刺激流在Signal display模块显示。同时，与一个Player Controller功能块相连，当接收到实验结束的刺激信号时，会结束信号采集。此外，来自Channel Selector的做过通道优化的EEG信号会通过一个Time based epoching功能块，设置为1.5s时长以及0.005s间隔，并将该分割出来的分段时序信号发送给Analog VRPN Server功能块，从而转发给WPF可视化模块；
如图3所示，本发明实施例的WPF可视化模块的工作流程如下：被试打开WPF可视化模块WPF本地终端，先选择数据演示对象，包含已有数据库的数据回放以及现场采集两种模式，然后点击“启动设备”操作，来启动信号采集模块的Openvibe信号采集单元，从而通过VRPN通信单元不断获得实时脑电信号；在启动设备后，被试需先选择“静息态”范式，进行2分钟的静息态脑电信号采集，这段时间采集到的脑电信号将由WebSocket通信单元实时发送给远程计算模块进行模型训练，作为后续状态判断的基准线；当远程计算模块训练好模型之后，会发送训练完成的信息刺激给WPF本地终端；接着，被试可进入“疲劳检测”范式界面进行疲劳状态的实时检测，在“疲劳检测”可视化界面，会显示被试的实时精神状态分数，状态良好时提示“您目前的状态良好！”，状态欠佳，即稍显疲劳时，会红色感叹号提示“您目前的情况不大好！”。
如图4所示，本发明实例的远程计算模块的计算流程如下：
所有通过WebSocket通信单元传递进来的EEG信号都会先通过数据预处理单元进行信号在线预处理操作，它由以下三部分组成：①将原始信号E0通过0.5～30Hz范围的4阶Butterworth带通滤波器，该滤波算法由Scipy.signal库的signal.butter函数实现，得到滤波后数据E1；②对E1进行重组截断，按照1.5s滑动窗口无重叠的规则分割成对应的EEG片段矩阵E2，得到的矩阵维度在本实例中为13通道*(1.5s*200采样率)＝13*300；③对E2进行PSD特征提取操作，该操作由Scipy.signal库的signal.welch函数实现，从而得到delta(1-4Hz)、theta(4-8Hz)、alpha(8-13Hz)以及beta(13-30Hz)30个点的频谱能量值，获得E3，数据维度为13*30；
在静息态范式阶段，总共2分钟的采集数据会产生80个E3样本，获得静息态数据集S1，即S1＝{E3}n1,其中n1∈[1,80]，对S1进行Eff频谱量化操作获得被试关于对应通道的疲劳状态基数指数集S2,其中n2代表对应的通道数，Mean为对应频段的均值函数:
获得Eff的疲劳状态基数指数集S2后，开始用已有的本地数据集和静息态数据集S1联合训练迁移学习网络GDANN，获得一个疲劳状态判别器，待训练完成后，用WebSocket通信单元传递一个模型训练完成的信号给WPF可视化模块，即可开始正式的疲劳检测范式。
在疲劳检测范式阶段，每1.5s会获得一个实时样本E3，然后进行Eff频谱量化操作获得第一个中间疲劳指标TempI1：
然后将其映射到0和1之间得到第一个疲劳状态指标I1：
同时将实时样本E3通过训练完成的GDANN分类器得到第二个指标I2：
I2＝GDANN(E3),0≤I2≤1
然后，综合I1和I2以4:6的权重比映射到0到100之间得到最终指标I，其中倾向于0为状态欠佳的疲劳，倾向于100为状态良好的清醒：
I＝40*I1+60*I2,0≤I≤100
最终，将获得的综合指标通过WebSocket通信单元回传给WPF可视化模块，进行实时的疲劳预警，若分数小于50分则红色预警。
综上所述，本发明的基于EEG与迁移学习的疲劳状态实时检测系统，使用方便、快速准确，利用了EEG检测和迁移学习、频谱分析技术，便于进行疲劳状态的跨被试实时检测。
以上所述,仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。
Claims (7)
1.基于EEG与迁移学习的疲劳状态实时检测系统，其特征在于包括信号采集模块、WPF可视化模块以及远程计算模块；所述信号采集模块通过开源软件Openvibe连接脑电帽采集设备获得原始脑电信号，并通过VRPN通信协议与WPF可视化模块相连；所述WPF可视化模块与远程计算模块通过WebSocket通信协议相连；信号采集模块负责将采集到的被试的实时原始脑电信号进行通道筛选然后发送给WPF可视化模块，WPF可视化模块作为中间媒介将获得的脑电数据分段后传送给远程计算模块；远程计算模块获得对应被试的脑电数据后会训练生成相匹配的判别网络模型，该判别网络模型能对被试的实时精神状态进行判断，从而回馈给WPF可视化模块进行数据可视化以及疲劳状态预警。
2.根据权利要求1所述的基于EEG与迁移学习的疲劳状态实时检测系统，其特征在于所述信号采集模块包括脑电帽采集设备、Openvibe信号采集单元以及VRPN通信单元；所述脑电帽采集设备为通用的非侵入式脑电帽装置；所述Openvibe信号采集单元为开源EEG处理软件，支持匹配多型号的脑电脑采集设备，并能够进行EEG信号处理；所述VRPN通信单元为Openvibe信号采集单元的外延功能，用来接收开始采集的信号以及将采集到的脑电信号转发给自研软件做后续处理。
3.根据权利要求1所述的基于EEG与迁移学习的疲劳状态实时检测系统，其特征在于所述WPF可视化模块包含VRPN通信单元、范式可视化单元以及WebSocket通信单元；所述VRPN通信单元用来发送开始以及结束采集的信号给信号采集模块，同时接收来自信号采集模块的实时脑电信号，对其进行分段操作；通过WebSocket通信单元与远程计算模块相连；所述范式可视化单元包括范式选择可视化界面、静息态数据获取可视化界面、精神状态良好可视化界面以及精神状态欠佳可视化界面。
4.根据权利要求1所述的基于EEG与迁移学习的疲劳状态实时检测系统，其特征在于所述远程计算模块包括WebSocket通信单元、数据预处理单元以及模型计算单元；所述WebSocket通信单元用来接收来自WPF可视化模块的分段脑电信号，并将模型计算单元计算出的精神状态判断结果回传；所述数据预处理单元对获得的分段脑电信号进行统一在线预处理操作，包括空间滤波器、时间滤波器以及PSD频谱特征提取；所述模型计算单元对经过数据预处理单元处理后的脑电信号进行GDANN迁移学习模型训练以及Eff频谱计算量化指标，两者结合后得到一个百分制的分数反馈给WPF可视化模块进行数据可视化以及疲劳状态预警。
5.根据权利要求1所述的基于EEG与迁移学习的疲劳状态实时检测系统，其特征在于所有通过WebSocket通信单元传递进来的分段脑电信号都会先通过数据预处理单元进行信号在线预处理操作，它由以下三部分组成：①将原始信号E0通过0.5～30Hz范围的4阶Butterworth带通滤波器，得到滤波后数据E1；②对E1进行重组截断，按照1.5s滑动窗口无重叠的规则分割成对应的EEG片段矩阵E2，③对E2进行PSD特征提取操作，该操作由Scipy.signal库的signal.welch函数实现，从而得到delta(1-4Hz)、theta(4-8Hz)、alpha(8-13Hz)以及beta(13-30Hz)30个点的频谱能量值，获得E3，数据维度为13*30。
6.根据权利要求5所述的基于EEG与迁移学习的疲劳状态实时检测系统，其特征在于在静息态范式阶段，总共2分钟的采集数据会产生80个E3样本，获得静息态数据集S1，即S1＝{E3}n1,其中n1∈[1,80]，对S1进行Eff频谱量化操作获得被试关于对应通道的疲劳状态基数指数集S2,其中n2代表对应的通道数，Mean为对应频段的均值函数:
获得Eff的疲劳状态基数指数集S2后，开始用已有的本地数据集和静息态数据集S1联合训练迁移学习网络GDANN，获得一个疲劳状态判别器，待训练完成后，用WebSocket通信单元传递一个模型训练完成的信号给WPF可视化模块，即可开始正式的疲劳检测范式。
7.根据权利要求6所述的基于EEG与迁移学习的疲劳状态实时检测系统，其特征在于在疲劳检测范式阶段，每1.5s会获得一个实时样本E3，然后进行Eff频谱量化操作获得第一个中间疲劳指标TempI1：
然后将其映射到0和1之间得到第一个疲劳状态指标I1：
同时将实时样本E3通过训练完成的GDANN分类器得到第二个指标I2：
I2＝GDANN(E3),0≤I2≤1
然后，综合I1和I2以4:6的权重比映射到0到100之间得到最终指标I，其中倾向于0为状态欠佳的疲劳，倾向于100为状态良好的清醒：
I＝40*I1+60*I2,0≤I≤100
最终，将获得的综合指标通过WebSocket通信单元回传给WPF可视化模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111664458.3A CN114224344B (zh) | 2021-12-31 | 2021-12-31 | 基于eeg与迁移学习的疲劳状态实时检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111664458.3A CN114224344B (zh) | 2021-12-31 | 2021-12-31 | 基于eeg与迁移学习的疲劳状态实时检测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114224344A true CN114224344A (zh) | 2022-03-25 |
| CN114224344B CN114224344B (zh) | 2024-05-07 |
Family
ID=80745287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111664458.3A Active CN114224344B (zh) | 2021-12-31 | 2021-12-31 | 基于eeg与迁移学习的疲劳状态实时检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114224344B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111329497A (zh) * | 2020-02-21 | 2020-06-26 | 华南理工大学 | 基于前额脑电信号的可穿戴式疲劳驾驶监测系统及方法 |
| CN112274162A (zh) * | 2020-09-18 | 2021-01-29 | 杭州电子科技大学 | 基于生成对抗域自适应的跨被试eeg疲劳状态分类方法 |
| CN112438741A (zh) * | 2020-09-30 | 2021-03-05 | 燕山大学 | 一种基于脑电特征迁移学习的驾驶状态检测方法及系统 |
| CN112617835A (zh) * | 2020-12-17 | 2021-04-09 | 南京邮电大学 | 一种基于迁移学习的多特征融合疲劳检测方法 |
| CN113180705A (zh) * | 2021-04-07 | 2021-07-30 | 北京脑陆科技有限公司 | 一种基于eeg脑波的疲劳检测方法、系统 |
| CN113288147A (zh) * | 2021-05-31 | 2021-08-24 | 杭州电子科技大学 | 基于eeg与神经反馈技术的轻度认知障碍康复评估系统 |
-
2021
- 2021-12-31 CN CN202111664458.3A patent/CN114224344B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111329497A (zh) * | 2020-02-21 | 2020-06-26 | 华南理工大学 | 基于前额脑电信号的可穿戴式疲劳驾驶监测系统及方法 |
| CN112274162A (zh) * | 2020-09-18 | 2021-01-29 | 杭州电子科技大学 | 基于生成对抗域自适应的跨被试eeg疲劳状态分类方法 |
| CN112438741A (zh) * | 2020-09-30 | 2021-03-05 | 燕山大学 | 一种基于脑电特征迁移学习的驾驶状态检测方法及系统 |
| CN112617835A (zh) * | 2020-12-17 | 2021-04-09 | 南京邮电大学 | 一种基于迁移学习的多特征融合疲劳检测方法 |
| CN113180705A (zh) * | 2021-04-07 | 2021-07-30 | 北京脑陆科技有限公司 | 一种基于eeg脑波的疲劳检测方法、系统 |
| CN113288147A (zh) * | 2021-05-31 | 2021-08-24 | 杭州电子科技大学 | 基于eeg与神经反馈技术的轻度认知障碍康复评估系统 |
Non-Patent Citations (1)
| Title |
|---|
| 杨晨: "基于机器学习的EEG疲劳状态分类方法研究", 中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑, no. 04, 15 April 2021 (2021-04-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114224344B (zh) | 2024-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111616721B (zh) | 基于深度学习和脑机接口的情绪识别系统及应用 | |
| Wang et al. | Channel selection method for EEG emotion recognition using normalized mutual information | |
| CN108836323B (zh) | 一种基于脑电波分析的学习状态监测系统及其使用方法 | |
| CN108670276A (zh) | 基于脑电信号的学习注意力评价系统 | |
| US11039784B2 (en) | Sleep profiling system with feature generation and auto-mapping | |
| CN110013249B (zh) | 一种便携式可调式的头戴癫痫监测仪 | |
| CN111616682A (zh) | 基于便携式脑电采集设备的癫痫发作预警系统及应用 | |
| CN109508755B (zh) | 一种基于图像认知的心理测评方法 | |
| CN108420429A (zh) | 一种基于多视角深度特征融合的脑电癫痫自动识别方法 | |
| CN110123266B (zh) | 一种基于多模态生理信息的机动决策建模方法 | |
| CN204863182U (zh) | 一种运动想象EEG和fNIRS同步采集脑信息装置 | |
| CN113208593A (zh) | 基于相关性动态融合的多模态生理信号情绪分类方法 | |
| CN110472595B (zh) | 脑电信号的识别模型构建方法、装置以及识别方法、装置 | |
| CN109567832A (zh) | 一种基于智能手环的检测愤怒驾驶状态的方法及系统 | |
| CN113331845A (zh) | 基于持续同调的脑电信号特征提取与准确度判别的方法 | |
| CN116226715A (zh) | 一种基于多模态特征融合的作业人员在线多态识别系统 | |
| CN113440122B (zh) | 一种基于生命体征的情绪波动监测识别大数据预警系统 | |
| CN114224344A (zh) | 基于eeg与迁移学习的疲劳状态实时检测系统 | |
| CN113208632A (zh) | 一种基于卷积神经网络的注意力检测方法、系统 | |
| CN115414050A (zh) | 一种实现情绪识别的eeg脑网络最大团检测方法及系统 | |
| CN117547270A (zh) | 一种多源数据融合的飞行员认知负荷反馈系统 | |
| CN109431499B (zh) | 植物人家庭看护辅助系统和辅助方法 | |
| CN109247935B (zh) | 一种人体夜间睡眠异常状态监测系统 | |
| CN114515156B (zh) | 基于交叉可视图的睡眠心脑信号关联性分析方法 | |
| CN108388846B (zh) | 基于典型相关分析的脑电α波检测识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |