CN114557708A - 基于脑电双特征融合的体感刺激意识检测装置和方法 - Google Patents
基于脑电双特征融合的体感刺激意识检测装置和方法 Download PDFInfo
- Publication number
- CN114557708A CN114557708A CN202210158979.XA CN202210158979A CN114557708A CN 114557708 A CN114557708 A CN 114557708A CN 202210158979 A CN202210158979 A CN 202210158979A CN 114557708 A CN114557708 A CN 114557708A
- Authority
- CN
- China
- Prior art keywords
- sssep
- stimulation
- classification
- target
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000000638 stimulation Effects 0.000 title claims description 68
- 230000003238 somatosensory effect Effects 0.000 title claims description 28
- 210000004556 brain Anatomy 0.000 claims abstract description 21
- 238000013461 design Methods 0.000 claims abstract description 12
- 230000001939 inductive effect Effects 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 20
- 238000012706 support-vector machine Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 230000000284 resting effect Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000005611 electricity Effects 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000006399 behavior Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 238000002790 cross-validation Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 5
- 230000003595 spectral effect Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000002902 bimodal effect Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 238000011084 recovery Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 206010010071 Coma Diseases 0.000 claims description 2
- 230000004044 response Effects 0.000 abstract description 4
- 210000005036 nerve Anatomy 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 238000005728 strengthening Methods 0.000 abstract 1
- 230000008901 benefit Effects 0.000 description 6
- 230000003542 behavioural effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010073261 Ovarian theca cell tumour Diseases 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000006757 chemical reactions by type Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000004070 electrodeposition Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002232 neuromuscular Effects 0.000 description 1
- 210000001152 parietal lobe Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000002442 prefrontal cortex Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 208000001644 thecoma Diseases 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
- A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/383—Somatosensory stimuli, e.g. electric stimulation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Signal Processing (AREA)
- Medical Informatics (AREA)
- Psychiatry (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physiology (AREA)
- Psychology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Power Engineering (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Human Computer Interaction (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明涉及脑‑机接口领域，为通过多特征融合扩展BCI的编码方式，并且对大脑的意识相关神经功能响应进行强化诱导，来对用户的意识状态进行全面评估，本发明，基于脑电双特征融合的体感刺激意识检测方法，设计诱发对应脑电信号的触觉刺激范式，利用脑电采集系统产品采集用户的脑电信号，通过降采样及滤波处理后对相应的P300和SSSEP信号进行特征提取并将提取的特征进行融合，最后进行分类识别。本发明主要应用于医疗器械设计制造场合。
Description
技术领域
本发明涉及脑-机接口(Brain-Computer Interface,BCI)领域，设计了一种基于体感(Somatosensory)刺激的意识检测装置。具体涉及基于脑电双特征融合的体感刺激意识检测装置和方法。
背景技术
脑-机接口是一种不依赖于外周神经肌肉从而直接与外界通信的系统。目前有基于多种控制模式的BCI系统，这些方法都有些许不足。如通过用户主观意识来控制外部设备的运动想象(Motor imagery,MI)BCI系统，这类系统强调用户的自主性，但用户的主观意识不可控，而且很多人是“MI盲”，故在相当多的情况下难以诱发出相应的脑电信号特征。此外，还有依靠外界刺激来诱发其对应脑电信号的一类反应式BCI，可用刺激方式有视觉、听觉和触觉刺激。基于视觉刺激的BCI是目前性能最好的BCI系统，它具有最高的信息传输率和分类正确率，但是这种方式容易引起视觉疲劳，而且对一些视觉功能丧失的患者来说不太适用。此外，由于对环境干扰的敏感性和相对较低的准确性，听觉BCI的应用也并不广泛。触觉刺激因其诱导方式简单，不会给人造成额外的视听觉负担等优势，可以考虑作为一种新型的BCI系统。
发明内容
为克服现有技术的不足，本发明旨在提出一种联合SSSEP和P300特征的BCI系统，通过多特征融合扩展了BCI的编码方式，并且对大脑的意识相关神经功能响应进行了强化诱导。结合静息态EEG的谱分析和脑功能区连接性等多种参数，来对用户的意识状态进行全面评估，该系统有望实现可靠、稳定的BCI系统，并扩展至大脑意识状态检测，可推广至神经心理学、神经科学领域，有望获得可观的社会效益和经济效益。为此，本发明采取的技术方案是，基于脑电双特征融合的体感刺激意识检测方法，设计诱发对应脑电信号的触觉刺激范式，利用脑电采集系统产品采集用户的脑电信号，通过降采样及滤波处理后对相应的P300和SSSEP信号进行特征提取并将提取的特征进行融合，最后进行分类识别。
提取P300和SSSEP信号特征并将提取的特征进行融合具体步骤如下：
①P300特征及分类：提取Fz、C3、C1、Cz、C2、C4、CP1、CPz、CP2、Pz导联高电流时间段的脑电信号，设为
其中k＝1,-1，表示类别，1代表目标类，-1代表非目标类，c代表导联数，t代表试次数，s代表样本点数；利用FLDA算法，10折交叉验证来进行分类，在一个trial中，根据目标类的得分来判断该trial是否是目标类，具体为计算目标类和非目标类的预测得分的平均值，如果目标类预测得分平均值大于非目标类得分平均值，则最终输出结果为目标类。计算公式如下：
其中，m为8是非目标位置处高电流刺激出现的个数，n为2是目标位置处高电流刺激出现的个数；
②SSSEP特征及分类：提取F3、F1、FZ、F2、F4、FC3、FC1、FCZ、FC2、FC4、C3、C1、CZ、C2、C4、CP3、CP1、CPZ、CP2、CP4导联在整个trial中的脑电信号，设为
k＝1,2表示类别，1代表目标刺激为左手，2代表目标刺激为右手，c代表导联数，t代表试次数，s代表样本点数，利用共空间模式CSP(common spatial pattern)来提取特征，利用CSP寻找到空间滤波器后，对EEG选取最具有区分性的特征来作为原始特征输入到分类器，分类器选用支持向量机SVM(Support Vector Machine)来进行分类；
③决策融合分析：最后P300和SSSEP分类结果的融合方式为采用线性加权融合来判定最终输出类别，如式(3)所示，权重系数ω根据单独使用P300和SSSEP特征分类时的测试集的正确率来进行动态调整：单独使用P300特征的测试集分类正确率为a％，使用SSSEP特征的测试集分类正确率为b％，则权重系数的分配为ω1是a/(a+b)，ω2是b/(a+b)：
基于脑电双特征融合的体感刺激意识检测装置，包括体感刺激模块、数据采集及预处理模块、特征提取与分类识别模块和意识检测模块，其中：
体感刺激模块用于进行触觉电刺激；
数据采集及预处理模块用于采集触觉电刺激产生的P300、SSSEP信号；
特征提取与分类识别模块用于：提取P300和SSSEP信号特征，分别进行分类识别，并对P300和SSSEP分类结果进行融合；
意识检测模块中，综合考虑P300波形、振幅及潜伏期，SSSEP的频率、振幅及功率谱密度，根据分类结果用来检测用户当前意识状态、指令跟随程度，结合行为学量表、静息态脑状态参数提供相应信息。
各模块详细描述如下：
(1)体感刺激模块
利用体感电刺激，设计P300和SSSEP融合的双模态范式，体感电刺激使用Science_Mode2设备实现，刺激频率、刺激强度个性化设置，电刺激参数设置由Matlab控制调整，刺激范式的编写利用Matlab工具包Psychtoolbox编写；
(2)数据采集及预处理模块
EEG数据采集部分使用Neuroscan公司的Synamps2放大器，采集信号时使用配套的SCAN软件进行保存，数据采集参数设置为采样率1000Hz，0.1～100Hz带通滤波和50Hz陷波，选用64导联电极帽，电极放置和命名依据国际10-20系统，将采集信号经过200Hz的降采样处理，从而来降低后续处理的时间。对于P300，带通滤波选取1～15Hz的三阶巴特沃斯，假设刺激频率为x Hz，则SSSEP带通滤波范围为[x-2,x+2]Hz；
(3)特征提取与分类识别模块
①P300特征及分类：提取Fz、C3、C1、Cz、C2、C4、CP1、CPz、CP2、Pz导联高电流时间段的脑电信号，设为
其中k＝1,-1；表示类别，1代表目标类，-1代表非目标类，c代表导联数，t代表试次数，s代表样本点数，利用FLDA算法，10折交叉验证来进行分类，在一个trial中，根据目标类的得分来判断该trial是否是目标类，具体为计算目标类和非目标类的预测得分的平均值，如果目标类预测得分平均值大于非目标类得分平均值，则最终输出结果为目标类，计算公式如下：
其中，m为8是非目标位置处高电流刺激出现的个数，n为2是目标位置处高电流刺激出现的个数；
②SSSEP特征及分类：提取F3、F1、FZ、F2、F4、FC3、FC1、FCZ、FC2、FC4、C3、C1、CZ、C2、C4、CP3、CP1、CPZ、CP2、CP4导联在整个trial中的脑电信号，设为
同样k＝1,2表示类别，1代表目标刺激为左手，2代表目标刺激为右手，c代表导联数，t代表试次数，s代表样本点数。利用共空间模式CSP(common spatial pattern)来提取特征，利用CSP寻找到空间滤波器后，对EEG选取最具有区分性的特征来作为原始特征输入到分类器，分类器选用支持向量机SVM(Support Vector Machine)来进行分类。
③决策融合分析：最后P300和SSSEP分类结果的融合方式为采用线性加权融合来判定最终输出类别，如式(3)所示，权重系数ω根据单独使用P300和SSSEP特征分类时的测试集的正确率来进行动态调整，单独使用P300特征的测试集分类正确率为a％，使用SSSEP特征的测试集分类正确率为b％，则权重系数的分配为ω1是a/(a+b)，ω2是b/(a+b)：
(4)意识检测模块
行为学量表中选用昏迷恢复量表CRS-R来进行评定，CRS-R包含6个分量表，分别为听觉、视觉、运动、言语、交流和唤醒，根据用户的行为来进行打分，对静息态EEG计算δ频带(1.5-3.5Hz)，θ频带(3.5-7.5Hz)，α频带(7.5-12.5Hz)，β频带(12.5-30Hz)和γ频带(>30Hz)功率谱来进行分析；相干性C(Coherence)可用来进行电极位置之间连通性测量，但容积传导可能导致C虚假增加，而且它同时测量振幅和相位的相关性，很难评估这两个因素的单独作用，相干性的虚部IC(imaginary part of coherency)不会通过独立源的容积传导而虚假增加，此外，相位滞后指数PLI(Phase Lag Index)表示不同通道的EEG信号之间的相位同步关系，IC和PLI具体计算方法如下：
(1)首先根据生成的解析信号z(t)计算瞬时幅值和瞬时相位：
式(4)中x(t)为原始信号，
为x(t)的希尔伯特变换；
(2)PLI计算公式为：
其中，
为两个导联的相位差，tk为离散时间，<x>为x的平均值；
(3)IC计算公式为：
式(6)中Ai和Aj表示在tk时刻的不同导联的幅度值；
最后，评估用户的意识状态，得到最终评定结果进而反馈给用户。
本发明的特点及有益效果是：
本发明设计的基于体感刺激的脑电双特征融合的意识检测装置，创新设计了可以诱发SSSEP和P300电位的触觉刺激范式，对拓展BCI指令集提供了一种可行的方法，可作为一些有视力障碍或患有闭锁综合征患者交流的有效工具。此外，该范式还可诱导与意识相关的电生理响应，通过结合其他生理学参数和行为学参数可以作为意识检测和评估的有效手段。该方法克服了传统BCI的局限性，更加调动用户的主观意识，有望为新型BCI系统开发提供可靠的技术支撑。
附图说明：
图1基于体感刺激的双特征融合大脑意识检测系统框架。
图2体感刺激范式设计图。
具体实施方式
本发明属于脑-机接口(Brain-Computer Interface,BCI)领域，设计了一种基于体感(Somatosensory)刺激的意识检测装置。利用体感刺激诱发相应的大脑皮层的神经电活动，根据诱发脑电信号特征差异从而对意识水平检测，可对一些意识功能受限用户进行干预，辅助其对外交流与表达。为此，本发明旨在设计一套可在用户和外界环境之间进行交互的意识检测装置，进而来对意识状态进行检测、评估。
本发明设计了一种基于触觉刺激的BCI系统，通过施加特定频率并且高低电流变换的电刺激来诱发SSSEP和P300信号，进而来扩充现有BCI的编码方式并用来检测用户的意识状态。
其技术流程是：设计可以诱发稳态体感诱发电位(Steady-state somatosensoryevoked Potential,SSSEP)和P300的刺激范式，搭建脑电(Electroencephalogram,EEG)信息采集平台，采集使用者EEG数据，再结合行为学量表、静息态自发脑电活动的功率谱密度、功能连接性等多项参数对大脑的意识水平进行分析，进而反馈给使用者。
本发明总体系统设计如图1所示，其系统架构与技术流程包括：设计可以诱发对应脑电信号的刺激范式，利用已有脑电采集系统产品(Neuroscan)采集用户的脑电信号，通过降采样及滤波处理后对相应的P300和SSSEP信号进行特征提取并将提取的特征进行融合，最后进行分类识别。P300及SSSEP双模态混合范式可以增强诱导用户的微弱意识，特征融合方式用来增强特征，获得的P300、SSSEP信号的幅值、潜伏期以及能量和分类结果，可以结合行为学量表(如CRS-R)以及静息态脑状态分析等多参数来综合评估用户大脑的意识状态，最后将其反馈给用户。
体感刺激设计范式如图2所示，在单个试次(trial)中，对左、右手腕处同时施加不同频率的电刺激，进而来诱发SSSEP，通过指示用户注意某一侧的电刺激，可以得到由注意力调制的SSSEP信号。注意侧和不注意侧的高电流随机出现，比例为1:4，构成了典型的Oddball范式，注意侧的高电流为靶刺激，进而诱发出P300电位。在1个实验模块(block)中，共计有4个trial，注意左手刺激和右手刺激各为2个，且为随机顺序出现，同时在注意侧的高电流为罕见事件(即靶刺激)。每做完1个block会给受试者一定的休息时间，共计有20个block。
意识检测系统装置各模块功能
(2)体感刺激模块
体感刺激范式设计详见图2，利用体感电刺激，设计P300和SSSEP融合的双模态范式。体感电刺激使用Science_Mode2设备实现，刺激频率、刺激强度个性化设置，电刺激参数设置可由Matlab控制调整，刺激范式的编写利用Matlab工具包Psychtoolbox编写。
(2)数据采集及预处理模块
本发明EEG数据采集部分使用Neuroscan公司的Synamps2放大器，采集信号时使用配套的SCAN软件进行保存。数据采集参数设置为采样率1000Hz，0.1～100Hz带通滤波和50Hz陷波。选用64导联电极帽，电极放置和命名依据国际10-20系统。将采集信号经过200Hz的降采样处理，从而来降低后续处理的时间。对于P300，带通滤波选取1～15Hz的三阶巴特沃斯。假设刺激频率为x Hz，则SSSEP带通滤波范围为[x-2,x+2]Hz。
(3)特征提取与分类识别模块
①P300特征及分类：提取Fz、C3、C1、Cz、C2、C4、CP1、CPz、CP2、Pz导联高电流时间段的脑电信号，设为
其中(k＝1,-1)表示类别，1代表目标类，-1代表非目标类，c代表导联数，t代表试次数，s代表样本点数。利用FLDA算法，10折交叉验证来进行分类。在一个trial中，根据目标类的得分来判断该trial是否是目标类。具体为计算目标类和非目标类的预测得分的平均值，如果目标类预测得分平均值大于非目标类得分平均值，则最终输出结果为目标类。计算公式如下：
其中，m为8是非目标位置处高电流刺激出现的个数，n为2是目标位置处高电流刺激出现的个数。
②SSSEP特征及分类：提取F3、F1、FZ、F2、F4、FC3、FC1、FCZ、FC2、FC4、C3、C1、CZ、C2、C4、CP3、CP1、CPZ、CP2、CP4导联在整个trial中的脑电信号，设为
同样(k＝1,2)表示类别，1代表目标刺激为左手，2代表目标刺激为右手，c代表导联数，t代表试次数，s代表样本点数。利用共空间模式(common spatial pattern,CSP)来提取特征。CSP的思想为：寻找一个空间投影使得最大化某一类的方差的同时最小化另一类的方差，从而使两类信号差异性更大。利用CSP寻找到空间滤波器后，对EEG选取最具有区分性的特征来作为原始特征输入到分类器。分类器选用支持向量机(Support Vector Machine,SVM)来进行分类。
③决策融合分析：最后P300和SSSEP分类结果的融合方式为采用线性加权融合来判定最终输出类别，如式(3)所示。权重系数ω根据单独使用P300和SSSEP特征分类时的测试集的正确率来进行动态调整。假设单独使用P300特征的测试集分类正确率为a％，使用SSSEP特征的测试集分类正确率为b％，则权重系数的分配为ω1是a/(a+b)，ω2是b/(a+b)。
(4)意识检测模块
意识检测模块为核心模块，需综合考虑多种参数来评估用户的意识状态。如P300波形、振幅及潜伏期，SSSEP的频率、振幅及功率谱密度等。分类结果也可用来检测用户当前意识状态、指令跟随程度等。此外，结合行为学量表、静息态脑状态等行为学和生理学参数可提供更加全面、可靠的信息。
具体来说，行为学量表中选用昏迷恢复量表(CRS-R)来进行评定，CRS-R包含6个分量表，分别为听觉、视觉、运动、言语、交流和唤醒，根据用户的行为来进行打分。对静息态EEG计算delta(1.5-3.5Hz)，theta(3.5-7.5Hz)，alpha(7.5-12.5Hz)，beta(12.5-30Hz)，gamma(>30Hz)这几个频带的功率谱来进行分析，一般来说，意识水平越高alpha频带功率越高。此外，静息态各个频带的脑功能连通性也可用来检测意识状态，通过计算电极位置之间的连通性，可以评估大脑中网络的整合和连接水平。相干性(Coherence,C)可用来进行电极位置之间连通性测量，但容积传导可能导致C虚假增加，而且它同时测量振幅和相位的相关性，很难评估这两个因素的单独作用。相干性的虚部(imaginary part of coherency，IC)不会通过独立源的容积传导而虚假增加。此外，相位滞后指数(Phase Lag Index,PLI)表示不同通道的EEG信号之间的相位同步关系，与IC相比，PLI具有受相位延迟影响小的优点。IC和PLI具体计算方法如下：
(4)首先根据生成的解析信号z(t)计算瞬时幅值和瞬时相位：
式(4)中x(t)为原始信号，
为x(t)的希尔伯特变换。
(5)PLI计算公式为：
其中，
为两个导联的相位差，tk为离散时间，<x>为x的平均值。
(6)IC计算公式为：
式(6)中Ai和Aj表示在tk时刻的不同导联的幅度值。
采集用户一段时间静息态的脑电数据，然后计算对应频段内的功率谱密度、PLI及IC值。PLI和IC这两个连通性度量指标的取值范围是0～1，一般来说，意识状态越好，大脑各区域之前的功能连接越强。前额叶皮层在意识的形成中起着至关重要的作用，前额、顶叶和枕骨区域之间的连通性也可区分不同程度的意识功能受限用户。
最后，综合以上分析结果来评估用户的意识状态，得到最终评定结果进而反馈给用户。
本发明设计了一种双特征融合的体感刺激意识检测装置和方法。该项发明创新设计了BCI的编码范式，同时诱导了与意识相关的电生理响应。在残疾人康复、大脑意识状态检测、智慧医疗等方面具有广阔的应用场景，有望获得可观的社会效益和经济效益。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (3)
1.一种基于脑电双特征融合的体感刺激意识检测方法，其特征是，设计诱发对应脑电信号的触觉刺激范式，利用脑电采集系统产品采集用户的脑电信号，通过降采样及滤波处理后对相应的P300和SSSEP信号进行特征提取并将提取的特征进行融合，最后进行分类识别。
2.如权利要求1所述的基于脑电双特征融合的体感刺激意识检测方法，其特征是，提取P300和SSSEP信号特征并将提取的特征进行融合具体步骤如下：
①P300特征及分类：提取Fz、C3、C1、Cz、C2、C4、CP1、CPz、CP2、Pz导联高电流时间段的脑电信号，设为
其中k＝1,-1，表示类别，1代表目标类，-1代表非目标类，c代表导联数，t代表试次数，s代表样本点数；利用FLDA算法，10折交叉验证来进行分类，在一个trial中，根据目标类的得分来判断该trial是否是目标类，具体为计算目标类和非目标类的预测得分的平均值，如果目标类预测得分平均值大于非目标类得分平均值，则最终输出结果为目标类，计算公式如下：
其中，m为8是非目标位置处高电流刺激出现的个数，n为2是目标位置处高电流刺激出现的个数；
②SSSEP特征及分类：提取F3、F1、FZ、F2、F4、FC3、FC1、FCZ、FC2、FC4、C3、C1、CZ、C2、C4、CP3、CP1、CPZ、CP2、CP4导联在整个trial中的脑电信号，设为
表示类别，1代表目标刺激为左手，2代表目标刺激为右手，c代表导联数，t代表试次数，s代表样本点数，利用共空间模式CSP(common spatial pattern)来提取特征，利用CSP寻找到空间滤波器后，对EEG选取最具有区分性的特征来作为原始特征输入到分类器，分类器选用支持向量机SVM(Support Vector Machine)来进行分类；
③决策融合分析：最后P300和SSSEP分类结果的融合方式为采用线性加权融合来判定最终输出类别，如式(3)所示，权重系数ω根据单独使用P300和SSSEP特征分类时的测试集的正确率来进行动态调整：单独使用P300特征的测试集分类正确率为a％，使用SSSEP特征的测试集分类正确率为b％，则权重系数的分配为ω1是a/(a+b)，ω2是b/(a+b)：
基于脑电双特征融合的体感刺激意识检测装置，包括体感刺激模块、数据采集及预处理模块、特征提取与分类识别模块和意识检测模块，其中：
体感刺激模块用于进行触觉电刺激；
数据采集及预处理模块用于采集触觉电刺激产生的P300、SSSEP信号；
特征提取与分类识别模块用于：提取P300和SSSEP信号特征，分别进行分类识别，并对P300和SSSEP分类结果进行融合；
意识检测模块中，综合考虑P300波形、振幅及潜伏期，SSSEP的频率、振幅及功率谱密度，根据分类结果用来检测用户当前意识状态、指令跟随程度，结合行为学量表、静息态脑状态参数提供相应信息。
3.如权利要求1所述的基于脑电双特征融合的体感刺激意识检测方法，其特征是，利用如下模块实现：
(1)体感刺激模块
利用体感电刺激，设计P300和SSSEP融合的双模态范式，体感电刺激使用Science_Mode2设备实现，刺激频率、刺激强度个性化设置，电刺激参数设置由Matlab控制调整，刺激范式的编写利用Matlab工具包Psychtoolbox编写；
(2)数据采集及预处理模块
EEG数据采集部分使用Neuroscan公司的Synamps2放大器，采集信号时使用配套的SCAN软件进行保存，数据采集参数设置为采样率1000Hz，0.1～100Hz带通滤波和50Hz陷波，选用64导联电极帽，电极放置和命名依据国际10-20系统，将采集信号经过200Hz的降采样处理，从而来降低后续处理的时间。对于P300，带通滤波选取1～15Hz的三阶巴特沃斯，假设刺激频率为x Hz，则SSSEP带通滤波范围为[x-2,x+2]Hz；
(3)特征提取与分类识别模块
①P300特征及分类：提取Fz、C3、C1、Cz、C2、C4、CP1、CPz、CP2、Pz导联高电流时间段的脑电信号，设为
其中k＝1,-1；表示类别，1代表目标类，-1代表非目标类，c代表导联数，t代表试次数，s代表样本点数，利用FLDA算法，10折交叉验证来进行分类，在一个trial中，根据目标类的得分来判断该trial是否是目标类，具体为计算目标类和非目标类的预测得分的平均值，如果目标类预测得分平均值大于非目标类得分平均值，则最终输出结果为目标类，计算公式如下：
其中，m为8是非目标位置处高电流刺激出现的个数，n为2是目标位置处高电流刺激出现的个数；
②SSSEP特征及分类：提取F3、F1、FZ、F2、F4、FC3、FC1、FCZ、FC2、FC4、C3、C1、CZ、C2、C4、CP3、CP1、CPZ、CP2、CP4导联在整个trial中的脑电信号，设为
同样k＝1,2表示类别，1代表目标刺激为左手，2代表目标刺激为右手，c代表导联数，t代表试次数，s代表样本点数。利用共空间模式CSP(common spatial pattern)来提取特征，利用CSP寻找到空间滤波器后，对EEG选取最具有区分性的特征来作为原始特征输入到分类器，分类器选用支持向量机SVM(Support Vector Machine)来进行分类。
③决策融合分析：最后P300和SSSEP分类结果的融合方式为采用线性加权融合来判定最终输出类别，如式(3)所示，权重系数ω根据单独使用P300和SSSEP特征分类时的测试集的正确率来进行动态调整，单独使用P300特征的测试集分类正确率为a％，使用SSSEP特征的测试集分类正确率为b％，则权重系数的分配为ω1是a/(a+b)，ω2是b/(a+b)：
(4)意识检测模块
行为学量表中选用昏迷恢复量表CRS-R来进行评定，CRS-R包含6个分量表，分别为听觉、视觉、运动、言语、交流和唤醒，根据用户的行为来进行打分，对静息态EEG计算δ频带(1.5-3.5Hz)，θ频带(3.5-7.5Hz)，α频带(7.5-12.5Hz)，β频带(12.5-30Hz)和γ频带(>30Hz)功率谱来进行分析；相干性C(Coherence)可用来进行电极位置之间连通性测量，但容积传导可能导致C虚假增加，而且它同时测量振幅和相位的相关性，很难评估这两个因素的单独作用，相干性的虚部IC(imaginary part of coherency)不会通过独立源的容积传导而虚假增加，此外，相位滞后指数PLI(Phase Lag Index)表示不同通道的EEG信号之间的相位同步关系，IC和PLI具体计算方法如下：
(1)首先根据生成的解析信号z(t)计算瞬时幅值和瞬时相位：
式(4)中x(t)为原始信号，
为x(t)的希尔伯特变换；
(2)PLI计算公式为：
其中，
为两个导联的相位差，tk为离散时间，<x>为x的平均值；
(3)IC计算公式为：
式(6)中Ai和Aj表示在tk时刻的不同导联的幅度值；
最后，评估用户的意识状态，得到最终评定结果进而反馈给用户。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210158979.XA CN114557708A (zh) | 2022-02-21 | 2022-02-21 | 基于脑电双特征融合的体感刺激意识检测装置和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210158979.XA CN114557708A (zh) | 2022-02-21 | 2022-02-21 | 基于脑电双特征融合的体感刺激意识检测装置和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114557708A true CN114557708A (zh) | 2022-05-31 |
Family
ID=81713684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210158979.XA Pending CN114557708A (zh) | 2022-02-21 | 2022-02-21 | 基于脑电双特征融合的体感刺激意识检测装置和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114557708A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115381467A (zh) * | 2022-10-31 | 2022-11-25 | 浙江浙大西投脑机智能科技有限公司 | 一种基于注意力机制的时频信息动态融合解码方法及装置 |
| CN116543873A (zh) * | 2023-05-08 | 2023-08-04 | 浙江千蝶脑科学有限公司 | 一种基于ai的doc评估及进程式意识康复指导方案决策系统及平台 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103472922A (zh) * | 2013-09-23 | 2013-12-25 | 北京理工大学 | 一种基于p300与ssvep混合式脑机接口的目的地选择系统 |
| CN105843377A (zh) * | 2016-03-17 | 2016-08-10 | 天津大学 | 基于异步并行诱发策略的混合范式脑-机接口 |
| CN106362287A (zh) * | 2016-10-24 | 2017-02-01 | 天津大学 | 一种新型mi‑sssep混合脑‑机接口方法及系统 |
| CN109670479A (zh) * | 2018-12-29 | 2019-04-23 | 天津理工大学 | 一种智能监控方法及系统 |
| CN112137616A (zh) * | 2020-09-22 | 2020-12-29 | 天津大学 | 一种多感觉脑-体联合刺激的意识检测装置 |
| CN113180693A (zh) * | 2021-03-23 | 2021-07-30 | 深圳市人民医院 | 静息态脑电rTMS疗效预测及干预闭环反馈诊疗方法 |
| CN113598790A (zh) * | 2021-07-13 | 2021-11-05 | 杭州电子科技大学 | 基于听觉刺激的意识障碍脑功能网络的意识评估方法 |
| CN113768474A (zh) * | 2021-11-15 | 2021-12-10 | 武汉理工大学 | 一种基于图卷积神经网络的麻醉深度监测方法及系统 |
-
2022
- 2022-02-21 CN CN202210158979.XA patent/CN114557708A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103472922A (zh) * | 2013-09-23 | 2013-12-25 | 北京理工大学 | 一种基于p300与ssvep混合式脑机接口的目的地选择系统 |
| CN105843377A (zh) * | 2016-03-17 | 2016-08-10 | 天津大学 | 基于异步并行诱发策略的混合范式脑-机接口 |
| CN106362287A (zh) * | 2016-10-24 | 2017-02-01 | 天津大学 | 一种新型mi‑sssep混合脑‑机接口方法及系统 |
| CN109670479A (zh) * | 2018-12-29 | 2019-04-23 | 天津理工大学 | 一种智能监控方法及系统 |
| CN112137616A (zh) * | 2020-09-22 | 2020-12-29 | 天津大学 | 一种多感觉脑-体联合刺激的意识检测装置 |
| CN113180693A (zh) * | 2021-03-23 | 2021-07-30 | 深圳市人民医院 | 静息态脑电rTMS疗效预测及干预闭环反馈诊疗方法 |
| CN113598790A (zh) * | 2021-07-13 | 2021-11-05 | 杭州电子科技大学 | 基于听觉刺激的意识障碍脑功能网络的意识评估方法 |
| CN113768474A (zh) * | 2021-11-15 | 2021-12-10 | 武汉理工大学 | 一种基于图卷积神经网络的麻醉深度监测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| POKORNY C等: "《The Role of Transient Target Stimuliina Steady-State Somatosensory Evoked Potential-BasedBrain–Computer Interface Setup》", FRONTIERS IN NEUROSCIENCE, 17 April 2016 (2016-04-17), pages 1 - 11 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115381467A (zh) * | 2022-10-31 | 2022-11-25 | 浙江浙大西投脑机智能科技有限公司 | 一种基于注意力机制的时频信息动态融合解码方法及装置 |
| CN116543873A (zh) * | 2023-05-08 | 2023-08-04 | 浙江千蝶脑科学有限公司 | 一种基于ai的doc评估及进程式意识康复指导方案决策系统及平台 |
| CN116543873B (zh) * | 2023-05-08 | 2023-12-12 | 浙江千蝶脑科学有限公司 | 一种基于ai的doc评估及进程式意识康复指导方案决策系统及平台 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109770924B (zh) | 一种基于广义一致性构建脑功能网络与相关向量机的疲劳分类方法 | |
| Cecotti et al. | Convolutional neural network with embedded Fourier transform for EEG classification | |
| CN105877766A (zh) | 一种基于多生理信号融合的精神状态检测系统及方法 | |
| CN110772268A (zh) | 一种多模脑电信号及1dcnn迁移的驾驶疲劳状态识别方法 | |
| CN107981997B (zh) | 一种基于人脑运动意图的智能轮椅控制方法及系统 | |
| CN114557708A (zh) | 基于脑电双特征融合的体感刺激意识检测装置和方法 | |
| CN104978035A (zh) | 基于体感电刺激诱发p300的脑机接口系统及其实现方法 | |
| CN101310242A (zh) | 用于检测和分类面部肌肉运动的方法和系统 | |
| CN105956624A (zh) | 基于空时频优化特征稀疏表示的运动想象脑电分类方法 | |
| CN108520239B (zh) | 一种脑电信号分类方法及系统 | |
| CN114533086B (zh) | 一种基于空域特征时频变换的运动想象脑电解码方法 | |
| CN104461007A (zh) | 一种基于脑电信号的驾驶员辅助人车交互系统 | |
| Ko et al. | Enhancing the hybrid BCI performance with the common frequency pattern in dual-channel EEG | |
| Gao et al. | Multi-ganglion ANN based feature learning with application to P300-BCI signal classification | |
| CN106648087B (zh) | 一种基于意识任务的特征eeg处理方法 | |
| CN107361767A (zh) | 一种使用脑电信号的人类情感效价分类识别方法 | |
| CN107292296A (zh) | 一种使用脑电信号的人类情感唤醒度分类识别方法 | |
| CN108710895A (zh) | 基于独立分量分析的运动想象脑电信号分类方法 | |
| CN113208593A (zh) | 基于相关性动态融合的多模态生理信号情绪分类方法 | |
| AU2013100576A4 (en) | Human Identification with Electroencephalogram (EEG) for the Future Network Security | |
| CN111671445A (zh) | 一种意识障碍程度分析方法 | |
| CN109009098A (zh) | 一种运动想象状态下的脑电信号特征识别方法 | |
| CN111616702A (zh) | 一种基于认知负荷增强的测谎分析系统 | |
| CN106073767B (zh) | Eeg信号的相位同步度量、耦合特征提取及信号识别方法 | |
| Geng et al. | A fusion algorithm for EEG signal processing based on motor imagery brain-computer interface |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |