CN110727347A - 用于脑机接口的经验相关事件想象任务设计 - Google Patents
用于脑机接口的经验相关事件想象任务设计 Download PDFInfo
- Publication number
- CN110727347A CN110727347A CN201910910463.4A CN201910910463A CN110727347A CN 110727347 A CN110727347 A CN 110727347A CN 201910910463 A CN201910910463 A CN 201910910463A CN 110727347 A CN110727347 A CN 110727347A
- Authority
- CN
- China
- Prior art keywords
- imagination
- brain
- experience
- different
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013461 design Methods 0.000 title claims abstract description 18
- 230000003925 brain function Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 7
- 210000004556 brain Anatomy 0.000 claims description 6
- 238000000034 method Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims 1
- 230000002045 lasting effect Effects 0.000 claims 1
- 238000005070 sampling Methods 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 9
- 238000012360 testing method Methods 0.000 description 5
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 3
- 239000010931 gold Substances 0.000 description 3
- 229910052737 gold Inorganic materials 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000037078 sports performance Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Neurosurgery (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提出了一种用于脑机接口的经验相关事件想象任务设计，其步骤包括：(1)采用多种结合日常生活经验的想象事件，如：抓握、手指捻、使用交通工具和体育运动等，根据各个被试的生活经验选择合适自己的想象任务；(2)使用脑电帽记录数据，设备采样率设为1000Hz；(3)对采集到的EEG数据进行分频带处理和共空间模式(CSP)处理；(4)由所得的相位锁定值(PLV)，建立不同想象任务相对应的脑功能模式；(5)由检测的模式确定所想象的事件。
Description
技术领域
本发明涉及信号与信息处理和神经生物学交叉领域，特别涉及用于脑机接口的经验相关事件想象任务设计。
背景技术
EEG信号具有时间分辨率高、使用方便等优点，在脑-机接口(brain-computerinterface，BCI)领域得到了广泛的应用。事件相关去同步(ERD)/事件相关同步(ERS)的想象运动任务是基于自发电位的BCI系统中最常用的信号。然而，由于被试自身经历不同，导致他们在想象运动任务中的表现也不尽相同。因此由于个体差异，这类BCI系统的性能在很大程度上取决于它们的“黄金被试”。此外，传统的想象运动系统的自由度也是有限的，通常是采用左右运动，只有两个自由度。一般想象运动包括手、脚和舌头的运动。2013奥地利格拉茨工业大学Elisabeth V.C.Friedrich等人在基于意识任务的脑-机交互系统中利用心理任务来增加BCI系统的自由度。心理学任务包括：想象运动、心理旋转、单词联想、听觉想象、心算减法、空间导航、人脸想象。但是，不同的被试在不同的想象任务中的表现会有明显的差别，导致了多分类的表现较差。为解决这一难题，本发明在如下几方面有所创新：(1)增加了多种类型的想象事件，如交通工具、体育运动等，这就为提高基于想象运动的BCI系统的自由度提供了一种方法；(2)在基于事件想象的脑机接口中，根据受试者的经验定制不同的想象任务；(3)采用脑功能模式的空、时频分析方法，求解用于脑机接口的经验相关事件想象任务设计下的脑网络。
发明内容
本发明提出了一种用于脑机接口的经验相关事件想象任务设计，它根据被试者的经验定制其想象任务。基本方案如下：
S1.一种用于脑机接口的经验相关事件想象任务设计，不同于常规的想象运动所采用的左右运动的想象，本发明采用多种结合日常生活经验的想象事件，如：抓握、手指捻、使用交通工具和体育运动等。
S2.针对不同的被试可以选用最适合其本人的事件想象任务。根据不同被试的生活经验选择适合自己的交通工具和运动方式等事件进行想象。
S3.其处理方法的特点在于建立不同事件想象任务所对应的脑功能模式，根据检测的EEG信号推得的脑功能模式，确定所想象的事件。
S4.基于权利要求1的用于脑机接口的经验相关事件想象任务设计，其脑电处理的方法为：
(1)对采集到的EEG数据进行分频带处理；
(2)对各频带的信号作共空间模式法(CSP)处理；
(3)由所得相位锁定值(PLV)，建立不同想象任务相对应的脑功能模式。
本发明的有益效果是：用于脑机接口的经验相关事件想象任务设计能够提高分类性能和自由度；能够促进脑机接口系统的推广。
附图说明
图1为经验相关事件想象任务设计流程图；
图2为经验相关事件想象任务的分类正确率(二分类)；
图3为经验相关事件想象任务的脑电信号的频谱图；
图4为不同事件想象任务组合的分类正确率(四分类)；
图5为经验相关事件想象任务下的脑网络图；
具体实施方式
本发明提出的用于脑机接口的经验相关事件想象任务设计流程如图1所示。下面结合附图，对本发明的具体实施方式作详细说明，但本发明的实施方式不限于此。
1、设计并测试了四种类型的想象任务，即抓握、手指捻、交通方式和运动方式。由于被试的想象任务是根据受试者的经验选择不同的事件进行想象，因此本文中不同的受试者选择的交通方式是不同的，如自行车、摩托车以及汽车等，各个被试的运动方式也不相同。实验方案及细节如表1所示。
表1不同被试的事件相关想象任务细节表
2、数据分别从6名健康被试身上采集EEG信号，采用7-35Hz的带通滤波器进行滤波。滤波后的数据2s分割成一段，对每段数据采用CSP进行特征提取，具体过程如下：
假设X1,X2为两类样本数据，则样本归一化协方差矩阵为：
则两类信号的协方差矩阵之和为：
其中Uc为Rc的特征向量矩阵，λc为Uc对应的特征值组成的对角矩阵。计算白化矩阵W,并对两类协方差矩阵R1,R2进行白化：
两类协方差矩阵可被白化矩阵W白化：
S1＝WR1WT (5)
S2＝WR2WT (6)
可知，S1和S2有共同的特征向量，且其特征值矩阵和为单位矩阵：
S1＝Bλ1BT (7)
S2＝Bλ2BT (8)
将特征向量矩阵特征值大小降序排列，选择首尾各m列重新构成特征向量矩阵B'，则共空间模式算法所构造的空间滤波器为：
Q＝B'TW (9)
两类样本数据X1,X2通过Q滤波器之后得到新的样本数据为：
Z1＝QX1 (10)
Z2＝QX2 (11)
将Z1,Z2进行归一化处理之后便得到最终的特征向量。
如图2所示，不同的被试在同一事件中的表现有着明显的差异，不同事件之间的每个被试的个体表现也有差异。这支持了我们的假设，即不同的生活体验会影响不同被试对不同事件的想象能力，用于脑机接口的经验相关事件想象任务设计能够提高想象运动性能。特别是被试6，在抓握事件中分类正确率为60％，但在交通工具事件中分类正确率提高至94.17％，频率分析也表明交通工具任务比抓握任务具有更强的特征，如图3所示。
3、如图4所示，通过适当的结合不同的事件想象任务，所有被试的四分类想象任务的分类准确率能够超过80％，被试1、2、4的正确率能够超过90％。特别是被试6，在手掌抓握事件中表现较差，但通过与手指捻事件和交通工具事件结合，四分类正确率能够达到82.26％，这就证明了本说明所提出的任务设计能够将“非黄金被试”转化为“黄金被试”。
4、除了想象运动的能量特征外，本说明还考虑了相位特征来构建不同任务的脑功能网络，在此基础上，建立了基于同步锁定值的想象事件脑功能网络。
相位锁定值定义为：
其中，φp(t)和φq(t)表示第n个试次中p和q两通道信号的瞬时相位，N表示试次总数，(12)式为试次平均得到的PLV，也可对瞬时相位差求时间平均得到PLV为：
其中，φp(t)和φq(t)表示第i试次中p和q两通道的瞬时相位，T表示一个试次的时间长度(离散时间点)。瞬时相位通过Hilbert变换计算得到。设实值函数f(t)，其中t∈(-∞,+∞)，它的希尔伯特变换为：
常记为：
其中。H表示Hilbert变换，“*”表示卷积。并定义f(t)的解析信号Z(t)为：
Z(t)＝f(t)+jf(t) (16)
则f(t)的瞬时相位φ(t)为：
即信号的瞬时相位，可以通过其Hilbert变换表示出来。求出瞬时相位后，便可带入(12)式或(13)式求解PLV。
被试2的不同事件想象时的大脑模式如图5所示。图5显示，在同一事件想象下两项任务之间的脑功能网络存在明显差异，且不同的事件想象也有不同的大脑模式，这表明不同类型事件想象的大脑模式不同。这也进一步证明了用于脑机接口的经验相关事件想象任务设计确实有提高基于想象运动的脑机接口系统性能的潜力。
Claims (4)
1.一种用于脑机接口的经验相关事件想象任务设计，不同于常规的想象运动所采用的左右运动的想象，本发明采用多种结合日常生活经验的想象事件，如：抓握、手指捻、使用交通工具和体育运动等；根据各个被试的生活经验选择适合自己的想象任务。
2.根据权利要求1所述的一种用于脑机接口的经验相关事件想象任务设计，其特征在于针对不同的被试可以选用最适合其本人的事件想象任务，且其想象事件类型不少于4种。
3.根据权利要求1所述的一种用于脑机接口的经验相关事件想象任务设计，其特征在于建立不同想象事件所对应的脑功能模式，根据检测的EEG信号推得的脑功能模式，确定所想象的事件。
4.根据权利要求1所述的一种用于脑机接口的经验相关事件想象任务设计，其脑电处理的方法为：
(1)对采集到的EEG数据进行7-35Hz的带通滤波；将每个导联的原始EEG信号分为60个样本，每个样本持续2s；
(2)对各频带的信号做共空间模式法(CSP)处理，得到一组空间滤波器，该滤波器能够将两类信号按能量特征分开；选取首尾3列特征重新构成特征向量；对这6维特征进行分类；
(3)将脑电帽的电极作为网络的节点，相位锁定值作为网络的边，得到不同想象任务相对应的脑功能模式；通过对不同的想象任务的脑网络成像，可以有效的对不同的想象任务进行分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910910463.4A CN110727347A (zh) | 2019-09-25 | 2019-09-25 | 用于脑机接口的经验相关事件想象任务设计 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910910463.4A CN110727347A (zh) | 2019-09-25 | 2019-09-25 | 用于脑机接口的经验相关事件想象任务设计 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110727347A true CN110727347A (zh) | 2020-01-24 |
Family
ID=69219384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910910463.4A Pending CN110727347A (zh) | 2019-09-25 | 2019-09-25 | 用于脑机接口的经验相关事件想象任务设计 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110727347A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101862194A (zh) * | 2010-06-17 | 2010-10-20 | 天津大学 | 基于融合特征的想象动作脑电身份识别方法 |
| CN107132915A (zh) * | 2017-04-19 | 2017-09-05 | 西北工业大学 | 一种基于动态脑功能网络连接的脑‑机接口方法 |
-
2019
- 2019-09-25 CN CN201910910463.4A patent/CN110727347A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101862194A (zh) * | 2010-06-17 | 2010-10-20 | 天津大学 | 基于融合特征的想象动作脑电身份识别方法 |
| CN107132915A (zh) * | 2017-04-19 | 2017-09-05 | 西北工业大学 | 一种基于动态脑功能网络连接的脑‑机接口方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Park et al. | Filter bank regularized common spatial pattern ensemble for small sample motor imagery classification | |
| Wang et al. | Common spatial pattern method for channel selelction in motor imagery based brain-computer interface | |
| Yong et al. | Sparse spatial filter optimization for EEG channel reduction in brain-computer interface | |
| CN111265212A (zh) | 一种运动想象脑电信号分类方法及闭环训练测试交互系统 | |
| Baali et al. | A transform-based feature extraction approach for motor imagery tasks classification | |
| CN112084879B (zh) | 一种运动想象脑电的块选择共空间模式特征提取方法 | |
| CN110269609B (zh) | 基于单通道的脑电信号中眼电伪迹分离方法 | |
| CN112353407A (zh) | 一种基于神经功能康复主动训练的评估系统及方法 | |
| CN113780392B (zh) | 一种运动想象脑电识别的通道选择方法 | |
| Caramia et al. | Optimizing spatial filter pairs for EEG classification based on phase-synchronization | |
| CN106648087B (zh) | 一种基于意识任务的特征eeg处理方法 | |
| CN113967022B (zh) | 一种基于个体自适应的运动想象脑电特征表征方法 | |
| Liu et al. | Uncorrelated multiway discriminant analysis for motor imagery EEG classification | |
| Li et al. | Three-class motor imagery classification based on fbcsp combined with voting mechanism | |
| Kumar et al. | EEG based motor imagery classification using instantaneous phase difference sequence | |
| Ghaheri et al. | Extracting common spatial patterns from EEG time segments for classifying motor imagery classes in a Brain Computer Interface (BCI) | |
| Feng et al. | Feature extraction algorithm based on csp and wavelet packet for motor imagery eeg signals | |
| Belhadj et al. | CSP features extraction and FLDA classification of EEG-based motor imagery for Brain-Computer Interaction | |
| CN112560703B (zh) | 一种基于pf系数的多模态bci特征提取方法 | |
| Moufassih et al. | Spectral feature extraction from EEG based motor imagery using common spatial patterns | |
| Navarro et al. | A comparison of time, frequency and ICA based features and five classifiers for wrist movement classification in EEG signals | |
| Belwafi et al. | Online adaptive filters to classify left and right hand motor imagery | |
| Kabir et al. | Accuracy improvement of fNIRS based motor imagery movement classification by standardized common spatial pattern | |
| CN110727347A (zh) | 用于脑机接口的经验相关事件想象任务设计 | |
| Thomas et al. | EEG-based motor imagery classification using subject-specific spatio-spectral features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200124 |