CN103150017B - 基于空间、时间和频率联合编码的脑-机接口通讯方法 - Google Patents
基于空间、时间和频率联合编码的脑-机接口通讯方法 Download PDFInfo
- Publication number
- CN103150017B CN103150017B CN201310069613.6A CN201310069613A CN103150017B CN 103150017 B CN103150017 B CN 103150017B CN 201310069613 A CN201310069613 A CN 201310069613A CN 103150017 B CN103150017 B CN 103150017B
- Authority
- CN
- China
- Prior art keywords
- interface
- sub
- frequency
- character
- brain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明属于脑-机接口通讯技术领域，为能够极大的增加BCI系统的带宽。进一步研究可以得到完善的脑-机接口系统，有望获得可观的社会效益和经济效益，为达到上述目的，本发明采取的技术方案是，时间和频率联合编码的脑-机接口通讯方法，设计实验，搭建好实验所需的脑电信号采集装置，然后在实验系统指导下，采集操作者脑电信号数据，将其存储后再进行一定的预处理、特征提取，最后进行分类；预处理和特征提取包括编码策略和解码策略，并进一步包括时间、频率、空间编解码策略。本发明主要应用于脑-机接口通讯的设计制造场合。
Description
技术领域
本发明属于脑-机接口通讯技术领域，具体讲，涉及基于空间、时间和频率联合编码的脑-机接口通讯方法。
背景技术
第一次脑-机接口（Brain-Computer Interface，BCI）国际会议给出的BCI的定义是：“BCI是一种不依赖于大脑外围神经与肌肉正常输出通道的通讯控制系统。”目前的研究成果中，它主要是通过采集和分析不同状态下人的脑电信号，然后使用一定的工程技术手段在人脑与计算机或其它电子设备之间建立起直接的交流和控制通道，从而实现一种全新的信息交换与控制技术，可以为残疾人特别是那些丧失了基本肢体运动功能但思维正常的病人提供一种与外界进行信息交流与控制的途径。即可以不需语言或肢体动作，直接通过控制脑电来表达意愿或操纵外界设备。为此，BCI技术也越来越受到重视。
在BCI的研究中，通讯协议的设计是其中一个重要的环节，它首先决定了BCI系统的最大带宽。目前的BCI通讯协议主要是基于单一的时间或者频率的编码方式，例如基于ERP的BCI方法利用的是基于时间的编码方式，而基于SSVEP的BCI利用的是基于频率的编码方式。因此，传统的BCI通讯协议方法单一，其可用的带宽较窄，不适合BCI系统的高速信息传输。另外，最新研究结果表明，对指令集进行空间编码是有效的。
基于空-时-频联合编码的通讯协议是无线传输领域中一种重要的方法。与传统的空-时和空-频协议相比，空-时-频协议能够达到更大的通讯带宽。然而，在BCI领域，其通讯协议一直处于相对落后的单一编码方式。
发明内容
本发明旨在克服现有技术的不足，能够极大的增加BCI系统的带宽。进一步研究可以得到完善的脑-机接口系统，有望获得可观的社会效益和经济效益，为达到上述目的，本发明采取的技术方案是，时间和频率联合编码的脑-机接口通讯方法，包括下列步骤：
受试者安静地坐于距屏幕约1m的靠椅上，注视计算机屏幕刺激界面的闪烁，脑电信号由脑电电极探测后经过脑电放大器放大、滤波后输入计算机，采集得到的脑电数据经过特征提取和模式识别后，转换为命令输出；
1.2编码策略
计算机屏幕刺激界面的闪烁，刺激面板由FPGA控制，分成左右两个部分，每个部分都存在若干子界面，每个子界面都是一个独立的BCI视觉刺激模块，且该模块服从P300-SSVEP-speller刺激模式；
1.2.1时间编码
刺激面板中所有子界面的oddball闪烁模式是一致的，即，所有子界面中字符的时间编码过程是一样的；
1.2.2频率编码
左、右侧面板中，各个子界面的SSVEP诱发频率是不一样的，但是，左右面板所包含的SSVEP诱发频率成分是能够相同的；
1.2.3空间编码
左、右侧面板字符发出的刺激光线经过垂直方向、水平方向的偏振片后，其透射光成为垂直方向、水平方向的线偏振光；
1.3解码策略
通过该视觉刺激方案诱发出来的大脑活动，能够在大脑头皮映射出具有空间、时间和频率特征的脑电信号，通过对脑电信号的空间、时间和频率的特征分析，就能够准确的输出控制命令；
1.3.1时间解码
用户所凝视的字符，其oddball闪烁刺激会引起大脑产生P300特征信号，通过机器学习等方法识别P300特征信号，从而实现脑电信号的时间解码；
1.3.2频率解码
通过识别SSVEP的频率成份，就可以判断用户注视的子界面类型，从而实现脑电信号的频率解码；
1.3.3空间解码
通过识别EOG的偏侧化效应和EEG特征的空间分布，BCI系统可以实现空间解码。
时间编码进一步具体为：
子界面I中的6个字符以随机遍历顺序连续发出视觉刺激，所以，字符A、B、C、D、E和F的时间编码是特定的、且各不相同的，同理，子界面II，III和IV中字符的时间编码亦是如此；对于任意子界面中的任意一个字符，都能在其他任意一个子界面中找到唯一一个与其时间编码一致的字符，例如，字符A、M、G和S的时间编码是一样的。
频率编码进一步具体位：子界面I的SSVEP诱发频率和子界面II的SSVEP诱发频率都是f1，而子界面III的SSVEP诱发频率和子界面IV的SSVEP诱发频率都是f2，且f1不等于f2，因此，子界面I（II）中字符的频率编码和III（IV）中字符的频率编码是不一致的，但是，子界面I（III）中字符的频率编码和II（IV）中字符的频率编码是一致的。
本发明的技术特点及效果：
与传统的单一维度的BCI通讯协议相比，基于空-时-频联合编码的BCI通讯协议采用三维度的编码方法。因此，能够高效的扩展BCI指令集，从而提高BCI系统的通讯带宽。其通讯效率比传统BCI系统有大幅度提高。
附图说明
图1本发明的整体方案示意图。
图2视觉刺激方案示意图。
具体实施方式
本发明设计了一种用于基于视觉刺激的脑-机接口（BCI）的通讯协议。该协议实现了对指令集的空-时-频联合编码（STF coding），和对脑电信号空-时-频信息的解码，从而能够极大的提高BCI的通讯带宽。
其技术流程是：设计实验，搭建好实验所需的脑电信号采集装置，然后在实验系统指导下，采集操作者脑电信号数据，将其存储后再进行一定的预处理、特征提取，最后进行分类。
本发明的主旨是提出一种新的BCI通讯协议，与传统的BCI通讯协议相比，能够极大的增加BCI系统的带宽。进一步研究可以得到完善的脑-机接口系统，有望获得可观的社会效益和经济效益。
1.1整体方案
图1为本发明的整体方案示意图。该设计包括脑电电极和脑电放大器等脑电采集系统，FPGA视觉刺激系统和计算机等部分。受试者安静地坐于距屏幕约1m的靠椅上，注视刺激界面的闪烁。在此过程中受试者脑电信号会产生相应的变化。脑电信号由脑电电极探测后经过脑电放大器放大、滤波后输入计算机。采集得到的脑电数据经过特征提取和模式识别后，转换为命令输出。
1.2编码策略
图2是该发明的视觉刺激方案示意图。刺激面板由FPGA控制，分成左右两个部分。每个部分都存在若干子界面。每个子界面都是一个独立的BCI视觉刺激模块，且该模块服从P300-SSVEP-speller刺激模式（即子界面上的所有字符服从oddball闪烁模式，并且每个字符都保持一定频率的稳定闪烁）。其中子界面的数量以4为例，每个子界面中字符的数量以6为例。
1.2.1时间编码
刺激面板中所有子界面的oddball闪烁模式是一致的，即，所有子界面中字符的时间编码过程是一样的。具体来说，子界面I中的6个字符以随机遍历顺序连续发出视觉刺激，所以，字符A、B、C、D、E和F的时间编码是特定的、且各不相同的。同理，子界面II，III和IV中字符的时间编码亦是如此。但是，对于任意子界面中的任意一个字符，都能在其他任意一个子界面中找到唯一一个与其时间编码一致的字符。例如，字符A、M、G和S的时间编码是一样的。
1.2.2频率编码
左（右）侧面板中，各个子界面的SSVEP诱发频率是不一样的，但是，左右面板所包含的SSVEP诱发频率成分是可以相同的。举例来说，子界面I的SSVEP诱发频率和子界面II的SSVEP诱发频率都是f1，而子界面III的SSVEP诱发频率和子界面IV的SSVEP诱发频率都是f2，且f1不等于f2。因此，子界面I（II）中字符的频率编码和III（IV）中字符的频率编码是不一致的，但是，子界面I（III）中字符的频率编码和II（IV）中字符的频率编码是一致的。
1.2.3空间编码
左（右）侧面板字符发出的刺激光线经过垂直方向（水平方向）的偏振片后，其透射光成为垂直方向（水平方向）的线偏振光。因此，只有左（右）眼镜片才能够透过该偏振光，即，左（右）侧面板字符发出的视觉刺激只在左（右）侧视野内呈现。从而对刺激面板中的字符进行了左右空间编码。
1.3解码策略
通过该视觉刺激方案诱发出来的大脑活动，能够在大脑头皮映射出具有空间、时间和频率特征的脑电信号。因此，通过对脑电信号的空间、时间和频率的特征分析，就能够准确的输出控制命令。
1.3.1时间解码
用户所凝视的字符，其oddball闪烁刺激会引起大脑产生P300特征信号。P300是大脑在受到小概率事件刺激后产生的认知脑电信号，其特征是在刺激后大约300毫秒时出现一个正向的波峰，它是一种时域特征信号，主要出现在额叶和顶叶。因此，可以通过机器学习等方法识别P300特征信号，从而实现脑电信号的时间解码。
1.3.2频率解码
用户所关注的子界面，其特定频率的闪烁，会诱发大脑枕叶产生与其频率和谐波频率相同的脑电信号，即SSVEP。通过识别SSVEP的频率成份，就可以判断用户注视的子界面类型，从而实现脑电信号的频率解码。
1.3.3空间解码
因为只有左（右）眼才能接收到左（右）侧面板的视觉刺激。因此，当用户注视左（右）侧面板字符时，左（右）眼眼电（EOG）成分能够反应视觉刺激的光学属性，而其对侧EOG无响应信号。另外，在枕叶的视觉皮层，仍然能够测量到具有空间特殊分布的脑电（EEG）信号。因此，通过识别EOG的偏侧化效应和EEG特征的空间分布，BCI系统可以实现空间解码。
Claims (2)
1.一种基于空间、时间和频率联合编码的脑-机接口通讯方法，其特征是，包括下列步骤：
受试者安静地坐于距屏幕约1m的靠椅上，注视计算机屏幕刺激界面的闪烁，脑电信号由脑电电极探测后经过脑电放大器放大、滤波后输入计算机，采集得到的脑电数据经过特征提取和模式识别后，转换为命令输出；
1.2编码策略
计算机屏幕刺激界面的闪烁，刺激面板由FPGA控制，分成左右两个部分，每个部分都存在若干子界面，每个子界面都是一个独立的BCI视觉刺激模块，且该模块服从P300-SSVEP-speller刺激模式；
1.2.1时间编码
刺激面板中所有子界面的oddball闪烁模式是一致的，即，所有子界面中字符的时间编码过程是一样的；
1.2.2频率编码
左、右侧面板中，各个子界面的SSVEP诱发频率是不一样的，但是，左右面板所包含的SSVEP诱发频率成分是能够相同的；
1.2.3空间编码
左、右侧面板字符发出的刺激光线经过垂直方向、水平方向的偏振片后，其透射光成为垂直方向、水平方向的线偏振光；
1.3解码策略
通过该视觉刺激方案诱发出来的大脑活动，能够在大脑头皮映射出具有空间、时间和频率特征的脑电信号，通过对脑电信号的空间、时间和频率的特征分析，就能够准确的输出控制命令；
1.3.1时间解码
用户所凝视的字符，其oddball闪烁刺激会引起大脑产生P300特征信号，通过机器学习等方法识别P300特征信号，从而实现脑电信号的时间解码；
1.3.2频率解码
通过识别SSVEP的频率成份，就可以判断用户注视的子界面类型，从而实现脑电信号的频率解码；
1.3.3空间解码
通过识别EOG的偏侧化效应和EEG特征的空间分布，BCI系统可以实现空间解码；时间编码进一步具体为：子界面I中的6个字符以随机遍历顺序连续发出视觉刺激，所以，字符A、B、C、D、E和F的时间编码是特定的、且各不相同的，同理，子界面II，III和IV中字符的时间编码亦是如此；对于任意子界面中的任意一个字符，都能在其他任意一个子界面中找到唯一一个与其时间编码一致的字符，其中，字符A、M、G和S的时间编码是一样的。
2.如权利要求1所述的基于空间、时间和频率联合编码的脑-机接口通讯方法，其特征是，频率编码进一步具体为：子界面I的SSVEP诱发频率和子界面II的SSVEP诱发频率都是f1，而子界面III的SSVEP诱发频率和子界面IV的SSVEP诱发频率都是f2，且f1不等于f2，因此，子界面I、III中字符的频率编码是不一致的，子界面II、IV中字符的频率编码也是不一致的；子界面I、II中字符的频率编码是一致的，子界面III、IV中字符的频率编码也是一致的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310069613.6A CN103150017B (zh) | 2013-03-05 | 2013-03-05 | 基于空间、时间和频率联合编码的脑-机接口通讯方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310069613.6A CN103150017B (zh) | 2013-03-05 | 2013-03-05 | 基于空间、时间和频率联合编码的脑-机接口通讯方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103150017A CN103150017A (zh) | 2013-06-12 |
| CN103150017B true CN103150017B (zh) | 2015-09-09 |
Family
ID=48548143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310069613.6A Active CN103150017B (zh) | 2013-03-05 | 2013-03-05 | 基于空间、时间和频率联合编码的脑-机接口通讯方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103150017B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103472922A (zh) * | 2013-09-23 | 2013-12-25 | 北京理工大学 | 一种基于p300与ssvep混合式脑机接口的目的地选择系统 |
| CN105302309B (zh) * | 2015-11-05 | 2018-01-12 | 重庆邮电大学 | 基于ssvep脑机接口的脑电波指令识别方法 |
| CN105824418B (zh) * | 2016-03-17 | 2018-11-27 | 天津大学 | 一种基于非对称视觉诱发电位的脑-机接口通讯系统 |
| CN106484112A (zh) * | 2016-10-10 | 2017-03-08 | 天津大学 | 基于运动想象脑‑机接口的字符拼写器及测试方法 |
| CN107656612B (zh) * | 2017-09-06 | 2020-05-12 | 天津大学 | 基于p300-ssvep的大指令集脑-机接口方法 |
| CN107967064B (zh) * | 2018-01-22 | 2020-02-28 | 南京邮电大学 | 基于脑机接口与激光辅助瞄准的智能家居控制系统 |
| WO2019144776A1 (zh) * | 2018-01-23 | 2019-08-01 | 天津大学 | 一种基于非对称脑电特征的脑-机接口系统编解码方法 |
| CN108469896A (zh) * | 2018-01-23 | 2018-08-31 | 天津大学 | 一种基于非对称脑电特征的脑-机接口混合编码范式方法 |
| CN109947250B (zh) * | 2019-03-19 | 2023-03-31 | 中国科学院上海高等研究院 | 脑-机接口通信方法及装置、计算机可读存储介质和终端 |
| CN113110745B (zh) * | 2021-04-27 | 2022-07-08 | 清华大学 | 视觉刺激系统、视觉刺激产生方法及脑机接口系统 |
| CN114167990A (zh) * | 2021-12-10 | 2022-03-11 | 清华大学 | 刺激范式生成系统、脑机接口系统、检测方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009139119A1 (ja) * | 2008-05-15 | 2009-11-19 | パナソニック株式会社 | 脳波信号の識別方法を調整する装置、方法およびプログラム |
| CN102609090A (zh) * | 2012-01-16 | 2012-07-25 | 中国人民解放军国防科学技术大学 | 采用脑电时频成分双重定位范式的快速字符输入方法 |
| CN102799267A (zh) * | 2012-06-29 | 2012-11-28 | 天津大学 | Ssvep及阻断和p300三特征多脑-机接口方法 |
-
2013
- 2013-03-05 CN CN201310069613.6A patent/CN103150017B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009139119A1 (ja) * | 2008-05-15 | 2009-11-19 | パナソニック株式会社 | 脳波信号の識別方法を調整する装置、方法およびプログラム |
| CN102609090A (zh) * | 2012-01-16 | 2012-07-25 | 中国人民解放军国防科学技术大学 | 采用脑电时频成分双重定位范式的快速字符输入方法 |
| CN102799267A (zh) * | 2012-06-29 | 2012-11-28 | 天津大学 | Ssvep及阻断和p300三特征多脑-机接口方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103150017A (zh) | 2013-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103150017B (zh) | 基于空间、时间和频率联合编码的脑-机接口通讯方法 | |
| CN104965584B (zh) | 基于ssvep与osp的混合脑‑机接口方法 | |
| CN103263324B (zh) | 基于ssvep稳态视觉诱发电位的智能轮椅系统 | |
| CN103399639B (zh) | 基于ssvep和p300联合脑机接口方法及装置 | |
| CN106267514B (zh) | 基于脑电反馈的情绪调控系统 | |
| CN102799267B (zh) | Ssvep及阻断和p300三特征多脑-机接口方法 | |
| CN104391569A (zh) | 基于认知与情绪状态多模态感知的脑机接口系统 | |
| CN103793058A (zh) | 一种主动式脑机交互系统运动想象任务分类方法及装置 | |
| CN102778949B (zh) | 基于ssvep阻断和p300双特征的脑-机接口方法 | |
| CN102654793B (zh) | 基于双模校验机制的脑电驱动高可靠操控系统 | |
| CN108099846A (zh) | 一种随机加密物理信息区块链防伪系统 | |
| CN105962935A (zh) | 用于运动学习功能改善的脑电神经反馈训练系统及其方法 | |
| CN105342606A (zh) | 通过中枢神经调节治疗睡眠障碍的方法 | |
| CN103294192A (zh) | 一种基于运动想象的led灯开关控制装置及其控制方法 | |
| CN105843377A (zh) | 基于异步并行诱发策略的混合范式脑-机接口 | |
| CN108469896A (zh) | 一种基于非对称脑电特征的脑-机接口混合编码范式方法 | |
| CN106267557A (zh) | 一种基于小波变换和支持向量机辨识的脑控主动上肢医疗康复训练系统 | |
| CN105011951A (zh) | 一种用脑电波提取眼睛眨动次数的装置及方法 | |
| CN110688013A (zh) | 一种基于ssvep的英文键盘拼写系统及拼写方法 | |
| CN105578239A (zh) | 一种基于脑-机接口技术的电视控制系统 | |
| CN105854182A (zh) | 脑卒中患者触觉康复治疗系统 | |
| Yin et al. | Design and application of brain-computer interface web browser based on VEP | |
| CN102512164A (zh) | Ssvep-bci系统多频排列编码以及识别方法 | |
| CN107329582B (zh) | 一种基于eog的快速字符输入方法 | |
| CN103440039B (zh) | 基于状态反馈的脑机通讯速率自适应控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |