CN108563324B - 一种面向过程控制的运动想象脑-机接口设计方法 - Google Patents
一种面向过程控制的运动想象脑-机接口设计方法 Download PDFInfo
- Publication number
- CN108563324B CN108563324B CN201810177113.7A CN201810177113A CN108563324B CN 108563324 B CN108563324 B CN 108563324B CN 201810177113 A CN201810177113 A CN 201810177113A CN 108563324 B CN108563324 B CN 108563324B
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram
- imagination
- user
- data
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
Abstract
本发明公开了一种面向过程控制的运动想象脑‑机接口设计方法，包括以下步骤：离线建模阶段：使用者根据电脑屏幕提示进行单肢体多层级力量水平想象任务，采集使用者在执行运动想象任务时的脑电信号数据，经过信号处理建立回归模型；在线测试阶段：搭建在线反馈实验平台，受试者随意进行任意的握力想象，实时读取使用者脑电数据；将采集的数据经过处理后送入建立好的回归模型中，实时输出预测结果并反馈给使用者。本发明与传统MI‑BCI范式相比，能够输出连续的控制指令，可使目前的MI‑BCI操作方式更自然，该范式结合功能电刺激形成刺激强度连续变化的反馈环路，可实现更好的效果。
Description
技术领域
本发明涉及脑-机接口系统领域，尤其涉及一种面向过程控制的运动想象脑-机接口设计方法。
背景技术
脑-机接口(Brain-Computer Interface,BCI)是连接大脑和外部设备的直接信息通路。一方面，BCI系统可以检测神经活动模式能够识别大脑的意图，并将其转化为可被计算机利用的机器指令；另一方面，BCI系统可以直接刺激外周或中枢神经系统可实现机器意图对大脑的直接表达。其主要的工作原理是：采集人在不同任务状态下的脑电信号，使用信号处理的方法分析不同的脑电模式，然后通过一定的工程技术手段在人的大脑和外部设备之间建立信息交互的通道，实现了一种全新的控制过程。近些年来由于其在众多领域表现出广阔的应用前景，因而得到了越来越多研究者们的关注。
运动想象(Motor Imagery，MI)，指大脑仅有动作意图但不实际执行，反映人对动作的期望及对将要发生真实动作的预演。MI研究已历经数十年发展，MI诱发脑电同时含有认知心理和神经生理信息，已广泛用于人-机交互并成为BCI控制重要方法。MI-BCI在损伤脑区神经回路重建以及中风患者康复方面具有不可替代的优势。MI-BCI是唯一一种不需要外界刺激的BCI范式，使用者仅需要自主的控制自己的意念输出指令，真正的实现了“意念控制”。并且MI-BCI是中风患者的有效康复手段之一，具有重要的应用价值。
但是，传统的MI-BCI系统实现的是面向对象解码的离散指令控制，控制指令主要包括左、右手，双脚，舌等简单肢体运动想象的指令。虽然，近些年来增加了复合肢体运动想象范式，如左手右脚，右手左脚，双手等协同运动想象指令，基于对运动参数(速度、力量、加速度、运动轨迹)的解码的范式以及基于各种更符合日常生活动作解码的范式，不断的扩大指令集，但对于外部设备的控制仍是离散指令控制。而实现连续的过程控制则是目前BCI发展中面临的重要挑战。
随着信号采集硬件的更新换代，高密度检测电极的出现，神经反馈训练方法的提出，源分析方法的完善等为实现面向过程控制的MI-BCI系统提供可能。
发明内容
本发明提供了一种面向过程控制的运动想象脑-机接口设计方法，本发明与传统MI-BCI范式相比，能够输出连续的控制指令，可使目前的MI-BCI操作方式更自然，该范式结合功能电刺激形成刺激强度连续变化的反馈环路，可实现更好的效果，详见下文描述：
一种面向过程控制的运动想象脑-机接口设计方法，所述方法包括以下步骤：
离线建模阶段：使用者根据电脑屏幕提示进行单肢体多层级力量水平想象任务，采集使用者在执行运动想象任务时的脑电信号数据，经过信号处理建立回归模型；
在线测试阶段：搭建在线反馈实验平台，受试者随意进行任意的握力想象，实时读取使用者脑电数据；将采集的数据经过处理后送入建立好的回归模型中，实时输出预测结果并反馈给使用者；
其中，所述单肢体多层级力量水平想象任务具体为：受试者需要根据提示完成最大握力的想象任务以及静息任务；
所述采集使用者在执行运动想象任务时的脑电信号数据具体为：
受试者进行上肢抓握力量的想象，使用NeuroScan 64导脑电放大器采集受试者的脑电信号，根据10-20国际标准导联位置摆放，以鼻尖为参考，前额叶为地，采样频率1000Hz，采用50Hz陷波器去除工频干扰；
采集到的脑电信号通过通用串行总线传入信号处理的电脑，通过MATLAB软件进行信号处理。
所述将采集的数据经过处理后送入建立好的回归模型具体为：
对采集到的脑电信号预处理包括：200Hz降采样，共平均参考，8-30Hz带通滤波，数据分割；
预处理后，对脑电信号提取特征，包括：利用事件相关谱扰动提取时-频特征，利用多频率成分空间滤波的共空间模式提取空间特征；
将提取到的时-频特征、空间特征用来训练SVR回归模型，训练后得到一个预测model；在在线测试阶段，利用建立好的model实时对于未知抓握力量的MI任务进行预测。
所述建立回归模型的方法使用的是支持向量回归。
本发明提供的技术方案的有益效果是：
1、本发明设计的面向过程控制的MI-BCI，通过两个等级的握力任务(最大/静息)想象，建立了可用于预测握力想象水平的连续输出模型，克服了原有传统的MI-BCI系统只能离散输出这一缺点；
2、本发明通过连续输出模型即可预测区间内的握力想象水平，从而减少训练时间；
3、本发明设计的面向过程控制的MI-BCI与传统MI-BCI范式相比，使用者仅需自主的控制自己的意念即可输出连续的指令，为面向自然人-机交互的MI-BCI操作奠定基础；
4、通过进一步的研究可以得到完善的BCI系统，有望获得可观的社会效益和经济效益。
附图说明
图1为面向过程控制的MI-BCI结构示意图；
图2为面向过程控制的运动想象脑-机接口设计方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
本发明实施例设计了一种面向过程控制的运动想象脑-机接口。运动想象特指一种运动意图，但无实际动作输出。运动想象可诱发不同节律脑电信号能量的下降或上升(事件相关去同步或事件相关同步(ERD/ERS))，不同的运动想象任务可诱发不同的ERD/ERS模式，因而运动想象可作为一种脑-机接口系统的控制方法。不同于传统的面向对象解码的，本技术设计了面向过程控制的运动想象脑-机接口范式，从而实现控制指令的连续输出。
实施例1
一种面向过程控制的运动想象脑-机接口设计方法，参见图1和图2，该方法包括以下步骤：
101：使用者根据电脑屏幕提示进行单肢体多层级力量水平想象任务，采集使用者在执行运动想象任务时的脑电信号数据，经过信号处理建立回归模型；
102：搭建在线反馈实验平台，使用者自主控制力量水平的想象，实时读取使用者脑电数据；
103：将采集的数据经过处理后送入建立好的回归模型中计算预测结果并反馈给使用者。
综上所述，本发明实施例通过两个等级的握力任务(最大/静息)想象，建立了可用于预测握力想象水平的连续输出模型，克服了原有传统的MI-BCI系统只能离散输出这一缺点。
实施例2
下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：
图1为本发明实施例的结构示意图。受试者进行上肢抓握力量的想象，与此同时使用NeuroScan 64导脑电放大器采集受试者的脑电信号，根据10-20国际标准导联位置摆放，以鼻尖为参考，前额叶为地，采样频率1000Hz，采用50Hz陷波器去除工频干扰；采集到的脑电信号通过通用串行总线(Universal Serial Bus，USB)传入信号处理的电脑，通过MATLAB软件进行信号处理。信号处理的结果通过网络连接呈现给使用者。
实验分为两个阶段：离线建模阶段和在线测试阶段：
1)离线建模阶段：
受试者需要根据提示完成最大握力的想象任务50次以及静息任务50次。采集的100个样本经过信号处理，建立回归预测模型。
2)在线测试阶段：
受试者随意进行任意的握力想象，采集的脑电经过信号处理提取特征，送入回归预测模型中，实时输出预测结果，反馈给受试者。
在在线实验中，无事件同步单元(即“标签”)，即没有记录所要截取数据的起始位置，采集数据时，采用6s为窗宽，0.5s为步长的“滑动时间窗”(该窗的时间可以根据软硬件平台的更新重新设置，时间越短，实时性越好)，实时截取数据进行处理，输出预测结果。
在本发明实施例中，预测结果以曲线的形式呈现给受试者，曲线的连续变化说明了受试者连续控制的输出。在实际应用中，预测结果可用于控制外部设备，如机械臂，实现使用者通过脑电信号对其连续控制。
对采集到的脑电信号预处理包括：200Hz降采样、共平均参考、8-30Hz带通滤波、数据分割；脑电特征提取方法包括：利用事件相关谱扰动提取时-频特征，利用多频率成分空间滤波的共空间模式提取空间特征；建立回归模型的方法使用的是支持向量回归。
一、时-频特征提取
如前所述，不同的MI任务可诱发不同的ERD/ERS模式，该模式有较好的频率特性，与MI任务的时间有密切的关系。因此，为了更好的提取MI任务下的脑电时-频特征，本发明实施例使用事件相关谱扰动(Event-related spectral perturbation，ERSP)提取所采集脑电的时-频特征。ERSP的定义如公式(1)所示：
在公式中，n表示试次数目，Fk(f,t)表示在频率f和时间t处第k个试次的谱估计。在这里，使用短时傅里叶变换的方法进行谱估计。
该方法的主要思想是使用一个有限宽度的观察窗对信号进行观察，然后对加窗后的信号进行傅立叶变换，从而同时得到了信号的时-频信息。
二、空间特征提取
共空间模式(Common Spatial Pattern，CSP)算法常应用于MI脑电信号的特征提取，该算法的目的是设计空间滤波器，原始脑电信号在滤波处理之后产生新的时间序列，使其方差能够最优区分与想象动作相关的两类脑电信号：
XCSP＝WT*X (2)
其中，XCSP为原始脑电信号X经过滤波之后得到的信号，W为所求空间滤波器矩阵，其中每一个列向量wj∈WN×N(j＝1…N)都是一个滤波器，A＝(W-1)T为空间模式矩阵，其中每一列向量aj∈AN×N(j＝1…N)都是一个空间模式。
在本发明实施例中，为了有效复合脑电信号中不同频率分布的特征，采用了一种基于多频率成分空间滤波的共空间模式算法(Filter bank CSP，FBCSP)。该算法的具体步骤包括：
(1)设计多个频带的带通滤波器(theta(4-8Hz)、alpha(8-13Hz)、beta(14-30Hz))，对原始脑电信号进行滤波；
(2)利用CSP算法对于每个子频带脑电成份进行空间滤波；
(3)采用基于互信息理论的特征筛选算法对由第(2)步获得的CSP特征进行筛选，保留特异性强的特征；
(4)将筛选出来的特征进行特征融合。
三、回归预测模型建立
本发明实施例使用支持向量回归(Support vector regression，SVR)来建立回归预测模型。与传统的回归预测模型建立的方法不同的是，SVR假设基于模型输出的f(x)与真实输出y之间存在有ε的偏差，即仅当f(x)与y之间的差别绝对值大于ε时才计算损失。
因此，SVR就是要找到一种映射关系，忽略间隔带内(f(x)与y之间的差别绝对值不大于ε)的点，对剩余的点进行回归，从而提升预测模型的泛化能力。
在本发明实施例中，离线阶段的脑电数据经过了特征提取阶段之后，将这些从样本中提取到的特征用来训练SVR回归模型，训练后得到一个预测model；在在线测试阶段，利用建立好的model实时对于未知抓握力量的MI任务进行预测。
综上所述，本发明实施例设计的面向过程控制的MI-BCI与传统MI-BCI范式相比，使用者仅需自主的控制自己的意念即可输出连续的指令，为面向自然人-机交互的MI-BCI操作奠定基础。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (1)
1.一种面向过程控制的运动想象脑-机接口设计方法，其特征在于，所述方法包括以下步骤：
离线建模阶段：使用者根据电脑屏幕提示进行单肢体多层级力量水平想象任务，采集使用者在执行运动想象任务时的脑电信号数据，经过信号处理建立回归模型；
在线测试阶段：搭建在线反馈实验平台，受试者随意进行任意的握力想象，实时读取使用者脑电数据；将采集的数据经过处理后送入建立好的回归模型中，实时输出预测结果并反馈给使用者；
其中，所述单肢体多层级力量水平想象任务具体为：受试者需要根据提示完成最大握力的想象任务以及静息任务；
所述采集使用者在执行运动想象任务时的脑电信号数据具体为：
受试者进行上肢抓握力量的想象，使用NeuroScan 64导脑电放大器采集受试者的脑电信号，根据10-20国际标准导联位置摆放，以鼻尖为参考，前额叶为地，采样频率1000Hz，采用50Hz陷波器去除工频干扰；
采集到的脑电信号通过通用串行总线传入信号处理的电脑，通过MATLAB软件进行信号处理；
其中，所述将采集的数据经过处理后送入建立好的回归模型具体为：
对采集到的脑电信号预处理包括：200Hz降采样，共平均参考，8-30Hz带通滤波，数据分割；
预处理后，对脑电信号提取特征，包括：利用事件相关谱扰动提取时-频特征，利用多频率成分空间滤波的共空间模式提取空间特征；
将提取到的时-频特征、空间特征用来训练支持向量回归模型，训练后得到一个预测模型；在在线测试阶段，利用建立好的模型实时对于未知抓握力量的运动想象任务进行预测；
其中，所述多频率成分空间滤波的共空间模式具体为：
(1)设计多个频带的带通滤波器theta 4-8Hz、alpha 8-13Hz、beta 14-30Hz，对原始脑电信号进行滤波；
(2)利用共空间模式算法对于每个子频带脑电成份进行空间滤波；
(3)采用基于互信息理论的特征筛选算法对由第(2)步获得的共空间模式特征进行筛选，保留特异性强的特征；
(4)将筛选出来的特征进行特征融合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810177113.7A CN108563324B (zh) | 2018-03-04 | 2018-03-04 | 一种面向过程控制的运动想象脑-机接口设计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810177113.7A CN108563324B (zh) | 2018-03-04 | 2018-03-04 | 一种面向过程控制的运动想象脑-机接口设计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108563324A CN108563324A (zh) | 2018-09-21 |
| CN108563324B true CN108563324B (zh) | 2020-07-24 |
Family
ID=63532462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810177113.7A Active CN108563324B (zh) | 2018-03-04 | 2018-03-04 | 一种面向过程控制的运动想象脑-机接口设计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108563324B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109657560A (zh) * | 2018-11-24 | 2019-04-19 | 天津大学 | 机械手臂控制在线脑-机接口系统及实现方法 |
| CN112205988B (zh) * | 2020-10-13 | 2021-08-20 | 北京理工大学 | 一种双手协同运动下的手部运动方向解码方法及系统 |
| CN112641449A (zh) * | 2020-12-18 | 2021-04-13 | 浙江大学 | 一种基于eeg信号的脑神经功能状态检测的快速评估方法 |
| CN112674783A (zh) * | 2020-12-23 | 2021-04-20 | 天津大学 | 长时程脑-肌电耦合的上肢运动功能训练与评测方法 |
| CN112732082A (zh) * | 2021-01-04 | 2021-04-30 | 河北工业大学 | 基于附加汉字默读运动想象方式的脑-机接口方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104571504A (zh) * | 2014-12-24 | 2015-04-29 | 天津大学 | 一种基于想象动作的在线脑-机接口方法 |
| CN106200984A (zh) * | 2016-07-21 | 2016-12-07 | 天津大学 | 运动想象脑‑机接口模型建模方法 |
| CN107361993A (zh) * | 2017-07-26 | 2017-11-21 | 山东海天智能工程有限公司 | 一种手指康复训练用系统及控制方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8804815B2 (en) * | 2011-07-29 | 2014-08-12 | Dialogic (Us) Inc. | Support vector regression based video quality prediction |
| CN102613972A (zh) * | 2012-03-28 | 2012-08-01 | 西安电子科技大学 | 运动想象脑电信号特征的提取方法 |
| CN107239769A (zh) * | 2017-06-16 | 2017-10-10 | 西南大学 | 一种使用多通道信息融合的个人情感效价识别方法 |
-
2018
- 2018-03-04 CN CN201810177113.7A patent/CN108563324B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104571504A (zh) * | 2014-12-24 | 2015-04-29 | 天津大学 | 一种基于想象动作的在线脑-机接口方法 |
| CN106200984A (zh) * | 2016-07-21 | 2016-12-07 | 天津大学 | 运动想象脑‑机接口模型建模方法 |
| CN107361993A (zh) * | 2017-07-26 | 2017-11-21 | 山东海天智能工程有限公司 | 一种手指康复训练用系统及控制方法 |
Non-Patent Citations (2)
| Title |
|---|
| An EEG Study on Hand Force Imagery for Brain-Computer Interfaces;Kun Wang等;《8th International IEEE EMBS Conference on Neural Engineering》;20170815;第668-671页 * |
| 基于运动相关皮层电位握力运动模式识别研究;伏云发等;《自动化学报》;20140630;第40卷(第6期) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108563324A (zh) | 2018-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108563324B (zh) | 一种面向过程控制的运动想象脑-机接口设计方法 | |
| CN108304068B (zh) | 一种基于脑机接口的上肢康复训练机器人控制系统及方法 | |
| CN106726030B (zh) | 基于临床脑电信号控制机械手运动的脑机接口系统及其应用 | |
| CN107273798A (zh) | 一种基于表面肌电信号的手势识别方法 | |
| CN107315478A (zh) | 一种运动想象上肢智能康复机器人系统及其训练方法 | |
| CN110238863A (zh) | 基于脑电-肌电信号的下肢康复机器人控制方法及系统 | |
| WO2016023349A1 (zh) | 基于表面肌电信号的动作识别方法和设备 | |
| Xu et al. | High accuracy classification of EEG signal | |
| CN104548347A (zh) | 一种纯意念神经肌肉电刺激控制与神经功能评价系统 | |
| CN104571504B (zh) | 一种基于想象动作的在线脑‑机接口方法 | |
| CN112488002B (zh) | 基于n170的情绪识别方法及识别系统 | |
| Fatima et al. | Towards a low cost Brain-computer Interface for real time control of a 2 DOF robotic arm | |
| CN107822629A (zh) | 四肢表面肌电轴的检测方法 | |
| Samuel et al. | Motor imagery classification of upper limb movements based on spectral domain features of EEG patterns | |
| CN110472595B (zh) | 脑电信号的识别模型构建方法、装置以及识别方法、装置 | |
| Geng et al. | A fusion algorithm for EEG signal processing based on motor imagery brain-computer interface | |
| Wang et al. | Motor imagination eeg recognition algorithm based on dwt, CSP and extreme learning machine | |
| Li et al. | Preliminary study of online real-time control system for lower extremity exoskeletons based on EEG and sEMG fusion | |
| Ahmed et al. | Effective hybrid method for the detection and rejection of electrooculogram (EOG) and power line noise artefacts from electroencephalogram (EEG) mixtures | |
| CN105686827B (zh) | 一种基于微控制器的肌电信号处理及特征提取方法 | |
| CN106843509A (zh) | 一种脑机接口系统 | |
| CN114098768B (zh) | 基于动态阈值和EasyTL的跨个体表面肌电信号手势识别方法 | |
| CN114237383B (zh) | 基于前额单导联脑电信号的多状态识别方法 | |
| Guo et al. | NAO robot limb control method based on motor imagery EEG | |
| CN107126302A (zh) | 上下肢运动仿真处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |