CN104133470A - 多模态脑机接口轮椅控制系统 - Google Patents
多模态脑机接口轮椅控制系统 Download PDFInfo
- Publication number
- CN104133470A CN104133470A CN201310161250.9A CN201310161250A CN104133470A CN 104133470 A CN104133470 A CN 104133470A CN 201310161250 A CN201310161250 A CN 201310161250A CN 104133470 A CN104133470 A CN 104133470A
- Authority
- CN
- China
- Prior art keywords
- control system
- computer interface
- wheelchair
- brain
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明设计和实现了基于脑机接口的电动轮椅控制，目的在于给存在运动功能障碍的残疾人或者有相关需要的人员提供另一种意愿输出的途径以及与外界环境交互的能力，为其给予生活或工作方面的辅助。实际的系统可以做到使用者仅须通过脑的想象与接受车载电脑的刺激就可以控制轮椅的转向、前进、后退、加速、减速、启动和停止等。
Description
技术领域
本发明涉及一种脑机接口轮椅控制系统，实现一种通过脑电来直接控制轮椅的脑机接口系统。
背景技术
脑机接口(Brain-computer InterfaCe，BCI)的概念始于1973年，它是在人或动物脑与外部设备间建立的直接连接通路。自上世纪70年代以来，随着神经科学和计算机技术的发展，脑机接口取得了很大进展。目前，根据脑信号获取的方式的不同，脑机接口可分为侵入式和非侵入式，直接将电极植入到脑壳内称为侵入式BCI；从头皮获取信号则称为非侵入BcI。脑电(EleCtro-encephalo graPhy，EEG)是脑细胞群体发放电所产生的宏观现象，当大脑活动的时候，会产生特定的脑电信号。对于侵入式脑机接口因将电极置入大脑，可以直接从大脑皮层提取到信噪比较高的脑电信号。但对于非侵入脑机接口，则通常通过戴电极帽、红外成像、功能核磁共振等方式来获取脑电信号。
由于非侵入式BCI的研究，只需要通过特定的设备在大脑皮层的表面直接进行脑电信号的采集和处理，且不需要进行外科手术，因此非侵入式一直是BCI研究热点。非侵入式BCI由于脑电信号(EEG)的时间分辨率高，且采集设备具有容易携带、便于使用等优势，是一种实用的脑机接口方式。基于EEG的非侵入式BCI，根据神经生理学机理可分为：基于运动想象(Motor imagery，MI)的BCI系统、基于事件相关电位(Eventrelated Potential，ERP)的BCI系统、基于视觉诱发电位(VISual evokedpotentials，VEP)的BCI系统等。
近几年，脑机接口的相关研究取得了很大的发展，脑机接口在脑科学、神经科学、生物医学工程、信息，控制科学等领域都产生了很多应用。而在多自由度的运动控制方面的应用主要有虚拟环境漫游、计算机鼠标模拟、自动车控制(包括模型车、机器人、轮椅控制等)、假肢控制等。国内外一些脑机接口研究机构如美国纽约州立大学奥尔巴尼分校、德国Fraunhofer研究中心和图宾根大学、奥地利的Graz大学、日本R iken研究中心、新加波Infocomm研究中心，以及中国的清华大学等均发表了脑机接口轮椅控制的相关文章，主要采用的方法包括基于P300诱发电位、稳态视觉诱发电位(SSVEP)、运动想象的脑电信号特征提取与分类。仅适用视觉诱发电位(包括P300和SSVEP)的控制系统虽然实现简单，训练时间短，但由于离散控制的内在的缺陷，很难做到平滑，快速的控制。而单独依靠运动想象的实现则需要对使用者进行很长时间的训练，而且对使用者的依赖性很强。
总结下来，主要有以下两类：1.通过对运动想象特征进行二分类来控制轮椅进行简单的转向和匀速运动。此类方法功能简单，仅能做到最基本的转向，而实际应用中经常会遇到需要停止运动的情况，如转弯角度较大或者掉头。这种情况仅依靠转向功能是很难应付的。2.通过P300或者SSVEP脑电特征来进行多自由度的轮椅控制。该控制方法通常需要对使用者受到多次重复的刺激的信号进行平均来计算输出，检测速度较慢，使用者长时间注视刺激信号，而且由于是同步工作方式，容易疲劳。
发明内容
针对上述存在的问题，本发明的目的是实现一种通过脑电来直接控制轮椅的脑机接口系统，给存在严重运动功能障碍的残疾人或者有相关需要的人员提供另一种轮椅驾驶控制手段，为其提供生活或工作方面的辅助。
本发明的目的是通过下述技术方案实现的：
一种多模态脑机接口轮椅控制系统，作品设计的基本思路是通过针对脑电信号中多种特征模式，主要包括对使用者的运动想象(Motor imagery)和接受被动刺激时在脑电上的反映(P300视觉诱发电位)，对脑电信号进行预处理及特征提取，并对其进行相应的分类或者回归分析，从而做到多自由度的控制输出。
本发明不仅实现了脑机接口的多维运动控制，而且进一步提供了运动速度控制的功能，其中采用了基于多种脑电特征(P300诱发电位，运动想象)的多模态特征提取方法，而且通过对两种特征的有效融合实现了速度的控制。计算机根据头皮脑电信号中包含的P300诱发电位信息和运动想象节律信息特征，分别进行预处理、特征提取和分类。对于运动想象特征，我们首先进行CAR(共同平均参考)滤波，去掉通道间的直流分量，然后进行Mu(8-13Hz频带)节律的滤波，对滤波后的信号进行CSP(共同空间模式)变换得到信号的特征模式，再通过SVM(支持向量机)进行分类，得到轮椅运动的角度信息；同时对于P300诱发电位，首先对信号进行低通滤波，去除工频干扰，提取每个通道信号的幅值连接起来，加上运动想象的CSP特征，共同构成一个完整的特征向量，然后进行SVM的分类，得到轮椅运动的速度信息。
创新点：如果为了脑机接口系统的信号处理重新设计硬件系统，则大大提高发明作品的实施成本。我们采用市面上常见的微机或个人电脑，加以一定的安装结构的改装，将信号处理的过程用软件模拟处理，将得出的信号作轮椅控制信号。
技术关键：轮椅的改造与硬件平台的搭建，包括能源供给，线路设置，电机安装位置及运动信号反馈等。脑电信号处理中特征的提取与选择方法：对脑电信号中时间、空间以及频率域特征进行有效的提取，并选取最有利于分类的特征。脑电特征模式到控制指令的映射：对选取出来的特征必须合理的映射到输出指令上才能有效的对轮椅进行控制。
主要技术指标：控制的精度：即控制指令的输出与使用者意愿的符合程度。控制输出的速度：能在控制轮椅运动的过程中有效地避开障碍物，在紧急情况下快速停止，而且能够快速到达目标位置等。使用者的体验：使用者体验调查能够在一定程度上反映该发明能否真正在实际中得到应用。
附图说明
图1多模态脑机接口轮椅控制系统原理图。
具体实施方式
在使用本发明前，使用者需要接受相关的一些训练。其中包括完成一段时间的P300和运动想象任务，建立相应的模型，然后进行计算机模拟的二维运动控制，在计算机模拟控制的性能达到要求后才能进行轮椅的控制。
本发明仅采用使用者的脑电信号作为输入，通过相应的信号处理及模式识别方法提取出多维的控制信号，进行轮椅的运动控制。当有运动障碍的使用者产生运动意识时，激发大脑中的P300诱发电位信息和运动想象节律信息，同时，轮椅自带的脑机接口系统接收提取信号。
由大脑发出的信号不能直接作为控制信号，必须经过一系列处理之后才能更好的用于轮椅控制。我们将大脑信号所要经过的处理过程用轮椅自带的微型电脑系统中的软件模拟处理并得出运行结果，控制轮椅的运动行为。
轮椅的运动行为将通过轮椅上的电机实现。
以上对本发明的具体实施例进行了详细描述，但本发明并不限制于以上描述的具体实施例，其只是作为范例。对于本领域技术人员而言，任何对该进行的等同修改和替代也都在本发明的范畴之中。因此，在不脱离本发明的精神和范围下所作出的均等变换和修改，都应涵盖在本发明的范围内。
Claims (9)
1.一种多模态脑机接口轮椅控制系统，其特征在于，计算机根据头皮脑电信号中包含的P300诱发电位信息和运动想象节律信息特征，分别进行预处理、特征提取和分类。
2.根据权利要求1所述的一种多模态脑机接口轮椅控制系统，其特征在于，所述运动想象特征，首先进行CAR(共同平均参考)滤波，去掉通道间的直流分量。
3.根据权利要求1或2所述的一种多模态脑机接口轮椅控制系统，其特征在于，所述CAR滤波之后进行Mu(8-13Hz频带)节律的滤波，对滤波后的信号进行CSP(共同空间模式)变换得到信号的特征模式。
4.根据权利要求1或2或3任一权利要求所述的一种多模态脑机接口轮椅控制系统，其特征在于，所述得到信号的特征模式通过SVM(支持向量机)进行分类，得到轮椅运动的角度信息。
5.根据权利要求1所述的一种多模态脑机接口轮椅控制系统，其特征在于，所述P300诱发电位，首先对信号进行低通滤波，去除工频干扰，提取每个通道信号的幅值连接起来。
6.根据权利要求1或3或5所述的一种多模态脑机接口轮椅控制系统，其特征在于，所述信号的幅值加上运动想象的CSP特征，共同构成一个完整的特征向量。
7.根据权利要求6所述的一种多模态脑机接口轮椅控制系统，其特征在于，所述完整的特征向量进行SVM的分类，得到轮椅运动的速度信息。
8.根据权利要求1到7所述的一种多模态脑机接口轮椅控制系统，其特征在于，所述信号处理过程通过微机软件模拟处理。
9.根据权利要求1或4或7所述的一种多模态脑机接口轮椅控制系统，其特征在于，所述轮椅运动的角度及速度信息得出轮椅的运动控制信息，然后由轮椅所载的运动电机系统实现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310161250.9A CN104133470A (zh) | 2013-05-03 | 2013-05-03 | 多模态脑机接口轮椅控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310161250.9A CN104133470A (zh) | 2013-05-03 | 2013-05-03 | 多模态脑机接口轮椅控制系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104133470A true CN104133470A (zh) | 2014-11-05 |
Family
ID=51806189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310161250.9A Pending CN104133470A (zh) | 2013-05-03 | 2013-05-03 | 多模态脑机接口轮椅控制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104133470A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104799984A (zh) * | 2015-05-14 | 2015-07-29 | 华东理工大学 | 基于脑控移动眼的残疾人辅助系统及其控制方法 |
| CN105468156A (zh) * | 2015-11-25 | 2016-04-06 | 新乡医学院 | 一种基于α波控制的新型异步脑-机接口系统 |
| CN105563495A (zh) * | 2016-02-01 | 2016-05-11 | 浙江大学 | 基于精细化运动想象脑电信号控制的机械手系统及方法 |
| CN105739442A (zh) * | 2016-01-12 | 2016-07-06 | 新乡医学院 | 一种基于脑电信号的仿生手控制系统 |
| CN105810129A (zh) * | 2016-03-20 | 2016-07-27 | 唐山师范学院 | 一种工业设计展示平台 |
| CN106020489A (zh) * | 2016-06-06 | 2016-10-12 | 吉林工程技术师范学院 | 一种工业设计用的仿真系统 |
| CN107669416A (zh) * | 2017-09-30 | 2018-02-09 | 五邑大学 | 基于持续‑轻快运动想象神经解码的轮椅系统及控制方法 |
| CN108345383A (zh) * | 2018-02-07 | 2018-07-31 | 深圳市宏智力科技有限公司 | 基于脑电波的人脑喜好度检测方法及装置 |
| CN108646726A (zh) * | 2018-04-03 | 2018-10-12 | 山东农业大学 | 基于脑电波的轮椅控制方法以及结合语音的轮椅控制系统 |
| US11954253B2 (en) | 2020-08-13 | 2024-04-09 | Ford Global Technologies, Llc | Analog driving feature control brain machine interface |
-
2013
- 2013-05-03 CN CN201310161250.9A patent/CN104133470A/zh active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104799984A (zh) * | 2015-05-14 | 2015-07-29 | 华东理工大学 | 基于脑控移动眼的残疾人辅助系统及其控制方法 |
| CN105468156A (zh) * | 2015-11-25 | 2016-04-06 | 新乡医学院 | 一种基于α波控制的新型异步脑-机接口系统 |
| CN105739442B (zh) * | 2016-01-12 | 2018-12-04 | 新乡医学院 | 一种基于脑电信号的仿生手控制系统 |
| CN105739442A (zh) * | 2016-01-12 | 2016-07-06 | 新乡医学院 | 一种基于脑电信号的仿生手控制系统 |
| CN105563495A (zh) * | 2016-02-01 | 2016-05-11 | 浙江大学 | 基于精细化运动想象脑电信号控制的机械手系统及方法 |
| CN105810129A (zh) * | 2016-03-20 | 2016-07-27 | 唐山师范学院 | 一种工业设计展示平台 |
| CN106020489A (zh) * | 2016-06-06 | 2016-10-12 | 吉林工程技术师范学院 | 一种工业设计用的仿真系统 |
| CN106020489B (zh) * | 2016-06-06 | 2019-01-22 | 吉林工程技术师范学院 | 一种工业设计用的仿真系统 |
| CN107669416A (zh) * | 2017-09-30 | 2018-02-09 | 五邑大学 | 基于持续‑轻快运动想象神经解码的轮椅系统及控制方法 |
| CN108345383A (zh) * | 2018-02-07 | 2018-07-31 | 深圳市宏智力科技有限公司 | 基于脑电波的人脑喜好度检测方法及装置 |
| CN108345383B (zh) * | 2018-02-07 | 2021-07-23 | 深圳市宏智力科技有限公司 | 基于脑电波的人脑喜好度检测方法及装置 |
| CN108646726A (zh) * | 2018-04-03 | 2018-10-12 | 山东农业大学 | 基于脑电波的轮椅控制方法以及结合语音的轮椅控制系统 |
| US11954253B2 (en) | 2020-08-13 | 2024-04-09 | Ford Global Technologies, Llc | Analog driving feature control brain machine interface |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104133470A (zh) | 多模态脑机接口轮椅控制系统 | |
| Wang et al. | An asynchronous wheelchair control by hybrid EEG–EOG brain–computer interface | |
| Fang et al. | A multichannel surface EMG system for hand motion recognition | |
| CN103735262B (zh) | 一种双树复小波与共空间模式结合的脑电特征提取方法 | |
| CN106963372B (zh) | 一种脑电-肌电信号融合装置及融合方法 | |
| CN105962935B (zh) | 用于运动学习功能改善的脑电神经反馈训练系统及其方法 | |
| CN103885445A (zh) | 一种脑控动物机器人系统以及动物机器人的脑控方法 | |
| CN102799267B (zh) | Ssvep及阻断和p300三特征多脑-机接口方法 | |
| Shende et al. | Literature review of brain computer interface (BCI) using Electroencephalogram signal | |
| CN105708587A (zh) | 一种运动想象模式脑机接口触发的下肢外骨骼训练方法及系统 | |
| CN105137830A (zh) | 一种基于视觉诱发脑机接口的国画机器手及其绘图方法 | |
| CN103349595A (zh) | 基于多模式分层控制的脑机接口智能轮椅 | |
| CN102323771A (zh) | 基于脑机接口的车模控制装置 | |
| CN109009098A (zh) | 一种运动想象状态下的脑电信号特征识别方法 | |
| CN209107350U (zh) | 生物反馈式意识障碍检测及唤醒系统 | |
| CN111259699A (zh) | 一种人体动作识别和预测方法及装置 | |
| CN110751060B (zh) | 一种基于多源信号的便携式运动模式实时识别系统 | |
| CN206147520U (zh) | 一种用于基于运动想象和p300相结合的脑机接口控制虚拟现实的数据采集装置 | |
| CN105686827B (zh) | 一种基于微控制器的肌电信号处理及特征提取方法 | |
| Ravirahul et al. | Mind wave controlled assistive robot | |
| CN109460147B (zh) | 一种意念控制运动系统及其方法 | |
| CN109814720A (zh) | 一种设备的脑控方法及系统 | |
| CN104666052A (zh) | 面向外骨骼机器人的下肢肌音信号处理系统及方法 | |
| Zhang et al. | A novel hybrid BCI system based on SSVEP and EOG | |
| Ban et al. | A hybrid brain-computer interface for smart car control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| DD01 | Delivery of document by public notice |
Addressee: Xu Yanfeng Document name: Notification of Passing Preliminary Examination of the Application for Invention |
|
| C06 | Publication | ||
| PB01 | Publication | ||
| DD01 | Delivery of document by public notice |
Addressee: Xu Yanfeng Document name: Notification of Publication of the Application for Invention |
|
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20141105 |