CN105446158A - 一种基于多模态脑机接口的智能家电控制护理装置及方法 - Google Patents
一种基于多模态脑机接口的智能家电控制护理装置及方法 Download PDFInfo
- Publication number
- CN105446158A CN105446158A CN201511034219.4A CN201511034219A CN105446158A CN 105446158 A CN105446158 A CN 105446158A CN 201511034219 A CN201511034219 A CN 201511034219A CN 105446158 A CN105446158 A CN 105446158A
- Authority
- CN
- China
- Prior art keywords
- control
- instruction
- brain
- ssvep
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000000474 nursing effect Effects 0.000 title abstract description 7
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 230000000638 stimulation Effects 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 21
- 230000005540 biological transmission Effects 0.000 claims description 17
- 210000004556 brain Anatomy 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 8
- 239000012190 activator Substances 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000004936 stimulating effect Effects 0.000 claims description 5
- 230000003321 amplification Effects 0.000 claims description 4
- 230000000763 evoking effect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 230000001769 paralizing effect Effects 0.000 abstract description 10
- 230000008859 change Effects 0.000 abstract description 4
- 208000004210 Pressure Ulcer Diseases 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004378 air conditioning Methods 0.000 description 2
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 206010003591 Ataxia Diseases 0.000 description 1
- 206010010947 Coordination abnormal Diseases 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 208000034189 Sclerosis Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000016290 incoordination Diseases 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Psychology (AREA)
- Manufacturing & Machinery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Psychiatry (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Electrotherapy Devices (AREA)
Abstract
本发明公开了一种基于多模态脑机接口的智能家电控制护理装置及方法，包括两两互联的视觉刺激屏、EEG信号采集系统、计算机、控制器、设备终端，本发明通过同时检测P300电位和SSVEP是否在同一目标按键组上产生，来区分系统的空闲/控制状态；然后通过基于P300的脑机接口来选择所要控制的家电设备及相关操作的控制。本发明为长期卧床不起的重症瘫痪病人(如SCA，ALS等)提供了一种新的护理方式；他们不仅可以自主地实现在床上的姿势改变，防止褥疮的发生。同时，也可以在床上实现对多种家电设备进行操作控制，提高生活质量。本发明具有准确区分系统空闲/控制状态、识别率高、功能齐全以及普遍实用性等优点，可供广大的卧床瘫痪病人使用。
Description
技术领域
本发明涉及重症瘫痪病人的辅助装置、脑机接口应用研究及人机交互领域，尤其是指一种基于多模态脑机接口的智能家电控制护理装置及方法。
背景技术
尽管目前市场上已经有很多的智能设备来帮助瘫痪病人改善生活质量。如基于语音控制、手动遥控开关操控以及定时控制等设备。但是对于那些重症瘫痪者，如：肌萎缩性脊侧腰索硬化症(ALS)、脊髓小脑的共济失调(SCA)及植物人等人群，他们保留了正常人的思维，但仅能通过视觉来跟外界取得交流。倘若这些病人能够实现对护理床、电视机等家电设备的控制，这样极大地改善了他们的生活质量。如控制护理床，可以根据他们自己的需要来实现护理床的不同状态的改变(如，翻身、起背，曲腿等)这样可以减少护理的劳动负荷，也可以预防褥疮的发生。又如，瘫痪的病人躺在床上的时候，若可以控制电视机、空调等与生活息息相关的家电设备，这样更有利于病人的康复和生活的改善。因而，发明一种可以供此类病人使用的一套护理装置是有必要的。
进入二十一世纪后，随着人工智能领域不断的深入研究探索及挖掘，很多的研究者提出诸多的方法及理论来研究适合这类重症瘫痪病人使用的设备，改善他们的生活质量。近几年，神经工程领域的迅速发展使得神经网络与设备的结合越来越紧密，研发出一些适合这些病人使用的设备。其中，神经网络的一个重要分支领域--脑机接口(brain-computerinterface，BCI)，其发展是速度非常的快速，吸引了一大批的科研工作者对BCI领域研究的热潮。
BCI是一种通过采集大脑皮层的信号进行处理及分析，并转化为控制外围设备的指令，实现人脑与计算机或其他通讯设备间的信息交流和控制，它不依赖于常规的人脑正常输出通道。利用人脑对不同的事物或认知活动产生不同的反应，从而得到不同类型的脑电信号。通过对脑电信号进行放大、滤波、采集、特征提取，分类等实现控制指令的转化。当前，脑电采集的方式有两种方式即植入式和非植入式。前者需要将电极植入大脑内部，存在很大的危险性，但是其获得的脑电信号信噪比高，精度也高，信号方便处理。而后者得到的信号是属于非平稳性信号，容易受到环境及人的当前状态的影响。当然，随着人们对信号处理方面的技术深入探讨，对于微弱的小信号的处理能力得到空前的进步。以及脑电采集仪对脑电采集的精度也较高。因此，在本发明中我们采用后者即非植入式的方式来获取脑电信号。然后，经过一系列的信号处理算法，最终实现对家电设备的控制。
目前，关于脑机接口技术方面的研究已经取得了较大的进步且其技术相对成熟，无论是单一脑电信号的脑机接口技术，还是多模态的脑机接口技术已经有许多关于BCI方面的专利和成果了。如中国专利“一种新型的基于运动想象脑电控制的智能轮椅系统，公开号：CN101897640A”，“基于脑-机接口的智能轮椅控制系统及其脑电信号处理方法，公开号：CN101301244A”以及“基于多模态脑机接口的智能轮椅，公开号：CN102309380”。另外，基于脑机接口的鼠标控制的因特网浏览方法、无线遥控车系统等；当前，主要用于脑机接口的的脑电信号主要有：运动想象、稳态视觉诱发电位(steady-statevisualevokedpotential，SSVEP)的脑电信号、一种内源性的与认知功能相关的特殊的事件相关电位(eventrelatedpotentials，ERP)即P300电位(其峰值出现在相关事件发生后的300ms左右)以及慢性层电位(SCP)等脑电信号。
近年，随着脑机接口技术领域的进一步发展及推广，这些比较具有规律和科学性的脑电信号被采用用于实际的生活应用中。虽然目前已经有一些基于脑电的护理床、脑电控制的电灯等，但是他们需要一直盯着闪烁的键，而且在空闲状态下容易产生错误的指令。在本发明中采用P300电位和SSVEP来实现系统状态的切换，通过P300电位来实现所需要控制的设备及操作。这样不仅可以减少错误指令的产生，同时用户根据自己的真实意图来控制家电设备，极大提高他们的生活条件，减少了护理的劳动负荷和促进了自我康复及治愈。
发明内容
本发明的目的在于克服现有技术的不足与缺点，提出一种基于多模态脑机接口的智能家电控制护理装置及方法，具有准确区分空闲/控制状态、识别率高、功能齐全以及普遍实用性等优点，可供广大的卧床瘫痪病人使用。
为实现上述目的，本发明所提供的技术方案如下：
一种基于多模态脑机接口的智能家电控制护理装置，包括：
两两互联的视觉刺激屏，能够多方位调整位置，以获取良好的视觉刺激效果；
EEG信号采集系统，包括脑电采集仪及与该脑电采集仪相连的脑电电极帽，并要确保电极帽的12个通道处于国际10-20系统中的标准位置；其中，所述12个通道包括有“FZ”、“FCz”、“Cz”、“CPz”、“Pz”、“Oz”、“P3”、“P4”、“P7”、“P8”、“O1”、“O2”通道，并注入导电胶；
计算机，用来计算检测脑电信号P300电位和基于稳态视觉诱发电位SSVEP的算法，控制刺激屏的操作界面和按键的闪烁，以及控制命令的转换；用户注视刺激屏上的一组按键，同时产生P300电位和SSVEP脑电信号，当被计算机成功检测出来后，系统将从空闲状态切换到控制状态，然后即可通过P300电位的脑机接口实现相应设备的操作；
控制器，以主控芯片STM32F103VCT6为核心，通过接收来自计算机的指令进行判断，若是控制护理床的指令，则驱动模拟开关来选择相应的通道来控制对应的功能；若是控制其他家电设备，则通过其STR-30无线数据发射模块将指令发送到相应的设备终端；
设备终端，通过其STR-30无线数据接收模块接收指令后，对指令进行分析，实现相应的红外编码以实现对该设备的操作。
一种基于多模态脑机接口的智能家电控制护理方法，包括以下步骤：
1)用户平躺在护理床上，然后根据自己的习惯调整好刺激屏的位置，以便有一个最佳的刺激效果，获取良好的脑电信号；
2)启动系统并默认处于空闲状态，设置刺激屏幕上的右上角按键组作为系统从空闲状态到控制状态的激活开关；
3)用户注视刺激屏的激活开关，脑电信号通过EEG信号采集系统进行信号的预处理，包括放大、滤波、及采样量化；然后通过Expresscard转并口的传输方式将数据传至计算机进行特征提取、分类，实现脑电信号的P300电位和SSVEP检测；一旦激活开关被正确识别后，系统从空闲状态切换到控制状态，并启动基于P300的脑机接口按键闪烁；
4)用户通过注视所要控制的设备按键，同样将产生的脑电信号送至计算机；但此时只进行P300电位检测；一旦被正确识别，则刺激界面跳转到相应设备的操作界面并启动该界面的P300闪烁；如果该设备的功能键也被正确识别后，计算机将发送两个字节的指令到控制器，控制器解析其指令后便会执行相应的操作，其中该两个字节的指令中第一个字节代表设备名；
5)控制器通过USB接口接收来自计算机的指令后并解析；若指令是控制护理床，则直接驱动护理床电路，继而驱动电动护理床上的电机，实现护理床功能操作；若指令是控制其他家电设备的，则将指令进行再次编码，通过STR-30无线数据发射模块将控制命令发送至对应的设备终端，继而到下面步骤6)；
6)家电的设备终端的STR-30无线数据接收模块接收命令后，通过对该命令进行解析从而通过红外编码控制该设备的相应功能；
7)系统执行一个操作后，自动恢复到空闲状态，即重新回到上面步骤2)。
在步骤2)中，所述刺激屏幕上设置有4组按键组和5个设备按键，4组按键组分别置于屏幕的左上角、右上角、左下角和右下角，用来产生P300电位和SSVEP脑信号，5个设备按键分布在屏幕的中间只产生P300电位；其中，右上角的按键组作为切换系统的运行状态，其余的3组按键作为辅助不产生实际的控制指令。
步骤3)和4)中的P300电位检测及步骤3)中的SSVEP检测，具体通过以下步骤：
A.将通过EEG信号采集系统预处理后的脑电数据通过1～20Hz的巴特沃斯带通滤波消除噪声，将数据复制两份，分别进行P300电位检测和SSVEP检测；
B.P300电位检测：截取按键闪烁后的500ms内数据，以信号的幅值作为特征，并采用支持向量机模型SVM进行状态分类，从而实现P300电位检测；
C.SSVEP检测：采用DFT算法对提取的600ms内的脑电信号进行平均功率谱计算，若其值超过或达到所预定义的阈值，则实现SSVEP的检测；
D.若P300电位和SSVEP被同时检测出，则刺激屏的设备按键开始闪烁来刺激用户的P300电位，若目标操控的设备被选中，界面跳转至相应的操作界面并启动闪烁，一旦某一目标的P300电位功能键被正确识别；计算机将发送两个字节的指令到控制器；然后控制器通过接收到的命令执行相应的操作；若是控制护理床，则直接驱动控制器上护理床驱动电路；若是控制其他的家电设备，则通过STR-30无线数据发射模块将命令发送到该设备的终端。
本发明与现有技术相比，具有如下优点与有益效果：
1、重症瘫痪病人可以在床上可以实现自身的卧床姿势改变和控制多种家电设备，这样既能有效地防止褥疮发生，又能给病人的生活带来质的提高；扩展了脑机接口在重症瘫痪病人领域的应用，填补了这一块的空缺。
2、本发明采用P300电位和SSVEP两种混合的脑电信号来区分系统的空闲状态和控制状态，准确率高，极大地减少了空闲状态下错误命令的产生；大大提高了其可行性和安全性。
3、本发明的护理装置简便，具有普遍推广的价值；容易扩展控制更多的家电设备。
4、使用本发明可以大大减少人工护理的劳动负荷，提升了病人自我保健。
附图说明
图1为本发明的系统框图。
图2为本发明的初始操作界面示意图。
图3为本发明的操作流程图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
如图1所示，本实施例所述的基于多模态脑机接口的智能家电控制护理装置，包括：
两两互联的视觉刺激屏，能够多方位调整位置(上/下、左/右、前/后)，用户可以根据自己的习惯来调整其位置，获取良好的视觉刺激效果，增加脑电信号的可靠性。刺激屏幕上包括4组按键组(同时产生P300电位和SSVEP)和5个设备按键(产生P300电位)。4个按键组分别置于屏幕的左上角、右上角、左下角和右下角。每个按键组由1个大按键和8个小按键均匀分布大按键周围组成，其依次闪烁的频率为6.65Hz、6.85Hz、7.5Hz以及8.67Hz，4个大按键随机顺序闪烁引诱产生P300电位。5个设备按键分布在屏幕的中间；右上角的按键组作为切换系统的运行状态(在本发明中，标记为“S”键)，其余的3组按键作为辅助不产生实际的控制指令。初始操作界面如图2所示。
EEG信号采集系统，包括脑电采集仪(包括信号放大、滤波、采样)及与该脑电采集仪相连的脑电电极帽，并要确保电极帽的12个通道(“FZ”、“FCz”、“Cz”、“CPz”、“Pz”、“Oz”、“P3”、“P4”、“P7”、“P8”、“O1”、“O2”)处于国际10-20系统中的标准位置；并给这些电极注入导电胶，使得其与大脑皮层之间接触良好。
计算机，用来计算检测脑电信号P300电位和基于稳态视觉诱发电位(SSVEP)的算法，控制刺激屏的操作界面和按键的闪烁，以及控制命令的转换。用户注视刺激屏上的一组按键，同时产生P300电位和SSVEP脑电信号，当被计算机成功检测出来后，系统将从空闲状态切换到控制状态；然后即可通过P300电位的脑机接口实现相应设备的操作(如控制护理床、电视机等)。所产生的脑电信号经过EEG信号采集系统预处理后，传送至计算机进行1～20Hz的巴特沃斯带通滤波处理，以便尽可能地消除噪声，然后将数据复制两份，分别进行P300电位检测和SSVEP检测。P300电位检测：截取按键闪烁后的100ms-600ms数据，以信号的幅值作为特征，并采用支持向量机模型(SVM)进行状态分类；SSVEP检测：采用DFT算法对提取闪烁后的800ms内的脑电信号进行平均功率谱计算，若其值超过或达到所预定义的阈值，则实现SSVEP的检测。倘若该设备的功能键也被正确识别后，计算机将发送两个字节的指令(第一个字节代表设备名，如0xAA表示护理床)到控制器，控制器解析其指令后便会执行相应的操作。系统的操作流程如图3所示。
控制器，以主控芯片STM32F103VCT6为核心，包括主控电路、USB通信电路、护理床控制电路、以及STR-30无线数据发射模块。控制器通过接收来自计算机的指令进行判断，若是控制护理床的指令，则驱动模拟开关Max308ese来选择相应的通道来控制对应的功能；若是控制其他家电设备，则通过STR-30无线数据发射模块将指令发送到相应的设备终端。
设备终端，包括STR-30无线数据接收模块、控制芯片、红外编码，该设备终端通过STR-30无线数据接收模块接收指令后，对指令进行分析，实现相应的红外编码以实现对该设备的操作。
本实施例上述智能家电控制护理装置的控制护理过程，如下：
1)用户平躺在护理床上，然后根据自己的习惯调整好刺激屏的角度，以便在使用时有一个最佳的刺激效果，获取良好的脑电信号。
2)启动系统并默认处于空闲状态，设置刺激屏幕上的右上角按键组即“S”键作为系统从空闲状态到控制状态的激活开关。
3)用户注视刺激屏“S”键，脑电信号通过EEG信号采集系统进行信号的预处理，包括放大、滤波、及采样量化。然后，通过Expresscard转并口的传输方式将数据传至计算机进行特征提取、分类等实现脑电信号的P300电位和SSVEP检测。一旦“S”键被正确识别后，系统从空闲状态切换到控制状态，并启动基于P300的脑机接口按键(对应不同的家电设备的按键)闪烁。
4)用户通过注视所想控制的设备按键产生的脑电信号送至计算机进行P300电位检测。一旦被正确识别，则刺激界面跳转到相应设备的操作界面并启动该界面的P300闪烁，若该设备的功能键被识别后，计算机发送两个字节的控制指令到STM32控制器，其中第一个字节(即头部指令)告知控制器是控制哪一个设备。头部指令对应的家电设备如下表1所示。
表1
| 指令 | 设备 |
| 0xAA | 护理床 |
| 0x55 | 电视机 |
| 0x33 | 空调 |
| 0xCC | 电动窗帘 |
| 0x88 | 音乐播放器 |
5)控制器通过USB接口接收来自计算机的指令后并解析。若指令是控制护理床，则直接驱动护理床电路来选择不同的控制通道，继而驱动电动护理床上的电机，实现护理床功能操作(可操作的功能有：翻身、起背、曲腿、便盆等)；若指令是控制其他家电设备的，则将指令进行再次编码，通过STR-30无线数据发射模块将控制命令发送至对应的设备终端，继而到步骤6)。
6)家电的设备终端的STR-30无线数据接收模块接收命令后，通过对该命令进行解析从而通过红外编码控制该设备的相应功能。
7)系统执行一个操作后，自动恢复到空闲状态，即重新回到步骤2)。
以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。
Claims (4)
1.一种基于多模态脑机接口的智能家电控制护理装置，其特征在于，包括：
两两互联的视觉刺激屏，能够多方位调整位置，以获取良好的视觉刺激效果；
EEG信号采集系统，包括脑电采集仪及与该脑电采集仪相连的脑电电极帽，并要确保电极帽的12个通道处于国际10-20系统中的标准位置；其中，所述12个通道包括有“FZ”、“FCz”、“Cz”、“CPz”、“Pz”、“Oz”、“P3”、“P4”、“P7”、“P8”、“O1”、“O2”通道，并注入导电胶；
计算机，用来计算检测脑电信号P300电位和基于稳态视觉诱发电位SSVEP的算法，控制刺激屏的操作界面和按键的闪烁，以及控制命令的转换；用户注视刺激屏上的一组按键，同时产生P300电位和SSVEP脑电信号，当被计算机成功检测出来后，系统将从空闲状态切换到控制状态，然后即可通过P300电位的脑机接口实现相应设备的操作；
控制器，以主控芯片STM32F103VCT6为核心，通过接收来自计算机的指令进行判断，若是控制护理床的指令，则驱动模拟开关来选择相应的通道来控制对应的功能；若是控制其他家电设备，则通过其STR-30无线数据发射模块将指令发送到相应的设备终端；
设备终端，通过其STR-30无线数据接收模块接收指令后，对指令进行分析，实现相应的红外编码以实现对该设备的操作。
2.一种基于多模态脑机接口的智能家电控制护理方法，其特征在于，包括以下步骤：
1)用户平躺在护理床上，然后根据自己的习惯调整好刺激屏的位置，以便有一个最佳的刺激效果，获取良好的脑电信号；
2)启动系统并默认处于空闲状态，设置刺激屏幕上的右上角按键组作为系统从空闲状态到控制状态的激活开关；
3)用户注视刺激屏的激活开关，脑电信号通过EEG信号采集系统进行信号的预处理，包括放大、滤波、及采样量化；然后通过Expresscard转并口的传输方式将数据传至计算机进行特征提取、分类，实现脑电信号的P300电位和SSVEP检测；一旦激活开关被正确识别后，系统从空闲状态切换到控制状态，并启动基于P300的脑机接口按键闪烁；
4)用户通过注视所要控制的设备按键，同样将产生的脑电信号送至计算机；但此时只进行P300电位检测；一旦被正确识别，则刺激界面跳转到相应设备的操作界面并启动该界面的P300闪烁；如果该设备的功能键也被正确识别后，计算机将发送两个字节的指令到控制器，控制器解析其指令后便会执行相应的操作，其中该两个字节的指令中第一个字节代表设备名；
5)控制器通过USB接口接收来自计算机的指令后并解析；若指令是控制护理床，则直接驱动护理床电路，继而驱动电动护理床上的电机，实现护理床功能操作；若指令是控制其他家电设备的，则将指令进行再次编码，通过STR-30无线数据发射模块将控制命令发送至对应的设备终端，继而到下面步骤6)；
6)家电的设备终端的STR-30无线数据接收模块接收命令后，通过对该命令进行解析从而通过红外编码控制该设备的相应功能；
7)系统执行一个操作后，自动恢复到空闲状态，即重新回到上面步骤2)。
3.根据权利要求2所述的一种基于多模态脑机接口的智能家电控制护理方法，其特征在于：在步骤2)中，所述刺激屏幕上设置有4组按键组和5个设备按键，4组按键组分别置于屏幕的左上角、右上角、左下角和右下角，用来产生P300电位和SSVEP脑信号，5个设备按键分布在屏幕的中间只产生P300电位；其中，右上角的按键组作为切换系统的运行状态，其余的3组按键作为辅助不产生实际的控制指令。
4.根据权利要求2所述的一种基于多模态脑机接口的智能家电控制护理方法，其特征在于：步骤3)和4)中的P300电位检测及步骤3)中的SSVEP检测，具体通过以下步骤：
A.将通过EEG信号采集系统预处理后的脑电数据通过1～20Hz的巴特沃斯带通滤波消除噪声，将数据复制两份，分别进行P300电位检测和SSVEP检测；
B.P300电位检测：截取按键闪烁后的500ms内数据，以信号的幅值作为特征，并采用支持向量机模型SVM进行状态分类，从而实现P300电位检测；
C.SSVEP检测：采用DFT算法对提取的600ms内的脑电信号进行平均功率谱计算，若其值超过或达到所预定义的阈值，则实现SSVEP的检测；
D.若P300电位和SSVEP被同时检测出，则刺激屏的设备按键开始闪烁来刺激用户的P300电位，若目标操控的设备被选中，界面跳转至相应的操作界面并启动闪烁，一旦某一目标的P300电位功能键被正确识别；计算机将发送两个字节的指令到控制器；然后控制器通过接收到的命令执行相应的操作；若是控制护理床，则直接驱动控制器上护理床驱动电路；若是控制其他的家电设备，则通过STR-30无线数据发射模块将命令发送到该设备的终端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201511034219.4A CN105446158A (zh) | 2015-12-31 | 2015-12-31 | 一种基于多模态脑机接口的智能家电控制护理装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201511034219.4A CN105446158A (zh) | 2015-12-31 | 2015-12-31 | 一种基于多模态脑机接口的智能家电控制护理装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105446158A true CN105446158A (zh) | 2016-03-30 |
Family
ID=55556494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201511034219.4A Pending CN105446158A (zh) | 2015-12-31 | 2015-12-31 | 一种基于多模态脑机接口的智能家电控制护理装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105446158A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106020470A (zh) * | 2016-05-18 | 2016-10-12 | 华南理工大学 | 基于脑机接口的自适应家居环境控制装置及其控制方法 |
| CN106214391A (zh) * | 2016-07-21 | 2016-12-14 | 山东建筑大学 | 基于脑机接口的智能护理床及其控制方法 |
| CN106681494A (zh) * | 2016-12-07 | 2017-05-17 | 华南理工大学 | 一种基于脑机接口的环境控制方法 |
| CN106843509A (zh) * | 2017-03-30 | 2017-06-13 | 电子科技大学 | 一种脑机接口系统 |
| CN107483992A (zh) * | 2017-07-11 | 2017-12-15 | 昆明理工大学 | 一种基于ssvep和运动想象的智能电视遥控方法 |
| CN107481359A (zh) * | 2017-07-14 | 2017-12-15 | 昆明理工大学 | 基于p300和运动想象的智能门锁系统及其控制方法 |
| CN109933270A (zh) * | 2019-04-15 | 2019-06-25 | 华南理工大学 | 一种基于手指开关的人机交互系统及其交互方法 |
| CN110225381A (zh) * | 2019-05-09 | 2019-09-10 | 吉林大学 | 一种智能电视机系统 |
| CN110575334A (zh) * | 2019-09-16 | 2019-12-17 | 山东宝德龙健身器材有限公司 | 基于脑机接口控制的智能拍背型电动病床系统 |
| CN110613446A (zh) * | 2019-09-30 | 2019-12-27 | 京东方科技集团股份有限公司 | 一种信号处理方法及装置 |
| CN111671418A (zh) * | 2020-06-11 | 2020-09-18 | 深圳大学 | 一种考虑脑工作状态的事件相关电位采集方法及系统 |
| CN112859628A (zh) * | 2021-01-19 | 2021-05-28 | 华南理工大学 | 基于多模态脑机接口与增强现实的智能家居控制方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090063866A1 (en) * | 2007-08-29 | 2009-03-05 | Jiri Navratil | User authentication via evoked potential in electroencephalographic signals |
| CN101968715A (zh) * | 2010-10-15 | 2011-02-09 | 华南理工大学 | 一种基于脑机接口鼠标控制的因特网浏览方法 |
| CN102309380A (zh) * | 2011-09-13 | 2012-01-11 | 华南理工大学 | 基于多模态脑机接口的智能轮椅 |
| US20120245713A1 (en) * | 2011-03-25 | 2012-09-27 | Chen Shih-Chung | Platform and method for bci control |
| CN102799274A (zh) * | 2012-07-17 | 2012-11-28 | 华南理工大学 | 基于稳态视觉诱发电位的异步脑开关方法 |
| CN103543836A (zh) * | 2013-10-28 | 2014-01-29 | 哈尔滨工业大学 | 基于脑机接口全自动控制网页浏览方法 |
| CN104090653A (zh) * | 2014-06-16 | 2014-10-08 | 华南理工大学 | 一种基于ssvep和p300的多模态脑开关检测方法 |
| CN104758130A (zh) * | 2015-03-23 | 2015-07-08 | 华南理工大学 | 一种基于脑机接口的智能护理装置及方法 |
| CN204480175U (zh) * | 2014-07-16 | 2015-07-15 | 天津职业技术师范大学 | 一种基于视觉诱发脑-机接口的智能家电控制装置 |
-
2015
- 2015-12-31 CN CN201511034219.4A patent/CN105446158A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090063866A1 (en) * | 2007-08-29 | 2009-03-05 | Jiri Navratil | User authentication via evoked potential in electroencephalographic signals |
| CN101968715A (zh) * | 2010-10-15 | 2011-02-09 | 华南理工大学 | 一种基于脑机接口鼠标控制的因特网浏览方法 |
| US20120245713A1 (en) * | 2011-03-25 | 2012-09-27 | Chen Shih-Chung | Platform and method for bci control |
| CN102309380A (zh) * | 2011-09-13 | 2012-01-11 | 华南理工大学 | 基于多模态脑机接口的智能轮椅 |
| CN102799274A (zh) * | 2012-07-17 | 2012-11-28 | 华南理工大学 | 基于稳态视觉诱发电位的异步脑开关方法 |
| CN103543836A (zh) * | 2013-10-28 | 2014-01-29 | 哈尔滨工业大学 | 基于脑机接口全自动控制网页浏览方法 |
| CN104090653A (zh) * | 2014-06-16 | 2014-10-08 | 华南理工大学 | 一种基于ssvep和p300的多模态脑开关检测方法 |
| CN204480175U (zh) * | 2014-07-16 | 2015-07-15 | 天津职业技术师范大学 | 一种基于视觉诱发脑-机接口的智能家电控制装置 |
| CN104758130A (zh) * | 2015-03-23 | 2015-07-08 | 华南理工大学 | 一种基于脑机接口的智能护理装置及方法 |
Non-Patent Citations (1)
| Title |
|---|
| YUANQING LI,ETC.: "A Hybrid BCI System Combining P300 and SSVEP and Its Application to Wheelchair Control", 《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106020470A (zh) * | 2016-05-18 | 2016-10-12 | 华南理工大学 | 基于脑机接口的自适应家居环境控制装置及其控制方法 |
| CN106020470B (zh) * | 2016-05-18 | 2019-05-14 | 华南理工大学 | 基于脑机接口的自适应家居环境控制装置及其控制方法 |
| CN106214391A (zh) * | 2016-07-21 | 2016-12-14 | 山东建筑大学 | 基于脑机接口的智能护理床及其控制方法 |
| CN106681494A (zh) * | 2016-12-07 | 2017-05-17 | 华南理工大学 | 一种基于脑机接口的环境控制方法 |
| CN106681494B (zh) * | 2016-12-07 | 2020-08-11 | 华南脑控(广东)智能科技有限公司 | 一种基于脑机接口的环境控制方法 |
| CN106843509B (zh) * | 2017-03-30 | 2020-01-07 | 电子科技大学 | 一种脑机接口系统 |
| CN106843509A (zh) * | 2017-03-30 | 2017-06-13 | 电子科技大学 | 一种脑机接口系统 |
| CN107483992A (zh) * | 2017-07-11 | 2017-12-15 | 昆明理工大学 | 一种基于ssvep和运动想象的智能电视遥控方法 |
| CN107481359A (zh) * | 2017-07-14 | 2017-12-15 | 昆明理工大学 | 基于p300和运动想象的智能门锁系统及其控制方法 |
| CN109933270A (zh) * | 2019-04-15 | 2019-06-25 | 华南理工大学 | 一种基于手指开关的人机交互系统及其交互方法 |
| CN110225381A (zh) * | 2019-05-09 | 2019-09-10 | 吉林大学 | 一种智能电视机系统 |
| CN110575334A (zh) * | 2019-09-16 | 2019-12-17 | 山东宝德龙健身器材有限公司 | 基于脑机接口控制的智能拍背型电动病床系统 |
| CN110613446A (zh) * | 2019-09-30 | 2019-12-27 | 京东方科技集团股份有限公司 | 一种信号处理方法及装置 |
| CN111671418A (zh) * | 2020-06-11 | 2020-09-18 | 深圳大学 | 一种考虑脑工作状态的事件相关电位采集方法及系统 |
| CN111671418B (zh) * | 2020-06-11 | 2023-11-28 | 深圳大学 | 一种考虑脑工作状态的事件相关电位采集方法及系统 |
| CN112859628A (zh) * | 2021-01-19 | 2021-05-28 | 华南理工大学 | 基于多模态脑机接口与增强现实的智能家居控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105446158A (zh) | 一种基于多模态脑机接口的智能家电控制护理装置及方法 | |
| CN104758130B (zh) | 一种基于脑机接口的智能护理装置及方法 | |
| CN106214391B (zh) | 基于脑机接口的智能护理床及其控制方法 | |
| CN109316170B (zh) | 基于深度学习的脑电波辅助睡眠及唤醒系统 | |
| CN102968072A (zh) | 基于校正/训练的眼电控制系统和方法 | |
| CN109366508A (zh) | 一种基于bci的高级机械臂控制系统及其实现方法 | |
| CN107007407B (zh) | 基于眼电的轮椅控制系统 | |
| CN103150017B (zh) | 基于空间、时间和频率联合编码的脑-机接口通讯方法 | |
| CN101598973A (zh) | 基于眼电信号的人机交互系统 | |
| CN103699226A (zh) | 一种基于多信息融合的三模态串行脑-机接口方法 | |
| CN102309380A (zh) | 基于多模态脑机接口的智能轮椅 | |
| CN103263324A (zh) | 基于ssvep稳态视觉诱发电位的智能轮椅系统 | |
| CN102799267B (zh) | Ssvep及阻断和p300三特征多脑-机接口方法 | |
| CN102184415A (zh) | 一种基于脑电信号的疲劳状态识别方法 | |
| CN106491251B (zh) | 一种基于非侵入式脑机接口机器臂控制系统及其控制方法 | |
| CN111544846B (zh) | 一种纯意念控制康复机器人的训练与模式切换方法 | |
| CN105411580A (zh) | 一种基于触听觉诱发电位的脑控轮椅系统 | |
| CN109582131A (zh) | 一种异步混合脑机接口方法及系统 | |
| CN105904459A (zh) | 基于眼电信号识别的机器人控制系统及该系统的设计方法 | |
| CN102799274B (zh) | 基于稳态视觉诱发电位的异步脑开关方法 | |
| CN113359991B (zh) | 一种面向残疾人的智能脑控机械臂辅助进食系统及方法 | |
| CN113345546A (zh) | 一种基于稳态视觉诱发电位的手功能主动康复训练系统及方法 | |
| CN101644952A (zh) | 基于眼电图信号的便携式无线人机交互系统 | |
| CN109009718A (zh) | 一种基于电阻抗技术结合手势控制轮椅的方法 | |
| CN206147520U (zh) | 一种用于基于运动想象和p300相结合的脑机接口控制虚拟现实的数据采集装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160330 |
|
| RJ01 | Rejection of invention patent application after publication |