CN106020470B - 基于脑机接口的自适应家居环境控制装置及其控制方法 - Google Patents

基于脑机接口的自适应家居环境控制装置及其控制方法 Download PDF

Info

Publication number
CN106020470B
CN106020470B CN201610328963.3A CN201610328963A CN106020470B CN 106020470 B CN106020470 B CN 106020470B CN 201610328963 A CN201610328963 A CN 201610328963A CN 106020470 B CN106020470 B CN 106020470B
Authority
CN
China
Prior art keywords
control
wheelchair
key
brain
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610328963.3A
Other languages
English (en)
Other versions
CN106020470A (zh
Inventor
李远清
李凯
彭能能
张瑞
刘君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Brain Control (Guangdong) Intelligent Technology Co., Ltd.
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201610328963.3A priority Critical patent/CN106020470B/zh
Publication of CN106020470A publication Critical patent/CN106020470A/zh
Application granted granted Critical
Publication of CN106020470B publication Critical patent/CN106020470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10—Parts, details or accessories
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Selective Calling Equipment (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

本发明公开了一种基于脑机接口的自适应家居环境控制装置及其控制方法，包括视觉刺激屏、脑电采集单元、计算机、主控制器以及从控制器。本发明包括脑控家电和脑控轮椅两部分，患有严重瘫痪的病人(如脊髓小脑共济失调、肌萎缩侧索硬化等)可以通过使用本发明装置中的轮椅来实现在室内移动，同时又可以坐在轮椅上实现对家电设备(电视、空调、以及电灯)的控制。本发明装置性能稳定，能够有效地提高重症瘫痪病人的自理能力和生活质量。

Description

基于脑机接口的自适应家居环境控制装置及其控制方法
技术领域
本发明涉及脑机接口应用研究领域，尤其是指一种基于脑机接口的自适应家居环境控制装置及其控制方法。
背景技术
世界上有许多严重瘫痪的病人，他们只能通过他人的帮助来实现身体位置的移动和家电设备的控制。随着人工智能领域的不断发展，越来越多的研究成果被应用于辅助此类人群，以便改善他们的生活质量。其中，脑机接口(brain-computer interface，BCI)领域作为神经工程领域的一个分支，其发展迅速，前景广泛，激起了人们对脑机接口领域研究热潮。
脑机接口(Brain Computer Interface，BCI)是一种全新的人-机交互系统，它能够不通过常规大脑输出通路(外周神经和肌肉组织)而直接实现人脑与计算机之间的通信，为瘫痪病人提供了一种与外界进行信息交流和控制的新途径。BCI系统可分为侵入式和非侵入式，侵入式系统将会把电极植入到脑壳内，非侵入式系统则只采集头皮脑电信号。由于非侵入式脑机接口无需做手术，相比于侵入式更加安全简单，因此其研究较为普遍。本发明所采用的是非侵入式脑机接口技术。
目前，还没有脑控轮椅与脑控家电的结合系统，例如中国专利(基于多模态脑机接口的智能轮椅，公开号：CN102309380A)。该发明通过事件相电位P300和运动想象实现轮椅的控制。中国专利(一种基于脑机接口与自动驾驶技术的智能轮椅控制方法，公开号：CN104083258A)。该发明通过脑机接口与自动驾驶相结合控制轮椅。中国专利(一种基于视觉诱发脑-机接口的智能家电控制装置，公开号：CN204480175U)，通过视觉诱发电位实现家电的控制。以上所述发明，都只能控制轮椅或者家电中的一类，而没有将脑控轮椅和脑控家电相结合。将脑控轮椅与脑控家电相结合的基于脑机接口的自适应家居环境控制装置及方法，能够综合脑控轮椅与脑控家电两者的优势，更好的利用脑机接口改善瘫痪病人的生活质量。
发明内容
本发明的目的在于克服现有技术的不足与缺点，提出一种基于脑机接口的自适应家居环境控制装置及其控制方法，患有严重瘫痪的病人(如脊髓小脑共济失调、肌萎缩侧索硬化等)可以通过使用本装置中的轮椅来实现在室内移动，同时又可以坐在轮椅上实现对家电设备(电视、空调、以及电灯)的控制。
为实现上述目的，本发明所提供的技术方案，如下：
一种基于脑机接口的自适应家居环境控制装置，包括：
视觉刺激屏，为计算机屏幕；该计算机屏幕被安放于用户注视的位置，用户通过注视视觉刺激屏中闪烁的功能键来引诱P300信号；
脑电采集单元，包括脑电采集仪和用于采集脑电的电极帽，其中使用电极帽中的“FZ”、“FCz”、“Cz”、“CPz”、“P7”、“P3”、“Pz”、“P4”、“P8”、“O1”、“Oz”、“O2”十二个通道，这些通道均被注入导电胶，确保头皮与电极良好的导通，且放置的位置遵循国际标准10-20系统；
计算机，用来实现P300信号检测、轮椅自动驾驶算法、视觉刺激屏中功能键的闪烁控制、以及控制命令发送；
主控制器，以STC89C52为主控芯片，主要包括的电路模块有：以FT232芯片组成的USB转UART的串口通信模块电路，用于与计算机进行串口通信；以dac102s085芯片组成的轮椅控制电路，用于实现轮椅自动驾驶；以NRF24L01无线芯片组成的家电控制电路，用于与从控制器通信实现家电的控制；
从控制器，包括电视控制器、空调控制器、电灯控制器，从控制器通过无线通信电路接收主控制器的控制命令，并对该命令进行解析进而控制相应家电。
所述视觉刺激屏中的功能键按行列形式规则分布于刺激屏中，并以200ms的时间间隔进行黑、绿两种颜色变化闪烁。
所述轮椅自动驾驶的实现，是由主控制器、电动轮椅、网络摄像头、激光雷达共同组合实现的。
一种上述基于脑机接口的自适应家居环境控制装置的控制方法，包括以下步骤：
S1:用户坐上轮椅，并调整好视觉刺激屏位置，以确保有良好的视觉刺激；
S2:启动整个系统，视觉刺激屏进入第一个刺激界面即功能选择界面，该界面中的功能键包括“开关”、“确定”、“轮椅”、“电灯”、“电视”、“空调”、以及6个“伪键”，通过“开关”键与“确定”键的顺序选定来实现控制系统的打开与关闭；
S3:用户先后注视“开关”键和“确定”键，一旦这两个键均被正确地选定，控制系统将被开启；功能键的选定是通过以下过程实现的：用户注视视觉刺激屏中闪烁的功能键，脑电信号通过脑电采集单元进行放大、滤波、模数转换处理后，再将数据传输给计算机进行P300信号检测，然后实现某个功能键的选定；
S4:用户先后注视相应的功能键和“确定”键，一旦这两个键均被正确地选定，系统的控制界面便切换成控制该设备的界面，进入步骤S5；如果用户在设定时间内未进入设备控制界面，将回到步骤S2，当然，用户能够通过顺序选择“开关”键+“确定”来主动关闭控制系统，然后回到步骤S2；
S5:进入设备控制界面后，用户通过注视视觉刺激屏的功能键来实现该设备的功能，不同设备控制界面控制过程如下：
S5.1：进入轮椅控制界面，用户通过注视视觉刺激屏中的功能键来进行位置选择；当用户顺序选定了某个坐标键+“确定”键后，轮椅自动驾驶到该选定的位置，然后刺激界面自动返回到功能选择界面，回到步骤S4；
S5.2：进入相应家电控制界面，用户通过注视视觉刺激屏中的功能键来进行该家电功能的选择；当用户顺序选定了某个功能键+“确定”键后，主控制器发出相应指令实现对该家电相应功能的控制；之后用户能够继续选择该家电的某个功能键+“确定”键，进行该家电的相应功能控制，也能够选择“返回”+“确定”键，返回到功能选择界面，回到步骤S4。
步骤S3、S4、S5中的P300信号检测，具体通过以下步骤实现：
a1.将EEG信号经过0.1～20Hz的带通滤波去噪处理；
a2.以EEG信号幅值作为特征，截取P300功能键闪烁后的100ms～600ms时间窗的数据，并采用支持向量机模型进行状态分类，从而实现P300信号检测。
在步骤S5中，轮椅的自动驾驶，具体通过以下步骤实现：
b1.通过网络摄像头获取当前房间的环境信息，用激光雷达采集距离点信息，用最小二乘拟合算法计算该信息，提取出直线，再结合激光雷达扫描的方向将直线转换成带有方向信息的向量，最后将向量与环境地图进行匹配，实现对轮椅的定位；
b2.用户通过脑机接口选择目的地后，结合轮椅、目的地、障碍物的位置，进行路径规划，通过A-star算法产生一条最优路径；
b3.计算机通过将轮椅的位置与最优路径的位置差作为PID路径跟踪算法的反馈，计算出参考的角速度和线速度，再与轮椅实际的角速度和线速度进行比较，得出十六进制控制指令，再将指令通过USB接口传输给主控制器；
b4.主控制器接收到计算机传来的控制指令后进行解析，再驱动dac102s085芯片产生两路模拟电压信号传输给电动轮椅，从而实现轮椅的控制。
在步骤S5中，家电的控制，具体通过以下步骤实现：
c1.用户通过P300信号的检测选择所要控制的家电及其功能后，计算机将其转化成十六进制指令通过USB口传输给主控制器；
c2.主控制器接收到计算机的指令后对其进行解析，然后通过NRF24L01无线芯片将控制指令传送给从控制器；
c3.从控制器通过无线接收到主控制器的指令后对其进行解析，如果是控制电灯指令，则电灯控制器相应IO口发送0/1指令到ULN2003达林顿管芯片，进而控制继电器动作；如果是控制电视或者空调的指令，则电视控制器或者空调控制器相应IO口控制三极管的导通/关闭来实现红外发射管红外编码信号的发射。
本发明与现有技术相比，具有如下优点与有益效果：
1、目前，还没有脑控轮椅与脑控家电的结合系统，脑机接口相关的诸多应用都只能控制轮椅或者家电中的一类，而没有将脑控轮椅和脑控家电相结合成一个系统。
2、脑控轮椅与脑控家电相铺相成；用户可以通过使用本发明装置中的轮椅来实现在室内移动，从而更方便的使用家电，比如看电视。脑控家电又让脑控轮椅的功能具有更多的实用价值。将脑控轮椅与脑控家电相结合的基于脑机接口的自适应家居环境控制装置及方法，能让用户根据自己的控制意图来控制轮椅和家电，填补了目前市场上的空缺，更好的利用脑机接口改善瘫痪病人的生活质量。
附图说明
图1为本发明的自适应家居环境控制装置的结构示意图。
图2为本发明的自适应家居环境控制方法的控制流程图。
图3为本发明的功能选择界面。
图4为本发明的电视控制界面。
图5为本发明的空调控制界面。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
如图1所述，本实施例所述的自适应家居环境控制装置，包括视觉刺激屏、脑电采集单元、计算机、主控制器和从控制器。
所述的视觉刺激屏为计算机屏幕。计算机屏幕被安放于适合用户注视的位置，用户通过注视刺激屏中闪烁的功能键来引诱P300信号。功能键按行列形式规则分布于刺激屏中，并以200ms的时间间隔进行黑、绿两种颜色变化闪烁。如图3所示，功能选择界面中的功能键包括：“开关”、“确定”、“轮椅”、“电灯”、“电视”、“空调”、以及6个“伪键”。如图4所示，电视控制界面中的功能键包括：“开关”、“确定”、“返回”、“1台”、“2台”、“3台”、“4台”、“5台”、“6台”、“7台”、“加音”、“减音”、“加台”、“减台”。如图5所示，空调控制界面中的功能键包括：“开关”、“确定”、“返回”、“温度+”、“温度-”、“模式1”、“模式2”、“模式3”、“左右扫风”、“上下扫风”。
所述的脑电采集单元，包括脑电采集仪和用于采集脑电的电极帽。本发明使用了电极帽中的“FZ”、“FCz”、“Cz”、“CPz”、“P7”、“P3”、“Pz”、“P4”、“P8”、“O1”、“Oz”、“O2”十二个通道，这些通道均被注入导电胶，确保头皮与电极良好的导通，并放置的位置遵循国际标准10-20系统。
所述的计算机，用来实现P300信号检测、轮椅自动驾驶算法、视觉刺激屏中功能键的闪烁控制、以及控制命令发送。P300信号检测流程为：将EEG信号经过0.1～20Hz的带通滤波去噪处理，再以EEG信号幅值作为特征，截取P300闪烁键闪烁后的100ms～600ms时间窗的数据，并采用支持向量机模型进行状态分类，从而实现P300信号的检测。轮椅自动驾驶算法包括：(1)最小二乘拟合算法，通过网络摄像头获取当前房间的环境信息，用激光雷达采集距离点信息，用最小二乘拟合算法计算该信息，提取出直线，再结合激光雷达扫描的方向将直线转换成带有方向信息的向量，最后将向量与环境地图进行匹配，实现对轮椅的定位；(2)A-star算法，用户通过脑机接口选择目的地后，结合轮椅、目的地、障碍物的位置，进行路径规划，通过A-star算法产生一条最优路径；(3)PID路径跟踪算法，用计算机通过将轮椅的位置与最优路径的位置差作为PID路径跟踪算法的反馈，计算出参考的角速度和线速度，再与轮椅实际的角速度和线速度进行比较，得出十六进制控制指令。例如：0x17c为前进指令，0x2c8为后退指令，0x569为右转指令，0x696为左转指令。
所述的主控制器，以STC89C52为主控芯片，主要包括的电路模块有：以FT232芯片组成的USB转UART的串口通信模块电路，用于与计算机进行串口通信；以dac102s085芯片组成的轮椅控制电路，用于实现轮椅自动驾驶；以NRF24L01无线芯片组成的家电控制电路，用于与从控制器通信实现家电(电视、空调、电灯)的控制。其中，所述轮椅自动驾驶的实现，是由主控制器、电动轮椅、网络摄像头、激光雷达共同组合实现的。
所述的从控制器，包括电视控制器、空调控制器、电灯控制器。从控制器通过无线通信电路接收主控制器的控制命令，并对该命令进行解析进而控制相应家电。
如图2所示，本实施例上述自适应家居环境控制装置的控制方法，包含以下顺序的步骤：
S1：用户坐上轮椅，并调整好视觉刺激屏位置，以确保有较好的视觉刺激；
S2：启动整个系统，刺激屏进入第一个刺激界面(功能选择界面)，用户可以通过“开关”键与“确定”键的顺序选定来实现控制系统的开启与关闭。只有控制系统被开启了，用户才能通过选定某个功能键+“确定”键来实现其他的操作，否则即使用户选定了某个功能键，也不会产生相应的控制指令。
S3：用户先后注视“开关”键和“确定”键，一旦这两个键均被正确地选定，控制系统将被开启。功能键的选定是通过以下过程实现的：户注视屏幕中闪烁的功能键，脑电信号通过脑电采集单元进行放大、滤波、模数转换等处理，然后再将数据传输给计算机进行P300信号检测，然后实现某个功能键的选定。
S4:用户先后注视相应的功能键和“确定”键，一旦这两个键均被正确地选定，系统的控制界面便切换成控制该设备的界面，进入步骤S5。比如用户顺序选定“空调”+“确定”键后，刺激界面将进入空调控制界面，并启动该界面所有功能键闪烁。如果用户在5分钟内未进入设备控制界面，将回到步骤S2，用户也可以顺序选择“开关”键+“确定”来主动关闭控制系统，然后回到步骤S2。
S5:进入设备控制界面后，用户通过注视屏幕的闪烁键来实现该设备的功能。不同设备控制界面控制过程如下：
S5.1：进入轮椅控制界面，用户通过注视刺激屏中的闪烁键来进行位置选择。当用户选定了某个坐标键+“确定”键后，轮椅自动驾驶到该选定的位置，然后刺激界面自动返回到功能选择界面，回到步骤S4。
S5.2：进入家电(比如电视)控制界面，用户通过注视刺激屏中的功能键来进行电视功能的选择。电视的功能键包括音量加、音量减、当用户选定了某个功能键+“确定”键后，控制器发出相应指令实现对电视该功能的控制。例如，用户想控制电视音量减，则用户注视电视控制界面的“音量减”键+“确定”键，计算机通过P300电位检测出来用户想要实现的功能后，通过USB把相应指令传输给控制器实现相应控制。之后用户可以继续选择电视的某个功能键+“确定”键，进行电视控制，也可以选择“返回”+“确定”键，返回到功能选择界面，回到步骤S4。
空调的控制过程与电视类似。不同的设备控制没有固定的先后顺序和次数，用户可以自由选择某个设备的控制。
步骤S5中，轮椅的自动驾驶，具体通过以下步骤实现：
b1.通过网络摄像头获取当前房间的环境信息，用激光雷达采集距离点信息，用最小二乘拟合算法计算该信息，提取出直线，再结合激光雷达扫描的方向将直线转换成带有方向信息的向量，最后将向量与环境地图进行匹配，实现对轮椅的定位；
b2.用户通过脑机接口选择目的地后，结合轮椅、目的地、障碍物的位置，进行路径规划，通过A-star算法产生一条最优路径；
b3.计算机通过将轮椅的位置与最优路径的位置差作为PID路径跟踪算法的反馈，计算出参考的角速度和线速度，再与轮椅实际的角速度和线速度进行比较，得出十六进制控制指令。例如：0x17c为前进指令，0x2c8为后退指令，0x569为右转指令，0x696为左转指令。再将指令通过USB接口传输给主控制器；
b4.主控制器接收到计算机传来的控制指令后进行解析，再驱动dac102s085芯片产生两路模拟电压信号传输给电动轮椅，从而实现轮椅的控制。
步骤S5中，家电的控制，具体通过以下步骤实现：
c1.用户通过300信号的检测选择所要控制的家电及其功能后，计算机将其转化成十六进制指令通过USB口传输给主控制器；
c2.主控制器接收到计算机的指令后对其进行解析，然后通过NRF24L01无线芯片将控制指令传送给从控制器；
C3.从控制器通过无线接收到主控制器的指令后对其进行解析，如果是控制电灯指令，则电灯控制器相应IO口发送0/1指令到ULN2003达林顿管芯片，进而控制继电器动作(0为继电器闭合，1为继电器断开)。如果是控制电视或者空调的指令，则电视控制器或者空调控制器相应IO口控制三极管的导通/关闭来实现红外发射管红外编码信号的发射。
以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (6)

1.一种基于脑机接口的自适应家居环境控制装置的控制方法，所述装置包括：
视觉刺激屏，为计算机屏幕；该计算机屏幕被安放于用户注视的位置，用户通过注视视觉刺激屏中闪烁的功能键来引诱P300信号；
脑电采集单元，包括脑电采集仪和用于采集脑电的电极帽，其中使用电极帽中的“FZ”、“FCz”、“Cz”、“CPz”、“P7”、“P3”、“Pz”、“P4”、“P8”、“O1”、“Oz”、“O2”十二个通道，这些通道均被注入导电胶，确保头皮与电极良好的导通，且放置的位置遵循国际标准10-20系统；
计算机，用来实现P300信号检测、轮椅自动驾驶算法、视觉刺激屏中功能键的闪烁控制、以及控制命令发送；
主控制器，以STC89C52为主控芯片，主要包括的电路模块有：以FT232芯片组成的USB转UART的串口通信模块电路，用于与计算机进行串口通信；以dac102s085芯片组成的轮椅控制电路，用于实现轮椅自动驾驶；以NRF24L01无线芯片组成的家电控制电路，用于与从控制器通信实现家电的控制；
从控制器，包括电视控制器、空调控制器、电灯控制器，从控制器通过无线通信电路接收主控制器的控制命令，并对该命令进行解析进而控制相应家电；
其特征在于，所述方法包括以下步骤：
S1:用户坐上轮椅，并调整好视觉刺激屏位置，以确保有良好的视觉刺激；
S2:启动整个系统，视觉刺激屏进入第一个刺激界面即功能选择界面，该界面中的功能键包括“轮椅”、“电灯”、“电视”、“空调”、以及6个“伪键”和“开关”键、“确定”键，通过“开关”键与“确定”键的顺序选定来实现控制系统的打开与关闭；
S3:用户先后注视“开关”键和“确定”键，一旦这两个键均被正确地选定，控制系统将被开启；功能键的选定是通过以下过程实现的：用户注视视觉刺激屏中闪烁的功能键，脑电信号通过脑电采集单元进行放大、滤波、模数转换处理后，再将数据传输给计算机进行P300信号检测，然后实现某个功能键的选定；
S4:用户先后注视相应的功能键和“确定”键，一旦这两个键均被正确地选定，系统的控制界面便切换成控制设备的界面，进入步骤S5；如果用户在设定时间内未进入设备控制界面，将回到步骤S2，当然，用户能够通过顺序选择“开关”键+“确定”键来主动关闭控制系统，然后回到步骤S2；
S5:进入设备控制界面后，用户通过注视视觉刺激屏的功能键来实现该设备的功能，不同设备控制界面控制过程如下：
S5.1：进入轮椅控制界面，用户通过注视视觉刺激屏中的功能键来进行位置选择；当用户顺序选定了某个坐标键+“确定”键后，轮椅自动驾驶到该选定的位置，然后刺激界面自动返回到功能选择界面，回到步骤S4；
S5.2：进入相应家电控制界面，用户通过注视视觉刺激屏中的功能键来进行该家电功能的选择；当用户顺序选定了某个功能键+“确定”键后，主控制器发出相应指令实现对该家电相应功能的控制；之后用户能够继续选择该家电的某个功能键+“确定”键，进行该家电的相应功能控制，也能够选择“返回”+“确定”键，返回到功能选择界面，回到步骤S4。
2.根据权利要求1所述的一种基于脑机接口的自适应家居环境控制装置的控制方法，其特征在于：步骤S3、S4、S5中的P300信号检测，具体通过以下步骤实现：
a1.将EEG信号经过0.1～20Hz的带通滤波去噪处理；
a2.以EEG信号幅值作为特征，截取P300功能键闪烁后的100ms～600ms时间窗的数据，并采用支持向量机模型进行状态分类，从而实现P300信号检测。
3.根据权利要求1所述的一种基于脑机接口的自适应家居环境控制装置的控制方法，其特征在于：在步骤S5中，轮椅的自动驾驶，具体通过以下步骤实现：
b1.通过网络摄像头获取当前房间的环境信息，用激光雷达采集距离点信息，用最小二乘拟合算法计算该信息，提取出直线，再结合激光雷达扫描的方向将直线转换成带有方向信息的向量，最后将向量与环境地图进行匹配，实现对轮椅的定位；
b2.用户通过脑机接口选择目的地后，结合轮椅、目的地、障碍物的位置，进行路径规划，通过A-star算法产生一条最优路径；
b3.计算机通过将轮椅的位置与最优路径的位置差作为PID路径跟踪算法的反馈，计算出参考的角速度和线速度，再与轮椅实际的角速度和线速度进行比较，得出十六进制控制指令，再将指令通过USB接口传输给主控制器；
b4.主控制器接收到计算机传来的控制指令后进行解析，再驱动dac102s085芯片产生两路模拟电压信号传输给电动轮椅，从而实现轮椅的控制。
4.根据权利要求1所述的一种基于脑机接口的自适应家居环境控制装置的控制方法，其特征在于：在步骤S5中，家电的控制，具体通过以下步骤实现：
c1.用户通过P300信号的检测选择所要控制的家电及其功能后，计算机将其转化成十六进制指令通过USB口传输给主控制器；
c2.主控制器接收到计算机的指令后对其进行解析，然后通过NRF24L01无线芯片将控制指令传送给从控制器；
c3.从控制器通过无线接收到主控制器的指令后对其进行解析，如果是控制电灯指令，则电灯控制器相应IO口发送0/1指令到ULN2003达林顿管芯片，进而控制继电器动作；如果是控制电视或者空调的指令，则电视控制器或者空调控制器相应IO口控制三极管的导通/关闭来实现红外发射管红外编码信号的发射。
5.根据权利要求1所述的一种基于脑机接口的自适应家居环境控制装置的控制方法，其特征在于：所述视觉刺激屏中的功能键按行列形式规则分布于刺激屏中，并以200ms的时间间隔进行黑、绿两种颜色变化闪烁。
6.根据权利要求1所述的一种基于脑机接口的自适应家居环境控制装置的控制方法，其特征在于：所述轮椅自动驾驶的实现，是由主控制器、电动轮椅、网络摄像头、激光雷达共同组合实现的。
CN201610328963.3A 2016-05-18 2016-05-18 基于脑机接口的自适应家居环境控制装置及其控制方法 Active CN106020470B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610328963.3A CN106020470B (zh) 2016-05-18 2016-05-18 基于脑机接口的自适应家居环境控制装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610328963.3A CN106020470B (zh) 2016-05-18 2016-05-18 基于脑机接口的自适应家居环境控制装置及其控制方法

Publications (2)

Publication Number Publication Date
CN106020470A CN106020470A (zh) 2016-10-12
CN106020470B true CN106020470B (zh) 2019-05-14

Family

ID=57098594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610328963.3A Active CN106020470B (zh) 2016-05-18 2016-05-18 基于脑机接口的自适应家居环境控制装置及其控制方法

Country Status (1)

Country Link
CN (1) CN106020470B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106681494B (zh) * 2016-12-07 2020-08-11 华南脑控(广东)智能科技有限公司 一种基于脑机接口的环境控制方法
CN106671084B (zh) 2016-12-20 2019-11-15 华南理工大学 一种基于脑机接口的机械臂自主辅助方法
CN106618826B (zh) * 2016-12-23 2019-08-16 北京益康生活智能科技有限公司 一种智能护理系统
CN107168134B (zh) * 2017-06-27 2020-08-11 福州大学 脑眼混合驱动的家电控制方法
CN107608524B (zh) * 2017-10-13 2020-04-14 中国科学院软件研究所 一种基于肌电的多目标控制指令生成装置
CN111629697A (zh) * 2017-12-29 2020-09-04 四川金瑞麒智能科学技术有限公司 一种基于智能轮椅的遥控方法和系统
CN107967064B (zh) * 2018-01-22 2020-02-28 南京邮电大学 基于脑机接口与激光辅助瞄准的智能家居控制系统
CN108446021B (zh) * 2018-02-28 2020-03-17 天津大学 基于压缩感知的p300脑机接口在智能家居中的应用方法
CN109464239A (zh) * 2019-01-09 2019-03-15 浙江强脑科技有限公司 基于脑波控制的智能轮椅
CN110353899B (zh) * 2019-04-30 2020-11-24 华南师范大学 一种智能轮椅
CN110363157B (zh) * 2019-07-17 2021-08-31 杭州电子科技大学 基于时间编码的外骨骼混合脑机接口控制方法
CN110403740B (zh) * 2019-07-24 2022-01-25 张�杰 一种基于脑电波的控制系统
CN111610723A (zh) * 2020-05-29 2020-09-01 黄淮学院 一种适于智能家居的脑机接口控制系统
CN111596572A (zh) * 2020-05-29 2020-08-28 黄淮学院 一种适于脑控的智能家居仿真实验系统
CN115192045B (zh) * 2022-09-16 2023-01-31 季华实验室 目的地识别/轮椅控制方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6587713B1 (en) * 2001-12-14 2003-07-01 Bertha Freeman Brainwave responsive wheelchair
CN104083258A (zh) * 2014-06-17 2014-10-08 华南理工大学 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法
CN105446158A (zh) * 2015-12-31 2016-03-30 华南理工大学 一种基于多模态脑机接口的智能家电控制护理装置及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6587713B1 (en) * 2001-12-14 2003-07-01 Bertha Freeman Brainwave responsive wheelchair
CN104083258A (zh) * 2014-06-17 2014-10-08 华南理工大学 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法
CN105446158A (zh) * 2015-12-31 2016-03-30 华南理工大学 一种基于多模态脑机接口的智能家电控制护理装置及方法

Also Published As

Publication number Publication date
CN106020470A (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
CN106020470B (zh) 基于脑机接口的自适应家居环境控制装置及其控制方法
CN106671084B (zh) 一种基于脑机接口的机械臂自主辅助方法
CN106681494B (zh) 一种基于脑机接口的环境控制方法
CN103099693A (zh) 基于脑电/语音指令助残控制系统
CN104965552B (zh) 一种基于情感机器人的智能家居环境协同控制方法及系统
CN105549743A (zh) 一种基于脑-机接口的机器人系统及实现方法
CN104758130B (zh) 一种基于脑机接口的智能护理装置及方法
CN107608524B (zh) 一种基于肌电的多目标控制指令生成装置
CN108762303A (zh) 一种基于运动想象的便携式脑控无人机系统及控制方法
CN105446158A (zh) 一种基于多模态脑机接口的智能家电控制护理装置及方法
CN108235128A (zh) 一种红外感应控制电视屏幕显示状态的方法及系统
CN106491251B (zh) 一种基于非侵入式脑机接口机器臂控制系统及其控制方法
CN105117018A (zh) 一种利用脑电波与眼球状态的信息交互系统及方法
CN106019962A (zh) 基于近场通讯的物联网设备控制系统
CN105137830A (zh) 一种基于视觉诱发脑机接口的国画机器手及其绘图方法
CN102940933A (zh) 一种智能电刺激电路装置
CN103616882A (zh) 牙控智能家居
CN113156861A (zh) 轮椅智能控制系统
CN105066359A (zh) 一种基于脑电控制的空调遥控方法
CN110488628A (zh) 一种基于睡眠状态的智能家居控制系统
CN106593925A (zh) 一种基于脉搏监测的智能风扇的控制系统
CN207704396U (zh) 基于脑机接口与激光辅助瞄准的智能家居控制系统
CN205028242U (zh) 一种利用脑电波与眼球状态的信息交互系统
CN107967064A (zh) 基于脑机接口与激光辅助瞄准的智能家居控制系统
CN203090256U (zh) 一种智能电刺激电路装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190710

Address after: 510640 No. five, 381 mountain road, Guangzhou, Guangdong, Tianhe District

Co-patentee after: Guangzhou South China University of Technology Asset Management Co., Ltd.

Patentee after: Li Yuanqing

Address before: 510640 No. five, 381 mountain road, Guangzhou, Guangdong, Tianhe District

Patentee before: South China University of Technology

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190809

Address after: 510670 Room 201, Building 72, Nanxiang Second Road, Huangpu District, Guangzhou City, Guangdong Province

Patentee after: South China Brain Control (Guangdong) Intelligent Technology Co., Ltd.

Address before: 510640 Tianhe District, Guangdong, No. five road, No. 381,

Co-patentee before: Guangzhou South China University of Technology Asset Management Co., Ltd.

Patentee before: Li Yuanqing