CN109483572B - 一种基于家庭智能服务机器人控制系统及其控制方法 - Google Patents

一种基于家庭智能服务机器人控制系统及其控制方法 Download PDF

Info

Publication number
CN109483572B
CN109483572B CN201811196543.XA CN201811196543A CN109483572B CN 109483572 B CN109483572 B CN 109483572B CN 201811196543 A CN201811196543 A CN 201811196543A CN 109483572 B CN109483572 B CN 109483572B
Authority
CN
China
Prior art keywords
robot
mode
interface
control
eeg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811196543.XA
Other languages
English (en)
Other versions
CN109483572A (zh
Inventor
伏云发
陈睿
李玉
王文乐
李朝阳
周洲洲
熊馨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN201811196543.XA priority Critical patent/CN109483572B/zh
Publication of CN109483572A publication Critical patent/CN109483572A/zh
Application granted granted Critical
Publication of CN109483572B publication Critical patent/CN109483572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明公开了一种基于家庭智能服务机器人控制系统及其控制方法，涉及人机交互技术领域。该发明包括：EEG、FNIRS联合同步信号采集头帽，液晶显示器，WIFI发射/接收模块，脑电信号、近红外信号处理模块，ErrP检测模块，控制输出模块。用户通过显示器，利用信号采集头帽，脑电信号处理模块、ErrP检测模块在SSVEP刺激范式下实现机器人特定功能的控制；同时也可以通过显示器的SSVEP刺激切换到基于运动想象的EEG+FNIRS联合的用户自主控制机器人模式，具有更强的运动抗干扰能力及稳定性。同时，在国内首次将ErrP检测应用到脑‑控机器人中，提高了控制效率。本发明可以广泛应用到残障人士的家庭生活中以及教学和科研中。

Description

一种基于家庭智能服务机器人控制系统及其控制方法
技术领域
本发明涉及一种基于家庭智能服务机器人控制系统及其控制方法，属于人机交互技术领域。
背景技术
在人工智能，机器学习的大背景下，脑-机接口是21世纪最具有诱人前景的人机交互系统之一，其中多模态混合脑-机接口是脑-机接口领域重要的发展方向之一。多模态脑-机接口可以理解为根据大脑活动情况所产生的不同生理指标而采用特定物理手段去获得大脑活动情况的脑-机接口技术；混合脑-机接口可以理解为在EEG模式下采集不同类型的脑电信号从而提高指令数的脑-机接口方法。多模态混合脑-机接口不仅具有更多的指令数，而且在提高系统的准确率和稳定性上具有相当的优势，目前国内也发展出了不少基于EEG+FNIRS的多模态脑-机接口，其结合了基于EEG脑机接口的高时间分辨率和NIRS脑-机接口的高空间分辨率的优点，并且FNIRS设备相较于FMRI设备具有便携、价格便宜等优点，在运动想象脑-机接口、儿童语言脑区研究、医院临床检测等方面有着广阔的应用前景。
SSVEP是一种事件相关诱发电位，被试注视不同频率的视觉刺激时，可在其枕叶上诱发相应电位，被试所受视觉刺激的频率及其2次、3次谐波频率会使SSVEP响应得到加强，这种响应不依赖于个体，因此此类脑-机接口不需要训练。目前基于SSVEP的脑-机接口技术已相对成熟，仅仅在枕叶放置o1、o2、oz三个电极就可以检测到。其优点是速度快，信息传输速率高，稳点性相对较好，缺点是闪烁刺激容易造成视觉疲劳，对一些用户来说，甚至是不可接受的。
ErrP是一种事件相关电位，根据自然反馈，当被试意识到输出与其控制意图不符时（即机器发生了错误），用脑电检测，在Fz到Cz范围内，特别是额叶的中部，以Cz最明显，会在被试意识到发生机器错误后的100ms-300ms范围内诱发一个负相电位变化，称为错误相关负电位（NRE）。国外对ErrP的研究相对成熟，开发了不少基于此类脑电信号的混合脑-机接口。根据意识到错误的方法不一样，又可分为响应错误电位，反馈错误电位，观察错误电位及交互错误电位。国内对ErrP的研究起步较晚，基于错误相关负电位的混合脑-机接口较少，关于应用该方法去控制机器人的专利仍属于空白。
基于运动想象（Motor Imagery）的脑-机接口是最常见的脑-机接口之一，特别是目前基于EEG+FNIRS的多模态脑-机接口，大多基于运动想象。此类脑机接口采用人的动觉想象（想象运动的感觉而不是想象运动的画面，主要包括左手、右手、舌头及双脚的运动想象）实现对机器的控制，用户需要长时间的大量训练才能提高分类正确率及系统稳定性。EEG+FNIRS的多模态脑-机接口的出现，大大减少了训练时间，并且基于FNIRS的脑-机接口具有很好的运动抗干扰能力，使EEG+FNIRS多模态脑-机接口在应用中更加灵活、舒适。在军工、航天及康复训练等方向得到越来越多的关注。但是，由于运动想象的个体差异，目前基于运动想象的脑-机接口只局限于实验应用。
家庭智能服务型机器人是目前人工智能最重要一个的应用方向之一，市场上已经有许多基于语音控制的智能机器人，其应用主要面向健全人士家庭。但面对后天语言障碍及肢体残疾的患者，目前市场上的基于语音控制的智能家庭服务机器人是无法正常使用的。
发明内容
本发明要解决的技术问题是：本发明提供一种基于家庭智能服务机器人控制系统及其控制方法，专注于思考如何让后天语言障碍及肢体残疾的患者能正常使用智能家庭服务机器人，并且能够高效的控制。利用EEG+FNIRS多模态混合脑-机接口的多指令性及较高的稳定性，并且首次在脑-控机器人中增加了ErrP检测模块，提高了控制效率，使机器人的控制具有更大的自由度，可以自由切换到自主导航模式、特定任务控制模式及用户自主控制模式，相比传统控制方法更加灵活。其中，ErrP检测是指：通过对脑电信号的二次检测，使用单次扫描分析检测错误相关负电位，其中以Cz电极电位最明显，会在被试意识到错误发生后的100ms-300ms范围内发生负相电位变化。并据此给机器人发送相应指令，以减少用户进行多余的控制任务。
本发明采用的技术方案是：一种基于家庭智能服务机器人控制系统，包括依次连接的EEG+FNIRS多模态信号采集头帽、放大器、电脑、机器人，EEG+FNIRS多模态信号采集头帽上设有电极、近红外光发射探头2、近红外光接收探头1，电极用来采集脑电信号，电脑包括显示器，电脑内部设有信号处理模块，信号处理模块包括预处理单元、特征识别单元、模式分类单元、ErrP检测单元，EEG+FNIRS多模态信号采集头帽将采集到的EEG信号和NIRS信号分别通过WIFI和光纤传输到放大器进行放大和滤波，放大器处理后的信号通过WIFI传输到电脑的信号处理模块，电脑的显示器用于播放异步SSVEP刺激范式界面，电脑的信号处理模块对接收的信息进行分析处理后得到用户的意图，并根据用户的意图发出控制机器人相应动作的指令。
具体地，所述的异步SSVEP刺激范式界面包括方块f1、方块f2、方块f3、方块f4及4个分别指向显示器边的箭头；4个分别指向显示器边的箭头位于异步SSVEP刺激范式界面的中间，用于选择机器人的运动方向，用户通过注视不同方向箭头，向机器人发送对应方向移动设定距离的指令；方块f1用于系统启动及使机器人从自主导航模式切换到脑-控模式；方块f2用于打开机器人家居控制的SSVEP界面，并覆盖当前的SSVEP刺激界面；方块f3用于发出/取消控制机器人清扫卫生的指令；方块f4用于切换至基于运动想象的EEG+FNIRS多模态脑-机接口模式，在该模式中用户可通过运动想象控制机器人动作。
具体地，所述的基于运动想象的EEG+FNIRS多模态脑-机接口模式包括匀速逆时针旋转、匀速前进、抓取物体、退出此模式四个指令。
具体地，所述的机器人家居控制的SSVEP界面包括灯开/关控制、影音系统开/关控制、空调开/关控制及退出此界面四个控制选项。
具体地，所述的设定距离为10cm。
所述电脑的信号处理模块连接有一个语音播放器，语音播放器用于播放信号处理模块发出的控制指令。
一种所述的基于家庭智能服务机器人控制系统的控制方法，包括以下步骤：
步骤（1）：用户佩戴EEG+FNIRS多模态信号采集头帽，并在合适的位置固定电脑显示器，EEG+FNIRS多模态信号采集头帽将采集到的EEG信号和NIRS信号分别使用WIFI和光纤传输到放大器进行放大和滤波，放大器处理后的信号通过WIFI传输到电脑，电脑显示器播放异步SSVEP刺激范式界面；
步骤（2）：脑机接口初始模式为EEG单模式，用户通过注视异步SSVEP刺激范式界面中的方块f1，机器人从自主导航模式切换到脑-控模式，若切换后设定时间内ErrP检测单元检测到有ErrP电位，则系统取消当前执行的指令，重新回到自主导航模式，若未检测到ErrP电位，则等待执行步骤（3）、步骤（4）、步骤（5）中的任一个；
步骤（3）：若用户选择注视方块f2，则切换至机器人家居控制的SSVEP界面，并覆盖显示在原界面上，若切换后设定时间内ErrP检测单元检测到有ErrP电位，则取消切换至机器人家居控制的SSVEP界面，返回原界面；若未检测到有ErrP电位，若用户通过注视机器人家居控制的SSVEP界面上的三个动作控制选项，使机器人执行对应的动作，执行完毕后，用户可通过注视退出此界面的选项退出机器人家居控制的SSVEP界面，返回原异步SSVEP刺激范式界面；
步骤（4）：若用户选择注视方块f3，则可以发出控制机器人清扫卫生的指令，若发出后设定时间内ErrP检测单元检测到有ErrP电位，则取消执行该指令，返回原状态，若未检测到有ErrP电位，则成功发出控制机器人清扫卫生的指令；
步骤（5）：若用户选择注视方块f4，则切换至基于运动想象的EEG+FNIRS多模态脑-机接口模式，若进入后设定时间内ErrP检测单元检测到有ErrP电位，则取消切换至该模式，返回原状态，若未检测到有ErrP电位，则保持该模式。
具体地，切换到基于运动想象的EEG+FNIRS多模态脑-机接口模式后：
若用户进行一次左手运动想象任务，控制机器人按0.2m/s的速度向前匀速直线运动1m；若用户进行一次脚运动想象任务，则发送控制机器人逆时针匀速转的指令，机器人逆时针匀速转，每次旋转90度；若用户进行一次右手运动想象任务，则发送控制机器人抓取目标物体的指令。然后重复上述运动想象任务，以控制机器人到达目标位置，实现服务目的；若用户进行一次舌头运动想象，则发送“退出”指令，返回到EEG单模式。
具体地，在各个步骤中，只要在异步SSVEP刺激范式界面，用户都可以通过注视不同方向箭头，向机器人发送向对应方向移动设定距离的指令；只要信号处理模块发出控制指令，语音播放器均播放相应的控制指令。
具体地，所述的设定时间为0.5s。
本发明的有益效果是：（1）利用基于SSVEP混合脑-机接口的快速性、稳定性，并增加了交互错误电位检测，当机器人执行的任务与用户意图不同时，ErrP检测模块会检测由此诱发的IErrP电位，并发送一个“取消”指令，而无需用户在进行取消控制，使输出的效率得到有效提高。（2）采用基于运动想象的EEG+FNIRS多模态脑-机接口，此类脑-机接口是目前运动想象控制的主要手段，具有很强的运动抗干扰能力，用户使用起来更加舒适。并且EEG+FNIRS的同步数据处理能提高分类的正确率，能有效减少运动想象的训练周期，并且增加了对交互错误电位的检测模块，不需要用户进行运动想象任务就可以发送“暂停”指令，减少了用户的想象任务。（3）采用多模态混合脑-机接口，使机器人的控制具有更大的自由度，可以自由切换到自主导航模式，特定任务控制模式及用户自主控制模式。相比传统控制方法更加灵活。
附图说明
图1为本发明用户所配戴的头帽电极，近红外光源及探头放置示意图；
图2为本发明各部分系统的连接示意图；
图3为本发明的异步SSVEP刺激范式界面及机器人家居控制的SSVEP界面示意图；
图4为本发明的EEG信号处理流程图。
图中各标号为：近红外光接收探头-1，近红外光发射探头-2。
具体实施方式
下面结合附图和具体实施例，对本发明做进一步的说明。
实施例1：如图1-4所示，一种基于家庭智能服务机器人控制系统，包括依次连接的EEG+FNIRS多模态信号采集头帽、放大器、电脑、机器人，EEG+FNIRS多模态信号采集头帽上设有电极、近红外光发射探头2、近红外光接收探头1，电极用来采集脑电信号，电脑包括显示器，电脑内部设有信号处理模块，信号处理模块包括预处理单元、特征识别单元、模式分类单元、ErrP检测单元，EEG+FNIRS多模态信号采集头帽将采集到的EEG信号和NIRS信号分别通过WIFI和光纤传输到放大器进行放大和滤波，放大器处理后的信号通过WIFI传输到电脑的信号处理模块，电脑的显示器用于播放异步SSVEP刺激范式界面，电脑的信号处理模块对接收的信息进行分析处理后得到用户的意图，并根据用户的意图控制机器人的动作。
进一步地，所述的异步SSVEP刺激范式界面包括方块f1、方块f2、方块f3、方块f4及4个分别指向显示器边的箭头；4个分别指向显示器边的箭头位于异步SSVEP刺激范式界面的中间，用于选择机器人的运动方向，用户通过注视不同方向箭头，向机器人发送对应方向移动设定距离的指令；方块f1用于系统启动及使机器人从自主导航模式切换到脑-控模式；方块f2用于打开机器人家居控制的SSVEP界面，并覆盖当前的SSVEP刺激界面；方块f3用于发出/取消控制机器人清扫卫生的指令；方块f4用于切换至基于运动想象的EEG+FNIRS多模态脑-机接口模式，在该模式中用户可通过运动想象控制机器人动作。
进一步地，所述的基于运动想象的EEG+FNIRS多模态脑-机接口模式包括匀速逆时针旋转、匀速前进、抓取物体、退出此模式四个指令。
进一步地，所述的机器人家居控制的SSVEP界面包括灯开/关控制、影音系统开/关控制、空调开/关控制及退出此界面四个控制选项。
进一步地，所述的设定距离为10cm。
一种所述的基于家庭智能服务机器人控制系统的控制方法，包括以下步骤：
步骤（1）：用户所佩戴头帽的电极、近红外探头和光源排布如图1所示。用户只需静坐在舒适的可旋转的椅子上，在视线正前方70cm 处固定电脑显示器，SSVEP刺激范式界面采用异步显示，即刺激界面一直工作，用户想要发出指令，只需注视对应刺激方块。显示器（21英寸）上在离屏幕对角线10cm处设置有四个不同频率的闪烁方块（规格）。如图2，脑机接口的初始工作模式为EEG单模态，不分析NIRS信号，同步采集EEG信号和NIRS信号，所采集到的脑电信号通过无线方式传输到放大器进行放大和滤波；NIRS部分所采集的信号通过光纤传输到近红外放大器进行放大。然后分别将EEG信号和NIRS信号通过无线同步传输到信号处理模块（由matlab编写的实时信号处理算法进行预处理、特征提取、分类识别及ErrP检测），分类识别后的结果转换为对应指令并通过无线发送给智能机器人，以控制机器人执行不同任务,同时，利用自然反馈，从机器人执行任务起0.5s内，使用（单扫描分析）对错误相关负电位进行检测：若检测到该电位，则发送“取消当前命令，回退到上一状态”的指令，以减少用户执行任务的次数。
脑电信号的处理由PC机matlab软件编写的实时信号处理算法完成，预处理部分包括去眼电、肌电、基线校正及滤波，然后进行特征提取，并使用SVM算法进行分类识别，将分类结果转换为对应指令，并对每个指令输出进行语音播报，在指令输出后触发ErrP检测模块，对脑电信号进行二次检测(时间窗为0.5s)，根据语音播报的内容或用户眼睛看到的实际情况与用户的控制意图差别激发错误相关负电位，使用单次扫描分析对错误相关负电位进行检测：若检测到该电位，则发送“取消当前命令，回退到上一状态”的指令；若未检测到该电位，机器人无动作。
步骤（2）：脑机接口初始模式为EEG单模式，用户通过注视异步SSVEP刺激范式界面中的方块f1，机器人从自主导航模式切换到脑-控模式，若切换后设定时间内ErrP检测单元检测到有ErrP电位，则系统取消当前执行的指令，重新回到自主导航模式，若未检测到ErrP电位，则等待执行步骤（3）、步骤（4）、步骤（5）中的任一个；
步骤（3）：若用户选择注视方块f2，则切换至机器人家居控制的SSVEP界面，并覆盖显示在原界面上。若切换后0.5s内ErrP检测单元检测到有ErrP电位，则取消切换至机器人家居控制的SSVEP界面，返回原界面；若未检测到有ErrP电位，则执行下一步，用户通过注视机器人家居控制的SSVEP界面上的三个动作控制选项，使机器人执行对应的动作，执行完毕后，用户可通过注视退出此界面的选项退出机器人家居控制的SSVEP界面，返回原异步SSVEP刺激范式界面。
步骤（4）：若用户选择注视方块f3，则发出控制机器人清扫卫生的指令，若发出后0.5s内ErrP检测单元检测到有ErrP电位，则取消执行该指令，返回原状态，若未检测到有ErrP电位，则等待执行下一个指令。
步骤（5）：如图3,若用户注视方块（f4）5S，则切换到EEG+FNIRS脑-机接口模式下，对EEG信号和NIRS信号进行实时同步处理，实时信号处理算法由PC机matlab软件编写。用户进行一次左手运动想象任务，控制机器人按0.2m/s的速度向前匀速直线运动1米；用户进行一次脚运动想象任务，则发送进行逆时针匀速旋转的指令，每个指令旋转90度；若用户进行一次右手运动想象任务，则发送控制机器人抓取目标物体的指令；若用户进行一次舌头运动想象，则发送“退出”指令，退出EEG+FNIRS双模态脑机接口。在此控制方法下，用户控制机器人大致到达指定位置，切换到EEG单模态脑-机接口，用户通过注视设置在 SSVEP刺激屏幕中央上、下、左、右四个方向设有4个闪烁频率不同，形状大小相同的箭头，向机器人发送对应方向移动10cm的指令，指令输出所采用的方法与步骤三一致，同样具有ErrP检测模块，以控制机器人准确到达目标位置。重复上述控制方法，可实现机器人的服务目的。
进一步地，在各个步骤中，只要在异步SSVEP刺激范式界面，用户都可以通过注视不同方向箭头，向机器人发送向对应方向移动10cm的指令；只要信号处理模块发出控制指令，语音播放器均播放相应的控制指令。
总之，用户通过SSVEP界面的不同选项，可以在基于SSVEP的EEG单模式脑-机接口和基于运动想象的EEG+FNIRS多模态脑机接口中自由切换。并且对应的，可以控制智能机器人在自主导航模式、特定任务模式及用户自主控制模式之间自由地切换，以满足用户的不同需求。
以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (9)

1.一种基于家庭智能服务机器人控制系统的控制方法，其特征在于：
基于家庭智能服务机器人控制系统，包括依次连接的EEG+FNIRS多模态信号采集头帽、放大器、电脑、机器人，EEG+FNIRS多模态信号采集头帽上设有电极、近红外光发射探头（2）、近红外光接收探头（1），电极用来采集脑电信号，电脑包括显示器，电脑内部设有信号处理模块，信号处理模块包括预处理单元、特征识别单元、模式分类单元、ErrP检测单元，EEG+FNIRS多模态信号采集头帽将采集到的EEG信号和NIRS信号分别通过WIFI和光纤传输到放大器进行放大和滤波，放大器处理后的信号通过WIFI传输到电脑的信号处理模块，电脑的显示器用于播放异步SSVEP刺激范式界面，电脑的信号处理模块对接收的信息进行分析处理后得到用户的意图，并根据用户的意图发出控制机器人相应动作的指令；
基于家庭智能服务机器人控制系统的控制方法，包括以下步骤：
步骤（1）：用户佩戴EEG+FNIRS多模态信号采集头帽，并在合适的位置固定电脑显示器，EEG+FNIRS多模态信号采集头帽将采集到的EEG信号和NIRS信号分别使用WIFI和光纤传输到放大器进行放大和滤波，放大器处理后的信号通过WIFI传输到电脑，电脑显示器播放异步SSVEP刺激范式界面；
步骤（2）：脑机接口初始模式为EEG单模式，用户通过注视异步SSVEP刺激范式界面中的方块f1，机器人从自主导航模式切换到脑-控模式，若切换后设定时间内ErrP检测单元检测到有ErrP电位，则系统取消当前执行的指令，重新回到自主导航模式，若未检测到ErrP电位，则等待执行步骤（3）、步骤（4）、步骤（5）中的任一个；
步骤（3）：若用户选择注视方块f2，则切换至机器人家居控制的SSVEP界面，并覆盖显示在原界面上，若切换后设定时间内ErrP检测单元检测到有ErrP电位，则取消切换至机器人家居控制的SSVEP界面，返回原界面；若未检测到有ErrP电位，若用户通过注视机器人家居控制的SSVEP界面上的三个动作控制选项，使机器人执行对应的动作，执行完毕后，用户可通过注视退出此界面的选项退出机器人家居控制的SSVEP界面，返回原异步SSVEP刺激范式界面；
步骤（4）：若用户选择注视方块f3，则可以发出控制机器人清扫卫生的指令，若发出后设定时间内ErrP检测单元检测到有ErrP电位，则取消执行该指令，返回原状态，若未检测到有ErrP电位，则成功发出控制机器人清扫卫生的指令；
步骤（5）：若用户选择注视方块f4，则切换至基于运动想象的EEG+FNIRS多模态脑-机接口模式，若进入后设定时间内ErrP检测单元检测到有ErrP电位，则取消切换至该模式，返回原状态，若未检测到有ErrP电位，则保持该模式。
2.根据权利要求1所述的基于家庭智能服务机器人控制系统的控制方法，其特征在于：所述的异步SSVEP刺激范式界面包括方块f1、方块f2、方块f3、方块f4及4个分别指向显示器边的箭头；4个分别指向显示器边的箭头位于异步SSVEP刺激范式界面的中间，用于选择机器人的运动方向，用户通过注视不同方向箭头，向机器人发送对应方向移动设定距离的指令；方块f1用于系统启动及使机器人从自主导航模式切换到脑-控模式；方块f2用于打开机器人家居控制的SSVEP界面，并覆盖当前的异步SSVEP刺激范式界面；方块f3用于发出/取消控制机器人清扫卫生的指令；方块f4用于切换至基于运动想象的EEG+FNIRS多模态脑-机接口模式，在该模式中用户可通过运动想象控制机器人动作。
3.根据权利要求2所述的基于家庭智能服务机器人控制系统的控制方法，其特征在于：所述的基于运动想象的EEG+FNIRS多模态脑-机接口模式包括匀速逆时针旋转、匀速前进、抓取物体、退出此模式四个指令。
4.根据权利要求2所述的基于家庭智能服务机器人控制系统的控制方法，其特征在于：所述的机器人家居控制的SSVEP界面包括灯开/关控制、影音系统开/关控制、空调开/关控制及退出此界面四个控制选项。
5.根据权利要求2所述的基于家庭智能服务机器人控制系统的控制方法，其特征在于：所述的设定距离为10cm。
6.根据权利要求2所述的基于家庭智能服务机器人控制系统的控制方法，其特征在于：所述电脑的信号处理模块连接有一个语音播放器，语音播放器用于播放信号处理模块发出的控制指令。
7.根据权利要求1所述的基于家庭智能服务机器人控制系统的控制方法，其特征在于：切换至基于运动想象的EEG+FNIRS多模态脑-机接口模式后：
若用户进行一次左手运动想象任务，控制机器人按0.2m/s的速度向前匀速直线运动1m；若用户进行一次脚运动想象任务，则发送控制机器人逆时针匀速转的指令，机器人逆时针匀速转，每次旋转90度；若用户进行一次右手运动想象任务，则发送控制机器人抓取目标物体的指令，然后重复上述运动想象任务，以控制机器人到达目标位置，实现服务目的；若用户进行一次舌头运动想象，则发送“退出”指令，返回到EEG单模式。
8.根据权利要求1所述的基于家庭智能服务机器人控制系统的控制方法，其特征在于：在各个步骤中，只要在异步SSVEP刺激范式界面，用户都可以通过注视不同方向箭头，向机器人发送向对应方向移动设定距离的指令；只要信号处理模块发出控制指令，语音播放器均播放相应的控制指令。
9.根据权利要求1或7所述的基于家庭智能服务机器人控制系统的控制方法，其特征在于：设定时间为0.5s。
CN201811196543.XA 2018-10-15 2018-10-15 一种基于家庭智能服务机器人控制系统及其控制方法 Active CN109483572B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811196543.XA CN109483572B (zh) 2018-10-15 2018-10-15 一种基于家庭智能服务机器人控制系统及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811196543.XA CN109483572B (zh) 2018-10-15 2018-10-15 一种基于家庭智能服务机器人控制系统及其控制方法

Publications (2)

Publication Number Publication Date
CN109483572A CN109483572A (zh) 2019-03-19
CN109483572B true CN109483572B (zh) 2021-09-07

Family

ID=65689657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811196543.XA Active CN109483572B (zh) 2018-10-15 2018-10-15 一种基于家庭智能服务机器人控制系统及其控制方法

Country Status (1)

Country Link
CN (1) CN109483572B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967333B (zh) * 2020-07-20 2023-04-07 中国人民解放军军事科学院国防科技创新研究院 一种信号生成方法、系统、存储介质及脑机接口拼写器
CN113778580B (zh) * 2021-07-28 2023-12-08 赤子城网络技术（北京）有限公司 模态用户界面显示方法、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010098283A1 (ja) * 2009-02-24 2010-09-02 本田技研工業株式会社 脳情報出力装置、ロボット、および脳情報出力方法
CN103529938A (zh) * 2013-09-29 2014-01-22 哈尔滨工程大学 一种机器人及脑机接口
CN105549743A (zh) * 2016-01-18 2016-05-04 中国医学科学院生物医学工程研究所 一种基于脑-机接口的机器人系统及实现方法
CN105852854A (zh) * 2016-05-10 2016-08-17 华南理工大学 基于nirs-eeg的穿戴式多模态脑功能检测装置
CN106873780A (zh) * 2017-03-06 2017-06-20 广东工业大学 一种全息脑控机器人系统
CN107483992A (zh) * 2017-07-11 2017-12-15 昆明理工大学 一种基于ssvep和运动想象的智能电视遥控方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010098283A1 (ja) * 2009-02-24 2010-09-02 本田技研工業株式会社 脳情報出力装置、ロボット、および脳情報出力方法
CN103529938A (zh) * 2013-09-29 2014-01-22 哈尔滨工程大学 一种机器人及脑机接口
CN105549743A (zh) * 2016-01-18 2016-05-04 中国医学科学院生物医学工程研究所 一种基于脑-机接口的机器人系统及实现方法
CN105852854A (zh) * 2016-05-10 2016-08-17 华南理工大学 基于nirs-eeg的穿戴式多模态脑功能检测装置
CN106873780A (zh) * 2017-03-06 2017-06-20 广东工业大学 一种全息脑控机器人系统
CN107483992A (zh) * 2017-07-11 2017-12-15 昆明理工大学 一种基于ssvep和运动想象的智能电视遥控方法

Also Published As

Publication number Publication date
CN109483572A (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
Huang et al. An EOG-based human–machine interface for wheelchair control
CN103338265B (zh) 一种结合脑电和眼电的信息交互系统及信息交互方法
Rao et al. Brain-computer interfacing [in the spotlight]
Chiuzbaian et al. Mind controlled drone: An innovative multiclass SSVEP based brain computer interface
Esposito et al. Biosignal-based human–machine interfaces for assistance and rehabilitation: A survey
CN106214391B (zh) 基于脑机接口的智能护理床及其控制方法
CN107608524B (zh) 一种基于肌电的多目标控制指令生成装置
Achic et al. Hybrid BCI system to operate an electric wheelchair and a robotic arm for navigation and manipulation tasks
CN106974795B (zh) 一种欠驱动上肢康复机器人控制系统
CN109483572B (zh) 一种基于家庭智能服务机器人控制系统及其控制方法
KR102349087B1 (ko) 뇌-컴퓨터 인터페이스에 기반하여 로봇을 제어하는 방법 및 그에 따른 식사 보조 로봇의 제어 장치
CN110840666A (zh) 一种基于眼电和机器视觉的轮椅机械臂集成系统及其控制方法
Lo et al. Novel non-contact control system for medical healthcare of disabled patients
Wang et al. Brain-controlled wheelchair review: From wet electrode to dry electrode, from single modal to hybrid modal, from synchronous to asynchronous
CN113156861A (zh) 轮椅智能控制系统
CN107315479A (zh) 基于激光投影的肌电实时操作装置
Puanhvuan et al. Semi-automatic P300-based brain-controlled wheelchair
CN113082448A (zh) 基于脑电信号和眼动仪的虚拟沉浸式自闭症儿童治疗系统
Surdilovic et al. Convenient intelligent cursor control web systems for Internet users with severe motor-impairments
CN115712350A (zh) 一种基于肌电检测的眨眼交流表达系统及控制方法
CN213423727U (zh) 一种基于tgam的智能家居控制装置
KR102396163B1 (ko) 이동체 및 사람 간의 협력에 기반하여 이동체를 제어하는 방법 및 그에 따른 이동체의 제어 장치
Rechy-Ramirez et al. Bi-modal human machine interface for controlling an intelligent wheelchair
CN114936574A (zh) 一种基于bci的高灵活度机械手系统及其实现方法
Shen et al. An active and passive upper limb rehabilitation training system based on a hybrid brain–computer interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant