CN113311823A - 一种结合脑机接口技术及orb_slam导航的移动机器人控制新方法 - Google Patents
一种结合脑机接口技术及orb_slam导航的移动机器人控制新方法 Download PDFInfo
- Publication number
- CN113311823A CN113311823A CN202110387127.3A CN202110387127A CN113311823A CN 113311823 A CN113311823 A CN 113311823A CN 202110387127 A CN202110387127 A CN 202110387127A CN 113311823 A CN113311823 A CN 113311823A
- Authority
- CN
- China
- Prior art keywords
- mobile robot
- control
- brain
- slam
- orb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000005516 engineering process Methods 0.000 title claims abstract description 38
- 230000008569 process Effects 0.000 claims abstract description 23
- 210000004556 brain Anatomy 0.000 claims abstract description 14
- 230000005540 biological transmission Effects 0.000 claims abstract description 7
- 230000000007 visual effect Effects 0.000 claims abstract description 7
- 230000000763 evoking effect Effects 0.000 claims abstract 2
- 230000000638 stimulation Effects 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000033001 locomotion Effects 0.000 claims description 5
- 239000003642 reactive oxygen metabolite Substances 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 238000010219 correlation analysis Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Neurology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Biomedical Technology (AREA)
- Neurosurgery (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
一种结合脑机接口技术及ORB_SLAM导航的移动机器人控制新方法，属于脑科学、无人系统控制交叉领域。本发明通过BCI技术，在移动机器人自主导航过程中加入人的意识决策控制，在系统控制过程层面上达到人机智能混合的目的，克服移动机器人在非结构化的复杂环境中任务执行可靠性低、操作者操作负担重、控制系统智能化程度低的问题。自主导航系统通过基于ROS系统的ORB_SLAM技术来实现，移动机器人自主导航过程中，操作者通过视频传输反馈系统感知环境从而确定是否要引入人为决策控制，人为决策控制的实现通过基于SSVEP范式的脑机接口系统来实现。本发明可以应用于特殊人群的生活辅助轮椅、无人作战平台以及月球车的控制系统设计等。
Description
技术领域
本发明属于脑科学、无人系统控制交叉领域，具体是一种基于结合脑机接口技术和视觉SLAM技术的移动机器人控制方法。
背景技术
移动机器人是一个集环境感知、决策规划、执行控制等多功能于一体的综合系统。它集中了传感器技术、信息处理、电子工程、计算机工程、自动化控制工程以及人工智能等多学科的研究成果。近年来移动机器人的应用范围不断扩展，不仅在工业、农业、医疗、服务等行业中得到广泛的应用，而且在城市安全、国防和空间探测领域等有害与危险场合得到很好的应用。
目前，从某些特殊应用需求来看，比如地面无人作战平台以及月球车的应用，移动机器人在这些复杂非结构化的应用环境中，会面临一些突发复杂情况。许多研究工作表明，由于受到诸如机构学、传感器技术和模式识别技术发展的限制，移动机器人在有突发情况产生或非结构化复杂环境中完全依托基于机器智能的自动驾驶技术来完成移动任务在今后可以预见的相当长一段时间内是一个难以达到的目标。
目前，在这种复杂非结构化环境中，对于移动机器人任务的执行控制通常的做法是通过遥操作技术由操作员远程对移动机器人进行一个人工控制，该方法的优点是任务执行过程中能够充分利用操作员作为人本身的认知决策与灵活应变特性，缺点是操作人员操作负担较重，并且，一般人工控制形式以人工手动遥控模式为主，操作者的双手被持续占用，无法同步进行其他工作，同时这种手动遥控的方式也限制了该控制系统的未来智能化程度的发展。
脑机接口(Brain-Computer Interface,BCI)是一种通过在人脑神经与外部设备(比如计算机、机器人等)间建立直接连接通路来实现神经系统和外部设备间信息交互与功能整合的技术。随着BCI技术的发展，目前已经有研究人员开发基于脑机接口的实时移动机器人控制系统，目前的相关研究中这种控制系统只是仅仅使用了脑机接口技术直接对移动机器人进行控制。该系统中，要想准确表达操作者意图就必须要求操作者精力高度集中，操作者大脑操作负担极大且极易疲劳，并且控制准确率往往不尽人意。
根据以上所述，现有的这些移动机器人控制系统在复杂非结构化环境中执行任务存在以下问题：
1.基于完全自主导航技术的移动机器人控制系统任务完成可靠性差，对于突发状况应变能力差。
2.依托于遥操作技术的移动机器人控制系统，使用人工手动控制，无法解放操作者的双手，操作者操作负担较重。
3.仅使用脑机接口技术的移动机器人控制系统，操作者精神负担重，长时间控制精度不理想。
基于机器智能的自动驾驶技术具有能够充分利用计算机能够记录大量的数据、知识信息、精确处理大量数据与知识以及进行基于规则的逻辑推理的优点；使用人本身的人为决策对移动机器人进行人工控制能够利用人脑智能灵活性、适应性好、应对突发状况能力强的优点。为解决在复杂非结构化并且存在突发事件环境中移动机器人的任务完成率不理想的问题，本发明提出的结合脑机接口技术及ORB_SLAM导航的移动机器人控制新方法，在现有移动机器人系统的自主导航能力基础上，在自主导航过程中给予移动机器人操作者实时前景反馈，利用BCI技术加入人脑意识控制，达到在任务控制过程层面实现人机智能融合的目的，从而提高移动机器人的任务完成可靠性，帮助移动机器人完成存在突发事件环境下的任务，同时减轻操作者操作负担。
发明内容
本发明的目的在于克服现有移动机器人控制系统在存在突发事件环境中执行任务所存在的缺点与不足，为移动机器人控制提供一种新途径，来帮助移动机器人完成上述环境下的任务完成。本发明总体的方案是将自主导航控制与脑控相结合进行分段控制，在移动机器人基于ORB_SLAM的自主导航过程中通过远程视频传输技术给予移动机器人操作者移动机器人的实时前景反馈，同时通过基于SSVEP的脑机接口技术加入人的决策控制，将人的判断以及对突发情况的应变能力加入到控制过程中，融合人机优势，提高移动机器人控制系统的性能。
本发明技术方案的核心在于在移动机器人的自主导航过程中人的决策控制引入的方法及人为决策控制与自主导航控制的切换所采用的方法。在移动机器人的自主导航过程中，通过远程无线视频传输技术提供给移动机器人操作者移动机器人的实时前景视频反馈，同时采集操作者的大脑EEG信号后进行EEG信号处理判断是否产生有效决策控制信号，操作者观察自主导航过程中的实时前景，当机器人驶入自动驾驶传感器可能失效的地形或者移动机器人面临突发情况时，操作者只需视线注视所设计的前景视频反馈界面上的刺激模块，移动机器人即可通过脑机接口系统快速由自主导航控制模式切换为人为意识控制模式，并且产生有效人为意识决策控制指令信号，移动机器人执行器转由执行自主导航控制信号而去执行该人为决策控制信号，从而避免自主导航在该种场景情况下可能发生的严重后果。在人为意识控制下移动机器人脱离上述特殊场景情况后，操作人员只需视线脱离刺激模块，移动机器人即可回归到自主导航控制中。在整个任务过程中，在上述复杂非结构化环境中，突发情况或者特殊地形是偶有发生的，绝大多数的时间内，移动机器人的控制是由自主导航控制的，因为人的注意力警觉机制的存在，该时间段内只需操作人员花费极少的精力去观察前景反馈是否有特殊情况发生或者是否进入特殊地形，因此，该系统下操作人员的操作负担被大大减轻的，并且突发情况下人为脑电意识控制的快速切入避免了自主导航可能发生的不测。
本发明具体的技术方案如图1所示，首先进行ORB_SLAM环境建图，然后利用基于SSVEP范式的脑机接口技术进行移动机器人目的地的图像选取后将选取的目的地图像与ORB_SLAM所建立的关键帧图库进行特征点匹配换算出目的地的地图坐标，将SLAM定位的自身坐标和上一步得到的目的地坐标传递给路径规划模块进行导航的路径规划，移动机器人按照路径规划结果进行自主导航，在自主导航过程中，脑机接口控制系统一直在运行，操作人员简单观察实时图传信息看是否有特殊情况发生或者是否进入特殊地形即可，此时，在该状态下(视线不对刺激模块进行注视，无视觉刺激状态下)，脑机接口控制系统产生空控制指令，移动机器人控制由自主导航技术实现，当操作者通过实时图传观察到移动机器人进入复杂环境或者有突发情况产生时，通过注视相应SSVEP刺激模块，脑机接口系统产生有效控制信号引入决策控制，此时，移动机器人按照脑控系统的有效控制信号执行，移动机器人脱离特殊场景后，操作人员视线脱离相应SSVEP刺激模块，则脑控系统的有效控制信号结束，以上述有效控制信号的结束为号令，路径规划模块再次按照SLAM定位的当前自身坐标和目的地坐标进行路径规划，移动机器人继续由自主导航控制系统控制，重复上述过程，直至到达目的地。
本发明提供的技术方案的有益效果是：
(1)通过BCI技术，在自主导航过程的特殊时段内(比如进入了高度动态变化的环境或者自动驾驶传感器可能失效的地形)加入人脑意识控制，将人的判断以及对突发情况的应变能力加入到导航系统中，融合了人机智能的优势；除此之外的时间段内，继续依托基于机器智能的自动驾驶技术来执行移动机器人的控制，整个任务过程中充分降低了操作人员的操作负担。
(2)无论是导航目的地选择阶段，还是之后的任务执行过程中，操作人员的双手被得到释放，操作负担被充分释放，
(3)对于操作人员，可以满足多任务同步进行的需求；另外，本发明可以应用到特殊人群(如上肢残疾，中风，瘫痪等)的生活辅助中。
附图说明
图1为技术方案框架；
图2为本发明实施案例系统框图；
图3为视频反馈及刺激模块分布界面；
图4为目的地场景图像选择阶段闪烁模块代表意义示意图；
图5为任务执行时人脑决策控制阶段闪烁模块代表意义示意图；
图6为SSVEP脑电信号特征提取方案流程图；
具体实施方式
为使本发明的发明内容更加清楚，下面对本发明实施方式作进一步地详细描述，本发明实施案例系统框图如图2所示。
本发明实施案例中的移动机器人为ZHISHAN机器人，内置一台工控机作为主控，工控机基本配置为intel I7-4560U、64gb固态硬盘、8gb内存。其上搭载着Ubuntu16.4系统，通过SSH协议与远程控制的PC进行通信。工控机的USB接口连接着移动机器人上搭载的720P的USB高清摄像头，以及一个串口与底层的STM32单片机进行通信。移动机器人默认开机启动的USB摄像头节点,发布的是720P的图像流,一是用于ORB_SLAM建图需求，二是基于H.264编解码技术传递给远程控制的笔记本电脑，用于基于BCI的导航目的地图像选取和用于操作者观察的场景视频反馈。底层的STM32控制板上连接着红外传感器与超声波测距传感器，帮助移动机器人进行简单的避障。再通过串口接收的指令基于PID算法对左右电机进行控制，实现差速轮的运动，控制移动机器人前进。移动机器人移动速度最大0.8m/s,电机自带编码器配有速度控制,自适应多种承重负载和地面路况。
本发明的整个自主驾驶系统是基于移动机器人主控上的ROS系统来实现，SLAM方案为单目ORB_SLAM，该方案采用单目高清摄相机进行视觉图像采集，单目相机结构简单，成本低，相比基于其他传感器的SLAM方案能够有效降低系统硬件成本，单目ORB-SLAM为特征点法SLAM，构建出的地图为稀疏点云图，该地图可用于导航和移动机器人的自身定位，且该算法运算速度快，ORB-SLAM能够在标准的CPU上进行实时工作。同时，本发明选择了人工势场算法作为自主导航系统的路径规划算法，ORB-SLAM所建立的地图为稀疏点云地图，以各个特征点制造人工势场非常方便，即可对无人车施加“引力”和“斥力”，为移动机器人在地图中实现路径规划。
本发明中，用于给予操作人员反馈的远程PC使用SSH协议远程登录移动机器人上位机的Ubuntu系统，解码基于H.264标准的USB摄像头所采集的压缩传输后的视频流，给予操作人员实时的移动机器人前景视频反馈，SSVEP范式脑机接口作为脑机接口模块的实现，SSVEP范式的刺激模块实现利用MATLAB的Psychtoolbox工具包在视频反馈界面上添加LCD的闪烁模块，四个闪烁模块的闪烁频率分别为f1＝12.4Hz、f2＝16Hz、f3＝17.8Hz、f4＝20Hz，整个视频反馈及刺激模块界面如图3所示。目的地区域图像选择阶段，特定闪烁模块选择代表这块特定图像区域的选择，具体显意如图4所示，经过多级选择，将最终选择的图像区域传递给移动机器人的工控机，与SLAM所建立的关键帧图库进行特征点匹配换算出目的地的地图坐标，将其用于路径规划；目的地区域图像选择结束，当移动机器人开始了移动，四个特定闪烁模块代表着向右旋转、向左旋转、前进、后退四个操作员想要通过BCI引入的人为意识控制指令，人脑决策控制阶段阶段闪烁模块代表意义如图5所示。
在整个移动机器人任务执行过程中，脑机接口模块一直在运行，通过脑电采集系统采集操作人员头皮表面的脑电信号，并将采集到的实时脑电数据传输给MATLAB进行脑电信号分析。首先是预处理，包含脑电低频带通滤波及工频陷波，预处理之后利用典型相关分析(Canonical Correlation Analysis,CCA)算法对O1、O2、Oz三个导联的数据进行特征提取，基于典型相关分析的SSVEP信号特征提取方案如图6所示，根据CCA算法得到的相关性系数的大小确定是否有有效意识控制信号以及具体指令内容，具体涉及计算公式如下：
X＝(x1,x2,…xn)T
X为中一组记录的EEG信号，n是信号采集电极的数量，本发明实例n为3。
Yi是与视觉刺激频率相对应的参考信号，i是刺激目标序号，本发明实例i＝1、2、3、4，fi为刺激频率，本发明实例刺激频率分别为f1、f2、f3、f4，k代表参考信号中的谐波数，本发明实例k＝1、2、3，Ns是采集信号中采样点数量，X与Yi的线性组合可以表示为x＝XTWX和y＝Yi TWY,WX、WY是权重矩阵，本发明实例采用平均加权，对于第i个刺激频率的相关系数是ρi。
如若ρm大于设定的阈值，则目标频率识别为最大相关系数ρm所对应的刺激频率。
在整个移动机器人任务执行过程中，大多数时间段内，非突发情况或者特殊地形发生，操作者不注视LCD闪烁模块，只需简单观察视频前景，非刺激意识下CCA算法得到的相关系数较低，设立一阈值，本发明将阈值设定为0.7，大于该阈值才视为BCI模块输出为有效控制指令，如果小于该阈值则视为BCI模块输出为空指令，因此，该阶段BCI模块输出的指令为空指令，此时移动机器人的运动全权由自主导航系统接管。当操作者通过反馈视频发现移动机器人前面有突发情况或者进入特殊地段，需要引入人的决策意念控制时，通过注视四个特定闪烁模块之一，引入向右旋转、向左旋转、前进、后退四个人为意识控制控制指令，由于此时的脑电信号是由特定频率的闪烁模块刺激产生的，所以此时CCA算法得到该频率下的脑电信号相关系数会高于0.7，从而判断为有效指令，移动机器人中断接收来自自主导航系统的控制指令，转而去执行来自脑控系统的有效控制指令。待移动机器人在人为决策意识控制下驶出复杂地段，操作人员停止注视闪烁模块，BCI模块输出的指令又为空指令，将当前位置与目的地位置重新进行路径规划，移动机器人的运动控制继续由自主导航系统控制器来完成，直至移动机器人到达目标位置。
Claims (3)
1.一种结合脑机接口技术及ORB_SLAM导航的移动机器人控制新方法，其特征在于：将基于ORB_SLAM技术的自主导航技术和基于SSVEP范式的脑机接口技术相结合在移动机器人的控制过程层面实现人机智能混合，具体在移动机器人的任务执行过程中，移动机器人的控制在绝大数时间内由ROS系统的自主导航控制完成，自主导航执行过程中，通过远程视频传输技术给予移动机器人操作者实时的前景视频反馈，同时检测操作者的实时脑电信号，当机器人驶入自动驾驶传感器可能失效的地形或者移动机器人面临突发情况时，操作者视线注视所设计的前景视频反馈界面上的刺激模块，移动机器人即可通过脑机接口系统的EEG处理算法判断结果快速由自主导航控制模式切换为人为意识控制模式，通过注视刺激模块实现人为意识决策控制，移动机器人脱离突发情况后，操作人员视线即可脱离相应SSVEP刺激模块，脑机接口系统检测人为决策控制信号结束后，路径规划模块再次按照SLAM定位的当前自身坐标和目的地坐标进行路径规划，移动机器人继续由自主导航控制系统控制，重复上述过程直至到达目的地。
2.根据权利要求1所述结合脑机接口技术及ORB_SLAM导航的移动机器人控制新方法，其特征在于：所述ORB_SLAM导航部分，ORB_SLAM导航的初始目的地的选择具体是通过由SSVEP脑机接口范式选择的，操作者通过注视特定闪烁模块实现选择对应目的地图像，然后将其与SLAM所建立的关键帧图库进行特征点匹配换算出目标点的地图坐标，将其用于路径规划。
3.根据权利要求1所述结合脑机接口技术及ORB_SLAM导航的移动机器人控制新方法，其特征在于：所述将基于ORB_SLAM技术的自主导航技术和基于SSVEP范式的脑机接口技术相结合在移动机器人的控制过程层面实现人机智能混合，具体是通过一种高效的控制模式切换方法进行分段控制，通过给予操作人员带视觉刺激模块的前景反馈，移动机器人运动执行按脑控执行还是自主导航控制执行是通过对实时采集的EEG信号经过CCA算法后得到的相关系数大小决定，如若大于设定的某一阈值，本发明设定为0.7，则将脑电信号判定为有效脑电控制信号，移动机器人移动按照人为意识决策脑控指令执行，如若小于该阈值则判定为空指令，移动机器人移动由自主导航系统负责控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110387127.3A CN113311823B (zh) | 2021-04-07 | 2021-04-07 | 一种结合脑机接口技术及orb_slam导航的移动机器人控制新方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110387127.3A CN113311823B (zh) | 2021-04-07 | 2021-04-07 | 一种结合脑机接口技术及orb_slam导航的移动机器人控制新方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113311823A true CN113311823A (zh) | 2021-08-27 |
| CN113311823B CN113311823B (zh) | 2023-01-17 |
Family
ID=77372111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110387127.3A Active CN113311823B (zh) | 2021-04-07 | 2021-04-07 | 一种结合脑机接口技术及orb_slam导航的移动机器人控制新方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113311823B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104083258A (zh) * | 2014-06-17 | 2014-10-08 | 华南理工大学 | 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法 |
| CN105468138A (zh) * | 2015-07-15 | 2016-04-06 | 武汉理工大学 | 基于脑机接口技术与激光雷达的智能车辆避障导航方法 |
| CN106901916A (zh) * | 2017-03-13 | 2017-06-30 | 上海大学 | 一种采用脑电信号控制的可行走座椅装置及其控制系统 |
| CN109009887A (zh) * | 2018-07-17 | 2018-12-18 | 东北大学 | 一种基于脑机接口的人机交互式导航系统及方法 |
| KR20190027617A (ko) * | 2017-09-07 | 2019-03-15 | 고려대학교 산학협력단 | 로봇팔 장치를 제어하기 위한 뇌-컴퓨터 인터페이싱 방법 및 그 뇌-컴퓨터 인터페이스 장치 |
| CN110955251A (zh) * | 2019-12-25 | 2020-04-03 | 华侨大学 | 基于Petri网的移动机器人脑机协同控制方法和系统 |
| CN111890389A (zh) * | 2020-06-22 | 2020-11-06 | 东南大学 | 基于多模态交互接口的多移动机器人协同控制系统 |
| CN112051780A (zh) * | 2020-09-16 | 2020-12-08 | 北京理工大学 | 一种基于脑机接口的移动机器人编队控制系统及方法 |
| CN112148011A (zh) * | 2020-09-24 | 2020-12-29 | 东南大学 | 一种未知环境下脑电移动机器人共享控制方法 |
-
2021
- 2021-04-07 CN CN202110387127.3A patent/CN113311823B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104083258A (zh) * | 2014-06-17 | 2014-10-08 | 华南理工大学 | 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法 |
| US20170095383A1 (en) * | 2014-06-17 | 2017-04-06 | South China University Of Technology | Intelligent wheel chair control method based on brain computer interface and automatic driving technology |
| CN105468138A (zh) * | 2015-07-15 | 2016-04-06 | 武汉理工大学 | 基于脑机接口技术与激光雷达的智能车辆避障导航方法 |
| CN106901916A (zh) * | 2017-03-13 | 2017-06-30 | 上海大学 | 一种采用脑电信号控制的可行走座椅装置及其控制系统 |
| KR20190027617A (ko) * | 2017-09-07 | 2019-03-15 | 고려대학교 산학협력단 | 로봇팔 장치를 제어하기 위한 뇌-컴퓨터 인터페이싱 방법 및 그 뇌-컴퓨터 인터페이스 장치 |
| CN109009887A (zh) * | 2018-07-17 | 2018-12-18 | 东北大学 | 一种基于脑机接口的人机交互式导航系统及方法 |
| CN110955251A (zh) * | 2019-12-25 | 2020-04-03 | 华侨大学 | 基于Petri网的移动机器人脑机协同控制方法和系统 |
| CN111890389A (zh) * | 2020-06-22 | 2020-11-06 | 东南大学 | 基于多模态交互接口的多移动机器人协同控制系统 |
| CN112051780A (zh) * | 2020-09-16 | 2020-12-08 | 北京理工大学 | 一种基于脑机接口的移动机器人编队控制系统及方法 |
| CN112148011A (zh) * | 2020-09-24 | 2020-12-29 | 东南大学 | 一种未知环境下脑电移动机器人共享控制方法 |
Non-Patent Citations (3)
| Title |
|---|
| XIE XINZHOU: "Design of a video feedback SSVEP-BCI system for car control based on improved MUSIC method", 《2018 6TH INTERNATIONAL CONFERENCE ON BRAIN-COMPUTER INTERFACE (BCI)》 * |
| 孟丽霞等: "基于脑机接口与双激光雷达的移动车导航系统", 《机器人》 * |
| 谢松华: "基于意识任务的机器人脑控系统", 《西北工业大学学报》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113311823B (zh) | 2023-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108197580B (zh) | 一种基于3d卷积神经网络的手势识别方法 | |
| CN111890389B (zh) | 基于多模态交互接口的多移动机器人协同控制系统 | |
| CN112051780B (zh) | 一种基于脑机接口的移动机器人编队控制系统及方法 | |
| CN109062398B (zh) | 一种基于虚拟现实与多模态人机接口的航天器交会对接方法 | |
| US20170095383A1 (en) | Intelligent wheel chair control method based on brain computer interface and automatic driving technology | |
| Yanco et al. | Preliminary investigation of a semi-autonomous robotic wheelchair directed through electrodes | |
| Arrichiello et al. | Assistive robot operated via P300-based brain computer interface | |
| Zhao et al. | Brain–machine interfacing-based teleoperation of multiple coordinated mobile robots | |
| Kim et al. | Design of a robotic wheelchair with a motor imagery based brain-computer interface | |
| Konda et al. | Real time interaction with mobile robots using hand gestures | |
| CN111487988B (zh) | 基于稳态视觉诱发电位脑-机接口的脑控无人机方法 | |
| CN110956701A (zh) | 生活辅助系统及生活辅助方法 | |
| Menshchikov et al. | Data-driven body-machine interface for drone intuitive control through voice and gestures | |
| CN113311823B (zh) | 一种结合脑机接口技术及orb_slam导航的移动机器人控制新方法 | |
| Deng et al. | A VR-based BCI interactive system for UAV swarm control | |
| Peng et al. | An indoor navigation service robot system based on vibration tactile feedback | |
| Xu et al. | Continuous shared control of a mobile robot with brain–computer interface and autonomous navigation for daily assistance | |
| CN108415250A (zh) | 一种防止老年人摔倒的人机协同控制系统及其控制方法 | |
| Kim et al. | A Literature Review on the Smart Wheelchair Systems | |
| Carlson et al. | Collaborative control in human wheelchair interaction reduces the need for dexterity in precise manoeuvres | |
| Rascanu et al. | Electric wheelchair control for people with locomotor disabilities using eye movements | |
| CN110695990A (zh) | 一种基于Kinect手势识别的机械臂控制系统 | |
| Wu et al. | A Multiple Command UAV Control System Based on a Hybrid Brain-Computer Interface | |
| Huo et al. | A BCI-Based Motion Control System for Heterogeneous Robot Swarm | |
| CN214623414U (zh) | 一种水面无人艇远程控制平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |