CN109366508A - 一种基于bci的高级机械臂控制系统及其实现方法 - Google Patents
一种基于bci的高级机械臂控制系统及其实现方法 Download PDFInfo
- Publication number
- CN109366508A CN109366508A CN201811121001.6A CN201811121001A CN109366508A CN 109366508 A CN109366508 A CN 109366508A CN 201811121001 A CN201811121001 A CN 201811121001A CN 109366508 A CN109366508 A CN 109366508A
- Authority
- CN
- China
- Prior art keywords
- subsystem
- brain
- arm
- computer interface
- bci
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明涉及一种基于BCI的高级机械臂控制系统及其实现方法，该系统包括机器视觉子系统、脑‑机接口子系统和机械臂子系统；脑‑机接口子系统和机器视觉子系统通过TCP/IP与机械臂子系统进行通信，机器视觉子系统通过照相方式识别和定位目标物件的坐标，脑‑机接口子系统采集稳态视觉诱发电位产生的头皮脑电信号并对其进行实时分析、特征提取、在线解码人的控制意图并生成计算机可识别的控制命令，机器臂子系统根据控制命令进行操作。本发明设计合理，能够在线解码人的控制意图生成计算机可识别的控制信号并控制机械臂进行操作，实现精准的多目标化的控制功能，具有安全、高效可靠的特点。
Description
技术领域
本发明属于智能机器人技术领域，尤其是一种基于BCI的高级机械臂控制系统及其实现方法。
背景技术
有很多残疾人虽然四肢完全瘫痪，无法满足正常日常生活需求，但是，这些人群的大脑和整个神经网络依然可以正常工作。为了实现这一类人能够有正常生活的诉求，同时缓解社会的经济压力和护理工作量，融合了现代各种高新技术可极大地缓解窘迫的现状。科研人员也越来越多的将其他技术应用到脑科学研究，特别是关于脑机接口设备的研发和应用。机器人可以在一定环境下解决护理问题，同时满足患者的生活需求，并能帮助提升其信心，具有巨大的社会价值。
与当前主流的通过按钮和声控或者其他控制策略来控制机器人的方式不同，基于BCI的高级机械臂控制系统是非侵入式系统，脑机接口是一种从人头皮采集脑电信号并分析，是一种更为方便、安全和有效的控制方式，再加之高性价比，越来越受到研发人员和市场的欢迎。脑科学研究有多种检测脑活动的方式，其中基于稳态视觉诱发电位的脑-机接口可以很好地应用于人体，是患者能够会更加舒适、有效的体验日常生活。
基于BCI(脑-机接口)的机器人控制系统已经被广泛应用于机器人、轮椅等各种现代自控领域中。通过采集脑电信号并分析，控制外部设备实现一定的目的，可以使四肢运动受损者实现正常的生活。中国专利文献“腰部可穿戴功能辅助机器臂”(专利申请号201510130861.6)提供了一种腰部可穿戴功能辅助机器臂，用来辅助帮助正常人和老年人的作业，减少劳动强度。中国专利文献“用眼动信号控制上假肢运动的控制系统和控制方法”(专利申请号201110215580.2)设计了一套基于眼动信号控制上假肢运动的控制系统。中国专利文献“一种假手柔顺抓取操作的串行多模态脑控方法”(专利申请号201510988443.0)设计了一种假手柔顺抓取物体的方法，受试通过视觉刺激识别要实现的动作，在此基础上通过采集4种面部表情所产生的脑电信号，处理后产生控制上肢机器臂的控制指令进而控制假手完成4种既定的动作。但是，上述专利普遍存在安全性差、控制方式不灵活且操作复杂等问题。
发明内容
本发明的目的在于克服现有技术的不足，提出一种设计合理、安全可靠且控制方式灵活方便的基于BCI的高级机械臂控制系统及其实现方法。
本发明解决其技术问题是采取以下技术方案实现的：
一种基于BCI的高级机械臂控制系统，包括机器视觉子系统、脑-机接口子系统和机械臂子系统；所述脑-机接口子系统和机器视觉子系统通过TCP/IP与机械臂子系统进行通信，所述机器视觉子系统通过照相方式识别和定位目标物件的坐标，所述脑-机接口子系统采集稳态视觉诱发电位产生的头皮脑电信号并对其进行实时分析、特征提取、在线解码人的控制意图并生成计算机可识别的控制命令，所述机器臂子系统根据控制命令进行操作。
所述脑-机接口子系统采用高频SSVEP-BCI子系统，该子系统包括计算机主机、计算机显示器和脑电信号获取模块，该计算机主机与脑电信号获取模块、计算机显示器相连；所述计算机主机中内置有脑电信号处理模块和视觉刺激模块，视觉刺激模块产生刺激界面并通过计算机显示器呈现出来进行视觉刺激；脑电信号获取模块安装在电极帽上并通过电极与使用者大脑皮层相连用于采集脑电信号，脑电信号获取模块采集的脑电信号被送入到脑电信号处理模块进行相应的信号处理并形成控制命令。
所述电极为9个，其分布符合国际10-20系统，参考电极为头顶，接地电极位于FPz和Fz连线的中点，所有电极阻抗低于10kΩ。
所述脑电信号获取模块采用便携式脑电放大器，其数据采样率为1000Hz，并进行在线50Hz工频陷波。
所述机器臂子系统包括机械臂和机器人控制器，该机器人控制器与脑-机接口子系统和机器视觉子系统相连接并接收机器人控制命令，所述机器人控制器与机械臂相连接实现对机械臂的控制功能，机械臂将动作信息反馈给脑-机接口子系统，所述机械臂固定在一台安装有滚轮的光学平台上。
所述机器视觉子系统包括照相机和安装在计算机主机内的机器视觉图像处理模块，照相机对目标物件进行拍照并将数据传送给机器视觉图像处理模块，该视觉图像处理模块通过图像预处理、图像分割、特征提取和物体识别实现目标物件的定位功能。
一种基于BCI的高级机械臂控制系统的实现方法，包括以下步骤：
步骤1、将机器视觉子系统、脑-机接口子系统和机械臂子系统连接在一起；
步骤2、脑-机接口子系统将刺激界面投射到计算机显示屏上，刺激界面包括命令和相对应的刺激频率；
步骤3、机器视觉子系统对目标物件拍照并识别和定位目标物件的坐标；
步骤4、使用者集中注意力观察计算机显示器上的以特定频率闪烁的目标块一段时间，大脑皮层所诱发出的脑电信号经过脑电信号获取模块采集，并通过脑电信号处理模块对其进行特征提取并解码使用者的意图，然后通过机器视觉子系统定位，将使用者的意图与机器臂的控制命令一一映射起来，进而完成对机器臂的控制；
步骤5、机器臂子系统根据使用者注意力的集中程度做出相应的反馈，同时机械臂拾取相应目标对象并将其放置在所需位置；
步骤6、返回步骤4并重复执行，进行下一次目标块识别任务，选择新的目标进行抓取。
所述刺激界面包含4个命令，呈现2×2排列，从左往右，第一行为矩形和圆形，第二行为三角和返回，前三个命令分别用于机械臂操作相应的物体，剩下的命令允许用户撤销上一次操作；四个命令对应的刺激频率分别为30、31、32、33Hz。
所述步骤3的具体实现包括以下处理过程：图像采集处理、图像灰度处理、中值滤波处理、二值化处理、消除小物体处理、图像分割处理以及检测物体边界并定位。
所述步骤4的具体处理过程如下：
⑴脑-机接口子系统对采集到的脑电信号进行降采样处理，降采样频率为250Hz；
⑵脑-机接口子系统对采集到的脑电信号进行线性趋势的滤出,并在此基础上进行50Hz的工频率波；
⑶脑-机接口子系统对SSVEPs的振幅谱和信噪比进行了分析；
(4)脑-机接口子系统采用过滤库规范相关分析，对4类高频ssvep进行分类，采用以下加权相关系数作为目标识别的特征：
其中n是子带的指数，子带分量的权重定义如下：
w(n)＝n-a+b，n∈[1 N]
其中a和b是最大化分类性能的常数，参考信号的频率与最大被认为是ssvep的频率；
(5)脑-机接口子系统选择特征值最大时所对应的刺激频率的图片为使用者所注视的目标；
(6)脑-机接口子系统根据检测出的目标进行相应的视觉反馈提示，将相应的目标块用红色的方框框起来，同时将反馈结果传输给机器视觉子系统定位目标，并通过TCP/IP与机械臂子系统进行通信，实现操作功能。
本发明的优点和积极效果是：
1、本发明的控制系统将机器视觉、脑-机接口和机械臂有机地结合在一起，通过机器视觉识别和定位目标物件的坐标，通过脑-机接口采集稳态视觉诱发电位产生的头皮脑电信号并对其进行实时分析、特征提取，从而在线解码人的控制意图生成计算机可识别的控制信号并控制机械臂进行操作，实现精准的多目标化的控制功能，具有安全、高效可靠的特点。
2、本发明的视觉诱发电位脑-机接口的刺激频率在30Hz左右，频率比较高，能够提升使用者的舒适度。
3、本发明所构建的稳态视觉诱发电位脑-机接口不需要训练就可以帮助使用者进行实时的操作控制，节省培训所需要的时间。
4、本发明可实现精准的多目标化的控制，从而衍生更多的控制模式，其控制方式灵活，满足不同的用户需要。
5、本发明在使用时，使用者可以用眼睛选择某一具体的物体，只需要选择目标，机器人就可以帮助患者实现对应物体的抓取和放置，操作简单。
附图说明
图1为本发明的系统连接示意图；
图2a是人机交互界面所显示的命令状态示意图；
图2b是人机交互界面所显示的频率状态示意图；
图3是机器视觉子系统的图像处理算法流程图；
图4是脑-机接口子系统控制命令生成过程示意图。
具体实施方式
以下结合附图对本发明实施例做进一步详述。
一种基于BCI的高级机械臂控制系统，如图1所示，包括机器视觉子系统、脑-机接口子系统和机械臂子系统。所述机器视觉子系统用于识别和定位目标物件的坐标。所述脑-机接口子系统采集稳态视觉诱发电位产生的头皮脑电信号并对其进行实时分析、特征提取，从而在线解码人的控制意图生成计算机可识别的控制信号。所述机器臂子系统能够根据使用者要求移动到相应的位置并在物理约束范围内实现空间内任意物体的抓取。脑-机接口子系统和机器视觉子系统通过TCP/IP与机械臂子系统进行通信，传输控制命令，使机械臂子系统实现人的意图。下面对三个子系统分别进行说明：
所述脑-机接口子系统采用高频SSVEP-BCI子系统(高频稳态视觉诱发电位脑-机接口子系统)，该子系统包括计算机主机、计算机显示器和脑电信号获取模块，该计算机主机与脑电信号获取模块、计算机显示器相连。所述计算机主机中内置有脑电信号处理模块和视觉刺激模块，计算机主机内的视觉刺激模块产生刺激界面并通过计算机显示器呈现出来进行视觉刺激；脑电信号获取模块安装在电极帽上并通过电极与使用者大脑皮层相连用于采集脑电信号，脑电信号获取模块采集的脑电信号被送入到脑电信号处理模块进行相应的信号处理，最后将识别结果输入机械臂子系统。
在本实施例中，计算机主机采用戴尔工作站，计算机显示器采用华硕27英寸、刷新频率120Hz、分辨率1920×1080显示器。所述脑电信号获取模块采用博睿康公司的便携式脑电放大器，采样率为1000Hz，并在此基础上进行50Hz陷波。便携式脑电放大器只记录顶枕区9个电极(Pz、PO5、PO3、POz、PO4、PO6、O1、Oz、O2)，电极分布符合国际10-20系统，参考电极为头顶，接地电极位于FPz和Fz连线的中点，所有电极阻抗低于10kΩ。
计算机主机内的视觉刺激模块采用Matlab的Psychtoolbox工具包编写，其利用采样正弦编码方法在计算机显示器上实现所需的闪烁频率，并将刺激界面投射到刺激屏幕上。计算机显示器上的用户界面包含4个命令，呈现2×2排列(如图2a所示)，前三个命令分别用于机械臂操作相应的物体，剩下的命令允许用户撤销上一次操作。四个命令对应的刺激频率分别为30、31、32、33Hz(如图2b所示)。计算机主机内的脑电信号处理模块能够对脑电信号特征进行提取并获得特征的最大值所对应的刺激频率的图片为使用者所注视的目标，形成控制命令并传输给机械臂子系统。在本实施例中，脑-机接口子系统和机器视觉子系统运行于同一台计算机上，并通过TCP/IP与机械臂子系统连接在一起，实现实时的信息交互功能。
所述机器视觉子系统包括照相机和机器视觉图像处理模块，照相机对目标物件进行拍照并将数据传送给机器视觉图像处理模块，该视觉图像处理模块安装在计算机主机内，通过图像预处理、图像分割、特征提取和物体识别，实现目标物件的识别功能。
机器臂子系统包括机械臂和机器人控制器，所述机器人控制器与脑-机接口子系统和机器视觉子系统相连接并接收机器人控制命令，该控制命令与机器臂的动作命令一一映射。所述机器人控制器与机械臂相连接实现对机械臂的控制功能，机械臂将动作信息反馈给脑-机接口子系统。所述机械臂固定在一台安装有滚轮的光学平台上，能够根据使用者要求移动到相应的位置。
基于BCI的高级机械臂控制系统的实现方法，包括以下步骤：
步骤1、将机器视觉子系统、脑-机接口子系统和机械臂子系统连接在一起，并将脑电测量电极安放在使用者顶枕区，电极分布符合国际10-20系统，在头顶处安放参考电极，在Fpz和Fz连线的中点处安放接地电极。
步骤2、脑-机接口子系统将刺激界面投射到刺激屏幕上。刺激界面包含4个命令，呈现2×2排列，从左往右，第一行为矩形和圆形，第二行为三角和返回。前三个命令分别用于机械臂操作相应的物体，剩下的命令允许用户撤销上一次操作。四个命令对应的刺激频率分别为30、31、32、33Hz。
步骤3、机器视觉子系统对目标物件拍照并识别和定位目标物件的坐标。处理
本步骤的具体实现方法如图3所示，包括图像采集处理、图像灰度处理、中值滤波处理、二值化处理、消除小物体处理、图像分割处理以及检测物体边界并定位，最终实现识别和定位目标物件的坐标功能。
步骤4、使用者集中注意力观察计算机显示器上的以特定频率闪烁的目标块一段时间，大脑皮层所诱发出的脑电信号经过脑电信号获取模块采集，并通过脑电信号处理模块对其进行特征提取并解码使用者的意图，然后通过机器视觉子系统定位，将使用者的意图与机器臂的控制命令一一映射起来，进而完成对机器臂的控制。
本步骤的具体实现方法为：
步骤41、脑-机接口子系统对采集到的脑电信号进行降采样处理，降采样频率为250Hz；
步骤42、脑-机接口子系统对采集到的脑电信号进行线性趋势的滤出，并在此基础上进行50Hz的工频率波；
步骤43、脑-机接口子系统对SSVEPs的振幅谱和信噪比进行了分析；
步骤44、脑-机接口子系统采用过滤库规范相关分析(Filter bank canonicalcorrelation analysis，FBCCA)，FBCCA方法对4类高频ssvep进行分类。其具体处理方法如图所示，采用以下加权相关系数作为目标识别的特征：
其中n是子带的指数。子带分量的权重定义如下：
w(n)＝n-a+b，n∈[1 N] (2)
其中a和b是最大化分类性能的常数。参考信号的频率与最大被认为是ssvep的频率。
步骤45、脑-机接口子系统选择特征值最大时所对应的刺激频率的图片为使用者所注视的目标。
步骤46、脑-机接口子系统根据检测出的目标进行相应的视觉反馈提示，将相应的目标块用红色的方框框起来，同时将反馈结果传输给机器视觉子系统定位目标，并通过TCP/IP与机械臂子系统进行通信，实现抓取目标。
步骤5、机器臂子系统根据使用者注意力的集中程度做出相应的反馈，同时机械臂拾取相应目标对象并将其放置在所需位置。
步骤6、返回步骤4并重复执行，进行下一次目标块识别任务，选择新的目标进行抓取。
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。
Claims (10)
1.一种基于BCI的高级机械臂控制系统，其特征在于：包括机器视觉子系统、脑-机接口子系统和机械臂子系统；所述脑-机接口子系统和机器视觉子系统通过TCP/IP与机械臂子系统进行通信，所述机器视觉子系统通过照相方式识别和定位目标物件的坐标，所述脑-机接口子系统采集稳态视觉诱发电位产生的头皮脑电信号并对其进行实时分析、特征提取、在线解码人的控制意图并生成计算机可识别的控制命令，所述机器臂子系统根据控制命令进行操作。
2.根据权利要求1所述的基于BCI的高级机械臂控制系统，其特征在于：所述脑-机接口子系统采用高频SSVEP-BCI子系统，该子系统包括计算机主机、计算机显示器和脑电信号获取模块，该计算机主机与脑电信号获取模块、计算机显示器相连；所述计算机主机中内置有脑电信号处理模块和视觉刺激模块，视觉刺激模块产生刺激界面并通过计算机显示器呈现出来进行视觉刺激；脑电信号获取模块安装在电极帽上并通过电极与使用者大脑皮层相连用于采集脑电信号，脑电信号获取模块采集的脑电信号被送入到脑电信号处理模块进行相应的信号处理并形成控制命令。
3.根据权利要求1所述的基于BCI的高级机械臂控制系统，其特征在于：所述电极为9个，其分布符合国际10-20系统，参考电极为头顶，接地电极位于FPz和Fz连线的中点，所有电极阻抗低于10kΩ。
4.根据权利要求2所述的基于BCI的高级机械臂控制系统，其特征在于：所述脑电信号获取模块采用便携式脑电放大器，其数据采样率为1000Hz，并进行在线50Hz工频陷波。
5.根据权利要求1所述的基于BCI的高级机械臂控制系统，其特征在于：所述机器臂子系统包括机械臂和机器人控制器，该机器人控制器与脑-机接口子系统和机器视觉子系统相连接并接收机器人控制命令，所述机器人控制器与机械臂相连接实现对机械臂的控制功能，机械臂将动作信息反馈给脑-机接口子系统，所述机械臂固定在一台安装有滚轮的光学平台上。
6.根据权利要求1所述的基于BCI的高级机械臂控制系统，其特征在于：所述机器视觉子系统包括照相机和安装在计算机主机内的机器视觉图像处理模块，照相机对目标物件进行拍照并将数据传送给机器视觉图像处理模块，该视觉图像处理模块通过图像预处理、图像分割、特征提取和物体识别实现目标物件的定位功能。
7.一种根据权利要求1至6任一项所述基于BCI的高级机械臂控制系统的实现方法，其特征在于包括以下步骤：
步骤1、将机器视觉子系统、脑-机接口子系统和机械臂子系统连接在一起；
步骤2、脑-机接口子系统将刺激界面投射到计算机显示屏上，刺激界面包括命令和相对应的刺激频率；
步骤3、机器视觉子系统对目标物件拍照并识别和定位目标物件的坐标；
步骤4、使用者集中注意力观察计算机显示器上的以特定频率闪烁的目标块一段时间，大脑皮层所诱发出的脑电信号经过脑电信号获取模块采集，并通过脑电信号处理模块对其进行特征提取并解码使用者的意图，然后通过机器视觉子系统定位，将使用者的意图与机器臂的控制命令一一映射起来，进而完成对机器臂的控制；
步骤5、机器臂子系统根据使用者注意力的集中程度做出相应的反馈，同时机械臂拾取相应目标对象并将其放置在所需位置；
步骤6、返回步骤4并重复执行，进行下一次目标块识别任务，选择新的目标进行抓取。
8.根据权利要求7所述的基于BCI的高级机械臂控制系统的实现方法，其特征在于：所述刺激界面包含4个命令，呈现2×2排列，从左往右，第一行为矩形和圆形，第二行为三角和返回，前三个命令分别用于机械臂操作相应的物体，剩下的命令允许用户撤销上一次操作；四个命令对应的刺激频率分别为30、31、32、33Hz。
9.根据权利要求7所述的基于BCI的高级机械臂控制系统的实现方法，其特征在于：所述步骤3的具体实现包括以下处理过程：图像采集处理、图像灰度处理、中值滤波处理、二值化处理、消除小物体处理、图像分割处理以及检测物体边界并定位。
10.根据权利要求7所述的基于BCI的高级机械臂控制系统的实现方法，其特征在于：所述步骤4的具体处理过程如下：
⑴脑-机接口子系统对采集到的脑电信号进行降采样处理，降采样频率为250Hz；
⑵脑-机接口子系统对采集到的脑电信号进行线性趋势的滤出,并在此基础上进行50Hz的工频率波；
⑶脑-机接口子系统对SSVEPs的振幅谱和信噪比进行了分析；
⑷脑-机接口子系统采用过滤库规范相关分析,对4类高频ssvep进行分类，采用以下加权相关系数作为目标识别的特征:
其中n是子带的指数，子带分量的权重定义如下:
w(n)＝n-a+b，n∈[1 N]
其中a和b是最大化分类性能的常数，参考信号的频率与最大被认为是ssvep的频率；
⑸脑-机接口子系统选择特征值最大时所对应的刺激频率的图片为使用者所注视的目标；
⑹脑-机接口子系统根据检测出的目标进行相应的视觉反馈提示，将相应的目标块用红色的方框框起来，同时将反馈结果传输给机器视觉子系统定位目标，并通过TCP/IP与机械臂子系统进行通信，实现操作功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811121001.6A CN109366508A (zh) | 2018-09-25 | 2018-09-25 | 一种基于bci的高级机械臂控制系统及其实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811121001.6A CN109366508A (zh) | 2018-09-25 | 2018-09-25 | 一种基于bci的高级机械臂控制系统及其实现方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109366508A true CN109366508A (zh) | 2019-02-22 |
Family
ID=65401886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811121001.6A Pending CN109366508A (zh) | 2018-09-25 | 2018-09-25 | 一种基于bci的高级机械臂控制系统及其实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109366508A (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110134243A (zh) * | 2019-05-20 | 2019-08-16 | 中国医学科学院生物医学工程研究所 | 一种基于增强现实的脑控机械臂共享控制系统及其方法 |
| US20190387995A1 (en) * | 2016-12-20 | 2019-12-26 | South China University Of Technology | Brain-Computer Interface Based Robotic Arm Self-Assisting System and Method |
| CN110840666A (zh) * | 2019-11-19 | 2020-02-28 | 华南理工大学 | 一种基于眼电和机器视觉的轮椅机械臂集成系统及其控制方法 |
| CN111399652A (zh) * | 2020-03-20 | 2020-07-10 | 南开大学 | 基于分层ssvep与视觉辅助的多机器人混合系统 |
| CN111571619A (zh) * | 2020-04-17 | 2020-08-25 | 上海大学 | 一种基于ssvep脑控机械臂抓取的生活辅助系统与方法 |
| CN111571587A (zh) * | 2020-05-13 | 2020-08-25 | 南京邮电大学 | 一种脑控机械臂助餐系统及方法 |
| CN111660312A (zh) * | 2020-06-19 | 2020-09-15 | 哈尔滨理工大学 | 一种基于面部表情驱动的机械臂系统 |
| CN112207816A (zh) * | 2020-08-25 | 2021-01-12 | 天津大学 | 基于视图编解码的脑控机械臂系统和控制方法 |
| CN112223288A (zh) * | 2020-10-09 | 2021-01-15 | 南开大学 | 一种视觉融合的服务机器人控制方法 |
| CN112783314A (zh) * | 2019-11-07 | 2021-05-11 | 中国科学院上海高等研究院 | 基于ssvep的脑机接口刺激范式生成、检测方法、系统、介质、终端 |
| CN113146618A (zh) * | 2021-03-16 | 2021-07-23 | 深兰科技（上海）有限公司 | 机械臂的控制方法、系统、电子设备及存储介质 |
| CN113359991A (zh) * | 2021-06-10 | 2021-09-07 | 西安交通大学 | 一种面向残疾人的智能脑控机械臂辅助进食系统及方法 |
| CN113805694A (zh) * | 2021-08-26 | 2021-12-17 | 上海大学 | 一种基于脑机接口与计算机视觉的辅助抓取系统及方法 |
| CN114131635A (zh) * | 2021-12-08 | 2022-03-04 | 山东大学 | 融合视触觉主动感知的多自由度辅助抓握外肢体机器人系统 |
| CN114138108A (zh) * | 2021-10-19 | 2022-03-04 | 杭州回车电子科技有限公司 | 脑机交互装置、系统和方法 |
| CN114138107A (zh) * | 2021-10-19 | 2022-03-04 | 杭州回车电子科技有限公司 | 脑机交互装置、系统和方法 |
| CN114146283A (zh) * | 2021-08-26 | 2022-03-08 | 上海大学 | 一种基于目标检测和ssvep的注意力训练系统及方法 |
| CN114161414A (zh) * | 2021-12-03 | 2022-03-11 | 中国科学院沈阳自动化研究所 | 一种基于脑电和视觉的水下机械手控制系统及方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150045007A1 (en) * | 2014-01-30 | 2015-02-12 | Duane Matthew Cash | Mind-Controlled virtual assistant on a smartphone device |
| CN106491251A (zh) * | 2016-09-27 | 2017-03-15 | 中国医学科学院生物医学工程研究所 | 一种基于非侵入式脑机接口机器臂控制系统及其控制方法 |
| CN106671084A (zh) * | 2016-12-20 | 2017-05-17 | 华南理工大学 | 一种基于脑机接口的机械臂自主辅助系统及方法 |
| CN106726209A (zh) * | 2016-11-24 | 2017-05-31 | 中国医学科学院生物医学工程研究所 | 一种基于脑机接口与人工智能的智能轮椅控制方法 |
| CN106821628A (zh) * | 2017-04-12 | 2017-06-13 | 中国医学科学院生物医学工程研究所 | 一种基于高速ssvep智能轮椅的控制器系统及其控制方法 |
| CN106970712A (zh) * | 2017-05-02 | 2017-07-21 | 臧大维 | 一种多功能人脑计算机接口头盔 |
| CN108478189A (zh) * | 2018-03-06 | 2018-09-04 | 西安科技大学 | 一种基于脑电信号的人体外骨骼机械臂控制系统及方法 |
-
2018
- 2018-09-25 CN CN201811121001.6A patent/CN109366508A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150045007A1 (en) * | 2014-01-30 | 2015-02-12 | Duane Matthew Cash | Mind-Controlled virtual assistant on a smartphone device |
| CN106491251A (zh) * | 2016-09-27 | 2017-03-15 | 中国医学科学院生物医学工程研究所 | 一种基于非侵入式脑机接口机器臂控制系统及其控制方法 |
| CN106726209A (zh) * | 2016-11-24 | 2017-05-31 | 中国医学科学院生物医学工程研究所 | 一种基于脑机接口与人工智能的智能轮椅控制方法 |
| CN106671084A (zh) * | 2016-12-20 | 2017-05-17 | 华南理工大学 | 一种基于脑机接口的机械臂自主辅助系统及方法 |
| CN106821628A (zh) * | 2017-04-12 | 2017-06-13 | 中国医学科学院生物医学工程研究所 | 一种基于高速ssvep智能轮椅的控制器系统及其控制方法 |
| CN106970712A (zh) * | 2017-05-02 | 2017-07-21 | 臧大维 | 一种多功能人脑计算机接口头盔 |
| CN108478189A (zh) * | 2018-03-06 | 2018-09-04 | 西安科技大学 | 一种基于脑电信号的人体外骨骼机械臂控制系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陈小刚: "高速率稳态视觉诱发电位脑-机接口的关键技术研究", 《中国博士学位论文全文数据库（电子期刊）医药卫生科技辑》 * |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190387995A1 (en) * | 2016-12-20 | 2019-12-26 | South China University Of Technology | Brain-Computer Interface Based Robotic Arm Self-Assisting System and Method |
| US11602300B2 (en) * | 2016-12-20 | 2023-03-14 | South China University Of Technology | Brain-computer interface based robotic arm self-assisting system and method |
| CN110134243A (zh) * | 2019-05-20 | 2019-08-16 | 中国医学科学院生物医学工程研究所 | 一种基于增强现实的脑控机械臂共享控制系统及其方法 |
| CN112783314B (zh) * | 2019-11-07 | 2023-04-18 | 中国科学院上海高等研究院 | 基于ssvep的脑机接口刺激范式生成、检测方法、系统、介质、终端 |
| CN112783314A (zh) * | 2019-11-07 | 2021-05-11 | 中国科学院上海高等研究院 | 基于ssvep的脑机接口刺激范式生成、检测方法、系统、介质、终端 |
| CN110840666A (zh) * | 2019-11-19 | 2020-02-28 | 华南理工大学 | 一种基于眼电和机器视觉的轮椅机械臂集成系统及其控制方法 |
| CN110840666B (zh) * | 2019-11-19 | 2022-09-09 | 华南理工大学 | 一种基于眼电和机器视觉的轮椅机械臂集成系统及其控制方法 |
| CN111399652A (zh) * | 2020-03-20 | 2020-07-10 | 南开大学 | 基于分层ssvep与视觉辅助的多机器人混合系统 |
| CN111571619A (zh) * | 2020-04-17 | 2020-08-25 | 上海大学 | 一种基于ssvep脑控机械臂抓取的生活辅助系统与方法 |
| CN111571587A (zh) * | 2020-05-13 | 2020-08-25 | 南京邮电大学 | 一种脑控机械臂助餐系统及方法 |
| CN111571587B (zh) * | 2020-05-13 | 2023-02-24 | 南京邮电大学 | 一种脑控机械臂助餐系统及方法 |
| CN111660312A (zh) * | 2020-06-19 | 2020-09-15 | 哈尔滨理工大学 | 一种基于面部表情驱动的机械臂系统 |
| CN112207816A (zh) * | 2020-08-25 | 2021-01-12 | 天津大学 | 基于视图编解码的脑控机械臂系统和控制方法 |
| CN112223288B (zh) * | 2020-10-09 | 2021-09-14 | 南开大学 | 一种视觉融合的服务机器人控制方法 |
| CN112223288A (zh) * | 2020-10-09 | 2021-01-15 | 南开大学 | 一种视觉融合的服务机器人控制方法 |
| CN113146618B (zh) * | 2021-03-16 | 2022-07-01 | 深兰科技（上海）有限公司 | 机械臂的控制方法、系统、电子设备及存储介质 |
| CN113146618A (zh) * | 2021-03-16 | 2021-07-23 | 深兰科技（上海）有限公司 | 机械臂的控制方法、系统、电子设备及存储介质 |
| CN113359991A (zh) * | 2021-06-10 | 2021-09-07 | 西安交通大学 | 一种面向残疾人的智能脑控机械臂辅助进食系统及方法 |
| CN113359991B (zh) * | 2021-06-10 | 2023-08-04 | 西安交通大学 | 一种面向残疾人的智能脑控机械臂辅助进食系统及方法 |
| CN114146283A (zh) * | 2021-08-26 | 2022-03-08 | 上海大学 | 一种基于目标检测和ssvep的注意力训练系统及方法 |
| CN113805694A (zh) * | 2021-08-26 | 2021-12-17 | 上海大学 | 一种基于脑机接口与计算机视觉的辅助抓取系统及方法 |
| CN114138108A (zh) * | 2021-10-19 | 2022-03-04 | 杭州回车电子科技有限公司 | 脑机交互装置、系统和方法 |
| CN114138107A (zh) * | 2021-10-19 | 2022-03-04 | 杭州回车电子科技有限公司 | 脑机交互装置、系统和方法 |
| CN114161414A (zh) * | 2021-12-03 | 2022-03-11 | 中国科学院沈阳自动化研究所 | 一种基于脑电和视觉的水下机械手控制系统及方法 |
| CN114161414B (zh) * | 2021-12-03 | 2023-09-19 | 中国科学院沈阳自动化研究所 | 一种基于脑电和视觉的水下机械手控制系统及方法 |
| CN114131635A (zh) * | 2021-12-08 | 2022-03-04 | 山东大学 | 融合视触觉主动感知的多自由度辅助抓握外肢体机器人系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109366508A (zh) | 一种基于bci的高级机械臂控制系统及其实现方法 | |
| US11602300B2 (en) | Brain-computer interface based robotic arm self-assisting system and method | |
| CN107315478B (zh) | 一种运动想象上肢智能康复机器人系统及其训练方法 | |
| CN106726030B (zh) | 基于临床脑电信号控制机械手运动的脑机接口系统及其应用 | |
| CN107928980B (zh) | 一种偏瘫患者的手部自主康复训练系统及训练方法 | |
| CN113398422B (zh) | 基于运动想象-脑机接口和虚拟现实的康复训练系统及方法 | |
| CN110840666B (zh) | 一种基于眼电和机器视觉的轮椅机械臂集成系统及其控制方法 | |
| CN111110982A (zh) | 基于运动想象的手部康复训练方法 | |
| CN113274032A (zh) | 一种基于ssvep+mi脑机接口的脑卒中康复训练系统及方法 | |
| CN107957783A (zh) | 一种基于脑电与肌电信息的多模式智能控制系统及方法 | |
| CN108478189A (zh) | 一种基于脑电信号的人体外骨骼机械臂控制系统及方法 | |
| CN105147281A (zh) | 便携式意识障碍刺激促醒与评估系统 | |
| CN107212883B (zh) | 一种基于脑电控制的机械臂写字装置及控制方法 | |
| CN109276808A (zh) | 基于视频运动捕捉的多模态脑卒中上肢康复训练系统 | |
| CN106267557A (zh) | 一种基于小波变换和支持向量机辨识的脑控主动上肢医疗康复训练系统 | |
| CN106237510A (zh) | 一种脑控主动下肢医疗康复训练系统 | |
| CN106491251A (zh) | 一种基于非侵入式脑机接口机器臂控制系统及其控制方法 | |
| CN106109164A (zh) | 康复系统及康复系统的控制方法 | |
| CN113805694A (zh) | 一种基于脑机接口与计算机视觉的辅助抓取系统及方法 | |
| CN108681394A (zh) | 一种基于脑源成像技术的电极优选方法 | |
| CN113359991B (zh) | 一种面向残疾人的智能脑控机械臂辅助进食系统及方法 | |
| CN113101021B (zh) | 基于mi-ssvep混合式脑机接口的机械臂控制方法 | |
| CN113345546A (zh) | 一种基于稳态视觉诱发电位的手功能主动康复训练系统及方法 | |
| CN115154828A (zh) | 一种基于脑机接口技术的大脑功能重塑方法、系统、设备 | |
| Li et al. | A new directional intention identification approach for intelligent wheelchair based on fusion of EOG signal and eye movement signal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190222 |
|
| WD01 | Invention patent application deemed withdrawn after publication |