CN106491251B - 一种基于非侵入式脑机接口机器臂控制系统及其控制方法 - Google Patents

Abstract

本发明提出了一种基于非侵入式脑机接口机器臂控制系统及其控制方法，脑机接口子系统将通过电极帽采集到的脑电信号进行在线分析，特征提取从而解码人的控制意图，生成计算机指令输出。通讯子系统则实现了脑机子系统与机器臂子系统的软/硬件连接，负责将上位机的指令传输到机器臂子系统，并与机器臂的控制器实现实时通讯，从而控制机器臂完成抓取动作。本发明搭建了基于稳态视觉诱发电位脑‑机接口下的七自由度机器臂的控制系统。在机器臂物理约束范围内可实现空间任意一点，任意角度的精确定位及抓取任务。且系统在无需训练的条件下就可实现快速，鲁棒的控制，这就可以帮助运动功能受损的患者实现日常生活中的抓取任务，大大减少了陪护人员的劳动量。

Description

一种基于非侵入式脑机接口机器臂控制系统及其控制方法

技术领域

本发明涉及智能机器人技术领域，尤其是涉及一种基于非侵入式脑机接口机器臂控制系统及其控制方法。

背景技术

据统计，在我国约有6000万人患有不同程度的残疾，且患者的总量以及比率呈现逐年递增的趋势。其中有一部分人群虽然丧失了上肢运动功能，但他们的大脑以及神经通路还完整的保留下来。该人群不仅无法像正常人一样体验日常生活，而且在日常的护理过程中也会占用大量的资源。近年来，随着电子技术、通讯技术以及机器人技术的迅猛发展，科研人员越来越多的将研究的重点带入到基于脑-机接口控制外围设备的研究上来。这样就可以在很大程度上利用机器人高强度，高重复度的优势，从而减少康复人员的陪护时间、精力，解放很大一部分生产力，另一方面在一定程度上还可以帮助患者更好的融入日常生活，逐渐帮助他们重拾信心。

区别于现在主流的采用声音、按钮等传统媒介控制机器人的策略，脑-机接口可以为该患者人群提供一个更加方便，合理，可行的控制策略。其中一种基于头皮脑电的非侵入式脑-机接口以其安全，价格低廉，采集脑电信号方便等优点在脑机接口的控制研究方向上广受推崇。常见的监测大脑活动的方法有多种，其中基于稳态视觉诱发电位的脑-机接口又可以为患者提供一种自然，直观的控制界面。

基于脑-机接口的机器人控制系统已经被成功应用于移动机器人、机器臂、智能轮椅以及仿生机器人领域。其中机器臂的控制策略是针对患有严重上肢运动功能受损的患者设计的，而精密的多轴机器臂可以帮助患者完成一些强度大且重复度高的动作。理论上机器臂的自由度越高能完成的控制动作会越精细，但过多的自由度可能会造成控制策略的复杂化以及带来高额的成本。6轴机器臂理论上可以完成空间任意点，任意角度的定位，结合抓手以及不同形状的抓指可以实现不同大小、形状的物体的抓取。

中国专利文献“一种基于脑机接口的机器人系统及实现方法”(专利申请号201610028846.5)提出一种基于SSVEP脑-机接口控制轮式机器人8个方向的动作的控制策略及实现方法。中国专利文献“腰部可穿戴功能辅助机器臂”(专利申请号201510130861.6)提供了一种腰部可穿戴功能辅助机器臂，用来辅助帮助正常人和老年人的作业，减少劳动强度。中国专利文献“用眼动信号控制上假肢运动的控制系统和控制方法”(专利申请号201110215580.2)设计了一套基于眼动信号控制上假肢运动的控制系统。中国专利文献“一种假手柔顺抓取操作的串行多模态脑控方法”(专利申请号201510988443.0)设计了一种假手柔顺抓取物体的方法，受试通过视觉刺激识别要实现的动作，在此基础上通过采集4种面部表情所产生的脑电信号，处理后产生控制上肢机器臂的控制指令进而控制假手完成4种既定的动作。

发明内容

本发明的目的在于针对现有的脑-机接口控制上肢机器臂的实现方法中存在的不足，提出一种安全，可靠的控制六自由度机器臂实现多功能动作的实现方法。

本发明的一种技术方案是这样实现的：

一种基于非侵入式脑机接口机器臂控制系统，包括脑机接口子系统，通过将电极帽采集到的数据进行实时分析，特征提取，用于在线解码人的控制意图生成计算机可识别的控制指令；通讯子系统，将计算机可识别的控制指令发送到机器臂子系统，进而与机器臂子系统控制命令一一映射；机器臂子系统，包括一个六轴的垂直多关节机器臂和一个气动抓手。

作为一种优选的技术方案，所述脑机接口子系统包括计算机显示器、脑电信号采集模块和脑电信号处理模块，计算机显示器用于呈现视觉刺激，所述脑机接口子系统通过脑电信号采集模块记录来自于头皮的脑电信号，并将其输送至脑电信号处理模块进行相应的信号处理，最后将识别结果输入至通讯子系统。

作为一种优选的技术方案，所述电极帽的电极具体安放位置为：脑电测量电极分别安放在使用者的大脑顶枕区P3、Pz、P4、T5、PO3、PO4、T6、O1、Oz、O2位置，参考电极位于头顶，地电极位于Fpz和Fz连线的中点，电极阻抗低于10KΩ。

作为一种优选的技术方案，所述脑电信号采集模块采用Neuracle放大器，其数据采样率为250Hz，带通滤波1～100Hz，并进行在线50Hz陷波。

本发明的一种技术方案是这样实现的：

一种基于非侵入式脑机接口机器臂的控制方法，包括以下步骤：

步骤1、将脑机接口子系统、通讯子系统和机器臂子系统连接在一起，并将脑电测量电极安放在使用者顶枕区，电极分布符合国际10-20系统，在头顶处安放参考电极，在Fpz和Fz连线的中点处安放接地电极；

步骤2、将刺激界面投射到刺激屏幕上，刺激界面是一个3(行)×5(列)的目标块矩阵，主要分为3个部分：左半功能区目标块按笛卡尔坐标系建立分别代表X,Y,Z三个方向的步进；右上功能区目标块代表机器臂4,5,6轴的角度的步进；右下部分代表气动抓手的开/合以及复位功能。15个命令配合使用可以完成桌面上物体任意坐标，任意角度的抓放；

步骤3、使用者集中注意力观察以特定频率闪烁的目标块一段时间，大脑皮层所诱发出的脑电信号经过脑电信号采集模块获取，并通过脑电信号处理模块对其进行特征提取并解码使用者的意图，接下来通过通讯子系统将使用者的意图与机器臂的控制命令一一映射起来，进而完成对机器臂的控制；

步骤4、机器臂子系统的动作会根据使用者注意力的集中程度做出相应的反馈，使用者需要在刺激目标块闪烁间隔时间内观察抓手末端与被加持物体的空间位置，从而决策接下来要注视的目标块；

步骤5、返回步骤3并重复执行，进行下一次目标块识别任务，直到抓到物体为止。

作为一种优选的技术方案，所述的3(行)×5(列)的目标块矩阵闪烁频率按照从左到右，从上到下的顺序依次为：8Hz、9.5Hz、11Hz、12.5Hz、14Hz；8.5Hz、10Hz、11.5Hz、13Hz、14.5Hz；9Hz、10.5Hz、12Hz、13.5Hz、15Hz。

作为一种优选的技术方案，所述步骤3的具体实现方法包括以下步骤：

步骤(1)、脑机接口子系统对采集到的脑电信号进行降采样处理，降采样频率为250Hz；

步骤(2)、脑机接口子系统对采集到的脑电信号进行带通滤波，陷波处理，带通滤波1～100Hz,并在此基础上进行50Hz的陷波处理；

步骤(3)、脑机接口子系统分别计算上述各频带信号与各刺激频率对应的正弦-余弦参考信号的典型相关系数，并得到对应的最大相关系数；参考信号所用的谐波次数Nh＝5；

步骤(4)、脑机接口子系统将各刺激频率下各频带对应的最大相关系数的平方乘上相应的权重系数并进行相加求和作为目标识别的特征；各频带对应的权重系数w＝(n)-1.25+0.25，其中，n为频带的序号，n＝1，2，…；

步骤(5)、脑机接口子系统选择特征值最大时所对应的刺激频率的图片为使用者所注视的目标；

步骤(6)、脑机接口子系统根据检测出的目标进行相应的视觉反馈提示，将相应的目标块用红色的方框框起来，同时将分类结果翻译为机器臂子系统能识别的控制指令，通过通讯子系统将控制指令传输给机器臂子系统。

采用了上述技术方案，本发明的有益效果为：

1.本发明所构建的稳态视觉诱发电位脑-机接口不需要训练就可以帮助使用者进行实时的操作控制，节省培训所需要的时间。

2.本发明可实现精准的多目标化的控制，从而衍生更多的控制模式。

3.本发明有利于上肢运动功能缺失的人实现抓取，放置物体，帮助他们更好的体验生活。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的系统框图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

如图1所示，一种基于非侵入式脑-机接口机器臂控制系统包括脑-机接口子系统、通讯子系统以及机器臂子系统。其中，脑-机接口子系统通过将稳态视觉诱发电位产生的头皮脑电信号进行提取，特征识别，解码使用者的意图，产生控制信号；机器臂子系统集成了一台DENSO公司生产的6轴垂直多关节机器臂与一台气动抓手，在机器臂物理约束范围内配合自主设计的抓指可实现空间内任意物体的抓取，机器臂固定在一台安装有滚轮的光学平台上，易于根据使用者要求移动到相应的位置。通讯子系统则将上位机产生的控制命令实时的传输到机器臂控制器，并与机器臂的动作命令一一映射。接下来对3个子系统分别进行说明：

脑-机接口子系统包括计算机(戴尔工作站)、计算机显示器(华硕27英寸、刷新频率60Hz、分辨率1920×1080)和脑电信号采集模块，计算机与脑电信号采集模块、计算机显示器相连，脑电信号采集模块通过电极与使用者大脑皮层相连。该系统所用电极共10个分别为：P3、Pz、P4、T5、PO3、PO4、T6、O1、Oz、O2。电极分布符合国际10-20系统，参考电极位于头顶，地电极位于Fpz和Fz连线的中点，电极阻抗低于10KΩ。所述脑电信号采集模块采用Neuracle公司生产的可穿戴无线脑电系统，采样率为250Hz，带通滤波1～100Hz，并在此基础上进行50Hz陷波。

计算机是一台装有Matlab的Psychtoolbox工具包编写的刺激程序，其利用采样正弦编码方法在计算机显示器上实现所需的闪烁频率。刺激界面由3×5的目标块矩阵组成，各目标块以不同的刺激频率闪烁。整个刺激界面由3大功能区域组成，位于左半部分刺激界面是根据笛卡尔坐标系建立的目标块分别代表了X、Y、Z三个方向的步进；右上部分代表了4、5、6轴的步进正/反转；右下部分的3个目标块分别代表了气动抓手的开/合以及复位功能。各目标块内分别标有醒目的表示机器臂动作功能的简易符号，方便操作者的控制。3×5的目标块矩阵的闪烁频率按从左到右，从上到下的顺序依次为：8Hz、9.5Hz、11Hz、12.5Hz、14Hz；8.5Hz、10Hz、11.5Hz、13Hz、14.5Hz；9Hz、10.5Hz、12Hz、13.5Hz、15Hz。所述计算机内安装有脑电信号特征提取与转换程序，能够对脑电信号特征进行提取并获得特征的最大值所对应的刺激频率的图片为使用者所注视的目标，形成控制命令并传输给机器人子系统。

通讯子系统采用了TCP/IP通讯协议，将脑-机接口子系统和机器人子系统连接在一起，实现实时的信息交互功能。

机器臂子系统集成了一台DENSO公司生产的6轴垂直多关节机器臂与一台气动抓手，在机器臂物理约束范围内配合自主设计的抓指可实现空间内任意物体的抓取，机器臂固定在一台安装有滚轮的光学平台上，易于根据使用者要求移动到相应的位置。通讯子系统则将上位机产生的控制命令实时的传输到机器臂控制器，并与机器臂的动作命令一一映射。

实施例二

一种基于非侵入式脑-机接口机器臂控制系统的实现方法，包括以下步骤：

步骤1、将脑-机接口子系统、通讯子系统和机器臂子系统连接在一起，并将脑电测量电极安放在使用者顶枕区，电极分布符合国际10-20系统，在头顶处安放参考电极，在Fpz和Fz连线的中点处安放接地电极。

步骤2、将刺激界面投射到刺激屏幕上。刺激界面是一个3(行)×5(列)的目标块矩阵，主要分为3个部分：左半功能区目标块按笛卡尔坐标系建立分别代表X,Y,Z三个方向的步进；右上功能区目标块代表机器臂4,5,6轴的角度的步进；右下部分代表气动抓手的开/合以及复位功能。15个命令配合使用可以完成桌面上物体任意坐标，任意角度的抓放；所述的3(行)×5(列)的目标块矩阵闪烁频率按照从左到右，从上到下的顺序依次为：8Hz、9.5Hz、11Hz、12.5Hz、14Hz；8.5Hz、10Hz、11.5Hz、13Hz、14.5Hz；9Hz、10.5Hz、12Hz、13.5Hz、15Hz。

步骤3、使用者集中注意力观察以特定频率闪烁的目标块一段时间，大脑皮层所诱发出的脑电信号经过脑电信号采集模块获取，并通过脑电信号处理模块对其进行特征提取并解码使用者的意图，接下来通过通讯子系统将使用者的意图与机器臂的控制命令一一映射起来，进而完成对机器臂的控制。

步骤4、机器臂子系统的动作会根据使用者注意力的集中程度做出相应的反馈，使用者需要在刺激目标块闪烁间隔时间内观察抓手末端与被加持物体的空间位置，从而决策接下来要注视的目标块。

步骤5、返回步骤3并重复执行，进行下一次目标块识别任务，直到抓到物体为止。

其中，步骤3的具体实现方法包括以下步骤：

步骤(1)、脑-机接口子系统对采集到的脑电信号进行降采样处理，降采样频率为250Hz；

步骤(2)、脑-机接口子系统对采集到的脑电信号进行带通滤波，陷波处理，带通滤波1～100Hz,并在此基础上进行50Hz的陷波处理；

步骤(3)、脑-机接口子系统分别计算上述各频带信号与各刺激频率对应的正弦-余弦参考信号的典型相关系数，并得到对应的最大相关系数；参考信号所用的谐波次数Nh＝5；

步骤(4)、脑-机接口子系统将各刺激频率下各频带对应的最大相关系数的平方乘上相应的权重系数并进行相加求和作为目标识别的特征；各频带对应的权重系数w＝(n)-1.25+0.25，其中，n为频带的序号，n＝1，2，…；

步骤(5)、脑-机接口子系统选择特征值最大时所对应的刺激频率的图片为使用者所注视的目标；

步骤(6)、脑-机接口子系统根据检测出的目标进行相应的视觉反馈提示，将相应的目标块用红色的方框框起来，同时将分类结果翻译为机器臂子系统能识别的控制指令，通过通讯子系统将控制指令传输给机器臂子系统。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于非侵入式脑机接口机器臂控制系统，其特征在于,包括：

脑机接口子系统，通过将电极帽采集到的数据进行实时分析，特征提取，用于在线解码人的控制意图生成计算机可识别的控制指令；

通讯子系统，将计算机可识别的控制指令发送到机器臂子系统，进而与机器臂子系统控制命令一一映射；

机器臂子系统，包括一个六轴的垂直多关节机器臂和一个气动抓手；

所述脑机接口子系统包括计算机显示器、脑电信号采集模块和脑电信号处理模块，计算机显示器用于呈现视觉刺激，所述脑机接口子系统通过脑电信号采集模块记录来自于头皮的脑电信号，并将其输送至脑电信号处理模块进行相应的信号处理，最后将识别结果输入至通讯子系统；

所述电极帽的电极具体安放位置为：脑电测量电极分别安放在使用者的大脑顶枕区P3、Pz、P4、T5、PO3、PO4、T6、O1、Oz、O2位置，参考电极位于头顶，地电极位于Fpz和Fz连线的中点，电极阻抗低于10KΩ；

脑电信号采集模块采用Neuracle放大器，其数据采样率为250Hz，带通滤波1～100Hz，并进行在线50Hz陷波；

一种基于非侵入式脑机接口机器臂控制系统的控制方法，包括以下步骤：

步骤1、将脑机接口子系统、通讯子系统和机器臂子系统连接在一起，并将脑电测量电极安放在使用者顶枕区，电极分布符合国际10-20系统，在头顶处安放参考电极，在Fpz和Fz连线的中点处安放接地电极；

步骤2、将刺激界面投射到刺激屏幕上，刺激界面是一个3(行)×5(列)的目标块矩阵，主要分为3个部分：左半功能区目标块按笛卡尔坐标系建立分别代表X,Y,Z三个方向的步进；右上功能区目标块代表机器臂4,5,6轴的角度的步进；右下部分代表气动抓手的开/合以及复位功能。15个命令配合使用可以完成桌面上物体任意坐标，任意角度的抓放；

步骤3、使用者集中注意力观察以特定频率闪烁的目标块一段时间，大脑皮层所诱发出的脑电信号经过脑电信号采集模块获取，并通过脑电信号处理模块对其进行特征提取并解码使用者的意图，接下来通过通讯子系统将使用者的意图与机器臂的控制命令一一映射起来，进而完成对机器臂的控制；

步骤4、机器臂子系统的动作会根据使用者注意力的集中程度做出相应的反馈，使用者需要在刺激目标块闪烁间隔时间内观察抓手末端与被加持物体的空间位置，从而决策接下来要注视的目标块；

步骤5、返回步骤3并重复执行，进行下一次目标块识别任务，直到抓到物体为止。

2.根据权利要求1所述的一种基于非侵入式脑机接口机器臂控制系统，其特征在于，所述的3(行)×5(列)的目标块矩阵闪烁频率按照从左到右，从上到下的顺序依次为：8Hz、9.5Hz、11Hz、12.5Hz、14Hz；8.5Hz、10Hz、11.5Hz、13Hz、14.5Hz；9Hz、10.5Hz、12Hz、13.5Hz、15Hz。

3.根据权利要求1所述的一种基于非侵入式脑机接口机器臂控制系统，其特征在于，所述步骤3的具体实现方法包括以下步骤：

步骤(1)、脑机接口子系统对采集到的脑电信号进行降采样处理，降采样频率为250Hz；

步骤(2)、脑机接口子系统对采集到的脑电信号进行带通滤波，陷波处理，带通滤波1～100Hz,并在此基础上进行50Hz的陷波处理；

步骤(3)、脑机接口子系统分别计算各频带信号与各刺激频率对应的正弦-余弦参考信号的典型相关系数，并得到对应的最大相关系数；参考信号所用的谐波次数Nh＝5；

步骤(4)、脑机接口子系统将各刺激频率下各频带对应的最大相关系数的平方乘上相应的权重系数并进行相加求和作为目标识别的特征；各频带对应的权重系数w＝(n)-1.25+0.25，其中，n为频带的序号，n＝1，2，…；

步骤(5)、脑机接口子系统选择特征值最大时所对应的刺激频率的图片为使用者所注视的目标；

步骤(6)、脑机接口子系统根据检测出的目标进行相应的视觉反馈提示，将相应的目标块用红色的方框框起来，同时将分类结果翻译为机器臂子系统能识别的控制指令，通过通讯子系统将控制指令传输给机器臂子系统。

Images