CN105563495A - 基于精细化运动想象脑电信号控制的机械手系统及方法 - Google Patents

Abstract

本发明公开了一种基于精细化运动想象脑电信号控制的机械手系统及方法，该系统包括脑电采集装置、计算机和多维度机械手；脑电采集装置包括电极帽、信号发送装置与信号接收装置；电极帽为非侵入式电极帽，直接佩戴在操作者头顶，采集操作者运动感觉区域的脑电信号，通过信号发送装置发送到信号接收装置；信号接受装置与计算机连接，计算机处理脑电信号，并将控制命令发送给所述多维度机械手，控制机械手的两个手爪电机、手腕电机、手肘电机和肩关节电机运动。操作者无需进行肢体运动，只要想象就能使机械手按照操作者的意愿实现抓取物体、搬运物体等功能，可以使瘫痪、丧失运动机能的残疾人重新实现一些基本的生活动作。

Description

基于精细化运动想象脑电信号控制的机械手系统及方法

技术领域

本发明属于机械电子工程与神经生物学的交叉领域，尤其涉及脑机接口、机器人。

背景技术

由于脑部受损、脑部病变所导致的运动障碍疾病，如肌萎缩侧索硬化症、中风、肌萎缩、脑瘫等，其大脑的运动意图无法正常传递到肌肉组织，因此无法正常运动，最严重的病人已经失去了眨眼的能力。对于这部分病人的养护和康复训练，除了传统的人工理疗外，近些年来兴起的脑机接口技术成为了热门。脑机接口使病人的意愿通过脑电采集、分析和处理得以呈现，并控制相应的执行机构实现一些基本的活动。过去，脑机接口主要通过以下两种方法帮助病人解决生活问题，第一种是采用侵入式脑机接口，需要对病人进行开颅手术，将电极植入病人的头部，信号纯净度较高，可以实现诸如机械手抓取等功能；第二种是采用施加外刺激的非侵入式脑机接口，通过屏幕上闪烁的图像，刺激病人产生特定的脑电信号，提取出其中的VEP信号或者P300信号，对信号进行解释，并控制执行机构实现运动。第一种方式风险较大，且有道德伦理和法律等诸多问题；第二种方式需要有外部刺激，且长期刺激会产生疲劳，因此都不是可以大范围使用的方法。

在无需刺激、病人自发的脑电信号中，运动想象信号是比较容易提取的一种信号，但是在过去的理论和实践中，主要提取人体大块部位的运动想象信号，诸如左手运动想象、右手运动想象、脚部运动想象、舌头运动想象等，因为大块部位的运动想象所对应得大脑运动感觉区相对分散，空间辨识度高，但是这样导致维度过少，一般最多可以实现两维控制，可以实现的功能过于单一，无法实用化。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于精细化运动想象脑电信号控制的机械手系统及方法，使大脑受损或病变的患者可以通过意念控制机械手完成日常活动。

本发明的目的是通过以下技术方案来实现的：一种基于精细化运动想象脑电信号控制的机械手系统，该系统包括脑电采集装置、计算机和多维度机械手；所述脑电采集装置包括电极帽、信号发送装置与信号接收装置；

所述电极帽为非侵入式电极帽，直接佩戴在操作者头顶，采集操作者运动感觉区域的脑电信号，通过信号发送装置发送到信号接收装置；

所述多维度机械手由两个机械手爪、机械手掌、机械手小臂、机械手大臂、基座五部分组成，机械手爪和机械手掌之间由手爪电机连接，机械手掌和机械手小臂之间由手腕电机连接，机械手小臂和机械手大臂之间由手肘电机连接，机械手大臂和基座由肩关节电机连接；两个手爪电机、手腕电机、手肘电机和肩关节电机均通过运动控制板卡与计算机连接；

所述信号接受装置与计算机连接，所述计算机处理脑电信号，并将控制命令发送给所述多维度机械手，控制机械手的两个手爪电机、手腕电机、手肘电机和肩关节电机运动。

进一步地，所述电极帽的电极位置对应国际通行的64导-“10/20”标准中运动感觉区域的27导，分别为：Cz、C1、C2、C3、C4、C5、C6、T7、T8、CPz、CP1、CP2、CP3、CP4、CP5、CP6、TP7、TP8、FCz、FC1、FC2、FC3、FC4、FC5、FC6、FT7、FT8。脑电信号通过电极采集，经信号发送装置发送到信号接受装置。

进一步地，该系统还包括安装在机械手爪上的红外发射器和佩戴在操作者身上与红外发射器相配对的红外接收器，以防止机械手误触操作者。

一种利用上述机械手系统控制机械手运动的方法，该方法分析低频的脑电信号，用以判断左手还是右手的运动想象，分析高频的脑电信号，用以判断手指、手肘、手腕、肩关节等精细部位的运动想象，实现4维度完全控制。将此处理方法应用于机械手，实现机械手4维度运动控制，并实现物体抓取、物体搬运等功能。可以在避免开颅手术的前提下，使失去运动能力的病人通过本发明实现一些基本的日常生活活动。该方法包括以下步骤：

(1)离线训练左右手分类器和具体运动部位分类器；具体包括以下子步骤：

(1.1)得到离线数据：操作者佩戴电极帽，坐在刺激呈现计算机前，根据刺激呈现计算机上显示的动作指令进行相应的动作想象，同时将电极帽采集的脑电信号和表征每个动作指令时间单元trail状态的刺激序列发送到数据采集计算机中。

(1.2)对步骤1.1得到的离线数据进行预处理：用CAR算法对各个导联的脑电信号进行滤波，消除空间干扰；用IIR滤波器对其进行滤波，滤波的范围为0.3Hz-250Hz；用50Hz陷波滤波器对其进行滤波，消除工频干扰；肌电和眼电明显的时段予以去除。

(1.3)将每个trail的数据截取出来，利用AR模型功率谱法求各个trail的功率谱，功率谱范围为1Hz-200Hz。

(1.4)根据刺激序列，将功率谱分成对应左手运动和右手运动两部分，提取其中mu节律和beta节律的功率信号。

(1.5)根据刺激序列，将功率谱分成对应拇指运动、食指运动、手腕运动、手肘运动、肩关节运动五个部分。对每个部分的功率谱采用主成分分析法(PCA)提取主成分，计算各个部分主成分之间的Fisher系数，选取Fisher系数高的主成分序号，提取序号对应的成分。

(1.6)对步骤1.4得到的功率信号和步骤1.5提取出的成分分别进行共同空间模式(CSP)分析，提取出特征向量，与刺激序列一起作为分类器训练的输入，利用支持向量机(SVM)进行训练，得到左右手分类器和五分类的具体运动部位的分类器。

(2)对实时采集的操作者脑电信号进行在线处理，得到机械手控制信号，具体包括以下子步骤：

(2.1)操作者进行运动想象，提取脑电信号，利用时间窗截取脑电信号；

(2.2)采用步骤1.2所述方法对脑电信号进行预处理；

(2.3)采用步骤1.2所述方法求解各个时间窗的功率谱；

(2.4)提取其mu节律和beta节律的特征，用CSP处理后提取特征，用左右手的分类器进行分类得出操作者意愿为运动左手还是右手，即为运动控制命令；

(2.5)对步骤2.3获得的功率谱信号进行步骤1.5所述的PCA处理，对提取出的成分进行CSP处理，用具体运动部位的分类器进行分类，得出操作者意愿为拇指、食指、手腕、手肘或肩关节的运动，即为运动控制命令。

(3)根据步骤2.4和2.5得到的运动控制指令，控制机械手的两个手爪电机、手腕电机、手肘电机和肩关节电机运动，实现机械手的抓取准备、抓取开始、松开准备、松开开始、手腕弯曲、手腕伸展、手肘弯曲、手肘伸展、肩关节弯曲和肩关节伸展。

进一步地，所述步骤3中，按照以下规则对机械手进行控制：

进一步地，机械手采用力控制，在遇到障碍物的时候，会根据每个电机上的扭矩和角速度传感器对工况进行预测，及时采用避让的方式让机械手绕过障碍物。通过这种控制方式，使操作者的脑电主动控制和计算机的被动控制结合，在脑电信号解析出现问题的时候可以排除误操作或者故障的可能。

本发明的有益效果是：本发明突破了传统的脑机接口系统和方法上的限制，在原有的单一维度左右手运动想象脑机接口的基础上，将仅仅局限于大块部位运动想象拓展到进行精细部位的运动想象，极大拓展了运动想象脑机接口的控制维度和应用场景，在算法上，由原来重点分析mu节律和beta节律等低频信号，拓展到分析30-200Hz的高频信号，并利用主成分法提取其中差异大的成分进行分类识别，最终可以将精细部位运动想象的信息从脑电信号中提取出来。此发明对于病人来讲，是重新恢复正常生活的一种手段，可以让病人实现利用自己的运动想象来控制机械手抓取物体、搬运物体等行为；对于正常人来讲，是一种有趣的娱乐设备，同时也可以作为儿童注意力训练的教育工具。

附图说明

图1为基于精细化运动想象脑电信号控制的机械手系统原理图；

图2为多维度机械手结构示意图；

图3为电极帽电极示意图；

图4为操作者进行训练的线程示意图；

图5为离线数据处理算法流程图；

图6为在线数据处理算法流程图；

图中：计算机1、信号发送装置2、电极帽3、红外发射器4、机械手5、红外接收器6、信号接收装置7、机械手爪8、机械手掌9、机械手小臂10、机械手大臂11、基座12、手抓电机13、手腕电机14、手肘电机15、肩关节电机16。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

1、系统原理

如图1所示，本发明提供的基于精细化运动想象脑电信号控制的机械手系统，包括计算机1、脑电采集装置和机械手5。

脑电采集装置包括电极帽3、信号发送装置2和信号接收装置7。其中电极帽3电极排布如图3所示，电极位置对应国际通行的64导-“10/20”标准中对应运动感觉区域的27导，分别为：Cz、C1、C2、C3、C4、C5、C6、T7、T8、CPz、CP1、CP2、CP3、CP4、CP5、CP6、TP7、TP8、FCz、FC1、FC2、FC3、FC4、FC5、FC6、FT7、FT8。脑电信号通过电极采集，经信号发送装置2发送到信号接收装置7，信号接收装置7连接在计算机1上，将脑电信号传入计算机1中。信号放大器的采样频率为1000Hz。

在计算机1中进行去基线、去伪迹等预处理，对时间滑动窗截取的信号进行功率谱分析，提取其中mu节律与beta节律的能量特征，然后用主成分分析对其进行处理，按照训练中得到的成分序号提取其中高频特征，组成特征向量，利用训练好的分类器进行分类，得出操作者的运动想象意图，区分出左手想象还是右手想象，区分出食指、拇指、手腕、手肘和肩关节五个精细运动想象信号。

2、多维度机械手及其运动控制

多维度机械手5的结构如图2所示。机械手5由机械手爪8、机械手掌9、机械手小臂10、机械手大臂11、基座12五部分组成，机械手爪8和机械手掌9之间由手抓电机13连接，机械手掌9和机械手小臂10之间由手腕电机14连接，机械手小臂10和机械手大臂11之间由手肘电机15连接，机械手大臂11和基座12由肩关节电机16连接，在机械手爪8上有两个红外发射器4。

利用运动控制板卡控制机械手运动，按照以下规则进行控制：

操作者周围安装的红外接收器7和机械手5上的红外发射器4可以配对使用，当机械手5接近操作者时，红外接收器7接收到红外发射器4发射的红外线光，将信号通过数据采集板卡传输到计算机1中，并做出指令使机械手5停止运动，恢复原位，防止误操作导致操作者受伤。

机械手5采用力控制，在遇到障碍物的时候，会根据每个电机上的扭矩和角速度传感器对工况进行预测，及时采用避让的方式让机械手绕过障碍物。通过这种控制方式，使操作者脑电的主动控制和计算机的被动控制结合，在脑电信号解析出现问题的时候可以排除误操作或者故障的可能。

3、训练方法

在实际使用之前，需要进行离线的训练。操作者被要求佩戴电极帽3，坐在刺激呈现计算机前，根据计算机上显示的文字进行相应的动作，同时将电极帽3采集的脑电信号传输到另一台数据采集电脑中。训练的过程如图4所示。

实验中，每个trail需要10-12s，每种类型的运动想象做75个trail，做完左手想象后做右手想象，共需要2.5个小时，750个trail。

(1)首先屏幕显示空白2s，之后出现“十”字，提醒操作者即将出现运动提示；

(2)4s时出现运动提示(cue)，随机出现“拇指”、“食指”、“手腕”、“手肘”、“肩关节”的文字提示，持续两秒钟。之后用户进行运动想象2s。

(3)之后，用户有2-4s的休息时间，休息时间长度随机。

在数据采集过程中，除了实时采集27通道的脑电数据之外，编写的刺激程序通过串行通讯的方式将实验的开始、结束、每个trail开始、每个trail结束以及每个trail的状态等信息从刺激呈现电脑传输到数据采集电脑中。最终形成的数据是一个结构体，包含脑电数据和刺激序列。

4、离线数据处理方法

在训练后，提取操作者的脑电信号进行分析。数据处理的流程见图5。

(1)去除基线和伪迹。用CAR算法对各个导联的脑电信号进行滤波，消除空间干扰。用IIR滤波器对其进行滤波，滤波的范围为0.3Hz-250Hz，用50Hz陷波滤波器对其进行滤波，消除工频干扰。在某些时间点上眼电和肌电信号较为明显，直接予以去除。

(2)将每个trail的数据截取出来，组成一个N×T×M的多维矩阵A，N为脑电通道数，在本发明中为27，T为trail数，在本发明中为750，M为一个trail的采样点数，在采样频率为1000Hz的情况下为10000。利用AR模型功率谱法求各个trail的功率谱，功率谱范围从1Hz-200Hz。由此将矩阵A转化成一个27×750×200的新矩阵B。

(3)根据刺激序列，将矩阵B分为BL和BR，分别对应“左手”和“右手”两个部位的运动，提取其中mu节律(10Hz)和beta节律(20Hz)的功率信号。

(4)根据刺激序列，将矩阵B分为B1、B2、B3、B4和B5，分别对应“拇指”、“食指”、“手腕”、“手肘”、“肩关节”五个部位运动的功率信号。采用主成分分析法(PCA)分别对B1、B2、B3、B4和B5进行主成分分析，提取前10个主成分，然后对B1-B5的主成分两两分析，计算各个主成分之间的Fisher系数，选取Fisher系数高的3-5组主成分序号，并提取新的差异大的成分，成为差异成分。

(5)对差异成分进行共同空间模式(CSP)分析，进一步扩大两个状态之间的差异，并提取出特征向量，与刺激序列一起作为分类器训练的输入。分别提取出左右手的特征信向量和具体运动部位的特征向量。

(6)利用支持向量机(SVM)进行训练，取前70％的trail进行训练，取后30％的trail进行验证，得出合适的二分类的分类器。首先得出左右手两个状态的分类器，之后结合五个状态之间两两分类的分类器，形成一个五分类的分类器。

(7)整个数据处理的过程最终输出为一个二分类的左右手分类器、一个五分类的具体运动部位的分类器以及差异成分的序号。

一个操作者多次进行强化训练，使其最终的分类器分类效果趋于稳定，将最终确定的分类器和差异成分序号作为在线实际操作的数据分析工具。

5、在线数据处理方法

数据处理方法见图6。操作者头戴电极帽3，坐在舒适的位置上，按照自身的意愿进行运动想象。脑电数据由一个4s的时间滑窗进行截取，有1s的重合区域。

对于每个时间窗信号，首先用CRA法去基线，之后计算其功率谱，之后提取其mu节律和beta节律的特征，用CSP处理后提取特征，用左右手的分类器进行分类得出操作者意愿为运动左手还是右手。

对功率信号继续进行处理，进行PCA处理，根据差异成分序号找出差异成分，并对差异成分进行CSP处理，用具体运动部位的分类器进行分类，得出操作者意愿为拇指、食指、手腕、手肘还是肩关节的运动。即为运动控制命令。

Claims (6)

1.一种基于精细化运动想象脑电信号控制的机械手系统，其特征在于，该系统包括脑电采集装置、计算机和多维度机械手；所述脑电采集装置包括电极帽、信号发送装置与信号接收装置；

所述电极帽为非侵入式电极帽，直接佩戴在操作者头顶，采集操作者运动感觉区域的脑电信号，通过信号发送装置发送到信号接收装置；

所述多维度机械手由两个机械手爪、机械手掌、机械手小臂、机械手大臂、基座五部分组成，机械手爪和机械手掌之间由手爪电机连接，机械手掌和机械手小臂之间由手腕电机连接，机械手小臂和机械手大臂之间由手肘电机连接，机械手大臂和基座由肩关节电机连接；两个手爪电机、手腕电机、手肘电机和肩关节电机均通过运动控制板卡与计算机连接；

所述信号接受装置与计算机连接，所述计算机处理脑电信号，并将控制命令发送给所述多维度机械手，控制机械手的两个手爪电机、手腕电机、手肘电机和肩关节电机运动。

2.根据权利要求1所述一种基于精细化运动想象脑电信号控制的机械手系统，其特征在于，所述电极帽的电极位置对应国际通行的64导-“10/20”标准中运动感觉区域的27导，分别为：Cz、C1、C2、C3、C4、C5、C6、T7、T8、CPz、CP1、CP2、CP3、CP4、CP5、CP6、TP7、TP8、FCz、FC1、FC2、FC3、FC4、FC5、FC6、FT7、FT8。脑电信号通过电极采集，经信号发送装置发送到信号接受装置。

3.根据权利要求1所述一种基于精细化运动想象脑电信号控制的机械手系统，其特征在于，该系统还包括安装在机械手爪上的红外发射器和佩戴在操作者身上与红外发射器相配对的红外接收器，以防止机械手误触操作者。

4.一种利用权利要求1所述机械手系统控制机械手运动的方法，其特征在于，包括以下步骤：

(1)离线训练左右手分类器和具体运动部位分类器；具体包括以下子步骤：

(1.1)得到离线数据：操作者佩戴电极帽，坐在刺激呈现计算机前，根据刺激呈现计算机上显示的动作指令进行相应的动作想象，同时将电极帽采集的脑电信号和表征每个动作指令时间单元trail状态的刺激序列发送到数据采集计算机中。

(1.2)对步骤1.1得到的离线数据进行预处理：用CAR算法对各个导联的脑电信号进行滤波，消除空间干扰；用IIR滤波器对其进行滤波，滤波的范围为0.3Hz-250Hz；用50Hz陷波滤波器对其进行滤波，消除工频干扰；肌电和眼电明显的时段予以去除。

(1.3)将每个trail的数据截取出来，利用AR模型功率谱法求各个trail的功率谱，功率谱范围为1Hz-200Hz。

(1.4)根据刺激序列，将功率谱分成对应左手运动和右手运动两部分，提取其中mu节律和beta节律的功率信号。

(1.5)根据刺激序列，将功率谱分成对应拇指运动、食指运动、手腕运动、手肘运动、肩关节运动五个部分。对每个部分的功率谱采用主成分分析法(PCA)提取主成分，计算各个部分主成分之间的Fisher系数，选取Fisher系数高的主成分序号，提取序号对应的成分。

(1.6)对步骤1.4得到的功率信号和步骤1.5提取出的成分分别进行共同空间模式(CSP)分析，提取出特征向量，与刺激序列一起作为分类器训练的输入，利用支持向量机(SVM)进行训练，得到左右手分类器和五分类的具体运动部位的分类器。

(2)对实时采集的操作者脑电信号进行在线处理，得到机械手控制信号，具体包括以下子步骤：

(2.1)操作者进行运动想象，提取脑电信号，利用时间窗截取脑电信号；

(2.2)采用步骤1.2所述方法对脑电信号进行预处理；

(2.3)采用步骤1.2所述方法求解各个时间窗的功率谱；

(2.4)提取其mu节律和beta节律的特征，用CSP处理后提取特征，用左右手的分类器进行分类得出操作者意愿为运动左手还是右手，即为运动控制命令；

(2.5)对步骤2.3获得的功率谱信号进行步骤1.5所述的PCA处理，对提取出的成分进行CSP处理，用具体运动部位的分类器进行分类，得出操作者意愿为拇指、食指、手腕、手肘或肩关节的运动，即为运动控制命令。

(3)根据步骤2.4和2.5得到的运动控制指令，控制机械手的两个手爪电机、手腕电机、手肘电机和肩关节电机运动，实现机械手的抓取准备、抓取开始、松开准备、松开开始、手腕弯曲、手腕伸展、手肘弯曲、手肘伸展、肩关节弯曲和肩关节伸展。

5.根据权利要求4所述的方法，其特征在于，所述步骤3中，按照以下规则对机械手进行控制：

6.根据权利要求4所述的方法，其特征在于，机械手采用力控制，在遇到障碍物的时候，会根据每个电机上的扭矩和角速度传感器对工况进行预测，及时采用避让的方式让机械手绕过障碍物。通过这种控制方式，使操作者的脑电主动控制和计算机的被动控制结合，在脑电信号解析出现问题的时候可以排除误操作或者故障的可能。