CN108478189A - 一种基于脑电信号的人体外骨骼机械臂控制系统及方法 - Google Patents

Abstract

本发明公开了一种基于脑电信号的人体外骨骼机械臂控制系统及方法，包括数据采集单元、数据处理单元和主控单元，当第一单元采集的数据发送给第二单元后，第二单元对数据处理后发送给第三单元，主控制器将信号转换成控制信息，对机械臂进行控制动作。数据采集单元、数据处理单元以及主控制单元形成一个完整的机械臂控制系统。采用自发脑电、眨眼信号以及位置偏移多模式共同对机械臂进行控制。与现有技术相比，本发明使用5个电机模块协同工作，使机械臂有5个自由度；通过蓝牙传输采集的脑波数据，使用手机对信号进行处理；设计一个基于脑电信号的人体外骨骼机械臂控制系统；提出基于脑电信号的人体外骨骼机械臂控制方法。

Description

一种基于脑电信号的人体外骨骼机械臂控制系统及方法

技术领域

本发明涉及人体外骨骼机械臂控制技术领域，特别是一种基于脑电信号的人体外骨骼机械臂控制系统及方法。

背景技术

外骨骼本来是指动物的外部骨骼，用于支撑或保护内部器官。而人体外骨骼就是仿照动物外部骨骼根据人体机构进行设计的人体外部骨骼系统。一般分为进行人体康复训练的外部骨骼系统和增强人体功能的外部骨骼系统。但是传统的外部骨骼系统仅仅只能依靠人肌肉电压进行操控，而人体表面肌电信号比较微弱难以达到准确控制效果，不能满足一些偏瘫患者或者残疾患者使用，并且由于肌肉电压的不稳定，往往控制起来也不太方便。而且现有的一些肢体训练或者增强系统都有大体积，高耗能的缺点，并且移动不方便。再者现有的人体外骨骼系统大多都采用人体主动带动外骨骼机械臂运动，人体通过手指动作，操作机器人的手臂。当手指做起抓拿动作时，机械手臂也做出相应动作，要求患者具有一定的自主运动能力。脑-机接口技术(Brain-computer interface，BCI)是作为一种不依赖人体肌肉以及大脑外神经的通讯与控制技术。作为一种非肌肉的通讯通道，BCI技术能够直接通过大脑来表达或操纵设备，对于严重运动残疾患者，可以将他们的有意图传送到外部设备，它可以让人脑通过想象建立起与外部计算机或电子设备的控制通道。目前大多BCI系统均是以计算机结合医用脑波测试仪进行开发，系统设计复杂、造价昂贵，而且不能很好的安装佩戴，再加上数据的处理分析使用计算机导致体积庞大，不实用，如何简化BCI系统设计，降低开发成本，提高BCI系统的实用性，并且寻找一种新的交互方式的人体外骨骼机械臂控制系统，是一个很有挑战性的课题。

但是他们设计的控制系统存在以下一些共同的问题：

1、BCI的脑波采集，采集电极过多，不方便患者使用。

2、脑波信号由串口线连接发送给计算机，体积庞大，佩戴移动困难。

3、机械臂系统对人体干涉大，影响其他身体部位。

4、机械臂系统需要固定支架，体积庞大。

5、使用肌电信号，信号微弱难以控制。

6、机械臂驱动系统线路复杂且耗能大。

发明内容

本发明的目的是要解决由于现有机械臂系统对于手臂行动能力丧失无法采集肌电信号的病患没有良好的交互接口，而且能辅助人体康复训练的系统不能达到增强人体的能力。现有的脑机接口技术信号通过串口线传输且没有复杂的控制目标不具有实用性。脑波信号的采集处理方法有很大的局限性，对于信号分类准确性差的问题，提供一种基于脑电信号的人体外骨骼机械臂控制系统及方法。

为达到上述目的，本发明是按照以下技术方案实施的：

一种基于脑电信号的人体外骨骼机械臂控制系统，包括数据采集单元、数据处理单元和主控单元：

所述数据采集单元，包括安装在人脑上用于采集人脑的脑波信号和眨眼特征信号的脑波采集装置和安装在脑波采集装置上用于采集人脑的姿态信号的9轴传感器以及用于将脑波采集装置和9轴传感器采集的数据进行发送至数据处理单元的蓝牙模块；

所述数据处理单元，包括通过蓝牙模块与数据采集单元的蓝牙模块连接并用于处理脑波采集装置和9轴传感器采集的数据的脑电信号处理模块；

所述主控制单元，包括通过蓝牙模块与数据处理单元的蓝牙模块连接的STM32主控制器、安装在机械臂上且与STM32主控制器连接的9轴惯导模组、与STM32主控制器连接的信号调理模块、与信号调理模块连接的电机驱动模块、与电机驱动模块连接用于控制机械臂动作的多个电机，以及用于供电电源模块；所述主控单元的蓝牙模块接收到脑电信号处理模块处理后的信号后，通过STM32主控制器发送相应的PWM信号，PWM信号经过信号调理电路调整之后传送到电机驱动模块上，电机驱动模块控制多个电机协同工作。

进一步，所述机械臂上的电机设置为5个，分别为：肩部1号电机、肩部2号电机、肘部3号电机、腕部4号电机和腕部5号电机。

进一步，所述肩部1号电机、肩部2号电机以及腕部4号电机和腕部5号电机采用步进电机，所述肘部3号电机采用直线电机。

进一步，所述脑波采集装置采用Emotiv公司的Insight脑电波监测头盔，所述Insight脑电波监测头盔包括5个通道AF3，AF4，T7，T8，Pz的脑电采集。

进一步，所述脑电信号处理模块采用搭载有安卓系统的手机终端。

另外，本发明还提供一种基于脑电信号的人体外骨骼机械臂控制方法，包括脑电控制和姿态控制：

所述脑电控制的步骤为：

(1)脑电数据预处理：

首先通过使用脑波采集装置采集使用者脑电信号，将信号根据通道的不同进行分类，然后将信号通过蓝牙发送给搭载有安卓系统的手机终端，使用手机终端对每个通道脑电采用调用Matlab中sym5函数对信号进行5层分解和基于贝叶斯阈值估计对信号去噪；通过快速傅里叶变换将数据从时域转换到频域，使用Matlab/simulink把Matlab工程导入到手机终端；

(2)脑电信号特征提取：

根据预处理后的脑电特征，将不同通过信号进行综合处理；对综合后的脑电信号进行小波变换得到第六层的低频信号和高频信号的2-6层，使用FFT获得了脑波信号的δ波、θ波、α波、β波并计算它们的子带能量；

(3)脑电信号的识别：

然后将δ波、θ波、α波、β波四种不同频段脑波的能量占比作为神经网络的输入用于识别使用者不同专注状态下产生的自发脑电信号；使用BP神经网络将专注状态分为5类，将专注度划分在[0-100]内，其中冥想[80-100]、专注[60-80]、放松[40-60]、平缓[20-40]、疲劳[0-20]；

(4)眨眼特征信号提取与识别：

根据AF3以及AF4通道的信号电压变换，对一个时间段脑电能量进行计算；通过与设定的阈值进行比较，判断眨眼几次，以及左右眨眼判断，将眨眼特征分为有意眨双眼三次、有意眨左眼三次、有意眨右眼三次，三种状态；

(5)脑电及眨眼特征控制动作转换：

根据提取出来的眨眼特征以及脑电特征通过使用不同的标志通过手机蓝牙发送给STM32主控制器，随后STM32主控制器通过5个GPIO口发送相应PWM信号，经过信号调理电路，电机驱动电路后分别控制5个电机的协同工作，使得脑电特征转换成相应的机械臂动作信号；

所述姿态控制的步骤为：

(1)9轴传感器数据预处理：

首先使用脑波采集装置上的9轴传感器分别将加速度计、陀螺仪以及磁力计的数据提取出来；将电压数据转换成相应物理单位数据并将数据分段，以方便数据处理；

(2)姿态的判断：

接着将分类分段好的数据通过蓝牙模块发送给手机终端，使用手机终端的APP根据分别提取出来的数据进行融合；得到9轴传感器与地平面的准确倾角即Insight脑电波监测头盔的不同姿态；

(3)姿态信息到机械臂动作的转换：

将得到的9轴传感器与地平面的倾角数据，使用手机蓝牙发送给STM32主控制器，STM32主控制器发送不同的信号来控制5个电机的协同动作，并且动作之后由STM32主控制器接收机械臂上安装的9轴惯导模组反馈回来的姿态信息将其与Insight脑电波监测头盔的姿态进行比对，达到反馈控制机械臂的目的。

与现有技术相比，本发明的有益效果为：

1、本发明的脑波处理部分是使用手机软件处理，使得脑波信息处理分类速度加快，并且几乎每个人都有手机，所以相对于传统的脑电处理仪该系统的体积大大减小，稳定性更高，而且便于用户安装使用。

2、本发明的解决了现有技术中脑电波检测仪存在的输出的原始波形数据难以被使用的技术问题。使用小波滤噪，建立BP神经网络模型，通过脑电信号的辨识实现机械臂的智能控制。

3、本发明的机械臂控制单元，使用5个电机系统进行控制，达到5自由度控制满足人体上肢运动基本需求。

4、本发明使用脑波以及人脑姿态的交互方式，相对传统的肌电控制，增加了系统的实用性，可以适用于不同需求的用户使用，为一些残疾患者义肢控制提供一种新的方法。

5、本发明使用ARM处理器作为机械臂的主控芯片，机械臂轻便，牢固，无过多控制线路，机械结构有限制，安全可靠。并且使用锂电池供电方便携带功耗小。

6、本发明具有很强的实用性功能以及市场价值，使用人体外骨骼机械臂作为控制对象，并且采用多模态并行控制，可以给一些肌肉萎缩以及残障人士进行康复训练。

7、本发明的扩展性强，对脑波信号以及姿态信息的处理，特征提取可以移植到其他系统上。

8、相对传统机械臂放弃手臂以及手指肌肉对机械臂控制，达到为丧失手臂，或者患肢病人代替使用的目的。

9、本发明为一些肢体上存在缺陷或者力量较弱的人群开发这样一个可以辅助提高自身力量的装置，利用控制器控制机械装置达到辅助人体的功能，可以帮助人们完成一些对体力要求较大的工作。

附图说明

图1为本发明的系统结构框图。

图2为本发明的脑波采集装置连接人脑示意图。

图3a为本发明的脑电信号处理模块处理前的脑波信号图。

图3b为本发明的脑电信号处理模块处理后的脑波信号图。

图4为本发明的轴传感器坐标图。

图5为本发明的9轴传感器数据融合流程图。

图6为本发明的脑波控制机械臂流程图。

具体实施方式

下面结合具体实施例对本发明作进一步描述，在此发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。

如图1所示，本发明的一种基于脑电信号的人体外骨骼机械臂控制系统，包括数据采集单元、数据处理单元和主控单元：

所述数据采集单元，包括安装在人脑上用于采集人脑的脑波信号和眨眼特征信号的脑波采集装置和安装在脑波采集装置上用于采集人脑的姿态信号的9轴传感器以及用于将脑波采集装置和9轴传感器采集的数据进行发送至数据处理单元的蓝牙模块；

所述数据处理单元，包括通过蓝牙模块与数据采集单元的蓝牙模块连接并用于处理脑波采集装置和9轴传感器采集的数据的脑电信号处理模块；

所述主控制单元，包括通过蓝牙模块与数据处理单元的蓝牙模块连接的STM32主控制器、安装在机械臂上且与STM32主控制器连接的9轴惯导模组、与STM32主控制器连接的信号调理模块、与信号调理模块连接的电机驱动模块、与电机驱动模块连接用于控制机械臂动作的多个电机，以及用于供电电源模块；所述主控单元的蓝牙模块接收到脑电信号处理模块处理后的信号后，通过STM32主控制器发送相应的PWM信号，PWM信号经过信号调理电路调整之后传送到电机驱动模块上，电机驱动模块控制多个电机协同工作。

进一步，所述机械臂上的电机设置为5个，分别为：肩部1号电机、肩部2号电机、肘部3号电机、腕部4号电机和腕部5号电机；所述肩部1号电机、肩部2号电机以及腕部4号电机和腕部5号电机采用步进电机，所述肘部3号电机采用直线电机；所述脑波采集装置采用Emotiv公司的Insight脑电波监测头盔，所述Insight脑电波监测头盔包括5个通道AF3，AF4，T7，T8，Pz的脑电采集，如图2所示；所述脑电信号处理模块采用搭载有安卓系统的手机终端。

另外，本发明还提供一种基于脑电信号的人体外骨骼机械臂控制方法，包括脑电控制和姿态控制：

所述脑电控制的步骤为：

(1)脑电数据预处理：

首先通过使用脑波采集装置采集使用者脑电信号，将信号根据通道的不同进行分类，然后将信号通过蓝牙发送给搭载有安卓系统的手机终端，使用手机终端对每个通道脑电采用调用Matlab中sym5函数对信号进行5层分解和基于贝叶斯阈值估计对信号去噪；通过快速傅里叶变换将数据从时域转换到频域，使用Matlab/simulink把Matlab工程导入到手机终端；

(2)脑电信号特征提取：

根据预处理后的脑电特征，将不同通过信号进行综合处理；对综合后的脑电信号进行小波变换得到第六层的低频信号和高频信号的2-6层，使用FFT获得了脑波信号的δ波、θ波、α波、β波并计算它们的子带能量；

(3)脑电信号的识别：

然后将δ波、θ波、α波、β波四种不同频段脑波的能量占比作为神经网络的输入用于识别使用者不同专注状态下产生的自发脑电信号；使用BP神经网络将专注状态分为5类，将专注度划分在[0-100]内，其中冥想[80-100]、专注[60-80]、放松[40-60]、平缓[20-40]、疲劳[0-20]；

(4)眨眼特征信号提取与识别：

根据AF3以及AF4通道的信号电压变换，对一个时间段脑电能量进行计算；通过与设定的阈值进行比较，判断眨眼几次，以及左右眨眼判断，将眨眼特征分为有意眨双眼三次、有意眨左眼三次、有意眨右眼三次，三种状态；

(5)脑电及眨眼特征控制动作转换：

根据提取出来的眨眼特征以及脑电特征通过使用不同的标志通过手机蓝牙发送给STM32主控制器，随后STM32主控制器通过5个GPIO口发送相应PWM信号，经过信号调理电路，电机驱动电路后分别控制5个电机的协同工作，使得脑电特征转换成相应的机械臂动作信号；

所述姿态控制的步骤为：

(1)9轴传感器数据预处理：

首先使用脑波采集装置上的9轴传感器分别将加速度计、陀螺仪以及磁力计的数据提取出来；将电压数据转换成相应物理单位数据并将数据分段，以方便数据处理；

(2)姿态的判断：

接着将分类分段好的数据通过蓝牙模块发送给手机终端，使用手机终端的APP根据分别提取出来的数据进行融合；得到9轴传感器与地平面的准确倾角即Insight脑电波监测头盔的不同姿态；

(3)姿态信息到机械臂动作的转换：

将得到的9轴传感器与地平面的倾角数据，使用手机蓝牙发送给STM32主控制器，STM32主控制器发送不同的信号来控制5个电机的协同动作，并且动作之后由STM32主控制器接收机械臂上安装的9轴惯导模组反馈回来的姿态信息将其与Insight脑电波监测头盔的姿态进行比对，达到反馈控制机械臂的目的。

本发明利用Emotiv公司的Insight脑电波监测头盔作为脑电波信号采集传感器，并且该传感器携带9轴传感器模块，以及蓝牙模块，当蓝牙模块将采集到的数据进行无线传输，传输到搭载有安卓系统的手机终端，手机终端进行数据的接收与处理，并将处理好的有效数据通过蓝牙无线传输给STM32主控制器。STM32控制器将使用脑电特征和眼电以及人脑姿态位置信息来实现对系统的控制，当两次连续有意眨眼时，系统开启；再出现两次有意眨眼，系统将被关闭。系统默认使用脑电信号的特征值来控制模拟量力矩补偿的大小。并且当使用者右眼连续单独眨动三次时系统会切换到通过人脑空间位置来控制机械臂，通过使用手机终端对9轴传感器模块采集数据的整合，判断出使用者大脑的姿态信息，用此信息与机械臂上安装的9轴惯导模组模块进行对比，达到反馈控制机械臂动作的目的。

机械臂根据人体手臂运动规律设计，根据不同动作对每个电机的转动角度进行采集，并设计出电机的协同控制编码，达到人手臂关节的复合动作的目的。

以下对本发明的两种控制方法做详细的阐述：

机械臂控制编码方案为：

通过对机械臂动作不同角度时每个电机的转动角度进行的检测从而通过STM32控制器的GPIO口输出相应控制编码信号来实现电机的动作功能。当系统使用脑电信号的专心度值来控制模拟量力矩补偿的大小，冥想[80-100]时最大补偿、专注[60-80]重度补偿、放松[40-60]中度补偿、平缓[20-40]轻度补偿、疲劳[0-20]不补偿。5个电机协同工作达到力矩补偿的目的。即实现了手臂关节的全方位运动，也起到了辅助增加人体力量的作用。

由于肘关节需要伸缩需求所以本发明此处采用直线电机。其余部分采用步进电机。

表1人体手臂各关节运动参考幅值以及机械臂电机转动角度

表1记录的是人体手臂各关节运动参考幅值以及机械臂电机转动角度，人体关节运动还有肩关节的内收外展以及腕关节的内收外展，但对于本发明本次设计，可以通过其他自由度的电机协调动作来基本满足这两部分的的动作，所以为了简化结构降低控制难度，因此，本发明只选取了表上所列5自由度动作。并且实际机械臂动作角度均比人体关节运动幅值小，这是为了避免发生意外，导致不安全事故的发生。通过上述对机械臂各个电机角度的分析，本发明只要让5个电机协同工作就能基本满足人体上肢的所有动作幅值。

主控制单元电机动作控制方案：

步进电机的定子各相绕组通电时，产生的定子磁场为均匀的圆形旋转磁场。若只对步进相绕组的电流进行通断控制，则得到的步进电机通电状态组合数目是一定的，电机的分辨率取决于电机的相数，这给应用带来不便。因此本发明的STM32主控制器就是实现细分控制功能的。它把细分的数字量转换成步进电机相电流的阶梯值，使其相电流波形成阶梯状上升和下降，从而达到细分控制。信号调理电路主要由可编程逻辑器件组成，它将STM32输出的PWM信号和相序信号进行综合处理，产生带斩波的相序信号，然后将调理后的信号输入到功率放大电路中去。

电机驱动部分采用SIJA7078MR一款两相单极步进电机专用驱动器，其输出驱动电流为3A，工作电压高达46v。它只需接少量电阻电容和一片通用的微控制器即可实现两相单极步进电机的转向、复位、16微步距驱动等驱动控制。驱动部分可以为电路提供完善的过流保护、欠压保护、过热保护等措施和良好的抗干扰能力。

脑波信号处理方案：

采用小波降噪的方法，其中小波域表示含噪信号在小波变换下的分解系数W_j,k，这里采用Matlab中sym5函数对信号进行5层分解；阀值规则采用极小极大值规则，即阀值算子作用后模值小的系数会被置为零，只保留模值大的系数项；掩码算子M可以只保留特定的系数同时置零其它系数；待处理完重构小波系数恢复信号，处理前后的脑波如图3a和图3b所示。

阈值选择是识别噪声的关键，本发明提出的阈值T的选择采用的是贝叶斯阈值估计方法。

阈值函数的作用是处理小波系数高于或低于阈值T的不同应对策略：

进行阀值量化后，滤除了噪声相关的高频系数，根据小波分解的第一层到第六层的低频系数和经过量化后的高频系数进行小波重构。

脑波信号特征分类方案：

本发明通过传感器装置采集到的脑电信号通过手机进行处理，可分为两个部分，一部分通过提取人脑专注度，集中程度特征，另一部分提取眨眼特征。

人脑专注度本发明采用Matlab中db5小波函数对脑波信号进行分解、重构。

采用Matlab中db5小波函数对脑波信号进行分解其中的四层、五层、六层高频、六层低频信号。将得到分解信号作为脑波的δ波、θ波、α波、β波信号然后计算每个分解信号频域下的能量值，输入到BP神经网络模型，对人脑的专注度进行分类，特征提取。使用Matlab/simulink把Matlab工程导入到手机终端形成APP。

本发明的输入层节点数为4，本发明的输出层节点数为5，分别用(10000)、(01000)、(00100)、(00010)(00001)代表不同专注度状态。对于用于脑电专注度识别的BP网络。

神经网络的建立过程如下，BP正向传播计算网络的代价函数，对代价函数正则化(防止过拟合)，使用BP反向传播计算出代价函数的梯度，利用BP正向传播所求的代价函数求出准确的代价函数梯度，然后对BP反向传播所求梯度进行对比，利用梯度下降法减小代价函数，随后随机初始化权重，建立神经网络模型。

采集到EEG进行处理后提取特征矢量作为训练样本，将其输入到网络中这样达到对脑电专注度的分类，一共分为5类，这样根据5类不同的专注度(冥想、专注、放松、平缓、疲劳)来控制机械臂不同动作。

眨眼信号特征分类方案：

由于人在眨眼瞬间，脑电信号的能量值会变大。如下公式所定义的。

式中其中e代表眨眼时的脑电信号能量、X代表脑波幅值。本发明发现自然眨眼的波幅总是不超过±500uV，有意眨眼的波幅往往很大。本发明连续采集5秒内脑电数据计算平均能量值e_m，将这个值作为基准值，当眨眼发生时e_x的值应该大于e_m，在介于e_m和500²uV之间的值认为是自然眨眼，大于500²uV的值认为是有意眨眼。其中AF3以及AF4采集的信号能量不同有较大差别时，本发明认定大的一方为主动眨眼的一方。AF3为左眼，AF4为右眼。当AF3以及AF4采集的信号能量相差不大时，本发明判断其为同时眨眼。这样本发明就可以对眨眼信号进行特征提取进行分类。使用不同眼睛不同眨眼次数来控制机械臂的动作。

9轴传感器数据的融合方案：

当用户佩戴上脑电传感器装置后，9轴传感器采集人脑偏移矢量R后，本发明从8位ADC模块得到了以下的三个轴的数据AdcRx、AdcRy、AdcRz，Vref为ADC模块的参考电压，加速度计检测到力的方向与它本身加速度的方向是相反的。这种力量通常被称为惯性力。加速度计的灵敏度Sensitivity＝478.5mV/g＝0.4785V/g。本发明使用下列公式计算将加速度计读取的ADC值并将其转换为单位为g的矢量力的分量，如图4所示为9轴传感器的坐标系图：

Rx＝(AdcRx*Vref/255–VzeroG)/Sensitivity

Ry＝(AdcRy*Vref/255–VzeroG)/Sensitivity

Rz＝(AdcRz*Vref/255–VzeroG)/Sensitivity

本发明需要人脑偏移向量R和X，Y，Z轴之间的夹角，令这些角度为xr，yr，zr。xr＝arccos(Rx/R)，yr＝arccos(Ry/R)，zr＝arccos(Rz/R)，R＝sqrt(Rx*Rx+Ry*Ry+Rz*Rz)。

陀螺仪的每个通道检测一个轴的旋转。本发明的3轴陀螺仪检测矢量R绕X，Y，Z轴的旋转。本发明假设Rxz，Ryz，Rxy，分别是惯性力矢量R在XZ,YZ,XY平面上的投影平面的上投影。本发明先假设在t0时刻，已测得绕Y轴旋转的角度(也就是xz)，定义为Axz0，之后在t1时刻本发明再次测量这个角度，得到xz1。

角度变化率按下面方法计算：RateAxz＝(xz1–xz0)/(t1–t0)。所以通过8位ADC采集出来陀螺仪的数值为AdcGxz,AdcGyz,AdcGxy,则陀螺仪每个角度变换率为：

RateAxz＝(AdcGxz*Vref/255–VzeroRate)/Sensitivity

RateAyz＝(AdcGyz*Vref/255–VzeroRate)/Sensitivity

RateAxy＝(AdcGxy*Vref/255–VzeroRate)/Sensitivity

Sensitivity为陀螺仪的灵敏度，Vref为ADC的参考电压，VzeroRate是零变化率电压。

接下来本发明将加速度计作为参考坐标系，确定陀螺仪的输出对应到上述的RateAxz，RateAyz，RateAxy值。然后根据RateAyz＝(AdcGyz*Vref/255–VzeroRate)/Sensitivity(加速度计与陀螺仪同向)就算出陀螺仪每个角度变换率。

最后本发明根据xr，yr，zr值以及RateAyz，RateAyz的值使用如下流程得到9轴传感器与地平面的准确倾角，具体流程图如图5所示。

脑波控制机械臂的方案软件实现流程如图6所示。

本发明具体实施例如下：

系统初始化：首先用户佩戴好机械臂模块，确保电源模块锂电池电量充足，并打开电源开关，机械臂会处于垂直初始化状态。然后使用者固定好Emotiv Insight脑电采集装置，确保电源充足，电极按照“国际标准导联系统”放置，该传感器使用干电极，确保与头皮接触良好，打开手机应用软件，打开蓝牙，搜索连接主控制单元蓝牙模块，由于脑波采集部分蓝牙模块设置为主动模式，所以通电之后蓝牙会主动匹配连接手机。

脑电信息采集：使用者首先通过连续眨双眼三次开启机械臂系统，然后使用者通过调节自己的专注度，产生的微弱脑电会经过传感器初步放大通过蓝牙发送到手机，手机对其进行滤波处理，再经过BP神经网络进行特征提取分类，然后将分类结果通过蓝牙模块发送给主控制单元。

主控制单元：主控制单元的蓝牙模块接收到分类的脑电数据之后，将信号与设定好的值进行匹配，匹配成功后STM32通过GPIO口发送相应的PWM信号，信号经由信号调理模块调理之后发送到电机驱动模块，然后电机驱动模块驱动5个电机协同动作，从而实现机械手臂自主地进行前摆、后摆、屈曲、伸展、抬起、放下等一系列动作达到上肢关节运动的目的。

关闭系统：使用者通过连续眨右眼三次，机械臂会复原到垂直的初始化状态，然后使用者依次关闭机械臂电源，摘下脑波采集装置，并关闭电源，关闭手机蓝牙及应用软件。

上述是本系统的脑波处理实施方式，下面介绍通过人脑的位置姿态进行机械臂的控制实施方式。

因为Emotiv Insight脑电采集装置上携带9轴传感器模块，所以本发明同样适用该装置采集使用者人脑的位置状态信息。

系统初始化：首先使用者佩戴好机械臂模块，确保电源模块锂电池电量充足，并打开电源开关。然后使用者固定好Emotiv Insight脑电采集装置，确保电源充足，电极按照“国际标准导联系统”放置，该传感器使用干电极，确保与头皮接触良好，打开手机应用软件，打开蓝牙，搜索连接主控制单元蓝牙模块，由于脑波采集部分蓝牙模块设置为主动模式，所以通电之后蓝牙会主动匹配连接手机。

位置信息采集：使用者首先通过连续眨双眼三次开启机械臂系统，然后连续眨左眼三次，切换到姿态控制模式，然后使用者通过调节自己的大脑前后左右切斜角度，产生的位置信息会经过9轴传感器采集通过蓝牙发送到手机，手机对其进行数据整合处理，然后将大脑与地平面的倾角结果通过蓝牙模块发送给主控制单元。

主控制单元：主控制单元的蓝牙模块接收到倾角之后，将信号角度处理为X,Y,Z三个轴的偏移量，然后STM32通过GPIO口发送相应的PWM信号，信号经由信号调理模块调理之后发送到电机驱动模块，然后电机驱动模块驱动5个电机协同动作，从而实现机械手臂自主地进行前摆、后摆、屈曲、伸展、抬起、放下等一系列动作达到上肢关节运动的目的。当机械手臂运动之后机械臂上携带的9轴惯导模组采集手臂上的姿态信息对手臂动作进行矫正。

关闭系统：使用者通过连续眨右眼三次，机械臂会复原到垂直的初始化状态，然后使用者依次关闭机械臂电源，摘下脑波采集装置，并关闭电源，关闭手机蓝牙及应用软件。

本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。

Claims (6)

1.一种基于脑电信号的人体外骨骼机械臂控制系统，其特征在于，包括数据采集单元、数据处理单元和主控单元：

所述数据采集单元，包括安装在人脑上用于采集人脑的脑波信号和眨眼特征信号的脑波采集装置和安装在脑波采集装置上用于采集人脑的姿态信号的9轴传感器以及用于将脑波采集装置和9轴传感器采集的数据进行发送至数据处理单元的蓝牙模块；

所述数据处理单元，包括通过蓝牙模块与数据采集单元的蓝牙模块连接并用于处理脑波采集装置和9轴传感器采集的数据的脑电信号处理模块；

所述主控制单元，包括通过蓝牙模块与数据处理单元的蓝牙模块连接的STM32主控制器、安装在机械臂上且与STM32主控制器连接的9轴惯导模组、与STM32主控制器连接的信号调理模块、与信号调理模块连接的电机驱动模块、与电机驱动模块连接用于控制机械臂动作的多个电机，以及用于供电电源模块；所述主控单元的蓝牙模块接收到脑电信号处理模块处理后的信号后，通过STM32主控制器发送相应的PWM信号，PWM信号经过信号调理电路调整之后传送到电机驱动模块上，电机驱动模块控制多个电机协同工作。

2.根据权利要求1所述的基于脑电信号的人体外骨骼机械臂控制系统，其特征在于：所述机械臂上的电机设置为5个，分别为：肩部1号电机、肩部2号电机、肘部3号电机、腕部4号电机和腕部5号电机。

3.根据权利要求2所述的基于脑电信号的人体外骨骼机械臂控制系统，其特征在于：所述肩部1号电机、肩部2号电机以及腕部4号电机和腕部5号电机采用步进电机，所述肘部3号电机采用直线电机。

4.根据权利要求1所述的基于脑电信号的人体外骨骼机械臂控制系统，其特征在于：所述脑波采集装置采用Emotiv公司的Insight脑电波监测头盔，所述Insight脑电波监测头盔包括5个通道AF3，AF4，T7，T8，Pz的脑电采集。

5.根据权利要求1-5任一所述的基于脑电信号的人体外骨骼机械臂控制系统，其特征在于：所述脑电信号处理模块采用搭载有安卓系统的手机终端。

6.一种如权利要求5所述的基于脑电信号的人体外骨骼机械臂控制方法，其特征在于：包括脑电控制和姿态控制：

所述脑电控制的步骤为：

(1)脑电数据预处理：

首先通过使用脑波采集装置采集使用者脑电信号，将信号根据通道的不同进行分类，然后将信号通过蓝牙发送给搭载有安卓系统的手机终端，使用手机终端的对每个通道脑电采用调用Matlab中sym5函数对信号进行5层分解和基于贝叶斯阈值估计对信号去噪；通过快速傅里叶变换将数据从时域转换到频域，使用Matlab/simulink把Matlab工程导入到手机终端；

(2)脑电信号特征提取：

根据预处理后的脑电特征，将不同通道信号进行综合处理；对综合后的脑电信号进行小波变换得到第六层的低频信号和高频信号的2-6层，使用FFT获得了脑波信号的δ波、θ波、α波、β波并计算它们的子带能量；

(3)脑电信号的识别：

然后将δ波、θ波、α波、β波四种不同频段脑波的能量占比作为神经网络的输入用于识别使用者不同专注状态下产生的自发脑电信号；使用BP神经网络将专注状态分为5类，将专注度划分在[0-100]内，其中冥想[80-100]、专注[60-80]、放松[40-60]、平缓[20-40]、疲劳[0-20]；

(4)眨眼特征信号提取与识别：

根据AF3以及AF4通道的信号电压变换，对一个时间段脑电能量进行计算；通过与设定的阈值进行比较，判断眨眼几次，以及左右眨眼判断，将眨眼特征分为有意眨双眼三次、有意眨左眼三次、有意眨右眼三次，三种状态；

(5)脑电及眨眼特征控制动作转换：

根据提取出来的眨眼特征以及脑电特征通过使用不同的标志通过手机蓝牙发送给STM32主控制器，随后STM32主控制器通过5个GPIO口发送相应PWM信号，经过信号调理电路，电机驱动电路后分别控制5个电机的协同工作，使得脑电特征转换成相应的机械臂动作信号；

所述姿态控制的步骤为：

(1)9轴传感器数据预处理：

首先使用脑波采集装置上的9轴传感器分别将加速度计、陀螺仪以及磁力计的数据提取出来；将电压数据转换成相应物理单位数据并将数据分段，以方便数据处理；

(2)姿态的判断：

接着将分类分段好的数据通过蓝牙模块发送给手机终端，使用手机终端的APP根据分别提取出来的数据进行融合；得到9轴传感器与地平面的准确倾角即Insight脑电波监测头盔的不同姿态；

(3)姿态信息到机械臂动作的转换：

将得到的9轴传感器与地平面的倾角数据，使用手机蓝牙发送给STM32主控制器，STM32主控制器发送不同的信号来控制5个电机的协同动作，并且动作之后由STM32主控制器接收机械臂上安装的9轴惯导模组反馈回来的姿态信息将其与Insight脑电波监测头盔的姿态进行比对，达到反馈控制机械臂的目的。