CN111273578A - 基于Alpha波和SSVEP信号控制的实时脑控机器人系统及控制方法 - Google Patents

Abstract

本发明属于信号处理与脑机接口领域，具体涉及一种基于Alpha波和SSVEP信号控制的实时脑控机器人系统及控制方法。系统在控制者四肢无法动弹且大脑思维正常的情况下，能够解码控制者的脑电波形成控制命令从而控制机器人进行前后左右运动，其中系统包括32位的OpenBCI脑电采集模块、16通道电极帽模块、视觉刺激模块、信号处理模块、单片机控制模块和行走机器人等部分。本发明利用Alpha脑波易自发形成且位于10Hz可有效过滤工频干扰的特性，以及基于SSVEP视觉刺激大脑形成的脑电波所需训练次数少、高速信息传输率的特性，实现了对被试者三种频段脑波信息的解码，从而控制机器人前进、后退、向左转和向右转的运动行为，整个系统实时性强且更加稳定和快速。

Description

基于Alpha波和SSVEP信号控制的实时脑控机器人系统及控制 方法

技术领域

本发明属于信号处理与脑机接口领域，具体涉及一种基于Alpha波和SSVEP信号控制的实时脑控机器人系统及控制方法。

背景技术

脑机接口(Brain-Computer Interface,BCI)是近几十年发展起来的一种新颖的人机接口方式。它不依赖于脑的正常输出通路(外周神经系统和肌肉系统)，而是通过计算机实现实时获取、分析脑信号并将其转换为输出命令，以实现对外部设备的控制。

目前广泛研究的非入侵式脑机接口具有良好的时间分辨率、易用性、便携性和相对低廉的价格。但是由于颅骨对信号的衰减作用和对神经元发出的电磁波的分散和模糊效应，记录到信号的分辨率并不高。这种信号波仍可被检测到，但存在较低的信噪比和空间分辨率等问题。由于采集设备的硬件升级空间不大，现阶段主流的提升脑电信号分析信噪比的方法多从算法方面入手，目前脑机接口大多依赖于外部刺激，对于感觉系统的复杂信号解码成果不多。基于智能处理方法是目前脑机接口方面较为新颖的研究方向，此类控制方法以现代控制理论为出发点，在人工智能算法的基础上提出优化，比如加入了深度学习等。不足之处在于控制复杂，对芯片处理能力要求较高。

目前国内脑控机器人研究成果较少，大连理工大学申请的专利文献，公开号为CN108415554A，其公开了一种基于P300的脑控机器人系统，但是P300信号的信噪比较低，需要多次叠加才能形成较明显且稳定的波形，极大地限制了脑控系统的传输速率，且P300为诱发电位，具有一定的潜伏期。因此，在实际使用过程中，需要建立一个快速响应、稳定识别特定脑电信号的实时脑控系统。

发明内容

本发明的目的在于提供一种基于Alpha波和SSVEP信号控制的实时脑控机器人系统及控制方法。

实现本发明目的的技术解决方案为：基于Alpha波和SSVEP信号控制的实时脑控机器人系统，包括：

视觉刺激模块：为被试者呈现视觉刺激；

机器人；

采集电极：置于被试者脑部，用于采集Alpha脑电波和视觉刺激诱发的脑电电位；

脑电采集模块：与采集电极连接，用于对采集电极采集的Alpha脑电波和视觉刺激诱发的脑电电位信号进行放大并传输；

信号处理模块：与脑电采集模块连接，用于对脑电采集模块传输过来的的Alpha脑电波和视觉刺激诱发的脑电电位信号进行处理；

单片机控制模块：与信号处理模块连接，用于接收信号处理模块解码的脑电信号对应的控制指令，单片机对相应机器人行动的测试点进行拉低电平从而实现对机器人的控制。

进一步的，所述信号处理模块包括脑电信号预处理子模块与控制指令解码子模块；

所述脑电信号预处理子模块用于将实时时间域脑电信号转换为频域信号及其滤波、去工频噪声、去除眼动噪声以及Alpha脑电信号与由视觉刺激产生的脑电信号频带的定位；

所述控制指令解码子模块用于对于预处理子模块搜寻到的脑电信号频带中峰值的寻找，以及峰值处信噪比的计算，然后根据所寻找到的峰值处的信噪比来进一步定位有效脑电信号所处的子频带位置。

进一步的，所述视觉刺激模块包括视觉刺激界面，所述视觉刺激界面包括5Hz和7.5Hz闪烁的模块，用于形成SSVEP信号。

进一步的，所述脑电采集模块基于32位OpenBCI采集电路板。

一种利用上述的系统控制机器人的方法，包括如下步骤：

步骤(1)：被试者按照指示专注某事以形成10Hz的Alpha脑波信号或双眼集中于视觉刺激界面的闪烁方块以形成同频信号；

步骤(2)：采集电极采集Alpha脑波信号和SSVEP信号，并将其传送给脑电采集模块，所述脑电采集模块对Alpha脑波信号和SSVEP信号进行放大并传输给信号处理模块；

步骤(3)：数据处理：所述脑电信号预处理子模块将实时时间域脑电信号转换为频域信号及其滤波、去工频噪声、去除眼动噪声以及Alpha脑电信号与由视觉刺激产生的脑电信号频带的定位；所述控制指令解码子模块对预处理子模块搜寻到的脑电信号频带中峰值的寻找，以及峰值处信噪比的计算，然后根据所寻找到的峰值处的信噪比来进一步定位有效脑电信号所处的子频带位置；

步骤(4)：单片机控制模块收到信号处理模块解码的脑电信号对应的控制指令后，通过所连机器人控制器进行低电平置位，控制器从而发出红外光线至机器人顶端接收装置控制机器人行动，从而实现人脑对机器人行动的控制。

进一步的，所述步骤(3)具体为：

步骤(3-1)：信号处理模块接收到信号，对信号进行快速傅里叶变换，然后进行50Hz陷波处理去除工频干扰，紧接着进行4-15Hz的带通滤波，寻找系统控制所需的视觉刺激形成的脑部频率和Alpha波处于的频带；

步骤(3-2)：搜寻到感兴趣的频段信号后，首先找寻该频段的峰值，其次是计算该频带上EEG信号的平均幅值，然后凭借该平均幅值来计算峰值的信噪比，即脑电信号处理的输出为感兴趣频带的峰值频率与峰值的信噪比；

步骤(3-3)：将得到的峰值信噪比SNR与默认设定阈值对比，满足阈值条件的峰值频率将其视为有效EEG频段输入，然后再进一步将该频段划分为三个子频带，每个子频带对应不同的控制指令，当峰值满足SNR阈值要求后，根据峰值的频率来决定机器人行动的命令。

进一步的，所述步骤(3-3)中“当峰值满足SNR阈值要求后，根据峰值的频率来决定机器人行动的命令”具体为：

步骤(3-3-1)：若峰值频率位于4.5Hz-6.5Hz之间，则被试者注视着视觉刺激界面的5Hz闪烁方块，此时将发出“向右转”命令；

步骤(3-3-2)：若峰值频率位于6.5Hz-8.5Hz之间，则被试者注视着视觉刺激界面的7.5Hz闪烁方块，此时将发出“向左转”命令；

步骤(3-3-3)：若峰值频率位于8.5Hz-12Hz之间，那么被试闭上了双眼精力专注于其呼吸上，此时将发出“向前进”的命令。

进一步的，所述步骤(4)具体为：

所述单片机控制模块接收到控制指令后，首先进行Newdata布尔值的判断，当确定为新数据传入后，再一次判断该流入数据是否与前序数据相同，若是新数据等于上一条指令对应的数据，且数据串就绪失败，以及新数据不等于上一条指令对应的数据，但是字符串为false时，单片机不进行控制动作；若是不同，则检查字符串是否就位，当string＝true时，将该指令对应动作输出置为低电平，从而控制机器人动作。

本发明与现有技术相比，其显著优点在于：

本发明利用Alpha脑电和SSVEP信号实现对外部机器人的实时动作控制，不存在P300信号延时性长与多次叠加的复杂情况，能够克服脑电信号信噪比低不易实现控制的缺点，实现快速、准确的跟踪目标脑电信号，从而达到控制目的，此外整体系统造价低，系统结构简洁新颖。

附图说明

图1是本发明的整体控制系统示意图。

图2是本发明的脑电信号数据传输流程示意图。

图3是本发明的脑电信号预处理模块流程示意图。

图4是本发明的控制指令解码流程示意图。

图5是本发明的单片机控制模块流程示意图。

图6是本发明的视觉刺激界面。

具体实施方式

下面结合附图和工作原理对本发明的具体实施方式进行详细说明。

如图1所示，本发明是基于Alpha脑电波与稳态视觉刺激信号控制的实时脑机系统，包括采集电极、视觉刺激模块、脑电采集模块、信号处理模块、单片机控制模块和行走机器人。其中，视觉刺激模块是为被试者呈现视觉刺激以便诱发其产生同频或倍频的脑电信号，包括5Hz和7.5Hz闪烁的模块；由视觉刺激产生的脑电信号或者被试者自发产生的Alpha脑电波被采集电极采集到，并经由脑电采集模块进行放大后传输至信号处理模块。所述的信号处理模块包括脑电信号预处理子模块与控制指令解码子模块，其中脑电信号预处理子模块包含将实时时间域脑电信号转换为频域信号及其滤波、去工频噪声、去除眼动噪声以及Alpha脑电信号与由视觉刺激产生的脑电信号频带的定位；而控制指令解码子模块包含对于预处理部分搜寻到的脑电信号频带中峰值的寻找，以及峰值处信噪比的计算，然后根据所寻找到的峰值处的信噪比来进一步定位有效脑电信号所处的子频带位置，本模块划分了三个子频带，分别代表着向左、向右与前进的指令；单片机控制模块则是收到信号处理模块解码的脑电信号对应的控制指令后，通过所连机器人控制器进行低电平置位，控制器从而发出红外光线至机器人顶端接收装置控制机器人行动，从而实现人脑对机器人行动的控制。

如图2所示，本发明的控制方法包括以下步骤：

1.清理被试者脑部油脂，清洁采集电极表面，按照国际10-20电极摆放规则，将电极放置于被试者的Fp1、Fp2、O1处，以左耳电极Bias作为参考，右耳电极SRB2作为地，各电极的阻抗低于5kΩ，OpenBCI脑电采集板初始化，选择串口连接方式，设置采样频率为250Hz。

2.初始化视觉刺激界面，左边的白色方块闪烁的频率为5Hz，右边的方块闪烁的频率为7.5Hz,如图6所示。

3.Arduino单片机通过串口连接上位机，模拟输入口A2-A5连接机器人动作遥控器的向左、向后、向右和向前测试点。机器人开机进入行走模式。

4.查看被试者精神状态，提醒其保持集中状态，开启数据传输按钮，进入数据采集与数据处理步骤：

(4-1)受试者根据指令做出目标指令对应的脑电信号状态。Alpha波都是以10Hz左右的频率的形式出现，而稳态视觉刺激的信号SSVEP通过被试目视视觉刺激界面闪烁的方块来形成5Hz和7.5Hz的频率信号；

(4-2)如图3所示，实时时域脑电信号被传输到上位机分析软件，第一步便是对其进行快速傅里叶变换，接着再使用高通巴特沃斯滤波去除直流分量，然后再进行50Hz陷波滤去工频干扰，同时使用独立成分分析ICA去除眼动信号干扰，完成数据预处理；

(4-3)对预处理完的数据进行巴特沃斯带通滤波搜寻到相关频谱4-15Hz，然后对其进行平均功率谱计算，并将其转换成均方根，将其作为确定峰值强弱的基准。然后搜寻相关频带中的峰值，并计算峰值处的幅值大小(均方根)，通过将峰值的振幅除以基准值得到峰值处的信噪比SNR，该SNR为对峰值强弱的度量，只有当该值显著的时候才表明该频率信号不会被噪声掩盖。

5.在EEG数据处理中找到被试EEG信号频谱中的峰值频率与SNR后，根据SNR的强弱决定对脑电信号的动作命令，具体方法如图4所示。

6.先进行SNR强度的检查，以此确定频谱中的当前峰值是否有效，即排除该信号为噪声的可能性。如果信噪比高则将其视为合法峰值，若信噪比较小，则不采取进一步操作。信噪比阈值确定步骤如下：

(6-1)当被试注视视觉刺激界面左边方块时，其诱发了5Hz的脑电波，根据频谱分析，能够明显高于平均EEG信号基准的5Hz信号对应的SNR位于6-7dB之间；

(6-2)当被试注视视觉刺激界面右边方块时，其诱发了7.5Hz的脑电波，而其频谱分析中明显高于基准值的峰值对应的SNR位于6-7dB；

(6-3)当被试闭眼静息专注于呼吸时，其诱发了接近10Hz的Alpha脑电波，其频谱分析中明显高于基准值的峰值对应的SNR大于8dB；

(6-4)虽然最高的信噪比可以大于8dB，而设置过高的SNR阈值误操作指令会减少，但是会导致整体系统的灵敏度降低，故为了整体系统准确度和灵敏度的平衡，将SNR阈值设定为6dB。

7.当峰值满足SNR阈值要求后，根据峰值的频率来决定机器人行动的命令。

(7-1)若峰值频率位于4.5Hz-6.5Hz之间，则被试者应当注视着视觉刺激界面的左侧闪烁方块(即，5Hz闪烁频率)，此时上位机识别后将发出“向右转”命令；

(7-2)若峰值频率位于6.5Hz-8.5Hz之间，则被试者应当注视着视觉刺激界面的右侧闪烁方块(即，7.5Hz闪烁频率)，此时上位机识别后将发出“向左转”命令；

(7-3)若峰值频率位于8.5Hz-12Hz之间，那么被试应当闭上了双眼精力专注于其呼吸上，此时上位机识别后将发出“向前进”的命令。

8.在步骤7的控制命令发出前，将进行一次“是否为新控制指令”的判断。上位机将检查即将发出的命令是否与从被试脑电波中提取的最后一条命令相同，若是不同的指令，则实行优先级更高的“向后转”命令；若是与前序指令相同的指令，则按照步骤7识别的结果进行控制传输至下一级。

Arduino单片机在整个系统运行过程中保持读串口的动作，具体过程如图5所示。在收到步骤8所发出的控制指令后，首先进行Newdata布尔值的判断，当确定为新数据传入后，再一次判断该流入数据是否与前序数据相同，若是新数据等于上一条指令对应的数据，且数据串就绪失败，以及新数据不等于上一条指令对应的数据，但是字符串为false时，单片机不进行控制动作；若是不同，则检查字符串是否就位，当string＝true时，将该指令对应动作输出置为低电平，从而控制机器人动作。

Claims (8)

1.基于Alpha波和SSVEP信号控制的实时脑控机器人系统，其特征在于，包括：

视觉刺激模块：为被试者呈现视觉刺激；

机器人；

采集电极：置于被试者脑部，用于采集Alpha脑电波和视觉刺激诱发的脑电电位；

脑电采集模块：与采集电极连接，用于对采集电极采集的Alpha脑电波和视觉刺激诱发的脑电电位信号进行放大并传输；

信号处理模块：与脑电采集模块连接，用于对脑电采集模块传输过来的的Alpha脑电波和视觉刺激诱发的脑电电位信号进行处理；

单片机控制模块：与信号处理模块连接，用于接收信号处理模块解码的脑电信号对应的控制指令，单片机对相应机器人行动的测试点进行拉低电平从而实现对机器人的控制。

2.根据权利要求1所述的系统，其特征在于，所述信号处理模块包括脑电信号预处理子模块与控制指令解码子模块；

所述脑电信号预处理子模块用于将实时时间域脑电信号转换为频域信号及其滤波、去工频噪声、去除眼动噪声以及Alpha脑电信号与由视觉刺激产生的脑电信号频带的定位；

所述控制指令解码子模块用于对于预处理子模块搜寻到的脑电信号频带中峰值的寻找，以及峰值处信噪比的计算，然后根据所寻找到的峰值处的信噪比来进一步定位有效脑电信号所处的子频带位置。

3.根据权利要求1所述的系统，其特征在于，所述视觉刺激模块包括视觉刺激界面，所述视觉刺激界面包括5Hz和7.5Hz闪烁的模块，用于形成SSVEP信号。

4.根据权利要求1所述的系统，其特征在于，所述脑电采集模块基于32位OpenBCI采集电路板。

5.一种利用权利要求1-4任一项所述的系统控制机器人的方法，其特征在于，包括如下步骤：

步骤(1)：被试者按照指示专注某事以形成10Hz的Alpha脑波信号或双眼集中于视觉刺激界面的闪烁方块以形成同频信号；

步骤(2)：采集电极采集Alpha脑波信号和SSVEP信号，并将其传送给脑电采集模块，所述脑电采集模块对Alpha脑波信号和SSVEP信号进行放大并传输给信号处理模块；

步骤(3)：数据处理：所述脑电信号预处理子模块将实时时间域脑电信号转换为频域信号及其滤波、去工频噪声、去除眼动噪声以及Alpha脑电信号与由视觉刺激产生的脑电信号频带的定位；所述控制指令解码子模块对预处理子模块搜寻到的脑电信号频带中峰值的寻找，以及峰值处信噪比的计算，然后根据所寻找到的峰值处的信噪比来进一步定位有效脑电信号所处的子频带位置；

步骤(4)：单片机控制模块收到信号处理模块解码的脑电信号对应的控制指令后，通过所连机器人控制器进行低电平置位，控制器从而发出红外光线至机器人顶端接收装置控制机器人行动，从而实现人脑对机器人行动的控制。

6.根据权利要求5所述的方法，其特征在于，所述步骤(3)具体为：

步骤(3-1)：信号处理模块接收到信号，对信号进行快速傅里叶变换，然后进行50Hz陷波处理去除工频干扰，紧接着进行4-15Hz的带通滤波，寻找系统控制所需的视觉刺激形成的脑部频率和Alpha波处于的频带；

步骤(3-2)：搜寻到感兴趣的频段信号后，首先找寻该频段的峰值，其次是计算该频带上EEG信号的平均幅值，然后凭借该平均幅值来计算峰值的信噪比，即脑电信号处理的输出为感兴趣频带的峰值频率与峰值的信噪比；

步骤(3-3)：将得到的峰值信噪比SNR与默认设定阈值对比，满足阈值条件的峰值频率将其视为有效EEG频段输入，然后再进一步将该频段划分为三个子频带，每个子频带对应不同的控制指令，当峰值满足SNR阈值要求后，根据峰值的频率来决定机器人行动的命令。

7.根据权利要求6所述的方法，其特征在于，所述步骤(3-3)中“当峰值满足SNR阈值要求后，根据峰值的频率来决定机器人行动的命令”具体为：

步骤(3-3-1)：若峰值频率位于4.5Hz-6.5Hz之间，则被试者注视着视觉刺激界面的5Hz闪烁方块，此时将发出“向右转”命令；

步骤(3-3-2)：若峰值频率位于6.5Hz-8.5Hz之间，则被试者注视着视觉刺激界面的7.5Hz闪烁方块，此时将发出“向左转”命令；

步骤(3-3-3)：若峰值频率位于8.5Hz-12Hz之间，那么被试闭上了双眼精力专注于其呼吸上，此时将发出“向前进”的命令。

8.根据权利要求5所述的方法，其特征在于，所述步骤(4)具体为：

所述单片机控制模块接收到控制指令后，首先进行Newdata布尔值的判断，当确定为新数据传入后，再一次判断该流入数据是否与前序数据相同，若是新数据等于上一条指令对应的数据，且数据串就绪失败，以及新数据不等于上一条指令对应的数据，但是字符串为false时，单片机不进行控制动作；若是不同，则检查字符串是否就位，当string＝true时，将该指令对应动作输出置为低电平，从而控制机器人动作。

Images