CN109015635A - 一种基于脑机交互的服务机器人控制方法 - Google Patents

Abstract

本发明公开了一种基于脑机交互的服务机器人控制方法，包括以下步骤：S1、将机器人控制单元分为机器人运动控制单元、机械臂动作控制单元；机器人控制单元由主控制器进行控制；S2、通过视觉刺激器发出不同频率的视觉刺激使得视觉诱发大脑中产生不同频率的脑电信号；S3、通过TGAM芯片对大脑中的脑电信号进行采集并通过手机APP将不同频率的脑电波信号转化成对机器人的控制指令；S4、手机APP将控制指令通过无线蓝牙发送给机器人上的主控制器；S5、主控制器通过采用机器人速度模糊控制算法与增量式PID控制算法相结合的方式对机器人控制单元进行控制。

Description

一种基于脑机交互的服务机器人控制方法

技术领域

本发明涉及智能机器人领域，尤其涉及一种基于脑机交互的服务机器人控制方法。

背景技术

脑机交互技术是作为一种不依赖人体肌肉以及大脑外神经的通讯与控制技术，它可以让人脑通过脑电波建立起与外部电子设备的控制通道。发明采用脑机交互技术中的视觉诱发脑电技术对服务机器人进行控制从而帮助残障、行动不便的老年人以及肌萎缩症、小儿麻痹症、老年痴呆症患者做一些简单的家务活动。随着脑科学和人工智能技术的快速发展，脑机交互技术与电子设备的结合得到了空前的发展与应用，尤其是最近一段时间，脑机交互技术在服务型机器人方面的研究与应用受到了全球许多研究小组的青睐。目前全世界有近100个研究团队参与研究脑机交互技术在机器人的应用，并取得了很大的成就，国际上将脑机交互技术应用到机器人的比较著名的团队有：

(1)Malaya大学的S.Yahud和N.A.AbuOsman所组成的脑机交互研究团队，成功研制出了脑机交互控制系统来控制机械假手，此机械手能灵活的完成抓、捏、夹等多个动作。

(2)美国杜克大学的米格尔·尼科莱利斯等人通过其设计的脑机交互系统来操控猴子的大脑，从而实现对机械臂动作的控制。

(3)Graz理工大学的ChristophGuger和WernerHarkam等人研制出处理左右手运动想象电位的脑机交互系统用于控制假肢。

(4)2014年，日本的一家电气通信研究所联合其国内相关企业联合研发了一套帮助残障人或老年人做一些日常活动(如控制电视、空调、灯的开关)的脑机交互系统，且使其准确度达到了85％以上。

另外，虽然我国对于脑机交互技术的研究起步较晚，但其发展也是十分迅速的。清华大学，天津大学，上海交通大学等高校的一些团队也已取得了较为先进的研究成果，如清华大学研制的“基于稳态视觉诱发的机器狗踢球控制系统”，天津大学专为神州11号和天宫二号开发的世界首套“在轨脑-机交互神经工效测试系统”，上海交通大学的“基于视觉诱发的控制活体蟑螂系统”。其中，天宫二号上的世界首套“在轨脑-机交互神经工效测试系统”代表了当今脑机交互技术的最高水平。

但是他们设计的控制系统存在以下一些共同的问题：

1、视觉刺激大都采用闪烁的二极管，采集到的脑电信号微弱，辨识困难，体积庞大，不便于通过编程灵活地产生不同的刺激模式，修改和升级也很不方便。

2、采用白色的单图视觉刺激方式作为视觉刺激模式，视觉刺激所诱发的特征信号波形峰值较低、倍频较多、准确率较低，且易伤眼睛。

3、传统的机器人控制是采用PID控制的方法来控制机器人的，其控制精度较低、控制方法较复杂、且不易于调节。

发明内容

本发明目的是解决上述问题，发明一种效率高、便于调节的机器人运动控制方法来控制机器人的运动。

为了实现上述目的，本发明的技术方案是：

一种基于脑机交互的服务机器人控制方法，包括以下步骤：

S1、将机器人控制单元分为机器人运动控制单元、机械臂动作控制单元；机器人运动控制单元中具有控制机器人前进、后退、左转、右转的动作指令；机械臂动作控制单元包括第一舵机、第二舵机、第三舵机、第四舵机；第一舵机控制机械臂肩关节水平旋转，第二舵机控制机械臂肘关节垂直旋转，第三舵机控制机械臂腕关节垂直旋转，第一舵机、第二舵机、第三舵机控制机械臂进行伸展和弯曲动作，第四舵机控制机械臂手部进行抓取、松开动作；机器人控制单元由主控制器进行控制；

S2、通过视觉刺激器发出不同频率的视觉刺激使得视觉诱发大脑中产生不同频率的脑电信号；视觉刺激器通过手机上的APP实现，该APP应用JAVA中的延时机制使得手机屏幕进行不同频率闪烁，其中包含有5.5Hz、7Hz、8.5Hz、10.5Hz、12Hz不同频率闪烁的视觉刺激模块；

S3、通过TGAM芯片对大脑中的脑电信号进行采集，并通过蓝牙发送到手机APP，手机APP应用JAVA中的多线程机制以及快速傅里叶变换，将不同频率的脑电波信号转化成对机器人的控制指令；TGAM芯片外接三个电极，三个电极分别放置于人头部的枕叶区、顶叶区以及人的耳垂或乳突处；

S4、手机APP将转化过的控制指令通过无线蓝牙发送给机器人上的主控制器；

S5、机器人主控制器通过采用机器人速度模糊控制算法与增量式PID控制算法相结合的方式对机器人控制单元进行控制。

进一步的，所述主控制器包括蓝牙模块、电机驱动模块、PID控制模块、电源模块；手机APP通过蓝牙模块与主控制器中的PID控制模块连接，PID控制模块通过电机驱动模块与机器人控制单元连接，电源模块为第一舵机、第二舵机、第三舵机、第四舵机、蓝牙模块、电机驱动模块、PID控制模块提供电力资源。

进一步的，步骤S2中视觉刺激器采用闪烁的黑白相间棋盘格作为视觉刺激器的视觉刺激模式，并且该视觉刺激器采用LCD为载体。

进一步的，步骤S2中视觉刺激器中的视觉刺激模块采用白色光源。

进一步的，步骤S5中的机器人速度模糊控制算法包括机器人速度差采集、速度差模糊化、模糊推理、动作清晰化四个过程；其步骤如下：

S51、通过速度传感器检测到机器人两个电机的转速，并经由机器人主控制器计算出两电机的转速差；

S52、通过速度差模糊化计算出电机转速差与与相应指令速度差之间的误差，将其作为模糊输入量；

S53、对模糊输入量进行模糊推理从而得到机器人所处状态的模糊隶属度函数；

S54、由PID算法对机器人的动作进行清晰化处理，输出调整后对应的左右电机速度差。

进一步的，步骤S52中的机器人速度模糊控制算法采用机器人速度差与机器人相应指令速度差的误差对照的方法，当N小于d时表示基本无偏移，当N在d～2d之间时表示是向左或向右偏移，当N大于2d时表示严重偏移，设变量E为模糊控制算法的输入语言变量，则在其论域中，语言取值为VL、L、Z、R、VR，误差模糊输入论域E＝{N1，N2，···，Nn}的隶属度A＝{A(N1)，A(N2)，···，A(Ni)，···，A(Nn)}，则有：

其中d为误差阈值；VL为严重左偏；L为左偏；Z为无偏移；R为右偏；VR为严重右偏。

进一步的，步骤S54中的增量式PID控制算法采用PWM脉宽调制的方法对直流电动机速度进行控制，其数学原理式为：

其中，c(n)为轮速差，μA为第n次两电机转速差与相应指令的相应速度差存在的误差，Ni为隶属度函数，e(n)为第n次偏差，kp为比例增益系数，ki为积分增益系数，kd为微分增益系数，T为电机转动周期。

与现有技术相比，本发明具有的优点和积极效果是：

本发明采用机器人运动与机械臂动作分别控制的方法来达到控制机器人做一些家务活动的目的，使得对机器人的操控更加简单；并且采用机器人速度模糊控制算法与增量式PID控制算法相结合的方式对机器人进行控制，使得机器人的动作以及定位操作更加精确；另一方面，采用闪烁棋盘格刺激模式代替传统的黑白闪烁块，增强了对脑电波信号的刺激，使得视觉诱电效果明显提高；并且采用白光作为视觉刺激模块进行视觉刺激，相对于其他颜色获得较大幅值的视觉刺激电位信号，脑电波诱发效果好，提高了脑电波处理软件对脑电波信号的识别准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1受试者1相对于光源颜色的SSVEP频谱图；

图2受试者1相对于刺激模式的SSVEP频谱图；

图3为视觉刺激器的界面图；

图4为机器人控制单元框图；

图5为机器人移动过程示意图；

图6为机器人速度模糊控制算法结构框图；

图7为PID控制系统原理图；

图8为直流电机PID控制程序流程图；

图9为阈值时间与识别正确率的关系图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

1、视觉刺激器的设计

由于SSVEP受闪光颜色的影响很大，所以诱发的SSVEP幅值也会受到一定的影响。当刺激频率为8.5Hz时，对其中5名受试者用不同颜色的刺激模块进行视觉刺激，图1所示为受试者1相对于光源颜色的SSVEP频谱图，全体受试者的实验数据如表1所示。

表1各种颜色的光诱发的SSVEP幅值比较表(SSVEP幅值/μV)

如图1所示，以白色光为视觉刺激模块的视觉刺激所诱发的特征电位的幅值最高，以紫光和黄光为视觉刺激模块的视觉刺激所诱发的特征电位的幅值仅次于白光，而红光、绿光与蓝光所诱发的特征电位的幅值最低，且不同的受试者之间有一定的差异，而且差异较大。这是因为视锥细胞中的感光色素在人眼对颜色的感光过程起着决定性的作用，而视锥色素又对蓝色、绿色和红色最为敏感，且白光是由红、绿、蓝等三种颜色复合而成，因此白光能分别使这3种不同的视锥细胞同时产生兴奋，以白光为视觉刺激模块的视觉刺激所诱发的特征电位幅值最大，黄色是由红、绿两种颜色复合而成，紫光是由红、蓝两色复合而成，而这两种颜色又能分别使两种不同的视锥细胞同时兴奋，所以相对于其他单色光来说，黄光和紫光所引起的视觉诱发电位幅值较大。由此可知，在设计基于视觉诱发电位的脑-机接口系统时，用白光作为视觉刺激模块进行视觉刺激，相对于其他颜色可以获得较大幅值的视觉刺激电位信号，从而提高系统对其的识别准确率。因此本系统采用白色的光作为视觉刺激器中视觉刺激模块的颜色。

以液晶显示(LCD)为载体的视觉刺激器的视觉刺激模式可分为单图刺激和模式翻转刺激两种，而模式翻转刺激模式又分为棋盘格和栅栏刺激模式。

由于稳态视觉诱发电位受视觉闪烁模式的影响也比较大，所以诱发的稳态视觉诱发的幅值也会受到一定的影响。当刺激频率为8.5Hz时，对其中5名受试者用不同视觉刺激模式的视觉刺激模块进行视觉刺激，图2所示为受试者1相对于刺激模式的SSVEP频谱图，全体受试者的实验数据关系如表2所示。

表2各刺激模式所诱发的稳态视觉诱发电位幅值对比表(SSVEP幅值/μV)

综上所述，由于模式翻转中的棋盘格刺激模式相较单图刺激和栅格刺激所诱发的稳态视觉诱发电位的幅值要大，易于识别，所以本系统采用棋盘格作为视觉刺激器的视觉刺激模式。

2、脑机交互界面的设计与实现

由上节视觉刺激模式的设计实验可以看出棋盘格的视觉刺激方式相比单一刺激模式和模式翻转具有更好的、较为明显的视觉刺激效果。本系统的视觉刺激器的界面设计方式如图3所示。

2.1机器人控制方法

机器人控制方法部分最重要的是设计出高效可行的机器人控制单元，机器人控制单元生成部分由机器人运动控制单元和机械臂动作控制单元组成，是利用视觉诱发电位产生不同频率的脑电波从而产生不同的控制指令，来实现对服务型机器人的运动和机械臂的动作的有效控制。机器人控制单元框图如图4所示。

(1)机器人运动学模型

本文所研究的服务机器人是带有机械臂的双驱动履带小车机器人，它主要由左右两个电机进行驱动，所以对左右两个电机进行不同速度与方向控制即可实现对该机器人的运动控制。

设机器人左右两个电机速度分别为D1和D2且当速度大于零时表示电机正转，当速度小于零时表示电机反转，B＝D1/D2表示两电机速度之比，S为左右两轮间的距离，R为机器人的转弯半径，θ为机器人转角，L1为左电机所移动得距离，L2为右电机所移动的距离，当机器人从位置P移动到位置Q时，如图5机器人移动过程示意图所示，左右两电机移动距离分别为：

L₁＝θR (1)

L₂＝θ(R+S) (2)

由式(1)得：

由式(2)得：

由于两电机的转角相同，所以：

若机器人从位置P到位置Q用时为t秒，机器人左右两轮的周长为C，又由移动距离＝电机转速×时间×轮周长，所以有：

L₁＝D₁×t×C (6)

L₂＝D₂×t×C (7)

由式(6)和式(7)分别代入L1/R＝L2/(R+S)，又由于B＝D1/D2，所以有：

由上式可知机器人移动距离和转弯半径的大小只与两电机的速度比有关，既：

当B＝0时，即左电机不转，右电机转动时R＝0，机器人原地左转；当B＝1时，左右电机速度相同时，R趋近于无穷大，此时机器人沿直线进行运动；当0<B<1时，左电机速度小于右电机速度，机器人沿转弯半径R左转，且当机器人两电机速度D1，D2均大于零时向前左转弯，当D1，D2均小于零时向后左转弯；当1<B时，即右电机速度小于左电机速度时，机器人沿转弯半径R右转弯，且当机器人两电机速度D1，D2均大于零时向前右转弯；当D1，D2均小于零时向后右转弯。

综上所述，只需控制机器人左右两电机之间的速度比就可以达到控制机器人按不同的运动方式进行运动的目的。但在实际实验操作的过程中机器人往往会按一定的转弯半径移动，机器人两电机之间的速度比可以通过转弯半径来求得，即B＝R/(S+R)，又由于S是已知的，因此机器人两电机之间的速度比与R的大小有关，例如两电机之间的距离S＝30cm，机器人的转弯半径R＝90cm，则机器人左右两电机之间的转速比B＝0.75，若左电机的速度D1＝300r/min，则右电机的速度D2＝400r/min，既D1与D2存在一定的速度差M，当速度差发生改变时即机器人偏离了与控制指令相对应的机器人运动方式既(运动路线)则启用PID控制算法进行自动调整两轮的速度使电机速度差等于或无限接近于M。

(2)模糊-PID控制算法

机器人速度模糊控制算法主要由机器人速度差采集、速度差模糊化、模糊推理、PID动作清晰化等四个过程组成。如图6所示为机器人速度模糊控制算法结构框图。

机器人通过其主控制器动态扫描速度传感器信息及时计算出机器人两驱动电机的速度情况，当机器人相对于控制指令所要求机器人动作速度发生变化时，控制系统检测速度传感器的反馈值来调整左右两驱动电机的转速以减小机器人的偏移误差。

假设单片机检测到机器人的两电机转速差与相应指令的相应速度差存在误差为N，并将其作为模糊输入量，然后再对其进行模糊推理从而得到机器人所处状态(偏离或不偏离)的模糊隶属度函数A(N)，最后再由PID算法对机器人的动作进行清晰化处理，输出调整后对应的左右电机速度差G，经过一系列闭环控制使机器人能准确的完成任务。

当单片机通过速度传感器检测到的机器人速度差与机器人相应指令速度差的误差N小于d时表示基本无偏移(即d是误差阈值)，当N在d～2d之间时表示是向左或向右偏移，当N大于2d时表示严重偏移，设变量E为模糊控制算法的输入语言变量，则在其论域中，语言取值为“VL”(严重左偏)，“L”(左偏)，“Z”(无偏移)，“R”(右偏)，“VR”(严重右偏)，误差模糊输入论域E＝{N1，N2，···，Nn}的隶属度A＝{A(N1)，A(N2)，···，A(Ni)，···，A(Nn)}，则有：

由上式可以看出两电机转速差与相应指令的相应速度差N_i越大，机器人无偏移隶属度A(N_i)就越小，相应输出的左右两轮的转速差G就越大，因此隶属度与轮速差存在负相关关系。将模糊隶属度A(N)函数作为清晰化环节的输入量参与PID控制，通过控制比例、积分和微分环节使机器人运动清晰化，从而使机器人相对于控制指令所要求的状态不发生偏移。

PID控制算法

PID控制算法是机器人运动控制中最为的常用方法之一，具有结构简单、稳定性好、消除余差、克服扰动的优点，其表达式为：

c(k)＝k_pe+k_i∑e+k_d(e(k)-e(k-1)) (10)

其中，e表示两电机转速差与相应指令的相应速度差存在的误差，k_p表示比例系数，k_i表示积分系数，k_d表示微分系数，c(k)表示输出量。

位置式PID、增量式PID为两种常见的PID控制算法。如图7所示为PID控制系统原理图。

位置式PID算法

由于调节器的调节动作是连续的，任一时刻的控制量c都与执行机构的位置一一对应，由式(11)可知当该式全量输出的是机器人左右两轮的轮速，又由于任一时间内偏差信号的累加是发生在积分部分的，所以该机器人控制系统位置式PID控制算法实现起来对主控芯片的开销太大，不利于系统的快速响应，因此我们提出改进的PID控制算法-增量式PID控制方法。

增量式PID算法

在该机器人PID闭环控制系统中我们采用PWM脉宽调制的方法对直流电动机速度进行控制，其数学原理式为：

其中，c(n)为轮速差，Ni为第n次两电机转速差与相应指令的相应速度差存在的误差，Ni为隶属度函数，e(n)为第n次偏差，kp为比例增益系数，ki为积分增益系数，kd为微分增益系数。

直流电机PID控制程序流程图如图8所示。

综上所述，由于增量式PID算法不需要累加，其增量只和相邻的几次偏差采样值有关，计算精度对输出量的影响不大，而位置式PID控制算法与前几次偏差值息息相关，易产生误差，增量式算法输出的量就是控制量的增量，位置式算法输出的是控制量本身，易产生误动作影响，因此本文采用模糊—增量式PID控制算法对机器人系统进行控制。

PID参数的调节

PID参数的调节主要是确定比例环节系数Kp、积分环节系数Ki、微分环节系数Kd以及控制器的采样周期T，其主要目的是当采样周期确定后，调节PID各个环节的参数，使得控制器控制的特性与被控系统特性尽量匹配，改善被控系统的响应速度，稳态误差以及稳定性，以求取得最佳效果，调节过程是：逐渐增大比例环节的系数Kp，使系统出现等幅震荡，记录此时的比例系数为临界比例系数Ku，相邻两个波峰间的时间间隔记录为临界震荡周期Tu，然后根据公式求出各个参数，表3为经验公式。

表3 PID参数调节公式

调节参数的一般原则为“先P再I后D”，如果控制曲线不够理想，可根据Kp,Ki,Kd,对控制器起到的主要作用再作进一步调整。

由香农采样规则可知，机器人控制器采样周期最大值不能超过外部被采样信号中最高频率信号周期的二分之一，最小值不能低于外部被采样信号中最高频率信号周期的八分之一，本系统中机器人电机的PWM中信号的最小周期为50us,由于机器人电机普遍存在滞后，所以采样周期定位15us。

由于电机数学模型为：

其中K＝60，L＝0.0576s，T＝0.0138

根据机器人电机模型在MATLAB中建立机器人PID控制simulink仿真，并根据PID控制模块的调节方法，经多次调节实验得当K_p＝0.19,K_i＝0.030，K_d＝0.0055时控制器的超调量小，过渡时间短，稳定性好。

本系统的主要功能是利用脑机交互技术中的诱发脑电(稳态视觉诱发)来分别控制服务机器人的运动和机械臂特定动作，具体操作是打开手机APP，该APP应用JAVA中的延时机制使得手机屏幕进行不同频率闪烁，其中包含有5.5Hz、7Hz、8.5Hz、10.5Hz、12Hz不同频率闪烁的视觉刺激模块；患者或老人双眼盯视APP上机器人动作视觉刺激模块(5.5Hz诱发)或机械臂动作刺激模块(7Hz诱发)，经过一段时间(小于3秒)大脑皮层就会产生与该刺激模块一样的频率，从而进入机器人转向刺激界面或机械臂动作刺激界面，然后再通过注视机器人转向刺激界面或机械臂动作刺激界面的相应刺激模块从而控制机器人做相应的动作。(如注视机器人转向刺激界面(机械臂动作刺激界面)的前进(抓取)刺激模块，经过一段时间(小于3秒)，则人的大脑皮层就会产生相应的频率，然后再通过TGAM芯片对大脑中的脑电信号进行采集，并通过蓝牙发送到手机APP，手机APP应用JAVA中的多线程机制以及快速傅里叶变换，将不同频率的脑电波信号转化成对机器人的控制指令，然后通过无线蓝牙将此控制指令发送给机器人(机械臂)从而控制其作出相应的动作)。

3系统实验与结果分析

系统实验和结果分析是本文研究的重要组成部分，通过系统实验与结果分析不仅可以验证该系统设计的合理性，并且还可以为进一步改进提供大量的数据支撑，本系统研究过程中进行了大量的实验工作，其包括对实验环境、实验条件、试验方法等进行设计，最后对实验结果进行大量的分析。

3.1实验环境

在实验室环境下，我们随机挑选了10名(5名男生5名女生)22-27岁，身体健康、视力正常且身体各方面指标都良好的受试者，这些受试者在实验之前睡眠充足，头脑清醒，注意力集中，且对实验原理、目的和要求均具有一定的了解。

本实验采用Nuresky公司生产的TGAM芯片外接三个电极分别放置于人头部的枕叶区、顶叶区以及人的耳垂或乳突处并在实验者头皮与采集电极处涂抹导电胶保证电极和头皮充分接触，视觉刺激器按要求放置在受试者正前方30-50cm处，在无外界干扰且相对安静的实验室环境下，受试者处于相对安逸的状态下集中精力注视刺激器的某一闪烁模块来进行脑电信号的采集和处理，在注视刺激器的同时保持肢体静止无运动且尽量保持不眨眼或少眨眼，且初次实验之前，受试者首先对视觉刺激器上的各视觉刺激单元进行约30分钟的熟悉，平静一段时间以后再进行测试，之后的测试无需训练，可直接进行测试。

3.2实验条件设置

在实验室条件下实验者首先在一个预定地点C处放置一个长方形的盒子作为被取物，然后选取A处为机器人的初始位置，机器人所处的初始位置A与被取物所在的位置C有一定的距离，B处为A和C的中点，实验者的目的在于通过实验者所设计的视觉诱发刺激器来刺激实验者的眼睛，从而使实验者大脑中同步产生相同频率的脑电信号并通过相应的脑电处理软件将特征脑电信号转化成机器人的控制指令来控制机器人运动到目标物地点B，然后通过控制机器人自身所携带的机械臂产生动作来抓取目标物，最后按原路返回原始位置并将所取得物品放入指定的圆桶里，从而实现一个完整的脑机交互控制实验。

3.3实验方法

首先，对10名实验者进行不同阈值时间下视觉诱发5.5Hz、7Hz、8.5Hz、10.5Hz、12Hz等五个频率的正确识别率，根据正确识别率的大小，求出合适的阈值时间。其次，根据所求出的阈值时间，在相应的阈值时间内对10名实验者进行系统实验让其完成取物-返回-放物的整个过程，从而验证系统设计的可行性和可靠性。

具体实验流程如下：实验者打开所设计的视觉刺激器软件，其中包含5.5Hz、7Hz、8.5Hz、10.5Hz、12Hz视觉刺激模块。实验者在阈值时间1s、2s、4s、8s、12s、16s的时间范围内分别对所设计的各频率进行视觉刺激，求出各频率在相应阈值时间的正确识别率，并根据识别的正确率求出相应的时间阈值。

在求出时间阈值的前提下，打开机器人控制视觉刺激APP双眼盯视视觉刺激器主界面中的机器人运动视觉刺激闪烁模块从而使实验者大脑中产生5.5Hz频率的稳态视觉诱发电位并进入机器人运动方向选择界面，通过操作机器人运动方向来使机器人到达预定地点的一个长方形盒子前，其中机器人前进为5.5Hz,后退为7Hz，左转为8.5Hz，右转为10.5Hz，返回主界面为12Hz，然后实验者再通过双眼注视视觉刺激器主界面由7Hz诱发的机械臂动作视觉刺激闪烁模块从而使实验者大脑中产生7Hz频率的稳态视觉诱发电位并进入机械臂动作选择界面，其中机械臂第一舵机为5.5Hz,第二舵机为7Hz，第三舵机是8.5Hz,第四舵机为10.5Hz,返回是12Hz，通过操作机械臂中各个舵机的旋转来抓取预定地点的长方形盒子其中其中机械臂左转为5.5Hz,右转为7Hz，返回为8.5Hz。最后再重复前两步来使机器人返回出发地点并完成整个取放的过程。

每个实验者在每个视觉刺激闪烁频率模块下进行6次视觉刺激实验，每次刺激间隔10秒，以保证实验者眼睛得到适当的休息，杜绝视觉疲劳和保护眼睛。实验者根据预先设定好的控制方案分别注视不同频率的相应闪烁模块，同时系统软件对所采集到的不同EEG信号进行去噪、特征提取和分类识别后将其转化成相应的控制指令并对其控制指令的识别正确率和识别时间进行对比验证，最后对实验结果进行分析。

3.4实验结果与分析

实验者打开所设计的视觉刺激器软件，其中包含5.5Hz、7Hz、8.5Hz、10.5Hz、12Hz视觉刺激模块。实验者在阈值时间1s、2s、4s、8s、12s、16s的时间范围内分别对所设计的各频率进行视觉刺激，求出各频率在相应阈值时间的正确识别率，并根据识别的正确率求出相应的时间阈值。每次实验都要记录总的视觉诱发次数、视觉诱发正确的次数、阈值时间以及正确率，5.5Hz视觉诱发正确识别率计算样表如表3.1所示。

表3.1 5.5Hz视觉诱发正确识别率计算样表

根据表3.1的计算方法对10名实验者在频率为5.5Hz、7Hz、8.5Hz、10.5Hz、12Hz等五个频率下以及6个不同阈值时间下进行视觉诱发正确率实验，最终得各频率在不同阈值时间下视觉诱发正确识别率统计表如表3.2-3.6所示以及阈值时间与识别正确率的折线关系图如图9所示。

表3.2不同阈值时间下视觉诱发5.5Hz的正确识别率(％)

表3.3不同阈值时间下视觉诱发7Hz的正确识别率(％)

表3.4不同阈值时间下视觉诱发8.5Hz的正确识别率(％)

表3.5不同阈值时间下视觉诱发10.5Hz的正确识别率(％)

表3.6不同阈值时间下视觉诱发12Hz的正确识别率(％)

由表3.2-3.6各频率视觉诱发正确率统计表及图9阈值与识别正确率折线关系图可知：当阈值时间1s≤t≤5s时视觉诱发识别正确率R<80％，当阀值时间5s<t≤8s时视觉诱发识别正确率80％<R<90％，当阀值时间8s<t≤16s时视觉诱发识别正确率90％≤R<95％，并且随着阈值时间的增加正确率上升的速率在不断减小。随着阈值时间的增加视觉诱发识别的正确率也在不断增加，然而随着视觉诱发时间的增加容易导致人眼的视觉疲劳增加人眨眼的次数从而产生肌电等噪声信号影响视觉诱发的正确率，又由于视觉诱发阈值时间在8秒时视觉诱发识别的正确率大于90％，所以本系统每一步的视觉诱发阈值时间取8秒。

10名实验者分别对机器人运动和机械臂动作进行操作实验，完成整个取物-返回-放物的整个过程需要14次成功的诱发操作，对每位实验者所用的总的诱发次数、总耗时、平均每步耗时以及成功率进行记录。

表3.7系统实验成功率

从表3.7可以看出在每步视觉诱发阈值时间内能成功完成整个实验过程的成功率都在87.5％以上且能按照实验者意图准确的对机器人进行控制从而完成整个控制实验过程。

由以上实验可知，在实验室进行的多组实验中系统基本能够完成预期的目标，并实现对机器人运动和机械臂动作的有效控制。由表3.1和图9可知，本系统发送控制命令正确率高于87.5％，发送一条正确命令的时间低于10s。实验结果表明，本文所研究算法的准确性以及控制方法是可行且有效的，具有较高的应用价值。

Claims (7)

1.一种基于脑机交互的服务机器人控制方法，其特征在于：包括以下步骤：

S1、将机器人控制单元分为机器人运动控制单元、机械臂动作控制单元；机器人运动控制单元中具有控制机器人前进、后退、左转、右转的动作指令；机械臂动作控制单元包括第一舵机、第二舵机、第三舵机、第四舵机；第一舵机控制机械臂肩关节水平旋转，第二舵机控制机械臂肘关节垂直旋转，第三舵机控制机械臂腕关节垂直旋转，第一舵机、第二舵机、第三舵机控制机械臂进行伸展和弯曲动作，第四舵机控制机械臂手部进行抓取、松开动作；机器人控制单元由主控制器进行控制；

S2、通过视觉刺激器发出不同频率的视觉刺激使得视觉诱发大脑中产生不同频率的脑电信号；视觉刺激器通过手机上的APP实现，该APP应用JAVA中的延时机制使得手机屏幕进行不同频率闪烁，其中包含有5.5Hz、7Hz、8.5Hz、10.5Hz、12Hz不同频率闪烁的视觉刺激模块；

S3、通过TGAM芯片对大脑中的脑电信号进行采集，并通过蓝牙发送到手机APP，手机APP应用JAVA中的多线程机制以及快速傅里叶变换，将不同频率的脑电波信号转化成对机器人的控制指令；TGAM芯片外接三个电极，三个电极分别放置于人头部的枕叶区、顶叶区以及人的耳垂或乳突处；

S4、手机APP将转化过的控制指令通过无线蓝牙发送给机器人上的主控制器；

S5、机器人主控制器通过采用机器人速度模糊控制算法与增量式PID控制算法相结合的方式对机器人控制单元进行控制。

2.如权利要求1所述的基于脑机交互的服务机器人控制方法，其特征在于：所述主控制器包括蓝牙模块、电机驱动模块、PID控制模块、电源模块；手机APP通过蓝牙模块与主控制器中的PID控制模块连接，PID控制模块通过电机驱动模块与机器人控制单元连接，电源模块为第一舵机、第二舵机、第三舵机、第四舵机、蓝牙模块、电机驱动模块、PID控制模块提供电力资源。

3.如权利要求1所述的基于脑机交互的服务机器人控制方法，其特征在于：步骤S2中视觉刺激器采用闪烁的黑白相间棋盘格作为视觉刺激器的视觉刺激模式，并且该视觉刺激器采用LCD为载体。

4.如权利要求1所述的基于脑机交互的服务机器人控制方法，其特征在于：步骤S2中视觉刺激器中的视觉刺激模块采用白色光源。

5.如权利要求1所述的基于脑机交互的服务机器人控制方法，其特征在于：步骤S5中的机器人速度模糊控制算法包括机器人速度差采集、速度差模糊化、模糊推理、动作清晰化四个过程；其步骤如下：

S51、通过速度传感器检测到机器人两个电机的转速，并经由机器人主控制器计算出两电机的转速差；

S52、通过速度差模糊化计算出电机转速差与与相应指令速度差之间的误差，将其作为模糊输入量；

S53、对模糊输入量进行模糊推理从而得到机器人所处状态的模糊隶属度函数；

S54、由PID算法对机器人的动作进行清晰化处理，输出调整后对应的左右电机速度差。

6.如权利要求1所述的基于脑机交互的服务机器人控制方法，其特征在于：步骤S52中的机器人速度模糊控制算法采用机器人速度差与机器人相应指令速度差的误差对照的方法，当N小于d时表示基本无偏移，当N在d～2d之间时表示是向左或向右偏移，当N大于2d时表示严重偏移，设变量E为模糊控制算法的输入语言变量，则在其论域中，语言取值为VL、L、Z、R、VR，误差模糊输入论域E＝{N1，N2，···，Nn}的隶属度A＝{A(N1)，A(N2)，···，A(Ni)，···，A(Nn)}，则有：

其中d为误差阈值；VL为严重左偏；L为左偏；Z为无偏移；R为右偏；VR为严重右偏。

7.如权利要求1所述的基于脑机交互的服务机器人控制方法，其特征在于：步骤S54中的增量式PID控制算法采用PWM脉宽调制的方法对直流电动机速度进行控制，其数学原理式为：

其中，c(n)为轮速差，μA为第n次两电机转速差与相应指令的相应速度差存在的误差，Ni为隶属度函数，e(n)为第n次偏差，kp为比例增益系数，ki为积分增益系数，kd为微分增益系数，T为电机转动周期。