CN112247981A - 基于脑机接口的下棋助残机械臂异步系统及方法 - Google Patents

Abstract

本申请公开了一种基于脑机接口的下棋助残机械臂异步系统。其中，包括脑‑机接口模块和算法模块用于采集用户的脑电信号并发送至机械臂模块；机械臂模块用于接收用户控制命令，并在棋盘模块上执行用户控制命令；对弈模块用于从ROS智能物联平台接收机械臂模块执行的用户控制命令，计算下一步的对弈控制命令，启动模块用于通过采集用户唇部区域的肌电信号，将其转换为状态控制命令，通过ROS智能物联平台切换下棋助残机械臂异步系统的状态。本申请依据多个模块以及ROS智能物联平台组成的下棋助残机械臂异步系统，使其能够更加全面、精准的帮助用户实现人机下棋，从而提高用户的逻辑思维能力、规则把控能力、提高记忆力、缓解压力和提高抗压扛挫折能力。

Description

基于脑机接口的下棋助残机械臂异步系统及方法

技术领域

本申请中涉及设备信息建模技术，尤其是一种基于脑机接口的下棋助残机械臂异步系统及方法。

背景技术

下棋是一种博弈的体育娱乐活动，它有助于提高人的逻辑思维能力、规则把控能力、提高记忆力、缓解压力和提高抗压扛挫折能力。但这对于特别是丧失了上肢的残疾人来说，下棋是一件极为困难的事情。而且下棋至少需要两个玩家才能开始，但很多时候也不容易找到愿意与之对弈的玩家。虽然计算机可以利用预先编写的程序以及互联网实现虚拟对弈，但缺乏真实感。目前我国残疾人总数超过8500万，其中肢体残疾人数近2500万。对残疾人的关爱并帮他们在社会上正常生活是社会责任的体现。但是传统的棋具和现有的自动下棋系统并不支持上述残疾人的使用。脑机接口技术是交互技术的一种，它可以实现对被控对象无接触的控制。非常适合上述人群使用。ROS平台作为一个中间体，实现了多个功能模块的相互联系。

进一步的，脑机接口(brain-computer interface，BCI)，又称之为：大脑端口(direct neural interface)或者脑机融合感知(brain-machine interface)，它是在人或动物脑(或者脑细胞的培养物)与外部设备间建立的直接连接通路，该通路用于两者间信息交换。通过该通道，人们可以在不用肢体接触的情况下直接由大脑发出控制指令。可以理解的，这样做可以有效增强身体严重残疾的患者与外界交流或控制外部环境的能力,以提高患者的生活质量。脑机接口技术是一种涉及神经科学、信号检测、信号处理、模式识别等多学科的交叉技术。

ROS(Robot Operating System)是机器人操作系统，ROS是用于编写机器人软件程序的一种具有高度灵活性的软件架构。它包含了大量工具软件、库代码和约定协议，旨在简化跨机器人平台创建复杂、鲁棒的机器人行为这一过程的难度与复杂度。ROS平台的存在大大提高了机器人代码的复用率，推进了机器人研究的发展。

诱发电位主要有视觉诱发电位、听觉诱发电位以及触觉诱发电位三种。视觉诱发电位由于简单、方便被广泛应用于脑电信号的研究中。当视觉收到光或者图形闪烁等刺激时，脑电信号的电位会发生变化，这些电位的变化就是视觉诱发电位。视觉诱发电位可以大致分为三类：1.瞬时视觉诱发电位(Transient Visual EvokedPotential，TVEP)；2.稳态视觉诱发电位(Steady-State Visual EvokedPotential,SSVEP)；3.伪随机码视觉诱发电位。

肌电信号(EMG)是众多肌纤维中运动单元动作电位(MUAP)在时间和空间上的叠加。它的使用方式与脑电信号类似。

相关技术中，尚未存在一种可以精准帮助用户实现控制棋子的下棋助残机械臂异步系统，这也成为了本领域技术人员需要解决的问题。

申请内容

本申请实施例提供一种基于脑机接口的下棋助残机械臂异步系统、装置、电子设备及介质，本申请实施例用于解决相关技术中存在的没有可以帮助用户实现控制棋子的下棋助残机械臂异步系统的问题。

其中，根据本申请实施例的一个方面，提供的一种基于脑机接口的下棋助残机械臂异步系统，包括脑-机接口模块、算法模块、机械臂模块、棋盘模块、对弈模块、启动模块以及ROS智能物联平台，其中：

所述脑-机接口模块和所述算法模块用于采集用户的脑电信号，通过ROS智能物联平台将其转换为用户控制命令发送至所述机械臂模块；

所述机械臂模块用于接收所述用户控制命令，并在所述棋盘模块上执行所述用户控制命令；

所述对弈模块用于从ROS智能物联平台接收所述机械臂模块执行的所述用户控制命令，计算下一步的对弈控制命令，并通过ROS智能物联平台发送给所述机械臂模块以执行所述对弈控制命令；

所述启动模块用于通过采集用户唇部区域的肌电信号，将其转换为状态控制命令，通过ROS智能物联平台切换所述下棋助残机械臂异步系统的状态。

可选地，在基于本申请上述系统的另一个实施例中，包括：

所述棋盘模块包括棋子，棋盘，棋子托架和托架收纳盒；其中，

所述棋盘包括15条纵线以及15条横线；

所述棋子托架以3*5的矩阵盛放14颗棋子，所述3*5的矩阵的中央部位具有用于机械臂定位的定位部；

所述棋盘的相对两边有多个所述棋子托架，所述棋子托架在取放棋子的一侧具有凹槽，在取放棋子的相反一侧具有与所述凹槽形状适配的凸起部，用来堆叠多个所述棋子托架；

所述棋子托盘收纳盒用于放置没有放置棋子的棋子托架。

可选地，在基于本申请上述系统的另一个实施例中，包括：

所述脑-机接口模块和所述算法模块用于采集用户的脑电信号，并将其转换为控制命令发送至机械臂模块，

所述脑-机接口模块以及所述算法模块通过采集用户的脑电信号，确定所述用户在所述棋盘中放置棋子位置的行号；以及，通过采集用户的脑电信号，确定所述用户在所述棋盘中放置棋子位置的列号；

将包含所述棋子位置行号以及列号的控制命令发送给所述机械臂模块。

可选地，在基于本申请上述系统的另一个实施例中，包括：

所述机械臂模块包括控制部分以及活动部分；

其中，所述控制部分包括信号接收设备、控制计算机、关节电机驱动和关节限位开关；其中，所述信号接收设备用于通过ROS智能物联平台接收所述用户控制命令，所述用户控制命令包括夹取棋子、放置棋子和移动棋子托盘的至少一种；所述控制计算机用于向关节电机驱动输出电机控制信号；

所述活动部分包含六个自由度档位，所述自由度档位用于以不同角度旋转所述机械臂模块。

可选地，在基于本申请上述系统的另一个实施例中，包括：

所述用户控制命令用于确定当前落子位置数据，所述对弈模块用于基于所述当前落子位置数据，计算下一步落子位置。

可选地，在基于本申请上述系统的另一个实施例中，包括：

基于采集到的用户唇部区域的肌电信号，确定所述肌电信号对应的控制指令；

基于所述肌电信号对应的控制指令；切换所述系统的工作状态。

其中，根据本申请实施例的一个方面，提供的一种基于脑机接口的下棋助残机械臂异步方法，其特征在于，包括：

利用启动模块采集采集用户唇部区域的肌电信号参数，并基于所述肌电信号参数确定启动棋局；

利用脑-机接口模块采集用户的脑电信号参数，所述脑电信号参数中包括对应的通道参数；

利用算法模块对所述多脑电信号参数进行预处理，并基于所述脑电信号参数的通道参数，确定所述通道参数相关联的控制指令；

利用机械臂模块执行所述控制指令对应的操作。

可选地，在基于本申请上述方法的另一个实施例中，包括：基于所述肌电信号参数确定启动棋局，包括：

获取多个通道的信号采样率以及通道长度；

利用瞬时能量算法以及双阈值检测算法，计算每个通道对应的信号开始点位置以及信号终结点位置；

利用所述每个通道对应的信号开始点位置以及信号终结点位置，采集每个通道对应的多个待计算信号参数，所述待计算信号参数包括原始信号参数、信号平均绝对值参数以及信号均方根参数；

根据所述每个通道对应的多个待计算信号参数，确定是否启动棋局。

可选地，在基于本申请上述方法的另一个实施例中，所述基于所述脑电信号参数的通道参数，确定所述通道参数相关联的控制指令，包括：

将多个通道对应的所述脑电信号参数分别进行小波包分解算法，得到多个对应的重构信号参数；

基于典型关联分析算法，分别计算每个通道对应的重构信号参数以及多个控制指令参数的相关系数参数；

基于多个所述相关系数参数，确定所述通道参数相关联的控制指令。

可选地，在基于本申请上述方法的另一个实施例中，所述基于多个所述相关系数参数，确定所述通道参数相关联的控制指令，包括：

选取多个所述相关系数参数中，数值最大的目标相关系数参数；

将所述目标相关系数参数与多个通道对应的频点进行一一匹配；

将所述多个通道对应的频点中，满足预设范围的频点对应的控制指令确定为所述通道参数相关联的控制指令。

根据本申请实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任一所述基于脑机接口的下棋助残机械臂异步系统的操作。

本申请公开了一种基于脑机接口的下棋助残机械臂异步系统。其中，本申请中的下棋助残机械臂异步系统包括脑-机接口模块和算法模块用于采集用户的脑电信号，通过ROS智能物联平台将其转换为用户控制命令发送至机械臂模块；机械臂模块用于接收用户控制命令，并在棋盘模块上执行用户控制命令；对弈模块用于从ROS智能物联平台接收机械臂模块执行的用户控制命令，计算下一步的对弈控制命令，并通过ROS智能物联平台发送给机械臂模块以执行对弈控制命令；启动模块用于通过采集用户唇部区域的肌电信号，将其转换为状态控制命令，通过ROS智能物联平台切换下棋助残机械臂异步系统的状态。本申请依据多个模块以及ROS智能物联平台组成的下棋助残机械臂异步系统，使其能够更加全面、精准的帮助用户实现人机下棋，从而提高用户的逻辑思维能力、规则把控能力、提高记忆力、缓解压力和提高抗压扛挫折能力。

下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：

图1为根据本申请实施方式提出的一种基于脑机接口的下棋助残机械臂异步的结构示意图；

图2为本申请实施方式提出的棋盘模块的平面示意图；

图3为本申请实施方式提出的机械臂的工作流程图；

图4为本申请实施方式提出的棋子的三向图；

图5-图7为本申请实施方式提出的棋子与棋子托盘的3D视图；

图8为本申请实施方式提出的基于脑机接口的下棋助残机械臂异步系统的工作流程图；

图9为根据本申请实施方式提出的一种基于脑机接口的下棋助残机械臂异步的方法示意图；

其中，1011为脑-机接口模块、1012为算法模块、1013为机械臂模块、1014 为棋盘模块、1015为对弈模块、1016为启动模块、1017为ROS智能物联平台、 10141为棋子，10142为棋盘，10143为棋子托架、10144为棋子托盘收纳盒。

具体实施方式

现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，不作为对本申请及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

下面结合图1-图8来描述根据本申请示例性实施方式的用于进行基于脑机接口的下棋助残机械臂异步系统。需要注意的是，下述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。

本申请还提出一种基于脑机接口的下棋助残机械臂异步系统。

图1示意性地示出了根据本申请实施方式的一种基于脑机接口的下棋助残机械臂异步系统的流程示意图。如图1所示，其中包括：

包括脑-机接口模块、算法模块、机械臂模块、棋盘模块、对弈模块、启动模块以及ROS智能物联平台，其中：

所述脑-机接口模块和所述算法模块用于采集用户的脑电信号，通过ROS智能物联平台将其转换为用户控制命令发送至所述机械臂模块；

所述机械臂模块用于接收所述用户控制命令，并在所述棋盘模块上执行所述用户控制命令；

所述对弈模块用于从ROS智能物联平台接收所述机械臂模块执行的所述用户控制命令，计算下一步的对弈控制命令，并通过ROS智能物联平台发送给所述机械臂模块以执行所述对弈控制命令；

所述启动模块用于通过采集用户唇部区域的肌电信号，将其转换为状态控制命令，通过ROS智能物联平台切换所述下棋助残机械臂异步系统的状态。

其中，如图1所示，为根据本申请实施方式的基于ROS和脑机接口的下棋助残机械臂系统的结构示意图以及平面示意图。本申请提出的基于脑机接口的下棋助残机械臂系统，包括脑-机接口模块1011和算法模块1012、机械臂模块 1013、棋盘模块1014、对弈模块1015和启动模块1016。需要说明的是，上述的多个模块的信息交会可以布置在ROS智能物联平台1017的操作系统上。

具体而言，ROS智能物联平台1017是一个能够整合资源的框架和接口，使得资源之间能够共享使用使得各种功能、各种软件的重复利用率增加。

在本申请中，脑-机接口模块1011和算法模块1012、机械臂模块1013和图像识别系统模块的软件程序部分均可以构建在ROS智能物联平台1017上，在该平台上实现信息的传递交流。其中，脑-机接口模块1011和算法模块1012为控制器，机械臂为被控对象，图像识别系统模块为反馈器。ROS智能物联平台1017 主要安装在Ubuntu操作系统中，一种方式中，该Ubuntu系统版本可以为Ubuntu 16.04版本。

进一步的，本申请实施例中的脑-机接口模块1011和算法模块1012可以采用SSVEP数据模块。需要说明的是，SSVEP是指当受到一个固定频率的视觉刺激的时候，人的大脑视觉皮层会产生一个连续的与刺激频率有关(刺激频率的基频或倍频处)的响应。因此，本申请可以由该SSVEP数据模块负责采集用户的脑电信号，并将其转换为控制命令。然后将控制命令由ROS智能物联平台1017 传递给机械臂，以使机械臂根据该控制命令执行相应的动作。

可选的，在本申请另外一种可能的实施方式中，还可以通过下述步骤实现本申请提出的脑机接口的下棋助残机械臂异步系统：

棋盘模块包括棋子，棋盘，棋子托架和托架收纳盒；其中，

棋盘包括15条纵线以及15条横线；

棋子托架以3*5的矩阵盛放14颗棋子，3*5的矩阵的中央部位具有用于机械臂定位的定位部；

棋盘的相对两边有多个棋子托架，棋子托架在取放棋子的一侧具有凹槽，在取放棋子的相反一侧具有与凹槽形状适配的凸起部，用来堆叠多个棋子托架；

棋子托盘收纳盒用于放置没有放置棋子的棋子托架。

其中，棋盘模块1014包括棋子10141，棋盘10142，棋子托架10143和棋子托盘收纳盒10144四个部分。其中，棋盘10142如同传统五子棋棋盘一样，为15条纵线*15条横线构成。而且，每一条纵线和横线由多种不同的颜色标出，且保证相邻横纵线之间色彩均不同。在棋盘10142区域外按照从左向右和从上至下的顺序标出相应的坐标，方便用户识别。下棋时，用户即可以按照行列的顺序选择棋子10141所要放置的位置。值得注意的是，本申请中的棋子10141 的形状可以与传统五子棋相同，也可以有所不同。

另外，本申请当中的棋盘模块1014可以为机械臂的工作提供工作环境，本申请中的机械臂模块1013是在该棋盘模块1014上执行相应的动作。例如，机械臂的执行动作可以包括夹取棋子、放置棋子和移动棋子托盘。

可以理解的，如图3所示，为机械臂模块的工作流程图，其中机械臂模块 1013执行的动作均在棋盘模块1014中完成。保证了系统工作的可靠性和安全性。由图3可以看出，包含下述步骤：

S11,在确定机械臂模块完成初始化；

S12,首先判定是否接收到控制命令；

S13，如是，则在接收到落子指令时，由其控制机械臂落子；

S14，回到初始位置；

S15，判定是否由一方胜利；

S16,如是，则在屏幕上显示对于的胜负数据并判定结束任务；

S17，如否，则继续实施S12。

其中机械臂模块1013可以包括两部分：控制部分和活动部分。进一步的，控制部分可以包括：信号接收设备，控制计算机，关节电机驱动和关节限位开关。另外，机械臂模块1013中的活动部分可以有六个自由度。其末端的夹指为三指。其中，该六个自由度档位可以为用于旋转机械臂模块的轴位。又或，也可以为用于伸缩该机械臂模块的轴位。

可选的，在本申请另外一种可能的实施方式中，

脑-机接口模块和算法模块用于采集用户的脑电信号，并将其转换为控制命令发送至机械臂模块，脑-机接口模块以及算法模块通过采集用户的脑电信号，确定用户在棋盘中放置棋子位置的行号；以及，通过采集用户的脑电信号，确定用户在棋盘中放置棋子位置的列号；

将包含棋子位置行号以及列号的控制命令发送给机械臂模块。

可选的，在本申请另外一种可能的实施方式中，

机械臂模块包括控制部分以及活动部分；

其中，控制部分包括信号接收设备、控制计算机、关节电机驱动和关节限位开关；其中，信号接收设备用于通过ROS智能物联平台接收用户控制命令，用户控制命令包括夹取棋子、放置棋子和移动棋子托盘的至少一种；控制计算机用于向关节电机驱动输出电机控制信号；

活动部分包含六个自由度档位，自由度档位用于以不同角度旋转机械臂模块。

可选的，在本申请另外一种可能的实施方式中，用户控制命令用于确定当前落子位置数据，对弈模块用于基于当前落子位置数据，计算下一步落子位置。

可选的，在本申请另外一种可能的实施方式中，基于采集到的用户唇部区域的肌电信号，确定肌电信号对应的控制指令；

基于肌电信号对应的控制指令，选择是否切换系统的工作状态。

本系统中内部设有控制各个部分相应的直流电机。信号接收设备主要接收来自ROS智能物联平台1017的控制信号。控制计算机负责处理控制信号，并输出对应的电机的控制信号。

在进一步的，启动模块1016功能的实现主要依靠肌电信号(EMG)，通过采集唇部周围的肌电信号并将其转化为相应的控制命令。异步系统的控制过程可以分为两个阶段：空闲状态和工作状态。也就是说，启动模块1016用于通过采集用户唇部区域的肌电信号，来切换下棋助残机械臂异步系统的工作开关状态。

在本申请的一种实施例中，以开启异步系统的工作开关状态为语音“启”，更换棋子的为语音“换”为例进行说明：

在下棋过程中，可以首先由计算机随机选出用户执哪一种颜色的棋子。进一步的，轮到用户落子时，用户首先思考落子的位置，此时系统处于空闲状态。待其决定后，用户默读一个“启”，屏幕开始出现刺激界面，此时系统处于工作状态。用户首先选择放置棋子的位置的行号，然后选择放置棋子的位置的列号。待选择完成后，屏幕会出现棋子位置的行列号。这时会有一个2s的窗口期，如果用户发现选错，可以通过默读“换”来重新选择棋子，反之继续。下一步，系统将控制命令通过ROS系统发送给机械臂模块1013，机械臂开始执行任务。待到胜负出现后，机械臂回到初始位置，屏幕出现“胜”或“负”的字样，并终止棋局。

对弈模块1015主要由计算机和人机五子棋算法构成，其主要实现用户与计算机之间的人机对弈。在对弈过程中，对弈模块1015为对弈的一方。当轮到对弈模块1015落子时，计算机会依靠之前机械臂落子的位置的数据，分析出下一步落子位置，并将该信息传递给机械臂模块1013，由机械臂移动棋子。

另外，在本申请的一种实施方式中，黑色棋子的主体可以由一个圆台构成，在棋子距底部2/3处加一圈与底部同等面积的圆弧；如图4所示，为棋子的三向图。白色棋子的主体由一个正三棱台构成，高度与黑色棋子一样，其底部三角形的边长与上述圆台的直径一致。

如图5-图7所示，为棋子与棋子托盘的3D视图。同样的，在棋子距底部 2/3处加一圈与底部同等面积的三角形弧边。棋子托架是用来盛放棋子的，在托架每一个放置棋子的位置上均有一个凹槽，方便限制棋子的位置。在棋子托盘中央会有一个类似棋子的凸起，方便机械臂对棋子托架的抓取和移动。每一个棋子托架可以盛放14颗棋子，每一边有八个棋盘托架。在棋盘上下部设有相应的凹凸槽，方便棋子托架的堆叠。棋子托盘收纳盒是用来放置没有放置棋子的棋子托架。机械臂在抓取棋子同时会统计抓取棋子的数量。每满14个时，机械臂就会执行抓取棋子托盘并将其放置于棋盘收纳盒的动作指令。

如图8所示，为本系统的工作流程图，可以分为以下步骤：

S21,当系统初始化时，可以首先由用户选择是否落子；

S22,在确定选择落子时，进一步的选择棋子所在的行号以及列号；

S23,确定落子选择是否正确；

S24,判定用户胜利；

S25,若是，判定本次对局结束。

S26,若否，控制机械臂落子；

S27,对弈计算机选择落子位置；

S28,机械臂落子；

S29,判定用户是否胜利；

S20,若否，继续执行步骤22。

S21，若是，判定本次对局结束。

本申请实施例在用户确定选择落子时，进一步的选择棋子所在的行号以及列号，并在用户确定后，判定用户是否胜利，若是，则屏幕显示胜利，如否，则执行机械臂落子，即对弈模块选择落子位置，判断计算机是否胜利，若是，则屏幕显示失败，若否，则继续由户选择是否落子，重复上述过程，直至分成该棋局的胜负为止。

本申请中的下棋助残机械臂异步系统包括脑-机接口模块和算法模块用于采集用户的脑电信号，通过ROS智能物联平台将其转换为用户控制命令发送至机械臂模块；机械臂模块用于接收用户控制命令，并在棋盘模块上执行用户控制命令；对弈模块用于从ROS智能物联平台接收机械臂模块执行的用户控制命令，计算下一步的对弈控制命令，并通过ROS智能物联平台发送给机械臂模块以执行对弈控制命令；启动模块用于通过采集用户唇部区域的肌电信号，将其转换为状态控制命令，通过ROS智能物联平台切换下棋助残机械臂异步系统的状态。本申请依据多个模块以及ROS智能物联平台组成的下棋助残机械臂异步系统，使其能够更加全面、精准的帮助用户实现人机下棋，从而提高用户的逻辑思维能力、规则把控能力、提高记忆力、缓解压力和提高抗压扛挫折能力。

图9示意性地示出了根据本申请实施方式的一种基于脑机接口的下棋助残机械臂异步方法的流程示意图。其中包括：

一种基于脑机接口的下棋助残机械臂异步方法，其特征在于，其中：

S101,利用启动模块采集采集用户唇部区域的肌电信号参数，并基于肌电信号参数确定启动脑-机接口模块。

进一步的，本申请在确定是否开启棋局的过程中，可以通过启动模块来实现是否确定启动脑-机接口模块。其中，启动模块功能的实现主要依靠肌电信号 (EMG)，通过采集唇部周围的肌电信号并将其转化为相应的控制命令。异步系统的控制过程分为两个阶段：空闲状态和工作状态。换言之，启动模块在本系统中作为两个状态的切换开关。

S102,利用脑-机接口模块采集用户的脑电信号参数，脑电信号参数中包括对应的通道参数。

进一步的，本申请中可以由脑-机接口模块采用SSVEP数据范式。它负责采集用户的脑电信号，并将其转换为控制命令。然后将控制命令由ROS平台传递给机械臂，由机械臂执行相应动作。

其中，控制命令的转换可以根据脑-机接口模块采集用户的脑电信号参数，且脑电信号参数中包括对应的通道参数。

S103,利用算法模块对多脑电信号参数进行预处理，并基于脑电信号参数的通道参数，确定通道参数相关联的控制指令。

进一步的，可以由算法模块在接收到用户的脑电信号参数之后，对该脑电参数进行处理和分析采集到的信号,首先将采集到的信号以1000ms的时间长度分段，然后经过椭圆滤波器滤波，最后经过降采样完成数据预处理。并根据该脑电信号参数的通道参数，确定通道参数相关联的控制指令。

S104,利用机械臂模块执行控制指令对应的操作。

本申请中，可以利用启动模块采集用户唇部区域的肌电信号参数，并基于肌电信号参数确定启动棋局；利用脑-机接口模块采集用户的脑电信号参数，脑电信号参数中包括对应的通道参数；利用算法模块对多脑电信号参数进行预处理，并基于脑电信号参数的通道参数，确定通道参数相关联的控制指令；利用机械臂模块执行控制指令对应的操作。通过应用本申请的技术方案，可以根据采集到的用户的脑电信号，利用预设算法将其转换为控制命令。并将控制命令传递给机械臂，由机械臂执行相应动作。从而实现为残疾用户进行游玩棋局的目的。

可选的，本申请在基于肌电信号参数确定启动脑-机接口模块，包括：

获取多个通道的信号采样率以及通道长度；

利用瞬时能量算法以及双阈值检测算法，计算每个通道对应的信号开始点位置以及信号终结点位置；

利用每个通道对应的信号开始点位置以及信号终结点位置，采集每个通道对应的多个待计算信号参数，待计算信号参数包括原始信号参数、信号平均绝对值参数以及信号均方根参数；

根据每个通道对应的多个待计算信号参数，确定是否启动脑-机接口模块。

可选的，本申请在基于脑电信号参数的通道参数，确定通道参数相关联的控制指令，包括：

将多个通道对应的脑电信号参数分别进行小波包分解算法，得到多个对应的重构信号参数；

基于典型关联分析算法，分别计算每个通道对应的重构信号参数以及多个控制指令参数的相关系数参数；

基于多个相关系数参数，确定通道参数相关联的控制指令。

可选的，本申请在基于多个相关系数参数，确定通道参数相关联的控制指令，包括：

选取多个相关系数参数中，数值最大的目标相关系数参数；

将目标相关系数参数与多个通道对应的频点进行一一匹配；

将多个通道对应的频点中，满足预设范围的频点对应的控制指令确定为通道参数相关联的控制指令。

在本申请中，脑-机接口模块以及算法模块可以采用SSVEP数据范式。其中，可以由脑-机接口模块刺激亮度控制为三角正弦波调制，发光颜色采用白色。刺激界面采用MALAB的Psychtoolbox工具箱实现。刺激界面一共有两个，分别是选择行和列。每一个都是3*5的矩阵形式。其中位于屏幕之间的矩阵块为提示语言，在闪烁刺激时，其可以停止闪烁。另外，参与闪烁刺激的14个矩阵的闪烁频率为9-14.2Hz，频率间隔为0.4Hz。

进一步的，脑电信号采集通道主要使用14个，分别是： P1,PZ,P2,PO7,PO5,PO3,POZ,PO4,PO6,PO8,O1,OZ,O2,M2。

更进一步的，可以由算法模块处理和分析采集到的信号,首先将采集到的信号以1000ms的时间长度分段，然后经过椭圆滤波器滤波，最后经过降采样完成数据预处理。

分析信号特征时，采用的方法是典型相关分析方法(CCA)。CCA是最常用的挖掘数据关联关系的算法之一。该方法是研究多个变量与多个变量之间相关性的算法。在本申请中，主要用来分析14通道采集的脑电信号和14个控制指令之间的相关性。到达通过分析脑电信号从而推断出用户所选择的控制指令。所以该算法适合本申请。该算法的基本思想是找到两组变量X和Y在整体上的相关系数ρ，并使其最大。如公式1所示，

公式1中，n为通道编号。

是原始SSVEP脑电信号经过小波包分解重构的f_m频段的信号。建立相应的参考信号矩阵为公式2所示：

然后求得最大的相关系数：

公式3中，

为X_n和Y的协方差，

和σ_Y分别为X_n和Y的标准差。

将SSVEP信号进行小波包分解之后得到重构信号，根据CCA算法计算出各个通道的X_n和Y的最大相关系数ρ_m，然后比照判断SSVEP刺激信号的频点f_m。然后根据频点f_m与图标的一一对应关系，找到使用者所选的命令。

再进一步的，可以由启动模块采集用户唇部周围肌电信号的采集使用的是标准的Ag/AgCl电极，一共有四个。位于笑肌和下颚二腹肌前腹的电极的电极采集的是单端信号，位于舌骨肌和上唇提肌的电极采集的是差分信号。

其中，启动模块可以以信号采样率为1000Hz,通道长度为1s进行计算如下：采用四个通道EMG信号的瞬时能量和双阈值检测方法确定信号的开始点和结束点。并采用线性插值规整信号。每个通道采集三个信号，分别是原始sEMG信号 (RAW)，信号的平均绝对值(MAV)，信号的均方根(RMS)。

信号MAV，如公式4所：

信号RMS，如公式5所示：

本系统采用基于XGBoost模型的特征选择。

XGBoost目标函数如公式6所示：

在上述公式中，i表示第i个样本。

表示第t-1个模型对样本i的预测值。 f_t(x_i)表示新加入的第t个模型。Ω(f_t)表示正则项。

本系统利用公式7表达二阶函数近似损失函数：

正则项包括叶子节点的数目和叶子权值的平方和，如公式8所示：

XGBoost特征评分如公式9所示：

在公式9中M是树的数量。特征j在单棵树中的分数如公式10所示：

在公式10中L为树的叶子节点数量，L-1即为树的非节点数量。v_t是和节点t相关联的特征，

是节点t分割之后平方损失的减少值。

利用XGBoost选出评分最高的一部分，相当于降维。

EMG信号最后的语言识别分类所用的是随机森林。

给定训练数据集D和特征A，采用信息增益作为特征划分准则。经验熵H(D) 表示对数据集D分类的不确定性，经验条件熵H(D|A)表示在特征A的条件下对数据集D分类的不确定性。数据集D的经验熵H(D)的定义如公式11所示：

在公式11中，|D|表示样本容量，c_k表示类，k表示类的个数。

计算特征A对数据集D的经验条件熵如公式12所示：

在公式12中n为数据集D所划分子集的个数。D_i(i＝1，2，，...n)为子集。D_ik为子集D_i中属于类c_k的样本集合。|D_ik|为D_ik的样本数量。

信息增益如公式13所示：

g(D,A)＝H(D)-H(D|A) (13)

由于信息增益准则对可取数目多的特征有一定的偏好，所以本系统使用“信息增益率”作为特征选择的准则。信息增益率(g_R(D,A))

如公式14所示：

另外，公式15中n为特征A取值的个数。

对弈模块所采用的是AI算法。其数据结构主要由五种矩阵构成，分别是：棋盘状态矩阵(CD)、进攻得分矩阵(OS)、防守得分矩阵(DS)、连子空位矩阵(CB)、棋型矩阵(CS)。

棋盘状态矩阵(CD)是一个15*15的二维矩阵，每一个元素表示棋盘位置的状态：1表示黑棋，0表示无子，-1表示白棋。

进攻得分矩阵(OS)是一个15×15的二维矩阵，记录AI方的进攻得分，每个元素的值表示AI方在该位置放置棋子的得分。若该位置已有棋子，则置为0。

防守得分矩阵offScore是一个15×15的二维矩阵，记录AI方的防守得分，每个元素的值表示棋手方在该位置放置棋子的得分。若该位置已有棋子，则置为0。

连子空位矩阵conBlank是一个4×3的二维矩阵，记录从当前空位沿横、竖、撇、捺四个方向的连子和空位情况。

棋型矩阵chessSituation是一个2×5的二维矩阵，记录某位置成5、活4、死4、活3等棋型情况。五子棋的得分棋型大致可以分为以下几种：

成5：五子连珠。

活4：两边均不被拦截的四子连珠。

死4：一边被拦截的四子连珠。

活3：两边均不被拦截的三字连珠。

死3：一边被拦截的三字连珠，且另一边空位数不小于2。

活2：两边均不被拦截的二子连珠，且两边空位总数不小于3。

死2：一边被拦截的二子连珠，且另一边空位数不小于3。

活1：两边均不被拦截的单子，且两边空位总数不小于4。

死1：一边被拦截的单子，且另一边空位数不小于4。

通常的，在不考虑禁手的情况下，五子棋胜负判断算法主要通过横、竖、撇、捺四个方向是否存在五子连珠的情况。胜负判断算法判断每一次落子是否会导致棋局的输赢。胜负判断算法主要由两个子算法组成：获取落子位置连珠范围算法getrange()和五子连珠算法contfive()。其中getrange()取落子位置横、竖、撇、捺四个方向的棋子状态情况(用一维数组表示)；contfive() 判断是否存在五子连珠。

机械臂模块中的机械臂有六个自由度，其末端连杆在基系中的位置和姿态的T矩阵为：

T6＝A1A2A3A4A5A6

其中A表示某一连杆相对于前一连杆(或基座)的位置和姿态，数字表示连杆的序列。

An矩阵为：

公式(9)中θ表示关节转动角,C表示系数，S表示角度的耦合，a表示连 杆长度，d表示连杆偏离。

本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于脑机接口的下棋助残机械臂异步系统，其特征在于，包括脑-机接口模块、算法模块、机械臂模块、棋盘模块、对弈模块、启动模块以及ROS智能物联平台，其中：

所述脑-机接口模块和所述算法模块用于采集用户的脑电信号，通过ROS智能物联平台将其转换为用户控制命令发送至所述机械臂模块；

所述机械臂模块用于接收所述用户控制命令，并在所述棋盘模块上执行所述用户控制命令；

所述对弈模块用于从ROS智能物联平台接收所述机械臂模块执行的所述用户控制命令，计算下一步的对弈控制命令，并通过ROS智能物联平台发送给所述机械臂模块以执行所述对弈控制命令；

所述启动模块用于通过采集用户唇部区域的肌电信号，将其转换为状态控制命令，通过ROS智能物联平台切换所述下棋助残机械臂异步系统的状态。

2.如权利要求1所述的系统，其特征在于，

所述棋盘模块包括棋子，棋盘，棋子托架和托架收纳盒；其中，

所述棋盘包括15条纵线以及15条横线；

所述棋子托架以3*5的矩阵盛放14颗棋子，所述3*5的矩阵的中央部位具有用于机械臂定位的定位部；

所述棋盘的相对两边有多个所述棋子托架，所述棋子托架在取放棋子的一侧具有凹槽，在取放棋子的相反一侧具有与所述凹槽形状适配的凸起部，用来堆叠多个所述棋子托架；

所述棋子托盘收纳盒用于放置没有放置棋子的棋子托架。

3.如权利要求1所述的系统，其特征在于，

所述脑-机接口模块和所述算法模块用于采集用户的脑电信号，并将其转换为控制命令发送至机械臂模块，

所述脑-机接口模块以及所述算法模块通过采集用户的脑电信号，确定所述用户在所述棋盘中放置棋子位置的行号；以及，通过采集用户的脑电信号，确定所述用户在所述棋盘中放置棋子位置的列号；

将包含所述棋子位置行号以及列号的控制命令发送给所述机械臂模块。

4.如权利要求1所述的系统，其特征在于，

所述机械臂模块包括控制部分以及活动部分；

其中，所述控制部分包括信号接收设备、控制计算机、关节电机驱动和关节限位开关；其中，所述信号接收设备用于通过ROS智能物联平台接收所述用户控制命令，所述用户控制命令包括夹取棋子、放置棋子和移动棋子托盘的至少一种；所述控制计算机用于向关节电机驱动输出电机控制信号；

所述活动部分包含六个自由度档位，所述自由度档位用于以不同角度旋转所述机械臂模块。

5.如权利要求1所述的系统，其特征在于，

所述用户控制命令用于确定当前落子位置数据，所述对弈模块用于基于所述当前落子位置数据，计算下一步落子位置。

6.如权利要求1所述的系统，其特征在于，

基于采集到的用户唇部区域的肌电信号，确定所述肌电信号对应的控制指令；

基于所述肌电信号对应的控制指令，选择是否切换所述系统的工作状态。

7.一种基于脑机接口的下棋助残机械臂异步方法，其特征在于，包括：

利用启动模块采集用户唇部区域的肌电信号参数，并基于所述肌电信号参数确定启动棋局；

利用脑-机接口模块采集用户的脑电信号参数，所述脑电信号参数中包括对应的通道参数；

利用算法模块对所述脑电信号参数进行预处理，并基于所述脑电信号参数的通道参数，确定所述通道参数相关联的控制指令；

利用机械臂模块执行所述控制指令对应的操作。

8.如权利要求7所述的方法，其特征在于，所述基于所述肌电信号参数确定启动棋局，包括：

获取多个通道的信号采样率以及通道长度；

利用瞬时能量算法以及双阈值检测算法，计算每个通道对应的信号开始点位置以及信号终结点位置；

利用所述每个通道对应的信号开始点位置以及信号终结点位置，采集每个通道对应的多个待计算信号参数，所述待计算信号参数包括原始信号参数、信号平均绝对值参数以及信号均方根参数；

根据所述每个通道对应的多个待计算信号参数，确定是否启动棋局。

9.如权利要求7所述的方法，其特征在于，所述基于所述脑电信号参数的通道参数，确定所述通道参数相关联的控制指令，包括：

将多个通道对应的所述脑电信号参数分别进行小波包分解算法，得到多个对应的重构信号参数；

基于典型关联分析算法，分别计算每个通道对应的重构信号参数以及多个控制指令参数的相关系数参数；

基于多个所述相关系数参数，确定所述通道参数相关联的控制指令。

10.如权利要求9所述的方法，其特征在于，所述基于多个所述相关系数参数，确定所述通道参数相关联的控制指令，包括：

选取多个所述相关系数参数中，数值最大的目标相关系数参数；

将所述目标相关系数参数与多个通道对应的频点进行一一匹配；

将所述多个通道对应的频点中，满足预设范围的频点对应的控制指令确定为所述通道参数相关联的控制指令。

Images