CN113311709A - 一种基于脑机接口的智能轮椅复合控制系统及方法 - Google Patents

Abstract

本发明属于智能控制以及医疗服务机器人领域，公开了一种基于脑机接口的智能轮椅复合控制系统及方法。该系统包括中央控制器、动作执行模块、脑电信号采集模块、环境信息采集模块、人机交互模块、电源模块和硬件保护模块。本发明的方法提出了在采集运动想象信号前，通过分析用户状态自适应地调节脑电信号的采集时间，在不降低识别精度的情况下，大大缩短任务完成时间，提高信息传输率。该轮椅集成系统能够满足几乎所有类型的运动功能障碍的人群。该轮椅能够集移动导航和物体抓取于一体，帮助用户顺畅地完成移动到某地抓取目标物体并返回这一系列动作，其对于满足残疾人与老年人的日常生活需求，节约社会资源以及和谐社会的发展都具有重大意义。

Description

一种基于脑机接口的智能轮椅复合控制系统及方法

技术领域

本发明属于智能控制以及医疗服务机器人领域，具体涉及一种基于脑机接口的智能轮椅复合控制系统及方法。

背景技术

在我国，尽力保障老年人、残疾人正常生活一直是民生问题中重要的部分。已有的智能轮椅虽然已经能完成一定程度的人机交互和自动避障，但是，半自主的控制方式对于重度残疾人甚至是丧失四肢运动能力的人仍然很不友好。再者，对于这些特殊人群，简单的开门、取物、喝水等基本生活技能操作也显得异常艰难。

目前世界上已经有许多智能轮椅的研究项目和产品，但普遍成本较高，构建复杂，复用性不强。至于轮椅的导航问题，由于轮椅主要的运行环境为室内，所以大部分时间无法依靠目前较为成熟的基于全球定位系统(Global Position System,GPS)的导航技术。

因此，本发明针对现有智能轮椅控制方式不够自主、用户状态不稳定以及只有行走能力的智能轮椅无法完成用户基本生活需要等方面的不足，提出了一种基于脑机接口的智能轮椅复合控制系统及方法。

发明内容

有鉴于此，本发明的目的在于提供一种基于脑机接口的智能轮椅复合控制系统及方法，它能够解决传统智能轮椅控制方式单一、用户状态不佳导致发出错误指令、人机交互体验性差等问题，使得人与轮椅“交流”自然、顺畅。由于脑电信号只需实验者有正常的脑部活动，因此该轮椅集成系统能够满足几乎所有类型的运动功能障碍的人群。该轮椅能够集移动导航和物体抓取于一体，帮助用户顺畅地完成移动到某地抓取目标物体并返回这一系列动作，因此，其对于满足残疾人与老年人的日常生活需求，节约社会资源以及和谐社会的发展都具有重大意义。

为达到上述目的，本发明提供的技术方案为：

一种基于脑机接口的智能轮椅复合控制系统，所述智能轮椅包括中央控制器、动作执行模块、脑电信号采集模块、环境信息采集模块、人机交互模块、电源模块和硬件保护模块；其中，脑电信号采集模块佩戴在用户身上，其余模块均集成在智能轮椅上；

脑电信号采集模块用于采集用户对轮椅底层和机械臂动作的控制而产生的脑电信号；

中央控制器用于对脑电信号采集模块采集的脑电信号进行识别处理、融合决策，底层的自主导航，目标物体的识别和控制机械臂抓取；其中动作执行模块、脑电信号采集模块、环境信息采集模块、人机交互模块分别采用机器人操作系统(ROS)中以功能包的形式执行，其中每个执行模块分为以节点形式相互通信，订阅日志消息、应答反馈。

动作执行模块包括轮椅底层和机械臂，其中轮椅底层用于智能轮椅的基础运动和导航，机械臂用于完成对于目标物体的抓取；

环境信息采集模块包括激光传感器和视觉传感器，其中激光传感器用于实时采集环境的激光数据用完成轮椅自身的定位与导航，视觉传感器用于实时获取环境中物体的点云信息以完成目标物体的寻找；

人机交互模块用于实时显示轮椅状态和周围环境信息，用户根据交互界面获取路况和全局信息并发出导航或者机械臂抓取指令。

上述的基于脑机接口的智能轮椅复合控制系统的控制方法：用户指令的控制对象有两个，分别是轮椅底层和机械臂。用户的所有控制指令均可由脑电信号产生，并且通过对脑电控制模式的切换分别完成对轮椅底层和机械臂的控制。对于智能轮椅系统的控制包括如下步骤：

步骤1：用户佩戴好脑电信号采集模块——脑电帽，中央控制器实时采集用户的状态信息并完成脑电信号的处理生成决策指令，作为人机协作导航和机械臂抓取的输入信息；

步骤2：固定于轮椅上的激光传感器和视觉传感器实时感知环境，中央控制器由激光和视觉数据生成层级地图和物体模型库，生成的地图和点云文件也作为人机协作导航和机械臂抓取的输入信息，同时由人机交互模块显示，便于用户获取实时环境信息和自身信息；

步骤3：在协作中央控制器中，将用户决策指令与环境信息采集模块得到的环境信息进行实时融合，生成实时导航指令发送给轮椅底层；在获得导航目标后，在运动过程中使用全局与局部规划算法并迭代路径平滑算法生成顺畅的运动轨迹；

步骤4：到达终点附近后，切换脑电信号控制模式以选择目标物体，中央控制器根据激光传感器采集的点云数据匹配物体模型库中的姿态文件完成目标物体的抓取。

进一步地，上述步骤1中，脑电信号的处理包括先分析用户的状态以自适应地调整所获取的脑电信号的长度，再对运动想象信号进行分类，以提高信息传输速率，且不会降低分类精度。

进一步地，上述步骤2中，通过运行在机器人操作系统(ROS)框架下的gmapping包，中央控制器根据激光传感器的输入完成栅格-拓扑-意图3级层级地图的构建；步骤3中，配合人的意图来辅助智能轮椅运动到指定位置。在运动过程中，轮椅在在已有的地图上根据蒙特卡洛定位算法和A*、DWA算法完成轮椅行走过程中的实时定位和动态避障。

进一步地，步骤2中，所述物体模型库构建待抓取物体的CAD模型库；步骤3中，用户在发出抓取指定物体的指令后，智能轮椅开始移动同时视觉传感器不断采集当前的点云数据与物体模型库进行匹配；当找到模型库里的姿态文件与当前物体姿态粗略匹配上时，通过ICP配准方法计算出物体的精确位姿，将标物体的位置映射到机械臂执行器坐标系下的坐标实现抓取。

进一步地，步骤1中，脑电信号处理部分，具体步骤如下：

步骤1-1，提取用户在控制区间内的脑电信号，以分析功率谱密度和脑电活动的样本熵，BP神经网络映射模型用于获取用户操作质量；

步骤1-2，根据用户操作质量的值动态调整要提取的脑电信号的时间长度；

步骤1-3，使用CSP算法对提取的脑电信号进行预处理，并提取协方差特征；

步骤1-4，将SVM用作模式分类算法生成底层可识别的控制指令。

上述步骤1-2中，建立了一个自适应控制模型动态调整脑电信号的采集时间，如下所示：

其中，H设置为0.7，L设置为0.3，QoO为用户操作质量，当QoO≥H时，采集时间设置为a；当L≤QoO<H时，采集时间在a～b之间动态调整；当QoO<L时，表明用户的当前状态不适合操作轮椅，此时不发送任何控制。

本发明的有益效果为：

(1)本发明针对重度残疾患者提出了通过切换脑电控制模式完成轮椅底层和机械臂的控制，对于用户的行动能力毫无要求，只需用户有正常的脑部活动即可。

(2)本发明提出了在采集运动想象信号前，通过分析用户状态自适应地调节脑电信号的采集时间，在不降低识别精度的情况下，大大缩短任务完成时间，提高信息传输率。

(3)本发明将6自由度机械臂集成在轮椅的前座构成整套全新的、功能更强大的智能系统，能够使得轮椅到达目标物体附近并实现目标物体的抓取。

(4)本发明提出了匹配点云库里的姿态文件完成目标物体的识别、定位与抓取，相较于以往的二维码抓取，增加了精确度，大大拓宽了场景的适用范围。

附图说明

图1为一种基于脑机接口的智能轮椅复合控制系统及方法整体结构图。

具体实施方式

下面结合附图对本发明具体实施方式作进一步详细描述。

本发明的一种基于脑机接口的智能轮椅复合控制系统及方法整体结构如图1所示，轮椅可以通过对智能轮椅底盘和机械臂的控制完成目的地的自主导航和目标物体的抓取。

对于中央控制器用户的输入指令为脑电信号，控制对象有两种，分别是智能轮椅底层和机械臂，在实施方式中，中央控制器是一台笔记本。对于脑电信号，共有五种信号作为输入，其中四种信号作为底层运动和物体抓取的具体指令，一种信号用于切换控制对象。

用户要想完成去环境中的任意位置或抓取某一目标物体，需完成对整个环境地图的构建以及物体模型库的建立。在本次实施方式中，环境信息采集模块为hokuyo激光和kinect相机。

作为前期准备工作，实验者可使用三轴操纵杆控制轮椅完成场景地图的构建，轮椅上的激光雷达hokuyo扫描周围环境，笔记本通过跑gmapping算法自动建立栅格地图，当检测到键盘上的指定按键被按下，系统会自动建立当前位置的拓扑顶点，计算拓扑邻接关系的同时更新全局拓扑地图。另外，建立拓扑顶点时，可以从键盘上手动添加该拓扑顶点的意图或者含义信息，这样就在拓扑地图之上建立了环境的意图地图。另外，由于智能轮椅的控制方向只有前后左右4个方向，所以每一个拓扑顶点的邻接关系顶点至多有4个。当轮椅遍历完室内环境后，层级地图就构建完成了，本次实验选用的场景是实验室。

另一方面，要想实现水杯的抓取，需事先构建一个模型库，模型库中共有四个物体的模型，分别是水杯、苹果、充电器、抽纸，构建模型库时需记录各个模型各个视角的物体位姿。构建模型库需要采集物体各个视角的点云数据，可以在模拟仿真环境下对CAD模型在包围球上进行点云采集。针对任务需要选择或设计合理的特征描述子，计算并保存不同视点下的特征文件和位姿文件，它们与点云文件共同构成了模型库。

在完成前期的准备工作后，假设用户的任务是通过运动想象从A点运动到B点并完成B点附近的水杯的抓取任务。脑电信号对应的控制操作如下表1所示。

表1脑电信号控制指令

在对运动想象信号进行分类之前需对用户操作质量进行分析生成，并由QoO模型动态调整要提取的EEG信号的时间长度。

脑电信号采集部分具体步骤如下：

1、提取用户在控制区间内的脑电信号，以分析功率谱密度(PSD)和脑电活动的样本熵，BP神经网络映射模型用于获取用户操作质量(QoO)。

2、根据QoO的值动态调整要提取的脑电信号的时间长度。

3、使用CSP算法对提取的脑电信号进行预处理，并提取协方差特征。

4、将SVM用作模式分类算法生成底层可识别的控制指令。

用户想象自己的左手，右手，左脚，右脚，舌头分别代表前进、后退、左转、右转、切换控制对象五个命令。在QoO模型生成阶段，用户需佩戴脑电帽根据计算机的提示(主要是提示何时开始、何时结束想象)进行运动想象，运动想象采用的是C3，C4，FC4，Cz和CPz通道。EEG信号采集由NeuroScanNuAmps完成。为了便于分析，采用F3通道进行QoO计算，脑电频率分量的功率谱密度(PSD)和样本熵(δ，θ，α和β)作为QoO指标，然后作为BP神经网络的输入对其进行训练以获得QoO。

通过分析用户的警惕性来表征QoO。基于脑电信号的能量随着警觉性的变化而变化，取一个脑电信号X(i)并通过傅立叶变换将其转换为X(ω_i)，因此功率谱密度(PSD)计算为

其中N是样本长度。

样本熵和警惕性之间有很强的关系。清醒时，人们处于复杂的思维活动中，脑电信号出现非常复杂的随机性，因此样本熵很高。随着疲劳的逐渐加深，大脑神经元的活性会因活动而逐渐降低，而样本熵也会逐渐降低。通过重构

和

样本熵为

但是，在脑电信号分析中，N不能为∞，当N取一个有限值时，样本熵估计为

然后通过BP神经训练对其进行训练以获得QoO，根据QoO的值调整所需EEG信号的采集时间。为了更好的适应用户的状态，建立了一个自适应控制模型来动态调整脑电信号的采集时间，如下所示。

根据大量的实验，将H设置为0.7，L设置为0.3。当QoO≥H时，采集时间设置为2s。当L≤QoO<H时，采集时间在2-4s之间动态调整；当QoO<L时，表明用户的当前状态不适合操作轮椅，此时不发送任何控制。

接着，使用CSP算法对提取的脑电信号进行预处理，并提取协方差特征。最后，将SVM用作模式分类算法分类出轮椅底层可以识别的前进、后退、左转、右转信号以控制轮椅的运动。为了防止出现错误的选择结果，提高系统的容错能力，增加了融合决策环节，该部分会综合考虑人的意图、智能轮椅当前的状态来对结果进行过滤处理，确保导航指令的正确执行。该部分主要有以下3个重要的工作：

(1)判断该人为选择结果是否是可行方向信息库中正确的结果，如果不是，则需要随机选择一个结果。

(2)针对正确的选择结果，提取该结果的细节信息，结合hokuyo采集的实时激光数据在已有的地图上根据蒙特卡洛定位算法和A*、DWA算法完成轮椅行走过程中的实时定位和动态避障一直运动到目标物体附近。

(3)如果随机选择失败，则忽略此次选择，重新进行运动想象。

当轮椅到达水杯附近后，在下一次运动想象中想象舌头来切换控制对象为机械臂抓取，此时若水杯不处于kinect的视野范围内或是kinect无法识别出水杯，智能轮椅会以原地旋转的方式采集实时的点云数据，同时对kinect实时采集的点云数据进行过滤、分割等操作获得当前物体一个视角的点云，计算其特征描述子并与模型库里的特征进行匹配，不断识别物体是否为目标物体。匹配成功时，会以模型库里的姿态文件作为当前物体的粗略姿态估计。最后通过ICP配准方法计算出物体的精确位姿，这样即可控制机械臂按照求得的精确位姿进行抓取。

进一步的，在线识别阶段需要稳定的点云处理算法，包括过滤、分割等。尤其是一个效果良好的分割算法是识别成功的根本保证。同样在提高识别正确率方面也有特征子选择、阈值设定等工作要做。

进一步的，基于位姿估计进行抓取分为整体采取粗配准+精配准的两步配准策略。由于ICP对初始值要求较高，容易陷入局部最优。所以需要在识别阶段获取对应的视点位姿作为初略位姿估计，然后利用ICP配准方法获得精确位姿。传统ICP有着迭代时间长，易陷入局部最优等缺陷，因此需要对其进行改进以获得更好的效果，最后通过精确位姿实现机械臂的抓取操作。

三轴操纵杆选用的是3轴+1按钮霍尔操纵杆，操纵杆通过USB接口与中央控制器连接，中央控制器通过通信协议读取到操纵杆的数据。表2为三轴操纵杆的相关参数。用户可通过对操纵杆的推动实现轮椅的运动，具体实施方式如表3所示。

表2三轴操纵杆的相关参数:

表3操纵杆指令

另外，对于整个智能轮椅系统，在选取电池及其连接有关线路的时候，充分考虑了过流保护、短路保护以及过充保护从而保证供电的安全。所有设计的电路均自行接了保险丝保护电路以防电流过大时造成其他电子元件的损坏。在轮椅底座的侧身以及用户手边还安装了紧急制动按钮用于紧急状况下的急停，充分保证了用户的安全性问题。

中央控制模块、环境采集模块、人机交互模块中的一些功能实现为公知技术，这里不再做详细赘述。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于脑机接口的智能轮椅复合控制系统，其特征在于，所述智能轮椅包括中央控制器、动作执行模块、脑电信号采集模块、环境信息采集模块、人机交互模块、电源模块和硬件保护模块；其中，脑电信号采集模块佩戴在用户身上，其余模块均集成在智能轮椅上；

脑电信号采集模块用于采集用户对轮椅底层和机械臂动作的控制而产生的脑电信号；

中央控制器用于对脑电信号采集模块采集的脑电信号进行识别处理、融合决策，底层的自主导航，目标物体的识别和控制机械臂抓取；

动作执行模块包括轮椅底层和机械臂，其中轮椅底层用于智能轮椅的基础运动和导航，机械臂用于完成对于目标物体的抓取；

环境信息采集模块包括激光传感器和视觉传感器，其中激光传感器用于实时采集环境的激光数据用完成轮椅自身的定位与导航，视觉传感器用于实时获取环境中物体的点云信息以完成目标物体的寻找；

人机交互模块用于实时显示轮椅状态和周围环境信息，用户根据交互界面获取路况和全局信息并发出导航或者机械臂抓取指令。

2.根据权利要求1所述的一种基于脑机接口的智能轮椅复合控制系统，其特征在于：所述中央控制器的控制对象有两个，分别是轮椅底层和机械臂；通过对脑电信号采集模块的脑电控制模式的切换完成对轮椅底层和机械臂的控制。

3.根据权利要求1所述的一种基于脑机接口的智能轮椅复合控制系统，其特征在于：所述动作执行模块、脑电信号采集模块、环境信息采集模块、人机交互模块分别采用机器人操作系统中以功能包的形式执行，其中每个执行模块分别以节点形式相互通信，订阅日志消息、应答反馈。

4.采用权利要求1-3任一所述的基于脑机接口的智能轮椅复合控制系统的方法，其特征在于，包括如下步骤：

步骤1：用户佩戴好脑电信号采集模块，中央控制器实时采集用户的状态信息并完成脑电信号的处理生成决策指令，作为人机协作导航和机械臂抓取的输入信息；

步骤2：固定于轮椅上的激光传感器和视觉传感器实时感知环境，中央控制器由激光和视觉数据生成层级地图和物体模型库，生成的地图和点云文件也作为人机协作导航和机械臂抓取的输入信息，同时由人机交互模块显示，便于用户获取实时环境信息和自身信息；

步骤3：在协作中央控制器中，将用户决策指令与环境信息采集模块得到的环境信息进行实时融合，生成实时导航指令发送给轮椅底层；在获得导航目标后，在运动过程中使用全局与局部规划算法并迭代路径平滑算法生成顺畅的运动轨迹；

步骤4：到达终点附近后，切换脑电信号控制模式以选择目标物体，中央控制器根据激光传感器采集的点云数据匹配物体模型库中的姿态文件完成目标物体的抓取。

5.根据权利要求4所述的方法，其特征在于：步骤1中，脑电信号的处理包括先分析用户的状态以自适应地调整所获取的脑电信号的长度，再对运动想象信号进行分类，以提高信息传输速率，且不会降低分类精度。

6.根据权利要求4所述的方法，其特征在于：步骤2中，通过运行在机器人操作系统框架下的gmapping包，中央控制器根据激光传感器的输入完成层级地图的构建；步骤3中，在已有的地图上根据蒙特卡洛定位算法和A*、DWA算法完成轮椅行走过程中的实时定位和动态避障。

7.根据权利要求4所述的方法，其特征在于：步骤2中，所述物体模型库构建待抓取物体的CAD模型库；步骤3中，用户在发出抓取指定物体的指令后，智能轮椅开始移动同时视觉传感器不断采集当前的点云数据与物体模型库进行匹配；当找到模型库里的姿态文件与当前物体姿态粗略匹配上时，通过ICP配准方法计算出物体的精确位姿，将标物体的位置映射到机械臂执行器坐标系下的坐标实现抓取。

8.根据权利要求4所述的方法，其特征在于：步骤1中，脑电信号处理部分，具体步骤如下：

步骤1-1，提取用户在控制区间内的脑电信号，以分析功率谱密度和脑电活动的样本熵，BP神经网络映射模型用于获取用户操作质量；

步骤1-2，根据用户操作质量的值动态调整要提取的脑电信号的时间长度；

步骤1-3，使用CSP算法对提取的脑电信号进行预处理，并提取协方差特征；

步骤1-4，将SVM用作模式分类算法生成底层可识别的控制指令。

9.根据权利要求8所述的方法，其特征在于：步骤1-2中，建立了一个自适应控制模型动态调整脑电信号的采集时间，如下所示：

其中，H设置为0.7，L设置为0.3，QoO为用户操作质量，当QoO≥H时，采集时间设置为a；当L≤QoO<H时，采集时间在a～b之间动态调整；当QoO<L时，表明用户的当前状态不适合操作轮椅，此时不发送任何控制。

Images