CN111134974B

CN111134974B - 一种基于增强现实和多模态生物信号的轮椅机器人系统

Info

Publication number: CN111134974B
Application number: CN201911253652.5A
Authority: CN
Inventors: 陈霸东; 杨启航; 李炳辉; 张倩; 秦雪梅; 张璇; 郑南宁
Original assignee: Xian Jiaotong University
Current assignee: Xian Jiaotong University
Priority date: 2019-12-09
Filing date: 2019-12-09
Publication date: 2021-04-20
Anticipated expiration: 2039-12-09
Also published as: CN111134974A

Abstract

本发明公开了一种基于增强现实和多模态生物信号的轮椅机器人系统，包括实时脑电信号理解模块、实时肌电信号理解模块、环境理解模块、用户意图识别模块、机器人控制模块以及增强现实模块，本发明使用方便，能够有效将增强现实和多模态生物信号结合，从而对辅助轮椅机器人进行精准控制。本发明将电控轮椅与可移动机器人技术、增强现实技术、脑电技术、肌电技术结合，系统性地解决了现有轮椅在家庭环境下功能不够丰富、操作不够简单自然、安全性较低的问题。

Description

一种基于增强现实和多模态生物信号的轮椅机器人系统

【技术领域】

本发明属于机器人控制技术领域，涉及一种基于增强现实和多模态生物信号的轮椅机器人系统。

【背景技术】

对于下肢瘫痪或截肢的残疾人来说，轮椅几乎是必不可少的代步工具之一，轮椅能够代替腿的功能，使得残疾人能够一定程度上自由移动。但传统轮椅通常只存在代步的功能，且使用中需要使用者通过双手直接控制两个驱动轮来控制轮椅的移动和转向，一定程度上造成了不便，也容易发生危险。一种对传统轮椅的改进为电动轮椅，使用者通过控制操作杆，间接操控电机进行移动。这种轮椅使得操纵更加灵活，但是功能比较单一，且需要使用者随时观察周围环境状况。因此，需要一部功能丰富，操纵简单，且足够安全的新型轮椅。

在功能方面，由于轮椅主要面向家居环境，家居环境中常见的任务为室内移动、抓放物体、开门关门、以及与家用电器的交互，在当前的轮椅上，这些动作都较难舒适完成。目前基于激光雷达进行室内环境建图、定位的技术已经比较成熟，能够在构建全局地图后，对地图进行人为修改，加载地图后可实时根据激光雷达信号进行实时路径规划、避障。当下机械臂可以在小型化同时做到较高的自由度，从而能够有一定的灵活性。在轮椅上安装小型机械臂，可以辅助完成一定的开关门、抓放物体等操作。在智能家居方面，目前的智能家居环境中，一般存在一个通过wifi连接的智能家居网关，通过其间接控制其他设备。机器人若具有无线网卡，则可与智能家居网关进行交互，进而控制常用智能家居设备，如灯、电视、微波炉等。

在人机交互方面，电动轮椅可通过摇杆和按钮控制运动方向。实验室中已经存在通过电脑屏幕呈现视觉刺激，通过脑电控制运动方向的脑控轮椅。也有一些实验室通过增强现实设备结合视觉刺激，采集脑电信号与轮椅进行交互。但是这些已有方案均存在刺激过强，使用不便，容易疲劳的问题。微软公司已经发布了Hololens 2代透视头戴显示器，在增强现实眼镜中集成了语音识别、眼动追踪、增强现实显示的功能。目前可购买的Hololens1代没有眼动系统，但具备追踪用户注视点的Gaze系统。通过结合眼动、Gaze系统与无刺激脑电、肌电，可以获得更友好、自然的交互体验。

在安全方面，由于没有环境传感器，无论是手动轮椅还是电动轮椅，都依赖用户自己判断环境，一旦用户出现误操作，很容易引发危险和事故。

【发明内容】

本发明的目的在于解决现有技术中的问题，提供一种基于增强现实和多模态生物信号的轮椅机器人系统，该系统使用方便，能够有效将增强现实和多模态生物信号结合，从而对辅助轮椅机器人进行精准控制。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于增强现实和多模态生物信号的轮椅机器人系统，包括：

实时脑电信号理解模块，用于实时采集多通道的脑电数据，使用CSP和LDA算法提取脑电信号中的用户意图，从而为用户意图识别模块提供脑电信息；

实时肌电信号理解模块，用于实时采集特定肌肉群的肌电信号，使用多种低阶统计量和SVM算法提取肌电信号中的用户意图，从而为用户意图识别模块提供肌电信息；

环境理解模块，基于ROS中提供的开源算法及可识别24类环境物体的深度神经网络实现，用于实现机器人系统对于环境地图的构建、对于环境中可操作对象的识别及存储、对于环境中可行驶区域的识别；

用户意图识别模块，用于根据脑电、肌电和环境信息实时识别用户真实意图；

机器人控制模块，用于根据用户意图及当前机器人状态，控制机器人之上的差速轮和机械臂执行具体任务，同时给出执行状态的反馈；

增强现实模块，用于在透视型头戴增强现实设备中实时显示机器人的当前任务执行状态和环境理解的可操作对象，以及用于获取用户选择的目标。

本发明进一步的改进在于：

实时肌电信号理解模块采用8个无线肌电电极，无线肌电电极放置于用户手臂肌肉处，并通过TCP协议实时传输肌电信号至解码器。

环境理解模块包括构建环境地图单元、规划可行驶区域单元和识别存储环境中可作用物体单元；

构建环境地图单元，用于接收激光雷达的数据，通过ROS中的gmapping算法进行2D环境地图构建；

规划可行驶区域单元，用于在完成构建环境地图后，加载环境地图，获取激光雷达数据，使用ROS中的move_base库启动规划节点，向规划节点发送目标点坐标，获得规划的可行驶区域；

识别及存储环境中的可作用物体单元，用于接收来自于RGBD相机的数据；RGBD相机传回的数据为彩色图像及对应的深度图像，将获得的彩色图像数据输入训练好的图像分割识别深度网络模型，模型输出识别出的对象类别、对象在图像中的范围；同时将识别结果进行存储以及过滤。

存储和过滤由object_server程序完成；Object_server程序接收四元组信息，提供根据对象id获取详细信息的服务；所述四元组信息包括对象、类别、位置和尺寸；维护一个“类别—>对象数组”的映射，对每个类别用一个数组来存储所有的本类对象；对于每个对象，分配一个固定UUID，用于进行对象的唯一标识；新信息到来时，根据类别找到对应的对象数组，遍历对象数组，根据三维坐标及尺寸判断是否是同一物体，若是，则更新为新的信息，若不是则继续判断；同时，在第一个更新之后，若后面仍有其他物体满足同一物体的条件，则认为其重复出现，将其删除出数组；每隔固定时间，会遍历一次所有的对象，若对象没有及时更新，则将其删除。

用户意图识别模块中，脑电信号被认为是下达任务，而肌电信号被认为是直接进行控制；收到脑电信号后，若存在可作用的对象，则根据脑电理解执行对应任务；收到肌电信号后，若任务已执行完，则进行直接的向前、向后以及转向操作；在不存在作用对象，或机器人附近存在障碍物，则不会执行脑电的任务结果。

差速轮控制单元由ROS中提供的开源驱动实现，一方面驱动根据收到的转角数据，控制底层电机旋转；同时，实时读取电机的实际转角和转速；

机械臂控制单元，采用七自由度机械臂，在添加自定义约束后，规划每个轴的旋转顺序和角度；在获得环境信息后，首先根据任务计算一条末端路径，在末端路径上取若干采样点，对于任意两个相邻采样点，分别调用move_it！规划机械臂动作。

与现有技术相比，本发明具有以下有益效果：

本发明将电控轮椅与可移动机器人技术、增强现实技术、脑电技术、肌电技术结合，系统性地解决了现有轮椅在家庭环境下功能不够丰富、操作不够简单自然、安全性较低的问题，其具有如下优点：

第一：基于ROS的模块化系统，便于进行系统的维护和升级；

第二：通过增加激光雷达和RGBD相机作为环境传感器，能够支持自动导航、避障，进行复杂动态环境下的环境理解，以及提高系统的安全性；

第三：通过加入小型机械臂，能够具备一定的环境交互功能；

第四：通过引入增强现实技术，可以以用户友好的方式呈现信息，方便人机交互；

第五：使用了脑电、肌电以及眼动等生物信号作为控制信号，能够更加直接地理解用户意图，提高使用的舒适性；

进一步的，基于ROS中已有的成熟move_base和MoveIt！框架，能够直接使用成熟的开源算法，使得机械臂的姿态规划鲁棒。

进一步的，通过深度神经网络对RGBD相机的数据处理，能够实时检测动态环境的变化，获得语义地图。

进一步的，结合语义地图，以及用户的脑电理解结果和注视点位置，能够更加准确的理解用户意图，实现任务级的控制。

进一步的，通过增强现实界面，能够以自然的方式对用户的每个指令作出反馈，使得用户获得方便的体验。

【附图说明】

图1为本发明设计系统的结构框图。

【具体实施方式】

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，不是全部的实施例，而并非要限制本发明公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要的混淆本发明公开的概念。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

本发明公开的上下文中，当将一层/元件称作位于另一层/元件“上”时，该层/元件可以直接位于该另一层/元件上，或者它们之间可以存在居中层/元件。另外，如果在一种朝向中一层/元件位于另一层/元件“上”，那么当调转朝向时，该层/元件可以位于该另一层/元件“下”。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明做进一步详细描述：

参见图1，本发明基于增强现实和多模态生物信号的轮椅机器人系统，包括实时脑电信号理解模块、实时肌电信号理解模块、环境理解模块、用户意图识别模块、机器人控制模块以及增强现实模块，各部分具体如下。

1.实时脑电信号理解模块。

使用eego Sports的32通道脑电帽和脑电放大器采集多通道的脑电信号，基于开源的labstreaminglayer库编写脑电信号传输程序，将采集的脑电信号传输至脑电信号解码器。脑电信号解码器使用matlab实现，使用CSP算法进行特征提取，使用LDA算法进行二类的分类，分类结果即为脑电信号的理解。

2.实时肌电信号理解模块。

使用无线肌电电极共8个，放置于用户手臂肌肉较粗壮处，通过TCP协议实时传输肌电信号至解码器。解码器使用多种低阶统计特征组合进行特征提取，使用SVM算法进行最多9类别的分类，分类结果作为肌电的理解。

3.环境理解模块。

环境理解模块主要包含三个功能：构建环境地图，规划可行驶区域，识别及存储环境中可作用物体。各功能实现方案如下：

首先是构建环境地图。接收激光雷达的数据，通过ROS中开源的gmapping算法进行2D环境地图构建。构建过程需要机器人在指定环境中行走多次。地图构建完成后，如环境变化不大，则不再更改地图。

其次是规划可行驶区域。在完成构建环境地图后，加载环境地图，获取激光雷达数据，使用ROS中的开源move_base库启动规划节点，向规划节点发送目标点坐标，即可获得规划的可行驶区域。

识别及存储环境中的可作用物体是生成语义地图的关键功能。本功能需要接收来自于RGBD相机的数据。RGBD相机传回的数据为彩色图像及对应的深度图像。将获得的彩色图像数据输入训练好的图像分割识别深度网络模型，模型输出识别出的对象类别、对象在图像中的范围。作为一种具体实现，本发明使用了可以分类24类的MASK-RCNN网络模型，在640x480的图像分辨率下，可以达到5帧/秒的识别速度。通过模型的输出，可从对应深度图中获得每个识别对象的具体尺寸和位置。考虑到对象的单帧检测效果不够稳定，受环境影响较大，因此需要将识别结果进行存储以及过滤，使结果更加稳定和准确。存储和过滤由下文所述单独的object_server程序完成。

Object_server程序接收(对象，类别，位置，尺寸)四元组信息，提供根据对象id获取详细信息的服务。程序维护一个“类别->对象数组”的映射，对每个类别用一个数组来存储所有的本类对象。对于每个对象，程序分配一个固定UUID，用于进行对象的唯一标识。新信息到来时，根据类别找到对应的对象数组，遍历对象数组，根据三维坐标及尺寸判断是否是同一物体，若是，则更新为新的信息，若不是则继续判断。同时，在第一个更新之后，若后面仍有其他物体满足同一物体的条件，则认为其重复出现，将其删除出数组。每隔固定时间，会遍历一次所有的对象，若对象没有及时更新，则将其删除。

4.用户意图识别模块。

接收脑电信号理解和肌电信号理解的结果，以及当前环境和机器人当前状态，从而精准理解用户意图。其中，脑电信号被认为是下达任务，而肌电信号被认为是直接进行控制。收到脑电信号后，若存在可作用的对象，则根据脑电理解执行对应任务。收到肌电信号后，若任务已执行完，则进行直接的向前、向后以及转向操作。在不存在作用对象，或机器人附近存在障碍物，则不会执行脑电的任务结果。

5.机器人控制模块。

机器人的控制包含下部的差速轮控制和机械臂控制两部分，下面将分别进行介绍。

首先是差速轮控制部分。差速轮控制由ROS中提供的开源驱动实现，一方面驱动根据收到的转角数据，控制底层电机旋转特定角度，另一方面也实时读取电机的实际转角和转速。路径规划完成后，根据规划路线，驱动进行相应的控制。

机械臂控制部分，本发明所用机械臂为kinova公司的七自由度机械臂，其官方提供开源驱动及MoveIt！接口。MoveIt！自带开源的姿态规划算法，可在添加自定义约束后，规划每个轴的旋转顺序和角度，但所规划步骤可能会非常复杂。本发明为了提高其规划效果，在获得环境信息后，首先根据任务计算一条末端路径，在末端路径上取一定数量的采样点，对于任意两个相邻采样点，分别调用move_it！规划机械臂动作，这样能够在保持机械臂的灵活性的同时，防止机械臂规划出过于反常的可行解。同时，由于添加了较多障碍物约束，在计算动作时，允许一定的重试次数，以提高机械臂规划的成功率。

6.增强现实模块。

增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。本发明所需要的增强现实设备为头戴式的，具备空间定位能力的透视型设备。本发明中使用的具体设备为微软公司的Hololens透视型头戴显示器。增强现实模块共完成两个功能：一是获取其他模块的信息，在现实世界中进行叠加显示；二是根据其上的传感器，监测用户的注视点或注视方向，传给用户意图理解模块。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims

1.一种基于增强现实和多模态生物信号的轮椅机器人系统，其特征在于，包括：

实时肌电信号理解模块，用于实时采集特定肌肉群的肌电信号，使用多种低阶统计量和SVM算法提取肌电信号中的用户意图，从而为用户意图识别模块提供肌电信息；实时肌电信号理解模块采用8个无线肌电电极，无线肌电电极放置于用户手臂肌肉处，并通过TCP协议实时传输肌电信号至解码器；

识别及存储环境中的可作用物体单元，用于接收来自于RGBD相机的数据；RGBD相机传回的数据为彩色图像及对应的深度图像，将获得的彩色图像数据输入训练好的图像分割识别深度网络模型，模型输出识别出的对象类别、对象在图像中的范围；同时将识别结果进行存储以及过滤；

存储和过滤由object_server程序完成；Object_server程序接收四元组信息，提供根据对象id获取详细信息的服务；所述四元组信息包括对象、类别、位置和尺寸；维护一个“类别—>对象数组”的映射，对每个类别用一个数组来存储所有的本类对象；对于每个对象，分配一个固定UUID，用于进行对象的唯一标识；新信息到来时，根据类别找到对应的对象数组，遍历对象数组，根据三维坐标及尺寸判断是否是同一物体，若是，则更新为新的信息，若不是则继续判断；同时，在第一个更新之后，若后面仍有其他物体满足同一物体的条件，则认为其重复出现，将其删除出数组；每隔固定时间，会遍历一次所有的对象，若对象没有及时更新，则将其删除；

2.根据权利要求1所述的基于增强现实和多模态生物信号的轮椅机器人系统，其特征在于，用户意图识别模块中，脑电信号被认为是下达任务，而肌电信号被认为是直接进行控制；收到脑电信号后，若存在可作用的对象，则根据脑电理解执行对应任务；收到肌电信号后，若任务已执行完，则进行直接的向前、向后以及转向操作；在不存在作用对象，或机器人附近存在障碍物，则不会执行脑电的任务结果。

3.根据权利要求1所述的基于增强现实和多模态生物信号的轮椅机器人系统，其特征在于，差速轮控制单元由ROS中提供的开源驱动实现，一方面驱动根据收到的转角数据，控制底层电机旋转；同时，实时读取电机的实际转角和转速；

机械臂控制单元，采用七自由度机械臂，在添加自定义约束后，规划每个轴的旋转顺序和角度；在获得环境信息后，首先根据任务计算一条末端路径，在末端路径上取若干采样点，对于任意两个相邻采样点，分别调用move_it!规划机械臂动作。