CN112936259B - 一种适用于水下机器人的人机协作方法 - Google Patents

Abstract

本发明涉及水下机器人人机协作领域，尤其涉及一种新型水下机器人人类大脑直接操控的方法。具体为：利用脑机接口实现EEG信号采集，实现原始信号的获取；利用运动想象模式对采集的EEG信号数据进行离线训练学习，形成运动想象分类算法的模型，根据此模型可对未知的EEG信号进行分类；利用运动想象分类算法模型进行实时在线EEG信号分类，进而得出大脑控制指令；制定水下视觉目标感知方法，简化运动想象控制指令，确定目标位置；指令下发程序，根据脑控信号指令与水下视觉目标感知结果，对水下机械臂进行控制，实现水下目标的抓取作业。本发明采用脑机接口与视觉目标感知的方法，提高了系统的可靠性与鲁棒性，具有高效的水下作业效率。

Description

一种适用于水下机器人的人机协作方法

技术领域

本发明涉及水下机器人人机协作领域，尤其涉及一种新型水下机器人人类大脑直接操控的方法，针对脑电信号运动想象触发模式，直接操控水下机械臂，实现人脑命令的直接下发，控制水下机械臂作业。

背景技术

脑机接口是基于人类脑电信号实现人脑与计算机等电子设备通信的技术。脑机接口可以为大脑正常而中枢神经系统收到损伤的病人提供一种与外界交流和控制的途径。脑电图信号(简称EEG，Electroencephalogram)概念在上个世纪提出，在医学上主要用于评估临床神经系统疾病和研究脑功能。研究发现大脑可以自发产生微弱的电信号后，一直意图分析EEG信号具有的内容，希望从中破解人类的思想或意图，以便可以通过大脑活动直接与他人进行交流或操控设备。EEG信号是脑内多个神经元放电综合的结果，不同头皮对应的区域信号有所差异。因此EEG信号应用多个固定位置的电极进行电信号的采集。针对头皮脑电信号采集，国际上的管理采用10-20系统电极表示法，每个电极有具体的命名。上述表明EEG是多通道的一维时间序列，电极数量决定EEG的通道数。每个通道的EEG信号是一种按时间排序的数字，大小表示电信号的电压强度，信号按一定的采样率采集，每个数字间隔时间也是固定的。由于EEG信号是脑内多个神经元放电活动的综合表现，直观上分析EEG信号是困难的。随着计算机技术的发展，在时域和频域上有多种分析EEG信号的方式，甚至研究EEG的学者们使用深度学习的方式对EEG信号进行分类，找出EEG信号与当前人体状态或思维的关系。EEG信号分为外部特定事件刺激产生的信号和内部活动产生的刺激信号。运动想象是一种大脑内部活动的自发性EEG信号实现脑机接口的模式。运动想象是大脑对运动状态的反应。在运动想象试验过程中，试验者在安静的状态下想象左手或右手运动，期间采集试验者的EEG信号。试验表明，在运动想象过程中，试验者的左右脑区的信号有差异。具体地，ERD(事件相关去同步化电位)发生在运动前2s的对侧大脑，ERS(事件相关同步化电位)运动想象过程中ERS增强。对运动想象过程的脑电EEG信号进行分类处理，可实现脑控指令的下发。自发性的运动想象信号很多情况下与正常的EEG信号表现差异不大，如果分类类别增多，会导致分类算法的准确率降低。因此，一般在运动想象模式下，不会过多地制定多种运动想象的动作，常用的运动想象方式为上肢二种运动或四肢四种运动方式。水下机器人常见的作业方式是对水中的目标进行机械臂控制抓取。机械臂控制是一项对操控人员要求较高的精准作业，需要操控人员眼手配合完成控制。传统水下人机协作的方法是通过安置在水下的摄像机，采集视频图像，操作者根据水下视频图像遥控操作完成水下抓取作业。

近年来，一些图像识别的方法加入到水下机器人人机协作方法中。通过图像识别的方法，定位水下目标，帮助操控者更好的进行水下作业。基于图像识别的技术也可用于更加自主的水下作业操作，通过计算机识别水下目标进行自动抓取。传统人为遥控操作水下机器人作业的缺点很明显，这种方法通常需要操作者时刻关注视频图像，双手配合完成遥控机械臂操作。而自动识别目标作业方式缺少了人为的干预，设备不可控因素较高。本发明中，成熟的脑机接口引入到水下作业控制中，通过脑机接口获取操控人员的操控指令，自动下发指令，解放操控人员双手，从而提高人员的工作效率。

发明内容

本发明目的是提供一种新型水下机器人人类大脑直接操控的方法，针对脑电信号运动想象触发模式，直接操控水下机械臂，实现人脑命令的直接下发，控制水下机械臂作业。

本发明的研究内容是水下机器人脑控抓取技术，实现作业人员无需动手操控自动抓取水下目标的作业方式。由于脑机接口能够给出的控制指令少，仅依靠脑机接口与机械臂，无法满足控制需求。本发明通过引入计算机视觉算法，将复杂的水下作业任务分解，提高系统的可靠性。

本发明为实现上述目的所采用的技术方案是：

一种适用于水下机器人的人机协作方法，包括以下步骤：

图像采集模块采集水下目标图像，并将图像通过下位机控制系统发送至上位机显示，同时，下位机控制系统对图像中的目标进行识别，将识别到的目标以及目标所在位置发送至上位机显示；

试验者观察上位机屏幕中的目标，通过想象左手或右手运动选择屏幕中的目标；

在运动想象过程中，EEG采集装置对试验者的脑电EEG信号进行采集并发送给上位机中的EEG处理模块，运动想象过程结束后，EEG处理模块对脑电EEG信号进行处理，判断想象的是左手运动还是右手运动；

根据运动想象结果确定屏幕中的目标，如果屏幕中的目标大于两个，多次循环运动想象过程，最终确定抓取的屏幕中的目标；

EEG采集装置将选取的屏幕中的目标发送至下位机控制系统，下位机控制系统计算目标的位置信息，并根据机械臂的运动学参数，计算机械臂每个关节角的运动位置，控制机械臂进行目标抓取，完成操作。

采用深度卷积神经网络对图像中的目标进行识别。

所述EEG处理模块对脑电EEG信号进行处理，判断想象的是左手运动还是右手运动，包括以下步骤：

根据历史EEG数据，构建EEG数据分类算法模型，对模型进行训练，得到模型参数进而得到分类决策函数；

通过分类决策函数对实时采集的脑电EEG信号进行特征提取分类，得到运动想象数据类别即想象左手运动还是想象右手运动。

所述构建EEG数据分类算法模型，对模型进行训练包括以下步骤：

对EEG数据进行滤波，并对滤波后的EEG数据进行特征提取，形成特征向量；

采用SVM分类算法对特征向量进行训练，得到二分类的最优支持向量，将最优支持向量作为最优解输入到分离超平面w·x+b＝0中，进而得到分类决策函数。

所述分类决策函数为：

f(x)＝sign(w^*·x+b^*)

其中，w^*为分离超平面系数矩阵w的最优解，x为输入变量矩阵，b^*为分离超平面的偏移参数向量b的最优解。

一种适用于水下机器人的人机协作系统，包括：EEG采集装置、EEG处理模块、图像采集模块、下位机控制系统以及机械臂，其中：

图像采集模块，用于采集水下目标图像，并将图像通过下位机控制系统发送至上位机显示；

EEG采集装置，用于采集试验者的脑电EEG信号并发送给EEG处理模块；

EEG处理模块，设于上位机内，用于对脑电EEG信号进行处理，判断想象的是左手运动还是右手运动并根据判断的运动想象结果确定屏幕中的目标，将选取的屏幕中的目标发送至下位机控制系统；

下位机控制系统，用于对图像中的目标进行识别，将识别到的目标以及目标所在位置发送至上位机显示并计算目标的位置信息，同时根据机械臂的运动学参数，计算机械臂每个关节角的运动位置，控制机械臂进行目标抓取。

所述图像采集模块为单目相机或双目相机。

所述双目相机对左右视角的两张图像进行双目立体匹配，然后进行视差图的计算，进而得到物体的深度信息。

所述EEG采集装置包括电极帽和信号放大器，其中，

电极帽，用于采集试验者的脑电EEG信号；

信号放大器，用于对试验者的脑电EEG信号进行放大处理并将处理后的脑电EEG信号通过下位机控制系统发送至上位机。

本发明具有以下有益效果及优点：

1.相对传统操控水下机器人进行作业的方法，本方法使用脑机接口的控制方法，摆脱了传统操控眼手不离设备的操控方式，解放了双手，实现设备自主性抓取作业。

2.针对运动想象脑机接口提供的控制指令少的问题，本方法使用计算机视觉辅助定位，实现少数指令控制水下机械臂的方案。

3.为了提高系统可靠性，降低脑机接口数据处理过程和视觉目标感知处理过程对计算耗时影响，本发明采用分布式决策系统，对每个耗费计算资源的任务单独分配计算机计算，降低整体系统的延迟，提高水下机器人作业效率。

4.本发明具有广泛的应用场景，不但可应用与水下机器人作业任务，还可用于其他机器人控制领域，实现自主控制的任务。

附图说明

图1是本发明的系统结构图；

图2是本发明的方法流程图；

图3是EEG数据分类算法模型生成流程图；

图4是视觉目标感知方法示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

本发明包括：利用脑机接口实现EEG信号采集，实现原始信号的获取；利用运动想象模式对采集的EEG信号数据进行离线训练学习，形成运动想象分类算法的模型，根据此模型可对未知的EEG信号进行分类；利用运动想象分类算法模型进行实时在线EEG信号分类，进而得出大脑控制指令；制定水下视觉目标感知方法，简化运动想象控制指令，确定目标位置；指令下发程序，根据脑控信号指令与水下视觉目标感知结果，对水下机械臂进行控制，实现水下目标的抓取作业。本方法能够有效处理水下机器人脑控自主作业问题，采用脑机接口与视觉目标感知的方法，提高了系统的可靠性与鲁棒性，具有高效的水下作业效率。本发明采用上位机PC与下位机嵌入式系统构成，扩展性强，可适用于多种水下机器人操控场景。

本发明全局系统包括EEG采集装置，上位机EEG处理程序，下位机控制系统，图像采集模块，机械臂。其中EEG采集装置一般是电极帽和信号放大器；上位机EEG处理程序与信号放大器通信，获取EEG数据，对EEG数据进行分类处理，得到运动想象控制指令；下位机控制系统是一种嵌入式计算机，连接了图像采集模块、机械臂与上位机；图像采集模块是光学相机，分为单目相机和双目相机两种类型，其中双目相机可以获得目标深度信息，单目相机需要其他方式得到目标深度；机械臂是水下机器人的末端执行机构，负责目标的抓取作业。系统组成结构如图1所示。

整个系统工作流程如下：首先图像采集模块进行视频图像采集，并将图像发送至上位机显示；下位机与此同时进行图像目标感知，将感知的目标位置发送至上位机显示；试验者观察屏幕中的标记目标，通过想象左手或右手运动选择场景中的目标；在运动想象的10s过程中，EEG采集装置对试验者的脑电EEG信号进行采集；运动想象过程结束后，上位机对EEG数据进行处理，判断想象的是左手运动还是右手运动；根据运动想象结果确定屏幕目标，如果屏幕目标大于两个，多次循环此过程，最终确定抓取的目标；上位机将选取的目标发送至下位机，下位机计算目标的位置信息，位置信息可由双目相机视差图计算得出；下位机根据机械臂的运动学参数，计算每个关节角的运动位置，控制机械臂进行目标抓取，完成操作。系统工作流程如图2所示。

本发明方法包括的内容是：利用脑电EEG信号分类算法，对运动想象数据进行模型训练，从而得出脑电EEG信号分类的模型参数；分布式决策系统，包括上位机EEG信号采集、分类处理，以及下位机对目标的视觉感知、机械臂位置计算、控制目标抓取。下面将详细说明本发明的方法。

第一步，EEG数据分类算法模型生成。在进行实时脑控作业前，需要得到EEG数据分类算法模型，其主要过程参考图3所示。

首先进行运动想象训练数据的采集。计算机随机下发指令，试验者根据指令想象左手或右手运动，重复N次。典型的N为40次。在计算机下发指令后，开始记录EEG数据，试验者持续想象时间为10s。计算机根据左手或右手运动的指令标记此次10s的数据。所有训练数据采集完毕后，对EEG数据进行滤波预处理。由于EEG数据的采样率较高，通常在250～1000Hz范围，但EEG信号在不同频率上表现的脑波不同。采用10～30Hz范围的带通滤波器对EEG信号进行滤波处理，提取EEG信号中与运动想象有关的频率部分。典型地，可采用5次Butterworth滤波器对EEG信号进行处理。对于数字离散滤波器，转移函数表示为

其中，A(z)为输入函数的离散Z变换，B(z)为输出函数的离散Z变换，z为EEG信号序列在Z变换下的映射，b、a表示转移函数系数矩阵，n表示滤波器次数。对滤波后的EEG信号进行特征提取，形成特征向量，以便分类器对特征进行分类学习。Common Spatial Pattern(简称CSP)是一种典型的特征提取算法，可以从多通道的EEG信号提取每一类的空间分布成分。CSP的特征提取需要构造空间滤波器。X₁，X₂分别表示两类运动想象的EEG矩阵，矩阵大小为N*T，N表示EEG通道数，T表示时间序列。通过求解协方差矩阵，然后构造空间滤波器矩阵W，最终求解出特征向量f_i，预处理流程结束：

其中sum表示样本的累加，VAR表示样本的方差。

获得特征向量后，采用分类算法对模型参数进行运算。典型的分类算法是SVM。采用线性SVM分类算法可对标记好的特征向量进行训练，得到二分类的最优支持向量。通过输入训练数据集，得到分离超平面w·x+b＝0和分类决策函数。对于已知的(x_i，y_i)样本训练集i＝1,2,…,N，N为训练样本数量，x_i为EEG信号样本特征向量矩阵，y_i为样本对应的标签，即左或右，对于适当的惩罚参数C>0，C为常数，求解最小问题

使得

且0＜α_i＜C,

得到满足上述求最小的最优解

任意选择α的一个分量/>

对应的标签与样本分别为y_j和x_j，w与b的最优解为：

分类决策函数为：

f(x)＝sign(w^*·x+b^*)。

通过求解的分类决策函数模型，将未知的特征向量x带入模型，可得出对应的预测标签，即得出运动想象信息。

第二步，图像采集模块对水下目标图像进行采集，下位机对图像进行识别，标注图像中的目标。本发明采用深度卷积神经网络对图像目标进行分类识别，典型的网络是YOLO。这里需要指出，不仅YOLO可实现目标的识别，其他成熟的图像分类的卷积神经网络同样可以进行目标的识别。目标识别完成后，下位机通信系统将水下目标发送至上位机，在上位机屏幕上显示。

第三步，试验者观察屏幕，对屏幕上的目标进行锁定，想象左右手的运动方向控制对目标的选择。如果屏幕中出现了两个目标，则一次选择完成；多个目标则重复数次完成目标的锁定。试验者运动想象期间，完成EEG信号的采集。通过第一步生成的模型参数(分类决策函数)对EEG信号进行特征提取分类，得出目标的类别，从而确定试验者选择的目标。

第四步，上位机将选择的目标发送至下位机，下位机进行目标位置计算和机械臂位置计算。目标的位置计算方法可采用双目相机进行深度的计算。YOLO网络可以得到目标在图像坐标系中的坐标，在获得深度信息后可得到目标的实际物理坐标。如图4所示，双目相机在计算过程中主要对左右视角的两张图像进行双目立体匹配，然后进行视差图的计算，最后通过视察数据得到物体的深度信息。计算出目标物体的坐标，将其转换到机械臂坐标系后，根据机械臂的运动学参数，可计算出机械臂的各关节角的转动角度。本发明中采用了五自由度机械臂，并已知机械臂各关节角的运动学参数，根据逆解算法得到了各关节角转动角度。将得出的机械臂各关节旋转角度通过串口发送给机械臂驱动器，从而控制机械臂运动抓取目标，完成脑控操作。

Claims (7)

1.一种适用于水下机器人的人机协作方法，其特征在于，包括以下步骤：

图像采集模块采集水下目标图像，并将图像通过下位机控制系统发送至上位机显示，同时，下位机控制系统对图像中的目标进行识别，将识别到的目标以及目标所在位置发送至上位机显示；

试验者观察上位机屏幕中的目标，通过想象左手或右手运动选择屏幕中的目标；

在运动想象过程中，EEG采集装置对试验者的脑电EEG信号进行采集并发送给上位机中的EEG处理模块，运动想象过程结束后，EEG处理模块对脑电EEG信号进行处理，判断想象的是左手运动还是右手运动；

根据运动想象结果确定屏幕中的目标，如果屏幕中的目标大于两个，多次循环运动想象过程，最终确定抓取的屏幕中的目标；

EEG采集装置将选取的屏幕中的目标发送至下位机控制系统，下位机控制系统计算目标的位置信息，并根据机械臂的运动学参数，计算机械臂每个关节角的运动位置，控制机械臂进行目标抓取，完成操作；

所述EEG处理模块对脑电EEG信号进行处理，判断想象的是左手运动还是右手运动，包括以下步骤：

根据历史EEG数据，构建EEG数据分类算法模型，对模型进行训练，得到模型参数进而得到分类决策函数；

通过分类决策函数对实时采集的脑电EEG信号进行特征提取分类，得到运动想象数据类别即想象左手运动还是想象右手运动；

所述构建EEG数据分类算法模型，对模型进行训练包括以下步骤：

对EEG数据进行滤波，并对滤波后的EEG数据进行特征提取，形成特征向量；

采用SVM分类算法对特征向量进行训练，得到二分类的最优支持向量，将最优支持向量作为最优解输入到分离超平面w·＝0中，进而得到分类决策函数。

2.根据权利要求1所述的一种适用于水下机器人的人机协作方法，其特征在于，采用深度卷积神经网络对图像中的目标进行识别。

3.根据权利要求1所述的一种适用于水下机器人的人机协作方法，其特征在于，所述分类决策函数为：

f(x)＝sign(w^*·x+b^*)

其中，w^*为分离超平面系数矩阵w的最优解，x为输入变量矩阵，b^*为分离超平面的偏移参数向量b的最优解。

4.一种适用于水下机器人的人机协作系统，其特征在于，包括：EEG采集装置、EEG处理模块、图像采集模块、下位机控制系统以及机械臂，其中：

图像采集模块，用于采集水下目标图像，并将图像通过下位机控制系统发送至上位机显示；

EEG采集装置，用于采集试验者的脑电EEG信号并发送给EEG处理模块；

EEG处理模块，设于上位机内，用于对脑电EEG信号进行处理，判断想象的是左手运动还是右手运动并根据判断的运动想象结果确定屏幕中的目标，将选取的屏幕中的目标发送至下位机控制系统；

下位机控制系统，用于对图像中的目标进行识别，将识别到的目标以及目标所在位置发送至上位机显示并计算目标的位置信息，同时根据机械臂的运动学参数，计算机械臂每个关节角的运动位置，控制机械臂进行目标抓取；

所述一种适用于水下机器人的人机协作系统用于执行权利要求1所述的一种适用于水下机器人的人机协作方法。

5.根据权利要求4所述的一种适用于水下机器人的人机协作系统，其特征在于，所述图像采集模块为单目相机或双目相机。

6.根据权利要求5所述的一种适用于水下机器人的人机协作系统，其特征在于，所述双目相机对左右视角的两张图像进行双目立体匹配，然后进行视差图的计算，进而得到物体的深度信息。

7.根据权利要求4所述的一种适用于水下机器人的人机协作系统，其特征在于，所述EEG采集装置包括电极帽和信号放大器，其中，

电极帽，用于采集试验者的脑电EEG信号；

信号放大器，用于对试验者的脑电EEG信号进行放大处理并将处理后的脑电EEG信号通过下位机控制系统发送至上位机。

Images