CN112008725B - 一种人机融合脑控机器人系统 - Google Patents

Abstract

本发明公开了一种人机融合脑控机器人系统，通过机器人摄像头采集环境信息，动态刺激标注系统在环境信息上叠加SSVEP信号，用户观看LED屏幕所呈现的环境信息，脑电信息处理系统分析得到用户意图，转化为控制指令后发送到机器人装置上，机器人执行相应的运动，这样用户可以实时感知环境变化，机器人能够执行用户意图，提高了脑控机器人中用户控制的友好度。

Description

一种人机融合脑控机器人系统

技术领域

本申请涉及脑机接口技术领域，具体而言，涉及一种人机融合脑控机器人系统。

背景技术

脑机接口(brain-computer interface，简称BCI)，它是在人脑或动物脑(或者脑细胞的培养物)与外部设备间建立的直接连接通路。脑机接口是一门多学科交叉的研究领域，核心的学科涉及认知科学、神经工程、自动控制等。具体而言，脑机接口技术分为三个步骤：(1)脑电采集，通过脑电采集设备采集用户的脑电信号，利用计算机分析脑电信号；(2)指令转换，通过计算机将脑电分类信号转换成机器控制指令；(3)指令传输，将转换后的指令通过无线装置发送给脑控设备，让脑控设备遵照相应指令完成相应任务。

1990年代中期，随着信号处理以及机器学习等技术的发展，脑机接口技术的发展成为了研究的热点，具有重要的科学价值与广泛的应用前景。目前，我国对老年人提供的服务与康复设施资源短缺，灾难与疾病造成的残疾人数量不断上升，这些使医疗行业面临着巨大的压力与残障人士生活质量的下降。而脑机接口为那些脑正常但是失去自主肌肉运动能力甚至无法吞咽讲话的病人提供了新的交流通道，帮助他们重返社会。以脑机接口技术为核心的脑控机器人研究可以帮助那些大脑功能正常但脑-脑神经-肌肉交流通路存在阻碍的病患。

但是，现有的脑控机器人研究还远远不能满足应用的需求，其主要表现在控制信号少、控制不直观和用户不友好。现有的脑控机器人应用中，控制效果并不好，不能够满足用户需求，具体表现如下：

(1)基于SSVEP的视觉图像多为指定符号或箭头，脑控机器人系统的使用者并不能观测到受控系统的整体状态；

(2)脑控机器人系统执行部分的智能度一般较低，脑控信号仅作为指令的二值化信号；这种控制类似于无反馈的开环系统，脑控机器人的控制无法趋于稳态。

因此，如何提供一种解决上述问题的人机融合脑控机器人系统，是本领域技术人员目前需要解决的问题。

发明内容

本发明的目的是提供一种人机融合脑控机器人系统，以解决上述现有技术存在的不足。

为实现上述目的，本发明提供了如下方案：

一种人机融合脑控机器人系统，包括：

机器人，用于采集环境信息图像，通过环境信息图像；

动态刺激标注系统，通过动态刺激标注系统，对环境信息图像，进行动态SSVEP标注，形成SSVEP动态信息，将SSVEP动态信息与环境信息融合，形成目标图像；

脑电信息采集处理系统，包括脑电信息采集系统和脑电信息处理系统，根据所述目标图像，通过脑电信息采集系统，获取待识别脑电信号序列，将待识别脑电信号序列输入到脑电信息处理系统，得到待识别脑电信号序列的脑电分类信息，根据脑电分类信息，生成动作控制指令，动作控制指令用于控制机器人运动；

机器人控制系统，用于控制所述机器人根据所述动作控制指令进行运动。

优选地，机器人，包括视频采集模块、机器人头部模块、机器人手部模块、机器人手臂模块、机器人腿部模块、导航模块、语音模块。

优选地，导航模块，用于控制机器人进行导航运动；

优选地，语音模块，用于机器人输出语音；

优选地，动态刺激标注系统包括：

动态刺激信息获取模块，用于获取环境信息；

动态刺激信息追踪模块，用于将待标注环境信息输入到动态刺激信息追踪模块，得到待识别环境信息的物体位置信息；

动态刺激信息标注模块，根据物体位置信息，在环境信息上叠加相应频率的SSVEP信息，并且根据实时的位置信息进行更新。

优选地，动态刺激标注系统还包括：

优选地，动态刺激标注物体追踪模型，通过迁移学习方法对所述机器人的视觉领域前沿算法模型进行再训练得到；

优选地，脑电信息采集系统，用于获取待识别脑电信号序列；

优选地，脑电信息处理系统包括脑电信号分类模型，将待识别脑电信号序列输入到脑电信号分类模型，得到待识别脑电信号序列的脑电分类信息，通过分析脑电分类信息得到用户意图；

优选地，脑电信号分类模型无需进行训练。

优选地，脑电信号分类模型，其特征在于：

S1.将所述待识别脑电信号进行脑电信号预处理，得到起始分类信号，预处理步骤包括：导入数据、选择通道数据，删除无用电极、重参考、滤波、分波与基线矫正、伪迹去除；

S2.使用深度学习开发工具构建一个3层卷积层、3层池化层和1层全连接层构成的卷积神经网络；

S3.使用所述起始分类信号对所述卷积神经网络进行训练，得到脑电信号分类模型，模型分类准确率达到95％以上；

S4.将所述脑电信号分类模型应用于实时脑电信号的在线分类；

优选地，用户意图包括机器人抓取物体、机器人放下物体、机器人头部运动、机器人手部运动、机器人腿部运动、机器人导航运动、机器人语音输出。

优选地，机器人控制系统包括：

视频采集系统，用于控制所述机器人采集所述环境信息；

物体抓取系统，用于控制所述机器人执行物体抓取运动；

头部控制系统，用于控制所述机器人头部运动，包括左转头、右转头、抬头和低头；

手部控制系统，用于控制所述机器人手部运动；

手臂控制系统，用于控制所述机器人手臂运动；

腿部控制系统，用于控制所述机器人腿部运动，包括前进、后退、左转和右转；

导航系统，用于控制所述机器人进行导航运动；

语音系统，用于控制所述机器人输出语音。

本发明公开了以下技术效果：

本申请提供的一种人机融合脑控机器人方法，通过机器人摄像头采集环境信息，动态刺激标注系统在环境信息上叠加SSVEP信号，用户观看LED屏幕所呈现的环境信息，脑电信息处理系统分析得到用户意图，转化为控制指令后发送到机器人装置上，机器人执行相应的运动，这样用户可以实时感知环境变化，机器人能够执行用户意图，提高了脑控机器人中用户控制的友好度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种人机融合脑控机器人方法的流程示意图；

图2为本发明提供的一种动态刺激标注系统的结构示意图；

图3为本发明提供的一种脑电信息处理系统的结构示意图；

图4为本发明提供的一种机器人控制系统的结构示意图；

图5为本发明提供的一种计算机装置的结构示意图；

图6为本发明提供的一种机器人装置的结构示意图；

图7为本发明提供的一种脑电信息采集装置的结构示意图。

具体实施方式

下为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例1：如图1-7所示，本发明提供了一种人机融合脑控机器人方法，如图1所示，该方法包括：

通过位于机器人装置上的摄像头模块采集环境信息；接下来通过HTTP网络传输协议，将所述采集到的环境信息源源不断地传输到位于同一局域网中的计算机设备；位于计算机设备的动态刺激标注系统对环境信息中的用户意图候选对象进行识别，并且实现动态SSVEP标注；将上述标注后的叠加有SSVEP信息的环境信息通过显示器呈现给用户；通过布署在用户头部的脑电信息采集装置，获取待识别脑电信号序列；将所述待识别脑电信号序列输入到位于计算机设备上的脑电信息处理系统，得到所述待识别脑电信号序列的脑电分类信息。脑电分类信息对应着相应的用户意图，通过TCP网络传输协议，将用户意图传输到位于同一局域网的机器人装置；根据用户意图，位于机器人装置上的机器人控制系统执行相应的动作。

本发明所述的脑控机器人方法由以下三个系统构成：

1)动态刺激标注系统(如图2所示)；

2)脑电信息处理系统(如图3所示)；

3)机器人控制系统(如图4所示)。

其中，动态刺激标注系统为闪烁刺激(SSVEP)引导的形式，引导并激发用户的相关意图，动态刺激标注系统需要在机器智能识别到场景中物体的时候对物体进行SSVEP刺激标定。

为了使机器人能够识别目标物体，并准确在识别到的目标物体后能对其进行标定，本发明使用了基于机器学习模型的机器视觉识别/跟踪技术以及双线程技术：

在机器人上置有场景监控摄像头，在系统初始化的时候，场景监控摄像头获取场景中的环境信息，同时基于识别结果，使用基于深度学习的动态刺激标注技术对物体进行追踪，也就是说，当确定了场景中出现了某类物体(如瓶子，门，水杯等)，直到物体离开意图识别机器人的视场，物体一直呈现被追踪的状态。

用户通过注视叠加有SSVEP的环境信息，诱发出相应频率的SSVEP信号，在用户产生相关意图，并表现为脑电时-频特征变化后，使用脑电信息采集系统结合TCP传输协议将脑电传输至脑电分析及意图分类模块，脑电分析部分对被试者的脑电时域及频域特征进行分析，获取其时频特征图以及功率谱密度分布，然后使用多分类器对人类意图进行准确识别。

在准确识别人类意图后，人类意图信息经由HTTP协议下发至机器人控制系统，机器人控制系统具有一定自主性，可独立执行导航，抓取等任务。

计算机设备将原始意图指令发送至机器人设备进行解析，设备解析用户的上层指令，同时智能将指令解算为自身动作，实现机器人在人脑意图控制下的功能执行，即通过分析待识别脑电信号序列得到用户意图，用户意图包括物体抓取、物体放下、头部运动、手部运动、腿部运动、导航、语音输出等。

为了验证本发明的使用效果，设计如下实验过程：

通过在北京理工大学内部张贴招募书，招募20名北京理工大学的学生(年龄22-30岁)参与实验验证的过程，参与者均表示无疾病，且视力正常或者进行了视力矫正。

所有参与者在实验前均进行了充足的睡眠休息，并且将头发清洗干净。所有的离线数据采集与在线测试均在正常环境下进行，没有屏蔽外界的电磁干扰，以此表明本发明提出的脑控机器人系统能够胜任现实场景下的控制要求。

将叠加有SSVEP的环境信息呈现在27英寸的LED屏幕上，屏幕帧速率为60Hz，最高亮度为600nit。参与者坐在离屏幕60厘米的地方。采用干电极(O1，O2，OZ，P3)对被试者的脑电进行采集，电极位置分布采用10-20国际标准放置法，放大器中记录脑电图(EEG)，电极以(Cz)作为参考，以前额为地。这样的电极配置可以覆盖视觉皮层。以500Hz的频率记录脑电图数据，使用工作站(Intel8700K CPU、16GB-DDR5 RAM、Nvidia GTX1060图形卡)做刺激呈现以及数据分析。

每个参与者在一周内重复参与四次实验。在线实验中，利用一个实时高速摄像头，被试可以直观感受到外部环境，摄像头置于机器人头部，置物架以预先设定好的采用机器视觉追踪并以特定频率闪烁块标记物体，机器视觉追踪采用深度学习方法追踪目标，实时获取目标坐标位置信息并进行频率标记。系统语音提示使用者需注视目标后，被标记的物体开始闪烁，系统分析1s后给出分类结果，机械臂进行控制指令。

本发明实施例设计与开发了脑机交互应用脑控机器人系统，帮助使用者利用视觉刺激控制仿人机器人的抬手、前进等运动状态。进一步的测试结果表明，本发明实例提出的脑控机器人系统的平均分类识别率达到了95.61％。本实验过程验证了所提发明可以对SSVEP脑电数据进行较为精确的实时分类，可以促进脑机智能技术在人机交互中的应用。

本发明中涉及的三个系统(动态刺激标注系统、脑电信息处理系统和机器人控制系统)分别部署在如图5所示的计算机装置、如图6所示的机器人装置和如图7所示的脑电信息采集装置上。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (4)

1.一种人机融合脑控机器人系统，其特征在于，包括：

机器人，用于采集环境信息图像；

所述机器人，包括视频采集模块、机器人头部模块、机器人手部模块、机器人手臂模块、机器人腿部模块、导航模块、语音模块；

所述导航模块，用于控制所述机器人进行导航运动；

所述语音模块，用于控制所述机器人输出语音；

动态刺激标注系统，用于对所述环境信息图像，进行动态SSVEP标注，得到叠加有SSVEP信息的环境信息；

所述动态刺激标注系统包括：

动态刺激信息获取模块，用于获取所述环境信息；

动态刺激信息追踪模块，用于将待标注环境信息输入到所述动态刺激信息追踪模块，得到所述待标注环境信息的物体位置信息；

动态刺激信息标注模块，根据所述物体位置信息，在所述环境信息上叠加相应频率的SSVEP信息，并且根据实时的位置信息进行更新；

用户通过注视叠加有SSVEP的环境信息，诱发出相应频率的SSVEP信号，在用户产生相关意图，并表现为脑电时-频特征变化后，使用脑电信息采集系统结合TCP传输协议将脑电传输至脑电分析及意图分类模块，脑电分析部分对被试者的脑电时域及频域特征进行分析，获取其时频特征图以及功率谱密度分布，然后使用多分类器对人类意图进行准确识别；

脑电信息采集处理系统，包括脑电信息采集系统和脑电信息处理系统，，通过所述脑电信息采集系统获取待识别脑电信号序列，将所述待识别脑电信号序列输入到所述脑电信息处理系统，得到所述待识别脑电信号序列的脑电分类信息，根据所述脑电分类信息，生成动作控制指令，所述动作控制指令用于控制机器人运动；

所述脑电信息采集系统，用于获取所述待识别脑电信号序列；

所述脑电信息处理系统包括脑电信号分类模型，将所述待识别脑电信号序列输入到所述脑电信号分类模型，得到所述待识别脑电信号序列的脑电分类信息，通过分析脑电分类信息得到用户意图；

所述脑电信号分类模型的构建方法为：

S1.将所述待识别脑电信号进行脑电信号预处理，得到起始分类信号，预处理步骤包括：导入数据、选择通道数据、删除无用电极、重参考、滤波、分波与基线矫正、伪迹去除；

S2.构建一个3层卷积层、3层池化层和1层全连接层构成的卷积神经网络；

S3.使用所述起始分类信号对所述卷积神经网络进行训练，得到脑电信号分类模型，使所述脑电信号分类模型的分类准确率大于95％；

S4.将所述脑电信号分类模型应用于实时脑电信号的在线分类；

机器人控制系统，用于控制所述机器人根据所述动作控制指令进行运动；

所述机器人控制系统包括：

视频采集系统，用于控制所述机器人采集所述环境信息；

物体抓取系统，用于控制所述机器人执行物体抓取运动；

头部控制系统，用于控制所述机器人头部运动，包括左转头、右转头、抬头和低头；

手部控制系统，用于控制所述机器人手部运动；

手臂控制系统，用于控制所述机器人手臂运动；

腿部控制系统，用于控制所述机器人腿部运动，包括前进、后退、左转和右转；

导航系统，用于控制所述机器人进行导航运动；

语音系统，用于控制所述机器人输出语音；

2.根据权利要求1所述一种人机融合脑控机器人系统，其特征在于：

动态刺激标注系统还包括：

动态刺激标注物体追踪模型，通过迁移学习方法对所述机器人的视觉领域前沿算法模型进行再训练。

3.根据权利要求1所述一种人机融合脑控机器人系统，其特征在于：

所述脑电信号分类模型无需进行训练。

4.根据权利要求1所述一种人机融合脑控机器人系统,其特征在于：

所述用户意图包括机器人抓取物体、机器人放下物体、机器人头部运动、机器人手部运动、机器人腿部运动、机器人导航运动、机器人语音输出。

Images