CN112631173B - 脑控无人平台协同控制系统 - Google Patents

脑控无人平台协同控制系统 Download PDF

Info

Publication number
CN112631173B
CN112631173B CN202011446122.5A CN202011446122A CN112631173B CN 112631173 B CN112631173 B CN 112631173B CN 202011446122 A CN202011446122 A CN 202011446122A CN 112631173 B CN112631173 B CN 112631173B
Authority
CN
China
Prior art keywords
unmanned
brain
platform
aerial vehicle
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011446122.5A
Other languages
English (en)
Other versions
CN112631173A (zh
Inventor
于扬
叶泽祺
周宗潭
卢惠民
刘天晴
郭策
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202011446122.5A priority Critical patent/CN112631173B/zh
Publication of CN112631173A publication Critical patent/CN112631173A/zh
Application granted granted Critical
Publication of CN112631173B publication Critical patent/CN112631173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0428—Safety, monitoring
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/24—Pc safety
    • G05B2219/24024—Safety, surveillance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明提供了一种脑控无人平台协同控制系统。所述脑控无人平台协同控制系统包括脑控系统及无人平台，所述无人平台包括无人机群、无人车群或/和机器人。在所述无人平台中，所述无人机群、无人车群或/和机器人自主进行任务分配、任务规划、路径规划的同时，所述脑控系统有权以更高的优先级从任务层、路径层、轨迹层或者位置层来修改决策指令，使得所述无人平台具有更高的容错率与工作效能。本发明结合脑控与无人平台，实现人与机器的混合智能，实现人机协同的新方法。

Description

脑控无人平台协同控制系统
技术领域
本发明涉及多无人平台协同控制技术，与脑机接口控制系统技术领域，特别涉及脑控无人平台协同控制系统。
背景技术
我们所处的时代，人工智能正在如火如荼地发展。它以各种人工智能算法为内核，以机电、信息、网络等为外延，诸如不断涌现的机器学习与计算智能算法、智能无人系统、智能脑机接口技术、智能状态监控与模式识别技术、数字孪生样机等新算法、新技术，已然深入到人们生活的各个领域，成为人类进入信息时代后的又一次技术飞跃。人工智能不仅是技术上的名词，更是人们新的生活理念的代称，也标志着人类认识世界与改造世界愈加走向深入。人们已然进入人工智能飞速发展，日新月异的时代。
脑控技术起源于对人脑人知机理的研究。它以人脑为研究对象，意在搭建人脑与机电系统等现实人造系统的数据链路，从而实现人脑与人造现实之间的直接交互，达成“脑控”的目的。脑机接口(Brain-ComputerInterface，简称BCI)是脑控技术的主要研究对象。一般分为侵入式、部分侵入式与非侵入式三种，本作品采用非侵入式脑机接口，在对人脑无损伤的情形下对脑电波进行检测。
无人系统是当前人工智能研究领域的一大热点。它的出现极大地改变了人们的生活，也改变了作战样式与战场形势。诸如无人机、无人车等曾经是空中楼阁的构想，俨然成为现实，且作为智能无人系统的两类主要研究对象不断向前发展。无人系统避免了执行场景中人与目标对象的直接接触，将人置于执行场景之外。
脑控技术的被控对象的缺乏和控制方式的单调，现没有对无人系统进行脑控控制的技术。目前脑控技术的被控对象以实物为主，时间和资金成本高昂。此外，控制方式多是简单底层的直接控制物体移动，而没有与智能算法结合。
发明内容
本发明提供了一种脑控无人平台协同控制系统，其目的是为了解决背景技术中没有对无人系统进行脑控控制的技术，控制方式简单的技术问题。
为了达到上述目的，本发明的实施例提供的脑控无人平台协同控制系统，包括脑控系统及无人平台，所述无人平台包括无人机群、无人车群或/和机器人，在所述无人平台中，所述无人机群、无人车群或/和机器人自主进行任务分配、任务规划、路径规划的同时，所述脑控系统有权以更高的优先级从任务层、路径层、轨迹层或者位置层来修改决策指令，使得所述无人平台具有更高的容错率与工作效能。
优选地，所述脑控系统采用包括稳态视觉电位信号(Steady-State VisualEvokedPotential，SSVEP)及眨眼信号的进行识别，并将所述稳态视觉电位信号和眨眼信号转换为相应指令，跨系统、跨语言通信，实现对机器人的多层次控制。
优选地，还包括仿真虚拟平台，所述脑控系统与所述仿真虚拟平台连接，所述无人平台为虚拟无人平台，且设置在所述仿真虚拟平台内，所述仿真虚拟平台实现所述无人平台以及复杂环境的建模。
优选地，所述仿真虚拟平台为Gazebo(一款3D动态模拟器)仿真平台，所述Gazebo仿真平台提供了机器人的运动仿真，还支持ROS(Robot Operating System,机器人操作系统)和Rviz(一款3D可视化工具。
优选地，所述脑控系统的运行包括如下步骤：
步骤S11、脑电信号采集：采集人脑中的视觉中枢的脑电信号；
步骤S12、脑电信号处理：对脑电信号进行数据处理分类，获得被试者注视的目标；
步骤S13、设计刺激范式：对范式界面中各目标区域块的闪烁时间、闪烁形状、闪烁尺寸和位置进行布局；
步骤S14、通信与控制指令：实现脑电采集信号软件及眨眼信号处理软件的通信，使眨眼信号作为部分指令的触发开关。
优选地，所述步骤S12中采用相关分析法提取(Canonical CorrelationAnalysis，CCA)对稳态视觉电位进行处理分类：首先获得多导联的脑电信号，即具有高维特征的脑电数据序列，再比较通过特征向量降维后的脑电信号数据序列和已有通过实验获取的模板序列之间的相关关系，来反映两组一维数据序列之间的整体相关性，在结果中取相关系数最大的数据序列，即可获得被试者在注视的目标；其中，设置模板序列为Si为：
Figure GDA0003741565950000031
其中，N是信号长度，Fs为采样频率，K为分类数，i为模板类别，H为模板序列参数，fi为对应类别频率目标；
两组一维数据序列之间的整体相关性具体为:数理统计中将其相关系数ρ定义为
Figure GDA0003741565950000032
其中cov(X,Y)是一维数据序列的协方差，而D(X)和D(Y)分别是X和Y的方差。
优选地，所述无人平台还包括运动规划控制系统，所述运动规划控制系统控制所述无人机群、无人车群或/和机器人躲避障碍，并到达目标点。
优选地，所述运动规划控制系统包括如下步骤：
步骤S21、建图：根据无人机群、无人车群或/和机器人自身携带的深度相机建立环境地图，具体可采用八叉树地图；
步骤S22、路径规划：在全局地图已知的情况下，采用成熟的RRT算法；在全局地图未知的情况下，采用多项式曲线，拟合目标点；
步骤S23、轨迹规划：采用软约束B样条(基样条)进行轨迹规划：将轨迹用B样条表示，将轨迹规划问题建模为B样条控制点的优化问题，优化目标函数考虑B轨迹末端点到目标点的距离和速度差、碰撞地图软约束、轨迹光滑程度、无人机运动能力；
步骤S24、位置控制器控制到目标位置：根据无人机群、无人车群或/和机器人的微分平坦性及运动学进行结算，使用pid(比例积分微分控制)控制将无人机群、无人车群或/和机器人控制到目标位置上；采用脑控信号实施方向指令，将方向映射为轨迹末端目标点，映射方式为：以第一个轨迹点为圆心，沿指令方向延伸一个与设定速度和加速度以及轨迹规划速度相关的值，末端点作为目标点。
优选地，所述无人平台还包括基于像识别的辅助决策系统，所述基于像识别的辅助决策系统对待识别目标离线训练，将物体检测作为回归问题求解，完成从原始图像的输入到物体位置和类别的输出，发现目标并且获得目标位置后，根据发现目标的无人机群、无人车群或/和机器人在全局地图中的位置，在操作者操作界面上标注目标位置，作为操作者的辅助决策信息。
所述无人平台还包括任务分配与协同控制系统，所述任务分配与协同控制系统对无人机群、无人车群或/和机器人任务分配使用蚁群算法，采用分布式的任务分配策略，将来自所述脑控系统的辅助决策信息作为重要参考，无人机群、无人车群或/和机器人按照预先分配的搜索阵型中的站位选择合适的目标点；当系统中某个无人机群、无人车群或/和机器人发现目标或者疑似目标时，在某个位置附近留下信息标志，信息标志作为无人机群、无人车群或/和机器人任务分配的一种正反馈信号参与任务分配决策，使得无人机群、无人车群或/和机器人更倾向于朝着信息标志浓度高的地方进行搜索。
采用本发明能达到的技术效果有：结合脑控与无人平台，实现人与机器的混合智能，实现人机协同的新方法；同时搭建虚拟仿真环境，为脑控与智能控制的结合提供了实验平台，从而提高算法开发和验证效率。
附图说明
图1为本发明的脑控无人平台协同控制系统的总体技术路线概览图；
图2为本发明的脑控无人平台协同控制系统的虚拟仿真全屏界面图；
图3为本发明的脑控无人平台协同控制系统的位置控制器控制无人平台到目标位置时的算法流程图；
图4为本发明的脑控无人平台协同控制系统的脑控系统刺激范式界面图；
图5为本发明的脑控无人平台协同控制系统的脑控系统刺激范式闪烁效果图；
图6为本发明的脑控无人平台协同控制系统的主机选择范式界面；
图7为本发明的脑控无人平台协同控制系统的队形选择范式界面；
图8为本发明的脑控无人平台协同控制系统的坐标选择范式界面。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的问题，提供了一种脑控无人平台协同控制系统，如图1及图2所示，包括脑控系统、无人平台及仿真虚拟平台。所述无人平台包括无人机群、无人车群或/和机器人，在所述无人平台中，所述无人机群、无人车群或/和机器人自主进行任务分配、任务规划、路径规划的同时，所述脑控系统有权以更高的优先级从任务层、路径层、轨迹层或者位置层来修改决策指令，使得所述无人平台具有更高的容错率与工作效能。
所述脑控系统采用包括稳态视觉电位信号及眨眼信号进行识别，并将所述稳态视觉电位信号和眨眼信号转换为相应指令，跨系统、跨语言通信，实现对机器人的多层次控制。
所述脑控系统与所述仿真虚拟平台连接，所述无人平台为虚拟无人平台，且设置在所述仿真虚拟平台内，所述仿真虚拟平台实现所述无人平台以及复杂环境的建模。所述仿真虚拟平台为Gazebo仿真平台，所述Gazebo仿真平台提供了机器人的运动仿真，支持ROS和Rviz。
所述脑控系统的运行包括如下步骤：
步骤S11、脑电信号采集：采集人脑中的视觉中枢的脑电信号；
步骤S12、脑电信号处理：对脑电信号进行数据处理分类，获得被试者注视的目标；
步骤S13、设计刺激范式：对范式界面中各目标区域块的闪烁时间、闪烁形状、闪烁尺寸和位置进行布局；
步骤S14、通信与控制指令：实现脑电采集信号软件及眨眼信号处理软件的通信，使眨眼信号作为部分指令的触发开关。
所述步骤S12中采用相关分析法提取(Canonical Correlation Analysis，CCA)对稳态视觉电位进行处理分类：首先获得多导联的脑电信号，即具有高维特征的脑电数据序列，再比较通过特征向量降维后的脑电信号数据序列和已有通过实验获取的模板序列之间的相关关系，来反映两组一维数据序列之间的整体相关性，在结果中取相关系数最大的数据序列，即可获得被试者在注视的目标；其中，设置模板序列为Si为：
Figure GDA0003741565950000061
其中，N是信号长度，Fs为采样频率，K为分类数，i为模板类别，H为模板序列参数，fi为对应类别频率目标；
两组一维数据序列之间的整体相关性具体为:数理统计中将其相关系数ρ定义为
Figure GDA0003741565950000062
其中cov(X,Y)是一维数据序列的协方差，而D(X)和D(Y)分别是X和Y的方差。
如图4及图5所示，所述步骤S13、设计刺激范式具体为：
可诱发SSVEP(稳态视觉电位信号，Steady-StateVisualEvokedPotential)信号的频率分布在6Hz至60Hz。去除倍频后，理论上一个trail(特征点)可区分出270个选项命令[xfy12]。经过大量实验，本项目中选取了识别较为准确的7.2Hz、7.7Hz、8.2Hz、8.6Hz、9.2Hz、9.7Hz、10.2Hz、11Hz、11.6Hz、12.3Hz共计10个频率用于范式设计。在对各目标区域块的闪烁时间、闪烁形状、闪烁尺寸和位置布局进行了大量测试。在经过大量实验后发现，每个trail闪烁4s，即数据序列长度为4s时识别精度能够较好满足需求。闪烁形状为圆形时的效果比矩形的效果好。且在一定范围内闪烁尺寸越大，识别精度越高，被试越不容易疲劳。但是需要注意两个目标区域之间的有效边缘不能太近，太近容易导致误判。
步骤S14、通信与控制指令中“实现脑电采集信号软件及眨眼信号处理软件的通信”具体为，因为ROS必须运行在Ubuntu环境，而Pycoder脑电采集软件必须运行在Windows环境。所以，需要解决Windows下的Python与Ubuntu下的ROS通信的问题。调用Python的Socket包，首先使得Windows下的Python可以与Ubuntu下的Python通信。再通过Ubuntu下Python的Rospy给话题发送消息实现Window下的Python与Ubuntu下的ROS通信。
“使眨眼信号作为部分指令的触发开关”具体为：人在眨眼时，会有很容易检测到的波动。项目中将眼电信号作为某些指令的触发开关。例如，当检测到连续两次的眼电信号后，才开启产生一个指令的闪烁，称为一个trail，由此实现异步通信。同时，为SSVEP的相关系数设定了阈值(因被试不同，会发生变化)，当某个trail的脑电信号与所有CCA模板的相关系数都低于该阈值，则认为该trail是眨眼误触发的，输出Keep的指令，即保持之前的指令。
参考图6、图7及图8，考虑到范式界面的布局、脑电信号可简单编码的原因，机控制接口被设计为多层次控制。既可以宏观到控制整体队形，也可以细致到控制主机的方向。还可以在从机发现疑似目标后，将该机器切换为主机，新从机围绕新主机重新编队。为了更加逼近现实，该项目中给所有机器人设定了优先级，倘若当前主机失去战斗能力，且没有人为干预选择主机，则自动按照默认优先级设定新主机。
所述无人平台还包括运动规划控制系统、基于像识别的辅助决策系统及任务分配与协同控制系统。
所述运动规划控制系统控制所述无人机群、无人车群或/和机器人躲避障碍，并到达目标点。所述运动规划控制系统包括如下步骤：
步骤S21、建图：根据无人机群、无人车群或/和机器人自身携带的深度相机建立环境地图，具体可采用八叉树地图；
步骤S22、路径规划：在全局地图已知的情况下，采用成熟的RRT算法；在全局地图未知的情况下，采用多项式曲线，拟合目标点；
步骤S23、轨迹规划：采用软约束B样条进行轨迹规划：将轨迹用B样条表示，将轨迹规划问题建模为B样条控制点的优化问题，优化目标函数考虑B轨迹末端点到目标点的距离和速度差、碰撞地图软约束、轨迹光滑程度、无人机运动能力；
步骤S24、位置控制器控制到目标位置：根据无人机群、无人车群或/和机器人的微分平坦性及运动学进行结算，使用pid控制将无人机群、无人车群或/和机器人控制到目标位置上；如图3所示，采用脑控信号实施方向指令，将方向映射为轨迹末端目标点，映射方式为：以第一个轨迹点为圆心，沿指令方向延伸一个与设定速度和加速度以及轨迹规划速度相关的值，末端点作为目标点。
所述基于像识别的辅助决策系统对待识别目标离线训练，将物体检测作为回归问题求解，完成从原始图像的输入到物体位置和类别的输出，发现目标并且获得目标位置后，根据发现目标的无人机群、无人车群或/和机器人在全局地图中的位置，在操作者操作界面上标注目标位置，作为操作者的辅助决策信息。
所述任务分配与协同控制系统对无人机群、无人车群或/和机器人任务分配使用蚁群算法，采用分布式的任务分配策略，将来自所述脑控系统的辅助决策信息作为重要参考，无人机群、无人车群或/和机器人按照预先分配的搜索阵型中的站位选择合适的目标点；当系统中某个无人机群、无人车群或/和机器人发现目标或者疑似目标时，在某个位置附近留下信息标志，信息标志作为无人机群、无人车群或/和机器人任务分配的一种正反馈信号参与任务分配决策，使得无人机群、无人车群或/和机器人更倾向于朝着信息标志浓度高的地方进行搜索。
采用本发明所提供的脑控无人平台协同控制系统，其技术优点体现如下：
结合脑控与无人系统，实现人与机器的混合智能，实现人机协同的新方法；同时搭建虚拟仿真环境，为脑控与智能控制的结合提供了实验平台，从而提高算法开发和验证效率。
本发明是脑机接口技术和智能无人系统结合的探索尝试，脑控与无人系统智能结合在未来可能会在军事、民用等多个领域其发挥重要作用。通过脑机接口技术实现人机混合智能的优势在于以下三点：
一、当前计算机的基础元器件为二极管，但是，神经元的信号传递不是一个二值的，而是具有灰度的。要实现单个人体神经元功能都需要巨大数量的二极管，更不要提人体功能实现需要多么复杂的神经系统。而具备与神经元类似功能的忆阻器发展还不成熟。所以真正的人工智能在短时间是不可能实现的。人机混合智能将是未来智能的最高形式。
二、人机混合智能可以使人与机器之间取长补短，相互增强。例如，该项目中的无人机与无人车增强了人的运动能力，与感知能力。而人也可以凭借自己的经验，在搜索过程中为无人机与无人车优化决策，以增强识别和决策的能力，使得整体更加智能化。
实现了多机器人智能感知规划与脑机接口的融合。机器人增强了人的运动能力和感知能力，为人做出明智的决策提供帮助。同时，在需要的时候，人也可以运用自己的经验、知识甚至是潜意识，通过脑机接口来辅助机器人进行决策或者纠偏。从而使得人与机器可以互相学习，取长补短，起到增强智能的作用，体现出人机混合智能的优势。
通过脑机接口，将人的认知、感性和对信息的整合能力与机器的计算、理性和对信息的共享能力相融合。通过人的智能弥补机器在信息关联上的缺陷，通过线索，辅助机器人群进行任务规划，从而提高效率。同时，利用机器强大的算力，运动能力和感知能力生成备选方案，辅助人进行决策。从而使得人的智能与机器的智能实现1加1大于2的效果。除此之外，人机混合智能包括了对人、机和环境三者之间关系的探索，探索必然需要尝试。该项目通过仿真平台的方式，使得机器、环境和算法可以进行任意地探索，从而探寻人、机和环境之间最恰当的相处方式。
三、脑机接口技术在游戏与军事方面的应用。脑机接口很大的好处在于可以解放双手，使得需要双手持枪的军人在不影响其射击的时候还能操控无人机与无人车来增强其感知与作业能力。甚至在未来，脑机接口发展成熟以后，人通过大脑直接控制外骨骼或者巨型机器人也将成为可能。而没有实战经验的军人可以通过这套仿真平台来进行训练积累经验。
采用虚拟平台替代实物的优势主要在于以下四点：
一、节省算法开发阶段的人力物力财力支出。通过搭建虚拟平台，不论是无人机还是无人车，不论数量多少，都可以通过仿真来实现，为开发阶段节省大量经费。
二、提高算法开发和验证的效率，加快算法迭代周期。相比之下，通过实物平台进行算法验证会耗费大量的时间在与算法本身无关的操作上，同时也会因为算法本身的不成熟造成潜在的危险性。因此在算法开发的过程中，搭建仿真平台辅助算法验证是十分高效且必要的。
三、通过丰富的环境和被控对象的建模，可以确保算法经过充分测试，避免算法不成熟带来的安全问题。类似于控制器设计过程中的硬件在回路仿真(Hardware-In-the-Loop Simulation，HILS)步骤，依托于虚拟平台可以任意搭建需要的场景，并且不用担心被控对象的损坏，方便于调试被控对象与脑电识别的算法，敢于尝试将新的脑电信号用于控制。
四、通过ROS这一开源操作系统，推进脑机接口技术的发展与市场化。该项目相当于为ROS加入了脑控的接口，借助该开源的操作系统，使得世界各地的人都可以共同参与到脑控机器人的开发中，而不受地域、时间、被控对象的限制，推进脑机接口技术的发展与市场化。例如，运动想象辅助医疗康复中，在检测到偏瘫病人的手部运动想象电位时，给予一个机械臂运动的视觉反馈信息来辅助其康复，就可以使用该项目，通过仿真平台的机械臂来实现，而不需要使用真实的机械臂。
五、主要结合了脑机接口技术与Gazebo仿真平台。依托Gazebo平台搭建了虚拟的搜索救援的环境，主要目的在于为脑电信号引入机器人控制提供仿真验证平台，验证特定环境下人机协同执行任务的可能性，提高相关智能控制算法的开发和验证效率，为人机混合智能的实现作出有益尝试。基于Gazebo丰富的环境组件模型，可以搭建更加多样化的任务场景用于人机协同控制的验证，例如对于未知环境侦察探索等特定的战场环境；当算法经过足够的仿真验证，且未来实物机器人的硬件条件、通信条件等一系列条件成熟之后，可以实现算法从仿真平台到实物平台的快速移植，真正做到特定环境下人机协同执行任务。
在仿真平台方面。目前比较主流的有V-Rep、Open HRP、Webots以及该项目中使用的Gazebo等等。Gazebo提供了CAD和Solidworks等各种2D、3D设计软件的接口，可以导入图纸使得机器人与仿真环境更加逼真。除此之外，Gazebo提供了机器人的运动仿真，支持ROS和Rviz，这也就意味着Gazebo可以实现多机器人仿真，满足该项目的需求。而ROS通过发布话题与订阅的方式，来接收脑电控制指令，实现人机通信。同时，Gazebo拥有很丰富的传感器模型库可以直接使用，当然，也可以自己创建新的传感器。甚至，可以给传感器添加噪声，使仿真更加真实。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.脑控无人平台协同控制系统，其特征在于，包括脑控系统及无人平台，所述无人平台包括无人机群、无人车群或/和机器人，在所述无人平台中，所述无人机群、无人车群或/和机器人自主进行任务分配、任务规划、路径规划的同时，所述脑控系统有权以更高的优先级从任务层、路径层、轨迹层或者位置层来修改决策指令，使得所述无人平台具有更高的容错率与工作效能；
所述脑控系统的运行包括如下步骤：
步骤S11、脑电信号采集：采集人脑中的视觉中枢的脑电信号；
步骤S12、脑电信号处理：对脑电信号进行数据处理分类，获得被试者注视的目标；
所述步骤S12中采用相关分析法提取对稳态视觉电位进行处理分类：首先获得多导联的脑电信号，即具有高维特征的脑电数据序列，再比较通过特征向量降维后的脑电信号数据序列和已有通过实验获取的模板序列之间的相关关系，来反映两组一维数据序列之间的整体相关性，在结果中取相关系数最大的数据序列，即可获得被试者在注视的目标；其中，设置模板序列Si为：
Figure FDA0003741565940000011
其中，N是信号长度，Fs为采样频率，K为分类数，i为模板类别，H为模板序列参数，fi为对应类别频率目标；
两组一维数据序列之间的整体相关性具体为:数理统计中将其相关系数ρ定义为
Figure FDA0003741565940000012
其中cov(X,Y)是一维数据序列的协方差，而D(X)和D(Y)分别是X和Y的方差；
步骤S13、设计刺激范式：对范式界面中各目标区域块的闪烁时间、闪烁形状、闪烁尺寸和位置进行布局；
步骤S14、通信与控制指令：实现脑电采集信号软件及眨眼信号处理软件的通信，使眨眼信号作为部分指令的触发开关。
2.根据权利要求1所述的脑控无人平台协同控制系统，其特征在于，所述脑控系统采用包括稳态视觉电位信号及眨眼信号进行识别，并将所述稳态视觉电位信号和眨眼信号转换为相应指令，跨系统、跨语言通信，实现对机器人的多层次控制。
3.根据权利要求1所述的脑控无人平台协同控制系统，其特征在于，还包括仿真虚拟平台，所述脑控系统与所述仿真虚拟平台连接，所述无人平台为虚拟无人平台，且设置在所述仿真虚拟平台内，所述仿真虚拟平台实现所述无人平台以及复杂环境的建模。
4.根据权利要求3所述的脑控无人平台协同控制系统，其特征在于，所述仿真虚拟平台为Gazebo仿真平台，所述Gazebo仿真平台提供了机器人的运动仿真，支持ROS和Rviz。
5.根据权利要求1所述的脑控无人平台协同控制系统，其特征在于，所述无人平台还包括运动规划控制系统，所述运动规划控制系统控制所述无人机群、无人车群或/和机器人躲避障碍，并到达目标点。
6.根据权利要求5所述的脑控无人平台协同控制系统，其特征在于，所述运动规划控制系统包括如下步骤：
步骤S21、建图：根据无人机群、无人车群或/和机器人自身携带的深度相机建立环境地图，具体可采用八叉树地图；
步骤S22、路径规划：在全局地图已知的情况下，采用成熟的RRT算法；在全局地图未知的情况下，采用多项式曲线，拟合目标点；
步骤S23、轨迹规划：采用软约束B样条进行轨迹规划：将轨迹用B样条表示，将轨迹规划问题建模为B样条控制点的优化问题，优化目标函数考虑B轨迹末端点到目标点的距离和速度差、碰撞地图软约束、轨迹光滑程度、无人机运动能力；
步骤S24、位置控制器控制到目标位置：根据无人机群、无人车群或/和机器人的微分平坦性及运动学进行结算，使用pid控制将无人机群、无人车群或/和机器人控制到目标位置上；采用脑控信号实施方向指令，将方向映射为轨迹末端目标点，映射方式为：以第一个轨迹点为圆心，沿指令方向延伸一个与设定速度和加速度以及轨迹规划速度相关的值，末端点作为目标点。
7.根据权利要求1所述的脑控无人平台协同控制系统，其特征在于，所述无人平台还包括基于像识别的辅助决策系统，所述基于像识别的辅助决策系统对待识别目标离线训练，将物体检测作为回归问题求解，完成从原始图像的输入到物体位置和类别的输出，发现目标并且获得目标位置后，根据发现目标的无人机群、无人车群或/和机器人在全局地图中的位置，在操作者操作界面上标注目标位置，作为操作者的辅助决策信息。
8.根据权利要求1所述的脑控无人平台协同控制系统，其特征在于，所述无人平台还包括任务分配与协同控制系统，所述任务分配与协同控制系统对无人机群、无人车群或/和机器人任务分配使用蚁群算法，采用分布式的任务分配策略，将来自所述脑控系统的辅助决策信息作为重要参考，无人机群、无人车群或/和机器人按照预先分配的搜索阵型中的站位选择合适的目标点；当系统中某个无人机群、无人车群或/和机器人发现目标或者疑似目标时，在某个位置附近留下信息标志，信息标志作为无人机群、无人车群或/和机器人任务分配的一种正反馈信号参与任务分配决策，使得无人机群、无人车群或/和机器人更倾向于朝着信息标志浓度高的地方进行搜索。
CN202011446122.5A 2020-12-11 2020-12-11 脑控无人平台协同控制系统 Active CN112631173B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011446122.5A CN112631173B (zh) 2020-12-11 2020-12-11 脑控无人平台协同控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011446122.5A CN112631173B (zh) 2020-12-11 2020-12-11 脑控无人平台协同控制系统

Publications (2)

Publication Number Publication Date
CN112631173A CN112631173A (zh) 2021-04-09
CN112631173B true CN112631173B (zh) 2022-08-23

Family

ID=75310178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011446122.5A Active CN112631173B (zh) 2020-12-11 2020-12-11 脑控无人平台协同控制系统

Country Status (1)

Country Link
CN (1) CN112631173B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113188543B (zh) * 2021-04-22 2023-02-24 北京云迹科技股份有限公司 一种路径优化的方法、装置、电子设备及存储介质
CN113064493A (zh) * 2021-04-25 2021-07-02 北京理工大学 一种基于脑电信号的无人机紧急状况检测方法与系统
CN113359717B (zh) * 2021-05-26 2022-07-26 浙江工业大学 一种基于深度强化学习的移动机器人导航避障方法
CN114952839B (zh) * 2022-05-27 2024-02-06 西南交通大学 一种基于云边协同的两阶段机器人运动决策系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477405B (zh) * 2009-01-05 2010-11-24 清华大学 基于左右视野两个频率刺激的稳态视觉诱发脑机接口方法
CN103971124B (zh) * 2014-05-04 2017-02-15 杭州电子科技大学 一种基于相位同步的多类别运动想象脑电信号分类方法
US10564714B2 (en) * 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
CN106726030B (zh) * 2016-11-24 2019-01-04 浙江大学 基于临床脑电信号控制机械手运动的脑机接口系统及其应用
CN106671084B (zh) * 2016-12-20 2019-11-15 华南理工大学 一种基于脑机接口的机械臂自主辅助方法
CN107643695B (zh) * 2017-09-07 2020-11-20 天津大学 基于脑电的有人/无人机集群编队vr仿真方法及系统
CN108845802A (zh) * 2018-05-15 2018-11-20 天津大学 无人机集群编队交互式仿真验证系统及实现方法
CN111638724A (zh) * 2020-05-07 2020-09-08 西北工业大学 无人机群脑机协同智能控制新方法
CN112051780B (zh) * 2020-09-16 2022-05-17 北京理工大学 一种基于脑机接口的移动机器人编队控制系统及方法

Also Published As

Publication number Publication date
CN112631173A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN112631173B (zh) 脑控无人平台协同控制系统
CN108983636B (zh) 人机智能共生平台系统
CN104589356B (zh) 基于Kinect人手运动捕捉的灵巧手遥操作控制方法
Ballard et al. Principles of animate vision
CN103116279B (zh) 脑控机器人系统的模糊离散事件共享控制方法
CN105739702A (zh) 用于自然人机交互的多姿态指尖跟踪方法
CN109773807B (zh) 运动控制方法、机器人
CN111176309B (zh) 一种基于球面成像的多无人机自组群互感理解方法
Knoll et al. Neurorobotics: a strategic pillar of the human brain project
Zhang et al. Asynchronous brain-computer interface shared control of robotic grasping
Antonelli et al. A hierarchical system for a distributed representation of the peripersonal space of a humanoid robot
CN109799829B (zh) 一种基于自组织映射的机器人群体协同主动感知方法
CN108089695A (zh) 一种控制可移动设备的方法和装置
Mantegazza et al. Vision-based control of a quadrotor in user proximity: Mediated vs end-to-end learning approaches
KR20180086548A (ko) 사용자 인터랙션을 위한 제스처 인식 방법 및 시스템
CN106502416B (zh) 一种智能识别双手手势的模拟驾驶系统及其控制方法
Huu et al. Proposing recognition algorithms for hand gestures based on machine learning model
CN106512391B (zh) 一种双手手势识别方法及基于其的模拟驾驶系统、方法
Orlov et al. A gaze-contingent intention decoding engine for human augmentation
Wakabayashi et al. Associative motion generation for humanoid robot reflecting human body movement
Gaglio et al. Vision and emotional flow in a cognitive architecture for human-machine interaction
Yin et al. Design and implementation of petri net for brain-computer interface system
CN113288611B (zh) 一种基于电动轮椅行进场景的操作安全保障方法和系统
CN113221729B (zh) 一种基于手势人机交互的无人机集群控制方法及系统
Garrote et al. Reinforcement learning motion planning for an EOG-centered robot assisted navigation in a virtual environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant