CN111890389B - 基于多模态交互接口的多移动机器人协同控制系统 - Google Patents

基于多模态交互接口的多移动机器人协同控制系统 Download PDF

Info

Publication number
CN111890389B
CN111890389B CN202010572459.4A CN202010572459A CN111890389B CN 111890389 B CN111890389 B CN 111890389B CN 202010572459 A CN202010572459 A CN 202010572459A CN 111890389 B CN111890389 B CN 111890389B
Authority
CN
China
Prior art keywords
module
robot
mobile
cooperative control
interactive interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010572459.4A
Other languages
English (en)
Other versions
CN111890389A (zh
Inventor
曾洪
沈熠韬
宋爱国
宋光明
杨晨华
余伟杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202010572459.4A priority Critical patent/CN111890389B/zh
Publication of CN111890389A publication Critical patent/CN111890389A/zh
Application granted granted Critical
Publication of CN111890389B publication Critical patent/CN111890389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Abstract

本发明公开了基于多模态交互接口的多移动机器人协同控制系统，包括交互接口模块、通信模块和多移动机器人协同控制模块；交互接口模块包括脑机接口模块、视线追踪模块、融合模块、手控器模块和穿戴式振动触觉反馈模块；多移动机器人协同控制模块包括编队控制模块和规避控制模块；通信模块用于实现交互接口模块与多移动机器人协同控制模块的数据交互。本发明通过多模态交互接口实现对多机器人系统的多自由度控制，增强了单个操作员操控多机器人系统的能力，提高了交互效率；同时本发明采用多种模态对多机器人系统的运动状态进行反馈，增强了操作员对多机器人系统运动状态的态势感知能力，提高了操作员的快速反应能力。

Description

基于多模态交互接口的多移动机器人协同控制系统
技术领域
本发明涉及人机交互、多机器人协同控制领域。
背景技术
多机器人系统因其在协同任务中的优异性能而在近几十年中被大量研究。与需要单独完成任务的机器人相比，多机器人系统通过个体之间的能力互补和行动协同，往往能够完成单个机器人难以完成的任务，实现整个系统的效能提升。并且多机器人系统具有单个机器人造价低廉、冗余度好、鲁棒性强等优点，这些优点使得多机器人系统在各个领域得到了广泛的应用。在环境监测方面，多机器人系统可以进行分布式部署来进行大范围的环境数据采集；在抢险救灾中，多机器人系统可以大大提高灾后搜索与救援的效率；在协同运输方面，多无人机系统、多移动机器人系统以及多水下机器人系统都受到了越来越多的关注。
这些系统都要求机器人具有较高的自动化程度，系统的可靠性与稳定性完全依赖于机器人的自主性。然而显而易见的是，多机器人系统的完全自主控制当前仍面临着一些困难。特别是当多机器人系统实际运行遭遇诸如天气或地形的变化、机器人零部件损坏导致的运行异常、运行能源消耗、周围环境出现不可预测的变化等情况时，多机器人系统依据自身的控制策略往往会趋于控制的不稳定，甚至会影响整个系统的任务执行。因此在多机器人系统个体间的协同控制以外，操作员的介入在当前仍然是有益甚至必须的，然而当前对操作员与多机器人系统交互的研究并不充分，特别是缺乏有效的操作员与多机器人系统的交互接口。由于多机器人系统高度的灵活性，当前的单模态交互方式往往无法对其进行多自由度的控制，所以急需研究多模态的交互方法对多机器人进行更加灵活的控制。另一方面，操作员需要对多机器人的运行状态进行检测以便在必要时对其进行控制，当前主要依赖交互界面上的视觉反馈给操作员多机器人的运行状态信息，然而在任务、环境复杂性较高的情况下容易造成操作员认知负荷较高、态势感知能力下降等问题，因而需要探索视觉以外的反馈方式对操作员的态势感知能力进行增强与补充。
发明内容
为了解决上述背景技术提到的技术问题，本发明提出了基于多模态交互接口的多移动机器人协同控制系统。
为了实现上述技术目的，本发明的技术方案为：
基于多模态交互接口的多移动机器人协同控制系统，包括交互接口模块、通信模块和多移动机器人协同控制模块；所述交互接口模块包括脑机接口模块、视线追踪模块、融合模块、手控器模块和穿戴式振动触觉反馈模块；所述多移动机器人协同控制模块包括编队控制模块和规避控制模块；所述通信模块用于实现交互接口模块与多移动机器人协同控制模块的数据交互；所述脑机接口模块包括视觉刺激呈现模块、脑电信号采集模块和脑电信号处理模块，视觉刺激呈现模块通过在交互界面上设计以特定频率闪烁的刺激源诱发操作员的大脑皮层产生SSVEP信号，脑电信号采集模块检测操作员产生的SSVEP信号并将其传输至脑电信号处理模块，脑电信号处理模块对SSVEP信号进行识别，得到识别结果并将其发送给融合模块；所述视线追踪模块包括眼动信号采集模块和眼动信号处理模块，眼动信号采集模块通过眼动仪检测操作员在交互界面上的注视点位置并将其传输至眼动信号处理模块，眼动信号处理模块对注视点位置进行识别，得到识别结果并将其发送给融合模块；所述融合模块将脑机接口模块和视线追踪模块的输出结果进行融合，根据融合结果得到目标选择指令，将其映射为编队指令发送到多移动机器人协同控制模块；所述编队控制模块接收融合模块发送的编队指令对多机器人系统进行编队控制，同时通过规避控制模块进行机器人之间以及机器人与障碍之间的自主规避；所述手控器模块将手控器末端位置映射为速度控制指令发送到多机器人协同控制模块，同时以力的形式将多机器人协同控制模块的运动速度状态进行反馈；所述穿戴式振动触觉反馈模块以手部振动的形式将多移动机器人协同控制模块的编队变换状态进行反馈。
进一步地，所述脑机接口模块通过对交互界面亮度进行调制得到如下的刺激源序列：
Figure BDA0002549919570000031
上式中，f表示刺激源的频率，i表示刺激源序列的帧坐标，Refresh_Rate表示交互界面的刷新频率。
进一步地，脑机接口模块建立脑机接口识别精度模型，使用典型相关分析进行脑电信号的分析处理，对于K个不同频率的刺激源，每个刺激源被选中的概率为其模板信号与SSVEP信号的相关系数，设第i个目标Ti的闪烁频率为fi，i＝1,2,…,K，其模板信号如下：
Figure BDA0002549919570000032
上式中，Nh为谐波数量，t表示时间；
将SSVEP信号X与
Figure BDA0002549919570000033
进行线性组合，x＝XTWX，
Figure BDA0002549919570000034
WX和
Figure BDA0002549919570000035
为将X和
Figure BDA0002549919570000036
投影到一维的线性系数向量，上标T表示转置；通过典型相关分析寻找使得x与yi的相关系数ρi最大的WX与
Figure BDA0002549919570000037
则第i个目标Ti被选中的概率：
PBCI(Ti)＝ρi *
上式中，ρi *为通过典型相关分析寻找到的WX与
Figure BDA0002549919570000038
所对应的x与yi的相关系数。
进一步地，所述视线追踪模块建立视线追踪精度模型，使用高斯分布为注视点的精度建模：
Figure BDA0002549919570000041
上式中，σ为眼动仪在这一维度上的检测误差，μ为目标在这一维度上的坐标，d为眼动仪检测到的注视点在这一维度上的坐标；
设目标Ti在交互界面上的坐标为(xi,yi)，则该目标被选中的概率：
Pgaze(Ti)＝N(σ1,xg,xi)·N(σ2,yg,yi)
上式中，σ1为眼动仪在垂直方向上的检测误差，σ2为眼动仪在水平方向上的检测误差，(xg,yg)为眼动仪测试得到的操作员注视点位置。
进一步地，所述融合模块使用朴素贝叶斯方法将脑机接口模块和视线追踪模块的识别结果进行融合，目标Ti被选中的概率：
P(Ti)＝PBCI(Ti)·Pgaze(Ti)
则最终被选中的目标为T：
Figure BDA0002549919570000042
进一步地，所述多移动机器人协同控制模块采用领航者-跟随者方法进行编队控制，选择多机器人系统中的一个机器人作为领航者，对于跟随者，其期望位置由领航者的位置与自身之间的期望距离和角度来确定，编队队形为横行编队、纵行编队、三角形编队或楔形编队，当多移动机器人协同控制模块接收到融合模块发送的编队变换指令时，多机器人系统中的跟随者与领航者的相对位置会进行相应更新从而形成对应的编队。
进一步地，所述规避控制模块采用人工势场法引入虚拟斥力进行规避控制。
采用上述技术方案带来的有益效果：
(1)本发明采用融合脑机接口与视线追踪的指令输入方法，将脑电、视线信号作为传统输入模态的有力补充，为操作员提供了额外的指令输入通道，增强了操作员的交互能力；
(2)本发明采用引入虚拟斥力的领航者-跟随者方法作为多移动机器人的协同控制方法，在接收到操作员的速度及编队变换指令后可自行完成编队的变换、保持及避免碰撞，将操作员的智能决策能力与机器的任务执行能力进行了有效的结合；
(3)本发明通过多种力触觉信息对多机器人运动状态进行反馈，有望提高操作员的临场感，增强操作员对多机器人系统的态势感知能力，提高操作员的快速反应能力。
附图说明
图1是本发明的系统架构图。
具体实施方式
以下将结合附图，对本发明的技术方案进行详细说明。
本发明设计了基于多模态交互接口的多移动机器人协同控制系统，结合脑机接口、视线追踪与手控器作为多机器人协同控制的指令输入接口；同时结合多种力触觉信息对多机器人的运动状态进行反馈。如图1所示，包括交互接口模块、通信模块和多移动机器人协同控制模块。所述交互接口模块包括脑机接口模块、视线追踪模块、融合模块、手控器模块和穿戴式振动触觉反馈模块。所述多移动机器人协同控制模块包括编队控制模块和规避控制模块；所述通信模块用于实现交互接口模块与多移动机器人协同控制模块的数据交互。
所述脑机接口模块包括视觉刺激呈现模块、脑电信号采集模块和脑电信号处理模块，视觉刺激呈现模块通过在交互界面上设计以特定频率闪烁的刺激源诱发操作员的大脑皮层产生稳态视觉诱发电位(Steady State Visual Evoked Potentials,SSVEP)信号，脑电信号采集模块检测操作员产生的SSVEP信号并将其传输至脑电信号处理模块，脑电信号处理模块对SSVEP信号进行识别，得到识别结果并将其发送给融合模块。
所述视线追踪模块包括眼动信号采集模块和眼动信号处理模块，眼动信号采集模块通过眼动仪检测操作员在交互界面上的注视点位置并将其传输至眼动信号处理模块，眼动信号处理模块对注视点位置进行识别，得到识别结果并将其发送给融合模块。
所述融合模块将脑机接口模块和视线追踪模块的输出结果进行融合，根据融合结果得到目标选择指令，将其映射为编队指令发送到多移动机器人协同控制模块。
所述编队控制模块接收融合模块发送的编队指令对多机器人系统进行编队控制，同时通过规避控制模块进行机器人之间以及机器人与障碍之间的自主规避。
所述手控器模块将手控器末端位置映射为速度控制指令发送到多机器人协同控制模块，同时以力的形式将多机器人协同控制模块的运动速度状态进行反馈。
所述穿戴式振动触觉反馈模块以手部振动的形式将多移动机器人协同控制模块的编队变换状态进行反馈。
本发明的工作过程和原理如下：
1、操作员通过多模态交互接口发出控制指令
操作员通过脑机接口模块和视线追踪模块发送离散的编队控制指令，通过手控器模块发送连续的速度控制指令。
首先，所述脑机接口模块通过对屏幕亮度进行调制得到视觉刺激源，刺激源序列计算公式如下：
Figure BDA0002549919570000071
其中，f表示刺激源的频率，i表示刺激源序列的帧坐标，Refresh_Rate表示交互界面的刷新频率。
所述脑机接口模块建立脑机接口识别精度模型。使用典型相关分析(canonicalcorrelation analysis,CCA)进行脑电信号的分析处理，对K个不同频率的刺激源，每个刺激源被选中的概率为其模板信号与SSVEP信号的相关系数，设第i个目标Ti的闪烁频率为fi，i＝1,2,…,K，其模板信号如下：
Figure BDA0002549919570000072
上式中，Nh为谐波数量，t表示时间；
将SSVEP信号X与
Figure BDA0002549919570000073
进行线性组合，x＝XTWX，
Figure BDA0002549919570000074
WX和
Figure BDA0002549919570000075
为将X和
Figure BDA0002549919570000076
投影到一维的线性系数向量，上标T表示转置；通过典型相关分析寻找使得x与yi的相关系数ρi最大的WX与
Figure BDA0002549919570000077
Figure BDA0002549919570000078
则第i个目标Ti被选中的概率：
PBCI(Ti)＝ρi *
上式中，ρi *为通过典型相关分析寻找到的WX与
Figure BDA0002549919570000079
所对应的x与yi的相关系数。
所述视线追踪模块建立视线追踪精度模型，使用高斯分布为注视点的精度建模：
Figure BDA00025499195700000710
上式中，σ为眼动仪在这一维度上的检测误差，μ为目标在这一维度上的坐标，d为眼动仪检测到的注视点在这一维度上的坐标；
设目标Ti在交互界面上的坐标为(xi,yi)，则该目标被选中的概率：
Pgaze(Ti)＝N(σ1,xg,xi)·N(σ2,yg,yi)
上式中，σ1为眼动仪在垂直方向上的检测误差，σ2为眼动仪在水平方向上的检测误差，(xg,yg)为眼动仪测试得到的操作员注视点位置。
所述融合模块使用朴素贝叶斯方法将脑机接口模块和视线追踪模块的识别结果进行融合，目标Ti被选中的概率：
P(Ti)＝PBCI(Ti)·Pgaze(Ti)
则最终被选中的目标为T：
Figure BDA0002549919570000081
将手控器末端的位置[q1,q2]T映射为速度指令发送到多移动机器人协同控制模块。
2、多移动机器人协同控制
在多移动机器人协同控制模块，采用领航者-跟随者方法进行编队控制，选择多机器人系统中的一个机器人作为领航者，对于跟随者来说，其期望位置可以由领航者的位置和它们之间的期望距离和角度来确定。当选中的目标为T时，根据跟随者实际位置与期望位置的偏差可以得到其期望速度指令，如下：
Figure BDA0002549919570000082
其中，(x,y)为每个跟随者的当前位置，(xTd,yTd)为编队控制指令为T时每个跟随者的期望位置，(ex,ey)为每个跟随者实际位置到期望位置的偏差，使用PID控制算法得到每个跟随者的期望速度
Figure BDA0002549919570000083
其中，kp、ki、kd分别为比例系数、积分系数与微分系数。
领航者的期望速度如下：
Figure BDA0002549919570000091
其中，
Figure BDA0002549919570000092
为多机器人协同控制模块中领航者的期望运动速度，[q1,q2]T为手控器末端在其自身坐标系中的坐标，kvx、kvy为进行速度映射的比例系数。
针对多移动机器人在进行编队变换时可能出现的碰撞问题，使用人工势场法引入虚拟斥力进行规避控制。首先设定移动机器人之间的安全距离dsafe，当跟随者之间的距离小于dsafe时，产生虚拟斥力，定义如下：
Figure BDA0002549919570000093
其中，
Figure BDA0002549919570000094
为第n个移动机器人作用于第m个移动机器人的排斥力，
Figure BDA0002549919570000095
为第n个移动机器人到第m个移动机器人的距离向量。
将每个移动机器人受到的排斥力乘以合适的系数G作为速度指令的一部分，则：
Figure BDA0002549919570000096
其中，
Figure BDA0002549919570000097
为每个移动机器人由于排斥力而产生的运动速度，与每个移动机器人的期望速度相加，得到最终的速度控制指令：
Figure BDA0002549919570000098
3、操作员通过多模态交互接口获得状态反馈
操作员通过手控器模块与穿戴式振动触觉反馈模块获得多移动机器人的运动状态反馈。手控器模块用于反馈操作员发送的速度控制指令和多移动机器人实际运动速度的差异，手控器接收的反馈力设计如下：
F＝-k(vd-vsc)
其中，k为正实系数，vd为操作员给出的参考期望速度，
Figure BDA0002549919570000101
为多移动机器人实际的运动速度，N为移动机器人的数量，vsi为第i个移动机器人的实际运动速度。
穿戴式振动触觉反馈模块用于反馈多移动机器人的编队变换状态，穿戴式振动触觉反馈模块由五个放置于手指处的微小电机及微控制器组成，通过蓝牙、Wifi等无线通讯方式与多移动机器人协同控制模块进行通信。当多移动机器人的编队状态由Ti变换为Tj时，为每种编队变换状态设计相应的振动模式：
Zd＝f(Ti→Tj)(i≠j,i,j＝1,2,...,K)
操作员通过手控器模块与穿戴式振动触觉反馈模块感知多移动机器人当前的运动状态，形成控制回路的闭环，进而做出判断向多移动机器人协同控制模块发出正确的控制指令。
实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (6)

1.基于多模态交互接口的多移动机器人协同控制系统，其特征在于：包括交互接口模块、通信模块和多移动机器人协同控制模块；所述交互接口模块包括脑机接口模块、视线追踪模块、融合模块、手控器模块和穿戴式振动触觉反馈模块；所述多移动机器人协同控制模块包括编队控制模块和规避控制模块；所述通信模块用于实现交互接口模块与多移动机器人协同控制模块的数据交互；所述脑机接口模块包括视觉刺激呈现模块、脑电信号采集模块和脑电信号处理模块，视觉刺激呈现模块通过在交互界面上设计以特定频率闪烁的刺激源诱发操作员的大脑皮层产生SSVEP信号，脑电信号采集模块检测操作员产生的SSVEP信号并将其传输至脑电信号处理模块，脑电信号处理模块对SSVEP信号进行识别，得到识别结果并将其发送给融合模块；所述视线追踪模块包括眼动信号采集模块和眼动信号处理模块，眼动信号采集模块通过眼动仪检测操作员在交互界面上的注视点位置并将其传输至眼动信号处理模块，眼动信号处理模块对注视点位置进行识别，得到识别结果并将其发送给融合模块；所述融合模块将脑机接口模块和视线追踪模块的输出结果进行融合，根据融合结果得到目标选择指令，将其映射为编队指令发送到多移动机器人协同控制模块；所述编队控制模块接收融合模块发送的编队指令对多机器人系统进行编队控制，同时通过规避控制模块进行机器人之间以及机器人与障碍之间的自主规避；所述手控器模块将手控器末端位置映射为速度控制指令发送到多机器人协同控制模块，同时以力的形式将多机器人协同控制模块的运动速度状态进行反馈；所述穿戴式振动触觉反馈模块以手部振动的形式将多移动机器人协同控制模块的编队变换状态进行反馈；
所述脑机接口模块通过对交互界面亮度进行调制得到如下的刺激源序列：
Figure FDA0003179683670000011
上式中，f表示刺激源的频率，i表示刺激源序列的帧坐标，Refresh_Rate表示交互界面的刷新频率。
2.根据权利要求1所述基于多模态交互接口的多移动机器人协同控制系统，其特征在于，脑机接口模块建立脑机接口识别精度模型，使用典型相关分析进行脑电信号的分析处理，对于K个不同频率的刺激源，每个刺激源被选中的概率为其模板信号与SSVEP信号的相关系数，设第i个目标Ti的闪烁频率为fi，i＝1,2,…,K，其模板信号如下：
Figure FDA0003179683670000021
上式中，Nh为谐波数量，t表示时间；
将SSVEP信号X与
Figure FDA0003179683670000022
进行线性组合，x＝XTWX，
Figure FDA0003179683670000023
WX和
Figure FDA0003179683670000024
为将X和
Figure FDA0003179683670000025
投影到一维的线性系数向量，上标T表示转置；通过典型相关分析寻找使得x与yi的相关系数ρi最大的WX与
Figure FDA0003179683670000026
则第i个目标Ti被选中的概率：
PBCI(Ti)＝ρi *
上式中，ρi *为通过典型相关分析寻找到的WX与
Figure FDA0003179683670000027
所对应的x与yi的相关系数。
3.根据权利要求2所述基于多模态交互接口的多移动机器人协同控制系统，其特征在于，所述视线追踪模块建立视线追踪精度模型，使用高斯分布为注视点的精度建模：
Figure FDA0003179683670000028
上式中，σ为眼动仪在这一维度上的检测误差，μ为目标在这一维度上的坐标，d为眼动仪检测到的注视点在这一维度上的坐标；
设目标Ti在交互界面上的坐标为(xi,yi)，则该目标被选中的概率：
Pgaze(Ti)＝N(σ1,xg,xi)·N(σ2,yg,yi)
上式中，σ1为眼动仪在垂直方向上的检测误差，σ2为眼动仪在水平方向上的检测误差，(xg,yg)为眼动仪测试得到的操作员注视点位置。
4.根据权利要求3所述基于多模态交互接口的多移动机器人协同控制系统，其特征在于，所述融合模块使用朴素贝叶斯方法将脑机接口模块和视线追踪模块的识别结果进行融合，目标Ti被选中的概率：
P(Ti)＝PBCI(Ti)·Pgaze(Ti)
则最终被选中的目标为T：
Figure FDA0003179683670000031
5.根据权利要求1所述基于多模态交互接口的多移动机器人协同控制系统，其特征在于，所述多移动机器人协同控制模块采用领航者-跟随者方法进行编队控制，选择多机器人系统中的一个机器人作为领航者，对于跟随者，其期望位置由领航者的位置与自身之间的期望距离和角度来确定，编队队形为横行编队、纵行编队、三角形编队或楔形编队，当多移动机器人协同控制模块接收到融合模块发送的编队变换指令时，多机器人系统中的跟随者与领航者的相对位置会进行相应更新从而形成对应的编队。
6.根据权利要求1所述基于多模态交互接口的多移动机器人协同控制系统，其特征在于，所述规避控制模块采用人工势场法引入虚拟斥力进行规避控制。
CN202010572459.4A 2020-06-22 2020-06-22 基于多模态交互接口的多移动机器人协同控制系统 Active CN111890389B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010572459.4A CN111890389B (zh) 2020-06-22 2020-06-22 基于多模态交互接口的多移动机器人协同控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010572459.4A CN111890389B (zh) 2020-06-22 2020-06-22 基于多模态交互接口的多移动机器人协同控制系统

Publications (2)

Publication Number Publication Date
CN111890389A CN111890389A (zh) 2020-11-06
CN111890389B true CN111890389B (zh) 2021-10-08

Family

ID=73206894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010572459.4A Active CN111890389B (zh) 2020-06-22 2020-06-22 基于多模态交互接口的多移动机器人协同控制系统

Country Status (1)

Country Link
CN (1) CN111890389B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112650269B (zh) * 2021-01-02 2022-07-26 西北工业大学 一种多无人机协同运输系统的载荷跟踪控制方法
CN112959342B (zh) * 2021-03-08 2022-03-15 东南大学 基于操作员意图识别的飞行机械臂抓取作业遥操作方法
CN112975982B (zh) * 2021-03-16 2021-11-09 北京理工大学 一种基于脑机融合的空地协同多机器人系统
CN113311823B (zh) * 2021-04-07 2023-01-17 西北工业大学 一种结合脑机接口技术及orb_slam导航的移动机器人控制新方法
CN113359689A (zh) * 2021-06-04 2021-09-07 西北工业大学 非结构化环境下人机协同智能导航新技术
CN115070789A (zh) * 2022-06-09 2022-09-20 博歌科技有限公司 一种多机器人智能控制交互平台
CN116880701B (zh) * 2023-09-07 2023-12-22 深圳优立全息科技有限公司 基于全息设备的多模态交互方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10682038B1 (en) * 2014-09-19 2020-06-16 Colorado School Of Mines Autonomous robotic laparoscope based on eye tracking
CN105425791B (zh) * 2015-11-06 2019-01-29 武汉理工大学 一种基于视觉定位的群机器人控制系统及方法
CN108829245B (zh) * 2018-05-30 2019-08-23 中国人民解放军军事科学院国防科技创新研究院 一种基于多模态脑机交互技术的虚拟沙盘交互控制系统
CN108983636B (zh) * 2018-06-20 2020-07-17 浙江大学 人机智能共生平台系统
CN110442232A (zh) * 2019-06-18 2019-11-12 中国人民解放军军事科学院国防科技创新研究院 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统
CN110825076B (zh) * 2019-09-26 2022-12-09 东南大学 基于视线和力反馈的移动机器人编队导航半自主控制方法

Also Published As

Publication number Publication date
CN111890389A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN111890389B (zh) 基于多模态交互接口的多移动机器人协同控制系统
Krupke et al. Comparison of multimodal heading and pointing gestures for co-located mixed reality human-robot interaction
CN110825076B (zh) 基于视线和力反馈的移动机器人编队导航半自主控制方法
Antonelli et al. Kinematic control of platoons of autonomous vehicles
Saska et al. Coordination and navigation of heterogeneous UAVs-UGVs teams localized by a hawk-eye approach
CN108829113B (zh) 一种多机器人编队自适应零空间行为融合方法
CN113829343B (zh) 基于环境感知的实时多任务多人人机交互系统
CN111015649B (zh) 一种驱控一体化控制系统
CN104950885A (zh) 一种基于视觉和力觉反馈的uav群双边遥操作控制系统及其方法
Liu et al. Brain–robot interface-based navigation control of a mobile robot in corridor environments
Zhao et al. Brain–machine interfacing-based teleoperation of multiple coordinated mobile robots
CN108762253B (zh) 一种应用于为人导航系统的人机队形控制方法
Sathiyanarayanan et al. Gesture controlled robot for military purpose
Hou et al. Dynamic kinesthetic boundary for haptic teleoperation of aerial robotic vehicles
CN113190020A (zh) 一种移动机器人队列系统及路径规划、跟随方法
Gillini et al. An assistive shared control architecture for a robotic arm using eeg-based bci with motor imagery
Gillini et al. A dual-arm mobile robot system performing assistive tasks operated via p300-based brain computer interface
Bentz et al. Unsupervised learning of assistive camera views by an aerial co-robot in augmented reality multitasking environments
Nieto et al. Toward safe and stable time-delayed mobile robot teleoperation through sampling-based path planning
Xu et al. A teleoperated shared control scheme for mobile robot based semg
CN113110458B (zh) 一种无人船虚拟目标跟踪控制系统
Yan et al. Adaptive vision-based control of redundant robots with null-space interaction for human-robot collaboration
Li et al. Guest editorial for special issue on human-centered intelligent robots: issues and challenges
Vadakkepat et al. Fuzzy logic controllers for navigation and control of AR. Drone using microsoft kinect
Olivi et al. Shared control for assistive mobile robots based on vector fields

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant