CN116520991A - 一种基于vr和眼动的人与集群机器人交互方法及系统 - Google Patents

一种基于vr和眼动的人与集群机器人交互方法及系统 Download PDF

Info

Publication number
CN116520991A
CN116520991A CN202310490556.2A CN202310490556A CN116520991A CN 116520991 A CN116520991 A CN 116520991A CN 202310490556 A CN202310490556 A CN 202310490556A CN 116520991 A CN116520991 A CN 116520991A
Authority
CN
China
Prior art keywords
eye movement
robot
movement data
cluster
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310490556.2A
Other languages
English (en)
Inventor
雷小康
南乐萌
段中兴
许明玉
段梦园
高燕如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Architecture and Technology
Original Assignee
Xian University of Architecture and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Architecture and Technology filed Critical Xian University of Architecture and Technology
Priority to CN202310490556.2A priority Critical patent/CN116520991A/zh
Publication of CN116520991A publication Critical patent/CN116520991A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)

Abstract

本发明提出一种基于VR和眼动的人与集群机器人交互方法及系统，利用VR技术获取机器人群体的实时运动状态，基于眼动数据生成集群行为控制指令，实现了对机器人集群的远程交互和基于眼动的运动控制，有效解决了传统交互方式不能满足集群机器人交互的问题。该基于VR和眼动的人与集群机器人交互方法具有沉浸感强、操作友好、灵活及高效的特点，为人与集群机器人的交互提供了一种新的实施途径。

Description

一种基于VR和眼动的人与集群机器人交互方法及系统
技术领域
本发明涉及人与集群机器人交互领域，特别涉及一种基于VR和眼动的人与集群机器人交互方法及系统。
背景技术
集群机器人是受自然界生物集群现象启发，通过大量简单机器人的局部相互作用涌现出复杂的集群行为，并使系统具备完成复杂任务的集群智能的机器人系统。
由于集群机器人数量众多，分布区域较为分散，传统采用手动遥控的方式对集群机器人实施控制时，面临被控对象多、集体行为指控不易等诸多挑战，无法高效、灵活的实现人与集群机器人的交互与控制；而且在实际场景应用时，为了满足保证操控人员安全等要求，往往需要对集群机器人进行远程控制，传统的手动遥控方式也存在群体态势感知困难、操作人员沉浸感差等问题。
除了手动遥控外，目前也有方案提出基于手势、语音等媒介进行人与集群机器人交互，利用图像或声音的方式对操作员的意图进行识别，达到对集群机器人交互控制的目的。机器人在获取到手势或语音指令后，对指令进行解析，随后做出相应动作。
然而，基于手势的方法在交互过程中容易受到环境因素的影响，例如环境遮挡、光线及操作距离等，从而降低手势识别的准确程度及精确程度，不利于集群机器人理解操作员的控制意图。此外，基于手势的方法还会受到操作员假动作及运动影响而导致识别模糊。而基于语音的方法除易受环境因素的影响外，还受到环境嘈杂度的影响。并且这些方法均需操作员直接观察集群机器人群体状态，在非结构化环境及集群密度较大等情况下，不利于操作员感知群体状态，导致操作员受群体位置影响而产生误判。
发明内容
为解决现有技术存在的问题，本发明提出一种基于VR和眼动的人与集群机器人交互方法及系统，利用VR技术获取集群机器人的实时运动状态，基于眼动数据生成集群行为控制指令，从而将人类的决策智慧与集群机器人的群体分布式协作相融合，克服了传统方法中对集群机器人感知困难，指控不易的难题，有效提高集群机器人系统的可靠性、适应性及智能化水平，实现灵活、便捷、高效、实时且强沉浸感的人与集群交互。
本发明的技术方案为：
所述一种基于VR和眼动的人与集群机器人交互方法，包括以下步骤：
步骤1：在操作员所佩戴的VR设备中加载集群机器人及其作业环境的3D虚拟现实场景，并将真实机器人与其在所述3D虚拟现实场景中的数字孪生主体进行状态互联，能够根据真实机器人的运动状态，在所述3D虚拟现实场景中实时更新对应的数字孪生主体运动状态；
步骤2：实时捕捉操作员通过VR设备观察所述3D虚拟现实场景时的眼动数据，并对眼动数据进行解析，生成相应的集群机器人运动控制指令；
步骤3：将所述运动控制指令发送至群体机器人，机器人接收指令后执行相应的动作。
进一步的，步骤2中的眼动数据包括瞳孔位置数据。
进一步的，步骤2中对眼动数据进行解析的过程为：
步骤2.1：根据公式
xep＝(xep_b-xmean)/(xmax-xmin)
yep＝(yep_b-ymean)/(ymax-ymin)
将原始眼动数据(xep_b,yep_b)归一化，得到归一化后的眼动数据(xep,yep)，其中xmax为原始眼动数据中x向坐标最大值，ymax为原始眼动数据中y向坐标最大值，xmin为原始眼动数据中x向坐标最小值，ymin为原始眼动数据中y向坐标最小值，xmean为原始眼动数据中x向坐标平均值，ymean为原始眼动数据中y向坐标平均值；
步骤2.2：根据步骤2.1得到的眼动数据，解算集群机器人的期望角度和期望线速度。
进一步的，步骤2.1中，还对归一化后的眼动数据进行重采样处理，其中重采样间隔为DI，取眼动数据中区间长度为DI的每个小区间内的第一个数据组成新的眼动数据；DI取值为眼动数据采集频率与集群机器人控制指令更新频率的比值。
进一步的，步骤2.1中，还对归一化后的眼动数据进行阈值滤波处理，将处于[-ε,ε]之间的数据置0，其中ε为阈值参数；得到阈值滤波处理后的眼动数据(xep_d,yep_d)。
进一步的，步骤2.2中，期望角度θ根据眼动数据，通过公式
计算得到，其中当xep_t＝0,yep_t>0时，θ为90°；当xep_t＝0,yep_t<0时，θ为-90°；当xep_t＝0,yep_t＝0时，θ为0°；为经过步骤2.1处理后的眼动数据。
进一步的，步骤2.2中，若xep_d和yep_d同时为0时，集群机器人原地不动，否则集群机器人按照设定的恒定线速度运动。
一种基于VR和眼动的人与集群机器人交互系统，包括可佩戴的VR设备、眼动跟踪传感器、中央控制系统和集群机器人；
所述VR设备中加载有集群机器人及其作业环境的3D虚拟现实场景；
所述眼动跟踪传感器能够采集操作员通过所述VR设备观察所述3D虚拟现实场景时的眼动数据，并将眼动数据传输到中央控制系统；
所述集群机器人的位置、速度信息能够实时传输到中央控制系统；并根据从中央控制系统接收的控制指令运动；
所述中央控制系统能够根据接收的眼动数据产生集群机器人运动控制指令，并传输至所述集群机器人；所述中央控制系统能够根据接收的集群机器人实时位置、速度信息，实时更新所述3D虚拟现实场景中的集群机器人数字孪生主体位置、速度状态，并通过所述VR设备显示。
进一步的，所述集群机器人带有光学定位板，通过光学三维动作捕捉系统获取集群机器人的实时位置、速度信息。
进一步的，所述VR设备采用VR眼镜，所述眼动跟踪传感器采用嵌入在VR眼镜中的嵌入式传感器。
有益效果
本发明提出了一种基于VR和眼动的人与集群机器人交互方法及系统，利用VR技术获取机器人群体的实时运动状态，基于眼动数据生成集群行为控制指令，实现了对机器人集群的远程交互和基于眼动的运动控制，有效解决了传统交互方式不能满足集群机器人交互的问题。该基于VR和眼动的人与集群机器人交互方法具有沉浸感强、操作友好、灵活及高效的特点，为人与集群机器人的交互提供了一种新的实施途径。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1：本实施例中基于VR和眼动的人与集群机器人交互方法流程图；
图2：本实施例中基于VR和眼动的人与集群机器人交互系统组成示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本实施例提出一种基于VR和眼动的人与集群机器人交互系统，包括可佩戴的VR设备、眼动跟踪传感器、中央控制系统和集群机器人。
所述可佩戴的VR设备采用VR眼镜，通过VR眼镜，操作员能够观察VR眼镜内部加载的3D虚拟现实场景。
VR眼镜内部加载的3D虚拟现实场景为集群机器人及其作业环境的3D虚拟现实场景。具体构建过程如下：
利用三维扫描仪对集群机器人工作环境进行扫描，得到集群机器人工作环境的点云数据，将点云数据输入到虚拟场景建模软件中，如3DS Max软件或Unity软件，建立集群虚拟交互环境的三维模型。在虚拟场景建模软件中，基于集群虚拟交互环境的三维模型，搭建集群机器人的数字孪生主体。基于Unity虚拟现实开发引擎及Steam VR，将所搭建的集群机器人及其作业环境的3D虚拟现实场景显示至操作员所戴的VR眼镜中。
所述眼动跟踪传感器采用嵌入在VR眼镜中的嵌入式传感器，能够采集操作员通过所述VR设备观察3D虚拟现实场景时的眼动数据，并将眼动数据传输到中央控制系统。工作时，确保安装在VR眼镜上的眼动跟踪传感器处于正常工作状态，利用眼动跟踪传感器所提供的接口采集操作员左右眼的瞳孔位置及直径、眼睛开合度、双眼注视位置等眼睛状态信息。
所述集群机器人的位置、速度信息能够实时传输到中央控制系统；并根据从中央控制系统接收的控制指令运动。
本实施例中，眼动控制指令所遵循的集群控制规则用于实现操作者对集群机器人的直接眼动控制，即所发送的集群机器人运动控制指令为机器人可识别的期望角度和期望线速度。具体而言，当集群机器人运动时，采用设定的恒定线速度运动，同时将眼球的上/下/左/右运动映射为机器人的运动方向，实现对机器人向前/向后/向左/向右运动的直接控制。
所述中央控制系统能够根据接收的眼动数据产生集群机器人运动控制指令，并传输至所述集群机器人；所述中央控制系统能够根据接收的集群机器人实时位置、速度信息，实时更新所述3D虚拟现实场景中的集群机器人数字孪生主体位置、速度状态，并通过所述VR设备显示。
具体而言，由于通常情况下瞳孔大小的变化并不明显，而瞳孔位置的变化则非常显著，存在明显的正负值的跳变，因此本实施例采用瞳孔位置作为用于判断的眼动数据。
由于不同操作员之间眼睛大小、瞳距等的不同，采集的眼动数据无统一标准。为了消除不同操作者眼睛生理性差异产生的影响，中央控制系统接收到眼动数据后，先根据公式
xep＝(xep_b-xmean)/(xmax-xmin)
yep＝(yep_b-ymean)/(ymax-ymin)
将原始眼动数据(xep_b,yep_b)归一化到[-1,1]之间，得到归一化后的眼动数据(xep,yep)，以瞳孔中心为原点，向右、向上为正，向下、向左为负；公式中xmax为原始眼动数据中x向坐标最大值，ymax为原始眼动数据中y向坐标最大值，xmin为原始眼动数据中x向坐标最小值，ymin为原始眼动数据中y向坐标最小值，xmean为原始眼动数据中x向坐标平均值，ymean为原始眼动数据中y向坐标平均值。
而眼动数据的采集频率与机器人控制指令的更新频率之间存在约数倍的明显差异。因此为了保证控制指令生成的同步性，中央控制系统还对归一化后的眼动数据进行重采样处理。设重采样间隔为DI(Discrete Intervals)，即取眼动数据中区间长度为DI的每个小区间内的第一个数据组成新的眼动数据，据此来生成机器人的运动交互指令。调节参数DI的取值需基于被控集群机器人的实际情况来确定，取为眼动数据采集频率与机器人控制指令更新频率的比值为宜。
此外，由于眼睛运动十分灵活，且眼动跟踪传感器数据采集精度高达0.5°，在操作员出现眼神漂移、眼跳等现象时，会产生大量的无效眼动数据。这导致瞳孔位置原始数据中存在明显的随机漂移，可能影响机器人控制指令的稳定生成。为此，引入阈值滤波机制去除随机漂移的影响，即利用公式
将处于[-ε,ε]之间的数据置0，得到阈值滤波处理后的眼动数据(xep_d,yep_d)，从而抑制眼动随机因素的影响，其中ε为阈值参数。
通过上述处理后，中央控制系统产生集群机器人运动控制指令，如前所述，本实施例中的眼动控制指令所遵循的集群控制规则用于实现操作者对集群机器人的直接眼动控制，即所发送的集群机器人运动控制指令为机器人可识别的期望角度和期望线速度。具体而言，当集群机器人运动时，采用设定的恒定线速度运动，同时将眼球的上/下/左/右运动映射为机器人的运动方向，实现对机器人向前/向后/向左/向右运动的直接控制。而期望的期望角度θ通过公式
计算得到，xep_d<0为瞳孔左移，xep_d>0为右移；yep_d<0为瞳孔下移，yep_d>0为上移。当-180°＜θ＜-90°时，群体向左后方移动；当90°＜θ＜180°时，群体向左前方移动；当-90°＜θ＜0°时，群体向右后方移动；当0°＜θ＜90°时，群体向右前方移动。当xep_d＝0,yep_d>0时，θ为90°，群体向正前方移动；当xep_d＝0,yep_d<0时，θ为-90°，群体向正后方移动；当xep_d＝0,yep_d＝0时，θ为0°，集群机器人原地不动。
中央控制系统产生集群机器人运动控制指令后，通过无线传输至集群机器人，机器人接受解析后的指令后，转换为左、右轮速度指令，执行指令相应的动作。机器人不断读取通过无线通信协议发送的数据，从而及时获取操作员发出的指令及控制意图。
而集群机器人根据指令运动后，位置、速度等状态发生改变，中央控制系统接收的集群机器人实时位置、速度信息，例如可以通过在集群机器人上布置光学定位板，通过光学三维动作捕捉系统获取集群机器人的实时位置、速度信息，并传输给中央控制系统。中央控制系统根据接收的集群机器人实时位置、速度信息，实时更新3D虚拟现实场景中的集群机器人数字孪生主体位置、速度状态，并通过VR眼镜显示，实现真实集群机器人运动状态与其VR环境中数字孪生主体之间的状态互联，保持真实机器人集群状态与数字孪生主体保持同步，实现操作员与集群机器人之间的高效交互。
基于上述系统，本实施例中的基于VR和眼动的人与集群机器人交互方法，包括以下步骤：
步骤1：将三维扫描仪对集群机器人工作环境进行扫描，得到集群机器人工作环境的点云数据。将点云数据输入到3DS Max或Unity等虚拟场景建模软件中，建立集群虚拟交互环境的三维模型，其中三维模型包括所建立障碍物模型的尺寸信息和颜色信息。将所建立的集群虚拟交互环境的三维模型导入到3DS Max或Unity虚拟场景建模软件中，基于虚拟场景建模软件，搭建集群机器人的数字孪生主体，形成集群机器人及其作业环境的3D虚拟现实场景。基于Unity虚拟现实开发引擎及Steam VR，将所搭建场景显示至操作员所戴的VR眼镜中。
同时将真实机器人与其在3D虚拟现实场景中的数字孪生主体进行状态互联，当光学三维动作捕捉系统相机采集集群机器人的位置、速度等状态特征量信息后，能够根据集群机器人的位置、速度，在3D虚拟现实场景中实时更新对应的数字孪生主体运动状态。
步骤2：实时捕捉操作员通过VR设备观察所述3D虚拟现实场景时的眼动数据，并对眼动数据进行解析，生成相应的集群机器人运动控制指令。
如前所述，由于通常情况下瞳孔大小的变化并不明显，而瞳孔位置的变化则非常显著，存在明显的正负值的跳变，因此方法中采用瞳孔位置作为用于判断的眼动数据。
并且由于不同操作员之间眼睛大小、瞳距等的不同，采集的眼动数据无统一标准。为了消除不同操作者眼睛生理性差异产生的影响，该步骤中，先根据公式
xep＝(xep_b-xmean)/(xmax-xmin)
yep＝(yep_b-ymean)/(ymax-ymin)
将原始眼动数据(xep_b,yep_b)归一化到[-1,1]之间，得到归一化后的眼动数据(xep,yep)，以瞳孔中心为原点，向右、向上为正，向下、向左为负；公式中xmax为原始眼动数据中x向坐标最大值，ymax为原始眼动数据中y向坐标最大值，xmin为原始眼动数据中x向坐标最小值，ymin为原始眼动数据中y向坐标最小值，xmean为原始眼动数据中x向坐标平均值，ymean为原始眼动数据中y向坐标平均值。
而眼动数据的采集频率与机器人控制指令的更新频率之间存在约数倍的明显差异。因此为了保证控制指令生成的同步性，本步骤中还对归一化后的眼动数据进行重采样处理。设重采样间隔为DI(Discrete Intervals)，即取眼动数据中区间长度为DI的每个小区间内的第一个数据组成新的眼动数据，据此来生成机器人的运动交互指令。调节参数DI的取值需基于被控集群机器人的实际情况来确定，取为眼动数据采集频率与机器人控制指令更新频率的比值。
此外，为消除无效眼动数据，避免因瞳孔位置原始数据中的随机漂移，影响机器人控制指令的稳定生成，本方法中还引入阈值滤波机制去除随机漂移的影响，即利用公式
将处于[-ε,ε]之间的数据置0，得到阈值滤波处理后的眼动数据(xep_d,yep_d)，从而抑制眼动随机因素的影响，其中ε为阈值参数。
通过上述处理后，接下来对眼动数据进行解析：
当集群机器人运动时，采用设定的恒定线速度运动，同时将眼球的上/下/左/右运动映射为机器人的运动方向，实现对机器人向前/向后/向左/向右运动的直接控制。而期望的期望角度θ通过公式
计算得到，xep_d<0为瞳孔左移，xep_d>0为右移；yep_d<0为瞳孔下移，yep_d>0为上移。当-180°＜θ＜-90°时，群体向左后方移动；当90°＜θ＜180°时，群体向左前方移动；当-90°＜θ＜0°时，群体向右后方移动；当0°＜θ＜90°时，群体向右前方移动。当xep_d＝0,yep_d>0时，θ为90°，群体向正前方移动；当xep_d＝0,yep_d<0时，θ为-90°，群体向正后方移动；当xep_d＝0,yep_d＝0时，θ为0°，集群机器人原地不动。
步骤3：产生集群机器人运动控制指令后，通过无线传输至集群机器人，机器人接受解析后的指令后，转换为左、右轮速度指令，执行指令相应的动作。机器人不断读取通过无线通信协议发送的数据，从而及时获取操作员发出的指令及控制意图，实现操作员与集群机器人之间的高效交互。
综上所述，本发明利用VR技术获取机器人群体的实时运动状态，基于眼动数据生成集群行为控制指令，实现了对机器人集群的远程交互和基于眼动的运动控制，有效解决了传统交互方式不能满足集群机器人交互的问题。本发明具有沉浸感强、操作友好、灵活及高效的特点，为人与集群机器人的交互提供了一种新的实施途径。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于VR和眼动的人与集群机器人交互方法，其特征在于：包括以下步骤：
步骤1：在操作员所佩戴的VR设备中加载集群机器人及其作业环境的3D虚拟现实场景，并将真实机器人与其在所述3D虚拟现实场景中的数字孪生主体进行状态互联，能够根据真实机器人的运动状态，在所述3D虚拟现实场景中实时更新对应的数字孪生主体运动状态；
步骤2：实时捕捉操作员通过VR设备观察所述3D虚拟现实场景时的眼动数据，并对眼动数据进行解析，生成相应的集群机器人运动控制指令；
步骤3：将所述运动控制指令发送至群体机器人，机器人接收指令后执行相应的动作。
2.根据权利要求1所述一种基于VR和眼动的人与集群机器人交互方法，其特征在于：步骤2中的眼动数据包括瞳孔位置数据。
3.根据权利要求1或2所述一种基于VR和眼动的人与集群机器人交互方法，其特征在于：步骤2中对眼动数据进行解析的过程为：
步骤2.1：根据公式
xep＝(xep_b-xmean)/(xmax-xmin)
yep＝(yep_b-ymean)/(ymax-ymin)
将原始眼动数据(xep_b,yep_b)归一化，得到归一化后的眼动数据(xep,yep)，其中xmax为原始眼动数据中x向坐标最大值，ymax为原始眼动数据中y向坐标最大值，xmin为原始眼动数据中x向坐标最小值，ymin为原始眼动数据中y向坐标最小值，xmean为原始眼动数据中x向坐标平均值，ymean为原始眼动数据中y向坐标平均值；
步骤2.2：根据步骤2.1得到的眼动数据，解算集群机器人的期望角度和期望线速度。
4.根据权利要求3所述一种基于VR和眼动的人与集群机器人交互方法，其特征在于：步骤2.1中，还对归一化后的眼动数据进行重采样处理，其中重采样间隔为DI，取眼动数据中区间长度为DI的每个小区间内的第一个数据组成新的眼动数据；DI取值为眼动数据采集频率与集群机器人控制指令更新频率的比值。
5.根据权利要求3所述一种基于VR和眼动的人与集群机器人交互方法，其特征在于：步骤2.1中，还对归一化后的眼动数据进行阈值滤波处理，将处于[-ε,ε]之间的数据置0，其中ε为阈值参数；得到阈值滤波处理后的眼动数据(xep_d,yep_d)。
6.根据权利要求3所述一种基于VR和眼动的人与集群机器人交互方法，其特征在于：步骤2.2中，期望角度θ根据眼动数据，通过公式
计算得到，其中当xep_t＝0,yep_t>0时，θ为90°；当xep_t＝0,yep_t<0时，θ为-90°；当xep_t＝0,yep_t＝0时，θ为0°；(xept，yept)为经过步骤2.1处理后的眼动数据。
7.根据权利要求6所述一种基于VR和眼动的人与集群机器人交互方法，其特征在于：步骤2.2中，若xep_d和yep_d同时为0时，集群机器人原地不动，否则集群机器人按照设定的恒定线速度运动。
8.一种基于VR和眼动的人与集群机器人交互系统，其特征在于：包括可佩戴的VR设备、眼动跟踪传感器、中央控制系统和集群机器人；
所述VR设备中加载有集群机器人及其作业环境的3D虚拟现实场景；
所述眼动跟踪传感器能够采集操作员通过所述VR设备观察所述3D虚拟现实场景时的眼动数据，并将眼动数据传输到中央控制系统；
所述集群机器人的位置、速度信息能够实时传输到中央控制系统；并根据从中央控制系统接收的控制指令运动；
所述中央控制系统能够根据接收的眼动数据产生集群机器人运动控制指令，并传输至所述集群机器人；所述中央控制系统能够根据接收的集群机器人实时位置、速度信息，实时更新所述3D虚拟现实场景中的集群机器人数字孪生主体位置、速度状态，并通过所述VR设备显示。
9.根据权利要求8所述一种基于VR和眼动的人与集群机器人交互系统，其特征在于：所述集群机器人带有光学定位板，通过光学三维动作捕捉系统获取集群机器人的实时位置、速度信息。
10.根据权利要求8所述一种基于VR和眼动的人与集群机器人交互系统，其特征在于：所述VR设备采用VR眼镜，所述眼动跟踪传感器采用嵌入在VR眼镜中的嵌入式传感器。
CN202310490556.2A 2023-05-04 2023-05-04 一种基于vr和眼动的人与集群机器人交互方法及系统 Pending CN116520991A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310490556.2A CN116520991A (zh) 2023-05-04 2023-05-04 一种基于vr和眼动的人与集群机器人交互方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310490556.2A CN116520991A (zh) 2023-05-04 2023-05-04 一种基于vr和眼动的人与集群机器人交互方法及系统

Publications (1)

Publication Number Publication Date
CN116520991A true CN116520991A (zh) 2023-08-01

Family

ID=87398939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310490556.2A Pending CN116520991A (zh) 2023-05-04 2023-05-04 一种基于vr和眼动的人与集群机器人交互方法及系统

Country Status (1)

Country Link
CN (1) CN116520991A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117021117A (zh) * 2023-10-08 2023-11-10 电子科技大学 一种基于混合现实的移动机器人人机交互与定位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117021117A (zh) * 2023-10-08 2023-11-10 电子科技大学 一种基于混合现实的移动机器人人机交互与定位方法
CN117021117B (zh) * 2023-10-08 2023-12-15 电子科技大学 一种基于混合现实的移动机器人人机交互与定位方法

Similar Documents

Publication Publication Date Title
CN103336575B (zh) 一种人机交互的智能眼镜系统及交互方法
CN108983636B (zh) 人机智能共生平台系统
WO2020125499A9 (zh) 一种操作提示方法及眼镜
CN106598226A (zh) 一种基于双目视觉和深度学习的无人机人机交互方法
CN103970264B (zh) 手势辨识与控制方法及其装置
CN110216674B (zh) 一种冗余自由度机械臂视觉伺服避障系统
CN116520991A (zh) 一种基于vr和眼动的人与集群机器人交互方法及系统
CN110060299A (zh) 基于双目视觉技术的输电通道内危险源识别和定位方法
CN109145802B (zh) 基于Kinect的多人手势人机交互方法及装置
CN108881885A (zh) 深度处理系统
CN110728739A (zh) 一种基于视频流的虚拟人控制与交互方法
CN111596767A (zh) 一种基于虚拟现实的姿态捕获方法和装置
CN105759650A (zh) 一种用于智能机器人系统实时跟踪人脸的方法
KR100808543B1 (ko) 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치및 방법
CN102830798A (zh) 单臂机器人基于Kinect的无标记人手跟踪方法
CN113746936A (zh) 一种vr与ar分布式协作的综采工作面智能监控系统
CN109395375A (zh) 一种基于增强现实与移动交互的三维游戏接口设计方法
CN116572260A (zh) 基于人工智能生成内容的情感交流陪护养老机器人系统
CN106959762A (zh) 虚拟现实系统及方法
CN206559469U (zh) 一种基于fpga的目标跟踪设备
CN111134974B (zh) 一种基于增强现实和多模态生物信号的轮椅机器人系统
CN110032270A (zh) 一种基于手势识别的人机交互方法
CN117075726A (zh) 一种视觉手势与肌电传感混合交互的协同控制方法及系统
JPS61199178A (ja) 情報入力装置
CN207888651U (zh) 一种基于动作融合的机器人示教系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination