CN111459277B - 基于混合现实的机械臂遥操作系统及交互界面构建方法 - Google Patents

基于混合现实的机械臂遥操作系统及交互界面构建方法 Download PDF

Info

Publication number
CN111459277B
CN111459277B CN202010249479.8A CN202010249479A CN111459277B CN 111459277 B CN111459277 B CN 111459277B CN 202010249479 A CN202010249479 A CN 202010249479A CN 111459277 B CN111459277 B CN 111459277B
Authority
CN
China
Prior art keywords
mechanical arm
binocular camera
operator
real
mixed reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010249479.8A
Other languages
English (en)
Other versions
CN111459277A (zh
Inventor
程敏
韩泽南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202010249479.8A priority Critical patent/CN111459277B/zh
Publication of CN111459277A publication Critical patent/CN111459277A/zh
Application granted granted Critical
Publication of CN111459277B publication Critical patent/CN111459277B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

本发明的一种基于混合现实的机械臂遥操作系统及交互界面构建方法，属于混合现实技术和机器人技术领域，本系统包括：本地端，由操纵手杆、VR头显、宿主机组成；远程端，由目标机、控制箱、双目相机、云台组成；VR头显由操作者佩戴，操纵手杆由操作者控制，宿主机分别与VR头显和操纵手杆电性连接，宿主机还分别与目标机和双目相机无线通信连接，控制箱分别与目标机、机械臂和云台电性连接，VR头显和双目相机内均设有惯性测量单元，宿主机借助双目相机将获取的远程端的现实场景和真实机械臂、及本地端的虚拟机械臂均导入VR头显中构建出混合现实交互界面。本发明改善了机械臂操作滞后，人机交互界面不直观的问题，有利于完成更复杂的工作，提高了工作效率。

Description

基于混合现实的机械臂遥操作系统及交互界面构建方法
技术领域
本发明属于混合现实技术和机器人技术领域，具体涉及一种基于混合现实的机械臂遥操作系统及交互界面构建方法。
背景技术
混合现实技术(MR)是通过在现实场景中呈现虚拟场景的信息，并在现实场景，虚拟场景和操作者之间产生信息交互，是一种以增强操作者真实感和临场感为目的的人机交互技术。
人机交互设计和遥操作在机器人技术领域中占据着重要的作用，人机交互是指人与机器人之间使用某种对话语言，以一定的交互方式，为完成确定任务的人与机器人之间的信息交换过程。遥操作是指对机器人进行远程操作，在地震救援、海底资源勘探、核物质清理等危险复杂的场景中应用非常广泛。而在对机器人的实际遥操作过程中，由于信息传输存在时延、机械臂控制算法不完善等原因，往往存在机械臂操作滞后、人机交互界面不直观等问题，带来了操作的不适感，严重影响了操作者的工作效率。
发明内容
为改善机械臂操作滞后和人机交互界面不直观的问题，本发明提出一种能预测机械臂未来运动，并通过混合现实技术直接呈现给操作者的机械臂遥操作系统及交互界面构建方法。
为实现上述目的及其他相关目的，本发明拟公开一种基于混合现实的机械臂遥操作系统，包括用于操作者获取操作信息的本地端和用于机械臂响应所述操作信息并执行对应操作的远程端，其特征在于，所述本地端由操纵手杆、VR头显、宿主机组成，所述远程端由目标机、控制箱、双目相机、云台组成，所述VR头显由操作者佩戴，所述操纵手杆由操作者控制，所述宿主机分别与VR头显和操纵手杆电性连接，所述宿主机还分别与目标机和双目相机无线通信连接，所述控制箱分别与目标机、机械臂和云台电性连接，所述VR头显和双目相机内均设有惯性测量单元，所述双目相机设置在云台上，所述宿主机借助双目相机将获取的远程端的现实场景和真实机械臂、及本地端的虚拟机械臂均导入VR头显中构建出混合现实交互界面。
具体的，操作者佩戴VR头显在本地端控制操纵手杆，宿主机接收操纵手杆的位姿信息，并通过网络把控制信号发送给远程端的目标机；目标机将接收到的位姿信息进行处理，进而把控制信号传送给控制箱，控制箱把相应的控制信号传送给机械臂，机械臂执行相应的动作；同时，本地端的宿主机通过远程端的双目相机获取机械臂的运动以及机械臂所在的场景；并利用双目视觉，宿主机将从双目相机中获取的远程端现实场景映射到操作者佩戴的VR头显中，使得操作者可以身临其境的看到机械臂控制场景。同时，VR头显中存在惯性测量单元 (IMU)，用于捕捉操作者头部的运动，并将运动信息传输给宿主机；宿主机将接收到的操作者头部运动信息通过网络传输给目标机，目标机将接收到的信息进行处理，通过控制箱将控制信号传送给云台，使得安装有双目相机的云台实现对操作者头部的运动跟踪；宿主机借助混合现实技术在VR头显中构建混合现实交互界面。
进一步，所述无线通信连接为网络、WIFI、蓝牙中的一种。
进一步，所述操纵手杆采用游戏手柄或航模遥控杆，并在所述操纵手杆上设置对所述机械臂的控制按键组。
进一步，所述混合现实交互界面为虚拟机械臂与真实机械臂处于同一位置。
采用上述方案，该发明针对机械臂遥操作中存在的操作滞后、人机交互界面不直观等问题，利用双目视觉和运动跟踪，通过使用双目相机、云台和VR头显，加强操作时的临场感；并借助混合现实交互技术，将机械臂的虚拟模型整合进VR头显中的现实场景画面中，以利用虚拟机械臂预测真实机械臂的未来运动，大大改善了机械臂操作滞后，人机交互界面不直观的问题，有利于完成更复杂的工作，提高了工作效率。
本发明还提供一种基于混合现实的交互界面构建方法，其特征在于，包括：
1)调整云台，使双目相机处于水平；
2)在远程端以双目相机为原点确定出真实机械臂相对于双目相机的位姿P；
3)启动上述的基于混合现实的机械臂遥操作系统；
4)系统启动初始，宿主机将虚拟机械臂导入VR头显的现实画面，并利用双目视觉使虚拟机械臂相对于操作者视点的相对位姿为P，即使得虚拟机械臂与真实机械臂处于同一位置；
5)随着操作者头部的运动，安装有双目相机的云台也发生对应的跟随运动；
6)宿主机根据双目相机的IMU数据，实时调整虚拟机械臂相对于操作者视点的相对位姿，使虚拟机械臂与真实机械臂始终处于同一位置。
优选的，所述机械臂遥操作的运动控制算法为：T＝T1+T2+T3；其中：T为机械臂遥操作存在的时延，T1为本地端的操纵手杆位姿信息传递给远程端的目标机时存在的通信时延，T2 为目标机根据接收到的位姿信息后通过控制箱将机械臂调整到对应姿态时存在的控制时延，T3为远程端的双目相机将机械臂的运动画面传输回本地端的宿主机时存在的通信时延。
采用上述方案，宿主机可以根据接收到的操纵手杆位姿信息直接解算出机械臂呈现的相应姿态，进而使VR头显中的虚拟机械臂直接呈现该姿态，该过程存在虚拟时延T’，由于T’远小于T，保证了虚拟机械臂可以根据操纵手杆输入的位姿信号呈现快速响应，从而实现对机械臂未来运动的预测。
本发明的优点在于：
1、本发明通过使用双目相机、VR头显以及对操作者头部运动进行运动跟踪的方式，加强了操作者操作机械臂的临场感和真实感，可以直观地观察出机械臂和场景的相对位置关系。
2、本发明通过VR头显中混合现实交互界面的虚拟机械臂，快速呈现出机械臂的运动姿态，从而明显改善机械臂的操作滞后问题，减轻了操作者操作的不适感，有利于完成较为复杂的工作，提高了工作效率。
3、本发明使用方便，精度高，通用性强，可以应用于地震救援，海底勘探等危险复杂场景。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为本发明实施例的整体控制框图；
图2为本发明实施例的混合现实交互界面合成图；
图3为虚拟机械臂与真实机械臂运动控制算法原理图；
附图标记：操作者1、操纵手杆2、VR头显3、宿主机4、目标机5、控制箱6、双目相机7、云台8、机械臂9。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
如图1-2，本发明实施例的基于混合现实的机械臂实时遥操作系统，包括本地端和远程端，本地端用于操作者1获取操作信息，远程端用于机械臂9响应所述操作信息并执行对应操作，所述本地端包括宿主机4、VR头显3、操纵手杆2和混合现实交互界面；所述远程端包括目标机5、控制箱6、双目相机7和云台8；宿主机4分别与目标机5和双目相机7通过网络建立起实时的遥操作系统，从而实现本地端与远程端之间的网络连接；双目相机7安装在云台8上。
下面结合附图对本发明做更进一步的解释。
图1为本发明实施例的整体控制框图，操作者1在本地端控制操纵手杆2，连接操纵手杆2的本地端宿主机4接收操纵手杆2的位姿信息，并通过网络把控制信号发送给远程端目标机5；目标机5将接收到的信号进行处理，进而把控制信号传送给控制箱6，控制箱6把相应的控制信号传送给机械臂9，机械臂9执行相应的动作；同时，本地端的宿主机4通过远程端的双目相机7获取机械臂9的运动以及机械臂9所在的场景，进而宿主机4将从双目相机7中获得的远程端现实场景映射到操作者1佩戴的VR头显3中，使得操作者1可能身临其境的看到机械臂9控制场景；同时，VR头显3中存在惯性测量单元(IMU)，用于捕捉操作者头部的运动，并将运动信息传输给宿主机4，然后宿主机4将接收到的操作者头部运动信息通过网络传输给目标机5，目标机5将接收到的信息进行处理，通过控制箱将控制信号传送给云台8，使得安装有双目相机7的云台8实现对操作者头部的运动跟踪。
图2为本发明实施例的混合现实交互界面合成图；宿主机4先建立机械臂的虚拟模型，并将其导入VR头显3中显示的现实场景。宿主机4可以通过双目相机7获取远程端现实场景的深度信息；同时根据在双目相机7中IMU(惯性测量单元)，确定双目相机7在远程端场景中的相对位置。通过借助以上两个特性，宿主机4可以确定真实机械臂在真实场景中的具体位置，进而使VR头显3中的虚拟机械臂与真实机械臂处于同一位置；其主要包括以下步骤：
(1)开始初始化，调整云台，使双目相机处于水平；
(2)在远程端以双目相机为原点，确定真实机械臂相对于双目相机的位姿P，初始化完成；
(3)启动整个基于混合现实的机械臂遥操作系统；
(4)系统运行开始时，宿主机将虚拟机械臂导入VR头显的现实画面，并利用双目视觉原理，使虚拟机械臂相对于操作者视点的相对位姿为P，这样虚拟机械臂便与真实机械臂处于同一位置；
(5)随着操作者头部的运动，安装有双目相机的云台也发生相应的跟随运动，此时，宿主机根据双目相机的惯性测量单元的IMU数据，实时调整虚拟机械臂相对于操作者视点的相对位姿，使虚拟机械臂与真实机械臂始终处于同一位置。
图3为虚拟机械臂与真实机械臂运动控制算法原理图。操纵手杆2产生的位姿信息同时传递给远程端的机械臂9和虚拟机械臂，虚拟机械臂能预测真实机械臂的未来运动，所以操作者可以根据虚拟机械臂的运动进行操作。操纵手杆2的位姿信息传递给远程端的目标机5 时存在通信时延T1，目标机5通过控制箱6控制机械臂9，该过程存在控制时延T2，远程端的双目相机7将机械臂9的运动画面传输回本地端时存在通信时延T3；机械臂9遥操作存在的时延T＝T1+T2+T3；宿主机4可以根据接收到的操纵手杆2位姿信息直接解算出机械臂9呈现的相应姿态，进而使VR头显3中的虚拟机械臂直接呈现该姿态，该过程存在虚拟时延T’，由于T’的值非常小，保证了虚拟机械臂可以根据操纵手杆2输入的位姿信号呈现快速响应，从而实现对机械臂9未来运动的预测。
采用本发明的优点是，操作者在对机器人进行遥操作时，加强了操作者操作机械臂的临场感和真实感，可以直观地观察出机械臂和场景的相对位置关系；同时明显改善机械臂的操作滞后问题，减轻了操作者操作的不适感，有利于完成较为复杂的工作，提高了工作效率。
采用游戏手柄或航模遥控杆设置的操作手杆方式，容易让熟悉游戏手柄或航模遥控杆的用户群根据喜好选择熟悉的控制方式。当然，本发明操作手杆也可以采用其他形式的遥控杆方式，而不限于游戏手柄。
上所述仅为本发明的优选实施例，并不用于限制本发明，显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (4)

1.基于混合现实的机械臂遥操作系统，包括用于操作者（1）获取操作信息的本地端和用于机械臂（9）响应所述操作信息并执行对应操作的远程端，其特征在于，所述本地端由操纵手杆（2）、VR头显（3）、宿主机（4）组成，所述远程端由目标机（5）、控制箱（6）、双目相机（7）、云台（8）组成，所述VR头显由操作者佩戴，所述操纵手杆由操作者控制，所述宿主机分别与VR头显和操纵手杆电性连接，所述宿主机还分别与目标机和双目相机无线通信连接，所述控制箱分别与目标机、机械臂和云台电性连接，所述VR头显和双目相机内均设有惯性测量单元，所述双目相机设置在云台上，所述宿主机借助双目相机将获取的远程端的现实场景和真实机械臂、及本地端的虚拟机械臂均导入VR头显中构建出混合现实交互界面；
混合现实交互界面的构建方法为：
1）调整云台，使双目相机处于水平；
2）在远程端以双目相机为原点确定出真实机械臂相对于双目相机的位姿P；
3）启动所述基于混合现实的机械臂遥操作系统；
4）系统启动初始，宿主机将虚拟机械臂导入VR头显的现实画面，并利用双目视觉使虚拟机械臂相对于操作者视点的相对位姿为P，即使得虚拟机械臂与真实机械臂处于同一位置；
5）随着操作者头部的运动，安装有双目相机的云台也发生对应的跟随运动；
6）宿主机根据双目相机的IMU数据，实时调整虚拟机械臂相对于操作者视点的相对位姿，使虚拟机械臂与真实机械臂始终处于同一位置；
机械臂遥操作的运动控制算法为：T=T1+T2+T3；其中：T为机械臂遥操作存在的时延，T1为本地端的操纵手杆位姿信息传递给远程端的目标机时存在的通信时延，T2为目标机根据接收到的位姿信息后通过控制箱将机械臂调整到对应姿态时存在的控制时延，T3为远程端的双目相机将机械臂的运动画面传输回本地端的宿主机时存在的通信时延。
2.根据权利要求1所述的基于混合现实的机械臂遥操作系统，其特征在于，所述无线通信连接为网络、WIFI、蓝牙中的一种。
3.根据权利要求1所述的基于混合现实的机械臂遥操作系统，其特征在于，所述操纵手杆采用游戏手柄或航模遥控杆，并在所述操纵手杆上设置对所述机械臂的控制按键组。
4.基于混合现实的交互界面构建方法，其特征在于，包括：
1）调整云台，使双目相机处于水平；
2）在远程端以双目相机为原点确定出真实机械臂相对于双目相机的位姿P；
3）启动如权利要求1-3任一项所述的基于混合现实的机械臂遥操作系统；
4）系统启动初始，宿主机将虚拟机械臂导入VR头显的现实画面，并利用双目视觉使虚拟机械臂相对于操作者视点的相对位姿为P，即使得虚拟机械臂与真实机械臂处于同一位置；
5）随着操作者头部的运动，安装有双目相机的云台也发生对应的跟随运动；
6）宿主机根据双目相机的IMU数据，实时调整虚拟机械臂相对于操作者视点的相对位姿，使虚拟机械臂与真实机械臂始终处于同一位置；
所述机械臂遥操作的运动控制算法为：T=T1+T2+T3；其中：T为机械臂遥操作存在的时延，T1为本地端的操纵手杆位姿信息传递给远程端的目标机时存在的通信时延，T2为目标机根据接收到的位姿信息后通过控制箱将机械臂调整到对应姿态时存在的控制时延，T3为远程端的双目相机将机械臂的运动画面传输回本地端的宿主机时存在的通信时延。
CN202010249479.8A 2020-04-01 2020-04-01 基于混合现实的机械臂遥操作系统及交互界面构建方法 Active CN111459277B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010249479.8A CN111459277B (zh) 2020-04-01 2020-04-01 基于混合现实的机械臂遥操作系统及交互界面构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010249479.8A CN111459277B (zh) 2020-04-01 2020-04-01 基于混合现实的机械臂遥操作系统及交互界面构建方法

Publications (2)

Publication Number Publication Date
CN111459277A CN111459277A (zh) 2020-07-28
CN111459277B true CN111459277B (zh) 2023-05-30

Family

ID=71684272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010249479.8A Active CN111459277B (zh) 2020-04-01 2020-04-01 基于混合现实的机械臂遥操作系统及交互界面构建方法

Country Status (1)

Country Link
CN (1) CN111459277B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634318B (zh) * 2020-12-31 2022-11-08 中国海洋大学 一种水下维修机器人的遥操作系统和方法
CN112894820A (zh) * 2021-01-29 2021-06-04 清华大学深圳国际研究生院 柔性机械臂遥操作人机交互装置及系统
CN114905478B (zh) * 2021-02-08 2024-09-17 腾讯科技（深圳）有限公司 双边遥操作系统及控制方法
CN113282173B (zh) * 2021-05-21 2023-01-03 燕山大学 一种基于虚拟现实的双臂机器人远程实时控制系统及方法
CN114211493B (zh) * 2021-12-23 2023-10-27 武汉联影智融医疗科技有限公司 机械臂的远程控制系统和方法
CN114791765B (zh) * 2022-03-22 2024-05-10 浙江理工大学 一种基于混合现实技术的ros智能车交互方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101986219A (zh) * 2010-08-27 2011-03-16 东南大学 基于虚实力融合的遥操作机器人力觉临场感实现方法
CN103302668A (zh) * 2013-05-22 2013-09-18 东南大学 基于Kinect的空间遥操作机器人的控制系统及其方法
CN104715479A (zh) * 2015-03-06 2015-06-17 上海交通大学 基于增强虚拟的场景复现检测方法
CN104778872A (zh) * 2015-04-03 2015-07-15 上海交通大学 用于机械臂遥操作人机交互研究的仿真实验训练平台
US9381426B1 (en) * 2013-03-15 2016-07-05 University Of Central Florida Research Foundation, Inc. Semi-automated digital puppetry control
CN106737668A (zh) * 2016-12-09 2017-05-31 南京理工大学 一种基于虚拟现实的带电作业机器人遥操作方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880063B (zh) * 2012-09-13 2016-01-20 中国人民解放军63921部队 同步控制遥操作系统及方法
CN109434870A (zh) * 2018-09-18 2019-03-08 国网江苏省电力有限公司盐城供电分公司 一种用于机器人带电作业的虚拟现实操作系统
CN110834330B (zh) * 2019-10-25 2020-11-13 清华大学深圳国际研究生院 柔性机械臂遥操作人机交互终端及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101986219A (zh) * 2010-08-27 2011-03-16 东南大学 基于虚实力融合的遥操作机器人力觉临场感实现方法
US9381426B1 (en) * 2013-03-15 2016-07-05 University Of Central Florida Research Foundation, Inc. Semi-automated digital puppetry control
CN103302668A (zh) * 2013-05-22 2013-09-18 东南大学 基于Kinect的空间遥操作机器人的控制系统及其方法
CN104715479A (zh) * 2015-03-06 2015-06-17 上海交通大学 基于增强虚拟的场景复现检测方法
CN104778872A (zh) * 2015-04-03 2015-07-15 上海交通大学 用于机械臂遥操作人机交互研究的仿真实验训练平台
CN106737668A (zh) * 2016-12-09 2017-05-31 南京理工大学 一种基于虚拟现实的带电作业机器人遥操作方法

Also Published As

Publication number Publication date
CN111459277A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111459277B (zh) 基于混合现实的机械臂遥操作系统及交互界面构建方法
WO2020221311A1 (zh) 基于可穿戴设备的移动机器人控制系统及控制方法
CN109955254B (zh) 移动机器人控制系统及机器人末端位姿的遥操作控制方法
Krupke et al. Comparison of multimodal heading and pointing gestures for co-located mixed reality human-robot interaction
Hashimoto et al. Touchme: An augmented reality based remote robot manipulation
CN112634318B (zh) 一种水下维修机器人的遥操作系统和方法
CA3062101A1 (en) Systems and methods for remotely controlling a robotic device
WO2015180497A1 (zh) 一种基于立体视觉的动作采集和反馈方法及系统
US20110118877A1 (en) Robot system and method and computer-readable medium controlling the same
CN107656505A (zh) 使用增强现实设备控制人机协作的方法、装置和系统
CN109199240B (zh) 一种基于手势控制的扫地机器人控制方法及系统
CN112154047B (zh) 远程操作系统、信息处理方法以及计算机可读记录介质
CN111716365A (zh) 基于自然行走的沉浸式远程交互系统及方法
CN112908084A (zh) 作业机械的模拟训练系统、方法、装置和电子设备
CN106468917B (zh) 一种可触摸现场实时视频图像的远程呈现交互方法和系统
CN108828996A (zh) 一种基于视觉信息的机械臂遥操作系统及方法
CN110977981A (zh) 一种机器人虚拟现实同步系统及同步方法
CN113021357A (zh) 一种便于移动的主从水下双臂机器人
CN114791765B (zh) 一种基于混合现实技术的ros智能车交互方法
Angelopoulos et al. Drone brush: Mixed reality drone path planning
Chen et al. Multivr: Digital twin and virtual reality based system for multi-people remote control unmanned aerial vehicles
JP5659787B2 (ja) 操作環境モデル構築システム、および操作環境モデル構築方法
US20230126008A1 (en) Aircraft vr training system, aircraft vr training method, and aircraft vr training program
CN109313483A (zh) 一种与虚拟现实环境进行交互的装置
Wang et al. Drone were me: Flying drone as avatar by aligned stereo view and head pose

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant