CN106444861B - 一种基于三维手势的空间机器人遥操作系统 - Google Patents

一种基于三维手势的空间机器人遥操作系统 Download PDF

Info

Publication number
CN106444861B
CN106444861B CN201611023564.2A CN201611023564A CN106444861B CN 106444861 B CN106444861 B CN 106444861B CN 201611023564 A CN201611023564 A CN 201611023564A CN 106444861 B CN106444861 B CN 106444861B
Authority
CN
China
Prior art keywords
robot
space
gesture
module
subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611023564.2A
Other languages
English (en)
Other versions
CN106444861A (zh
Inventor
朱晓俊
王学谦
梁斌
刘厚德
李成
陈章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Tsinghua University
Original Assignee
Shenzhen Graduate School Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Tsinghua University filed Critical Shenzhen Graduate School Tsinghua University
Priority to CN201910277148.2A priority Critical patent/CN109933097A/zh
Priority to CN201910277753.XA priority patent/CN109976390A/zh
Priority to CN201611023564.2A priority patent/CN106444861B/zh
Publication of CN106444861A publication Critical patent/CN106444861A/zh
Application granted granted Critical
Publication of CN106444861B publication Critical patent/CN106444861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00Systems involving the use of models or simulators of said systems
    • G05B17/02Systems involving the use of models or simulators of said systems electric
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00Control of position or direction
    • G05D3/12Control of position or direction using feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

一种基于三维手势的空间机器人遥操作系统,包括手势交互子系统、预测仿真子系统、信息管理子系统;手势交互子系统通过手势采集设备采集人手位姿信息并进行预处理;预测仿真子系统与手势交互子系统连接,对手势交互子系统发来的遥操指令的合法性进行检查,并监测空间机器人的当前状态数据,通过动力学仿真对空间机器人下一步的状态进行预测,和通过三维显示模块对空间机器人的预测状态和当前状态进行三维实时显示;信息管理子系统与预测仿真子系统连接,通过地面站与空间机器人进行通讯,实现遥操指令上传与监测状态数据下放。应用本发明,能够精确实时地控制空间机器人完成一系列在轨维修、在轨模块更换、在轨燃料加注等任务。

Description

一种基于三维手势的空间机器人遥操作系统
技术领域
本发明涉及空间机器人遥操技术,尤其是涉及一种基于三维手势的空间机器人遥操作系统。
背景技术
随着人类空间活动的不断发展,可以预见在未来将会有大量的空间生产、空间加工、空间装配、空间维护和修理的工作需要进行。由于太空环境的危险性和宇航员生命保障的高成本限制,机器人已经在航空航天领域内发挥越来越重要的作用。然而,受到机构、控制、传感和人工智能等支撑技术的限制,研制出能够在未知或复杂环境下全自主方式工作的智能机器人,是短期内难以实现的目标。因此,充分利用现有技术、发展既有局部自主能力又将人的智能包含进去的遥操作机器人(Telerobotics)系统是一种比较现实的选择。
遥操作(Teleoperation)在字面上可以理解为远距离操作。在遥操作机器人系统中,操作员作为监控者,间歇地与遥端的机器人进行通信,从遥端的机器人系统获得需要的原始数据信息,同时向遥机器人发送目标任务等指令,遥机器人根据接收到的指令,加上自身的人工感知和智能执行任务。可以发现,遥操作机器人是一个种有人参与的机器人局部自主控制系统,涉及到人与机器人的交互和机器人与环境的交互,它充分发挥了人与机器人各自的优势并拓展了人的感知和行为能力,因此在航空航天领域中都有着广泛的应用前景。在航天活动中,只需要地面操作人员和/或位于舱内的宇航员对空间机器人进行遥操作,就可以完成空间站的维护或航天器燃料加注等任务,甚至是月球或火星表面的勘测。避免了出舱对宇航员带来的危险,有效地降低了航天任务的成本,并拓展了人类的探测能力。
在常见的人机交互技术中,摇杆、仿机器人外形的控制器等接触式的机械设备是经常被用作操作员和机器人之间交互的工具。然而这类控制器的最大缺点是需要操作员进行相当不直观的手臂动作对机器人进行控制,这就需要操作员具备一定的操作经验才能有效的对机器人进行准确的控制。另外一种人机交互方式是采用对人手的位置和位姿进行实时跟踪的系统。属于这类型的设备有电磁跟踪设备,惯性传感器,数据手套等,这些都属于接触式的传感器,缺点也很明显,就是会阻碍操作员正常的手部动作。相对于上述提到的交互技术,基于机器视觉的交互技术有着明显的优势。由于是非接触式的,因此整个操作方式是非侵入式的,对操作员的干扰会大大减少。在这类交互技术中,让操作员能以直观和自然的命令方式去进行控制,有效避免接触式设备所带来的干扰。
发明内容
本发明基于机器视觉的交互技术的思路,提供一种基于三维手势的空间机器人遥操作系统,更好地实现空间机器人的控制。
为实现上述目的,本发明采用以下技术方案:
一种基于三维手势的空间机器人遥操作系统,包括手势交互子系统、预测仿真子系统、信息管理子系统;所述手势交互子系统通过手势采集设备采集人手位姿信息并进行预处理;所述预测仿真子系统与所述手势交互子系统连接,对所述手势交互子系统发来的遥操指令的合法性进行检查,并监测空间机器人的当前状态数据,通过动力学仿真对空间机器人下一步的状态进行预测,和通过三维显示模块对空间机器人的预测状态和当前状态进行三维实时显示;所述信息管理子系统与所述预测仿真子系统连接,通过地面站与空间机器人进行通讯,实现遥操指令上传与监测状态数据下放。
进一步地:
所述预测仿真子系统包括动力学仿真模块,所述动力学仿真模块在仿真过程中通过对空间机器人的基座、机械臂末端所受外力/力矩及关节力矩输入,递推从空间机器人的基座到机械臂末端的位置/速度关系,计算速度、加速度从而得到空间机器人的位置和速度,根据计算结果得到空间机器人下一步的状态。
所述预测仿真子系统包括碰撞检测模块和安全预警模块,所述碰撞检测模块对空间机器人的下一步状态进行碰撞检测,所述安全预警模块根据碰撞检测结果进行安全预警。
所述碰撞检测模块基于层次包围盒原理,利用分层K-Dops包围盒技术,在空间机器人工作过程中对空间机器人的机械臂内部各部分、空间机器人与物体之间的距离进行检测,在仿真阶段判断空间机器人是否发生碰撞,以避免将不安全的控制数据发送给空间机器人。
所述安全预警模块基于人工势场技术,为空间机器人添加一层外围的包裹区域,当通过手势控制空间机器人工作时,若空间机器人的包裹区域到达目标物体表面则为操作者作出预警提示,优选地,基于预警区域动态调整算法,使预警范围随着手势数据移动速度及加速度的变化动态调整。
所述预测仿真子系统包括虚拟夹具模块,所述虚拟夹具模块提供管道样式的虚拟夹具,其中所述虚拟夹具模块根据空间机器人的机械臂末端预计的行进路径生成行进管道,当实际行进路径发生偏离时,所述行进管道基于动态调整算法重新计算生成,并基于碰撞检测算法,对空间机器人的机械臂末端的行进路径进行约束,当路径偏离预定轨道超过阈值时,给出警告,以便操作者及时调整行进路径。
所述手势交互子系统包括手势采集模块、数据优化模块、网络通信模块,所述手势采集模块通过捕捉、跟踪和识别得到人手位姿数据,所述数据优化模块利用均值处理方法,采用滑动滤波方式对人手位姿数据进行滤波,得到稳定的手势数据,所述网络通信模块将手势数据发送到所述预测仿真子系统。
所述手势交互子系统提供实时模式和增量模式两种操作模式,所述数据优化模块控制两种操作模式的切换;处于实时模式下时,操作员的手部位置和姿态数据直接映射到空间机器人末端坐标系下;处于增量模式下时,操作员可以按所需方向做出位置和姿态的变化,变化值以一定的放缩比例映射到空间机器人末端坐标系下,优选地,还提供撤销所述变化值的复位手势;所述手势交互子系统判断当前操作模式处于实时模式还是增量模式,来输出机器人末端位姿或者关节控制指令。
所述手势采集模块采用Leap motion传感器作为手势采集传感器;优选地,手势采集平台具有双层结构,Leap motion传感器设置在上层,操作者的操作空间处于传感器上空,操作空间呈倒锥形。
所述空间机器人遥操作系统具有针对空间机器人的姿态控制、位置控制和位姿控制三种控制模式。
本发明的有益效果:
鉴于遥操作机器人在航空航天领域中巨大的潜力和基于机器视觉的人机交互技术的优点,本发明提出一种新颖的应用于空间机器人遥操作系统的人机交互技术方案,获取丰富的人手姿势、监测空间机器人的当前状态数据,并预测空间机器人的预测状态,可利用三维重建技术、虚拟现实技术,通过三维显示模块实现三维场景显示与重现,从而更自然更直观地控制空间机器人。本发明能够应用于,在地面精确实时地通过三维手势控制空间机器人完成一系列在轨维修、在轨模块更换、在轨燃料加注等任务。
本发明的实施例包括(但不限于)以下具体优点:
1、可以通过三维重建技术获取丰富的人手姿势,通过虚拟现实技术在场景重现,将手势用来控制机器人运动,从而更自然更直观地控制机器人。
2、姿态控制、位置控制和位姿控制三种控制模式可以适应不同的遥操作任务。
3、采用三维场景显示增加了操作者的临场感体验。
4、在预测仿真中加入动力学仿真模块,可预先得到机器人的运动状态。
5、在预测仿真中加入碰撞检测与安全预警模块,可提高遥操作任务的安全性。
6、通过信息管理子系统实现了与空间机器人的信息交互。
附图说明
图1为本发明一种实施例的基于三维手势的空间机器人遥操作系统结构示意图。
图2为本发明一种实施例的手势交互子系统结构图。
图3为本发明一种实施例的手势采集装置。
图4为本发明一种实施例的预测仿真子系统结构图。
图5为本发明一种实施例的信息管理子系统模块图。
图6为本发明一种实施例的手势遥操作系统软件组成示意图。
图7为本发明一种实施例的遥操作任务工作过程示意图。
具体实施方式
以下对本发明的实施方式作详细说明。应该强调的是,下述说明仅仅是示例性的,而不是为了限制本发明的范围及其应用。
参阅图1至图7,在一种实施例中,一种基于三维手势的空间机器人遥操作系统,包括手势交互子系统、预测仿真子系统、信息管理子系统;所述手势交互子系统通过手势采集设备采集人手位姿(位置、姿态)信息并进行预处理;所述预测仿真子系统与所述手势交互子系统连接,对所述手势交互子系统发来的遥操指令的合法性进行检查,并监测空间机器人的当前状态数据,通过动力学仿真对空间机器人下一步的状态进行预测,和通过三维显示模块对空间机器人的预测状态和当前状态进行三维实时显示;所述信息管理子系统与所述预测仿真子系统连接,通过地面站与空间机器人进行通讯,实现遥操指令上传与监测状态数据下放。
在优选的实施例中,所述空间机器人遥操作系统具有针对空间机器人的姿态控制、位置控制和位姿控制三种控制模式。
如图4所示,在优选的实施例中,所述预测仿真子系统包括动力学仿真模块,所述动力学仿真模块在仿真过程中通过对空间机器人的基座、机械臂末端所受外力/力矩及关节力矩输入,递推从空间机器人的基座到机械臂末端的位置/速度关系,计算速度、加速度从而得到空间机器人的位置和速度,根据计算结果得到空间机器人下一步的状态。
如图4所示,在优选的实施例中,所述预测仿真子系统包括碰撞检测模块和安全预警模块,所述碰撞检测模块对空间机器人的下一步状态进行碰撞检测,所述安全预警模块根据碰撞检测结果进行安全预警。
在更优选的实施例中,所述碰撞检测模块基于层次包围盒原理,利用分层K-Dops包围盒技术,在空间机器人工作过程中对空间机器人的机械臂内部各部分、空间机器人与物体(例如目标星体)之间的距离进行检测,在仿真阶段判断空间机器人是否发生碰撞,以避免将不安全的控制数据发送给空间机器人。
在更优选的实施例中,所述安全预警模块基于人工势场技术,为空间机器人添加一层外围的包裹区域,当通过手势控制空间机器人工作时,若空间机器人的包裹区域到达目标物体表面(例如目标星体表面)则为操作者作出预警提示,优选地,基于预警区域动态调整算法,使预警范围随着手势数据移动速度及加速度的变化动态调整。
如图4所示,在优选的实施例中,所述预测仿真子系统包括虚拟夹具模块,所述虚拟夹具模块提供管道样式的虚拟夹具,其中所述虚拟夹具模块根据空间机器人的机械臂末端预计的行进路径生成行进管道,当实际行进路径发生偏离时,所述行进管道基于动态调整算法重新计算生成,并基于碰撞检测算法,对空间机器人的机械臂末端的行进路径进行约束,当路径偏离预定轨道超过阈值时,给出警告,以便操作者及时调整行进路径。
如图2所示,在优选的实施例中,所述手势交互子系统包括手势采集模块、数据优化模块、网络通信模块,所述手势采集模块通过捕捉、跟踪和识别得到人手位姿数据,所述数据优化模块利用均值处理方法,采用滑动滤波方式对人手位姿数据进行滤波,得到稳定的手势数据,所述网络通信模块将手势数据发送到所述预测仿真子系统。
在优选的实施例中,所述手势交互子系统提供实时模式和增量模式两种操作模式,所述数据优化模块控制两种操作模式的切换;处于实时模式下时,操作员的手部位置和姿态数据直接映射到空间机器人末端坐标系下;处于增量模式下时,操作员可以按所需方向做出位置和姿态的变化,变化值以一定的放缩比例映射到空间机器人末端坐标系下,优选地,还提供撤销所述变化值的复位手势;所述手势交互子系统判断当前操作模式处于实时模式还是增量模式,来输出机器人末端位姿或者关节控制指令。
在优选的实施例中,所述手势采集模块采用Leap motion传感器作为手势采集传感器。如图3所示,在一个特别优选的实施例中,手势采集平台具有双层结构,将一个Leapmotion传感器设置在上层中央,操作者的操作空间处于传感器上空,操作空间呈锥形。
以下通过具体实例进一步描述本发明空间机器人遥操作系统的组成、原理和功能。
一种基于三维手势的空间机器人遥操作系统,本系统包括手势交互子系统、预测仿真子系统、信息管理子系统。所述手势交互子系统通过手势采集设备采集人手位姿信息并进行预处理;所述预测仿真子系统与手势交互子系统连接,对指令进行安全检查,并对机器人工作场景进行真实再现;所述信息管理子系统与预测仿真子系统连接,完成指令上传与下放监测信息数据管理,通过地面站与空间机器人进行通讯。其具备的功能有:
1、具备姿态控制、位置控制和位姿控制三种控制模式,并可进行切换;
2、具备实时数据控制和增量数据控制两种模式,并可进行切换;
3、具备三维场景显示功能;
4、具备实时显示机器人的预测状态和当前状态的功能;
5、具备通过碰撞检测、安全预警、指令超限等手段进行指令安全检查的功能;
6、具备从地面站接收、解析、保存机器人实时状态数据的功能;
7具备实时发送手势控制数据通过地面站给机器人的功能;
8、对遥操作试验中的所有试验数据进行实时存储和备份,并能回放。
手势交互子系统通过手势输入设备采集操作者手部位置姿态信息、对数据进行优化并发送控制数据。
预测仿真子系统以三维场景为基础呈现操作场景,包括三维显示功能、动力学仿真功能、碰撞检测功能、安全预警功能。
信息管理子系统具有接收、解析、保存空间机器人遥操作监测数据,接收、保存预测仿真子系统的机器人遥操作命令,通过地面站发送给空间机器人的功能。
各子系统之间及和外部的通信采用TCP/IP协议的网络通信。
手势交互子系统
手势交互子系统结构如图2所示,主要包括手势采集、数据优化、网络通信三个模块。首先完成手势采集设备相对位置进行标定,在此基础上,利用手势采集策略模块捕捉、跟踪、识别得到人手位姿数据。为了减少人手抖动等原因产生不稳定的手势数据,根据了均值处理的思想,采用滑动滤波进行滤波,得到稳定的人手数据。判断当前机器人工作模式处于实时模式或者增量模式,输出机器人末端位姿或者关节控制指令。
a手势采集模块
手势采集部分包括手势采集平台部分和手势采集策略部分。
手势采集的传感器采用Leap motion传感器。手势采集平台采用双层结构设计,整体设计如图3所示。将Leap motion传感器按照图3所示的布局安装在采集装置的上层1中央。手势采集平台下层放置平板计算机和一台计算机主机,平板计算机和1个Leap motion传感器通过USB线缆相连,另外和计算机主机通过网线相连。
手势采集策略部分主要是手势识别策略和控制模式选择。在本采集装置中,设计了两种手势,为五手指张开手势和握拳手势。当手势为五手指手势时,手势采集平台采集手势数据;当手势为握拳手势时,此时停止手势数据采集。控制模式选择指的是姿态控制、位置控制和位姿控制三种控制模式的选择,通过手势处理软件界面选择当前处于何种控制模式。
b数据优化模块
当手势操作的输入处于安全的数据范围内时,受人类自然行为的影响,人手在操作时无法做到机械的稳定性,会由于抖动等原因产生不稳定的手势数据。为了避免这种由人肢体特性带来的带来的负面影响,根据均值处理的思想,采用滑动滤波的处理方式解决这个问题。
手势交互子系统提供两种操作模式,分别是实时模式和增量模式。处于实时模式下时,操作员的手部位置和姿态数据将直接映射到机器人末端坐标系下,体现临场感;处于增量模式下时,操作员可以按所需方向做出位置和姿态的变化,变化值以一定的放缩比例映射到机器人末端坐标系下,同时提供复位手势,使得操作更符合人体习惯。
c网络通信模块
网络通信模块基于socket将经过数据处理的输出数据发送给预测仿真子系统,可以选择通过UDP组播的方式进行发送。
预测仿真子系统
预测仿真子系统共分为六个模块,分别是三维显示模块、碰撞检测模块、安全预警模块、虚拟夹具模块、指令检查模块和动力学仿真模块,如图4所示。预测仿真子系统收到手势交互子系统输入的手势控制数据时,通过指令检查模块,检查指令的合法性。通过动力学模块进行动力学计算,预测机器人下一步的运动状态,通过碰撞检测模块对下一步状态进行碰撞检测安全预警。指令通过上述检查后发送给信息管理子系统并在三维显示模块中进行显示。
三维显示模块
三维显示模块通过使用OpenSceneGraph提供的软件接口,为机器人仿真界面渲染出各种立体效果,使得仿真效果更加逼真,也有利于操作员对当前机器人工作状态做出更准确的判断。
碰撞检测模块
碰撞检测模块基于层次包围盒理论,利用分层K-Dops包围盒技术,在机器人工作过程中对机械臂自身内部各部分、机器人与星体之间的距离进行检测,在仿真阶段判断机器人是否发生碰撞,避免将不安全的控制数据发送给机器人,从而保证机器人工作安全。
安全预警模块
安全预警模块基于人工势场技术,为机器人添加一层外围的包裹区域,当通过手势控制机器人工作时,若机器人接近目标星体则为操作者做出提示,起到预警功能。预警功能基于预警区域动态调整算法,预警范围会随着手势数据移动速度及加速度的变化动态调整,以保证预警的有效性。
虚拟夹具模块
虚拟夹具模块使用管道样式的夹具。首先,虚拟夹具模块根据机械臂末端预计的行进路径生成行进管道,当实际行进路径发生偏离时,行进管道基于动态调整算法重新计算生成。虚拟夹具模块的行进管道基于碰撞检测算法,对机械臂末端的行进路径进行约束,当路径偏离预定轨道过多时,给出警告,使得操作者可以及时调整行进路径。
指令检查模块
指令检查模块首先检查数据格式是否符合协议要求。之后对手势数据映射到机器人末端的数据进行检查,首先检查机械臂末端角速度和线速度,然后检查机器人运动学反解后的各关节角范围及关节角速度。当全部数据符合正常数据范围时,才将数据传给下一模块。
动力学仿真模块
动力学仿真模块在仿真过程中通过对机器人基座、机械臂末端所受外力/力矩及关节力矩输入,递推从基座到末端的位置/速度关系,计算系统的速度、加速度从而得到机器人的位置和速度,根据计算结果可得到下一步的机器人状态。
信息管理子系统
该子系统包含两个模块:通信管理模块与试验回放模块,如图5所示。
通信模块
通信模块实现和预测仿真子系统以及外部的空间机器人地面站通信。系统根据既定的接口接收和发送数据,并以文件存储数据。控制指令的输出格式具有机器人末端位姿和关节角角度两种输出模式。
试验回放
试验回放模块实现对空间机器人遥操作任务的回放,基于存储的实验数据,发送给预测仿真子系统,在预测仿真子系统中实现遥操作任务的三维显示回放。
实例
系统软件
a手势交互子系统软件
手势交互子系统软件包括手势采集软件和手势处理软件。手势采集软件一式一份运行在平板计算机上,与Leap Motion相连,运行于Windows 7操作系统和leap SDK软件驱动环境下。手势处理软件一式一份,运行于Windows 7操作系统和OpenScenegraph软件支持环境下。
b预测仿真子系统软件
预测仿真子系统软件一式一份运行于单独的计算机之中,基于OpenSceneGraph进行仿真,包括三维显示功能、快速碰撞检测算法库、碰撞检测、安全预警、动力学仿真等模块。软件基于OpenGL和MFC软件库编程实现,运行于Windows 7操作系统。
c信息管理子系统软件
信息管理子系统软件主要实现与地面站的信息交互,实现监测数据接收显示等功能。软件基于.net 3.5和MFC技术编写实现,运行于Windows7系统之上。
系统硬件
硬件如表1所示。
表1硬件组成
工作流程
由手势交互子系统的手势采集设备采集人手位姿信息并转变为机器人控制命令,按一定的时间间隔(如100ms)发送给预测仿真子系统,通过预测仿真子系统的安全检测后发送到信息管理子系统,信息管理子系统再通过地面站发送给空间机器人。操作员根据预测仿真子系统空间机器人工作三维场景进行操作,基本流程如图7所示。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,其还可以对这些已描述的实施方式做出若干替代或变型,而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (8)

1.一种基于三维手势的空间机器人遥操作系统,其特征在于,包括手势交互子系统、预测仿真子系统、信息管理子系统;所述手势交互子系统通过手势采集设备采集人手位姿信息并进行预处理;所述预测仿真子系统与所述手势交互子系统连接,对所述手势交互子系统发来的遥操指令的合法性进行检查,并监测空间机器人的当前状态数据,通过动力学仿真对空间机器人下一步的状态进行预测,和基于三维重建,通过三维显示模块对空间机器人的预测状态和当前状态进行三维实时显示;所述信息管理子系统与所述预测仿真子系统连接,通过地面站与空间机器人进行通讯,实现遥操指令上传与监测状态数据下放;所述预测仿真子系统包括碰撞检测模块和安全预警模块,所述碰撞检测模块对空间机器人的下一步状态进行碰撞检测,所述安全预警模块根据碰撞检测结果进行安全预警;所述安全预警模块基于人工势场技术,为空间机器人添加一层外围的包裹区域,当通过手势控制空间机器人工作时,若空间机器人的包裹区域到达目标物体表面则为操作者作出预警提示,基于预警区域动态调整算法,使预警范围随着手势数据移动速度及加速度的变化动态调整。
2.如权利要求1所述的空间机器人遥操作系统,其特征在于,所述预测仿真子系统包括动力学仿真模块,所述动力学仿真模块在仿真过程中通过对空间机器人的基座、机械臂末端所受外力/力矩及关节力矩输入,递推从空间机器人的基座到机械臂末端的位置/速度关系,计算速度、加速度从而得到空间机器人的位置和速度,根据计算结果得到空间机器人下一步的状态。
3.如权利要求1所述的空间机器人遥操作系统,其特征在于,所述碰撞检测模块基于层次包围盒原理,利用分层K-Dops包围盒技术,在空间机器人工作过程中对空间机器人的机械臂内部各部分、空间机器人与物体之间的距离进行检测,在仿真阶段判断空间机器人是否发生碰撞,以避免将不安全的控制数据发送给空间机器人。
4.如权利要求1所述的空间机器人遥操作系统,其特征在于,所述预测仿真子系统包括虚拟夹具模块,所述虚拟夹具模块提供管道样式的虚拟夹具,其中所述虚拟夹具模块根据空间机器人的机械臂末端预计的行进路径生成行进管道,当实际行进路径发生偏离时,所述行进管道基于动态调整算法重新计算生成,并基于碰撞检测算法,对空间机器人的机械臂末端的行进路径进行约束,当路径偏离预定轨道超过阈值时,给出警告,以便操作者及时调整行进路径。
5.如权利要求1至3任一项所述的空间机器人遥操作系统,其特征在于,所述手势交互子系统包括手势采集模块、数据优化模块、网络通信模块,所述手势采集模块通过捕捉、跟踪和识别得到人手位姿数据,所述数据优化模块利用均值处理方法,采用滑动滤波方式对人手位姿数据进行滤波,得到稳定的手势数据,所述网络通信模块将手势数据发送到所述预测仿真子系统。
6.如权利要求5所述的空间机器人遥操作系统,其特征在于,所述手势交互子系统提供实时模式和增量模式两种操作模式,所述数据优化模块控制两种操作模式的切换;处于实时模式下时,操作员的手部位置和姿态数据直接映射到空间机器人末端坐标系下;处于增量模式下时,操作员按所需方向做出位置和姿态的变化,变化值以一定的放缩比例映射到空间机器人末端坐标系下。
7.如权利要求5所述的空间机器人遥操作系统,其特征在于,所述手势采集模块采用Leap motion传感器作为手势采集传感器,手势采集平台具有双层结构,Leap motion传感器设置在上层,操作者的操作空间处于传感器上空,操作空间呈倒锥形。
8.如权利要求1至3任一项所述的空间机器人遥操作系统,其特征在于,所述空间机器人遥操作系统具有针对空间机器人的姿态控制、位置控制和位姿控制三种控制模式。
CN201611023564.2A 2016-11-21 2016-11-21 一种基于三维手势的空间机器人遥操作系统 Active CN106444861B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910277148.2A CN109933097A (zh) 2016-11-21 2016-11-21 一种基于三维手势的空间机器人遥操作系统
CN201910277753.XA CN109976390A (zh) 2016-11-21 2016-11-21 一种基于三维手势的空间机器人遥操作系统
CN201611023564.2A CN106444861B (zh) 2016-11-21 2016-11-21 一种基于三维手势的空间机器人遥操作系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611023564.2A CN106444861B (zh) 2016-11-21 2016-11-21 一种基于三维手势的空间机器人遥操作系统

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN201910277148.2A Division CN109933097A (zh) 2016-11-21 2016-11-21 一种基于三维手势的空间机器人遥操作系统
CN201910277753.XA Division CN109976390A (zh) 2016-11-21 2016-11-21 一种基于三维手势的空间机器人遥操作系统

Publications (2)

Publication Number Publication Date
CN106444861A CN106444861A (zh) 2017-02-22
CN106444861B true CN106444861B (zh) 2019-05-10

Family

ID=58220485

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201910277753.XA Pending CN109976390A (zh) 2016-11-21 2016-11-21 一种基于三维手势的空间机器人遥操作系统
CN201611023564.2A Active CN106444861B (zh) 2016-11-21 2016-11-21 一种基于三维手势的空间机器人遥操作系统
CN201910277148.2A Pending CN109933097A (zh) 2016-11-21 2016-11-21 一种基于三维手势的空间机器人遥操作系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910277753.XA Pending CN109976390A (zh) 2016-11-21 2016-11-21 一种基于三维手势的空间机器人遥操作系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910277148.2A Pending CN109933097A (zh) 2016-11-21 2016-11-21 一种基于三维手势的空间机器人遥操作系统

Country Status (1)

Country Link
CN (3) CN109976390A (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6724831B2 (ja) * 2017-03-16 2020-07-15 株式会社安川電機 コントロールシステム、コントローラ及び制御方法
JP6619395B2 (ja) 2017-07-12 2019-12-11 ファナック株式会社 ロボットシステムおよびロボットの教示方法
CN107553485B (zh) * 2017-07-13 2020-05-12 西北工业大学 一种人机交互过程中动态虚拟夹具的生成方法
CN107414835A (zh) * 2017-08-31 2017-12-01 智造未来(北京)机器人系统技术有限公司 机械臂控制方法及载人机甲
CN108333924B (zh) * 2018-01-18 2020-05-12 西北工业大学 一种操作交互过程中的虚拟夹具优化生成方法
CN109395375A (zh) * 2018-09-18 2019-03-01 华南理工大学 一种基于增强现实与移动交互的三维游戏接口设计方法
CN110355750B (zh) * 2018-10-29 2022-05-10 西北工业大学 面向遥操作手眼协调的交互控制方法
CN109815557B (zh) * 2018-12-31 2023-06-27 深圳市越疆科技有限公司 一种机器人模型的展示方法、装置及智能终端
CN110262280B (zh) * 2019-02-26 2020-07-14 北京控制工程研究所 航天器交会对接飞行控制智能数据分析与决策支持系统
CN109955254B (zh) * 2019-04-30 2020-10-09 齐鲁工业大学 移动机器人控制系统及机器人末端位姿的遥操作控制方法
CN110287616B (zh) * 2019-06-28 2023-11-17 中国科学院空间应用工程与技术中心 一种沉浸式空间微重力流体遥科学实验平行系统及方法
CN110411506B (zh) * 2019-07-08 2021-09-14 中国航天员科研训练中心 面向遥操作的精细操作能力测试系统
CN110480657A (zh) * 2019-08-13 2019-11-22 北京控制工程研究所 一种复杂结构环境空间机器人天地遥操作系统
CN111113456B (zh) * 2019-12-24 2023-06-27 兰州空间技术物理研究所 一种空间机械臂在轨操作平台及系统
CN111025995A (zh) * 2019-12-26 2020-04-17 北京空间技术研制试验中心 基于天基中继通信的空间机械臂遥操作通信系统
CN111438673B (zh) * 2020-03-24 2022-04-22 西安交通大学 基于立体视觉和手势控制的高空作业遥操作方法及系统
CN111580519B (zh) * 2020-05-12 2023-06-30 北京控制工程研究所 一种地月时延下月面探测准实时遥操作系统
CN112148000B (zh) * 2020-08-28 2022-10-21 上海宇航系统工程研究所 模拟空间维修机器人操作场景的舱内仿真平台及实现方法
CN114434437A (zh) * 2020-10-30 2022-05-06 西门子(中国)有限公司 一种机器人的远程控制方法及装置
CN113296604B (zh) * 2021-05-24 2022-07-08 北京航空航天大学 一种基于卷积神经网络的真3d手势交互方法
CN113189916A (zh) * 2021-05-24 2021-07-30 深圳创维-Rgb电子有限公司 一种控制器的操控方法、系统、存储介质及操控装置
CN114194358A (zh) * 2021-11-23 2022-03-18 泰斗微电子科技有限公司 船舶航行事故预警方法、装置及终端
CN115617046A (zh) * 2022-11-01 2023-01-17 中国第一汽车股份有限公司 一种路径规划方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003044609A2 (en) * 2001-11-21 2003-05-30 Handshake Interactive Technologies Inc. Real time control of hardware and software via communications network
CN1518489A (zh) * 2002-03-15 2004-08-04 索尼公司 用于机器人的行为控制系统和行为控制方法及机器人装置
CN101448467A (zh) * 2006-05-19 2009-06-03 马科外科公司 用于控制触觉设备的方法和装置
CN102880063A (zh) * 2012-09-13 2013-01-16 中国人民解放军63921部队 同步控制遥操作系统及方法
CN103302668A (zh) * 2013-05-22 2013-09-18 东南大学 基于Kinect的空间遥操作机器人的控制系统及其方法
CN104057450A (zh) * 2014-06-20 2014-09-24 哈尔滨工业大学深圳研究生院 一种针对服务机器人的高维操作臂遥操作方法
CN104589356A (zh) * 2014-11-27 2015-05-06 北京工业大学 基于Kinect人手运动捕捉的灵巧手遥操作控制方法
CN105795555A (zh) * 2014-12-28 2016-07-27 天津心康科技发展有限公司 一种新型多功能检测监护内衣
CN105796071A (zh) * 2014-12-28 2016-07-27 天津心康科技发展有限公司 一种新型多功能穿戴式远程生命体征监护腕表
CN106055107A (zh) * 2016-06-07 2016-10-26 中国人民解放军国防科学技术大学 基于人在回路的空间遥操作技术地面验证系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5625576A (en) * 1993-10-01 1997-04-29 Massachusetts Institute Of Technology Force reflecting haptic interface
US7885732B2 (en) * 2006-10-25 2011-02-08 The Boeing Company Systems and methods for haptics-enabled teleoperation of vehicles and other devices
CN103722554B (zh) * 2014-01-15 2015-12-09 西北工业大学 一种空间遥操作方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003044609A2 (en) * 2001-11-21 2003-05-30 Handshake Interactive Technologies Inc. Real time control of hardware and software via communications network
CN1518489A (zh) * 2002-03-15 2004-08-04 索尼公司 用于机器人的行为控制系统和行为控制方法及机器人装置
CN101448467A (zh) * 2006-05-19 2009-06-03 马科外科公司 用于控制触觉设备的方法和装置
CN102880063A (zh) * 2012-09-13 2013-01-16 中国人民解放军63921部队 同步控制遥操作系统及方法
CN103302668A (zh) * 2013-05-22 2013-09-18 东南大学 基于Kinect的空间遥操作机器人的控制系统及其方法
CN104057450A (zh) * 2014-06-20 2014-09-24 哈尔滨工业大学深圳研究生院 一种针对服务机器人的高维操作臂遥操作方法
CN104589356A (zh) * 2014-11-27 2015-05-06 北京工业大学 基于Kinect人手运动捕捉的灵巧手遥操作控制方法
CN105795555A (zh) * 2014-12-28 2016-07-27 天津心康科技发展有限公司 一种新型多功能检测监护内衣
CN105796071A (zh) * 2014-12-28 2016-07-27 天津心康科技发展有限公司 一种新型多功能穿戴式远程生命体征监护腕表
CN106055107A (zh) * 2016-06-07 2016-10-26 中国人民解放军国防科学技术大学 基于人在回路的空间遥操作技术地面验证系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
空间机器人遥操作关键技术综述与展望;张涛,等;《空间控制技术与应用》;20141231;第40卷(第6期);第1-9页
空间机器人遥操作地面验证技术研究;王学谦,等;《机器人》;20090131;第31卷(第1期);第8-19页
空间机器人遥操作系统设计及研制;王学谦,等;《哈尔滨工业大学学报》;20100331;第42卷(第3期);第337-342页
自由飞行空间机器人遥操作三维预测仿真系统研究;王学谦,等;《宇航学报》;20090131;第30卷(第1期);第402-408页

Also Published As

Publication number Publication date
CN106444861A (zh) 2017-02-22
CN109933097A (zh) 2019-06-25
CN109976390A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
CN106444861B (zh) 一种基于三维手势的空间机器人遥操作系统
CN107221223B (zh) 一种带有力/触觉反馈的虚拟现实飞机座舱系统
CN104057450B (zh) 一种针对服务机器人的高维操作臂遥操作方法
CN111300372A (zh) 空地协同式智能巡检机器人及巡检方法
CN103389699B (zh) 基于分布式智能监测控制节点的机器人监控及自主移动系统的运行方法
CN109669477A (zh) 一种面向无人机集群的协同控制系统及控制方法
CN107097228B (zh) 自主行进机器人系统
CN107589752A (zh) 无人机与地面机器人协同编队实现方法及系统
CN103149846A (zh) 飞行机器人控制系统半物理仿真平台
CN103722554A (zh) 一种空间遥操作方法
CN106313049A (zh) 一种仿人机械臂体感控制系统及控制方法
CN110216674A (zh) 一种冗余自由度机械臂视觉伺服避障系统
CN103302668A (zh) 基于Kinect的空间遥操作机器人的控制系统及其方法
CN103531051A (zh) 一种起重机操作的虚拟现实训练方法及模拟器
CN105242533A (zh) 一种融合多信息的变导纳遥操作控制方法
CN108908298B (zh) 一种融合虚拟现实技术的主从式喷涂机器人示教系统
CN109268010A (zh) 一种虚拟现实矿井综采工作面的远程巡检干预方法
CN107577159A (zh) 扩增实境仿真系统
CN211890820U (zh) 空地协同式智能巡检机器人
CN109491383A (zh) 多机器人定位与建图系统及方法
CN107257946B (zh) 用于虚拟调试的系统
Hou et al. Dynamic kinesthetic boundary for haptic teleoperation of aerial robotic vehicles
Kakiuchi et al. Development of humanoid robot system for disaster response through team nedo-jsk's approach to darpa robotics challenge finals
CN112148000B (zh) 模拟空间维修机器人操作场景的舱内仿真平台及实现方法
CN112764355B (zh) 一种基于视觉的飞机自主着舰定位开发系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant