CN112435521A - 一种空间遥操作机械臂在轨训练系统及方法 - Google Patents

一种空间遥操作机械臂在轨训练系统及方法 Download PDF

Info

Publication number
CN112435521A
CN112435521A CN202011166790.2A CN202011166790A CN112435521A CN 112435521 A CN112435521 A CN 112435521A CN 202011166790 A CN202011166790 A CN 202011166790A CN 112435521 A CN112435521 A CN 112435521A
Authority
CN
China
Prior art keywords
mechanical arm
target object
module
target
teleoperation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011166790.2A
Other languages
English (en)
Other versions
CN112435521B (zh
Inventor
蔡彪
郎燕
张锦江
宋晓光
张录晨
程迎坤
宋明超
刘增波
郝慧
高莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Control Engineering
Original Assignee
Beijing Institute of Control Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Control Engineering filed Critical Beijing Institute of Control Engineering
Priority to CN202011166790.2A priority Critical patent/CN112435521B/zh
Publication of CN112435521A publication Critical patent/CN112435521A/zh
Application granted granted Critical
Publication of CN112435521B publication Critical patent/CN112435521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/17Mechanical parametric or variational design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/14Force analysis or force optimisation, e.g. static or dynamic forces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Educational Administration (AREA)
  • Processing Or Creating Images (AREA)
  • Manipulator (AREA)

Abstract

一种空间遥操作机械臂在轨训练系统及方法,属于空间站技术领域。本发明首先训练人员通过交互式界面选择训练场景,在每种场景内可定制目标物的物理特性参数。然后设置场景初始条件。开始仿真后,通过增强现实技术可将上述设置参数相关的目标物动力学模型以虚拟图像的方式显示出来,并和真实环境图像相融合,融合后的虚实结合图像输入至操作者佩戴VR眼镜。虚拟目标图像受目标物动力学模型数据驱动,模拟真实的目标动力学特性。操作者使用遥操作装置控制机械臂执行相应动作时,可模拟出机械臂末端与目标物接触和碰撞过程及碰撞后的受力情况,使操作者真实感受到不同任务负载对机械臂的影响以及对空间站姿态的影响。

Description

一种空间遥操作机械臂在轨训练系统及方法
技术领域
本发明涉及一种空间遥操作机械臂在轨训练系统及方法,属于空间站技术领域。
背景技术
空间站内操作者遥操作机械臂辅助来访飞行器与空间站进行对接转位、辅助站内人员完成各类舱外维修操作等任务是空间站长期运营期间的重要任务之一。操作者正式开展某项遥操作机械臂任务前应进行充分的模拟训练,以熟悉各关节处于不同位置和姿态下机械臂的动力学特性,并掌握抓取不同形态、不同尺寸、不同质量的目标物时的遥操作方法,继而形成一系列操作经验。在轨飞行时,机械臂在进行构型变换、捕获、抓取、装配等在轨服务动作时必然会对空间站的姿态产生耦合影响,而这些影响在地面重力环境下只能通过气浮、水浮、吊丝配重等方式进行模拟,试验成本高且耗时,而对于空间站配置的大型机械臂而言,自身展开长度长、重量大、自由度多,要操作的负载最大在25吨量级,很难通过上述传统方式在地面进行在轨工况模拟训练。目前,操作者在地面进行遥操作训练时一般使用中小型机械臂,机械臂表现出来的实际特性与空间站机械臂及太空失重环境下的动力学特性均有较大差别,且机械臂运动对空间站舱体的姿态影响无法模拟,这会对操作者的操作体验和判断带来影响。目前常规的地面遥操作机械臂训练系统主要关注于视觉反馈、手势控制、遥操作时延模拟,在影响操作者触觉体验的不同目标物动力学特性的模拟、目标物动力学与真实机械臂动力学特性的耦合模拟方面均未涉及。
发明内容
本发明解决的技术问题是:克服现有技术的不足,提供了一种空间遥操作机械臂在轨训练系统及方法,针对空间站内驻留人员在轨遥操作机械臂的训练需求,空间站在轨飞行期间,首先训练人员通过交互式界面选择训练场景(辅助对接转位、辅助航天员舱外活动、捕获、抓捕等),在每种场景内可定制目标物的质量、惯量、外形尺寸、表面状态等物理特性参数。然后设置机械臂构型、目标物运动参数、接触/碰撞模式等场景初始条件。开始仿真后,通过增强现实技术可将上述设置参数相关的目标物动力学模型以虚拟图像的方式显示出来,通过视频合成器将虚拟目标物图像和真实环境图像相融合,融合后的虚实结合图像输入至操作者佩戴VR眼镜,使操作者产生真实的操作沉浸感。虚拟目标图像受目标物动力学模型数据驱动,模拟真实的目标动力学特性。操作者使用遥操作装置控制机械臂执行相应动作时,可模拟出机械臂末端与目标物接触和碰撞过程及碰撞后的受力情况,使操作者真实感受到不同任务负载对机械臂的影响以及对空间站姿态的影响,帮助训练人员通过在轨真实工作场景积累遥操作机械臂的训练经验。
本发明的技术解决方案是:
一种空间遥操作机械臂在轨训练系统,包括机械臂、遥操作控制模块、操纵手柄、目标物动力学仿真模块、目标物虚拟仿真图像生成模块、机械臂仿真模块、舱外摄像机群、视频合成器和VR眼镜;
空间站内操作者通过VR眼镜利用操纵手柄向遥操作控制模块发出遥操作控制指令,实现对机械臂的运动控制;
遥操作控制模块:根据接收的遥操作控制指令、机械臂仿真模块输出的力反馈控制指令以及机械臂上位移传感器输出的位移信号进行机械臂轨迹规划,生成机械臂各关节转动指令并发送给机械臂,控制机械臂运动;
机械臂:根据各关节转动指令运动,在接触目标物后,将机械臂末端与目标物的作用点坐标、预计施加在目标物作用点上的虚拟力信号发送给目标物动力学仿真模块,作为目标物动力学仿真模块的输入;
目标物动力学仿真模块:根据接收信号模拟机械臂待捕获或抓取的目标物的姿态和轨道动力学特性,输出机械臂末端的虚拟接触力至机械臂仿真模块,以及输出实时更新的目标物姿态参数和轨道参数至目标物虚拟仿真图像生成模块;
目标物虚拟仿真图像生成模块:预存各种不同目标物的三维模型,根据实际目标调取对应的目标物三维模型;实时接收目标物动力学仿真模块输出的目标物姿态参数和轨道参数,并驱动相应的目标物三维模型进行运动,生成预测的目标物运动虚拟仿真图像,并发送至视频合成器;
机械臂仿真模块:接收目标物动力学仿真模块计算出的机械臂末端的虚拟接触力,更新机械臂数学模型下一时刻的动力学状态,并发送机械臂要运动到预测状态下的力反馈控制指令至遥操作控制模块中;
视频合成器:根据预测的目标物运动虚拟仿真图像和舱外摄像机群实时拍摄的空间背景图像合成虚实结合的图像,输入至VR眼镜中。
进一步地,所述目标物动力学仿真模块包括接触动力学模块和目标单体动力学模块;
目标单体动力学模块包括目标物与机械臂接触前的数学模型,用于模拟目标物未与机械臂发生接触时的轨道和姿态动力学状态,并根据输出的与机械臂末端之间相对位置参数判断机械臂末端是否与目标物发生接触,以及实时输出目标物的位置和姿态信息;接收虚拟接触力,处理后输出实时更新的目标物姿态参数和轨道参数至目标物虚拟仿真图像生成模块;
接触动力学模块实时接收机械臂的位移信号和目标物位置信息,当目标物与机械臂接触后解算出虚拟接触力并发送至机械臂仿真模块和目标单体动力学模块。
进一步地,所述虚拟接触力为
Figure BDA0002746064880000031
其中,dc为接触阻尼系数,δ和
Figure BDA0002746064880000032
分别为目标物的接触变形量和接触速度,kc为目标物接触刚度。
进一步地,所述判断机械臂末端是否与目标物发生接触,判断结果包括:
高阻抗:mv>mt/e,即经过一次碰撞后目标物速度反向,向远离机械臂的方向运动;
等阻抗:mv=mt/e,即经过一次碰撞后目标物速度减为0,目标物自身的动能全部转移到机械臂上;
低阻抗:mv<mt/e,即经过一次碰撞后目标物速度未立即减为0,其残留速度会向机械臂末端提供一个反向力,导致目标物与机械臂末端之间继续发生多次碰撞,直至目标物速度降为0;
其中,mv为基于能量模型的机械臂虚拟质量,mt为目标物质量,e为目标物的恢复系数;
机械臂末端与目标物发生接触的不同模式用于模拟机械臂抓取不同目标物时的动力学状态。
一种空间遥操作机械臂在轨训练方法,包括如下步骤:
根据空间站机械臂任务需求,设置若干种训练场景;
根据实际任务需求,选择对应的训练场景并进行初始化;
根据实际任务需求,初始化如权利要求1所述的一种空间遥操作机械臂在轨训练系统的各个模块;
空间站内操作者利用操纵手柄向遥操作控制模块发出遥操作控制指令,实现对机械臂的运动控制;
遥操作控制模块根据接收的遥操作控制指令、机械臂仿真模块输出的力反馈控制指令以及机械臂上位移传感器输出的位移信号进行机械臂轨迹规划,生成机械臂各关节转动指令并发送给机械臂,控制机械臂运动;
机械臂根据各关节转动指令运动,在接触目标物后,将机械臂末端与目标物的作用点坐标、预计施加在目标物作用点上的力和力矩发送给目标物动力学仿真模块,作为目标物动力学仿真模块的输入;
目标物动力学仿真模块根据接收信号模拟机械臂待捕获或抓取的目标物的姿态和轨道动力学特性,输出机械臂末端的虚拟接触力至机械臂仿真模块,以及输出实时更新的目标物姿态参数和轨道参数至目标物虚拟仿真图像生成模块;
目标物虚拟仿真图像生成模块根据实际目标调取对应的目标物动力学模型;并实时接收目标物动力学仿真模块输出的目标物姿态参数和轨道参数,并驱动相应的目标物三维模型进行运动,生成预测的目标物运动虚拟仿真图像,并发送至视频合成器;
机械臂仿真模块接收目标物动力学仿真模块计算出的机械臂末端的虚拟接触力,更新机械臂下一时刻的动力学状态,并发送机械臂要运动到预测状态下的力反馈控制指令至遥操作控制模块中;
视频合成器:根据预测的目标物运动虚拟仿真图像和舱外摄像机群实时拍摄的空间背景图像合成虚实结合的图像,输入至VR眼镜中。
进一步地,所述训练场景包括:辅助其他飞行器与空间站进行对接和转位,辅助航天员开展舱外活动,目标物捕获和抓捕,以及目标物装配。
进一步地,所述进行初始化包括如下步骤:
根据任务需求对应的场景要求选定需要引入的舱外摄像机群的图像作为训练环境背景;所述舱外摄像机群包括空间站舱外不同位置的云台摄像机和机械臂上的关节和腕部的摄像机;
根据任务需求对应的场景要求设置机械臂的初始位置和构型。
进一步地,各个模块的初始化包括:初始化目标物仿真参数、机械臂构型及物理参数,以及训练场景初始条件。
一种计算机可读存储介质,所述的计算机可读存储介质存储有计算机程序,所述的计算机程序被处理器执行时实现所述一种空间遥操作机械臂在轨训练方法的步骤。
一种空间遥操作机械臂在轨训练设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述的处理器执行所述的计算机程序时实现所述一种空间遥操作机械臂在轨训练方法的步骤。
本发明与现有技术相比的优点在于:
(1)本发明将接触动力学模型引入了遥操作训练,将目标物与机械臂末端发生接触后模拟出的虚拟接触力引入机械臂的力反馈控制中,通过设置不同的初始化仿真参数,操作者可以体验三种不同接触模式下,目标物对机械臂及空间站动力学特性的干扰情况,形成直接的触觉反馈;
(2)本发明提出了一种可模拟不同目标动力学特性及接触动力学过程的机械臂在轨训练方案,通过真实机械臂与模拟目标物动力学的结合解决了地面对太空环境和机械臂特性模拟不真实的问题;
(3)本发明通过视频合成器将虚拟的目标物三维模型与真实的太空背景图像相融合,通过增强现实方式增加了操作者的训练沉浸感,形成了更真实的视觉反馈。
附图说明
图1为本发明空间遥操作机械臂在轨训练系统组成示意图;
图2为本发明空间遥操作机械臂在轨训练系统功能流程图;
图3为本发明机械臂抓取目标物示意图;
图4为本发明接触动力学模型示意图;
图5为本发明遥操作机械臂训练过程示意图。
具体实施方式
为了更好的理解上述技术方案,下面通过附图以及具体实施例对本申请技术方案做详细的说明,应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明,而不是对本申请技术方案的限定,在不冲突的情况下,本申请实施例以及实施例中的技术特征可以相互组合。
以下结合说明书附图对本申请实施例所提供的一种空间遥操作机械臂在轨训练系统做进一步详细的说明,具体实现方式可以包括(如图1~4所示):空间站舱外摄像机、目标物动力学仿真模块、目标物虚拟仿真图像生成模块、机械臂仿真模块、视频合成器、VR眼镜、操纵手柄、遥操作控制模块。
在本申请实施例所提供的方案中,各部分的主要功能是:
舱外摄像机群:摄像机群分布于空间站舱外不同位置,用于采集舱外不同位置、不同视角下的真实环境图像。
目标物动力学仿真模块:用于模拟机械臂待捕获/抓取的目标物的姿态和轨道动力学特性,目标物与机械臂接触前为单体动力学模型,目标物与机械臂接触后增加接触动力学解算,计算出的模拟接触力作为外部力进入模拟力传感器模块,将转换成的电信号输入到遥操作控制模块中,模拟目标物对机械臂末端和与之耦合的空间站姿态施加的影响,该模拟接触力同时对目标物的动力学模型施加影响,最终直接影响机械臂的捕获/抓取结果。
目标物动力学参数可根据实际需要进行修改和配置,且可保存多组不同的目标物动力学参数,具备可扩展性。
目标物虚拟仿真图像生成模块:保存用户提前预设的各种不同目标物的三维模型,可根据需要进行扩展,与训练中使用的目标物动力学模型一一对应。在实际训练过程中,该模块实时接收目标物动力学仿真模块输出的目标物姿态参数、轨道参数等,并驱动相应的目标物三维模型进行运动,继而生成预测的目标物运动虚拟仿真图像。
机械臂仿真模块:机械臂抓取真实目标物并相互接触时,接触产生的碰撞力对机械臂和目标物的姿态均会产生扰动,机械臂姿态变化进而将影响与之耦合的空间站姿态,目标物收到碰撞后自身姿态发生变化进而会影响机械臂对其抓取操作。机械臂末端安装的力传感器可将感受到的力转换为数字量反馈给遥操作控制模块,遥操作控制模块根据控制律和轨迹规划算法进一步更新机械臂各关节的转动指令。这里的接触力感知对遥操作训练人员的临场感体验非常重要,在抓取虚拟目标物时是不会产生真实的接触力的,机械臂末端的力传感器无法感知,因此必须将目标物动力学仿真模块中接触动力学计算出的虚拟接触力实体化并作用在机械臂上。该功能通过机械臂仿真模型来实现。
进一步,接触动力学计算出的机械臂末端的虚拟接触力输入机械臂仿真模型,可更新出机械臂下一时刻的动力学状态,并给出机械臂要运动到预测状态下的控制指令,输入到遥操作控制模块中解算出机械臂各关节的转动指令。
视频合成器:基于增强现实技术,通过三维注册、虚实融合等方式将目标物虚拟仿真图像叠加到真实环境图像上,使真实世界的信息获得增强。
VR眼镜:空间站内操作者佩戴VR眼镜后可看到虚实融合后的视频图像,实现对遥操作机械臂实时效果的视觉反馈。
操纵手柄:空间站内操作者利用操纵手柄发出控制指令,实现对机械臂的运动控制。
遥操作控制模块:
a)根据操纵手柄的控制指令进行轨迹规划,并解析成机械臂各个关节的控制指令,发送给机械臂,作为机械臂的运动输入;
b)机械臂接触目标物前:通过机械臂末端的位置和姿态参数,更新与目标物之间的相对运动参数,作为目标物动力学的输入;
c)机械臂接触目标物后:将机械臂末端与目标物的作用点坐标、预计施加在目标物作用点上的力发送给目标物动力学仿真模块,作为目标物动力学的输入;根据目标物动力学仿真模块输出的接触力/碰撞力,解析出相应各关节的控制指令,发送给机械臂,作为机械臂操作目标物后的反作用输入。
本发明为了给操作者提供逼真的训练沉浸感,空间站舱外的太空环境、舱体表面状态、机械臂等均由舱外摄像机群拍摄真实图像,训练中被机械臂抓取的目标物由目标物虚拟仿真图像生成模块根据用户选择渲染出相应的三维静态模型,并根据目标物动力学仿真模块输出的目标物动力学参数驱动三维模型,形成虚拟动态图像。
视频合成器将目标物虚拟仿真图像叠加真实环境图像上生成融合图像输入至操作者佩戴的VR眼镜中,形成对操作者遥操作机械臂的视觉反馈。
当机械臂与目标物发生接触和碰撞时,目标物动力学仿真模块中的接触动力学将被调用,根据机械臂末端与目标物的动力学参数解算出模拟接触力,该接触力输入到机械臂动力学模型中,通过状态估计器一步外推得到下一时刻预测的机械臂状态,并给出从当前状态运动到预测状态的力反馈控制指令,输入到遥操作控制模块中,机械臂各关节根据转动指令进行动作,形成对遥操作机械臂的力学反馈。训练人员可感知到碰撞力对机械臂和空间站姿态的影响。
上述视觉反馈和力学反馈共同保证了训练人员遥操作机械臂抓取虚拟目标时的沉浸感和临场感。
本训练系统为闭环系统。操作者遥操作机械臂时,训练系统可自主检测并显示机械臂末端与目标物的相对姿态和相对距离。同时模拟了碰撞和抓取动力学,也就是当机械臂末端与目标物接触并产生作用力时,可根据发出的机械臂遥操作指令计算出作用在目标物上的接触力,通过解算其动力学驱动目标物虚拟图像相对机械臂的变化;同时目标物对机械臂的反作用力将解算成对机械臂的遥操作指令而表现出来,进而机械臂运动导致的空间站舱体的姿态变化将实时反映的遥测参数中。因此,空间站内操作者在遥操作机械臂的过程中可以真实感受到不同操作方式对空间站舱体的影响。
在本申请实施例提供的技术方案中,目标物动力学仿真算法包括:
在一种可能实现的方式中,接触动力学算法为:
一般情况下,机械臂末端与目标物之间的接触过程为三自由度运动,但在局部接触点上可以简化为单自由度运动,本专利中将该接触过程做上述简化处理,如图4所示。
定义:
mv为机械臂末端的虚拟点质量
mt为目标物质量
Figure BDA0002746064880000091
为碰撞前机械臂末端速度
Figure BDA0002746064880000092
为碰撞前目标物速度
Figure BDA0002746064880000093
为碰撞后机械臂末端速度
Figure BDA0002746064880000094
为碰撞后目标物速度
e为与接触表面恢复系数
F为机械臂末端与目标物之间的接触力
根据阻抗匹配原理,机械臂与目标物碰撞时有以下三种接触方式:
i.高阻抗:mv>mt/e,即经过一次碰撞后目标物速度反向,向远离机械臂的方向运动。
ii.等阻抗:mv=mt/e,即经过一次碰撞后目标物速度减为0,目标物自身的动能全部转移到机械臂上。
iii.低阻抗:mv<mt/e,即经过一次碰撞后目标物速度未立即减为0,其残留速度会向机械臂末端提供一个反向力,导致目标物与机械臂末端之间继续发生多次碰撞,直至目标物速度降为0。
在等阻抗和低阻抗方式下,目标物在碰撞后能始终与机械臂末端保持接触,满足阻抗匹配条件,在此工况下机械臂能成功抓捕目标物。在高阻抗方式下,机械臂捕获目标物失败。
采用基于能量模型的虚拟质量定义方法,mv可通过以下公式求得:
Figure BDA0002746064880000101
其中,T=te-t0为机械臂末端与目标物碰撞的接触过程总时间。
考虑线性弹簧阻尼模型,接触力F计算公式为:
Figure BDA0002746064880000102
其中,δ为接触变形量,δ=xh-xt
机械臂末端与目标物接触后速度可通过以下公式求得:
Figure BDA0002746064880000103
Figure BDA0002746064880000104
其中,
Figure BDA0002746064880000105
通过目标物单体动力学获得。
本专利描述的系统中,机械臂为真实物体,其在接触力作用下的动力学特性通过遥操作控制模块将机械臂仿真模块输出的力反馈控制指令转换为各关节控制指令来实现,即机械臂对接触碰撞的响应是真实的。目标物为虚拟的数学模型,故其接触后速度通过公式(4)得到。
由于机械臂和遥操作模块为真实设备,因此机械臂的动力学特性是确定的,即mv确定。但从在轨训练需求出发,为了让操作者充分体验到不同目标物在上述三种接触方式下对机械臂和空间站舱体的影响,允许用户对机械臂的接触时间T、接触力F、接触速度
Figure BDA0002746064880000111
进行设定,从而获得不同的mv值,进而感受到对目标物接触后速度
Figure BDA0002746064880000112
的影响。
在一种可能实现的方式中,单体动力学算法为:
目标物单体姿态运动学方程采用常规的四元数表达形式:
Figure BDA0002746064880000113
其中,q为四元数矢量,ω为角速度矢量。
目标物单体姿态动力学方程采用常规的角动量表达形式:
Figure BDA0002746064880000114
其中,H=Iω为角动量矢量,I为惯量矩阵,M为外力矩矢量。
基于与图一相同的发明构思,本发明还提供一种空间遥操作机械臂在轨训练方法,如图2所示,包括如下步骤:
一、训练前的初始设置
a)选择训练场景
根据空间站机械臂任务需求,设置了如下4种典型的训练场景:
i.辅助其他飞行器与空间站进行对接和转位
针对空间站其它舱段、飞船等大型来访飞行器与空间站指定对接口进行对接和转位的需求,操作者通过遥操作机械臂使其末端接近并接触位于空间站某一指定位置的其它飞行器上的被动抓捕装置,完成抓捕后再遥操作机械臂将该飞行器移动至相应的长期停泊口与空间站完成对接形成组合体。
ii.辅助航天员开展舱外行走、设备维修等活动
针对航天员出舱进行行走训练及开展空间站及其他处于停泊状态下的飞行器的舱外设备维修的需求,操作者通过遥操作机械臂将出舱的航天员移动至目标位置并停留等待,待任务完成后将航天员送回出舱口。
iii.目标物捕获和抓捕
针对空间站周围的太空垃圾、小型飞行器等非合作目标进行捕获和抓捕的需求,操作者通过遥操作机械臂末端瞄准目标物开展跟踪和接近、选择合适的捕获位置、捕获、最后抓捕等操作,整个过程不确定性较大,需避免目标物与机械臂和空间站发生非预期碰撞的风险。
iv.目标物装配
针对空间站舱外设备维修需求,操作者通过遥操作机械臂末端抓取将位于初始位置的目标设备,并将其移动至舱体上的期望位置,配合航天员完成安装和紧固等工作。
操作者选定训练场景后,训练系统软件完成以下设置工作:
i.根据场景要求选定引入哪些舱外摄像机的图像作为训练环境背景
摄像机群包括空间站舱外不同位置的云台摄像机和机械臂上的关节、腕部摄像机等,用户可根据任务显示场景需要选择相应安装位置的摄像机。
ii.根据场景要求设置机械臂的初始位置和构型
由于不同场景下待抓捕的目标物位置不同,用户可根据训练需要设定机械臂爬行至舱外指定的初始位置,并形成任务要求的构型。
b)设置目标物仿真参数
根据上述仿真场景的定义,目标物可以为几吨至几十吨级不同类型的中大型飞行器,也可以是几百至上千公斤级的小型飞行器或太空垃圾,或者是几十公斤级的舱外设备,不仅形状尺寸、表面材料各异,而且重量、惯量分布差异大,遥操作机械臂抓取上述不同目标物时表现出的动力学特性差异也很大,因此需要根据目标物的实际状态设置相应的仿真参数。主要参数有:
Figure BDA0002746064880000121
Figure BDA0002746064880000131
c)设置机械臂构型及物理参数
用户选定训练场景后,相应的机械臂初始构型也确定了,用户需根据初始构型设置各关节初始角度。根据想模拟的机械臂末端与目标物接触方式,设置机械臂接触前速度、碰撞接触时间等参数。如下表所示:
Figure BDA0002746064880000132
d)设置训练场景初始条件
机械臂初始构型确定后,用户需定义目标物相对机械臂末端的初始条件,用以确定仿真起始时刻目标物虚拟图像与机械臂之间的相对关系。
Figure BDA0002746064880000133
二、训练过程
一次典型的遥操作训练过程如下图5所示。
用户选择训练场景、设置目标物仿真参数、设置机械臂构型及物理参数,并设置训练场景的初始条件,操作者带上VR眼镜并启动训练软件,即可看到增强现实的训练场景。通过控制手柄遥操作机械臂完成各种训练任务。
本申请提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行图1所述的方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (10)

1.一种空间遥操作机械臂在轨训练系统,其特征在于:包括机械臂、遥操作控制模块、操纵手柄、目标物动力学仿真模块、目标物虚拟仿真图像生成模块、机械臂仿真模块、舱外摄像机群、视频合成器和VR眼镜;
空间站内操作者通过VR眼镜利用操纵手柄向遥操作控制模块发出遥操作控制指令,实现对机械臂的运动控制;
遥操作控制模块:根据接收的遥操作控制指令、机械臂仿真模块输出的力反馈控制指令以及机械臂上位移传感器输出的位移信号进行机械臂轨迹规划,生成机械臂各关节转动指令并发送给机械臂,控制机械臂运动;
机械臂:根据各关节转动指令运动,在接触目标物后,将机械臂末端与目标物的作用点坐标、预计施加在目标物作用点上的虚拟力信号发送给目标物动力学仿真模块,作为目标物动力学仿真模块的输入;
目标物动力学仿真模块:根据接收信号模拟机械臂待捕获或抓取的目标物的姿态和轨道动力学特性,输出机械臂末端的虚拟接触力至机械臂仿真模块,以及输出实时更新的目标物姿态参数和轨道参数至目标物虚拟仿真图像生成模块;
目标物虚拟仿真图像生成模块:预存各种不同目标物的三维模型,根据实际目标调取对应的目标物三维模型;实时接收目标物动力学仿真模块输出的目标物姿态参数和轨道参数,并驱动相应的目标物三维模型进行运动,生成预测的目标物运动虚拟仿真图像,并发送至视频合成器;
机械臂仿真模块:接收目标物动力学仿真模块计算出的机械臂末端的虚拟接触力,更新机械臂数学模型下一时刻的动力学状态,并发送机械臂要运动到预测状态下的力反馈控制指令至遥操作控制模块中;
视频合成器:根据预测的目标物运动虚拟仿真图像和舱外摄像机群实时拍摄的空间背景图像合成虚实结合的图像,输入至VR眼镜中。
2.根据权利要求1所述的一种空间遥操作机械臂在轨训练系统,其特征在于:所述目标物动力学仿真模块包括接触动力学模块和目标单体动力学模块;
目标单体动力学模块包括目标物与机械臂接触前的数学模型,用于模拟目标物未与机械臂发生接触时的轨道和姿态动力学状态,并根据输出的与机械臂末端之间相对位置参数判断机械臂末端是否与目标物发生接触,以及实时输出目标物的位置和姿态信息;接收虚拟接触力,处理后输出实时更新的目标物姿态参数和轨道参数至目标物虚拟仿真图像生成模块;
接触动力学模块实时接收机械臂的位移信号和目标物位置信息,当目标物与机械臂接触后解算出虚拟接触力并发送至机械臂仿真模块和目标单体动力学模块。
3.根据权利要求2所述的一种空间遥操作机械臂在轨训练系统,其特征在于:所述虚拟接触力为
Figure FDA0002746064870000021
其中,dc为接触阻尼系数,δ和
Figure FDA0002746064870000022
分别为目标物的接触变形量和接触速度,kc为目标物接触刚度。
4.根据权利要求1所述的一种空间遥操作机械臂在轨训练系统,其特征在于,所述判断机械臂末端是否与目标物发生接触,判断结果包括:
高阻抗:mv>mt/e,即经过一次碰撞后目标物速度反向,向远离机械臂的方向运动;
等阻抗:mv=mt/e,即经过一次碰撞后目标物速度减为0,目标物自身的动能全部转移到机械臂上;
低阻抗:mv<mt/e,即经过一次碰撞后目标物速度未立即减为0,其残留速度会向机械臂末端提供一个反向力,导致目标物与机械臂末端之间继续发生多次碰撞,直至目标物速度降为0;
其中,mv为基于能量模型的机械臂虚拟质量,mt为目标物质量,e为目标物的恢复系数;
机械臂末端与目标物发生接触的不同模式用于模拟机械臂抓取不同目标物时的动力学状态。
5.一种空间遥操作机械臂在轨训练方法,其特征在于,包括如下步骤:
根据空间站机械臂任务需求,设置若干种训练场景;
根据实际任务需求,选择对应的训练场景并进行初始化;
根据实际任务需求,初始化如权利要求1所述的一种空间遥操作机械臂在轨训练系统的各个模块;
空间站内操作者利用操纵手柄向遥操作控制模块发出遥操作控制指令,实现对机械臂的运动控制;
遥操作控制模块根据接收的遥操作控制指令、机械臂仿真模块输出的力反馈控制指令以及机械臂上位移传感器输出的位移信号进行机械臂轨迹规划,生成机械臂各关节转动指令并发送给机械臂,控制机械臂运动;
机械臂根据各关节转动指令运动,在接触目标物后,将机械臂末端与目标物的作用点坐标、预计施加在目标物作用点上的力和力矩发送给目标物动力学仿真模块,作为目标物动力学仿真模块的输入;
目标物动力学仿真模块根据接收信号模拟机械臂待捕获或抓取的目标物的姿态和轨道动力学特性,输出机械臂末端的虚拟接触力至机械臂仿真模块,以及输出实时更新的目标物姿态参数和轨道参数至目标物虚拟仿真图像生成模块;
目标物虚拟仿真图像生成模块根据实际目标调取对应的目标物动力学模型;并实时接收目标物动力学仿真模块输出的目标物姿态参数和轨道参数,并驱动相应的目标物三维模型进行运动,生成预测的目标物运动虚拟仿真图像,并发送至视频合成器;
机械臂仿真模块接收目标物动力学仿真模块计算出的机械臂末端的虚拟接触力,更新机械臂下一时刻的动力学状态,并发送机械臂要运动到预测状态下的力反馈控制指令至遥操作控制模块中;
视频合成器:根据预测的目标物运动虚拟仿真图像和舱外摄像机群实时拍摄的空间背景图像合成虚实结合的图像,输入至VR眼镜中。
6.根据权利要求5所述的一种空间遥操作机械臂在轨训练方法,其特征在于,所述训练场景包括:辅助其他飞行器与空间站进行对接和转位,辅助航天员开展舱外活动,目标物捕获和抓捕,以及目标物装配。
7.根据权利要求5所述的一种空间遥操作机械臂在轨训练系统,其特征在于:所述进行初始化包括如下步骤:
根据任务需求对应的场景要求选定需要引入的舱外摄像机群的图像作为训练环境背景;所述舱外摄像机群包括空间站舱外不同位置的云台摄像机和机械臂上的关节和腕部的摄像机;
根据任务需求对应的场景要求设置机械臂的初始位置和构型。
8.根据权利要求5所述的一种空间遥操作机械臂在轨训练系统,其特征在于,各个模块的初始化包括:初始化目标物仿真参数、机械臂构型及物理参数,以及训练场景初始条件。
9.一种计算机可读存储介质,所述的计算机可读存储介质存储有计算机程序,其特征在于,所述的计算机程序被处理器执行时实现如权利要求1~权利要求8任一所述方法的步骤。
10.一种空间遥操作机械臂在轨训练设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于:所述的处理器执行所述的计算机程序时实现如权利要求1~权利要求8任一所述方法的步骤。
CN202011166790.2A 2020-10-27 2020-10-27 一种空间遥操作机械臂在轨训练系统及方法 Active CN112435521B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011166790.2A CN112435521B (zh) 2020-10-27 2020-10-27 一种空间遥操作机械臂在轨训练系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011166790.2A CN112435521B (zh) 2020-10-27 2020-10-27 一种空间遥操作机械臂在轨训练系统及方法

Publications (2)

Publication Number Publication Date
CN112435521A true CN112435521A (zh) 2021-03-02
CN112435521B CN112435521B (zh) 2022-11-11

Family

ID=74696264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011166790.2A Active CN112435521B (zh) 2020-10-27 2020-10-27 一种空间遥操作机械臂在轨训练系统及方法

Country Status (1)

Country Link
CN (1) CN112435521B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112828895A (zh) * 2021-02-04 2021-05-25 武汉联影智融医疗科技有限公司 机器人仿真系统
CN113456220A (zh) * 2021-06-30 2021-10-01 上海微创医疗机器人(集团)股份有限公司 对准方法、手术机器人及计算机存储介质
CN114218702A (zh) * 2021-12-10 2022-03-22 哈尔滨工业大学(深圳) 一种面向空间在轨操控的虚拟视景仿真系统
CN114444304A (zh) * 2022-01-24 2022-05-06 中国科学院空间应用工程与技术中心 一种空间任务仿真方法、系统及仿真系统
CN115464636A (zh) * 2022-08-15 2022-12-13 武汉科技大学 变电站机器人挂/摘接地线的遥操作控制系统与控制方法
CN116062198A (zh) * 2023-04-06 2023-05-05 中山大学 面向超大型航天结构的虚实融合地面试验系统及方法
CN116476100A (zh) * 2023-06-19 2023-07-25 兰州空间技术物理研究所 一种多分支空间机器人遥操作系统
CN116922387A (zh) * 2023-07-31 2023-10-24 重庆越千创新科技有限公司 一种摄影机器人的实时控制方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120065784A1 (en) * 2010-09-13 2012-03-15 Philip Feldman Providing kinetic feedback for computer-human interaction in virtual or remote operation environments
KR101266072B1 (ko) * 2012-02-23 2013-05-21 대우조선해양 주식회사 용접로봇 이지티칭 장치 및 그 용접방법
CN105659727B (zh) * 2009-12-01 2013-06-19 北京空间飞行器总体设计部 一种大型空间机械臂在轨操控方法
CN103302668A (zh) * 2013-05-22 2013-09-18 东南大学 基于Kinect的空间遥操作机器人的控制系统及其方法
US20150039128A1 (en) * 2013-08-05 2015-02-05 Kabushiki Kaisha Toshiba Robot control device
CN106504605A (zh) * 2016-10-21 2017-03-15 东南大学 面向空间站机械臂力反馈遥操作训练的仿真控制系统
CN106527177A (zh) * 2016-10-26 2017-03-22 北京控制工程研究所 一种多功能一站式遥操作控制设计与仿真系统及方法
JP2019063879A (ja) * 2017-09-28 2019-04-25 セイコーエプソン株式会社 シミュレーション装置、ロボット制御装置およびロボット
CN109794918A (zh) * 2018-12-07 2019-05-24 中国科学院空间应用工程与技术中心 一种交互式的空间遥操作系统
CN110216671A (zh) * 2019-05-14 2019-09-10 苏州软体机器人科技有限公司 一种基于计算机仿真的机械抓手训练方法及系统
CN110682291A (zh) * 2019-10-16 2020-01-14 国网江苏省电力有限公司扬州供电分公司 一种基于vr的机器人遥操作系统及其遥操作方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105659727B (zh) * 2009-12-01 2013-06-19 北京空间飞行器总体设计部 一种大型空间机械臂在轨操控方法
US20120065784A1 (en) * 2010-09-13 2012-03-15 Philip Feldman Providing kinetic feedback for computer-human interaction in virtual or remote operation environments
KR101266072B1 (ko) * 2012-02-23 2013-05-21 대우조선해양 주식회사 용접로봇 이지티칭 장치 및 그 용접방법
CN103302668A (zh) * 2013-05-22 2013-09-18 东南大学 基于Kinect的空间遥操作机器人的控制系统及其方法
US20150039128A1 (en) * 2013-08-05 2015-02-05 Kabushiki Kaisha Toshiba Robot control device
CN106504605A (zh) * 2016-10-21 2017-03-15 东南大学 面向空间站机械臂力反馈遥操作训练的仿真控制系统
CN106527177A (zh) * 2016-10-26 2017-03-22 北京控制工程研究所 一种多功能一站式遥操作控制设计与仿真系统及方法
JP2019063879A (ja) * 2017-09-28 2019-04-25 セイコーエプソン株式会社 シミュレーション装置、ロボット制御装置およびロボット
CN109794918A (zh) * 2018-12-07 2019-05-24 中国科学院空间应用工程与技术中心 一种交互式的空间遥操作系统
CN110216671A (zh) * 2019-05-14 2019-09-10 苏州软体机器人科技有限公司 一种基于计算机仿真的机械抓手训练方法及系统
CN110682291A (zh) * 2019-10-16 2020-01-14 国网江苏省电力有限公司扬州供电分公司 一种基于vr的机器人遥操作系统及其遥操作方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王妍等: "大型航天器控制系统健康管理", 《空间控制技术与应用》 *
陈学文等: "航天员太空协同操作虚拟训练仿真系统研究", 《系统仿真学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112828895A (zh) * 2021-02-04 2021-05-25 武汉联影智融医疗科技有限公司 机器人仿真系统
CN113456220A (zh) * 2021-06-30 2021-10-01 上海微创医疗机器人(集团)股份有限公司 对准方法、手术机器人及计算机存储介质
CN114218702A (zh) * 2021-12-10 2022-03-22 哈尔滨工业大学(深圳) 一种面向空间在轨操控的虚拟视景仿真系统
CN114444304A (zh) * 2022-01-24 2022-05-06 中国科学院空间应用工程与技术中心 一种空间任务仿真方法、系统及仿真系统
CN115464636A (zh) * 2022-08-15 2022-12-13 武汉科技大学 变电站机器人挂/摘接地线的遥操作控制系统与控制方法
CN116062198A (zh) * 2023-04-06 2023-05-05 中山大学 面向超大型航天结构的虚实融合地面试验系统及方法
CN116476100A (zh) * 2023-06-19 2023-07-25 兰州空间技术物理研究所 一种多分支空间机器人遥操作系统
CN116922387A (zh) * 2023-07-31 2023-10-24 重庆越千创新科技有限公司 一种摄影机器人的实时控制方法及系统
CN116922387B (zh) * 2023-07-31 2024-02-20 重庆越千创新科技有限公司 一种摄影机器人的实时控制方法及系统

Also Published As

Publication number Publication date
CN112435521B (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN112435521B (zh) 一种空间遥操作机械臂在轨训练系统及方法
CN107221223B (zh) 一种带有力/触觉反馈的虚拟现实飞机座舱系统
KR100545520B1 (ko) 인간형 링크계의 운동생성방법
CN110394780A (zh) 机器人的仿真装置
JP6826069B2 (ja) ロボットの動作教示装置、ロボットシステムおよびロボット制御装置
Qiu et al. Virtual human modeling for interactive assembly and disassembly operation in virtual reality environment
CN111325768B (zh) 一种基于3d视觉和模仿学习的自由漂浮目标抓捕方法
Yoshida Experimental study on the dynamics and control of a space robot with experimental free-floating robot satellite
Sagardia et al. A platform for bimanual virtual assembly training with haptic feedback in large multi-object environments
Bolotnikova et al. A circuit-breaker use-case operated by a humanoid in aircraft manufacturing
CN113829343A (zh) 基于环境感知的实时多任务多人人机交互系统
Fagerer et al. Visual grasping with long delay time of a free floating object in orbit
McHenry et al. Predictive xr telepresence for robotic operations in space
CN115122325A (zh) 一种具有视场约束的拟人化机械手鲁棒视觉伺服控制方法
CN109213306A (zh) 一种机器人远程控制平台及其设计方法
Piedboeuf et al. Recent canadian activities in space automation and robotics–an overview
Bolano et al. Towards a vision-based concept for gesture control of a robot providing visual feedback
Hirzinger Robots in space-a survey
Li et al. Real-time shared control of space robots teleoperation without time delay
CN112148000A (zh) 模拟空间维修机器人操作场景的舱内仿真平台及实现方法
Grimm et al. Experiment in vision-based autonomous grasping within a reduced gravity environment
She et al. Control design to underwater robotic arm
Erickson et al. An intelligent space robot for crew help and crew and equipment retrieval
Freund et al. Application of robotic mechanisms to simulation of the international space station
Freund et al. Projective Virtual Reality in space applications: A telerobotic ground station for a space mission

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant