CN116382476A - 一种用于月表人机协同作业的穿戴式交互系统 - Google Patents

一种用于月表人机协同作业的穿戴式交互系统 Download PDF

Info

Publication number
CN116382476A
CN116382476A CN202310329223.1A CN202310329223A CN116382476A CN 116382476 A CN116382476 A CN 116382476A CN 202310329223 A CN202310329223 A CN 202310329223A CN 116382476 A CN116382476 A CN 116382476A
Authority
CN
China
Prior art keywords
robot
astronaut
lunar
interaction
exploration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310329223.1A
Other languages
English (en)
Other versions
CN116382476B (zh
Inventor
袁帅
张泽旭
谭康
周志成
刘毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202310329223.1A priority Critical patent/CN116382476B/zh
Publication of CN116382476A publication Critical patent/CN116382476A/zh
Application granted granted Critical
Publication of CN116382476B publication Critical patent/CN116382476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Manipulator (AREA)

Abstract

一种用于月表人机协同作业的穿戴式交互系统，涉及载人月球探测开采技术领域，该穿戴式交互系统致力于月球探测机器人成为宇航员的得力助手，使其能够跟随宇航员外出进行人机协同作业，也能够独立自主地完成探测取样等任务。该交互设备能够实时显示宇航员与探测机器人的具体位置和机器人的工作状态，确保月面的作业安全；同时，该交互设备提供了手势控制、语音控制和触屏面板控制三种交互方式，三种方式形成互补，手势控制和语音控制使人机交互更加直观，实现了宇航员与探测机器人之间的实时交互，提高了人机交互的便捷性、准确性和可靠性。该穿戴式交互设备有力地支撑了未来载人登月进行月球探测开采任务，提高月球资源探测效率和开采成功率。对月球进行无人探月及载人登月，在科学、技术和经济等方面都具有重大意义。

Description

一种用于月表人机协同作业的穿戴式交互系统
技术领域
本发明涉及一种应用于宇航员与月球探测机器人对月球进行勘探(探测)、侦察和取样(采样)、开发等作业任务的穿戴式交互系统，涉及载人月球探测开采技术领域。
背景技术
月球作为距离地球最近的天体，成为了各国开展地外星体探测的首选目标，实现有人参与的载人月球探测不但在探索外层空间、扩展对月球的认识、和平利用外层空间具有非凡的战略意义，同时在满足科技发展、国家安全和社会进步、增强综合国力等方面具有十分重要的价值。
对空间和地外天体的探索一直推动着科学技术领域的重大突破，我们日常生活中常见的许多应用程序最初都是为空间而设计的。在地球上，人机协作应用广泛，工人-机器人混合团队已经是当前工业数字革命的核心组成部分；在未来，面向复杂未知的空间环境，宇航员和机器人团队很有可能在轨道上或行星表面共同工作。因此，人-机器人协作是未来地外空间驻人探测的重点研究方向。近年来月球探测成为各航天大国的探测重点，人机联合探测因其安全、可靠及高效而成为未来载人登月和月球探测的趋势，对于月球场地侦察、土壤样本收集、峡谷勘探、陡坡勘探、洞穴勘探、处理紧急情况等工作来说，宇航员独立完成相应任务存在较大困难，甚至无法完成，此时就需要与机器人助手相互协作，机器人携带勘探、采样等作业工具，正确地理解并执行宇航员的指令，随时为宇航员提供相应帮助，安全高效地协助宇航员完成各种复杂的作业活动和科学研究任务，从而提高月球驻人探测任务的执行效率和成功率。但目前缺少用于月面宇航员与月球探测机器人交互的设备，针对此现象发明一套便捷易携带的月面人机交互设备是非常有必要的。
文献[1]为宇航员月球漫步和太空行走设计了一台全地形月球漫游车，扩大了宇航员的活动范围，使更多的科学试验、资源勘探和探测活动成为现实。全地形月球漫游车可以采用无人遥控的方式执行科学探测任务，将空间可展开结构部署至预定位置，其组成与功能特点为：有限的电力生成能力、能量储存系统、电子设备、通讯系统、可携带2名宇航员、有效载荷贮存空间以及无人遥控系统。但该设备缺少便捷、直观的人机交互功能，不能实现人机协作，宇航员只能独立完成月表的勘探、取样等任务。
文献[2]中美国宇航局成功完成了一次宇航员和机器人协调活动的演示。在人类直接控制和自主模式下机器人执行相应任务，如在本地控制和远程控制下的自主机器人载荷移除和装载操作，以及爬山、机动升降载荷、收集地质样本、钻井和系绳操作。该系统实现了简单的人机协作，但是机器人缺少自主跟随宇航员的功能，且本地控制和远程控制过程复杂，没有实现便捷的人机交互目标，机器人无法随时协助宇航员进行作业活动。
[1]BRIDENSTINE J.Artemis Plan–NASA’s Lunar Exploration ProgramOverview[R].NASA,2020.
[2]Diftler M A,Ambrose R O,Bluethmann W J,et al.Crew/robotcoordinated plan etary EVA operations at a lunar base analog site[C]//Lunarand Planetary Science Confere nce.2007.
发明内容
本发明要解决的技术问题是：
本发明针对未来载人登月进行月球资源的探测取样和开发利用，提出了一种基于穿戴式交互设备的月面人机交互方案，从而实现航天员登月时宇航员和机器人团队能在轨道上或行星表面共同工作。
本发明为解决上述技术问题所采用的技术方案为：
一种用于月表人机协同作业的穿戴式交互系统，宇航员与月球探测机器人组成人-机团队在月表协同作业时，二者通过所述穿戴式交互系统(设备)进行交互；所述穿戴式交互系统包括IMU体感手套5及穿戴在宇航员小臂位置的交互主体部分；交互主体部分包括腕带11及安装在腕带11上的用于实现宇航员与探测机器人交互的部件；
所述穿戴式交互系统(穿戴式交互设备)为宇航员与探测机器人的交互至少提供三种交互方式：一是触控面板控制，通过触摸屏显示器中触控面板(控制面板)的各种动作和功能按钮给探测机器人下达任务指令；二是手势控制，宇航员通过IMU体感手套5感知并解算宇航员不同手势获取对应任务指令，探测机器人在完全没有视觉接触的情况下读取宇航员的动作指令；三是语音控制，探测机器人通过语音识别宇航员所下达的任务指令；
宇航员通过所述穿戴式交互系统与控制探测机器人进行交互从而实现人机协作：控制探测机器人自动跟随宇航员外出进行任务，协助宇航员完成月面探测与采样等任务；还控制探测机器人接受宇航员的任务指令，自主或半自主前往某个感兴趣地点进行勘探并完成复杂地理环境的钻取、搬运作业任务。
进一步地，宇航员通过所述穿戴式交互系统实现人机协作的具体流程为：
A、月球探测机器人跟随宇航员从着陆器基地出发前往感兴趣地点；B、到达目标地点，探测机器人为宇航员提供勘探、采样等作业工具和相应的作业帮助，进行人机协作；C、宇航员对某个感兴趣地点进行指向，命令探测机器人自主前往目标位置；D、探测机器人到达目标地点，宇航员通过交互设备下达任务指令；E、探测机器人自主或半自主完成勘探、钻取和搬运等作业任务，并反馈作业状态；F、完成任务，探测机器人自主返回着陆器基地或接收指令开展下一阶段任务。
进一步地，用于实现宇航员与探测机器人交互的部件包括IMU指向定位单元6、相机4(可选用CMOS相机)、旋转式相机画面显示器3、语音单元8、触摸屏显示器2、UWB定位单元7、通信单元9、信号指示灯10、开/关机按钮1和数据处理器(数据处理中心)；触摸屏显示器2为旋转式触摸屏显示器，其分为触控面板区12和图像显示区13；
触控面板区12包括多种功能按钮：跟随/解除按钮、跟随方式按钮、指向模式按钮、运动方向操作按钮、取样按钮；
所述数据处理器实现的控制过程如下：
图像显示区13用于显示月球探测机器人各种状态：联机状态、跟随状态、运动状态、取样作业状态；
开/关机按钮1用于控制IMU体感手套5和安装在腕带11上的用于实现宇航员与探测机器人交互的部件的启动与关闭，穿戴式交互系统启动后自动与月球探测机器人进行联机；
在联机成功后，点击触控面板12上的跟随/解除按钮并选择跟随的方式，月球探测机器人能够跟随宇航员外出进行勘探、侦察、土壤取样等科研任务；UWB定位设备7提供探测机器人和宇航员的实时位置，在图像显示区13上实时显示探测机器人和宇航员在以月球着陆器为参考系的局部地图中的位置，并记录行动轨迹；
点击指向模式按钮进入指向模式，宇航员对某个感兴趣的目标方位利用手臂进行指向，通过融合IMU指向定位单元6的数据和相机4的视觉数据解算出目标方位和兴趣点所在的位置坐标，然后将目标位置信息发送给月球探测机器人进行后续的作业任务，旋转式相机画面显示器3上显示所指目标的图像。
月球探测机器人接收目标位置信息进行路径规划，在图像显示区13上显示基于先验完全信息进行全局路径规划的预先路径；探测机器人在前往目标过程中不断拍摄当地图像用来修正本地地图库，同时基于月球探测机器人上的导航相机、避障相机、激光雷达这些多维传感器信息进行实时地局部路径规划，在线修正预先路径，在图像显示区13上显示探测机器人的实际路径，在相机画面显示器3上显示探测机器人所拍摄的画面；
信号指示灯10的作用是发出可视化反馈信号反馈宇航员与月球探测机器人的交互情况，信号指示灯10不同的状态具有特定的含义：指示灯亮红灯，代表交互设备与探测机器人未联机；指示灯亮绿灯，代表二者联机成功。
完成任务后探测机器人自主返回月球着陆器基地或者跟随宇航员继续下一阶段任务。
进一步地，所述数据处理器配置有指向定位子系统14、指令控制子系统15、定位跟随子系统16；
指向定位子系统14用于解算出宇航员所指的方向和目标位置；
指向定位技术负责解算出宇航员所指的方向和目标位置，指向定位子系统14包括IMU指向定位模块17和视觉模块18，当进入指向模式后，宇航员使用穿戴交互设备的手臂对感兴趣的目标进行方位指向，IMU指向定位模块17利用IMU指向定位单元6(惯性测量元件IMU 6)解算出手臂的俯仰角和偏航角得到手臂姿态，即得到大致目标方位和兴趣点所在的位置坐标；与此同时，视觉模块18利用相机4对目标拍照并在旋转式相机画面显示器3上显示所指目标的图像，由于月面没有高精度地图和全局定位系统，所以在着陆器下降过程中拍摄了大量着陆区月表图像，构建以着陆点为中心作业范围的地图库，根据这些图像进行三维地形重建，并利用机器学习方法将目标作业位置的特征图片和月面着陆点周边的地图库进行智能匹配解算出作业点的相对坐标位置；然后指向定位子系统14融合IMU 6的方向信息和相机4的图像信息得到目标准确位置，并将目标位置信息发送给月球探测机器人，最后探测机器人采用特定的导航方法导航至目标区域，到达目标附近后以一定的范围自主进行搜寻和执行相应任务；
指令控制子系统15包括用于形成互补并提高人机交互可靠性的手势识别模块19、语音识别模块20和触控指令模块21；指令控制子系统15负责获取和解析宇航员下达的指令，以实现宇航员与月球探测机器人交互；手势识别控制是通过安装在宇航员五指上的IMU指向定位单元6(惯性测量单元IMU)，即IMU体感手套5来感知五指的动作和姿势，特定的动作和姿势会被手势识别模块19翻译成机器人的动作命令，使宇航员操作者无需在机器人的视线范围内就能控制机器人，实现机器人在没有完全视觉接触的情况下读取宇航员的动作指令，进行人机交互；语音识别控制是通过语音识别模块20根据月球采样任务语音库将宇航员的语音指令解释为探测机器人能理解的指令，语音库包含拍照、抓取、挖取、钻取、搬运作业任务的语音命令，探测机器人接受语音指令后执行相应动作，语音识别控制和手势识别控制进行互补，在手势识别失败时，语音识别控制可以高效地完成交互；触控指令模块21是利用旋转式触摸屏显示器2中的触控区控制面板12下达控制指令，控制面板12具有简化和基本的用户界面，其中设置有控制机器人前进、后退、运动转弯、原地转弯的运动按钮以及跟随/解除、指向模式、返回基地、拍照、钻取、抓取、挖取、搬运功能的按钮；当需要切换至手动控制时，通过控制面板12的按钮控制月球探测机器人；
定位跟随子系统16包括UWB定位模块22和跟随模块23，通过定位模块22和跟随模块23实现基于UWB定位方法，通过月球探测机器人上的视觉系统和跟随模块23实现基于视觉跟踪方法，两种跟随方式可供选择；
在相对平坦无障碍的区域使用较为简单的UWB定位方法：UWB定位模块22是基于UWB的定位方法对宇航员和月球探测机器人进行定位，UWB定位基站安装在月面着陆器上，宇航员和探测机器人携带UWB定位标签；
在地形较为复杂区域切换至视觉跟踪方法。
进一步地，视觉跟踪方法的具体实现过程：
月球探测机器人通过视觉相机获取
Figure SMS_1
向量、/>
Figure SMS_2
向量、/>
Figure SMS_3
向量的距离r，通过相机下方的云台获取向量的仰角α和转向角β，机器人通过视觉里程计测算自己的速度方向与轨迹信息；根据上述信息，设定固连在机器人的坐标系，X轴方向为机器人的速度方向，Z轴为垂直月面的方向，Y轴构建右手坐标系，由于云台和相机的信息，可以得到观测点A在机器人坐标系下的坐标：
Figure SMS_4
同理，可得
Figure SMS_5
向量、/>
Figure SMS_6
向量在相应的坐标系下的坐标；
Figure SMS_7
Figure SMS_8
采用视觉里程计去测量机器人的移动轨迹，并通过移动轨迹的微分得到机器人的速度方向，即可以获知坐标系O1X1Y1Z与坐标系O2X2Y2Z与坐标系O3X3Y3Z之间的坐标变换矩阵，通过坐标变换即可获得坐标系O1X1Y1Z下的A、B、C三点的坐标；机器人固连坐标系与机器人运动有关，为了获取惯性系下宇航员的坐标，设置惯性坐标系OXYZ并且再通过坐标变换矩阵可将非惯性系下坐标转化到惯性系；
由于航天员的轨迹是只收到重力的抛物线，获得三点A、B、C的惯性系下的坐标即可得到抛物线的落点位置；设置落点的包络面，机器人做到包络面中心的路径规划，从而实现对宇航员的跟踪以及周围环境的避障；
跟随模块23的功能是实现月球探测机器人对宇航员的跟随，在基于UWB定位方法的跟随中，跟随模块23从UWB定位模块22获取宇航员每时刻的位置信息，并以一定时间间隔(如5秒)将宇航员位置确定为探测机器人的航路点，再将航路点坐标发送给机器人，最后机器人采用局部路径规划的方法实现对宇航员的跟随；在基于视觉跟踪方法的跟随中，跟随模块23为探测机器人下达跟随指令，机器人能够自主跟随宇航员，并携带勘探、采样等工具随时为宇航员提供相应帮助。
进一步地，所述数据处理器还配置有图像显示模块24；图像显示模块24控制着旋转式触摸屏显示器2和旋转式相机画面显示器3的图像显示，触摸屏显示器2的图像显示区13实时显示宇航员和月球探测机器人的具体位置以及行动路径，且图像显示区13还可以显示探测机器人的工作状态，包括联机状态、跟随状态和任务状态；相机画面显示器3实时显示探测机器人在前往目标地点过程中所拍摄的图像，宇航员可以通过图像及时了解探测机器人所处的环境，同时，视觉模块18将这些图像与在指向模式下拍摄的目标图像进行比对，以确保探测机器人能准确到达指定目标位置完成相应科研和作业任务。
进一步地，所述数据处理器还配置有无线通信模块25；无线通信模块25采用无线局域网通信技术进行图像传输和数据传输，从而实现宇航员、月球探测机器人、着陆器基站三者之间的通信及信息交互；月球探测机器人拍摄的图像通过无线通信模块25中的图传模块发送到交互设备，再经过图像显示模块24处理后，相机画面显示器3实时显示出所传回的图像；宇航员下达的任务指令以及探测机器人的位置信息和反馈信息通过无线通信模块25中的数传模块进行数据传输，实现人机的信息交互。
进一步地，所述无线通信模块25采用基于IEEE 802.11.ax标准的无线局域网接入技术。
进一步地，所述数据处理器还配置有信号反馈模块26；信号反馈模26块根据无线通信模块25返回的数据控制信号指示灯10的状态，信号指示灯10发出可视化反馈信号反馈宇航员与月球探测机器人的交互情况；信号指示灯10状态含义：红灯熄灭，关机状态；红灯常亮，开机状态；红灯连续闪烁，未联机；绿灯常亮，联机成功；机器人接收指令成功，绿灯闪烁一次；机器人接收指令失败，绿灯连续闪烁；正常作业，蓝灯常亮；作业失败，蓝灯连续闪烁；作业完成，蓝灯熄灭。
进一步地，所述IMU体感手套5为带有五个IMU传感器的IMU体感手套5，体感手套上每个手指套上对应设有一个IMU传感器。
本发明具有以下有益技术效果：
对空间和地外天体的探索一直推动着科学技术领域的重大突破，宇航员和机器人团队很有可能在轨道上或行星表面共同工作，为此，本发明提出一种基于穿戴式交互设备的月面人机交互方案，以针对未来载人登月进行月球资源的探测取样和开发利用，实现航天员登月时宇航员和机器人团队能在轨道上或行星表面共同工作。
在月球表面进行科学探测、取样等任务时，考虑到宇航员可能会遇到有价值但存在危险无法进入的勘探区域，如斜坡、洞穴、沟等崎岖复杂的地形环境因素，或者复杂地理环境的钻取、搬运等宇航员无法单独完成的任务，本发明提供的直观、便捷的人机交互系统，使月球探测机器人能够实现对宇航员的自动跟随，携带勘探、采样等作业工具，协助宇航员完成月面探测与采样任务，随时为宇航员提供相应帮助；同时宇航员可以通过穿戴式交互设备与机器人进行交互协作，下达任务指令，月球探测机器人接收指令后自主或半自主完成任务。本发明使月球探测机器人成为宇航员的得力助手，在极端环境下协作，能够迅速、准确地执行宇航员的指令，高效地协助宇航员完成各种科学研究任务和作业活动，从而提高月球驻人探测任务的执行效率和成功率。
本发明提供的用于宇航员与月球探测机器人在月面进行探测、取样等任务的穿戴式交互系统(设备)致力于月球探测机器人成为宇航员的得力助手，使其能够跟随宇航员外出进行人机协同作业，也能够独立自主地完成探测取样等任务。该交互设备能够实时显示宇航员与探测机器人的具体位置和机器人的工作状态，确保月面的作业安全；同时，该交互设备提供了手势控制、语音控制和触屏面板控制三种交互方式，三种方式形成互补，手势控制和语音控制使人机交互更加直观，实现了宇航员与探测机器人之间的实时交互，提高了人机交互的便捷性、准确性和可靠性。该穿戴式交互设备有力地支撑了未来载人登月进行月球探测开采任务，提高月球资源探测效率和开采成功率。本发明对月球进行无人探月及载人登月，在科学、技术和经济等方面都具有重大意义。
附图说明
图1为穿戴式交互系统(设备)结构示意图；
图2为人机协作流程图；
图3为穿戴式交互系统框架图；
图4为穿戴式交互系统(设备)工作原理图；
图5为月面人机交互示意图；
图6为UWB定位原理示意图；
图7为基于视觉跟踪方法的跟随原理图。
具体实施方式
如图1至图7所示。本发明所述的用于月表人机协同作业的穿戴式交互系统用于宇航员与月球探测机器人组成人-机团队在月表协同作业。宇航员与月球探测机器人组成人-机团队在月表协同作业时，二者通过所述穿戴式交互系统(设备)进行交互；所述穿戴式交互系统包括带有五个IMU传感器的IMU体感手套5及穿戴在宇航员小臂位置的交互主体部分；交互主体部分包括腕带11及安装在腕带11上的用于实现宇航员与探测机器人交互的部件。也说是说，本发明设计的穿戴式交互设备穿戴在宇航员小臂位置和对应的手上，其结构简图如图1所示，用于实现宇航员与探测机器人交互的部件包括
用于实现宇航员与探测机器人交互的部件包括IMU指向定位单元6、相机4、旋转式相机画面显示器3、语音单元8、触摸屏显示器2、UWB定位单元7、通信单元9、信号指示灯10、开/关机按钮1和数据处理器(数据处理中心)；触摸屏显示器2为旋转式触摸屏显示器，其分为触控面板区12和图像显示区13。
宇航员与月球探测机器人组成人-机团队在月表协同作业，二者通过穿戴式交互设备进行交互。探测机器人主要具备两项功能，一是自动跟随宇航员外出进行任务，协助宇航员完成月面探测与采样等任务；二是接受宇航员的任务指令，自主或半自主前往某个感兴趣地点进行勘探并完成复杂地理环境的钻取、搬运等作业任务。
人机协作流程如图2所示：A.月球探测机器人跟随宇航员从着陆器基地出发前往感兴趣地点；B.到达目标地点，探测机器人为宇航员提供勘探、采样等作业工具和相应的作业帮助，进行人机协作；C.宇航员对某个感兴趣地点进行指向，命令探测机器人自主前往目标位置；D.探测机器人到达目标地点，宇航员通过交互设备下达任务指令；E.探测机器人自主或半自主完成勘探、钻取和搬运等作业任务，并反馈作业状态；F.完成任务，探测机器人自主返回着陆器基地或接收指令开展下一阶段任务。
交互系统框架图、穿戴式交互设备工作原理图和月面人机交互示意图分别如图3、4和5所示，本交互设备各组成单元的功能介绍如下：
开/关机按钮1控制交互设备中所有元件的启动与关闭，交互设备启动后自动与月球探测机器人进行联机。
旋转式触摸屏显示器2分为触控面板区12和图像显示区13。触控面板区12设有各种功能按钮，例如：跟随/解除按钮、跟随方式按钮、指向模式按钮、运动方向操作按钮、取样等动作按钮；图像显示区13能够显示月球探测机器人各种状态，例如：联机状态、跟随状态、运动状态、取样作业状态。
在联机成功后，点击触控面板12上的跟随/解除按钮并选择跟随的方式，月球探测机器人能够跟随宇航员外出进行勘探、侦察、土壤取样等科研任务；UWB定位设备7提供探测机器人和宇航员的实时位置，在图像显示区13上实时显示探测机器人和宇航员在以月球着陆器为参考系的局部地图中的位置，并记录行动轨迹。
点击指向模式按钮进入指向模式，宇航员对某个感兴趣的目标方位利用手臂进行指向，通过融合IMU指向定位单元6的数据和相机4的视觉数据解算出目标方位和兴趣点所在的位置坐标，然后将目标位置信息发送给月球探测机器人进行后续的作业任务，旋转式相机画面显示器3上显示所指目标的图像。
月球探测机器人接收目标位置信息进行路径规划，在图像显示区13上显示基于先验完全信息进行全局路径规划的预先路径。探测机器人在前往目标过程中不断拍摄当地图像用来修正本地地图库，同时基于导航相机、避障相机、激光雷达等多维传感器信息进行实时地局部路径规划，在线修正预先路径，在图像显示区13上显示探测机器人的实际路径，在相机画面显示器3上显示探测机器人所拍摄的画面。
穿戴式交互设备为宇航员与探测机器人的交互提供了三种交互方式，一是触控面板控制，通过触摸屏显示器2中控制面板12的各种动作和功能按钮给探测机器人下达任务指令；二是手势控制，通过IMU体感手套5感知并解算宇航员不同手势获取对应任务指令，机器人可以在完全没有视觉接触的情况下读取宇航员的动作指令；三是语音控制，通过语音设备8识别宇航员所下达的任务指令。
信号指示灯10的作用是发出可视化反馈信号反馈宇航员与月球探测机器人的交互情况，信号指示灯10不同的状态具有特定的含义，例如：指示灯亮红灯，代表交互设备与探测机器人未联机；指示灯亮绿灯，代表二者联机成功。
完成任务后探测机器人自主返回月球着陆器基地或者跟随宇航员继续下一阶段任务。
所述数据处理器(数据处理中心)配置有指向定位子系统14、指令控制子系统15、定位跟随子系统16、图像显示模块24、无线通信模块25、信号反馈模块26。
指向定位子系统14：指向定位子系统14由IMU指向定位模块17和视觉模块18构成。指向定位子系统14利用IMU指向定位单元6和相机4负责解算出宇航员所指的方向和目标位置(是交互系统中的关键技术之一)。当进入指向模式后，宇航员使用穿戴交互设备的手臂对感兴趣的目标进行方位指向，IMU指向定位模块17利用惯性测量元件IMU 6解算出手臂的俯仰角和偏航角得到手臂姿态，即得到大致目标方位和兴趣点所在的位置坐标。与此同时，视觉模块18利用相机4对目标拍照并在旋转式相机画面显示器3上显示所指目标的图像，由于月面没有高精度地图和全局定位系统，所以在着陆器下降过程中拍摄了大量着陆区月表图像，构建了以着陆点为中心作业范围的地图库，根据这些图像进行三维地形重建，并利用机器学习方法将目标作业位置的特征图片和月面着陆点周边的地图库进行智能匹配解算出作业点的相对坐标位置；然后指向定位子系统14融合IMU 6的方向信息和相机4的图像信息得到目标准确位置，并将目标位置信息发送给月球探测机器人，最后探测机器人采用特定的导航方法导航至目标区域，到达目标附近后以一定的范围自主进行搜寻和执行相应任务。
指令控制子系统15：指令控制子系统15由手势识别模块19、语音识别模块20和触控指令模块21构成。该子系统负责获取和解析宇航员下达的指令，是实现宇航员与月球探测机器人交互的三种途径。手势识别控制是通过安装在宇航员五指上的惯性测量单元IMU，即IMU体感手套5来感知五指的动作和姿势，特定的动作和姿势会被手势识别模块19翻译成机器人的动作命令，使宇航员操作者无需在机器人的视线范围内就能控制机器人，实现了机器人在没有完全视觉接触的情况下读取宇航员的动作指令，进行人机交互。语音识别控制是通过语音识别模块20根据月球采样任务语音库将宇航员的语音指令解释为探测机器人能理解的指令，语音库包含拍照、抓取、挖取、钻取、搬运等作业任务的语音命令，探测机器人接受语音指令后执行相应动作。语音识别控制和手势识别控制进行互补，在手势识别失败时，语音识别控制可以高效地完成交互，在现实世界的环境中，手势和语音控制有望比操纵杆或其他传统的远程控制设备更直观和实用，通过一组简单的手势或简短的语音，宇航员就能够控制机器人的动作，使交互更加轻松和便捷，提高了人机交互的效率。触控指令模块21是利用旋转式触摸屏显示器2中的触控区控制面板12下达控制指令，控制面板12具有简化和基本的用户界面，其中分布着控制机器人前进、后退、运动转弯、原地转弯的运动按钮以及跟随/解除、指向模式、返回基地、拍照、钻取、抓取、挖取、搬运等功能按钮。当需要切换至手动控制时，例如：自主导航或自主作业可能发生故障、沉陷或卡住等异常状况需切换至手动控制，即可直接通过控制面板12的按钮控制月球探测机器人。手势识别模块19、语音识别模块20和触控指令模块21三者形成互补，提高人机交互的可靠性。
定位跟随子系统16：定位跟随子系统16由UWB定位模块22和跟随模块23组成，具有基于UWB定位方法和基于视觉跟踪方法的两种跟随方式可供选择。
在相对平坦无障碍的区域使用较为简单的UWB定位方法：
UWB定位模块22是基于UWB的定位方法对宇航员和月球探测机器人进行定位，UWB定位基站安装在月面着陆器上，宇航员和探测机器人携带UWB定位标签。UWB定位原理示意图如图6所示，UWB相对定位的原理是一个设备带有两个天线，A和B分别为两个天线，基于到达相位差法AOA测量出角度A和角度B，基于飞行时间测距法TOF的单边双向SS-TWR测距测量距离d1和距离d2，结合两个设备之间的相对距离和方位角可计算两个设备的相对位置，从而得到宇航员相对着陆器基站的位置。UWB定位系统可实时更新位置信息，实现宇航员的实时定位，具有很高的定位准确度和定位精度。
在地形较为复杂区域切换至视觉跟踪方法：
由于月球表面重力只有地球的1/6，且月面地势复杂，宇航员在月表采用踱步的形式，上身略微倾斜，可以在空中长时间维持蹦跳也可在地面行走的一种行走方式。探测机器人在跟随宇航员时，只能在月表平稳行驶。当月表上有障碍物时，宇航员可以通过跳跃的方式躲开障碍物，但是机器人并不能通过跳跃躲避障碍物，而且障碍物有可能会导致机器人的相机不能识别到宇航员。基于上述原因，对宇航员的轨迹和跳跃的着陆点进行预先估算。如图7所示，宇航员的运动轨迹只有月表平面移动和空间内的一个抛物线移动，宇航员在月表平面移动的跟踪只需要视觉就可以做到。
如图7所示，机器人通过视觉相机获取
Figure SMS_9
向量、/>
Figure SMS_10
向量、/>
Figure SMS_11
向量的距离r，通过相机下方的云台，获取向量的仰角α和转向角β，机器人通过视觉里程计测算自己的速度方向与轨迹信息。根据上述信息，设定固连在机器人的坐标系，X轴方向为机器人的速度方向，Z轴为垂直月面的方向，Y轴构建右手坐标系，由于云台和相机的信息，可以得到观测点A在机器人坐标系下的坐标：
Figure SMS_12
同理，可得
Figure SMS_13
向量、/>
Figure SMS_14
向量在相应的坐标系下的坐标；
Figure SMS_15
Figure SMS_16
采用视觉里程计去测量机器人的移动轨迹，并通过移动轨迹的微分得到机器人的速度方向，即可以获知坐标系O1X1Y1Z与坐标系O2X2Y2Z与坐标系O3X3Y3Z之间的坐标变换矩阵，通过坐标变换即可获得坐标系O1X1Y1Z下的A、B、C三点的坐标。机器人固连坐标系与机器人运动有关，是非惯性系，为了获取惯性系下宇航员的坐标，设置惯性坐标系OXYZ并且再通过坐标变换矩阵可将非惯性系下坐标转化到惯性系。
由于航天员的轨迹是只收到重力的抛物线，获得三点A、B、C的惯性系下的坐标即可得到抛物线的落点位置。但是由于视觉里程计导致的误差、测距离导致的误差，只能获取宇航员落点的大致范围。因此设置落点的包络面，机器人做到包络面中心的路径规划，从而实现对宇航员的跟踪以及周围环境的避障。
跟随模块23的功能是实现月球探测机器人对宇航员的跟随。在基于UWB定位方法的跟随中，跟随模块23从UWB定位模块22获取宇航员每时刻的位置信息，并以一定时间间隔(如5秒)将宇航员位置确定为探测机器人的航路点，再将航路点坐标发送给机器人，最后机器人采用局部路径规划的方法实现对宇航员的跟随。在基于视觉跟踪方法的跟随中，跟随模块23为探测机器人下达跟随指令，机器人能够自主跟随宇航员，并携带勘探、采样等工具随时为宇航员提供相应帮助。
图像显示模块24：图像显示模块24控制着旋转式触摸屏显示器2和旋转式相机画面显示器3的图像显示。触摸屏显示器2的图像显示区13实时显示宇航员和月球探测机器人的具体位置以及行动路径，且图像显示区13还可以显示探测机器人的工作状态，包括联机状态、跟随状态和任务状态。相机画面显示器3实时显示探测机器人在前往目标地点过程中所拍摄的图像，宇航员可以通过图像及时了解探测机器人所处的环境，同时，视觉模块18将这些图像与在指向模式下拍摄的目标图像进行比对，以确保探测机器人能准确到达指定目标位置完成相应科研和作业任务。
无线通信模块25：无线通信模块25采用无线局域网通信技术进行图像传输和数据传输，从而实现宇航员、月球探测机器人、着陆器基站三者之间的通信及信息交互。第六代无线网络技术是一种基于IEEE 802.11.ax标准的无线局域网接入技术，有较广的局域网覆盖范围，传输速度快。月球探测机器人拍摄的图像通过无线通信模块25中的图传模块发送到交互设备，再经过图像显示模块24处理后，相机画面显示器3实时显示出所传回的图像；宇航员下达的任务指令以及探测机器人的位置信息和反馈信息通过无线通信模块25中的数传模块进行数据传输，实现人机的信息交互。
信号反馈模块26：信号反馈模26块根据无线通信模块25返回的数据控制信号指示灯10的状态，信号指示灯10发出可视化反馈信号反馈宇航员与月球探测机器人的交互情况。信号指示灯10状态含义：红灯熄灭，关机状态；红灯常亮，开机状态；红灯连续闪烁，未联机；绿灯常亮，联机成功；机器人接收指令成功，绿灯闪烁一次；机器人接收指令失败，绿灯连续闪烁；正常作业，蓝灯常亮；作业失败，蓝灯连续闪烁；作业完成，蓝灯熄灭。

Claims (10)

1.一种用于月表人机协同作业的穿戴式交互系统，其特征在于，宇航员与月球探测机器人组成人-机团队在月表协同作业时，二者通过所述穿戴式交互系统进行交互；所述穿戴式交互系统包括IMU体感手套(5)及穿戴在宇航员小臂位置的交互主体部分；交互主体部分包括腕带(11)及安装在腕带(11)上的用于实现宇航员与探测机器人交互的部件；
所述穿戴式交互系统为宇航员与探测机器人的交互至少提供三种交互方式：一是触控面板控制，通过触摸屏显示器中触控面板的各种动作和功能按钮给探测机器人下达任务指令；二是手势控制，宇航员通过IMU体感手套(5)感知并解算宇航员不同手势获取对应任务指令，探测机器人在完全没有视觉接触的情况下读取宇航员的动作指令；三是语音控制，探测机器人通过语音识别宇航员所下达的任务指令；
宇航员通过所述穿戴式交互系统与控制探测机器人进行交互从而实现人机协作：控制探测机器人自动跟随宇航员外出进行任务，协助宇航员完成月面探测与采样等任务；还控制探测机器人接受宇航员的任务指令，自主或半自主前往某个感兴趣地点进行勘探并完成复杂地理环境的钻取、搬运作业任务。
2.根据权利要求1所述的一种用于月表人机协同作业的穿戴式交互系统，其特征在于，宇航员通过所述穿戴式交互系统实现人机协作的具体流程为：
A、月球探测机器人跟随宇航员从着陆器基地出发前往感兴趣地点；B、到达目标地点，探测机器人为宇航员提供勘探、采样等作业工具和相应的作业帮助，进行人机协作；C、宇航员对某个感兴趣地点进行指向，命令探测机器人自主前往目标位置；D、探测机器人到达目标地点，宇航员通过交互设备下达任务指令；E、探测机器人自主或半自主完成勘探、钻取和搬运等作业任务，并反馈作业状态；F、完成任务，探测机器人自主返回着陆器基地或接收指令开展下一阶段任务。
3.根据权利要求1或2所述的一种用于月表人机协同作业的穿戴式交互系统，其特征在于，用于实现宇航员与探测机器人交互的部件包括IMU指向定位单元(6)、相机(4)、旋转式相机画面显示器(3)、语音单元(8)、触摸屏显示器(2)、UWB定位单元(7)、通信单元(9)、信号指示灯(10)、开/关机按钮(1)和数据处理器；触摸屏显示器(2)为旋转式触摸屏显示器，其分为触控面板区(12)和图像显示区(13)；
触控面板区(12)包括多种功能按钮：跟随/解除按钮、跟随方式按钮、指向模式按钮、运动方向操作按钮、取样按钮；
所述数据处理器实现的控制过程如下：
图像显示区(13)用于显示月球探测机器人各种状态：联机状态、跟随状态、运动状态、取样作业状态；
开/关机按钮(1)用于控制IMU体感手套(5)和安装在腕带(11)上的用于实现宇航员与探测机器人交互的部件的启动与关闭，穿戴式交互系统启动后自动与月球探测机器人进行联机；
在联机成功后，点击触控面板(12)上的跟随/解除按钮并选择跟随的方式，月球探测机器人能够跟随宇航员外出进行勘探、侦察、土壤取样等科研任务；UWB定位设备(7)提供探测机器人和宇航员的实时位置，在图像显示区(13)上实时显示探测机器人和宇航员在以月球着陆器为参考系的局部地图中的位置，并记录行动轨迹；
点击指向模式按钮进入指向模式，宇航员对某个感兴趣的目标方位利用手臂进行指向，通过融合IMU指向定位单元(6)的数据和相机(4)的视觉数据解算出目标方位和兴趣点所在的位置坐标，然后将目标位置信息发送给月球探测机器人进行后续的作业任务，旋转式相机画面显示器(3)上显示所指目标的图像。
月球探测机器人接收目标位置信息进行路径规划，在图像显示区(13)上显示基于先验完全信息进行全局路径规划的预先路径；探测机器人在前往目标过程中不断拍摄当地图像用来修正本地地图库，同时基于月球探测机器人上的导航相机、避障相机、激光雷达这些多维传感器信息进行实时地局部路径规划，在线修正预先路径，在图像显示区(13)上显示探测机器人的实际路径，在相机画面显示器3上显示探测机器人所拍摄的画面；
信号指示灯(10)的作用是发出可视化反馈信号反馈宇航员与月球探测机器人的交互情况，信号指示灯(10)不同的状态具有特定的含义：指示灯亮红灯，代表交互设备与探测机器人未联机；指示灯亮绿灯，代表二者联机成功。
完成任务后探测机器人自主返回月球着陆器基地或者跟随宇航员继续下一阶段任务。
4.根据权利要求1或2所述的一种用于月表人机协同作业的穿戴式交互系统，其特征在于，所述数据处理器配置有指向定位子系统(14)、指令控制子系统(15)、定位跟随子系统(16)；
指向定位子系统(14)用于解算出宇航员所指的方向和目标位置；
指向定位技术负责解算出宇航员所指的方向和目标位置，指向定位子系统(14)包括IMU指向定位模块(17)和视觉模块(18)，当进入指向模式后，宇航员使用穿戴交互设备的手臂对感兴趣的目标进行方位指向，IMU指向定位模块(17)利用IMU指向定位单元(6)解算出手臂的俯仰角和偏航角得到手臂姿态，即得到大致目标方位和兴趣点所在的位置坐标；与此同时，视觉模块(18)利用相机(4)对目标拍照并在旋转式相机画面显示器(3)上显示所指目标的图像，由于月面没有高精度地图和全局定位系统，所以在着陆器下降过程中拍摄了大量着陆区月表图像，构建以着陆点为中心作业范围的地图库，根据这些图像进行三维地形重建，并利用机器学习方法将目标作业位置的特征图片和月面着陆点周边的地图库进行智能匹配解算出作业点的相对坐标位置；然后指向定位子系统(14)融合IMU指向定位单元(6)的方向信息和相机(4)的图像信息得到目标准确位置，并将目标位置信息发送给月球探测机器人，最后探测机器人采用特定的导航方法导航至目标区域，到达目标附近后以一定的范围自主进行搜寻和执行相应任务；
指令控制子系统(15)包括用于形成互补并提高人机交互可靠性的手势识别模块(19)、语音识别模块(20)和触控指令模块(21)；指令控制子系统(15)负责获取和解析宇航员下达的指令，以实现宇航员与月球探测机器人交互；手势识别控制是通过安装在宇航员五指上的IMU指向定位单元(6)，即IMU体感手套(5)来感知五指的动作和姿势，特定的动作和姿势会被手势识别模块(19)翻译成机器人的动作命令，使宇航员操作者无需在机器人的视线范围内就能控制机器人，实现机器人在没有完全视觉接触的情况下读取宇航员的动作指令，进行人机交互；语音识别控制是通过语音识别模块(20)根据月球采样任务语音库将宇航员的语音指令解释为探测机器人能理解的指令，语音库包含拍照、抓取、挖取、钻取、搬运作业任务的语音命令，探测机器人接受语音指令后执行相应动作，语音识别控制和手势识别控制进行互补，在手势识别失败时，语音识别控制可以高效地完成交互；触控指令模块(21)是利用旋转式触摸屏显示器(2)中的触控区控制面板(12)下达控制指令，控制面板(12)具有简化和基本的用户界面，其中设置有控制机器人前进、后退、运动转弯、原地转弯的运动按钮以及跟随/解除、指向模式、返回基地、拍照、钻取、抓取、挖取、搬运功能的按钮；当需要切换至手动控制时，通过控制面板(12)的按钮控制月球探测机器人；
定位跟随子系统(16)包括UWB定位模块(22)和跟随模块(23)，通过定位模块(22)和跟随模块(23)实现基于UWB定位方法，通过月球探测机器人上的视觉系统和跟随模块(23)实现基于视觉跟踪方法，两种跟随方式可供选择；
在相对平坦无障碍的区域使用较为简单的UWB定位方法：UWB定位模块(22)是基于UWB的定位方法对宇航员和月球探测机器人进行定位，UWB定位基站安装在月面着陆器上，宇航员和探测机器人携带UWB定位标签；
在地形较为复杂区域切换至视觉跟踪方法。
5.根据权利要求4所述的一种用于月表人机协同作业的穿戴式交互系统，其特征在于，视觉跟踪方法的具体实现过程：
月球探测机器人通过视觉相机获取
Figure FDA0004154336310000041
向量、/>
Figure FDA0004154336310000042
向量、/>
Figure FDA0004154336310000043
向量的距离r，通过相机下方的云台获取向量的仰角α和转向角β，机器人通过视觉里程计测算自己的速度方向与轨迹信息；根据上述信息，设定固连在机器人的坐标系，X轴方向为机器人的速度方向，Z轴为垂直月面的方向，Y轴构建右手坐标系，由于云台和相机的信息，可以得到观测点A在机器人坐标系下的坐标：
Figure FDA0004154336310000044
同理，可得
Figure FDA0004154336310000045
向量、/>
Figure FDA0004154336310000046
向量在相应的坐标系下的坐标；
Figure FDA0004154336310000047
Figure FDA0004154336310000048
采用视觉里程计去测量机器人的移动轨迹，并通过移动轨迹的微分得到机器人的速度方向，即可以获知坐标系O1X1Y1Z与坐标系O2X2Y2Z与坐标系O3X3Y3Z之间的坐标变换矩阵，通过坐标变换即可获得坐标系O1X1Y1Z下的A、B、C三点的坐标；机器人固连坐标系与机器人运动有关，为了获取惯性系下宇航员的坐标，设置惯性坐标系OXYZ并且再通过坐标变换矩阵可将非惯性系下坐标转化到惯性系；
由于航天员的轨迹是只收到重力的抛物线，获得三点A、B、C的惯性系下的坐标即可得到抛物线的落点位置；设置落点的包络面，机器人做到包络面中心的路径规划，从而实现对宇航员的跟踪以及周围环境的避障；
跟随模块(23)的功能是实现月球探测机器人对宇航员的跟随，在基于UWB定位方法的跟随中，跟随模块(23)从UWB定位模块22获取宇航员每时刻的位置信息，并以一定时间间隔将宇航员位置确定为探测机器人的航路点，再将航路点坐标发送给机器人，最后机器人采用局部路径规划的方法实现对宇航员的跟随；在基于视觉跟踪方法的跟随中，跟随模块(23)为探测机器人下达跟随指令，机器人能够自主跟随宇航员，并携带勘探、采样等工具随时为宇航员提供相应帮助。
6.根据权利要求5所述的一种用于月表人机协同作业的穿戴式交互系统，其特征在于，所述数据处理器还配置有图像显示模块(24)；
图像显示模块(24)控制着旋转式触摸屏显示器(2)和旋转式相机画面显示器(3)的图像显示，触摸屏显示器(2)的图像显示区(13)实时显示宇航员和月球探测机器人的具体位置以及行动路径，且图像显示区(13)还可以显示探测机器人的工作状态，包括联机状态、跟随状态和任务状态；相机画面显示器(3)实时显示探测机器人在前往目标地点过程中所拍摄的图像，宇航员可以通过图像及时了解探测机器人所处的环境，同时，视觉模块(18)将这些图像与在指向模式下拍摄的目标图像进行比对，以确保探测机器人能准确到达指定目标位置完成相应科研和作业任务。
7.根据权利要求6所述的一种用于月表人机协同作业的穿戴式交互系统，其特征在于，所述数据处理器还配置有无线通信模块(25)；
无线通信模块(25)采用无线局域网通信技术进行图像传输和数据传输，从而实现宇航员、月球探测机器人、着陆器基站三者之间的通信及信息交互；月球探测机器人拍摄的图像通过无线通信模块(25)中的图传模块发送到交互设备，再经过图像显示模块(24)处理后，相机画面显示器(3)实时显示出所传回的图像；宇航员下达的任务指令以及探测机器人的位置信息和反馈信息通过无线通信模块(25)中的数传模块进行数据传输，实现人机的信息交互。
8.根据权利要求7所述的一种用于月表人机协同作业的穿戴式交互系统，其特征在于，所述无线通信模块(25)采用基于IEEE 802.11.ax标准的无线局域网接入技术。
9.根据权利要求7或8所述的一种用于月表人机协同作业的穿戴式交互系统，其特征在于，所述数据处理器还配置有信号反馈模块(26)；信号反馈模(26)块根据无线通信模块25返回的数据控制信号指示灯(10)的状态，信号指示灯(10)发出可视化反馈信号反馈宇航员与月球探测机器人的交互情况；信号指示灯(10)状态含义：红灯熄灭，关机状态；红灯常亮，开机状态；红灯连续闪烁，未联机；绿灯常亮，联机成功；机器人接收指令成功，绿灯闪烁一次；机器人接收指令失败，绿灯连续闪烁；正常作业，蓝灯常亮；作业失败，蓝灯连续闪烁；作业完成，蓝灯熄灭。
10.根据权利要求9所述的一种用于月表人机协同作业的穿戴式交互系统，其特征在于，所述IMU体感手套(5)为带有五个IMU传感器的IMU体感手套(5)，体感手套上每个手指套上对应设有一个IMU传感器。
CN202310329223.1A 2023-03-30 2023-03-30 一种用于月表人机协同作业的穿戴式交互系统 Active CN116382476B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310329223.1A CN116382476B (zh) 2023-03-30 2023-03-30 一种用于月表人机协同作业的穿戴式交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310329223.1A CN116382476B (zh) 2023-03-30 2023-03-30 一种用于月表人机协同作业的穿戴式交互系统

Publications (2)

Publication Number Publication Date
CN116382476A true CN116382476A (zh) 2023-07-04
CN116382476B CN116382476B (zh) 2023-10-13

Family

ID=86960919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310329223.1A Active CN116382476B (zh) 2023-03-30 2023-03-30 一种用于月表人机协同作业的穿戴式交互系统

Country Status (1)

Country Link
CN (1) CN116382476B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101398880B1 (ko) * 2013-04-24 2014-05-27 국민대학교산학협력단 휴머노이드 기능이 탑재된 웨어러블 로봇 및 그 제어 방법
CN104464015A (zh) * 2014-10-08 2015-03-25 中国科学院国家天文台 遥测数据驱动的月球探测器实时监视系统和方法
RU176098U1 (ru) * 2017-04-17 2017-12-28 Федеральное государственное автономное научное учреждение "Центральный научно-исследовательский и опытно-конструкторский институт робототехники и технической кибернетики" (ЦНИИ РТК) Мобильный робот-планетоход для выполнения транспортно-технологических работ
US20190073041A1 (en) * 2016-02-29 2019-03-07 Huawei Technologies Co., Ltd. Gesture Control Method for Wearable System and Wearable System
CN111580519A (zh) * 2020-05-12 2020-08-25 北京控制工程研究所 一种地月时延下月面探测准实时遥操作系统
RU2737231C1 (ru) * 2020-03-27 2020-11-26 Федеральное государственное бюджетное учреждение науки "Санкт-Петербургский Федеральный исследовательский центр Российской академии наук" (СПб ФИЦ РАН) Способ многомодального бесконтактного управления мобильным информационным роботом
CN112828916A (zh) * 2021-01-20 2021-05-25 清华大学深圳国际研究生院 冗余机械臂遥操作组合交互装置及冗余机械臂遥操作系统
US20210370504A1 (en) * 2020-05-27 2021-12-02 X Development Llc Robot control parameter interpolation
US20220350341A1 (en) * 2019-12-13 2022-11-03 Harbin Institute Of Technology Three-layer intelligence system architecture and an exploration robot

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101398880B1 (ko) * 2013-04-24 2014-05-27 국민대학교산학협력단 휴머노이드 기능이 탑재된 웨어러블 로봇 및 그 제어 방법
CN104464015A (zh) * 2014-10-08 2015-03-25 中国科学院国家天文台 遥测数据驱动的月球探测器实时监视系统和方法
US20190073041A1 (en) * 2016-02-29 2019-03-07 Huawei Technologies Co., Ltd. Gesture Control Method for Wearable System and Wearable System
RU176098U1 (ru) * 2017-04-17 2017-12-28 Федеральное государственное автономное научное учреждение "Центральный научно-исследовательский и опытно-конструкторский институт робототехники и технической кибернетики" (ЦНИИ РТК) Мобильный робот-планетоход для выполнения транспортно-технологических работ
US20220350341A1 (en) * 2019-12-13 2022-11-03 Harbin Institute Of Technology Three-layer intelligence system architecture and an exploration robot
RU2737231C1 (ru) * 2020-03-27 2020-11-26 Федеральное государственное бюджетное учреждение науки "Санкт-Петербургский Федеральный исследовательский центр Российской академии наук" (СПб ФИЦ РАН) Способ многомодального бесконтактного управления мобильным информационным роботом
CN111580519A (zh) * 2020-05-12 2020-08-25 北京控制工程研究所 一种地月时延下月面探测准实时遥操作系统
US20210370504A1 (en) * 2020-05-27 2021-12-02 X Development Llc Robot control parameter interpolation
CN112828916A (zh) * 2021-01-20 2021-05-25 清华大学深圳国际研究生院 冗余机械臂遥操作组合交互装置及冗余机械臂遥操作系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"MOONWALK - Prototyping the Spacesuit Human Interfaces of the Future for Test in Water Immersion Partial Gravity Simulation", PREPRINT SUBMITTED TO JERUSALEM CONGRESS, pages 1 - 4 *

Also Published As

Publication number Publication date
CN116382476B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
Schuster et al. The ARCHES space-analogue demonstration mission: Towards heterogeneous teams of autonomous robots for collaborative scientific sampling in planetary exploration
Cacace et al. A control architecture for multiple drones operated via multimodal interaction in search & rescue mission
Wilcox Robotic vehicles for planetary exploration
CN107097228B (zh) 自主行进机器人系统
CN109917786A (zh) 一种面向复杂环境作业的机器人感知系统及系统运行方法
CN110180112B (zh) 一种无人机与消防机器人协同侦察灭火作业方法
Huntsberger et al. Rover autonomy for long range navigation and science data acquisition on planetary surfaces
CN107589752A (zh) 无人机与地面机器人协同编队实现方法及系统
CN205075054U (zh) 一种用于高危作业的机器人
CN112276951B (zh) 一种无人搜排爆机器人系统及其工作方法
CN112068176A (zh) 一种携带多微纳卫星组网的无人智能火星探测系统及方法
Schenker et al. FIDO: a Field Integrated Design & Operations rover for Mars surface exploration
Gromov et al. Intuitive 3D control of a quadrotor in user proximity with pointing gestures
CN116382476B (zh) 一种用于月表人机协同作业的穿戴式交互系统
Gromov et al. Guiding quadrotor landing with pointing gestures
de la Croix et al. Multi-Agent Autonomy for Space Exploration on the CADRE Lunar Technology Demonstration
Kryuchkov et al. Simulation of the «cosmonaut-robot» system interaction on the lunar surface based on methods of machine vision and computer graphics
Pedersen et al. Integrated demonstration of instrument placement, robust execution and contingent planning
Bajracharya et al. Target tracking, approach, and camera handoff for automated instrument placement
Wang et al. A vision-aided navigation system by ground-aerial vehicle cooperation for UAV in GNSS-denied environments
Whittaker et al. Robotic assembly of space solar-power facilities
Lee et al. Astronaut smart glove: A human-machine interface for the exploration of the moon, mars, and beyond
Cordes et al. Heterogeneous robotic teams for exploration of steep crater environments
Deans et al. Robotic scouting for human exploration
Brinkmann et al. Mantis Within a Multi Robot Team for Lunar Exploration and Construction Tasks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant