CN112847363B - 月面舱外辅助作业机器人及其操控方法 - Google Patents
月面舱外辅助作业机器人及其操控方法 Download PDFInfo
- Publication number
- CN112847363B CN112847363B CN202110013534.8A CN202110013534A CN112847363B CN 112847363 B CN112847363 B CN 112847363B CN 202110013534 A CN202110013534 A CN 202110013534A CN 112847363 B CN112847363 B CN 112847363B
- Authority
- CN
- China
- Prior art keywords
- robot
- instruction
- control
- wheel
- lunar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000033001 locomotion Effects 0.000 claims abstract description 112
- 230000004438 eyesight Effects 0.000 claims abstract description 46
- 230000003993 interaction Effects 0.000 claims abstract description 30
- 230000016776 visual perception Effects 0.000 claims abstract description 27
- 239000000725 suspension Substances 0.000 claims abstract description 21
- 230000008447 perception Effects 0.000 claims abstract description 12
- 239000000428 dust Substances 0.000 claims abstract description 10
- 230000009471 action Effects 0.000 claims description 41
- 230000006835 compression Effects 0.000 claims description 33
- 238000007906 compression Methods 0.000 claims description 33
- 230000000007 visual effect Effects 0.000 claims description 30
- 238000012544 monitoring process Methods 0.000 claims description 27
- 230000007246 mechanism Effects 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 24
- 230000002146 bilateral effect Effects 0.000 claims description 23
- 230000019771 cognition Effects 0.000 claims description 22
- 241000282414 Homo sapiens Species 0.000 claims description 15
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 claims description 15
- 229910052744 lithium Inorganic materials 0.000 claims description 15
- 239000003638 chemical reducing agent Substances 0.000 claims description 14
- 230000036544 posture Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 12
- 238000013461 design Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 12
- 230000003068 static effect Effects 0.000 claims description 10
- 230000001681 protective effect Effects 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000008878 coupling Effects 0.000 claims description 8
- 238000010168 coupling process Methods 0.000 claims description 8
- 238000005859 coupling reaction Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 239000010935 stainless steel Substances 0.000 claims description 8
- 229910001220 stainless steel Inorganic materials 0.000 claims description 8
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 239000000741 silica gel Substances 0.000 claims description 6
- 229910002027 silica gel Inorganic materials 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 230000006641 stabilisation Effects 0.000 claims description 4
- 238000011105 stabilization Methods 0.000 claims description 4
- 239000004575 stone Substances 0.000 claims description 4
- 230000010391 action planning Effects 0.000 claims description 3
- 230000003542 behavioural effect Effects 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 claims description 3
- 230000001149 cognitive effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 229920001296 polysiloxane Polymers 0.000 claims 1
- 230000006399 behavior Effects 0.000 description 10
- 239000000306 component Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000005484 gravity Effects 0.000 description 5
- 229910000838 Al alloy Inorganic materials 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 3
- 238000007789 sealing Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000008358 core component Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 229910021421 monocrystalline silicon Inorganic materials 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
- B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
Abstract
本发明提供一种月面舱外辅助作业机器人及其操控方法,月面舱外辅助作业机器人为左右对称结构,包括:承力机身、运动系统、视觉感知系统、作业系统、电源系统和控制系统;运动系统包括异步自平稳悬架系统和月面车轮系统;视觉感知系统包括双目立体视觉相机、相机遮光罩、两自由度主动伺服云台、云台防尘罩和空心相机桅杆;作业系统为基于关节模组的轻质三自由度机械臂。本发明提供的月面航天员舱外辅助机器人,具有体积和结构紧凑,质量轻便,单机任务能力丰富,多机系统拓展性强的特点。具备月面自然地形下高平稳高效行走能力,主动立体视觉感知能力和多自由度操作能力,能够在遥操作或现场人机交互模式下进行月面舱外辅助作业。
Description
技术领域
本发明属于航空航天技术领域,具体涉及一种月面舱外辅助作业机器人及其操控方法。
背景技术
在有人探月活动中,利用月球机器人对航天员进行跟随补充探测、帮扶和辅助操作,能够保障航天员舱外安全,提高月面探测和建设任务效率,充分发挥宝贵的舱外活动时间的效益。
现有的月球机器人主要以月球车为主,月球车的系统设计和控制模式设计主要针对无人月球探测和采样返回,缺少人机协作约束的考虑,存在系统人机交互能力不足,机器人体积质量庞大不利于人机协作、空间转移成本高昂以及系统拓展能力不足等问题。
发明内容
针对现有技术存在的缺陷,本发明提供一种月面舱外辅助作业机器人及其操控方法,可有效解决上述问题。
本发明采用的技术方案如下:
本发明提供一种月面舱外辅助作业机器人,所述月面舱外辅助作业机器人为左右对称结构,包括:承力机身(100)、运动系统(200)、视觉感知系统(300)、作业系统(400)、电源系统(500)和控制系统(600);
所述承力机身(100)包括机身承力架(101)和不锈钢蒙皮(102);所述机身承力架(101)的外面包覆所述不锈钢蒙皮(102);其中,所述机身承力架(101)包括左侧承力板(1011)、右侧承力板(1012)、上层载荷安装板(1013)、中层载荷安装板(1014)和下层载荷安装板(1015);所述左侧承力板(1011)和所述右侧承力板(1012)左右对称竖向设置;在所述左侧承力板(1011)和所述右侧承力板(1012)之间,自上向下,水平依次设置所述上层载荷安装板(1013)、所述中层载荷安装板(1014)和所述下层载荷安装板(1015);
其中,所述上层载荷安装板(1013)的表面预留相机桅杆安装孔位(A1);所述中层载荷安装板(1014)的表面预留机械臂安装孔位(A2);并且,所述机械臂安装孔位(A2)位于所述相机桅杆安装孔位(A1)的前方;所述左侧承力板(1011)和所述右侧承力板(1012)的中央位置,均预留弹簧挂件安装孔位(A3)和双边滚珠轴承安装孔位(A4);所述机身承力架(101)的后侧预留太阳电池板安装孔位(A5);
所述运动系统(200)包括左运动单元和右运动单元;所述左运动单元和所述右运动单元为左右对称结构,所述左运动单元设置于所述承力机身(100)的左侧,并与所述左侧承力板(1011)连接安装;所述右运动单元设置于所述承力机身(100)的右侧,并与所述右侧承力板(1012)连接安装;
其中,所述左运动单元和右运动单元的结构均包括:异步自平稳悬架系统(201)、第一月面车轮系统(202)和第二月面车轮系统(203);
所述异步自平稳悬架系统(201)包括倒U型被动摇臂(2011)、第一压缩弹簧组(2012)、第二压缩弹簧组(2013)、弹簧组挂装连接件(2014)和双边滚珠轴承(2015);
所述倒U型被动摇臂(2011)采用圆形镂空设计,所述倒U型被动摇臂(2011)的中心处通过所述双边滚珠轴承(2015),可转动的装配到所述承力机身(100)的对应侧的双边滚珠轴承安装孔位(A4),使所述倒U型被动摇臂(2011)可相对于所述承力机身(100)转动;所述倒U型被动摇臂(2011)的两端,各安装所述第一月面车轮系统(202)和所述第二月面车轮系统(203);所述弹簧组挂装连接件(2014)装配到所述承力机身(100)的对应侧的弹簧挂件安装孔位(A3);所述第一压缩弹簧组(2012)和所述第二压缩弹簧组(2013)对称分布,所述第一压缩弹簧组(2012)的一端与所述弹簧组挂装连接件(2014)连接;所述第一压缩弹簧组(2012)的另一端与所述倒U型被动摇臂(2011)的前部连接;所述第二压缩弹簧组(2013)的一端与所述弹簧组挂装连接件(2014)连接;所述第二压缩弹簧组(2013)的另一端与所述倒U型被动摇臂(2011)的后部连接,进而实现所述倒U型被动摇臂(2011)和所述承力机身(100)的铰接;通过双边滚珠轴承(2015)的支撑力、第一压缩弹簧组(2012)的压力和第二压缩弹簧组(2013)的压力,保持异步自平稳悬架系统(201)和承力机身(100)的相对位置构型;
所述运动系统(200)共配置四个月面车轮系统;每个月面车轮系统为独立车轮系统,通过轮间差速实现转向机动;
所述视觉感知系统(300)包括双目立体视觉相机(301)、相机遮光罩(302)、两自由度主动伺服云台(303)、云台防尘罩(304)和空心相机桅杆(305);
所述两自由度主动伺服云台(303)的上方安装所述双目立体视觉相机(301),用于控制所述双目立体视觉相机(301)在俯仰和偏航通道的主动姿态,进而实现机器人周围全部空间的感知覆盖能力;所述双目立体视觉相机(301)的外面设置所述相机遮光罩(302);所述两自由度主动伺服云台(303)的外面设置所述云台防尘罩(304);所述空心相机桅杆(305)的顶端装配所述两自由度主动伺服云台(303);所述空心相机桅杆(305)的底部装配到所述相机桅杆安装孔位(A1);
所述作业系统(400)为实现机器人辅助作业能力的执行机构,为一种基于关节模组的轻质三自由度机械臂,包括机械臂底座(401)、第一关节连接杆(402)、第二关节连接杆(403)、第三关节连接杆(404)、第一机器人关节模组(405)、第二机器人关节模组(406)、第三机器人关节模组(407)和末端夹持器(408);
所述机械臂底座(401)的底部安装到所述机械臂安装孔位(A2);所述第一机器人关节模组(405)装配到所述机械臂底座(401)上面;所述第一关节连接杆(402)的一端与所述第一机器人关节模组(405)一体成形;进而通过所述第一机器人关节模组(405),实现所述第一关节连接杆(402)和所述机械臂底座(401)之间的铰接;
所述第二关节连接杆(403)和所述第一关节连接杆(402)的关节位置安装所述第二机器人关节模组(406),实现所述第二关节连接杆(403)和所述第一关节连接杆(402)之间的铰接;
所述第二关节连接杆(403)和所述第三关节连接杆(404)的关节位置安装所述第三机器人关节模组(407),实现所述第二关节连接杆(403)和所述第三关节连接杆(404)之间的铰接;
所述第三关节连接杆(404)的末端安装所述末端夹持器(408);
其中,所述第一机器人关节模组(405)、所述第二机器人关节模组(406)和所述第三机器人关节模组(407)均设置有模组防护壳(409)和模组防护盖(410);
所述电源系统(500)用于为所述月面舱外辅助作业机器人的各个用电部件供电;所述电源系统(500)包括可充电的锂电池、主动伺服太阳电池板和电源控制器;
所述主动伺服太阳电池板包括太阳电池板和太阳电池板驱动电机,所述太阳电池板驱动电机用于驱动所述太阳电池板转动,调节所述太阳电池板的姿态;所述电源控制器用于接收所述主动伺服太阳电池板或外界有线电能,并向所述可充电的锂电池的充电;
所述控制系统(600)包括远程指控中心、平台运动下位机控制器、各执行机构控制器和通信接口;其中,所述执行机构控制器包括车轮电机控制器、太阳伺服电机控制器、机械臂关节模组控制器、两指夹持器控制器和云台电机控制器。
优选的,每个月面车轮系统包括月面车轮(B1)、直流电机(B2)、行星减速器(B3)、光电编码器(B4)、电机承力外壳(B5)、摇臂末端连接件(B6)和联轴器(B7);
所述直流电机(B2)依次通过所述行星减速器(B3)和所述联轴器(B7)后,与所述月面车轮(B1)的月面轮毂实现动力传递连接;
所述直流电机(B2)的后方安装所述光电编码器(B4),所述光电编码器(B4)用于测量车轮角度位置;
所述电机承力外壳(B5)用于装配所述直流电机(B2)、所述行星减速器(B3)和所述光电编码器(B4);同时,所述电机承力外壳(B5)的一侧通过所述摇臂末端连接件(B6),装配到所述倒U型被动摇臂(2011)的一端。
优选的,所述月面车轮(B1)包括圆柱轮套(B11)、T型凸齿(B12)和硅胶垫片(B13);所述圆柱轮套(B11)通过挖空和镂空实现减重;所述圆柱轮套(B11)的表面周向通过螺钉固定安装多个中心对称的T型凸齿(B12),用于增大车轮与路面的静摩擦力,同时有利于限制车体在车轮轴线方向的无效滑动;在所述T型凸齿(B12)和圆柱体轮面之间填充安装所述硅胶垫片(B13),进而增加车轮的弹性。
优选的,所述两自由度主动伺服云台(303)和所述双目立体视觉相机(301)的供电线缆和通信线缆布设于所述空心相机桅杆(305)的内部。
优选的,所述第一机器人关节模组(405)、所述第二机器人关节模组(406)和所述第三机器人关节模组(407)均包括关节电机和关节驱动器。
优选的,所述可充电的锂电池的供电主干线分为多个支路,分别向各个用电部件供电,进而避免各个用电部件的相互干扰;每个支路均包括DC/DC模块,用于降压和稳压。
优选的,所述车轮电机控制器和所述太阳伺服电机控制器通过CAN总线串联,并汇总到所述平台运动下位机控制器进行通信协议的转换后,最终与所述远程指控中心采用串口通信;
所述云台电机控制器内嵌在所述两自由度主动伺服云台(303)的云台电机内部,所述云台电机控制器与所述远程指控中心采用串口通信;所述两指夹持器控制器与所述远程指控中心之间通过通信接口实现通信;所述机械臂关节模组控制器与所述远程指控中心之间通过CAN总线通信;所述第一机器人关节模组(405)、所述第二机器人关节模组(406)和所述第三机器人关节模组(407)之间通过CAN总线串联,再与所述机械臂关节模组控制器连接。
本发明还提供一种月面舱外辅助作业机器人的操控方法,远程指控中心为月面舱外辅助作业机器人设计两种控制模式,分别是遥操作模式和现场人机交互模式;
在遥操作模式下,月面舱外辅助作业机器人的控制和执行需要紧密依赖远程指控中心的操作人员,操作人员通过远程指控中心对月面舱外辅助作业机器人的各个执行机构进行操控;具体方式如下:
1)首先,在机器人本地的机载计算机、运动系统(200)、视觉感知系统(300)和作业系统(400)均上电工作的情况下,视觉感知系统(300)的双目立体视觉相机(301)在当前姿态下对视野内场景进行成像,即对视野内的航天员和地形环境情况进行拍照记录,得到监控图像,并将监控图像实时传输到机载计算机;
2)机载计算机利用OpenCV工具软件对监控图像进行均值滤波,从而去除监控图像中的噪声,然后进行降采样,缩小图像尺寸,从而加速计算机的图像处理和网络传输;最后对监控图像进行进一步平滑滤波处理,使得监控图像更容易被人类判读和理解,得到处理后的监控图像;
3)机载计算机将处理后的监控图像通过无线电实时传输到远程指控中心,并在远程指控中心的操作界面上实时显示;
4)远程指控中心人员通过操作界面上实时显示的机器人视野内的监控图像,进行当前作业场景的人工判读,并依靠远程指控中心人员的知识经验,对当前航天员的运动状态、工作状态和协作需求、航天员和机器人周边路况、航天员的肢体动作指令、机器人与航天员的间距、航天员在机器人视野中的位置、以及机器人周围的地形与障碍物分布情况进行综合判读,并给出用于当前状态的控制指令;其中,所述控制指令来源于机器人控制指令库,包括机器人运动控制指令,机器人主动颈部控制指令,机械臂控制指令,太阳电池板伺服控制指令;其中:机器人运动控制指令包括:低速向前指令,高速向前指令,低速向后指令,原地左转指令和原地右转指令;机器人主动颈部控制指令包括:俯仰顺时针转指令,俯仰逆时针转指令,偏航顺时针转指令,偏航逆时针转指令;机械臂控制指令包括:末端前移指令,末端后移指令,末端左移指令,末端右移指令,末端上移指令,末端下移指令,夹持器开指令,夹持器合指令;太阳电池板伺服控制指令包括顺时针转指令、逆时针转指令;
所述控制指令进行编码并存储在远程指控中心和机载计算机中,以供指令下达和指令解析;
5)远程指控中心人员将控制指令通过无线电发布到机器人的机载计算机,用于指导控制机器人执行下一步动作;
6)机器人的机载计算机接收到指控指令后,对其进行编码,得到编码后的指控指令;然后,将编码后的指控指令提交到指令解析与任务生成模块;
指令解析与任务生成模块对指控指令进行解析和分解,生成机器人各分系统执行机构需要执行的目标动作和目标控制量;
具体的,指令解析与任务生成模块通过查找机载计算机指令编码库,得到指控指令和控制动作的对应关系,并将各分系统动作控制目标输出到平台运动控制、机械臂操作控制、颈部主动伺服控制、太阳电池板伺服控制分系统执行机构;
A1)机器人的运动控制目标首先通过平台规划软件转化为四个车轮电机的转速分配信息,然后再将每个车轮电机的实时转速数据提供给相应的电机控制器,从而实现车轮电机按照预期转速进行转动;
A2)机器人的机械臂操作控制目标中关于机械臂末端位置移动的控制指令,通过机械臂逆运动求解软件转化为每个机械臂关节的目标位置改变量,然后提交到各关节模组的控制器,实现关节电机沿着目标角度位置进行转动;
A3)机器人机械臂操作控制目标中关于夹持器开合状态的控制指令直接提供到夹持器控制器,实现夹持动作执行;
A4)机器人颈部电机有两种工作方式,第一种:直接接受来自指令解析与任务生成模块的颈部伺服控制指令;第二种:基于目标伺服控制软件进行自动的航天员视觉跟随;具体的,目标伺服控制软件在机器人视野中寻找到航天员,并自动控制颈部云台,保持双目视觉对人体的视觉跟随,即保持人体始终位于机器人视野中央;
A5)当机器人执行来自远程指控中心的控制指令后,重复1)-6),进行连续的“人在回路”闭环遥操作,直到一次辅助任务结束;
月面舱外辅助作业机器人在现场人机交互模式下,机器人在其机器视觉感知的基础上进行在线的作业场景理解和人机交互,并进行自主的动作规划和执行决策;主要包括环境认知和现场人机交互;具体方式如下:
1)首先,在机器人本地的机载计算机、运动系统(200)、视觉感知系统(300)和作业系统(400)均上电工作的情况下,视觉感知系统(300)的双目立体视觉相机(301)在当前姿态下对视野内场景进行成像,即对视野内的航天员和地形环境情况进行拍照记录,并将左右两个镜头分别采集到的监控图像传输到机器人的机载计算机;
2)机载计算机利用ZED SDK工具软件,根据左右相机采集到的彩色图像解算出深度图像,即计算出彩色图像中各像素点对应的物理实物距离相机相平面的距离;彩色图像和深度图像合称为RGB-D图像;
3)然后,机载计算机利用OpenCV工具软件对彩色图像进行均值滤波,从而去除彩色图像中的噪声;然后对彩色图像和深度图像分别进行降采样,缩小RGB-D图像尺寸,从而加速计算机的图像处理速度;最后对RGB-D图像进行进一步平滑滤波处理,得到预处理后的图像;
4)预处理后的图像一方面提供给现场人机交互软件,用于航天员行为指令的识别和意图理解,包括航天员手势指令和肢体动作指令;现场人机交互软件通过SSD目标检测算法识别出航天员的行为指令;其中,行为指令包括手势指令和肢体动作指令;通过行为指令可传达协作意图;航天员的行为指令来源于机器人控制指令库,包括机器人运动控制指令,机器人主动颈部控制指令,机械臂控制指令,太阳电池板伺服控制指令;
机器人运动控制指令包括:低速向前指令,高速向前指令,低速向后指令,原地左转指令,原地右转指令和保持静止指令;
机器人主动颈部控制指令包括:俯仰顺时针转指令,俯仰逆时针转指令,偏航顺时针转指令,偏航逆时针转指令和保持静止指令;
机器人的机械臂控制指令包括:末端前移指令,末端后移指令,末端左移指令,末端右移指令,末端上移指令,末端下移指令,夹持器开指令,夹持器合指令和保持静止指令;
机器人太阳电池板伺服控制指令包括顺时针转指令、逆时针转指令和保持静止指令;
5)预处理后的图像另一方面提供给环境认知软件进行场景理解,识别出图像中的航天员,作业工具和障碍物,并根据深度图像计算出各要素的三维空间位置;
具体的,环境认知软件依靠YOLO V3多目标检测检测算法识别出图像中的航天员、作业工具、石块、坑道障碍物,然后根据每个目标在图像坐标处的深度值,通过三角变换求解出各个目标的三维空间位置,从而获得包含人员、障碍物、工具和各元素相对位置关系信息的语义场景图;
环境认知软件获得的语义场景图为机器人运动控制提供指导和约束;具体的,当机器人周围存在障碍物距离小于设定的安全阈值时,环境认知软件指导机器人远离该障碍物运动,其指导信号来源于机器人控制指令库;当航天员与机器人的距离超出双目相机对航天员最佳成像距离范围的最大值时,指导机器人朝着靠近航天员的方向运动;当航天员与机器人的距离不足双目相机对航天员最佳成像距离范围最小值时,指导机器人朝着远离航天员的方向运动,其指导信号来源于机器人控制指令库;
6)机器人机载计算机将航天员行为指令的识别结果和环境认知的指导控制指令转化为控制指令编码,将控制指令编码提交到指令解析与任务生成模块;
指令解析与任务生成模块对控制指令编码进行解析和分解,生成机器人各分系统执行机构需要执行的目标动作和目标控制量;
具体的,指令解析与任务生成模块将控制指令编码在机载计算机指令编码库中进行对照检查,查找到动作指令和控制动作的对应关系,并将各分系统动作控制目标输出到平台运动控制、机械臂操作控制、颈部主动伺服控制、太阳电池板伺服控制分系统执行机构;
B1)机器人的运动控制目标首先通过平台规划软件转化为四个车轮电机的转速分配信息,然后再将每个车轮电机的实时转速数据提供给相应的电机控制器,从而实现实时电机按照预期转速进行转动;
B2)机器人的机械臂操作控制目标中关于机械臂末端位置移动的控制指令,通过机械臂逆运动求解软件转化为每个机械臂关节的目标位置改变量,然后提交到各关节模组的控制器,实现关节电机沿着目标角度位置进行转动;
B3)机器人机械臂操作控制目标中关于夹持器开合状态的控制指令直接提供到夹持器控制器,实现夹持动作执行。
B4)机器人颈部电机有两种工作方式,第一种:直接接受来自指令解析与任务生成模块的颈部伺服控制指令;第二种:基于目标伺服控制软件进行自动的航天员视觉跟随;具体的,目标伺服控制软件在机器人视野中寻找到航天员,并自动控制颈部云台,保持双目视觉对人体的视觉跟随,即保持人体始终位于机器人视野中央;
B5)当机器人执行当前控制指令后,重复1)-6),进行连续的大闭环感知、认知、控制和执行,直到一次辅助任务结束。
本发明提供的月面舱外辅助作业机器人及其操控方法具有以下优点:
本发明提供的月面航天员舱外辅助机器人,具有体积和结构紧凑,质量轻便,单机任务能力丰富,多机系统拓展性强的特点。具备月面自然地形下高平稳高效行走能力,主动立体视觉感知能力和多自由度操作能力,能够在遥操作或现场人机交互模式下进行月面舱外辅助作业。
附图说明
图1为月面舱外辅助作业机器人的立体结构图;
图2为月面舱外辅助作业机器人在收拢状态下的主视图;
图3为月面舱外辅助作业机器人在收拢状态下的俯视图;
图4为月面舱外辅助作业机器人在收拢状态下的侧视图;
图5为月面舱外辅助作业机器人在展开状态下的结构图;
图6为机身承力架在未安装载荷安装板时的俯视图;
图7为机身承力架在未安装载荷安装板时的主视图;
图8为机身承力架在未安装载荷安装板时的立体图;
图9为机身承力架的立体图;
图10为机器人承力机身的立体图;
图11为异步自平稳悬架系统在一种状态下的结构图;
图12为异步自平稳悬架系统在另一种状态下的结构图;
图13为机器人的车轮分布图;
图14为月面车轮的立体图;
图15为月面车轮的剖面图;
图16为视觉感知系统的结构图;
图17为作业系统的结构图;
图18为电源系统的设计图;
图19为月面舱外辅助作业机器人遥操作控制模式的信息流图;
图20为月面舱外辅助作业机器人现场人机交互控制模式的信息流图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明属于航空航天领域,所设计的月面舱外辅助作业机器人可以用于月面航天员舱外活动的辅助,所研制的月面舱外辅助作业机器人原理样机可以用于支持载人月球探测的工程问题研究、任务设计和技术开发。
本发明提供的月面航天员舱外辅助机器人,简称月面舱外辅助作业机器人,具有体积和结构紧凑,质量轻便,单机任务能力丰富,多机系统拓展性强的特点。具备月面自然地形下高平稳高效行走能力,主动立体视觉感知能力和多自由度操作能力,能够在遥操作或现场人机交互模式下进行月面舱外辅助作业。
本发明提供的月面航天员舱外辅助机器人,是一种用于月面航天员舱外活动辅助的月球机器人,参考图1,月面舱外辅助作业机器人为左右对称结构,包括:承力机身100、运动系统200、视觉感知系统300、作业系统400、电源系统500和控制系统600。
其中:
承力机身100用于提供运动系统200、视觉感知系统300、作业系统400、电源系统500和控制系统600的安装空间;承力机身100中形成有电气箱,用于对计算机、驱动器和电池组等进行承载和密封;
运动系统200包括4个独立驱动的沙漠地形车轮和两套异步自平稳被动悬挂系统,通过沙漠地形车轮,为机器人提供月面月壤路况中的高效通过能力;通过异步自平稳被动悬挂系统,为机器人提供平稳行驶能力;
视觉感知系统300,用于对航天员和机器人周边地形环境进行感知测量,机器人通过其主动伺服相机可以实现机器人周围360°的彩色成像和距离测量;
作业系统400核心部件为一个三自由度轻质机械臂,其末端连接1个两指机械夹持器,可以在遥操作或现场人机交互指挥下执行动作,用于支持机器人的采样、设施操作、工具操作等辅助作业功能;
电源系统500用于向月面舱外辅助作业机器人的各用电部件供电;其核心部件包括单自由度太阳电池板,用于在有阳光照射条件下为锂电池组充电。
控制系统600,用于对月面舱外辅助作业机器人的各执行机构进行控制。
因此,在承力机身100、运动系统200、视觉感知系统300、作业系统400、电源系统500和控制系统600的协同作用下,可以满足月面舱外辅助作业机器人的月面运动、能源、避险等基本生存需求,具有可靠、高效的高效平稳行驶能力,具备机器人周边人员和环境的视觉感知能力,可以实现舱外活动人员的作业辅助。
下面对承力机身100、运动系统200、视觉感知系统300、作业系统400、电源系统500和控制系统600进行详细设计方案介绍:
(一)承力机身100
参考图2、图3和图4,月面舱外辅助作业机器人在收拢状态下其外包络尺寸为860×808×940mm,在其机械臂展开情况下,参考图5,其操作范围最高可到达1240mm,水平方向可达1530mm。
机器人各部分组件在机器人承力机身100上左右对称分布。承力机身100包括机身承力架101和不锈钢蒙皮102;机身承力架101的外面包覆不锈钢蒙皮102。如图10所示,为包覆不锈钢蒙皮后的承力机身的结构图。
如图6、图7和图8所示,为机身承力架101的侧视图和立体图,机身承力架101是一个采用10mm厚度铝合金板机械加工、镂空并装配集成的承力框架。机器人的机身承力架101的主要功能是满足机器人的视觉感知系统300、作业系统400、电源系统500和控制系统600等的安装支撑。
如图9所示,机身承力架101包括左侧承力板1011、右侧承力板1012、上层载荷安装板1013、中层载荷安装板1014和下层载荷安装板1015;左侧承力板1011和右侧承力板1012左右对称竖向设置;在左侧承力板1011和右侧承力板1012之间,自上向下,水平依次设置上层载荷安装板1013、中层载荷安装板1014和下层载荷安装板1015;
其中,机身承力架101构成电气箱的主体结构。上层载荷安装板1013的表面预留相机桅杆安装孔位A1,用于安装高420mm桅杆作为相机桅杆,相机桅杆的顶部用于安装颈部两自由度云台和双目立体视觉相机;;中层载荷安装板1014的表面预留机械臂安装孔位A2,用于安装轻质三自由度机械臂;并且,机械臂安装孔位A2位于相机桅杆安装孔位A1的前方;将轻质三自由度机械臂和相机桅杆分别安装在机器人前端和后端,从而使机器人的物体操作可以处于机器人的双目视觉感知范围内,同时可以减少桅杆对机械臂操作范围和灵活性的干扰。
另外,上层载荷安装板1013和中层载荷安装板1014之间的空间,用于安装机器人的中心计算机(Nvidia TX2)和通信转换模块;中层载荷安装板1014和下层载荷安装板1015之间的空间,用于安装锂电池组、机器人车轮电机控制器、机器人颈部云台控制器和作业机械臂关节模组通信转换模块。
电气箱表面的不锈钢蒙皮用于提供防尘密封作用和机身外观。
左侧承力板1011和右侧承力板1012的中央位置,均预留弹簧挂件安装孔位A3和双边滚珠轴承安装孔位A4;弹簧挂件安装孔位A3用于固定安装悬挂系统弹簧挂件;双边滚珠轴承安装孔位A4用于安装双边滚珠轴承,从而实现运动系统200的安装。
机身承力架101的后侧预留太阳电池板安装孔位A5,用于固定和安装单自由度主动太阳电池板。
(二)运动系统200
运动系统200是其在月面自然地形条件下高效、平稳机动的基础。
运动系统200包括左运动单元和右运动单元;左运动单元和右运动单元为左右对称结构,左运动单元设置于承力机身100的左侧,并与左侧承力板1011连接安装;右运动单元设置于承力机身100的右侧,并与右侧承力板1012连接安装;
其中,左运动单元和右运动单元的结构均包括:异步自平稳悬架系统201、第一月面车轮系统202和第二月面车轮系统203;
因此,异步自平稳悬架系统201左右两侧对称、独立的安装在机身承力架上。
异步自平稳悬架系统201为一种被动悬架系统,参考图11和图12,包括倒U型被动摇臂2011、第一压缩弹簧组2012、第二压缩弹簧组2013、弹簧组挂装连接件2014和双边滚珠轴承2015;
机器人的摇臂设计为倒“U”型,将机器人的机身位置抬高到270mm,从而使得机器人在自然环境中行驶时能够直接跨越高度不超过250mm的岩石障碍物,如图11所示。
机器人两侧的倒U型被动摇臂2011的转动相互独立。倒U型被动摇臂2011采用圆形镂空设计进行质量控制。倒U型被动摇臂2011的中心处通过双边滚珠轴承2015,可转动的装配到承力机身100的对应侧的双边滚珠轴承安装孔位A4,使倒U型被动摇臂2011可相对于承力机身100转动;倒U型被动摇臂2011的两端,各安装第一月面车轮系统202和第二月面车轮系统203;弹簧组挂装连接件2014装配到承力机身100的对应侧的弹簧挂件安装孔位A3;第一压缩弹簧组2012和第二压缩弹簧组2013对称分布,第一压缩弹簧组2012的一端与弹簧组挂装连接件2014连接;第一压缩弹簧组2012的另一端与倒U型被动摇臂2011的前部连接;第二压缩弹簧组2013的一端与弹簧组挂装连接件2014连接;第二压缩弹簧组2013的另一端与倒U型被动摇臂2011的后部连接,进而实现倒U型被动摇臂2011和承力机身100的铰接;通过双边滚珠轴承2015的支撑力、第一压缩弹簧组2012的压力和第二压缩弹簧组2013的压力,保持异步自平稳悬架系统201和承力机身100的相对位置构型;
其中,压缩弹簧组的弹簧的弹性系数为2000Nm,其初始压缩量可以手动调整,从而能够解决机器人静态下的机身保持平衡的困难。在机器人复杂地形运动过程中,由于崎岖地形对机器人车轮的抬升作用,会导致悬架系统姿态迅速发生改变,大部分的相对运动动能被压缩弹簧吸收,从而减缓了该部分动能传递到机器人机身,保证了机器人行驶时,机身的姿态几乎不受复杂地形的干扰。机器人两侧悬臂转动相对独立,其左右两侧的摇臂末端最大可以实现110mm的高度差,如图12所示。通过异步自平稳被动悬架系统,可以实现机器人即使在崎岖的路况中行驶时,也能保持4个车轮同时接触路面,从而避免其某一个车轮架空失灵的风险,可以保证机器人崎岖路况中的高通过性能。
运动系统200共配置四个月面车轮系统;每个月面车轮系统为独立车轮系统,通过轮间差速实现转向机动;机器人的车轮通过电机外壳和电机轴等装置连接到机器人两侧的两个“U”型被动摇臂上。机器人的车轮左右轮距660mm,前后轮距为520mm,如图13所示。
为了保证该机器人在松软月壤表面、沙漠表面等路况下行驶的通过性,设计了如图14和图15所示的月面车轮。
如图15所示,每个月面车轮系统包括月面车轮B1、直流电机B2、行星减速器B3、光电编码器B4、电机承力外壳B5、摇臂末端连接件B6和联轴器B7;其中,月面车轮B1采用沙漠轮。
如图14所示,月面车轮B1包括圆柱轮套B11、T型凸齿B12和硅胶垫片B13;圆柱体轮套外径为250mm,宽度为150mm,将轮套设计得较宽是为了减小车轮于路面的压强,从而避免其在运动和转向时不陷入松软路面。
圆柱轮套B11通过挖空和镂空实现减重;圆柱轮套B11的表面周向通过M3螺钉固定安装多个中心对称的T型凸齿B12,例如,安装36片中心对称的T型凸齿B12,用于增大车轮与路面的静摩擦力,同时有利于限制车体在车轮轴线方向的无效滑动;在T型凸齿B12和圆柱体轮面之间填充安装硅胶垫片B13,进而增加车轮的弹性。能够有效吸收碎石路面带来的冲击、震动等对圆柱轮套和电机的损害作用,从而延长机器人车轮系统的使用寿命。
本发明提供的沙漠轮的组装式设计可以降低车轮的维护成本,在地面试验中,当车轮表面安装的T型凸齿B12发生磨损时,可以通过更换硅胶垫片和突齿来快速复原。
直流电机B2依次通过行星减速器B3和联轴器B7后,与月面车轮B1的月面轮毂实现动力传递连接;
直流电机B2的后方安装光电编码器B4,光电编码器B4用于测量车轮角度位置;
电机承力外壳B5用于装配直流电机B2、行星减速器B3和光电编码器B4;同时,电机承力外壳B5的一侧通过摇臂末端连接件B6,装配到倒U型被动摇臂2011的一端。
实际应用中,直流电机B2采用一款FTE-60GP有刷直流电机,采用24V直流供电,其额定功率为100W。将直流电机B2对接到一个55倍减速比的行星减速器B3,可以实现单个车轮16.9Nm的连续驱动力矩,其可以实现的转速为0-90rpm,其车轮表面一点的线速度可以达到2.40m/s。这样的力矩和速度性能能够满足月面应用需要,同时也能够满足地面重力条件下机器人平台试验的需求。直流电机B2后方安装一个500脉冲的光电编码器B4,可以实现车轮角度位置0.01°的精度测量。直流电机B2和行星减速器B3固定安装在电机承力外壳B5内。电机承力外壳B5用于为内部的直流电机B2、行星减速器B3和光电编码器B4提供安装支持和密封保护,同时用于车轮与“U”形摇臂固定连接。联轴器B7用于实现行星减速器B3和月面轮毂的动力传递。联轴器B7采用钢材加工,通过螺钉分别与月面轮毂和行星减速器B3转轴固定连接。
(三)视觉感知系统300
视觉感知系统300用于对机器人周围的人员和地形环境进行感知和测量。如图16所示,视觉感知系统300包括双目立体视觉相机301、相机遮光罩302、两自由度主动伺服云台303、云台防尘罩304和空心相机桅杆305;
两自由度主动伺服云台303的上方安装双目立体视觉相机301,用于控制双目立体视觉相机301在俯仰和偏航通道的主动姿态,进而实现机器人周围全部空间的感知覆盖能力;双目立体视觉相机301的外面设置相机遮光罩302;相机遮光罩302用于遮蔽来自天空方向的太阳直射,从而保证相机在月昼期间的成像质量。双目立体视觉相机301位于距离地面大约940mm的高度。
两自由度主动伺服云台303的外面设置云台防尘罩304;机器人的头部的相机遮光罩302和云台防尘罩304均采用铝合金加工。
空心相机桅杆305的顶端装配两自由度主动伺服云台303;空心相机桅杆305的底部装配到相机桅杆安装孔位A1;空心相机桅杆305可采用铝合金空心桅杆。
两自由度主动伺服云台303和双目立体视觉相机301的供电线缆和通信线缆布设于空心相机桅杆305的内部。
实际应用中,双目立体视觉相机301采用一个ZED stereo双目立体视觉相机由两个CMOS相机构成,其视场宽度为110°×110°,可以实现100fps的彩色图像采机传输,其双目基线为120mm,能够提供0.5m-25m范围内的距离测量。
(四)作业系统400
作业系统400为实现机器人辅助作业能力的执行机构,为一种基于关节模组的轻质三自由度机械臂,参考图17,包括机械臂底座401、第一关节连接杆402、第二关节连接杆403、第三关节连接杆404、第一机器人关节模组405、第二机器人关节模组406、第三机器人关节模组407和末端夹持器408;
机械臂底座401的底部安装到机械臂安装孔位A2;第一机器人关节模组405装配到机械臂底座401上面;第一关节连接杆402的一端与第一机器人关节模组405一体成形;进而通过第一机器人关节模组405,实现第一关节连接杆402和机械臂底座401之间的铰接;
第二关节连接杆403和第一关节连接杆402的关节位置安装第二机器人关节模组406,实现第二关节连接杆403和第一关节连接杆402之间的铰接;
第二关节连接杆403和第三关节连接杆404的关节位置安装第三机器人关节模组407,实现第二关节连接杆403和第三关节连接杆404之间的铰接;
第三关节连接杆404的末端安装末端夹持器408;
其中,第一机器人关节模组405、第二机器人关节模组406和第三机器人关节模组407均设置有模组防护壳409和模组防护盖410;
第一机器人关节模组405、第二机器人关节模组406和第三机器人关节模组407均包括关节电机和关节驱动器。
实际应用中,关节连接杆用于连接和传递结构动力,通过铝合金机械加工制成;
第一机器人关节模组405、第二机器人关节模组406和第三机器人关节模组407均设置有模组防护壳409和模组防护盖410;模组防护壳和模组防护盖均采用DSM IMAGE8000树脂3D打印,用于保护关节电机、驱动器等组件不受外力损坏,同时避免电机驱动器集成电路板被灰尘污染。
末端夹持器408采用robotiq-85;关节模组采用TECHROBOTS(泰科机器人)公司的RJUZ-14,能够提供21.2Nm的平均负载转矩。
该轻质3自由度机械臂总质量约为5.60kg,其操作范围为0-840mm,有地面重力条件下1kg操作能力,具有月球重力下10kg操作能力。
(五)电源系统500
电源系统500用于为月面舱外辅助作业机器人的各个用电部件供电;机器人的用电设备主要包括机器人远程指控中心(Nvidia的Jetson TX2),双目立体视觉相机,4个车轮驱动电机,用于构成颈部云台的2个电机,3个机械臂关节电机,1个太阳伺服电机和1个末端夹持器以及其他通信转换模块等。
参考图18,电源系统500包括独立的可充电的锂电池、主动伺服太阳电池板和电源控制器;
主动伺服太阳电池板包括太阳电池板和太阳电池板驱动电机,太阳电池板驱动电机用于驱动太阳电池板转动,调节太阳电池板的姿态;电源控制器用于接收主动伺服太阳电池板或外界有线电能,并向可充电的锂电池的充电;
实际应用中,锂电池型号采用48V,864Wh,其尺寸为260×130×70mm,重约12kg。根据设计,每次充电后机器人可以独立依靠锂电池满足其地面重力条件下连续作业5.6小时。太阳电池板为一种具备单自由度姿态调整能力的单晶硅太阳电池板,安装在机器人电气箱后侧,其驱动电机采用FTE-36GP,采用24VDC供电,电压具有5Nm的力矩输出能力。太阳电池板的垂直入射转换平均效率约为20%,尺寸为0.2×0.4m,通过单个自由度太阳主动伺服可以实现14.06W的平均输入功率。当锂电池电能耗尽时,机器人的太阳电池板可以继续支持其自身伺服控制,中心计算机正常开机工作和通信,以及双目相机的图像采机、处理能力。
可充电的锂电池的供电主干线分为多个支路,分别向各个用电部件供电,进而避免各个用电部件的相互干扰;每个支路均包括DC/DC模块,用于降压和稳压。
作为一种具体实现方式,锂电池组的供电主干线输出进一步分为6个支路对所有的用电部件进行供电,从而避免相互干扰。每个支路上,将干路电压模拟信号通过一个DC/DC模块进行降压和稳压后,输入到用电用电部件控制器。其中,双目相机通过USB线连接到远程指控中心TX2获取电能。根据设计,当机器人全部用电器同步工作在设计工况下时,整个机器人的功耗约为395.0W,其中,车轮电机和机械臂用电需求最大,占据了整个机器人全部功耗的92.8%。考虑机器人车轮、机械臂和颈部机动工作的间歇性,整个机器人的平均功耗约为153.6W。为机器人的电源系统增加一个人工紧急断电开关,当机器人的执行机构发生不正常动作时,可以人工实现快速紧急断电,从而避免错误动作引起的机器人系统的损坏或环境中其他设施的破坏。
(六)控制系统600
控制系统600是其运动、感知和作业功能实现的核心,包括硬件部分和软件部分。
控制系统600硬件部分包括远程指控中心、平台运动下位机控制器、各执行机构控制器和通信接口;
其中,远程指控中心采用Nvidia的Jetson TX2计算机,是一款性能强悍的小体积计算机,其包含了2个Denver 2CPU核心和4个ARM A57核心,同时具有256个NVIDIA CUDA核心的独立GPU,采用12VDC供电,其峰值功率为15W,在机器人进行人机交互、运动规划和作业规划时都不需要增加额外的计算能力。依赖TX2开发板可以提供USB2.0,USB3.0,I2C,CAN,UART以及WIFI、蓝牙等多种通信接口,能够支持机器人各个子系统之间的通信。
执行机构控制器包括车轮电机控制器、太阳伺服电机控制器、机械臂关节模组控制器、两指夹持器控制器和云台电机控制器。
车轮电机控制器和太阳伺服电机控制器通过CAN总线串联,并汇总到平台运动下位机控制器进行通信协议的转换后,最终与远程指控中心采用串口通信;例如,车轮电机控制器和太阳伺服电机控制器均采用FTE MD-BDC-X1-24控制器,可以较好的匹配FTE电机的电气特性。车轮电机控制器通过采集光电编码器测量数据,从而实现速度控制闭环。车轮电机控制器和太阳伺服电机控制器进一步通过CAN总线串联,并汇总到一个ARM COTEX-M下位机进行通信协议的转换,其与机器人远程指控中心TX2之间采用RS232串口通信。
云台电机控制器内嵌在两自由度主动伺服云台303的云台电机内部,云台电机控制器与远程指控中心采用串口通信,例如,采用TTL串口通信;
两指夹持器控制器与远程指控中心之间通过RS484等通信接口实现通信;机械臂关节模组控制器与远程指控中心之间通过CAN总线通信;第一机器人关节模组405、第二机器人关节模组406和第三机器人关节模组407之间通过CAN总线串联,再与机械臂关节模组控制器连接。
本发明还提供一种月面舱外辅助作业机器人的操控方法,远程指控中心为月面舱外辅助作业机器人设计两种控制模式,分别是遥操作模式和现场人机交互模式;
在遥操作模式下,月面舱外辅助作业机器人的控制和执行需要紧密依赖远程指控中心的操作人员,操作人员通过远程指控中心对月面舱外辅助作业机器人的各个执行机构进行操控;操作人员所在的远程控制中心在未来真实的月面应用中可以是地面测控站、月球轨道空间站或月面居住舱和月球着陆器。
具体的,月面舱外辅助作业机器人在遥操作模式下,其感知和作业执行的控制需要紧密依赖远程控制中心的操作人员,操作人员可以操控到机器人全身的每一个关节电机。具体的,如图19所示,为月面舱外辅助作业机器人遥操作控制模式的信息流图。具体方式如下:
1)首先,在机器人本地的机载计算机、运动系统200、视觉感知系统300和作业系统400均上电工作的情况下,视觉感知系统300的双目立体视觉相机301在当前姿态下对视野内场景进行成像,即对视野内的航天员和地形环境情况进行拍照记录,得到监控图像,并将监控图像实时传输到机载计算机;
2)机载计算机利用OpenCV工具软件对监控图像进行均值滤波,从而去除监控图像中的噪声,然后进行降采样,缩小图像尺寸,从而加速计算机的图像处理和网络传输;最后对监控图像进行进一步平滑滤波处理,使得监控图像更容易被人类判读和理解,得到处理后的监控图像;
3)机载计算机将处理后的监控图像通过无线电实时传输到远程指控中心,并在远程指控中心的操作界面上实时显示;
4)远程指控中心人员通过操作界面上实时显示的机器人视野内的监控图像,进行当前作业场景的人工判读,并依靠远程指控中心人员的知识经验,对当前航天员的运动状态、工作状态和协作需求、航天员和机器人周边路况、航天员的肢体动作指令、机器人与航天员的间距、航天员在机器人视野中的位置、以及机器人周围的地形与障碍物分布情况进行综合判读,并给出用于当前状态的控制指令;其中,所述控制指令来源于机器人控制指令库,包括机器人运动控制指令,机器人主动颈部控制指令,机械臂控制指令,太阳电池板伺服控制指令;其中:机器人运动控制指令包括:低速向前指令,高速向前指令,低速向后指令,原地左转指令和原地右转指令;机器人主动颈部控制指令包括:俯仰顺时针转指令,俯仰逆时针转指令,偏航顺时针转指令,偏航逆时针转指令;机械臂控制指令包括:末端前移指令,末端后移指令,末端左移指令,末端右移指令,末端上移指令,末端下移指令,夹持器开指令,夹持器合指令;太阳电池板伺服控制指令包括顺时针转指令、逆时针转指令;
所述控制指令进行编码并存储在远程指控中心和机载计算机中,以供指令下达和指令解析;
5)远程指控中心人员将控制指令通过无线电发布到机器人的机载计算机,用于指导控制机器人执行下一步动作;
6)机器人的机载计算机接收到指控指令后,对其进行编码,得到编码后的指控指令;然后,将编码后的指控指令提交到指令解析与任务生成模块;
指令解析与任务生成模块对指控指令进行解析和分解,生成机器人各分系统执行机构需要执行的目标动作和目标控制量;
具体的,指令解析与任务生成模块通过查找机载计算机指令编码库,将遥控指令编码在机载计算机指令编码库中进行对照检查,得到指控指令和控制动作的对应关系,并将各分系统动作控制目标输出到平台运动控制、机械臂操作控制、颈部主动伺服控制、太阳电池板伺服控制分系统执行机构;
A1)机器人的运动控制目标首先通过平台规划软件转化为四个车轮电机的转速分配信息,然后再将每个车轮电机的实时转速数据提供给相应的电机控制器,从而实现车轮电机按照预期转速进行转动;
实际应用中,平台运动规划软件的功能是将平台运动的控制目标求解为四个机器人车轮电机的转速信息。平台运动规划软件采用深度强化学习算法实现。
A2)机器人的机械臂操作控制目标中关于机械臂末端位置移动的控制指令,通过机械臂逆运动求解软件转化为每个机械臂关节的目标位置改变量,然后提交到各关节模组的控制器,实现关节电机沿着目标角度位置进行转动;
实际应用中,机械臂逆运动求解软件的功能是将机械臂末端的控制目标(前移、后移、左移、右移、上移、下移)解算为三个关节的角度位置变化量,提供给关节模组的控制器进行关节位置模式控制。机械臂逆运动求解软件采用BP神经网络算法实现。
A3)机器人机械臂操作控制目标中关于夹持器开合状态的控制指令直接提供到夹持器控制器,实现夹持动作执行;
A4)机器人颈部电机有两种工作方式,第一种:直接接受来自指令解析与任务生成模块的颈部伺服控制指令;第二种:基于目标伺服控制软件进行自动的航天员视觉跟随;具体的,目标伺服控制软件在机器人视野中寻找到航天员,并自动控制颈部云台,保持双目视觉对人体的视觉跟随,即保持人体始终位于机器人视野中央;
实际应用中,目标伺服控制软件采用SSD深度学习目标检测算法实现。利用SSD算法在图像中检测出航天员的位置,得到图中航天员位置相对于帧中心在两个方向上的偏离方向,然后进一步得到颈部云台的控制目标。每一帧中航天员位置偏离的四个方向分别对应颈部云台的四个控制指令,包括俯仰顺时针转、俯仰逆时针转、偏航顺时针转、偏航逆时针转。
A5)当机器人执行来自远程指控中心的控制指令后,重复1)-6),进行连续的“人在回路”闭环遥操作,直到一次辅助任务结束;
月面舱外辅助作业机器人在现场人机交互模式下,机器人在其机器视觉感知的基础上进行在线的作业场景理解和人机交互,并进行自主的动作规划和执行决策;现场人机交互模式自主化程度更高,其主要依赖一些智能识别和认知软件,主要包括环境认知和现场人机交互;
如图20所示,为月面舱外辅助作业机器人现场人机交互控制模式的信息流图。现场人机交互模式具体为:
1)首先,在机器人本地的机载计算机、运动系统200、视觉感知系统300和作业系统400均上电工作的情况下,视觉感知系统300的双目立体视觉相机301在当前姿态下对视野内场景进行成像,即对视野内的航天员和地形环境情况进行拍照记录,并将左右两个镜头分别采集到的监控图像传输到机器人的机载计算机;
2)机载计算机利用ZED SDK工具软件,根据左右相机采集到的彩色图像解算出深度图像,即计算出彩色图像中各像素点对应的物理实物距离相机相平面的距离;彩色图像和深度图像合称为RGB-D图像;
3)然后,机载计算机利用OpenCV工具软件对彩色图像进行均值滤波,从而去除彩色图像中的噪声;然后对彩色图像和深度图像分别进行降采样,缩小RGB-D图像尺寸,从而加速计算机的图像处理速度;最后对RGB-D图像进行进一步平滑滤波处理,得到预处理后的图像;
4)预处理后的图像一方面提供给现场人机交互软件,用于航天员行为指令的识别和意图理解,包括航天员手势指令和肢体动作指令;现场人机交互软件通过SSD目标检测算法识别出航天员的行为指令;其中,行为指令包括手势指令和肢体动作指令;通过行为指令可传达协作意图;航天员的行为指令来源于机器人控制指令库,包括机器人运动控制指令,机器人主动颈部控制指令,机械臂控制指令,太阳电池板伺服控制指令;
机器人运动控制指令包括:低速向前指令,高速向前指令,低速向后指令,原地左转指令,原地右转指令和保持静止指令;
机器人主动颈部控制指令包括:俯仰顺时针转指令,俯仰逆时针转指令,偏航顺时针转指令,偏航逆时针转指令和保持静止指令;
机器人的机械臂控制指令包括:末端前移指令,末端后移指令,末端左移指令,末端右移指令,末端上移指令,末端下移指令,夹持器开指令,夹持器合指令和保持静止指令;
机器人太阳电池板伺服控制指令包括顺时针转指令、逆时针转指令和保持静止指令;
5)预处理后的图像另一方面提供给环境认知软件进行场景理解,识别出图像中的航天员,作业工具和障碍物,并根据深度图像计算出各要素的三维空间位置;
具体的,环境认知软件依靠YOLO V3多目标检测检测算法识别出图像中的航天员、作业工具、石块、坑道等障碍物,然后根据每个目标在图像坐标处的深度值,通过三角变换求解出各个目标的三维空间位置,从而获得包含人员、障碍物、工具和各元素相对位置关系信息的语义场景图;
环境认知软件获得的语义场景图为机器人运动控制提供指导和约束;具体的,当机器人周围存在障碍物距离小于设定的安全阈值时,环境认知软件指导机器人远离该障碍物运动,其指导信号来源于机器人控制指令库;当航天员与机器人的距离超出双目相机对航天员最佳成像距离范围的最大值时,指导机器人朝着靠近航天员的方向运动;当航天员与机器人的距离不足双目相机对航天员最佳成像距离范围最小值时,指导机器人朝着远离航天员的方向运动,其指导信号来源于机器人控制指令库;
6)机器人机载计算机将航天员行为指令的识别结果和环境认知的指导控制指令转化为控制指令编码,将控制指令编码提交到指令解析与任务生成模块;
指令解析与任务生成模块对控制指令编码进行解析和分解,生成机器人各分系统执行机构需要执行的目标动作和目标控制量;
具体的,指令解析与任务生成模块将控制指令编码在机载计算机指令编码库中进行对照检查,查找到动作指令和控制动作的对应关系,并将各分系统动作控制目标输出到平台运动控制、机械臂操作控制、颈部主动伺服控制、太阳电池板伺服控制分系统执行机构;
B1)机器人的运动控制目标首先通过平台规划软件转化为四个车轮电机的转速分配信息,然后再将每个车轮电机的实时转速数据提供给相应的电机控制器,从而实现实时电机按照预期转速进行转动;
实际应用中,平台运动规划软件的功能是将平台运动的控制目标求解为四个机器人车轮电机的转速信息。平台运动规划软件采用深度强化学习算法实现。
B2)机器人的机械臂操作控制目标中关于机械臂末端位置移动的控制指令,通过机械臂逆运动求解软件转化为每个机械臂关节的目标位置改变量,然后提交到各关节模组的控制器,实现关节电机沿着目标角度位置进行转动;
实际应用中,机械臂逆运动求解软件的功能是将机械臂末端的控制目标(前移、后移、左移、右移、上移、下移)解算为三个关节的角度位置变化量,提供给关节模组的控制器进行关节位置模式控制。机械臂逆运动求解软件采用BP神经网络算法实现。
B3)机器人机械臂操作控制目标中关于夹持器开合状态的控制指令直接提供到夹持器控制器,实现夹持动作执行。
B4)机器人颈部电机有两种工作方式,第一种:直接接受来自指令解析与任务生成模块的颈部伺服控制指令;第二种:基于目标伺服控制软件进行自动的航天员视觉跟随;具体的,目标伺服控制软件在机器人视野中寻找到航天员,并自动控制颈部云台,保持双目视觉对人体的视觉跟随,即保持人体始终位于机器人视野中央;
实际应用中,目标伺服控制软件采用SSD深度学习目标检测算法实现。利用SSD算法在图像中检测出航天员的位置,得到图中航天员位置相对于帧中心在两个方向上的偏离方向,然后进一步得到颈部云台的控制目标。每一帧中航天员位置偏离的四个方向分别对应颈部云台的四个控制指令,包括俯仰顺时针转、俯仰逆时针转、偏航顺时针转、偏航逆时针转。
B5)当机器人执行当前控制指令后,重复1)-6),进行连续的大闭环感知、认知、控制和执行,直到一次辅助任务结束。
基于本发明提供的月面舱外辅助作业机器人及其操控方法,设计了一种月面舱外活动辅助机器人原理样机,用于支持月面航天员辅助任务设计和机器人自主控制问题的研究。
本发明提供的月面舱外辅助作业机器人及其操控方法,具有以下优点:
(1)该机器人设计中考虑了月面行驶、作业环境和人机协作约束,具有一个异步自平稳被动悬架系统和沙漠车轮,具备月面地形高效行走能力;
(2)具有主动伺服控制的立体视觉相机,具备对周边环境和人员的感知和测量能力;
(3)具有三自由度轻质作业载荷,具有月球重力下10kg操作能力;
(4)机器人具有遥操作模式和现场人机交互控制模式,能够在人机联合探月团队中为航天员提供有效辅助。
因此,月面舱外辅助作业机器人具有体积小,质量轻,结构紧凑,系统可靠性高的优点。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本发明的保护范围。
Claims (8)
1.一种月面舱外辅助作业机器人,其特征在于,所述月面舱外辅助作业机器人为左右对称结构,包括:承力机身(100)、运动系统(200)、视觉感知系统(300)、作业系统(400)、电源系统(500)和控制系统(600);
所述承力机身(100)包括机身承力架(101)和不锈钢蒙皮(102);所述机身承力架(101)的外面包覆所述不锈钢蒙皮(102);其中,所述机身承力架(101)包括左侧承力板(1011)、右侧承力板(1012)、上层载荷安装板(1013)、中层载荷安装板(1014)和下层载荷安装板(1015);所述左侧承力板(1011)和所述右侧承力板(1012)左右对称竖向设置;在所述左侧承力板(1011)和所述右侧承力板(1012)之间,自上向下,水平依次设置所述上层载荷安装板(1013)、所述中层载荷安装板(1014)和所述下层载荷安装板(1015);
其中,所述上层载荷安装板(1013)的表面预留相机桅杆安装孔位(A1);所述中层载荷安装板(1014)的表面预留机械臂安装孔位(A2);并且,所述机械臂安装孔位(A2)位于所述相机桅杆安装孔位(A1)的前方;所述左侧承力板(1011)和所述右侧承力板(1012)的中央位置,均预留弹簧挂件安装孔位(A3)和双边滚珠轴承安装孔位(A4);所述机身承力架(101)的后侧预留太阳电池板安装孔位(A5);
所述运动系统(200)包括左运动单元和右运动单元;所述左运动单元和所述右运动单元为左右对称结构,所述左运动单元设置于所述承力机身(100)的左侧,并与所述左侧承力板(1011)连接安装;所述右运动单元设置于所述承力机身(100)的右侧,并与所述右侧承力板(1012)连接安装;
其中,所述左运动单元和右运动单元的结构均包括:异步自平稳悬架系统(201)、第一月面车轮系统(202)和第二月面车轮系统(203);
所述异步自平稳悬架系统(201)包括倒U型被动摇臂(2011)、第一压缩弹簧组(2012)、第二压缩弹簧组(2013)、弹簧组挂装连接件(2014)和双边滚珠轴承(2015);
所述倒U型被动摇臂(2011)采用圆形镂空设计,所述倒U型被动摇臂(2011)的中心处通过所述双边滚珠轴承(2015),可转动的装配到所述承力机身(100)的对应侧的双边滚珠轴承安装孔位(A4),使所述倒U型被动摇臂(2011)可相对于所述承力机身(100)转动;所述倒U型被动摇臂(2011)的两端,各安装所述第一月面车轮系统(202)和所述第二月面车轮系统(203);所述弹簧组挂装连接件(2014)装配到所述承力机身(100)的对应侧的弹簧挂件安装孔位(A3);所述第一压缩弹簧组(2012)和所述第二压缩弹簧组(2013)对称分布,所述第一压缩弹簧组(2012)的一端与所述弹簧组挂装连接件(2014)连接;所述第一压缩弹簧组(2012)的另一端与所述倒U型被动摇臂(2011)的前部连接;所述第二压缩弹簧组(2013)的一端与所述弹簧组挂装连接件(2014)连接;所述第二压缩弹簧组(2013)的另一端与所述倒U型被动摇臂(2011)的后部连接,进而实现所述倒U型被动摇臂(2011)和所述承力机身(100)的铰接;通过双边滚珠轴承(2015)的支撑力、第一压缩弹簧组(2012)的压力和第二压缩弹簧组(2013)的压力,保持异步自平稳悬架系统(201)和承力机身(100)的相对位置构型;
所述运动系统(200)共配置四个月面车轮系统;每个月面车轮系统为独立车轮系统,通过轮间差速实现转向机动;
所述视觉感知系统(300)包括双目立体视觉相机(301)、相机遮光罩(302)、两自由度主动伺服云台(303)、云台防尘罩(304)和空心相机桅杆(305);
所述两自由度主动伺服云台(303)的上方安装所述双目立体视觉相机(301),用于控制所述双目立体视觉相机(301)在俯仰和偏航通道的主动姿态,进而实现机器人周围全部空间的感知覆盖能力;所述双目立体视觉相机(301)的外面设置所述相机遮光罩(302);所述两自由度主动伺服云台(303)的外面设置所述云台防尘罩(304);所述空心相机桅杆(305)的顶端装配所述两自由度主动伺服云台(303);所述空心相机桅杆(305)的底部装配到所述相机桅杆安装孔位(A1);
所述作业系统(400)为实现机器人辅助作业能力的执行机构,为一种基于关节模组的轻质三自由度机械臂,包括机械臂底座(401)、第一关节连接杆(402)、第二关节连接杆(403)、第三关节连接杆(404)、第一机器人关节模组(405)、第二机器人关节模组(406)、第三机器人关节模组(407)和末端夹持器(408);
所述机械臂底座(401)的底部安装到所述机械臂安装孔位(A2);所述第一机器人关节模组(405)装配到所述机械臂底座(401)上面;所述第一关节连接杆(402)的一端与所述第一机器人关节模组(405)一体成形;进而通过所述第一机器人关节模组(405),实现所述第一关节连接杆(402)和所述机械臂底座(401)之间的铰接;
所述第二关节连接杆(403)和所述第一关节连接杆(402)的关节位置安装所述第二机器人关节模组(406),实现所述第二关节连接杆(403)和所述第一关节连接杆(402)之间的铰接;
所述第二关节连接杆(403)和所述第三关节连接杆(404)的关节位置安装所述第三机器人关节模组(407),实现所述第二关节连接杆(403)和所述第三关节连接杆(404)之间的铰接;
所述第三关节连接杆(404)的末端安装所述末端夹持器(408);
其中,所述第一机器人关节模组(405)、所述第二机器人关节模组(406) 和所述第三机器人关节模组(407)均设置有模组防护壳(409)和模组防护盖(410);
所述电源系统(500)用于为所述月面舱外辅助作业机器人的各个用电部件供电;所述电源系统(500)包括可充电的锂电池、主动伺服太阳电池板和电源控制器;
所述主动伺服太阳电池板包括太阳电池板和太阳电池板驱动电机,所述太阳电池板驱动电机用于驱动所述太阳电池板转动,调节所述太阳电池板的姿态;所述电源控制器用于接收所述主动伺服太阳电池板或外界有线电能,并向所述可充电的锂电池充电;
所述控制系统(600)包括远程指控中心、平台运动下位机控制器、各执行机构控制器和通信接口;其中,所述执行机构控制器包括车轮电机控制器、太阳伺服电机控制器、机械臂关节模组控制器、两指夹持器控制器和云台电机控制器。
2.根据权利要求1所述的月面舱外辅助作业机器人,其特征在于,每个月面车轮系统包括月面车轮(B1)、直流电机(B2)、行星减速器(B3)、光电编码器(B4)、电机承力外壳(B5)、摇臂末端连接件(B6)和联轴器(B7);
所述直流电机(B2)依次通过所述行星减速器(B3)和所述联轴器(B7)后,与所述月面车轮(B1)的月面轮毂实现动力传递连接;
所述直流电机(B2)的后方安装所述光电编码器(B4),所述光电编码器(B4)用于测量车轮角度位置;
所述电机承力外壳(B5)用于装配所述直流电机(B2)、所述行星减速器(B3)和所述光电编码器(B4);同时,所述电机承力外壳(B5)的一侧通过所述摇臂末端连接件(B6),装配到所述倒U型被动摇臂(2011)的一端。
3.根据权利要求2所述的月面舱外辅助作业机器人,其特征在于,所述月面车轮(B1)包括圆柱轮套(B11)、T型凸齿(B12)和硅胶垫片(B13);所述圆柱轮套(B11)通过挖空和镂空实现减重;所述圆柱轮套(B11)的表面周向通过螺钉固定安装多个中心对称的T型凸齿(B12),用于增大车轮与路面的静摩擦力,同时有利于限制车体在车轮轴线方向的无效滑动;在所述T型凸齿(B12)和圆柱体轮面之间填充安装所述硅胶垫片(B13),进而增加车轮的弹性。
4.根据权利要求1所述的月面舱外辅助作业机器人,其特征在于,所述两自由度主动伺服云台(303)和所述双目立体视觉相机(301)的供电线缆和通信线缆布设于所述空心相机桅杆(305)的内部。
5.根据权利要求1所述的月面舱外辅助作业机器人,其特征在于,所述第一机器人关节模组(405)、所述第二机器人关节模组(406)和所述第三机器人关节模组(407)均包括关节电机和关节驱动器。
6.根据权利要求1所述的月面舱外辅助作业机器人,其特征在于,所述可充电的锂电池的供电主干线分为多个支路,分别向各个用电部件供电,进而避免各个用电部件的相互干扰;每个支路均包括DC/DC模块,用于降压和稳压。
7.根据权利要求1所述的月面舱外辅助作业机器人,其特征在于,所述车轮电机控制器和所述太阳伺服电机控制器通过CAN总线串联,并汇总到所述平台运动下位机控制器进行通信协议的转换后,最终与所述远程指控中心采用串口通信;
所述云台电机控制器内嵌在所述两自由度主动伺服云台(303)的云台电机内部,所述云台电机控制器与所述远程指控中心采用串口通信;所述两指夹持器控制器与所述远程指控中心之间通过通信接口实现通信;所述机械臂关节模组控制器与所述远程指控中心之间通过CAN总线通信;所述第一机器人关节模组(405)、所述第二机器人关节模组(406)和所述第三机器人关节模组(407)之间通过CAN总线串联,再与所述机械臂关节模组控制器连接。
8.一种权利要求1-7任一项所述的月面舱外辅助作业机器人的操控方法,其特征在于,远程指控中心为月面舱外辅助作业机器人设计两种控制模式,分别是遥操作模式和现场人机交互模式;
在遥操作模式下,月面舱外辅助作业机器人的控制和执行需要紧密依赖远程指控中心的操作人员,操作人员通过远程指控中心对月面舱外辅助作业机器人的各个执行机构进行操控;具体方式如下:
1)首先,在机器人本地的机载计算机、运动系统(200)、视觉感知系统(300)和作业系统(400)均上电工作的情况下,视觉感知系统(300)的双目立体视觉相机(301)在当前姿态下对视野内场景进行成像,即对视野内的航天员和地形环境情况进行拍照记录,得到监控图像,并将监控图像实时传输到机载计算机;
2)机载计算机利用OpenCV工具软件对监控图像进行均值滤波,从而去除监控图像中的噪声,然后进行降采样,缩小图像尺寸,从而加速计算机的图像处理和网络传输;最后对监控图像进行进一步平滑滤波处理,使得监控图像更容易被人类判读和理解,得到处理后的监控图像;
3)机载计算机将处理后的监控图像通过无线电实时传输到远程指控中心,并在远程指控中心的操作界面上实时显示;
4)远程指控中心人员通过操作界面上实时显示的机器人视野内的监控图像,进行当前作业场景的人工判读,并依靠远程指控中心人员的知识经验,对当前航天员的运动状态、工作状态和协作需求、航天员和机器人周边路况、航天员的肢体动作指令、机器人与航天员的间距以及航天员在机器人视野中的位置进行综合判读,并给出用于当前状态的控制指令;其中,所述航天员和机器人周边路况包括机器人周围的地形与障碍物分布情况;所述控制指令来源于机器人控制指令库,包括机器人运动控制指令,机器人主动颈部控制指令,机械臂控制指令,太阳电池板伺服控制指令;其中:机器人运动控制指令包括:低速向前指令,高速向前指令,低速向后指令,原地左转指令和原地右转指令;机器人主动颈部控制指令包括:俯仰顺时针转指令,俯仰逆时针转指令,偏航顺时针转指令,偏航逆时针转指令;机械臂控制指令包括:末端前移指令,末端后移指令,末端左移指令,末端右移指令,末端上移指令,末端下移指令,夹持器开指令,夹持器合指令;太阳电池板伺服控制指令包括顺时针转指令、逆时针转指令;
所述控制指令进行编码并存储在远程指控中心和机载计算机中,以供指令下达和指令解析;
5)远程指控中心人员将控制指令通过无线电发布到机器人的机载计算机,用于指导控制机器人执行下一步动作;
6)机器人的机载计算机接收到控制指令后,对其进行编码,得到编码后的控制指令;然后,将编码后的控制指令提交到指令解析与任务生成模块;
指令解析与任务生成模块对控制指令进行解析和分解,生成机器人各分系统执行机构需要执行的目标动作和目标控制量;
具体的,指令解析与任务生成模块通过查找机载计算机指令编码库,得到控制指令和控制动作的对应关系,并将各分系统动作控制目标输出到平台运动控制、机械臂操作控制、颈部主动伺服控制、太阳电池板伺服控制分系统执行机构;
A1)机器人的运动控制目标首先通过平台规划软件转化为四个车轮电机的转速分配信息,然后再将每个车轮电机的实时转速数据提供给相应的电机控制器,从而实现车轮电机按照预期转速进行转动;
A2)机器人的机械臂操作控制目标中关于机械臂末端位置移动的控制指令,通过机械臂逆运动求解软件转化为每个机械臂关节的目标位置改变量,然后提交到各关节模组的控制器,实现关节电机沿着目标角度位置进行转动;
A3)机器人机械臂操作控制目标中关于夹持器开合状态的控制指令直接提供到夹持器控制器,实现夹持动作执行;
A4)机器人颈部电机有两种工作方式,第一种:直接接受来自指令解析与任务生成模块的颈部伺服控制指令;第二种:基于目标伺服控制软件进行自动的航天员视觉跟随;具体的,目标伺服控制软件在机器人视野中寻找到航天员,并自动控制颈部云台,保持双目视觉对人体的视觉跟随,即保持人体始终位于机器人视野中央;
A5)当机器人执行来自远程指控中心的控制指令后,重复1)-6),进行连续的“人在回路”闭环遥操作,直到一次辅助任务结束;
月面舱外辅助作业机器人在现场人机交互模式下,机器人在其机器视觉感知的基础上进行在线的作业场景理解和人机交互,并进行自主的动作规划和执行决策;主要包括环境认知和现场人机交互;具体方式如下:
1)首先,在机器人本地的机载计算机、运动系统(200)、视觉感知系统(300)和作业系统(400)均上电工作的情况下,视觉感知系统(300)的双目立体视觉相机(301)在当前姿态下对视野内场景进行成像,即对视野内的航天员和地形环境情况进行拍照记录,并将左右两个镜头分别采集到的监控图像传输到机器人的机载计算机;
2)机载计算机利用ZED SDK工具软件,根据左右相机采集到的彩色图像解算出深度图像,即计算出彩色图像中各像素点对应的物理实物距离相机相平面的距离;彩色图像和深度图像合称为RGB-D图像;
3)然后,机载计算机利用OpenCV工具软件对彩色图像进行均值滤波,从而去除彩色图像中的噪声;然后对彩色图像和深度图像分别进行降采样,缩小RGB-D图像尺寸,从而加速计算机的图像处理速度;最后对RGB-D图像进行进一步平滑滤波处理,得到预处理后的图像;
4)预处理后的图像一方面提供给现场人机交互软件,用于航天员行为指令的识别和意图理解,包括航天员手势指令和肢体动作指令;现场人机交互软件通过SSD目标检测算法识别出航天员的行为指令;其中,行为指令包括手势指令和肢体动作指令;通过行为指令可传达协作意图;航天员的行为指令来源于机器人控制指令库,包括机器人运动控制指令,机器人主动颈部控制指令,机械臂控制指令,太阳电池板伺服控制指令;
机器人运动控制指令包括:低速向前指令,高速向前指令,低速向后指令,原地左转指令,原地右转指令和保持静止指令;
机器人主动颈部控制指令包括:俯仰顺时针转指令,俯仰逆时针转指令,偏航顺时针转指令,偏航逆时针转指令和保持静止指令;
机器人的机械臂控制指令包括:末端前移指令,末端后移指令,末端左移指令,末端右移指令,末端上移指令,末端下移指令,夹持器开指令,夹持器合指令和保持静止指令;
机器人太阳电池板伺服控制指令包括顺时针转指令、逆时针转指令和保持静止指令;
5)预处理后的图像另一方面提供给环境认知软件进行场景理解,识别出图像中的航天员,作业工具和障碍物,并根据深度图像计算出各要素的三维空间位置;
具体的,环境认知软件依靠YOLO V3多目标检测检测算法识别出图像中的航天员、作业工具和坑道障碍物,其中,所述坑道障碍物包括石块;然后根据每个目标在图像坐标处的深度值,通过三角变换求解出各个目标的三维空间位置,从而获得包含人员、障碍物、工具和各元素相对位置关系信息的语义场景图;
环境认知软件获得的语义场景图为机器人运动控制提供指导和约束;具体的,当机器人周围存在障碍物距离小于设定的安全阈值时,环境认知软件指导机器人远离该障碍物运动,其指导信号来源于机器人控制指令库;当航天员与机器人的距离超出双目相机对航天员最佳成像距离范围的最大值时,指导机器人朝着靠近航天员的方向运动;当航天员与机器人的距离不足双目相机对航天员最佳成像距离范围最小值时,指导机器人朝着远离航天员的方向运动,其指导信号来源于机器人控制指令库;
6)机器人机载计算机将航天员行为指令的识别结果和环境认知的指导控制指令转化为控制指令编码,将控制指令编码提交到指令解析与任务生成模块;
指令解析与任务生成模块对控制指令编码进行解析和分解,生成机器人各分系统执行机构需要执行的目标动作和目标控制量;
具体的,指令解析与任务生成模块将控制指令编码在机载计算机指令编码库中进行对照检查,查找到动作指令和控制动作的对应关系,并将各分系统动作控制目标输出到平台运动控制、机械臂操作控制、颈部主动伺服控制、太阳电池板伺服控制分系统执行机构;
B1)机器人的运动控制目标首先通过平台规划软件转化为四个车轮电机的转速分配信息,然后再将每个车轮电机的实时转速数据提供给相应的电机控制器,从而实现实时电机按照预期转速进行转动;
B2)机器人的机械臂操作控制目标中关于机械臂末端位置移动的控制指令,通过机械臂逆运动求解软件转化为每个机械臂关节的目标位置改变量,然后提交到各关节模组的控制器,实现关节电机沿着目标角度位置进行转动;
B3)机器人机械臂操作控制目标中关于夹持器开合状态的控制指令直接提供到夹持器控制器,实现夹持动作执行。
B4)机器人颈部电机有两种工作方式,第一种:直接接受来自指令解析与任务生成模块的颈部伺服控制指令;第二种:基于目标伺服控制软件进行自动的航天员视觉跟随;具体的,目标伺服控制软件在机器人视野中寻找到航天员,并自动控制颈部云台,保持双目视觉对人体的视觉跟随,即保持人体始终位于机器人视野中央;
B5)当机器人执行当前控制指令后,重复1)-6),进行连续的大闭环感知、认知、控制和执行,直到一次辅助任务结束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110013534.8A CN112847363B (zh) | 2021-01-06 | 2021-01-06 | 月面舱外辅助作业机器人及其操控方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110013534.8A CN112847363B (zh) | 2021-01-06 | 2021-01-06 | 月面舱外辅助作业机器人及其操控方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112847363A CN112847363A (zh) | 2021-05-28 |
CN112847363B true CN112847363B (zh) | 2022-02-15 |
Family
ID=76004293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110013534.8A Expired - Fee Related CN112847363B (zh) | 2021-01-06 | 2021-01-06 | 月面舱外辅助作业机器人及其操控方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112847363B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113254076B (zh) * | 2021-06-15 | 2023-07-28 | 北京航天飞行控制中心 | 一种地外天体表面巡视器操控自动化监视的方法 |
CN113733118B (zh) * | 2021-09-10 | 2023-05-26 | 中山大学 | 一种带柔性臂的空间站舱外服务机器人及其工作方法 |
CN116880515B (zh) * | 2023-09-07 | 2023-11-14 | 新石器慧通(北京)科技有限公司 | 一种车辆遥控控制方法、装置及无人车 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101173858B (zh) * | 2007-07-03 | 2010-06-02 | 北京控制工程研究所 | 一种月面巡视探测器的三维定姿与局部定位方法 |
CN104108475A (zh) * | 2014-06-30 | 2014-10-22 | 上海宇航系统工程研究所 | 一种多功能载人月球车 |
CN105818149B (zh) * | 2016-04-28 | 2018-11-23 | 歌尔股份有限公司 | 一种服务机器人及其控制方法 |
CN107088869B (zh) * | 2017-04-20 | 2019-10-25 | 哈尔滨工业大学 | 一种用于环境感知的模块化全方位移动机器人 |
CN110362201B (zh) * | 2019-07-04 | 2023-05-09 | 中国人民解放军国防科技大学 | 基于环境理解的脑机交互结构化环境控制方法、系统及介质 |
-
2021
- 2021-01-06 CN CN202110013534.8A patent/CN112847363B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN112847363A (zh) | 2021-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112847363B (zh) | 月面舱外辅助作业机器人及其操控方法 | |
JP6395835B2 (ja) | Uavのバッテリー電源バックアップシステムおよび方法 | |
Kamegawa et al. | Development of the snake-like rescue robot" kohga" | |
JP6268659B2 (ja) | Uavエネルギー交換ステーション | |
CN101774170B (zh) | 核电站作业机器人及其控制系统 | |
CN103303449B (zh) | 一种水下作业机器人 | |
CN102486648B (zh) | 一种自主移动机器人平台 | |
CN203293193U (zh) | 水中蛇形机器人装置 | |
CN103279113B (zh) | 一种分布式液压四足机器人控制系统及控制方法 | |
JP2018100088A (ja) | Uavにエネルギーを供給する方法、及びuav | |
CN107611849A (zh) | 一种自走式输电线缆巡检机器人 | |
JP6791561B2 (ja) | Uavにエネルギーを供給する方法、及び装置 | |
CN109866936B (zh) | 基于六自由度混联机构的无人机着陆回收一体化移动平台 | |
Harrison et al. | Next generation rover for lunar exploration | |
CN104057837A (zh) | 一种轻型电驱动无人地面平台 | |
CN109998431A (zh) | 墙顶清洁无人机 | |
CN110815245A (zh) | 用于迎宾的服务机器人 | |
CN113552830A (zh) | 一种使用牵引绳操控足式机器人的系统及方法 | |
CN108839822A (zh) | 一种可重复飞行轮腿复合移动机器人 | |
CN109649095B (zh) | 一种仿生鳄鱼两栖机器人 | |
CN113253742B (zh) | 可重构无人车系统 | |
CN213518000U (zh) | 轮式月球探测机器人控制装置 | |
CN105583814A (zh) | 一种可迅速拆卸和组装的机器人 | |
CN209987706U (zh) | 一种多功能救灾机器人 | |
CN107161350B (zh) | 事故处置飞行器自主续航方法及其系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220215 |
|
CF01 | Termination of patent right due to non-payment of annual fee |