CN115847491A - 一种空间在轨维修机器人目标自主测量方法 - Google Patents

一种空间在轨维修机器人目标自主测量方法 Download PDF

Info

Publication number
CN115847491A
CN115847491A CN202211468473.5A CN202211468473A CN115847491A CN 115847491 A CN115847491 A CN 115847491A CN 202211468473 A CN202211468473 A CN 202211468473A CN 115847491 A CN115847491 A CN 115847491A
Authority
CN
China
Prior art keywords
target
mechanical arm
camera
space
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211468473.5A
Other languages
English (en)
Inventor
黄剑斌
庞羽佳
张子萱
王春彦
李志�
黄良伟
蒙波
韩旭
刘立颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Space Technology CAST
Original Assignee
China Academy of Space Technology CAST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Space Technology CAST filed Critical China Academy of Space Technology CAST
Priority to CN202211468473.5A priority Critical patent/CN115847491A/zh
Publication of CN115847491A publication Critical patent/CN115847491A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

本发明涉及一种空间在轨维修机器人目标自主测量方法,属于空间机器人领域;包括如下步骤:构建空间在轨维修机器人的整体架构;进行手眼标定;建立障碍地图并检测维修工具;并进行智能检测,检测视野内的目标类别维修工具,并得到目标的位置发送给控制部分;机械臂末端移动到目标超近距离;高精度位姿估计;将高精度位姿信息传递给控制部分,使机械臂调整末端位姿,使用夹爪抓取目标。本发明公开一种空间在轨维修机器人目标自主测量方法及装置,能够自主有效的使机器人对目标进行自主感知测量,以方便进行下一步的抓取,从而完成太空维修任务。

Description

一种空间在轨维修机器人目标自主测量方法
技术领域
本发明属于空间机器人领域,涉及一种空间在轨维修机器人目标自主测量方法。
背景技术
空间机器人是人类对太空进行探索、完成太空任务的重要操作工具,在空间作业中发挥着重要作用。随着科学技术的发展,航天技术不断迭代更新,空间站作业任务逐步变得更为繁杂,执行的任务要求逐步提升,面对危险复杂的太空环境,空间机器人可以帮助人类完成许多高难度、高精度、高危险的操作,从而帮助宇航员完成空间操作任务,提升工作效率,增加任务的成功率与安全性。
在空间站、卫星需要进行维修的情况下,使用空间机器人智能检测目标维修工具,获取目标工具的高精度位姿信息,控制空间机器人抓取维修工具,并使用工具进行维修操作,达到自主维修、节省人力、提高效率与安全性的目的,在实际应用中有一定意义。
以上使用空间机器人进行高精度自主维修的操作需求可以基于固定已知的空间关系来实现。但在实际应用中,空间环境复杂,无法保证目标的模型与位姿已知,在进行复杂的维修操作时,需要高精度的智能操作。而针对模型、信息未知的非合作目标,空间机器人需要对目标首先进行检测,并获取高精度的位姿信息,以保证维修操作步骤的准确。
因此,如何将空间机器人领域和感知、自主操作技术更好的结合起来成了本领域技术人员亟待解决的技术问题。
发明内容
本发明解决的技术问题是:克服现有技术的不足,提出一种空间在轨维修机器人目标自主测量方法,可以更精准、精确的进行维修操作,执行精准的维修任务,更好地节省时间和人力成本。
本发明解决技术的方案是:
一种空间在轨维修机器人目标自主测量方法,包括:
步骤一、构建空间在轨维修机器人的整体架构,包括控制部分、感知部分和通信部分;控制部分为通过步进电机控制含夹爪的七自由度机械臂;感知部分为在机器人头部安装头部相机,在机械臂末端安装手部相机;通信部分为实现控制部分与感知部分的网络连通;
步骤二、进行手眼标定,确定相机坐标系、机械臂坐标系与大地坐标系的关系;
步骤三、建立障碍地图并检测维修工具:由空间在轨维修机器人的头部相机感知前方信息,建立障碍地图,方便控制部分操作机械臂进行运动;并进行智能检测,检测视野内的目标类别维修工具,并得到目标的位姿
步骤四、机械臂末端移动到目标超近距离:控制部分根据头部相机观察得到的目标位置信息,机械臂末端躲避障碍,移动到目标的超近距离内,使机械臂末端相机能够进行高精度位姿估计;
步骤五、高精度位姿估计:使用机械臂末端的手部相机在超近距离对目标进行智能检测与位姿估计,得到目标的高精度位姿;
步骤六、执行抓取:将高精度位姿信息通过LCM传递给控制部分,使机械臂调整末端位姿,使用夹爪抓取目标。
在上述的一种空间在轨维修机器人目标自主测量方法,所述步骤一中,头部相机和手部相机均为RGB-D相机;RGB-D相机实现在获得目标RGB图像的同时获取目标距离相机的距离信息,一次性感知到RGB信息与深度信息,避免了分开使用RGB相机与深度相机带来的标定问题。
在上述的一种空间在轨维修机器人目标自主测量方法,所述步骤一中,通信部分的通信方式采用轻量级别通信和编组LCM。
在上述的一种空间在轨维修机器人目标自主测量方法,所述步骤二中,手眼标定为将所有信息统一至机械臂坐标系,具体方法为:
S21、固定RGB-D相机,固定位置后进行手眼标定,且不再变动相机的位置;
S22、根据相机的视野范围与机械臂的臂长,选择大小合适的标定板,使在进行标定时,信息更加准确有效;
S23、使用眼在手上eye in hand的方法标定机械臂末端的手部相机,即求解相机与机器人末端之间的关系;使用眼在手外eye to hand的方法标定机械臂头部相机,即求解相机与机器人底座之间的关系;机械臂多次移动,并保证标定板一直在相机视野范围内;
S24、使用Tsai法,求解手眼标定问题中的求解问题,得到目标矩阵,目标矩阵即为相机坐标系与机械臂坐标系的关系;定义机械臂坐标系后,根据机械臂坐标系,人为定义大地坐标系。
在上述的一种空间在轨维修机器人目标自主测量方法,所述步骤三中,建立障碍地图并检测维修工具的具体方法为:
S31、通过空间在轨维修机器人的头部相机采集的深度信息转化为三维地图,并作为障碍地图,用于机械臂在运动时规划路径的依据,避免机械臂碰撞;障碍地图为栅格地图;
S32、进行目标的智能检测,包括对目标建立数据集、进行数据增强以及训练、测试;进一步,使用头部相机进行目标识别以及实例分割,得到目标对应的点云;目标识别和实例分割使用Mask-RCNN网络实现;在目标识别与实例分割步骤中,得到目标在RGB图中的外轮廓;进一步,通过RGB信息与深度图的对齐,得到目标的深度信息,即目标的点云;
S33、求解目标在机械臂基座下的位置坐标:通过目标识别与实例分割得到目标的外包矩形框,进一步可以得到目标的中心点的像素坐标;结合相机的内参,求解目标中心点在相机系下的坐标;通过手眼标定得到的结果,最终求解目标在机械臂基座下的位置坐标;
S34、求解目标在机械臂基座下的姿态信息:通过点云配准模型模板点云与目标点云的配准,从而得到目标的位姿;配准后得到目标点云根据模板点云的旋转平移关系,进一步通过手眼标定结果的矩阵转换,得到目标在机械臂基座下的姿态。
在上述的一种空间在轨维修机器人目标自主测量方法,所述S34中,模板点云的精度等于或高于相机在距离目标超近距离时的采集精度;制作完模板点云后,将模板点云固定在某一位姿已知位置,从而得到两个点云之间的位姿关系;优选将模板点云固定在相机坐标系的原点位置,方便进行坐标系的转化与计算;
所述点云配准模型为基于ICP的改进模型。
在上述的一种空间在轨维修机器人目标自主测量方法,所述步骤四中,机械臂末端移动到目标超近距离的具体方法为:
S41、机械臂运动目标位置设置为步骤S3中目标中心点坐标上方一定距离的坐标位置,机械臂运动目标姿态与步骤S3中目标姿态相同;
机械臂运动目标位置与真实抓取目标的距离设置主要根据机械臂的夹爪长度相关,其目的在于设置一个超近距离,使得在机械臂不碰到目标物体的情况下,能够让手部RGB-D相机在最近的工作范围内对抓取目标进行高精度位姿估计;
S42、根据步骤S41设置的目标位姿,结合步骤S31采集得到的障碍地图,进行路径规划,并根据机械臂的动力学对路径进行平滑,得到光滑轨迹;
S43,将计算的运动轨迹通过LCM通信发送给控制模块,控制机械臂跟踪规划轨迹,将机械臂末端移动到目标超近距离。
在上述的一种空间在轨维修机器人目标自主测量方法,所述步骤五与步骤三和步骤四相同,通过点云配准模型模板点云与目标点云的配准,得到目标的高精度位姿。
在上述的一种空间在轨维修机器人目标自主测量方法,步骤五与步骤三和步骤四的不同点为:步骤三进行点云配准时,相机距离目标较远,两团点云的数量有一定差异,其配准结果精度不高,仅需要满足为步骤四提供目标位置的作用;
在步骤五中,手部相机距离目标更近,采集到的点云精度更高,配准结果精度更高,可以得到目标的高精度位姿。
在上述的一种空间在轨维修机器人目标自主测量方法,所述步骤六中,执行抓取的具体过程为:
S61、高精度位姿信息包含7个数据,分别为以机械臂基座为坐标系下,目标中心点的位置信息(x,y,z)与四元数;
S62、通过LCM通信,将高精度位姿信息从视觉与规划部分的计算机发出,由控制部分计算机接收;
S63、根据接收的位姿信息,控制机械臂进行移动,并使用夹爪进行抓取。
本发明与现有技术相比的有益效果是:
(1)本发明在危险的空间环境下,使用空间在轨维修机器人代替宇航员执行危险的维修操作,大大保障宇航员的安全性;
(2)本发明对于高精度维修任务,相比于人力维修,使用空间在轨维修机器人可以更精准、精确的进行维修操作;
(3)本发明对于空间狭小、不便宇航员操作的维修环境,使用空间在轨维修机器人可以更好地抓取体积较小的维修工具,执行精准的维修任务;
(4)本发明对于大量、基础的维修操作,使用空间在轨维修机器人可以更好地节省时间和人力成本。
附图说明
图1为本发明空间在轨维修机器人目标自主测量流程图。
具体实施方式
下面结合实施例对本发明作进一步阐述。
本发明提供了一种空间在轨维修机器人可以自主执行维修任务的方法,可以更精准、精确的进行维修操作,执行精准的维修任务,更好地节省时间和人力成本。
空间在轨维修机器人目标自主测量方法,如图1所示,具体包括如下步骤:
步骤一、构建空间在轨维修机器人的整体架构,包括控制部分、感知部分和通信部分;控制部分为通过步进电机控制含夹爪的七自由度机械臂;感知部分为在机器人头部安装头部相机,在机械臂末端安装手部相机;通信部分为实现控制部分与感知部分的网络连通。
头部相机和手部相机均为RGB-D相机;RGB-D相机实现在获得目标RGB图像的同时获取目标距离相机的距离信息,一次性感知到RGB信息与深度信息,避免了分开使用RGB相机与深度相机带来的标定问题。
通信部分的通信方式采用轻量级别通信和编组LCM。
步骤二、进行手眼标定,确定相机坐标系、机械臂坐标系与大地坐标系的关系。
手眼标定为将所有信息统一至机械臂坐标系,具体方法为:
S21、固定RGB-D相机,固定位置后进行手眼标定,且不再变动相机的位置;
S22、根据相机的视野范围与机械臂的臂长,选择大小合适的标定板,使在进行标定时,信息更加准确有效;
S23、使用眼在手上eye in hand的方法标定机械臂末端的手部相机,即求解相机与机器人末端之间的关系;使用眼在手外eye to hand的方法标定机械臂头部相机,即求解相机与机器人底座之间的关系;机械臂多次移动,并保证标定板一直在相机视野范围内;
S24、使用Tsai法,求解手眼标定问题中的求解问题,得到目标矩阵,目标矩阵即为相机坐标系与机械臂坐标系的关系;定义机械臂坐标系后,根据机械臂坐标系,人为定义大地坐标系。
步骤三、建立障碍地图并检测维修工具:由空间在轨维修机器人的头部相机感知前方信息,建立障碍地图,方便控制部分操作机械臂进行运动;并进行智能检测,检测视野内的目标类别维修工具,并得到目标的位姿。
建立障碍地图并检测维修工具的具体方法为:
S31、通过空间在轨维修机器人的头部相机采集的深度信息转化为三维地图,并作为障碍地图,用于机械臂在运动时规划路径的依据,避免机械臂碰撞;障碍地图为栅格地图;
S32、进行目标的智能检测,包括对目标建立数据集、进行数据增强以及训练、测试;进一步,使用头部相机进行目标识别以及实例分割,得到目标对应的点云;目标识别和实例分割使用Mask-RCNN网络实现;在目标识别与实例分割步骤中,得到目标在RGB图中的外轮廓;进一步,通过RGB信息与深度图的对齐,得到目标的深度信息,即目标的点云;
S33、求解目标在机械臂基座下的位置坐标:通过目标识别与实例分割得到目标的外包矩形框,进一步可以得到目标的中心点的像素坐标;结合相机的内参,求解目标中心点在相机系下的坐标;通过手眼标定得到的结果,最终求解目标在机械臂基座下的位置坐标;
S34、求解目标在机械臂基座下的姿态信息:通过点云配准模型模板点云与目标点云的配准,从而得到目标的位姿;配准后得到目标点云根据模板点云的旋转平移关系,进一步通过手眼标定结果的矩阵转换,得到目标在机械臂基座下的姿态。
所述S34中,模板点云的精度等于或高于相机在距离目标超近距离时的采集精度;制作完模板点云后,将模板点云固定在某一位姿已知位置,从而得到两个点云之间的位姿关系;优选将模板点云固定在相机坐标系的原点位置,方便进行坐标系的转化与计算;
所述点云配准模型为基于ICP的改进模型。
步骤四、机械臂末端移动到目标超近距离:控制部分根据头部相机观察得到的目标位置信息,机械臂末端躲避障碍,移动到目标的超近距离内,使机械臂末端相机能够进行高精度位姿估计。
机械臂末端移动到目标超近距离的具体方法为:
S41、机械臂运动目标位置设置为步骤S3中目标中心点坐标上方一定距离的坐标位置,机械臂运动目标姿态与步骤S3中目标姿态相同;
机械臂运动目标位置与真实抓取目标的距离设置主要根据机械臂的夹爪长度相关,其目的在于设置一个超近距离,使得在机械臂不碰到目标物体的情况下,能够让手部RGB-D相机在最近的工作范围内对抓取目标进行高精度位姿估计;
S42、根据步骤S41设置的目标位姿,结合步骤S31采集得到的障碍地图,进行路径规划,并根据机械臂的动力学对路径进行平滑,得到光滑轨迹;
S43,将计算的运动轨迹通过LCM通信发送给控制模块,控制机械臂跟踪规划轨迹,将机械臂末端移动到目标超近距离。
步骤五、高精度位姿估计:使用机械臂末端的手部相机在超近距离对目标进行智能检测与位姿估计,得到目标的高精度位姿。
所述步骤五与步骤三和步骤四相同,通过点云配准模型模板点云与目标点云的配准,得到目标的高精度位姿。
步骤五与步骤三和步骤四的不同点为:步骤三进行点云配准时,相机距离目标较远,两团点云的数量有一定差异,其配准结果精度不高,仅需要满足为步骤四提供目标位置的作用。
在步骤五中,手部相机距离目标更近,采集到的点云精度更高,配准结果精度更高,可以得到目标的高精度位姿。
步骤六、执行抓取:将高精度位姿信息通过LCM传递给控制部分,使机械臂调整末端位姿,使用夹爪抓取目标。
执行抓取的具体过程为:
S61、高精度位姿信息包含7个数据,分别为以机械臂基座为坐标系下,目标中心点的位置信息(x,y,z)与四元数;
S62、通过LCM通信,将高精度位姿信息从视觉与规划部分的计算机发出,由控制部分计算机接收;
S63、根据接收的位姿信息,控制机械臂进行移动,并使用夹爪进行抓取。
实施例
提供的基于无人机视觉的目标识别与评估方法包括按顺序进行的下列步骤:
S1、构建空间在轨维修机器人的整体架构;
在步骤S1中,空间在轨维修机器人的整体架构主要包括感知部分、控制部分与通信部分;
S11,其中感知部分包括安装在头部的固定相机与安装在机械臂末端(连接夹爪的腕关节)的手部相机,所述相机优选为RGB-D相机,RGB-D相机能够在获得目标RGB图像的同时获取目标距离相机的距离信息,从而能够一次性感知到RGB信息与深度信息,且避免了分开使用RGB相机与深度相机带来的标定问题;
S12,控制部分主要控制一个含夹爪的七自由度机械臂,通过微小操作系统连接机械臂的步进电机进行控制;
S13,通信部分硬件上包括一台路由器与分别连接感知部分与控制部分的网线;
优选地,其中通信方式使用轻量级别通信和编组(Lightweight Communicationsand Marshalling,LCM),LCM可以适用于高带宽和低延迟的实时系统,依赖少,使用高效的广播机制,适合在空间环境中进行准确、快速的通信。
S2、进行手眼标定:为了让手眼相机的感知功能准确有效,需要进行手眼标定,确定相机坐标系、机械臂坐标系与大地坐标系之间的关系;
优选地,在整体测量方法中,将所有信息统一至机械臂基座坐标系,更加直观且便于机械臂进行操作;
S21,固定RGB-D相机,固定位置后进行手眼标定,且不能再变动相机的位置;
S22,根据相机的视野范围与机械臂的臂长,选择大小合适的标定板,使在进行标定时,信息更加准确有效;
S23,使用“眼在手上(eye in hand)”的方法标定机械臂末端的手部相机,即求解相机与机器人末端之间的关系;使用“眼在手外(eye to hand)”的方法标定机械臂头部相机,即求解相机与机器人底座之间的关系;机械臂多次移动,并保证标定板一直在相机视野范围内;
S24,使用手眼标定求解方法,求解手眼标定问题中的求解问题,得到目标矩阵;
优选地,使用Tsai法,此方法在手眼标定的求解算法中使用更为广泛,鲁棒性更高。
S3、建立障碍地图并检测维修工具:由空间在轨维修机器人的头部相机感知前方信息,建立障碍地图,方便控制部分操作机械臂进行运动;并进行智能检测,检测视野内的目标类别维修工具,并得到目标的位姿;
S31,由空间在轨维修机器人的头部相机采集的深度信息转化为三维地图,并作为障碍地图,用于机械臂在运动时规划路径的依据,避免机械臂碰撞;
优选地,将障碍地图建立为栅格地图;
S32,进行目标的智能检测,包括对目标建立数据集、进行数据增强以及训练、测试;进一步,使用头部相机进行目标识别以及实例分割,得到目标对应的点云;
优选地,目标识别以及实例分割使用Mask-RCNN网络实现;
在目标识别与实例分割步骤中,可以得到目标在RGB图中的外轮廓;进一步,通过RGB信息与深度图的对齐,可以得到目标的深度信息,即目标的点云;
S33,求解目标在机械臂基座下的位置坐标:通过目标识别与实例分割可以得到目标的外包矩形框,进一步可以得到目标的中心点的像素坐标;结合相机的内参,可以求解目标中心点在相机系下的坐标;通过手眼标定得到的结果,可以最终求解目标在机械臂基座下的位置坐标;
S34,求解目标在机械臂基座下的姿态信息:通过点云配准模型模板点云与目标点云的配准,从而得到目标的位姿;配准后可以得到目标点云根据模板点云的旋转平移关系,进一步通过手眼标定结果的矩阵转换,可以得到目标在机械臂基座下的姿态;
优选地,制作模板点云时,其精度应当等同于或高于相机在距离目标超近距离时的采集精度,便于后续使用手部相机时进行的高精度位姿估计;制作完模板点云后,将模板点云固定在某一位姿已知位置,从而得到两个点云之间的位姿关系。特别地,优选将模板点云固定在相机坐标系的原点位置,方便进行坐标系的转化与计算。
其中,如果目标有三维模型,可以直接转化为均匀点云模型作为模板点云;如果为无模型的非合作目标,可以使用RGB-D相机在超近距离采集得到的深度信息作为其模板点云;
优选地,所述点云配准模型为基于ICP的改进模型,例如teaser++模型,该模型为开源模型,来源于论文TEASER:Fast and Certifiable Point Cloud Registration。
S4、机械臂末端移动到目标超近距离:控制部分根据头部相机观察得到的目标位置信息,机械臂末端躲避障碍,移动到目标的超近距离内,使机械臂末端相机能够进行高精度位姿估计;
S41,机械臂运动目标位置设置为步骤S3中目标中心点坐标上方一定距离的坐标位置,机械臂运动目标姿态与步骤S3中目标姿态相同;
其中,机械臂运动目标位置与真实抓取目标的距离设置主要根据机械臂的夹爪长度相关,其目的在于设置一个超近距离,使得在机械臂不碰到目标物体的情况下,能够让手部RGB-D相机在最近的工作范围内对抓取目标进行高精度位姿估计;
S42,根据步骤S41设置的目标位姿,结合步骤S31采集得到的障碍地图,进行路径规划,并根据机械臂的动力学对路径进行平滑,得到光滑轨迹;
S43,将计算的运动轨迹通过LCM通信发送给控制模块,控制机械臂跟踪规划轨迹,将机械臂末端移动到目标超近距离。
S5、高精度位姿估计:使用机械臂末端的手部相机在超近距离对目标进行智能检测与位姿估计,得到目标的高精度位姿;
在步骤S5中,与步骤S33和步骤S34相同,通过点云配准模型模板点云与目标点云的配准,从而得到目标的高精度位姿,具体步骤不再赘述;
不同的是,S3中进行点云配准时,相机距离目标较远,两团点云的数量有一定差异,其配准结果精度不高,仅需要满足为步骤S4提供目标位置的作用;在步骤S5中,手部相机距离目标更近,采集到的点云精度更高,配准结果精度更高,可以得到目标的高精度位姿。
S6、执行抓取:将高精度位姿信息通过LCM传递给控制部分,使机械臂调整末端位姿,使用夹爪抓取目标;
S61,高精度位姿信息包含7个数据,分别为以机械臂基座为坐标系下,目标中心点的位置信息(x,y,z)与四元数;
S62,通过LCM通信,将高精度位姿信息从视觉与规划部分的计算机发出,由控制部分计算机接受;
S63,根据接收的位姿信息,控制机械臂进行移动,并使用夹爪进行抓取。
本发明实现了在危险的空间环境下,使用空间在轨维修机器人代替宇航员执行危险的维修操作,大大保障宇航员的安全性;对于高精度维修任务,相比于人力维修,使用空间在轨维修机器人可以更精准、精确的进行维修操作;对于空间狭小、不便宇航员操作的维修环境,使用空间在轨维修机器人可以更好地抓取体积较小的维修工具,执行精准的维修任务;对于大量、基础的维修操作,使用空间在轨维修机器人可以更好地节省时间和人力成本。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。

Claims (10)

1.一种空间在轨维修机器人目标自主测量方法,其特征在于:包括:
步骤一、构建空间在轨维修机器人的整体架构,包括控制部分、感知部分和通信部分;控制部分为通过步进电机控制含夹爪的七自由度机械臂;感知部分为在机器人头部安装头部相机,在机械臂末端安装手部相机;通信部分为实现控制部分与感知部分的网络连通;
步骤二、进行手眼标定,确定相机坐标系、机械臂坐标系与大地坐标系的关系;
步骤三、建立障碍地图并检测维修工具:由空间在轨维修机器人的头部相机感知前方信息,建立障碍地图,方便控制部分操作机械臂进行运动;并进行智能检测,检测视野内的目标类别维修工具,并得到目标的位姿;
步骤四、机械臂末端移动到目标超近距离:控制部分根据头部相机观察得到的目标位置信息,机械臂末端躲避障碍,移动到目标的超近距离内,使机械臂末端相机能够进行高精度位姿估计;
步骤五、高精度位姿估计:使用机械臂末端的手部相机在超近距离对目标进行智能检测与位姿估计,得到目标的高精度位姿;
步骤六、执行抓取:将高精度位姿信息通过LCM传递给控制部分,使机械臂调整末端位姿,使用夹爪抓取目标。
2.根据权利要求1所述的一种空间在轨维修机器人目标自主测量方法,其特征在于:所述步骤一中,头部相机和手部相机均为RGB-D相机;RGB-D相机实现在获得目标RGB图像的同时获取目标距离相机的距离信息,一次性感知到RGB信息与深度信息,避免了分开使用RGB相机与深度相机带来的标定问题。
3.根据权利要求1所述的一种空间在轨维修机器人目标自主测量方法,其特征在于:所述步骤一中,通信部分的通信方式采用轻量级别通信和编组LCM。
4.根据权利要求1所述的一种空间在轨维修机器人目标自主测量方法,其特征在于:所述步骤二中,手眼标定为将所有信息统一至机械臂坐标系,具体方法为:
S21、固定RGB-D相机,固定位置后进行手眼标定,且不再变动相机的位置;
S22、根据相机的视野范围与机械臂的臂长,选择大小合适的标定板,使在进行标定时,信息更加准确有效;
S23、使用眼在手上eyein hand的方法标定机械臂末端的手部相机,即求解相机与机器人末端之间的关系;使用眼在手外eye to hand的方法标定机械臂头部相机,即求解相机与机器人底座之间的关系;机械臂多次移动,并保证标定板一直在相机视野范围内;
S24、使用Tsai法,求解手眼标定问题中的求解问题,得到目标矩阵,目标矩阵即为相机坐标系与机械臂坐标系的关系;定义机械臂坐标系后,根据机械臂坐标系,人为定义大地坐标系。
5.根据权利要求1所述的一种空间在轨维修机器人目标自主测量方法,其特征在于:所述步骤三中,建立障碍地图并检测维修工具的具体方法为:
S31、通过空间在轨维修机器人的头部相机采集的深度信息转化为三维地图,并作为障碍地图,用于机械臂在运动时规划路径的依据,避免机械臂碰撞;障碍地图为栅格地图;
S32、进行目标的智能检测,包括对目标建立数据集、进行数据增强以及训练、测试;进一步,使用头部相机进行目标识别以及实例分割,得到目标对应的点云;目标识别和实例分割使用Mask-RCNN网络实现;在目标识别与实例分割步骤中,得到目标在RGB图中的外轮廓;进一步,通过RGB信息与深度图的对齐,得到目标的深度信息,即目标的点云;
S33、求解目标在机械臂基座下的位置坐标:通过目标识别与实例分割得到目标的外包矩形框,进一步可以得到目标的中心点的像素坐标;结合相机的内参,求解目标中心点在相机系下的坐标;通过手眼标定得到的结果,最终求解目标在机械臂基座下的位置坐标;
S34、求解目标在机械臂基座下的姿态信息:通过点云配准模型模板点云与目标点云的配准,从而得到目标的位姿;配准后得到目标点云根据模板点云的旋转平移关系,进一步通过手眼标定结果的矩阵转换,得到目标在机械臂基座下的姿态。
6.根据权利要求5所述的一种空间在轨维修机器人目标自主测量方法,其特征在于:所述S34中,模板点云的精度等于或高于相机在距离目标超近距离时的采集精度;制作完模板点云后,将模板点云固定在某一位姿已知位置,从而得到两个点云之间的位姿关系;优选将模板点云固定在相机坐标系的原点位置,方便进行坐标系的转化与计算;
所述点云配准模型为基于ICP的改进模型。
7.根据权利要求1所述的一种空间在轨维修机器人目标自主测量方法,其特征在于:所述步骤四中,机械臂末端移动到目标超近距离的具体方法为:
S41、机械臂运动目标位置设置为步骤S3中目标中心点坐标上方一定距离的坐标位置,机械臂运动目标姿态与步骤S3中目标姿态相同;
机械臂运动目标位置与真实抓取目标的距离设置主要根据机械臂的夹爪长度相关,其目的在于设置一个超近距离,使得在机械臂不碰到目标物体的情况下,能够让手部RGB-D相机在最近的工作范围内对抓取目标进行高精度位姿估计;
S42、根据步骤S41设置的目标位姿,结合步骤S31采集得到的障碍地图,进行路径规划,并根据机械臂的动力学对路径进行平滑,得到光滑轨迹;
S43,将计算的运动轨迹通过LCM通信发送给控制模块,控制机械臂跟踪规划轨迹,将机械臂末端移动到目标超近距离。
8.根据权利要求5所述的一种空间在轨维修机器人目标自主测量方法,其特征在于:所述步骤五与步骤三和步骤四相同,通过点云配准模型模板点云与目标点云的配准,得到目标的高精度位姿。
9.根据权利要求8所述的一种空间在轨维修机器人目标自主测量方法,其特征在于:步骤五与步骤三和步骤四的不同点为:步骤三进行点云配准时,相机距离目标较远,两团点云的数量有一定差异,其配准结果精度不高,仅需要满足为步骤四提供目标位置的作用;
在步骤五中,手部相机距离目标更近,采集到的点云精度更高,配准结果精度更高,可以得到目标的高精度位姿。
10.根据权利要求1所述的一种空间在轨维修机器人目标自主测量方法,其特征在于:所述步骤六中,执行抓取的具体过程为:
S61、高精度位姿信息包含7个数据,分别为以机械臂基座为坐标系下,目标中心点的位置信息(x,y,z)与四元数;
S62、通过LCM通信,将高精度位姿信息从视觉与规划部分的计算机发出,由控制部分计算机接收;
S63、根据接收的位姿信息,控制机械臂进行移动,并使用夹爪进行抓取。
CN202211468473.5A 2022-11-22 2022-11-22 一种空间在轨维修机器人目标自主测量方法 Pending CN115847491A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211468473.5A CN115847491A (zh) 2022-11-22 2022-11-22 一种空间在轨维修机器人目标自主测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211468473.5A CN115847491A (zh) 2022-11-22 2022-11-22 一种空间在轨维修机器人目标自主测量方法

Publications (1)

Publication Number Publication Date
CN115847491A true CN115847491A (zh) 2023-03-28

Family

ID=85665025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211468473.5A Pending CN115847491A (zh) 2022-11-22 2022-11-22 一种空间在轨维修机器人目标自主测量方法

Country Status (1)

Country Link
CN (1) CN115847491A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116214532A (zh) * 2023-05-10 2023-06-06 河海大学 一种海底电缆机械臂自主避障抓取系统及抓取方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116214532A (zh) * 2023-05-10 2023-06-06 河海大学 一种海底电缆机械臂自主避障抓取系统及抓取方法

Similar Documents

Publication Publication Date Title
WO2022021739A1 (zh) 一种语义智能变电站机器人仿人巡视作业方法及系统
CN110238845B (zh) 最优标定点选取和误差自测量的自动手眼标定方法及装置
CN107139178B (zh) 一种无人机及其基于视觉的抓取方法
CN109373898A (zh) 一种基于三维测量点云的复杂零件位姿估计系统及方法
CN111968262A (zh) 一种语义智能变电站巡视作业机器人导航系统及方法
CN109297413B (zh) 一种大型筒体结构视觉测量方法
Melchiorre et al. Collison avoidance using point cloud data fusion from multiple depth sensors: a practical approach
Wang et al. Visual servoing of robots with uncalibrated robot and camera parameters
CN112518748B (zh) 面向运动物品的视觉机械臂自动抓取方法与系统
CN103878770A (zh) 基于速度估计的空间机器人视觉时延误差补偿方法
CN113276106A (zh) 一种攀爬机器人空间定位方法及空间定位系统
CN105319991A (zh) 一种基于Kinect视觉信息的机器人环境识别与作业控制方法
CN114608554B (zh) 一种手持slam设备以及机器人即时定位与建图方法
CN113858217B (zh) 多机器人交互的三维视觉位姿感知方法及系统
CN114011608A (zh) 基于数字孪生的喷涂工艺优化系统及其喷涂优化方法
CN115847491A (zh) 一种空间在轨维修机器人目标自主测量方法
WO2022000713A1 (zh) 一种基于航空装配的增强现实自定位方法
Zhang et al. A simultaneous optimization method of calibration and measurement for a typical hand–eye positioning system
CN112947407A (zh) 一种多智能体有限时间的编队路径跟踪控制方法及系统
CN114523475A (zh) 一种机器人装配系统误差自动标定与补偿装置及方法
Han et al. Grasping control method of manipulator based on binocular vision combining target detection and trajectory planning
CN114067210A (zh) 一种基于单目视觉导引的移动机器人智能抓取方法
CN107843259B (zh) 一种基于vckf的多机器人协同导航定位方法
CN111645067B (zh) 一种高智能机器人环境感知方法及系统
CN110421565B (zh) 一种用于实训的机器人全局定位与测量系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination