CN111591474B - 一种航天器在轨操作系统对准式手眼标定方法 - Google Patents

Abstract

一种航天器在轨操作系统对准式手眼标定方法，属于空间机器人技术领域。本发明包括如下步骤：进行手眼标定时，把对准轴放置在适配孔里，手眼相机观测手眼标定板上排孔，然后通过已标定的手眼相机测量手眼标定板上的排孔坐标系在手眼相机坐标系下的位置关系，再根据手眼标定板上的排孔与适配孔之间的相对位置关系，以及对准轴与适配孔之间精确的配合关系，进而获得手眼相机坐标系与对准轴坐标系之间的变换关系，即手眼关系。通过手眼标定，把机械臂的对准轴与已标定的视觉测量系统建立联系，即可以获得对准轴坐标系到相机坐标系之间的关系。

Description

一种航天器在轨操作系统对准式手眼标定方法

技术领域

本发明涉及一种航天器在轨操作系统对准式手眼标定方法，属于空间机器人技术领域。

背景技术

在轨操作系统包含平台(服务航天器本体)、机械臂、末端操作器、手眼相机，对于空间操控及载人航天领域中的精细操作任务，机械臂要在轨实现目标剪切、抓握、旋拧、插拔等操作，需要通过手眼相机引导末端操作器到达操作位置。手眼相机布局通常有两种方式，即Eye-to-hand和Eye-in-hand，其中，Eye-to-hand方式，相机固定在平台上，此方式下，相机系统无法协同机械臂末端从不同方位观察标定板(或靶标)，因此在轨操作系统一般采用第二种布局方式，即Eye-in-hand，此方式将相机固定在机械臂末端，可随同机械臂末端从不同方位观察标定板(或靶标)，此标定过程需要多次移动机械臂末端，这对机械臂的制造精度、回程累计误差、运动控制精度都提出了很高的要求。

检索到申请号为CN201810595698.4、名称为“基于圆锥标定物的机械臂手眼标定方法、装置及系统”的专利，该专利通过位置固定的相机(即 Eye-to-hand)拍摄圆锥标定物的多角度照片获取三维点云库，匹配圆锥标定物，从而确定工具端点在相机坐标系中的坐标，达到手眼标定的目的，其解决的是地面上工业机械臂手眼相机(Eye-to-hand)标定问题，方法与目的与本专利均不相同，本专利解决的则是采用Eye-in-hand布局的手眼相机进行对准式快速标定的问题，国内外相关现有技术与本技术方案也不同。

综上，现有技术存在如下缺点：首先，现有方案不采用辅助机械结构进行标定，因此需要根据已知量求解标定矩阵方程，且迭代求解计算量大；第二，如果现有方案需要多次拍照，标定精度与拍照次数相关，较为繁琐；第三，在求解标定矩阵方程过程中，用到了机械臂末端与基座的转换矩阵，这是机械臂控制与标定精度决定的，因此在标定结果中包含了机械臂的控制与标定误差，这降低了手眼标定精度。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供了一种航天器在轨操作系统对准式手眼标定方法，解决了Eye-in-hand标定需依赖机械臂精度问题，以及为防止求解的奇异性，需多组差别较大的不同姿态拍照的复杂操作性问题。

本发明的技术解决方案是：一种航天器在轨操作系统对准式手眼标定方法，包括如下步骤：

步骤S1、将手眼相机与对准轴安装于航天器机械臂的末端，采用张正友标定法获取手眼相机内参矩阵和镜头的畸变参数，完成对手眼相机的标定；

步骤S2、加工手眼标定板，所述手眼标定板上设有适配孔和均匀排布的排孔，并通过机械标定方式确定手眼标定板上排孔和适配孔之间的位置关系；

步骤S3、将手眼标定板固定于手眼相机的镜头的对面，将对准轴放入适配孔；

步骤S4、通过已标定的手眼相机测量手眼标定板上的排孔坐标系在相机坐标系下的位置关系；

步骤S5、通过所述手眼标定板上排孔和适配孔之间的位置关系和手眼标定板上的排孔坐标系在相机坐标系下的位置关系，获得相机坐标系与对准轴坐标系之间的变换关系，从而获得手眼关系，根据所述手眼关系完成手眼标定，为后续定位环节中对准轴与工件目标对准孔之间的对准提供基准位姿，以及为对准轴在机械臂基坐标系下的位姿调整量提供参考。

进一步地，所述排孔至少三个，所述适配孔与所述对准轴的尺寸紧密配合。

进一步地，所述排孔的个数为九。

进一步地，所述手眼相机通过与机械臂末端相连的夹具和对准轴固定连接，所述手眼相机的光轴和对准轴平行，所有排孔均处在手眼相机的视野之中。

进一步地，所述手眼关系为

其中，

和

为手眼关系，

和

为所述手眼标定板上排孔和适配孔之间的位置关系，

和

为所述手眼标定板上的排孔坐标系在相机坐标系下的位置关系。

本发明与现有技术相比的优点在于：

1、本发明采用辅助机械结构进行标定，不需利用迭代的方法求解标定矩阵方程的数值解，仅有4×4矩阵的相乘过程，计算量小；

2、本发明不需要多次拍照构成标定方程，仅拍照一次即可求解出标定矩阵，标定过程较为简便；

3、本发明标定精度与机械臂自身的操作精度无关，仅与相机测量精度和标定板加工精度有关，而这两个精度较容易保证，标定的精度高。

附图说明

图1是本发明提供的一种在轨操作系统对准式手眼标定方法流程图。

图2是手眼相机拍照的图像坐标系。

图3是相机坐标系与世界坐标系。

图4是手眼标定示意图。

图5是手眼标定板。

图6是圆孔的图像处理流程。

具体实施方式

一种航天器在轨操作系统对准式手眼标定方法，包括如下步骤：

步骤S1、将手眼相机与对准轴安装于航天器机械臂的末端，采用张正友标定法获取手眼相机内参矩阵和镜头的畸变参数，完成对手眼相机的标定；

步骤S2、加工手眼标定板，所述手眼标定板上设有适配孔和均匀排布的排孔，并通过机械标定方式确定手眼标定板上排孔和适配孔之间的位置关系；

步骤S3、将手眼标定板固定于手眼相机的镜头的对面，将对准轴放入适配孔；

步骤S4、通过已标定的手眼相机测量手眼标定板上的排孔坐标系在相机坐标系下的位置关系；

步骤S5、通过所述手眼标定板上排孔和适配孔之间的位置关系和手眼标定板上的排孔坐标系在相机坐标系下的位置关系，获得相机坐标系与对准轴坐标系之间的变换关系，从而获得手眼关系，根据所述手眼关系完成手眼标定，为后续定位环节中对准轴与工件目标对准孔之间的对准提供基准位姿，以及为对准轴在机械臂基坐标系下的位姿调整量提供参考。

以下根据图1-图6，具体说明本发明的实施例。

如图1所示，本发明提供在轨操作系统对准式手眼标定方法，包含以下步骤：

步骤S1、获取在轨操作系统手眼相机内参矩阵和镜头的畸变参数；

建立手眼相机成像模型，与三个坐标系有关，它们分别是：世界坐标系、手眼相机坐标系、图像坐标系(见图2)。图中矩形区域为手眼相机的成像平面，也就是CCD芯片有效感光面积。为描述像素点在成像平面上的位置关系，定义了像素坐标系o₀uv，单位是像素。另外，为了描述目标的物理位置，建立了以mm为单位的o₁xy的图像坐标系，其原点o₁是手眼相机光轴与图像平面的交点，两轴的坐标方向与像素坐标轴方向分别一致，记原点o₁的坐标是(u₀,v₀)，在图像坐标系上每一个像素的坐标记为(u,v)，该像素坐标的横坐标和纵坐标数值分别是该像素在数组中的行数、列数，因此(u,v)是以整像素(pixel)为单位的坐标，图像的每个像元尺寸记为dx,dy。

因此图像中某一个像素，在上述的图像坐标系和像素坐标系下存在如下关系：

公式(1)可以用齐次坐标与矩阵表示为：

其中手眼相机坐标系与世界坐标系的关系如图3所示：

图3中包含三个坐标系：手眼相机坐标系O_cX_cY_cZ_c，图像坐标系o₁xy，世界坐标系O_wX_wY_wZ_w，O_co₁表示手眼相机的焦距，记为f。其中(x,y)表示是图像坐标，空间一点P在手眼相机坐标系下的坐标(X_c,Y_c,Z_c)，在世界坐标系下的坐标记为(X_w,Y_w,Z_w)。空间一点P从世界坐标系到手眼相机坐标系下的位置变换关系是：

其中R,t表示的是从世界坐标系转换到手眼相机坐标系下的旋转矩阵与平移矩阵。空间上一点P成像的位置可以根据针孔模型近似表示，即在图像坐标系上的像点P，记为p(x,y)，根据比例关系可知：

可用矩阵表示上述透视投影的关系：

把上述(2)，(3)代入(5)式，可以得到在世界坐标系下表示的点P(X_w,Y_w,Z_w) 与其投影点p(u,v)的关系如下式

其中

式(7)中，s是比例系数，矩阵A是手眼相机的内参矩阵，R和t是从世界坐标系到手眼相机坐标系的转换关系。(u₀,v₀)是图像平面的主点坐标，α,β分别是图像在u,v轴的等效焦距参数。

由于相机镜头存在畸变，使得实际成像点偏离相机光心与空间点P的在成像平面的交点。镜头畸变往往呈现复杂的非线性变化，通常用高阶多项式进行模型近似。同时考虑径向畸变和切向畸变的影响，畸变模型可表示为：

(u_u,v_u)和(u_d,v_d)表示空间某一点P的无畸变和有畸变时的像素坐标，

其中k₁,k₂,p₁,p₂分别是径向和切向畸变系数，也是相机的内参数。

步骤S2、加工特定的手眼标定板，并通过机械标定方式确定手眼标定板上排孔和适配孔之间的精确位置关系

经过步骤S1所述标定的手眼相机可以用来测量目标物体的姿态，即可以获得目标物体所在的局部坐标系相对手眼相机坐标系的位姿关系，要实现位姿测量与定位功能，需要知道目标体在机械臂末端对准轴的坐标系下的位姿关系，因此，实现把目标物体从手眼相机坐标系下的位姿转换到机械臂末端对准轴坐标系下，需要事先获得手眼相机坐标系和机械臂末端对准轴坐标系之间的位置关系，即需要事先获得手眼关系。采用Eye-in-hand系统手眼标定方法，其示意图如图4所示。

为了获取手眼关系，根据手眼相机、夹具、以及对准轴之间的位置关系，设计了手眼标定板，如图5所示，实现手眼关系的求解。

图5中，左边是特制手眼标定板(下文简称手眼标定板)的设计简图，右边是已经机械加工完成的手眼标定板实物图。手眼标定板上有相对位置已知的排孔，在手眼标定板的下方有适配孔，适配孔的大小与对准轴是配合的关系，排孔和适配孔之间的精确位置关系

是已知的。

步骤S3、手眼标定板固定于手眼相机的对面，将末端操作器(对准轴)放入被操作对象的操作部位，对准轴与适配孔之间是精确的配合关系(认为对准轴坐标系和适配孔之间的坐标系是重合的)，并保证此时手眼相机可拍摄到手眼标定板；

通过一个与机械臂末端相连的夹具把手眼相机和对准轴固定在一起，对准轴与手眼标定板上适配孔之间是精密的机械配合关系。手眼相机的光轴和对准轴近似平行，9个圆孔都均匀处在手眼相机视野之中。手眼相机、对准轴、以及手眼标定板之间的坐标系如图4所示。

步骤S4、通过已标定的手眼相机测量手眼标定板上的排孔坐标系在手眼相机坐标系下的位置关系

把标定板装在对准轴上，通过手眼相机获取手眼标定板上排孔的图像，提取像排孔的中心像素坐标。提取像素坐标操作流程：手眼标定板(或者对准参考板)的图像进行灰度化、高斯平滑、阈值化处理、Canny边缘提取、椭圆拟合和椭圆中心提取等处理，排孔的图像特征提取流程详见图6所示：

提取排孔中每一个圆孔的中心的像素坐标之后，根据这些圆孔中心的物理坐标和已标定的手眼相机，获取排孔在手眼相机坐标系下的位姿是手眼标定的关键环节。在已知控制点(圆孔中心)的像素坐标、物理坐标和手眼相机模型参数之后求取控制点所在的工件目标姿态问题，都可以归纳成透视投影(PNP) 问题。PNP的几何关系和手眼相机成像几何关系类似，与手眼相机标定不同的是，PNP是在已知手眼相机内参数的前提下，通过空间物体上已知物理坐标和图像坐标的对应关系，获得空间物体在手眼相机坐标系下的姿态，因此，通过 PNP来解算参考板的位姿，需要事先对手眼相机进行内参数标定。本项目在手眼标定板上设计9个物理坐标已知的圆孔，即N＝9，获取到排孔坐标系到手眼相机坐标系的转换关系

和

其中排孔所在的坐标系的原点是排孔的中心，符合右手坐标系。

步骤S5、获得手眼相机坐标系与对准轴坐标系之间的变换关系，即手眼关系

获取排孔坐标系到手眼相机坐标系的转换关系

和

之后，再结合适配孔和标定板上排孔的机械加工关系

和

即

将P_r代入P_c,得到

已知P_c和P_p的坐标变换表达式为

由公式(10)、(11)可获得手眼相机坐标系与适配孔坐标系之间的位置关系

其中P_r,P_c,P_p分别表示是世界坐标系的点P在手眼标定板坐标系的坐标、手眼相机坐标系的坐标、适配孔坐标系下的坐标。由于适配孔与对准轴之间是精密的机械配合关系，因此适配孔坐标系和对准轴坐标系重合的，即

和

并把

和

作为后续对准环节中对准轴和工件对准孔达到对准时的基准位姿。因此手眼相机与对准轴之间的位置关系

即手眼关系：

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (5)

1.一种航天器在轨操作系统对准式手眼标定方法，其特征在于，包括如下步骤：

步骤S1、将手眼相机与对准轴安装于航天器机械臂的末端，采用张正友标定法获取手眼相机内参矩阵和镜头的畸变参数，完成对手眼相机的标定；

步骤S2、加工手眼标定板，所述手眼标定板上设有适配孔和均匀排布的排孔，并通过机械标定方式确定手眼标定板上排孔和适配孔之间的位置关系；

步骤S3、将手眼标定板固定于手眼相机的镜头的对面，将对准轴放入适配孔；

步骤S4、通过已标定的手眼相机测量手眼标定板上的排孔坐标系在相机坐标系下的位置关系；所有排孔均处在手眼相机的视野之中；

步骤S5、通过所述手眼标定板上排孔和适配孔之间的位置关系和手眼标定板上的排孔坐标系在相机坐标系下的位置关系，获得相机坐标系与对准轴坐标系之间的变换关系，从而获得手眼关系，根据所述手眼关系完成手眼标定，为后续定位环节中对准轴与工件目标对准孔之间的对准提供基准位姿，以及为对准轴在机械臂基坐标系下的位姿调整量提供参考。

2.根据权利要求1所述的一种航天器在轨操作系统对准式手眼标定方法，其特征在于：所述排孔至少三个，所述适配孔与所述对准轴的尺寸紧密配合。

3.根据权利要求2所述的一种航天器在轨操作系统对准式手眼标定方法，其特征在于：所述排孔的个数为九。

4.根据权利要求2所述的一种航天器在轨操作系统对准式手眼标定方法，其特征在于：所述手眼相机通过与机械臂末端相连的夹具和对准轴固定连接，所述手眼相机的光轴和对准轴平行。

5.根据权利要求1所述的一种航天器在轨操作系统对准式手眼标定方法，其特征在于：所述手眼关系为

其中，

和

为手眼关系，

和

为所述手眼标定板上排孔和适配孔之间的位置关系，

和

为所述手眼标定板上的排孔坐标系在相机坐标系下的位置关系。

Images