CN105073348A - 用于校准的机器人系统和方法 - Google Patents

Abstract

本公开涉及用于将机器人单元的第一坐标系R_f与对象识别单元的第二坐标系C_f校准的方法和系统，其中机器人单元包括具有末端执行器的机器人臂并且对象识别单元包括照相机单元。使用末端执行器上的校准标记进行校准。方法在两个步骤、第一步骤和第二步骤中确定照相机单元的内在和外在参数，在第一步骤中确定内在参数和外在参数的旋转部分，并且在第二步骤中确定外在参数的平移部分。

Description

用于校准的机器人系统和方法

技术领域

本发明涉及用于对象识别单元的坐标系至机器人单元的坐标系的校准的技术。

背景技术

照相机可以用来在诸如寻找和抓握对象等的不同任务中帮助机器人。照相机于是起到针对机器人的视觉传感器的作用。然而，为了能够使照相机所感测到的与机器人的动作协调，照相机的坐标系与机器人的坐标系之间的关系必须是已知的。这可以通过将照相机校准至与机器人的坐标系共用的坐标系来完成。

校准问题可以看作确定照相机的内在和外在的参数。内在参数定义照相机的焦距和宽高比、即照相机中的摄像元件的宽度与高度之间的比率，以及倾斜。照相机的外在参数是描述照相机的坐标系与机器人的坐标系之间的几何关系的参数。该几何关系也可以在数学上被称作位姿。

用来确定照相机的外在参数的传统途径是将照相机朝向2D(二维)棋盘格校准。接着通过首先定义出机器人TCP(工具中心点)并接着将指向工具轻推至棋盘格的定义工作对象的点而手动地指出相应框架。接着可以确定照相机的坐标系与机器人的坐标系之间的关系。该手动照相机校准具有多个缺点。例如，往往难以在棋盘格上指出精确的TCP并且也难以指出精确的工作对象。过程花费很长时间并且往往给出较差结果。用户也难以知道最终结果是否精确，因为没有关于所得到的精度的反馈。由于校准基于2D棋盘格，所以未给出3D(三维)信息；并因此不能使用用于3D应用的校准结果。

从2003年10月在内华达州拉斯维加斯关于智能机器人与系统的2003IEEE/RSJ国际会议的会议记录第1037页至1043页由Malm等人提出的“用于机器人视觉的简化的内在照相机校准与手眼校准”，说明了一种校准照相机的方法。内在照相机校准与手眼校准是在安装于机器人的工具法兰上的两个照相机的立体声头配置上进行。该方法使用棋盘格来进行机器人的直接位姿估计。如果相反具有固定的照相机，则棋盘格必须被附接至工具法兰。棋盘格必须具有相当大的尺寸以给出良好的校准精度。因为校准优选地应该周期性地完成以确认校准，并且因为它应该能够在新的条件出现时重新进行校准，所以期望它具有被恒定地附接至工具法兰的棋盘格使得操作者不必在每次将要校准时将棋盘格重新附接至工具法兰。然而，具有被恒定地附接至工具法兰的大的棋盘格变得不实际。还有，对于具有被附接至工具法兰的一个或几个照相机的情况，具有永久地放置在机器人的工作区域中的大的棋盘格不总是合理的。

因此存在着一种利用可以没有困难地恒定附接至机器人的小标记进行工作的替代校准方法的需要。特别地，该方法应该利用适用于仅位置测量的标记、因此是2D标记进行工作。

因此本发明的目的是提供一种使用2D标记将视觉照相机校准至机器人的校准方法。特别地，该方法应该基本上在不用手动干涉的状态下进行。

发明内容

根据一个方面，目标通过根据第一独立权利要求的一种用于将机器人单元的第一坐标系R_f与对象识别单元的第二坐标系C_f校准的方法来实现。机器人单元包括具有末端执行器的机器人臂并且对象识别单元包括照相机单元。末端执行器进一步包括校准标记。方法包括：

-使末端执行器移动至多个第一目标点，其中第一目标点被选择成包括末端执行器的在机器人单元的第一坐标系R_f的所有三个轴中的移动，并且其中末端执行器在对于各第一目标点利用对象识别单元产生在第一坐标系R_f中的位置测量和在用于校准标记的图像平面坐标系IP_f中的位置测量的同时维持相同的定向；

-基于在R_f和IP_f中的测量来计算出照相机单元的内在参数C_int和对象识别单元的第二坐标系C_f的旋转部分；

-使末端执行器移动至多个第一定向，并且在维持末端执行器的相同第一定向并产生识别平移模式的在R_f和IP_f中的位置测量的同时，对于这些第一定向中每一个使末端执行器在平移模式中移动；

-基于识别平移模式的位置测量，计算出对于各第第一定向的从照相机单元至校准标记的深度值Z；

-基于深度值Z和C_int将IP_f中的像素上的位置测量变换成在第二坐标系C_f中的位置值；

-基于第一定向之间的平移和重新定向计算出对象识别单元的第二坐标系C_f的平移部分；和

-使用旋转部分和平移部分来存储R_f与C_f之间的关系以使得能够实现机器人单元与对象识别单元之间的协作。

利用该方法实现了对象识别单元至机器人单元的快速且精确的校准。校准可以利用可永久附接至机器人的二维校准标记来完成。不再有针对可能花费一小时来完成的针对棋盘格的工具中心点、TCP的耗时的示教的需要。所描述的校准方法可以在几分钟内完成并且可以在不用必须将校准标记重新附接至机器人的同时周期性地执行。校准标记的位置不是必须预先已知。因此即使校准标记在末端执行器上具有不同的放置，校准也可以对于不同末端执行器精确地完成。还有，如果末端执行器包括诸如衬垫等的软质部分，则校准标记的放置可能会在工作期间改变或不可能预先已知。然而，因为校准标记的放置不需要预先已知，所以这不会是问题。

所使用的照相机可以配置成在像素值u和v上测量，并且照相机单元的真实内在参数不需要预先已知。因此，各种照相机单元可以与该方法一起使用，使得方法更加有用。

根据一个实施例，计算出第二坐标系C_f的平移部分的步骤包括求解手眼方程式A·x＝b，其中A是描述了机器人单元的在第一定向中的不同位姿之间的旋转的矩阵，并且其中b是描述了对于不同位姿的在C_f中的平移与R_f中的平移之间的差异的矩阵。可以使用最小二乘法求解手眼方程式。

根据一个实施例，使用关系(X_c，Y_c，Zc)＝(C_int)^-1·(u，v，1)·Z将u和v图像坐标变换成对象识别单元的第二坐标系C_f中的笛卡尔值X_c，Y_c，Z。

根据一个实施例，Z是从方程式导出的，其中f是照相机单元的焦距、|u，v|是图像中的长度并且m是沿着平移模式的移动的长度。

根据一个实施例，方法包括在使末端执行器移动至多个第一目标点之前，教导机器人单元多个第一目标点的子集。因此，机器人单元可以被教导第一目标点的平台并基于这些教导的第一目标点计算出第一目标点的其余部分。

根据一个实施例，方法包括使末端执行器移动至至少三个第一定向，其中末端执行器在所述第一定向中的每一个中具有不同的定向。通过进行该程序，能够导出照相机单元的外在参数。

根据一个实施例，平移模式基本上正交于照相机单元的光轴。

根据第二方面，目的至少部分地通过一种配置成执行所描述的方法的步骤中的任一个的机器人控制器来实现。

根据第三方面，目的至少部分地通过一种包括对象识别单元的机器人单元来实现，其中机器人单元配置成执行所描述的方法的步骤中的任一个。根据一个实施例，目的通过机器人单元的使用来实现。

根据第四方面，目的至少部分地通过一种与机器人系统有关的计算机程序P来实现，其中计算机程序P包括配置成引起计算机单元执行根据方法的步骤中的任一项的步骤的计算机指令。

根据第五方面，目的至少部分地通过一种包括计算机指令的计算机产品来实现，计算机指令被存储在计算机可读介质上，以当在计算机单元中执行计算机指令时执行根据方法的步骤中的任一项的方法步骤。

根据第六方面，目标至少部分地通过一种机器人系统来实现，该机器人系统包括：定义第一坐标系R_f的机器人单元，其中机器人单元包括具有末端执行器的机器人臂。机器人系统进一步包括：定义第二坐标系C_f的对象识别单元，其中对象识别单元包括照相机单元；在末端执行器上的校准标记；计算机单元，具有编程单元和存储可操作以引起编程单元进行如下操作的指令的计算机可读存储介质，操作包括：

-使末端执行器移动至多个第一目标点，其中第一目标点被选择成包括末端执行器的在机器人单元的第一坐标系R_f的所有三个轴中的移动，并且其中末端执行器在对于各第一目标点利用对象识别单元产生在第一坐标系R_f中的位置测量和在用于校准标记的图像平面坐标系IP_f中的位置测量的同时维持相同的定向；

-基于在R_f和IP_f中的测量来计算出照相机单元的内在参数C_int和对象识别单元的第二坐标系C_f的旋转部分；

-使末端执行器移动至多个第一定向，并且在维持末端执行器的相同第一定向并产生识别平移模式的在R_f和IP_f中的位置测量的同时，对于这些第一定向中每一个使末端执行器在平移模式中移动；

-基于识别平移模式的位置测量，计算出对于各第一定向的从照相机单元至校准标记的深度值Z；

-基于深度值Z和C_int将IP_f中的像素上的位置测量变换成在第二坐标系C_f中的位置值；

-基于第一定向之间的平移和重新定向计算出对象识别单元的第二坐标系C_f的平移部分；和

-使用旋转部分和平移部分来存储R_f与C_f之间的关系以使得能够实现机器人单元与对象识别单元之间的协作。

优选实施例陈述在从属权利要求和详细描述中。

附图说明

下面将参照附图详细地描述发明，其中：

图1图示出根据发明的一个实施例的机器人系统。

图2图示出针孔照相机的模型。

图3图示出图2中的针孔照相机模型的图像平面。

图4是用于将机器人单元的第一坐标系R_f与对象识别单元的第二坐标系C_f校准的方法的流程图。

具体实施方式

图1图示出包括定义第一坐标系R_f的机器人单元1和定义第二坐标系C_f的对象识别单元2的机器人系统14的示例。机器人单元1包括具有末端执行器4的机器人臂3。机器人单元1是关节机器人单元1并且具有六个自由度。机器人臂3还设置有定义第三坐标系T0_f的工具法兰21。末端执行器4被附接至工具法兰21。第一、第三坐标系R_f与T0_f之间的关系是已知关系。

机器人单元1和对象识别单元2位于工作站20处。机器人单元1配置成在工作站20进行工作。

机器人单元1包括配置成借助于控制机器人臂3上的多个电动机来控制机器人臂3的移动的机器人控制器9。机器人控制器9包括编程单元10、例如计算机编程单元(CPU)、计算机可读存储介质11和驱动单元12。编程单元10配置成执行位于计算机可读存储介质11上的机器人程序，其中机器人臂3使用多个机器人位姿被移动至多个位置。驱动单元12配置成依赖于所执行的机器人程序来控制机器人臂3的电动机。机器人单元1被进一步配置成使用机器人单元1的关节的角度测量和机器人单元1的直接运动学模型来测量工具法兰坐标系T0_f的位姿。

对象识别单元2包括照相机单元5和信息处理单元6。照相机单元5配置成被导向至机器人单元1的工作站20。信息处理单元6包括编程单元7、例如CPU和计算机可读存储介质8。信息处理单元6配置成从照相机单元5接收呈工作站20处的一个或多个对象的图像的形式的信息。照相机单元5配置成测量对象的在照相机单元5的图像平面19(图2)的图像坐标系统IP_f中的图像坐标的u值和v值。图像坐标可以或者是原始像素数据或者是被变换成棋盘格框架的数据，因为将在下面描述的校准方法很好地用于两种数据工作。来自不同坐标系的数据将给出照相机单元5的不同种类的内在参数。照相机单元5的外在参数和校准结果因此将会是同样的。因此，没有必要知道照相机单元5是否已经被事先校准至例如棋盘格，这使校准方法简化。信息处理单元6配置成处理图像信息使得借助于对象辨识算法来辨识对象并在第二坐标系C_f中确定对象的位置。特别地，对象识别单元2配置成测量末端执行器4上的校准标记13的u和v值。校准标记13因此位于末端执行器4上。在与工具法兰21有关的末端执行器4上的校准标记13的确切位置T_f不需要预先知道。结果，校准标记13不需要被永久地附接在末端执行器4上，而是它可以为了校准的目的而被临时附接，并且它可以采取可去除的贴纸、磁体或类似物的形式。在图1中，在末端执行器4的放大图中以“ABB”贴纸的形状示出了校准标记13。然而校准标记13可以具有另一外观。

基于所辨识的对象的位置，机器人单元1配置成使机器人臂3移动至对象的该位置并且在对象上进行诸如拾取、焊接、喷涂、组装等的工作。于是，机器人单元1和对象识别单元2在工作站20处工作时联合操作。

为了使得照相机与机器人之间能够联合操作，机器人单元1的第一坐标系R_f与对象识别单元2的第二坐标系C_f之间的关系必须是已知的。因此，必须在进行工作站20处的工作之前借助于校准方法使坐标系彼此校准。应该理解的是，校准包括将第一、第二坐标系R_f、C_f中的一个与第一、第二坐标系R_f、C_f中的另一个校正。

机器人系统14进一步包括具有编程单元17、例如CPU和计算机可读存储介质16的计算机单元15。计算机可读存储介质16可以存储计算机程序P，其中计算机程序P包括配置成引起计算机单元15进行根据方法的步骤中的任一个的校准方法的计算机指令。计算机指令因此可以由编程单元17执行，由此将进行该方法。

计算机单元15例如配置成产生末端执行器4待通过机器人臂3被移动所至的多个位姿。位姿因此包括末端执行器4的定向和位置两者。计算机单元15进一步配置成在使末端执行器4的定向保持恒定的同时引起末端执行器4进行多个平移移动。计算机单元15还配置成使信息处理单元6与机器人单元1协调，使得例如机器人单元1的位姿和利用信息处理单元6做出的测量可以彼此有关。此外，计算机单元15配置成进行将在下面描述的计算等。

计算机可读存储介质8、11、16在这里被图示为独立的存取区域，但可以所有都实施为一个计算机可读存储介质。以相同方式，编程单元7、10、17可以实施为一个编程单元。

为了理解校准方法如何工作，现在将参照图2和图3说明针孔照相机的模型。在该公开中的照相机单元5基本上根据该模型工作。模型图示出3D点“p”与在照相机单元5的图像平面19上的其2D投影“p”的坐标之间的关系。

第二坐标系C_f定义了X_C轴、Y_C轴、Z_C轴和原点“O”。原点“O”的位置也是对象识别单元2的照相机单元5的照相机光圈所在的位置。因此，当提及信息处理单元6的第二坐标系C_f时，它同样意味着照相机单元5的坐标系统。Z_C轴定义了照相机单元5的光轴18。在图2中，因此沿着照相机单元5的光轴18图示出图像平面19的横向颠倒版本。图像平面19平行于X_C和Y_C轴并且位于沿着光轴18与原点O相距距离f处。“f”是沿着照相机单元5的光轴18的照相机单元5的焦距。

照相机单元5测量像素参数值u和v中的投影点p’(x，y)的在图像平面19中的位置。图像平面19具有在图像平面19的一个角部的其原点0，0。投影p’在这里被定义为图像平面坐标系IP_f中的坐标x,y，该图像平面坐标系的原点是在光轴18和图像平面19的交叉点“c”处，并且其x轴和y轴平行于X_C和Y_C轴。u_c,v_c表示图像平面19与光轴19之间的交叉点c。交叉点c称作主点或图像中心。参数u_c因此是主点处的u像素坐标，并且参数v_c是主点处的v像素坐标。在图2中第一坐标系R_f也图示出具有X_r轴、Y_r轴、Z_r轴。

在图3中，图示出图像平面19中的像素坐标与坐标系IP_f中的投影p’的位置之间的关系。如本领域技术人员已知的，图像平面19与坐标系IP_f之间的不对称性可以用倾斜角θ来表达，并且如果像素坐标系IP_f中的像素是非正方形则该不对称性可以用α和β来表达，如方程式(4)中所示。

C_f与R_f之间的关系可以表达为：

$\tilde{u}=P\·\tilde{U}---\left(1\right)$

P＝[C_iniC_ext](2)

C_ext＝[RT](3)

其中代表IP_f中的图像像素坐标的齐次向量，P是透视投影矩阵，C_in是代表照相机单元5的内在参数的矩阵，C_ext是代表照相机单元5的外在参数的矩阵，R是包括关于旋转的外在参数的矩阵，T是包括关于平移的外在参数的矩阵，并且是机器人单元坐标R_f的齐次向量。利用这里所使用的表示，这可以表达如下：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}\mathrm{\α}& s& u_c& 0\\ 0& \mathrm{\β}& v_c& 0\\ 0& 0& 1& 0\end{array}\right].\left[\begin{array}{cc}R& T\\ 0& 1\end{array}\right].\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]---\left(4\right)$

$C_{\mathrm{int}}=\left[\begin{array}{cccc}\mathrm{\α}& s& u_c& 0\\ 0& \mathrm{\β}& v_c& 0\\ 0& 0& 1& 0\end{array}\right]---\left(5\right)$

$C_{ext}=\left[\begin{array}{cc}R& T\\ 0& 1\end{array}\right]---\left(6\right)$

其中s代表照相机单元5的倾斜，并且α和β和是标量值。对于正方形像素α将等于β。

内在参数是与照相机单元5自身有关的参数，沿着u轴和v轴的缩放(α和β)、u轴和v轴的偏移(u_c和v_c)和u轴与v轴之间的倾斜θ。外在参数是描述对象识别单元2的第二坐标系C_f与机器人单元1的第一坐标系R_f之间的几何关系的参数。该关系可以在数学上被代表为R与T表示的方程式(3)中的位姿。R是描述了从R_f到C_f的定向的旋转矩阵，并且T是描述了R_f与C_f之间的平移的平移矩阵。

考虑到以上关系，校准问题可以用公式表示为确定C_int与C_ext使得点p的投影p’的IP_f中的u,v测量可以被转化成R_f中的X_r、Y_r、Z_r值，假定照相机单元5与点p之间的深度值Z是已知的。

在校准开始之前，优选地进行确保对象识别单元2可以将校准标记13定位在图像中并且提取标记13的u,v位置。标记13的u,v位置例如是标记13的角部。优选地还确保照相机单元5的焦点和快门被设置成近似值使得标记13可以在用于校准中使用的区域的图像中发现。

现在将参照图4的流程图来描述用于校准机器人单元1的第一坐标系R_f与对象识别单元2的第二坐标系C_f的方法。方法包括第一部分，在其中确定照相机单元5的内在参数和确定照相机单元5的外在参数的第一方案。在下面的第二部分中，校正第一部分中的外在参数的所确定出的第一方案。在这里假定校准标记13在照相机单元5的视野中可见。如果不是，则如将在方法的结束时所说明的进行自动校正程序。

第一部分

方法包括使末端执行器4移动至多个第一目标点，其中第一目标点被选择成包括末端执行器4的在机器人单元1的第一坐标系R_f的所有三个轴中的移动，并且其中末端执行器4维持相同的定向(A1)。可以在使末端执行器5移动至第一目标点之前将这些第一目标点的子集首先教导给机器人单元1，以定义出机器人单元1应该在哪里执行校准的第一部分。还将基本上垂直于子集中的第一位置的方向教导给机器人单元1以定义出近似的z轴。基于这些教导的第一目标点和z轴，机器人单元1可以配置成计算出多个第一目标点中的其余部分。优选地，将末端执行器4移动至在至少两个平面中的至少六个目标点，因此是其中不是所有目标点的六个目标点在相同平面中。例如，教导的目标点可以定义在第一平面中的矩形的四个角部。机器人单元1、例如计算机单元15可以接着配置成计算出定义了在z方向上平行于第一平面的第二、第三平面中的矩形的角部的第一目标点。以该方式将进行末端执行器4的在第一坐标系C_f的所有三个轴中的移动。也可以计算出定义了矩形的中心的第一目标点。这些第一目标点可以例如存储在计算机单元15的计算机可读存储介质16中。机器人单元1接着被控制成在产生机器人单元1的在第一坐标系R_f中的位置测量的同时移动至各第一目标点。根据一个实施例，还在各第一目标点中进行定向测量，使得它可以被控制成使得末端执行器4在各第一目标点中具有相同的定向。因此，接着在各第一目标点中进行用于机器人单元1的位姿测量。此外，在各第一目标点中，利用对象识别单元2产生在用于校准标记13的图像平面坐标系IP_f中的位置测量。因此，照相机单元5得到校准标记13的在各第一目标点中的图像，并且信息处理单元6识别出校准标记13的在图像中的u,v位置。该u,v位置例如是校准标记13的角部。

当被称为使机器人单元1移动至特定点、定向、位姿或在特定模式中时，它在校准方法中意味着使工具法兰21移动至特定点、定向位姿或在特定模式中。当被称为在第一坐标系R_f中的测量时，它是被测量的工具法兰21的位置、定向或位姿。

当产生用于在各第一目标点中的校准标记13的在第一坐标系R_f中的位置或位姿测量和在图像平面坐标系IP_f中的位置测量时，这些参数可以被存储在例如计算机单元15的计算机可读存储介质16中。编程单元17配置成进行这里所描述的计算。

此后，基于在R_f与IP_f中的测量计算出照相机单元5的内在参数C_int和对象识别单元2的第二坐标系C_f的旋转部分(A2)。这可以通过计算出方程式(3)中的投影矩阵P来完成。发现C_int和C_f的旋转部分的另一可能性是使用直接线性变换(DLT)。如之前描述的，投影矩阵P包括定义了对象识别单元2的、因此是照相机单元5的内在和外在参数的两个子矩阵C_int和C_ext。C_int定义了对象识别单元2的内在参数，并且C_ext定义了对象识别单元2的外在参数。投影矩阵P是将第一坐标系R_f中的第一目标点的坐标变换成齐次图像坐标(在IP_f中)的矩阵。因为末端执行器4当在不同第一位置之间移动时或当在第一位置中时未进行任何旋转移动，所以从机器人单元1移动已知校准标记13的相对平移。投影矩阵接着可以以对于本领域技术人员而言已知的方式计算出，并且方程式(4)中的C_int和C_ext将是已知的。

如果校准标记13的确切位置T_f是已知的则现在将结束校准。在实践中校准标记13往往是贴纸或印刷纸并且标记13的确切位置在工具法兰框架T0_f中是未知的。因此发明的目的是解决该不确定性。

如之前说明的，投影矩阵P可以被分解成两个子矩阵C_int和C_ext。假设机器人单元1在A1中对于所有第一目标点使用了相同的定向，则将校正C_int中的内在参数。也将校正C_ext中的定向部分、也就是R。然而C_ext的平移部分、也就是T将从工具法兰框架T0_f偏移。该偏移将等于校准标记13的相对于工具法兰框架T0_f的位置T_f。当固定照相机单元5被校准至机器人单元1并且校准标记13的位置和C_f两者都未知时，可以使用手眼校准同时地解决它们。在图1中图示出手动安装的校准标记13和固定的照相单元5，并且图示出利用该设置的方法。然而方法也可以与手动安装的照相机单元5和固定的校准标记13一起使用。

手眼校准问题可以在数学上代表为求解呈如下形式的矩阵方程式：

A·X＝X·B(7)

其中A、B和X都是齐次变换矩阵。X是未知的并且A和B的设定可以由末端执行器4位置和相应的照相机单元5测量构造。取决于A和B如何构造，X可以或者被表达在末端执行器4的坐标系中，或者被表达在图像处理单元2的坐标系C_f中。为了使手眼校准工作，需要在各点处的末端执行器4的全部位姿测量。如果校准棋盘格或类似物被使用并且照相机单元5的内在参数是已知的，则可以以合理的精度进行位姿测量。为了在位姿测量中得到良好的精度，棋盘格需要是相当大的尺寸。对于被永久安装在末端执行器4上的校准标记13，进行精确位姿估计在正常情况下是不可行的，因为标记13相对于总的照相机场景较小。因此期望使用不需要位姿测量但可以仅利用用于校准标记13的u,v数据来工作的方法。方法的以下第二部分进行机器人运动，该机器人运动进行仅使用来自可能的照相机单元5的u,v测量的校准方法(不需要来自照相机单元5的定向测量并且也不需要深度Z)。

第二部分

在第二部分中，方法进一步包括将末端执行器4移动至多个第一定向(A3)，并且对于这些定向中的每一个在维持末端执行器4的相同的第一定向且产生识别出平移模式的在R_f和IP_f中的位置测量的同时使末端执行器在平移模式中移动(A4)。平移模式可以基本上正交于照相机单元5的光轴。根据一个实施例，方法包括使末端执行器5移动至至少三个第一定向，其中末端执行器5在第一定向的每一个中具有不同定向。对于末端执行器4的各定向，末端执行器4在平移模式中进行平移移动使得末端执行器4基本上与由X_C轴和Y_C轴定义的图像平面19、因此是正交于光轴18的平面平行地移动。对于各定向的平移模式由最小两个平移点构成。可以进行对于各定向的数个平移移动以提高精度。对于第一定向的平移模式可以因此包括机器人单元1的数个平移移动。图像平面19的定向从方法的第一部分已知，在第一部分中计算出了C_ext的定向部分R。使用该知识，可以通过计算机单元15确定一个或几个平移模式。第一定向应该选择成，使得从一个第一定向至另一第一定向的过渡包括围绕第一轴的重新定向，并使得从进一步的第一定向至又进一步的第一定向的过渡包括围绕第二轴的重新定向，其中第一、第二轴是非平行的轴。例如，轴中的一个可以是光轴18(图2)。校准标记13接着将被保持对于照相机单元5、也对于大的重新定向而言是可见的。计算机单元15因此配置成使用来自方法的第一部分的计算出的参数来确定平移模式和第一定向。模式和第一定向可以接着由机器人控制器9使用以使机器人单元1根据平移模式和第一定向移动。

在进一步的步骤A5中，基于识别沿着平移模式的移动的位置测量对于各第一定向计算出从照相机单元5至校准标记13的深度值Z。由于步骤A4中的对于各定向的平移模式平行于照相机单元5平面进行，所以在照相机坐标系C_f中测量出的沿着Z_C轴的深度值Z对于平移模式中的所有位置将是恒定的。由于机器人单元1的平移运动对于平移模式中的各位置是已知的，所以深度值Z可以从如下三角关系导出：

$Z=f^{*}\·\frac{|u,v|}{m}---\left(8\right)$

其中f是照相机单元5的焦距，|u，v|是图像平面19中的沿着平移模式的移动的测量出的长度，并且m是机器人单元1的坐标系R_f中的沿着平移模式的移动的长度。焦距f通过照相机单元5的内在参数给出。根据一个实施例，焦距f在这里等于方程式(4)中的α。在该情况中，α＝β。如果α≠β，则当平行于C_f的轴、例如X_C轴进行平移移动时f可以设定为等于α。

现在将说明可以如何获取深度值Z的示例。例如，将机器人单元1定位在具有第一定向R1和第一位置T11的第一位姿P1中。照相机单元5现在测量出校准标记13的在像素坐标u₁₁，v₁₁中的位置IP1。机器人单元1接着在维持第一定向R1的同时在平移模式中进行平移移动至第二位置T12。照相机单元5现在测量出校准标记13的在像素坐标u₁₂，v₁₂中的位置IP12。IP1与IP12之间的距离|u，v|现在可以被计算为|u₁₁-u₁₂，v₁₁-v₁₂|。T11与T12之间的距离m可以被计算为|T11-T12|。因为|u，v|和m现在是已知的，所以可以使用方程式(8)来确定Z。对于至少三个第一定向进行这些步骤，由此对于各定向确定出深度值Z。

如果在各第一定向中进行几个平移移动，则对于平移模式中的各移动通过使用计算出的长度m和|u，v|的平均值来确定深度值Z。可以进行在各第一定向中的几个平移移动以增加精度。

一旦识别出对于所有第一定向的深度值Z，就使用如下关系将来自测量的u和v图像坐标(IP1…IPN)变换成对象识别单元2的第二坐标系C_f中的笛卡尔值X_C、Y_C、Z_C(C₁…C_N)(A6)：

[X_c，Y_c，Z_c]＝(C_int)^-1·[u，v，1]·Z(9)

方法的第二部分中迄今为止的进程留下了识别校准标记13的具有在第一坐标系R_f中的用于机器人单元1的位姿测量P₁—P_N和具有在第二坐标系C_f中的用于照相机单元4的相应位置测量C₁—C_N的测量对P₁,P_N—C₁,C_N。基于这些测量对，基于第二目标点之间的平移和重新定向计算出对象识别单元2的第二坐标系C_f的平移部分(A7)。这样做，形成了基于测量对的运动对并求解手眼方程式(7)。

由于仅第二坐标系C_f的平移部分是未知的，所以手眼方程式(7)可以用公式表示为：

A·x＝b(10)

其中A是3×3矩阵并且x和b是3×1矩阵。A是描述了第一定向中的机器人单元1的不同位姿之间的旋转的矩阵，并且b是描述了对于不同位姿的在C_f中的平移与在R_f中的平移之间的差异的矩阵。方程式使用最小二乘法来求解。

现在将说明可以如何求解手眼方程式(10)的示例。

如之前已经说明的，可以基于测量对形成运动对。使用包括了两个位姿P₁、P₂和两个测量C₁、C₂的最小两个测量对。P₁和P₂可以各分别用公式表示为齐次变换矩阵[R₁T₁；0001]和[R₂T₂；0001]，其中R₁和R₂是3×3旋转矩阵，并且T₁和T₂是3×1平移矩阵。由于校准标记13放置在末端执行器4上，所以校准标记13将跟随末端执行器4的移动。校准标记13的定向因此与末端执行器4的定向相同。C₁和C₂因此可以表达为在C_f中的X_C、Y_C、Z_C值而没有任何定向。C₁和C₂各可以用公式表示为3×1平移矩阵。

描述了从P₁到P₂的相对重新定向移动的方程式A₁可以用公式表示为：

A₁＝R₁·(R₂)^-1-I(11)

其中I是3×3酉矩阵并且A₁是3×3矩阵。描述了从C₁至C₂的相对平移移动的方程式b₁可以用公式表示为：

$b_1=(C_1-C_2)-(T_1-R_1^{*}{\left(R_2\right)}^{-1^{*}}{T}_2)---\left(12\right)$

其中b₁是3×1矩阵。

第一手眼方程式现在可以利用方程式(11)和(12)用公式表示为：

A₁·x＝b₁(13)

其中x是C_ext的平移部分T、因此是X_C、Y_C和Z_C值。然而，为求解手眼方程式(10)，程序对于至少第三测量对P₃、C₃必须重复进行因为矩阵A₁是奇异矩阵。对于第三测量对并且符合方程式(11)和(12)，以下表达式可以用公式表示为：

A₂＝R₁·(R₃)^-1-I(14)

$b_2=(C_1-C_3)-(T_1-R_1^{*}{\left(R_3\right)}^{-1^{*}}{T}_3)---\left(15\right)$

(10)中的矩阵A现在可以通过将A₁和A₂组合到 $A=\left[\begin{array}{c}{A}_1\\ A_2\end{array}\right]$ 内而用公式表示。为了四个测量，可以形成三个测量对，并且A具有尺寸9×3。相应地，(10)中的向量b可以通过将b₁和b₂组合到 $b=\left[\begin{array}{c}{b}_1\\ b_2\end{array}\right]$ 内而用公式表示。b在具有三个测量对的情况中是9×1矩阵。问题是超定的，并且方程式(10)可以使用最小二乘法来求解。结果是用于校准标记13的X_C、Y_C和Z_C值，因此是C_ext的平移部分T。

当手眼方程式(10)已经求解出时，已计算出了C_f的平移部分T，并且框架C_f的位姿相对于R_f完全已知并且校准完成。旋转和平移部分R和T接着用来存储R_f与C_f之间的关系以使得能够实现机器人单元1与对象识别单元2之间的协作(A8)。机器人单元1与对象识别单元2之间的协作包括使照相机单元5感测到的与机器人单元1的动作协调。

方法可以由机器人单元1自动地执行，例如借由机器人用户接口由操作者启动。校准现在可以在几分钟内完成，这之前花费高达一小时。结果比以前更精确，并且节约大量的时间。校准参数、因此是照相机单元5的内在和外在参数可以在方法结束时借助机器人单元接口给予用户。机器人单元1的运动模式优选地还基于内在和外在参数来更新，使得照相机单元5可以给出机器人单元1可以精确地发现并例如拾取或在上面进行工作的对象的位置测量。

当通过机器人单元1计算第一目标点、第一定向、平移模式等时，存在着点中的一些将从照相机单元5的视野中离开使得校准标记13在由照相机单元5拍摄的图像中看不见的风险。为避免这样的情形，这里所描述的方法可以用这些位置的自动校正以发现校准标记13来补充。例如，如果对象识别单元2发现位置A_r中的校准标记13并且机器人单元1接着使末端执行器4在X_r方向上移动200mm至校准标记13离开由照相机单元5拍摄的图像所在的位置B_r，则机器人单元1可以沿着轨迹倒退直到校准标记13再次可以在图像中被发现为止(例如倒退至150mm，检查校准标记13是否在图像内，如果不在，则倒退至100mm，等)。对于重新定向可以进行相同的程序。

当进行重新定向时，可以在第一步骤中围绕转轴、例如工具法兰坐标系T0_f完成±10°的第一小的重新定向。接着可以完成外在参数的第一近似值，并因此是校准标记13的坐标T_f的第一近似值。然而利用这样的小定向精度不是非常好，所以在第二步骤中机器人单元1进行±45°之间的更大的重新定向，但是现在是围绕校准标记13的坐标的第一近似值。该过程确保校准标记13停留在处于较大重新定向的图像中，使得可以在C_ext的估计中获得高精度。

本发明不限于上述优选实施例。可以使用各种可选方案、修改和等同方式。因此。以上实施例不应该视为限制发明的范围，该发明的范围由随附权利要求限定。

Claims (14)

1.一种用于将机器人单元(1)的第一坐标系R_f与对象识别单元(2)的第二坐标系C_f校准的方法，其中所述机器人单元(1)包括具有末端执行器(4)的机器人臂(3)并且所述对象识别单元(2)包括照相机单元(5)，所述末端执行器(4)进一步包括校准标记(13)，所述方法包括：

-使所述末端执行器(4)移动至多个第一目标点，其中所述第一目标点被选择成包括所述末端执行器(4)在所述机器人单元(1)的所述第一坐标系R_f的所有三个轴中的移动，并且其中所述末端执行器(4)在对于各第一目标点利用所述对象识别单元(2)产生在所述第一坐标系R_f中的位置测量和在用于所述校准标记(13)的图像平面坐标系IP_f中的位置测量的同时维持相同的定向；

-基于在R_f和IP_f中的所述测量来计算出所述照相机单元(5)的内在参数C_int和所述对象识别单元(2)的所述第二坐标系C_f的旋转部分；

-使所述末端执行器(4)移动至多个第一定向，并且在维持所述末端执行器的相同第一定向并产生识别平移模式的在R_f和IP_f中的位置测量的同时，对于这些定向中每一个使所述末端执行器(4)在所述平移模式中移动；

-基于识别沿着所述平移模式的所述移动的所述位置测量，计算出对于各第二目标点从所述照相机单元(5)至所述校准标记(13)的深度值Z；

-基于所述深度值Z和C_int将IP_f中的像素上的位置测量变换成在所述第二坐标系C_f中的位置值；

-基于所述第一定向之间的所述平移和重新定向计算出所述对象识别单元(2)的所述第二坐标系C_f的平移部分；和

-使用所述旋转部分和所述平移部分来存储R_f与C_f之间的关系以使得能够实现所述机器人单元(1)与所述对象识别单元(2)之间的协作。

2.根据权利要求1所述的方法，其中计算出所述第二坐标系C_f的所述平移部分的步骤包括求解手眼方程式A·x＝b，其中A是描述了所述机器人单元(1)在所述第一定向中的不同位姿之间的旋转的矩阵，并且其中b是描述了对于所述不同位姿在所述C_f中的平移与所述R_f中的平移之间的差异的矩阵。

3.根据权利要求2所述的方法，其中使用最小二乘法求解所述手眼方程式。

4.根据前述权利要求中的任一项所述的方法，其中所述变换步骤包括使用方程式(X_c，Y_c，Z)＝(C_int)^-1·(u，v，1)·Z将IP_f中的像素上的位置测量变换成所述对象识别单元(2)的所述第二坐标系C_f中的笛卡尔值X_c，Y_c，Z。

5.根据前述权利要求中的任一项所述的方法，其中Z是从方程式导出的，其中f是所述照相机单元(5)的焦距、|u，v|是图像中的长度并且m是沿着所述平移模式的移动的长度。

6.根据前述权利要求中的任一项所述的方法，包括在使所述末端执行器(5)移动至所述多个第一目标点之前，教导给所述机器人单元(1)所述多个第一目标点的子集。

7.根据前述权利要求中的任一项所述的方法，包括使所述末端执行器(5)移动至至少三个第一定向，其中所述末端执行器(5)在所述第一定向中的每一个中具有不同的定向。

8.根据前述权利要求中的任一项所述的方法，其中所述平移模式基本上正交于所述照相机单元(5)的光轴。

9.一种机器人控制器(9)，配置成执行根据权利要求1至8所述的方法。

10.一种包括对象识别单元(2)的机器人单元(1)，其中所述机器人单元(1)配置成执行根据权利要求1至8所述的方法。

11.一种根据权利要求10的机器人单元(1)的使用。

12.一种与机器人系统有关的计算机程序(P)，其中所述计算机程序(P)包括配置成引起计算机单元(15)进行根据权利要求1至8中的任一项所述的步骤的计算机指令。

13.一种包括计算机指令的计算机产品，被存储在计算机可读介质上，以当在计算机单元(15)中执行所述计算机指令时进行根据权利要求1至8中的任一项所述的方法步骤。

14.一种机器人系统(14)，包括：

-定义第一坐标系R_f的机器人单元(1)，其中所述机器人单元(1)包括具有末端执行器(4)的机器人臂(3)；

-定义第二坐标系C_f的对象识别单元(2)，其中所述对象识别单元(2)包括照相机单元(5)；

-在所述末端执行器(4)上的校准标记(13)；

-计算机单元(15)，具有编程单元(17)和存储可操作以引起所述编程单元(17)进行如下操作的计算机指令的计算机可读存储介质(16)，所述操作包括：

-使所述末端执行器(4)移动至多个第一目标点，其中所述第一目标点被选择成包括所述末端执行器(4)在所述机器人单元(1)的所述第一坐标系R_f的所有三个轴中的移动，并且其中所述末端执行器(4)在对于各第一目标点利用所述对象识别单元(2)产生在所述第一坐标系R_f中的位置测量和在用于所述校准标记(13)的图像平面坐标系IP_f中的位置测量的同时维持相同的定向；

-基于在R_f和IP_f中的所述测量来计算出所述照相机单元(5)的内在参数C_int和所述对象识别单元(2)的所述第二坐标系C_f的旋转部分；

-使所述末端执行器(4)移动至多个第一定向，并且在维持所述末端执行器的相同第一定向并产生识别平移模式的在R_f和IP_f中的位置测量的同时，对于这些第一定向中每一个使所述末端执行器(4)在所述平移模式中移动；

-基于识别所述平移模式的所述位置测量，计算出对于各第一目标点从所述照相机单元(5)至所述校准标记(13)的深度值Z；

-基于所述深度值Z和C_int将IP_f中的像素上的位置测量变换成在所述第二坐标系C_f中的位置值；

-基于所述第一定向之间的所述平移和重新定向计算出所述对象识别单元(2)的所述第二坐标系C_f的平移部分；和

-使用所述旋转部分和所述平移部分来存储R_f与C_f之间的关系以使得能够实现所述机器人单元(1)与所述对象识别单元(2)之间的协作。