CN114029982A - 一种相机在机器臂外的手眼标定装置及其标定方法 - Google Patents

一种相机在机器臂外的手眼标定装置及其标定方法 Download PDF

Info

Publication number
CN114029982A
CN114029982A CN202111570373.9A CN202111570373A CN114029982A CN 114029982 A CN114029982 A CN 114029982A CN 202111570373 A CN202111570373 A CN 202111570373A CN 114029982 A CN114029982 A CN 114029982A
Authority
CN
China
Prior art keywords
calibration
coordinate system
robot
point
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111570373.9A
Other languages
English (en)
Inventor
郝盼
张彦超
张永泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Full Vision Intelligent Photoelectric Co ltd
Original Assignee
Suzhou Full Vision Intelligent Photoelectric Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Full Vision Intelligent Photoelectric Co ltd filed Critical Suzhou Full Vision Intelligent Photoelectric Co ltd
Priority to CN202111570373.9A priority Critical patent/CN114029982A/zh
Publication of CN114029982A publication Critical patent/CN114029982A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/04—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type by rotating at least one arm, excluding the head movement itself, e.g. cylindrical coordinate type or polar coordinate type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Abstract

本发明公开了一种相机在机器臂外的手眼标定装置及其标定方法，手眼标定装置包括机器人本体、标定板、图像坐标采集设备，机器人本体上设置有机械臂，机械臂、图像坐标采集设备均设置在标定板上方；所述标定板为三维立体标定板，标定板上表面设置有若干个标定点且若干个标定点的空间坐标均不相同。其标定方法包括以下步骤：S1、通过标定点在图像坐标系下的点坐标建立坐标系U1，通过机器人末端在标定点位置上的世界坐标建立坐标系U2；S2、设定标定方程；S3、求解标定方程，得到转换矩阵
Figure DDA0003423171290000011
S4、使用验证点对转换矩阵
Figure DDA0003423171290000012
进行误差验证。

Description

一种相机在机器臂外的手眼标定装置及其标定方法
技术领域
本发明涉及机器人领域，尤其涉及一种相机在机器臂外的手眼标定装置及其标定方法。
背景技术
随着科学技术的发展，机器人得到了广泛的应用，并逐渐成为核心的生产力。在机器人的推广应用中，用户对机器人的绝对精度要求也越来越高，在出厂前，生产商会对机器人进行标定校准，以提高其绝对精度。自主移动机器人在投入使用前，需要对机器人的视觉模组等部件进行标定，以确定机器人是正常且符合使用标准的。除此之外，随着机器人使用时间的增加，可能会造成轮子的磨损、机械结构的变化等情况，这些都会导致最初的标定精度下降。而当精度下降到一定程度时，机器人的相关功能会受到严重影响。因此，对机器人的标定十分重要。
在机器人领域，利用视觉方法进行位姿估计来帮助机械臂实现精确的目标抓取有着重要的应用，其中，手眼标定是一个非常基础且关键的问题。简单来说手眼标定的目的就是获取机器人坐标系和相机坐标系的关系，最后将视觉识别的结果转移到机器人坐标系下。而标定结果的精度又往往很大程度取决于测试数据的准确性，因此准确的获取到标定板数据是标定精确与否的关键。当前标定方法多采用高精度陶瓷球或者棋盘格的方式获取特征值进行手眼标定，这种单特征的方法很难保证特征数据的精度，从而降低了手眼标定结果的精确度，影响工业机器人整体的工作质量。手眼标定按照相机的安装方式可分为两类：眼在手外(eye-to-hand)和眼在手上(eye-in-hand)。前者是指相机安装在固定支架上，其位姿相对机械臂的基座固定。后者是指相机安装在机械臂的末端执行器上，其位姿相对机械臂的末端执行器固定。现有的手眼标定方法大都要利用一个标定板，通过迭代求解AX＝XB或者AX＝YB这两类高维非线性矩阵方程来进行标定。
现有标定的方法，一般是在测量设备上设置激光跟踪仪等高精密设备进行标定，这种方法不仅价格昂贵，而且处理器处理的数据量过大容易产生滞后性，虽能提高机器人的轨迹精度，但操作复杂、成本较高，不利于机器人标定操作的实施，并且使用该方法在对机器人进行标定时，不管场地的准备还是标定的测试过程，都需要专业人士进行，导致机器人的标定门槛和成本都很高；因此，有必要对其进行改进。
发明内容
本发明目的是针对上述问题，提供一种操作简单、使用便利的相机在机器臂外的手眼标定装置及其标定方法。
为了实现上述目的，本发明的技术方案是：
一种相机在机器臂外的手眼标定装置，包括机器人本体、标定板、图像坐标采集设备，机器人本体、标定板、图像坐标采集设备均固定在地面上，机器人本体上设置有机械臂，机械臂、图像坐标采集设备均设置在标定板上方；所述标定板为三维立体标定板，标定板上表面设置有若干个标定点且若干个标定点的空间坐标均不相同。
进一步的，所述机器人本体包括固定滑轨、活动板、第一旋转舵机、第二旋转舵机、机械臂，固定滑轨固定在地面上，活动板设置在固定滑轨上端且活动板与固定滑轨滑动连接，活动板与固定滑轨之间设置有推拉舵机并通过推拉舵机控制活动板在固定滑轨上滑动；活动板上固定连接有第一旋转舵机，第一旋转舵机的输出轴与第二旋转舵机固定连接，第二旋转舵机的输出轴与机械臂固定连接。
进一步的，所述标定板包括固定连接板、第一梯形块、第二梯形块，固定连接板、第一梯形块、第二梯形块一体成型，第一梯形块、第二梯形块均位于固定连接板上端且第一梯形块底端、第二梯形块底端分别位于固定连接板的两端，第一梯形块的高度低于第二梯形块的高度；所述标定点设置在固定连接板的上端面或第一梯形块、第二梯形块的倾斜斜面上。
进一步的，所述手眼标定装置还包括机器人控制器、标定数据处理器，机器人控制器与推拉舵机、第一旋转舵机、第二旋转舵机线路连接，标定数据处理器分别与机器人控制器、图像坐标采集设备通讯连接。
进一步的，所述标定数据处理器包括数据传输模块、标定执行模块、误差验证模块，数据传输模块的信号输出端与标定执行模块的信号输入端相连接，标定执行模块的信号输出端与误差验证模块的信号输入端相连接。
一种相机在机器臂外的手眼标定装置的标定方法，包括以下步骤：
S1、读取标定点在图像坐标系下的点坐标L1,L2,L3，根据点坐标L1,L2,L3建立坐标系U1，同时读取机器人末端在标定点位置上的世界坐标点P1,P2,P3，根据世界坐标点P1,P2,P3建立坐标系U2；
S2、设定标定方程；
S3、求解标定方程，得到转换矩阵
Figure BDA0003423171270000032
S4、使用验证点对转换矩阵
Figure BDA0003423171270000031
进行误差验证。
进一步的，所述步骤S1具体包括以下步骤：
S11、用图像坐标读取设备读取标定板中的三个标定点B1,B2,B3的图像坐标，其分别为：L1(a1，b1，c1)，L2(a2，b2，c2)，L3(a3，b3，c3)；
S12、使用机器人控制器操控机器人本体的机器臂末端依次移动到标定点B1,B2,B3位置上，记录此时机器臂末端在世界坐标系下的坐标，其分别为P1(x1，y1，z1)，P2(x2，y2，z2)，P3(x3，y3，z3)以及处于各个坐标点时的旋转角度Γ1(α1，β1，γ1)，Γ2(α2，β2，γ2)，Γ3(α3，β3，γ3)；
S13、使用L1(a1，b1，c1)，L2(a2，b2，c2)，L3(a3，b3，c3)建立坐标系U1；
以L2(a2，b2，c2)为原点建立坐标系U1，求出向量V1,V2，并设V1的方向为坐标系U1的X轴正方向；则：
Figure BDA0003423171270000041
V2＝L3-L2＝(a3-a2,b3-b2,c3-c2)；
则坐标系U1的Z轴正方向为向量V1,V2的向量积，坐标系U1的Y轴正方向为OX与OZ的向量积；
Figure BDA0003423171270000042
Figure BDA0003423171270000043
可得世界坐标W至坐标系U1的旋转矩阵R；
Figure BDA0003423171270000044
求得世界坐标W至坐标系U1的转换矩阵；
Figure BDA0003423171270000045
用点坐标P1(x1，y1，z1)，P2(x2，y2，z2)，P3(x3，y3，z3)与该转换矩阵相乘，得到世界坐标系下标定点P1(x1，y1，z1)，P2(x2，y2，z2)，P3(x3，y3，z3)在坐标系U1中的点B1,B2,B3；
Figure BDA0003423171270000051
Figure BDA0003423171270000052
Figure BDA0003423171270000053
S13、使用点坐标P1(x1，y1，z1)，P2(x2，y2，z2)，P3(x3，y3，z3)建立坐标系U2，求出世界坐标到坐标系U2的转换矩阵：
Figure BDA0003423171270000054
使用图像坐标系下的标定点坐标L1(a1，b1，c1)，L2(a2，b2，c2)，L3(a3，b3，c3)与该转换矩阵相乘，得到在坐标系U2下的对应点A1,A2,A3：
Figure BDA0003423171270000055
Figure BDA0003423171270000056
Figure BDA0003423171270000057
此时坐标系U1和坐标系U2的原点及坐标系方向完全重合。
进一步的，所述步骤S2具体包括以下步骤：
S21、设机械臂末端第一次运动的转换关系方程为：
Figure BDA0003423171270000061
Figure BDA0003423171270000062
Figure BDA0003423171270000063
S22、代入经过坐标系U1和坐标系U2转换的坐标点A1,A2,A3和B1,B2,B3；得：
Figure BDA0003423171270000064
Figure BDA0003423171270000065
Figure BDA0003423171270000066
标定板坐标系Ug和机械臂底座坐标系Uw之间是相对静止的，因此两者之间的转换关系是一个常量，将其消除后可得：
Figure BDA0003423171270000067
Figure BDA0003423171270000068
Figure BDA0003423171270000069
两边各乘以
Figure BDA00034231712700000610
Figure BDA00034231712700000611
Figure BDA00034231712700000612
Figure BDA00034231712700000613
化简可得：
X*A＝B；
因此，机器人末端坐标系与相机坐标系之间的转换矩阵
Figure BDA0003423171270000071
即为变量X。
进一步的，所述步骤S3具体包括以下步骤：
S31、将旋转矩阵转换为旋转向量；
Figure BDA0003423171270000072
S32、向量归一化；
Figure BDA0003423171270000073
S33、修正的罗德里格斯参数表示姿态变化；
Figure BDA0003423171270000074
S34、计算初始旋转向量Pce′；
skew(Peij+Pcij)Pc′e＝Pcij-Peij；
其中，skew表示取这个向量的反对称矩阵；
S35、计算旋转向量；
Figure BDA0003423171270000075
S36、计算旋转矩阵；
Figure BDA0003423171270000081
S37、计算平移向量；
Figure BDA0003423171270000082
S38、计算平移矩阵；
Figure BDA0003423171270000083
S39、求得转换矩阵
Figure BDA0003423171270000084
为：
Figure BDA0003423171270000085
进一步的，所述步骤S4具体包括以下步骤：
S41、在空间中选取第i个验证点，使用图像坐标读取设备读取当前验证点的图像坐标Ai1＝(ai1,bi1,ci1)；
S42、操控机械臂末端移至该验证点，读取机械臂末端在该验证点的世界坐标Bi＝(xi,yi,zi)；
S43、将世界坐标Bi＝(xi,yi,zi)代入求解出的转换矩阵
Figure BDA0003423171270000086
中，得到该验证点图像坐标的计算值Ai2＝(ai2,bi2,ci2)；
计算该验证点的标定误差；
Figure BDA0003423171270000091
S44、计算了n个验证点的标定误差后，对所有验证点的标定误差求平均值Δerror；
Figure BDA0003423171270000092
S45、判断平均值Δerror是否大于误差阈值0.2mm；如果大于误差阈值0.2mm，则说明标定点选取有误或者所求的转换矩阵有误；如果小于误差阈值0.2mm，则说明标定误差在允许的范围内，转换矩阵
Figure BDA0003423171270000093
求解正确。
与现有技术相比，本发明具有的优点和积极效果是：
本发明在进行标定操作时只需要将机器人的机械臂移动到标定板上方即可，整个标定过程主要由待标定机器人、图像坐标采集设备、标定数据处理器完成，其操作步骤简单，降低了机器人标定操作的门槛；同时其标定精度高，误差可以达到0.2mm以下，有效提高了机器人的标定精度；另一方面，本发明在进行标定操作时不需要精密的测量仪器，相比于激光跟踪仪动辄百万的维修和购买费用来说有着巨大的成本优势，并且其在进行标定操作时不受环境和光照的限制，可以应用于大部分的生产环境，随时进行标定标定，同时其操作简单，方便快捷，减少了大量搬运机器人的工作步骤，进一步提高了本发明的使用效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为标定装置的系统示意图；
图2为标定装置的结构示意图；
图3为标定板的结构示意图；
图4为标定点的位置示意图；
图5为标定板的截面示意图；
图6为标定数据处理器的框架结构图；
图7为标定方法的框架流程图；
图8为误差验证的框架流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
如图1、图2、图3所示，本发明提供一种机器人标定装置，包括机器人本体1及通信连接机器人本体1的机器人控制器4，标定数据处理器3，标定板2，图像坐标采集设备5；
机器人本体1、标定板2、图像坐标采集5设备均固定在地面上，机器人本体1上设置有机械臂101，机械臂101、图像坐标采集设备5均设置在标定板2上方；所述标定板2为三维立体标定板，标定板2上表面设置有若干个标定点且若干个标定点的空间坐标均不相同。
所述机器人本体1包括固定滑轨101、活动板102、第一旋转舵机103、第二旋转舵机104、机械臂105，固定滑轨101固定在地面上，活动板102设置在固定滑轨101上端且活动板102与固定滑轨101滑动连接，活动板102与固定滑轨101之间设置有推拉舵机并通过推拉舵机控制活动板102在固定滑轨101上滑动；活动板102上固定连接有第一旋转舵机103，第一旋转舵机103的输出轴与第二旋转舵机104固定连接，第二旋转舵机104的输出轴与机械臂105固定连接。通过推拉舵机、第一旋转舵机、第二旋转舵机的配合操作来实现机械臂的空间移动，其结构简单，成本较低，提高了本发明的使用效果。
所述标定板2包括固定连接板201、第一梯形块202、第二梯形块203，固定连接板201、第一梯形块202、第二梯形块203一体成型，第一梯形块202、第二梯形块203均位于固定连接板201上端且第一梯形块202底端、第二梯形块203底端分别位于固定连接板201的两端，第一梯形块202的高度低于第二梯形块203的高度；所述标定点设置在固定连接板201的上端面或第一梯形块202、第二梯形块203的倾斜斜面上。
标定板不同于普通的棋盘格标定板，该标定板为三维立体结构，标定板中每个标定点之间具有较大的高度差和水平横移，这使得标定点之间的空间坐标(x,y,z)在x,y,z方向上具有较大的差值，这确保了后期转换矩阵的求解不会出现过拟合，使得标定结果更加精确。
所述机器人控制器4可以集成在机器人本体1中；所述机器人控制器1亦可以为独立于机器人本体1外的装置，例如控制柜等；需说明的是，无论是控制器还是控制柜均具有可以运行软件的硬件系统，包括例如处理器(MCU或CPU等或其他实现)，存储器(ROM或RAM等或其他实现)。在机器人控制器4中可以读取机器人本体1的各种运动参数，比如机器臂末端在世界坐标系下的位姿(旋转角度和空间坐标)；另外，所述机器人本体1的机械臂为多轴的机械臂，是能够实现自动控制的、可重复编程的、多自由度的、运动自由度建成空间直角关系的、多用途的操作机。其工作的行为方式主要是通过完成沿着X、Y、Z轴上的线性运动。其中，6轴机器人的坐标系包含X、Y、Z三个平移量以及分别绕这三个轴旋转的R(X)、R(Y)、R(Z)三个旋转量。
所述机器人控制器4和标定数据处理器3之间通过有线以太网来通信连接，所述标定数据处理器3和图像坐标采集设备5之间通过有线以太网来通信连接；所述通信的协议包括：Ethernet TCP/IP、Modbus、RS232及其他标准协议或自定义协议中的任意一种。
所述图像坐标采集设备5，可以是激光传感器、相机或者二者结合的数据采集设备。通信连接所述标定数据处理器3，用于采集标定板2中标定点的图像坐标。
所述标定板2，用于提供标定点，供机器人本体1和图像坐标采集设备5采集标定点的世界坐标以及图像坐标。与普通的棋盘格标定板不同，标定板2为一个三维立体的装置。标定板中共有四个标定点，标定点之间有高度差，使得每个标定点的空间坐标(x,y,z)均不同。由于标定点之间的x方向，y方向和z方向上均有较大的距离，这使得后期转换矩阵的求取以及标定结果更为精确；标定板的结构图如图3、图4、图5所示；
所述标定数据处理器3，通信连接所述机器人控制器4与图像坐标采集设备5。所述标定数据处理器3可以是计算机、工控机、微机或是任何具有数据处理功能的设备，也可以是连接这些设备的信息上传终端；标定数据处理器3可以独立设置，也可以附加安装在图像坐标采集设备5上。如图6所示，标定数据处理器包括数据传输模块、标定执行模块以及误差验证模块。
数据传输模块：用于读取机器人控制器4中的机器人末端世界坐标系坐标，以及图像坐标采集设备5中的标定点的图像坐标。
标定执行模块：标定执行模块用于将得到的机器人末端世界坐标系和图像坐标系中的两组坐标生成转换方程：AX＝B，最后求解出图像坐标系到机器人末端坐标系之间的转换矩阵X。
上述标定装置的具体的标定流程如图7所示，其通过求解标定方程，以求得相机和机器人之间的相对位置关系，该方程需要输入多组标定板在相机坐标系下的位姿以及对应的机械臂末端在机器人坐标系下的位姿；机械臂末端在机器人坐标系下的位姿可以直接从机器人系统中直接获取，而标定板在相机坐标系下的位姿可以让相机对标定板进行拍照采样；将标定板和相机固定到某个位置之后，在标定板或相机的位置已知的默认前提下，让机器人按照标定板中的标定位置走点，相机拍摄一次，即可获取标定板中所有标定点的图像坐标；在整个标定过程结束后，将求得的标定关系代入到整个机器人系统内，让相机去指挥机械臂运动到某个点，由机械臂实际运动到的点和指令输入的点进行比较误差的大小。
具体标定操作步骤如下：
步骤1：读取标定点在图像坐标系下的点坐标L1,L2,L3，根据三个坐标建立坐标系U1，同时读取机器人末端在标定点位置上的世界坐标P1,P2,P3，根据这三个坐标建立坐标系U2。此时U1和U2的原点及方向完全重合；
步骤2：将L1，L2，L3转换到U2坐标系中，得到坐标A1,A2,A3。将A1,A2,A3和P1,P2,P3代入X*A＝B方程中；
步骤3：求解转换矩阵；
步骤4：使用验证点对转换矩阵进行误差验证。
所述步骤1具体包括：
1.1、将图像坐标读取设备5固定于标定板2的上方，标定板2的位置保持不变。用图像坐标读取设备5读取标定板2中的三个标定点B1,B2,B3的图像坐标：L1(a1，b1，c1)，L2(a2，b2，c2)，L3(a3，b3，c3)；
1.2、使用机器人控制器4操控机器人本体1的机器臂末端依次移动到标定点B1,B2,B3位置上，记录此时机器人末端在世界坐标系下的坐标P1(x1，y1，z1)，P2(x2，y2，z2)，P3(x3，y3，z3),以及此时的旋转角度Γ1(α1，β1，γ1)，Γ2(α2，β2，γ2)，Γ3(α3，β3，γ3)；
1.3、使用L1(a1，b1，c1)，L2(a2，b2，c2)，L3(a3，b3，c3)建立坐标系U1；
以L2为原点建立坐标系，求出向量V1,V2，并设V1的方向为X轴正方向：
Figure BDA0003423171270000141
V2＝L3-L2＝(a3-a2,b3-b2,c3-c2)；
则Z轴正方向为向量V1,V2的向量积，Y轴正方向为OX与OZ的向量积；
Figure BDA0003423171270000142
Figure BDA0003423171270000143
可得世界坐标W至U1坐标系的旋转矩阵R和平移矩阵t为：
Figure BDA0003423171270000144
最后可求得世界坐标W至U1坐标系的转换矩阵：
Figure BDA0003423171270000145
用点坐标P1(x1，y1，z1)，P2(x2，y2，z2)，P3(x3，y3，z3)与该转换矩阵相乘，得到世界坐标系下标定点P1(x1，y1，z1)，P2(x2，y2，z2)，P3(x3，y3，z3)在U1坐标系中的点B1,B2,B3:
Figure BDA0003423171270000151
Figure BDA0003423171270000152
Figure BDA0003423171270000153
1.4、同理使用点坐标P1(x1，y1，z1)，P2(x2，y2，z2)，P3(x3，y3，z3)建立坐标系U2，求出世界坐标到U2坐标的转换矩阵：
Figure BDA0003423171270000154
使用图像坐标系下的标定点坐标L1(a1，b1，c1)，L2(a2，b2，c2)，L3(a3，b3，c3)与转换矩阵相乘，得到在U2坐标系下的对应点A1,A2,A3：
Figure BDA0003423171270000155
Figure BDA0003423171270000156
Figure BDA0003423171270000157
此时U1和U2的原点及方向完全重合。
所述步骤2具体包括：
眼在手外标定方程推导；
参数说明：
Ug：标定板坐标系；
Uw：世界坐标系(机械臂底座坐标系)；
Uc：相机坐标系；
Ue：机械臂末端坐标系；
Figure BDA0003423171270000161
相机坐标系和机械臂底座坐标系之间的转换关系；
Figure BDA0003423171270000162
机械臂末端坐标系和机械臂底座坐标系之间的转换关系；
Figure BDA0003423171270000163
相机坐标系和标定板坐标系之间的转换关系；
Figure BDA0003423171270000164
标定板坐标系和机械臂底座坐标系之间的转换关系；
问题推导；
摄像机坐标系和机器人基座坐标系是固定不变的，在标定过程中控制机械臂末端运动，因此机械臂末端坐标系和标定扳坐标系是运动变化的。
2.1、设第一次运动的转换关系方程为：
Figure BDA0003423171270000165
Figure BDA0003423171270000166
Figure BDA0003423171270000167
2.2、代入第一次运动记录的标定点经过U1和U2坐标系转换的坐标A1,A2,A3和B1,B2,B3；
Figure BDA0003423171270000168
Figure BDA0003423171270000169
Figure BDA00034231712700001610
标定板坐标系Ug和机械臂底座坐标系Uw之间是相对静止的，因此他们的转换关系是一个常量，将消除可得：
Figure BDA0003423171270000171
Figure BDA0003423171270000172
Figure BDA0003423171270000173
两边各乘以
Figure BDA0003423171270000174
Figure BDA0003423171270000175
Figure BDA0003423171270000176
Figure BDA0003423171270000177
化简可得：
X*A＝B；
转换矩阵
Figure BDA0003423171270000178
可直接读出，转换矩阵
Figure BDA0003423171270000179
由相机标定得出。机器人末端坐标系与相机坐标系之间的转换矩阵
Figure BDA00034231712700001710
即为我们需要求的变量X。
所述步骤3具体包括：
使用两步法求解标定方程：
先从上述标定方程中解出旋转矩阵
Figure BDA00034231712700001711
再代入求解出平移矩阵
Figure BDA00034231712700001712
计算步骤如下：
3.1、将旋转矩阵转换为旋转向量；
Figure BDA00034231712700001713
3.2、向量归一化；
Figure BDA00034231712700001714
3.3、修正的罗德里格斯参数表示姿态变化；
Figure BDA0003423171270000181
3.4、计算初始旋转向量Pce′；
skew(Peij+Pcij)P′ce＝Pcij-Peij；
其中，skew表示取这个向量的反对称矩阵。
3.5、计算旋转向量；
Figure BDA0003423171270000182
3.6、计算旋转矩阵；
Figure BDA0003423171270000183
3.7、计算平移向量；
Figure BDA0003423171270000184
3.8、计算平移矩阵；
Figure BDA0003423171270000185
3.9、求得转换矩阵
Figure BDA0003423171270000186
为：
Figure BDA0003423171270000187
其中，平移矩阵为三行一列矩阵，旋转矩阵为三行三列矩阵，最后求得的转换矩阵
Figure BDA0003423171270000188
为四行四列矩阵。
当一次标定过程结束后，必须对标定结果的误差进行测量，以判断当前计算的标定结果是否够基本正确以及能够满足本发明的精度需求；本发明提出了一种对标定结果旋转部分和平移部分都能进行量化的误差测量方法，该方法通过在空间中求取验证点的图像坐标与机器人末端坐标，然后代入求出的转换矩阵，将验证点的实际空间坐标与使用矩阵方程求出的空间坐标做对比，求出误差值。通过设置误差阈值，来判断转换矩阵是否正确以及验证点的实际坐标是否求取有误。
所述步骤4如图8所示，其具体步骤如下：
4.1、在空间中选取第i个验证点，使用图像坐标读取设备读取当前验证点的图像坐标Ai1＝(ai1,bi1,ci1)；
4.2、操控机器人末端移至该验证点，读取机器人末端在该点的世界坐标Bi＝(xi,yi,zi)；
4.3、将坐标B1代入求解出的转换矩阵
Figure BDA0003423171270000191
中，可得到该验证点图像坐标的计算值Ai2＝(ai2,bi2,ci2)；
计算该点的标定误差：
Figure BDA0003423171270000192
4.4、预设的误差阈值为0.2，单位为mm(毫米)，如果errori大于0.2，则判定该验证点选取有误，需要重新选取验证点。
4.5、通过选取了n个验证点后，对所有的误差求平均值Δerror；
Figure BDA0003423171270000193
判断Δerror是否大于误差阈值0.2mm，如果大于，则说明标定点选取有误，所求的转换矩阵有误。如果小于，则说明标定误差在允许的范围内，转换矩阵求解正确。
本发明在进行标定操作时只需要将机器人的机械臂移动到标定板上方即可，整个标定过程主要由待标定机器人、图像坐标采集设备、标定数据处理器完成，其操作步骤简单，降低了机器人标定操作的门槛；同时其标定精度高，误差可以达到0.2mm以下，有效提高了机器人的标定精度；另一方面，本发明在进行标定操作时不需要精密的测量仪器，相比于激光跟踪仪动辄百万的维修和购买费用来说有着巨大的成本优势，并且其在进行标定操作时不受环境和光照的限制，可以应用于大部分的生产环境，随时进行标定标定，同时其操作简单，方便快捷，减少了大量搬运机器人的工作步骤，进一步提高了本发明的使用效果。

Claims (10)

1.一种相机在机器臂外的手眼标定装置，其特征在于：所述手眼标定装置包括机器人本体、标定板、图像坐标采集设备，机器人本体、标定板、图像坐标采集设备均固定在地面上，机器人本体上设置有机械臂，机械臂、图像坐标采集设备均设置在标定板上方；所述标定板为三维立体标定板，标定板上表面设置有若干个标定点且若干个标定点的空间坐标均不相同。
2.如权利要求1所述的相机在机器臂外的手眼标定装置，其特征在于：所述机器人本体包括固定滑轨、活动板、第一旋转舵机、第二旋转舵机、机械臂，固定滑轨固定在地面上，活动板设置在固定滑轨上端且活动板与固定滑轨滑动连接，活动板与固定滑轨之间设置有推拉舵机并通过推拉舵机控制活动板在固定滑轨上滑动；活动板上固定连接有第一旋转舵机，第一旋转舵机的输出轴与第二旋转舵机固定连接，第二旋转舵机的输出轴与机械臂固定连接。
3.如权利要求2所述的相机在机器臂外的手眼标定装置，其特征在于：所述标定板包括固定连接板、第一梯形块、第二梯形块，固定连接板、第一梯形块、第二梯形块一体成型，第一梯形块、第二梯形块均位于固定连接板上端且第一梯形块底端、第二梯形块底端分别位于固定连接板的两端，第一梯形块的高度低于第二梯形块的高度；所述标定点设置在固定连接板的上端面或第一梯形块、第二梯形块的倾斜斜面上。
4.如权利要求3所述的相机在机器臂外的手眼标定装置，其特征在于：所述手眼标定装置还包括机器人控制器、标定数据处理器，机器人控制器与推拉舵机、第一旋转舵机、第二旋转舵机线路连接，标定数据处理器分别与机器人控制器、图像坐标采集设备通讯连接。
5.如权利要求4所述的相机在机器臂外的手眼标定装置，其特征在于：所述标定数据处理器包括数据传输模块、标定执行模块、误差验证模块，数据传输模块的信号输出端与标定执行模块的信号输入端相连接，标定执行模块的信号输出端与误差验证模块的信号输入端相连接。
6.一种如权利要求5所述的相机在机器臂外的手眼标定装置的标定方法，其特征在于：包括以下步骤：
S1、读取标定点在图像坐标系下的点坐标L1,L2,L3，根据点坐标L1,L2,L3建立坐标系U1，同时读取机器人末端在标定点位置上的世界坐标点P1,P2,P3，根据世界坐标点P1,P2,P3建立坐标系U2；
S2、设定标定方程；
S3、求解标定方程，得到转换矩阵
Figure FDA0003423171260000021
S4、使用验证点对转换矩阵
Figure FDA0003423171260000022
进行误差验证。
7.如权利要求6所述的相机在机器臂外的手眼标定装置的标定方法，其特征在于：所述步骤S1具体包括以下步骤：
S11、用图像坐标读取设备读取标定板中的三个标定点B1,B2,B3的图像坐标，其分别为：L1(a1，b1，c1)，L2(a2，b2，c2)，L3(a3，b3，c3)；
S12、使用机器人控制器操控机器人本体的机器臂末端依次移动到标定点B1,B2,B3位置上，记录此时机器臂末端在世界坐标系下的坐标，其分别为P1(x1，y1，z1)，P2(x2，y2，z2)，P3(x3，y3，z3)以及处于各个坐标点时的旋转角度Γ1(α1，β1，γ1)，Γ2(α2，β2，γ2)，Γ3(α3，β3，γ3)；
S13、使用L1(a1，b1，c1)，L2(a2，b2，c2)，L3(a3，b3，c3)建立坐标系U1；
以L2(a2，b2，c2)为原点建立坐标系U1，求出向量V1,V2，并设V1的方向为坐标系U1的X轴正方向；则：
Figure FDA0003423171260000031
V2＝L3-L2＝(a3-a2,b3-b2,c3-c2)；
则坐标系U1的Z轴正方向为向量V1,V2的向量积，坐标系U1的Y轴正方向为OX与OZ的向量积；
Figure FDA0003423171260000032
Figure FDA0003423171260000033
可得世界坐标W至坐标系U1的旋转矩阵
Figure FDA0003423171260000034
Figure FDA0003423171260000035
求得世界坐标W至坐标系U1的转换矩阵
Figure FDA0003423171260000036
Figure FDA0003423171260000037
用点坐标P1(x1，y1，z1)，P2(x2，y2，z2)，P3(x3，y3，z3)与该转换矩阵
Figure FDA0003423171260000038
相乘，得到世界坐标系下标定点P1(x1，y1，z1)，P2(x2，y2，z2)，P3(x3，y3，z3)在坐标系U1中的点B1,B2,B3；
Figure FDA0003423171260000041
Figure FDA0003423171260000042
Figure FDA0003423171260000043
S13、使用点坐标P1(x1，y1，z1)，P2(x2，y2，z2)，P3(x3，y3，z3)建立坐标系U2，求出世界坐标到坐标系U2的转换矩阵
Figure FDA0003423171260000044
Figure FDA0003423171260000045
使用图像坐标系下的标定点坐标L1(a1，b1，c1)，L2(a2，b2，c2)，L3(a3，b3，c3)与该转换矩阵
Figure FDA0003423171260000046
相乘，得到在坐标系U2下的对应点A1,A2,A3：
Figure FDA0003423171260000047
Figure FDA0003423171260000048
Figure FDA0003423171260000049
此时坐标系U1和坐标系U2的原点及坐标系方向完全重合。
8.如权利要求7所述的相机在机器臂外的手眼标定装置的标定方法，其特征在于：所述步骤S2具体包括以下步骤：
S21、设机械臂末端第一次运动的转换关系方程为：
Figure FDA0003423171260000051
Figure FDA0003423171260000052
Figure FDA0003423171260000053
S22、代入经过坐标系U1和坐标系U2转换的坐标点A1,A2,A3和B1,B2,B3；得：
Figure FDA0003423171260000054
Figure FDA0003423171260000055
Figure FDA0003423171260000056
标定板坐标系Ug和机械臂底座坐标系Uw之间是相对静止的，因此两者之间的转换关系是一个常量，将其消除后可得：
Figure FDA0003423171260000057
Figure FDA0003423171260000058
Figure FDA0003423171260000059
两边各乘以
Figure FDA00034231712600000510
Figure FDA00034231712600000511
Figure FDA00034231712600000512
Figure FDA00034231712600000513
化简可得：
X*A＝B；
因此，机器人末端坐标系与相机坐标系之间的转换矩阵
Figure FDA0003423171260000065
即为变量X。
9.如权利要求8所述的相机在机器臂外的手眼标定装置的标定方法，其特征在于：所述步骤S3具体包括以下步骤：
S31、将旋转矩阵转换为旋转向量；
Figure FDA0003423171260000061
S32、向量归一化；
Figure FDA0003423171260000062
S33、修正的罗德里格斯参数表示姿态变化；
Figure FDA0003423171260000063
S34、计算初始旋转向量Pce′；
skew(Peij+Pcij)P′ce＝Pcij-Peij；
其中，skew表示取这个向量的反对称矩阵；
S35、计算旋转向量Pce；
Figure FDA0003423171260000064
S36、计算旋转矩阵
Figure FDA0003423171260000071
Figure FDA0003423171260000072
S37、计算平移向量；
Figure FDA0003423171260000073
S38、计算平移矩阵；
Figure FDA0003423171260000074
S39、求得转换矩阵
Figure FDA0003423171260000075
为：
Figure FDA0003423171260000076
10.如权利要求9所述的相机在机器臂外的手眼标定装置的标定方法，其特征在于：所述步骤S4具体包括以下步骤：
S41、在空间中选取第i个验证点，使用图像坐标读取设备读取当前验证点的图像坐标Ai1＝(ai1,bi1,ci1)；
S42、操控机械臂末端移至该验证点，读取机械臂末端在该验证点的世界坐标Bi＝(xi,yi,zi)；
S43、将世界坐标Bi＝(xi,yi,zi)代入求解出的转换矩阵
Figure FDA0003423171260000077
中，得到该验证点图像坐标的计算值Ai2＝(ai2,bi2,ci2)；
计算该验证点的标定误差；
Figure FDA0003423171260000081
S44、计算了n个验证点的标定误差后，对所有验证点的标定误差求平均值Δerror；
Figure FDA0003423171260000082
S45、判断平均值Δerror是否大于误差阈值0.2mm；如果大于误差阈值0.2mm，则说明标定点选取有误或者所求的转换矩阵有误；如果小于误差阈值0.2mm，则说明标定误差在允许的范围内，转换矩阵
Figure FDA0003423171260000083
求解正确。
CN202111570373.9A 2021-12-21 2021-12-21 一种相机在机器臂外的手眼标定装置及其标定方法 Pending CN114029982A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111570373.9A CN114029982A (zh) 2021-12-21 2021-12-21 一种相机在机器臂外的手眼标定装置及其标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111570373.9A CN114029982A (zh) 2021-12-21 2021-12-21 一种相机在机器臂外的手眼标定装置及其标定方法

Publications (1)

Publication Number Publication Date
CN114029982A true CN114029982A (zh) 2022-02-11

Family

ID=80140951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111570373.9A Pending CN114029982A (zh) 2021-12-21 2021-12-21 一种相机在机器臂外的手眼标定装置及其标定方法

Country Status (1)

Country Link
CN (1) CN114029982A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114227700A (zh) * 2022-02-23 2022-03-25 杭州灵西机器人智能科技有限公司 机器人的手眼标定方法和系统
CN116188594A (zh) * 2022-12-31 2023-05-30 梅卡曼德（北京）机器人科技有限公司 沙姆相机的标定方法、标定系统、装置和电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114227700A (zh) * 2022-02-23 2022-03-25 杭州灵西机器人智能科技有限公司 机器人的手眼标定方法和系统
CN114227700B (zh) * 2022-02-23 2022-05-20 杭州灵西机器人智能科技有限公司 机器人的手眼标定方法和系统
CN116188594A (zh) * 2022-12-31 2023-05-30 梅卡曼德（北京）机器人科技有限公司 沙姆相机的标定方法、标定系统、装置和电子设备
CN116188594B (zh) * 2022-12-31 2023-11-03 梅卡曼德（北京）机器人科技有限公司 沙姆相机的标定方法、标定系统、装置和电子设备

Similar Documents

Publication Publication Date Title
CN109483516B (zh) 一种基于空间距离和极线约束的机械臂手眼标定方法
CN110193829B (zh) 一种耦合运动学与刚度参数辨识的机器人精度控制方法
CN107042528B (zh) 一种工业机器人的运动学标定系统及方法
CN108297101A (zh) 多关节臂串联机器人末端位姿误差检测和动态补偿方法
CN105509671B (zh) 一种利用平面标定板的机器人工具中心点标定方法
CN114029982A (zh) 一种相机在机器臂外的手眼标定装置及其标定方法
CN108789404A (zh) 一种基于视觉的串联机器人运动学参数标定方法
JP2005201824A (ja) 計測装置
JP5618770B2 (ja) ロボットの校正装置および校正方法
CN109079787B (zh) 基于神经网络的非刚性机器人自动手眼标定方法
CN113211445B (zh) 一种机器人参数标定方法、装置、设备及存储介质
US7957834B2 (en) Method for calculating rotation center point and axis of rotation, method for generating program, method for moving manipulator and positioning device, and robotic system
JPH0445841B2 (zh)
JPH0445842B2 (zh)
CN113240753A (zh) 机器人与双轴变位机构基坐标系标定球面拟合法
CN216464645U (zh) 一种相机在机器臂外的手眼标定装置
CN116652970A (zh) 一种四轴机械臂2d手眼标定方法及系统、存储介质
CN111975756A (zh) 一种3d视觉测量系统的手眼标定系统及方法
CN113733155B (zh) 六轴工业机器人标定装置和标定方法
CN113878586B (zh) 机器人运动学标定装置、方法及系统
CN111028298B (zh) 一种用于刚体坐标系空间变换标定的汇聚式双目系统
CN115179323A (zh) 基于远心视觉约束的机器末位姿测量装置及精度提升方法
CN116619350A (zh) 一种基于双目视觉测量的机器人误差标定方法
Scaria et al. Cost Effective Real Time Vision Interface for Off Line Simulation of Fanuc Robots
CN115582831A (zh) 机械手臂的自动校正方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination