CN110136208B - 一种机器人视觉伺服系统的联合自动标定方法及装置 - Google Patents

Abstract

本发明实施例公开了一种机器人视觉伺服系统的联合自动标定方法及装置，方法包括：对机器人视觉伺服系统进行相机标定，确定相机内参和畸变参数；进行线结构光平面标定，确定线结构光平面参数；进行手眼标定，确定第二机器人末端执行器与相机的坐标转换关系；进行定位系统标定，确定机器人基座坐标系与红外激光定位基站坐标系的变换关系；根据相机内参、畸变参数、线结构光平面参数、坐标转换关系和变换关系确定机器人视觉伺服系统的联合自动标定结果。首先其实现了多种传感定位方式联合标定，使得工业机器人视觉伺服系统不在局限于采用结构光视觉传感或者双目视觉传感；其次实现了标定流程的自动化，去除了人工操作，提高了工作效率。

Description

一种机器人视觉伺服系统的联合自动标定方法及装置

技术领域

本发明涉及计算机技术领域，具体涉及一种机器人视觉伺服系统的联合自动标定方法及装置。

背景技术

机械手臂是机器人技术领域中得到最广泛实际应用的自动化机械装置，在工业制造、医学治疗、娱乐服务、军事、半导体制造等领域都有着广泛的应用，虽然常见的六自由度机械手臂位姿精度现在已经可以做到很高的级别，但是实际使用时达到高精度需要复杂的模拟仿真以及现场示教过程来实现，同时对于工件的一致性有很高的要求，缺乏自主纠正偏差的智能性。

上个世纪60年代，由于机器人和计算机技术的发展，人们开始研究具有视觉功能的机器人，意在通过工业相机(CCD或者CMOS传感器)在机器人工作时对目标工件图像进行采集和分析，针对不同的应用实现一定程度的智能化系统。但在这些研究中，机器人的视觉与机器人的动作，严格上讲是开环的。机器人的视觉系统通过图像处理，得到目标位姿，然后根据目标位姿，计算出机器运动的位姿，在整个过程中，视觉系统一次性地“提供”信息，然后就不参与过程了，我们称其为“视觉反馈”(visual feedback)。后有人将视觉系统应用于机器人闭环控制系统并提出了“视觉伺服”(visual servo)概念，视觉反馈的含义只是从视觉信息中提取反馈信号，而视觉伺服则是包括了从视觉信号处理，到机器人控制，随着机器人继而对新的位置进行视觉信号处理再不断纠正对机器人控制的闭环全过程，所以视觉伺服代表了更先进的机器人视觉和控制系统。

在传统视觉伺服系统中，视觉部分往往指的是单一的视觉传感器，即CCD或者CMOS相机。按照相机放置位置的不同，可以分为眼在手上系统(eye-in-hand)和眼在手外系统(即固定相机系统)(eye-to-hand)。在自主移动机器人的视觉导航系统中，机器人必须准确地获悉其自身与周围环境的绝对位姿关系，才能有效的实现自主导航，这就对机器人相对环境的参考坐标系的绝对定位精度具有较高要求，所以视觉标定是及其重要的一个部分。标定主要分为相机标定和手眼标定两步。相机标定用于计算CCD或CMOS传感器的相机成像几何模型，手眼标定用于计算机器人坐标系和相机坐标系之间的矩阵转换关系。

相机标定和手眼标定根据是否需要靶标，靶标维度，视觉传感器个数，手眼系统安装方式，手眼标定模型等多种因素，区分出了很多不同形式的标定方案。对于现有的视觉伺服系统来说，相机标定主要采用基于二维平面靶标的(平面棋盘格或者平面二维圆形点阵靶标)的标定方案，手眼标定主要采用了基于AX＝XB手眼模型方程，旋转和平移部分同时求解的非线性方法。对于一些采用单目相机的视觉伺服系统来说，需要结构光辅助进行三维重建，结构光投射器投射的光束经过一个柱面镜在三维空间中形成一个光平面，当该平面与被测物体表面相交时产生一光条纹。该光条纹受到被测物体表面的调制而发生形变，形变的光条纹在相机像平面上成像，利用相机成像原理及线结构光视觉传感器的参数计算出被测物体表面的三维信息，即实现了线结构光视觉传感器的测量、检测等任务。此时就需要额外增加一种结构光标定，即计算结构光平面与相机坐标系之间的矩阵关系。结构光平面标定的关键是获得光平面上的标定点在参考坐标系中坐标和利用光平面的投影特性实现其标定，利用特殊设计的各种靶标图像交比不变的性质进行标定。

现有的这些标定方法主要聚焦在对于传统视觉伺服系统的标定，如果伺服系统中引入了不可成像的传感定位系统，则无法与之进行标定，即目前的视觉标定方法仅局限于狭义的基于可见光图像传感器的视觉伺服系统；同时传统的标定方法中存在大量的人工操作，例如需要人工移动靶标或者人工操作机器人移动采集不同方向的靶标图像，这在实际生产环境中会带来调试难度的加大和效率的降低；另外，由于视觉伺服系统最终的误差是由多个标定过程误差所累积的，目前的多数研究都只对单一标定进行误差的分析与优化，没有考虑系统误差的全局优化。

发明内容

由于现有方法存在上述问题，本发明实施例提出一种机器人视觉伺服系统的联合自动标定方法及装置。

第一方面，本发明实施例提出一种机器人视觉伺服系统的联合自动标定方法，包括：

对机器人视觉伺服系统进行相机标定，确定相机内参和畸变参数；

对所述机器人视觉伺服系统进行线结构光平面标定，确定线结构光平面参数；

对所述机器人视觉伺服系统进行手眼标定，确定第二机器人末端执行器与相机的坐标转换关系；

对所述机器人视觉伺服系统进行定位系统标定，确定机器人基座坐标系与红外激光定位基站坐标系的变换关系；

根据所述相机内参、所述畸变参数、所述线结构光平面参数、所述坐标转换关系和所述变换关系确定所述机器人视觉伺服系统的联合自动标定结果。

第二方面，本发明实施例还提出一种机器人视觉伺服系统的联合自动标定装置，包括：

相机标定模块，用于对机器人视觉伺服系统进行相机标定，确定相机内参和畸变参数；

光平面标定模块，用于对所述机器人视觉伺服系统进行线结构光平面标定，确定线结构光平面参数；

手眼标定模块，用于对所述机器人视觉伺服系统进行手眼标定，确定第二机器人末端执行器与相机的坐标转换关系；

定位系统标定模块，用于对所述机器人视觉伺服系统进行定位系统标定，确定机器人基座坐标系与红外激光定位基站坐标系的变换关系；

联合标定模块，用于根据所述相机内参、所述畸变参数、所述线结构光平面参数、所述坐标转换关系和所述变换关系确定所述机器人视觉伺服系统的联合自动标定结果。

第三方面，本发明实施例还提出一种电子设备，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述方法。

第四方面，本发明实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述方法。

由上述技术方案可知，本发明实施例通过依次进行相机标定、线结构光平面标定、手眼标定和定位系统标定，首先其实现了多种传感定位方式联合标定，使得工业机器人视觉伺服系统不在局限于采用结构光视觉传感或者双目视觉传感，而可以引入其他非可成像类型的室内定位传感技术；其次实现了标定流程的自动化，去除了人工操作，最大程度实现了全流程标定的自动化，大大提高了工作效率；同时对四种标定结果进行分析与优化，实现了系统误差的全局优化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明一实施例提供的一种机器人视觉伺服系统的联合自动标定方法的流程示意图；

图2为本发明一实施例提供的一种机器人视觉伺服系统的结构示意图；

图3为本发明一实施例提供的一种机器人视觉伺服系统的相机标定方法的流程示意图；

图4为本发明一实施例提供的一种机器人视觉伺服系统的线结构光平面标定方法的流程示意图；

图5为本发明一实施例提供的一种机器人视觉伺服系统的手眼标定方法的流程示意图；

图6为本发明一实施例提供的一种机器人视觉伺服系统的定位系统标定方法的流程示意图；

图7为本发明一实施例提供的一种机器人视觉伺服系统的联合标定方法的流程示意图；

图8为本发明一实施例提供的一种机器人视觉伺服系统的联合自动标定装置的结构示意图；

图9为本发明一实施例提供的电子设备的逻辑框图。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

图1示出了本实施例提供的一种机器人视觉伺服系统的联合自动标定方法的流程示意图，包括：

S101、对机器人视觉伺服系统进行相机标定，确定相机内参和畸变参数。

具体地，相机标定的图像采集要求是最简单的，只需要相机能够采集完整清晰的靶标图案即可认为满足采集条件。因此只需要预先固定好标定物位置，根据算法计算出一系列适合拍摄的位置和姿态，并将这一系列位姿依此发送给机器人并每次进行对应的视觉采集。

本实施例为了增强自动化标定的鲁棒性和可靠性，在算法计算出来的位置和姿态基础上加入了自动对焦的功能保证成像质量。由于工业相机往往是定焦的，所以为了实现自动对焦，需要先对采集到的图像进行分析，如果图像锐度不满足预设要求，则认为对焦不清晰进而计算偏差值控制机器人末端执行器移动采集直至采集的图片满足预设要求。

S102、对所述机器人视觉伺服系统进行线结构光平面标定，确定线结构光平面参数。

具体地，线结构光平面标定的图像采集要求成像图片中线结构光始终过靶标上三个固定点，要自动化的满足这个要求，需要利用视觉传感器测量目标物体的当前图像特征作为反馈，以图像特征的偏差控制机器人末端执行器运动。由于机器人末端执行器运动时，图像特征也随之改变，所以需要根据控制的视觉特征推导该特征对应的图像雅可比矩阵，然后利用基于图像雅可比矩阵进行Kalman滤波估计。

图像雅可比矩阵表示的是光条纹图像特征对时间的微分，光条纹图像特征具体指的是相机中拍摄到的激光条纹在所成图像中的倾斜角度和图像原点到光条纹的垂直距离。在相机坐标系下，所述的光条纹图像特征由前述的线结构光平面系数和靶标平面方程系数决定，其中线结构光平面系数不会随着时间/机器人移动而改变，因此图像雅可比矩阵可以进一步分解为图像特征对靶标平面方程系数的偏导与靶标平面方程对机器人末端坐标和时间的偏导的复合：

继而可以构造一个系统，其中图像雅可比矩阵J_L中的元素为系统的状态，应用Kalman滤波器对状态进行估计。对于每一个时刻，图像雅可比矩阵的估计值都可以由Kalman滤波器给出，随后机器人按照视觉控制给定的位置增量进行运动，完成后再由新的图像特征得到新的雅可比矩阵，如此循环直至线结构光条纹和与靶标上预设好的三个点重合。

S103、对所述机器人视觉伺服系统进行手眼标定，确定第二机器人末端执行器与相机的坐标转换关系。

具体地，手眼标定的图像采集要求和步骤S101的相机标定类似，只要求相机能够采集完整清晰的靶标图案，同时采集当前机器人末端执行器位姿齐次矩阵即可。与相机标定不同的是，为了提高手眼标定结果的可信度，需要前后两个图像采集位置/角度之间有比较明显的差异，因为手眼标定的输入是前后两个采集位置之间偏移量和前后两张靶标图案外参之间的偏移量。如果偏移量太小，将无法有效的通过算法来排除系统误差。

S104、对所述机器人视觉伺服系统进行定位系统标定，确定机器人基座坐标系与红外激光定位基站坐标系的变换关系。

具体地，定位系统标定的图像采集要求和步骤S101的相机标定类似，只要求相机能够采集完整清晰的靶标图案。但是前三步标定均无需对靶标进行移动，只需要控制机器人移动来采集图像即可。对于定位系统标定来说，每次采集需要标定物在不同的空间位置和角度，所以需要引入另外一个机构对标定物进行移动。最直观的方法即加入另外一个机械臂，将标定物固定在其末端执行器上，通过控制其末端执行器的移动来自动化的控制标定物的位姿。同时固定有线结构光传感器的机械臂可以根据标定物当前位姿矩阵大致计算出需要移动的矩阵，到达预定位置后再利用自动对焦等技术对相机位置进行微调。

S105、根据所述相机内参、所述畸变参数、所述线结构光平面参数、所述坐标转换关系和所述变换关系确定所述机器人视觉伺服系统的联合自动标定结果。

需要注意的是，步骤S101-S104的四个标定步骤有先后的依赖关系，得到相机内参、畸变参数、线结构光平面参数、坐标转换关系和变换关系后，能够确定机器人视觉伺服系统的联合自动标定结果。

具体地，从硬件系统的组成结构上来说，机器人视觉伺服系统的硬件系统包含两个六轴机器人、固定在其中一个机器人末端执行器上的标定物、固定在另一机器人末端执行器上的线结构光视觉传感器、四个红外激光定位基站、机器人控制柜以及上位机控制柜。具体如图2所示，2011和2012是两个六轴机器人，202是固定在2011机器人末端执行器上的标定物，203是固定在2012机器人末端执行器上的线结构光视觉传感器，204是四个红外激光定位基站，205是机器人控制柜，206是上位机控制柜。具体来说，机器人视觉伺服系统包含两个六轴机器人2011和2012，一个固定在2011机器人末端执行器上的标定物202，一个固定在2012机器人末端执行器上的线结构光视觉传感器203，四个红外激光定位基站204，一个机器人控制柜205以及上位机控制柜206组成。标定物202由可定位刚体2021和二维棋盘格靶标2022结合而成，线结构光视觉传感器203由工业相机2031、650nm线激光发生器2032以及红光窄带滤光片2033组成。

本实施例为了实现所有标定流程的全自动化，采用了双机器人体系，机器人2011用于把持标定物202，机器人2012用于固定线结构光传感器。对于所述自动标定方法流程来说，相机自动标定、线结构光自动标定、手眼自动标定的过程中，标定物202均不需要移动，也无需对机器人2011进行控制和位置读取。对于红外激光定位系统标定来说，需要通过上位机控制机器人2011进行标定物的移动，并采集标定物定位数据。

其中，红外激光定位系统自动标定用于标定物质心与二维棋盘格靶标之间转换关系的位姿矩阵。该标定方法采用了双机器人系统实现自动化标定，其中一个机器人把持标定物并控制其移动，另外一个机器人末端执行器固定线结构光视觉传感器同步移动并对移动的标定物进行拍摄采样。

本实施例通过依次进行相机标定、线结构光平面标定、手眼标定和定位系统标定，首先其实现了多种传感定位方式联合标定，使得工业机器人视觉伺服系统不在局限于采用结构光视觉传感或者双目视觉传感，而可以引入其他非可成像类型的室内定位传感技术；其次实现了标定流程的自动化，去除了人工操作，最大程度实现了全流程标定的自动化，大大提高了工作效率；同时对四种标定结果进行分析与优化，实现了系统误差的全局优化。

进一步地，在上述方法实施例的基础上，如图3所示，S101具体包括：

S1011、采集完整的二维棋盘格靶标图案，对采集到的所述二维棋盘格靶标图案进行清晰度评估，得到所述二维棋盘格靶标图案的清晰度。

S1012、若判断所述清晰度不满足预设要求，则计算目标点位置，并根据所述目标点位置移动末端执行器进行自动对焦。

S1013、自动对焦完成后，以当前点为初始点，采用球面拟合生成在球面上距离靶标一致的位置和姿态，根据所述位置和姿态按顺序遍历计算出来的采样点位姿并控制所述第二机器人移动到各个采样点进行采样。

S1014、将所有采样点采集到的图像进行棋盘格角点提取，并对提取的棋盘格角点进行相机标定，得到相机内参和畸变参数。

具体地，相机自动采集分为两个步骤进行采集，即先采集无光条纹的靶标图案，再调低曝光水平打开激光器，采集只有光条纹靶标不可见的光条纹图案。

相机自动标定时，首先人工操作机器人2012将其固定有线结构光传感器203的末端执行器移动至标定物202附近，使其能够采集到完整的二维棋盘格靶标图案；然后上位机软件对采集到的棋盘格图案进行清晰度评估，如果清晰度不满足要求则计算目标点位置移动末端执行器自动对焦；对焦完成后以当前点为初始点，采用球面拟合生成在球面上距离靶标一致的其他位置和姿态；按顺序遍历计算出来的采样点位姿并控制机器人2012移动到各个采样点，每个采样点均执行自动对焦步骤；最后将所有采样点采集到的图像进行棋盘格角点提取，进行相机标定，得到相机内参和畸变参数。

其中，棋盘格图案清晰度评估采用Tenengrad梯度方法进行评估，即利用Sobel算子分别计算水平和垂直方向的梯度，同一场景下梯度值越高，图像越清晰。在不满足清晰度要求的情况下，先判断当前图像中棋盘格特征图案的大致面积，如果超过预先设定的阈值则将机器人2012末端执行器沿工具坐标系z轴方向后退，反之则前进。前进和后退的步长也预先通过配置文件确定，前进或者后退之后，上位机再次执行清晰度评估，以此反复直至到达最佳采样点。

在执行过程中，由于机器人2012自身关节约束条件的限制，可能出现算法生成的位置末端执行器无法到达，即位置超限或者速度超限的情况，一旦这个情况出现上位机软件将控制机器人2012末端执行器自动退回上一个可到达的采样点，然后跳过这个无法到达的采样点，去往下一个采样点。采样点个数预先由配置文件给出，本发明实施例要求至少有90％以上的采样点最终采集到合法图像才认为该标定合格。步骤S1014执行过程中，可能会发生角点提取失败的情况，本发明实施例要求至少有30张以上的有效角点提取图像才认为该标定合格。实际操作过程中，大多数角点提取失败都是由于图片清晰度不够对焦不准造成的，在设定好自动对焦清晰度评估阈值之后基本不会出现。

进一步地，在上述方法实施例的基础上，如图4所示，S102具体包括：

S1021、获取初始采样点集，控制激光器关闭采集棋盘格特征角点图案，并开启采集线结构光条纹图案。

S1022、提取图案特征，根据所述图案特征计算图像雅可比矩阵，根据所述图像雅可比矩阵和卡尔曼滤波估计末端执行器的移动矩阵。

S1023、根据所述移动矩阵移动所述第二机器人，使线结构光条纹恰好过棋盘格预定好的三个特征角点，获得当前的合法图像数据，并根据所述合法图像数据确定线结构光平面参数。

具体地，在进行线结构光平面标定时，以步骤S101中最终执行的采样点作为线结构光自动标定的初始采样点集；在初始采样点1时，上位机控制激光器关闭采集棋盘格特征角点图案，然后控制激光器开启采集线结构光条纹图案；上位机软件提取图片特征，并计算图像雅可比矩阵，根据Kalman滤波估计末端执行器移动矩阵。不断进行Kalman估计迭代，最终使线结构光条纹恰好过棋盘格预定好的三个特征角点。重复上述步骤获得多张合法图像数据，进行线结构光平面参数标定。

在步骤S1021中，由于相机镜头外装滤光片的原因，导致成像图片对红光特别敏感，对其他波段的光成像能力较弱，表现在采集图片中的结果就是当激光器光条纹投射在棋盘格靶标上时，光条纹亮度过高，导致遮盖了大部分棋盘格的图像特征。所以上述自动化线结构光标定流程中每次图像雅可比矩阵的迭代实质上需要采集两次图片，一次为高曝光无光条纹投射，一次为低曝光有光条纹投射。第一次采集用于识别棋盘格靶标上预设好的三个点的坐标，即目标图像特征；第二次采集则用于收集当前光条纹特征。在对所述光条纹图像特征进行提取时，由于光条纹是投射在黑白交替的棋盘格上，其吸光程度不同，所以成像出来的光条纹会表现出亮暗交替的图像特征，有些情况下光条纹甚至会表现出断开的图案。另外有些情况下由于外界光源环境不一致，曝光参数调节不一致等原因，导致光条纹过粗或过细，影响识别的准确性和鲁棒性。为了获得准确的图像特征，对该图片进行灰度处理，阈值分割，边缘检测，Hough变换等图像处理的手段强化其线性特征，最终得到细化的光条纹。

上位机软件自动控制激光器关闭，自动调节相机曝光值为高曝光，在本发明实施例中高曝光值设定为20000μs，在采集完棋盘格特征角点图案之后上位机软件自动控制激光器开启，自动调节相机曝光值为低曝光，在本发明实施例中低曝光值设定为500μs。在采集完线结构光条纹后步骤完成。

同样地，在实际执行过程中有可能出现靶标图案清晰度下降(即靶标失焦)或者Kalman滤波估计生成的目标点末端执行器由于关节约束无法到达的情况。因此，均需要加入清晰度评估和末端执行器超限自动回退这两个功能。

线结构光自动标定和红外激光定位系统自动标定均可以在出厂时预先标定，因为其标定结果只与硬件结构与装配有关。现场实施时只需要进行手眼自动标定和定位系统机器人系统位姿变换矩阵计算。

进一步地，在上述方法实施例的基础上，如图5所示，S103具体包括：

S1031、获取指定采样点，根据所述指定采样点采集棋盘格特征角点图案。

S1032、按顺序遍历采样点位姿并控制所述第二机器人移动到各个采样点进行采样。

S1033、将所有采样点采集到的图像进行棋盘格角点提取，并对提取的棋盘格角点进行手眼标定，得到所述第二机器人末端执行器与相机的坐标转换关系。

具体地，手眼自动标定以最大化相邻两个采样点机器人末端执行器位姿为原则，将权利要求1所述的相机自动标定中生成的采集点路径打乱，在采集点时同时采集机器人坐标系下末端执行器的坐标和靶标图案进行标定。

参见图5，手眼矩阵自动标定时，将步骤101中最终执行的采样点顺序打乱使得相邻两个采样点之间的位姿差异尽可能大；到达指定采样点后，上位机控制相机采集棋盘格特征角点图案；按顺序遍历采样点位姿并控制机器人2012移动到各个采样点，每个采样点均执行采集棋盘格特征图案；将所有采样点采集到的图像进行棋盘格角点提取，进行手眼标定得到机器人2012和线结构光视觉传感器203之间的手眼矩阵。

本实施例为了提高手眼标定结果的可信度，需要前后两个图像采集位置/角度之间有比较明显的差异，因为手眼标定的输入是前后两个采集位置之间偏移量和前后两张靶标图案外参之间的偏移量。如果偏移量太小，将无法有效的通过算法来排除系统误差。

进一步地，在上述方法实施例的基础上，如图6所示，S104具体包括：

S1041、控制第一机器人带着标定物移动到预先设定好的采样轨迹的起始点，并记录当前标定物在红外激光坐标系下的位姿矩阵。

S1042、根据所述第一机器人和所述第二机器人之间的转换矩阵以及所述第二机器人手眼标定的结果，计算出所述第二机器人移动到的目标采样点，控制所述第二机器人移动到所述目标采样点并拍摄二维棋盘格靶标特征图案。

S1043、根据预先设定好的采样轨迹完成每个采样点拍摄的二维棋盘格靶标特征图案。

S1044、提取各二维棋盘格靶标特征图案的靶标特征，并根据所述靶标特征计算得到机器人基座坐标系与红外激光定位基站坐标系的变换关系。

参见图5，红外激光定位系统自动标定时，控制机器人2011带着标定物移动到预先设定好的采样轨迹起始点，并记录当前标定物在红外激光坐标系下的位姿矩阵；根据机器人2011和2012之间的转换矩阵以及机器人2012手眼标定的结果，计算出机器人2012应该移动到的相机采样点，控制机器人2012移动到目标点并拍摄二维棋盘格靶标特征图案；重复上述步骤，直至机器人2011完成预先设定好的采样轨迹；上位机提取靶标特征并进行计算得到标定物质心到二维棋盘格靶标之间的坐标系转换矩阵。

同样地，在实际执行过程中有可能出现靶标图案清晰度下降(即靶标失焦)或者Kalman滤波估计生成的目标点末端执行器由于关节约束无法到达的情况。因此，均需要加入清晰度评估和末端执行器超限自动回退这两个功能。

定位系统机器人系统位姿变换矩阵计算时，实质上就是对上述四种标定的结果进行进一步的运算，得到机器人2012坐标系和红外激光定位基站坐标系之间的坐标转换矩阵关系。这个步骤只是计算，并不是标定，因此只需要一组二维棋盘格靶标数据即可。具体来说就是在所有标定完成之后，将标定物固定在一个位置，此时将机器人2012挪动至标定物处进行一次拍摄，通过二维棋盘格靶标的角点识别，可以得到相机当前外参，同时读取出当前机器人2012的位姿矩阵和标定物当前在红外激光坐标系下的位姿矩阵，结合手眼矩阵和标定物矩阵就可以一次性将标定物，红外基站和机器人基座坐标系完全统一起来，由于这三个坐标系在实施完成后是不会移动的，所以只需要一次标定流程。

事实上，为了进一步降低现场实施的难度，相机自动标定、线结构光自动标定和红外激光定位系统自动标定可以在出厂时预先做好，因为相机内参和畸变参数，线结构光平面参数以及标定物质心到二维棋盘格靶标之间的坐标转换矩阵，在出厂时就已经固定。只有手眼标定和定位系统机器人系统位姿变换矩阵计算需要在实施现场进行。

本实施例实现了多种传感定位方式联合标定，使得工业机器人视觉伺服系统不在局限于采用结构光视觉传感或者双目视觉传感，而可以引入其他非可成像类型的室内定位传感技术，如红外激光扫描定位技术；同时还实现了标定靶标的统一，将光学二维棋盘格靶标和红外激光传感靶标结合在一起，所有的标定流程都可以使用同一个靶标来实现。同时，二维棋盘格靶标和三维可定位刚体结合的这个方式，相较直接使用三维靶标制作成本低，且良品率更易控制；另外还实现了标定流程的全自动化，从相机标定，线结构光标定，手眼标定到定位系统标定只需要人为给定一个初始位置，之后的流程无需人为干预可以自行完成，大大降低了实地部署安装调试的困难程度。

进一步地，在上述方法实施例的基础上，如图7所示，S105具体包括：

S1051、根据所述相机内参和所述畸变参数确定相机外参位姿齐次矩阵H_ext。

S1052、根据所述线结构光平面参数确定线结构光传感器的光平面方程H_ct。

S1053、根据所述坐标转换关系确定相机坐标系与机器人末端执行器坐标系之间的手眼矩阵H_ec。

S1054、根据所述变换关系确定机器人坐标系下末端执行器的位姿齐次矩阵H_re和标定物上棋盘格靶标坐标系到标定物质心坐标系变换的位姿齐次矩阵H_bc。

S1055、根据H_re、H_ec、H_ext、H_bc和H_ct计算机器人基座坐标系与红外激光定位基站坐标系变换的位姿齐次矩阵H_rt：

H_rt＝H_reH_ecH_extH_bcH_ct

S1056、根据H_rt建立定位非可成像定位系统与相机系统以及机器人系统之间的位姿关系，确定所述机器人视觉伺服系统的联合自动标定结果。

具体地，本实施例提供一种标定红外激光扫描室内定位系统、线结构光视觉传感器、机器人末端执行器坐标系之间坐标矩阵变换的系统标定方法，包括：视觉传感器成像模型的标定(相机标定)、线结构光平面与视觉传感器之间坐标关系的标定(线结构光标定)、视觉传感器与机器人末端执行器之间坐标关系的标定(手眼标定)以及机器人工作参考系与红外激光扫描室内定位系统基站参考系之间坐标关系的标定(定位系统标定)。

其中，红外激光扫描定位技术具体是指在空间中布置多个以固定转速旋转发射红外激光的基站，同时要求被定位物体为刚体，在被定位刚体上布置20-30个预先确定位置关系的红外感光传感器，当红外激光扫过表面时产生一个数字信号，通过FPGA不断采集所有传感器的信号，通过优化算法得到被定位刚体质心在红外激光基站坐标系下的6自由度位置和姿态。通过这个定位技术可以实现对机器人位姿的实时快速引导，辅以结构光三维重建技术分析工件，可以一次性实现机器人寻位与纠偏，大大提高工业机器人的智能化水平。

相机标定采用二维棋盘格靶标对其角点进行识别，从而建立关于相机参数的约束方程，求解获得视觉传感器成像模型。所述约束方程为：

其中K为相机内参数矩阵，H为世界平面到图像平面的单应性矩阵,至少需要三个单应性矩阵才能求解出相机内参，即至少需要三张棋盘格靶标图片角点特征信息。同时需要对相机的畸变参数进行估计，假设相机畸变参数模型为如下：(只关注径向畸变且忽略高阶畸变量)：

其中(x_d,y_d)表示角点在成像面上的实际坐标，(x_u,y_u)表示角点在成像面上的理想坐标。

线结构光标定需要在相机已标定的基础上进行，同样通过二维棋盘格靶标提取其中共线的任意三个角点作为标定特征，使得投射在靶标上的线激光恰好过预先规定好的三个角点，从而通过线激光平面与相机成像平面相交几何关系以及摄像机小孔成像原理，可得：

其中α,β,u₀,v₀为相机内参，u_s,v_s为激光线上的点成像在二维图片里的像素坐标，x_i,y_i是激光线上的点在相机二维坐标系中的坐标，可以通过几何关系计算得到，X_i,Y_i是激光线上的点成像在二维图片上的物理坐标。最终通过多组照片得到多组方程并进行优化，利用最小二乘法可得到最优的线结构光平面方程参数。

手眼标定同样需要在相机已标定的基础上进行，本系统机器人采用眼在手上(Eye-in-hand)系统，手眼标定方法基于模型A_iX＝XB_i,利用不同位置拍摄得到的靶标图像的外参计算出视觉传感器的运动量，同时读取机器人末端执行器的运动量，建立约束方程进而通过最小二乘法进行优化分别得到手眼旋转矩阵和位移矩阵。所述约束方程为：

其中R_eij,R_cij,T_eij,T_cij分别为机器人末端执行器和相机相邻两个采样位置之间的旋转矩阵和位移矩阵。R_ec,T_ec即要求解的手眼旋转矩阵和位移矩阵。

定位系统标定需要在相机已标定和手眼标定均已完成的基础上进行。红外激光扫描室内定位系统输出的坐标参考系由其中一个主基站的摆放位置和姿态决定，故而当硬件系统装配完毕后需要将定位系统和机器人坐标系以及相机坐标系进行统一。这个标定过程引入一个新的硬件即标定物，这个硬件既可以在红外激光扫描室内定位系统中被定位，同时其表面有二维棋盘格靶标，可以用于上文介绍过的几种传统相机系统和机器人系统的标定。所述标定物是一个刚体，与其他可定位物体一样，标定物体表面布满红外传感器用于接收红外激光扫描基站发射的红外线。同时其顶面上固定有棋盘格靶标，可与上述其他相机中所述的靶标通用，即所述标定物实现了该视觉伺服系统标定时所需的所有靶标的集成。

标定物的标定原理是利用标定物质心和二维棋盘格靶标之间的坐标变换矩阵恒定这一原则，进一步推导出机器人坐标系，相机坐标系，红外激光定位坐标系三者之间的约束关系，然后和其他传统相机标定的过程类似，利用多组测量数据，拟合优化出最佳的坐标变换矩阵。所述的约束关系用方程可以表达为:

其中

分别为某一时刻下机器人末端执行器在机器人基座坐标系中的位姿齐次矩阵，标定物上的棋盘格靶标在相机坐标系中的位姿齐次矩阵，标定物体质心在红外激光扫描室内定位系统基站坐标系下的位姿齐次矩阵。H_ec是手眼标定中计算出的机器人末端执行器与相机坐标系之间的坐标变换的位姿齐次矩阵。H_bc为要求解的标定物上棋盘格靶标坐标系到标定物质心坐标系变换的位姿齐次矩阵。

在上述四种标定全部完成的情况下，我们将获得相机内参和畸变参数(α,β,u₀,v₀,K₁,K₂)，相机外参位姿齐次矩阵(即相机坐标系下棋盘格靶标的位姿)H_ext，线结构光传感器的光平面方程，相机坐标系与机器人末端执行器坐标系之间的手眼矩阵H_ec，标定物上棋盘格靶标坐标系到标定物质心坐标系变换的位姿齐次矩阵H_bc，标定物体在红外激光坐标系下的位姿齐次矩阵H_ct。

继而可以通过如下关系式进一步求解机器人基座坐标系与红外激光定位基站坐标系变换的位姿齐次矩阵：

H_rt＝H_reH_ecH_extH_bcH_ct

其中H_rt为定位系统标定最终要求解的机器人工作参考系与红外激光扫描室内定位系统基站参考系之间坐标转换的位姿齐次矩阵，H_re为机器人坐标系下末端执行器的位姿齐次矩阵。通过H_rt即可建立定位非可成像定位系统与相机系统以及机器人系统之间的位姿关系，实现了工业机器人视觉伺服系统的坐标系统一。

本实施例提供的基于红外激光扫描室内定位和结构光三维重建技术融合的工业机器人视觉伺服系统的联合自动标定方法，首先实现了多种传感定位方式联合标定，使得工业机器人视觉伺服系统不在局限于采用结构光视觉传感或者双目视觉传感，而可以引入其他非可成像类型的室内定位传感技术，如红外激光扫描定位技术。其次进行了自动化的改进，即去除了大多数需要人工操作的地方，最大程度上实现了全流程标定的自动化。同时将光学二维棋盘格靶标和红外激光传感靶标结合在一起，实现了所有的标定流程共用一个靶标，并且二维棋盘格靶标和三维可定位刚体结合的这个方式，相较直接使用三维靶标对制作精度要求低，制作成本低，且良品率更易控制。

图8示出了本实施例提供的一种机器人视觉伺服系统的联合自动标定装置的结构示意图，所述装置包括：相机标定模块801、光平面标定模块802、手眼标定模块803、定位系统标定模块804和联合标定模块805，其中：

所述相机标定模块801用于对机器人视觉伺服系统进行相机标定，确定相机内参和畸变参数；

所述光平面标定模块802用于对所述机器人视觉伺服系统进行线结构光平面标定，确定线结构光平面参数；

所述手眼标定模块803用于对所述机器人视觉伺服系统进行手眼标定，确定第二机器人末端执行器与相机的坐标转换关系；

所述定位系统标定模块804用于对所述机器人视觉伺服系统进行定位系统标定，确定机器人基座坐标系与红外激光定位基站坐标系的变换关系；

所述联合标定模块805用于根据所述相机内参、所述畸变参数、所述线结构光平面参数、所述坐标转换关系和所述变换关系确定所述机器人视觉伺服系统的联合自动标定结果。

具体地，所述相机标定模块801对机器人视觉伺服系统进行相机标定，确定相机内参和畸变参数；所述光平面标定模块802对所述机器人视觉伺服系统进行线结构光平面标定，确定线结构光平面参数；所述手眼标定模块803对所述机器人视觉伺服系统进行手眼标定，确定第二机器人末端执行器与相机的坐标转换关系；所述定位系统标定模块804对所述机器人视觉伺服系统进行定位系统标定，确定机器人基座坐标系与红外激光定位基站坐标系的变换关系；所述联合标定模块805根据所述相机内参、所述畸变参数、所述线结构光平面参数、所述坐标转换关系和所述变换关系确定所述机器人视觉伺服系统的联合自动标定结果。

本实施例通过依次进行相机标定、线结构光平面标定、手眼标定和定位系统标定，首先其实现了多种传感定位方式联合标定，使得工业机器人视觉伺服系统不在局限于采用结构光视觉传感或者双目视觉传感，而可以引入其他非可成像类型的室内定位传感技术；其次实现了标定流程的自动化，去除了人工操作，最大程度实现了全流程标定的自动化，大大提高了工作效率；同时对四种标定结果进行分析与优化，实现了系统误差的全局优化。

进一步地，在上述装置实施例的基础上，所述相机标定模块801具体用于：

采集完整的二维棋盘格靶标图案，对采集到的所述二维棋盘格靶标图案进行清晰度评估，得到所述二维棋盘格靶标图案的清晰度；

若判断所述清晰度不满足预设要求，则计算目标点位置，并根据所述目标点位置移动末端执行器进行自动对焦；

自动对焦完成后，以当前点为初始点，采用球面拟合生成在球面上距离靶标一致的位置和姿态，根据所述位置和姿态按顺序遍历计算出来的采样点位姿并控制所述第二机器人移动到各个采样点进行采样；

将所有采样点采集到的图像进行棋盘格角点提取，并对提取的棋盘格角点进行相机标定，得到相机内参和畸变参数。

进一步地，在上述装置实施例的基础上，所述光平面标定模块802具体用于：

获取初始采样点集，控制激光器关闭采集棋盘格特征角点图案，并开启采集线结构光条纹图案；

提取图案特征，根据所述图案特征计算图像雅可比矩阵，根据所述图像雅可比矩阵和卡尔曼滤波估计末端执行器的移动矩阵；

根据所述移动矩阵移动所述第二机器人，使线结构光条纹恰好过棋盘格预定好的三个特征角点，获得当前的合法图像数据，并根据所述合法图像数据确定线结构光平面参数。

进一步地，在上述装置实施例的基础上，所述手眼标定模块803具体用于：

获取指定采样点，根据所述指定采样点采集棋盘格特征角点图案；

按顺序遍历采样点位姿并控制所述第二机器人移动到各个采样点进行采样；

将所有采样点采集到的图像进行棋盘格角点提取，并对提取的棋盘格角点进行手眼标定，得到所述第二机器人末端执行器与相机的坐标转换关系。

进一步地，在上述装置实施例的基础上，所述定位系统标定模块804具体用于：

控制第一机器人带着标定物移动到预先设定好的采样轨迹的起始点，并记录当前标定物在红外激光坐标系下的位姿矩阵；

根据所述第一机器人和所述第二机器人之间的转换矩阵以及所述第二机器人手眼标定的结果，计算出所述第二机器人移动到的目标采样点，控制所述第二机器人移动到所述目标采样点并拍摄二维棋盘格靶标特征图案；

根据预先设定好的采样轨迹完成每个采样点拍摄的二维棋盘格靶标特征图案；

提取各二维棋盘格靶标特征图案的靶标特征，并根据所述靶标特征计算得到机器人基座坐标系与红外激光定位基站坐标系的变换关系。

进一步地，在上述装置实施例的基础上，所述联合标定模块805具体用于：

根据所述相机内参和所述畸变参数确定相机外参位姿齐次矩阵H_ext；

根据所述线结构光平面参数确定线结构光传感器的光平面方程H_ct；

根据所述坐标转换关系确定相机坐标系与机器人末端执行器坐标系之间的手眼矩阵H_ec；

根据所述变换关系确定机器人坐标系下末端执行器的位姿齐次矩阵H_re和标定物上棋盘格靶标坐标系到标定物质心坐标系变换的位姿齐次矩阵H_bc；

根据H_re、H_ec、H_ext、H_bc和H_ct计算机器人基座坐标系与红外激光定位基站坐标系变换的位姿齐次矩阵H_rt：

H_rt＝H_reH_ecH_extH_bcH_ct

根据H_rt建立定位非可成像定位系统与相机系统以及机器人系统之间的位姿关系，确定所述机器人视觉伺服系统的联合自动标定结果。

本实施例所述的机器人视觉伺服系统的联合自动标定装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。

参照图9，所述电子设备，包括：处理器(processor)901、存储器(memory)902和总线903；

其中，

所述处理器901和存储器902通过所述总线903完成相互间的通信；

所述处理器901用于调用所述存储器902中的程序指令，以执行上述各方法实施例所提供的方法。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法。

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种机器人视觉伺服系统的联合自动标定方法，其特征在于，包括：

对机器人视觉伺服系统进行相机标定，确定相机内参和畸变参数；

对所述机器人视觉伺服系统进行线结构光平面标定，确定线结构光平面参数；

对所述机器人视觉伺服系统进行手眼标定，确定第二机器人末端执行器与相机的坐标转换关系；

对所述机器人视觉伺服系统进行定位系统标定，确定机器人基座坐标系与红外激光定位基站坐标系的变换关系；

根据所述相机内参、所述畸变参数、所述线结构光平面参数、所述坐标转换关系和所述变换关系确定所述机器人视觉伺服系统的联合自动标定结果；

其中，机器人视觉伺服系统的硬件系统包含两个机器人、固定在其中一个机器人末端执行器上的标定物、固定在另一机器人末端执行器上的线结构光视觉传感器以及红外激光定位基站。

2.根据权利要求1所述的机器人视觉伺服系统的联合自动标定方法，其特征在于，所述对机器人视觉伺服系统进行相机标定，确定相机内参和畸变参数，具体包括：

采集完整的二维棋盘格靶标图案，对采集到的所述二维棋盘格靶标图案进行清晰度评估，得到所述二维棋盘格靶标图案的清晰度；

若判断所述清晰度不满足预设要求，则计算目标点位置，并根据所述目标点位置移动末端执行器进行自动对焦；

自动对焦完成后，以当前点为初始点，采用球面拟合生成在球面上距离靶标一致的位置和姿态，根据所述位置和姿态按顺序遍历计算出来的采样点位姿并控制所述第二机器人移动到各个采样点进行采样；

将所有采样点采集到的图像进行棋盘格角点提取，并对提取的棋盘格角点进行相机标定，得到相机内参和畸变参数。

3.根据权利要求1所述的机器人视觉伺服系统的联合自动标定方法，其特征在于，所述对所述机器人视觉伺服系统进行线结构光平面标定，确定线结构光平面参数，具体包括：

获取初始采样点集，控制激光器关闭采集棋盘格特征角点图案，并开启采集线结构光条纹图案；

提取图案特征，根据所述图案特征计算图像雅可比矩阵，根据所述图像雅可比矩阵和卡尔曼滤波估计末端执行器的移动矩阵；

根据所述移动矩阵移动所述第二机器人，使线结构光条纹恰好过棋盘格预定好的三个特征角点，获得当前的合法图像数据，并根据所述合法图像数据确定线结构光平面参数。

4.根据权利要求1所述的机器人视觉伺服系统的联合自动标定方法，其特征在于，所述对所述机器人视觉伺服系统进行手眼标定，确定第二机器人末端执行器与相机的坐标转换关系，具体包括：

获取指定采样点，根据所述指定采样点采集棋盘格特征角点图案；

按顺序遍历采样点位姿并控制所述第二机器人移动到各个采样点进行采样；

将所有采样点采集到的图像进行棋盘格角点提取，并对提取的棋盘格角点进行手眼标定，得到所述第二机器人末端执行器与相机的坐标转换关系。

5.根据权利要求1所述的机器人视觉伺服系统的联合自动标定方法，其特征在于，所述对所述机器人视觉伺服系统进行定位系统标定，确定机器人基座坐标系与红外激光定位基站坐标系的变换关系，具体包括：

控制第一机器人带着标定物移动到预先设定好的采样轨迹的起始点，并记录当前标定物在红外激光坐标系下的位姿矩阵；

根据所述第一机器人和所述第二机器人之间的转换矩阵以及所述第二机器人手眼标定的结果，计算出所述第二机器人移动到的目标采样点，控制所述第二机器人移动到所述目标采样点并拍摄二维棋盘格靶标特征图案；

根据预先设定好的采样轨迹完成每个采样点拍摄的二维棋盘格靶标特征图案；

提取各二维棋盘格靶标特征图案的靶标特征，并根据所述靶标特征计算得到机器人基座坐标系与红外激光定位基站坐标系的变换关系。

6.根据权利要求1所述的机器人视觉伺服系统的联合自动标定方法，其特征在于，所述根据所述相机内参、所述畸变参数、所述线结构光平面参数、所述坐标转换关系和所述变换关系确定所述机器人视觉伺服系统的联合自动标定结果，具体包括：

根据所述相机内参和所述畸变参数确定相机外参位姿齐次矩阵H_ext；

根据所述线结构光平面参数确定线结构光传感器的光平面方程H_ct；

根据所述坐标转换关系确定相机坐标系与机器人末端执行器坐标系之间的手眼矩阵H_ec；

根据所述变换关系确定机器人坐标系下末端执行器的位姿齐次矩阵H_re和标定物上棋盘格靶标坐标系到标定物质心坐标系变换的位姿齐次矩阵H_bc；

根据H_re、H_ec、H_ext、H_bc和H_ct计算机器人基座坐标系与红外激光定位基站坐标系变换的位姿齐次矩阵H_rt：

H_rt＝H_reH_ecH_extH_bcH_ct

根据H_rt建立定位非可成像定位系统与相机系统以及机器人系统之间的位姿关系，确定所述机器人视觉伺服系统的联合自动标定结果。

7.一种机器人视觉伺服系统的联合自动标定装置，其特征在于，包括：

相机标定模块，用于对机器人视觉伺服系统进行相机标定，确定相机内参和畸变参数；

光平面标定模块，用于对所述机器人视觉伺服系统进行线结构光平面标定，确定线结构光平面参数；

手眼标定模块，用于对所述机器人视觉伺服系统进行手眼标定，确定第二机器人末端执行器与相机的坐标转换关系；

定位系统标定模块，用于对所述机器人视觉伺服系统进行定位系统标定，确定机器人基座坐标系与红外激光定位基站坐标系的变换关系；

联合标定模块，用于根据所述相机内参、所述畸变参数、所述线结构光平面参数、所述坐标转换关系和所述变换关系确定所述机器人视觉伺服系统的联合自动标定结果；

其中，机器人视觉伺服系统的硬件系统包含两个机器人、固定在其中一个机器人末端执行器上的标定物、固定在另一机器人末端执行器上的线结构光视觉传感器以及红外激光定位基站。

8.根据权利要求7所述的机器人视觉伺服系统的联合自动标定装置，其特征在于，所述相机标定模块具体用于：

采集完整的二维棋盘格靶标图案，对采集到的所述二维棋盘格靶标图案进行清晰度评估，得到所述二维棋盘格靶标图案的清晰度；

若判断所述清晰度不满足预设要求，则计算目标点位置，并根据所述目标点位置移动末端执行器进行自动对焦；

自动对焦完成后，以当前点为初始点，采用球面拟合生成在球面上距离靶标一致的位置和姿态，根据所述位置和姿态按顺序遍历计算出来的采样点位姿并控制所述第二机器人移动到各个采样点进行采样；

将所有采样点采集到的图像进行棋盘格角点提取，并对提取的棋盘格角点进行相机标定，得到相机内参和畸变参数。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一所述的机器人视觉伺服系统的联合自动标定方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一所述的机器人视觉伺服系统的联合自动标定方法。

Images