CN111452043B - 机器人与工业相机手眼标定的方法 - Google Patents

Abstract

本发明公开了机器人与工业相机手眼标定的方法，安装LED灯珠，手动示教建立LED灯珠的三维坐标：计算机按照LED灯珠编号顺序依次控制LED灯珠发光，工业相机采集一张图像，将数据回传给计算机，计算机对图像上所有像素点数据进行遍历，查找LED灯珠颜色对应的像素点，获取LED灯珠的像素坐标，将像素坐标放入数组1，将该LED灯珠的真实坐标放入数组2，将数组1和数组2作为参数，调用OpenCV的solvePnP()函数，输出solvePnP()函数的结果。本发明标定后，标定工具和生产工件不需要更换，标定过程全程自动运行，无需人为干预。在生产过程中，允许相机移动，移动后可快速自动重新标定，提高生产效率，适合更多复杂的应用场景。

Description

机器人与工业相机手眼标定的方法

技术领域

本发明涉及工业机器人相机领域，尤其涉及机器人与工业相机手眼标定的方法。

背景技术

工业相机在工业机器人生产中的应用越来越多。安装好工业相机后，必须进行机器人与工业相机的手眼标定，找到相机坐标系与机器人坐标系的对应关系。主流的标定方法采用棋盘格作为标定工具。棋盘格占据一定的空间，通常很难和工件同时放在相机视野内，所以标定只能在生产前进行，完成标定后再把棋盘格更换为工件。如果生产过程中相机位置需要发生改变，则标定工作更是耗时耗力。

发明内容

为了解决现有技术的问题，本发明提供一种更为高效的替代棋盘格的机器人与工业相机手眼标定的方法。

本发明的技术方案如下：

机器人与工业相机手眼标定的方法，包括如下步骤：

步骤1：安装LED灯珠：选取一种颜色的若干LED灯珠安装在工位上不影响生产的位置，LED灯珠颜色不与工位中其他物体同色，工业相机在任何需要标定的位置上时，相机视野内至少有4颗灯珠，LED灯珠通过计算机控制开关；

步骤2：手动示教建立LED灯珠的三维坐标：用手动示教的方法控制机器人移动，将机器人末端工具分别移动到每个LED灯珠正中心的位置，用机器人指令读取并记录LED灯珠在机器人坐标系下的三维坐标，并将每个灯珠按1,2,3…n(n≥4)的顺序编号，与对应的坐标一起存储在计算机上的数据库中；

步骤3：开始标定：进入工序，工业相机到达工作位置后，计算机按照LED灯珠1,2,3…n的编号顺序依次控制LED灯珠发光，每个LED灯珠发光时，工业相机采集一张图像，将数据回传给计算机，计算机对图像上所有像素点数据进行遍历，查找LED灯珠颜色对应的像素点，获取LED灯珠的像素坐标，如果满足条件的为多个连续像素点，则对多个点的坐标取平均值，将像素坐标放入数组1，从计算机数据库中读取该LED灯珠的真实坐标放入数组2，数组1和数组2的坐标一一对应，直至所有灯珠标定结束；

步骤4：输出标定结果矩阵：将数组1和数组2作为参数，调用OpenCV的solvePnP()函数，输出solvePnP()函数的结果，即标定的外参矩阵。

作为进一步的技术方案，所述步骤1中LED灯珠安装在工位的位置可以是工作台或固定夹具的边缘，灯珠通过IO板与计算机连接。

作为进一步的技术方案，为了提高标定精度，所述步骤1在实际标定中工业相机在任何需要标定的位置上时，相机视野内至少有9颗灯珠。

作为进一步的技术方案，所述工位如果空间较大，可以将工位划为若干个区域，在任意一个区域内用上述方法进行相机和机器人的手眼标定即可。

本发明的有益效果：本发明用LED灯珠作为标定工具固定在不影响生产的工作台、固定夹具边缘等，标定结束后，标定工具和生产工件不需要更换，本发明替代棋盘格，且标定过程全程自动运行，无需人为干预。在生产过程中，允许相机移动，移动后可快速自动重新标定，提高生产效率，适合更多复杂的应用场景。使用一些LED灯珠作为工具，成本低廉。

具体实施方式

以下对本发明的原理和特征进行描述。

本发明提供一种机器人与工业相机手眼标定的方法。本发明用到的工具和装置有：IO板，工业计算机，LED灯珠。工业相机可安装在工业机器人的末端随机器人运动，或者安装在其他静止或运动机构上。工业计算机作为工作站中的上位机，通过相应的接口，与相机通信并直接控制相机的工作，计算机也可监控机器人的动作并和机器人通信。将IO板连接安装在计算机主板上，计算机通过IO板卡的端口可以直接控制所有LED灯珠的开关。此外，本发明的标定方法可编写成自动运行的程序并在工业计算机上运行。

本发明的机器人与工业相机手眼标定的方法，具体操作如下：

本发明采用发红光的LED灯珠安装在工位上一些不影响生产的位置，如工作台、固定夹具的边缘等，灯珠与IO板连接，由计算机控制灯珠的开关。灯珠安装的数量和位置因具体的工作场景而异，但要保证相机在任何需要标定的位置上时，相机视野内都至少有4颗灯珠。为了提高标定的精度，在实际的标定过程中设置相机视野内至少有9颗灯珠。注意在工位上不能出现其他红色的物体。也可换用其他颜色的灯珠，只要灯珠颜色不和工位中存在的其他物体颜色相同。

安装好LED灯珠后，用手动示教的方法控制机器人移动，将机器人末端工具分别移动到每个LED灯珠正中心的位置，用机器人指令读取并记录LED灯珠在机器人坐标系下的三维坐标。并将每个灯珠按1,2,3…n的顺序编号，与对应的坐标一起存储在计算机上的数据库中。

以上为准备工作。对于一个工作站，准备工作只需做一次。完成后，可以永久使用。

准备工作结束后，开始机器人与工业相机的手眼标定，具体的标定流程可编写成计算机程序，在生产前或生产过程中自动运行。

机器人与工业相机的手眼标定，具体的标定流程为：

1、在任一工序中，工业相机到达某个工作位置，即将工作；

2、开始标定，计算机控制1号LED灯珠发光，相机采集一张图像，将数据回传给计算机，计算机对图像上所有像素点数据进行遍历，查找R>200,G<128,B<128的像素点，获取LED灯珠红点坐标。如果LED采用其他颜色，则查找其他颜色的像素点，获取其他颜色像素点的的坐标。如果满足条件的为多个连续像素点，则对多个点的坐标取平均值，将红点坐标放入数组1，从计算机数据库中读取1号LED灯珠的真实坐标放入数组2；如果未搜索到符合条件的像素点，说明1号灯珠超出了相机的工作范围，关闭1号LED灯珠。

3、计算机按灯珠编号的顺序控制2号LED灯珠发光，并重复上述流程，获取2号灯珠像素坐标和真实三维坐标。然后计算机依次控制3号灯珠、4号灯珠…n(n≥4)号灯珠，直到每个LED灯珠都发光一次并重复上述流程，获取每个灯珠的像素坐标和真实坐标系下的三维坐标。每个灯珠的像素坐标放入数组1，真实三维坐标放入数组2。

4、循环结束后，每个数组至少包含4个坐标，数组1和数组2的坐标一一对应。

5、将数组1和数组2作为参数，调用OpenCV的solvePnP()函数，输出solvePnP()函数的结果，即标定的外参矩阵。

OpenCV为免费开放的图像处理库，solvePnP()函数专用于相机标定，函数的输入量为两组坐标，一组为若干个点在图像上的像素坐标，另一组为若干个点在真实坐标系下的三维坐标，两组点必须为一一对应的关系。此函数的使用为业内通用方法，具体原理和用法不在本发明中讨论。

上述的标定方法可编写成计算机程序，程序完全自动运行，可设为当收到机器人信号后触发启动，运行结束后自动将标定结果矩阵替换到后面工序中涉及到焊接轨迹规划的生产程序中，然后发送标定完成信号给机器人，通知机器人开始下一步工序。每个LED灯的开关、图像采集和处理全流程的工作时间可在1秒内完成。

对于空间较大的工位，可以将工位划为若干个区域，每个区域内都可以用上述方法实现相机和机器人的手眼标定，不需要在整个工位上进行标定程序，可以节约标定时间，提高标定的效率。

例如，计算机可监视机器人实时的坐标信息，将标定工位分为y>0和y<0的两个区域。当机器人携带相机运动到坐标y<0的位置拍照时，计算机只控制y<0区域的LED灯珠分别发光；当机器人携带相机运动到坐标y>0的位置拍照时，计算机只控制y>0区域的LED灯珠分别发光。这样，可以避免相机视野外过多的拍照流程浪费时间，提高工作效率。

以上所述是本发明优选的实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.机器人与工业相机手眼标定的方法，其特征是包括如下步骤：

步骤1：安装LED灯珠：选取一种颜色的若干LED灯珠安装在工位上不影响生产的位置，LED灯珠颜色不与工位中其他物体同色，工业相机在任何需要标定的位置上时，相机视野内至少有4颗灯珠，LED灯珠通过计算机控制开关；

步骤2：手动示教建立LED灯珠的三维坐标：用手动示教的方法控制机器人移动，将机器人末端工具分别移动到每个LED灯珠正中心的位置，用机器人指令读取并记录LED灯珠在机器人坐标系下的三维坐标，并将每个灯珠按1,2,3…n(n≥4)的顺序编号，与对应的坐标一起存储在计算机上的数据库中；

步骤3：开始标定：进入工序，工业相机到达工作位置后，计算机按照LED灯珠1,2,3…n的编号顺序依次控制LED灯珠发光，每个LED灯珠发光时，工业相机采集一张图像，将数据回传给计算机，计算机对图像上所有像素点数据进行遍历，查找LED灯珠颜色对应的像素点，获取LED灯珠的像素坐标，如果满足条件的为多个连续像素点，则对多个点的坐标取平均值，将像素坐标放入数组1，从计算机数据库中读取该LED灯珠的真实坐标放入数组2，数组1和数组2的坐标一一对应，直至所有灯珠标定结束；

步骤4：输出标定结果矩阵：将数组1和数组2作为参数，调用OpenCV的solvePnP()函数，输出solvePnP()函数的结果，即标定的外参矩阵。

2.根据权利要求1所述的机器人与工业相机手眼标定的方法，其特征在于所述步骤1中LED灯珠安装在工位的位置可以是工作台或固定夹具的边缘，灯珠通过IO板与计算机连接。

3.根据权利要求1所述的机器人与工业相机手眼标定的方法，其特征在于所述步骤1中工业相机在任何需要标定的位置上时，相机视野内至少有9颗灯珠。

4.根据权利要求1所述的机器人与工业相机手眼标定的方法，其特征在于所述工位如果空间较大，可以将工位划为若干个区域，在任意一个区域内用上述方法进行相机和机器人的手眼标定即可。