CN117921682A - 基于双目视觉的焊接机器人快速示教装置及方法 - Google Patents

Abstract

本发明涉及一种基于双目视觉的焊接机器人快速示教装置及方法，该装置包括双目相机和手持示教装置，双目相机安装于焊接机器人上，手持示教装置上端有带有特殊标记的Aruco码用于特征识别和位姿计算；该方法包括：对焊接机器人和双目相机分别进行手眼标定和畸变校正，将手持示教装置上的Aruco码放置在相机有效视场范围之内，按下手持示教装置上的按键记录手持示教装置的空间点位信息并将其发送给上位机进行数据处理和相应的坐标系位姿转换；示教结束后，生成相应的运动指令文件传输给焊接机器人；控制焊接机器人复现示教点轨迹。该装置及方法能够实现对焊缝空间位置的高精度获取，同时提供更加灵活快速的示教方式。

Description

基于双目视觉的焊接机器人快速示教装置及方法

技术领域

本发明属于焊接机器人示教领域，具体涉及一种基于双目视觉的焊接机器人快速示教装置及方法。

背景技术

焊接机器人因其工作效率高，响应时间短，动作迅速，焊接速度远高于手工焊接等优点被广泛应用于现代工业生产和智能制造行业。焊接机器人在工作时，需要通过示教技术获得焊缝在空间中的位置和姿态。常用的机器人示教技术可分为拖动示教、离线编程示教，示教器示教和虚拟现实示教。

拖动示教的实现方法是使用外力将机器人末端按照预定的轨迹进行移动，机器人自动记忆移动的轨迹，从而完成示教工作。由于机器人存在自重以及机器人各个关节之间存在阻尼，使得该示教方法无法达到较高的精度。

离线编程示教是利用CAD/CAM并基于计算图形学的机器人离线编程示教技术，通过建立机器人模型和工作环境的模型，离线计算并且规划出机器人的运动轨迹，然后对编程的结果进行机器人模型三维图形的仿真来检验编程的准确性。但该方法也存在明显的缺点，即需要对每个工件模型进行建模，并且建模的精度直接影响示教的精度。难以满足多品种、小批量、短周期的生产要求。

示教器指引示教通过示教手柄操控机器人，沿着需要工作的轨迹上行走并记录轨迹，从而完成示教。这种工业机器人示教编程方式对从业人员的编程水平提出了较高的要求，并且针对复杂轨迹编程存在示教点过多，编程周期长的问题。基于虚拟现实的机器人示教也属于离线编程示教。在利用高端的虚拟现实设备及接口搭建的虚拟现实环境中，用户能够对虚拟机的器人进行指挥操控，从而完成示教工作。该方法为人机交互提供了较为新颖的方式，但存在搭建虚拟现实环境的设备成本较高的问题。

发明内容

本发明的目的在于提供一种基于双目视觉的焊接机器人快速示教装置及方法，该装置及方法能够实现对焊缝空间位置的高精度获取，同时提供更加灵活快速的示教方式。

为了实现上述目的，本发明采用的技术方案是：一种基于双目视觉的焊接机器人快速示教装置，包括：双目相机和手持示教装置，所述双目相机安装于焊接机器人的末端法兰盘上，且其拍摄方向朝向手持示教装置，所述手持示教装置上端有带有特殊标记的Aruco码用于特征识别和位姿计算，所述手持示教装置上设有微处理器、无线通信模块、电源模块和按键模块，所述按键模块包括电源开关按键、单次位姿（图像）记录按键、位姿（图像）持久化保存按键和停止记录按键。

进一步地，所述手持示教装置由柄身和上端盖组成，所述上端盖连接于柄身上，所述带有特殊标记的Aruco码设置于上端盖上，所述微处理器、无线通信模块和电源模块安装于柄身的壳体内，所述按键模块设置于柄身侧面的壳体上。

进一步地，所述微处理器与无线通信模块连接，以与上位机进行通信，所述按键模块与微处理器连接，以通过按键控制手持示教装置进行相应工作，所述电源模块为手持示教装置供电。

进一步地，所述无线通信模块为蓝牙通信模块。

本发明还提供了一种利用上述装置的基于双目视觉的焊接机器人快速示教方法，包括以下步骤：

步骤S1：将双目相机安装在焊接机器人的末端法兰盘上，并使手持示教装置上的Aruco码处于双目相机的有效视场范围内；依次对双目相机和焊接机器人进行相机标定和手眼标定；

步骤S2：打开手持示教装置的电源开关按键，通过双目相机检测视场中的Aruco码，获取Aruco码在空间中的位置和姿态，根据位置和姿态求解出Aruco坐标系到双目相机的齐次变换矩阵；

步骤S3：在手持示教装置的电源打开之后，手持示教装置内的无线通信模块与上位机建立连接；通过单次位姿（图像）记录按键记录焊接轨迹的轨迹点，等到所有轨迹示教点记录完毕，通过按下位姿（图像）持久化按键将轨迹位姿持久化存储到上位机中；

步骤S4：数据处理，针对示教人员在示教过程中存在的抖动导致的数据不准确、误差大的问题，采用卡尔曼滤波进行消抖处理；

步骤S5：将处理后的数据转化成焊接机器人可执行的程序指令传输给焊接机器人，让焊接机器人复现焊接轨迹。

进一步地，所述步骤S1具体包括以下步骤：

步骤S1.1：利用标定板对双目相机进行标定；将标定板以不同位置和姿态放置在双目相机的有效视场范围内，拍摄标定板的图像序列，通过角点检测算法提取标定板上的角点坐标，根据标定板上的角点坐标系和实际物理世界中的坐标系的对应关系计算出双目相机的内参和外参；

步骤S1.2：焊接机器人眼在手上的手眼标定；将标定板固定放置在双目相机的有效视场范围内，控制焊接机器人移动，使双目相机以不同的位置和姿态观测标定板，重复拍摄多组图片，根据特征匹配和角点检测算法结合最小二乘算法求解出双目相机到焊接机器人末端的齐次变换矩阵，用于后续的坐标系位姿转换。

进一步地，所述双目相机的内参包括焦距和畸变系数，外参包括旋转矩阵和平移矩阵。

进一步地，所述步骤S2具体包括以下步骤：

步骤S2.1：检测标记；分析图像，以找到哪些形状可被识别为标记；首先利用自适应性阈值来分割标记，然后从阈值化的图像中提取外形轮廓，并舍弃非凸多边形及非方形的轮廓，并通过滤波来剔除过小或者过大的轮廓；

步骤S2.2：检测完标记之后，分析它们的内部编码来确定它们是否确实是Aruco标记；首先，对图像进行透视变换，来得到规范的图像；然后，对规范的图像通过Otsu阈值化分离白色和黑色的位；图像根据标记的大小和边界大小被分为不同格子，然后统计落在每个格子中的黑白像素数目来决定这是黑色还是白色的位；最终，分析这些位数来决定这个标记属于哪个特定字典；

步骤S2.3：对Aruco码的4个角点进行角点细化操作，获得Aruco四个角点在双目相机图像坐标系中的亚像素级别的坐标位置；

步骤S2.4：获得Aruco的四个角点在双目相机图像坐标系下的亚像素级别坐标，通过计算四个角点在双目相机左右相机中的视差，结合相机的内外参数，将视差值转化为物体与相机之间的实际三维坐标，根据四个角点的三维坐标确定一个平面，再根据平面的法向量的方向角确定手持示教装置的姿态值。

进一步地，所述步骤S4具体包括以下步骤：

步骤S4.1：根据数据的特性和噪声情况设置初始状态的均值和协方差矩阵；

步骤S4.2：根据系统的状态转移矩阵和噪声的协方差矩阵预测下一个状态的均值和协方差矩阵；

步骤S4.3：根据测量值和观测矩阵，计算卡尔曼增益；然后，将预测状态的均值和协方差矩阵与卡尔曼增益和观测值进行加权融合，得到新的状态估计；

步骤S4.4：重复步骤S4.2~S4.3，根据新的状态估计，继续进行预测和更新，直到满足停止条件；

步骤S4.5：以最终的估计状态作为滤波结果。

与现有技术相比，本发明具有以下有益效果：本发明提供了一种基于双目视觉的焊接机器人快速示教装置及方法，该装置及方法通过人为的选择焊缝轨迹点，充分发挥人的自主性和灵活性，操作人员无需经过专业的机器人技术培训就可以轻松的操作焊接机器人完成工件的焊接等任务。相比传统的焊接机器人示教方式，省去繁琐的操作机器人示教工作，大大提高了焊接机器人工作效率。本装置结构简单，操作便捷，成本低廉，具有很强的实用性和广阔的应用前景。

附图说明

图1是本发明实施例的基于双目视觉的焊接机器人快速示教装置的结构示意图；

图2是本发明实施例中手持示教装置的结构示意图；

图3是本发明实施例的基于双目视觉的机器人快速示教方法的实现原理框图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1-2所示，本实施例提供了一种基于双目视觉的焊接机器人快速示教装置，包括：双目相机1和手持示教装置2，所述双目相机1安装于焊接机器人3的末端法兰盘上，且其拍摄方向朝向手持示教装置2，所述手持示教装置2上端有带有特殊标记的Aruco码201用于特征识别和位姿计算，所述手持示教装置2上设有微处理器、无线通信模块、电源模块和按键模块，所述按键模块包括电源开关按键、单次位姿（图像）记录按键、位姿（图像）持久化保存按键和停止记录按键。

所述手持示教装置2由柄身202和上端盖203组成，所述上端盖203连接于柄身202上，所述带有特殊标记的Aruco码201设置于上端盖203上，所述微处理器、无线通信模块和电源模块安装于柄身202的壳体内，所述按键模块204设置于柄身202侧面的壳体上。

所述微处理器与无线通信模块连接，以与上位机4进行通信。在本实施例中，无线通信模块为蓝牙通信模块。所述按键模块与微处理器连接，以通过按键控制手持示教装置进行相应工作。所述电源模块为手持示教装置供电。

本装置由双目相机1捕捉手持示教装置的图片，然后结合双目测距原理和角点检测原理解算出手持示教装置上特殊标记物Aruco在空间中的位置和姿态，最后通过位姿转换矩阵映射到焊接机器人末端执行器上，供机器人复现轨迹使用。

如图3所示，本实施例还提供了一种利用上述装置的基于双目视觉的焊接机器人快速示教方法，包括以下步骤：

步骤S1：系统初始化；将双目相机1安装在焊接机器人3的末端法兰盘上，并使手持示教装置上的Aruco码处于双目相机的有效视场范围内；依次对双目相机1和焊接机器人3进行相机标定和手眼标定，并与上位机4建立通信。相机标定和手眼标定的具体步骤如下：

步骤S1.1：利用标定板（棋盘格）对双目相机进行标定。将标定板以不同位置和姿态放置在双目相机的有效视场范围内，拍摄标定板的图像序列，通过角点检测算法提取标定板上的角点坐标，根据标定板上的角点坐标系和实际物理世界中的坐标系的对应关系计算出相机的内参（焦距、畸变系数等）和外参（旋转和平移矩阵）。

步骤S1.2：焊接机器人眼在手上的手眼标定；将标定板固定放置在双目相机的有效视场范围内，控制焊接机器人移动，使双目相机以不同的位置和姿态观测标定板，重复拍摄多组图片，根据特征匹配和角点检测算法结合最小二乘算法求解出双目相机到焊接机器人末端的齐次变换矩阵，用于后续的坐标系位姿转换。

步骤S2：快速示教；打开手持示教装置的电源开关按键，通过双目相机检测视场中的Aruco码，获取Aruco码在空间中的位置和姿态，根据位置和姿态求解出Aruco坐标系到双目相机的齐次变换矩阵。Aruco码检测和位姿解算的具体步骤如下：

步骤S2.1：检测有哪些标记。在这一阶段我们分析图像，以找到哪些形状可被识别为标记。首先要做的是利用自适应性阈值来分割标记，然后从阈值化的图像中提取外形轮廓，并舍弃那些非凸多边形，以及那些非方形的轮廓，并通过来剔除那些过小或者过大的轮廓。

步骤S2.2：检测完标记之后，分析它们的内部编码来确定它们是否确实是Aruco标记。此步骤首先提取每个标记的标记位。为了达到这个目的，首先，对图像进行透视变换，来得到规范的图像（正视图）。然后，对规范的图像通过Otsu阈值化分离白色和黑色的位。这一图像根据标记的大小和边界大小被分为不同格子，然后统计落在每个格子中的黑白像素数目来决定这是黑色还是白色的位。最终，分析这些位数来决定这个标记是属于哪个特定字典的。如果有必要的话，对错误进行检测。

步骤S2.3：对Aruco码的4个角点进行角点细化操作，获得Aruco四个角点在双目相机图像坐标系中的亚像素级别的坐标位置。

步骤S2.4：获得Aruco的四个角点在双目相机图像坐标系下的亚像素级别坐标，通过计算四个角点在双目相机左右相机中的视差，结合相机的内外参数，将视差值转化为物体与相机之间的实际三维坐标，根据四个角点的三维坐标确定一个平面，再根据平面的法向量的方向角确定手持示教装置的姿态值。由于Arcuo码相对于手持示教装置末端的位姿是由手持示教装置的结构决定的，在设计时已经确定，不可更改，结合步骤S1中求得的相机到机器人末端的坐标系转化关系，可以很容易的将手持示教装置的末端位姿和姿态映射到机器人末端坐标系上，以达到快速示教的目的。

步骤S3：在手持示教装置的电源打开之后，手持示教装置内的蓝牙通信模块与上位机的蓝牙模块进行配对，建立连接。通过单次位姿（图像）记录按键记录焊接轨迹的轨迹点，等到所有轨迹示教点记录完毕，通过按下位姿（图像）持久化按键将轨迹位姿以文本形式持久化存储到上位机的内存之中，方便进行后续其它的数据处理（卡尔曼滤波等操作）。

步骤S4：数据处理；针对示教人员在示教过程中可能存在的抖动导致的数据不准确、误差较大等问题，采用卡尔曼滤波进行消抖处理。具体步骤如下：

步骤S4.1：根据数据的特性和噪声情况设置初始状态的均值和协方差矩阵。

步骤S4.2：根据系统的状态转移矩阵和噪声的协方差矩阵预测下一个状态的均值和协方差矩阵。

步骤S4.3：根据测量值和观测矩阵，计算卡尔曼增益；然后，将预测状态的均值和协方差矩阵与卡尔曼增益和观测值进行加权融合，得到新的状态估计。

步骤S4.4：重复步骤S4.2~S4.3，根据新的状态估计，继续进行预测和更新，直到满足停止条件（如达到最大迭代次数或收敛）。

步骤S4.5：以最终的估计状态作为滤波结果。

步骤S5：将处理后的数据转化成焊接机器人可执行的程序指令传输给焊接机器人，让焊接机器人复现焊接轨迹。

本发明提供了一种基于双目视觉的焊接机器人快速示教装置及方法，基于手持示教装置实现。该方法首先对机器人和双目相机分别进行手眼标定和畸变校正，再将手持示教装置上的特殊标记物Aruco码放置在相机有效视场范围之内，然后按下手持示教装置上的按键记录手持示教装置的空间点位信息并将其发送给上位机软件进行数据处理和相应的坐标系位姿转换；示教结束后，生成机器人相应的运动指令文件传输给机器人；最后，控制机器人复现示教点轨迹。本发明示教效率高，耗时短，精度高，对操作人员友好，解决了传统示教方法示教时间长且过程繁琐的问题。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其他形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (9)

1.一种基于双目视觉的焊接机器人快速示教装置，其特征在于，包括：双目相机和手持示教装置，所述双目相机安装于焊接机器人的末端法兰盘上，且其拍摄方向朝向手持示教装置，所述手持示教装置上端有带有特殊标记的Aruco码用于特征识别和位姿计算，所述手持示教装置上设有微处理器、无线通信模块、电源模块和按键模块，所述按键模块包括电源开关按键、单次位姿记录按键、位姿持久化保存按键和停止记录按键。

2.根据权利要求1所述的基于双目视觉的焊接机器人快速示教装置，其特征在于，所述手持示教装置由柄身和上端盖组成，所述上端盖连接于柄身上，所述带有特殊标记的Aruco码设置于上端盖上，所述微处理器、无线通信模块和电源模块安装于柄身的壳体内，所述按键模块设置于柄身侧面的壳体上。

3.根据权利要求1所述的基于双目视觉的焊接机器人快速示教装置，其特征在于，所述微处理器与无线通信模块连接，以与上位机进行通信，所述按键模块与微处理器连接，以通过按键控制手持示教装置进行相应工作，所述电源模块为手持示教装置供电。

4.根据权利要求1所述的基于双目视觉的焊接机器人快速示教装置，其特征在于，所述无线通信模块为蓝牙通信模块。

5.一种利用权利要求1-4任一项所述装置的基于双目视觉的焊接机器人快速示教方法，其特征在于，包括以下步骤：

步骤S1：将双目相机安装在焊接机器人的末端法兰盘上，并使手持示教装置上的Aruco码处于双目相机的有效视场范围内；依次对双目相机和焊接机器人进行相机标定和手眼标定；

步骤S2：打开手持示教装置的电源开关按键，通过双目相机检测视场中的Aruco码，获取Aruco码在空间中的位置和姿态，根据位置和姿态求解出Aruco坐标系到双目相机的齐次变换矩阵；

步骤S3：在手持示教装置的电源打开之后，手持示教装置内的无线通信模块与上位机建立连接；通过单次位姿记录按键记录焊接轨迹的轨迹点，等到所有轨迹示教点记录完毕，通过按下位姿持久化按键将轨迹位姿持久化存储到上位机中；

步骤S4：数据处理，针对示教人员在示教过程中存在的抖动导致的数据不准确、误差大的问题，采用卡尔曼滤波进行消抖处理；

步骤S5：将处理后的数据转化成焊接机器人可执行的程序指令传输给焊接机器人，让焊接机器人复现焊接轨迹。

6.根据权利要求5所述的基于双目视觉的焊接机器人快速示教方法，其特征在于，所述步骤S1具体包括以下步骤：

步骤S1.1：利用标定板对双目相机进行标定；将标定板以不同位置和姿态放置在双目相机的有效视场范围内，拍摄标定板的图像序列，通过角点检测算法提取标定板上的角点坐标，根据标定板上的角点坐标系和实际物理世界中的坐标系的对应关系计算出双目相机的内参和外参；

步骤S1.2：焊接机器人眼在手上的手眼标定；将标定板固定放置在双目相机的有效视场范围内，控制焊接机器人移动，使双目相机以不同的位置和姿态观测标定板，重复拍摄多组图片，根据特征匹配和角点检测算法结合最小二乘算法求解出双目相机到焊接机器人末端的齐次变换矩阵，用于后续的坐标系位姿转换。

7.根据权利要求6所述的基于双目视觉的焊接机器人快速示教方法，其特征在于，所述双目相机的内参包括焦距和畸变系数，外参包括旋转矩阵和平移矩阵。

8.根据权利要求5所述的基于双目视觉的焊接机器人快速示教方法，其特征在于，所述步骤S2具体包括以下步骤：

步骤S2.1：检测标记；分析图像，以找到哪些形状可被识别为标记；首先利用自适应性阈值来分割标记，然后从阈值化的图像中提取外形轮廓，并舍弃非凸多边形及非方形的轮廓，并通过滤波来剔除过小或者过大的轮廓；

步骤S2.2：检测完标记之后，分析它们的内部编码来确定它们是否确实是Aruco标记；首先，对图像进行透视变换，来得到规范的图像；然后，对规范的图像通过Otsu阈值化分离白色和黑色的位；图像根据标记的大小和边界大小被分为不同格子，然后统计落在每个格子中的黑白像素数目来决定这是黑色还是白色的位；最终，分析这些位数来决定这个标记属于哪个特定字典；

步骤S2.3：对Aruco码的4个角点进行角点细化操作，获得Aruco四个角点在双目相机图像坐标系中的亚像素级别的坐标位置；

步骤S2.4：获得Aruco的四个角点在双目相机图像坐标系下的亚像素级别坐标，通过计算四个角点在双目相机左右相机中的视差，结合相机的内外参数，将视差值转化为物体与相机之间的实际三维坐标，根据四个角点的三维坐标确定一个平面，再根据平面的法向量的方向角确定手持示教装置的姿态值。

9.根据权利要求5所述的基于双目视觉的焊接机器人快速示教方法，其特征在于，所述步骤S4具体包括以下步骤：

步骤S4.1：根据数据的特性和噪声情况设置初始状态的均值和协方差矩阵；

步骤S4.2：根据系统的状态转移矩阵和噪声的协方差矩阵预测下一个状态的均值和协方差矩阵；

步骤S4.3：根据测量值和观测矩阵，计算卡尔曼增益；然后，将预测状态的均值和协方差矩阵与卡尔曼增益和观测值进行加权融合，得到新的状态估计；

步骤S4.4：重复步骤S4.2~S4.3，根据新的状态估计，继续进行预测和更新，直到满足停止条件；

步骤S4.5：以最终的估计状态作为滤波结果。