CN114643578A - 一种提高机器人视觉引导精度的标定装置及方法 - Google Patents

Abstract

本发明属于机器人视觉标定技术领域，具体地，涉及一种提高机器人视觉引导精度的标定装置及方法。包括：标定板、相机控制器以及与其相连的机器人组件、主相机组件、侧相机组件A和侧相机组件B；标定板设于机器人组件末端机械臂工作范围下方相机控制器，用于接收世界坐标值以及基准特征点世界坐标值，并获取二者的偏差值，对主相机组件进行修正；主相机组件设于机器人组件上，且与相机控制器电性连接，侧相机组件A和侧相机组件B分别与相机控制器电性连接。本发明创新性地在标定板的周围布置了两个侧相机，解决了传统的依靠人眼进行视觉定位偏差修正时精度不足的困扰。并且提高了视觉引导定位的精度和标定过程的自动化水平，提升了标定效率。

Description

一种提高机器人视觉引导精度的标定装置及方法

技术领域

本发明属于机器人视觉标定技术领域，具体地，涉及一种提高机器人视觉引导精度的标定装置及方法。

背景技术

工业机器人的一个主要特点是擅长执行重复性的精密劳动。但在实际应用中，往往需要机器人先通过传感器准确定位随机摆放的工件，然后才能执行后续的精密劳动。视觉传感器中的面阵相机因其具有技术成熟和价格便宜的特点被广泛用于机器人视觉引导技术。影响机器人视觉引导定位精度的关键是建立的相机像素坐标系到机器人世界坐标系的坐标变换公式的精确程度。建立坐标变换公式的过程也就是通常说的“手眼标定”。

国内外在这方面做了很多研究。例如，上海智殷自动化科技有限公司在2020年申请的名为《一种新的机器人手眼标定方法》的发明专利(专利号：CN111482964A)，提出了一种机器人偏移九点拍照然后再对对中心点进行机器人示教的手眼标定方法。无锡中车时代智能装备有限公司在2020年申请的名为《简单方便的机器人手眼标定系统和标定方法》(专利号：CN111409075A)，提出了一种使用结构光三维相机和立体标定块的手眼标定方法。康耐视公司(COGNEX)在2017年申请的名为《机器视觉系统和机器视觉系统实现的校准方法》的发明专利(专利号：CN107871328A)，提出了一种对机器人运动学模型和相机参数进行全局非线性优化以提高机器人视觉引导定位精度的方法。康耐视公司(COGNEX)在2020年申请的名为《机器人运动视觉系统的自动手眼标定系统与方法》(专利号：CN111482959A)，提出了一种最小人为干预下的自动手眼标定方法。

上述校准方法的显著缺点是，标定完成后只能保证在机器人在相机视场内的视觉引导定位精度。而实际中广泛使用的将相机安装在机器人末端的“眼在手中”型视觉引导机器人的视场通常比机器人需要的作业范围小很多，上述标定方法难以保证机器人在整个作业范围内的视觉引导定位精度。因此，迫切需要寻找一种能提高机器人在整个作业范围内引导定位精度的标定装置和方法。

发明内容

本发明的目的是提供一种提高机器人视觉引导精度的标定装置及方法，该标定装置和方法能够应用在需要机器人在整个作业范围内有高精度的视觉引导定位的“眼在手中”型视觉引导机器人。

本发明为实现上述目的所采用的技术方案是：一种提高机器人视觉引导精度的标定装置，包括：标定板、相机控制器以及与其相连的机器人组件、主相机组件、侧相机组件A和侧相机组件B；

所述标定板设于机器人组件末端机械臂工作范围下方，用于对主组件相机的内参数和外参数进行标定，以及侧相机组件A和侧相机组件B进行内参数标定；

所述相机控制器，用于接收侧相机组件A和侧相机组件B测量的校准装置的世界坐标值以及主相机组件测量的基准特征点世界坐标值，并获取二者的偏差值，对主相机组件进行修正；

所述主相机组件设于机器人组件上，且与相机控制器电性连接，用于测量标定板上基准特征点世界坐标值并发送至相机控制器，接收相机控制器对主相机组件修正后的坐标变换矩阵；

所述侧相机组件A和侧相机组件B分别与相机控制器电性连接，用于将校准装置世界坐标，并发送至相机控制器。

所述机器人组件包括：机器人控制器、机械臂以及设置在机械臂末端的校准装置；

所述校准装置垂直于标定板，且设于标定板上方；所述机械臂末端水平与标定板设有主相机组件；

所述机器人控制器与相机控制器连接，用于控制机械臂带动校准装置下插至标定板指定基准特征点。

所述校准装置为尖状结构的校准针或激光指示器。

所述标定板为点网格状、线网格、十字状、蜂窝状或三角形棋盘状中任意一种。

所述主相机组件、侧相机组件A和侧相机组件B均包括：图像传感器、光学镜头以及光源装置；

所述图像传感器与机械臂末端通过连接杆固连，且连接杆平行于标定板的平面；在所述图像传感器下方依次连有光学镜头以及光源装置；

所述图像传感器为二维CCD相机传感器。

一种提高机器人视觉引导精度的标定方法，包括以下步骤：

步骤1：将标定板固定在工作平台上与作业面重合，将标定板划分成多个大小相同的子区域；机器人带动校准装置并通过三点法建立标定板上的用户坐标系；

步骤2：通过标定板采用棋盘法标定侧相机组件A和侧相机组件B的内参数，并得到内参数矩阵；

步骤3：通过标定板的第一子区域对主相机组件进行标定，得到主相机组件的内参数矩阵和外参数矩阵，即坐标变换矩阵；

步骤4：主相机组件拍照测量第一子区域的用户坐标系下基准特征点世界坐标值，并发送至相机控制器；

步骤5：机器人将主相机组件更换为校准装置，并移动校准装置至步骤4中所述的用户坐标系下基准特征点世界坐标值；

步骤6：通过侧相机组件A和侧相机组件B拍照测量用户坐标系下校准装置的针尖的世界坐标值，并发送至相机控制器；

步骤7：相机控制器根据校准装置的针尖的世界坐标值和主相机组件测量的基准特征点世界坐标值，得到偏差值；

步骤8：相机控制器将该偏差值作为修正系数对主相机组件的坐标变换矩阵进行修正，得到该子区域手眼标定坐标变换矩阵；

步骤9：机器人依次移动其余子区域，重复步骤4～步骤8。

所述步骤2中用标定板标定侧相机组件A和侧相机组件B的内参数，具体为：

步骤21：分别移动侧相机组件A和侧相机组件B使其视场对准第一个子区域的基准特征点，并使侧相机组件A的视场的X轴和用户坐标系的X轴平行，并使侧相机组件B的视场的X轴和用户坐标系的Y轴平行；

步骤22：分别用标定板上的基准特征点对侧相机组件A和侧相机组件B进行内参数标定。

所述步骤3用标定板的第一子区域标定主相机组件的内参数和外参数，具体为：

步骤31：机器人移动主相机组件，使主相机组件的视场范围覆盖标定板的第一个子区域的位置；

步骤32：机器人移动主相机组件围绕此处位置作若干次平移和旋转运动，根据设定的平移距离以及旋转角度，分别得到主相机组件的平移矩阵和旋转矩阵；

步骤33：主相机组件在步骤32的每完成一次平移或旋转后。主相机组件拍照测量第一个子区域基准特征点的像素坐标值，并上传至相机控制器；

步骤34：相机控制器根据主相机组件的平移矩阵、旋转矩阵、基准特征点的像素坐标值以及该基准特征点对应的世界坐标值得到主相机组件的内参数矩阵和外参数矩阵；

步骤35：建立在第一子区域拍照位置的相机像素坐标系到机器人世界坐标系的坐标变换矩阵。

本发明具有以下有益效果及优点：

1、本发明将机器人作业范围按照相机视场划分成不同子区域，创新性地在作业范围内固定一个和作业范围尺寸相近并大于相机视野的标定板，然后在每个子区域对主相机进行独立的手眼标定，既可以保证机器人在单一子区域内的视觉引导定位精度，又可以用标定板的物理尺寸的高精度，弥补由于机器人机械结构的悬臂扰度和关节旋转精度造成的定位误差损失。

2、本发明除了使用一个主相机用于机器人手眼标定外，还创新性地在标定板的周围布置了两个侧相机，解决了传统的依靠人眼进行视觉定位偏差修正时精度不足的困扰。并且提高了视觉引导定位的精度和标定过程的自动化水平，提升了标定效率。

附图说明

图1是本发明整体结构示意图；

图2是本发明的原理示意图；

图3是本发明的标定方法流程图；

其中，110为机器人组件，，111为机器人控制器，112为机械臂，113为校准装置，120为主相机组件，121为图像传感器，122为光学镜头，123为光源装置，130为侧相机组件A，140为侧相机组件B，150为相机控制器，160为标定板，161为第一子区域，162为第二子区域，163为第三子区域，164为第四子区域。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

下面结合具体实施例对本发明进行详细说明。

参考图1和图2，展示了本发明的一个实施例。其中图1是本发明整体结构示意图。包括：标定板160、相机控制器150以及与其相连的机器人组件110、主相机组件120、侧相机组件A 130和侧相机组件B 140；

标定板160设于机器人组件110末端机械臂工作范围下方，用于对主组件相机的内参数和外参数进行标定，以及侧相机组件A 130和侧相机组件B 140进行内参数标定；

相机控制器150，用于接收侧相机组件A 130和侧相机组件B 140测量的校准装置113的世界坐标值以及主相机组件测量的基准特征点世界坐标值，并获取二者的偏差值，对主相机组件进行修正；

主相机组件120设于机器人组件110上，且与相机控制器150电性连接，用于测量标定板160上基准特征点世界坐标值并发送至相机控制器150，接收相机控制器150对主相机组件120修正后的坐标变换矩阵；

所述侧相机组件A 130和侧相机组件B 140分别与相机控制器150电性连接，用于将校准装置113世界坐标，并发送至相机控制器150。

如本领域的技术人员公知的，机器人可另其末端法兰相对于固定在机器人基座上的基坐标系执行运动到某一特定位置和姿态的重复动作。本实施例实现了机器人作为定位元件对相机分段标定和定位精度补偿的校准。其中，图1中关节臂112虽然被表示为三段。但应当注意，在替换性实施例中可以使用不同数量的分段。除了使用机器人作为相机和校准针的定位元件之外，还可以使用其他包括伺服电缸平台、单轴机器人平台等多种方式。

机器人组件110包括：机器人控制器111、机械臂112以及设置在机械臂112末端的校准装置113；

校准装置113垂直于标定板160，且设于标定板160上方；机械臂112末端水平与标定板160设有主相机组件120；

机器人控制器111与相机控制器150连接，用于控制机械臂112带动校准装置113下插至标定板160指定基准特征点。

其中，图1中的主相机组件120、侧相机组件A 130和侧相机组件B 140均包括：图像传感器121、光学镜头122以及光源装置123；

图像传感器121与机械臂112末端通过连接杆固连，且连接杆平行于标定板160的平面；在所述图像传感器121下方依次连有光学镜头122以及光源装置123；其中图像传感器可以包括二维CCD相机传感器、二维CMOS相机传感器或用于生成图像的任何其他类型的区域扫描传感器。

其中，图1中的校准装置113为尖状结构的校准针，也可以是具有能够发射某种指向性光束的激光或红外指示装置。校准装置113以某种机器人运动时无法滑动的方式固定在机械臂112的末端。在其它的实施例中，校准装置113也可以直接固定在机械臂112末端的其它结构上。

其中，图1中的标定板160可以是有特征点和基准特征点的标定板160。也可以是其他类型校准图案的标定板，一些示例性图案包括但不限于点网格、线网格、十字或蜂窝、三角形棋盘等。

其中，图2是本发明的第一个实施例的修正原理示意图。基准特征点是子区域161中的一个基准特征点。基准特征点用来检验机器人的引导定位偏差。主轴线211是侧相机组件A 130的光学主轴的虚拟表示。主轴线(212)是侧相机组件B 140的光学主轴的虚拟表示。通过调整侧相机组件A 130和侧相机组件B 140在空间100中的安装位置，将主轴线211和主轴线211指向基准特征点，以便精确测量校准装置113和基准特征点和之间的偏差值。

工作时，图1和图2展示的一种提高机器人视觉全局引导定位精度的标定装置能够完成机器人在整个作业范围内的高精度视觉引导标定。首先用标定板160对侧相机组件A130和侧相机组件B 140进行内参数标定。然后机械臂112移动主相机部件120到标定板160的子区域161，拍照测量视野内的全部特征点的像素坐标值，对主相机部件120进行畸变校正。然后机械臂112移动主相机部件120围绕该位置进行若干次平移和旋转操作完成子区域161的相机内外参数标定，得到该子区域的像素坐标到世界坐标的坐标变换公式。最后再用侧相机组件A 130和侧相机组件B 140分别拍照测量校准装置113和基准特征点之间的引导定位偏差值，用该偏差值对前面得到的坐标变换公式进行修正，最终得到第一子区域161的手眼标定坐标变换公式。接着按照同样的步骤对剩下的三个：第一子区域162、第二子区域163和第三子区域164进行标定和校准，最终得到机器人在整个作业范围内的分段坐标变换公式，视觉标定和校准作业完成。

参考图3，展示了本发明的另一个实施例。图3是本发明标定方法的流程图，包括以下步骤：

步骤305：开始标定；

步骤310：将标定板固定到工作平台上的适当位置，并尽量和作业面重合。标定板的尺寸应和机器人的作业范围尺寸接近或略大。然后在机器人上用校准针或者激光指示器，通过三点法或四点法建立附着在标定板上的用户坐标系。该用户坐标系是后续步骤用来进行手眼标定参考坐标系，该用户坐标系和机器人基坐标系均固定在空间300中；

步骤315：首先根据机器人作业范围、主相机组件的视场，将标定板划分成若干子区域。划分原则是子区域总数尽可能少且能完全覆盖机器人作业范围。然后用标定板对侧相机组件A 130和侧相机组件B 140进行内参数标定。侧相机组件A 130和侧相机组件B 140随后被用来测量机器人的视觉引导定位精度；

步骤3151：分别移动侧相机组件A 130和侧相机组件B 140使其视场对准第一个子区域的基准特征点，并使侧相机组件A 130的视场的X轴和用户坐标系的X轴平行，并使侧相机组件B 140的视场的X轴和用户坐标系的Y轴平行；

步骤3152：分别用标定板上的基准特征点对侧相机组件A 130和侧相机组件B 140进行内参数标定。

步骤320：机器人带动安装在其末端的主相机组件120，移动到第一个子区域的拍照位；

步骤325：机器人移动主相机组件围绕该位置进行若干次平移和旋转运动，并在每次运动后用主相机组件拍照测量第一个子区域中的基准特征点的像素坐标值。然后根据这些像素坐标值和对应的世界坐标值计算出主相机组件的内参数和外参数矩阵，得到主相机组件在子区域I的相机像素坐标到世界坐标的坐标变换公式；

步骤3251：机器人移动主相机组件120，使主相机组件120的视场范围覆盖标定板160的第一个子区域的位置；

步骤3252：机器人移动主相机组件120围绕此处位置作若干次平移和旋转运动，根据设定的平移距离以及旋转角度，分别得到主相机组件120的平移矩阵和旋转矩阵；

步骤3253：主相机组件120在步骤32的每完成一次平移或旋转后。主相机组件120拍照测量第一个子区域基准特征点的像素坐标值，并上传至相机控制器150；

步骤3254：相机控制器150根据主相机组件120的平移矩阵、旋转矩阵、基准特征点的像素坐标值以及该基准特征点对应的世界坐标值得到主相机组件120的内参数矩阵和外参数矩阵；

步骤35：建立在第一子区域拍照位置的相机像素坐标系到机器人世界坐标系的坐标变换矩阵。

步骤330：机器人移动主相机组件到第一个子区域的拍照位，拍照测量基准特征点的像素坐标值，相机控制器根据步骤325得到的坐标变换公式将该像素坐标值变换成理论世界坐标值；

步骤335：机器人将工具切换为校准针，机器人带动校准针移动相机控制器计算出的基准特征点理论世界坐标位置；

步骤340：侧相机拍照测量校准针的针尖相对基准特征点的偏差值。并将该偏差值反馈给相机控制器；

步骤345：相机控制器根据该偏差值，对步骤325得到的坐标变换公式进行修正，并重新计算基准特征点的新理论世界坐标值。然后机器人移动校准针到新理论世界坐标值，并用侧相机重新测量偏差值，确保引导定位误差在可接受范围内；

步骤350：机器人移动主相机到下一个子区域，重复进行步骤325-步骤345的工作，对下一子区域进行主相机组件的手眼标定；

步骤355：按照同样的步骤对所有子区域进行主相机组件的手眼标定。得到机器人在整个作业范围内的像素坐标到世界坐标的坐标变换公式；

步骤360：标定完成。

以上说明所描述的实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变换和改进。这些都属于本发明的保护范围。

Claims (8)

1.一种提高机器人视觉引导精度的标定装置，其特征在于，包括：标定板(160)、相机控制器(150)以及与其相连的机器人组件(110)、主相机组件(120)、侧相机组件A(130)和侧相机组件B(140)；

所述标定板(160)设于机器人组件(110)末端机械臂工作范围下方，用于对主组件相机(120)的内参数和外参数进行标定，以及侧相机组件A(130)和侧相机组件B(140)进行内参数标定；

所述相机控制器(150)，用于接收侧相机组件A(130)和侧相机组件B(140)测量的校准装置(113)的世界坐标值以及主相机组件测量的基准特征点世界坐标值，并获取二者的偏差值，对主相机组件进行修正；

所述主相机组件(120)设于机器人组件(110)上，且与相机控制器(150)电性连接，用于测量标定板(160)上基准特征点世界坐标值并发送至相机控制器(150)，接收相机控制器(150)对主相机组件(120)修正后的坐标变换矩阵；

所述侧相机组件A(130)和侧相机组件B(140)分别与相机控制器(150)电性连接，用于将校准装置(113)世界坐标，并发送至相机控制器(150)。

2.根据权利要求1所述的一种提高机器人视觉引导精度的标定装置，其特征在于，所述机器人组件(110)包括：机器人控制器(111)、机械臂(112)以及设置在机械臂(112)末端的校准装置(113)；

所述校准装置(113)垂直于标定板(160)，且设于标定板(160)上方；所述机械臂(112)末端水平与标定板(160)设有主相机组件(120)；

所述机器人控制器(111)与相机控制器(150)连接，用于控制机械臂(112)带动校准装置(113)下插至标定板(160)指定基准特征点。

3.根据权利要求2所述的一种提高机器人视觉引导精度的标定装置，其特征在于，所述校准装置(113)为尖状结构的校准针或激光指示器。

4.根据权利要求1所述的一种提高机器人视觉引导精度的标定装置，其特征在于，所述标定板(160)为点网格状、线网格、十字状、蜂窝状或三角形棋盘状中任意一种。

5.根据权利要求1所述的一种提高机器人视觉引导精度的标定装置，其特征在于，所述主相机组件(120)、侧相机组件A(130)和侧相机组件B(140)均包括：图像传感器(121)、光学镜头(122)以及光源装置(123)；

所述图像传感器(121)与机械臂(112)末端通过连接杆固连，且连接杆平行于标定板(160)的平面；在所述图像传感器(121)下方依次连有光学镜头(122)以及光源装置(123)；

所述图像传感器(121)为二维CCD相机传感器。

6.一种提高机器人视觉引导精度的标定方法，其特征在于，包括以下步骤：

步骤1：将标定板(160)固定在工作平台上与作业面重合，将标定板(160)划分成多个大小相同的子区域；机器人带动校准装置并通过三点法建立标定板上的用户坐标系；

步骤2：通过标定板(160)采用棋盘法标定侧相机组件A(130)和侧相机组件B(140)的内参数，并得到内参数矩阵；

步骤3：通过标定板(160)的第一子区域对主相机组件(120)进行标定，得到主相机组件(120)的内参数矩阵和外参数矩阵，即坐标变换矩阵；

步骤4：主相机组件(120)拍照测量第一子区域的用户坐标系下基准特征点世界坐标值，并发送至相机控制器(150)；

步骤5：机器人将主相机组件(120)更换为校准装置(113)，并移动校准装置(113)至步骤4中所述的用户坐标系下基准特征点世界坐标值；

步骤6：通过侧相机组件A(130)和侧相机组件B(140)拍照测量用户坐标系下校准装置(113)的针尖的世界坐标值，并发送至相机控制器(150)；

步骤7：相机控制器(150)根据校准装置(113)的针尖的世界坐标值和主相机组件测量的基准特征点世界坐标值，得到偏差值；

步骤8：相机控制器(150)将该偏差值作为修正系数对主相机组件(120)的坐标变换矩阵进行修正，得到该子区域手眼标定坐标变换矩阵；

步骤9：机器人依次移动其余子区域，重复步骤4～步骤8。

7.根据权利要求6的一种提高机器人视觉引导精度的标定方法，其特征在于，所述步骤2中用标定板标定侧相机组件A(130)和侧相机组件B(140)的内参数，具体为：

步骤21：分别移动侧相机组件A(130)和侧相机组件B(140)使其视场对准第一个子区域的基准特征点，并使侧相机组件A(130)的视场的X轴和用户坐标系的X轴平行，并使侧相机组件B(140)的视场的X轴和用户坐标系的Y轴平行；

步骤22：分别用标定板上的基准特征点对侧相机组件A(130)和侧相机组件B(140)进行内参数标定。

8.根据权利要求6的一种提高机器人视觉引导精度的标定方法，其特征在于，所述步骤3用标定板的第一子区域标定主相机组件的内参数和外参数，具体为：

步骤31：机器人移动主相机组件(120)，使主相机组件(120)的视场范围覆盖标定板(160)的第一个子区域的位置；

步骤32：机器人移动主相机组件(120)围绕此处位置作若干次平移和旋转运动，根据设定的平移距离以及旋转角度，分别得到主相机组件(120)的平移矩阵和旋转矩阵；

步骤33：主相机组件(120)在步骤32的每完成一次平移或旋转后。主相机组件(120)拍照测量第一个子区域基准特征点的像素坐标值，并上传至相机控制器(150)；

步骤34：相机控制器(150)根据主相机组件(120)的平移矩阵、旋转矩阵、基准特征点的像素坐标值以及该基准特征点对应的世界坐标值得到主相机组件(120)的内参数矩阵和外参数矩阵；

步骤35：建立在第一子区域拍照位置的相机像素坐标系到机器人世界坐标系的坐标变换矩阵。

Images