CN114905509B

CN114905509B - 手眼标定方法、机器人系统及存储介质

Info

Publication number: CN114905509B
Application number: CN202210456267.6A
Authority: CN
Inventors: 黄朋生; 郭鹏; 潘桐; 黄少华; 覃宝钻
Original assignee: Borunte Robot Co Ltd
Current assignee: Borunte Robot Co Ltd
Priority date: 2022-04-28
Filing date: 2022-04-28
Publication date: 2023-09-26
Anticipated expiration: 2042-04-28
Also published as: CN114905509A

Abstract

本申请公开了一种手眼标定方法、机器人系统及计算机可读存储介质，涉及手眼标定技术领域，应用于机器人系统，机器人系统包括相机、机器人、传送机构，机器人的工作区间在相机的视野之外；方法包括：获取预设标定物通过传送机构从第一位置移动至第二位置的运动矩阵；根据机器人的末端指针指向第二位置的标定物时的位姿信息，计算得到第二位置转换矩阵；根据运动矩阵和第二位置转换矩阵，计算得第一位置转换矩阵；获取标定物在第一位置对应的外参矩阵；根据第一位置转换矩阵、外参矩阵，计算得到手眼标定矩阵。该方法能够解决眼在手外且手眼之间具有传送机构的机器人系统的手眼标定问题的同时，简化标定流程，提升标定效率。

Description

手眼标定方法、机器人系统及存储介质

技术领域

本申请涉及机器人标定技术领域，特别涉及一种手眼标定方法、机器人系统及存储介质。

背景技术

相关技术中，在机械臂与摄像头进行协同工作时，为了使得相机(亦即机器人的眼)与机器人(亦即机器人的手)坐标系之间建立关系就必须要对机器人与相机坐标系进行标定，该标定过程也就叫做手眼标定。由于传统的标定方法在借助标定板标定时采用的是九点法，需要机器人指向标定板上多个点，标定流程复杂，标定效率不高。

发明内容

本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种手眼标定方法、机器人系统及存储介质，能够解决眼在手外且手眼之间具有传送机构的机器人系统的手眼标定问题的同时，简化标定流程，提升标定效率。

第一方面，本申请提出一种手眼标定方法，应用于机器人系统，所述机器人系统包括相机、机器人、传送机构，所述机器人的工作区间在所述相机的视野之外；所述方法包括：

获取预设标定物通过所述传送机构从第一位置移动至第二位置的运动矩阵；所述第一位置在所述相机视野内，所述第二位置在所述机器人的工作区间内；

根据所述机器人的末端指针指向所述第二位置的所述标定物时的位姿信息，计算得到第二位置转换矩阵；所述第二位置转换矩阵用于在所述第二位置处进行标定物坐标系与机器人坐标系的坐标转换；

根据所述运动矩阵和所述第二位置转换矩阵，计算得到第一位置转换矩阵；

获取所述标定物在所述第一位置对应的外参矩阵；所述外参矩阵用于在第一位置处进行标定物坐标系与相机坐标系转换的坐标转换；

根据所述第一位置转换矩阵、所述外参矩阵，计算得到手眼标定矩阵。

根据本申请实施例的手眼标定方法，至少具有如下有益效果：通过获取预设标定物通过传送机构从第一位置移动至第二位置的运动矩阵，以及根据机器人的末端指针指向第二位置的标定物时的位姿信息，计算得到第二位置转换矩阵，根据运动矩阵和第二位置转换矩阵得到第一位置转换矩阵，此时根据标定物在第一位置对应的外参矩阵以及计算得到的第一位置转换矩阵，即可得到手眼标定矩阵，和现有技术相比，简化了标定流程，提高了标定效率。

根据本申请的一些实施例，所述获取预设标定物通过所述传送机构从第一位置移动至第二位置的运动矩阵，包括：

分别获取位于所述第一位置和所述第二位置时，所述传送机构的角速度编码器的设备参数；所述设备参数包括计米轮周长、记米分辨率以及当前编码器值；

根据所述设备参数，确定所述第一位置、所述第二位置的坐标信息；

根据所述第一位置的坐标信息以及所述第二位置的坐标信息，确定所述运动矩阵。

根据本申请的一些实施例，所述获取所述标定物在所述第一位置对应的外参矩阵，包括：

根据所述标定物在第一位置的图像信息，获取所述相机的内参矩阵；

根据所述标定物的预设参数，获取所述标定物在所述第一位置对应的外参矩阵；所述预设参数包括：标定板尺寸值，标定板的格子尺寸值，标定板类型。

根据本申请的一些实施例，所述获取预设标定物通过所述传送机构从第一位置移动至第二位置的运动矩阵之前，还包括：

获取机器人坐标系的预设坐标轴与所述传送机构的传送方向之间的夹角；

根据所述夹角调整所述手眼标定矩阵。

根据本申请的一些实施例，所述获取机器人坐标系的预设坐标轴与所述传送机构的传送方向之间的夹角，包括：

在所述机器人的工作区间内、所述传送机构上预设标定点处，获取所述机器人的起始坐标；

在所述机器人的工作区间内、产生预设位移后的所述标定点处，获取所述机器人的终点坐标；

根据所述起始坐标、所述终点坐标，计算得到所述夹角。

根据本申请的一些实施例，所述坐标轴为x轴，所述根据所述夹角调整所述手眼标定矩阵，包括：

根据所述夹角调整所述第二位置转换矩阵；

根据调整后的所述第二位置转换矩阵，计算得所述第一位置转换矩阵；

根据所述第一位置转换矩阵、所述外参矩阵，计算得到手眼标定矩阵；所述手眼标定矩阵为调整过的矩阵。

第二方面，本申请提出一种机器人系统，包括控制器，所述控制器与所述相机、所述机器人、所述传送机构均电连接，所述控制器包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行第一方面任意一项实施例所述的手眼标定方法。

第三方面，本申请提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行信号，所述计算机可执行信号用于执行第一方面任意一项实施例所述的手眼标定方法。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的附加方面和优点结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请的一些实施例的手眼标定方法的流程示意图；

图2为本申请的机器人系统的示教示意图；

图3为本申请的控制器的硬件结构示意图；

图4为本申请的另一些实施例的关于手眼标定方法的完整流程示意图。

附图标号如下：

传送机构100；相机200；机器人300；角速度编码器400；标定物500；控制器600；存储器610；处理器620。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

在本申请的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

在本申请的描述中，如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本申请的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本申请中的具体含义。

第一方面，参照图1和图2，本申请提出了一种手眼标定方法，应用于机器人系统，机器人系统包括相机200、机器人300、传送机构100，机器人300的工作区间在相机200的视野之外；手眼标定方法包括但不限于以下步骤：

步骤S100,获取预设标定物500通过传送机构100从第一位置移动至第二位置的运动矩阵；

需说明的是，运动矩阵，用于表示第一位置的坐标、第二位置的坐标与传送机构100的驱动之间的关系。

需要说明的是，预设标定物500可以是在手眼标定中常用的标定板，传送机构100可以是对应于相机200和机器人300设置的传送带。以传送机构100位传送带为例，运动矩阵的计算如下：首先，相机200和机器人300沿着传送带的传送方向依次设置于传送带的上方，传送带平面和机器人300坐标系的XY平面均为水平，相机200镜头与传送带平面平行，通过将标定板放置于传送带上，并获取标定板坐标从相机200视野范围内的第一位置v₀移动至机器人300工作区间内的第二位置v₁的运动路径，通过该运动路径可以知道传动带的驱动参数与运动路径的关系，从而获取预设标定物500通过传送机构100从第一位置移动至第二位置的运动矩阵，这里将运动矩阵记为^v1T_v0。

步骤S200,根据机器人300的末端指针指向第二位置的标定物500时的位姿信息，计算得到第二位置转换矩阵。

示例性的，预设标定物500通过传送机构100从第一位置移动至第二位置后，可以将机器人300的末端指针指向标定板坐标系的原点位置，记录此时机器人300位姿信息，该位姿信息包括^rX_v1，^rY_v1，^rZ_v1，他们分别表示基于机器人坐标系，机器人分别对应X轴，Y轴，Z轴方向的坐标值，第二位置转换矩阵用于在第二位置处进行标定物500坐标系与机器人300坐标系的坐标转换，第二位置转换矩阵表示如下：

步骤S300,根据运动矩阵和第二位置转换矩阵，计算得到第一位置转换矩阵。

需要说明的是，第一位置转换矩阵用于在第一位置处进行标定物500坐标系与机器人300 坐标系的坐标转换,所以第一位置转换矩阵可通过第二位置转换矩阵与运动矩阵相乘获得，将第一位置转换矩阵记为^rT_v0，^rT_v0＝^rT_v1*^v1T_v0。

步骤S400，获取所述标定物500在所述第一位置对应的外参矩阵。

需要说明的是，外参矩阵描述的是世界坐标中相机200的位置，及其指向方向。外参矩阵有两个成分：旋转矩阵R和平移向量t，用于在第一位置处进行标定物500坐标系与相机 200坐标系转换的坐标转换，可通过相机200标定技术获得。这里将相机200在第一位置拍摄图像的外参矩阵记为^cT_v0，其中c为相机200坐标系，v₀表示第一位置。

步骤S500，根据外参矩阵、第一位置转换矩阵，获取手眼标定矩阵。

需要说明的是，获取手眼标定矩阵就是获取相机200坐标系与机器人300坐标系之间的转化矩阵，将手眼标定矩阵记为^rT_c，其中r表示机器人300坐标系、c表示相机200坐标系，那么根据^rT_v0＝^rT_v1*^v1T_v0和^rT_v0＝^rT_c*^cT_v0，即可得到^rT_c＝(^rT_v1*^v1T_v0)*^cT_v0 ^-1，其中^rT_c就是所需要的手眼标定矩阵。

需要说明的是，在现有的眼在手外且手眼之间具有传送装置的手眼标定方法中，在进行世界坐标系到机器人坐标系的转换，通常采用九点标定法，其中九点标定法需要获取机器人指向九个参考点时机器人的坐标，标定过程复杂。

因此，通过获取预设标定物500通过传送机构100从第一位置移动至第二位置的运动矩阵，以及根据机器人300的末端指针指向第二位置的标定物500时的位姿信息，计算得到第二位置转换矩阵，根据运动矩阵和第二位置转换矩阵得到第一位置转换矩阵，此时根据标定物500在第一位置对应的外参矩阵以及计算得到的第一位置转换矩阵，即可得到手眼标定矩阵，此种方法在实现计算手眼标定矩阵的同时，简化了标定流程，提高了标定效率。

可以理解的是，步骤S100还包括但不限于如下步骤：

步骤S110，分别获取位于所述第一位置和所述第二位置时，所述传送机构100的角速度编码器400的设备参数。

需要说明的是，为了获得运动矩阵，可以通过在传送装置上设置角速度编码器400，标定板在第一位置和第二位置时，角速度编码器400的设备参数值是不同的，具体可以包括计米轮周长、记米分辨率以及编码器值，分别记为P、R、E，其中角速度编码器400在第一位置时的编码器值记为E₁，角速度编码器400在第二位置时的编码器值记为E₂。

步骤S120，根据所述设备参数，确定第一位置、第二位置的坐标信息。

步骤S130，根据所述第一位置的坐标信息以及所述第二位置的坐标信息，确定所述运动矩阵。

需要说明的是，由于标定板在传送装置上做的是平面直线运动，标定坐标系从第一位置运动到第二位置的时，Y轴方向坐标和Z轴方向坐标不发生变化，X轴方向坐标变化代表标定板通过传送装置所运动的距离，其中运动距离通过公式L＝(E₂-E₁)*P*R即可获得。

进而，运动矩阵

可以理解的是，步骤S400还包括但不限于如下步骤：

步骤S410，根据标定物500在第一位置的图像信息，获取所述相机200的内参矩阵。

需要说明的是，相机200内参的获取可以在第一位置拍摄多张包含完整标定板的照片，标定物500在第一位置的图像信息，对相机200进行内参标定，得出相机200内参。

步骤S420，根据所述标定物500的预设参数，获取所述标定物500在所述第一位置对应的外参矩阵。

需要说明的是，相机200在进行内参标定时，会获得相机200内参和畸变参数，同时根据标定物500的预设参数，其中预设参数包括标定板尺寸值，标定板的格子尺寸值，标定板类型，将相机200内参。畸变参数与标定物500的预设参数结合，即可得出相机200在第一位置对应的外参矩阵，外参矩阵具体表示如下：

其中R_c->v0表示坐标系的相对于相机200坐标系的旋转矩阵，^cX_v0，^cY_v0，^cZ_v0分别表示第一位置坐标系的原点在相机200坐标系的X轴，Y轴，Z轴方向的距离。

可以理解的是，步骤S100之前还包括但不限于如下步骤：

步骤S600，获取机器人300坐标系的预设坐标轴与所述传送机构100的传送方向之间的夹角。

需要说明的是，在实际安装过程中，由于安装误差的存在，机器人300坐标系X轴与传动带速度方向存在夹角θ的，为了修正误差，需要获取这一夹角。

步骤S700，根据所述夹角调整所述手眼标定矩阵。

可以理解的是，步骤S600包括但不限于如下步骤：

步骤S610，在所述机器人300的工作区间内、所述传送机构100上预设标定点处，获取所述机器人300的起始坐标。

需要说明的是，传送机构可以是传送带形式设置。

示例性的，根据机器人300与传送带的关系，可在传送装置上贴设十字形贴纸，在贴纸上定位一个特征点G₀；该特征点的选取需要保证贴纸在传送装置启动及传送过程中与传送装置的传送面无相对位移；此时将该特征点传送至机器人300工作空间范围内，将机器人300 末端指针移动至特征点G₀，记录机器人300此时的起始位置坐标G'₁＝(x₁,y₁,z)，即可得到机器人300的起始坐标。

步骤S620，在所述机器人300的工作区间内、产生预设位移后的所述标定点处，获取所述机器人300的终点位置坐标；

示例性地，获取起始坐标后，启动传动装置，让特征点随传动装置运动一段距离，保证G₀在机器人300工作空间范围内，停止传送装置，此时，将机器人300末端指针再次移动至特征点G₀，记录机器人300此时的终点位置坐标G'₂＝(x₂,y₂,z)，即可得到机器人300的终点位置坐标。

步骤S630，根据所述起始坐标、所述终点坐标，计算得到所述夹角。

需要说明的是，由坐标系之间的关系，可通过公式求取θ。

可以理解的是，步骤S700包括但不限于如下步骤：

步骤S710，根据夹角调整所述第一位置转换矩阵。

需要说明的是，由于夹角的存在，此时第二位置转换矩阵表示如下：

该矩阵即为修正后的第二位置转换矩阵。

步骤S720，根据调整后的第二位置转换矩阵，计算得第一位置转换矩阵。

需要说明的是，此时第一位置转换矩阵表示如下：

步骤S730，根据第一位置转换矩阵、外参矩阵，计算得到手眼标定矩阵；此时的手眼标定矩阵为调整过的矩阵。

需要说明的是，将机器人300坐标系的预设坐标轴与传送机构100的传送方向之间的夹角带入相应的矩阵后，将消除因安装误差带来的标定误差，此时，手眼标定矩阵地方计算参考以下公式：

此时获得的手眼标定矩阵即为消除安装误差的最终结果。

综上所述，示例性的，以传送机构为传送带，标定物为标定板为例，参照图4，手眼标定矩阵通过如下方式获取：

步骤S800，使用一个有十字形符号的贴纸贴在传送带上，计算机器人300坐标系X轴与传动带速度方向的夹角θ。

步骤S810，拍摄多张包含完整标定板的照片，对相机200进行内参标定，得出相机200 内参。

步骤S820，将标定板坐标放置在传送带上且在相机200视野范围内，确保标定板坐标系 X轴方向与传送带方向一致，在第一位置处，控制相机200拍照，计算外参矩阵^cT_v0。

步骤S830,启动传动带，让标定板由第一位置运动至第二位置，控制编码器记录在第一位置的编码器值和在第二位置的编码器值，并根据编码器值计算标定板运动距离L。

步骤S840,根据标定板的运动距离L，得出标定板在第一位置(V0)的标定板坐标系与标定板在第二位置(V1)的标定板坐标系的转化矩阵^v1T_v0(运动矩阵)。

步骤S850，在第二位置处，控制机器人300末端指针指向标定板原点，记录机器人300 位姿，得出标定板在第二位置时标定板坐标系与机器人300坐标系的转化矩阵^rT_v1。

步骤S860，根据预设的手眼标定矩阵的计算公式，计算出手眼标定矩阵；其中预设的手眼标定矩阵计算公式为：^rT_c＝(^rT_v1*^v1T_v0)*^cT_v0 ^-1。

第二方面，本申请提出了一种机器人300系统，包括控制器600，控制器600与相机200、机器人300、传送机构100均电连接，可以理解的是，参照图3，本申请的控制器600可以是由存储器610和处理器620构成的单独的控制模块，第一方面所提供的手眼标定方法存储在存储器610内，并由处理器620读取并执行上述方法的步骤，其中存储器610和处理器620通过总线完成数据传输和通信。

存储器610作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及信号，如本申请实施例中的电控模块对应的程序指令/信号。处理器 620通过运行存储在存储器610中的非暂态软件程序、指令以及信号，从而执行各种功能应用以及数据处理，即实现上述方法实施例的手眼标定的控制方法。

存储器610可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储上述手眼标定方法的相关数据等。此外，存储器610可以包括高速随机存取存储器610，还可以包括非暂态存储器610，例如至少一个磁盘存储器610件、闪存器件、或其他非暂态固态存储器610件。在一些实施例中，存储器 610可选包括相对于处理器620远程设置的存储器610，这些远程存储器610可以通过网络连接至该处理模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个信号存储在存储器610中，当被一个或者多个处理器620执行时，执行上述任意方法实施例中的手眼标定方法。例如，执行步骤S100至S500、步骤S110、步骤S120、步骤S130、步骤S410、步骤S420、步骤S600、步骤S610、步骤S620、步骤S630、步骤S700、步骤S710、步骤S720、步骤S730、步骤S800至S860的方法。

第三方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器620执行，可使得上述一个或多个处理器620执行上述方法实施例中的手眼标定方法。例如，执行步骤S100至S500、步骤S110、步骤S120、步骤S130、步骤S410、步骤S420、步骤S600、步骤S610、步骤S620、步骤S630、步骤S700、步骤S710、步骤S720、步骤S730、步骤S800至S860的方法。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器620，如中央处理器620、数字信号处理器620或微处理器 620执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读信号、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、 ROM、EEPROM、闪存或其他存储器610技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读信号、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

上面结合附图对本申请实施例作了详细说明，但是本申请不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下，作出各种变化。

Claims

1.一种手眼标定方法，其特征在于，应用于机器人系统，所述机器人系统包括相机、机器人、传送机构，所述机器人的工作区间在所述相机的视野之外；所述方法包括：

根据所述第一位置转换矩阵、所述外参矩阵，计算得到手眼标定矩阵；

所述获取预设标定物通过所述传送机构从第一位置移动至第二位置的运动矩阵，包括：

根据所述第一位置的坐标信息以及所述第二位置的坐标信息，确定所述运动矩阵；其中，所述运动矩阵表示所述第一位置的坐标、所述第二位置的坐标与所述传送机构的驱动之间的关系。

2.根据权利要求1所述的手眼标定方法，其特征在于，所述获取所述标定物在所述第一位置对应的外参矩阵，包括：

3.根据权利要求1所述的手眼标定方法，其特征在于，所述获取预设标定物通过所述传送机构从第一位置移动至第二位置的运动矩阵之前，还包括：

根据所述夹角调整所述手眼标定矩阵。

4.根据权利要求3所述的手眼标定方法，其特征在于，所述获取机器人坐标系的预设坐标轴与所述传送机构的传送方向之间的夹角，包括：

根据所述起始坐标、所述终点坐标，计算得到所述夹角。

5.根据权利要求3所述的手眼标定方法，其特征在于，所述坐标轴为x轴，所述根据所述夹角调整所述手眼标定矩阵，包括：

根据所述夹角调整所述第二位置转换矩阵；

对应的，所述根据所述运动矩阵和所述第二位置转换矩阵，计算得到所述第一位置转换矩阵，包括：

根据所述运动矩阵、调整后的所述第二位置转换矩阵，计算得第一位置转换矩阵，以根据所述第一位置转换矩阵，得到调整后的所述手眼标定矩阵。

6.一种机器人系统，其特征在于，包括控制器，所述控制器与所述相机、所述机器人、所述传送机构均电连接，所述控制器包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的手眼标定方法。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行信号，所述计算机可执行信号用于执行如权利要求1至5任一项所述的手眼标定方法。