CN112815851A - 手眼标定方法及装置、系统、电子设备、存储介质 - Google Patents

Abstract

本发明公开了一种手眼标定方法及装置、系统、电子设备、存储介质，涉及标定技术领域，该方法用于对移动复合机器人和3D相机进行标定，所述移动复合机器人包括底盘和安装在所述底盘上的移动机构，该方法包括：获取所述移动机构在不同位置的位置数据A；通过所述3D相机采集所述移动机构在不同位置的标定板，获得所述标定板在所述3D相机下的位置数据B，其中，所述标定板固定在移动机构上，所述3D相机通过支架固定在所述底盘上，且所述移动机构以及所述标定板在所述3D相机的视野范围之内；根据所述位置数据A和所述位置数据B，通过公式H*A=B获得H，H为3D相机和移动机构的手眼标定矩阵。以解决了现有方案标定繁琐、标定结果精度较低的问题。

Description

手眼标定方法及装置、系统、电子设备、存储介质

技术领域

本发明实施例涉及标定技术领域，尤其涉及一种手眼标定方法及装置、系统、电子设备、存储介质。

背景技术

随着人工智能、大数据、机器人等技术的飞速发展，伴随着国内人工成本的逐步提高，工业机器人在生产制造、仓储物流领域得到广泛应用。越来越多的的制造型企业在制造升级和新建工厂的过程中采购工业智能机器人，完成搬运、作业等工作，提高产线自动化、智能化程度，并减少了人力成本，提高生产效率。

在智能机器人领域，3D视觉的使用大大提高了搬运等作业的智能化、柔性化程度。达到此目的，机器人需要和3D相机完成统一坐标系的工作，我们一般称此过程为“外参标定”或“手眼标定”。其输出结果为3D相机坐标系和机器人坐标系之前的转移矩阵。

固定机器人（多轴机械臂）领域，一般采用机器人和3D相机独立固定安装，常用的标定方法为5点标定法或9点标定法。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：

搭载3D相机的移动复合机器人领域，尚未有一个快捷方便的标定方案，且目前的技术主要采用测量和人工调试校准的方案，使用不方便，且精度较低，不利于实际使用。

发明内容

本发明实施例的目的是提供一种手眼标定方法及装置、系统、电子设备、存储介质，以解决上述不足。

根据本申请实施例的第一方面，提供一种手眼标定方法，该方法用于对移动复合机器人和3D相机进行标定，所述移动复合机器人包括底盘和安装在所述底盘上的移动机构，该方法包括：

获取所述移动机构在不同位置的位置数据A；

通过所述3D相机采集所述移动机构在不同位置的标定板，获得所述标定板在所述3D相机下的位置数据B，其中，所述标定板固定在移动机构上，所述3D相机通过支架固定在所述底盘上，且所述移动机构以及所述标定板在所述3D相机的视野范围之内；

根据所述位置数据A和所述位置数据B，采用手眼标定算法获得手眼标定矩阵，其中H*A=B，H为3D相机和移动机构的手眼标定矩阵。

根据本申请实施例的第二方面，提供一种手眼标定装置，该装置用于对移动复合机器人和3D相机进行标定，所述移动复合机器人包括底盘和安装在所述底盘上的移动机构，该装置包括：

第一获取模块，用于获取所述移动机构在不同位置的位置数据A；

第二获取模块，用于通过所述3D相机采集所述移动机构在不同位置的标定板，获得所述标定板在所述3D相机下的位置数据B，其中，所述标定板固定在移动机构上，所述3D相机通过支架固定在所述底盘上，且所述移动机构以及所述标定板在所述3D相机的视野范围之内；

计算模块，用于根据所述位置数据A和所述位置数据B，采用手眼标定算法获得手眼标定矩阵，其中H*A=B，H为3D相机和移动机构的手眼标定矩阵。

根据本申请实施例的第三方面，提供一种手眼标定系统，该系统包括：

移动复合机器人，包括底盘和安装在所述底盘上的移动机构；

固定在所述移动机构上的标定板；

通过支架固定在所述底盘上的3D相机，其中所述移动机构以及所述标定板在所述3D相机的视野范围之内；

处理模块，用于获取所述移动机构在不同位置的位置数据A，通过所述3D相机采集所述移动机构在不同位置的标定板，获得所述标定板在所述3D相机下的位置数据B，根据所述位置数据A和所述位置数据B，采用手眼标定算法获得手眼标定矩阵，其中H*A=B，H为3D相机和移动机构的手眼标定矩阵。

根据本申请实施例的第四方面，提供一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。

根据本申请实施例的第五方面，提供一种计算机可读的存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。

本发明实施例的实施例提供的技术方案可以包括以下有益效果：

由以上技术方案可知，本发明实施例提供的方法结合标定板，通过控制移动复合机器人的移动机构，采集多组移动机构不同位置的位置数据，通过3D相机采集所述移动机构在不同位置的标定板，进而计算获得所述标定板在所述3D相机下的位置数据B，可以通过公式H*A=B快捷方便的计算出3D相机到移动机构的精确转移矩阵，即手眼标定矩阵H，从而解决了现有方案标定繁琐、标定结果精度较低的问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明实施例。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明实施例的实施例，并与说明书一起用于解释本发明实施例的原理。

图1是根据一示例性实施例示出的一种手眼标定方法的流程图。

图2是根据一示例性实施例示出的一种手眼标定装置的框图。

图3是根据一示例性实施例示出的一种手眼标定系统的结构示意图。

图中的附图标记有：移动复合机器10、底盘11、移动机构12、标定板20、支架30、3D相机40。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明实施例的一些方面相一致的装置和方法的例子。

在本发明实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明实施例。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

本发明实施例提供一种手眼标定方法，该方法用于对移动复合机器人和3D相机进行标定，所述移动复合机器人包括底盘和安装在所述底盘上的移动机构，所述移动机构上固定在有标定板，所述底盘上通过支架固定有3D相机，其中所述移动机构以及所述标定板在所述3D相机的视野范围之内。

所述移动机构指移动复合机器人可控制相对于底盘移动的部分，和3D相机位置发生动态变化。

所述底盘可以采用激光SLAM AGV底盘，AGV底盘支持多种导航方式，当然也可以有别的底盘导航形式，比如磁条导航，二维码导航等。

图1是根据一示例性实施例示出的一种手眼标定方法的流程图，参考图1，本发明实施例提供一种手眼标定方法，该方法用于对移动复合机器人和3D相机进行标定，所述移动复合机器人包括底盘和安装在所述底盘上的移动机构，该方法包括

步骤S11，获取所述移动机构在不同位置的位置数据A；

步骤S12，通过所述3D相机采集所述移动机构在不同位置的标定板，获得所述标定板在所述3D相机下的位置数据B，其中，所述标定板固定在移动机构上，所述3D相机通过支架固定在所述底盘上，且所述移动机构以及所述标定板在所述3D相机的视野范围之内；

步骤S13，根据所述位置数据A和所述位置数据B，采用手眼标定算法获得手眼标定矩阵，其中H*A=B，H为3D相机和移动机构的手眼标定矩阵。

由以上技术方案可知，本发明实施例提供的方法结合标定板，通过控制移动复合机器人的移动机构，采集多组移动机构不同位置的位置数据，通过3D相机采集所述移动机构在不同位置的标定板，进而计算获得所述标定板在所述3D相机下的位置数据B，可以通过公式H*A=B快捷方便的计算出3D相机到移动机构的精确转移矩阵，即手眼标定矩阵H，从而解决了现有方案标定繁琐、标定结果精度较低的问题。

在步骤S11的具体实施中，获取所述移动机构在不同位置的位置数据A；

具体地，通过串口数据控制移动机构的电机运动，达到指定位置。移动的精度由电机决定，此时，标定板随移动机构同时运动。即标定板和移动机构位置相对固定，保证最终数据的稳定和精度。

所述移动机构的位置数据A从所述移动复合机器人中读取获得。

在步骤S12的具体实施中，通过所述3D相机采集所述移动机构在不同位置的标定板，获得所述标定板在所述3D相机下的位置数据B。

具体地，标定板采用棋盘格的方式，技术成熟，且数据精度较高。

本发明实施例中，所述位置数据A和所述位置数据B内具有多组位置数据，所述位置数据A和所述位置数据B内的多组位置数据通过以下步骤获得：

（1）控制所述移动机构左右移动，获取该移动下所述移动机构的位置和所述标定板在所述3D相机下的位置；

（2）控制所述移动机构上下移动，获取该移动下所述移动机构的位置和所述标定板在所述3D相机下的位置；

（3）控制所述移动机构前后移动，获取该移动下所述移动机构的位置和所述标定板在所述3D相机下的位置。

本发明实施例中，所述位置数据A和所述位置数据B内的数据尽可能覆盖到所述移动机构的最大工作距离，并保证所述标定板就能被所述3D相机采集。横移的距离越大，在相同的局部误差下，整体标定矩阵的误差越小。

优选地，当所述移动机构处于零点位置时，尽量保证所述标定板处于所述3D相机的视野中心。由于相机的中心部数据质量更好，且零点位置和3D相机的视野中心重合，能够最大范围保证横移距离最大。

本发明实施例中，在获得所述标定板在所述3D相机下的位置数据B前，还包括：对所述3D相机采集标定板的数据进行去噪处理。

具体地，通过对所述3D相机采集标定板的数据进行去噪处理，去除漂移数据和干扰点，保证采集数据准确可靠，这里的去噪处理可以采用滤波算法。

由于A和B的数据足够多（一般采集10组以上），数据冗余，我们可以采用SVD分解的方案或者ICP（Iterative Closet Point）方案。具体方法可参见：http://graphics.stanford.edu/~smr/ICP/。

在步骤S13的具体实施中，根据所述位置数据A和所述位置数据B，采用手眼标定算法获得手眼标定矩阵，其中H*A=B，H为3D相机和移动机构的手眼标定矩阵。

具体地，一般位置数据A、B采集在4组以上，数据越多，标定精度越高。根据经验，一般情况下，数据在8~10组时标定精度满足移动机构需求，采集时间也较短。

H为齐次转移矩阵（4×4），H矩阵分为两部分，分别为平移分量和旋转分量。其中，平移分量为xyz，代表相机和移动机构在3个坐标轴方向的平移分量。旋转分量在H矩阵中由3*3矩阵表示，代表旋转分量，总共有3个自由度，一般称之为旋转矩阵。除旋转矩阵外，旋转分量还可以由四元数、欧拉角、轴角等表达方式。

通过以上方案可知，H是多组位置数据A、B计算优化获得，数据越多，标定精度越高。通过优化方式获得的，因此存在误差，该误差越小H精度越高。

该方法还包括：将所述位置数据A乘以H，获得B’，将B’与B进行比较（由于H存在误差，所以B’与B是不一样的），获得手眼标定矩阵的误差，根据所述误差，剔除误差大于设定阈值的数据组（A，B）。这里的剔除可以采用手动提出，也可以采用根据误差较大点自动剔除，通过剔除，可以保证最终的估计值为最优。

与前述的手眼标定方法的实施例相对应，本发明实施例还提供了手眼标定装置的实施例。

图2是根据一示例性实施例示出的一种手眼标定装置的框图。参照图3，该装置用于对移动复合机器人和3D相机进行标定，所述移动复合机器人包括底盘和安装在所述底盘上的移动机构，该装置包括：

第一获取模块21，用于获取所述移动机构在不同位置的位置数据A；

第二获取模块22，用于通过所述3D相机采集所述移动机构在不同位置的标定板，获得所述标定板在所述3D相机下的位置数据B，其中，所述标定板固定在移动机构上，所述3D相机通过支架固定在所述底盘上，且所述移动机构以及所述标定板在所述3D相机的视野范围之内；

计算模块23，用于根据所述位置数据A和所述位置数据B，采用手眼标定算法获得手眼标定矩阵，其中H*A=B，H为3D相机和移动机构的手眼标定矩阵。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的手眼标定方法。

相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如上述的手眼标定方法。

图3是根据一示例性实施例示出的一种手眼标定系统的结构示意图，参考图3，本发明还提供一种手眼标定系统，该系统包括：

移动复合机器10，包括底盘11和安装在所述底盘上的移动机构12；

固定在所述移动机构12上的标定板20；

通过支架30固定在所述底盘11上的3D相机40，其中所述移动机构12以及所述标定板20在所述3D相机40的视野范围之内；

处理模块，用于获取所述移动机构12在不同位置的位置数据A，通过所述3D相机40采集所述移动机构在不同位置的标定板20，获得所述标定板20在所述3D相机40下的位置数据B，根据所述位置数据A和所述位置数据B，采用手眼标定算法获得手眼标定矩阵，其中H*A=B，H为3D相机和移动机构12的手眼标定矩阵。

关于上述实施例中的系统，其中处理模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本发明实施例的其它实施方案。本发明实施例旨在涵盖本发明实施例的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明实施例的一般性原理并包括本发明实施例未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明实施例的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明实施例的范围仅由所附的权利要求来限制。

Claims (10)

1.一种手眼标定方法，其特征在于，该方法用于对移动复合机器人和3D相机进行标定，所述移动复合机器人包括底盘和安装在所述底盘上的移动机构，该方法包括：

获取所述移动机构在不同位置的位置数据A；

通过所述3D相机采集所述移动机构在不同位置的标定板，获得所述标定板在所述3D相机下的位置数据B，其中，所述标定板固定在移动机构上，所述3D相机通过支架固定在所述底盘上，且所述移动机构以及所述标定板在所述3D相机的视野范围之内；

根据所述位置数据A和所述位置数据B，采用手眼标定算法获得手眼标定矩阵，其中H*A=B，H为3D相机和移动机构的手眼标定矩阵。

2.根据权利要求1所述的方法，其特征在于，所述位置数据A和所述位置数据B内具有多组位置数据。

3.根据权利要求2所述的方法，其特征在于，所述位置数据A和所述位置数据B内的多组位置数据通过以下步骤获得：

控制所述移动机构左右移动，获取该移动下所述移动机构的位置和所述标定板在所述3D相机下的位置；

控制所述移动机构上下移动，获取该移动下所述移动机构的位置和所述标定板在所述3D相机下的位置；

控制所述移动机构前后移动，获取该移动下所述移动机构的位置和所述标定板在所述3D相机下的位置。

4.根据权利要求1所述的方法，其特征在于，所述位置数据A和所述位置数据B内的数据覆盖到所述移动机构的最大工作距离，并保证所述标定板就能被所述3D相机采集。

5.根据权利要求1所述的方法，其特征在于，在获得所述标定板在所述3D相机下的位置数据B前，还包括：

对所述3D相机采集所述移动机构在不同位置的标定板的数据进行去噪处理。

6.根据权利要求1所述的方法，其特征在于，还包括：

将所述位置数据A乘以H，获得B’，将B’与B进行比较，获得手眼标定矩阵的误差，根据所述误差，剔除误差大于设定阈值的数据。

7.一种手眼标定装置，其特征在于，该装置用于对移动复合机器人和3D相机进行标定，所述移动复合机器人包括底盘和安装在所述底盘上的移动机构，该装置包括：

第一获取模块，用于获取所述移动机构在不同位置的位置数据A；

第二获取模块，用于通过所述3D相机采集所述移动机构在不同位置的标定板，获得所述标定板在所述3D相机下的位置数据B，其中，所述标定板固定在移动机构上，所述3D相机通过支架固定在所述底盘上，且所述移动机构以及所述标定板在所述3D相机的视野范围之内；

计算模块，用于根据所述位置数据A和所述位置数据B，采用手眼标定算法获得手眼标定矩阵，其中H*A=B，H为3D相机和移动机构的手眼标定矩阵。

8.一种手眼标定系统，其特征在于，该系统包括：

移动复合机器人，包括底盘和安装在所述底盘上的移动机构；

固定在所述移动机构上的标定板；

通过支架固定在所述底盘上的3D相机，其中所述移动机构以及所述标定板在所述3D相机的视野范围之内；

处理模块，用于获取所述移动机构在不同位置的位置数据A，通过所述3D相机采集所述移动机构在不同位置的标定板，获得所述标定板在所述3D相机下的位置数据B，根据所述位置数据A和所述位置数据B，采用手眼标定算法获得手眼标定矩阵，其中H*A=B，H为3D相机和移动机构的手眼标定矩阵。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6任一项所述的方法。

10.一种计算机可读的存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-6中任一项所述方法的步骤。

Images