CN112743546A

CN112743546A - 机器人手眼标定位姿选择方法、装置、机器人系统及介质

Info

Publication number: CN112743546A
Application number: CN202011590556.2A
Authority: CN
Inventors: 王念峰; 钟凯帆; 张宪民
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2020-12-29
Filing date: 2020-12-29
Publication date: 2021-05-04
Anticipated expiration: 2040-12-29
Also published as: CN112743546B

Abstract

本发明公开了一种机器人手眼标定位姿选择方法、装置、机器人系统及介质，该方法包括：控制机器人的操作臂移动到待标定的机器人视觉系统工作空间内的标定板位置，以使相机能够拍摄到标定板上的标定图案；根据手眼标定场景，获取手眼关系；根据摆放在相机与标定板之间的阿基米德体，将阿基米德体上的顶点分布作为可选择标定位置集，所述阿基米德体的形状根据现场的情况与期望采集的数据数量确定；根据可选择标定位置集，参照获取的手眼关系，选择合适高度的位置子集；根据位置子集，计算得到机器人手眼标定位姿数据集。本发明改进了传统手眼标定方法位姿选取盲目性的问题，具有实施方便、适用性强的优点。

Description

机器人手眼标定位姿选择方法、装置、机器人系统及介质

技术领域

本发明属于工业机器人视觉技术领域，具体涉及一种机器人手眼标定位姿选择方法、、装置、机器人系统、计算机设备及存储介质。

背景技术

目前，为了提高传统的工业机器人的操作柔性与适应力，加入视觉传感系统，通过对测量目标的实时视觉反馈信息，能够引导、修正和改变机器人的运动路径，实现更高智能化的工业应用。在此基础上，将视觉传感器安装在机器人的末端，可以实现对机器人执行器在不同位置操作实况的跟踪，使视觉系统的反馈控制更加灵活、时效。

为了将视觉反馈信息作用于机器人末端位置的检测和控制，需要获取视觉传感器与机器人末端间的变换关系，这一关系的获取通常称之为手眼标定，需要移动机器人采集多个不同位置(哪个对象)的视觉与位姿信息，从而计算出手眼标定结果。该结果受到系统中各部分误差影响，而其精度直接影响机器人视觉应用的检测与操作误差。

目前，为优化标定结果，传统的方法主要是对数据获取后的标定结果的计算与优化过程的改进，该类方法具有较好的泛用性，但由于通常不涉及对数据采集的标定位姿的选择，其输入的标定位姿视觉信息的优劣会显著影响标定结果的好坏。一些方法通过特殊的约束机器人手眼标定运动，以简化标定结果的计算；或定义相对合理的标定位姿选择，但其泛用性较差，在复杂或非结构化场景难以实施。

发明内容

鉴于上述现有技术的缺陷和不足，本发明提供了一种机器人手眼标定位姿选择方法、装置、机器人系统、计算机设备及存储介质，该方法改进了传统手眼标定方法位姿选取盲目性的问题，具有实施方便、适用性强、易于与其他标定方法结合的优点，能有效满足改进机器人手眼标定的需要。

本发明的第一个目的在于提供一种机器人手眼标定位姿选择方法。

本发明的第二个目的在于提供一种机器人手眼标定位姿选择装置。

本发明的第三个目的在于提供一种机器人系统。

本发明的第四个目的在于提供一种计算机设备。

本发明的第五个目的在于提供一种存储介质。

本发明的第一个目的可以通过采取如下技术方案达到：

一种机器人手眼标定位姿选择方法，所述方法包括：

控制机器人的操作臂移动到待标定的机器人视觉系统工作空间内的标定板位置，以使操作臂的末端执行器上的相机能够拍摄到标定板上的标定图案；

根据机器人手眼标定场景，获取机器人手眼关系；

根据摆放在相机与标定板之间的阿基米德体，将阿基米德体上的顶点分布作为可选择标定位置集；其中，所述阿基米德体的形状根据现场的情况与期望采集的数据数量确定；

根据机器人手眼关系，从可选择标定位置集中选择合适高度的位置子集；

根据位置子集，计算得到机器人手眼标定位姿数据集。

进一步的，所述根据机器人手眼标定场景，获取机器人手眼关系，具体为：

根据机器人手眼标定场景，通过所述机器人视觉系统过往的手眼标定结果获取机器人手眼关系；

或根据机器人手眼标定场景，通过直接物理测量获取机器人手眼关系；

或根据机器人手眼标定场景，通过实施一次的手眼标定获取机器人手眼关系。

进一步的，所述可选择标定位置集为单一的顶点分布位置集。

进一步的，所述基本的可选择标定位置集，是多个不同位置集的并集，多个不同位置集中的多个不同位置通过改变阿基米德体的摆放、大小、形态获得。

进一步的，所述根据位置子集，计算得到机器人手眼标定位姿数据集，具体为：

根据位置子集确定末端执行器的位置，所述末端执行器位置下对应的相机位置，通过下式计算：

其中，Rot(γ,θ)表示转轴为γ，转角为θ的旋转，转轴γ为任意值，用于调整相机到适于拍摄标定板图像的位置，

表示末端执行器的位置，

表示相机的位置，

为手眼关系H_o的平移部分，α表示

与

的夹角，θ表示

与

的夹角；

根据标定板坐标系、末端执行器坐标系以及相机坐标系之间的变换关系

得到下式：

其中，H_o为手眼关系，P为标定板坐标系，T为末端执行器坐标系，C为相机坐标系；

设置一个中间向量t_m，如下式：

计算末端执行器位置下对应的末端执行器姿态：

结合末端执行器的位置和姿态得到机器人手眼标定位姿数据集。

本发明的第二个目的可以通过采取如下技术方案达到：

一种机器人手眼标定位姿选择装置，所述装置包括：

控制模块，用于控制机器人的操作臂移动到待标定的机器人视觉系统工作空间内的标定板位置，以使操作臂的末端执行器上的相机能够拍摄到标定板上的标定图案；

手眼关系获取模块，用于根据机器人手眼标定场景，获取机器人手眼关系；

标定位置集获取模块，用于根据摆放在相机与标定板之间的阿基米德体，将阿基米德体上的顶点分布作为可选择标定位置集；其中，所述阿基米德体的形状根据现场的情况与期望采集的数据数量确定；

选择模块，用于根据机器人手眼关系，从可选择标定位置集中选择合适高度的位置子集；

计算模块，用于根据位置子集，计算得到机器人手眼标定位姿数据集。

本发明的第三个目的可以通过采取如下技术方案达到：

一种机器人系统，包括相连的控制设备和机器人，所述机器人包括基座、操作臂、末端执行器和相机，所述操作臂可活动地安装在基座上，所述末端执行器作为标定工具，且安装在操作臂的末端，所述相机固定安装在末端执行器上，所述操作臂、末端执行器和相机构成待标定的机器人视觉系统，所述机器人视觉系统工作空间内放置有带标定图案的标定板，所述标定板在标定过程中与基座保持相对静止；

所述控制设备，用于执行上述的机器人手眼标定位姿选择方法。

进一步的，所述基座、末端执行器、标定板和相机的坐标系分别标记为{B}、{T}、{P}和{C}；

所述基座、末端执行器、标定板和相机的坐标系之间的变换关系使用齐次变换矩阵来描述：从基座坐标系到末端执行器坐标系、从末端执行器坐标系到相机坐标系、从相机坐标系到标定板坐标系以及从基座到标定板坐标系的齐次变换矩阵，分别表示为^BH_T、^TH_C、^CH_P和^BH_P，^BH_T、^TH_C、^CH_P和^BH_P之间的关系为^BH_T ^TH_C ^CH_P＝^BHp。

本发明的第四个目的可以通过采取如下技术方案达到：

一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的机器人手眼标定位姿选择方法。

本发明的第五个目的可以通过采取如下技术方案达到：

一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的机器人手眼标定位姿选择方法。

本发明相对于现有技术具有如下的有益效果：

本发明利用阿基米德体特殊的几何性质：对称性，顶点在同一球面，棱长相等，包含多种多边形平面等，将阿基米德体上的顶点分布作为可选择标定位置集，并根据机器人手眼关系，从可选择标定位置集中选择合适高度的位置子集，从而可以简便而灵活、快捷且稳定地获取高质量的机器人手眼标定位姿数据集，通过机器人手眼标定位姿数据集可以灵活确定其数量、位置等，使得后续的标定结果计算能够高效地得到高精度的手眼标定结果，计算出的标定位姿具有位置分散、位姿间的相对变换关系丰富、相机可清晰成像而不必调焦等特点，有利于标定数据的丰富度，增大用于标定求解的运动对间的差异，减小机器人视觉系统中存在各种误差，尤其是机器人的定位误差对标定结果计算的影响。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例1的机器人手眼标定位姿选择的流程图。

图2是本发明实施例1的机器人手眼标定的环境配置图。

图3是本发明实施例1的机器人手眼标定的几何关系示意图。

图4为本发明实施例3的机器人手眼标定位姿选择装置的结构框图。

图5为本发明实施例4的计算机设备的结构框图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。需要说明的是，以下描述仅为本发明的部分实施例，仅用于解释相关发明，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的情况下对本发明做出修改和改动而获得的其他实施例，都属于本发明所保护的范围。

实施例1：

如图1所示，本实施例提供了一种机器人手眼标定位姿选择方法，该方法应用于机器人系统中，利用阿基米德体几何特征选择高效、合理的手眼标定位姿，以提高手眼标定精度与效率，包括以下步骤：

S101、控制机器人的操作臂移动到待标定的机器人视觉系统工作空间内的标定板位置，以使操作臂的末端执行器上的相机能够拍摄到标定板上的标定图案。

本实施例的机器人系统包括相连的控制设备和机器人，控制设备可以是计算机等，机器人手眼标定的环境配置如图2所示，其中机器人包括基座201、操作臂202、末端执行器203和相机204，操作臂202可活动地安装在基座201上，末端执行器203作为标定工具，且安装在操作臂202的末端，相机204固定安装在末端执行器204上，操作臂202、末端执行器203和相机204构成待标定的机器人视觉系统，操作臂202和相机204即为机器人的“手”和“眼”，机器人视觉系统工作空间内放置有带标定图案的标定板205，标定板205在标定过程中与基座201保持相对静止，即标定板205在整个标定过程中不与基座201发生相对运动。

在基座201、末端执行器203、标定板205和相机204上构造坐标系，分别标记为：

{B}、{T}、{P}和{C}；

基座201、末端执行器203、标定板205和相机204的坐标系之间的变换关系使用齐次变换矩阵来描述：从基座坐标系到末端执行器坐标系、从末端执行器坐标系到相机坐标系、从相机坐标系到标定板坐标系以及从基座到标定板坐标系的齐次变换矩阵，分别表示为：

^BH_T、^TH_C、^CH_P和^BH_P

^BH_T、^TH_C、^CH_P和^BH_P之间的关系为：

^BH_T ^TH_C ^CH_P＝^BHp。

这些齐次变换矩阵都可以分解为旋转部分和平移部分，其中R表示3*3的旋转矩阵，t表示3*1的平移向量：

S102、根据机器人手眼标定场景，获取机器人手眼关系。

标定场景泛指所需要标定的某标定场景(例如某一搭载相机的机械臂应用机器视觉生存检测的工作场景)，本实施例的机器人手眼关系为一个粗略的手眼关系，，被记为H_o，根据机器人手眼标定场景，获取一个粗略的手眼关系，，具体为灵活依据不同的标定场景的配置条件与先验数据，选择最合适、简便的方法获取一个粗略机器人手眼关系，例如可以通过待标定的机器人视觉系统过往的手眼标定结果、直接物理测量、实施一次简略的手眼标定等方式获取，其中，实施一次简略的手眼标定涉及到通过相机对标定板拍摄来实现。

S103、根据摆放在相机与标定板之间的阿基米德体，将阿基米德体上的顶点分布作为可选择标定位置集。

阿基米德体共有十三种，可以根据现场的情况与期望采集的数据数量选择其中一种，如图2所示，本实施例选择了大斜方截半二十面体作为阿基米德体206，其摆放在相机204与标定板205之间，将此时阿基米德体上的顶点分布作为基本的可选择标定位置集S₀。

S104、根据机器人手眼关系，从可选择标定位置集中选择合适高度的位置子集。

根据机器人手眼关系，参照机器人手眼关系H_o从可选择标定位置集S₀中选择合适高度的位置子集S_p，选择合适高度的位置考虑了相机焦距，按照相机焦距找到对应的高度即为合适高度，使机器人能够灵活可达并且相机能够清楚拍摄标定图案。其中S₀除了可以是单一的顶点分布位置集外，为了增加点集的丰富度，还可以是多个不同位置集的并集，这些其他不同位置集来自改变原阿基米德体的摆放、大小、形态。

S105、根据位置子集，计算得到机器人手眼标定位姿数据集。

该步骤S105具体的实现方式如图3所示，具体包括：

S1051、根据位置子集S_p确定末端执行器的位置，即标定工具的位置，末端执行器位置下对应的相机位置，通过下式计算：

其中，Rot(γ,θ)表示转轴为γ，转角为θ的旋转，此处引入的转轴γ为任意值，用于调整相机到适于拍摄标定板图像的位置，

表示末端执行器的位置，

表示相机的位置，

为手眼关系H_o的平移部分，结合图3，α表示

与

的夹角，θ表示

与

的夹角。

S1052、根据标定板坐标系、末端执行器坐标系以及相机坐标系之间的变换关系

得到下式：

其中，H_o为手眼关系，P为标定板坐标系，T为末端执行器坐标系，C为相机坐标系。

S1053、设置一个中间向量t_m，如下式：

S1054、计算末端执行器位置下对应的末端执行器姿态：

S1055、结合末端执行器的位置和姿态得到机器人手眼标定位姿数据集。

具体地，通过上述计算先得到末端执行器的位置，再进一步计算得到姿态，因此将先前得到的位置(平移部分)与最终得到的姿态(旋转部分)整合并记录起来，而所有的标定位置下记录到的数据就是位姿数据集。

在实施标定数据采集时，安装在末端执行器上的相机，在这些机器人手眼标定的位姿下，能够在预定位置清晰、可靠地拍摄到标定图案，并完成手眼标定位姿与图像信息的采集。

实施例2：

如图4所示，本实施例提供了一种机器人手眼标定位姿选择装置，该装置包括控制模块401、手眼关系获取模块402、标定位置集获取模块403、选择模块404和计算模块405，各个模块的具体功能如下：

控制模块401，用于控制机器人的操作臂移动到待标定的机器人视觉系统工作空间内的标定板位置，以使操作臂的末端执行器上的相机能够拍摄到标定板上的标定图案。

手眼关系获取模块402，用于根据机器人手眼标定场景，获取机器人手眼关系。

标定位置集获取模块403，用于根据摆放在相机与标定板之间的阿基米德体，将阿基米德体上的顶点分布作为可选择标定位置集；其中，所述阿基米德体的形状根据现场的情况与期望采集的数据数量确定。

选择模块404，用于根据机器人手眼关系，从可选择标定位置集中选择合适高度的位置子集。

计算模块405，用于根据位置子集，计算得到机器人手眼标定位姿数据集。

本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的装置仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

实施例3：

本实施例提供了一种计算机设备，该计算机设备可以是计算机，如图5所示，其包括通过系统总线501连接的处理器502、存储器、输入装置503、显示器504和网络接口505，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质506和内存储器507，该非易失性存储介质506存储有操作系统、计算机程序和数据库，该内存储器507为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器502执行存储器存储的计算机程序时，实现上述实施例1的机器人手眼标定位姿选择方法，如下：

根据机器人手眼标定场景，获取机器人手眼关系；

根据位置子集，计算得到机器人手眼标定位姿数据集。

实施例4：

本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，计算机程序被处理器执行时，实现上述实施例1的机器人手眼标定位姿选择方法，如下：

根据机器人手眼标定场景，获取机器人手眼关系；

根据位置子集，计算得到机器人手眼标定位姿数据集。

需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

综上所述，本发明利用阿基米德体特殊的几何性质：对称性，顶点在同一球面，棱长相等，包含多种多边形平面等，将阿基米德体上的顶点分布作为可选择标定位置集，并根据机器人手眼关系，从可选择标定位置集中选择合适高度的位置子集，从而可以简便而灵活、快捷且稳定地获取高质量的机器人手眼标定位姿数据集，通过机器人手眼标定位姿数据集可以灵活确定其数量、位置等，使得后续的标定结果计算能够高效地得到高精度的手眼标定结果，计算出的标定位姿具有位置分散、位姿间的相对变换关系丰富、相机可清晰成像而不必调焦等特点，有利于标定数据的丰富度，增大用于标定求解的运动对间的差异，减小机器人视觉系统中存在各种误差，尤其是机器人的定位误差对标定结果计算的影响。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围不局限于此。本领域的技术人员应该理解，在本发明专利所公开的范围内，根据本发明专利的技术方案及构思加以等同替换或改变，都属于本发明专利的保护范围。本专利公开的范围由所附权利要求来限定。

Claims

1.一种机器人手眼标定位姿选择方法，其特征在于，所述方法包括：

根据机器人手眼标定场景，获取机器人手眼关系；

根据可选择标定位置集和机器人手眼关系，选择合适高度的位置子集；

根据位置子集，计算得到机器人手眼标定位姿数据集。

2.根据权利要求1所述的机器人手眼标定位姿选择方法，其特征在于，所述根据机器人手眼标定场景，获取机器人手眼关系，具体为：

3.根据权利要求1所述的手眼标定位姿选择方法，其特征在于，所述可选择标定位置集为单一的顶点分布位置集。

4.根据权利要求1所述的手眼标定位姿选择方法，其特征在于，所述基本的可选择标定位置集，是多个不同位置集的并集，多个不同位置集中的多个不同位置通过改变阿基米德体的摆放、大小、形态获得。

5.根据权利要求1-4任一项所述的手眼标定位姿选择方法，其特征在于，所述根据位置子集，计算得到机器人手眼标定位姿数据集，具体为：

表示末端执行器的位置，

表示相机的位置，

为手眼关系H_o的平移部分，α表示

与

的夹角，θ表示

与

的夹角；

得到下式：

设置一个中间向量t_m，如下式：

计算末端执行器位置下对应的末端执行器姿态：

6.一种机器人手眼标定位姿选择装置，其特征在于，所述装置包括：

7.一种机器人系统，其特征在于，包括相连的控制设备和机器人，所述机器人包括基座、操作臂、末端执行器和相机，所述操作臂可活动地安装在基座上，所述末端执行器作为标定工具，且安装在操作臂的末端，所述相机固定安装在末端执行器上，所述操作臂、末端执行器和相机构成待标定的机器人视觉系统，所述机器人视觉系统工作空间内放置有带标定图案的标定板，所述标定板在标定过程中与基座保持相对静止；

所述控制设备，用于执行权利要求1-5任一项所述的机器人手眼标定位姿选择方法。

8.根据权利要求7所述的机器人系统，其特征在于，所述基座、末端执行器、标定板和相机的坐标系分别标记为{B}、{T}、{P}和{C}；

9.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-5任一项所述的机器人手眼标定位姿选择方法。

10.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-5任一项所述的机器人手眼标定位姿选择方法。