CN115284296A - 手眼标定方法、机器人及机器人作业方法 - Google Patents

Abstract

本申请揭示了一种手眼标定方法、计算机设备、计算机可读存储介质、机器人及机器人作业方法，该方案控制机器人自动运动进行标定，首先获取标定板的位置，根据标定板的位置确定机器人的起始位姿；然后控制机器人基于起始位姿，按照预设运动路径运动，并获取相机在预设运动路径的多个位置点采集的标定板图像以及机器人在多个位置点时的位姿；再根据机器人在多个位置点时的位姿和相机采集的标定板图像，获得手眼矩阵，无需引入人为参与，手眼标定效率和准确性高；且预设运动路径围绕起始位姿，机器人可以沿既定的方向有规律地运动，无需在前后相邻的位置点作逆向运动，同时也可以获得机器人多个不同的位姿，手眼标定结果更加准确。

Description

手眼标定方法、机器人及机器人作业方法

技术领域

本申请涉及机器人技术领域，特别涉及一种手眼标定方法、计算机设备、计算机可读存储介质、机器人及机器人作业方法。

背景技术

在机器人作业领域，通过线激光扫描工件的方式获取工件位置、通过人工示教编程方式获取工件位置等，存在耗费时间长、效率低等问题。同时，由于线激光扫描采集的工件点云数据会存在较多的噪声点，准确性较低，导致机器人作业质量和效率低；而人工示教编程方式引入了人为的不可控因素，往往会引发事故。

随着机器人技术、三维视觉技术的快速发展，以及产业智能制造的升级，机器人视觉越来越多的应用于工业生产以及服务业等场景，通过视觉系统引导机器人作业，是实现机器人作业智能化的重要手段。基于三维视觉引导机器人作业，效率更高，对工件的定位也更加准确。

然而，现有技术中，进行手眼标定时，采用手动示教方法控制机器人运动，从而带动安装在机器人末端的相机到目标位置去采集标定板图像，从而进一步计算机器人末端工具与相机光心(相机坐标系的原点)之间的相对位置，获得手眼矩阵。手动示教方法手眼标定效率低，且由于示教过程中加入了人为因素，会导致最终获得的机器人末端工具与相机光心位置关系偏差较大。

申请内容

为了解决手眼标定不准确、效率低的问题，本申请提供了一种手眼标定方法、计算机设备、计算机可读存储介质、机器人及机器人作业方法。

根据本申请实施例的一方面，公开了一种手眼标定方法，用于相机设置在及机器人末端时，所述机器人的末端设有末端工具，该手眼标定方法包括：

获取标定板的位置，根据所述标定板的位置确定所述机器人的起始位姿；

控制所述机器人基于所述起始位姿，按照预设运动路径运动，并获取所述相机在所述预设运动路径的多个位置点采集的标定板图像以及所述机器人在所述多个位置点时的位姿；所述预设运动路径围绕所述起始位姿；

根据所述机器人在所述多个位置点时的位姿和所述相机在所述多个位置点采集的标定板图像，获得手眼矩阵；所述手眼矩阵表示相机坐标系相对于所述机器人的工具坐标系的转换关系。

在一种示例性实施例中，所述获取标定板的位置，根据所述标定板的位置确定所述机器人的起始位姿，包括：

获取所述相机在第一位置采集到的标定板图像；

根据所述相机在第一位置采集到的标定板图像，获得所述标定板的位置；

根据所述标定板的位置、所述相机在第一位置时所述机器人的位姿及所述预设运动路径，确定调整路径；

控制所述机器人基于所述调整路径运动，调整所述机器人的位姿为与所述标定板的位置、所述预设运动路径相适配，并将所述机器人调整后的位姿作为所述起始位姿。

在一种示例性实施例中，所述控制所述机器人基于所述起始位姿，按照预设运动路径运动，包括：

控制所述机器人基于所述起始位姿，按照e字形路径运动。

在一种示例性实施例中，所述控制所述机器人基于所述起始位姿，按照预设运动路径运动，包括：

从所述起始位姿水平朝第一方向运动至第一位置；

从所述第一位置向上运动至第二位置；

从所述第二位置朝第二方向运动至第三位置，所述第二方向与所述第一方向相反；

从所述第三位置向下运动至第四位置；

从所述第四位置朝所述第一方向运动至第五位置。

在一种示例性实施例中，所述获取所述相机在所述预设运动路径的多个位置点采集的标定板图像以及所述机器人在所述多个位置点时的位姿，包括：

获取所述相机在所述起始位姿、所述第一位置、所述第二位置、所述第三位置、所述第四位置、所述第五位置、第六位置、第七位置、第八位置采集的标定板图像；所述第六位置位于所述第二位置与所述第三位置之间，所述第七位置位于所述第三位置与所述第四位置之间，所述第八位置位于所述第四位置与所述第五位置之间；

获取所述机器人在所述起始位姿、所述第一位置、所述第二位置、所述第三位置、所述第四位置、所述第五位置、所述第六位置、所述第七位置、所述第八位置时的位姿。

在一种示例性实施例中，根据所述机器人在所述多个位置点时的位姿和所述相机在所述多个位置点采集的标定板图像，获得手眼矩阵，包括：

基于所述相机在各所述位置点采集到的标定板图像，检测在各所述位置点所述标定板的角点坐标，所述角点为黑色小方块两两之间的顶点相交区域；

根据所述角点坐标，获取所述相机与所述标定板之间的外参矩阵；

根据所述机器人在所述多个位置点时的位姿和所述外参矩阵，获得手眼矩阵。

在一种示例性实施例中，所述根据所述机器人在所述多个位置点时的位姿和所述外参矩阵，获得手眼矩阵，包括：

基于所述机器人在所述多个位置点时的位姿和所述外参矩阵，采用张正友标定法，获得手眼矩阵。

在一种示例性实施例中，所述相机为结构光深度相机。

根据本申请实施例的一方面，公开了一种机器人，包括：

机器人本体，所述机器人本体具有多个运动轴；

相机，所述相机设置在所述机器人本体的末端；

末端工具，所述末端工具设置在所述机器人本体的末端；及

控制器，所述控制器与所述机器人本体、所述相机及所述末端工具连接，用于控制所述机器人本体、所述相机及所述末端工具，并执行如上所述的手眼标定方法的步骤。

根据本申请实施例的一方面，公开了一种机器人作业方法，所述机器人的末端设有末端工具和相机，所述作业方法包括：

控制所述相机采集标定板的图像；

采用如上所述的手眼标定方法进行手眼标定，获得手眼矩阵；

控制所述相机采集工件图像；

根据所述手眼矩阵、所述工件图像及所述相机采集工件图像时的位姿，获取所述工件在所述机器人的基坐标系下的坐标数据；

控制所述末端工具移动到所述坐标数据对应的位置，并对所述工件进行作业。

根据本申请实施例的一方面，公开了一种计算机设备，包括：

起始位姿确定模块，用于获取标定板的位置，根据所述标定板的位置确定所述机器人的起始位姿；

运动控制模块，用于控制所述机器人基于所述起始位姿，按照预设运动路径运动，并获取所述相机在所述预设运动路径的多个位置点采集的标定板图像以及所述机器人在所述多个位置点时的位姿；所述预设运动路径围绕所述起始位姿；

处理分析模块，用于根据所述机器人在所述多个位置点时的位姿和所述相机在所述多个位置点采集的标定板图像，获得手眼矩阵；所述手眼矩阵表示相机坐标系相对于所述机器人的工具坐标系的转换关系。

根据本申请实施例的一方面，公开了一种计算机设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述计算机设备实现前述手眼标定方法。

根据本申请实施例的一方面，公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使所述计算机执行前述手眼标定方法。

本申请的实施例提供的技术方案至少包括以下有益效果：

本申请提供的技术方案，控制机器人自动运动进行标定，首先获取标定板的位置，根据标定板的位置确定机器人的起始位姿；然后控制机器人基于起始位姿，按照预设运动路径运动，并获取相机在预设运动路径的多个位置点采集的标定板图像以及机器人在多个位置点时的位姿；再根据机器人在多个位置点时的位姿和相机采集的标定板图像，获得手眼矩阵，无需引入人为参与，手眼标定效率和准确性高；且预设运动路径围绕起始位姿，机器人可以沿既定的方向有规律地运动，无需在前后相邻的位置点作逆向运动，同时也可以获得机器人多个不同的位姿，手眼标定结果更加准确。运用本申请对工件进行作业时，可以快速根据手眼矩阵，进一步分析获得工件在机器人的基坐标系下的坐标，进而使机器人运动到对应的位置进行作业，可以有效提高机器人作业的效率和质量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是一种示例性实施例示出的机器人结构图。

图2是根据一示例性实施例示出的一种手眼标定方法的流程图。

图3是图2对应实施例中步骤S101的细节流程图。

图4是根据一示例性实施例标定板图像的示意图。

图5是图2对应实施例中步骤S102的部分细节流程图。

图6是根据一示例性实施例预设运动路径的示意图。

图7是图2对应实施例中步骤S103的细节流程图。

图8是根据一示例性实施例标定板的示意图。

图9是根据一示例性实施例示出的一种机器人作业方法的流程图。

图10是根据一示例性实施例示出的用于实现本申请实施例的计算机设备的框图。

图11是根据一示例性实施例示出的用于实现本申请实施例的计算机设备的计算机系统结构框图。

附图标记说明如下：

100、机器人；101、机器人本体；102、相机；103、末端工具；200、计算机设备；201、起始位姿确定模块；202、运动控制模块；203、处理分析模块；300、计算机系统；301、CPU；302、ROM；303、存储部分；304、RAM；305、总线；306、I/O接口；307、输入部分；308、输出部分；309、通信部分；310、驱动器；311、可拆卸介质；401、标定板。

具体实施方式

尽管本申请可以容易地表现为不同形式的实施方式，但在附图中示出并且在本说明书中将详细说明的仅仅是其中一些具体实施方式，同时可以理解的是本说明书应视为是本申请原理的示范性说明，而并非旨在将本申请限制到在此所说明的那样。

此外，本申请的描述中所提到的术语“包括”、“包含”、“具有”以及它的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备，没有限定于已列出的步骤或模块，而是可选的还包括其它没有列出的步骤或模块，或可选的还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

此外，术语“第一”、“第二”、“第三”、“第四”、“第五”、“第六”、“第七”、“第八”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”、“第四”、“第五”、“第六”、“第七”、“第八”的特征可以明示或者隐含地包括一个或者更多个特征。

在本申请的描述中，除非另有说明，“多个”的含义是指两个或两个以上。

需要说明的是，本申请实施例中，“示例性”或者“举例地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性”或者“举例地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性”或者“举例地”或者“例如”等词旨在以具体方式呈现相关概念。

以下将详细地对示例性实施例进行说明。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如申请内容中所详述的、本申请的一些方面相一致的装置和方法的例子。

图1示出了一示例性实施例的机器人结构图。如图1所示，机器人100包括机器人本体101、相机102及末端工具103，相机102设置在机器人本体101的末端，末端工具103设置在机器人本体101的末端；通过机器人本体101带动相机102和末端工具103移动，从而利用相机102近距离拍摄工件图像，进而通过分析工件图像获得工件的位置，并进一步带动末端工具103移动到工件的位置进行作业。

可以理解地，机器人100还包括有控制器，控制器与机器人本体101、相机102及末端工具103连接，以控制机器人本体101的运动，以及控制相机102拍摄工件图像，并且控制器还分析工件图像，从而获得工件的位置，进而可以控制机器人本体101运动，带动末端工具103移动到工件的位置进行作业。可以理解地，控制器可以是内置于机器人本体101，也可以是设置在机器人本体101以外。

末端工具103可以是焊枪，工件即为待焊接的物件，此时机器人100即为焊接机器人。末端工具103可以是胶枪，工件即为待涂胶的物件，此时机器人100即为涂胶机器人。末端工具103还可以是刀具类，工件即为待切割的物件，此时机器人100即为切割机器人。当然，末端工具103还可以是其它可以设置在机器人100的末端并通过机器人100带动进行作业的其它工具，不限于前述焊枪、胶枪、刀具等。

本申请实施例提供一种手眼标定方法、计算机设备、计算机可读存储介质、机器人及机器人作业方法，可以准确、快速地获得机器人的手眼矩阵，从而实现快速、准确定位工件的实时位置，从而提高机器人作业的质量和效率。

本申请实施例提供的手眼标定方法、计算机设备、计算机可读存储介质、机器人及机器人作业方法，具体通过如下实施例进行说明，首先描述本申请实施例中的手眼标定方法。

本申请实施例首先提供了一种手眼标定方法，用于相机设置在机器人末端时的场景，机器人的末端还设有末端工具。该手眼标定方法包括：

获取标定板的位置，根据标定板的位置确定机器人的起始位姿；

控制机器人基于起始位姿，按照预设运动路径运动，并获取相机在预设运动路径的多个位置点采集的标定板图像以及机器人在多个位置点时的位姿；预设运动路径围绕起始位姿；

根据机器人在多个位置点时的位姿和相机在多个位置点采集的标定板图像，获得手眼矩阵；手眼矩阵表示相机坐标系相对于机器人的工具坐标系的转换关系。

本申请提供的技术方案，控制机器人自动运动进行标定，首先获取标定板的位置，根据标定板的位置确定机器人的起始位姿；然后控制机器人基于起始位姿，按照预设运动路径运动，并获取相机在预设运动路径的多个位置点采集的标定板图像以及机器人在多个位置点时的位姿；再根据机器人在多个位置点时的位姿和相机采集的标定板图像，获得手眼矩阵，无需引入人为参与，手眼标定效率和准确性高；且预设运动路径围绕起始位姿，机器人可以沿既定的方向有规律地运动，无需在前后相邻的位置点作逆向运动，同时也可以获得机器人多个不同的位姿，手眼标定结果更加准确。运用本申请对工件进行作业时，可以快速根据手眼矩阵，进一步分析获得工件在机器人的基坐标系下的坐标，进而使机器人运动到对应的位置进行作业，可以有效提高机器人作业的效率和质量。

以下结合本说明书实施例中的附图，对本申请的实施方式予以进一步地详尽阐述。

参阅图2所示，本申请一示例性实施例提供的手眼标定方法，包括以下步骤S101～S103。

S101，获取标定板的位置，根据标定板的位置确定机器人的起始位姿。

在执行本申请的手眼标定方法之前，需要先通过人为或者机械设备将标定板放置在相机的视野范围内，然而，由于每次标定时，放置的标定板位置可能有所不同，因此，即使有预先规划的运动路径，也需要在进入步骤S102使机器人按照预设运动路径运动之前，根据标定板的位置确定机器人的起始位姿，以确保机器人能够按照预设运动路径运动并获取到合格的标定板图像，提高手眼标定的准确性。

在一个示例性实施例中，如图3所示，步骤S101包括以下步骤S1011～S1014。

S1011，获取相机在第一位置采集到的标定板图像。

可以理解地，第一位置并非特指某一个具体的位置，而是指在确定机器人的起始位姿之前，相机所在的任意一个或多个位置。

可以理解地，标定板图像并非特指仅仅包含有标定板的图像，标定板图像中除了包含有标定板，还可以包含有标定板所处的外界环境。

S1012，根据相机在第一位置采集到的标定板图像，获得标定板的位置。

详细地，标定板图像中包含有标定板和标定板所处的外界环境，如图4所示。在步骤S1012中，首先根据标定板图像确定标定板在图像中的位置，提取出标定板；然后，再进一步根据预设的算法进行分析计算，获得标定板的位置。至于具体如何通过算法分析计算获得标定板的位置为现有技术，在此不再赘述。

S1013，根据标定板的位置、相机在第一位置时机器人的位姿及预设运动路径，确定调整路径。

S1014，控制机器人基于调整路径运动，调整机器人的位姿为与标定板的位置、预设运动路径相适配，并将机器人调整后的位姿作为起始位姿。

根据标定板的位置、相机在采集标定板图像时机器人的位姿及预设运动路径，确定出调整路径，并使机器人自动基于调整路径运动，实现调整位姿为与标定板的位置、预设运动路径相适配，从而在实现了通过控制机器人自动运动来进行手眼标定的同时，确保手眼标定的准确性。

S102，控制机器人基于起始位姿，按照预设运动路径运动，并获取相机在预设运动路径的多个位置点采集的标定板图像以及机器人在多个位置点时的位姿。预设运动路径围绕起始位姿。

通过获取多个位置点采集的标定板图像及机器人在多个位置点时的位姿，使得在步骤S103中，有足够多的数据进行分析计算，可以提高手眼标定的准确性。

在一个示例性实施例中，预设运动路径为e字形路径，机器人无需在前后的位置点作逆向运动，且机器人只需要沿既定的方向摆动270°即可，机器人的运动容易控制和实现。

其中，逆向运动是指在前后两个位置点之间，机器人需要进行两个相反方向的运动，例如，第一位置点和第二位置点分别位于起始位姿的两相对侧，机器人基于起始位姿向左运动至第一位置点之后，机器人需要向右运动至起始位姿之后，再继续向右运动至第二位置。

可以理解地，e字形路径并非特指严格的“e”字形，可以是“e”字的变形，只要大致符合“e”字形，即属于本申请中的e字形路径。

详细地，如图5所示，在步骤S102中，控制机器人基于起始位姿，按照预设运动路径运动，包括以下步骤S1021～S1025。

S1021，从起始位姿水平朝第一方向运动至第一位置。

S1022，从第一位置向上运动至第二位置。

S1023，从第二位置朝第二方向运动至第三位置，第二方向与第一方向相反。

S1024，从第三位置向下运动至第四位置。

S1025，从第四位置朝第一方向运动至第五位置。

即是，在步骤S102中，机器人在Z轴(竖直方向)不断变化，可以获得机器人多个位姿，以通过步骤S103分析获得手眼矩阵。

可以理解地，向上运动可以是相对于水平面竖直地向上运动，也可以是在竖直向上运动的同时，在水平方向的位置也有变化；同样地，向下运动可以是相对于水平面竖直地向下运动，也可以是在竖直向下运动的同时，在水平方向的位置也有变化。同样地，朝第二方向运动可以是水平朝第二方向运动，也可以是在朝第二方向运动的同时，在竖直方向的位置也有变化。

举例地，在步骤S1021中，从起始位姿水平朝左运动至第一位置；在步骤S1022中，从第一位置竖直向上运动至第二位置；在S1023中，从第二位置水平朝右运动至第三位置，在步骤S1024中，从第三位置竖直向下运动至第四位置，在步骤S1025中，从第四位置水平朝左运动至第五位置。

更详细地，如图6所示，在步骤S102中，在机器人基于起始位姿按照预设运动路径运动的过程中，获取相机在预设运动路径的九个位置点采集的标定板图像以及机器人在该九个位置点时的位姿。

其中，九个位置点包括起始位姿对应的起始位置(标记为0)、第一位置(标记为1)、第二位置(标记为2)、第三位置(标记为4)、第四位置(标记为6)、第五位置(标记为8)、第六位置(标记为3)、第七位置(标记为5)、第八位置(标记为7)，第六位置位于第二位置与第三位置之间，第七位置位于第三位置与第四位置之间，第八位置位于第四位置与第五位置之间。

可以理解地，相机可以是在机器人按照预设运动路径运动的过程中，连续采集标定板图像，也可以是仅在前述九个位置点才采集标定板图像。

在前述实施例中，是以e字形路径作为示例，可以理解地，在其它实施例中，预设运动路径也可以为其它形状。

S103，根据机器人在多个位置点时的位姿和相机在多个位置点采集的标定板图像，获得手眼矩阵。

其中，手眼矩阵表示相机坐标系相对于机器人的工具坐标系的转换关系。

在一个示例性实施例中，如图7所示，步骤S103包括以下步骤S1031～S1033。

S1031，基于相机在各位置点采集到的标定板图像，检测在各位置点标定板的角点坐标。

其中，角点为黑色小方块两两之间的顶点相交区域，标定板参阅图8所示。

举例地，在步骤S1031中，通过对标定板图像进行棋盘格模板卷积，以卷积响应值大小作为判别条件，设置阈值，将卷积响应值大于阈值者视为棋盘格的角点。再举例地，采用harris角点检测的方法，以harris角点强度值大小作为判别条件，设置阈值，将harris角点强度值大于阈值者视为棋盘格的角点。

S1032，根据角点坐标，获取相机与标定板之间的外参矩阵。

详细地，对多个角点坐标进行分析处理，可以得到相机的内参矩阵、平移矩阵和旋转矩阵，从而进一步获得外参矩阵，进而获得相机位姿。至于如何对多个角点坐标进行分析处理，最终获得外参矩阵为现有技术，在此不再赘述。

S1033，根据机器人在多个位置点时的位姿和外参矩阵，获得手眼矩阵。

详细地，在一个示例性实施例中，是采用张氏标定法，基于机器人在多个位置点时的位姿和外参矩阵，获得手眼矩阵。

其中，在获得机器人在多个位置点时的位姿和外参矩阵的情况下，采用张正友标定法，如何计算以获得手眼矩阵为现有技术，在此不再赘述。

此外，在前述实施例中，是以棋盘格标定板作为示例，标定板的角点作为标定的参考点。可以理解地，在其它实施例中，也可以采用其它标定板，例如，实心圆标定板，在标定板为实心圆标定板的实施例中，即是使用圆心作为标定的参考点。

再请参阅图1，为了实现本申请实施例提供的手眼标定方法，本申请实施例提供一种机器人100，该机器人100包括机器人本体101、相机102、末端工具103及控制器(图未示)。机器人本体101具有多个运动轴，相机102和末端工具103设置在机器人本体101的末端。控制器与机器人本体101、相机102及末端工具103连接，用于控制机器人本体101、相机102及末端工具103，以使得机器人100能够执行图2、图3、图5、图7任一所示的手眼标定方法的全部或者部分步骤。

举例地，机器人本体101具有六个运动轴，即是，机器人100为六轴机器人。

举例地，末端工具103为焊枪。

举例地，相机102为结构光(Structured light)深度相机，其通过近红外激光器，将具有一定结构特征的光线投射到标定板上，再由专门的红外摄像头进行采集。相应地，相机102采集到的标定板图像为红外图像。在一个实施例中，相机102采集到的标定板图像为带有深度的灰度图。

图9示出了一示例性实施例的机器人作业方法的流程图。如图9所示，该机器人作业方法包括以下步骤S201～S205。

S201，控制相机采集标定板的图像。

S202，采用前述的手眼标定方法进行手眼标定，获得手眼矩阵。

S203，控制相机采集工件图像。

S204，根据手眼矩阵、工件图像及相机采集工件图像时的位姿，获取工件在机器人的基坐标系下的坐标数据。

详细地，基于映射关系T_BC＝T_BT*T_TC获得工件在机器人的基坐标系下的坐标数据。

其中，T_BC表示相机坐标系到机器人的基坐标系的转换矩阵，T_BT表示机器人的工具坐标系相对于机器人的基坐标系的转换关系，工具坐标系用于定义末端工具的中心位置和末端工具的姿态，工具坐标系相对于基坐标系的转换关系即是位姿矩阵，位姿矩阵为一个4*4的矩阵，T_TC表示相机坐标系到机器人的工具坐标系的转换矩阵，即手眼矩阵。

根据手眼矩阵，即可获得工件图像中的点云在工具坐标系下的坐标表示，根据相机采集工件图像时的位姿矩阵，即可进一步获得工件图像中的点云在基坐标系下的坐标表示，即获取工件在机器人的基坐标系下的坐标数据。

S205，控制末端工具移动到坐标数据对应的位置，并对工件进行作业控制相机采集工件图像。

在一个示例性实施例中，如图1所示，末端工具103为焊枪，工件为待焊接的物件，在步骤S204中，获得工件中焊缝的位置，在步骤S205，控制末端工具移动到工件中焊缝的位置，并利用末端工具103对工件的焊缝进行焊接。利用本申请的手眼标定方法，辅助机器人对工件的焊缝进行定位，提高了焊缝识别效率和精准度。

接下来请参阅图10，图10是根据一示例性实施例示出的一种计算机设备200的框图，该计算机设备200可以应用于机器人中，执行图2、图3、图5、图7任一所示的手眼标定方法的全部或者部分步骤。如图10所示，该计算机设备200包括但不限于：起始位姿确定模块201、运动控制模块202及处理分析模块203。

其中，起始位姿确定模块201用于获取标定板的位置，根据标定板的位置确定机器人的起始位姿。

运动控制模块202用于控制机器人基于起始位姿，按照预设运动路径运动，并获取相机在预设运动路径的多个位置点采集的标定板图像以及机器人在多个位置点时的位姿。预设运动路径围绕起始位姿。

处理分析模块203用于根据机器人在多个位置点时的位姿和相机在多个位置点采集的标定板图像，获得手眼矩阵。手眼矩阵表示相机坐标系相对于机器人的工具坐标系的转换关系。

上述计算机设备200中各个模块的功能和作用的实现过程具体详见上述手眼标定方法中对应步骤的实现过程，在此不再赘述。

上述计算机设备200可以是任意具有信息处理功能的终端，例如台式电脑、笔记本电脑等。

图11示意性地示出了用于实现本申请实施例手眼标定方法的计算机设备的计算机系统结构框图。

需要说明的是，图11示出的计算机设备的计算机系统300仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图11所示，计算机系统300包括中央处理器301(Central Processing Unit，CPU)，其可以根据存储在只读存储器302(Read-Only Memory，ROM)中的程序或者从存储部分303加载到随机访问存储器304(Random Access Memory，RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器304中，还存储有系统操作所需的各种程序和数据。中央处理器301、在只读存储器302以及随机访问存储器304通过总线305彼此相连。输入/输出接口306(Input/Output接口，即I/O接口)也连接至总线305。

以下部件连接至输入/输出接口306：包括键盘、鼠标等的输入部分307；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分308；包括硬盘等的存储部分303；以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至输入/输出接口306。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分303。

特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理器301执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读存储介质中或者作为计算机可读存储介质上的一个或多个指令或代码进行传输。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块地划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种手眼标定方法，用于相机设置在机器人末端时，所述机器人的末端设有末端工具，其特征在于，所述方法包括：

获取标定板的位置，根据所述标定板的位置确定所述机器人的起始位姿；

控制所述机器人基于所述起始位姿，按照预设运动路径运动，并获取所述相机在所述预设运动路径的多个位置点采集的标定板图像以及所述机器人在所述多个位置点时的位姿；所述预设运动路径围绕所述起始位姿；

根据所述机器人在所述多个位置点时的位姿和所述相机在所述多个位置点采集的标定板图像，获得手眼矩阵；所述手眼矩阵表示相机坐标系相对于所述机器人的工具坐标系的转换关系。

2.根据权利要求1所述的手眼标定方法，其特征在于，所述获取标定板的位置，根据所述标定板的位置确定所述机器人的起始位姿，包括：

获取所述相机在第一位置采集到的标定板图像；

根据所述相机在第一位置采集到的标定板图像，获得所述标定板的位置；

根据所述标定板的位置、所述相机在第一位置时所述机器人的位姿及所述预设运动路径，确定调整路径；

控制所述机器人基于所述调整路径运动，调整所述机器人的位姿为与所述标定板的位置、所述预设运动路径相适配，并将所述机器人调整后的位姿作为所述起始位姿。

3.根据权利要求1所述的手眼标定方法，其特征在于，所述控制所述机器人基于所述起始位姿，按照预设运动路径运动，包括：

控制所述机器人基于所述起始位姿，按照e字形路径运动。

4.根据权利要求1所述的手眼标定方法，其特征在于，所述控制所述机器人基于所述起始位姿，按照预设运动路径运动，包括：

从所述起始位姿水平朝第一方向运动至第一位置；

从所述第一位置向上运动至第二位置；

从所述第二位置朝第二方向运动至第三位置，所述第二方向与所述第一方向相反；

从所述第三位置向下运动至第四位置；

从所述第四位置朝所述第一方向运动至第五位置。

5.根据权利要求4所述的手眼标定方法，其特征在于，所述获取所述相机在所述预设运动路径的多个位置点采集的标定板图像以及所述机器人在所述多个位置点时的位姿，包括：

获取所述相机在所述起始位姿、所述第一位置、所述第二位置、所述第三位置、所述第四位置、所述第五位置、第六位置、第七位置、第八位置采集的标定板图像；所述第六位置位于所述第二位置与所述第三位置之间，所述第七位置位于所述第三位置与所述第四位置之间，所述第八位置位于所述第四位置与所述第五位置之间；

获取所述机器人在所述起始位姿、所述第一位置、所述第二位置、所述第三位置、所述第四位置、所述第五位置、所述第六位置、所述第七位置、所述第八位置时的位姿。

6.根据权利要求1所述的手眼标定方法，其特征在于，根据所述机器人在所述多个位置点时的位姿和所述相机在所述多个位置点采集的标定板图像，获得手眼矩阵，包括：

基于所述相机在各所述位置点采集到的标定板图像，检测在各所述位置点所述标定板的角点坐标，所述角点为黑色小方块两两之间的顶点相交区域；

根据所述角点坐标，获取所述相机与所述标定板之间的外参矩阵；

根据所述机器人在所述多个位置点时的位姿和所述外参矩阵，获得手眼矩阵。

7.根据权利要求6述的手眼标定方法，其特征在于，所述根据所述机器人在所述多个位置点时的位姿和所述外参矩阵，获得手眼矩阵，包括：

基于所述机器人在所述多个位置点时的位姿和所述外参矩阵，采用张正友标定法，获得手眼矩阵。

8.根据权利要求1所述的手眼标定方法，其特征在于，所述相机为结构光深度相机。

9.一种机器人，其特征在于，包括：

机器人本体，所述机器人本体具有多个运动轴；

相机，所述相机设置在所述机器人本体的末端；

末端工具，所述末端工具设置在所述机器人本体的末端；及

控制器，所述控制器与所述机器人本体、所述相机及所述末端工具连接，用于控制所述机器人本体、所述相机及所述末端工具，并执行如权利要求1至8任一项所述的手眼标定方法的步骤。

10.一种机器人作业方法，所述机器人的末端设有末端工具和相机，其特征在于，所述作业方法包括：

控制所述相机采集标定板的图像；

采用如权利要求1至8任一项所述的手眼标定方法进行手眼标定，获得手眼矩阵；

控制所述相机采集工件图像；

根据所述手眼矩阵、所述工件图像及所述相机采集工件图像时的位姿，获取所述工件在所述机器人的基坐标系下的坐标数据；

控制所述末端工具移动到所述坐标数据对应的位置，并对所述工件进行作业。

Images