CN115026808A - 手眼标定方法、手眼标定系统、计算机设备及存储装置 - Google Patents

Abstract

本申请公开了一种手眼标定方法、手眼标定系统、计算机设备及存储装置。该方法包括：对机器人设置标志物，获取第一采样数据，利用第一采样数据获取机器人的相机坐标系相对于标定坐标系的旋转关系矩阵，其中，相机坐标系对应相机设备，标定坐标系对应机器人的标定部位，标定部位为基座部位或末端部位；利用旋转关系矩阵，控制机器人的末端部位绕相机坐标系的坐标轴运动，获取第二采样数据；利用旋转关系矩阵和第二采样数据，获取相机坐标系与机器人的标定坐标系之间的平移关系，其中，旋转关系矩阵、平移关系用于对相机坐标系与标定坐标系进行手眼标定。上述方案，能够提高手眼标定的适用性。

Description

手眼标定方法、手眼标定系统、计算机设备及存储装置

技术领域

本申请涉及机器人技术领域，特别是涉及一种手眼标定方法、手眼标定系统、计算机设备及存储装置。

背景技术

随着人工智能技术的发展，以及人们对生活质量的要求的不断增高，智能机器人逐渐出现在人们的日常生活中，比如清扫机器人、工业机器人、服务机器人、仓库里搬运货物的机器人等。

例如在工业应用领域中，机器人具有视觉系统，可以利用视觉系统获取到的图像，机器人可以控制末端执行器执行机械加工及安装等动作。也即，视觉系统相当于人的眼睛，末端执行器相当于人的手，通过手眼之间的配合完成预先设置的动作任务。

现有的机器人手眼标定通常需要通过人工来采集标定所需的参数，自动化程度低，需要占用较多人力，且容易出错，可重复性差。此外，对于运动较为复杂的机器人，现有的手眼标定方法并不适用。

发明内容

本申请主要解决的技术问题是提供一种手眼标定方法、手眼标定系统、计算机设备及存储装置，能够提高手眼标定的适用性。

为了解决上述问题，本申请第一方面提供了一种手眼标定方法，该方法包括：对机器人设置标志物，获取第一采样数据，利用第一采样数据获取机器人的相机坐标系相对于标定坐标系的旋转关系矩阵，其中，相机坐标系对应相机设备，标定坐标系对应机器人的标定部位，标定部位为基座部位或末端部位；利用旋转关系矩阵，控制机器人的末端部位绕相机坐标系的坐标轴运动，获取第二采样数据；利用旋转关系矩阵和第二采样数据，获取相机坐标系与机器人的标定坐标系之间的平移关系，其中，旋转关系矩阵、平移关系用于对相机坐标系与标定坐标系进行手眼标定。

为了解决上述问题，本申请第二方面提供了一种手眼标定系统，手眼标定系统包括机器人和相机设备，机器人包括末端部位和基座部位；相机设备设置于机器人的末端部位上；或者，相机设备设置于机器人的末端部位之外；相机设备和机器人的组合用于执行上述手眼标定方法的任一步骤，以确定相机设备与机器人的标定部位之间的手眼标定关系。

为了解决上述问题，本申请第三方面提供了一种计算机设备，该计算机设备包括相互耦接的存储器和处理器，存储器中存储有程序数据，处理器用于执行程序数据以实现上述手眼标定方法的任一步骤。

为了解决上述问题，本申请第四方面提供了一种存储装置，该存储装置存储有能够被处理器运行的程序数据，程序数据用于实现上述手眼标定方法的任一步骤。

上述方案，对机器人设置标志物，获取第一采样数据，利用第一采样数据获取机器人的相机坐标系相对于标定坐标系的旋转关系矩阵，由于旋转关系矩阵描述了相机与标定坐标系(基座坐标系或末端坐标系)之间的位置和姿态关系，通过利用旋转关系矩阵，控制机器人的末端部位绕相机坐标系的坐标轴运动获取第二采样数据，可以使得标志物在相机设备的视野范围内运动，可以避免产生悬臂效应，并且获取更大范围内的第二采样数据；另外，利用旋转关系矩阵和第二采样数据，获取相机坐标系与机器人的标定坐标系之间的平移关系，且旋转关系矩阵、平移关系用于对相机坐标系与标定坐标系进行手眼标定，能够提高手眼标定的适用性及准确性。

附图说明

为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要的附图作简单的介绍，显而易见地，下面描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请眼在手外系统一实施例的结构示意图；

图2是本申请眼在手上系统一实施例的结构示意图；

图3是本申请手眼标定方法第一实施例的流程示意图；

图4是本申请图3中步骤S11一实施例的流程示意图；

图5是本申请图3中步骤S12一实施例的流程示意图；

图6是本申请图3中步骤S13一实施例的流程示意图；

图7是本申请手眼标定方法第二实施例的流程示意图；

图8是本申请手眼标定方法第三实施例的流程示意图；

图9是本申请提供的手眼标定系统一实施例的结构示意图；

图10是本申请提供的手眼标定系统另一实施例的结构示意图；

图11是本申请计算机设备一实施例的结构示意图；

图12是本申请存储装置一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

目前，在机器人使用前，通常需要对机器人与相机设备进行手眼标定，也即统一视觉系统的坐标系和机器人的坐标系，从而可以使相机设备的视觉系统对应的坐标系所确定的物体位姿可以转换到机器人坐标系下，由机器人的机械臂部位完成对物体的作业。例如机器人为SCARA(Selective Compliance Assembly Robot Arm，选择顺应性装配机器手臂)机器人、六轴机械臂机器人等工业机器人。本申请下述以机器人为六轴机械臂机器人为例进行说明，可以理解的是，本申请的实施例的方法还适用于其他机器人，本申请不限于此。

请参阅图1至图2，在手眼标定系统中，可以包括两种手眼标定方式。例如机器人100可以包括基座部位101和末端部位102，末端部位102可以是机器人100的机械臂末端，末端部位102可以包括操作器(夹持器、吸盘等)，可以用于完成对物体的作业。此外，可以在末端部位102设置标志物300。相机设备200可以安装末端部位102，也可以安装在机器人100之外固定的其他地方，本申请对此不做限制。

请参阅图1，对于眼在手外系统，相机设备200安装在机器人100之外，其机器人100可以在相机设备200的视野范围内。该安装方式中相机设备200相对于基座部位101是静止的，可以标定相机设备200对应的坐标系与基座部位101对应的坐标系之间的手眼标定关系，也即手眼标定关系是指相机坐标系与基座坐标系之间的坐标转换关系。

请参阅图2，对于眼在手上系统，相机设备200安装在机器人100的末端部位102。相机设备200相对于末端部位102是静止的，可以标定相机设备200对应的坐标系与末端部位102对应的坐标系之间的手眼标定关系，也即手眼标定关系是指相机坐标系到末端坐标系的坐标转换关系。

经过本申请的发明人长期研究发现，现有的手眼标定方法大多针对运动较为简单的机器人，而在对运动更为复杂的机器人进行手眼标定时，由于存在悬臂效应，机器人的末端部位常常会将标定对象的部分位置移动或定位在相机设备的视野范围之外。因此，在手眼标定过程中，为了避免移动至相机设备的视野范围之外，只能局限于在小范围内采样，导致并不适用于运动复杂的机器人，并且会影响相机设备与机器人的手眼标定结果的准确性。

为了解决上述问题，本申请提供以下实施例，下面对各实施例进行具体说明。

请参阅图3，图3是本申请手眼标定方法第一实施例的流程示意图。该方法可以包括以下步骤：

S11：对机器人设置标志物，获取第一采样数据，利用第一采样数据获取机器人的相机坐标系相对于标定坐标系的旋转关系矩阵。

其中，相机坐标系对应相机设备，标定坐标系对应机器人的标定部位，标定部位为基座部位或末端部位。

在进行手眼标定之前，构建手眼标定系统，该手眼标定系统可以为眼在手外系统或眼在手上系统。可以将标志物设置在机器人的末端部位，标志物可以是标定板、标定纸或其他标定物品，标志物中包含至少一个可识别的标志点，标志物在相机设备的视野范围内，本申请对此不做限制。

手眼标定系统中，机器人可以是工业机器人，相机设备可以是3D(3-Dimension，三维)相机。各部位可以对应不同的坐标系。机器人的基座部位对应基座坐标系，可以用b表示；末端部位对应末端坐标系，可以用f表示；相机设备对应相机坐标系，可以用c表示；另外，可以标志物可以用m表示。

在一些实施方式中，相机设备、机器人之间存在连接，并且相机设备与机器人各自可以连接处理器或处理终端等，可以分别控制机器人、相机设备进行操作，另外，也可以在于机器人、相机设备中分别设置处理器。本申请对此不做限制。

在一些实施方式中，可以控制机器人进行运动采样以获取采样数据，例如控制机器人的机械臂的末端部位进行移动或旋转等。具体地，可以控制机器人的末端部位沿末端坐标系的坐标轴进行移动，以获取至少一个第一采样数据。

当手眼标定系统为眼在手外系统时，标定部位为基座部位，也即标定坐标系为基座坐标系。当手眼标定系统为眼在手上系统时，标定部位为末端部位，也即标定坐标系为末端坐标系。其中，本申请下述实施例参考此描述，本实施例主要以眼在手上系统为例进行说明。

在一些实施方式中，通过移动前后的位姿移动的单位向量，可以获取相机坐标系相对于标定坐标系的旋转关系矩阵，标定坐标系为基座坐标系时，该旋转关系矩阵可以表示为^cR_b，也即基座坐标系(或基座部位)在相机坐标系下的旋转关系，下述对两个部位对应的坐标系之间的描述可以参考此描述。

在一些实施例中，请参阅图4，可以对上述实施例的步骤S11进一步扩展。获取第一采样数据，利用第一采样数据获取机器人的相机坐标系相对于标定坐标系的旋转关系矩阵，本实施例可以包括以下步骤：

S111：获取机器人的末端部位的初始姿态，以及获取标志物在初始点在相机坐标系下的初始采样数据。

控制机器人运动，使得标志物位于相机设备的视野范围内，并将该初始点设置为初始位置。获取在初始点时，末端部位的初始位姿(^bT_f)₀，初始位姿是末端坐标系在基座坐标系下的位姿关系，初始位姿可以是包括旋转和平移的6维向量。可以根据机械臂控制器的示数直接读取，例如初始位姿为(^bT_f)₀(X₀，Y₀，z₀，Rx₀，Ry₀，Rz₀)。以及获取标志物在相机坐标系下的初始采样数据，也即标志物在相机坐标系下的初始位置(^cP_m)₀，该初始位置只包括平移的三维向量。机械臂的末端部位移动到某一位置，就能触发相机设备对标志物进行拍摄，获取标志物的图像，根据标志物的图像，通过图像处理可以得到标志物在相机坐标系下的坐标，例如初始位置为(^cP_m)₀(x₀，y₀，z₀)。

S112：控制机器人末端部位在标定坐标系下，沿至少一个坐标轴移动预设距离，得到标志物在至少一个第一采样点在相机坐标系下对应的第一采样数据。

将机器人在标定坐标下，沿标定坐标系的至少一个坐标轴(X轴、Y轴、Z轴)依次移动预设距离，得到标志物在相机坐标系下的至少一个第一采样数据，也即位置坐标。

以眼在手外系统为例，将机器人的末端部位在基座坐标系下沿着其X轴、Y轴、Z轴依次移动预设距离，沿每个轴移动的预设距离可以不同，获取移动前后标志物在相机坐标系下的坐标位置。

例如移动前末端部位的位姿为(^bT_f)₀(X₀，Y₀，z₀，Rx₀，Ry₀，Rz₀)，标志物在相机坐标系下的坐标位置为(^cP_m)₀(x₀，y₀，z₀)。末端部位在基座坐标系下沿X轴移动预设距离，到达X轴对应的第一采样点，移动后，末端部位的位姿为(^bT_f)₁(X₁，Y₀，Z₀，Rx₀，Ry₀，Rz₀)，标志物在相机坐标系下的坐标位置为(^cP_m)₁(x₁，y₁，z₁)，也即第一采样数据为(^cP_m)₁(x₁，y₁，z₁)。

在一些实施方式中，若是眼在手上系统，将机器人的末端部位在末端坐标系下沿着其X轴、Y轴、Z轴依次移动预设距离，其中，沿每个轴移动的预设距离可以不同，获取移动前后标志物在相机坐标系下的坐标位置。

S113：基于标志物的初始采样数据和至少一个第一采样数据，得到标志物在相机坐标系下对应第一采样点的位移向量。

通过标志物的初始采样数据和对应每个轴移动后得到的第一采样数据，可以得到标志物在相机坐标系下对应第一采样点的位移向量，该位移向量可以是移动的距离向量(v_xv_yv_z)，也可以是移动的单位向量(v_xv_yv_z)，本申请对此不做限制。

以上述位移向量为移动的单位向量、沿X轴移动预设距离为例进行说明，可以利用标志物的初始采样数据(^cP_m)₀(x₀，y₀，z₀)、第一采样数据为(^cP_m)₁(x₁，y₁，z₁)，可以通过下述公式获取位移向量Vx(v_xv_yv_z)，该公式的表达式具体如下：

在上述公式(1)中，V_x表示沿X轴移动获得的位移向量。

在一些实施方式中，通过重复上述步骤S112，分别控制末端部位在基座坐标系下沿Y轴、Z轴依次移动预设距离，分别得到Y轴、Z轴对应的第一采样数据，从而通过上述公式(1)，可以分别得到沿Y轴、Z轴对应的位移向量的分量V_y、V_z。

S114：利用至少一个位移向量，获取机器人的相机坐标系相对于标定坐标系的旋转关系矩阵。

以眼在手外系统为例，标定坐标系为基座坐标系，上述可以得到三个位移向量，也即位移向量V_x、位移向量V_y、位移向量V_z，可以将该三个位移向量作为机器人的相机坐标系相对于基座坐标系的旋转关系矩阵^cR_b＝[V_x V_y V_z]。

在一些实施方式中，若是眼在手上系统，参考上述眼在手外系统的具体实施过程，可以获取得到相机坐标系相对于末端坐标系的旋转关系矩阵^cR_f＝[-V_x -V_y -V_z]。

该实施例中，通过标志物的初始采样数据以及沿标定坐标系的坐标轴得到的第一采样数据，得到标志物在相机坐标系下对应第一采样点的位移向量，从而获取机器人的相机坐标系相对于标定坐标系的旋转关系矩阵，可以得到相机设备相对于标定坐标系下的位置和姿态。

S12：利用旋转关系矩阵，控制机器人的末端部位绕相机坐标系的坐标轴运动，获取第二采样数据。

可以对旋转关系矩阵进行转置得到转置旋转关系矩阵^bR_c，以转置旋转关系矩阵^bR_c构建新的坐标系，以使得机器人的末端部位绕着以转置旋转关系矩阵^bR_c构建新的坐标系的轴进行运动，也即控制机器人的末端部位绕相机坐标系的坐标轴进行多次旋转、平移运动，获取得到多个第二采样数据，其中，第二采样数据包括姿态数据和位置数据。

在一些实施方式中，可以重复步骤S12至少三次，进行至少三次采样得到多个第二采样数据。其中，采样次数可以大于三次，以获取更多的第二采样数据，本申请对此不做限制。

在一些实施例中，请参阅图5，可以对上述实施例的步骤S12进一步扩展。利用旋转关系矩阵，控制机器人的末端部位绕相机坐标系的坐标轴运动，获取第二采样数据，本实施例可以包括以下步骤：

S121：获取末端部位在第一移动点在基座坐标系下的第一姿态数据；其中，第一移动点包括初始点。

获取末端部位在第一移动点在基座坐标系下的第一姿态数据，也即是旋转前的末端部位的姿态。

在一些实施方式中，第一移动点包括初始点，可以将末端部位的初始位姿的姿态数据作为第一姿态数据(^bR_f)₀。

S122：基于旋转关系矩阵构建第一旋转坐标系，控制机器人的末端部位绕第一旋转坐标系的任一坐标轴旋转第一预设角度，获取在第二移动点末端部位在基座坐标系下的第二姿态数据和第二位置数据。

可以对旋转关系矩阵^cR_b进行转置，得到转置旋转关系矩阵^bR_c。以转置旋转关系矩阵^bR_c构建第一旋转坐标系，使得控制机器人的末端部位绕第一旋转坐标系的坐标轴(X轴、Y轴、Z轴)进行旋转，旋转的角度可以是第一预设角度，第一预设角度可以是使得标志物在相机设备视野范围内的角度范围，可以进行小角度旋转。例如第一预设角度为5°，若在5°的情况下无法相机设备无法获取到标志物的有效图像，则可以将第一预设角度设置为4°。

在一些实施方式中，可以绕第一旋转坐标系的X轴、Y轴、Z轴依次进行旋转，每一次绕第一旋转坐标系的任意一个坐标轴旋转，在多次旋转中包括绕X轴、Y轴、Z轴旋转。

在一些实施方式中，旋转后到达第二位移点，可以记录此时末端部位在基座坐标系下的第二姿态数据(^bR_f)₁，以及旋转后的末端部位的第二位置数据(^bt_f)₁。

例如控制机器人的末端部位绕第一旋转坐标系的X轴、Y轴、Z轴分别依次旋转a1、a2、a3(a1，a2，a3为角度值)，旋转后，可以得到末端部位在基座坐标系下的第二姿态数据(^bR_f)₁。具体如下：

(^bR_f)₁＝^bR_cRz(a₃)Ry(a₂)Rx(a₁)^cR_b(^bR_f)₀ (2)

该步骤中，由于转置旋转关系矩阵可以描述相机在标定坐标系(基座坐标系或末端坐标系)下的位置和姿态，如转置旋转关系矩阵^bR_c描述了基座坐标系与相机坐标系的旋转关系，因此，该步骤可以控制标志物始终对着相机设备旋转，使得标志物在相机设备的视野范围内，相机设备可以拍摄到标志物的有效图像，可以避免产生悬臂效应。

S123：利用旋转关系矩阵，控制末端部位移动到第一移动点，获取末端部位在基座坐标系下的第一位置数据。

利用旋转关系矩阵的转置旋转关系矩阵，可以推测得到在基座坐标系下，机器人的末端部位移动回第一移动点需要移动的矢量(^bt_m)₁，从而控制末端部位移动到第一移动点的位置(^cP_m)₀，获取此时末端部位在基座坐标系下的第一位置数据(^bt_f)₀。

例如标志物在相机坐标系下的初始位置为(^cP_m)₀，机器人的末端部位绕第一旋转坐标系的X轴旋转5°之后，末端部位的第二姿态数据为(^bR_f)₁，在相机坐标系下标志物的坐标位置为(^cP_m)₁。由下述公式可以得到在相机坐标系下标志物移动的平移量，如下：

(^ct_m)₁＝(^cP_m)₁-(^cP_m)₀ (3)

由于标志物固定在末端部位，标志物的平移量可等同于末端部位的平移量，也即：

(^bt_m)₁＝^bR_c(^ct_m)₁ (4)

由上述公式(4)可知，机器人的末端部位(标志物)移动回第一移动点需要移动的矢量，也即平移量(^bt_m)₁，则利用该平移量(^bt_m)₁，可控制机器人的末端部位的标志物移动回初始位置(^cP_m)₀。

S124：重复上述步骤至少三次，得到至少三组第二采样数据，其中，一组第二采样数据包括姿态数据和位置数据，姿态数据包括第一姿态数据和第二姿态数据，位置数据包括第一位置数据和第二位置数据。

重复上述步骤S121至步骤S123，可以得到至少三组第二采样数据。由上述步骤S121至步骤S123，可以得到一组第二采样数据，其中，第二采样数据可以包括采集得到的姿态数据和位置数据，姿态数据也即包括第一姿态数据(^bR_f)₀和第二姿态数据，位置数据也即包括第一位置数据(^bt_f)₀和第二位置数据(^bt_f)₁。

本实施例中，通过基于旋转关系矩阵构建第一旋转坐标系，控制机器人的末端部位绕第一旋转坐标系的任一坐标轴旋转，使得控制标志物始终对着相机设备旋转，可以避免产生悬臂效应，使得可以在较大的范围内进行采样，获取的采样数据用于手眼标定，能够提升机器人与相机设备之间进行手眼标定的准确性。

S13：利用旋转关系矩阵和第二采样数据，获取相机坐标系与机器人的标定坐标系之间的平移关系，其中，旋转关系矩阵、平移关系用于对相机坐标系与标定坐标系进行手眼标定。

基于多次采样得到的多个第二采用数据，获取标志物在机器人的末端部位对应的末端坐标系下的标定末端位置，以利用标定末端位置和末端部位在基座坐标系下的位姿，得到标志物在基座坐标系下的标定基座位置。已知标志物在所述相机坐标系下的位置，也即标定相机位置，从而可以利用旋转关系矩阵、标定基座位置、标定相机位置，通过相机坐标系、基座坐标系、末端坐标系之间已知的转换关系，得到相机坐标系与标定坐标系之间的平移关系。

在一些实施方式中，旋转关系矩阵、平移关系用于对相机坐标系与标定坐标系进行手眼标定。例如可以将该平移关系作为相机坐标系与标定坐标系进行手眼标定关系。例如若对第二采样数据的采样次数大于三次，可以获取相机坐标系与标定坐标系之间的多个平移关系，可以利用最小二乘法获取最优的平移关系，从而将最优的平移关系作为相机坐标系与标定坐标系进行手眼标定关系。

在另一些实施方式中，可以利用旋转关系矩阵、平移关系进行精细化采样，并从而利用采样数据对该平移关系进行优化。例如可以利用基于平移关系，确定第三采样点的目标采样位姿；从而利用第三采样点的目标采样位姿获取第三采样数据，并利用第三采样数据获取相机坐标系相对于标定坐标系的手眼标定关系。该实施方式具体可以参阅下述实施例的实施过程。

本实施例中，对机器人设置标志物，获取第一采样数据，利用第一采样数据获取机器人的相机坐标系相对于标定坐标系的旋转关系矩阵，由于旋转关系矩阵描述了相机与标定坐标系(基座坐标系或末端坐标系)之间的位置和姿态关系，通过利用旋转关系矩阵，控制机器人的末端部位绕相机坐标系的坐标轴运动获取第二采样数据，可以使得标志物在相机设备的视野范围内运动，可以避免产生悬臂效应，并且获取更大范围内的第二采样数据；另外，利用旋转关系矩阵和第二采样数据，获取相机坐标系与机器人的标定坐标系之间的平移关系，且旋转关系矩阵、平移关系用于对相机坐标系与标定坐标系进行手眼标定，能够提高手眼标定的适用性及准确性。

在一些实施例中，请参阅图6，可以对上述实施例的步骤S13进一步扩展。利用旋转关系矩阵和第二采样数据，获取相机坐标系与机器人的标定坐标系之间的平移关系，本实施例可以包括以下步骤：

S131：基于第二采样数据，获取标志物在机器人的末端部位对应的末端坐标系下的标定末端位置。

通过上述实施例的步骤，获取至少三组第二采样数据，可以利用至少三组第二采样数据，获取标志物在机器人的末端部位对应的末端坐标系下的位置坐标，也即标定末端位置^fP_m。

在一些实施方式中，可以利用至少三组第二采用数据中，至少三组姿态数据之间的姿态差和位置数据之间的位置差，得到标定末端位置。其中，获取标定末端位置^fP_m下述公式如下：

((^bR_f)₀-(^bR_f)₁)^fP_m＝(^bt_f)₁-(^bt_f)₀ (5)

例如利用至少三组第二采样数据，可以通过下述公式获取标志物在末端坐标系下的标定末端位置^fP_m，其公式的表达式如下：

上述公式(6)中，第一组第二采样数据、第二组第二采样数据和第三组第二采样数据的具体获取过程可以参考上述实施例步骤S12中获取一组第二采样数据的过程，本申请在此不做赘述。

在一些实施方式中，由于上述实施例中，重复多次执行上述步骤S121至步骤S123，从而可以获取超过三组的第二采样数据，也即可以获取得到多个标志物在末端坐标系下的标定末端位置^fP_m，从而，可以利用最小二乘法获取多个标定末端位置中的^fP_m，以用于后续计算相机坐标系与标定坐标系之间的平移关系。

S132：利用标定末端位置和末端部位在基座坐标系下的位姿，得到标志物在基座坐标系下的标定基座位置。

由于已知末端部位在基座坐标系下的位姿^bT_f，以及标志物在末端坐标系下的标定末端位置^fP_m，可以通过下述公式得到标志物在基座坐标系下的位置，也即标定基座位置^bP_m，其公式的表达式如下：

^bP_m＝^bT_f ^fP_m (7)

S133：利用旋转关系矩阵、标定基座位置、标定相机位置，得到相机坐标系与标定坐标系之间的平移关系；其中，标定相机位置表示标志物在相机坐标系下的位置。

可以利用基座坐标系、旋转关系矩阵、相机坐标系之间已知的坐标转换关系，得到相机坐标系与标定坐标系之间的平移关系，也即得到相机坐标系与标定坐标系之间的相对位姿转换关系或位置关系。

在一些实施方式中，若是眼在手外系统，也即当相机设备位于机器人之外时，可以利用标定相机位置与旋转关系矩阵和标定基座位置的乘积做差，得到相机坐标系与机器人的基座坐标系之间的平移关系。具体地，基座坐标系、旋转关系矩阵、相机坐标系之间的坐标转换关系可以用下述公式表示，如下：

上述公式(8)中，^ct_b表示相机坐标系与机器人的基座坐标系之间的平移关系，^cR_b表示相机坐标系相对于基座坐标系的旋转关系矩阵，^bP_m表示标定基座位置，^cP_m表示标定相机位置，也即标志物在相机坐标系下的位置。

可以将上述公式(8)转换为如下公式：

^ct_b＝^cP_m-^cR_b ^bP_m (9)

由上述公式(9)，可以得到相机坐标系与机器人的基座坐标系之间的平移关系^ct_b。

在一些实施方式中，若是眼在手上系统，也即当相机设备位于机器人的末端部位时，利用标定相机位置、旋转关系矩阵、标定基座位置、末端部位相对于基座坐标系下的之间相互的姿态转换矩阵、末端部位在基座坐标系下的姿态，得到相机坐标系与机器人的标定坐标系之间的平移关系。其中，可以通过如下公式得到：

上述公式(10)中，^bR_f表示末端坐标系相对于基座坐标系的姿态转换矩阵，^bt_f表示末端部位在基座坐标系下的姿态，^fR_c表示相机坐标系相对于末端坐标系的旋转关系矩阵，^ft_c表示相机坐标系与机器人的末端坐标系之间的平移关系，也即相机坐标系与末端坐标系的姿态转换关系，^cP_m表示标定相机位置，^bP_m表示标定基座位置。

由上述公式(10)，可以得到如下表达式：

^ft_c＝^fR_b(^bP_m-^bR_f ^fR_c ^cP_m-^bt_f) (11)

由上述公式(9)，可以得到相机坐标系与机器人的末端坐标系之间的平移关系^ft_c。也即相机坐标系与末端坐标系的相对位姿转换关系或位置关系。

在一些实施方式中，上述得到的相机坐标系与标定坐标系之间的平移关系之后，可以多次执行上述步骤S11至步骤S13，可以得到相机坐标系与标定坐标系之间多个的平移关系，可以最小二乘法等方法求取多个平移关系的最优平移关系，可以将该求取的最优平移关系作为相机坐标系与标定坐标系的手眼标定关系。

在一些实施方式中，上述得到的相机坐标系与标定坐标系之间的平移关系可以用于对相机坐标系与标定坐标系进行手眼标定，可以将该平移关系作为相机坐标系与标定坐标系的手眼标定关系。另外，可以对该平移关系进行精细化处理，以使得相机坐标系与标定坐标系进行手眼标定关系更为准确。

请参阅图7，图7是本申请手眼标定方法第二实施例的流程示意图。在该实施例中，还可以对获取的相机坐标系与机器人的标定坐标系之间的平移关系进行精细化处理，以使得相机坐标系与标定坐标系进行手眼标定关系更为准确。该方法可以包括以下步骤：

S21：对机器人设置标志物，获取第一采样数据，利用第一采样数据获取机器人的相机坐标系相对于标定坐标系的旋转关系矩阵。

其中，相机坐标系对应相机设备，标定坐标系对应机器人的标定部位，标定部位为基座部位或末端部位。

S22：利用旋转关系矩阵，控制机器人的末端部位绕相机坐标系的坐标轴运动，获取第二采样数据；

S23：利用旋转关系矩阵和第二采样数据，获取相机坐标系与机器人的标定坐标系之间的平移关系，其中，旋转关系矩阵、平移关系用于对相机坐标系与标定坐标系进行手眼标定。

该实施例中，步骤S21至步骤S23的具体实施过程可以参考上述实施例中步骤S11至步骤S13的实施过程，本申请在此不再赘述。

在步骤S23之后，本实施例的方法还可以包括以下步骤：

S24：基于平移关系，确定第三采样点的目标采样位姿。

基于得到的相机坐标系与机器人的标定坐标系之间的平移关系，确定第三采样点的目标采样位姿，包括目标采样位置和目标采样姿态。

在一些实施方式中，可以在相机设备的拍摄的图像中进行网格采样，可以在像素平面上获取预设采样点，在像素平面上，每一采样点可以任取一个格点的像素值。预设采样点可以是预先设置的采样点，也可以是机器人在运动过程中获取的采样点，本申请对此不做限制。

利用像素平面上的预设采样点的像素坐标(u，v)以及相机设备的配置参数(如相机设备的内参K)，得到预设采样点在实际空间中对应的第三采样点在相机坐标系下的坐标位置^cP_f(x_c y_c z_c)，其中，z_c值可取值为z₀(该z₀为初始位姿中的位置的值)。然后利用相机坐标系与标定坐标系之间的平移关系，将像素平面上的预设采样点从相机坐标系转化为标定坐标系下，得到第三采样点的目标采样位置^bP_f。

在一些实施方式中，可以参考相机设备的景深范围，在z₀的基础上调整z_c值的取值，可在像素平面内和以z₀为基础的高度范围内随机取样，例如像素平面划分为8x8方格，某个采样点可以任取一个格点的像素值，zc值可以在范围(z₀-d₀，z₀+d₁)内任意取值，从而可以得到更多其他第三采样点的位置坐标。本申请的采样方式不限于此。

若是眼在手外系统，标定坐标系为基座坐标系，上述可以得到第三采样点在基座坐标系下的目标采样位置^bP_f。

若是眼在手上系统，标定坐标系为末端坐标系，上述可以得到第三采样点在末端坐标系下的目标采样位置。

在一些实施方式中，将相机设备在标定坐标系下的姿态确定为标志物在标定坐标系下的姿态，得到第三采样点的目标采样姿态。

若是眼在手外系统，标定坐标系为基座坐标系，将相机设备在基座坐标系下的姿态^bR_c确定为标志物在基座坐标系下的姿态^bR_m，得到第三采样点的目标采样姿态为^bR_c。

若是眼在手上系统，标定坐标系为末端坐标系，将相机设备在末端坐标系下的姿态^fR_c确定为标志物在末端坐标系下的姿态^fR_m，得到第三采样点的目标采样姿态为^fR_c。

通过上述方式，可以得到第三采样点的目标采样位姿，其中，目标采样位姿包括目标采样位置和目标采样姿态。

S25：利用第三采样点的目标采样位姿获取第三采样数据，并利用第三采样数据获取相机坐标系与标定坐标系之间的手眼标定关系。

分别将机器人的末端部位的位姿调整为多个第三采样点的目标采样位姿，目标采样位姿包括目标采样位置和目标采样姿态(^bR_c或^fR_c)。

在一些实施方式中，控制机器人末端部位移动到第三采样点的目标采样位置^bP_f的所在位置，并且以目标采样姿态^bR_c构建第二旋转坐标系，控制机器人的末端部位绕第二旋转坐标系^bR_c的坐标轴(X轴、Y轴、Z轴)依次旋转第二预设角度，对应每个坐标轴旋转的第二预设角度可以不同，其中，第二预设角度可以是在相机设备的视野范围内的角度。从而可以将以第二旋转坐标系为中心若干旋转附加在第三采样点上。

在另一些实施方式中，可以控制机器人末端部位进行预设移动，再使得机器人的末端部位绕第二旋转坐标系^bR_c的坐标轴(X轴、Y轴、Z轴)进行旋转，使得机械臂的末端部位运动到第三采样点的目标采样位置^bP_f的所在位置。本申请对此不做限制。

在上述对机器人末端部位进行移动及旋转的过程中，例如在第n(n为正整数)个采样点处，获取末端部位(第三采样点)的位姿(^bT_f)_n，也即末端部位在基座坐标系下的位姿；并利用相机设备对标志物进行拍照得到标志物的图像，并可以根据标志物图像识别出标志物的图像采样数据(在标志物图像中像素坐标(u，v)^# _n)，根据对应的图像采样数据得到的标志物在相机坐标系下的相机采样位置(^cP_m)_n。也即可以获取得到每个第三采样点对应的第三采样数据对。第三采样点的第三采样数据对包括第三采样点的位姿(^bT_f)_n以及相机采样位置(^cP_m)_n。

在眼在手上系统时，获取第三采样数据对的具体过程可以参考上述过程，此处不做赘述。例如将相机设备在末端坐标系下的姿态确定为标志物在末端坐标系下的姿态之后，控制机器人运动到第三采样点时，获取得到标志物在相机坐标系下的相机采样位置^cP_m，以及第三采样点的位姿^fT_b，也即在基座部位在末端坐标系下的位姿。

将多个第三采样数据对分别代入预设优化等式，对预设优化等式进行优化求解。其中，若是眼在手外系统，标定坐标系为基座坐标系，预设优化等式的表达式如下：

^bT_f ^fP_m＝^bT_c ^cP_m (12)

上述公式预设优化等式(12)中，还包括平移关系和标定参考位置。其中，平移关系的初始值为相机坐标系与基座坐标系之间的平移关系^bT_c；标定参考位置的初始值为标志物在末端坐标系下的标定末端位置^fP_m。

若是眼在手上系统，标定坐标系为末端坐标系，预设优化等式的表达式如下：

^fT_b ^bP_m＝^fT_c ^cP_m (13)

上述公式预设优化等式(12)中，还包括平移关系和标定参考位置。其中，平移关系的初始值为相机坐标系与末端坐标系之间的平移关系^fT_c；标定参考位置的初始值为标志物在基座坐标系下的标定基座位置^bP_m。^fT_b、^cP_m为第三采样数据对，其中，^fT_b表示第三采样点的位姿，^cP_m表示标志物在相机坐标系下的相机采样位置。

将多个第三采样数据对分别代入上述预设优化等式，对预设优化等式进行优化求解，得到优化后的相机坐标系与机器人的标定坐标系之间的最终平移关系和标志物的最终标定参考位置，并将最终平移关系作为相机坐标系相对于标定坐标系的手眼标定关系。

本实施例中，通过将获取的多个第三采样数据分别代入预设优化等式进行优化求解，得到优化后的相机坐标系与机器人的标定坐标系之间的平移关系，并作为手眼标定关系，可以提高相机坐标系与机器人的标定坐标系之间进行手眼标定的准确性。

请参阅图8，图8是本申请手眼标定方法第三实施例的流程示意图。在上述步骤S13或步骤S25获取相机坐标系与标定坐标系的手眼标定关系之后，可以对手眼标定关系进行采样验证。该方法可以包括以下步骤：

S31：利用手眼标定关系，调整机器人的末端部位再次移动至多个第三采样点，获取多个第三采样点对应的采样验证数据。

在一些实施方式中，利用上述得到最终的手眼标定关系及标定参考位置，参考上述实施例中步骤24至步骤S25，调整机器人的末端部位再次移动至对应的多个第三采样点，获取多个第三采样点对应的采样验证数据，采样验证数据包括再次移动到第N(N为正整数)个第三采样点时第三采样点的位姿(^bT_f)_N以及相机采样位置(^cP_m)_N。获取采样验证数据的过程可以参考上述获取第三采样数据对的过程，本申请在此不做赘述。

在另一些实施方式中，可以控制相机设备对标志物进行拍摄得到标志物的图像，从而对标志物的图像识别得到标志物的第一像素坐标(u，v)^*，另外，在上述步骤S25中，已知根据标志物图像识别出标志物的第三采样数据，也即在标志物图像中第二像素坐标(u，v)^#，可以将第一像素坐标和第二像素坐标作为采样验证数据。

S32：利用每个第三采样点对应的采样验证数据和手眼标定关系，获取每个第三采样点的标定误差。

在一些实施方式中，可以将上述得到的手眼标定关系、标定参考位置，以及获取的每个第三采样点对应的采样验证数据以及代入上述预设优化等式(12)或预设优化等式(13)，基于预设优化等式左侧与右侧的差值，得到每个第三采样点的标定误差。

在另一些实施方式中，可以每个第三采样点的采样验证数据的差值，也即获取第一像素坐标(u，v)^*和第二像素坐标(u，v)^#的差值(u，v)^*-(u，v)^#，作为每个第三采样点的标定误差。

S33：基于每个第三采样点的标定误差，确定是否对手眼标定关系进行预设处理。

基于每个第三采样点的标定误差，可以获取所有第三采样点对应的标定误差的均值，该均值可以衡量整体的标定精度，检验手眼标定的标定效果。

在一些实施方式中，若标定误差的均值小于预设标定阈值，则不需要对手眼标定关系进行预设处理。若标定误差的均值不小于预设标定阈值，则对手眼标定关系进行预设处理。

在一些实施方式中，预设处理包括剔除标定误差大于预设误差阈值的第三采样点，重新获取剩余其他第三采样点对应的第三采样数据来优化手眼标定关系。

在一些实施方式中，预设处理包括重新执行上述步骤S21至步骤S25，或者重新执行上述步骤S24至步骤S25，选取新的第三采样点，获取新的第三采样点对应的第三采样数据，对上述步骤S25手眼标定关系进行优化，以得到更准确的手眼标定关系。

对于上述实施例，本申请提供一种手眼标定系统，请参阅图9至图10，图9是本申请提供的手眼标定系统一实施例的结构示意图。图10是本申请提供的手眼标定系统另一实施例的结构示意图。该手眼标定系统40包括机器人41和相机设备42，机器人41包括末端部位411和基座部位412，其中，末端部位411可以设置标志物(未示出)。机器人41和相机设备42可以耦接，也可以不进行耦接，本申请对此不做限制。相机设备42可以是机器人41的视觉系统，也即相机设备42可以存在于机器人41中，相机设备42和机器人41的组合可以用于执行上述手眼标定方法任一实施例中的任一步骤，以确定相机设备对应的坐标系与机器人的标定部位对应的坐标系之间的手眼标定关系。

请参阅图9，在进行手眼标定时，若为眼在手上系统，相机设备42可以设置于机器人41的末端部位411上，标定部位为末端部位411。

请参阅图10，若为眼在手外系统，相机设备42设置于机器人41的末端部位411之外，标定部位为基座部位412。

在一些实施方式中，请参阅图9至图10，上述手眼标定系统40还可以包括处理器43，该处理器43可以与机器人41的机械臂连接，也即是可以与机器人41连接的处理器43。具体地，可以为机械臂的传感器及控制器与处理器43连接。

处理器43可以控制机器人41的操作，此外，处理器43还可以连接相机设备42，从而可以控制相机设备42进行拍摄。

处理器43还可以称为CPU(Central Processing Unit，中央处理单元)。处理器43可能是一种集成电路芯片，具有信号的处理能力。处理器43还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

处理器43用于执行指令以实现如本申请上述手眼标定方法任一实施例或其不冲突的组合所提供的方法。

可选地，该机器人41还可以包括：存储器44，耦接该处理器43，用于存储处理器43执行的指令以及执行指令所需的数据，该处理器43和存储器44可以存在于机器人41之前的其他终端中(未示出)，以通过其他终端控制机器人41和/或相机设备42进行操作。

此外，该机器人41还可以根据实际需求包括显示装置(图未示)、输入输出装置等设备。

在另一些实施方式中，上述手眼标定系统40中，还可以为机器人41和相机设备42单独设置处理器43，也即可以包括多个处理器43，使得与机器人41连接的处理器43，可以控制机器人41的操作。与相机设备42连接的处理器43，可以控制相机设备42的操作。具体连接方式可以根据应用场景进行设置，本申请不限于此。

在另一些实施方式中，上述手眼标定系统40中，该处理器43可以存在于机器人41中，机器人41与相机设备42之间存在耦接，该处理器43可以执行指令用于控制机器人41和相机设备42进行操作。另外，耦接该处理器43的存储器44也设置于机器人41中，用于存储处理器43执行的指令以及执行指令所需的数据。本申请对于处理器43及存储器44的设置不做限制。

该实施例的具体实施方式可参考上述实施例的实施过程，在此不再赘述。

对于上述实施例，本申请提供一种计算机设备，请参阅图11，图11是本申请计算机设备一实施例的结构示意图。该计算机设备50包括存储器51和处理器52，其中，存储器51和处理器52相互耦接，存储器51中存储有程序数据，处理器52用于执行程序数据以实现上述手眼标定方法任一实施例中的步骤。

在本实施例中，处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器52也可以是任何常规的处理器等。

该实施例的具体实施方式可参考上述实施例的实施过程，在此不再赘述。

对于上述实施例的方法，其可以采用计算机程序的形式实现，因而本申请提出一种存储装置，请参阅图12，图12是本申请存储装置一实施例的结构示意图。该存储装置60中存储有能够被处理器运行的程序数据61，程序数据61可被处理器执行以实现上述手眼标定方法任一实施例的步骤。

该实施例的具体实施方式可参考上述实施例的实施过程，在此不再赘述。

本实施例存储装置60可以是U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储程序数据61的介质，或者也可以为存储有该程序数据61的服务器，该服务器可将存储的程序数据61发送给其他设备运行，或者也可以自运行该存储的程序数据61。

在本申请所提供的几个实施例中，应该理解的，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储装置中，该存储装置是一种计算机可读取存储介质。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种手眼标定方法，其特征在于，所述方法包括：

对机器人设置标志物，获取第一采样数据，利用所述第一采样数据获取所述机器人的相机坐标系相对于标定坐标系的旋转关系矩阵，其中，所述相机坐标系对应相机设备，所述标定坐标系对应所述机器人的标定部位，所述标定部位为基座部位或末端部位；

利用所述旋转关系矩阵，控制所述机器人的末端部位绕所述相机坐标系的坐标轴运动，获取第二采样数据；

利用所述旋转关系矩阵和所述第二采样数据，获取所述相机坐标系与所述机器人的标定坐标系之间的平移关系，其中，所述旋转关系矩阵、所述平移关系用于对所述相机坐标系与所述标定坐标系进行手眼标定。

2.根据权利要求1所述的方法，其特征在于，所述获取第一采样数据，利用所述第一采样数据获取所述机器人的相机坐标系相对于标定坐标系的旋转关系矩阵，包括：

获取所述机器人的末端部位的初始姿态，以及获取所述标志物在初始点在所述相机坐标系下的初始采样数据；

控制所述机器人末端部位在所述标定坐标系下，沿至少一个坐标轴移动预设距离，得到所述标志物在至少一个第一采样点在所述相机坐标系下对应的第一采样数据；

基于所述标志物的初始采样数据和所述至少一个第一采样数据，得到所述标志物在所述相机坐标系下对应所述第一采样点的位移向量；

利用至少一个所述位移向量，获取所述机器人的相机坐标系相对于标定坐标系的旋转关系矩阵。

3.根据权利要求1所述的方法，其特征在于，所述利用所述旋转关系矩阵，控制所述机器人的末端部位绕所述相机坐标系的坐标轴运动，获取第二采样数据，包括：

获取所述末端部位在第一移动点在基座坐标系下的第一姿态数据；其中，所述第一移动点包括初始点；

基于所述旋转关系矩阵构建第一旋转坐标系，控制所述机器人的末端部位绕所述第一旋转坐标系的任一坐标轴旋转第一预设角度，获取在第二移动点所述末端部位在所述基座坐标系下的第二姿态数据和第二位置数据；

利用所述旋转关系矩阵，控制所述末端部位移动到所述第一移动点，获取所述末端部位在所述基座坐标系下的第一位置数据；

重复上述步骤至少三次，得到至少三组所述第二采样数据，其中，一组所述第二采样数据包括姿态数据和位置数据，所述姿态数据包括所述第一姿态数据和所述第二姿态数据，所述位置数据包括所述第一位置数据和所述第二位置数据。

4.根据权利要求3所述的方法，其特征在于，所述利用所述旋转关系矩阵和所述第二采样数据，获取所述相机坐标系与所述机器人的标定坐标系之间的平移关系，包括：

基于所述第二采样数据，获取所述标志物在所述机器人的末端部位对应的末端坐标系下的标定末端位置；

利用所述标定末端位置和所述末端部位在所述基座坐标系下的位姿，得到所述标志物在所述基座坐标系下的标定基座位置；

利用所述旋转关系矩阵、所述标定基座位置、标定相机位置，得到所述相机坐标系与所述标定坐标系之间的平移关系；其中，所述标定相机位置表示所述标志物在所述相机坐标系下的位置。

5.根据权利要求4所述的方法，其特征在于，所述基于所述第二采样数据，获取所述标志物在所述机器人的末端部位对应的末端坐标系下的标定末端位置，包括：

利用至少三组第二采用数据中，至少三组所述姿态数据之间的姿态差和所述位置数据之间的位置差，得到所述标定末端位置。

6.根据权利要求4所述的方法，其特征在于，所述利用所述旋转关系矩阵、所述标定基座位置、标定相机位置，得到所述相机坐标系与所述标定坐标系之间的平移关系，包括：

当所述相机设备位于所述机器人的末端部位之外时，利用所述标定相机位置与所述旋转关系矩阵和所述标定基座位置的乘积做差，得到所述相机坐标系与所述机器人的标定坐标系之间的平移关系；

当所述相机设备位于所述机器人的末端部位上时，利用所述标定相机位置、所述旋转关系矩阵、所述标定基座位置、所述末端部位相对于所述基座坐标系下的之间相互的姿态转换矩阵、所述末端部位在所述基座坐标系下的姿态，得到所述相机坐标系与所述机器人的标定坐标系之间的平移关系。

7.根据权利要求1所述的方法，其特征在于，所述利用所述旋转关系矩阵和所述第二采样数据，获取所述相机坐标系与所述标定坐标系之间的平移关系之后，所述方法还包括：

基于所述平移关系，确定第三采样点的目标采样位姿；

利用所述第三采样点的目标采样位姿获取第三采样数据，并利用所述第三采样数据获取所述相机坐标系与所述标定坐标系之间的手眼标定关系。

8.根据权利要求7所述的方法，其特征在于，所述基于所述平移关系，确定第三采样点的目标采样位姿，包括：

利用所述相机坐标系与所述标定坐标系之间的平移关系及所述相机设备的配置参数，将像素平面上的预设采样点从所述相机坐标系转化为所述标定坐标系下，得到所述第三采样点的目标采样位置；

将所述相机设备在所述标定坐标系下的姿态设置为所述标志物在所述标定坐标系下的姿态，得到所述第三采样点的目标采样姿态。

9.根据权利要求7所述的方法，其特征在于，所述利用所述第三采样点的目标采样位姿获取第三采样数据，并利用所述第三采样数据获取所述相机坐标系相对于所述标定坐标系的手眼标定关系，包括：

分别将所述机器人的末端部位的位姿调整为多个第三采样点的目标采样位姿，并利用所述相机设备对所述标志物进行拍照得到图像采样数据，获取多个所述第三采样点的第三采样数据对，所述第三采样点的第三采样数据对包括所述第三采样点的位姿以及根据对应的所述图像采样数据得到的所述标志物在所述相机坐标系下的相机采样位置；

将所述多个第三采样数据对分别代入预设优化等式；

对所述预设优化等式进行优化求解，得到优化后的所述相机坐标系与所述机器人的标定坐标系之间的最终平移关系和所述标志物的最终标定参考位置，并将所述最终平移关系作为所述相机坐标系与所述标定坐标系之间的手眼标定关系；

其中，在所述预设优化等式中，包括平移关系和标定参考位置；所述平移关系的初始值为所述相机坐标系与所述标定坐标系之间的平移关系；当所述标定部位为基座部位时，所述标定参考位置的初始值为所述标志物在所述末端坐标系下的标定末端位置；当所述标定部位为末端部位时，所述标定参考位置的初始值为所述标志物在所述基座坐标系下的标定基座位置。

10.根据权利要求7所述的方法，其特征在于，所述利用所述第三采样数据获取所述相机坐标系与所述标定坐标系之间的手眼标定关系之后，所述方法还包括：

利用所述手眼标定关系，调整所述机器人的末端部位再次移动至多个所述第三采样点，获取多个所述第三采样点对应的采样验证数据；

利用每个所述第三采样点对应的采样验证数据和所述手眼标定关系，获取每个所述第三采样点的标定误差；

基于每个所述第三采样点的标定误差，确定是否对所述手眼标定关系进行预设处理。

11.一种手眼标定系统，其特征在于，所述装置包括：

机器人和相机设备，所述机器人包括末端部位和基座部位；

所述相机设备设置于所述机器人的末端部位上；或者，所述相机设备设置于所述机器人的末端部位之外；

所述相机设备和所述机器人的组合用于执行权利要求1至10任一项所述方法的步骤，以确定所述相机设备与所述机器人的标定部位之间的手眼标定关系。

12.一种计算机设备，其特征在于，包括相互耦接的存储器和处理器，所述存储器中存储有程序数据，所述处理器用于执行所述程序数据以实现权利要求1至10任一项所述方法的步骤。

13.一种存储装置，其特征在于，存储有能够被处理器运行的程序数据，所述程序数据用于实现权利要求1至10任一项所述方法的步骤。

Images