CN113442169A - 机器人的手眼标定方法、装置、计算机设备和可读存储介质 - Google Patents

Abstract

本申请涉及一种机器人的手眼标定方法、装置、计算机设备和可读存储介质。该方法通过确定机器人的基坐标系平移后的平移基坐标系，并根据平移基坐标系，确定基坐标系与相机坐标系之间的第一旋转矩阵；获取机器人的机械臂上的标记物在相机坐标系下的位姿数据，并根据位姿数据、第一旋转矩阵以及第二旋转矩阵确定基坐标系与相机坐标系之间的平移向量；根据第一旋转矩阵和平移向量，确定基坐标系和相机坐标系之间的位姿转换关系。本申请提供的机器人的手眼标定方法对操作人员技能要求较低，且可以减少操作人员操作时间。

Description

机器人的手眼标定方法、装置、计算机设备和可读存储介质

技术领域

本申请涉及机器人的技术领域，特别是涉及一种机器人的手眼标定方法、装置、计算机设备和可读存储介质。

背景技术

在医学手术中，通常需要在光学跟踪仪的跟踪下，准确的跟踪到手术器械，即手术所用的机器人的实时位置，并且通过物理空间和图像空间的配准将手术器械的实时位置显示在图像上，使得医生参考患者病灶部位的图像实施手术。在整个医学手术过程中最重要的一步是将患者实际体位和图像空间位置进行配准，而手眼标定是其中最重要的一个环节。手眼标定的目的是获取手术器械坐标系和视觉系统坐标系之间的关系。

传统技术中，需要通过大量的标定图像和手术器械的位姿数据，以及视觉系统操作人员和手术器械人员的配合实现精准的手眼标定。但是，这样会增加手眼标定的时间。

发明内容

基于此，有必要针对上述技术问题，提供一种机器人的手眼标定方法、装置、计算机设备和可读存储介质。

第一方面，本申请一个实施例提供一种机器人的手眼标定方法，包括：

确定机器人的基坐标系平移后的平移基坐标系，并根据平移基坐标系，确定基坐标系与相机坐标系之间的第一旋转矩阵；

获取机器人的机械臂上的标记物在相机坐标系下的位姿数据，并根据位姿数据、第一旋转矩阵以及第二旋转矩阵确定基坐标系与相机坐标系之间的平移向量；第二旋转矩阵为基坐标系与工具坐标系之间的旋转矩阵；

根据第一旋转矩阵和平移向量，确定基坐标系和相机坐标系之间的位姿转换关系。

在其中一个实施例中，确定机器人基坐标系平移后的平移基坐标系，包括：

获取在相机坐标系下，标记物在所述基坐标系的每一个方向上的位姿数据；

根据标记物在基坐标系的每一个方向上的位姿数据确定平移基坐标系。

在其中一个实施例中，标记物在基坐标系的每一个方向上的位姿数据包括：标记物初始位置的第一位姿数据，标记物在初始位置沿基坐标系的第一坐标轴的方向上平移后的第二位姿数据，标记物在初始位置沿基坐标系的第二坐标轴的方向上平移后的第三位姿数据，标记物在初始位置沿基坐标系的第三坐标轴的方向上平移后的第四位姿数据。

在其中一个实施例中，确定机器人的基坐标系平移后的平移基坐标系，包括：

确定第一位姿数据的第一坐标点、第二位姿数据的第二坐标点、第三位姿数据的第三坐标点以及第四位姿数据的第四坐标点；

根据第一坐标点和第二坐标点，确定平移基坐标系的第一坐标轴；

根据第一坐标点和第三坐标点，确定平移基坐标系的第二坐标轴；

根据第一坐标点和第四坐标点，确定平移基坐标系的第三坐标轴。

在其中一个实施例中，机器人的手眼标定方法还包括：

根据第一位姿数据、第二位姿数据、第三位姿数据、第四位姿数据、第一旋转矩阵以及第二旋转矩阵确定基坐标系与相机坐标系之间的平移向量。

在其中一个实施例中，机器人的手眼标定方法还包括：

确定平移基坐标系的坐标轴之间的夹角误差；

若夹角误差的绝对值大于预设角度，则更新平移基坐标系；

若夹角误差的绝对值小于或等于预设角度，则对平移基坐标系的坐标轴之间的夹角进行校正。

在其中一个实施例中，机器人的手眼标定方法还包括：

根据基坐标系与工具坐标系之间的位姿转换关系和基坐标系和相机坐标系之间的位姿转换关系，确定工具坐标系和相机坐标系之间的位姿转换关系。

在其中一个实施例中，根据平移基坐标系，确定基坐标系与相机坐标系之间的第一旋转矩阵，包括：

确定相机坐标系和平移基坐标系之间的旋转矩阵；

根据相机坐标系和平移基坐标系之间的旋转矩阵确定第一旋转矩阵。

第二方面，本申请一个实施例提供一种机器人的手眼标定装置，包括：

旋转矩阵确定模块，用于确定机器人的基坐标系平移后的平移基坐标系，并根据平移基坐标系，确定基坐标系与相机坐标系之间的第一旋转矩阵；

平移向量确定模块，用于获取机器人的机械臂上的标记物在相机坐标系下的位姿数据，并根据位姿数据、第一旋转矩阵以及第二旋转矩阵确定基坐标系与相机坐标系之间的平移向量；第二旋转矩阵为基坐标系与工具坐标系之间的旋转矩阵；

位姿转换关系确定模块，用于根据第一旋转矩阵和平移向量，确定基坐标系和相机坐标系之间的位姿转换关系。

第三方面，本申请一个实施例提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现如上述实施例提供的方法的步骤。

第四方面，本申请一个实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述实施例提供的步骤。

本申请实施例提供一种机器人的手眼标定方法、装置、计算机设备和可读存储介质，该方法通过确定机器人的基坐标系平移后的平移基坐标系，并根据平移基坐标系，确定基坐标系与相机坐标系之间的第一旋转矩阵；获取机器人的机械臂上的标记物在相机坐标系下的位姿数据，并根据位姿数据、第一旋转矩阵以及第二旋转矩阵确定基坐标系与拍摄设备坐标系之间的平移向量；根据第一旋转矩阵和平移向量，确定基坐标系和相机坐标系之间的位姿转换关系。本申请实施例提供的机器人的手眼标定方法通过机器人的基坐标系对应的平移基坐标系，先确定机器的基坐标系与相机坐标系之间的第一旋转矩阵，再确定机器的基坐标系与相机坐标系之间的平移向量，根据第一旋转矩阵和平移向量就可以确定位姿转换关系，该方法只需要操作人员操作机器人的机械臂移动，确定平移基坐标系，对操作人员技能要求较低，且可以减少操作人员操作时间；并且该方法确定第一旋转矩阵和平移向量的过程简单，能够减少手眼标定的时间。

附图说明

为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域不同技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一个实施例提供的机器人的结构示意图；

图2为本申请一个实施例提供的机器人的手眼标定方法的步骤流程示意图；

图3为本申请一个实施例提供的机器人的手眼标定方法的步骤流程示意图；

图4为本申请一个实施例提供的机器人的手眼标定方法的步骤流程示意图；

图5为本申请一个实施例提供的机器人的手眼标定方法的步骤流程示意图；

图6为本申请一个实施例提供的机器人的手眼标定方法的步骤流程示意图；

图7为本申请一个实施例提供的机器人的手眼标定方法的步骤流程示意图；

图8为本申请一个实施例提供的机器人的手眼标定装置的结构示意图；

图9为本申请一个实施例提供的计算机设备的结构示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似改进，因此本申请不受下面公开的具体实施例的限制。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

在本申请中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在手术导航系统中，手术前先对患者的病灶部位进行电子计算机断层扫描或核磁共振成像，并进行三维重建。医护人员通过观察重建后的三维图像判断病灶位置；根据三维图像的不同切面，规划手术路径，选择合适的手术方案。在手术中，医护人员使用机器人实施手术方案。机器人的结构如图1所示，机器人包括底座1、机械臂2和工具3(手术器械)，机械臂固定于底座，工具设置于机械臂。不同的手术，机器人的工具可能不同。例如，医护人员使用机器人实施穿刺手术，则工具为穿刺针。在手术过程中，医护人员在相机4(光学跟踪仪)的跟踪下，准确的跟踪到机器人中的工具3的实时位置，并通过物理空间和图像空间的配准，将工具1的实时位置显示在图像上，医护人员参考患者的病灶位置的图像实施手术。在整个手术过程中，最重要的一步是将患者实际体位和图像空间位置进行配准，而手眼标定是其中最重要的一个环节。手眼标定的目的是获取工具坐标系和相机坐标系之间的关系。现有技术中，在进行手眼标定时，需要大量的标定图像和手术器械的位姿数据，以及相机操作人员和手术器械操作人员的配合，以实现精准的手眼标定，这样会增加手眼标定的时间。针对该问题，本申请提供一种机器人的手眼标定方法。

本申请提供的机器人的手眼标定方法可以通过计算机设备实现。计算机设备包括但不限于控制芯片、个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。本申请提供的方法可以通过JAVA软件实现，也可以应用于其他软件。

下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

请参见图2，本申请一个实施例提供一种机器人的手眼标定方法，该方法应用于计算机设备。该方法可以包括以下步骤：

步骤200、确定机器人的基坐标系平移后的平移基坐标系，并根据平移基坐标系，确定基坐标系与相机坐标系之间的第一旋转矩阵。

计算机设备根据获取到的位姿数据确定机器人的基坐标系平移后的平移基坐标系。其中，计算机设备获取到的位姿数据是指通过相机获取的机械臂上设置的标记物的位姿数据。机器人的基坐标系是指以机器人的底座的中心点为坐标原点，从该坐标原点出发的与地面平行的射线为第一坐标轴(X轴)，从该坐标原点出发的与地面平行且与第一坐标轴(X轴垂)直的射线为第二坐标轴(Y轴)，从该坐标原点出发于地面垂直的射线为第三坐标轴(Z轴)。平移基坐标系是将机器人的基坐标系平移后的坐标系，也就是说，平移基坐标系与基坐标系的坐标原点不同，但是第一坐标轴、第二坐标轴和第三坐标轴的方向不发生变换。本实施例对确定平移基坐标系的具体方法不作任何限制，只要能够实现其功能即可。

计算机设备在确定平移基坐标系后，可以确定相机坐标系与基坐标系之间的旋转矩阵。若在手术过程中，医护人员使用的相机为单目相机，则相机坐标系是以相机的光心为坐标原点，以光轴为Z轴，相机坐标系的X轴与所拍摄图像的X轴平行，相机坐标系的Y轴与所拍摄图像的Y轴平行。若在手术过程中，医护人员使用的相机为双目相机，则相机坐标系是以两个摄像头的光心的连线为X轴，连线的中点为坐标原点，将原点指向右摄像头的方向作为X轴的正方向；过原点且垂直于双目相机的射线为Y轴，将原点指向空间上方的方向作为Y轴的正方向；使用右手定则确定Z轴，将原点指向双目相机的拍摄方向作为Z轴的正方向。本实施例对根据平移基坐标系确定第一旋转矩阵的方法不作任何限制，只要能够实现其功能即可。

步骤210、获取机器人的机械臂上的标记物在相机坐标系下的位姿数据，并根据位姿数据、第一旋转矩阵以及第二旋转矩阵确定基坐标系与相机坐标系之间的平移向量；第二旋转矩阵为基坐标系与工具坐标系之间的旋转矩阵。

机械臂上的标记物可以设置在机械臂的任何位置，本实施例对此不作任何限制，只要能够随着机械臂的移动而移动即可。本实施例对标记物的种类和结构不作任何限制，只要能够实现其功能即可。在一个具体的实施例中，标记物设置在机械臂的末端，即靠近工具的一端，标记物为阵列结构的反光小球。

标记物在相机坐标系下的位姿数据，即相机拍摄的标记物的位姿数据。位姿数据包括位置数据和姿态数据。计算机设备根据获取的标记物在相机坐标下的位姿数据、第一旋转矩阵、第二旋转矩阵确定基坐标系与相机坐标系之间的平移向量。其中，第二旋转矩阵为基坐标系与工具坐标系之间的旋转矩阵。工具坐标系可以根据机器人的生产厂家提供的参数确定，在此不作限制。计算机设备根据示教器上的关节角以及机器人的生产厂家提供的参数可以确定第二旋转矩阵，本申请对计算第二旋转矩阵的具体方法不作限制。

在一个具体的实施例中，确定平移向量的方法包括：基于标记物满足的位置关联关系，根据位姿数据、第一旋转矩阵以及第二旋转矩阵确定基坐标系与相机坐标系之间的平移向量。其中，位置关联关系包括：标记物在相机坐标系下的坐标值等于标记物在基坐标系下的坐标值，用公式可以表示为：

其中。

表示基坐标系到工具坐标系的位姿关系，

表示基坐标系到工具坐标系的平移向量，

表示基坐标系到相机坐标系的位姿关系，

表示为基坐标系到相机坐标系的平移向量。将上述公式展开可以得到

即

通过整理可以得到

将其用矩阵形式表示为：

令

则上述矩阵形式的公式可以表示AX＝B。矩阵X中的

和

未知，

和

已知。

对第二旋转矩阵

和第一单位矩阵E₃进行合并运算，可以得到第一矩阵A；对第一旋转矩阵

和第一单位矩阵E₃进行合并运算，可以得到第二矩阵

根据基坐标系与工具坐标系之间的平移向量

和相机坐标系与标记物的坐标系之间的平移向量

可以确定第三矩阵

其中，相机坐标系与标记物的坐标系之间的平移向量

可以根据位姿数据得到；根据第一矩阵、第二矩阵和第三矩阵，可以确定第四矩阵X，从第四矩阵中提取元素

为基坐标系与相机坐标系之间的平移向量。

步骤220、根据第一旋转矩阵和平移向量，确定基坐标系和相机坐标系之间的位姿转换关系。

基坐标系和相机坐标系之间的位姿转换关系包括基坐标系和相机坐标系之间的旋转矩阵(姿态)，以及基坐标系和相机坐标系之间的平移向量(位置)。则计算机设备根据得到的第一旋转矩阵和平移向量，可以确定基坐标系和相机坐标系之间的位姿转换关系。具体的，第一旋转矩阵表示为

平移向量表示为

则基坐标系和相机坐标系之间的位姿转换关系可以表示为

本申请实施例提供的机器人的手眼标定方法，该方法确定机器人的基坐标系平移后的平移基坐标系，并根据平移基坐标系，确定基坐标系与相机坐标系之间的第一旋转矩阵；获取机器人的机械臂上的标记物在相机坐标系下的位姿数据，并根据位姿数据、第一旋转矩阵以及第二旋转矩阵确定基坐标系与拍摄设备坐标系之间的平移向量；根据第一旋转矩阵和平移向量，确定基坐标系和相机坐标系之间的位姿转换关系。本申请实施例提供的机器人的手眼标定方法通过机器人的基坐标系对应的平移基坐标系，先确定机器的基坐标系与相机坐标系之间的第一旋转矩阵，再确定机器的基坐标系与相机坐标系之间的平移向量，根据第一旋转矩阵和平移向量就可以确定位姿转换关系，该方法只需要操作人员操作机器人的机械臂移动，确定平移基坐标系，对操作人员技能要求较低，可以减少操作人员操作时间；并且该方法确定第一旋转矩阵和平移向量的过程简单，能够减少手眼标定的时间。

请参见图3，在一个实施例中，确定机器人基坐标系平移后的平移基坐标系的步骤包括：

步骤300、获取在相机坐标系下，标记物在基坐标系的每一个方向上的位姿数据。

计算机设备获取在相机坐标系下，标记物在基坐标系的每一个方向上的位置数据，即相机拍摄的标记物在基坐标系的每一个方向上的位姿数据。基坐标系的每一个方向是指基坐标系的第一坐标轴的方向、第二坐标轴的方向和第三坐标轴的方向。本实施对获取的每一个方向上的位姿数据的数量不作任何限制，只要能够实现其功能即可。

步骤310、根据标记物在基坐标系的每一个方向上的位姿数据确定平移基坐标系。

计算机设备根据获取的标记物在基坐标系的三个坐标轴的方向上的位姿数据可以确定平移基坐标系的三个坐标轴，从而可以确定平移坐标系。

在一个实施例中，标记物在基坐标系的每一个方向上的位姿数据包括：标记物初始位置的第一位姿数据，标记物在初始位置沿基坐标系的第一坐标轴的方向上平移后的第二位姿数据，标记物在初始位置沿基坐标系的第二坐标轴的方向上平移后的第三位姿数据，标记物在初始位置沿基坐标系的第三坐标轴的方向上平移后的第四位姿数据。

标记物的初始位置可以是机械臂没有移动时的位置，也可以是机械臂在任意方向上移动后的位置。本实施例对标记物的初始位置不作任何限制，只要能够实现其功能即可。第一位姿数据是标记物在初始位置，通过相机拍摄得到的标记物的位姿数据。第二位姿数据是机械臂以标记物的初始位置为起点，沿基坐标系的第一坐标轴的方向上移动后，通过相机拍摄得到的标记物的位姿数据。第三位姿数据是机械臂以标记物的初始位置为起点，沿基坐标系的第二坐标轴的方向上移动后，通过相机拍摄得到的标记物的位姿数据。第四位姿数据是机械臂以标记物的初始位置为起点，沿基坐标系第三坐标轴的方向上移动后，通过相机拍摄得到的标记物的位姿数据。

请参见图4，在一个实施例中，确定机器人的基坐标系平移后的平移基坐标系的步骤包括：

步骤400、确定第一位姿数据的第一坐标点、第二位姿数据的第二坐标点、第三位姿数据的第三坐标点以及第四位姿数据的第四坐标点。

计算机设备根据相机拍摄到的标记物的第一位姿数据可以确定标记物的第一坐标点，根据相机拍摄到的标记物的第二位姿数据可以确定标记物的第二坐标点，根据相机拍摄到的标记物的第三位姿数据可以确定标记物的第三坐标点，根据相机拍摄得到的标记物的第四位姿数据可以确定标记物的第四坐标点。

步骤410、根据第一坐标点和第二坐标点，确定平移基坐标系的第一坐标轴。

第一坐标点和第二坐标点可以形成一个线段，计算机设备将第一坐标点作为平移坐标系的坐标原点，将从以第一坐标点出发，沿第一坐标点和第二坐标点形成的线段的方向上的射线作为平移基坐标系的第二坐标轴。

步骤420、根据第一坐标点和第三坐标点，确定平移基坐标系的第二坐标轴。

第一坐标点和第三坐标点可以形成一个线段，计算机设备将从第一坐标点出发，沿第一坐标点和第三坐标点形成的线段的方向上的射线作为平移基坐标系的第二坐标轴。

步骤430、根据第一坐标点和第四坐标点，确定平移基坐标系的第三坐标轴。

第一坐标点和第四坐标点可以形成一个线段，计算机设备将从第一坐标点出发，沿第一坐标点和第三坐标点形成的线段的方向上的射线作为平移基坐标系的第三坐标轴。

在本实施例中，只需获取标记物的四个位姿数据就可以确定平移基坐标系，操作简单，计算速度快，能够节省时间。

请参见图5，在一个实施例中，机器人的手眼标定的方法还包括以下步骤：

步骤500、根据第一位姿数据、第二位姿数据、第三位姿数据、第四位姿数据、第一旋转矩阵以及第二旋转矩阵确定基坐标系与相机坐标系之间的平移向量。

计算机设备在计算基坐标系和相机坐标系之间的平移向量时，直接使用确定平移基坐标系时获取的第一位姿数据、第二位姿数据、第三位姿数据和第四位姿数据，以及第一旋转矩阵和第二转换矩阵。这样无需再重新获取标记物的位姿数据，能够节省时间。对于确定平移向量的具体过程可以参考上述实施例中的描述，在此不再赘述。

请参见图6，在一个实施例中，机器人的手眼标定的方法还包括以下步骤：

步骤600、确定平移基坐标系的坐标轴之间的夹角误差。

计算机设备在得到平移基坐标系后，确定平移基坐标系的坐标轴的误差。正常情况下，坐标系三个坐标轴之间的夹角均为90度。计算机设备可以通过确定平移基坐标系的第一坐标轴和第二坐标轴之间的夹角与90度之间的第一差值，以及第一坐标轴和第三坐标轴之间的夹角与90度之间的第二差值和第二坐标轴和第三坐标轴之间的夹角与90度之间的第三差值，确定夹角误差。本实施例对确定平移基坐标系的坐标轴之间的夹角误差的方法不作限制，只要能够实现其功能即可。

步骤610、若夹角误差的绝对值大于预设角度，则更新平移基坐标系。

若计算机设备确定的夹角误差的绝对值大于预设角度，即，第一差值的绝对值大于预设角度，或第二差值的绝对值大于预设角度，或第三差值的绝对值大于预设角度时，说明该平移基坐标系不符合要求，需要对其进行更新，即重新确定平移基坐标系。重新确定平移基坐标系得方法可以与第一次确定平移基坐标系得方法相同。

步骤620、若夹角误差的绝对值小于或等于预设角度，则对平移基坐标系的坐标轴之间的夹角进行校正。

若计算机设备确定的夹角误差的绝对值小于或等于预设角度，即第一差值的绝对值小于或等于预设角度，且第二差值的绝对值小于或等于预设角度，且第三差值的绝对值小于或等于预设角度时，说明该平移基坐标系基本符合要求。计算机设备在确定平移基坐标系符合要求后，对该平移基坐标系的坐标轴之间的夹角进行校正，使得该平移基坐标的坐标轴之间的夹角均为90度。在一个可选的实施例中，可以使用施密特正交化的方法对平移基坐标系的坐标轴之间的夹角进行校正。

在本实施例中，通过对确定的平移基坐标系进行判断，确定其是否符合预设的要求，并且通过平移基坐标系的坐标轴之间的夹角进行校正可以使其更加标准和精确，从而使得基于该平移基坐标系得到的第一旋转矩阵更加准确。

请继续参见图5，在一个实施例中，方法还包括：

步骤510、根据基坐标系与工具坐标系之间的位姿转换关系和基坐标系和相机坐标系之间的位姿转换关系，确定工具坐标系和相机坐标系之间的位姿转换关系。

计算机设备可以根据示教器上的关节角以及机器人的生产厂家提供的参数基坐标系与工具坐标系之间的位姿转换关系，根据第一旋转矩阵和平移向量确定基坐标系和相机坐标系之间的位姿转换关系。计算机设备将基坐标系坐标作为确定工具坐标系和相机坐标系之间位姿关系的中间坐标系，在得到基坐标系与工具坐标系之间的位姿转换关系，以及基坐标系与相机坐标系之间的位姿关系后，可以确定工具坐标系和相机坐标系之间的位姿转换关系。

请参见图7，在一个实施例中，根据平移基坐标系，确定基坐标系与相机坐标系之间的第一旋转矩阵，包括：

步骤710、确定相机坐标系和平移基坐标系之间的旋转矩阵。

计算机设备通过相机拍摄到的标记物的位姿数据可以确定相机坐标系下标记物的位姿数据，而平移基坐标系是相机通过拍摄标记物的位姿数据得到的，则计算机设备根据拍摄的标记物的位姿数据可以确定相机坐标系和平移基坐标系之间的旋转矩阵。

在一个具体的实施例中，相机在拍摄到标记物后，根据相机的内参数和像差参数可以确定标记物在拍摄到的图像上的像素坐标系下的坐标值；根据像素坐标系和图像坐标系的转换关系，可以得到标记物的图像坐标系下的坐标值；根据图像坐标系和相机坐标系之间的转换关系，可以得到标记物在相机坐标系下坐标值；根据世界坐标系和相机坐标系之间的转换关系，可以确定标记物在相机坐标系下的位姿数据(位置和姿态)，从而可以确定平移基坐标系和相机坐标系之间的位姿转换关系，该位姿转换关系包括平移基坐标系和相机坐标系之间的旋转矩阵以及平移向量，所以根据该位姿转换关系可以确定相机坐标系和平移基坐标系之间的旋转矩阵。

步骤720、根据相机坐标系和平移基坐标系之间的旋转矩阵确定第一旋转矩阵。

平移基坐标系是基坐标系平移后的坐标系，则相机坐标系与平移基坐标系之间的旋转矩阵和相机坐标系与基坐标系之间的旋转矩阵相同，即相机坐标系与平移基坐标系之间的旋转矩阵就是相机坐标系与基坐标系之间的第一旋转矩阵。在本实施例中，确定第一旋转矩阵的方法方便简单，且容易实现。

应该理解的是，虽然图中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

请参见图8，本申请一个实施例提供一种机器人的手眼标定装置10，该装置包括：旋转矩阵确定模块11、平移向量确定模块12和位姿转换关系确定模块13。其中，

旋转矩阵确定模块11用于确定机器人的基坐标系平移后的平移基坐标系，并根据平移基坐标系，确定基坐标系与相机坐标系之间的第一旋转矩阵；

平移向量确定模块12用于获取机器人的机械臂上的标记物在相机坐标系下的位姿数据，并根据位姿数据、第一旋转矩阵以及第二旋转矩阵确定基坐标系与相机坐标系之间的平移向量；第二旋转矩阵为基坐标系与工具坐标系之间的旋转矩阵；

位姿转换关系确定模块13用于根据第一旋转矩阵和平移向量，确定基坐标系和相机坐标系之间的位姿转换关系。

在一个实施例中，旋转矩阵确定模块11具体用于获取在相机坐标系下，标记物在基坐标系的每一个方向上的位姿数据；根据标记物在基坐标系的每一个方向上的位姿数据确定平移基坐标系。

在一个实施例中，旋转矩阵确定模块11具体还用于确定第一位姿数据的第一坐标点、第二位姿数据的第二坐标点、第三位姿数据的第三坐标点以及第四位姿数据的第四坐标点；根据第一坐标点和第二坐标点，确定平移基坐标系的第一坐标轴；根据第一坐标点和第三坐标点，确定平移基坐标系的第二坐标轴；根据第一坐标点和第四坐标点，确定平移基坐标系的第三坐标轴。

在一个实施例中，平移向量确定模块12还用于根据第一位姿数据、第二位姿数据、第三位姿数据、第四位姿数据、第一旋转矩阵以及第二旋转矩阵确定基坐标系与相机坐标系之间的平移向量。

在一个实施例中，机器人的手眼标定装置10还包括夹角误差确定模块、更新模块和校正模块。其中，

夹角误差确定模块用于确定平移基坐标系的坐标轴之间的夹角误差；

更新模块用于若夹角误差的绝对值大于预设角度，则更新平移基坐标系；

校正模块用于若夹角误差的绝对值小于或等于预设角度，则对平移基坐标系的坐标轴之间的夹角进行校正。

在一个实施例中，位姿转换关系确定模块13还用于根据基坐标系与工具坐标系之间的位姿转换关系和基坐标系和相机坐标系之间的位姿转换关系，确定工具坐标系和相机坐标系之间的位姿转换关系。

在一个实施例中，旋转矩阵确定模块11具体还用于确定相机坐标系和平移基坐标系之间的旋转矩阵；根据相机坐标系和平移基坐标系之间的旋转矩阵确定第一旋转矩阵。

关于上述机器人的手眼标定装置10的具体限定可以参见上文中对于机器人的手眼标定方法的限定，在此不在赘述。机器人的手眼标定装置10中的各个模块可以全部或部分通过软件、硬件及其组合来实现。上述各装置、各模块或者各单元可以以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个装置或模块对应的操作。

请参见图9，在一个实施例中，提供了一种计算机设备，计算机设备可以是服务器，其内部结构图可以如图9所示。计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，计算机设备的处理器用于提供计算和控制能力。计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。计算机设备的数据库用于存储位姿数据等。计算机设备的网络接口用于与外部的终端通过网络连接通信。计算机设备被处理器执行时以实现一种机器人的手眼标定方法。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，处理器执行计算机程序时实现以下步骤：

确定机器人的基坐标系平移后的平移基坐标系，并根据平移基坐标系，确定基坐标系与相机坐标系之间的第一旋转矩阵；

获取机器人的机械臂上的标记物在相机坐标系下的位姿数据，并根据位姿数据、第一旋转矩阵以及第二旋转矩阵确定基坐标系与相机坐标系之间的平移向量；第二旋转矩阵为基坐标系与工具坐标系之间的旋转矩阵；

根据第一旋转矩阵和平移向量，确定基坐标系和相机坐标系之间的位姿转换关系。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取在相机坐标系下，标记物在基坐标系的每一个方向上的位姿数据；根据标记物在基坐标系的每一个方向上的位姿数据确定平移基坐标系。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：确定第一位姿数据的第一坐标点、第二位姿数据的第二坐标点、第三位姿数据的第三坐标点以及第四位姿数据的第四坐标点；根据第一坐标点和第二坐标点，确定平移基坐标系的第一坐标轴；根据第一坐标点和第三坐标点，确定平移基坐标系的第二坐标轴；根据第一坐标点和第四坐标点，确定平移基坐标系的第三坐标轴。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据第一位姿数据、第二位姿数据、第三位姿数据、第四位姿数据、第一旋转矩阵以及第二旋转矩阵确定基坐标系与相机坐标系之间的平移向量。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：确定平移基坐标系的坐标轴之间的夹角误差；若夹角误差的绝对值大于预设角度，则更新平移基坐标系；若夹角误差的绝对值小于或等于预设角度，则对平移基坐标系的坐标轴之间的夹角进行校正。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据基坐标系与工具坐标系之间的位姿转换关系和基坐标系和相机坐标系之间的位姿转换关系，确定工具坐标系和相机坐标系之间的位姿转换关系。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：确定相机坐标系和平移基坐标系之间的旋转矩阵；根据相机坐标系和平移基坐标系之间的旋转矩阵确定第一旋转矩阵。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

确定机器人的基坐标系平移后的平移基坐标系，并根据平移基坐标系，确定基坐标系与相机坐标系之间的第一旋转矩阵；

获取机器人的机械臂上的标记物在相机坐标系下的位姿数据，并根据位姿数据、第一旋转矩阵以及第二旋转矩阵确定基坐标系与相机坐标系之间的平移向量；第二旋转矩阵为基坐标系与工具坐标系之间的旋转矩阵；

根据第一旋转矩阵和平移向量，确定基坐标系和相机坐标系之间的位姿转换关系。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取在相机坐标系下，标记物在基坐标系的每一个方向上的位姿数据；根据标记物在基坐标系的每一个方向上的位姿数据确定平移基坐标系。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：确定第一位姿数据的第一坐标点、第二位姿数据的第二坐标点、第三位姿数据的第三坐标点以及第四位姿数据的第四坐标点；根据第一坐标点和第二坐标点，确定平移基坐标系的第一坐标轴；根据第一坐标点和第三坐标点，确定平移基坐标系的第二坐标轴；根据第一坐标点和第四坐标点，确定平移基坐标系的第三坐标轴。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据第一位姿数据、第二位姿数据、第三位姿数据、第四位姿数据、第一旋转矩阵以及第二旋转矩阵确定基坐标系与相机坐标系之间的平移向量。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：确定平移基坐标系的坐标轴之间的夹角误差；若夹角误差的绝对值大于预设角度，则更新平移基坐标系；若夹角误差的绝对值小于或等于预设角度，则对平移基坐标系的坐标轴之间的夹角进行校正。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据基坐标系与工具坐标系之间的位姿转换关系和基坐标系和相机坐标系之间的位姿转换关系，确定工具坐标系和相机坐标系之间的位姿转换关系。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：确定相机坐标系和平移基坐标系之间的旋转矩阵；根据相机坐标系和平移基坐标系之间的旋转矩阵确定第一旋转矩阵。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种机器人的手眼标定方法，其特征在于，包括：

确定机器人的基坐标系平移后的平移基坐标系，并根据所述平移基坐标系，确定所述基坐标系与相机坐标系之间的第一旋转矩阵；

获取所述机器人的机械臂上的标记物在所述相机坐标系下的位姿数据，并根据所述位姿数据、所述第一旋转矩阵以及第二旋转矩阵确定所述基坐标系与所述相机坐标系之间的平移向量；所述第二旋转矩阵为所述基坐标系与工具坐标系之间的旋转矩阵；

根据所述第一旋转矩阵和所述平移向量，确定所述基坐标系和所述相机坐标系之间的位姿转换关系。

2.根据权利要求1所述的机器人的手眼标定方法，其特征在于，所述确定机器人基坐标系平移后的平移基坐标系，包括：

获取在所述相机坐标系下，所述标记物在所述基坐标系的每一个方向上的位姿数据；

根据所述标记物在所述基坐标系的每一个方向上的位姿数据确定所述平移基坐标系。

3.根据权利要求2所述的机器人的手眼标定方法，其特征在于，所述标记物在所述基坐标系的每一个方向上的位姿数据包括：所述标记物初始位置的第一位姿数据，所述标记物在初始位置沿所述基坐标系的第一坐标轴的方向上平移后的第二位姿数据，所述标记物在初始位置沿所述基坐标系的第二坐标轴的方向上平移后的第三位姿数据，所述标记物在初始位置沿所述基坐标系的第三坐标轴的方向上平移后的第四位姿数据。

4.根据权利要求3所述的机器人的手眼标定方法，其特征在于，所述确定机器人的基坐标系平移后的平移基坐标系，包括：

确定所述第一位姿数据的第一坐标点、所述第二位姿数据的第二坐标点、所述第三位姿数据的第三坐标点以及所述第四位姿数据的第四坐标点；

根据所述第一坐标点和所述第二坐标点，确定所述平移基坐标系的第一坐标轴；

根据所述第一坐标点和所述第三坐标点，确定所述平移基坐标系的第二坐标轴；

根据所述第一坐标点和所述第四坐标点，确定所述平移基坐标系的第三坐标轴。

5.根据权利要求1-3任一项所述的机器人的手眼标定方法，其特征在于，所述方法还包括：

根据所述第一位姿数据、所述第二位姿数据、所述第三位姿数据、所述第四位姿数据、所述第一旋转矩阵以及所述第二旋转矩阵确定所述基坐标系与所述相机坐标系之间的平移向量。

6.根据权利要求1所述的机器人的手眼标定方法，其特征在于，所述方法还包括：

确定所述平移基坐标系的坐标轴之间的夹角误差；

若所述夹角误差的绝对值大于预设角度，则更新所述平移基坐标系；

若所述夹角误差的绝对值小于或等于所述预设角度，则对所述平移基坐标系的坐标轴之间的夹角进行校正。

7.根据权利要求1所述的机器人的手眼标定方法，其特征在于，所述方法还包括：

根据所述基坐标系与所述工具坐标系之间的位姿转换关系和所述基坐标系和所述相机坐标系之间的位姿转换关系，确定所述工具坐标系和所述相机坐标系之间的位姿转换关系。

8.一种机器人的手眼标定装置，其特征在于，包括：

旋转矩阵确定模块，用于确定机器人的基坐标系平移后的平移基坐标系，并根据所述平移基坐标系，确定所述基坐标系与相机坐标系之间的第一旋转矩阵；

平移向量确定模块，用于获取所述机器人的机械臂上的标记物在所述相机坐标系下的位姿数据，并根据所述位姿数据、所述第一旋转矩阵以及第二旋转矩阵确定所述基坐标系与所述相机坐标系之间的平移向量；所述第二旋转矩阵为所述基坐标系与工具坐标系之间的旋转矩阵；

位姿转换关系确定模块，用于根据所述第一旋转矩阵和所述平移向量，确定所述基坐标系和所述相机坐标系之间的位姿转换关系。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images