CN117994354A - 手眼标定方法、装置、存储介质及计算机设备 - Google Patents

Abstract

在本申请提供的手眼标定方法、装置、存储介质及计算机设备中，获取辅助标定物体的多张图像，确定每张图像所对应的机器人末端执行器的位置；提取每张图像中的图像特征点，将各个图像特征点进行匹配，建立各张图像之间的约束关系；根据约束关系和每张图像所对应的机器人末端执行器的位置，对辅助标定物体、双目相机和机器人末端执行器进行几何模型拟合，得到双目相机与机器人末端执行器之间的坐标变换关系。该方法中，利用双目相机进行标定，无需额外传感器设备，利用双目相机的立体视觉能力，对环境条件的影响相对较小，可以克服环境因素对标定结果的影响。基于匹配特征点建立图像约束关系，以确定准确的坐标变换关系，确保手眼标定的准确性。

Description

手眼标定方法、装置、存储介质及计算机设备

技术领域

本申请涉及机器视觉技术领域，尤其涉及一种手眼标定方法、装置、存储介质及计算机设备。

背景技术

手眼标定是一种在机器视觉领域广泛应用的技术，用于确定机器人或计算机视觉系统中相机和机器人末端执行器之间的准确位置关系。手眼标定技术可以帮助机器人准确地感知和定位周围环境，从而实现精确的操作和交互。目前，手眼标定在工业自动化、无人驾驶、医疗影像等领域得到了广泛的应用。

然而，传统的手眼标定方法通常需要额外的传感器设备来提供更多的信息。其中，传感器设备可以是激光雷达、红外线传感器等，其能够提供额外的视觉或距离数据。虽然传感器设备能够增加标定过程中的数据量，但是在实际应用中，环境因素可能会对传感器设备的输出产生干扰，从而影响标定结果的准确性。

发明内容

本申请的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中*手眼标定结果的准确性不高的技术缺陷。

第一方面，本申请提供了一种手眼标定方法，所述方法包括：

获取辅助标定物体的多张图像，以及确定每张所述图像所对应的机器人末端执行器的位置，所述图像由安装于所述机器人末端执行器的双目相机对所述辅助标定物体进行多角度拍摄得到的；

提取每张所述图像中的图像特征点，并将各个所述图像特征点进行匹配，以建立各张所述图像之间的约束关系，所述约束关系用于表示所述双目相机每次拍摄时的姿态以及与所述辅助标定物体的相对位置；

根据所述约束关系和每张所述图像所对应的机器人末端执行器的位置，对所述辅助标定物体、所述双目相机和所述机器人末端执行器进行几何模型拟合，得到所述双目相机与所述机器人末端执行器之间的坐标变换关系。

在其中一个实施例中，所述获取辅助标定物体的多张图像，以及确定每张所述图像所对应的机器人末端执行器的位置的步骤，包括：

获取所述辅助标定物体的形状和尺寸，以及获取所述双目相机的视野和视角；

根据所述辅助标定物体的形状和尺寸，以及所述双目相机的视野和视角，确定多个拍摄位置点，并确定每个所述拍摄位置点的先后顺序，各个所述拍摄位置点用于覆盖所述辅助标定物体的各个角度；

按照在每个所述拍摄位置点的先后顺序，控制所述机器人末端执行器依次移动到每个所述拍摄位置点；

在每个所述拍摄位置点上，采用所述双目相机对所述辅助标定物体进行拍摄，并将该拍摄位置点的位置信息与对应的所述辅助标定物体的图像建立关联。

在其中一个实施例中，所述提取每张所述图像中的图像特征点，并将各个所述图像特征点进行匹配的步骤，包括：

对每张所述图像进行预处理，并采用特征提取算法，从预处理后的每张图像中提取图像特征点；

计算每个所述图像特征点的特征描述子，并根据各个所述特征描述子，将各个所述图像特征点进行匹配。

在其中一个实施例中，所述根据各个所述特征描述子，将各个所述图像特征点进行匹配的步骤，包括：

对于每个所述图像特征点，将不包含该图像特征点的多张图像作为目标图像，并计算该图像特征点对应的特征描述子，与每张所述目标图像对应的特征描述子之间的相似度，根据各个所述相似度，选择最高相似度对应的图像特征点进行匹配。

在其中一个实施例中，所述建立各张所述图像之间的约束关系的步骤，包括：

根据匹配后的各个所述图像特征点，计算所述双目相机中两个相机之间的几何关系；

根据匹配后的各个所述图像特征点和所述几何关系，进行三维重建，得到各个所述图像特征点的三维位置，并根据各个所述三维位置，确定所述约束关系。

在其中一个实施例中，所述根据所述约束关系和每张所述图像所对应的机器人末端执行器的位置，对所述辅助标定物体、所述双目相机和所述机器人末端执行器进行几何模型拟合，得到所述双目相机与所述机器人末端执行器之间的坐标变换关系的步骤，包括：

根据所述约束关系和每张所述图像所对应的机器人末端执行器的位置，确定所述双目相机与所述辅助标定物体之间的坐标变换关系，以及所述辅助标定物体与所述机器人末端执行器之间的坐标变换关系；

根据所述双目相机与所述辅助标定物体之间的坐标变换关系，以及所述辅助标定物体与所述机器人末端执行器之间的坐标变换关系，对所述辅助标定物体、所述双目相机和所述机器人末端执行器进行几何模型拟合，得到所述双目相机与所述机器人末端执行器之间的坐标变换关系。

第二方面，本申请提供了一种手眼标定装置，所述装置包括：

图像获取模块，用于获取辅助标定物体的多张图像，以及确定每张所述图像所对应的机器人末端执行器的位置，所述图像由安装于所述机器人末端执行器的双目相机对所述辅助标定物体进行多角度拍摄得到的；

约束关系建立模块，用于提取每张所述图像中的图像特征点，并将各个所述图像特征点进行匹配，以建立各张所述图像之间的约束关系，所述约束关系用于表示所述双目相机每次拍摄时的姿态以及与所述辅助标定物体的相对位置；

坐标变换关系获取模块，用于根据所述约束关系和每张所述图像所对应的机器人末端执行器的位置，对所述辅助标定物体、所述双目相机和所述机器人末端执行器进行几何模型拟合，得到所述双目相机与所述机器人末端执行器之间的坐标变换关系。

在其中一个实施例中，所述图像获取模块包括：

参数获取单元，用于获取所述辅助标定物体的形状和尺寸，以及获取所述双目相机的视野和视角；

拍摄位置点确定单元，用于根据所述辅助标定物体的形状和尺寸，以及所述双目相机的视野和视角，确定多个拍摄位置点，并确定每个所述拍摄位置点的先后顺序，各个所述拍摄位置点用于覆盖所述辅助标定物体的各个角度；

机器人末端执行器控制单元，用于按照在每个所述拍摄位置点的先后顺序，控制所述机器人末端执行器依次移动到每个所述拍摄位置点；

图像拍摄单元，用于在每个所述拍摄位置点上，采用所述双目相机对所述辅助标定物体进行拍摄，并将该拍摄位置点的位置信息与对应的所述辅助标定物体的图像建立关联。

第三方面，本申请提供了一种存储介质，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述任一项实施例所述手眼标定方法的步骤。

第四方面，本申请提供了一种计算机设备，包括：一个或多个处理器，以及存储器；

所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，执行如上述任一项实施例所述手眼标定方法的步骤。

从以上技术方案可以看出，本申请实施例具有以下优点：

在本申请提供的手眼标定方法、装置、存储介质及计算机设备中，获取辅助标定物体的多张图像，以及确定每张图像所对应的机器人末端执行器的位置，图像由安装于机器人末端执行器的双目相机对辅助标定物体进行多角度拍摄得到的；提取每张图像中的图像特征点，并将各个图像特征点进行匹配，以建立各张图像之间的约束关系，约束关系用于表示双目相机每次拍摄时的姿态以及与辅助标定物体的相对位置；根据约束关系和每张图像所对应的机器人末端执行器的位置，对辅助标定物体、双目相机和机器人末端执行器进行几何模型拟合，得到双目相机与机器人末端执行器之间的坐标变换关系。该方法中，利用双目相机进行标定，无需额外的传感器设备，从而降低了手眼标定的成本和复杂性，并且利用双目相机的立体视觉能力，对环境条件的影响相对较小，因此，不仅可以避免传感器受干扰影响标定结果的问题，还可以克服环境因素对标定结果的影响。同时，使用多角度图像中的特征点匹配，并基于匹配特征点建立图像之间的约束关系，以确定准确的坐标变换关系，确保手眼标定的准确性和可靠性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的手眼标定方法的流程示意图；

图2为本申请实施例提供的手眼标定装置的结构示意图；

图3为本申请实施例提供的计算机设备的内部结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请提供了一种手眼标定方法。下述实施例以该方法应用于计算机设备为例进行说明，可以理解，计算机设备可以是各种具备数据处理功能的设备，可以但不限于单个服务器、服务器集群等。如图1所示，本申请提供了一种手眼标定方法，所述方法包括：

S101：获取辅助标定物体的多张图像，以及确定每张所述图像所对应的机器人末端执行器的位置，所述图像由安装于所述机器人末端执行器的双目相机对所述辅助标定物体进行多角度拍摄得到的。

其中，辅助标定物体是用于标定机器人末端执行器位置的物体，通常是具有已知尺寸和几何形状的对象。机器人末端执行器是指机器人臂上的末端工具，它可以执行各种操作，比如抓取、搬运、装配等。双目相机是指一种具有两个摄像头的相机系统，模拟人眼的双眼视觉，可以获取立体图像信息。

本步骤中，将双目相机安装到机器人的末端执行器上，并确保相机的参数已经进行了标定，包括内部参数和外部参数，其中，内部参数包括但不限于焦距和畸变，外部参数包括但不限于相机之间的平移和旋转关系。使用机器人末端执行器上的双目相机，对辅助标定物体进行多角度拍摄。确保在不同的角度下，辅助标定物体位于图像的各个位置，以获得更全面的数据。

S102：提取每张所述图像中的图像特征点，并将各个所述图像特征点进行匹配，以建立各张所述图像之间的约束关系，所述约束关系用于表示所述双目相机每次拍摄时的姿态以及与所述辅助标定物体的相对位置。

本步骤中，对于每张图像，使用计算机视觉算法(如SIFT、SURF、ORB等)从图像中提取特征点。特征点可以是图像中的角点、边缘、斑点等突出的局部特征。使用特征匹配算法，对每对图像的特征点进行匹配。匹配的目标是寻找在两张图像中具有相似外观特征的特征点对。根据特征点的匹配结果，在每张图像之间建立约束关系。约束关系可以是相机的姿态，如旋转角度和平移向量，以及相机与辅助标定物体之间的相对位置关系。通过使用优化方法，如最小二乘法或非线性优化算法，对约束关系进行优化，以提高其准确性和一致性。优化的目标是找到最佳的相机姿态和相对位置，使得所有约束关系都能够得到满足。

S103：根据所述约束关系和每张所述图像所对应的机器人末端执行器的位置，对所述辅助标定物体、所述双目相机和所述机器人末端执行器进行几何模型拟合，得到所述双目相机与所述机器人末端执行器之间的坐标变换关系。

本步骤中，根据约束关系，建立双目相机、辅助标定物体和机器人末端执行器之间的初始几何模型。该模型可以是一个刚性变换矩阵，用于描述双目相机到机器人末端执行器的坐标变换关系。通过使用最小二乘法或非线性优化算法，对初始模型进行拟合，以最小化误差函数。误差函数可以是特征点匹配误差、相机姿态误差或机器人末端执行器位置误差等。通过计算误差指标来评估拟合结果的准确性。若误差指标很小，则说明拟合结果是可靠的，可以用于计算双目相机与机器人末端执行器之间的坐标变换关系。根据拟合结果，计算双目相机与机器人末端执行器之间的坐标变换关系。该关系可以是一个4x4的齐次变换矩阵，用于将双目相机坐标系下的点映射到机器人末端执行器坐标系下。

在上述实施例中，获取辅助标定物体的多张图像，以及确定每张图像所对应的机器人末端执行器的位置，图像由安装于机器人末端执行器的双目相机对辅助标定物体进行多角度拍摄得到的；提取每张图像中的图像特征点，并将各个图像特征点进行匹配，以建立各张图像之间的约束关系，约束关系用于表示双目相机每次拍摄时的姿态以及与辅助标定物体的相对位置；根据约束关系和每张图像所对应的机器人末端执行器的位置，对辅助标定物体、双目相机和机器人末端执行器进行几何模型拟合，得到双目相机与机器人末端执行器之间的坐标变换关系。该方法中，利用双目相机进行标定，无需额外的传感器设备，从而降低了手眼标定的成本和复杂性，并且利用双目相机的立体视觉能力，对环境条件的影响相对较小，因此，不仅可以避免传感器受干扰影响标定结果的问题，还可以克服环境因素对标定结果的影响。同时，使用多角度图像中的特征点匹配，并基于匹配特征点建立图像之间的约束关系，以确定准确的坐标变换关系，确保手眼标定的准确性和可靠性。

在一个实施例中，所述获取辅助标定物体的多张图像，以及确定每张所述图像所对应的机器人末端执行器的位置的步骤，包括：

获取所述辅助标定物体的形状和尺寸，以及获取所述双目相机的视野和视角；

根据所述辅助标定物体的形状和尺寸，以及所述双目相机的视野和视角，确定多个拍摄位置点，并确定每个所述拍摄位置点的先后顺序，各个所述拍摄位置点用于覆盖所述辅助标定物体的各个角度；

按照在每个所述拍摄位置点的先后顺序，控制所述机器人末端执行器依次移动到每个所述拍摄位置点；

在每个所述拍摄位置点上，采用所述双目相机对所述辅助标定物体进行拍摄，并将该拍摄位置点的位置信息与对应的所述辅助标定物体的图像建立关联。

具体而言，通过测量或使用3D扫描仪等设备获取辅助标定物体的几何信息，包括形状和尺寸。查阅双目相机的技术规格或文档，获取相机的视野和视角参数。这些参数通常包括水平视野、垂直视野和水平视角等。根据辅助标定物体的形状和尺寸，以及双目相机的视野和视角，确定多个拍摄位置点，并确定每个位置点的先后顺序。确保每个位置点能够覆盖辅助标定物体的各个角度。按照拍摄位置点的先后顺序，控制机器人末端执行器依次移动到每个位置点。可以使用机器人的运动控制系统来实现精确的位置控制。在每个拍摄位置点上，使用双目相机对辅助标定物体进行拍摄。确保拍摄时相机能够完整地捕捉到辅助标定物体，并保持适当的焦距和曝光。将每个拍摄位置点的位置信息与对应的辅助标定物体的图像进行关联，可以使用文件命名、数据库记录或其他方式来保存这些关联信息。

本实施例中，通过获取辅助标定物体的形状和尺寸，结合双目相机的视野和视角，并且通过确定多个拍摄位置点并确定顺序，可以确保辅助标定物体在不同角度下被完整地拍摄到。同时通过将拍摄位置点的位置信息与对应的辅助标定物体的图像进行关联，可以实现位置与图像的对应，实现更准确的手眼标定。

在一个实施例中，所述提取每张所述图像中的图像特征点，并将各个所述图像特征点进行匹配的步骤，包括：

对每张所述图像进行预处理，并采用特征提取算法，从预处理后的每张图像中提取图像特征点；

计算每个所述图像特征点的特征描述子，并根据各个所述特征描述子，将各个所述图像特征点进行匹配。

具体而言，对每张图像进行预处理，包括去噪、灰度化、尺寸调整等操作。从预处理后的每张图像中提取图像特征点。常用的特征提取算法包括SIFT(尺度不变特征变换)、SURF(加速稳健特征)、ORB(Oriented FAST and Rotated BRIEF)等，从而在不同尺度和旋转下提取出具有区分性的关键点。

对于每个图像特征点，计算其特征描述子。特征描述子是对图像特征点周围区域的描述，在相似图像间具有一致性。常见的特征描述子包括SIFT描述子、SURF描述子、ORB描述子等。根据特征描述子，对各个图像特征点进行匹配。常用的匹配算法包括暴力匹配和基于近邻搜索的匹配算法，如最近邻匹配和最近邻距离比匹配等，从而能够找到在不同图像间具有相似特征的对应点。

本实施例中，通过从每张图像中提取特征点并计算其描述子，可以为每个特征点建立一个独特的标识。通过匹配这些特征描述子，可以找到不同图像之间具有相似特征的对应点，从而实现图像之间的关联。

在一个实施例中，所述根据各个所述特征描述子，将各个所述图像特征点进行匹配的步骤，包括：

对于每个所述图像特征点，将不包含该图像特征点的多张图像作为目标图像，并计算该图像特征点对应的特征描述子，与每张所述目标图像对应的特征描述子之间的相似度，根据各个所述相似度，选择最高相似度对应的图像特征点进行匹配。

具体而言，对于每个图像特征点，将不包含该特征点的多张图像作为目标图像。换句话说，对于某一特征点，需要从其他图像中寻找相似的特征点。之后，可以使用各种特征提取算法，例如SIFT，SURF，ORB等来计算每个图像特征点的描述子向量。对于每张目标图像，可以使用各种相似度度量方法，例如欧氏距离和余弦相似度等，计算该图像特征点描述子与目标图像特征描述子之间的相似度。在所有目标图像中，可以通过比较相似度值，选择与该图像特征点相似度最高的目标图像特征点进行匹配。

本实施例中，通过与多张目标图像进行比较，可以降低由于噪声、遮挡、光照变化等因素引起的误匹配的可能性，从而提高了匹配的鲁棒性。与多张目标图像对应的特征描述子进行比较，可以更准确地找到与当前图像特征点最相似的目标图像特征点，从而提高了匹配的准确性。通过与多个目标图像进行比较，可以更好地区分特征点，并找到最匹配的目标图像特征点，从而增强了特征点的鉴别能力。通过与多个目标图像进行比较，可以更好地区分特征点，并找到最匹配的目标图像特征点，从而增强了特征点的鉴别能力。

在一个实施例中，所述建立各张所述图像之间的约束关系的步骤，包括：

根据匹配后的各个所述图像特征点，计算所述双目相机中两个相机之间的几何关系；

根据匹配后的各个所述图像特征点和所述几何关系，进行三维重建，得到各个所述图像特征点的三维位置，并根据各个所述三维位置，确定所述约束关系。

具体而言，首先需要获取两个相机的内参矩阵，包括焦距、主点坐标和畸变参数等。相机内参可以通过相机标定或者厂商提供的参数进行获取。通过匹配后的特征点对，可以使用RANSAC等方法估计得到基础矩阵或本质矩阵。基础矩阵描述了两个相机之间的几何关系，而本质矩阵除了几何关系，还包含了相机内参的信息。利用匹配的特征点和基础矩阵(或本质矩阵)，可以进行三角化计算，得到特征点在三维空间中的坐标。通过对应的像素坐标和相机投影模型，可以计算出三维点的位置。根据三维重建的结果，可以进一步确定约束关系，例如相邻图像间的相机运动、物体的尺寸和形状等等。通过计算三维点之间的距离、角度和方向等几何属性，可以确定约束关系。

本实施例中，通过计算图像特征点在双目相机中的几何关系和进行三维重建，可以得到图像特征点的三维位置，从而实现对拍摄场景的三维重建。利用三维重建得到的图像特征点的三维位置，可以更精准确定双目相机和机器人末端执行器之间的姿态关系。

在一个实施例中，所述根据所述约束关系和每张所述图像所对应的机器人末端执行器的位置，对所述辅助标定物体、所述双目相机和所述机器人末端执行器进行几何模型拟合，得到所述双目相机与所述机器人末端执行器之间的坐标变换关系的步骤，包括：

根据所述约束关系和每张所述图像所对应的机器人末端执行器的位置，确定所述双目相机与所述辅助标定物体之间的坐标变换关系，以及所述辅助标定物体与所述机器人末端执行器之间的坐标变换关系；

根据所述双目相机与所述辅助标定物体之间的坐标变换关系，以及所述辅助标定物体与所述机器人末端执行器之间的坐标变换关系，对所述辅助标定物体、所述双目相机和所述机器人末端执行器进行几何模型拟合，得到所述双目相机与所述机器人末端执行器之间的坐标变换关系。

具体而言，利用约束关系，可以通过最小二乘法或其他优化算法来计算双目相机与辅助标定物体之间的坐标变换关系，该变换关系可以将双目相机坐标系下的点映射到辅助标定物体坐标系下。同样利用约束关系，可以计算辅助标定物体与机器人末端执行器之间的坐标变换关系，该变换关系可以将辅助标定物体坐标系下的点映射到机器人末端执行器坐标系下。

根据双目相机与辅助标定物体之间的坐标变换关系，以及辅助标定物体与机器人末端执行器之间的坐标变换关系，进行几何模型拟合。该可以利用最小二乘法或其他拟合算法，将双目相机、辅助标定物体和机器人末端执行器之间的几何关系进行拟合，并得到最优的坐标变换关系。

本实施例中，通过确定双目相机与辅助标定物体之间的坐标变换关系和辅助标定物体与机器人末端执行器之间的坐标变换关系，可以建立更为精确的空间转换模型，有助于消除位置和姿态误差，提高手眼标定的准确性。

下面对本申请实施例提供的手眼标定装置进行描述，下文描述的手眼标定装置与上文描述的手眼标定方法可相互对应参照。如图2所示，本申请提供了一种手眼标定装置，所述装置包括：

图像获取模块201，用于获取辅助标定物体的多张图像，以及确定每张所述图像所对应的机器人末端执行器的位置，所述图像由安装于所述机器人末端执行器的双目相机对所述辅助标定物体进行多角度拍摄得到的；

约束关系建立模块202，用于提取每张所述图像中的图像特征点，并将各个所述图像特征点进行匹配，以建立各张所述图像之间的约束关系，所述约束关系用于表示所述双目相机每次拍摄时的姿态以及与所述辅助标定物体的相对位置；

坐标变换关系获取模块203，用于根据所述约束关系和每张所述图像所对应的机器人末端执行器的位置，对所述辅助标定物体、所述双目相机和所述机器人末端执行器进行几何模型拟合，得到所述双目相机与所述机器人末端执行器之间的坐标变换关系。

在一个实施例中，所述图像获取模块201包括：

参数获取单元，用于获取所述辅助标定物体的形状和尺寸，以及获取所述双目相机的视野和视角；

拍摄位置点确定单元，用于根据所述辅助标定物体的形状和尺寸，以及所述双目相机的视野和视角，确定多个拍摄位置点，并确定每个所述拍摄位置点的先后顺序，各个所述拍摄位置点用于覆盖所述辅助标定物体的各个角度；

机器人末端执行器控制单元，用于按照在每个所述拍摄位置点的先后顺序，控制所述机器人末端执行器依次移动到每个所述拍摄位置点；

图像拍摄单元，用于在每个所述拍摄位置点上，采用所述双目相机对所述辅助标定物体进行拍摄，并将该拍摄位置点的位置信息与对应的所述辅助标定物体的图像建立关联。

在一个实施例中，所述约束关系建立模块202包括：

特征提取单元，用于对每张所述图像进行预处理，并采用特征提取算法，从预处理后的每张图像中提取图像特征点；

特征匹配单元，用于计算每个所述图像特征点的特征描述子，并根据各个所述特征描述子，将各个所述图像特征点进行匹配。

在一个实施例中，所述特征匹配单元包括：

特征匹配子单元，用于对于每个所述图像特征点，将不包含该图像特征点的多张图像作为目标图像，并计算该图像特征点对应的特征描述子，与每张所述目标图像对应的特征描述子之间的相似度，根据各个所述相似度，选择最高相似度对应的图像特征点进行匹配。

在一个实施例中，所述约束关系建立模块202包括：

几何关系计算单元，用于根据匹配后的各个所述图像特征点，计算所述双目相机中两个相机之间的几何关系；

约束关系确定单元，用于根据匹配后的各个所述图像特征点和所述几何关系，进行三维重建，得到各个所述图像特征点的三维位置，并根据各个所述三维位置，确定所述约束关系。

在一个实施例中，所述坐标变换关系获取模块203包括：

第一坐标关系确定单元，用于根据所述约束关系和每张所述图像所对应的机器人末端执行器的位置，确定所述双目相机与所述辅助标定物体之间的坐标变换关系，以及所述辅助标定物体与所述机器人末端执行器之间的坐标变换关系；

第二坐标关系确定单元，用于根据所述双目相机与所述辅助标定物体之间的坐标变换关系，以及所述辅助标定物体与所述机器人末端执行器之间的坐标变换关系，对所述辅助标定物体、所述双目相机和所述机器人末端执行器进行几何模型拟合，得到所述双目相机与所述机器人末端执行器之间的坐标变换关系。

在一个实施例中，本申请还提供了一种存储介质，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例中任一项所述手眼标定方法的步骤。

在一个实施例中，本申请还提供了一种计算机设备，所述计算机设备中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例中任一项所述手眼标定方法的步骤。

示意性地，如图3所示，图3为本申请实施例提供的一种计算机设备的内部结构示意图，该计算机设备300可以被提供为一服务器。参照图3，计算机设备300包括处理组件302，其进一步包括一个或多个处理器，以及由存储器301所代表的存储器资源，用于存储可由处理组件302的执行的指令，例如应用程序。存储器301中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件302被配置为执行指令，以执行上述任意实施例的手眼标定方法。

计算机设备300还可以包括一个电源组件303被配置为执行计算机设备300的电源管理，一个有线或无线网络接口304被配置为将计算机设备300连接到网络，和一个输入输出(I/O)接口305。计算机设备300可以操作基于存储在存储器301的操作系统，例如WindowsServer TM、Mac OS XTM、Unix TM、Linux TM、Free BSDTM或类似。

本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本文中，“一”、“一个”、“所述”、“该”和“其”也可以包括复数形式，除非上下文清楚指出另外的方式。多个是指至少两个的情况，如2个、3个、5个或8个等。“和/或”包括相关所列项目的任何及所有组合。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种手眼标定方法，其特征在于，所述方法包括：

获取辅助标定物体的多张图像，以及确定每张所述图像所对应的机器人末端执行器的位置，所述图像由安装于所述机器人末端执行器的双目相机对所述辅助标定物体进行多角度拍摄得到的；

提取每张所述图像中的图像特征点，并将各个所述图像特征点进行匹配，以建立各张所述图像之间的约束关系，所述约束关系用于表示所述双目相机每次拍摄时的姿态以及与所述辅助标定物体的相对位置；

根据所述约束关系和每张所述图像所对应的机器人末端执行器的位置，对所述辅助标定物体、所述双目相机和所述机器人末端执行器进行几何模型拟合，得到所述双目相机与所述机器人末端执行器之间的坐标变换关系。

2.根据权利要求1所述的手眼标定方法，其特征在于，所述获取辅助标定物体的多张图像，以及确定每张所述图像所对应的机器人末端执行器的位置的步骤，包括：

获取所述辅助标定物体的形状和尺寸，以及获取所述双目相机的视野和视角；

根据所述辅助标定物体的形状和尺寸，以及所述双目相机的视野和视角，确定多个拍摄位置点，并确定每个所述拍摄位置点的先后顺序，各个所述拍摄位置点用于覆盖所述辅助标定物体的各个角度；

按照在每个所述拍摄位置点的先后顺序，控制所述机器人末端执行器依次移动到每个所述拍摄位置点；

在每个所述拍摄位置点上，采用所述双目相机对所述辅助标定物体进行拍摄，并将该拍摄位置点的位置信息与对应的所述辅助标定物体的图像建立关联。

3.根据权利要求1所述的手眼标定方法，其特征在于，所述提取每张所述图像中的图像特征点，并将各个所述图像特征点进行匹配的步骤，包括：

对每张所述图像进行预处理，并采用特征提取算法，从预处理后的每张图像中提取图像特征点；

计算每个所述图像特征点的特征描述子，并根据各个所述特征描述子，将各个所述图像特征点进行匹配。

4.根据权利要求3所述的手眼标定方法，其特征在于，所述根据各个所述特征描述子，将各个所述图像特征点进行匹配的步骤，包括：

对于每个所述图像特征点，将不包含该图像特征点的多张图像作为目标图像，并计算该图像特征点对应的特征描述子，与每张所述目标图像对应的特征描述子之间的相似度，根据各个所述相似度，选择最高相似度对应的图像特征点进行匹配。

5.根据权利要求1所述的手眼标定方法，其特征在于，所述建立各张所述图像之间的约束关系的步骤，包括：

根据匹配后的各个所述图像特征点，计算所述双目相机中两个相机之间的几何关系；

根据匹配后的各个所述图像特征点和所述几何关系，进行三维重建，得到各个所述图像特征点的三维位置，并根据各个所述三维位置，确定所述约束关系。

6.根据权利要求1所述的手眼标定方法，其特征在于，所述根据所述约束关系和每张所述图像所对应的机器人末端执行器的位置，对所述辅助标定物体、所述双目相机和所述机器人末端执行器进行几何模型拟合，得到所述双目相机与所述机器人末端执行器之间的坐标变换关系的步骤，包括：

根据所述约束关系和每张所述图像所对应的机器人末端执行器的位置，确定所述双目相机与所述辅助标定物体之间的坐标变换关系，以及所述辅助标定物体与所述机器人末端执行器之间的坐标变换关系；

根据所述双目相机与所述辅助标定物体之间的坐标变换关系，以及所述辅助标定物体与所述机器人末端执行器之间的坐标变换关系，对所述辅助标定物体、所述双目相机和所述机器人末端执行器进行几何模型拟合，得到所述双目相机与所述机器人末端执行器之间的坐标变换关系。

7.一种手眼标定装置，其特征在于，所述装置包括：

图像获取模块，用于获取辅助标定物体的多张图像，以及确定每张所述图像所对应的机器人末端执行器的位置，所述图像由安装于所述机器人末端执行器的双目相机对所述辅助标定物体进行多角度拍摄得到的；

约束关系建立模块，用于提取每张所述图像中的图像特征点，并将各个所述图像特征点进行匹配，以建立各张所述图像之间的约束关系，所述约束关系用于表示所述双目相机每次拍摄时的姿态以及与所述辅助标定物体的相对位置；

坐标变换关系获取模块，用于根据所述约束关系和每张所述图像所对应的机器人末端执行器的位置，对所述辅助标定物体、所述双目相机和所述机器人末端执行器进行几何模型拟合，得到所述双目相机与所述机器人末端执行器之间的坐标变换关系。

8.根据权利要求7所述的手眼标定方法，其特征在于，所述图像获取模块包括：

参数获取单元，用于获取所述辅助标定物体的形状和尺寸，以及获取所述双目相机的视野和视角；

拍摄位置点确定单元，用于根据所述辅助标定物体的形状和尺寸，以及所述双目相机的视野和视角，确定多个拍摄位置点，并确定每个所述拍摄位置点的先后顺序，各个所述拍摄位置点用于覆盖所述辅助标定物体的各个角度；

机器人末端执行器控制单元，用于按照在每个所述拍摄位置点的先后顺序，控制所述机器人末端执行器依次移动到每个所述拍摄位置点；

图像拍摄单元，用于在每个所述拍摄位置点上，采用所述双目相机对所述辅助标定物体进行拍摄，并将该拍摄位置点的位置信息与对应的所述辅助标定物体的图像建立关联。

9.一种存储介质，其特征在于：所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至6中任一项所述手眼标定方法的步骤。

10.一种计算机设备，其特征在于，包括：一个或多个处理器，以及存储器；

所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，执行如权利要求1至6中任一项所述手眼标定方法的步骤。