CN117917689A - 一种机器人相机标定方法、系统、设备及介质 - Google Patents

Abstract

一种机器人相机标定方法，其特征在于，包括如下步骤：步骤S1：在第一位置处采集标定装置表面图像，得到第一图像；其中，所述标定装置包含多个表面，且至少三个所述表面上包含至少三级尺寸信息；步骤S2：移动机器人至第二位置处，采集所述标定装置同一所述表面图像，得到第二图像；其中，所述第一图像和所述第二图像采集到的尺寸信息属于不同级别；步骤S3：根据所述第一图像和所述第二图像对机器人相机进行标定。本发明利用多层次标定板图像对不同的距离的运动体均可以提供合适的尺寸信息，通过移动机器人获得不同深度下的标定装置图像，通过对图像与已知尺寸的比较，可以自动对机器人实现高精度的标定。

Description

一种机器人相机标定方法、系统、设备及介质

技术领域

本发明涉及机器人标定领域，具体地，涉及一种机器人相机标定方法、系统、设备及介质。

背景技术

机器人通常装配有深度相机。深度相机在出厂前会进行标定与校准，以使得其在使用之前具有准确获得数据的能力。而对于带有深度相机的机器人而言，在使用前往往会由于装配等因素会导致深度相机与机器人的配合不理想，需要对深度相机与机器人的配合进行进一步标定。而在部分特殊应用场景中，也需要根据场景特点进行重新标定。而这些标定工作往往需要使用者联系厂家进行指导或派人现场调试，这无疑造成了使用不便，并增加了维护成本。

这是由于现有技术中采用的标定技术往往存在操作复杂、难度高的问题，无法在应用场景中快速便捷进行标定。

某发明公开了机器人零点位置标定装置及标定方法，所述标定装置包括标定机器人各轴初始零点位置的第一零标块及第二零标块，包括固定于第一零标块上的主零标片和固定在第二零标块上的副零标片；所述主零标片上设有定位槽口，所述副零标片上设有和所述主零标片上定位槽口相对齐的标定槽口，还包括能够同时塞入定位槽口及标定槽口内的塞片。

某申请涉及机器人技术领域，提供了一种机器人的标定工件，包括标定板和检测部件，标定板安装在机器人的底座上；检测部件包括固定在所述机器人末端的传感器夹具、安装在所述传感器夹具上的多个距离传感器；通过所述距离传感器检测所述检测部件与所述标定板之间的距离，以实现对所述机器人的零位标定。本发明提供的标定工件减少了标定所需的工件数量，减少了对机器人本体的改动，降低了标定成本，提高了标定效率。

某发明设计了一种基于3D标定块的机器人与3D相机的手眼标定方法.通过相机获得标定块的灰度信息,利用模板匹配算法分割标定块的各个平面,计算出平面中多个点在像素坐标系下的位置,同时获取该像素坐标的深度信息,拟合出标定块多个平面的法向量信息,通过多个平面相交求解出特征点位置.利用随机抽样一致性算法剔除错误特征点后,根据正确的特征点求解出机器人在不同姿态下获取标定块点云数据之间的转换关系,结合机器人当前坐标求解出手眼标定结果,并建立误差评价模型对结果进行误差分析.最后通过DENSON六自由度机械臂与康耐视EA-5000相机对此方法与利用标定板进行手眼标定的方法进行比较验证,结果显示此方法可以更快速,准确地完成标定。

某发明提供一种机器人标定方法，其特征在于，所述方法利用标定块进行标定，其中，所述标定块包括：底座，具有一表面；至少一凸块，凸出于所述表面，所述凸块具有倾斜于所述表面且相邻的至少两个斜面，所述至少两个斜面均朝向所述凸块的底面中心倾斜；所述至少两个斜面、所述表面具有若干三面交点，所述若干三面交点中的至少部分与所述表面距离不同，构成所述标定块的标定点；所述表面定义为第一平面，所述凸块具有平行于所述第一平面的顶面，所述顶面定义为第二平面，所述方法包括：获取标定块的深度图像；其中，所述深度图像由一个深度相机采集得到；从所述深度图像中，提取所述凸块的底面所在的第一平面，以及对所述深度图像进行深度截取，得到在所述底面和所述顶面之间的两个中间平面；对所述两个中间平面中的任意一个进行限缩，确定所述顶面所在的第二平面，以及根据所述两个中间平面的轮廓，得到连接所述两个中间平面的至少两个斜面；基于至少两个斜面、所述第一平面和所述第二平面形成的若干三面交点，确定标定点；根据所述标定点的相机坐标、和机器人末端在同一所述标定点的机器人坐标，确定坐标转换关系，以对所述深度相机和所述机器人进行标定。

现有技术中往往采用复杂或者精度较高的装置、设备对机器人进行标定，并且需要专业的操作技巧，从而导致机器人在交付后，一旦出现异常，由于标定的难度较大，往往需要厂家专业技术人员的支持。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为此，本发明利用多层次标定板图像对不同的距离的运动体均可以提供合适的尺寸信息，通过移动机器人获得不同深度下的标定装置图像，通过对图像与已知尺寸的比较，可以自动对机器人实现高精度的标定。

第一方面，本发明提供一种机器人相机标定方法，其特征在于，包括如下步骤：

步骤S1：在第一位置处采集标定装置表面图像，得到第一图像；其中，所述标定装置包含多个表面，且至少三个所述表面上包含至少三级尺寸信息；

步骤S2：移动机器人至第二位置处，采集所述标定装置同一所述表面图像，得到第二图像；其中，所述第一图像和所述第二图像采集到的尺寸信息属于不同级别；

步骤S3：根据所述第一图像和所述第二图像对机器人相机进行标定。

可选地，所述的一种机器人相机标定方法，其特征在于，所述步骤S1包括：

步骤S11：通过所述表面图像判断所述标定装置表面与机器人相机的夹角；

步骤S12：移动机器人至与所述标定装置表面垂直，并能清晰获得至少一个级别的尺寸信息的位置；

步骤S13：拍摄所述标定装置表面图像，即为第一图像。

可选地，所述的一种机器人相机标定方法，其特征在于，所述步骤S2包括：

步骤S21：判断所述第一图像中所述尺寸信息的级别；

步骤S22：根据所述级别向接近或远离所述标定装置的方向移动机器人；

步骤S23：当机器人相机与所述标定装置表面垂直，并能清晰获得与所述第一图像中尺寸信息不同级别的尺寸信息时，停止移动；

步骤S24：采集第二图像。

可选地，所述的一种机器人相机标定方法，其特征在于，适用于单目相机标定，所述步骤S3包括：

步骤S31：获取第一相机内参；所述第一相机内参是指相机的核心部件的参数，包括镜片焦距、传感器尺寸等；

步骤S32：由所述相机向标定物发射结构光，并改变所述相机与所述标定物的距离，以获取不同深度距离的多张标定图像；

步骤S33：对多张所述标定图像进行处理，获取多个特征点位置信息；

步骤S34：利用所述特征点位置信息，计算相机内参和标定板相对于相机的外参；其中，每个所述标定图像对应一个平面方程；

步骤S35：选择某个距离的所述标定图像作为基准图像，其他所述标定图像与所述基准图像进行匹配，然后根据不同所述标定图像上对应匹配点所对应生成的3D点，求取投射中心；

步骤S36：对上一步骤获取的数据进行优化，并且在优化时，采用分阶段迭代优化的方法，获得相机的所有参数。

可选地，所述的一种机器人相机标定方法，其特征在于，适用于双目或多目相机标定，所述步骤S3包括：

步骤S41:获取相机第一原始参数；其中，所述相机包括第一摄像头和第二摄像头，所述第一原始参数是指双目相机的核心部件的参数，包括镜片焦距、传感器尺寸、基线距离等；

步骤S42：控制相机分别获得标定物的第一图像和第二图像；其中，所述第一图像由所述第一摄像头拍摄，所述第二图像由所述第二摄像头拍摄；

步骤S43：对所述第一图像和所述第二图像进行处理，获取多个特征点位置信息；

步骤S44:对上一步骤获取的数据进行优化，并且在优化时，采用分阶段迭代优化的方法，获得相机的所有参数。

可选地，所述的一种机器人相机标定方法，其特征在于，所述标定装置包括：

第一尺寸单元，用于提供第一尺寸；

第二尺寸单元，用于提供第二尺寸，并且位于所述第一尺寸单元内；

第三尺寸单元，用于提供第三尺寸，并且位于所述第二尺寸单元内。

可选地，所述的一种机器人相机标定方法，其特征在于，所述多个第二尺寸单元组成二维码，可以供机器人读取并获得信息。

第二方面，本发明提供一种机器人相机标定系统，用于实现前述任一项所述的机器人相机标定方法，其特征在于，包括：

第一采集模块，用于在第一位置处采集标定装置表面图像，得到第一图像；其中，所述标定装置包含多个表面，且至少三个所述表面上包含至少三级尺寸信息；

第二采集模块，用于移动机器人至第二位置处，采集所述标定装置同一所述表面图像，得到第二图像；其中，所述第一图像和所述第二图像采集到的尺寸信息属于不同级别；

标定模块，用于根据所述第一图像和所述第二图像对机器人相机进行标定。

第三方面，本发明提供一种机器人相机标定设备，其特征在于，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行前述任意一项所述机器人相机标定方法的步骤。

第四方面，本发明提供一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现前述任意一项所述机器人相机标定方法的步骤。

与现有技术相比，本发明具有如下的有益效果：

本发明利用具有至少三级尺寸信息的标定装置，可以获得不同深度下的信息，相比于单一深度进行的标定，标定的结果更加准确。

本发明提供至少三级尺寸信息，使得机器人与标定装置的距离更加灵活，可以适用于多种应用场景下的标定，适用性强。

本发明自动根据机器人获得的图像对机器人进行位移调整，可以实现机器人的自动标定，对操作人员的要求更低，适用于各类应用场景中的自动调整，大大降低运维过程中的系统维护要求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例中一种机器人相机标定方法的步骤流程图；

图2是本发明实施例中一种采集第一图像的步骤流程图；

图3是本发明实施例中一种采集第二图像的步骤流程图；

图4为本发明实施例中一种标定的步骤流程图；

图5为本发明实施例中另一种标定的步骤流程图；

图6为本发明实施例中一种标定装置的结构示意图；

图7为本发明实施例中另一种标定装置的结构示意图；

图8为本发明实施例中一种机器人相机标定系统的模块示意图；

图9为本发明实施例中一种机器人相机标定设备的结构示意图；以及

图10为本发明实施例中计算机可读存储介质的结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供的一种机器人相机标定方法，旨在解决现有技术中存在的问题。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

本发明实施例利用多层次标定板图像对不同的距离的运动体均可以提供合适的尺寸信息，通过移动机器人获得不同深度下的标定装置图像，通过对图像与已知尺寸的比较，可以自动对机器人实现高精度的标定。

图1为本发明实施例中一种机器人相机标定方法的步骤流程图。如图1所示，本发明实施例中一种机器人相机标定方法包括如下步骤：

步骤S1：在第一位置处采集标定装置表面图像，得到第一图像。

在本步骤中，所述标定装置包含多个表面，且至少三个所述表面上包含至少三级尺寸信息。当开始标定时，人员将标定装置放置于机器人前方，并将机器人设置为标定模式。此时，机器人可以获得标定装置一个表面的图像，即为第一图像。机器人在标定模式下，只对标定装置进行处理，而对其他的目标不进行处理。如果机器人在采集标定装置时受到干扰，如果遮挡等，则使机器人移动，以避开遮挡，获得较好的图像质量。同时，如果机器人距离标定装置的距离过近或过远，则移动机器人至能够获得清晰的尺寸信息的位置。

步骤S2：移动机器人至第二位置处，采集所述标定装置同一所述表面图像，得到第二图像。

在本步骤中，不同于上一步骤，所述第一图像和所述第二图像采集到的尺寸信息属于不同级别。本步骤采集的表面与上一步骤采集的是标定装置的同一表面。第二位置与第一位置不同。对于部分机器人和标定装置而言，可以同时获得较清晰两个级别的尺寸信息，但是，在这种情况下也需要对机器人进行移动，以获得不同深度下的表面图像。本实施例所涉及的机器人均具有自主移动功能，可以自主进行移动，不需要人工干预。在部分实施例中，第一位置距离标定装置的距离是预设的，第二位置距离标定装置的距离也是预设的。比如，第一位置距离标定装置为15cm，第二位置距离标定装置45cm。当然，第二位置也可以在不同的位置拍摄多张第二图像，比如，在45cm和70cm各拍摄一张图像，得到两张第二图像。

步骤S3：根据所述第一图像和所述第二图像对机器人相机进行标定。

在本步骤中，利用不同距离下的第一图像和第二图像对机器人相机进行标定。相比于现有技术中通常采用一种深度距离进行标定，采用两个或更多个深度下的图像可以获得更加精确的标定结果。在本实施例的应用场景中，相机是经过标定的，但是后期一些突发因素导致部分数据异常。因此，通过对多个不同深度图像的处理，可以利用已知的尺寸，对数据进行校正，从而可以得到标定后的准确内参与外参。机器人相机是指机器人的相机。本专利对“机器人”和“机器人相机”分别进行描述。

图2是本发明实施例中一种采集第一图像的步骤流程图。如图2所示，本发明实施例中一种采集第一图像的方法包括如下步骤：

步骤S11：通过所述表面图像判断所述标定装置表面与机器人相机的夹角。

在本步骤中，初始放置的标定装置与机器人相机存在一定的夹角，而该夹角并不总是90度。当角度不为90度时，在标定时还需要进行校正，从而可能导致处理过程中出现问题。同时，角度为90度时还可以消除畸变等因素的影响。本步骤通过判断机器人相机与标定装置表面的夹角，为后续调整视角提供依据。

步骤S12：移动机器人至与所述标定装置表面垂直，并能清晰获得至少一个级别的尺寸信息的位置。

在本步骤中，移动机器人至可以获得清晰尺寸信息的位置。对于部分机器人和标定装置而言，机器人在该位置处可以同时获得两个不同级别的尺寸信息，但此时应选取其中一个尺寸信息作为当前尺寸信息。

步骤S13：拍摄所述标定装置表面图像，即为第一图像。

在本步骤中，获取当前满足预设要求的表面图像，得到第一图像，用于标定。

本实施例根据标定装置的角度自动调整机器人的位置，使得机器人相机可以获得准确清晰可靠的表面图像，从而可以自动获得预设位置处的表面图像，可以提高标定结果。

图3是本发明实施例中一种采集第二图像的步骤流程图。如图3所示，本发明实施例中一种采集第二图像的方法包括如下步骤。

步骤S21：判断所述第一图像中所述尺寸信息的级别。

在本步骤中，第一图像中尺寸信息的级别是可以根据标定装置表面的图像进行判断的。在部分实施例中，也可以根据标定装置表面中的附加信息进行判断，如形状、颜色等。在部分实施例中，步骤S1中预设了第一图像的拍摄距离，从而固定了特定机器人与特定标定装置下的第一图像中尺寸信息的级别，使得本步骤可以直接跳过，执行下一步骤。

步骤S22：根据所述级别向接近或远离所述标定装置的方向移动机器人。

在本步骤中，由于标定装置中的级别是有限的，而机器人相机有效的探测范围也是有限的，因此需要在一定的距离范围内进行拍摄。而标定装置中的级别与机器人相机的探测范围总是相适应的。由于标定前的数据可能存在偏差，所以以第一图像中的尺寸信息进行判断更加准确。

步骤S23：当机器人相机与所述标定装置表面垂直，并能清晰获得与所述第一图像中尺寸信息不同级别的尺寸信息时，停止移动。

在本步骤中，移动机器人到合适位置，并与标定装置表面垂直。本步骤需要重新判断机器人相机是否与标定装置表面垂直，主要是由于机器人移动过程中，标定装置和机器人都可能存在角度的变化。本步骤还需要对机器人相机的角度进行调整，以使其与标定装置表面垂直。当可获得的图像中尺寸信息与步骤S1中为不同级别的尺寸信息时，就可以停止移动。在部分实施例中，预设距离标定装置的距离，即采集到的标定装置表面的尺寸大小。此时，当获得的图像中可以得到预设的尺寸大小时停止移动。

步骤S24：采集第二图像。

在本步骤中，在一个位置获得一个图像，即第二图像。也可以在不同位置处采集多张不同深度的图像，作为第二图像，即第二图像可以有多张，以提高标定的精度。

本实施例将根据第一图像的尺寸信息级别，向接近或远离标定装置的方向移动机器人，并再次对机器人的朝向进行调整，从而可以获得与标定装置表面垂直的第二图像，并与第一图像具有相同的角度，不同的深度距离，有利于提高标定的精度。

图4为本发明实施例中一种标定的步骤流程图。如图4所示，本发明实施例中一种标定方法包括如下步骤。

步骤S31:获取第一相机内参；

在本步骤中，所述第一相机内参是指相机的核心部件的参数，包括镜片焦距、传感器尺寸等。单目结构光相机包括结构光投射器和IR接收器，在有的单目结构相机中还包括RGB相机，本实施例以仅有结构光投射器和IR接收器的单目结构光相机为例进行说明。相机的标定就是求取内参矩阵Kc和投影仪的内参矩阵Kp，以及相机和投影仪之间的外参矩阵：旋转矩阵R和平移矩阵T的过程。此外，由于相机和投影仪的镜头都不可避免的存在畸变，我们还需要标定出相机和投影仪的畸变系数。在需要标定的参数中，部分参数与相机的核心部件的参数密切相关，或者就是相机的核心部件的参数本身。通常相机配件的厂商会提供其参数，因此可以直接使用。如果相机配件的厂商未提供相关参数，则可以跳过本步骤，将这些参数与其他参数一同标定。

步骤S32：由所述相机向标定物发射结构光，并改变所述相机与所述标定物的距离，以获取不同深度距离的多张标定图像；

在本步骤中，相机的标定有自标定和特征物标定两种。自标定是以寻找图像中的特征点的方式进行标定。标定物标定是采用标定物的方式进行标定，其特征点易求，稳定性好，也是最广泛采用的标定方式。本实施例采用的标定物为标定板。标定板的种类有多种，比如CharuCo，棋盘格，不对称的圆和棋盘格。本实施例后续以棋盘格为例进行说明，但显然也可以应用其他标定物实现本实施例之目的。

本步骤需要将标定物置于相机视野内，通过改变标定物与相机距离的方式获取多张标定图像。标定图像是待标定的相机拍摄的包含有标定物的图像。在改变标定物与相机距离时，既可以只移动相机，也可以只移动标定物，还可以同时对相机和标定物进行移动。只要能够改变两者的相对距离即可，本实施例不对具体的实现方式进行限制。相比于在相机的不同距离处布置标定物，通过移动改变相机与标定物的距离的方式有助于保持标定物的一致性，规避了不同标定物在细节上存在细微差异的问题，使得标定的一致性更好。在一次标定过程中，只采用一个标定物，以保持标定的准确性。

在移动相机或标定物的过程中，需要沿着光轴方向移动，从而保证获得的多张不同深度的标定图像具有相同的视角，有利于提高对比的一致性。较优地，标定物垂直于相机光轴放置，且标定物中心位于光轴上。

步骤S33：对多张所述标定图像进行处理，获取多个特征点位置信息；

在本步骤中，不同的标定物具有不同的特征点。如果为棋盘格标定板，其特征点为黑白相间的网格与对角线方向上的网格的连接点，因其是两条直线的交叉点，又是两种不同颜色的分隔点而非常容易识别。多个特征点的分布呈现一定的规律性，因而更容易对相机较大范围内进行标定。或者，标定物图像为圆形标定板，则提取圆形点阵的圆心作为特征，又或者标定物为十字丝，则提取十字丝中心作为特征。提取特征后，根据特征位置，计算相机内参和畸变系数。例如，可以采用张正友标定法计算相机内参和畸变系数。

步骤S34：利用所述特征点位置信息，计算相机内参和标定板相对于相机的外参；

其中，每个所述标定图像对应一个平面方程，多个所述标定图像对应多个不同的平面方程。

当标定物中心位于相机光轴上时，根据张氏标定法可知像素坐标系和世界坐标系下的坐标映射关系为：

其中，u,v表示像素坐标系中的坐标，u₀,z₀,γ(由于制造误差产生的两个坐标轴偏斜参数，通常很小，如果按上述矩阵运算得到的值即为0)表示5个相机内参,R,t表示相机外参,z_w,y_w,z_w表示世界坐标系中的坐标。

f_x,f_y和物理焦距f之间的关系为：f_x＝fs_x和f_y＝fs_y。其中表示x方向上的1毫米长度所代表像素值，即像素/单位毫米。

(x_w,y_w)作为标定物的空间坐标，可以由设计者人为控制，是已知量。(u,v)是像素坐标，我们可以直接通过摄像机获得。对于一组对应(x_w,y_w)-(u,v)我们可以获得两组方程。

现在有8个未知量需要求解，所以我们至少需要八个方程。所以需要四个对应点。四点即可算出，图像平面到世界平面的单应性矩阵H。而通常为了提高数据的准确性，减少误差，使其具有更强的鲁棒性，往往会拍摄许多张照片。

由于标定板的尺寸及特征点位置是已知的，本步骤可以通过特征点位置信息，计算得到标定物在相机坐标系下的平面方程。

散斑图像采用散斑提取方法进行定位，例如采用Blob分析，图像分割等方法获取散斑中心。不同位置之间的散斑通过匹配算法，例如Block Match，SIFT或光流法等实现匹配。

步骤S35：选择某个距离的所述标定图像作为基准图像，其他所述标定图像与所述基准图像进行匹配，然后根据不同所述标定图像上对应匹配点所对应生成的3D点，求取投射中心；

利用步骤S33中的特征定位方法，对标定物进行定位，进而得到标定物平面与图像平面的单应变换，利用步骤要S33计算得到的相机内参和畸变参数，计算出标定物物理平面在相机坐标系下的平面方程，同时利用单应变换，将步骤S34中提取到的散斑位置变换到标定物的物理平面，得到其在相机坐标系下的三维坐标。利用步骤S34得到的匹配关系，将相同的点连接成直线。根据投射器的光学性质，不同散斑对应直线的光束汇聚到投射器中心。该中心作为后续优化的初始值。

通过识别不同深度的标定图像可以获得不同的特征点位置，获得在同一光路上的特征点的坐标，即可获得投射中心。理论上，两张不同深度的标定图像即可求取投射中心。但由于待求取参数较多，现有技术中通常采用4组以上的照片才可以获得所有待求参数。而本实施例由于采用了第一相机内参对参数进行固定，使得只需要2组参数即可获得所有待求参数，即只需要2组标定图像。

步骤S36：对上一步骤获取的数据进行优化，并且在优化时，采用分阶段迭代优化的方法，获得相机的所有参数。

在对计算所得数据进行优化时，采用分阶段优化的方式，即先固定一部分参数，使得其他参数迅速收敛。在优化过程中，实际的数据优化常常有多个局部极值，优化时常常将该值优化到局部极值，但并不总是优化到最佳极值。本步骤通过先固定一部分参数，迫使其接近最佳极佳，从而可以达到快速收敛的目的，并解决了优化至局部极值的问题。

从计算时间上看，本步骤并比现有技术中整体优化的方法时间略长，但是节省了本步骤之前的时间，从而在整体上节省了时间、标定成本，提高了数据的一致性，更加适应于工业生产的需要。

本实施例明确了拍摄多组标定图像的过程，并且与现有技术中的图像标定相配合，提高了本实施例的应用场景，并且可以保证拍摄的至少2组拍摄图像满足应用需求，在相同的条件下取得更好的标定准确，从而提高数据的鲁棒性。本实施例的应用可以使得工业应用中的数据可以更加快捷的获取，并且具有更好的一致性，更加适用于工业应用。

图5为本发明实施例中另一种标定的步骤流程图。如图5所示，本发明实施例中另一种标定的方法包括如下步骤。

步骤S41:获取相机第一原始参数；

在本步骤中，不同于单目相机，双目或多相机具有两个或多个成像的摄像头。后续以双目相机为例进行说明。双目相机由两个单目相机组成，相机间距离(基线)已知来估计像素间位置。双目相机有其明显的优点，比如基线距离越大测量越远，可以用于室内和室外。但同时，其配置与标定复杂，深度量程与精度受基线与分辨率限制，需要特殊处理，计算量大。相比于单目相机，双目相机除了单个相机的参数外，还包括基线距离。在标定时，需要将标定物置于两个单独相机的共同视野中。所述相机包括第一摄像头和第二摄像头，所述第一原始参数是指双目相机的核心部件的参数，包括镜片焦距、传感器尺寸、基线距离等。

步骤S42：控制相机分别获得标定物的第一图像和第二图像；

在本步骤中，所述第一图像由所述第一摄像头拍摄，所述第二图像由所述第二摄像头拍摄。所述第一图像和所述第二图像均是在所有参数固定不变的情况下拍摄获得的，包括标定物与相机的距离。第一图像和第二图像中均存在标定物，即双目相机的公共视野中存在标定物。需要指出的是，标定物可以有部分不在双目相机的公共视野内。

步骤S43：对所述第一图像和所述第二图像进行处理，获取多个特征点位置信息；

在本步骤中，第一图像和第二图像上均可以获得多个特征点位置信息，每个图像获得一组特征点位置信息。通过多组特征点位置信息数据，可以获取相机中心。与单目相机相同，双目相机也需要至少2组标定图像，才可以获得相机中心数据。

不同于单目相机，在双目相机标定中，还需要对相机进行极线校正，以使得两个相机的光轴完全平行，这样才能够继续后续的深度计算，三维重建。例如在OPencv中采用的是Bouguet的极线校正的算法。具体的算法已有较多公开，本实施例不再赘述。

步骤S44:对上一步骤获取的数据进行优化，并且在优化时，采用分阶段迭代优化的方法，获得相机的所有参数。

在本步骤中，优化方法为非线性优化算法。本实施例采用Levenberg-Marquardt(以下简称LM算法)进行分阶段优化，当然，也可以采用其它非线性优化算法进行优化。本步骤与步骤S36基本相同，区别在于双目相机与单目相机不同而引起的参数不同。在对计算所得数据进行优化时，采用分阶段优化的方式，即先固定一部分参数，使得其他参数迅速收敛。在优化过程中，实际的数据优化常常有多个局部极值，优化时常常将该值优化到局部极值，但并不总是优化到最佳极值。本步骤通过先固定一部分参数，迫使其接近最佳极佳，从而可以达到快速收敛的目的，并解决了优化至局部极值的问题。

从计算时间上看，本步骤并比现有技术中整体优化的方法时间略长，但是节省了本步骤之前的时间，从而在整体上节省了时间、标定成本，提高了数据的一致性，更加适应于工业生产的需要。

本实施例利用双目相机的初始参数，使双目相机的标定过程迅速收敛，避免了优化至局部极值的问题，使得标定结果更加准确，并且具有较高的一致性，更加适用于工业生产的需求，可以大大降低相机生产商的标定成本，提高标定效率。

图6为本发明实施例中一种标定装置的结构示意图。如图6所示，本发明实施例中一种标定装置包括：

第一尺寸单元100，用于提供第一尺寸；

第二尺寸单元200，用于提供第二尺寸，并且位于所述第一尺寸单元内；

第三尺寸单元300，用于提供第三尺寸，并且位于所述第二尺寸单元内。

具体地说，第一尺寸大于第二尺寸，第二尺寸大于第三尺寸。第一尺寸单元100、第二尺寸单元200和第三尺寸单元300均为多个相同大小的正方形组成。所述正方形的边长为尺寸标识的最小尺寸。第一尺寸单元100为横盘格，即黑白相间的方格，从而可以快速进行识别。第二尺寸单元200和第三尺寸单元300可以均为棋盘格。第二尺寸单元200和第三尺寸单元300有规律地位于第一尺寸单元100的黑格内。通过判断第一尺寸单元100中一个黑格内的更小单位的黑格数量，可以区分出第二尺寸单元200和第三尺寸单元300。比如，第一尺寸单元100的一个黑格内，第二尺寸单元200的最小单元的数量为5个，而第三尺寸单元300的最小单元的数量为10个。当拍摄到相邻的黑格数量为7时，可知该黑格为第三尺寸单元300的最小单元。

如图7所示，在部分实施例中，多个第二尺寸单元200组成二维码，可以供机器人读取并获得信息。由第二尺寸单元200组成的二维码可以提供除黑格尺寸外的更多信息，从而使得机器人可以更好地利用这些信息进行数据处理。比如，扫描二维码可以获得表面所有最小尺寸及当前最小尺寸，从而增强了机器人标定装置的通用性。

在部分实施例中，多个第三尺寸单元300组成二维码，可以供机器人读取并获得信息。由第三尺寸单元300组成的二维码可以提供除黑格尺寸外的更多信息，从而使得机器人可以更好地利用这些信息进行数据处理。相比于第二尺寸单元200，第三尺寸单元300的尺寸更小，可以提供更多的信息。第三尺寸单元300包含的信息可以与第二尺寸单元200包含的信息不同。由于二维码为静态二维码，所以其二维码包含的信息为固定的信息，比如当前表面的尺寸信息、当前二维码在当前表面的位置信息等。

图8为本发明实施例中一种机器人相机标定系统的模块示意图。如图8所示，本发明实施例中的一种机器人相机标定系统包括：

第一采集模块4，用于在第一位置处采集标定装置表面图像，得到第一图像；其中，所述标定装置包含多个表面，且至少三个所述表面上包含至少三级尺寸信息；

第二采集模块5，用于移动机器人至第二位置处，采集所述标定装置同一所述表面图像，得到第二图像；其中，所述第一图像和所述第二图像采集到的尺寸信息属于不同级别；

标定模块6，用于根据所述第一图像和所述第二图像对机器人相机进行标定。

本发明实施例中还提供一种机器人相机标定设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的一种机器人相机标定方法的步骤。

如上，本实施例利用多层次标定板图像对不同的运动体均可以提供合适的定位信息，通过对相机获得的多层次标定板图像识别最小层次定位信息，获得尽可能多的定位信息，从而实现对不同运动体的自适应定位，并且可以获得较高的精度。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

图9是本发明实施例中的一种机器人相机标定设备的结构示意图。下面参照图9来描述根据本发明的这种实施方式的电子设备600。图9显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述一种机器人相机标定方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图9中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

本发明实施例中还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的一种机器人相机标定方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述一种机器人相机标定方法部分中描述的根据本发明各种示例性实施方式的步骤。

如上所示，本实施例利用多层次标定板图像对不同的运动体均可以提供合适的定位信息，通过对相机获得的多层次标定板图像识别最小层次定位信息，获得尽可能多的定位信息，从而实现对不同运动体的自适应定位，并且可以获得较高的精度。

图10是本发明实施例中的计算机可读存储介质的结构示意图。参考图10所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本实施例利用多层次标定板图像对不同的运动体均可以提供合适的定位信息，通过对相机获得的多层次标定板图像识别最小层次定位信息，获得尽可能多的定位信息，从而实现对不同运动体的自适应定位，并且可以获得较高的精度。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种机器人相机标定方法，其特征在于，包括如下步骤：

步骤S1：在第一位置处采集标定装置表面图像，得到第一图像；其中，所述标定装置包含多个表面，且至少三个所述表面上包含至少三级尺寸信息；

步骤S2：移动机器人至第二位置处，采集所述标定装置同一所述表面图像，得到第二图像；其中，所述第一图像和所述第二图像采集到的尺寸信息属于不同级别；

步骤S3：根据所述第一图像和所述第二图像对机器人相机进行标定。

2.根据权利要求1所述的一种机器人相机标定方法，其特征在于，所述步骤S1包括：

步骤S11：通过所述表面图像判断所述标定装置表面与机器人相机的夹角；

步骤S12：移动机器人至与所述标定装置表面垂直，并能清晰获得至少一个级别的尺寸信息的位置；

步骤S13：拍摄所述标定装置表面图像，即为第一图像。

3.根据权利要求1所述的一种机器人相机标定方法，其特征在于，所述步骤S2包括：

步骤S21：判断所述第一图像中所述尺寸信息的级别；

步骤S22：根据所述级别向接近或远离所述标定装置的方向移动机器人；

步骤S23：当机器人相机与所述标定装置表面垂直，并能清晰获得与所述第一图像中尺寸信息不同级别的尺寸信息时，停止移动；

步骤S24：采集第二图像。

4.根据权利要求1所述的一种机器人相机标定方法，其特征在于，适用于单目相机标定，所述步骤S3包括：

步骤S31：获取第一相机内参；所述第一相机内参是指相机的核心部件的参数，包括镜片焦距、传感器尺寸等；

步骤S32：由所述相机向标定物发射结构光，并改变所述相机与所述标定物的距离，以获取不同深度距离的多张标定图像；

步骤S33：对多张所述标定图像进行处理，获取多个特征点位置信息；

步骤S34：利用所述特征点位置信息，计算相机内参和标定板相对于相机的外参；其中，每个所述标定图像对应一个平面方程；

步骤S35：选择某个距离的所述标定图像作为基准图像，其他所述标定图像与所述基准图像进行匹配，然后根据不同所述标定图像上对应匹配点所对应生成的3D点，求取投射中心；

步骤S36：对上一步骤获取的数据进行优化，并且在优化时，采用分阶段迭代优化的方法，获得相机的所有参数。

5.根据权利要求1所述的一种机器人相机标定方法，其特征在于，适用于双目或多目相机标定，所述步骤S3包括：

步骤S41:获取相机第一原始参数；其中，所述相机包括第一摄像头和第二摄像头，所述第一原始参数是指双目相机的核心部件的参数，包括镜片焦距、传感器尺寸、基线距离等；

步骤S42：控制相机分别获得标定物的第一图像和第二图像；其中，所述第一图像由所述第一摄像头拍摄，所述第二图像由所述第二摄像头拍摄；

步骤S43：对所述第一图像和所述第二图像进行处理，获取多个特征点位置信息；

步骤S44:对上一步骤获取的数据进行优化，并且在优化时，采用分阶段迭代优化的方法，获得相机的所有参数。

6.根据权利要求1所述的一种机器人相机标定方法，其特征在于，所述标定装置包括：

第一尺寸单元，用于提供第一尺寸；

第二尺寸单元，用于提供第二尺寸，并且位于所述第一尺寸单元内；

第三尺寸单元，用于提供第三尺寸，并且位于所述第二尺寸单元内。

7.根据权利要求1所述的一种机器人相机标定方法，其特征在于，所述多个第二尺寸单元组成二维码，可以供机器人读取并获得信息。

8.一种机器人相机标定系统，用于实现权利要求1至7中任一项所述的机器人相机标定方法，其特征在于，包括：

第一采集模块，用于在第一位置处采集标定装置表面图像，得到第一图像；其中，所述标定装置包含多个表面，且至少三个所述表面上包含至少三级尺寸信息；

第二采集模块，用于移动机器人至第二位置处，采集所述标定装置同一所述表面图像，得到第二图像；其中，所述第一图像和所述第二图像采集到的尺寸信息属于不同级别；

标定模块，用于根据所述第一图像和所述第二图像对机器人相机进行标定。

9.一种机器人相机标定设备，其特征在于，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任意一项所述机器人相机标定方法的步骤。

10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至7中任意一项所述机器人相机标定方法的步骤。