CN115026814A - 用于机械臂运动空间重建的相机自动标定方法 - Google Patents

Abstract

本发明公开了一种用于机械臂运动空间重建的相机自动标定方法，包括将相机标定板固定于机械臂的前端，并利用机械臂自带的方法求出标定板的工具坐标点；手动控制机械臂位移调整，将标定板移动至相机视野中心；计算机在接收到标定板此刻的三维空间坐标点后，以该点为中心生成均匀分布的空间坐标点集；机械臂在接收到生成坐标点集后，自动遍历该坐标点集；计算机在机械臂每运动到一个空间坐标点后保存相机采集到的图像，然后根据采集到的图像和生成的坐标点集计算相机变换矩阵，输出相机参数。本发明利用机械臂自动化的特点和图像动态筛选算法，实现机械臂空间运动重建过程中相机的自动化标定，从而提高相机输出参数的精度和相机标定效率。

Description

用于机械臂运动空间重建的相机自动标定方法

技术领域

本发明涉及计算机视觉和机器人技术领域，尤其涉及一种用于机械臂运动空间重建的相机自动标定方法。

背景技术

随着工业自动化的发展，机械臂已经普遍应用于工业、制造业以及医疗等行业中。结合计算机视觉技术，对机械臂运动空间进行重建、理解和感知，从而自动化完成相应的工作成为一种趋势。相机标定是计算机视觉和机器人技术的重要前提和基础。标定结果的准确性直接影响着机械臂空间重建的精确度。

现有的相机标定方法一般为人工标定法，即通过人手持标定板在相机视野中不断移动，相机通过采集不同位置含有标定板的图像，从而实现相机标定。现存方法的不足之处在于：1）由于标定板为人工手持，存在不稳定的情况，这会影响标定精度；2）相机空间采样不均匀，提高相机标定输出参数的不准确性；3）效率低，浪费人力资源。

因此，提高相机标定精度和标定效率，节约人力资源对于机械臂运动空间重建、感知和理解有着重要意义。

发明内容

针对现有方法的不足之处，本发明提出了一种用于机械臂运动空间重建的相机自动标定方法，利用机械臂自动化的特点和图像动态筛选算法，实现机械臂空间运动重建过程中相机的自动化标定，从而提高相机输出参数的精度和相机标定效率。

本发明实现上述目的的技术解决方案为，一种用于机械臂运动空间重建的相机自动标定方法，其特征在于包括步骤：

在相机标定之前，将相机标定板固定于机械臂的运动末端，并采用TCP四点法计算出相机标定板的工具坐标点；

手动控制机械臂将相机标定板移动至需要标定的相机视野中心，并将相机标定板此刻的空间坐标发送至计算机；

计算机收到空间坐标后，以此空间坐标为中心点生成均匀分布的空间坐标点集，并依次发送坐标点到机械臂；

机械臂在每次接收到计算机发送的坐标点后自动运动到对应位置，并保持精制等待接收下一个坐标点，且计算机在判断机械臂运动到达对应位置并停止后，保存相机采集到的图像，图像保存后再向机械臂发送下一个坐标点；

在机械臂遍历空间坐标点集中所有坐标点且计算机保存所有图像后，机械臂结束运行，计算机根据生成的坐标点和保存的图像利用图像动态筛选算法，计算相机变换矩阵，输出相机参数。

上述用于机械臂运动空间重建的相机自动标定方法，进一步地，所述相机标定板为硬质平整塑料板且正面贴有磨砂材质的AruCo码，目标标定板通过机械夹具或者固定栓装接于机械臂的运动末端。

上述用于机械臂运动空间重建的相机自动标定方法，进一步地，所述相机标定板包括AruCo码左上、左下、右上和右下四个顶点的工具坐标点，每个工具坐标点包含X，Y，Z三个维度；然后根据这四个坐标点计算相机标定板中心坐标点，计算公式为：

。

上述用于机械臂运动空间重建的相机自动标定方法，进一步地，所述相机视野中心为相机标定板的中心点在需要标定相机的图像坐标系中心，且相机标定板占据相机视野5%-10%。

上述用于机械臂运动空间重建的相机自动标定方法，进一步地，所述空间坐标点集均匀地分布在以相机标定板为中心的人为限制的一个正方体范围内，所述相机标定板定位于接收第一个坐标点之前。

上述用于机械臂运动空间重建的相机自动标定方法，进一步地，所述保存相机采集到的图像为RGB自然图像，图像中存在完全不缺失的目标标定板。

上述用于机械臂运动空间重建的相机自动标定方法，进一步地，所述图像动态筛选算法包含相机参数计算模块和图像筛选模块，

其中相机参数计算模块首先检测每一张保存的图像中相机标定板的AruCo码中心点的像素坐标，然后通过张氏标定法计算出生成的空间坐标点和检测得到的像素坐标点的关系映射矩阵，输出相机参数；

图像筛选模块为首先根据输出的相机参数，计算每一张图像坐标点下，对应空间坐标点的误差，然后按照误差从小到大排序，选取前若干张图像像素坐标点和对应的空间坐标点再次计算关系映射矩阵，得到更精确的相机参数。

应用本发明该相机自动标定方法，与传统人工标定方法相比较，利用机械臂精度高、自动化的特点，结合计算机技术，自动生成均匀分布的空间点集，并采集和保存对应的标定板图像，利用图像动态筛选算法，完成对待标定相机的标定，简化了相机标定的步骤，提高相机输出参数的精度和相机标定效率，节约人力成本。

附图说明

图1为本发明用于机械臂运动空间重建的相机自动标定方法的整体流程图。

图2为本发明用于机械臂运动空间重建的相机自动标定方法的场景模型示意图。

图3为本发明用于机械臂运动空间重建的相机自动标定方法中的图像采集流程图。

图4为本发明用于机械臂运动空间重建的相机自动标定方法中的图像动态筛选流程图。

具体实施方式

以下便结合实施例附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握，从而对本发明的保护范围做出更为清晰的界定。

下面将结合本发明的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明所述“以上”、“以下”均含本数。若未特别指明，实施举例中所用的技术手段为本领域技术人员所熟知的常规手段。需要说明的是：全文所述“计算”均指录入本发明提供算法/方法后利用硬件或软件自动运行的计算，并非指人为计算；在使用本发明提供算法/方法进行相机标定时，最终获得的标定结果也不以人的意志为转移。

本发明提供了一种用于机械臂运动空间重建的相机自动标定方法，为便于阐述，全文均使用“相机”。所述相机可以是不同类型的相机。例如，以采集图片进行分类，分为：RGBD相机、RGB相机、灰度相机等；再例如，以分辨率进行分类，分为：640×480相机、1920×1080相机等。为便于阐述，全文均使用“机械臂”。所述机械臂可以是不同品牌和类型的机械臂。例如，以品牌进行分类，分为：Kuka机械臂、Staubli机械臂、ABB机械臂等；再例如，以运动轴数量进行分类，分为：4轴机械臂、5轴机械臂、6轴机械臂、7轴机械臂等。相较于现有技术而言，本发明尤其适用于含有机械臂运动空间重建、理解和感知应用的相机标定。

本发明提供的标定方法应用场景为：一个或多个相机布置于含有机械臂的有限范围场景中，相机的摄像头向内设置，机械臂与计算机连接，相机与计算机连接。针对该应用场景，进一步提供一种标定装置，所述标定装置具体为正面贴有磨砂材质的AruCo码的相机标定板（以下简称标定板）。该标定板需满足：材质比较硬，在固定于机械臂上或者运动过程中不会发生弯折或者形变；贴有AruCo码的一面不会因为室内光照反射出现高光。一种实施方式下：相机环形布置于机械臂周围，摄像头向内；该标定板固定于机械臂运动末端，朝向相机摄像头；机械臂与计算机相连接，可以进行数据传输。

针对上述应用场景，本发明提供了一种相机自动标定方法，尤其是种用于机械臂运动空间重建的相机自动标定方法。如图1所示，该相机自动标定方法具体包括如下步骤：

1）、在相机标定之前，将相机标定板固定于机械臂的运动末端，并采用TCP四点法计算出相机标定板的工具坐标点；

2）、手动控制机械臂将相机标定板移动至需要标定的相机视野中心，并将相机标定板此刻的空间坐标发送至计算机；

3）、计算机收到空间坐标后，以此空间坐标为中心点生成均匀分布的空间坐标点集，并依次发送坐标点到机械臂；

4）、机械臂在每次接收到计算机发送的坐标点后自动运动到对应位置，并保持精制等待接收下一个坐标点，且计算机在判断机械臂运动到达对应位置并停止后，保存相机采集到的图像，图像保存后再向机械臂发送下一个坐标点；

5）、在机械臂遍历空间坐标点集中所有坐标点且计算机保存所有图像后，机械臂结束运行，计算机根据生成的坐标点和保存的图像利用图像动态筛选算法，计算相机变换矩阵，输出相机参数。

为便于阐述，更具体的实施例以一个RGB相机为例（实践中也可以根据需要添加其它相机，对于其它相机，标定方式与实施例相机标定方式类似）。如图2所示，本实施例采用的标定装置包括1块贴有磨砂材质的AruCo码的硬质塑料标定板，一台六轴Kuka机械臂，一台计算机，一个固定位置的RGB相机。标定板固定于六轴Kuka机械臂运动末端位置，朝向RGB相机摄像头；六轴Kuka机械臂与计算机的通信方式为以太网；RGB相机固定于场景内部，相机的摄像头向内设置，与计算机以以太网方式连接。而相机自动标定方法的总体流程如前所述，本实施例中仅展开细节加以描述。

本实施例执行上述步骤1），固定标定板于机械臂运动末端，具体为采用固体双面胶将正面贴有磨砂材质AruCo码的硬质塑料标定板固定于Kuka机械臂运动末端的法兰盘上。

而采用TCP四点法计算出相机标定板的工具坐标点，具体分别测量出包括AruCo码左上、左下、右上和右下四个顶点的工具坐标点；每个工具坐标点包含X，Y，Z三个维度；然后根据这四个坐标点按公式：

计算标定板中心坐标点。

本实施例执行上述步骤2），将相机标定板移动至需要标定的相机视野中心，具体为手动控制六轴Kuka机械臂将标定板的中心点移动至需要标定相机的图像坐标系中心，并且标定板占据RGB相机视野5%-10%。

本实施例执行上述步骤3）生成均匀分布的空间坐标点集，具体为通过编程算法，在以上述空间坐标点为中心，边长为200mm（自定义）的正方体空间里生成均匀分布的125个空间坐标点，并通过以太网依次发送到机械臂端。这里需要明确的是，其实际从该空间坐标点集中选择发送第一个坐标点。

本实施例执行上述步骤4），实际为一个有限循环的动作，涉及计算机与机械臂的信号传输和机械臂的响应式运动，以及计算机图像采集和保存，具体流程如图3所示。

本实施例执行上述步骤5），利用图像动态筛选算法，计算相机变换矩阵，输出相机参数，具体流程如图4所示。该图像动态筛选算法包含相机参数计算模块和图像筛选模块，具体的运算处理过程如下：

该相机参数计算模块首先检测每一张保存的图像中相机标定板的AruCo码中心点的像素坐标，然后通过张氏标定法计算出生成的空间坐标点和检测得到的像素坐标点的关系映射矩阵，输出相机参数；

该图像筛选模块为首先根据上述输出的相机参数，计算每一张图像坐标点下，对应空间坐标点的误差；然后按照误差从小到大排序，选取前50张图像像素坐标点和对应的空间坐标点再次利用张氏计算关系映射矩阵，得到更精确的相机参数。

综上关于本发明用于机械臂运动空间重建的相机自动标定方法，较之于传统人工标定的方法，除具备突出的实质性特点外，还具备显著的进步性：该方法利用机械臂精度高、自动化的特点，结合计算机技术，自动生成均匀分布的空间点集，并采集和保存对应的标定板图像，利用图像动态筛选算法，完成对待标定相机的标定，简化了相机标定的步骤，提高相机输出参数的精度和相机标定效率，节约人力成本。

尽管上面结合附图对本发明的优选实施例进行了描述，但是本发明并不局限于上述的具体实方式，上述的具体实施方式仅仅是示意性的，并不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以作出很多形式的具体变换，这些均属于本发明的保护范围内。

Claims (7)

1.一种用于机械臂运动空间重建的相机自动标定方法，其特征在于包括步骤：

在相机标定之前，将相机标定板固定于机械臂的运动末端，并采用TCP四点法计算出相机标定板的工具坐标点；

手动控制机械臂将相机标定板移动至需要标定的相机视野中心，并将相机标定板此刻的空间坐标发送至计算机；

计算机收到空间坐标后，以此空间坐标为中心点生成均匀分布的空间坐标点集，并依次发送坐标点到机械臂；

机械臂在每次接收到计算机发送的坐标点后自动运动到对应位置，并保持精制等待接收下一个坐标点，且计算机在判断机械臂运动到达对应位置并停止后，保存相机采集到的图像，图像保存后再向机械臂发送下一个坐标点；

在机械臂遍历空间坐标点集中所有坐标点且计算机保存所有图像后，机械臂结束运行，计算机根据生成的坐标点和保存的图像利用图像动态筛选算法，计算相机变换矩阵，输出相机参数。

2.如权利要求1所述用于机械臂运动空间重建的相机自动标定方法，其特征在于，所述相机标定板为硬质平整塑料板且正面贴有磨砂材质的AruCo码，目标标定板通过机械夹具或者固定栓装接于机械臂的运动末端。

3.如权利要求1所述用于机械臂运动空间重建的相机自动标定方法，其特征在于，所述相机标定板包括AruCo码左上、左下、右上和右下四个顶点的工具坐标点，每个工具坐标点包含X，Y，Z三个维度；然后根据这四个坐标点计算相机标定板中心坐标点，计算公式为：

。

4.如权利要求1所述用于机械臂运动空间重建的相机自动标定方法，其特征在于，所述相机视野中心为相机标定板的中心点在需要标定相机的图像坐标系中心，且相机标定板占据相机视野5%-10%。

5.如权利要求1所述用于机械臂运动空间重建的相机自动标定方法，其特征在于，所述空间坐标点集均匀地分布在以相机标定板为中心的人为限制的一个正方体范围内，所述相机标定板定位于接收第一个坐标点之前。

6.如权利要求1所述用于机械臂运动空间重建的相机自动标定方法，其特征在于，所述保存相机采集到的图像为RGB自然图像，图像中存在完全不缺失的目标标定板。

7.如权利要求1所述用于机械臂运动空间重建的相机自动标定方法，其特征在于，所述图像动态筛选算法包含相机参数计算模块和图像筛选模块，

其中相机参数计算模块首先检测每一张保存的图像中相机标定板的AruCo码中心点的像素坐标，然后通过张氏标定法计算出生成的空间坐标点和检测得到的像素坐标点的关系映射矩阵，输出相机参数；

图像筛选模块为首先根据输出的相机参数，计算每一张图像坐标点下，对应空间坐标点的误差，然后按照误差从小到大排序，选取前若干张图像像素坐标点和对应的空间坐标点再次计算关系映射矩阵，得到更精确的相机参数。

Images