CN116160454A - 机器人末端平面视觉“手-眼”标定算法模型 - Google Patents

Abstract

本发明公开了机器人末端平面视觉“手‑眼”标定算法模型，平移标定模型、旋转标定模型和旋转标定优化模型，所述平移标定模型是求解两个坐标系R1、R2之间的转换关系，是在两个坐标系中取共同的几组点，即点同时处于两个坐标系中，实际上，3组及以上便可以求解方程，为了提高精度，通常取9组。本发明对于相机安装机器人末端，在不移动机器人默认工具坐标系的情况下，利用平移9点标定和旋转标定的方式，能够精确得到相机安装的偏心距，建立起机器人基坐标系和像素坐标系之间的转化方程，求解得到转化矩阵T，从实际应用角度而言，极大的简化相机的标定操作流程，便于实现整个标定流程的一键完成。

Description

机器人末端平面视觉“手-眼”标定算法模型

技术领域

本发明涉及机器人视觉算法技术领域，具体为机器人末端平面视觉“手-眼”标定算法模型。

背景技术

目前，机器人携带视觉对工件进行精确定位的柔性化生产方式，在工业化自动生产过程中使用的非常广泛，也深受行业认可。在机器人与相机结合使用的过程中，标定建立起相机像素坐标系与机器人基坐标系之间的转化关系，能够将相机拍摄的特征转化为机器人坐标系下的坐标，实现机器人的精确定位。标定算法的准确性直接决定了机器人最终的定位精度，对于二维平面视觉，目前对于机器人和相机标定的可行方式的文献非常少。主要停留在机器人工具坐标系与相机像素坐标系的平移标定(常用9点)。平移标定是机器人移动固定坐标，每移动一次便采集一下像素坐标，通过矩阵运算，建立起像素坐标系和机器人坐标系之间的转化关系。通常情况下，机器人实际使用工具与机器人默认工具存在偏心，需要首先对机器人进行用户工具系标定，将机器人默认末端工具坐标系移动到实际使用的用户工具上来，即夹爪的位置上来，才能在平移标定过程中，采集的机器人坐标为用户工具系坐标，由此计算的标定转化关系才正确可用。这种方式需要借助辅助设备进行机器人用户工具坐标系标定，操作麻烦，精度低。

现有的算法模型存在的缺陷是：

1、专利文件CN114863116A公开了一种基于视觉词袋模型的图像复制-粘贴篡改检测算法，“包括如下步骤：将图像尺寸归一化，使用SIFT算法提取特征点；构造特征点感兴趣区域的复值贝塞尔傅立叶矩不变量作为特征点的特征，将特征进行匹配得到单词级匹配结果；利用匹配特征点之间的几何关系计算视觉短语，进行最大池化得到短语级特征；构造基于边缘信息的热度图，使用热度图加权短语级特征，对短语级特征直接匹配，得到短语级匹配结果；执行后处理算法得到最终检测结果。本发明单词级与短语级特征描述和匹配对于具有高度自相似性的自然图像，产生的误匹配对更少，不仅减少了算法后处理执行的时间，还提高了算法的查准率；并且算法的鲁棒性更好，提高了算法的查全率”；

2、专利文件CN114627366A公开了一种工业智能视觉算法云服务系统和方法，“系统包括工业智能视觉基础设施层、工业智能视觉算法支撑层和工业智能视觉算法应用层；工业视觉基础设施层用于提供工业智能视觉算法支撑层和工业智能视觉算法应用层中模型运行、算法存储数据处理的基础能力和保障；构建工业视觉算法支撑层用于为工业智能视觉算法应用层提供算法基础；工业智能视觉算法应用层用于依据从用户处获取到的应用场景数据处理的服务需求，选择合适的数据处理算法和工业视觉模型，生成应用场景的解决方案，供用户下载与使用。通过建设工业视觉算法支撑层，集成各类机器学习和深度学习的模型，以及不同的视觉算法模型，有效保证系统能够满足各类视觉业务需求”；

3、专利文件CN111367194A公开了一种视觉算法验证的方法及装置，“包括：通过仿真无人车模拟模型模拟无人运动设备，通过仿真环境模拟模型模拟无人运动设备的运动环境，通过仿真视觉传感器模拟模型模拟视觉传感器；通过运动控制模块接收用户发出的运动指令，仿真所述模拟的无人运动设备在模拟运动环境中运动并构建静态地图；基于静态地图及运动控制指令，通过所述模拟的相机获取图像信息并发送给视觉算法驱动模块，视觉算法驱动模块根据图像信息及静态地图生成相应的控制参数，控制所述仿真无人车模拟模型的运动；根据运动反馈的结果与视觉算法确定的结果进行对比，对视觉算法驱动模块采用的视觉算法进行验证。通过上述方法，本发明能够精确自动化验证视觉算法”；

综上所述，通常情况下，机器人实际使用工具与机器人默认工具存在偏心，需要首先对机器人进行用户工具系标定，将机器人默认末端工具坐标系移动到实际使用的用户工具上来，即夹爪的位置上来，才能在平移标定过程中，采集的机器人坐标为用户工具系坐标，由此计算的标定转化关系才正确可用。这种方式需要借助辅助设备进行机器人用户工具坐标系标定，操作麻烦，精度低；

为此本申请提出了一种旋转标定算法模型，能够在不使用任何辅助设备的情况下，通过机器人本身的旋转运动，准确计算机器人用户工具与机器人默认工具之间的偏心距离，利用相机视野中的特征点，按照规定流程，同时采集特征点的像素坐标和对应的拍照点机器人坐标，利用标定模型算法，建立起机器人基坐标系和相机像素坐标系之间的转化关系，完成标定过程。

发明内容

本发明的目的在于提供机器人末端平面视觉“手-眼”标定算法模型，以解决上述背景技术中提出的操作麻烦和精度较低的技术问题。

为实现上述目的，本发明提供如下技术方案：机器人末端平面视觉“手-眼”标定算法模型，所述算法模型包括以下三个步骤：平移标定模型、旋转标定模型和旋转标定优化模型，所述平移标定模型是求解两个坐标系R1、R2之间的转换关系，是在两个坐标系中取共同的几组点，即点同时处于两个坐标系中。实际上，3组及以上便可以求解方程，为了提高精度，通常取9组。

优选的，所述在两个坐标系中采集共同的9个组点，利用计算公式：[R₁]×[T]＝[R₂],可以求解得到两个矩阵之间的转换矩阵[T]，对于平面坐标系而言，计算公式可以用旋转矩阵R和平移矩阵T来得到，如下：

这也是固定相机标定方式的原理。这里有一个要求，采集的9个点，虽然在两个坐标系中，但是在空间中是同一组点，即9组点中的每一个，即在R1中，又在R2中。如此对应的9组点才能得到准确的转换矩阵。

优选的，所述相机安装在机器人末端，相机和机器人之间存在偏心距|M0M4|，其中M0为机器人末端中心，同时也是机器人呢默认工具系原点，M4为相机特征像素点(也就是相机采集像素的第一点)，在机器人携带相机平行运动采集9个点时，采集的机器人坐标如图中红色点所示，位于机器人坐标系Ο1中，相机采集的9点像素坐标，如图中坐标系Ο3中黑色点所示，可见此时采集的9组点中间存在着偏心距M0M4的偏差，此时满足的方程为像素坐标乘以转化矩阵得到机器人坐标：[R_C]×[T]＝[R_R]

T+|M0M4|表示平移了坐标系，相当于将Ο1移动到了Ο2，为了得到两个坐标系之间的转换矩阵

首先必须求得偏心距[M0M4]，此时需要用到旋转标定算法。

优选的，所述旋转标定模型(2)为机器人携带相机围绕机器人默认工具系旋转2个角度，加上最初拍照点，总共3个位置，分别采集每个位置的像素坐标M3、M4、M5，利用像素坐标拟合圆，得到圆心像素坐标M0C，理论上此时的圆心坐标为拍照位的机器人坐标在像素坐标系中的像素坐标。则有M_oc×[T]＝M₁,此时|M0M4|＝|M0M1|，初步标定流程结束，为了提高标定精度。

优选的，所述由于相机视野较小，采集的3个位置的像素坐标旋转角度都比较小，对于整个拟合圆而言，拟合的弧度较小，影响拟合圆的精度，旋转标定优化模型(3)的流程如下，以2中求得的偏心距|M0M1|，带入

中，便可以将拍照点的像素坐标M4转化为对应的机器人坐标R1。

M₄×[T₁]＝R₁

优选的，所述将拍照点机器人坐标M0围绕点R1旋转角度β，得到新的机器人坐标A1。移动机器人到R1位置，形成A1R1拍照姿态，采集特征的像素坐标C1。此时相机位置仍然在M₄附近，这样，即使β角度很大，仍然不会让特征出视野。可以在大角度情况下采集特征的想像素坐标，

优选的，所述根据(1)中的方式的逆解，将A₁的机器人坐标转化为像素坐标C2，然后围绕C2将像素坐标C1旋转β，得到C3,旋转计算方式同上，

C₂＝[T₁]^-1×A₁。

优选的，所述以C1为原点，围绕C1将C3旋转β角，得到像素坐标C4，根据模型可知，C4在拟合圆上，并且和M0M4的夹角为大角度β，计算方式同上。

优选的，所述根据以上流程，再采集一个机器人A2对应的像素坐标C5，重新拟合圆，此时得到的圆更加精确，得到更加精确的偏心距，至此，全部标定流程完成。

与现有技术相比，本发明的有益效果是：

1.本发明对于相机安装机器人末端，在不移动机器人默认工具坐标系的情况下，利用平移9点标定和旋转标定的方式，能够精确得到相机安装的偏心距，建立起机器人基坐标系和像素坐标系之间的转化方程，求解得到转化矩阵T。从实际应用角度而言，极大的简化相机的标定操作流程，便于实现整个标定流程的一键完成；

2.本发明同时解决了相机视野较小，旋转标定只能小角度范围内采集像素坐标，使得偏心距误差较大的问题。通过围绕特征点旋转机器人，同时采集特征点像素坐标的方式，不论角度变化多大，仍然能够不会超出视野。通过大角度采集像素坐标，拟合得到的圆更加准确，精度更高。

附图说明

图1为本发明的机器人、夹爪、相机安装示意图；

图2为本发明的两个坐标系位置示意图；

图3为本发明的机器人基坐标系和像素坐标系关系示意图；

图4为本发明的旋转标定优化模型示意图；

图5为本发明的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体的连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1：请参阅图1-5，本发明提供的一种实施例：机器人末端平面视觉“手-眼”标定算法模型，其特征在于：所述算法模型包括以下三个步骤：平移标定模型(1)、旋转标定模型(2)和旋转标定优化模型(3)，所述平移标定模型(1)是求解两个坐标系R1、R2之间的转换关系，是在两个坐标系中取共同的几组点，即点同时处于两个坐标系中。实际上，3组及以上便可以求解方程，为了提高精度，通常取9组。

实施例2：请参阅图1-5，本发明提供的一种实施例：所述在两个坐标系中采集共同的9个组点，利用计算公式：[R₁]×[T]＝[R₂],可以求解得到两个矩阵之间的转换矩阵[T]，对于平面坐标系而言，计算公式可以用旋转矩阵R和平移矩阵T来得到，如下：

这也是固定相机标定方式的原理。这里有一个要求，采集的9个点，虽然在两个坐标系中，但是在空间中是同一组点，即9组点中的每一个，即在R1中，又在R2中。如此对应的9组点才能得到准确的转换矩阵。

实施例3：请参阅图1-5，本发明提供的一种实施例：所述相机安装在机器人末端，相机和机器人之间存在偏心距|M0M4|，其中M0为机器人末端中心，同时也是机器人呢默认工具系原点，M4为相机特征像素点(也就是相机采集像素的第一点)，在机器人携带相机平行运动采集9个点时，采集的机器人坐标如图中红色点所示，位于机器人坐标系Ο1中，相机采集的9点像素坐标，如图中坐标系Ο3中黑色点所示，可见此时采集的9组点中间存在着偏心距M0M4的偏差，此时满足的方程为像素坐标乘以转化矩阵得到机器人坐标：[R_C]×[T]＝[R_R]

T+|M0M4|表示平移了坐标系，相当于将Ο1移动到了Ο2，为了得到两个坐标系之间的转换矩阵

首先必须求得偏心距[M0M4]，此时需要用到旋转标定算法。

实施例4：请参阅图1-5，本发明提供的一种实施例：所述旋转标定模型(2)为机器人携带相机围绕机器人默认工具系旋转2个角度，加上最初拍照点，总共3个位置，分别采集每个位置的像素坐标M3、M4、M5，利用像素坐标拟合圆，得到圆心像素坐标M0C，理论上此时的圆心坐标为拍照位的机器人坐标在像素坐标系中的像素坐标。则有M_oc×[T]＝M₁,此时|M0M4|＝|M0M1|，初步标定流程结束，为了提高标定精度。

实施例5：请参阅图1-5，本发明提供的一种实施例：所述由于相机视野较小，采集的3个位置的像素坐标旋转角度都比较小，对于整个拟合圆而言，拟合的弧度较小，影响拟合圆的精度，旋转标定优化模型(3)的流程如下，以2中求得的偏心距|M0M1|，带入

中，便可以将拍照点的像素坐标M4转化为对应的机器人坐标R1。

M₄×[T₁]＝R₁

实施例6：请参阅图1-5，本发明提供的一种实施例：所述将拍照点机器人坐标M0围绕点R1旋转角度β，得到新的机器人坐标A1。移动机器人到R1位置，形成A1R1拍照姿态，采集特征的像素坐标C1。此时相机位置仍然在M₄附近，这样，即使β角度很大，仍然不会让特征出视野。可以在大角度情况下采集特征的想像素坐标，

实施例7：请参阅图1-5，本发明提供的一种实施例：所述根据(1)中的方式的逆解，将A₁的机器人坐标转化为像素坐标C2，然后围绕C2将像素坐标C1旋转β，得到C3,旋转计算方式同上，

C₂＝[T₁]^-1×A₁。

实施例8：请参阅图1-5，本发明提供的一种实施例：所述以C1为原点，围绕C1将C3旋转β角，得到像素坐标C4，根据模型可知，C4在拟合圆上，并且和M0M4的夹角为大角度β，计算方式同上。

实施例9：所述根据以上流程，再采集一个机器人A2对应的像素坐标C5，重新拟合圆，此时得到的圆更加精确，得到更加精确的偏心距，至此，全部标定流程完成。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (9)

1.机器人末端平面视觉“手-眼”标定算法模型，其特征在于：所述算法模型包括以下三个步骤：平移标定模型(1)、旋转标定模型(2)和旋转标定优化模型(3)，所述平移标定模型(1)是求解两个坐标系R1、R2之间的转换关系，是在两个坐标系中取共同的几组点，即点同时处于两个坐标系中。实际上，3组及以上便可以求解方程，为了提高精度，通常取9组。

2.根据权利要求1所述的机器人末端平面视觉“手-眼”标定算法模型，其特征在于：所述在两个坐标系中采集共同的9个组点，利用计算公式：[R₁]×[T]＝[R₂],可以求解得到两个矩阵之间的转换矩阵[T]，对于平面坐标系而言，计算公式可以用旋转矩阵R和平移矩阵T来得到，如下：

这也是固定相机标定方式的原理。这里有一个要求，采集的9个点，虽然在两个坐标系中，但是在空间中是同一组点，即9组点中的每一个，即在R1中，又在R2中，如此对应的9组点才能得到准确的转换矩阵。

3.根据权利要求1所述的机器人末端平面视觉“手-眼”标定算法模型，其特征在于：所述相机安装在机器人末端，相机和机器人之间存在偏心距|M0M4|，其中M0为机器人末端中心，同时也是机器人呢默认工具系原点，M4为相机特征像素点(也就是相机采集像素的第一点)，在机器人携带相机平行运动采集9个点时，采集的机器人坐标如图中红色点所示，位于机器人坐标系Ο1中，相机采集的9点像素坐标，如图中坐标系Ο3中黑色点所示，可见此时采集的9组点中间存在着偏心距M0M4的偏差，此时满足的方程为像素坐标乘以转化矩阵得到机器人坐标：[R_C]×[T]＝[R_R]

T+|M0M4|表示平移了坐标系，相当于将Ο1移动到了Ο2，为了得到两个坐标系之间的转换矩阵

首先必须求得偏心距[M0M4]，此时需要用到旋转标定算法。

4.根据权利要求1所述的机器人末端平面视觉“手-眼”标定算法模型，其特征在于：所述旋转标定模型(2)为机器人携带相机围绕机器人默认工具系旋转2个角度，加上最初拍照点，总共3个位置，分别采集每个位置的像素坐标M3、M4、M5，利用像素坐标拟合圆，得到圆心像素坐标M0C，理论上此时的圆心坐标为拍照位的机器人坐标在像素坐标系中的像素坐标，则有M_oc×[T]＝M₁,此时|M0M4|＝|M0M1|，初步标定流程结束，为了提高标定精度。

5.根据权利要求1所述的机器人末端平面视觉“手-眼”标定算法模型，其特征在于：所述由于相机视野较小，采集的3个位置的像素坐标旋转角度都比较小，对于整个拟合圆而言，拟合的弧度较小，影响拟合圆的精度，旋转标定优化模型(3)的流程如下，以2中求得的偏心距|M0M1|，带入

中，便可以将拍照点的像素坐标M4转化为对应的机器人坐标R1。

M₄×[T₁]＝R₁

6.根据权利要求5所述的机器人末端平面视觉“手-眼”标定算法模型，其特征在于：所述将拍照点机器人坐标M0围绕点R1旋转角度β，得到新的机器人坐标A1，移动机器人到R1位置，形成A1R1拍照姿态，采集特征的像素坐标C1，此时相机位置仍然在M₄附近，这样，即使β角度很大，仍然不会让特征出视野，可以在大角度情况下采集特征的想像素坐标，

7.根据权利要求6所述的机器人末端平面视觉“手-眼”标定算法模型，其特征在于：所述根据(1)中的方式的逆解，将A₁的机器人坐标转化为像素坐标C2，然后围绕C2将像素坐标C1旋转β，得到C3,旋转计算方式同上，

C₂＝[T₁]^-1×A₁。

8.根据权利要求7所述的机器人末端平面视觉“手-眼”标定算法模型，其特征在于：所述以C1为原点，围绕C1将C3旋转β角，得到像素坐标C4，根据模型可知，C4在拟合圆上，并且和M0M4的夹角为大角度β，计算方式同上。

9.根据权利要求8所述的机器人末端平面视觉“手-眼”标定算法模型，其特征在于：所述根据以上流程，再采集一个机器人A2对应的像素坐标C5，重新拟合圆，此时得到的圆更加精确，得到更加精确的偏心距，至此，全部标定流程完成。

Images