CN110246193B - 工业机器人末端相机在线标定方法 - Google Patents

工业机器人末端相机在线标定方法 Download PDF

Info

Publication number
CN110246193B
CN110246193B CN201910539689.8A CN201910539689A CN110246193B CN 110246193 B CN110246193 B CN 110246193B CN 201910539689 A CN201910539689 A CN 201910539689A CN 110246193 B CN110246193 B CN 110246193B
Authority
CN
China
Prior art keywords
parameter
camera
coordinate
transformation
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910539689.8A
Other languages
English (en)
Other versions
CN110246193A (zh
Inventor
刘志
何博侠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Proton Optoelectronics Technology Co.,Ltd.
Original Assignee
Nanjing Bolanqi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Bolanqi Intelligent Technology Co ltd filed Critical Nanjing Bolanqi Intelligent Technology Co ltd
Priority to CN201910539689.8A priority Critical patent/CN110246193B/zh
Publication of CN110246193A publication Critical patent/CN110246193A/zh
Application granted granted Critical
Publication of CN110246193B publication Critical patent/CN110246193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种工业机器人末端相机在线标定方法，涉及机器人工业相机标定的技术领域，标定方法通过末端执行器控制工业相机在多个位置采集特征点的实际像点坐标；将所述初始重投影变换坐标模型作为当前重投影变换坐标模型，标定物的物理坐标通过当前重投影变换坐标模型获得重投影像点坐标，至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，并将包括调整第一参数和调整第二参数的重投影变换坐标模型作为新的当前坐标模块，确定符合停止条件的当前重投影变换坐标模型为标定的重投影变换坐标模型；该方法整合了工业机器人的姿态规划、手眼标定参数优化等流程，能够实现工业机器人末端安装相机的在线自动标定。

Description

工业机器人末端相机在线标定方法
技术领域
本发明涉及机器人工业相机标定技术领域，尤其是涉及一种工业机器人末端相机在线标定方法及装置。
背景技术
在工业机器人的机械臂末端安装工业相机，通过视觉图像技术使工业机器人获得一定的智能和柔性工作能力，使工业自动化和智能制造工程中常用的解决方案。为确定空间物体表面某点的三位几何位置与其在相机成像中对应点之间的相互关系，必须建立工业机器人末端执行器上的工业相机成像的几何模型，通过实验与计算获得这些几何模型的参数，这个求解几何模型参数的过程叫相机标定。
现有的相机标定方法需要使用高精度的尺寸已知的标定物，通过建立标定物上坐标已知的点与其图像点之间的对应关系，利用一定的算法获得相机模型的内外参数。这些传统相机标定法需要人工参与，标定效率低，在标定过程中始终需要标定物，且标定物的制作精度会影响标定结果。同时有些场合不适合放置标定物，比如自动化产线上的工业机器人末端相机在作临时调整的情况下，传统相机标定方法无法实时地对相机进行标定，对这类场景的相机标定就要用到相机在线标定的技术。
发明内容
本发明的目的在于为了克服传统相机标定方法的应用局限性，提高相机标定的效率、精度以及稳定性，针对常见的机械臂末端安装工业相机的情况，本发明提出一种工业机器人末端相机在线自动标定的方法，亦称手眼在线标定，手表示工业机器人的末端执行器，眼表示工业相机。这种方法不需要高精度标定物的配合，可以在工业机器人作业场景下，实现全自动地根据特征点重投影建立相机在线标定非线性优化模型，再利用非线性迭代优化方法求解，获得相机在线标定的最优参数。
本发明提供的一种工业机器人末端相机在线标定方法，所述方法适用于工业机器人，所述工业机器人包括末端执行器和工业相机，所述末端执行器与所述工业相机连接，所述包括如下步骤：
通过末端执行器控制工业相机在第一位置采集标定物的图像，通过所述标定物的图像得到特征点的成像坐标；
根据所述特征点的物理坐标和成像坐标确定初始重投影变换坐标模型的初始第一参数和初始第二参数，所述第一参数用于定义手眼变换坐标的旋转矩阵，所述第二参数用于定义手眼变换坐标的平移向量；
通过末端执行器控制工业相机在多个位置采集标定物的图像，通过所述多个位置的标定物的图像得到特征点的实际像点坐标；
将所述初始重投影变换坐标模型作为当前重投影变换坐标模型，并重复执行如下步骤直至符合停止条件，确定符合停止条件的当前重投影变换坐标模型为标定的重投影变换坐标模型，所述停止条件至少包括第一参数或第二参数的梯度范数；
标定物的物理坐标通过当前重投影变换坐标模型获得重投影像点坐标，至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，并将包括调整第一参数和调整第二参数的重投影变换坐标模型作为新的当前坐标模块。
进一步的，所述至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小的方法包括：通过非线性参数模型至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，所述非线性参数模型为：
Figure BDA0002101198650000031
其中，i为末端执行器控制工业相机第i次运动，n为末端执行器控制工业相机运动的总次数，u和v为相机成像平面的坐标轴，Wiu为特征点的实际像点和重投影像点在u轴上的坐标差值，Wiv为特征点的实际像点和重投影像点在v轴上的坐标差值；
Figure BDA0002101198650000032
其中，特征点在标定物坐标系Co的物理坐标值为oi，特征点在相机图像坐标系的实际像点坐标值为pi，piu和piv分别为pi在相机图像坐标系中u、v轴上的分量，Fu(oi)和Fv(oi)分别为oi经重投影变换后的重投影像点在u、v轴上的分量。
进一步的，所述重投影变换坐标模型为：
p＝F(o)＝MJc＝MJTecTweTowo
其中，o为标定特征点在标定物坐标系Co的物理坐标值，Tow为标定物坐标系到基座世界坐标系的变换矩阵，Twe为基座世界坐标系到末端执行器坐标系的变换矩阵，Tec为末端执行器坐标系到相机坐标系的变换矩阵，Tec即手眼变换坐标X，矩阵M为相机内参数矩阵，J为相机畸变参数矩阵。
进一步的，所述手眼变换坐标X为：
Figure BDA0002101198650000033
其中，R为手眼变换矩阵的旋转矩阵，即R为第一参数，t为手眼变换矩阵的平移向量，即t为第二参数。
进一步的，所述相机畸变参数矩阵包括镜头径向畸变公式，所述镜头径向畸变公式为：
Figure BDA0002101198650000041
式中，un和vn表示畸变模型下的实际像点，u和v表示无畸变理想像点，u0和v0表示像素坐标系主点，k1、k2为径向畸变比例系数，(x,y)为像点物理坐标实际值。
进一步的，所述通过末端执行器控制工业相机在多个位置采集标定物的图像的方法包括：
工业相机在成像平面上获取特征点的成像坐标(u，v)：
Figure BDA0002101198650000042
其中，random表示按照括号内的给定范围取随机值，umax为相机u轴方向分辨率，vmax为相机v轴方向分辨率，k为比例系数。
进一步的，所述通过末端执行器控制工业相机在多个位置采集标定物的图像的方法包括：
所述通过末端执行器依据姿态规划结果控制工业相机在多个位置采集标定物的图像。
进一步的，所述姿态规划的方法包括：
特征点在标定物坐标系的物理坐标通过相机投射模型和手眼变换模型得到末端执行器的相对位置，根据该相对位置设置末端执行器的运动。
进一步的，所述相机投射模型为：
Figure BDA0002101198650000043
其中，fx和fy为相机归一化焦距，cx和cy为光心所在像平面位置，(xc,yc,zc)为相机坐标系下的像点坐标；
所述手眼变换模型为：
Figure BDA0002101198650000051
其中，(xe,ye,ze)为像点在执行器坐标下的坐标。
一种工业相机的标定装置，包括：
初始参数采集模块，用于通过末端执行器控制工业相机在第一位置采集标定物的图像，通过所述标定物的图像得到特征点的成像坐标；
初始参数定义模块，用于根据所述特征点的物理坐标和成像坐标确定初始重投影变换坐标模型的初始第一参数和初始第二参数，所述第一参数用于定义手眼变换坐标的旋转矩阵，所述第二参数用于定义手眼变换坐标的平移向量；
迭代参数采集模块，用于通过末端执行器控制工业相机在多个位置采集标定物的图像，通过所述多个位置的标定物的图像得到特征点的实际像点坐标；
迭代优化模块，用于将所述初始重投影变换坐标模型作为当前重投影变换坐标模型，并重复执行如下步骤直至符合停止条件：
标定物的物理坐标通过当前重投影变换坐标模型获得重投影像点坐标，至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，并将包括调整第一参数和调整第二参数的重投影变换坐标模型作为新的当前坐标模块；
确定符合停止条件的当前重投影变换坐标模型为标定的重投影变换坐标模型，所述停止条件至少包括第一参数或第二参数的梯度范数。
本发明提供的工业机器人末端相机在线标定方法，整合了工业机器人的姿态规划、工业相机的特征点采集和手眼标定参数优化的流程，能够实现工业机器人末端安装相机的在线自动标定。通过对工业机器人进行姿态规划，让工业相机到达预定位置拍照获取标定物的特征点的成像坐标，通过采集的多组特征点的成像坐标代入根据重投影变换坐标模型建立的误差和最小的非线性优化模型，采用非线性迭代方法迭代出最优的手眼变换矩阵参数，将包含最优参数的手眼变换矩阵作为标定的手眼变换矩阵。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的工业机器人末端相机在线标定方法的流程示意图；
图2为本发明另一实施例提供的工业机器人末端相机在线标定方法的流程示意图；
图3为本发明实施例提供的工业机器人末端相机在线标定方法中相机成像模型示意图；
图4为本发明实施例提供的工业机器人末端相机在线标定方法中工业机器人各坐标系的示意图；
图5为本发明实施例提供的工业相机的标定装置的示意框图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
为了克服传统相机标定方法的应用局限性，提高相机标定的效率、精度以及稳定性，本实施例提供了一种工业机器人末端相机在线标定方法。在工业机器人末端相机在线标定方法主要是求解其标定方程AX＝XB，其中A表示工业机器人位姿变换后相机的相对运动，B表示工业机器人末端执行器的相对运动，X为需要求解的相机坐标系与末端执行器坐标系之间的变换关系。求解这类变换矩阵的方法分为线性求解和非线性求解。其中线性求解变换矩阵方法，其实质是将变换矩阵X解耦为旋转矩阵与平移向量两部分求解，这类方法计算量小，但存在误差传递的情况，精度难以保证。而采用非线性方法求解这类手眼变换矩阵时，通常基于大量数据采用非线性迭代方法完成参数优化，如何选择优化的非线性参数模型是保证优化结果精度及优化速度的关键。
如图1所述，本实施例提供一种工业机器人末端相机在线标定方法，所述方法适用于工业机器人，所述工业机器人包括末端执行器和工业相机，所述末端执行器与所述工业相机连接，所述包括如下步骤：
S110：通过末端执行器控制工业相机在第一位置采集标定物的图像，通过所述标定物的图像得到特征点的成像坐标；
上述特征点的成像坐标及特征点的像素坐标，如480*320的图像，特征点位置是100*100，则特征点的像素坐标为(100,100)，特征点的成像坐标也为(100,100)。
S120：根据所述特征点的物理坐标和成像坐标确定初始重投影变换坐标模型的初始第一参数和初始第二参数，所述第一参数用于定义手眼变换坐标的旋转矩阵，所述第二参数用于定义手眼变换坐标的平移向量；S130：通过末端执行器控制工业相机在多个位置采集标定物的图像，通过所述多个位置的标定物的图像得到特征点的实际像点坐标；
S140：将所述初始重投影变换坐标模型作为当前重投影变换坐标模型，并重复执行如下步骤直至符合停止条件，确定符合停止条件的当前重投影变换坐标模型为标定的重投影变换坐标模型，所述停止条件至少包括第一参数或第二参数的梯度范数；
S150：标定物的物理坐标通过当前重投影变换坐标模型获得重投影像点坐标，至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，并将包括调整第一参数和调整第二参数的重投影变换坐标模型作为新的当前坐标模块。
上述标定物的实际像点和重投影像点之间距离和最小具体可以用下面公式表达：
Figure BDA0002101198650000081
其中，i为末端执行器控制工业相机第i次运动，n为末端执行器控制工业相机运动的总次数，u和v为相机成像平面的坐标轴，Wiu为特征点的实际像点和重投影像点在u轴上的坐标差值，Wiv为特征点的实际像点和重投影像点在v轴上的坐标差值。
上述重投影变换坐标模型指标定物特征点从标定物坐标系向像素坐标系的转换关系，本申请中采用了标定物坐标系转换至基座世界坐标系，再转换至工业机器人的末端执行器坐标系，经手眼变换关系及相机内参数矩阵得到像素坐标(成像坐标)。
本工业机器人末端相机在线标定方法满足了工业机器人末端相机根据生产任务在做临时调整的情况下，对相机标定高精度、高效率、低成本以及实时性的需求，通过工业机器人的姿态规划、相机图像特征点采集和手眼标定参数优化的流程，根据标定特征点的重投影特性，由标定特征点实际像点与理论像点的误差和最小建立非线性优化模型，并通过非线性迭代方法求得手眼变换矩阵最优参数解，通过模型迭代求得最优解，保证了标定的精度，不需要外在高精度标定物的配合，可实现工业机器人末端安装相机的在线全自动标定。
实施例二
本实施具体提供一种工业相机标定方法的简要步骤，如图2所示。
S210：确定初始重投影变换坐标模型的初始第一参数和初始第二参数并估算手眼变换坐标X；
S220：规划期望像点与姿态；
S230：机器人的末端执行器到位采集标定物的实际像点坐标；
S240：判断实际像点坐标是否满足要求；
S250：记录标定物的实际像点坐标；
S260：根据重投影变换坐标模型计算重投影像点坐标；
S270：通过非线性参数模型迭代优化；
S280：判断是否满足停止条件；
S290：自动手眼标定完成。
实施例三
本实施例具体公开了一种工业机器人末端相机在线标定方法，包括如下步骤：
通过末端执行器控制工业相机在第一位置采集标定物的图像，通过所述标定物的图像得到特征点的成像坐标；
根据所述特征点的物理坐标和成像坐标确定初始重投影变换坐标模型的初始第一参数和初始第二参数，所述第一参数用于定义手眼变换坐标的旋转矩阵，所述第二参数用于定义手眼变换坐标的平移向量；
如图3所示，为保证工业机器人末端相机在线自动标定能得到精确的结果，并具有最佳的效率，每次采集的标定特征点应处在相机成像范围内，并均匀分布在相机的成像平面上。为实现上述效果，工业机器人需要不断进行标定数据采集的姿态规划。
所述通过末端执行器依据姿态规划结果控制工业相机在多个位置采集标定物的图像，工业相机在成像平面上获取特征点的成像坐标(u，v)：
Figure BDA0002101198650000101
其中，random表示按照括号内的给定范围取随机值，umax为相机u轴方向分辨率，vmax为相机v轴方向分辨率，k为比例系数。所述多个位置的标定物的图像中包括的成像坐标(u，v)为特征点的实际像点坐标；
所述姿态规划的方法包括：
特征点在标定物坐标系的物理坐标通过相机投射模型和手眼变换模型得到末端执行器的相对位置，根据该相对位置设置末端执行器的运动。
所述相机投射模型为：
Figure BDA0002101198650000102
其中，fx和fy为相机归一化焦距，cx和cy为光心所在像平面位置，(xc,yc,zc)为相机坐标系下的像点坐标；
所述手眼变换模型为：
Figure BDA0002101198650000103
其中，(xe,ye,ze)为像点在执行器坐标下的坐标。
将所述初始重投影变换坐标模型作为当前重投影变换坐标模型，并重复执行如下步骤直至符合停止条件，确定符合停止条件的当前重投影变换坐标模型为标定的重投影变换坐标模型，所述停止条件至少包括第一参数或第二参数的梯度范数；
标定物的物理坐标通过当前重投影变换坐标模型获得重投影像点坐标，通过非线性参数模型至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，并将包括调整第一参数和调整第二参数的重投影变换坐标模型作为新的当前坐标模块。
所述非线性参数模型为：
Figure BDA0002101198650000111
其中，i为末端执行器控制工业相机第i次运动，n为末端执行器控制工业相机运动的总次数，u和v为相机成像平面的坐标轴，Wiu为特征点的实际像点和重投影像点在u轴上的坐标差值，Wiv为特征点的实际像点和重投影像点在v轴上的坐标差值；
Figure BDA0002101198650000112
其中，特征点在标定物坐标系Co的物理坐标值为oi，特征点在相机图像坐标系的实际像点坐标值为pi，piu和piv分别为pi在相机图像坐标系中u、v轴上的分量，Fu(oi)和Fv(oi)分别为oi经重投影变换后的重投影像点在u、v轴上的分量。
如图4所示，所述重投影变换坐标模型为：
p＝F(o)＝MJc＝MJTecTweTowo
其中，o为标定特征点在标定物坐标系Co的物理坐标值，Tow为标定物坐标系到基座世界坐标系的变换矩阵，Twe为基座世界坐标系到末端执行器坐标系的变换矩阵，Tec为末端执行器坐标系到相机坐标系的变换矩阵，Tec即手眼变换坐标X，矩阵M为相机内参数矩阵，J为相机畸变参数矩阵。
所述手眼变换坐标X为：
Figure BDA0002101198650000121
其中，R为手眼变换矩阵的旋转矩阵，即R为第一参数，t为手眼变换矩阵的平移向量，即t为第二参数。
所述相机畸变参数矩阵包括镜头径向畸变公式，所述镜头径向畸变公式为：
Figure BDA0002101198650000122
式中，un和vn表示畸变模型下的实际像点，u和v表示无畸变理想像点，u0和v0表示像素坐标系主点，k1、k2为径向畸变比例系数，(x,y)为像点物理坐标实际值。
实施例四
如图5所示，一种工业相机的标定装置，包括：
初始参数采集模块100，用于通过末端执行器控制工业相机在第一位置采集标定物的图像，通过所述标定物的图像得到特征点的成像坐标；
初始参数定义模块200，用于根据所述特征点的物理坐标和成像坐标确定初始重投影变换坐标模型的初始第一参数和初始第二参数，所述第一参数用于定义手眼变换坐标的旋转矩阵，所述第二参数用于定义手眼变换坐标的平移向量；
迭代参数采集模块300，用于通过末端执行器控制工业相机在多个位置采集标定物的图像，通过所述多个位置的标定物的图像得到特征点的实际像点坐标；
迭代优化模块400，用于将所述初始重投影变换坐标模型作为当前重投影变换坐标模型，并重复执行如下步骤直至符合停止条件：
标定物的物理坐标通过当前重投影变换坐标模型获得重投影像点坐标，至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，并将包括调整第一参数和调整第二参数的重投影变换坐标模型作为新的当前坐标模块；
确定符合停止条件的当前重投影变换坐标模型为标定的重投影变换坐标模型，所述停止条件至少包括第一参数或第二参数的梯度范数。
实施例五
为了验证本发明提出的工业机器人末端相机的在线自动标定方法的可行性和实用性，将本发明方法代入变压器生产线进行实验，整个装配系统由工控机，四轴工业机器人，工业CCD相机，料盘，输送机以及待装配零件构成，所采集特征点的物体采用某公司快换接头，其重复精度为±0.02mm。
该生产线使用四轴工业机器人完成装配工作，其中，手眼变换矩阵X中旋转矩阵R可以表示为
Figure BDA0002101198650000131
平移矩阵t可以表示为
Figure BDA0002101198650000132
由于工业相机的镜头畸变以径向畸变为主，为了提高非线性优化的效果，镜头畸变模型仅考虑径向畸变，以减少非线性参数的引入，镜头径向畸变公式为：
Figure BDA0002101198650000133
式中，un和vn表示畸变模型下的实际像点，u和v表示无畸变理想像点，u0和v0表示像素坐标系主点，k1、k2为径向畸变比例系数，(x,y)为像点物理坐标实际值。
将线纹尺水平放置于相机视场内，可以标定出当前工作距离下的像素当量dx和dy，根据参数优化模型，需要针对θ，tx，ty，k1，k2进行优化。
迭代方式采用DFP拟牛顿迭代法，这种方法只须选取合适的初值，根据求得的迭代函数的梯度，设定误差要求后即可进行迭代优化，其对参数初值选取的准确度要求不高，同时具有较快的迭代速度。
参数初值需要在离线状态下进行估计，首先让工业机器人在选定的位置放置快换接头，记录末端姿态和世界坐标，同时末端移动到位后采集标定特征点图像。图像处理后获得快换接头圆心的亚像素级坐标值，利用手眼变换矩阵的线性解法，求得手眼变换矩阵相关参数，作为自动标定与迭代优化的参数初值。
随后采用自动标定方法完成标定工作。整套自动标定过程采集的部分数据，如表1所示。
表1在线手眼标定数据采集部分结果
Figure BDA0002101198650000141
所使用的实验平台中相机安装板与工业机器人小臂平行，故旋转矩阵中的θ初值设为0。由于镜头畸变系数很小，故将k1、k2初值设为0。tx、ty已采用线性方法求得初值。
手眼变换矩阵各参数迭代优化结果如表2所示。
表2手眼标定参数迭代结果
Figure BDA0002101198650000151
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种工业机器人末端相机在线标定方法，其特征在于，所述方法适用于工业机器人，所述工业机器人包括末端执行器和工业相机，所述末端执行器与所述工业相机连接，所述方法包括如下步骤：
通过末端执行器控制工业相机在第一位置采集标定物的图像，通过所述标定物的图像得到特征点的成像坐标；
根据所述特征点的物理坐标和成像坐标确定初始重投影变换坐标模型的初始第一参数和初始第二参数，所述第一参数用于定义手眼变换坐标的旋转矩阵，所述第二参数用于定义手眼变换坐标的平移向量；
通过末端执行器控制工业相机在多个位置采集标定物的图像，通过所述多个位置的标定物的图像得到特征点的实际像点坐标；
将所述初始重投影变换坐标模型作为当前重投影变换坐标模型，并重复执行如下步骤直至符合停止条件，确定符合停止条件的当前重投影变换坐标模型为标定的重投影变换坐标模型，所述停止条件至少包括第一参数或第二参数的梯度范数；
标定物的物理坐标通过当前重投影变换坐标模型获得重投影像点坐标，至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，并将包括调整第一参数和调整第二参数的重投影变换坐标模型作为新的当前坐标模块；
所述停止条件至少包括第一参数或第二参数的梯度范数的步骤，包括：
标定物的物理坐标通过当前重投影变换坐标模型获得重投影像点坐标，根据所述第一参数的梯度范数或第二参数的梯度范数调整第一参数或第二参数，至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小。
2.根据权利要求1所述的工业机器人末端相机在线标定方法，其特征在于，所述至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小的方法包括：通过非线性参数模型至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，所述非线性参数模型为：
Figure FDA0002803606980000021
其中，i为末端执行器控制工业相机第i次运动，n为末端执行器控制工业相机运动的总次数，u和v为相机成像平面的坐标轴，Wiu为特征点的实际像点和重投影像点在u轴上的坐标差值，Wiv为特征点的实际像点和重投影像点在v轴上的坐标差值；
Figure FDA0002803606980000022
其中，特征点在标定物坐标系Co的物理坐标值为oi，特征点在相机图像坐标系的实际像点坐标值为pi，piu和piv分别为pi在相机图像坐标系中u、v轴上的分量，Fu(oi)和Fv(oi)分别为oi经重投影变换后的重投影像点在u、v轴上的分量。
3.根据权利要求2所述的工业机器人末端相机在线标定方法，其特征在于，所述重投影变换坐标模型为：
p＝F(o)＝MJc＝MJTecTweTowo
其中，o为标定特征点在标定物坐标系Co的物理坐标值，Tow为标定物坐标系到基座世界坐标系的变换矩阵，Twe为基座世界坐标系到末端执行器坐标系的变换矩阵，Tec为末端执行器坐标系到相机坐标系的变换矩阵，Tec即手眼变换坐标X，矩阵M为相机内参数矩阵，J为相机畸变参数矩阵。
4.根据权利要求3所述的工业机器人末端相机在线标定方法，其特征在于，所述手眼变换坐标X为：
Figure FDA0002803606980000031
其中，R为手眼变换矩阵的旋转矩阵，即R为第一参数，t为手眼变换矩阵的平移向量，即t为第二参数，OT为标定特征点在末端执行器坐标系下的物理坐标值。
5.根据权利要求3所述的工业机器人末端相机在线标定方法，其特征在于，所述相机畸变参数矩阵包括镜头径向畸变公式，所述镜头径向畸变公式为：
Figure FDA0002803606980000032
式中，un和vn表示畸变模型下的实际像点，u和v表示无畸变理想像点，u0和v0表示像素坐标系主点，k1、k2为径向畸变比例系数，(x,y)为像点物理坐标实际值。
6.根据权利要求1所述的工业机器人末端相机在线标定方法，其特征在于，所述通过末端执行器控制工业相机在多个位置采集标定物的图像的方法包括：
工业相机在成像平面上获取特征点的成像坐标(u，v)：
Figure FDA0002803606980000033
其中，random表示按照括号内的给定范围取随机值，umax为相机u轴方向分辨率，vmax为相机v轴方向分辨率，k为比例系数。
7.根据权利要求1所述的工业机器人末端相机在线标定方法，其特征在于，所述通过末端执行器控制工业相机在多个位置采集标定物的图像的方法包括：
所述通过末端执行器依据姿态规划结果控制工业相机在多个位置采集标定物的图像。
8.根据权利要求7所述的工业机器人末端相机在线标定方法，其特征在于，所述姿态规划的方法包括：
特征点在标定物坐标系的物理坐标通过相机投射模型和手眼变换模型得到末端执行器的相对位置，根据该相对位置设置末端执行器的运动。
9.根据权利要求8所述的工业机器人末端相机在线标定方法，其特征在于，所述相机投射模型为：
Figure FDA0002803606980000041
其中，fx和fy为相机归一化焦距，cx和cy为光心所在像平面位置，(xc,yc,zc)为相机坐标系下的像点坐标；
所述手眼变换模型为：
Figure FDA0002803606980000042
其中，(xe,ye,ze)为像点在执行器坐标下的坐标，Tec为末端执行器坐标系到相机坐标系的变换矩阵，Tec即手眼变换坐标X。
10.一种工业机器人末端相机在线标定装置，其特征在于，包括：
初始参数采集模块，用于通过末端执行器控制工业相机在第一位置采集标定物的图像，通过所述标定物的图像得到特征点的成像坐标；
初始参数定义模块，用于根据所述特征点的物理坐标和成像坐标确定初始重投影变换坐标模型的初始第一参数和初始第二参数，所述第一参数用于定义手眼变换坐标的旋转矩阵，所述第二参数用于定义手眼变换坐标的平移向量；
迭代参数采集模块，用于通过末端执行器控制工业相机在多个位置采集标定物的图像，通过所述多个位置的标定物的图像得到特征点的实际像点坐标；
迭代优化模块，用于将所述初始重投影变换坐标模型作为当前重投影变换坐标模型，并重复执行如下步骤直至符合停止条件：
标定物的物理坐标通过当前重投影变换坐标模型获得重投影像点坐标，至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小，并将包括调整第一参数和调整第二参数的重投影变换坐标模型作为新的当前坐标模块；
确定符合停止条件的当前重投影变换坐标模型为标定的重投影变换坐标模型，所述停止条件至少包括第一参数或第二参数的梯度范数；
所述停止条件至少包括第一参数或第二参数的梯度范数的步骤，包括：
标定物的物理坐标通过当前重投影变换坐标模型获得重投影像点坐标，根据所述第一参数的梯度范数或第二参数的梯度范数调整第一参数或第二参数，至少确定调整第一参数和调整第二参数使标定物的实际像点和重投影像点之间距离和最小。
CN201910539689.8A 2019-06-20 2019-06-20 工业机器人末端相机在线标定方法 Active CN110246193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910539689.8A CN110246193B (zh) 2019-06-20 2019-06-20 工业机器人末端相机在线标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910539689.8A CN110246193B (zh) 2019-06-20 2019-06-20 工业机器人末端相机在线标定方法

Publications (2)

Publication Number Publication Date
CN110246193A CN110246193A (zh) 2019-09-17
CN110246193B true CN110246193B (zh) 2021-05-14

Family

ID=67888532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910539689.8A Active CN110246193B (zh) 2019-06-20 2019-06-20 工业机器人末端相机在线标定方法

Country Status (1)

Country Link
CN (1) CN110246193B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110695996B (zh) * 2019-10-14 2022-05-31 扬州大学 一种工业机器人自动手眼标定方法
CN111156997B (zh) * 2020-03-02 2021-11-30 南京航空航天大学 一种基于相机内参在线标定的视觉/惯性组合导航方法
CN113554711B (zh) * 2020-04-26 2024-10-15 上海欧菲智能车联科技有限公司 相机在线标定方法、装置、计算机设备和存储介质
CN112045676A (zh) * 2020-07-31 2020-12-08 广州中国科学院先进技术研究所 一种基于深度学习的机器人抓取透明物体的方法
CN112330749B (zh) * 2020-10-22 2024-07-05 深圳众为兴技术股份有限公司 相机安装于机器人手臂上的手眼标定方法及手眼标定装置
CN113240751B (zh) * 2021-05-18 2023-01-17 广州慧炬智能科技有限公司 一种机器人末端相机的标定方法
CN113379849B (zh) * 2021-06-10 2023-04-18 南开大学 基于深度相机的机器人自主识别智能抓取方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103115615A (zh) * 2013-01-28 2013-05-22 山东科技大学 一种基于指数积模型的手眼机器人全自动标定方法
CN106289106A (zh) * 2016-08-04 2017-01-04 北京航空航天大学 一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法
CN109658460A (zh) * 2018-12-11 2019-04-19 北京无线电测量研究所 一种机械臂末端相机手眼标定方法和系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9883163B2 (en) * 2012-01-09 2018-01-30 Disney Enterprises, Inc. Method and system for determining camera parameters from a long range gradient based on alignment differences in non-point image landmarks
EP2916286A1 (en) * 2014-03-06 2015-09-09 Thomson Licensing Camera calibration method and apparatus using a color-coded structure
CN105654502B (zh) * 2016-03-30 2019-06-28 广州市盛光微电子有限公司 一种基于多镜头多传感器的全景相机标定装置和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103115615A (zh) * 2013-01-28 2013-05-22 山东科技大学 一种基于指数积模型的手眼机器人全自动标定方法
CN106289106A (zh) * 2016-08-04 2017-01-04 北京航空航天大学 一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法
CN109658460A (zh) * 2018-12-11 2019-04-19 北京无线电测量研究所 一种机械臂末端相机手眼标定方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A new calibration technique for multi-camera systems of limited overlapping field-of-views;Ziran Xing et al;《2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)》;20171214;5892-5899 *
基于最小凸包理论的相机自动标定方法研究;王逊扬;《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》;20160715;第2016年卷(第7期);I138-1138 *

Also Published As

Publication number Publication date
CN110246193A (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
CN110246193B (zh) 工业机器人末端相机在线标定方法
CN109483516B (zh) 一种基于空间距离和极线约束的机械臂手眼标定方法
KR102280663B1 (ko) 비전 가이드 로봇 암 교정 방법
CN111775146A (zh) 一种工业机械臂多工位作业下的视觉对准方法
CN109291048B (zh) 一种磨抛工业机器人实时在线编程系统及方法
CN113379849B (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN112070133B (zh) 一种基于测距仪和机器视觉的三维空间点定位的方法
CN115446836B (zh) 一种基于多种图像特征信息混合的视觉伺服方法
CN114310880B (zh) 一种机械臂标定方法及装置
CN113681559B (zh) 一种基于标准圆柱的线激光扫描机器人手眼标定方法
CN109191527B (zh) 一种基于最小化距离偏差的对位方法及装置
CN112658643B (zh) 接插件装配方法
CN115861445B (zh) 一种基于标定板三维点云的手眼标定方法
CN110202560A (zh) 一种基于单个特征点的手眼标定方法
CN115179323A (zh) 基于远心视觉约束的机器末位姿测量装置及精度提升方法
CN115972192A (zh) 具有可变空间分辨率的3d计算机视觉系统
CN114769800A (zh) 一种用于焊接过程的智能运行控制系统与方法
CN107571290B (zh) 工业机器人末端执行器的校准装置、方法及系统
CN110533727B (zh) 一种基于单个工业相机的机器人自定位方法
CN215701709U (zh) 一种可配置的手眼标定装置
CN109318235B (zh) 一种机器人视觉伺服系统的快速聚焦方法
CN116922374A (zh) 双目视觉的标定方法、标定装置、机器人和存储介质
CN115205390A (zh) 工业机器人面结构光立体相机位姿在线标定方法及系统
CN111275662A (zh) 基于二维码的工件定位方法、装置、设备和存储介质
CN111699445A (zh) 机器人运动学模型优化方法、系统和存储装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210423

Address after: 210000 Room 101, building A, three tower, Nanjing Bai Xia hi tech Industrial Park, 8 Yongfeng Road, Qinhuai District, Nanjing, Jiangsu.

Applicant after: NANJING BOLANQI INTELLIGENT TECHNOLOGY Co.,Ltd.

Address before: 210000 Room 101, building A, three tower, Nanjing Bai Xia hi tech Industrial Park, 8 Yongfeng Road, Qinhuai District, Nanjing, Jiangsu.

Applicant before: NANJING BOLANQI INTELLIGENT TECHNOLOGY Co.,Ltd.

Applicant before: NANJING LIGONG CHENGYUE INTELLIGENT EQUIPMENT Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: On line calibration method for end camera of industrial robot

Effective date of registration: 20210630

Granted publication date: 20210514

Pledgee: China Construction Bank Corporation Nanjing Qinhuai sub branch

Pledgor: NANJING BOLANQI INTELLIGENT TECHNOLOGY Co.,Ltd.

Registration number: Y2021980005575

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20220715

Granted publication date: 20210514

Pledgee: China Construction Bank Corporation Nanjing Qinhuai sub branch

Pledgor: NANJING BOLANQI INTELLIGENT TECHNOLOGY CO.,LTD.

Registration number: Y2021980005575

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231211

Address after: Room 111-114, Building A, No. 1, Guotai North Road, Zhangjiagang Economic and Technological Development Zone, Zhangjiagang City, Suzhou City, Jiangsu Province, 215600 (City High-tech Entrepreneurship Service Center)

Patentee after: Suzhou Proton Optoelectronics Technology Co.,Ltd.

Address before: Room 101, building a, building 3, Nanjing Baixia high tech Industrial Park, No.8 Yongfeng Avenue, Qinhuai District, Nanjing City, Jiangsu Province, 210000

Patentee before: NANJING BOLANQI INTELLIGENT TECHNOLOGY CO.,LTD.