CN109159114B - Scara机械手固定相机视觉系统手眼标定的高精度方法 - Google Patents
Scara机械手固定相机视觉系统手眼标定的高精度方法 Download PDFInfo
- Publication number
- CN109159114B CN109159114B CN201810933936.8A CN201810933936A CN109159114B CN 109159114 B CN109159114 B CN 109159114B CN 201810933936 A CN201810933936 A CN 201810933936A CN 109159114 B CN109159114 B CN 109159114B
- Authority
- CN
- China
- Prior art keywords
- manipulator
- coordinate system
- target
- image
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 230000009466 transformation Effects 0.000 claims abstract description 67
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 49
- 238000013507 mapping Methods 0.000 claims abstract description 33
- 239000011159 matrix material Substances 0.000 claims abstract description 25
- 238000005457 optimization Methods 0.000 claims abstract description 25
- 238000013519 translation Methods 0.000 claims description 46
- 230000014616 translation Effects 0.000 claims description 45
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明提出了一种SCARA机械手固定相机视觉系统手眼标定的高精度方法，其步骤如下：将靶标粘贴在长条形工具的一端，长条形工具的另一端固定于机械手的端部，相机固定在机械手工作范围的固定位置上，相机拍摄面和靶标均平行于工作平面；粗标定：机械手带动靶标在预设小范围内进行平移和旋转，据机械手位置及靶标在各位置的识别结果建立图像坐标系到机械手坐标系的初始映射关系；精标定：在图像坐标系中预设若干个靶标图像位置，基于初始映射关系计算机械手对应的移动位置，自动识别相应的靶标图像，构建仿射变换模型并转化为最优化求解问题，获得图像坐标系到机械手坐标系的仿射变换矩阵。本发明方法标定精度高，且操作简便，可实现一键标定。
Description
技术领域
本发明涉及机器人标定的技术领域，尤其涉及一种SCARA机械手固定相机视觉系统手眼标定的高精度方法。
背景技术
工业机器人作为智能制造技术的关键设备，已经广泛应用于汽车、机械、电子、家电、石化、物流等各个行业进行工件搬运、上下料、分拣等操作。传统示教型机器人完成这些操作必须要经过精确的逐点示教，且只能针对固定摆放的单种工件，有很强的局限性。随着社会发展和需求的多样化，工业领域对自动化生产线的柔性化、智能化提出了更高要求。近年来，机器视觉技术取得飞速发展，机器人开始采用视觉信息引导工业机器人自动抓取目标。工业机器人视觉引导技术可以实现制造与装配的全自动化，大幅提高生产效率，已成为当前的一个研究热点。
机器人与视觉技术的结合得到了广泛的关注和应用。很多工业自动化应用需要安装工业相机以模仿人的眼睛来对产品零部件进行识别定位。如智能手机等的组装等需要精度很高的定位。高精密电子产品的生产人工很难完成这样高精度的要求。很多工业自动化应用需要机器人和机器视觉技术的完美结合。一般机器人和视觉系统的相机存在两种位置关系：其一是Eye-in-hand，即相机固定在机器人的一个手臂上；其二是Eye-to-hand，即相机安装在机器人工作范围之内的一个固定位置。一般机器人和视觉系统都有各自的坐标系，无论哪种方式在机器人视觉系统协调工作时都需要知道这两个坐标系的关系，以便做到“眼到手到”，这就是所谓的手眼校正算法。是否便于操作是机器人视觉技术能否成功的关键。
机器人TCP触碰靶标方法：将靶标固定在相机可看到的地方，用机械手TCP(ToolCenter Point)触碰靶标获取靶标的机械手坐标系位置，然后用相机获取靶标的图像位置，从而建立机械手坐标系与相机坐标系之间的映射关系。已有的机器人TCP触碰靶标方法高度依赖人眼观察TCP位置，主观性影响大，无法保证精度，且操作繁琐，获取较多点的对应关系需要大量的人工操作。简单的机器人平移旋转方法：一般通过人工操作将机器手上的靶标移动到相机视野内，通过简单的在局部范围内的平移和旋转来识别靶标，并记录识别结果和对应的机械手位置来建立机械手坐标系和相机坐标系之间的旋转和平移关系。机械手平移和旋转操作大多依赖人工，当需要较多点来提高精度时，操作非常繁琐；且一般只建立了旋转和平移映射，对相机的安装精度要求较高。因此，目前的标定方法无法获得较高的标定精度，无法满足现代精密制造的需求；目前的标定方法操作方法繁琐，无法做到生产现场所需的“一键标定”。
发明内容
针对现有机器人和视觉系统校正方法精度不够，操作繁琐的技术问题，本发明提出一种SCARA机械手视觉系统手眼标定的高精度方法，针对使用广泛的SCARA工业机器人的固定安装相机视觉系统(Eye-to-hand)提出一种操作简便且具有高精度的校正方法，以便确定机器人的“手眼”关系。
为了达到上述目的，本发明的技术方案是这样实现的：一种SCARA机械手固定相机视觉系统手眼标定的高精度方法，根据预设机械手小范围移动位置建立图像坐标系到机械手坐标系的初始映射关系；利用初始映射关系自动采集若干个位置靶标的识别结果，构建仿射变换模型并转化为最优化求解问题，利用非线性最优化方法进行仿射变换模型的最优参数估计；其步骤如下：
步骤一：将靶标粘贴在长条形工具的一端，长条形工具的另一端固定于机械手的端部，靶标随机械手端部同时旋转，相机固定在机械手工作范围的固定位置上，相机的拍摄面和靶标均平行于工作平面，以机械手的固定端为中心在工作平面上建立机械手坐标系，以相机拍摄图像的一角为中心在图像所在平面建立图像坐标系；
步骤二：粗标定：控制系统控制机械手带动靶标在预设小范围内进行平移和旋转运动，利用模式识别方法对相机拍摄的靶标图像进行识别，根据机械手位置和靶标的识别结果获取图像坐标系到机械手坐标系的初始映射关系；
步骤三：精标定：在图像坐标系中预设若干个靶标图像位置，通过步骤二得到的初始映射关系计算机械手相应的移动位置，机械手自动根据移动位置带动靶标多次平移和/或旋转，利用相机采集若干个移动位置的靶标图像，并获取相应靶标图像的识别结果，构建仿射变换模型并转化为最优化求解问题，利用非线性最优化方法进行仿射变换模型的最优参数估计，获得图像坐标系到机械手坐标系的仿射变换矩阵。
所述步骤二的实现方法是：机械手带动靶标在平移和旋转过程中，相机拍摄机械手在各个位置的靶标图像，利用模式识别方法对靶标图像进行识别，记录机械手在各位置的靶标识别，根据机械手位置和靶标识别结果获取图像坐标系到机械手坐标系的初始映射关系。
所述初始映射关系的计算方法为：至少利用在初始位置附近的两次靶标平移的机械手位置和对应的靶标识别结果计算机械手坐标系和图像坐标系之间的旋转变换矩阵；至少利用在初始位置附近的两次靶标旋转的机械手位置和对应的靶标识别结果计算靶标在机械手坐标系的初始位置及机械手坐标系和图像坐标系之间的平移变换参数。
所述步骤二中粗标定时机械手的平移包括机械手沿机械手坐标系的X轴平移0.1-2mm、回到初始位置、沿Y轴平移0.1-2mm；旋转包括绕当前位置逆时针旋转0.01度到5度和绕当前位置顺时针旋转0.01度到5度。
所述机械手坐标系和图像坐标系之间的旋转和平移变换表示为：
其中，
和
分别为同一靶标位置在机械手坐标系和相机坐标系的坐标，
为机械手坐标系与图像坐标系之间的平移参数；
通过平移过程中靶标的初始位置、沿X轴平移和沿Y轴平移的位置坐标及相应的靶标识别结果坐标代入公式(1)求解确定旋转变换矩阵
机械手坐标系中靶标位置与机械手位置关系可表示为：
其中，
为机械手在机械手坐标系的初始位置，
为靶标在机械手坐标系的初始位置，r为靶标与机械手端点的距离，α表示靶标与机械手端点连线与x轴的夹角；
在机械手初始位置分别绕逆时针和顺时针方向旋转角度dα，由公式(2)得到三个方程据此三个方程确定靶标的初始位置参数(r，α)和机械手坐标系与图像坐标系之间的平移变换参数
所述步骤三中精标定的方法：由步骤二粗标定得到的初始位置参数和预设的图像位置的坐标依次利用公式(2)和公式(1)计算机械手的移动位置，控制系统通过控制机械手带动靶标多次平移和/或旋转，在每个移动位置对相机拍摄的靶标图像进行靶标识别，记录靶标识别结果；利用机械手坐标系和图像坐标系之间的仿射变换模型，建立识别仿射变换参数的非线性最优化问题，根据机械手位置及其对应的靶标识别结果利用最优化方法获得机械手坐标系和图像坐标系之间的仿射变换参数的最优估计。
所述步骤三中精标定的移动方法包括机械手在初始位置多次旋转、在机械手固定位置多次旋转靶标和多次平移机械手位置从而使靶标均匀出现在图像坐标系的各个不同位置。
所述机械手坐标系与图像坐标系的仿射变换模型为采用齐次坐标的仿射变换进行表示：
其中，ω＝h31x+h32y+h33z+h34为齐次系数，
表示仿射变换矩阵，(u,v)为靶标在图像坐标系的坐标，(x,y,z)为靶标在机械手坐标系的坐标；
假设工作平面位于Z＝0的平面，图像坐标系与机械手坐标系之间的映射关系可表示为：
记
hkl表示仿射变换矩阵的系数，下标k＝1,2,3，l＝1,2,4；
图像坐标系与机械手坐标系之间的标定问题可转化为非线性最优化问题：
其中，
表示靶标在第i个位置的图像坐标系的坐标，
表示靶标在第i个位置在机械手坐标系的坐标，i＝1,2,3,…n表示靶标不同位置，n＞5为预设图像位置的个数；根据靶标在图像坐标系和机械手坐标系的对应位置，利用最小二乘法即可确定其中的未知系数h kl，即机械手坐标系和图像坐标系之间的仿射变换矩阵。
图像坐标系与机械手坐标系之间映射关系的非线性最优化问题的计算步骤如下：
(a)根据粗标定得到的初始位置参数初始化(r，α)；
(b)利用公式(2)，通过机械手位置确定靶标在机械手坐标系的坐标
(c)将n个靶标在机械手坐标系的坐标
与靶标识别的坐标
代入公式(3)，用最小二乘法确定两个坐标系之间的仿射变换矩阵；
(d)如果非线性最优化问题的误差较大，利用梯度下降算法修改(r，α)，返回步骤(b)和(c)重新计算，直至误差满足精度要求；
(e)利用得到的参数(r，α)，通过步骤(b)和(c)获得最终的仿射变换矩阵。
所述靶标包括长方形板，长方形板的中心设有黑色的圆形靶心，圆形靶心的圆心与长方形板的中心相重合。
本发明的有益效果：包括粗标定和精标定两个步骤，据预设小范围机械手移动位置建立图像坐标系到机械手坐标系的初始映射关系；精标定通过预设多个靶标图像位置，自动移动机械手使靶标均匀出现在相机采集图像的各个位置，综合利用多个预设靶标图像位置和多次靶标识别结果以达到提高校正精度的目标；根据粗标定结果自动计算精标定所需的机械手移动位置，与目测移动机械手的方法相比提高了标定精度，同时，减少了人工操作，提高了工作效率；机械手精标定的移动包括绕靶标初始位置进行多次旋转，以提高计算靶标到机械手位置之间距离的精度；也可以在机械手固定位置多次旋转靶标及平移机械手位置，使靶标均匀出现在图像的各个不同位置；相机视野内出现的对象都可以得到其高精度的机械手坐标系位置，便于机械手进行高精度对位；精标定更精确的建立了机械手坐标系和图像坐标系的映射关系，使得机械手可以更精确的定位。本发明的方法操作简便，实现了真正的“一键标定”且满足了高精度的需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程图。
图2为本发明靶标与机械手初始位置的结构示意图。
图3为本发明靶标图像的示例图。
图4为本发明相机视野与机械手位置的示意图。
图5为本发明靶标在图像中多次平移的示例图。
图6为本发明靶标绕机械手固定位置多次旋转的示例图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明较佳的实施例。基于本发明中的实施例，本领域技术人员利用其它靶标图像、仿射变换模型、非线性化优化方法、机械手旋转和平移的组合或不同的预设图像位置等所有其他实施例，都属于本发明保护的范围。
如图1所示，一种SCARA机械手固定相机视觉系统手眼标定的高精度方法，使用SCARA机械手和固定相机视觉系统进行工件抓取，对位时进行实时高精度图像坐标到机械手坐标系的坐标转换问题。本发明首先通过机械手简单的小范围平移和旋转移动确定机械手坐标系和图像坐标系的初始映射关系，然后根据初始映射关系及其指定图像坐标计算复数点的机械手移动位置使机械手移动到多个位置取得靶标的实际图像坐标，通过非线性优化方法获取高精度的图像坐标系到机械手坐标系的坐标映射关系，从而实现在线高精度的视觉识别及抓取与对位。其具体步骤如下：
步骤一：将靶标粘贴在长条形工具的一端，长条形工具的另一端与机械手的端部固定连接，相机固定在机械手工作范围的固定位置上，相机拍摄面和靶标均平行于工作平面，以机械手固定端为中心的工作平面建立机械手坐标系，以相机拍摄图像的一角为中心建立图像坐标系。
将靶标粘贴在长条形工具的一端，长条形工具的另一端与机械手的端部固定连接，长条形工具带动靶标可随机械手的端部旋转。靶标与机械手安装后的初始位置的结构示意图如图2所示，在以机械手的固定端为中心的工作平面上建立机械手坐标系。机械手端部到靶标的距离为r，α为长条形工具与机械手坐标系的X轴的初始夹角。长条形工具与机械手的端部活动连接，通过控制系统控制机械手可以带动靶标旋转和移动。靶标的实例图如图3所示，靶标包括长方形板，长方形板的中心设有黑色的圆形靶心，圆形靶心的圆心与长方形板的中心相重合。以固定相机拍摄图像的一角为中心的图像平面上建立图像坐标系，机械手坐标系和图像坐标系的位置关系如图4所示。
步骤二：粗标定：控制系统控制机械手带动靶标小范围的平移和旋转运动，利用模式识别方法对相机拍摄的靶标图像进行识别，根据机械手位置和靶标识别结果获取图像坐标系到机械手坐标系的初始映射关系。
通过控制系统移动机械手使相机能多角度多方位的拍摄靶标，机械手在工作平面内小范围简单的平移，然后回到初始位置；靶标在初始位置的初始角度α的正负角度方向小范围旋转。平移过程中长条形工具和机械手的相对位置不变，包括：机械手沿机械坐标系的X轴平移一定距离、沿Y轴平移一定距离，回到初始位置。旋转时机械手位置不变，机械手带动长条形工具绕当前位置逆时针旋转一定角度，绕当前位置顺时针旋转一定角度。机械手平移距离的范围为0.1-2mm，旋转的角度的范围为0.01度到5度，根据实际需要的精度要求选定平移距离和旋转角度，精度要求越高，选择越小的平移距离和旋转角度。
机械手带动靶标在平移和旋转过程中，相机拍摄靶标的图像，通过靶标图像记录靶标在以上各位置的图像坐标，利用模式识别方法自动识别相机拍摄的靶标图像，得到靶标在图像坐标系中的坐标(u，v)，根据机械手位置和靶标识别结果建立相机视觉系统所在的图像坐标系到机械手坐标系的初始映射关系。其中机械手位置由控制系统直接给出。
初始映射关系的计算方法为：利用机械手在初始位置附近的平行移动所得到的靶标识别结果计算机械手坐标系和图像坐标系之间的旋转变换矩阵，利用在初始位置附近的旋转移动所得到的靶标识别结果计算机械手坐标系和图像坐标系之间的平移变换参数，从而确定靶标与机械手的初始位置估计。
图2和图4中的Mark位置就是靶标的位置，靶标在机械手坐标系和图像坐标系两个坐标系的位置关系可以通过三角转换公式得到，具体如下：假设固定相机和机械手之间只有旋转和平移，那么可以通过平移的初始位置、沿X轴平移和沿Y轴平移的坐标及所得到的靶标识别结果确定机械手坐标系和图像坐标系之间的旋转变换矩阵，之后通过旋转的长条形工具与X轴之间的初始夹角α、逆时针旋转角度-dα和顺时针旋转角度+dα的值及靶标识别结果数据得到机械手坐标系和图像坐标系之间的平移向量。具体方法为：
机械手坐标系和图像坐标系之间的粗略映射关系可表示为：
其中，
和
分别为同一目标在机械手坐标系和图像坐标系的坐标，
为机械手坐标系与图像坐标系之间的平移参数。通过初始位置及两次平移所得到的靶标识别结果，利用公式(1)可确定旋转变换矩阵
如图2所示，机械手坐标系中靶标位置与机械手位置关系可表示为：
其中，
为机械手在机械手坐标系的初始位置，
为靶标在机械手坐标系的初始位置，r为靶标与机械手端点的距离，α表示靶标与机械手端点连线与x轴的夹角。
在机械手初始位置分别绕逆时针和顺时针方向旋转角度dα，由公式(2)得到三个方程据此三个方程可确定靶标的初始位置参数(r，α)和机械手坐标系与图像坐标系之间的平移变换参数
但以上所获得的旋转平移变换，并没有考虑到图像平面可能与工作平面不平行的问题，另外也没有考虑采集数据时所产生的误差。因此，需要采集更多的数据，以获取固定相机的图像平面与工作平面之间的更多信息，从而得到更高精度的标定精度。
步骤三：精标定：在图像坐标系中设计若干个靶标的图像位置，通过步骤二得到的初始映射关系计算机械手对应的移动位置，通过控制系统控制机械手带动靶标多次平移和/或旋转，利用固定相机采集每次移动的靶标图像，并获取相应靶标图像的识别结果，构建仿射变换模型并转化为最优化求解问题，利用非线性最优化方法进行仿射变换模型的最优参数估计，获得图像坐标系到机械手坐标系的仿射变换矩阵。
在图像坐标系中设计若干个靶标图像位置，根据预设定图像的位置和由粗标定得到的初始位置参数(r，α)和预设的图像位置坐标，利用公式(2)和公式(1)计算机械手的移动位置，控制系统将机械手移动到相应的移动位置，在每个移动位置对相机拍摄的靶标图像进行识别，记录靶标识别结果；构建机械手坐标系和图像坐标系之间的仿射变换模型，基于机械手位置及靶标识别结果利用非线性最优化方法进行仿射变换模型的最优参数估计，获得图像坐标系到机械手坐标系的仿射变换矩阵。其中设计的靶标图像位置数量一般大于5个。
由于相机安装精度问题，无法保证图像平面与工作平面平行，因此，简单的二维旋转和平移变换无法满足实际精度要求。机械手坐标系与图像坐标系的映射关系采用如下齐次坐标的仿射变换模型进行表示：
其中，ω＝h31x+h32y+h33z+h34为齐次系数，
表示仿射变换矩阵，(u,v)为靶标在图像坐标系的坐标，(x,y,z)为靶标在机械手坐标系的坐标。只考虑平面变换的情况，即假设工作平面位于Z＝0的平面，图像坐标系与机械手坐标系之间的映射关系可表示为：
记
hkl表示仿射变换矩阵的系数，下标k＝1,2,3，l＝1,2,4。
式(3)中有9个未知系数hkl，如果知道5个以上的非共线位置的坐标对应关系，就可以根据最小二乘法确定其中的未知系数hkl。图像坐标系与机械手坐标系之间的标定问题转化为非线性最优化问题：
其中，
表示靶标在第i个位置的图像坐标系的坐标，
表示靶标第i个位置的机械手坐标系的坐标，i＝1,2,3,…n表示靶标不同位置，n＞5为预设图像位置的个数。
上述非线性最优化问题的计算步骤如下：
(a)根据粗标定得到的初始位置参数初始化(r，α)；
(b)利用公式(2)，通过机械手位置确定靶标在机械手坐标系的坐标
(c)将n个靶标在机械手坐标系的坐标
与靶标识别的坐标
代入公式(3)，用最小二乘法确定两个坐标系之间的仿射变换矩阵；
(d)如果非线性最优化问题的误差较大，利用梯度下降算法修改(r，α)，返回步骤(b)和(c)重新计算，直至误差满足精度要求；
(e)利用得到的参数(r，α)，通过步骤(b)和(c)获得最终的仿射变换矩阵。
粗标定只能大致确定两个坐标系之间的位置关系，并且是小范围的。由于移动次数少，无法获得更精确的图像坐标系与机械手坐标系的映射关系。为了提高精度，需要采集机械手更多次移动位置的靶标识别结果。为了在机械手移动过程中可以均匀地采集到靶标图像，本发明根据粗标定结果及预设的指定图像位置计算机械手的移动位置，从而可以保证靶标移动过程中在相机的视野中，以方便进行靶标识别。
为了提高精度，精标定的移动方法包括机械手绕靶标初始位置多次旋转，以提高计算靶标到机械手位置之间距离的精度；也可以在机械手固定位置多次旋转靶标，如图6所示；小范围Z字形平移机械手位置使靶标均匀出现在相机拍摄图像的各个不同位置，如图5所示。根据粗标定结果自动计算精标定所需的机械手移动位置是本发明的重要特点，提高了标定精度，同时还简化了操作步骤，提高了效率。
记录得到的仿射变换关系，根据固定相机对在线目标的图像采集和识别结果，获取目标在机械手坐标系下的坐标，通过控制系统控制机械手执行对位或抓取操作。
本发明的粗标定和精标定进行图像坐标系和机械手坐标系的校正方法完全自动化，操作方便；用户只需输入机器人平移距离、旋转角度等很少参数，校正过程即可自动完成；现场操作人员无需繁琐的操作即可完成校正过程。本发明的方法通过实现软件自动完成由初步的粗标定到进一步的精标定的机械手移动位置的计算，然后由控制系统移动机械手采集相关校正数据，从而由粗标定到精标定完成一键校正的过程。
为了验证本发明的标定方法，采用YAMAHA YK500TW，SENTECH工业相机及WIL图像处理库进行仿真验证。实验过程中靶标在机械手坐标系和图像坐标系的坐标值如表1所示。利用第1-6组的数据进行粗标定，第7-15组的数据进行精标定。第1组数据是靶标在机械手坐标系和图像坐标系的初始位置，第2组数据是靶标沿X轴平移的坐标及靶标在相应的图像坐标系的坐标，第3组数据是机械手带动靶标回到初始位置，第4组数据是靶标沿Y轴平移的坐标及靶标在相应的图像坐标系的坐标，第5组是靶标逆时针旋转的坐标数据，第6组是靶标顺时针旋转的坐标数据，第7-15组是靶标在初始夹角下沿Z字形平移的坐标数据，通过验证机械手的标定误差一般在2个像素以下。同时，本发明可用于平台对位标定，在高精度平台下标定精度可达到1μm。
表1实验中利用的示例数据
| 序号 | X坐标值 | Y坐标值 | α | u坐标值 | v坐标值 |
| 1 | 21.752 | 17.422 | 0.162769 | 496.14 | 467.31 |
| 2 | 22.252 | 17.422 | 0.162769 | 535.72 | 468.35 |
| 3 | 21.752 | 17.922 | 0.162769 | 495.38 | 507.18 |
| 4 | 21.752 | 17.422 | 0.162769 | 507.44 | 560.32 |
| 5 | 21.752 | 17.422 | 0.171496 | 515.45 | 522.82 |
| 6 | 21.752 | 17.422 | 0.154043 | 499.81 | 597.63 |
| 7 | 17.498 | 13.742 | 0.162769 | 160.66 | 166.13 |
| 8 | 23.496 | 13.585 | 0.162769 | 638.77 | 164.42 |
| 9 | 29.493 | 13.429 | 0.162769 | 1115.87 | 162.62 |
| 10 | 17.582 | 18.091 | 0.162769 | 162.27 | 513.21 |
| 11 | 23.579 | 17.935 | 0.162769 | 640.52 | 511.36 |
| 12 | 29.577 | 17.778 | 0.162769 | 1117.78 | 509.16 |
| 13 | 17.665 | 22.441 | 0.162769 | 164.22 | 860.26 |
| 14 | 23.663 | 22.284 | 0.162769 | 642.4 | 858.06 |
| 15 | 29.66 | 22.128 | 0.162769 | 1119.53 | 855.39 |
对于频繁更换生产品种的工厂需要机械手对位时，本发明的标定方法减少了操作步骤和操作时间，提高了生产效率；对于高精度机械手对位的需求，可以根据需要自动生成更多的精标定的校正步骤，采集更多数据来提高校正精度。
本发明的识别目标布满整个图像，因此在任意位置都可得到高精度结果，可用于多种厂商的机械手，可推广到各式各样的工业机器人。根据本发明的标定方法可开发多种机器人视觉应用程序，可应用于平台对位的视觉校正系统。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种SCARA机械手固定相机视觉系统手眼标定的高精度方法，其特征在于，根据预设机械手小范围移动位置建立图像坐标系到机械手坐标系的初始映射关系；利用初始映射关系自动采集多个位置靶标的识别结果，构建仿射变换模型并转化为最优化求解问题，利用非线性最优化方法进行仿射变换模型的最优参数估计；其步骤如下：
步骤一：将靶标粘贴在长条形工具的一端，长条形工具的另一端固定于机械手的端部，靶标随机械手端部同时旋转，相机固定在机械手工作范围的固定位置上，相机的拍摄面和靶标均平行于工作平面，以机械手的固定端为中心在工作平面上建立机械手坐标系，以相机拍摄图像的一角为中心在图像所在平面建立图像坐标系；
步骤二：粗标定：控制系统控制机械手带动靶标在预设小范围内进行平移和旋转，利用模式识别方法对相机拍摄的靶标图像进行识别，根据机械手位置和靶标的识别结果获取图像坐标系到机械手坐标系的初始映射关系；
步骤三：精标定：在图像坐标系中预设多个靶标图像位置，通过步骤二得到的初始映射关系计算机械手相应的移动位置，机械手自动根据移动位置带动靶标多次平移和/或旋转，利用相机采集多个移动位置的靶标图像，并获取相应靶标图像的识别结果，构建仿射变换模型并转化为最优化求解问题，利用非线性最优化方法进行仿射变换模型的最优参数估计，获得图像坐标系到机械手坐标系的仿射变换矩阵。
2.根据权利要求1所述的SCARA机械手固定相机视觉系统手眼标定的高精度方法，其特征在于，所述步骤二的实现方法是：机械手带动靶标在平移和旋转过程中，相机拍摄机械手在各个位置的靶标图像，利用模式识别方法对靶标图像进行识别，记录机械手在各位置的靶标识别，根据机械手位置和靶标识别结果获取图像坐标系到机械手坐标系的初始映射关系。
3.根据权利要求2所述的SCARA机械手固定相机视觉系统手眼标定的高精度方法，其特征在于，所述初始映射关系的计算方法为：至少利用在初始位置附近的两次靶标平移的机械手位置和对应的靶标识别结果计算机械手坐标系和图像坐标系之间的旋转变换矩阵；至少利用在初始位置附近的两次靶标旋转的机械手位置和对应的靶标识别结果计算靶标在机械手坐标系的初始位置及机械手坐标系和图像坐标系之间的平移变换参数。
4.根据权利要求1或2所述的SCARA机械手固定相机视觉系统手眼标定的高精度方法，其特征在于，所述步骤二中粗标定时机械手的平移包括机械手沿机械手坐标系的X轴平移0.1-2mm、回到初始位置、沿Y轴平移0.1-2mm；旋转包括绕当前位置逆时针旋转0.01度到5度和绕当前位置顺时针旋转0.01度到5度。
5.根据权利要求4所述的SCARA机械手固定相机视觉系统手眼标定的高精度方法，其特征在于，所述机械手坐标系和图像坐标系之间的旋转和平移变换表示为：
其中，
和
分别为同一靶标位置在机械手坐标系和相机坐标系的坐标，
为机械手坐标系与图像坐标系之间的平移参数；
通过平移过程中靶标的初始位置、沿X轴平移和沿Y轴平移的位置坐标及相应的靶标识别结果坐标代入公式(1)求解确定旋转变换矩阵
机械手坐标系中靶标位置与机械手位置关系可表示为：
其中，
为机械手在机械手坐标系的初始位置，
为靶标在机械手坐标系的初始位置，r为靶标与机械手端点的距离，α表示靶标与机械手端点连线与x轴的夹角；
在机械手初始位置分别绕逆时针和顺时针方向旋转角度dα，由公式(2)得到三个方程据此三个方程确定靶标的初始位置参数(r，α)和机械手坐标系与图像坐标系之间的平移变换参数
6.根据权利要求3或5所述的SCARA机械手固定相机视觉系统手眼标定的高精度方法，其特征在于，所述步骤三中精标定的方法：由步骤二粗标定得到的初始位置参数和预设的图像位置的坐标依次利用公式(2)和公式(1)计算机械手的移动位置，控制系统通过控制机械手带动靶标多次平移和/或旋转，在每个移动位置对相机拍摄的靶标图像进行靶标识别，记录靶标识别结果；利用机械手坐标系和图像坐标系之间的仿射变换模型，建立识别仿射变换参数的非线性最优化问题，根据机械手位置及其对应的靶标识别结果利用最优化方法获得机械手坐标系和图像坐标系之间的仿射变换参数的最优估计。
7.根据权利要求6所述的SCARA机械手固定相机视觉系统手眼标定的高精度方法，其特征在于，所述步骤三中精标定的移动方法包括机械手在初始位置多次旋转、在机械手固定位置多次旋转靶标和多次平移机械手位置从而使靶标均匀出现在图像坐标系的各个不同位置。
8.根据权利要求6所述的SCARA机械手固定相机视觉系统手眼标定的高精度方法，其特征在于，所述机械手坐标系与图像坐标系的仿射变换模型为采用齐次坐标的仿射变换进行表示：
其中，ω＝h31x+h32y+h33z+h34为齐次系数，
表示仿射变换矩阵，(u,v)为靶标在图像坐标系的坐标，(x,y,z)为靶标在机械手坐标系的坐标；
假设工作平面位于Z＝0的平面，图像坐标系与机械手坐标系之间的映射关系可表示为：
记
hkl表示仿射变换矩阵的系数，下标k＝1,2,3，l＝1,2,4；
图像坐标系与机械手坐标系之间的标定问题可转化为非线性最优化问题：
其中，
表示靶标在第i个位置的图像坐标系的坐标，
表示靶标在第i个位置在机械手坐标系的坐标，i＝1,2,3,…n表示靶标不同位置，n＞5为预设图像位置的个数；根据靶标在图像坐标系和机械手坐标系的对应位置，利用最小二乘法即可确定其中的未知系数hkl，即机械手坐标系和图像坐标系之间的仿射变换矩阵。
9.根据权利要求8所述的SCARA机械手固定相机视觉系统手眼标定的高精度方法，其特征在于，图像坐标系与机械手坐标系之间映射关系的非线性最优化问题的计算步骤如下：
(a)根据粗标定得到的初始位置参数初始化(r，α)；
(b)利用公式(2)，通过机械手位置确定靶标在机械手坐标系的坐标
(c)将n个靶标在机械手坐标系的坐标
与靶标识别的坐标
代入公式(3)，用最小二乘法确定两个坐标系之间的仿射变换矩阵；
(d)如果非线性最优化问题的误差较大，利用梯度下降算法修改(r，α)，返回步骤(b)和(c)重新计算，直至误差满足精度要求；
(e)利用得到的参数(r，α)，通过步骤(b)和(c)获得最终的仿射变换矩阵。
10.根据权利要求1、2、3、5、7-9中任意一项所述的SCARA机械手固定相机视觉系统手眼标定的高精度方法，其特征在于，所述靶标包括长方形板，长方形板的中心设有黑色的圆形靶心，圆形靶心的圆心与长方形板的中心相重合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810933936.8A CN109159114B (zh) | 2018-08-16 | 2018-08-16 | Scara机械手固定相机视觉系统手眼标定的高精度方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810933936.8A CN109159114B (zh) | 2018-08-16 | 2018-08-16 | Scara机械手固定相机视觉系统手眼标定的高精度方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109159114A CN109159114A (zh) | 2019-01-08 |
| CN109159114B true CN109159114B (zh) | 2021-03-23 |
Family
ID=64895918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810933936.8A Active CN109159114B (zh) | 2018-08-16 | 2018-08-16 | Scara机械手固定相机视觉系统手眼标定的高精度方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109159114B (zh) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11088004B2 (en) * | 2018-01-30 | 2021-08-10 | Brooks Automation, Inc. | Automatic wafer centering method and apparatus |
| CN109822568B (zh) * | 2019-01-30 | 2020-12-29 | 镁伽科技(深圳)有限公司 | 机器人控制方法、系统及存储介质 |
| CN110246176A (zh) * | 2019-05-31 | 2019-09-17 | 中广核检测技术有限公司 | 一种基于机器视觉的蒸发器管板爬行器动态定位方法 |
| CN110148187B (zh) * | 2019-06-04 | 2021-03-12 | 郑州大学 | 一种SCARA机械手Eye-in-Hand的高精度手眼标定方法和系统 |
| CN110614635B (zh) * | 2019-08-31 | 2021-11-02 | 武汉弗雷德斯科技发展有限公司 | 一种scara机器人运动学参数的辨识方法 |
| CN110977980A (zh) * | 2019-12-17 | 2020-04-10 | 上海嘉奥信息科技发展有限公司 | 基于光学定位仪的机械臂实时手眼标定方法及系统 |
| CN111113419B (zh) * | 2019-12-27 | 2022-01-25 | 深圳市越疆科技有限公司 | Scara机器人机械参数的标定方法、装置及scara机器人 |
| CN111145272A (zh) * | 2020-01-13 | 2020-05-12 | 苏州沃特维自动化系统有限公司 | 一种机械手与相机手眼标定装置和方法 |
| CN111311692B (zh) * | 2020-03-05 | 2023-08-25 | 广州市斯睿特智能科技有限公司 | 简易机械人的视觉标定方法 |
| CN111482964A (zh) * | 2020-04-17 | 2020-08-04 | 上海智殷自动化科技有限公司 | 一种新的机器人手眼标定方法 |
| CN111571596B (zh) * | 2020-05-26 | 2022-11-11 | 上海交通大学 | 利用视觉修正冶金接插装配作业机器人误差的方法及系统 |
| CN111823230B (zh) * | 2020-06-19 | 2022-01-07 | 山东科技大学 | 一种基于Scara机器人的非固定式手眼关系标定方法 |
| CN111957946A (zh) * | 2020-08-28 | 2020-11-20 | 宝钢工程技术集团有限公司 | 固定安装相机的自动机械手引导装置及其使用方法 |
| CN112621711B (zh) * | 2020-11-19 | 2022-11-29 | 深圳众为兴技术股份有限公司 | 机器人及其相机固定于机架的手眼标定方法以及存储介质 |
| CN112440022A (zh) * | 2020-11-20 | 2021-03-05 | 广东达洋宠物用品实业有限公司 | Xy轴视觉识别焊接方法及自动焊接机 |
| CN112496696A (zh) * | 2020-11-24 | 2021-03-16 | 福州大学 | 一种智能手机内部射频线自动组装视觉测量系统 |
| CN114538027B (zh) * | 2020-11-26 | 2024-08-02 | 合肥欣奕华智能机器股份有限公司 | 一种全自动视觉定位转移设备及其控制方法 |
| CN113199471B (zh) * | 2021-04-07 | 2022-08-30 | 深圳群宾精密工业有限公司 | 一种基于3d视觉对机械手双tcp点胶路径规划的方法 |
| CN113146633B (zh) * | 2021-04-23 | 2023-12-19 | 无锡信捷电气股份有限公司 | 一种基于自动贴盒系统的高精度手眼标定方法 |
| CN113400298B (zh) * | 2021-05-10 | 2022-04-08 | 埃夫特智能装备股份有限公司 | 一种无公共视野的多相机定位大工件及工业机器人位置补偿方法 |
| CN114549282B (zh) * | 2022-01-11 | 2023-12-12 | 深圳昱拓智能有限公司 | 一种基于仿射变换实现多表计读数的方法和系统 |
| CN114290338B (zh) * | 2022-03-03 | 2022-06-03 | 龙旗电子(惠州)有限公司 | 二维手眼标定方法、设备、存储介质及程序产品 |
| CN114359266B (zh) * | 2022-03-04 | 2022-06-28 | 成都创像科技有限公司 | 通过视觉检测设备检测被测零件的方法和视觉检测设备 |
| CN114683214B (zh) * | 2022-03-30 | 2024-09-17 | 武汉海微科技股份有限公司 | 一种车载屏幕壳体自动化打螺丝的视觉定位方法 |
| CN114920000A (zh) * | 2022-04-22 | 2022-08-19 | 歌尔科技有限公司 | 搬运装置、机械设备以及搬运装置的控制方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04365586A (ja) * | 1991-06-14 | 1992-12-17 | Toyota Autom Loom Works Ltd | ハンドアイの光軸整合方法及び直交軸整合方法 |
| CN1686682A (zh) * | 2005-05-12 | 2005-10-26 | 上海交通大学 | 用于机器人在线手眼标定的自适应运动选择方法 |
| EP2728374B1 (de) * | 2012-10-30 | 2016-12-28 | Technische Universität Darmstadt | Erfindung betreffend die Hand-Auge-Kalibrierung von Kameras, insbesondere Tiefenbildkameras |
| CN103558850B (zh) * | 2013-07-26 | 2017-10-24 | 无锡信捷电气股份有限公司 | 一种激光视觉引导的焊接机器人全自动运动自标定方法 |
| CN106610266B (zh) * | 2015-10-22 | 2019-01-04 | 沈阳新松机器人自动化股份有限公司 | 一种scara机器人标定方法 |
| CN105844670B (zh) * | 2016-03-30 | 2018-12-18 | 广东速美达自动化股份有限公司 | 水平机器人移动相机多点移动标定方法 |
| CN107256567B (zh) * | 2017-01-22 | 2020-08-07 | 梅卡曼德（北京）机器人科技有限公司 | 一种用于工业机器人手眼相机的自动标定装置及标定方法 |
-
2018
- 2018-08-16 CN CN201810933936.8A patent/CN109159114B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109159114A (zh) | 2019-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109159114B (zh) | Scara机械手固定相机视觉系统手眼标定的高精度方法 | |
| CN108122257B (zh) | 一种机器人手眼标定方法及装置 | |
| CN111775146B (zh) | 一种工业机械臂多工位作业下的视觉对准方法 | |
| CN110421562B (zh) | 基于四目立体视觉的机械臂标定系统和标定方法 | |
| CN110148187B (zh) | 一种SCARA机械手Eye-in-Hand的高精度手眼标定方法和系统 | |
| CN110238845B (zh) | 最优标定点选取和误差自测量的自动手眼标定方法及装置 | |
| CN110238849B (zh) | 机器人手眼标定方法及装置 | |
| CN108399639B (zh) | 基于深度学习的快速自动抓取与摆放方法 | |
| JP6685199B2 (ja) | 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法 | |
| US20200298411A1 (en) | Method for the orientation of an industrial robot, and industrial robot | |
| CN110640747B (zh) | 机器人的手眼标定方法、系统、电子设备和存储介质 | |
| JP7027299B2 (ja) | ビジョンベース操作システムのキャリブレーション及びオペレーション | |
| CN113379849B (zh) | 基于深度相机的机器人自主识别智能抓取方法及系统 | |
| CN108326850B (zh) | 一种机器人准确移动机械臂到达指定位置的方法及系统 | |
| CN109242912A (zh) | 采集装置外参标定方法、电子设备、存储介质 | |
| CN114519738A (zh) | 一种基于icp算法的手眼标定误差修正方法 | |
| CN112958960B (zh) | 一种基于光学靶标的机器人手眼标定装置 | |
| Lee et al. | High precision hand-eye self-calibration for industrial robots | |
| CN115351482A (zh) | 焊接机器人的控制方法、装置、焊接机器人及存储介质 | |
| JP2021024053A (ja) | 視覚誘導ロボットアームの補正方法 | |
| Rui et al. | Calibration of Cartesian robot based on machine vision | |
| Song et al. | Automatic docking system of fuel filler with CAD model-based tracking and visual servoing control | |
| CN116136388A (zh) | 机器人工具坐标系的标定方法、装置、设备以及存储介质 | |
| Zhang et al. | Automatic microassembly method based on teaching playback and visual servo | |
| CN115205356B (zh) | 一种基于双目立体视觉的实训平台快速调试方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |