CN110717943A - 用于二维平面的眼在手上机械手手眼标定方法及系统 - Google Patents

用于二维平面的眼在手上机械手手眼标定方法及系统 Download PDF

Info

Publication number
CN110717943A
CN110717943A CN201910837390.0A CN201910837390A CN110717943A CN 110717943 A CN110717943 A CN 110717943A CN 201910837390 A CN201910837390 A CN 201910837390A CN 110717943 A CN110717943 A CN 110717943A
Authority
CN
China
Prior art keywords
manipulator
coordinate system
camera
eye
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910837390.0A
Other languages
English (en)
Inventor
王福杰
俞恒杰
刘璐
管兰芳
郭彦青
史亚坤
孙文
王世杰
邱韵霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North University of China
Original Assignee
North University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North University of China filed Critical North University of China
Priority to CN201910837390.0A priority Critical patent/CN110717943A/zh
Publication of CN110717943A publication Critical patent/CN110717943A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

本发明涉及用于二维平面的眼在手上机械手手眼标定方法及系统，属于视觉指导下的机械手运动技术领域，本发明的方法采用二维标定板进行相机标定与手眼标定，获得相机采集图像的像素坐标与机械手运动坐标之间的转换关系；相机采集工作现场图像，通过图像处理确定目标点像素坐标，根据转换关系将像素坐标转换为机械手运动坐标，将运动坐标通过TCP通信传送给控制柜，机械手接收坐标并运动至目标点。本发明的系统可以控制机械手运动并接受机械手当前坐标；控制柜与计算机以TCP协议通过以太网进行通信，传送机械手运动目标坐标并接受机械手当前坐标。本发明通过相机标定、手眼标定、目标点识别与定位、坐标变换，实现了视觉指导下的机械手运动。

Description

用于二维平面的眼在手上机械手手眼标定方法及系统
技术领域
本发明涉及用于二维平面的眼在手上机械手手眼标定方法及系统，属于视觉指导下的机械手运动技术领域。
背景技术
在机械手参与的生产过程中，不仅包括外界环境及工作参数已知的生产环境，还会遇到未知的外界环境和工作参数无法预先设定的工况，也有些生产环境不适合人工作业或者人类的视觉无法满足其精度要求。机器视觉作为替代人类视觉与生产工作环境进行信息交互的技术，成为机械手领域的重要研究方向，六自由度机器视觉焊接机器人(Huang W,Xu H. Development of six-DOF welding robot with machine vision[J]. ModernPhys. Lett. B, 2018,(34-36): 1840079)，被广泛应用于现代工业生产中。机械手手眼标定技术作为机械手视觉技术的关键问题，一直都是机器视觉领域中的热点问题(李巍，吕乃光，董明利，娄小平. 凸松弛全局优化机械手手眼标定[J].计算机应用,2017,(5):1451-1455)。
Tsai和Lenz(Tsai R Y, Lenz R K. A new technique for fully autonomousand efficient 3D robotics hand/eye calibration[J]. Robotics and Automation,IEEE Transactions on, 1989, (3): 345-358)在1989年首次提出了eye-on-hand手眼标定问题，首先标定旋转角度，然后根据旋转角度计算平移量，最终得出相对于机械手末端的相机三维位置和旋转角度，旋转精度十倍于当时现有的技术，线性精度与当时最先进的技术相同。基于Tsai和Lenz的研究，Daniilidis等(Daniilidis K. Hand-eye calibrationusing dual quaternions[J]. International Journal of Robotics Research, 1999,(3): 286-298)提出采用对偶四元数的方法同时求得旋转和平移标定的方法，避免旋转误差对平移标定的影响。
近年来，随着对优化算法的研究，许多新的、高精度的标定方法和标定算法被学者提出。Jan Heller等（J H, M H, T P. Globally Optimal Hand-Eye Calibration UsingBranch-and-Bound(Article)[J].IEEE Transactions on Pattern Analysis andMachine Intelligence,2016,(5): 1027-1033）在2016年提出了基于分支定界的全局优化手眼标定算法，使用分支定界方法来最小化基于极线约束的目标函数，采用线性规划来决定算法的边界步骤，该算法能够同时恢复未知的旋转和平移，并且保证解决方案相对于L1范数是全局最优的，在校准装置缺乏精度或由于校准空间要求而不实用的情况下具有可行性。
手眼标定算法就是对方程AX = XB求解X。GS Chirikjian等（Chirikjian G, LiH, Ma Q.New probabilistic approaches to the AX = XB hand-eye calibrationwithout correspondence[J].2016 IEEE International Conference on Robotics andAutomation (ICRA),2016: 4365-4371）在2016年提出了一种名为Batch方法的概率方法，不需要事先了解两个矩阵A和B，采用两种建立在批处理方法上的新的概率方法求解X，这减轻了对数据集的限制并显着提高了X的校准精度。
发明内容
本发明提出了一种用于二维平面的眼在手上机械手手眼标定方法及系统，通过搭建基于六自由度机械手的完整机械手手眼标定系统，通过相机标定、手眼标定、目标点识别定位、TCP通信、机械手控制，最终实现视觉指导下的机械手运动，在实际的工业生产中具有指导意义。
本发明是采用以下的技术方案实现的：一种用于二维平面的眼在手上机械手手眼标定方法包括以下步骤：
步骤一、固定相机，改变二维标定板的位置、旋转角度和倾斜角度，通过相机采集标定板图像，进行相机标定获得相机的内参与畸变参数；
步骤二、将相机固定在机械手上，标定板固定于相机外，改变机械手的位姿，并使相机采集标定板图像，通过手眼标定确定像素坐标系与机械手基础坐标系的转换关系；
步骤三、相机采集机械手工作现场图像，使用计算机端软件获取工作现场图像，通过图像处理获得目标点的像素坐标；
步骤四、根据步骤二中得到的像素坐标系与机械手基础坐标系的转换关系将像素坐标转换为机械手运动坐标；
步骤五、搭建机械手手眼标定系统，通过TCP通信将机械手运动坐标传送给控制柜，编写机械手控制程序，接收机械手运动坐标并控制机械手运动。
进一步地，步骤一中通过相机标定获得相机内参和畸变参数的步骤是：世界坐标系的三维坐标点
Figure 853207DEST_PATH_IMAGE001
转换为相机坐标系的三维坐标点
Figure 770347DEST_PATH_IMAGE002
，然后
Figure 550084DEST_PATH_IMAGE002
投影到图像物理坐标系，转化为二维点
Figure 132244DEST_PATH_IMAGE003
；二维点
Figure 946617DEST_PATH_IMAGE003
经过畸变矫正后得到二维坐标点
Figure 769079DEST_PATH_IMAGE004
；经过二次转换，
Figure 973795DEST_PATH_IMAGE004
被转化到像素坐标系上的二维坐标点
Figure 172696DEST_PATH_IMAGE005
。
进一步地，步骤二中通过手眼标定确定像素坐标系与机械手基础坐标系的转换关系的具体步骤是：相机固定在机械手末端法兰上，将标定板固定在机械手外；通过控制机械手末端运动带动相机移动，使标定板完整的出现在相机视场的不同位置，相机采集带有标定板的图像，并记录下每幅图像对应的机械手工具在机械手基础坐标系的位姿；通过标定算法建立像素坐标系与机械手基础坐标系的转换关系的超定方程。
进一步地，像素坐标系与机械手基础坐标系的转换关系的超定方程为：
Figure 841574DEST_PATH_IMAGE006
（11）
其中，表示在相机坐标系下标定板坐标系的位姿，
Figure 767429DEST_PATH_IMAGE008
表示在相机坐标系下机械手工具坐标系的位姿，表示在机械手工具坐标系下机械手基础坐标系的位姿，
Figure 965509DEST_PATH_IMAGE010
表示在机械手基础坐标系下标定板坐标系的位姿，其中
Figure 395354DEST_PATH_IMAGE008
、
Figure 636979DEST_PATH_IMAGE010
为常量固定不变。
进一步地，步骤三中的目标点为二维平面上九个圆圈的圆心。
进一步地，步骤三中通过图像处理获得目标点像素坐标的具体步骤是：采集的工作现场图像经过二值化、形态学处理、圆度特征提取、Hough变换获得圆圈的圆心像素坐标。
进一步地，步骤四中根据像素坐标系与机械手基础坐标系的转换关系将像素坐标转换为机械手运动坐标的具体步骤是：
（1）以标定板坐标系为参考坐标系，将像素坐标转化为参考坐标系下的坐标；
（2）根据参考坐标系与相机坐标系的转换关系，将参考坐标系下的坐标转化为相机坐标系下的坐标；
（3）根据相机坐标系与机械手基础坐标系的转换关系，将相机坐标系下的坐标转换为机械手基础坐标系下的坐标，即机械手运动坐标。
进一步地，步骤五中搭建的机械手手眼标定系统包括相机、机械手、控制柜和计算机，相机固定在机械手上，机械手与控制柜连接，控制柜和相机与计算机连接。
本发明还提供了一种用于二维平面的眼在手上机械手手眼标定系统，包括相机、机械手、控制柜和计算机，用于采集机械手工作现场图像的相机固定在机械手上，机械手与控制柜连接控制机械手的运动，控制柜和相机均与计算机连接，计算机用于处理相机采集到的图像并控制控制柜的运行。
进一步地，所述相机通过固定装置固定在机械手末端法兰上，所述相机通过以太网与计算机连接，控制柜以TCP协议通过以太网与计算机通信。
与现有技术相比，本发明的有益效果是：
本发明所述的用于二维平面的眼在手上机械手手眼标定方法及系统，给机械手赋以视觉的功能，使机械手与生产对象有直接的视觉信息交互，可以提升制造业的现代化与智能化。机械手的手眼转换关系能够建立机械手与视觉传感器之间的联系，可以使机械手在视觉指导下进行工作。
附图说明
图1是实施例1中系统的结构示意图。
图2是固定装置的结构示意图。
图3是实施例2中相机标定过程中涉及坐标系的转换关系图。
图4是相机标定实验采集的15幅图像。
图5是手眼标定原理图。
图6是手眼标定采集的15幅图像。
图7是图6中的15幅图像的手眼标定实验结果的坐标系可视化结果图。
图8是目标点确定像素坐标的图像处理过程图。
图8中的（a）为原图，（b）二值化，(c）以面积为特征进行区域剔除，(d)以圆度为特征进行区域剔除，（e）Hough变换确定圆心并显示。
图9是坐标转换可视化结果图。
图9中：图9（a）确定参考坐标系图，9（b）将像素坐标转化为参考坐标系中的坐标后再转化为像素坐标并显示。
图中：1、计算机，2、控制柜，3、相机，4、机械手。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和具体实例，对本发明提出的用于二维平面的眼在手上机械手手眼标定方法及系统进行进一步说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
实施例1：
本实施例的用于二维平面的眼在手上机械手手眼标定系统，如图1或图2所示，基于六自由度机械手4搭建，包括相机3、机械手4、控制柜2和计算机1，相机3通过固定装置固定在机械手4末端法兰盘上，机械手4与控制柜2连接，控制柜2和相机3与计算机1连接，固定装置通过3D打印成型，机械手4采用配天AIR6P型六自由度机械手4，相机3为Basler acA2440-20gm GigE黑白相机3；相机3与计算机1通过千兆以太网GigE接口连接，使用厂家提供的pylon 5.2.0相机3软件获取图像；机械手4与控制柜2通过动力编码器本体IO接口连接，可以控制机械手4运动并接受机械手4当前坐标；控制柜2与计算机1以TCP/IP协议通过以太网进行通信，传送机械手4运动目标坐标；编写机械手4控制程序，接受运动坐标并运行至目标点。
实施例2：
本实施例的用于二维平面的眼在手上机械手手眼标定方法，如图2至图9所示，包括以下步骤：
步骤一、固定相机3，改变标定板的位置、旋转角度和倾斜角度，通过相机3采集15幅标定板图像，进行相机3标定获得相机3的内参与畸变参数；
步骤二、将相机3固定在机械手4上，标定板固定于相机3外，改变机械手4的位姿，并使相机3采集15幅标定板图像，通过手眼标定确定像素坐标系与机械手4基础坐标系的转换关系；
步骤三、相机3采集机械手4工作现场图像，使用计算机1端软件获取工作现场图像，通过图像处理获得目标点的像素坐标；
步骤四、根据步骤二中得到的像素坐标系与机械手4基础坐标系的转换关系将像素坐标转换为机械手4运动坐标；
步骤五、搭建如实施例1的基于六自由度的机械手4手眼标定系统，通过TCP通信将机械手4运动坐标传送给控制柜2，编写机械手4控制程序，接收机械手4运动坐标并控制机械手4运动。
步骤一中对相机3进行标定获得内参与畸变参数的具体步骤是：世界坐标系的三维坐标点
Figure 99053DEST_PATH_IMAGE001
转换为相机3坐标系的三维坐标点
Figure 742524DEST_PATH_IMAGE002
，然后
Figure 77691DEST_PATH_IMAGE002
投影到图像物理坐标系，转化为二维点
Figure 806612DEST_PATH_IMAGE003
；但由于相机3的非理想特征会产生畸变，经过畸变矫正后得到二维坐标点
Figure 823110DEST_PATH_IMAGE004
；最终，经过二次转换，
Figure 321087DEST_PATH_IMAGE004
被转化到像素坐标系上的二维坐标点。
相机3标定过程中共涉及四个坐标系：世界坐标系、相机3坐标系、像素坐标系和图像物理坐标系。其中：世界坐标系为假想坐标系，可根据实际情况确定；相机3坐标系原点位于镜头光心处，X、Y轴与相面两边平行，Z轴与像平面垂直；像素坐标系原点位于图像的左上角，U轴、V轴分别于像面的两边平行；图像物理坐标系与像素坐标系实际是平移关系，可以通过平移与尺寸变换得到。
世界坐标系
Figure 230323DEST_PATH_IMAGE012
到像素坐标系
Figure 112829DEST_PATH_IMAGE013
的具体转化过程如图3所示，世界坐标系
Figure 465313DEST_PATH_IMAGE012
经刚体变换到相机3坐标系
Figure 345544DEST_PATH_IMAGE014
，相机3坐标系
Figure 783479DEST_PATH_IMAGE015
经过透视投影到图像物理坐标系
Figure 204096DEST_PATH_IMAGE016
，图像物理坐标系
Figure 863616DEST_PATH_IMAGE016
经二次转换到像素坐标系
Figure 977065DEST_PATH_IMAGE013
。
世界坐标系和相机3坐标系的转换实际上是两个三维坐标系之间的刚体变换，即平移与旋转。根据高等几何的相关知识，如果两个坐标系共原点，则从一个坐标系到另一个坐标系的转换存在一个旋转矩阵R，可得到共原点的坐标系旋转变换关系为：
Figure 902296DEST_PATH_IMAGE017
（1）
其中：、
Figure 125784DEST_PATH_IMAGE019
、
Figure 410135DEST_PATH_IMAGE020
分别为世界坐标系绕
Figure 12542DEST_PATH_IMAGE021
轴、轴、
Figure 222124DEST_PATH_IMAGE023
轴选择的角度。
则可得到共原点的世界坐标系和相机3坐标系的旋转变换关系为：
Figure 349480DEST_PATH_IMAGE024
（2）
如果两个坐标系之间不共原点，则这两个坐标系之间还存在平移向量，对应的转换关系为
Figure 249302DEST_PATH_IMAGE025
（3）
其中，为坐标系原点的平移矢量。
写成齐次坐标形式，可得到世界坐标系和相机3坐标系的刚体变换关系为：
（4）
其中，
Figure 664606DEST_PATH_IMAGE028
为旋转矩阵，
Figure 51725DEST_PATH_IMAGE029
为平移矩阵，
Figure 421527DEST_PATH_IMAGE029
和
Figure 249805DEST_PATH_IMAGE028
的组合表示了相机3的位置，即相机3外参。
相机3标定算法的构建与所使用的相机3、镜头与图像采集卡组合而成的相机3模式有关，本实施例采用的相机3为面阵扫描针孔相机3。
针孔成像模型中，相机3坐标系上一点在图像物理坐标系上的投影为：
Figure 46860DEST_PATH_IMAGE030
（5）
写成齐次坐标的形式为：
Figure 655696DEST_PATH_IMAGE031
（6）
其中相机3坐标系中的点坐标为
Figure 16139DEST_PATH_IMAGE032
，图像物理坐标系中某点的坐标为：，
Figure 994776DEST_PATH_IMAGE034
为相机3焦距。
针孔模型是理想透镜的成像模型，但实际相机3的非理想特征会造成像点发生径向畸变和切向畸变。径向畸变是由透镜精度导致的，且越向透镜边缘移动径向畸变越严重，切向畸变是由于透镜和成像面不平行导致的。镜头畸变会导致任意两点之间的像素距离与实际物理距离不成固定的转换关系，因此需要进行畸变矫正。
对于Division畸变模型，只包括一个畸变系数
Figure 28591DEST_PATH_IMAGE035
，从畸变图像物理坐标系转换到非畸变图像物理坐标系的相机3畸变模型的数学表达式为：
Figure 740196DEST_PATH_IMAGE036
（7）
其中，
Figure 605383DEST_PATH_IMAGE037
为无畸变的图像坐标。
Division畸变模型属于线性畸变模型，参数求解过程可逆，可得到从非畸变图像物理坐标系转换到畸变图像物理坐标系的相机3畸变模型的数学表达式为：
Figure 931191DEST_PATH_IMAGE038
（8）
为了确定图像的像素坐标与图像物理坐标系的物理坐标的关系，建立图像物理坐标系
Figure 514619DEST_PATH_IMAGE016
。点
Figure 764335DEST_PATH_IMAGE039
为图像物理坐标系的原点，点
Figure 749609DEST_PATH_IMAGE039
对应的像素坐标记为
Figure 997050DEST_PATH_IMAGE040
，
Figure 67775DEST_PATH_IMAGE041
为x方向上每个像素的物理尺寸，为y方向上每个像素的物理尺寸，则能得到像素坐标系与图像物理坐标系两个坐标系间的关系式：
Figure 150842DEST_PATH_IMAGE043
（9）
写成齐次坐标的形式为
Figure 631502DEST_PATH_IMAGE044
（10）
本实施例实验使用的相机3型号为Basler acA2440-20gm GigE黑白相机3，Sony IMX264 CMOS芯片，帧速率达23 fps，分辨率为500万像素
Figure 923943DEST_PATH_IMAGE045
，焦距为16mm可调至20mm，感光芯片尺寸为
Figure 905674DEST_PATH_IMAGE046
；采用的标定板为圆点阵列，型号为HC050-2.5，图案尺寸为
Figure 189205DEST_PATH_IMAGE048
，圆点中心距为5mm，圆点直径为2.5mm；实验使用的相机3采集软件为basler提供的pylon 5.2.0相机3软件套装windows。
标定图像采集过程中需要注意以下几点：
（1）合理选择标定板材质，避免出现标定板反光的情况；
（2）标定板采集图像的数量在10幅以上，20幅以下；
（3）标定图像采集过程中，保证相机3的焦距和光圈固定不变；
（4）采集过程中保证标定板图像完全在相机3视场范围内，要求标定板占视场范围的1/4-3/4；
（5）将标定板放置于相机3视场范围内的不同位置，并使标定板具有适当的旋转和倾斜。
本实施例共采集15幅标定板图像，如图4所示。
设置相机3的畸变模型为Division，初始内参
Figure 234521DEST_PATH_IMAGE049
为[0.016，0，0.0000343137， 0.0000346679，1224，1024，2448，2048]。其中，
Figure 629730DEST_PATH_IMAGE041
为x方向上每个像素的物理尺寸，为y方向上每个像素的物理尺寸，
Figure 453516DEST_PATH_IMAGE051
，
Figure 720549DEST_PATH_IMAGE052
根据图像分辨率和感光芯片尺寸计算得出；由于采用的相机3为低畸变相机3，所以畸变系数
Figure 857132DEST_PATH_IMAGE053
初始值为0；
Figure 260432DEST_PATH_IMAGE034
为相机3焦距，
Figure 519375DEST_PATH_IMAGE054
、
Figure 460655DEST_PATH_IMAGE055
为图像物理坐标系中原点
Figure 197667DEST_PATH_IMAGE039
对应的像素坐标，
Figure 721052DEST_PATH_IMAGE056
、
Figure 88580DEST_PATH_IMAGE057
分别指图像的宽和高，其余参数
Figure 64626DEST_PATH_IMAGE054
、、
Figure 438680DEST_PATH_IMAGE056
、
Figure 773846DEST_PATH_IMAGE057
根据相机3拍摄标定板的图像的分辨率得到。
本实施例中实验得到的相机3内参为[0.169783，-1.69898，0.0000346676，0.0000346679，11229.59，1010.18，2448，2048]。
步骤二中通过手眼标定确定像素坐标系与机械手4基础坐标系的转换关系的具体步骤是：相机3固定在机械手4末端法兰上，将标定板固定在机械手4外；通过控制机械手4末端运动带动相机3移动，使标定板完整的出现在相机3视场的不同位置，相机3采集带有标定板的图像，并记录下每幅图像对应的机械手4工具在机械手4基础坐标系的位姿；通过标定算法建立转换关系的超定方程。
Eye-in-Hand手眼标定算法要求相机3固定在机械手4末端法兰上，将标定板固定在机械手4外。通过控制机械手4末端运动带动相机3移动，使标定板完整的出现在相机3视场的不同位置，相机3采集带有标定板的图像，并记录下每幅图像对应的机械手4工具在机械手4基础坐标系的位姿，可以得到如下转换关系的超定方程：
Figure 502768DEST_PATH_IMAGE006
（11）
其中，
Figure 830850DEST_PATH_IMAGE007
表示在相机3坐标系下标定板坐标系的位姿，
Figure 328827DEST_PATH_IMAGE008
表示在相机3坐标系下机械手4工具坐标系的位姿，
Figure 772578DEST_PATH_IMAGE009
表示在机械手4工具坐标系下机械手4基础坐标系的位姿，
Figure 988796DEST_PATH_IMAGE010
表示在机械手4基础坐标系下标定板坐标系的位姿，其中
Figure 871301DEST_PATH_IMAGE008
、为常量固定不变，各坐标系与转换关系如图5所示。
通过相机3采集的标定板图像获取相机3坐标系下标定板坐标系的位姿
Figure 353284DEST_PATH_IMAGE007
，由机械手4控制系统可以得到机械手4工具坐标系下机械手4基础坐标系的位姿
Figure 791219DEST_PATH_IMAGE009
，最终获得相机3坐标系下机械手4工具的位姿
Figure 149519DEST_PATH_IMAGE008
以及机械手4基础坐标系下标定板坐标系的位姿
Figure 622088DEST_PATH_IMAGE010
。具体实现过程与Eye-to-Hand标定方法类似，
Figure 469959DEST_PATH_IMAGE008
可以得到唯一确定解，然后将
Figure 596788DEST_PATH_IMAGE008
代入公式，即可求得
Figure 821096DEST_PATH_IMAGE010
。
Eye-in-Hand手眼标定算法要求相机3固定在机械手4末端法兰上，将标定板固定在机械手4外。使用SolidWorks绘制相机3的固定装置，使用3D打印技术制作相机3的固定装置，并通过攻丝制作螺纹孔，将标定板固定在机械手4外。
使用示教器移动机械手4带动相机3移动，使标定板出现在相机3视场的不同位置，并具有不同的倾斜和旋转角度，采集15幅图像，如图6所示。每一幅采集的标定板图像对应一个机械手4位姿，如表1所示。
表1 Eye-in-Hand手眼标定机械手4位姿
实验得到在机械手4基础坐标系下标定板坐标系的位姿
Figure 432523DEST_PATH_IMAGE010
为[449.396，11.553，123.651，179.598，358.719，89.3456]，其逆矩阵在标定板坐标系下机械手4基础坐标系的位姿
Figure 782733DEST_PATH_IMAGE060
为[-19.4444，-450.089，120.092，178.724，359.583，89.3457]；在相机3坐标系下机械手4工具坐标系的位姿
Figure 545153DEST_PATH_IMAGE008
为[-1.14787， 79.7224，-8.97106，0.138956，2.5212，245.549]，其逆矩阵在机械手4工具坐标系下相机3坐标系的位姿
Figure 726736DEST_PATH_IMAGE061
为[-19.4444，-450.089，120.092，178.724，359.583，89.3457]。
使用实验得到的位姿矩阵确定实验采集图像中标定板坐标系在相机3坐标系中的位姿，并将其可视化，如图7所示，可视化三维坐标系中的原点、X轴和Y轴与标定板坐标系重合，Z轴与标定板所处的位置、旋转角度和倾斜角度有关。
计算得到手眼结果的重投影误差如表2所示。
表2 Eye-in-Hand标定误差
误差类型 均方根误差 最大误差
平移误差/mm 0.382 0.706
旋转误差/° 0.444 0.901
通过图像处理获得目标点像素坐标的具体步骤是：实验采集的图像经过二值化，形态学处理，圆度特征提取，Hough变换获得圆圈圆心像素坐标。图像处理过程如图8所示。
根据转换关系将像素坐标转换为机械手4运动坐标的具体步骤是：以标定板坐标系为参考坐标系，将像素坐标转化为参考坐标系下的坐标；根据参考坐标系与相机3坐标系的转换关系，将参考坐标系下的坐标转化为相机3坐标系下的坐标；最后根据相机3坐标系与机械手4基础坐标系的转换关系，将相机3坐标系下的坐标转换为机械手4基础坐标系下的坐标，即机械手4运动坐标。坐标转换可视化结果如图9所示。
TCP通信的实现方式的具体步骤是：将PC端作为服务器端，机械手4端作为客户端；服务器IP地址(同PC端IP地址相同)为192.168.43.168，服务器端口号设置为8000；设置客户端IP地址机械手4IP地址为10.20.210.93，子网掩码为255.255.255.0，网关为10.20.210.255。

Claims (10)

1.一种用于二维平面的眼在手上机械手手眼标定方法，其特征在于：包括以下步骤：
步骤一、固定相机（3），改变二维标定板的位置、旋转角度和倾斜角度，通过相机（3）采集标定板图像，进行相机（3）标定获得相机（3）的内参与畸变参数；
步骤二、将相机（3）固定在机械手（4）上，标定板固定于相机（3）外，改变机械手（4）的位姿，并使相机（3）采集标定板图像，通过手眼标定确定像素坐标系与机械手（4）基础坐标系的转换关系；
步骤三、相机（3）采集机械手（4）工作现场图像，使用计算机（1）端软件获取工作现场图像，通过图像处理获得目标点的像素坐标；
步骤四、根据步骤二中得到的像素坐标系与机械手（4）基础坐标系的转换关系将像素坐标转换为机械手（4）运动坐标；
步骤五、搭建机械手（4）手眼标定系统，通过TCP通信将机械手（4）运动坐标传送给控制柜（2），编写机械手（4）控制程序，接收机械手（4）运动坐标并控制机械手（4）运动。
2.根据权利要求1所述的用于二维平面的眼在手上机械手手眼标定方法，其特征在于：所述步骤一中通过相机（3）标定获得相机（3）内参和畸变参数的步骤是：世界坐标系的三维坐标点
Figure 659222DEST_PATH_IMAGE001
转换为相机（3）坐标系的三维坐标点
Figure 496728DEST_PATH_IMAGE002
，然后
Figure 62838DEST_PATH_IMAGE002
投影到图像物理坐标系，转化为二维点
Figure 288808DEST_PATH_IMAGE003
；二维点
Figure 914961DEST_PATH_IMAGE003
经过畸变矫正后得到二维坐标点
Figure 302080DEST_PATH_IMAGE004
；经过二次转换，
Figure 343985DEST_PATH_IMAGE005
被转化到像素坐标系上的二维坐标点
Figure 500160DEST_PATH_IMAGE006
。
3.根据权利要求1所述的用于二维平面的眼在手上机械手手眼标定方法，其特征在于：所述步骤二中通过手眼标定确定像素坐标系与机械手（4）基础坐标系的转换关系的具体步骤是：相机（3）固定在机械手（4）末端法兰上，将标定板固定在机械手（4）外；通过控制机械手（4）末端运动带动相机（3）移动，使标定板完整的出现在相机（3）视场的不同位置，相机（3）采集带有标定板的图像，并记录下每幅图像对应的机械手（4）工具在机械手（4）基础坐标系的位姿；通过标定算法建立像素坐标系与机械手（4）基础坐标系的转换关系的超定方程。
4.根据权利要求3所述的用于二维平面的眼在手上机械手手眼标定方法，其特征在于：所述像素坐标系与机械手（4）基础坐标系的转换关系的超定方程为：
Figure 297215DEST_PATH_IMAGE007
（11）
其中，
Figure 93001DEST_PATH_IMAGE008
表示在相机（3）坐标系下标定板坐标系的位姿，
Figure 266494DEST_PATH_IMAGE009
表示在相机（3）坐标系下机械手（4）工具坐标系的位姿，
Figure 277175DEST_PATH_IMAGE010
表示在机械手（4）工具坐标系下机械手（4）基础坐标系的位姿，
Figure 182814DEST_PATH_IMAGE011
表示在机械手（4）基础坐标系下标定板坐标系的位姿，其中
Figure 278946DEST_PATH_IMAGE009
、为常量固定不变。
5.根据权利要求4所述的用于二维平面的眼在手上机械手手眼标定方法，其特征在于：所述步骤三中的目标点为二维平面上九个圆圈的圆心。
6.根据权利要求5所述的用于二维平面的眼在手上机械手手眼标定方法，其特征在于：所述步骤三中通过图像处理获得目标点像素坐标的具体步骤是：采集的工作现场图像经过二值化、形态学处理、圆度特征提取、Hough变换获得圆圈的圆心像素坐标。
7.根据权利要求6所述的用于二维平面的眼在手上机械手手眼标定方法，其特征在于：所述步骤四中根据像素坐标系与机械手（4）基础坐标系的转换关系将像素坐标转换为机械手（4）运动坐标的具体步骤是：
（1）以标定板坐标系为参考坐标系，将像素坐标转化为参考坐标系下的坐标；
（2）根据参考坐标系与相机（3）坐标系的转换关系，将参考坐标系下的坐标转化为相机（3）坐标系下的坐标；
（3）根据相机（3）坐标系与机械手（4）基础坐标系的转换关系，将相机（3）坐标系下的坐标转换为机械手（4）基础坐标系下的坐标，即机械手（4）运动坐标。
8.根据权利要求1所述的用于二维平面的眼在手上机械手手眼标定方法，其特征在于：步骤五中搭建的机械手（4）手眼标定系统包括相机（3）、机械手（4）、控制柜（2）和计算机（1），相机（3）固定在机械手（4）上，机械手（4）与控制柜（2）连接，控制柜（2）和相机（3）与计算机（1）连接。
9.一种用于二维平面的眼在手上机械手手眼标定系统，其特征在于：包括相机（3）、机械手（4）、控制柜（2）和计算机（1），用于采集机械手（4）工作现场图像的相机（3）固定在机械手（4）上，机械手（4）与控制柜（2）连接控制机械手（4）的运动，控制柜（2）和相机（3）均与计算机（1）连接，计算机（1）用于处理相机（3）采集到的图像并控制控制柜（2）的运行。
10.根据权利要求9所述的用于二维平面的眼在手上机械手手眼标定系统，其特征在于：所述相机（3）通过固定装置固定在机械手（4）末端法兰上，所述相机（3）通过以太网与计算机（1）连接，控制柜（2）以TCP协议通过以太网与计算机（1）通信。
CN201910837390.0A 2019-09-05 2019-09-05 用于二维平面的眼在手上机械手手眼标定方法及系统 Pending CN110717943A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910837390.0A CN110717943A (zh) 2019-09-05 2019-09-05 用于二维平面的眼在手上机械手手眼标定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910837390.0A CN110717943A (zh) 2019-09-05 2019-09-05 用于二维平面的眼在手上机械手手眼标定方法及系统

Publications (1)

Publication Number Publication Date
CN110717943A true CN110717943A (zh) 2020-01-21

Family

ID=69210249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910837390.0A Pending CN110717943A (zh) 2019-09-05 2019-09-05 用于二维平面的眼在手上机械手手眼标定方法及系统

Country Status (1)

Country Link
CN (1) CN110717943A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111438688A (zh) * 2020-02-28 2020-07-24 广东拓斯达科技股份有限公司 机器人校正方法、装置、计算机设备及存储介质
CN111445521A (zh) * 2020-02-24 2020-07-24 季华实验室 目标工件位置确定方法、装置、终端及可读存储介质
CN111482961A (zh) * 2020-03-31 2020-08-04 广州富港万嘉智能科技有限公司 机械手移动的定位控制方法、计算机可读存储介质及带机械手的设备
CN111591474A (zh) * 2020-02-28 2020-08-28 上海航天控制技术研究所 一种航天器在轨操作系统对准式手眼标定方法
CN112001967A (zh) * 2020-08-14 2020-11-27 苏州华兴源创科技股份有限公司 相机指导机械手搬运物体的方法和装置
CN112022355A (zh) * 2020-09-27 2020-12-04 平安科技（深圳）有限公司 基于计算机视觉的手眼标定方法及装置、存储介质
CN112541942A (zh) * 2020-12-08 2021-03-23 深圳市华成工业控制股份有限公司 一种基于距离变换的中药丸视觉引导定位方法
CN112684250A (zh) * 2020-12-03 2021-04-20 华中科技大学 一种高功率毫米波强度测量系统标定方法
CN114227700A (zh) * 2022-02-23 2022-03-25 杭州灵西机器人智能科技有限公司 机器人的手眼标定方法和系统
CN114332231A (zh) * 2022-03-04 2022-04-12 成都创像科技有限公司 视觉检测设备中机械手与相机的定位方法、装置及介质
WO2022241597A1 (zh) * 2021-05-17 2022-11-24 海南师范大学 一种ai智能垃圾识别分类系统和方法
CN115969418A (zh) * 2022-11-07 2023-04-18 珠海市人民医院 一种核酸检测口腔采集点识别方法
CN117103286A (zh) * 2023-10-25 2023-11-24 杭州汇萃智能科技有限公司 一种机械手手眼标定方法、系统和可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108871216A (zh) * 2018-07-12 2018-11-23 湘潭大学 一种基于视觉引导的机器人多孔接触式自动测量方法
CN109658460A (zh) * 2018-12-11 2019-04-19 北京无线电测量研究所 一种机械臂末端相机手眼标定方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108871216A (zh) * 2018-07-12 2018-11-23 湘潭大学 一种基于视觉引导的机器人多孔接触式自动测量方法
CN109658460A (zh) * 2018-12-11 2019-04-19 北京无线电测量研究所 一种机械臂末端相机手眼标定方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
曾志伟: "基于机器视觉的工业机器人定位抓取技术的研究" *
陆艺 等: "基于手眼系统的视觉定位研究" *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445521A (zh) * 2020-02-24 2020-07-24 季华实验室 目标工件位置确定方法、装置、终端及可读存储介质
CN111438688A (zh) * 2020-02-28 2020-07-24 广东拓斯达科技股份有限公司 机器人校正方法、装置、计算机设备及存储介质
CN111591474A (zh) * 2020-02-28 2020-08-28 上海航天控制技术研究所 一种航天器在轨操作系统对准式手眼标定方法
CN111482961A (zh) * 2020-03-31 2020-08-04 广州富港万嘉智能科技有限公司 机械手移动的定位控制方法、计算机可读存储介质及带机械手的设备
CN112001967A (zh) * 2020-08-14 2020-11-27 苏州华兴源创科技股份有限公司 相机指导机械手搬运物体的方法和装置
CN112022355B (zh) * 2020-09-27 2022-06-10 平安科技（深圳）有限公司 基于计算机视觉的手眼标定方法及装置、存储介质
CN112022355A (zh) * 2020-09-27 2020-12-04 平安科技（深圳）有限公司 基于计算机视觉的手眼标定方法及装置、存储介质
CN112684250A (zh) * 2020-12-03 2021-04-20 华中科技大学 一种高功率毫米波强度测量系统标定方法
CN112684250B (zh) * 2020-12-03 2022-03-18 华中科技大学 一种高功率毫米波强度测量系统标定方法
CN112541942A (zh) * 2020-12-08 2021-03-23 深圳市华成工业控制股份有限公司 一种基于距离变换的中药丸视觉引导定位方法
WO2022241597A1 (zh) * 2021-05-17 2022-11-24 海南师范大学 一种ai智能垃圾识别分类系统和方法
CN114227700A (zh) * 2022-02-23 2022-03-25 杭州灵西机器人智能科技有限公司 机器人的手眼标定方法和系统
CN114227700B (zh) * 2022-02-23 2022-05-20 杭州灵西机器人智能科技有限公司 机器人的手眼标定方法和系统
CN114332231B (zh) * 2022-03-04 2022-06-14 成都创像科技有限公司 视觉检测设备中机械手与相机的定位方法、装置及介质
CN114332231A (zh) * 2022-03-04 2022-04-12 成都创像科技有限公司 视觉检测设备中机械手与相机的定位方法、装置及介质
CN115969418A (zh) * 2022-11-07 2023-04-18 珠海市人民医院 一种核酸检测口腔采集点识别方法
CN115969418B (zh) * 2022-11-07 2023-08-15 珠海市人民医院 一种核酸检测口腔采集点识别方法
CN117103286A (zh) * 2023-10-25 2023-11-24 杭州汇萃智能科技有限公司 一种机械手手眼标定方法、系统和可读存储介质
CN117103286B (zh) * 2023-10-25 2024-03-19 杭州汇萃智能科技有限公司 一种机械手手眼标定方法、系统和可读存储介质

Similar Documents

Publication Publication Date Title
CN110717943A (zh) 用于二维平面的眼在手上机械手手眼标定方法及系统
CN111775146B (zh) 一种工业机械臂多工位作业下的视觉对准方法
CN109859275B (zh) 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法
CN111801198B (zh) 一种手眼标定方法、系统及计算机存储介质
US9124873B2 (en) System and method for finding correspondence between cameras in a three-dimensional vision system
CN111735479A (zh) 一种多传感器联合标定装置及方法
CN110555889A (zh) 一种基于CALTag和点云信息的深度相机手眼标定方法
CN111369630A (zh) 一种多线激光雷达与相机标定的方法
CN108594245A (zh) 一种目标物运动监测系统及方法
CN111028340B (zh) 精密装配中的三维重构方法、装置、设备及系统
JP2005515910A (ja) シングルカメラ３ｄビジョンガイドロボティクスの方法および装置
CN109297413A (zh) 一种大型筒体结构视觉测量方法
CN105547153A (zh) 基于双目视觉的插件元件针脚视觉定位方法及装置
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN114310901B (zh) 用于机器人的坐标系标定方法、装置、系统以及介质
JPWO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
CN114519738A (zh) 一种基于icp算法的手眼标定误差修正方法
CN116766194A (zh) 基于双目视觉的盘类工件定位与抓取系统和方法
CN114001651B (zh) 一种基于双目视觉测量和先验检测数据的大型细长筒类构件位姿原位测量方法
CN208350997U (zh) 一种目标物运动监测系统
CN110992416A (zh) 基于双目视觉与cad模型的高反光面金属零件位姿测量方法
CN110568866A (zh) 一种三维立体曲面视觉引导对位系统及对位方法
CN114494449A (zh) 一种异形产品贴合的视觉标定及对位贴合方法
Niu et al. A stereoscopic eye-in-hand vision system for remote handling in ITER
CN116652970A (zh) 一种四轴机械臂2d手眼标定方法及系统、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination