CN114670203A - 一种激光视觉引导机器人自动焊接手眼标定方法 - Google Patents

一种激光视觉引导机器人自动焊接手眼标定方法 Download PDF

Info

Publication number
CN114670203A
CN114670203A CN202210417510.3A CN202210417510A CN114670203A CN 114670203 A CN114670203 A CN 114670203A CN 202210417510 A CN202210417510 A CN 202210417510A CN 114670203 A CN114670203 A CN 114670203A
Authority
CN
China
Prior art keywords
calibration
coordinate system
manipulator
laser
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210417510.3A
Other languages
English (en)
Inventor
陈宗民
过志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Xinje Electric Co Ltd
Original Assignee
Wuxi Xinje Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Xinje Electric Co Ltd filed Critical Wuxi Xinje Electric Co Ltd
Priority to CN202210417510.3A priority Critical patent/CN114670203A/zh
Publication of CN114670203A publication Critical patent/CN114670203A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及视觉机器人自动焊接技术领域，具体是一种激光视觉引导机器人自动焊接手眼标定方法，包括步骤(1)设计一个带有三个标定点的三维标定板，确定焊接模型；步骤(2)根据所述标定点及所述焊接模型，进行标定板坐标系与机械手基坐标系之间的变换矩阵的标定；步骤(3)移动机械手通过线激光传感器采集投射到所述三维标定板上的线激光标定线，得到标定特征点，完成手眼标定。本方法操作简单，标定精度较高，适合现场快速标定，完全满足自动引导焊接的精度需求。

Description

一种激光视觉引导机器人自动焊接手眼标定方法
技术领域
本发明涉及视觉机器人自动焊接技术领域，尤其涉及一种激光视觉引导机器人自动焊接手眼标定方法。
背景技术
随着工业自动化和智能化的发展，视觉引导机器人自动焊接的需求越来越大。在机械手末端安装视觉传感器，通过视觉传感器获取焊缝的三维轨迹信息，引导机械手完成整个焊接过程。传感器获取的三维信息是在视觉传感器坐标系下的，因此需要建立视觉传感器坐标系与机械手坐标系之间的变换关系，将传感器的三维信息转化为机械手下的轨迹信息。建立传感器坐标系与机械手坐标系之间的转化关系的过程称为称为手眼标定，手眼标定结果的好坏，直接影响最终引导焊接的精度。
视觉引导机器人自动焊接系统主要包括线激光三维视觉传感器、六轴机械人、焊枪和运动控制器等。将视觉传感器安装在机械手的末端属于眼在手上(eye-in-hand)手眼标定问题，经典的标定方法通过四元数求解矩阵方程组AX＝XB来实现，其中A为机械手的运动矩阵，B为传感器的运动矩阵，X为需要标定的变换矩阵。这种标定方法在标定过程中需要机械手的两次运动保持末端的旋转轴不平行，标定过程操作繁琐，标定精度不稳定，不适合现场快速标定。
因此，急需一种技术来解决该问题。
发明内容
本发明的目的在于克服上述现有技术的问题，提供了一种激光视觉引导机器人自动焊接手眼标定方法，首先根据线激光传感器的成像特性设计了一个特殊的三维标定板，通过该标定板上的三个标定点即可快速建立机械手坐标系与标定板坐标系的关系；接着，通过调整机械手的姿态采集标定板上的线激光标定线，最后根据所获取的高精度标定线和标定特征点完成机械手与线激光传感器之间的手眼标定。
上述目的是通过以下技术方案来实现：
一种激光视觉引导机器人自动焊接手眼标定方法，包括：
步骤(1)设计一个带有三个标定点的三维标定板，确定焊接模型；
步骤(2)根据所述标定点及所述焊接模型，进行标定板坐标系与机械手基坐标系之间的变换矩阵的标定；
步骤(3)移动机械手通过线激光传感器采集投射到所述三维标定板上的线激光标定线，得到标定特征点，完成手眼标定。
进一步地，步骤(1)所述焊接模型为：
设定机械手基坐标系为Ob-xbybzb，设定机械手末端坐标系为Oe-xeyeze；设定标定板坐标系为Oc-xcyczc，设定线激光传感器坐标系为Ol-xlylzl，则：
所述机械手末端坐标系到所述机械手基坐标系的转换矩阵为
Figure BDA0003605377190000021
可通过读取机械手的控制器获得；
所述标定板坐标系到所述机械手基坐标系的转换矩阵为
Figure BDA0003605377190000022
所述线激光传感器坐标系到所述机械手末端坐标系的转换矩阵为
Figure BDA0003605377190000023
设P为焊缝上的一点，其在激光传感器中的坐标为pl，则P在机械手基坐标系中的坐标pb有：
Figure BDA0003605377190000024
进一步地，所述步骤(2)具体为：
设定三个标定点在所述标定板坐标系中的坐标分别为
Figure BDA0003605377190000025
将焊枪的端点分别对准标定点得到标定点在基坐标系中的坐标
Figure BDA0003605377190000026
标定
Figure BDA0003605377190000027
定义坐标系Ot-xtytzt，该坐标系的原点位于标定点
Figure BDA0003605377190000028
坐标系的方向与基坐标系的方向一致，则标定点在Ot-xtytzt中的坐标为：
Figure BDA0003605377190000029
机械手基坐标系Ob-xbybzb与标定板坐标系Ot-xtytzt之间的位移关系为：
Figure BDA00036053771900000210
标定板坐标系Ot-xtytzt与标定板坐标系OC-xcyczc之间的旋转关系为：
Figure BDA00036053771900000211
因此有：
Figure BDA0003605377190000031
Figure BDA0003605377190000032
由式(6)可以得到关于旋转矩阵R＝[r1 r2 r3]的第一列r1和第二列r2的参数方程：
Figure BDA0003605377190000033
设：
Figure BDA0003605377190000034
r＝[r1，r2，r4，r5，r6，r7]T，
Figure BDA0003605377190000035
有：
Figure BDA0003605377190000036
根据旋转矩阵列向量的正交性，可以得到r3：
Figure BDA0003605377190000037
在得到
Figure BDA0003605377190000038
之后，由式(5)得到
Figure BDA0003605377190000039
进一步地，所述步骤(3)具体为：
调整机械手的姿态使线激光与标定板上的标定线对齐，然后变换机械手姿态采集激光标定线，采集到的激光标定线与标定板之间的关系；
设定
Figure BDA00036053771900000310
为激光线的两个端点，其在线激光传感器坐标系中的坐标由传感器直接获得，两个端点之间的距离为L：
Figure BDA00036053771900000311
则有端点在标定板坐标系中的坐标
Figure BDA00036053771900000312
Figure BDA0003605377190000041
设当前机械手的姿态为
Figure BDA0003605377190000042
根据
Figure BDA0003605377190000043
可以得到端点在末端坐标系中的坐标
Figure BDA0003605377190000044
Figure BDA0003605377190000045
重复标定线采集过程n次，可以得到
Figure BDA0003605377190000046
和
Figure BDA0003605377190000047
设手眼关系为
Figure BDA0003605377190000048
则有：
Figure BDA0003605377190000049
根据Kabsch算法计算对应点集
Figure BDA00036053771900000410
和
Figure BDA00036053771900000411
之间的旋转矩阵R和位移向量T的初始值R0和T0，最后通过LM算法最小化如下误差得到R和T的精确估值，最终得到
Figure BDA00036053771900000412
Figure BDA00036053771900000413
有益效果
本发明所提供的一种激光视觉引导机器人自动焊接手眼标定方法，根据线激光传感器的特性设计了一块特殊的三维标定板，首先对标定板与机器人之间的关系进行标定，接着通过标定板调制线激光，最后采集标定特征点进行手眼标定。本方法操作简单，标定精度较高，适合现场快速标定，完全满足自动引导焊接的精度需求。
附图说明
图1为本发明所述一种激光视觉引导机器人自动焊接手眼标定方法的视觉引导自动焊接系统模型示意图；
图2为本发明所述一种激光视觉引导机器人自动焊接手眼标定方法的三维标定板及标定板平面参数示意图；
图3为本发明所述一种激光视觉引导机器人自动焊接手眼标定方法的手眼标定操作示意图；
图4为本发明所述一种激光视觉引导机器人自动焊接手眼标定方法的线激光及标定特征点对应的图像；
图5为本发明所述一种激光视觉引导机器人自动焊接手眼标定方法的三个标定点对应的坐标系坐标表；
图6为本发明所述一种激光视觉引导机器人自动焊接手眼标定方法的三次标定线采集的特征端点坐标及机械手姿态表。
具体实施方式
下面根据附图和实施例对本发明作进一步详细说明。所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
一种激光视觉引导机器人自动焊接手眼标定方法，包括如下步骤：
步骤(1)设计一个带有三个标定点的三维标定板，确定焊接模型；
步骤(2)根据所述标定点及所述焊接模型，进行标定板坐标系与机械手基坐标系之间的变换矩阵的标定；
步骤(3)移动机械手通过线激光传感器采集投射到所述三维标定板上的线激光标定线，得到标定特征点，完成手眼标定。
其中，如图2所示，本方案所设计的三维标定板成梯形状，在顶部斜面设置有一个水平的等腰三角形标定板，作为标定面。
如图1所示，步骤(1)所述焊接模型为：
设定机械手基坐标系为Ob-xbybzb，设定机械手末端坐标系为Oe-xeyeze；设定标定板坐标系为Oc-xcyczc，设定线激光传感器坐标系为Ol-xlylzl，则：
所述机械手末端坐标系到所述机械手基坐标系的转换矩阵为
Figure BDA0003605377190000051
可通过读取机械手的控制器获得；
所述标定板坐标系到所述机械手基坐标系的转换矩阵为
Figure BDA0003605377190000052
所述线激光传感器坐标系到所述机械手末端坐标系的转换矩阵为
Figure BDA0003605377190000053
由于线激光传感器绑定在机械手的末端上，因此Tl e固定不变，手眼标定就是为了确定
Figure BDA0003605377190000054
的值。
设P为焊缝上的一点，其在激光传感器中的坐标为pl，则P在机械手基坐标系中的坐标pb有：
Figure BDA0003605377190000055
作为步骤(2)的优化，所述步骤(2)具体为：
如图所示，设定三个标定点在所述标定板坐标系中的坐标分别为
Figure BDA0003605377190000056
将焊枪的端点分别对准标定点得到标定点在基坐标系中的坐标
Figure BDA0003605377190000057
标定
Figure BDA0003605377190000061
定义坐标系Ot-xtytzt，该坐标系的原点位于标定点
Figure BDA0003605377190000062
坐标系的方向与基坐标系的方向一致，则标定点在Ot-xtytzt中的坐标为：
Figure BDA0003605377190000063
机械手基坐标系Ob-xbybzb与标定板坐标系Ot-xtytzt之间的位移关系为：
Figure BDA0003605377190000064
标定板坐标系Ot-xtytzt与标定板坐标系OC-xcyczc之间的旋转关系为：
Figure BDA0003605377190000065
因此有：
Figure BDA0003605377190000066
Figure BDA0003605377190000067
由式(6)可以得到关于旋转矩阵R＝[r1 r2 r3]的第一列r1和第二列r2的参数方程：
Figure BDA0003605377190000068
设：
Figure BDA0003605377190000069
r＝[r1，r2，r4，r5，r6，r7]T，
Figure BDA00036053771900000610
有：
Figure BDA0003605377190000071
根据旋转矩阵列向量的正交性，可以得到r3：
Figure BDA0003605377190000072
在得到
Figure BDA0003605377190000073
之后，由式(5)得到
Figure BDA0003605377190000074
如图3所示，作为步骤(3)的进步一优化，所述步骤(3)具体为：
调整机械手的姿态使线激光与标定板上的标定线对齐，如图3(a)所示；
之后，调整机械手姿态采集激光标定线，如图3(b)所示。
采集到的激光标定线与标定板之间的关系如图3(c)所示，
Figure BDA0003605377190000075
为激光线的两个端点，其在激光坐标系中的坐标由传感器直接获得，两个端点之间的距离为上：
Figure BDA0003605377190000076
则有端点在标定板坐标系中的坐标
Figure BDA0003605377190000077
Figure BDA0003605377190000078
Figure BDA0003605377190000079
设当前机械手的姿态为
Figure BDA00036053771900000710
根据上一节得到的
Figure BDA00036053771900000711
可以得到端点在末端坐标系中的坐标
Figure BDA00036053771900000712
Figure BDA00036053771900000713
重复标定线采集过程n次，可以得到
Figure BDA00036053771900000714
和
Figure BDA00036053771900000715
设手眼关系
Figure BDA00036053771900000722
则有：
Figure BDA00036053771900000717
根据Kabsch算法计算对应点集
Figure BDA00036053771900000718
和
Figure BDA00036053771900000719
之间的旋转矩阵R和位移向量T的初始值R0和T0，最后通过LM算法最小化如下误差得到R和T的精确估值，最终得到
Figure BDA00036053771900000720
Figure BDA00036053771900000721
如图5所示，为标定点对应的坐标系坐标表，给出了标定点pi，i＝1，2，3在标定板坐标系中的坐标及其在基坐标系中的坐标，通过上述公式(5)和(7)可得：
Figure BDA0003605377190000081
如图4所示，为进行手眼标定时采集到的线激光图像及其特征端点图像，图6为三次标定线采集特征端点坐标及机械手姿态表，给出了进行3次线激光标定线采集之后得到的特征端点激光坐标及对应的机械手末端姿态参数，根据上述手眼标定方法得到手眼标定参数：
Figure BDA0003605377190000082
以上所述仅为说明本发明的实施方式，并不用于限制本发明，对于本领域的技术人员来说，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种激光视觉引导机器人自动焊接手眼标定方法，其特征在于，包括：
步骤(1)设计一个带有三个标定点的三维标定板，确定焊接模型；
步骤(2)根据所述标定点及所述焊接模型，进行标定板坐标系与机械手基坐标系之间的变换矩阵的标定；
步骤(3)移动机械手通过线激光传感器采集投射到所述三维标定板上的线激光标定线，得到标定特征点，完成手眼标定。
2.根据权利要求1所述的一种激光视觉引导机器人自动焊接手眼标定方法，其特征在于，步骤(1)所述焊接模型为：
设定机械手基坐标系为Ob-xbybzb，设定机械手末端坐标系为Oe-xeyeze；设定标定板坐标系为Oc-xcyczc，设定线激光传感器坐标系为Ol-xlylzl，则：
所述机械手末端坐标系到所述机械手基坐标系的转换矩阵为
Figure FDA0003605377180000011
可通过读取机械手的控制器获得；
所述标定板坐标系到所述机械手基坐标系的转换矩阵为
Figure FDA0003605377180000012
所述线激光传感器坐标系到所述机械手末端坐标系的转换矩阵为Tl e；
设P为焊缝上的一点，其在激光传感器中的坐标为pl，则P在机械手基坐标系中的坐标pb有：
Figure FDA0003605377180000013
3.根据权利要求2所述的一种激光视觉引导机器人自动焊接手眼标定方法，其特征在于，所述步骤(2)具体为：
设定三个标定点在所述标定板坐标系中的坐标分别为
Figure FDA0003605377180000014
将焊枪的端点分别对准标定点得到标定点在基坐标系中的坐标
Figure FDA0003605377180000015
标定
Figure FDA0003605377180000016
定义坐标系Ot-xtytzt，该坐标系的原点位于标定点
Figure FDA0003605377180000017
坐标系的方向与基坐标系的方向一致，则标定点在Ot-xtytzt中的坐标为：
Figure FDA0003605377180000018
机械手基坐标系Ob-xbybzb与标定板坐标系Ot-xtytzt之间的位移关系为：
Figure FDA0003605377180000021
标定板坐标系Ot-xtvtzt与标定板坐标系OC-xcyczc之间的旋转关系为：
Figure FDA0003605377180000022
因此有：
Figure FDA0003605377180000023
Figure FDA0003605377180000024
由式(6)可以得到关于旋转矩阵R＝[r1 r2 r3]的第一列r1和第二列r2的参数方程：
Figure FDA0003605377180000025
设：
Figure FDA0003605377180000026
r＝[r1，r2，r4，r5，r6，r7]T，
Figure FDA0003605377180000027
有：
Figure FDA0003605377180000028
根据旋转矩阵列向量的正交性，可以得到r3：
Figure FDA0003605377180000029
在得到
Figure FDA0003605377180000031
之后，由式(5)得到
Figure FDA0003605377180000032
4.根据权利要求3所述的一种激光视觉引导机器人自动焊接手眼标定方法，其特征在于，所述步骤(3)具体为：
调整机械手的姿态使线激光与标定板上的标定线对齐，然后变换机械手姿态采集激光标定线，采集到的激光标定线与标定板之间的关系；
设定
Figure FDA0003605377180000033
为激光线的两个端点，其在线激光传感器坐标系中的坐标由传感器直接获得，两个端点之间的距离为L：
Figure FDA0003605377180000034
则有端点在标定板坐标系中的坐标
Figure FDA0003605377180000035
Figure FDA0003605377180000036
设当前机械手的姿态为
Figure FDA0003605377180000037
根据
Figure FDA0003605377180000038
可以得到端点在末端坐标系中的坐标
Figure FDA0003605377180000039
Figure FDA00036053771800000310
重复标定线采集过程n次，可以得到
Figure FDA00036053771800000311
和
Figure FDA00036053771800000312
设手眼关系为
Figure FDA00036053771800000313
则有：
Figure FDA00036053771800000314
根据Kabsch算法计算对应点集
Figure FDA00036053771800000315
和
Figure FDA00036053771800000316
之间的旋转矩阵R和位移向量T的初始值R0和T0，最后通过LM算法最小化如下误差得到R和T的精确估值，最终得到
Figure FDA00036053771800000317
Figure FDA00036053771800000318
CN202210417510.3A 2022-04-20 2022-04-20 一种激光视觉引导机器人自动焊接手眼标定方法 Pending CN114670203A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210417510.3A CN114670203A (zh) 2022-04-20 2022-04-20 一种激光视觉引导机器人自动焊接手眼标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210417510.3A CN114670203A (zh) 2022-04-20 2022-04-20 一种激光视觉引导机器人自动焊接手眼标定方法

Publications (1)

Publication Number Publication Date
CN114670203A true CN114670203A (zh) 2022-06-28

Family

ID=82077523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210417510.3A Pending CN114670203A (zh) 2022-04-20 2022-04-20 一种激光视觉引导机器人自动焊接手眼标定方法

Country Status (1)

Country Link
CN (1) CN114670203A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115319754A (zh) * 2022-09-16 2022-11-11 唐山松下产业机器有限公司 机器人与激光传感器手眼标定方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115319754A (zh) * 2022-09-16 2022-11-11 唐山松下产业机器有限公司 机器人与激光传感器手眼标定方法及装置

Similar Documents

Publication Publication Date Title
CN113001535B (zh) 机器人工件坐标系自动校正系统与方法
JP6429473B2 (ja) ロボットシステム、ロボットシステムの校正方法、プログラム、およびコンピュータ読み取り可能な記録媒体
CN111745267A (zh) 一种基于激光位移传感器的坡口焊缝实时跟踪系统及方法
JP4021413B2 (ja) 計測装置
CN107160380B (zh) 一种基于scara机械手的相机标定和坐标变换的方法
JP4191080B2 (ja) 計測装置
CN112833786B (zh) 一种舱段位姿测量及对准系统、控制方法及应用
US11951575B2 (en) Automatic welding system and method for large structural parts based on hybrid robots and 3D vision
CN111775146A (zh) 一种工业机械臂多工位作业下的视觉对准方法
JP2015042437A (ja) ロボットシステム及びロボットシステムの校正方法
CN110136204B (zh) 基于双侧远心镜头相机机床位置标定的音膜球顶装配系统
CN113211431B (zh) 基于二维码修正机器人系统的位姿估计方法
CN112894209A (zh) 一种基于十字激光的管板智能焊接机器人自动平面校正方法
CN110666798A (zh) 一种基于透视变换模型的机器人视觉标定方法
CN114643578B (zh) 一种提高机器人视觉引导精度的标定装置及方法
CN114519738A (zh) 一种基于icp算法的手眼标定误差修正方法
CN112381881B (zh) 一种基于单目视觉的大型刚体构件自动对接方法
CN112958960B (zh) 一种基于光学靶标的机器人手眼标定装置
CN116619350A (zh) 一种基于双目视觉测量的机器人误差标定方法
CN115307542A (zh) 基于激光扫描仪的工业机器人工具坐标系标定方法
CN111482964A (zh) 一种新的机器人手眼标定方法
CN114833832B (zh) 一种机器人手眼标定方法、装置、设备及可读存储介质
JP6912529B2 (ja) 視覚誘導ロボットアームの補正方法
CN114670203A (zh) 一种激光视觉引导机器人自动焊接手眼标定方法
CN112762822B (zh) 一种基于激光跟踪仪的机械臂校准方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination