CN112122840A - 一种基于机器人焊接的视觉定位焊接系统及焊接方法 - Google Patents

一种基于机器人焊接的视觉定位焊接系统及焊接方法 Download PDF

Info

Publication number
CN112122840A
CN112122840A CN202011005596.6A CN202011005596A CN112122840A CN 112122840 A CN112122840 A CN 112122840A CN 202011005596 A CN202011005596 A CN 202011005596A CN 112122840 A CN112122840 A CN 112122840A
Authority
CN
China
Prior art keywords
welding
robot
point
steel bar
dimensional camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011005596.6A
Other languages
English (en)
Other versions
CN112122840B (zh
Inventor
雷浩
姜军伟
李晓晓
彭磊
马力
李欢欢
杨涛
周翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Chishine Optoelectronics Technology Co ltd
Original Assignee
Xi'an Chishine Optoelectronics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Chishine Optoelectronics Technology Co ltd filed Critical Xi'an Chishine Optoelectronics Technology Co ltd
Priority to CN202011005596.6A priority Critical patent/CN112122840B/zh
Publication of CN112122840A publication Critical patent/CN112122840A/zh
Application granted granted Critical
Publication of CN112122840B publication Critical patent/CN112122840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B23K37/02Carriages for supporting the welding or cutting element
    • B23K37/0252Steering means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups

Landscapes

  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供基于机器人焊接的视觉定位焊接系统及焊接方法,由手眼标定模块、拍照点位记录模块、焊接执行模块构成。所述手眼标定模块用于计算相机坐标系与机器人坐标系的位姿转换关系;所述拍照点位记录模块获取交叉钢筋的三维信息,通过钢筋点云焊线提取算法,计算交叉钢筋的焊接路径,并将焊接路径发送至焊接执行模块,焊接执行模块完成钢筋交叉点的焊接作业。通过对交叉钢筋进行视觉定位,克服了工件和夹具精度差的问题,实现了柔性、精准焊接,保证了焊接质量。本发明实现了焊接路径自动计算,免去焊接路径示教,简化机器人示教过程,降低了对操作人员的要求,实现了钢筋焊接的自动化,提升了焊接效果与生产效率。

Description

一种基于机器人焊接的视觉定位焊接系统及焊接方法
技术领域
本发明属于三维视觉定位系统技术领域,涉及基于机器人焊接路径的视觉定位焊接系统及焊接方法。
背景技术
随着社会发展,基础设施建设的广泛开展,钢筋笼、钢筋网等结构件被大量使用,但目前通常是由人工焊接而成,先在工装上定位钢筋并将钢筋焊接成网片单元,焊接位置为十字交叉节点,但在实际焊接过程中,由于受到人为因素以及工件偏差的影响,焊点的焊接质量不一致,使得焊接质量不稳定,导致不同焊工加工完成的钢筋网质量参差不齐,对后续制程造成影响。此外,人工焊接成本在不断提高,且焊接速度慢,施工效率低下。
近年来,焊接机器人在工业领域被广泛使用,在汽车、航空等领域都有应用,由高精度治具保证其重复性,通过机器人示教进行路径规划,工作效率高,焊接质量好。钢筋焊接由于折弯等工艺加工精度低,导致工件一致性差,无法使用治具进行定位,使用机器人进行焊接会产生偏位,造成撞机、漏焊等问题。同时,面对交叉点较多的场景,示教过程繁琐。
发明内容
本发明的目的在于克服现有技术的缺点,提供基于机器人焊接的视觉定位焊接系统及焊接方法,该视觉定位焊接系统采用面扫描结构光三维相机,获取交叉钢筋的三维信息;通过钢筋点云焊线提取算法,计算交叉钢筋的焊接路径。本发明可以对交叉钢筋进行视觉定位,克服了工件和夹具精度差的问题,实现了柔性、精准焊接,保证了焊接质量;本发明实现了焊接路径自动计算,免去焊接路径示教,简化机器人示教过程,降低了对操作人员的要求,实现了钢筋焊接的自动化,提升了焊接效果与生产效率。
本发明的目的为提供一种基于机器人焊接的视觉定位焊接系统及焊接方法。
其技术方案为:
一种基于机器人焊接的视觉定位焊接系统:由手眼标定模块、拍照点位记录模块、焊接执行模块构成;所述拍照点位记录模块获取交叉钢筋的三维信息,采用钢筋点云焊线提取算法,计算交叉钢筋的焊接路径,并将焊接路径发送至焊接执行模块,焊接执行模块完成钢筋交叉点的焊接作业。
所述手眼标定模块将视觉模块中的面扫描结构光三维相机坐标系与机器人坐标系的位姿转换关系计算出来,从而让机器人能够感知到面扫描结构光三维相机的位置。
所述拍照点位记录模块包括通过转接板安装至机器人的末端的面扫描结构光三维相机;用于获取交叉钢筋的三维信息,面扫描结构光三维相机的安装位置需保证焊接执行模块不进入面扫描结构光三维相机视野内部。
所述焊接执行模块包括焊机、焊枪,焊枪通过外挂式或者内置式安装在机器人末端。
基于机器人焊接路径的视觉定位焊接方法,按照如下步骤:通过手眼标定模块进行手眼标定,通过拍照点位记录模块获取交叉钢筋的三维信息,采用钢筋点云焊线提取算法,工控机计算交叉钢筋的焊接路径,并将焊接路径发送至焊接执行模块,焊接执行模块完成钢筋交叉点的焊接作业。
具体步骤为:
S0:手眼标定;
S1:移动机器人至交叉钢筋焊接的交叉点位,调整位置至合理范围,记录钢筋交叉点的拍照点位{Pi|P1,P2,…,Pn};
S2:机器人移动至拍照点位Pi,并向工控机请求焊接路径;
S3:工控机视觉软件向三维相机请求拍摄当前点云数据;S3中三维相机1采集的点云精度为±0.5mm;S3中三维相机1采集和传输点云的时间小于300ms;
S4:面扫描结构光三维相机拍摄得到点云数据,并发送至工控机视觉软件;S4中焊接路径计算时间要求小于200ms;
S5:工控机视觉软件根据S4所得的点云数据,计算得到焊接路径,以及钢筋的间隙大小;
S6:对S5的计算结果进行判断,并发送至机器人控制器;
S7:机器人控制器按照S6的焊接路径控制机器人完成焊接,或执行跳过;
S8:循环执行S2-S7。
如权利要求6所述的视觉定位焊接方法,其特征在于,手眼标定过程为:
a.标定板放置到面扫描结构光三维相机前方,保持固定不动;
b.采集不同位置的标定板图像:机器人2加持面扫描结构光三维相机移动N次,N大于等于5次,N小于等于25次,每次移动后面扫描结构光三维相机拍摄标定板,共获得2N张标定板图片,计算其有序的角点坐标;标定过程中,机器人位姿的选择原则为移动及旋转幅度越大越好;
c.通过计算可得出手眼转换矩阵;
d.标定结果eHc保存。
拍照点位距离交叉钢筋工件的交叉点位230-300mm,面扫描结构光三维相机的面板与钢筋的交叉平面的夹角小于30°,同时保证钢筋的交叉点位处于视觉软件设置的ROI区域,ROI区域的设置原则为:
LROI≥δmax×3+Dmax
其中,δmax表示交叉钢筋工件8的交叉点的位置偏差的最大值,Dmax表示钢筋的最大直径,LROI表示ROI区域的边长;
面扫描结构光三维相机采用嵌入式计算的在线面结构光相机,精度需小于±0.5mm,获取时间需小于300ms。
点云数据传输至工控机后,视觉软件首先对点云进行去噪及分割处理,去除不属于两个交叉钢筋的点云,并将点云分为两组,每组对应一根钢筋;点云分组后分别进行圆柱拟合,并依据实际的钢筋标准直径进行校准,得到校准后的两个圆柱,分别得到圆柱的轴线1、轴线2的法向
Figure BDA0002695734170000031
以及半径R1、R2
计算两个圆柱轴线的公垂线,也即最近距离点组成的线段,得到公垂线
Figure BDA0002695734170000032
其方向为:
Figure BDA0002695734170000033
其中,
Figure BDA0002695734170000034
Figure BDA0002695734170000035
的方向;
Figure BDA0002695734170000036
为钢筋1的拟合圆柱的法线方向;
Figure BDA0002695734170000037
为钢筋2的拟合圆柱的法线方向;
从P1沿着
Figure BDA0002695734170000038
偏置R1,得到Q1,从P1沿着
Figure BDA0002695734170000039
偏置R2,得到Q2
取Q1Q2的中点作为焊接路径的基点P0
Figure BDA0002695734170000041
Figure BDA0002695734170000042
实际焊接路径为直线,以P0点为参考点,人工设置焊接路径,其可设置参数为轴向偏移量dx、法向偏移量dz、焊接路径的长度L。
焊接路径计算过程为:将焊接基点P0沿着轴线1偏置dx,得到P′0,沿着
Figure BDA0002695734170000043
的方向偏置dz,得到法向偏置后的P″′0
Figure BDA0002695734170000044
Figure BDA0002695734170000045
P″′0沿着轴线2上下各偏置L/2,得到焊接路径的起点PS和末点PE
Figure BDA0002695734170000046
Figure BDA0002695734170000047
以上参数由焊接工艺师根据经验和实际情况设置,直到满足工艺要求。
基于机器人焊接路径的视觉定位焊接系统,包括:三维相机1、机器人2、工控机3、机器人控制器4、焊枪6、焊机7、交叉钢筋工件8、标定板9、示教器5,如图1所示。
所述三维相机1为面阵三维相机,不包括点或者线三维相机,固定于机器人末端;所述焊枪6固定在机器人末端;所述机器人2安装方式为固定安装和悬吊安装中的一种;所述交叉钢筋8工件通过简易或者专用治具固定。上述三维相机和机器人的固定,焊枪和机器人的固定,机器人和工件的固定是稳定的刚性连接,不可出现明显的松动和变化。
所述三维相机与机器人控制器通过网线连接至工控机。所述焊机通过网线连接至机器人控制器。
所述三维相机拍摄交叉钢筋的点云图,并将点云图传输至工控机,工控机通过视觉软件计算得到焊接路径,工控机将焊接路径下发到机器人控制器后,机器人按照路径执行焊接动作。
有益效果
本发明提出的一种基于机器人焊接的视觉定位焊接系统及焊接方法,通过三维相机获取交叉钢筋的三维信息,得到三维点云,并通过视觉软件计算得到焊接路径,引导机器人进行自动化焊接。该交叉钢筋机器人焊接视觉系统及方法可以对交叉钢筋进行视觉定位,克服了工件和夹具精度差的问题,实现了柔性、精准焊接,保证了焊接精度和质量;本发明实现了焊接路径自动计算,免去焊接路径示教,简化机器人示教过程,降低了对操作人员的要求,实现了钢筋焊接的自动化,提升了焊接效果与生产效率。
本专利涉及的机器人焊接视觉系统,焊接精度高,质量好,效率高。具体的,本专利涉及的机器人焊接系统所用三维相机的精度小于等于±0.5mm,焊缝提取精度≤0.5mm,保证焊接精度和焊接质量;本专利涉及的机器人焊接系统,S3中的点云精度采集+传输的时间小于300ms,S4中的焊接路径计算时间小于200ms,每个交叉焊点视觉系统的工作时间小于等于500ms,保证了工作效率。本专利涉及的机器人焊接系统,焊缝提取稳定性好,质量高,可以有效规避飞点,适应不同材质和形状的表面。
附图说明
图1基于机器人焊接的视觉定位焊接系统的整体结构图;
图中:1、三维相机 2、机器人 3、工控机 4、机器人控制器 5、示教器 6、焊枪;7、焊机;8、交叉钢筋工件;9、标定板。
图2基于机器人焊接的视觉定位焊接系统的方法流程图;
图3基于机器人焊接的视觉定位焊接系统的运行时序图;
图4基于机器人焊接的视觉定位焊接系统的手眼标定示意图;
图5基于机器人焊接的视觉定位焊接系统的焊接路径计算原理图,图中:(a)主视图、(b)左视图、(c)俯视图、(d)轴线示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
1.系统的组成及安装
参阅图1,一种基于机器人焊接的视觉定位焊接系统包括视觉扫描系统1、三维相机2、机器人3、工控机4、机器人控制器5、示教器6、焊枪;7、焊机;8、交叉钢筋工件;9、标定板。
图1为一种基于机器人焊接的视觉定位焊接系统的整体结构图,所述三维相机1通过转接板安装至机器人2的末端,所述焊枪5通过外挂式或者内置式安装在机器人2末端。三维相机1的安装位置需保证焊枪6小范围或者不进入相机视野。
2.系统工作流程
参阅图2方法流程图以及图3运行时序图,对一种交叉钢筋机器人焊接视觉系统的方法进行具体描述。
系统总工作流程为1、手眼标定;2、拍照点位示教;3、运行焊接程序。
1)手眼标定
系统安装完成后,将标定板8固定至交叉钢筋工件2,通过示教器5控制机器人2移动,对标定板9进行拍摄,拍摄需保证标定板9完整进入三维相机1的采集范围,使用工控机视觉软件中的标定功能记录当前位置的图像,并记录当前位置的机器人2的坐标。移动机器人,重复上述步骤,使标定板出现在相机视场中的不同位置,进行N(5≤N≤25)组拍摄后,计算并生成标定结果。
2)拍照点位示教
通过示教器5控制机器人2移动至交叉钢筋工件8的交叉点位,并保证交叉点位在深度图中处于ROI(Region ofInterest)区域中央,通过示教器5记录当前机器人的末端位置为拍照点位{Pi|P1,P2,…,Pn},完成后移动至下一交叉点位继续记录,直到所有需要焊接的交叉点位示教完成,拍照点位{P1,P2,…,Pn}均记录在示教器5的焊接程序中。工作过程中,三维相机实时输出的深度图在视觉软件的UI(User Interface用户界面)中实时显示,ROI区域为视觉软件设置的有效深度图区域,当交叉工件8的交叉点位在ROI区域内,并且该交叉点位和离深度相机的距离满足200mm-300mm的拍摄要求时,软件会自动给与提示,通过示教器5记录当前机器人的末端位置为拍照点位Pi。
3)启动程序,请求焊接路径
通过示教器5启动焊接程序,机器人2自动移动至示教点位Pi,机器人控制器4向工控机3发送焊接路径请求。
4)请求点云数据
工控机收到焊接路经请求后,控制三维相机1进行图像采集,得到深度图,通过相机内参将深度图转换为点云图,发送至工控机3。
5)焊接路径计算
工控机2视觉软件得到点云数据后,对点云进行去噪滤波、分割及特征提取处理,并通过相应算法得到焊接路径及钢筋的间隙大小,并显示计算结果与处理时长。
6)焊接路径发送
依据5)计算得到的钢筋间隙,如果钢筋间隙判断合格,将焊接路径发送至机器人控制器4;若钢筋间隙过大,则发送跳过指令并上报预警在视觉软件中显示。
7)机器人焊接作业
机器人控制器4对6)发送的消息进行解析,若是焊接路径,则控制机器人2执行焊接作业,执行完后去下一个拍照点位;若是跳过指令,直接去下一个拍照点位。
3.关键技术细节
1)手眼标定
所谓手眼标定,就是将视觉模块中的相机坐标系与机器人坐标系的位姿转换关系计算出来,从而让机器人能够感知到相机的位置。根据相机安装位置的不同,手眼标定分为两种系统:Eye-in-Hand系统和Eye-to-Hand系统。本专利采用Eye-in-Hand系统,是指将相机固定在机器人2末端,相机随着机器人2的运动而移动。求解该类型的手眼矩阵时,通常令机器人2携带相机运动多个位置,在不同的位置下求取相机与靶标的位置关系,再通过读取机器人末端的姿态进一步求解出手眼矩阵。
所述机器人末端在本系统中,指代对象为焊枪7的末端,通过示教器5可将当前位姿在焊枪、关节末端之间切换。焊枪7与机器人2的坐标关系,可通过机器人2内置的焊枪标定功能实现。
参阅图3,eHc表示相机坐标系到机器人末端坐标系的位姿转换关系,bHe表示机械臂末端坐标系到机器人基础坐标系的位姿转换关系。为了求出eHc,使用在机器人基础坐标系下通过多次重建标定板迭代求解手眼矩阵。
其算法如下:
将标定板9放置到机器人2前方,通过双目立体视觉原理,可以重建出当前标定板角点在相机坐标系下的三维坐标。通过相机坐标系到机器人末端坐标系,再到机器人基础坐标系这三个坐标系之间的转换,每相邻两个坐标系之间都有一个齐次矩阵表示其相对位姿关系。因此便可以通过这四部分之间的位姿关系,将相机坐标系下的角点三维坐标转换到机器人基础坐标系下。如下式表示:
PbbHe·eHc·Pc (1)
式中,Pc表示标定板在相机坐标系下的三维坐标,Pb表示三维点云坐标在机器人基础坐标系下的三维坐标。
Pc由三维相机1拍摄标定板图片后计算得到其有序角点坐标。
上式中,PbeHc是未知量,其他都是已知量,为了求解未知量,令机器人携带相机在不同位姿下拍摄标定板N次,用如下方程表示:
Figure BDA0002695734170000081
式中:i——机器人移动第i次,最大为N;j——标定板上第j个角点,最大为M;
Figure BDA0002695734170000082
——机器人移动第i次时重建的标定板的第j个角点;
Figure BDA0002695734170000083
——机器人第i次移动到某一个位置时机器人末端相对于基础坐标系的位姿。
上述过程,标定板在机器人基础坐标系下的位置是没有变换的,通过不同位置拍摄获得的标定板角点的机器人基础坐标系下的坐标应该是相等的。基于这个原理,就可以通过使不同位置处拍摄的标定板角点在机器人基础坐标系下,对应点距离误差和最小化来求解手眼矩阵。目标函数如下:
Figure BDA0002695734170000084
求解式3得到手眼矩阵eHc
实施手眼标定过程为:
a.标定板放置到测头前方,保持固定不动;
b.采集不同位置的标定板图像:机器人2加持三维相机移动N次(N一般大于等于5次,小于等于25次),每次移动后测头拍摄标定板,共获得2N张标定板图片,计算其有序的角点坐标。标定过程中,机器人位姿的选择原则为移动及旋转幅度越大越好。
c.通过计算可得出手眼矩阵。
d.标定结果eHc保存。
2)拍照点位及ROI区域
拍照点位距离交叉钢筋工件8的交叉点位200-300mm,三维相机1的面板与钢筋的交叉平面的夹角小于30°,最佳效果为0度。同时保证钢筋的交叉点位处于视觉软件设置的ROI区域,ROI区域的大小影响焊接路径的计算速度和精度。ROI区域的设置原则为:
LROI≥δmax×3+Dmax
其中,δmax表示交叉钢筋工件8的交叉点的位置偏差的最大值,Dmax表示钢筋的最大直径,LROI表示ROI区域的边长。其中位置偏差最大值是通过不同工件反复装夹,重复试验统计得到。
3)点云获取
三维相机1采用嵌入式计算的在线面结构光相机,可以快速实时获取精确的钢筋点云数据,在示教过程中可以实时显示深度数据,帮助判断示教位置。三维相机1的精度需小于±0.5mm,获取时间需小于300ms。点云数据的精度保证了焊接路径的计算精度,保证焊接的精度和质量;快速的点云获取决定了焊接的工作节拍,从而提高整体系统运行的可靠性和效率。
4)焊接路径计算
点云数据传输至工控机3后,视觉软件首先对点云进行去噪及分割处理,去除不属于两个交叉钢筋的点云,并将点云分为两组,每组对应一根钢筋。点云分组后分别进行圆柱拟合,并依据实际的钢筋标准直径进行校准,得到校准后的两个圆柱,分别得到圆柱的轴线1、轴线2的法向
Figure BDA0002695734170000101
以及半径R1、R2
参阅图4焊接路径计算原理图,计算两个圆柱轴线的公垂线,也即最近距离点组成的线段,得到公垂线
Figure BDA0002695734170000102
其方向为
Figure BDA0002695734170000103
其中,
Figure BDA0002695734170000104
Figure BDA0002695734170000105
的方向;
Figure BDA0002695734170000106
为钢筋1的拟合圆柱的法线方向;
Figure BDA0002695734170000107
为钢筋2的拟合圆柱的法线方向。
从P1沿着
Figure BDA0002695734170000108
偏置R1,得到Q1,从P1沿着
Figure BDA0002695734170000109
偏置R2,得到Q2
取Q1Q2的中点作为焊接路径的基点P0
Figure BDA00026957341700001010
Figure BDA00026957341700001011
实际焊接路径为直线,以P0点为参考点,人工设置焊接路径,其可设置参数为轴向偏移量dx、法向偏移量dz、焊接路径的长度L。
参阅图5,焊接路径计算过程为:将焊接基点P0沿着轴线1偏置dx,得到P′0,沿着
Figure BDA00026957341700001012
的方向偏置dz,得到法向偏置后的P″′0
Figure BDA00026957341700001013
Figure BDA00026957341700001014
P″′0沿着轴线2上下各偏置L/2,得到焊接路径的起点PS和末点PE
Figure BDA00026957341700001015
Figure BDA00026957341700001016
以上参数由焊接工艺师根据经验和实际情况设置,直到满足工艺要求。
5)坐标转换
计算得到的焊接路径为三维相机坐标系下的值,需要通过手眼标定得到的坐标转换矩阵及机器人当前的拍照位姿,转换为机器人基础坐标系下的值,并发送至机器人控制器4。
提取的焊接路径在机器人基础坐标系下的坐标为:
PbbHe·eHc·Pc (4)
Pc为三维相机拍摄的点云提取的焊接路径坐标;eHc为手眼标定得到的手眼转换矩阵;bHe为拍照点位Pi。
综上所述:一种交叉钢筋机器人焊接视觉系统及方法,基于焊接机器人和三维视觉实现交叉钢筋智能焊接,通过实时采集钢筋交叉点的三维信息并计算出焊接路径,引导机器人进行焊接作业,保证了焊接的精度和质量,简化了生产过程,提高了系统的自动化程度和稳定性,提高了生产效率。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于机器人焊接的视觉定位焊接系统,其特征在于:由手眼标定模块、拍照点位记录模块、焊接执行模块构成;所述拍照点位记录模块获取交叉钢筋的三维信息,采用钢筋点云焊线提取算法,计算交叉钢筋的焊接路径,并将焊接路径发送至焊接执行模块,焊接执行模块完成钢筋交叉点的焊接作业。
2.如权利要求1所述的视觉定位系统,其特征在于:所述拍照点位记录模块包括通过转接板安装至机器人的末端的面扫描结构光三维相机;用于获取交叉钢筋的三维信息,面扫描结构光三维相机的安装位置需保证焊接执行模块不进入面扫描结构光三维相机视野内部。
3.如权利要求1所述的视觉定位系统,其特征在于:所述焊接执行模块包括焊机、焊枪,焊枪通过外挂式或者内置式安装在机器人末端。
4.如权利要求1所述的视觉定位系统,其特征在于:所述手眼标定模块将将视觉模块中的面扫描结构光三维相机坐标系与机器人坐标系的位姿转换关系计算出来,从而让机器人能够感知到面扫描结构光三维相机的位置。
5.基于机器人焊接的视觉定位焊接方法,其特征在于,按照如下步骤:通过手眼标定模块进行手眼标定,通过拍照点位记录模块获取交叉钢筋的三维信息,采用钢筋点云焊线提取算法,工控机计算交叉钢筋的焊接路径,并将焊接路径发送至焊接执行模块,焊接执行模块完成钢筋交叉点的焊接作业。
6.如权利要求5所述的视觉定位焊接方法,其特征在于,按照如下步骤:
S0:手眼标定;
S1:移动机器人至交叉钢筋焊接的交叉点位,调整位置至合理范围,记录钢筋交叉点的拍照点位{Pi|P1,P2,…,Pn};
S2:机器人移动至拍照点位Pi,并向工控机请求焊接路径;
S3:工控机视觉软件向三维相机请求拍摄当前点云数据;S3中三维相机1采集的点云精度为±0.5mm;S3中三维相机1采集和传输点云的时间小于300ms;
S4:面扫描结构光三维相机拍摄得到点云数据,并发送至工控机视觉软件;S4中焊接路径计算时间要求小于200ms;
S5:工控机视觉软件根据S4所得的点云数据,计算得到焊接路径,以及钢筋的间隙大小;
S6:对S5的计算结果进行判断,并发送至机器人控制器;
S7:机器人控制器按照S6的焊接路径控制机器人完成焊接,或执行跳过;
S8:循环执行S2-S7。
7.如权利要求6所述的视觉定位焊接方法,其特征在于,手眼标定过程为:
a.标定板放置到面扫描结构光三维相机前方,保持固定不动;
b.采集不同位置的标定板图像:机器人2加持面扫描结构光三维相机移动N次,N大于等于5次,N小于等于25次,每次移动后面扫描结构光三维相机拍摄标定板,共获得2N张标定板图片,计算其有序的角点坐标;标定过程中,机器人位姿的选择原则为移动及旋转幅度越大越好;
c.通过计算可得出手眼转换矩阵;
d.标定结果eHc保存。
8.如权利要求6所述的视觉定位焊接方法,其特征在于:
拍照点位距离交叉钢筋工件的交叉点位200-300mm,面扫描结构光三维相机的面板与钢筋的交叉平面的夹角小于30°,同时保证钢筋的交叉点位处于视觉软件设置的ROI区域,ROI区域的设置原则为:
LROI≥δmax×3+Dmax;
其中,δmax表示交叉钢筋工件8的交叉点的位置偏差的最大值,Dmax表示钢筋的最大直径,LROI表示ROI区域的边长;
面扫描结构光三维相机采用嵌入式计算的在线面结构光相机,精度需小于±0.5mm,获取时间需小于300ms。
9.如权利要求6所述的视觉定位焊接方法,其特征在于:
点云数据传输至工控机后,视觉软件首先对点云进行去噪及分割处理,去除不属于两个交叉钢筋的点云,并将点云分为两组,每组对应一根钢筋;点云分组后分别进行圆柱拟合,并依据实际的钢筋标准直径进行校准,得到校准后的两个圆柱,分别得到圆柱的轴线1、轴线2的法向
Figure FDA0002695734160000021
以及半径R1、R2
计算两个圆柱轴线的公垂线,也即最近距离点组成的线段,得到公垂线
Figure FDA0002695734160000022
其方向为
Figure FDA0002695734160000023
其中,
Figure FDA0002695734160000024
Figure FDA0002695734160000025
的方向;
Figure FDA0002695734160000026
为钢筋1的拟合圆柱的法线方向;
Figure FDA0002695734160000027
为钢筋2的拟合圆柱的法线方向;
从P1沿着
Figure FDA0002695734160000031
偏置R1,得到Q1,从P1沿着
Figure FDA0002695734160000032
偏置R2,得到Q2
取Q1Q2的中点作为焊接路径的基点P0
Figure FDA0002695734160000033
Figure FDA0002695734160000034
实际焊接路径为直线,以P0点为参考点,人工设置焊接路径,其可设置参数为轴向偏移量dx、法向偏移量dz、焊接路径的长度L。
10.如权利要求9所述的视觉定位焊接方法,其特征在于:
焊接路径计算过程为:将焊接基点P0沿着轴线1偏置dx,得到P′0,沿着
Figure FDA0002695734160000035
的方向偏置dz,得到法向偏置后的P″′0
Figure FDA0002695734160000036
Figure FDA0002695734160000037
P″′0沿着轴线2上下各偏置L/2,得到焊接路径的起点PS和末点PE
Figure FDA0002695734160000038
Figure FDA0002695734160000039
以上参数由焊接工艺师根据经验和实际情况设置,直到满足工艺要求。
CN202011005596.6A 2020-09-23 2020-09-23 一种基于机器人焊接的视觉定位焊接系统及焊接方法 Active CN112122840B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011005596.6A CN112122840B (zh) 2020-09-23 2020-09-23 一种基于机器人焊接的视觉定位焊接系统及焊接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011005596.6A CN112122840B (zh) 2020-09-23 2020-09-23 一种基于机器人焊接的视觉定位焊接系统及焊接方法

Publications (2)

Publication Number Publication Date
CN112122840A true CN112122840A (zh) 2020-12-25
CN112122840B CN112122840B (zh) 2022-03-08

Family

ID=73842488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011005596.6A Active CN112122840B (zh) 2020-09-23 2020-09-23 一种基于机器人焊接的视觉定位焊接系统及焊接方法

Country Status (1)

Country Link
CN (1) CN112122840B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112781496A (zh) * 2021-01-20 2021-05-11 湘潭大学 一种非接触测量系统的测头位姿标定技术
CN112958974A (zh) * 2021-02-08 2021-06-15 西安知象光电科技有限公司 一种基于三维视觉的可交互自动化焊接系统
CN112958957A (zh) * 2021-02-04 2021-06-15 新拓三维技术(深圳)有限公司 一种大型钢筋骨架焊接的自动校准方法和系统
CN112991327A (zh) * 2021-04-14 2021-06-18 河北省科学院应用数学研究所 基于机器视觉的钢格网焊接系统、方法和终端设备
CN113160415A (zh) * 2021-03-22 2021-07-23 山东大学 基于三维视觉信息的网格结构工件焊缝定位方法及系统
CN113177983A (zh) * 2021-03-25 2021-07-27 埃夫特智能装备股份有限公司 基于点云几何特征的角焊缝定位方法
CN113295142A (zh) * 2021-05-14 2021-08-24 上海大学 一种基于faro扫描仪和点云的地形扫描分析方法和装置
CN113333998A (zh) * 2021-05-25 2021-09-03 绍兴市上虞区武汉理工大学高等研究院 一种基于协作机器人的自动化焊接系统及方法
CN113400460A (zh) * 2021-06-29 2021-09-17 江苏图知天下科技有限公司 一种钢筋的绑扎方法及绑扎装置
CN113414762A (zh) * 2021-06-09 2021-09-21 配天机器人技术有限公司 焊道路径的偏移方法、装置、机器人及存储装置
CN113681133A (zh) * 2021-08-30 2021-11-23 南京衍构科技有限公司 一种带视觉的冗余自由度机器人智能焊接方法
CN114074331A (zh) * 2022-01-19 2022-02-22 成都考拉悠然科技有限公司 一种基于视觉的无序抓取方法及机器人
CN114289934A (zh) * 2021-09-27 2022-04-08 西安知象光电科技有限公司 一种基于三维视觉的大型结构件自动化焊接系统及方法
CN114425677A (zh) * 2022-03-11 2022-05-03 上海隧道工程智造海盐有限公司 一种隧道交叉螺纹钢筋自动焊接系统
CN114515923A (zh) * 2022-03-11 2022-05-20 上海隧道工程智造海盐有限公司 一种应用于隧道钢筋焊接的视觉定位系统
CN114571153A (zh) * 2022-04-07 2022-06-03 福州大学 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法
CN114749848A (zh) * 2022-05-31 2022-07-15 深圳了然视觉科技有限公司 一种基于3d视觉引导的钢筋焊接自动化系统
CN115026470A (zh) * 2022-06-10 2022-09-09 重庆大学 一种面向钢筋网片的机器人焊接系统及方法
CN115222826A (zh) * 2022-09-15 2022-10-21 深圳大学 结构光和相机相对位姿可改变的三维重建方法和装置
CN115446503A (zh) * 2022-08-31 2022-12-09 深圳前海瑞集科技有限公司 焊接机器人控制方法、装置、焊接机器人和可读介质
CN115673176A (zh) * 2022-10-26 2023-02-03 上海公路桥梁(集团)有限公司 环形箍筋生产线及生产方法
WO2023197089A1 (zh) * 2022-04-13 2023-10-19 天津科技大学 一种管板焊方法及装置
CN117416742A (zh) * 2023-12-18 2024-01-19 四川新途流体控制技术有限公司 一种全自动气瓶充装运输系统及方法
CN117564404A (zh) * 2023-11-27 2024-02-20 中国建筑第五工程局有限公司 一种基于ai视觉的大型钢筋网的自动焊接方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104400279A (zh) * 2014-10-11 2015-03-11 南京航空航天大学 基于ccd的管道空间焊缝自动识别与轨迹规划的方法及系统
CN108453439A (zh) * 2018-03-14 2018-08-28 清华大学天津高端装备研究院洛阳先进制造产业研发基地 基于视觉传感的机器人焊接轨迹自主编程系统及方法
CN109623206A (zh) * 2018-12-19 2019-04-16 清华大学 用于机器人管道焊接中优化离线规划的焊枪位姿的方法
CN110245599A (zh) * 2019-06-10 2019-09-17 深圳市超准视觉科技有限公司 一种智能三维焊缝自主寻迹方法
CN111299761A (zh) * 2020-02-28 2020-06-19 华南理工大学 一种焊缝跟踪系统的实时姿态估计方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104400279A (zh) * 2014-10-11 2015-03-11 南京航空航天大学 基于ccd的管道空间焊缝自动识别与轨迹规划的方法及系统
CN108453439A (zh) * 2018-03-14 2018-08-28 清华大学天津高端装备研究院洛阳先进制造产业研发基地 基于视觉传感的机器人焊接轨迹自主编程系统及方法
CN109623206A (zh) * 2018-12-19 2019-04-16 清华大学 用于机器人管道焊接中优化离线规划的焊枪位姿的方法
CN110245599A (zh) * 2019-06-10 2019-09-17 深圳市超准视觉科技有限公司 一种智能三维焊缝自主寻迹方法
CN111299761A (zh) * 2020-02-28 2020-06-19 华南理工大学 一种焊缝跟踪系统的实时姿态估计方法

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112781496B (zh) * 2021-01-20 2022-03-08 湘潭大学 一种非接触测量系统的测头位姿标定方法
CN112781496A (zh) * 2021-01-20 2021-05-11 湘潭大学 一种非接触测量系统的测头位姿标定技术
CN112958957A (zh) * 2021-02-04 2021-06-15 新拓三维技术(深圳)有限公司 一种大型钢筋骨架焊接的自动校准方法和系统
CN112958974A (zh) * 2021-02-08 2021-06-15 西安知象光电科技有限公司 一种基于三维视觉的可交互自动化焊接系统
CN113160415A (zh) * 2021-03-22 2021-07-23 山东大学 基于三维视觉信息的网格结构工件焊缝定位方法及系统
CN113177983A (zh) * 2021-03-25 2021-07-27 埃夫特智能装备股份有限公司 基于点云几何特征的角焊缝定位方法
CN112991327A (zh) * 2021-04-14 2021-06-18 河北省科学院应用数学研究所 基于机器视觉的钢格网焊接系统、方法和终端设备
CN113295142A (zh) * 2021-05-14 2021-08-24 上海大学 一种基于faro扫描仪和点云的地形扫描分析方法和装置
CN113295142B (zh) * 2021-05-14 2023-02-21 上海大学 一种基于faro扫描仪和点云的地形扫描分析方法和装置
CN113333998A (zh) * 2021-05-25 2021-09-03 绍兴市上虞区武汉理工大学高等研究院 一种基于协作机器人的自动化焊接系统及方法
CN113414762A (zh) * 2021-06-09 2021-09-21 配天机器人技术有限公司 焊道路径的偏移方法、装置、机器人及存储装置
CN113414762B (zh) * 2021-06-09 2024-05-03 配天机器人技术有限公司 焊道路径的偏移方法、装置、机器人及存储装置
CN113400460A (zh) * 2021-06-29 2021-09-17 江苏图知天下科技有限公司 一种钢筋的绑扎方法及绑扎装置
CN113681133A (zh) * 2021-08-30 2021-11-23 南京衍构科技有限公司 一种带视觉的冗余自由度机器人智能焊接方法
CN113681133B (zh) * 2021-08-30 2022-07-08 南京衍构科技有限公司 一种带视觉的冗余自由度机器人智能焊接方法
CN114289934A (zh) * 2021-09-27 2022-04-08 西安知象光电科技有限公司 一种基于三维视觉的大型结构件自动化焊接系统及方法
CN114074331A (zh) * 2022-01-19 2022-02-22 成都考拉悠然科技有限公司 一种基于视觉的无序抓取方法及机器人
CN114425677A (zh) * 2022-03-11 2022-05-03 上海隧道工程智造海盐有限公司 一种隧道交叉螺纹钢筋自动焊接系统
CN114515923A (zh) * 2022-03-11 2022-05-20 上海隧道工程智造海盐有限公司 一种应用于隧道钢筋焊接的视觉定位系统
CN114425677B (zh) * 2022-03-11 2024-07-05 上海隧道工程智造海盐有限公司 一种隧道交叉螺纹钢筋自动焊接系统
CN114571153A (zh) * 2022-04-07 2022-06-03 福州大学 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法
CN114571153B (zh) * 2022-04-07 2023-10-10 福州大学 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法
WO2023197089A1 (zh) * 2022-04-13 2023-10-19 天津科技大学 一种管板焊方法及装置
CN114749848A (zh) * 2022-05-31 2022-07-15 深圳了然视觉科技有限公司 一种基于3d视觉引导的钢筋焊接自动化系统
CN114749848B (zh) * 2022-05-31 2024-08-23 深圳了然视觉科技有限公司 一种基于3d视觉引导的钢筋焊接自动化系统
CN115026470A (zh) * 2022-06-10 2022-09-09 重庆大学 一种面向钢筋网片的机器人焊接系统及方法
CN115446503A (zh) * 2022-08-31 2022-12-09 深圳前海瑞集科技有限公司 焊接机器人控制方法、装置、焊接机器人和可读介质
CN115222826A (zh) * 2022-09-15 2022-10-21 深圳大学 结构光和相机相对位姿可改变的三维重建方法和装置
CN115673176A (zh) * 2022-10-26 2023-02-03 上海公路桥梁(集团)有限公司 环形箍筋生产线及生产方法
CN117564404A (zh) * 2023-11-27 2024-02-20 中国建筑第五工程局有限公司 一种基于ai视觉的大型钢筋网的自动焊接方法
CN117416742A (zh) * 2023-12-18 2024-01-19 四川新途流体控制技术有限公司 一种全自动气瓶充装运输系统及方法
CN117416742B (zh) * 2023-12-18 2024-03-12 四川新途流体控制技术有限公司 一种全自动气瓶充装运输系统及方法

Also Published As

Publication number Publication date
CN112122840B (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN112122840B (zh) 一种基于机器人焊接的视觉定位焊接系统及焊接方法
JP4021413B2 (ja) 計測装置
CN107883929B (zh) 基于多关节机械臂的单目视觉定位装置及方法
CN114474041B (zh) 一种基于协作机器人的焊接自动化智能引导方法及系统
CN112833786B (zh) 一种舱段位姿测量及对准系统、控制方法及应用
CN110906863B (zh) 一种用于线结构光传感器的手眼标定系统及标定方法
CN102374860B (zh) 三维视觉定位方法及系统
CN110142770B (zh) 一种基于头戴显示装置的机器人示教系统及方法
CN104400279A (zh) 基于ccd的管道空间焊缝自动识别与轨迹规划的方法及系统
JP2005074600A (ja) ロボット及びロボット移動方法
CN114434059A (zh) 复合机器人和三维视觉的大型结构件自动焊接系统及方法
CN111975200A (zh) 一种基于视觉示教技术的智能焊接方法及智能焊接系统
CN112629499B (zh) 基于线扫描仪的手眼标定重复定位精度测量方法及装置
CN112577447B (zh) 一种三维全自动扫描系统及方法
CN114749848B (zh) 一种基于3d视觉引导的钢筋焊接自动化系统
CN117047237B (zh) 一种异形件智能柔性焊接系统与方法
CN112958974A (zh) 一种基于三维视觉的可交互自动化焊接系统
CN114888501A (zh) 一种基于三维重建的无示教编程建筑构件焊接装置及方法
CN113246142A (zh) 一种基于激光引导的测量路径规划方法
CN115026470A (zh) 一种面向钢筋网片的机器人焊接系统及方法
CN114434036A (zh) 用于大型船舶结构件龙门式机器人焊接的三维视觉系统及运行方法
Ye et al. Weld seam tracking based on laser imaging binary image preprocessing
CN110849285A (zh) 基于单目相机的焊点深度测量方法、系统及介质
CN114800574A (zh) 一种基于双三维相机的机器人自动化焊接系统及方法
CN206803931U (zh) 基于机器视觉的三维焊后焊缝应力处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant