CN112620926A - 一种焊点追踪方法、装置及存储介质 - Google Patents

一种焊点追踪方法、装置及存储介质 Download PDF

Info

Publication number
CN112620926A
CN112620926A CN202011505694.6A CN202011505694A CN112620926A CN 112620926 A CN112620926 A CN 112620926A CN 202011505694 A CN202011505694 A CN 202011505694A CN 112620926 A CN112620926 A CN 112620926A
Authority
CN
China
Prior art keywords
welding
weld
path
target
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011505694.6A
Other languages
English (en)
Other versions
CN112620926B (zh
Inventor
邓亮
李楚翘
陈先开
冯良炳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Cosmosvision Intelligent Technology Co ltd
Original Assignee
Shenzhen Cosmosvision Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Cosmosvision Intelligent Technology Co ltd filed Critical Shenzhen Cosmosvision Intelligent Technology Co ltd
Priority to CN202011505694.6A priority Critical patent/CN112620926B/zh
Publication of CN112620926A publication Critical patent/CN112620926A/zh
Application granted granted Critical
Publication of CN112620926B publication Critical patent/CN112620926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/04Automatically aligning, aiming or focusing the laser beam, e.g. using the back-scattered light
    • B23K26/044Seam tracking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00Working by laser beam, e.g. welding, cutting or boring
    • B23K26/08Devices involving relative movement between laser beam and workpiece
    • B23K26/082Scanning systems, i.e. devices involving movement of the laser beam relative to the laser head
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00Working by laser beam, e.g. welding, cutting or boring
    • B23K26/20Bonding
    • B23K26/21Bonding by welding
    • B23K26/24Seam welding
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0081Programme-controlled manipulators with master teach-in means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Plasma & Fusion (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Laser Beam Processing (AREA)

Abstract

本发明申请公开了一种焊点追踪方法、装置及存储介质,属于工业机器视觉中的焊点跟踪技术领域。本申请实施例所述焊点追踪方法通过使用3D目标识别系统初始定位目标,计算出初始焊接路径;引导线扫激光沿初始焊接路径扫描焊缝,计算更新得到实际焊缝位置;然后示教机器人引导激光焊接系统沿着所述实际焊缝位置移动;根据激光引导系统检测的所述实际焊缝位置控制移动焊枪进行焊接。使用本申请实施例所述焊点追踪方法能动态的获取当前目标的焊接位置与姿态;准确的引导机器人扫描焊缝获取焊缝3D信息,实现焊缝的精准焊接,且能处理较复杂的不规则变化的图形曲线焊缝操作。

Description

一种焊点追踪方法、装置及存储介质
技术领域
本发明涉及工业机器视觉中的焊点跟踪技术领域,尤其涉及一种焊点追踪方法、装置及存储介质。
背景技术
基于激光引导的焊缝跟踪技术在目前的工业焊接中已大量应用,该系统主要采用一套由相机与激光器组成的三维线扫成像系统,该系统扫描固定的焊缝位置(焊缝可在激光扫射范围内变动)以获取焊缝的三维形状,通过预设的焊缝识别模式来精确定位当前的实际焊缝位置。
传统的激光焊缝跟踪系统在进行焊缝工作时,一般分为两个步骤:第一步是示教机器人引导激光系统沿着焊缝移动,第二步根据激光引导系统检测的焊缝位置移动焊枪进行焊接。
该现有激光焊缝跟踪系统存在以下方面的不足:(1)预先示教的焊缝位置变化不能太大,否则会导致焊缝检测失败。(2)焊缝的形状不能过于复杂,当前的激光焊缝跟踪系统基本上只能处理直线(或弧度变化很小的曲线)、圆形等简单变化的焊缝,而对一些不规则变化的图形曲线则无法实现焊缝操作。
发明内容
有鉴于此,本发明的目的在于提供一种焊点追踪方法、装置及存储介质,能动态的获取当前目标的焊接位置与姿态;准确的引导机器人扫描焊缝获取焊缝3D信息,实现焊缝的精准焊接,且能处理较复杂的不规则变化的图形曲线焊缝操作。
本发明解决上述技术问题所采用的技术方案如下:
本发明的第一方面提供一种焊点追踪方法,其特征在于,所述方法包括如下步骤:
使用3D目标识别系统初始定位目标,计算出初始焊接路径;
引导线扫激光沿初始焊接路径扫描焊缝,计算更新得到实际焊缝位置;
示教机器人引导激光焊接系统沿着所述实际焊缝位置移动;
根据激光引导系统检测的所述实际焊缝位置控制移动焊枪进行焊接。
在一些实施例中,所述使用3D目标识别系统初始定位目标,计算出初始焊接路径包括:
使用3D目标识别系统定位目标的位置姿态;
基于模型的初始焊点位置和姿态,使用图形界面编辑生成焊接路径以及每个焊点位置的焊接姿态;
使用焊缝类型自动匹配系统来自动匹配每一小段焊缝的焊缝类型。
在一些实施例中,所述使用3D目标识别系统定位目标的位置姿态包括:获取目标位置在世界坐标系中的坐标Xw;目标位置的模型坐标Xm;以及目标姿态旋转矩阵[Rw2m,Tw2m];
其中,Xw=Rw2mXm+Tw2m
在一些实施例中,所述使用焊缝类型自动匹配系统来自动匹配每一小段焊缝的焊缝类型包括:
定义焊缝类型库WeldS={s1,s2,…,sN},其中si为定义的4进制序列焊缝类型,N为类型库大小,N为正整数;
在模型上沿焊接方向的切线方向取连续的点{p1,p2,…,pM},其中pi为取的三维点在模型上的三维坐标,M为取得的点数目;
设模型的Z方向垂直向上,定义局部焊点坐标系:
将三维坐标序列{p1,p2,…,pM}投影到局部焊点坐标系的XZ平面上;
将二维点序列
Figure BDA0002844865250000031
分段拟合直线{L1,L2,…,Lk},其中直线Li由序号从ni到ni+1-1的连续二维点拟合而成,计算得到分段直线的房线{g1,g2,…,gk},其中
Figure BDA0002844865250000032
表示使用拟合直线的首尾点计算的直向方向,从而计算得到焊缝类型的4进制表示序列;
S={φ(g1),φ(g2),…,φ(gk)}
其中,
Figure BDA0002844865250000033
为将变化方向x转换为4进制值;
从焊缝类型库WeldS匹配当前的焊缝类型序列S,如果失败可进行手工干预选择。
在一些实施例中,所述基于模型的初始焊点位置和姿态,使用图形界面编辑生成焊接路径以及每个焊点位置的焊接姿态包括:
预先定义在模型坐标系下的初始焊接点位置[x1,x2,…,xN]及姿态旋转矩阵[R1,R2,…,RN],其中N为初始焊点路径点个数;
在当前的识别位置为[Rw2m,Tw2m]时,焊点路径点的位置为
Figure BDA0002844865250000034
姿态旋转矩阵为
Figure BDA0002844865250000035
其中
Figure BDA0002844865250000036
i=1,2,3,…,N。
在一些实施例中,所述引导线扫激光沿初焊接始路径扫描焊缝,计算更新得到实际焊缝位置包括:
激光平面坐标系的建立;
引导机器人使用工具坐标系ToolL按照计算的当前目标的初始扫描路径进行线扫激光成像,获取焊缝三维信息,计算更新得到实际焊缝位置。
在一些实施例中,激光平面坐标系的建立包括:
使用传统的张正友标定法标定出相机坐标系Xc与机器人法兰坐标系XF之间的关系;
通过相机图像检测激光面与标定板平面角点像素位置
Figure BDA0002844865250000041
结合标定板平面方程
Figure BDA0002844865250000042
计算得到激光面与标定板平面的交点三维位置
Figure BDA0002844865250000043
建议激光平面坐标系,并计算出激光平面坐标系与相机坐标系之间的旋转关系、激光平面与法兰之间的关系。
本发明的第二方面还提供一种焊点追踪装置,包括3D目标识别系统、路径扫描焊缝系统、引导焊接系统以及激光引导系统;
所述3D目标识别系统;用于初始定位目标,计算出初始焊接路径;
所述路径扫描焊缝系统;用于引导线扫激光沿初路焊接始径扫描焊缝,计算更新得到实际焊缝位置;
引导焊接系统,用于根据示教机器人的引导沿着所述实际焊缝位置移动;
激光引导系统,用于检测所述实际焊缝位置控制移动焊枪进行焊接;
进一步地,所述3D目标识别系统包括目标位置定位单元、焊接路径生成单元以及焊缝类型匹配系统;
所述目标位置定位单元,用于定位目标的位置姿态;
所述焊接路径生成单元,用于基于模型的初始焊点位置和姿态,使用图形界面编辑生成焊接路径以及每个焊点位置的焊接姿态;
所述焊缝类型匹配系统,用于自动匹配每一小段焊缝的焊缝类型。
在一实施例中,所述路径扫描焊缝系统包括激光平面坐标系的建立单元以及实际焊缝位置获取单元;
所述激光平面坐标系建立单元,用于建立激光平面坐标系;
所述实际焊缝位置获取单元,用于引导机器人使用工具坐标系ToolL按照前述计算的当前目标的初始扫描路径进行线扫激光成像,获取焊缝三维信息,计算更新得到实际焊缝位置。
本申请还提供一种计算机可读存储介质,包括处理器、计算机可读存储介质以及在所述计算机可读存储介质上存储的计算机程序,所述计算机程序被处理器执行时实现上述所述方法中的步骤。
本发明实施例提供的所述一种焊点追踪方法、装置及存储介质,通过使用3D目标识别系统初始定位目标,计算出初始焊接路径;引导线扫激光沿初始焊接路径扫描焊缝,计算更新得到实际焊缝位置;然后示教机器人引导激光焊接系统沿着所述实际焊缝位置移动;根据激光引导系统检测的所述实际焊缝位置控制移动焊枪进行焊接。使用本申请实施例所述焊点追踪方法能动态的获取当前目标的焊接位置与姿态;准确的引导机器人扫描焊缝获取焊缝3D信息,实现焊缝的精准焊接,且能处理较复杂的不规则变化的图形曲线焊缝操作。
附图说明
图1为本发明实施例的一种焊点追踪方法一实施例的方法流程图;
图2为本发明实施例的使用3D目标识别系统初始定位目标计算出初始焊接路径的方法流程图;
图3为本发明实施例的一种焊点追踪方法的焊接类型的方向定义示意图;
图4为本发明实施例的一种焊点追踪方法一实施例的焊接类型示意图;
图5为本发明实施例的引导线扫激光沿初始焊接路径扫描焊缝,计算更新得到实际焊缝位置的方法流程图;
图6为本发明实施例的激光平面坐标系的建立方法流程图;
图7为本发明实施例通过相机图像检测激光面与标定板平面角点像素位置的示意图;
图8为本发明实施例的一种焊点追踪装置一实施例的结构示意图;
图9为本发明实施例的一种焊点追踪装置另一实施例的结构框图;
图10为本发明实施例的一种焊点追踪装置的激光平面坐标系建立单元的结构框图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白,以下结合附图和实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对于现有技术激光焊缝跟踪系统只能处理焊缝位置变化不能太大,焊缝的形状不能过于复杂,而对于一些不规则变化的图形曲线则无法实现焊缝操作的问题,本发明提出一种焊点追踪方法、装置及存储介质,能动态的获取当前目标的焊接位置与姿态;准确的引导机器人扫描焊缝获取焊缝3D信息,实现焊缝的精准焊接,且能处理较复杂的不规则变化的图形曲线焊缝操作。本申请中涉及的3D目标识别系统定位目标的位置姿态方法是基于专利CN201810707859.4中的技术方案,下面详细介绍本申请具体实施方式。
实施例一:
本申请发明提供一种焊点追踪方法,请参阅图1及图2,所述方法包括如下步骤:
S10、使用3D目标识别系统初始定位目标,计算出初始焊接路径;
具体地,包括步骤:
S102、使用3D目标识别系统定位目标的位置姿态;
所述使用3D目标识别系统定位目标的位置姿态具体包括:获取目标位置在世界坐标系中的坐标Xw;目标位置的模型坐标Xm;以及目标姿态旋转矩阵[Rw2m,Tw2m];上述各坐标的具体获取方法在本公司前案专利CN201810707859.4中已经公开,在此不再赘述。
其中,Xw=Rw2mXm+Tw2m
其中Xw为世界坐标(一般定义在机器人坐标系基坐标),Xm为模型坐标,[Rw2m,Tw2m]为识别的目标姿态旋转矩阵与位置。
S104、基于模型的初始焊点位置和姿态,使用图形界面编辑生成焊接路径以及每个焊点位置的焊接姿态。
具体地,预先定义在模型坐标系下的初始焊接点位置[x1,x2,…,xN]及姿态旋转矩阵[R1,R2,…,RN],其中N为初始焊点路径点个数。在当前的识别位置为[Rw2m,Tw2m]时,这些焊点路径点的位置为
Figure BDA0002844865250000071
姿态旋转矩阵为
Figure BDA0002844865250000081
其中
Figure BDA0002844865250000082
i=1,2,3,…,N。这里基于模型的初始焊点位置[x1,x2,…,xN]与姿态旋转矩阵[R1,R2,…,RN]只跟模型相关,可以使用图形界面编辑生成复杂的焊接路径及编辑每个焊点位置的焊接姿态。
S106、使用焊缝类型自动匹配系统来自动匹配每一小段焊缝的焊缝类型。
具体地,传统的激光焊接跟踪系统需要事先确定焊缝的类型,如对接焊、搭接焊、边缘焊、角焊、外侧角接焊及整张板材焊等,如果焊缝存在几种类型的混合情况,需要事先分段确定焊缝类型,这里我们使用焊缝类型自动匹配系统来自动匹配每一小段的焊缝类型。
请参阅图3及图4,定义如图4个方向,水平向左及上下角度小于θ定义为0,水平向右及上下角度小于θ定义为1,竖直向上及左右角度小于90-θ定义为2,竖直向下及左右角度小于90-θ定义为3。如搭接焊的焊缝类型定义为4进制序列131(左搭接)及121(右搭接)。
焊缝类型匹配系统具体工作过程如下:
(1)定义焊缝类型库WeldS={s1,s2,…,sN},其中si为定义的4进制序列焊缝类型,N为类型库大小,N为正整数。
(2)在模型上沿焊接方向的切线方向取连续的点{p1,p2,…,pM},其中pi为取的三维点在模型上的三维坐标,M为取得的点数目;
(3)设模型的Z方向垂直向上,定义局部焊点坐标系:
weldAxis={Xw,Yw,Zw},其中Yw为焊接运动方向,Zw=Z为模型Z方向,
Figure BDA0002844865250000083
表示数学叉乘,坐标原点为模型上的焊点位置Ow
(4)将三维坐标序列{p1,p2,…,pM}投影到局部焊点坐标系的XZ平面上:定义旋转矩阵Rw=[Xw,Yw,Zw],三维点pi投影到局部焊点坐标系中的三维点为
Figure BDA0002844865250000084
投影到其XZ平面的二维点为
Figure BDA0002844865250000085
获得二维点序列
Figure BDA0002844865250000091
(5)将二维点序列
Figure BDA0002844865250000092
分段拟合直线{L1,L2,…,Lk},其中直线Li由序号从ni到ni+1-1的连续二维点拟合而成,计算得到分段直线的房线{g1,g2,…,gk},其中
Figure BDA0002844865250000093
表示使用拟合直线的首尾点计算的直向方向,从而计算得到焊缝类型的4进制表示序列;
S={φ(g1),φ(g2),…,φ(gk)}
其中,
Figure BDA0002844865250000094
为将变化方向x转换为4进制值;
(6)从焊缝类型库WeldS匹配当前的焊缝类型序列S,如果失败可进行手工干预选择。
S20、引导线扫激光沿初始焊接路径扫描焊缝,计算更新得到实际焊缝位置;
请参阅图5、图6及图7,具体地,包括步骤:
S202、激光平面坐标系的建立;
具体地,激光线扫成像仪安装在机械臂上法兰盘上,激光线扫成像仪上有两个坐标系统,相机坐标系Xc及激光平面坐标系统XL;所述激光平面坐标系的建立具体包括步骤:
S2021、使用传统的张正友标定法标定出相机坐标系Xc与机器人法兰坐标系XF之间的关系,XF=RF2cXc+TF2c,其中[RF2c,TF2c]为激光线扫成像仪的相机坐标系Xc与机器人法兰坐标系XF之间的旋转矩阵及偏移量。
S2022、通过相机图像检测激光面与标定板平面角点像素位置
Figure BDA0002844865250000095
具体地,将标定板置于相机下,计算得到标定板的平面方程
Figure BDA0002844865250000096
其中Ncal为标定板平面方程参数,Xcal为相机坐标系下标定板平面上的3D点坐标。通过相机图像检测激光面与标定板平面角点像素位置
Figure BDA0002844865250000101
结合标定板平面方程
Figure BDA0002844865250000102
计算得到激光面与标定板平面的交点三维位置
Figure BDA0002844865250000103
其中i为取得点序号。固定激光线扫仪位置,移动标定板K次,共获取Np个激光平面与标定板的交点,序号i=1,2,…,Np,使用这Np个点拟合激光平面方程
Figure BDA0002844865250000104
其中NL=[nx,ny,nz,TL]T为激光平面的参数,XL=[xL,yL,zL,1]T为激光平面坐标,[nx,ny,nz]T为激光平面法向量,TL为激光平面方程的偏移参数。
S2023、建议激光平面坐标系,并计算出激光平面坐标系与相机坐标系之间的旋转关系、激光平面与法兰之间的关系。
具体地,建立激光平面坐标系,激光平面坐标系x轴定义为其平面法向量Xaxis=[nx,ny,nz]T,将相机的z轴Zc=[0,0,1]T投影到激光平面上得到激光平面坐标系的z轴
Figure BDA0002844865250000105
其中(·)表示数学点乘;激光平面坐标系y轴为
Figure BDA0002844865250000106
其中
Figure BDA0002844865250000107
表示数学叉乘,将各轴单位化后得到激光平面坐标系与相机坐标系之间的旋转关系:
Figure BDA0002844865250000108
其中
Figure BDA0002844865250000109
分别为Xaxis,Yaxis,Zaxis的单位化向量。
激光平面坐标系的原点定义为相机原点Oc=[0,0,0]T投影在激光平面上的点并沿其Z轴移动距离L,
Figure BDA00028448652500001010
那么激光平面坐标系与其相机坐标系之间的关系为:
Xc=Mc2LXL+Tc2L,Xc,XL分别为相机坐标系与激光坐标系中的坐标值,[Mc2L,Tc2L]为激光坐标系到相机坐标系之间的转换关系。
结合前面的相机与法兰之间的关系XF=RF2cXc+TF2c,计算得到激光平面与法兰之间的关系:
XF=RF2cXc+TF2c=RF2cRc2LXL+RF2cTc2L+TF2c=RF2LXL+TF2L
其中RF2L=RF2cRc2L,TF2L=RF2cTc2L+TF2c分别为激光平面坐标系到法兰之间的旋转矩阵及偏移量,将其定义为机器人的一个工具坐标系ToolL
S204、引导机器人使用工具坐标系ToolL按照前述计算的当前目标的初始扫描路径进行线扫激光成像,获取焊缝三维信息,计算更新得到实际焊缝位置。
具体地,引导机器人使用工具坐标系ToolL按照前述计算的当前目标的初始扫描路径进行线扫激光成像,运动路径为
Figure BDA0002844865250000111
其中
Figure BDA0002844865250000112
为焊点路径点的位置;
Figure BDA0002844865250000113
为焊点的姿态旋转矩阵。目标定位保证了此时焊缝必定在激光扫描的范围内,获取焊缝三维信息,计算更新得到实际焊缝位置。
S30、示教机器人引导激光焊接系统沿着所述实际焊缝位置移动。
S40、根据激光引导系统检测的所述实际焊缝位置控制移动焊枪进行焊接。
本申请实施例所述焊点追踪方法,通过使用3D目标识别系统初始定位目标,计算出初始焊接路径;引导线扫激光沿初始焊接路径扫描焊缝,计算更新得到实际焊缝位置;然后示教机器人引导激光焊接系统沿着所述实际焊缝位置移动;根据激光引导系统检测的所述实际焊缝位置控制移动焊枪进行焊接。使用本申请实施例所述焊点追踪方法能动态的获取当前目标的焊接位置与姿态;准确的引导机器人扫描焊缝获取焊缝3D信息,实现焊缝的精准焊接,且能处理较复杂的不规则变化的图形曲线焊缝操作。
实施例二:
本申请实施例还提供一种焊点追踪装置,请参阅图8至图10,所述焊点追踪装置包括3D目标识别系统10、路径扫描焊缝系统20、引导焊接系统30以及激光引导系统40。
所述3D目标识别系统10;用于初始定位目标,计算出初始焊接路径;
所述路径扫描焊缝系统20;用于引导线扫激光沿初始焊接路径扫描焊缝,计算更新得到实际焊缝位置。
3D目标识别系统10包括目标位置定位单元101、焊接路径生成单元102以及焊缝类型匹配系统103。
所述目标位置定位单元101,用于定位目标的位置姿态;
具体包括:定位获取目标位置在世界坐标系中的坐标Xw;目标位置的模型坐标Xm;以及目标姿态旋转矩阵[Rw2m,Tw2m];
其中,Xw=Rw2mXm+Tw2m
其中Xw为世界坐标(一般定义在机器人坐标系基坐标),Xm为模型坐标,[Rw2m,Tw2m]为识别的目标姿态旋转矩阵与位置。
所述焊接路径生成单元102,用于基于模型的初始焊点位置和姿态,使用图形界面编辑生成焊接路径以及每个焊点位置的焊接姿态。
具体地,预先定义在模型坐标系下的初始焊接点位置[x1,x2,…,xN]及姿态旋转矩阵[R1,R2,…,RN],其中N为初始焊点路径点个数。在当前的识别位置为[Rw2m,Tw2m]时,这些焊点路径点的位置为
Figure BDA0002844865250000121
姿态旋转矩阵为
Figure BDA0002844865250000122
其中
Figure BDA0002844865250000123
i=1,2,3,…,N。这里基于模型的初始焊点位置[x1,x2,…,xN]与姿态旋转矩阵[R1,R2,…,RN]只跟模型相关,可以使用图形界面编辑生成复杂的焊接路径及编辑每个焊点位置的焊接姿态。
焊缝类型匹配系统103,用于自动匹配每一小段焊缝的焊缝类型。
具体地,传统的激光焊接跟踪系统需要事先确定焊缝的类型,如对接焊、搭接焊、边缘焊、角焊、外侧角接焊及整张板材焊等,如果焊缝存在几种类型的混合情况,需要事先分段确定焊缝类型,这里我们使用焊缝类型自动匹配系统来自动匹配每一小段的焊缝类型。
所述路径扫描焊缝系统20包括激光平面坐标系建立单元201以及实际焊缝位置获取单元202。
所述激光平面坐标系建立单元201,用于建立激光平面坐标系。所述激光平面坐标系建立单元201包括:第一坐标系关系建立模块2011、交点三维位置计算模块2012以及第二坐标系关系建立模块2013。
所述第一坐标系关系建立模块2011,用于使用传统的张正友标定法标定出相机坐标系Xc与机器人法兰坐标系XF之间的关系。
所述交点三维位置计算模块2012,用于通过相机图像检测激光面与标定板平面角点像素位置
Figure BDA0002844865250000131
结合标定板平面方程
Figure BDA0002844865250000132
计算得到激光面与标定板平面的交点三维位置
Figure BDA0002844865250000133
具体地,将标定板置于相机下,计算得到标定板的平面方程
Figure BDA0002844865250000134
其中Ncal为标定板平面方程参数。通过相机图像检测激光面与标定板平面角点像素位置
Figure BDA0002844865250000135
结合标定板平面方程
Figure BDA0002844865250000136
计算得到激光面与标定板平面的交点三维位置
Figure BDA0002844865250000137
其中i为取得点序号。固定激光线扫仪位置,移动标定板K次,共获取Np个激光平面与标定板的交点,序号i=1,2,…,Np,使用这Np个点拟合激光平面方程
Figure BDA0002844865250000138
其中NL=[nx,ny,nz,TL]T,XL=[xL,yL,zL,1]T,[nx,ny,nz]T为激光平面法向量。
所述第二坐标系关系建立模块2013,用于计算出激光平面坐标系与相机坐标系之间的旋转关系、激光平面与法兰之间的关系。
具体地,建立激光平面坐标系,激光平面坐标系x轴定义为其平面法向量Xaxis=[nx,ny,nz]T,将相机的z轴Zc=[0,0,1]T投影到激光平面上得到激光平面坐标系的z轴
Figure BDA0002844865250000141
其中(·)表示数学点乘;激光平面坐标系y轴为
Figure BDA0002844865250000142
其中
Figure BDA0002844865250000143
表示数学叉乘,将各轴单位化后得到激光平面坐标系与相机坐标系之间的旋转关系:
Figure BDA0002844865250000144
其中
Figure BDA0002844865250000145
分别为Xaxis,Yaxis,Zaxis的单位化向量。
激光平面坐标系的原点定义为相机原点Oc=[0,0,0]T投影在激光平面上的点并沿其Z轴移动距离L,
Figure BDA0002844865250000146
那么激光平面坐标系与其相机坐标系之间的关系为:
Xc=Mc2LXL+Tc2L
结合前面的相机与法兰之间的关系XF=RF2cXc+TF2c,计算得到激光平面与法兰之间的关系:
XF=RF2cXc+TF2c=RF2cRc2LXL+RF2cTc2L+TF2c=RF2LXL+TF2L
其中RF2L=RF2cRc2L,TF2L=RF2cTc2L+TF2c分别为激光平面坐标系到法兰之间的旋转矩阵及偏移量,将其定义为机器人的一个工具坐标系ToolL
所述实际焊缝位置获取单元202,用于引导机器人使用工具坐标系ToolL按照前述计算的当前目标的初始扫描路径进行线扫激光成像,获取焊缝三维信息,计算更新得到实际焊缝位置。
引导焊接系统30,用于根据示教机器人引导沿着所述实际焊缝位置移动。
激光引导系统40,用于检测所述实际焊缝位置控制移动控制焊枪进行焊接。
本申请实施例所述焊点追踪装置,通过使用3D目标识别系统10初始定位目标,计算出初始焊接路径;路径扫描焊缝系统20引导线扫激光沿初焊接始路径扫描焊缝,计算更新得到实际焊缝位置;引导焊接系统30根据示教机器人引导激光焊接系统沿着所述实际焊缝位置移动;根据激光引导系统40检测的所述实际焊缝位置移动控制焊枪进行焊接。使用本申请实施例所述焊点追踪装置能动态的获取当前目标的焊接位置与姿态;准确的引导机器人扫描焊缝获取焊缝3D信息,实现焊缝的精准焊接,且能处理较复杂的不规则变化的图形曲线焊缝操作。
实施例三:
根据本发明的一个实施例提供的一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述无线终端自动化调测方法中的步骤,具体步骤如实施例一中描述所述,在此不再赘述。
本实施例中的存储器可用于存储软件程序以及各种数据。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据手机的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
根据本实施例的一个示例,上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述程序可存储于一计算机可读取存储介质中,如本发明实施例中,该程序可存储于计算机系统的存储介质中,并被该计算机系统中的至少一个处理器执行,以实现包括如上述各方法的实施例的流程。该存储介质包括但不限于磁碟、优盘、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
以上参照附图说明了本发明的优选实施例,并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质,可以有多种变型方案实现本发明,比如作为一个实施例的特征可用于另一实施例而得到又一实施例。凡在运用本发明的技术构思之内所作的任何修改、等同替换和改进,均应在本发明的权利范围之内。

Claims (10)

1.一种焊点追踪方法,其特征在于,所述方法包括如下步骤:
使用3D目标识别系统初始定位目标,计算出初始焊接路径;
引导线扫激光沿初始焊接路径扫描焊缝,计算更新得到实际焊缝位置;
示教机器人引导激光焊接系统沿着所述实际焊缝位置移动;
根据激光引导系统检测的所述实际焊缝位置控制移动焊枪进行焊接。
2.根据权利要求1所述的焊点追踪方法,其特征在于,所述使用3D目标识别系统初始定位目标,计算出初始焊接路径包括:
使用3D目标识别系统定位目标的位置姿态;
基于模型的初始焊点位置和姿态,使用图形界面编辑生成焊接路径以及每个焊点位置的焊接姿态;
使用焊缝类型自动匹配系统来自动匹配每一小段焊缝的焊缝类型。
3.根据权利要求2所述的焊点追踪方法,其特征在于,所述使用3D目标识别系统定位目标的位置姿态包括:获取目标位置在世界坐标系中的坐标Xw;目标位置的模型坐标Xm;以及目标姿态旋转矩阵[Rw2m,Tw2m];
其中,Xw=Rw2mXm+Tw2m
4.根据权利要求2所述的焊点追踪方法,其特征在于,所述使用焊缝类型自动匹配系统来自动匹配每一小段焊缝的焊缝类型包括:
定义焊缝类型库WeldS={s1,s2,…,sN},其中si为定义的4进制序列焊缝类型,N为类型库大小,N为正整数;
在模型上沿焊接方向的切线方向取连续的点{p1,p2,…,pM},其中pi为取的三维点在模型上的三维坐标,M为取得的点数目;
设模型的Z方向垂直向上,定义局部焊点坐标系:
将三维坐标序列{p1,p2,…,pM}投影到局部焊点坐标系的XZ平面上;
将二维点序列
Figure FDA0002844865240000021
分段拟合直线{L1,L2,…,Lk},其中直线Li由序号从ni到ni+1-1的连续二维点拟合而成,计算得到分段直线的房线{g1,g2,…,gk},其中
Figure FDA0002844865240000022
表示使用拟合直线的首尾点计算的直向方向,从而计算得到焊缝类型的4进制表示序列;
S={φ(g1),φ(g2),…,φ(gk)}
其中,
Figure FDA0002844865240000023
为将变化方向x转换为4进制值;
从焊缝类型库WeldS匹配当前的焊缝类型序列S,如果失败可进行手工干预选择。
5.根据权利要求2-4任一项所述的焊点追踪方法,其特征在于,所述基于模型的初始焊点位置和姿态,使用图形界面编辑生成焊接路径以及每个焊点位置的焊接姿态包括:
预先定义在模型坐标系下的初始焊接点位置[x1,x2,…,xN]及姿态旋转矩阵[R1,R2,…,RN],其中N为初始焊点路径点个数;
在当前的识别位置为[Rw2m,Tw2m]时,焊点路径点的位置为
Figure FDA0002844865240000024
姿态旋转矩阵为
Figure FDA0002844865240000025
其中
Figure FDA0002844865240000026
6.根据权利要求1所述的焊点追踪方法,其特征在于,所述引导线扫激光沿初焊接始路径扫描焊缝,计算更新得到实际焊缝位置包括:
激光平面坐标系的建立;
引导机器人使用工具坐标系ToolL按照计算的当前目标的初始扫描路径进行线扫激光成像,获取焊缝三维信息,计算更新得到实际焊缝位置。
7.根据权利要求6所述的焊点追踪方法,其特征在于,所述激光平面坐标系的建立包括:
使用传统的张正友标定法标定出相机坐标系Xc与机器人法兰坐标系XF之间的关系;
通过相机图像检测激光面与标定板平面角点像素位置
Figure FDA0002844865240000031
结合标定板平面方程
Figure FDA0002844865240000032
计算得到激光面与标定板平面的交点三维位置
Figure FDA0002844865240000033
建议激光平面坐标系,并计算出激光平面坐标系与相机坐标系之间的旋转关系、激光平面与法兰之间的关系。
8.一种焊点追踪装置,其特征在于,包括3D目标识别系统、路径扫描焊缝系统、引导焊接系统以及激光引导系统;
所述3D目标识别系统;用于初始定位目标,计算出初始焊接路径;
所述路径扫描焊缝系统;用于引导线扫激光沿初路焊接始径扫描焊缝,计算更新得到实际焊缝位置;
引导焊接系统,用于根据示教机器人的引导沿着所述实际焊缝位置移动;
激光引导系统,用于检测所述实际焊缝位置控制移动焊枪进行焊接;
进一步地,所述3D目标识别系统包括目标位置定位单元、焊接路径生成单元以及焊缝类型匹配系统;
所述目标位置定位单元,用于定位目标的位置姿态;
所述焊接路径生成单元,用于基于模型的初始焊点位置和姿态,使用图形界面编辑生成焊接路径以及每个焊点位置的焊接姿态;
所述焊缝类型匹配系统,用于自动匹配每一小段焊缝的焊缝类型。
9.根据权利要求7所述的焊点追踪装置,其特征在于,所述路径扫描焊缝系统包括激光平面坐标系的建立单元以及实际焊缝位置获取单元;
所述激光平面坐标系建立单元,用于建立激光平面坐标系;
所述实际焊缝位置获取单元,用于引导机器人使用工具坐标系ToolL按照前述计算的当前目标的初始扫描路径进行线扫激光成像,获取焊缝三维信息,计算更新得到实际焊缝位置。
10.一种计算机可读存储介质,其特征在于,包括处理器、计算机可读存储介质以及在所述计算机可读存储介质上存储的计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法中的步骤。
CN202011505694.6A 2020-12-18 2020-12-18 一种焊点追踪方法、装置及存储介质 Active CN112620926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011505694.6A CN112620926B (zh) 2020-12-18 2020-12-18 一种焊点追踪方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011505694.6A CN112620926B (zh) 2020-12-18 2020-12-18 一种焊点追踪方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112620926A true CN112620926A (zh) 2021-04-09
CN112620926B CN112620926B (zh) 2022-10-21

Family

ID=75317143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011505694.6A Active CN112620926B (zh) 2020-12-18 2020-12-18 一种焊点追踪方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112620926B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114012323A (zh) * 2021-11-30 2022-02-08 成都卡诺普机器人技术股份有限公司 一种基于激光移位传感器的箱体拼接边缘焊缝实时识别方法
CN115351482A (zh) * 2022-08-31 2022-11-18 深圳前海瑞集科技有限公司 焊接机器人的控制方法、装置、焊接机器人及存储介质
CN115709331A (zh) * 2022-11-23 2023-02-24 山东大学 基于目标检测的焊接机器人全自主视觉引导方法及系统
CN115846868A (zh) * 2022-11-26 2023-03-28 李氏明进(佛山)新材料科技有限公司 具有焊缝跟踪功能的门窗激光焊接方法及系统
CN116652335A (zh) * 2023-06-21 2023-08-29 济南二机床集团有限公司 一种波纹板焊接的工作方法及焊接机器人
CN118237822A (zh) * 2024-04-30 2024-06-25 风凯换热器制造(常州)有限公司 一种用于换热器组件的焊接方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105716527A (zh) * 2016-04-18 2016-06-29 中国计量学院 激光焊缝跟踪传感器标定方法
CN106056620A (zh) * 2016-06-13 2016-10-26 西南科技大学 用于线激光位置标定的标定板及线激光相机测量系统标定方法
CN111745266A (zh) * 2020-06-09 2020-10-09 宝冠科技(苏州)有限公司 基于3d视觉寻位的瓦楞板焊接轨迹生成方法及系统
CN111745267A (zh) * 2020-08-14 2020-10-09 湘潭大学 一种基于激光位移传感器的坡口焊缝实时跟踪系统及方法
CN112847353A (zh) * 2020-12-31 2021-05-28 华南理工大学 一种基于离线编程软件的多段焊缝轨迹修正方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105716527A (zh) * 2016-04-18 2016-06-29 中国计量学院 激光焊缝跟踪传感器标定方法
CN106056620A (zh) * 2016-06-13 2016-10-26 西南科技大学 用于线激光位置标定的标定板及线激光相机测量系统标定方法
CN111745266A (zh) * 2020-06-09 2020-10-09 宝冠科技(苏州)有限公司 基于3d视觉寻位的瓦楞板焊接轨迹生成方法及系统
CN111745267A (zh) * 2020-08-14 2020-10-09 湘潭大学 一种基于激光位移传感器的坡口焊缝实时跟踪系统及方法
CN112847353A (zh) * 2020-12-31 2021-05-28 华南理工大学 一种基于离线编程软件的多段焊缝轨迹修正方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114012323A (zh) * 2021-11-30 2022-02-08 成都卡诺普机器人技术股份有限公司 一种基于激光移位传感器的箱体拼接边缘焊缝实时识别方法
CN115351482A (zh) * 2022-08-31 2022-11-18 深圳前海瑞集科技有限公司 焊接机器人的控制方法、装置、焊接机器人及存储介质
CN115709331A (zh) * 2022-11-23 2023-02-24 山东大学 基于目标检测的焊接机器人全自主视觉引导方法及系统
CN115846868A (zh) * 2022-11-26 2023-03-28 李氏明进(佛山)新材料科技有限公司 具有焊缝跟踪功能的门窗激光焊接方法及系统
CN116652335A (zh) * 2023-06-21 2023-08-29 济南二机床集团有限公司 一种波纹板焊接的工作方法及焊接机器人
CN118237822A (zh) * 2024-04-30 2024-06-25 风凯换热器制造(常州)有限公司 一种用于换热器组件的焊接方法及系统
CN118237822B (zh) * 2024-04-30 2024-08-13 风凯换热器制造(常州)有限公司 一种用于换热器组件的焊接方法及系统

Also Published As

Publication number Publication date
CN112620926B (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
CN112620926B (zh) 一种焊点追踪方法、装置及存储介质
US8706300B2 (en) Method of controlling a robotic tool
CN114474041B (zh) 一种基于协作机器人的焊接自动化智能引导方法及系统
CN110064819B (zh) 基于结构光的柱面纵向焊缝特征区域提取、焊缝跟踪方法及系统
CN113894481B (zh) 复杂空间曲线焊缝的焊接位姿调整方法及装置
CN112958959A (zh) 一种基于三维视觉的自动化焊接和检测方法
CN113787245B (zh) 一种机器人智能焊接程序生成方法及系统
JP6869159B2 (ja) ロボットシステム
US20220297241A1 (en) Repair welding device and repair welding method
CN111687515A (zh) 大型钢构智能焊接引导系统
CN115383256A (zh) 自动焊接方法、装置以及系统
US11247288B2 (en) Welding position detection device, welding position detection method, and welding robot system
CN113579601A (zh) 一种焊道的定位方法、装置、焊接机器人和存储介质
CN110893525B (zh) 焊接工件的焊接区域识别方法、计算机装置及计算机可读存储介质
JP7183372B1 (ja) マーカ検出装置及びロボット教示システム
CN116901079A (zh) 一种基于扫描仪视觉引导的机器人路径规划系统和方法
JP3368492B2 (ja) 溶接線検出方法およびその装置並びに溶接装置
CN114770520A (zh) 机器人焊接轨迹及姿态的规划方法
CN117444988B (zh) 在空间定位有误差情况下确认焊缝真实起点和终点的方法
CN113523501B (zh) 智能焊接方法
US20230398687A1 (en) Method for generating movement route of robot, movement route generation apparatus, robot system, and program
US20240066701A1 (en) Simulation device using three-dimensional position information obtained from output from vision sensor
CN117182264A (zh) 焊接角度校正设备
CN118081192A (zh) 一种焊接机器人的焊接姿态自动调节方法及机器人
CN117532612A (zh) 采用多种结构光相机实现工业机器人末端路径自动规划装备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant