CN108555423A - 三维焊缝自动识别装置及方法 - Google Patents

三维焊缝自动识别装置及方法 Download PDF

Info

Publication number
CN108555423A
CN108555423A CN201810041283.2A CN201810041283A CN108555423A CN 108555423 A CN108555423 A CN 108555423A CN 201810041283 A CN201810041283 A CN 201810041283A CN 108555423 A CN108555423 A CN 108555423A
Authority
CN
China
Prior art keywords
welding
welded
phase
image
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810041283.2A
Other languages
English (en)
Other versions
CN108555423B (zh
Inventor
孙坚
王凯
徐红伟
钟邵俊
陆城炜
邹睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN201810041283.2A priority Critical patent/CN108555423B/zh
Publication of CN108555423A publication Critical patent/CN108555423A/zh
Application granted granted Critical
Publication of CN108555423B publication Critical patent/CN108555423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/32Accessories
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种三维焊缝自动识别装置及方法。传送带以恒定速度将待焊接的工件送至投影范围内,触发光电传感器,工控机控制电机停止运行,投影仪投射光图案,工业相机进行图像采集,通过相位测量轮廓术进行三维重建得到焊缝三维信息的表面模型并输出至工业控制计算机进行处理,处理得到待焊接焊缝的三维坐标信息并发送给焊接机器人,待焊接工件到达指定位置,工控机控制电机停止运行,机器人进行焊接。本发明通过先扫描后焊接的方式,避免了传统线结构光焊接机器人在焊接时产生的强烈的弧光、高温辐射、电磁干扰、烟尘飞溅对焊缝位置信息检测的影响。提高了焊接的精度,减少了人工焊接的成本,大大的提升了流水线焊接的效率。

Description

三维焊缝自动识别装置及方法
技术领域
本发明涉及三维信息处理装置方法,尤其是涉及了一种三维焊缝自动识别装置及方法。
背景技术
随着工业技术的不断进步,焊接技术成为一种重要的金属热加工技术广泛应用于机械、材料等行业且对焊接质量要求越来高。传统的人工焊接,焊接人员技术水平、责任感、疲劳程度等个体因素差异很大,很难保证焊接质量的稳定。因而为了保证产品的焊接品质,减少人为因素的影响,焊接自动化是未来焊接的主要发展方向。目前国内外采用的焊接机器人大多为可编程的示教再现式机器人,装配一些视觉传感器后有一定的环境感知能力,但工作方式基本上还是示教再现。但是它也存以下缺点:1、视觉传感器容易受强烈的弧光、高温辐射、电磁干扰、烟尘飞溅干扰,导致测量误差。2、操作者必须在工作现场进行操作,机器人以示教再现方式工作,它只能重复输入指令,对于在实际工作过程中发生的变化,例如工件加工的尺寸偏差、夹持的位置偏差等,都无法精确的进行焊接,适用于大批量简单焊接过程。对于单件或混合产品的批量生产,示教过程的反复进行,会浪费大量的人力物力。
发明内容
鉴于上述背景技术的不足,本发明的目的在于提供了一种三维焊缝自动识别装置及方法,将传送带、工控机、焊接机器人等设备结合三维重建原理,实现自动识别待焊接工件的焊缝,提高焊接效率。
为了达到上述目的,如图1所示,本发明采用技术方案是:
本发明包括一台DLP投影仪、一台CCD工业相机、一台焊接机器人、一条传送带、一个伺服电机和两个光电传感器;传送带一端的带轮连接伺服电机,待焊接工件置于传送带上,由伺服电机带动传送带工作运送待焊接工件;传送带入口侧上方设有CCD工业相机和DLP投影仪,传送带的出口侧上方设有焊枪,焊枪连接焊接机器人,由焊接机器人控制焊枪移动对焊接工件进行焊接;焊枪和DLP投影仪之间布置有用于感知焊接工件位置的第一光电传感器和第二光电传感器。
还包括一台工业控制计算机和一台PLC控制器,伺服电机经PLC控制器与工业控制计算机连接,焊接机器人、CCD工业相机、DLP投影仪、第一光电传感器和第二光电传感器均连接到工业控制计算机。
所述的待焊接工件表面上有待焊接缝隙,通过焊枪移动待焊接缝隙上进行焊接。
所述的投影仪用于投影具有编码信息的光栅图案图像,光栅图案图像为黑白相间条纹且条纹宽度依据编码信息设定的图像。
二、一种三维焊缝自动识别方法,方法的步骤是:
步骤Ⅰ)对工业相机和投影仪进行标定,根据标定结果建立相机坐标系,然后对相机坐标系进行旋转和平移后转换建立机器人坐标系;
步骤Ⅱ)工件放置在传送带上,沿传送带运输,当待焊接工件到达指定位置时,工控机控制电机停止运行,并控制投影仪向工件表面投影四幅带有不同编码信息的光栅图案图像,相机分别采集四幅光栅图案图像投影下的工件表面图像和一幅正常图像,经过光栅图案图像投影的工件表面具有变形光栅图案,并发送给工控机进行处理,根据相位测量轮廓术对工件表面进行三维重建;
步骤Ⅲ)对拍摄到的待焊接工件表面图像进行图像处理,得到待焊接缝隙的中心曲线二维坐标;
步骤Ⅳ)在图像中找出该中心线(中心线无高度信息),根据中心曲线的法向量沿中心曲线每间隔固定距离插入一个切平面;
步骤Ⅴ)每个切平面与表面三维模型相交,相交处为存在一条线段,取线段的最低点作为待焊接点,连接各个切平面对应的待焊接点并拟合为曲线获得待焊接缝隙的焊接路径,用焊枪沿着获得的焊接路径对待焊接缝隙进行焊接操作。
所述步骤Ⅰ)中,对工业相机和投影仪进行内外参数标定作为系统参数,对相机坐标系进行旋转和平移后转换建立机器人坐标系,计算出相机坐标系和机器人坐标系之间的旋转矩阵和平移矩阵,并进行系统几何参数标定。
本装置中,工业相机和焊接机器人属于Eye-to-Hand系统。通过坐标系的变换,相机坐标系转换为机器人坐标系,通过光电传感器,确定工件的位置信息,三维重建后的三维坐标信息可直接供机器人使用。
所述步骤Ⅱ)中,通过相位测量轮廓术进行三维重建,使用经过编码的光栅图案图像投影到物体上,物体表面的深度信息被调制到相机拍摄到的工件表面图像中,通过在标定板上投射光栅图案图像获得相机成像点和光栅投影点的对应关系,相机成像点为物体上的点对应到工件表面图像上相同位置的点,光栅投影点为物体上的点对应到光栅图案上相同位置的点,将对应点代入依据三角测量原理建立的物相关系中,计算出所有成像点的深度,从而重建出物体的三维面形;具体步骤如下:
步骤1)相位测量:利用四步相移算法,将四幅光栅图案图像投影到待焊接工件表面,四幅光栅图案图像的相移分别为:0、π/2、π和3π/2,对每个像素点的相位主值进行求解:
四幅光栅图案图像的光强表达式分别为:
Ii(x,y)=a0+b0cos[φ(x,y)+δi]
其中,Ii(x,y)表示四幅不同相移光栅图案图像中像素点(x,y)的光强值,i=1,2,3,4,i表示相移序数标记,i=1,2,3,4分别代表了相移0、π/2、π和3π/2,δi表示图像光栅的相移,i=1,2,3,4的δi分别为0、π/2,π,3π/2,a0表示图像的平均灰度,b0表示投影仪投射的光栅图案图像的光强幅值,φ(x,y)表示像素点(x,y)的相位主值;
根据光强表达式采用以下公式计算出像素点(x,y)的相位主值:
步骤2)相位展开算法:通过相移算法得出的相位主值在全场测量域内呈周期性变化(0~2π),再采用时间相位展开算法展开成全场范围内的全局相位得到绝对相位主值,以进行相位-高度映射;
步骤3)相位-高度映射:通过在白色标定板上投射光栅图案图像,建立相机图像和光栅图案图像的对应关系,通过预先标定的系统参数以及步骤2)得到的绝对相位主值,对每个点的高度值进行计算,得到三维坐标。
所述步骤Ⅲ)中具体是利用图像处理的方法,首先对工件表面的图像进行边缘提取,再进行锐化操作,得到待焊接缝隙两侧的两条边缘曲线,通过中间值的方法求出两条边缘曲线之间的中心曲线的二维坐标。
所述步骤Ⅳ)插入的切平面平行于中心曲线的法向量且垂直于传送带所在平面,由此可确定一个唯一确定的切平面。优选地,沿中心曲线每隔2mm插入一个切平面。
本发明的有益效果:
本发明在焊接领域运用先进的三维重建方法,通过对扫描得到的三维点云的处理,得到焊缝的实际坐标。
本发明能自动识别焊缝坐标,用焊接机器人自动焊接,在实际生产过程中可用于焊接带有多条复杂缝隙的待焊接工件,并且通过验证其精度满足实际焊接需求。
本发明通过先扫描后焊接的方式,避免了传统线结构光焊接机器人在焊接时产生的强烈弧光、高温辐射、电磁干扰、烟尘飞溅对焊缝位置信息检测的影响。提高了焊接的精度,减少了人工焊接的成本,大大的提升了流水线焊接的效率。
附图说明
图1是本发明的结构示意图。
图2是焊缝坐标提取算法流程图。
图3是三维重建系统原理图。
图4是实施例的待焊接工件表面模型图。
图5为本发明根据中心曲线的法向量建立的切平面示意图。
图6为本发明根据切平面选取相交线段的最低点示意图。
图7-9为本发明对检测到的焊缝三维数据进行验证的示意图,分别为直线焊缝、曲线焊缝、折线焊缝。
图1中:1、工业控制计算机,2、焊接机器人,3、传送带,4、焊枪,5、第二光电传感器,6、第一光电传感器,7、待焊接工件,8、DLP投影仪,9、伺服电机,10、PLC控制器,11、带镜头CCD相机。
具体实施方式
下面结合附图和实施例及对本发明作进一步的说明。
如图1所示,本发明具体实施包括一台DLP投影仪8、一台CCD工业相机11、一台焊接机器人2、一条传送带3、一个伺服电机9和两个光电传感器5、6;传送带3一端的带轮连接伺服电机9,待焊接工件7置于传送带3上,由伺服电机9带动传送带3工作运送待焊接工件7;传送带3入口侧上方设有CCD工业相机11和DLP投影仪8,传送带3的出口侧上方设有焊枪4,焊枪4连接焊接机器人2,由焊接机器人2控制焊枪4移动对焊接工件7进行焊接;焊枪4和DLP投影仪8/CCD工业相机11之间布置有用于感知焊接工件7位置的第一光电传感器6和第二光电传感器5。
如图1所示,还包括一台工业控制计算机1和一台PLC控制器10,伺服电机9经PLC控制器10与工业控制计算机1连接,焊接机器人2、CCD工业相机11、DLP投影仪8、第一光电传感器6和第二光电传感器5均连接到工业控制计算机1。
具体实施中,CCD工业相机11垂直传送带3平面拍摄。DLP投影仪8出瞳中心和CCD工业相机11成像入瞳中心在同一平面。DLP投影仪8位于传送带3侧面,向传送带3投影光栅图案图像。DLP投影仪8用于投影具有编码信息的光栅图案图像,光栅图案图像为黑白相间条纹且条纹宽度依据编码信息设定的图像。
本发明装置的工作过程是:
当待焊接工件7由传送带3运输到达传送带3的中间位置时,光电传感器6发送信号给工控机1,工控机1控制伺服电机9停止运行,并控制投影仪8依次投影四幅带不同编码信息的光栅图案图像和一幅正常图像,工业相机11采集四幅光栅图案图像照射下的工件表面图像和一幅正常图像,并发送给工控机1进行处理。工控机1根据相移测量轮廓术对工件表面进行三维重建,并用焊缝识别算法得到焊缝三维信息。
拍摄完成后工控机1收到工业相机11的结束信号,给电机9发送启动信号,传送带3继续运行。
当待焊接工件7到达焊枪4下方位置,光电传感器5发送动作信号给工控机1,工控机1控制电机9停止工作,并发送动作信号给焊接机器人2。焊接机器人2根据工控机1处理后得到的焊缝三维信息,控制焊枪4按焊缝三维信息中的焊接路径进行焊接操作。待操作完成之后焊接机器人2发送结束信号给工控机1。工控机1接收到结束信号,控制电机9继续工作,传送带3继续传动。
如图2所示,本发明的具体实施识别处理过程如下:
步骤Ⅰ)对工业相机、投影仪进行内外参数标定,对相机坐标系和投影仪坐标系进行旋转和平移后转换成机器人坐标系,计算出相应的旋转矩阵和平移矩阵。并进行系统几何参数标定。
相机的标定:世界坐标系为(Xw,Yw,Zw)、相机坐标系为(Xc,Yc,Zc)、图像像素坐标系为(u,v)和物体坐标系为(x,y)。假设空间内任意一点p的三维坐标在世界坐标系和相机坐标系下分别为(xw,yw,zw)和(xc,yc,zc),它在相机成像平面上的投影点为(u,v),则它们的透视投影几何关系可表示为:
其中,(u0,v0)表示像平面的中点坐标,sx=f/dx,sy=f/dy,其中f为相机焦距,dx为像素宽度,dy为像素高度。
相机坐标系与世界坐标系的转换关系为:
其中,R和T分别为从世界坐标系到摄像机坐标系的旋转和平移变换,R是一个3×3的正交矩阵,T是一个3×1的平移向量。
下表为实验中所取得部分数据点在相应相机坐标系和机器人坐标系下的坐标。
表1部分数据点在相机坐标系和机器人坐标系下的坐标
相机坐标系 机器人坐标系
1 (85.6655,774.7977,77.2381) (448.12,5578.36,178.62)
2 (75.8445,48.4935,88,7462) (433.59,576.02,173.26)
3 (81.5698,44.8569,96.1254) (437.82,568.39,167.23)
4 (99.1684,52.8549,110.854) (441.14,543.56,167.02)
5 (102.5692,37.3025,116.5894) (450.69,543.84,163.59)
6 (95.2589,24.5249,119.5987) (449.72,551.68,140.31)
7 (87.2256,36.4852,120.3560) (436.28,551.23,146.08)
8 (89.5482,-16.5923,145.2561) (457.35,554.08,88.25)
9 (68.2446,-15.2965,139.2564) (433.69,556.24,79.94)
10 (80.7459,33.2689,139.2905) (425.98,543.29,131.39)
在标定过程中,对100组测试数据分别求出相机坐标系和机器人坐标系,对100组相机坐标系与世界坐标系的转换关系求出最优解。对每一个关系矩阵求实际坐标与计算机坐标差的范数值。范数值最小的那组解得的相机坐标系与世界坐标系的转换矩阵为:
由(1.1)(1.2)可知,p点在世界坐标系下的坐标(Xw,Yw,Zw)与其投影点坐标(u,v)的投影关系:
其中,ax=f×sx,ay=f×sy,上式可简写为:s表示尺度因子,分别表示空间点P和其像点的齐次坐标,ax和ay分别表示f×sx和f×sy的值,M表示投影矩阵,[R t]为外部参数矩阵,A为内部参数矩阵:
投影仪的标定:生成一组与相机标定板相对应的图像,使用MATLAB标定工具箱对投影仪进行标定。标定过程中使用12个不同方向拍摄标定板,从而得到投影仪的内部参数矩阵。
经过对相机和投影仪内部参数的标定,还需对两者外部参数进行定,即两者对世界坐标系的位置关系。此关系可表示为:
Xc=McXw (1.6)
Xp=MpXw (1.7)
其中,Xc={xc,yc,zc}T,Xp={xp,yp,zp}T,Xw={xw,yw,zw}T,分别为点P在相机、投影仪和世界坐标系下的坐标,Mc=[Rc,tc]和Mp=[Rp'tp]为从相机坐标系和投影仪坐标系到世界坐标系的转换关系,分别包括旋转变换和平移变换,上述参数同样可以使用MATLAB相机标定工具箱计算得到。
系统几何参数标定:如图3,通过相位计算物体高度时,需要系统几何参数(L,d,p),其中p为光栅条纹的投影周期,d为投影仪出瞳中心P和相机成像系统入瞳孔中心C之间的距离,L为它们的连线与参考面之间的距离。由于参数与相机投影仪光心位置有关,而光心位置又是一个假想的空间点,由此无法直接对它们进行测量。
因此,采用六个已知高度的物体进行测量,列出求解方程,联立方程求出参数,采用最小二乘法让误差最小就可以对参数进行标定。
综上所述,相机和投影仪的标定实际上是确定内参和外参的过程。在标定完摄像机内外参数之后,可指定任意一个坐标系作为摄像机的世界坐标系。考虑到Eye-to-Hand系统中相机和机器人的相对位置固定,所以采用机器人的本体坐标系作为摄像机的外参数,通过上述标定过程,即可完成相机坐标系到机器人坐标系的转换。
步骤Ⅱ)将如图4所示的工件放置在传送带上,沿传送带运输,当待焊接工件到达指定位置时,工控机(1)控制电机停止运行,并控制投影仪向工件表面投影四幅带有不同编码信息的光栅图案图像,相机(11)分别采集四幅光栅图案图像投影下的工件表面图像和一幅正常图像,经过光栅图案图像投影的工件表面具有变形光栅图案,并发送给工控机(1)进行处理,根据相位测量轮廓术对工件表面进行三维重建。三维重建步骤如下:
步骤1)相位测量:利用四步相移算法,将四幅光栅图案图像投影到待焊接工件表面,对每个像素点相位主值进行求解,四幅光栅图案图像的相移分别为:0、π/2、π和3π/2,其光强表达式分别为:
Ii(x,y)=a0+b0cos[φ(x,y)+δi] (1.8)
其中,Ii(x,y)表示四幅不同相移光栅图案图像中像素点(x,y)的光强值,i=1,2,3,4,i表示相移序数标记,i=1,2,3,4分别代表了相移0、π/2、π和3π/2,δi表示图像光栅的相移,i=1,2,3,4的δi分别为0、π/2,π,3π/2,a0表示图像的平均灰度,b0表示投影仪投射的光栅图像图像的光强幅值,φ(x,y)表示像素点(x,y)的相位主值。a0通过图像处理的方式得出,b0为自定义的正弦光栅图像的光强幅值。
根据光强表达式采用以下公式计算出光栅图案的相位主值:
步骤2)相位展开算法:通过相移算法得出的相位主值在全场测量域内呈周期性变化(0~2π),再采用时间相位展开算法展开成全场范围内的全局相位得到绝对相位主值,以进行相位-高度映射;
步骤3)相位-高度映射:通过在白色标定板上投射光栅图案图像,建立相机图像和光栅图案图像的对应关系,通过预先标定的系统参数以及步骤2)得到的绝对相位主值,对每个点的高度值进行计算,得到三维坐标。
如图3所示是三维重建系统的结构原理图,投影仪出瞳中心P和相机成像系统入瞳中心C之间的距离为d,他们的连线与参考面之间的距离为L。相机的视场为FW。正交坐标系的XOY平面与参考平面重合,Y轴垂直于XOZ平面与X轴交于O点,Z轴平行于成像透镜光轴。投射光栅交于物体表面点H。PH与草考面交于点A,CH与参考面交与点B,AB两点之间距离表示为
物体表面点H相对于参考面的高度为h(x,y),由于三角形PHC与三角形BHA相似,可以得到:
绝对相位主值表示为之间存在如下关系:
其中,f=1/p是投影到参考面上光栅条纹的空间频率,p为投影周期。将上式代入到式(1.10)中,可以得到:
由上式可以看出,只要得到绝对相位主值和投影周期p,并通过标定得到系统几何参数L,d,就可以计算出目标点的高度值,实现三维重建。
步骤Ⅲ)通过步骤Ⅱ)采集到工件表面图片,对图片进行预处理,边缘提取,锐化操作等一系列图像处理,得到待焊接缝隙的边缘曲线。取两条边缘曲线上位于相同顺序位置的两个边缘点之间的中点,连接各个中点形成中心曲线。得到待焊接缝隙的中心曲线二维坐标。
步骤Ⅳ)根据中心曲线的法向量沿中心曲线每间隔距离插入一个切平面;切平面平行于中心曲线的法向量且垂直于传送带所在平面。
在实际焊接过程中,2mm焊接一个点能满足焊接的要求,故在插入切平面时,每2mm插入一个平面,如图5所示。
切平面与工件表面模型的相交于一条曲线线段上,曲线线段上的最低点就是待焊接缝隙的最低点,待焊接缝隙为如图4所示下凹结构,最低点是焊枪需要到达进行焊接的点,即图6中Q点。
每2mm取一个点,将所有的点都记录在数据库中,传送至工控机储存,当工件到达焊接区域,工控机通过串口通信,将此数据发送给焊接机器人,焊接机器人根据数据库中的三维坐标信息进行焊接操作。
步骤Ⅴ)每个切平面与表面三维模型相交,相交处为存在一条线段,取线段的最低点作为待焊接点,连接各个切平面对应的待焊接点并拟合为曲线获得待焊接缝隙的焊接路径,用焊枪沿获得的焊接路径进行焊接待焊接缝隙。
应用本发明的方法,对结果进行验证。如图7-9,输出检测出三种焊缝的三维坐标,导入软件Imageware中显示,白色为检测到的焊缝路径。经验证,通过三维焊缝识别算法得到的焊缝三维数据点准确,能满足实际焊接需求。

Claims (9)

1.一种三维焊缝自动识别装置,其特征在于:包括一台DLP投影仪(8)、一台CCD工业相机(11)、一台焊接机器人(2)、一条传送带(3)、一个伺服电机(9)和两个光电传感器(5、6);传送带(3)一端的带轮连接伺服电机(9),待焊接工件(7)置于传送带(3)上,由伺服电机(9)带动传送带(3)工作运送待焊接工件(7);传送带(3)入口侧上方设有CCD工业相机(11)和DLP投影仪(8),传送带(3)的出口侧上方设有焊枪(4),焊枪(4)连接焊接机器人(2),由焊接机器人(2)控制焊枪(4)移动对焊接工件(7)进行焊接;焊枪(4)和DLP投影仪(8)之间布置有用于感知焊接工件(7)位置的第一光电传感器(6)和第二光电传感器(5)。
2.根据权利要求1所述的一种三维焊缝自动识别装置,其特征在于:
还包括一台工业控制计算机(1)和一台PLC控制器(10),伺服电机(9)经PLC控制器(10)与工业控制计算机(1)连接,焊接机器人(2)、CCD工业相机(11)、DLP投影仪(8)、第一光电传感器(6)和第二光电传感器(5)均连接到工业控制计算机(1)。
3.根据权利要求1所述的一种三维焊缝自动识别装置,其特征在于:
所述的待焊接工件(7)表面上有待焊接缝隙,通过焊枪(4)移动待焊接缝隙上进行焊接。
4.根据权利要求1所述的一种三维焊缝自动识别装置,其特征在于:
所述的投影仪(8)用于投影具有编码信息的光栅图案图像,光栅图案图像为黑白相间条纹且条纹宽度依据编码信息设定的图像。
5.应用于权利要求1所述装置的一种三维焊缝自动识别方法,其特征在于方法的步骤是:
步骤Ⅰ)对工业相机和投影仪进行标定,根据标定结果建立相机坐标系,然后对相机坐标系进行旋转和平移后转换建立机器人坐标系;
步骤Ⅱ)工件放置在传送带上,沿传送带运输,当待焊接工件到达指定位置时,工控机(1)控制电机停止运行,并控制投影仪向工件表面投影四幅带有不同编码信息的光栅图案图像,相机(11)分别采集四幅光栅图案图像投影下的工件表面图像和一幅正常图像,并发送给工控机(1)进行处理,根据相位测量轮廓术对工件表面进行三维重建;
步骤Ⅲ)对拍摄到的待焊接工件表面图像进行图像处理,得到待焊接缝隙的中心曲线二维坐标;
步骤Ⅳ)在图像中找出该中心线,根据中心曲线的法向量沿中心曲线每间隔固定距离插入一个切平面;
步骤Ⅴ)每个切平面与表面三维模型相交,相交处为存在一条线段,取线段的最低点作为待焊接点,连接各个切平面对应的待焊接点并拟合为曲线获得待焊接缝隙的焊接路径,用焊枪沿着获得的焊接路径对待焊接缝隙进行焊接操作。
6.根据权利要求5所述的一种三维焊缝自动识别方法,其特征在于:
所述步骤Ⅰ)中,对工业相机和投影仪进行内外参数标定作为系统参数,对相机坐标系进行旋转和平移后转换建立机器人坐标系,计算出相机坐标系和机器人坐标系之间的旋转矩阵和平移矩阵。
7.根据权利要求5所述的一种三维焊缝自动识别方法,其特征在于:
所述步骤Ⅱ)中,通过相位测量轮廓术进行三维重建,使用经过编码的光栅图案图像投影到物体上,物体表面的深度信息被调制到相机拍摄到的工件表面图像中,通过在标定板上投射光栅图案图像获得相机成像点和光栅投影点的对应关系,相机成像点为物体上的点对应到工件表面图像上相同位置的点,光栅投影点为物体上的点对应到光栅图案上相同位置的点,将对应点代入依据三角测量原理建立的物相关系中,计算出所有成像点的深度,从而重建出物体的三维面形;具体步骤如下:
步骤1)相位测量:利用四步相移算法,将四幅光栅图案图像投影到待焊接工件表面,四幅光栅图案图像的相移分别为:0、π/2、π和3π/2,对每个像素点的相位主值进行求解:
四幅光栅图案图像的光强表达式分别为:
Ii(x,y)=a0+b0cos[φ(x,y)+δi]
其中,Ii(x,y)表示四幅不同相移光栅图案图像中像素点(x,y)的光强值,i=1,2,3,4,i表示相移序数标记,i=1,2,3,4分别代表了相移0、π/2、π和3π/2,δi表示图像光栅的相移,i=1,2,3,4的δi分别为0、π/2,π,3π/2,a0表示图像的平均灰度,b0表示投影仪投射的光栅图案图像的光强幅值,φ(x,y)表示像素点(x,y)的相位主值;
根据光强表达式采用以下公式计算出像素点(x,y)的相位主值:
步骤2)相位展开算法:通过相移算法得出的相位主值在全场测量域内呈周期性变化(0~2π),再采用时间相位展开算法展开成全场范围内的全局相位得到绝对相位主值,以进行相位-高度映射;
步骤3)相位-高度映射:通过在白色标定板上投射光栅图案图像,建立相机图像和光栅图案图像的对应关系,通过预先标定的系统参数以及步骤2)得到的绝对相位主值,对每个点的高度值进行计算,得到三维坐标。
8.根据权利要求5所述的一种三维焊缝自动识别方法,其特征在于:
所述步骤Ⅲ)中具体是利用图像处理的方法,首先对工件表面的图像进行边缘提取,再进行锐化操作,得到待焊接缝隙两侧的两条边缘曲线,通过中间值的方法求出两条边缘曲线之间的中心曲线的二维坐标。
9.根据权利要求5所述的一种三维焊缝自动识别方法,其特征在于:
所述步骤Ⅳ)插入的切平面平行于中心曲线的法向量且垂直于传送带所在平面。
CN201810041283.2A 2018-01-16 2018-01-16 三维焊缝自动识别装置及方法 Active CN108555423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810041283.2A CN108555423B (zh) 2018-01-16 2018-01-16 三维焊缝自动识别装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810041283.2A CN108555423B (zh) 2018-01-16 2018-01-16 三维焊缝自动识别装置及方法

Publications (2)

Publication Number Publication Date
CN108555423A true CN108555423A (zh) 2018-09-21
CN108555423B CN108555423B (zh) 2024-03-15

Family

ID=63530837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810041283.2A Active CN108555423B (zh) 2018-01-16 2018-01-16 三维焊缝自动识别装置及方法

Country Status (1)

Country Link
CN (1) CN108555423B (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109093263A (zh) * 2018-10-26 2018-12-28 武汉华工激光工程有限责任公司 一种激光打标设备
CN109579718A (zh) * 2019-01-09 2019-04-05 广州市顶丰自动化设备有限公司 焊缝参数的检测方法、装置、计算机设备和存储介质
CN109903279A (zh) * 2019-02-25 2019-06-18 北京深度奇点科技有限公司 焊缝运动轨迹的自动示教方法和装置
CN109945810A (zh) * 2019-04-04 2019-06-28 深圳市英威腾电气股份有限公司 一种提高色标检测精度的方法及控制器
CN110142533A (zh) * 2019-05-23 2019-08-20 深圳市科瑞悦电气设备有限公司 一种基于机器视觉与ai算法的自动焊接方法及焊接装置
CN110153584A (zh) * 2019-06-10 2019-08-23 江苏集萃微纳自动化系统与装备技术研究所有限公司 基于图形显卡加速的快速工件焊接方法
CN110315312A (zh) * 2019-08-07 2019-10-11 江苏汇博机器人技术股份有限公司 基于结构光的实训用自动装配装置
CN110524582A (zh) * 2019-09-16 2019-12-03 西安中科光电精密工程有限公司 一种柔性组对焊接机器人工作站
CN110721927A (zh) * 2019-10-18 2020-01-24 珠海格力智能装备有限公司 基于嵌入式平台的视觉检测系统、方法及装置
CN111230259A (zh) * 2018-11-29 2020-06-05 南京理工大学 非平整面自主识别机器人增材制造成形精度控制装置
CN111489436A (zh) * 2020-04-03 2020-08-04 北京博清科技有限公司 一种焊缝三维重建方法、装置、设备及存储介质
CN111709083A (zh) * 2020-04-30 2020-09-25 广州文冲船厂有限责任公司 一种焊接方位的判别方法
CN112414304A (zh) * 2020-11-18 2021-02-26 天津科技大学 基于激光光栅投射的焊后焊缝表面三维测量方法
CN112834505A (zh) * 2020-12-31 2021-05-25 芜湖哈特机器人产业技术研究院有限公司 管道工件涂膏的焊缝三维视觉检测定位装置及其检测定位方法
CN112846577A (zh) * 2020-12-25 2021-05-28 郑智宏 一种提升焊接自动化的方法
CN113223071A (zh) * 2021-05-18 2021-08-06 哈尔滨工业大学 一种基于点云重建的工件焊缝定位的方法
CN113333998A (zh) * 2021-05-25 2021-09-03 绍兴市上虞区武汉理工大学高等研究院 一种基于协作机器人的自动化焊接系统及方法
CN113643372A (zh) * 2021-10-18 2021-11-12 中国科学院自动化研究所 一种三维焊缝提取方法及系统
CN113639641A (zh) * 2021-09-18 2021-11-12 中国计量大学 一种工件基准面定位检测装置和方法
CN113660473A (zh) * 2021-07-07 2021-11-16 深圳市睿达科技有限公司 一种基于投影仪的辅助定位方法
CN113814528A (zh) * 2021-10-11 2021-12-21 湖北忠和冶金机械制造股份有限公司 基于交互式的焊缝曲线提取与自动轨迹生成方法
CN113849000A (zh) * 2021-09-15 2021-12-28 山东泰开智能配电有限公司 高压隔离开关镀银件镀层厚度自动检测系统的控制方法
CN114345599A (zh) * 2021-12-29 2022-04-15 艾卡(南通)智能科技有限公司 一种基于点云的门业自动喷涂设备及喷涂方法
CN114682963A (zh) * 2022-03-25 2022-07-01 中铁科工集团有限公司 一种焊缝识别定位检测方法、装置及计算机可读存储介质
CN114952102A (zh) * 2022-06-10 2022-08-30 上海汽车集团股份有限公司 一种植钉焊接防错机构以及植钉焊接防错方法
CN115446503A (zh) * 2022-08-31 2022-12-09 深圳前海瑞集科技有限公司 焊接机器人控制方法、装置、焊接机器人和可读介质
CN116277019A (zh) * 2023-04-14 2023-06-23 清能精控机器人技术(佛山)有限公司 一种机器人与流水线相对位置检测方法及装置
WO2024026369A1 (en) * 2022-07-26 2024-02-01 Path Robotics, Inc. System for generating instructions for a welding robot, computer implemented methods of generating instructions for a welding robot, each using techniques for multipass welding
CN116408575B (zh) * 2021-12-31 2024-06-04 广东美的白色家电技术创新中心有限公司 局部扫描、消除工件反光干扰的方法、装置和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050021170A1 (en) * 2003-06-12 2005-01-27 Jukka Gustafsson Method of controlling the welding of a three-dimensional structure
CN105975708A (zh) * 2016-05-16 2016-09-28 中国计量大学 一种基于数值模拟与数据分析的优化钢管焊接参数方法
CN205679194U (zh) * 2016-06-20 2016-11-09 广州甫丰五金电子有限公司 一种非接触式尺寸测量仪
CN206305633U (zh) * 2016-10-20 2017-07-07 肇庆市小凡人科技有限公司 一种焊接机器人用焊接板
CN106971407A (zh) * 2017-02-16 2017-07-21 浙江工业大学 一种基于二维线结构光的焊缝三维重建方法
CN107063130A (zh) * 2017-05-26 2017-08-18 西南石油大学 一种基于光栅投影三维重构的工件自动焊接方法
CN207806924U (zh) * 2018-01-16 2018-09-04 中国计量大学 一种三维焊缝采集和焊接装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050021170A1 (en) * 2003-06-12 2005-01-27 Jukka Gustafsson Method of controlling the welding of a three-dimensional structure
CN105975708A (zh) * 2016-05-16 2016-09-28 中国计量大学 一种基于数值模拟与数据分析的优化钢管焊接参数方法
CN205679194U (zh) * 2016-06-20 2016-11-09 广州甫丰五金电子有限公司 一种非接触式尺寸测量仪
CN206305633U (zh) * 2016-10-20 2017-07-07 肇庆市小凡人科技有限公司 一种焊接机器人用焊接板
CN106971407A (zh) * 2017-02-16 2017-07-21 浙江工业大学 一种基于二维线结构光的焊缝三维重建方法
CN107063130A (zh) * 2017-05-26 2017-08-18 西南石油大学 一种基于光栅投影三维重构的工件自动焊接方法
CN207806924U (zh) * 2018-01-16 2018-09-04 中国计量大学 一种三维焊缝采集和焊接装置

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109093263A (zh) * 2018-10-26 2018-12-28 武汉华工激光工程有限责任公司 一种激光打标设备
CN111230259A (zh) * 2018-11-29 2020-06-05 南京理工大学 非平整面自主识别机器人增材制造成形精度控制装置
CN109579718A (zh) * 2019-01-09 2019-04-05 广州市顶丰自动化设备有限公司 焊缝参数的检测方法、装置、计算机设备和存储介质
CN109903279A (zh) * 2019-02-25 2019-06-18 北京深度奇点科技有限公司 焊缝运动轨迹的自动示教方法和装置
CN109945810B (zh) * 2019-04-04 2021-01-15 深圳市英威腾电气股份有限公司 一种提高色标检测精度的方法及控制器
CN109945810A (zh) * 2019-04-04 2019-06-28 深圳市英威腾电气股份有限公司 一种提高色标检测精度的方法及控制器
CN110142533A (zh) * 2019-05-23 2019-08-20 深圳市科瑞悦电气设备有限公司 一种基于机器视觉与ai算法的自动焊接方法及焊接装置
CN110153584A (zh) * 2019-06-10 2019-08-23 江苏集萃微纳自动化系统与装备技术研究所有限公司 基于图形显卡加速的快速工件焊接方法
CN110315312A (zh) * 2019-08-07 2019-10-11 江苏汇博机器人技术股份有限公司 基于结构光的实训用自动装配装置
CN110524582A (zh) * 2019-09-16 2019-12-03 西安中科光电精密工程有限公司 一种柔性组对焊接机器人工作站
CN110721927A (zh) * 2019-10-18 2020-01-24 珠海格力智能装备有限公司 基于嵌入式平台的视觉检测系统、方法及装置
CN111489436A (zh) * 2020-04-03 2020-08-04 北京博清科技有限公司 一种焊缝三维重建方法、装置、设备及存储介质
CN111709083A (zh) * 2020-04-30 2020-09-25 广州文冲船厂有限责任公司 一种焊接方位的判别方法
CN111709083B (zh) * 2020-04-30 2023-03-07 广州文冲船厂有限责任公司 一种焊接方位的判别方法
CN112414304A (zh) * 2020-11-18 2021-02-26 天津科技大学 基于激光光栅投射的焊后焊缝表面三维测量方法
CN112846577A (zh) * 2020-12-25 2021-05-28 郑智宏 一种提升焊接自动化的方法
CN112834505A (zh) * 2020-12-31 2021-05-25 芜湖哈特机器人产业技术研究院有限公司 管道工件涂膏的焊缝三维视觉检测定位装置及其检测定位方法
CN113223071A (zh) * 2021-05-18 2021-08-06 哈尔滨工业大学 一种基于点云重建的工件焊缝定位的方法
CN113333998A (zh) * 2021-05-25 2021-09-03 绍兴市上虞区武汉理工大学高等研究院 一种基于协作机器人的自动化焊接系统及方法
CN113660473A (zh) * 2021-07-07 2021-11-16 深圳市睿达科技有限公司 一种基于投影仪的辅助定位方法
CN113660473B (zh) * 2021-07-07 2024-03-08 深圳市睿达科技有限公司 一种基于投影仪的辅助定位方法
CN113849000A (zh) * 2021-09-15 2021-12-28 山东泰开智能配电有限公司 高压隔离开关镀银件镀层厚度自动检测系统的控制方法
CN113849000B (zh) * 2021-09-15 2024-03-29 山东泰开智能配电有限公司 高压隔离开关镀银件镀层厚度自动检测系统的控制方法
CN113639641A (zh) * 2021-09-18 2021-11-12 中国计量大学 一种工件基准面定位检测装置和方法
CN113814528A (zh) * 2021-10-11 2021-12-21 湖北忠和冶金机械制造股份有限公司 基于交互式的焊缝曲线提取与自动轨迹生成方法
CN113814528B (zh) * 2021-10-11 2022-12-27 湖北忠和冶金机械制造股份有限公司 基于交互式的焊缝曲线提取与自动轨迹生成方法
CN113643372A (zh) * 2021-10-18 2021-11-12 中国科学院自动化研究所 一种三维焊缝提取方法及系统
CN113643372B (zh) * 2021-10-18 2022-03-04 中国科学院自动化研究所 一种三维焊缝提取方法及系统
CN114345599A (zh) * 2021-12-29 2022-04-15 艾卡(南通)智能科技有限公司 一种基于点云的门业自动喷涂设备及喷涂方法
CN116408575B (zh) * 2021-12-31 2024-06-04 广东美的白色家电技术创新中心有限公司 局部扫描、消除工件反光干扰的方法、装置和系统
CN114682963A (zh) * 2022-03-25 2022-07-01 中铁科工集团有限公司 一种焊缝识别定位检测方法、装置及计算机可读存储介质
CN114952102A (zh) * 2022-06-10 2022-08-30 上海汽车集团股份有限公司 一种植钉焊接防错机构以及植钉焊接防错方法
WO2024026369A1 (en) * 2022-07-26 2024-02-01 Path Robotics, Inc. System for generating instructions for a welding robot, computer implemented methods of generating instructions for a welding robot, each using techniques for multipass welding
CN115446503A (zh) * 2022-08-31 2022-12-09 深圳前海瑞集科技有限公司 焊接机器人控制方法、装置、焊接机器人和可读介质
CN116277019A (zh) * 2023-04-14 2023-06-23 清能精控机器人技术(佛山)有限公司 一种机器人与流水线相对位置检测方法及装置
CN116277019B (zh) * 2023-04-14 2023-09-29 清能精控机器人技术(佛山)有限公司 一种机器人与流水线相对位置检测方法及装置

Also Published As

Publication number Publication date
CN108555423B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN108555423A (zh) 三维焊缝自动识别装置及方法
Lei et al. A review of vision-aided robotic welding
CN105458462B (zh) 一种变间隙梯形焊缝多参数同步视觉检测跟踪方法
Nele et al. An image acquisition system for real-time seam tracking
CN107186319A (zh) 一种基于激光传感器的焊接机器人盖面焊在线跟踪方法
CN107764205A (zh) 基于线结构光扫描高频电阻焊焊缝形貌三维检测装置及检测方法
Nayak et al. Intelligent seam tracking for robotic welding
CN107830813A (zh) 激光线标记的长轴类零件图像拼接及弯曲变形检测方法
CN104084669A (zh) 一种基于解耦检测的环缝视觉检测方法及装置
CN107414248B (zh) 面向船舶中大型弯管环焊缝的自动化焊接系统及方法
US20050021170A1 (en) Method of controlling the welding of a three-dimensional structure
CN110524582A (zh) 一种柔性组对焊接机器人工作站
CN104786226A (zh) 抓取在线工件的机器人位姿及运动轨迹定位系统与方法
CN102303190A (zh) 线激光视觉跟踪平面对接焊缝方法
CN109648202B (zh) 非平整面自主识别机器人增材制造成形精度控制方法
CN107289876A (zh) 多轴联动的视觉、激光复合式非接触测量装置及测量方法
GB2104652A (en) Implement positioning control apparatus and processes
CN106392304A (zh) 一种激光辅助焊缝智能寻迹系统及方法
CN109483539A (zh) 视觉定位方法
CN203973025U (zh) 一种基于解耦检测的环缝视觉检测装置
CN105983802B (zh) 一种焊接机器人控制系统和方法
CN108127217B (zh) 螺旋板式换热器端面焊缝自动引导焊接的焊接装置和方法
CN109883336B (zh) 一种面向船舶曲面板材加工过程中的测量系统及测量方法
CN109702290A (zh) 基于视觉识别的钢板坡口切割方法
CN108127238A (zh) 非平整面自主识别机器人增材成形的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant