CN107914067A - 一种基于被动视觉传感的薄板焊接的焊枪偏差三维提取方法 - Google Patents

一种基于被动视觉传感的薄板焊接的焊枪偏差三维提取方法 Download PDF

Info

Publication number
CN107914067A
CN107914067A CN201711061240.2A CN201711061240A CN107914067A CN 107914067 A CN107914067 A CN 107914067A CN 201711061240 A CN201711061240 A CN 201711061240A CN 107914067 A CN107914067 A CN 107914067A
Authority
CN
China
Prior art keywords
welding gun
welding
line
vision sensing
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711061240.2A
Other languages
English (en)
Other versions
CN107914067B (zh
Inventor
何银水
余卓骅
马国红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang University
Original Assignee
Nanchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang University filed Critical Nanchang University
Priority to CN201711061240.2A priority Critical patent/CN107914067B/zh
Publication of CN107914067A publication Critical patent/CN107914067A/zh
Application granted granted Critical
Publication of CN107914067B publication Critical patent/CN107914067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B23K9/0956—Monitoring or automatic control of welding parameters using sensing means, e.g. optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于被动视觉传感的薄板焊接焊枪三维偏差的提取方法。通过采用包括中心波长为660nm的滤光片和透过率为0.040％的减光片组合的被动视觉传感装置获取含有焊接接头轮廓线的焊缝图像，并通过多项式拟合获取极值位置，然后利用Otsu阈值分割及最近邻聚类算法提取焊缝图像中的接头轮廓线。根据焊缝图像中电弧中心位置设计获取接头轮廓线上的焊枪跟踪点的算法，进而结合视觉标定技术和图像处理系统已获取的焊枪在世界坐标中的位置确定焊枪的三维偏差。该方法提取的偏差更准确，且可以做到对焊枪在两个方向同时进行纠偏，无需额外的传感器，有利于降低焊接成本。

Description

一种基于被动视觉传感的薄板焊接的焊枪偏差三维提取方法
技术领域
本发明属于焊接技术领域，具体涉及一种基于被动视觉传感的薄板焊接的焊枪三维偏差提取方法。
背景技术
机器人焊接中采用“示教再现”模式完成工件连接时，往往耗时巨大，且不能应对焊接产生变形而形成的干扰，所以焊接效率低下，焊接质量不高，焊缝自动跟踪技术是解决这一问题的首选，而焊缝偏差检测与提取则是实现自动跟踪技术的前提，对于焊缝偏差的精确提取是焊接技术领域的研究重点之一。目前薄板机器人弧焊自动焊接中众多研究和专利只实现了提取焊枪一个方向上的偏差，三维偏差的提取尚未实现，而实现焊枪三维偏差的提取有助于焊枪跟踪精度，从而提高焊接质量，具有现实意义。
发明内容
本发明针对上述情况，提供了一种基于被动视觉传感的薄板焊接的焊枪偏差三维提取方法，通过采用包括中心波长为660nm的滤光片和透过率为0.040％的减光片组合的被动视觉传感装置获取完整焊缝图像，并通过多项式拟合和Otsu阈值分割及最近邻聚类算法提取焊缝图像中的接头轮廓线并确定接头轮廓线上的焊枪跟踪点，进而结合视觉标定技术和图像处理系统提取焊枪在三维方向的偏差，具体技术方案如下所述：
步骤1：采用包括中心波长为660nm的滤光片和透过率为0.040％的减光片组合的被动视觉传感装置获取完整焊缝图像，该完整焊缝图像包括完整电弧区域、焊缝接头轮廓线和坡口边缘线，并根据焊缝图像中的电弧区域确定该焊缝图像中的感兴趣区域(Regionof interest，ROI)，利用Gabor滤波获取完整的焊缝图像的方向特征图，保留ROI的方向特征图，其他区域的灰度值被处理为0；
步骤2：多次对ROI的行数据进行多项式拟合(多项式最高项次数达到50次)，并分别获取各次拟合灰度极大值点的位置，然后对步骤1中的ROI的方向特征图进行Otsu阈值分割，采用最近邻聚类算法对分割后的数据点进行分类，根据由多项式拟合获取的灰度极大值点的位置与聚类分割的结果，以最靠近极大值点且频数最多的原则辨别出属于焊缝接头轮廓数据的类，进而提取焊缝的接头轮廓线；
步骤3：对步骤2中的接头轮廓线进行直线拟合，得到对应的拟合直线方程；利用步骤 1中的完整焊缝图像进行最大灰度值阈值分割，使分割后的图像只剩下电弧区域，将该电弧区域的几何中心作为当前焊枪在图像中的位置。确定通过几何中心且垂直于之前已获取的拟合直线的直线方程，两条直线必有一个交点，将该交点设置为焊枪此刻的跟踪点；
步骤4：采用有效而成熟的视觉标定技术将步骤3中获得的焊枪跟踪点转换为世界坐标系下的坐标位置(x1，y1，z1)。根据图像采集与处理软件系统从机器人控制系统中已获知的TCP的位置(x2，y2，z2)，计算出焊枪的三维偏差值：Δx＝x1-x2，Δy＝y1-y2，Δz＝z1-z2。
本发明具有以下有益效果：
1、通过调整被动视觉传感装置中滤光减光条件，获得包含完整且规则的电弧区域、坡口边缘线和缝隙接头线的完整焊缝图像，该方法获得图像清晰，精度高，适用各种细小焊缝，可直接呈现缝隙接头线；
2、直接将提取的接头轮廓线作为提取焊枪偏差的参考线，并根据算法确定该接头轮廓线上的焊枪跟踪点，提高了后续提取偏差的精度；
3、实现了焊枪偏差的三维方向的提取，提高焊接质量。
附图说明
图1为接头轮廓线提取流程图
图2为确定焊枪跟踪点流程图
图3为工件焊接准备图
图4为采集的新颖的焊缝图像图
图5为实际接头轮廓提取过程图
图6为实际焊枪跟踪点确定图
图7为焊缝图像对比图
具体实施方式
下面结合附图，对本发明作进一步地说明。
实施例1
1、选取厚度4mm左右的薄板，选定其焊接区域，如图3所示，采用薄板薄板机器人弧焊自动焊接；
2、采用包括滤光片(中心波长为660nm，半宽为20nm)、减光片(透过率为0.040％)结合的视觉传感装置，采集获得焊缝图像，且该图像包括电弧区域、焊缝边缘、接头轮廓线，并利用Gabor滤波获取完整的焊缝图像的方向特征图，保留ROI的方向特征图，其他区域的灰度值被处理为0，如图4所示；
3、将2中采集获取的焊缝图像进行如下操作：多次对ROI的行数据进行多项式拟合并获取各次的灰度极大值点位置，并对ROI的方向特征图进行Otsu阈值分割，采用最近邻聚类算法对分割后的数据点进行分类，根据对ROI的行数据进行多项式拟合获取的各次的灰度极大值点位置与聚类分割的结果，以最靠近极大值点位置且频数最多的原则辨别出属于焊缝的接头轮廓数据的类，进而直接提取焊缝的接头轮廓线，如图5所示；
4、对上述提取的接头轮廓线进行直线拟合，得到对应的拟合直线方程；利用步骤1中的完整焊缝图像进行最大灰度值阈值分割，使分割后的图像只剩下电弧区域，将该电弧区域的几何中心作为当前焊枪在图像中的位置，确定通过该几何中心且垂直于之前已获取的拟合直线的直线方程，两条直线必有一个交点，将该交点设置为焊枪此刻的跟踪点，并采用视觉标定技术将获得的焊枪跟踪点转换为世界坐标系下的坐标位置(x1，y1，z1)，根据图像采集与处理软件系统从机器人控制系统中已获知的焊枪的位置(x2，y2，z2)，计算出焊枪的偏差值Δx＝x1-x2，Δy＝y1-y2，Δz＝z1-z2，如图6所示；
实施例2
1、选取厚度4mm左右的薄板，选定其焊接区域，如图3所示，采用薄板薄板机器人弧焊自动焊接；
2、采用包括滤光片(中心波长为660nm，半宽为20nm)、减光片(透过率为0.014％)结合的视觉传感装置，采集获得焊缝图像，且该图像包括电弧区域、焊缝边缘、接头轮廓线，并利用Gabor滤波获取完整的焊缝图像的方向特征图，保留ROI的方向特征图，其他区域的灰度值被处理为0，如图7(a)所示；
实施例3
1、选取厚度4mm左右的薄板，选定其焊接区域，如图3所示，采用薄板薄板机器人弧焊自动焊接；
2、采用包括滤光片(中心波长为660nm，半宽为20nm)、减光片(透过率为0.040％)结合的视觉传感装置，采集获得焊缝图像，且该图像包括电弧区域、焊缝边缘、接头轮廓线，并利用Gabor滤波获取完整的焊缝图像的方向特征图，保留ROI的方向特征图，其他区域的灰度值被处理为0，如图7(b)所示；
实施例4
1、选取厚度4mm左右的薄板，选定其焊接区域，采用薄板薄板机器人弧焊自动焊接；
2、采用包括滤光片(中心波长为660nm，半宽为20nm)、减光片(透过率为0.0028％)结合的视觉传感装置，采集获得焊缝图像，且该图像包括电弧区域、焊缝边缘、接头轮廓线，并利用Gabor滤波获取完整的焊缝图像的方向特征图，保留ROI的方向特征图，其他区域的灰度值被处理为0，如图7(c)所示；
实施例5
1、选取厚度4mm左右的薄板，选定其焊接区域，采用薄板薄板机器人弧焊自动焊接；
2、采用包括滤光片(中心波长为660nm，半宽为20nm)、减光片(透过率为0.070％)、激光结合的视觉传感装置，采集获得焊缝图像，且该图像包括电弧区域、焊缝边缘、接头轮廓线，并利用Gabor滤波获取完整的焊缝图像的方向特征图，保留ROI的方向特征图，其他区域的灰度值被处理为0，如图7(d)所示；
实施例3分别与实施例2、实施例4、实施例5对比，实施例3获得了包括电弧区域、焊缝边缘、接头轮廓线的完整焊缝图像，因而，视觉传感装置中的中心波长为660nm，半宽为20nm的滤光片、透过率为0.040％的减光片结合这一条件是可以获得包括电弧区域、焊缝边缘、接头轮廓线的完整焊缝图像必要条件。

Claims (6)

1.一种基于被动视觉传感的薄板焊接的焊枪偏差三维提取方法，其特征在于，通过采用被动视觉传感装置获取带有电弧区域、焊缝接头轮廓线的完整焊缝图像，并通过多项式拟合和Otsu阈值分割及最近邻聚类算法提取焊缝图像中的接头轮廓线，并设计算法在接头轮廓线上的确定焊枪跟踪点，进而结合视觉标定技术和图像处理系统提取焊枪的三维偏差。
2.根据权利要求1所述的一种基于被动视觉传感的薄板焊接的焊枪三维偏差提取方法，其被动视觉传感装置，特征在于，包括中心波长为660nm的滤光片和透过率为0.040％的减光片。
3.权利要求1所述的一种基于被动视觉传感的薄板焊接的焊枪三维偏差提取方法，其完整焊缝图像，特征在于，同时包含完整且规则的电弧区域、缝隙接头轮廓线和坡口边缘线。
4.根据权利要求1所述的一种基于被动视觉传感的薄板焊接的焊枪三维偏差提取方法，其提取缝隙接头轮廓线的流程，特征在于，根据焊缝图像中的电弧区域确定该焊缝图像中的感兴趣区域(Region of interest,ROI)，利用Gabor滤波获取完整的焊缝图像的方向特征图，保留ROI的方向特征图，其他区域的灰度值被处理为0；多次对ROI的行数据进行多项式拟合(多项式最高项次数达到50次)，并分别获取各次拟合灰度极大值点的位置，然后对步骤1中的ROI的方向特征图进行Otsu阈值分割，采用最近邻聚类算法对分割后的数据点进行分类，根据由多项式拟合获取的灰度极大值点的位置与聚类分割的结果，以最靠近极大值点且频数最多的原则辨别出属于焊缝接头轮廓数据的类，进而提取焊缝的接头轮廓线。
5.根据权利要求1所述的一种基于被动视觉传感的薄板焊接的焊枪三维偏差提取方法，其确定焊枪跟踪点的位置算法，特征在于，首先对提取的缝隙接头轮廓进行直线拟合，确定第一个直线方程；然后过电弧几何中心作一直线并垂直于第一个直线方程，从而确定第二个直线方程；最后将第一个直线和第二个直线的交点确定为焊枪跟踪点。
6.根据权利要求1所述的一种基于被动视觉传感的薄板焊接的焊枪三维偏差提取方法，其焊枪的三维偏差提取，特征在于，将焊枪跟踪点通过成熟的视觉标定技术转换为三维空间坐标(x1,y1,z1)，然后基于图像处理软件系统已从机器人焊接控制系统中获取的TCP(Tool center position)坐标值(x2,y2,z2)，获取三维偏差如下：△x＝x1-x2，△y＝y1-y2，△z＝z1-z2。
CN201711061240.2A 2017-10-31 2017-10-31 一种基于被动视觉传感的薄板焊接的焊枪偏差三维提取方法 Active CN107914067B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711061240.2A CN107914067B (zh) 2017-10-31 2017-10-31 一种基于被动视觉传感的薄板焊接的焊枪偏差三维提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711061240.2A CN107914067B (zh) 2017-10-31 2017-10-31 一种基于被动视觉传感的薄板焊接的焊枪偏差三维提取方法

Publications (2)

Publication Number Publication Date
CN107914067A true CN107914067A (zh) 2018-04-17
CN107914067B CN107914067B (zh) 2019-10-01

Family

ID=61896039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711061240.2A Active CN107914067B (zh) 2017-10-31 2017-10-31 一种基于被动视觉传感的薄板焊接的焊枪偏差三维提取方法

Country Status (1)

Country Link
CN (1) CN107914067B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110814465A (zh) * 2019-11-28 2020-02-21 华东交通大学理工学院 一种自动焊接焊缝轮廓提取的通用方法
CN112132807A (zh) * 2020-09-23 2020-12-25 泉州装备制造研究所 一种基于颜色相似度分割的焊缝区域提取方法和装置
CN113042862A (zh) * 2021-03-12 2021-06-29 湖北文理学院 基于主被动视觉结合的焊接偏差检测系统及检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09220666A (ja) * 1996-02-13 1997-08-26 Suzuki Motor Corp 溶接位置検査装置
CN1448239A (zh) * 2003-04-03 2003-10-15 上海交通大学 弧焊熔池动态特征视觉传感方法
CN101767242A (zh) * 2009-01-06 2010-07-07 清华大学 基于视觉检测的窄间隙电弧焊接在线决策方法
CN103464859A (zh) * 2013-09-30 2013-12-25 昆山佑翔电子科技有限公司 自动焊锡机
CN106112207A (zh) * 2016-08-17 2016-11-16 广东工业大学 熔化极气体保护焊3d增材修补装置及修补方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09220666A (ja) * 1996-02-13 1997-08-26 Suzuki Motor Corp 溶接位置検査装置
CN1448239A (zh) * 2003-04-03 2003-10-15 上海交通大学 弧焊熔池动态特征视觉传感方法
CN101767242A (zh) * 2009-01-06 2010-07-07 清华大学 基于视觉检测的窄间隙电弧焊接在线决策方法
CN103464859A (zh) * 2013-09-30 2013-12-25 昆山佑翔电子科技有限公司 自动焊锡机
CN106112207A (zh) * 2016-08-17 2016-11-16 广东工业大学 熔化极气体保护焊3d增材修补装置及修补方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110814465A (zh) * 2019-11-28 2020-02-21 华东交通大学理工学院 一种自动焊接焊缝轮廓提取的通用方法
CN110814465B (zh) * 2019-11-28 2021-09-03 华东交通大学理工学院 一种自动焊接焊缝轮廓提取的通用方法
CN112132807A (zh) * 2020-09-23 2020-12-25 泉州装备制造研究所 一种基于颜色相似度分割的焊缝区域提取方法和装置
CN112132807B (zh) * 2020-09-23 2024-02-23 泉州装备制造研究所 一种基于颜色相似度分割的焊缝区域提取方法和装置
CN113042862A (zh) * 2021-03-12 2021-06-29 湖北文理学院 基于主被动视觉结合的焊接偏差检测系统及检测方法

Also Published As

Publication number Publication date
CN107914067B (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
Li et al. Automatic welding seam tracking and identification
CN110480127B (zh) 一种基于结构光视觉传感的焊缝跟踪系统及方法
CN106181162B (zh) 一种基于机器视觉的实时焊缝跟踪检测方法
Dinham et al. Autonomous weld seam identification and localisation using eye-in-hand stereo vision for robotic arc welding
He et al. Autonomous detection of weld seam profiles via a model of saliency-based visual attention for robotic arc welding
CN104588838B (zh) 一种焊枪自动跟踪控制并在线修正系统及其控制方法
CN107798330A (zh) 一种焊缝图像特征信息提取方法
CN102455171B (zh) 一种激光拼焊焊缝背面几何形貌检测方法
CN110814465B (zh) 一种自动焊接焊缝轮廓提取的通用方法
CN107914067A (zh) 一种基于被动视觉传感的薄板焊接的焊枪偏差三维提取方法
Ye et al. A robust algorithm for weld seam extraction based on prior knowledge of weld seam
CN105563481B (zh) 一种用于轴孔装配的机器人视觉引导方法
CN108007388A (zh) 一种基于机器视觉的转盘角度高精度在线测量方法
CN108907526A (zh) 一种具有高鲁棒性的焊缝图像特征识别方法
CN112365439B (zh) 一种镀锌钢gmaw焊缝成形特征与焊枪方向同步实时检测方法
CN109434251A (zh) 一种基于粒子滤波的焊缝图像跟踪方法
CN112070759A (zh) 一种叉车托盘检测与定位方法及系统
CN103500321A (zh) 基于双动态窗的视觉引导焊接机器人焊缝快速识别技术
CN108971704A (zh) 基于视觉及旋转电弧复合传感的三维焊缝跟踪方法及系统
Mohd Shah et al. Autonomous detection and identification of weld seam path shape position
CN102663781A (zh) 一种基于视觉的亚像素级焊缝中心提取方法
Yu et al. Vision-based deviation extraction for three-dimensional control in robotic welding with steel sheet
CN106442533A (zh) 一种基于工业ccd的焊缝信息提取系统
CN102519387B (zh) 一种电子束焊接熔池形状参数的视觉检测方法
Lin et al. Intelligent seam tracking of an ultranarrow gap during K-TIG welding: a hybrid CNN and adaptive ROI operation algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant