CN114669835B - 基于喷粉式视觉传感的表面强反光工件焊缝位姿提取方法 - Google Patents

基于喷粉式视觉传感的表面强反光工件焊缝位姿提取方法 Download PDF

Info

Publication number
CN114669835B
CN114669835B CN202210024030.0A CN202210024030A CN114669835B CN 114669835 B CN114669835 B CN 114669835B CN 202210024030 A CN202210024030 A CN 202210024030A CN 114669835 B CN114669835 B CN 114669835B
Authority
CN
China
Prior art keywords
powder spraying
welding
powder
workpiece
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210024030.0A
Other languages
English (en)
Other versions
CN114669835A (zh
Inventor
洪波
杨斐姝
吴格飞
刘瑞轩
罗健
贾爱亭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangtan University
Original Assignee
Xiangtan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangtan University filed Critical Xiangtan University
Priority to CN202210024030.0A priority Critical patent/CN114669835B/zh
Publication of CN114669835A publication Critical patent/CN114669835A/zh
Application granted granted Critical
Publication of CN114669835B publication Critical patent/CN114669835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B23K9/127—Means for tracking lines during arc welding or cutting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B23K9/127—Means for tracking lines during arc welding or cutting
    • B23K9/1272—Geometry oriented, e.g. beam optical trading
    • B23K9/1274—Using non-contact, optical means, e.g. laser means

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种基于喷粉式视觉传感的表面强反光工件焊缝位姿提取方法。针对大量存在于航空航天、核电建设等领域中的具有表面强反光特性的工件无法实现基于视觉的焊缝实时跟踪的难题，本发明提出一种用于表面强反光工件焊缝实时跟踪的基于喷粉式视觉传感的焊缝位姿提取方法。首先，通过自适应喷粉方法改善工件的表面反光特性。然后，利用基于喷粉式视觉传感的起焊点位姿检测方法获取表面强反光工件焊缝的起焊点位姿。最后，在焊接过程中，通过自适应粉厚滤波方法滤除工件表面喷粉的干扰，实现工件表面三维重建，进而实现焊缝的三维位姿信息提取。

Description

基于喷粉式视觉传感的表面强反光工件焊缝位姿提取方法
技术领域
本发明涉及焊缝跟踪领域，是一种用于焊缝跟踪的基于喷粉式视觉传感的表面强反光工件焊缝位姿提取方法。
技术背景
具有强反光的焊接工件(钛合金、铝合金和不锈钢工件等)大量应用于航空航天、海工装备、核电建设等领域，目前主要通过焊接工人手工焊接完成，严重限制了焊接效率和质量，实现其自动焊接是提高焊接效率和质量的有效途径。焊缝实时跟踪技术是实现自动焊接的关键技术，然而，目前尚没有针对强反光工件的成熟跟踪方法。基于旋转电弧、摆动电弧、磁控电弧的焊缝跟踪方法只针对具有明显坡口的工件且跟踪精度较低，应用范围较小。近年来，基于结构光视觉的焊缝跟踪方法因其精度高、非接触等优点得到了广泛的研究，但是，主要针对具有良好漫反射特性的低碳钢，不能实现工件表面具有强反光特性的焊缝实时跟踪。针对这些难题本发明提出了一种用于焊缝实时跟踪的基于喷粉式视觉传感的表面强反光工件焊缝位姿提取方法。
发明内容
为了解决现有技术存在的不足，更好的推动焊接设备的自动化的进程，针对目前具有强反光表面的工件难以实现焊缝实时跟踪的难题，本发明提出了一种用于焊缝跟踪的基于喷粉式视觉传感的表面强反光工件焊缝位姿提取方法。
本发明采用如下技术方案：
一种基于喷粉式视觉传感的表明强反光工件焊缝位姿提取方法，用于表面强反光工件的焊缝跟踪，其特征在于：所述的基于喷粉式视觉传感器的表面强反光工件焊缝跟踪方法通过自适应喷粉方法改善工件的表面反光特性；所述的喷粉式视觉传感器由自适应喷粉机构、工业相机和工业线激光组成。所述的自适应喷粉方法可以实现粉末厚度的适应控制、粉末宽度的自适应控制以及对焊速的自适应。所述的粉末厚度的自适应控制是利用喷粉式视觉传感器获取工件表面反光度，通过喷粉式视觉传感器喷粉量控制方法控制喷粉的厚度。所述的粉末宽度自适应控制是根据焊缝坡口的宽度、喷粉口的高度和喷粉角度通过控制喷粉口的宽度来实现。
利用基于自适应除粉滤波的点云数据处理方法实现焊缝位置和姿态信息的提取。所述的基于自适应除粉滤波的点云数据处理方法包括：基于喷粉式视觉传感器的点云数据在线获取、自适应除粉点云滤波、工件表面三维重建和点云分割。所述的基于喷粉式视觉传感器的点云数据在线获取，在焊接过程中，利用喷粉式视觉传感器自适应喷粉的同时扫描喷粉后的工件表面并获取喷粉后工件表面点云数据。所述的自适应除粉点云滤波是根据自适应喷粉的厚度优化点云数据的滤波方法，还原焊缝的原始形貌。
利用基于喷粉式视觉传感的起焊点位姿检测方法获取表面强反光工件焊缝起焊点位姿。所述的基于喷粉式视觉传感的起焊点位姿检测方法是通过对比前后两帧图像的反光度来判断是否扫描到工件。当扫描到工件时，记录该激光条纹Y方向的位置，即为工件起焊点的Y轴坐标。通过自适应喷粉改善工件表面的反光情况，利用基于自适应除粉滤波的点云数据处理方法获取焊缝起焊点位姿。
所述的工件表面反光度是通过基于喷粉式视觉传感的工件表面反光度检测方法获取。所述的基于喷粉式视觉传感的工件表面反光度检测方法是通过每一帧点云数据的线性度计算。所述的每一帧点云数据的线性度是通过基于焊缝坡口形状的随机采样一致性算法(RANSAC)计算。
基于RANSAC的点云三维直线提取具体步骤如下所示：
(1)利用随机采样的方法在原始点云数据中随机选取2个点，通过2个点确定一条直线，利用三维直线模型得出所选出的2个点构成的直线方程。
(2)利用式(1)确定原始点云数据集中的每一个数据点到该直线的间距。
(3)预设阈值dthd，若第i点到直线的的间距di≤dthd，则该点被设置为直线内点，否则，该点被设置为直线外点，统计直线内点的总数目N。
(4)将(1)-(3)运行k次，选取直线内点数量N最大的直线模型参数作为最优的模型参数。
基于喷粉式视觉传感器获取的每一帧数据作为输入数据，其中是待提取的3D直线的方向向量，Data(i)为第i个点云数据，di是从点云的任意点到拟合直线的距离，dthd是控制点云中离群点的阈值。在点云拟合过程中，初始点数设置为2，两个点分别为Data(1)和Data(2)，可用于确定初始方向向量/> 并将阈值dthd设置为0.01，以控制拟合直线的离群点。
基于焊缝坡口形状的随机采样一致性算法如下：
(1)利用RANSAC算法完成点云的提取，得到点集D1。同时，减去所有属于D1的点。剩余的点是outliers。
(2)RANSAC算法继续完成outliers中点的直线拟合，得到点集D2。
如果焊缝为V型坡口，重复步骤(1)、(2)得到数据集D3。每一帧点云数据的线性度L通过式(3)计算。
其中Da为每一帧点云数据的点数。
发明的有益效果：
本发明涉及一种基于喷粉式视觉传感的表面强反光工件焊缝位姿提取方法，通过自适应喷粉方法改善工件的表面反光特性和焊接性。利用基于喷粉式视觉传感器的起焊点位姿检测方法获取表面强反光工件焊缝的起焊点位姿。在焊接过程中，通过自适应粉厚滤波方法滤除工件表面喷粉的干扰，实现工件表面三维重建，进而实现焊缝的三维位姿信息提取。本发明解决了结构光视觉传感器不能提取强反光表面工件，不能实现焊缝位姿信息在线提取的难题。
附图说明
图1为基于喷粉式视觉传感的表面强反光工件焊缝位姿提取方法原理图。
图中：1-表面强反光工件，2-喷粉区域，3-工作台，4-喷粉机构超前激光条纹距离，5-激光条纹，6-线激光器，7-工业摄像机，8-喷粉式视觉传感器，9-喷粉机构。
图2为系统工作流程图。
图3为喷粉式视觉传感器喷粉量控制方法流程图。图中，q0、q1、q2通过式(4)计算。k为第k个计算周期。e(k)通过式(5)计算。ec(k)通过式(6)计算。Kp，Ki和Kd为PID控制参数。
式中，Kp为比例系数，TI为积分时间常数，TD为微分时间常数。
e(k)＝L(k)-Lthd (5)
式中，L(k)为第k个计算周期的点云数据线性度，Lthd为点云数据线性度阈值。
ec(k)＝e(k)-e(k-1) (6)
具体实施方式
为了更好地表达整个发明的技术方案与有益效果，下面结合附图和实施案例对本发明做进一步详细说明。本发明的实施方式不限于此。
步骤1：自适应喷粉及工件反光度检测。
在焊接过程中，基于喷粉式视觉传感的表面强反光工件焊缝位姿提取方法通过自适应喷粉方法改善工件的表面反光特性和焊接性。如图1所示，喷粉式视觉传感器由自适应喷粉机构、工业相机和工业线激光器组成。所述的自适应喷粉方法能够实现粉末厚度的适应控制、粉末宽度的自适应控制以及对焊速的自适应控制。焊接过程中，利用工件的反光度和工件反光度的变化速度通过喷粉式视觉传感器喷粉量控制方法来控制喷粉量，从而自适应喷粉厚度和焊接速度。粉末宽度与激光条纹的宽度相等，通过传感器距离工件的高度计算。
步骤2：基于喷粉式视觉传感的起焊点位姿检测。
开始进行起焊点寻位时喷粉式视觉传感器从工作台开始扫描，不进行喷粉。机器人在扫描方向上行走速度为25mm/s，激光位移传感器两帧数据之间采样的时间间隔为15ms。喷粉式视觉传感器在工作台上扫描时，喷粉式视觉传感器获取的点云数据线性度大于阈值。当喷粉式视觉传感器获取的点云数据线性度小于阈值时，记录该激光条纹Y方向的位置，即为工件起焊点的Y轴坐标。焊接机器人后退距离D，所述的距离D为喷粉机构超前激光条纹距离，自适应喷粉机构进行自适应喷粉，并记录喷粉厚度。焊接机器人前行至起焊点位置，获取喷粉后的强反光工件表面的点云数据，利用基于自适应除粉滤波的点云数据处理方法获取焊缝起焊点位姿。
步骤3：基于喷粉式视觉传感的强反光表面工件位姿信息在线提取。
在焊接过程中，喷粉式视觉传感器自适应喷粉的同时记录喷粉的厚度并获取点云数据，利用基于自适应除粉滤波的点云数据处理方法获取焊缝起焊点位姿。当焊接速度改变时，喷粉式视觉传感器自适应喷粉量。

Claims (1)

1.一种基于喷粉式视觉传感的表面强反光工件焊缝位姿提取方法，用于表面强反光工件的焊缝跟踪，其特征在于：
步骤1：自适应喷粉及工件反光度检测
在焊接过程中，基于喷粉式视觉传感的表面强反光工件焊缝位姿提取方法通过自适应喷粉方法改善工件的表面反光特性和焊接性；喷粉式视觉传感器由自适应喷粉机构、工业相机和工业线激光器组成；所述的自适应喷粉方法能够实现粉末厚度的适应控制、粉末宽度的自适应控制以及对焊速的自适应控制；焊接过程中，利用工件的反光度和工件反光度的变化速度通过喷粉式视觉传感器喷粉量控制方法来控制喷粉量，从而自适应喷粉厚度和焊接速度；粉末宽度与激光条纹的宽度相等，通过传感器距离工件的高度计算；
步骤2：基于喷粉式视觉传感的起焊点位姿检测
开始进行起焊点寻位时喷粉式视觉传感器从工作台开始扫描，不进行喷粉；机器人在扫描方向上行走速度为25mm/s，激光位移传感器两帧数据之间采样的时间间隔为15ms；喷粉式视觉传感器在工作台上扫描时，喷粉式视觉传感器获取的点云数据线性度大于阈值；当喷粉式视觉传感器获取的点云数据线性度小于阈值时，记录该激光条纹焊接方向的位置；焊接机器人后退距离D，所述的距离D为喷粉机构超前激光条纹距离，自适应喷粉机构进行自适应喷粉，并记录喷粉厚度；焊接机器人前行至起焊点位置，获取喷粉后的强反光工件表面的点云数据，利用基于自适应除粉滤波的点云数据处理方法获取焊缝起焊点位姿；
步骤3：基于喷粉式视觉传感的强反光表面工件位姿信息在线提取
在焊接过程中，喷粉式视觉传感器自适应喷粉的同时记录喷粉的厚度并获取点云数据，利用基于自适应除粉滤波的点云数据处理方法获取焊缝起焊点位姿；当焊接速度改变时，喷粉式视觉传感器自适应喷粉量。
CN202210024030.0A 2022-01-10 2022-01-10 基于喷粉式视觉传感的表面强反光工件焊缝位姿提取方法 Active CN114669835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210024030.0A CN114669835B (zh) 2022-01-10 2022-01-10 基于喷粉式视觉传感的表面强反光工件焊缝位姿提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210024030.0A CN114669835B (zh) 2022-01-10 2022-01-10 基于喷粉式视觉传感的表面强反光工件焊缝位姿提取方法

Publications (2)

Publication Number Publication Date
CN114669835A CN114669835A (zh) 2022-06-28
CN114669835B true CN114669835B (zh) 2023-07-21

Family

ID=82070428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210024030.0A Active CN114669835B (zh) 2022-01-10 2022-01-10 基于喷粉式视觉传感的表面强反光工件焊缝位姿提取方法

Country Status (1)

Country Link
CN (1) CN114669835B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202411630U (zh) * 2011-11-30 2012-09-05 南昌航空大学 基于面性辅助光源的焊缝识别传感装置
CN107511564A (zh) * 2017-09-30 2017-12-26 江苏理工学院 一种焊缝跟踪装置
CN107912061A (zh) * 2015-03-06 2018-04-13 伊利诺斯工具制品有限公司 用于焊接的传感器辅助头戴式显示器
CN111299761A (zh) * 2020-02-28 2020-06-19 华南理工大学 一种焊缝跟踪系统的实时姿态估计方法
CN112729151A (zh) * 2020-12-04 2021-04-30 深圳大学 一种焊缝结构三维点云测量方法
CN215130551U (zh) * 2021-04-16 2021-12-14 咸阳瑞升福诺医疗器械有限公司 印模装置及具有其的印模系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9358580B1 (en) * 2013-03-12 2016-06-07 BTD Wood Powder Coating, Inc. Method for preparing and top coating a powder coated wood substrate

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202411630U (zh) * 2011-11-30 2012-09-05 南昌航空大学 基于面性辅助光源的焊缝识别传感装置
CN107912061A (zh) * 2015-03-06 2018-04-13 伊利诺斯工具制品有限公司 用于焊接的传感器辅助头戴式显示器
CN107511564A (zh) * 2017-09-30 2017-12-26 江苏理工学院 一种焊缝跟踪装置
CN111299761A (zh) * 2020-02-28 2020-06-19 华南理工大学 一种焊缝跟踪系统的实时姿态估计方法
CN112729151A (zh) * 2020-12-04 2021-04-30 深圳大学 一种焊缝结构三维点云测量方法
CN215130551U (zh) * 2021-04-16 2021-12-14 咸阳瑞升福诺医疗器械有限公司 印模装置及具有其的印模系统

Also Published As

Publication number Publication date
CN114669835A (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN108637435B (zh) 一种基于视觉与弧压传感的三维焊缝跟踪系统及方法
Wang et al. A robust weld seam recognition method under heavy noise based on structured-light vision
Zhang et al. 3D reconstruction of complex spatial weld seam for autonomous welding by laser structured light scanning
Lü et al. Feature extraction of welding seam image based on laser vision
CN111192307B (zh) 基于激光切割三维零部件的自适应纠偏方法
Xu et al. Visual sensing technologies in robotic welding: Recent research developments and future interests
CN109604777A (zh) 基于激光结构光的焊缝视觉跟踪系统及方法
Usamentiaga et al. Fast and robust laser stripe extraction for 3D reconstruction in industrial environments
Fang et al. Visual seam tracking system for butt weld of thin plate
CN113427168A (zh) 一种焊接机器人实时焊缝跟踪装置及方法
CN106312397A (zh) 一种激光视觉引导的焊接轨迹自动跟踪系统及方法
CN112529858A (zh) 一种基于机器视觉的焊缝图像处理方法
CN112365439B (zh) 一种镀锌钢gmaw焊缝成形特征与焊枪方向同步实时检测方法
Zhou et al. Autonomous acquisition of seam coordinates for arc welding robot based on visual servoing
Hou et al. A teaching-free welding method based on laser visual sensing system in robotic GMAW
Ma et al. Efficient and accurate start point guiding and seam tracking method for curve weld based on structure light
CN113894481A (zh) 复杂空间曲线焊缝的焊接位姿调整方法及装置
Gao et al. A method of feature extraction of position detection and weld gap for GMAW seam tracking system of fillet weld with variable gaps
CN112238292A (zh) 一种基于视觉的搅拌摩擦焊机器人空间曲线轨迹跟踪方法
CN108788467A (zh) 一种面向航天构件的智能激光焊接系统
Wu et al. Research on robust laser vision feature extraction method for fillet welds with different reflective materials under uncertain interference
CN109671059B (zh) 一种基于OpenCV的电池盒图像处理方法及系统
Lin et al. Intelligent seam tracking of an ultranarrow gap during K-TIG welding: a hybrid CNN and adaptive ROI operation algorithm
CN114669835B (zh) 基于喷粉式视觉传感的表面强反光工件焊缝位姿提取方法
CN114066752A (zh) 面向焊缝跟踪的线结构光骨架提取及毛刺去除方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant