CN112440039A - 基于多线结构光投影的焊缝智能光电跟踪系统及测量方法 - Google Patents

基于多线结构光投影的焊缝智能光电跟踪系统及测量方法 Download PDF

Info

Publication number
CN112440039A
CN112440039A CN201910819941.0A CN201910819941A CN112440039A CN 112440039 A CN112440039 A CN 112440039A CN 201910819941 A CN201910819941 A CN 201910819941A CN 112440039 A CN112440039 A CN 112440039A
Authority
CN
China
Prior art keywords
welding
line
structured light
welding seam
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910819941.0A
Other languages
English (en)
Inventor
宋旸
王睿尧
时梦洁
纪运景
李振华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201910819941.0A priority Critical patent/CN112440039A/zh
Publication of CN112440039A publication Critical patent/CN112440039A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B23K37/02—Carriages for supporting the welding or cutting element
    • B23K37/0252—Steering means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups

Landscapes

  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Laser Beam Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于多线结构光投影的焊缝智能光电跟踪系统及测量方法，包括线激光器、光栅和工业相机，其中线激光器用于产生光源；光栅用于将单线结构光分成多线结构光；工业相机用于采集在仅有多线结构光照射情况下的焊缝图像；线激光器与工业相机位于同一垂直面上，光栅垂直于激光器光轴放置；激光倾斜入射，通过光栅分为多线结构光，工业相机用垂直采集的方式来扫描焊板。本发明适用于实时的焊缝轨迹检测，通过多线结构光投影不仅能跟踪焊缝的宽度，还能够重建焊接区域的三维表面形貌；结合卷积神经网络，能判断结构光焊缝图像的类别，提高处理的鲁棒性。

Description

基于多线结构光投影的焊缝智能光电跟踪系统及测量方法
技术领域
本发明属于智能焊接技术领域，具体涉及一种基于多线结构光投影的焊缝智能光电跟踪系统及测量方法。
背景技术
在机械加工、汽车制造等国家支柱行业里，焊接是其零部件生产或者组装过程中必不可少的重要工艺之一，焊接过程的质量和效率直接决定着整个产品的质量和效率。随着传感技术和工业机器人技术的发展，以及制造业对焊接效率和焊接质量的要求提升和人性化工作环境的需要，工业使用机器人等相关智能技术借助机械臂完成了焊缝的自动跟踪过程。面对复杂的焊接任务，机器人的使用不仅减轻了工厂焊接专员的工作量，而且显著增加了焊接精细度，因此智能化焊接技术成为研究焦点。
自动化、计算机等相关技术的发展正逐步使焊接过程智能化。目前，与传感技术结合的智能焊接机器人可以主动获取外界信息，这意味着焊接机器人可以完成对焊板参数的实时监测，以便实现焊接的自动调整。随着人工神经网络、模糊控制等技术理论的发展和应用，焊缝轨迹的传感技术和跟踪算法取得了更大的进展。现有的焊缝识别系统大多使用单线结构光，在此情况下相机虽然可以采集到焊缝的图像，但是获得的信息较少。
发明内容
本发明的目的在于提供一种基于多线结构光投影的焊缝智能光电跟踪系统及测量方法，通过多线结构光投影不仅能跟踪焊缝的宽度，还能够重建焊接区域的三维表面形貌。
实现本发明目的的技术解决方案为：一种基于多线结构光投影的焊缝智能光电跟踪系统，包括线激光器、光栅和工业相机；其中线激光器用于产生光源，光栅用于将单线结构光分成多线结构光，工业相机用于采集在仅有多线结构光照射情况下的焊缝图像；所述的线激光器与工业相机位于同一垂直面上，光栅垂直于线激光器光轴放置。
一种基于多线结构光投影的焊缝智能光电跟踪系统的测量方法，包括如下步骤：
步骤1，搭建焊缝智能光电跟踪系统：将线激光器与工业相机放置于同一竖直面，线激光器倾斜放置，工业相机垂直放置，并保持二者相对位置固定；光栅垂直于激光器光轴放置；
步骤2，采集各种类型焊缝的图像：在无自然光的条件下，线激光器产生单线结构光，经过光栅分为多线结构光后照射到带有焊缝的实验板上，与此同时工业相机采集多幅焊缝的图像，该图像即为测量图像；
步骤3，根据测量图像对焊缝进行分类和点识别：采集图片，搭建卷积神经网络对不同种类的焊缝进行分类，筛选出搭接型焊缝和对接型焊缝图像，求出它们的条纹中心以及焊缝点位置，用以跟踪焊缝的宽度和重建焊接区域的三维表面形貌。
本发明与现有技术相比，其显著优点为：(1)本发明采用光栅将单线结构光分为多线结构光，可以为后续跟踪焊缝提供更多的信息；(2)本发明采用卷积神经网络对采集到的图像进行分类并筛选需要处理的图像，提出通过添加BN层以及池化层来优化网络结构，并通过实验得到了最优网络模型，大大节约了时间；CNN可以共享卷积核，处理高维数据，同时它的特征分类效果也很好；(3)本发明通过点提取算法得到焊缝中心点的运动趋势，提高了测量精度。
附图说明
图1为本发明基于多线结构光投影的焊缝智能光电跟踪系统的结构示意图。
图2为本发明的测量方法流程图。
图3为实施例中采集的各类焊缝的图像，其中(a)为对接型焊缝图像，(b)为搭接型焊缝图像，(c)为无焊缝图像，(d)为无效图像。
图4为实施例中得到的对接型焊缝断面图和搭接型焊缝中心线图像。
具体实施方式
如图1所示，一种基于多线结构光投影的焊缝智能光电跟踪系统，包括线激光器，光栅和工业相机，其中线激光器用于产生高准直性的光源；光栅用于将单线结构光分成多线结构光；工业相机用于采集在仅有多线结构光照射情况下的焊缝图像。所述的线激光器与工业相机位于同一垂直面上，光栅垂直于激光器光轴放置。
激光倾斜入射，通过光栅分为多线结构光，工业相机用垂直采集的方式来扫描焊板。
如图2所示，基于多线结构光投影的焊缝智能光电跟踪系统的测量方法，包括如下步骤：
步骤1，搭建焊缝智能光电跟踪系统：将线激光器与工业相机放置于同一竖直面，线激光器倾斜放置，工业相机垂直放置，并保持二者相对位置固定；光栅垂直于激光器光轴放置；
步骤2，采集各种类型焊缝的图像：在无自然光的条件下，线激光器产生单线结构光，经过光栅分为多线结构光后照射到带有焊缝的实验板上，与此同时工业相机采集多幅焊缝的图像，该图像即为测量图像；
步骤3，根据测量图像对焊缝进行分类和点识别：采集大量图片，搭建卷积神经网络对不同种类的焊缝进行分类，筛选出需要进一步处理的图像，再求出它们的条纹中心以及焊缝点位置，用以跟踪焊缝的宽度和重建焊接区域的三维表面形貌。
进一步的，步骤3的具体方法为：
步骤3.1：通过CNN模型搭建卷积神经网络，将焊缝分为对接型，搭接型，无焊缝图像和无效图像；
步骤3.2：清洗其中无需处理的图像，并对数据集进行增广；
步骤3.3：采用灰度重心法对前两种类型(对接型，搭接型)的焊缝进行中心线提取，并计算出他们的焊缝点位置；
步骤3.4：计算对接型焊缝的焊缝中心点以及焊缝断面图，以跟踪焊缝的宽度；计算搭接型焊缝两边的高度差，用以重建焊接区域的三维表面形貌。
本发明适用于实时的焊缝轨迹检测，通过多线结构光投影不仅能跟踪焊缝的宽度，还能够重建焊接区域的三维表面形貌。结合卷积神经网络，能判断结构光焊缝图像的类别，提高处理的鲁棒性。
下面结合实施例对本发明进行详细说明。
实施例
按照图1方式，搭建基于多线结构光投影的焊缝智能光电跟踪系统，在实验台上放置线激光器1，光栅和工业相机3，线激光器1与工业相机3位于同一垂直面上，光栅垂直于激光器光轴放置。系统中线激光器1与工业相机3的夹角为45°，相机载物台的距离ZA＝200mm。在没有第三方光源的黑暗环境下进行测量。图3为相机中采集的各类焊缝的图像，接下来利用CNN模型搭建卷积神经网络，通过大量图片的训练将采集到的图像分为对接型焊缝图像、搭接型焊缝图像、无焊缝图像以及无效图像。
在实施例中，选取多线结构光条纹中的一套，使用灰度重心法对分类出来的对接型焊缝和搭接型焊缝进行中心线提取，并计算对接型焊缝的焊缝中心点以及焊缝断面图，得到图4所示的对接型焊缝断面图和搭接型焊缝中心线图像，实验结果与我们的实验焊缝板的裂缝趋势基本一致，接下来通过相机标定等步骤来跟踪焊缝的宽度和重建焊接区域的三维表面形貌。

Claims (4)

1.一种基于多线结构光投影的焊缝智能光电跟踪系统，其特征在于，包括线激光器、光栅和工业相机；其中线激光器用于产生光源，光栅用于将单线结构光分成多线结构光，工业相机用于采集在仅有多线结构光照射情况下的焊缝图像；所述的线激光器与工业相机位于同一垂直面上，光栅垂直于线激光器光轴放置。
2.根据权利要求1所述的基于多线结构光投影的焊缝智能光电跟踪系统，其特征在于，激光倾斜入射，通过光栅分为多线结构光，工业相机用垂直采集的方式扫描焊板。
3.一种基于权利要求1或2所述基于多线结构光投影的焊缝智能光电跟踪系统的测量方法，其特征在于，包括如下步骤：
步骤1，搭建焊缝智能光电跟踪系统：将线激光器与工业相机放置于同一竖直面，线激光器倾斜放置，工业相机垂直放置，并保持二者相对位置固定；光栅垂直于激光器光轴放置；
步骤2，采集各种类型焊缝的图像：在无自然光的条件下，线激光器产生单线结构光，经过光栅分为多线结构光后照射到带有焊缝的实验板上，与此同时工业相机采集多幅焊缝的图像，该图像即为测量图像；
步骤3，根据测量图像对焊缝进行分类和点识别：采集图片，搭建卷积神经网络对不同种类的焊缝进行分类，筛选出搭接型焊缝和对接型焊缝图像，求出它们的条纹中心以及焊缝点位置，用以跟踪焊缝的宽度和重建焊接区域的三维表面形貌。
4.根据权利要求3基于多线结构光投影的焊缝智能光电跟踪系统的测量方法，其特征在于，步骤3的具体方法为：
步骤3.1，通过CNN模型搭建卷积神经网络，将焊缝分为对接型、搭接型、无焊缝图像和无效图像；
步骤3.2，清洗其中无需处理的图像，即无效图像和无焊缝图像，并对数据集进行增广；
步骤3.3，采用灰度重心法对对接型、搭接型的焊缝进行中心线提取，并计算出他们的焊缝点位置；
步骤3.4，计算对接型焊缝的焊缝中心点以及焊缝断面图，以跟踪焊缝的宽度；计算搭接型焊缝两边的高度差，用以重建焊接区域的三维表面形貌。
CN201910819941.0A 2019-08-31 2019-08-31 基于多线结构光投影的焊缝智能光电跟踪系统及测量方法 Pending CN112440039A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910819941.0A CN112440039A (zh) 2019-08-31 2019-08-31 基于多线结构光投影的焊缝智能光电跟踪系统及测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910819941.0A CN112440039A (zh) 2019-08-31 2019-08-31 基于多线结构光投影的焊缝智能光电跟踪系统及测量方法

Publications (1)

Publication Number Publication Date
CN112440039A true CN112440039A (zh) 2021-03-05

Family

ID=74734907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910819941.0A Pending CN112440039A (zh) 2019-08-31 2019-08-31 基于多线结构光投影的焊缝智能光电跟踪系统及测量方法

Country Status (1)

Country Link
CN (1) CN112440039A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114714355A (zh) * 2022-04-14 2022-07-08 广州东焊智能装备有限公司 自主移动焊接机器人嵌入式视觉跟踪控制系统
WO2023247177A1 (de) * 2022-06-20 2023-12-28 Trumpf Laser Gmbh SYSTEM UND VERFAHREN ZUR FEHLERKONTROLLE VON LASERSCHWEIßPROZESSEN

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104816072A (zh) * 2015-05-15 2015-08-05 大连大学 复杂曲面薄壁板材细微拼缝激光测量焊接跟踪方法及系统
CN109035204A (zh) * 2018-06-25 2018-12-18 华南理工大学 一种焊缝目标实时检测方法
CN109034204A (zh) * 2018-07-02 2018-12-18 西安交通大学 一种基于改进卷积神经网络的焊缝缺陷识别方法
CN109676243A (zh) * 2019-01-21 2019-04-26 苏州实创德光电科技有限公司 基于双线激光结构光的焊缝识别与跟踪系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104816072A (zh) * 2015-05-15 2015-08-05 大连大学 复杂曲面薄壁板材细微拼缝激光测量焊接跟踪方法及系统
CN109035204A (zh) * 2018-06-25 2018-12-18 华南理工大学 一种焊缝目标实时检测方法
CN109034204A (zh) * 2018-07-02 2018-12-18 西安交通大学 一种基于改进卷积神经网络的焊缝缺陷识别方法
CN109676243A (zh) * 2019-01-21 2019-04-26 苏州实创德光电科技有限公司 基于双线激光结构光的焊缝识别与跟踪系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114714355A (zh) * 2022-04-14 2022-07-08 广州东焊智能装备有限公司 自主移动焊接机器人嵌入式视觉跟踪控制系统
CN114714355B (zh) * 2022-04-14 2023-08-08 广州东焊智能装备有限公司 自主移动焊接机器人嵌入式视觉跟踪控制系统
WO2023247177A1 (de) * 2022-06-20 2023-12-28 Trumpf Laser Gmbh SYSTEM UND VERFAHREN ZUR FEHLERKONTROLLE VON LASERSCHWEIßPROZESSEN

Similar Documents

Publication Publication Date Title
Yang et al. Real-time tiny part defect detection system in manufacturing using deep learning
Huang et al. A laser-based vision system for weld quality inspection
CN102279190B (zh) 一种激光焊接不等厚板焊缝表面缺陷图像检测方法
Senthil Kumar et al. Vision inspection system for the identification and classification of defects in MIG welding joints
CN105157603B (zh) 一种线激光传感器
CN102455171B (zh) 一种激光拼焊焊缝背面几何形貌检测方法
CN106392304B (zh) 一种激光辅助焊缝智能寻迹系统及方法
CN110728667A (zh) 一种基于灰度图像概率的刀具磨损量自动精确测量方法
CN102699534A (zh) 基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法
Ma et al. Binocular vision system for both weld pool and root gap in robot welding process
CN112440039A (zh) 基于多线结构光投影的焊缝智能光电跟踪系统及测量方法
CN110065068A (zh) 一种基于逆向工程的机器人装配作业演示编程方法及装置
CN109991306A (zh) 基于荧光磁粉的金属工件焊接缺陷的分类识别与定位
CN113554587A (zh) 一种基于深度学习的熔池图像几何特征提取方法及系统
CN115619738A (zh) 一种模组侧缝焊焊后检测方法
CN114473309A (zh) 用于自动焊接系统的焊接位置识别方法及自动焊接系统
Tian et al. Surface defects detection of stamping and grinding flat parts based on machine vision
CN116228652A (zh) 一种基于三维点云曲率的管道焊缝表面缺陷检测方法
Hou et al. Online monitoring technology of metal powder bed fusion processes: A review
Wei et al. Wear and breakage detection of integral spiral end milling cutters based on machine vision
Lin et al. Intelligent seam tracking of an ultranarrow gap during K-TIG welding: a hybrid CNN and adaptive ROI operation algorithm
CN112683166B (zh) 一种模切产品尺寸检测方法
CN113551599A (zh) 一种基于结构光导向的焊缝位置偏差视觉跟踪方法
CN113909689A (zh) 一种激光光条的管道焊接坡口特征提取方法
Ye et al. Weld seam tracking based on laser imaging binary image preprocessing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210305