CN109483017A - 一种基于图像识别的焊缝跟踪系统及其优化方法 - Google Patents

一种基于图像识别的焊缝跟踪系统及其优化方法 Download PDF

Info

Publication number
CN109483017A
CN109483017A CN201811232757.8A CN201811232757A CN109483017A CN 109483017 A CN109483017 A CN 109483017A CN 201811232757 A CN201811232757 A CN 201811232757A CN 109483017 A CN109483017 A CN 109483017A
Authority
CN
China
Prior art keywords
image
welding
weld
seam
weld seam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811232757.8A
Other languages
English (en)
Inventor
肖力
蔡盛腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan University of Technology
Original Assignee
Dongguan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan University of Technology filed Critical Dongguan University of Technology
Priority to CN201811232757.8A priority Critical patent/CN109483017A/zh
Publication of CN109483017A publication Critical patent/CN109483017A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B23K9/127—Means for tracking lines during arc welding or cutting
    • B23K9/1272—Geometry oriented, e.g. beam optical trading
    • B23K9/1274—Using non-contact, optical means, e.g. laser means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/16—Arc welding or cutting making use of shielding gas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/32—Accessories
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Plasma & Fusion (AREA)
  • Robotics (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Laser Beam Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

一种图像识别的焊缝跟踪系统及其轨迹规划方法，不仅能解决快速的实现数据传输，且易于形成各种类型的移动式图像处理工作站，适用性强，利于焊缝图像处理软件开发应用；并通过对焊缝图像进行预处理等一系列滤除噪声、提取焊缝条纹信息的处理过程。

Description

一种基于图像识别的焊缝跟踪系统及其优化方法
技术领域
本发明涉及一种焊缝跟踪识别系统以及其轨迹规划方法，特别涉及一种基于图像识别的焊缝跟踪系统及其优化方法。
背景技术
焊接有着“工业裁缝”之称，在制造业中占据非常重要的地位，焊接技术广泛应用在工业生产的各行各业中；随着科技的发展和人们生活水平的提高，人们对产品的质量和工作环境的要求也越来越高，这就对焊接技术提出了更高的要求；传统的手工焊接质量差、效率低、工人的工作环境恶劣，己经无法满足当今人们对于产品质量、工作效率以及工作环境的要求，实现焊接的自动化已经成为焊接技术发展的必然趋势；融合了焊接技术与机器人技术的焊接机器人近年来得到了快速的发展，焊接机器人主要有两种应用方式，即点焊机器人和弧焊机器人。
Bae等在大型钢管的接焊时，采用被动视觉技术，从熔池的侧面采集图像，实现了焊缝跟踪的实时性来进行熔池控制，提高了焊缝质量，取得了良好的效果；Quintino等论述了在激光焊接对接焊中焊缝间隙小于0.1mm时，主动视觉技术不能采用光学三角原理来测量焊缝位置，容易使激光束焦点偏离，造成焊缝缺陷，此时采用被动视觉技术对熔池图像进行提取分析，满足了焊接要求，提高了焊接质量；Gao等根据大功率激光对接焊中产生的匙孔效应现象，采用视觉红外传感器获取匙孔形熔池的三维红外特征，再经过图像处理，最终获得较为精确的焊缝轨迹；XU等利用焊接机器人在惰性气体保护焊中的工况，提出一种采用基于被动视觉的焊缝跟踪系统克服焊接缺陷的研究方法，在焊接过程中得到清晰稳定的图像；在1997年，KAbdel-Malek和HJYeh提出了一种应用数学计算的方法来验证机械臂在空间运行轨迹的准确性和完整性，以确保机械臂焊接过程的顺利进行和焊缝的完整，为后来的焊接机器人空间轨迹规划提供了数学依据；2012年，天津大学的Chen等提出了一种针对管球相贯线J型坡口焊接接头的空间轨迹规划方法，该方法不仅能提高焊接效率而且极大地提高了焊接质量，在目前的管球相贯线焊接生产中具有很大的实用价值和应用前景；2011年，中国工程物理研究院的曾翠华等基于弗莱纳-雪列空间矢量针对焊接球罐和圆柱的空间曲线焊缝进行了焊接机器人离线编程轨迹规划，有效阐述了焊接机器人离线编程技术的弗莱纳一雪列空间矢量原理和轨迹规划算法。
国外的视觉产品价格高，且系统复杂，需要专业技术支持。而国内研究而在视觉传感焊缝跟踪方面研究不少，但都没有形成视觉传感产品；综上所述，视觉传感器已成为焊接领域获取信息的重要手段之一，一般采用激光扫描或结构光视觉法，而高性能的激光结合现代CCD技术已经成为视觉发展的方向之一。
发明内容
本发明目的在于提供一种图像识别的焊缝跟踪系统及其轨迹规划方法，不仅能解决快速的实现数据传输，且易于形成各种类型的移动式图像处理工作站，适用性强，利于焊缝图像处理软件开发应用；并通过对焊缝图像进行预处理等一系列滤除噪声、提取焊缝条纹信息的处理过程。
发明具体内容如下：
一种基于图像识别的焊缝跟踪系统，其包括：视觉传感器、焊接小车、CO2保护气、抽头式CO2气体保护焊枪、送丝机、十字滑架、运算控制箱和计算机，视觉传感器安装于抽头式CO2气体保护焊枪的前进侧，抽头式CO2气体保护焊枪安装于十字滑架上，由十字滑架驱动抽头式CO2气体保护焊枪横向和纵向移动，十字滑架与运算控制箱和计算机相连，视觉传感器与计算机相连；焊接小车承载焊接母材实现焊接方向的移动。
进一步地，视觉传感器包括激光器、CCD摄像头、滤光片以及附加的冷却、吹灰和温控系统。
进一步地，视觉传感器还包括图像采集卡，图像采集卡采用USB串口通信图像采集卡。
进一步地，激光输出波长是600nm，激光器由会聚透镜和材料为K9、p13mm的柱透镜构成；调节两镜距离使其能在60-100mm工作面上产生线长35-~40mm，线宽1mm的光纹。
一般来说，焊接弧光是由原子光谱、离子光谱和连续谱组成，采用钨极气体保护焊（GTAW）焊接工艺、焊接电流50A、弧光3mm情况下，低碳钢阳极的电弧光谱线分析，弧光是不连续光谱，熔池金属辐射光是连续光谱；整个谱线在较低的连续谱上叠加了许多不连续的谱线，而这些不连续的谱成份就是弧光成份，在600-700nm波长区域弧光成份最弱，也比较稳定；所以，选择中心波长在600nm~700nm之间的滤光片能较好的滤除弧光。
本发明选用峰值波长650mm，峰值透过率高达63%的滤光片，有效地排除焊接时产生的大量弧光干扰，从而获得相对清晰的焊缝图像。
进一步地，弧焊传感器所用激光二及管的中心波长最好为467mm、594nm、610mm、632nm和950nm。
进一步地，冷却吹灰系统由热敏电阻组成的桥式自动温控电路， CCD的工作温度-20℃-50℃，激光器工作温度-10℃-40℃，设定当传感器内部温度高于CCD和激光器正常工作温度40℃时，产生报警并切断CCD和激光器的电源；吹灰系统是在焊枪和传感器中间吹入5L/min的空气，流动的空气能削弱烟尘对焊缝区域的影响。
进一步地，传感器以预先设定的距离超前安装在焊枪前面，CCD拍摄焊枪前方焊缝图像，焊枪到防飞溅挡板的距离40mm，传感器到工件的距离即安装高度70-80mm，同时由于激光器的安装高度位置致使打到焊接工件上的激光条纹长度定位在35-40mm。
进一步地，系统控制箱与计算机可以完成激光视觉传感焊接机器人焊缝轨迹跟踪的系列控制，是计算机与视觉采集信号之间以及计算机与步进电机之间实现数据通信的过程；视频采集信号经计算机图像处理获得焊缝偏差量，偏差量经过数模转换和自制ACWD控制板，以脉冲量的形式传输给十字滑架的步进电机，电机根据脉冲量的大小及脉冲时间调整电机旋转，从而带动十字滑架左右移动，实现消除偏差；系统控制箱面板主要包括系统总开关、起弧开关、激光器开关和ACWD控制板，还控制送丝机、电焊机、焊接小车、电动十字滑架。
进一步地，焊接小车分驱动小车和从动小车两部分，它们被水平的连接在一起，从动小车上放置焊接母材并连接焊机负极和系统地线，驱动小车的运动带动从动小车，从而使焊接母材运动，驱动小车的输入电压为AC220V、频率50Hz、功率60W，在轨道上匀速行走的速度范围为50-750mm/min。
一种基于图像识别的焊缝跟踪系统的轨迹规划方法，包括：对采集的平面曲线焊缝图像进行处理，对图像进行预处理，包括提取感兴趣区域、图像的灰度化处理、灰度直方图的均衡以及图像的二值化；提取焊缝路径信息，对焊缝进行边缘检测，采用Canny边缘检测算法得到焊缝路径的双边缘；利用局部阀值分割法提取焊缝路径中心线的方法对图像进行二值化，并利用求平均值法提取焊缝路径中心线坐标，并利用MATLAB对焊缝中心线坐标进行拟合，得出焊缝路径中心线在图像坐标系下的方程，利用坐标变换公式将该方程转换为世界坐标系下的焊缝路径方程，经图像处理后得到了焊缝路径，在焊接作业前，需要对其进行轨迹规划，建立焊缝及焊枪的姿态模型，定量描述焊缝在三维空间中所处的焊接位置和焊枪相对焊缝的姿态，确保焊枪中心平稳地沿着焊缝路径进行作业。
进一步地，提取感兴趣区域包括根据焊件和焊缝的几何特征，设置图像处理窗口，仅对感兴趣的焊缝区域进行处理。
进一步地，图像灰度化处理包括把由RGB三通道数据的彩色图像变为单通道数据的灰度图像。
进一步地，图像的二值化为将图像上像素点的灰度值设为0或255，即将整个图像呈现出明显的黑白效果，图像的二值化通过选取适当的阀值将256个亮度等级的灰度图像转换为可以反映图像整体和局部特征的二值化图像。
进一步地，焊缝边缘检测采用canny边缘检测算子进行边缘化处理，在进行处理前，Canny算子先利用高斯平滑滤波器对图像进行平滑，以去除噪声，该算法采用一阶偏导的有限差分计算梯度幅值和方向，且在处理过程中，对非极大值有抑制的作用，Canny算子采用两个阀值对边缘进行连接，对焊缝边缘进行处理。
进一步地，利用MATLAB 对焊缝中心线进行拟合包括：在得到焊缝中心线图像后，提取焊缝中心线在图像坐标系下的坐标，再利用MATLAB 对焊缝中心线进行拟合，可得到焊缝中心线在图像坐标系下的方程，平面曲线焊缝为样条曲线，其在图像坐标系下的方程可用三次多项式表示：
(1)
提取式（1）中的若干点，经坐标转换可得到其在世界坐标系下的坐标，再利用MATLAB的拟合功能将得到世界坐标系下的焊缝路径方程：
（2）。
进一步地，焊缝及焊枪的姿态模型包括建立平面曲线焊缝特征坐标系，根据求得的焊缝在图像坐标系下的方程（2），可得平面曲线焊缝的参数方程：
（3）。
本发明的有益效果是:
1、通过选用合适的辅助光源、CCD摄像机、滤光片、图像采集卡等关键部分，采用USB串口通信图像采集卡与原来插槽式的图像采集卡相比，不仅能够快速的实现数据传输，且易于形成各种类型的移动式图像处理工作站，使用性枪。
2、选用了冷却吹灰系统和自动温度控制，确保整个传感器系统能正常稳定的工作。
3、采用图像预处理工序，获取感兴趣区域并对该区域图像进行灰度化处理、灰度直方图的均衡以及图像的二值化，提高了图像的识别率，使焊缝轨迹路径更加精确。
具体实施方式
以下将对本发明各实施例的技术方案进行清楚、完整的描述，显然，所 描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例；基于本 发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到 的所有其它实施例，都属于本发明所保护的范围。
此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理 解为指示或暗示相对重要性；在本发明的描述中，需要说明的是，除非另有 明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例 如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连 接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可 以是两个元件内部的连通；对于本领域的普通技术人员而言，可以具体情况 理解上述术语在本发明中的具体含义。
下面通过具体的实施例对本发明做进一步的详细描述。
实施例一
一种基于图像识别的焊缝跟踪系统，其包括：视觉传感器、焊接小车、CO2保护气、抽头式CO2气体保护焊枪、送丝机、十字滑架、运算控制箱和计算机，视觉传感器安装于抽头式CO2气体保护焊枪的前进侧，抽头式CO2气体保护焊枪安装于十字滑架上，由十字滑架驱动抽头式CO2气体保护焊枪横向和纵向移动，十字滑架与运算控制箱和计算机相连，视觉传感器与计算机相连；焊接小车承载焊接母材实现焊接方向的移动。
视觉传感器包括激光器、CCD摄像头、滤光片以及附加的冷却、吹灰和温控系统。
视觉传感器还包括图像采集卡，图像采集卡采用USB串口通信图像采集卡。
激光输出波长是600nm，激光器由会聚透镜和材料为K9、p13mm的柱透镜构成；调节两镜距离使其能在60mm工作面上产生线长35mm，线宽1mm的光纹。
弧焊传感器所用激光二及管的中心波长最好为467mm。
冷却吹灰系统由热敏电阻组成的桥式自动温控电路，CCD的工作温度-20℃-50℃，激光器工作温度-10℃-40℃，设定当传感器内部温度高于CCD和激光器正常工作温度40℃时，产生报警并切断CCD和激光器的电源；吹灰系统是在焊枪和传感器中间吹入5L/min的空气，流动的空气能削弱烟尘对焊缝区域的影响。
传感器以预先设定的距离超前安装在焊枪前面，CCD拍摄焊枪前方焊缝图像，焊枪到防飞溅挡板的距离40mm，传感器到工件的距离即安装高度70-80mm，同时由于激光器的安装高度位置致使打到焊接工件上的激光条纹长度定位在35-40mm。
系统控制箱与计算机用于完成激光视觉传感焊接机器人焊缝轨迹跟踪的系列控制，是计算机与视觉采集信号之间以及计算机与步进电机之间实现数据通信的过程；视频采集信号经计算机图像处理获得焊缝偏差量，偏差量经过数模转换和自制ACWD控制板，以脉冲量的形式传输给十字滑架的步进电机，电机根据脉冲量的大小及脉冲时间调整电机旋转，从而带动十字滑架左右移动，实现消除偏差；系统控制箱面板主要包括系统总开关、起弧开关、激光器开关和ACWD控制板，还控制送丝机、电焊机、焊接小车、电动十字滑架。
焊接小车分驱动小车和从动小车两部分，它们被水平的连接在一起，从动小车上放置焊接母材并连接焊机负极和系统地线，驱动小车的运动带动从动小车，从而使焊接母材运动；驱动小车的输入电压为AC220V、频率50Hz、功率60W，在轨道上匀速行走的速度范围为50-750mm/min。
实施例二
一种基于图像识别的焊缝跟踪系统，其包括：视觉传感器、焊接小车、CO2保护气、抽头式CO2气体保护焊枪、送丝机、十字滑架、运算控制箱和计算机，视觉传感器安装于抽头式CO2气体保护焊枪的前进侧，抽头式CO2气体保护焊枪安装于十字滑架上，由十字滑架驱动抽头式CO2气体保护焊枪横向和纵向移动，十字滑架与运算控制箱和计算机相连，视觉传感器与计算机相连；焊接小车承载焊接母材实现焊接方向的移动。
视觉传感器包括激光器、CCD摄像头、滤光片以及附加的冷却、吹灰和温控系统。
视觉传感器还包括图像采集卡，图像采集卡采用USB串口通信图像采集卡。
激光输出波长是600nm，激光器由会聚透镜和材料为K9、p13mm的柱透镜构成；调节两镜距离使其能在100mm工作面上产生线长40mm，线宽1mm的光纹。
弧焊传感器所用激光二及管的中心波长最好为950mm。
冷却吹灰系统由热敏电阻组成的桥式自动温控电路，CCD的工作温度-20℃-50℃，激光器工作温度-10℃-40℃，设定当传感器内部温度高于CCD和激光器正常工作温度40℃时，产生报警并切断CCD和激光器的电源；吹灰系统是在焊枪和传感器中间吹入5L/min的空气，流动的空气能削弱烟尘对焊缝区域的影响。
传感器以预先设定的距离超前安装在焊枪前面，CCD拍摄焊枪前方焊缝图像，焊枪到防飞溅挡板的距离40mm，传感器到工件的距离即安装高度70-80mm，同时由于激光器的安装高度位置致使打到焊接工件上的激光条纹长度定位在35-40mm。
系统控制箱与计算机用于完成激光视觉传感焊接机器人焊缝轨迹跟踪的系列控制，是计算机与视觉采集信号之间以及计算机与步进电机之间实现数据通信的过程；视频采集信号经计算机图像处理获得焊缝偏差量，偏差量经过数模转换和自制ACWD控制板，以脉冲量的形式传输给十字滑架的步进电机，电机根据脉冲量的大小及脉冲时间调整电机旋转，从而带动十字滑架左右移动，实现消除偏差；系统控制箱面板主要包括系统总开关、起弧开关、激光器开关和ACWD控制板，还可控制送丝机、电焊机、焊接小车、电动十字滑架。
焊接小车分驱动小车和从动小车两部分，它们被水平的连接在一起，从动小车上放置焊接母材并连接焊机负极和系统地线，驱动小车的运动带动从动小车，从而使焊接母材运动；驱动小车的输入电压为AC220V、频率50Hz、功率60W，在轨道上匀速行走的速度范围为50-750mm/min。
实施例三
一种基于图像识别的焊缝跟踪系统，其包括：视觉传感器、焊接小车、CO2保护气、抽头式CO2气体保护焊枪、送丝机、十字滑架、运算控制箱和计算机，视觉传感器安装于抽头式CO2气体保护焊枪的前进侧，抽头式CO2气体保护焊枪安装于十字滑架上，由十字滑架驱动抽头式CO2气体保护焊枪横向和纵向移动，十字滑架与运算控制箱和计算机相连，视觉传感器与计算机相连；焊接小车承载焊接母材实现焊接方向的移动。
视觉传感器包括激光器、CCD摄像头、滤光片以及附加的冷却、吹灰和温控系统。
视觉传感器还包括图像采集卡，图像采集卡采用USB串口通信图像采集卡。
激光输出波长是600nm，激光器由会聚透镜和材料为K9、p13mm的柱透镜构成；调节两镜距离使其能在60mm工作面上产生线长35mm，线宽1mm的光纹。
弧焊传感器所用激光二及管的中心波长最好为610mm。
冷却吹灰系统由热敏电阻组成的桥式自动温控电路，CCD的工作温度-20℃-50℃，激光器工作温度-10℃-40℃，设定当传感器内部温度高于CCD和激光器正常工作温度40℃时，产生报警并切断CCD和激光器的电源；吹灰系统是在焊枪和传感器中间吹入5L/min的空气，流动的空气能削弱烟尘对焊缝区域的影响。
传感器以预先设定的距离超前安装在焊枪前面，CCD拍摄焊枪前方焊缝图像，焊枪到防飞溅挡板的距离40mm，传感器到工件的距离即安装高度70-80mm，同时由于激光器的安装高度位置致使打到焊接工件上的激光条纹长度定位在35-40mm。
系统控制箱与计算机用于完成激光视觉传感焊接机器人焊缝轨迹跟踪的系列控制，是计算机与视觉采集信号之间以及计算机与步进电机之间实现数据通信的过程；视频采集信号经计算机图像处理获得焊缝偏差量，偏差量经过数模转换和自制ACWD控制板，以脉冲量的形式传输给十字滑架的步进电机，电机根据脉冲量的大小及脉冲时间调整电机旋转，从而带动十字滑架左右移动，实现消除偏差；系统控制箱面板主要包括系统总开关、起弧开关、激光器开关和ACWD控制板，还可控制送丝机、电焊机、焊接小车、电动十字滑架。
焊接小车分驱动小车和从动小车两部分，它们被水平的连接在一起，从动小车上放置焊接母材并连接焊机负极和系统地线，驱动小车的运动带动从动小车，从而使焊接母材运动；驱动小车的输入电压为AC220V、频率50Hz、功率60W，在轨道上匀速行走的速度范围为50-750mm/min。
通过上述三个实施例对焊缝进行图像跟踪，一般来说，焊接弧光是由原子光谱、离子光谱和连续谱组成，采用钨极气体保护焊（GTAW）焊接工艺、焊接电流50A、弧光3mm情况下，低碳钢阳极的电弧光谱线分析，弧光是不连续光谱，熔池金属辐射光是连续光谱。整个谱线在较低的连续谱上叠加了许多不连续的谱线，而这些不连续的谱成份就是弧光成份，在600-700nm波长区域弧光成份最弱，也比较稳定。所以，选择中心波长在600nm~700nm之间的滤光片能较好的滤除弧光。本文选用峰值波长650mm，峰值透过率高达63%的滤光片，有效地排除焊接时产生的大量弧光干扰，从而获得相对清晰的焊缝图像。弧焊传感器所用激光二及管的中心波长最好为467mm、594nm、610mm、632nm和950nm。
三个实施例的路劲规划方法按下述方式进行：
基于图像识别的焊缝跟踪系统的轨迹规划方法，该方法包括：对采集的平面曲线焊缝图像进行处理，对图像进行预处理，包括提取感兴趣区域、图像的灰度化处理、灰度直方图的均衡以及图像的二值化；提取焊缝路径信息，对焊缝进行边缘检测，采用Canny边缘检测算法得到焊缝路径的双边缘；利用局部阀值分割法提取焊缝路径中心线的方法对图像进行二值化，并利用求平均值法提取焊缝路径中心线坐标，并利用MATLAB对焊缝中心线坐标进行拟合，得出焊缝路径中心线在图像坐标系下的方程，利用坐标变换公式将该方程转换为世界坐标系下的焊缝路径方程，经图像处理后得到了焊缝路径，在焊接作业前，需要对其进行轨迹规划，建立焊缝及焊枪的姿态模型，定量描述焊缝在三维空间中所处的焊接位置和焊枪相对焊缝的姿态，确保焊枪中心平稳地沿着焊缝路径进行作业。
提取感兴趣区域包括根据焊件和焊缝的几何特征，设置图像处理窗口，仅对感兴趣的焊缝区域进行处理。
图像灰度化处理包括把由RGB三通道数据的彩色图像变为单通道数据的灰度图像。
图像的二值化为将图像上像素点的灰度值设为0或255，即将整个图像呈现出明显的黑白效果，图像的二值化通过选取适当的阀值将256个亮度等级的灰度图像转换为可以反映图像整体和局部特征的二值化图像。
焊缝边缘检测采用canny边缘检测算子进行边缘化处理，在进行处理前，Canny算子先利用高斯平滑滤波器对图像进行平滑，以去除噪声，该算法采用一阶偏导的有限差分计算梯度幅值和方向，且在处理过程中，对非极大值有抑制的作用，Canny算子采用两个阀值对边缘进行连接，对焊缝边缘进行处理。
利用MATLAB 对焊缝中心线进行拟合包括：在得到焊缝中心线图像后，提取焊缝中心线在图像坐标系下的坐标，再利用MATLAB 对焊缝中心线进行拟合，可得到焊缝中心线在图像坐标系下的方程，平面曲线焊缝为样条曲线，其在图像坐标系下的方程可用三次多项式表示：
(1)
提取式（1）中的若干点，经坐标转换可得到其在世界坐标系下的坐标，再利用MATLAB的拟合功能将得到世界坐标系下的焊缝路径方程：
（2）。
焊缝及焊枪的姿态模型包括建立平面曲线焊缝特征坐标系，根据求得的焊缝在图像坐标系下的方程（2），可得平面曲线焊缝的参数方程：
（3）。
本发明通过选用合适的辅助光源、CCD摄像机、滤光片、图像采集卡等关键部分，不仅能够快速的实现数据传输，且易于形成各种类型的移动式图像处理工作站，使用性枪，同时，选用了冷却吹灰系统和自动温度控制，确保整个传感器系统能正常稳定的工作，并采用图像预处理工序，对感兴趣区域图像进行灰度化处理、灰度直方图的均衡以及图像的二值化，提高了图像的识别率，使焊缝轨迹路径更加精确；通过以上创新设计不仅能解决快速的实现数据传输，且易于形成各种类型的移动式图像处理工作站，适用性强，利于焊缝图像处理软件开发应用；并通过对焊缝图像进行预处理等一系列滤除噪声、提取焊缝条纹信息的处理过程。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于图像识别的焊缝跟踪系统，其包括：视觉传感器、焊接小车、CO2保护气、抽头式CO2气体保护焊枪、送丝机、十字滑架、运算控制箱和计算机，其特征在于，视觉传感器安装于抽头式CO2气体保护焊枪的前进侧，抽头式CO2气体保护焊枪安装于十字滑架上，由十字滑架驱动抽头式CO2气体保护焊枪横向和纵向移动，十字滑架与运算控制箱和计算机相连，视觉传感器与计算机相连；焊接小车承载焊接母材实现焊接方向的移动；视觉传感器包括激光器、CCD摄像头、滤光片以及附加的冷却、吹灰和温控系统；视觉传感器还包括图像采集卡，图像采集卡采用USB串口通信图像采集卡。
2.根据权利要求1所述的焊缝跟踪系统，其特征在于，激光输出波长是600nm，激光器由会聚透镜和材料为K9、p13mm的柱透镜构成；调节两镜距离使其能在60-100mm工作面上产生线长35-～40mm，线宽1mm的光纹。
3.根据权利要求1所述的焊缝跟踪系统，其特征在于，弧焊传感器所用激光二极管的中心波长为467mm或594nm或610mm或632nm或950nm。
4.根据权利要求1所述的焊缝跟踪系统，其特征在于，冷却吹灰系统由热敏电阻组成的桥式自动温控电路，CCD的工作温度-20℃-50℃，激光器工作温度-10℃-40℃，设定当传感器内部温度高于CCD和激光器正常工作温度40℃时，产生报警并切断CCD和激光器的电源；吹灰系统是在焊枪和传感器中间吹入5L/min的空气，流动的空气能削弱烟尘对焊缝区域的影响。
5.根据权利要求2所述的焊缝跟踪系统，其特征在于，传感器以预先设定的距离超前安装在焊枪前面，CCD拍摄焊枪前方焊缝图像，焊枪到防飞溅挡板的距离40mm，传感器到工件的距离即安装高度70-80mm，同时由于激光器的安装高度位置致使打到焊接工件上的激光条纹长度定位在35-40mm。
6.根据权利要求1所述的焊缝跟踪系统，其特征在于，系统控制箱与计算机对激光视觉传感焊接机器人进行焊缝轨迹跟踪的控制，计算机与视觉采集信号之间以及计算机与步进电机之间通过通讯线缆进行数据通信；视频采集信号经计算机图像处理获得焊缝偏差量，偏差量经过数模转换和自制ACWD控制板，以脉冲量的形式传输给十字滑架的步进电机，电机根据脉冲量的大小及脉冲时间调整电机旋转，从而带动十字滑架左右移动，实现消除偏差；其中，系统控制箱面板主要包括系统总开关、起弧开关、激光器开关和ACWD控制板，还控制送丝机、电焊机、焊接小车、电动十字滑架。
7.一种如权利要求1所述的焊缝跟踪系统的轨迹规划方法，包括：对采集的平面曲线焊缝图像进行处理，对图像进行预处理，包括提取感兴趣区域、图像的灰度化处理、灰度直方图的均衡以及图像的二值化；提取焊缝路径信息，对焊缝进行边缘检测，采用Canny边缘检测算法得到焊缝路径的双边缘；利用局部阀值分割法提取焊缝路径中心线的方法对图像进行二值化，并利用求平均值法提取焊缝路径中心线坐标，并利用MATLAB对焊缝中心线坐标进行拟合，得出焊缝路径中心线在图像坐标系下的方程，利用坐标变换公式将该方程转换为世界坐标系下的焊缝路径方程，经图像处理后得到了焊缝路径；在焊接作业前，对其进行轨迹规划，建立焊缝及焊枪的姿态模型，定量描述焊缝在三维空间中所处的焊接位置和焊枪相对焊缝的姿态，确保焊枪中心平稳地沿着焊缝路径进行作业；其中，提取感兴趣区域包括根据焊件和焊缝的几何特征，设置图像处理窗口，仅对感兴趣的焊缝区域进行处理。
8.根据权利要求7所述的焊缝跟踪系统，其特征在于，图像灰度化处理包括把由RGB三通道数据的彩色图像变为单通道数据的灰度图像；图像的二值化为将图像上像素点的灰度值设为0或255，将整个图像呈现出明显的黑白效果，图像的二值化通过选取适当的阀值将256个亮度等级的灰度图像转换为可以反映图像整体和局部特征的二值化图像。
9.根据权利要求8所述的焊缝跟踪系统，其特征在于焊缝边缘检测采用canny边缘检测算子进行边缘化处理，在进行处理前，Canny算子先利用高斯平滑滤波器对图像进行平滑，以去除噪声，该算法采用一阶偏导的有限差分计算梯度幅值和方向，且在处理过程中，对非极大值有抑制的作用，Canny算子采用两个阀值对边缘进行连接，对焊缝边缘进行处理。
10.根据权利要求7所述的焊缝跟踪系统，其特征在于利用MATLAB对焊缝中心线进行拟合包括：在得到焊缝中心线图像后，提取焊缝中心线在图像坐标系下的坐标，再利用MATLAB对焊缝中心线进行拟合，可得到焊缝中心线在图像坐标系下的方程，平面曲线焊缝为样条曲线，其在图像坐标系下的方程可用三次多项式表示：
y＝1.964×10-6x3-4.774×10-3x2+2.94x+499.7 (1)；
提取式(1)中的若干点，经坐标转换可得到其在世界坐标系下的坐标，再利用MATLAB的拟合功能将得到世界坐标系下的焊缝路径方程：
y＝1.139×10-5x3-1.977×10-6x2-0.77x+0.044 (2)；
进一步地，焊缝及焊枪的姿态模型包括建立平面曲线焊缝特征坐标系，根据求得的焊缝在图像坐标系下的方程(2)，可得平面曲线焊缝的参数方程：
CN201811232757.8A 2018-10-23 2018-10-23 一种基于图像识别的焊缝跟踪系统及其优化方法 Pending CN109483017A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811232757.8A CN109483017A (zh) 2018-10-23 2018-10-23 一种基于图像识别的焊缝跟踪系统及其优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811232757.8A CN109483017A (zh) 2018-10-23 2018-10-23 一种基于图像识别的焊缝跟踪系统及其优化方法

Publications (1)

Publication Number Publication Date
CN109483017A true CN109483017A (zh) 2019-03-19

Family

ID=65692354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811232757.8A Pending CN109483017A (zh) 2018-10-23 2018-10-23 一种基于图像识别的焊缝跟踪系统及其优化方法

Country Status (1)

Country Link
CN (1) CN109483017A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949327A (zh) * 2019-03-22 2019-06-28 大连大学 一种激光焊待焊件图像中直线边缘上圆形域灰度计算方法
CN110026717A (zh) * 2019-05-17 2019-07-19 南京禹智智能科技有限公司 一种高精度自动焊接机器人及其焊接方法
CN110497121A (zh) * 2019-08-05 2019-11-26 苏州热工研究院有限公司 一种焊接过程中焊道中心跟踪的图像处理模式
CN110936077A (zh) * 2019-12-31 2020-03-31 南京衍构科技有限公司 一种膜式水冷壁堆焊路径生成方法
CN111375945A (zh) * 2020-01-15 2020-07-07 吉林大学 焊缝轨迹自动识别的龙门式三轴焊接装置及焊接方法
CN112191993A (zh) * 2020-09-14 2021-01-08 湖北文理学院 一种氩弧焊焊缝跟踪系统及方法
CN112238304A (zh) * 2019-07-18 2021-01-19 山东淄博环宇桥梁模板有限公司 一种基于图像视觉识别焊缝的机械臂自动焊接小批量定制异型桥梁钢模板方法
CN112975226A (zh) * 2021-05-20 2021-06-18 北京博清科技有限公司 焊接处理方法、装置、设备、存储介质及处理器
CN113628346A (zh) * 2021-06-30 2021-11-09 上海市胸科医院 一种自由浏览vb的方法以及进行标记的方法和系统
CN113681133A (zh) * 2021-08-30 2021-11-23 南京衍构科技有限公司 一种带视觉的冗余自由度机器人智能焊接方法
CN113909778A (zh) * 2021-11-08 2022-01-11 中国船舶重工集团公司第七一六研究所 一种焊缝识别与焊接组合装置
CN115178837A (zh) * 2022-08-24 2022-10-14 中国核工业第五建设有限公司 焊缝偏差量实时检测方法、系统和焊缝偏差纠正方法
US11541483B2 (en) * 2019-06-28 2023-01-03 Tsinghua University Control device and method for formation of weld seam
CN115890055A (zh) * 2023-02-15 2023-04-04 重庆交通大学 用于探究熔池与焊接质量关联规律的焊接实验架及其方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1511669A (zh) * 2002-12-27 2004-07-14 中国科学院自动化研究所 具有视觉焊缝自动跟踪功能的弧焊机器人控制平台
CN1600488A (zh) * 2004-10-21 2005-03-30 上海交通大学 焊缝自主跟踪方法
CN2740335Y (zh) * 2004-12-02 2005-11-16 中国科学院自动化研究所 一种基于激光结构光的焊缝跟踪视觉传感器
JP2009034731A (ja) * 2008-09-22 2009-02-19 Ihi Corp 溶接部可視化装置
CN204413359U (zh) * 2015-01-21 2015-06-24 成都焊研威达科技股份有限公司 激光视觉焊缝跟踪系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1511669A (zh) * 2002-12-27 2004-07-14 中国科学院自动化研究所 具有视觉焊缝自动跟踪功能的弧焊机器人控制平台
CN1600488A (zh) * 2004-10-21 2005-03-30 上海交通大学 焊缝自主跟踪方法
CN2740335Y (zh) * 2004-12-02 2005-11-16 中国科学院自动化研究所 一种基于激光结构光的焊缝跟踪视觉传感器
JP2009034731A (ja) * 2008-09-22 2009-02-19 Ihi Corp 溶接部可視化装置
CN204413359U (zh) * 2015-01-21 2015-06-24 成都焊研威达科技股份有限公司 激光视觉焊缝跟踪系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘晓瑞: ""基于视觉传感的弧焊机器人焊缝图像信息优化处理"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李华: ""基于视觉的焊缝路径识别与轨迹规划"", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949327A (zh) * 2019-03-22 2019-06-28 大连大学 一种激光焊待焊件图像中直线边缘上圆形域灰度计算方法
CN109949327B (zh) * 2019-03-22 2020-12-15 大连大学 一种激光拼焊待焊件图像中直线边缘上圆形域灰度计算方法
WO2020233273A1 (zh) * 2019-05-17 2020-11-26 南京禹智智能科技有限公司 一种高精度自动焊接机器人及其焊接方法
CN110026717A (zh) * 2019-05-17 2019-07-19 南京禹智智能科技有限公司 一种高精度自动焊接机器人及其焊接方法
CN110026717B (zh) * 2019-05-17 2019-10-22 南京禹智智能科技有限公司 一种高精度自动焊接机器人及其焊接方法
US11541483B2 (en) * 2019-06-28 2023-01-03 Tsinghua University Control device and method for formation of weld seam
CN112238304A (zh) * 2019-07-18 2021-01-19 山东淄博环宇桥梁模板有限公司 一种基于图像视觉识别焊缝的机械臂自动焊接小批量定制异型桥梁钢模板方法
CN112238304B (zh) * 2019-07-18 2023-01-06 山东淄博环宇桥梁模板有限公司 一种基于图像视觉识别焊缝的机械臂自动焊接小批量定制异型桥梁钢模板方法
CN110497121A (zh) * 2019-08-05 2019-11-26 苏州热工研究院有限公司 一种焊接过程中焊道中心跟踪的图像处理模式
CN110936077B (zh) * 2019-12-31 2021-11-26 南京衍构科技有限公司 一种膜式水冷壁堆焊路径生成方法
CN110936077A (zh) * 2019-12-31 2020-03-31 南京衍构科技有限公司 一种膜式水冷壁堆焊路径生成方法
CN111375945A (zh) * 2020-01-15 2020-07-07 吉林大学 焊缝轨迹自动识别的龙门式三轴焊接装置及焊接方法
CN111375945B (zh) * 2020-01-15 2023-07-21 吉林大学 焊缝轨迹自动识别的龙门式三轴焊接装置及焊接方法
CN112191993B (zh) * 2020-09-14 2022-05-10 湖北文理学院 一种氩弧焊焊缝跟踪系统及方法
CN112191993A (zh) * 2020-09-14 2021-01-08 湖北文理学院 一种氩弧焊焊缝跟踪系统及方法
CN112975226A (zh) * 2021-05-20 2021-06-18 北京博清科技有限公司 焊接处理方法、装置、设备、存储介质及处理器
CN113628346A (zh) * 2021-06-30 2021-11-09 上海市胸科医院 一种自由浏览vb的方法以及进行标记的方法和系统
CN113681133A (zh) * 2021-08-30 2021-11-23 南京衍构科技有限公司 一种带视觉的冗余自由度机器人智能焊接方法
CN113909778A (zh) * 2021-11-08 2022-01-11 中国船舶重工集团公司第七一六研究所 一种焊缝识别与焊接组合装置
CN115178837A (zh) * 2022-08-24 2022-10-14 中国核工业第五建设有限公司 焊缝偏差量实时检测方法、系统和焊缝偏差纠正方法
CN115890055A (zh) * 2023-02-15 2023-04-04 重庆交通大学 用于探究熔池与焊接质量关联规律的焊接实验架及其方法

Similar Documents

Publication Publication Date Title
CN109483017A (zh) 一种基于图像识别的焊缝跟踪系统及其优化方法
CN210046133U (zh) 基于激光结构光的焊缝视觉跟踪系统
CN109226967B (zh) 一种用于激光-电弧复合焊的主动激光视觉稳健焊缝跟踪系统
CN108637435A (zh) 一种基于视觉与弧压传感的三维焊缝跟踪系统及方法
CN105458462B (zh) 一种变间隙梯形焊缝多参数同步视觉检测跟踪方法
CN108624880B (zh) 一种激光熔覆质量智能控制系统及其智能控制方法
CN107824940A (zh) 基于激光结构光的焊缝视觉跟踪系统及方法
CN105300296B (zh) 一种激光拼焊曲面拼缝测量方法及其实现装置
Xu et al. A visual seam tracking system for robotic arc welding
CN108032011B (zh) 基于激光结构光焊缝初始点导引装置及方法
CN110153567A (zh) 一种基于图像识别的激光切割系统
CN113102880A (zh) 一种基于视觉示教的线激光焊缝自动跟踪系统及方法
CN107414253A (zh) 基于十字型激光器的焊缝跟踪控制装置及控制方法
CN103008881A (zh) 一种基于模板匹配的焊缝跟踪方法
CN109604830A (zh) 一种主动激光视觉引导机器人激光焊接精确焊缝跟踪系统
CN111192307A (zh) 基于激光切割三维零部件的自适应纠偏方法
CN112365439B (zh) 一种镀锌钢gmaw焊缝成形特征与焊枪方向同步实时检测方法
CN110480128A (zh) 一种六自由度焊接机器人线激光实时焊缝跟踪方法
CN109848951A (zh) 大型工件的自动加工设备及方法
CN108127217B (zh) 螺旋板式换热器端面焊缝自动引导焊接的焊接装置和方法
CN114473153B (zh) 一种油气长输管道焊接系统及方法
CN114140439A (zh) 基于深度学习的激光焊接焊缝特征点识别方法及装置
CN108788467A (zh) 一种面向航天构件的智能激光焊接系统
CN112191993A (zh) 一种氩弧焊焊缝跟踪系统及方法
CN109834373A (zh) 一种基于视觉及激光跟踪的自动化埋弧焊设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190319