CN109604777A - 基于激光结构光的焊缝视觉跟踪系统及方法 - Google Patents

基于激光结构光的焊缝视觉跟踪系统及方法 Download PDF

Info

Publication number
CN109604777A
CN109604777A CN201811490656.0A CN201811490656A CN109604777A CN 109604777 A CN109604777 A CN 109604777A CN 201811490656 A CN201811490656 A CN 201811490656A CN 109604777 A CN109604777 A CN 109604777A
Authority
CN
China
Prior art keywords
image
welding
laser
module
weld
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811490656.0A
Other languages
English (en)
Inventor
李明金
吴晶华
黄银花
刘业亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaian Vocational College of Information Technology
Original Assignee
Huaian Vocational College of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaian Vocational College of Information Technology filed Critical Huaian Vocational College of Information Technology
Publication of CN109604777A publication Critical patent/CN109604777A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/12Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B23K9/127Means for tracking lines during arc welding or cutting
    • B23K9/1272Geometry oriented, e.g. beam optical trading
    • B23K9/1274Using non-contact, optical means, e.g. laser means

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Laser Beam Processing (AREA)

Abstract

本发明提供一种基于激光结构光的焊缝视觉跟踪系统,包括视觉跟踪模块、机器人模块、焊枪模块、通讯模块;视觉跟踪模块包括CCD相机、结构光激光器、图像采集卡和处理激光焊缝图像的控制器,视觉跟踪模块中的CCD相机和结构光激光器通过三维运动测量系统安装在机器人模块上,控制器通过通讯模块向机器人模块、焊枪模块进行数据传输;所述机器人模块内设置有坐标标识装置,用于确定作为参考的标识点。系统所用方法通过一系列图像处理控制焊枪的使用。本发明能够实现焊接机器人在焊接过程中实时自动纠偏,提高焊缝质量,扩大焊接机器人的应用范围,焊缝视觉传感跟踪技术的应用能够提高焊接件的质量和精度,缩短产品生产周期,提高产品的生产效率。

Description

基于激光结构光的焊缝视觉跟踪系统及方法
技术领域
本发明涉及一种视觉传感装置,尤其是涉及一种基于激光结构光的焊缝视觉跟踪系统及方法。
背景技术
目前国内外本项目领域科技创新发展概况和最新发展趋势:
经过许多研究学者的不断研究和实践,视觉传感技术得到了快速的发展。激光视觉焊缝跟踪系统的搭建包括视觉焊缝跟踪传感器的设计、采集的焊缝图像的处理、计算机和机器人之间的通讯和控制系统的设计。关于这几个方面的研究,国内外许多研究机构和学者做出了大量的工作。
(1)国内研究状况
2005年,中国科学院李原等学者经过多年的研究,设计了一种基于激光结构光的视觉传感器。并开发出了激光焊缝图像处理模块库,这种图像处理库可以对不同类型的焊缝的图像(如U形、V形、对接、搭接焊缝等)进行处理,因此,这种传感器在焊缝跟踪中有着一定的普遍适用性。该视觉跟踪系统在图像处理过程中的循环周期为125ms,图像处理效率有待提高。
2007年,东南大学金振扬等人设计了一套基于结构光的焊缝跟踪系统。重点是将系统进行了标定,取得了较高的跟踪精度。同时,采用焊缝特征类型库提高了图像处理的速度,并引入可变窗口提高了焊缝图像处理的稳定性,解决了焊接时各种杂光、烟尘等对图像特征提取的干扰。
2008年,中国科学院自动化研究所的邹媛媛等学者对激光焊缝跟踪中的结构光视觉传感器(包括传感器的硬件、镜头等)进行了一系列的误差分析。然后,对不同结构的视觉传感器建立了不一样的数学模型,详细分析各参数对传感器的影响,并提出了对视觉传感器的优化,且提供了优化的参数。最后,通过实验验证了优化方法的可行性。
2011年,湘潭大学刘习文等学者根据激光在坡口图像中的特点,首先对激光焊缝图像进行了Radon变换,计算出激光条纹所在的位置。然后再对变换后的激光焊缝图像进行了去噪处理,将激光光束中有用的信息保留了下来。最后,再利用Radon逆变换复原图像,达到很好的去噪效果。接下来,对激光图像进行了分割处理,找出了焊缝的中心点。最后,进行了实验。这种方法具有较强的抗干扰性,处理周期短,实验效果较好。
2013年,广西自动焊接技术中心李宁等学者设计了一套激光视觉传感焊缝跟踪系统,描述了焊缝图像处理方法。对不同的焊缝形状,采取了不同的特征提取方法。并利用模糊控制方法来控制和调整焊枪。最后,对系统进行了实验,焊接精度和运行稳定性能够满足要求,有着较高的使用价值。
(2)国外研究现状
国外的焊缝跟踪系统的研究起步较早,尤其是自动化程度很高的加拿大、英国、美国和日本,对激光结构光焊缝跟踪系统的工业用品已经商业化,广泛应用于全球范围内。
加拿大Servo-Robot公司是世界公认的在焊接自动化智能传感及控制领域的领先者,在该领域的研究已经长达30年。该公司主要开发及生产3D激光传感系统和智能控制模块,尤其是赛融公司的Power-Trac(智能焊缝实时跟踪系列)和Robot-Find(离线寻位系列)两种智能焊缝跟踪器。可以实现对焊缝的自动识别,并对焊枪的运动轨迹实时控制,结构紧凑,高集成、非常紧凑的控制单元,广泛应用于航空航天,火车制造,船舶制造等。
英国的Meta也是世界领先的激光焊缝跟踪系统的制造商,以及日本的FANUC等知名的焊缝跟踪系统制造商,大多数采用激光发射结构光,CCD相机拍摄图像的这种结构,该结构设计紧凑,工作性能稳定,效率高。
日本的欧姆龙集团和美国邦纳公司的光电传感器应用也比较广泛。
综合国内外的研究状况可知,虽然国内许多学者及研究机构在激光视觉焊缝跟踪系统方面取得了很多成就,但是,他们的研究成果大多处于理论和试验阶段,实际的应用效果还不太理想,在工业上的应用范围还是有一定的局限性,还需要进一步的研究和完善。
发明内容
本发明提供了一种基于激光结构光的焊缝视觉跟踪系统及方法,解决了在焊接自动化智能传感及控制领域的焊缝视觉跟踪问题,其技术方案如下所述:
一种基于激光结构光的焊缝视觉跟踪系统,包括视觉跟踪模块、机器人模块、焊枪模块、通讯模块;视觉跟踪模块包括CCD相机、结构光激光器、图像采集卡和处理激光焊缝图像的控制器,结构光激光器发射的激光照射到被测物体,并由CCD相机用于采集被测物体的图像,所述图像通过图像采集卡传送到控制器,控制器控制焊枪模块的焊接动作;视觉跟踪模块中的CCD相机和结构光激光器通过三维运动测量系统安装在机器人模块上,控制器通过通讯模块向机器人模块、焊枪模块进行数据传输。
所述结构光激光器采用一字线激光器,位于焊枪模块前方,向焊枪模块下方的被测物体倾斜发射激光,倾斜角度为30度,CCD相机位于被测物体正上方采集图像,正对结构光激光器照射的部位。
三维运动测量系统包括支架和设置其上面的X轴运动器、Y轴运动器,Y轴运动器带动CCD相机和结构光激光器前后移动,X轴运动器根据图像的实时偏差值左右调节焊缝的跟踪位置,X轴运动器的两端位于Y轴运动器上,X轴运动器上设置有焊缝跟踪器封装盒,用于放置CCD相机和结构光激光器;支架固定在机器人模块上。
焊缝跟踪器封装盒设置有防护装置,防护装置包括滤光片、挡光板、冷却装置。
基于激光结构光的焊缝视觉跟踪系统的焊缝视觉跟踪方法,包括下列步骤:
(1)在焊枪未焊接的情况下,控制器对CCD相机拍摄的激光焊缝图像进行预先处理,包括焊缝位置提取处理、焊缝图像平滑处理,并定好坐标点;
(2)进行焊缝图像增强处理,包括对采集的彩色焊缝图像进行灰度直方图处理,再进行直方图均衡化处理,用于修正图像,通过拉伸像素强度分布范围增强图像的对比度;
(3)对焊缝图像分割处理,采用基于灰度阈值的分割处理方法;
(4)焊缝图像后处理,包括利用开运算进行图像的处理,把图像中不平滑的部分消除掉,让图像中离的较近的像素连接起来,形成较为平滑的图像;以及图像的骨架提取,将图像中有用的信息提取出来;
(5)再对图像进行直线拟合与特征点坐标的提取,找到拍摄的激光图像的焊缝中心坐标,然后将该坐标与之前步骤(1)示教好的坐标点进行比较,算出偏差信息,实现机器人模块对焊枪的纠偏。
进一步的,步骤(1)中,焊缝位置提取处理是在原始图像中提取200×150像素的图像进行处理。
进一步的,步骤(5)中,特征点坐标提取时,是建立激光坐标系与机器人模块本体坐标系中的相对位置计算矩阵,实现焊缝定位模型。
进一步的,步骤(1)中,所述CCD相机和结构光激光器通过基于线结构光三角测量原理及基于“距离-深度关系”3D原理实现焊缝的计算,通过对角接焊缝、斜坡焊缝、搭接焊缝的特征聚类建模,获得曲面、曲线的拓扑构造特征值,继而识别、重构正确的焊缝3D模型,并采用小波去噪声的处理,利用小波变换对正常信号中反常信息的灵敏捕捉能力,将视频图像中的信息不利因素去除。
进一步的,在焊接过程中,所述系统能够设定悬停控制,对系统设定固定焊接距离或者焊接时间,在焊接时中止焊接工作,然后调整视觉跟踪模块和焊枪模块,并重新开始焊接。
进一步的,在焊接前,所述系统能够设定预测控制,对系统设定固定焊接距离或者焊接时间,模拟焊接工作,然后回到初始位置,调整视觉跟踪模块和焊枪模块,开始焊接,并在焊接过程中与模拟焊接的数值进行比对,进行微调。
所述基于激光结构光的焊缝视觉跟踪系统及方法能够实现焊接机器人在焊接过程中实时自动纠偏,提高焊缝质量,扩大焊接机器人的应用范围,焊缝视觉传感跟踪技术的应用能够提高焊接件的质量和精度,缩短产品生产周期,提高产品的生产效率,避免了人为因素对焊接件质量的影响。另外,该应用还能降低焊接工人的劳动强度,避免了焊接中有害物质对焊接工人的伤害,将焊接工人从恶劣的焊接环境中脱离出来,强烈体现了科技的发展为人类服务的思想。
附图说明
图1是所述基于激光结构光的焊缝视觉跟踪系统的结构示意图;
图2是所述三维运动测量系统的结构示意图;
图3是本发明的电连接示意图;
图4是所述CCD相机和结构光激光器位置参考图;
图5是图4的主视图;
图6是倾斜角的示意图;
图7是实施例中焊缝位置提取处理的示意图;
图8是实施例中焊缝图像平滑处理的示意图;
图9是实施例中焊缝图像二值化处理的示意图;
图10是实施例中图像的骨架提取的示意图;
图11是利用开运算进行图像的处理的示意图;
图12是实现焊缝定位模型的示意图;
图13是本发明视觉跟踪方法的示意图。
具体实施方式
本发明通过机械夹具设计、相机选择、焊缝跟踪器结构设计,并深入研究视觉图像的干扰滤波算法,分析变基面图像重构的理论基础,通过平面、空间的算法设计,达到焊缝空间特征重构的目的;利用本发明构成的实验平台,设计多种复杂情况下焊缝识别实验,并进一步改进所设计的算法,能够使焊缝的识别达到实用化阶段。
在机器人焊接的过程中,为了保证焊枪能够实时处于焊缝中心上方,如图1、图2和图3所示,所述基于激光结构光的焊缝视觉跟踪系统包括视觉跟踪模块2、机器人模块1、焊枪模块3、通讯模块4,实现在被测物体5上进行焊缝51的焊接工作。
所述视觉跟踪模块包括CCD相机22、结构光激光器21、图像采集卡和处理激光焊缝图像的控制器,图像采集卡的主要用途是将工业像机输出的图像信号转换成便于计算机处理的数字信号。所述结构光激光器21发射的激光照射到被测物体,并由CCD相机22用于采集被测物体的图像,所述图像通过图像采集卡传送到控制器,控制器控制焊枪模块的焊接动作。同时,控制器通过通讯模块4向机器人模块1、焊枪模块3进行数据传输,所述控制器采用计算机即可,用于将图像进行计算以及坐标切换等数据处理工作。
数据传输主要是在计算机中基于VC++开发平台利用OpenCV来实现焊缝图像的处理,并利用串口编程来实现焊接机器人与计算机之间的数据通讯。
机器人模块1设置有上方框架11,用于承载其他各装置。在上方框架11前端设置有支架12,用于承载视觉跟踪模块2。
视觉跟踪模块2在整个视觉跟踪系统中十分重要,起到导航的作用,是体现跟踪系统智能的重要组成部分。图2中,视觉跟踪模块2中的CCD相机22和结构光激光器21通过三维运动测量系统安装在机器人模块上,三维运动测量系统包括支架12和设置其上面的X轴运动器122、Y轴运动器121,Y轴运动器121带动CCD相机和结构光激光器移动,X轴运动器122根据图像的实时偏差值左右调节焊缝的跟踪位置,X轴运动器122的两端位于Y轴运动器121上,X轴运动器122上设置有焊缝跟踪器封装盒123,用于放置CCD相机和结构光激光器。而支架固定在机器人模块上。
此外,在焊接的过程中,视觉传感器会受到来自烟雾、弧光、飞溅、高温和其他杂光等因素的干扰,因此,传感器的寿命和精度受到威胁。为减小焊接现场对视觉传感器的影响,可以在焊缝跟踪器封装盒123添加防护装置,比如滤光片,挡光板,冷却装置等。
所述机器人模块1内设置有定时装置,所述定时装置与焊枪模块相连接,用于控制焊枪模块的开启与停止,具体来说,就是设定可以定时开启或定时停止焊枪模块,所述定时装置通过对应的控制器发送到机器人模块1进行设定控制,进而控制焊枪模块的运行。
所述机器人模块设置有位移传感器,用于记录焊接时系统移动的距离。
进一步的,所述机器人模块内设置有坐标标识装置,用于确定作为参考的标识点。所述坐标标识装置是根据视觉跟踪模块的坐标进行判断的,主要通过存储当前坐标,并以当前坐标作为原点,建立新的坐标系,进而进行新的坐标系的内的数据处理和焊接工作。
设定坐标标识装置的好处在于,当焊接工作在进行中或者暂停时,通过坐标标识装置确定新的坐标,开始新的坐标系的工作,而不用将应处理的焊接路径导入到原坐标系中。尤其是在分岔焊接工作时,比如确定了焊接路线,在主要的焊接路径上有分岔焊接路径,此时以分岔焊接的点作为新的坐标系的原点,然后分岔焊接路径就用新的坐标系进行处理,而不用代入到原坐标系中。
所述机器人模块1设置有前置框架,所述视觉跟踪模块安装在前置框架上,所述前置框架通过伸缩装置安装在机器人模块上,所述位移传感器安装在伸缩装置上。所述伸缩装置包括两根并行设置且相对固定的的支撑杆,防止前置框架移动时角度出现偏差。
所述伸缩装置还设置有步进电机和传动装置,步进电机的运行通过控制器进行控制。所述步进电机和传动装置相连接,所述传动装置与支撑杆相连接,支撑杆表面设置有螺纹,传动装置通过相配合的齿轮带动支撑杆前进或者后退,为常用机械传动技术,不再赘述。
所述焊枪模块3设置有两组焊枪,包括使用焊枪和备用焊枪,所述使用焊枪和备用焊枪通过转轮安装在机器人模块上。
如图4所示,视觉跟踪模块2是基于光学三角测量法的原理应用的,结构光激光器21发射一束激光A,该光束投射到被测物体5的表面形成一条光带,其中一部分光带在被测物体的表面发生了反射,另一部分被CCD相机22接收成像。如果被测量物体5上下或左右移动,那么CCD相机22上成的像也会随之移动。因此,物体的三维信息便可以在二维的图像中获取。所述结构光激光器21采用一字线激光器,向被测物体倾斜发射激光,倾斜角度为30度,CCD相机22位于被测物体5正上方采集图像。此种方式的相机能够采集被测物体5表面的正反射光,即使被测物体的表面是镜面,测量依然可以继续进行。视觉跟踪模块有两部分组成:基于相机的视觉坐标系统标定和基于机器人的手眼系统标定。
如图5所示,基于相机的视觉坐标系统标定采用CCD相机获取焊缝图像,在图像上定义直角坐标系,以图像左上点为坐标系的原点,像素坐标代表该像素在图像中的行数和列数。建立一个以像素个数为物理单位的图像坐标系,则图像中任意一个像素在图像坐标系下都有一个固定的坐标值,该坐标值以图像像素为单位。CCD相机的内参数已知,CCD相机的坐标系建立在光轴中心位置,根据公式可以计算出空间点和图像坐标点的转换关系。
其中,空间点坐标为x、y,图像坐标点为u、v。
如图6所示,手眼标定是指求取摄像机坐标系与机器人坐标系之间的矩阵变换关系。由于焊接系统结构的特殊性,机器人采用摄像机固定安装手眼系统。对于固定视觉手眼系统的标定,两坐标系之间的齐次坐标变换关系可写为:
式中:T=(tx,ty,tz)T是机器人坐标系的原点在摄像机坐标系中的坐标。R是机器人坐标系相对摄像机坐标系旋转的3×3正交矩阵。它们描述了机器人坐标系在摄像机坐标系中的位置和姿态。xr,yr,zr为点在机器人坐标系中的坐标,xc,yc,zc为点在摄像机坐标系中的坐标。
要得到焊缝的偏差信息,首先就是找到拍摄的激光图像的焊缝中心坐标,然后将该坐标与之前示教好的坐标点进行比较,算出偏差信息,才能实现机器人对焊枪的纠偏。而焊缝图像处理的精度是决定焊缝跟踪精度的因素之一。因此,合适的算法对于焊缝图像的处理精度是十分重要的。
一种基于激光结构光的焊缝视觉跟踪系统的焊缝视觉跟踪方法,根据拍摄的焊缝图像的环境不同,激光焊缝图像使用的处理算法也不相同。因此,根据设计的视觉传感器所拍摄的焊缝图像,按照图像预处理、图像分割和图像后处理的流程。包括下列步骤:
(1)在焊枪未焊接的情况下,控制器对CCD相机拍摄的激光焊缝图像进行预先处理,所述CCD相机和结构光激光器是通过基于线结构光三角测量原理及基于“距离-深度关系”3D原理实现焊缝的计算,通过对角接焊缝、斜坡焊缝、搭接焊缝的特征聚类建模,获得曲面、曲线的拓扑构造特征值,继而识别、重构正确的焊缝3D模型,并采用小波去噪声的处理,利用小波变换对正常信号中反常信息的灵敏捕捉能力,将视频图像中的信息不利因素去除。包括焊缝位置提取处理、焊缝图像平滑处理。
具体,包括以下处理:
1)图像预处理方法
预先处理的激光焊缝图像是在焊枪未焊接的情况下拍摄的,因此,此时采集的图片并没有没有焊渣、弧光和飞溅等因素的干扰,因此,在获取焊缝的中心点坐标之前首先进行激光焊缝图像的预处理。
2)焊缝位置提取
由于焊缝采集的彩色焊缝图像的像素大小是752x480,若对整幅图像进行处理,必将增加处理的时间。因此,为了缩短图像处理时间和提高处理速度,有必要对焊缝图像的有用的区域进行提取。经分析,如图7所示,在原始图像中提取200×150像素的图像进行处理,基本上满足了提取焊缝中心点坐标所需信息的要求,而且节约处理时间,处理速度也明显提升。
3)焊缝图像平滑
原始焊缝图像在采集的过程中都会有一定的噪声干扰,为抑制图像中噪声的干扰,利用图像平滑操作对焊缝图像进行处理。采用高斯滤波器的系统函数就是平滑的,这样可以避免震荡现象。本发明前期工作中经过平滑处理前后的激光焊缝图像如图8所示。
(2)然后进行焊缝图像增强处理,包括对采集的彩色焊缝图像进行灰度直方图处理,再进行直方图均衡化处理,用于修正图像,通过拉伸像素强度分布范围来增强图像的对比度;
焊缝图像增强处理可以采用的如下:
a)灰度直方图
在分析和处理焊缝图像中,直方图反映的是焊缝图像的灰度级,它是一个简单而又有效地工具。本发明可以采集的彩色焊缝图像的三个通道的直方图。
b)直方图均衡化
直方图的均衡化是实现图像增强的一种有效的方法,它是利用直方图来修正图像,通过拉伸像素强度分布范围来增强图像的对比度。
(3)对焊缝图像分割处理,采用基于灰度阈值的分割处理方法。所谓图像分割处理就是将拍摄到的焊缝图像经过一系列的算法处理,如图9所示的二值化、腐蚀和膨胀、平滑处理、图10所示的骨架提取等,来获取焊缝图像中有用的信息。
a)图像分割的方法很多,最普遍的是基于灰度阈值的分割。灰度图像的二值化处理就是将图像中像素点的灰度值转换成0或者是255,激光图像二值化常用的公式是:
上式中f(x,y)表示变换前某点像素的灰度值,T表示二值化分割阈值,如果阈值选择的较高,则很多像素值的信息会丢失或边缘破碎;如果阈值选择的太低,那么在图像的边缘会产生虚假信息,导致定位不准确。因此,二值化处理的关键就是阈值T的合适的选择。二值化分割处理后的激光焊缝图像如图9所示。
b)骨架提取
提取图像的骨架,将图像中有用的信息提取出来。本课题前期实验的骨架提取结果如图10所示。
(4)焊缝图像后处理,包括利用开运算进行图像的处理,如图11所示,把图像中不平滑的部分消除掉,让图像中离的较近的像素连接起来,形成较为平滑的图像;以及图像的骨架提取,将图像中有用的信息提取出来。
(5)再对图像进行直线拟合与特征点坐标的提取,找到拍摄的激光图像的焊缝中心坐标,然后将该坐标与之前示教好的坐标点进行比较,算出偏差信息,实现机器人模块对焊枪的纠偏。特征点坐标提取时,是建立激光坐标系与机器人模块本体坐标系中的相对位置计算矩阵,实现焊缝定位模型。
如图12所示,在系统的标定过程中,常用到的三个坐标系有:世界坐标系:Xw、Yw、Zw;摄像机坐标系:Xc、Yc、Zc;图像坐标系:[x、y]、[a、b]。
通常用Xw、Yw、Zw、Ow来表示世界坐标系,摄像机坐标系:Xc、Yc、Zc,通常用Xc、Yc、Zc表示。它们之间的关系如图所示。
如图13所示,是本发明的流程示意图。安装于传输带正上方的相机对焊缝进行图像采集后,焊缝在图像中的状态基本上呈现为一条断裂的红色的直线,只要通过图像的预处理和分析识别出断裂的直线的中心点坐标即可计算出焊缝位置同中心点坐标直接的偏差,从而传输给控制系统进行实时跟踪。其中,Y轴运动机构带动光源相机一直往前移动,X轴电机则根据图像的实时偏差值左右调节焊缝的跟踪位置。
此外,在焊接过程中,所述系统能够设定悬停控制,对系统设定固定焊接距离或者焊接时间,在焊接时中止焊接工作,然后调整视觉跟踪模块和焊枪模块,并重新开始焊接。
操作时,可以根据目前的焊接进展,设定再焊接的距离或者再焊接某段时间,通过位移传感器或者定时器进行控制,这样,可以停下来,发现偏差,从而减少错误。
此外,在焊接前,所述系统能够设定预测控制,对系统设定固定焊接距离或者焊接时间,模拟焊接工作,然后回到初始位置,调整视觉跟踪模块和焊枪模块,开始焊接,并在焊接过程中与模拟焊接的数值进行比对,进行微调。
也就是说,可以先停用焊枪模块,而整个系统向前推进设定距离或者设定时间,然后将采集到的图像进行分析,并设定一条最佳的焊接路径,形成模拟焊接,减少了边采集图像边进行焊接的错误弊端。
所述机器人模块设定有定时模块、位移传感器,以支持上述应用。
所述基于激光结构光的焊缝视觉跟踪系统能够实现焊接机器人在焊接过程中实时自动纠偏,提高焊缝质量,扩大焊接机器人的应用范围,焊缝视觉传感跟踪技术的应用能够提高焊接件的质量和精度,缩短产品生产周期,提高产品的生产效率,避免了人为因素对焊接件质量的影响。另外,该应用还能降低焊接工人的劳动强度,避免了焊接中有害物质对焊接工人的伤害,将焊接工人从恶劣的焊接环境中脱离出来,强烈体现了科技的发展为人类服务的思想。
本发明的特点如下:
1)基于线结构光三角测量原理及基于“距离-深度关系”3D原理来实现焊缝的计算,通过对角接焊缝、斜坡焊缝、搭接焊缝的特征聚类建模,获得曲面、曲线的拓扑构造特征值,继而能快速识别、重构正确的焊缝3D模型。
2)由于接缝坡口的非均匀的,且存在着锈迹、划痕、焊渣等不利因素,因此3D的重构算法中采用小波去噪声的处理,利用小波变换对正常信号中反常信息的灵敏捕捉能力,将视频图像中的信息不利因素去除。
3)在国产焊接机器人上应用开发焊缝跟踪系统,可以从底层进行开发,不受国外机器人对底层控制系统封闭的限制,从而加快国产焊缝跟踪技术的研究与开发,缩短与进口产品的差距,降低国内用户的使用成本。

Claims (10)

1.一种基于激光结构光的焊缝视觉跟踪系统,其特征在于:包括视觉跟踪模块、机器人模块、焊枪模块、通讯模块;视觉跟踪模块包括CCD相机、结构光激光器、图像采集卡和处理激光焊缝图像的控制器,结构光激光器发射的激光照射到被测物体,并由CCD相机用于采集被测物体的图像,所述图像通过图像采集卡传送到控制器,控制器控制焊枪模块的焊接动作;视觉跟踪模块中的CCD相机和结构光激光器通过三维运动测量系统安装在机器人模块上,控制器通过通讯模块向机器人模块、焊枪模块进行数据传输。
2.根据权利要求1所述的基于激光结构光的焊缝视觉跟踪系统,其特征在于:所述结构光激光器采用一字线激光器,位于焊枪模块前方,向焊枪模块下方的被测物体倾斜发射激光,倾斜角度为30度,CCD相机位于被测物体正上方采集图像,正对结构光激光器照射的部位。
3.根据权利要求1所述的基于激光结构光的焊缝视觉跟踪系统,其特征在于:三维运动测量系统包括支架和设置其上面的X轴运动器、Y轴运动器,Y轴运动器带动CCD相机和结构光激光器前后移动,X轴运动器根据图像的实时偏差值左右调节焊缝的跟踪位置,X轴运动器的两端位于Y轴运动器上,X轴运动器上设置有焊缝跟踪器封装盒,用于放置CCD相机和结构光激光器;支架固定在机器人模块上。
4.根据权利要求3所述的基于激光结构光的焊缝视觉跟踪系统,其特征在于:焊缝跟踪器封装盒设置有防护装置,防护装置包括滤光片、挡光板、冷却装置。
5.根据权利要求1所述的基于激光结构光的焊缝视觉跟踪系统的焊缝视觉跟踪方法,包括下列步骤:
(1)在焊枪未焊接的情况下,控制器对CCD相机拍摄的激光焊缝图像进行预先处理,包括焊缝位置提取处理、焊缝图像平滑处理,并定好坐标点;
(2)进行焊缝图像增强处理,包括对采集的彩色焊缝图像进行灰度直方图处理,再进行直方图均衡化处理,用于修正图像,通过拉伸像素强度分布范围增强图像的对比度;
(3)对焊缝图像分割处理,采用基于灰度阈值的分割处理方法;
(4)焊缝图像后处理,包括利用开运算进行图像的处理,把图像中不平滑的部分消除掉,让图像中离的较近的像素连接起来,形成较为平滑的图像;以及图像的骨架提取,将图像中有用的信息提取出来;
(5)再对图像进行直线拟合与特征点坐标的提取,找到拍摄的激光图像的焊缝中心坐标,然后将该坐标与之前步骤(1)示教好的坐标点进行比较,算出偏差信息,实现机器人模块对焊枪的纠偏。
6.根据权利要求5所述的基于激光结构光的焊缝视觉跟踪系统,其特征在于:步骤(1)中,焊缝位置提取处理是在原始图像中提取200×150像素的图像进行处理。
7.根据权利要求5所述的基于激光结构光的焊缝视觉跟踪系统的焊缝视觉跟踪方法,其特征在于:步骤(5)中,特征点坐标提取时,是建立激光坐标系与机器人模块本体坐标系中的相对位置计算矩阵,实现焊缝定位模型。
8.根据权利要求5所述的基于激光结构光的焊缝视觉跟踪系统的焊缝视觉跟踪方法,其特征在于:步骤(1)中,所述CCD相机和结构光激光器通过基于线结构光三角测量原理及基于“距离-深度关系”3D原理实现焊缝的计算,通过对角接焊缝、斜坡焊缝、搭接焊缝的特征聚类建模,获得曲面、曲线的拓扑构造特征值,继而识别、重构正确的焊缝3D模型,并采用小波去噪声的处理,利用小波变换对正常信号中反常信息的灵敏捕捉能力,将视频图像中的信息不利因素去除。
9.根据权利要求5所述的基于激光结构光的焊缝视觉跟踪系统的焊缝视觉跟踪方法,其特征在于:在焊接过程中,所述系统能够设定悬停控制,对系统设定固定焊接距离或者焊接时间,在焊接时中止焊接工作,然后调整视觉跟踪模块和焊枪模块,并重新开始焊接。
10.根据权利要求5所述的基于激光结构光的焊缝视觉跟踪系统的焊缝视觉跟踪方法,其特征在于:在焊接前,所述系统能够设定预测控制,对系统设定固定焊接距离或者焊接时间,模拟焊接工作,然后回到初始位置,调整视觉跟踪模块和焊枪模块,开始焊接,并在焊接过程中与模拟焊接的数值进行比对,进行微调。
CN201811490656.0A 2017-12-07 2018-12-07 基于激光结构光的焊缝视觉跟踪系统及方法 Pending CN109604777A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201721694876 2017-12-07
CN2017216948766 2017-12-07

Publications (1)

Publication Number Publication Date
CN109604777A true CN109604777A (zh) 2019-04-12

Family

ID=66006660

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811490656.0A Pending CN109604777A (zh) 2017-12-07 2018-12-07 基于激光结构光的焊缝视觉跟踪系统及方法
CN201822049263.8U Expired - Fee Related CN210046133U (zh) 2017-12-07 2018-12-07 基于激光结构光的焊缝视觉跟踪系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201822049263.8U Expired - Fee Related CN210046133U (zh) 2017-12-07 2018-12-07 基于激光结构光的焊缝视觉跟踪系统

Country Status (1)

Country Link
CN (2) CN109604777A (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109986171A (zh) * 2019-05-20 2019-07-09 广东工业大学 一种焊缝定位方法、设备及系统
CN110434516A (zh) * 2019-08-28 2019-11-12 浙江大学城市学院 一种智能焊接机器人系统及焊接方法
CN110548988A (zh) * 2019-09-23 2019-12-10 航天工程装备(苏州)有限公司 一种基于视觉技术的焊缝轨迹自动识别装置和方法
CN110773841A (zh) * 2019-09-25 2020-02-11 浙江金华巨能电子科技有限公司 用于焊接的轨迹跟踪方法
CN110788446A (zh) * 2019-11-15 2020-02-14 沈阳航空航天大学 基于激光传感器的变姿态实时焊缝跟踪方法
CN110814465A (zh) * 2019-11-28 2020-02-21 华东交通大学理工学院 一种自动焊接焊缝轮廓提取的通用方法
CN111451611A (zh) * 2020-05-08 2020-07-28 六安市龙兴汽车零部件有限公司 一种基于云计算的智能焊接机器人控制系统
CN111644744A (zh) * 2020-05-20 2020-09-11 南京航空航天大学 一种用于双激光束双侧同步焊接的多功能集成化焊接设备及方法
CN112191993A (zh) * 2020-09-14 2021-01-08 湖北文理学院 一种氩弧焊焊缝跟踪系统及方法
CN112589232A (zh) * 2020-12-15 2021-04-02 广东工业大学 一种基于独立纠偏型深度学习的焊缝跟踪方法及装置
CN112621034A (zh) * 2020-12-10 2021-04-09 北京博清科技有限公司 一种焊枪的定位方法、装置、设备和存储介质
CN112621033A (zh) * 2020-12-10 2021-04-09 北京博清科技有限公司 一种焊枪的定位方法、装置、设备和存储介质
CN112692837A (zh) * 2021-01-11 2021-04-23 成都海瑞斯轨道交通设备有限公司 一种用于铁路货车车体检修的焊接机器人系统及焊接方法
CN112756834A (zh) * 2021-01-25 2021-05-07 陕西帕源路桥建设有限公司 一种焊枪的焊接位置控制系统
CN112809175A (zh) * 2020-12-29 2021-05-18 深圳市利拓光电有限公司 基于半导体激光器的焊接方法、装置、设备及存储介质
CN112903268A (zh) * 2021-01-20 2021-06-04 温州大学 一种箱包扣件的检测装置
CN113042953A (zh) * 2021-04-26 2021-06-29 山东大学 一种复杂焊缝跟踪装置及方法
CN113109347A (zh) * 2021-03-12 2021-07-13 南京理工大学 基于Zynq的嵌入式焊缝轨迹视觉检测系统及方法
CN113510412A (zh) * 2021-04-28 2021-10-19 湖北云眸科技有限公司 一种识别焊缝状态的检测系统、检测方法及储存介质
CN113551599A (zh) * 2021-07-22 2021-10-26 江苏省特种设备安全监督检验研究院 一种基于结构光导向的焊缝位置偏差视觉跟踪方法
CN113731959A (zh) * 2021-09-18 2021-12-03 安徽工业大学 一种火车轮对的激光自动除锈装置
CN113857632A (zh) * 2021-08-02 2021-12-31 中石化石油机械股份有限公司沙市钢管分公司 一种直缝钢管预焊机气保焊自动跟踪系统及方法
CN114043081A (zh) * 2021-11-24 2022-02-15 苏州全视智能光电有限公司 一种激光焊接的多焊缝类型特征点识别方法及系统
CN114131149A (zh) * 2021-12-24 2022-03-04 厦门大学 一种基于CenterNet的激光视觉焊缝跟踪系统、设备及存储介质
CN114211164A (zh) * 2021-12-24 2022-03-22 南通大学 一种水下焊接机器人焊缝跟踪系统的焊缝跟踪控制方法
CN114654465A (zh) * 2022-03-29 2022-06-24 湘潭大学 一种基于线激光结构光视觉传感的焊缝跟踪提取方法
CN114682879A (zh) * 2022-03-14 2022-07-01 南京理工大学 一种基于目标跟踪的焊缝跟踪方法
CN114769800A (zh) * 2022-06-20 2022-07-22 中建五洲工程装备有限公司 一种用于焊接过程的智能运行控制系统与方法
CN114769962A (zh) * 2022-05-07 2022-07-22 广州东焊智能装备有限公司 一种基于视觉传感的移动焊接机器人的焊缝识别跟踪系统
CN115055806A (zh) * 2022-08-11 2022-09-16 先富斯技术(武汉)有限公司 基于视觉跟踪的焊接轨迹跟踪方法及装置
CN115283905A (zh) * 2022-08-23 2022-11-04 中国核工业二三建设有限公司 一种焊接机器人的焊枪姿态调整方法
CN115283780A (zh) * 2022-08-11 2022-11-04 山东水总有限公司 一种焊缝识别及焊枪定位施工工艺
CN117532216A (zh) * 2023-12-21 2024-02-09 重庆工业设备安装集团有限公司 钢结构焊接机器人

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111774775B (zh) * 2020-06-30 2021-09-21 中国船舶重工集团公司第七一六研究所 用于大型结构件龙门式机器人焊接的三维视觉系统及控制方法
CN113385869B (zh) * 2021-07-26 2022-05-17 武汉理工大学 基于机器视觉的大型方格子构件机器人焊接装备及焊缝定位方法
CN114515923A (zh) * 2022-03-11 2022-05-20 上海隧道工程智造海盐有限公司 一种应用于隧道钢筋焊接的视觉定位系统

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109986171A (zh) * 2019-05-20 2019-07-09 广东工业大学 一种焊缝定位方法、设备及系统
CN110434516A (zh) * 2019-08-28 2019-11-12 浙江大学城市学院 一种智能焊接机器人系统及焊接方法
CN110548988A (zh) * 2019-09-23 2019-12-10 航天工程装备(苏州)有限公司 一种基于视觉技术的焊缝轨迹自动识别装置和方法
CN110773841A (zh) * 2019-09-25 2020-02-11 浙江金华巨能电子科技有限公司 用于焊接的轨迹跟踪方法
CN110788446A (zh) * 2019-11-15 2020-02-14 沈阳航空航天大学 基于激光传感器的变姿态实时焊缝跟踪方法
CN110814465B (zh) * 2019-11-28 2021-09-03 华东交通大学理工学院 一种自动焊接焊缝轮廓提取的通用方法
CN110814465A (zh) * 2019-11-28 2020-02-21 华东交通大学理工学院 一种自动焊接焊缝轮廓提取的通用方法
CN111451611A (zh) * 2020-05-08 2020-07-28 六安市龙兴汽车零部件有限公司 一种基于云计算的智能焊接机器人控制系统
CN111451611B (zh) * 2020-05-08 2021-11-16 六安市龙兴汽车零部件有限公司 一种基于云计算的智能焊接机器人控制系统
CN111644744A (zh) * 2020-05-20 2020-09-11 南京航空航天大学 一种用于双激光束双侧同步焊接的多功能集成化焊接设备及方法
CN112191993B (zh) * 2020-09-14 2022-05-10 湖北文理学院 一种氩弧焊焊缝跟踪系统及方法
CN112191993A (zh) * 2020-09-14 2021-01-08 湖北文理学院 一种氩弧焊焊缝跟踪系统及方法
CN112621034A (zh) * 2020-12-10 2021-04-09 北京博清科技有限公司 一种焊枪的定位方法、装置、设备和存储介质
CN112621033A (zh) * 2020-12-10 2021-04-09 北京博清科技有限公司 一种焊枪的定位方法、装置、设备和存储介质
CN112589232A (zh) * 2020-12-15 2021-04-02 广东工业大学 一种基于独立纠偏型深度学习的焊缝跟踪方法及装置
CN112589232B (zh) * 2020-12-15 2022-05-20 广东工业大学 一种基于独立纠偏型深度学习的焊缝跟踪方法及装置
CN112809175B (zh) * 2020-12-29 2022-08-12 深圳市利拓光电有限公司 基于半导体激光器的焊接方法、装置、设备及存储介质
CN112809175A (zh) * 2020-12-29 2021-05-18 深圳市利拓光电有限公司 基于半导体激光器的焊接方法、装置、设备及存储介质
CN112692837A (zh) * 2021-01-11 2021-04-23 成都海瑞斯轨道交通设备有限公司 一种用于铁路货车车体检修的焊接机器人系统及焊接方法
CN112903268A (zh) * 2021-01-20 2021-06-04 温州大学 一种箱包扣件的检测装置
CN112756834A (zh) * 2021-01-25 2021-05-07 陕西帕源路桥建设有限公司 一种焊枪的焊接位置控制系统
CN113109347A (zh) * 2021-03-12 2021-07-13 南京理工大学 基于Zynq的嵌入式焊缝轨迹视觉检测系统及方法
CN113042953A (zh) * 2021-04-26 2021-06-29 山东大学 一种复杂焊缝跟踪装置及方法
CN113042953B (zh) * 2021-04-26 2022-03-29 山东大学 一种复杂焊缝跟踪装置及方法
CN113510412A (zh) * 2021-04-28 2021-10-19 湖北云眸科技有限公司 一种识别焊缝状态的检测系统、检测方法及储存介质
CN113551599A (zh) * 2021-07-22 2021-10-26 江苏省特种设备安全监督检验研究院 一种基于结构光导向的焊缝位置偏差视觉跟踪方法
CN113857632A (zh) * 2021-08-02 2021-12-31 中石化石油机械股份有限公司沙市钢管分公司 一种直缝钢管预焊机气保焊自动跟踪系统及方法
CN113857632B (zh) * 2021-08-02 2023-05-02 中石化石油机械股份有限公司沙市钢管分公司 一种直缝钢管预焊机气保焊自动跟踪系统的使用方法
CN113731959A (zh) * 2021-09-18 2021-12-03 安徽工业大学 一种火车轮对的激光自动除锈装置
CN114043081A (zh) * 2021-11-24 2022-02-15 苏州全视智能光电有限公司 一种激光焊接的多焊缝类型特征点识别方法及系统
CN114043081B (zh) * 2021-11-24 2023-12-22 苏州全视智能光电有限公司 一种激光焊接的多焊缝类型特征点识别方法及系统
CN114211164A (zh) * 2021-12-24 2022-03-22 南通大学 一种水下焊接机器人焊缝跟踪系统的焊缝跟踪控制方法
CN114131149A (zh) * 2021-12-24 2022-03-04 厦门大学 一种基于CenterNet的激光视觉焊缝跟踪系统、设备及存储介质
CN114682879A (zh) * 2022-03-14 2022-07-01 南京理工大学 一种基于目标跟踪的焊缝跟踪方法
CN114654465A (zh) * 2022-03-29 2022-06-24 湘潭大学 一种基于线激光结构光视觉传感的焊缝跟踪提取方法
CN114769962A (zh) * 2022-05-07 2022-07-22 广州东焊智能装备有限公司 一种基于视觉传感的移动焊接机器人的焊缝识别跟踪系统
CN114769962B (zh) * 2022-05-07 2024-01-30 广州东焊智能装备有限公司 一种基于视觉传感的移动焊接机器人的焊缝识别跟踪系统
CN114769800B (zh) * 2022-06-20 2022-09-27 中建五洲工程装备有限公司 一种用于焊接过程的智能运行控制系统与方法
CN114769800A (zh) * 2022-06-20 2022-07-22 中建五洲工程装备有限公司 一种用于焊接过程的智能运行控制系统与方法
CN115283780A (zh) * 2022-08-11 2022-11-04 山东水总有限公司 一种焊缝识别及焊枪定位施工工艺
CN115055806B (zh) * 2022-08-11 2022-11-18 先富斯技术(武汉)有限公司 基于视觉跟踪的焊接轨迹跟踪方法及装置
CN115055806A (zh) * 2022-08-11 2022-09-16 先富斯技术(武汉)有限公司 基于视觉跟踪的焊接轨迹跟踪方法及装置
CN115283780B (zh) * 2022-08-11 2024-04-19 山东水总有限公司 一种焊缝识别及焊枪定位施工工艺
CN115283905A (zh) * 2022-08-23 2022-11-04 中国核工业二三建设有限公司 一种焊接机器人的焊枪姿态调整方法
CN115283905B (zh) * 2022-08-23 2024-03-26 中国核工业二三建设有限公司 一种焊接机器人的焊枪姿态调整方法
CN117532216A (zh) * 2023-12-21 2024-02-09 重庆工业设备安装集团有限公司 钢结构焊接机器人

Also Published As

Publication number Publication date
CN210046133U (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN109604777A (zh) 基于激光结构光的焊缝视觉跟踪系统及方法
CN107824940A (zh) 基于激光结构光的焊缝视觉跟踪系统及方法
CN105665970B (zh) 用于焊接机器人的路径点自动生成系统和方法
CN110245599A (zh) 一种智能三维焊缝自主寻迹方法
Kiddee et al. An automated weld seam tracking system for thick plate using cross mark structured light
CN105783726B (zh) 一种基于线结构光视觉检测的曲线焊缝三维重建方法
CN106181162B (zh) 一种基于机器视觉的实时焊缝跟踪检测方法
CN109175608A (zh) 焊缝特征点位置在线测量方法及焊缝轨迹自动测量系统
CN104400279B (zh) 基于ccd的管道空间焊缝自动识别与轨迹规划的方法
CN109658456A (zh) 罐体内角焊缝激光视觉三维视觉定位方法
CN101966617B (zh) 用于焊接机器人连续运动的激光视觉焊件特征检测方法
CN107999955A (zh) 一种六轴工业机器人线激光焊缝自动跟踪系统及方法
CN106780601A (zh) 一种空间位置追踪方法、装置及智能设备
CN107414253A (zh) 基于十字型激光器的焊缝跟踪控制装置及控制方法
CN110524583A (zh) 基于嵌入式平台的焊缝寻位跟踪3d视觉传感器及跟踪方法
CN108032011B (zh) 基于激光结构光焊缝初始点导引装置及方法
CN110434516A (zh) 一种智能焊接机器人系统及焊接方法
CN106271081A (zh) 三坐标直角机器人线激光焊缝自动跟踪系统及其跟踪方法
CN106925922B (zh) 自适应激光双目焊缝跟踪系统
Hou et al. A teaching-free welding method based on laser visual sensing system in robotic GMAW
CN114140439A (zh) 基于深度学习的激光焊接焊缝特征点识别方法及装置
Fan et al. Seam feature point acquisition based on efficient convolution operator and particle filter in GMAW
CN108127217A (zh) 螺旋板式换热器端面焊缝自动引导焊接的焊接装置和方法
CN108098134A (zh) 一种新型激光视觉焊缝跟踪系统及方法
CN109318227B (zh) 一种基于人形机器人的掷骰子方法及人形机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination