CN110064819B - 基于结构光的柱面纵向焊缝特征区域提取、焊缝跟踪方法及系统 - Google Patents
基于结构光的柱面纵向焊缝特征区域提取、焊缝跟踪方法及系统 Download PDFInfo
- Publication number
- CN110064819B CN110064819B CN201910396121.5A CN201910396121A CN110064819B CN 110064819 B CN110064819 B CN 110064819B CN 201910396121 A CN201910396121 A CN 201910396121A CN 110064819 B CN110064819 B CN 110064819B
- Authority
- CN
- China
- Prior art keywords
- weld
- characteristic
- image
- laser
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
- B23K9/127—Means for tracking lines during arc welding or cutting
- B23K9/1272—Geometry oriented, e.g. beam optical trading
- B23K9/1274—Using non-contact, optical means, e.g. laser means
Abstract
本发明提出了一种基于结构光的柱面纵向焊缝的特征区域提取、焊缝跟踪方法及系统,系统由激光发生部分、视觉传感部分和行走机构部分组成。在跟踪过程中,激光发生部分向工件表面投射线激光,视觉传感部分获取焊缝图像,提取焊缝图像的特征区域,获得特征区域中焊缝特征信息;将特征信息作为行走机构部分的输入条件,经过行走机构部分的处理,控制焊枪在对应位置进行焊接。根据柱面纵向焊缝的特点,分析了特征区域的提取对焊缝跟踪时间和跟踪精度的影响,说明了特征区域提取的重要性。基于此,重点论述了特征区域的提取过程,根据焊管管径大小,动态提取焊缝图像的特征区域,保证焊缝跟踪的速度和准确度。
Description
技术领域
本发明属于机器视觉领域的视觉传感跟踪,具体涉及一种基于结构光的柱面纵向焊缝的特征区域提取、焊缝跟踪方法及系统。
背景技术
焊接钢管是指用钢带或钢板弯曲变形为圆形、方形等形状后再焊接成表面有接缝的钢管。按焊缝形状可以分为直缝焊管(LSAW)和螺旋焊管(SSAW)两种。直缝焊管生产工艺简单,生产效率高,成本低,发展较快,较小口径的焊管大都采用直缝焊。直缝焊管工艺流程一般是:板探→卷曲成型→预焊→内焊→外焊→各类检验→防腐和涂层。目前,在实施焊接作业时,大多数工序还是通过人工完成,劳动强度大,存在许多不确定的外界因素,而且焊接速度无法提高,焊接精度无法保证,不能满足现代工业的发展。
随着工业不断发展,自动焊接、智能焊接是当前研究的热点。随着机器人的发展,使得制造业的自动化水平不断提高;同时计算机技术和图像处理技术的不断发展,使得采用机器视觉方法进行焊缝跟踪成为现实。在利用机器视觉实现焊缝跟踪的过程中,通常由于无法提取合适的特征区域(提取了大量的干扰等),导致跟踪的精确度较低;还有就是特征区域提取过大,导致跟踪的速度无法满足。由此可以看出在焊缝的视觉跟踪中,焊缝特征区域的提取至关重要,直接影响后续的焊缝跟踪速度和跟踪准确性。首先,对于机器视觉的图像处理而言,焊缝特征区域提取越小越有利于提高图像处理的速度。虽然通过提高硬件的性能也可以降低图像处理的时间,但是对于工业生产而言必须要考虑成本,在自动化生产过程中,嵌入式处理器或工业PC其计算性能有限,直接影响焊缝图像的处理速度;并且,实际焊接作业的工厂往往环境恶劣,存在温度、振动和湿度等环境因素的干扰,安装高性能计算机系统也不切合实际。因此,就需要在图像算法处理中提取合适尺寸的特征区域,来满足工业焊接的实时性和成本要求。此外,就焊接方式而言,目前激光焊接已经大量用于制造业,用于焊接的激光器的功率越来越高,因此对焊接生产速度的要求也会越来越快。所以,也需要在满足精度要求的前提下,通过合理的特征区域快速提取方法捕获焊缝特征信息,以满足激光器的焊接速度。进一步,对于柱面纵向焊缝的焊接钢管而言,激光结构光在工件表面投射激光平面,产生带断点的激光曲线,提取的特征区域大小和位置不同都会影响激光曲线的完整性;而激光曲线的完整是准确获取焊缝特征点的前提。通过以上的分析,可以看出焊缝图像特征区域提取,对实际生产中具有十分重要的意义。
因此,本发明提出了一种基于结构光的柱面纵向焊缝特征区域提取、焊缝跟踪方法及系统,根据焊管管径大小,动态提取焊缝图像的特征区域;并基于特征区域实现了柱面纵向焊缝的视觉跟踪。
发明内容
1、本发明的目的
本发明提供了基于结构光的柱面纵向焊缝特征区域提取、焊缝跟踪方法和系统;重点论述了特征区域的提取过程,根据焊管管径大小,动态提取焊缝图像的特征区域,保证焊缝跟踪的速度和准确度;并基于特征区域实现了柱面纵向焊缝的视觉跟踪。
2、本发明所采用的技术方案
本发明提出了一种基于结构光的柱面纵向焊缝的视觉跟踪系统,包括激光发生部分、视觉传感部分和行走机构部分;
激光发生部分,包括两个一字线激光发生器和圆柱透镜,其发出的光经过圆柱透镜形成两个激光平面,倾斜投射在工件表面产生两条曲线激光条纹;
视觉传感部分,由图像采集装置和计算机组成,图像采集装置包括工业相机、工业镜头及滤光片,用于采集焊缝激光图像;
行走机构部分,包括计算机、控制器、伺服驱动器、伺服电机和龙门式三轴滑台,计算机输入的控制信号经过运动控制器传输到伺服驱动器,伺服驱动器放大信号后,驱动伺服电机工作,带动龙门架三轴移动,用于跟踪焊缝;
识别与跟踪过程中,通过激光发生部分向待焊工件表面投射线激光平面,视觉传感部分获取激光焊缝图像,根据焊管管径大小,动态提取焊缝图像的特征区域,基于特征区域获取焊缝的特征信息;将焊缝的特征信息作为行走机构部分的输入条件,经过行走机构部分的处理,控制焊枪在对应位置进行焊接,由此实现焊缝的实时跟踪。
更进一步,所述的行走机构部分的控制器为运动控制卡。
更进一步,所述的行走机构部分的运动控制器安装于计算机内。
更进一步,所述的行走机构部分的龙门式三轴滑台包含X、Y、Z三轴运动系统。
更进一步,行走机构部分主要通过龙门式三轴滑台控制焊头的移动
对焊缝图像来说,特征区域是指图像中激光条纹和焊缝组成的区域。对于平面直线焊缝而言,无论特征区域取多大都是两条带有断点的线段;而对于焊接钢管的柱面纵向焊缝而言,线激光在工件表面产生带断点的曲线条纹,由于视觉传感部分和激光发生部分安装位置固定,对于不同管径的待焊钢管,焊缝图像中激光曲线的弯曲程度也不同。若提取图像特征区域的大小和位置不同,导致特征区域中激光曲线大小和完整性不同,会影响后续的焊缝特征点的提取。参见图2,本发明的系统采集到的柱面纵向焊缝图像,激光曲线条纹在焊缝处产生断点,图中的两个矩形区域即为图像的特征区域。
对于柱面纵向焊缝焊管而言,线激光在其表面产生带断点的曲线条纹,并且激光曲线直接影响焊缝提取的准确性,所以,为了保证特征区域中激光曲线完整性,提出了根据焊管管径大小,动态提取焊缝图像的特征区域。参见图2,焊缝特征区域的提取,就是获得特征区域高度H和宽度W的过程。因为本发明的线激光器是从垂直方向向工件投射激光,所以图像中的激光条纹是沿着垂直方向(图像高度方向)分布。因此,对于焊缝图像特征区域的提取,关键是得到特征区域的高度H,特征区域的宽度W可以由激光曲线和高度H得到。
对特定的焊管来说,特征区域的高度H可以看做是其特定的参数。高度H的选取大小直接影响焊缝跟的速度和精度,因此针对同一焊管实验分析了特征区域选取H大小与跟踪时间t、跟踪误差Δ的关系曲线,即H=f(t,Δ),来确定参数H,具体参见实施例。
通过计算机开发了特征区域的提取方法,基于特征区域快速准确地捕获了焊缝中心点的位置坐标,保证了跟踪的实时性和准确性,具体步骤如下:
步骤1调整高度及角度
根据工业相机的焦距、一字线激光发生器的线宽和柱面纵向焊缝的焊件的直径,来调整焊缝视觉跟踪系统的高度和双激光发生器的角度;
步骤2提取激光曲线焊缝特征点
通过采集到的带激光条纹曲线的焊缝图像,提取焊缝图像的特征区域,基于特征区域计算焊缝的中心特征点;
步骤3使用张正友标定法对相机进行标定,将图像中的坐标系与两个线激光平面所在的坐标系统一起来;
步骤4根据柱面纵向焊缝特征点的位置和两个线激光平面空间方程,得出焊缝的两个特征点的空间坐标,进而通过两点确定直线的原理获得直线延长线外固定距离的焊接位置,将此位置的三维坐标输入至行走机构。
更进一步,所述的步骤2提取激光曲线特征点的方法步骤如下:
步骤2.1对焊缝图像进行预处理
步骤2.1.1首先根据不同的管径,确定提取焊缝特征区域的尺寸与处理时间及测量误差之前的关系,以供实际生产时,可以根据焊接管径、焊接速度和焊接精度来选择正确的特征区域参数。
对于柱面纵向焊缝的焊接钢管,线激光在其表面产生带断点的曲线条纹,在硬件计算能力固定的情况下,焊缝识别时,其特征区域的尺寸越小,提取焊缝特征点所用时间越短;但特征区域中激光曲线的大小与完整性影响焊缝特征点提取的准确性,所以需要根据实际生产的需要来综合考虑提取时间和测量误差选取特征区域尺寸;
特征区域提取过程:参见实施例图5,两个激光器产生两侧激光条纹,对焊缝图像的像素采取行投影操作,找到像素点最小的行min_row,对于左侧的激光条纹,以像素最小行min_row为中心,向上、向下选取固定宽度h的行,根据所选取的行与曲线条纹的交点,找到上交点所在的列u_col、下交点所在的列d_col。列u_col和列d_col之间宽度即为特征区域的宽度W,特征区域的高度H为2h,通过曲线确定的列u_col、列d_col和高度H共同确定了特征区域的大小。
对于特征区域高度H,作为每一种焊接钢管的特定参数,可以从每一种焊管的特征区域选取H大小与跟踪时间t、跟踪误差Δ的关系曲线,即H=f(t,Δ),来确定H,具体参见实施例。
由于在工业作业时,图像采集时会收到各种干扰,导致图像中存在大量噪声点,步骤2.1.2对特征区域图像进行滤波处理;
步骤2.2进行阈值分割,从焊缝图像特征区域中把激光条纹区域从背景区域中分开;
经过上一步的图像分割,焊缝图像已经变成二值图像,并且二值图像中噪声点很少,所以,为了方便特征点的提取,保持良好的完整性和连通性,步骤2.3进行焊缝的中心线提取,采用中轴变换算法对焊缝图像作细化处理,得到由单像素组成的中心线;
步骤2.4焊缝特征点提取,通过最小二乘法进行曲线拟合,应用导数极值法来提取焊缝特征点。
更进一步,参见实施例图8,所述的通过H=f(t,Δ)关系曲线确定焊管H具体为:高度H与跟踪时间t对应的映射关系:H=f1(t)或者t=f1 -1(H);高度H与跟踪误差Δ的关系,H=f2(Δ)或者Δ=f2 -1(H);两条曲线的交点,交点的H值即为理想情况下此焊管的特征区域的高度。
更进一步,所述的步骤2.1.2对特征区域图像进行滤波处理采用空间域滤波和形态学操作。
考虑到待焊钢管上表面顶部和侧面不同位置距离线激光发生器的距离不同,导致采集到焊缝图像中激光曲线的亮度不同,使用固定阈值分割难以获得理想的分割效果,步骤2.2中对焊缝图像进行阈值分割,通过采用大津法分割特征区域焊缝图像,将灰度值接近和位置靠近的像素划成一个区域,经过阈值分割,激光条纹的点变为白色。
3、本发明的有益效果
本发明指出了焊接钢管的柱面纵向焊缝的特征区域提取对焊缝识别速度和精度的影响。进一步,通过对比平面直线焊缝,焊接钢管的柱面纵向焊缝的特征区域提取对焊缝识别精度的影响主要是由于图像中激光曲线的弯曲程度所造成的。
本发明采用两个结构光平面与焊缝的特征点来确定柱面纵向焊缝的三维空间姿态,对不同管径焊接钢管的柱面纵向焊缝进行动态跟踪;并重点论述了特征区域的提取过程,根据焊管管径大小,动态提取焊缝图像的特征区域,保证焊缝跟踪的速度和准确度。
附图说明
图1是本发明的柱面纵向焊缝的视觉跟踪系统的结构示意图;
图2是本发明的系统采集到的带激光条纹的柱面纵向焊缝图像;
图3是本发明的柱面纵向焊缝特征点的提取流程图;
图4是本发明的激光焊缝图像选取不同尺寸特征区域的比较图;
图5是本发明大管径的焊管选用不同尺寸特征区域的误差分析图;
图6是本发明小管径的焊管选用不同尺寸特征区域的误差分析图;
图7是本发明的激光焊缝图像的特征区域提取过程的示意图;
图8是本发明实验选取的焊管特征区域高度H与跟踪时间t、跟踪误差Δ的关系曲线图;
图9是本发明的实验拟合焊缝误差曲线;
图10是本发明的实际测量点与焊缝拟合线的三维分布图。
具体实施方法
下面结合实施例和附图对本发明作进一步详细、完整的描述,但本发明的实施方法不限于此。
实施例
参见图1,图1是本发明的基于结构光的柱面纵向焊缝的视觉跟踪系统的结构示意图,如图1所示,激光发生器1、2,发出两个激光平面倾斜投射在工件6表面产生两条曲线激光条纹,并且两条激光条纹在焊缝7处产生形变;通过工业相机3采集到包含两条激光条纹的焊缝图像,提取焊缝图像的特征区域,获得特征区域中焊缝特征信息;将特征信息作为行走机构部分4的输入条件,经过行走机构部分的处理,控制焊枪5在对应位置进行焊接。图中8表示工件的传输方向,9表示焊枪的移动方向。
依据图1的装置,基于结构光的柱面纵向焊缝的视觉跟踪系统,包括以下过程:
步骤一:为了采集到清晰地带激光条纹的焊缝图像,需要根据工业相机的焦距、一字线激光发生器的线宽和柱面纵向焊缝的焊件的直径,来调整焊缝视觉跟踪系统的高度和双激光发生器的角度,保证焊缝图像成像清晰,双激光线位于工业相机视野内。
步骤二:要实现焊缝的视觉跟踪,首先要通过采集到的带曲线激光条纹焊缝图像,提取特征区域,计算特征区域中焊缝的特征点,才可以进行准确的动态跟踪。因此通过计算机开发了特征区域的提取方法,基于特征区域快速准确地获取了焊缝中心点的位置坐标,保证了跟踪的实时性。
参见图2,是本发明的系统采集到的带激光条纹的柱面纵向焊缝图像,线激光在柱面焊件表面产生形变的曲线条纹,并在焊缝处产生断点,图中的两个矩形区域即为图像的特征区域。由于本发明视觉跟踪系统的线激光打在焊枪正下方的前方,距离焊枪焊点位置有一定距离,可以准确提取焊缝信息。
工业上,焊缝的识别与跟踪离不开两大问题:速度和精度。速度影响焊缝识别与跟踪过程的实时性,精度决定了焊接的准确度。在焊缝特征点的一整套提取方法和流程中,特征区域的选取对于后续的过程至关重要。对于平面直焊缝而言,特征区域的大小选取不同,会影响图像处理的时间,但对焊缝特征点的识别精度影响不大;但是,对于焊接钢管的柱面纵向焊缝情况将有很大的不同,特征区域的大小选取直接影响最终的提取速度和精度。图3,是本发明的柱面纵向焊缝特征点的提取流程:
a对焊缝图像进行预处理,首先对焊缝图像进行特征区域提取,不仅可以减少图像处理的数据量,提高处理速度,还可以去除特征区域以外的干扰,提高识别精度。
本实施例选取了两种不同管径的柱面纵向焊缝进行识别提取,并加以对比分析,由于系统工作前激光器与工业相机的位置已经固定,所以线激光投射到同一焊管不同部分产生的激光曲线的弯曲程度都相同。参见图4,分别取5种尺寸大小的特征区域(48x48、64x48、128x48、128x64、256x128),通过实验来说明特征区域尺寸大小对焊缝特征点提取时间和提取精度的影响。表一和表二分别为两种焊管选取不同尺寸特征区域,柱面纵向焊缝特征点的提取时间。图5和图6分别是本发明大管径和小管径的焊管选用不同尺寸特征区域的误差分析图。
表一大管径的焊管选用不同尺寸特征区域的特征点提取时间
表二小管径的焊管选用不同尺寸特征区域的特征点提取时间
通过上述两表可以看出,不论对于那种焊管,提取的特征区域的尺寸越小,识别焊缝特征点所用时间越短。根据图5、图6可以得出特征区域选取越大,系统的测量误差越小,但当尺寸达到一定程度后,误差的差异不那么明显了。
对于大管径的焊管选取不同尺寸特征区域测量误差,参见图5,特征区域的大小为48x48和64x48时,测量误差较大,其余三个尺寸特征区域的测量误差差别不太大,结合表一的提取时间,此焊管适合选取尺寸为128x48的特征区域。对于小管径的焊管,参见图6,特征区域大小为48x48时,测量误差很大,其余四个尺寸特征区域的测量误差差别不太大,结合表二的提取时间,此焊管适合选取尺寸为64x48的特征区域。综合以上分析,对于柱面纵向焊缝的焊接钢管,线激光投射到焊管上产生曲线条纹,虽然选取特征区域的尺寸越小,提取焊缝特征点所用时间越短,但是由于特征区域中激光曲线的大小和完整性影响系统精度,所以要综合考虑提取时间和测量误差选取合适的特征区域尺寸。
特征区域中激光曲线越完整,越有利于柱面纵向焊缝特征点的获取。基于此,为了保证特征区域中激光条纹曲线的完整性,本发明提出了根据管径大小来动态提取特征区域。参见图7,对焊缝图像的像素采取行投影操作,找到像素点最小的行min_row。对于左侧的激光条纹,以像素最小行min_row为中心,向上选取固定宽度h的行,根据所选取的行与曲线条纹的交点,找到交点所在的列u_col;同样,以像素最小行min_row为中心,向下选取固定宽度h的行,根据所选取的行与曲线条纹的交点,找到交点所在的列d_col。列u_col和列d_col之间宽度即为特征区域的宽度W,特征区域的高度H为2h,通过曲线确定的列u_col、列d_col和高度H共同确定了左侧特征区域的大小。对于右侧的激光条纹采用同样方法提取特征区域。
对特定的焊管来说,特征区域的高度H可以看做是其特定的参数。高度H的选取大小直接影响焊缝跟的速度和精度,因此针对实验选取的焊管经过实验分析了特征区域选取H大小与跟踪时间t、跟踪误差Δ的关系曲线,即H=f(t,Δ),来得出适合的高度。
参见图8,特征区域的高度H与跟踪时间t、跟踪误差Δ的关系曲线图,实际中相机采集图像的大小为640×480,焊缝中心线位于图像的中间部分,故特征区域高度H选择了一个中间范围;图中横坐标高度H,左边纵坐标为处理时间t,右边纵坐标为测量误差Δ。高度H与跟踪时间t、跟踪误差Δ的关系曲线是两条曲线构成:高度H与跟踪时间t的关系曲线(图中实线曲线)和高度H与跟踪误差Δ的关系曲线(图中虚线的曲线)。
a1仅考虑高度H与跟踪时间t的关系曲线,可以看出二者存在一一对应的映射关系:H=f1(t)或者t=f1 -1(H)。总图像整体来看,起初随着高度的增大,t的变化比较平稳;随着高度H继续越大,跟踪时间t迅速增大;
a2仅考虑高度H与跟踪误差Δ的关系曲线,可以看出二者存在一一对应的映射关系:H=f2(Δ)或者Δ=f2 -1(H)。总图像整体来看,起初随着高度的增大,跟踪误差Δ的急速变小;随着高度H增大到192后,跟踪Δ趋于平稳;
a3综合考虑跟踪时间t、跟踪误差Δ的因素,取图8中两条曲线的交点,交点的H0值即为理想情况下此焊管的特征区域高度。
在实际的工业应用中,当焊接系统的跟踪时间t1大于图中理想值t0,而跟踪误差可以满足时,可以通过关系曲线图找到t1对应的高度H1,此时的H1变大,系统的跟踪误差变得更低,则H1为当前系统最优的特征区域高度值;另一种情况,当焊接系统的跟踪误差Δ1大于图中理想值Δ0,而跟踪时间可以满足时,可以通过关系曲线图找到Δ1对应的高度H2,此时的H2变小,系统的跟踪时间变小,则H2为当前系统最优的特征区域高度值;当焊接系统的跟踪时间t和跟踪误差Δ都大于理想值时,需要根据工业的具体要求来决定以跟踪时间或跟踪误差为决定条件,来选择实际的特征区域高度值H。
a4根据上一步得出的高度H,基于前面的特征区域提取方法,确定了此焊管的特征区域宽度W,最终得到了适合此焊管的特征区域。
由于在工业作业时,图像采集时会收到各种干扰,导致图像中存在大量噪声点,因此应对特征区域图像进行滤波处理,本发明选用空间域滤波和形态学操作。
b接着对焊缝图像进行阈值分割。图像分割是将灰度值接近和位置靠近的像素划成一个区域。通过合适的灰度阈值从特征区域图像中把激光条纹区域从背景区域中分开。考虑到待焊钢管上表面顶部和侧面不同位置距离线激光发生器的距离不同,导致采集到焊缝图像中激光曲线的亮度不同,使用固定阈值分割难以获得理想的分割效果,故采用大津法(Otsu)进行图像分割。经过阈值分割,激光条纹的点变为白色。
c下一步进行焊缝的中心线提取。经过上一步的图像分割,焊缝图像已经变成二值图像,并且二值图像中噪声点很少,所以,为了方便特征点的提取,采用中轴变换算法对焊缝图像作细化处理,得到由单像素组成的中心线,而且中心线保持了良好的完整性和连通性。
d最后进行焊缝特征点提取。通过最小二乘法进行曲线拟合,应用导数极值法来提取焊缝特征点。
步骤三:使用张正友标定法对相机进行标定,利用图像中像素间的对应关系进行标定。利用相机投影中心及线激光在相机成像面上的信息,使用共面标靶实现相机与线激光平面之间位置参数的标定,即可标定线结构光平面,最终将图像中的坐标系与两个线激光平面所在的坐标系统一起来。
步骤四:通过对本发明提出的焊接钢管的柱面纵向焊缝跟踪系统进行预校准,根据柱面纵向焊缝特征点的位置和两个线激光平面方程,得出焊缝的两个特征点的空间坐标,进而通过两点确定直线的原理获得直线延长线外固定距离的焊接位置。
步骤五:对本发明提出的柱面纵向焊缝特征点的提取方法进行综合误差分析。选择柱面纵向焊缝的焊接钢管,使用夹具固定好焊管。通过以上四个步骤,得出焊缝的三维空间姿态;在视场里取焊缝线上40个点,测量每个点实际的空间坐标;计算每个点的测量值与焊缝拟合线的偏差;每个点的偏差以及整体的误差均值、标准差如下:
表三综合误差分析
(表中每个点的偏差都已经取绝对值)
由上表可知,本发明所提出的方法,测量值的误差均值为0.2050mm,标准差为0.0304mm,可以满足实际工业要求。图9是根据上表绘制的焊缝误差曲线,更加直观地反映了误差情况;图10是本发明40个实际测量点与焊缝拟合线的三维分布图,系统的精度与稳定性较高,可以满足要求。
本发明提出的柱面纵向焊缝的特征区域提取方法,适用于不同管径、不同材质的柱面焊缝。虽然选取特征区域的尺寸越小,提取焊缝特征点所用时间越短,但是精度不能保证,所以要综合考虑提取时间和测量误差选取合适的特征区域尺寸。基于此,本发明提供了一种基于结构光的柱面纵向焊缝的特征区域提取、焊缝跟踪方法及系统,根据焊管的管径大小,动态提取焊缝图像的特征区域,保证焊缝跟踪的速度和准确度。基于特征区域获得焊缝特征点的位置,将焊缝的特征信息作为行走机构部分的输入条件,经过行走机构部分的处理,控制焊枪在对应位置进行焊接,实现焊缝的实时跟踪。
Claims (8)
1.一种基于结构光的柱面纵向焊缝特征区域提取的焊缝跟踪方法,其特征在于:
步骤1调整高度及角度
根据工业相机的焦距、一字线激光发生器的线宽和柱面纵向焊缝的焊件的直径,来调整焊缝视觉跟踪系统的高度和双激光发生器的角度;
步骤2提取焊缝图像特征
通过采集到的带激光条纹曲线的焊缝图像,提取图像的特征区域,计算特征区域中焊缝的特征点;
所述的步骤2提取焊缝特征点的特征区域方法步骤如下:
步骤2.1对焊缝图像进行预处理
步骤2.1.1特征区域的提取
两个激光器产生两侧激光条纹,对焊缝图像的像素采取行投影操作,找到像素点最小的行min_row,对于左侧的激光条纹,以像素最小行min_row为中心,向上、向下选取固定高度h的行,根据所选取的行与曲线条纹的交点,找到上交点所在的列u_col、下交点所在的列d_col,列u_col和列d_col之间宽度即为特征区域的宽度W,特征区域的高度H为2h,通过曲线确定的列u_col、列d_col和高度H共同确定了特征区域的大小;
对于特征区域的高度H的确定,通过H=f(t,Δ)关系曲线确定焊管特征区域高度H,其中t为系统跟踪时间、Δ为系统跟踪误差;所述的通过H=f(t,Δ)关系曲线确定焊管H具体为:高度H与跟踪时间t对应的映射关系为:H=f1(t)或者t=f1 -1(H);高度H与跟踪误差Δ的关系为,H=f2(Δ)或者两条曲线的交点H值即为理想情况下此焊管的特征区域的高度;
步骤2.1.2对特征区域图像进行滤波处理;
步骤2.2进行阈值分割,从特征区域焊缝图像中把激光条纹区域从背景区域中分离出来;
步骤2.3进行焊缝的中心线提取,采用中轴变换算法对焊缝图像作细化处理,得到由单像素组成的中心线;
步骤2.4焊缝特征点提取,通过最小二乘法进行曲线拟合,应用导数极值法提取焊缝特征点;
步骤3使用张正友标定法对工业相机进行标定,将图像中的坐标系与两个线激光平面所在的坐标系统一起来;
步骤4根据柱面纵向焊缝特征点的位置和两个线激光平面方程,得出焊缝的两个特征点的空间坐标,进而通过两点确定直线的原理获得直线延长线外固定距离的焊接位置,将此位置的三维坐标输入至行走机构。
2.根据权利要求1所述的基于结构光的柱面纵向焊缝特征区域提取的焊缝跟踪方法,其特征在于,所述的步骤2.1.2对特征区域图像进行滤波处理采用空间域滤波和形态学操作。
3.根据权利要求1所述的基于结构光的柱面纵向焊缝特征区域提取的焊缝跟踪方法,其特征在于,步骤2.2中对焊缝图像进行阈值分割,采用大津法对特征区域进行图像分割,将灰度值接近和位置靠近的像素划成一个区域,经过阈值分割,激光条纹的点变为白色。
4.根据权利要求1-3任一所述的焊缝跟踪方法的焊缝跟踪系统,其特征在于:包括激光发生部分、视觉传感部分和行走机构部分;
激光发生部分,包括两个一字线激光发生器和圆柱透镜,其发出的光经过圆柱透镜形成两个激光平面,倾斜投射在工件表面产生两条曲线激光条纹;
视觉传感部分,由图像采集装置和计算机组成,图像采集装置包括工业相机及滤光片,用于采集焊缝激光图像;
行走机构部分,包括计算机、运动控制器、伺服驱动器、伺服电机和龙门式三轴滑台,计算机输入的控制信号经过运动控制器传输到伺服驱动器,伺服驱动器放大信号后,驱动伺服电机工作,带动龙门架三轴移动;
跟踪过程中,通过激光发生部分向待焊工件表面投射线激光平面,视觉传感部分获取激光焊缝图像,根据焊管管径大小,动态提取焊缝图像的特征区域,获得特征区域中焊缝特征信息;将焊缝的特征信息作为行走机构部分的输入条件,经过行走机构部分的处理,控制焊枪在对应位置进行焊接,由此实现焊缝的实时跟踪。
5.根据权利要求4所述的基于结构光的柱面纵向焊缝特征区域提取的焊缝跟踪系统,其特征在于:所述的行走机构部分的运动控制器为运动控制卡。
6.根据权利要求4所述的基于结构光的柱面纵向焊缝特征区域提取的焊缝跟踪系统,其特征在于:所述的行走机构部分的运动控制器安装于计算机内。
7.根据权利要求4所述的基于结构光的柱面纵向焊缝特征区域提取的焊缝跟踪系统,其特征在于:所述的行走机构部分的龙门式三轴滑台包含X、Y、Z三轴运动系统。
8.根据权利要求4所述的基于结构光的柱面纵向焊缝特征区域提取的焊缝跟踪系统,其特征在于:所述的行走机构部分主要通过龙门式三轴滑台控制焊头的移动。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910396121.5A CN110064819B (zh) | 2019-05-14 | 2019-05-14 | 基于结构光的柱面纵向焊缝特征区域提取、焊缝跟踪方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910396121.5A CN110064819B (zh) | 2019-05-14 | 2019-05-14 | 基于结构光的柱面纵向焊缝特征区域提取、焊缝跟踪方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110064819A CN110064819A (zh) | 2019-07-30 |
CN110064819B true CN110064819B (zh) | 2021-04-30 |
Family
ID=67370602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910396121.5A Active CN110064819B (zh) | 2019-05-14 | 2019-05-14 | 基于结构光的柱面纵向焊缝特征区域提取、焊缝跟踪方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110064819B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110480127B (zh) * | 2019-08-12 | 2021-11-26 | 广东工业大学 | 一种基于结构光视觉传感的焊缝跟踪系统及方法 |
CN110960138A (zh) * | 2019-12-30 | 2020-04-07 | 科沃斯机器人股份有限公司 | 结构光模组及自主移动设备 |
CN112101411B (zh) * | 2020-08-05 | 2022-08-19 | 复旦大学 | 一种基于模板匹配与分布特征的焊点识别与定位方法 |
CN112091480B (zh) * | 2020-08-06 | 2022-02-11 | 苏州实创德光电科技有限公司 | 用于直缝管轴向焊缝识别的辅助内照明系统及焊接方法 |
CN112184713A (zh) * | 2020-11-06 | 2021-01-05 | 上海柏楚电子科技股份有限公司 | 切割含焊缝管材的控制方法、装置、切割系统、设备与介质 |
CN112809175B (zh) * | 2020-12-29 | 2022-08-12 | 深圳市利拓光电有限公司 | 基于半导体激光器的焊接方法、装置、设备及存储介质 |
CN112881520B (zh) * | 2021-01-14 | 2022-07-22 | 哈尔滨工业大学 | 基于小波变换模极大值法的地下管道缺陷定位方法 |
CN112894133B (zh) * | 2021-01-27 | 2023-08-04 | 浙江广合智能科技有限公司 | 一种激光焊接系统和焊点位置提取方法 |
CN113427168A (zh) * | 2021-05-12 | 2021-09-24 | 广州中国科学院先进技术研究所 | 一种焊接机器人实时焊缝跟踪装置及方法 |
CN113649672A (zh) * | 2021-08-06 | 2021-11-16 | 武汉理工大学 | 一种对接焊缝几何特征的自适应提取方法 |
CN114309889B (zh) * | 2021-12-21 | 2023-06-23 | 上海电机学院 | 一种用于焊缝跟踪的激光视觉传感系统及方法 |
CN114643448B (zh) * | 2022-05-19 | 2022-09-27 | 先富斯技术(武汉)有限公司 | 一种焊缝特征提取装置及方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6149774A (ja) * | 1984-08-14 | 1986-03-11 | Kawasaki Steel Corp | 溶接管の外面溶接方法 |
JPH07214322A (ja) * | 1994-01-31 | 1995-08-15 | Mitsubishi Heavy Ind Ltd | 溶接部材開先倣い制御方法 |
KR20070002466A (ko) * | 2005-06-30 | 2007-01-05 | 삼성중공업 주식회사 | 용접선 추적용 레이저 비전 센서 |
CN101334264A (zh) * | 2008-07-25 | 2008-12-31 | 华中科技大学 | 激光焊接中狭窄对接焊缝的测量方法及装置 |
CN101486124A (zh) * | 2009-02-13 | 2009-07-22 | 南京工程学院 | 多结构光双目复合视觉焊缝跟踪方法及装置 |
CN202278307U (zh) * | 2011-08-19 | 2012-06-20 | 广州有色金属研究院 | 一种可调式双线结构光焊缝跟踪视觉传感系统 |
CN103111721A (zh) * | 2013-01-11 | 2013-05-22 | 上海电机学院 | 一种锅炉管系活动连接件焊接方法 |
CN109483018A (zh) * | 2018-11-06 | 2019-03-19 | 湖北书豪智能科技有限公司 | 管道自动焊接中焊缝的主动视觉引导方法 |
CN109676243A (zh) * | 2019-01-21 | 2019-04-26 | 苏州实创德光电科技有限公司 | 基于双线激光结构光的焊缝识别与跟踪系统及方法 |
-
2019
- 2019-05-14 CN CN201910396121.5A patent/CN110064819B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6149774A (ja) * | 1984-08-14 | 1986-03-11 | Kawasaki Steel Corp | 溶接管の外面溶接方法 |
JPH07214322A (ja) * | 1994-01-31 | 1995-08-15 | Mitsubishi Heavy Ind Ltd | 溶接部材開先倣い制御方法 |
KR20070002466A (ko) * | 2005-06-30 | 2007-01-05 | 삼성중공업 주식회사 | 용접선 추적용 레이저 비전 센서 |
CN101334264A (zh) * | 2008-07-25 | 2008-12-31 | 华中科技大学 | 激光焊接中狭窄对接焊缝的测量方法及装置 |
CN101486124A (zh) * | 2009-02-13 | 2009-07-22 | 南京工程学院 | 多结构光双目复合视觉焊缝跟踪方法及装置 |
CN202278307U (zh) * | 2011-08-19 | 2012-06-20 | 广州有色金属研究院 | 一种可调式双线结构光焊缝跟踪视觉传感系统 |
CN103111721A (zh) * | 2013-01-11 | 2013-05-22 | 上海电机学院 | 一种锅炉管系活动连接件焊接方法 |
CN109483018A (zh) * | 2018-11-06 | 2019-03-19 | 湖北书豪智能科技有限公司 | 管道自动焊接中焊缝的主动视觉引导方法 |
CN109676243A (zh) * | 2019-01-21 | 2019-04-26 | 苏州实创德光电科技有限公司 | 基于双线激光结构光的焊缝识别与跟踪系统及方法 |
Non-Patent Citations (1)
Title |
---|
基于线结构光传感的T型角焊缝;孔萌等;《电焊机》;20181020;第101-104页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110064819A (zh) | 2019-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110064819B (zh) | 基于结构光的柱面纵向焊缝特征区域提取、焊缝跟踪方法及系统 | |
Huang et al. | Development of a real-time laser-based machine vision system to monitor and control welding processes | |
CN107876970B (zh) | 一种机器人多层多道焊接焊缝三维检测及焊缝拐点识别方法 | |
Dinham et al. | Autonomous weld seam identification and localisation using eye-in-hand stereo vision for robotic arc welding | |
Xu et al. | A visual seam tracking system for robotic arc welding | |
CN112518072B (zh) | 一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法 | |
Dinham et al. | Detection of fillet weld joints using an adaptive line growing algorithm for robotic arc welding | |
CN113465511B (zh) | 一种钢卷尺寸在线测量及全方位端面缺陷在线检测方法 | |
CN113427168A (zh) | 一种焊接机器人实时焊缝跟踪装置及方法 | |
CN111014879B (zh) | 一种基于激光焊缝跟踪的机器人波纹板自动焊接方法 | |
CN113634964B (zh) | 一种大型构件龙门式机器人焊接装备及焊接工艺 | |
CN105458462A (zh) | 一种变间隙梯形焊缝多参数同步视觉检测跟踪方法 | |
CN113798634B (zh) | 空间环形焊缝示教与焊缝跟踪方法、系统及设备 | |
Dong et al. | A weld line detection robot based on structure light for automatic NDT | |
CN112629441A (zh) | 基于线结构光动态视觉的3d曲面玻璃轮廓扫描检测方法及系统 | |
Ma et al. | Efficient and accurate start point guiding and seam tracking method for curve weld based on structure light | |
CN112238292A (zh) | 一种基于视觉的搅拌摩擦焊机器人空间曲线轨迹跟踪方法 | |
CN114769988A (zh) | 一种焊接控制方法、系统、焊接设备及存储介质 | |
Wu et al. | A teaching-free welding position guidance method for fillet weld based on laser vision sensing and EGM technology | |
CN115546125A (zh) | 一种基于点云信息的增材制造熔敷层的误差检测并对轨迹纠偏的方法 | |
CN112620926B (zh) | 一种焊点追踪方法、装置及存储介质 | |
KR20170142379A (ko) | 영상처리를 이용한 용접로봇의 용접선 인식장치 | |
CN113579601B (zh) | 一种焊道的定位方法、装置、焊接机器人和存储介质 | |
CN114283139A (zh) | 一种基于面阵结构光3d视觉的焊缝检测分割方法及装置 | |
CN117548824B (zh) | 一种光学精密测定机器人激光远程焊接方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |