CN114792337A - 一种焊接坡口尺寸和焊枪相对位姿高精度检测方法和装置 - Google Patents
一种焊接坡口尺寸和焊枪相对位姿高精度检测方法和装置 Download PDFInfo
- Publication number
- CN114792337A CN114792337A CN202210211002.XA CN202210211002A CN114792337A CN 114792337 A CN114792337 A CN 114792337A CN 202210211002 A CN202210211002 A CN 202210211002A CN 114792337 A CN114792337 A CN 114792337A
- Authority
- CN
- China
- Prior art keywords
- welding
- laser line
- laser
- workpiece
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003466 welding Methods 0.000 title claims abstract description 302
- 238000001514 detection method Methods 0.000 title claims abstract description 75
- 230000000007 visual effect Effects 0.000 claims abstract description 46
- 230000011218 segmentation Effects 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000005452 bending Methods 0.000 claims description 18
- 230000003287 optical effect Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013506 data mapping Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 2
- 230000010354 integration Effects 0.000 abstract description 3
- 239000013598 vector Substances 0.000 description 23
- 230000000712 assembly Effects 0.000 description 4
- 238000000429 assembly Methods 0.000 description 4
- 239000011324 bead Substances 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013178 mathematical model Methods 0.000 description 3
- 230000001154 acute effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910001338 liquidmetal Inorganic materials 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种焊接坡口尺寸和焊枪相对位姿高精度检测方法和装置,其中,该方法包括:利用视觉传感器采集单幅变形激光线图像;对变形激光线图像进行处理,获得二维激光线数据点;进行变形激光线图像二维数据分段;通过视觉传感器检测模型,获得变形激光线的三维分段点云数据;对分段三维点云数据分别进行平面拟合,重建获得平面工件焊接坡口面及焊接坡口面邻域工件表面的平面方程;根据重建获得的平面方程,求解焊接坡口尺寸和焊枪相对于焊接坡口的位姿参数。本发明实现了视觉传感器相对焊接坡口任意位姿下的焊接坡口尺寸参数和焊枪相对位姿参数的集成检测,具有高检测精度和适应性,同时提高了视觉传感器的检测鲁棒性和集成性。
Description
技术领域
本发明涉及视觉检测、焊接智能化技术领域,尤其涉及一种焊接坡口尺寸和焊枪相对位姿高精度检测方法和装置。
背景技术
对于大型平面工件的焊接,工件的焊接坡口加工不可避免地会存在一定的尺寸和坡口角偏差,装配时也会出现接头错边、角度和尺寸偏差、装配间隙不一致等问题,同时,焊接过程中由于焊接热变形的存在,会进一步导致焊接坡口发生尺寸和角度的变化,这些因素严重影响焊接工艺过程的稳定性和接头的焊缝成形质量,传统的预设焊枪运动轨迹的焊接工艺方法已经不能有效适用。近年来,随着视觉检测技术的发展,将视觉检测与焊接机器人或自动化焊接装备相结合,从而实现智能化焊接,已经取得了较大的发展,但已有的视觉传感器大都存在一定的应用局限性,如:传感器的安装位置和姿态一旦预设(确定)好,便不允许发生任何改变或变化;视觉传感器的检测鲁棒性较差,检测精度也不够高等。
此外,在焊接空间工件时,除了要求焊接位置精准之外,还需要考虑焊接熔池的液态金属流动行为,对焊枪相对于焊接坡口的姿态进行精确的实时调整和控制,以避免接头焊接缺陷的产生,保证获得高质量的焊缝成形。对于固连于焊枪的视觉传感器来说,视觉传感器在焊接过程中不可避免地会跟随焊枪相对于焊接坡口的姿态调控发生相对于焊接坡口的空间位置和姿态的变化,这便要求视觉传感器在相对焊接坡口的位置和姿态发生改变时仍能够实现对焊接坡口尺寸参数和焊枪相对位姿参数的有效检测,仍保持具有足够高的检测精度,也就是说,视觉传感器需要具有更强的鲁棒性与适应性。
目前,利用组合激光结构光视觉传感器,实现了焊枪固定姿态下的焊接坡口尺寸参数及焊枪相对焊接坡口位置偏差的高精度检测;还可以实现焊枪相对焊接坡口位姿的实时检测与调整。但在这些研究中,视觉传感器并未实现焊接坡口尺寸参数以及焊枪相对位姿参数的集成检测,视觉传感器仍需在相对焊接坡口特定姿态下才能实现焊接坡口尺寸参数的检测,且这些研究的检测方法都是基于图像特征点的提取和计算,故检测算法的鲁棒性不够强,检测精度不够高。
基于上述可知,目前并无适用于线结构光视觉传感器的任意位姿下的焊接坡口尺寸参数的高精度检测方法,也未见有焊接坡口尺寸参数和焊枪相对位姿参数的集成化检测方法。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的目的在于提出一种焊接坡口尺寸和焊枪相对位姿高精度检测方法,该方法实现了视觉传感器相对焊接坡口任意位姿下的焊接坡口尺寸参数和焊枪相对位姿参数的集成检测,具有高检测精度和适应性,同时提高了视觉传感器的检测鲁棒性和集成性。对于增强视觉传感器的应用适应性,提高智能化焊接水平具有重要意义。
本发明的另一个目的在于提出一种焊接坡口尺寸和焊枪相对位姿高精度检测装置。
为达上述目的,本发明一方面提出了一种焊接坡口尺寸和焊枪相对位姿高精度检测方法,包括:利用视觉传感器采集获得投射到平面工件焊接坡口面及焊接坡口面邻域工件表面的变形激光线图像;对变形激光线图像进行图像处理,得到变形激光线单像素中心线及变形激光线弯折特征点;其中,图像处理包括图像预处理和图像特征提取;将变形激光线弯折特征点作为分段间隔点,对变形激光线单像素中心线进行二维数据分段,获得分段的二维激光线数据;通过视觉传感器的检测模型,将分段的二维激光线数据映射到相机坐标系中,得到变形激光线的三维分段点云数据;对变形激光线的三维分段点云数据分别进行平面拟合,重建获得平面工件焊接坡口面及焊接坡口面邻域工件表面的平面方程;根据平面方程以及焊枪在相机坐标系中的位姿,计算得到焊接坡口尺寸参数和焊枪相对于焊接坡口的位姿参数。
本发明实施例的焊接坡口尺寸和焊枪相对位姿高精度检测方法,可以在视觉传感器相对于焊接坡口处于任意相对位姿下,实现平面工件焊接坡口尺寸参数和焊枪相对位姿参数的高精度集成检测,提高了视觉传感器检测的适应性、鲁棒性及检测精度,为实现高精度的焊枪位姿控制,达到更好的焊缝成形质量提供了强有力的技术支撑。
为达到上述目的,本发明另一方面提出了一种焊接坡口尺寸和焊枪相对位姿高精度检测装置,包括:
图像获取模块,用于利用视觉传感器采集获得投射到平面工件焊接坡口面及焊接坡口面邻域工件表面的变形激光线图像;图像处理模块,用于对变形激光线图像进行图像处理,得到变形激光线单像素中心线及变形激光线弯折特征点;其中,图像处理包括图像预处理和图像特征提取;数据分段模块,用于将变形激光线弯折特征点作为分段间隔点,对变形激光线单像素中心线进行二维数据分段,获得分段的二维激光线数据;数据映射模块,用于通过视觉传感器的检测模型,将分段的二维激光线数据映射到相机坐标系中,得到变形激光线的三维分段点云数据;平面拟合模块,用于对变形激光线的三维分段点云数据分别进行平面拟合,重建获得平面工件焊接坡口面及焊接坡口面邻域工件表面的平面方程;参数计算模块,用于根据平面方程以及焊枪在相机坐标系中的位姿,计算得到焊接坡口尺寸参数和焊枪相对于焊接坡口的位姿参数。
本发明实施例的焊接坡口尺寸和焊枪相对位姿高精度检测装置,可以在视觉传感器相对于焊接坡口处于任意相对位姿下,实现平面工件焊接坡口尺寸参数和焊枪相对位姿参数的高精度集成检测,提高了视觉传感器检测的适应性、鲁棒性及检测精度,为实现高精度的焊枪位姿控制,达到更好的焊缝成形质量提供了强有力的技术支撑。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面的优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例的一种焊接坡口尺寸和焊枪相对位姿高精度检测方法的流程图;
图2为本发明实施例的视觉传感器组成、安装及工作示意图;
图3为本发明实施例的视觉传感器采集到的变形激光线图像;
图4为本发明实施例的变形激光线中心线及特征点提取示意图;
图5为本发明实施例的变形激光线的二维数据分段示意图;
图6为本发明实施例的相机坐标系下变形激光线的三维分段点云数据示意图;
图7为本发明实施例的视觉传感器检测原理示意图;
图8为本发明实施例的重建的平面工件焊接坡口面及焊接坡口面邻域工件表面对应平面示意图;
图9为本发明实施例的焊枪相对于焊接坡口位姿参数示意图;
图10为本发明实施例的一种焊接坡口尺寸和焊枪相对位姿高精度检测装置的结构示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
下面参照附图描述根据本发明实施例提出的焊接坡口尺寸和焊枪相对位姿高精度检测方法及装置。
图1是本发明一个实施例的焊接坡口尺寸和焊枪相对位姿高精度检测方法的流程图。
如图1所示,该焊接坡口尺寸和焊枪相对位姿高精度检测方法方法包括:
步骤S1,利用视觉传感器采集获得投射到平面工件焊接坡口面及焊接坡口面邻域工件表面的变形激光线图像。
具体地,焊接时采用视觉传感器向待测平面工件焊接坡口的坡口面及焊接坡口面邻域工件表面投射组合一字线激光结构光,投射的线激光结构光受焊接坡口调制会产生变形,随后视觉传感器中的工业相机采集获得变形激光线图像。
进一步地,图2为视觉传感器组成、安装及工作示意图,如图2所示:
在本发明的实施例中,视觉传感器的组成部件主要包括:工业相机,镜头,两个一字线激光发射器组件,滤光装置。
在本发明的实施例中,视觉传感器的组成还包括一字线激光发射器固定件和传感器外壳。
在本发明的实施例中,视觉传感器采用斜射-直接收的结构形式,该结构形式具有测量误差和结构尺寸较小等优点。其中,两个一字线激光发射器组件分别记作第一激光发射器与第二激光发射器,两个一字线激光发射器的中轴线及激光投射平面皆平行,两者之间的距离为25mm,与相机光轴间的夹角设计值为30°,相机光心到第一激光发射器的激光投射结构光平面的距离50-70mm。安装时,第一激光发射器与第二激光发射器依次固连于相机的焊接前进方向侧,与镜头与滤光装置共同构成视觉传感器;视觉传感器通过连接件固连于焊枪前进方向一侧,两个一字线激光发射器组件的中轴线与相机光轴和焊枪中轴线共面,此平面垂直于相机靶面的宽度方向。同时,焊枪的中轴线与相机的光轴平行,两者之间的距离为80mm。
在本发明的实施例中,第一激光发射器投射在待焊工件焊接坡口(焊缝)表面及邻域工件表面的第一激光线、第二激光发射器投射在待焊工件焊接坡口(焊缝)表面及邻域工件表面的第二激光线与焊接接头(焊接坡口、焊缝)的走向垂直。
在本发明的实施例中,基于熔化极气体保护电弧焊在620-700nm波长范围内弧光强度最弱的特性,选择一字线激光发射器组件的激光波长为660nm;在相机镜头前安装滤光装置(窄带滤光片),以有效滤除弧光干扰,同时保障激光的高比率透过。
在本发明的实施例中,视觉传感器的主要部件选型和相应参数如表1所示。
表1
步骤S2,对变形激光线图像进行图像处理,得到变形激光线单像素中心线及变形激光线弯折特征点;其中,图像处理包括图像预处理和图像特征提取。
在本发明的一个实施例中,待测平面工件的焊接坡口采用V型坡口,视觉传感器在焊接前采集获得的投射在焊接坡口面及焊接坡口面邻域工件表面处的变形激光线图像,如图3所示。针对本实施例的图像,采取的图像处理算法的具体过程如下:
图像预处理:
对采集获得的图3所示的变形激光线图像采用大小为19*19的卷积核进行高斯滤波,以抑制图像中的干扰噪声;
再采用Ostu全局分割法对图像进行二值化分割,将变形激光线与图像背景分割,该方法分割效率高,分割效果好;
最后对二值化分割后的图像先采用膨胀运算,再采用腐蚀运算的形态学闭运算处理,得到填充小孔、弥合裂缝后的变形激光线图像。
图像特征提取:
对图像预处理后的变形激光线图像采用Zhang-Suen骨架细化算法进行细化,即提取变形激光线图像中的激光线单像素中心线。在本发明的一些具体的实施例中,骨架细化后的变形激光线图像可能存在交叉和不连续等缺陷,通过交叉点去除和不连续像素点之间的插值等缺陷修复操作,可得到连续的单像素激光中心线图像。
对连续的变形激光线图像中的单像素激光中心线进行Hough直线检测,在本发明的一个具体实施例中,Hough直线方法检测中取线段的检测阈值为40,低于此阈值的线段不会显示,便可检测出变形激光线单像素中心线中的满足要求的直线参数。
相邻变形激光线单像素中心线直线求交点,得到的特征点便为变形激光线弯折特征点,如图4所示,平面工件V型坡口共有6个弯折特征点,6个特征点坐标按序号分别记作(xi,yi;i=1,2,…,6)。
步骤S3,根据变形激光线弯折特征点为分段间隔点,对变形激光线单像素中心线进行二维数据分段,获得分段的二维激光线数据。
具体地,在本发明的一个具体实施例中,以求得的图4中的6个变形激光线弯折特征点为分段间隔点进行数据分段时,由于求得的特征点并非完全准确的分段点,以其为分段点进行分段会使得其邻域内的数据点分段不准确,故在分段时将特征点及半径为5像素的圆邻域内的点剔除,以保证二维数据点的分段准确性。每条变形激光线有3个图像弯折特征点,以其进行分段将变形激光线的数据分为4段,分别记作datai(i=1,2,3,4),如图5所示。
步骤S4,通过视觉传感器的检测模型,将分段的二维激光线数据映射到相机坐标系中,得到变形激光线的三维分段点云数据。
具体地,通过视觉传感器的检测数学模型,将变形激光线图像中的二维激光线分段数据映射到相机坐标系中,可以得到变形激光线的三维分段激光线点云数据,如图6所示。
进一步地,在本发明的具体实施例中,视觉传感器的检测数学模型为:
XC=-(Djxi)/(Ajxi+Bjyi-Cjf),YC=-(Djyi)/(Ajxi+Bjyi-Cjf),ZC=(Djf)/(Ajxi+Bjyi-Cjf)
其中,(XC,YC,ZC)为变形激光线图像中的二维激光线分段数据点p对应的相机坐标系下的激光线三维数据点P的坐标;Aj,Bj,Cj,Dj,(j=1,2)分别代表激光线三维数据点P所在第一或第二激光发射器投射的激光结构光平面的平面方程参数,可由结构光平面标定获得;(xi,yi)是变形激光线图像中的二维激光线分段数据点p的图像坐标,其与像素坐标(ui,vi)之间的关系为:
式中,dx、dy为CCD靶面单位像元沿x、y方向的像素宽度,单位为(mm/pixel);u0、v0(pixel)为图像坐标系原点在像素坐标系的位置,这些参数为相机的内参数,在相机出厂或标定后可获得。
通过此检测数学模型,可以实现变形激光线图像中分段激光线上任意二维数据点p到对应相机坐标系下三维激光线采样点P的转换,这也是视觉传感器的检测原理,如图7所示。
步骤S5,对变形激光线的三维分段点云数据分别进行平面拟合,重建获得平面工件焊接坡口面及焊接坡口面邻域工件表面的平面方程。
具体地,对图6中的变形激光线的分段三维点云数据分别进行平面拟合,重建获得平面工件焊接坡口面及焊接坡口面邻域工件表面的平面方程参数。
进一步地,在本发明具体的一个实施例中,平面工件焊接坡口的坡口面及焊接坡口面邻域工件表面理论上都是平面,所以不同分段的三维激光线分段点云数据位于平面工件不同的焊接坡口面或其邻域工件表面上,对不同分段的三维激光线点云数据分别进行平面拟合,便可重建获得平面工件焊接坡口面及焊接坡口面邻域工件表面的平面方程参数,如图8所示,按其所拟合分段三维激光线点云数据序号,将拟合平面分别记为Si(i=1,2,3,4),其平面方程为:
式中,四个平面的法向量分别为:m1(A1,B1,C1),m2(A2,B2,C2),m3(A3,B3,C3),m4(A4,B4,C4)。
步骤S6,根据平面方程以及焊枪在相机坐标系中的位姿,计算得到焊接坡口尺寸参数和焊枪相对于焊接坡口的位姿参数。
具体地,平面工件V型焊接坡口的主要尺寸参数包括坡口宽度b1和b2以及坡口深度h,在本发明一个具体的实施例中,根据如图8所示重建获得的平面工件焊接坡口面及焊接坡口面邻域工件表面的平面方程,焊接坡口尺寸参数的具体求解过程如下:
坡口深度h:
焊接坡口的左坡口面S2和右坡口面S3在坡口底部的交线l1至焊接坡口的左工件表面S1或右工件表面S4的距离称为坡口深度。
具体地,S2和S3在坡口底部交线l1的直线方程为:
将交线l1上的点到左工件表面S1和右工件表面S4的距离均值分别记为坡口深度h1和坡口深度h2;h1和h2的差值为工件装配或热变形导致的坡口错边量。当错边量很小或可忽略时,取h1和h2的平均值作为V型焊接坡口的坡口深度h。
坡口宽度b1和b2:
由拟合的左工件表面S1和左坡口面S2,可求得两平面的交线l2,其直线方程为:
其中,直线l2的方向向量n2为:n2=m1×m2=(B1C2-B2C1,A2C1-A1C2,A1B2-A2B1);
由直线l2的方向向量n2和拟合的左工件表面S1的法向量m1,可求得与左工件表面S1垂直且过直线l2的虚拟垂直面S5的法向量m5,表示为:
m5=n2×m1
=(B1A1B2-B1 2A2-C1 2A2+C1A1C2,C1B1C2-C1 2B2-A1 2B2+A1A2B1,A1A2C1-A1 2C2-B1 2C2+B1B2C1)
取直线l2上任一点,便可获得S5的平面方程:
A5XC+B5YC+C5ZC+D5=0
式中,m5=(A5,B5,C5);D5=-(A5XCq+B5YCq+C5ZCq)由直线l2的方向向量,其中,(XCq,YCq,ZCq)为直线l2上任一点的坐标。
同理,由拟合的右工件表面S4和右坡口面S3,可求得虚拟垂直面S6的平面方程。
于是,坡口面底部交线l1上的点至虚拟垂直面S5和S6的距离均值,分别为坡口宽度b1和b2;b1和b2之和,即为坡口总宽度B。
进一步地,焊枪相对于焊接坡口的位姿参数包括焊枪相对位置参数和焊枪相对姿态参数。在本发明一个具体的实施例中,根据重建获得的平面工件焊接坡口面及焊接坡口面邻域工件表面的平面方程,结合焊枪在相机坐标系下的位姿,焊枪相对位姿参数的具体求解过程如下:
具体地,焊枪各相对位姿参数如图9所示。图9中,OW-XWYWZW为与工件表面固联的世界坐标系,XW为焊接方向(坡口走向)向量,YW为焊接坡口宽度方向向量,ZW为工件上表面法向量;tor为焊枪中轴线方向向量,用来表征焊枪的姿态。
焊枪的相对位置参数包括横向偏差e、角度偏差γ及焊枪高度H。构建坡口底部平面S7,其为过坡口面底部交线l1且与焊接工件上表面平行的平面。点Pj0、点Pj1分别为焊枪中轴线和相机光轴与底部平面S7的交点。定义焊枪的横向偏差e为点Pj0到坡口面底部交线l1的距离,角度偏差γ为直线Pj0Pj1与坡口面底部交线l1的夹角。
焊枪高度H、相机高度H1分别为焊枪导电嘴末端、相机焦点沿各自轴线到焊接工件上表面的距离,传感器安装高度H0为相机焦点沿焊枪轴线方向到焊枪导电嘴末端的距离(传感器安装后为定值,可通过标定得到)。当焊枪的中心轴垂直于平面焊接工件的上表面时,它们之间的关系为:H=H1-H0。
焊枪的相对姿态参数包括前后倾角α和左右摆角β。前后倾角α为焊枪(焊枪方向向量tor)沿焊接方向与工件上表面法向量ZW间的夹角;左右摆角β为焊枪(焊枪方向向量tor)在坡口横截面所处平面内与工件上表面法向量ZW间的夹角。
进一步地,焊枪相对位置参数求解:
电弧焊接过程的焊枪运动方向并不能保证总是与焊接坡口的走向重合,往往存在角度偏差γ。在进行不同焊道(焊层)焊接时,焊枪的横向偏差e和焊枪高度H也需进行适当调整。在本发明的一个具体的实施例中,焊枪相对位置参数求解如下。
横向偏差e:
①求底部平面S7的平面方程:
当焊接坡口的错边量可以忽略时,取拟合获得的工件上表面S1、S4的法向量参数的平均值作为底部平面S7的法向量m7(A7,B7,C7)的参数值,即A7=(A1+A4)/2,B7=(B1+B4)/2,C7=(C1+C4)/2。
取焊接坡口面的底部交线l1上任一点,便可求得坡口底部平面S7的平面方程:
A7XC+B7YC+C7ZC+D7=0
式中,D7=-(A7XCp+B7YCp+C7ZCp),其中,(XCp,YCp,ZCp)为交线l1上任一点P的坐标。
②求焊枪中轴线与平面S7的交点:
焊枪中轴线的直线方程为:YC=0,XC=D0.,D0为焊枪中轴线与相机光轴两平行直线间的距离,传感器安装固定后为定值。该直线与平面S7的交点Pj0的坐标为(D0,0,-(A7D0+D7)/C7)。
③求横向偏差e:
坡口面底部交线l1的方向向量n1的值为:n1=m3×m4=(B3C4-B4C3,A4C3-A3C4,A3B4-A4B3)。
点Pj0到交线l1的距离即为横向偏差e,为:
进一步地,角度偏差γ:
①求相机光轴与平面S7的交点Pj1:
相机光轴的直线方程为:YC=0,XC=0;该直线与平面S7的交点Pj1的坐标为(0,0,-D7/C7)。
②求角度偏差γ:
直线Pj0 Pj1与底部交线l1皆在平面S7内,它们之间的夹角即是待求的角度偏差γ,为:
进一步地,焊枪高度H:
通过联立焊枪中心轴和拟合平面S1的方程,可以得到其交点Pj的坐标为(D0,0,-(A1D0+D1)/C1)。同时,在相机坐标系中,焊枪导电嘴末端PE的坐标为(D0,0,-H0)。
因此,对于平面工件的拟合上表面S1来说,焊枪高度H为点Pj和PE之间的距离,即:
对于平面工件的上表面S4来说,焊枪高度H也可以类似地计算。在其它具体实施例的应用中,对于S1和S4两个工件上表面的焊枪高度H可以单独使用,也可以根据实际需要取其平均值。
焊枪相对姿态参数求解:
在电弧焊接过程中,焊枪相对于焊接坡口的位置参数决定了焊道(焊缝)成形位置的准确性,而焊枪相对于焊接坡口的姿态参数(前后倾角α、左右摆角β)会影响熔池形状及焊道的熔深、余高等,进而影响焊道(焊缝)成形质量,它们的取值和被焊工件及焊接坡口的绝对空间姿态密切相关。在本发明的一个具体的实施例中,焊枪相对姿态参数求解如下。
焊枪的前后倾角α:
底部平面S7平行于工件上表面,其面内直线Pj0Pj1的方向向量与焊枪方向向量tor之间的关系,可用来表征焊枪相对于焊接坡口的前后倾角α。
直线Pj0Pj1的方向向量为:q1=(D0,0,-A7D7/C7);焊枪中轴线的方向向量为:tor=(0,0,1)。于是,焊枪的前后倾角α为:
考虑实际焊接工艺,前后倾角α统一取为锐角,正值表示焊枪相对前倾,负值表示焊枪相对后倾。
焊枪的左右摆角β:
用同时垂直于底部平面S7法向量m7和向量q1的向量q2来表征焊枪相对于焊接坡口的左右摆角β。向量q2为:
q2=m7×q1=(-A7D7B7/C7,A7 2D7/C7+C7D0,-B7D0)
于是,焊枪的左右摆角β为:
考虑实际焊接工艺,左右摆角β统一取为锐角,正值表示焊枪相对左倾,负值表示焊枪相对右倾。
进一步地,在本发明的一些具体实施例中,设计的基于组合激光结构光的视觉传感器在应用于提出的基于平面拟合的焊接坡口尺寸和焊枪相对位姿高精度检测方法的过程中,无需设定特殊或固定相对位姿,即焊枪与焊接坡口的相对姿态可以是任意的,只需要焊接坡口调制的变形激光线在相机视野中能完整成像,便可实现所述焊接坡口尺寸参数和焊枪相对位姿参数的集成求取和检测;同时该检测方法还具有应用限制少、不依赖于其它装置等优点,从而有效提高了视觉传感器检测应用的适用性。
进一步地,在本发明的一些具体实施例中,通过上述提出的基于平面拟合的焊接坡口尺寸和焊枪相对位姿高精度检测方法对视觉传感器采集到单幅变形激光线图像进行检测计算,试验结果表明,焊接坡口尺寸参数检测的绝对误差最大值不超过0.08mm,相对误差最大不超过1%,最大重复误差不超过0.04mm,说明采用平面拟合方式进行焊接坡口面及焊接坡口面邻域工件表面的三维重建,极大地降低了特征点提取偏差带来的检测误差,使得该检测方法具有良好的检测精度和重复性;焊枪相对焊接坡口的位置参数的检测相对误差最大值皆不超过2%,相对姿态参数的检测相对误差最大值皆不超过5%,表明此方法完全可用于焊接过程对焊枪相对于焊接坡口位姿的精确检测及焊枪位姿的实时反馈调整和控制。
根据本发明实施例的焊接坡口尺寸和焊枪相对位姿高精度检测方法,可以在视觉传感器相对于焊接坡口处于任意相对位姿下,实现平面工件焊接坡口尺寸参数和焊枪相对位姿参数的高精度集成检测,提高了视觉传感器检测的适应性、鲁棒性及检测精度,为实现高精度的焊枪位姿控制,达到更好的焊缝成形质量提供了强有力的技术支撑。
为了实现上述实施例,如图10所示,本实施例中还提供了焊接坡口尺寸和焊枪相对位姿高精度检测装置10,该装置10包括:图像获取模块100、图像处理模块200、数据分段模块300、数据映射模块400、平面拟合模块500和参数计算模块600。
图像获取模块100,用于利用视觉传感器采集获得投射到焊接坡口面及焊接坡口面邻域工件表面的变形激光线图像;
图像处理模块200,用于对变形激光线图像进行图像处理,得到变形激光线单像素中心线及变形激光线弯折特征点;其中,图像处理包括图像预处理和图像特征提取;
数据分段模块300,用于将变形激光线弯折特征点作为分段间隔点,对变形激光线单像素中心线进行二维数据分段,获得分段的二维激光线数据;
数据映射模块400,用于通过视觉传感器的检测模型,将分段的二维激光线数据映射到相机坐标系中,得到变形激光线的三维分段点云数据;
平面拟合模块500,用于对变形激光线的三维分段点云数据分别进行平面拟合,重建获得平面工件焊接坡口面及平面工件焊接坡口面邻域工件表面的平面方程;
参数计算模块600,用于根据平面方程以及焊枪在相机坐标系中的位姿,计算得到焊接坡口尺寸参数和焊枪相对于焊接坡口的位姿参数。
根据本发明实施例的焊接坡口尺寸和焊枪相对位姿高精度检测装置,实现了视觉传感器相对焊接坡口任意位姿下的焊接坡口尺寸参数和焊枪相对位姿参数的集成检测,具有高检测精度和适应性,同时提高了视觉传感器的检测鲁棒性和集成性。对于增强视觉传感器的应用适应性,提高智能化焊接水平具有重要意义。
需要说明的是,前述对焊接坡口尺寸和焊枪相对位姿高精度检测方法实施例的解释说明也适用于该实施例的焊接坡口尺寸和焊枪相对位姿高精度检测装置,此处不再赘述。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种焊接坡口尺寸和焊枪相对位姿高精度检测方法,其特征在于,包括以下步骤:
利用视觉传感器采集获得投射到平面工件焊接坡口面及所述焊接坡口面邻域工件表面的变形激光线图像;
对所述变形激光线图像进行图像处理,得到变形激光线单像素中心线及变形激光线弯折特征点;其中,所述图像处理包括图像预处理和图像特征提取;
将所述变形激光线弯折特征点作为分段间隔点,对所述变形激光线单像素中心线进行二维数据分段,获得分段的二维激光线数据;
通过所述视觉传感器的检测模型,将所述分段的二维激光线数据映射到相机坐标系中,得到变形激光线的三维分段点云数据;
对所述变形激光线的三维分段点云数据分别进行平面拟合,重建获得平面工件焊接坡口面及所述焊接坡口面邻域工件表面的平面方程;
根据所述平面方程以及焊枪在所述相机坐标系中的位姿,计算得到焊接坡口尺寸参数和所述焊枪相对于焊接坡口的位姿参数。
2.根据权利要求1所述的方法,其特征在于,所述视觉传感器由相机、镜头、两个一字线激光发射器和滤光装置组成。
3.根据权利要求2所述的方法,其特征在于,所述两个一字线激光发射器包括第一激光发射器与第二激光发射器;
将所述第一激光发射器与第二激光发射器依次固连于所述相机的焊接前进方向侧,与所述镜头与所述滤光装置共同构成所述视觉传感器;且所述视觉传感器通过中间件固连于所述焊枪前进方向一侧。
4.根据权利要求3所述的方法,其特征在于,所述两个一字线激光发射器的中轴线及所述两个一字线激光发射器投射的激光结构光平面平行,与相机光轴的夹角为θ;其中,θ满足关系式25°≤θ≤35°;所述相机光轴与焊枪中轴线平行,所述两个一字线激光发射器的中轴线与所述相机光轴和焊枪中轴线共面。
5.根据权利要求1所述的方法,其特征在于,所述图像预处理包括滤波处理、二值化分割和形态学运算中的多种;所述图像特征提取包括骨架细化、Hough直线检测和图像特征点求取中的多种。
6.根据权利要求1所述的方法,其特征在于,在将所述变形激光线弯折特征点作为分段间隔点时,将所述变形激光线弯折特征点及所述变形激光线弯折特征点邻域内的多个点剔除。
7.根据权利要求1所述的方法,其特征在于,所述视觉传感器的检测模型为:
XC=-(Djxi)/(Ajxi+Bjyi-Cjf),YC=-(Djyi)/(Ajxi+Bjyi-Cjf),ZC=(Djf)/(Ajxi+Bjyi-Cjf)
其中,XC,YC,ZC为激光线图像中的二维分段激光线数据点对应的相机坐标系下的三维数据点坐标;Aj,Bj,Cj,Dj,分别代表三维激光线数据点所在第一或第二激光发射器投射的激光结构光平面的平面方程参数;xi,yi为激光线图像中的分段激光线数据点的图像坐标。
8.根据权利要求1所述的方法,其特征在于,所述重建获得平面工件焊接坡口面及所述焊接坡口面邻域工件表面的平面方程,包括:
根据不同分段的三维激光线点云数据位于平面工件不同的焊接坡口面或所述焊接坡口面邻域工件表面上,对所述不同分段的三维激光线点云数据分别进行平面拟合。
9.根据权利要求1所述的方法,其特征在于,所述根据所述平面方程以及焊枪在所述相机坐标系中的位姿,计算得到焊接坡口尺寸参数和所述焊枪相对于焊接坡口的位姿参数,包括:
根据重建获得的相机坐标系下平面工件焊接坡口面及所述焊接坡口面邻域工件表面的平面方程,计算得到焊接坡口的尺寸参数;
根据焊枪在相机坐标系下的位姿,结合平面工件焊接坡口面及所述焊接坡口面邻域工件表面的平面方程,计算得到焊枪相对于焊接坡口的位姿参数。
10.一种焊接坡口尺寸和焊枪相对位姿高精度检测装置,其特征在于,包括:
图像获取模块,用于利用视觉传感器采集获得投射到平面工件焊接坡口面及所述焊接坡口面邻域工件表面的变形激光线图像;
图像处理模块,用于对所述变形激光线图像进行图像处理,得到变形激光线单像素中心线及变形激光线弯折特征点;其中,所述图像处理包括图像预处理和图像特征提取;
数据分段模块,用于将所述变形激光线弯折特征点作为分段间隔点,对所述变形激光线单像素中心线进行二维数据分段,获得分段的二维激光线数据;
数据映射模块,用于通过所述视觉传感器的检测模型,将所述分段的二维激光线数据映射到相机坐标系中,得到变形激光线的三维分段点云数据;
平面拟合模块,用于对所述变形激光线的三维分段点云数据分别进行平面拟合,重建获得平面工件焊接坡口面及所述焊接坡口面邻域工件表面的平面方程;
参数计算模块,用于根据所述平面方程以及焊枪在所述相机坐标系中的位姿,计算得到焊接坡口尺寸参数和所述焊枪相对于焊接坡口的位姿参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210211002.XA CN114792337B (zh) | 2022-03-04 | 2022-03-04 | 一种焊接坡口尺寸和焊枪相对位姿高精度检测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210211002.XA CN114792337B (zh) | 2022-03-04 | 2022-03-04 | 一种焊接坡口尺寸和焊枪相对位姿高精度检测方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114792337A true CN114792337A (zh) | 2022-07-26 |
CN114792337B CN114792337B (zh) | 2024-06-11 |
Family
ID=82460333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210211002.XA Active CN114792337B (zh) | 2022-03-04 | 2022-03-04 | 一种焊接坡口尺寸和焊枪相对位姿高精度检测方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114792337B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115121914A (zh) * | 2022-08-31 | 2022-09-30 | 江阴市华昌不锈钢管有限公司 | 服务不锈钢焊接送丝决策的处理系统 |
CN115283905A (zh) * | 2022-08-23 | 2022-11-04 | 中国核工业二三建设有限公司 | 一种焊接机器人的焊枪姿态调整方法 |
CN115790450A (zh) * | 2023-02-07 | 2023-03-14 | 中国石油大学(华东) | 基于双平面镜的油管接箍内螺纹参数检测系统及方法 |
CN115890053A (zh) * | 2023-03-02 | 2023-04-04 | 成都熊谷加世电器有限公司 | 内焊机对口方法、装置、内焊机及存储介质 |
CN116213884A (zh) * | 2023-05-10 | 2023-06-06 | 南京理工大学 | 管-法兰微分阵列式划分及自适应焊接路径规划方法 |
CN117953064A (zh) * | 2024-03-21 | 2024-04-30 | 深圳前海瑞集科技有限公司 | 船舶工件的点云处理方法与装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105783726A (zh) * | 2016-04-29 | 2016-07-20 | 无锡科技职业学院 | 一种基于线结构光视觉检测的曲线焊缝三维重建方法 |
CN108088390A (zh) * | 2017-12-13 | 2018-05-29 | 浙江工业大学 | 一种焊接检测中基于双目线结构光的光条中心三维坐标获取方法 |
CN108332658A (zh) * | 2018-01-25 | 2018-07-27 | 清华大学 | 一种用于复杂曲面焊接的焊道位姿实时检测方法 |
CN110425998A (zh) * | 2019-06-05 | 2019-11-08 | 中北大学 | 灰度图像耦合特征点高度的构件三维测量方法 |
CN111489436A (zh) * | 2020-04-03 | 2020-08-04 | 北京博清科技有限公司 | 一种焊缝三维重建方法、装置、设备及存储介质 |
CN113109347A (zh) * | 2021-03-12 | 2021-07-13 | 南京理工大学 | 基于Zynq的嵌入式焊缝轨迹视觉检测系统及方法 |
CN113579476A (zh) * | 2021-08-25 | 2021-11-02 | 清华大学 | 基于重力感应与视觉传感融合的待焊工件表面绝对空间姿态检测装置及方法 |
-
2022
- 2022-03-04 CN CN202210211002.XA patent/CN114792337B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105783726A (zh) * | 2016-04-29 | 2016-07-20 | 无锡科技职业学院 | 一种基于线结构光视觉检测的曲线焊缝三维重建方法 |
CN108088390A (zh) * | 2017-12-13 | 2018-05-29 | 浙江工业大学 | 一种焊接检测中基于双目线结构光的光条中心三维坐标获取方法 |
CN108332658A (zh) * | 2018-01-25 | 2018-07-27 | 清华大学 | 一种用于复杂曲面焊接的焊道位姿实时检测方法 |
CN110425998A (zh) * | 2019-06-05 | 2019-11-08 | 中北大学 | 灰度图像耦合特征点高度的构件三维测量方法 |
CN111489436A (zh) * | 2020-04-03 | 2020-08-04 | 北京博清科技有限公司 | 一种焊缝三维重建方法、装置、设备及存储介质 |
CN113109347A (zh) * | 2021-03-12 | 2021-07-13 | 南京理工大学 | 基于Zynq的嵌入式焊缝轨迹视觉检测系统及方法 |
CN113579476A (zh) * | 2021-08-25 | 2021-11-02 | 清华大学 | 基于重力感应与视觉传感融合的待焊工件表面绝对空间姿态检测装置及方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115283905A (zh) * | 2022-08-23 | 2022-11-04 | 中国核工业二三建设有限公司 | 一种焊接机器人的焊枪姿态调整方法 |
CN115283905B (zh) * | 2022-08-23 | 2024-03-26 | 中国核工业二三建设有限公司 | 一种焊接机器人的焊枪姿态调整方法 |
CN115121914A (zh) * | 2022-08-31 | 2022-09-30 | 江阴市华昌不锈钢管有限公司 | 服务不锈钢焊接送丝决策的处理系统 |
CN115790450A (zh) * | 2023-02-07 | 2023-03-14 | 中国石油大学(华东) | 基于双平面镜的油管接箍内螺纹参数检测系统及方法 |
CN115890053A (zh) * | 2023-03-02 | 2023-04-04 | 成都熊谷加世电器有限公司 | 内焊机对口方法、装置、内焊机及存储介质 |
CN115890053B (zh) * | 2023-03-02 | 2023-08-18 | 成都熊谷加世电器有限公司 | 内焊机对口方法、装置、内焊机及存储介质 |
CN116213884A (zh) * | 2023-05-10 | 2023-06-06 | 南京理工大学 | 管-法兰微分阵列式划分及自适应焊接路径规划方法 |
CN116213884B (zh) * | 2023-05-10 | 2023-08-22 | 南京理工大学 | 管-法兰微分阵列式划分及自适应焊接路径规划方法 |
CN117953064A (zh) * | 2024-03-21 | 2024-04-30 | 深圳前海瑞集科技有限公司 | 船舶工件的点云处理方法与装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114792337B (zh) | 2024-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114792337B (zh) | 一种焊接坡口尺寸和焊枪相对位姿高精度检测方法和装置 | |
CN108088390B (zh) | 一种焊接检测中基于双目线结构光的光条中心三维坐标获取方法 | |
CN107876970B (zh) | 一种机器人多层多道焊接焊缝三维检测及焊缝拐点识别方法 | |
CN108857152B (zh) | 基于复合激光结构光的全空间位姿检测视觉传感器装置 | |
CN106181162B (zh) | 一种基于机器视觉的实时焊缝跟踪检测方法 | |
Tsai et al. | Machine vision based path planning for a robotic golf club head welding system | |
CN105783726A (zh) | 一种基于线结构光视觉检测的曲线焊缝三维重建方法 | |
CN109676243A (zh) | 基于双线激光结构光的焊缝识别与跟踪系统及方法 | |
CN113042862A (zh) | 基于主被动视觉结合的焊接偏差检测系统及检测方法 | |
CN111570975B (zh) | 基于同步采图的焊接偏差测定方法、装置和自动焊接系统 | |
CN106056603A (zh) | 基于立体视觉的焊接执行参数在线检测方法 | |
CN114473153B (zh) | 一种油气长输管道焊接系统及方法 | |
CN108127217B (zh) | 螺旋板式换热器端面焊缝自动引导焊接的焊接装置和方法 | |
CN108344693B (zh) | 一种面向自动焊接的薄板焊缝错边量视觉测量方法 | |
CN109115128B (zh) | 一种基于面结构光的焊道三维形貌检测方法 | |
CN105300296A (zh) | 一种激光拼焊曲面拼缝测量方法及其实现装置 | |
CN104816072A (zh) | 复杂曲面薄壁板材细微拼缝激光测量焊接跟踪方法及系统 | |
CN111570974B (zh) | 基于同步采图的焊接偏差测定方法、装置和自动焊接系统 | |
CN108032011A (zh) | 基于激光结构光焊缝初始点导引装置及方法 | |
CN107199406A (zh) | 一种锡丝精密焊接装置及控制方法 | |
CN113579476B (zh) | 基于重力感应与视觉传感融合的待焊工件表面绝对空间姿态检测装置及方法 | |
CN114654465A (zh) | 一种基于线激光结构光视觉传感的焊缝跟踪提取方法 | |
CN116772723A (zh) | 一种基于结构光成像的焊缝质量检测方法 | |
JP2008302428A (ja) | アーク溶接品質検査方法 | |
CN115727764A (zh) | 一种空间复杂薄壁碳钢工艺管线姿态测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |