CN112518072B - 一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法 - Google Patents

一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法 Download PDF

Info

Publication number
CN112518072B
CN112518072B CN202011325053.2A CN202011325053A CN112518072B CN 112518072 B CN112518072 B CN 112518072B CN 202011325053 A CN202011325053 A CN 202011325053A CN 112518072 B CN112518072 B CN 112518072B
Authority
CN
China
Prior art keywords
curve
welding
weld
coordinate system
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011325053.2A
Other languages
English (en)
Other versions
CN112518072A (zh
Inventor
洪磊
王保升
王俭朴
郑堃
王玉国
闫注文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN202011325053.2A priority Critical patent/CN112518072B/zh
Publication of CN112518072A publication Critical patent/CN112518072A/zh
Application granted granted Critical
Publication of CN112518072B publication Critical patent/CN112518072B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/02—Seam welding; Backing means; Inserts
    • B23K9/028—Seam welding; Backing means; Inserts for curved planar seams
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/24—Features related to electrodes
    • B23K9/28—Supporting devices for electrodes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/32—Accessories
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法，该方法通过被测焊缝的结构光条纹图像处理，提取条纹单像素中心线并构建条纹中心线的斜率变化曲线。基于斜率分析提取相贯曲线焊缝点组图像特征，通过机器人焊接系统的位姿变换和Bspline曲线拟合，建立机器人基坐标系下的焊缝曲线及其两侧曲面变化特征模型。通过时间平均插值形成离线化的焊缝控制点位姿序列，根据焊接工艺要求构建焊枪坐标系，确定控制点序列对应的焊枪位姿。本发明解决了现有技术仅表征焊缝特征点位置，缺少焊缝周边曲面结构特征表达的局限，使所构建的曲线焊缝结构模型具有同时反映焊接位置和姿态的整体表征性，为后续焊接轨迹规划与控制提供基础。

Description

一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法
技术领域
本发明属于焊缝检测及焊接自动化技术领域，具体涉及一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法。
背景技术
在焊接工程实践领域，存在许多不同形状管件相互交叉的结构，形成复杂的空间相贯曲线焊缝，这类空间曲线的焊接加工任务已广泛存在于汽车、船舶、石油、钢结构、各类压力容器等制造行业之中。由于空间曲线焊缝形态结构的多样性，人工焊接不仅劳动强度大、效率低，而且对工人的操作技能要求高，焊接质量不易保证。近年来，针对工业机器人在空间相贯曲线自动焊接的应用，研究者开展了大量有益的工作。现有研究热点主要是机器人离线编程，焊接离线编程控制依赖于精确的仿真焊缝模型，由于待焊工件自身形状、尺寸及相贯形式的不同，加之工件装配误差等不确定性因素的影响，使得建立一种通用精确的曲线焊缝模型变得十分困难。因此，曲线焊缝的数学建模是曲线焊接离线编程的关键技术之一。
国内外学者针对各种不同接头形式的空间相贯曲线焊缝建模问题做了大量研究，代表性的有：Chen H.M等在国际期刊Lecture Notes in Electrical Engineering，2011，88：73-80上发表的文章“Combined Planning between Welding Pose and WeldingParameters for an Arc Welding Robot”建立了马鞍曲线焊缝数学模型。张毅等在华中科技大学学报上发表文章“不规则管管相贯曲线的轨迹规划”建立了集斜交、偏移于一体的相贯曲线焊缝数学模型。石磊等在焊接学报，2015，36(6)：5-8发表的文章“主管旋转式相贯曲线自动焊接模型与仿真”建立了主管旋转式相贯曲线自动焊接的几何模型。上述研究者均采用空间解析几何法表示焊缝模型，模型精确且计算效率高，但仅针对某一类特定形式的相贯曲线，通用性不足，对于不规则工件偏心交方式形成的复杂焊缝曲线难以表达，且无法修正由于工件装配问题所导致的实际偏差。
Chen C.L等在国际期刊Robotics and Computer-Integrated Manufacturing，2013，29(4)：41-48上发表文章“An approach to the path planning of tube-sphereintersection welds with the robot dedicated to J-groove joints”采用特定接触式测量头获取多个曲线采样点，再应用多项式函数拟合曲线法建立数学模型，该方法修正了工件装配的偏差，使焊缝位置模型更为精确，但对焊接姿态角度缺乏描述，且接触式测量的操作效率较低。因此，引入视觉检测来全面描述焊缝位置和姿态特征，对于曲线焊缝建模精度和效率的提高都是必要的。
视觉检测方法在曲线焊缝形态建模方面已有一定的研究成果，中国发明专利“一种基于线结构光视觉检测的曲线焊缝三维重建方法”(授权公告号CN105783726B)，公布了一种基于线结构光视觉检测的曲线焊缝三维重建方法，其方法可识别两金属板对接、搭接和T型焊的结构形态，但上述焊缝结构形态较为简单，结构光条纹为直线形式，并未解决通过曲线形式的结构光条纹提取相贯曲线类焊缝轮廓特征的问题。中国发明专利申请“一种基于焊缝工业机器人姿态的曲线焊缝跟踪方法”(申请公布号CN108907408A)公开了一种基于焊缝工业机器人姿态的曲线焊缝跟踪方法，提出选取焊缝部位的边界点建立空间坐标系，通过特征识别相机对焊缝特征进行坐标化，进行焊缝点位置坐标表示。但该方法仅提出检测焊缝位置点，未涉及检测局部焊缝点周边结构的特征，且没有提出具体的相机识别算法。He Y.S等在国际期刊Robotics and Computer-Integrated Manufacturing，2015.04.005：1-11发表的文章“Weld seam profile detection and feature pointextraction for muti-pass route planning based on visual attention model”应用视觉显著性模型原理，采用多项式拟合及微分极值法检测多层焊道焊缝轮廓处的特征点，但方法仅检测出特征点，也未涉及焊缝轮廓特征的提取。
综上所述，目前主要应用的空间几何法构建的模型不具备普适性，且忽略了工件加工装配误差等不确定因素的影响。而基于视觉特征检测的建模主要限于焊缝特征点的检测，缺少对焊缝周边工件结构特征的检测，所构建的模型无法反映焊接姿态角度特征，不能满足曲线焊缝的建模要求，因此需要提出全面描述曲线焊缝结构特征的建模方法。
发明内容
发明目的：本发明所要解决的技术问题，在于克服现有技术存在的上述缺陷，提供一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法，实现在不依赖于曲线焊缝具体尺寸形状条件下，采用线结构光视觉检测形成全面描述曲线焊缝结构特征的建模方案。
技术方案：为实现上述目的，本发明采用的技术方案为：一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法，包括以下步骤：
一、线结构光条纹图像处理，提取条纹单像素中心线。具体为：
1-1：调整机器人运动使线结构光条纹垂直于焊缝接口后，读取被测焊缝接口的结构光条原始图像；
1-2：图像预处理，主要包括对原始图像的灰度化和高斯滤波；
1-3：提取光条所在区域为图像感兴趣ROI区域，缩小图像处理的范围；
1-4：对提取到的ROI图像进行二值化处理，获得条纹二值化图像；
1-5：选择8领域元素细化结构模型，并根据选定的结构元素对二值图像实现遍历细化运算，通过多次细化运算的迭代获取条纹单像素中心线。
二、基于斜率分析提取相贯曲线焊缝点组图像特征。具体为：
2-1：构建线结构光条纹中心线的斜率变化曲线：
将条纹中心线上的所有点按像素坐标大小顺序排列，各像素点记为Pi(i＝1～n)，共计n个点，取Pi到
Figure BDA0002793040480000031
连续n0个点集做直线拟合并记录直线斜率值ki(i＝1～n-n0+1)，当Pi从起始点Pl顺次推移到
Figure BDA0002793040480000032
的过程中，各直线斜率值随之连续变化，形成以点序i为横坐标，斜率ki为纵坐标的斜率变化曲线(i＝1～n-n0+1)。
2-2：搜索斜率变化曲线的最大值及对应点序：
搜索斜率变化曲线的最大值kmax及其对应的点序nmax。
2-3：提取单个局部焊缝特征点组(Pu，Mu，Wu)的图像坐标：
选择结构光条纹中心线曲边交点Pu及两曲边上与交点在邻近区域等距的两点Mu，Wu共同构成曲线焊缝单个局部位置的特征点组(Pu，Mu，Wu)，取点序nmax邻近前后两侧的局部区域点集(前区域：nmax-n0～nmax，后区域：nmax～nmax+n0。)的端点Pnmax，Pnmax-n0和Pnmax+n0。以前后两个区域点集分别拟合直线L1和L2，对应焊缝特征点所在位置在两侧待焊件上形成的两角线，两角线的交点作为焊缝点图像坐标Pu。进一步得到Mu，Wu：
Figure BDA0002793040480000033
其中，s1和s2表示直线L1和L2的方向矢量，λ表示距离参数，
三、建立焊缝曲线及其两侧曲面变化特征模型。具体为：
3-1：相机-线结构光传感器参数标定
相机-结构光传感器参数包括相机内参数和线结构光平面参数两部分。标定步骤为：
(1)棋盘格靶标图像采集：采集不同姿态下的棋盘格靶标图像，形成无结构光照射的棋盘格图像组和有结构光照射的棋盘格图像组。
(2)相机内参数标定：由无结构光照射的棋盘格图像组通过张正友标定法进行相机内参数标定，得到内参数矩阵K。
(3)光平面参数标定：对有结构光照射的棋盘格图像组，通过步骤一的线结构光条纹图像处理方法得到线结构光条纹中心线，并与棋盘格各行列线求交计算标定点坐标，再通过标定点平面拟合得到结构光平面π相对于相机坐标系的平面参数方程ax+by+cz+1＝0，其中，(a，b，c)为平面参数。
3-2：控制机械臂运动，通过结构光分段扫描相贯管焊件的不同区域，按步骤一和步骤二分别进行各焊缝点的图像采集和局部图像特征提取，得到Ⅳ个焊缝特征点组的图像坐标，记为
Figure BDA0002793040480000041
3-3：构建机器人焊接系统各坐标系之间的位姿变换关系矩阵：
构建机器人焊接系统的坐标系，其中，{B}表示机器人基坐标系。{E}表示机器人末端坐标系，{T}表示焊枪工具坐标系，{C}表示摄像机坐标系。{T}相对于{E}的位姿关系矩阵为
Figure BDA0002793040480000042
由工具中心点TCP标定得到。{C}相对于{E}的位姿关系矩阵为
Figure BDA0002793040480000043
由机器人与相机手眼关系标定得到。{B}和{E}的位姿关系矩阵为
Figure BDA0002793040480000044
由机器人运动学正解得到。3-4：计算各焊缝特征点组在对应相机坐标系下的三维坐标：
将步骤3-2得到的Ⅳ个焊缝图像特征点组
Figure BDA0002793040480000045
转换到对应的相机坐标系下，记为
Figure BDA0002793040480000046
具体为：
(1)计算图像特征点组对应的归一化相机坐标
Figure BDA0002793040480000047
为
Figure BDA0002793040480000048
其中，K为相机内参数矩阵，由步骤3-1相机内参数标定得到，i＝1～N。
(2)计算图像特征点组对应的相机坐标
Figure BDA0002793040480000049
为
Figure BDA00027930404800000410
其中，(a，b，c)为光平面方程参数，由步骤3-1光平面参数标定得到。
Figure BDA0002793040480000051
Figure BDA0002793040480000052
和
Figure BDA0002793040480000053
分别为特征点组归一化相机坐标
Figure BDA0002793040480000054
的x、y分量，i＝1～Ⅳ。
3-5：计算各焊缝特征点组在机器人基坐标系下的三维坐标
Figure BDA0002793040480000055
由下式计算得
Figure BDA0002793040480000056
其中，
Figure BDA0002793040480000057
为手眼变换矩阵，由步骤3-3手眼标定得到。
Figure BDA0002793040480000058
为第i次图像采集时对应的机器人位姿矩阵
Figure BDA0002793040480000059
由步骤3-3机器人运动学正解得到，i＝1～Ⅳ。
3-6：建立焊缝曲线及其两侧曲面变化特征方程
通过特征点组
Figure BDA00027930404800000510
形成三个特征点集合{Pi b}，
Figure BDA00027930404800000511
和{Wi b}(i＝1～N)。对上述三个点集，采用Bspline曲线拟合分别建立三个曲线参数方程，记为BP(t)、BM(t)和BW(t)，其中，BP(t)对应焊缝曲线方程，BM(t)和BW(t)分别对应形成焊缝的两侧曲面变化特征曲线方程。
四、确定焊枪控制位置和姿态，具体为：
4-1：构建离散化的焊缝控制点坐标系，具体步骤如下：
(1)离散化焊缝曲线方程，确定离散焊缝控制点位置坐标
焊缝曲线方程BP(t)通过时间平均插值方法实现从整体离散到局部控制点序列{BP(u)}(u＝kt0，k＝1～Nt)，其中Ⅳt为离散控制点数，t0为单位时间常数，BP(u)作为控制点坐标系位置矢量PS，即PS＝BP(u)；
(2)离散化两曲面变化特征曲线方程，得到离散后的曲面特征点序列
两曲面变化特征曲线方程BM(t)和BW(t)分别通过时间平均插值方法实现从整体离散化，得到离散后的曲面特征点序列{BM(u)}和{BW(u)}(u＝kt0，k＝1～Nt)，其中Ⅳt为离散控制点数，t0为单位时间常数，所得序列与焊缝控制点序列{BP(u)}点数相同，次序对应。
(3)计算控制点坐标系各坐标轴的近似方向矢量
控制点指向对应的两曲面特征点的方向矢量nM和nW为
Figure BDA0002793040480000061
其中，||·||表示向量取模运算，下同。
控制点坐标系在X、Y和Z轴上的方向矢量分别为nS，oS和aS。设nS和aS的近似方向矢量分别为nS0和aS0，nS0垂直于由nM和nW构成的平面，aS0在nM和nW两矢量形成的角平分线方向上。nS0和aS0为
Figure BDA0002793040480000062
(4)计算控制点坐标系坐标轴的方向矢量
nS为焊缝曲线在控制点OS处的切矢量，取焊缝曲线方程BP(t)在OS处的一阶导数方向，计算
Figure BDA0002793040480000063
由nS0旋转至nS的旋转轴矢量为nrot＝ns0×nS，记nrot＝(nx，ny，nz)，旋转角为θ＝acos(nS0·nS)，构建nS0和nS矢量旋转矩阵R为
Figure BDA0002793040480000064
aS0经过相同旋转至aS，再由右旋定则确定oS，各坐标轴方向矢量为：
Figure BDA0002793040480000065
aS＝R·aS0，oS＝aS×nS
焊缝控制点坐标系相对于机器人基坐标系的变换矩阵为
Figure BDA0002793040480000066
其中nSi，oSi，aSi，PSi(i＝x，y，z)分别为对应矢量的分量。
4-2：根据焊接工艺要求构建焊枪坐标系，确定焊枪位姿。
根据确定的变换关系参数建立焊枪坐标系和焊缝控制点坐标系之间的转换关系为：
Figure BDA0002793040480000067
其中，焊枪轴线通过焊缝控制坐标系原点OS，OT为焊枪喷嘴位置，l表示起弧前焊丝从导电嘴伸出的长度，为焊缝控制坐标系原点OS与焊枪喷嘴位置OT之间的距离。工作角α表示从ZS到焊枪轴线在焊缝法平面ZSOSYS上的投影绕XS轴所转过的角度。行走角β表示从焊枪轴线在焊缝法平面ZSOSYS上的投影到焊枪轴线绕焊缝坐标系的Ys轴所转过的角度。自转角γ表示焊枪绕Ys轴旋转的角度。上述(l，α，β，γ)为焊枪坐标系相对于焊缝控制坐标系的变换关系参数，由具体焊接工艺要求确定。由此确定焊枪坐标系相对于机器人基坐标系的转换关系为
Figure BDA0002793040480000071
其中
Figure BDA0002793040480000072
为焊枪控制位姿矩阵。至此，曲线焊缝的结构建模完成。
有益效果：本发明提供的一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法，相对于现有技术，具有以下优点：1、提供了基于结构光主动视觉构建焊缝结构模型的具体实现方法，该方法不依赖于具体的相贯尺寸、形状和相贯方式，解决了解析几何法的局限，满足了建模的通用性。2、提供了一种基于斜率变化分析的曲线焊缝图像特征提取方法，解决了现有技术仅解决直线焊缝特征提取的局限，实现了曲线焊缝图像特征点组的提取。3、构建了基于Bspline拟合的焊缝曲线方程和焊缝两侧曲面变化特征曲线方程，解决了现有技术仅表征焊缝特征点位置，缺少焊缝周边曲面结构特征表达的局限，使所构建的曲线焊缝结构模型具有同时反映焊接位置和姿态的整体表征性。4、在焊枪姿态的确定中，通过构建矢量旋转矩阵修正了图像采集时结构光平面无法完全垂直焊缝接头带来的误差，建立了结合焊接工艺的焊枪位姿确定方法，为后续焊接轨迹规划与控制提供基础。
附图说明
图1为曲线焊缝结构建模方法的总体流程图；
图2为曲线焊缝图像采集及结构光条纹形态示意图；
图3为线结构光条纹中心线斜率变化曲线示意图；
图4为线结构光曲线焊缝图像局部特征点组示意图；
图5为机器人焊接系统各坐标系转换示意图；
图6为焊缝曲线及其两侧曲面变化特征方程示意图；
图7为焊缝控制点坐标系的构建示意图；
图8为焊枪坐标系的构建示意图。
具体实施方式
下面根据附图及具体实施方式对本发明的技术方案作进一步说明。
一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法，包括以下步骤：
根据图1所示的总体流程图，实施步骤如下：
步骤1：焊缝接口线结构光条纹图像处理，提取条纹单像素中心线。
如附图2所示，将线结构光激光器1和工业相机2固定安装于机械臂3的末端，与焊枪4形成固定相对位置。控制机械臂3运动使线结构光激光器1发射出的线结构光投射到相贯曲线焊缝接口上，结构光平面5在焊接工件表面形成线结构光条纹6。采集线结构光条纹图像并采用基于二值形态学光条细化算法提取线结构光条纹中心线，具体步骤包括：
步骤1-1：调整机器人运动使结构光条纹垂直于焊缝接口后，读取被测焊缝接口的结构光条原始图像；
步骤1-2：图像预处理，主要包括对原始图像的灰度化和高斯滤波；
步骤1-3：提取光条所在区域为图像感兴趣ROI区域，缩小图像处理的范围；
步骤1-4：对提取到的ROI图像进行二值化处理，获得条纹二值化图像；
步骤1-5：选择8领域元素细化结构模型，并根据选定的结构元素对二值图像实现遍历细化运算，通过多次细化运算的迭代获取条纹单像素中心线。
经过细化的结果是单像素宽的原激光条纹图像中心线，根据提取的单像素点图像坐标，进行后继的图像特征提取。
步骤2：基于斜率分析提取相贯曲线焊缝点组图像特征。
如附图2所示，线结构光条纹6在构成曲线焊缝7的两侧相贯管焊件曲面8和9上形成两个曲边，分别对应焊缝两侧曲面轮廓，曲边的交点对应焊缝位置点。依据焊缝条纹中心线的斜率变化特征，采用斜率分析法提取特征。斜率分析法在经过步骤1得到的单像素宽度细化图像基础上实现。具体步骤包括：
步骤2-1：构建结构光条纹中心线的斜率变化曲线：
线结构光条纹中心线斜率变化曲线示意图如附图3所示，将光条上的所有光点按像素坐标大小顺序排列，形成具有n个光点的线结构光条纹点集10，各像素点记为Pi(i＝1～n)，取Pi到
Figure BDA0002793040480000081
连续n0个点作为第i组n0点集11，做直线拟合并记录直线斜率值ki(i＝1～n-n0+1)，当Pi从起始点P1顺次推移到
Figure BDA0002793040480000082
的过程中，各直线斜率值随之连续变化，形成以点序i为横坐标，斜率ki为纵坐标的斜率变化曲线(i＝1～n-n0+1)。
步骤2-2：搜索斜率变化曲线的最大值及对应点序：
如附图3所示，斜率变化曲线的特征是当n0点集通过条纹折线拐点12时，斜率发生急剧变化并形成最大值，搜索斜率变化曲线的最大值kmax及其对应的点序nmax，该点将光条上的点集划分为两个区域。
步骤2-3：提取单个局部焊缝特征点组(Pu，Mu，Wu)的图像坐标：
如附图4所示，选择结构光条纹6曲边交点Pu及两曲边上与交点在邻近区域等距的两点Mu，Wu共同构成曲线焊缝7单个局部位置的图像特征点组13，记为(Pu，Mu，Wu)，取点序nmax邻近前后两侧的局部区域点集(前区域：nmax-n0～nmax，后区域：nmax～nmax+n0。)的端点Pnmax，Pnmax-n0和Pnmax+n0。以前后两个区域点集分别拟合直线L1和L2，对应焊缝特征点所在位置在两侧待焊件上形成的两角线，两角线的交点作为焊缝点图像坐标Pu。进一步得到Mu，Wu为
Figure BDA0002793040480000091
其中，s1和s2表示直线L1和L2的方向矢量，λ表示距离参数，由此得到特征点组(Pu，Mu，Wu)的图像坐标。以上是局部单个焊缝点的图像特征提取过程。
步骤3：建立焊缝曲线及其两侧曲面变化特征模型。
线结构光在曲线焊缝不同位置形成的条纹形状不相同，因此对于曲线焊缝需要多区域检测，检测多个局部焊缝点图像特征后，通过拟合确定整体焊缝的形状特征。具体步骤包括：
步骤3-1：相机-线结构光传感器参数标定
相机-结构光传感器参数包括相机内参数和线结构光平面参数两部分。标定步骤为：
第一步：棋盘格靶标图像采集：采集不同姿态下的棋盘格靶标图像，形成无结构光照射的棋盘格图像组和有结构光照射的棋盘格图像组。
第二步：相机内参数标定：由无结构光照射的棋盘格图像组通过张正友标定法进行相机内参数标定，得到内参数矩阵K。
第三步：光平面参数标定：对有结构光照射的棋盘格图像组，通过步骤一的线结构光条纹图像处理方法得到线结构光条纹中心线，并与棋盘格各行列线求交计算标定点坐标，再通过标定点平面拟合得到结构光平面π相对于相机坐标系的平面参数方程ax+by+cz+1＝0，其中，(a，b，c)为平面参数。
步骤3-2：控制机械臂运动，通过结构光分段扫描相贯管焊件的不同区域，按步骤一和步骤二分别进行各焊缝点的图像采集和局部图像特征提取，得到n个焊缝特征点组的图像坐标，记为
Figure BDA0002793040480000101
步骤3-3：构建机器人焊接系统各坐标系之间的位姿变换关系矩阵：
由步骤2得到的焊缝图像坐标需要转换到机器人基坐标系，建立的机器人曲线焊接各坐标系转换关系示意图如附图5所示，其中，{B}表示机器人基坐标系，同时作为世界坐标系。{E}表示机器人末端坐标系，{T}表示焊枪工具坐标系，{C}表示摄像机坐标系。根据上述定义，{T}相对于{E}的位姿关系矩阵为
Figure BDA0002793040480000102
由工具中心点TCP标定得到。{C}相对于{E}的位姿关系矩阵为
Figure BDA0002793040480000103
由机器人与相机手眼关系标定得到。{B}和{E}的位姿关系矩阵为
Figure BDA0002793040480000104
由机器人运动学正解得到。
步骤3-4：计算各焊缝特征点组在对应相机坐标系下的三维坐标：
将步骤3-2得到的n个焊缝图像特征点组
Figure BDA0002793040480000105
转换到对应的相机坐标系下，记为
Figure BDA0002793040480000106
具体步骤为：
第一步，计算图像特征点组对应的归一化相机坐标
Figure BDA0002793040480000107
为
Figure BDA0002793040480000108
其中，K为相机内参数矩阵，由步骤3-1的第二步得到，i＝1～N。
第二步，计算图像特征点组对应的相机坐标
Figure BDA0002793040480000109
为
Figure BDA00027930404800001010
其中，(a，b，c)为光平面方程参数，由步骤3-1的第三步得到。
Figure BDA00027930404800001011
和
Figure BDA00027930404800001012
分别为特征点组归一化相机坐标
Figure BDA00027930404800001013
的x、y分量，i＝1～Ⅳ。
步骤3-5：计算各焊缝特征点组在机器人基坐标系下的三维坐标
Figure BDA0002793040480000111
每次图像采集时，相机坐标系都发生相对运动，因此由步骤3-4得到的相机坐标需进一步统一到固定的机器人基坐标系下。由下式计算：
Figure BDA0002793040480000112
其中，
Figure BDA0002793040480000113
为手眼变换矩阵，由步骤3-3手眼标定得到。
Figure BDA0002793040480000114
为第i次图像采集时对应的机器人位姿矩阵
Figure BDA0002793040480000115
可由步骤3-3机器人运动学正解得到。
步骤3-6：建立焊缝曲线及其两侧曲面变化特征方程。
如附图6所示，在线结构光条纹6上，通过特征点组
Figure BDA0002793040480000116
形成三个特征点集合{Pi b}，
Figure BDA0002793040480000117
和{Wi b}(i＝1～N)。对上述三个点集，采用Bspline曲线拟合分别建立三个曲线参数方程，记为BP(t)、BM(t)和BW(t)，其中，BP(t)对应焊缝曲线14，BM(t)和BW(t)分别位于两曲面上，对应形成曲线焊缝7的两侧曲面变化特征曲线15和16。
步骤4：确定焊枪控制位置和姿态，具体为：
步骤4-1：构建离散化的焊缝控制点坐标系。
焊缝控制点坐标系是焊枪位姿控制的依据，由焊缝形态结构模型约束，焊缝控制点坐标系{S}(OS-XSYSZS)的构建示意图如图7所示，具体步骤如下：
第一步，离散化焊缝曲线方程，确定离散焊缝控制点位置坐标序列
焊缝曲线方程BP(t)通过时间平均插值方法实现从整体离散化，得到离散控制点序列，记为{BP(u)}(u＝kt0，k＝1～Nt)，其中Ⅳt为离散控制点数，t0为单位时间常数，BP(u)作为控制点坐标系位置矢量PS，即PS＝BP(u)；
第二步，离散化两曲面变化特征曲线方程，得到离散后的曲面特征点序列
两曲面变化特征曲线方程BM(t)和BW(t)分别通过时间平均插值方法实现从整体离散化，得到离散后的曲面特征点序列{BM(u)}和{BW(u)}(u＝kt0，k＝1～Nt)，其中Ⅳt为离散控制点数，t0为单位时间常数，所得序列与焊缝控制点序列{BP(u)}点数相同，次序对应。
第三步，计算控制点坐标系各坐标轴的近似方向矢量
控制点指向对应的两曲面特征点的方向矢量nM和nW为
Figure BDA0002793040480000121
其中，||·||表示向量取模运算，下同。
控制点坐标系在X、Y和Z轴上的方向矢量分别为nS，oS和aS。在步骤一图像采集时，通过机器人运动使结构光条纹近似垂直焊缝接口，nM和nW两矢量所张成的平面近似为OS处的主法平面17，因此nS近似垂直于由nM和nW张成平面18。另一方面，根据主法面二分法，aS近似处于nM和nW两矢量形成的角平分线方向上。nS和aS的近似方向矢量nS0和aS0为
Figure BDA0002793040480000122
第四步，计算控制点坐标系各坐标轴的方向矢量
nS为焊缝曲线在控制点OS处的切矢量，取焊缝曲线方程BP(t)在OS处的一阶导数方向，计算
Figure BDA0002793040480000123
由nS0旋转至nS的旋转轴矢量为nrot＝ns0×nS，记nrot＝(nx，ny，nz)，旋转角为θ＝acos(nS0·nS)，构建nS0和nS矢量旋转矩阵R为
Figure BDA0002793040480000124
aS0经过相同旋转至aS，再由右旋定则确定oS，各坐标轴方向矢量为：
Figure BDA0002793040480000125
焊缝控制点坐标系至此构建完成，形成的焊缝控制点坐标系相对于机器人基坐标系的变换矩阵为
Figure BDA0002793040480000126
其中nSi，oSi，aSi，PSi(i＝x，y，z)分别为对应矢量的分量。
步骤4-2：根据焊接工艺要求构建焊枪坐标系，确定焊枪位姿。
焊枪坐标系的建立如附图8所示。XS轴沿焊接方向，ZS轴沿焊缝两侧曲面切平面19和20形成的夹角平分线方向，焊枪4轴线通过焊缝控制坐标系原点OS，OT为焊枪喷嘴位置，l表示起弧前焊丝从导电嘴伸出的长度，即OS与OT之间的距离。工作角α表示从ZS到焊枪4轴线在焊缝法平面ZSOSYS上的投影绕XS轴所转过的角度。行走角β表示从焊枪轴线在焊缝法平面ZSOSYS上的投影到焊枪4轴线绕焊缝坐标系的Ys轴所转过的角度。自转角γ表示焊枪4绕Ys轴旋转的角度。上述(l，α，β，γ)为焊枪坐标系相对于焊缝控制坐标系的变换关系参数，由具体焊接工艺要求确定。
根据确定的变换关系参数建立焊枪坐标系和焊缝控制点坐标系之间的转换关系为：
Figure BDA0002793040480000131
由此确定焊枪坐标系相对于机器人基坐标系的转换关系为
Figure BDA0002793040480000132
Figure BDA0002793040480000133
为焊枪控制位姿矩阵。至此，曲线焊缝的结构建模已全部完成。
为了验证本发明的具体执行情况，按照上述步骤，采用ABB1410弧焊机器人系统对斜交圆柱管相贯形成的曲线焊缝进行试验。试验采用1/3in XC-ES50CE CCD工业相机和650nm的线性结构光传感器进行检测，相机配置8mm Computar镜头。将线结构光检测系统固定安装在机器人末端，构成线结构光手眼视觉系统。采用的相贯圆柱管中主管的半径为65.5mm，支管的半径为50mm，两圆柱管轴线之间的偏移的距离为8mm，相交角度为75度。本实施例列出8幅图像对应的焊缝特征点相对于机器人基坐标系的检测结果。为进行比较，采用机器人焊枪示教方法获取特征点位置坐标作为参考，并计算视觉检测数据与示教结果的位置误差，焊缝特征点的检测信息如表1所示：
Figure BDA0002793040480000134
Figure BDA0002793040480000141
表1
由表1可见，平均误差仅为1.32mm左右，经过分析，误差的主要原因主要是机器人手眼标定和结构光平面标定参数存在一定误差造成的影响，经过精确标定可进一步提高模型精度，满足一般工业现场的需求。
由实施例可见，本发明得到的视觉检测结构建模与实际结果接近，证明了在不依赖于焊缝具体尺寸形状条件下，采用结构光视觉检测方案形成通用曲线焊缝结构建模方法的正确性。
应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (1)

1.一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法，其特征在于，包括以下步骤：
步骤一：焊缝接口线结构光条纹图像处理，提取条纹单像素中心线；
所述步骤一具体为：(1)调整机器人运动使线结构光条纹垂直于焊缝接口并读取其结构光条原始图像；(2)通过灰度化和高斯滤波进行图像预处理；(3)提取光条所在区域为图像感兴趣ROI区域，并对提取到的ROI图像进行二值化处理，获得条纹二值化图像；(4)选择8领域元素细化结构模型，并根据选定的结构元素对二值图像实现遍历细化运算，经过迭代获取条纹单像素中心线；
步骤二：基于斜率分析提取相贯曲线焊缝点组图像特征；
所述步骤二具体为：(1)构建线结构光条纹中心线的斜率变化曲线；(2)搜索斜率变化曲线的最大值及对应点序；(3)选择结构光条纹中心线曲边交点Pu及两曲边上与交点在邻近区域等距的两点Mu,Wu共同构成曲线焊缝单个局部位置的特征点组(Pu,Mu,Wu)，通过斜率变化曲线最大值对应点序邻近前后两侧局部区域点集的直线拟合，提取特征点组的图像坐标；
步骤三：建立焊缝曲线及其两侧曲面变化特征模型；
所述步骤三具体为：(1)相机-线结构光传感器参数标定；(2)控制机械臂运动，通过结构光分段扫描相贯管焊件的不同区域，按步骤一和步骤二分别进行各焊缝点的图像采集和局部图像特征提取，得到各焊缝特征点组的图像坐标
Figure FDA0003414631900000011
(3)构建机器人焊接系统各坐标系之间的位姿变换关系矩阵；(4)计算各焊缝特征点组在对应相机坐标系下的三维坐标
Figure FDA0003414631900000012
(5)计算各焊缝特征点组在机器人基坐标系下的三维坐标
Figure FDA0003414631900000013
(6)建立焊缝曲线及其两侧曲面变化特征方程；
所述步骤三中的(6)具体为：对上述(5)形成的三个特征点集合{Pi b}，
Figure FDA0003414631900000014
和{Wi b}(i＝1～N)采用Bspline曲线拟合分别建立焊缝曲线方程BP(t)和对应形成焊缝的两侧曲面变化特征曲线方程BM(t)和BW(t)；
步骤四：确定焊枪控制位置和姿态；
所述步骤四具体为：(1)构建离散化的焊缝控制点坐标系：具体为：离散化焊缝曲线方程，确定离散焊缝控制点位置坐标序列；离散化两曲面变化特征曲线方程，得到离散后的曲面特征点序列；建立焊缝控制点指向对应的两曲面特征点方向矢量、控制点处切矢量与控制点坐标系各坐标轴方向矢量的运算关系，计算控制点坐标系各坐标轴的方向矢量；(2)依据具体焊接工艺要求确定焊枪坐标系相对于焊缝控制坐标系的变换关系参数，包括起弧前焊丝从导电嘴伸出的长度l、工作角α、行走角β和自转角γ；根据上述参数建立焊枪坐标系和焊缝控制点坐标系之间的转换关系，确定焊枪位姿。
CN202011325053.2A 2020-11-23 2020-11-23 一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法 Active CN112518072B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011325053.2A CN112518072B (zh) 2020-11-23 2020-11-23 一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011325053.2A CN112518072B (zh) 2020-11-23 2020-11-23 一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法

Publications (2)

Publication Number Publication Date
CN112518072A CN112518072A (zh) 2021-03-19
CN112518072B true CN112518072B (zh) 2022-03-01

Family

ID=74992855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011325053.2A Active CN112518072B (zh) 2020-11-23 2020-11-23 一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法

Country Status (1)

Country Link
CN (1) CN112518072B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114434001A (zh) * 2021-03-24 2022-05-06 西华大学 一种焊缝轨迹自主跟踪算法
CN112959329B (zh) * 2021-04-06 2022-03-11 南京航空航天大学 一种基于视觉测量的智能控制焊接系统
CN113814528B (zh) * 2021-10-11 2022-12-27 湖北忠和冶金机械制造股份有限公司 基于交互式的焊缝曲线提取与自动轨迹生成方法
CN114043111B (zh) * 2021-10-11 2023-02-28 上海交通大学 基于线激光扫描的相贯线结构自动装配方法及系统
CN113942017B (zh) * 2021-11-29 2023-08-08 武汉理工大学 罐体焊接点位姿规划方法、焊接工作站、设备及介质
CN114227095A (zh) * 2021-12-28 2022-03-25 安徽省安工机械制造有限公司 一种用于搅拌臂耐磨条焊接的智能机械臂
CN115488535B (zh) * 2022-09-14 2023-08-29 中船黄埔文冲船舶有限公司 一种中组立焊接焊缝的焊枪轨迹生成方法及装置
CN115945767B (zh) * 2022-11-15 2024-05-28 厦门航天思尔特机器人系统股份公司 一种坡口焊的自适应焊接系统、方法和装置
CN117300301B (zh) * 2023-11-30 2024-02-13 太原科技大学 一种基于单目线激光的焊接机器人焊缝跟踪系统与方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201357275Y (zh) * 2009-02-13 2009-12-09 南京工程学院 多结构光双目复合视觉焊缝跟踪装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5217221B2 (ja) * 2007-04-16 2013-06-19 新日鐵住金株式会社 溶接部の表面欠陥形状検出方法及びコンピュータプログラム
EP2703113B1 (en) * 2011-04-28 2018-02-07 Toyota Jidosha Kabushiki Kaisha Method for detecting butt position of weld joint and method for manufacturing weld joint
DE102011118615A1 (de) * 2011-11-16 2013-05-16 WeserWind GmbH Offshore Construction Georgsmarienhütte Verfahren und Vorrichtung zum Schweißen und/oder Schneiden von Bauteilen, insbesondere Rohren, zur Bildung von Offshorestrukturen
CN104384742B (zh) * 2014-11-14 2017-02-08 深圳市神视检验有限公司 一种相贯线焊缝自动检测小车
CN105772905A (zh) * 2016-03-16 2016-07-20 南京工业大学 一种基于弧焊机器人系统的斜交偏置管轨迹规划方法
JP6681759B2 (ja) * 2016-03-23 2020-04-15 日立造船株式会社 溶接ビードの検査システム
CN108857152B (zh) * 2018-06-14 2020-01-31 清华大学 基于复合激光结构光的全空间位姿检测视觉传感器装置
CN109226937B (zh) * 2018-11-14 2020-11-06 南京工程学院 一种工业机器人空间相贯曲线焊接离线编程方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201357275Y (zh) * 2009-02-13 2009-12-09 南京工程学院 多结构光双目复合视觉焊缝跟踪装置

Also Published As

Publication number Publication date
CN112518072A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN112518072B (zh) 一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法
Rout et al. Advances in weld seam tracking techniques for robotic welding: A review
CN112659123B (zh) 一种基于线结构光视觉的双机器人曲线焊接协同规划方法
CN110064819B (zh) 基于结构光的柱面纵向焊缝特征区域提取、焊缝跟踪方法及系统
CN113798634B (zh) 空间环形焊缝示教与焊缝跟踪方法、系统及设备
CN110227876A (zh) 基于3d点云数据的机器人焊接路径自主规划方法
CN113634964B (zh) 一种大型构件龙门式机器人焊接装备及焊接工艺
Tsai et al. Machine vision based path planning for a robotic golf club head welding system
CN112958959A (zh) 一种基于三维视觉的自动化焊接和检测方法
CN111496344B (zh) 一种基于激光传感器的v型坡口信息处理方法
Hou et al. A teaching-free welding method based on laser visual sensing system in robotic GMAW
Zhou et al. Autonomous acquisition of seam coordinates for arc welding robot based on visual servoing
Zhou et al. Intelligent guidance programming of welding robot for 3D curved welding seam
CN117161644A (zh) 一种基于3d点云的焊缝跟踪方法及系统
CN117300464A (zh) 一种基于结构光相机的相贯线焊缝检测和轨迹优化系统及方法
Lei et al. The development of tube-to-tubesheet welding from automation to digitization
CN105425721A (zh) 一种闭环式控制的智能示教方法及其装置
CN113681133B (zh) 一种带视觉的冗余自由度机器人智能焊接方法
CN110455272A (zh) 轨迹跟踪系统中的传感系统
Li et al. Multi-layer and Multi-channel Dynamic Routing Planning and Initial Point Positioning of Weld Seam Based on Machine Vision
CN116175035B (zh) 一种基于深度学习的钢结构高空焊接机器人智能焊接方法
Zhao Multi-Layer and Multi-Channel Welding Trajectory Control Method of Welding Robot.
Cai et al. A structured light-based visual sensing system for detecting multi-layer and multi-track welding
Tsai et al. An automatic golf head robotic welding system using 3D machine vision system
Huang et al. A Novel Robotic Welding Method for Multilayer and Multi-pass Welding Process based on Vision Sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant