CN114571160A - 一种离线的曲面焊缝提取和姿态估计方法 - Google Patents

一种离线的曲面焊缝提取和姿态估计方法 Download PDF

Info

Publication number
CN114571160A
CN114571160A CN202210234169.8A CN202210234169A CN114571160A CN 114571160 A CN114571160 A CN 114571160A CN 202210234169 A CN202210234169 A CN 202210234169A CN 114571160 A CN114571160 A CN 114571160A
Authority
CN
China
Prior art keywords
welding
weld
curve
robot
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210234169.8A
Other languages
English (en)
Other versions
CN114571160B (zh
Inventor
邹焱飚
詹润钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202210234169.8A priority Critical patent/CN114571160B/zh
Publication of CN114571160A publication Critical patent/CN114571160A/zh
Application granted granted Critical
Publication of CN114571160B publication Critical patent/CN114571160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B23K37/02Carriages for supporting the welding or cutting element
    • B23K37/0247Driving means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0081Programme-controlled manipulators with master teach-in means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

本发明公开了一种离线的曲面焊缝提取和姿态估计方法,本发明通过激光传感器系统采集焊件上的焊缝图像,通过标定将图像上的激光像素点转化为三维坐标生成点云数据,利用角点检测方法提取焊缝的特征点;利用支持向量机回归(SVR)拟合出焊缝曲线的参数方程,并计算曲线的基本向量以及相对应焊接机器人的位置和姿态。本发明解决了焊接机器人在针对多姿态平面焊件、曲面焊件、异型焊件时焊接精度不高、焊接质量不佳的问题,提高了焊接机器人针对不同焊件的适应性以及焊接精度。

Description

一种离线的曲面焊缝提取和姿态估计方法
技术领域
本发明属于焊接机器人焊缝跟踪领域,特别涉及一种离线的曲面焊缝提取和姿态估计方法。
背景技术
焊接技术在工业生产中充当着不可或缺的角色,随着工业第四次革命开始,人们对工业产品质量要求的不断提高,进而对焊接技术提出了更进一步的要求——更高效、更优质、更环保等。在工业应用中,需要面对多种焊接情况,平面焊件以不同位姿摆放,面对这种情况的焊接情况,为了获得较高精度的效果,需要手动调整机器人的焊接角度使之垂直于焊件平面;针对曲面焊件时,在示教前需要计算出曲面焊件的理想位置和姿态,而在示教过程中,需要反复调整各个位置的位姿,过程繁琐;甚至针对一些异型的焊件,无法直接计算去其焊缝的理论姿态,只能大致估计,这大大降低了焊接过程中的效率以及精度。
在图像方面上,为了估计出曲面焊缝的姿态,对于重复度较高的研究对象,研究人员给研究对象建立模型库以便后续图像对照。为了提高姿态估计准确度,往往需要采集大量不同姿态下焊件的照片,在更换不同焊件时,需要重新采集模型库,焊接机器人的适应性较差。随着三维扫描技术的发展,基于点云模型库的姿态估计方法也随之出现,但是,不论是图像形式还是点云形式的基于模型库的姿态估计方法其适用范围受模型库大小的限制,而模型库越大,其检索时间也会相应增加,需要在两者之间做出取舍。
对焊缝曲线拟合存在多种方法,如多项式拟合、非均匀有理B样条插值、三次样条插值等,陈新禹在中国发明授权专利CN110788446B中公开的基于激光传感器的变姿态实时焊缝跟踪方法中,提出使用非均匀有理B样条插值,计算得到焊缝下一时刻所要到达的位置,从而达到实时焊接的过程,能够准确的提取出焊缝的绝对路径。但该方法是针对平面焊件中的异形曲线,难以对曲面焊件上空间曲线进行姿态估计。
在姿态估计过程中,大多数方法是基于焊件曲面上,这会导致计算出的姿态与实际焊缝理想姿态有较大的偏差,使得焊接效果不佳。在焊缝提取中,计算出的曲线法向量是基于点云法向量,即目标点附近拟合平面,计算出平面法向量代替点云法向量,这同样会影响焊件时焊缝的理想姿态,从而导致焊接精度下降。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提供一种离线的曲面焊缝提取和姿态估计方法,通过支持向量机回归直接拟合出焊件焊缝曲线的参数方程、计算曲线的基本向量,使得拟合出的焊缝曲线以及向量更贴合实际曲线,提高在焊接过程中对于曲面焊件的焊接精度,解决了现存焊接机器人焊接精度不高、焊接质量较低的问题。
为了实现本发明目的,本发明提供的一种离线的曲面焊缝提取和姿态估计方法,所述方法基于的焊接机器人系统包括焊接机器人、激光视觉传感器系统、焊接平台、机器人示教器、工控机和机器人控制柜,所述方法包括步骤:
S1、将工件放置在焊接平台上,利用机器人示教器在焊件上选取若干个示教点,并将焊接机器人移动到焊件初始位置;
S2、在示教模式下,通过激光传感器系统连续采集带有激光条纹的焊缝图像,示教结束后将焊缝图像发送到工控机中;
S3、提取焊缝图像上激光条纹的像素点,通过标定将激光条纹中心线上的像素坐标转换成焊接机器人基坐标系下的三维坐标,保存点云数据;
S4、利用角点检测方法提取点云数据中焊缝特征点,并存为特征点点云;
S5、在特征点点云基础上,使用支持向量机回归拟合焊缝曲线参数方程r(t)=[fx(t),fy(t),fz(t)],r(t)为焊缝曲线的参数方程表达式,fx(t)、fy(t)、fz(t)分别表示空间曲线下在机器人基坐标系下x、y、z方向上随着参数t变化而变化的函数表达式;
S6、计算焊缝曲线的基本向量,并求取焊接机器人在焊件各个位置上的位置和姿态;
S7、将计算得到的焊接机器人位置和姿态输送到机器人控制柜上,机器人控制柜输出信号控制机器人按照计算得到的姿态移动并焊接。
进一步地,步骤S1中,所述焊接机器人系统还包括夹具,采集图像时,所述工件用夹具固定。
进一步地,步骤S3中,使用Halcon软件中的算子对图像进行阈值分割、区域选择、直线检测、直线连接、骨架提取一系列操作来提取焊缝图像上激光条纹的像素点。
进一步地,步骤S4中的角点检测方法为Harris3D。
进一步地,所述步骤S4具体包括:
S41、在点云数据中随机选取某一点,利用KdTree方法搜索半径为r的邻域点,计算该点在邻域内的点云法线,构造法线协方差矩阵:
Figure BDA0003539505630000031
其中w(x,y,z)为权重函数,表示点云中不同点的权重大小;nx,ny,nz分别表示在以p为原点建立的局部坐标系下的xL,yL,zL方向的坐标值,其中z为法向量方向;
S42、利用角点响应函数计算点p的角点响应值,计算公式为:
S43、遍历点云数据内的所有点,分别计算它们的角点响应值,并设置角点相应阈值τ,使得焊缝上的大多数点为角点,从而提取曲面焊件上焊缝点。为了降低后续计算量,将提取到的特征点另外存为焊缝特征点点云。
进一步地,步骤S41中采用KdTree方法或八叉树来进行搜索。
进一步地,步骤S42中角点响应值的计算公式为:
R=det(M)-k(trace(M))2
其中k为常数,取值范围为0.04-0.06,影响角点检测的灵敏度,从而影响被检测角点的数量;det(M)为协方差矩阵M的行列式;trace(M)为协方差矩阵M的迹。
进一步地,所述步骤S5具体包括:
S51、焊缝特征点云拟合成曲线参数方程为r(t)=[fx(t),fy(t),fz(t)],利用支持向量机回归(SVR)分别拟合出机器人基坐标系下x、y、z方向上的函数fx(t)、fy(t)、fz(t),其中t∈(0,1);
S52、针对焊缝特征点点云数据
D={(x1,y1,z1),(x2,y2,z2),...,(xn,yn,zn)}
其中n为焊缝特征点云的数目;
对x、y、z回归模型:
Figure BDA0003539505630000032
其中w和b为模型参数,
Figure BDA0003539505630000033
为核函数,
S53、引入松弛变量ξi
Figure BDA0003539505630000034
两个变量的下标均为i,则回归模型的目标函数为
Figure BDA0003539505630000035
s.t.fx(ti)-xi≤∈+ξi
Figure BDA0003539505630000041
Figure BDA0003539505630000042
其中C为常数,决定模型对松弛的容忍度;∈为fx(ti)与xi之间所选取的误差值,只有两者之间差的绝对值大于∈时才计算损失;n表示焊缝特征点云的数目,i是遍历n值,表示第i个点,xi是第i个点的x坐标,fx(ti)表示参数变量为ti时,模型的预测值;
S54、引入拉格朗日乘子α≥0,
Figure BDA0003539505630000043
μ≥0,
Figure BDA0003539505630000044
得到拉格朗日函数:
Figure BDA0003539505630000045
其中αi
Figure BDA0003539505630000046
μi
Figure BDA0003539505630000047
均为i点对应的拉格朗日乘子;
S55、将
Figure BDA0003539505630000048
分别对w,b,ξi
Figure BDA0003539505630000049
进行求导并带入上式得到SVR对偶问题:
Figure BDA00035395056300000410
Figure BDA00035395056300000411
Figure BDA00035395056300000412
为x方向上的核函数;
S56、通过求解得到x的回归模型为:
Figure BDA00035395056300000413
S57、按照同样的方法计算得到在y方向上、在z方向上的回归模型:
Figure BDA00035395056300000414
Figure BDA00035395056300000415
最终获得焊缝曲线的r(t)=[fx(t),fy(t),fz(t)]。
进一步地,步骤S52中,x、y、z方向上的核函数均为高斯核函数,或者x、y上为线性核函数,在z方向上采用高斯核函数;
其中,所述高斯核函数为:
Figure BDA0003539505630000051
σ为高斯核的带宽,ti、tj表示两组不同参数,T为转置。
进一步地,所述步骤S6具体包括:
S61、焊缝曲线切向量能指出焊接机器人下一步向前移动的方向,焊缝曲线的参数方程为r(t)=[fx(t),fy(t),fz(t)],计算焊缝曲线上某一点t0的单位切向量,计算公式如下:
Figure BDA0003539505630000052
其中
Figure BDA0003539505630000053
为曲线参数方程关于参数t的导数在t=t0时的导数值,
Figure BDA0003539505630000054
为导数值的绝对值;
S62、空间曲线中有无数多条法向量,但是有唯一的主、副法向量,其中焊缝曲线上某一点t0单位副法向量的计算公式为:
Figure BDA0003539505630000055
其中
Figure BDA0003539505630000056
为曲线参数方程关于参数t的二次导数在t=t0时的二次导数值;
S63、焊接过程中,为了提高焊接的精度,焊枪应该沿着焊缝曲线的主法向量,曲线的切向量、副法向量、主法向量相互垂直,焊缝曲线上某一点t0单位主法向量的计算公式为:
Figure BDA0003539505630000057
S64、将曲线的三个单位向量
Figure BDA0003539505630000058
γ、β分别对应投影到机器人基坐标系的三个单位向量XB、YB、ZB,转换矩阵的如下:
Figure BDA0003539505630000059
其中,XB、YB、ZB分别对应XB{1,0,0},YB{0,1,0},ZB{0,0,1}为机器人基坐标单位向量;
S65、在X-Y-Z固定角坐标系下,通过转换矩阵得到旋转角Rx,Ry,Rz,即得到焊接机器人姿态,具体如下:
Figure BDA00035395056300000510
其中,Atan2表示反函数、r11、r21、r31、r32、r33为步骤64求得的转换矩阵中的参数。
与现有技术相比,本发明能够实现的有益效果至少如下:
(1)本发明通过单色性、方向性较优的激光作为辅助光源以及激光三维视觉测量技术获取曲面焊件上数据点的三维坐标,并通过角点检测提取焊缝的特征点,获得的特征点更贴合实际焊缝;
(2)针对焊缝特征点采用支持向量机回归(SVR)直接拟合出曲线的参数方程并计算曲线的基本向量,得到的焊接机器人姿态更符合焊接姿态,提高焊接精度;
(3)本发明不仅能针对曲面焊件,对于不同姿态的平面焊件以及异型焊缝同样使用,大大提高了焊接机器人的适应性。
(4)本发明解决了焊接机器人在针对多姿态平面焊件、曲面焊件、异型焊件时焊接精度不高、焊接质量不佳的问题,提高了焊接机器人针对不同焊件的适应性以及焊接精度。
附图说明
图1是本发明实施例的焊接机器人系统总体结构示意图;
图2是本发明实施例的焊接机器人的系统中的激光视觉传感器系统的结构示意图;
图3是本发明实施例的焊接机器人离线的曲面焊缝提取和姿态估计方法流程示意图;
图中:1-配套焊接设备;2-焊接机器人;3-夹具;4-激光传感器系统;41-传感器外壳;42-工业相机;43-滤光片;44-激光发生器;45-透光性隔板;5-工件;6-焊接平台;7-工控机;8-机器人控制柜;9-机器人示教器。
具体实施方式
下面结合实施例及附图对本发明作进一步的详细描述,但本发明的实施方式不限于此。
请参阅图1、图2,本发明提供的一种离线的曲面焊缝提取和姿态估计方法,该方法基于的焊接机器人系统包括焊接机器人2、激光视觉传感器系统4、焊接平台6、机器人示教器9、夹具3、工件5、配套焊接设备1、工控机7和机器人控制柜8。所述激光传感器系统4包括黑色氧化处理的传感器外壳41、工业相机42、滤光片43、激光发生器44和透光性隔板45,所述工业相机42和激光发生器44通过机械零件固定在传感器外壳41内部上,透光性隔板45安装在激光发生器44和工业相机42前端。激光发生器44和工业相机42之间存在夹角,通过机器视觉测量原理、工业相机42内外参标定、焊接机器人2手眼标定获取较为准确的点云数据信息。在工业相机42采集带有激光条纹的焊缝图像时,为了避免外部光线的干扰,在工业相机42上装有滤光片43,使得能够仅获取指定波长范围的光线,使得焊缝图像上的激光条纹更加清晰,并通过以太网接口将采集到的图像传输到工控机7中。所述焊接平台为6包括铝型材支架和支撑板,可用夹具3将工件5固定,避免图像采集以及焊接过程中由于热变形等原因产生偏移。
在本发明的其中一些实施例中,配套焊接设备1包括焊机和保护气瓶,在焊接过程中为焊接机器人2送丝和退丝,保护气体由二氧化碳和氮气组成。
如图3所示,本发明所提供的一种离线的曲面焊缝提取和姿态估计方法,包括以下步骤:
S1、将工件5放置在焊接平台6上,利用夹具3固定工件5,以保证图像采集以及焊接过程中不会产生偏移;利用机器人示教器9在焊件上选取若干个示教点,保证在示教模式下,焊接机器人2与工件5不会发生干涉,后将焊接机器人2移动到焊件初始位置。
示教点数量的选取由焊件类型决定,示教根据示教点查补直线或圆弧曲线,对于直线焊缝仅需两个示教点,而对于多段曲线则需要根据实际情况选取,示教点越多得到的数据越接近实际值。在本发明的其中一些实施例中,示教点的数量为3个。
S2、在示教模式下,通过激光传感器系4统中的工业相机42连续采集带有激光条纹的焊缝图像,示教结束后将焊缝图像发送到工控机7中。
S3、提取焊缝图像上激光条纹的像素点,通过标定将激光条纹中心线上的像素坐标转换成焊接机器人基坐标系下的三维坐标,保存点云数据。
在本发明的其中一些实施例中,使用Halcon软件中的算子对图像进行阈值分割、区域选择、直线检测、直线连接、骨架提取等一系列操作来提取像素点。
S4、利用角点检测方法提取点云数据中焊缝特征点,并存为特征点点云。
在本发明的其中一些实施例中,角点检测方法为Harris3D。
在本发明的其中一些实施例中,所述步骤S4具体包括:
S41、在点云数据中随机选取某一点,搜索半径为r的邻域点,计算该点在邻域内的点云法线,构造法线协方差矩阵:
Figure BDA0003539505630000071
其中,w(x,y,z)为权重函数,表示点云中不同点的权重大小;nx,ny,nz分别表示在以p为原点建立的局部坐标系下的xL,yL,zL方向的三维坐标值,其中z为法向量方向;
S42、利用角点响应函数计算点p的角点响应值,计算公式为:
R=det(M)-k(trace(M))2其中,k为常数,取值范围为0.04-0.06,影响角点检测的灵敏度,从而影响被检测角点的数量,det(M)为协方差矩阵M的行列式;trace(M)为协方差矩阵M的迹。
S43、遍历点云数据内的所有点,分别计算它们的角点响应值,并设置角点相应阈值τ,提取曲面焊件上焊缝点,为了降低后续计算量,将提取到的特征点另外存为焊缝特征点点云。
在本发明的其中一些实施例中,步骤S41中采用KdTree方法来进行搜索,当然,在其他实施例中也可以采用八叉树,但在本实施例中采用KdTree方法搜索效率更高。
S5、在特征点点云基础上,使用支持向量机回归(SVR)拟合焊缝曲线参数方程r(t)=[fx(t),fy(t),fz(t)],r(t)为焊缝曲线的参数方程表达式,fx(t)、fy(t)、fz(t)分别表示空间曲线下在机器人基坐标系下x、y、z方向上随着参数t变化而变化的函数表达式。
在本发明的其中一些实施例中,步骤S5中得到焊缝曲线参数方程的方式为:
S51、焊缝特征点云拟合成曲线参数方程为r(t)=[fx(t),fy(t),fz(t)],利用支持向量机回归(SVR)分别拟合出机器人基坐标系下x、y、z三个方向上的函数fx(t)、fy(t)、fz(t),其中t∈(0,1);
S52、针对焊缝特征点点云数据
D={(x1,y1,z1),(x2,y2,z2),...,(xn,yn,zn)}
其中n为焊缝特征点云的数目;
对x、y、z回归模型:
Figure BDA0003539505630000081
其中,w和b为模型参数,
Figure BDA0003539505630000082
为核函数,在x、y、z上的核函数均可以采用
Figure BDA0003539505630000083
σ为高斯核的带宽,ti、tj表示两组不同参数,T为转置。在其他实施例中,在x、y方向上的的核函数可以采用线性核。
S53、引入松弛变量ξi
Figure BDA0003539505630000084
则回归模型的目标函数为
Figure BDA0003539505630000085
s.t.fx(ti)-xi≤∈+ξi
Figure BDA0003539505630000086
Figure BDA0003539505630000091
其中,C为常数,决定回归模型对松弛的容忍度;∈为fx(ti)与xi之间所选取的误差值,只有两者之间差的绝对值大于∈时才计算损失,n表示焊缝特征点云的数目,i是遍历n值,表示第i个点,xi是第i个点的x坐标,fx(ti)表示参数变量为ti时模型的预测值;
S54、引入拉格朗日乘子α≥0,
Figure BDA0003539505630000092
μ≥0,
Figure BDA0003539505630000093
得到拉格朗日函数:
Figure BDA0003539505630000094
其中αi
Figure BDA0003539505630000095
μi
Figure BDA0003539505630000096
均为i点对应的拉格朗日乘子;
S55、将
Figure BDA0003539505630000097
分别对w,b,ξi
Figure BDA0003539505630000098
进行求导并带入上式得到SVR对偶问题:
Figure BDA0003539505630000099
Figure BDA00035395056300000910
Figure BDA00035395056300000911
为x方向上的核函数;
S56、通过求解得到x的回归模型为:
Figure BDA00035395056300000912
S57、按照同样的方法计算得到在y方向上、在z方向上的回归模型:
Figure BDA00035395056300000913
Figure BDA00035395056300000914
最终获得焊缝曲线的r(t)=[fx(t),fy(t),fz(t)]。
S6、计算焊缝曲线的基本向量,并求取焊接机器人2在焊件各个位置上的位置和姿态。
在本发明的其中一些实施例中,所述步骤S6具体包括:
S61、焊缝曲线切向量能指出焊接机器人2下一步向前移动的方向,焊缝曲线的参数方程为r(t)=[fx(t),fy(t),fz(t)],计算焊缝曲线上某一点t0的单位切向量,计算公式如下:
Figure BDA0003539505630000101
其中
Figure BDA0003539505630000102
为曲线参数方程关于参数t的导数在t=t0时的导数值,
Figure BDA0003539505630000103
为导数值的绝对值;
S62、空间曲线中有无数多条法向量,但是有唯一的主、副法向量,其中焊缝曲线上某一点t0单位副法向量的计算公式为:
Figure BDA0003539505630000104
其中
Figure BDA0003539505630000105
为曲线参数方程关于参数t的二次导数在t=t0时的二次导数值;
S63、焊接过程中,为了提高焊接的精度,焊枪应该沿着焊缝曲线的主法向量,曲线的切向量、副法向量、主法向量相互垂直,焊缝曲线上某一点t0单位主法向量的计算公式为:
Figure BDA0003539505630000106
S64、将曲线的三个单位向量
Figure BDA0003539505630000107
γ、β分别对应投影到机器人基坐标系的三个单位向量XB、YB、ZB,转换矩阵的如下:
Figure BDA0003539505630000108
其中,XB、YB、ZB分别对应XB{1,0,0},YB{0,1,0},ZB{0,0,1},为机器人基坐标单位向量;
Figure BDA0003539505630000109
表示由曲线三个单位向量构成的坐标系与机器人基坐标系在机器人基坐标系下X、Y、Z方向上的转化矩阵,其中
Figure BDA00035395056300001010
r12=γ·XB,r13=β·XB,以此类推。
S65、基于机器人基坐标系建立的固定角坐标系XB-YB-ZB下,通过转换矩阵得到旋转角Rx,Ry,Rz,即得到焊接机器人2姿态,具体如下:
Figure BDA00035395056300001011
其中,Atan2表示反函数、r11、r21、r31、r32、r33为步骤64求得的转换矩阵中的参数。
S7、将计算得到的焊接机器人2位置和姿态输送到机器人控制柜8上,机器人控制柜8输出信号控制机器人按照计算得到的姿态移动并焊接。
本发明实施例采用激光传感器系统采集焊缝图像并传输给工控机进行图像处理,能够获取精度较高的点云数据,获得的点云数据更贴近焊件;利用角点检测提取点云数据中焊缝的特征点。在计算焊接机器人位置和姿态时,不是利用焊件曲面的法向量以及点云数据的法向量,而是利用支持向量机回归(SVR)拟合焊缝曲线的参数方程,并基于焊缝曲线直接计算出曲线的基本向量,这使得焊接机器人在焊接时,焊枪的位置会沿着曲线的主法向量而不是曲面的法向量或是点云的局部面法向量,使得焊接精度提高。本发明实施例同样适用于各种姿态的平面焊件以及异型焊件,使得焊接机器人对焊件的适应性大大提高,具有焊接精度高,焊接质量高等优点。
上述实施例为本发明较佳的实施方式,但本方明的实施方式并不受上述实施例的限制,其他的任何背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (10)

1.一种离线的曲面焊缝提取和姿态估计方法,其特征在于,所述方法基于的焊接机器人系统包括焊接机器人、激光视觉传感器系统、焊接平台、机器人示教器、工控机和机器人控制柜,所述方法包括步骤:
S1、将工件放置在焊接平台上,利用机器人示教器在焊件上选取若干个示教点,并将焊接机器人移动到焊件初始位置;
S2、在示教模式下,通过激光传感器系统连续采集带有激光条纹的焊缝图像,示教结束后将焊缝图像发送到工控机中;
S3、提取焊缝图像上激光条纹的像素点,通过标定将激光条纹中心线上的像素坐标转换成焊接机器人基坐标系下的三维坐标,保存点云数据;
S4、利用角点检测方法提取点云数据中焊缝特征点,并存为特征点点云;
S5、在特征点点云基础上,使用支持向量机回归拟合焊缝曲线参数方程r(t)=[fx(t),fy(t),fz(t)],r(t)为焊缝曲线的参数方程表达式,fx(t)、fy(t)、fz(t)分别表示空间曲线下在机器人基坐标系下x、y、z方向上随着参数t变化而变化的函数表达式;
S6、计算焊缝曲线的基本向量,并求取焊接机器人在焊件各个位置上的位置和姿态;
S7、将计算得到的焊接机器人位置和姿态输送到机器人控制柜上,机器人控制柜输出信号控制机器人按照计算得到的姿态移动并焊接。
2.根据权利要求1所述的一种离线的曲面焊缝提取和姿态估计方法,其特征在于,步骤S1中,所述焊接机器人系统还包括夹具,采集图像时,所述工件用夹具固定。
3.根据权利要求1所述的一种离线的曲面焊缝提取和姿态估计方法,其特征在于:步骤S3中,使用Halcon软件中的算子对图像进行阈值分割、区域选择、直线检测、直线连接、骨架提取一系列操作来提取焊缝图像上激光条纹的像素点。
4.根据权利要求1所述的一种离线的曲面焊缝提取和姿态估计方法,其特征在于,步骤S4中的角点检测方法为Harris3D。
5.根据权利要求1所述的一种离线的曲面焊缝提取和姿态估计方法,其特征在于:步骤S4具体包括:
S41、在点云数据中随机选取某一点,搜索半径为r的邻域点,计算该点在邻域内的点云法线,构造法线协方差矩阵:
Figure FDA0003539505620000011
其中w(x,y,z)为权重函数,表示点云中不同点的权重大小;nx,ny,nz分别表示在以p为原点建立的局部坐标系下的xL,yL,zL方向的三维坐标值,其中zL为法向量方向;
S42、利用角点响应函数计算点p的角点响应值;
S43、遍历点云数据内的所有点,分别计算它们的角点响应值,并设置角点相应阈值τ,提取曲面焊件上焊缝点,并将提取到的特征点另外存为焊缝特征点点云。
6.根据权利要求5所述的一种离线的曲面焊缝提取和姿态估计方法,其特征在于:步骤S41中采用KdTree方法或八叉树来进行搜索。
7.根据权利要求5所述的一种离线的曲面焊缝提取和姿态估计方法,其特征在于,步骤S42中角点响应值的计算公式为:
R=det(M)-k(trace(M))2
其中,k为常数,det(M)为协方差矩阵M的行列式,trace(M)为协方差矩阵M的迹。
8.根据权利要求1所述的一种离线的曲面焊缝提取和姿态估计方法,其特征在于:步骤S5具体包括:
S51、焊缝特征点云拟合成曲线参数方程为r(t)=[fx(t),fy(t),fz(t)],利用支持向量机回归(SVR)分别拟合出机器人基坐标系下x、y、z方向上的函数fx(t)、fy(t)、fz(t),其中t∈(0,1);
S52、针对焊缝特征点点云数据
D={(x1,y1,z1),(x2,y2,z2),...,(xn,yn,zn)}
其中n为焊缝特征点云的数目;
对x、y、z回归模型:
Figure FDA0003539505620000021
其中w和b为模型参数,
Figure FDA0003539505620000022
为核函数,ti为模型的参数;
S53、引入松弛变量ξi
Figure FDA0003539505620000023
则回归模型的目标函数为
Figure FDA0003539505620000024
s.t.fx(ti)-xi≤∈+ξi
Figure FDA0003539505620000025
Figure FDA0003539505620000026
其中C为常数,决定模型对松弛的容忍度;∈为fx(ti)与xi之间所选取的误差值,n表示焊缝特征点云的数目,xi是第i个点的x坐标,fx(ti)表示参数变量为ti时模型的预测值;
S54、引入拉格朗日乘子α≥0,
Figure FDA0003539505620000031
μ≥0,
Figure FDA0003539505620000032
得到拉格朗日函数:
Figure FDA0003539505620000033
其中αi
Figure FDA0003539505620000034
μi
Figure FDA0003539505620000035
均为i点对应的拉格朗日乘子;
S55、将
Figure FDA0003539505620000036
分别对w,b,ξi
Figure FDA0003539505620000037
进行求导并带入上式得到SVR对偶问题:
Figure FDA0003539505620000038
Figure FDA0003539505620000039
Figure FDA00035395056200000310
为x方向上的核函数;
S56、通过求解得到x的回归模型为:
Figure FDA00035395056200000311
S57、按照同样的方法计算得到在y方向上、在z方向上的回归模型:
Figure FDA00035395056200000312
Figure FDA00035395056200000313
最终获得焊缝曲线的r(t)=[fx(t),fy(t),fz(t)]。
9.根据权利要求8所述的一种离线的曲面焊缝提取和姿态估计方法,其特征在于,步骤S52中,x、y、z方向上的核函数均为高斯核函数,或者x、y上为线性核函数,在z方向上采用高斯核函数;
其中,所述高斯核函数为:
Figure FDA0003539505620000041
σ为高斯核的带宽,ti、tj表示两组不同参数,T为转置。
10.根据权利要求1-9任一所述的一种离线的曲面焊缝提取和姿态估计方法,其特征在于:步骤S6具体包括:
S61、焊缝曲线切向量能指出焊接机器人下一步向前移动的方向,焊缝曲线的参数方程为r(t)=[fx(t),fy(t),fz(t)],计算焊缝曲线上某一点t0的单位切向量,计算公式如下:
Figure FDA0003539505620000042
其中
Figure FDA0003539505620000043
为曲线参数方程关于参数t的导数在t=t0时的导数值,
Figure FDA0003539505620000044
为导数值的绝对值;
S62、焊缝曲线上某一点t0单位副法向量的计算公式为:
Figure FDA0003539505620000045
其中
Figure FDA0003539505620000046
为曲线参数方程关于参数t的二次导数在t=t0时的二次导数值;
S63、焊接过程中,焊枪沿着焊缝曲线的主法向量,曲线的切向量、副法向量、主法向量相互垂直,焊缝曲线上某一点t0单位主法向量的计算公式为:
Figure FDA0003539505620000047
S64、将曲线的三个单位向量
Figure FDA0003539505620000048
γ、β分别对应投影到机器人基坐标系的三个单位向量XB、YB、ZB,转换矩阵为:
Figure FDA0003539505620000049
其中,XB、YB、ZB分别对应XB{1,0,0},YB{0,1,0},ZB{0,0,1}为机器人基坐标单位向量;
S65、在X-Y-Z固定角坐标系下,通过转换矩阵得到旋转角Rx,Ry,Rz,即得到焊接机器人姿态,Rx,Ry,Rz的获取方式为:
Figure FDA00035395056200000410
其中,Atan2表示反函数、r11、r21、r31、r32、r33为S64中转换矩阵的参数。
CN202210234169.8A 2022-03-09 2022-03-09 一种离线的曲面焊缝提取和姿态估计方法 Active CN114571160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210234169.8A CN114571160B (zh) 2022-03-09 2022-03-09 一种离线的曲面焊缝提取和姿态估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210234169.8A CN114571160B (zh) 2022-03-09 2022-03-09 一种离线的曲面焊缝提取和姿态估计方法

Publications (2)

Publication Number Publication Date
CN114571160A true CN114571160A (zh) 2022-06-03
CN114571160B CN114571160B (zh) 2023-03-17

Family

ID=81775641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210234169.8A Active CN114571160B (zh) 2022-03-09 2022-03-09 一种离线的曲面焊缝提取和姿态估计方法

Country Status (1)

Country Link
CN (1) CN114571160B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830031A (zh) * 2023-02-22 2023-03-21 深圳市兆兴博拓科技股份有限公司 电路板贴片的检测方法、系统及存储介质
CN117047237A (zh) * 2023-10-11 2023-11-14 太原科技大学 一种异形件智能柔性焊接系统与方法
CN117745718A (zh) * 2024-02-19 2024-03-22 工业云制造(四川)创新中心有限公司 一种基于云制造的信息交互方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109968355A (zh) * 2019-03-08 2019-07-05 北京工业大学 一种仿人机器人步态平衡模型建立的方法
CN111299761A (zh) * 2020-02-28 2020-06-19 华南理工大学 一种焊缝跟踪系统的实时姿态估计方法
CN113379902A (zh) * 2021-06-30 2021-09-10 哈尔滨理工大学 一种基于激光扫描的焊缝形状的特征提取与三维重建方法
CN113459104A (zh) * 2021-07-12 2021-10-01 清华大学 基于支持向量回归的机器人定位误差预测方法及预测装置
KR20220010618A (ko) * 2020-07-16 2022-01-26 한국기계연구원 로봇 교시 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109968355A (zh) * 2019-03-08 2019-07-05 北京工业大学 一种仿人机器人步态平衡模型建立的方法
CN111299761A (zh) * 2020-02-28 2020-06-19 华南理工大学 一种焊缝跟踪系统的实时姿态估计方法
KR20220010618A (ko) * 2020-07-16 2022-01-26 한국기계연구원 로봇 교시 시스템
CN113379902A (zh) * 2021-06-30 2021-09-10 哈尔滨理工大学 一种基于激光扫描的焊缝形状的特征提取与三维重建方法
CN113459104A (zh) * 2021-07-12 2021-10-01 清华大学 基于支持向量回归的机器人定位误差预测方法及预测装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
梁玮: "《计算机视觉》", 31 January 2021 *
梁融: "基于热流固耦合的激光焊接数值模拟方法研究", 《中国优秀博硕士学位论文全文数据库(博士)工程科技II辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830031A (zh) * 2023-02-22 2023-03-21 深圳市兆兴博拓科技股份有限公司 电路板贴片的检测方法、系统及存储介质
CN117047237A (zh) * 2023-10-11 2023-11-14 太原科技大学 一种异形件智能柔性焊接系统与方法
CN117047237B (zh) * 2023-10-11 2024-01-19 太原科技大学 一种异形件智能柔性焊接系统与方法
CN117745718A (zh) * 2024-02-19 2024-03-22 工业云制造(四川)创新中心有限公司 一种基于云制造的信息交互方法

Also Published As

Publication number Publication date
CN114571160B (zh) 2023-03-17

Similar Documents

Publication Publication Date Title
CN114571160B (zh) 一种离线的曲面焊缝提取和姿态估计方法
Jiang et al. An overview of hand-eye calibration
Puget et al. An optimal solution for mobile camera calibration
CN111028340B (zh) 精密装配中的三维重构方法、装置、设备及系统
CN206561226U (zh) 一种激光视觉引导的焊接轨迹自动跟踪系统
CN111192307A (zh) 基于激光切割三维零部件的自适应纠偏方法
CN108177143A (zh) 一种基于激光视觉引导的机器人定位抓取方法及系统
Zou et al. Research on a real-time pose estimation method for a seam tracking system
US5160977A (en) Position detection device
CN113724337B (zh) 一种无需依赖云台角度的相机动态外参标定方法及装置
Cai et al. An autonomous positioning method of tube-to-tubesheet welding robot based on coordinate transformation and template matching
Shah et al. An experiment of detection and localization in tooth saw shape for butt joint using KUKA welding robot
Geng et al. A method of welding path planning of steel mesh based on point cloud for welding robot
CN111738971B (zh) 一种基于线激光双目立体视觉的电路板立体扫描检测方法
Zou et al. Research on 3D curved weld seam trajectory position and orientation detection method
CN114001651A (zh) 一种基于双目视觉测量和先验检测数据的大型细长筒类构件位姿原位测量方法
Tran et al. An intelligent path planning of welding robot based on multisensor interaction
Ye et al. Weld seam tracking based on laser imaging binary image preprocessing
JP2021021577A (ja) 画像処理装置及び画像処理方法
CN110064842B (zh) 一种用于三面体焊缝定位的自动标定方法
CN112033286A (zh) 一种基于双目视觉的结构六自由度运动测量系统及其测量方法
Yusen et al. A method of welding path planning of steel mesh based on point cloud for welding robot
Chen et al. A 3D seam extraction and tracking method based on binocular structured light sensor
CN111230259A (zh) 非平整面自主识别机器人增材制造成形精度控制装置
Wan et al. A high precision stereo-vision robotic system for large-sized object measurement and grasping in non-structured environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant