CN111299762A - 一种分离强噪声干扰的激光实时焊缝跟踪方法 - Google Patents

一种分离强噪声干扰的激光实时焊缝跟踪方法 Download PDF

Info

Publication number
CN111299762A
CN111299762A CN202010131654.3A CN202010131654A CN111299762A CN 111299762 A CN111299762 A CN 111299762A CN 202010131654 A CN202010131654 A CN 202010131654A CN 111299762 A CN111299762 A CN 111299762A
Authority
CN
China
Prior art keywords
image
welding
tracking
representing
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010131654.3A
Other languages
English (en)
Other versions
CN111299762B (zh
Inventor
邹焱飚
陈佳鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010131654.3A priority Critical patent/CN111299762B/zh
Publication of CN111299762A publication Critical patent/CN111299762A/zh
Application granted granted Critical
Publication of CN111299762B publication Critical patent/CN111299762B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/12Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B23K9/127Means for tracking lines during arc welding or cutting
    • B23K9/1272Geometry oriented, e.g. beam optical trading
    • B23K9/1274Using non-contact, optical means, e.g. laser means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Plasma & Fusion (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种分离强噪声干扰的激光实时焊缝跟踪方法,包括以下步骤:S1、激光视觉传感器中采集图像并发送到嵌入式工控机,对采集的图像进行初始化处理得到初始焊缝特征点的像素坐标值,转换为焊接机器人基坐标系下的三维坐标值;S2、所述激光视觉传感器的工业相机将连续采集的每一帧图像发送至所述嵌入式工控机进行特征提取处理,将特征提取处理后的图像进行图像分类,根据图像分类的结果执行跟踪策略,获取图像中焊缝特征点的像素坐标值,将像素坐标值转换为焊接机器人基坐标系下的三维坐标值;S3、将焊接机器人的位置与当前焊接机器人的位置作差,将得到的偏差实时发送给机器人控制柜,控制柜输出控制信号传输给焊接机器人。

Description

一种分离强噪声干扰的激光实时焊缝跟踪方法
技术领域
本发明属于焊接机器人焊缝跟踪领域,特别涉及一种分离强噪声干扰的激光实时焊缝跟踪方法。
背景技术
现在的焊接机器人基本上都是在焊接之前先进行示教,让机器人每次都走一个固定的轨迹,这种方式有一个好处就是重复精度高,运动轨迹不需要修正,但是,该方法的致命缺陷就是不够随机应变,不够灵活,当需要焊接的工件加工精度比较差,不能满足现代工厂对于焊接加工的要求。
随着机器视觉技术的发展,焊接机器人广泛使用视觉检测技术校正再现轨迹,实现焊缝跟踪。焊缝跟踪系统通常将视觉系统安装在机械手末端,当机器人作业时,视觉系统与焊枪同步工作,实时检测工件在焊接过程中由高温引起的热变形,并调整焊枪与焊缝间的位置。
焊缝跟踪系统主要技术指标是激光条纹11和焊接熔池10之间的距离d,d越小则跟踪精度越高。d越小则跟踪精度越高,但是这会导致视觉系统检测的图像信息中存在强烈的弧光和飞溅,造成测量精度降低。国内外的很多学者围绕目标跟踪算法进行了深入细致的研究,提出了一系列在噪声干扰下鲁棒性较好的目标跟踪算法。然而,在强噪声的干扰下,跟踪模型依然存在着漂移失效导致跟踪失败的问题。为了解决在强噪声干扰下的焊缝实时跟踪问题,我们提出了一种分离强噪声干扰的激光实时焊缝跟踪方法,通过实时提取焊缝图像特征并采用支持向量机(SVM)进行图像分类,根据图像分类的结果执行跟踪策略,即间歇性采用高效卷积操作滤波器跟踪算法(ECO)进行目标定位,最终实现了焊缝跟踪系统的实时精准跟踪。
Joachims提出了支持向量机,通过寻找分类间隔最大的最优超平面,使其能将两类特征无错误地分开。支持向量机分类速度快,分类精度高,在二分类中表现出色,满足分离强、弱噪声焊缝图像的要求。将强弱噪声的焊缝图像分离,利于我们采用高效卷积操作滤波器跟踪算法和获取更准确的数据。
Martin Danelljan等人提出了连续型卷积操作滤波器算法(CCOT)跟踪算法,使用深度神经网络VGG-net提取特征,通过立方插值,将不同分辨率的特征图插值到连续空间域,再应用黑塞(Hessian)矩阵可以求得亚像素精度的目标位置。考虑到更新参数众多影响实时性,且大多滤波器贡献都不大,原作者提出了高效卷积操作滤波器跟踪算法,并作了改进:通过引入因式分解的卷积算子减少模型的训练参数,只保留贡献较大的滤波器参数。此外,通过每隔Ns帧更新一次模型,节约时间且避免了模型的漂移。高效卷积操作滤波器跟踪算法能在维持原有精度的情况下,准确定位焊缝特征点,大大提高跟踪速度,满足焊缝跟踪系统实时焊接的需求。
因此,为了解决在强噪声干扰下的焊缝实时跟踪问题,研究并结合了支持向量机和高效卷积操作滤波器跟踪算法,并设计了焊接机器人进行焊缝跟踪实验,本发明依此提出。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提供一种分离强噪声干扰的激光实时焊缝跟踪方法,解决了现有的焊接机器人在强噪声干扰下焊接精度不高的问题。
本发明至少通过如下技术方案之一实现。
一种分离强噪声干扰的激光实时焊缝跟踪方法,该方法基于的焊缝跟踪系统包括焊接机器人、焊枪、激光视觉传感器、激光视觉传感器外连接件、工作台、配套焊接设备、嵌入式工控机、控制柜、工件,包括以下步骤:
S1、焊接开始前,将工件放置于工作台上,激光视觉传感器中的工业相机先采集图像并发送到嵌入式工控机,所述嵌入式工控机对采集的焊缝图像进行初始化处理得到初始焊缝特征点的像素坐标值,将像素坐标值转换为焊接机器人基坐标系下的三维坐标值;
S2、焊接开始后,所述激光视觉传感器的工业相机将连续采集的每一帧图像发送至所述嵌入式工控机进行特征提取处理,将特征提取处理后的图像进行图像分类,根据图像分类的结果执行跟踪策略,获取图像中焊缝特征点的像素坐标值,将像素坐标值转换为焊接机器人基坐标系下的三维坐标值,从而得到焊接机器人的位置;
S3、将步骤S2所述计算得到的焊接机器人的位置与当前焊接机器人的位置作差,将得到的偏差实时发送给控制柜,控制柜输出控制信号传输给焊接机器人,使焊枪末端的焊丝沿着工件的焊缝运动,完成焊缝跟踪系统的实时自动跟踪。
进一步地,所述步骤S1具体包括:
S11、调整焊接机器人的机械臂位置和姿态,使得焊枪末端位于待焊工件焊缝位置的正上方,并使得固定在焊枪上的激光视觉传感器处于最佳工作位置,即在焊接过程中既能捕捉到清晰的图像,又不会使得激光视觉传感器和待焊工件发生干涉;
S12、激光视觉传感器中的工业相机采集图像并发送到嵌入式工控机,嵌入式工控机通过调用Halcon软件的库函数进行阈值处理、形态学修正的初始化处理,得到初始的焊缝特征点的像素坐标值,将此初始焊缝特征点作为高效卷积操作滤波器跟踪算法的初始目标;
S13、通过标定算法,将得到的初始焊缝特征点的像素坐标值转换成焊接机器人基坐标系下的三维坐标值。
进一步地,步骤S2中,所述的特征提取具体是采用梯度方向直方图(HOG)进行特征提取。
进一步地,所述步骤S2具体包括以下步骤:
S21、焊接开始后激光视觉传感器的相机以60fps的采样频率连续采集图像,并发送至嵌入式工控机进行图像处理;
S22、嵌入式工控机提取图像的梯度方向直方图,将梯度方向直方图传入到支持向量机(SVM)模型进行图像分类,分类的结果为强噪声图像和弱噪声图像,当图像的峰瓣比PSR大于20时,为弱噪声图像,反之,为强噪声图像;
S23、根据图像分类的结果执行跟踪策略,若图像分类的结果为强噪声,获取的焊缝特征点的像素坐标值为上一帧图像的焊缝特征点的像素坐标值;若图像分类的结果为弱噪声,对当前帧图像采用高效卷积操作滤波器跟踪算法处理,进行目标跟踪定位确定图像中焊缝特征点的像素坐标值;
S24、同步骤S13,即通过标定算法,将得到的初始焊缝特征点的像素坐标值转换成焊接机器人基坐标系下的三维坐标值。
进一步地,所述步骤S22具体包括:
S221、所述的支持向量机(SVM)模型通过定义最优超平面h(x)作为图像样本的分隔面,使其能分类出强噪声图像和弱噪声图像:
h(x)=ωTx+b
其中,ω为权重向量,b为偏移向量;x表示焊缝图像样本;
S222、通过机器人示教及预先焊接得到一系列的焊缝图像样本x到最优超平面的几何间隔r为:
Figure BDA0002395921870000051
其中,是||ω||权重向量ω的内积;
S223、假设已有最优超平面满足h(x)=ωT+b=0,离超平面h(x)距离最近且与之平行的第一类样本的平面plane1为h1(x)=ωT+b=1,离超平面h(x)距离最近且与之平行的第二类样本的平面plane2为h2(x)=ωT+b=-1,支持向量x*在plane1,plane2上,其到最优超平面的距离为r*,plane1到plane2的距离为间隔ρ:
Figure BDA0002395921870000052
S224、假设除支持向量x*之外的焊缝图像样本为xi,最优超平面h(x)将两边的样本,即强噪声图像、弱噪声图像两类划分为类+1,类-1,即有分类的约束条件:
Figure BDA0002395921870000053
其中,yi表示类别标签,i=1,2..h表示样本个数;
S225、最优超平面的求解需满足间隔ρ最大化和两个分类约束条件:
Figure BDA0002395921870000054
S226、通过拉格朗日乘数法构造目标函数,采用序列最小优化算法(SequentialMinimal Optimization,SMO)求解得到最优超平面:
Figure BDA0002395921870000061
其中,
Figure BDA0002395921870000062
为SMO算法确定的最优拉格朗日乘子,xs为一个正的支持向量。
进一步地,步骤S23中,对当前帧图像采用高效卷积操作滤波器跟踪算法处理,进行目标跟踪定位确定图像中焊缝特征点的像素坐标值,包括以下步骤:
S231、以步骤S1提取的初始焊缝特征点为中心的跟踪目标作为第一个训练样本来训练高效卷积操作滤波器跟踪算法的滤波器;
S232、将每一个特征通道通过插值转换到连续域上:
Figure BDA0002395921870000063
其中xd即代表特征通道,Nd表示该特征通道里所采样的像素点数,bd表示插值函数,T代表插值后的连续域的范围,Jd{xd}代表插值样本的特征、t表示时间、n表示离散空间变量,n∈{0,…,Nd}、d是每一个特征通道;
S233、高效卷积操作滤波器跟踪算法采用提取插值样本的特征Jd{xd}的子集,从D维的特征中选其中的C维;高效卷积操作滤波器跟踪算法只使用一组基础滤波器f1,...fC,其中C<D,然后使用一组学习系数pd,c将层数为d的特征P的滤波器构造为滤波器fC的一个线性组合
Figure BDA0002395921870000064
学习系数用维度为D×C的矩阵P=pd,c来简明地表示;新的多通道滤波器写成矩阵向量乘积Pf,此时检测函数为:
Figure BDA0002395921870000065
其中,J{x}表示整体插值特性映射,J{x}∈RD,符号*表示卷积运算;SPf{x}表示线性卷积算子、f代表滤波器、RD代表实数域、x表示用于训练的焊缝图像样本;
S234、为了简化符号,用
Figure BDA0002395921870000071
表示插值后的特征图的傅里叶系数z=J{x},
Figure BDA0002395921870000072
代表d通道插值后的特征图、Xd代表xd的离散傅里叶变换、k表示样本序号、
Figure BDA0002395921870000073
表示移位后的插值函数,跟踪的目标函数如下:
Figure BDA0002395921870000074
其中,
Figure BDA0002395921870000075
代表对应样本中跟踪算法跟踪到的目标位置,
Figure BDA0002395921870000076
代表正则化参数,||P||F为P的弗罗贝尼乌斯规范正规化,λ为权重控制的参数;E(f,P)代表跟踪的目标函数、
Figure BDA0002395921870000077
代表插值后的特征图、
Figure BDA0002395921870000078
代表滤波器、l代表范数名称,此处采用的是欧式距离、
Figure BDA0002395921870000079
代表每一个滤波器、
Figure BDA00023959218700000710
代表权重系数、
Figure BDA00023959218700000711
S235、通过古斯-牛顿法解最优化问题,而后对每一帧图像进行滤波器参数的更新。
本发明相对于现有技术具有如下的优点及效果:
(1)本发明通过激光视觉传感器分离出强噪声图像,自动识别焊缝的特征点,并通过嵌入式工业控制器进行后续的通讯、计算和处理,装置结构简单,系统易于维护,通过嵌入式工业控制器实现数据的自动采集和处理,能有效提高数据处理的效率;
(2)本发明自动化程度比较高,能够实现焊缝图像自动实时采集,自动焊接,焊缝自动实时跟踪,大大提高了生产效率;
(3)解决了现有焊接机器人焊接时需要事先示教的过程,节省了大量时间,并且提高了焊接精度。
附图说明
图1是本发明实施例的焊接机器人的焊缝跟踪系统总体结构示示意图;
图2是本发明实施例的焊接机器人的焊缝跟踪系统中的激光视觉传感器的结构示意图;
图3是本发明实施例的焊缝跟踪系统中激光条纹与焊接熔池距离示意图;
图4是本发明的分离强噪声干扰的激光实时焊缝跟踪方法流程示意图;
图5是本发明分离强噪声干扰的激光实时焊缝跟踪方法中的焊接实验典型噪声示意图;
图中:1-配套焊接设备;2-焊接机器人;3-工件;4-焊枪;5-激光传感器外连接件;6-激光视觉传感器;61-传感器外壳;62-相机;63-透光性隔板;64-激光发生器;7-工作台;8-嵌入式工控机;9-控制柜;10-焊接熔池;11-激光条纹;12-飞溅;13-焊缝特征点;14-弧光。
具体实施方式
下面结合实施例及附图对本发明作进一步的详细描述,但本发明的实施方式不限于此。
如图1、图2所示,本实施的一种分离强噪声干扰的激光实时焊缝跟踪方法,该方法基于的焊缝跟踪系统包括焊接机器人2、焊枪4、激光视觉传感器6、激光视觉传感器外连接件5,外连接件5是螺栓螺母连接件,将激光视觉传感器4与传感器外壳61相连与固定、工作台7、配套焊接设备1、嵌入式工控机8、控制柜9、工件3;工件3放置在工作台7上;激光视觉传感器6固定安装在焊枪4末端,所述焊枪4通过焊枪夹持装置,该装置主要由夹具固定座、螺栓螺母组成,将焊枪4放置于夹具固定座中,采用螺栓螺母紧固连接,安装在焊接机器人2末端上,嵌入式工控机8通过以太网线与激光视觉传感器6相连,焊枪4和配套焊接设备1通过电缆线与焊接电源相连接,嵌入式工控机8通过以太网线与控制柜9相连,控制柜9和焊接机器人2、配套焊接设备1(焊接设备主要为焊机和保护气瓶。采用的焊机为安川的MOTOWELD-RD350,用于机器人的送丝和退丝。采用的保护气瓶装着二氧化碳(20%)与氮气(80%),以在焊接过程中起到保护的作用)通过电缆线相连;激光视觉传感器6和焊枪4通过焊接机器人2的运动而改变空间位置;所述激光视觉传感器6包括黑色氧化处理的传感器外壳61、工业相机62、透光性隔板63、激光发生器64;所述工业相机62和激光发生器64固定在传感器外壳61内;所述透光性隔板63固定在传感器外壳61上且位于所述工业相机62和激光发生器64(激光发生器64通过螺栓螺母与传感器外壳61紧固连接,与工业相机62之间成30°的夹角,焊枪4与激光发生器64发出的激光之间的距离为d,如图3所示)前端;所述的工作台上设置有G型夹具,所述工件3放置在工作台7上,由两个及以上G型夹具进行装夹定位。
如图4所示,一种分离强噪声干扰的激光实时焊缝跟踪方法,包括以下步骤:
S1、焊接开始前,将工件3放置于工作台7上,激光视觉传感器中的工业相机62先采集图像并发送到嵌入式工控机8,所述嵌入式工控机8对采集的图像进行初始化处理得到初始焊缝特征点13的像素坐标值,将像素坐标值转换为焊接机器人2基坐标系下的三维坐标值;
具体而言,所述步骤S1具体包括:
S11、调整焊接机器人2的机械臂位置和姿态,使得焊枪4末端位于待焊工件3焊缝位置的正上方,并使得固定在焊枪4上的激光视觉传感器6处于最佳工作位置,即在焊接过程中既能捕捉到清晰地(能分辨出图像线条间的区别的图像才是清晰的图像)图像,又不会使得激光视觉传感器6和待焊工件3发生干涉;
S12、激光视觉传感器6中的工业相机62采集图像并发送到嵌入式工控机8,嵌入式工控机8通过调用Halcon软件的库函数进行阈值处理、形态学修正的初始化处理,得到初始的焊缝特征点13的像素坐标值,将此初始焊缝特征点13作为高效卷积操作滤波器跟踪算法的初始目标;
S13、通过标定算法,将得到的初始焊缝特征点13的像素坐标值转换成焊接机器人2基坐标系下的三维坐标值。
S2、焊接开始后,所述激光视觉传感器6的工业相机62将连续采集的每一帧图像发送至所述嵌入式工控机8特征提取处理,将特征提取处理后的图像进行图像分类,根据图像分类的结果执行跟踪策略,获取图像中焊缝特征点13的像素坐标值,将像素坐标值转换为焊接机器人2基坐标系下的三维坐标值,如图4所示;
所述的特征提取具体是采用梯度方向直方图(HOG)进行特征提取,其好处是既有优于原始像素特征的表达能力,能更好且更简便地表达图像的特征,同时又比卷积神经网络特征提取方法更加快速而且对计算机等硬件要求不高,能较好地满足焊缝跟踪系统的实时性要求。
具体而言,所述步骤S2具体包括:
S21、焊接开始后激光视觉传感器6的相机以60fps的采样频率连续采集图像,并发送至嵌入式工控机8进行图像处理;
S22、所述的图像分类是通过提取图像的梯度方向直方图,将其作为输入传入到支持向量机(SVM)模型进行图像分类,分类的结果为强噪声图像和弱噪声图像;当图像的峰瓣比PSR大于20时,为弱噪声图像,反之,为强噪声图像;
S23、根据图像分类的结果执行跟踪策略,若图像分类的结果为强噪声,获取的焊缝特征点13的像素坐标值为上一帧图像的焊缝特征点13的像素坐标值;若图像分类的结果为弱噪声,对当前帧图像采用高效卷积操作滤波器跟踪算法处理,进行目标跟踪定位确定图像中焊缝特征点13的像素坐标值;
S24、同步骤S13,即通过标定算法(该标定算法为张正友标定算法),将得到的初始焊缝特征点13的像素坐标值转换成焊接机器人2基坐标系下的三维坐标值;
具体而言,所述步骤S22具体包括:
S221、所述的支持向量机(SVM)模型通过定义最优超平面h(x)作为图像样本的分隔面,使其能正确地分类出强噪声图像和弱噪声图像:
h(x)=ωTx+b
其中,ω为权重向量,b为偏移向量;
S222、通过机器人示教及预先焊接得到一系列的焊缝图像样本x到最优超平面的几何间隔r为:
Figure BDA0002395921870000111
其中,是||ω||权重向量ω的内积;
S223、假设已有最优超平面满足h(x)=ωT+b=0,离超平面h(x)距离最近且与之平行的第一类样本的平面plane1为h1(x)=ωT+b=1,离超平面h(x)距离最近且与之平行的第二类样本的平面plane2为h2(x)=ωT+b=-1,支持向量x*在plane1,plane2上,其到最优超平面的距离为r*,plane1到plane2的距离为间隔ρ:
Figure BDA0002395921870000121
S224、假设除支持向量x*之外的焊缝图像样本为xi,最优超平面h(x)将两边的样本,即强噪声图像、弱噪声图像两类划分为类+1,类-1,即有了分类的约束条件:
Figure BDA0002395921870000122
其中,yi表示类别标签,i=1,2..h表示样本个数;
S225、最优超平面的求解需满足间隔ρ最大化和两个分类约束条件:
Figure BDA0002395921870000123
S226、通过拉格朗日乘数法构造目标函数,采用SMO算法求解得到最优超平面:
Figure BDA0002395921870000124
其中,
Figure BDA0002395921870000125
为SMO算法确定的最优拉格朗日乘子,xs为一个正的支持向量。
具体而言,所述步骤S23中,对当前帧图像采用高效卷积操作滤波器跟踪算法处理,进行目标跟踪定位确定图像中焊缝特征点的像素坐标值,包括以下步骤:
S231、以步骤S1提取的初始焊缝特征点13为中心的跟踪目标作为第一个训练样本来训练高效卷积操作滤波器跟踪算法的滤波器;
S232、将每一个特征通道通过插值的方法转换到连续域上:
Figure BDA0002395921870000131
其中xd即代表特征通道,Nd表示该特征通道里所采样的像素点数,bd表示插值函数,T代表插值后的连续域的范围;Jd{xd}代表插值样本的特征、t表示时间、n表示离散空间变量,n∈{0,…,Nd}、d是每一个特征通道;
S233、高效卷积操作滤波器跟踪算法采用了提取插值样本的特征Jd{xd}的子集,从D维的特征中选了其中的C维;高效卷积操作滤波器跟踪算法只使用一组较小的基础滤波器f1,...fC,其中C<D。然后使用一组学习系数pd,c将层数为d的P特征的滤波器构造为滤波器fC的一个线性组合
Figure BDA0002395921870000132
这些系数可以用维度为D×C的矩阵P=pd,c来简明地表示;新的多通道滤波器可以写成矩阵向量乘积Pf,此时检测函数为:
Figure BDA0002395921870000133
其中,J{x}表示整体插值特性映射,J{x}∈RD,符号*表示卷积运算;SPf{x}表示线性卷积算子、f代表滤波器、RD代表实数域、x表示用于训练的焊缝图像样本;
S234、为了简化符号,用
Figure BDA0002395921870000134
表示插值后的特征图的傅里叶系数z=J{x},
Figure BDA0002395921870000135
代表d通道插值后的特征图、Xd代表xd的离散傅里叶变换、k表示样本序号、
Figure BDA0002395921870000136
表示移位后的插值函数,跟踪的目标函数如下所示:
Figure BDA0002395921870000137
其中,
Figure BDA0002395921870000138
代表对应样本中跟踪算法跟踪到的目标位置,
Figure BDA0002395921870000139
代表正则化参数,||P||F为P的弗罗贝尼乌斯规范正规化,λ为权重控制的参数;E(f,P)代表跟踪的目标函数、
Figure BDA0002395921870000141
代表插值后的特征图、
Figure BDA0002395921870000142
代表滤波器、l代表范数名称,此处采用的是欧式距离、
Figure BDA0002395921870000143
代表每一个滤波器、
Figure BDA0002395921870000144
代表权重系数、
Figure BDA0002395921870000145
S235、通过古斯-牛顿法解最优化问题,而后对每一帧图像进行滤波器参数的更新。
S3、将步骤S2所述计算得到的焊接机器人2的位置与当前焊接机器人2的位置作差,将得到的偏差实时发送给机器人控制柜9,控制柜9输出控制信号传输给焊接机器人2,使焊枪4末端的焊丝沿着工件的焊缝运动,完成焊缝跟踪系统的实时自动跟踪。
本实施例无需事先示教的过程,通过分离出强弧光14、飞溅12等强噪声图像,如图5所示,避免了强噪声的干扰和跟踪模型漂移问题,解决了激光视觉传感器6与焊枪4距离过近时强噪声干扰下跟踪模型漂移进而导致跟踪精度下降的问题,具有完全自动化、焊接精度高、实时性好、抗干扰能力强等优点。
上述实施例为本发明较佳的实施方式,但本方明的实施方式并不受上述实施例的限制,其他的任何背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (6)

1.一种分离强噪声干扰的激光实时焊缝跟踪方法,该方法基于的焊缝跟踪系统包括焊接机器人、焊枪、激光视觉传感器、激光视觉传感器外连接件、工作台、配套焊接设备、嵌入式工控机、控制柜、工件,其特征在于,包括以下步骤:
S1、焊接开始前,将工件放置于工作台上,激光视觉传感器中的工业相机先采集图像并发送到嵌入式工控机,所述嵌入式工控机对采集的焊缝图像进行初始化处理得到初始焊缝特征点的像素坐标值,将像素坐标值转换为焊接机器人基坐标系下的三维坐标值;
S2、焊接开始后,所述激光视觉传感器的工业相机将连续采集的每一帧图像发送至所述嵌入式工控机进行特征提取处理,将特征提取处理后的图像进行图像分类,根据图像分类的结果执行跟踪策略,获取图像中焊缝特征点的像素坐标值,将像素坐标值转换为焊接机器人基坐标系下的三维坐标值,从而得到焊接机器人的位置;
S3、将步骤S2所述计算得到的焊接机器人的位置与当前焊接机器人的位置作差,将得到的偏差实时发送给控制柜,控制柜输出控制信号传输给焊接机器人,使焊枪末端的焊丝沿着工件的焊缝运动,完成焊缝跟踪系统的实时自动跟踪。
2.根据权利要求1所述的分离强噪声干扰的激光实时焊缝跟踪方法,其特征在于,所述步骤S1具体包括:
S11、调整焊接机器人的机械臂位置和姿态,使得焊枪末端位于待焊工件焊缝位置的正上方,并使得固定在焊枪上的激光视觉传感器处于最佳工作位置,即在焊接过程中既能捕捉到清晰的图像,又不会使得激光视觉传感器和待焊工件发生干涉;
S12、激光视觉传感器中的工业相机采集图像并发送到嵌入式工控机,嵌入式工控机通过调用Halcon软件的库函数进行阈值处理、形态学修正的初始化处理,得到初始的焊缝特征点的像素坐标值,将此初始焊缝特征点作为高效卷积操作滤波器跟踪算法的初始目标;
S13、通过标定算法,将得到的初始焊缝特征点的像素坐标值转换成焊接机器人基坐标系下的三维坐标值。
3.根据权利要求1所述的分离强噪声干扰的激光实时焊缝跟踪方法,其特征在于,步骤S2中,所述的特征提取具体是采用梯度方向直方图(HOG)进行特征提取。
4.根据权利要求1所述的分离强噪声干扰的激光实时焊缝跟踪方法,其特征在于,所述步骤S2具体包括以下步骤:
S21、焊接开始后激光视觉传感器的相机以60fps的采样频率连续采集图像,并发送至嵌入式工控机进行图像处理;
S22、嵌入式工控机提取图像的梯度方向直方图,将梯度方向直方图传入到支持向量机(SVM)模型进行图像分类,分类的结果为强噪声图像和弱噪声图像,当图像的峰瓣比PSR大于20时,为弱噪声图像,反之,为强噪声图像;
S23、根据图像分类的结果执行跟踪策略,若图像分类的结果为强噪声,获取的焊缝特征点的像素坐标值为上一帧图像的焊缝特征点的像素坐标值;若图像分类的结果为弱噪声,对当前帧图像采用高效卷积操作滤波器跟踪算法处理,进行目标跟踪定位确定图像中焊缝特征点的像素坐标值;
S24、同步骤S13,即通过标定算法,将得到的初始焊缝特征点的像素坐标值转换成焊接机器人基坐标系下的三维坐标值。
5.根据权利要求4所述的分离强噪声干扰的激光实时焊缝跟踪方法,其特征在于,所述步骤S22具体包括:
S221、所述的支持向量机(SVM)模型通过定义最优超平面h(x)作为图像样本的分隔面,使其能分类出强噪声图像和弱噪声图像:
h(x)=ωTx+b
其中,ω为权重向量,b为偏移向量;x表示焊缝图像样本;
S222、通过机器人示教及预先焊接得到一系列的焊缝图像样本x到最优超平面的几何间隔r为:
Figure FDA0002395921860000031
其中,是||ω||权重向量ω的内积;
S223、假设已有最优超平面满足h(x)=ωT+b=0,离超平面h(x)距离最近且与之平行的第一类样本的平面plane1为h1(x)=ωT+b=1,离超平面h(x)距离最近且与之平行的第二类样本的平面plane2为h2(x)=ωT+b=-1,支持向量x*在plane1,plane2上,其到最优超平面的距离为r*,plane1到plane2的距离为间隔ρ:
Figure FDA0002395921860000032
S224、假设除支持向量x*之外的焊缝图像样本为xi,最优超平面h(x)将两边的样本,即强噪声图像、弱噪声图像两类划分为类+1,类-1,即有分类的约束条件:
Figure FDA0002395921860000033
其中,yi表示类别标签,i=1,2..h表示样本个数;
S225、最优超平面的求解需满足间隔ρ最大化和两个分类约束条件:
Figure FDA0002395921860000041
S226、通过拉格朗日乘数法构造目标函数,采用序列最小优化算法(SequentialMinimal Optimization,SMO)求解得到最优超平面:
Figure FDA0002395921860000042
其中,
Figure FDA0002395921860000043
为SMO算法确定的最优拉格朗日乘子,xs为一个正的支持向量。
6.根据权利要求4所述的分离强噪声干扰的激光实时焊缝跟踪方法,其特征在于,步骤S23中,对当前帧图像采用高效卷积操作滤波器跟踪算法处理,进行目标跟踪定位确定图像中焊缝特征点的像素坐标值,包括以下步骤:
S231、以步骤S1提取的初始焊缝特征点为中心的跟踪目标作为第一个训练样本来训练高效卷积操作滤波器跟踪算法的滤波器;
S232、将每一个特征通道通过插值转换到连续域上:
Figure FDA0002395921860000044
其中xd即代表特征通道,Nd表示该特征通道里所采样的像素点数,bd表示插值函数,T代表插值后的连续域的范围,Jd{xd}代表插值样本的特征、t表示时间、n表示离散空间变量,n∈{0,…,Nd}、d是每一个特征通道;
S233、高效卷积操作滤波器跟踪算法采用提取插值样本的特征Jd{xd}的子集,从D维的特征中选其中的C维;高效卷积操作滤波器跟踪算法只使用一组基础滤波器f1,…fC,其中C<D,然后使用一组学习系数pd,c将层数为d的特征P的滤波器构造为滤波器fC的一个线性组合
Figure FDA0002395921860000051
学习系数用维度为D×C的矩阵P=pd,c来简明地表示;新的多通道滤波器写成矩阵向量乘积Pf,此时检测函数为:
Figure FDA0002395921860000052
其中,J{x}表示整体插值特性映射,J{x}∈RD,符号*表示卷积运算;SPf{x}表示线性卷积算子、f代表滤波器、RD代表实数域、x表示用于训练的焊缝图像样本;
S234、为了简化符号,用
Figure FDA0002395921860000053
表示插值后的特征图的傅里叶系数z=J{x},
Figure FDA0002395921860000054
代表d通道插值后的特征图、Xd代表xd的离散傅里叶变换、k表示样本序号、
Figure FDA0002395921860000055
表示移位后的插值函数,跟踪的目标函数如下:
Figure FDA0002395921860000056
其中,
Figure FDA0002395921860000057
代表对应样本中跟踪算法跟踪到的目标位置,
Figure FDA0002395921860000058
代表正则化参数,||P||F为P的弗罗贝尼乌斯规范正规化,λ为权重控制的参数;E(f,P)代表跟踪的目标函数、
Figure FDA0002395921860000059
代表插值后的特征图、
Figure FDA00023959218600000510
代表滤波器、l代表范数名称,此处采用的是欧式距离、
Figure FDA00023959218600000511
代表每一个滤波器、
Figure FDA00023959218600000512
代表权重系数、
Figure FDA00023959218600000513
S235、通过古斯-牛顿法解最优化问题,而后对每一帧图像进行滤波器参数的更新。
CN202010131654.3A 2020-02-28 2020-02-28 一种分离强噪声干扰的激光实时焊缝跟踪方法 Expired - Fee Related CN111299762B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010131654.3A CN111299762B (zh) 2020-02-28 2020-02-28 一种分离强噪声干扰的激光实时焊缝跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010131654.3A CN111299762B (zh) 2020-02-28 2020-02-28 一种分离强噪声干扰的激光实时焊缝跟踪方法

Publications (2)

Publication Number Publication Date
CN111299762A true CN111299762A (zh) 2020-06-19
CN111299762B CN111299762B (zh) 2021-09-21

Family

ID=71156710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010131654.3A Expired - Fee Related CN111299762B (zh) 2020-02-28 2020-02-28 一种分离强噪声干扰的激光实时焊缝跟踪方法

Country Status (1)

Country Link
CN (1) CN111299762B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112051733A (zh) * 2020-08-14 2020-12-08 华南理工大学 一种基于图像分类的刚性机械臂复合学习控制方法
CN113723494A (zh) * 2021-08-25 2021-11-30 武汉理工大学 一种不确定干扰源下激光视觉条纹分类及焊缝特征提取方法
CN117798522A (zh) * 2024-03-01 2024-04-02 深圳欧斯普瑞智能科技有限公司 基于机器视觉的激光切割头精确定位方法
CN117911723A (zh) * 2024-03-19 2024-04-19 苏州大学 基于亚像素视觉定位的球形永磁体轨迹跟踪方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000045563A (ko) * 1998-12-30 2000-07-25 권상문 코러게이션이 형성된 용접물의 용접방법 및 그 장치
KR20010079370A (ko) * 2001-07-10 2001-08-22 김상봉 모터를 코어 케이블에 연결하여 동력을 전달하는 회전아크발생 장치 및 용접선 추적 제어기
CN107424177A (zh) * 2017-08-11 2017-12-01 哈尔滨工业大学(威海) 基于连续相关滤波器的定位修正长程跟踪算法
CN107999955A (zh) * 2017-12-29 2018-05-08 华南理工大学 一种六轴工业机器人线激光焊缝自动跟踪系统及方法
CN110125930A (zh) * 2019-04-18 2019-08-16 华中科技大学 一种基于机器视觉和深度学习的机械臂抓取控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000045563A (ko) * 1998-12-30 2000-07-25 권상문 코러게이션이 형성된 용접물의 용접방법 및 그 장치
KR20010079370A (ko) * 2001-07-10 2001-08-22 김상봉 모터를 코어 케이블에 연결하여 동력을 전달하는 회전아크발생 장치 및 용접선 추적 제어기
CN107424177A (zh) * 2017-08-11 2017-12-01 哈尔滨工业大学(威海) 基于连续相关滤波器的定位修正长程跟踪算法
CN107999955A (zh) * 2017-12-29 2018-05-08 华南理工大学 一种六轴工业机器人线激光焊缝自动跟踪系统及方法
CN110125930A (zh) * 2019-04-18 2019-08-16 华中科技大学 一种基于机器视觉和深度学习的机械臂抓取控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
龚国基: "基于主动光视觉传感的焊缝自动跟踪系统研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112051733A (zh) * 2020-08-14 2020-12-08 华南理工大学 一种基于图像分类的刚性机械臂复合学习控制方法
CN113723494A (zh) * 2021-08-25 2021-11-30 武汉理工大学 一种不确定干扰源下激光视觉条纹分类及焊缝特征提取方法
CN117798522A (zh) * 2024-03-01 2024-04-02 深圳欧斯普瑞智能科技有限公司 基于机器视觉的激光切割头精确定位方法
CN117798522B (zh) * 2024-03-01 2024-05-17 深圳欧斯普瑞智能科技有限公司 基于机器视觉的激光切割头精确定位方法
CN117911723A (zh) * 2024-03-19 2024-04-19 苏州大学 基于亚像素视觉定位的球形永磁体轨迹跟踪方法及系统
CN117911723B (zh) * 2024-03-19 2024-05-17 苏州大学 基于亚像素视觉定位的球形永磁体轨迹跟踪方法及系统

Also Published As

Publication number Publication date
CN111299762B (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN111299762B (zh) 一种分离强噪声干扰的激光实时焊缝跟踪方法
CN111299761B (zh) 一种焊缝跟踪系统的实时姿态估计方法
CN102059435B (zh) 带有线结构光型视觉传感器的纵缝焊接专机及其控制方法
CN108982546B (zh) 一种智能机器人涂胶质量检测系统及方法
CN114571153A (zh) 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法
CN106392267B (zh) 一种六自由度焊接机器人线激光实时焊缝跟踪方法
CN111922483B (zh) 基于学习的线结构光焊缝跟踪与增材路径纠偏装置及方法
CN113102880A (zh) 一种基于视觉示教的线激光焊缝自动跟踪系统及方法
CN110480128A (zh) 一种六自由度焊接机器人线激光实时焊缝跟踪方法
CN104842362A (zh) 一种机器人抓取物料包的方法和机器人抓取装置
CN111299763B (zh) 一种抗噪声干扰的激光视觉焊缝自动跟踪方法及系统
CN114571160B (zh) 一种离线的曲面焊缝提取和姿态估计方法
CN109465829B (zh) 一种基于转换矩阵误差模型的工业机器人几何参数辨识方法
CN110533716B (zh) 一种基于3d约束的语义slam系统及方法
CN105096341B (zh) 基于三焦张量和关键帧策略的移动机器人位姿估计方法
CN111482677A (zh) 一种新型自动焊接弧压跟踪机器人控制方法
CN117047237B (zh) 一种异形件智能柔性焊接系统与方法
Xiao et al. A novel visual guidance framework for robotic welding based on binocular cooperation
CN110298885A (zh) 一种非光滑类球体目标的立体视觉识别方法和定位夹持检测装置及其应用
CN116872216B (zh) 一种基于有限时间控制的机器人视觉伺服作业方法
CN116749198A (zh) 一种基于双目立体视觉引导机械臂抓取方法
CN113664826A (zh) 一种未知环境中的机器人抓取方法及系统
CN111283303A (zh) 一种基于hdr图像的熔池中心识别系统及其方法
CN112935650A (zh) 一种焊接机器人激光视觉系统标定优化方法
CN116475563A (zh) 一种深度学习三维焊缝跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210921

CF01 Termination of patent right due to non-payment of annual fee