CN111299762A - 一种分离强噪声干扰的激光实时焊缝跟踪方法 - Google Patents
一种分离强噪声干扰的激光实时焊缝跟踪方法 Download PDFInfo
- Publication number
- CN111299762A CN111299762A CN202010131654.3A CN202010131654A CN111299762A CN 111299762 A CN111299762 A CN 111299762A CN 202010131654 A CN202010131654 A CN 202010131654A CN 111299762 A CN111299762 A CN 111299762A
- Authority
- CN
- China
- Prior art keywords
- image
- welding
- tracking
- representing
- laser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000003466 welding Methods 0.000 claims abstract description 135
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 21
- 238000012706 support-vector machine Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000004260 weight control Methods 0.000 claims description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
- B23K9/127—Means for tracking lines during arc welding or cutting
- B23K9/1272—Geometry oriented, e.g. beam optical trading
- B23K9/1274—Using non-contact, optical means, e.g. laser means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Robotics (AREA)
- Optics & Photonics (AREA)
- Geometry (AREA)
- Plasma & Fusion (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种分离强噪声干扰的激光实时焊缝跟踪方法,包括以下步骤:S1、激光视觉传感器中采集图像并发送到嵌入式工控机,对采集的图像进行初始化处理得到初始焊缝特征点的像素坐标值,转换为焊接机器人基坐标系下的三维坐标值;S2、所述激光视觉传感器的工业相机将连续采集的每一帧图像发送至所述嵌入式工控机进行特征提取处理,将特征提取处理后的图像进行图像分类,根据图像分类的结果执行跟踪策略,获取图像中焊缝特征点的像素坐标值,将像素坐标值转换为焊接机器人基坐标系下的三维坐标值;S3、将焊接机器人的位置与当前焊接机器人的位置作差,将得到的偏差实时发送给机器人控制柜,控制柜输出控制信号传输给焊接机器人。
Description
技术领域
本发明属于焊接机器人焊缝跟踪领域,特别涉及一种分离强噪声干扰的激光实时焊缝跟踪方法。
背景技术
现在的焊接机器人基本上都是在焊接之前先进行示教,让机器人每次都走一个固定的轨迹,这种方式有一个好处就是重复精度高,运动轨迹不需要修正,但是,该方法的致命缺陷就是不够随机应变,不够灵活,当需要焊接的工件加工精度比较差,不能满足现代工厂对于焊接加工的要求。
随着机器视觉技术的发展,焊接机器人广泛使用视觉检测技术校正再现轨迹,实现焊缝跟踪。焊缝跟踪系统通常将视觉系统安装在机械手末端,当机器人作业时,视觉系统与焊枪同步工作,实时检测工件在焊接过程中由高温引起的热变形,并调整焊枪与焊缝间的位置。
焊缝跟踪系统主要技术指标是激光条纹11和焊接熔池10之间的距离d,d越小则跟踪精度越高。d越小则跟踪精度越高,但是这会导致视觉系统检测的图像信息中存在强烈的弧光和飞溅,造成测量精度降低。国内外的很多学者围绕目标跟踪算法进行了深入细致的研究,提出了一系列在噪声干扰下鲁棒性较好的目标跟踪算法。然而,在强噪声的干扰下,跟踪模型依然存在着漂移失效导致跟踪失败的问题。为了解决在强噪声干扰下的焊缝实时跟踪问题,我们提出了一种分离强噪声干扰的激光实时焊缝跟踪方法,通过实时提取焊缝图像特征并采用支持向量机(SVM)进行图像分类,根据图像分类的结果执行跟踪策略,即间歇性采用高效卷积操作滤波器跟踪算法(ECO)进行目标定位,最终实现了焊缝跟踪系统的实时精准跟踪。
Joachims提出了支持向量机,通过寻找分类间隔最大的最优超平面,使其能将两类特征无错误地分开。支持向量机分类速度快,分类精度高,在二分类中表现出色,满足分离强、弱噪声焊缝图像的要求。将强弱噪声的焊缝图像分离,利于我们采用高效卷积操作滤波器跟踪算法和获取更准确的数据。
Martin Danelljan等人提出了连续型卷积操作滤波器算法(CCOT)跟踪算法,使用深度神经网络VGG-net提取特征,通过立方插值,将不同分辨率的特征图插值到连续空间域,再应用黑塞(Hessian)矩阵可以求得亚像素精度的目标位置。考虑到更新参数众多影响实时性,且大多滤波器贡献都不大,原作者提出了高效卷积操作滤波器跟踪算法,并作了改进:通过引入因式分解的卷积算子减少模型的训练参数,只保留贡献较大的滤波器参数。此外,通过每隔Ns帧更新一次模型,节约时间且避免了模型的漂移。高效卷积操作滤波器跟踪算法能在维持原有精度的情况下,准确定位焊缝特征点,大大提高跟踪速度,满足焊缝跟踪系统实时焊接的需求。
因此,为了解决在强噪声干扰下的焊缝实时跟踪问题,研究并结合了支持向量机和高效卷积操作滤波器跟踪算法,并设计了焊接机器人进行焊缝跟踪实验,本发明依此提出。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提供一种分离强噪声干扰的激光实时焊缝跟踪方法,解决了现有的焊接机器人在强噪声干扰下焊接精度不高的问题。
本发明至少通过如下技术方案之一实现。
一种分离强噪声干扰的激光实时焊缝跟踪方法,该方法基于的焊缝跟踪系统包括焊接机器人、焊枪、激光视觉传感器、激光视觉传感器外连接件、工作台、配套焊接设备、嵌入式工控机、控制柜、工件,包括以下步骤:
S1、焊接开始前,将工件放置于工作台上,激光视觉传感器中的工业相机先采集图像并发送到嵌入式工控机,所述嵌入式工控机对采集的焊缝图像进行初始化处理得到初始焊缝特征点的像素坐标值,将像素坐标值转换为焊接机器人基坐标系下的三维坐标值;
S2、焊接开始后,所述激光视觉传感器的工业相机将连续采集的每一帧图像发送至所述嵌入式工控机进行特征提取处理,将特征提取处理后的图像进行图像分类,根据图像分类的结果执行跟踪策略,获取图像中焊缝特征点的像素坐标值,将像素坐标值转换为焊接机器人基坐标系下的三维坐标值,从而得到焊接机器人的位置;
S3、将步骤S2所述计算得到的焊接机器人的位置与当前焊接机器人的位置作差,将得到的偏差实时发送给控制柜,控制柜输出控制信号传输给焊接机器人,使焊枪末端的焊丝沿着工件的焊缝运动,完成焊缝跟踪系统的实时自动跟踪。
进一步地,所述步骤S1具体包括:
S11、调整焊接机器人的机械臂位置和姿态,使得焊枪末端位于待焊工件焊缝位置的正上方,并使得固定在焊枪上的激光视觉传感器处于最佳工作位置,即在焊接过程中既能捕捉到清晰的图像,又不会使得激光视觉传感器和待焊工件发生干涉;
S12、激光视觉传感器中的工业相机采集图像并发送到嵌入式工控机,嵌入式工控机通过调用Halcon软件的库函数进行阈值处理、形态学修正的初始化处理,得到初始的焊缝特征点的像素坐标值,将此初始焊缝特征点作为高效卷积操作滤波器跟踪算法的初始目标;
S13、通过标定算法,将得到的初始焊缝特征点的像素坐标值转换成焊接机器人基坐标系下的三维坐标值。
进一步地,步骤S2中,所述的特征提取具体是采用梯度方向直方图(HOG)进行特征提取。
进一步地,所述步骤S2具体包括以下步骤:
S21、焊接开始后激光视觉传感器的相机以60fps的采样频率连续采集图像,并发送至嵌入式工控机进行图像处理;
S22、嵌入式工控机提取图像的梯度方向直方图,将梯度方向直方图传入到支持向量机(SVM)模型进行图像分类,分类的结果为强噪声图像和弱噪声图像,当图像的峰瓣比PSR大于20时,为弱噪声图像,反之,为强噪声图像;
S23、根据图像分类的结果执行跟踪策略,若图像分类的结果为强噪声,获取的焊缝特征点的像素坐标值为上一帧图像的焊缝特征点的像素坐标值;若图像分类的结果为弱噪声,对当前帧图像采用高效卷积操作滤波器跟踪算法处理,进行目标跟踪定位确定图像中焊缝特征点的像素坐标值;
S24、同步骤S13,即通过标定算法,将得到的初始焊缝特征点的像素坐标值转换成焊接机器人基坐标系下的三维坐标值。
进一步地,所述步骤S22具体包括:
S221、所述的支持向量机(SVM)模型通过定义最优超平面h(x)作为图像样本的分隔面,使其能分类出强噪声图像和弱噪声图像:
h(x)=ωTx+b
其中,ω为权重向量,b为偏移向量;x表示焊缝图像样本;
S222、通过机器人示教及预先焊接得到一系列的焊缝图像样本x到最优超平面的几何间隔r为:
其中,是||ω||权重向量ω的内积;
S223、假设已有最优超平面满足h(x)=ωT+b=0,离超平面h(x)距离最近且与之平行的第一类样本的平面plane1为h1(x)=ωT+b=1,离超平面h(x)距离最近且与之平行的第二类样本的平面plane2为h2(x)=ωT+b=-1,支持向量x*在plane1,plane2上,其到最优超平面的距离为r*,plane1到plane2的距离为间隔ρ:
S224、假设除支持向量x*之外的焊缝图像样本为xi,最优超平面h(x)将两边的样本,即强噪声图像、弱噪声图像两类划分为类+1,类-1,即有分类的约束条件:
其中,yi表示类别标签,i=1,2..h表示样本个数;
S225、最优超平面的求解需满足间隔ρ最大化和两个分类约束条件:
S226、通过拉格朗日乘数法构造目标函数,采用序列最小优化算法(SequentialMinimal Optimization,SMO)求解得到最优超平面:
进一步地,步骤S23中,对当前帧图像采用高效卷积操作滤波器跟踪算法处理,进行目标跟踪定位确定图像中焊缝特征点的像素坐标值,包括以下步骤:
S231、以步骤S1提取的初始焊缝特征点为中心的跟踪目标作为第一个训练样本来训练高效卷积操作滤波器跟踪算法的滤波器;
S232、将每一个特征通道通过插值转换到连续域上:
其中xd即代表特征通道,Nd表示该特征通道里所采样的像素点数,bd表示插值函数,T代表插值后的连续域的范围,Jd{xd}代表插值样本的特征、t表示时间、n表示离散空间变量,n∈{0,…,Nd}、d是每一个特征通道;
S233、高效卷积操作滤波器跟踪算法采用提取插值样本的特征Jd{xd}的子集,从D维的特征中选其中的C维;高效卷积操作滤波器跟踪算法只使用一组基础滤波器f1,...fC,其中C<D,然后使用一组学习系数pd,c将层数为d的特征P的滤波器构造为滤波器fC的一个线性组合学习系数用维度为D×C的矩阵P=pd,c来简明地表示;新的多通道滤波器写成矩阵向量乘积Pf,此时检测函数为:
其中,J{x}表示整体插值特性映射,J{x}∈RD,符号*表示卷积运算;SPf{x}表示线性卷积算子、f代表滤波器、RD代表实数域、x表示用于训练的焊缝图像样本;
其中,代表对应样本中跟踪算法跟踪到的目标位置,代表正则化参数,||P||F为P的弗罗贝尼乌斯规范正规化,λ为权重控制的参数;E(f,P)代表跟踪的目标函数、代表插值后的特征图、代表滤波器、l代表范数名称,此处采用的是欧式距离、代表每一个滤波器、代表权重系数、
S235、通过古斯-牛顿法解最优化问题,而后对每一帧图像进行滤波器参数的更新。
本发明相对于现有技术具有如下的优点及效果:
(1)本发明通过激光视觉传感器分离出强噪声图像,自动识别焊缝的特征点,并通过嵌入式工业控制器进行后续的通讯、计算和处理,装置结构简单,系统易于维护,通过嵌入式工业控制器实现数据的自动采集和处理,能有效提高数据处理的效率;
(2)本发明自动化程度比较高,能够实现焊缝图像自动实时采集,自动焊接,焊缝自动实时跟踪,大大提高了生产效率;
(3)解决了现有焊接机器人焊接时需要事先示教的过程,节省了大量时间,并且提高了焊接精度。
附图说明
图1是本发明实施例的焊接机器人的焊缝跟踪系统总体结构示示意图;
图2是本发明实施例的焊接机器人的焊缝跟踪系统中的激光视觉传感器的结构示意图;
图3是本发明实施例的焊缝跟踪系统中激光条纹与焊接熔池距离示意图;
图4是本发明的分离强噪声干扰的激光实时焊缝跟踪方法流程示意图;
图5是本发明分离强噪声干扰的激光实时焊缝跟踪方法中的焊接实验典型噪声示意图;
图中:1-配套焊接设备;2-焊接机器人;3-工件;4-焊枪;5-激光传感器外连接件;6-激光视觉传感器;61-传感器外壳;62-相机;63-透光性隔板;64-激光发生器;7-工作台;8-嵌入式工控机;9-控制柜;10-焊接熔池;11-激光条纹;12-飞溅;13-焊缝特征点;14-弧光。
具体实施方式
下面结合实施例及附图对本发明作进一步的详细描述,但本发明的实施方式不限于此。
如图1、图2所示,本实施的一种分离强噪声干扰的激光实时焊缝跟踪方法,该方法基于的焊缝跟踪系统包括焊接机器人2、焊枪4、激光视觉传感器6、激光视觉传感器外连接件5,外连接件5是螺栓螺母连接件,将激光视觉传感器4与传感器外壳61相连与固定、工作台7、配套焊接设备1、嵌入式工控机8、控制柜9、工件3;工件3放置在工作台7上;激光视觉传感器6固定安装在焊枪4末端,所述焊枪4通过焊枪夹持装置,该装置主要由夹具固定座、螺栓螺母组成,将焊枪4放置于夹具固定座中,采用螺栓螺母紧固连接,安装在焊接机器人2末端上,嵌入式工控机8通过以太网线与激光视觉传感器6相连,焊枪4和配套焊接设备1通过电缆线与焊接电源相连接,嵌入式工控机8通过以太网线与控制柜9相连,控制柜9和焊接机器人2、配套焊接设备1(焊接设备主要为焊机和保护气瓶。采用的焊机为安川的MOTOWELD-RD350,用于机器人的送丝和退丝。采用的保护气瓶装着二氧化碳(20%)与氮气(80%),以在焊接过程中起到保护的作用)通过电缆线相连;激光视觉传感器6和焊枪4通过焊接机器人2的运动而改变空间位置;所述激光视觉传感器6包括黑色氧化处理的传感器外壳61、工业相机62、透光性隔板63、激光发生器64;所述工业相机62和激光发生器64固定在传感器外壳61内;所述透光性隔板63固定在传感器外壳61上且位于所述工业相机62和激光发生器64(激光发生器64通过螺栓螺母与传感器外壳61紧固连接,与工业相机62之间成30°的夹角,焊枪4与激光发生器64发出的激光之间的距离为d,如图3所示)前端;所述的工作台上设置有G型夹具,所述工件3放置在工作台7上,由两个及以上G型夹具进行装夹定位。
如图4所示,一种分离强噪声干扰的激光实时焊缝跟踪方法,包括以下步骤:
S1、焊接开始前,将工件3放置于工作台7上,激光视觉传感器中的工业相机62先采集图像并发送到嵌入式工控机8,所述嵌入式工控机8对采集的图像进行初始化处理得到初始焊缝特征点13的像素坐标值,将像素坐标值转换为焊接机器人2基坐标系下的三维坐标值;
具体而言,所述步骤S1具体包括:
S11、调整焊接机器人2的机械臂位置和姿态,使得焊枪4末端位于待焊工件3焊缝位置的正上方,并使得固定在焊枪4上的激光视觉传感器6处于最佳工作位置,即在焊接过程中既能捕捉到清晰地(能分辨出图像线条间的区别的图像才是清晰的图像)图像,又不会使得激光视觉传感器6和待焊工件3发生干涉;
S12、激光视觉传感器6中的工业相机62采集图像并发送到嵌入式工控机8,嵌入式工控机8通过调用Halcon软件的库函数进行阈值处理、形态学修正的初始化处理,得到初始的焊缝特征点13的像素坐标值,将此初始焊缝特征点13作为高效卷积操作滤波器跟踪算法的初始目标;
S13、通过标定算法,将得到的初始焊缝特征点13的像素坐标值转换成焊接机器人2基坐标系下的三维坐标值。
S2、焊接开始后,所述激光视觉传感器6的工业相机62将连续采集的每一帧图像发送至所述嵌入式工控机8特征提取处理,将特征提取处理后的图像进行图像分类,根据图像分类的结果执行跟踪策略,获取图像中焊缝特征点13的像素坐标值,将像素坐标值转换为焊接机器人2基坐标系下的三维坐标值,如图4所示;
所述的特征提取具体是采用梯度方向直方图(HOG)进行特征提取,其好处是既有优于原始像素特征的表达能力,能更好且更简便地表达图像的特征,同时又比卷积神经网络特征提取方法更加快速而且对计算机等硬件要求不高,能较好地满足焊缝跟踪系统的实时性要求。
具体而言,所述步骤S2具体包括:
S21、焊接开始后激光视觉传感器6的相机以60fps的采样频率连续采集图像,并发送至嵌入式工控机8进行图像处理;
S22、所述的图像分类是通过提取图像的梯度方向直方图,将其作为输入传入到支持向量机(SVM)模型进行图像分类,分类的结果为强噪声图像和弱噪声图像;当图像的峰瓣比PSR大于20时,为弱噪声图像,反之,为强噪声图像;
S23、根据图像分类的结果执行跟踪策略,若图像分类的结果为强噪声,获取的焊缝特征点13的像素坐标值为上一帧图像的焊缝特征点13的像素坐标值;若图像分类的结果为弱噪声,对当前帧图像采用高效卷积操作滤波器跟踪算法处理,进行目标跟踪定位确定图像中焊缝特征点13的像素坐标值;
S24、同步骤S13,即通过标定算法(该标定算法为张正友标定算法),将得到的初始焊缝特征点13的像素坐标值转换成焊接机器人2基坐标系下的三维坐标值;
具体而言,所述步骤S22具体包括:
S221、所述的支持向量机(SVM)模型通过定义最优超平面h(x)作为图像样本的分隔面,使其能正确地分类出强噪声图像和弱噪声图像:
h(x)=ωTx+b
其中,ω为权重向量,b为偏移向量;
S222、通过机器人示教及预先焊接得到一系列的焊缝图像样本x到最优超平面的几何间隔r为:
其中,是||ω||权重向量ω的内积;
S223、假设已有最优超平面满足h(x)=ωT+b=0,离超平面h(x)距离最近且与之平行的第一类样本的平面plane1为h1(x)=ωT+b=1,离超平面h(x)距离最近且与之平行的第二类样本的平面plane2为h2(x)=ωT+b=-1,支持向量x*在plane1,plane2上,其到最优超平面的距离为r*,plane1到plane2的距离为间隔ρ:
S224、假设除支持向量x*之外的焊缝图像样本为xi,最优超平面h(x)将两边的样本,即强噪声图像、弱噪声图像两类划分为类+1,类-1,即有了分类的约束条件:
其中,yi表示类别标签,i=1,2..h表示样本个数;
S225、最优超平面的求解需满足间隔ρ最大化和两个分类约束条件:
S226、通过拉格朗日乘数法构造目标函数,采用SMO算法求解得到最优超平面:
具体而言,所述步骤S23中,对当前帧图像采用高效卷积操作滤波器跟踪算法处理,进行目标跟踪定位确定图像中焊缝特征点的像素坐标值,包括以下步骤:
S231、以步骤S1提取的初始焊缝特征点13为中心的跟踪目标作为第一个训练样本来训练高效卷积操作滤波器跟踪算法的滤波器;
S232、将每一个特征通道通过插值的方法转换到连续域上:
其中xd即代表特征通道,Nd表示该特征通道里所采样的像素点数,bd表示插值函数,T代表插值后的连续域的范围;Jd{xd}代表插值样本的特征、t表示时间、n表示离散空间变量,n∈{0,…,Nd}、d是每一个特征通道;
S233、高效卷积操作滤波器跟踪算法采用了提取插值样本的特征Jd{xd}的子集,从D维的特征中选了其中的C维;高效卷积操作滤波器跟踪算法只使用一组较小的基础滤波器f1,...fC,其中C<D。然后使用一组学习系数pd,c将层数为d的P特征的滤波器构造为滤波器fC的一个线性组合这些系数可以用维度为D×C的矩阵P=pd,c来简明地表示;新的多通道滤波器可以写成矩阵向量乘积Pf,此时检测函数为:
其中,J{x}表示整体插值特性映射,J{x}∈RD,符号*表示卷积运算;SPf{x}表示线性卷积算子、f代表滤波器、RD代表实数域、x表示用于训练的焊缝图像样本;
其中,代表对应样本中跟踪算法跟踪到的目标位置,代表正则化参数,||P||F为P的弗罗贝尼乌斯规范正规化,λ为权重控制的参数;E(f,P)代表跟踪的目标函数、代表插值后的特征图、代表滤波器、l代表范数名称,此处采用的是欧式距离、代表每一个滤波器、代表权重系数、
S235、通过古斯-牛顿法解最优化问题,而后对每一帧图像进行滤波器参数的更新。
S3、将步骤S2所述计算得到的焊接机器人2的位置与当前焊接机器人2的位置作差,将得到的偏差实时发送给机器人控制柜9,控制柜9输出控制信号传输给焊接机器人2,使焊枪4末端的焊丝沿着工件的焊缝运动,完成焊缝跟踪系统的实时自动跟踪。
本实施例无需事先示教的过程,通过分离出强弧光14、飞溅12等强噪声图像,如图5所示,避免了强噪声的干扰和跟踪模型漂移问题,解决了激光视觉传感器6与焊枪4距离过近时强噪声干扰下跟踪模型漂移进而导致跟踪精度下降的问题,具有完全自动化、焊接精度高、实时性好、抗干扰能力强等优点。
上述实施例为本发明较佳的实施方式,但本方明的实施方式并不受上述实施例的限制,其他的任何背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (6)
1.一种分离强噪声干扰的激光实时焊缝跟踪方法,该方法基于的焊缝跟踪系统包括焊接机器人、焊枪、激光视觉传感器、激光视觉传感器外连接件、工作台、配套焊接设备、嵌入式工控机、控制柜、工件,其特征在于,包括以下步骤:
S1、焊接开始前,将工件放置于工作台上,激光视觉传感器中的工业相机先采集图像并发送到嵌入式工控机,所述嵌入式工控机对采集的焊缝图像进行初始化处理得到初始焊缝特征点的像素坐标值,将像素坐标值转换为焊接机器人基坐标系下的三维坐标值;
S2、焊接开始后,所述激光视觉传感器的工业相机将连续采集的每一帧图像发送至所述嵌入式工控机进行特征提取处理,将特征提取处理后的图像进行图像分类,根据图像分类的结果执行跟踪策略,获取图像中焊缝特征点的像素坐标值,将像素坐标值转换为焊接机器人基坐标系下的三维坐标值,从而得到焊接机器人的位置;
S3、将步骤S2所述计算得到的焊接机器人的位置与当前焊接机器人的位置作差,将得到的偏差实时发送给控制柜,控制柜输出控制信号传输给焊接机器人,使焊枪末端的焊丝沿着工件的焊缝运动,完成焊缝跟踪系统的实时自动跟踪。
2.根据权利要求1所述的分离强噪声干扰的激光实时焊缝跟踪方法,其特征在于,所述步骤S1具体包括:
S11、调整焊接机器人的机械臂位置和姿态,使得焊枪末端位于待焊工件焊缝位置的正上方,并使得固定在焊枪上的激光视觉传感器处于最佳工作位置,即在焊接过程中既能捕捉到清晰的图像,又不会使得激光视觉传感器和待焊工件发生干涉;
S12、激光视觉传感器中的工业相机采集图像并发送到嵌入式工控机,嵌入式工控机通过调用Halcon软件的库函数进行阈值处理、形态学修正的初始化处理,得到初始的焊缝特征点的像素坐标值,将此初始焊缝特征点作为高效卷积操作滤波器跟踪算法的初始目标;
S13、通过标定算法,将得到的初始焊缝特征点的像素坐标值转换成焊接机器人基坐标系下的三维坐标值。
3.根据权利要求1所述的分离强噪声干扰的激光实时焊缝跟踪方法,其特征在于,步骤S2中,所述的特征提取具体是采用梯度方向直方图(HOG)进行特征提取。
4.根据权利要求1所述的分离强噪声干扰的激光实时焊缝跟踪方法,其特征在于,所述步骤S2具体包括以下步骤:
S21、焊接开始后激光视觉传感器的相机以60fps的采样频率连续采集图像,并发送至嵌入式工控机进行图像处理;
S22、嵌入式工控机提取图像的梯度方向直方图,将梯度方向直方图传入到支持向量机(SVM)模型进行图像分类,分类的结果为强噪声图像和弱噪声图像,当图像的峰瓣比PSR大于20时,为弱噪声图像,反之,为强噪声图像;
S23、根据图像分类的结果执行跟踪策略,若图像分类的结果为强噪声,获取的焊缝特征点的像素坐标值为上一帧图像的焊缝特征点的像素坐标值;若图像分类的结果为弱噪声,对当前帧图像采用高效卷积操作滤波器跟踪算法处理,进行目标跟踪定位确定图像中焊缝特征点的像素坐标值;
S24、同步骤S13,即通过标定算法,将得到的初始焊缝特征点的像素坐标值转换成焊接机器人基坐标系下的三维坐标值。
5.根据权利要求4所述的分离强噪声干扰的激光实时焊缝跟踪方法,其特征在于,所述步骤S22具体包括:
S221、所述的支持向量机(SVM)模型通过定义最优超平面h(x)作为图像样本的分隔面,使其能分类出强噪声图像和弱噪声图像:
h(x)=ωTx+b
其中,ω为权重向量,b为偏移向量;x表示焊缝图像样本;
S222、通过机器人示教及预先焊接得到一系列的焊缝图像样本x到最优超平面的几何间隔r为:
其中,是||ω||权重向量ω的内积;
S223、假设已有最优超平面满足h(x)=ωT+b=0,离超平面h(x)距离最近且与之平行的第一类样本的平面plane1为h1(x)=ωT+b=1,离超平面h(x)距离最近且与之平行的第二类样本的平面plane2为h2(x)=ωT+b=-1,支持向量x*在plane1,plane2上,其到最优超平面的距离为r*,plane1到plane2的距离为间隔ρ:
S224、假设除支持向量x*之外的焊缝图像样本为xi,最优超平面h(x)将两边的样本,即强噪声图像、弱噪声图像两类划分为类+1,类-1,即有分类的约束条件:
其中,yi表示类别标签,i=1,2..h表示样本个数;
S225、最优超平面的求解需满足间隔ρ最大化和两个分类约束条件:
S226、通过拉格朗日乘数法构造目标函数,采用序列最小优化算法(SequentialMinimal Optimization,SMO)求解得到最优超平面:
6.根据权利要求4所述的分离强噪声干扰的激光实时焊缝跟踪方法,其特征在于,步骤S23中,对当前帧图像采用高效卷积操作滤波器跟踪算法处理,进行目标跟踪定位确定图像中焊缝特征点的像素坐标值,包括以下步骤:
S231、以步骤S1提取的初始焊缝特征点为中心的跟踪目标作为第一个训练样本来训练高效卷积操作滤波器跟踪算法的滤波器;
S232、将每一个特征通道通过插值转换到连续域上:
其中xd即代表特征通道,Nd表示该特征通道里所采样的像素点数,bd表示插值函数,T代表插值后的连续域的范围,Jd{xd}代表插值样本的特征、t表示时间、n表示离散空间变量,n∈{0,…,Nd}、d是每一个特征通道;
S233、高效卷积操作滤波器跟踪算法采用提取插值样本的特征Jd{xd}的子集,从D维的特征中选其中的C维;高效卷积操作滤波器跟踪算法只使用一组基础滤波器f1,…fC,其中C<D,然后使用一组学习系数pd,c将层数为d的特征P的滤波器构造为滤波器fC的一个线性组合学习系数用维度为D×C的矩阵P=pd,c来简明地表示;新的多通道滤波器写成矩阵向量乘积Pf,此时检测函数为:
其中,J{x}表示整体插值特性映射,J{x}∈RD,符号*表示卷积运算;SPf{x}表示线性卷积算子、f代表滤波器、RD代表实数域、x表示用于训练的焊缝图像样本;
其中,代表对应样本中跟踪算法跟踪到的目标位置,代表正则化参数,||P||F为P的弗罗贝尼乌斯规范正规化,λ为权重控制的参数;E(f,P)代表跟踪的目标函数、代表插值后的特征图、代表滤波器、l代表范数名称,此处采用的是欧式距离、代表每一个滤波器、代表权重系数、
S235、通过古斯-牛顿法解最优化问题,而后对每一帧图像进行滤波器参数的更新。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010131654.3A CN111299762B (zh) | 2020-02-28 | 2020-02-28 | 一种分离强噪声干扰的激光实时焊缝跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010131654.3A CN111299762B (zh) | 2020-02-28 | 2020-02-28 | 一种分离强噪声干扰的激光实时焊缝跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111299762A true CN111299762A (zh) | 2020-06-19 |
CN111299762B CN111299762B (zh) | 2021-09-21 |
Family
ID=71156710
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010131654.3A Expired - Fee Related CN111299762B (zh) | 2020-02-28 | 2020-02-28 | 一种分离强噪声干扰的激光实时焊缝跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111299762B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112051733A (zh) * | 2020-08-14 | 2020-12-08 | 华南理工大学 | 一种基于图像分类的刚性机械臂复合学习控制方法 |
CN113723494A (zh) * | 2021-08-25 | 2021-11-30 | 武汉理工大学 | 一种不确定干扰源下激光视觉条纹分类及焊缝特征提取方法 |
CN117798522A (zh) * | 2024-03-01 | 2024-04-02 | 深圳欧斯普瑞智能科技有限公司 | 基于机器视觉的激光切割头精确定位方法 |
CN117911723A (zh) * | 2024-03-19 | 2024-04-19 | 苏州大学 | 基于亚像素视觉定位的球形永磁体轨迹跟踪方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20000045563A (ko) * | 1998-12-30 | 2000-07-25 | 권상문 | 코러게이션이 형성된 용접물의 용접방법 및 그 장치 |
KR20010079370A (ko) * | 2001-07-10 | 2001-08-22 | 김상봉 | 모터를 코어 케이블에 연결하여 동력을 전달하는 회전아크발생 장치 및 용접선 추적 제어기 |
CN107424177A (zh) * | 2017-08-11 | 2017-12-01 | 哈尔滨工业大学(威海) | 基于连续相关滤波器的定位修正长程跟踪算法 |
CN107999955A (zh) * | 2017-12-29 | 2018-05-08 | 华南理工大学 | 一种六轴工业机器人线激光焊缝自动跟踪系统及方法 |
CN110125930A (zh) * | 2019-04-18 | 2019-08-16 | 华中科技大学 | 一种基于机器视觉和深度学习的机械臂抓取控制方法 |
-
2020
- 2020-02-28 CN CN202010131654.3A patent/CN111299762B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20000045563A (ko) * | 1998-12-30 | 2000-07-25 | 권상문 | 코러게이션이 형성된 용접물의 용접방법 및 그 장치 |
KR20010079370A (ko) * | 2001-07-10 | 2001-08-22 | 김상봉 | 모터를 코어 케이블에 연결하여 동력을 전달하는 회전아크발생 장치 및 용접선 추적 제어기 |
CN107424177A (zh) * | 2017-08-11 | 2017-12-01 | 哈尔滨工业大学(威海) | 基于连续相关滤波器的定位修正长程跟踪算法 |
CN107999955A (zh) * | 2017-12-29 | 2018-05-08 | 华南理工大学 | 一种六轴工业机器人线激光焊缝自动跟踪系统及方法 |
CN110125930A (zh) * | 2019-04-18 | 2019-08-16 | 华中科技大学 | 一种基于机器视觉和深度学习的机械臂抓取控制方法 |
Non-Patent Citations (1)
Title |
---|
龚国基: "基于主动光视觉传感的焊缝自动跟踪系统研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112051733A (zh) * | 2020-08-14 | 2020-12-08 | 华南理工大学 | 一种基于图像分类的刚性机械臂复合学习控制方法 |
CN113723494A (zh) * | 2021-08-25 | 2021-11-30 | 武汉理工大学 | 一种不确定干扰源下激光视觉条纹分类及焊缝特征提取方法 |
CN117798522A (zh) * | 2024-03-01 | 2024-04-02 | 深圳欧斯普瑞智能科技有限公司 | 基于机器视觉的激光切割头精确定位方法 |
CN117798522B (zh) * | 2024-03-01 | 2024-05-17 | 深圳欧斯普瑞智能科技有限公司 | 基于机器视觉的激光切割头精确定位方法 |
CN117911723A (zh) * | 2024-03-19 | 2024-04-19 | 苏州大学 | 基于亚像素视觉定位的球形永磁体轨迹跟踪方法及系统 |
CN117911723B (zh) * | 2024-03-19 | 2024-05-17 | 苏州大学 | 基于亚像素视觉定位的球形永磁体轨迹跟踪方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111299762B (zh) | 2021-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111299762B (zh) | 一种分离强噪声干扰的激光实时焊缝跟踪方法 | |
CN111299761B (zh) | 一种焊缝跟踪系统的实时姿态估计方法 | |
CN102059435B (zh) | 带有线结构光型视觉传感器的纵缝焊接专机及其控制方法 | |
CN108982546B (zh) | 一种智能机器人涂胶质量检测系统及方法 | |
CN114571153A (zh) | 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法 | |
CN106392267B (zh) | 一种六自由度焊接机器人线激光实时焊缝跟踪方法 | |
CN111922483B (zh) | 基于学习的线结构光焊缝跟踪与增材路径纠偏装置及方法 | |
CN113102880A (zh) | 一种基于视觉示教的线激光焊缝自动跟踪系统及方法 | |
CN110480128A (zh) | 一种六自由度焊接机器人线激光实时焊缝跟踪方法 | |
CN104842362A (zh) | 一种机器人抓取物料包的方法和机器人抓取装置 | |
CN111299763B (zh) | 一种抗噪声干扰的激光视觉焊缝自动跟踪方法及系统 | |
CN114571160B (zh) | 一种离线的曲面焊缝提取和姿态估计方法 | |
CN109465829B (zh) | 一种基于转换矩阵误差模型的工业机器人几何参数辨识方法 | |
CN110533716B (zh) | 一种基于3d约束的语义slam系统及方法 | |
CN105096341B (zh) | 基于三焦张量和关键帧策略的移动机器人位姿估计方法 | |
CN111482677A (zh) | 一种新型自动焊接弧压跟踪机器人控制方法 | |
CN117047237B (zh) | 一种异形件智能柔性焊接系统与方法 | |
Xiao et al. | A novel visual guidance framework for robotic welding based on binocular cooperation | |
CN110298885A (zh) | 一种非光滑类球体目标的立体视觉识别方法和定位夹持检测装置及其应用 | |
CN116872216B (zh) | 一种基于有限时间控制的机器人视觉伺服作业方法 | |
CN116749198A (zh) | 一种基于双目立体视觉引导机械臂抓取方法 | |
CN113664826A (zh) | 一种未知环境中的机器人抓取方法及系统 | |
CN111283303A (zh) | 一种基于hdr图像的熔池中心识别系统及其方法 | |
CN112935650A (zh) | 一种焊接机器人激光视觉系统标定优化方法 | |
CN116475563A (zh) | 一种深度学习三维焊缝跟踪方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210921 |
|
CF01 | Termination of patent right due to non-payment of annual fee |