CN111299763A - 一种抗噪声干扰的激光视觉焊缝自动跟踪方法及系统 - Google Patents
一种抗噪声干扰的激光视觉焊缝自动跟踪方法及系统 Download PDFInfo
- Publication number
- CN111299763A CN111299763A CN202010131655.8A CN202010131655A CN111299763A CN 111299763 A CN111299763 A CN 111299763A CN 202010131655 A CN202010131655 A CN 202010131655A CN 111299763 A CN111299763 A CN 111299763A
- Authority
- CN
- China
- Prior art keywords
- welding
- image
- network
- training
- laser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003466 welding Methods 0.000 title claims abstract description 220
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000000007 visual effect Effects 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000008569 process Effects 0.000 claims abstract description 19
- 230000008439 repair process Effects 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 59
- 230000006870 function Effects 0.000 claims description 18
- 238000004140 cleaning Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 14
- 238000000746 purification Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 6
- 238000002939 conjugate gradient method Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000004260 weight control Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims 1
- 230000036039 immunity Effects 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 description 4
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
- B23K9/127—Means for tracking lines during arc welding or cutting
- B23K9/1272—Geometry oriented, e.g. beam optical trading
- B23K9/1274—Using non-contact, optical means, e.g. laser means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Robotics (AREA)
- Optics & Photonics (AREA)
- Geometry (AREA)
- Plasma & Fusion (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种抗噪声干扰的激光视觉焊缝自动跟踪方法及系统，所述方法包括步骤：S1、焊接开始前，激光视觉传感器采集焊接图像并发送到嵌入式工业控制机提取到初始焊缝特征点；S2、焊接开始后，连续采集焊接图像并逐帧发送至嵌入式工业控制机进行基于条件对抗生成网络的焊接图像净化和修复；S3、将净化和修复处理后的图像进行特征提取处理；利用高效卷积算子对提取特征后的图像进行跟踪算法处理，更新滤波器参数；S4、将计算得到的焊缝位置实时发送给机器人控制柜进行处理，并控制焊接机器人完成焊缝自动跟踪。本发明通过实时净化和修复焊接图像，解决了焊接过程中强弧光飞溅等噪声干扰的问题，提高了焊缝跟踪精度和焊接质量。
Description
技术领域
本发明属于焊缝自动跟踪领域，主要涉及基于激光视觉的焊缝自动跟踪，具体涉及一种抗噪声干扰的激光视觉焊缝自动跟踪方法及系统。
背景技术
在工业制造过程中，焊接工艺是最重要的组成部分之一。由于传统的焊接生产存在工作环境恶劣，工作重复性高，人工劳动强度大，生产效率低等不足，近年来，焊接机器人越来越取代了焊工劳动。传统的焊接机器人普遍采用“示教-再现”的方法进行工作，如申请公布号为CN109014677A的中国发明专利和授权公告号为CN108723645B的中国发明专利，然而由于工件装夹误差、焊接热变形等，焊接过程中焊炬容易偏离理论焊缝轨迹，因而难以满足焊接生产应用高效率、高精度和高质量的要求。
随着计算机视觉的发展，基于结构光视觉传感器的自动焊缝跟踪方法因其适应能力强，能够捕捉丰富的焊缝信息，并且不会影响焊接过程而被广泛应用。然而，现存的很多焊缝跟踪算法如申请公布号为CN110480128A的中国发明专利和申请公布号为CN110480127A的中国发明专利，在强弧光飞溅等噪声干扰下容易偏离预期轨迹，从而导致轨迹跟踪失败。因此，要提高焊缝跟踪方法的鲁棒性及跟踪精度，其中最重要的是克服焊接过程中的强噪声干扰问题。
Goodfellow等人提出了生成对抗网络(GAN)框架，该网络框架有着强大的对抗学习性能。网络主要分为生成器和判别器两部分，二者通过对抗学习而变得愈发强大，最终可得到优化后的生成器，它可以合成很逼真的图像。该网络框架为克服焊接过程中的强噪声干扰提供了很好的思路。
本发明因此托出，为解决焊缝跟踪过程中的强噪声干扰问题，基于条件对抗生成网络的强大学习性能，提出了一种抗噪声干扰的激光视觉焊缝自动跟踪方法。
发明内容
本发明的目的在于克服现有技术的不足，解决焊缝跟踪过程中出现的强噪声干扰问题，使得焊缝跟踪算法能够持续有效地进行鲁棒的焊缝跟踪，实现高精度和高质量焊接。
本发明至少通过如下技术方案之一实现。
一种抗噪声干扰的激光视觉焊缝自动跟踪方法，该方法所基于的跟踪系统包括焊接机器人、机器人控制柜、配套的焊接设备、激光视觉传感器、嵌入式工业控制机、焊接工作台，包括下步骤：
S1、焊接开始前，激光视觉传感器中的工业相机采集初始焊接图像并发送到嵌入式工业控制机，对采集的图像进行初始化处理，提取到初始焊缝特征点及其所在的邻近区域，并将得到的初始焊缝特征点像素坐标值转换成工业相机坐标系下的三维坐标值作为基准三维坐标值；
S2、焊接开始后，所述的工业相机连续采集焊接图像并逐帧发送至嵌入式工业控制机进行基于条件对抗生成网络的焊接图像净化和修复处理；
S3、将净化和修复处理后的图像进行特征提取处理；利用高效卷积算子对提取特征后的图像进行跟踪算法处理，定位到图像中的焊缝特征点，并且用新的样本训练和更新高效卷积算子跟踪算法的滤波器参数；
S4、将步骤S3图像中焊缝特征点的像素坐标值转换成工业相机坐标系下的目标三维坐标值后与所述基准三维坐标值作差，得到偏差值，并实时发送给机器人控制柜进行处理，控制焊接机器人上的焊枪沿工件的焊缝轨迹运动，完成焊缝自动跟踪。
进一步地，所述步骤S1具体包括：
S11、调整焊接机器人机械臂的位置和姿态，使得焊枪末端位于待焊工件焊缝起始位置的正上方且焊枪垂直于工件表面，并使得固定在焊枪上的激光视觉传感器处于最佳工作位置，即在焊接过程中既能捕捉到清晰的焊接图像，又不会和待焊工件发生干涉；
S12、激光视觉传感器中的工业相机获取图像并发送到嵌入式工业控制机，嵌入式工业控制机通过调用Halcon软件的库函数进行阈值处理、形态学修正的初始化处理，得到初始的焊缝特征点及其邻近区域；
S13、嵌入式工业控制机将得到的焊接前初始焊缝特征点的像素坐标值转换成基于工业相机坐标系的基准三维坐标值。
进一步地，步骤S2中，所述的进行基于条件对抗生成网络的焊接图像净化和修复处理，具体包括以下步骤：
S21、构建基于条件对抗生成网络的焊接图像净化和修复网络；
S22、对步骤S21所构建的网络进行训练，并保存训练好的网络模型参数；
S23、用步骤S22所训练好的网络模型对输入的焊接图像进行净化和修复处理，输出焊接图像。
进一步地，步骤S21中，所述的焊接图像净化和修复网络主要由两部分组成，分别是生成器网络和判别器网络；生成器网络目的是获得输入的被污染的焊接图像与对应的真实图像之间的映射关系，从而对被污染的焊接图像进行修复，生成去噪图像；判别器网络的输入为无噪声的真实图像数据或所述生成器生成的修复图像，用于判别图像来源于训练数据还是合成数据的；生成器和判别器形成对抗关系，从而使得生成器对输入的被污染的焊接图像的还原能力越来越强；
所述生成器网络采用8个卷积层加上8个反卷积层的U-Nets架构；其具体网络结构如下：
所述8个卷积层采用卷积—批归一化—LReLU激活的结构搭建；前7个反卷积层采用反卷积—批归一化—ReLU激活的结构搭建，最后一层反卷积之后不进行批归一化而直接使用Tanh激活；
所述卷积层和反卷积层的卷积核大小均设置为3×3，滑动步长均设置为2；
所述判别器网络主要由5个卷积层组成，具体结构如下：
对于第一个卷积层，采用卷积—LReLU激活结构；中间3个卷积层采用卷积—批归一化—LReLU激活结构，加入批归一化能够有效防止梯度消失，加快网络收敛速度；最后一层在进行卷积操作后采用Sigmoid激活；
为降低计算复杂度，加快运行速度，对于所述判别器的最后一个卷积层，使其输出为32×32的网格，从而把原输入图像分为32×32个分块进行判别；
所述判别器网络各层的卷积核大小均为3×3，前4层滑动步长为2，最后一层滑动步长设置为1；
根据生成器生成结果和真实结果，计算损失，定义对抗网络的损失如下：
其中：x表示无噪声的真实焊接图像，y表示输入的控制条件，即被噪声污染的焊接图像，G表示生成器的映射，G(y)表示生成的净化图像，D表示判别器的映射，D(x|y)表示判别器对真实图像对的判别结果，D(G(y)|y))表示判别器对净化图像对的判别结果，两个判别结果均为图像对的真实性概率，Ex，y和Ey则分别表示这两个判别结果的均值；
为使生成器的净化和修复效果在细节上更逼真，更好地还原焊接图像特征信息，在网络中额外定义L1损失如下：
其中||·||1表示L1范数；
得到整个网络的总损失函数为：
其中λ表示L1损失的权重；
网络最终的优化目标表示为：
其中arg表示使
优化后的网络参数，G*即为网络训练后得到的优化的生成器网络模型。
进一步地，步骤S22中，所述的对步骤S21所构建的网络进行训练，并保存训练好的网络模型参数具体如下：
训练开始前，获得焊接图像训练数据，具体如下：
设置相同的采样时间间隔，根据示教轨迹对同一焊接工件分别进行无焊接采样和焊接采样，得到无噪声污染和有噪声的一一对应的焊接图像数据；
为增加训练样本多样性，避免训练过拟合，将采集的图像进行随机偏置和旋转处理；
为加快训练速度和图像的实时净化修复速度，对图像进行裁剪，使训练样本缩小到设定的大小；
训练时，对构建好的净化和修复网络设置训练的超参数和训练条件如下：
设置初始学习率为0.0002，批处理的样本量为一对；
设置所述L1损失的权重λ为100；
训练所用的优化方法为梯度下降法，借助TensorFlow库中的AdamOptimizer优化器对网络模型参数进行优化，并保存优化后的生成器网络模型。
进一步地，步骤S23中，所述的用步骤S22所训练好的网络模型对输入的焊接图像进行净化和修复处理，具体如下：
若当前焊接图像为起始帧，则以手动选择的焊缝特征点为中心，将输入的图像裁剪到与所述的训练样本一致的大小；
将裁剪后的图像输入到所述的优化后的生成器网络模型，得到净化和修复后的焊接图像。
进一步地，步骤S3中，所述的将净化和修复处理后的图像进行特征提取处理，具体是采用梯度方向直方图提取特征。
进一步地，步骤S3中，所述的利用高效卷积算子对提取特征后的图像进行跟踪算法处理，定位到图像中的焊缝特征点，并且用新的样本训练和更新高效卷积算子跟踪算法的滤波器参数，包括以下步骤：
S31、以起始帧焊缝特征点为中心的跟踪目标作为训练样本，训练高效卷积算子跟踪算法的滤波器；
S32、将每一个特征通道通过插值的方法转换到连续的空间域上：
其中ud代表特征通道，d表示特征通道索引，Jd{ud}表示插值运算，n为像素点索引，Nd表示该特征通道里所采样的像素点数，bd表示插值函数，T表示插值后的连续空间域的范围，t∈[0，T)；
S33、为提高运算效率，高效卷积算子跟踪算法从D维特征选择其中C维，使用一组贡献较大的滤波器f1，...fC进行卷积运算，其中C＜D；然后使用一组学习系数pd，c将层数为d的特征P的滤波器构造为滤波器fc的一个线性组合
这些系数表示为矩阵P＝pd，c，维度为D×C；则多通道滤波器写成矩阵向量乘积Pf，此时检测函数为：
SPf{u}＝Pf*J{u}＝∑c，dpa，cfc*Jdn{ud}＝f*PTJ{u}
其中SPf{u}即为高效卷积算子，f为卷积滤波器，J{u}表示整体插值特性映射，u为特征通道变量，符号*表示卷积运算；
S34、为简化符号，用
表示插值后的特征图的傅里叶系数，
表示该傅里叶系数，k为连续空间域变量在傅里叶域的表示，Ud表示ud的离散傅里叶变换，
为插值函数bd在傅里叶域的表示，则跟踪的目标函数可表示如下：
其中：
表示对应样本中跟踪算法定位到的目标位置，l为分组索引，
为l2范数，
为滤波器的傅里叶域表示，c为特征通道索引，
表示正则化参数，||P||F为P的Frobenius范数，λ为权重控制系数；
代表插值后的特征图，
代表c通道上的滤波器；
S35、通过高斯-牛顿法和共轭梯度法进行最优化问题的求解，得到焊缝特征点的目标位置，之后对每一帧图像进行滤波器参数的训练和更新。
实施权利要求1所述的抗噪声干扰的激光视觉焊缝自动跟踪方法的系统，包括焊接机器人、焊枪、机器人控制柜、配套的焊接设备、激光视觉传感器、嵌入式工业控制机和焊接工作台；工件固定在焊接工作台上，焊枪通过固定元件安装在焊接机器人的末端法兰盘上；所述配套的焊接设备为焊接提供能量、焊接材料和保护气；所述激光视觉传感器安装于焊枪前方且与焊接方向平行，所述的嵌入式工业控制机与激光视觉传感器通过以太网连接，用于根据传感器所获取的图像准确定位到焊缝特征点，并将得到的位置传输给机器人控制柜进行处理，实时控制焊枪运动轨迹，实现焊缝自动跟踪。
进一步地，所述激光视觉传感器包括传感器外壳、工业相机、滤光片、激光发生器、透光性隔板，所述工业相机和激光发生器固定在传感器外壳内部，且激光发生器连接到5伏直流电源上，所述滤光片安装在工业相机镜头前端，所述透光性隔板固定在传感器外壳上且位于工业相机和激光发生器前端。
本发明相对于现有技术具有如下的优点及效果：
(1)本发明基于激光视觉传感器对焊缝特征点进行自动识别，并通过嵌入式工业控制机进行后续的算法处理以及和机器人之间的通讯，自动化程度高，焊接效率高；
2本发明通过对焊接过程中采集的图像进行净化和修复，有效解决了焊缝跟踪过程中存在的强噪声干扰问题，能够极大提高焊接精度和焊接质量；
3基于有效的抗噪声干扰性能，本发明所提方法能够在焊缝跟踪过程中持续保持很强的鲁棒性和稳定性。
附图说明
图1是本发明实施例的六轴焊接机器人激光视觉焊缝跟踪系统总体结构示意图；
图2是本发明实施例的六轴焊接机器人激光视觉焊缝跟踪系统中的激光视觉传感器的结构示意图；
图3是本发明的抗噪声干扰的激光视觉焊缝自动跟踪方法工作流程图；
图中：1-配套焊接设备；2-六轴焊接机器人；3-焊枪；4-激光视觉传感器；41-传感器外壳；42-相机；43-滤光片；44-激光发生器；45-透光性隔板；5-焊接工作台；6-工件；7-嵌入式工业控制机；8-机器人控制柜。
具体实施方式
下面结合实施例及附图对本发明作进一步的详细描述，但本发明的实施方式不限于此。
如图1和图2所示，一种抗噪声干扰的激光视觉焊缝自动跟踪方法，该方法所基于的跟踪系统包括六轴焊接机器人2、机器人控制柜8、配套的焊接设备1、激光视觉传感器4、嵌入式工业控制机7、焊接工作台5，工件6固定在焊接工作台5上，焊枪3通过固定元件(本实施例使用螺栓螺母紧固件)安装在焊接机器人2的末端法兰盘上，所述配套的焊接设备1为焊接提供能量、焊接材料和保护气等，所述激光视觉传感器4安装于焊枪3前方且与焊接方向平行，所述的嵌入式工业控制机7与激光视觉传感器4通过以太网连接，用于根据传感器所获取的图像准确定位到焊缝特征点，并将得到的位置传输给机器人控制柜8进行处理，实时控制焊枪3运动轨迹，实现准确的焊缝自动跟踪；所述激光视觉传感器4包括黑色氧化处理的传感器外壳41、工业相机42、滤光片43、激光发生器44、透光性隔板45，所述工业相机42和激光发生器44固定在传感器外壳41内部，且激光发生器44连接到5伏直流电源上，所述滤光片43安装在工业相机42镜头前端，所述透光性隔板45固定在传感器外壳41上且位于工业相机42和激光发生器44前端。
如图3所示，本实施例提供的一种抗噪声干扰的激光视觉焊缝自动跟踪方法，包括以下步骤：
S1、焊接开始前，激光视觉传感器4中的工业相机42采集初始焊接图像并发送到嵌入式工业控制机7，对采集的图像进行初始化处理，提取到初始焊缝特征点及其所在的邻近区域，并将得到的初始焊缝特征点像素坐标值转换成工业相机坐标系下的三维坐标值作为基准三维坐标值；具体而言，所述步骤S1包括：
S11、调整六轴焊接机器人2机械臂的位置和姿态，使得焊枪3末端位于待焊工件焊缝起始位置的正上方且焊枪3垂直于工件表面，并使得固定在焊枪3上的激光视觉传感器4处于最佳工作位置，即在焊接过程中既能捕捉到清晰的焊接图像(能够清楚完整地捕捉到激光发生器在工件上形成的激光条纹)，又不会和待焊工件发生干涉；
S12、激光视觉传感器4中的工业相机42获取图像并发送到嵌入式工业控制机7，嵌入式工业控制机7通过调用Halcon软件的库函数进行阈值处理、形态学修正的初始化处理，得到初始的焊缝特征点及其邻近区域；
S13、嵌入式工业控制机7将得到的焊接前初始焊缝特征点的像素坐标值转换成基于工业相机坐标系的基准三维坐标值。
S2、焊接开始后，所述的工业相机42连续采集焊接图像并逐帧发送至嵌入式工业控制机7进行基于条件对抗生成网络的焊接图像净化和修复处理；
具体而言，步骤S2中，所述的进行基于条件对抗生成网络的焊接图像净化和修复处理，包括以下步骤：
S21、构建基于条件对抗生成网络的焊接图像净化和修复网络；
S22、对步骤S21所构建的网络进行训练，并保存训练好的网络模型参数；
S23、用步骤S22所训练好的网络模型对输入的焊接图像进行净化和修复处理，输出特征信息清晰完整的焊接图像。
具体而言，步骤S21中，所述的焊接图像净化和修复网络主要由两部分组成，分别是生成器网络和判别器网络；生成器网络目的是获得输入的被污染的焊接图像与对应的真实图像之间的映射关系，从而对被污染的焊接图像进行修复，生成去噪图像；判别器网络的输入为无噪声的真实图像数据或所述生成器生成的修复图像，用于判别图像来源于训练数据还是合成数据的；生成器和判别器形成对抗关系，从而使得生成器对输入的被污染的焊接图像的还原能力越来越强；
对于生成器网络，为了降低计算复杂度，绕过不必要的瓶颈信息，采用8个卷积层加上8个反卷积层的U-Nets架构；其具体网络结构如下：
对于8个卷积层，采用卷积一批归一化-LReLU激活的结构搭建；前7个反卷积层采用反卷积一批归一化-ReLU激活的结构搭建，最后一层反卷积之后不进行批归一化而直接使用Tanh激活；
所述卷积层和反卷积层的卷积核大小均设置为3×3，滑动步长均设置为2；
对于判别器，其网络主要由5个卷积层组成，具体结构如下：
对于第一个卷积层，采用卷积-LReLU激活结构；中间3个卷积层采用卷积-批归一化-LReLU激活结构，加入批归一化能够有效防止梯度消失，加快网络收敛速度；最后一层在进行卷积操作后采用Sigmoid激活；
为降低计算复杂度，加快运行速度，对于所述判别器的最后一个卷积层，使其输出为32×32的网格，从而把原输入图像分为32×32个分块进行判别；
所述判别器网络各层的卷积核大小均为3×3，前4层滑动步长为2，最后一层滑动步长设置为1；
根据生成器生成结果和真实结果，计算损失，定义对抗网络的损失如下：
其中：E(·)表示数学期望，x表示无噪声的真实焊接图像，y表示输入的控制条件，即被噪声污染的焊接图像，G表示生成器的映射，G(y)表示生成的净化图像，D表示判别器的映射，D(x|y)表示判别器对真实图像对的判别结果，D(G(y)|y))表示判别器对净化图像对的判别结果，两个判别结果均为图像对的真实性概率，Ex，y和Ey则分别表示这两个判别结果的均值；
为使生成器的净化和修复效果在细节上更逼真，更好地还原焊接图像特征信息，在网络中额外定义了L1损失如下：
其中||·||1表示L1范数；
得到整个网络的总损失函数为：
其中λ表示L1损失的权重；
网络最终的优化目标可表示为：
其中arg表示使
优化后的网络参数，G*即为网络训练后得到的优化的生成器网络模型。
步骤S22中，所述的对步骤S21所构建的网络进行训练，并保存训练好的网络模型参数，具体如下：
训练开始前，获得焊接图像训练数据，具体如下：
在所基于的跟踪系统下，设置相同的采样时间间隔，根据示教轨迹对同一焊接工件分别进行无焊接采样和焊接采样，得到无噪声污染和有噪声的一一对应的焊接图像数据；
为增加训练样本多样性，避免训练过拟合，将采集的图像进行随机偏置和旋转处理；
为加快训练速度和图像的实时净化修复速度，对图像进行裁剪，使训练样本缩小到一定的大小；
训练时，对所构建的净化和修复网络设置训练的超参数和训练条件如下：
设置初始学习率为0.0002，批处理的样本量为一对；
设置L1损失的权重λ为100；
训练所用的优化方法为梯度下降法，借助TensorFlow库中的AdamOptimizer优化器对网络模型参数进行优化，并保存优化后的生成器网络模型。
步骤S23中，用步骤S22所训练好的网络模型对输入的焊接图像进行净化和修复处理，输出特征信息清晰完整的焊接图像，包括以下步骤：
若当前焊接图像为起始帧，则以手动选择的焊缝特征点为中心，将输入的图像裁剪到与训练样本一致的大小；
若当前焊接图像非起始帧，则以前一帧定位到的焊缝特征点为中心，将输入的图像裁剪到与训练样本一致的大小；
将裁剪后的图像输入到优化后的生成器网络模型，得到净化和修复后的焊接图像。
S3、将净化和修复处理后的图像进行特征提取处理；利用高效卷积算子对提取特征后的图像进行跟踪算法处理，定位到图像中的焊缝特征点，并且用新的样本训练和更新高效卷积算子跟踪算法的滤波器参数；
步骤S3中，所述的将净化和修复处理后的图像进行特征提取处理，具体是采用梯度方向直方图提取特征。
步骤S3中，所述的利用高效卷积算子对提取特征后的图像进行跟踪算法处理，定位到图像中的焊缝特征点，并且用新的样本训练和更新高效卷积算子跟踪算法的滤波器参数，包括步骤如下：
S31、以起始帧焊缝特征点为中心的跟踪目标作为训练样本，训练高效卷积算子跟踪算法的滤波器；
S32、将每一个特征通道通过插值的方法转换到连续的空间域上：
其中ud代表特征通道，d表示特征通道索引，Jd{ud}表示插值运算，n为像素点索引，Nd表示该特征通道里所采样的像素点数，bd表示插值函数，T表示插值后的连续空间域的范围，t∈[0，T)；
S33、为提高运算效率，高效卷积算子跟踪算法从D维特征选择其中C维，使用一组贡献较大的滤波器f1，...fC进行卷积运算，其中C＜D；然后使用一组学习系数pa，c将层数为d的特征P的滤波器构造为滤波器fC的一个线性组合
这些系数可以简明地表示为矩阵P＝pd，c，维度为D×C；则多通道滤波器可以写成矩阵向量乘积Pf，此时检测函数为：
SPf{u}＝Pf*J{u}＝∑c，dpd，cfc*Jdn{ud}＝f*PTJ{u}
其中SPf{u}即为高效卷积算子，f为卷积滤波器，J{u}表示整体插值特性映射，u为特征通道变量，符号*表示卷积运算；
S34、为简化符号，用
表示插值后的特征图的傅里叶系数，
表示该傅里叶系数，k为连续空间域变量在傅里叶域的表示，Ud表示ud的离散傅里叶变换，
为插值函数bd在傅里叶域的表示，则跟踪的目标函数可表示如下：
其中：
表示对应样本中跟踪算法定位到的目标位置，l为分组索引，
为l2范数，
为滤波器的傅里叶域表示，c为特征通道索引，
表示正则化参数，||P||F为P的Frobenius范数，λ为权重控制系数；
代表插值后的特征图，
代表c通道上的滤波器；
S35、通过高斯-牛顿法和共轭梯度法进行最优化问题的求解，得到焊缝特征点的目标位置，之后对每一帧图像进行滤波器参数的训练和更新。
S4、所述图像中焊缝特征点的像素坐标值转换成工业相机坐标系下的目标三维坐标值后与所述基准三维坐标值计算得到偏差值并实时发送给机器人控制柜8进行处理，控制六轴焊接机器人2上的焊枪3沿工件的焊缝轨迹运动，完成焊缝自动跟踪。
本实施例解决了当前焊缝跟踪方法中所存在的强噪声干扰问题，具有自动化程度高，抗干扰能力强，鲁棒性和稳定性好，焊接精度高等优点。
上述实施例为本发明较佳的实施方式，但本方明的实施方式并不受上述实施例的限制，其他的任何背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.一种抗噪声干扰的激光视觉焊缝自动跟踪方法，该方法所基于的跟踪系统包括焊接机器人、机器人控制柜、配套的焊接设备、激光视觉传感器、嵌入式工业控制机、焊接工作台，其特征在于，包括下步骤：
S1、焊接开始前，激光视觉传感器中的工业相机采集初始焊接图像并发送到嵌入式工业控制机，对采集的图像进行初始化处理，提取到初始焊缝特征点及其所在的邻近区域，并将得到的初始焊缝特征点像素坐标值转换成工业相机坐标系下的三维坐标值作为基准三维坐标值；
S2、焊接开始后，所述的工业相机连续采集焊接图像并逐帧发送至嵌入式工业控制机进行基于条件对抗生成网络的焊接图像净化和修复处理；
S3、将净化和修复处理后的图像进行特征提取处理；利用高效卷积算子对提取特征后的图像进行跟踪算法处理，定位到图像中的焊缝特征点，并且用新的样本训练和更新高效卷积算子跟踪算法的滤波器参数；
S4、将步骤S3图像中焊缝特征点的像素坐标值转换成工业相机坐标系下的目标三维坐标值后与所述基准三维坐标值作差，得到偏差值，并实时发送给机器人控制柜进行处理，控制焊接机器人上的焊枪沿工件的焊缝轨迹运动，完成焊缝自动跟踪。
2.根据权利要求1所述的抗噪声干扰的激光视觉焊缝自动跟踪方法，其特征在于，所述步骤S1具体包括：
S11、调整焊接机器人机械臂的位置和姿态，使得焊枪末端位于待焊工件焊缝起始位置的正上方且焊枪垂直于工件表面，并使得固定在焊枪上的激光视觉传感器处于最佳工作位置，即在焊接过程中既能捕捉到清晰的焊接图像，又不会和待焊工件发生干涉；
S12、激光视觉传感器中的工业相机获取图像并发送到嵌入式工业控制机，嵌入式工业控制机通过调用Halcon软件的库函数进行阈值处理、形态学修正的初始化处理，得到初始的焊缝特征点及其邻近区域；
S13、嵌入式工业控制机将得到的焊接前初始焊缝特征点的像素坐标值转换成基于工业相机坐标系的基准三维坐标值。
3.根据权利要求1所述的抗噪声干扰的激光视觉焊缝自动跟踪方法，其特征在于：步骤S2中，所述的进行基于条件对抗生成网络的焊接图像净化和修复处理，具体包括以下步骤：
S21、构建基于条件对抗生成网络的焊接图像净化和修复网络；
S22、对步骤S21所构建的网络进行训练，并保存训练好的网络模型参数；
S23、用步骤S22所训练好的网络模型对输入的焊接图像进行净化和修复处理，输出焊接图像。
4.根据权利要求3所述的抗噪声干扰的激光视觉焊缝自动跟踪方法，其特征在于：步骤S21中，所述的焊接图像净化和修复网络主要由两部分组成，分别是生成器网络和判别器网络；生成器网络目的是获得输入的被污染的焊接图像与对应的真实图像之间的映射关系，从而对被污染的焊接图像进行修复，生成去噪图像；判别器网络的输入为无噪声的真实图像数据或所述生成器生成的修复图像，用于判别图像来源于训练数据还是合成数据的；生成器和判别器形成对抗关系，从而使得生成器对输入的被污染的焊接图像的还原能力越来越强；
所述生成器网络采用8个卷积层加上8个反卷积层的U-Nets架构；其具体网络结构如下：
所述8个卷积层采用卷积—批归一化—LReLU激活的结构搭建；前7个反卷积层采用反卷积—批归一化—ReLU激活的结构搭建，最后一层反卷积之后不进行批归一化而直接使用Tanh激活；
所述卷积层和反卷积层的卷积核大小均设置为3×3，滑动步长均设置为2；
所述判别器网络主要由5个卷积层组成，具体结构如下：
对于第一个卷积层，采用卷积—LReLU激活结构；中间3个卷积层采用卷积—批归一化—LReLU激活结构，加入批归一化能够有效防止梯度消失，加快网络收敛速度；最后一层在进行卷积操作后采用Sigmoid激活；
为降低计算复杂度，加快运行速度，对于所述判别器的最后一个卷积层，使其输出为32×32的网格，从而把原输入图像分为32×32个分块进行判别；
所述判别器网络各层的卷积核大小均为3×3，前4层滑动步长为2，最后一层滑动步长设置为1；
根据生成器生成结果和真实结果，计算损失，定义对抗网络的损失如下：
其中：x表示无噪声的真实焊接图像，y表示输入的控制条件，即被噪声污染的焊接图像，G表示生成器的映射，G(y)表示生成的净化图像，D表示判别器的映射，D(x|y)表示判别器对真实图像对的判别结果，D(G(y)|y))表示判别器对净化图像对的判别结果，两个判别结果均为图像对的真实性概率，Ex,y和Ey则分别表示这两个判别结果的均值；
为使生成器的净化和修复效果在细节上更逼真，更好地还原焊接图像特征信息，在网络中额外定义L1损失如下：
其中‖·‖1表示L1范数；
得到整个网络的总损失函数为：
其中λ表示L1损失的权重；
网络最终的优化目标表示为：
其中arg表示使
优化后的网络参数，G*即为网络训练后得到的优化的生成器网络模型。
5.根据权利要求3所述的抗噪声干扰的激光视觉焊缝自动跟踪方法，其特征在于：步骤S22中，所述的对步骤S21所构建的网络进行训练，并保存训练好的网络模型参数具体如下：
训练开始前，获得焊接图像训练数据，具体如下：
设置相同的采样时间间隔，根据示教轨迹对同一焊接工件分别进行无焊接采样和焊接采样，得到无噪声污染和有噪声的一一对应的焊接图像数据；
为增加训练样本多样性，避免训练过拟合，将采集的图像进行随机偏置和旋转处理；
为加快训练速度和图像的实时净化修复速度，对图像进行裁剪，使训练样本缩小到设定的大小；
训练时，对构建好的净化和修复网络设置训练的超参数和训练条件如下：
设置初始学习率为0.0002，批处理的样本量为一对；
设置所述L1损失的权重λ为100；
训练所用的优化方法为梯度下降法，借助TensorFlow库中的AdamOptimizer优化器对网络模型参数进行优化，并保存优化后的生成器网络模型。
6.根据权利要求3所述的抗噪声干扰的激光视觉焊缝自动跟踪方法，其特征在于：步骤S23中，所述的用步骤S22所训练好的网络模型对输入的焊接图像进行净化和修复处理，具体如下：
若当前焊接图像为起始帧，则以手动选择的焊缝特征点为中心，将输入的图像裁剪到与所述的训练样本一致的大小；
将裁剪后的图像输入到所述的优化后的生成器网络模型，得到净化和修复后的焊接图像。
7.根据权利要求1所述的抗噪声干扰的激光视觉焊缝自动跟踪方法，其特征在于：步骤S3中，所述的将净化和修复处理后的图像进行特征提取处理，具体是采用梯度方向直方图提取特征。
8.根据权利要求1所述的抗噪声干扰的激光视觉焊缝自动跟踪方法，其特征在于：步骤S3中，所述的利用高效卷积算子对提取特征后的图像进行跟踪算法处理，定位到图像中的焊缝特征点，并且用新的样本训练和更新高效卷积算子跟踪算法的滤波器参数，包括以下步骤：
S31、以起始帧焊缝特征点为中心的跟踪目标作为训练样本，训练高效卷积算子跟踪算法的滤波器；
S32、将每一个特征通道通过插值的方法转换到连续的空间域上：
其中ud代表特征通道，d表示特征通道索引，Jd{ud}表示插值运算，n为像素点索引，Nd表示该特征通道里所采样的像素点数，bd表示插值函数，T表示插值后的连续空间域的范围，t∈[0,T)；
S33、为提高运算效率，高效卷积算子跟踪算法从D维特征选择其中C维，使用一组贡献较大的滤波器f1,…fC进行卷积运算，其中C＜D；然后使用一组学习系数pd,c将层数为d的特征P的滤波器构造为滤波器fC的一个线性组合
这些系数表示为矩阵P＝pd,c，维度为D×C；则多通道滤波器写成矩阵向量乘积Pf，此时检测函数为：
SPf{u}＝Pf*J{u}＝∑c,dpd,cfc*Jdn{ud}＝f*PTJ{u}
其中SPf{u}即为高效卷积算子，f为卷积滤波器，J{u}表示整体插值特性映射，u为特征通道变量,符号*表示卷积运算；
S34、为简化符号，用
表示插值后的特征图的傅里叶系数，
表示该傅里叶系数，k为连续空间域变量在傅里叶域的表示，Ud表示ud的离散傅里叶变换，
为插值函数bd在傅里叶域的表示，则跟踪的目标函数可表示如下:
其中：
表示对应样本中跟踪算法定位到的目标位置，l为分组索引，
为l2范数，
为滤波器的傅里叶域表示，c为特征通道索引，
表示正则化参数，‖P‖F为P的Frobenius范数，λ为权重控制系数；
代表插值后的特征图，
代表c通道上的滤波器；
S35、通过高斯-牛顿法和共轭梯度法进行最优化问题的求解，得到焊缝特征点的目标位置，之后对每一帧图像进行滤波器参数的训练和更新。
9.实施权利要求1所述的抗噪声干扰的激光视觉焊缝自动跟踪方法的系统，其特征在于：包括焊接机器人、焊枪、机器人控制柜、配套的焊接设备、激光视觉传感器、嵌入式工业控制机和焊接工作台；工件固定在焊接工作台上，焊枪通过固定元件安装在焊接机器人的末端法兰盘上；所述配套的焊接设备为焊接提供能量、焊接材料和保护气；所述激光视觉传感器安装于焊枪前方且与焊接方向平行，所述的嵌入式工业控制机与激光视觉传感器通过以太网连接，用于根据传感器所获取的图像准确定位到焊缝特征点，并将得到的位置传输给机器人控制柜进行处理，实时控制焊枪运动轨迹，实现焊缝自动跟踪。
10.根据权利要求9所述的抗噪声干扰的激光视觉焊缝自动跟踪系统，其特征在于：所述激光视觉传感器包括传感器外壳、工业相机、滤光片、激光发生器、透光性隔板，所述工业相机和激光发生器固定在传感器外壳内部，且激光发生器连接到5伏直流电源上，所述滤光片安装在工业相机镜头前端，所述透光性隔板固定在传感器外壳上且位于工业相机和激光发生器前端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010131655.8A CN111299763B (zh) | 2020-02-28 | 2020-02-28 | 一种抗噪声干扰的激光视觉焊缝自动跟踪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010131655.8A CN111299763B (zh) | 2020-02-28 | 2020-02-28 | 一种抗噪声干扰的激光视觉焊缝自动跟踪方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111299763A true CN111299763A (zh) | 2020-06-19 |
| CN111299763B CN111299763B (zh) | 2021-09-21 |
Family
ID=71153555
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010131655.8A Expired - Fee Related CN111299763B (zh) | 2020-02-28 | 2020-02-28 | 一种抗噪声干扰的激光视觉焊缝自动跟踪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111299763B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112756742A (zh) * | 2021-01-08 | 2021-05-07 | 南京理工大学 | 一种基于ERFNet网络的激光视觉焊缝跟踪系统 |
| CN112801984A (zh) * | 2021-01-29 | 2021-05-14 | 华南理工大学 | 一种激光视觉系统下的基于对抗学习的焊缝定位方法 |
| CN112935650A (zh) * | 2021-01-29 | 2021-06-11 | 华南理工大学 | 一种焊接机器人激光视觉系统标定优化方法 |
| CN114131149A (zh) * | 2021-12-24 | 2022-03-04 | 厦门大学 | 一种基于CenterNet的激光视觉焊缝跟踪系统、设备及存储介质 |
| CN114612325A (zh) * | 2022-03-09 | 2022-06-10 | 华南理工大学 | 一种合成焊缝噪声图像的方法 |
| CN117218188A (zh) * | 2023-07-31 | 2023-12-12 | 深圳市大满包装有限公司 | 一种用于罐身加工的深度学习定位优化方法 |
| CN118002888A (zh) * | 2024-04-10 | 2024-05-10 | 南京理工大学 | 一种基于时序信息融合的鲁棒实时焊缝跟踪方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5448503A (en) * | 1992-07-31 | 1995-09-05 | The United States Of America As Represented By The Secretary Of The Navy | Acoustic monitor |
| CN206561226U (zh) * | 2016-10-12 | 2017-10-17 | 华南理工大学 | 一种激光视觉引导的焊接轨迹自动跟踪系统 |
| CN107999955A (zh) * | 2017-12-29 | 2018-05-08 | 华南理工大学 | 一种六轴工业机器人线激光焊缝自动跟踪系统及方法 |
| CN110110780A (zh) * | 2019-04-30 | 2019-08-09 | 南开大学 | 一种基于对抗神经网络和海量噪声数据的图片分类方法 |
| CN110223254A (zh) * | 2019-06-10 | 2019-09-10 | 大连民族大学 | 一种基于对抗生成网络的图像去噪方法 |
| CN110480128A (zh) * | 2019-08-28 | 2019-11-22 | 华南理工大学 | 一种六自由度焊接机器人线激光实时焊缝跟踪方法 |
-
2020
- 2020-02-28 CN CN202010131655.8A patent/CN111299763B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5448503A (en) * | 1992-07-31 | 1995-09-05 | The United States Of America As Represented By The Secretary Of The Navy | Acoustic monitor |
| CN206561226U (zh) * | 2016-10-12 | 2017-10-17 | 华南理工大学 | 一种激光视觉引导的焊接轨迹自动跟踪系统 |
| CN107999955A (zh) * | 2017-12-29 | 2018-05-08 | 华南理工大学 | 一种六轴工业机器人线激光焊缝自动跟踪系统及方法 |
| CN110110780A (zh) * | 2019-04-30 | 2019-08-09 | 南开大学 | 一种基于对抗神经网络和海量噪声数据的图片分类方法 |
| CN110223254A (zh) * | 2019-06-10 | 2019-09-10 | 大连民族大学 | 一种基于对抗生成网络的图像去噪方法 |
| CN110480128A (zh) * | 2019-08-28 | 2019-11-22 | 华南理工大学 | 一种六自由度焊接机器人线激光实时焊缝跟踪方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112756742A (zh) * | 2021-01-08 | 2021-05-07 | 南京理工大学 | 一种基于ERFNet网络的激光视觉焊缝跟踪系统 |
| CN112801984A (zh) * | 2021-01-29 | 2021-05-14 | 华南理工大学 | 一种激光视觉系统下的基于对抗学习的焊缝定位方法 |
| CN112935650A (zh) * | 2021-01-29 | 2021-06-11 | 华南理工大学 | 一种焊接机器人激光视觉系统标定优化方法 |
| CN114131149A (zh) * | 2021-12-24 | 2022-03-04 | 厦门大学 | 一种基于CenterNet的激光视觉焊缝跟踪系统、设备及存储介质 |
| CN114612325A (zh) * | 2022-03-09 | 2022-06-10 | 华南理工大学 | 一种合成焊缝噪声图像的方法 |
| CN114612325B (zh) * | 2022-03-09 | 2024-03-22 | 华南理工大学 | 一种合成焊缝噪声图像的方法 |
| CN117218188A (zh) * | 2023-07-31 | 2023-12-12 | 深圳市大满包装有限公司 | 一种用于罐身加工的深度学习定位优化方法 |
| CN118002888A (zh) * | 2024-04-10 | 2024-05-10 | 南京理工大学 | 一种基于时序信息融合的鲁棒实时焊缝跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111299763B (zh) | 2021-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111299763B (zh) | 一种抗噪声干扰的激光视觉焊缝自动跟踪方法及系统 | |
| CN206263418U (zh) | 一种六自由度焊接机器人线激光实时焊缝跟踪系统 | |
| CN109035204B (zh) | 一种焊缝目标实时检测方法 | |
| CN106392267A (zh) | 一种六自由度焊接机器人线激光实时焊缝跟踪方法 | |
| CN108637435B (zh) | 一种基于视觉与弧压传感的三维焊缝跟踪系统及方法 | |
| CN107999955A (zh) | 一种六轴工业机器人线激光焊缝自动跟踪系统及方法 | |
| CN111299761A (zh) | 一种焊缝跟踪系统的实时姿态估计方法 | |
| CN114571153B (zh) | 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法 | |
| CN111299762B (zh) | 一种分离强噪声干扰的激光实时焊缝跟踪方法 | |
| WO2020037803A1 (zh) | 基于近红外双目视觉识别的角接接头熔透控制方法 | |
| CN110210497B (zh) | 一种鲁棒实时焊缝特征检测方法 | |
| CN108067714A (zh) | 一种薄壁环缝端接质量在线监测与缺陷定位系统及方法 | |
| Liu et al. | Seam tracking system based on laser vision and CGAN for robotic multi-layer and multi-pass MAG welding | |
| CN113379740A (zh) | 基于穿孔熔池图像和深度学习的vppaw熔透原位实时监测系统 | |
| CN114453708A (zh) | 一种铝合金焊接缺陷在线监测方法 | |
| CN114851209B (zh) | 一种基于视觉的工业机器人工作路径规划优化方法及系统 | |
| CN116833645A (zh) | 基于移动机器人的焊缝自主识别与焊接方法及系统 | |
| CN114536346B (zh) | 一种基于人机协作和视觉检测的机械臂精确路径规划方法 | |
| CN112935650B (zh) | 一种焊接机器人激光视觉系统标定优化方法 | |
| CN109671059B (zh) | 一种基于OpenCV的电池盒图像处理方法及系统 | |
| CN112801984B (zh) | 一种激光视觉系统下的基于对抗学习的焊缝定位方法 | |
| CN116475563A (zh) | 一种深度学习三维焊缝跟踪方法及装置 | |
| Ye et al. | Weld seam tracking based on laser imaging binary image preprocessing | |
| CN208147131U (zh) | 一种六轴工业机器人线激光焊缝自动跟踪系统 | |
| CN114932292B (zh) | 一种窄间隙被动视觉焊缝跟踪方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210921 |