CN116475563A - 一种深度学习三维焊缝跟踪方法及装置 - Google Patents

一种深度学习三维焊缝跟踪方法及装置 Download PDF

Info

Publication number
CN116475563A
CN116475563A CN202310661620.9A CN202310661620A CN116475563A CN 116475563 A CN116475563 A CN 116475563A CN 202310661620 A CN202310661620 A CN 202310661620A CN 116475563 A CN116475563 A CN 116475563A
Authority
CN
China
Prior art keywords
welding
weld
network
tracking
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310661620.9A
Other languages
English (en)
Inventor
刘向荣
褚兆琪
柳娟
胡亚伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202310661620.9A priority Critical patent/CN116475563A/zh
Publication of CN116475563A publication Critical patent/CN116475563A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/04—Automatically aligning, aiming or focusing the laser beam, e.g. using the back-scattered light
    • B23K26/044—Seam tracking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/70—Auxiliary operations or equipment
    • B23K26/702—Auxiliary equipment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开一种深度学习三维焊缝跟踪方法及装置，其包括：实时采样图像输入给训练好的深度学习模型，得到焊缝接头结构类型和焊缝特征点信息；焊缝特征点信息通过标定得到的空间变换关系转化为焊接路径；根据焊接路径带动焊接头进行焊接；当识别出焊缝的终点或者焊接超时或累计运动距离超过设定值后，停止焊接并将焊接机器人移回原点；本发明对深度学习模型CenterNet和CenterTrack的训练步骤进行修改，调整了它们的网络结构，并通过单次网络结构搜索得到适用于提取焊缝图片特征的网络结构，使其更适应线结构光采样的焊缝图像；并对焊缝特征提取网络进行自监督预训练获得预训练权重，在减少网络结构复杂度的基础上，降低算法推理时间，同时提高识别的精确度。

Description

一种深度学习三维焊缝跟踪方法及装置
技术领域
本发明属于焊缝跟踪领域，具体是一种基于NAS搜索和预训练的深度学习三维焊缝跟踪方法及装置。
背景技术
目前，许多机器人自动化焊接都采用焊缝跟踪技术进行焊接位置的自主定位，这需要系统能够实时对被焊工件的焊缝特征进行识别，而机器视觉技术是实现这一领域相关目标的主流方法之一，这类方法中有采用传统形态学方法进行识别的，也有采用机器学习等较为新颖的方法进行实现的。其中传统方法往往需要的计算资源不高，实时性强，但缺少泛用性，因此难以适用于一些具有三维复杂结构的工件。而机器学习的方法，在泛用性上具备优势，但许多算法需要庞大的计算资源作为支撑，提高了硬件成本。因此在较小的计算资源上实现基于机器学习的高实时性机器视觉焊缝跟踪技术变得尤为重要，为此现有技术对于三维焊缝跟踪进行了深入研究。
例如申请号为CN202110877943的发明专利公开一种用于焊接机器人的焊缝识别方法、装置及存储介质，此专利采用线结构光技术进行焊缝识别，其识别的过程主要采用形态学的计算方法，其先对焊缝影像中的轮廓线进行提取，然后针对不同的焊缝接头结构类型，根据预先定义的轮廓类型，对轮廓线进行分析提取表征焊接位置的特征点，从而确定焊接位置。该发明既能识别多种常规焊缝又重点解决了制造业窄焊缝识别的难点。
再例如申请号为CN202011477237的发明专利公开一种基于独立纠偏深度学习的焊缝跟踪方法及装置，该方法同样采用线结构光技术，但其视觉算法采用深度学习中的YOLO模型进行实现，此方法能够在存在噪声干扰的情况下实时定位焊缝位置，具有较高的鲁棒性能。
上述现有技术具有如下不足：
(1)基于传统形态学方法的焊缝跟踪技术往往都针对特定的焊缝接头结构类型进行设计，如角接焊缝、对接焊缝、搭接焊缝等等，且消除噪声的模式单一，而对于一些特殊形状工件的焊缝或者复合类型焊缝的识别，缺乏泛用性，难以实现柔性生产。
(2)目前许多方法对焊缝跟踪过程的起止位置的自动判断并没有做深入设计，许多涉及这方面的内容也需要通过一些辅助标记来进行实现。同时，由于线结构光技术采样的图像是二维影像，仅通过形态学的方法从采样影像中判断出图像在整条焊缝中的具体位置较为困难。
(3)为了实现高柔性的生产，许多焊缝跟踪方法采用机器学习，特别是深度学习技术。这类技术需要消耗大量的计算资源，推高了计算成本，降低了系统的实时性，影响焊接效率。
(4)目前许多应用于该领域的深度学习方法都采用基于候选框的网络结构，如YOLO、Faster-RCNN等，而焊缝焊接位置通常只为一个点，因此这些基于候选框的方法并不完全适用于识别焊缝特征点，消耗了大量多余的计算资源。
(5)CenterNet是一种无需候选框的深度学习方法，识别速度快且只需要定位识别位置，适用于基于线结构光的焊缝跟踪场景，但它没有将具有时序关联的图片集联系起来，浪费了时间连续数据集在时序上的相关性，影响了识别效率和准确性。
为此，本申请人在先申请的申请号为CN202111598385的发明专利公开一种基于CenterNet的激光视觉焊缝跟踪系统、设备及存储介质，该方法基于CenterNet视觉算法设计搭载线结构光的焊接机器人焊缝跟踪系统，同时该方案还将机器人运动状态信息和图像进行整合，使得系统能够将视觉特征和机器人运动状态结合起来实现端到端的训练，提高焊缝跟踪的实时性，加大了优化空间。但是该发明同样没有将具有时序关联的图片集联系起来，浪费了时间连续数据集在时序上的相关性，影响了识别效率和准确性。
发明内容
在下文中给出了关于本发明实施例的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，以下概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
根据本申请的一个方面，提供一种深度学习三维焊缝跟踪方法，应用于三维焊缝跟踪设备中，该三维焊缝跟踪设备包括焊接机器人、机器人控制柜、线结构光传感器、焊接机、焊接头和工控机，线结构光传感器和焊接头通过安装支架同轴安装在焊接机器人的末端，进行跟踪焊接时，焊接机器人带动末端运动，由焊接头和线结构光传感器同时对放置于工作台上的待测工件进行采样和焊接；该三维焊缝跟踪方法包括：
步骤1：由线结构光传感器实时采样图像输入给训练好的深度学习模型，得到焊缝接头结构类型和焊缝特征点信息；
步骤2：将焊缝特征点信息通过标定得到的空间变换关系转化为引导机器人运动的控制点形成焊接路径，发送给焊接机器人；
步骤3：焊接机器人运动，根据焊接路径带动焊接头进行焊接。
步骤4：当识别出焊缝的终点或者焊接超时或累计运动距离超过设定值后，停止焊接并将焊接机器人移回原点；
其中，所述深度学习模型的训练步骤如下：
步骤a：采集焊缝样本图像并制作为数据集；
步骤b：修改焊缝检测网络CenterNet网络结构和焊缝跟踪网络CenterTrack网络结构；
步骤c：对焊缝特征提取网络进行自监督预训练获得预训练权重；
步骤d：对修改后的焊缝检测网络CenterNet和焊缝跟踪网络CenterTrack进行训练，得到深度学习模型。
线结构光发生器投射结构光至待测工件的表面，形成一条激光条纹，CCD相机透过滤光镜采样激光条纹影像完成采样。在这种技术下，系统能够通过激光条纹的形状来获知工件表面的形貌信息，从而去判断激光条纹上哪一个特征点为需要焊接的位置。根据这一特征，本方法采用的深度学习网络有两种，分别是CenterNet和CenterTrack，其中CenterNet网络负责从图像中定位识别对象的类别和位置，这种方法能够将目标视为一个点而不使用候选框进行识别，适用于本应用场景。另一方面，焊接过程中存在着各种干扰如弧光干扰，飞溅干扰等等，因此采用CenterTrack网络将图像与图像在时间上关联起来，在干扰环境中稳定地识别焊缝特征点。此外，为了使CenterNet和CenterTrack的网络结构适用于焊缝特征的识别，通过单次网络结构搜索方法搜寻特征提取网络，并通过自监督训练的方式获得预训练权重，实现对CenterNet和CenterTrack的修改，使其更适应于基于线结构光技术的焊缝跟踪场景下的视觉采集应用。
进一步的，所述的步骤(a)包括以下步骤：
步骤(a1)、对比较常见的四类焊缝接头结构工件进行采样，获取数据集；
步骤(a2)、对步骤(a1)中的数据集标注焊缝接头结构类型和焊接特征点坐标；
步骤(a3)、在所需要焊接的三维复杂结构批量工件中取出部分工件；使用示教的方式，使机器人沿着焊接路径对焊缝进行采样；
步骤(a4)、对步骤(a3)获得的数据集标注焊接特征点坐标，同时在数据集中挑出焊缝起点和终点位置的影像标注为特殊类型。
其中，步骤(a1)和步骤(a3)中数据集指线结构光传感器采样的图片集合，每次采样，机器人携带传感器从焊缝的一头运行到另一头，在这期间传感器以一定的频率拍摄图像，因此在每次采样得到的图片集中，相邻图片在时序上前后相关。步骤(a2)中四类常见的焊缝接头结构类型指对接、内角接、外角接、搭接。
进一步的，所述步骤(b)修改焊缝检测网络CenterNet网络结构和焊缝跟踪网络CenterTrack网络结构包括以下步骤：
步骤(b1)、去除CenterNet的尺寸预测分支，修改后焊缝检测网络结构的损失函数为Ldet＝Lk_d+λoff_dLoff_d；Lk_d为热力图预测损失函数，Loff_d为热力图中心点偏移预测损失函数，λoff_d为用于控制损失函数之间权重的系数；
步骤(b2)、去除CenterTrack的位移预测分支，修改后焊缝跟踪网络结构的损失函数为Ltrack＝Lk_t+λoff_tLoff_t；Lk_t为热力图预测损失函数，Loff_t为热力图中心点偏移预测损失函数，λoff_t为用于控制损失函数之间权重的系数；其中，Lk_d和Lk_t相同，Loff_d和Loff_t相同，λoff_d和λoff_t相同，去除CenterTrack的位移预测分支，导致其修改后的焊缝跟踪网络结构的损失函数Ltrack与去除CenterNet的尺寸预测分支而修改后焊缝检测网络结构的损失函数Ldet相同；
步骤(b3)、对CenterNet和CenterTrack中的提取热力图中尖峰的步骤进行修改，直接输出热力图的最大值作为识别到的焊缝位置。
步骤(b4)、使用单次网络结构搜索方法得到适用于焊缝特征提取的CenterNet和CenterTrack特征提取网络。
其中，步骤(b4)中的单次网络结构搜索(One-shoot NAS)，“网络结构搜索(NSA)”是一类通过自动化搜索算法来寻找深度神经网络结构的方法概念，单次网络结构搜索是NSA门类中的其中一种具体方法。本发明采用″单次网络结构搜索″的目的是为了替换原生的CenterNet网络和CenterTrack网络的特征提取网络，使得网络结构更强调对符合特定模式的焊缝特征点进行检测和跟踪。为此本发明在训练超图的过程中采用焊缝图像进行训练，使得训练出的超图中的网络结构适用于上述场景。
进一步的，所述步骤(b4)使用单次网络结构搜索方法得到适用于焊缝特征提取的CenterNet和CenterTrack特征提取网络包括以下步骤：
步骤(b41)、设计网络搜索空间，采用移动翻转瓶颈卷积作为网络基础模块，整个搜索空间包括4个不同的移动翻转瓶颈卷积模块，每个模块选择相同或者不同的expandratio，layers，kernel size和stride等参数。
步骤(b42)、根据所设计的网络搜索空间，对其超图(包含所有可能的特征提取网络)使用单路经均匀采样方法和SGD梯度下降方法通过焊缝影像数据集进行训练，直到收敛；
步骤(b43)、制定网络的评价标准，使用遗传算法，对每个可能的特征提取网络，使用超图中训练好的参数进行评价，并搜索得到最优的网络结构作为焊缝特征提取网络。
其中，步骤(b43)中的评价标准为cost＝err+maxerr+flops×3，其中err表示子网络用于焊缝位置检测的平均像素误差，maxerr表示最大的像素误差，flops表示计算量。
进一步的，所述步骤(c)对焊缝特征提取网络进行自监督预训练获得预训练权重具体包括以下步骤：
步骤(c1)、将步骤(b)得到的焊缝特征提取网络作为编码器，在网络末端添加一个由反卷积层叠加而成的解码器，构成编码器-解码器网络结构；
步骤(c2)、对模型输入遮掩过的焊缝图片，并使用未遮掩的图片作为监督信号进行训练。
步骤(c2)中遮掩过的焊缝图片指：
在数据集的无标签图片集中取出一半进行像素遮掩，对另一半进行区域遮掩，其中像素遮掩指将图片中的某些随机像素覆盖为遮掩值，区域遮掩指在图片中随机生成一块由遮掩像素组成的矩形区域。
进一步的，所述步骤(d)对修改后的焊缝检测网络CenterNet和焊缝跟踪网络CenterTrack进行训练具体包括以下步骤：
步骤(d1)、利用预训练权重初始化修改后的焊缝检测网络CenterNet；
步骤(d2)、对数据集的数据采用随机水平旋转、添加随机噪声和随机平移的方式进行增强，得到增强后的数据；
步骤(d3)、将增强后的数据输入给修改后的焊缝检测网络CenterNet进行迭代训练；
步骤(d4)、使用训练好的焊缝检测网络CenterNet模型参数初始化焊缝跟踪网络CenterTrack；
步骤(d5)、将数据集中时间相关的图片集合组合成真实视频数据，同时将部分图片通过随机缩放和平移来模拟采样过程中焊缝图像的变化过程，由此生成模拟视频；
步骤(d6)、将真实视频和模拟视频输入给焊缝跟踪网络CenterTrack模型进行训练。
进一步的，所述步骤1包括以下步骤：
步骤(11)、输入一张图片，首先由CenterNet网络识别这张图片中焊缝的类型和焊接位置的坐标，同时每个类型输出一个置信度，超过该阈值判断为识别成功否则为失败；
步骤(12)、在后续输入新的图片后，根据前一张图片、当前图片和前一张图片的热力图三个信息，由CenterTrack网络进行跟踪得到当前图片中的焊缝特征点坐标以及该坐标对应的置信度，与步骤(11)同样，超过置信度阈值的判断为这一帧跟踪成功，否则为失败；其中，第一图片的热力图同步骤(b3)的热力图一样都是指焊缝跟踪网络CenterNet对特征提取网络的输出进行卷积操作得到的图像；
步骤(13)、如果在跟踪过程中出现跟踪失败，就重新运行CenterNet进行检测来定位新的焊缝特征点坐标；
步骤(12)中热力图指CenterNet对特征提取网络的输出进行卷积操作得到的图像。具体来说，对于一幅高度为H，长度为W，通道数为3的图像I∈RW×H×3，热力图为其中R为深度特征提取的下采样步长，C为需要检测的目标种类。热力图中，值为1的像素的坐标即为预测的焊缝焊接位置坐标。
步骤(b3)中的热力图与步骤(12)的热力图具有相同含义。
根据本申请的另一方面，提供一种深度学习三维焊缝跟踪装置，应用于三维焊缝跟踪设备中，该三维焊缝跟踪设备包括焊接机器人、机器人控制柜、线结构光传感器、焊接机、焊接头和工控机，线结构光传感器和焊接头通过安装支架同轴安装在焊接机器人的末端，进行跟踪焊接时，焊接机器人带动末端运动，由焊接头和线结构光传感器同时对放置于工作台上的待测工件进行采样和焊接；该三维焊缝跟踪装置包括：
第一模块：用于由线结构光传感器实时采样图像输入给训练好的深度学习模型，得到焊缝接头结构类型和焊缝特征点信息；
第二模块：用于将焊缝特征点信息通过标定得到的空间变换关系转化为引导机器人运动的控制点形成焊接路径，发送给焊接机器人；
第三模块：用于根据焊接路径使焊接机器人带动焊接头进行焊接；
第四模块：用于当识别出焊缝的终点或者焊接超时或累计运动距离超过设定值后，停止焊接并将焊接机器人移回原点；
其中，所述深度学习模型的训练步骤如下：
步骤a：采集焊缝样本图像并制作为数据集；
步骤b：修改焊缝检测网络CenterNet网络结构和焊缝跟踪网络CenterTrack网络结构；
步骤c：对焊缝特征提取网络进行自监督预训练获得预训练权重；
步骤d：对修改后的焊缝检测网络CenterNet和焊缝跟踪网络CenterTrack进行训练，得到深度学习模型。
本发明采用上述方法，具有如下优点：
1、能够泛化地识别多种焊缝接头结构，针对性采样三维复杂结构的焊缝接头结构来拓展模型对于非典型焊缝接头结构的识别能力；
2、利用CenterTrack网络提高在复杂环境下的识别精度和抗干扰能力；
3、通过单次网络结构搜索特征提取网络，修改了CenterNet和CenterTrack网络使其更适应线结构光采样的焊缝图像，在减少网络结构复杂度的基础上，降低算法推理时间，同时提高识别的精确度；
4、通过自监督的训练方式，降低了用于训练焊缝识别特征提取网络的数据集的标注难度。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附
图中：
图1为本发明的三维焊缝跟踪设备的整体结构图；
图2为本发明的线结构光传感器采样示意图；
图3为本发明的实际焊缝跟踪流程图；
图4为本发明的深度学习模型设计步骤。
具体实施方式
下面将参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。
本发明所要解决的技术问题包括：
(1)三维钣金工件的焊缝往往具有形状各异，焊缝接头结构类型复杂等特点，因此需要泛化对焊缝接头结构的识别，实现在焊接过程中对多种焊缝接头结构的自动分类；
(2)希望能在焊缝跟踪过程中自动识别焊缝的起点和终点，从而实现焊接过程的自动起焊和停焊；
(3)利用图片和图片之间的时序关系来提高识别准确率；
(4)能够通过自监督的方式完成机器学习模型的训练，降低批量焊接时的训练样本标注难度；
(5)通过单次网络结构搜索技术优化特征提取网络结构，降低深度学习算法的运算量，提高系统的实时性能。
本申请的硬件采用本发明人在先申请的申请号为202111467999.7的发明专利公开的一种三维轨迹激光焊接焊缝跟踪姿态规划方法中的硬件，如图1和图2所示，包括焊接机器人1、机器人控制柜2、线结构光传感器3、焊接机4、焊接头5、工控机6、焊接台7、安装支架9，待测工件8通过简易夹具固定于焊接台7上，线结构光传感器3和焊接头5安装于安装支架9上，线结构光传感器3和焊接头5通过安装支架9同轴安装在焊接机器人1的末端，线结构光传感器3安装于激光焊接头5运动方向前方一段距离。安装支架9安装于焊接机器人1的6轴机械臂法兰盘上。机器人控制柜2负责机械臂的运动控制，工控机6接收线结构光传感器的采样信息，向工控机2发送运动指令，同时控制焊接机4进行焊接。进行跟踪焊接时，机器人带动末端运动，由焊接头和传感器同时对放置于工作台7上的待测工件8进行采样和焊接。此外，机器人也可采用其他多轴运动平台来实现。
图2所示的线结构光传感器采样示意图与本发明人在先申请的申请号为CN202111467997公开的基于深度学习的激光焊接焊缝特征点识别方法的图3相同，线结构光是一种主动视觉技术，其工作原理如图2，首先由线结构光发生器14投射结构光13至待测工件15表面，形成一条激光条纹12，CCD相机10透过滤光镜11采样激光条纹影像完成采样。在这种技术下，系统能够通过激光条纹的形状来获知工件表面的形貌信息，从而去判断激光条纹上哪一个特征点为需要焊接的位置。根据这一特征，本发明的方法采用的深度学习网络有两种，分别是CenterNet和CenterTrack，其中CenterNet网络负责从图像中定位识别对象的类别和位置，这种方法能够将目标视为一个点而不使用候选框进行识别，适用于本应用场景。另一方面，焊接过程中存在着各种干扰如弧光干扰，飞溅干扰等等，因此采用CenterTrack网络将图像与图像在时间上关联起来，在干扰环境中稳定地识别焊缝特征点。此外，为了使CenterNet和CenterTrack的网络结构适用于焊缝特征的识别，通过单次网络结构搜索方法搜寻特征提取网络，并通过自监督训练的方式获得预训练权重，实现对CenterNet和CenterTrack的修改，使其更适应于基于线结构光技术的焊缝跟踪场景下的视觉采集应用。
本发明实施例提供一种基于NAS搜索和预训练的深度学习三维焊缝跟踪方法，包括深度学习模型训练过程和实际焊接过程；
深度学习模型训练过程包括：
(a)制作训练集；
(b)修改焊缝检测网络CenterNet网络结构和焊缝跟踪网络CenterTrack网络结构；
(c)对焊缝特征提取网络进行自监督预训练获得预训练权重；
(d)对修改后的焊缝检测网络CenterNet和焊缝跟踪网络CenterTrack进行训练，得到深度学习模型；
在完成深度学习模型训练后将算法应用于实际焊接，具体包括：
(e)由线结构光传感器实时采样图像输入给训练好的模型，得到焊缝接头结构类型和焊缝特征点信息；
(f)将焊缝特征点通过标定得到的空间变换关系转化为引导机器人运动的控制点，发送给机器人；
(g)机器人运动，带动焊接头进行焊接；
(h)当识别出焊缝的终点、焊接超时或累计运动距离超过设定值后，停止焊接并将机器人移回原点。
其中，步骤(a)具体包括以下步骤：
(a1)对比较常见的四类焊缝接头结构工件进行采样，获取数据集；
(a2)对步骤(a1)中的数据集标注焊缝接头结构类型和焊接特征点坐标；
(a3)在所需要焊接的三维复杂结构批量工件中取出部分工件；使用示教的方式，使机器人沿着焊接路径对焊缝进行采样；
(a4)对步骤(a3)获得的数据集标注焊接特征点坐标，同时在数据集中挑出焊缝起点和终点位置的影像标注为特殊类型。
其中，步骤(a1)和步骤(a3)中数据集指线结构光传感器采样的图片集合，每次采样，机器人携带传感器从焊缝的一头运行到另一头，在这期间传感器以一定的频率拍摄图像，因此在每次采样得到的图片集中，相邻图片在时序上前后相关。
步骤(a2)中四类常见的焊缝接头类型指对接、内角接、外角接、搭接。
步骤(b)具体包括以下步骤：
(b1)去除CenterNet的尺寸预测分支，修改后焊缝检测网络结构的损失函数为Ldet＝Lk_d+λoff_dLoff_d；
步骤(b2)、去除CenterTrack的位移预测分支，修改后焊缝跟踪网络结构的损失函数为Ltrack＝Lk_t+λoff_tLoff_t；
步骤(b1)和步骤(b2)中，去除CenterTrack的位移预测分支，导致其修改后的焊缝跟踪网络结构的损失函数Ltrack与去除CenterNet的尺寸预测分支而修改后焊缝检测网络结构的损失函数Ldet相同，Lk_d和Lk_t为热力图预测损失函数，Loff_d和Loff_t为热力图中心点偏移预测损失函数，λoff_t和λoff_d为用于控制损失函数之间权重的系数，Lk_d和Lk_t相同，Loff_d和Loff_t相同，λoff_d和λoff_t相同；
(b3)对CenterNet和CenterTrack中的提取热力图中尖峰的步骤进行修改，直接输出热力图的最大值作为识别到的焊缝位置。
(b4)使用单次网络结构搜索方法得到适用于焊缝特征提取的CenterNet和CenterTrack特征提取网络。
步骤(b3)中的评价标准为cost＝err+maxerr+flops×3，其中err表示子网络用于焊缝位置检测的平均像素误差，maxerr表示最大的像素误差，flops表示计算量。
步骤(b4)包括以下步骤：
(b41)设计网络搜索空间，采用移动翻转瓶颈卷积作为网络基础模块，整个搜索空间包括4个不同的移动翻转瓶颈卷积模块，每个模块可以选择不同的expand ratio，layers，kernel size和stride等参数；
(b42)根据所设计的搜索空间，对其超图(包含所有可能的特征提取网络)使用单路经均匀采样方法和SGD梯度下降方法通过焊缝影像数据集进行训练，直到收敛；
(b43)制定网络的评价标准，使用遗传算法，对每个可能的特征提取网络，使用超图中训练好的参数进行评价，并搜索得到最优的网络结构；
步骤(c)包括以下步骤：
(c1)将步骤(b)得到的焊缝特征提取网络作为编码器，在网络末端添加一个由反卷积层叠加而成的解码器，构成编码器-解码器网络结构；
(c2)对模型输入遮掩过的焊缝图片，并使用未遮掩的图片作为监督信号进行训练。
步骤(c2)中遮掩过的焊缝图片指：
在数据集的无标签图片集中取出一半进行像素遮掩，对另一半进行区域遮掩，其中像素遮掩指将图片中的某些随机像素覆盖为遮掩值，区域遮掩指在图片中随机生成一块由遮掩像素组成的矩形区域。
步骤(d)具体包括以下步骤：
(d1)利用预训练权重初始化修改后的焊缝检测网络CenterNet；
(d2)对数据采用随机水平旋转、添加随机噪声和随机平移的方式进行增强；
(d3)将增强后的数据输入给修改后的焊缝检测网络CenterNet进行迭代训练；
(d4)使用训练好的焊缝检测网络CenterNet模型参数初始化焊缝跟踪网络CenterTrack；
(d5)将数据集中时间相关的图片集合组合成真实视频数据，同时将部分图片通过随机缩放和平移来模拟采样过程中焊缝图像的变化过程，由此生成模拟视频；
(d6)将真实视频和模拟视频输入给CenterTrack模型进行训练。
步骤(e)包括以下步骤：
(e1)输入一张图片，首先由CenterNet网络识别这张图片中焊缝的类型和焊接位置的坐标，同时每个类型输出一个置信度，超过该阈值判断为识别成功否则为失败；
(e2)在后续输入新的图片后，根据前一张图片、当前图片和前一张图片的热力图三个信息，由CenterTrack网络进行跟踪得到当前图片中的焊缝特征点坐标以及该坐标对应的置信度，与步骤(e1)同样，超过置信度阈值的判断为这一帧跟踪成功，否则为失败；
(e3)如果在跟踪过程中出现跟踪失败，就重新运行CenterNet进行检测来定位新的焊缝特征点坐标。
步骤(e2)中热力图与步骤(b3)中的热力图一样都指CenterNet对特征提取网络的输出进行卷积操作得到的图像。具体来说，对于一幅高度为H，长度为W，通道数为3的图像热力图为/>其中R为深度特征提取的下采样步长，C为需要检测的目标种类。热力图中，值为1的像素的坐标即为预测的焊缝焊接位置坐标。
本发明通过上述方案，通过对三维复杂结构工件进行针对性的数据集采样，训练算法模型能够泛化地识别三维复杂结构工件的焊缝接头结构。在焊缝跟踪应用中使用CenterTrack算法利用相邻帧图像的时序关系提高识别的准确性和抗干扰性。通过单次网络结构搜索修改CenterNet和CenterTrack的特征提取网络，使其能够适用于基于线结构光的焊缝特征识别任务，在减少网络结构复杂度的基础上，降低算法推理时间，同时提高识别的精确度。在焊缝跟踪应用中使用自监督训练的方式训练特征提取网络，降低了用于训练焊缝识别特征提取网络的数据集的标注难度。
本发明实施例还提供一种深度学习三维焊缝跟踪装置，应用于三维焊缝跟踪设备中，该三维焊缝跟踪设备包括焊接机器人、机器人控制柜、线结构光传感器、焊接机、焊接头和工控机，线结构光传感器和焊接头通过安装支架同轴安装在焊接机器人的末端，进行跟踪焊接时，焊接机器人带动末端运动，由焊接头和线结构光传感器同时对放置于工作台上的待测工件进行采样和焊接；其特征在于：该三维焊缝跟踪装置包括：
第一模块：用于由线结构光传感器实时采样图像输入给训练好的深度学习模型，得到焊缝接头结构类型和焊缝特征点信息；
第二模块：用于将焊缝特征点信息通过标定得到的空间变换关系转化为引导机器人运动的控制点形成焊接路径，发送给焊接机器人；
第三模块：用于根据焊接路径使焊接机器人带动焊接头进行焊接；
第四模块：用于当识别出焊缝的终点或者焊接超时或累计运动距离超过设定值后，停止焊接并将焊接机器人移回原点；
其中，所述深度学习模型的训练步骤如下：
步骤a：采集焊缝样本图像并制作为数据集；
步骤b：修改焊缝检测网络CenterNet网络结构和焊缝跟踪网络CenterTrack网络结构；
步骤c：对焊缝特征提取网络进行自监督预训练获得预训练权重；
步骤d：对修改后的焊缝检测网络CenterNet和焊缝跟踪网络CenterTrack进行训练，得到深度学习模型。。
本发明实施例还提供一种计算机可读存储介质，该存储介质存储有计算机程序，所述计算机程序被处理器执行实现如前面所述的方法。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应该理解，上述的所有实施例和示例均是示例性的，而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。

Claims (10)

1.一种深度学习三维焊缝跟踪方法，应用于三维焊缝跟踪设备中，该三维焊缝跟踪设备包括焊接机器人、机器人控制柜、线结构光传感器、焊接机、焊接头和工控机，线结构光传感器和焊接头通过安装支架同轴安装在焊接机器人的末端，进行跟踪焊接时，焊接机器人带动末端运动，由焊接头和线结构光传感器同时对放置于工作台上的待测工件进行采样和焊接；其特征在于：该三维焊缝跟踪方法包括：
步骤1：由线结构光传感器实时采样图像输入给训练好的深度学习模型，得到焊缝接头结构类型和焊缝特征点信息；
步骤2：将焊缝特征点信息通过标定得到的空间变换关系转化为引导机器人运动的控制点形成焊接路径，发送给焊接机器人；
步骤3：焊接机器人运动，根据焊接路径带动焊接头进行焊接；
步骤4：当识别出焊缝的终点或者焊接超时或累计运动距离超过设定值后，停止焊接并将焊接机器人移回原点；
其中，所述深度学习模型的训练步骤如下：
步骤a：采集焊缝样本图像并制作为数据集；
步骤b：修改焊缝检测网络CenterNet网络结构和焊缝跟踪网络CenterTrack网络结构，获得焊缝特征提取网络；
步骤c：对焊缝特征提取网络进行自监督预训练获得预训练权重；
步骤d：对修改后的焊缝检测网络CenterNet和焊缝跟踪网络CenterTrack进行训练，得到深度学习模型。
2.根据权利要求1所述的深度学习三维焊缝跟踪方法，其特征在于：所述的步骤(a)包括以下步骤：
步骤(a1)、对各种焊缝接头结构工件进行采样，获取数据集；
步骤(a2)、对步骤(a1)中的数据集标注焊缝接头结构类型和焊接特征点坐标；步骤(a3)、在所需要焊接的三维复杂结构批量工件中取出部分工件；使用示教的方式，使机器人沿着焊接路径对焊缝进行采样；
步骤(a4)、对步骤(a3)获得的数据集标注焊接特征点坐标，同时在数据集中挑出焊缝起点和终点位置的影像标注为特殊类型。
3.根据权利要求2所述的深度学习三维焊缝跟踪方法，其特征在于：所述步骤(b)修改焊缝检测网络CenterNet网络结构和焊缝跟踪网络CenterTrack网络结构具体包括以下步骤：
步骤(b1)、去除CenterNet的尺寸预测分支，修改后焊缝检测网络结构的损失函数为Ldet＝Lk_+λoff_Loff_；Lk_为热力图预测损失函数，Loff_为热力图中心点偏移预测损失函数，λoff_为用于控制损失函数之间权重的系数；
步骤(b2)、去除CenterTrack的位移预测分支，修改后焊缝跟踪网络结构的损失函数为Ltrack＝Lk_+λoff_Loff_；Lk_为热力图预测损失函数，Loff_为热力图中心点偏移预测损失函数，λoff_为用于控制损失函数之间权重的系数；
步骤(b3)、对CenterNet和CenterTrack中的提取热力图中尖峰的步骤进行修改，直接输出热力图的最大值作为识别到的焊缝位置；
步骤(b4)、使用单次网络结构搜索方法得到适用于焊缝特征提取的CenterNet和CenterTrack特征提取网络。
4.根据权利要求3所述的深度学习三维焊缝跟踪方法，其特征在于：所述步骤(b4)使用单次网络结构搜索方法得到适用于焊缝特征提取的CenterNet和CenterTrack特征提取网络具体包括以下步骤：
步骤(b41)、设计网络搜索空间，采用移动翻转瓶颈卷积作为网络基础模块，整个搜索空间包括4个不同的移动翻转瓶颈卷积模块；
步骤(b42)、根据所设计的网络搜索空间，对其超图使用单路经均匀采样方法和SGD梯度下降方法通过焊缝影像数据集进行训练，直到收敛；
步骤(b43)、制定网络的评价标准，使用遗传算法，对每个可能的特征提取网络，使用超图中训练好的参数进行评价，并搜索得到最优的网络结构作为焊缝特征提取网络。
5.根据权利要求4所述的深度学习三维焊缝跟踪方法，其特征在于：所述步骤(c)对焊缝特征提取网络进行自监督预训练获得预训练权重具体包括以下步骤：步骤(c1)、将步骤(b)得到的焊缝特征提取网络作为编码器，在网络末端添加一个由反卷积层叠加而成的解码器，构成编码器-解码器网络结构；
步骤(c2)、对模型输入遮掩过的焊缝图片，并使用未遮掩的图片作为监督信号进行训练。
6.根据权利要求5所述的深度学习三维焊缝跟踪方法，其特征在于：所述步骤(d)对修改后的焊缝检测网络CenterNet和焊缝跟踪网络CenterTrack进行训练具体包括以下步骤：
步骤(d1)、利用预训练权重初始化修改后的焊缝检测网络CenterNet；
步骤(d2)、对数据集的数据采用随机水平旋转、添加随机噪声和随机平移的方式进行增强，得到增强后的数据；
步骤(d3)、将增强后的数据输入给修改后的焊缝检测网络CenterNet进行迭代训练；
步骤(d4)、使用训练好的焊缝检测网络CenterNet模型参数初始化焊缝跟踪网络CenterTrack；
步骤(d5)、将数据集中时间相关的图片集合组合成真实视频数据，同时将部分图片通过随机缩放和平移来模拟采样过程中焊缝图像的变化过程，由此生成模拟视频；
步骤(d6)、将真实视频和模拟视频输入给焊缝跟踪网络CenterTrack模型进行训练。
7.根据权利要求6所述的深度学习三维焊缝跟踪方法，其特征在于：所述步骤1包括以下步骤：
步骤(11)、输入第一图片，首先由焊缝跟踪网络CenterNet识别第一图片中焊缝的类型和焊接位置的坐标，同时每个类型输出一个置信度，超过该阈值判断为识别成功否则为失败；
步骤(12)、输入第二图片，根据第一图片、第二图片和第一图片的热力图三个信息，由焊缝跟踪网络CenterTrack进行跟踪得到第二图片中的焊缝特征点坐标以及该坐标对应的置信度，超过置信度阈值的判断为这一帧跟踪成功，否则为失败；其中，所述第一图片的热力图是指焊缝跟踪网络CenterNet对特征提取网络的输出进行卷积操作得到的图像；
步骤(13)、如果在跟踪过程中出现跟踪失败，就重新运行CenterNet进行检测来定位新的焊缝特征点坐标。
8.一种深度学习三维焊缝跟踪装置，应用于三维焊缝跟踪设备中，该三维焊缝跟踪设备包括焊接机器人、机器人控制柜、线结构光传感器、焊接机、焊接头和工控机，线结构光传感器和焊接头通过安装支架同轴安装在焊接机器人的末端，进行跟踪焊接时，焊接机器人带动末端运动，由焊接头和线结构光传感器同时对放置于工作台上的待测工件进行采样和焊接；其特征在于：该三维焊缝跟踪装置包括：
第一模块：用于由线结构光传感器实时采样图像输入给训练好的深度学习模型，得到焊缝接头结构类型和焊缝特征点信息；
第二模块：用于将焊缝特征点信息通过标定得到的空间变换关系转化为引导机器人运动的控制点形成焊接路径，发送给焊接机器人；
第三模块：用于根据焊接路径使焊接机器人带动焊接头进行焊接；
第四模块：用于当识别出焊缝的终点或者焊接超时或累计运动距离超过设定值后，停止焊接并将焊接机器人移回原点；
其中，所述深度学习模型的训练步骤如下：
步骤a：采集焊缝样本图像并制作为数据集；
步骤b：修改焊缝检测网络CenterNet网络结构和焊缝跟踪网络CenterTrack网络结构；
步骤c：对焊缝特征提取网络进行自监督预训练获得预训练权重；
步骤d：对修改后的焊缝检测网络CenterNet和焊缝跟踪网络CenterTrack进行训练，得到深度学习模型。
9.根据权利要求8所述的深度学习三维焊缝跟踪装置，其特征在于：该三维焊缝跟踪装置执行如权利要求2至7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，该存储介质存储有计算机程序，所述计算机程序被处理器执行实现如权利要求1至7中任一项所述的方法。
CN202310661620.9A 2023-06-06 2023-06-06 一种深度学习三维焊缝跟踪方法及装置 Pending CN116475563A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310661620.9A CN116475563A (zh) 2023-06-06 2023-06-06 一种深度学习三维焊缝跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310661620.9A CN116475563A (zh) 2023-06-06 2023-06-06 一种深度学习三维焊缝跟踪方法及装置

Publications (1)

Publication Number Publication Date
CN116475563A true CN116475563A (zh) 2023-07-25

Family

ID=87221668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310661620.9A Pending CN116475563A (zh) 2023-06-06 2023-06-06 一种深度学习三维焊缝跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN116475563A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117798522A (zh) * 2024-03-01 2024-04-02 深圳欧斯普瑞智能科技有限公司 基于机器视觉的激光切割头精确定位方法
CN117798522B (zh) * 2024-03-01 2024-05-17 深圳欧斯普瑞智能科技有限公司 基于机器视觉的激光切割头精确定位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117798522A (zh) * 2024-03-01 2024-04-02 深圳欧斯普瑞智能科技有限公司 基于机器视觉的激光切割头精确定位方法
CN117798522B (zh) * 2024-03-01 2024-05-17 深圳欧斯普瑞智能科技有限公司 基于机器视觉的激光切割头精确定位方法

Similar Documents

Publication Publication Date Title
CN210046133U (zh) 基于激光结构光的焊缝视觉跟踪系统
Li et al. Automatic welding seam tracking and identification
CN109035204B (zh) 一种焊缝目标实时检测方法
CN103759648B (zh) 一种基于激光双目视觉的复杂角焊缝位置检测方法
Kiddee et al. An automated weld seam tracking system for thick plate using cross mark structured light
Li et al. Robust welding seam tracking and recognition
CN110315525A (zh) 一种基于视觉引导的机器人工件抓取方法
Kim et al. A robust visual seam tracking system for robotic arc welding
CN114905507A (zh) 一种基于环境视觉分析的焊接机器人精度控制方法
CN108907526A (zh) 一种具有高鲁棒性的焊缝图像特征识别方法
CN111299763B (zh) 一种抗噪声干扰的激光视觉焊缝自动跟踪方法及系统
Wu et al. Autonomous seam recognition and feature extraction for multi-pass welding based on laser stripe edge guidance network
Zhu et al. Recognition of the initial position of weld based on the image pattern match technology for welding robot
Xu et al. Autonomous weld seam tracking under strong noise based on feature-supervised tracker-driven generative adversarial network
Patil et al. Extraction of weld seam in 3d point clouds for real time welding using 5 dof robotic arm
CN115131268A (zh) 一种基于图像特征提取与三维模型匹配的自动化焊接系统
Liu et al. Seam tracking system based on laser vision and CGAN for robotic multi-layer and multi-pass MAG welding
Xiao et al. A novel visual guidance framework for robotic welding based on binocular cooperation
Yang et al. Detection of weld groove edge based on multilayer convolution neural network
CN111283303A (zh) 一种基于hdr图像的熔池中心识别系统及其方法
Liu et al. Automatic seam detection of welding robots using deep learning
Lang et al. Vision based object identification and tracking for mobile robot visual servo control
Xiao et al. LSFP-tracker: an autonomous laser stripe feature point extraction algorithm based on siamese network for robotic welding seam tracking
CN116833645A (zh) 基于移动机器人的焊缝自主识别与焊接方法及系统
CN116475563A (zh) 一种深度学习三维焊缝跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination