CN114131149B - 一种基于CenterNet的激光视觉焊缝跟踪系统、设备及存储介质 - Google Patents

一种基于CenterNet的激光视觉焊缝跟踪系统、设备及存储介质 Download PDF

Info

Publication number
CN114131149B
CN114131149B CN202111598385.2A CN202111598385A CN114131149B CN 114131149 B CN114131149 B CN 114131149B CN 202111598385 A CN202111598385 A CN 202111598385A CN 114131149 B CN114131149 B CN 114131149B
Authority
CN
China
Prior art keywords
personal computer
industrial personal
axes
axis robot
centernet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111598385.2A
Other languages
English (en)
Other versions
CN114131149A (zh
Inventor
刘向荣
胡亚伟
柳娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202111598385.2A priority Critical patent/CN114131149B/zh
Publication of CN114131149A publication Critical patent/CN114131149A/zh
Application granted granted Critical
Publication of CN114131149B publication Critical patent/CN114131149B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B23K9/127—Means for tracking lines during arc welding or cutting
    • B23K9/1272—Geometry oriented, e.g. beam optical trading
    • B23K9/1274—Using non-contact, optical means, e.g. laser means

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种基于CenterNet的激光视觉焊缝跟踪系统、设备及存储介质，其中，系统包括：工控机与六轴机器人之间通过以太网进行连接，工控机读取六轴机器人的状态参数；工控机与线结构光传感器之间使用USB进行连接，工控机读取图像数据激光视觉焊缝跟踪控制软件安装在工控机中；工控机将读取到的六轴机器人的状态参数和图像数据进行预处理，得到预处理后数据；激光视觉焊缝跟踪控制软件以预处理后数据为输入，得到六轴机器人的运动指令和置信度。本申请避免了对焊缝特征点提取和机器人运动规划这两个问题的割裂。不仅加快了运算速度，提高焊缝跟踪的实时性，同时也加大了优化的空间，从而提高焊缝跟踪的准确性。

Description

一种基于CenterNet的激光视觉焊缝跟踪系统、设备及存储 介质
技术领域
本发明属于焊缝跟踪领域，尤其涉及一种基于CenterNet的激光视觉焊缝跟踪系统。
背景技术
焊接是一项强度大，熟练度要求高，精度要求高的工作。传统的机器人焊接工艺多采用离线编程或手动示教的方式来进行焊接，对于新工件耗时耗力，且焊接过程中由于热变形，加工误差等因素从而无法保证焊接精度。
近年来随着深度学习等技术的快速发展，通过结合机器人和视觉传感器来进行自动焊接成为了主流方法。这种自动焊接方式有两个主要步骤。第一步是通过算法从视觉传感器的数据中找到焊缝的位置，类型等信息。第二步是根据第一步得到的信息合理规划机器人的运动路径，从而使机器人更加高效和精确的进行焊接。由于焊缝跟踪对实时性要求很高，分两步的策略会增加运算量，从而影响实时性要求。随着深度学习领域的不断发展，焊缝跟踪领域需要一种端到端的，从传感器数据直接运算得到机器人运动指令的方法。
现有技术
专利CN112756742A一种基于ERFNet网络的激光视觉焊缝跟踪系统，该发明以ERFNet为基础，通过训练像素级别的图片分割模型，从视觉传感器采集的照片中得到焊缝的准确位置，从而进行焊缝跟踪。
专利CN110315258B一种基于强化学习和蚁群算法的焊接方法，该发明通过强化学习和蚁群算法来规划两焊缝端点之间的最优路径。
专利CN113427168A一种焊接机器人实时焊缝跟踪装置及方法，该发明通过手动设计的特征，从视觉传感器采集的图片中得到焊缝位置，再对焊缝轨迹进行轨迹规划并控制机器人运动。
专利CN112589232A一种基于独立纠偏型深度学习的焊缝跟踪方法及装置，该发明使用yolo v3网络来检测焊缝特征点，并通过KCF算法对特征点进行跟踪。同时yolo v3负责在KCF跟丢时进行纠偏。
现有技术缺陷
(1)焊缝跟踪要解决的两个基本问题：特征点识别和轨迹规划。现有技术都是将其分步进行。如专利CN112756742A只解决了特征点识别问题；专利CN110315258B只解决了轨迹规划问题；专利CN113427168A虽然同时涉及到了特征点识别和轨迹规划，但是依然是分步进行的。
然而特征点的识别和轨迹规划问题并不是完全独立的两个优化过程。在视觉传感器的图片中事实上包含了机器人和工件的相对姿态的隐含信息。而轨迹规划产生的结果也会影响接下来视觉传感器拍摄到的图片，进一步影响到特征点的识别。因此将紧密关联的两个问题分别进行优化求解，虽然降低了求解难度，但是也同时忽略了一部分解空间，从而影响了最终焊缝跟踪的精准度。
另一方面，焊缝跟踪是对实时性要求很高的过程。将焊缝跟踪分为两个求解步骤，在计算机的通用实现上，会降低缓存的命中效率，从而延长计算时间，影响了实时性要求。
(2)现有的焊缝跟踪方法缺少一种泛用性强的三维姿态规划算法。
(3)随着检测算法和跟踪算法的发展，现有的一些焊缝跟踪算法采用的检测算法和跟踪算法都有更好的选择。如专利CN112589232A采用的yolo v3算法，在COCO数据集上，无论是耗时还是精度相比于CenterNet均略差一些。
发明内容
为解决上述技术问题，本发明提出一种基于CenterNet的激光视觉焊缝跟踪系统的技术方案，以解决上述技术问题。
本发明第一方面公开了一种基于CenterNet的激光视觉焊缝跟踪系统，所述系统硬件包括：六轴机器人、工控机和线结构光视觉传感器；所述系统软件包括：激光视觉焊缝跟踪控制软件；
所述工控机与所述六轴机器人之间通过以太网进行连接，使用UDP协议进行通信，所述工控机读取所述六轴机器人的状态参数；所述工控机与所述线结构光传感器之间使用USB进行连接，且之间通过USB协议传输数据，所述工控机读取图像数据；所述激光视觉焊缝跟踪控制软件安装在所述工控机中；
所述工控机将读取到的所述六轴机器人的状态参数和图像数据进行预处理，得到预处理后数据；
所述激光视觉焊缝跟踪控制软件以所述预处理后数据为输入，得到所述六轴机器人的运动指令和置信度。
根据本发明第一方面的系统，所述系统还包括：
若置信度低于预设定阈值，则认为未识别到焊缝，焊接结束。
根据本发明第一方面的系统，所述激光视觉焊缝跟踪控制软件为训练好的深度学习网络。
根据本发明第一方面的系统，所述深度学习网络为拓展的CenterNet模型。
根据本发明第一方面的系统，所述拓展的CenterNet模型具体包括：
对CenterNet模型的输入部分进行修改：所述拓展的CenterNet模型的输入为图像数据和状态参数；
对CenterNet模型的输出部分进行修改：所述拓展的CenterNet模型的输出为所述图像数据生成的热力图和所述六轴机器人的六个轴的速度输出。
根据本发明第一方面的系统，所述状态参数具体包括：
六个轴的角度d1…d6，六个轴的速度输入v1…v6和六个轴的加速度a1…a6。
根据本发明第一方面的系统，将所述六个轴的角度、六个轴的速度输入和六个轴的加速度的状态参数通过重复排列的方式使所述状态参数的数据形状变为和图像数据的形状一致,再将重复排列后的状态参数与所述图像数据拼接到一起，得到最终网络的输入数据。
根据本发明第一方面的系统，根据所述拓展的CenterNet模型的输出，所述拓展的CenterNet模型的总损失函数具体包括：
L＝Lk+λvelLvel
其中，
L：总损失函数；
Lk：热力图回归的损失函数；
Lve：六个轴的速度输出的损失函数：
Figure BDA0003432257450000041
N：训练样本的数量；
Figure BDA0003432257450000042
六个轴的速度预测输出向量；
Vk：六个轴的速度真实输出向量；
λvel：超参数，人为设置。
本发明第二方面提供了一种电子设备，所述设备包括存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，执行如本发明第一方面所述的一种基于CenterNet的激光视觉焊缝跟踪系统中的方法。
本发明第三方面提供了一种存储介质，该存储介质存储的计算机程序，能够被一个或多个处理器执行，能够用来实现如本发明第一方面所述的一种基于CenterNet的激光视觉焊缝跟踪系统中的方法。
综上，本发明提出的方案，
(1)输入机器人状态数据和视觉传感器数据，直接输出机器人运动指令(六轴速度)。避免了对焊缝特征点提取和机器人运动规划这两个问题的割裂。不仅加快了运算速度，提高焊缝跟踪的实时性，同时也加大了优化的空间，从而提高焊缝跟踪的准确性。
(2)直接输出机器人运动指令，相当于用深度学习隐含的学习了机器人运动规划和姿态规划的策略，提供了一种通用性较强的三维焊缝跟踪中机器人的姿态控制方法。
(3)基于anchor-free的目标检测方法，相对于anchor-based的方法，提升了网络的推理速度和精度，从而提高了焊缝跟踪的实时性和精准度。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的一种基于CenterNet的激光视觉焊缝跟踪系统的结构图；
图2为根据本发明实施例的原始CenterNet网络结构示意图；
图3为根据本发明实施例的修改后的网络结构示意图；
图4为根据本发明实施例的工作流程图；
图5为根据本发明实施例的一种电子设备的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在描述本申请的一种基于CenterNet的激光视觉焊缝跟踪系统之前，给出CenterNet的描述，如图2所示。目标检测识别往往在图像上将目标用矩形框形式框出，该框的水平和垂直轴与图像的水平和垂直向平行。大多成功的目标检测器都先穷举出潜在目标位置，然后对该位置进行分类，这种做法浪费时间，低效，还需要额外的后处理。CenterNet采用了不同的方法：在构建模型时将目标作为一个点——即目标矩形框的中心点。CenterNet采用关键点估计来找到中心点，并回归到其他目标属性，例如尺寸，3D位置，方向，甚至姿态。相比较于基于目标矩形框的检测器，CenterNet的模型是端到端可微的，更简单，更快，更精确，实现了速度和精确的最好权衡。
CenterNet的主体结构是编码-解码架构。对于图像目标检测任务，其网络输入为图片，通过DLA或者Hourglass等特征提取网络得到图像特征，再通过卷积操作，将图像特征转换为三个输出：热力图输出，偏移输出，边界框大小输出。
对于宽高为W*H的三通道图像，其可以被表示为I∈RW*H*3，CenterNet的目标是对该图片生成热力图
Figure BDA0003432257450000071
这里R是CenterNet对原始图片的步长，C是CenterNet需要分类的目标种类数量。当预测的
Figure BDA0003432257450000077
表示该点处存在目标，
Figure BDA0003432257450000072
则表示该点处为背景。在训练时，会先根据标注数据来生成每张图片的热力图的真实值，从而在训练过程中让网络不断逼近真实值。热力图的真实值的生成方式如下：首先根据步长R，计算出图片中目标位置p∈R2在低分辨率下的对应位置
Figure BDA0003432257450000073
然后在所有的目标位置上根据高斯核函数：
Figure BDA0003432257450000074
对热力图
Figure BDA0003432257450000075
进行赋值，从而生成热力图的真实值。热力图回归的损失函数为，
Figure BDA0003432257450000076
对于输出的热力图，如果其中某个点比它周围的八个点都大，则认为这是个关键点，也就是对应位置检测到了目标。热力图关键点处的值的范围为从0到1的实数。该值可作为网络检测到该目标的置信度，即该值越接近1，说明网络对于检测到目标物体的把握越大。
由于步长的原因，单纯通过热力图来对目标位置进行回归会不可避免的存在一定的精度损失。因此CenterNet不仅输出了热力图，还输出了偏移信息。通过偏移信息来弥补步长对热力图回归精度造成的损失。
偏移输出为
Figure BDA0003432257450000081
对偏移的训练损失采用L1损失：
Figure BDA0003432257450000082
设
Figure BDA0003432257450000083
为第k个目标的目标框的左上点和右下点的坐标，则其中心点位于
Figure BDA0003432257450000084
CenterNet对于每个目标，会预测一个边界框大小
Figure BDA0003432257450000085
用来回归出目标边界框的真实大小
Figure BDA0003432257450000086
其训练的损失函数为
Figure BDA0003432257450000087
综上，CenterNet的训练过程中共涉及三部分损失函数：热力图损失，偏移损失和边界框大小损失。所以总损失为
Ldet＝Lk+λsizeLsize+λoffLoff。
本发明第一方面公开了一种基于CenterNet的激光视觉焊缝跟踪系统，图1为根据本发明实施例的一种基于CenterNet的激光视觉焊缝跟踪系统的结构图，具体如图1所示，所述系统包括：
所述系统硬件包括：六轴机器人、工控机和线结构光视觉传感器；所述系统软件包括：激光视觉焊缝跟踪控制软件；
所述工控机与所述六轴机器人之间通过以太网进行连接，使用UDP协议进行通信，所述工控机读取所述六轴机器人的状态参数；所述工控机与所述线结构光传感器之间使用USB进行连接，之间通过USB协议传输数据，所述工控机读取图像数据；所述激光视觉焊缝跟踪控制软件安装在所述工控机中；
所述工控机将读取到的所述六轴机器人的状态参数和图像数据进行预处理，得到预处理后数据；
在一些实施例中，所述激光视觉焊缝跟踪控制软件以所述预处理后数据为输入，得到所述六轴机器人的运动指令和置信度；
若置信度低于预设定阈值，则认为未识别到焊缝，焊接结束。
在一些实施例中，所述激光视觉焊缝跟踪控制软件为训练好的深度学习网络。
在一些实施例中，所述深度学习网络为拓展的CenterNet模型。CenterNet具有强大的可拓展性。其虽然设计被用于目标检测，但是实验证明，其可用于基于视觉的多项任务如3D目标检测，姿态检测，关键点检测等等。因此，本发明尝试利用CenterNet的拓展性，对其进行针对性的修改，使其可用于机器人的焊缝跟踪与控制系统。原始CenterNet的输入为W*H*3的三通道彩色图像。输出由三部分组成：热力图输出为
Figure BDA0003432257450000091
偏移输出为
Figure BDA0003432257450000092
边界框大小输出为
Figure BDA0003432257450000093
在一些实施例中，如图3所示，所述拓展的CenterNet模型具体包括：
对CenterNet模型的输入部分进行修改：所述拓展的CenterNet模型的输入为图像数据和状态参数；
对CenterNet模型的输出部分进行修改：所述拓展的CenterNet模型的输出为所述图像数据生成的热力图和所述六轴机器人的六个轴的速度输出。
在一些实施例中，所述状态参数具体包括：
六个轴的角度d1…d6，六个轴的速度输入v1…v6和六个轴的加速度a1…a6。
在一些实施例中，将所述六个轴的角度、六个轴的速度输入和六个轴的加速度的状态参数通过重复排列的方式使所述状态参数的数据形状变为和图像数据的形状W*H*1一致,再将重复排列后的状态参数与所述图像数据拼接到一起，得到最终网络的输入数据，形状为W*H*19。修改了输入数据形状以后，CenterNet的骨干网络，即DLA或hourglass的输入部分也要做对应的修改。
在一些实施例中，根据所述拓展的CenterNet模型的输出，所述拓展的CenterNet模型的总损失函数具体包括：
L＝Lk+λvelLvel
其中，
L：总损失函数；
Lk：热力图回归的损失函数；
Lve：六个轴的速度输出的损失函数：
Figure BDA0003432257450000101
N：训练样本的数量；
Figure BDA0003432257450000102
六个轴的速度预测输出向量；
Vk：六个轴的速度真实输出向量；
λvel：超参数，人为设置。
经过以上修改，修改后的CenterNet可以接受结构光传感器和机器人的状态数据作为输入，经过充分的训练，可以输出机器人下一步的运动指令。
使用事先收集的标注数据，使用梯度下降的优化方法，逐步将网络优化至最优状态。将最优的结果权重进行保存。
具体的训练方法包括：
a)数据集处理
数据集需要通过手动收集。数据集中的数据要包括在每个时间点采集得到的线结构光传感器的照片数据和机器人的状态信息。机器人的状态信息要包括六轴角度，六轴速度和六轴加速度。
数据集采集完毕以后需要对数据集进行清理和检查，防止由异常数据干扰模型训练，影响最终精度。
对于数据集中的线结构光传感器得到的照片，需要手工标注焊缝特征点的位置信息和焊缝类型信息。并且需要按照高斯核分布生成对应的热力图真实值。
b)模型训练
将数据集按照7：2：1的比例分为训练集，验证集和测试集。
在训练用服务器上，使用Adam优化器，使用随机梯度下降的方法，对模型进行训练。直到测试集损失连续5轮均不再下降时，停止训练。取验证集上损失最小的模型最为最终模型保存至文件系统。
模型训练完成后，如图4所示，系统的使用流程如下：
a)工控机从机器人读取状态信息S；
b)工控机从线结构光传感器读取照片数据D；
c)工控机将读取的数据进行预处理，作为模型的输入运行模型；
d)工控机得到模型的输出结果：焊缝位置，焊缝类型，机器人运动指令vp1…vp6,以及置信度；
e)若置信度低于指定阈值，则认为未识别到焊缝，跳转至h)；
f)工控机将焊缝位置和焊缝类型实时显示，并将机器人运动指令发送给机器人；
g)重复执行c)；
h)焊接结束。
综上，本发明各个方面的技术方案与现有技术相比具有如下优点：
(1)输入机器人状态数据和视觉传感器数据，直接输出机器人运动指令(六轴速度)。避免了对焊缝特征点提取和机器人运动规划这两个问题的割裂。不仅加快了运算速度，提高焊缝跟踪的实时性，同时也加大了优化的空间，从而提高焊缝跟踪的准确性。
(2)直接输出机器人运动指令，相当于用深度学习隐含的学习了机器人运动规划和姿态规划的策略，提供了一种通用性较强的三维焊缝跟踪中机器人的姿态控制方法。
(3)基于anchor-free的目标检测方法，相对于anchor-based的方法，提升了网络的推理速度和精度，从而提高了焊缝跟踪的实时性和精准度。
本发明第二方面公开了一种电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时，实现本发明公开第一方面中任一项的一种基于CENTERNET的激光视觉焊缝跟踪方法中的步骤。
图5为根据本发明实施例的一种电子设备的结构图，如图5所示，电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本公开的技术方案相关的部分的结构图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明第三方面公开了一种计算机可读存储介质。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现本发明公开第一方面中任一项的一种基于CENTERNET的激光视觉焊缝跟踪方法中的步骤中的步骤。
请注意，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种基于CenterNet的激光视觉焊缝跟踪系统，其特征在于，所述系统硬件包括：六轴机器人、工控机和线结构光视觉传感器；所述系统软件包括：激光视觉焊缝跟踪控制软件；
所述工控机与所述六轴机器人之间通过以太网进行连接，使用UDP协议进行通信，所述工控机读取所述六轴机器人的状态参数；所述工控机与所述线结构光视觉传感器之间使用USB进行连接，且通过USB协议传输数据，所述工控机读取图像数据；所述激光视觉焊缝跟踪控制软件安装在所述工控机中；
所述工控机将读取到的所述六轴机器人的状态参数和图像数据进行预处理，得到预处理后数据；
所述激光视觉焊缝跟踪控制软件以所述预处理后数据为输入，得到所述六轴机器人的运动指令和置信度；
所述激光视觉焊缝跟踪控制软件为训练好的深度学习网络；
所述深度学习网络为拓展的CenterNet模型；
所述拓展的CenterNet模型具体包括：
对CenterNet模型的输入部分进行修改：所述拓展的CenterNet模型的输入为图像数据和状态参数；
对CenterNet模型的输出部分进行修改：所述拓展的CenterNet模型的输出为所述图像数据生成的热力图和所述六轴机器人的六个轴的速度输出；
所述状态参数具体包括：
六个轴的角度d1…d6，六个轴的速度输入v1…v6和六个轴的加速度a1…a6；
将所述六个轴的角度、六个轴的速度输入和六个轴的加速度的状态参数通过重复排列的方式使所述状态参数的数据形状变为和图像数据的形状一致,再将重复排列后的状态参数与所述图像数据拼接到一起，得到最终网络的输入数据。
2.根据权利要求1所述的一种基于CenterNet的激光视觉焊缝跟踪系统，其特征在于，所述系统还包括：
若置信度低于预设定阈值，则认为未识别到焊缝，焊接结束。
3.根据权利要求1所述的一种基于CenterNet的激光视觉焊缝跟踪系统，其特征在于，根据所述拓展的CenterNet模型的输出，所述拓展的CenterNet模型的总损失函数具体包括：
L＝Lk+λvelLvel
其中，
L：总损失函数；
Lk：热力图回归的损失函数；
Lve：六个轴的速度输出的损失函数：
Figure FDA0003777404290000021
N：训练样本的数量；
Figure FDA0003777404290000022
六个轴的速度预测输出向量；
Vk：六个轴的速度真实输出向量；
λvel：超参数，人为设置。
4.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，执行如权利要求1至3任意一项所述的一种基于CenterNet的激光视觉焊缝跟踪系统中的方法。
5.一种存储介质，其特征在于，该存储介质存储的计算机程序，能够被一个或多个处理器执行，能够用来实现如权利要求1至3中任一项所述的一种基于CenterNet的激光视觉焊缝跟踪系统中的方法。
CN202111598385.2A 2021-12-24 2021-12-24 一种基于CenterNet的激光视觉焊缝跟踪系统、设备及存储介质 Active CN114131149B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111598385.2A CN114131149B (zh) 2021-12-24 2021-12-24 一种基于CenterNet的激光视觉焊缝跟踪系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111598385.2A CN114131149B (zh) 2021-12-24 2021-12-24 一种基于CenterNet的激光视觉焊缝跟踪系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114131149A CN114131149A (zh) 2022-03-04
CN114131149B true CN114131149B (zh) 2022-09-20

Family

ID=80383161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111598385.2A Active CN114131149B (zh) 2021-12-24 2021-12-24 一种基于CenterNet的激光视觉焊缝跟踪系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114131149B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116197521B (zh) * 2023-05-04 2023-07-25 德中(深圳)激光智能科技有限公司 一种高精度激光设备的控制方法、系统及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104816072B (zh) * 2015-05-15 2017-04-19 大连大学 复杂曲面薄壁板材细微拼缝激光测量焊接跟踪方法及系统
CN105458463A (zh) * 2016-01-07 2016-04-06 湘潭大学 基于旋转电弧传感的智能焊接机器人实时焊缝跟踪方法
CN109604777A (zh) * 2017-12-07 2019-04-12 淮安信息职业技术学院 基于激光结构光的焊缝视觉跟踪系统及方法
CN109226967B (zh) * 2018-07-25 2021-03-09 同高先进制造科技（太仓）有限公司 一种用于激光-电弧复合焊的主动激光视觉稳健焊缝跟踪系统
CN111299763B (zh) * 2020-02-28 2021-09-21 华南理工大学 一种抗噪声干扰的激光视觉焊缝自动跟踪方法及系统
CN113102880A (zh) * 2021-04-02 2021-07-13 广西大学 一种基于视觉示教的线激光焊缝自动跟踪系统及方法

Also Published As

Publication number Publication date
CN114131149A (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
CN112734852B (zh) 一种机器人建图方法、装置及计算设备
US20210072017A1 (en) Information processing device, object measuring system, object measuring method, and program storing medium
JP7414978B2 (ja) 駐車スペース及びその方向角検出方法、装置、デバイス及び媒体
JP5671281B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム
US20130114886A1 (en) Position and orientation measurement apparatus, position and orientation measurement method, and storage medium
WO2021036373A1 (zh) 目标跟踪方法、装置和计算机可读存储介质
CN110838145B (zh) 一种室内动态场景的视觉定位与建图方法
CN114131149B (zh) 一种基于CenterNet的激光视觉焊缝跟踪系统、设备及存储介质
CN114353807B (zh) 一种机器人的定位方法及定位装置
JP7145770B2 (ja) 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
CN116263622A (zh) 手势识别方法、装置、电子设备、介质及程序产品
JP2778430B2 (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
CN116460843A (zh) 一种基于元启发式算法的多机器人协作抓取方法及系统
CN116309882A (zh) 一种面向无人叉车应用的托盘检测和定位方法及系统
CN115319739A (zh) 一种基于视觉机械臂抓取工件方法
CN115307641A (zh) 机器人定位方法、装置、机器人和存储介质
US9773164B2 (en) Apparatus and method for recognizing human body in hybrid manner
JPH05150835A (ja) ロボツトによる組み立て装置
CN110728222A (zh) 一种用于机械臂抓取系统中目标物体的位姿估计方法
JP6719925B2 (ja) 情報処理装置、情報処理方法、プログラム
Aizono et al. Efficient Outlier Removal Combining REPPnP and the Levenberg-Marquardt Method
CN111586299B (zh) 一种图像处理方法和相关设备
JP6731603B1 (ja) 検査システム
CN117168446B (zh) 一种基于惯性传感器的行人室内面积测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant