CN115457252A - 一种焊接关键点的定位方法及装置 - Google Patents

一种焊接关键点的定位方法及装置 Download PDF

Info

Publication number
CN115457252A
CN115457252A CN202211128348.XA CN202211128348A CN115457252A CN 115457252 A CN115457252 A CN 115457252A CN 202211128348 A CN202211128348 A CN 202211128348A CN 115457252 A CN115457252 A CN 115457252A
Authority
CN
China
Prior art keywords
image
layer
recognition model
sample image
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211128348.XA
Other languages
English (en)
Inventor
夏羽乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pacific Insurance Technology Co Ltd
Original Assignee
Pacific Insurance Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pacific Insurance Technology Co Ltd filed Critical Pacific Insurance Technology Co Ltd
Priority to CN202211128348.XA priority Critical patent/CN115457252A/zh
Publication of CN115457252A publication Critical patent/CN115457252A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种焊接关键点的定位方法及装置，主要涉及图像处理技术领域。该方法包括：获取待焊接物体的待识别图像；将待识别图像输入关键点识别模型中，得到关键点识别模型输出的第一识别结果，关键点识别模型由降维层、编码层、注意力机制层以及线性层构成；根据第一识别结果确定待焊接物体的焊接关键点。通过降维层和编码层对图像的处理，在降低图像处理器功耗的同时，还可以对全局图像进行处理，保证识别精度。实现了在保证焊接关键点识别精度的同时，降低图像处理的运算量和内存消耗。

Description

一种焊接关键点的定位方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种焊接关键点的定位方法及装置。
背景技术
在焊接的过程中，需要对焊接关键点进行定位，以确保焊接的牢固。目前，大部分的焊接关键点定位方法都是通过摄像机对需要焊接部分进行拍照，并通过视觉神经网络对热力图进行定位，得到焊接关键点。但这种识别方法不仅需要计算机处理大量的图片数据，内存消耗大，而且无法对图像进行有效识别，不能准确地定位出焊接关键点。
发明内容
有鉴于此，本申请实施例提供了一种焊接关键点的定位方法及装置，旨在在保证焊接关键点识别精度的同时，降低图像处理的运算量和内存消耗。
第一方面，本申请实施例提供了一种焊接关键点的定位方法，所述方法包括：
获取待焊接物体的待识别图像；
将所述待识别图像输入关键点识别模型中，得到所述关键点识别模型输出的第一识别结果，所述关键点识别模型由降维层、编码层、注意力机制层以及线性层构成，所述降维层用于对所述待识别图像进行降维处理，得到第一处理图像，所述编码层用于对所述第一处理图像进行编码处理，得到第二处理图像，所述注意力机制层用于提取所述第二处理图像的第一特征，所述线性层用于根据所述第一特征生成第一识别结果；
根据所述第一识别结果确定所述待焊接物体的焊接关键点。
可选的，所述关键点识别模型是采用以下方式训练得到的：
获取样本图像和所述样本图像的标签；
将所述样本图像输入待训练识别模型，得到所述待训练识别模型输出的第二识别结果，所述待训练识别模型由降维层、编码层、注意力机制层以及线性层构成，所述降维层用于对所述样本图像进行降维处理，得到第三处理图像，所述编码层用于对所述第三处理图像进行编码处理，得到第四处理图像，所述注意力机制层用于提取所述第四处理图像的第二特征，所述线性层用于根据所述第二特征生成第二识别结果；
利用所述标签与所述第二识别结果计算得到损失值；
根据所述损失值对所述待训练识别模型进行调整，返回执行所述获取样本图像和所述样本图像的标签以及后续步骤，直到达到预设条件生成关键点识别模型。
可选的，所述降维层为卷积神经网络。
可选的，所述编码层为视觉转换ViT器。
可选的，所述样本图像包括由标准图像灰度处理得到的灰度图像。
可选的，所述样本图像包括由标准图像霍夫变换得到的霍夫直线图。
可选的，在所述将所述样本图像输入待训练识别模型，得到所述待训练识别模型输出的第二识别结果之前，所述方法还包括：
对所述样本图像按照预设角度进行翻转，得到第一增强样本图像；
根据所述第一增强样本作为更新后的样本图像。
可选的，在所述将所述样本图像输入待训练识别模型，得到所述待训练识别模型输出的第二识别结果之前，所述方法还包括：
对所述样本图像根据预设光强进行调制，得到第二增强样本图像；
根据所述第二增强样本作为更新后的样本图像。
第二方面，本申请实施例提供了一种焊接关键点的定位装置，所述装置包括：
获取模块，用于获取待焊接物体的待识别图像；
识别模块，用于将所述待识别图像输入关键点识别模型中，得到所述关键点识别模型输出的第一识别结果，所述关键点识别模型由降维层、编码层、注意力机制层以及线性层构成，所述降维层用于对所述待识别图像进行降维处理，得到第一处理图像，所述编码层用于对所述第一处理图像进行编码处理，得到第二处理图像，所述注意力机制层用于提取所述第二处理图像的第一特征，所述线性层用于根据所述第一特征生成第一识别结果；
确定模块，用于根据所述第一识别结果确定所述待焊接物体的焊接关键点。
可选的，所述关键点识别模型是采用以下方式训练得到的：
获取样本图像和所述样本图像的标签；
将所述样本图像输入待训练识别模型，得到所述待训练识别模型输出的第二识别结果，所述待训练识别模型由降维层、编码层、注意力机制层以及线性层构成，所述降维层用于对所述样本图像进行降维处理，得到第三处理图像，所述编码层用于对所述第三处理图像进行编码处理，得到第四处理图像，所述注意力机制层用于提取所述第四处理图像的第二特征，所述线性层用于根据所述第二特征生成第二识别结果；
利用所述标签与所述第二识别结果计算得到损失值；
根据所述损失值对所述待训练识别模型进行调整，返回执行所述获取样本图像和所述样本图像的标签以及后续步骤，直到达到预设条件生成关键点识别模型。
可选的，所述降维层为卷积神经网络。
可选的，所述编码层为视觉转换ViT器。
可选的，所述样本图像包括由标准图像灰度处理得到的灰度图像。
可选的，所述样本图像包括由标准图像霍夫变换得到的霍夫直线图。
可选的，所述装置还包括：
第一处理模块，用于对所述样本图像按照预设角度进行翻转，得到第一增强样本图像；根据所述第一增强样本作为更新后的样本图像。
可选的，所述装置还包括：
第二处理模块，用于对所述样本图像根据预设光强进行调制，得到第二增强样本图像；根据所述第二增强样本作为更新后的样本图像。
第三方面，本申请实施例提供了一种设备，所述设备包括存储器和处理器，所述存储器用于存储指令或代码，所述处理器用于执行所述指令或代码，以使所述设备执行前述第一方面中任一项所述的焊接关键点的定位方法。
第四方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质中存储有代码，当所述代码被运行时，运行所述代码的设备实现前述第一方面中任一项所述的焊接关键点的定位方法。
本申请实施例提供了一种焊接关键点的定位方法及装置。在执行所述方法时，获取待焊接物体的待识别图像，并将待识别图像作为关键点识别模型的输入，利用关键点识别模型对待识别图像进行识别，得到第一识别结果，进而根据第一识别结果确定待焊接物体的焊接关键点。如此，通过降维层和编码层对图像的处理，在降低图像处理器功耗的同时，还可以对全局图像进行处理，保证识别精度。实现了在保证焊接关键点识别精度的同时，降低图像处理的运算量和内存消耗。
附图说明
为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种焊接关键点的定位方法的流程示意图；
图2为本申请实施例提供的关键点识别模型的示意图；
图3为本申请实施例提供的一种关键点识别模型的训练方法的流程示意图；
图4为本申请实施例提供的一种焊接关键点的定位装置的结构示意图。
具体实施方式
目前，通常采用两种方法对焊接关键点进行定位。一种是通过热力图摄像机对需要焊接的部分进行拍照，然后利用卷积神经网络(Convolutional Neural Networks，CNN)对热力图进行处理，得到关键点位置。但利用CNN进行处理，仅能对热力图的局部图像进行识别，无法获得全局信息，定位效果差。另一种是获取需要焊接部分的激光图，然后通过变换器(Transformer)对激光图进行处理，但由于激光图像素大，利用Transformer进行处理会占用大量的内存，而且需要花费很长时间。
基于上述问题，本申请提供了一种焊接点定位的方法及装置，通过关键点识别模型中的降维层对图像进行降维处理，降低图像处理的运算量和内存消耗，利用编码层对图像进行编码处理，保证对图像进行全局识别。并且，焊接关键点定位属于刚性定位，关键点之间自由度很小，不容易发生形变，利用线性层根据图像特征生成识别结果，可以保证识别结果的精度。如此，可以实现在保证焊接关键点识别精度的同时，降低图像处理的运算量和内存消耗。
本申请提供的一种焊接关键点的定位方法及装置，适用于焊接施工现场中对焊接关键点的定位。如：在车辆框架焊接加工的过程中，可以利用摄像机自动采集需要焊接部分的图像，将该图像作为待识别图像传输至图像识别系统。图像识别系统利用关键点识别模型对待识别图像进行图像处理，通过降维层对待识别图像进行降维处理，得到第一处理图像，并通过编码层对第一处理图像进行编码处理得到第二处理图像，进一步利用注意力机制层提取第二处理图像中的特征，作为第一特征，通过线性层根据第一特征输出识别结果，并根据识别结果确定焊接关键点的位置信息。图像识别系统再将焊接关键点的位置信息发送至自动焊接臂，自动焊接臂根据焊接关键点的位置信息完成焊接加工。
显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1，图1为本申请实施例提供的一种焊接关键点的定位方法的流程示意图，包括：
S101：获取待焊接物体的待识别图像。
待焊接物体为需要进行焊接加工的对象，具体可以是机械零部件、钢板或车辆框架等需要焊接加工的物体。待识别图像为包含待焊接物体的焊接部位的图像，具体还应该包括需要焊接部分的焊缝和焊接点。本申请实施例对待识别图像的获取方式不做具体限定，作为一种示例，可以由加工现场的摄像机对待焊接物体进行拍摄，获取待识别图像。作为另一种示例，还可以从云端下载待焊接物体的待识别图像。
S102：将所述待识别图像输入关键点识别模型中，得到所述关键点识别模型输出的第一识别结果。
关键点识别模型是一种图像处理模型，用于对待识别图像进行图像识别，生成第一识别结果。第一识别结果为关键点识别模型对待识别图像识别后得到的焊接关键点的坐标参数。参见图2可知，关键点识别模型由降维层、编码层、注意力机制层以及线性层构成。降维层可以为卷积神经网络，编码层可以为视觉转换ViT器。将待识别图像作为关键点识别模型的输入，降维层对待识别图像进行降维处理，从而降低图像识别时的运算量，得到第一处理图像，作为一种示例，待识别图像的像素为1920*1080的图像，通过降维层对待识别图像进行降维处理，使其像素降维320*180的图像。编码层对降维层的处理结果，即第一处理图像，进行编码处理，将第一处理图像进行重新编码，得到第二处理图像。作为一种示例，第一处理图像为320*180的图像，通过编码层对第一处理图像进行重新编码，可以将第一处理图像分成100个不重叠的像素为32*18的小图像块。这时的第二处理图像相比于待识别图像维度低，并且编码方式不同，更便于进行后续的图像处理。注意力机制层对第二处理图像进行特征提取，提取第二处理图像的第一特征，进而由线性层根据第一特征生成第一识别结果，具体可以通过线性回归的方式生成第一识别结果。
在一种可能的实现方式中，本申请实施例还提供一种关键点识别模型的训练方法，具体请参见下文。
S103：根据所述第一识别结果确定所述待焊接物体的焊接关键点。
根据关键点识别模型输出的第一识别结果，能够确定出对应待焊接物体的焊接关键点。进而根据焊接关键点对待焊接物体进行焊接加工。需要说明的是，焊接关键点可以有一个，也可以有多个，具体由待焊接物体的性质决定。
本申请实施例提供了一种焊接关键点的定位方法。在获取待焊接物体的待识别图像后，将待识别图像作为关键点识别模型的输入，通过关键点识别模型中的降维层对待识别图像进行降维处理，通过编码层进行编码处理得到第二处理图像，降低了图像处理的运算量，并获得待处理图像的全局信息。进一步对第二处理图像进行特征提取，线性层根据第一特征生成第一识别结果。进而根据第一识别结果定位出焊接关键点。实现了在保证焊接关键点识别精度的同时，降低图像处理的运算量和内存消耗。
在本申请实施例中，还提供了一种关键点识别模型的训练方法，下面进行详细介绍。需要说明的是，下文介绍中给出的实现方式仅作为示例性的说明，并不代表本申请实施例的全部实现方式。
参见图3，图3为本申请实施例提供的一种关键点识别模型的训练方法的流程示意图。包括：
S301：获取样本图像和所述样本图像的标签。
样本图像中包括待焊接物体、焊接点和焊缝，是模型训练的样本，用于对模型进行训练。样本图像的标签为样本图像中焊接关键点的标准坐标参数。样本图像的标签可以是预先人工标注的。在获取样本图像的同时，还需要获取样本图像的标签。具体的获取途径和方式可根据自身需求进行设置。
具体的，样本图像可以包括由标准图像灰度处理得到的灰度图像；也可以包括由标准图像霍夫变换得到的霍夫直线图。
通过对标准图像进行灰度处理，可以避免条带失真。灰度化后的图像将由三通道变为单通道，相比于三通道的数据，单通道的数据更便于处理。对标准图像进行霍夫变换主要是为了突出标准图像中的焊缝，使焊缝中的焊接关键点更容易被识别。
S302：将所述样本图像输入待训练识别模型，得到所述待训练识别模型输出的第二识别结果。
待训练识别模型用于根据样本图像进行训练，输出第二识别结果。第二识别结果为待训练识别模型输出的焊接关键点的坐标参数。具体的，待训练识别模型由降维层、编码层、注意力机制层以及线性层构成。将样本图像作为待训练识别模型的输入，降维层对样本图像进行降维处理，从而降低图像识别时的运算量，得到第三处理图像。编码层对降维层的处理结果，即第三处理图像，进行编码处理，将第三处理图像进行重新编码，得到第四处理图像。这时的第四处理图像相比于样本图像维度低，并且编码方式不同，更便于进行后续的图像处理。注意力机制层对第四处理图像进行特征提取，提取第四处理图像的第二特征，进而由线性层根据第二特征生成第二识别结果，具体可以通过线性回归的方式生成第二识别结果。
S303：利用所述标签与所述第二识别结果计算得到损失值。
通过待训练识别模型对样本图像识别后得到的焊接关键点的坐标参数，与预先标注的标准坐标参数进行计算，可以得到损失值。通过损失值能够知悉待训练识别模型识别误差，进而根据损失值对待训练识别模型进行调整。
具体的，可以根据均方损失函数作为损失函数，利用标签与第二识别结果计算得到损失值。
S304：根据所述损失值对所述待训练识别模型进行调整，返回执行所述获取样本图像和所述样本图像的标签以及后续步骤，直到达到预设条件生成关键点识别模型。
根据损失值调整待训练识别模型，提高待训练识别模型对样本图像识别的准确度。在一种可能的实现方式中，可以采用自适应矩估计优化器对待训练识别模型进行优化。
重复执行步骤S201-S204，实现对待训练识别模型的多次训练。直到当前待训练识别模型满足预设条件，完成对待训练识别模型的训练。预设条件可以为损失值小于设定阈值，也可以为识别速度小于预设时间。当待训练识别模型满足预设条件时，将待训练识别模型作为最终用于对待识别图像进行识别的模型，生成关键点识别模型，完成模型训练。
本申请实施例提供一种关键点识别模型的训练方法，通过获取样本图像以及样本图像的标签，将样本图像作为待训练识别模型对输入，输出第二识别结果，利用标签和第二识别结果计算得到损失值，进而基于损失值对待训练识别模型进行调整。反复执行这一方法，直到满足预设条件后，生成关键点识别模型。该方法能够有效地针对样本图像进行模型训练得到关键点识别模型，提高图像识别精度，并且能够使关键点识别模型在保证焊接关键点识别精度的同时，降低图像处理的运算量和内存消耗。
另外，本申请还提供了两种对样本图像的处理方法，可以得到不同场景的样本图像，基于不同场景的样本模型进行训练能够得到识别结果更为精确的关键点识别模型。
本申请提供了一种可能的实施方式，在所述将所述样本图像输入待训练识别模型，得到所述待训练识别模型输出的第二识别结果之前，所述方法还包括：
对所述样本图像按照预设角度进行翻转，得到第一增强样本图像；
根据所述第一增强样本作为更新后的样本图像。
通过对样本图像向不同的方向翻转预设角度，可以得到多张不同角度的样本图像。作为一种示例，预设角度为5度，可以将样本图像分别向上、下、左和右进行翻转，得到四张第一增强样本图像，作为更新后的样本图像。
本申请提供了另一种可能的实施方式，在所述将所述样本图像输入待训练识别模型，得到所述待训练识别模型输出的第二识别结果之前，所述方法还包括：
对所述样本图像根据预设光强进行调制，得到第二增强样本图像；
根据所述第二增强样本作为更新后的样本图像。
通过对样本图像按照预设光强进行调制，得到多张不同亮度的样本图像，即多张第二增强样本图像。将第二增强样本图像作为更新后的样本图像。
需要说明的是，对样本图像进行调试时，不能采用高斯噪声或Cutout方法，这两种方法会影响样本图像的特征点，对后续训练过程产生负面影响，影响关键点识别模型的识别精度。
通过上述两种对样本图像的处理方法，可以得到不同场景的样本图像，从而可以更好地根据样本图像对待训练识别模型进行训练，得到的关键点识别模型识别结果更为准确。
以上为本申请实施例提供到一种焊接关键点的定位方法的一些具体实现方式，基于此，本申请还提供了对应的装置。下面将从功能模块化的角度对本申请实施例提供的装置进行介绍。
参见图4，图4为本申请实施例提供的一种焊接关键点的定位装置400的结构示意图，该装置400包括获取模块401、识别模块402和确定模块403。
获取模块401，用于获取待焊接物体的待识别图像；
识别模块402，用于将所述待识别图像输入关键点识别模型中，得到所述关键点识别模型输出的第一识别结果，所述关键点识别模型由降维层、编码层、注意力机制层以及线性层构成，所述降维层用于对所述待识别图像进行降维处理，得到第一处理图像，所述编码层用于对所述第一处理图像进行编码处理，得到第二处理图像，所述注意力机制层用于提取所述第二处理图像的第一特征，所述线性层用于根据所述第一特征生成第一识别结果；
确定模块403，用于根据所述第一识别结果确定所述待焊接物体的焊接关键点。
在本申请提供的一种可能的实施方式中，所述关键点识别模型是采用以下方式训练得到的：
获取样本图像和所述样本图像的标签；
将所述样本图像输入待训练识别模型，得到所述待训练识别模型输出的第二识别结果，所述待训练识别模型由降维层、编码层、注意力机制层以及线性层构成，所述降维层用于对所述样本图像进行降维处理，得到第三处理图像，所述编码层用于对所述第三处理图像进行编码处理，得到第四处理图像，所述注意力机制层用于提取所述第四处理图像的第二特征，所述线性层用于根据所述第二特征生成第二识别结果；
利用所述标签与所述第二识别结果计算得到损失值；
根据所述损失值对所述待训练识别模型进行调整，返回执行所述获取样本图像和所述样本图像的标签以及后续步骤，直到达到预设条件生成关键点识别模型。
在本申请提供的一种可能的实施方式中，所述降维层为卷积神经网络。
在本申请提供的一种可能的实施方式中，所述编码层为视觉转换ViT器。
在本申请提供的一种可能的实施方式中，所述样本图像包括由标准图像灰度处理得到的灰度图像。
在本申请提供的一种可能的实施方式中，所述样本图像包括由标准图像霍夫变换得到的霍夫直线图。
在本申请提供的一种可能的实施方式中，所述装置300还包括：
第一处理模块，用于对所述样本图像按照预设角度进行翻转，得到第一增强样本图像；根据所述第一增强样本作为更新后的样本图像。
在本申请提供的一种可能的实施方式中，所述装置300还包括：
第二处理模块，用于对所述样本图像根据预设光强进行调制，得到第二增强样本图像；根据所述第二增强样本作为更新后的样本图像。
本申请实施例提供了一种焊接关键点的定位装置。在获取待焊接物体的待识别图像后，将待识别图像作为关键点识别模型的输入，通过关键点识别模型中的降维层对待识别图像进行降维处理，通过编码层进行编码处理得到第二处理图像，降低了图像处理的运算量，并获得待处理图像的全局信息。进一步对第二处理图像进行特征提取，线性层根据第一特征生成第一识别结果，进而根据第一识别结果定位出焊接关键点。实现了在保证焊接关键点识别精度的同时，降低图像处理的运算量和内存消耗。
本申请实施例还提供了对应的设备以及计算机存储介质，用于实现本申请实施例提供的方案。
其中，所述设备包括存储器和处理器，所述存储器用于存储指令或代码，所述处理器用于执行所述指令或代码，以使所述设备执行本申请任一实施例所述的一种焊接关键点的定位方法。
所述计算机存储介质中存储有代码，当所述代码被运行时，运行所述代码的设备实现本申请任一实施例所述的一种焊接关键点的定位方法。
本申请实施例中提到的“第一”、“第二”(若存在)等名称中的“第一”、“第二”只是用来做名字标识，并不代表顺序上的第一、第二。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器(英文：read-only memory，ROM)/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如路由器等网络通信设备)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本申请示例性的实施方式，并非用于限定本申请的保护范围。

Claims (10)

1.一种焊接关键点的定位方法，其特征在于，所述方法包括：
获取待焊接物体的待识别图像；
将所述待识别图像输入关键点识别模型中，得到所述关键点识别模型输出的第一识别结果，所述关键点识别模型由降维层、编码层、注意力机制层以及线性层构成，所述降维层用于对所述待识别图像进行降维处理，得到第一处理图像，所述编码层用于对所述第一处理图像进行编码处理，得到第二处理图像，所述注意力机制层用于提取所述第二处理图像的第一特征，所述线性层用于根据所述第一特征生成第一识别结果；
根据所述第一识别结果确定所述待焊接物体的焊接关键点。
2.根据权利要求1所述的方法，其特征在于，所述关键点识别模型是采用以下方式训练得到的：
获取样本图像和所述样本图像的标签；
将所述样本图像输入待训练识别模型，得到所述待训练识别模型输出的第二识别结果，所述待训练识别模型由降维层、编码层、注意力机制层以及线性层构成，所述降维层用于对所述样本图像进行降维处理，得到第三处理图像，所述编码层用于对所述第三处理图像进行编码处理，得到第四处理图像，所述注意力机制层用于提取所述第四处理图像的第二特征，所述线性层用于根据所述第二特征生成第二识别结果；
利用所述标签与所述第二识别结果计算得到损失值；
根据所述损失值对所述待训练识别模型进行调整，返回执行所述获取样本图像和所述样本图像的标签以及后续步骤，直到达到预设条件生成关键点识别模型。
3.根据权利要求1所述的方法，其特征在于，所述降维层为卷积神经网络。
4.根据权利要求1所述的方法，其特征在于，所述编码层为视觉转换ViT器。
5.根据权利要求2所述的方法，其特征在于，所述样本图像包括由标准图像灰度处理得到的灰度图像。
6.根据权利要求2所述的方法，其特征在于，所述样本图像包括由标准图像霍夫变换得到的霍夫直线图。
7.根据权利要求2所述的方法，其特征在于，在所述将所述样本图像输入待训练识别模型，得到所述待训练识别模型输出的第二识别结果之前，所述方法还包括：
对所述样本图像按照预设角度进行翻转，得到第一增强样本图像；
根据所述第一增强样本作为更新后的样本图像。
8.根据权利要求2所述的方法，其特征在于，在所述将所述样本图像输入待训练识别模型，得到所述待训练识别模型输出的第二识别结果之前，所述方法还包括：
对所述样本图像根据预设光强进行调制，得到第二增强样本图像；
根据所述第二增强样本作为更新后的样本图像。
9.一种焊接关键点的定位装置，其特征在于，所述装置包括：
获取模块，用于获取待焊接物体的待识别图像；
识别模块，用于将所述待识别图像输入关键点识别模型中，得到所述关键点识别模型输出的第一识别结果，所述关键点识别模型由降维层、编码层、注意力机制层以及线性层构成，所述降维层用于对所述待识别图像进行降维处理，得到第一处理图像，所述编码层用于对所述第一处理图像进行编码处理，得到第二处理图像，所述注意力机制层用于提取所述第二处理图像的第一特征，所述线性层用于根据所述第一特征生成第一识别结果；
确定模块，用于根据所述第一识别结果确定所述待焊接物体的焊接关键点。
10.根据权利要求9所述的装置，其特征在于，所述关键点识别模型是采用以下方式训练得到的：
获取样本图像和所述样本图像的标签；
将所述样本图像输入待训练识别模型，得到所述待训练识别模型输出的第二识别结果，所述待训练识别模型由降维层、编码层、注意力机制层以及线性层构成，所述降维层用于对所述样本图像进行降维处理，得到第三处理图像，所述编码层用于对所述第三处理图像进行编码处理，得到第四处理图像，所述注意力机制层用于提取所述第四处理图像的第二特征，所述线性层用于根据所述第二特征生成第二识别结果；
利用所述标签与所述第二识别结果计算得到损失值；
根据所述损失值对所述待训练识别模型进行调整，返回执行所述获取样本图像和所述样本图像的标签以及后续步骤，直到达到预设条件生成关键点识别模型。
CN202211128348.XA 2022-09-16 2022-09-16 一种焊接关键点的定位方法及装置 Pending CN115457252A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211128348.XA CN115457252A (zh) 2022-09-16 2022-09-16 一种焊接关键点的定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211128348.XA CN115457252A (zh) 2022-09-16 2022-09-16 一种焊接关键点的定位方法及装置

Publications (1)

Publication Number Publication Date
CN115457252A true CN115457252A (zh) 2022-12-09

Family

ID=84304833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211128348.XA Pending CN115457252A (zh) 2022-09-16 2022-09-16 一种焊接关键点的定位方法及装置

Country Status (1)

Country Link
CN (1) CN115457252A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116140786A (zh) * 2023-03-06 2023-05-23 四川艾庞机械科技有限公司 搅拌摩擦焊接方法及其系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116140786A (zh) * 2023-03-06 2023-05-23 四川艾庞机械科技有限公司 搅拌摩擦焊接方法及其系统
CN116140786B (zh) * 2023-03-06 2023-07-14 四川艾庞机械科技有限公司 搅拌摩擦焊接方法及其系统

Similar Documents

Publication Publication Date Title
CN111190600B (zh) 基于gru注意力模型的前端代码自动生成的方法及系统
CN109934847B (zh) 弱纹理三维物体姿态估计的方法和装置
CN112464912B (zh) 基于YOLO-RGGNet的机器人端人脸检测方法
CN109492688B (zh) 焊缝跟踪方法、装置及计算机可读存储介质
CN110929564B (zh) 基于对抗网络的指纹模型生成方法以及相关装置
CN114782286A (zh) 缺陷修复方法、光学修复设备、电子设备及存储介质
CN112435331A (zh) 模型训练方法、点云生成方法、装置、设备及存储介质
CN115810133B (zh) 基于图像处理和点云处理的焊接控制方法及相关设备
CN115457252A (zh) 一种焊接关键点的定位方法及装置
CN112417947A (zh) 关键点检测模型的优化及面部关键点的检测方法及装置
CN117078677B (zh) 一种用于始极片的缺陷检测方法及系统
CN118115932A (zh) 图像回归器训练方法与相关方法、装置、设备及介质
CN113657403B (zh) 图像处理方法及图像处理网络的训练方法
CN116503885A (zh) 表格识别方法、装置、电子设备及存储介质
US20240104902A1 (en) Learning device, learning method, and recording medium
CN110334657B (zh) 一种鱼眼畸变图像的训练样本生成方法、系统及电子设备
CN115049600A (zh) 一种小样本管道缺陷智能识别系统及方法
CN114842506A (zh) 一种人体姿态估计方法及系统
CN114973268A (zh) 文本识别方法、装置、存储介质及电子设备
CN113537309A (zh) 一种对象识别方法、装置及电子设备
CN113239858A (zh) 一种人脸检测模型训练方法及人脸识别方法、终端及存储介质
CN117351575B (zh) 基于文生图数据增强模型的非言语行为识别方法和装置
CN117173391B (zh) 一种基于深度学习和多视几何的倾斜图像矫正方法及系统
CN118839294A (zh) 一种基于神经符号融合的任务规划方法
CN118072135A (zh) 基于多模态模型的动作预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination