CN115661592B - 焊缝识别方法、装置、计算机设备及存储介质 - Google Patents

焊缝识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN115661592B
CN115661592B CN202211243141.7A CN202211243141A CN115661592B CN 115661592 B CN115661592 B CN 115661592B CN 202211243141 A CN202211243141 A CN 202211243141A CN 115661592 B CN115661592 B CN 115661592B
Authority
CN
China
Prior art keywords
weld
image
determining
welding
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211243141.7A
Other languages
English (en)
Other versions
CN115661592A (zh
Inventor
肖俊
李保卫
张宝燕
曹正平
王敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Construction Co Ltd of China Construction Third Engineering Division
Original Assignee
First Construction Co Ltd of China Construction Third Engineering Division
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Construction Co Ltd of China Construction Third Engineering Division filed Critical First Construction Co Ltd of China Construction Third Engineering Division
Priority to CN202211243141.7A priority Critical patent/CN115661592B/zh
Publication of CN115661592A publication Critical patent/CN115661592A/zh
Application granted granted Critical
Publication of CN115661592B publication Critical patent/CN115661592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Image Analysis (AREA)

Abstract

本申请属于机器人焊接技术领域，提供一种焊缝识别方法、装置、计算机设备及存储介质，该焊缝识别方法包括：通过获取焊缝的RGB图像和深度图像，对RGB图像进行第一目标检测，得到焊缝的第一候选对象，对深度图像进行第二目标检测，得到焊缝的第二候选对象，对第一候选对象和第二候选对象进行融合，确定焊缝的目标对象，从目标对象中确定焊缝的位置信息，根据焊缝的位置信息确定焊缝的尺寸值，在通过RGB图像和深度图像初步确定焊缝的基础上进行融合，即融合同一目标对象的不同图像数据，使得融合过程中促进不同图像数据之间的相互作用，进而提高焊缝识别的精度。

Description

焊缝识别方法、装置、计算机设备及存储介质
技术领域
本申请属于机器人焊接技术领域，尤其涉及一种焊缝识别方法、装置、计算机设备及存储介质。
背景技术
焊接机器人是从事焊接、切割与喷涂的工业机器人，工业机器人是一种多用途的、可重复编程的自动控制操作机(Manipulator)。目前，焊接机器人进行自动化焊接的方式已经得到普遍应用。
在图像目标识别领域中，基于卷积神经网络的深度学习方法有着广泛应用，常用的方法有Faster CNN，YOLO等。但相关的图像目标识别方法仅用于单模态图像的处理，在识别精度方面难以满足实际应用中焊缝的多种模态数据的需求。
发明内容
有鉴于此，本申请实施例提供了焊缝识别方法、装置、计算机设备及存储介质，以解决相关技术中焊缝识别精度低的问题。
本申请实施例的第一方面提供了一种焊缝识别方法，包括：
获取焊缝的RGB图像和深度图像；
对RGB图像进行第一目标检测，得到焊缝的第一候选对象；
对深度图像进行第二目标检测，得到焊缝的第二候选对象；
对第一候选对象和第二候选对象进行融合，确定焊缝的目标对象；
从目标对象中确定焊缝的位置信息；
根据焊缝的位置信息确定焊缝的尺寸值。
本申请实施例的第二方面提供了一种焊缝识别装置，包括：
图像获取模块，用于获取焊缝的RGB图像和深度图像；
第一检测模块，用于对RGB图像进行第一目标检测，得到焊缝的第一候选对象；
第二检测模块，用于对深度图像进行第二目标检测，得到焊缝的第二候选对象；
图像融合模块，用于对第一候选对象和第二候选对象进行融合，确定焊缝的目标对象；
位置确定模块，用于从目标对象中确定焊缝的位置信息；
尺寸确定模块，用于根据焊缝的位置信息确定焊缝的尺寸值。
本申请实施例的第三方面提供了一种计算机设备，包括处理器、存储器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述焊缝识别方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述焊缝识别方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：
在本申请实施例中，通过获取焊缝的RGB图像和深度图像，对RGB图像进行第一目标检测，得到焊缝的第一候选对象，对深度图像进行第二目标检测，得到焊缝的第二候选对象，对第一候选对象和第二候选对象进行融合，确定焊缝的目标对象，从目标对象中确定焊缝的位置信息，根据焊缝的位置信息确定焊缝的尺寸值，在通过RGB图像和深度图像初步确定焊缝的基础上进行融合，即融合同一目标对象的不同图像数据，使得融合过程中促进不同图像数据之间的相互作用，进而提高焊缝识别的精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2是本申请实施例的焊缝识别方法的流程示意图；
图3为本申请实施例提供的确定焊缝的目标对象的流程示意图；
图4为本申请实施例提供的确定相机参数的流程示意图；
图5为本申请实施例提供的焊缝识别装置的结构示意图；
图6是本申请实施例提供的终端设备的硬件结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
基于此，本申请实施例提供一种焊缝识别方法来解决上述技术问题。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、特定的具有图像处理功能的嵌入式计算机(例如arm开发板)、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的焊缝识别方法由服务器/终端设备执行，相应地，焊缝识别装置一般设置于服务器/终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
为保证焊接的精准度，在焊接加工时都需要通过精确的焊缝定位和追踪，才能使得焊接冷却等处理发挥更好的功能。相关技术提供的焊缝识别方式无法实现对焊缝多模态数据的精准识别。
为解决上述问题，继续参考图2，图2为的焊缝识别方法的一个实施例的流程图，包括：
S201：获取焊缝的RGB图像和深度图像。
示例性地，可以通过工业相机对待识别焊缝的工件采集RGB图像和深度图像。或者通过彩色相机和结构光相机对同一待识别焊缝的工件分别采集RGB图像和深度图像，获取方式在本申请实施例中不做限定。
S202：对RGB图像进行第一目标检测，得到焊缝的第一候选对象。
其中，第一目标检测是指对RGB图像进行关于焊缝的视觉识别，第一候选对象是指经过RGB图像的视觉识别得到的焊缝所在的第一检测区域，第一检测区域是指在RGB图像中通过检测框位置标记属于焊缝的第一图像区域。
示例性地，RGB图像的视觉识别可以是采用R-CNN(Region-CNN，区域卷积神经网)系列、SPP-net(spatial pyramid pooling network，空间金字塔池化网络)、R-FCN和YOLO(You Only Live Once，一种目标检测模型)，此处不做限定。
S203：对深度图像进行第二目标检测，得到焊缝的第二候选对象。
其中，第二目标检测是指对深度图像进行关于焊缝的视觉识别，第二候选对象是指经过深度图像的视觉识别后得到的焊缝所在第二检测区域，第二检测区域是指在深度图像中通过检测框位置标记属于焊缝的第二图像区域。具体地，深度图像的视觉识别可以采用方向梯度直方图(Histogram of Oriented Gradient,HOG)结合支持向量机(supportvector machine，SVM)的方式来获取第二候选对象。得到的深度图像提取HOG特征。具体地，深度图像相对RGB图像的图像特征提取相对简单，为了追求效率，将提取深度图像的HOG特征输入到SVM方法中计算得到第二候选对象。
在本申请实施例中，在对第一候选对象和第二候选对象进行融合，确定焊缝的目标对象之前，焊缝识别方法还包括：
从第一候选对象和第二候选对象中确定相同的目标候选对象；
根据目标候选对象，从RGB图像中提取视觉特征，以及从深度图像中提取HOG特征。
需要说明的是，由于第一候选对象和第二候选对象是基于各自对应的图像(此处指RGB图像和深度图像)进行检测得到，即可能存在第一候选对象和第二候选对象对应的图像区域完全相同，也可能存在第一候选对象和第二候选对象对应的图像区域部分相同或者不同的情况。
为了提高焊缝的视觉识别效果，将第一候选对象和第二候选对象取相同的图像区域作为目标候选对象，以剔除非焊缝的图像区域干扰，提高焊缝的识别精度。
确定了目标候选对象所在的图像区域中即可确定各自对应的视觉特征所在RGB图像的位置和HOG特征所在深度图像的位置，通过对应的位置进而在RGB图像中提取视觉特征，以及在深度图像中提取HOG特征。其中，视觉特征的提取可以为步骤S202所述的R-CNN系列、SPP-net、R-FCN和YOLO中的任意一种或者多种结合的方式，HOG特征的提取可以采用步骤S203所述的方向梯度直方图，此处不做限定。
S204：对第一候选对象和第二候选对象进行融合，确定焊缝的目标对象。
通过上述步骤确定第一候选对象和第二候选对象的共同对象，即目标候选对象。此时对目标候选对象对应的视觉特征和HOG特征进行融合，以进一步提炼出焊缝的目标对象，由于融合过程中结合了RGB图像和深度图像各自的信息，使得焊缝的识别更加精准。
在本申请实施例中，对第一候选对象和第二候选对象进行融合，确定焊缝的目标对象，包括：
S301：将视觉特征和HOG特征进行融合，得到融合特征；
S302：对融合特征进行判别，得到融合特征属于焊缝的概率；
S303：根据概率，确定融合特征为焊缝的目标对象。
在本申请实施例中，通过从第一候选对象和第二候选对象中确定相同的目标候选对象后，并分别提取目标候选对象的视觉特征和HOG特征，使用多源自编码自注意学习模型对目标候选对象进一步识别，得到最终焊缝的目标对象。具体地，多源自编码自注意学习模型可以实现对视觉特征和HOG特征进行融合，得到多源的融合特征。其中，多源自编码自注意学习模型包括自编码器和解码器，自编码器包括多个隐藏层。多源自编码自注意学习模型的原理如公式(1)所示：
其中，i＝1,2代表视觉特征和HOG特征两种图像模态，Xi是特征矩阵，Z是融合后的特征矩阵(即融合特征)，Z与公式(1)中的参数均通过反向传播算法学习得到。是解码器的输出，/>是自编码器的隐藏层，即编码器的输出，/>为自编码器中的可学习参数，σ(x)＝1/(1+e-x)。A(Fi)是自注意力函数，通过公式(2)进行计算：
其中，dk是Q与K的列数，Q，K，V通过公式(3)进行计算：
Q＝FWQ,K＝FWK,V＝FWV公式(3)
其中，WQ,WK,WV均为可学习的权重矩阵。
具体地，基于上述公式(1)将候选目标的视觉特征与HOG特征融合为统一的得到的融合特征，通过全连接层计算出最终的焊缝识别结果，即确定焊缝的目标对象。为了进行最终的判别，全连接层的最后一层激活函数使用softmax函数，如公式(4)所示，其中y1表示融合特征属于焊缝的概率，y2表示融合特征不属于焊缝的概率。
其中，为全连接层的可学习参数，当y1>y2时，即融合特征属于焊缝的概率大于融合特征不属于焊缝的概率时，确定得到的融合特征为焊缝的目标对象。
通过多源自编码自注意学习模型将目标候选对象的视觉特征和HOG特征进行融合，即该多源自编码自注意学习模型融合了同一目标对象的不同图像数据，使得融合过程中促进不同图像数据之间的相互作用，进而提高焊缝识别的精度。
S205：从目标对象中确定焊缝的位置信息。
通过步骤S204可以得到属于焊缝的目标对象所在检测框的概率和对应的位置信息。
在本申请实施例中，在从目标对象中确定焊缝的位置信息之后，所述方法还包括：
根据预设的图像形态学算法，从目标对象所在的图像区域中提取焊缝的边界线和中心线。
其中，图像形态学算法是用于测量或提取图像区域中焊缝相应的形状或设定特征，例如提取的是焊缝的边界线和中心线。图像形态学算法可以包括但不限于边缘检测算法和角点检测算法等。即根据步骤S204所识别到的目标对象，利用图像形态学算法提取焊缝的两条边界线，并利用两条边界线的中心提取中心线。
示例性地，可以采用Sobel(索贝尔)算子对目标对象所在的图像区域进行边缘检测，并得到属于边界线的图像区域后，对属于边界线的图像区域进行膨胀、腐蚀、细化的形态学操作以确定焊缝的原始边界线，并通过基于Harris(哈里斯)角点检测的特征点识别技术对经过形态学操作的边界线进行识别，以得到焊缝的各个边界点，即得到的各个边界点构建最终焊缝的边界线。通过上述形态学操作可以确定焊缝的两条边界线，进而同计算两条边界线的中心确定中心线。
其中，焊缝的边界线包括多个边界点，中心线包括多个中心点，焊缝的位置信息包括边界点的位置信息和中心点的位置信息。
在本申请实施例中，从目标对象中确定焊缝的位置信息，包括：
获取边界点的第一图像坐标和第一深度坐标；
获取中心点的第二图像坐标和第二深度坐标；
获取预设的相机参数；
根据第一图像坐标、第一深度坐标和相机参数，得到边界点的位置信息；
根据第二图像坐标、第二深度坐标和相机参数，得到中心点的位置信息。
其中，边界点和中心点包括来自RGB图像的图像坐标和来自深度图像的三维坐标。
在本申请实施例中，边界点的位置信息可以表示为(x1，y1，z1)，第一图像坐标可以表示为(u1，v1)，第一深度坐标可以表示为d1，用公式(5)表示为：
在本申请实施例中，中心点的位置信息可以表示为(x2，y2，z2)，第二图像坐标可以表示为(u2，v2)，第二深度坐标可以表示为d2。用公式(6)表示为：
上述cx，cy，cz，fx，fy均为预设的相机参数。
继续参考图4，图4为本申请实施例提供的确定相机参数的流程示意图。在本申请实施例中，获取预设的相机参数，包括：
S401：获取原始相机参数；
S402：获取焊缝的边界线的真实度量和识别位置信息；
S403：根据识别位置信息得到焊缝的边界线的测量度量；
S404：根据真实度量和测量度量更新原始相机参数，得到预设的相机参数。
在本申请实施例中，对cx，cy，cz，fx，fy的获取是通过对原始相机参数动态标定得到，即可以在测量焊缝中根据实时反馈的测量结果不断改进相机参数精度。其中，动态标定的方式可以通过下述公式(7)实现：
其中，pn为cx，cy，cz，fx，fy中的任意一个原始相机参数，pn+1为通过基于第n次的相机参数pn经过动态标动后得到的相机参数，mn为反馈的焊缝真实度量，例如可以是边界线的真实度量，为根据识别到焊缝的识别位置信息(三维坐标)得到的测量度量，例如可以是边界线的测量度量，n为正整数。将边界线的真实度量和测量度量代入到上述公式(7)中更新原始相机参数，最终得到预设的相机参数。
具体地，焊缝的边界线的识别位置信息可以是根据上述焊缝识别方法识别到的焊缝所对应的位置信息，该位置信息可以采用三维坐标表示。焊缝的真实度量可以是通过人为测量焊缝得到。
示例性地，通过两条边界线测量焊缝宽度时，若设焊缝的两条边界线的识别位置信息分别为(xi,yi,zi)和(xj,yj,zj)，则边界线的测量度量为 此处的边界线的测量度量即为焊缝宽度。
通过结合实际的真实度量和识别计算到的测量度量来优化原始相机参数，使得更新后得到的预设的相机参数可以提高对焊缝的位置识别精准性。
S206：根据焊缝的位置信息确定焊缝的尺寸值。
其中，尺寸值可以为焊缝坡口的尺寸值，包括但不限于焊缝坡口的深度、宽度和角度。坡口是指焊件的待焊部位加工并装配成的一定几何形状的沟槽。坡口的作用是使焊条、焊丝或焊炬能直接伸入坡口底g部以保证焊透，并有利于脱渣和便于焊条在坡口内作必要的摆动，以获得良好的熔合，保证焊接度。因此，通过焊缝的位置信息计算焊缝的尺寸值，以确定坡口形状和坡口形状对应的坡口尺寸。例如，分别计算两条边界线的平均距离、计算焊缝坡口在中心线处的角度等焊缝尺寸指标。具体地，从上述步骤S205中确定了焊缝的位置信息，例如边界线与中心线上像素点的三维坐标，也就是确定了焊缝上的各个像素点的三维坐标。可以将焊缝划分为n段，根据每段边界线和中心线中各个像素点的三维坐标，采用与公式(7)中相同的度量计算方式，计算每段焊缝的宽度，深度与角度。
在本申请实施例中，根据焊缝的位置信息确定焊缝的尺寸值，包括：
根据边界点的位置信息确定边界线所在平面；
确定中心点的位置信息到平面的深度。
具体地，可以将边界点的位置信息(即三维坐标)代入到平面方程中，以得到边界线所在平面。其中，平面方程是指空间中所有处于同一平面的点所对应的方程，平面方程可以是截距式、点法式、一般式、法线式。通过点到线的距离公式计算中心点的位置信息到平面的深度，得到焊缝坡口的深度。
示例性地，用户通过在终端设备上发起焊缝识别的请求信息时，例如用户输入的请求信息可以包括待识别焊缝的机器或机械焊件等、所启动的图像采集装置，设定的焊缝尺寸单位信息等。将用户的请求信息通过网络传给服务器，服务器根据请求信息启动对应的图像采集装置(例如工业相机、结构光相机)，使得图像采集装置对焊缝进行图像采集，并将采集得到的焊缝图像传给服务器。通过加载在服务器上的多源自编码自注意学习模型，将焊缝图像进行焊缝检测以及将检测到的焊缝进行计算得到焊缝的尺寸，并将焊缝的尺寸通过网络发给终端设备，并在终端设备界面上展示焊缝所属的图像以及焊缝的尺寸。
在本申请实施例中，通过获取焊缝的RGB图像和深度图像，对RGB图像进行第一目标检测，得到焊缝的第一候选对象，对深度图像进行第二目标检测，得到焊缝的第二候选对象，对第一候选对象和第二候选对象进行融合，确定焊缝的目标对象，从目标对象中确定焊缝的位置信息，根据焊缝的位置信息确定焊缝的尺寸值，在通过RGB图像和深度图像初步确定焊缝的基础上进行融合，即融合同一目标对象的不同图像数据，使得融合过程中促进不同图像数据之间的相互作用，进而提高焊缝识别的精度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本申请实施例中，还提供了一种焊缝识别装置，焊缝识别装置包括的各模块用于执行图2对应的实施例中的各步骤。具体请参阅图2对应的实施例中的相关描述。图5示出了本申请实施例提供的焊缝识别装置的结构示意图，包括图像获取模块51、第一检测模块52、第二检测模块53、图像融合模块54、位置确定模块55和尺寸确定模块56。
图像获取模块51，用于获取焊缝的RGB图像和深度图像；
第一检测模块52，用于对RGB图像进行第一目标检测，得到焊缝的第一候选对象；
第二检测模块53，用于对深度图像进行第二目标检测，得到焊缝的第二候选对象；
图像融合模块54，用于对第一候选对象和第二候选对象进行融合，确定焊缝的目标对象；
位置确定模块55，用于从目标对象中确定焊缝的位置信息；
尺寸确定模块56，用于根据焊缝的位置信息确定焊缝的尺寸值。
在一些实施方式中，所述焊缝识别装置还包括：
目标确定模块，用于从第一候选对象和第二候选对象中确定相同的目标候选对象；
图像提取模块，用于根据目标候选对象，从RGB图像中提取视觉特征，以及从深度图像中提取HOG特征。
在一些实施方式中，图像融合模块54包括：
融合子模块，用于将视觉特征和HOG特征进行融合，得到融合特征；
判别子模块，用于对融合特征进行判别，得到融合特征属于焊缝的概率；
确定子模块，用于根据概率，确定融合特征为焊缝的目标对象。
在一些实施方式中，所述焊缝识别装置还包括：
焊缝提取模块，用于根据预设的图像形态学算法，从目标对象所在的图像区域中提取焊缝的边界线和中心线。
在一些实施方式中，焊缝的边界线包括多个边界点，中心线包括多个中心点，焊缝的位置信息包括边界点的位置信息和中心点的位置信息，位置确定模块55包括：
第一获取子模块，用于获取边界点的第一图像坐标和第一深度坐标；
第二获取子模块，用于获取中心点的第二图像坐标和第二深度坐标；
第三获取子模块，用于获取预设的相机参数；
边界确定子模块，用于根据第一图像坐标、第一深度坐标和相机参数，得到边界点的位置信息；
中心确定子模块，用于根据第二图像坐标、第二深度坐标和相机参数，得到中心点的位置信息。
在一些实施方式中，焊缝的尺寸值包括焊缝坡口的深度，尺寸确定模块56包括：
平面确定子模块，用于根据边界点的位置信息确定边界线所在平面；
深度确定子模块，用于确定中心点的位置信息到平面的深度。
在一些实施方式中，第三获取子模块用于：
获取原始相机参数；
获取焊缝的边界线的真实度量和识别位置信息；
根据识别位置信息得到焊缝的边界线的测量度量；
根据真实度量和测量度量更新原始相机参数，得到预设的相机参数。
其中，上述焊缝识别装置中各个模块/单元的功能实现与上述焊缝识别方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
图6是本申请一实施例提供的计算设备的示意图。如图6所示，该实施例/计算设备6包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62，例如软件开发程序。所述处理器60执行所述计算机程序62时实现上述各个软件开发方法实施例中的步骤，例如图2所示的S201至S206。或者，所述处理器60执行所述计算机程序62时实现上述各系统实施例中各模块/单元的功能，例如图5所示图像获取模块51至尺寸确定模块56的功能。
示例性的，所述计算机程序62可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器60执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序62在所述焊缝识别装置/计算设备6中的执行过程。例如，所述计算机程序62可以被分割成图像获取模块、第一检测模块、第二检测模块、图像融合模块、位置确定模块和尺寸确定模块(虚拟系统中的模块)，各模块具体功能如上所述，此处不再赘述。
所述计算设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端6设备可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是计算设备6的示例，并不构成对计算设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述计算设备6还可以包括输入输出设备、网络接入设备、总线等。
所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述计算设备6的内部存储单元，例如计算设备6的硬盘或内存。所述存储器61也可以是所述计算设备6的外部存储设备，例如所述计算设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器61还可以既包括所述计算设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述计算设备所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的系统/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的系统/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，系统或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或系统、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种焊缝识别方法，其特征在于，包括：
获取焊缝的RGB图像和深度图像；
对所述RGB图像进行第一目标检测，得到所述焊缝的第一候选对象；
对所述深度图像进行第二目标检测，得到所述焊缝的第二候选对象；
从所述第一候选对象和所述第二候选对象中确定相同的目标候选对象；
根据所述目标候选对象，从所述RGB图像中提取视觉特征，以及从所述深度图像中提取HOG特征；
对所述第一候选对象和所述第二候选对象进行融合，确定所述焊缝的目标对象，包括：将所述视觉特征和所述HOG特征进行融合，得到融合特征；对所述融合特征进行判别，得到所述融合特征属于所述焊缝的概率；根据所述概率，确定所述融合特征为所述焊缝的目标对象；其中，使用多源自编码自注意学习模型实现对视觉特征和HOG特征进行融合，得到多源的融合特征，所述多源自编码自注意学习模型的原理如公式（1）所示：
公式 (1)；
其中，代表视觉特征和HOG特征两种图像模态，/>是特征矩阵，/>是融合后的特征矩阵，即融合特征，Z与公式(1)中的参数均通过反向传播算法学习得到，/>是解码器的输出，/>是自编码器的隐藏层，即编码器的输出，/>为自编码器中的可学习参数，/>，/>是自注意力函数，通过公式(2)进行计算：
公式(2)；
其中，是Q与K的列数，Q， K， V通过公式(3)进行计算：
公式(3)；
其中，均为可学习的权重矩阵；
从所述目标对象中确定所述焊缝的位置信息；
根据所述焊缝的位置信息确定所述焊缝的尺寸值。
2.如权利要求1所述的焊缝识别方法，其特征在于，在所述从所述目标对象中确定所述焊缝的位置信息之后，所述方法还包括：
根据预设的图像形态学算法，从所述目标对象所在的图像区域中提取所述焊缝的边界线和中心线。
3.如权利要求2所述的焊缝识别方法，其特征在于，所述焊缝的边界线包括多个边界点，所述中心线包括多个中心点，所述焊缝的位置信息包括所述边界点的位置信息和所述中心点的位置信息，所述从所述目标对象中确定所述焊缝的位置信息，包括：
获取所述边界点的第一图像坐标和第一深度坐标；
获取所述中心点的第二图像坐标和第二深度坐标；
获取预设的相机参数；
根据第一图像坐标、第一深度坐标和所述相机参数，得到所述边界点的位置信息；
根据第二图像坐标、第二深度坐标和所述相机参数，得到所述中心点的位置信息。
4.如权利要求3所述的焊缝识别方法，其特征在于，所述焊缝的尺寸值包括焊缝坡口的深度，所述根据所述焊缝的位置信息确定所述焊缝的尺寸值，包括：
根据所述边界点的位置信息确定所述边界线所在平面；
确定所述中心点的位置信息到所述平面的深度。
5.如权利要求3所述的焊缝识别方法，其特征在于，所述获取预设的相机参数，包括：
获取原始相机参数；
获取焊缝的边界线的真实度量和识别位置信息；
根据所述识别位置信息得到焊缝的边界线的测量度量；
根据所述真实度量和所述测量度量更新原始相机参数，得到预设的相机参数。
6.一种焊缝识别装置，其特征在于，所述焊缝识别装置包括：
图像获取模块，用于获取焊缝的RGB图像和深度图像；
第一检测模块，用于对所述RGB图像进行第一目标检测，得到所述焊缝的第一候选对象；
第二检测模块，用于对所述深度图像进行第二目标检测，得到所述焊缝的第二候选对象；
目标确定模块，用于从第一候选对象和第二候选对象中确定相同的目标候选对象；
图像提取模块，用于根据目标候选对象，从RGB图像中提取视觉特征，以及从深度图像中提取HOG特征；
图像融合模块，用于对所述第一候选对象和所述第二候选对象进行融合，确定所述焊缝的目标对象，所述图像融合模块包括融合子模块，用于将视觉特征和HOG特征进行融合，得到融合特征；判别子模块，用于对融合特征进行判别，得到融合特征属于焊缝的概率；确定子模块，用于根据概率，确定融合特征为焊缝的目标对象；其中，使用多源自编码自注意学习模型实现对视觉特征和HOG特征进行融合，得到多源的融合特征，所述多源自编码自注意学习模型的原理如公式（1）所示：
公式 (1)；
其中，代表视觉特征和HOG特征两种图像模态，/>是特征矩阵，/>是融合后的特征矩阵，即融合特征，Z与公式(1)中的参数均通过反向传播算法学习得到，/>是解码器的输出，/>是自编码器的隐藏层，即编码器的输出，/>为自编码器中的可学习参数，/>，/>是自注意力函数，通过公式(2)进行计算：
公式(2)；
其中，是Q与K的列数，Q， K， V通过公式(3)进行计算：
公式(3)；
其中，均为可学习的权重矩阵；
位置确定模块，用于从所述目标对象中确定所述焊缝的位置信息；
尺寸确定模块，用于根据所述焊缝的位置信息确定所述焊缝的尺寸值。
7.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述焊缝识别方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述焊缝识别方法的步骤。
CN202211243141.7A 2022-10-11 2022-10-11 焊缝识别方法、装置、计算机设备及存储介质 Active CN115661592B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211243141.7A CN115661592B (zh) 2022-10-11 2022-10-11 焊缝识别方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211243141.7A CN115661592B (zh) 2022-10-11 2022-10-11 焊缝识别方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN115661592A CN115661592A (zh) 2023-01-31
CN115661592B true CN115661592B (zh) 2023-08-01

Family

ID=84986946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211243141.7A Active CN115661592B (zh) 2022-10-11 2022-10-11 焊缝识别方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN115661592B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280829A (zh) * 2018-02-12 2018-07-13 广东省海洋工程装备技术研究所 焊缝图像识别方法、计算机装置及计算机可读存储介质
CN109949346A (zh) * 2019-03-04 2019-06-28 天津科技大学 基于方向梯度直方图粒子滤波的焊缝跟踪方法
CN111982911A (zh) * 2020-07-10 2020-11-24 深圳先进技术研究院 一种电路板缺陷的检测方法、装置、终端设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017146840A (ja) * 2016-02-18 2017-08-24 富士ゼロックス株式会社 画像処理装置およびプログラム
US20210402523A1 (en) * 2020-06-25 2021-12-30 Illinois Tool Works Inc. Systems and methods for part tracking using machine learning techniques

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280829A (zh) * 2018-02-12 2018-07-13 广东省海洋工程装备技术研究所 焊缝图像识别方法、计算机装置及计算机可读存储介质
CN109949346A (zh) * 2019-03-04 2019-06-28 天津科技大学 基于方向梯度直方图粒子滤波的焊缝跟踪方法
CN111982911A (zh) * 2020-07-10 2020-11-24 深圳先进技术研究院 一种电路板缺陷的检测方法、装置、终端设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于机器视觉的飞机钣金件跨粒度识别方法;吕政阳;邓涛;张丽艳;;仪器仪表学报;41(第02期);195-204 *

Also Published As

Publication number Publication date
CN115661592A (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
CN109032348B (zh) 基于增强现实的智能制造方法与设备
CN111209978B (zh) 三维视觉重定位方法、装置及计算设备、存储介质
US20220044439A1 (en) Real-Time Pose Estimation for Unseen Objects
CN109952176B (zh) 一种机器人标定方法、系统、机器人及存储介质
CN112336342A (zh) 手部关键点检测方法、装置及终端设备
CN108109176A (zh) 物品检测定位方法、装置及机器人
CN110705433A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
CN111523334B (zh) 虚拟禁区的设置方法、装置、终端设备、标签和存储介质
CN114972421A (zh) 车间物料识别追踪与定位方法、系统
CN113172636B (zh) 一种自动手眼标定方法、装置及存储介质
CN113126120B (zh) 数据标注方法、装置、设备、存储介质以及计算机程序产品
CN115661592B (zh) 焊缝识别方法、装置、计算机设备及存储介质
CN112446374B (zh) 一种目标检测模型的确定方法及装置
CN111832634A (zh) 异物检测方法、系统、终端设备及存储介质
CN112085842B (zh) 深度值确定方法及装置、电子设备和存储介质
Sahu et al. Shape features for image-based servo-control using image moments
CN115187769A (zh) 一种定位方法及装置
CN109410304B (zh) 一种投影确定方法、装置及设备
WO2020227933A1 (zh) 一种六自由度姿态估计方法、装置及计算机可读存储介质
CN113793349A (zh) 目标检测方法及装置、计算机可读存储介质、电子设备
CN112381873A (zh) 一种数据标注方法及装置
CN111708046A (zh) 一种障碍物的平面数据的处理方法、装置、电子设备及存储介质
CN114043531B (zh) 台面倾角确定、使用方法、装置、机器人和存储介质
CN111223139A (zh) 目标定位方法及终端设备
CN114998426B (zh) 机器人测距方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant