CN110163859B - 基于PoseCNN的焊缝焊接方法、装置及设备 - Google Patents

基于PoseCNN的焊缝焊接方法、装置及设备 Download PDF

Info

Publication number
CN110163859B
CN110163859B CN201910457446.XA CN201910457446A CN110163859B CN 110163859 B CN110163859 B CN 110163859B CN 201910457446 A CN201910457446 A CN 201910457446A CN 110163859 B CN110163859 B CN 110163859B
Authority
CN
China
Prior art keywords
welding
estimation
plate
welding plate
welded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910457446.XA
Other languages
English (en)
Other versions
CN110163859A (zh
Inventor
倪浩敏
黄国恒
萧堪鸿
孙振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910457446.XA priority Critical patent/CN110163859B/zh
Publication of CN110163859A publication Critical patent/CN110163859A/zh
Application granted granted Critical
Publication of CN110163859B publication Critical patent/CN110163859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于PoseCNN的焊缝焊接方法，包括利用PoseCNN卷积神经网络得到待焊接焊缝所在焊板的图像的特征图，利用第一全连接层网络、池化网络及第二全连接层网络得到焊板旋转估计，利用第一PoseCNN反卷积网络将各像素回归到中心方向，利用焊板中心位置、摄像头焦点及摄像头主点的关系，得到焊板平移估计，利用第二PoseCNN反卷积网络得到焊缝位置估计，结合焊板旋转估计、焊板平移估计及焊缝位置估计，得到待焊接焊缝的三维坐标，根据三维坐标进行焊接。本发明较大地降低了获取待焊接焊缝的三维坐标的难度，提高了焊接效率，促进了焊接智能化。本发明还公开了一种基于PoseCNN的焊缝焊接装置、设备及存储介质，具有相应技术效果。

Description

基于PoseCNN的焊缝焊接方法、装置及设备
技术领域
本发明涉及焊接技术领域，特别是涉及一种基于PoseCNN的焊缝焊接方法、装置、设备及计算机可读存储介质。
背景技术
随着制造行业自动化进程的迅速发展，金属焊接成为生产过程中必不可少的环节。为满足自动化焊接生产的要求，需要实时获得焊接过程中焊缝的宽度、中心线等位置信息。目前由于智能化在工业的应用，焊缝三维信息的获取越发重要，是实现智能化焊接的技术基础，对环境具有较强的适应能力，对重要工件的焊接和危险环境下的焊接具有尤为重要的意义。
近年来基于深度学习的目标提取方法开始应用于焊缝焊接，比如基于全卷积神经网络的焊缝特征提取。此类方法能够在强烈弧光和烟尘干扰下，准确的提取焊缝位置，具有抗干扰能力强，识别准确的优点。但其获取焊缝的三维坐标，对焊板以及摄像头的位置摆放要求高，获取预测出焊缝的三维坐标的难度大，不利于实现智能化焊接。
综上所述，如何有效地解决现有的焊缝焊接方式对焊板以及摄像头的位置摆放要求高，获取预测出焊缝的三维坐标难度大等问题，是目前本领域技术人员急需解决的问题。
发明内容
本发明的目的是提供一种基于PoseCNN的焊缝焊接方法，该方法较大地降低了对焊板以及摄像头的位置摆放要求，较大地降低了获取待焊接焊缝的三维坐标的难度，提高了焊接效率，促进了焊接智能化；本发明的另一目的是提供一种基于PoseCNN的焊缝焊接装置、设备及计算机可读存储介质。
为解决上述技术问题，本发明提供如下技术方案：
一种基于PoseCNN的焊缝焊接方法，包括：
将待焊接焊缝所在焊板的图像输入到PoseCNN卷积神经网络进行卷积操作，得到特征图；
将所述特征图输入到第一全连接层网络进行学习训练，得到焊板边框；将所述焊板边框映射到所述特征图的对应位置，得到映射后区域图像；将所述映射后区域图像依次经过池化网络和第二全连接层网络，得到焊板旋转估计；
将所述特征图输入到第一PoseCNN反卷积网络，以使所述特征图中各像素回归到中心方向；在回归后得到的各所述像素所在位置中确定焊板中心位置；利用所述焊板中心位置、摄像头焦点及摄像头主点之间的关系，计算焊板平移估计；
将所述特征图输入到第二PoseCNN反卷积网络，得到所述待焊接焊缝的焊缝位置估计；
结合所述焊板旋转估计、所述焊板平移估计及所述焊缝位置估计，得到所述待焊接焊缝的三维坐标，以根据所述三维坐标对所述待焊接焊缝进行焊接操作。
在本发明的一种具体实施方式中，将所述映射后区域图像依次经过池化网络和第二全连接层网络，得到焊板旋转估计，包括：
将所述映射后区域图像进行区域划分，得到预定数量个子区域图像；
将各所述子区域图像输入到所述池化网络进行最大池化操作，得到池化结果；
将所述池化结果输入到所述第二全连接层网络进行学习训练，得到所述焊板旋转估计。
在本发明的一种具体实施方式中，在回归后得到的各所述像素所在位置中确定焊板中心位置，包括：
利用霍夫投票法计算回归后得到的各所述像素所在位置的投票分数；
选取得分最高的像素所在位置为所述焊板中心位置。
在本发明的一种具体实施方式中，利用所述焊板中心位置、摄像头焦点及摄像头主点之间的关系，计算焊板平移估计，包括：
根据公式计算所述焊板平移估计：
Figure BDA0002077029540000031
T＝(Tx,Ty,Tz)T；
其中，cx为所述焊板中心位置的横坐标，cy为所述焊板中心位置的纵坐标，px为摄像头主点的横坐标，py为所述摄像头主点的纵坐标，fx为摄像头焦点的横坐标，fy为所述摄像头焦点的纵坐标，Tx为焊板在x轴方向的平移估计，Ty为焊板在y轴方向的平移估计，Tz为焊板在z轴方向的平移估计，T为所述焊板平移估计。
一种基于PoseCNN的焊缝焊接装置，包括：
特征图获得模块，用于将待焊接焊缝所在焊板的图像输入到PoseCNN卷积神经网络进行卷积操作，得到特征图；
焊板旋转估计模块，用于将所述特征图输入到第一全连接层网络进行学习训练，得到焊板边框；将所述焊板边框映射到所述特征图的对应位置，得到映射后区域图像；将所述映射后区域图像依次经过池化网络和第二全连接层网络，得到焊板旋转估计；
焊板平移估计模块，用于将所述特征图输入到第一PoseCNN反卷积网络，以使所述特征图中各像素回归到中心方向；在回归后得到的各所述像素所在位置中确定焊板中心位置；利用所述焊板中心位置、摄像头焦点及摄像头主点之间的关系，计算焊板平移估计；
焊缝位置估计模块，用于将所述特征图输入到第二PoseCNN反卷积网络，得到所述待焊接焊缝的焊缝位置估计；
焊接操作模块，用于结合所述焊板旋转估计、所述焊板平移估计及所述焊缝位置估计，得到所述待焊接焊缝的三维坐标，以根据所述三维坐标对所述待焊接焊缝进行焊接操作。
在本发明的一种具体实施方式中，所述焊板旋转估计模块包括区域划分子模块、池化结果获得子模块及焊板旋转估计子模块，
所述区域划分子模块，用于将所述映射后区域图像进行区域划分，得到预定数量个子区域图像；
所述池化结果获得子模块，用于将各所述子区域图像输入到所述池化网络进行最大池化操作，得到池化结果；
所述焊板旋转估计子模块，用于将所述池化结果输入到所述第二全连接层网络进行学习训练，得到所述焊板旋转估计。
在本发明的一种具体实施方式中，所述焊板平移估计模块包括焊板中心位置确定子模块，所述焊板中心位置确定子模块包括投票分数获得单元和焊板中心位置选取单元，
所述投票分数获得单元，用于利用霍夫投票法计算回归后得到的各所述像素所在位置的投票分数；
所述焊板中心位置选取单元，用于选取得分最高的像素所在位置为所述焊板中心位置。
在本发明的一种具体实施方式中，所述焊板平移估计模块具体用于根据公式计算所述焊板平移估计：
Figure BDA0002077029540000041
T＝(Tx,Ty,Tz)T；
其中，cx为所述焊板中心位置的横坐标，cy为所述焊板中心位置的纵坐标，px为摄像头主点的横坐标，py为所述摄像头主点的纵坐标，fx为摄像头焦点的横坐标，fy为所述摄像头焦点的纵坐标，Tx为焊板在x轴方向的平移估计，Ty为焊板在y轴方向的平移估计，Tz为焊板在z轴方向的平移估计，T为所述焊板平移估计。
一种基于PoseCNN的焊缝焊接设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如前所述基于PoseCNN的焊缝焊接方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述基于PoseCNN的焊缝焊接方法的步骤。
应用本发明实施例所提供的技术方案，通过利用PoseCNN卷积神经网络得到待焊接焊缝所在焊板的图像的特征图，利用第一全连接层网络、池化网络及第二全连接层网络依次对特征图进行处理，得到焊板旋转估计，利用第一PoseCNN反卷积网络对特征图进行处理，将各像素回归到中心方向，利用焊板中心位置、摄像头焦点及摄像头主点之间的关系，计算得到焊板平移估计，利用第二PoseCNN反卷积网络对特征图进行处理，得到待焊接焊缝的焊缝位置估计，结合焊板旋转估计、焊板平移估计及焊缝位置估计，得到待焊接焊缝的三维坐标。本申请可以通过计算焊板旋转估计、焊板平移估计及焊缝位置估计，准确得出待焊接焊缝的三维坐标，较大地降低了对焊板以及摄像头的位置摆放要求，较大地降低了获取待焊接焊缝的三维坐标的难度，提高了焊接效率，促进了焊接智能化。
相应的，本发明实施例还提供了与上述基于PoseCNN的焊缝焊接方法相对应的基于PoseCNN的焊缝焊接装置、设备和计算机可读存储介质，具有上述技术效果，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于PoseCNN的焊缝焊接方法的一种实施流程图；
图2为本发明实施例中一种卷积神经网络的结构示意图；
图3为本发明实施例中基于PoseCNN的焊缝焊接方法的另一种实施流程图；
图4为本发明实施例中一种基于PoseCNN的焊缝焊接装置的结构框图；
图5为本发明实施例中一种基于PoseCNN的焊缝焊接设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
参见图1，图1为本发明实施例中基于PoseCNN的焊缝焊接方法的一种实施流程图，该方法可以包括以下步骤：
S101：将待焊接焊缝所在焊板的图像输入到PoseCNN卷积神经网络进行卷积操作，得到特征图。
当需要对待焊接焊缝进行焊接时，可以获取待焊接焊缝所在焊板的图像，并将待焊接焊缝所在焊板的图像输入到PoseCNN卷积神经网络，如图2所示，可以采用vgg16网络，先把图像处理成224×224×3的大小，然后使其通过64个3×3×3的卷积核，2×2的最大池化操作，得到64个224×224的图A，接着通过128个3×3×64的卷积核，2×2的最大池化操作，生成128个112×112的图B。接着图B先通过256个3×3×128的卷积核，2×2的最大池化操作得到256个56×56的图C。图C通过512个3×3×256的卷积核，2×2的最大池化操作得到512个28×28的图D，最后图D通过512个3×3×512的卷积核，2×2的最大池化操作，生成512个14×14的图E，图E即为通过卷积神经网络进行卷积操作之后得到的特征图。
S102：将特征图输入到第一全连接层网络进行学习训练，得到焊板边框；将焊板边框映射到特征图的对应位置，得到映射后区域图像；将映射后区域图像依次经过池化网络和第二全连接层网络，得到焊板旋转估计。
在得到特征图之后，可以将特征图输入到第一全连接层网络进行学习训练，得到焊板边框。将焊板边框映射到特征图的对应位置，得到映射后区域图像，即使得焊板边框正好框住焊板的特征图，从而避免原始获取的图像中除焊板之外的图像造成的干扰。再将映射后区域图像依次经过池化网络和第二全连接层网络，得到焊板旋转估计。承接上例，可以将得到的图E经过4096大小的全连接层，再经过4096大小的全连接层，然后再经过384大小的全连接层，最后将图E回归为四个坐标，用来预测边界框。将预测得到的边框映射到图E对应位置上，将映射后区域图像输入到池化网络进行池化操作，然后可以再依次经过两个4096大小的全连接层得到焊板的旋转姿态，如可以采用四元数来表示焊板的旋转，四元数的一般形式为q＝a+bi+cj+dk，其中，i代表X轴与Y轴相交平面中X轴正向向Y轴正向的旋转，j代表Z轴与X轴相交平面中Z轴正向向X轴正向的旋转，k代表Y轴与Z轴相交平面中Y轴正向向Z轴正向的旋转，b，c，d分别代表对应的系数。由于如果只使用纯四元数，即q＝bi+cj+dk，这种表示方法有缺点的，其限制了旋转轴和需要被旋转的四元数必须是垂直的，而不能达到任意的旋转。增加的常数会把一个纯四元数拉到四维空间，但它的共轭又会把这个四维的空间拉回到三维空间，从而解决上面的问题。
S103：将特征图输入到第一PoseCNN反卷积网络，以使特征图中各像素回归到中心方向；在回归后得到的各像素所在位置中确定焊板中心位置；利用焊板中心位置、摄像头焦点及摄像头主点之间的关系，计算焊板平移估计。
可以将特征图输入到第一PoseCNN反卷积网络，从而使得特征图中各像素回归到中心方向。并可以在回归后得到的各像素所在位置中确定焊板中心位置，如可以利用霍夫投票法确定焊板的中心位置，还可以利用矢量投票法确定焊板的中心位置。可以预先设置由焊板中心位置、摄像头焦点及摄像头主点计算焊板平移估计的计算方案，利用焊板中心位置、摄像头焦点及摄像头主点之间的关系，计算焊板平移估计。摄像头主点即为摄像头主视线与透视面的交点。承接上例，可以将图E输入到第一PoseCNN反卷积网络，对每个维度进行填充，使其通过128个4×4×512的卷积核得到128个28×28的图F，对其进行填充后，再令其通过128个4×4×128的卷积核得到56×56×128的图G，最后使图G通过3个16×16×128的卷积核，得到224×224×3的图H，从而可以使得图E中各像素回归到中心方向。
S104：将特征图输入到第二PoseCNN反卷积网络，得到待焊接焊缝的焊缝位置估计。
可以将特征图输入到第二PoseCNN反卷积网络，进行反卷积处理，得到待焊接焊缝的焊缝位置估计。承接上例，可以对图E进行反卷积操作，对每个维度进行填充，使其通过64个4×4×512的卷积核得到64个28×28的图I。对其进行填充后，再令其通过64个4×4×64的卷积核得到56×56×64的图J，最后通过1个16×16×128的卷积核，得到224×224的图K。最后从图K里可以获得像素级别的焊缝定位。
S105：结合焊板旋转估计、焊板平移估计及焊缝位置估计，得到待焊接焊缝的三维坐标，以根据三维坐标对待焊接焊缝进行焊接操作。
在得到焊板旋转估计、焊板平移估计及焊缝位置估计之后，可以结合焊板旋转估计、焊板平移估计及焊缝位置估计，得到待焊接焊缝的三维坐标，从而根据三维坐标对待焊接焊缝进行焊接操作。如对焊缝位置估计对应的矩阵左边乘以焊板平移估计对应的矩阵，右边乘以焊板旋转估计对应的矩阵，在将摄像头的坐标转换成焊板所在地面的世界坐标的同时，得到焊缝的三维坐标。
应用本发明实施例所提供的方法，通过利用PoseCNN卷积神经网络得到待焊接焊缝所在焊板的图像的特征图，利用第一全连接层网络、池化网络及第二全连接层网络依次对特征图进行处理，得到焊板旋转估计，利用第一PoseCNN反卷积网络对特征图进行处理，将各像素回归到中心方向，利用焊板中心位置、摄像头焦点及摄像头主点之间的关系，计算得到焊板平移估计，利用第二PoseCNN反卷积网络对特征图进行处理，得到待焊接焊缝的焊缝位置估计，结合焊板旋转估计、焊板平移估计及焊缝位置估计，得到待焊接焊缝的三维坐标。本申请可以通过计算焊板旋转估计、焊板平移估计及焊缝位置估计，准确得出待焊接焊缝的三维坐标，较大地降低了对焊板以及摄像头的位置摆放要求，较大地降低了获取待焊接焊缝的三维坐标的难度，提高了焊接效率，促进了焊接智能化。
需要说明的是，基于上述实施例一，本发明实施例还提供了相应的改进方案。在后续实施例中涉及与上述实施例一中相同步骤或相应步骤之间可相互参考，相应的有益效果也可相互参照，在下文的改进实施例中不再一一赘述。
实施例二：
参见图3，图3为本发明实施例中基于PoseCNN的焊缝焊接方法的另一种实施流程图，该方法可以包括以下步骤：
S301：将待焊接焊缝所在焊板的图像输入到PoseCNN卷积神经网络进行卷积操作，得到特征图。
S302：将特征图输入到全连接层网络进行学习训练，得到焊板边框；将焊板边框映射到特征图的对应位置，得到映射后区域图像；将映射后区域图像进行区域划分，得到预定数量个子区域图像；将各子区域图像输入到池化网络进行最大池化操作，得到池化结果；将池化结果输入到第二全连接层网络进行学习训练，得到焊板旋转估计。
在得到映射后区域图像之后，可以将映射后图像进行区域划分，得到预定数量个子区域图像，将各子区域图像输入到池化网络进行最大池化操作，得到焊板旋转估计。
需要说明的是，本发明实施例对映射后图像划分成的子区域图像个数不作限定，可以根据实际情况进行设定和调整，如可以将预定数量设置为4。
S303：将特征图输入到第一PoseCNN反卷积网络，以使特征图中各像素回归到中心方向；利用霍夫投票法计算回归后得到的各像素所在位置的投票分数；选取得分最高的像素所在位置为焊板中心位置。根据公式计算焊板平移估计：
Figure BDA0002077029540000091
T＝(Tx,Ty,Tz)T；
其中，cx为所述焊板中心位置的横坐标，cy为所述焊板中心位置的纵坐标，px为摄像头主点的横坐标，py为所述摄像头主点的纵坐标，fx为摄像头焦点的横坐标，fy为所述摄像头焦点的纵坐标，Tx为焊板在x轴方向的平移估计，Ty为焊板在y轴方向的平移估计，Tz为焊板在z轴方向的平移估计，T为所述焊板平移估计。
在利用第一PoseCNN反卷积网络将特征图中各像素回归到中心方向之后，可以利用霍夫投票法计算回归后得到的各像素所在位置的投票分数，选取得分最高的像素所在位置为焊板中心位置。根据如下预设的焊板中心位置、摄像头焦点及摄像头主点之间的关系式计算焊板的平移估计：
Figure BDA0002077029540000101
T＝(Tx,Ty,Tz)T；
其中，cx为所述焊板中心位置的横坐标，cy为所述焊板中心位置的纵坐标，px为摄像头主点的横坐标，py为所述摄像头主点的纵坐标，fx为摄像头焦点的横坐标，fy为所述摄像头焦点的纵坐标，Tx为焊板在x轴方向的平移估计，Ty为焊板在y轴方向的平移估计，Tz为焊板在z轴方向的平移估计，T为所述焊板平移估计。
S304：将特征图输入到第二PoseCNN反卷积网络，得到待焊接焊缝的焊缝位置估计。
S305：结合焊板旋转估计、焊板平移估计及焊缝位置估计，得到待焊接焊缝的三维坐标，以根据三维坐标对待焊接焊缝进行焊接操作。
相应于上面的方法实施例，本发明实施例还提供了一种基于PoseCNN的焊缝焊接装置，下文描述的基于PoseCNN的焊缝焊接装置与上文描述的基于PoseCNN的焊缝焊接方法可相互对应参照。
参见图4，图4为本发明实施例中一种基于PoseCNN的焊缝焊接装置的结构框图，该装置可以包括：
特征图获得模块41，用于将待焊接焊缝所在焊板的图像输入到PoseCNN卷积神经网络进行卷积操作，得到特征图；
焊板旋转估计模块42，用于将特征图输入到第一全连接层网络进行学习训练，得到焊板边框；将焊板边框映射到特征图的对应位置，得到映射后区域图像；将映射后区域图像依次经过池化网络和第二全连接层网络，得到焊板旋转估计；
焊板平移估计模块43，用于将特征图输入到第一PoseCNN反卷积网络，以使特征图中各像素回归到中心方向；在回归后得到的各像素所在位置中确定焊板中心位置；利用焊板中心位置、摄像头焦点及摄像头主点之间的关系，计算焊板平移估计；
焊缝位置估计模块44，用于将特征图输入到第二PoseCNN反卷积网络，得到待焊接焊缝的焊缝位置估计；
焊接操作模块45，用于结合焊板旋转估计、焊板平移估计及焊缝位置估计，得到待焊接焊缝的三维坐标，以根据三维坐标对待焊接焊缝进行焊接操作。
应用本发明实施例所提供的装置，通过利用PoseCNN卷积神经网络得到待焊接焊缝所在焊板的图像的特征图，利用第一全连接层网络、池化网络及第二全连接层网络依次对特征图进行处理，得到焊板旋转估计，利用第一PoseCNN反卷积网络对特征图进行处理，将各像素回归到中心方向，利用焊板中心位置、摄像头焦点及摄像头主点之间的关系，计算得到焊板平移估计，利用第二PoseCNN反卷积网络对特征图进行处理，得到待焊接焊缝的焊缝位置估计，结合焊板旋转估计、焊板平移估计及焊缝位置估计，得到待焊接焊缝的三维坐标。本申请可以通过计算焊板旋转估计、焊板平移估计及焊缝位置估计，准确得出待焊接焊缝的三维坐标，较大地降低了对焊板以及摄像头的位置摆放要求，较大地降低了获取待焊接焊缝的三维坐标的难度，提高了焊接效率，促进了焊接智能化。
在本发明的一种具体实施方式中，焊板旋转估计模块42包括区域划分子模块、池化结果获得子模块及焊板旋转估计子模块，
区域划分子模块，用于将映射后区域图像进行区域划分，得到预定数量个子区域图像；
池化结果获得子模块，用于将各子区域图像输入到池化网络进行最大池化操作，得到池化结果；
焊板旋转估计子模块，用于将池化结果输入到所述第二全连接层网络进行学习训练，得到焊板旋转估计。
在本发明的一种具体实施方式中，焊板平移估计模块43包括焊板中心位置确定子模块，焊板中心位置确定子模块包括投票分数获得单元和焊板中心位置选取单元，
投票分数获得单元，用于利用霍夫投票法计算回归后得到的各像素所在位置的投票分数；
焊板中心位置选取单元，用于选取得分最高的像素所在位置为焊板中心位置。
在本发明的一种具体实施方式中，焊板平移估计模块43具体用于根据公式计算焊板平移估计：
Figure BDA0002077029540000121
T＝(Tx,Ty,Tz)T；
其中，cx为焊板中心位置的横坐标，cy为焊板中心位置的纵坐标，px为摄像头主点的横坐标，py为摄像头主点的纵坐标，fx为摄像头焦点的横坐标，fy为摄像头焦点的纵坐标，Tx为焊板在x轴方向的平移估计，Ty为焊板在y轴方向的平移估计，Tz为焊板在z轴方向的平移估计，T为焊板平移估计。
相应于上面的方法实施例，参见图5，图5为本发明所提供的基于PoseCNN的焊缝焊接设备的示意图，该设备可以包括：
存储器51，用于存储计算机程序；
处理器52，用于执行上述存储器51存储的计算机程序时可实现如下步骤：
将待焊接焊缝所在焊板的图像输入到PoseCNN卷积神经网络进行卷积操作，得到特征图；将特征图输入到第一全连接层网络进行学习训练，得到焊板边框；将焊板边框映射到特征图的对应位置，得到映射后区域图像；将映射后区域图像依次经过池化网络和第二全连接层网络，得到焊板旋转估计；将特征图输入到第一PoseCNN反卷积网络，以使特征图中各像素回归到中心方向；在回归后得到的各像素所在位置中确定焊板中心位置；利用焊板中心位置、摄像头焦点及摄像头主点之间的关系，计算焊板平移估计；将特征图输入到第二PoseCNN反卷积网络，得到待焊接焊缝的焊缝位置估计；结合焊板旋转估计、焊板平移估计及焊缝位置估计，得到待焊接焊缝的三维坐标，以根据三维坐标对待焊接焊缝进行焊接操作。
对于本发明提供的设备的介绍请参照上述方法实施例，本发明在此不做赘述。
相应于上面的方法实施例，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下步骤：
将待焊接焊缝所在焊板的图像输入到PoseCNN卷积神经网络进行卷积操作，得到特征图；将特征图输入到第一全连接层网络进行学习训练，得到焊板边框；将焊板边框映射到特征图的对应位置，得到映射后区域图像；将映射后区域图像依次经过池化网络和第二全连接层网络，得到焊板旋转估计；将特征图输入到第一PoseCNN反卷积网络，以使特征图中各像素回归到中心方向；在回归后得到的各像素所在位置中确定焊板中心位置；利用焊板中心位置、摄像头焦点及摄像头主点之间的关系，计算焊板平移估计；将特征图输入到第二PoseCNN反卷积网络，得到待焊接焊缝的焊缝位置估计；结合焊板旋转估计、焊板平移估计及焊缝位置估计，得到待焊接焊缝的三维坐标，以根据三维坐标对待焊接焊缝进行焊接操作。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本发明提供的计算机可读存储介质的介绍请参照上述方法实施例，本发明在此不做赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (4)

1.一种基于PoseCNN的焊缝焊接方法，其特征在于，包括：
将待焊接焊缝所在焊板的图像输入到PoseCNN卷积神经网络进行卷积操作，得到特征图；
将所述特征图输入到第一全连接层网络进行学习训练，得到焊板边框；将所述焊板边框映射到所述特征图的对应位置，得到映射后区域图像；将所述映射后区域图像依次经过池化网络和第二全连接层网络，得到焊板旋转估计；
将所述特征图输入到第一PoseCNN反卷积网络，以使所述特征图中各像素回归到中心方向；在回归后得到的各所述像素所在位置中确定焊板中心位置；利用所述焊板中心位置、摄像头焦点及摄像头主点之间的关系，计算焊板平移估计；
将所述特征图输入到第二PoseCNN反卷积网络，得到所述待焊接焊缝的焊缝位置估计；
结合所述焊板旋转估计、所述焊板平移估计及所述焊缝位置估计，得到所述待焊接焊缝的三维坐标，以根据所述三维坐标对所述待焊接焊缝进行焊接操作；
其中，将所述映射后区域图像依次经过池化网络和第二全连接层网络，得到焊板旋转估计，包括：将所述映射后区域图像进行区域划分，得到预定数量个子区域图像；将各所述子区域图像输入到所述池化网络进行最大池化操作，得到池化结果；将所述池化结果输入到所述第二全连接层网络进行学习训练，得到所述焊板旋转估计；
在回归后得到的各所述像素所在位置中确定焊板中心位置，包括：利用霍夫投票法计算回归后得到的各所述像素所在位置的投票分数；选取得分最高的像素所在位置为所述焊板中心位置；
利用所述焊板中心位置、摄像头焦点及摄像头主点之间的关系，计算焊板平移估计，包括：根据公式计算所述焊板平移估计：
；
；
其中，为所述焊板中心位置的横坐标，为所述焊板中心位置的纵坐标，为摄像头主点的横坐标，为所述摄像头主点的纵坐标，为摄像头焦点的横坐标，为所述摄像头焦点的纵坐标，为焊板在轴方向的平移估计，为焊板在轴方向的平移估计，为焊板在轴方向的平移估计，为所述焊板平移估计。
2.一种基于PoseCNN的焊缝焊接装置，其特征在于，包括：
特征图获得模块，用于将待焊接焊缝所在焊板的图像输入到PoseCNN卷积神经网络进行卷积操作，得到特征图；
焊板旋转估计模块，用于将所述特征图输入到第一全连接层网络进行学习训练，得到焊板边框；将所述焊板边框映射到所述特征图的对应位置，得到映射后区域图像；将所述映射后区域图像依次经过池化网络和第二全连接层网络，得到焊板旋转估计；
焊板平移估计模块，用于将所述特征图输入到第一PoseCNN反卷积网络，以使所述特征图中各像素回归到中心方向；在回归后得到的各所述像素所在位置中确定焊板中心位置；利用所述焊板中心位置、摄像头焦点及摄像头主点之间的关系，计算焊板平移估计；
焊缝位置估计模块，用于将所述特征图输入到第二PoseCNN反卷积网络，得到所述待焊接焊缝的焊缝位置估计；
焊接操作模块，用于结合所述焊板旋转估计、所述焊板平移估计及所述焊缝位置估计，得到所述待焊接焊缝的三维坐标，以根据所述三维坐标对所述待焊接焊缝进行焊接操作；
其中，所述焊板旋转估计模块包括区域划分子模块、池化结果获得子模块及焊板旋转估计子模块，所述区域划分子模块，用于将所述映射后区域图像进行区域划分，得到预定数量个子区域图像；所述池化结果获得子模块，用于将各所述子区域图像输入到所述池化网络进行最大池化操作，得到池化结果；所述焊板旋转估计子模块，用于将所述池化结果输入到所述第二全连接层网络进行学习训练，得到所述焊板旋转估计；
所述焊板平移估计模块包括焊板中心位置确定子模块，所述焊板中心位置确定子模块包括投票分数获得单元和焊板中心位置选取单元，所述投票分数获得单元，用于利用霍夫投票法计算回归后得到的各所述像素所在位置的投票分数；所述焊板中心位置选取单元，用于选取得分最高的像素所在位置为所述焊板中心位置；
所述焊板平移估计模块具体用于根据公式计算所述焊板平移估计：
；
；
其中，为所述焊板中心位置的横坐标，为所述焊板中心位置的纵坐标，为摄像头主点的横坐标，为所述摄像头主点的纵坐标，为摄像头焦点的横坐标，为所述摄像头焦点的纵坐标，为焊板在轴方向的平移估计，为焊板在轴方向的平移估计，为焊板在轴方向的平移估计，为所述焊板平移估计。
3.一种基于PoseCNN的焊缝焊接设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1所述基于PoseCNN的焊缝焊接方法的步骤。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1所述基于PoseCNN的焊缝焊接方法的步骤。
CN201910457446.XA 2019-05-29 2019-05-29 基于PoseCNN的焊缝焊接方法、装置及设备 Active CN110163859B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910457446.XA CN110163859B (zh) 2019-05-29 2019-05-29 基于PoseCNN的焊缝焊接方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910457446.XA CN110163859B (zh) 2019-05-29 2019-05-29 基于PoseCNN的焊缝焊接方法、装置及设备

Publications (2)

Publication Number Publication Date
CN110163859A CN110163859A (zh) 2019-08-23
CN110163859B true CN110163859B (zh) 2023-05-05

Family

ID=67629741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910457446.XA Active CN110163859B (zh) 2019-05-29 2019-05-29 基于PoseCNN的焊缝焊接方法、装置及设备

Country Status (1)

Country Link
CN (1) CN110163859B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018192524A (ja) * 2017-05-12 2018-12-06 株式会社神戸製鋼所 自動溶接システム、溶接制御方法、及び機械学習モデル
CN109001211A (zh) * 2018-06-08 2018-12-14 苏州赛克安信息技术有限公司 基于卷积神经网络的长输管道焊缝检测系统及方法
CN109035204A (zh) * 2018-06-25 2018-12-18 华南理工大学 一种焊缝目标实时检测方法
CN109175608A (zh) * 2018-09-30 2019-01-11 华南理工大学 焊缝特征点位置在线测量方法及焊缝轨迹自动测量系统
CN109285139A (zh) * 2018-07-23 2019-01-29 同济大学 一种基于深度学习的x射线成像焊缝检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839717B2 (en) * 2016-01-11 2020-11-17 Illinois Tool Works Inc. Weld training systems to synchronize weld data for presentation
CN106530284A (zh) * 2016-10-21 2017-03-22 广州视源电子科技股份有限公司 基于图像识别的焊点类型检测和装置
WO2018165753A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
CN109376681B (zh) * 2018-11-06 2021-09-03 广东工业大学 一种多人姿态估计方法及系统
CN109492579B (zh) * 2018-11-08 2022-05-10 广东工业大学 一种基于st-sin的视频物体检测方法及系统
CN109670474B (zh) * 2018-12-28 2023-07-25 广东工业大学 一种基于视频的人体姿态估计方法、装置及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018192524A (ja) * 2017-05-12 2018-12-06 株式会社神戸製鋼所 自動溶接システム、溶接制御方法、及び機械学習モデル
CN109001211A (zh) * 2018-06-08 2018-12-14 苏州赛克安信息技术有限公司 基于卷积神经网络的长输管道焊缝检测系统及方法
CN109035204A (zh) * 2018-06-25 2018-12-18 华南理工大学 一种焊缝目标实时检测方法
CN109285139A (zh) * 2018-07-23 2019-01-29 同济大学 一种基于深度学习的x射线成像焊缝检测方法
CN109175608A (zh) * 2018-09-30 2019-01-11 华南理工大学 焊缝特征点位置在线测量方法及焊缝轨迹自动测量系统

Also Published As

Publication number Publication date
CN110163859A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN112444242B (zh) 一种位姿优化方法及装置
CN111753739B (zh) 物体检测方法、装置、设备以及存储介质
CN112651881B (zh) 图像合成方法、装置、设备、存储介质以及程序产品
EP3985575A1 (en) Three-dimensional information processing method and apparatus
CN112348890B (zh) 一种空间定位方法、装置及计算机可读存储介质
CN111768415A (zh) 一种无量化池化的图像实例分割方法
CN114289332A (zh) 工件分拣的视觉识别与定位方法、装置及分拣系统
CN107451991A (zh) 一种立焊焊接轨迹计算方法及系统
CN110163859B (zh) 基于PoseCNN的焊缝焊接方法、装置及设备
CN112163996B (zh) 一种基于图像处理的平角视频融合方法
CN110750094A (zh) 确定可移动设备的位姿变化信息的方法、装置和系统
CN113808033A (zh) 图像文档校正方法、系统、终端及介质
CN114616586A (zh) 图像标注方法、装置、电子设备及计算机可读存储介质
CN116921932A (zh) 焊接轨迹识别方法、装置、设备及存储介质
CN112102473A (zh) 配网带电作业机器人的作业场景建模方法及系统
CN116469101A (zh) 数据标注方法、装置、电子设备及存储介质
CN114505864B (zh) 一种手眼标定方法、装置、设备及存储介质
CN113610927B (zh) 一种avm摄像头参数标定方法、装置及电子设备
CN114792343A (zh) 图像获取设备的标定方法、获取图像数据的方法、装置
CN113344782A (zh) 图像拼接方法、装置、存储介质及电子装置
CN113192138A (zh) 一种机器人自主重定位方法、装置、机器人及存储介质
EP4187499A1 (en) Target detection method and apparatus, electronic device, and computer storage medium
CN110740302B (zh) 投影仪失焦方向的定位方法和定位装置
WO2022102525A1 (ja) データ作成システム、学習システム、推定システム、処理装置、評価システム、データ作成方法、及びプログラム
CN114520903B (zh) 渲染显示方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant