CN115018813A - 一种机器人自主识别与精确定位焊缝的方法 - Google Patents

一种机器人自主识别与精确定位焊缝的方法 Download PDF

Info

Publication number
CN115018813A
CN115018813A CN202210757892.4A CN202210757892A CN115018813A CN 115018813 A CN115018813 A CN 115018813A CN 202210757892 A CN202210757892 A CN 202210757892A CN 115018813 A CN115018813 A CN 115018813A
Authority
CN
China
Prior art keywords
welding
welded
picture
cloud data
welding seam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210757892.4A
Other languages
English (en)
Inventor
马程远
陈波
檀财旺
宋晓国
李宇杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology Weihai
Original Assignee
Harbin Institute of Technology Weihai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology Weihai filed Critical Harbin Institute of Technology Weihai
Priority to CN202210757892.4A priority Critical patent/CN115018813A/zh
Publication of CN115018813A publication Critical patent/CN115018813A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Numerical Control (AREA)

Abstract

本发明提出一种机器人自主识别与精确定位焊缝的方法，属于焊接技术领域，本发明提出的方法的步骤包括：获取待焊工件照片，使用神经网络分析待焊工件照片以获取焊缝端点坐标，依据焊缝端点坐标扫描焊缝获取点云数据，分析点云数据自动计算焊枪位姿信息，依据焊枪位姿信息执行焊接，焊接过程中实时分析位置偏差以提高焊接精度。通过本发明所提出的方法中的各步骤，可以在无人干预的情况下高效率地实现多个且可以是类型不同的焊缝的识别、焊缝起点终点的定位、焊缝三维形貌的扫描、待焊点的精确定位，最终实现机器人的全自主焊接；另外本申请所涉及的方法对相机进行了复用，使其在焊缝位置识别与焊缝三维扫描中均发挥了作用，降低了成本。

Description

一种机器人自主识别与精确定位焊缝的方法
技术领域
本发明涉及焊接技术领域，尤其涉及一种机器人自主识别与精确定位焊缝的方法。
背景技术
焊接自动化是提高焊接质量和效率、节省人工成本的重要手段。焊缝跟踪是实现焊接自动化的必要技术之一，已经广泛运用于高端装备制造领域。但目前的焊缝跟踪技术主要解决的是焊缝示教位置与实际位置存在偏差的问题，仍不能解决焊缝初始点定位的问题。焊接初始点的定位以及焊缝路径的规划仍然需要依靠离线编程或者手动示教实现，无法做到全流程自动化及机器人的自主焊接。
传统的机器视觉进行焊缝定位的方法，只能实现平面焊缝的焊接，对于复杂焊缝、多焊缝的建模无法实现。专利申请号为201910266401.4的发明专利申请公开了一种应用于金属结构的智能焊接系统，其也可以实现无需示教的自动离线编程，但是该系统需要先手动为待焊工件进行建模，依靠数字模型为机器人提供焊缝位置，焊接精度受限于建模精度及加工精度，且对于无法直接建模的复杂曲面，不能进行焊接路径的编程。
发明内容
为了解决现有技术中存在的问题，本申请提出了一种机器人自主识别与精确定位焊缝的方法，以便可以在无人干预的情况下实现多个且可以是类型不同的焊缝的识别、焊缝起点终点的定位、焊缝三维形貌的扫描、待焊点的精确定位、焊接路径的自动规划，最终实现机器人的全自主焊接。
为了实现上述目的，本申请提出了一种机器人自主识别与精确定位焊缝的方法，包括以下步骤：
步骤1、使用机器人所搭载的相机拍摄待焊工件的照片，记录拍摄照片时相机的位姿信息，使用预先训练好的神经网络分析照片，获取照片中的焊缝数量以及每一条焊缝的边界及两个端点在图像坐标系中的坐标，结合拍摄照片时相机的位姿信息计算出每一条焊缝的边界及两个端点对应的在世界坐标系中的坐标；
步骤2、打开激光结构光发生器，将结构光投影在待焊工件上，针对识别出的第一条焊缝，借助步骤1计算出的它的两个端点在世界坐标系中的坐标，控制机器人距待焊工件预设高度沿焊缝的起点向终点运动，在运动的过程中同时拍摄结构光的照片，并记录每一张照片拍摄时机器人末端相机的位姿信息；
步骤3、对步骤2中拍摄到的每一张结构光照片进行图像处理，得到各个结构光条纹中心线在图像坐标系中的坐标，再结合与结构光照片对应的机器人末端相机的位姿信息计算出结构光条纹中心线在世界坐标系中所对应的坐标，将所有结构光条纹中心线在世界坐标系中所对应的坐标组合成一组点云数据；
步骤4、结合步骤1中确定的焊缝边界，剔除落在焊缝边界以外的点云数据以减少数据量，通过分析剔除后剩余的点云数据获取机器人上的焊枪的位姿信息；
步骤5、重复步骤2至步骤4，直至获取所有焊缝对应的焊枪位姿信息；
步骤6、控制机器人按照焊枪位姿信息对各焊缝依次执行焊接操作，焊接过程中，打开激光结构光发生器，将结构光投影在待焊工件上，拍摄结构光的照片，通过分析结构光的照片得出焊缝的精确坐标，同时，监控焊枪末端当前位置与焊缝精确坐标的偏差，控制机器人朝着降低偏差的方向移动。
在一些实施例中，在所述步骤1中，使用预先训练好的神经网络分析照片，获取照片中的焊缝数量以及每一条焊缝的边界及两个端点在图像坐标系中的坐标的具体做法如下：
步骤11、构建数据集，数据集包括平面焊缝、曲面焊缝、直线焊缝、曲线焊缝、单一焊缝、多个焊缝、交叉焊缝的照片；
步骤12、对步骤11中构建的数据集中的每一张照片进行标注，逐一确认照片中的像素点属于焊缝或属于待焊工件或属于背景，属于焊缝的像素点标记为1，属于待焊工件的像素点标记为2，属于背景的像素点标记为0；
步骤13、构建语义分割神经网络，然后使用步骤12中标注过的数据集训练该语义分割神经网络，得到训练好的神经网络；
步骤14、将待焊工件的照片输入步骤13中训练好的神经网络，神经网络会输出照片中每个像素所属的类别标记，选择所有标记为1的属于焊缝的像素点，在其组成的区域内，面积大于预设值的每一个连通域均对应输入照片中的一条焊缝，面积大于预设值的连通域的数量，即为照片中焊缝的数量，面积大于预设值的连通域的边界的像素坐标即为焊缝的边界在图像坐标系中的坐标，面积大于预设值的连通域的端点的像素坐标即为焊缝的端点在图像坐标系中的坐标。
在一些实施例中，在所述步骤3中，图像处理过程为对结构光照片依次进行滤波、降噪、形态学运算、边缘检测、结构光条纹中心线的提取。
在一些实施例中，在所述步骤4中，通过分析剔除后剩余的点云数据获取机器人上的焊枪的位姿信息的具体做法如下：
步骤41、对点云数据进行平面或曲面拟合，位于拟合面上的点属于待焊工件表面，位于拟合面之外的点属于焊缝；
步骤42、对属于待焊工件表面的点组成的点云数据，沿焊缝分为两部分，分别记为第一组待焊工件表面点云数据和第二组待焊工件表面点云数据；
步骤43、对属于焊缝的点组成的点云数据，沿焊缝延伸方向分成若干组分别进行质心点提取；
步骤44、对提取到的任一质心点，该质心点的坐标即为该质心点对应的焊枪位姿信息中焊枪的位置，该质心点前后两个质心点的连线的方向即为该质心点对应的焊枪位姿信息中焊枪姿态的x方向；在第一组待焊工件表面点云数据中提取与该质心点的距离小于k的所有点形成一组新的点云数据，在第二组待焊工件表面点云数据中提取与该质心点的距离小于k的所有点形成一组新的点云数据，k为预设值，分别求取两组新的点云数据构成的平面或者近似平面的法向量，得到第一法向量和第二法向量，第一法向量和第二法向量求和后得到第三法向量，第三法向量所指的方向即为该质心点对应的焊枪位姿信息中焊枪姿态的z方向，当x方向和z方向确定后，通过右手定则能得到该质心点对应的焊枪位姿信息中焊枪姿态的y方向。
在一些实施例中，在所述步骤6中，分析结构光的照片所采用的步骤依次是滤波、降噪、形态学运算、边缘检测、提取结构光条纹中心线、提取中心线上焊缝的特征点、计算焊缝的精确坐标。
本申请的该方案的有益效果在于上述机器人自主识别与精确定位焊缝的方法，可以在无人干预的情况下实现多个且可以是类型不同的焊缝的识别、焊缝起点终点的定位、焊缝三维形貌的扫描、待焊点的精确定位、焊接路径的自动规划，最终实现机器人的全自主焊接；本申请的该方案的核心思想在于，使用强大的神经网络技术对待焊工件照片进行分析从而获取焊缝的位置及走向信息，从而为后续对待焊工件进行三维扫描提供指导，此方案可以降低三维扫描的工作量及扫描后数据处理的复杂度，可以显著提高算法的执行速度；另外本申请所涉及的方法对相机进行了复用，使其在焊缝位置识别与焊缝三维扫描中均发挥了作用，降低了成本。本申请提出的焊缝的全自主识别与定位技术可以为实现广泛的智能制造提供支持。
附图说明
图1示出了实施例中机器人自主识别与精确定位焊缝的方法的流程图。
图2示出了实施例中直线型焊缝及其边界的示意图，其中(a)为俯视示意图，(b)为主视示意图。
图3示出了实施例中S型焊缝及其边界的示意图，其中(a)为俯视示意图，(b)为主视示意图。
图4示出了步骤二中拍摄到的某一张结构光照片以及步骤三中分析该张结构光照片的过程图，其中(a)为原图，(b)为滤波处理后的图，(c)为边缘检测处理后的图，(d)为中心线提取后的图。
图5示出了步骤三中生成的点云数据的可视化图。
图6示出了步骤四中属于焊缝的点组成的点云数据的可视化图。
图7示出了步骤六中获得的焊缝精确坐标与焊枪末端当前位置的偏差图。
具体实施方式
下面结合附图对本申请的具体实施方式作进一步的说明。
如图1所示，本申请所涉及的机器人自主识别与精确定位焊缝的方法包括以下步骤：
步骤1、使用机器人所搭载的相机拍摄待焊工件的照片，记录拍摄照片时相机的位姿信息，使用预先训练好的神经网络分析照片，获取照片中的焊缝数量(例如n条)以及每一条焊缝的边界及两个端点在图像坐标系中的坐标，结合拍摄照片时相机的位姿信息计算出每一条焊缝的边界及两个端点对应的在世界坐标系中的坐标。
在本实施例中，所使用的机器人采用Fanuc M-20iB/25，相机采用The ImagingSource DFK23GM021(德国映美精工业相机)。具体的，机器人所搭载的相机是标定过的，机器人与相机是经手眼标定过的。在本步骤中涉及到的神经网络可采用YOLOv5神经网络，其具有识别速度快的优势，可以提高焊缝的识别效率。在本实施例中，所使用的待焊工件为开V形坡口的直线型或者S型对接焊缝，如图2-3所示，图中1表示待焊工件，2表示焊缝。
在本步骤中，使用预先训练好的神经网络分析照片，获取照片中的焊缝数量以及每一条焊缝的边界及两个端点在图像坐标系中的坐标的具体做法如下：
步骤11、构建数据集，数据集包括平面焊缝、曲面焊缝、直线焊缝、曲线焊缝、单一焊缝、多个焊缝、交叉焊缝的照片。
步骤12、对步骤11中构建的数据集中的每一张照片进行标注，逐一确认照片中的像素点属于焊缝或属于待焊工件或属于背景，属于焊缝的像素点标记为1，属于待焊工件的像素点标记为2，属于背景的像素点标记为0。
步骤13、构建语义分割神经网络，然后使用步骤12中标注过的数据集训练该语义分割神经网络，得到训练好的神经网络。在本步骤中，语义分割神经网络采用U-Net的变种，可选地，语义分割神经网络还可以采用SegNet、PSPNet等神经网络或其变种。
步骤14、将待焊工件的照片输入步骤13中训练好的神经网络，神经网络会输出照片中每个像素所属的类别标记，选择所有标记为1的属于焊缝的像素点，在其组成的区域内，面积大于预设值的每一个连通域均对应输入照片中的一条焊缝，面积大于预设值的连通域的数量，即为照片中焊缝的数量，面积大于预设值的连通域的边界的像素坐标即为焊缝的边界在图像坐标系中的坐标，面积大于预设值的连通域的端点的像素坐标即为焊缝的端点在图像坐标系中的坐标。
步骤2、打开激光结构光发生器，将结构光投影在待焊工件上，针对识别出的第一条焊缝，借助步骤1计算出的它的两个端点在世界坐标系中的坐标，控制机器人距待焊工件预设高度沿焊缝的起点(其中一个端点)向终点(另一个端点)运动，在运动的过程中同时拍摄结构光的照片，并记录每一张照片拍摄时机器人末端相机的位姿信息。
在本实施例中，所述激光结构光发生器采用波长为450nm的蓝光一字型激光器。
步骤3、对步骤2中拍摄到的每一张结构光照片进行图像处理，得到各个结构光条纹中心线在图像坐标系中的坐标，再结合与结构光照片对应的机器人末端相机的位姿信息计算出结构光条纹中心线在世界坐标系中所对应的坐标，将所有结构光条纹中心线在世界坐标系中所对应的坐标组合成一组点云数据，如图5所示。
在本步骤中，具体的，图像处理过程可以是对结构光照片依次进行滤波、降噪、形态学运算、边缘检测、结构光条纹中心线的提取，如图4所示。
步骤4、结合步骤1中确定的焊缝边界，剔除落在焊缝边界以外的点云数据以减少数据量，通过分析剔除后剩余的点云数据获取机器人上的焊枪的位姿信息。
在本步骤中，通过分析剔除后剩余的点云数据获取机器人上的焊枪的位姿信息的具体做法如下：
步骤41、对点云数据进行平面或曲面拟合，位于拟合面上的点属于待焊工件表面，位于拟合面之外的点属于焊缝。
步骤42、对属于待焊工件表面的点组成的点云数据，沿焊缝分为两部分，分别记为第一组待焊工件表面点云数据和第二组待焊工件表面点云数据。
步骤43、对属于焊缝的点组成的点云数据，沿焊缝延伸方向分成若干组分别进行质心点提取。
步骤44、对提取到的任一质心点，该质心点的坐标即为该质心点对应的焊枪位姿信息中焊枪的位置，该质心点前后两个质心点的连线的方向即为该质心点对应的焊枪位姿信息中焊枪姿态的x方向；在第一组待焊工件表面点云数据中提取与该质心点的距离小于k的所有点形成一组新的点云数据，在第二组待焊工件表面点云数据中提取与该质心点的距离小于k的所有点形成一组新的点云数据，k为预设值，根据实际需要进行设定，分别求取两组新的点云数据构成的平面或者近似平面的法向量，得到第一法向量和第二法向量，第一法向量和第二法向量求和后得到第三法向量，第三法向量所指的方向即为该质心点对应的焊枪位姿信息中焊枪姿态的z方向，当x方向和z方向确定后，通过右手定则能得到该质心点对应的焊枪位姿信息中焊枪姿态的y方向。
步骤5、重复步骤2至步骤4，直至获取所有焊缝对应的焊枪位姿信息。
步骤6、控制机器人按照焊枪位姿信息对各焊缝依次执行焊接操作，焊接过程中，打开激光结构光发生器，将结构光投影在待焊工件上，拍摄结构光的照片，通过分析结构光的照片得出焊缝的精确坐标，同时，监控焊枪末端当前位置与焊缝精确坐标的偏差，控制机器人朝着降低偏差的方向移动，如图7所示。
在本步骤中，分析结构光的照片所采用的步骤依次是滤波、降噪、形态学运算、边缘检测、提取结构光条纹中心线、提取中心线上焊缝的特征点、计算焊缝的精确坐标。
本申请所涉及的机器人自主识别与精确定位焊缝的方法能够解决以下问题：
1)通过步骤1能够解决多焊缝同步识别及焊缝初始点自主定位问题。
2)通过步骤2-4能够解决复杂曲面焊缝的焊接路径自动规划问题。
3)通过步骤6能够解决焊接变形导致的预先设定的焊枪位姿与焊缝实际位置不符的问题。
本申请所涉及的机器人自主识别与精确定位焊缝的方法，可以在无人干预的情况下实现多个且可以是类型不同的焊缝的识别、焊缝起点终点的定位、焊缝三维形貌的扫描、待焊点的精确定位、焊接路径的自动规划，最终实现机器人的全自主焊接。本申请的该方案的核心思想在于，使用强大的神经网络技术对待焊工件照片进行分析从而获取焊缝的位置及走向信息，从而为后续对待焊工件进行三维扫描提供指导，此方案可以降低三维扫描的工作量及扫描后数据处理的复杂度，可以显著提高算法的执行速度；另外本申请所涉及的方法对相机进行了复用，使其在焊缝位置识别与焊缝三维扫描中均发挥了作用，降低了成本。本申请提出的焊缝的全自主识别与定位技术可以为实现广泛的智能制造提供支持。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，根据本申请的技术方案及其构思加以等同替换或改变，都应涵盖在本申请的保护范围之内。

Claims (5)

1.一种机器人自主识别与精确定位焊缝的方法，其特征在于：包括以下步骤：
步骤1、使用机器人所搭载的相机拍摄待焊工件的照片，记录拍摄照片时相机的位姿信息，使用预先训练好的神经网络分析照片，获取照片中的焊缝数量以及每一条焊缝的边界及两个端点在图像坐标系中的坐标，结合拍摄照片时相机的位姿信息计算出每一条焊缝的边界及两个端点对应的在世界坐标系中的坐标；
步骤2、打开激光结构光发生器，将结构光投影在待焊工件上，针对识别出的第一条焊缝，借助步骤1计算出的它的两个端点在世界坐标系中的坐标，控制机器人距待焊工件预设高度沿焊缝的起点向终点运动，在运动的过程中同时拍摄结构光的照片，并记录每一张照片拍摄时机器人末端相机的位姿信息；
步骤3、对步骤2中拍摄到的每一张结构光照片进行图像处理，得到各个结构光条纹中心线在图像坐标系中的坐标，再结合与结构光照片对应的机器人末端相机的位姿信息计算出结构光条纹中心线在世界坐标系中所对应的坐标，将所有结构光条纹中心线在世界坐标系中所对应的坐标组合成一组点云数据；
步骤4、结合步骤1中确定的焊缝边界，剔除落在焊缝边界以外的点云数据以减少数据量，通过分析剔除后剩余的点云数据获取机器人上的焊枪的位姿信息；
步骤5、重复步骤2至步骤4，直至获取所有焊缝对应的焊枪位姿信息；
步骤6、控制机器人按照焊枪位姿信息对各焊缝依次执行焊接操作，焊接过程中，打开激光结构光发生器，将结构光投影在待焊工件上，拍摄结构光的照片，通过分析结构光的照片得出焊缝的精确坐标，同时，监控焊枪末端当前位置与焊缝精确坐标的偏差，控制机器人朝着降低偏差的方向移动。
2.根据权利要求1所述的机器人自主识别与精确定位焊缝的方法，其特征在于：在所述步骤1中，使用预先训练好的神经网络分析照片，获取照片中的焊缝数量以及每一条焊缝的边界及两个端点在图像坐标系中的坐标的具体做法如下：
步骤11、构建数据集，数据集包括平面焊缝、曲面焊缝、直线焊缝、曲线焊缝、单一焊缝、多个焊缝、交叉焊缝的照片；
步骤12、对步骤11中构建的数据集中的每一张照片进行标注，逐一确认照片中的像素点属于焊缝或属于待焊工件或属于背景，属于焊缝的像素点标记为1，属于待焊工件的像素点标记为2，属于背景的像素点标记为0；
步骤13、构建语义分割神经网络，然后使用步骤12中标注过的数据集训练该语义分割神经网络，得到训练好的神经网络；
步骤14、将待焊工件的照片输入步骤13中训练好的神经网络，神经网络会输出照片中每个像素所属的类别标记，选择所有标记为1的属于焊缝的像素点，在其组成的区域内，面积大于预设值的每一个连通域均对应输入照片中的一条焊缝，面积大于预设值的连通域的数量，即为照片中焊缝的数量，面积大于预设值的连通域的边界的像素坐标即为焊缝的边界在图像坐标系中的坐标，面积大于预设值的连通域的端点的像素坐标即为焊缝的端点在图像坐标系中的坐标。
3.根据权利要求1所述的机器人自主识别与精确定位焊缝的方法，其特征在于：在所述步骤3中，图像处理过程为对结构光照片依次进行滤波、降噪、形态学运算、边缘检测、结构光条纹中心线的提取。
4.根据权利要求1所述的机器人自主识别与精确定位焊缝的方法，其特征在于：在所述步骤4中，通过分析剔除后剩余的点云数据获取机器人上的焊枪的位姿信息的具体做法如下：
步骤41、对点云数据进行平面或曲面拟合，位于拟合面上的点属于待焊工件表面，位于拟合面之外的点属于焊缝；
步骤42、对属于待焊工件表面的点组成的点云数据，沿焊缝分为两部分，分别记为第一组待焊工件表面点云数据和第二组待焊工件表面点云数据；
步骤43、对属于焊缝的点组成的点云数据，沿焊缝延伸方向分成若干组分别进行质心点提取；
步骤44、对提取到的任一质心点，该质心点的坐标即为该质心点对应的焊枪位姿信息中焊枪的位置，该质心点前后两个质心点的连线的方向即为该质心点对应的焊枪位姿信息中焊枪姿态的x方向；在第一组待焊工件表面点云数据中提取与该质心点的距离小于k的所有点形成一组新的点云数据，在第二组待焊工件表面点云数据中提取与该质心点的距离小于k的所有点形成一组新的点云数据，k为预设值，分别求取两组新的点云数据构成的平面或者近似平面的法向量，得到第一法向量和第二法向量，第一法向量和第二法向量求和后得到第三法向量，第三法向量所指的方向即为该质心点对应的焊枪位姿信息中焊枪姿态的z方向，当x方向和z方向确定后，通过右手定则能得到该质心点对应的焊枪位姿信息中焊枪姿态的y方向。
5.根据权利要求1所述的机器人自主识别与精确定位焊缝的方法，其特征在于：在所述步骤6中，分析结构光的照片所采用的步骤依次是滤波、降噪、形态学运算、边缘检测、提取结构光条纹中心线、提取中心线上焊缝的特征点、计算焊缝的精确坐标。
CN202210757892.4A 2022-06-30 2022-06-30 一种机器人自主识别与精确定位焊缝的方法 Pending CN115018813A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210757892.4A CN115018813A (zh) 2022-06-30 2022-06-30 一种机器人自主识别与精确定位焊缝的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210757892.4A CN115018813A (zh) 2022-06-30 2022-06-30 一种机器人自主识别与精确定位焊缝的方法

Publications (1)

Publication Number Publication Date
CN115018813A true CN115018813A (zh) 2022-09-06

Family

ID=83079734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210757892.4A Pending CN115018813A (zh) 2022-06-30 2022-06-30 一种机器人自主识别与精确定位焊缝的方法

Country Status (1)

Country Link
CN (1) CN115018813A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116175035A (zh) * 2023-03-20 2023-05-30 中国十七冶集团有限公司 一种基于深度学习的钢结构高空焊接机器人智能焊接方法
CN117830297A (zh) * 2024-03-01 2024-04-05 法奥意威(苏州)机器人系统有限公司 焊缝识别方法、焊接方法、装置及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116175035A (zh) * 2023-03-20 2023-05-30 中国十七冶集团有限公司 一种基于深度学习的钢结构高空焊接机器人智能焊接方法
CN117830297A (zh) * 2024-03-01 2024-04-05 法奥意威(苏州)机器人系统有限公司 焊缝识别方法、焊接方法、装置及电子设备
CN117830297B (zh) * 2024-03-01 2024-05-28 法奥意威(苏州)机器人系统有限公司 焊缝识别方法、焊接方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN110227876B (zh) 基于3d点云数据的机器人焊接路径自主规划方法
Wang et al. A robust weld seam recognition method under heavy noise based on structured-light vision
CN115018813A (zh) 一种机器人自主识别与精确定位焊缝的方法
CN108817613A (zh) 一种弧焊机器人焊缝纠偏系统及方法
CN109903279B (zh) 焊缝运动轨迹的自动示教方法和装置
CN114474041B (zh) 一种基于协作机器人的焊接自动化智能引导方法及系统
CN111805051B (zh) 切坡口方法、装置电子设备及系统
CN107300100B (zh) 一种在线cad模型驱动的级联式机械臂视觉引导逼近方法
CN113798634B (zh) 空间环形焊缝示教与焊缝跟踪方法、系统及设备
CN111299078A (zh) 一种基于流水线的自动跟踪点胶方法
CN108624880A (zh) 一种激光熔覆质量智能控制系统及其智能控制方法
CN108907526A (zh) 一种具有高鲁棒性的焊缝图像特征识别方法
CN110171000B (zh) 坡口切割方法、装置及控制设备
US20220080581A1 (en) Dual arm robot teaching from dual hand human demonstration
CN113369761B (zh) 一种基于视觉引导机器人焊缝定位的方法及系统
CN113319859B (zh) 一种机器人示教方法、系统、装置及电子设备
CN117047237B (zh) 一种异形件智能柔性焊接系统与方法
CN114140439A (zh) 基于深度学习的激光焊接焊缝特征点识别方法及装置
Zhou et al. Intelligent guidance programming of welding robot for 3D curved welding seam
CN114473309A (zh) 用于自动焊接系统的焊接位置识别方法及自动焊接系统
CN108098134A (zh) 一种新型激光视觉焊缝跟踪系统及方法
CN116542914A (zh) 基于3d点云的焊缝提取与拟合方法
CN116765569A (zh) 一种基于点云的机器人柱钉辊堆焊路径规划方法
CN109894779A (zh) 一种机器视觉跟踪系统及方法
CN115358965A (zh) 焊接变形量自适应的直线焊缝打磨轨迹生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination