CN114140439A - 基于深度学习的激光焊接焊缝特征点识别方法及装置 - Google Patents
基于深度学习的激光焊接焊缝特征点识别方法及装置 Download PDFInfo
- Publication number
- CN114140439A CN114140439A CN202111467997.8A CN202111467997A CN114140439A CN 114140439 A CN114140439 A CN 114140439A CN 202111467997 A CN202111467997 A CN 202111467997A CN 114140439 A CN114140439 A CN 114140439A
- Authority
- CN
- China
- Prior art keywords
- laser
- image
- contour
- line
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003466 welding Methods 0.000 title claims abstract description 183
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000013135 deep learning Methods 0.000 title claims abstract description 35
- 239000013598 vector Substances 0.000 claims abstract description 58
- 230000008569 process Effects 0.000 claims abstract description 33
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 238000005070 sampling Methods 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 14
- 230000036544 posture Effects 0.000 claims description 9
- 239000012636 effector Substances 0.000 claims description 8
- 230000005484 gravity Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 238000005493 welding type Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 210000001503 joint Anatomy 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 235000019580 granularity Nutrition 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- -1 oxidation Substances 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
- Laser Beam Processing (AREA)
Abstract
本发明公开一种基于深度学习的激光焊接焊缝特征点识别方法及装置，识别方法包括：从采样图像中获取特征点位置，并对焊缝类型进行分类，之后对图像作预处理后获取焊缝轮廓线，并结合特征点的位置、轮廓类型和轮廓线的形状计算出激光入射角参考向量；把特征点在采样的图像中的坐标以及激光入射角参考向量发送给机器人控制系统；机器人控制系统执行空间映射、轨迹规划操作，把图像特征点及激光入射角参考向量转换成可以控制机器人运动的控制量输出给机器人后控制机器人运动。通过YOLOv4实现对焊缝类型进行分类并识别焊缝轮廓特征点位置，进而计算出激光入射角参考向量，在三维异形焊缝的焊缝跟踪过程中具有较高的识别和分类准确率以及较高的鲁棒性。
Description
技术领域
本发明属于机器人焊接技术领域，具体是一种基于深度学习的激光焊接焊缝特征点识别方法及装置。
背景技术
近年来，激光焊接因为其功率密度高、残余应力小、光束易控制、焊接精度高等优势越来越受到行业的青睐。然而激光因为其能量集中在焦点处，因此对工件的一致性提出了比较高的要求，所以在实际焊接生产应用当中，批量生产时往往需要准备大量的夹具对焊件进行位置固定，增加了生产成本，并且缺乏柔性，此外如果工件结构形状发生改变，这些专用夹具就会失去作用。而目前针对这类问题的主流方案多采用线激光传感器进行实时跟踪。
而常规的线激光传感器本质是基于线结构光的主动视觉线激光传感器，其硬件主要由线激光发射器、工业工业相机以及滤光镜片组成，工作时，1)线激光发射器投射光幕至被焊工件焊缝周围表面，光幕与表面相交生成一条表示工件截面轮廓的激光条纹，工业相机拍摄激光条纹经过滤光后的激光条纹图像，2)之后通过特征点提取算法从图像中提取用于焊接的特征点像素坐标，3)最后在完成对工业相机的内外参数标定后通过三角测量原理将特征点像素坐标映射到实际的相机物理空间中。
其中，对于步骤2)通过特征点提取算法从图像中提取用于焊接的特征点像素坐标，因为其只采用了图像一小部分的特征信息，所以这种算法对特征提取和特征匹配的精度及准确性要求非常高，对错误非常敏感，导致整个测量算法的软硬件要求高，不易实现，很难应用于实际激光焊接跟踪。
此外，目前的主流的方案多应用于弧焊领域，而一些激光焊接的跟踪应用也多针对特定形状的焊缝，这些应用都针对指定的场景，焊接参数都也会针对对应的场景做适配，且设定过程比较复杂，削弱了焊缝跟踪高柔性的优点。为此，目前最接近的现有技术方案描述如下：
一篇申请号为CN202011463792.8的发明专利公开一种基于深度神经网络的焊缝自动跟踪方法，其包括特征点检测网络和特征点跟踪网络。特征点检测网络输出的特征点位置信息输入特征点跟踪网络，实现焊缝自动跟踪。特征点检测网络由特征提取模块、注意力机制模块、先验框生成模块和识别定位模块组成。焊缝特征点跟踪网路由特征提取模块、注意力机制模块和响应输出模块组成。该发明利用神经网络实现了焊缝自动跟踪，根据焊缝图像特点设计焊缝特征点提取网络和跟踪网络，能够提高焊接的效率和质量，提高自动焊缝跟踪系统在实际复杂焊接环境中的适应能力。
另一篇申请号为CN202011477237.0的发明专利公开一种基于独立纠偏型深度学习的焊缝跟踪方法及装置，所述装置包括：工作平台、控制器、竖直方向导轨、水平方向导轨、焊枪夹具、线结构光视觉线激光传感器、伺服电机；所述方法包括：S1：采集焊缝结构光图片；S2：读取焊缝结构光图片；S3：利用YOLOV3识别到当前焊缝类型并定位焊缝中心位置；S4：以S3定位的焊缝中心位置作为跟踪目标，并初始化KCF跟踪器；S5：焊接开始，利用KCF-YOLOV3算法实时跟踪焊缝；直至焊接结束。该发明所述焊接装置及焊接方法能够自动识别多种焊缝并精确定位焊缝中心区域，可有效提高焊缝检测速度以及识别准确率，从而提高焊接效率。
另一篇申请号为CN202110024740.9的发明专利公开一种基于ERFNet网络的激光视觉焊缝跟踪系统，其包括线结构光视觉线激光传感器模块，用于采集焊缝图像信息；图像处理与通信模块和机器人及机器控制模块，基于ERFNet网络，处理焊缝图像信息获得焊缝特征点；机器人及机器控制模块，接收焊缝特征点信息，获得焊接路径指令并进行作业。其将深度学习中的分割思想引入到焊缝特征提取中，实现在复杂的焊接条件下准确地提取到多层多道焊缝的焊缝光条中心线和焊接特征点，并且不同于传统算法中先提取中心线再根据中心线计算特征点的方法，ERFNet网络可以同时准确提取多层多道焊中的两类特征，然后将焊接特征点位信息传输给机器人控制模块，控制焊接机器人移动至待焊接处，实现多层多道焊的焊缝跟踪。
上述最接近的现有技术中，复杂的焊接环境存在诸多干扰因素，例如金属材料表面的反光、焊接时的飞溅、弧光、烟雾、氧化、粉尘等，线激光传感器所采集到的大多为背景复杂，含大量噪声的焊缝图像，针对这些问题传统的图像处理方法容易受工况、工件及焊缝类型的影响，往往缺乏通用性和鲁棒性，初次之外，目前的特征点提取算法对于焊缝类型的识别较为单一，通常难以做到对焊缝类型进行实时分类，导致常规的焊缝特征提取算法难以应用于同一条焊缝中存在多种焊缝形状的应用场景，因此需要引入深度学习来实现对复合焊缝特征点的识别和定位。
然而目前的深度学习算法也存在一些不足，其中最主要的问题在于目前的深度学习算法主要使用在弧焊领域，而这些应用并没有考虑激光焊接对于激光入射角度的要求，具体来说，激光焊接由于其焊接焦点的热影响区域能量较为集中且能量投射具有方向性，焊接过程中需要实时调整焊接入射角来保证焊接质量，而目前主流的深度学习的跟踪方法，通常只给出特征点在图像中的坐标位置，而忽视在激光焊接的过程中除了焊点的位置外还需要给出该位置处激光焊接的入射角参考向量用于规划机器人姿态来调整激光入射角的问题。
一篇郭海冰的基于线结构光视觉线激光传感器的焊缝特征提取(电子技术与软件工程.CNKI:SUN:DZRU.0.2020-04-047:115-117.)，该文章使用了细化算法、影像轮廓提取和直线拟合步骤。
另一篇李伊妮的基于深度学习的激光焊接焊缝识别与轨迹生成研究(华中科技大学硕士学位论文.2021)，该论文提出了基于深度学习的激光焊接焊缝识别与检测方法可以准确地对焊接过程中所采集的焊缝图像进行焊缝特征点的提取，能够满足实际生产应用。
其中，上述基于深度学习的激光焊接焊缝识别与轨迹生成研究论文为本课题组的研究内容，本申请正是在该论文基础上的进一步改进和优化，该论文虽然提及了通过对YOLOv4模型的特点进行分析得出本文采用YOLOv4进行焊缝识别与检测的可行性，但是没有采用YOLOv4作特征点提取的具体方案。
发明内容
在下文中给出了关于本发明实施例的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，以下概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
本发明的改进内容对应背景技术中步骤2)中的内容，即通过深度学习对CCD采样的图像进行分析获取图像中特征点的像素坐标，并在此基础上分析图像中焊缝的轮廓形状给出用于激光焊接的参考向量，同时，通过采用YOLOv4作特征点提取的算法实现的激光焊接焊缝特征点识别方法，解决传统视觉算法在三维异形焊缝的焊接过程中缺乏缺乏通用性和鲁棒性以及难以对焊缝类型进行实时分类的问题，以及解决激光焊接需要在提取特征点的同时规划激光入射角姿态的问题。
根据本申请的一个方面，提供一种基于深度学习的激光焊接焊缝特征点识别方法，其包括：
将线激光传感器和激光焊接头同轴安装于机器人末端执行器上，在焊接过程中激光焊接头和线激光传感器保持刚性的空间关系，且激光焊接头的焊接焦点(激光焦点)与线激光传感器的采样区域相差一定距离，该一定距离为前置距离；
从线激光传感器采样的图像中获取特征点位置，并对焊缝类型进行分类，之后对图像作预处理后获取焊缝轮廓线，并结合特征点的位置、轮廓类型和轮廓线的形状计算出激光入射角参考向量z′；
把特征点在采样的图像中的坐标以及激光入射角参考向量发送给机器人控制系统；机器人控制系统执行空间映射、轨迹规划操作，把图像特征点及激光入射角参考向量转换成可以控制机器人运动的控制量输出给机器人后控制机器人运动。其中所谓激光入射角参考向量指激光投射向量在线激光采样平面的投影向量，其中采样平面具体指线激光传感器投影的激光光幕。
具体的，从线激光传感器采样的图像中获取特征点位置，并对焊缝类型进行分类，之后对图像作预处理后获取焊缝轮廓线，并结合特征点的位置、轮廓类型和轮廓线的形状计算出激光入射角参考向量，具体包括以下步骤：
步骤1：首先进行模型训练：采样图像制作数据集，对YOLOv4网络进行训练；
步骤2：利用训练完成的YOLOv4模型识别当前焊缝类型和轮廓特征点图像坐标，获得本次采样的轮廓类型以及轮廓特征点坐标；
步骤3：求解焊缝特征点处的激光输入角参考向量。
进一步的，所述步骤1进行模型训练具体包括：
步骤11：通过线激光传感器采样内角接、外角接、对接和搭接四类焊缝轮廓图像；
步骤12：使用LabelImg标注特征点的位置以及焊缝轮廓的类型；
步骤13：采用YOLOv4模型中的Mosaic算法，进行数据扩充；
步骤14：把数据集分为训练集、测试集和验证集后进行模型训练。
进一步的，所述步骤2获取轮廓特征点坐标具体包括：利用训练完成的YOLOv4模型输出目标边界框，计算目标边界框中图像的灰度重心，并将其取代亚像素角点作为焊缝特征点输出。现有技术中，大部分深度学习方法其实都是取目标边界框中心点作为输出，然而实际上边界框的中心点可能与真正的特征存在一定偏差，所以背景技术中的基于深度学习的激光焊接焊缝识别与轨迹生成研究论文同样与现有技术同样采用亚像素角点作为焊缝特征点输出，其目的是为了在得到目标边界框后采用不同于中心的特征点提取方法，想要以更高的精度提取特征点，然而在实际焊接过程中边界框中存在很多的干扰，导致框内的图像轮廓十分复杂，因此往往亚像素角点提取的方式并不能正确地提取特征点，因此，本申请通过灰度重心法，通过光强地分布来估计特征点的位置，使得特征点的确定相较于边框中心点更加精确且不像亚像素角点方法那样易受干扰的影响。
进一步的，所述步骤3求解焊缝特征点处的激光输入角参考向量具体包括：
步骤31：对图像采用形态学运算，实现对图像的滤波并分割图片中的焊缝轮廓和线激光传感器投射激光造成的大块反射干扰影像(这些干扰影像主要发生在内角接的采样过程中)。
步骤32：对图像二值化，计算图像中所有影像轮廓的面积，设置轮廓面积下限和上限阈值，去除面积超出阈值的图像轮廓，对于面积较大且在面积阈值内的图像轮廓，计算轮图像轮廓积与其所处最小包容矩形面积比，大于一定值判断为反光干扰，最后选出剩余轮廓中面积最大的图像轮廓判断为焊缝。(其中图像轮廓特指图片中的影像块的轮廓与前文所述焊缝轮廓含义不同)
步骤33：提取单像素轮廓线，具体包括如下过程：
使用Zhang Suen细化算法求轮廓图像中心线；
根据线激光传感器的性质，理想情况下图像轮廓是横向排布的，且任一横坐标都唯一映射一个纵坐标，因此中心线的最左和最右的端点可视为轮廓的边界，具体的，遍历轮廓线所有端点和分支点，其中，最左边的端点视为起点，最右的端点视为终点；
中心线可能存在许多毛刺和回路，需要把这些毛刺和回路去除得到一条单像素的焊缝轮廓线；
去毛刺：去除非起点和终点的其他端点所在支段；
合并回路：统计各分支点所有支路所包含的像素个数，参考动态规划解决TSP问题的方式获取从起点到终点的唯一最短路径作为最终的单像素轮廓线。
步骤34：根据YOLOv4对焊缝类型分类的结果，采用不同的姿态计算方法进行计算：
A、内角接及外角接姿态计算：计算单像素轮廓线上距YOLOv4所求特征点最近的一点P，以P点为分割点对轮廓线进行分割，把轮廓分为左轮廓和右轮廓。对左右轮廓各进行直线拟合(拟合点为对轮廓点进行隔点采样获得)，其中靠近特征点处的点赋予更高的拟合权重。其中特征点左侧直线方程为A1x+B1y＝C1，若A1≠0，取A1＞0，若A1＝0，取B1＝-1，则该直线的方向向量取
右侧直线方程为A2x+B2y＝C2，若A2≠0，取A2＞0，若A2＝0，取B2＝1，则该直线的方向向量取
则参考向量为
B、拼接及搭接计算：细化后，使靠近特征点处的点具有更高的拟合权重，像轮廓点使用最小二乘法拟合直线Ax+By＝C，若B≠0，取B＜0，则
进一步的，机器人控制系统把图像特征点及激光入射角参考向量转换成可以控制机器人运动的控制量，即通过特征点像素坐标结合激光入射角参考向量z′求解机器人末端执行器的位姿，这个位姿可由一个机器人世界坐标系下的仿射矩阵
表示；其中t表示特征点的机器人世界坐标系坐标,x表示为焊接焦点指向线激光传感器采样中心点的向量，由焊接过程的运动方向定义，而z表示机器人TCP坐标系的z轴，指代激光焊接头的出光方向，通过公式：
z＝x×(z′w×x)求解，y则可通过右手定则确定。
其中z′转化为z′w的过程符合下关系式：
特征点由像素坐标转化为机器人空间坐标t的过程符合以下关系式：
其中，
表示特征点像素齐次坐标，
表示传感器内参矩阵，
表示传感器外参矩阵，
为手眼关系矩阵，
为当前TCP坐标系至机器人世界坐标系的齐次变换矩阵。
其中，本申请采用深度学习网络结构为YOLOv4：YOLOv4是YOLO家族历代模型中性能最综合与全面的，网络主要由三个部分组成(进一步详细内容可参阅文章Qiao S，PangS，Luo G，et al.Automatic Detection of Cardiac Chambers Using an Attention-based YOLOv4 Framework from Four-chamber View of Fetal Echocardiography[J]，2020.)，分别为Backbone(主干特征提取网络)：在不同图像细粒度上聚合形成图像特征的卷积神经网络，对前一代的Darknet53结构做了改进，借鉴了Cross Stage PartialNetworks(跨阶段局部网络)，改良后的结构称作CSPDarknet53结构。在保证较高检测精度和运算速度的基础上，缩小了网络模型的尺寸，拥有更大的网络输入分辨率用于检测小目标；Neck(颈部结构)：一系列混合和组合图像特征的网络层，将图像特征传递到预测层；Prediction(分类回归预测网络)：对图像特征进行预测，生成边界框和预测类别。
根据本申请的另一方面，提供一种基于深度学习的激光焊接焊缝特征点识别装置，其包括：线单激光线激光传感器、激光焊接机、激光焊接头、工控机、工业机器人及工业控制柜；所述线激光传感器和激光焊接头同轴安装于工业机器人的末端执行器上，在焊接过程中激光焊接头和线激光传感器保持刚性的空间关系，且激光焊接头的焊接焦点(激光焦点)与线激光传感器的采样区域相差一定距离，该一定距离为前置距离；所述线激光传感器包括工业相机、线激光发射器和滤镜(滤光片)，其中工业相机可采用型号为delsa genem1280的CCD相机实现，工作时，由线激光发射器投射激光光幕至工件焊缝上形成激光条纹，再由工业相机透过滤镜采样所述激光条纹形成焊缝轮廓图像给工控机；工控机处理图片，得到指示焊缝位置及焊接激光入射角的参数，之后把这些参数转换成机器人可读的控制量控制机器人运动引导焊接头进行焊接。工控机作为整个系统的主控，主要包括视觉系统、机器人控制系统以及激光焊接控制系统，本发明采用的算法主要由视觉系统实现，该视觉系统采用上述基于深度学习的激光焊接焊缝特征点识别方法实现，其中的深度学习网络结构为YOLOv4。
本发明通过深度学习网络结构YOLOv4实现对焊缝类型进行分类并识别焊缝轮廓特征点位置，最后结合特征点的位置、轮廓类型和轮廓线的形状计算出激光入射角参考向量，实现在三维异形焊缝的焊缝跟踪过程中即使焊缝轮廓前后形状差异较大，系统依旧有比较高的识别和分类准确率，具有比较高的鲁棒性；同时，在得到焊缝特征点的同时实现实时的激光入射角姿态规划。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附
图中：
图1为本发明实施例的整体硬件系统结构图；
图2为本发明实施例的机器人末端线激光传感器及焊接头安装图；
图3为本发明实施例的线激光传感器结构图；
图4为本发明实施例的激光焊接焊缝特征点识别方法流程框图；
图5为本发明实施例的激光焊接焊缝特征点识别方法详细流程图。
具体实施方式
下面将参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
参见图1-图3，本发明实施例提出了一种基于YOLOv4的激光焊接焊缝跟踪方法及装置。该装置包括线单激光线激光传感器1、激光焊接机2、激光焊接头3、工控机4、工业机器人5及工业控制柜6。
参见图2，线激光传感器1和激光焊接头3的焊枪同轴安装于机器人末端执行器上，线激光传感器采样区域前置焊枪激光焦点一段距离。线激光传感器1由工业相机9、线激光发射器11和滤镜8组成，其中本实施例中，工业相机的型号为delsa gene m1280，工作时，结构如图3，由线激光发射器11投射激光光幕10至工件焊缝12上形成激光条纹9，再由工业相机7透过滤镜8采样条纹9形成焊缝轮廓图像给工控机。工控机处理图片，得到指示焊缝位置及焊接激光入射角的参数，之后把这些参数转换成机器人可读的控制量控制机器人运动引导焊接头进行焊接。工控机作为整个系统的主控，内部具体分为视觉系统，机器人控制系统以及激光焊接控制系统，本发明采用的算法主要由视觉系统实现。
具体的，视觉系统使用的深度学习网络结构为YOLOv4：YOLOv4是YOLO家族历代模型中性能最综合与全面的，网络主要由三个部分组成，分别为Backbone(主干特征提取网络)：在不同图像细粒度上聚合形成图像特征的卷积神经网络，对前一代的Darknet53结构做了改进，借鉴了Cross Stage Partial Networks(跨阶段局部网络)，改良后的结构称作CSPDarknet53结构。在保证较高检测精度和运算速度的基础上，缩小了网络模型的尺寸，拥有更大的网络输入分辨率用于检测小目标；Neck(颈部结构)：一系列混合和组合图像特征的网络层，将图像特征传递到预测层；Prediction(分类回归预测网络)：对图像特征进行预测，生成边界框和预测类别。
视觉系统从线激光传感器采样的图像中获取特征点位置，并对焊缝类型进行分类，之后对图像作预处理后通过中心线提取等算法获取焊缝轮廓线，并结合特征点的位置、轮廓类型和轮廓线的形状计算出激光入射角参考向量z′。最后视觉系统把特征点在图像中的坐标以及激光入射角参考向量发送给机器人控制系统，执行空间映射、轨迹规划等操作把图像特征点及参考向量转换成可以控制机器人运动的控制量输出给机器人后控制机器人运动。
其中所谓激光入射角参考向量指激光投射向量在线激光采样平面的投影向量，其中采样平面具体指线激光传感器投影的激光光幕。
具体的，如图4和图5所示，视觉系统执行以下步骤来实现焊缝特征点的识别：
过程1：首先进行模型训练：采样图像制作数据集，对YOLOv4网络进行训练：
(1-1)通过线激光传感器采样内角接、外角接、对接和搭接四类焊缝轮廓图像。
(1-2)使用LabelImg标注特征点的位置以及焊缝轮廓的类型。
(1-3)采用YOLOv4模型中的Mosaic算法，进行数据扩充。
(1-4)把数据集分为训练集、测试集和验证集后进行模型训练。
过程2：在实际工作时，利用训练完成的YOLOv4模型识别当前焊缝类型和轮廓特征点图像坐标，获得本次采样的轮廓类型以及轮廓特征点坐标；具体包括：
(2-1)利用训练完成的YOLOv4模型识别当前焊缝类型，获得本次采样的轮廓类型；
(2-2)利用训练完成的YOLOv4模型获取轮廓特征点坐标：利用训练完成的YOLOv4模型输出目标边界框，计算目标边界框中图像的灰度重心，并将其取代亚像素角点作为焊缝特征点输出。
过程3：求解焊缝特征点处的激光输入角参考向量：
(3-1)对图像采用形态学运算，实现对图像的滤波并分割图片中的焊缝轮廓和线激光传感器投射激光造成的大块反射干扰影像(这些干扰影像主要发生在内角接的采样过程中)；
(3-2)对(3-1)处理后的图像进行二值化处理，计算图像中所有影像轮廓的面积，设置轮廓面积下限和上限阈值，去除面积超出阈值的图像轮廓，对于面积较大且在面积阈值内的图像轮廓，计算轮图像轮廓积与其所处最小包容矩形面积比，大于一定值判断为反光干扰，最后选出剩余轮廓中面积最大的图像轮廓判断为焊缝。(其中图像轮廓特指图片中的影像块的轮廓与前文所述焊缝轮廓含义不同)
采样图像、图像形态学运算，二值化，设置图像轮廓面积上下限阈值以及面积比阈值，计算图像所有轮廓面积，计算轮廓所处最小包容矩形的面积，删除超出阈值以及图像轮廓面积与其包容矩形的面积比小于设定值的轮廓，判断余图像轮廓中的面积最大的图像为焊缝轮廓，
(3-3)提取单像素轮廓线细化算法提取焊缝轮廓骨架，去毛刺、合并回路形成但像素轮廓、结合特征点坐标给出轮廓像素的拟合权重：
(3-3-0)使用Zhang Suen细化算法求轮廓图像中心线；
(3-3-1)根据线激光传感器的性质，理想情况下图像轮廓是横向排布的，且任一横坐标都唯一映射一个纵坐标，因此中心线的最左和最右的端点可视为轮廓的边界，具体的，遍历轮廓线所有端点和分支点，其中，最左边的端点视为起点，最右的端点视为终点；
(3-3-2)中心线可能存在许多毛刺和回路，需要把这些毛刺和回路去除得到一条单像素的焊缝轮廓线；
(3-3-2-1)去毛刺：去除非起点和终点的其他端点所在支段；
(3-3-2-2)合并回路：统计各分支点所有支路所包含的像素个数，参考动态规划解决TSP问题的方式获取从起点到终点的唯一最短路径作为最终的单像素轮廓线；
(3-4)根据YOLOv4对焊缝类型分类的结果，采用不同的姿态计算方法：
(3-4-1)内角接及外角接姿态计算：计算单像素轮廓线上距YOLOv4所求特征点最近的一点P，以P点为分割点对轮廓线进行分割，把轮廓分为左轮廓和右轮廓。对左右轮廓各进行直线拟合(拟合点为对轮廓点进行隔点采样获得)，其中靠近特征点处的点赋予更高的拟合权重。其中特征点左侧直线方程为A1x+B1y＝C1，若A1≠0，取A1＞0，若A1＝0，取B1＝-1，则该直线的方向向量取
右侧直线方程为A2x+B2y＝C2，若A2≠0，取A2＞0，若A2＝0，取B2＝1，则该直线的方向向量取
则参考向量为
(3-4-2)拼接及搭接计算：细化后，使靠近特征点处的点具有更高的拟合权重，像轮廓点使用最小二乘法拟合直线Ax+By＝C，若B≠0，取B＜0，则
参考向量即从特征点平行于拟合直线法线指向图像下部的向量。
过程4：根据特征点及参考向量求解机器人末端位姿：机器人控制系统把图像特征点及激光入射角参考向量转换成可以控制机器人运动的控制量，即通过特征点像素坐标结合激光入射角参考向量z′求解机器人末端执行器的位姿，这个位姿可由一个机器人世界坐标系下的仿射矩阵
表示；其中t表示特征点的机器人世界坐标系坐标,x表示为焊接焦点指向线激光传感器采样中心点的向量，由焊接过程的运动方向定义，而z表示机器人TCP坐标系的z轴，指代激光焊接头的出光方向，通过公式：z＝x×(z′w×x)求解，y则可通过右手定则确定。
其中z′转化为z′w的过程符合下关系式：
特征点由像素坐标转化为机器人空间坐标t的过程符合以下关系式：
其中，
表示特征点像素齐次坐标，
表示传感器内参矩阵，
表示传感器外参矩阵，
为手眼关系矩阵，
为当前TCP坐标系至机器人世界坐标系的齐次变换矩阵。
本申请对背景技术中提及的基于深度学习的激光焊接焊缝识别与轨迹生成研究论文进一步改进和优化。本申请对特征点提取步骤具体分为两个步骤，首先深度学习给出一个目标边界框，之后再对目标边界框中的内容通过亚像素级角点提取特征点精细坐标，同时，本申请为避免手动设置阈值从而导致再识别的过程中如果焊缝不同位置的焊缝类型不同则无法实现分类的缺陷，本申请采用把YOLO提取的目标边界框中图像的灰度重心取代亚像素角点提取作为特征点输出。
此外，激光焊接需要轮廓信息实时调整激光的入射角，而现有技术中的深度学习方法每次采样仅提取轮廓的类型和特征点的位置信息，而采样后轮廓的形貌信息都被丢失，针对此问题，本申请特别提出了步骤3来解决这一问题。现有技术的方案中，一部分是没有提及轮廓形貌信息的提取，另一部分则是通过轮廓形貌信息来获取特征点，但都没有提出轮廓形貌信息如何应用于焊接姿态的调整，这主要是由于目前的焊接案例焊接轨迹不太复杂，其次这些应用基本都是弧焊，对焊接姿态没什么要求，所以现有技术的应用没必要考虑这些，也即没有上述技术问题，而本申请中的激光焊接由于激光入射角影响焊接质量，所以必须实时调整姿态满足焊接需要，因此本申请的步骤3的方案是针对本申请遇到的独有的技术问题来解决的。
本申请通过上述方案，采用深度学习网络结构YOLOv4判断轮廓类型，并通过YOLOv4提取轮廓特征点，然后结合特征点的位置、轮廓类型和轮廓线的形状计算出激光入射角参考向量，其中根据轮廓类型是否为内角接或者外角接，如果为内角接或外角接，则分割轮廓线，左右分别拟合直线求夹角获取焊接激光入射角参考向量；如果为拼接或者搭接，则对单像素轮廓线直线拟合，取拟合直线法向量为入射角参考向量。
采用本发明的方案，使用深度学习网络结构YOLOv4，实现在三维异形焊缝的焊缝跟踪过程中即使焊缝轮廓前后形状差异较大，系统依旧有比较高的识别和分类准确率，具有比较高的鲁棒性。同时，在得到焊缝特征点的同时实现实时的激光入射角姿态规划。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应该理解，上述的所有实施例和示例均是示例性的，而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。
Claims (9)
1.基于深度学习的激光焊接焊缝特征点识别方法，其特征在于：包括：
将线激光传感器和激光焊接头同轴安装于机器人末端执行器上，在焊接过程中激光焊接头和线激光传感器保持刚性的空间关系，且激光焊接头的焊接焦点与线激光传感器的采样区域相差一定距离，该一定距离为前置距离；
从线激光传感器采样的图像中获取特征点位置，并对焊缝类型进行分类，之后对图像作预处理后获取焊缝轮廓线，并结合特征点的位置、轮廓类型和轮廓线的形状计算出激光入射角参考向量；其中所谓激光入射角参考向量指激光投射向量在线激光采样平面的投影向量，所述线激光采样平面具体指线激光传感器投影的激光光幕；
把特征点在采样的图像中的坐标以及激光入射角参考向量发送给机器人控制系统；机器人控制系统执行空间映射、轨迹规划操作，把图像特征点及激光入射角参考向量转换成可以控制机器人运动的控制量输出给机器人后控制机器人运动。
2.根据权利要求1所述的基于深度学习的激光焊接焊缝特征点识别方法，其特征在于：从线激光传感器采样的图像中获取特征点位置，并对焊缝类型进行分类，之后对图像作预处理后获取焊缝轮廓线，并结合特征点的位置、轮廓类型和轮廓线的形状计算出激光入射角参考向量，具体包括以下步骤：
步骤1：首先进行模型训练：采样图像制作数据集，对YOLOv4网络进行训练；
步骤2：利用训练完成的YOLOv4模型识别当前焊缝类型和轮廓特征点图像坐标，获得本次采样的轮廓类型以及轮廓特征点坐标；
步骤3：求解焊缝特征点处的激光输入角参考向量。
3.根据权利要求1所述的基于深度学习的激光焊接焊缝特征点识别方法，其特征在于：所述步骤1进行模型训练具体包括：
步骤11：通过线激光传感器采样内角接、外角接、对接和搭接四类焊缝轮廓图像；
步骤12：使用LabelImg标注特征点的位置以及焊缝轮廓的类型；
步骤13：采用YOLOv4模型中的Mosaic算法，进行数据扩充；
步骤14：把数据集分为训练集、测试集和验证集后进行模型训练。
4.根据权利要求1所述的基于深度学习的激光焊接焊缝特征点识别方法，其特征在于：所述步骤2获取轮廓特征点坐标具体包括：利用训练完成的YOLOv4模型输出目标边界框，计算目标边界框中图像的灰度重心，并将其取代亚像素角点作为焊缝特征点输出。
5.根据权利要求1所述的基于深度学习的激光焊接焊缝特征点识别方法，其特征在于：所述步骤3求解焊缝特征点处的激光输入角参考向量具体包括：
步骤31：对图像采用形态学运算，实现对图像的滤波并分割图片中的焊缝轮廓和线激光传感器投射激光造成的大块反射干扰影像；
步骤32：对图像二值化，计算图像中所有影像轮廓的面积，设置轮廓面积下限和上限阈值，去除面积超出阈值的图像轮廓，对于面积较大且在面积阈值内的图像轮廓，计算轮图像轮廓积与其所处最小包容矩形面积比，大于一定值判断为反光干扰，最后选出剩余轮廓中面积最大的图像轮廓判断为焊缝；
步骤33：提取单像素轮廓线；
步骤34：根据YOLOv4对焊缝类型分类的结果，采用针对性的姿态计算方法计算求解焊缝特征点处的激光输入角参考向量。
6.根据权利要求1所述的基于深度学习的激光焊接焊缝特征点识别方法，其特征在于：所述步骤33提取单像素轮廓线，具体包括如下过程：
使用细化算法求轮廓图像中心线；
根据线激光传感器的性质，理想情况下图像轮廓是横向排布的，且任一横坐标都唯一映射一个纵坐标，因此中心线的最左和最右的端点可视为轮廓的边界，具体的，遍历轮廓线所有端点和分支点，其中，最左边的端点视为起点，最右的端点视为终点；
中心线可能存在许多毛刺和回路，需要把这些毛刺和回路去除得到一条单像素的焊缝轮廓线；
去毛刺：去除非起点和终点的其他端点所在支段；
合并回路：统计各分支点所有支路所包含的像素个数，参考动态规划解决TSP问题的方式获取从起点到终点的唯一最短路径作为最终的单像素轮廓线。
7.根据权利要求1所述的基于深度学习的激光焊接焊缝特征点识别方法，其特征在于：所述步骤34具体包括：
A、内角接及外角接姿态计算：计算单像素轮廓线上距YOLOv4所求特征点最近的一点P，以P点为分割点对轮廓线进行分割，把轮廓分为左轮廓和右轮廓；
对左右轮廓各进行直线拟合，其中靠近特征点处的点赋予更高的拟合权重；
其中特征点左侧直线方程为A1x+B1y＝C1，若A1≠0，取A1＞0，若A1＝0，取B1＝-1，则该直线的方向向量取
右侧直线方程为A2x+B2y＝C2，若A2≠0，取A2＞0，若A2＝0，取B2＝1，则该直线的方向向量取
则参考向量为
B、拼接及搭接计算：细化后，使靠近特征点处的点具有更高的拟合权重，像轮廓点使用最小二乘法拟合直线Ax+By＝C，若B≠0，取B＜0，则
8.根据权利要求1所述的基于深度学习的激光焊接焊缝特征点识别方法，其特征在于：机器人控制系统把图像特征点及激光入射角参考向量转换成可以控制机器人运动的控制量，即通过特征点像素坐标结合激光入射角参考向量z′求解机器人末端执行器的位姿，这个位姿可由一个机器人世界坐标系下的仿射矩阵
表示；其中t表示特征点的机器人世界坐标系坐标,x表示为焊接焦点指向线激光传感器采样中心点的向量，由焊接过程的运动方向定义，而z表示机器人TCP坐标系的z轴，指代激光焊接头的出光方向，通过公式：
z＝x×(z′w×x)求解，y则可通过右手定则确定。
其中z′转化为z′w的过程符合下关系式：
特征点由像素坐标转化为机器人空间坐标t的过程符合以下关系式：
其中，
表示特征点像素齐次坐标，
表示传感器内参矩阵，
表示传感器外参矩阵，
为手眼关系矩阵，
为当前TCP坐标系至机器人世界坐标系的齐次变换矩阵。
9.基于深度学习的激光焊接焊缝特征点识别装置，其特征在于，包括：
线单激光线激光传感器、激光焊接机、激光焊接头、工控机以及工业机器人；
所述线激光传感器和激光焊接头同轴安装于工业机器人的末端执行器上，在焊接过程中激光焊接头和线激光传感器保持刚性的空间关系，且激光焊接头的焊接焦点与线激光传感器的采样区域相差一定距离，该一定距离为前置距离；
所述线激光传感器包括工业相机、线激光发射器和滤镜，所述线激光发射器投射激光光幕至工件焊缝上形成激光条纹，再由所述工业相机透过所述滤镜采样所述激光条纹形成焊缝轮廓图像给工控机；工控机处理图片，得到指示焊缝位置及焊接激光入射角的参数，之后把这些参数转换成机器人可读的控制量控制机器人运动引导焊接头进行焊接；
所述工控机包括视觉系统、机器人控制系统以及激光焊接控制系统，其中，所述视觉系统采用权利要求1-8任一所述的基于深度学习的激光焊接焊缝特征点识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111467997.8A CN114140439A (zh) | 2021-12-03 | 2021-12-03 | 基于深度学习的激光焊接焊缝特征点识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111467997.8A CN114140439A (zh) | 2021-12-03 | 2021-12-03 | 基于深度学习的激光焊接焊缝特征点识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114140439A true CN114140439A (zh) | 2022-03-04 |
Family
ID=80387402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111467997.8A Pending CN114140439A (zh) | 2021-12-03 | 2021-12-03 | 基于深度学习的激光焊接焊缝特征点识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114140439A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114769800A (zh) * | 2022-06-20 | 2022-07-22 | 中建五洲工程装备有限公司 | 一种用于焊接过程的智能运行控制系统与方法 |
| CN114932292A (zh) * | 2022-05-27 | 2022-08-23 | 华南理工大学 | 一种窄间隙被动视觉焊缝跟踪方法及系统 |
| CN115122005A (zh) * | 2022-07-27 | 2022-09-30 | 广东省源天工程有限公司 | 一种超大型人字闸门门体焊接装置 |
| CN116175035A (zh) * | 2023-03-20 | 2023-05-30 | 中国十七冶集团有限公司 | 一种基于深度学习的钢结构高空焊接机器人智能焊接方法 |
| CN117300301A (zh) * | 2023-11-30 | 2023-12-29 | 太原科技大学 | 一种基于单目线激光的焊接机器人焊缝跟踪系统与方法 |
| CN117444404A (zh) * | 2023-11-20 | 2024-01-26 | 北京绿能环宇低碳科技有限公司 | 一种激光焊接智能定位方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107876970A (zh) * | 2017-12-13 | 2018-04-06 | 浙江工业大学 | 一种机器人多层多道焊接焊缝三维检测及焊缝拐点识别方法 |
| KR20190124451A (ko) * | 2018-04-26 | 2019-11-05 | 아진산업(주) | 용접비드 비전 검사 장치 및 3d 캘리브레이션 방법 |
| CN112959329A (zh) * | 2021-04-06 | 2021-06-15 | 南京航空航天大学 | 一种基于视觉测量的智能控制焊接系统 |
| CN113034478A (zh) * | 2021-03-31 | 2021-06-25 | 太原科技大学 | 一种基于深度学习网络的焊缝缺陷识别定位方法、系统 |
-
2021
- 2021-12-03 CN CN202111467997.8A patent/CN114140439A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107876970A (zh) * | 2017-12-13 | 2018-04-06 | 浙江工业大学 | 一种机器人多层多道焊接焊缝三维检测及焊缝拐点识别方法 |
| KR20190124451A (ko) * | 2018-04-26 | 2019-11-05 | 아진산업(주) | 용접비드 비전 검사 장치 및 3d 캘리브레이션 방법 |
| CN113034478A (zh) * | 2021-03-31 | 2021-06-25 | 太原科技大学 | 一种基于深度学习网络的焊缝缺陷识别定位方法、系统 |
| CN112959329A (zh) * | 2021-04-06 | 2021-06-15 | 南京航空航天大学 | 一种基于视觉测量的智能控制焊接系统 |
Non-Patent Citations (1)
| Title |
|---|
| 陈忠;邓汛;李小辉;张宪民;: "基于线激光视觉的机器人焊缝跟踪鲁棒控制方法", 计算机测量与控制, no. 08, 25 August 2016 (2016-08-25), pages 121 - 124 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114932292A (zh) * | 2022-05-27 | 2022-08-23 | 华南理工大学 | 一种窄间隙被动视觉焊缝跟踪方法及系统 |
| CN114932292B (zh) * | 2022-05-27 | 2023-09-26 | 华南理工大学 | 一种窄间隙被动视觉焊缝跟踪方法及系统 |
| CN114769800A (zh) * | 2022-06-20 | 2022-07-22 | 中建五洲工程装备有限公司 | 一种用于焊接过程的智能运行控制系统与方法 |
| CN114769800B (zh) * | 2022-06-20 | 2022-09-27 | 中建五洲工程装备有限公司 | 一种用于焊接过程的智能运行控制系统与方法 |
| CN115122005A (zh) * | 2022-07-27 | 2022-09-30 | 广东省源天工程有限公司 | 一种超大型人字闸门门体焊接装置 |
| CN116175035A (zh) * | 2023-03-20 | 2023-05-30 | 中国十七冶集团有限公司 | 一种基于深度学习的钢结构高空焊接机器人智能焊接方法 |
| CN117444404A (zh) * | 2023-11-20 | 2024-01-26 | 北京绿能环宇低碳科技有限公司 | 一种激光焊接智能定位方法及系统 |
| CN117444404B (zh) * | 2023-11-20 | 2024-03-29 | 北京绿能环宇低碳科技有限公司 | 一种激光焊接智能定位方法及系统 |
| CN117300301A (zh) * | 2023-11-30 | 2023-12-29 | 太原科技大学 | 一种基于单目线激光的焊接机器人焊缝跟踪系统与方法 |
| CN117300301B (zh) * | 2023-11-30 | 2024-02-13 | 太原科技大学 | 一种基于单目线激光的焊接机器人焊缝跟踪系统与方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114140439A (zh) | 基于深度学习的激光焊接焊缝特征点识别方法及装置 | |
| CN111462135B (zh) | 基于视觉slam与二维语义分割的语义建图方法 | |
| CN210046133U (zh) | 基于激光结构光的焊缝视觉跟踪系统 | |
| CN110524580B (zh) | 一种焊接机器人视觉组件及其测量方法 | |
| CN108637435B (zh) | 一种基于视觉与弧压传感的三维焊缝跟踪系统及方法 | |
| CN109544456B (zh) | 基于二维图像和三维点云数据融合的全景环境感知方法 | |
| CN111721259B (zh) | 基于双目视觉的水下机器人回收定位方法 | |
| CN106181162B (zh) | 一种基于机器视觉的实时焊缝跟踪检测方法 | |
| CN111192307B (zh) | 基于激光切割三维零部件的自适应纠偏方法 | |
| CN106650701B (zh) | 基于双目视觉的室内阴影环境下障碍物检测方法及装置 | |
| CN110189375B (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
| CN111784655B (zh) | 一种水下机器人回收定位方法 | |
| CN107796373B (zh) | 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法 | |
| CN113134683A (zh) | 基于机器学习的激光标刻方法及装置 | |
| CN113525631A (zh) | 一种基于光视觉引导的水下终端对接系统及方法 | |
| CN113313116A (zh) | 一种基于视觉的水下人工目标准确检测与定位方法 | |
| CN115131268A (zh) | 一种基于图像特征提取与三维模型匹配的自动化焊接系统 | |
| CN116228652A (zh) | 一种基于三维点云曲率的管道焊缝表面缺陷检测方法 | |
| CN111397529A (zh) | 一种基于双目视觉结构光的复杂表面形状检测方法 | |
| Ye et al. | Weld seam tracking based on laser imaging binary image preprocessing | |
| CN116160458B (zh) | 一种移动机器人多传感器融合快速定位方法、设备及系统 | |
| CN116977328A (zh) | 车底机器人主动视觉中的图像质量评估方法 | |
| CN116804553A (zh) | 基于事件相机/imu/自然路标的里程计系统及方法 | |
| Fang et al. | A vision-based method for narrow weld trajectory recognition of arc welding robots | |
| CN115797405A (zh) | 一种基于车辆轴距的多镜头自适应跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |