CN116833645A - 基于移动机器人的焊缝自主识别与焊接方法及系统 - Google Patents
基于移动机器人的焊缝自主识别与焊接方法及系统 Download PDFInfo
- Publication number
- CN116833645A CN116833645A CN202310841412.7A CN202310841412A CN116833645A CN 116833645 A CN116833645 A CN 116833645A CN 202310841412 A CN202310841412 A CN 202310841412A CN 116833645 A CN116833645 A CN 116833645A
- Authority
- CN
- China
- Prior art keywords
- welding
- image
- robot
- weld
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003466 welding Methods 0.000 title claims abstract description 246
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000008569 process Effects 0.000 claims abstract description 18
- 230000007547 defect Effects 0.000 claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 24
- 230000033001 locomotion Effects 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 239000000779 smoke Substances 0.000 claims description 6
- 239000000428 dust Substances 0.000 claims description 5
- 239000012636 effector Substances 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000013441 quality evaluation Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000003709 image segmentation Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 235000012434 pretzels Nutrition 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
- B23K37/02—Carriages for supporting the welding or cutting element
- B23K37/0252—Steering means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
- B25J9/1666—Avoiding collision or forbidden zones
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Robotics (AREA)
- Manipulator (AREA)
Abstract
本发明涉及一种基于移动机器人的焊缝自主识别与焊接方法及系统，包括以下步骤：识别和提取待焊接产品的初始焊缝图像；依据初始焊缝的图像的三维特征信息和机器人当前位置，获得路径解和机器人关节参数；在机器人进行焊接操作的过程中，采集与识别当前焊缝的图像信息,依据当前焊缝的图像信息和当前机器人的位置调整路径解和机器人关节参数，获得更新后的路径解和机器人关节参数；依据更新后的路径解和机器人关节参数，机器人进行避障操作及焊接操作。其能够进行焊前焊缝的检测识别、焊缝特征的提取、焊接过程中焊缝跟踪控制以及焊后的焊缝缺陷检测，并能够进行焊缝的路径规划并在实际焊接时及时调整焊枪姿态焊接路径，提高了焊接效率和焊接质量。
Description
技术领域
本发明涉及机器人焊接技术领域，尤其是指一种基于移动机器人的焊缝自主识别与焊接方法及系统。
背景技术
随着机器人焊接方法的出现，焊接生产效率获得大幅提高的同时，焊接灵活性得到明显增加，焊接成本也有所降低，对于焊接领域的快速发展具有重要的推动作用。然而，在焊缝形式相对单一、焊接场合相对固定的条件下，采用一般的机器人示教编程方式尚可自由应对，但由于所焊工件形式的多样化、复杂化，普通的机器人焊接方法在应对焊缝轨迹不统一的场合时仍需大量人工示教，同样难以快速适应小批量的多领域、多形式的焊接生产，这在一定程度上仍会限制相关焊接领域的快速发展。
现有的焊接操作中，机器人在焊接结束后，通常通过采集焊接后的焊缝图像信息，根据图像信息来判断焊接质量好坏。然而，一方面，焊接的质量与焊前的规划有关，机器人在焊前没有做到合理规划，现有的焊接机器人仅仅适用焊接单一形状和类型的焊缝，灵活性差，这将影响后续焊接质量；另一方面，焊接的质量问题往往在焊接过程中就已经出现，当焊接过程中出现问题时，机器人无法及时调整与改变工作路径，也不具备避障功能，从而影响产品的良率。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中焊接机器人焊接质量差，灵活性差，不具备避障功能的技术缺陷。
为解决上述技术问题，本发明提供了一种基于移动机器人的焊缝自主识别与焊接方法，包括以下步骤：
S1、在焊接前，识别和提取待焊接产品的初始焊缝图像，依据初始焊缝图像计算获得初始焊缝图像的三维特征信息；
S2、依据初始焊缝的图像的三维特征信息和机器人当前位置，获得路径解和机器人关节参数；
S3、依据路径解和机器人关节参数，机器人进行避障操作及焊接操作，直至焊接完成；其中，在机器人进行焊接操作的过程中，每隔预设时间间隔进行以下操作：
采集与识别当前焊缝的图像信息,依据当前焊缝的图像信息和当前机器人的位置调整路径解和机器人关节参数，获得更新后的路径解和机器人关节参数；
依据更新后的路径解和机器人关节参数，机器人进行避障操作及焊接操作；
S4、识别焊接后的焊缝图像，依据焊接后的焊缝图像评估焊缝质量。
作为优选的，所述S1中，识别和提取待焊接产品的初始焊缝图像，包括：
利用激光传感器采集初始焊缝的图像；
依据阈值分割法提取初始焊缝的图像中的焊缝条纹边缘曲线，其中，当对阈值的确定值没有先验知识时，采用K近邻算法确定阈值。
作为优选的，当对阈值的确定值没有先验知识时，采用K近邻算法确定阈值，包括：
扫描提前给出的焊缝图像的训练集，通过修改阈值找到与该测试样本最相似的一个训练样本，根据该训练样本的类别确定测试样本的类别；
当所选定的阈值所得的测试样本中的图像与训练集中的图像最为吻合，训练集中的图像所对应的阈值即为目标阈值。
作为优选的，所述S1中，依据初始焊缝图像计算获得初始焊缝图像的三维特征信息，包括：
获取初始焊缝图像的特征区域；
将所述特征区域信息转化为三维坐标系中的点和线，包括：
通过投影斜率法，将特征区域上的每一条线上面的像素点投影至y轴坐标上，获得y轴坐标上每一点的像素的个数，从y轴的最低点找起，当出现孤立的像素点则默认删除，出现预设次数的位置点且坐标值最小，则记为焊缝的最低点；
沿y轴方向寻找焊缝点，计算焊缝点与焊缝最低点之间的斜率，选取距离最低点最远的点作为焊缝终点，其中，焊缝终点与焊缝最低点的斜率在预设范围内；
通过坐标变换矩阵，将识别提取到的焊缝特征最终转换成三维坐标系。
作为优选的，所述S2包括：
结合初始焊缝的图像的三维特征信息和机器人当前位置，运用层级凸包碰撞模型，优化问题的运行学近似和逐步二次规划求解器计算获得机器人的轨迹规划；
在已知机器人的机械臂的位姿参数的情况下，给定机器人法兰盘末端坐标系相对于机器人基坐标系的位置和姿态，求解出焊接机器人使其末端执行器上的焊枪达到所需位置和姿态。
作为优选的，所述S3中，采集与识别当前焊缝的图像信息，包括：
获取当前图像，对所述当前图像进行修正，获得修正后的图像；
使用NL-Means算法对修正后的图像进行去噪处理，获得去噪后的图像；
使用带通滤波器对去噪后的图像进行滤波处理，基于运动自适应的方法，采用区域运动检测的方式来调整滤波权重，其中，弧光和飞溅区域减小权重系数，烟尘区域加大权重系数；
将图像数据进行傅式反变换，获得预处理后的目标图像；
对预处理后的目标图像进行特征提取，获得焊缝信息。
作为优选的，所述获取当前图像，对所述当前图像进行修正，获得修正后的图像，包括：
对当前图像进行帧间误差最小化的配准，利用非均匀性校正算法，通过LK光流对场景中的运动前景进行重新配准，获得运动位移，修正误差图像；
通过估计出相邻帧图像之间去除非均匀性后的相位相关矩阵的峰值，以其峰值自适应地修正参数更新的速率，将帧与帧之间移动距离较大的弧光飞溅部分删掉，获得修正后的图像。
作为优选的，所述S4包括：
通过激光传感器获取焊缝图像；
利用FAST算法提取焊缝图像的焊缝特征线；
将提取出来的焊缝特征线与各种缺陷类型的焊缝进行对比，获得焊缝的缺陷类型。
作为优选的，所述S4还包括：
通过红外传感器采集焊缝内部图像，依据焊缝内部图像评估焊缝质量。
本发明公开了一种基于移动机器人的焊缝自主识别与焊接系统，包括：
焊前图像获取与处理模块，所述焊前图像获取与处理模块用于识别和提取待焊接产品的初始焊缝图像，依据初始焊缝图像计算获得初始焊缝图像的三维特征信息；
路径规划和关节参数计算模块，所述路径规划和关节参数计算模块依据初始焊缝的图像的三维特征信息和机器人当前位置，获得路径解和机器人关节参数；
焊接处理模块，所述焊接处理依据路径解和机器人关节参数，机器人进行避障操作及焊接操作，直至焊接完成；其中，在机器人进行焊接操作的过程中，每隔预设时间间隔进行以下操作：采集与识别当前焊缝的图像信息,依据当前焊缝的图像信息和当前机器人的位置调整路径解和机器人关节参数，获得更新后的路径解和机器人关节参数；依据更新后的路径解和机器人关节参数，机器人进行避障操作及焊接操作；
焊后质量评估模块，所述焊后质量评估模块用于识别焊接后的焊缝图像，依据焊接后的焊缝图像评估焊缝质量。
本发明的上述技术方案相比现有技术具有以下优点：
1、本发明在焊前识别和提取带焊接产品的初始焊缝图像，依据初始焊缝的图像的三维特征信息和机器人当前位置，获得路径解和机器人关节参数，如此，焊接机器人可以自主地根据不同大小和形状的焊缝调整其工作参数，从而适应不同焊缝，灵活性高。
2、本发明在焊接过程中实时采集与识别当前焊缝的图像信息，依据当前焊缝的图像信息和当前机器人的位置调整路径解和机器人关节参数，获得更新后的路径解和机器人关节参数，依据更新后的路径解和机器人关节参数，机器人进行避障操作及焊接操作，如此，在焊接过程中即可对焊接质量进行把控，并且，也可根据当前焊接情况及时调整焊接机器人的工作参数，从而提高产品良率。
3、本发明在焊接后，识别焊接后的焊接图像，依据焊接后的焊缝图像评估焊缝质量，从而省去人工质检环节，并且，焊接机器人也可根据焊接后的图像进行补焊操作，方便操作。
4、本发明能够进行焊前焊缝的检测识别、焊缝特征的提取、焊接过程中焊缝跟踪控制以及焊后的焊缝缺陷检测，并能够进行焊缝的路径规划并在实际焊接时及时调整焊枪姿态焊接路径，提高了焊接效率和焊接质量
5、本发明的自动化程度高，良率高。
附图说明
图1为本发明基于移动机器人的焊缝自主识别与焊接方法的流程图；
图2为本实施例机器人识别焊缝与进行焊接的流程图；
图3是本发明焊接轨迹自动规划流程图；
图4是本发明机器人位姿逆解流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
参照图1所示，本发明公开了一种基于移动机器人的焊缝自主识别与焊接方法，包括以下步骤：
S1、在焊接前，识别和提取待焊接产品的初始焊缝图像，依据初始焊缝图像计算获得初始焊缝图像的三维特征信息；
其中，识别和提取待焊接产品的初始焊缝图像，包括：利用激光传感器采集初始焊缝的图像；依据阈值分割法提取初始焊缝的图像中的焊缝条纹边缘曲线，其中，当对阈值的确定值没有先验知识时，采用K近邻算法确定阈值。
当对阈值的确定值没有先验知识时，采用K近邻算法确定阈值，包括：
扫描提前给出的焊缝图像的训练集，通过修改阈值找到与该测试样本最相似的一个训练样本，根据该训练样本的类别确定测试样本的类别；
当所选定的阈值所得的测试样本中的图像与训练集中的图像最为吻合，训练集中的图像所对应的阈值即为目标阈值。
依据初始焊缝图像计算获得初始焊缝图像的三维特征信息，包括：
(1)获取初始焊缝图像的特征区域；
(2)将所述特征区域信息转化为三维坐标系中的点和线，包括：
通过投影斜率法，将特征区域上的每一条线上面的像素点投影至y轴坐标上，获得y轴坐标上每一点的像素的个数，从y轴的最低点找起，当出现孤立的像素点则默认删除，出现预设次数的位置点且坐标值最小，则记为焊缝的最低点；
沿y轴方向寻找焊缝点，计算焊缝点与焊缝最低点之间的斜率，选取距离最低点最远的点作为焊缝终点，其中，焊缝终点与焊缝最低点的斜率在预设范围内；
通过坐标变换矩阵，将识别提取到的焊缝特征最终转换成三维坐标系。
S2、依据初始焊缝的图像的三维特征信息和机器人当前位置，获得路径解和机器人关节参数，包括：
结合初始焊缝的图像的三维特征信息和机器人当前位置，运用层级凸包碰撞模型，优化问题的运行学近似和逐步二次规划求解器计算获得机器人的轨迹规划；
在已知机器人的机械臂的位姿参数的情况下，给定机器人法兰盘末端坐标系相对于机器人基坐标系的位置和姿态，求解出焊接机器人使其末端执行器上的焊枪达到所需位置和姿态。
S3、依据路径解和机器人关节参数，机器人进行避障操作及焊接操作，直至焊接完成；其中，在机器人进行焊接操作的过程中，每隔预设时间间隔进行以下操作：
采集与识别当前焊缝的图像信息,依据当前焊缝的图像信息和当前机器人的位置调整路径解和机器人关节参数，获得更新后的路径解和机器人关节参数；
依据更新后的路径解和机器人关节参数，机器人进行避障操作及焊接操作。
采集与识别当前焊缝的图像信息，包括：
(1)获取当前图像，对所述当前图像进行修正，获得修正后的图像，包括：
对当前图像进行帧间误差最小化的配准，利用非均匀性校正算法，通过LK光流对场景中的运动前景进行重新配准，获得运动位移，修正误差图像；
通过估计出相邻帧图像之间去除非均匀性后的相位相关矩阵的峰值，以其峰值自适应地修正参数更新的速率，将帧与帧之间移动距离较大的弧光飞溅部分删掉，获得修正后的图像。
(2)使用NL-Means算法对修正后的图像进行去噪处理，获得去噪后的图像；
(3)使用带通滤波器对去噪后的图像进行滤波处理，基于运动自适应的方法，采用区域运动检测的方式来调整滤波权重，其中，弧光和飞溅区域减小权重系数，烟尘区域加大权重系数；
(4)将图像数据进行傅式反变换，获得预处理后的目标图像；
(5)对预处理后的目标图像进行特征提取，获得焊缝信息。
S4、识别焊接后的焊缝图像，依据焊接后的焊缝图像评估焊缝质量，包括：
通过激光传感器获取焊缝图像；
利用FAST算法提取焊缝图像的焊缝特征线；
将提取出来的焊缝特征线与各种缺陷类型的焊缝进行对比，获得焊缝的缺陷类型。
所述S4还包括：通过红外传感器采集焊缝内部图像，依据焊缝内部图像评估焊缝质量。
本发明公开了一种基于移动机器人的焊缝自主识别与焊接系统，包括焊前图像获取与处理模块、路径规划和关节参数计算模块、焊接处理模块和焊后质量评估模块。
所述焊前图像获取与处理模块用于识别和提取待焊接产品的初始焊缝图像，依据初始焊缝图像计算获得初始焊缝图像的三维特征信息；
所述路径规划和关节参数计算模块依据初始焊缝的图像的三维特征信息和机器人当前位置，获得路径解和机器人关节参数；
所述焊接处理依据路径解和机器人关节参数，机器人进行避障操作及焊接操作，直至焊接完成；其中，在机器人进行焊接操作的过程中，每隔预设时间间隔进行以下操作：采集与识别当前焊缝的图像信息,依据当前焊缝的图像信息和当前机器人的位置调整路径解和机器人关节参数，获得更新后的路径解和机器人关节参数；依据更新后的路径解和机器人关节参数，机器人进行避障操作及焊接操作；
所述焊后质量评估模块用于识别焊接后的焊缝图像，依据焊接后的焊缝图像评估焊缝质量。
下面，结合具体实施方式对本发明的技术方案做进一步说明与解释。
参照图2所示，为本实施例机器人识别焊缝与进行焊接的流程图。
焊接前：监测系统利用激光传感器进行初始焊缝的识别和提取，得到焊缝的图像，获取其三维特征信息，主要涉及图像分割。图像分割是焊缝识别即提取焊缝条纹边缘曲线的最主要工作，在激光视觉中，运用阈值分割法来分割图像即可。确定阈值，一旦得到合理的阈值就很好的分割图像。找到合适的阈值后，将阈值和所得图像像素点的灰度值来逐个比较；像素分割时会对各像素并行地进行，分割的结果直接给出图像区域。具体为二值化处理，将所得到的焊缝图像的像素点分为两类，一种是0灰度，一种是255灰度，图像只有黑白两种颜色，0灰度的细长白色图像即是焊缝的图像，焊缝的形状更加明显。在不同的焊接工况中需要自适应的阈值，即在二值化处理中阈值不固定，需要激光扫描后进行通过多次模拟得到最佳的结果。当对阈值的确定值没有先验知识时，K近邻算法是一个不错的选择。
K近邻算法原理：当对测试样本进行分类时，首先通过扫描提前给出的焊缝图像训练集，通过尝试修改阈值找到与该测试样本最相似的一个训练样本，根据这个样本的类别进行选择确定测试样本的类别。当所选定的值所得的图像与训练集中的图像最为吻合，图像所对应的阈值即为所选的阈值。
当焊缝采用连同的、封闭的区域来定义所需区域的边界，当图像中的像素点大于或者等于所选的阈值则就将这些点作为特殊区域点，将这些像素点的灰度值设为255，否则就将这些像素点归为另一类像素值，其像素的灰度值为0，这一类区域设置为特征区域的以外区域。由焊缝的特征可知，图像分割得到一条细长的缝则是图像分割最佳的处理结果。将该图像传给控制系统。
控制系统是将监测系统传过来的数据进行识别，控制系统对数据进行处理和分析才能准确的获得焊缝的位置特征和长度信息。在控制系统中，对特征区域信息进行进一步处理，转化为三维坐标系中的点和线。由于焊缝接近于一维图形，因此可以简化模型，只需要确定Y轴上具体点的三维坐标。通过投影斜率法，将每一条线上面的像素点投影到y轴坐标上，可以得到在y轴上每一点像素的个数，从y的最低点找起，由于图像是连续的，所以当出现孤立的像素点则默认删除。选择出现次数较多的位置点，当有出现次数明显最多的点时(大于其他点次数5％)，选该点即可；当几个点的出现次数在5％差距内，用最小的坐标值选取，则该点记为焊缝的最低点(焊缝起始点)。继续通过迭代沿着Y轴的方向寻找相近像素的点，计算该点与最低点的斜率，运用最小二乘法预测焊缝斜率。直至在沿着Y轴的方向上无相近像素的点，选取在离最低点最远的点(5-10个)，当该点出现次数相对较多，与最低点斜率相近于焊缝斜率(均在前10％)，选择该点为最高点(焊缝终点)，若无则重新选取点。再通过坐标变换矩阵，就能将识别提取到的焊缝特征最终转换成三维坐标系，建立数学模型，进行轨迹规划。
参照图3所示，控制系统结合焊缝的位置信息和机器人的位姿信息进行轨迹规划。轨迹规划功能运用层级凸包碰撞模型，优化问题的运动学近似和逐步二次规划求解器来求机器人的轨迹规划。计算进行自动路径规划和动态避障，这是离线编程系统中可确保机器人可以遵循用户设置的轨迹在工作空间中正确移动的基础，具体为直线插补规划和圆弧插补规划。直线是机器人运动过程中最常见的运动路径形状，并且空间直线的轨道轨迹规划是在已知空间中不重合的任意两个点的位置和姿态。直线轨迹插补是通过插值获得的轨迹上每个插值点的位置和姿态的过程，如果直线轨迹的长度太小，机器人可以不用进行插补算法，直接沿直线的起点和终点运动。空间弧形的轨迹插值计算比直线轨迹的要复杂得多，为了使得机器人从初始位置均匀平稳地到达目标期望位置，需要对从图像处理得到的位置点进行拟合运算，将焊枪枪头的运动拟合为平滑的，一个连续的且具有一阶导的光滑函数，可以使用二阶导函数，具体需要高斯拟合法、三次样条插值法、平滑样条内插法、多项式逼近等方法相比较结合，确定平滑内参法最适合用来拟合曲线，得到局部最优解(连续的位置)，将数据传到焊接系统。
参照图4所示，得到机器人路径解后反求机器人位姿逆解。由于机械臂的位姿参数是已知的，给定机器人法兰盘末端坐标系(工具坐标系)相对于机器人基坐标系的位置和姿态，可以求解出焊接机器人是否可以使其末端执行器上的焊枪达到所需位置和姿态。利用D-H模型，求解机器人焊接过程中实时的关节参数。在已知末端执行器和D-H参数的前提下，通过D-H参数可以很便捷地建立相邻关节坐标系的齐次变换矩阵，用来表示相邻杆件之间的位姿关系，通过这样的方式逐次变换，就可以将机器人末端的位姿信息变换为用机座坐标表示出来，得到逆运动学的解，解出机器人的关节运动参数。焊接姿态是轨迹规划的重要组成部分，因此确定焊枪的加工位置和姿态，使机器人的焊枪尽可能地处于最佳焊接位置，才能保证机器人在焊接操作过程中焊缝的质量和焊接的稳定性。
焊接中：焊接系统按照控制系统得到的路径解和机器人关节参数解进行机器人的运动，机械臂运动到计算的指定位置，进行工件的焊接。
由于机器人在焊接时会产生大量的弧光，飞溅和烟尘等大量干扰。这些干扰在原始图像中通过噪声的形式存在，因此需要有效去除噪声和光波，防止激光条纹被不利影响因素干扰。
焊接时激光传感器所拍摄的图像时移动连续的一帧帧图像，可以在去噪滤波之前进行帧间误差最小化的配准，利用非均匀性校正算法(IRLMS)通过LK光流对场景中的运动前景进行重新配准，估计出运动位移，修正误差图像，有效去除焊枪移动速度较快时产生的鬼影现象；同时通过估计出相邻帧图像之间去除非均匀性后的相位相关矩阵的峰值，以其峰值自适应地修正参数更新的速率，将帧与帧之间移动距离较大的弧光飞溅部分删掉，从而在一定程度上减小大的干扰因素，以便后续的图像优化处理。校准后的图像稳定性较好，图像质量曲线较平稳，图像的对比度也大大增加，从而来突出焊缝图像的特征信息。
去噪滤波是图像处理最常见的步骤，不同的噪声有不同的处理方法。噪声是直接叠加在原始图像上的，这个噪声可以是椒盐噪声、高斯噪声。如果能够精确地获得噪声，用输入图像减去噪声就可以恢复出原始图像。当知道噪声生成的方式，就能单独的求出噪声，用相对应的算法来去除噪声。在焊接过程中，图像中的噪声和杂波来源于图像采集中的弧光，飞溅和烟尘。针对这三种影响因素建立图像噪声模型，专门适用于焊接过程中的噪声去除。这里运用NL-Means算法来建立模型。
NL-Means的全称是：Non-Local Means，该算法使用自然图像中普遍存在的冗余信息来去噪声。与常用的双线性滤波、中值滤波等利用图像局部信息来滤波不同的是，它利用了整幅图像来进行去噪，以图像块为单位在图像中寻找相似区域，再对这些区域求平均，能够比较好地去掉图像中存在的高斯噪声，在去噪的同时能最大程度地保持图像的细节特征。
该算法需要在整个图像范围内判断像素间的相似度，也就是说，每处理一个像素点时，都要计算它与图像中所有像素点间的相似度。但是考虑到效率问题，实现的时候，会设定两个固定大小的窗口：搜索窗口和邻域窗口。邻域窗口在搜索窗口中滑动，根据邻域间的相似性确定像素i的权值。
在稳定情况下,对于一个像素i,只要找到一个它的邻域，NL-means算法就会收敛于i的条件期望。在这种情况下,稳定条件就等于说随着图像大小的增长,对于图像的所有细节我们可以找到许多类似的区块。该方法不仅比较了单个点的灰度,而且在整个邻域中进行了几何构型的对比。这使得它的鲁棒性更强。
在滤波方法中，频域法即对图像进行傅式变换之后选择带通滤波器来进行滤波处理，基于运动自适应的方法，采用区域运动检测的方式来调整滤波权重。运动较大区域如弧光，飞溅等减小权重系数，运动小的区域如烟尘等加大权重系数；再将图像数据进行傅式反变换便可获取到去除噪声后的目标图像，从而来处理那些周期性特征较强的噪声。
监测系统利用焊接系统获取机器人位姿实时位置，控制系统对前后焊接的位置坐标进行对比得到位置偏差。利用现有的偏差和图像分析对焊接轨迹和焊枪的位置姿态进行调整并发送信息到焊接系统。焊接系统收到信息并及时让焊枪进行调整从而实现焊接时的实时监控和自动纠偏系统。
焊接后：缺陷探伤功能：通过激光传感器寻找焊缝表面缺陷，对缺陷数据进行分析统计，对焊接后的焊缝质量进行评估。在焊缝图像后处理中，基于焊缝一维性的特点，只需得到焊缝两端的边缘点，并不涉及边缘点的特征描述，因此利用FAST算法提取焊缝特征线。
FAST只是一种特征点检测算法具有高计算效率，高可重复性。选择的特征点很接近角点。比较中间点与半径3.4的圆经过的邻域上的连续的12/9个点的灰度值，若有连续12或9个邻域像素值都大于或都小于中心像素点，则认为是候选特征点；用ID3信息增益进行决策树的训练；通过定义特征点响应函数进行角点的非极大值抑制；配合金字塔模型，可以对不同尺度的图像进行特征点检测，结果总和为最终结果。
FAST算法包含3个主要步骤：(1)对固定半径圆上的像素进行分割测试，通过逻辑测试可以去处大量的非特征候选点；(2)基于分类的角点特征检测，利用ID3分类器根据16个特征判决候选点是否为角点特征，每个特征的状态为-1，0，1。(3)利用非极大值抑制进行角点特征的验证。验证完毕后将角点之间的图像提取出来，即为所需焊缝。至此焊缝被成功提取出来。
将提取出来的焊缝与各种缺陷类型的焊缝进行对比，即可得出该焊缝表面存在的缺陷类型。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种基于移动机器人的焊缝自主识别与焊接方法，其特征在于，包括以下步骤：
S1、在焊接前，识别和提取待焊接产品的初始焊缝图像，依据初始焊缝图像计算获得初始焊缝图像的三维特征信息；
S2、依据初始焊缝的图像的三维特征信息和机器人当前位置，获得路径解和机器人关节参数；
S3、依据路径解和机器人关节参数，机器人进行避障操作及焊接操作，直至焊接完成；其中，在机器人进行焊接操作的过程中，每隔预设时间间隔进行以下操作：
采集与识别当前焊缝的图像信息,依据当前焊缝的图像信息和当前机器人的位置调整路径解和机器人关节参数，获得更新后的路径解和机器人关节参数；
依据更新后的路径解和机器人关节参数，机器人进行避障操作及焊接操作；
S4、识别焊接后的焊缝图像，依据焊接后的焊缝图像评估焊缝质量。
2.根据权利要求1所述的基于移动机器人的焊缝自主识别与焊接方法，其特征在于，所述S1中，识别和提取待焊接产品的初始焊缝图像，包括：
利用激光传感器采集初始焊缝的图像；
依据阈值分割法提取初始焊缝的图像中的焊缝条纹边缘曲线，其中，当对阈值的确定值没有先验知识时，采用K近邻算法确定阈值。
3.根据权利要求2所述的基于移动机器人的焊缝自主识别与焊接方法，其特征在于，当对阈值的确定值没有先验知识时，采用K近邻算法确定阈值，包括：
扫描提前给出的焊缝图像的训练集，通过修改阈值找到与该测试样本最相似的一个训练样本，根据该训练样本的类别确定测试样本的类别；
当所选定的阈值所得的测试样本中的图像与训练集中的图像最为吻合，训练集中的图像所对应的阈值即为目标阈值。
4.根据权利要求1所述的基于移动机器人的焊缝自主识别与焊接方法，其特征在于，所述S1中，依据初始焊缝图像计算获得初始焊缝图像的三维特征信息，包括：
获取初始焊缝图像的特征区域；
将所述特征区域信息转化为三维坐标系中的点和线，包括：
通过投影斜率法，将特征区域上的每一条线上面的像素点投影至y轴坐标上，获得y轴坐标上每一点的像素的个数，从y轴的最低点找起，当出现孤立的像素点则默认删除，出现预设次数的位置点且坐标值最小，则记为焊缝的最低点；
沿y轴方向寻找焊缝点，计算焊缝点与焊缝最低点之间的斜率，选取距离最低点最远的点作为焊缝终点，其中，焊缝终点与焊缝最低点的斜率在预设范围内；
通过坐标变换矩阵，将识别提取到的焊缝特征最终转换成三维坐标系。
5.根据权利要求1所述的基于移动机器人的焊缝自主识别与焊接方法，其特征在于，所述S2包括：
结合初始焊缝的图像的三维特征信息和机器人当前位置，运用层级凸包碰撞模型，优化问题的运行学近似和逐步二次规划求解器计算获得机器人的轨迹规划；
在已知机器人的机械臂的位姿参数的情况下，给定机器人法兰盘末端坐标系相对于机器人基坐标系的位置和姿态，求解出焊接机器人使其末端执行器上的焊枪达到所需位置和姿态。
6.根据权利要求1所述的基于移动机器人的焊缝自主识别与焊接方法，其特征在于，所述S3中，采集与识别当前焊缝的图像信息，包括：
获取当前图像，对所述当前图像进行修正，获得修正后的图像；
使用NL-Means算法对修正后的图像进行去噪处理，获得去噪后的图像；
使用带通滤波器对去噪后的图像进行滤波处理，基于运动自适应的方法，采用区域运动检测的方式来调整滤波权重，其中，弧光和飞溅区域减小权重系数，烟尘区域加大权重系数；
将图像数据进行傅式反变换，获得预处理后的目标图像；
对预处理后的目标图像进行特征提取，获得焊缝信息。
7.根据权利要求6所述的基于移动机器人的焊缝自主识别与焊接方法，其特征在于，所述获取当前图像，对所述当前图像进行修正，获得修正后的图像，包括：
对当前图像进行帧间误差最小化的配准，利用非均匀性校正算法，通过LK光流对场景中的运动前景进行重新配准，获得运动位移，修正误差图像；
通过估计出相邻帧图像之间去除非均匀性后的相位相关矩阵的峰值，以其峰值自适应地修正参数更新的速率，将帧与帧之间移动距离较大的弧光飞溅部分删掉，获得修正后的图像。
8.根据权利要求1所述的基于移动机器人的焊缝自主识别与焊接方法，其特征在于，所述S4包括：
通过激光传感器获取焊缝图像；
利用FAST算法提取焊缝图像的焊缝特征线；
将提取出来的焊缝特征线与各种缺陷类型的焊缝进行对比，获得焊缝的缺陷类型。
9.根据权利要求8所述的基于移动机器人的焊缝自主识别与焊接方法，其特征在于，所述S4还包括：
通过红外传感器采集焊缝内部图像，依据焊缝内部图像评估焊缝质量。
10.一种基于移动机器人的焊缝自主识别与焊接系统，其特征在于，包括：
焊前图像获取与处理模块，所述焊前图像获取与处理模块用于识别和提取待焊接产品的初始焊缝图像，依据初始焊缝图像计算获得初始焊缝图像的三维特征信息；
路径规划和关节参数计算模块，所述路径规划和关节参数计算模块依据初始焊缝的图像的三维特征信息和机器人当前位置，获得路径解和机器人关节参数；
焊接处理模块，所述焊接处理依据路径解和机器人关节参数，机器人进行避障操作及焊接操作，直至焊接完成；其中，在机器人进行焊接操作的过程中，每隔预设时间间隔进行以下操作：采集与识别当前焊缝的图像信息,依据当前焊缝的图像信息和当前机器人的位置调整路径解和机器人关节参数，获得更新后的路径解和机器人关节参数；依据更新后的路径解和机器人关节参数，机器人进行避障操作及焊接操作；
焊后质量评估模块，所述焊后质量评估模块用于识别焊接后的焊缝图像，依据焊接后的焊缝图像评估焊缝质量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310841412.7A CN116833645A (zh) | 2023-07-10 | 2023-07-10 | 基于移动机器人的焊缝自主识别与焊接方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310841412.7A CN116833645A (zh) | 2023-07-10 | 2023-07-10 | 基于移动机器人的焊缝自主识别与焊接方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116833645A true CN116833645A (zh) | 2023-10-03 |
Family
ID=88170436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310841412.7A Pending CN116833645A (zh) | 2023-07-10 | 2023-07-10 | 基于移动机器人的焊缝自主识别与焊接方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116833645A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117260100A (zh) * | 2023-11-23 | 2023-12-22 | 江苏恒康电力科技有限公司 | 一种变电站电力设备铁附件智能定位焊接系统 |
-
2023
- 2023-07-10 CN CN202310841412.7A patent/CN116833645A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117260100A (zh) * | 2023-11-23 | 2023-12-22 | 江苏恒康电力科技有限公司 | 一种变电站电力设备铁附件智能定位焊接系统 |
| CN117260100B (zh) * | 2023-11-23 | 2024-03-08 | 江苏恒康电力科技有限公司 | 一种变电站电力设备铁附件智能定位焊接系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN210046133U (zh) | 基于激光结构光的焊缝视觉跟踪系统 | |
| CN108637435B (zh) | 一种基于视觉与弧压传感的三维焊缝跟踪系统及方法 | |
| Xiao et al. | An adaptive feature extraction algorithm for multiple typical seam tracking based on vision sensor in robotic arc welding | |
| Wang et al. | A robust weld seam recognition method under heavy noise based on structured-light vision | |
| Rout et al. | Advances in weld seam tracking techniques for robotic welding: A review | |
| Du et al. | Strong noise image processing for vision-based seam tracking in robotic gas metal arc welding | |
| Muhammad et al. | A robust butt welding seam finding technique for intelligent robotic welding system using active laser vision | |
| Li et al. | Robust welding seam tracking and recognition | |
| He et al. | Autonomous detection of weld seam profiles via a model of saliency-based visual attention for robotic arc welding | |
| Xu et al. | Visual sensing technologies in robotic welding: Recent research developments and future interests | |
| CN112529858A (zh) | 一种基于机器视觉的焊缝图像处理方法 | |
| CN111127402A (zh) | 一种机器人焊接质量的视觉检测方法 | |
| Chen et al. | The autonomous detection and guiding of start welding position for arc welding robot | |
| CN113894481B (zh) | 复杂空间曲线焊缝的焊接位姿调整方法及装置 | |
| US6665066B2 (en) | Machine vision system and method for analyzing illumination lines in an image to determine characteristics of an object being inspected | |
| CN113427168A (zh) | 一种焊接机器人实时焊缝跟踪装置及方法 | |
| Kim et al. | A robust visual seam tracking system for robotic arc welding | |
| CN116833645A (zh) | 基于移动机器人的焊缝自主识别与焊接方法及系统 | |
| CN113369761B (zh) | 一种基于视觉引导机器人焊缝定位的方法及系统 | |
| CN113634964A (zh) | 一种大型构件龙门式机器人焊接装备及焊接工艺 | |
| CN114905507A (zh) | 一种基于环境视觉分析的焊接机器人精度控制方法 | |
| CN114140439A (zh) | 基于深度学习的激光焊接焊缝特征点识别方法及装置 | |
| CN115592324A (zh) | 基于人工智能的自动焊接机器人控制系统 | |
| Xiao et al. | A feature extraction algorithm based on improved Snake model for multi-pass seam tracking in robotic arc welding | |
| Soares et al. | Seam tracking and welding bead geometry analysis for autonomous welding robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |