CN115415694B - 一种钣金工艺用焊接方法、系统及装置 - Google Patents
一种钣金工艺用焊接方法、系统及装置 Download PDFInfo
- Publication number
- CN115415694B CN115415694B CN202211038668.6A CN202211038668A CN115415694B CN 115415694 B CN115415694 B CN 115415694B CN 202211038668 A CN202211038668 A CN 202211038668A CN 115415694 B CN115415694 B CN 115415694B
- Authority
- CN
- China
- Prior art keywords
- welding
- robot
- task
- image
- sheet metal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003466 welding Methods 0.000 title claims abstract description 310
- 238000000034 method Methods 0.000 title claims abstract description 53
- 239000002184 metal Substances 0.000 title claims abstract description 38
- 238000009826 distribution Methods 0.000 claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims description 17
- 210000002569 neuron Anatomy 0.000 claims description 12
- 239000003550 marker Substances 0.000 claims description 11
- 238000003709 image segmentation Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000005452 bending Methods 0.000 claims description 3
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000010009 beating Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011165 process development Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
- B23K31/02—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to soldering or welding
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/005—Manipulators for mechanical processing tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
Abstract
本发明涉及一种钣金工艺用焊接方法、系统及装置，属于焊接领域，本发明通过上位机发出焊接控制至指令至焊接机器人中；其次焊接机器人接收指令并根据焊接命令进行焊接任务规划；进而焊接机器人根据焊接任务规划进行焊接；最后进行对完成焊接的钣金件进行焊接质量检测，本发明中焊接前机器人会根据任务进行初分配，根据焊点与焊接机器人的位置关系和距离，进行焊点的先后焊接顺序初分配；对分配结果进行焊接次序进行优化，并判断焊接机器人作业时间；最后判断焊接机器人间的各个焊接点之间的作业时间差，得出最优的分配结果；同时在焊接时，每个机器人会根据焊点任务进行焊接轨迹确认，从到每个焊点任务的起始点和作业区域，从而防止焊接出现偏差。
Description
技术领域
本发明涉及一种钣金工艺用焊接方法、系统及装置，属于焊接领域。
背景技术
随着目前汽车制造工艺的技术要求和精度标准的不断提高，许多焊接产品的质量问题逐渐暴露出来，对焊接产品质量的要求也在不断提高。同时，我国焊接行业应引进更多的一流焊接技术和焊接工艺，全面实施焊接产品中后期的校正管理，确保焊接产品的质量和效率。管理工作进一步提高了我国焊接水平。
焊接机器人是用于完成焊接任务的高智能化设备，可以根据上层下达的命令进行完成相应的焊接工作，且由于现在自动化技术的提成，多工位焊接已成为现在焊接技术的主流，通过多个机器人对多个焊接任务同时进行焊接，从而可以大大提升焊接效率，但现有技术中的焊接技术中采用的是传统焊装任务分配方法，其采用分步(Step-by-Step)优化方法进行求解，且往往忽略复杂的制造约束，难以获得多工位-多机器人系统的可行及优化规划结果，导致工艺开发效率低；同时现在技术中机器人焊接是根据编程好的程序进行匹配焊接，这样会导致在焊接时出现焊接偏差，从而导致焊接失败的问题。
发明内容
发明目的：提供一种钣金工艺用焊接方法、系统及装置，解决上述提到的问题。
技术方案：第一方面、一种钣金工艺用焊接方法包括：以下步骤：
步骤1、上位机发出焊接控制至指令至焊接机器人中；
步骤2、焊接机器人接收指令并根据焊接命令进行焊接任务规划；
步骤3、焊接机器人根据焊接任务规划进行焊接；
步骤4、进行对完成焊接的钣金件进行焊接质量检测。
在进一步的实施例中，在步骤2中，上位机发出至少一个控制指令，即每一个控制指令为一个焊点，上位机对一个钣金件发出的所有控制指令，均有此钣金件上的所有焊接机器人分配完成，从而可以得出焊点任务集为P，且焊点任务集满足P＝{p1、p2、……pn}；从而焊接任务规划具体包括以下步骤：
步骤21、根据焊点任务集P及所有焊接机器人位置信息进行建立焊接机器人与焊点间的可行性矩阵，并进行判断所有焊接机器人是否可以完成所有焊点工作；
步骤22、进行任务的初分配，根据焊点与焊接机器人的位置关系和距离，进行焊点的先后焊接顺序初分配；
步骤23、对分配结果进行焊接次序进行优化，并判断焊接机器人作业时间；
步骤24、判断焊接机器人间的各个焊接点之间的作业时间差，若满足条件则输出结果，否则返回至步骤22进行任务重分配。
在进一步的实施例中，当焊点任务集P中的所有焊点间均可以通过焊接机器人完成焊接任务时，此时进行任务的初分配，通过第一分配层进行初分配，第二分配层进行分配优化，已达到最优的分配结构，具体步骤如下：
步骤221、构建第一分配层和第二分配层，将分配层结构设置为二维平面阵，平面阵大小为焊点数量M；
步骤222、将焊点数据与机器人数据输入第一分配层中，在输入层神经元中随机选取一个待分配补焊焊点坐标U作为网络的输入，根据焊接机器人与焊点的可达性矩阵，获得执行焊接任务U的机器人集合C，并计算C中每台机器人与U的距离，选取距离最小的神经元作为获胜神经元；
步骤223、将获胜神经元作为第二分配层的输入变量，以达成机器人作业次序优化的目的，通过判断作业时间的优劣，将第二分配层输出结果返回值第一分配层的输入层中进行任务重分配过程；
步骤224、针对单机器人获取优化焊接次序，计算机器人运行时间和计算工位内机器人最大时间与最小作业时间的差值，判断机器人运行时间差是否大于阈值，若大于阈值是则将当前分配结果返回至步骤222中，进行重新分配，否则输出分配结果。
在进一步的实施例中，在步骤3中，通过任务分配将焊点任务分配至各个焊接机器人中，焊接机器人根据焊点任务进行焊接轨迹确认，具体步骤如下：
步骤31、首先获取场景信息，并建立地图模型，此模型在每个机器人工作时，只需建立一次；
步骤32、其次使用目标检测网络实时检测标志物位置，计算作业起点位置并确定作业区域；
步骤33、然后由地图模型重建出作业区域点云，利用点云处理和边界提取算法，提取焊缝轨迹，制定机器人作业位姿优化策略；
步骤34、输出提取的精确焊接轨迹。
在进一步的实施例中，在步骤32中，由于机器人焊接现场环境复杂，存在多余焊缝和干扰，所以需要保证焊缝提取的准确性和焊接引导的效率，从而需要快速准确的明确焊接作业起点和作业区域；首先焊接机器人作业前，需要引导机器人到达作业起点位置，目标检测网络得到标志物的中心点像素值后，将地图模型中的深度图像对齐到彩色图像，得到像素坐标系下的坐标点即为焊接作业起点，根据机器人手眼标定和机械臂位姿数据，计算出作业起始点相对于机器人基座标系的空间位置即为作业区域，即计算公式如下
其中，Sa是焊接作业起点，Sb为作业区域，RA、TA为机器人的姿态和位置矩阵，RX、TX为深度相机相对于机器人末端的姿态和位置矩阵；标志物在视觉引导过程中指示的范围为机器人作业范围，重建范围内的场景点云，能够有效减少现场环境和背景的干扰。
在进一步的实施例中，在步骤33中，获取作业场景彩色图像实时检测引导标志物，根据标志物指示范围，生成点云重建区域，将区域内的深度图像映射得到三维点云，重建出作业场景，可以去除大量背景点云，提高焊接轨迹点云的提取效率，为提高点云重建的质量，对感兴趣区域内的深度图像进行滤波处理。针对表面反光过强，产生的深度图像噪声，采用联合双边滤波器进行消除，在去除噪声的同时，保留边缘信息，对深度图像进行处理后，可根据深度图像计算得到三维点云。
在进一步的实施例中，在步骤4中，需要对完成焊接的钣金进行焊接质量的检测，利用相机进行采集钣金件的焊缝信息，从而根据焊缝图像信息进行对焊接质量的判断，具体步骤如下：
步骤41、图像采集和预处理；
步骤42、图像特征提取，对焊缝图像中的线结构光条纹中心线进行图像分割操作，再进行线结构光条纹中心线提取，最后提取出焊缝图像特征点；
步骤43，进行焊缝点检测。
在进一步的实施例中，在进行步骤42中的图像特征提取，首先需要对焊缝图像中的线结构光条纹中心线进行图像的分割操作，先求出待提取条形线的法线方向，再根据法线方向对像素点进行泰勒展开来判定像素点是否为中心像素点，从而完成图像的分割工作；
其次需要进行对线结构光条纹中心线提取，步骤如下：
步骤421、获取原焊缝图像，制作出属于PSPNet和CenterNet网络的数据集。利用训练好的PSPnet网络对图像进行分割操作；
步骤422、通过Steger算法进行焊缝线结构光条纹中心线提取，并输出图像提取结果图；
步骤423、使用训练好的CenterNet网络模型进行焊缝图像特征点识别操作。并输出图像特征点识别提取结果图；
从而通过以上步骤对焊缝原图像进行优化处理之后，焊缝特征点识别提取算法有效的排除了反光，多条光纹等干扰，并且克服了光条纹的边缘曲折的干扰，可以将焊缝特征点准确识别提取出来。
第二方面，一种钣金工艺用焊接系统，包括：
任务分配单元，根据焊点任务数量，进行将任务量分配至各个机器人中；
机器人控制单元，通过接收任务指令，进行焊接任务的规划；
焊接单元，根据任务指令，驱动机器人进行完成焊接任务；
检测单元，对完成的焊接焊缝，进行检测以及焊接质量检测。
第三方面，一种钣金工艺用焊接装置，包括：
上位机，进行发送焊接任务至各个焊接机器人中；
焊接机器人，接收焊接任务并执行焊接操作，和进行焊缝的检测工作。
有益效果：本发明涉及一种钣金工艺用焊接方法、系统及装置，属于焊接领域，本发明通过上位机发出焊接控制至指令至焊接机器人中；其次焊接机器人接收指令并根据焊接命令进行焊接任务规划；进而焊接机器人根据焊接任务规划进行焊接；最后进行对完成焊接的钣金件进行焊接质量检测，在本发明中焊接前，焊接机器人会根据任务进行初分配，根据焊点与焊接机器人的位置关系和距离，进行焊点的先后焊接顺序初分配；其次对分配结果进行焊接次序进行优化，并判断焊接机器人作业时间；最后判断焊接机器人间的各个焊接点之间的作业时间差，得出最优的分配结果；同时本发明在焊接时，每个机器人会根据焊点任务进行焊接轨迹确认，从而得到每个焊点任务的起始点和作业区域，从而防止焊接出现偏差。
附图说明
图1是本发明的方法步骤图。
图2是本发明的方法步骤2流程图。
图3是本发明的方法步骤2具体示意图。
图4是本发明的分配层示意图。
图5是本发明的方法步骤3流程图。
图6是本发明的方法步骤4流程图。
图7是本发明的方法步骤4具体示意图。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施；在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
实施例1：
一种钣金工艺用焊接方法，包括：
步骤1、上位机发出焊接控制至指令至焊接机器人中；
步骤2、焊接机器人接收指令并根据焊接命令进行焊接任务规划；
步骤3、焊接机器人根据焊接任务规划进行焊接；
步骤4、进行对完成焊接的钣金件进行焊接质量检测。
在一个实施例中，在步骤2中，上位机发出至少一个控制指令，即每一个控制指令为一个焊点，上位机对一个钣金件发出的所有控制指令，均有此钣金件上的所有焊接机器人分配完成，从而可以得出焊点任务集为P，且焊点任务集满足P＝{p1、p2、……pn}；从而焊接任务规划具体包括以下步骤：
步骤21、根据焊点任务集P及所有焊接机器人位置信息进行建立焊接机器人与焊点间的可行性矩阵，并进行判断所有焊接机器人是否可以完成所有焊点工作；
步骤22、进行任务的初分配，根据焊点与焊接机器人的位置关系和距离，进行焊点的先后焊接顺序初分配；
步骤23、对分配结果进行焊接次序进行优化，并判断焊接机器人作业时间；
步骤24、判断焊接机器人间的各个焊接点之间的作业时间差，若满足条件则输出结果，否则返回至步骤22进行任务重分配。
在一个实施例中，当焊点任务集P中的所有焊点间均可以通过焊接机器人完成焊接任务时，此时进行任务的初分配，通过第一分配层进行初分配，第二分配层进行分配优化，已达到最优的分配结构，具体步骤如下：
步骤221、构建第一分配层和第二分配层，将分配层结构设置为二维平面阵，平面阵大小为焊点数量M；
步骤222、将焊点数据与机器人数据输入第一分配层中，在输入层神经元中随机选取一个待分配补焊焊点坐标U作为网络的输入，根据焊接机器人与焊点的可达性矩阵，获得执行焊接任务U的机器人集合C，并计算C中每台机器人与U的距离，选取距离最小的神经元作为获胜神经元；
步骤223、将获胜神经元作为第二分配层的输入变量，以达成机器人作业次序优化的目的，通过判断作业时间的优劣，将第二分配层输出结果返回值第一分配层的输入层中进行任务重分配过程；
步骤224、针对单机器人获取优化焊接次序，计算机器人运行时间和计算工位内机器人最大时间与最小作业时间的差值，判断机器人运行时间差是否大于阈值，若大于阈值是则将当前分配结果返回至步骤222中，进行重新分配，否则输出分配结果。
在一个实施例中，在步骤3中，通过任务分配将焊点任务分配至各个焊接机器人中，焊接机器人根据焊点任务进行焊接轨迹确认，具体步骤如下：
步骤31、首先获取场景信息，并建立地图模型，此模型在每个机器人工作时，只需建立一次；
步骤32、其次使用目标检测网络实时检测标志物位置，计算作业起点位置并确定作业区域；
步骤33、然后由地图模型重建出作业区域点云，利用点云处理和边界提取算法，提取焊缝轨迹，制定机器人作业位姿优化策略；
步骤34、输出提取的精确焊接轨迹。
在一个实施例中，在步骤32中，由于机器人焊接现场环境复杂，存在多余焊缝和干扰，所以需要保证焊缝提取的准确性和焊接引导的效率，从而需要快速准确的明确焊接作业起点和作业区域；首先焊接机器人作业前，需要引导机器人到达作业起点位置，目标检测网络得到标志物的中心点像素值后，将地图模型中的深度图像对齐到彩色图像，得到像素坐标系下的坐标点即为焊接作业起点，根据机器人手眼标定和机械臂位姿数据，计算出作业起始点相对于机器人基座标系的空间位置即为作业区域，即计算公式如下
其中，Sa是焊接作业起点，Sb为作业区域，RA、TA为机器人的姿态和位置矩阵，RX、TX为深度相机相对于机器人末端的姿态和位置矩阵；标志物在视觉引导过程中指示的范围为机器人作业范围，重建范围内的场景点云，能够有效减少现场环境和背景的干扰。
在一个实施例中，在步骤33中，获取作业场景彩色图像实时检测引导标志物，根据标志物指示范围，生成点云重建区域，将区域内的深度图像映射得到三维点云，重建出作业场景，可以去除大量背景点云，提高焊接轨迹点云的提取效率，为提高点云重建的质量，对感兴趣区域内的深度图像进行滤波处理。针对表面反光过强，产生的深度图像噪声，采用联合双边滤波器进行消除，在去除噪声的同时，保留边缘信息，对深度图像进行处理后，可根据深度图像计算得到三维点云。
在一个实施例中，在步骤4中，需要对完成焊接的钣金进行焊接质量的检测，利用相机进行采集钣金件的焊缝信息，从而根据焊缝图像信息进行对焊接质量的判断，具体步骤如下：
步骤41、图像采集和预处理；
步骤42、图像特征提取，对焊缝图像中的线结构光条纹中心线进行图像分割操作，再进行线结构光条纹中心线提取，最后提取出焊缝图像特征点；
步骤43，进行焊缝点检测。
在一个实施例中，在进行步骤42中的图像特征提取，首先需要对焊缝图像中的线结构光条纹中心线进行图像的分割操作，先求出待提取条形线的法线方向，再根据法线方向对像素点进行泰勒展开来判定像素点是否为中心像素点，从而完成图像的分割工作；
其次需要进行对线结构光条纹中心线提取，步骤如下：
步骤421、获取原焊缝图像，制作出属于PSPNet和CenterNet网络的数据集；利用训练好的PSPnet网络对图像进行分割操作；
步骤422、通过Steger算法进行焊缝线结构光条纹中心线提取，并输出图像提取结果图；
步骤423、使用训练好的CenterNet网络模型进行焊缝图像特征点识别操作。并输出图像特征点识别提取结果图；
从而通过以上步骤对焊缝原图像进行优化处理之后，焊缝特征点识别提取算法有效的排除了反光，多条光纹等干扰，并且克服了光条纹的边缘曲折的干扰，可以将焊缝特征点准确识别提取出来。
实施例2：
一种钣金工艺用焊接系统，包括：
任务分配单元，根据焊点任务数量，进行将任务量分配至各个机器人中；
机器人控制单元，通过接收任务指令，进行焊接任务的规划；
焊接单元，根据任务指令，驱动机器人进行完成焊接任务；
检测单元，对完成的焊接焊缝，进行检测以及焊接质量检测。
实施例3：
一种钣金工艺用焊接装置，其特征在于，包括：
上位机，进行发送焊接任务至各个焊接机器人中；
焊接机器人，接收焊接任务并执行焊接操作，和进行焊缝的检测工作。以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。
Claims (8)
1.一种钣金工艺用焊接方法，其特征在于，包括以下步骤：
步骤1、上位机发出焊接控制至指令至焊接机器人中；
步骤2、焊接机器人接收指令并根据焊接命令进行焊接任务规划；
步骤3、焊接机器人根据焊接任务规划进行焊接；
步骤4、进行对完成焊接的钣金件进行焊接质量检测；
在步骤2中，上位机发出至少一个控制指令，即每一个控制指令为一个焊点，上位机对一个钣金件发出的所有控制指令，均有此钣金件上的所有焊接机器人分配完成，从而可以得出焊点任务集为P，且焊点任务集满足P＝{p1、p2、……pn}；从而焊接任务规划具体包括以下步骤：
步骤21、根据焊点任务集P及所有焊接机器人位置信息进行建立焊接机器人与焊点间的可行性矩阵，并进行判断所有焊接机器人是否可以完成所有焊点工作；
步骤22、进行任务的初分配，根据焊点与焊接机器人的位置关系和距离，进行焊点的先后焊接顺序初分配；
步骤23、对分配结果进行焊接次序进行优化，并判断焊接机器人作业时间；
步骤24、判断焊接机器人间的各个焊接点之间的作业时间差，若满足条件则输出结果，否则返回至步骤22进行任务重分配；
当焊点任务集P中的所有焊点间均可以通过焊接机器人完成焊接任务时，此时进行任务的初分配，通过第一分配层进行初分配，第二分配层进行分配优化，已达到最优的分配结构，具体步骤如下：
步骤221、构建第一分配层和第二分配层，将分配层结构设置为二维平面阵，平面阵大小为焊点数量M；
步骤222、将焊点数据与机器人数据输入第一分配层中，在输入层神经元中随机选取一个待分配补焊焊点坐标U作为网络的输入，根据焊接机器人与焊点的可达性矩阵，获得执行焊接任务U的机器人集合C，并计算C中每台机器人与U的距离，选取距离最小的神经元作为获胜神经元；
步骤223、将获胜神经元作为第二分配层的输入变量，以达成机器人作业次序优化的目的，通过判断作业时间的优劣，将第二分配层输出结果返回值第一分配层的输入层中进行任务重分配过程；
步骤224、针对单机器人获取优化焊接次序，计算机器人运行时间和计算工位内机器人最大时间与最小作业时间的差值，判断机器人运行时间差是否大于阈值，若大于阈值是则将当前分配结果返回至步骤222中，进行重新分配，否则输出分配结果。
2.根据权利要求1所述一种钣金工艺用焊接方法，其特征在于，
在步骤3中，通过任务分配将焊点任务分配至各个焊接机器人中，焊接机器人根据焊点任务进行焊接轨迹确认，具体步骤如下：
步骤31、首先获取场景信息，并建立地图模型，此模型在每个机器人工作时，只需建立一次；
步骤32、其次使用目标检测网络实时检测标志物位置，计算作业起点位置并确定作业区域；
步骤33、然后由地图模型重建出作业区域点云，利用点云处理和边界提取算法，提取焊缝轨迹，制定机器人作业位姿优化策略；
步骤34、输出提取的精确焊接轨迹。
3.根据权利要求2所述一种钣金工艺用焊接方法，其特征在于，
在步骤32中，由于机器人焊接现场环境复杂，存在多余焊缝和干扰，所以需要保证焊缝提取的准确性和焊接引导的效率，从而需要快速准确的明确焊接作业起点和作业区域；首先焊接机器人作业前，需要引导机器人到达作业起点位置，目标检测网络得到标志物的中心点像素值后，将地图模型中的深度图像对齐到彩色图像，得到像素坐标系下的坐标点即为焊接作业起点，根据机器人手眼标定和机械臂位姿数据，计算出作业起始点相对于机器人基座标系的空间位置即为作业区域，即计算公式如下
其中，Sa是焊接作业起点，Sb为作业区域，RA、TA为机器人的姿态和位置矩阵，RX、TX为深度相机相对于机器人末端的姿态和位置矩阵；标志物在视觉引导过程中指示的范围为机器人作业范围，重建范围内的场景点云，能够有效减少现场环境和背景的干扰。
4.根据权利要求3所述一种钣金工艺用焊接方法，其特征在于，
在步骤33中，获取作业场景彩色图像实时检测引导标志物，根据标志物指示范围，生成点云重建区域，将区域内的深度图像映射得到三维点云，重建出作业场景，可以去除大量背景点云，提高焊接轨迹点云的提取效率，为提高点云重建的质量，对感兴趣区域内的深度图像进行滤波处理；针对表面反光过强，产生的深度图像噪声，采用联合双边滤波器进行消除，在去除噪声的同时，保留边缘信息，对深度图像进行处理后，可根据深度图像计算得到三维点云。
5.根据权利要求1所述一种钣金工艺用焊接方法，其特征在于，
在步骤4中，需要对完成焊接的钣金进行焊接质量的检测，利用相机进行采集钣金件的焊缝信息，从而根据焊缝图像信息进行对焊接质量的判断，具体步骤如下：
步骤41、图像采集和预处理；
步骤42、图像特征提取，对焊缝图像中的线结构光条纹中心线进行图像分割操作，再进行线结构光条纹中心线提取，最后提取出焊缝图像特征点；
步骤43，进行焊缝点检测。
6.根据权利要求1所述一种钣金工艺用焊接方法，其特征在于，
在进行步骤42中的图像特征提取，首先需要对焊缝图像中的线结构光条纹中心线进行图像的分割操作，先求出待提取条形线的法线方向，再根据法线方向对像素点进行泰勒展开来判定像素点是否为中心像素点，从而完成图像的分割工作；
其次需要进行对线结构光条纹中心线提取，步骤如下：
步骤421、获取原焊缝图像，制作出属于PSPNet和CenterNet网络的数据集；利用训练好的PSPnet网络对图像进行分割操作；
步骤422、通过Steger算法进行焊缝线结构光条纹中心线提取，并输出图像提取结果图；
步骤423、使用训练好的CenterNet网络模型进行焊缝图像特征点识别操作；并输出图像特征点识别提取结果图；
从而通过以上步骤对焊缝原图像进行优化处理之后，焊缝特征点识别提取算法有效的排除了反光，多条光纹干扰，并且克服了光条纹的边缘曲折的干扰，可以将焊缝特征点准确识别提取出来。
7.一种钣金工艺用焊接系统，用于实现权利要求1至6任一项所述钣金工艺用焊接方法，其特征在于，包括：
任务分配单元，根据焊点任务数量，进行将任务量分配至各个机器人中；
机器人控制单元，通过接收任务指令，进行焊接任务的规划；
焊接单元，根据任务指令，驱动机器人进行完成焊接任务；
检测单元，对完成的焊接焊缝，进行检测以及焊接质量检测。
8.一种钣金工艺用焊接装置，其特征在于，用于执行权利要求1至6任一项所述钣金工艺用焊接方法，包括：
上位机，进行发送焊接任务至各个焊接机器人中；
焊接机器人，接收焊接任务并执行焊接操作，和进行焊缝的检测工作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211038668.6A CN115415694B (zh) | 2022-08-29 | 2022-08-29 | 一种钣金工艺用焊接方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211038668.6A CN115415694B (zh) | 2022-08-29 | 2022-08-29 | 一种钣金工艺用焊接方法、系统及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115415694A CN115415694A (zh) | 2022-12-02 |
| CN115415694B true CN115415694B (zh) | 2024-01-12 |
Family
ID=84200513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211038668.6A Active CN115415694B (zh) | 2022-08-29 | 2022-08-29 | 一种钣金工艺用焊接方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115415694B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115805394B (zh) * | 2022-12-28 | 2023-11-21 | 上海市机械施工集团有限公司 | 钢筋焊接定位方法、装置、电子设备及存储介质 |
| CN117576094B (zh) * | 2024-01-15 | 2024-04-19 | 中铁科工集团有限公司 | 一种3d点云智能感知焊缝位姿提取方法、系统、设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0890233A (ja) * | 1994-09-21 | 1996-04-09 | Kobe Steel Ltd | 溶接ロボットの運転制御方法 |
| JP2000141147A (ja) * | 1998-11-04 | 2000-05-23 | Honda Motor Co Ltd | 生産ラインの作業配分シミュレーション方法 |
| JP2000167748A (ja) * | 1998-12-04 | 2000-06-20 | Honda Motor Co Ltd | 生産ラインの作業配分シミュレーション方法 |
| CN111113409A (zh) * | 2019-11-21 | 2020-05-08 | 东南大学 | 一种基于分步优化的多机器人多工位协作点焊作业规划方法 |
| CN113118675A (zh) * | 2021-04-19 | 2021-07-16 | 西北工业大学 | 一种基于移动平台的机器人焊接系统任务分配与路径规划方法 |
| WO2022095278A1 (zh) * | 2020-11-09 | 2022-05-12 | 中国船舶重工集团公司第七一六研究所 | 基于qmix强化学习算法的船舶多机械臂焊点协同焊接方法 |
-
2022
- 2022-08-29 CN CN202211038668.6A patent/CN115415694B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0890233A (ja) * | 1994-09-21 | 1996-04-09 | Kobe Steel Ltd | 溶接ロボットの運転制御方法 |
| JP2000141147A (ja) * | 1998-11-04 | 2000-05-23 | Honda Motor Co Ltd | 生産ラインの作業配分シミュレーション方法 |
| JP2000167748A (ja) * | 1998-12-04 | 2000-06-20 | Honda Motor Co Ltd | 生産ラインの作業配分シミュレーション方法 |
| CN111113409A (zh) * | 2019-11-21 | 2020-05-08 | 东南大学 | 一种基于分步优化的多机器人多工位协作点焊作业规划方法 |
| WO2022095278A1 (zh) * | 2020-11-09 | 2022-05-12 | 中国船舶重工集团公司第七一六研究所 | 基于qmix强化学习算法的船舶多机械臂焊点协同焊接方法 |
| CN113118675A (zh) * | 2021-04-19 | 2021-07-16 | 西北工业大学 | 一种基于移动平台的机器人焊接系统任务分配与路径规划方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115415694A (zh) | 2022-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115415694B (zh) | 一种钣金工艺用焊接方法、系统及装置 | |
| CN109272544B (zh) | 管道全位置焊缝的结构光三维测量模型和图像处理方法 | |
| CN107808415B (zh) | 基于机器视觉的鞋底边缘轨迹及涂胶位姿提取方法 | |
| US10060857B1 (en) | Robotic feature mapping and motion control | |
| CN107798330A (zh) | 一种焊缝图像特征信息提取方法 | |
| CN110988586B (zh) | 一种配网带电作业机器人作业精准定位方法及系统 | |
| CN110503638B (zh) | 螺旋胶质量在线检测方法 | |
| CN110181516A (zh) | 一种喷涂机器人的路径规划方法、装置、系统及存储介质 | |
| CN113741426B (zh) | 一种基于局部点云曲线拟合的机器人加工路径规划方法 | |
| CN107471028A (zh) | 修磨方法及系统 | |
| CN110992479A (zh) | 一种适合散乱点云的高粗糙度三维曲面拟合方法 | |
| CN116188526A (zh) | 一种轨迹生成方法、装置、设备及介质 | |
| CN114473309A (zh) | 用于自动焊接系统的焊接位置识别方法及自动焊接系统 | |
| CN114581368B (zh) | 一种基于双目视觉的棒材焊牌方法及装置 | |
| CN115018813A (zh) | 一种机器人自主识别与精确定位焊缝的方法 | |
| CN116402792A (zh) | 一种基于三维点云的空间孔位对接方法 | |
| CN113319859B (zh) | 一种机器人示教方法、系统、装置及电子设备 | |
| CN116909208B (zh) | 基于人工智能的壳体加工路径优化方法及系统 | |
| CN105739507A (zh) | 一种机器人防碰撞的最优路径规划方法 | |
| CN114066752A (zh) | 面向焊缝跟踪的线结构光骨架提取及毛刺去除方法 | |
| CN111435400A (zh) | 一种零件的修复方法、修复装置及3d打印机 | |
| CN117324221A (zh) | 一种曲面构件腻子喷涂方法 | |
| CN116740036A (zh) | 一种钢管管端引熄弧板切割点位检测方法和系统 | |
| CN115375762A (zh) | 一种基于三目视觉的电力线三维重构方法 | |
| CN114683283B (zh) | 一种焊接机器人免示教焊接方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |