CN115709331A - 基于目标检测的焊接机器人全自主视觉引导方法及系统 - Google Patents
基于目标检测的焊接机器人全自主视觉引导方法及系统 Download PDFInfo
- Publication number
- CN115709331A CN115709331A CN202211475125.0A CN202211475125A CN115709331A CN 115709331 A CN115709331 A CN 115709331A CN 202211475125 A CN202211475125 A CN 202211475125A CN 115709331 A CN115709331 A CN 115709331A
- Authority
- CN
- China
- Prior art keywords
- welding
- robot
- intersection points
- welding robot
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003466 welding Methods 0.000 title claims abstract description 322
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000001514 detection method Methods 0.000 title claims abstract description 47
- 230000000007 visual effect Effects 0.000 title claims abstract description 18
- 230000008569 process Effects 0.000 claims description 33
- 239000013598 vector Substances 0.000 claims description 24
- 230000005484 gravity Effects 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 4
- 238000013138 pruning Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 claims description 2
- 230000006870 function Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000010391 action planning Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Manipulator (AREA)
Abstract
本发明公开了一种基于目标检测的焊接机器人全自主视觉引导方法及系统，包括：获取焊接工件RGB图像和深度信息，利用训练好的目标检测模型，得到图片中所有焊缝以及焊点的二维位置信息，结合深度信息，得到图片中所有焊缝以及焊点的三维空间坐标；基于所有焊缝的三维空间坐标计算最优的焊接顺序，并寻找最短的无碰撞路径；基于得到的焊接顺序和路径，结合焊缝的三维空间坐标，进行焊接机器人焊接位姿初步调整；激光焊缝跟踪器找到焊缝后，利用激光焊缝跟踪器上返回的距离信息，对焊接机器人位姿进行精细调整。本发明基于图像识别方法识别所有焊缝的位置，识别准确度提高，保证了焊缝检测结果的可靠性，避免错检、漏检的情况发生。
Description
技术领域
本发明涉及焊接机器人技术领域，尤其涉及一种基于目标检测的焊接机器人全自主视觉引导方法。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
目前焊接领域多采用人工焊接或者人工示教焊接的方式进行作业，这两种方式都离不开人工的直接参与。但因为焊接工作环境恶劣，所需要的焊接技艺越来越复杂，所需要的人工成本也逐年攀高。且人工示教流程繁琐，需要人工根据焊件尺寸输入对应信息，调节对应的焊接工艺，需要适合的工装卡具进行定位，再针对每一条焊缝进行示教，整个过程耗时长，不能够保证作业效率。
虽然有智能焊接技术应用于焊接机器人，但智能焊接技术存在焊缝识别不准，识别不全的问题，在面临复杂工况的时候往往还是需要人为的介入，难以做到完全的自动化、智能化。
另外，现有的智能焊接方法对于弱观测条件下的超薄搭接、微小对接等复杂焊缝，感知精度较低。
发明内容
为了解决上述问题，本发明提出了一种基于目标检测的焊接机器人全自主视觉引导方法，能够利用激光-视觉多模融合表征进行弱观测条件下的焊缝智能识别及定位，从而实现焊接机器人高效动作规划与纠偏。
在一些实施方式中，采用如下技术方案：
一种基于目标检测的焊接机器人全自主视觉引导方法，包括：
获取焊接工件RGB图像和深度信息，利用训练好的目标检测模型，得到图片中所有焊缝以及焊点的二维位置信息，结合深度信息，得到图片中所有焊缝以及焊点的三维空间坐标；
基于所有焊缝的三维空间坐标计算最优的焊接顺序，并寻找最短的无碰撞路径；
基于得到的焊接顺序和路径，结合焊缝的三维空间坐标，进行焊接机器人焊接位姿初步调整；激光焊缝跟踪器找到焊缝后，利用激光焊缝跟踪器上返回的距离信息，对焊接机器人位姿进行精细调整。
作为进一步的方案，还包括：通过激光焊缝跟踪器获取焊缝的起止点位置、角度和焊缝宽度信息，与焊接工艺库中的信息进行配准，确定焊缝的种类和焊接工艺。
作为进一步的方案，还包括：在激光焊缝跟踪器的引导下，控制焊接机器人按照选定的焊接工艺与焊接工件进行焊接。
作为进一步的方案，所述目标检测模型的损失函数具体为：
LFocal-EIOU＝IOUγLEIOU；
其中，IOU＝|A∩B|/|A∪B|，γ为异常值抑制参数；LIOU是重叠损失、Ldis是中心距离损失、Lasp是宽高损失；b，bgt分别为预测框和真实框的中心点，ρ代表两个中心点的欧氏距离，wc和hc是覆盖两个Box的最小外接框的宽度和高度。
作为进一步的方案，基于所有焊缝的三维空间坐标计算最优的焊接顺序，具体为：
将得到的每一条焊缝的两端看做两个节点，当前节点与其所属焊缝的另一节点之间的损失设为零，当前节点与其他节点之间的损失采用欧式距离表示；以总的损失最小为目标，以深度优先的方式搜索解空间，并在搜索过程中使用剪枝函数避免无效搜索以快速获取焊接顺序。
作为进一步的方案，寻找最短的无碰撞路径，具体为：
采用快速扩展随机树算法，从当前节点开始，随机在空间中生成节点，直到到达下一节点；在搜索过程中，引入目标引力函数，使得随机树向着目标点生长；所述目标引力函数如下：
其中，xgoal为向着目标节点的向量，xrand为随机产生的向量；kg为常数。
作为进一步的方案，进行焊接机器人焊接位姿初步调整，具体过程为：
分别以焊接机器人移动路径上的每一个采样点为中心点，建立三维空间坐标系，沿坐标轴X、Y、Z轴的正负两个方向分别延伸，确定X、Y、Z轴延伸线与焊接工件的交点；基于X、Y、Z轴的延伸线与焊接工件的交点的数量，确定焊接机器人的当前位姿。
作为进一步的方案，基于X、Y、Z轴的延伸线与焊接工件的交点的数量，确定焊接机器人的当前位姿，具体包括：
若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为一个，则该交点与所述中心点的连线方向为焊接机器人的当前位姿；
若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为两个，则两个交点的连线过所述中心点的垂线方向为焊接机器人的当前位姿；
若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为三个，则三个接触点组成平面，所述平面过所述中心点的法向量方向为焊接机器人的当前位姿；
若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为四个，假设a、b两个交点同轴，另外两个交点为c、d；则交点a、b、c组成第一平面，交点a、b、d组成第二平面，第一平面过所述中心点的法向量为α，第二平面过所述中心点的法向量为β，向量α和向量β相加组成的新向量方向即为焊接机器人的当前位姿；
若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为五个，分别为a、b、c、d、e；假设a、b两个交点同轴，c、d两个交点同轴，则交点e与所述中心点的连线方向即为焊接机器人的当前位姿；
若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为六个，停止作业。
在另一些实施方式中，采用如下技术方案：
一种基于目标检测的焊接机器人全自主视觉引导系统，包括：
焊缝位置获取模块，用于获取焊接工件位置RGB图像和深度信息，利用训练好的目标检测模型，得到图片中所有焊缝以及焊点的二维位置信息，结合深度信息，得到图片中所有焊缝以及焊点的三维空间坐标；
焊接路径寻优模块，用于基于所有焊缝的三维空间坐标计算最优的焊接顺序，并寻找最短的无碰撞路径；
机器人位姿调整模块基于得到的焊接顺序和路径，结合焊缝的三维空间坐标，进行焊接机器人焊接位姿初步调整；激光焊缝跟踪器找到焊缝后，利用激光焊缝跟踪器上返回的距离信息，对焊接机器人位姿进行精细调整。
在另一些实施方式中，采用如下技术方案：
一种焊接机器人，包括：焊接机械臂和控制器，焊接机械臂上分别设有相机和焊缝跟踪器，所述控制器用于执行上述的基于目标检测的焊接机器人全自主视觉引导方法。
与现有技术相比，本发明的有益效果是：
(1)本发明基于图像识别方法识别所有焊缝的位置，识别准确度提高，保证了焊缝检测结果的可靠性，避免错检、漏检的情况发生。采取先粗后细的位姿调整策略，可将焊缝的定位精度控制在0.1mm以内，相比人工焊接和人工示教焊接的方式，在焊接精度上完全排除了人的主观性，采用客观的评价指标以保证在不同的作业环境中达到相同的效果。
(2)本发明可完成焊缝自主识别，初始焊位导引，焊接角度调整，焊接顺序优化，自主选择焊接工艺等全套焊接流程。大大减少了人的参与，可全天候作业，有效提升了焊接效率，降低人力成本投入。
本发明的其他特征和附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本方面的实践了解到。
附图说明
图1为本发明实施例中基于目标检测的焊接机器人全自主视觉引导方法流程图；
图2为进行焊接机器人焊接位姿初步调整示意图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
在一个或多个实施方式中，公开了一种基于目标检测的焊接机器人全自主视觉引导方法，结合图1，具体包括如下过程：
(1)获取焊接工件RGB图像和深度图像信息，利用训练好的目标检测模型，得到图片中所有焊缝以及焊点的二维位置信息，结合深度信息，得到图片中所有焊缝以及焊点的三维空间坐标；
具体地，焊接机器人包括焊接机械臂，机械臂上分别架设有双目相机和激光焊缝跟踪器；其中，双目相机负责检索全局信息进行粗定位，激光焊缝跟踪器负责精准定位和调整位姿。
双目相机可以同时获取焊接工件RGB图像和深度图像信息；对RGB图像进行自适应缩放后送入训练好的目标检测模型；进行图像自适应缩放的目的是可以添加最少的黑边，减少信息冗余，提升检测速度。
本实施例中，目标检测模型采用YOLOv5目标检测算法；目标检测模型会获取图片中所有的焊缝以及焊点在图像中的位置，结果以bounding box(包含焊缝和焊点外接矩形框的位置信息：如左上角点和右下角点的像素坐标)的形式输出。
因为焊件在焊接之前需要进行预固定，预固定会产生焊点，焊点也可以作为辅助定位焊缝准确位置的重要特征，但会造成检测目标重叠的问题。同时，通常焊缝比较细长，对应的Bounding box纵横比远大于焊点的Bounding box纵横比。
本实施例将原本的损失函数替换为Focal-EIOULoss，EIOU Loss具体公式原理如下所示：
其中，b，bgt分别为预测框和真实框的中心点，ρ代表两个中心点的欧氏距离，wc和hc是覆盖两个Box的最小外接框的宽度和高度。
Focal-EIOU Loss具体公式原理如下所示：
LFocal-EIOU＝IOUγLEIOU
其中，IOU＝|A∩B|/|A∪B|，γ为异常值抑制参数，LIOU是重叠损失，Ldis是中心距离损失，Lasp是宽高损失；
本实施例综合考虑了重叠损失、中心距离损失和宽高损失。同时为了更好地聚焦高质量锚框，给越好的回归目标越大的损失。实验证明，Focal-EIOU Loss比给定的GIOULoss损失函数取得了更好的效果。
训练目标检测模型时，需要采集焊件各个角度的图片，使用线上软件makesense共对训练集中的1517张图片进行标注，标注的特征为焊缝和焊点。训练时每次读取4张图片进行Mosaic数据增强，包括翻转、缩放、色域变换、随机裁剪、随机缩放和随机排布等。在训练时，网络采用自适应锚框计算，会在初始锚框的基础上输出预测框并和真实框进行比对，计算差距再反向更新。
(2)基于所有焊缝的三维空间坐标计算最优的焊接顺序，并寻找最短的无碰撞路径；
本实施例路径规划方面采用回溯法找到最优的焊接顺序，采用改进后的快速扩展随机树算法(简称RRT算法)寻找最短的无碰撞路径。
具体地，将得到的每一条焊缝的两端看做两个节点，当前节点与其所属焊缝的另一节点之间的损失设为零，当前节点与其他节点之间的损失采用欧式距离表示；以总的损失最小为目标，以深度优先的方式搜索解空间，并在搜索过程中使用剪枝函数避免无效搜索以快速获取焊接顺序。
采用改进后的快速扩展随机树算法寻找最短的无碰撞路径，从当前节点开始，随机在空间中生成节点，直到到达下一节点；在搜索过程中，引入目标引力函数，使得随机树向着目标点生长；目标引力函数如下：
其中，xgoal为向着目标节点的向量，xrand为随机产生的向量；kg为常数。
(3)基于得到的焊接顺序和路径，结合焊缝的三维空间坐标，进行焊接机器人焊接位姿初步调整；激光焊缝跟踪器找到焊缝后，利用激光焊缝跟踪器上返回的距离信息，对焊接机器人位姿进行精细调整。
本实施例中，调整焊接角度以及姿态方面采取“先粗后细”的策略，先利用生成的路径结合所有焊缝的三维空间坐标进行初步的位姿调整，结合图2，具体过程如下：
分别以焊接机器人移动路径上的每一个采样点为中心点，建立三维空间坐标系，沿坐标轴X、Y、Z轴的正负两个方向分别延伸，确定X、Y、Z轴正负方向延伸线与焊接工件的交点；
基于X、Y、Z轴的延伸线与焊接工件的交点的数量，确定焊接机器人的当前位姿；以某一个中心点o为例：
①若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为一个，则该交点与中心点o的连线方向为焊接机器人的当前位姿；
②若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为两个，则两个交点的连线过中心点o的垂线方向为焊接机器人的当前位姿；
③若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为三个，则三个接触点组成平面，平面过中心点o的法向量方向为焊接机器人的当前位姿；
④若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为四个，假设a、b两个交点同轴，另外两个交点为c、d；则交点a、b、c组成第一平面，交点a、b、d组成第二平面，第一平面过中心点o的法向量为α，第二平面过中心点o的法向量为β，向量α和向量β相加组成的新向量方向即为焊接机器人的当前位姿；
⑤若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为五个，分别为a、b、c、d、e；假设a、b两个交点同轴，c、d两个交点同轴，则交点e与中心点o的连线方向即为焊接机器人的当前位姿。
⑥若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为六个，则停止作业。
基于上述位姿调整过程，直到激光焊缝跟踪器找到焊缝，再根据激光焊缝跟踪器上返回的亚毫米级别的距离信息对机械臂姿态和位置做进一步调整。
(4)通过激光焊缝跟踪器获取焊缝的起止点位置、角度和焊缝宽度信息，与焊接工艺库中的信息进行配准，确定焊缝的种类和焊接工艺。
本实施例中，利用激光焊缝跟踪器确定焊缝始末位置，确定焊缝的种类，调整焊接工艺；在原有焊缝位置信息的基础上，采用“由外向内”的方式检索焊缝准确的起止点位置，通过激光焊缝跟踪器返回的角度，位置和焊缝宽度等信息，与焊接工艺库中的信息进行配准，确定焊缝的种类和焊接工艺。
(5)在激光焊缝跟踪器的引导下，控制焊接机器人按照选定的焊接工艺与焊接工件进行焊接。
本实施例方法的焊缝识别准确度明显提高，mAP(mean average precision，平均精度均值，其值越接近1越好)由改进前的0.974提升至0.995，保证了焊缝检测结果的可靠性，避免错检、漏检的情况发生。
焊接精度显著提升，采取先粗后细的定位策略，可将焊缝的定位精度控制在0.1mm以内，相比人工焊接和人工示教焊接的方式，在焊接精度上完全排除了人的主观性，采用客观的评价指标以保证在不同的作业环境中达到相同的效果。
焊接效率提升30％至50％，整套智能焊接机器人系统可自主完成焊缝定位，路径规划，焊接工艺选择，焊接姿态调整等全套的焊接流程，大大减少了人的参与，可全天候作业，有效提升了焊接效率，降低人力成本投入。
产能预计提高50％至70％，焊接作为工业生产领域必不可少的一环，起到了至关重要的作用，一名优秀的焊工往往需要几年甚至几十年的经验积累。考虑到日益增长的人力成本，智能焊接系统能够有效地代替人力完成焊接任务，从而提升整个行业的自动化程度和效益。
实施例二
在一个或多个实施方式中，公开了一种基于目标检测的焊接机器人全自主视觉引导系统，包括：
焊缝位置获取模块，用于获取焊接工件位置RGB图像和深度信息，利用训练好的目标检测模型，得到图片中所有焊缝以及焊点的二维位置信息，结合深度信息，得到图片中所有焊缝以及焊点的三维空间坐标；
焊接路径寻优模块，用于基于所有焊缝的三维空间坐标计算最优的焊接顺序，并寻找最短的无碰撞路径；
机器人位姿调整模块基于得到的焊接顺序和路径，结合焊缝的三维空间坐标，进行焊接机器人焊接位姿初步调整；激光焊缝跟踪器找到焊缝后，利用激光焊缝跟踪器上返回的距离信息，对焊接机器人位姿进行精细调整。
作为可选的实施方式，还包括：焊接工艺选择模块，用于通过激光焊缝跟踪器获取焊缝的起止点位置、角度和焊缝宽度信息，与焊接工艺库中的信息进行配准，确定焊缝的种类和焊接工艺。
需要说明的是，上述各模块的具体实现方式已经在实施例一中进行了详细的说明，此处不再详述。
实施例三
在一个或多个实施方式中，公开了一种焊接机器人，包括：焊接机械臂和控制器，焊接机械臂上分别设有相机和焊缝跟踪器，所述控制器用于执行上述的基于目标检测的焊接机器人全自主视觉引导方法。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于目标检测的焊接机器人全自主视觉引导方法，其特征在于，包括：
获取焊接工件RGB图像和深度信息，利用训练好的目标检测模型，得到图片中所有焊缝以及焊点的二维位置信息，结合深度信息，得到图片中所有焊缝以及焊点的三维空间坐标；
基于所有焊缝的三维空间坐标计算最优的焊接顺序，并寻找最短的无碰撞路径；
基于得到的焊接顺序和路径，结合焊缝的三维空间坐标，进行焊接机器人焊接位姿初步调整；激光焊缝跟踪器找到焊缝后，利用激光焊缝跟踪器上返回的距离信息，对焊接机器人位姿进行精细调整。
2.如权利要求1所述的一种基于目标检测的焊接机器人全自主视觉引导方法，其特征在于，还包括：通过激光焊缝跟踪器获取焊缝的起止点位置、角度和焊缝宽度信息，与焊接工艺库中的信息进行配准，确定焊缝的种类和焊接工艺。
3.如权利要求2所述的一种基于目标检测的焊接机器人全自主视觉引导方法，其特征在于，还包括：在激光焊缝跟踪器的引导下，控制焊接机器人按照选定的焊接工艺与焊接工件进行焊接。
4.如权利要求1所述的一种基于目标检测的焊接机器人全自主视觉引导方法，其特征在于，所述目标检测模型的损失函数具体为：
LFocal-EIOU＝IOUγLEIOU；
其中，IOU＝|A∩B|/|A∪B|，γ为异常值抑制参数；LIOU是重叠损失、Ldis是中心距离损失、Lasp是宽高损失；b，bgt分别为预测框和真实框的中心点，ρ代表两个中心点的欧氏距离，wc和hc是覆盖两个Box的最小外接框的宽度和高度。
5.如权利要求1所述的一种基于目标检测的焊接机器人全自主视觉引导方法，其特征在于，基于所有焊缝的三维空间坐标计算最优的焊接顺序，具体为：
将得到的每一条焊缝的两端看做两个节点，当前节点与其所属焊缝的另一节点之间的损失设为零，当前节点与其他节点之间的损失采用欧式距离表示；以总的损失最小为目标，以深度优先的方式搜索解空间，并在搜索过程中使用剪枝函数避免无效搜索以快速获取焊接顺序。
6.如权利要求5所述的一种基于目标检测的焊接机器人全自主视觉引导方法，其特征在于，寻找最短的无碰撞路径，具体为：
采用快速扩展随机树算法，从当前节点开始，随机在空间中生成节点，直到到达下一节点；在搜索过程中，引入目标引力函数，使得随机树向着目标点生长；所述目标引力函数如下：
其中，xgoal为向着目标节点的向量，xrand为随机产生的向量；kg为常数。
7.如权利要求1所述的一种基于目标检测的焊接机器人全自主视觉引导方法，其特征在于，进行焊接机器人焊接位姿初步调整，具体过程为：
分别以焊接机器人移动路径上的每一个采样点为中心点，建立三维空间坐标系，沿坐标轴X、Y、Z轴的正负两个方向分别延伸，确定X、Y、Z轴延伸线与焊接工件的交点；基于X、Y、Z轴的延伸线与焊接工件的交点的数量，确定焊接机器人的当前位姿。
8.如权利要求7所述的一种基于目标检测的焊接机器人全自主视觉引导方法，其特征在于，基于X、Y、Z轴的延伸线与焊接工件的交点的数量，确定焊接机器人的当前位姿，具体包括：
若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为一个，则该交点与所述中心点的连线方向为焊接机器人的当前位姿；
若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为两个，则两个交点的连线过所述中心点的垂线方向为焊接机器人的当前位姿；
若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为三个，则三个接触点组成平面，所述平面过所述中心点的法向量方向为焊接机器人的当前位姿；
若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为四个，假设a、b两个交点同轴，另外两个交点为c、d；则交点a、b、c组成第一平面，交点a、b、d组成第二平面，第一平面过所述中心点的法向量为α，第二平面过所述中心点的法向量为β，向量α和向量β相加组成的新向量方向即为焊接机器人的当前位姿；
若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为五个，分别为a、b、c、d、e；假设a、b两个交点同轴，c、d两个交点同轴，则交点e与所述中心点的连线方向即为焊接机器人的当前位姿；
若X、Y、Z轴的正负方向延伸线与焊接工件交点的数量为六个，停止作业。
9.一种基于目标检测的焊接机器人全自主视觉引导系统，其特征在于，包括：
焊缝位置获取模块，用于获取焊接工件位置RGB图像和深度信息，利用训练好的目标检测模型，得到图片中所有焊缝以及焊点的二维位置信息，结合深度信息，得到图片中所有焊缝以及焊点的三维空间坐标；
焊接路径寻优模块，用于基于所有焊缝的三维空间坐标计算最优的焊接顺序，并寻找最短的无碰撞路径；
机器人位姿调整模块基于得到的焊接顺序和路径，结合焊缝的三维空间坐标，进行焊接机器人焊接位姿初步调整；激光焊缝跟踪器找到焊缝后，利用激光焊缝跟踪器上返回的距离信息，对焊接机器人位姿进行精细调整。
10.一种焊接机器人，其特征在于，包括：焊接机械臂和控制器，焊接机械臂上分别设有相机和焊缝跟踪器，所述控制器用于执行权利要求1-8任一项所述的基于目标检测的焊接机器人全自主视觉引导方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211475125.0A CN115709331A (zh) | 2022-11-23 | 2022-11-23 | 基于目标检测的焊接机器人全自主视觉引导方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211475125.0A CN115709331A (zh) | 2022-11-23 | 2022-11-23 | 基于目标检测的焊接机器人全自主视觉引导方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115709331A true CN115709331A (zh) | 2023-02-24 |
Family
ID=85234368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211475125.0A Pending CN115709331A (zh) | 2022-11-23 | 2022-11-23 | 基于目标检测的焊接机器人全自主视觉引导方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115709331A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117798522A (zh) * | 2024-03-01 | 2024-04-02 | 深圳欧斯普瑞智能科技有限公司 | 基于机器视觉的激光切割头精确定位方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101966617A (zh) * | 2010-08-30 | 2011-02-09 | 东南大学 | 一种用于焊接机器人连续运动的视图模型简约描述方法 |
| WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
| CN110245599A (zh) * | 2019-06-10 | 2019-09-17 | 深圳市超准视觉科技有限公司 | 一种智能三维焊缝自主寻迹方法 |
| CN113787518A (zh) * | 2021-09-06 | 2021-12-14 | 武汉库柏特科技有限公司 | 一种机器人末端姿态控制方法、装置、设备及存储介质 |
| CN114641377A (zh) * | 2019-11-05 | 2022-06-17 | 比奥塞罗有限公司 | 使用机器人设备对复杂工作流的多过程自动化控制 |
-
2022
- 2022-11-23 CN CN202211475125.0A patent/CN115709331A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101966617A (zh) * | 2010-08-30 | 2011-02-09 | 东南大学 | 一种用于焊接机器人连续运动的视图模型简约描述方法 |
| WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
| CN110245599A (zh) * | 2019-06-10 | 2019-09-17 | 深圳市超准视觉科技有限公司 | 一种智能三维焊缝自主寻迹方法 |
| CN114641377A (zh) * | 2019-11-05 | 2022-06-17 | 比奥塞罗有限公司 | 使用机器人设备对复杂工作流的多过程自动化控制 |
| CN113787518A (zh) * | 2021-09-06 | 2021-12-14 | 武汉库柏特科技有限公司 | 一种机器人末端姿态控制方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 刘成菊: "基于改进 RRT 算法的 RoboCup 机器人动态路径规划", 《机器人》, no. 1, 31 January 2017 (2017-01-31), pages 8 - 15 * |
| 赵佳伟: "基于机器视觉的煤矸检测算法研究", 《山西焦煤科技》, no. 11, 15 November 2022 (2022-11-15), pages 45 - 48 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117798522A (zh) * | 2024-03-01 | 2024-04-02 | 深圳欧斯普瑞智能科技有限公司 | 基于机器视觉的激光切割头精确定位方法 |
| CN117798522B (zh) * | 2024-03-01 | 2024-05-17 | 深圳欧斯普瑞智能科技有限公司 | 基于机器视觉的激光切割头精确定位方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104400279B (zh) | 基于ccd的管道空间焊缝自动识别与轨迹规划的方法 | |
| CN109720340B (zh) | 一种基于视觉识别的自动泊车系统及方法 | |
| CN105665970B (zh) | 用于焊接机器人的路径点自动生成系统和方法 | |
| US8234011B2 (en) | Movable robot | |
| CN111037552B (zh) | 一种配电房轮式巡检机器人的巡检配置及实施方法 | |
| Chen et al. | The autonomous detection and guiding of start welding position for arc welding robot | |
| CN113333998B (zh) | 一种基于协作机器人的自动化焊接系统及方法 | |
| CN111823223B (zh) | 一种基于智能立体视觉的机器人手臂抓取控制系统及方法 | |
| CN112958959A (zh) | 一种基于三维视觉的自动化焊接和检测方法 | |
| CN113798634B (zh) | 空间环形焊缝示教与焊缝跟踪方法、系统及设备 | |
| CN108907526A (zh) | 一种具有高鲁棒性的焊缝图像特征识别方法 | |
| JP2903964B2 (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
| Zhou et al. | Autonomous acquisition of seam coordinates for arc welding robot based on visual servoing | |
| CN115709331A (zh) | 基于目标检测的焊接机器人全自主视觉引导方法及系统 | |
| CN113894481A (zh) | 复杂空间曲线焊缝的焊接位姿调整方法及装置 | |
| CN111975200A (zh) | 一种基于视觉示教技术的智能焊接方法及智能焊接系统 | |
| CN110825088A (zh) | 一种多目视觉导引船体清洁机器人系统及清洁方法 | |
| CN110097516A (zh) | 内孔壁面图像畸变纠正方法、系统及介质 | |
| CN113525631A (zh) | 一种基于光视觉引导的水下终端对接系统及方法 | |
| CN109894779A (zh) | 一种机器视觉跟踪系统及方法 | |
| CN115018813A (zh) | 一种机器人自主识别与精确定位焊缝的方法 | |
| CN112091925A (zh) | 一种基于机器视觉的物料搬运系统及搬运方法 | |
| CN115351389A (zh) | 自动焊接方法和装置、电子设备及存储介质 | |
| CN110849285A (zh) | 基于单目相机的焊点深度测量方法、系统及介质 | |
| Wang et al. | Design of multi-robot cooperative transport system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |