CN113369761B - 一种基于视觉引导机器人焊缝定位的方法及系统 - Google Patents

一种基于视觉引导机器人焊缝定位的方法及系统 Download PDF

Info

Publication number
CN113369761B
CN113369761B CN202110779336.2A CN202110779336A CN113369761B CN 113369761 B CN113369761 B CN 113369761B CN 202110779336 A CN202110779336 A CN 202110779336A CN 113369761 B CN113369761 B CN 113369761B
Authority
CN
China
Prior art keywords
welding
welding seam
image
weld
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110779336.2A
Other languages
English (en)
Other versions
CN113369761A (zh
Inventor
薛龙
贾文龙
黄继强
黄军芬
邹勇
曹莹瑜
张瑞英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Petrochemical Technology
Original Assignee
Beijing Institute of Petrochemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Petrochemical Technology filed Critical Beijing Institute of Petrochemical Technology
Priority to CN202110779336.2A priority Critical patent/CN113369761B/zh
Publication of CN113369761A publication Critical patent/CN113369761A/zh
Application granted granted Critical
Publication of CN113369761B publication Critical patent/CN113369761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B23K37/02Carriages for supporting the welding or cutting element
    • B23K37/0252Steering means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups

Abstract

本发明涉及一种基于视觉引导机器人焊缝定位的方法及系统,该方法包括:获取待焊接工件的图像信息;根据所述图像信息,确定待焊接工件的焊缝的起始位置;根据确定的焊缝的起始位置,引导焊缝机器人进行焊接。本发明提供的技术方案,通过视觉方法获取待焊接工件的图像信息,通过图像处理确定待焊接工件的焊缝的起始位置,并引导焊缝机器人移动到焊缝的起始位置进行焊接。在整个焊接作业过程中,无需人工干预,焊接效率高、用户体验度好。

Description

一种基于视觉引导机器人焊缝定位的方法及系统
技术领域
本发明涉及智能焊接技术领域,具体涉及一种基于视觉引导机器人焊缝定位的方法及系统。
背景技术
焊接机器人是从事焊接(包括切割与喷涂)的工业机器人。根据国际标准化组织(ISO)工业机器人属于标准焊接机器人的定义,工业机器人是一种多用途的、可重复编程的自动控制操作机(Manipulator),具有三个或更多可编程的轴,用于工业自动化领域。为了适应不同的用途,机器人最后一个轴的机械接口,通常是一个连接法兰,可接装不同工具或称末端执行器。焊接机器人就是在工业机器人的末轴法兰装接焊钳或焊(割)枪的,使之能进行焊接,切割或热喷涂。
焊接机器人在工业中得到广泛的应用,在很多应用场景下,大多采用对特定的工件焊缝进行离线编程或者示教编程,焊接机器人末端会沿着编程或者示教的路径进行焊接作业,这种方式适合于工件形式单一的批量生产模式。对于工件形式不定且批量不大的生产模式,每一种工件都需要提前做好编程或示教工作,工作效率不高。此种情况下,现有技术中有采用三维图纸与机器人配合的方法。操作人员在关联电脑的三维工件图上通过绘图方式指定焊接路径,引导机器人到达焊接起始点附近,再通过焊缝跟踪手段完成焊接作业,这样节省了现场示教环节和离线编程,但作业前还是需要人工进行干预,通过图纸信息交互告诉机器人焊缝的起始位置,工作效率不高。
发明内容
有鉴于此,本发明的目的在于克服现有技术的不足,提供一种基于视觉引导机器人焊缝定位的方法与系统,以解决现有技术中机器人焊前需要做好编程或示教工作,工作效率不高的问题。
为实现以上目的,本发明采用如下技术方案:
根据本发明实施例的第一方面,提供一种基于视觉引导机器人焊缝定位的方法,包括:
获取待焊接工件的图像信息;
根据所述图像信息,确定待焊接工件的焊缝的起始位置;
根据确定的焊缝的起始位置,引导焊缝机器人进行焊接。
优选地,所述焊缝机器人的机械臂末端安装有工业相机、激光视觉传感器和焊枪;
所述工业相机,用于采集待焊接工件的图像信息;
所述激光视觉传感器,用于采集焊缝轮廓的图像信息;
所述焊枪,用于对所述焊缝进行焊接。
优选地,所述确定待焊接工件的焊缝的起始位置,包括:
对工业相机实时采集的图像信息,按0.1秒的时间间隔进行拆帧处理,得到拆帧后的多幅图像;
将拆帧后的多幅图像输入到预训练的深度学习模型中,以识别出焊缝的标签信息、焊缝在图像中的左上角坐标和宽高,同时形成包裹焊缝的矩形框;
根据所述矩形框在图像中的位置,调节焊缝机器人的机械臂移动,直至所述机械臂末端固定的焊枪移动至焊缝的上方;
打开激光视觉传感器对焊缝进行轮廓扫描,得到焊缝轮廓的图像信息;
根据所述焊缝轮廓的图像信息,判断焊缝是否存在拐点特征,若有,识别出焊缝沟底拐点位置,将焊缝沟底拐点位置确定为待焊接工件的焊缝的起始位置。
优选地,所述根据确定的焊缝的起始位置,引导焊缝机器人进行焊接,包括:
通过手眼标定算法,求解出焊枪末端的位置信息;
根据所述焊枪末端的位置信息,控制焊缝机器人的机械臂移动,直至所述焊枪末端到达焊缝的起始位置,并基于激光结构光的焊缝视觉跟踪方法,进行焊缝焊接跟踪。
根据本发明实施例的第二方面,提供一种基于视觉引导机器人焊缝定位的系统,包括:
获取模块,用于获取待焊接工件的图像信息;
确定模块,用于根据所述图像信息,确定待焊接工件的焊缝的起始位置;
焊接模块,用于根据确定的焊缝的起始位置,引导焊缝机器人进行焊接。
本发明采用以上技术方案,至少具备以下有益效果:
通过视觉方法获取待焊接工件的图像信息,通过图像处理确定待焊接工件的焊缝的起始位置,并引导焊缝机器人移动到焊缝的起始位置进行焊接。在整个焊接作业过程中,无需人工干预,焊接效率高、用户体验度好。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种基于视觉引导机器人焊缝定位的方法的流程图;
图2为本发明一实施例提供的焊缝机器人的结构示意图;
图3为本发明一实施例提供的形成包裹焊缝的矩形框的示意图;
图4为本发明一实施例提供的工业相机实时采集的图像中固定理想区域的示意图;
图5为本发明一实施例提供的对接V形焊缝坡口焊缝特征点示意图;
图6为本发明一实施例提供的二值化处理后的图像示意图;
图7为本发明一实施例提供的骨架细化后的图像示意图;
图8为本发明一实施例提供的直角坐标系下的直线示意图;
图9为本发明一实施例提供的参数空间下的曲线族示意图;
图10为本发明一实施例提供的霍夫线性拟合后图像示意图;
图11为本发明一实施例提供的特征点识别后的图像示意图;
图12为本发明一实施例提供的机器人坐标系变换示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将对本发明的技术方案进行详细的描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式,都属于本发明所保护的范围。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
参见图1,根据本发明一实施例提出的一种基于视觉引导机器人焊缝定位的方法,包括:
步骤S11、获取待焊接工件的图像信息;
步骤S12、根据所述图像信息,确定待焊接工件的焊缝的起始位置;
步骤S13、根据确定的焊缝的起始位置,引导焊缝机器人进行焊接。
可以理解的是,本实施例提供的技术方案,通过视觉方法获取待焊接工件的图像信息,通过图像处理确定待焊接工件的焊缝的起始位置,并引导焊缝机器人移动到焊缝的起始位置进行焊接。在整个焊接作业过程中,无需人工干预,焊接效率高、用户体验度好。
参见图2,优选地,所述焊缝机器人的机械臂末端安装有工业相机、激光视觉传感器和焊枪;
所述工业相机,用于采集待焊接工件的图像信息;
所述激光视觉传感器,用于采集焊缝轮廓的图像信息;
所述焊枪,用于对所述焊缝进行焊接。
优选地,所述确定待焊接工件的焊缝的起始位置,包括:
1、对工业相机实时采集的图像信息,按0.1秒的时间间隔进行拆帧处理,得到拆帧后的多幅图像。
2、将拆帧后的多幅图像输入到预训练的深度学习模型中,以识别出焊缝的标签信息、焊缝在图像中的左上角坐标和宽高,同时形成包裹焊缝的矩形框(参见图3)。
需要说明的是,所述标签信息是指训练深度学习模型时进行图像标注的焊缝种类,如T weld(丁字接头焊缝)、lap fillet weld(搭接角焊缝)。训练结束后在调用所训练的深度学习模型时,当识别到图像中有焊缝时,就会在程序中输出包含该焊缝种类的标签信息。
在具体实践中,预训练的深度学习模型可以通过如下方法获取:
获取V型坡口焊缝图像数据集,对焊缝数据集进行标注,并进行数据增强操作,包括:平移、缩放、旋转、翻转等操作;
通过对数据集进行神经网络训练,获得识别焊缝的深度学习模型,在测试集上验证通过训练得到的深度学习模型,筛选出最优神经网络模型。
需要说明的是,本实施例采用yolov3算法经过迭代训练得到深度学习模型,其中为了表示模型预测值和训练样本之间的差异采用损失函数来计算,损失函数主要分为三个部分:目标定位偏移量损失Lloc(l,g),目标置信度损损失Lconf(o,c)以及目标分类损失Lloc(O,C),其中λ1,λ2,λ3是平衡系数。
L(O,o,C,c,l,g)=λ1Lconf(o,c)+λ2Lcla(O,C)+λ3Lloc(l,g)
为了预测目标矩形框内存在焊缝的概率,目标置信度损失Lconf(o,c)采用二值交叉熵损失(Binary Cross Entropy),其中oi∈{0,1},表示预测目标边界框i中是否真实存在目标,0表示不存在,1表示存在。表示预测目标矩形框i内是否存在目标的Sigmoid概率。
一般在网络正向目标检测的最后阶段,已知获知系统对物体位置的预测框和训练数据的目标框之后,普遍采用函数来计算目标定位损失,目标定位损失Lloc(l,g)采用的是真实偏差值与预测偏差值差的平方和,其中i表示预测矩形框坐标偏移量(网络预测的是偏移量,不是直接预测坐标),表示与之匹配的GTbox与默认框之间的坐标偏移量,(bx,by,bw,bh)为预测的目标矩形框参数,(cx,cy,pw,ph)为默认矩形框参数,(gx,gy,gw,gh)为与之匹配的真实目标矩形框参数。
所述“形成包裹焊缝的矩形框”,具体为:
将工业相机拍摄到得图像输入到上述训练得到的深度学习模型中,输出焊缝坡口在图像中上下左右四个边界的位置信息;
根据四个边界的位置信息形成封闭的矩形框。
根据该矩形框在图像上的区域,判定焊枪在焊缝坡口区域的位置(用深度学习模型对相机拍的图像进行识别,当识别出图像中有焊缝图像时,判定焊枪在焊缝大致区域)。
3、根据所述矩形框在图像中的位置,调节焊缝机器人的机械臂移动,直至所述机械臂末端固定的焊枪移动至焊缝的上方。
参见图4,在具体实践中,将包裹焊缝的矩形框的下边沿的中点位置确定为固定坐标点;对工业相机拍摄的图像,确定固定理想区域(固定理想区域根据相机与焊枪相对位置决定,本实施例中选择相机位于焊枪前方,则固定理想区域位于图像的上方中间位置);
调节焊缝机器人的机械臂移动,运动过程中实时采集图像,并判断包裹焊缝的矩形框是否与实时采集的图像中的固定理想区域重合(判断固定坐标点与固定理想区域的下边沿中点位置是否重合),若重合,则判定焊枪末端被引导至焊缝的上方。
4、打开激光视觉传感器对焊缝进行轮廓扫描,得到焊缝轮廓的图像信息。
5、根据所述焊缝轮廓的图像信息,判断焊缝是否存在拐点特征,若有,识别出焊缝沟底拐点位置,将焊缝沟底拐点位置确定为待焊接工件的焊缝的起始位置。
需要说明的是,激光视觉传感器由相机、线激光器、滤光片等组成,线激光器把激光线照射到V型焊缝坡口位置,由于焊缝坡口的深度不同,会形成一条折线,通过图像处理方法识别折线拐点,定位出焊缝位置。
所述“识别出焊缝沟底拐点位置”,具体为:
对接V型坡口焊缝如图5所示,。
激光视觉传感器的相机拍摄的焊缝激光图像经图像预处理,将图像进行灰度处理,以及形态学处理,并提取ROI区域,对ROI区域进行阈值分割,提取出激光条纹的中心线,对中心线进行线性拟合及特征点识别。
阈值分割:对图像进行二值化是图像分割的一种方法。在二值化图像的时候把大于某个临界灰度值的像素灰度设为灰度极大值,把小于这个值的像素灰度设为灰度极小值,从而实现二值化。根据阈值选取的不同,二值化的算法分为固定阈值和自适应阈值。比较常用的二值化方法则有:双峰法、P参数法、迭代法和OTSU法等。先选定一个阈值,像素点的灰度值大于该阈值的不进行任何改变;像素点的灰度值小于该阈值的,其灰度值全部变为0。二值化处理后的图像参见图6所示。
骨架细化:骨架细化的核心思想是对图像不断地进行形态学的腐蚀运算,直至图像仅剩单像素点的骨架。每一步的腐蚀操作中,遍历图像边界的像素点,并针对每个点的3像素×3像素邻域内的像素点进行检查,如果有3~7个灰度值为255的点与之相邻,则删除该中心像素点。骨架细化后的图像参见图7所示。
线性拟合及特征点识别:利用霍夫直线拟合算法进行中心线的线性拟合,霍夫变换利用点-线的对偶性,对图像进行某种形式的坐标变换,将原始图像中给定形状的曲线变换成空间中的一个点,从而使检测整体特性变成检测局部特性,使问题简化。设在原始图像空间的直线方程为:
y=kx+b (1)
将式(1)转换为极坐标,即:
ρ=xcosθ+ysinθ (2)
(2)式中,ρ为原点到直线的距离;θ为该直线与极轴的夹角。这样原始图像空间中的点在极坐标中表示的是一条正弦曲线,那么原始图像空间中的一条直线上的所有点对应着变换空间的一个曲线族,如图8、图9所示,点(ρ00)为变换空间中曲线族的交点(对应着原始图像空间中的直线)。所以,只要找到这个曲线族的交点就可以检测出直线。霍夫线性拟合后图像参见图10所示。
因为霍夫直线拟合是在参数空间中执行投票机制来拟合直线,所以会在一段需要拟合的点集中会拟合出多段直线。为了在这些拟合线段中识别出焊缝的特征点位置,所以对这些线段进行排序算法处理从左到右对线段序号进行依次排序。然后依次求取相邻两端直线的夹角j,设置夹角阈值,当相邻两条直线的夹角大于阈值时,计算两条直线的交点。对图像中求取的交点从左到右进行排序,则首端点和末位端点为焊缝坡口的上沿位置,中间端点为焊缝沟底位置。特征点识别后的图像参见图11。
优选地,所述根据确定的焊缝的起始位置,引导焊缝机器人进行焊接,包括:
通过手眼标定算法,求解出焊枪末端的位置信息;
根据所述焊枪末端的位置信息,控制焊缝机器人的机械臂移动,直至所述焊枪末端到达焊缝的起始位置,并基于激光结构光的焊缝视觉跟踪方法(基于激光结构光的焊缝视觉跟踪方法为现有技术,该技术是通过通过图像处理算法实时识别出焊缝与激光视觉传感器在高度方向和左右方向的偏差,又因为激光视觉传感器与焊枪做了手眼标定,所以可以实时引导焊枪进行焊缝跟踪焊接),进行焊缝焊接跟踪。
需要说明的是,所述“通过手眼标定算法,求解出焊枪末端的位置信息”,其中,手眼标定算法的目标就是将焊缝拐点在图像里的坐标与机器人工具坐标系的坐标对应起来,然后将焊缝拐点在图像里的坐标转换成焊枪末端的坐标。
工业相机通常被称为“眼”,机械臂执行末端即焊丝末端称为“手”,手眼标定算法,是一个相机与机器人标定的过程,是求一个相机采集的图像里的坐标与机器人工具坐标系相互转化的一个矩阵,建立手眼的位置变换矩阵。通过将图像中的坐标乘以这个矩阵,就可以求解出机器人工具坐标系下的坐标。
从相机坐标系到工具坐标系的转换称为手眼转换,激光视觉传感器装载在焊枪上,构成了一套“眼在手上”的系统。工业机器人默认出厂设置未考虑TCP(Tool CenterPoint,工具中心点)的位置。当安装了焊枪作为机器人工具,焊枪尖端点作为TCP后,标定手眼转换需要移动机器人,带动装载其上的相机在不同位置、不同角度拍摄若干组图片,同时记录拍摄点的位姿信息。进而求解:AX=XB
式中,A———两张图像之间机器人TCP的运动;
X———手眼矩阵;
B———两张图像之间相机的运动;
机器人坐标系、摄像头坐标系和靶标坐标系之间的关系,如下图12所示。W为机器人的世界坐标系,C为摄像机坐标系,G为靶标坐标系。T6表示坐标系W到E之间的变换,Tm表示坐标系E到C之间的变换,Tc表示坐标系C与G之间的变换,Tg表示坐标系W与G之间的变换。Tc是摄像机相对于靶标的外参数。Tm是摄像机相对于机器人末端的外参数,是手眼标定需要求取的参数。
由坐标系之间的变换关系,可得:
Tg=T6TmTc………………(1)
在靶标固定的情况下,改变机器人的末端位姿,标定摄像机相对于靶标的外参数Tc。对于第i次和第i-1次标定,由于Tg保持不变,由式(1)得:
T6iTmTci=T6(i-1)TmTc(i-1)…………(2)
式中:T6i为第i次标定时的坐标系W到E之间的变换T6;Tci是第i次标定时的摄像机相对于标靶的外参数Tc
式(2)经过整理,可以改写为:
式中:
将TLi、TRi和Tm表示为:
将式(4)代如式(3)可得,机器人的变换公式:
RLi、RRi和Rm均为单位正交矩阵因此,RLi和RRi为相似矩阵,具有相同的特征值。根据通用旋转变换,任意姿态可以由一个绕空间单位向量的旋转表示。
于是,RLi和RRi可表示为:
式中:kLi是RLi的通用旋转变换的转轴,也是QLi中的特征值为1的特征向量;kRi是RRi的通用旋转变换的转轴,也是QRi中特征值为1的特征向量;θLi是RLi的通用旋转变换的转角,θRi是RRi的通用旋转变换的转角。
将式(6)代入式(5)的第一个方程,可以得到如下关系:
式(7)中的第一个方程,可以用于校验外参数标定的精度,第二个方程用于求取摄像机相对于机器人上焊枪末端的外参数。如果控制机器人的末端作两次运动,通过3个位置的摄像机外参数标定,可以获得两组式(7)所示的方程。将两组式(7)方程中的第二个方程写为:
由于Rm同时将于kR1和kR2转换为kL1和kL2,所以Rm也将kR1×kR2转换为kL1×kL2。将其关系写为矩阵形式,有:
[kL1 kL2 kL1×kL2]=Rm[kR1 kR2 kR1×kR2]………………(9)
由式(9),可求解出Rm:
Rm=[kL1 kL2 kL1×kL2][kR1 kR2 kR1×kR2]-1…………………(10)
将Rm代入式(5)的第二个方程,利用最小二乘法可以求解出pm。由Rm和pm,通过上述公式(4)中的第三个算式可以获得摄像机相对于机器人上焊枪末端的外参数矩阵Tm,从而转换出来工具坐标系下焊枪末端的坐标。
根据本发明一示例性实施例提供的一种基于视觉引导机器人焊缝定位的系统,包括:
获取模块,用于获取待焊接工件的图像信息;
确定模块,用于根据所述图像信息,确定待焊接工件的焊缝的起始位置;
焊接模块,用于根据确定的焊缝的起始位置,引导焊缝机器人进行焊接。
可以理解的是,本实施例提供的技术方案,通过视觉方法获取待焊接工件的图像信息,通过图像处理确定待焊接工件的焊缝的起始位置,并引导焊缝机器人移动到焊缝的起始位置进行焊接。在整个焊接作业过程中,无需人工干预,焊接效率高、用户体验度好。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上,除非另有明确的限定。

Claims (3)

1.一种基于视觉引导机器人焊缝定位的方法,其特征在于,包括:
获取待焊接工件的图像信息;
根据所述图像信息,确定待焊接工件的焊缝的起始位置;
根据确定的焊缝的起始位置,引导焊缝机器人进行焊接;
所述焊缝机器人的机械臂末端安装有工业相机、激光视觉传感器和焊枪;
所述工业相机,用于采集待焊接工件的图像信息;
所述激光视觉传感器,用于采集焊缝轮廓的图像信息;
所述焊枪,用于对所述焊缝进行焊接;
所述确定待焊接工件的焊缝的起始位置,包括:
对工业相机实时采集的图像信息,按0.1秒的时间间隔进行拆帧处理,得到拆帧后的多幅图像;
将拆帧后的多幅图像输入到预训练的深度学习模型中,以识别出焊缝的标签信息、焊缝在图像中的左上角坐标和宽高,同时形成包裹焊缝的矩形框;
根据所述矩形框在图像中的位置,调节焊缝机器人的机械臂移动,直至所述机械臂末端固定的焊枪移动至焊缝的上方;
打开激光视觉传感器对焊缝进行轮廓扫描,得到焊缝轮廓的图像信息;
根据所述焊缝轮廓的图像信息,判断焊缝是否存在拐点特征,若有,识别出焊缝沟底拐点位置,将焊缝沟底拐点位置确定为待焊接工件的焊缝的起始位置;
其中,所述标签信息是指训练深度学习模型时进行图像标注的焊缝种类,包括:丁字接头焊缝、搭接角焊缝;训练结束后在调用所训练的深度学习模型时,当识别到图像中有焊缝时,就会在程序中输出包含该焊缝种类的标签信息;
所述预训练的深度学习模型通过如下方法获取:
获取V型坡口焊缝图像数据集,对焊缝数据集进行标注,并进行数据增强操作,包括:平移、缩放、旋转、翻转操作;
通过对数据集进行神经网络训练,获得识别焊缝的深度学习模型,在测试集上验证通过训练得到的深度学习模型,筛选出最优神经网络模型;
采用yolov3算法经过迭代训练得到深度学习模型,其中为了表示模型预测值和训练样本之间的差异采用损失函数来计算,损失函数主要分为三个部分:目标定位偏移量损失,目标置信度损失/>以及目标分类损失/>,其中/>是平衡系数,具体为:
为了预测目标矩形框内存在焊缝的概率,目标置信度损失采用二值交叉熵损失,其中/>,表示预测目标矩形框/>中是否真实存在目标,0表示不存在,1表示存在;/>表示预测目标矩形框/>内是否存在目标的Sigmoid概率,具体为:
所述形成包裹焊缝的矩形框包括:将工业相机拍摄到得图像输入到上述训练得到的深度学习模型中,输出焊缝坡口在图像中上下左右四个边界的位置信息;
根据四个边界的位置信息形成封闭的矩形框;
根据该矩形框在图像上的区域,判定焊枪在焊缝坡口区域的位置,具体为:用深度学习模型对相机拍的图像进行识别,当识别出图像中有焊缝图像时,判定焊枪在焊缝大致区域;
根据所述矩形框在图像中的位置,调节焊缝机器人的机械臂移动,直至所述机械臂末端固定的焊枪移动至焊缝的上方,具体为:将包裹焊缝的矩形框的下边沿的中点位置确定为固定坐标点;对工业相机拍摄的图像,确定固定理想区域,所述固定理想区域根据相机与焊枪相对位置决定,当选择相机位于焊枪前方,则固定理想区域位于图像的上方中间位置;
调节焊缝机器人的机械臂移动,运动过程中实时采集图像,并判断包裹焊缝的矩形框是否与实时采集的图像中的固定理想区域重合,具体为:判断固定坐标点与固定理想区域的下边沿中点位置是否重合,若重合,则判定焊枪末端被引导至焊缝的上方。
2.根据权利要求1所述的方法,其特征在于,所述根据确定的焊缝的起始位置,引导焊缝机器人进行焊接,包括:
通过手眼标定算法,求解出焊枪末端的位置信息;
根据所述焊枪末端的位置信息,控制焊缝机器人的机械臂移动,直至所述焊枪末端到达焊缝的起始位置,并基于激光结构光的焊缝视觉跟踪方法,进行焊缝焊接跟踪。
3.一种基于视觉引导机器人焊缝定位的系统,用于运行权利要求1或2所述的方法,其特征在于,包括:
获取模块,用于获取待焊接工件的图像信息;
确定模块,用于根据所述图像信息,确定待焊接工件的焊缝的起始位置;
焊接模块,用于根据确定的焊缝的起始位置,引导焊缝机器人进行焊接。
CN202110779336.2A 2021-07-09 2021-07-09 一种基于视觉引导机器人焊缝定位的方法及系统 Active CN113369761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110779336.2A CN113369761B (zh) 2021-07-09 2021-07-09 一种基于视觉引导机器人焊缝定位的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110779336.2A CN113369761B (zh) 2021-07-09 2021-07-09 一种基于视觉引导机器人焊缝定位的方法及系统

Publications (2)

Publication Number Publication Date
CN113369761A CN113369761A (zh) 2021-09-10
CN113369761B true CN113369761B (zh) 2023-07-21

Family

ID=77581568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110779336.2A Active CN113369761B (zh) 2021-07-09 2021-07-09 一种基于视觉引导机器人焊缝定位的方法及系统

Country Status (1)

Country Link
CN (1) CN113369761B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114193034B (zh) * 2021-12-17 2023-05-09 北京石油化工学院 预制板钢筋多枪高效焊接控制方法和系统
CN114714029B (zh) * 2022-04-22 2023-09-12 奇瑞新能源汽车股份有限公司 铝合金自动弧焊方法及装置
CN114769800B (zh) * 2022-06-20 2022-09-27 中建五洲工程装备有限公司 一种用于焊接过程的智能运行控制系统与方法
CN117444402B (zh) * 2023-12-26 2024-02-23 天津市三鑫阳光工贸有限公司 一种风力发电支架焊接装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120039801A (ko) * 2010-10-18 2012-04-26 대우조선해양 주식회사 용접선 추적이 가능한 잠호 용접 시스템 및 잠호 용접 시스템의 용접선 추적을 위한 영상 처리 방법
CN109693018A (zh) * 2019-01-30 2019-04-30 湖北文理学院 自主移动机器人焊缝视觉跟踪系统及跟踪方法
CN110640268A (zh) * 2019-09-26 2020-01-03 中车青岛四方机车车辆股份有限公司 一种基于物联网技术的转向架加工过程跟踪方法
WO2020038389A1 (zh) * 2018-08-23 2020-02-27 中国石油大学(北京) 一种焊缝底片缺陷识别方法
CN111390915A (zh) * 2020-04-17 2020-07-10 上海智殷自动化科技有限公司 一种基于ai的自动焊缝路径识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971407A (zh) * 2017-02-16 2017-07-21 浙江工业大学 一种基于二维线结构光的焊缝三维重建方法
CN108568624A (zh) * 2018-03-29 2018-09-25 东风贝洱热系统有限公司 一种基于图像处理的机械臂焊接系统及焊接方法
CN109226967B (zh) * 2018-07-25 2021-03-09 同高先进制造科技(太仓)有限公司 一种用于激光-电弧复合焊的主动激光视觉稳健焊缝跟踪系统
CN110524580B (zh) * 2019-09-16 2023-06-02 西安中科光电精密工程有限公司 一种焊接机器人视觉组件及其测量方法
CN111724369A (zh) * 2020-06-17 2020-09-29 北京智机科技有限公司 一种u型焊缝检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120039801A (ko) * 2010-10-18 2012-04-26 대우조선해양 주식회사 용접선 추적이 가능한 잠호 용접 시스템 및 잠호 용접 시스템의 용접선 추적을 위한 영상 처리 방법
WO2020038389A1 (zh) * 2018-08-23 2020-02-27 中国石油大学(北京) 一种焊缝底片缺陷识别方法
CN109693018A (zh) * 2019-01-30 2019-04-30 湖北文理学院 自主移动机器人焊缝视觉跟踪系统及跟踪方法
CN110640268A (zh) * 2019-09-26 2020-01-03 中车青岛四方机车车辆股份有限公司 一种基于物联网技术的转向架加工过程跟踪方法
CN111390915A (zh) * 2020-04-17 2020-07-10 上海智殷自动化科技有限公司 一种基于ai的自动焊缝路径识别方法

Also Published As

Publication number Publication date
CN113369761A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN113369761B (zh) 一种基于视觉引导机器人焊缝定位的方法及系统
CN109035204B (zh) 一种焊缝目标实时检测方法
Rout et al. Advances in weld seam tracking techniques for robotic welding: A review
Chen et al. The autonomous detection and guiding of start welding position for arc welding robot
US8923602B2 (en) Automated guidance and recognition system and method of the same
CN110509300A (zh) 基于三维视觉引导的钢箍加工上料控制系统及控制方法
CN113798634B (zh) 空间环形焊缝示教与焊缝跟踪方法、系统及设备
CN113146172B (zh) 一种基于多视觉的检测与装配系统及方法
Chen et al. A robust visual servo control system for narrow seam double head welding robot
CN108907526A (zh) 一种具有高鲁棒性的焊缝图像特征识别方法
CN113427168A (zh) 一种焊接机器人实时焊缝跟踪装置及方法
CN113634964A (zh) 一种大型构件龙门式机器人焊接装备及焊接工艺
Hou et al. A teaching-free welding method based on laser visual sensing system in robotic GMAW
CN113920060A (zh) 焊接机器人自主作业方法、装置、电子设备及存储介质
Tian et al. Automatic identification of multi-type weld seam based on vision sensor with silhouette-mapping
CN111645111A (zh) 一种基于工业机器人的智能制造系统及方法
CN114905507A (zh) 一种基于环境视觉分析的焊接机器人精度控制方法
Zhou et al. Intelligent guidance programming of welding robot for 3D curved welding seam
CN116673962B (zh) 一种基于Faster R-CNN和GRCNN的机械臂智能抓取方法及系统
Xiao et al. An automatic calibration algorithm for laser vision sensor in robotic autonomous welding system
JPH0798214A (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
CN115018813A (zh) 一种机器人自主识别与精确定位焊缝的方法
Ma et al. An efficient and robust complex weld seam feature point extraction method for seam tracking and posture adjustment
CN116833645A (zh) 基于移动机器人的焊缝自主识别与焊接方法及系统
CN116542914A (zh) 基于3d点云的焊缝提取与拟合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant