CN110524581B - 一种柔性焊接机器人系统及其焊接方法 - Google Patents

一种柔性焊接机器人系统及其焊接方法 Download PDF

Info

Publication number
CN110524581B
CN110524581B CN201910872316.2A CN201910872316A CN110524581B CN 110524581 B CN110524581 B CN 110524581B CN 201910872316 A CN201910872316 A CN 201910872316A CN 110524581 B CN110524581 B CN 110524581B
Authority
CN
China
Prior art keywords
welding
robot
flexible
workpiece
welded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910872316.2A
Other languages
English (en)
Other versions
CN110524581A (zh
Inventor
赵晓进
吴易明
王永旺
王汉晨
黄荣
董林佳
陈武强
摆冬冬
于龙飞
靳亚丽
李柏杨
张尚玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Zhongke Photoelectric Precision Engineering Co ltd
Original Assignee
Xi'an Zhongke Photoelectric Precision Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Zhongke Photoelectric Precision Engineering Co ltd filed Critical Xi'an Zhongke Photoelectric Precision Engineering Co ltd
Priority to CN201910872316.2A priority Critical patent/CN110524581B/zh
Publication of CN110524581A publication Critical patent/CN110524581A/zh
Application granted granted Critical
Publication of CN110524581B publication Critical patent/CN110524581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/32Accessories
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/04Viewing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明公开了一种柔性焊接机器人系统及其焊接方法,包括:全局视觉单元识别待焊接工件图像信息并定位待焊接工件位置;柔性焊接机器人单元通过精定位视觉组件对待焊接工件位置进行精确识别,图像处理控制机解算焊接路径,柔性焊接机器人进行焊接作业;柔性检测机器人单元通过立体视觉检测组件识别已焊接工件外形几何尺寸及质量,根据用户设置的参数信息生成焊接质量报告,并将焊接偏差超过阈值位置及偏差量信息传递至柔性焊接机器人进行补焊;总控单元执行图像处理、数据通信以及焊接机器人和检测机器人的运动控制;工作台单元对不同种类焊接工件的快速装夹。解决了焊接作业对工人身体造成的危害,实现了柔性焊接机器人系统的高度柔性、智能化。

Description

一种柔性焊接机器人系统及其焊接方法
技术领域
本发明属于焊接机器人技术领域,具体涉及一种柔性焊接机器人系统及其焊接方法。
背景技术
在生产制造行业中,焊接是各个工件之间最常用的连接方式之一,在对工件进行焊接时,需要预先将工件进行定位,由于不同工件的形状差异比较大,现场工人需要针对工件下料、组对、装夹位置偏差进行大量的示教工作,使用极其不方便;此外,现有焊接作业常常需要工人配合手动操作,而焊接过程中会产生大量的热量、辐射、有毒气体等,对工人的身体造成比较大的伤害,因此,通过焊接机器人来完成焊接工作,是未来焊接行业的趋势。
柔性焊接机器人系统是将工业机器人技术和柔性制造有机结合,可有效降低对现场人员数量和技能要求,不仅使企业节约了产品工艺开发、设备采购及运营成本,大大提高了产品质量和生产效率,而且最大限度的减少了焊接对工人身体造成的伤害。相比于过去传统的手工焊接,柔性焊接机器人使得产品加工向全自动、高柔性、智能化的方向转变。
因此,研制具有自动化程度高、高度柔性、免示教功能的焊接机器人系统,对焊接机器人行业具有重要意义。
发明内容
为解决现有技术中存在的上述缺陷,本发明的目的在于提供一种柔性焊接机器人系统及其焊接方法,该系统具有高度柔性、智能化、高效率、高品质、免示教的特点。
本发明是通过下述技术方案来实现的。
本发明提供了一种柔性焊接机器人系统,包括:
全局视觉单元,识别待焊接工件图像信息并定位待焊接工件位置,将识别的图像信息采集并传递至总控单元;
柔性焊接机器人单元,通过精定位视觉组件对待焊接工件位置进行精确识别,将获取的图像信息经过图像处理控制机进行处理,解算出对待焊接工件的焊接路径,柔性焊接机器人按照焊接路径进行焊接作业;
柔性检测机器人单元,通过立体视觉检测组件识别已焊接工件外形几何尺寸及质量,根据用户设置的参数信息生成焊接质量报告,并将焊接偏差超过阈值位置及偏差量信息传递至柔性焊接机器人进行补焊;
总控单元,执行图像处理、数据通信以及焊接机器人和检测机器人的运动控制;
工作台单元,用于对不同种类焊接工件的快速装夹。
优选的,所述精定位视觉组件和立体视觉检测组件为工业相机或CCD/CMOS传感器组成的图像采集电路;
所述CCD/CMOS传感器组成的图像采集电路包括依次连接的CCD/CMOS传感器、传感器信号接收电路、信号解析电路和通讯接口电路,电源电路连接CCD/CMOS传感器、传感器信号接收电路、信号解析电路和通讯接口电路。
优选的,所述柔性焊接机器人单元包括柔性焊接机器人、精定位视觉组件和焊枪;
所述柔性焊接机器人通过转接台固定于地面,精定位视觉组件和焊枪安装在柔性焊接机器人前端,在柔性焊接机器人右侧放置焊机;
所述柔性检测机器人单元包括柔性检测机器人和立体视觉检测组件,立体视觉检测组件固定在柔性检测机器人手臂前端。
优选的,所述总控单元包括人机交互工作台、图像处控制机和机器人控制箱,所述人机交互工作台分别连接图像处理控制机和焊接机器人控制箱,机器人控制箱连接柔性检测机器人和柔性焊接机器人。
优选的,所述工作台单元包括多功能焊接工作台和夹紧工装,待焊接工件放置在多功能焊接工作台台面上,所述夹紧工装夹紧在待焊接工件的预置夹紧位。
本发明进而提供了一种柔性焊接机器人的焊接方法,包括如下步骤:
步骤1,将待焊接工件通过夹紧工装固定在多功能焊接工作台上,启动人机交互工作台并将三维模型或实测标准模型信息导入,并通过人机交互工作台定义焊接特征,根据上述三维模型或者实测标准模型生成精定位测量工件关键特征点,确认自动形成理论焊接路径;
步骤2,全局视觉组件识别工件生成关键特征点,并自动校正生成实际精定位测量路径,机器人控制箱接收图像处理控制机发出的测量指令,使得精定位视觉组件按照实际精定位测量路径进行自动扫描测量,并输出三维点云信息,最终通过坐标转换解算出各关键特征点空间坐标值;
步骤3,总控单元通过待焊接实际特征测量坐标,并根据实际测量结果进行理论焊接路径校正,最终形成实际的焊接规划路径,在人机交互工作台上通过模拟焊接路径判断焊接任务是否正确无误,进而执行实际焊接任务;
步骤4,焊接完成后,机器人控制箱接收到图像处理控制机的调度指令后控制机器人按照检测路径运动,通过立体视觉检测组件采集图像信息,利用视差图生成三维点云数据并进行处理,最终提取出焊缝外观特征信息并计算出焊缝的对应特征;
步骤5,将计算出的焊缝对应特征与预先设置的工艺参数进行对比,判断焊接外观质量是否合格,如果不合格,记录不合格位置及特征,进行坐标转换,并将路径信息传递至机器人控制箱进行补焊操作,重复上述步骤直至焊缝外观质量合格,输出检测结果。
优选的,所述步骤2中,全局视觉组件识别待焊接工件生成关键特征点并自动校正生成实际精定位测量路径的算法,包括如下步骤:
21)全局视觉组件对待焊接工件进行识别,并判断该待焊接工件与三维模型或实测标准模型是否一致;
22)如果一致,进行步骤23),如果不一致提醒用户进行确认,如果用户确认一致,继续执行23),如果用户确认不一致,则重复执行21)并检查系统和硬件状态;
23)根据全局视觉组件识别工件的ROI提取出工件的关键特征,通过三角交汇测量解算出关键特征的三维坐标;
24)根据全局视觉定位的测量结果,进行坐标转换,将提取的特征点坐标转换成精定位测量路径;
25)根据精定位测量路径,控制柔性焊接机器人引导精定位视觉组件工作;
26)控制精定位视觉组件采集待焊接工件的图像信息;
27)对采集的图像信息进行处理,利用视差图获得待测工件的三维点云数据;
28)对三维点云进行处理,利用深度学习卷积神经网络的算法,提取点云中的焊缝特征,采用的神经网络结构包括4个卷积层、1个局部响应归一化层、2个池化层、1个全连接分类层和1个Softmax层,在Caff框架下实现;
29)对焊缝特征进行拟合处理,获取焊缝的起始点和终止点坐标;
210)坐标转换,将焊接的起始点和终止点坐标转换到焊接机器人坐标系下。
优选的,所述步骤3的具体操作流程包括如下步骤:
31)将步骤2的测量结果对步骤1定义的焊接作业路径进行校正,生成实际的焊接作业路径及焊接质量检测路径;
32)将处理的结果通过交互界面显示给用户进行确认;
33)用户可以通过模拟焊接操作验证测量结果的准确性;
34)如果步骤33)正确,用户通过实际焊接操作启动焊接机器人工作;
35)控制焊接机器人沿校正后的实际焊接路径进行运动,引导焊接机器人运动到焊缝的起始点进行起弧,根据电流反馈判断起弧是否成功;如果起弧成功执行步骤36),如果起弧识别报警提醒用户检修;
36)起弧成功后,控制柔性焊接机器人沿实际焊接路径运动,到焊缝终止点进行灭弧,完成焊接作业。
优选的,所述步骤4中,提取焊缝外观特征信息并计算出焊缝的对应特征是基于深度学习卷积神经网络实现的,包括如下步骤:
41)构建神经网路模型:采用的神经网络结构包括4个卷积层、1个局部响应归一化层、2个池化层、1个全连接分类层和1个Softmax层,在Caff框架下实现;
42)制作训练数据集和测试数据集:待焊接工件焊缝的类型有搭接焊缝、直角焊缝、深V型焊缝和对接焊缝,根据焊缝类型对三维点云数据进行特征标记和分类;
43)利用制作的数据集进行监督学习,训练神经网络模型的参数,使用随机梯度下降法更新权值;
44)将三维点云数据送入神经网络,提取出焊缝;
45)对提取出的焊缝进行拟合处理,计算出焊缝的起始点和终止点。
优选的,所述步骤5的具体操作流程包括如下步骤:
51)根据步骤1)中载入工件的三维模型或者实测标准模型,获取焊缝的焊接的包括焊缝焊接宽度和高度工业参数;
52)对步骤4)中提取的焊缝进行拟合处理,拟合出焊脚、余高所在平面,解算焊缝焊接包括宽度、高度信息参数;
53)比对工艺参数,提取出焊接不合格的位置;
54)对不合格的焊接位置进行凹坑和焊瘤分类;
55)根据处理结果,生成焊接质量检测报告;
56)根据焊接质量报告中的不合格位置,引导焊接机器人进行补焊操作。
本发明由于采取以上技术方案,其具有以下有益效果:
1.本发明由于采用了柔性焊接机器人、柔性检测机器人结合立体视觉检测组件的方式,解决了焊接作业对工人身体造成的危害,实现了柔性焊接机器人系统的高度柔性、智能化。
2.本发明由于采用了立体视觉组件结合检测机器人的方式,解决了焊接自动补焊的问题,节约了人工成本、提高了产品质量和生产效率。
3.本发明由于采用了全局视觉组件结合立体视觉组件的方式,解决了现场工人因下料、组对、装夹位置偏差需要大量的人工示教校正工作而引起的严重影响焊接效率的问题,极大的提升了焊接效率、焊接一致性及焊接品质。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的不当限定,在附图中:
图1为本发明柔性焊接机器人系统的结构示意图;
图2为本发明柔性焊接及检测机器人的结构示意图;
图3为嵌入式图像处理电路组成框图;
图4为本发明柔性焊接机器人焊接方法流程图;
图5为全局视觉组件算法流程图;
图6为焊接机器人操作的具体流程图;
图7为提取焊缝算法的流程图;
图8为焊接质量检测具体操作流程图。
图中:1、人机交互工作台;2、图像处理控制机;3、全局视觉组件;4、全局视觉组件固定架;5、机器人控制箱;6、焊机;7、多功能焊接工作台;8、柔性检测机器人;9、立体视觉检测组件;10、柔性焊接机器人;11、精定位视觉组件;12、焊枪;13、待焊接工件;14、夹紧工装。
具体实施方式
下面将结合附图以及具体实施例来详细说明本发明,在此本发明的示意性实施例以及说明用来解释本发明,但并不作为对本发明的限定。
如图1、图2所示,本发明一种柔性焊接机器人系统包括:全局视觉单元、柔性焊接机器人单元、柔性检测机器人单元、总控单元和工作台单元;其中,
全局视觉单元包括全局视觉组件3和固定在天花板上的全局视觉组件固定架4,在全局视觉组件固定架4底部固定全局视觉组件3,全局视觉组件3下方设有多功能焊接工作台7,多功能焊接工作台7上设有夹紧工装14夹紧的待焊接工件13,在多功能焊接工作台7旁设有柔性焊接机器人10和柔性检测机器人8,柔性焊接机器人10、柔性检测机器人8和分别连接机器人控制箱5、图像处理控制机2和人机交互工作台,柔性焊接机器人10连接焊机6。
如图3所示,其中,精定位视觉组件和立体视觉检测组件为工业相机或CCD/CMOS传感器组成的图像采集电路。CCD/CMOS传感器组成的图像采集电路包括依次连接的CCD/CMOS传感器、传感器信号接收电路、信号解析电路和通讯接口电路,电源电路连接CCD/CMOS传感器、传感器信号接收电路、信号解析电路和通讯接口电路。
如图2所示,柔性焊接机器人单元包括通过转接台固定于地面的柔性焊接机器人10,柔性焊接机器人10通过接收控制系统下发的指令,按照自动解算出的焊接路径进行运动。柔性焊接机器人10前端安装有精定位视觉组件11和焊枪12,精定位视觉组件11对待焊接工件位置进行精确识别,完成图像采集并解算为三维空间信息传递至图像处理控制机。柔性焊接机器人10右侧放置焊机6,焊机6利用正负两极瞬间产生的高温电弧来熔化焊枪12上的焊料进行持续焊接。
如图2所示,柔性检测机器人单元包括柔性检测机器人8和固定在柔性检测机器人8手臂前端的立体视觉检测组件9,其中,立体视觉检测组件识别已焊接工件焊缝外形几何尺寸及外观缺陷质量,柔性检测机器人8按照预定的检测路径进行运动,并将获取的焊接特征信息传递至柔性焊接机器人进行自动补焊操作。
如图1所示,总控单元包括人机交互工作台1、图像处理控制柜2、焊接机器人控制箱5,其中,图像处理控制柜2和人机交互工作台放置在一侧,机器人控制箱5放置在焊机6的一侧,人机交互工作台1用于人工手动操作处理三维模型或者实测标准模型信息导入、定义相关焊接特征、确认状态及异常状况的操作,图像处理控制柜2用于处理图像数据,生成三维点云及坐标,焊接机器人控制箱5用于进行数据通信及控制焊接和检测机器人的运动。
如图2所示,工作台单元包括多功能焊接工作台7,多功能焊接工作台7可适应各类不同焊接工件的夹持焊接,待焊接工件13放置在多功能焊接工作台7台面上,夹紧工装14配合工作台面上标准间隔的快速定位孔将待焊接工件13夹紧在多功能焊接工作台7上。
如图4所示,本发明相应的给出了一种柔性焊接机器人的焊接方法,步骤如下:
步骤1,将待焊接工件通过夹紧工装固定在多功能焊接工作台上,启动人机交互工作台将三维模型或者实测标准模型信息导入,并且通过人工交互方式定义焊接特征,根据上述模型生成理论精定位测量关键点后自动形成理论焊接路径,进行人工确认;
步骤2,全局视觉组件识别工件生成关键特征点并自动校正生成实际精定位测量路径,机器人控制箱接收图像处理控制柜测量指令,使得精定位视觉组件按照该路径进行自动扫描测量并输出三维点云信息,最终通过坐标转换解算出各关键特征点空间坐标值。其中,全局视觉组件识别工件生成关键特征点并自动校正生成实际精定位测量路径的算法,如图5所示,具体操作步骤如下:
21)全局视觉组件对待焊接工件进行识别,并判断该待焊接工件与三维模型或者实测标准模型是否一致;
22)如果一致,进行步骤23),如果不一致提醒用户进行确认,如果用户确认一致,继续执行23),如果用户确认不一致,则重复执行21)并检查系统和硬件状态;
23)根据全局视觉组件识别工件的ROI提取出工件的关键特征,通过三角交汇测量解算出关键特征的三维坐标;
24)根据全局视觉定位的测量结果,进行坐标转换,将提取的特征点坐标转换成精定位测量路径。
视觉检测组件自动扫描测量并解算关键特征点空间坐标值的算法,如图5所示,具体操作步骤如下:
25)根据精定位测量路径,控制柔性焊接机器人引导精定位视觉组件工作;
26)控制精定位视觉组件,采集待焊接工件的图像信息;
27)对采集的图像信息进行处理,利用视差图获得待测工件的三维点云数据;
28)对三维点云进行处理,利用深度学习卷积神经网络的算法,提取点云中的焊缝特征,采用的神经网络结构包括4个卷积层、1个局部响应归一化层、2个池化层、1个全连接分类层和1个Softmax层,在Caff框架下实现;
29)对焊缝特征进行拟合处理,获取焊缝的起始点和终止点坐标;
210)坐标转换,将焊接的起始点和终止点坐标转换到焊接机器人坐标系下。
步骤3,总控单元通过实际特征测量坐标并根据实际测量结果进行理论焊接路径校正,最终形成实际的焊接规划路径,在人机交互工作台处支持人工通过模拟焊接路径判断焊接任务是否正确无误,进而执行实际焊接任务,如图6所示,具体操作步骤如下:
31)将步骤2的测量结果对步骤1定义的焊接作业路径进行校正,生成实际的焊接作业路径及焊接质量检测路径;
32)将处理的结果通过交互界面显示给用户进行确认;
33)用户可以通过模拟焊接操作验证测量结果的准确性;
34)如果步骤33)正确,用户通过实际焊接操作启动焊接机器人工作;
35)控制焊接机器人沿校正后的实际焊接路径进行运动,引导机器人运动到焊缝的起始点进行起弧,根据电流反馈判断起弧是否成功;如果起弧成功执行步骤36),如果起弧识别报警提醒用户检修;
36)起弧成功后,控制柔性焊接机器人沿实际焊接接路径运动,到焊缝终止点进行灭弧,完成焊接作业。
步骤4,焊接完成后,机器人控制箱接收到图像处理控制柜的调度指令控制机器人按照检测路径运动,通过立体视觉检测组件采集图像信息,利用视差图生成三维点云数据并进行处理,最终提取出焊缝外观特征信息并计算出焊缝的对应特征。如图7所示,提取焊缝的算法是基于深度学习卷积神经网络实现的,具体步骤如下:
41)构建神经网路模型:采用的神经网络结构包括4个卷积层、1个局部响应归一化层、2个池化层、1个全连接分类层和1个Softmax层,在Caff框架下实现;
42)制作训练数据集和测试数据集:待焊接工件焊缝的类型有搭接焊缝、直角焊缝、深V型焊缝和对接焊缝等,根据焊缝类型对三维点云数据进行特征标记和分类,数据集大小不小于1000个;
43)利用制作的数据集进行监督学习,训练神经网络模型的参数,训练次数为10000次,权重衰减系数为0.0005,确定的权值参数的学习率为10-12,使用随机梯度下降法更新权值;
44)将三维点云数据送入神经网络,可以提取出焊缝;
45)对提取出的焊缝进行拟合处理,计算出焊缝的起始点和终止点。
步骤5,将计算出的焊缝对应特征与预先设置的工艺参数进行对比,判断焊接外观质量是否合格,如果不合格,记录不合格位置及特征,进行坐标转换,并将路径信息传递至机器人控制箱进行补焊操作,重复上述步骤直至焊缝外观质量合格,输出检测结果。如图8所示,具体步骤如下:
51)根据步骤1)中载入工件的三维模型或者实测标准模型,获取焊缝的焊接的工业参数,包括焊缝焊接宽度、高度等信息;
52)对步骤4)中提取的焊缝进行拟合处理,拟合出焊脚、余高所在平面,解算焊缝焊接的参数,包括宽度、高度等信息;
53)比对工艺参数,提取出焊接不合格的位置;
54)对不合格的焊接位置进行分类,如凹坑、焊瘤等;
55)根据处理结果,生成焊接质量检测报告;
56)根据焊接质量报告中的不合格位置,引导焊接机器人进行补焊操作。
本发明并不局限于上述实施例,在本发明公开的技术方案的基础上,本领域的技术人员根据所公开的技术内容,不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形,这些替换和变形均在本发明的保护范围内。

Claims (9)

1.一种柔性焊接机器人的焊接方法,其特征在于,包括如下步骤:
步骤1,将待焊接工件通过夹紧工装固定在多功能焊接工作台上,启动人机交互工作台并将三维模型或实测标准模型信息导入,并通过人机交互工作台定义焊接特征,根据上述三维模型或者实测标准模型生成精定位测量工件关键特征点,确认自动形成理论焊接路径;
步骤2,全局视觉组件识别工件生成关键特征点,并自动校正生成实际精定位测量路径,机器人控制箱接收图像处理控制机发出的测量指令,使得精定位视觉组件按照实际精定位测量路径进行自动扫描测量,并输出三维点云数据,最终通过坐标转换解算出各关键特征点空间坐标值;
步骤3,总控单元通过待焊接工件实际特征测量坐标,并根据实际测量结果进行理论焊接路径校正,最终形成实际的焊接规划路径,在人机交互工作台上通过模拟焊接路径判断焊接任务是否正确无误,进而执行实际焊接任务;
步骤4,焊接完成后,机器人控制箱接收到图像处理控制机的调度指令后控制柔性检测机器人按照焊接质量检测路径运动,通过立体视觉检测组件采集图像信息,利用视差图生成三维点云数据并进行处理,最终提取出焊缝外观特征信息并计算出焊缝的对应特征;
步骤5,将计算出的焊缝对应特征与预先设置的工艺参数进行对比,判断焊接外观质量是否合格,如果不合格,记录不合格位置及特征,进行坐标转换,并将路径信息传递至机器人控制箱进行补焊操作,重复上述步骤直至焊缝外观质量合格,输出检测结果;
所述步骤2中,全局视觉组件识别待焊接工件生成关键特征点并自动校正生成实际精定位测量路径的算法,包括如下步骤:
21)全局视觉组件对待焊接工件进行识别,并判断该待焊接工件与三维模型或实测标准模型是否一致;
22)如果一致,进行步骤23),如果不一致提醒用户进行确认,如果用户确认一致,继续执行23),如果用户确认不一致,则重复执行21)并检查系统和硬件状态;
23)根据全局视觉组件识别工件的ROI提取出工件的关键特征点,通过三角交汇测量解算出关键特征点的三维坐标;
24)根据全局视觉定位的测量结果,进行坐标转换,将提取的特征点坐标转换成精定位测量路径;
25)根据精定位测量路径,控制柔性焊接机器人引导精定位视觉组件工作;
26)控制精定位视觉组件采集待焊接工件的图像信息;
27)对采集的图像信息进行处理,利用视差图获得待测工件的三维点云数据;
28)对三维点云数据进行处理,利用深度学习卷积神经网络的算法,提取点云中的焊缝特征,采用的神经网络结构包括4个卷积层、1个局部响应归一化层、2个池化层、1个全连接分类层和1个Softmax层,在Caff框架下实现;
29)对焊缝特征进行拟合处理,获取焊缝的起始点和终止点坐标;
210)坐标转换,将焊缝的起始点和终止点坐标转换到柔性焊接机器人坐标系下。
2.根据权利要求1所述的柔性焊接机器人的焊接方法,其特征在于,所述步骤3的具体操作流程包括如下步骤:
31)将步骤2的测量结果对步骤1定义的理论焊接路径进行校正,生成实际的焊接规划路径及焊接质量检测路径;
32)将处理的结果通过人机交互工作台显示给用户进行确认;
33)用户通过模拟焊接操作验证测量结果的准确性;
34)如果步骤33)正确,用户通过实际焊接操作启动柔性焊接机器人工作;
35)控制柔性焊接机器人沿校正后的实际的焊接规划路径进行运动,引导柔性焊接机器人运动到焊缝的起始点进行起弧,根据电流反馈判断起弧是否成功;如果起弧成功执行步骤36),如果起弧失败报警提醒用户检修;
36)起弧成功后,控制柔性焊接机器人沿实际的焊接规划路径运动,到焊缝终止点进行灭弧,完成焊接作业。
3.根据权利要求1所述的柔性焊接机器人的焊接方法,其特征在于,所述步骤4中,提取焊缝外观特征信息并计算出焊缝的对应特征是基于深度学习卷积神经网络实现的,包括如下步骤:
41)构建神经网络模型:采用的神经网络结构包括4个卷积层、1个局部响应归一化层、2个池化层、1个全连接分类层和1个Softmax层,在Caff框架下实现;
42)制作训练数据集和测试数据集:待焊接工件焊缝的类型有搭接焊缝、直角焊缝、深V型焊缝和对接焊缝,根据焊缝类型对三维点云数据进行特征标记和分类;
43)利用制作的数据集进行监督学习,训练神经网络模型的参数,使用随机梯度下降法更新权值;
44)将三维点云数据送入神经网络,提取出焊缝;
45)对提取出的焊缝进行拟合处理,计算出焊缝的起始点和终止点。
4.根据权利要求1所述的柔性焊接机器人的焊接方法,其特征在于,所述步骤5的具体操作流程包括如下步骤:
51)根据步骤1)中载入工件的三维模型或者实测标准模型,获取焊缝的焊接的包括焊缝焊接宽度和高度工艺参数;
52)对步骤4)中提取的焊缝进行拟合处理,拟合出焊脚、余高所在平面,解算焊缝焊接包括宽度、高度信息参数;
53)比对工艺参数,提取出焊接不合格的位置;
54)对不合格的焊接位置进行凹坑和焊瘤分类;
55)根据处理结果,生成焊接质量检测报告;
56)根据焊接质量报告中的不合格位置,引导柔性焊接机器人进行补焊操作。
5.一种权利要求1-4任一项所述方法采用的柔性焊接机器人系统,其特征在于,包括:
全局视觉单元,识别待焊接工件图像信息并定位待焊接工件位置,将识别的图像信息采集并传递至总控单元;
柔性焊接机器人单元,通过精定位视觉组件对待焊接工件位置进行精确识别,将获取的图像信息经过图像处理控制机进行处理,解算出对待焊接工件的焊接路径,柔性焊接机器人按照焊接路径进行焊接作业;
柔性检测机器人单元,通过立体视觉检测组件识别已焊接工件外形几何尺寸及质量,根据用户设置的参数信息生成焊接质量报告,并将焊接偏差超过阈值位置及偏差量信息传递至柔性焊接机器人进行补焊;
总控单元,执行图像处理、数据通信以及柔性焊接机器人和柔性检测机器人的运动控制;
工作台单元,用于对不同种类焊接工件的快速装夹。
6.根据权利要求5所述的一种柔性焊接机器人系统,其特征在于,所述全局视觉单元包括全局视觉组件(3),全局视觉组件(3)为多目视觉组件、单目多位置运动组件或激光扫描组件,所述多目视觉组件为两个或多个相机,所述单目多位置运动组件为相机安装在运动机构上。
7.根据权利要求5所述的一种柔性焊接机器人系统,其特征在于,所述精定位视觉组件和立体视觉检测组件为工业相机或CCD/CMOS传感器组成的图像采集电路;
所述CCD/CMOS传感器组成的图像采集电路包括依次连接的CCD/CMOS传感器、传感器信号接收电路、信号解析电路和通讯接口电路,电源电路连接CCD/CMOS传感器、传感器信号接收电路、信号解析电路和通讯接口电路。
8.根据权利要求5所述的一种柔性焊接机器人系统,其特征在于,所述柔性焊接机器人单元包括柔性焊接机器人(10)、精定位视觉组件(11)和焊枪(12),
所述柔性焊接机器人(10)通过转接台固定于地面,精定位视觉组件(11)和焊枪(12)安装在柔性焊接机器人(10)前端,在柔性焊接机器人(10)右侧放置焊机(6);
所述柔性检测机器人单元包括柔性检测机器人(8)和立体视觉检测组件(9),立体视觉检测组件(9)固定在柔性检测机器人(8)手臂前端。
9.根据权利要求5所述的一种柔性焊接机器人系统,其特征在于,所述总控单元包括人机交互工作台(1)、图像处理控制机(2)和机器人控制箱(5),所述人机交互工作台(1)分别连接图像处理控制机(2)和机器人控制箱(5),机器人控制箱(5)连接柔性检测机器人(8)和柔性焊接机器人(10);
所述工作台单元包括多功能焊接工作台(7)和夹紧工装(14),待焊接工件(13)放置在多功能焊接工作台(7)台面上,所述夹紧工装(14)夹紧在待焊接工件(13)的预置夹紧位。
CN201910872316.2A 2019-09-16 2019-09-16 一种柔性焊接机器人系统及其焊接方法 Active CN110524581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910872316.2A CN110524581B (zh) 2019-09-16 2019-09-16 一种柔性焊接机器人系统及其焊接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910872316.2A CN110524581B (zh) 2019-09-16 2019-09-16 一种柔性焊接机器人系统及其焊接方法

Publications (2)

Publication Number Publication Date
CN110524581A CN110524581A (zh) 2019-12-03
CN110524581B true CN110524581B (zh) 2023-06-02

Family

ID=68668763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910872316.2A Active CN110524581B (zh) 2019-09-16 2019-09-16 一种柔性焊接机器人系统及其焊接方法

Country Status (1)

Country Link
CN (1) CN110524581B (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111069702B (zh) * 2019-12-06 2021-10-26 宁夏天地奔牛实业集团有限公司 全自动坡口系统及方法
CN110977260B (zh) * 2019-12-17 2021-08-17 易思维(杭州)科技有限公司 白车身的智能补焊系统及随动补焊方法
CN111179255B (zh) * 2019-12-30 2021-11-16 南京衍构科技有限公司 一种膜式水冷壁自动化制备过程中特征识别方法
TWI739264B (zh) * 2020-01-06 2021-09-11 新代科技股份有限公司 焊接機器人控制系統及其控制方法
CN111152221A (zh) * 2020-01-06 2020-05-15 新代科技(苏州)有限公司 一种焊接机器人控制系统及其控制方法
CN111230869B (zh) * 2020-01-21 2021-07-13 北京卫星制造厂有限公司 一种复杂空间曲线焊缝运动轨迹和焊接工艺协同规划方法
CN111189393B (zh) * 2020-01-21 2021-10-01 北京卫星制造厂有限公司 一种三维薄壁结构焊缝的高精度全局视觉测量方法
US11498157B2 (en) 2020-01-31 2022-11-15 GM Global Technology Operations LLC System and method of enhanced automated welding of first and second workpieces
CN111300411A (zh) * 2020-02-26 2020-06-19 集美大学 焊接机器人辅助控制方法、系统、存储介质、计算机
CN111299835A (zh) * 2020-03-05 2020-06-19 中国汽车工业工程有限公司 一种激光飞行焊在线补焊设备及方法
CN111390915B (zh) * 2020-04-17 2022-07-15 上海智殷自动化科技有限公司 一种基于ai的自动焊缝路径识别方法
CN111462110B (zh) * 2020-04-20 2021-04-13 广东利元亨智能装备股份有限公司 焊缝质量检测方法、装置、系统及电子设备
DE112021002584T5 (de) * 2020-04-27 2023-02-23 Fanuc Corporation Montagesystem
CN111702755B (zh) * 2020-05-25 2021-08-17 淮阴工学院 一种基于多目立体视觉的机械臂智能控制系统
US20230201973A1 (en) 2020-05-25 2023-06-29 Inrotech A/S System and method for automatic detection of welding tasks
CN111687515A (zh) * 2020-06-17 2020-09-22 北京智机科技有限公司 大型钢构智能焊接引导系统
CN111858547A (zh) * 2020-06-30 2020-10-30 中国船舶重工集团公司第七一六研究所 一种应用于机器人焊接作业的数据库设计方法
CN111843129B (zh) * 2020-07-10 2021-11-05 江苏亨通海洋光网系统有限公司 一种光缆内铠铜管多枪自动焊接及补焊装置
US11407110B2 (en) 2020-07-17 2022-08-09 Path Robotics, Inc. Real time feedback and dynamic adjustment for welding robots
CN114193029A (zh) * 2020-09-18 2022-03-18 宝山钢铁股份有限公司 一种基于大数据分析模型的焊机焊缝预评估方法
CN112846577A (zh) * 2020-12-25 2021-05-28 郑智宏 一种提升焊接自动化的方法
CN112917038A (zh) * 2021-01-29 2021-06-08 郑智宏 一种自动焊接的控制方法
CN112958959A (zh) * 2021-02-08 2021-06-15 西安知象光电科技有限公司 一种基于三维视觉的自动化焊接和检测方法
CN112958973A (zh) * 2021-02-08 2021-06-15 西安知象光电科技有限公司 一种基于结构光三维视觉的中厚板机器人焊接视觉寻位装置
EP4297923A2 (en) 2021-02-24 2024-01-03 Path Robotics, Inc. Autonomous welding robots
CN113172307A (zh) * 2021-03-24 2021-07-27 苏州奥天智能科技有限公司 一种基于激光与可见光融合的视觉模块的工业机器人系统
CN113177914B (zh) * 2021-04-15 2023-02-17 青岛理工大学 基于语义特征聚类的机器人焊接方法及系统
CN113510412B (zh) * 2021-04-28 2023-04-14 湖北云眸科技有限公司 一种识别焊缝状态的检测系统、检测方法及储存介质
CN113281363B (zh) * 2021-05-10 2022-10-18 南京航空航天大学 一种铝合金激光焊接结构复合评估装备与方法
CN113333998B (zh) * 2021-05-25 2023-10-31 绍兴市上虞区武汉理工大学高等研究院 一种基于协作机器人的自动化焊接系统及方法
CN113500294A (zh) * 2021-05-31 2021-10-15 中冶南方工程技术有限公司 一种智能激光焊接系统以及方法
CN113927132A (zh) * 2021-11-03 2022-01-14 上海城建隧道装备科技发展有限公司 一种基于旋转系统的地铁隧道施工缝焊接自动补偿方法
CN114841959B (zh) * 2022-05-05 2023-04-04 广州东焊智能装备有限公司 一种基于计算机视觉的自动焊接方法及系统
EP4338897A1 (en) * 2022-06-06 2024-03-20 Lincoln Global, Inc. Weld angle correction device
CN115157272B (zh) * 2022-09-08 2022-11-22 山东芯合机器人科技有限公司 一种基于视觉扫描的自动化编程系统
CN116329824A (zh) * 2023-04-24 2023-06-27 仝人智能科技(江苏)有限公司 一种吊装式智能焊接机器人及其焊接方法
CN116787017B (zh) * 2023-07-14 2024-03-12 湖南摩码智能机器人有限公司 水轮机座环焊接机器人的控制方法及其系统
CN116984771A (zh) * 2023-08-16 2023-11-03 广州盛美电气设备有限公司 一种配电柜自动化焊接控制方法、装置、设备及介质
CN117047237B (zh) * 2023-10-11 2024-01-19 太原科技大学 一种异形件智能柔性焊接系统与方法
CN117733434A (zh) * 2024-02-19 2024-03-22 天津鑫凯建业科技有限公司 一种焊缝机

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5927212B2 (ja) * 2014-02-28 2016-06-01 ファナック株式会社 溶接トーチ検出装置および溶接ロボットシステム
CN104668695B (zh) * 2015-02-03 2017-01-18 河北科瑞达仪器科技股份有限公司 一种对电子产品整机进行焊点检测并进行焊锡的方法
CN205650975U (zh) * 2016-02-23 2016-10-19 南京中建化工设备制造有限公司 基于结构光视觉的非标件自动化焊接加工系统
US10060857B1 (en) * 2017-11-16 2018-08-28 General Electric Company Robotic feature mapping and motion control

Also Published As

Publication number Publication date
CN110524581A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
CN110524581B (zh) 一种柔性焊接机器人系统及其焊接方法
CN110530877B (zh) 一种焊接外形质量检测机器人及其检测方法
CN110524582B (zh) 一种柔性组对焊接机器人工作站
CN110524580B (zh) 一种焊接机器人视觉组件及其测量方法
CN112059363B (zh) 一种基于视觉测量的无人爬壁焊接机器人及其焊接方法
Nele et al. An image acquisition system for real-time seam tracking
CN110102855A (zh) 一种机器人智能化焊接系统、设备和方法
WO2015120734A1 (zh) 基于机器视觉的焊接轨迹校正专用测试装置及方法
CN115290001A (zh) 一种产品测试方法及系统
GB2555262A (en) Robot-based welding system and method
CN104977305A (zh) 一种基于红外视觉的焊接质量分析装置及分析方法
CN109664009B (zh) 一种前馈式电阻焊质量监控系统及方法
CN111687515A (zh) 大型钢构智能焊接引导系统
CN108127238A (zh) 非平整面自主识别机器人增材成形的方法
CN104741739A (zh) 一种焊接机器人定位纠偏系统
CN205342175U (zh) 一种机器人焊接系统
CN111037549B (zh) 基于3D扫描与TensorFlow算法的焊接轨迹处理方法及系统
Geng et al. A method of welding path planning of steel mesh based on point cloud for welding robot
CN117047237B (zh) 一种异形件智能柔性焊接系统与方法
CN203992877U (zh) 薄钢板焊缝小特征点视觉跟踪与实时质量检测装置
CN112783076B (zh) 基于高精度位移传感器的引导机械手定位的方法及系统
CN107363441A (zh) 一种智能焊接及质量监控一体系统
CN115179302B (zh) 一种涉核环境下寻位-规划-纠偏的焊接机器人控制方法
CN210757843U (zh) 一种柔性焊接机器人系统
CN114923410A (zh) 一种纵梁孔位在线检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant