CN112958974A - 一种基于三维视觉的可交互自动化焊接系统 - Google Patents

一种基于三维视觉的可交互自动化焊接系统 Download PDF

Info

Publication number
CN112958974A
CN112958974A CN202110171652.1A CN202110171652A CN112958974A CN 112958974 A CN112958974 A CN 112958974A CN 202110171652 A CN202110171652 A CN 202110171652A CN 112958974 A CN112958974 A CN 112958974A
Authority
CN
China
Prior art keywords
welding
robot
camera
interactive
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110171652.1A
Other languages
English (en)
Inventor
杨涛
彭磊
李晓晓
姜军委
马力
王芳
周翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Chishine Optoelectronics Technology Co ltd
Original Assignee
Xi'an Chishine Optoelectronics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Chishine Optoelectronics Technology Co ltd filed Critical Xi'an Chishine Optoelectronics Technology Co ltd
Priority to CN202110171652.1A priority Critical patent/CN112958974A/zh
Publication of CN112958974A publication Critical patent/CN112958974A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B23K37/02Carriages for supporting the welding or cutting element
    • B23K37/0252Steering means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture

Abstract

本发明公开了一种基于三维视觉的可交互自动化焊接方法,包含以下步骤:搭建基于三维视觉的可交互自动换焊接系统;获得待焊接工件的三维模型;使用三维视觉对齐工件坐标系和机器人坐标系;在交互界面中选择待焊接的特征,并生成焊接轨迹;使用机器人实施焊接。本发明使用三维视觉结合交互系统,将在线编程或者现场示教的过程,改变为基于图像交互的自动化焊接系统。相比传统的在线编程和现场示教方案自动化程度更高,节省人工,提高效率;同时还有效的降低了对一线操作人员的编程技能要求;此外,该方法还可以实现远程操控,或者一个工人对多台设备的操控,有助于实现无人化柔性焊接。

Description

一种基于三维视觉的可交互自动化焊接系统
技术领域:
本发明涉及一种基于三维视觉的可交互自动化焊接系统和方法,主要使用三维数字模型结合机器人技术,通过交互的方式完成焊接任务的设置,进而引导机器人完成自动化的焊接任务。该发明属于工业自动化和机器视觉领域。
背景技术:
在机器人自动化焊接领域,广泛使用的方法有现场示教编程以及离线编程。现场示教编程,通过人工进行坐标对齐,找到焊接的起始点或者轨迹,输入给机器人系统,进而使用机器人进行自动化的焊接。该方法适用小批量的柔性焊接场景,但是由于对现场的工人要求过高,使用非常受限;此外由于示教的过程非常耗时,该方法的效率不高;而且对于复杂的轨迹很难通过示教完成。离线编程则使用焊接工件的数字模型预先对焊接的位置和轨迹进行编程,焊接的时候首先将工件坐标系和机器人坐标系对齐,然后利用预先编制好的程序进行机器人焊接。该方法由于对工件的一致性要求很好,因而适合精密加工零件的大规模焊接。
当工件的一致性不高,或者是小批量多批次的柔性生产场景,传统地只能使用现场示教编程。这种方法效率低、要求高、适应性低。本发明结合最新的三维逆向技术和视觉引导技术,实现可交互的自动化焊接,解决工件的一致性不高、或者是小批量多批次的柔性生产场景的效率问题。
发明内容:
本发明目的是提出一种基于三维视觉的可交互自动化焊接方法,解决工件的一致性不高、或者是小批量多批次的柔性生产场景的效率问题。
一种基于三维视觉的可交互自动化焊接方法,包含以下步骤:
(一)搭建基于三维视觉的可交互自动换焊接系统;
(二)获得待焊接工件的三维模型;
(三)使用三维视觉对齐工件坐标系和机器人坐标系;
(四)在交互界面中选择待焊接的特征,并生成焊接轨迹;
(五)使用机器人实施焊接。
所述步骤(一)中,基于三维视觉的可交互自动换焊接系统,包含了用于运动执行机构机器人系统、焊接系统、三维视觉系统和显示交互系统。
所述机器人系统是调整位置和姿态的执行机构,其为多轴工业机器人系统,包含了机器人本体和机器人控制器;所述焊接系统根据焊接工艺的不同包含了不同的组成部件,用于完成完整的焊接工艺;所述三维视觉系统用于获取被焊接工件的三维特征信息,其是一个高精度3D相机,所述高精度指的是测量精度高于1mm。所述的3D相机是深度图帧速率大于1帧每秒的3D相机。所述3D相机是低功耗、小体积、低重量的3D相机。所述3D相机和焊接执行机构,如焊枪,同时挂载在机器人的末端;所述显示交互系统用于交互拾取三维特征,其包含了至少一个显示终端,一个图像处理器,至少一个用于交互输入的设备。所述显示终端,其包含但不限于显示器、投影仪、抬头显示设备(HUD)。图形处理器是包含图形处理单元的计算机或者包含图形处理单元的移动终端。所述交互输入设备是鼠标、或者触控屏幕、或者手势跟踪识别、或者语音识别系统、或者眼球追踪、或者脑机交互系统、或者肌电交互系统。所述3D相机和焊接执行机构其自身的坐标系和机器人坐标系转换关系是确定已知的,转换关系通过预先标定得出。
所述步骤(二)中,获得的三维模型的方式包含但不限于:使用机器人末端的3D相机进行扫描、拼接、点云融合逆向得到;使用三维CAD软件建模;使用既有模型进行变换。
所述步骤(二)中的三维模型是网格模型。
所述步骤(三)包含以下步骤:
1)使用机器人系统将3D相机指向工件所在的区域,3D相机的所在的距离在其工作范围内。
2)使用3D相机拍摄工件的点云图
3)使用基于点云特征的配准方法,将拍摄到的点云与第(二)步中的数字模型的点云进行配准。
4)计算工件坐标系和机器人坐标系之间的转换关系。
所述步骤(三)中,如果前述步骤(二)中的模型是通过机器人末端的3D相机扫描得到,而又没有重新装夹,此时可以直接获得工件坐标系和机器人坐标系之间的关系,从而可以跳过步骤(三)。
所述步骤(四)中,使用交互系统选择所要焊接的特征点,并使用基于测地线的样条拟合,生成曲面上的焊接轨迹。或者直接使用交互系统在空间中给出焊接轨迹。
所述步骤(五)中,使用步骤(四)中的焊接轨迹,将焊接轨迹转化为焊接执行机构的坐标系下的轨迹,控制机器人实现位置和姿态的变换,控制焊接系统的参数,实施焊接。
本发明的积极效果
本发明使用三维视觉结合交互系统,将在线编程或者现场示教的过程,改变为基于图像交互的自动化焊接系统。相比传统的在线编程和现场示教方案自动化程度更高,节省人工,提高效率;同时还有效的降低了对一线操作人员的编程技能要求;此外,该方法还可以实现远程操控,或者一个工人对多台设备的操控,有助于实现无人化柔性焊接。
附图说明
图1基于三维视觉的可交互自动化焊接系统。1焊接系统;2三维视觉系统;3机器人系统;4显示系统;5交互系统
图2焊接特征的交互选择
具体实施方式
本发明旨在利用三维视觉和人机交互技术,实现自动化的焊接任务。为了实现该目的,本方法给出如下示例技术方案:
(一)搭建基于三维视觉的可交互自动换焊接系统
所述步骤(一)中,基于三维视觉的可交互自动换焊接系统,如图1所示,包含了用于运动执行机构机器人系统3、焊接系统1、三维视觉系统2和显示4交互系统5。其中,所述机器人系统是调整位置和姿态的执行机构,其为六轴工业机器人系统,包含了机器人本体和机器人控制器;所述焊接系统根据焊接工艺的不同包含了不同的组成部件,用于完成完整的焊接工艺;所述三维视觉系统用于获取被焊接工件的三维特征信息,其是一个高精度3D相机,所述高精度指的是测量精度高于1mm。所述的3D相机是深度图帧速率大于1帧每秒的3D相机。所述3D相机是低功耗、小体积、低重量的3D相机,以便直接挂载在机器人的末端。焊接执行机构,如焊枪,同时挂载在机器人的末端;所述显示系统包含了一个显示终端,选用通用的显示器,不同类型的显示器不影响本专利的实施和效果;还包含了一个图形处理器。系统的交互设备,此处选用鼠标和键盘作为交互输入的终端。
所述3D相机和焊接执行机构的坐标系,经过手眼标定都和机器人的坐标系进行了统一,标定的方法是:
3D相机和机器人标定:使用机器人挂载3D相机,从不同的角度多次拍摄坐标点已知的标定板,计算得到相机坐标系到机器人坐标系的RT矩阵。
焊接执行机构和机器人的标定:将焊接系统的末端(焊枪末端)使用机器人引导到固定的空间点,变换机器人的位置和姿态,同时保证得焊接系统的末端空间坐标不变,多次进行上述操作后,计算出焊接系统末端坐标在机器人坐标系中的位置。
(二)获得待焊接工件的三维模型
工件的三维模型通过3D相机扫描获得,扫描的方法是,使用机器人带动3D相机从不同的位置和姿态进行拍摄,以全方位的覆盖被拍摄的工件。所拍摄的点云,使用机器人的的姿态进行初拼接,然后在进行全局优化,获得完整的点云模型,再进一步进行三角划,重建网格模型。
在本发明的另一个实施方案中,如果工件的一致性较好,即各个工件的误差不影响焊接的结果,使用预先设计的数字模型作为待焊接工件的三维模型数据。
(三)使用三维视觉对齐工件坐标系和机器人坐标系
使用机器人末端的3D相机拍摄工件,得到一个角度的3D点云。然后将点云和待焊接工件的三维模型的点云进行配准,得到工件坐标系和机器人坐标系的转换关系。
在本方案中,如果待焊接工件的模型是使用机器人末端的3D相机扫描得到,而工件又没有进行重建装夹,则可以跳过本步骤。
(四)在交互界面中选择待焊接的特征,并生成焊接轨迹
进行交互选择的方案有很多种,只要能完成特征的拾取,都可以实现本发明的效果。在本实施示例中,使用鼠标选择需要焊接路径的关键点,然后进行样条插值,进一步求取空间测地线,最后进行平滑。得到一条附着在曲面上的空间曲线,作为焊接的路径。此外,需要进一步利用邻域信息,计算曲线上点的法线,作为焊接姿态的参考。焊枪的焊接姿态大致是平行曲线上的点的法线的。如图2方法四所示。
在本发明的另一个实施方案中,通过在曲面上进行绘制空间折线、样条曲线等方法,生成焊接轨迹,焊接姿态参考曲线上点的法线方向给出。如图2方法二,方法三所示。
在本发明的另一个实施方案中,使用的三维模型为使用计算机设计的数字模型,直接在数字模型中拾取特征,作为焊接轨迹,焊接姿态参考曲线上点的法线方向给出。如图2方法一所示。
(五)使用机器人实施焊接。
1)使用步骤(四)提供的特征参数,生成机器人轨迹和姿态控制参数。
2)使用机器人和附属机构(焊接系统和三维视觉系统)的数字模型,以及焊接轨迹和姿态进行干涉检查,防止在焊接过程中发生碰撞。
3)实施焊接:关闭三维视觉系统,启动焊接系统,按照步骤五中得到的机器人控制程序,控制机器人进行焊接,完成该工序后,关闭焊接系统,启动三维视觉系统。
焊接轨迹参照上述生成的轨迹,焊接的姿态参考上述方法得到的法线信息,使用机器人实施焊接。
虽然已经详细的描述和显示了一些具体实施方案,但本发明不受所述实施方案的限制,也可以以下权利要求书限定的主和范围内的其他方式实现。具体来说,应该了解在不偏离本发明范围的情况下,可使用其他实施方案,并可以进行功能修改。
在列举若干工具的装置权利要求中,这些工具中的一些可由一个相同的硬件项目实现。相互不同的从属权利要求中叙述或不同的实施方案中描述了特定量度这一事实,并不表示不能使用这些量度的组合以使有点突出。
应强调,在本说明书中使用术语“包括/包含(comprises/comprising)”时,其被理解为规定存在所述的特征、整数、步骤或组分,但不排除存在或添加一个或多个其它特征、整数、步骤、组分或其群组。
上文和下文描述的方法的特征可以软件实施,且可通过执行计算机可执行指令而在数据处理系统或其它处理工具上执行。指令可以是程序代码,其从存储介质或经由计算机网络从另一台计算机载入内存(例如RAM)。或者,所述的特征可由硬连线电路代替软件实现,或由硬连线电路和软件组合实现。

Claims (10)

1.一种基于三维视觉的可交互自动化焊接方法,其特征在于,包含以下步骤:
(一)搭建基于三维视觉的可交互自动换焊接系统;
(二)获得待焊接工件的三维模型;
(三)使用三维视觉对齐工件坐标系和机器人坐标系;
(四)在交互界面中选择待焊接的特征,并生成焊接轨迹;
(五)使用机器人实施焊接。
2.如权利要求1所述的可交互自动化焊接方法,其特征在于:所述步骤(一)中,基于三维视觉的可交互自动换焊接系统,包含了用于运动执行机构机器人系统、焊接系统、三维视觉系统和显示交互系统。
3.如权利要求1所述的可交互自动化焊接方法,其特征在于:所述机器人系统是调整位置和姿态的执行机构,其为多轴工业机器人系统,包含了机器人本体和机器人控制器;所述焊接系统根据焊接工艺的不同包含了不同的组成部件,用于完成完整的焊接工艺;所述三维视觉系统用于获取被焊接工件的三维特征信息,其是一个高精度3D相机,所述高精度指的是测量精度小于1mm。
4.如权利要求3所述的可交互自动化焊接方法,其特征在于:所述的3D相机是深度图帧速率大于1帧每秒的3D相机;所述3D相机是低功耗、小体积、低重量的3D相机;所述3D相机和焊接执行机构,如焊枪,同时挂载在机器人的末端;所述显示交互系统用于交互拾取三维特征,其包含了至少一个显示终端,一个图像处理器,至少一个用于交互输入的设备;所述显示终端,其包含但不限于显示器、投影仪、抬头显示设备(HUD);图形处理器是包含图形处理单元的计算机或者包含图形处理单元的移动终端;所述交互输入设备是鼠标、或者触控屏幕、或者手势跟踪识别、或者语音识别系统、或者眼球追踪、或者脑机交互系统、或者肌电交互系统;所述3D相机和焊接执行机构其自身的坐标系和机器人坐标系转换关系是确定已知的,转换关系通过预先标定得出。
5.如权利要求1所述的可交互自动化焊接方法,其特征在于:所述步骤(二)中,获得的三维模型的方式包含:使用机器人末端的3D相机进行扫描、拼接、点云融合逆向得到;使用三维CAD软件建模;使用既有模型进行变换。
6.如权利要求1所述的可交互自动化焊接方法,其特征在于:所述步骤(二)中的三维模型是网格模型。
7.如权利要求1所述的可交互自动化焊接方法,其特征在于,所述步骤(三)包含以下步骤:
1)使用机器人系统将3D相机指向工件所在的区域,3D相机的所在的距离在其工作范围内;
2)使用3D相机拍摄工件的点云图;
3)使用基于点云特征的配准方法,将拍摄到的点云与第(二)步中的数字模型的点云进行配准;
4)计算工件坐标系和机器人坐标系之间的转换关系。
8.如权利要求1所述的可交互自动化焊接方法,其特征在于:所述步骤(三)中,如果前述步骤(二)中的模型是通过机器人末端的3D相机扫描得到,而又没有重新装夹,此时可以直接获得工件坐标系和机器人坐标系之间的关系,从而可以跳过步骤(三)。
9.如权利要求1所述的可交互自动化焊接方法,其特征在于:所述步骤(四)中,使用交互系统选择所要焊接的特征点,并使用基于测地线的样条拟合,生成曲面上的焊接轨迹;或者直接使用交互系统在空间中给出焊接轨迹。
10.如权利要求1所述的可交互自动化焊接方法,其特征在于:所述步骤(五)中,使用步骤(四)中的焊接轨迹,将焊接轨迹转化为焊接执行机构的坐标系下的轨迹,控制机器人实现位置和姿态的变换,控制焊接系统的参数,实施焊接。
CN202110171652.1A 2021-02-08 2021-02-08 一种基于三维视觉的可交互自动化焊接系统 Pending CN112958974A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110171652.1A CN112958974A (zh) 2021-02-08 2021-02-08 一种基于三维视觉的可交互自动化焊接系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110171652.1A CN112958974A (zh) 2021-02-08 2021-02-08 一种基于三维视觉的可交互自动化焊接系统

Publications (1)

Publication Number Publication Date
CN112958974A true CN112958974A (zh) 2021-06-15

Family

ID=76275406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110171652.1A Pending CN112958974A (zh) 2021-02-08 2021-02-08 一种基于三维视觉的可交互自动化焊接系统

Country Status (1)

Country Link
CN (1) CN112958974A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114434059A (zh) * 2022-04-08 2022-05-06 西安知象光电科技有限公司 复合机器人和三维视觉的大型结构件自动焊接系统及方法
CN117021120A (zh) * 2023-10-08 2023-11-10 宁德时代新能源科技股份有限公司 用于焊接的人机交互控制方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108274092A (zh) * 2017-12-12 2018-07-13 北京石油化工学院 基于三维视觉与模型匹配的坡口自动切割系统及切割方法
CN110405730A (zh) * 2019-06-06 2019-11-05 大连理工大学 一种基于rgb-d图像的人机物交互机械臂示教系统
CN110549332A (zh) * 2019-08-02 2019-12-10 武汉库柏特科技有限公司 一种步进控制方法、装置、打磨机器人和可读存储介质
CN111014995A (zh) * 2018-10-09 2020-04-17 中冶赛迪工程技术股份有限公司 非标非结构化作业环境的机器人焊接方法及系统
US20200331146A1 (en) * 2017-02-07 2020-10-22 Clara Vu Dynamic, interactive signaling of safety-related conditions in a monitored environment
CN112122840A (zh) * 2020-09-23 2020-12-25 西安知象光电科技有限公司 一种基于机器人焊接的视觉定位焊接系统及焊接方法
CN112223294A (zh) * 2020-10-22 2021-01-15 湖南大学 一种基于三维视觉的机械臂加工轨迹修正方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200331146A1 (en) * 2017-02-07 2020-10-22 Clara Vu Dynamic, interactive signaling of safety-related conditions in a monitored environment
CN108274092A (zh) * 2017-12-12 2018-07-13 北京石油化工学院 基于三维视觉与模型匹配的坡口自动切割系统及切割方法
CN111014995A (zh) * 2018-10-09 2020-04-17 中冶赛迪工程技术股份有限公司 非标非结构化作业环境的机器人焊接方法及系统
CN110405730A (zh) * 2019-06-06 2019-11-05 大连理工大学 一种基于rgb-d图像的人机物交互机械臂示教系统
CN110549332A (zh) * 2019-08-02 2019-12-10 武汉库柏特科技有限公司 一种步进控制方法、装置、打磨机器人和可读存储介质
CN112122840A (zh) * 2020-09-23 2020-12-25 西安知象光电科技有限公司 一种基于机器人焊接的视觉定位焊接系统及焊接方法
CN112223294A (zh) * 2020-10-22 2021-01-15 湖南大学 一种基于三维视觉的机械臂加工轨迹修正方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114434059A (zh) * 2022-04-08 2022-05-06 西安知象光电科技有限公司 复合机器人和三维视觉的大型结构件自动焊接系统及方法
CN117021120A (zh) * 2023-10-08 2023-11-10 宁德时代新能源科技股份有限公司 用于焊接的人机交互控制方法及系统
CN117021120B (zh) * 2023-10-08 2024-02-06 宁德时代新能源科技股份有限公司 用于焊接的人机交互控制方法及系统

Similar Documents

Publication Publication Date Title
US11440179B2 (en) System and method for robot teaching based on RGB-D images and teach pendant
CN108481323B (zh) 基于增强现实的机器人运动轨迹自动编程系统及方法
EP1527850B1 (en) Simulation apparatus
US6587752B1 (en) Robot operation teaching method and apparatus
CN111152229B (zh) 3d机械视觉的机械手引导方法和装置
CN202336657U (zh) 机器人型钢切割系统
CN112453648B (zh) 一种基于3d视觉的离线编程激光焊缝跟踪系统
CN110355750B (zh) 面向遥操作手眼协调的交互控制方法
CN114289934B (zh) 一种基于三维视觉的大型结构件自动化焊接系统及方法
CN104457566A (zh) 一种无须示教机器人系统的空间定位方法
CN112958959A (zh) 一种基于三维视觉的自动化焊接和检测方法
CN112958974A (zh) 一种基于三维视觉的可交互自动化焊接系统
Fang et al. Orientation planning of robot end-effector using augmented reality
CN110695988A (zh) 双机械臂协同运动方法及系统
CN114043087A (zh) 一种三维轨迹激光焊接焊缝跟踪姿态规划方法
CN113119122A (zh) 一种机器人焊接系统的混合离线编程方法
Fang et al. Robot programming using augmented reality
CN113634871A (zh) 基于离线编程的机器人搅拌摩擦焊轨迹规划方法
CN210361314U (zh) 一种基于增强现实技术的机器人示教装置
CN111590586A (zh) 一种机械臂离线编程的人机交互终端及方法
JPH11338532A (ja) 教示装置
CN114800574A (zh) 一种基于双三维相机的机器人自动化焊接系统及方法
CN115619877A (zh) 单目线激光传感器与二轴机床系统的位置关系标定方法
CN112454363A (zh) 一种用于焊接操作的ar辅助机器人的控制方法
CN115423656A (zh) 一种机器人协同作业可视化仿真示教系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210615