CN114434059A - 复合机器人和三维视觉的大型结构件自动焊接系统及方法 - Google Patents

复合机器人和三维视觉的大型结构件自动焊接系统及方法 Download PDF

Info

Publication number
CN114434059A
CN114434059A CN202210362511.2A CN202210362511A CN114434059A CN 114434059 A CN114434059 A CN 114434059A CN 202210362511 A CN202210362511 A CN 202210362511A CN 114434059 A CN114434059 A CN 114434059A
Authority
CN
China
Prior art keywords
robot
coordinate system
camera
welding
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210362511.2A
Other languages
English (en)
Other versions
CN114434059B (zh
Inventor
杨涛
彭磊
姜军委
马力
刘青峰
张妮妮
李欢欢
王芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Chishine Optoelectronics Technology Co ltd
Original Assignee
Xi'an Chishine Optoelectronics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Chishine Optoelectronics Technology Co ltd filed Critical Xi'an Chishine Optoelectronics Technology Co ltd
Priority to CN202210362511.2A priority Critical patent/CN114434059B/zh
Publication of CN114434059A publication Critical patent/CN114434059A/zh
Application granted granted Critical
Publication of CN114434059B publication Critical patent/CN114434059B/zh
Priority to PCT/CN2022/106029 priority patent/WO2023193362A1/zh
Priority to EP22871144.6A priority patent/EP4279211A4/en
Priority to US18/041,129 priority patent/US11951575B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1615—Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • B25J9/162—Mobile manipulator, movable base with manipulator arm mounted on it
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B23K9/126—Controlling the spatial relationship between the work and the gas torch
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B23K37/02—Carriages for supporting the welding or cutting element
    • B23K37/0247—Driving means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B23K37/02—Carriages for supporting the welding or cutting element
    • B23K37/0294—Transport carriages or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/0026—Arc welding or cutting specially adapted for particular articles or work
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B23K9/0953—Monitoring or automatic control of welding parameters using computing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/005—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators using batteries, e.g. as a back-up power source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/005—Manipulators mounted on wheels or on carriages mounted on endless tracks or belts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39022—Transform between measuring and manipulator coordinate system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39398—Convert hand to tool coordinates, derive transform matrix
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40298—Manipulator on vehicle, wheels, mobile
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40584—Camera, non-contact sensor mounted on wrist, indep from gripper
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40613—Camera, laser scanner on end effector, hand eye manipulator, local
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45104—Lasrobot, welding robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Plasma & Fusion (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

复合机器人和三维视觉的大型结构件自动焊接系统及方法，系统包括由移动机器人和多自由度机器人所组成的复合机器人系统、三维视觉系统、用于实现焊接功能的焊接系统；基于移动平台的粗定位技术结合了高精度三维视觉技术的精确识别定位技术，扩展了多自由机器人在XYZ三维方向的工作范围，实现了大型结构件的柔性焊接任务；由于本发明使用三维视觉技术，容差能力更强，对工件的加工精度、运动机器人的定位精度、工件摆放精度的要求都更低，有利于降低成本和提高柔性，扩展适用范围，有利于节省人力，提高生产效率，提升焊接质量。

Description

复合机器人和三维视觉的大型结构件自动焊接系统及方法
技术领域
本发明涉及工业自动化和机器视觉技术领域，关于大型结构件的自动化焊接，特别涉及复合机器人和三维视觉的大型结构件自动焊接系统及方法。
背景技术
机器人自动化焊接越来越多的替代人工完成繁重的焊接任务，但是机器人的臂展是有限的，这意味着要想完成大尺寸的工件焊接需要配合外部轴来扩展机器人的工作范围。这样的外部轴通常的形式是：地轨、龙门、天轨等结构。现有的方案通常使用上述或者类似的方案拓展机器人的工作范围，以满足大型结构件的焊接。例如申请号为202111298122.X的专利申请就公布了一种基于三维视觉的大型结构件自动化焊接系统及方法，多自由度机器人的底座通过滑台安装在外部轴的地轨上。但是这种方案的弊端是：（1）、对运动机构的精度要求高。通常运动机构的行程达到数米以上，极易产生累积误差，对机器人的全局定位精度产生重大的影响。因此，为了保证全局定位精度，需要使用精密导轨，甚至需要光栅尺进行反馈以提高精度，这使得系统的成本急剧上升，并且系统成本会随着行程的增大等比例的上升。（2）、机器人系统需要增加用于控制额外外部轴的驱动器，还需要增加相对应的外部轴电机，也会使系统成本上升。由于上述原因，往往使得大型结构件机器人焊接系统中，外部轴辅助设施占据了系统大部分成本。
发明内容
为了克服上述现有技术的缺陷，本发明的目的在于提供一种复合机器人和三维视觉的大型结构件自动焊接系统及方法，利用移动机器人扩展工业机器人的工作范围，然后使用3D视觉技术进行末端精确识别定位，进而自动化地完成焊接任务，扩大系统工作范围，提高系统的柔性，降低系统的成本。
为了达到上述目的，本发明的技术方案为：
一种复合机器人和三维视觉的大型结构件自动焊接系统，包括移动机器人和安装在移动机器人上方的多自由度机器人所组成的复合机器人系统；安装在多自由度机器人末端用于焊接目标工件的焊接系统；以及安装在多自由度机器人末端或安装在焊接系统上的三维视觉系统，三维视觉系统对复合机器人系统、焊接系统和目标工件进行全局标定和定位。
所述移动机器人包括一个移动机器人底盘，底盘上紧固设置有外壳，外壳内设置有为整个系统提供能源的可充电电池组、电源、多自由度机器人的控制器以及焊接系统的焊机，可充电电池组还通过外壳上的电源接口连接外部供电；
所述的多自由度机器人包括多自由度机器人本体，多自由度机器人本体和其示教器都通过电缆和外壳内的控制器信号连接；
所述的焊接系统，包括位于外壳内的焊机，以及与焊机连接的焊枪，焊枪设置在多自由度机器人本体的末端；
所述的三维视觉系统包含3D相机，3D相机安装在多自由度机器人本体的末端，或者安装在焊枪上，3D相机通过线缆和外壳的工控机相连，工控机通过线缆和机器人控制器相连；
所述的3D相机测量精度不低于0.5mm，深度图帧速率大于1帧每秒；
所述多自由度机器人具有六个自由度以上机械臂，所述机械臂的臂展范围在0.5m-2m。
基于上述一种复合机器人和三维视觉的大型结构件自动焊接系统的焊接方法，包括以下步骤：
（一）、建立移动机器人和多自由度机器人所组成的复合机器人系统的系统坐标系；
（二）、标定焊接系统和三维视觉系统这两个系统与复合机器人系统坐标系之间的关系；
（三）、将目标工件放置在工作区域，对齐工件坐标系到全局坐标系；
（四）、规划移动机器人的运动路径和三维视觉系统中3D相机的拍照位置和姿态；
（五）、生成运动控制和焊接程序；
（六）、移动机器人实现焊接。
所述的步骤（一）具体为：
（1.1）、所述移动机器人搭载多自由度机器人、三维视觉系统、焊接系统，在基础平面上围绕目标工件运动，通过导航功能进行粗定位，通过升降功能扩展垂直基础平面方向上的工作范围；
导航功能进行粗定位的方法包含电磁法、二维码法、视觉SLAM、视觉跟踪、惯性导航，以及所述方法的复合方案；当使用电磁法或者二维码导航定位法时，地面上铺设了相对应的导航线；当使用视觉跟踪技术，对移动机器人进行定位时，所述移动机器人的外壳上印有一个或者多个跟踪靶标，额外的相机通过拍摄靶标确定移动机器人的位置；
（1.2）、建立一个移动机器人的坐标系统，其坐标原点在基础平面上，XY平面和基础平面重合，Z方向和基础平面垂直向上，该坐标系是全局的基础坐标系；建立多自由度机器人坐标系，其坐标原点在机械臂的基座上，其X、Y、Z方向和移动机器人的坐标系相重合；建立三维视觉系统坐标系，其坐标原点在3D相机镜头的光心，X方向为由相机镜头光心指向投影系统光心，Y轴方向垂直X轴、平行相机成像芯片，Z轴垂直XY平面，指向远离相机的正前方。
所述步骤（二）中，包含三部分：
（2.1）、标定多自由度机器人和3D相机的坐标关系，获得相机的视觉系统坐标系到多自由度机器人坐标系的转换关系；
（2.11）、首先，确保3D相机本身是进行标定过的，并且获取相机的内参，内参包含：焦距、主点位置、像素大小、分辨率、畸变参数；
（2.12）、其次，进行3D相机和多自由度机器人标定，定义多自由度机器人的末端到机器人底座的其次变换矩阵为
Figure 402996DEST_PATH_IMAGE001
，类似的3D相机到目标物体的变换矩阵为
Figure 611123DEST_PATH_IMAGE002
，使用多自由度机器人挂载3D相机，拍摄坐标点已知的标定板，记录多自由度机器人的位置和姿态；保持标定板不动，多次改变多自由度机器人的位置和姿态，拍摄标定板，其中不同的两次拍摄表示为：
Figure 314637DEST_PATH_IMAGE003
（1）
由于相机与末端之间的坐标关系不变，即
Figure 833DEST_PATH_IMAGE004
（2）
有：
Figure 4561DEST_PATH_IMAGE005
（3）
通过多次拍摄，求解上述方程，得到3D相机和多自由度机器人的坐标变换关系
Figure 649169DEST_PATH_IMAGE006
；
3D相机的手眼转换关系
Figure 839979DEST_PATH_IMAGE007
为：
Figure 595446DEST_PATH_IMAGE008
（4）
（2.13）、进一步进行闭环控制，得到3D相机坐标系和焊枪末端的工具坐标系的转换关系，使用焊枪末端碰触标定板中已知的位置点，得到其在多自由度机器人坐标系下的位置
Figure 922522DEST_PATH_IMAGE009
，使用3D相机拍摄标定板，从而得到上述已知位置点在3D相机坐标系中的位置
Figure 738031DEST_PATH_IMAGE010
，将表征
Figure 416137DEST_PATH_IMAGE011
和
Figure 978224DEST_PATH_IMAGE012
空间距离的能量方程P代入公式（4），求得
Figure 425386DEST_PATH_IMAGE013
为初值，进一步闭环迭代求解，求出最优化的手眼转换矩阵
Figure 880638DEST_PATH_IMAGE014
；
能量方程如下：
Figure 780461DEST_PATH_IMAGE015
其中，
Figure 612151DEST_PATH_IMAGE016
表点
Figure 179398DEST_PATH_IMAGE017
到
Figure 805552DEST_PATH_IMAGE018
的欧式距离，下标表示多个位置点；
（2.2）、标定多自由度机器人的TCP工作坐标系，获得焊枪尖端在多自由度机器人坐标系统中的位置转换关系；
TCP工作标定方法包括：直接输入法、四点法、六点法；其中所述的四点法标定方法具体为：
（2.21）、建立一个新的机器人TCP坐标系；
（2.22）、在多自由度机器人的工作空间内放置一个固定点，通常使用一个锥形的尖点；
（2.23）、通过控制多自由度机器人的姿态，使TCP与空间内的固定点重合；
（2.24）、重复上述步骤3次，改变多自由度机器人的姿态使TCP移动到同一点；
（2.25）、以四次TCP点在世界坐标系中坐标相等为条件来建立方程组并求解，从而实现工具坐标系位置的标定，获得焊接系统末端焊枪坐标在多自由度机器人系统坐标系中的位姿转换关系
Figure 458250DEST_PATH_IMAGE019
；
（2.3）、标定多自由度机器人系统坐标系和移动机器人坐标系，获得将多自由度机器人系转换到移动机器人坐标系的矩阵；
使用机器人挂载3D相机，拍摄坐标点已知的标定板，记录改变移动机器人的位置和姿态；保持标定板不动，多次改变移动机器人的位置，每次改变的幅度尽量可能的大，然后调整机器人拍摄标定板，使用已经得到的相机和机器人变换关系
Figure 93631DEST_PATH_IMAGE020
，其中不同的两次拍摄表示为：
Figure 249805DEST_PATH_IMAGE021
通过多次拍摄，求解上述方程，得到改变移动机器人基座坐标系到系统基础坐标系的变换关系
Figure 312439DEST_PATH_IMAGE022
。
所述步骤（三）中，所述的工件坐标系的坐标原点设置在工作特征明显处，为多个平面的交点，或者角点，便于找正；所述工件坐标系的X，Y，Z方向尽量和主要结构特征方向一致；即：首先，将目标工件置于基础平面的工作区域，然后调整支撑结构，让工件坐标系的X，Y，Z方向与基础坐标系的X，Y，Z方向基本重合，所述的基本重合表明他们的角度误差在2°以内；其次，使用3D相机拍摄工件坐标系原点位置，提取工件坐标系原点特征，然后将工件坐标系原点的坐标转化到基础坐标系下，得到工件坐标系和基础坐标系的转化关系，进而获得工件在基础坐标系的位置。
所述步骤（三）中，具体实现步骤为：
（3.1）、控制移动机器人运动到目标点附近，控制多自由度机器人使得3D相机能够拍摄到目标点；
（3.2）、拍摄点云，上传到工控机进行处理；
（3.3）、根据选定的工件坐标原定类型进行数据处理，对三维点云进行平面拟合，找到三个平面，进而求得平面的交点O(x,y,z)，当前O(x,y,z)为相机坐标系下的坐标；
（3.4）、将O（x,y,z）转化到基础坐标系下：
Figure 186854DEST_PATH_IMAGE023
因为工件坐标系相对于基础坐标系只存在平移变换，所以工件坐标到基坐标系在XYZ三个方向的变换值为
Figure 625926DEST_PATH_IMAGE024
。
所述步骤（四）中，规划机器人的运动路径和相机的拍照位置和姿态，所述的相机拍照位置和姿态，单次拍照对应一个或多个焊接特征，或者多次拍照对应一个焊接特征，所述的焊接特征是目标焊接位置，是一个点，或者一条直线，或者一条曲线；所述的相机拍照位置和姿态，应能使相机处于一个方便拍摄目标特征的位置和姿态，当相机处于所述方便拍摄的位置和姿态时：相机处于有效工作距离内，目标特征在相机的视场范围内，目标特征所处的区域的主法向方向尽量平行相机Z轴方向，所述机器人运动路径，是使机器人运动到目标位置的最短安全路径，所述目标位置应能使机器人的臂展和自由度满足相机到达目标拍摄位置和姿态；
所述机器人的运动路径和相机的拍照位置和姿态规划方法，包含：通过离线编程软件规划，通过参数化的方法实现，通过示教的方式实现。
所述步骤（五）中，生成机器人运动控制和焊接程序包含了：移动机器人的运动控制程序，多自由度机器人的控制程序以及焊接程序；
所述多自由度机器人的控制程序，包含了机械臂的运控控制程序，以及和相机之间的通讯程序，和焊接系统，以及运动机器人之间的通讯程序；
程序生成方式，包含：人工离线编制的模板程序，离线编程软件使用数模驱动生成的程序，以及示教器生成的示教程序；所生成的机器人程序满足对应品牌机器人的语法规则、数据格式，在对应的品牌机器人上直接运行；如果是人工离线编制的模板程序或者离线编程软件使用数模驱动生成的程序，运行前首先需要将生成的机器人程序下发到机器人控制器，其方式是有线、无线传输，或使用存储装置进行拷贝。
所述步骤（六）中，包含以下步骤：
（6.1）、首先，控制移动机器人和移动机器人回到坐标零点；
（6.2）、其次，控制移动机器人到达第一个目标位置P1；
（6.3）、然后，在P1处，控制多自由度机器人到达第一个拍照位置，然后拍照，将数据发送到工控机进行处理；如果P1处存在下一个拍照位置，继续运动到下一个拍照位置，然后拍照，上传；直到完成P1处全部拍照任务；
（6.4）、使用工控机对P1处所有的点云信息进行融合，识别焊接特征的关键信息；所述的识别焊接特征的关键信息，是以3D点云作为输入，使用几何算法或者神经网络方法，识别焊接特征的关键点位信息；所述的关键点位信息包括线段的起点、末点、方向；样条曲线参数；圆弧参数；多个离散点的坐标；
（6.5）、通过上述关键点位信息，计算焊枪轨迹；所述焊枪轨迹包括焊枪的位置和姿态信息；
（6.6）、将焊枪轨迹信息发给机器人控制器，机器人控制器收到上述焊枪轨迹以后，引导移动机器人进行走位，同时调用相应的焊接程序进行焊接；
（6.7）、移动机器人运动到P2位置，进行循环：重复步骤（6.3）-（6.6），直到完成焊接，或者停止。
本发明的积极效果：
（1）、本发明针对大型结构件，尺度大、一致性差的特点，使用复合机器人和三维视觉技术，有效提高系统柔性，降低系统成本。
（2）、本发明使用复合机器人和三维视觉技术相结合，实质是使用了基于移动平台的粗定位技术结合了高精度三维视觉技术的精确识别定位技术，扩展了多自由机器人在XYZ三维方向的工作范围，实现了大型结构件的柔性焊接任务。相比传统通过外部轴扩展机器人工作范围的方案，本方案成本低；并且本方案扩展的工作范围在XY方向上远大于外部轴的方式，只要条件允许，在XY方向上可以任意的扩展其工作范围。并且成本的增加可以忽略。所以本方案针对大型和超大型工件的焊接具有非常高的成本优势；此外本方案占地面积小，对工件的吊装无干涉也是本方案的有益效果。
（3）、与传统的使用接触寻位、激光寻位的机器人焊接系统相比，由于本发明使用三维视觉技术，容差能力更强。因此对工件的加工组对精度、对运动机器人的定位精度，对工件摆放精度的要求都更低，有利于降低成本和提高柔性，扩展适用范围。
（4）、本发明实现了大型结构件的自动化焊接，相比于当前普遍的人工焊接手段，有利于节省人力，提高生产效率，提升焊接质量。
附图说明
图1是本发明的系统结构图。
具体实施方式
下面结合附图对本发明做详细叙述。
参照图1，本发明旨在提出一种复合机器人和三维视觉的大型结构件自动焊接系统及方法，利用移动机器人扩展工业机器人的工作范围，然后使用3D视觉技术进行末端精确识别定位进而自动化地完成焊接任务，扩大系统工作范围，提高系统的柔性，降低系统的成本。
一种复合机器人和三维视觉的大型结构件自动焊接系统，包括移动机器人3和安装在移动机器人3上方的多自由度机器人2所组成的复合机器人系统；安装在多自由度机器人2末端用于焊接目标工件1的焊接系统；以及安装在多自由度机器人2末端或安装在焊接系统上的三维视觉系统，三维视觉系统对复合机器人系统、焊接系统和目标工件进行全局标定和定位。
所述移动机器人3包括一个移动机器人底盘13，所述移动机器人底盘13包含了运动模块、控制模块、导航传感器和结构件组成。底盘13上紧固设置有外壳15，外壳15内设置有为整个系统提供能源的可充电电池组11和电源12、多自由度机器人2的控制器10以及焊接系统的焊机9，可充电电池组11还可通过外壳15上的电源接口14连接外部供电，整个系统工作时，可以使用电池组11供电，也可以使用电源12供电。
所述的移动机器人3是一种带有全局导航定位功能的可移动机器人平台，其空间定位精度优于20mm，所述的全局导航定位是通过导航功能进行粗定位，包含电磁法、二维码法、视觉SLAM、视觉跟踪、惯性导航，以及多项上述方法复合的方案，当使用电磁法或者二维码导航定位法时，地面上铺设了相对应的导航线4。当使用视觉跟踪技术，对移动机器人进行定位时，所述移动机器人3的外壳15上印有一个或者多个跟踪靶标16，额外的相机通过拍摄靶标确定移动机器人的位置。作为一种替代方案，靶标可以是经过特殊设计的一种发光或者反光结构直接安装在移动机器人上。
所述移动机器人3优选带有升降功能的移动机器人平台。所述机器人控制器10包含用于控制机器人电机运动的控制器，以及用于驱动机器人电机的驱动器，统称为控制器。
所述的多自由度机器人2包含刚性安装在移动机器人3上的多自由度机器人本体6，多自由度机器人本体6和机器人示教器都通过电缆和外壳15内控制器10信号连接，多自由度机器人2由移动机器人3背负运动，用于扩展多自由度机器人的工作范围。所述多自由度机器人2优选具有六个自由度以上机械臂，所述是机械臂是工业机器人或者协作机器人，所述机械臂的臂展优选范围在0.5m-2m。
所述的焊接系统，包括位于外壳15内的焊机9，以及与焊机9连接的焊枪以及必要的其他部件组成，焊枪7设置在多自由度机器人本体6的末端；所述其他部件包含送丝机、焊丝、水箱、保护气体及储存装置、空气压缩机，用于完成完整的焊接工艺。
所述的三维视觉系统包含3D相机5，3D相机5安装在多自由度机器人本体6的末端，或者安装在焊枪7上，或者只要能让相机方便的拍摄目标工件。3D相机5通过线缆和外壳15上的工控机8相连，工控机8可安装于外壳15上任意合适操作的位置，工控机8通过线缆和机器人控制器10相连。
所述的3D相机5获取待焊接工件的三维特征信息，测量精度不低于0.5mm，深度图帧速率大于1帧每秒，所述3D相机5是低功耗、小体积、低重量的3D相机，所述3D相机5优选激光作为光源，以提高抗光性。所述3D相机5优选基于MEMS的结构光3D相机，以满足上述特征。所述的3D相机5设置防护装置用于保护相机不受高温、飞溅、烟尘的影响而能正常工作。
所述的目标工件1是适宜焊接加工的大型金属结构件，指工件至少一个维度在5m-500m以内，目标工件1放置在基础平面上，基础平面是一个平坦没有起伏的平面，优选水平平面；移动机器人3搭载多自由度机器人2、三维视觉系统、焊接系统，在基础平面上围绕目标工件运动，通过导航功能进行粗定位，通过升降功能扩展垂直基础平面方向上的工作范围。
基于一种复合机器人和三维视觉的大型结构件自动焊接系统的焊接方法，包含以下步骤：
（一）、建立移动机器人3和多自由度机器人2所组成的复合机器人系统的系统坐标系；
（二）、标定焊接系统和三维视觉系统这两个系统与复合机器人系统坐标系之间的关系；
（三）、将目标工件1放置在工作区域，对齐工件坐标系到全局坐标系；
（四）、规划移动机器人3的运动路径和三维视觉系统中3D相机5的拍照位置和姿态；
（五）、生成运动控制和焊接程序；
（六）、移动机器人3实现焊接。
所述的步骤（一）具体为：
（1.1）、所述移动机器人3搭载多自由度机器人2、三维视觉系统、焊接系统，在基础平面上围绕目标工件1运动，通过导航功能进行粗定位，通过升降功能扩展垂直基础平面方向上的工作范围；
导航功能进行粗定位的方法包含电磁法、二维码法、视觉SLAM、视觉跟踪、惯性导航，以及所述方法的复合方案；当使用电磁法或者二维码导航定位法时，地面上铺设了相对应的导航线4。当使用视觉跟踪技术，对移动机器人3进行定位时，所述移动机器人3的外壳15上印有一个或者多个跟踪靶标16，额外的两个或多个相机通过拍摄靶标确定移动机器人的位置。作为一种替代方案，靶标可以是经过特殊设计的一种发光或者反光结构直接安装在移动机器人上，以保证不同角度的相机在任意角度都可以观察到靶标。
（1.2）、建立复合机器人系统的坐标系：建立一个移动机器人3的坐标系统，其坐标原点在基础平面上固定的一点，XY平面和基础平面重合，Z方向和基础平面垂直向上，该坐标系是全局的基础坐标系；建立多自由度机器人2坐标系，为了方便操作，其坐标原点在机械臂的基座上，其X、Y、Z方向和移动机器人3的坐标系相重合；建立三维视觉系统坐标系，其坐标原点在3D相机5镜头的光心，X方向为由相机镜头光心指向投影系统光心，Y轴方向垂直X轴、平行相机成像芯片，Z轴垂直XY平面，指向远离相机的正前方。
所述步骤（二）中，包含三部分：
（2.1）、标定多自由度机器人2和3D相机5的坐标关系，获得相机的视觉系统坐标系到多自由度机器人2坐标系的转换关系。
（2.11）、首先，确保3D相机5本身是进行标定过的，并且获取相机的内参，内参包含：焦距、主点位置、像素大小、分辨率、畸变参数。
（2.12）、其次，进行3D相机5和多自由度机器人2标定，定义多自由度机器人2的末端到机器人的底座的其次变换矩阵为
Figure 167766DEST_PATH_IMAGE025
，类似的3D相机5到目标物体的变换矩阵为
Figure 401301DEST_PATH_IMAGE026
。使用多自由度机器人2挂载3D相机5，拍摄坐标点已知的标定板，记录多自由度机器人2的位置和姿态；保持标定板不动，多次改变多自由度机器人2的位置和姿态，拍摄标定板，其中不同的两次拍摄可表示为：
Figure 763012DEST_PATH_IMAGE027
由于相机与末端之间的坐标关系不变，即
Figure 740196DEST_PATH_IMAGE028
，
有：
Figure 136542DEST_PATH_IMAGE029
通过多次拍摄，求解上述方程，得到3D相机5和多自由度机器人2的坐标变换关系
Figure 540978DEST_PATH_IMAGE030
。
3D相机5的手眼转换关系
Figure 655565DEST_PATH_IMAGE031
为：
Figure 436439DEST_PATH_IMAGE032
（2.13）、进一步进行闭环控制，得到3D相机5坐标系和焊枪7末端的工具坐标系的转换关系。优选地，增加以下流程，提高标定精度。使用焊枪末端碰触标定板中已知的位置点，得到其在多自由度机器人2工具坐标系下的位置
Figure 687292DEST_PATH_IMAGE033
，使用3D相机拍摄标定板，从而得到上述已知位置点在3D相机坐标系中的位置
Figure 262630DEST_PATH_IMAGE034
。将表征
Figure 598933DEST_PATH_IMAGE035
和
Figure 917919DEST_PATH_IMAGE036
空间距离的能量方程P带入上述的优化过程，以前述步骤求得
Figure 23278DEST_PATH_IMAGE037
为初值，进一步闭环迭代求解，求出最优化的手眼转换矩阵
Figure 769517DEST_PATH_IMAGE038
。下述的手眼转换矩阵，均为本步骤得到的最优的
Figure 327538DEST_PATH_IMAGE039
，无论是否使用闭环控制优化。
能量方程如下：
Figure 470722DEST_PATH_IMAGE040
其中，
Figure 430588DEST_PATH_IMAGE041
表点
Figure 347728DEST_PATH_IMAGE042
到
Figure 924203DEST_PATH_IMAGE043
的欧式距离，下标表示多个位置点。
（2.2）、标定机器人TCP工作坐标系，获得焊枪7尖端在多自由度机器人2坐标系统中的位置转换关系。
机器人的TCP标定方法包含：直接输入法、四点法、六点法。在本实施案例中，使用四点法进行标定。
（2.21）、建立一个新的机器人TCP坐标系。
（2.22）、在多自由度机器人2的工作空间内放置一个固定点，通常使用一个锥形的尖点。
（2.23）、通过控制多自由度机器人2的姿态，使TCP与空间内的固定点重合。
（2.24）、重复上述步骤3次，改变多自由度机器人2的姿态使TCP移动到同一点。
（2.25）、以四次TCP点在世界坐标系中坐标相等为条件来建立方程组并求解，从而实现工具坐标系位置的标定。获得焊接系统末端焊枪7坐标在多自由度机器人2系统坐标系中的位姿转换关系
Figure 584992DEST_PATH_IMAGE044
。
（2.3）、标定多自由度机器人坐标系和移动机器人坐标系，获得将多自由度机器人坐标系转换到移动机器人坐标系的矩阵。
使用机器人挂载3D相机，拍摄坐标点已知的标定板，记录改变移动机器人3的位置和姿态；保持标定板不动，多次改变移动机器人3的位置，每次改变的幅度尽量可能的大，然后调整机器人拍摄标定板，使用已经得到的相机和机器人变换关系
Figure 399364DEST_PATH_IMAGE045
，其中不同的两次拍摄可表示为：
Figure 18564DEST_PATH_IMAGE046
通过多次拍摄，求解上述方程，得到改变移动机器人3基座坐标系到系统基础坐标系的变换关系
Figure 551177DEST_PATH_IMAGE047
。
所述步骤（三）中，所述的工件坐标系的坐标原点设置在工作特征明显处，优选多个平面的交点，或者角点，便于找正。所述工件坐标系的X，Y，Z方向尽量和主要结构特征方向一致；优选地，选择最长尺度方向为X方向，便于摆放。作为一种替代方案，可设置两个或者多个沿着X方向分布的限位机构，以便工件靠齐X轴。即首先，将目标工作1置于基础平面的工作区域，然后调整支撑结构，让工件坐标系的X，Y，Z方向与基础坐标系的X，Y，Z方向基本重合，所述的基本重合表明他们的角度误差在2°以内。
其次，使用3D相机5拍摄工件坐标系原点位置，提取工件坐标系原点特征，然后将工件坐标系原点的坐标转化到机器人系统的基础坐标系下，得到工件坐标系和基础坐标系的转化关系，进而获得工件在基础坐标系的位置。
所述步骤（三）的具体实现步骤为：
（3.1）、控制移动机器人3运动到目标点附近，控制多自由度机器人2使得3D相机5能够拍摄到目标点；
（3.2）、拍摄点云，上传到工控机8进行处理；
（3.3）、根据选定的工件坐标原定类型进行数据处理，在本实施案例中以三面角接的交点为例。对三维点云进行平面拟合，找到三个平面，进而求得平面的交点O(x,y,z)，当前O(x,y,z)为相机坐标系下的坐标；
（3.4）、将O（x,y,z）转化到基础坐标系下：
Figure 281235DEST_PATH_IMAGE048
因为工件坐标系相对于基础坐标系只存在平移变换，所以工件坐标到基坐标系在XYZ三个方向的变换值为
Figure 950114DEST_PATH_IMAGE049
。
作为一种替代方案，使用多自由度机器人焊枪尖端触碰工件坐标系原点，然后将工件坐标系原点的坐标转化到机器人系统的基础坐标系下，得到工件坐标系和基础坐标系的转化关系，进而获得工作在基础坐标系的位置。具体实施方案如上。
当机器人程序为离线生成时，使用上述变换将基于工件坐标系生成机器人程序中的位置信息进行平移变换。
所述步骤（四）中，规划机器人的运动路径和相机的拍照位置和姿态，所述的相机拍照位置和姿态，单次拍照可以对应一个或多个焊接特征，或者多次拍照对应一个焊接特征，所述的焊接特征是目标焊接位置，是一个点，或者一条直线，或者一条曲线；所述的相机拍照位置和姿态，应能使相机处于一个方便拍摄目标特征的位置和姿态，当相机处于所述方便拍摄的位置和姿态时：相机处于有效工作距离内，目标特征在相机的视场范围内，目标特征所处的区域的主法向方向尽量平行相机Z轴方向，以获得最佳拍摄效果。所述机器人运动路径，是使机器人运动到目标位置的最短安全路径，所述目标位置应能使机器人的臂展和自由度满足相机到达目标拍摄位置和姿态；
所述机器人的运动路径和相机的拍照位置和姿态规划方法，包含：通过离线编程软件规划，通过参数化的方法实现，通过示教的方式实现。
所述步骤（五）中，生成机器人运动控制和焊接程序包含了：移动机器人3的运动控制程序，多自由度机器人2的控制程序以及焊接程序。
优选地，使用多自由机器人2作为主控，和移动机器人3、3D相机5、焊接系统进行通讯并进行控制。
作为一种替代方案，使用工控机8作为主控，控制移动机器人3、多自由度机器人2、和焊接系统。
作为一种替代方案，使用外置的PLC作为主控，控制移动机器人3、多自由度机器人2、和焊接系统。
所述多自由度机器人2的控制程序，包含了机械臂的运控控制程序；以及和相机之间的通讯程序；和焊接系统以及运动机器人之间的通讯程序。
所述的程序生成方式，包含：人工离线编制的模板程序，离线编程软件使用数模驱动生成的程序，以及示教器生成的示教程序。所生成的机器人程序满足对应品牌机器人的语法规则、数据格式，可以在对应的品牌机器人上直接运行。如果是人工离线编制的模板程序或者离线编程软件使用数模驱动生成的程序，运行前首先需要将生成的机器人程序下发到机器人控制器，其方式可以是有线、无线传输，也可以使用存储装置进行拷贝。在本发明的另一个实施方案中，由上位机通过实时控制机器人进行在线运行，无需将程序下发到机器人控制器。
所述步骤（六）中，包含以下步骤：
（6.1）、首先，控制移动机器人3和移动机器人3回到坐标零点；
（6.1）、其次，控制移动机器人3到达第一个目标位置P1；
（6.3）、然后，在P1处，控制多自由度机器人2到达第一个拍照位置，然后拍照，将数据发送到工控机8进行处理；如果P1处存在下一个拍照位置，继续运动到下一个拍照位置，然后拍照，上传；直到完成P1处全部拍照任务；
（6.4）、使用工控机8对P1处所有的点云信息进行融合，识别焊接特征的关键信息；所述的识别焊接特征的关键信息，是以3D点云作为输入，使用几何算法或者神经网络方法，识别焊接特征的关键点位信息；所述的关键点位信息包括线段的起点、末点、方向；样条曲线参数；圆弧参数；多个离散点的坐标；
作为一种替代方案，可以先进行识别，识别出所述关键特征信息，然后将特征进行融合，得到融合之后的新的关键特征信息，所述新的关键特征信息包含，线段的起点、末点、方向；样条曲线参数；圆弧参数；多个离散点的坐标。
所述的点位置、方向信息均已转换到系统的基础坐标系下。
（6.5）、通过上述关键点位信息，计算焊枪轨迹；所述焊枪轨迹包括焊枪的位置和姿态信息；
（6.6）、将焊枪7轨迹信息发给机器人控制器10，机器人控制器10收到上述焊枪7轨迹以后，引导移动机器人3进行走位，同时调用相应的焊接程序进行焊接；
（6.7）、移动机器人3运动到P2位置，进行循环：重复步骤（6.3）-（6.6），直到完成焊接，或者停止。
应强调,在本说明书中使用术语“包括/包含”时,其被理解为规定存在所述的特征、整数、步骤或组分,但不排除存在或添加一个或多个其他特征、整数、步骤、组分或其群组。
上文和下文描述的方法的特征可以软件实施,且可通过执行计算机可执行指令而在数据处理系统或其他处理工具上执行。指令可以是程序代码, 其从存储介质或经由计算机网络从另一台计算机载入内存（例如RAM）。或者, 所述的特征可由硬连线电路代替软件实现, 或由硬连线电路和软件组合实现。

Claims (10)

1.一种复合机器人和三维视觉的大型结构件自动焊接系统，其特征在于，包括移动机器人（3）和安装在移动机器人（3）上方的多自由度机器人（2）所组成的复合机器人系统；安装在多自由度机器人（2）末端用于焊接目标工件（1）的焊接系统；以及安装在多自由度机器人（2）末端或安装在焊接系统上的三维视觉系统，三维视觉系统对复合机器人系统、焊接系统和目标工件进行全局标定和定位。
2.根据权利要求1所述的一种复合机器人和三维视觉的大型结构件自动焊接系统，其特征在于，
所述移动机器人（3）包括一个移动机器人底盘（13），底盘（13）上紧固设置有外壳（15），外壳（15）内设置有为整个系统提供能源的可充电电池组（11）、电源（12）、多自由度机器人（2）的控制器（10）以及焊接系统的焊机（9），可充电电池组（11）还通过外壳（15）上的电源接口（14）连接外部供电；
所述的多自由度机器人（2）包括多自由度机器人本体（6），多自由度机器人本体（6）和其示教器都通过电缆和外壳（15）内的控制器（10）信号连接；
所述的焊接系统，包括位于外壳（15）内的焊机（9），以及与焊机（9）连接的焊枪（7），焊枪（7）设置在多自由度机器人本体（6）的末端；
所述的三维视觉系统包含3D相机（5），3D相机（5）安装在多自由度机器人本体（6）的末端，或者安装在焊枪（7）上，3D相机（5）通过线缆和外壳（15）的工控机（8）相连，工控机（8）通过线缆和机器人控制器（10）相连；
所述的3D相机（5）测量精度不低于0.5mm，深度图帧速率大于1帧每秒；
所述多自由度机器人（2）具有六个自由度以上机械臂，所述机械臂的臂展范围在0.5m-2m。
3.根据权利要求2所述的一种复合机器人和三维视觉的大型结构件自动焊接系统的焊接方法，其特征在于，包括：
（一）、建立移动机器人（3）和多自由度机器人（2）所组成的复合机器人系统的系统坐标系；
（二）、标定焊接系统和三维视觉系统这两个系统与复合机器人系统坐标系之间的关系；
（三）、将目标工件（1）放置在工作区域，对齐工件坐标系到全局坐标系；
（四）、规划移动机器人（3）的运动路径和三维视觉系统中3D相机（5）的拍照位置和姿态；
（五）、生成运动控制和焊接程序；
（六）、移动机器人（3）实现焊接。
4.根据权利要求3所述的焊接方法，其特征在于，所述的步骤（一）具体为：
（1.1）、所述移动机器人（3）搭载多自由度机器人（2）、三维视觉系统、焊接系统，在基础平面上围绕目标工件（1）运动，通过导航功能进行粗定位，通过升降功能扩展垂直基础平面方向上的工作范围；
导航功能进行粗定位的方法包含电磁法、二维码法、视觉SLAM、视觉跟踪、惯性导航，以及所述方法的复合方案；当使用电磁法或者二维码导航定位法时，地面上铺设了相对应的导航线（4）；当使用视觉跟踪技术，对移动机器人（3）进行定位时，所述移动机器人（3）的外壳（15）上印有一个或者多个跟踪靶标（16），额外的相机通过拍摄靶标确定移动机器人的位置；
（1.2）、建立一个移动机器人（3）的坐标系统，其坐标原点在基础平面上，XY平面和基础平面重合，Z方向和基础平面垂直向上，该坐标系是全局的基础坐标系；建立多自由度机器人（2）坐标系，其坐标原点在机械臂的基座上，其X、Y、Z方向和移动机器人（3）的坐标系相重合；建立三维视觉系统坐标系，其坐标原点在3D相机（5）镜头的光心，X方向为由相机镜头光心指向投影系统光心，Y轴方向垂直X轴、平行相机成像芯片，Z轴垂直XY平面，指向远离相机的正前方。
5.根据权利要求3所述的焊接方法，其特征在于，所述步骤（二）中，包含三部分：
（2.1）、标定多自由度机器人（2）和3D相机（5）的坐标关系，获得相机的视觉系统坐标系到多自由度机器人（2）坐标系的转换关系；
（2.11）、首先，确保3D相机（5）本身是进行标定过的，并且获取相机的内参，内参包含：焦距、主点位置、像素大小、分辨率、畸变参数；
（2.12）、其次，进行3D相机（5）和多自由度机器人（2）标定，定义多自由度机器人（2）的末端到机器人底座的其次变换矩阵为
Figure 623608DEST_PATH_IMAGE001
，类似的3D相机（5）到目标物体的变换矩阵为
Figure 806327DEST_PATH_IMAGE002
，使用多自由度机器人（2）挂载3D相机（5），拍摄坐标点已知的标定板，记录多自由度机器人（2）的位置和姿态；保持标定板不动，多次改变多自由度机器人（2）的位置和姿态，拍摄标定板，其中不同的两次拍摄表示为：
Figure 120153DEST_PATH_IMAGE003
（1）
由于相机与末端之间的坐标关系不变，即
Figure 780941DEST_PATH_IMAGE004
（2）
有：
Figure 860893DEST_PATH_IMAGE005
（3）
通过多次拍摄，求解上述方程，得到3D相机（5）和多自由度机器人（2）的坐标变换关系
Figure 948934DEST_PATH_IMAGE006
；
3D相机（5）的手眼转换关系
Figure 215968DEST_PATH_IMAGE007
为：
Figure 680447DEST_PATH_IMAGE008
（4）
（2.13）、进一步进行闭环控制，得到3D相机（5）坐标系和焊枪（7）末端的工具坐标系的转换关系，使用焊枪末端碰触标定板中已知的位置点，得到其在多自由度机器人（2）坐标系下的位置
Figure 614905DEST_PATH_IMAGE009
，使用3D相机拍摄标定板，从而得到上述已知位置点在3D相机坐标系中的位置
Figure 873848DEST_PATH_IMAGE010
，将表征
Figure 893757DEST_PATH_IMAGE011
和
Figure 896348DEST_PATH_IMAGE012
空间距离的能量方程P代入公式（4），求得
Figure 685312DEST_PATH_IMAGE013
为初值，进一步闭环迭代求解，求出最优化的手眼转换矩阵
Figure 380736DEST_PATH_IMAGE014
；
能量方程如下：
Figure 887940DEST_PATH_IMAGE015
其中，
Figure 428643DEST_PATH_IMAGE016
表点
Figure 337693DEST_PATH_IMAGE017
到
Figure 938439DEST_PATH_IMAGE018
的欧式距离，下标表示多个位置点；
（2.2）、标定多自由度机器人（2）的TCP工作坐标系，获得焊枪（7）尖端在多自由度机器人（2）坐标系统中的位置转换关系；
TCP工作标定方法包括：直接输入法、四点法、六点法；其中所述的四点法标定方法具体为：
（2.21）、建立一个新的机器人TCP坐标系；
（2.22）、在多自由度机器人（2）的工作空间内放置一个固定点，通常使用一个锥形的尖点；
（2.23）、通过控制多自由度机器人（2）的姿态，使TCP与空间内的固定点重合；
（2.24）、重复上述步骤3次，改变多自由度机器人（2）的姿态使TCP移动到同一点；
（2.25）、以四次TCP点在世界坐标系中坐标相等为条件来建立方程组并求解，从而实现工具坐标系位置的标定，获得焊接系统末端焊枪（7）坐标在多自由度机器人（2）系统坐标系中的位姿转换关系
Figure 667361DEST_PATH_IMAGE019
；
（2.3）、标定多自由度机器人系统坐标系和移动机器人坐标系，获得将多自由度机器人系转换到移动机器人坐标系的矩阵；
使用机器人挂载3D相机，拍摄坐标点已知的标定板，记录改变移动机器人（3）的位置和姿态；保持标定板不动，多次改变移动机器人（3）的位置，每次改变的幅度尽量可能的大，然后调整机器人拍摄标定板，使用已经得到的相机和机器人变换关系
Figure 11754DEST_PATH_IMAGE020
，其中不同的两次拍摄表示为：
Figure 775311DEST_PATH_IMAGE021
通过多次拍摄，求解上述方程，得到改变移动机器人（3）基座坐标系到系统基础坐标系的变换关系
Figure 812537DEST_PATH_IMAGE022
。
6.根据权利要求3所述的焊接方法，其特征在于，所述步骤（三）中，所述的工件坐标系的坐标原点设置在工作特征明显处，为多个平面的交点，或者角点，便于找正；所述工件坐标系的X，Y，Z方向尽量和主要结构特征方向一致；即：首先，将目标工件（1）置于基础平面的工作区域，然后调整支撑结构，让工件坐标系的X，Y，Z方向与基础坐标系的X，Y，Z方向基本重合，所述的基本重合表明他们的角度误差在2°以内；其次，使用3D相机（5）拍摄工件坐标系原点位置，提取工件坐标系原点特征，然后将工件坐标系原点的坐标转化到基础坐标系下，得到工件坐标系和基础坐标系的转化关系，进而获得工件在基础坐标系的位置。
7.根据权利要求6所述的焊接方法，其特征在于，所述步骤（三）中，具体实现步骤为：
（3.1）、控制移动机器人（3）运动到目标点附近，控制多自由度机器人（2）使得3D相机（5）能够拍摄到目标点；
（3.2）、拍摄点云，上传到工控机（8）进行处理；
（3.3）、根据选定的工件坐标原定类型进行数据处理，对三维点云进行平面拟合，找到三个平面，进而求得平面的交点O(x,y,z)，当前O(x,y,z)为相机坐标系下的坐标；
（3.4）、将O（x,y,z）转化到基础坐标系下：
Figure 28755DEST_PATH_IMAGE023
因为工件坐标系相对于基础坐标系只存在平移变换，所以工件坐标到基坐标系在XYZ三个方向的变换值为
Figure 176839DEST_PATH_IMAGE024
。
8.根据权利要求3所述的焊接方法，其特征在于，所述步骤（四）中，规划机器人的运动路径和相机的拍照位置和姿态，所述的相机拍照位置和姿态，单次拍照对应一个或多个焊接特征，或者多次拍照对应一个焊接特征，所述的焊接特征是目标焊接位置，是一个点，或者一条直线，或者一条曲线；所述的相机拍照位置和姿态，应能使相机处于一个方便拍摄目标特征的位置和姿态，当相机处于所述方便拍摄的位置和姿态时：相机处于有效工作距离内，目标特征在相机的视场范围内，目标特征所处的区域的主法向方向尽量平行相机Z轴方向，所述机器人运动路径，是使机器人运动到目标位置的最短安全路径，所述目标位置应能使机器人的臂展和自由度满足相机到达目标拍摄位置和姿态；
所述机器人的运动路径和相机的拍照位置和姿态规划方法，包含：通过离线编程软件规划，通过参数化的方法实现，通过示教的方式实现。
9.根据权利要求3所述的焊接方法，其特征在于，所述步骤（五）中，生成机器人运动控制和焊接程序包含了：移动机器人（3）的运动控制程序，多自由度机器人（2）的控制程序以及焊接程序；
所述多自由度机器人（2）的控制程序，包含了机械臂的运控控制程序，以及和相机之间的通讯程序，和焊接系统，以及运动机器人之间的通讯程序；
程序生成方式，包含：人工离线编制的模板程序，离线编程软件使用数模驱动生成的程序，以及示教器生成的示教程序；所生成的机器人程序满足对应品牌机器人的语法规则、数据格式，在对应的品牌机器人上直接运行；如果是人工离线编制的模板程序或者离线编程软件使用数模驱动生成的程序，运行前首先需要将生成的机器人程序下发到机器人控制器，其方式是有线、无线传输，或使用存储装置进行拷贝。
10.根据权利要求3所述的焊接方法，其特征在于，所述步骤（六）中，包含以下步骤：
（6.1）、首先，控制移动机器人（3）和移动机器人（3）回到坐标零点；
（6.2）、其次，控制移动机器人（3）到达第一个目标位置P1；
（6.3）、然后，在P1处，控制多自由度机器人（2）到达第一个拍照位置，然后拍照，将数据发送到工控机（8）进行处理；如果P1处存在下一个拍照位置，继续运动到下一个拍照位置，然后拍照，上传；直到完成P1处全部拍照任务；
（6.4）、使用工控机（8）对P1处所有的点云信息进行融合，识别焊接特征的关键信息；所述的识别焊接特征的关键信息，是以3D点云作为输入，使用几何算法或者神经网络方法，识别焊接特征的关键点位信息；所述的关键点位信息包括线段的起点、末点、方向；样条曲线参数；圆弧参数；多个离散点的坐标；
（6.5）、通过上述关键点位信息，计算焊枪轨迹；所述焊枪轨迹包括焊枪的位置和姿态信息；
（6.6）、将焊枪（7）轨迹信息发给机器人控制器（10），机器人控制器（10）收到上述焊枪（7）轨迹以后，引导移动机器人（3）进行走位，同时调用相应的焊接程序进行焊接；
（6.7）、移动机器人（3）运动到P2位置，进行循环：重复步骤（6.3）-（6.6），直到完成焊接，或者停止。
CN202210362511.2A 2022-04-08 2022-04-08 复合机器人和三维视觉的大型结构件自动焊接系统及方法 Active CN114434059B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202210362511.2A CN114434059B (zh) 2022-04-08 2022-04-08 复合机器人和三维视觉的大型结构件自动焊接系统及方法
PCT/CN2022/106029 WO2023193362A1 (zh) 2022-04-08 2022-07-15 一种复合机器人和三维视觉的大型结构件自动焊接系统及方法
EP22871144.6A EP4279211A4 (en) 2022-04-08 2022-07-15 AUTOMATIC WELDING SYSTEM AND PROCESS FOR LARGE STRUCTURAL PARTS BASED ON HYBRID ROBOTS AND 3D VISION
US18/041,129 US11951575B2 (en) 2022-04-08 2022-07-15 Automatic welding system and method for large structural parts based on hybrid robots and 3D vision

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210362511.2A CN114434059B (zh) 2022-04-08 2022-04-08 复合机器人和三维视觉的大型结构件自动焊接系统及方法

Publications (2)

Publication Number Publication Date
CN114434059A true CN114434059A (zh) 2022-05-06
CN114434059B CN114434059B (zh) 2022-07-01

Family

ID=81358983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210362511.2A Active CN114434059B (zh) 2022-04-08 2022-04-08 复合机器人和三维视觉的大型结构件自动焊接系统及方法

Country Status (4)

Country Link
US (1) US11951575B2 (zh)
EP (1) EP4279211A4 (zh)
CN (1) CN114434059B (zh)
WO (1) WO2023193362A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114749848A (zh) * 2022-05-31 2022-07-15 深圳了然视觉科技有限公司 一种基于3d视觉引导的钢筋焊接自动化系统
WO2023193362A1 (zh) * 2022-04-08 2023-10-12 西安知象光电科技有限公司 一种复合机器人和三维视觉的大型结构件自动焊接系统及方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117102725B (zh) * 2023-10-25 2024-01-09 湖南大学 一种钢混组合结构连接件焊接方法及系统
CN117484508B (zh) * 2023-12-11 2024-06-18 嘉兴布鲁艾诺机器人有限公司 一种上下料用多关节机器人的智能控制系统及方法
CN117884818B (zh) * 2024-02-03 2024-08-23 江苏科钛机器人有限公司 一种具有精准定位功能的焊接机器人
CN118023786B (zh) * 2024-04-09 2024-07-19 河南威猛振动设备股份有限公司 一种多工位智能体感焊接设备及焊接方法
CN118023799B (zh) * 2024-04-11 2024-07-16 华南理工大学 一种基于相机的人形焊接机器人自主焊接作业及规划方法
CN118061198B (zh) * 2024-04-18 2024-07-23 中国长江电力股份有限公司 用于水轮机顶盖熔覆加工的复合移动机器人自动编程方法
CN118099503B (zh) * 2024-04-26 2024-07-02 无锡黎曼机器人科技有限公司 可实现多层级电池模块自动堆叠的生产系统及其生产方法
CN118218866B (zh) * 2024-05-24 2024-07-26 江西东鸿实业有限公司 钢结构焊接工序的生成方法及钢结构焊接方法、系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030144765A1 (en) * 2002-01-31 2003-07-31 Babak Habibi Method and apparatus for single camera 3D vision guided robotics
JP2014128840A (ja) * 2012-12-28 2014-07-10 Kanto Seiki Kk ロボット制御システム
CN105904107A (zh) * 2016-04-21 2016-08-31 大族激光科技产业集团股份有限公司 移动机器人激光打标系统及激光打标方法
CN112060103A (zh) * 2020-08-07 2020-12-11 北京卫星制造厂有限公司 一种可移动超快激光加工机器人装备及加工方法
CN112958974A (zh) * 2021-02-08 2021-06-15 西安知象光电科技有限公司 一种基于三维视觉的可交互自动化焊接系统
CN112958959A (zh) * 2021-02-08 2021-06-15 西安知象光电科技有限公司 一种基于三维视觉的自动化焊接和检测方法
CN113634958A (zh) * 2021-09-27 2021-11-12 西安知象光电科技有限公司 一种基于三维视觉的大型结构件自动化焊接系统及方法
US20220016776A1 (en) * 2020-07-17 2022-01-20 Path Robotics, Inc. Real time feedback and dynamic adjustment for welding robots

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE1050763A1 (sv) * 2010-07-08 2010-07-12 Abb Research Ltd En metod för att kalibrera en mobil robot
US20220258267A1 (en) * 2021-02-15 2022-08-18 Illinois Tool Works Inc. Helmet based weld tracking systems
CN113954085A (zh) * 2021-09-08 2022-01-21 重庆大学 一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法
CN114434059B (zh) 2022-04-08 2022-07-01 西安知象光电科技有限公司 复合机器人和三维视觉的大型结构件自动焊接系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030144765A1 (en) * 2002-01-31 2003-07-31 Babak Habibi Method and apparatus for single camera 3D vision guided robotics
JP2014128840A (ja) * 2012-12-28 2014-07-10 Kanto Seiki Kk ロボット制御システム
CN105904107A (zh) * 2016-04-21 2016-08-31 大族激光科技产业集团股份有限公司 移动机器人激光打标系统及激光打标方法
US20220016776A1 (en) * 2020-07-17 2022-01-20 Path Robotics, Inc. Real time feedback and dynamic adjustment for welding robots
CN112060103A (zh) * 2020-08-07 2020-12-11 北京卫星制造厂有限公司 一种可移动超快激光加工机器人装备及加工方法
CN112958974A (zh) * 2021-02-08 2021-06-15 西安知象光电科技有限公司 一种基于三维视觉的可交互自动化焊接系统
CN112958959A (zh) * 2021-02-08 2021-06-15 西安知象光电科技有限公司 一种基于三维视觉的自动化焊接和检测方法
CN113634958A (zh) * 2021-09-27 2021-11-12 西安知象光电科技有限公司 一种基于三维视觉的大型结构件自动化焊接系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023193362A1 (zh) * 2022-04-08 2023-10-12 西安知象光电科技有限公司 一种复合机器人和三维视觉的大型结构件自动焊接系统及方法
US11951575B2 (en) 2022-04-08 2024-04-09 Xi'an Chishine Optoelectronics Technology Co., Ltd Automatic welding system and method for large structural parts based on hybrid robots and 3D vision
CN114749848A (zh) * 2022-05-31 2022-07-15 深圳了然视觉科技有限公司 一种基于3d视觉引导的钢筋焊接自动化系统

Also Published As

Publication number Publication date
EP4279211A4 (en) 2024-05-01
US11951575B2 (en) 2024-04-09
EP4279211A1 (en) 2023-11-22
US20230390853A1 (en) 2023-12-07
CN114434059B (zh) 2022-07-01
WO2023193362A1 (zh) 2023-10-12

Similar Documents

Publication Publication Date Title
CN114434059B (zh) 复合机器人和三维视觉的大型结构件自动焊接系统及方法
CN112122840B (zh) 一种基于机器人焊接的视觉定位焊接系统及焊接方法
CN108717715B (zh) 一种用于弧焊机器人的线结构光视觉系统自动标定方法
CN102825602B (zh) 一种基于psd的工业机器人自标定方法及装置
JP4171488B2 (ja) オフラインプログラミング装置
CN114289934B (zh) 一种基于三维视觉的大型结构件自动化焊接系统及方法
CN111781894B (zh) 利用机器视觉进行装配工具空间定位及姿态导航的方法
KR20040106251A (ko) 3차원 건조물의 용접제어방법
CN112958959A (zh) 一种基于三维视觉的自动化焊接和检测方法
CN114043087A (zh) 一种三维轨迹激光焊接焊缝跟踪姿态规划方法
CN108827154A (zh) 一种机器人无示教抓取方法、装置及计算机可读存储介质
CN113246142B (zh) 一种基于激光引导的测量路径规划方法
CN210819622U (zh) 移动操作机器人大尺度空间高精度在线标定系统
CN113146620A (zh) 基于双目视觉的双臂协作机器人系统和控制方法
CN117047237B (zh) 一种异形件智能柔性焊接系统与方法
CN110039520B (zh) 一种基于图像对比的示教、加工系统
CN112958974A (zh) 一种基于三维视觉的可交互自动化焊接系统
CN114888501A (zh) 一种基于三维重建的无示教编程建筑构件焊接装置及方法
CN110695494B (zh) 波纹板外部轴跟踪系统及其方法
CN113664831B (zh) 一种获取焊缝点云信息的焊接机器人系统及方法
CN114643577B (zh) 一种通用型机器人视觉自动标定装置和方法
CN114800574A (zh) 一种基于双三维相机的机器人自动化焊接系统及方法
CN114670203A (zh) 一种激光视觉引导机器人自动焊接手眼标定方法
CN111283676B (zh) 三轴机械臂的工具坐标系标定方法以及标定装置
CN114248293B (zh) 一种基于2d激光轮廓仪与2d相机的带孔零件抓取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant