CN115026470A - 一种面向钢筋网片的机器人焊接系统及方法 - Google Patents

一种面向钢筋网片的机器人焊接系统及方法 Download PDF

Info

Publication number
CN115026470A
CN115026470A CN202210655102.1A CN202210655102A CN115026470A CN 115026470 A CN115026470 A CN 115026470A CN 202210655102 A CN202210655102 A CN 202210655102A CN 115026470 A CN115026470 A CN 115026470A
Authority
CN
China
Prior art keywords
coordinate system
robot
transformation matrix
relative pose
welding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210655102.1A
Other languages
English (en)
Other versions
CN115026470B (zh
Inventor
王刚
牟力胜
蒲华燕
罗均
刘鸿亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
University of Shanghai for Science and Technology
Original Assignee
Chongqing University
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University, University of Shanghai for Science and Technology filed Critical Chongqing University
Priority to CN202210655102.1A priority Critical patent/CN115026470B/zh
Publication of CN115026470A publication Critical patent/CN115026470A/zh
Application granted granted Critical
Publication of CN115026470B publication Critical patent/CN115026470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B23K37/02Carriages for supporting the welding or cutting element
    • B23K37/0252Steering means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/005Manipulators for mechanical processing tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Laser Beam Processing (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种面向钢筋网片的机器人焊接系统及方法,涉及钢筋焊接及自动定位技术领域,该系统包括多个定位靶标、一个移动车、安装在移动车上的激光雷达和机器人、以及安装在机器人末端的3D相机和焊枪;机器人包括机器人本体和控制模块;定位靶标用于在工作时布置在钢筋网片所在的区域;控制模块基于相对位姿综合变换矩阵,计算3D相机采集的钢筋网片图像在定位靶标坐标系下的钢筋网片点云,进而确定机器人的运动轨迹。本发明能够大范围全局自定位,解决现有机器人焊接系统作业范围有限的问题,且保障机器人焊接的定位精度。

Description

一种面向钢筋网片的机器人焊接系统及方法
技术领域
本发明涉及钢筋焊接及自动定位技术领域,特别是涉及一种面向钢筋网片的机器人焊接系统及方法。
背景技术
传统钢筋网片是由工人手动焊接而成,即首先利用工装将钢筋固定成网片结构,再通过手工操作焊枪对钢筋的交叉搭接点进行焊接。在实际操作过程中,受到夹具装夹误差和人为因素的影响,焊接点易出现质量不可靠、一致性差等问题,导致钢筋网片的形状和质量层次不齐,影响后续的工程建造质量。此外,现在人工作业成本不断提高,人工施工的效率也越来越难以满足大型基础设施建设的需求。
为解决上述问题,现提供了一种机器人焊接系统。该机器人焊接系统包括机器人、用于承载机器人的固定基座或直线导轨、以及设置在机器人末端的焊枪。针对钢筋网片这一对象,该机器人焊接系统一般采用钢筋网片设计的模型进行基于模型的离线编程,或者采用人工示教的方式对装夹后的钢筋网片进行焊接点的示教编程,并通过工装定位精度保证同型号钢筋网片的焊接程序可重复使用。
现有机器人焊接系统主要存在两个缺点:1)作业范围有限。现有机器人焊接系统中的机器人安装在固定基座或安装在直线导轨上,其运动范围受机器人本体工作范围和直线导轨尺寸范围的影响,而大型基础设施的钢筋网片的尺寸通常在5m×5m以上,且不同钢筋网片存在尺寸跨度大、形状变化大等特点,显然现有机器人焊接系统的作业范围难以覆盖大尺寸钢筋网片的焊接要求。2)离线编程复杂且可靠性差。现有机器人焊接系统采用离线编程方式,该方式需要预先花费大量的时间对每个型号的钢筋网片进行编程规划,且同一工程中使用的钢筋网片型号繁多,导致准备工作耗时过长;此外,由于钢筋网片尺寸精度较低(一般为±5mm),导致机器人固定焊接路径在同型号钢筋网片焊接时易发生焊接点错位,焊接质量不可靠等现象。
为避免上述离线编程复杂且焊接质量可靠性差的问题,现提供了一种新的机器人焊接系统,即在机器人末端搭载相机等视觉单元来采集钢筋网片局部图像,通过深度学习等成熟方法来自动识别图像中的钢筋焊接特征,并引导机器人自动实现焊接。该机器人焊接系统以二维图像为输入,且该二维图像缺乏深度信息,导致机器人焊接时需要以固定距离拍摄钢筋网片,并以该距离为已知量,从而解算图像中钢筋焊接特征的深度信息,
新的机器人焊接系统存在的主要缺点是作业范围仍然受限于机器人和直线导轨的运动范围,且图像缺乏深度信息。由固定的拍摄距离解算得到的深度信息受该距离精度影响极大,当拍摄距离发生变化时会等比例的反应在所有特征点的深度上,难以保障机器人焊接的定位精度。
发明内容
本发明的目的是提供一种面向钢筋网片的机器人焊接系统及方法,能够大范围全局自定位,解决现有机器人焊接系统作业范围有限的问题,且保障机器人焊接的定位精度。
为实现上述目的,本发明提供了如下方案:
一种面向钢筋网片的机器人焊接系统,包括多个定位靶标、一个移动车、安装在所述移动车上的激光雷达、安装在所述移动车上的机器人、以及安装在机器人末端的3D相机和焊枪;其中,所述机器人包括机器人本体和控制模块;
所述定位靶标用于在工作时布置在目标区域;所述目标区域为钢筋网片所在的区域;
所述控制模块,用于:
基于所述激光雷达扫描的目标区域环境点云和所述目标区域内各个定位靶标的基准三维模型,确定激光雷达坐标系与定位靶标坐标系之间的相对位姿变换矩阵;所述基准三维模型为在定位靶标坐标系下表示定位靶标空间位姿分布的三维模型;
获取所述3D相机采集的钢筋网片图像;
基于相对位姿综合变换矩阵,计算所述钢筋网片图像在定位靶标坐标系下的钢筋网片点云;所述相对位姿综合变换矩阵是基于第一相对位姿变换矩阵、第二相对位姿变换矩阵、第三相对位姿变换矩阵以及机器人本体的姿态矩阵确定的;所述第一相对位姿变换矩阵为激光雷达坐标系与定位靶标坐标系之间的相对位姿变换矩阵;所述第二相对位姿变换矩阵为激光雷达坐标系与机器人底座坐标系之间的相对位姿变换矩阵;所述第三相对位姿变换矩阵为机器人末端坐标系与3D相机坐标系之间的相对位姿变换矩阵;
基于在所述定位靶标坐标系下的钢筋网片点云,确定所述机器人的运动轨迹。
可选地,所述定位靶标从上至下依次包括一个球、一个连接杆和一个圆柱;其中,所述球的球心位于所述圆柱的轴线上;所述定位靶标的数量大于或者等于3。
可选地,在所述基于所述激光雷达扫描的目标区域环境点云和所述目标区域内各个定位靶标的基准三维模型,确定激光雷达坐标系与定位靶标坐标系之间的相对位姿变换矩阵方面,所述控制模块,用于:
控制所述移动车到达指定焊接位置,然后获取所述激光雷达扫描的目标区域环境点云;
基于圆柱点云分割算法和球面点云分割算法,对所述激光雷达扫描的目标区域环境点云进行处理,得到每个定位靶标在激光雷达坐标系下的圆柱轴线矢量和球心点坐标;
基于每个所述定位靶标在激光雷达坐标系下的圆柱轴线矢量和球心点坐标,计算在激光雷达坐标系下的两两圆柱轴线矢量之间的夹角和球心点坐标之间的距离;
基于在所述激光雷达坐标系下的两两圆柱轴线矢量之间的夹角和球心点坐标之间的距离,以及在定位靶标坐标系下的两两圆柱轴线矢量之间的夹角和球心点坐标之间的距离,采用三维匹配算法,确定激光雷达坐标系与定位靶标坐标系之间的相对位姿变换矩阵。
可选地,在确定在定位靶标坐标系下的两两圆柱轴线矢量之间的夹角和球心点坐标之间的距离方面,所述控制模块,用于:
控制三维测量设备测量所述目标区域中所有定位靶标的位姿信息,并基于所述位姿信息建立定位靶标坐标系下所有定位靶标的基准三维模型;
计算每个定位靶标在所述基准三维模型中的圆柱轴线矢量和球心点坐标;
基于每个定位靶标在所述基准三维模型中的圆柱轴线矢量和球心点坐标,计算在定位靶标坐标系下的两两圆柱轴线矢量之间的夹角和球心点坐标之间的距离。
可选地,在确定所述相对位姿综合变换矩阵方面,所述控制模块,用于:
采用机器人手-眼标定算法标定激光雷达坐标系与机器人底座坐标系之间的相对位姿变换矩阵
Figure BDA0003687263420000041
采用机器人手-眼标定方法标定机器人末端坐标系与3D相机坐标系之间的相对位姿变换矩阵
Figure BDA0003687263420000042
获取机器人本体的姿态矩阵
Figure BDA0003687263420000043
其中,相对位姿综合变换矩阵为
Figure BDA0003687263420000044
Figure BDA0003687263420000045
表示激光雷达坐标系与定位靶标坐标系之间的相对位姿变换矩阵。
可选地,在所述基于相对位姿综合变换矩阵,计算所述钢筋网片图像在定位靶标坐标系下的钢筋网片点云方面,所述控制模块,用于:
根据公式3pi=T5pi计算所述钢筋网片图像在定位靶标坐标系下的钢筋网片点云;
其中,3pi表示在定位靶标坐标系下所述钢筋网片点云中第i点的坐标,T表示相对位姿综合变换矩阵;5pi表示在3D相机坐标系下所述钢筋网片图像中第i点的坐标。
可选地,在所述基于在所述定位靶标坐标系下的钢筋网片点云,确定所述机器人的运动轨迹方面,所述控制模块,用于:
基于在所述定位靶标坐标系下的钢筋网片点云,识别钢筋交叉特征;
基于所述钢筋交叉特征,确定3D相机扫描范围内的所有焊接点的坐标和钢筋网片法矢;
基于所述所有焊接点的坐标和钢筋网片法矢,确定所述机器人的运动轨迹。
可选地,在所述基于所述所有焊接点的坐标和钢筋网片法矢,确定所述机器人的运动轨迹方面,所述控制模块,用于:
对所有焊接点进行排序,并基于排序后的焊接点的坐标和钢筋网片法矢,生成焊枪的运动轨迹;
对所述焊枪的运动轨迹进行后处理,生成所述机器人的运动轨迹;所述机器人的运动轨迹用于对3D相机扫描范围内的所有焊接点进行焊接。
可选地,所述控制模块,还用于:
判断钢筋网片是否焊接完成;
若否,则跳转至步骤:基于所述激光雷达扫描的目标区域环境点云和所述目标区域内各个定位靶标的基准三维模型,确定激光雷达坐标系与定位靶标坐标系之间的相对位姿变换矩阵,直至完成钢筋网片所有区域的焊接。
一种面向钢筋网片的机器人焊接系统的焊接方法,所述面向钢筋网片的机器人焊接系统包括多个定位靶标、一个移动车、安装在所述移动车上的激光雷达、安装在所述移动车上的机器人、以及安装在机器人末端的3D相机和焊枪;其中,所述机器人包括机器人本体和控制模块;所述定位靶标用于在工作时布置在目标区域;所述目标区域为钢筋网片所在的区域;
所述焊接方法,包括:
基于所述激光雷达扫描的目标区域环境点云和所述目标区域内各个定位靶标的基准三维模型,确定激光雷达坐标系与定位靶标坐标系之间的相对位姿变换矩阵;所述基准三维模型为在定位靶标坐标系下表示定位靶标空间位姿分布的三维模型;
获取所述3D相机采集的钢筋网片图像;
基于相对位姿综合变换矩阵,计算所述钢筋网片图像在定位靶标坐标系下的钢筋网片点云;所述相对位姿综合变换矩阵是基于第一相对位姿变换矩阵、第二相对位姿变换矩阵、第三相对位姿变换矩阵以及机器人本体的姿态矩阵确定的;所述第一相对位姿变换矩阵为激光雷达坐标系与定位靶标坐标系之间的相对位姿变换矩阵;所述第二相对位姿变换矩阵为激光雷达坐标系与机器人底座坐标系之间的相对位姿变换矩阵;所述第三相对位姿变换矩阵为机器人末端坐标系与3D相机坐标系之间的相对位姿变换矩阵;
基于在所述定位靶标坐标系下的钢筋网片点云,确定所述机器人的运动轨迹。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明提供了一种面向钢筋网片的机器人焊接系统及方法。本发明通过基于移动车、激光雷达、空间定位靶标实现机器人焊接系统的大范围全局自定位,解决现有机器人焊接系统作业范围有限的问题。本发明通过相对位姿综合变换矩阵,保障了保障机器人焊接的定位精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种面向钢筋网片的机器人焊接系统的结构图;
图2为本发明实施例提供的单个定位靶标的结构图;
图3为本发明实施例提供的一种面向钢筋网片的机器人焊接系统的原理图;
图4为本发明实施例提供的一种面向钢筋网片的机器人焊接系统的焊接方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
图1为本发明实施例提供的一种面向钢筋网片的机器人焊接系统的结构图。如图1所示,本发明实施例提供的一种面向钢筋网片的机器人焊接系统包括多个定位靶标3、一个移动车2、安装在所述移动车上的激光雷达1、安装在所述移动车上的机器人4、以及安装在机器人末端的3D相机5和焊枪6。其中,所述机器人4包括机器人本体和控制模块。
所述定位靶标3用于在工作时布置在目标区域;所述目标区域为钢筋网片7所在的区域;优选地,所述定位靶标3的数量为大于或者等于3。所述移动车2为AGV车。
图2为本发明实施例提供的单个定位靶标的结构图。如图2所示,该定位靶标3从上至下依次包括一个标准球8、一个连接杆9和一个标准圆柱10;其中,所述标准球的球心位于所述标准圆柱的轴线上。
该定位靶标的主要特点在于:1)该定位靶标为回转体结构,在空间中布置时不需要考虑其回转方向的朝向对激光雷达扫描点云的影响;2)该定位靶标通过1个标准球和1个标准圆柱,限定了空间中除绕轴线转动以外的5个自由度,有利于通过多个定位靶标的扫描点云精确求解移动车的全局位姿。
图3为本发明实施例提供的一种面向钢筋网片的机器人焊接系统的原理图。如图3所示,本发明实施例提供的一种面向钢筋网片的机器人焊接系统的工作原理流程如下:
1)首先在目标区域固定布置多个定位靶标(其数量大于或者等于3),利用激光跟踪仪或其他大范围三维测量设备测量目标区域中的所有定位靶标的位姿,建立全局空间范围内所有定位靶标空间位姿分布的基准三维模型,该基准三维模型的作用是:后续利用移动车上的激光雷达扫描周围的定位靶标后,将其点云数据与基准三维模型进行比对,从而实现移动车的全局自定位;计算各定位靶标在基准三维模型中的圆柱轴线矢量和球心点坐标,设共有n组圆柱轴线矢量和球心点坐标,则共有
Figure BDA0003687263420000081
种排列组合,计算两两圆柱轴线矢量之间的夹角
Figure BDA0003687263420000082
和球心点坐标之间的距离
Figure BDA0003687263420000083
该步骤最终输出各定位靶标的基准三维模型、圆柱轴线矢量、球心点坐标、夹角
Figure BDA0003687263420000084
和距离
Figure BDA0003687263420000085
2)通过任意成熟的机器人手-眼标定方法标定激光雷达和机器人底座坐标系之间的相对位姿变换矩阵
Figure BDA0003687263420000086
3)通过任意成熟的机器人手-眼标定方法标定机器人末端坐标系与3D相机之间的相对位姿变换矩阵
Figure BDA0003687263420000087
4)控制移动车到达合适的焊接位置,利用激光雷达扫描周边环境点云,采用圆柱点云分割方法识别并分割出周边环境点云中的大于等于3根定位靶标上的标准圆柱点云,并拟合点云生成圆柱模型;同时采用球面点云分割方法识别并分割圆柱端部的球面点云,并拟合点云生成球模型,进而输出拟合后的圆柱轴线矢量和球心点坐标。
5)以第4步输出的圆柱轴线矢量和球心点坐标为输入,设共有n组圆柱轴线矢量和球心点坐标,则共有
Figure BDA0003687263420000088
种排列组合,计算两两圆柱轴线矢量之间的夹角
Figure BDA0003687263420000089
和球心点坐标之间的距离
Figure BDA00036872634200000810
搜索
Figure BDA00036872634200000811
Figure BDA00036872634200000812
Figure BDA00036872634200000813
Figure BDA00036872634200000814
中对应的最接近值,即建立起激光雷达扫描的定位靶标和定位靶标基准三维模型之间的两两对应关系,进一步根据两两对应关系,找到任意两组邻接两两组合的重合项即为对应项,实现扫描得到的定位靶标和基准三维模型中的定位靶标一一对应。
6)采用ICP三维匹配方法将扫描得到的定位靶标点云与预先标定的对应定位靶标基准三维模型进行三维匹配,计算激光雷达与定位靶标坐标系之间的相对位姿变换矩阵
Figure BDA00036872634200000815
根据步骤2)的标定结果,激光雷达到机器人底座坐标系之间的相对位姿变换矩阵为
Figure BDA00036872634200000816
则机器人焊接系统在定位靶标全局坐标系下的相对位姿变换矩阵可表示为
Figure BDA00036872634200000817
则至此实现了机器人焊接系统的大范围全局自定位。
7)将机器人本体的姿态矩阵
Figure BDA0003687263420000091
和前面标定得到的相对位姿变换矩阵
Figure BDA0003687263420000092
相对位姿变换矩阵
Figure BDA0003687263420000093
相对位姿变换矩阵
Figure BDA0003687263420000094
带入
Figure BDA0003687263420000095
实现将3D相机扫描得到的相机坐标系下的任意一点5pi转换到定位靶标构造的全局坐标系下,得到点3pi,则3D相机任意一次扫描得到的点云P5={5p1,5p2,…,5pn}都可以变换为定位靶标构造的全局坐标系下的点云P3={3p1,3p2,…,3pn},从而实现全局坐标系的点云拼接。
8)基于钢筋网片在全局坐标系下的点云P3识别钢筋交叉特征,并提取3D相机扫描范围内的所有焊接点坐标和钢筋网片法矢。
9)对焊接点进行排序,并根据焊接点的空间坐标和钢筋网片法矢,生成机器人末端焊接工具的接近、焊接/绑扎、退回、过渡路径。
10)对路径进行后处理,添加焊接触发指令,并将其转化为机器人可执行的运动程序,实现局部测量区域内的所有点的焊接;
11)根据步骤7)得到的全局坐标系下拼接后的完整点云P3判断钢筋网片是否焊接完成,若未完成,则控制移动车移动至钢筋网片的下一个焊接区域,重复上述步骤4)到10),直至完成钢筋网片所有区域的焊接。
鉴于此,本实施例提供的所述控制模块,用于:
基于所述激光雷达扫描的目标区域环境点云和所述目标区域内各个定位靶标的基准三维模型,确定激光雷达坐标系与定位靶标坐标系之间的相对位姿变换矩阵;所述基准三维模型为在定位靶标坐标系下表示定位靶标空间位姿分布的三维模型。
获取所述3D相机采集的钢筋网片图像。
基于相对位姿综合变换矩阵,计算所述钢筋网片图像在定位靶标坐标系下的钢筋网片点云;所述相对位姿综合变换矩阵是基于第一相对位姿变换矩阵、第二相对位姿变换矩阵、第三相对位姿变换矩阵以及机器人本体的姿态矩阵确定的;所述第一相对位姿变换矩阵为激光雷达坐标系与定位靶标坐标系之间的相对位姿变换矩阵;所述第二相对位姿变换矩阵为激光雷达坐标系与机器人底座坐标系之间的相对位姿变换矩阵;所述第三相对位姿变换矩阵为机器人末端坐标系与3D相机坐标系之间的相对位姿变换矩阵。
基于在所述定位靶标坐标系下的钢筋网片点云,确定所述机器人的运动轨迹。
作为一种优选的实施方式,在所述基于所述激光雷达扫描的目标区域环境点云和所述目标区域内各个定位靶标的基准三维模型,确定激光雷达坐标系与定位靶标坐标系之间的相对位姿变换矩阵方面,所述控制模块,用于:
控制所述移动车到达指定焊接位置,然后获取所述激光雷达扫描的目标区域环境点云;基于圆柱点云分割算法和球面点云分割算法,对所述激光雷达扫描的目标区域环境点云进行处理,得到每个定位靶标在激光雷达坐标系下的圆柱轴线矢量和球心点坐标;基于每个所述定位靶标在激光雷达坐标系下的圆柱轴线矢量和球心点坐标,计算在激光雷达坐标系下的两两圆柱轴线矢量之间的夹角和球心点坐标之间的距离;基于在所述激光雷达坐标系下的两两圆柱轴线矢量之间的夹角和球心点坐标之间的距离,以及在定位靶标坐标系下的两两圆柱轴线矢量之间的夹角和球心点坐标之间的距离,采用三维匹配算法,确定激光雷达坐标系与定位靶标坐标系之间的相对位姿变换矩阵。
作为一种优选的实施方式,在确定在定位靶标坐标系下的两两圆柱轴线矢量之间的夹角和球心点坐标之间的距离方面,所述控制模块,用于:
控制三维测量设备测量所述目标区域中所有定位靶标的位姿信息,并基于所述位姿信息建立定位靶标坐标系下所有定位靶标的基准三维模型;计算每个定位靶标在所述基准三维模型中的圆柱轴线矢量和球心点坐标;基于每个定位靶标在所述基准三维模型中的圆柱轴线矢量和球心点坐标,计算在定位靶标坐标系下的两两圆柱轴线矢量之间的夹角和球心点坐标之间的距离。
作为一种优选的实施方式,在确定所述相对位姿综合变换矩阵方面,所述控制模块,用于:
采用机器人手-眼标定算法标定激光雷达坐标系与机器人底座坐标系之间的相对位姿变换矩阵
Figure BDA0003687263420000101
采用机器人手-眼标定方法标定机器人末端坐标系与3D相机坐标系之间的相对位姿变换矩阵
Figure BDA0003687263420000111
获取机器人本体的姿态矩阵
Figure BDA0003687263420000112
其中,相对位姿综合变换矩阵为
Figure BDA0003687263420000113
Figure BDA0003687263420000114
表示激光雷达坐标系与定位靶标坐标系之间的相对位姿变换矩阵。
作为一种优选的实施方式,在所述基于相对位姿综合变换矩阵,计算所述钢筋网片图像在定位靶标坐标系下的钢筋网片点云方面,所述控制模块,用于:
根据公式3pi=T5pi计算所述钢筋网片图像在定位靶标坐标系下的钢筋网片点云;其中,3pi表示在定位靶标坐标系下所述钢筋网片点云中第i点的坐标,T表示相对位姿综合变换矩阵;5pi表示在3D相机坐标系下所述钢筋网片图像中第i点的坐标。
作为一种优选的实施方式,在所述基于在所述定位靶标坐标系下的钢筋网片点云,确定所述机器人的运动轨迹方面,所述控制模块,用于:
基于在所述定位靶标坐标系下的钢筋网片点云,识别钢筋交叉特征;基于所述钢筋交叉特征,确定3D相机扫描范围内的所有焊接点的坐标和钢筋网片法矢;基于所述所有焊接点的坐标和钢筋网片法矢,确定所述机器人的运动轨迹。
作为一种优选的实施方式,在所述基于所述所有焊接点的坐标和钢筋网片法矢,确定所述机器人的运动轨迹方面,所述控制模块,用于:
对所有焊接点进行排序,并基于排序后的焊接点的坐标和钢筋网片法矢,生成焊枪的运动轨迹;对所述焊枪的运动轨迹进行后处理,生成所述机器人的运动轨迹;所述机器人的运动轨迹用于对3D相机扫描范围内的所有焊接点进行焊接。
进一步地,所述控制模块,还用于:
判断钢筋网片是否焊接完成;若否,则跳转至步骤:基于所述激光雷达扫描的目标区域环境点云和所述目标区域内各个定位靶标的基准三维模型,确定激光雷达坐标系与定位靶标坐标系之间的相对位姿变换矩阵,直至完成钢筋网片所有区域的焊接。
实施例二
为实现上述目的,本实施例提供了一种面向钢筋网片的机器人焊接系统的焊接方法,所述面向钢筋网片的机器人焊接系统包括多个定位靶标、一个移动车、安装在所述移动车上的激光雷达、安装在所述移动车上的机器人、以及安装在机器人末端的3D相机和焊枪;其中,所述机器人包括机器人本体和控制模块;所述定位靶标用于在工作时布置在目标区域;所述目标区域为钢筋网片所在的区域。
如图4所示,所述焊接方法,包括:
步骤100:基于所述激光雷达扫描的目标区域环境点云和所述目标区域内各个定位靶标的基准三维模型,确定激光雷达坐标系与定位靶标坐标系之间的相对位姿变换矩阵;所述基准三维模型为在定位靶标坐标系下表示定位靶标空间位姿分布的三维模型。
步骤200:获取所述3D相机采集的钢筋网片图像。
步骤300:基于相对位姿综合变换矩阵,计算所述钢筋网片图像在定位靶标坐标系下的钢筋网片点云;所述相对位姿综合变换矩阵是基于第一相对位姿变换矩阵、第二相对位姿变换矩阵、第三相对位姿变换矩阵以及机器人本体的姿态矩阵确定的;所述第一相对位姿变换矩阵为激光雷达坐标系与定位靶标坐标系之间的相对位姿变换矩阵;所述第二相对位姿变换矩阵为激光雷达坐标系与机器人底座坐标系之间的相对位姿变换矩阵;所述第三相对位姿变换矩阵为机器人末端坐标系与3D相机坐标系之间的相对位姿变换矩阵。
步骤400:基于在所述定位靶标坐标系下的钢筋网片点云,确定所述机器人的运动轨迹。
与现有技术相比,本发明具有以下优点:
1.本发明在全局范围内预先布置并标定的多个定位靶标,采用移动车上固连的激光雷达对定位靶标进行实时测量与三维匹配,实现机器人焊接系统的大空间范围内全局自定位,相比传统固定基座或安装在直线导轨的机器人焊接系统,本发明的工作范围显著扩大,可适用于更大尺寸的钢筋网片焊接。
2.本发明在全局定位靶标标定、手-眼标定、激光雷达-机器人标定等标定结果的基础上,结合激光雷达的全局定位信息,提出了大范围全局点云拼接方法,实现了移动车移动过程中3D相机扫描点云的全局实时拼接,可用于全局焊接规划,避免出现钢筋网片局部区域重复焊接。
3.本发明基于三维点云识别钢筋的焊接特征,并计算焊接点的空间三维坐标和对应钢筋网片局部法矢,可直接用于引导机器人完成焊接动作,相比传统的基于二维图像识别焊接特征的方法,获得更精确的焊接点深度信息,提升了焊接作业的可靠性。
4.本发明通过对多个焊接点进行排序,并根据焊接点的空间坐标和钢筋网片法矢,生成机器人末端焊接工具的接近、焊接/绑扎、退回、过渡路径,并通过后处理生成机器人可执行的焊接路径,实现了单幅扫描区域内所有识别到焊接点的自动焊接。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法而言,由于其与实施例公开的系统相对应,所以描述的比较简单,相关之处参见系统部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种面向钢筋网片的机器人焊接系统,其特征在于,包括多个定位靶标、一个移动车、安装在所述移动车上的激光雷达、安装在所述移动车上的机器人、以及安装在机器人末端的3D相机和焊枪;其中,所述机器人包括机器人本体和控制模块;
所述定位靶标用于在工作时布置在目标区域;所述目标区域为钢筋网片所在的区域;
所述控制模块,用于:
基于所述激光雷达扫描的目标区域环境点云和所述目标区域内各个定位靶标的基准三维模型,确定激光雷达坐标系与定位靶标坐标系之间的相对位姿变换矩阵;所述基准三维模型为在定位靶标坐标系下表示定位靶标空间位姿分布的三维模型;
获取所述3D相机采集的钢筋网片图像;
基于相对位姿综合变换矩阵,计算所述钢筋网片图像在定位靶标坐标系下的钢筋网片点云;所述相对位姿综合变换矩阵是基于第一相对位姿变换矩阵、第二相对位姿变换矩阵、第三相对位姿变换矩阵以及机器人本体的姿态矩阵确定的;所述第一相对位姿变换矩阵为激光雷达坐标系与定位靶标坐标系之间的相对位姿变换矩阵;所述第二相对位姿变换矩阵为激光雷达坐标系与机器人底座坐标系之间的相对位姿变换矩阵;所述第三相对位姿变换矩阵为机器人末端坐标系与3D相机坐标系之间的相对位姿变换矩阵;
基于在所述定位靶标坐标系下的钢筋网片点云,确定所述机器人的运动轨迹。
2.根据权利要求1所述的一种面向钢筋网片的机器人焊接系统,其特征在于,所述定位靶标从上至下依次包括一个球、一个连接杆和一个圆柱;其中,所述球的球心位于所述圆柱的轴线上;所述定位靶标的数量大于或者等于3。
3.根据权利要求2所述的一种面向钢筋网片的机器人焊接系统,其特征在于,在所述基于所述激光雷达扫描的目标区域环境点云和所述目标区域内各个定位靶标的基准三维模型,确定激光雷达坐标系与定位靶标坐标系之间的相对位姿变换矩阵方面,所述控制模块,用于:
控制所述移动车到达指定焊接位置,然后获取所述激光雷达扫描的目标区域环境点云;
基于圆柱点云分割算法和球面点云分割算法,对所述激光雷达扫描的目标区域环境点云进行处理,得到每个定位靶标在激光雷达坐标系下的圆柱轴线矢量和球心点坐标;
基于每个所述定位靶标在激光雷达坐标系下的圆柱轴线矢量和球心点坐标,计算在激光雷达坐标系下的两两圆柱轴线矢量之间的夹角和球心点坐标之间的距离;
基于在所述激光雷达坐标系下的两两圆柱轴线矢量之间的夹角和球心点坐标之间的距离,以及在定位靶标坐标系下的两两圆柱轴线矢量之间的夹角和球心点坐标之间的距离,采用三维匹配算法,确定激光雷达坐标系与定位靶标坐标系之间的相对位姿变换矩阵。
4.根据权利要求3所述的一种面向钢筋网片的机器人焊接系统,其特征在于,在确定在定位靶标坐标系下的两两圆柱轴线矢量之间的夹角和球心点坐标之间的距离方面,所述控制模块,用于:
控制三维测量设备测量所述目标区域中所有定位靶标的位姿信息,并基于所述位姿信息建立定位靶标坐标系下所有定位靶标的基准三维模型;
计算每个定位靶标在所述基准三维模型中的圆柱轴线矢量和球心点坐标;
基于每个定位靶标在所述基准三维模型中的圆柱轴线矢量和球心点坐标,计算在定位靶标坐标系下的两两圆柱轴线矢量之间的夹角和球心点坐标之间的距离。
5.根据权利要求1所述的一种面向钢筋网片的机器人焊接系统,其特征在于,在确定所述相对位姿综合变换矩阵方面,所述控制模块,用于:
采用机器人手-眼标定算法标定激光雷达坐标系与机器人底座坐标系之间的相对位姿变换矩阵
Figure FDA0003687263410000021
采用机器人手-眼标定方法标定机器人末端坐标系与3D相机坐标系之间的相对位姿变换矩阵
Figure FDA0003687263410000031
获取机器人本体的姿态矩阵
Figure FDA0003687263410000032
其中,相对位姿综合变换矩阵为
Figure FDA0003687263410000033
Figure FDA0003687263410000034
表示激光雷达坐标系与定位靶标坐标系之间的相对位姿变换矩阵。
6.根据权利要求1所述的一种面向钢筋网片的机器人焊接系统,其特征在于,在所述基于相对位姿综合变换矩阵,计算所述钢筋网片图像在定位靶标坐标系下的钢筋网片点云方面,所述控制模块,用于:
根据公式3pi=T5pi计算所述钢筋网片图像在定位靶标坐标系下的钢筋网片点云;
其中,3pi表示在定位靶标坐标系下所述钢筋网片点云中第i点的坐标,T表示相对位姿综合变换矩阵;5pi表示在3D相机坐标系下所述钢筋网片图像中第i点的坐标。
7.根据权利要求1所述的一种面向钢筋网片的机器人焊接系统,其特征在于,在所述基于在所述定位靶标坐标系下的钢筋网片点云,确定所述机器人的运动轨迹方面,所述控制模块,用于:
基于在所述定位靶标坐标系下的钢筋网片点云,识别钢筋交叉特征;
基于所述钢筋交叉特征,确定3D相机扫描范围内的所有焊接点的坐标和钢筋网片法矢;
基于所述所有焊接点的坐标和钢筋网片法矢,确定所述机器人的运动轨迹。
8.根据权利要求7所述的一种面向钢筋网片的机器人焊接系统,其特征在于,在所述基于所述所有焊接点的坐标和钢筋网片法矢,确定所述机器人的运动轨迹方面,所述控制模块,用于:
对所有焊接点进行排序,并基于排序后的焊接点的坐标和钢筋网片法矢,生成焊枪的运动轨迹;
对所述焊枪的运动轨迹进行后处理,生成所述机器人的运动轨迹;所述机器人的运动轨迹用于对3D相机扫描范围内的所有焊接点进行焊接。
9.根据权利要求1所述的一种面向钢筋网片的机器人焊接系统,其特征在于,所述控制模块,还用于:
判断钢筋网片是否焊接完成;
若否,则跳转至步骤:基于所述激光雷达扫描的目标区域环境点云和所述目标区域内各个定位靶标的基准三维模型,确定激光雷达坐标系与定位靶标坐标系之间的相对位姿变换矩阵,直至完成钢筋网片所有区域的焊接。
10.一种面向钢筋网片的机器人焊接系统的焊接方法,其特征在于,所述面向钢筋网片的机器人焊接系统包括多个定位靶标、一个移动车、安装在所述移动车上的激光雷达、安装在所述移动车上的机器人、以及安装在机器人末端的3D相机和焊枪;其中,所述机器人包括机器人本体和控制模块;所述定位靶标用于在工作时布置在目标区域;所述目标区域为钢筋网片所在的区域;
所述焊接方法,包括:
基于所述激光雷达扫描的目标区域环境点云和所述目标区域内各个定位靶标的基准三维模型,确定激光雷达坐标系与定位靶标坐标系之间的相对位姿变换矩阵;所述基准三维模型为在定位靶标坐标系下表示定位靶标空间位姿分布的三维模型;
获取所述3D相机采集的钢筋网片图像;
基于相对位姿综合变换矩阵,计算所述钢筋网片图像在定位靶标坐标系下的钢筋网片点云;所述相对位姿综合变换矩阵是基于第一相对位姿变换矩阵、第二相对位姿变换矩阵、第三相对位姿变换矩阵以及机器人本体的姿态矩阵确定的;所述第一相对位姿变换矩阵为激光雷达坐标系与定位靶标坐标系之间的相对位姿变换矩阵;所述第二相对位姿变换矩阵为激光雷达坐标系与机器人底座坐标系之间的相对位姿变换矩阵;所述第三相对位姿变换矩阵为机器人末端坐标系与3D相机坐标系之间的相对位姿变换矩阵;
基于在所述定位靶标坐标系下的钢筋网片点云,确定所述机器人的运动轨迹。
CN202210655102.1A 2022-06-10 2022-06-10 一种面向钢筋网片的机器人焊接系统及方法 Active CN115026470B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210655102.1A CN115026470B (zh) 2022-06-10 2022-06-10 一种面向钢筋网片的机器人焊接系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210655102.1A CN115026470B (zh) 2022-06-10 2022-06-10 一种面向钢筋网片的机器人焊接系统及方法

Publications (2)

Publication Number Publication Date
CN115026470A true CN115026470A (zh) 2022-09-09
CN115026470B CN115026470B (zh) 2023-07-04

Family

ID=83122991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210655102.1A Active CN115026470B (zh) 2022-06-10 2022-06-10 一种面向钢筋网片的机器人焊接系统及方法

Country Status (1)

Country Link
CN (1) CN115026470B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115249267A (zh) * 2022-09-22 2022-10-28 海克斯康制造智能技术(青岛)有限公司 一种基于转台及机器人位姿解算的自动检测方法及装置
CN117047237A (zh) * 2023-10-11 2023-11-14 太原科技大学 一种异形件智能柔性焊接系统与方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104315983A (zh) * 2014-10-16 2015-01-28 天津大学 利用空间多长度约束增强坐标测量场精度的方法
CN106959080A (zh) * 2017-04-10 2017-07-18 上海交通大学 一种大型复杂曲面构件三维形貌光学测量系统和方法
CN109990701A (zh) * 2019-03-04 2019-07-09 华中科技大学 一种大型复杂曲面三维形貌机器人移动测量系统及方法
CN110440692A (zh) * 2019-08-27 2019-11-12 大连理工大学 激光跟踪仪与结构光3d扫描仪组合式测量标定方法
CN111660295A (zh) * 2020-05-28 2020-09-15 中国科学院宁波材料技术与工程研究所 工业机器人绝对精度标定系统及标定方法
CN112122840A (zh) * 2020-09-23 2020-12-25 西安知象光电科技有限公司 一种基于机器人焊接的视觉定位焊接系统及焊接方法
CN112325796A (zh) * 2020-10-26 2021-02-05 上海交通大学 基于辅助定位多视角点云拼接的大型工件型面测量方法
CN113532318A (zh) * 2021-07-13 2021-10-22 燕山大学 使用多组激光跟踪仪进行定位的三维扫描系统及方法
US20220016776A1 (en) * 2020-07-17 2022-01-20 Path Robotics, Inc. Real time feedback and dynamic adjustment for welding robots

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104315983A (zh) * 2014-10-16 2015-01-28 天津大学 利用空间多长度约束增强坐标测量场精度的方法
CN106959080A (zh) * 2017-04-10 2017-07-18 上海交通大学 一种大型复杂曲面构件三维形貌光学测量系统和方法
CN109990701A (zh) * 2019-03-04 2019-07-09 华中科技大学 一种大型复杂曲面三维形貌机器人移动测量系统及方法
CN110440692A (zh) * 2019-08-27 2019-11-12 大连理工大学 激光跟踪仪与结构光3d扫描仪组合式测量标定方法
CN111660295A (zh) * 2020-05-28 2020-09-15 中国科学院宁波材料技术与工程研究所 工业机器人绝对精度标定系统及标定方法
US20220016776A1 (en) * 2020-07-17 2022-01-20 Path Robotics, Inc. Real time feedback and dynamic adjustment for welding robots
CN112122840A (zh) * 2020-09-23 2020-12-25 西安知象光电科技有限公司 一种基于机器人焊接的视觉定位焊接系统及焊接方法
CN112325796A (zh) * 2020-10-26 2021-02-05 上海交通大学 基于辅助定位多视角点云拼接的大型工件型面测量方法
CN113532318A (zh) * 2021-07-13 2021-10-22 燕山大学 使用多组激光跟踪仪进行定位的三维扫描系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115249267A (zh) * 2022-09-22 2022-10-28 海克斯康制造智能技术(青岛)有限公司 一种基于转台及机器人位姿解算的自动检测方法及装置
CN117047237A (zh) * 2023-10-11 2023-11-14 太原科技大学 一种异形件智能柔性焊接系统与方法
CN117047237B (zh) * 2023-10-11 2024-01-19 太原科技大学 一种异形件智能柔性焊接系统与方法

Also Published As

Publication number Publication date
CN115026470B (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
CN112122840B (zh) 一种基于机器人焊接的视觉定位焊接系统及焊接方法
CN115026470A (zh) 一种面向钢筋网片的机器人焊接系统及方法
CN108286949A (zh) 一种可移动式三维检测机器人系统
CN102607457B (zh) 基于惯性导航技术的大尺寸三维形貌测量装置及方法
CN114474041A (zh) 一种基于协作机器人的焊接自动化智能引导方法及系统
CN110906863B (zh) 一种用于线结构光传感器的手眼标定系统及标定方法
CN109764805B (zh) 一种基于激光扫描的机械臂定位装置与方法
CN112958959A (zh) 一种基于三维视觉的自动化焊接和检测方法
RU2466858C1 (ru) Способ контроля точности контурных перемещений промышленных роботов
CN103434609A (zh) 一种用于船体分段外板的自动划线方法
CN112045655B (zh) 用于大尺度多站点场景的移动机器人位姿测量方法及系统
CN110703230A (zh) 激光雷达与摄像头之间的位置标定方法
CN113634958A (zh) 一种基于三维视觉的大型结构件自动化焊接系统及方法
CN115239620A (zh) 一种基于点云的钢筋网片焊接点自动识别方法及系统
CN114434036B (zh) 用于大型船舶结构件龙门式机器人焊接的三维视觉系统及运行方法
Liska et al. Hand-eye calibration of a laser profile scanner in robotic welding
CN115351389A (zh) 自动焊接方法和装置、电子设备及存储介质
CN115980680A (zh) 标定方法和装置
CN114749848A (zh) 一种基于3d视觉引导的钢筋焊接自动化系统
CN108152829B (zh) 一种加装直线导轨的二维激光雷达建图装置及其建图方法
Maas Dynamic photogrammetric calibration of industrial robots
CN112508933B (zh) 一种基于复杂空间障碍物定位的柔性机械臂运动避障方法
CN114147723A (zh) 一种自动放样机器人系统及其运行方法
CN117300463A (zh) 一种面向水下狭窄空间的焊接机械臂集成控制方法
CN116222384B (zh) 一种全向测量标定方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant