CN113798634B - 空间环形焊缝示教与焊缝跟踪方法、系统及设备 - Google Patents

空间环形焊缝示教与焊缝跟踪方法、系统及设备 Download PDF

Info

Publication number
CN113798634B
CN113798634B CN202110949261.8A CN202110949261A CN113798634B CN 113798634 B CN113798634 B CN 113798634B CN 202110949261 A CN202110949261 A CN 202110949261A CN 113798634 B CN113798634 B CN 113798634B
Authority
CN
China
Prior art keywords
welding
space
weld
spatial
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110949261.8A
Other languages
English (en)
Other versions
CN113798634A (zh
Inventor
景奉水
马云开
范俊峰
邓赛
吴正兴
周超
谭民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202110949261.8A priority Critical patent/CN113798634B/zh
Publication of CN113798634A publication Critical patent/CN113798634A/zh
Application granted granted Critical
Publication of CN113798634B publication Critical patent/CN113798634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B23K9/127—Means for tracking lines during arc welding or cutting
    • B23K9/1272—Geometry oriented, e.g. beam optical trading
    • B23K9/1274—Using non-contact, optical means, e.g. laser means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/24—Features related to electrodes
    • B23K9/28—Supporting devices for electrodes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/32—Accessories

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Numerical Control (AREA)

Abstract

本发明提供一种空间环形焊缝示教与焊缝跟踪方法、系统及设备，方法通过采集空间环形焊缝的图像；提取图像坐标并获取空间环形焊缝特征点的三维坐标，建立空间环形焊缝位姿模型，规划出机器人焊枪的位置和姿态，以实现对空间环形焊缝的示教；通过随机抽样一致性方法拟合空间环形焊缝所在空间圆的方程，获取空间圆半径及圆心的三维坐标；获取空间环形焊缝所在的平面方程，确定机器人焊枪当前位置，根据焊枪当前位置、空间圆半径和圆心的三维坐标，确定机器人焊枪在机器人基坐标系下的焊接偏差；基于焊接偏差、机器人焊枪的位置和姿态，控制机器人实现空间环形焊缝焊接时的焊缝跟踪，以完成焊接工作，通过自主示教的方式有效提高了机器人的焊接效率。

Description

空间环形焊缝示教与焊缝跟踪方法、系统及设备
技术领域
本发明涉及智能机器人技术领域，尤其涉及一种空间环形焊缝示教与焊缝跟踪方法、系统及设备。
背景技术
焊接是制造业中非常重要且用途广泛的工种，在机械材料加工、汽车零部件制造、航空航天业以及建筑工程、石油管道建造等行业发挥着不可替代的作用。目前国内的大部分焊接工作仍以手工焊为主，自动化焊接率与工业发达国家相比仍然有较大的差距。然而，焊接过程中的烟尘、电弧光以及辐射等污染严重威胁焊接工作者的身心健康。此外，由于焊接过程中焊接工作者长时间保持同一个姿势，劳动强度高，焊接效率低下，长时间的人工焊接也很难保证焊接的稳定性和一致性，从而难以保证焊接质量。
随着计算机视觉、自动控制理论以及人工智能技术的不断进步，焊接自动化技术尤其是机器人焊接技术得到了突飞猛进的发展。目前，一些工厂特别是汽车行业已经大规模应用机器人焊接。然而，当前的焊接机器人大多是“示教-再现”型机器人和离线编程型机器人，这些机器人在焊接工件的过程中常因为工件的加工误差、装配误差或者焊接热变形影响焊接质量甚至是导致焊接工作的失败。针对机器人的智能焊接，科研工作者已对一些环境感知方案进行研究，其中主要包括超声波传感、声学传感、电弧传感、视觉传感等。相比较而言，基于视觉传感器的机器人焊接具有成本低廉、非接触测量以及焊接精度高等优点，给焊接机器人安装视觉传感器相当于赋予机器人一双眼睛，极大提高了机器人的作业感知能力。
但是，使用六轴机器人对空间环形焊缝进行焊接时，人工示教比较繁琐，对机器人的示教姿态调整困难，导致机器人的焊接效率相对较低。
发明内容
本发明提供一种空间环形焊缝示教与焊缝跟踪方法、系统及设备，用以解决现有技术中示教困难，导致机器人焊接效率较低的缺陷，实现高效准确的完成焊接工作。
本发明提供一种空间环形焊缝示教与焊缝跟踪方法，包括：
通过激光焊缝跟踪传感器采集空间环形焊缝的图像；
基于图像处理，提取所述空间环形焊缝图像的空间环形焊缝特征点二维图像坐标；
转化所述空间环形焊缝特征点二维图像坐标为机器人基坐标系下空间环形焊缝特征点三维坐标；
扫描所述空间环形焊缝特征点三维坐标，建立空间环形焊缝位姿模型，根据所述空间环形焊缝位姿模型规划出机器人焊枪的位置和姿态，以实现对空间环形焊缝的示教；
通过随机抽样一致性方法拟合所述空间环形焊缝所在空间圆的方程，获取所述空间圆半径的大小及圆心的三维坐标；
获取空间环形焊缝所在的平面方程，确定机器人焊枪当前位置，根据所述机器人焊枪当前位置、所述空间圆半径的大小和所述圆心的三维坐标，确定所述机器人焊枪在机器人基坐标系下的焊接偏差；
基于所述焊接偏差、所述机器人焊枪的位置和姿态，控制所述机器人实现空间环形焊缝焊接时的焊缝跟踪，以完成焊接工作。
根据本发明提供的一种空间环形焊缝示教与焊缝跟踪方法，所述基于图像处理，提取所述空间环形焊缝的图像的空间环形焊缝特征点二维图像坐标，包括：
通过取小运算关系和中值滤波器滤除所述空间环形焊缝的图像的噪声，得到预处理图像；
获取所述预处理图像的感兴趣区域；
根据所述感兴趣区域内行像素灰度值之和计算激光条纹的自适应阈值，并根据所述自适应阈值对所述感兴趣区域进行阈值分割处理；
基于所述阈值分割处理的结果，确定激光条纹的上下边缘，并根据所述激光条纹的上下边缘，获取所述激光条纹中心轮廓；
基于Hough变换提取所述激光条纹中心轮廓的激光条纹特征直线；
通过图像特征点预设关系，根据所述激光条纹特征直线，提取所述空间环形焊缝的图像的空间环形焊缝特征点二维图像坐标。
根据本发明提供的一种空间环形焊缝示教与焊缝跟踪方法，所述转化所述空间环形焊缝特征点二维图像坐标为机器人基坐标系下空间环形焊缝特征点三维坐标，包括：
确定所述空间环形焊缝特征点二维图像坐标在所述激光焊缝跟踪传感器中的摄像机下的三维坐标；
确定摄像机坐标系与机器人工具坐标系之间关系，得到手眼关系矩阵，根据手眼关系矩阵得到机器人位姿变换矩阵；
根据所述摄像机下的三维坐标、所述手眼关系矩阵和所述机器人位姿变换矩阵，得到所述空间环形焊缝特征点二维图像坐标在机器人基坐标系下空间环形焊缝特征点三维坐标。
根据本发明提供的一种空间环形焊缝示教与焊缝跟踪方法，所述扫描所述空间环形焊缝特征点三维坐标，建立空间环形焊缝位姿模型，根据所述空间环形焊缝位姿模型规划出机器人焊枪的位置和姿态，包括：
采用预设次数B样条对所述空间环形焊缝特征点三维坐标的焊缝位置数据点进行拟合，规划机器人焊枪的位置；
建立空间环形焊缝位姿模型，根据所述空间环形焊缝位姿模型，规划机器人焊枪的姿态。
根据本发明提供的一种空间环形焊缝示教与焊缝跟踪方法，所述建立空间环形焊缝位姿模型，包括：
获取任意采样空间环形焊缝特征点在切线方向的方向向量；
根据所述方向向量，获取所述采样空间环形焊缝特征点垂直于焊缝的法矢量的接近向量；
根据所述方向向量和所述接近向量，确定所述采样空间环形焊缝特征点的法向量；
根据所述方向向量、所述接近向量和所述法向量，确定期望位姿的旋转矩阵；
根据所述旋转矩阵，确定所述采样空间环形焊缝特征点在机器人基坐标系下坐标轴的欧拉角；
根据所述欧拉角，建立空间环形焊缝位姿模型。
根据本发明提供的一种空间环形焊缝示教与焊缝跟踪方法，所述通过随机抽样一致性方法拟合所述空间环形焊缝所在空间圆的方程，获取所述空间圆半径的大小及圆心的三维坐标，包括：
确定所述空间环形焊缝所在平面的法向量；
根据所述空间环形焊缝所在平面的法向量和任意三个空间环形焊缝特征点三维坐标，确定所述空间环形焊缝特征点三维坐标所在空间圆的圆心坐标和半径；
基于所述圆心坐标和半径，通过随机抽样一致性方法拟合出所述空间环形焊缝所在空间圆的方程，并通过所述空间圆的方程确定空间圆半径的大小及圆心的三维坐标。
根据本发明提供的一种空间环形焊缝示教与焊缝跟踪方法，所述根据所述机器人焊枪当前位置、所述空间圆半径的大小和所述圆心的三维坐标，确定所述机器人焊枪在机器人基坐标系下的焊接偏差，包括：
获取工具中心点在所述空间环形焊缝所在平面的垂足点，确定所述垂足点的三维坐标；
根据所述垂足点的三维坐标、所述空间圆半径的大小和所述圆心的三维坐标，确定期望焊点的三维坐标；
根据所述机器人焊枪当前位置的三维坐标和所述期望焊点的三维坐标，确定所述机器人焊枪在机器人基坐标系下的焊接偏差。
根据本发明提供的一种空间环形焊缝示教与焊缝跟踪方法，所述基于所述焊接偏差、所述机器人焊枪的位置和姿态，控制对所述机器人在空间环形焊缝焊接时的焊缝跟踪，包括：
确定机器人焊枪在焊缝初始点的基坐标系中的补偿偏差，根据所述补偿偏差进行初始点对准；
跟踪所述机器人焊枪对空间环形焊缝的焊接，并根据所述焊接偏差，调整所述机器人焊枪的位置和姿态；
当所述空间环形焊缝的结束点与起始点重合时，确定预设距离值作为停弧点，以停止对空间环形焊缝的跟踪。
本发明还提供一种空间环形焊缝示教与焊缝跟踪系统，包括：
图像采集模块，用于通过激光焊缝跟踪传感器采集空间环形焊缝的图像；
特征点提取模块，用于提取所述空间环形焊缝图像的空间环形焊缝特征点二维图像坐标；
坐标转化模块，用于转化所述空间环形焊缝特征点二维图像坐标为机器人基坐标系下空间环形焊缝特征点三维坐标；
示教模块，用于扫描所述空间环形焊缝特征点三维坐标，建立空间环形焊缝位姿模型，根据所述空间环形焊缝位姿模型规划出机器人焊枪的位置和姿态，以实现对空间环形焊缝的示教；
拟合模块，用于通过随机抽样一致性拟合所述空间环形焊缝所在空间圆的方程，获取所述空间圆半径的大小及圆心的三维坐标；
偏差确定模块，用于获取空间环形焊缝所在的平面方程，确定机器人焊枪当前位置，根据所述机器人焊枪当前位置、所述空间圆半径的大小和所述圆心的三维坐标，确定所述机器人焊枪在机器人基坐标系下的焊接偏差；
跟踪焊接模块，用于基于所述焊接偏差、所述机器人焊枪的位置和姿态，控制对所述机器人在空间环形焊缝焊接时的焊缝跟踪，以完成焊接工作。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述空间环形焊缝示教与焊缝跟踪方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述空间环形焊缝示教与焊缝跟踪方法的步骤。
本发明提供的一种空间环形焊缝示教与焊缝跟踪方法、系统及设备，方法通过激光焊缝跟踪传感器采集空间环形焊缝的图像；基于图像处理，提取空间环形焊缝图像的空间环形焊缝特征点二维图像坐标；转化空间环形焊缝特征点二维图像坐标为机器人基坐标系下空间环形焊缝特征点三维坐标；扫描空间环形焊缝特征点三维坐标，建立空间环形焊缝位姿模型，根据空间环形焊缝位姿模型规划出机器人焊枪的位置和姿态，以实现对空间环形焊缝的示教；通过随机抽样一致性方法拟合空间环形焊缝所在空间圆的方程，获取空间圆半径的大小及圆心的三维坐标；获取空间环形焊缝所在的平面方程，根据平面方程确定机器人焊枪当前位置，根据机器人焊枪当前位置、空间圆半径的大小和圆心的三维坐标，确定机器人焊枪在机器人基坐标系下的焊接偏差；基于焊接偏差、机器人焊枪的位置和姿态，控制机器人实现在空间环形焊缝焊接时的焊缝跟踪，以完成焊接工作，通过对空间环形焊缝特征点三维坐标的准确提取，建立位姿模型的方式实现自主示教，更加便捷地完成对机器人的示教和姿态调整，进而更有效地提高机器人的焊接效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的空间环形焊缝示教与焊缝跟踪方法的流程示意图；
图2是本发明实施例提供的激光焊缝跟踪传感器视觉模型示意图；
图3是本发明空间环形焊缝位姿模型示意图；
图4是本发明空间环形焊缝特征点向量示意图；
图5是本发明空间环形焊缝焊接误差示意图；
图6是本发明空间环形焊缝实时焊缝跟踪示意图；
图7是本发明实施例提供的空间环形焊缝示教与焊缝跟踪系统的结构示意图；
图8是本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图8描述本发明的空间环形焊缝示教与焊缝跟踪方法、系统及设备。
图1是本发明实施例提供的空间环形焊缝示教与焊缝跟踪方法的流程示意图；图2是本发明实施例提供的激光焊缝跟踪传感器视觉模型示意图；图3是本发明空间环形焊缝位姿模型示意图；图4是本发明空间环形焊缝特征点向量示意图；图5是本发明空间环形焊缝焊接误差示意图；图6是本发明空间环形焊缝实时焊缝跟踪示意图。
如图1所示，本发明实施例提供的一种空间环形焊缝示教与焊缝跟踪方法，包括以下步骤：
101、通过激光焊缝跟踪传感器采集空间环形焊缝的图像。
具体的，本实施例中采用激光焊缝跟踪传感器来进行图像采集和焊缝跟踪，主要包括工业摄像机、传感器保护外罩、滤光镜片、红色线阵激光器等。其中，线阵激光器产生的红色激光平面照射在工件上形成激光条纹，工业摄像机和滤光镜片位于激光焊缝跟踪传感器外壳内壁来采集滤过一定补偿光的焊缝图像，滤光镜片可以很方便的抽出从而实现对工业摄像机的标定，传感器保护外罩保护激光焊缝跟踪传感器免受焊接飞溅和熔池高温的影响，并通过安装结构与焊接机器人的第六轴进行连接。使用本发明实施例所述的激光焊缝跟踪传感器，采集对称V型焊缝、搭接焊缝、角接焊缝的图像，其中焊缝图像中白色线条为激光条纹和飞溅光，经过滤光镜片滤除一定波长的光线，除激光条纹和飞溅光之外的图像基本都是黑色。因此，便可以按照上述方式，不断采集空间环形焊缝焊接过程中的焊缝图像并发送给工控主机进行图像处理。
102、基于图像处理，提取空间环形焊缝图像的空间环形焊缝特征点二维图像坐标。
无论是对空间环形焊缝进行自主示教还是焊缝跟踪，对空间环形焊缝图像进行准确的特征点提取是前提，由于空间环形焊缝大多为角接焊缝，因此以角接焊缝为例进行介绍。详细流程如下：
通过取小运算关系和中值滤波器滤除空间环形焊缝的图像的噪声，得到预处理图像。具体的，由于焊缝跟踪过程中激光焊缝跟踪传感器的安装位置不能离焊枪太远，所以焊接过程中采集到的图像会受到焊接弧光和飞溅的干扰。由于本发明设计的结构光传感器添加了挡弧板和窄带滤光片，采集到的结构光图像中大部分弧光噪声已经被滤除，图像预处理的目的主要是为了消除焊接飞溅的影响。在焊接过程中，由于飞溅噪声具有瞬时性，而图像中的激光条纹是稳定的。基于这个特点，飞溅噪声的干扰可以通过相邻两幅图像“取小运算”来滤除，如下式(1)所示：
I(i,j,t)＝min[I(i,j,t-1),I(i,j,t)] (1)
其中：I(i,j,t)是像素点(i,j)在时刻t的灰度值。
同时，图像采集和传输过程中也会产生随机噪声。中值滤波器是一种非线性的空间滤波器，它将每一个像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值，能够在滤除噪声的同时降低对边缘轮廓的影响。因此，本发明实施例采用中值滤波器去除图像中其它随机噪声，在图像预处理之后，大部分噪声可以被去除，得到预处理图像。
得到预处理图像之后，获取预处理图像的感兴趣区域(ROI)。具体为，在图像处理过程中，如果直接对整幅焊缝图像进行处理，会带来较大的计算量，不仅降低系统的实时性能，还会影响系统的检测精度。因此，在确定激光条纹中心轮廓之前，首先需要确定焊缝图像的ROI，即图像中激光条纹所在的区域。由于激光条纹大致平行于图像的u轴，而且激光条纹处像素的灰度值高于图像中其它像素的灰度值，因此图像的ROI可以通过对每行像素灰度值求和得到。如下式(2)所示：
Figure BDA0003218054710000101
其中：Jv(i)是图像第i行像素灰度值之和，w和h分别为图像的宽度和高度。
然后图像的感兴趣区域可以通过下式(3)得到：
Figure BDA0003218054710000102
其中：[xmin,xmax]和[ymin,ymax]分别是图像ROI的x范围和y范围，Δy是图像ROI高度的一半，vc是像素灰度值之和最大值所对应的行数。
然后根据感兴趣区域内行像素灰度值之和计算激光条纹的自适应阈值，并根据自适应阈值对感兴趣区域进行阈值分割处理。具体为，为了完成激光条纹特征点的提取，需要将激光条纹从焊缝图像中分割出来。常用的一类图像分割方法是阈值分割法，其原理是基于目标对象的灰度值与背景图像灰度值之间的差异进行分割。由于激光条纹的灰度值高于焊缝图像中其它像素的灰度值，所以这里考虑采用阈值分割法从焊缝图像中分割出激光条纹。阈值分割的关键是选择合适的阈值，根据阈值选取方法的不同，阈值分割方法可以分为全局阀值分割、局部阀值分割和自适应阀值分割三种。由于自适应阀值分割方法可以根据图像中灰度值的变化选取合适的阀值，应用比较广泛。最常用的自适应阀值分割方法是Otsu方法，该方法采用统计学方法确定最优的阀值，能最大程度区分图像中的灰度层级。因此，根据所采集到焊缝图像的特点，本发明提出一种快速可靠自适应阈值分割方法。根据图像中激光条纹的灰度值高于图像中其它像素的灰度值以及激光条纹所在区域比较集中的特点，利用图像ROI内行像素灰度值之和计算激光条纹的自适应阈值，如下式(4)所示：
Figure BDA0003218054710000111
其中：t为激光条纹的阈值，k为比例系数。
然后根据阈值分割的基本原理对图像ROI区域进行处理，如下式(5)所示：
Figure BDA0003218054710000112
其中，I(i,j)是阈值分割前焊缝图像像素点(i,j)处的灰度值，I'(i,j)是阈值分割二值化之后图像像素点(i,j)处的灰度值。
基于阈值分割处理的结果，确定激光条纹的上下边缘，并根据激光条纹的上下边缘，获取激光条纹中心轮廓。具体为，为了确定激光条纹的中心轮廓，首先确定激光条纹的上下边缘，通过计算每列像素中最大和最小的像素灰度梯度值来确定激光条纹的上下边缘，如下式(6)(7)(8)所示：
Figure BDA0003218054710000113
Figure BDA0003218054710000114
Figure BDA0003218054710000115
其中，Plu(j)是图像中第j列像素的上边缘，Pll(j)是图像中第j列像素的下边缘G(k)是图像中第j列像素中第k个像素的灰度梯度值，w是图像ROI的宽度，αi(i＝1,2,3)是梯度算子的系数。
再利用下式(9)得到激光条纹的中心轮廓：
Plc(j)＝(Plu(j)+Pll(j))/2(j＝1,2,…,w) (9)
基于Hough变换提取激光条纹中心轮廓的激光条纹特征直线。具体为，获取激光条纹轮廓以后，会发现焊缝的中心轮廓常存在一些错误的点。由于Hough变换可以降低错误点的影响从而准确的提取出特征直线，因此本发明采用Hough变换提取特征直线。利用Hough变换提取特征线，首先要确定特征线的数学模型。激光条纹是直线，但是传统的Hough变换的计算量很大，所以本发明提出一种改进的Hough变换直线提取方法，来降低图像处理的计算量从而提高实时性。
由于两个图像点对应于Hough空间中的一个点(ρ,θ)，并确定一条直线，所以随机选取两个图像点(xi,yi)和(xj,yj)，并利用下式(10)来计算得到(ρ,θ)。
Figure BDA0003218054710000121
然后，利用下式(11)对中心轮廓上的所有点进行验证：
Figure BDA0003218054710000122
重复上述计算过程，通过一系列迭代，得到候选点个数最多的直线就是要提取的特征直线。为了提高特征直线的提取精度，利用最小二乘拟合方法对个数最多的这些候选点进行直线拟合，得到最终的激光条纹特征直线。
假设激光条纹中心线的直线方程为(12)：
y＝kx+b (12)
其中：k为激光条纹中心直线的斜率，b为激光条纹中心直线的截距。
本发明最小二乘拟合的求解过程如下(13)：
Figure BDA0003218054710000131
其中，
Figure BDA0003218054710000132
和
Figure BDA0003218054710000133
分别是拟合得到的激光条纹中心直线的斜率和截距，n是参与拟合计算的激光条纹中心直线上点的数量，
Figure BDA0003218054710000134
是这些点的平均坐标值。
通过图像特征点预设关系，根据激光条纹特征直线，提取空间环形焊缝的图像的空间环形焊缝特征点二维图像坐标。具体为，激光条纹特征点定义为左激光条纹特征直线和右激光条纹特征直线的交点。假设左激光条纹特征直线方程为
Figure BDA0003218054710000135
右激光条纹特征直线方程为
Figure BDA0003218054710000136
则空间环形焊缝图像特征点计算如下(14)：
Figure BDA0003218054710000137
其中，(uf1,vf1)是空间环形焊缝特征点的二维图像坐标。
103、转化空间环形焊缝特征点二维图像坐标为机器人基坐标系下空间环形焊缝特征点三维坐标。
如图2所示，为视觉投影成像模型图，其中Π1、Π2、Π3分别是摄像机成像平面、空间环形焊缝所在平面以及激光平面。空间环形焊缝特征点的图像坐标pim与其在摄像机坐标系下的三维坐标Pca之间的关系可表示为(15)：
Figure BDA0003218054710000141
式中，(u,v)是焊缝特征点的图像坐标，(u0,v0)是光轴中心的图像坐标，(kx,ky)是横轴和纵轴方向的放大系数，(xc,yc,zc)是焊缝特征点在摄像机坐标系下的三维坐标，Mc是摄像机内参数矩阵。
假设结构光平面在摄像机坐标系下的平面方程为(16)：
zc＝axc+byc+c (16)
式中，a,b,c是系数，可以通过对结构光平面的标定获取。
由于激光条纹特征点Pca位于激光平面上，所以点Pca的坐标(xc,yc,zc)符合方程(16)。结合摄像机的投影成像模型和激光器相对于摄像机的位置关系模型，由激光条纹特征点的图像坐标可以获得该特征点在摄像机坐标系下的三维坐标，如公式(17)所示：
Figure BDA0003218054710000142
在空间环形焊缝跟踪系统中，激光焊缝跟踪传感器位于机器人手上，构成手眼系统。手眼关系矩阵Tm用来表示摄像机坐标系和机器人工具坐标系之间的关系。Tm的形式如下(18)：
Figure BDA0003218054710000143
式中，(nx,ny,nz)是摄像机坐标系中x轴的方向向量在机器人工具坐标系下的表示，(ox,oy,oz)是摄像机坐标系中y轴的方向向量在机器人工具坐标系下的表示，(ax,ay,az)是摄像机坐标系中z轴的方向向量在机器人工具坐标系下的表示，(pxt,pyt,pzt)是摄像机坐标系的原点到机器人工具坐标系原点的平移向量。
通过手眼标定，可以获得摄像机坐标系和机器人工具坐标系之间的旋转和平移关系矩阵Tm。通过与机器人控制器进行网络通信，读取机器人工具中心点的位姿坐标(xt,yt,zt,Rxt,Ryt,Rzt)，获取机器人位姿变换矩阵T6的流程如下(19)(20)(21)：
Figure BDA0003218054710000151
Figure BDA0003218054710000152
Figure BDA0003218054710000153
由公式(19)，(20)，(21)可以获取旋转矩阵Rt(22)：
Figure BDA0003218054710000154
由机器人工具中心点的位姿坐标以及计算得到的旋转矩阵Rt，获取的T6矩阵如下式(23)所示：
Figure BDA0003218054710000161
根据公式(18)以及公式(23)计算得到Tm、T6矩阵，焊缝特征点在机器人基坐标系下的三维坐标Pb(xb,yb,zb)可以由下式(24)获得：
Pb'＝T6×Tm×Pca' (24)
其中，P'ca为[xc,yc,zc,1]T，它是Pca的齐次形式。P'b为[xb,yb,zb,1]T，它是Pb的齐次形式。Tm由机器人的手眼标定来获取，T6从焊接机器人控制器实时读取并计算出来。
至此，根据结构光视觉模型，结合摄像机的内参数求取、结构光平面参数的标定、机器人工具中心点(TCP)的标定、机器人与激光焊缝跟踪传感器之间的手眼标定等流程可以获得空间环形焊缝特征点在机器人基坐标系下的三维坐标Pb(xb,yb,zb)，完成将采集的空间环形焊缝图像特征点二维图像坐标转化成机器人基坐标系下的三维坐标，该坐标可用于空间环形焊缝的自主示教以及实时的焊缝跟踪。
104、扫描获取空间环形焊缝特征点三维坐标，建立空间环形焊缝位姿模型，根据空间环形焊缝位姿模型规划出机器人焊枪的位置和姿态，实现对空间环形焊缝的示教。
具体为，采用预设次数B样条对空间环形焊缝特征点三维坐标的焊缝位置数据点进行拟合，规划机器人焊枪的位置；建立空间环形焊缝位姿模型，根据空间环形焊缝位姿模型，规划机器人焊枪的姿态。主要流程为，首先生成扫描路径，扫描路径是使用激光焊缝跟踪传感器对空间环形焊缝进行扫描时的机器人运动路径，本发明中扫描路径由工件的计算机辅助设计(CAD)数据生成。在扫描路径生成的过程中，需要注意以下几个问题：(1)避免焊接线缆和激光焊缝跟踪传感器电缆在焊枪端互相缠绕，(2)扫描路径需要超出实际焊缝长度一定的距离。
轨迹规划。利用焊缝图像处理算法提取空间环形焊缝图像坐标，结合公式(17)和公式(19)，可以获得机器人基坐标系中焊接特征点的坐标。通过连续扫描，得到空间环形焊缝的点云。由于激光焊缝跟踪传感器提取的焊缝位置数据是离散点，为了保证自主示教系统的位置精度，本发明实施例采用三次B样条对焊缝位置数据点进行拟合。用四个离散点确定一条三次B样条曲线，假设四个焊缝点分别为P1(x1,y1,z1),P2(x2,y2,z2)、P3(x3,y3,z3)、P4(x4,y4,z4)，则三次B样条曲线的参数表达式(25)为：
Figure BDA0003218054710000171
其中，0≤t≤1，三次B样条的分量形式为如式(26)所示:
Figure BDA0003218054710000172
其中，
Figure BDA0003218054710000173
Figure BDA0003218054710000174
Figure BDA0003218054710000181
对于采集的k个空间环形焊缝位置数据，采用三次B样条算法进行拟合。首先，在焊缝数据的两端各添加一个数据点，即对k+2个数据进行拟合。此时，共有k+2个离散点，记为Pi(i＝1,2，…,k+2)。由点P1、P2、P3和P4拟合第一条三次B样条曲线，由点P2、P3、P4和P5拟合第二条三次B样条曲线，以此类推，第k-1条三次B样条曲线由Pk-1、Pk、Pk+1和Pk+2拟合。最后，离散的空间环形焊缝点被拟合成一条光滑的环形曲线。
再通过空间环形焊缝位姿模型进行姿态规划，其中，建立空间环形焊缝位姿模型，如图3所示，为点pi处的激光条纹节点模型，其中pc为圆心，焊缝特征点为pi，方向向量为Oi，接近向量为ai，法向量为ni。包括：获取任意采样空间环形焊缝特征点在切线方向的方向向量o(i)：o(i)表示空间环形焊缝在第i个采样点处的切线方向，可通过求取焊缝曲线在第i个采样点处的一阶导数得到(30)：
Figure BDA0003218054710000182
式中，i,j,k分别为机器人基坐标系下的x轴、y轴以及z轴的单位向量。
根据方向向量，获取采样空间环形焊缝特征点垂直于焊缝的法矢量的接近向量a(i)：a(i)表示空间环形焊缝在第i个采样点处垂直于焊缝的法矢量，可由下式(31)计算得到：
Figure BDA0003218054710000191
式中，符号·表示两个向量的点乘运算符，向量b(i)为空间环形焊缝在第i个采样点处向量v1与向量v2平分线的单位向量，如图4所示，左焊缝特征点pli，右焊缝特征点pri，向量v1为特征点pi与pli确定的方向向量；向量v2为特征点pi与pri确定的方向向量，b(i)的表达式(32)如下：
Figure BDA0003218054710000192
根据方向向量和接近向量，确定采样空间环形焊缝特征点的法向量n(i)；可由方向向量o(i)与接近向量a(i)做向量积运算得到，如(33)：
n(i)＝o(i)×a(i)(33)
根据方向向量、接近向量和法向量，确定期望位姿的旋转矩阵R，可用以上三个向量(34)来表示：
Figure BDA0003218054710000193
根据旋转矩阵，确定采样空间环形焊缝特征点在机器人基坐标系下坐标轴x轴、y轴、z轴方向的欧拉角
Figure BDA0003218054710000194
θ，φ；根据欧拉角，建立空间环形焊缝位姿模型。获取到空间环形焊缝位姿模型后，获取机器人在空间环形焊缝上各个焊缝特征点的位姿信息从而完成焊接机器人自主示教。
105、通过随机抽样一致性方法拟合空间环形焊缝所在空间圆的方程，获取空间圆半径的大小及圆心的三维坐标。
完成焊接机器人的自主示教以后，开始按照示教轨迹进行焊接工作。在焊接过程中，首先要对激光焊缝跟踪传感器扫描的空间环形轨迹进行拟合。本发明实施例空间环形焊缝拟合模块通过随机抽样一致性(RANSAC)算法拟合空间环形焊缝所在空间圆的方程，从而获取空间圆的半径以及圆心的三维坐标。
具体为，确定空间环形焊缝所在平面的法向量；假设焊缝特征点容器FP中任意三点的坐标分别为p1(sx,sy,sz)、p2(mx,my,mz)、p3(ex,ey,ez)。则空间环形所在平面法向量
Figure BDA0003218054710000201
由
Figure BDA0003218054710000202
和
Figure BDA0003218054710000203
的叉乘获取(35)：
Figure BDA0003218054710000204
其中，
Figure BDA0003218054710000205
由此，获取空间环形焊缝所在平面法向量的模为(37)：
Figure BDA0003218054710000206
式中，(vecx,vecy,vecz)是空间环形焊缝所在平面的法向量，norm是法向量的模。如果norm≠0，证明采集的三个空间点不共线，则成功计算出空间环形焊缝所在平面的法向量(vecx,vecy,vecz)。
根据空间环形焊缝所在平面的法向量和任意三个空间环形焊缝特征点三维坐标，确定空间环形焊缝特征点三维坐标所在空间圆的圆心坐标和半径。设圆心坐标为Pc(x0,y0,z0)，半径为R0，由于圆上的三个点位于同一平面，因此该平面方程确定如下式(38)所示：
Figure BDA0003218054710000211
上式计算可以得到(39)：
A1x+B1y+C1z+D1＝0(39)
其中：
Figure BDA0003218054710000212
由于圆上的三个点到圆心的距离相等，因此：
Figure BDA0003218054710000213
公式(41)的第一个公式减去第二个公式可以得到(42)：
2(mx-sx)x0+2(my-sy)y0+2(mz-sz)z0+sx 2+sy 2+sz 2-mx 2-my 2-mz 2＝0 (42)
公式(41)的第一个公式减去第三个公式可以得到(43)：
2(ex-sx)x0+2(ey-sy)y0+2(ez-sz)z0+sx 2+sy 2+sz 2-ex 2-ey 2-ez 2＝0 (43)
公式(42)和公式(43)可以分别标注为：
A2x0+B2y0+C2z0+D2＝0 (44)
A3x0+B3y0+C3z0+D3＝0 (45)
圆心Pc也在圆的平面上，因此Pc满足公式(39)。根据公式(39)、公式(44)、公式(45)，得到空间圆心的线性代数方程，如公式(46)所示：
Figure BDA0003218054710000221
圆的中心坐标Pc可由公式(47)计算：
Figure BDA0003218054710000222
圆的半径R0计算如下(48)：
Figure BDA0003218054710000223
因此，利用激光焊缝跟踪传感器扫描空间环形焊缝上的任意三个非共线点，即可获取空间圆的圆心坐标Pc和半径R0。
基于圆心坐标和半径，通过随机抽样一致性方法拟合出空间环形焊缝所在空间圆的方程，并通过空间圆的方程确定空间圆半径的大小及圆心的三维坐标。为了减少离群点的影响，提高圆心计算的鲁棒性，本发明提出了用RANSAC算法拟合空间圆的圆心和半径的方法，在输入变量中，Pstdata是指向焊缝位置数据的指针，Datacnt是点数，Mincnt是估计圆参数所需的最少的点数，maxIterCnt是最大迭代次数，Meth是最大误差阈值，Csth是模型一致性准则，用内点的百分比来衡量。在输出变量中，me是模型误差。通过RANSAC算法，如果isNonFind＝0，则空间环形焊缝拟合模块通过随机抽样一致性(RANSAC)算法拟合出空间环形焊缝所在圆的方程，从而获取空间环形的半径R0以及圆心的三维坐标(x0,y0,z0)。
106、获取空间环形焊缝所在的平面方程，确定机器人焊枪当前位置，根据机器人焊枪当前位置、空间圆半径的大小和圆心的三维坐标，确定机器人焊枪在机器人基坐标系下的焊接偏差。
通过建立空间环形焊缝误差模型来保证焊接的准确度，由图5所示，建立空间环形焊缝的误差模型，其中Π为空间环形所在的平面，Pt(tx,ty,tz)为工具中心点(TCP)在机器人基坐标系下的坐标，Pc(x0,y0,z0)为圆心在机器人基坐标系中的坐标。Pf(fx,fy,fz)是TCP在Π上的垂足点。Pe(ex,ey,ez)是期望的焊接点，Pe位于直线PcPf与空间圆的交点，焊接偏差E(Δx,Δy,Δz)为Pt与Pe之间的误差。首先获取工具中心点在空间环形焊缝所在平面Π的垂足点，确定垂足点的三维坐标。向量
Figure BDA0003218054710000231
以及
Figure BDA0003218054710000232
被构建起来，由于
Figure BDA0003218054710000233
且
Figure BDA0003218054710000234
于是可以得到：
(mx-sx)(fx-tx)+(my-sy)(fy-ty)+(mz-sz)(fz-tz)＝0 (49)
(ex-sx)(fx-tx)+(ey-sy)(fy-ty)+(ez-sz)(fz-tz)＝0 (50)
由于点Pf在平面Π上，且平面方程是公式(39)，于是可以得到：
A1fx+B1fy+C1fz+D1＝0 (51)
结合公式(49)、(50)和(51)，计算出垂足点Pf的坐标为(52)：
Figure BDA0003218054710000235
根据垂足点的三维坐标、空间圆半径的大小和圆心的三维坐标，确定期望焊点Pe的三维坐标；由于Pc、Pf、Pe在同一条直线上，所以：
Figure BDA0003218054710000241
其中，t0是系数，又由于Pe位于空间圆上，所以：
(px-x0)2+(py-y0)2+(pz-z0)2＝R0 2 (54)
结合公式(53)和公式(54)，可以得到t0：
Figure BDA0003218054710000242
因此，计算出期望的焊接点Pe：
Figure BDA0003218054710000243
其中t0的值取决于Pe和Pf间的距离|PePf|小于R0。
根据机器人焊枪当前位置的三维坐标和期望焊点的三维坐标，确定机器人焊枪在机器人基坐标系下的焊接偏差。空间环形焊缝焊接误差为Pt与Pe之间的误差。因此，焊接机器人在基坐标系中x轴、y轴和z轴方向的焊接偏差E为(57)：
Figure BDA0003218054710000244
107、基于焊接偏差、机器人焊枪的位置和姿态，控制对机器人在空间环形焊缝焊接时的焊缝跟踪，以完成焊接工作。
上述流程的基础上，开始完成在焊接过程中对空间环形焊缝的自动跟踪。空间环形焊缝跟踪模块对空间环形焊缝完成焊缝跟踪如图6所示，箭头方向为焊接方向，小圆为圆心，大圆为空间环形焊缝，实心原点为焊枪位置，大圆上的直线为激光条纹位置，其主要流程如下：
确定机器人焊枪在焊缝初始点的基坐标系中的补偿偏差，根据补偿偏差进行初始点对准。具体焊缝初始点自动对准为，在路点1处开始由焊缝图像采集模块获取焊缝图像，随后通过焊缝图像处理模块进行焊缝图像处理。通过图像处理算法提取的焊缝特征点坐标被连续保存到容器FP中。FP中保存的第一个焊缝特征点当作空间环形焊缝的初始点。接下来实现焊缝初始点的导引，首先工控机通过以太网将初始点偏差发送给机器人控制器。然后，机器人控制器控制机器人在基坐标系中补偿偏差，实现焊枪与焊缝初始点的自动对准。
跟踪机器人焊枪对空间环形焊缝的焊接，并根据焊接偏差，调整机器人焊枪的位置和姿态。开始焊缝跟踪具体为，在路点2，焊枪到达初始焊接点，容器FP中的焊接特征点数量记录为k。同时，通过空间环形焊缝拟合模块对k个焊缝坐标点进行拟合，计算出空间圆的圆心和半径。接着，通过空间环形焊缝焊接偏差获取模块获取焊接偏差，结合焊枪的当前位置，计算在机器人基坐标系中x、y、z三个方向的焊接偏差。工控主机将偏差发送给机器人控制器，机器人控制器对焊接偏差进行补偿，从而实现高精度的实时的空间环形焊缝跟踪。其中，空间圆的拟合为，在焊缝跟踪过程中，随着保存在FP中的焊缝特征点数量的增加，空间圆的拟合点数量也在增加。为了降低计算量，当FP中的点数达到2k时，拟合空间圆的点数不再增加，后面利用最新保存的2k个焊缝特征点对空间圆进行拟合。
当空间环形焊缝的结束点与起始点重合时，确定预设距离值作为停弧点，以停止对空间环形焊缝的跟踪。也就是结束点检测具体为，在路点8，开始用闭环检测算法检测空间环形焊缝的结束点，在空间环形焊缝的焊接过程中，焊缝的起始点也是焊缝的终点，当激光焊缝跟踪传感器检测到终点时，停止将焊缝坐标保存到FP中。最后结束焊缝跟踪，为了保证焊接质量，焊接的终点必须覆盖焊接的起始点。通过选择合理的停弧点，可以减少接头处的焊接缺陷。如图5所示，在本发明实施例中，预设距离值ds设置为25mm，当刀具中心点(TCP)到达路点10时，停止空间环形焊缝的跟踪。
本发明针对空间环形焊缝的自主示教与实时焊缝跟踪方法的实施例所用的设备主要包括激光焊缝跟踪传感器、焊接机器人、工控主机和焊接设备，其中工业机器人为MOTOMAN-MA1440六自由度焊接机器人，重复定位精度为±0.8mm。DX200控制器控制焊接机器人的运动，并通过以太网与工控主机进行交互。工控主机提取出空间环形焊缝的特征点，完成空间环形焊缝的自主示教并对焊接偏差进行自动纠偏。焊接设备主要包括氩气/二氧化碳保护气体、MOTOWELD-RD500焊机和自动送丝机，上述设备通过通信总线进行信息交互。
本发明实施例提供的一种空间环形焊缝示教与焊缝跟踪方法，通过激光焊缝跟踪传感器采集空间环形焊缝的图像；基于图像处理，提取空间环形焊缝图像的空间环形焊缝特征点二维图像坐标；转化空间环形焊缝特征点二维图像坐标为机器人基坐标系下空间环形焊缝特征点三维坐标；扫描获取空间环形焊缝特征点三维坐标，建立空间环形焊缝位姿模型，根据空间环形焊缝位姿模型规划出机器人焊枪的位置和姿态，以实现对空间环形焊缝的示教；通过随机抽样一致性方法拟合空间环形焊缝所在空间圆的方程，获取空间圆半径的大小及圆心的三维坐标；获取空间环形焊缝所在的平面方程，确定机器人焊枪当前位置，根据机器人焊枪当前位置、空间圆半径的大小和圆心的三维坐标，确定机器人焊枪在机器人基坐标系下的焊接偏差；基于焊接偏差、机器人焊枪的位置和姿态，控制机器人实现空间环形焊缝焊接时的焊缝跟踪，以完成焊接工作，通过对空间环形焊缝特征点三维坐标的准确提取，建立位姿模型的方式实现自主示教，更加便捷地完成对机器人的示教和姿态调整，进而更有效地提高机器人的焊接效率。
基于同一总的发明构思，本申请还保护一种空间环形焊缝示教与焊缝跟踪系统。下面对本发明提供的空间环形焊缝示教与焊缝跟踪系统进行描述，下文描述的空间环形焊缝示教与焊缝跟踪系统与上文描述的空间环形焊缝示教与焊缝跟踪方法可相互对应参照。
图7是本发明实施例提供的空间环形焊缝示教与焊缝跟踪系统的结构示意图。
如图7所示，本发明实施例提供的一种空间环形焊缝示教与焊缝跟踪系统，包括：
图像采集模块71，用于通过激光焊缝跟踪传感器采集空间环形焊缝的图像；
特征点提取模块72，用于提取空间环形焊缝的图像的空间环形焊缝特征点二维图像坐标；
坐标转化模块73，用于转化空间环形焊缝特征点二维图像坐标为机器人基坐标系下空间环形焊缝特征点三维坐标；
示教模块74，用于扫描获取空间环形焊缝特征点三维坐标，建立空间环形焊缝位姿模型，根据空间环形焊缝位姿模型规划出机器人焊枪的位置和姿态，以实现对空间环形焊缝的示教；
拟合模块75，用于通过随机抽样一致性方法拟合空间环形焊缝所在空间圆的方程，获取空间圆半径的大小及圆心的三维坐标；
偏差确定模块76，用于获取空间环形焊缝所在的平面方程，确定机器人焊枪当前位置，根据机器人焊枪当前位置、空间圆半径的大小和圆心的三维坐标，确定机器人焊枪在机器人基坐标系下的焊接偏差；
跟踪焊接模块77，用于基于焊接偏差、机器人焊枪的位置和姿态，控制机器人实现空间环形焊缝焊接时的焊缝跟踪，以完成焊接工作。
本发明实施例提供的一种空间环形焊缝示教与焊缝跟踪系统，通过激光焊缝跟踪传感器采集空间环形焊缝的图像；基于图像处理，提取空间环形焊缝图像的空间环形焊缝特征点二维图像坐标；转化空间环形焊缝特征点二维图像坐标为机器人基坐标系下空间环形焊缝特征点三维坐标；扫描空间环形焊缝特征点三维坐标，建立空间环形焊缝位姿模型，根据空间环形焊缝位姿模型规划出机器人焊枪的位置和姿态，以实现对空间环形焊缝的示教；通过随机抽样一致性方法拟合空间环形焊缝所在空间圆的方程，获取空间圆半径的大小及圆心的三维坐标；获取空间环形焊缝所在的平面方程，确定机器人焊枪当前位置，根据机器人焊枪当前位置、空间圆半径的大小和圆心的三维坐标，确定机器人焊枪在机器人基坐标系下的焊接偏差；基于焊接偏差、机器人焊枪的位置和姿态，控制机器人实现空间环形焊缝焊接时的焊缝跟踪，以完成焊接工作，通过对空间环形焊缝特征点三维坐标的准确提取，建立位姿模型的方式实现自主示教，更加便捷地完成对机器人的示教和姿态调整，进而更有效地提高机器人的焊接效率。
进一步的，本实施例中的特征点提取模块72，具体用于：
通过取小运算关系和中值滤波器滤除空间环形焊缝的图像的噪声，得到预处理图像；
获取预处理图像的感兴趣区域；
根据感兴趣区域内行像素灰度值之和计算激光条纹的自适应阈值，并根据自适应阈值对感兴趣区域进行阈值分割处理；
基于阈值分割处理的结果，确定激光条纹的上下边缘，并根据激光条纹的上下边缘，获取激光条纹中心轮廓；
基于Hough变换提取激光条纹中心轮廓的激光条纹特征直线；
通过图像特征点预设关系，根据激光条纹特征直线，提取空间环形焊缝图像的空间环形焊缝特征点二维图像坐标。
进一步的，本实施例中的坐标转化模块73，具体用于：
确定空间环形焊缝特征点二维图像坐标在激光焊缝跟踪传感器中的摄像机下的三维坐标；
确定摄像机坐标系与机器人工具坐标系之间关系，得到手眼关系矩阵，根据手眼关系矩阵得到机器人位姿变换矩阵；
根据摄像机下的三维坐标、手眼关系矩阵和机器人位姿变换矩阵，得到空间环形焊缝特征点二维图像坐标在机器人基坐标系下空间环形焊缝特征点三维坐标。
进一步的，本实施例中的示教模块74，具体用于：
采用预设次数B样条对空间环形焊缝特征点三维坐标的焊缝位置数据点进行拟合，规划机器人焊枪的位置；
建立空间环形焊缝位姿模型，根据空间环形焊缝位姿模型，规划机器人焊枪的姿态。
进一步的，本实施例中的示教模块74，具体还用于：
获取任意采样空间环形焊缝特征点在切线方向的方向向量；
根据方向向量，获取采样空间环形焊缝特征点垂直于焊缝的法矢量的接近向量；
根据方向向量和接近向量，确定采样空间环形焊缝特征点的法向量；
根据方向向量、接近向量和法向量，确定期望位姿的旋转矩阵；
根据旋转矩阵，确定采样空间环形焊缝特征点在机器人基坐标系下坐标轴的欧拉角；
根据欧拉角，建立空间环形焊缝位姿模型。
进一步的，本实施例中的拟合模块75，具体用于：
确定空间环形焊缝所在平面的法向量；
根据空间环形焊缝所在平面的法向量和任意三个空间环形焊缝特征点三维坐标，确定空间环形焊缝特征点三维坐标所在空间圆的圆心坐标和半径；
基于圆心坐标和半径，通过随机抽样一致性方法拟合出空间环形焊缝所在空间圆的方程，并通过空间圆的方程确定空间圆半径的大小及圆心的三维坐标。
进一步的，本实施例中的偏差确定模块76，具体用于：
获取工具中心点在空间环形焊缝所在平面的垂足点，确定垂足点的三维坐标；
根据垂足点的三维坐标、半径的三维坐标和圆心的三维坐标，确定期望焊点的三维坐标；
根据机器人焊枪当前位置的三维坐标和期望焊点的三维坐标，确定机器人焊枪在机器人基坐标系下的焊接偏差。
进一步的，本实施例中的跟踪焊接模块77，具体用于：
确定机器人焊枪在焊缝初始点的基坐标系中的补偿偏差，根据补偿偏差进行初始点对准；
跟踪机器人焊枪对空间环形焊缝的焊接，并根据焊接偏差，调整机器人焊枪的位置和姿态；
当空间环形焊缝的结束点与起始点重合时，确定预设距离值作为停弧点，以停止对空间环形焊缝的跟踪。
图8是本发明实施例提供的电子设备的结构示意图。
如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行空间环形焊缝示教与焊缝跟踪方法，该方法包括：通过激光焊缝跟踪传感器采集空间环形焊缝的图像；基于图像处理，提取空间环形焊缝图像的空间环形焊缝特征点二维图像坐标；转化空间环形焊缝特征点二维图像坐标为机器人基坐标系下空间环形焊缝特征点三维坐标；扫描获取空间环形焊缝特征点三维坐标，建立空间环形焊缝位姿模型，根据空间环形焊缝位姿模型规划出机器人焊枪的位置和姿态，以实现对空间环形焊缝的示教；通过随机抽样一致性方法拟合空间环形焊缝所在空间圆的方程，获取空间圆半径的大小及圆心的三维坐标；获取空间环形焊缝所在的平面方程，确定机器人焊枪当前位置，根据机器人焊枪当前位置、空间圆半径的大小和圆心的三维坐标，确定机器人焊枪在机器人基坐标系下的焊接偏差；基于焊接偏差、机器人焊枪的位置和姿态，控制机器人实现空间环形焊缝焊接时的焊缝跟踪，以完成焊接工作。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的空间环形焊缝示教与焊缝跟踪方法，该方法包括：通过激光焊缝跟踪传感器采集空间环形焊缝的图像；基于图像处理，提取空间环形焊缝的图像的空间环形焊缝特征点二维图像坐标；转化空间环形焊缝特征点二维图像坐标为机器人基坐标系下空间环形焊缝特征点三维坐标；扫描空间环形焊缝特征点三维坐标，建立空间环形焊缝位姿模型，根据空间环形焊缝位姿模型规划出机器人焊枪的位置和姿态，以实现对空间环形焊缝的示教；通过随机抽样一致性方法拟合空间环形焊缝所在空间圆的方程，获取空间圆半径的大小及圆心的三维坐标；获取空间环形焊缝所在的平面方程，确定机器人焊枪当前位置，根据机器人焊枪当前位置、空间圆半径的大小和圆心的三维坐标，确定机器人焊枪在机器人基坐标系下的焊接偏差；基于焊接偏差、机器人焊枪的位置和姿态，控制机器人实现空间环形焊缝焊接时的焊缝跟踪，以完成焊接工作。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的空间环形焊缝示教与焊缝跟踪方法，该方法包括：通过激光焊缝跟踪传感器采集空间环形焊缝的图像；基于图像处理，提取空间环形焊缝图像的空间环形焊缝特征点二维图像坐标；转化空间环形焊缝特征点二维图像坐标为机器人基坐标系下空间环形焊缝特征点三维坐标；扫描获取空间环形焊缝特征点三维坐标，建立空间环形焊缝位姿模型，根据空间环形焊缝位姿模型规划出机器人焊枪的位置和姿态，以实现对空间环形焊缝的示教；通过随机抽样一致性方法拟合空间环形焊缝所在空间圆的方程，获取空间圆半径的大小及圆心的三维坐标；获取空间环形焊缝所在的平面方程，确定机器人焊枪当前位置，根据机器人焊枪当前位置、空间圆半径的大小和圆心的三维坐标，确定机器人焊枪在机器人基坐标系下的焊接偏差；基于焊接偏差、机器人焊枪的位置和姿态，控制机器人实现空间环形焊缝焊接时的焊缝跟踪，以完成焊接工作。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种空间环形焊缝示教与焊缝跟踪方法，其特征在于，包括：
通过激光焊缝跟踪传感器采集空间环形焊缝的图像；
基于图像处理，提取所述空间环形焊缝图像的空间环形焊缝特征点二维图像坐标；
转化所述空间环形焊缝特征点二维图像坐标为机器人基坐标系下空间环形焊缝特征点三维坐标；
扫描获取所述空间环形焊缝特征点三维坐标，建立空间环形焊缝位姿模型，根据所述空间环形焊缝位姿模型规划出机器人焊枪的位置和姿态，实现对空间环形焊缝的示教；
通过随机抽样一致性方法拟合所述空间环形焊缝所在空间圆的方程，获取所述空间圆半径的大小及圆心的三维坐标；
获取空间环形焊缝所在的平面方程，根据所述平面方程确定机器人焊枪当前位置，根据所述机器人焊枪当前位置、所述空间圆半径的大小和所述圆心的三维坐标，确定所述机器人焊枪在机器人基坐标系下的焊接偏差；
基于所述焊接偏差、所述机器人焊枪的位置和姿态，控制所述机器人实现空间环形焊缝焊接时的焊缝跟踪，完成焊接工作；
其中，所述扫描所述空间环形焊缝特征点三维坐标，建立空间环形焊缝位姿模型，根据所述空间环形焊缝位姿模型规划出机器人焊枪的位置和姿态，包括：
采用预设次数B样条对所述空间环形焊缝特征点三维坐标的焊缝位置数据点进行拟合，规划机器人焊枪的位置；
建立空间环形焊缝位姿模型，根据所述空间环形焊缝位姿模型，规划机器人焊枪的姿态；
其中，所述建立空间环形焊缝位姿模型，包括：
获取任意采样空间环形焊缝特征点在切线方向的方向向量；
根据所述方向向量，获取所述采样空间环形焊缝特征点垂直于焊缝的法矢量的接近向量；
根据所述方向向量和所述接近向量，确定所述采样空间环形焊缝特征点的法向量；
根据所述方向向量、所述接近向量和所述法向量，确定期望位姿的旋转矩阵；
根据所述旋转矩阵，确定所述采样空间环形焊缝特征点在机器人基坐标系下坐标轴的欧拉角；
根据所述欧拉角，建立空间环形焊缝位姿模型；
其中，所述通过随机抽样一致性方法拟合所述空间环形焊缝所在空间圆的方程，获取所述空间圆半径的大小及圆心的三维坐标，包括：
确定所述空间环形焊缝所在平面的法向量；
根据所述空间环形焊缝所在平面的法向量和任意三个空间环形焊缝特征点三维坐标，确定所述空间环形焊缝特征点三维坐标所在空间圆的圆心坐标和半径；
基于所述圆心坐标和半径，通过随机抽样一致性方法拟合出所述空间环形焊缝所在空间圆的方程，并通过所述空间圆的方程确定空间圆半径的大小及圆心的三维坐标。
2.根据权利要求1所述的空间环形焊缝示教与焊缝跟踪方法，其特征在于，所述基于图像处理，提取所述空间环形焊缝图像的空间环形焊缝特征点二维图像坐标，包括：
通过取小运算关系和中值滤波器滤除所述空间环形焊缝的图像的噪声，得到预处理图像；
获取所述预处理图像的感兴趣区域；
根据所述感兴趣区域内行像素灰度值之和计算激光条纹的自适应阈值，并根据所述自适应阈值对所述感兴趣区域进行阈值分割处理；
基于所述阈值分割处理的结果，确定激光条纹的上下边缘，并根据所述激光条纹的上下边缘，获取所述激光条纹中心轮廓；
基于Hough变换提取所述激光条纹中心轮廓的激光条纹特征直线；
通过图像特征点预设关系，根据所述激光条纹特征直线，提取所述空间环形焊缝图像的空间环形焊缝特征点二维图像坐标。
3.根据权利要求1所述的空间环形焊缝示教与焊缝跟踪方法，其特征在于，所述转化所述空间环形焊缝特征点二维图像坐标为机器人基坐标系下空间环形焊缝特征点三维坐标，包括：
确定所述空间环形焊缝特征点二维图像坐标在所述激光焊缝跟踪传感器中的摄像机下的三维坐标；
确定摄像机坐标系与机器人工具坐标系之间关系，得到手眼关系矩阵，根据所述手眼关系矩阵得到机器人位姿变换矩阵；
根据所述摄像机下的三维坐标、所述手眼关系矩阵和所述机器人位姿变换矩阵，得到所述空间环形焊缝特征点二维图像坐标在机器人基坐标系下空间环形焊缝特征点三维坐标。
4.根据权利要求1所述的空间环形焊缝示教与焊缝跟踪方法，其特征在于，所述根据所述机器人焊枪当前位置、所述空间圆半径的大小和所述圆心的三维坐标，确定所述机器人焊枪在机器人基坐标系下的焊接偏差，包括：
获取工具中心点在所述空间环形焊缝所在平面的垂足点，确定所述垂足点的三维坐标；
根据所述垂足点的三维坐标、所述空间圆半径的大小和所述圆心的三维坐标，确定期望焊点的三维坐标；
根据所述机器人焊枪当前位置的三维坐标和所述期望焊点的三维坐标，确定所述机器人焊枪在机器人基坐标系下的焊接偏差。
5.根据权利要求1所述的空间环形焊缝示教与焊缝跟踪方法，其特征在于，所述基于所述焊接偏差、所述机器人焊枪的位置和姿态，控制对所述机器人在空间环形焊缝焊接时的焊缝跟踪，包括：
确定机器人焊枪在焊缝初始点的基坐标系中的补偿偏差，根据所述补偿偏差进行初始点对准；
跟踪所述机器人焊枪对空间环形焊缝的焊接，并根据所述焊接偏差，调整所述机器人焊枪的位置和姿态；
当所述空间环形焊缝的结束点与起始点重合时，确定预设距离值作为停弧点，以停止对空间环形焊缝的跟踪。
6.一种空间环形焊缝示教与焊缝跟踪系统，其特征在于，包括：
图像采集模块，用于通过激光焊缝跟踪传感器采集空间环形焊缝的图像；
特征点提取模块，用于提取所述空间环形焊缝图像的空间环形焊缝特征点二维图像坐标；
坐标转化模块，用于转化所述空间环形焊缝特征点二维图像坐标为机器人基坐标系下空间环形焊缝特征点三维坐标；
示教模块，用于扫描所述空间环形焊缝特征点三维坐标，建立空间环形焊缝位姿模型，根据所述空间环形焊缝位姿模型规划出机器人焊枪的位置和姿态，以实现对空间环形焊缝的示教；
拟合模块，用于通过随机抽样一致性方法拟合所述空间环形焊缝所在空间圆的方程，获取所述空间圆半径的大小及圆心的三维坐标；
偏差确定模块，用于获取空间环形焊缝所在的平面方程，根据所述机器人焊枪当前位置、所述空间圆半径的大小和所述圆心的三维坐标，确定所述机器人焊枪在机器人基坐标系下的焊接偏差；
跟踪焊接模块，通过获取所述焊接偏差以及所述机器人焊枪的位置和姿态，控制所述机器人实现空间环形焊缝焊接时的焊缝跟踪，以完成焊接工作；
其中，所述示教模块具体用于：
采用预设次数B样条对所述空间环形焊缝特征点三维坐标的焊缝位置数据点进行拟合，规划机器人焊枪的位置；
建立空间环形焊缝位姿模型，根据所述空间环形焊缝位姿模型，规划机器人焊枪的姿态；
所述示教模块还具体用于：
获取任意采样空间环形焊缝特征点在切线方向的方向向量；
根据所述方向向量，获取所述采样空间环形焊缝特征点垂直于焊缝的法矢量的接近向量；
根据所述方向向量和所述接近向量，确定所述采样空间环形焊缝特征点的法向量；
根据所述方向向量、所述接近向量和所述法向量，确定期望位姿的旋转矩阵；
根据所述旋转矩阵，确定所述采样空间环形焊缝特征点在机器人基坐标系下坐标轴的欧拉角；
根据所述欧拉角，建立空间环形焊缝位姿模型；
其中，所述拟合模块具体用于：
确定所述空间环形焊缝所在平面的法向量；
根据所述空间环形焊缝所在平面的法向量和任意三个空间环形焊缝特征点三维坐标，确定所述空间环形焊缝特征点三维坐标所在空间圆的圆心坐标和半径；
基于所述圆心坐标和半径，通过随机抽样一致性方法拟合出所述空间环形焊缝所在空间圆的方程，并通过所述空间圆的方程确定空间圆半径的大小及圆心的三维坐标。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述空间环形焊缝示教与焊缝跟踪方法的步骤。
CN202110949261.8A 2021-08-18 2021-08-18 空间环形焊缝示教与焊缝跟踪方法、系统及设备 Active CN113798634B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110949261.8A CN113798634B (zh) 2021-08-18 2021-08-18 空间环形焊缝示教与焊缝跟踪方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110949261.8A CN113798634B (zh) 2021-08-18 2021-08-18 空间环形焊缝示教与焊缝跟踪方法、系统及设备

Publications (2)

Publication Number Publication Date
CN113798634A CN113798634A (zh) 2021-12-17
CN113798634B true CN113798634B (zh) 2022-09-06

Family

ID=78893742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110949261.8A Active CN113798634B (zh) 2021-08-18 2021-08-18 空间环形焊缝示教与焊缝跟踪方法、系统及设备

Country Status (1)

Country Link
CN (1) CN113798634B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114508243B (zh) * 2022-01-13 2023-04-07 北京城建集团有限责任公司 一种建筑水平安全挑网型钢结构
CN114643448B (zh) * 2022-05-19 2022-09-27 先富斯技术（武汉）有限公司 一种焊缝特征提取装置及方法
CN115870678B (zh) * 2023-03-02 2023-08-18 成都熊谷加世电器有限公司 内焊机的姿态调节系统、方法、内焊机及存储介质
CN117047237B (zh) * 2023-10-11 2024-01-19 太原科技大学 一种异形件智能柔性焊接系统与方法
CN117300301B (zh) * 2023-11-30 2024-02-13 太原科技大学 一种基于单目线激光的焊接机器人焊缝跟踪系统与方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105772905A (zh) * 2016-03-16 2016-07-20 南京工业大学 一种基于弧焊机器人系统的斜交偏置管轨迹规划方法
JP2017154141A (ja) * 2016-02-29 2017-09-07 株式会社ヒロテック シーム溶接倣い装置
WO2018066136A1 (ja) * 2016-10-07 2018-04-12 株式会社前川製作所 溶接装置及び溶接方法
CN108032011A (zh) * 2017-12-13 2018-05-15 中国科学院自动化研究所 基于激光结构光焊缝初始点导引装置及方法
CN108332658A (zh) * 2018-01-25 2018-07-27 清华大学 一种用于复杂曲面焊接的焊道位姿实时检测方法
CN112659123A (zh) * 2020-12-14 2021-04-16 南京工程学院 一种基于线结构光视觉的双机器人曲线焊接协同规划方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111299929B (zh) * 2020-03-18 2021-11-30 福建省特种设备检验研究院 一种自动测量与校正焊接机器人焊枪姿态的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017154141A (ja) * 2016-02-29 2017-09-07 株式会社ヒロテック シーム溶接倣い装置
CN105772905A (zh) * 2016-03-16 2016-07-20 南京工业大学 一种基于弧焊机器人系统的斜交偏置管轨迹规划方法
WO2018066136A1 (ja) * 2016-10-07 2018-04-12 株式会社前川製作所 溶接装置及び溶接方法
CN108032011A (zh) * 2017-12-13 2018-05-15 中国科学院自动化研究所 基于激光结构光焊缝初始点导引装置及方法
CN108332658A (zh) * 2018-01-25 2018-07-27 清华大学 一种用于复杂曲面焊接的焊道位姿实时检测方法
CN112659123A (zh) * 2020-12-14 2021-04-16 南京工程学院 一种基于线结构光视觉的双机器人曲线焊接协同规划方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Y. Ma et al..Efficient and Accurate Start Point Guiding and Seam Tracking Method for Curve Weld Based on Structure Light.《IEEE Transactions on Instrumentation and Measurement》.2021,第70卷第1-10页，Art no.3001310. *

Also Published As

Publication number Publication date
CN113798634A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN113798634B (zh) 空间环形焊缝示教与焊缝跟踪方法、系统及设备
Rout et al. Advances in weld seam tracking techniques for robotic welding: A review
CN110227876B (zh) 基于3d点云数据的机器人焊接路径自主规划方法
Kah et al. Robotic arc welding sensors and programming in industrial applications
Zhou et al. Path planning with automatic seam extraction over point cloud models for robotic arc welding
Tsai et al. Machine vision based path planning for a robotic golf club head welding system
CN112518072B (zh) 一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法
CN113634964B (zh) 一种大型构件龙门式机器人焊接装备及焊接工艺
CN113894481B (zh) 复杂空间曲线焊缝的焊接位姿调整方法及装置
Zhou et al. Autonomous acquisition of seam coordinates for arc welding robot based on visual servoing
Chen et al. A robust visual servo control system for narrow seam double head welding robot
Ma et al. Efficient and accurate start point guiding and seam tracking method for curve weld based on structure light
Geng et al. A novel seam extraction and path planning method for robotic welding of medium-thickness plate structural parts based on 3D vision
Rout et al. Weld seam detection, finding, and setting of process parameters for varying weld gap by the utilization of laser and vision sensor in robotic arc welding
Wang et al. A real-time weld line detection for derusting wall-climbing robot using dual cameras
Hou et al. A teaching-free welding method based on laser visual sensing system in robotic GMAW
Ma et al. A fast and robust seam tracking method for spatial circular weld based on laser visual sensor
Zhou et al. Intelligent guidance programming of welding robot for 3D curved welding seam
CN114654465A (zh) 一种基于线激光结构光视觉传感的焊缝跟踪提取方法
Geng et al. A method of welding path planning of steel mesh based on point cloud for welding robot
Yang et al. A novel 3D seam extraction method based on multi-functional sensor for V-Type weld seam
CN113551599A (zh) 一种基于结构光导向的焊缝位置偏差视觉跟踪方法
Lei et al. The development of tube-to-tubesheet welding from automation to digitization
Wang et al. Fuzzy-PI double-layer stability control of an online vision-based tracking system
CN108067725A (zh) 一种新的机器人激光视觉焊缝检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant