CN108032011A - 基于激光结构光焊缝初始点导引装置及方法 - Google Patents
基于激光结构光焊缝初始点导引装置及方法 Download PDFInfo
- Publication number
- CN108032011A CN108032011A CN201711335667.7A CN201711335667A CN108032011A CN 108032011 A CN108032011 A CN 108032011A CN 201711335667 A CN201711335667 A CN 201711335667A CN 108032011 A CN108032011 A CN 108032011A
- Authority
- CN
- China
- Prior art keywords
- weld seam
- laser
- initial point
- coordinate
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003466 welding Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000006073 displacement reaction Methods 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 11
- 241000446313 Lamella Species 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 239000004020 conductor Substances 0.000 claims 1
- 238000003384 imaging method Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 10
- 230000004438 eyesight Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000013011 mating Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 239000000498 cooling water Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005086 pumping Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
- B23K37/02—Carriages for supporting the welding or cutting element
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/005—Manipulators for mechanical processing tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Laser Beam Processing (AREA)
- Manipulator (AREA)
Abstract
本公开提供了一种基于激光结构光焊缝初始点导引装置及方法，该装置包括激光器、摄像元件和处理单元，激光器产生的结构光在被焊工件上形成激光条纹，由摄像元件对焊缝和激光条纹图像进行采集，并由处理单元对采集的图像进行处理和计算得到焊缝初始点的三维坐标。该方法利用激光条纹和焊缝初始点之间的相对关系，使激光条纹落在焊缝初始点上，将焊缝初始点的图像坐标转换为机器人基座标系下三维坐标，并发送至机器人控制器，由机器人控制器控制机器人末端工具焊枪对准焊缝初始点完成导引。本公开可用于多种类型焊缝的焊缝初始点导引，通用性和自动化程度较高，效果良好。
Description
技术领域
本公开涉及焊接自动化领域，尤其涉及一种基于激光结构光焊缝初始点导引装置及方法。
背景技术
焊接是工业生产中很重要的一项工艺，在造船、钢铁、建筑和航空航天等领域都有广泛的应用。工业机器人由于具有可重复、可编程、精度高等优点，被广泛应用于焊接领域，大大提高了焊接效率和质量。但是目前的焊接机器人大部分属于“示教再现”型机器人。这些焊接机器人存在两方面的不足。一方面，这类机器人在焊接作业前，需要进行示教完成轨迹规划，从而降低了焊接效率。另一方面，这类机器人在焊接作业不能自动纠正偏差。所以当焊接工件变化时，需要重新进行示教编程。同时由于焊接热变形导致焊缝间隙变化的时候，焊接成型的质量会受到影响。所以提高焊接的自动化程度成为焊接领域的一个研究热点。
焊接自动化技术主要包括焊缝跟踪、焊接质量控制和焊缝初始点导引。针对前两种技术，国内外已经做了大量的研究，但是对于焊缝初始点导引技术却研究甚少。焊缝初始点导引技术是焊接自动化的关键技术也是实现后续焊缝跟踪的前提。近些年来也有一些关于焊缝初始点导引技术的研究，但是大部分都是利用被动光视觉基于双目视觉测量原理来实现初始点导引的，由于采用被动光视觉测量方式所以测量结果对环境变化和工件表面的变化都比较敏感，测量精度相对较低。也有一些学者利用主动光视觉完成焊缝初始点导引，但是这些方法均是适用于特定的焊缝，通用性和灵活性差。
发明内容
(一)要解决的技术问题
本公开提供了一种基于激光结构光焊缝初始点导引装置及方法，以至少部分解决以上所提出的技术问题。
(二)技术方案
根据本公开的一个方面，提供了一种基于激光结构光焊缝初始点导引装置，安装于机器人末端，包括：激光器，其产生的激光束在形成激光结构光后投射到被焊工件表面形成激光条纹；摄像元件，用于采集焊缝和激光条纹图像；以及处理单元，连接摄像元件，用于对采集的所述焊缝和激光条纹图像进行处理和计算，得到焊缝初始点在机器人基座标系下的三维坐标。
在本公开的一些实施例中，该导引装置还包括专用光源，其产生的光束均匀地投射到被焊工件表面。
在本公开的一些实施例中，该导引装置还包括减光滤光单元，用于对进入所述摄像元件的光进行减光和滤光。
在本公开的一些实施例中，所述专用光源为面光源，其波长采用所述激光器的波长。
在本公开的一些实施例中，所述减光滤光单元为多层抽屉式结构，包含：抽屉式滤光片层，其中心波长采用激光器的波长，带宽小于10nm；以及抽屉式减光片层，其平行设置于抽屉式滤光片层的一侧。
在本公开的一些实施例中，所述激光器为半导体一字激光器，其波长为：通过对焊接弧光的光谱进行采样分析而选取的在可见光段内强度最小的波长。
在本公开的一些实施例中，所述摄像元件的光轴中心与被焊工件表面垂直，其光轴中心线与所述激光结构光的光平面夹角为15°～30°。
在本公开的一些实施例中，所述处理单元连接至机器人控制器，其将焊缝初始点的三维坐标信息发送至机器人控制器。
根据本公开的另一个方面，提供了一种利用如上所述的基于激光结构光焊缝初始点导引装置进行焊缝初始点导引的导引方法，包括：
将基于激光结构光焊缝初始点导引装置安装于机器人末端，使所述机器人末端处于第一位置，采集第一焊缝和激光条纹图像；
根据所述第一焊缝和激光条纹图像内的焊缝初始点与激光条纹特征点的图像坐标，计算机器人末端的运动量，使机器人移动所述运动量后，焊缝初始点落在激光条纹上；
将机器人移动所述运动量，使所述机器人末端处于第二位置，采集第二焊缝和激光条纹图像；
根据所述第二焊缝和激光条纹图像内的焊缝初始点的图像坐标，计算焊缝初始点在机器人基座标系下坐标；以及
将焊缝初始点在机器人基坐标系下坐标发送至机器人控制器，由所述机器人控制器控制机器人末端工具焊枪对准所述焊缝初始点。
在本公开的一些实施例中，所述第一焊缝和激光条纹图像内的焊缝初始点与激光条纹特征点的图像坐标通过以下方式得到：
对所述第一焊缝和激光条纹图像进行预处理，以去除噪声干扰；
通过计算灰度值投影之和，将灰度值投影之和最大的区域确定为激光感兴趣区域，在所述激光感兴趣区域内通过灰度重心法得到激光条纹的中心线；
采用检测算子将灰度值低于相邻两侧的焊缝确定为焊缝感兴趣区域，在所述焊缝感兴趣区域内通过梯度检测算子得到焊缝的中心线；
利用梯度算子确定激光条纹外区域梯度值最大的像素位置，通过最小二乘拟合得到被焊工件的端线；以及
将激光条纹特征点的图像坐标定为激光条纹的中心线和焊缝的中心线的交点坐标，将焊缝初始点的图像坐标定为端线和焊缝的中心线的交点坐标。
在本公开的一些实施例中，所述机器人的运动量通过以下方式得到：
标定摄像机参数、结构光平面参数、以及手眼参数；
根据焊缝初始点与激光条纹特征点的图像坐标计算激光条纹从激光条纹特征点移动至焊缝初始点的图像移动距离；
根据所述图像移动距离、摄像机参数、结构光平面参数计算所述图像移动距离在摄像机坐标系下移动距离；以及
根据所述手眼参数、摄像坐标系下移动距离和机器人基坐标系到末端工具坐标系的转换关系，计算得到机器人末端的运动量。
在本公开的一些实施例中，所述第二焊缝和激光条纹图像内的焊缝初始点的图像坐标通过以下方式得到：
对所述第二焊缝和激光条纹图像进行预处理，以去除噪声干扰；
通过计算灰度值投影之和，将灰度值投影之和最大的区域确定为激光感兴趣区域，在所述激光感兴趣区域内通过灰度重心法得到激光条纹的中心线；
采用检测算子将灰度值低于相邻两侧的焊缝确定为焊缝感兴趣区域，在所述焊缝感兴趣区域内通过梯度检测算子得到焊缝的中心线；以及
将焊缝初始点的图像坐标定为激光条纹的中心线和焊缝的中心线的交点坐标。
在本公开的一些实施例中，所述焊缝初始点在机器人基坐标系下坐标通过以下方式得到：
标定摄像机参数、结构光平面参数、以及手眼参数；
根据摄像机参数、结构光平面参数、以及焊缝初始点的图像坐标，计算焊缝初始点的摄像机坐标系下坐标；以及
根据所述焊缝初始点的摄像机坐标系下坐标、所述手眼参数和机器人基坐标系到末端工具坐标系的转换关系，计算焊缝初始点在机器人基坐标系下坐标。
(三)有益效果
从上述技术方案可以看出，本公开基于激光结构光焊缝初始点导引装置及方法至少具有以下有益效果其中之一：
(1)使用主动光视觉完成焊缝初始点导引，根据焊缝初始点和激光条纹结构点之间的位置关系，使焊缝初始点落在激光结构光在被焊工件表面形成的激光条纹上，而最终得到焊缝初始点在机器人基坐标系下坐标，控制机器人末端工具焊枪对准该焊缝初始点，提高了初始点导引精度和稳定性。
(2)导引过程通过灰度重心法得到激光条纹的中心线、通过梯度算子得到焊缝中心线、通过梯度算子得到被焊工件的端线，由此确定了焊缝初始点和激光条纹特征点的位置，能同时完成多种类型焊缝的初始点导引问题。
(3)提高了焊接的自动化程度，为后续的焊缝跟踪提供了基础，具有较强的实用性。
附图说明
图1是本发明实施例基于激光结构光焊缝初始点导引装置结构示意图。
图2是本发明实施例减光滤光单元结构示意图。
图3是本发明实施例处理单元示意图。
图4是本发明实施例基于激光结构光焊缝初始点导引方法流程图。
图5是本发明实施例激光条纹特征点和焊缝初始点的图像坐标几何关系。
【附图中本公开实施例主要元件符号说明】
1-系统外壳； 2-激光器； 3-摄像机；
4-减光滤光单元； 5-专用光源； 6-处理单元；
7-安装支架； 8-外壳背板； 9-外壳整体支架；
10-外壳底板； 11-外壳上顶盖； 12-外壳侧盖；
13-隔热支架； 14-相机托板； 15-抽屉式滤光片层；
16-抽屉式减光片层； 17-光源支架； 18-激光器支架。
具体实施方式
本公开提供了一种基于激光结构光焊缝初始点导引装置及方法，使用主动光视觉完成焊缝初始点导引，根据焊缝初始点和激光条纹结构点之间的位置关系，使焊缝初始点落在激光结构光在被焊工件表面形成的激光条纹上，而最终得到焊缝初始点在机器人基坐标系下坐标，控制机器人末端工具焊枪对准该焊缝初始点完成导引，提高了初始点导引精度和稳定性，同时能完成多种类型焊缝的初始点导引问题，提高了焊接的自动化程度，为后续的焊缝跟踪提供了基础，具有较强的实用性。
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
作为本公开的一示例性实施例，提供了一种基于激光结构光焊缝初始点导引装置及方法。以下首先对基于激光结构光焊缝初始点导引装置的结构作详细说明。
图1是本发明实施例基于激光结构光焊缝初始点导引装置结构示意图。如图1所示，本实施例中，一种基于激光结构光焊缝初始点导引装置包括系统外壳1，激光器2，摄像机3，减光滤光单元4、专用光源5和处理单元6，其中：
系统外壳1上设置隔热支架13，隔热支架13连接安装支架7，并通过安装支架7与机器人第六轴连接，系统外壳1包括：外壳背板8、外壳整体支架9、外壳底板10、外壳上顶盖11和外壳侧盖12，其中：
外壳背板8与隔热支架13连接，外壳整体支架9外表面与外壳背板8连接，外壳背板8上开有冷却水循环通道，外壳整体支架9上开有气冷通道，外壳底板10通过螺纹孔固定在外壳整体支架9上，外壳上顶盖11和外壳侧盖12通过螺纹孔与外壳整体支架9和外壳底板10相连，由外壳整体支架9、外壳底板10、外壳上顶盖11和外壳侧盖12围成用于安装激光器2、摄像机3和减光滤光单元4等部件的容腔。
激光器2通过激光器支架18固定于外壳整体支架9，激光器2为半导体一字激光器，其产生的激光束在形成激光结构光后投射到被焊工件表面形成激光条纹，通过对焊接弧光的光谱进行采样分析，在可见光段选择强度最小的波长作为激光器的波长，本实施例中确定激光器波长为635nm。
摄像机3安装于相机托板14上，相机托板14通过螺纹孔连接至外壳整体支架9内表面，摄像机3为工业摄像机，帧率应在25帧以上，本实例选用摄像机3为MER-131-75GxGigE黑白工业摄像机，摄像机光轴中心线与焊缝所在被焊工件表面垂直，摄像机光轴中心线与激光结构光平面夹角为15°～30°，实际安装中可依据实际效果而定，本实施例中安装角度为20°。
减光滤光单元4固定于外壳底板10上，与摄像机3共轴设置。图2是本发明实施例减光滤光单元结构示意图，如图2所示，减光滤光单元4为多层抽屉式结构，由上而下依次为抽屉式滤光片层15和抽屉式减光片层16。可以理解，“抽屉式滤光片层”、“抽屉式减光片层”表示滤光片、减光片均分别滑动式连接于减光滤光单元内。其中，滤光片的中心波长采用激光器的波长，带宽理论上越小越好，但带宽越小价格越贵，通常取正负10nm即可满足要求，本实例中滤光片的中心波长为635nm，带宽为正负10nm；抽屉式减光片层16通过更换不同的减光片达到不同的减光的效果。
专用光源5通过光源支架17连接于外壳上顶盖11，专用光源5为LED面光源，使其产生的光束均匀地投射到被焊工件表面，用来提高图像的信噪比，获取焊缝信息，波长采用激光器的波长635nm。
处理单元6通过网口连接摄像机3，其结构如图3所示，用于对摄像机采集的焊缝和激光条纹图像信息进行处理和计算，得到焊缝初始点在机器人基座标系下的三维坐标，并将三维坐标发送到机器人控制器。
至此，已对本实施例基于激光结构光焊缝初始点导引装置的结构作了详细说明，使用上述基于激光结构光焊缝初始点导引装置进行焊缝初始点导引的导引方法将在以下段落中作详细说明。
图4是本发明实施例基于激光结构光焊缝初始点导引方法流程图。如图4所示，本实施例中，一种基于激光结构光焊缝初始点导引方法包括以下步骤：
步骤A：将基于激光结构光焊缝初始点导引装置安装于机器人末端，机器人末端还安装有末端工具(焊枪)，使所述机器人末端处于第一位置，采集第一焊缝和激光条纹图像，应当保证同时采集到焊缝初始点和激光条纹特征点。
其中，焊缝初始点为焊缝与被焊工件的端线的交点，激光条纹特征点为激光条纹和焊缝的交点。
步骤B：根据所述第一焊缝和激光条纹图像内的焊缝初始点与激光条纹特征点的图像坐标，计算机器人末端的运动量，使机器人移动所述运动量后，焊缝初始点落在激光条纹上，具体包括：
子步骤B1：利用图像处理算法得到焊缝初始点与激光条纹特征点的图像坐标，所述图像处理算法包括图像预处理、感兴趣区域的确定和特征提取三部分，其中：
图像预处理采用相邻两帧图像相与和中值滤波相结合的方法去除弧光飞溅等噪声的干扰；
感兴趣区域的确定是用来减少后续特征提取的计算量提高实时性，针对激光条纹灰度值较大的特点，采用灰度值投影之和，投影之和最大的附近区域就是激光感兴趣区域；针对焊缝处灰度值低于相邻两侧的特点，采用下式1所示检测算子来进行搜索，算子值最大对应列附近区域就是焊缝感兴趣区域：
其中，j为图像列数，n为焊缝横向宽度的一半对应的像素数目，Ju(j+k)为第j+k列像素的灰度值之和，Su(j)为第j列像素对应的检测算子值。
特征提取用来提取激光条纹特征点和焊缝初始点图像坐标，在激光感兴趣区域内，利用灰度重心法得到激光条纹的中心线；在焊缝感兴趣区域内，利用梯度检测算子得到焊缝条纹的中心线，激光条纹的中心线和焊缝的中心线的交点即为激光条纹特征点；在激光条纹位置的下方，利用梯度算子对每列像素进行计算，梯度值最大对应像素位置即为被焊工件的端线，对得到的端线进行最小二乘拟合以后与焊缝的中心线求交点即为焊缝初始点。
子步骤B2：标定摄像机参数、结构光平面参数、以及手眼参数。
摄像机参数的标定包括摄像机内参数标定，具体标定方法有很多现有的技术可以参考，比如文章“Zhang Z.A Flexible New Technique for Camera Calibration[J].IEEETransactions on Pattern Analysis&Machine Intelligence，2000，22(11)：1330-1334.”；结构光平面参数是指激光器投射出的激光平面在摄像机坐标系下的平面方程，结构光平面参数的标定方法也有很多现有的技术可以参考，比如文章“Fan J，Jing F，FangZ，et al.A simple calibration method of structured light plane parameters forwelding robots[C]//Chinese Control Conference.2016：6127-6132.”；手眼参数是指摄像机坐标系和机器人末端工具坐标系(焊枪坐标系)的相对位姿关系，手眼参数的标定方法也有很多现有的技术可以参考，比如文章“马颂德.计算机视觉：计算理论与算法基础[M].科学出版社，1998.”。由于具体参数的标定方法与本发明的创造性无关，故在此不再赘述。
子步骤B3：根据焊缝初始点与激光条纹特征点的图像坐标计算激光条纹从激光条纹特征点移动至焊缝初始点的图像移动距离。
本实施例中，如图5所示，沿图像纵坐标方向激光条纹从激光条纹特征点移动至焊缝初始点的图像移动距离为：
d＝|u1-u2|tanθ+|v1-v2|；
其中，(u1，v1)为激光条纹特征点的图像坐标，(u2，v2)为焊缝初始点的图像坐标。
子步骤B4：根据所述图像移动距离、摄像机参数、结构光平面参数计算所述图像移动距离在摄像机坐标系下对应距离。
本实施例中，在摄像机坐标下移动距离的计算过程如下：
首先，标定的摄像机参数矩阵为：
其中，kx和ky分别为x轴方向和y轴方向放大系数，(u0，v0)为摄像机光轴中心的图像坐标；
标定的结构光平面方程为：z＝ax+by+c；
其中，a、b、c分别为结构光平面方程的系数/常数；
其次，计算激光条纹特征点在摄像机坐标系下坐标(xc1，yc1，zc1)，
最后，所述图像移动距离在摄像机坐标系下沿Yc方向的对应距离为：
D＝d·zc1/ky；
子步骤B5：根据所述手眼参数和摄像坐标系下移动距离计算得到机器人末端的运动量。
利用机器人基坐标系到机器人末端工具坐标系的转换关系和标定的所述手眼参数，计算得到从机器人基坐标系到摄像机坐标系的转换矩阵Tbc1，其中，机器人基坐标系到机器人末端工具坐标系的转换关系为已知量，可直接在机器人控制器上读取；
有[xc1b yc1b zc1b 1]T＝Tbc1[0 0 0 1]T，
[xc2b yc2b zc2b 1]T＝Tbc1[0 D 0 1]T，
其中，(xc1b，yc1b，zc1b)为机器人基坐标系下机器人末端处于第一位置时激光条纹特征点的坐标；(xc2b，yc2b，zc2b)为机器人基坐标系下机器人末端处于第二位置时激光条纹特征点的坐标；
则机器人末端的移动量为[xc2b-xc1b yc2b-yc1b zc2b-zc1b]T。
步骤C：将机器人移动所述运动量，使所述机器人末端处于第二位置，采集第二焊缝和激光条纹图像，此时焊缝初始点落到激光条纹上。
步骤D：根据所述第二焊缝和激光条纹图像内的焊缝初始点的图像坐标，计算焊缝初始点在机器人基座标系下坐标，具体包括：
子步骤D1：利用图像处理算法得到焊缝初始点的图像坐标，所述图像处理算法包括图像预处理、感兴趣区域的确定和特征提取三部分，本步骤和子步骤B1基本相同，只是在特征提取部分，激光条纹的中心线和焊缝的中心线的交点即为焊缝初始点；
子步骤D2：标定摄像机参数、结构光平面参数、以及手眼参数，在不更换或移动摄像机的情况下，本步骤D2中的摄像机参数、结构光平面参数以及手眼参数即为子步骤B2中标定的相应参数值。
子步骤D3：根据摄像机参数、结构光平面参数、以及焊缝初始点的图像坐标，计算焊缝初始点的摄像机坐标系下坐标[xf1c，yf1c，zf1c]T，其计算过程可参考子步骤B4中激光条纹特征点在摄像机坐标系下坐标的计算。
子步骤D4：根据此时焊缝初始点的摄像机坐标系下坐标和手眼参数，计算焊缝初始点在机器人基坐标系下坐标[xf1b，yf1b，zf1b]T，计算过程如下：
根据在第二位置时机器人基坐标系到机器人末端工具坐标系的转换关系以及标定的手眼参数，计算得到机器人基座标系到摄像机坐标系的转换矩阵为Tbc2，则有：
[xf1b，yf1b，zf1b]T＝Tbc2·[xf1c，yf1c，zf1c]T。
步骤E：将焊缝初始点在机器人基坐标系下坐标发送至机器人控制器，由所述机器人控制器控制机器人末端工具焊枪对准所述焊缝初始点，完成焊缝初始点导引。
至此，对本实施例基于激光结构光焊缝初始点导引方法的介绍完毕。
综上所述，本公开提供一种基于激光结构光焊缝初始点导引装置及方法，使用主动光视觉完成焊缝初始点的自动导引，可用于多种类型焊缝的焊缝初始点导引，通用性和自动化程度较高，效果良好。
需要说明的是，单词“包含”不排除存在未列在权利要求中的元件或步骤。说明书与权利要求中所使用的序数例如“第一”、“第二”、“第三”等的用词，以修饰相应的元件，其本身并不意味着该元件有任何的序数，也不代表某一元件与另一元件的顺序、或是制造方法上的顺序，该些序数的使用仅用来使具有某命名的一元件得以和另一具有相同命名的元件能做出清楚区分。
此外，除非特别描述或必须依序发生的步骤，上述步骤的顺序并无限制于以上所列，且可根据所需设计而变化或重新安排。并且上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。
以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (10)
1.一种基于激光结构光焊缝初始点导引装置，安装于机器人末端，包括：
激光器，其产生的激光束在形成激光结构光后投射到被焊工件表面形成激光条纹；
摄像元件，用于采集焊缝和激光条纹图像；以及处理单元，连接摄像元件，用于对采集的所述焊缝和激光条纹图像进行处理和计算，得到焊缝初始点在机器人基座标系下的三维坐标。
2.根据权利要求1所述的基于激光结构光焊缝初始点导引装置，还包括：
专用光源，其产生的光束均匀地投射到被焊工件表面；和/或
减光滤光单元，设置于所述摄像元件的前端，用于对进入所述摄像元件的光进行减光和滤光。
3.根据权利要求2所述的基于激光结构光焊缝初始点导引装置，其中：
所述专用光源为面光源，其波长采用所述激光器的波长；
所述减光滤光单元为多层抽屉式结构，包含：
抽屉式滤光片层，其中心波长采用所述激光器的波长，带宽小于10nm；以及
抽屉式减光片层，其平行设置于抽屉式滤光片层的一侧。
4.根据权利要求1所述的基于激光结构光焊缝初始点导引装置，其中，所述激光器为半导体一字激光器，其波长为：通过对焊接弧光的光谱进行采样分析而选取的在可见光段内强度最小的波长。
5.根据权利要求1所述的基于激光结构光焊缝初始点导引装置，其中，所述摄像元件的光轴中心与被焊工件表面垂直，其光轴中心线与所述激光结构光的光平面夹角为15°～30°；和/或
所述处理单元连接至机器人控制器，其将焊缝初始点的三维坐标信息发送至机器人控制器。
6.一种利用如权利要求1至5任意一项所述的基于激光结构光焊缝初始点导引装置进行焊缝初始点导引的导引方法，包括：
将基于激光结构光焊缝初始点导引装置安装于机器人末端，使所述机器人末端处于第一位置，采集第一焊缝和激光条纹图像；
根据所述第一焊缝和激光条纹图像内的焊缝初始点与激光条纹特征点的图像坐标，计算机器人末端的运动量，使机器人移动所述运动量后，焊缝初始点落在激光条纹上；
将机器人移动所述运动量，使所述机器人末端处于第二位置，采集第二焊缝和激光条纹图像；
根据所述第二焊缝和激光条纹图像内的焊缝初始点的图像坐标，计算焊缝初始点在机器人基座标系下坐标；以及
将焊缝初始点在机器人基坐标系下坐标发送至机器人控制器，由所述机器人控制器控制机器人末端工具焊枪对准所述焊缝初始点。
7.根据权利要求6所述的导引方法，其中，所述第一焊缝和激光条纹图像内的焊缝初始点与激光条纹特征点的图像坐标通过以下方式得到：
对所述第一焊缝和激光条纹图像进行预处理，以去除噪声干扰；
通过计算灰度值投影之和，将灰度值投影之和最大的区域确定为激光感兴趣区域，在所述激光感兴趣区域内通过灰度重心法得到激光条纹的中心线；
采用检测算子将灰度值低于相邻两侧的焊缝确定为焊缝感兴趣区域，在所述焊缝感兴趣区域内通过梯度检测算子得到焊缝的中心线；
利用梯度算子确定激光条纹外区域梯度值最大的像素位置，通过最小二乘拟合得到被焊工件的端线；以及
将激光条纹特征点的图像坐标定为激光条纹的中心线和焊缝的中心线的交点坐标，将焊缝初始点的图像坐标定为端线和焊缝的中心线的交点坐标。
8.根据权利要求6所述的导引方法，其中，所述机器人的运动量通过以下方式得到：
标定摄像机参数、结构光平面参数、以及手眼参数；
根据焊缝初始点与激光条纹特征点的图像坐标计算激光条纹从激光条纹特征点移动至焊缝初始点的图像移动距离；
根据所述图像移动距离、摄像机参数、结构光平面参数计算所述图像移动距离在摄像机坐标系下移动距离；以及
根据所述手眼参数、摄像坐标系下移动距离和机器人基坐标系到末端工具坐标系的转换关系，计算得到机器人末端的运动量。
9.根据权利要求6所述的导引方法，其中，所述第二焊缝和激光条纹图像内的焊缝初始点的图像坐标通过以下方式得到：
对所述第二焊缝和激光条纹图像进行预处理，以去除噪声干扰；
通过计算灰度值投影之和，将灰度值投影之和最大的区域确定为激光感兴趣区域，在所述激光感兴趣区域内通过灰度重心法得到激光条纹的中心线；
采用检测算子将灰度值低于相邻两侧的焊缝确定为焊缝感兴趣区域，在所述焊缝感兴趣区域内通过梯度检测算子得到焊缝的中心线；以及
将焊缝初始点的图像坐标定为激光条纹的中心线和焊缝的中心线的交点坐标。
10.根据权利要求6所述的导引方法，其中，所述焊缝初始点在机器人基坐标系下坐标通过以下方式得到：
标定摄像机参数、结构光平面参数、以及手眼参数；
根据摄像机参数、结构光平面参数、以及焊缝初始点的图像坐标，计算焊缝初始点的摄像机坐标系下坐标；以及
根据所述焊缝初始点的摄像机坐标系下坐标、所述手眼参数和机器人基坐标系到末端工具坐标系的转换关系，计算焊缝初始点在机器人基坐标系下坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711335667.7A CN108032011B (zh) | 2017-12-13 | 2017-12-13 | 基于激光结构光焊缝初始点导引装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711335667.7A CN108032011B (zh) | 2017-12-13 | 2017-12-13 | 基于激光结构光焊缝初始点导引装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108032011A true CN108032011A (zh) | 2018-05-15 |
| CN108032011B CN108032011B (zh) | 2019-09-24 |
Family
ID=62102600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711335667.7A Active CN108032011B (zh) | 2017-12-13 | 2017-12-13 | 基于激光结构光焊缝初始点导引装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108032011B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108871232A (zh) * | 2018-07-27 | 2018-11-23 | 航天智造（上海）科技有限责任公司 | 一种激光轮廓检测装置 |
| CN108890135A (zh) * | 2018-09-21 | 2018-11-27 | 吉林大学 | 激光视觉传感焊缝间隙检测装置与方法 |
| CN110807802A (zh) * | 2018-07-20 | 2020-02-18 | 大族激光科技产业集团股份有限公司 | 焊接方法、设备和存储介质 |
| WO2020238346A1 (zh) * | 2019-05-27 | 2020-12-03 | 清华大学 | 一种用于机器人钻孔中优化钻头位姿的方法 |
| CN112964176A (zh) * | 2021-02-03 | 2021-06-15 | 湖南大学 | 一种视觉定位系统 |
| CN113063348A (zh) * | 2021-03-15 | 2021-07-02 | 南京工程学院 | 一种基于立体参考物的结构光自垂直弧形焊缝扫描方法 |
| CN113798634A (zh) * | 2021-08-18 | 2021-12-17 | 中国科学院自动化研究所 | 空间环形焊缝示教与焊缝跟踪方法、系统及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101750416A (zh) * | 2008-12-19 | 2010-06-23 | 中国科学院沈阳自动化研究所 | 一种基于线结构光的视觉焊缝表面质量检测传感器 |
| CN102441719A (zh) * | 2011-08-26 | 2012-05-09 | 昆山工研院工业机器人研究所有限公司 | 一种基于前置式激光视觉传感的焊缝跟踪离线规划方法 |
| CN102950365A (zh) * | 2011-08-30 | 2013-03-06 | 昆山工研院工业机器人研究所有限公司 | 一种激光视觉传感头与焊枪手眼关系的补偿方法 |
| CN107030352A (zh) * | 2017-04-24 | 2017-08-11 | 中国科学院自动化研究所 | 基于激光结构光的焊缝跟踪视觉传感器 |
-
2017
- 2017-12-13 CN CN201711335667.7A patent/CN108032011B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101750416A (zh) * | 2008-12-19 | 2010-06-23 | 中国科学院沈阳自动化研究所 | 一种基于线结构光的视觉焊缝表面质量检测传感器 |
| CN102441719A (zh) * | 2011-08-26 | 2012-05-09 | 昆山工研院工业机器人研究所有限公司 | 一种基于前置式激光视觉传感的焊缝跟踪离线规划方法 |
| CN102950365A (zh) * | 2011-08-30 | 2013-03-06 | 昆山工研院工业机器人研究所有限公司 | 一种激光视觉传感头与焊枪手眼关系的补偿方法 |
| CN107030352A (zh) * | 2017-04-24 | 2017-08-11 | 中国科学院自动化研究所 | 基于激光结构光的焊缝跟踪视觉传感器 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110807802A (zh) * | 2018-07-20 | 2020-02-18 | 大族激光科技产业集团股份有限公司 | 焊接方法、设备和存储介质 |
| CN108871232A (zh) * | 2018-07-27 | 2018-11-23 | 航天智造（上海）科技有限责任公司 | 一种激光轮廓检测装置 |
| CN108890135A (zh) * | 2018-09-21 | 2018-11-27 | 吉林大学 | 激光视觉传感焊缝间隙检测装置与方法 |
| WO2020238346A1 (zh) * | 2019-05-27 | 2020-12-03 | 清华大学 | 一种用于机器人钻孔中优化钻头位姿的方法 |
| CN112964176A (zh) * | 2021-02-03 | 2021-06-15 | 湖南大学 | 一种视觉定位系统 |
| CN113063348A (zh) * | 2021-03-15 | 2021-07-02 | 南京工程学院 | 一种基于立体参考物的结构光自垂直弧形焊缝扫描方法 |
| CN113798634A (zh) * | 2021-08-18 | 2021-12-17 | 中国科学院自动化研究所 | 空间环形焊缝示教与焊缝跟踪方法、系统及设备 |
| CN113798634B (zh) * | 2021-08-18 | 2022-09-06 | 中国科学院自动化研究所 | 空间环形焊缝示教与焊缝跟踪方法、系统及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108032011B (zh) | 2019-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108032011B (zh) | 基于激光结构光焊缝初始点导引装置及方法 | |
| CN110524580B (zh) | 一种焊接机器人视觉组件及其测量方法 | |
| CN210046133U (zh) | 基于激光结构光的焊缝视觉跟踪系统 | |
| CN106181162B (zh) | 一种基于机器视觉的实时焊缝跟踪检测方法 | |
| CN106825914B (zh) | 一种具有焊缝跟踪功能的一体化激光焊枪 | |
| CN111028340B (zh) | 精密装配中的三维重构方法、装置、设备及系统 | |
| CN108637435A (zh) | 一种基于视觉与弧压传感的三维焊缝跟踪系统及方法 | |
| CN109676243A (zh) | 基于双线激光结构光的焊缝识别与跟踪系统及方法 | |
| CN107824940A (zh) | 基于激光结构光的焊缝视觉跟踪系统及方法 | |
| CN108717715A (zh) | 一种用于弧焊机器人的线结构光视觉系统自动标定方法 | |
| CN109658456A (zh) | 罐体内角焊缝激光视觉三维视觉定位方法 | |
| CN105157603B (zh) | 一种线激光传感器 | |
| CN113798634B (zh) | 空间环形焊缝示教与焊缝跟踪方法、系统及设备 | |
| Hou et al. | A teaching-free welding method based on laser visual sensing system in robotic GMAW | |
| CN112191993B (zh) | 一种氩弧焊焊缝跟踪系统及方法 | |
| CN108127217A (zh) | 螺旋板式换热器端面焊缝自动引导焊接的焊接装置和方法 | |
| CN110039520B (zh) | 一种基于图像对比的示教、加工系统 | |
| CN108788467A (zh) | 一种面向航天构件的智能激光焊接系统 | |
| CN114654465A (zh) | 一种基于线激光结构光视觉传感的焊缝跟踪提取方法 | |
| CN114473153A (zh) | 一种油气长输管道焊接系统及方法 | |
| CN207077080U (zh) | 基于十字型激光器的焊缝跟踪控制装置 | |
| CN115770989A (zh) | 3d相机点云配准的焊接工件初定位系统和方法 | |
| CN108462867A (zh) | 自动标定跟踪式裸眼立体显示设备的系统及方法 | |
| CN114571160A (zh) | 一种离线的曲面焊缝提取和姿态估计方法 | |
| CN109483545A (zh) | 一种焊缝重构方法、智能机器人焊接方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |