CN107876970B - 一种机器人多层多道焊接焊缝三维检测及焊缝拐点识别方法 - Google Patents
一种机器人多层多道焊接焊缝三维检测及焊缝拐点识别方法 Download PDFInfo
- Publication number
- CN107876970B CN107876970B CN201711327130.6A CN201711327130A CN107876970B CN 107876970 B CN107876970 B CN 107876970B CN 201711327130 A CN201711327130 A CN 201711327130A CN 107876970 B CN107876970 B CN 107876970B
- Authority
- CN
- China
- Prior art keywords
- welding seam
- point
- robot
- pixel
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003466 welding Methods 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000001514 detection method Methods 0.000 title claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims abstract description 34
- 239000013598 vector Substances 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims description 14
- 230000007547 defect Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000012805 post-processing Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000013138 pruning Methods 0.000 claims description 3
- 235000010627 Phaseolus vulgaris Nutrition 0.000 claims description 2
- 244000046052 Phaseolus vulgaris Species 0.000 claims description 2
- 206010040925 Skin striae Diseases 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000011897 real-time detection Methods 0.000 description 4
- 239000010410 layer Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K26/00—Working by laser beam, e.g. welding, cutting or boring
- B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
- B23K26/03—Observing, e.g. monitoring, the workpiece
- B23K26/032—Observing, e.g. monitoring, the workpiece using optical means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K26/00—Working by laser beam, e.g. welding, cutting or boring
- B23K26/08—Devices involving relative movement between laser beam and workpiece
- B23K26/0869—Devices involving movement of the laser head in at least one axial direction
- B23K26/0876—Devices involving movement of the laser head in at least one axial direction in at least two axial directions
- B23K26/0884—Devices involving movement of the laser head in at least one axial direction in at least two axial directions in at least in three axial directions, e.g. manipulators, robots
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K26/00—Working by laser beam, e.g. welding, cutting or boring
- B23K26/20—Bonding
- B23K26/21—Bonding by welding
- B23K26/24—Seam welding
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K26/00—Working by laser beam, e.g. welding, cutting or boring
- B23K26/20—Bonding
- B23K26/32—Bonding taking account of the properties of the material involved
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Abstract
一种机器人多层多道焊接焊缝三维形貌检测及焊缝拐点识别方法，包括以下步骤：1、对相机、线结构光与机器人进行标定/2、焊缝结构光图像的获取与处理；3、多层多道焊缝三维空间形貌的获取与拐点特征的识别，过程如下：3.1记录中心线提取时的计算的hessian矩阵的特征向量；3.2通过特征向量的方向，设定特征向量差分的阈值来识别多层多道焊缝的拐点；3.3通过步骤1标定的模型数据，将相机坐标系下中心线的亚像素坐标值转换到机器人坐标系下，作为焊缝表面三维数据供机器人焊接使用。本发明提供了一种精度较高、可靠性较高、实时性良好的机器人多层多道焊接焊缝三维检测及焊缝拐点识别方法。
Description
技术领域
本发明涉及机器人自动化焊接的焊缝检测领域，尤其是在多层多道焊中的焊缝三维形貌实时检测方法，为焊接自动化提供基础。
背景技术
焊接是当代制造领域中一种重要的材料成型与加工技术，在建筑工程、航天航空、机械制造、电子等工业制造领域有着越来越广泛的应用。发展焊接及其相关的产业对我国从制造大国转变为制造强国有着极其重要的意义。但随着制造装备的发展，单层单道焊与单层多道焊在装备生产制造的过程中已经无法满足其要求，在焊接中厚板的过程中因受到焊接功率等因素影响，必须使用多层多道的焊接方法。
在焊接中，人工焊接的缺点主要表现在焊接工人的劳动强度大，同时焊接时的烟雾对工人的健康也有较大的影响，此外人工焊接效率上低，焊缝外观差，焊缝的质量及其一致性不稳定而焊接结构件通常存在一些缺陷，而焊接的质量对产品可靠性有着重要的影响。因此机器人焊接是改善焊接工人劳动条件重要的研究热点，而在机器人焊接中焊后焊缝的实时检测对实现机器人自动化焊接也尤其重要。
在利用视觉传感技术来获取焊缝形貌特征的研究中，其中单目视觉一般只能得到目标焊缝的二维平面信息，如果要获取目标焊缝的三维信息的话，则要利用立体视觉，常用的立体视觉方法主要有双目立体视觉以及结构光视觉。但上述这些方法大多数都是针对直线焊缝或者小曲率焊缝，而对于复杂的多层多道焊缝，尚未得到比较充分的研究结果。在结构光视觉传感中，由于焊接过程中的弧光、飞溅以及烟尘等干扰，中心线的提取尤为困难，因此给焊缝检测的精度，实时性与可靠性等带来了影响。
发明内容
为了克服已有机器人多层多道焊接中由于焊接干扰导致的焊缝三维实时检测的精度低、可靠性低、以及实时性较差的不足,本发明提供了一种精度较高、可靠性较高、实时性良好的机器人多层多道焊接焊缝三维检测及焊缝拐点识别方法。
本发明解决其技术问题所采用的技术方案是：
一种机器人多层多道焊接焊缝三维形貌检测及焊缝拐点识别方法，包括以下步骤：
1.对相机、线结构光与机器人进行标定，过程如下：
1.1对相机进行标定，获取相机的内参与外参；
1.2线结构光的光平面方程标定，得到光平面在相机坐标下的方程；
1.3机器人与相机之间位置关系的手眼标定；
2.焊缝结构光图像的获取与处理，过程如下：
2.1通过相机获取到被焊缝表面形状调制过得结构光条纹；
2.2对条纹图像进行预处理，包括焊缝图像的ROI选取，图像去噪，阈值分割；
2.3基于hessian矩阵法与GPU并行计算的结构光中心线亚像素提取；
2.4图像后处理，包括去除飞溅与反光带来的图像上的干扰，修补缺陷等引起的中心线断裂；
3.多层多道焊缝三维空间形貌的获取与拐点特征的识别，过程如下：
3.1记录中心线提取时的计算的hessian矩阵的特征向量；
3.2通过特征向量的方向，设定特征向量差分的阈值来识别多层多道焊缝的拐点；
3.3通过步骤1标定的模型数据，将相机坐标系下中心线的亚像素坐标值转换到机器人坐标系下，作为焊缝表面三维数据供机器人焊接使用。
进一步，所述步骤1中，标定是使用线结构光三维检测的基础，通过相机，结构光标定与机器人的手眼标定，将图像坐标系中的坐标值转换到相机坐标系以及机器人坐标系下。
再进一步，所述步骤2.2中，预处理中的去噪包括中值滤波、高斯平滑和阈值分割。
所述阈值分割采用最大类间方差法，图像的ROI提取包括以下两种方式：
a)通过计算每一行像素点的灰度值总和，以最大灰度值总和所在行为基行，上下各取一定范围作为初选的ROI区域；
b)若所处理帧不是第一帧，则将前一帧处理后的中心线做膨胀处理，并将膨胀后的范围作为本帧的ROI区域。
所述步骤2.3中，中心线亚像素提取采用了hessian矩阵的方法，Hessian矩阵法的处理过程如下：
结构光条纹的图像在条纹法向方向的灰度分布近似高斯分布，而像素点hessian矩阵最大特征值对应的特征向量既是条纹法线方向，通过对此方向进行二阶泰勒展开判断该点是否是一阶导数为零，二阶导数小于一定值的点，如果是，即为可判断为中心点，中心线上的点的亚像素级的图像坐标可表示为(x0+tnx，y0+tny)；
其中，hessian表达式如下：
法线方向二阶泰勒展开式如下：
其中H(x，y)为像素点坐标x0，y0处的hessian矩阵，gx，gy，gxx，gxy，gyy是二阶偏导的高斯模板与图像卷积的结果，nx，ny为归一化后的特征向量；
其中，t的计算式如下：
满足且
则可确定为光条中心点，其中心点亚像素级坐标为(x0+tnx，y0+tny)。
所述hessian矩阵中心线提取方法可用GPU并行化计算，并行计算方法如下：
2.3.1、GPU端称为设备端，CPU端称为主机端，设备端开辟内存，主机端准备好图像数据后将图像与模板数据拷贝到设备端，并将高斯模板以常量内存的形式存储。
2.3.2、设备端分配好栅格、块及每个块中的线程数。
2.3.3、在Kernel函数中为每个像素索引线程，分别计算各像素点的Hessian矩阵，并判断中心点的亚像素位置。
2.3.4、拷贝中心线数据到主机，执行后续处理。
更进一步，所述步骤2.4中，图像的后处理包括消除飞溅与反光造成的中心线图像中的噪点和修补因焊豆缺陷造成的中心线断裂。
后处理噪点的处理方法如下所述：
2.4.1、在提取中心线后的图像中，连通域小于一定阈值的区域可判别为噪声，根据连通域大小去除噪声，即可去除小连通域；
2.4.2、去除小连通域后的中心线图像为中心线和少量由反光和飞溅导致的与中心线粘连的噪声，因此需要对中心线进行剪枝处理。
所述剪枝处理方法如下：
a)对于飞溅干扰的小分支，首先从左至右遍历中心线，并标记遍历过的像素点；当遇到中心线中的分支点时同步遍历并记录各分支的长度，当某一支遍历到端点像素时可判断此分支为枝干，因此剪去此分支；
b)对于反光干扰造成的环状分支，因标记了已遍历过得像素，当遍历到已标记的像素点，可判断此分支为反光干扰造成的分支，剪去此分支，最后得到去除飞溅与反光干扰的中心线图像；
其中，分支点与端点用如下方法判断：
提取到的中心线与背景像素存在两种灰度值，0或者1，对于中心线上的任意点p，交叉数的定义如下：
式中Pi为该点的灰度值；
p点的八邻域纹线点数定义为其八领域像素灰度值和，即Sn(p)＝∑pi；
通过p点的交叉数与纹线点数可将像素点按如下情况分类：
分支点：Cn(p)＝3，Sn(p)＝3；
连续点：Cn(p)＝2，Sn(p)＝2或3或4；
端点：Cn(p)＝1，Sn(p)＝1。
焊豆缺陷会造成结构光测量中的中心线断裂的情况，中心线修补的过程如下：
线激光器发射的光条是连续的，首先从左至右遍历中心线像素，当遍历到中心线中缺失像素点时，记录缺失像素两端的像素点位置。然后从缺失两点开始分别各取中心线上若干点，通过多项式拟合的方式拟合曲线；最后使用拟合的曲线方程将像素点缺失的位置通过插值得出，得到完整的中心线条纹。
所述步骤3.1中，结构光中心线条纹像素点的hessian矩阵最大特征值特征向量的示意图如图5所示，该特征向量指向条纹法向位置。
所述步骤3.3中，采用的单目线结构光模型采用了透视投影模型，其表达式如下：
其中，x，y为像素坐标系下的坐标，Xc，Yc，Zc为相机坐标系下的三维坐标，f为焦距，dx，dy为ccd尺寸，u0，v0为主点坐标。该模型表达了相机像素平面坐标系到相机坐标系下的转换关系。再通过相机与机器人手眼标定得出转换矩阵即可将图像中心线坐标转换到机器人坐标系下。
本发明的有益效果主要表现在：采用了精度高的中心线提取算法，保证了焊缝检测中的精度需求。同时采用了GPU将并行运行算法，以保证实时检测中的实时性要求。本专利针对焊接中干扰与结构光条纹的特征，采用了高效的去噪处理方法，能有效去除焊接中的弧光飞溅以及工件反光的造成的影响，同时修补了结构光条纹的断裂处，因此提高了检测可靠性。
附图说明
图1为三角测量原理图；
图2为设备端与主机端程序执行流程；
图3为带干扰的中心线示意图；
图4为p点八领域；
图5为hessian矩阵特征向量示意图；
图6为结构光光平面数据拟合图；
图7为相机获取到的焊缝表面结构光条纹图像；
图8为预处理后的结构光条纹图像；
图9为提取到的中心线；
图10-15为中心线剪枝示意图。
图16为有断点的中心线；
图17为拟合后的中心线；
图18为焊缝拐点识别图；
图19为焊缝表面三维点云数据图。
图20是一种机器人多层多道焊接焊缝三维形貌检测及焊缝拐点识别方法的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图20，一种机器人多层多道焊接焊缝三维形貌检测及焊缝拐点识别方法，
首先对线结构光三维检测原理做一阐述，其原理如图1所示，入射激光以预先设定的入射角α发射到被测工件表面一点A，利用成像镜将A点在CCD光敏面上一点O的位置成像，如果被测目标物体的厚度变化为δ，那么入射光将投射到工件表面的"A2"点，所以之间的关系可以得出相似三角形的关系
被测物体的厚度变化量"δ"和CCD图像成像面上的成像点的偏移量X成比例关系，假设物体起始的厚度为D0，则被测物体的变化后的厚度可以表示为：
式中D0为物体的起始厚度；
δ为被测物体厚度的变化量；
X为CCD成像面上像素点的位移量；
AB为基准点的物距；
OB为基准点的像距；
α为入射光的入射角；
根据线结构光三维检测原理，搭建线结构光视觉检测装置
所述焊缝三维形貌检测及拐点识别方法包括以下步骤：
4.对相机、线结构光与机器人进行标定，过程如下：
1.1对相机进行标定，获取相机的内参与外参；
1.2线结构光的光平面方程标定，得到光平面在相机坐标下的方程；
1.3机器人与相机之间位置关系的手眼标定；
5.焊缝结构光图像的获取与处理，过程如下：
2.1通过相机获取到被焊缝表面形状调制过得结构光条纹；
2.2对条纹图像进行预处理，包括焊缝图像的ROI选取，图像去噪，阈值分割；
2.3基于hessian矩阵法与GPU并行计算的结构光中心线亚像素提取；
2.4图像后处理，包括去除飞溅与反光带来的图像上的干扰，修补缺陷等引起的中心线断裂；
6.多层多道焊缝三维空间形貌的获取与拐点特征的识别，过程如下：
3.1记录中心线提取时的计算的hessian矩阵的特征向量；
3.2通过特征向量的方向，设定特征向量差分的阈值来识别多层多道焊缝的拐点；
3.3通过步骤1标定的模型数据，将相机坐标系下中心线的亚像素坐标值转换到机器人坐标系下，作为焊缝表面三维数据供机器人焊接使用。
进一步，所述步骤1中，标定是使用线结构光三维检测的基础，通过相机，结构光标定与机器人的手眼标定，将图像坐标系中的坐标值转换到相机坐标系以及机器人坐标系下。
再进一步，所述步骤2.2中，预处理中的去噪包括中值滤波、高斯平滑和阈值分割，其中，阈值分割采用了最大类间方差法(大津法)阈值分割，图像的ROI提取包括以下两种方式：
c)通过计算每一行像素点的灰度值总和，以最大灰度值总和所在行为基行，上下各取一定范围作为初选的ROI区域；
d)若所处理帧不是第一帧，则将前一帧处理后的中心线做膨胀处理，并将膨胀后的范围作为本帧的ROI区域。
所述步骤2.3中，中心线亚像素提取采用了hessian矩阵的方法，hessian矩阵法对噪声不敏感并具有亚像素级的精度，但由于其计算量较大，因此使用了GPU对算法进行并行化计算以保证算法实时性；Hessian矩阵法的处理过程如下：
结构光条纹的图像在条纹法向方向的灰度分布近似高斯分布，而像素点hessian矩阵最大特征值对应的特征向量既是条纹法线方向，通过对此方向进行二阶泰勒展开判断该点是否是一阶导数为零，二阶导数小于一定值的点，如果是，即为可判断为中心点，中心线上的点的亚像素级的图像坐标可表示为(x0+tnx，y0+tny)；
其中，hessian表达式如下：
法线方向二阶泰勒展开式如下：
其中H(x，y)为像素点坐标x0，y0处的hessian矩阵，gx，gy，gxx，gxy，gyy是二阶偏导的高斯模板与图像卷积的结果，nx，ny为归一化后的特征向量；
其中，t的计算式如下：
满足
且
则可确定为光条中心点，其中心点亚像素级坐标为(x0+tnx，y0+tny)。
上述hessian矩阵中心线提取方法可用GPU并行化计算，设备端与主机端程序执行流程如图2所示，并行计算方法如下：
2.3.1、GPU端称为设备端，CPU端称为主机端，设备端开辟内存，主机端准备好图像数据后将图像与模板数据拷贝到设备端，并将高斯模板以常量内存的形式存储。
2.3.2、设备端分配好栅格、块及每个块中的线程数。
2.3.3、在Kernel函数中为每个像素索引线程，分别计算各像素点的Hessian矩阵，并判断中心点的亚像素位置。
2.3.4、拷贝中心线数据到主机，执行后续处理。
所述步骤2.4中，图像的后处理包括消除飞溅与反光造成的中心线图像中的噪点和修补因焊豆缺陷造成的中心线断裂。
后处理噪点的处理方法如下所述：
2.4.1、在提取中心线后的图像中，连通域小于一定阈值的区域可判别为噪声，根据连通域大小去除噪声，即可去除小连通域；
2.4.2、去除小连通域后的中心线图像为中心线和少量由反光和飞溅导致的与中心线粘连的噪声，因此需要对中心线进行剪枝处理，方法如下：
a)飞溅干扰的中心线示意图如图3所示的小分支。首先从左至右遍历中心线，并标记遍历过的像素点，例如标记为1。标当遇到中心线中的分支点时同步遍历并记录各分支的长度，当某一支遍历到端点像素时可判断此分支为枝干，因此剪去此分支。
b)反光干扰造成的中心线示意图如图3所示的环状分支。因标记了已遍历过得像素，当遍历到已标记的像素点，可判断此分支为反光干扰造成的分支，剪去此分支。最后得到去除飞溅与反光干扰的中心线图像。
其中，分支点与端点可用如下方法判断：
提取到的中心线与背景像素存在两种灰度值(0或者1)，对于中心线上的任意点p，图4为点p的八领域图，其交叉数的定义如下:
式中Pi为该点的灰度值。
p点的八领域纹线点数定义为其八领域像素灰度值和，即Sn(p)＝∑pi。
通过p点的交叉数与纹线点数可将像素点按如下情况分类，图3中分别标出了各点的类型：
分支点：Cn(p)＝3，Sn(p)＝3；
连续点：Cn(p)＝2，Sn(p)＝2或3或4；
端点：Cn(p)＝1，Sn(p)＝1；
焊豆等缺陷会造成结构光测量中的中心线断裂的情况，中心线修补的过程如下：
线激光器发射的光条是连续的，首先从左至右遍历中心线像素，当遍历到中心线中缺失像素点时，记录缺失像素两端的像素点位置。然后从缺失两点开始分别各取中心线上若干点，通过多项式拟合的方式拟合曲线。最后使用拟合的曲线方程将像素点缺失的位置通过插值得出，得到完整的中心线条纹。
所述步骤3.1中，结构光中心线条纹像素点的hessian矩阵最大特征值特征向量的示意图如图5所示，该特征向量指向条纹法向位置。
所述步骤3.3中，采用的单目线结构光模型采用了透视投影模型，其表达式如下：
其中，x，y为像素坐标系下的坐标，Xc，Yc，Zc为相机坐标系下的三维坐标，f为焦距，dx，dy为ccd尺寸，u0，v0为主点坐标。该模型表达了相机像素平面坐标系到相机坐标系下的转换关系。再通过相机与机器人手眼标定得出转换矩阵即可将图像中心线坐标转换到机器人坐标系下。
实例1：首先对单线结构光与相机进行标定，再对相机和机器人进行手眼标定。标定可用任意常用标定方法，本实施例1使用了张正友教授的平面模板标定法对相机进行了标定，标定结果如表1所示：
表1
同时获取线结构光在平面模板上的点，通过SVD法拟合光平面方程，得到了结构光平面参数，光平面如图6所示。
最后使用“两步法”得到相机与机器人末端执行器的位姿关系，如下：
在标定结束后，使用相机获取到焊缝表面的结构光条纹图像，如图7所示，然后使用上文所述方法去噪与阈值分割，最后获取ROI区域。处理结果如图8所示。
在得到经过预处理的中心线ROI后，使用GPU计算每个像素点hessian矩阵，根据上文所述的中心线判定方法判定各像素点是否是中心线上的点，并计算其亚像素坐标。再对中心线进行去噪和修补后处理，最终得到完整的中心线，如图9所示。
下面通过例子阐述后处理中去噪的工作。
首先，通过计算图像中的连通域去除小于一定值(例如20个像素)的连通域，得到中心线和与中心线粘连的噪声的图像，中心线示意图如图3所示。图3中由于飞溅和反光的干扰，出现两种噪声：一种是单纯的分支，另一种与中心线形成环状分支。
从左至右(或者从右至左)的端点处开始，遍历中心线，假设已遍历的像素点标记为1。当遍历到分支点时，如图10所示，同步遍历各分支的像素点，如图11所示。当分支点的某一分支首先遍历到端点时，如图12所示，则删去此分支，继续遍历未标记的像素点直到下一个分支点，如图13所示。继续遍历像素点，到如图14所示，位置时，两个分支在黑色标示的像素点汇合，通过遍历时标记的1即可判断。此时删除两条分支，如图15所示。最终得到中心线的主干。
在去除噪声后中心线中可能存在断点，如图16所示。取断点左右各5各像素数据，通过多项式拟合得到曲线方程，然后插值得到端点处的中心线位置，如图17所示。
在得到中心线后，通过记录的hessian矩阵特征向量，通过差分并设定阈值，可得到中心线上的拐点位置，如图18所示，其中箭头指出位置为拐点，白色条纹为原中心线，中心线条为提取的中心线，中心线上画出了hessian矩阵的特征向量。
最后将中心线通过模型从像素坐标系下转换到世界坐标系下，其三维点云如图19所示。
三维点云数据代表了焊缝表面的实际数据，完成焊缝的三维形貌检测与拐点识别。
Claims (10)
1.一种机器人多层多道焊接焊缝三维形貌检测及焊缝拐点识别方法，其特征在于：所述焊缝三维形貌检测及拐点识别方法包括以下步骤：
1.对相机、线结构光与机器人进行标定，过程如下：
1.1对相机进行标定，获取相机的内参与外参；
1.2线结构光的光平面方程标定，得到光平面在相机坐标下的方程；
1.3机器人与相机之间位置关系的手眼标定；
2.焊缝结构光图像的获取与处理，过程如下：
2.1通过相机获取到被焊缝表面形状调制过的结构光条纹；
2.2对条纹图像进行预处理，包括焊缝图像的ROI选取，图像去噪，阈值分割；
2.3基于hessian矩阵法与GPU并行计算的结构光中心线亚像素提取；
2.4图像后处理，包括去除飞溅与反光带来的图像上的干扰，修补缺陷等引起的中心线断裂；
3.多层多道焊缝三维空间形貌的获取与拐点特征的识别，过程如下：
3.1记录中心线提取时的计算的hessian矩阵的特征向量；
3.2通过特征向量的方向，设定特征向量差分的阈值来识别多层多道焊缝的拐点；
3.3通过步骤1标定的模型数据，将相机坐标系下中心线的亚像素坐标值转换到机器人坐标系下，作为焊缝表面三维数据供机器人焊接使用。
2.如权利要求1所述的机器人多层多道焊接焊缝三维形貌检测及焊缝拐点识别方法，其特征在于：所述步骤1中，标定是使用线结构光三维检测的基础，通过相机，结构光标定与机器人的手眼标定，将图像坐标系中的坐标值转换到相机坐标系以及机器人坐标系下。
3.如权利要求1或2所述的机器人多层多道焊接焊缝三维形貌检测及焊缝拐点识别方法，其特征在于：所述步骤2.2中，预处理中的去噪包括中值滤波和高斯平滑。
4.如权利要求3所述的机器人多层多道焊接焊缝三维形貌检测及焊缝拐点识别方法，其特征在于：所述阈值分割采用最大类间方差法，图像的ROI提取包括以下两种方式：
a)通过计算每一行像素点的灰度值总和，以最大灰度值总和所在行为基行，上下各取一定范围作为初选的ROI区域；
b)若所处理帧不是第一帧，则将前一帧处理后的中心线做膨胀处理，并将膨胀后的范围作为本帧的ROI区域。
5.如权利要求1或2所述的机器人多层多道焊接焊缝三维形貌检测及焊缝拐点识别方法，其特征在于：所述步骤2.3中，中心线亚像素提取采用了hessian矩阵的方法，Hessian矩阵法的处理过程如下：
结构光条纹的图像在条纹法线方向的灰度分布近似高斯分布，而像素点hessian矩阵最大特征值对应的特征向量即是条纹法线方向，通过对此方向进行二阶泰勒展开判断该点是否是一阶导数为零，二阶导数小于一定值的点，如果是，即为可判断为中心点，中心线上的点的亚像素级的图像坐标可表示为(x0+tnx，y0+tny)；
其中，hessian表达式如下：
法线方向二阶泰勒展开式如下：
其中H(x，y)为像素点坐标x0，y0处的hessian矩阵，gx，gy，gxx，gxy，gyy是二阶偏导的高斯模板与图像卷积的结果，nx，ny为归一化后的特征向量；
其中，t的计算式如下：
满足
且
则可确定为光条中心点，其中心点亚像素级坐标为(x0+tnx，y0+tny)。
6.如权利要求5所述的机器人多层多道焊接焊缝三维形貌检测及焊缝拐点识别方法，其特征在于：所述hessian矩阵中心线提取方法可用GPU并行化计算，并行计算方法如下：
2.3.1、GPU端称为设备端，CPU端称为主机端，设备端开辟内存，主机端准备好图像数据后将图像与模板数据拷贝到设备端，并将高斯模板以常量内存的形式存储；
2.3.2、设备端分配好栅格、块及每个块中的线程数；
2.3.3、在Kernel函数中为每个像素索引线程，分别计算各像素点的Hessian矩阵，并判断中心点的亚像素位置；
2.3.4、拷贝中心线数据到主机端，执行后续处理。
7.如权利要求1或2所述的机器人多层多道焊接焊缝三维形貌检测及焊缝拐点识别方法，其特征在于：所述步骤2.4中，图像的后处理包括消除飞溅与反光造成的中心线图像中的噪点和修补因焊豆缺陷造成的中心线断裂。
8.如权利要求7所述的机器人多层多道焊接焊缝三维形貌检测及焊缝拐点识别方法，其特征在于：后处理噪点的处理方法如下所述：
2.4.1、在提取中心线后的图像中，连通域小于一定阈值的区域可判别为噪声，根据连通域大小去除噪声，即可去除小连通域；
2.4.2、去除小连通域后的中心线图像为中心线和少量由反光和飞溅导致的与中心线粘连的噪声，因此需要对中心线进行剪枝处理。
9.如权利要求8所述的机器人多层多道焊接焊缝三维形貌检测及焊缝拐点识别方法，其特征在于：所述剪枝处理方法如下：
a)对于飞溅干扰的小分支，首先从左至右遍历中心线，并标记遍历过的像素点；当遇到中心线中的分支点时同步遍历并记录各分支的长度，当某一支遍历到端点像素时可判断此分支为枝干，因此剪去此分支；
b)对于反光干扰造成的环状分支，因标记了已遍历过的像素，当遍历到已标记的像素点，可判断此分支为反光干扰造成的分支，剪去此分支，最后得到去除飞溅与反光干扰的中心线图像；
其中，分支点与端点用如下方法判断：
提取到的中心线与背景像素存在两种灰度值，0或者1，对于中心线上的任意点p，交叉数的定义如下：
式中Pi为该点的灰度值；
p点的八邻域纹线点数定义为其八邻域像素灰度值和，即Sn(p)＝∑pi；
通过p点的交叉数与纹线点数可将像素点按如下情况分类：
分支点：Cn(p)＝3，Sn(p)＝3；
连续点：Cn(p)＝2，Sn(p)＝2或3或4；
端点：Cn(p)＝1，Sn(p)＝1。
10.如权利要求7所述的机器人多层多道焊接焊缝三维形貌检测及焊缝拐点识别方法，其特征在于：焊豆缺陷会造成结构光测量中的中心线断裂的情况，中心线修补的过程如下：
线激光器发射的光条是连续的，首先从左至右遍历中心线像素，当遍历到中心线中缺失像素点时，记录缺失像素两端的像素点位置；然后从缺失两点开始分别各取中心线上若干点，通过多项式拟合的方式拟合曲线；最后使用拟合的曲线方程将像素点缺失的位置通过插值得出，得到完整的中心线条纹。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711327130.6A CN107876970B (zh) | 2017-12-13 | 2017-12-13 | 一种机器人多层多道焊接焊缝三维检测及焊缝拐点识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711327130.6A CN107876970B (zh) | 2017-12-13 | 2017-12-13 | 一种机器人多层多道焊接焊缝三维检测及焊缝拐点识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107876970A CN107876970A (zh) | 2018-04-06 |
| CN107876970B true CN107876970B (zh) | 2020-01-10 |
Family
ID=61774272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711327130.6A Active CN107876970B (zh) | 2017-12-13 | 2017-12-13 | 一种机器人多层多道焊接焊缝三维检测及焊缝拐点识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107876970B (zh) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108709499A (zh) * | 2018-04-28 | 2018-10-26 | 天津大学 | 一种结构光视觉传感器及其快速标定方法 |
| CN108747023A (zh) * | 2018-06-01 | 2018-11-06 | 刘闻司 | 利用手动填料进行激光焊接修补的半自动装置 |
| CN109186491A (zh) * | 2018-09-30 | 2019-01-11 | 南京航空航天大学 | 基于单应性矩阵的平行多线激光测量系统及测量方法 |
| CN109272544B (zh) * | 2018-10-22 | 2020-09-08 | 湖北文理学院 | 管道全位置焊缝的结构光三维测量模型和图像处理方法 |
| CN109855574A (zh) * | 2019-02-01 | 2019-06-07 | 广东工业大学 | 一种焊缝侧表面粗糙度检测方法、装置、设备及存储介质 |
| CN110189290A (zh) * | 2019-04-08 | 2019-08-30 | 广东工业大学 | 基于深度学习的金属表面细微缺陷检测方法及装置 |
| CN110232709B (zh) * | 2019-04-19 | 2022-07-29 | 武汉大学 | 一种变阈值分割的线结构光光条中心提取方法 |
| CN110102490B (zh) * | 2019-05-23 | 2021-06-01 | 北京阿丘机器人科技有限公司 | 基于视觉技术的流水线包裹分拣装置和电子设备 |
| CN111311573B (zh) * | 2020-02-12 | 2024-01-30 | 贵州理工学院 | 枝条确定方法、装置及电子设备 |
| CN111299815B (zh) * | 2020-02-13 | 2021-02-09 | 西安交通大学 | 一种用于低灰度橡胶垫视觉检测与激光切割轨迹规划方法 |
| CN111451670A (zh) * | 2020-02-24 | 2020-07-28 | 季华实验室 | 自动焊接方法、装置、设备及计算机可读存储介质 |
| CN111452043B (zh) * | 2020-03-27 | 2023-02-17 | 陕西丝路机器人智能制造研究院有限公司 | 机器人与工业相机手眼标定的方法 |
| CN111402323B (zh) * | 2020-03-31 | 2021-09-17 | 北京博清科技有限公司 | 对接焊缝识别方法、装置、设备及存储介质 |
| CN111489436A (zh) * | 2020-04-03 | 2020-08-04 | 北京博清科技有限公司 | 一种焊缝三维重建方法、装置、设备及存储介质 |
| CN111906772B (zh) * | 2020-04-28 | 2022-04-08 | 宁波大学 | 一种基于工业机器人的智能产品加工方法 |
| CN111673749B (zh) * | 2020-06-09 | 2021-06-08 | 深圳中集智能科技有限公司 | 视觉焊接机器人的调校方法及视觉焊接机器人 |
| CN111830060A (zh) * | 2020-07-15 | 2020-10-27 | 上汽通用五菱汽车股份有限公司 | 基于模板匹配的白车身焊点3d标定方法、系统及介质 |
| CN112037189A (zh) * | 2020-08-27 | 2020-12-04 | 长安大学 | 一种钢筋焊缝几何参数检测装置及方法 |
| CN111805131B (zh) * | 2020-09-02 | 2020-12-04 | 季华实验室 | 一种焊缝轨迹实时定位方法、装置、存储介质及终端 |
| CN112404755B (zh) * | 2020-09-23 | 2023-10-03 | 浙江圣石激光科技股份有限公司 | 一种光伏玻璃激光打孔方法 |
| CN112381783B (zh) * | 2020-11-11 | 2022-10-11 | 湖南大学 | 一种基于红色线激光的焊缝轨迹提取方法 |
| CN112561854B (zh) * | 2020-11-11 | 2023-07-04 | 深圳大学 | 一种基于线结构光点云的焊缝检测方法 |
| CN112862794A (zh) * | 2021-02-20 | 2021-05-28 | 河北工业大学 | 一种基于结构光的角焊缝外观检测方法 |
| CN112767491B (zh) * | 2021-04-08 | 2021-11-12 | 北京博清科技有限公司 | 焊道拐点的确定方法、装置和计算机可读存储介质 |
| CN112950633B (zh) * | 2021-04-19 | 2023-06-23 | 上海电机学院 | 一种基于线结构光的铝合金焊缝表面缺陷检测方法 |
| CN113579601B (zh) * | 2021-08-16 | 2023-01-10 | 北京博清科技有限公司 | 一种焊道的定位方法、装置、焊接机器人和存储介质 |
| CN114252449B (zh) * | 2021-09-27 | 2023-10-24 | 上海电机学院 | 一种基于线结构光的铝合金焊缝表面质量检测系统及方法 |
| CN113909689B (zh) * | 2021-11-10 | 2024-04-05 | 佛山市南海区广工大数控装备协同创新研究院 | 一种激光光条的管道焊接坡口特征提取方法 |
| CN113977075A (zh) * | 2021-11-17 | 2022-01-28 | 唐山英莱科技有限公司 | 一种水冷壁管排熔覆自动轨迹引导的方法 |
| CN114399461B (zh) * | 2021-12-02 | 2023-07-25 | 郑州煤矿机械集团股份有限公司 | 智能化焊趾机械打磨疲劳延寿方法 |
| CN114155372A (zh) * | 2021-12-03 | 2022-03-08 | 长春工业大学 | 一种基于深度学习的结构光焊缝曲线识别与拟合方法 |
| CN114178681A (zh) * | 2021-12-24 | 2022-03-15 | 南通大学 | 一种基于激光视觉的焊缝跟踪图像处理方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110080402A1 (en) * | 2009-10-05 | 2011-04-07 | Karl Netzell | Method of Localizing Landmark Points in Images |
| US9036058B2 (en) * | 2012-07-12 | 2015-05-19 | Ramot At Tel-Aviv University Ltd. | Method and system for reducing chromatic aberration |
| CN103934571B (zh) * | 2014-04-11 | 2016-03-23 | 上海交通大学 | 厚板机器人焊接系统及多层多道焊缝实时跟踪、规划方法 |
| CN105783726B (zh) * | 2016-04-29 | 2018-06-19 | 无锡科技职业学院 | 一种基于线结构光视觉检测的曲线焊缝三维重建方法 |
| CN106737859B (zh) * | 2016-11-29 | 2020-08-21 | 江苏瑞伯特视觉科技股份有限公司 | 基于不变平面的传感器与机器人的外部参数标定方法 |
| CN106971407A (zh) * | 2017-02-16 | 2017-07-21 | 浙江工业大学 | 一种基于二维线结构光的焊缝三维重建方法 |
-
2017
- 2017-12-13 CN CN201711327130.6A patent/CN107876970B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN107876970A (zh) | 2018-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107876970B (zh) | 一种机器人多层多道焊接焊缝三维检测及焊缝拐点识别方法 | |
| CN108088390B (zh) | 一种焊接检测中基于双目线结构光的光条中心三维坐标获取方法 | |
| CN110064819B (zh) | 基于结构光的柱面纵向焊缝特征区域提取、焊缝跟踪方法及系统 | |
| CN109903279B (zh) | 焊缝运动轨迹的自动示教方法和装置 | |
| CN109470149B (zh) | 一种管路位姿的测量方法及装置 | |
| CN110298853B (zh) | 面差视觉检测方法 | |
| KR20140009209A (ko) | 연속된 b-스플라인 변형을 이용한 타이어 표면의 삼차원 이미지 전처리 방법 | |
| CN113324478A (zh) | 一种线结构光的中心提取方法及锻件三维测量方法 | |
| CN110766669A (zh) | 一种基于多目视觉的管线测量方法 | |
| JP7353757B2 (ja) | アーチファクトを測定するための方法 | |
| Agapakis | Approaches for recognition and interpretation of workpiece surface features using structured lighting | |
| CN106813569B (zh) | 一种基于线结构光的汽车轮胎三维定位方法 | |
| CN114283139A (zh) | 一种基于面阵结构光3d视觉的焊缝检测分割方法及装置 | |
| CN115096206A (zh) | 一种基于机器视觉的零件尺寸高精度测量方法 | |
| Liu et al. | Tube measurement based on stereo-vision: a review | |
| CN114170284B (zh) | 基于主动标志点投射辅助的多视图点云配准方法 | |
| CN116228652A (zh) | 一种基于三维点云曲率的管道焊缝表面缺陷检测方法 | |
| CN114066752A (zh) | 面向焊缝跟踪的线结构光骨架提取及毛刺去除方法 | |
| CN114252449A (zh) | 一种基于线结构光的铝合金焊缝表面质量检测系统及方法 | |
| CN113379902A (zh) | 一种基于激光扫描的焊缝形状的特征提取与三维重建方法 | |
| Fang et al. | A vision-based method for narrow weld trajectory recognition of arc welding robots | |
| Guo et al. | A V-shaped weld seam measuring system for large workpieces based on image recognition | |
| CN116091404A (zh) | 一种基于图像-点云信息融合的焊线缺陷检测及模式识别方法 | |
| CN112991327B (zh) | 基于机器视觉的钢格网焊接系统、方法和终端设备 | |
| Zou et al. | Laser-based precise measurement of tailor welded blanks: a case study |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20180406 Assignee: Songyang Yongxin Machinery Manufacturing Co.,Ltd. Assignor: JIANG University OF TECHNOLOGY Contract record no.: X2023980037296 Denomination of invention: A Method for 3D Detection of Multi layer and Multi pass Welding Seams and Recognition of Weld Corners by Robots Granted publication date: 20200110 License type: Common License Record date: 20230703 Application publication date: 20180406 Assignee: Kaizheng Valve Co.,Ltd. Assignor: JIANG University OF TECHNOLOGY Contract record no.: X2023980037352 Denomination of invention: A Method for 3D Detection of Multi layer and Multi pass Welding Seams and Recognition of Weld Corners by Robots Granted publication date: 20200110 License type: Common License Record date: 20230704 Application publication date: 20180406 Assignee: ZHEJIANG KENENG VALVE Co.,Ltd. Assignor: JIANG University OF TECHNOLOGY Contract record no.: X2023980037350 Denomination of invention: A Method for 3D Detection of Multi layer and Multi pass Welding Seams and Recognition of Weld Corners by Robots Granted publication date: 20200110 License type: Common License Record date: 20230703 Application publication date: 20180406 Assignee: Zhejiang Shimao Valve Industry Co.,Ltd. Assignor: JIANG University OF TECHNOLOGY Contract record no.: X2023980037358 Denomination of invention: A Method for 3D Detection of Multi layer and Multi pass Welding Seams and Recognition of Weld Corners by Robots Granted publication date: 20200110 License type: Common License Record date: 20230704 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20180406 Assignee: Shandong precision product quality inspection Co.,Ltd. Assignor: JIANG University OF TECHNOLOGY Contract record no.: X2023980042381 Denomination of invention: A Method for 3D Detection of Multi layer and Multi pass Welding Seams and Recognition of Weld Corners by Robots Granted publication date: 20200110 License type: Common License Record date: 20230925 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20180406 Assignee: Foshan chopsticks Technology Co.,Ltd. Assignor: JIANG University OF TECHNOLOGY Contract record no.: X2024980000084 Denomination of invention: A Method for 3D Detection of Multi layer and Multi pass Welding Seams by Robots and Recognition of Weld Turning Points Granted publication date: 20200110 License type: Common License Record date: 20240104 |