CN108088390B - 一种焊接检测中基于双目线结构光的光条中心三维坐标获取方法 - Google Patents

Abstract

一种焊接检测中基于双目线结构光的光条中心三维坐标获取方法，包括如下步骤：1)搭建双目线结构光视觉传感系统；2)对双目线结构光视觉传感系统进行标定；3)使用标定后的双目线结构光装置在焊接中同时获取带结构光条纹的图像；4)将两幅图像中灰度值不为零的像素点的像素坐标映射到三维空间中的一个平面上，选取光平面或者其中一个相机的成像平面；5)通过两幅图像中像素点在空间坐标系中同一个平面上的三维坐标点；判断是为噪声点还是光条上的点；6)通过手眼标定得到的相机与机器人末端的位姿关系，将光平面上的中心线坐标值映射到机器人坐标系下，即得到了机器人坐标下焊缝的表面形状。本发明使得焊接视觉检测更为精确。

Description

一种焊接检测中基于双目线结构光的光条中心三维坐标获取 方法

技术领域

本发明涉及一种机器人自动化焊接实时检测中基于双目线结构光的光条中心三维坐标提取方法，尤其是针对焊接时弧光、飞溅、反光的干扰下的线结构光中心线三维坐标提取。

背景技术

焊接是当代制造领域中一种重要的材料成型与加工技术，在建筑工程、航天航空、机械制造、电子等工业制造领域有着越来越广泛的应用。发展焊接及其相关的产业对我国从制造大国转变为制造强国有着极其重要的意义。在焊接中，人工焊接的缺点主要表现在焊接工人的劳动强度大，同时焊接时的烟雾对工人的健康也有较大的影响，此外人工焊接效率上低，焊缝外观差，焊缝的质量及其一致性不稳定而焊接结构件通常存在一些缺陷，而焊接的质量对产品可靠性有着重要的影响。因此机器人焊接是改善焊接工人劳动条件重要的研究热点，而在机器人焊接中焊后焊缝的实时检测对实现机器人自动化焊接也尤其重要。

结构光视觉检测因具有非接触、动态响应快、系统柔性好等优点，被广泛应用于产品快速设计和加工质量控制、逆向工程以及自动控制等诸多领域。而在结构光视觉检测中结构光条中心的提取影响检测的精度和可靠性等。在结构光光条中心的提取中，常用灰度重心法、极值法、骨架细化法、hessian矩阵法、曲线拟合法、方向模板法等方法，对图像中的中心线条纹进行处理，进而得到光条的中心线。

在单目线结构光视觉检测中在获取图像中心线后，通过经标定的线结构光数学模型计算光条中心线的三维空间坐标值，即被检测工件表面的三维坐标。而在双目线结构光三维检测中，通常通过对标定后的两个相机图像利用极线约束与结构光条纹约束进行匹配，从而计算出工件表面的三维坐标。

然而，在实际焊接中往往存在大量的弧光、飞溅干扰，以及钢材等材料反光的干扰。这些干扰对图像上中心线的提取和双目视觉匹配都有着严重的影响，直接影响了焊缝表面三维尺寸的实时检测。

因此，在机器人焊接焊缝实时视觉检测的应用需求中，急需一种能在焊接干扰下有效获取焊缝表面三维尺寸的方法。

发明内容

为了克服已有机器人焊接中焊接干扰对影响视觉检测、不能精确有效的获取到焊缝表面的三维尺寸信息的不足，本发明在对基于线结构光的视觉检测做充分研究的基础上，提出一种精确性较高的基于双目线结构光的光条中心三维坐标提取方法。

本发明解决其技术问题所采用的技术方案是：

一种焊接检测中基于双目线结构光的光条中心三维坐标获取方法，所述方法包括如下步骤：

1)搭建双目线结构光视觉传感系统，并安装在机器人末端，并在相机上安装与线结构光波长的范围相同的窄带滤光片，滤除结构光波长以外的光；

2)对双目线结构光视觉传感系统进行标定，包括两个相机的标定，以及光平面标定，以及手眼标定；

3)使用标定后的双目线结构光装置在焊接中同时获取带结构光条纹的图像，此时两幅结构光条纹图像为同一时刻不同位置下拍摄的图像，设置阈值将两相机的图像做中值滤波和二值化处理；

4)将两幅图像中灰度值不为零的像素点的像素坐标映射到三维空间中的一个平面上，选取光平面或者其中一个相机的成像平面；

5)通过步骤4)得到了两幅图像中像素点在空间坐标系中同一个平面上的三维坐标点；通过判断映射到空间中一平面上时的点重合与否即可判断是为噪声点还是光条上的点，采用其中一个相机的像素平面作为平面，将另一个相机中的像素点坐标映射到此平面中的方式，其噪声点去除方法如下：

a)当相机一中的像素点的坐标转换到相机二的像素平面后，通常为非整数坐标值，将这些像素点的坐标做四舍五入取整；

b)取相机一映射在相机二像素平面上的点在坐标整数后，相当于相机二的成像面上两幅重叠的图像，此时对两幅图像做逻辑与操作，得到一幅去除了大部分噪声的结构光条纹图像；

c)细化法光条得到其中心线；

d)对步骤c)得到的中心线图像做去除小连通域处理；

e)对d)得到的中心线进行剪枝和修补处理；

f)将得到的中心线通过线结构光透视投影模型映射到光平面上；

6)通过手眼标定得到的相机与机器人末端的位姿关系，将步骤5)得到的光平面上的中心线坐标值映射到机器人坐标系下，即得到了机器人坐标下焊缝的表面形状。

进一步，所述步骤4)中，通过线结构光透视投影模型和光平面的约束可将像素坐标映射到光平面，其模型方程如下式所示：

其中，x，y为像素坐标系下的坐标，Xc，Yc，Zc为相机坐标系下的三维坐标，f为焦距，dx，dy为ccd尺寸，u0，v0为主点坐标，ax₁+by₁+cz₁+d＝0为光平面在空间中的表达式，该模型表达了相机像素平面坐标系到相机坐标系下的光平面的转换关系。

或者是：所述步骤4)中，通过标定得到的两相机坐标系之间的位姿关系，将任意一个相机图像上的像素坐标映射到另一个相机的像素平面中，这种映射关系相当于先将两相机中的像素点坐标映射到光片面上，再将其光平面上的点一同映射回其中一个相机成像面上。

本发明的技术构思为：对线结构光三维测量原理做一阐述，其原理如图1所示，入射激光以预先设定的入射角α发射到被测工件表面一点A，利用成像镜将A点在CCD光敏面上一点O的位置成像，如果被测目标物体的厚度变化为δ，那么入射光将投射到工件表面的"A"点，所以之间的关系可以得出相似三角形的关系

被测物体的厚度变化量"δ"和CCD图像成像面上的成像点的偏移量X成比例关系，假设物体起始的厚度为D0，则被测物体的变化后的厚度可以表示为：

式中D₀为物体的起始厚度；

δ为被测物体厚度的变化量；

X为CCD成像面上像素点的位移量；

AB为基准点的物距；

OB为基准点的像距；

α为入射光的入射角；

针对焊接时的弧光飞溅以及工件反光的干扰，通过双目线结构光装置并映射两幅图像在三维空间的同一个平面上来提取结构光条纹的中心，得到焊缝表面的三维尺寸信息。与常规双目线结构光需要进行的两个相机图像匹配不同的是，该方案相当于两个单目线结构光的结合，通过标定后的关系转换像素点的坐标，把双目的两幅图像映射在三维相同的平面中，再剔除飞溅、反光等干扰并提取中心线。

本发明的有益效果主要表现在：使用双目线结构光的方式，结合单目线结构光三维测量原理，利用噪声与结构光条纹在图像映射到空间中的平面后位置不同的特点，通过图像处理有效的去除焊接中的大部分噪声，并得到其中心线，使得焊接视觉检测更为精确。

附图说明

图1为结构光三维测量原理图；

图2为双目线结构光测量方案示意图；

图3为单目结构光透视投影模型图；

图4为去噪原理示意图，其中，1.相机一，2.相机二，3.线激光器，4.光平面，5.焊接干扰；

图5为视觉传感系统与机器人焊接系统安装示意图；

图6为相机标定所用棋盘格模板；

图7为相机与光平面标定拍摄位置示意图；

图8为标定结构光平面时获取的条纹上若干点；

图9为通过平面拟合得到的光平面；

图10为手眼标定坐标关系图，其中，C_obj标定板的坐标系，C_c为相机坐标系，C_e为机器人工具坐标系；

图11为两个相机得到的图像的重合后的示意图，标示的重叠区域为中心线，不重叠部分为噪声；

图12为一种焊接检测中基于双目线结构光的光条中心三维坐标获取方法的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图12，一种焊接检测中基于双目线结构光的光条中心三维坐标获取方法，包括如下步骤：

1)搭建双目线结构光视觉传感系统，并安装在机器人末端。方案可采用常规的双目线结构光方案，如图2所示，并在相机上安装与线结构光波长的范围相同的窄带滤光片，滤除结构光波长以外的光。

2)对双目线结构光视觉传感系统进行标定，包括两个相机的标定，以及光平面标定，以及手眼标定。

3)使用标定后的双目线结构光装置在焊接中同时获取带结构光条纹的图像，此时两幅结构光条纹图像为同一时刻不同位置下拍摄的图像。设置阈值将两相机的图像做中值滤波和二值化处理。

4)将两幅图像中灰度值不为零的像素点的像素坐标映射到三维空间中合适的一个平面上，通常可选取光平面或者其中一个相机的成像平面。通过线结构光透视投影模型和光平面的约束可将像素坐标映射到光平面，透视投影模型如图3所示，其模型方程如下式所示：

其中，x，y为像素坐标系下的坐标，Xc，Yc，Zc为相机坐标系下的三维坐标，为焦距，dx，dy为ccd尺寸，u0，v0为主点坐标，ax₁+by₁+cz₁+d＝0为光平面在空间中的表达式，该模型表达了相机像素平面坐标系到相机坐标系下的光平面的转换关系。

或者通过标定得到的两相机坐标系之间的位姿关系，可将任意一个相机(假设为相机一)图像上的像素坐标映射到另一个相机(相机二)的像素平面中，这种映射关系相当于先将两相机中的像素点坐标映射到光片面上，再将其光平面上的点一同映射回其中一个相机成像面上，本质上相同。

5)通过步骤4)得到了两幅图像中像素点在空间坐标系中同一个平面上的三维坐标点。由于光条本身位于光片面，而噪声(即弧光、飞溅、反光等)绝大多数位于光平面之外，因此通过判断映射到空间中一平面上时的点重合与否即可判断是为噪声点还是光条上的点，其原理如图4所示，光片面4外的点(焊接干扰5)在映射到光平面4后不会重合。由于在像素坐标系下的点(x,y,z)的z坐标值为零，为方便计算，采用其中一个相机(相机二)的像素平面作为平面，将另一个相机(相机一)中的像素点坐标映射到此平面中的方式，其噪声点去除方法如下：

g)当相机一中的像素点的坐标转换到相机二的像素平面后，通常为非整数坐标值，将这些像素点的坐标做四舍五入取整；

h)取相机一映射在相机二像素平面上的点在坐标整数后，相当于相机二的成像面上两幅重叠的图像，此时对两幅图像做逻辑与操作，得到一幅去除了大部分噪声(即不重合点)的结构光条纹图像；

i)细化法光条得到其中心线；

j)对步骤c)得到的中心线图像做去除小连通域处理；

k)对d)得到的中心线进行剪枝和修补处理；

l)将得到的中心线通过线结构光透视投影模型映射到光平面上；

6)通过手眼标定得到的相机与机器人末端的位姿关系，将步骤5)得到的光平面上的中心线坐标值映射到机器人坐标系下，即得到了机器人坐标下焊缝的表面形状。

本实施例中，双目线结构光视觉传感系统示意图如图2所示，其安装在焊接机器人末端焊枪附近，如图5所示。

相机的标定采用张正友教授的棋盘格平面模板法，该方法的标定模板如图6所示。控制机器人末端移动不同的位置，在标定过程中需要机器人在两个以上不同的位置，使线结构光照射在平面模板上并使图像中线结构光条纹在平面模板的棋盘格端点上，如图7所示。通过张氏标定可得到两个相机的内外参数，在通过内外参数将线结构光条纹在光平面上的若干坐标点转换到相机坐标系下，一条直线和直线外的点即可确定光平面，如图8所示，通过拟合若干光平面上的点可得到光片面的参数方程，如图9所示，完成相机与光平面的标定。再通过“两步法”或者其它常用手眼标定方法，即得到相机与机器人的手眼关系矩阵，手眼标定各坐标关系如图10所示。

标定结束后即可使用工业相机采集焊接时同一时刻的图像，即两个相机采集到的图像为同一时刻不同位置的被焊缝表面形状调制的结构光条纹图像，其中包含了焊接噪声。首先对图像进行预处理，包括中值滤波和图像二值化处理。焊接中由于弧光等干扰的存在，二值化处理可采用最大类间方差法，其算法描述如下：

a)估计初始阈值G(图像灰度值最大和最小值)

b)利用阈值G对目标图像进行阈值分割，即产生两组目标像素点：像素点灰度值大于等于阈值G的点集T1和灰度值小于阈值G的点集T2。

c)计算点集T1和点集T2内所有的像素点的灰度平均值V1和V2。

d)通过计算得到一个新的阈值：

e)一直重复步骤(b)至步骤(d)，直到在连续的迭代后T的差值小于开始时设置的一参数G0时停止。

在进行预处理后，将从相机一中得到的图像中灰度值不为零的像素点的像素坐标通过标定得到的变换矩阵映射到相机二的像素平面上。当相机一中的像素点的坐标转换到相机二的像素平面后，通常为非整数坐标值，将这些像素点的坐标做四舍五入取整，并舍弃相机一映射在相机二图像像素范围外的像素点。在坐标取整后，相当于相机二的成像面上两幅重叠的图像，此时对两幅图像做逻辑与操作，得到一幅去除了大部分噪声的结构光条纹图像，示意图如图11所示，图中重叠区域为结构光条纹，不重叠区域为去除的噪声。

在得到去噪后对中心线进行细化，细化可用T.Y.ZHANG的细化方法处理。

由于少数恰好在光平面上的噪声存在，在细化后的中心线图像中仍可能存在少量噪声，其中与中心线分离的噪声通过计算连通域，设定阈值来去除噪声；其中若有与中心线粘连的噪声则采用常规的中心线剪枝来处理。处理后的中心线可能存在断开部分，因此需要对中心线进行修补，修补方法可用多项式曲线拟合的方法。

最后将得到的完整的无噪声的中心线图像的像素坐标通过线结构光透视投影模型映射到光平面上，再通过手眼关系矩阵映射到机器人坐标下，即得到了机器人坐标下的焊缝表面尺寸信息。

Claims (3)

1.一种焊接检测中基于双目线结构光的光条中心三维坐标获取方法，其特征在于：所述方法包括如下步骤：

1)搭建双目线结构光视觉传感系统，并安装在机器人末端，并在相机上安装与线结构光波长的范围相同的窄带滤光片，滤除结构光波长以外的光；

2)对双目线结构光视觉传感系统进行标定，包括两个相机的标定，以及光平面标定，以及手眼标定；

3)使用标定后的双目线结构光装置在焊接中同时获取带结构光条纹的图像，此时两幅结构光条纹图像为同一时刻不同位置下拍摄的图像，设置阈值将两相机的图像做中值滤波和二值化处理；

4)将两幅图像中灰度值不为零的像素点的像素坐标映射到三维空间中的一个平面上，选取光平面或者其中一个相机的成像平面；

5)通过步骤4)得到了两幅图像中像素点在空间坐标系中同一个平面上的三维坐标点；通过判断映射到空间中一平面上时的点重合与否即可判断是为噪声点还是光条上的点，采用其中一个相机的像素平面作为平面，将另一个相机中的像素点坐标映射到此平面中的方式，其噪声点去除方法如下：

a)当相机一中的像素点的坐标转换到相机二的像素平面后，通常为非整数坐标值，将这些像素点的坐标做四舍五入取整；

b)将相机一的成像映射在相机二像素平面上后，相当于相机二的成像面上两幅重叠的图像，此时对两幅图像做逻辑与操作，得到一幅去除了大部分噪声的结构光条纹图像；

c)细化法光条得到其中心线；

d)对步骤c)得到的中心线图像做去除小连通域处理；

e)对d)得到的中心线进行剪枝和修补处理；

f)将得到的中心线通过线结构光透视投影模型映射到光平面上；

6)通过手眼标定得到的相机与机器人末端的位姿关系，将步骤5)得到的光平面上的中心线坐标值映射到机器人坐标系下，即得到了机器人坐标下焊缝的表面形状。

2.如权利要求1所述的一种焊接检测中基于双目线结构光的光条中心三维坐标获取方法，其特征在于：所述步骤4)中，通过线结构光透视投影模型和光平面的约束可将像素坐标映射到光平面，其模型方程如下式所示：

其中，x，y为像素坐标系下的坐标，Xc，Yc，Zc为相机坐标系下的三维坐标，f为焦距，dx，dy为ccd尺寸，u₀，v₀为主点坐标，ax₁+by₁+cz₁+d＝0为光平面在空间中的表达式，该模型表达了相机像素平面坐标系到相机坐标系下的光平面的转换关系。

3.如权利要求1所述的一种焊接检测中基于双目线结构光的光条中心三维坐标获取方法，其特征在于：所述步骤4)中，通过标定得到的两相机坐标系之间的位姿关系，将任意一个相机图像上的像素坐标映射到另一个相机的像素平面中，这种映射关系相当于先将两相机中的像素点坐标映射到光平面上，再将其光平面上的点一同映射回其中一个相机成像面上。