CN103528540A - 一种基于棱镜的焊接熔池传感单摄像机立体视觉成像装置 - Google Patents

Abstract

本发明公开了一种基于棱镜的焊接熔池传感单摄像机立体视觉成像装置，包括一棱镜、一成像装置和图像处理模块，其中所述棱镜放置在所述成像装置和焊接熔池之间，所述棱镜底面正对焊接熔池，成像装置的成像平面平行于棱镜的底面；在所述图像处理模块将获得的熔池图像依次进行图像滤波和分割处理、图像对立体匹配、熔池表面的三维建模。采用棱镜和滤光片等光学元件，实现了采用一台摄像机拍摄出熔池清晰的立体图像对，以用于焊接熔池表面三维形貌传感。

Description

一种基于棱镜的焊接熔池传感单摄像机立体视觉成像装置

技术领域

本发明涉及的是一种基于棱镜的焊接熔池传感单摄像机立体视觉成像装置。

背景技术

在焊接过程中，熟练的焊工通过双眼观察熔池表面，经过分析调整焊接姿态及参数等来获得高质量的焊接。基于视觉传感的焊接过程控制就是利用CCD摄像机等成像设备来模拟人眼获得焊接过程图像，通过一定的算法从图像提取能够反映焊接质量状态的信息，从而判定当前的工艺参数是否合适，并进行相应的调整。因视觉传感不与焊接回路接触，检测不影响焊接过程的进行，而且能提供丰富的特征信息，如接头形式、电弧形态、熔池形状等，使得视觉传感在焊接成形传感中的到了广泛的应用。

目前，熔池三维传感技术主要有结构光法，阴影恢复形状法和立体视觉法。

Kovacevic和Zhang在激光频闪系统的基础上，通过毛玻璃光栅生成多条纹结构光，投射到熔池表面，摄像机直接拍摄的图像中结构光条纹变形情况就包含了熔池表面的三维信息。Saseed向熔池表面投射单条纹结构光，直接使用摄像机拍摄熔池图像，再利用标定参数也成功实现了GTAW焊接熔池表面的三维重建。

在不使用辅助光源的被动视觉方法中，立体视觉和从阴影恢复形状都被用来完成熔池表面的三维重建。哈尔滨工业大学的赵冬斌等首次采用阴影恢复形状技术，通过图象灰度同物体形状之间的关系计算得出物体的表面高度，实现了从单幅图像恢复熔池的三维形貌，但从阴影恢复形状理想条件为光源和摄像机无穷远，物体表面为完全漫反射，这些条件在焊接的情况下均不满足。赵等针对焊接熔池图像的特点，引入了表面光滑约束、边界条件和灰度加权调整等改进算法。但由于计算中一些约束参数确定时人为因素多，导致其计算结果的误差较大，尤其是在图像灰度变化明显的区域(也就是特征明显的区域)，如熔池边界部分，反光强烈的部分等。

基于立体视觉的三维重建技术用两个摄像机代替双眼拍摄图像对，通过计算可以获得物体或者场景的三维形状和信息。立体视觉原理简单直观，获得信息量大，精度较高，因此一直是计算机视觉领域研究的热点。

通常的立体视觉法是从两个视点观测同一物体，获得在不同视角下的一组图像，并通过三角测量原理求取景物的深度信息，也就是说，通过拍摄同一场景的两幅图像就可以计算出图像上每一点对应的空间位置坐标。

C.Mnich等采用两个高速摄像机构成的立体视觉系统，同时拍摄熔化极气体保护焊接熔池的图像对，利用区域匹配算法完成立体匹配，实现了熄弧瞬间熔池的三维重建。由于使用两个摄像机导致系统成本昂贵，且拍摄时必须保证同步，因此该方法并不适合工业应用，此外文中没有给出弧光存在时的重建结果。

Zhao C.X.等则采用基于平面镜的单目立体视觉技术来拍摄激光焊接熔池的立体图像对，实现了少数特征点三维运动轨迹跟踪。

大多数的视觉传感在传感熔池的应用中，得到的只是一些二维的信息，比如熔宽、熔池边缘、后拖角和熔池面积等。这些信息并不能直观的反映焊接的熔透情况以及熔池的三维信息。

发明内容

本发明所要解决的技术问题是针对现有技术的不足提出了一种基于棱镜的单摄像机立体视觉成像装置，采用棱镜和滤光片等光学元件，实现了采用一台摄像机拍摄出熔池清晰的立体图像对，以用于焊接熔池表面三维形貌传感。

本发明的技术方案如下：

一种基于棱镜的焊接熔池传感单摄像机立体视觉成像装置，包括一棱镜、一成像装置和图像处理模块，其中所述棱镜放置在所述成像装置和焊接熔池之间，所述棱镜底面正对焊接熔池，成像装置的成像平面平行于棱镜的底面；在所述图像处理模块将获得的熔池图像依次进行图像滤波和分割处理、图像对立体匹配、熔池表面的三维建模。

所述的装置，所述棱镜的坐标轴Zp轴和所述成像装置光轴Z轴重合，t_Z是棱镜中心和摄像机光学中心间的距离，α是棱镜斜面和底面的夹角，设ω为成像装置CCD芯片的长，ω=6.4mm，镜头的焦距f=35mm，t_z≥328mm，棱镜与熔池之间的距离Z_p=300mm，摄像机光学中心与熔池间距为Z=Z_p+t_z=330+300=620mm，棱镜夹角α=13°，棱镜厚度为h_b=5.8mm。

基于棱镜的单摄像机立体视觉系统相比于采用两个摄像机的双目立体视觉法，降低了成本，对应点的极线为图像的同一扫描线，两虚拟摄像机参数的一致性也降低了立体匹配难度。

附图说明

图1为棱镜单摄像机立体视觉的原理图，(a)是棱镜单摄像机立体视觉成像原理图，(b)是利用棱镜镜像出的两虚拟摄像机C_L和C_R示意图、(c)是棱镜和摄像机位置关系的示意图；

图2为基于棱镜的单摄像机立体视觉系统示意图；1摄像机，2镜头，3滤光片，4光学导轨，5棱镜，6棱镜支架，7防护玻璃；

图3为棱镜结构参数定义；

图4为棱镜单摄像机立体视觉系统拍摄的立体图像对；

图5为单摄像机立体视觉系统熔池三维重建算法流程；

图6为本发明得到的熔池表面形貌，(a)是熔池表面形貌的正面视图，(b)是熔池表面形貌的侧面视图；

具体实施方式

以下结合具体实施例，对本发明进行详细说明。

单摄像机立体视觉系统的成像原理如图1所示。假设摄像机坐标的X轴平行于棱镜坐标的Xp轴，即实际摄像机的成像平面平行于棱镜的底面；其中棱镜的坐标轴Zp轴和摄像机光轴Z轴重合。t_Z是棱镜中心和摄像机光学中心间的距离，α是棱镜斜面和底面的夹角。棱镜坐标轴Zp轴定义为通过底面几何中心且垂直于底面且指向目标物体的方向为正方向。

基于棱镜的单摄像机立体视觉系统由一台摄像机和一个棱镜组成，利用棱镜折射把实摄像机C镜像为存在一定角度、相互对称的两虚拟摄像机C_L和C_R。摄像机像面平分为“左(C_L)”、“右(C_R)”像面，使摄像机的“左”像面只能接受来自左光路所成的像，摄像机的“右”像面只能接受来自右光路所成的像。被测量物体的表面通过左右两光路，分别成像在摄像机的“左、右”像面上。

测量时，两虚拟摄像机的公共视场A内的被测点虚拟出两个虚拟点，分别成像，它们之间形成一定的虚拟立体视差，然后利用空间点P在两虚拟摄像机平面上的成像点坐标来求取空间点的三维坐标。这相当于传统的摄像机从两个不同位置获取被测物体的两幅图像，从而实现双目视觉的功能。

三维空间任意物点P发出的光线分别通过棱镜两斜面发生折射，光线发生角度为2δ的偏转，空间点P转变为两个虚点P_l和Pr。摄像机镜头汇集所有来自虚拟视点P_l和Pr的光线，并形成了两个相应的像点m_r和m_l。

利用上述原理设计的用于熔池表面三维传感的棱镜单摄像机立体视觉系统示意图如图2所示。系统中使用的棱镜结构参数的设计需要综合考虑摄像机成像芯片、镜头焦距、物距、棱镜与镜头间距离等多个参数。此系统的主要结构参数有棱镜和摄像机光学中心间的距离t_Z，棱镜的结构尺寸——包括底面高l_r和底面宽b_r，斜面和底面的夹角a(如图3所示)。棱镜的结构设计参数是整个单摄像机立体视觉系统的关键步骤，棱镜形状决定了两个虚拟摄像机的基线长短(两个摄像机之间距离)，进而影响系统的三维重建精度。

在进行参数设计时，先对一些参数进行初步设定，利用这些设定的参数来完成系统参数的设计。步骤如下：

1)t_z的确定：

设ω为工业摄像机CCD芯片(正方形)尺寸，本试验中选用的摄像机成像芯片ω=6.4mm，镜头的焦距f=35mm，根据这些数据可以得到摄像机的视场半角θ_w=5.2

为保证所观察的熔池目标(熔池宽加上预留观察量约为60mm)，在传感器视场之内，由几何关系可得2t_ztanθ_w≥60mm，将θ_w=5.2L代入而得到t_z≥328mm。t_z值也不宜太大，上限以428mm为宜，否则将降低系统重建精度。

2)深度Z的确定：

考虑到棱镜受熔池高温度影响，为了安全一般棱镜与熔池之间的距离Z_p≥300mm，初步设定Z_p=300mm，那么摄像机光学中心与熔池间距为Z=Z_p+t_z=330+300=620mm。

3)棱镜夹角α、厚度h_b的确定：

深度Z与视差d、角度δ之间的函数关系，在此基础上由Z对d求偏导，得：

$\frac{\∂Z}{\∂d}=\frac{Z^2}{2{\mathrm{\α}}_u{t}_z\tan \mathrm{\δ}}$

三维重建计算误差在深度方向上是最大的，应保证深度方向的测量精度满足同时为使测量系统的视场尽可能大，有：

a_z≤Z-t_z=Z一330

$Z\≥\frac{t_z\tan {\mathrm{\θ}}_w}{2\tan \mathrm{\δ}-\tan {\mathrm{\θ}}_w}+t_z$

代入Z＝620mm得，δ>7.63°，取δ=8°。

选用光学玻璃作为棱镜的加工原料，其折射率n=1.6，代入可以得到棱镜夹角α＝13°。考虑到系统传感应用的对象是焊接熔池和标定模板，保证视场目标的光线全能通过棱镜进入摄像机中，棱镜取底面高l_r和底面宽b_r设定为50mm，由三角关系可得棱镜厚度为h_b=5.8mm。

根据设计参数加工棱镜，棱镜由一个特制的棱镜架夹持并固定在光学滑轨上，棱镜架可做小范围内的微调，保证棱镜底面与图像面平行。为了防止焊接中的飞溅污染棱镜，棱镜之前安装防护玻璃镜片。棱镜夹持器和摄像机都可以沿着光学滑轨移动，以方便调整棱镜和摄像机之间的距离。为了获得清晰的熔池图像，在摄像机镜头前安装了滤光片。

利用上述基于棱镜的单摄像机立体视觉系统所拍摄的熔化极气体保护脉冲焊接基值期间的熔池图像，结果对如图4所示。

从图4中可以看到，单幅图像被分成左右两个部分，出现了两个清晰的熔池图像，分别就是左右虚拟摄像机所拍摄的图像。图像上部为焊枪末端，焊枪下面的熔池尾部有小块聚集的浮渣，熔池表面反射形成的亮斑在左右两图总中有差别，这是因为左右虚拟摄像机观察熔池的角度略有差别。

利用此单摄像机立体视觉系统进行熔池表面三维传感的流程如图5所示。该系统实现熔池表面三维重建的主要步骤为：系统标定、熔池图像的获取、图像滤波和分割处理、图像对立体匹配、熔池表面的三维建模等。

系统标定即获取两个虚拟摄像机的内外参数，内参数包括焦距，图像光学中心坐标，镜头畸变参数等，外参数包括两个摄像机之间的位置关系等，可采用平面模板法等计算机视觉领域通用的标定方法完成。

熔池图像的获取即采用该系统拍摄清晰的熔池图像对，如图4所示。

图像滤波处理即利用高斯滤波等技术降低图像中的噪声，并利用阈值分割算法将图像中熔池区域分割出来，其他背景区域在后续计算中将不再处理。

图像对立体匹配即在左右摄像机图像中找到对应同一空间点的图像点，即对左图中熔池内的某像素点，找到其再右图中的对应点。基于棱镜的立体视觉系统拍摄的图像中，左右图像的对应点在图像的同一扫描线上。该系统并不限制立体匹配算法的使用，基于特征或者区域的算法均可使用。

熔池表面的三维建模即利用系统标定参数和立体匹配结果，计算图像上像素点的空间坐标。图4所示图像对的三维重建结果如图6所示。基于棱镜的单摄像机立体视觉系统相比于采用两个摄像机的双目立体视觉法，降低了成本，对应点的极线为图像的同一扫描线，两虚拟摄像机参数的一致性也降低了立体匹配难度。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (2)

1.一种基于棱镜的焊接熔池传感单摄像机立体视觉成像装置，其特征在于，包括一棱镜、一成像装置和图像处理模块，其中所述棱镜放置在所述成像装置和焊接熔池之间，所述棱镜底面正对焊接熔池，成像装置的成像平面平行于棱镜的底面；在所述图像处理模块将获得的熔池图像依次进行图像滤波和分割处理、图像对立体匹配、熔池表面的三维建模。

2.根据权利要求1所述的装置，其特征在于，所述棱镜的坐标轴Zp轴和所述成像装置光轴Z轴重合，t_Z是棱镜中心和摄像机光学中心间的距离，α是棱镜斜面和底面的夹角，设ω为成像装置CCD芯片的长，ω=6.4mm，镜头的焦距f=35mm，t_z≥328mm，棱镜与熔池之间的距离Z_p=300mm，摄像机光学中心与熔池间距为Z=Z_p+t_z=330+300＝620mm，棱镜夹角α＝13°，棱镜厚度为h_b=5.8mm。

Images