CN102155920B - 一种基于微景深的焊接拼缝测量方法 - Google Patents

Abstract

本发明公开了一种基于微景深的焊接拼缝测量方法，将光学倍数大于2的相机相对焊接拼缝局部表面斜放，在两次相机与焊接拼缝局部表面不同间距下对局部表面拍摄，从拍摄的两幅图像中提取清晰带，分别获取两清晰带垂直于拼缝方向的中心线上每一像点对应的物点在世界坐标系下的坐标，从而得到世界坐标下的两条直线段，利用两直线段进行平面拟合，即得拼缝局部表面法向矢量值，从其中任一清晰带中提取拼缝局部表面的边界，从而得到拼缝局部表面的宽度以及中心坐标。本发明能稳定、可靠的测量出复杂微细焊缝的拼缝中心坐标、宽度以及局部表面的法向矢量，且操作简单，检测精度高。

Description

一种基于微景深的焊接拼缝测量方法

技术领域

本发明属于视觉测量技术及激光焊接加工技术领域，具体涉及一种能测量出复杂狭窄、微细拼缝的拼缝中心坐标、宽度以及局部表面法向矢量的焊接拼缝测量方法。 

背景技术

激光焊接具有能量密度高、焊接速度快、热影响区范围小、焊接热变形小、焊缝的深宽比大和易实现自动控制等优点，随着高功率激光器的研制成功和激光光纤传输技术的完善，激光焊接技术逐渐广泛应用于汽车工业、船舶制造、航空航天工业等领域。 

在激光焊接中，焊接激光束的聚焦光斑直径很小，约0.3mm，因此激光焊接工艺对对接拼缝接头的装配质量有极高的要求，例如对于厚度2mm左右的薄板，所允许的对接接头的间隙宽度和错边量均小于0.1mm。激光束焦点必须准确地沿着拼缝中心轨迹运动，同时激光束焦点距拼缝表面保持合适的离焦量(根据焊接工艺要求，既有正离焦量，也有负离焦量)。对于三维曲面上的复杂拼缝，激光束方向必须与当前焊点局部区域的表面法向矢量保持一致，或与焊点局部区域的表面法向矢量保持一定夹角(如激光焊接铝锂合金等高反射率金属时，为避免反射的激光束烧毁聚焦镜头、光纤及激光器，有意使焊接激光束与拼缝表面法向矢量方向偏斜7～8度)，在保证拼缝的焊接质量的前提下保护聚焦镜头、光纤及激光器。这就要求在焊接之前，要对焊缝进行测量，以得到拼缝宽度、中心和拼缝局部表面的法向矢量，确保焊接质量。 

随着计算机视觉技术的发展，视觉传感技术在拼缝跟踪过程中得到了广泛使用。利用视觉传感器获取拼缝特征信息，具有信息量大、与工件非接触、灵敏度和精度高、抗电磁干扰能力强等优点，适合于各种坡口形状，可以同时进行拼缝跟踪控制和焊接质量的检验，是最有发展前途的传感技术。 

国内外众多学者和研究机构在利用视觉方法对焊缝进行测量这方面已进行了大量研究。国外研究较早，也取得了很多成果。英国元视觉系统(MetaVision System)公司和加拿大赛融公司(ServoRobot)公司的视觉传感器是世界上应用最广泛的拼缝跟踪传感器。Meta Vision System公司采用了激光三角测量原理研制出了MT系列激光传感器，其中以MT10/05测量精度最高，在拼缝测量中水平和垂直的测量精度均可达到+/-0.05mm，在V型坡口的测量中，MT10/05所能识别的坡口间隙最小为0.1mm。 

清华大学的张文增、陈强等学者采用双目立体视觉观察激光焦点和拼缝线，通过立体视觉技术计算激光焦点和拼缝线的空间位置，得到激光焦点相对于拼缝的误差(张文增，陈强，都东等.基于三维视觉的焊接机器人轨迹跟踪.清华大学学报(自然科学版)，2007，47(008)：1270～1273)。上海交通大学的包顺东、吴毅雄等人发明了双反射镜激光视觉传感器，也是基于单结构光的三角测量原理来进行检测的，用线结构光接近垂直地投射到工件表面时，形成与焊缝方向垂直的结构光条纹。激光视觉传感器内置的摄像机采集结构光条纹图像后，得到结构光条纹中心线上每一点的图像坐标即可算出相应的三维坐标，获得焊缝截面轮廓的三维数据。由于焊缝坡口、接头间隙和错边等焊缝特征会引起图像上焊缝接头区域结构光条纹的形状、位置和灰度值的变化，根据图像上结构光条纹的形状、位置和灰度值特征 即可进行焊缝检测，提取出焊缝中心位置、接头间隙、错边量等焊缝特征信息(包顺东，吴毅雄，张轲.双反射镜式激光结构光视觉传感器研究.[硕士论文]上海交通大学，2009，1)。华中科技大学的吴家勇、王平江等人利用远心镜头和线结构光光源，设计了一种拼缝宽度视觉测量系统，提出了基于拼缝灰度统计特征的拼缝信息提取算法，理论上可快速准确地提取出拼缝的宽度及图像坐标下拼缝中心位置(吴家勇，王平江，陈吉红，基于远心镜头的激光焊接拼缝宽度测量系统)。 

综上所述，目前已有不少针对焊缝测量的视觉传感器的研究及相关产品，但前述大多数视觉传感器都是针对弧焊机器人的氩弧焊焊接，其拼缝宽度较宽(一般大于0.5mm)，且接头多为V型。而激光焊接的拼缝多为对接接头，拼缝的宽度窄(对于2mm的薄板，拼缝宽度要求小于0.1mm)，但现在的视觉焊缝检测技术大部分都是基于线结构光的三角测量原理来测量的，对于焊缝很小的对接拼缝，由于结构光三角测量原理或传感器横向分辨率的限制(因为其光学放大倍数小于1，致使狭窄拼缝的几何特征在图像中不能充分地表现出来，导致拼缝中心及宽度检测失败)，目前使用的激光视觉传感器不能稳定、可靠地提取出焊缝的中心位置和拼缝间隙的宽度。 

发明内容

本发明的目的在于提供一种基于微景深的焊接拼缝测量方法，能稳定、可靠的测量出复杂微细焊缝的拼缝中心坐标、宽度以及局部表面的法向矢量，操作简单，检测精度高。 

一种基于微景深的焊接拼缝测量方法，按照以下步骤进行测量： 

(1)将光学倍数大于2的相机相对焊接拼缝局部表面斜放，在两次相机与焊接拼缝局部表面不同间距下对局部表面拍摄，得到两幅图像； 

(2)分别从拍摄的两幅图像中提取清晰带； 

(3)分别获取两清晰带垂直于拼缝方向的中心线上每一像点对应的物点在世界坐标系下的坐标，从而得到世界坐标下的两条直线段； 

(4)利用步骤(3)得到的两条直线段进行平面拟合，即得拼缝局部表面法向矢量值；从其中任一清晰带中提取拼缝局部表面的边界，从而得到拼缝局部表面的宽度以及中心坐标。 

本发明的技术效果体现在： 

本发明提出一种针对错变边量小、缝隙狭窄的对接拼缝几何信息的测量方法——基于微景深的激光焊接对接拼缝测量方法。将相机与待焊工件呈一定角度放置，使相机的微景深中心平面与待焊工件成一个夹角。则待测工件表面与相机的微景深区域将相交为一曲面，此时待焊工件表面与微景深区域相交的部分，才能被相机清晰地拍摄。基于微景深的对接拼缝测量方法拍摄沿拼缝走向(切线方向)相距小距离(1～6mm左右)的两幅图像，分别从拍摄的两幅图像中提取清晰带，然后分别获取两清晰带的中心线上每一点对应的物点在世界坐标系下的坐标，从而得到世界坐标下的两条直线，利用这两条直线进行平面拟合，得到拼缝局部表面法向矢量值；从其中任一清晰带中提取拼缝局部表面的上、下边界，从而得到拼缝局部表面的宽度以及中心。 

本发明鉴于高倍光学放大倍数时成像景深非常浅的现象，将原来高倍光学放大倍数镜头景深太浅、不能进行深度方向检测的缺点，通过将镜头主光轴斜置，在不减少光学放大倍数、且增加测量深度的前提下，转换为高精度测量狭窄拼缝中心位置及宽度，实现在线拼缝的高精度测量。 

附图说明

图1是本发明装置的光路图； 

图2是微景深激光焊接对接拼缝测量系统结构图； 

图3是基于微景深的激光焊接对接拼缝测量原理图； 

图4是微景深相机和LED外部照明装置空间位置的示意图； 

图5是微景深激光焊接对接拼缝局部表面图像； 

图6是微景深激光焊接对接拼缝清晰度灰度图； 

图7是微景深激光焊接对接拼缝清晰区域三条图像带的提取； 

图8是微景深激光焊接对接拼缝图像带拼缝中心和上下界提取方法示意图； 

图9是微景深激光焊接对接拼缝拼缝宽度计算示意图。 

具体实施方式

首先对相关概念进行介绍： 

照相机在聚焦完成后，在焦点前后的范围内都能形成清晰的像，这一前一后的范围，称之为景深。一般的家用相机，其景深是越大越好。如焦距为35mm的镜头，拍摄距离为3m左右时，其景深为0.21m左右，如果拍摄距离为10m时，其景深为无穷大。而当拍摄距离为50mm时，其景深约为3mm；拍摄距离15mm时，其景深约为0.017mm左右，此时的光学放大倍数为2倍。一般来说，光学放大倍数越大，景深越小。因此，本发明将光学放大倍数大于2倍时所形成的景深，称之为微景深。相对于镜头来说，微景深处于镜头前特定的空间区域，称之为微景深区域；与镜头主光轴垂直且穿过微景深区域中心点的平面，称之为微景深中心平面。 

从被测工件表面反射的光线射入凸透镜时，理想的镜头应该是所有的光线聚集在一点后，再以锥状的扩散开来，这个聚集所有光线的一点，就叫做焦点。在焦点前后，光线会有聚集和扩散的现象，使得影像变成模糊的像，从而形成一个扩大的圆，这个圆就叫弥散圆，直径为δ。当这个小弥散圆斑的大小不超过某种限度时，感光胶片上像的清晰度是能满足实际需要的，否则像就模糊不清。 

当相机拍摄一个与相机的微景深中心平面相对平行的物体时，在与物体所在平面相垂直的方向(设为Z轴)微调相机，可得到使物体清晰成像的 Z轴范围，这个范围很小，物体静止时可以很快找到焊缝的清晰范围，但当物体运动需要实时跟踪拍摄，而且实际物体局部之间存在高低不平不在同一平面的情况，为了看到清晰的物体对相机的调整要求很高，这种测量结构实用性上很差。但当相机拍摄一个与相机的微景深中心平面相对倾斜的物体时，为使物体清晰成像，相机在Z轴方向微调范围增大了，若倾斜角为45度，则相机在Z轴方向微调范围增大为原来的 

倍。在当物体运动时，即使物体局部存在高低不同时，由于相机在Z轴方向上的可调范围增大了，操作性和实用性上得到了很大提高。此时物体表面与微景深区域相交于一定带状区域。由光学成像原理可知，只有此带状区域的点才能清晰成像，称此带状区域在图像中的像为清晰带，其余物体表面上的点即使在相机视野内，也会由于景深的原因使其所成之像变得的很模糊，称为模糊区域。 

在实际测量中，虽然相机的微景深区域具有一定厚度，但只要对微景深区域的中心平面进行标定：计算出测量坐标系下微景深中心平面的方程。标定后，如果得到所拍摄图像清晰带中的某一点的图像坐标，计算从这个点发出通过镜头主光点的一条射线与所标定的微景深中心平面的交点，就是所求的图像点对应的三维坐标。因此，图像上清晰部分每一点都与三维世界坐标一一对应，只要知道了图像坐标便可以计算出三维世界坐标。本发明只要得到从图像所提取出的拼缝信息特征的图像坐标，便可得到世界坐标系下拼缝信息。 

下面通过借助实施例更加详细地说明本发明，但以下实施例仅是说明性的，本发明的保护范围并不受这些实施例的限制。 

如图1所示，设照相机的镜头为一汇聚透镜L，其像方焦距为f；与照相机光圈对应的入射光瞳的直径为D；被摄平面∑经精确对焦成像于感光胶片∑′上，其物距和像距分别为S及S′；物点P₁、P₂的像点P₁′、P₂′分别位于感光胶片的前后，其成像光束均在感光胶片上截成一个弥散圆。只有在平 面P前后某一距离内的物体才能在感光胶片上得到一定清晰度的像，这个纵深距离便是景深。 

景深的计算公式为： 

远景深： $\mathrm{\Δ}{S}_1=\frac{\mathrm{dS}(S+f)}{\mathrm{Df}+d(S+f)}$

近景深： $\mathrm{\Δ}{S}_2=\frac{\mathrm{dS}(S+f)}{\mathrm{Df}-d(S+f)}$

景深： $\mathrm{\ΔS}=\mathrm{\Δ}{S}_1+\mathrm{\Δ}{S}_2=\frac{2\mathrm{dDfS}(S+f)}{D^2{f}^2-d^2{(S+f)}^2}=\frac{2\mathrm{dF}{f}^{2}S(S+f)}{f^4-d^2{(S+f)}^2}$

其中：弥散圆斑的直径限度为d；f为镜头焦距；F为照相机的光圈指数，其值为相对孔径 

以物体P平面为界，ΔS₁为远景深，ΔS₂为近景深，总景深为ΔS。 

根据以上公式，当弥散圆直径限度d＝0.01mm，镜头焦距f＝50mm，F＝1.4，光学放大倍数为4倍时，则物距L＝62.5mm，景深为 

$\mathrm{\ΔS}=\frac{2\×0.01\×1.4\×{50}^2\×62.5\×(62.5+50)}{{50}^4-{0.01}^2\×{1.4}^2\×{(6.25+50)}^2}\≈0.079\mathrm{mm}$

从前面的计算可知焦距f＝50mm，F＝1.4，光学放大倍数为4倍时，物体能清晰成像的范围为62.460mm～62.539mm，亦即在与镜头主光点O距离为62.5mm处，有一个厚为0.079mm、且与相机的主光轴垂直的微景深薄平面。在这个薄平面范围内的物体才能被清晰拍摄，不在这个范围内所成的像均是模糊的。 

根据以上原理，本发明所提出的一种针对错边量小的对接拼缝几何信息的测量方法——基于微景深的激光焊接对接拼缝测量方法。由此测量方法可构造出微景深激光焊接对接拼缝测量传感器。 

如图2所示为此方法的测量系统结构，此系统包括CCD/CMOS工业相机1、镜头2和LED外部照明装置3。如图2a所示，将相机与激光焊接对接拼缝5局部表面呈一定角度放置，使相机的微景深区域4与拼缝局部表面成α夹角，则待测工件表面与相机的微景深区域将相交于一曲面，待焊工件与微景深区域相交的部分在相机中才能清晰地被拍摄，其余部分的像将会很模糊；并调整相机与焊接拼缝的相对位置，使拍摄的图像中有清晰区域出现，即微景深区域与拼缝局部表面的相交区域在相机的视野里面(如图2b所示中的矩形ABCD)，且LED外部照明装置照射出的光线应与相机的微景深中心面平行。(其中7为矩形ABCD的局部放大图) 

如图3所示为微景深相机拍摄原理图，当用相机1拍摄一个与相机的微景深区域相对倾斜的待测拼缝5时，拼缝所在表面与微景深区域4相交于一定区域，设此区域中CCD/CMOS相机的视野为矩形ABCD，则ABCD范围内的区域能被清晰拍摄，其余部分即使在相机视野内也会被拍摄得很模糊。若ABCD在相机CCD/CMOS中成像为矩形A′B′C′D′，则在所拍摄的图像中，只有A′B′C′D′范围内的图像才是清晰的，称为清晰带8，其余部分为模糊区域9，4倍放大镜头2，相机主光轴6，清晰区域中的拼缝11。 

如图4是微景深相机1和LED外部照明装置3空间位置的示意图，相机1与待测焊缝5呈一定角度α放置，α＝30°～60°，由物距L＝75mm，相机的镜片2距离镜头为m，则可计算出相机距离焊缝的垂直高度h₁，LED外部照明装置距离焊缝的垂直高度h₂，h₁和h₂在合适范围内，避免1和3与焊缝所在平面接触而损坏装置。 

如图5所示的拼缝图像可看出，拼缝处的灰度跟其他地方相比低很多，根据这个特点，采用灰度统计法来提取拼缝中心和宽度等信息。在提取拼缝信息前，首先要将清晰区域提取出来，本发明采用先对图像中每个像素进行清晰度评价即获得清晰度灰度图后，对清晰度灰度图进行特征提取的方法进行清晰度中心线及清晰带的提取。详细说明如下： 

本发明采用的方法是将M×N像素的图5拼缝原始图片灰度化后，分为 

个大小为n×n像素的子图像，然后分别对每个子图像用清晰度评价函数进行清晰度评价，得到所有子图像的清晰度评价值；将所有子图像的清晰度评价值归一化到0～255，并将每个归一化后的清晰度评价值作为相应的子图像中各个像素的值，最后将所有子图像按原来的位置进行组合，可得到一个M×N像素大小的灰度图，这里称为清晰度灰度图，如图6所示。从图6中可看到清晰带8所对应的区域灰度值较大(即清晰度评价值较大)，而模糊区域9灰度值较小(即清晰度评价值较小)。 

要更好地将清晰带提取出来，选择合适的清晰评价函数是很重要的，本发明将图5的拼缝图像划分为不同大小的子图像，并采用不同清晰度评价函数进行实验，根据实验结果可得出当子图像大小为为8×8，采用方差评价函数对图像进行清晰度进行评价时，评价效果最好，所以本发明采用8×8的子图像大小和方差评价函数对拼缝图像进行清晰度进行评价，评价效果如图6所示。得到图6的清晰度灰度图后，为了减少运算量，根据拼缝图像的特点即拼缝清晰带基本成竖直图像带，从清晰度灰度图中沿水平方向等距截取出一定高度和宽度的若干条图像带，分别提取出各图像带中清晰带中心点的位置，然后对提取到的若干条条图像带的中心点进行直线 拟合，便可得到清晰带中心线10。 

如图3所示当光学放大倍数为4倍时，由于视野很小，约为1.5mm左右，所以在这里的焊缝局部表面可视为小平面，且其与微景深区域4的相交区域近似为平行四边形，因此在所拍到的图像中，清晰带近似为在图像上的水平宽度为D(像素)的平行四边形。而拼缝局部表面与微景深中心面12的交线，在图像中即为清晰带中心线10。因此，从图5提取出清晰带的中心线方程后，从如图3所示的清晰带中心线上的任一点P′发出一条射线，经过镜头的光心后，与微景深中心面12有唯一交点P，这个交点即为清晰带中心线上的点P′所对应的世界坐标系的三维坐标点P。这样就可以求出拼缝局部表面与微景深中心面的交线上所有点的三维坐标。通过拍摄间隔一定距离的两张图像，并分别求得拼缝局部表面与微景深中心平面的交线上一系列点的三维坐标，将两幅图像所获得的点进行平面拟合，即可得到拼缝局部表面法向矢量近似值。 

此前所得到的拼缝图像的清晰区域大约有120个像素，本发明从中提取出3条宽度为16像素的图像带进行分析。 

如图7所示为待分析的拼缝图像带(本发明分别称为左图像带、中间图像带和右图像带)。对三条图像带分别进行分析，可分别得到三条图像带的上下边界和拼缝中心，现以中间图像带为例进行说明，对中间图像带进行灰度化后，在行方向上进行灰度求和，其公式如下： 

$G\left(j\right)=\underset{i=0}{\overset{15}{\mathrm{\Σ}}}g(i,j)$ i＝0，1，…，15；j＝0，1，…，N-1 

其中G(j)为灰度投影值，g(i，j)为图像带在点(i，j)处的灰度值，N为图像带的高度。如图8曲线所示的为以j(j＝0，1，2…N)为纵坐标，灰度投影值G(j) 为横坐标的灰度曲线图。 

获得G(j)后，本发明利用自适应阈值的方法来获得拼缝的上下边界，阈值 具体公式如下所示： 

灰度投影平均值： $I_G^M=\frac{1}{N}\underset{j}{\overset{N-1}{\mathrm{\Σ}}}G\left(j\right)$ j＝0，1，…，N-1 

灰度投影阈值： 

j＝0，1，…，N-1其中，k为0～1的系数，经多次试验，这里取k＝0.4。从G(j)的最小点的位置j_min，往上搜索，第一个满足 

的点即为拼缝的上边界13纵坐标，记为 

从G(j)的最小点的位置j_min，往下搜索，第一个满足 

的点即为拼缝的下边界15纵坐标，记为 

拼缝中心为 

将 

带入清晰带中心线10的方程 

即可求得上下边界以及中心点的横坐标： 

上边界13横坐标 

下边界15纵坐标 

拼缝中心14纵坐标 

这样便可求出拼缝中心点和拼缝上下边界坐标 

同理，求出左图像带的拼缝中心点和拼缝上下边界坐标 

以及右图像带的拼缝中心点和拼缝上下边界坐标 

获得三条图像带的拼缝中心后，就可以求出拼缝的中心坐标 

令拼缝在图像带方向上的宽度为W_S，W_S取三条图像带在图像带方向上的平均值，计算公式为： 

W_S＝(W_左S+W_中S+W_右S)/3 

设θ_LM为左图像带和中间图像带的拼缝中心连线的倾斜角，θ_MR为中间图像带和右图像带的拼缝中心连线的倾斜角，其计算公式如下： 

如图9所示为拼缝宽度计算示意图，区域A为从清晰区域中提取的图像带，记θ为拼缝的倾斜角，θ通过θ_LM和θ_MR的平均值求得： 

θ＝(θ_LM+θ_MR)/2，if|(θ_LM-θ_MR)|＜π/6 

如果在拼缝信息提取过程中没有出现错误的话，在清晰带范围内的拼缝长度大约0.8mm，拼缝的倾斜角应具有一致性，即θ_LM和θ_MR两个倾斜角大小应比较接近，因此加了限制条件|(θ_LM-θ_MR)|＜π/6，若不满足此条件，表明前面的拼缝信息提取出现错误，为本测量方法提供了错误自检功能，实验证明这大大减小了测量出错的可能性。 

如图9所示，在图像坐标下，设图像中心线10的倾斜角为η，η可由清晰带中心线 

的斜率 

得到 

设图像中心线和拼缝的夹角为β，β的计算公式为β＝|θ-η|。因此，在拼缝垂直方向上的拼缝像素宽度W_R计算公式如下： 

W_R＝W_S×sinβ 

以上所述为本发明的一个实施例，但本发明不应该局限于该实施例和附图所公开的内容。所以凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。 

Claims (1)

1.一种基于微景深的焊接拼缝测量方法，按照以下步骤进行测量：

(1)将光学放大倍数大于2的相机相对焊接拼缝局部表面斜放，在两次相机与焊接拼缝局部表面不同间距下对局部表面拍摄，得到两幅图像；

(2)分别从拍摄的两幅图像中提取清晰带，具体为：首先对图像中每个像素进行清晰度评价，获得清晰度灰度图后，对清晰度灰度图采用特征提取的方法提取清晰带；

(3)分别获取两清晰带垂直于拼缝方向的中心线上所有像点对应的物点在世界坐标系下的坐标，从而得到两条直线段；

(4)利用步骤(3)得到的两条直线段进行平面拟合，即得拼缝局部表面法向矢量值；从其中任一清晰带中提取拼缝局部表面的边界，从而得到拼缝局部表面的宽度以及中心坐标。

Images