CN111862181A - 一种缝隙宽度和阶差检测方法 - Google Patents

一种缝隙宽度和阶差检测方法 Download PDF

Info

Publication number
CN111862181A
CN111862181A CN201910337353.3A CN201910337353A CN111862181A CN 111862181 A CN111862181 A CN 111862181A CN 201910337353 A CN201910337353 A CN 201910337353A CN 111862181 A CN111862181 A CN 111862181A
Authority
CN
China
Prior art keywords
point
point cloud
plane
image
welding seam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910337353.3A
Other languages
English (en)
Inventor
夏仁波
赵吉宾
赵亮
陈月玲
于彦凤
付生鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Automation of CAS filed Critical Shenyang Institute of Automation of CAS
Priority to CN201910337353.3A priority Critical patent/CN111862181A/zh
Publication of CN111862181A publication Critical patent/CN111862181A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30152Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种缝隙宽度和阶差检测方法,包括以下步骤:向被测表面投射正弦条纹,左右相机采集调制后的条纹图像,进行相位展开;根据相位和极线约束,双目匹配重建被测表面的三维模型;采集没有投射结构光的被测表面图像并提取焊缝中心线L1;作L1的垂线L2,提取位于L2上的像素点云,获得对应的三维点云P;拟合焊缝一侧平面作为基准面α,计算与基准面α垂直相交于L2的平面β,在平面β上建立局部坐标系,点云数据P投影到平面β并转换到局部坐标系下得到点云数据P″;点云数据P″自适应分割拟合成多条直线段,获得各个直线段的端点;计算缝隙宽度与阶差。本发明可实现焊缝隙宽度和阶差的检测,可以自动对焊缝区域定位测量,测量效率高。

Description

一种缝隙宽度和阶差检测方法
技术领域
本发明涉及自动化检测领域,具体地说是一种缝隙宽度和阶差检测方法。
背景技术
当今社会,随着机械加工、汽车、造船、航空航天等现代制造行业的飞速发展,金属焊接成了生产过程中必不可少的工艺,焊接质量的好坏,直接影响整个产品的质量和生产效率。高度的自动化与智能化将是未来焊接领域的重要发展趋势。
作为焊接过程中的关键问题之一,焊缝检测的精度与速度对焊接质量和焊接效率至关重要。在焊缝检测方面,目前的手工检测方法已经无法满足生产的需要,因此,对自动化检测设备的需求也是越来越迫切。在此背景下,南京航空航天大学、北京航空航天大学的一些研究人员,对基于线结构光的飞机蒙皮对缝阶差与间隙测量技术进行了研究,但是,由于需要手动对焊缝区域进行定位测量,要求投射的结构光与焊缝近似垂直,如果结构光与焊缝夹角过大,则会使测得的结果偏大,因此,对使用者的要求较高,另外,由于无法自动对焊缝区域进行定位,因此,不容易实现自动化测量。南京航空航天大学的严成等开发了一套基于三维激光扫描的对缝检测设备,避免了线结构光方法中结构光与焊缝不垂直时对测量结果所造成的影响,但是由于该设备所用的扫描仪实际上仍为二维线结构光扫描仪,需要附加跟踪设备对扫描仪进行实时跟踪,因此,成本比较高,不利于推广使用。上述实际问题,对焊缝的宽度与阶差检测技术提出了新的需求。
发明内容
本发明要解决的技术问题是提供一种缝隙宽度和阶差检测方法,通过双目视觉与投影仪结合,向被测件表面投射光栅图像,采集图像,自动对焊缝区域进行定位测量,并且一次测量即可完成视场内所有焊缝的分析。
本发明为实现上述目的所采用的技术方案是:一种缝隙宽度和阶差检测方法,包括以下步骤:
采集未投射任何结构光的被测工件表面图像获得焊缝位置,并提取焊缝中心线L1;
在焊缝中心线L1上作L1的垂线L2,在图像上沿该垂线方向提取位于垂线上的像素点云,获得对应的三维点云数据P;
拟合焊缝一侧平面作为基准面α,计算与基准面α垂直且交线为L2的平面β,在平面β上建立局部坐标系,三维点云数据P投影到平面β得到点云数据P′,P′转换到局部坐标系下得到点云数据P″;
点云数据P″分割拟合成多条直线段,获得各个直线段的端点;
分析直线段分割结果,获得焊缝真实边缘点,计算缝隙宽度与阶差。
采集未投射任何结构光的被测工件表面图像获得焊缝位置之前,预先获取被测工件表面的三维点云模型,包括以下步骤:
向被测工件表面投射正弦条纹,面向工件的左、右相机同时采集条纹图像,对条纹图像进行相位展开;
根据相位和极线约束,对左、右相机分别采集的左、右图像进行匹配,重建出被测工件表面的三维点云模型,并建立了左、右图像匹配的像素点与三维点云模型的对应关系T。
所述采集未投射任何结构光的被测工件表面图像获得焊缝位置,并提取焊缝中心线L1,具体为:分别通过左、右相机采集未投射任何结构光的被测工件表面的左、右图像,对左、右图像中分别执行以下步骤:
对图像进行二值化,得到焊缝位置;
然后对图像通过Hessian矩阵得到焊缝的法线方向,在法线方向利用泰勒展开得到亚像素位置即焊缝中心线L1。
所述对图像通过Hessian矩阵得到焊缝的法线方向,在法线方向利用泰勒展开得到亚像素位置即焊缝中心线L1,包括以下步骤:
对于图像中焊缝上的任意一点(x,y),Hessian矩阵为:
Figure BDA0002039586240000031
其中τxx表示图像沿x的二阶偏导数,τxy表示图像沿x的一阶偏导再沿y的偏导数,τyy表示图像沿y的二阶偏导数;
Hessian矩阵最大特征值对应的特征向量(nx,ny)对应于焊缝区域的法线方向,遍历焊缝区域像素点,以焊缝上的任意点(x0,y0)为基准点,则该点对应的焊缝中心的亚像素级坐标为:
(px,py)=(x0+t*nx,y0+t*ny) (2)
其中
Figure BDA0002039586240000032
其中,τx表示图像沿x的一阶偏导数,τy表示图像沿y的一阶偏导数。
如果式(2)中(t*nx,t*ny)∈[-0.5,0.5]×[-0.5,0.5],即一阶导数为零的点位于当前像素内,且(nx,ny)方向的二阶导数大于阈值,则点(x0,y0)为焊缝的中心点像素坐标,(px,py)则为焊缝的亚像素坐标,即焊缝中心线L1。
所述在焊缝中心线L1上作L1的垂线L2,在图像上沿该垂线方向提取位于垂线上的像素点云,获得对应的三维点云数据P,具体为:
分别对于左、右图像,在焊缝中心线L1上作垂线L2,沿其垂线L2方向取位于垂线L2上的像素点,二维点云Q;
通过像素点与三维点云模型的对应关系T,可以得到二维点云Q对应的三维点云P={P1,P2,...Pn},n表示自然数。
所述拟合焊缝一侧平面作为基准面α,计算与基准面α垂直且交线为L2的平面β,在平面β上建立局部坐标系,点云数据P投影到平面β得到点云数据P′,P′转换到局部坐标系下得到点云数据P″,包括以下步骤:
在焊缝任一侧取部分三维点云数据,进行空间平面拟合,得到的拟合平面为基准面α,其表达式为:
A1x+B1y+C1z+D1=0 (4)
其中,A1、B1、C1、D1是基准面α的方程系数,其法向量为[A1B1C1];P中的点位于与基准面α垂直且交线为L2的平面β上,则平面β满足下式:
Figure BDA0002039586240000041
其中,A2、B2、C2、D2是平面β的方程系数,[A2B2C2]为平面β的法向量,将P中的点的云数据代入式(5)中,得到线性方程组,采用最小二乘法求解得A2、B2、C2的值;
将点云数据P投影到平面β上,记投影点为P′,在平面β上建立局部坐标系,使其坐标原点位于平面β上,z轴垂直于平面β,将P′中的点变换到局部坐标系下,记变换后的点为P″,P″中点的z坐标值均为0。
所述点云数据P″分割拟合成多条直线段,获得各个直线段的端点,包括以下步骤:
点云数据P″是在平面β建立局部坐标系下的3D点云,表示为(xi,yi,0),i=1,2,...n,n表示自然数,i是点的索引;在平面β上,对P″中的点进行线段分段拟合,如下式所示,
Figure BDA0002039586240000042
其中ki、bi是拟合线段的系数,m表示分段的数量,fi(x)表示每段线段的直线方程,i=1,2...m;x1、xr、xs、xt、xn分别表示直线段的x方向的定义域;
对于焊缝两侧中的每侧,从距离焊缝中心线距离最远的线段开始,依次计算相邻两条线段之间的夹角;若夹角大于等于阈值θ,则这两条线段属于同一条直线段,将这两条线段合并;当某相邻两条线段间夹角小于θ时,则此时直线段为一条直线段;遍历所有线段,最终获得多条直线段以及各直线段的端点。
所述分析直线段分割结果,获得焊缝真实边缘点,计算缝隙宽度与阶差,包括以下步骤:
多条直线段包括AC、CD、DE、EF、FG、GH、HI,其中AC、HI是焊缝两侧平面上的直线段,CD、GH为焊缝与焊缝两侧平面接触的圆弧过渡的直线段,EF是焊缝的直线段;
将焊缝两侧平面与焊缝交点D、G分别投影到AC与HI上,得到投影点D′、G′,即焊缝两侧平面与焊缝的真实边缘点;焊缝阶差flush如下:
Figure BDA0002039586240000051
Figure BDA0002039586240000052
Figure BDA0002039586240000053
其中,dD′为点D′到HI的距离,dG′为点G′到AC的距离;A3、B3、C3为直线段HI的方程系数,A4、B4、C4为直线段AC的方程系数,xD′、yD′是点D′的x、y坐标,xG′、yG′是点G′的x、y坐标;
缝宽gap如下:
Figure BDA0002039586240000054
Figure BDA0002039586240000055
Figure BDA0002039586240000056
其中,dD为点D到GG’的距离,dG为点G到DD’的距离,A5、B5、C5与A6、B6、C6分别为直线段GG’与DD’的直线段方程的系数,xD、yD是点D的x、y坐标,xG、yG是点G的x、y坐标。
本发明具有以下有益效果及优点:
1.本发明方法为焊缝宽度和阶差检测提供了一种新的技术手段,具有精度高、效率高和易于实现自动等优点,有利于促进我国航空工业薄壁件焊缝检测智能化、自动化水平的提升。
2.本发明提出基于双目视觉与面结构光相结合的接缝检测方法,相对于线结构光扫描,所提方法可实现接缝区域的自动定位与分析,并且一次测量即可完成视场内所有接缝的分析,效率较高。
3.本发明可以适用于有倒角缝隙、无倒角缝隙的检测,提供了一种适用于航空航天等制造领域结构件焊缝检测的新途径。
附图说明
图1为本发明方法的流程图;
图2为本发明方法采用的硬件系统构成图;
图3为本发明方法的点云采样模型图;
图4为本发明方法的点云数据图;
图5a为本发明方法的标准件图片;
图5b为本发明方法的标准件扫描点云数据图;
图6为本发明方法在焊缝不同位置对2mm缝宽0mm阶差的标准件进行15次焊缝测量结果图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
如图1-图2所示,本发明一种缝隙宽度和阶差检测方法包括如下步骤:
向被测工件表面投射一系列正弦条纹,左右相机同时采集经表面调制后的条纹图像,对条纹图像进行相位展开;
根据相位和极线约束,进行左右图像匹配,采用双目立体视觉原理重建出被测工件表面的三维点云模型;
采集没有投射结构光的被测工件表面图像并提取焊缝中心线L1;
在焊缝的图像中心线L1上,作L1的垂线L2,在图像上沿该垂线方向提取位于垂线上的像素点云,通过对应关系获得对应的三维点云P;
拟合焊缝一侧平面作为基准面α,计算与基准面α垂直且交线为L2的平面β,在平面β上建立局部坐标系,点云数据P投影到平面β得到点云数据P′,P′转换到局部坐标系下得到点云数据P″;点云数据P″自适应分割拟合成多条直线段,获得各个直线段的端点;分析直线段分割结果,获得焊缝真实边缘点,计算缝隙宽度与阶差。以下就上述的几个关键步骤作详细说明:
1.向被测工件表面投射一系列正弦条纹,左右相机同时采集经表面调制后的条纹图像,对条纹图像进行相位展开:
投影仪生成3组每组4幅合计12幅标准正弦分布的光栅条纹图像投射到被测工件表面,左右相机采集调制后的条纹图像可表示成公式(1),
Figure BDA0002039586240000071
其中,m=1、2、3,m表示图像组索引,i=1、2、3、4,i表示每组图像内的图像系列索引,I′(x,y)是背景光光强,I″(x,y)为物体表面反射率,δmi为图像相位移,
Figure BDA0002039586240000072
为相对相位;
Figure BDA0002039586240000073
Figure BDA0002039586240000074
对应的波长分别为λ1、λ2和λ3
采集到的图像相位展开如下:
运用公式(2)分别计算出3组条纹图像的相对相位
Figure BDA0002039586240000075
Figure BDA0002039586240000076
Figure BDA0002039586240000077
其中,m=1,2,3,
Figure BDA0002039586240000078
被反正切函数截断在[-π,π]内,在测量空间不连续。
a.采用双频叠加法运用公式(3)对相对相位
Figure BDA0002039586240000079
Figure BDA00020395862400000710
进行叠加得到相对相位差
Figure BDA00020395862400000711
Figure BDA00020395862400000712
相对相位
Figure BDA00020395862400000713
对应的波长为:
Figure BDA00020395862400000714
b.同理,运用公式(5)对相对相位
Figure BDA00020395862400000715
叠加得到相对相位差
Figure BDA00020395862400000716
Figure BDA0002039586240000081
相对相位
Figure BDA0002039586240000082
对应的波长为:
Figure BDA0002039586240000083
c.同理,运用公式(7)对相对相位差
Figure BDA0002039586240000084
叠加得到相对相位差
Figure BDA0002039586240000085
Figure BDA0002039586240000086
d.对相对相位差
Figure BDA0002039586240000087
展开,得到绝对相位Φ123(x,y),如(8)
Figure BDA0002039586240000088
其中,INT表示取整。
2.根据相位和极线约束,进行左右图像匹配,采用双目立体视觉原理重建出被测工件表面的三维点云模型:
设P2为右图像中的任一点,绝对相位值为ΦP2,Lleft为P2在左图像中对应的对极线,则P2在左图像中的匹配点P1应位于Lleft上,且该匹配点P1的相位值ΦP1与P2的相位值ΦP2的差值的绝对值最小,则P2和P1是匹配点;其中,P1、P2的x、y坐标分别带入公式(8)中,ΦP1和ΦP2为按照公式(8)绝对相位Φ123(x,y)的计算得到。
完成左右图像匹配之后,依据双目立体视觉原理重建得到被测工件表面的三维点云模型,同时建立了左、右图像匹配像素点与三维点的对应关系T。
3.对于左、右相机分别采集的左、右图像,分别提取焊缝中心线L1:
采用经典的Steger算法提取焊缝中心线,Steger算法基于Hessian矩阵,能够实现光条中心亚像素精度定位:首先图像高斯滤波,再通过Hessian矩阵能够得到光条的法线方向,然后在法线方向利用泰勒展开得到亚像素位置。
对于图像中焊缝区域上的任意一点(x,y),Hessian矩阵可以表示为:
Figure BDA0002039586240000091
其中τxx表示图像沿x的二阶偏导数,τxy表示图像沿x的一阶偏导再沿y的偏导数,τyy表示图像沿y的二阶偏导数。
Hessian矩阵最大特征值对应的特征向量对应于焊缝的法线方向,用(nx,ny)表示,遍历焊缝像素点,以焊缝上的任意点(x0,y0)为基准点,则该点对应的焊缝中心的亚像素级坐标为:
(px,py)=(x0+t*nx,y0+t*ny) (10)
其中
Figure BDA0002039586240000092
其中τx表示图像沿x的一阶偏导数,τy表示图像沿y的一阶偏导数。
如果式(10)中(t*nx,t*ny)∈[一0.5,0.5]×[一0.5,0.5],即一阶导数为零的点位于当前像素内,且(nx,ny)方向的二阶导数大于指定的阈值,则该点(x0,y0)为焊缝的中心点,(px,py)则为亚像素坐标。
4.对于左图像或右图像,在焊缝的中心线L1上,作L1的垂线L2,在图像上沿该垂线方向提取位于垂线上的像素点云;通过对应关系获得对应的三维点云P:
在图像中自动定位出焊缝中心线L1后,在L1上任意点作垂线L2,沿其垂线L2方向取位于垂线L2上的像素点,构成二维点云Q,通过像素点与三维点的对应关系T,可以得到二维点云Q对应的三维点云P,如图3中红色空心圆所示,记这列点云数据为P={P1,P2,...Pn},n表示自然数。
5.拟合焊缝一侧平面作为基准面α,计算与基准面α垂直且交线为L2的平面β,在平面β上建立局部坐标系,点云数据P投影到平面β得到点云数据P′,P′转换到局部坐标系下得到点云数据P″:
在焊缝一侧取一部分三维点云数据,进行空间平面拟合,记拟合平面为基准面α,如图3所示,其表达式为:
A1x+B1y+C1z+D1=0 (12)
其中,A1、B1、C1、D1是基准面α的方程系数,其法向量为[A1B1C1]。P中点理论上应该位于与基准面α垂直且交线为L2的平面β上,则平面β应满足下式:
Figure BDA0002039586240000101
其中,A2、B2、C2、D2是平面β的方程系数,[A2B2C2]为平面β的法向量,将P中点云数据代入式(13)中,可得到线性方程组,采用最小二乘法,对其进行求解,可求得A2、B2、C2的值。
将点云P投影到平面β上,记投影点为P′,在平面β上建立参考坐标系,使其坐标原点位于平面上,z轴垂直于平面,将P′中的点变换到参考坐标系下,记变换后的点为P″,则P″中点的z坐标值均为0,变换后的点如图4所示。
6.点云数据P″自适应分割拟合成多条直线段,获得各个直线段的端点:
点云P″是在平面β建立局部坐标系下的3D点云,可表示为(xi,yi,0),i=1,2,...n,在平面β上直线拟合点云P″,可以抽象为二维直线拟合问题。对P″中的点进行自适应分段直线拟合,如下式所示,
Figure BDA0002039586240000102
其中ki、bi是拟合直线的系数,m表示分段的数量,由算法自动确定,fi(x),i=1,2...m表示每段的直线方程。
对图4的点云进行分段直线拟合,将点云分为了AB、BC、...HI共八段。
为了确定焊缝两侧两条直线段的终点,从直线AB开始,依次计算两条相邻直线之间的夹角,若夹角大于阈值θ,则认为这两条直线属于同一条直线,将这两条直线合并,并依次计算下一个夹角,直到夹角小于θ为止,则该点可认为是直线段的终点。如图4所示,设θ=160°,∠ABC>160°,∠BCD>160°,因此,点C为左侧直线段的终点,将AB与BC点云合并并重新拟合为直线AC,则AC为焊缝的左侧直线段。同理,可得HI为焊缝的右侧直线段,H为直线段终点。
7.分析直线段分割结果,获得焊缝真实边缘点,计算缝隙宽度与阶差:
直线段分割把之前AB、BC、...HI的八段分割拟合成AC、CD、DE、EF、FG、HI的六段,其中AC、HI是焊缝两侧平面上的直线段,EF是焊缝的直线段。由于被测件焊缝的边界区域存在倒角,因此,在接缝周围的点云数据会存在一定的圆弧过渡,即CD、GH段。
如图4,对于左侧边缘点,由于存在倒角引起的圆弧过渡CD、GH段,因此可认为端点D是左侧平面与焊缝的交点,端点G是右侧平面与焊缝的交点。
理论上的阶差为接缝两边两条平行直线的距离,但是在实际测量中,由于AC与HI并不严格平行,因此,无法直接计算两条直线之间的距离。将焊缝两端平面与焊缝交点D与G分别投影到AC与HI上,得到点D′、G′,定义焊缝处的阶差为下式所示:
Figure BDA0002039586240000111
Figure BDA0002039586240000112
Figure BDA0002039586240000113
其中dD′与dG′分别为点D′与点G′到HI与AC的距离,A3、B3、C3为直线HI的方程系数,A4、B4、C4为直线AC的方程系数,xD′、yD′是点D′的x、y坐标,xG′、yG′是点G′的x、y坐标,阶差flush定义为两距离的平均值。
由于D′与G′分别为点D与点G的投影点,因此,DD′⊥AC,GG′⊥HI。则缝宽的定义如下式所示:
Figure BDA0002039586240000121
Figure BDA0002039586240000122
Figure BDA0002039586240000123
其中dD与dG分别为点D与点G到GG′与DD′的距离,A5、B5、C5与A6、B6、C6分别为直线GG′与DD′的方程的系数,xD、yD点D的x、y坐标,xG、yG点G的x、y坐标,gap定义为两距离的平均值。
如图5a是带有焊缝的被测工件实物图、图5b所示是对应的点云图像。如图6所示是本发明方法在焊缝不同位置对2mm缝宽0mm阶差的标准件进行15次焊缝测量结果图,横坐标表示第i次测量,
Figure BDA0002039586240000124
综上所述,本发明方法提供了一种新的缝隙宽度和阶差检测手段,具有精度高、效率快的特点,具有广泛的应用前景。

Claims (8)

1.一种缝隙宽度和阶差检测方法,其特征在于,包括以下步骤:
采集未投射任何结构光的被测工件表面图像获得焊缝位置,并提取焊缝中心线L1;
在焊缝中心线L1上作L1的垂线L2,在图像上沿该垂线方向提取位于垂线上的像素点云,获得对应的三维点云数据P;
拟合焊缝一侧平面作为基准面α,计算与基准面α垂直且交线为L2的平面β,在平面β上建立局部坐标系,三维点云数据P投影到平面β得到点云数据P′,P′转换到局部坐标系下得到点云数据P″;
点云数据P″分割拟合成多条直线段,获得各个直线段的端点;
分析直线段分割结果,获得焊缝真实边缘点,计算缝隙宽度与阶差。
2.根据权利要求1所述的一种缝隙宽度和阶差检测方法,其特征在于,采集未投射任何结构光的被测工件表面图像获得焊缝位置之前,预先获取被测工件表面的三维点云模型,包括以下步骤:
向被测工件表面投射正弦条纹,面向工件的左、右相机同时采集条纹图像,对条纹图像进行相位展开;
根据相位和极线约束,对左、右相机分别采集的左、右图像进行匹配,重建出被测工件表面的三维点云模型,并建立了左、右图像匹配的像素点与三维点云模型的对应关系T。
3.根据权利要求1所述的一种缝隙宽度和阶差检测方法,其特征在于,所述采集未投射任何结构光的被测工件表面图像获得焊缝位置,并提取焊缝中心线L1,具体为:分别通过左、右相机采集未投射任何结构光的被测工件表面的左、右图像,对左、右图像中分别执行以下步骤:
对图像进行二值化,得到焊缝位置;
然后对图像通过Hessian矩阵得到焊缝的法线方向,在法线方向利用泰勒展开得到亚像素位置即焊缝中心线L1。
4.根据权利要求3所述的一种缝隙宽度和阶差检测方法,其特征在于,所述对图像通过Hessian矩阵得到焊缝的法线方向,在法线方向利用泰勒展开得到亚像素位置即焊缝中心线L1,包括以下步骤:
对于图像中焊缝上的任意一点(x,y),Hessian矩阵为:
Figure FDA0002039586230000021
其中τxx表示图像沿x的二阶偏导数,τxy表示图像沿x的一阶偏导再沿y的偏导数,τyy表示图像沿y的二阶偏导数;
Hessian矩阵最大特征值对应的特征向量(nx,ny)对应于焊缝区域的法线方向,遍历焊缝区域像素点,以焊缝上的任意点(x0,y0)为基准点,则该点对应的焊缝中心的亚像素级坐标为:
(px,py)=(x0+t*nx,y0+t*ny) (2)
其中
Figure FDA0002039586230000022
其中,τx表示图像沿x的一阶偏导数,τy表示图像沿y的一阶偏导数。
如果式(2)中(t*nx,t*ny)∈[-0.5,0.5]×[-0.5,0.5],即一阶导数为零的点位于当前像素内,且(nx,ny)方向的二阶导数大于阈值,则点(x0,y0)为焊缝的中心点像素坐标,(px,py)则为焊缝的亚像素坐标,即焊缝中心线L1。
5.根据权利要求1所述的一种缝隙宽度和阶差检测方法,其特征在于,所述在焊缝中心线L1上作L1的垂线L2,在图像上沿该垂线方向提取位于垂线上的像素点云,获得对应的三维点云数据P,具体为:
分别对于左、右图像,在焊缝中心线L1上作垂线L2,沿其垂线L2方向取位于垂线L2上的像素点,二维点云Q;
通过像素点与三维点云模型的对应关系T,可以得到二维点云Q对应的三维点云P={P1,P2,…Pn},n表示自然数。
6.根据权利要求1所述的一种缝隙宽度和阶差检测方法,其特征在于,所述拟合焊缝一侧平面作为基准面α,计算与基准面α垂直且交线为L2的平面β,在平面β上建立局部坐标系,点云数据P投影到平面β得到点云数据P′,P′转换到局部坐标系下得到点云数据P″,包括以下步骤:
在焊缝任一侧取部分三维点云数据,进行空间平面拟合,得到的拟合平面为基准面α,其表达式为:
A1x+B1y+C1z+D1=0 (4)
其中,A1、B1、C1、D1是基准面α的方程系数,其法向量为[A1 B1 C1];P中的点位于与基准面α垂直且交线为L2的平面β上,则平面β满足下式:
Figure FDA0002039586230000031
其中,A2、B2、C2、D2是平面β的方程系数,[A2 B2 C2]为平面β的法向量,将P中的点的云数据代入式(5)中,得到线性方程组,采用最小二乘法求解得A2、B2、C2的值;
将点云数据P投影到平面β上,记投影点为P',在平面β上建立局部坐标系,使其坐标原点位于平面β上,z轴垂直于平面β,将P'中的点变换到局部坐标系下,记变换后的点为P″,P″中点的z坐标值均为0。
7.根据权利要求1所述的一种缝隙宽度和阶差检测方法,其特征在于,所述点云数据P″分割拟合成多条直线段,获得各个直线段的端点,包括以下步骤:
点云数据P″是在平面β建立局部坐标系下的3D点云,表示为(xi,yi,0),i=1,2,…n,n表示自然数,i是点的索引;在平面β上,对P″中的点进行线段分段拟合,如下式所示,
Figure FDA0002039586230000032
其中ki、bi是拟合线段的系数,m表示分段的数量,fi(x)表示每段线段的直线方程,i=1,2…m;x1、xr、xs、xt、xn分别表示直线段的x方向的定义域;
对于焊缝两侧中的每侧,从距离焊缝中心线距离最远的线段开始,依次计算相邻两条线段之间的夹角;若夹角大于等于阈值θ,则这两条线段属于同一条直线段,将这两条线段合并;当某相邻两条线段间夹角小于θ时,则此时直线段为一条直线段;遍历所有线段,最终获得多条直线段以及各直线段的端点。
8.根据权利要求1所述的一种缝隙宽度和阶差检测方法,其特征在于,所述分析直线段分割结果,获得焊缝真实边缘点,计算缝隙宽度与阶差,包括以下步骤:
多条直线段包括AC、CD、DE、EF、FG、GH、HI,其中AC、HI是焊缝两侧平面上的直线段,CD、GH为焊缝与焊缝两侧平面接触的圆弧过渡的直线段,EF是焊缝的直线段;
将焊缝两侧平面与焊缝交点D、G分别投影到AC与HI上,得到投影点D'、G',即焊缝两侧平面与焊缝的真实边缘点;焊缝阶差flush如下:
Figure FDA0002039586230000041
Figure FDA0002039586230000042
Figure FDA0002039586230000043
其中,dD'为点D'到HI的距离,dG'为点G'到AC的距离;A3、B3、C3为直线段HI的方程系数,A4、B4、C4为直线段AC的方程系数,xD'、yD′是点D′的x、y坐标,xG′、yG′是点G′的x、y坐标;
缝宽gap如下:
Figure FDA0002039586230000051
Figure FDA0002039586230000052
Figure FDA0002039586230000053
其中,dD为点D到GG′的距离,dG为点G到DD′的距离,A5、B5、C5与A6、B6、C6分别为直线段GG′与DD′的直线段方程的系数,xD、yD是点D的x、y坐标,xG、yG是点G的x、y坐标。
CN201910337353.3A 2019-04-25 2019-04-25 一种缝隙宽度和阶差检测方法 Withdrawn CN111862181A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910337353.3A CN111862181A (zh) 2019-04-25 2019-04-25 一种缝隙宽度和阶差检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910337353.3A CN111862181A (zh) 2019-04-25 2019-04-25 一种缝隙宽度和阶差检测方法

Publications (1)

Publication Number Publication Date
CN111862181A true CN111862181A (zh) 2020-10-30

Family

ID=72952362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910337353.3A Withdrawn CN111862181A (zh) 2019-04-25 2019-04-25 一种缝隙宽度和阶差检测方法

Country Status (1)

Country Link
CN (1) CN111862181A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112833849A (zh) * 2021-01-19 2021-05-25 中国航空制造技术研究院 焊接变形测量方法
CN112862794A (zh) * 2021-02-20 2021-05-28 河北工业大学 一种基于结构光的角焊缝外观检测方法
CN112884750A (zh) * 2021-03-04 2021-06-01 湖州点彩智能科技有限公司 一种基于gpu的素色织物折痕提取方法
CN112950627A (zh) * 2021-04-01 2021-06-11 上海柏楚电子科技股份有限公司 用于激光切割的检测及控制方法和系统
CN113160415A (zh) * 2021-03-22 2021-07-23 山东大学 基于三维视觉信息的网格结构工件焊缝定位方法及系统
CN113469968A (zh) * 2021-06-29 2021-10-01 湖北中烟工业有限责任公司 一种卷烟包装盒盒缝高度差检测方法、装置及电子设备
CN113533498A (zh) * 2021-07-26 2021-10-22 成都盛锴科技有限公司 自动化涡流探伤系统的焊缝检测定位方法及定位装置
CN114577131A (zh) * 2022-02-17 2022-06-03 湖南视比特机器人有限公司 一种基于3d结构光相机的车身间隙检测方法及系统
CN114627177A (zh) * 2022-03-25 2022-06-14 南京航空航天大学 一种基于图像分割的飞机蒙皮间隙与阶差测量方法
CN114789798A (zh) * 2022-06-27 2022-07-26 成都飞机工业(集团)有限责任公司 一种飞机舱门阶差预测方法、装置、设备及介质
CN116503409A (zh) * 2023-06-28 2023-07-28 矽瞻科技(成都)有限公司 一种焊缝缺陷3d点云检测方法、设备和介质
CN117783147A (zh) * 2024-02-27 2024-03-29 宁德时代新能源科技股份有限公司 焊接检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张洪瑶;李论: "基于机器人—扫描仪测量的蒙皮对缝检测技术研究", 《工具技术》, vol. 52, no. 8, pages 121 - 125 *
陈松林;夏仁波: "基于光栅投影测量的蒙皮对缝检测技术研究", 《数字化测量》, vol. 61, no. 5, pages 32 - 36 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112833849B (zh) * 2021-01-19 2022-08-09 中国航空制造技术研究院 焊接变形测量方法
CN112833849A (zh) * 2021-01-19 2021-05-25 中国航空制造技术研究院 焊接变形测量方法
CN112862794A (zh) * 2021-02-20 2021-05-28 河北工业大学 一种基于结构光的角焊缝外观检测方法
CN112884750A (zh) * 2021-03-04 2021-06-01 湖州点彩智能科技有限公司 一种基于gpu的素色织物折痕提取方法
CN112884750B (zh) * 2021-03-04 2022-03-25 湖州点彩智能科技有限公司 一种基于gpu的素色织物折痕提取方法
CN113160415A (zh) * 2021-03-22 2021-07-23 山东大学 基于三维视觉信息的网格结构工件焊缝定位方法及系统
CN112950627A (zh) * 2021-04-01 2021-06-11 上海柏楚电子科技股份有限公司 用于激光切割的检测及控制方法和系统
CN113469968A (zh) * 2021-06-29 2021-10-01 湖北中烟工业有限责任公司 一种卷烟包装盒盒缝高度差检测方法、装置及电子设备
CN113533498A (zh) * 2021-07-26 2021-10-22 成都盛锴科技有限公司 自动化涡流探伤系统的焊缝检测定位方法及定位装置
CN114577131A (zh) * 2022-02-17 2022-06-03 湖南视比特机器人有限公司 一种基于3d结构光相机的车身间隙检测方法及系统
CN114627177A (zh) * 2022-03-25 2022-06-14 南京航空航天大学 一种基于图像分割的飞机蒙皮间隙与阶差测量方法
CN114627177B (zh) * 2022-03-25 2022-11-22 南京航空航天大学 一种基于图像分割的飞机蒙皮间隙与阶差测量方法
CN114789798A (zh) * 2022-06-27 2022-07-26 成都飞机工业(集团)有限责任公司 一种飞机舱门阶差预测方法、装置、设备及介质
CN114789798B (zh) * 2022-06-27 2022-10-25 成都飞机工业(集团)有限责任公司 一种飞机舱门阶差预测方法、装置、设备及介质
CN116503409A (zh) * 2023-06-28 2023-07-28 矽瞻科技(成都)有限公司 一种焊缝缺陷3d点云检测方法、设备和介质
CN116503409B (zh) * 2023-06-28 2023-09-12 矽瞻科技(成都)有限公司 一种焊缝缺陷3d点云检测方法、设备和介质
CN117783147A (zh) * 2024-02-27 2024-03-29 宁德时代新能源科技股份有限公司 焊接检测方法及系统

Similar Documents

Publication Publication Date Title
CN111862181A (zh) 一种缝隙宽度和阶差检测方法
Wang et al. A robust weld seam recognition method under heavy noise based on structured-light vision
CN109596059B (zh) 一种基于平行线结构光的飞机蒙皮间隙与阶差测量方法
Zhou et al. Rail profile measurement based on line-structured light vision
CN107876970A (zh) 一种机器人多层多道焊接焊缝三维检测及焊缝拐点识别方法
CN112629441B (zh) 3d曲面玻璃轮廓扫描检测方法及系统
CN110702025B (zh) 一种光栅式双目立体视觉三维测量系统及方法
CN110298853A (zh) 面差视觉检测方法
Ahmed et al. Pothole 3D reconstruction with a novel imaging system and structure from motion techniques
CN110530278A (zh) 利用多线结构光测量间隙面差的方法
CN107063130A (zh) 一种基于光栅投影三维重构的工件自动焊接方法
Zou et al. Research on 3D curved weld seam trajectory position and orientation detection method
Cheng et al. An effective coaxiality measurement for twist drill based on line structured light sensor
CN103615985A (zh) 一种基于三维扫描数据的转向节直径测量方法
CN113587852A (zh) 一种基于改进三步相移的彩色条纹投影三维测量方法
CN114252020B (zh) 一种多工位全场条纹图相移辅助散斑大长宽比间隙测量方法
Fang et al. A vision-based method for narrow weld trajectory recognition of arc welding robots
Sun et al. A new single-view 3D pantograph reconstruction aided by prior CAD model
CN205607332U (zh) 基于机器视觉的桥式起重机桥架跨度测量装置
Goldan et al. As-built product modeling and reverse engineering in shipbuilding through combined digital photogrammetry and CAD/CAM technology
CN115222893A (zh) 基于结构光测量的大尺寸构件三维重建拼接方法
CN115560695A (zh) 一种平面镜的无重叠视场的线结构光视觉传感器全局标定方法
Yan et al. Rapid detection of weld contour based on compound vision of projection structured light and shape from shading
CN107941147B (zh) 大型系统三维坐标非接触在线测量方法
Huang et al. Weld line detection using realsense depth camera based on depth map

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201030