CN110425998B - 灰度图像耦合特征点高度的构件三维测量方法 - Google Patents

灰度图像耦合特征点高度的构件三维测量方法 Download PDF

Info

Publication number
CN110425998B
CN110425998B CN201910487872.8A CN201910487872A CN110425998B CN 110425998 B CN110425998 B CN 110425998B CN 201910487872 A CN201910487872 A CN 201910487872A CN 110425998 B CN110425998 B CN 110425998B
Authority
CN
China
Prior art keywords
grid
image
laser
height
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910487872.8A
Other languages
English (en)
Other versions
CN110425998A (zh
Inventor
李志勇
贾娜娜
高亚峰
斛晓飞
杨康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North University of China
Original Assignee
North University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North University of China filed Critical North University of China
Priority to CN201910487872.8A priority Critical patent/CN110425998B/zh
Publication of CN110425998A publication Critical patent/CN110425998A/zh
Application granted granted Critical
Publication of CN110425998B publication Critical patent/CN110425998B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种灰度图像耦合特征点高度的构件三维测量方法,是拍摄构件表面图像,经灰度化得到灰度矩阵,再通过结构光三角测量方法测量构件表面特定点的高度值,将构件表面分成若干区域,取一个区域内特定点高度值与灰度图像对应点的灰度值耦合,得到该区域高度值与灰度值间的拟合关系式,结合区域内所有点的灰度值计算出所有点的高度值,拟合得到该区域的表面三维轮廓,重复上述步骤获得所有区域的表面三维轮廓,整合后得到待测构件表面的三维图像。本发明仅需固定位置两次成像,基于灰度图像纹理信息,并耦合特征点高度信息,即可实现工业构件表面三维轮廓的快速测量。

Description

灰度图像耦合特征点高度的构件三维测量方法
技术领域
本发明属于工业构件三维测量技术领域。具体涉及一种采用灰度图像拟合特定点高度信息,对工业构件表面进行精确三维测量的方法。
背景技术
随着科学技术的快速发展与进步,在电子装配、车船制造、航空航天、军事国防等行业和领域中,生产制造与工程测量都对三维测量提出了明确要求。例如在3D打印、工业结构件逆向设计和加工中,需要对构件的三维形状、表面粗糙度、纹理等进行精确测量。
三维测量方法包括接触式测量和非接触式测量。其中,基于光电技术的非接触式测量方法结合了光电子学、数字图像处理等技术,具备检测方便、精度较高等优点。目前,双目机器视觉方法和三维激光扫描方法在工业中得到重视。三维激光扫描方法是通过激光高速扫描记录物体表面信息,提供被测物体表面的三维点云数据。双目机器视觉方法则由不同位置的两台摄像机同时拍摄同一场景,获取在不同视角下的感知图像,基于三角测量原理得到空间三维坐标值。
三维激光扫描方法要求激光扫描通过整个被测试件表面,移动过程易于造成测量误差且耗时较长。而双目机器视觉方法对被测表面的特征点匹配提出了较高要求,测量精度与被测量物体表面状态密切相关,而且双摄像装置使得测量设备体积较大,给工业应用带来不便。
除此之外,还可以在没有附加结构光源的情况下,利用单目相机采集物体表面图像,通过图像灰度化去噪等处理,利用图像二维灰度值来对物体的三维信息等进行识别。但利用灰度值对待测构件特征点进行判断时,灰度值容易受到环境光源影响,导致特征点判断出现误差,不能获得物体表面的精确尺寸。
CN 107631699A公开了一种基于网格结构激光的焊缝三维形貌构建方法,将网格结构激光和工业相机以固定角度组成形状测量传感器,网格结构激光发出的网格状线结构光在待测构件表面形成网格状光斑,被构件表面反射或散射进入工业相机成像,将图像处理成垂直于焊缝纵方向的骨架图像,计算出焊缝表面各点距离网格结构激光出射面的绝对高度,根据绝对高度值数据构建出焊缝表面轮廓。
但是,上述方法只能测量出焊缝表面网格结构激光投射出的网格状光斑上各点的绝对高度值,而网格间隙处的高度值无法获取,不能全面体现出焊缝表面的三维轮廓信息。
因此,本发明拟采用灰度图像拟合特定点高度信息,提出一种工业构件三维形貌的快速测量方法。
发明内容
本发明的目的是提供一种灰度图像耦合特征点高度的构件三维测量方法,该方法采用单摄像镜头连续两次拍摄,基于灰度图像纹理信息,并耦合特征点高度信息,实现工业构件三维尺寸的快速测量。
本发明所述的灰度图像耦合特征点高度的构件三维测量方法是基于一个形状测量传感器实现的。所述形状测量传感器由一个网格结构激光器和一个CMOS工业相机成固定夹角连接组成,所述网格结构激光器能够投射出由m×n条线激光垂直排列组成的, (m-1)×(n-1)个网格构成的网格激光线。
首先,以与网格结构激光器成固定夹角连接的CMOS工业相机对从网格结构激光器投射出的、照射在待测构件表面的网格激光线进行拍摄,得到待测构件表面的激光网格图像。
接着,按照CN 107631699A方法,对所述得到的激光网格图像进行二值化-骨架化法处理,得到所述激光网格图像的单像素宽度的连通无毛刺网格骨架化图像,其中,二值化是通过设定阈值,将激光网格图像的彩色图像变化为黑白图像,图像中像素点的灰度值只有0和1;骨架化处理方法是计算出激光网格图像中每条光带的中心线,去除掉中心线外的其他像素点后,得到激光网格图像的轮廓化图形,继续利用去除毛刺算法,除去轮廓化图形中的毛刺,得到由m×n条骨架构成的网格骨架化图像;采用三角测量法计算出所述网格骨架化图像上每一个像素点对应的高度信息,即得到所述激光网格图像每一个像素点对应的高度值。
虽然基于上述高度值,可以构建出待测构件表面上的m×n条表面轮廓线。但由于网格间隙处的高度值无法获取,也就无法真实地再现出构件表面的三维尺寸。
因此,本发明在上述以CMOS工业相机拍摄得到待测构件表面的激光网格图像后,保持形状测量传感器与待测构件的相对位置不变,关闭网格结构激光器,再次以CMOS工业相机进行拍摄,获得自然光照下的待测构件表面图像。
随后,对自然光照下的待测构件表面图像进行处理,将采集到的彩色图像转换为灰度图像,并进行滤波去噪后,得到自然光照下的待测构件表面灰度图像。
之后,对自然光照下的待测构件表面灰度图像中的灰度值进行提取。
具体提取方法为:将所述网格骨架化图像上每一个像素点对应的横纵坐标提取出来,再将所述提取出的横纵坐标对应到所述待测构件表面灰度图像中,将所述横纵坐标对应下的灰度值提取出来。
选取所述(m-1)×(n-1)个网格中的任意一个网格,得到该网格四周骨架线每一像素点的横纵坐标所对应的高度值和灰度值,将高度值视为y值,灰度值视为x值,采用多项式拟合方法对所述高度值和灰度值进行拟合,得到以下公式1)所示的,所述网格上网格结构激光器照射下的某一像素点的高度值与该像素点在自然光照下的灰度值之间的拟合关系式。
y i =a 0 +a 1 x i +a 2 x i 2 ++a n x i n 1)
上述公式1)中,x i ′=[1, x i , x i 2, …, x i n],A=[a 0 , a 1 , a 2 , …, a n ],A是多项式参数向量,n是拟合阶数。
提取出所述选取网格的四周骨架线内空隙处每一像素点的灰度值,将所述灰度值带入公式1)的拟合关系式中,计算得到所述空隙处每一像素点对应的高度值。
将计算得到的所述网格骨架线上每一像素点的高度值与通过拟合灰度填充得到的空隙处每一像素点的高度值进行整合,得到所述网格的完整的表面三维轮廓。
选取所述(m-1)×(n-1)个网格中的另外一个网格,按照上述方法构建该网格上某一像素点的高度值与灰度值之间的拟合关系式,计算出该网格上所有像素点对应的高度值,得到该网格的完整表面三维轮廓。
如此重复(m-1)×(n-1)次,得到所有(m-1)×(n-1)个网格的表面三维轮廓,整合后得到待测构件表面的三维图像。
本发明上述提供的构件三维测量方法方法中,所述CMOS工业相机优选使用300万像素以上的CMOS工业相机,工业相机的图像灰度分辨率为[0-255]。
其中,所述网格结构激光器与CMOS工业相机之间的固定角度指的是网格结构激光器的激光中轴线与CMOS工业相机的镜头光轴之间的夹角。
优选地,本发明是将所述CMOS工业相机与网格结构激光器以12°的固定角度固定在一起。
更优选地,本发明所述方法中,所述工业相机应处于距离待测构件表面250~500mm的范围内进行拍摄。
更进一步地,本发明在自然光照条件下拍摄时,所述自然光照条件应不引起待测构件表面的镜面反射。
优选地,本发明是使用Labview软件对CMOS工业相机采集到的图像进行处理。
具体地,本发明中,公式1)中的多项式参数是通过加权最小二乘误差来计算的,通过公式2)来最小化残差。
Figure DEST_PATH_IMAGE001
其中,权重w i是由下述公式3)计算得到的。
Figure 170162DEST_PATH_IMAGE002
其中,y i *是基于三角测量法求出的高度值;N是计算过程中点数的个数;w i是用来调节数据对模型的拟合程度;权重w i是一个数组,其初始元素设为1;σ是控制拟合误差和权重之间关系的系数。
具体计算步骤如下:首先对参数向量A值进行估计,代入公式1)中对y i 值进行计算。之后,再将y i 值代入公式3)来对权重w i进行计算,再将计算得到的权重值带入公式2)得到参数向量A。
采用上述算法进行迭代计算,直至得到的权重w i稳定收敛,将得到的参数向量A带入公式1)中,即可得到多项式拟合曲线。
拟合过程中,拟合阶数n的取值不同,得到的拟合效果和拟合误差也不一样。在实际拟合中,需要根据拟合效果和误差选择合适的拟合阶数。
利用拟合关系式对所述网格上所有像素点进行三维拟合的过程中会出现一些异常点,影响拟合效果,因此,还需要将这些噪声点从拟合出的三维轮廓中去除。此外,还需要对得到的三维轮廓表面进行一定的平滑处理。
本发明是首先通过阈值设定,将偏离主体较远的点去除,去除大尺度范围的噪声点,再通过双边滤波的方法,在对小范围噪声进行去除的同时对轮廓的特征进行保留。
以下给出所述处理的具体步骤。
p i '= p i + an 4)
其中,p i 是原始数据点,p i '是滤波后的数据点,np i 的法矢量方向,a是双边滤波因子,其以下述公式5)、6)和7)定义。
Figure 643869DEST_PATH_IMAGE003
Figure 612962DEST_PATH_IMAGE004
Figure 66202DEST_PATH_IMAGE005
其中,k ij 是原始数据点周边的相邻点;W c 是双边滤波权函数,称为空间域权重;W s 为用来捕捉领域点之间的法向量的变化,称为特征阈权重。σ c 控制平滑度,σ s 控制特征保持度,分别代表空间域高斯函数的标准偏差和幅值。
首先,找出任意数据点p i 的相邻点k ij ,求出数据点p i 到相邻点k ij 的几何距离||p i -k ij ||以及内积参数〈n i , p i -k ij 〉,即数据点与相邻点的距离向量(p i -k ij )同该数据点法向量的内积。之后,通过计算W c W s 的值得到双边滤波因子a的数值。最后,用新的数据点代替原始数据点,直至所有数据都计算完,循环结束。
本发明上述建立的构件三维测量方法速度快、精度高,在对工业构件进行检测时,不需要双目相机和扫描机构,仅需要固定位置两次成像,将灰度值与特征点高度值进行耦合、填充,即可得到工业构件的表面三维轮廓。
附图说明
图1是本发明灰度图像耦合特征点高度的构件三维测量方法示意图。
图2是所述三维测量方法的系统标定原理图。
图3是表面三维轮廓构建流程图。
图4是待测构件特征点高度值测量原理图。
图5是实施例1的原始图像以及三维测量后的构建结果图。
图6是拟合曲线以及误差分布图。
图7是焊缝三维轮廓噪声分布图。
图8是实施例2的原始图像以及构建结果图。
具体实施方式
下述实施例仅为本发明的优选技术方案,并不用于对本发明进行任何限制。对于本领域技术人员而言,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
实施例1。
本实施例利用本发明灰度图像耦合特征点高度的构件三维测量方法实现焊缝表面三维轮廓的构建。
本实施例首先建立一个焊缝的空间坐标系XYZO三维空间,并设定平行于焊缝的方向即焊缝的纵方向为X轴方向,垂直于焊缝的方向即焊缝截面的方向为Y轴方向,高度为Z轴方向。
本实施例提供了一个以网格结构激光器和CMOS工业相机组成的形状测量传感器,来作为实现焊缝表面三维轮廓构建的装置,其结构及原理如图1所示。
形状测量传感器由一个波长650nm的网格结构激光器和一个300万像素的CMOS工业相机组成,两者被固定在一起,网格结构激光器的中轴线与CMOS工业相机的镜头光轴之间的夹角为12°。
由图1可知,将上述形状测量传感器与待测焊缝平行放置在三维空间的Z轴方向,距离焊缝250~500mm。以网格结构激光器从三维空间的Z轴方向照射焊缝表面,能够在XOY平面的焊缝表面上形成一个由Y轴向的9条等间距激光线与X轴向的9条等间距激光线构成的9×9网格状光斑。该网格状光斑被焊缝表面反射或散射,进入CMOS工业相机成像。
由于焊缝表面是高低不平的,会导致入射光带沿入射光轴移动,CMOS工业相机接受散射或反射激光的角度不同,工业相机上的成像点也会相应随之移动。因此,最终形成了一个图1所示的,能体现出焊缝表面形貌的、变形了的网格状光斑图像。
根据上述得到的网格状光斑图像,按照CN 107631699A公开的基于网格结构激光的焊缝三维形貌构建方法,就可以得到整个网格状光斑反射的高度轮廓,也就是焊缝在某个横截面的轮廓曲线。如图5(b)所示,为采集到的网格结构激光器照射下的焊缝图像。
由于采集到的网格状光斑图像中的激光条纹仍具有一定的宽度,无法进行后续的高度计算,所以还需使用Labview软件对采集到的图像进行处理,主要包括灰度化、滤波去噪、二值化、骨架化以及毛刺去除。
本发明中具体的图像处理方法是首先对网格激光照射下的图像进行灰度化处理,即将彩色图像转换为灰度图像,目的是使后续的图像处理步骤中计算量相对较小,减小图像处理的复杂度。之后在灰度图像的基础上,利用均值滤波的方法进行去噪,主要是滤去采集过程中环境光源引入的噪声。然后进行二值化处理,即通过设定阈值,将大于阈值的灰度值设为1,小于阈值的灰度值设为0,最后得到只有黑白两种颜色的黑白图像。
其中,二值化算法中阈值的选取,可以通过分析图像灰度值的分布,选取两个灰度峰值之间的谷底灰度值来获得,也可以通过最大类间方差法(OTSU)以及迭代法来确定阈值。
之后,在二值化图像的基础上,利用迭代算法来提取网格激光图像中每条光带的中心线,即通过层层剥离,最后得到单像素宽度的骨架图像。
在最后得到的单像素宽度的骨架图像上,由于噪声的影响或在骨架转折处会有毛刺的出现,毛刺的出现会对后续的轮廓高度计算造成影响,因此,需要对骨架化后产生的毛刺进行去除。本发明中选用的去除毛刺算法是利用8邻域算法,具体算法是先对像素值为1的点周围8邻域的点的像素值进行判断,计算从0到1的个数,依次将像素点分为骨架节点、骨架点以及骨架端点,之后利用删除毛刺生长点与毛刺端点之间的像素值来去除毛刺。
因此,经过以上对网格状光斑图像的处理,最后得到了图5(c)所示的连通、无毛刺的单像素宽度的骨架图像,以便于后续对图像轮廓的绝对高度计算。
上述具体处理方法在CN 107631699A中有详细说明可供参考。
接下来,需要从得到的网格状光斑图像中进行特征点提取,并进行高度计算。
网格结构激光器所形成的9×9网格状光斑中,Y轴向的第5条线激光位于网格结构激光器的中轴线位置,因此,第5条线激光与激光中轴线的夹角α 5 =0°。从第5条线激光到第9条线激光,角度依次增加1°,亦即α 6 =1°,α 7 =2°,α 8 =3°,α 9 =4°。同时,从第1条线激光到第5条线激光,角度同样是依次增加1°,即α 4 =1°,α 3 =2°,α 2 =3°,α 1 =4°。
网格结构激光器的中轴线与CMOS工业相机的镜头光轴之间的夹角为12°,因此,第5条线激光与镜头光轴的夹角θ 5 =12°,从第5条线激光到第9条线激光,夹角依次增加1°,即θ 6 =13°,θ 7 =14°,θ 8 =15°,θ 9 =16°。相反,从第5条线激光到第1条线激光,夹角依次减少1°,即θ 4 =11°,θ 3 =10°,θ 2 =9°,θ 1 =8°。
按照图2所示,分别对CMOS工业相机以及组成的形状测量传感器进行标定。首先,利用张正友相机标定法标定上述CMOS工业相机,得到相机的焦距f和像距d。根据公式1/f = 1/L 1 + 1/d,计算得出第5条线激光与镜头光轴的交点O至镜头的距离L 5 ,再按照以下公式8)就可以计算出其他8条线激光与镜头光轴的交点O至镜头的距离L i
Figure 538772DEST_PATH_IMAGE006
公式8)中,“+”用来计算线1-(((m+1)/2)-1),“-”用来计算线(((m+1)/2)+1)-m。
之后,根据直射式三角测量原理,计算出第5条线激光与镜头光轴的交点O所在平面距离激光出射面的绝对高度H 5 。标定出H 5 的具体数值后,则其他8条线激光与镜头光轴的交点O所在平面距离激光出射面的绝对高度H i 也可以根据公式9)计算得到。
Figure 183380DEST_PATH_IMAGE007
上述L n H i 的测量原理如图4所示。
据此,得到了Y轴向9条线激光各自对应的特征参数值H i L n θ i α i
利用本发明所述的形状测量传感器进行焊缝表面绝对高度计算时,焊缝与传感器之间的相对位置不能保证是绝对平行的,会出现一定的角度,造成激光出射面在前后左右方向的整体倾斜,使绝对高度的计算产生误差。因此,本发明中还对由位置关系导致的计算误差进行了矫正。所矫正的内容包括激光出射面在垂直于焊缝方向的前后倾斜以及平行于焊缝方向的左右倾斜。
经过以上矫正,就可以得到任意一条骨架线上的点的真实绝对高度。最后得到的绝对高度值分布如图5(e)所示。图5(d)所示为焊缝实际高度与测量高度的误差分布图,误差大小为±0.1mm。
上述矫正方法已经在CN 107631699A中有详细说明,本发明不再赘述。
同样,上述测量方法均基于CN 107631699A中方法进行,本发明实施例因此仅做简单说明。
之后,保持形状测量传感器相对于焊缝的位置不变,并关掉网格结构激光器。调节CMOS工业相机的光圈,在自然光照射下,采集得到图5(a)所示的焊缝图像。
对所述焊缝图像进行图像处理,包括灰度化及滤波去噪,最后得到自然光照下的焊缝灰度图像。
之后,对自然光照下的灰度图像中的灰度值进行提取。具体为,将网格骨架下的横纵坐标提取出来,保存为数组形式。接下来,将骨架图像中像素值为1的横纵坐标对应到灰度图像中,将坐标对应下的灰度值提取出来进行保存。最后再将自然光照下的网格空隙处的灰度值提取出来,进行保存,以便于下一步的计算。
最后,按照图3所示方法进行焊缝表面的三维构建。
所述焊缝表面的三维构建是基于已经获得了该焊缝的灰度图像和与该灰度图像重叠的网格状光斑图像,并已经计算出网格状光斑图像上网格线每一点的绝对高度值后进行的。
首先,将单个小网格上每一点的绝对高度值及对应的横纵坐标提取出来,同样,将网格空隙处每一点的横纵坐标值也提取出来。
接着,将提取出的横纵坐标值对应到自然光照下的焊缝灰度图像组成的灰度矩阵中,将每个坐标点对应的灰度值提取出来。
接下来,针对单个小网格上每一点的高度值与灰度值进行多项式拟合。
拟合阶数n的取值不同时,得到的拟合曲线以及拟合误差也不同。图6给出了不同拟合阶数下的拟合曲线以及误差分布。由图可知,当拟合阶数n的取值为5时,得到的拟合曲线比较理想,且拟合误差也较小。图6(c)所示为拟合阶数为5时得到的高度值与灰度值的拟合曲线。
之后,将网格空隙处每一点的灰度值带入上述得到的拟合曲线中,即可得出网格空隙处每一点的焊缝绝对高度值。
最后,将计算得到的网格线上每一点的绝对高度值与由拟合曲线、灰度值填充得到的网格空隙处每一点的绝对高度值进行整合,即得到了焊缝表面的三维轮廓。
经上述构建的焊缝表面三维轮廓中,可能会有一些噪声存在,如图7(a)所示为偏离轮廓主体较远的大尺度噪声。
此类噪声的去除主要是利用阈值选取的方式,将阈值范围外的点进行删除,去除结果如图7(b)所示。
在大尺度噪声去除后,在轮廓的表面还可以存在一些微小的噪声点,因此,还需要将这些小噪声点进行去除。
本实施例中选用的小噪声点去除方法为双边滤波算法,在滤去噪声点的同时,保持轮廓的特征不变,如图5(f)所示为最后得到的去除噪声以及平滑后的焊缝轮廓。
实施例2。
使用实施例1的形状测量传感器,对弧形纸面的轮廓进行三维构建。
分别采集网格结构激光器照射下的弧形纸面图像,及自然光照下的弧形纸面图像。图8(a)和(b)分别为采集到的弧形纸面在网格结构激光器及自然光照下的原始图像。
之后同样对网格结构激光器照射下的弧形纸面进行图像处理,包括灰度化、滤波去噪、二值化、骨架化及骨架化后的毛刺去除,最后得到的单像素骨架图像如图8(c)所示。
利用三角测量法中的直射式与斜射式混合计算网格结构激光器下的纸面绝对高度,经过矫正,得到准确的弧形纸面轮廓高度,如图8(d)所示。图8(f)所示为弧形纸面中每条激光线的实际高度值与测量所得高度值的误差分布图,由图可知,误差范围在±0.1mm。
分别提取单个小网格下的绝对高度值以及对应点的横纵坐标点,再将网格空隙处点的坐标值提取出来,以便于后续的计算。
图8(b)为自然光照下的弧形纸面原始图像,之后进行滤波去噪以及灰度化处理,再将上步骤提取出来的网格骨架上的坐标值以及空隙处点的坐标值对应到灰度图像中,分别提取出坐标对应下的灰度值。
同样,在单个小网格中,将高度值与提取出来的灰度值进行多项式拟合,这里根据拟合效果及拟合后误差,取得拟合阶数为5,得到拟合关系式。
将小网格空隙处的灰度值带入到拟合关系式中,得到对应的高度值。
之后,将计算出的网格骨架点上的高度值以及通过拟合、灰度填充得到的高度值进行整合。
分别对各个小网格进行上述计算,最后得到弧形纸面的三维轮廓,如图8(e)所示。

Claims (10)

1.一种灰度图像耦合特征点高度的构件三维测量方法,所述测量方法基于一个形状测量传感器实现,所述形状测量传感器由一个网格结构激光器和一个CMOS工业相机成固定夹角连接组成,所述网格结构激光器能够投射出由m×n条线激光垂直排列组成的, (m-1)×(n-1)个网格构成的网格激光线;
所述测量方法包括:
以与所述网格结构激光器成固定夹角连接的CMOS工业相机对从网格结构激光器投射出的、照射在待测构件表面的网格激光线进行拍摄,得到待测构件表面的激光网格图像;
对所述得到的激光网格图像进行二值化-骨架化法处理,得到所述激光网格图像的单像素宽度的连通无毛刺网格骨架化图像,其中,二值化是通过设定阈值,将激光网格图像的彩色图像变化为黑白图像,图像中像素点的灰度值只有0和1;骨架化处理方法是计算出激光网格图像中每条光带的中心线,去除掉中心线外的其他像素点后,得到激光网格图像的轮廓化图形,继续利用去除毛刺算法,除去轮廓化图形中的毛刺,得到由m×n条骨架构成的网格骨架化图像;采用三角测量法计算出所述网格骨架化图像上每一个像素点对应的高度信息,即得到所述激光网格图像每一个像素点对应的高度值;
其特征是所述测量方法还包括:
保持形状测量传感器与待测构件的相对位置不变,关闭网格结构激光器,再次以CMOS工业相机进行拍摄,获得自然光照下的待测构件表面图像;
对自然光照下的待测构件表面图像进行处理,将采集到的彩色图像转换为灰度图像,并进行滤波去噪后,得到自然光照下的待测构件表面灰度图像;
将所述网格骨架化图像上每一个像素点对应的横纵坐标提取出来,再将所述提取出的横纵坐标对应到所述待测构件表面灰度图像中,将所述横纵坐标对应下的灰度值提取出来;
选取所述(m-1)×(n-1)个网格中的任意一个网格,得到该网格四周骨架线每一像素点的横纵坐标所对应的高度值和灰度值,将高度值视为y值,灰度值视为x值,采用多项式拟合方法对所述高度值和灰度值进行拟合,得到以下公式1)所示的,所述网格上网格结构激光器照射下的某一像素点的高度值与该像素点在自然光照下的灰度值之间的拟合关系式:
y i =a 0 +a 1 x i +a 2 x i 2 ++a n x i n 1)
上述公式1)中,x i ′=[1, x i , x i 2, …, x i n],A=[a 0 , a 1 , a 2 , …, a n ],A是多项式参数向量,n是拟合阶数;
提取出所述选取网格的四周骨架线内空隙处每一像素点的灰度值,将所述灰度值带入公式1)的拟合关系式中,计算得到所述空隙处每一像素点对应的高度值;
将计算得到的所述网格骨架线上每一像素点的高度值与通过拟合灰度填充得到的空隙处每一像素点的高度值进行整合,得到所述网格的完整的表面三维轮廓;
选取所述(m-1)×(n-1)个网格中的另外一个网格,按照上述方法构建该网格上某一像素点的高度值与灰度值之间的拟合关系式,计算出该网格上所有像素点对应的高度值,得到该网格的完整表面三维轮廓;
如此重复(m-1)×(n-1)次,得到所有(m-1)×(n-1)个网格的表面三维轮廓,整合后得到待测构件表面的三维图像。
2.根据权利要求1所述的灰度图像耦合特征点高度的构件三维测量方法,其特征是使用300万像素以上的CMOS工业相机,所述CMOS工业相机的图像灰度分辨率为[0-255]。
3.根据权利要求1所述的灰度图像耦合特征点高度的构件三维测量方法,其特征是所述网格结构激光器与CMOS工业相机之间的固定角度为12°。
4.根据权利要求1所述的灰度图像耦合特征点高度的构件三维测量方法,其特征是将所述CMOS工业相机处于距离待测构件表面250~500mm的范围内进行拍摄。
5.根据权利要求1所述的灰度图像耦合特征点高度的构件三维测量方法,其特征是使用Labview软件对CMOS工业相机采集到的图像进行处理。
6.根据权利要求1所述的灰度图像耦合特征点高度的构件三维测量方法,其特征是所述公式1)中的多项式参数通过加权最小二乘误差计算,以公式2)来最小化残差:
Figure 218114DEST_PATH_IMAGE001
其中,权重w i由下述公式3)计算得到:
Figure 247250DEST_PATH_IMAGE002
其中,y i *是基于三角测量法求出的高度值;N是计算过程中点数的个数;w i是用来调节数据对模型的拟合程度;权重w i是一个数组,其初始元素设为1;σ是控制拟合误差和权重之间关系的系数。
7.根据权利要求6所述的灰度图像耦合特征点高度的构件三维测量方法,其特征是对参数向量A值进行估计,代入公式1)中对y i 值进行计算,再将y i 值代入公式3)来对权重w i进行计算,最后将计算得到的权重值带入公式2)得到参数向量A;所述计算过程进行迭代计算,直至权重w i稳定收敛,将得到的参数向量A带入公式1)中,得到多项式拟合曲线。
8.根据权利要求1所述的灰度图像耦合特征点高度的构件三维测量方法,其特征是还包括对拟合得到的网格表面三维轮廓进行除噪,所述除噪是先通过阈值设定去除大尺度范围噪声点,再通过双边滤波方法,在对小范围噪声进行去除的同时对轮廓特征进行保留。
9.根据权利要求8所述的灰度图像耦合特征点高度的构件三维测量方法,其特征是所述双边滤波方法按照以下公式4)进行:
p i ' = p i + an 4)
其中,p i 是原始数据点,p i '是滤波后的数据点,np i 的法矢量方向,a是双边滤波因子,以下述公式5)、6)和7)定义:
Figure 18897DEST_PATH_IMAGE003
Figure 500694DEST_PATH_IMAGE004
Figure 914358DEST_PATH_IMAGE005
其中,k ij 是原始数据点周边的相邻点;W c 是双边滤波权函数,称为空间域权重;W s 为用来捕捉领域点之间的法向量的变化,称为特征阈权重;σ c 控制平滑度,σ s 控制特征保持度,分别代表空间域高斯函数的标准偏差和幅值。
10.根据权利要求9所述的灰度图像耦合特征点高度的构件三维测量方法,其特征是先找出任意数据点p i 的相邻点k ij ,求出数据点p i 到相邻点k ij 的几何距离||p i -k ij ||以及内积参数〈n i , p i -k ij 即数据点与相邻点的距离向量(p i -k ij )同该数据点法向量的内积,通过计算W c W s 的值得到双边滤波因子a的数值,以新的数据点代替原始数据点,直至所有数据计算完,循环结束。
CN201910487872.8A 2019-06-05 2019-06-05 灰度图像耦合特征点高度的构件三维测量方法 Active CN110425998B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910487872.8A CN110425998B (zh) 2019-06-05 2019-06-05 灰度图像耦合特征点高度的构件三维测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910487872.8A CN110425998B (zh) 2019-06-05 2019-06-05 灰度图像耦合特征点高度的构件三维测量方法

Publications (2)

Publication Number Publication Date
CN110425998A CN110425998A (zh) 2019-11-08
CN110425998B true CN110425998B (zh) 2021-02-02

Family

ID=68408501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910487872.8A Active CN110425998B (zh) 2019-06-05 2019-06-05 灰度图像耦合特征点高度的构件三维测量方法

Country Status (1)

Country Link
CN (1) CN110425998B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111174704B (zh) * 2019-11-26 2022-04-19 武汉华工激光工程有限责任公司 通过灰度图像测量锡球高度的方法
CN111750781B (zh) * 2020-08-04 2022-02-08 润江智能科技(苏州)有限公司 一种基于ccd的自动测试系统及其方法
CN112504123A (zh) * 2020-12-07 2021-03-16 重庆顺泰铁塔制造有限公司 一种用于输电塔板件自动化检测设备和方法
CN113263149B (zh) * 2021-05-12 2022-07-19 燕山大学 一种双辊薄带振动铸轧检测及控制熔池液位的装置及方法
CN113607154A (zh) * 2021-06-29 2021-11-05 广州大学 一种室内机器人二维自主定位方法、系统、设备及介质
CN113959347A (zh) * 2021-08-10 2022-01-21 南京中车浦镇城轨车辆有限责任公司 一种适用于地铁车辆的地板橡胶垫厚度分析方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090055278A (ko) * 2007-11-28 2009-06-02 에스티엑스조선주식회사 용접 자동화를 위한 용접부 형상 측정 및 용접 조건 제어 장치
CN104197838A (zh) * 2014-09-19 2014-12-10 安徽中烟工业有限责任公司 基于计算机视觉的卷烟条与盒包装纸尺寸测量方法
CN106767410A (zh) * 2015-11-19 2017-05-31 手持产品公司 高分辨率点图案
CN107631699A (zh) * 2017-08-18 2018-01-26 中北大学 基于网格结构激光的焊缝三维形貌构建方法
CN108053441A (zh) * 2017-09-18 2018-05-18 沈阳工业大学 一种激光三角法高精度测量方法
CN108981604A (zh) * 2018-07-11 2018-12-11 天津工业大学 一种基于线激光的精密零件三维全貌测量方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090055278A (ko) * 2007-11-28 2009-06-02 에스티엑스조선주식회사 용접 자동화를 위한 용접부 형상 측정 및 용접 조건 제어 장치
CN104197838A (zh) * 2014-09-19 2014-12-10 安徽中烟工业有限责任公司 基于计算机视觉的卷烟条与盒包装纸尺寸测量方法
CN106767410A (zh) * 2015-11-19 2017-05-31 手持产品公司 高分辨率点图案
CN107631699A (zh) * 2017-08-18 2018-01-26 中北大学 基于网格结构激光的焊缝三维形貌构建方法
CN108053441A (zh) * 2017-09-18 2018-05-18 沈阳工业大学 一种激光三角法高精度测量方法
CN108981604A (zh) * 2018-07-11 2018-12-11 天津工业大学 一种基于线激光的精密零件三维全貌测量方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于网格激光的TIG焊熔池三维表面凹凸性分析;何笑英 等;《焊接学报》;20170131;第38卷(第1期);第65-68页 *
基于网格结构激光的焊缝轮廓高度检测;贾娜娜 等;《热加工工艺》;20190531;第48卷(第9期);第204-207、211页 *

Also Published As

Publication number Publication date
CN110425998A (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
CN110425998B (zh) 灰度图像耦合特征点高度的构件三维测量方法
WO2018103693A1 (zh) 一种三维轮廓的光学混合检测方法
Xu et al. Line structured light calibration method and centerline extraction: A review
US6937235B2 (en) Three-dimensional object surface shape modeling apparatus, method and program
Saeed et al. Weld pool surface depth measurement using a calibrated camera and structured light
CN107578464A (zh) 一种基于线激光扫描的传送带工件三维轮廓测量方法
EP2751521B1 (en) Method and system for alignment of a pattern on a spatial coded slide image
CN111121722A (zh) 结合激光点阵和偏振视觉的双目三维成像方法
Massot-Campos et al. Underwater laser-based structured light system for one-shot 3D reconstruction
JP6519265B2 (ja) 画像処理方法
CN113205593B (zh) 一种基于点云自适应修复的高反光表面结构光场三维重建方法
CN107631699A (zh) 基于网格结构激光的焊缝三维形貌构建方法
JP6937642B2 (ja) 表面評価方法及び表面評価装置
CN110702025B (zh) 一种光栅式双目立体视觉三维测量系统及方法
US20210304396A1 (en) System and method for measuring a surface in contoured glass sheets
Dekiff et al. Three-dimensional data acquisition by digital correlation of projected speckle patterns
CN112815843B (zh) 一种3d打印过程中工件表面打印偏差的在线监测方法
Jia et al. A 3D reconstruction method based on grid laser and gray scale photo for visual inspection of welds
CN108917640A (zh) 一种激光盲孔深度检测方法及其系统
US9990724B2 (en) Image recording simulation in a coordinate measuring machine
CN111602177A (zh) 用于生成物体的3d重建的方法和设备
CN104897174B (zh) 基于置信度评价的图像光条噪声抑制方法
CN115953550A (zh) 针对线结构光扫描的点云离群点剔除系统及方法
CN114252449B (zh) 一种基于线结构光的铝合金焊缝表面质量检测系统及方法
Wang et al. Highly reflective surface measurement based on dual stereo monocular structured light system fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant