CN116358449A - 一种基于双目面结构光的飞机铆钉凹凸量测量方法 - Google Patents

一种基于双目面结构光的飞机铆钉凹凸量测量方法 Download PDF

Info

Publication number
CN116358449A
CN116358449A CN202310395107.XA CN202310395107A CN116358449A CN 116358449 A CN116358449 A CN 116358449A CN 202310395107 A CN202310395107 A CN 202310395107A CN 116358449 A CN116358449 A CN 116358449A
Authority
CN
China
Prior art keywords
rivet
image
point cloud
region
concave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310395107.XA
Other languages
English (en)
Inventor
王慧青
孙建阳
余厚云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202310395107.XA priority Critical patent/CN116358449A/zh
Publication of CN116358449A publication Critical patent/CN116358449A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双目面结构光的飞机铆钉凹凸量测量方法，包括使用双目相机采集飞机蒙皮上的结构光投影图像；从图像中识别铆钉，以铆钉为中心提取感兴趣区并解算相位；根据铆钉轮廓进行区域分割，生成相关区域的点云；根据点云计算铆钉的凹凸量。本发明的有益效果在于：提出了一种基于双目面结构光的飞机铆钉凹凸量测量方法，相比使用深度尺、塞规等检具的传统测量方式，在保证较高精度的前提下操作更加简单快捷；对三维形貌重建方法进行改进，克服了常规三维扫描测量模式下冗余点云数据量大、耗时长的难题；提出了一种基于局域均值的铆接型面点云处理方法，可以实现同时对多个铆钉的凹凸量准确、可靠测量。

Description

一种基于双目面结构光的飞机铆钉凹凸量测量方法
技术领域
本发明涉及一种基于双目面结构光的飞机铆钉凹凸量测量技术，属于视觉三维测量技术领域。
背景技术
铆钉的凹凸量指的是沉头铆钉钉头平面上的点到周围结构表面的最大距离，是衡量飞机蒙皮铆接质量的重要指标之一，是影响飞机整体气动性能和部件疲劳寿命的关键因素。
传统的测量方法主要是依靠塞尺手摸对比或者使用带辅助支架的深度尺接触测量，传统方法工具使用较为不便，且依靠人工判断会存在人为误判的情况，而且接触式测量容易划伤机体表面。使用扫描设备的方法需要对整个表面无差别扫描，会包含大量无关点云数据，而且采集数据后仍需要专用软件对庞大的点云数据处理分析，效率低下，无法应用于实时测量。而基于线结构光的测量方法虽然效率较高，但只能采集到结构光线上的点云数据，无法获得整个铆钉区域的外形轮廓信息，测量结果不够准确。
因此，本文提出了一种基于双目面结构光的铆钉凹凸量测量方法。不同于传统三维测量方法先扫描生成三维点云再从点云中分析提取相关信息，本发明先从图像中分析出与铆钉有关的区域再生成相关区域的点云，并通过优化相位解算方法和同名点匹配方法大幅提高了测量效率。此外，本发明提出了铆钉轮廓识别算法和铆接型面点云处理算法，提高了测量结果的精度和稳定性。
发明内容
技术问题：
本发明的目的在于提供一种便捷、准确、可靠的飞机铆钉凹凸量测量方法，以解决上述背景技术面临的问题。
技术方案：
为实现上述目的，本发明提供如下技术方案：一种基于双目面结构光的飞机铆钉凹凸量测量方法，所述方法包括如下步骤：
S1：使用标定好的双目工业相机同步采集工业投影仪连续投射在飞机蒙皮上的条纹图像，检测左右相机图像中铆钉的轮廓，提取出以铆钉为中心的感兴趣区；
S2：对感兴趣区内的条纹图像进行处理分析，计算相位信息并生成相位图，对相位图和白光投影图像进行校正；
S3：根据铆钉轮廓分割铆钉头部区和邻近蒙皮区，匹配相关区域内的同名点，根据同名点对生成点云；
S4：对点云采用RANSAC方法过滤粗大误差点，计算待测铆钉的凹凸量。
作为本发明的一种改进，步骤S1中，所述工业投影仪连续投射在飞机蒙皮上的条纹图像包括一帧白光图像、N1帧正弦条纹图像和N2帧格雷码图像。白光图像中的铆钉轮廓没有条纹图案干扰，用于识别定位铆钉，提取感兴趣区，并分割铆钉头部区和邻近蒙皮区。正弦条纹图像和格雷码图像用于解算相位并生成相位图。
作为本发明的一种改进，步骤S1中，所述检测左右相机图像中铆钉的轮廓包括以下步骤：
S11：对左右相机采集的白光投影图像进行中值滤波和高斯滤波，去除图像传感器、环境光照引起的脉冲噪声、椒盐噪声和高斯噪声，采用Gamma变换增强铆钉轮廓的图像对比度，通过Canny算子初步提取出图像中的边缘骨架线；
S12：搜索每条骨架线，计算骨架线的最小外接矩形的长L和宽H，得到最小外接矩形的长宽比Ratio为：
Ratio＝L/H
计算每条骨架线所占像素数I及其最小外接矩形的面积Area：
Area＝LH
根据铆钉轮廓近似圆弧的特点，拟合铆钉圆轮廓时参与拟合的骨架线的弧度不宜过小，即其最小外接矩形的长宽比Ratio不宜过大，因此对Ratio设置阈值T0。根据航空铆钉的尺寸规格固定的特点，对I设置下限Imin和上限Imax，对Area设置下限Smin和上限Smax。铆钉边缘骨架线应满足如下条件：
Figure BDA0004177397090000021
将不符合上述条件的骨架线剔除。
S13：根据骨架线可能存在分叉或回拐的特点，逐个搜索每条骨架线上的像素，分析该像素是否为分叉点或拐点，将判定为分叉点或拐点的像素的灰度值置为0；
S14：重复步骤S12，对保留的骨架线采用RANSAC算法拟合轮廓圆，计算出轮廓圆心的像素坐标，任意两个轮廓圆的距离Dij为：
Figure BDA0004177397090000022
1≤i,j≤M1且i≠j.
式中，Oi为第i个骨架线拟合圆心，Oj为第j个骨架线拟合圆心，M1为保留的骨架线总数。
设置距离阈值d，对保留的骨架线进行归类，将轮廓圆心间距离≤d的骨架线放入同一集合，作为同一铆钉的边缘骨架线。归类后有K个集合则说明相机视场内有K个铆钉。然后对每个集合内的骨架线采用最小二乘法拟合轮廓圆，作为对应铆钉的轮廓，并确定轮廓圆的圆心。
上述提出的轮廓圆检测算法相比常规的图像圆检测算法的优势在于：根据圆弧特征分析每条骨架线是否类似圆弧，通过检测分叉点和拐点来剔除非圆弧骨架线，数据计算量较小，运行效率更高，并且更加适用于检测蒙皮表面铆钉的场景。
作为本发明的一种改进，步骤S1中，提取出的以铆钉为中心的感兴趣区为：
Ek＝{(x,y)|xk-Rk-b≤x≤xk+Rk+b,yk-Rk-b≤y≤yk+Rk+b},k＝1,2,…,K.
式中，(xk,yk)为第k个铆钉的轮廓圆圆心坐标，Rk为第k个铆钉的轮廓圆半径，b为基于轮廓半径Rk拓展的宽度，b＝0.5Rk。
作为本发明的一种改进，步骤S2中，所述对感兴趣区内的条纹图像进行处理分析，计算相位信息并生成相位图指的是只对步骤S1提取的感兴趣区内的正弦条纹和格雷码图像分析计算相位值，生成的相位图中只有感兴趣区内包含相位信息，感兴趣区外的相位值都置为0。
作为本发明的一种改进，步骤S3中，所述根据铆钉轮廓分割铆钉头部区和邻近蒙皮区，需要对校正后的白光投影图像采用步骤S1中的铆钉轮廓检测算法重新检测铆钉，拟合铆钉轮廓圆，确定轮廓圆的圆心，对左图像以轮廓圆为边界进行分割，分割出的铆钉头部区为：
Figure BDA0004177397090000031
式中，(x′k_L,y′k_L)为校正左图像中第k个铆钉的轮廓圆圆心坐标，对应的轮廓圆半径为R′k_L。R′ak_L＝Round(0.6R′k_L)，R′bk_L＝Round(0.9R′k_L)，E′top_k_L是与轮廓圆同心且半径分别为R′ak_L和R′bk_L的圆形成的环形带。
分割出的邻近蒙皮区为：
Figure BDA0004177397090000032
式中，R′ck_L＝Round(1.1R′k_L)，R′dk_L＝Round(1.4R′k_L)，E′bottom_k_L是与轮廓圆同心且半径分别为R′ck_L和R′dk_L的圆形成的环形带。
作为本发明的一种改进，步骤S3中，匹配相关区域内的特征点，为进一步提高匹配效率，在极线约束的基础上增加视差约束来缩小同名点搜索范围。其过程为：
S31：计算校正后左图像和右图像中同一铆钉的视差，对于第k个铆钉，其视差为：
Figure BDA0004177397090000033
式中，(x′k_L,y′k_L)为校正后左图像第k个感兴趣区E′k_L中铆钉的轮廓圆圆心坐标，(x′k_R,y′k_R)为校正后右图像第k个感兴趣区E′k_R中铆钉的轮廓圆圆心坐标。
S32：根据校正后的相位图搜索铆钉头部区E′top_k_L或邻近蒙皮区E′bottom_k_L中的像素在右图像中的同名像素。校正图像受到极线约束，即左右图像中的同名点位于同一图像高度。为进一步缩小同名点的搜索范围，通过视差dis(x′k_L,y′k_L)进行约束。对于左相位图中任一像素P′L(x′L,y′L)，从右相位图中的像素P′R_start开始沿图像x轴方向搜索，P′R_start的坐标为：
Figure BDA0004177397090000041
式中，Δdis为设置的冗余值。
将符合如下条件的像素放入待匹配右同名点集合：
|At(x′L,y′L)-At(x′Rt,y′Rt)|≤ΔAt
式中，At(x′L,y′L)为像素P′L的相位值，At(x′Rt,y′Rt)为右相位图中搜索的第t个像素的相位值，ΔAt为设置的阈值。
当满足如下任一判据时完成搜索：
(1)|At(x′L,y′L)-At(x′Rt,y′Rt)|>ΔAt且|At(x′L,y′L)-At(x′Rt,y′Rt)|>|At(x′L,y′L)-At(x′R(t-1),y′R(t-1))|；
(2)
Figure BDA0004177397090000042
或x′RT>W-2，W为图像宽度。
以像素P′L及其8邻域像素组成基准匹配框，对待匹配右同名点集合中的像素P′Rt(x′Rt,y′RT)逐个设置以该像素为中心包含8邻域像素的待匹配框，将待匹配框与基准匹配框比较，根据以下公式计算相位差值：
Figure BDA0004177397090000043
筛选出相位差值最小的待匹配右像素作为粗选右同名点。
S33：选取粗选右同名点及其前后各两个像素进行三次样条曲线插值，计算出亚像素级精度的右同名点的横坐标x′R。
作为本发明的一种改进，步骤S3中，所述根据同名点对生成点云的具体实现在于，同名点对与空间点云存在映射关系，通过标定双目相机获得相关标定参数，通过标定参数计算出表示映射关系的重投影矩阵Q。点云数据的空间坐标用如下公式计算：
[X Y Z W]T＝Q*[x′L y′L dis(x′L,y′L) 1]T
式中，dis(x′L,y′L)为同名点对的视差，dis(x′L,y′L)＝x′L-x′R，(X,Y,Z)为同名点对应的空间点云的三维坐标。
本发明的方法相比常规的结构光三维重建方法的优势在于：通过提取感兴趣区有针对性地缩小解算相位的范围，通过区域分割将生成点云的区域锁定为铆接相关型面，通过增加视差约束缩小同名点的搜索范围，从而大幅减少了程序运行过程中的数据计算量，显著提高了整个算法运行的效率。
作为本发明的一种改进，步骤S4中，所述计算待测铆钉的凹凸量的过程中，针对单个点云可靠性不高的情况，采用局域均值法来提高测量结果的稳定性。对铆钉头部区E′top_k_L的环形点云带设置扇形滑动窗口，窗口内包含一定数量的点云，窗口沿逆时针方向滑动。角度为θ时，窗口内的点云对应的左图像素集合记为：
Figure BDA0004177397090000051
Figure BDA0004177397090000052
通过滑动窗口遍历铆钉头部区，计算每次滑动下窗口内点云到安装平面的欧式距离均值，作为这一小块区域到蒙皮的高度差。窗口内单个点云到蒙皮的距离用如下公式表示：
Figure BDA0004177397090000053
式中，dj为滑动窗口内第j个点云Pj到蒙皮的距离，(xi,yi,zi)为点Pj对应的空间点云坐标，Mθ为窗口内包含的点云总数，Ax+By+Cy+D＝0为根据邻近蒙皮区E′bottom_k_L中的点云拟合得到的平面方程。
单个滑动窗口所在区域相对蒙皮的距离dθ：
Figure BDA0004177397090000054
通过计算每个窗口内局部区域相对蒙皮的距离dθ，即获得了待测铆钉头部到蒙皮距离的变化范围，从而确定凹凸量。本方案采用局域均值代替单个点的距离值，提高了测量结果的稳定性。
有益效果：
与现有技术相比，本发明的有益效果是：
1)能够替代传统的人工接触式测量模式，相比依靠塞尺或者带辅助支架的深度尺的传统测量方法，本发明采用视觉测量，不会存在硬质工具划伤被测件表面的问题，并且不存在人工误判的情况，在保证较高测量精度的前提下，操作更加简单高效；
2)从图像中分割出与铆接相关的型面区域，再生成相关区域的点云，在此过程中缩小了相位解算的范围和同名点的搜索范围，相比使用点云扫描设备扫描轮廓再对所有点云数据分析处理的方法，本发明采用的测量算法效率显著提高，采集图像之后即可获得测量结果，满足即时测量的需求；
3)提出了一种基于局域均值的铆接型面点云处理方法，相比于线结构光测量方法，本发明获得的铆钉外形轮廓数据更加全面准确，并且在钉头平面相对蒙皮表面倾斜较大的情况下获得的测量结果更加准确。
附图说明
图1是双目面结构光测量系统测量铆接试验件示意图。
图2是双目相机采集的白光投影被测蒙皮表面示意图，其中(a)为左相机采集图，(b)为右相机采集图。
图3是工业投影仪在铆钉所在区域投影正弦条纹和格雷码示意图。
图4是识别铆钉边缘拟合轮廓圆示意图，其中(a)为原图，(b)为细化骨架线，(c)为过滤骨架线，(d)为断开分叉点和拐点，(e)为再次过滤骨架线，(f)为拟合轮廓圆。
图5是左右相机图像中提取以铆钉为中心的感兴趣区示意图，其中(a)为左相机图像感兴趣区示意图，(b)为右相机图像感兴趣区示意图。
图6是左右相机图像中相位信息示意图，其中(a)为左相位图，(b)为右相位图。
图7是铆钉头部区和邻近蒙皮区示意图。
图8是利用滑动窗口在相位图中匹配特征点对示意图，其中(a)为左相位图局部放大示意图，当中的方框为基准匹配框，(b)为右相位图局部放大示意图，当中的方框为待匹配框。
图9是提取的铆钉头部区域和邻近蒙皮区点云可视化示意图，其中(a)为点云俯视图，
(b)为点云侧视图。
附图标记列表：
1-工业投影仪，2-工业相机，3-铆接试验件，4-铆钉头部区，5-邻近蒙皮区，6-滑动窗口，7-邻近蒙皮区，8-铆钉头部区。
具体实施方式
以下将结合附图和实施例，对本发明进行较为详细的说明。
实施例1：
图1示出本发明提供的一种基于双目面结构光的飞机铆钉凹凸量测量方法应用示意图，所述方法包括如下步骤：
S1：使用标定好的双目工业相机同步采集工业投影仪连续投射在飞机蒙皮上的条纹图像，检测左右相机图像中铆钉的轮廓，提取出以铆钉为中心的感兴趣区；
S2：对感兴趣区内的条纹图像进行处理分析，计算相位信息并生成相位图，对相位图和白光投影图像进行校正；
S3：根据铆钉轮廓分割铆钉头部区和邻近蒙皮区，匹配相关区域内的同名点，根据同名点对生成点云；
S4：对点云采用RANSAC方法过滤粗大误差点，计算待测铆钉的凹凸量。
步骤S1中，所述工业投影仪连续投射在飞机蒙皮上的条纹图像包括一帧白光图像、N1帧正弦条纹图像和N2帧格雷码图像。本实施例使用4步正弦相移条纹结合4阶格雷码，另外补充一帧反码，因此N1为4，N2为5。白光图像(如图2)中的铆钉轮廓没有条纹图案干扰，用于识别定位铆钉，并提取图像中的铆钉头部区和邻近蒙皮区。正弦条纹图像和格雷码图像(如图3)用于处理计算来生成相位图。
步骤S1中，所述检测左右相机图像中铆钉的轮廓包括以下步骤：
S11：对左右相机采集的白光投影图像进行中值滤波和高斯滤波，去除图像传感器、环境光照引起的脉冲噪声、椒盐噪声和高斯噪声，采用Gamma变换增强铆钉轮廓的图像对比度，使用Canny算子初步提取出图像中的边缘骨架线；
S12：搜索每条骨架线，计算骨架线的最小外接矩形的长L和宽H，得到最小外接矩形的长宽比Ratio为：
Ratio＝L/H
计算每条骨架线所占像素数I及其最小外接矩形的面积Area：
Area＝LH
根据铆钉边缘轮廓近似圆弧的特点，拟合铆钉圆轮廓时参与拟合的骨架线的弧度不宜过小，即其最小外接矩形的长宽比Ratio不宜过大，因此对Ratio设置阈值T0。根据航空铆钉的尺寸规格固定的特点，对I设置下限Imin和上限Imax，对Area设置下限Smin和上限Smax。铆钉边缘骨架线应满足如下条件：
Figure BDA0004177397090000071
本实施例中，符合条件的骨架线最小弧度为π/4,对应的T0为4.83，Imin为100，Imax为2500，Smin为20，Smax为40000。将不符合上述条件的骨架线剔除。
S13：根据骨架线可能存在分叉或回拐的特点，逐个搜索每条骨架线上的像素，分析该像素是否为分叉点或拐点，将判定为分叉点或拐点的像素的灰度值置为0；
S14：重复步骤S12，对保留的骨架线采用RANSAC算法拟合轮廓圆，计算出轮廓圆心的像素坐标，任意两个轮廓圆的距离Dij为：
Figure BDA0004177397090000072
1≤i,j≤M1且i≠j
式中，Oi为第i个骨架线的拟合圆心，Oj为第j个骨架线的拟合圆心，M1为保留的骨架线总数。
设置距离阈值d，对保留的骨架线进行归类，将轮廓圆心间距离≤d的骨架线放入同一集合，作为同一铆钉的边缘骨架线。本实施例中，d设为200。投影范围内有K个铆钉则归类后有K个集合。本实施例的投影范围内有四个铆钉，即K为4。然后对第k个集合内的骨架线采用最小二乘法拟合轮廓圆，作为对应铆钉的轮廓(如图4)，确定对应铆钉的轮廓圆的圆心。
步骤S1中，提取出的以铆钉为中心的感兴趣区(如图5)为：
Ek＝{(x,y)|xk-Rk-n≤x≤xk+Rk+n,yk-Rk-b≤y≤yk+Rk+b},k＝1,2,…,k.
式中，(xk,yk)为第k个铆钉的轮廓圆圆心坐标，Rk为第k个铆钉的轮廓圆半径，b为基于轮廓半径Rk拓展的宽度，b＝0.5Rk。本实施例中，左图像中第1个铆钉的轮廓圆圆心坐标为(417,240)，半径为90，第2个铆钉的轮廓圆圆心坐标为(1125,254)，半径为74，第3个铆钉的轮廓圆圆心坐标为(415,788)，半径为89，第4个铆钉的轮廓圆圆心坐标为(1120,781)，半径为73；右图像中第1个铆钉的轮廓圆圆心坐标为(195,261)，半径为86，第2个铆钉的轮廓圆圆心坐标为(911,252)，半径为79，第3个铆钉的轮廓圆圆心坐标为(196,794)，半径为85，第4个铆钉的轮廓圆圆心坐标为(908,808)，半径为76。
步骤S2中，所述对感兴趣区内的条纹图像进行处理分析，计算相位信息并生成相位图指的是只对步骤S1提取的感兴趣区内的正弦条纹图像和格雷码图像分析计算相位值，生成的相位图(如图6)中只有感兴趣区内包含相位信息，感兴趣区外的相位值都置为0。
步骤S3中，所述根据铆钉轮廓分割铆钉头部区和邻近蒙皮区(如图7)，需要对校正后的白光投影图像采用步骤S1中的铆钉轮廓检测算法重新检测铆钉，拟合铆钉轮廓圆，确定轮廓圆的圆心。对左图像以轮廓圆为边界进行分割，分割出的铆钉头部区为：
Figure BDA0004177397090000081
式中，(x′k_L,y′k_L)为校正后的左图像中第k个铆钉的轮廓圆圆心坐标，对应的轮廓圆半径为R′k_L。R′ak_L＝Round(0.6R′k_L)，R′bk_L＝Round(0.9R′k_L)，E′top_k_L是与轮廓圆同心且半径分别为R′ak_L和R′bk_L的圆形成的环形带。本实施例中，第1个铆钉校正后的半径为47，对应的R′a1_L＝28，R′b1_L＝42，第2个铆钉校正后的半径为41，对应的R′a2_L＝24，R′b2_L＝36，第3个铆钉校正后的半径为46，对应的R′a3_L＝27，R′b3_L＝41，第4个铆钉校正后的半径为40，对应的R′a4_L＝24，R′b4_L＝36。
分割出的邻近蒙皮区为：
Figure BDA0004177397090000082
式中，R′ck_L＝Round(1.1R′k_L)，R′dk_L＝Round(1.4R′k_L)，E′bottom_k_L是与轮廓圆同心且半径分别为R′ck_L和R′dk_L的圆形成的环形带。本实施例中，第1个铆钉对应的R′c1_L＝51，R′d1_L＝65，第2个铆钉对应的R′c2_L＝45，R′d2_L＝57，第3个铆钉对应的R′c3_L＝50，R′d3_L＝64，第4个铆钉对应的R′c4_L＝44，R′d4_L＝56。
步骤S3中，匹配相关区域内的特征点，为进一步提高匹配效率，在极线约束的基础上增加视差约束来缩小同名点搜索范围。其过程为：
S31：计算校正后左图像和右图像中同一铆钉的视差，对于第k个铆钉，其视差为：
Figure BDA0004177397090000091
式中，(x′k_L,y′k_L)为校正后左图像第k个感兴趣区E′k_L中铆钉的轮廓圆圆心坐标，(x′k_R,y′k_R)为校正后右图像第k个感兴趣区E′k_R中铆钉的轮廓圆圆心坐标。本实例中，第1个铆钉的视差dis(x′1_L,y′1_L)＝627，第2个铆钉的视差dis(x′2_L,y′2_L)＝628，第3个铆钉的视差dis(x′3_L,y′3_L)＝625，第4个铆钉的视差dis(x′4_L,y′4_L)＝628。
S32：根据校正后的相位图搜索铆钉头部区E′top_k_L或邻近蒙皮区E′bottom_k_L中的像素在右图像中的同名像素。校正图像受到极线约束，即左右图像中的同名点位于同一图像高度。为进一步缩小同名点的搜索范围，通过视差dis(x′k_L,y′k_L)进行约束。对于左相位图中任一像素P′L(x′L,y′L)，从右相位图中的像素P′R_start开始沿图像x轴方向搜索，P′R_start的坐标为：
Figure BDA0004177397090000092
式中，Δdis为设置的冗余值。本实施例中Δdis为10。
将符合如下条件的像素放入待匹配右同名点集合：
|At(x′L,y′L)-At(x′Rt,y′Rt)|≤ΔAt
式中，At(x′L,y′L)为像素P′L的相位值，At(x′Rt,y′Rt)为右相位图中搜索的第t个像素的相位值，ΔAt为设置的阈值。本实施例中ΔAt为0.2。
当满足如下任一判据时完成搜索：
(1)|At(x′L,y′L)-At(x′Rt,y′Rt)|>ΔAt
且|At(x′L,y′L)-At(x′Rt,y′Rt)|>|At(x′L,y′L)-At(x′R(t-1),y′R(t-1))|；
(2)
Figure BDA0004177397090000093
或x′Rt>W-2，W为图像宽度。
以像素P′L及其8邻域像素点组成基准匹配框。对待匹配右同名点集合中的像素P′Rt(x′Rt,y′Rt)逐个设置以该像素为中心包含8邻域像素的待匹配框，将待匹配框与基准匹配框比较(如图8)，根据以下公式计算相位差值：
Figure BDA0004177397090000094
筛选出相位差值最小的待匹配右像素作为粗选右同名点。
S33：选取粗选右同名点及其前后各两个像素进行三次样条曲线插值，计算出亚像素级精度的右同名点的横坐标x′R。
步骤S3中，所述根据同名点对生成点云的具体实现在于，同名点对与空间点云存在映射关系，通过标定双目相机获得相机相关标定参数，通过标定参数计算出表示映射关系的重投影矩阵Q。点云数据的空间坐标用如下公式计算：
[X Y Z W]T＝Q*[x′L y′L dis(x′L,y′L) 1]T
式中，dis(x′L,y′L)为同名点对的视差，dis(x′L,y′L)＝x′L-x′R，(X,Y,Z)为对应空间点云的三维坐标。
步骤S4中，所述计算待测铆钉的凹凸量的过程中，针对单个点云可靠性不高的情况，采用局域均值法来提高测量结果的稳定性。对铆钉头部区E′top_k_L的环形点云带设置扇形滑动窗口(如图9)，窗口内包含一定数量的点云，窗口从3点钟方向逆时针滑动。角度为θ时，窗口内的点云对应的左图像素集合记为：
Figure BDA0004177397090000101
Figure BDA0004177397090000102
通过滑动窗口遍历铆钉头部区，计算每次滑动下窗口内点云到安装平面的欧式距离均值，作为这一小块区域到蒙皮的高度差。窗口内单个点云到蒙皮的距离用如下公式表示：
Figure BDA0004177397090000103
式中，(xi,yi,zi)为窗口内第j个点云的三维坐标，Mθ为窗口内包含的点云总数，Ax+By+Cy+D＝0为根据邻近蒙皮区E′bottom_k_L中点云拟合得到的平面方程。
单个滑动窗口所在区域相对蒙皮的距离dθ：
Figure BDA0004177397090000104
通过计算每个窗口内局部区域相对蒙皮的距离dθ，即获得了待测铆钉头部到蒙皮距离的变化范围，从而确定凹凸量。本实施例中，第1个铆钉钉头相对蒙皮的距离变化范围为-043mm～-0.019mm，第2个铆钉钉头相对蒙皮的距离变化范围为0.050mm～0.076mm，第3个铆钉钉头相对蒙皮的距离变化范围为-0.087mm～-0.065mm，第4个铆钉钉头相对蒙皮的距离变化范围为0.142mm～0.161mm。航空平头铆钉的凹凸量合格范围为±0.1mm，所以第1～3个铆钉合格，第4个铆钉不合格。
本发明提出了一种基于双目面结构光的飞机铆钉凹凸量测量方法，相比使用深度尺、塞规等检具的传统测量方式，在保证较高精度的前提下操作更加简单快捷；对三维形貌重建方法进行改进，克服了常规三维扫描测量模式下冗余点云数据量大、耗时长的难题；提出了一种基于局域均值的铆接型面点云处理方法，可以实现同时对多个铆钉的凹凸量准确、可靠测量。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.一种基于双目面结构光的飞机铆钉凹凸量测量方法，其特征在于，所述方法包括：
S1：使用标定好的双目工业相机同步采集工业投影仪连续投射在飞机蒙皮上的条纹图像，检测左右相机图像中铆钉的轮廓，提取出以铆钉为中心的感兴趣区；
S2：对感兴趣区内的条纹图像进行处理分析，计算相位信息并生成相位图，对相位图和白光投影图像进行校正；
S3：根据铆钉轮廓分割铆钉头部区和邻近蒙皮区，匹配相关区域内的同名点，根据同名点对生成点云；
S4：对点云采用RANSAC方法过滤粗大误差点，计算待测铆钉的凹凸量。
2.根据权利要求1所述的基于双目面结构光的飞机铆钉凹凸量测量方法，其特征在于，步骤S1中，所述工业投影仪连续投射在飞机蒙皮上的条纹图像包括一帧白光图像、N1帧正弦条纹图像和N2帧格雷码图像；白光图像用于识别定位铆钉，提取感兴趣区，并分割铆钉头部区和邻近蒙皮区；正弦条纹图像和格雷码图像用于解算相位并生成相位图。
3.根据权利要求1所述的基于双目面结构光的飞机铆钉凹凸量测量方法，其特征在于，步骤S1中，所述检测左右相机图像中铆钉的轮廓包括以下步骤：
S11：对左右相机采集的白光投影图像进行中值滤波和高斯滤波，去除图像传感器、环境光照起的脉冲噪声、椒盐噪声和高斯噪声，采用Gamma变换增强铆钉轮廓的图像对比度，通过Canny算子初步提取出图像中的边缘骨架线；
S12：搜索每条骨架线，计算骨架线的最小外接矩形的长L和宽H，得到最小外接矩形的长宽比Ratio为：
Ratio＝L/H
计算每条骨架线所占像素数I及其最小外接矩形的面积Area：
Area＝LH
根据铆钉轮廓近似圆弧的特点，对Ratio设置阈值T0；根据航空铆钉的尺寸规格固定的特点，对I设置下限Imin和上限Imax，对Area设置下限Smin和上限Smax；铆钉边缘骨架线应满足如下条件：
Figure FDA0004177397060000011
将不符合上述条件的骨架线剔除；
S13：根据骨架线可能存在分叉或回拐的特点，逐个搜索每条骨架线上的像素，分析该像素是否为分叉点或拐点，将判定为分叉点或拐点的像素的灰度值置为0；
S14：重复步骤S12，对保留的骨架线采用RANSAC算法拟合轮廓圆，计算出轮廓圆心的像素坐标，任意两个轮廓圆的距离Dij为：
Figure FDA0004177397060000021
且i≠j.
式中，Oi为第i个骨架线的拟合圆心，Oj为第j个骨架线的拟合圆心，M1为保留的骨架线总数；
设置距离阈值d，对保留的骨架线进行归类，将轮廓圆心间距离≤d的骨架线放入同一集合，作为同一铆钉的边缘骨架线；归类后有K个集合则说明相机视场内有K个铆钉；然后对每个集合内的骨架线采用最小二乘法拟合轮廓圆，作为对应铆钉的轮廓，并确定轮廓圆的圆心。
4.根据权利要求1所述的基于双目面结构光的飞机铆钉凹凸量测量方法，其特征在于，步骤S1中，提取出的以铆钉为中心的感兴趣区为：
Ek＝{(x,y)|xk-Rk-b≤x≤xk+Rk+b,yk-Rk-b≤y≤yk+Rk+b},k＝1,2,…,K.
式中，(xk,yk)为第k个铆钉的轮廓圆圆心坐标，Rk为第k个铆钉的轮廓圆半径，b为基于轮廓半径Rk拓展的宽度，b＝0.5Rk。
5.根据权利要求1所述的基于双目面结构光的飞机铆钉凹凸量测量方法，其特征在于，步骤S2中，所述对感兴趣区内的条纹图像进行处理分析，计算相位信息并生成相位图指的是只对步骤S1提取的感兴趣区内的正弦条纹和格雷码图像分析计算相位值，生成的相位图中只有感兴趣区内包含相位信息，感兴趣区外的相位值都置为0。
6.根据权利要求1所述的基于双目面结构光的飞机铆钉凹凸量测量方法，其特征在于，步骤S3中，所述根据铆钉轮廓分割铆钉头部区和邻近蒙皮区，需要对校正后的白光投影图像采用步骤S1中的铆钉轮廓检测算法重新检测铆钉，拟合铆钉轮廓圆，确定轮廓圆的圆心，对左图像以轮廓圆为边界进行分割，分割出的铆钉头部区为：
Figure FDA0004177397060000022
式中，(x′k_L,y′k_L)为校正后的左图像中第k个铆钉的轮廓圆圆心坐标，对应的轮廓圆半径为R′k_L；R′ak_L＝Round(0.6R′k_L)，R′bk_L＝Round(0.9R′k_L)，E′top_k_L是与轮廓圆同心且半径分别为R′ak_L和R′bk_L的圆形成的环形带；
分割出的邻近蒙皮区为：
Figure FDA0004177397060000023
式中，R′ck_L＝Round(1.1R′k_L)，R′dk_L＝Round(1.4R′k_L)，E′bottom_k_L是与轮廓圆同心且半径分别为R′ck_L和R′dk_L的圆形成的环形带。
7.根据权利要求1所述的基于双目面结构光的飞机铆钉凹凸量测量方法，其特征在于，步骤S3中，匹配相关区域内的特征点，为进一步提高匹配效率，在极线约束的基础上增加视差约束来缩小同名点搜索范围，其过程为：
S31：计算校正后左图像和右图像中同一铆钉的视差，对于第k个铆钉，其视差为：
Figure FDA0004177397060000031
式中，(x′k_L,y′k_L)为校正后左图像第k个感兴趣区E′k_L中铆钉的轮廓圆圆心坐标，(x′k_R,y′k_R)为校正后右图像第k个感兴趣区E′k_R中铆钉的轮廓圆圆心坐标；
S32：根据校正后的相位图搜索铆钉头部区E′top_k_L或邻近蒙皮区E′bottom_k_L中的像素在右图像中的同名像素；校正图像受到极线约束，即左右图像中的同名点位于同一图像高度；为进一步缩小同名点的搜索范围，通过视差dis(x′k_L,y′k_L)进行约束；对于左相位图中任一像素P′L(x′L,y′L)，从右相位图中的像素P′R_start开始沿图像x轴方向搜索，P′R_start的坐标为：
Figure FDA0004177397060000032
式中，Δdis为设置的冗余值；
将符合如下条件的像素放入待匹配右同名点集合：
|At(x′L,y′L)-At(x′Rt,y′Rt)|≤ΔAt
式中，At(x′L,y′L)为像素P′L的相位值，At(x′Rt,y′Rt)为右相位图中搜索的第t个像素的相位值，ΔAt为设置的阈值；
当满足如下任一判据时结束搜索：
(1)|At(x′L,y′L)-At(x′Rt,y′Rt)|>ΔAt
且|At(x′L,y′L)-At(x′Rt,y′Rt)|>|At(x′L,y′L)-At(x′R(t-1),y′R(t-1))|；
(2)
Figure FDA0004177397060000033
或x′Rt>W-2，W为图像宽度；
以像素P′L及其8邻域像素组成基准匹配框，对待匹配右同名点集合中的像素P′Rt(x′R,y′Rt)逐个设置以该像素为中心包含8邻域像素的待匹配框，将待匹配框与基准匹配框比较，根据以下公式计算相位差值：
Figure FDA0004177397060000034
筛选出相位差值最小的待匹配右像素作为粗选右同名点；
S33：选取粗选右同名点及其前后各两个像素进行三次样条曲线插值，计算出亚像素级精度的右同名点的横坐标x′R。
8.根据权利要求1所述的基于双目面结构光的飞机铆钉凹凸量测量方法，其特征在于，步骤S3中，所述根据同名点对生成点云的具体实现在于，同名点对与空间点云存在映射关系，通过标定双目相机获得相关标定参数，通过标定参数计算出表示映射关系的重投影矩阵Q；点云数据的空间坐标用如下公式计算：
[X Y Z W]T＝Q*[x′L y′L dis(x′L,y′L) 1]T
式中，dis(x′L,y′L)为同名点对的视差,dis(x′L,y′L)＝x′L-x′R，(X,Y,Z)为对应空间点云的三维坐标。
9.根据权利要求1所述的基于双目面结构光的飞机铆钉凹凸量测量方法，其特征在于，步骤S4中，所述计算待测铆钉的凹凸量的过程中，针对单个点云可靠性不高的情况，采用局域均值法来提高测量结果的稳定性；对铆钉头部区E′top_k_L的环形点云带设置扇形滑动窗口，窗口内包含一定数量的点云，窗口从3点钟方向逆时针滑动；角度为θ时，窗口内的点云对应的左图像素集合记为：
Figure FDA0004177397060000041
通过滑动窗口遍历铆钉头部区，计算每次滑动下窗口内点云到安装平面的欧式距离均值，作为这一小块区域到蒙皮的高度差；窗口内单个点云到蒙皮的距离用如下公式表示：
Figure FDA0004177397060000042
式中，(xi,yi,zi)为窗口内第j个点云的三维坐标，Mθ为窗口内包含的点云总数，Ax+By+Cy+D＝0为根据邻近蒙皮区E′bottom_k_L中点云拟合得到的平面方程；
单个滑动窗口所在区域相对蒙皮的距离dθ：
Figure FDA0004177397060000043
通过计算每个窗口内局部区域到蒙皮的距离dθ，即获得了待测铆钉头部距离装配表面距离变化范围，从而确定凹凸量。
CN202310395107.XA 2023-04-13 2023-04-13 一种基于双目面结构光的飞机铆钉凹凸量测量方法 Pending CN116358449A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310395107.XA CN116358449A (zh) 2023-04-13 2023-04-13 一种基于双目面结构光的飞机铆钉凹凸量测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310395107.XA CN116358449A (zh) 2023-04-13 2023-04-13 一种基于双目面结构光的飞机铆钉凹凸量测量方法

Publications (1)

Publication Number Publication Date
CN116358449A true CN116358449A (zh) 2023-06-30

Family

ID=86933310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310395107.XA Pending CN116358449A (zh) 2023-04-13 2023-04-13 一种基于双目面结构光的飞机铆钉凹凸量测量方法

Country Status (1)

Country Link
CN (1) CN116358449A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630306A (zh) * 2023-07-19 2023-08-22 成都信息工程大学 一种飞机半圆头铆钉的缺陷检测方法和装置
CN117213397A (zh) * 2023-11-09 2023-12-12 成都飞机工业（集团）有限责任公司 飞机表面关键形貌特征的三维测量方法、系统及使用方法
CN117333649A (zh) * 2023-10-25 2024-01-02 天津大学 一种动态扰动下高频线扫描稠密点云的优化方法
CN117333649B (zh) * 2023-10-25 2024-06-04 天津大学 一种动态扰动下高频线扫描稠密点云的优化方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630306A (zh) * 2023-07-19 2023-08-22 成都信息工程大学 一种飞机半圆头铆钉的缺陷检测方法和装置
CN116630306B (zh) * 2023-07-19 2023-10-20 成都信息工程大学 一种飞机半圆头铆钉的缺陷检测方法和装置
CN117333649A (zh) * 2023-10-25 2024-01-02 天津大学 一种动态扰动下高频线扫描稠密点云的优化方法
CN117333649B (zh) * 2023-10-25 2024-06-04 天津大学 一种动态扰动下高频线扫描稠密点云的优化方法
CN117213397A (zh) * 2023-11-09 2023-12-12 成都飞机工业（集团）有限责任公司 飞机表面关键形貌特征的三维测量方法、系统及使用方法
CN117213397B (zh) * 2023-11-09 2024-03-19 成都飞机工业（集团）有限责任公司 飞机表面关键形貌特征的三维测量方法、系统及使用方法

Similar Documents

Publication Publication Date Title
CN109544456B (zh) 基于二维图像和三维点云数据融合的全景环境感知方法
CN110163853B (zh) 一种边缘缺陷的检测方法
CN110889243B (zh) 一种基于深度相机的飞机油箱三维重建方法与检测方法
CN105067638B (zh) 基于机器视觉的轮胎胎膜表面字符缺陷检测方法
CN116358449A (zh) 一种基于双目面结构光的飞机铆钉凹凸量测量方法
CN105335973B (zh) 运用于带钢加工生产线的视觉处理方法
CN109490316A (zh) 一种基于机器视觉的表面缺陷检测算法
CN111583114B (zh) 一种管道螺纹自动测量装置及测量方法
CN111126174A (zh) 一种用于机器人抓取零件的视觉检测方法
CN110596116B (zh) 一种车辆表面瑕疵检测方法及检测系统
CN111415376B (zh) 汽车玻璃亚像素轮廓提取方法及汽车玻璃检测方法
CN113324478A (zh) 一种线结构光的中心提取方法及锻件三维测量方法
CN111860501B (zh) 基于形状匹配的高铁高度调整杆脱出故障图像识别方法
CN114627080B (zh) 基于计算机视觉的车辆冲压配件缺陷检测方法
CN103440644A (zh) 一种基于最小描述长度的多尺度图像弱边缘检测方法
CN113884002A (zh) 基于二三维信息融合的受电弓滑板上表面检测系统及方法
CN103884294B (zh) 一种宽视场的红外光三维形貌测量的方法及其装置
CN116665126A (zh) 一种机器人巡检部件缺陷检测方法及其应用
CN114820474A (zh) 一种基于三维信息的列车车轮缺陷检测方法
CN116883446B (zh) 一种车载摄像头镜片碾磨程度实时监测系统
CN114419140A (zh) 一种轨道激光测量装置光斑中心的定位算法
CN112964195B (zh) 基于激光三角法的供电轨几何参数综合检测方法及系统
CN111415378B (zh) 用于汽车玻璃检测的图像配准方法及汽车玻璃检测方法
CN117611525A (zh) 一种受电弓滑板磨耗视觉检测方法和系统
CN115294119B (zh) 基于机器视觉的梅花螺纹头部内槽污渍检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination