CN108020172B - 一种基于3d数据的飞行器表面制造质量检测方法 - Google Patents

一种基于3d数据的飞行器表面制造质量检测方法 Download PDF

Info

Publication number
CN108020172B
CN108020172B CN201610934201.8A CN201610934201A CN108020172B CN 108020172 B CN108020172 B CN 108020172B CN 201610934201 A CN201610934201 A CN 201610934201A CN 108020172 B CN108020172 B CN 108020172B
Authority
CN
China
Prior art keywords
rivet
aircraft
image
interest
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610934201.8A
Other languages
English (en)
Other versions
CN108020172A (zh
Inventor
夏仁波
赵吉宾
于彦凤
陈松林
陈月玲
付生鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Automation of CAS filed Critical Shenyang Institute of Automation of CAS
Priority to CN201610934201.8A priority Critical patent/CN108020172B/zh
Publication of CN108020172A publication Critical patent/CN108020172A/zh
Application granted granted Critical
Publication of CN108020172B publication Critical patent/CN108020172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于3D数据的飞行器表面制造质量检测方法，包括：向飞行器表面蒙皮投射一系列正弦条纹；左右相机采集经表面调制后的条纹图像；对条纹图像进行相位展开；根据相位和对极几何约束进行左右图像匹配；重建飞行器表面的三维点云模型；提取铆钉兴趣区域，根据图像区域与三维模型对应关系，在点云模型中对铆钉进行定位；采用曲面拟合方法获得铆钉的飞行器表面基准构形；计算铆钉的点到基准构形的距离，获得铆钉凹凸的铆钉兴趣区域；进行伪彩色图像编码并投影到飞行器表面，形成直观结果。本发明可实现铆钉兴趣区域深度信息的检测，鲁棒性强，精度高，可以给出量化、直观检测结果，提供了一种适用于飞行器表面铆钉兴趣区域的新途径。

Description

一种基于3D数据的飞行器表面制造质量检测方法
技术领域
本发明涉及自动化检测领域，具体地说是一种基于3D数据的飞行器表面制造质量检测方法。
背景技术
飞行器的表面是包围在机翼骨架外围的蒙皮构件，用铆钉固定于骨架上，形成机翼的气动力外形，其表面质量对飞行器的气动特性、飞行安全性、飞行成本以及隐身性能等都具有重大影响。出厂交付前，需要对其表面质量进行严格检测，主要检测内容包括铆钉凹凸等铆钉兴趣区域。由于飞行器属于高价值产品，其设计和制造精确较高，上述铆钉兴趣区域的深度误差通常要求控制在几十微米左右。
目前，国内航空企业主要是借助检测塞尺、样板、模胎、专用检验工装、量具以及人工观测等手段对蒙皮表面质量进行检测。这种方法的精度难以保证、可重复性差、效率低，严重制约了飞行器的出厂交付周期，已不能满足飞行器数字化快速制造的需求。目前，工业中出现了许多无损检测方法，比如射线检测、超声波检测、渗透检测、机器视觉检测、激光全息检测以及红外检测等方法。其中，机器视觉检测方法由于具有效率高、重复性好、客观性强等优势，在表面铆钉兴趣区域检测领域得到了深入发展和广泛应用。但这类方法处理和输出的信息以2D居多，主要用于实现有/无判断、面积测量、数量测量以及方向测量等功能，不能给出铆钉兴趣区域的深度、体积等立体信息。实际应用中，立体信息往往才是决定表面制造质量是否达标的关键指标。近年来，在飞机、汽车零部件制造行业，出现了一些通过比较扫描模型和设计模型之间差异的3D表面铆钉兴趣区域检测方法。若将这种方法用于飞行器表面铆钉兴趣区域检测，需要知道飞行器的数字设计模型，同时必须获取完整的飞行器扫描模型。由于飞行器尺度较大，目前还没有一种有效的方法能够对整个飞行器外形进行高精度、大范围的测量建模，即使具备这样的条件，两个大规模模型之间的配准和比对也需要海量运算，普通计算机根本难以完成。再则，3D设计模型细微的偏差，对检测结果具有巨大影响。如果进一步考虑到飞行器蒙皮表面具有较大的形位公差，设计模型与扫描模型之间存在的差异可能远远大于表面铆钉兴趣区域的尺度，导致铆钉兴趣区域信息被误差淹没。
因此，已有的3D铆钉兴趣区域检测方法并不适合飞行器表面制造质量检测。此外，在表面铆钉兴趣区域的实际检测与维修过程中，测量结果一般显示在计算机屏幕上，操作人员在标记和维修铆钉兴趣区域时，需要在屏幕与目标之间来回查看和走动，或者是通过其他人建立中继通讯，既浪费时间，还容易引入过程误差。上述实际问题，对飞行器表面质量检测技术提出了新的需求。
发明内容
针对现有技术存在上述不足之处，本发明要解决的技术问题是提供一种基于3D数据的飞行器表面制造质量检测方法，并采用光学打标技术，将检测结果投影在物体铆钉兴趣区域位置，形成直观的视觉效果。
本发明为实现上述目的所采用的技术方案是：一种基于3D数据的飞行器表面制造质量检测方法，包括以下步骤：
S1：采用投影仪向飞行器蒙皮表面投射三组共12幅条纹图像；
S2：采用左右相机同时采集投射在飞行器表面的三组共12幅条纹图像、以及2幅飞行器蒙皮表面无条纹图像；
S3：对左右相机采集的条纹图像分别进行相位开展，获得绝对相位Φ123(x,y)；
S4：根据绝对相位和对极几何约束，进行左右相机图像匹配；
S5：根据图像匹配结果和双目视觉原理，重建飞行器表面的3D点云数据模型；
S6：对左相机采集的2幅无条纹图像，识别出铆钉兴趣区域；
S7：利用铆钉兴趣区域图像和3D点云模型的对应关系，在3D点云数据模型中对铆钉兴趣区域进行定位；
S8：采用曲面拟合方法，重建飞行器表面铆钉兴趣区域基准构形Sn；
S9：计算铆钉兴趣区域内的点到飞行器表面铆钉兴趣区域基准构形Sn的距离，获得距离残差曲面Rc；
S10：将距离残差曲面Rc的结果编码成铆钉兴趣区域伪彩色图像；
S11：采用投影仪将铆钉兴趣区域伪彩色图像投影到飞行器表面，形成直观的检测结果。
所述投射三组共12幅条纹图像，包括：
a.按下列公式生成3组12幅标准正弦分布的条纹图像
其中，m＝1，2，3，i＝1，2，3，4，I′(x，y)图像的平均灰度图像，I″(x，y)为图像的灰度调制，δmi分别为图像相位移，为相对相位；和对应的波长分别为λ1、λ2和λ3；
b.用投影仪将上述3组共12幅条纹图像投射到飞行器蒙皮表面。
所述对左右相机采集的条纹图像分别进行相位开展，获得绝对相位Φ123(x，y)，包括：
a.采用四步相移法，运用公式(1)分别计算出3组条纹图像的相对相位 和即
其中，m＝1，2，3，被反正切函数截断在[-π，π]内，在测量空间不连续；
b.采用双频叠加法运用公式(2)对和进行叠加得到
对应的波长为
c.同理，运用公式(3)对和进行叠加得到
对应的波长为
d.同理，运用公式(4)，对和进行叠加得到
e.对进行展开，得到绝对相位Φ123(x，y)
其中，INT表示取整。
所述根据绝对相位和对极几何约束，进行左右相机图像匹配，包括：
设P2为右图像中的任一点，绝对相位值为ΦP2，Lleft为P2在左图像中对应的对极线，则P2在左图像中的匹配点P1应位于Lleft上，且该匹配点P1的相位值ΦP1与P2的相位值ΦP2的差值的绝对值最小，则P2和P1是匹配点；其中，ΦP1和ΦP2为按照绝对相位Φ123(x，y)的计算得到。
所述根据图像匹配结果和双目视觉原理，重建飞行器表面的3D点云数据模型，包括：
设b为左右相机的投影中心连线距离，(u0，v0)为图像的主点，ax和ay为相机等效焦距，u0、v0、ax、ay称为相机的内参数，(u1，v1)和(u2，v2)分别为P1和P2的图像坐标，则与P1和P2对应的空间点Pc(x1，y1，z1)三维坐标可表示为：
所述对左右相机采集的2幅无条纹图像，识别出铆钉兴趣区域，包括：
对左右相机采集的2幅无条纹图像均进行以下a、b、c、d步骤处理：
a.采用Canny算子提出图像边缘；
b.采用Hough变换对边缘图像进行椭圆检测；
c.采用最小二乘方法对椭圆进行拟合；
d.求取满足如下条件的椭圆区域，即为疑似铆钉兴趣区域；
椭圆边缘L长度满足：Ldown≤L≤Lup，Ldown为阈值下限，Lup为阈值上限；椭圆长短半轴比满足：(a/b)≤raxis，raxis为长轴与短轴的比值阈值，其中，a为长半轴，b为短半轴；
e.设从左相机图像中检测到疑似兴趣区域为ROIleft，从右相机图像中检测到疑似兴趣区域为ROIright，根据公式(5)中获得的绝对相位，比较ROIleft和ROIright的绝对相位值之差是否小于阈值ThROI，如果小于ThROI，则选择ROIleft为铆钉兴趣区域。
所述采用曲面拟合方法，重建飞行器表面铆钉兴趣区域基准构形，包括：
设单个铆钉区域对应的点云数据为PROI，以PROI为基准，在径向方向外沿15个像素，得到铆钉环形邻域的点云数据为PRING；
采用NURBS曲面拟合方法，对PRING进行拟合，得到曲面Sn，则Sn为铆钉铆钉兴趣区域的基准构型。
所述计算铆钉兴趣区域内的点到飞行器表面铆钉兴趣区域基准构形的距离，获得距离残差曲面Rc，包括：
设P是铆钉兴趣区域点云模型PROI内的任意一点，曲面Sn与任意点P之间的向量可以表示为参数曲面的一个函数：r(u，v)＝Sn(u，v)-P；
r(u，v)与切面垂直的前提是：r(u，v)必须在每个方向上垂直于偏微分Su(u，v)和Sv(u，v)，即：f(u，v)＝r(u，v)·Su(u，v)＝0，g(u，v)＝r(u，v)·Sv(u，v)＝0；那么通过求解上述方程式，采用牛顿迭代法，可以在曲面Sn上找到P的最近点Psn-colsest；u和v为曲面的参数；
计算铆钉兴趣区域点云模型PROI中所有的点到铆钉铆钉兴趣区域的基本构型曲面Sn上对应最近点的距离，即距离残差曲面Rc。
所述将距离残差曲面Rc的结果编码成铆钉兴趣区域伪彩色图像，包括：
将Rc的值按降序排列，让最高值对应红色，最低值对应蓝色；其它值的颜色由线性插值方法获得，编码后每个像素点对应一个颜色值，Rc上所有的点及颜色值构成一副图像，即为铆钉兴趣区域伪彩色图像。
所述采用投影仪将铆钉兴趣区域伪彩色图像投影到飞行器表面，形成直观的检测结果，包括：
a.采用绝对相位值对投影仪的DMD芯片和相机CCD芯片进行标定：
将标定板放置在测量范围内的某一位置，使用投影仪向标定板分别投射一组水平光栅图像和一组垂直光栅图像，并使用相机同步拍摄光栅图像和标定板图像，然后采用公式(5)的相位展开方法得到绝对相位；
对于标定板图像中的某个特征点pi，该点的水平相位值对应于DMD芯片中的一水平条线hi，同理，垂直相位对应DMD中的一垂直条线vi，于是，利用水平条线hi和垂直条线vi的交点，可以确定pi在DMD中对应点，依次处理，建立投影仪DMD与相机CCD特征像素点之间的对应关系；
利用上述对应关系，可求出单应矩阵H，采用反投影误差最小化方法，对H进行优化，最后得到DMD与相机CCD所有像素点之间对应关系；
b.采用投影仪将铆钉兴趣区域伪彩色图像投影到飞行器表面，形成直观的检测结果。
本发明具有以下有益效果及优点：
1.本发明方法为飞行器表面制造质量检测提供了一种新的技术手段，具有精度高、数据量化和结果直观等优点，有利于促进我国航空工业产品表面制造智能化、自动化水平的提升。
2.该方法也可用于发动机叶片、汽车面板、活塞等产品的表面铆钉兴趣区域精确检测，具有较好的普适性和推广价值。
附图说明
图1本发明方法流程图；
图2本发明方法采用的硬件系统构成图；
图3本发明方法中的相位展开方法示意图；
图4本发明方法中的双目视觉重建原理图；
图5本发明方法中的点到曲面距离计算示意图；
图6本发明方法中的伪彩色图像。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
如图1所示，本发明一种基于3D数据的飞行器表面制造质量检测方法包括如下步骤：
采用投影仪向飞行器蒙皮表面投射3组共12幅正弦条纹图像；
左右相机采集经飞行器表面调制后的12幅条纹图像；
利用上述采集的图像进行相位开展，获得绝对相位；
根据绝对相位和对极几何约束，进行左右相机图像匹配；
根据图像匹配结果和双目视觉原理，重建出飞行器表面的3D点云数据模型；
利用左右相机采集的2幅无条纹图像，采用图像处理方法识别出铆钉区域；
利用铆钉兴趣区域图像图像和3D点云模型的对应关系，在3D点云数据模型中对铆钉兴趣区域进行定位；
采用曲面拟合方法，重建出铆钉兴趣区域的飞行器表面基准构形；
计算铆钉兴趣区域内点到基准构形的距离，获得铆钉兴趣区域的几何信息；
将铆钉兴趣区域检测结果编码成伪彩色图像；
采用投影仪将铆钉兴趣区域伪彩色图像投影到飞行器表面，形成直观的检测结果指示。
以下就图1中的几个关键步骤作详细说明：
1.正条纹图像的生成与投影：
按下列公式生成3组12幅标准正弦分布的条纹图像
其中，m＝1，2，3，i＝1，2，3，4，I′(x，y)图像的平均灰度图像，I″(x，y)为图像的灰度调制，δmi分别为图像相位移，为相对相位，和对应的波长分别为λ1、λ2和λ3。
用投影仪将12幅条纹图像投射到飞行器表面；
2.采集图像：
如图2所示，本发明方法采用的硬件系统包括组成双目视觉的相机、正弦条纹投影单元以及图像处理器；利用上述系统检测飞行器表面铆钉凹凸铆钉兴趣区域。本发明方法对工业相机的分辨率不做严格要求，目前市场上150万像素以上的相机，完全可以满足要求。拍摄时，物距不能太大，光轴与飞行器表面法向的夹角不易过大，否则铆钉图像中椭圆太小太扁，影响检测效果。除了拍摄12幅条纹图像之外，再拍摄2幅没有条纹的飞行器表面图像，用于铆钉识别。拍摄完成后，自动将照片导入计算机。
3.相位展开及图像匹配：
a.采用四步相移法，运用下列公式分别计算出3组条纹图像的相对相位和即
其中，m＝1，2，3，被反正切函数截断在[-π，π]内，在测量空间不连续；
b.采用双频叠加法用下列公式对和进行叠加得到
对应的波长为
c.同理，用下列公式对和进行叠加得到
对应的波长为
d.同理，运用公式(4)，对和进行叠加得到
e.对进行展开，得到绝对相位Φ123(x，y)
其中，INT表示取整。
4根据相位值和对极线约束，实现图像匹配：
设P2为右图像中的任一点，绝对相位值为ΦP2，Lleft为P2在左图像中对应的对极线，则P2在左图像中的匹配点P1应位于Lleft上，且该匹配点P1的相位值ΦP1与P2的相位值ΦP2的差值绝对值最小，则P2和P1是匹配点。
5.基于双目视觉的三维点云重建：
设b为左右相机的投影中心连线距离，(u0，v0)为图像的主点，ax和ay为相机等效焦距，u0、v0、ax、ay称为相机的内参数，(u1，v1)和(u2，v2)分别为P1和P2的图像坐标，则与P1和P2对应的空间点Pc(x1，y1，z1)三维坐标可表示为：
6.铆钉区域识别：
(1)对左右相机采集的2幅无条纹图像，均进行：
a.采用Canny算子提出图像边缘；
b.采用Hough变换对边缘图像进行椭圆检测；
c.采用最小二乘方法对椭圆进行拟合；
d.根据椭圆的先验知识，删除太大、太小、太扁的椭圆，即合格的椭圆应满足如下条件：
椭圆边缘长度满足：Ldown≤L≤Lup，Ldown为阈值下限，Lup为阈值上限；
椭圆长短半轴比满足：(a/b)≤raxis，raxis为长轴与短轴的比值阈值。
最后剩下的椭圆区域，即为疑似铆钉兴趣区域。
(2)设从左相机图像中检测到疑似兴趣区域为ROIleft，从右相机图像中检测到疑似兴趣区域为ROIright，根据公式(5)获得的绝对相位，比较ROIleft和ROIright的绝对相位值之差是否小于阈值ThROI，如果小于ThROI，则ROIleft和ROIright是合格区域，并选择ROIleft为最终的铆钉兴趣区域ROI。
7.利用铆钉兴趣区域图像和3D点云模型的对应关系，在3D点云数据模型中对铆钉兴趣区域进行定位：
在基于双目视觉的三维点云重建步骤中，飞行器表面重建时，获得了图像中所有像素点对应的3D点云数据；在铆钉区域识别步骤中，检测出铆钉在图像中的兴趣区域ROI后，该兴趣区域对应的像素点也就确定了，因此该兴趣区域对应的3D点云数据直接可以确定，到此已实现在点云数据中对铆钉兴趣区域的定位。
8.铆钉兴趣区域的基准构形重建：
设单个铆钉区域对应的点云数据为PROI，以PROI为基准，在径向方向外沿15个像素，得到铆钉环形邻域的点云数据为PRING；
采用NURBS曲面拟合方法，对PRING进行拟合，得到曲面Sn，则Sn为铆钉缺陷的基准构型；
NURBS曲面是从四维空间中非均匀B样条多项式曲面中得到的，控制点为(0≤i0≤n0，0≤i1≤n1)，多项式曲面为
其中，权重和为同名多项式。NURBS曲面可以通过如下方法获得，即将(Sn(s，t)，w(s，t))作为齐次向量，并除以最后一个分量，以得到三维空间上的一个投影
其中，
9.铆钉铆钉兴趣区域的几何信息计算：
如图5所示，设P是铆钉兴趣区域点云模型PROI内的任意一点，曲面Sn与任意点P之间的向量可以表示为参数曲面的一个函数：r(u，v)＝Sn(u，v)-P；
r(u，v)与切面垂直的前提是：r(u，v)必须在每个方向上垂直于偏微分Su(u，v)和Sv(u，v)，即：f(u，v)＝r(u，v)·Su(u，v)＝0，g(u，v)＝r(u，v)·Sv(u，v)＝0；那么通过求解上述方程式，采用牛顿迭代法，可以在曲面Sn上找到P的最近点Psn-colsest；所述u和v为曲面参数；
计算铆钉兴趣区域点云模型PROI中所有的点到铆钉缺陷的基本构型曲面Sn上对应最近点的距离，得到距离残差曲面Rc。
10.铆钉兴趣区域数据的伪彩色图像编码：
将Rc的值按降序排列，让最高值对应红色，最低值对应蓝色；其它值的颜色由线性插值方法获得，编码后每个像素点对应一个颜色值,Rc上所有的点及颜色值构成一副图像，即为缺陷伪彩色图像。
11.基于光学打标的铆钉兴趣区域投影显示：
投影仪与相机芯片对应关系标定：
采用绝对相位值对投影仪DMD与相机CCD像素点进行标定：
将标定板放置在测量范围内的某一位置，使用投影仪向标定板分别投射一组水平光栅图像和一组垂直光栅图像，并使用相机同步拍摄光栅图像和标定板图像。然后采用公式(5)中的相位展开方法得到绝对相位；
对于标定板图像中的某个特征点pi，该点的水平相位值对应于DMD中的一水平条线hi，同理，垂直相位对应DMD中的一垂直条线vi，于是，利用水平条线hi和垂直条线vi的交点，可以确定pi在DMD中对应点，依次处理，即可建立投影仪DMD与相机CCD特征像素点之间的对应关系。
利用上述对应关系，可求出单应矩阵H，采用反投影误差最小化方法，对H进行优化，最后得到DMD与相机CCD所有像素点之间对应关系。
采用投影仪将铆钉兴趣区域伪彩色图像投影到飞行器表面，形成直观的检测结果指示。
综上所述，本发明方法及系统提供了一种新的飞行器表面制造质量检测手段，具有精度高、可量化、直观的特点，具有广泛的应用前景。

Claims (10)

1.一种基于3D数据的飞行器表面制造质量检测方法，其特征在于,包括以下步骤：
S1：采用投影仪向飞行器蒙皮表面投射三组共12幅条纹图像；
S2：采用左右相机同时采集投射在飞行器表面的三组共12幅条纹图像、以及2幅飞行器蒙皮表面无条纹图像；
S3：对左右相机采集的条纹图像分别进行相位开展，获得绝对相位Φ123(x,y)；
S4：根据绝对相位和对极几何约束，进行左右相机图像匹配；
S5：根据图像匹配结果和双目视觉原理，重建飞行器表面的3D点云数据模型；
S6：对左右相机采集的2幅无条纹图像，识别出铆钉兴趣区域；
S7：利用铆钉兴趣区域图像和3D点云模型的对应关系，在3D点云数据模型中对铆钉兴趣区域进行定位；
S8：采用曲面拟合方法，重建飞行器表面铆钉兴趣区域基准构形Sn；
S9：计算铆钉兴趣区域内的点到飞行器表面铆钉兴趣区域基准构形Sn的距离，获得距离残差曲面Rc；
S10：将距离残差曲面Rc的结果编码成铆钉兴趣区域伪彩色图像；
S11：采用投影仪将铆钉兴趣区域伪彩色图像投影到飞行器表面，形成直观的检测结果。
2.根据权利要求1所述的一种基于3D数据的飞行器表面制造质量检测方法，其特征在于,投射三组共12幅条纹图像，包括：
a.按下列公式生成3组12幅标准正弦分布的条纹图像
其中，m＝1,2,3，i＝1,2,3,4，I′(x,y)图像的平均灰度图像，I″(x,y)为图像的灰度调制，δmi分别为图像相位移，为相对相位；和对应的波长分别为λ1、λ2和λ3；
b.用投影仪将上述3组共12幅条纹图像投射到飞行器蒙皮表面。
3.根据权利要求1所述的一种基于3D数据的飞行器表面制造质量检测方法，其特征在于,所述对左右相机采集的条纹图像分别进行相位开展，获得绝对相位Φ123(x,y)，包括：
a.采用四步相移法，运用公式(1)分别计算出3组条纹图像的相对相位 和即
其中，m＝1,2,3，被反正切函数截断在[-π,π]内，在测量空间不连续；
b.采用双频叠加法运用公式(2)对和进行叠加得到
对应的波长为
c.同理，运用公式(3)对和进行叠加得到
对应的波长为
d.同理，运用公式(4)，对和进行叠加得到
e.对进行展开，得到绝对相位Φ123(x,y)
其中，INT表示取整。
4.根据权利要求1所述的一种基于3D数据的飞行器表面制造质量检测方法，其特征在于,所述根据绝对相位和对极几何约束，进行左右相机图像匹配，包括：
设P2为右图像中的任一点，绝对相位值为ΦP2，Lleft为P2在左图像中对应的对极线，则P2在左图像中的匹配点P1应位于Lleft上，且该匹配点P1的相位值ΦP1与P2的相位值ΦP2的差值的绝对值最小，则P2和P1是匹配点；其中，ΦP1和ΦP2为按照绝对相位Φ123(x,y)的计算得到。
5.根据权利要求4所述的一种基于3D数据的飞行器表面制造质量检测方法，其特征在于,所述根据图像匹配结果和双目视觉原理，重建飞行器表面的3D点云数据模型，包括：
设b为左右相机的投影中心连线距离，(u0,v0)为图像的主点，ax和ay为相机等效焦距，u0、v0、ax、ay称为相机的内参数，(u1,v1)和(u2,v2)分别为P1和P2的图像坐标，则与P1和P2对应的空间点Pc(x1,y1,z1)三维坐标可表示为：
6.根据权利要求3所述的一种基于3D数据的飞行器表面制造质量检测方法，其特征在于,所述对左右相机采集的2幅无条纹图像，识别出铆钉兴趣区域，包括：
对左右相机采集的2幅无条纹图像均进行以下a、b、c、d步骤处理：
a.采用Canny算子提出图像边缘；
b.采用Hough变换对边缘图像进行椭圆检测；
c.采用最小二乘方法对椭圆进行拟合；
d.求取满足如下条件的椭圆区域，即为疑似铆钉兴趣区域；
椭圆边缘L长度满足：Ldown≤L≤Lup，Ldown为阈值下限，Lup为阈值上限；椭圆长短半轴比满足：(a/b)≤raxis，raxis为长轴与短轴的比值阈值，其中，a为长半轴，b为短半轴；
e.设从左相机图像中检测到疑似兴趣区域为ROIleft，从右相机图像中检测到疑似兴趣区域为ROIright，根据公式(5)中获得的绝对相位，比较ROIleft和ROIright的绝对相位值之差是否小于阈值ThROI，如果小于ThROI，则选择ROIleft为铆钉兴趣区域。
7.根据权利要求1所述的一种基于3D数据的飞行器表面制造质量检测方法，其特征在于,所述采用曲面拟合方法，重建飞行器表面铆钉兴趣区域基准构形，包括：
设单个铆钉区域对应的点云数据为PROI，以PROI为基准，在径向方向外沿15个像素，得到铆钉环形邻域的点云数据为PRING；
采用NURBS曲面拟合方法，对PRING进行拟合，得到曲面Sn，则Sn为铆钉兴趣区域的基准构形。
8.根据权利要求1所述的一种基于3D数据的飞行器表面制造质量检测方法，其特征在于,所述计算铆钉兴趣区域内的点到飞行器表面铆钉兴趣区域基准构形的距离，获得距离残差曲面Rc，包括：
设P是铆钉兴趣区域点云模型PROI内的任意一点，曲面Sn与任意点P之间的向量可以表示为参数曲面的一个函数：r(u,v)＝Sn(u,v)-P；
r(u,v)与切面垂直的前提是：r(u,v)必须在每个方向上垂直于偏微分Su(u,v)和Sv(u,v)，即：f(u,v)＝r(u,v)·Su(u,v)＝0,g(u,v)＝r(u,v)·Sv(u,v)＝0；那么通过求解上述方程式，采用牛顿迭代法，可以在曲面Sn上找到P的最近点Psn-colsest；u和v为曲面的参数；
计算铆钉兴趣区域点云模型PROI中所有的点到铆钉兴趣区域的基准构形曲面Sn上对应最近点的距离，即距离残差曲面Rc。
9.根据权利要求1所述的一种基于3D数据的飞行器表面制造质量检测方法，其特征在于,所述将距离残差曲面Rc的结果编码成铆钉兴趣区域伪彩色图像，包括：
将Rc的值按降序排列，让最高值对应红色，最低值对应蓝色；其它值的颜色由线性插值方法获得，编码后每个像素点对应一个颜色值,Rc上所有的点及颜色值构成一副图像，即为铆钉兴趣区域伪彩色图像。
10.根据权利要求3所述的一种基于3D数据的飞行器表面制造质量检测方法，其特征在于,所述采用投影仪将铆钉兴趣区域伪彩色图像投影到飞行器表面，形成直观的检测结果，包括：
a.采用绝对相位值对投影仪的DMD芯片和相机CCD芯片进行标定:
将标定板放置在测量范围内的某一位置，使用投影仪向标定板分别投射一组水平光栅图像和一组垂直光栅图像，并使用相机同步拍摄光栅图像和标定板图像，然后采用公式(5)的相位展开方法得到绝对相位；
对于标定板图像中的某个特征点pi，该点的水平相位值对应于DMD芯片中的一水平条线hi，同理，垂直相位对应DMD中的一垂直条线vi，于是，利用水平条线hi和垂直条线vi的交点，可以确定pi在DMD中对应点，依次处理，建立投影仪DMD与相机CCD特征像素点之间的对应关系；
利用上述对应关系，可求出单应矩阵H，采用反投影误差最小化方法，对H进行优化，最后得到DMD与相机CCD所有像素点之间对应关系；
b.采用投影仪将铆钉兴趣区域伪彩色图像投影到飞行器表面，形成直观的检测结果。
CN201610934201.8A 2016-11-01 2016-11-01 一种基于3d数据的飞行器表面制造质量检测方法 Active CN108020172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610934201.8A CN108020172B (zh) 2016-11-01 2016-11-01 一种基于3d数据的飞行器表面制造质量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610934201.8A CN108020172B (zh) 2016-11-01 2016-11-01 一种基于3d数据的飞行器表面制造质量检测方法

Publications (2)

Publication Number Publication Date
CN108020172A CN108020172A (zh) 2018-05-11
CN108020172B true CN108020172B (zh) 2019-07-02

Family

ID=62069860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610934201.8A Active CN108020172B (zh) 2016-11-01 2016-11-01 一种基于3d数据的飞行器表面制造质量检测方法

Country Status (1)

Country Link
CN (1) CN108020172B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379844B (zh) * 2021-05-25 2022-07-15 成都飞机工业（集团）有限责任公司 一种飞机大范围表面质量检测方法
CN113343328B (zh) * 2021-06-08 2022-11-29 中国空气动力研究与发展中心计算空气动力研究所 一种基于改进牛顿迭代的高效最近点投影方法
CN113327246A (zh) * 2021-07-01 2021-08-31 北京航空航天大学 一种基于条纹投射和图像纹理约束的铆钉成形质量三维视觉检测技术
CN116817772B (zh) * 2023-08-31 2023-12-15 北京航为高科连接技术有限公司 航空沉头紧固件头部高度检测方法、装置及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101105393A (zh) * 2006-07-13 2008-01-16 周波 投射多频光栅的物体表面三维轮廓的视觉测量方法
CN101995231A (zh) * 2010-09-20 2011-03-30 深圳大学 一种大型薄壳物体表面的三维检测系统及其检测方法
CN102859994A (zh) * 2009-12-15 2013-01-02 特斯托股份公司 使空间分辨的测量结果可视化的方法及对应的测量装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060066877A1 (en) * 2004-09-30 2006-03-30 Daniel Benzano Capture and display of image of three-dimensional object

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101105393A (zh) * 2006-07-13 2008-01-16 周波 投射多频光栅的物体表面三维轮廓的视觉测量方法
CN102859994A (zh) * 2009-12-15 2013-01-02 特斯托股份公司 使空间分辨的测量结果可视化的方法及对应的测量装置
CN101995231A (zh) * 2010-09-20 2011-03-30 深圳大学 一种大型薄壳物体表面的三维检测系统及其检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Generic nonsinusoidal phase error correction for 3D shape measurement using a digital video projector;Song Zhang,Shing-Tung Yau;《PROCEEDINGS OF SPIE》;20060814;第62920R-1至62920R-10 *

Also Published As

Publication number Publication date
CN108020172A (zh) 2018-05-11

Similar Documents

Publication Publication Date Title
Fan et al. Road damage detection based on unsupervised disparity map segmentation
CN108020172B (zh) 一种基于3d数据的飞行器表面制造质量检测方法
CN104156536B (zh) 一种盾构机刀具磨损的可视化定量标定及分析方法
Ham et al. An automated vision-based method for rapid 3D energy performance modeling of existing buildings using thermal and digital imagery
Zhang et al. A 3D reconstruction method for pipeline inspection based on multi-vision
CN107767456A (zh) 一种基于rgb‑d相机的物体三维重建方法
CN107945155B (zh) 一种基于Gabor滤波器的牙膏管肩缺陷检测方法
CN108665535A (zh) 一种基于编码光栅结构光的三维结构重建方法与系统
CN104359403A (zh) 基于亚像素边缘算法的平面零件尺寸测量方法
CN102003938A (zh) 大型高温锻件热态在位检测方法
CN104573180A (zh) 基于单目多视角机器视觉的真人鞋型复制装置和鞋楦制造方法
CN104457562A (zh) 一种基于面结构光的承载鞍在线检测系统
CN104075659A (zh) 一种基于rgb结构光源的三维成像识别方法
Lee et al. Automatic pose generation for robotic 3-D scanning of mechanical parts
CN113970560B (zh) 一种基于多传感融合的缺陷三维检测方法
Shi et al. Circular grid pattern based surface strain measurement system for sheet metal forming
Lee et al. Vision-based inspection of prefabricated components using camera poses: Addressing inherent limitations of image-based 3D reconstruction
Wang et al. Structured-light three-dimensional scanning for process monitoring and quality control in precast concrete production.
CN106952262A (zh) 一种基于立体视觉的船板加工精度分析方法
CN117437220A (zh) 一种基于大数据的建筑工程质量检测方法及系统
Wu et al. Defect inspection for underwater structures based on line-structured light and binocular vision
Khaloo et al. Automatic detection of structural deficiencies using 4D Hue-assisted analysis of color point clouds
Motayyeb et al. Fusion of UAV-based infrared and visible images for thermal leakage map generation of building facades
Graebling et al. Optical high-precision three-dimensional vision-based quality control of manufactured parts by use of synthetic images and knowledge for image-data evaluation and interpretation
Ge et al. Universal calibration for a ring camera array based on a rotational target

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant