CN114252020B - 一种多工位全场条纹图相移辅助散斑大长宽比间隙测量方法 - Google Patents

Abstract

本发明公开了一种多工位全场条纹图相移辅助散斑大长宽比间隙测量方法，针对飞机结构大长宽比间隙和阶差在多工位上布置单组间隙测量系统，进行全场间隙和阶差测量；使用投影仪将三步相移条纹图案和散斑图案先后投射到间隙及其上下缘上，提取间隙上下缘图像并校正，进行匹配与重构；搜索左右包裹相位图中每个有效像素的立体对应和绝对条纹顺序，生成初始视差图和绝对相位图；对视差错误的像素进行补偿；使用立体结构光模型，充分利用三视图信息，借助视差图和绝对相位图计算间隙上下缘特征点的三维坐标，进行三重扫描，测得结构间隙与阶差。该方法可以对任意结构间隙进行快速、准确的三维形状测量。

Description

一种多工位全场条纹图相移辅助散斑大长宽比间隙测量方法

技术领域

本发明属于光学三维测量系统测量技术领域，具体涉及一种多工位全场条纹图相移辅助散斑大长宽比间隙测量方法。

背景技术

随着航空工业的发展，大型飞机的研制需求越来越强烈。大型飞机研制中结构对缝间隙和阶差是衡量飞机气动等性能的重要因素，如舱门，机翼蒙皮对接处等。大型飞机的对缝间隙较长且对应结构偏大，在结构受载时可能会超出允许变形，需要在试验测量间隙与阶差对设计进行验证。飞机强度试验中，试验委托方对间隙和阶差的高精度测量要求强烈，但目前测量手段较为单一，一般使用接触式测量，如塞尺等方法，但对人工操作要求高，效率低，误差大，重复精度不高难以达到委托方的要求，低精度的间隙测量值对结构设计的指导性不足；另外，也有利用涡流传感器测量间隙的，在间隙两侧安装一对涡流传感器测量间隙与阶差，目前该技术仍然在研，而且测量范围较小，成本较大，仍然没有成熟的应用案例。国外使用非接触式二维激光传感器，但成本较大，系统复杂，精度偏低在0.1mm左右。随着现代精密测量技术的进步，三维测量技术，尤其是DIC技术得到了飞速的发展，并被广泛的运用于某些产品设计、质量控制、逆向工程、生物医疗等诸多领域。工程中DIC测量精度仍然不能完全满足需求，所以本发明利用投影仪将三步条纹投射到间隙上下缘的散斑图中，对散斑图像的分辨率进行优化，然后基于立体结构光模型利用DIC方法对提取的间隙图像进行匹配和三维重构，并针对大长宽比间隙和阶差，设置多工位单组测量装置实现间隙和阶差的全场测量。该方法简单，快速，鲁棒性好，精度高，满足试验委托方要求。

发明内容

本发明的目的在于针对大型飞机大长宽比间隙和阶差的测量需求，提供一种操作简单、可靠性好、精度较高的多工位全场相移辅助的散斑大长宽比间隙测量方法。

本发明是通过下述技术方案来实现的。

本发明公开了一种多工位全场条纹图相移辅助散斑大长宽比间隙测量方法，包括如下步骤：

1)针对结构间隙，设置两部工业摄像机和一个DLP投影仪构成单组间隙测量系统，在多工位上利用单组间隙测量系统进行间隙和阶差的全场测量；

2)使用DLP投影仪将三步相移条纹图案和散斑图案先后投射到间隙及其上下缘上，并同步触发工业摄像机提取间隙上下缘的图像进行匹配与重构；

3)将提取的间隙上下缘的相位图像和散斑图像进行校正，使图像平面共面且极线水平对齐，并使用校正后的条纹图像计算包裹相位图，计算背景强度以消除阴影区域；

4)对于左包裹相位图像中每个像素，通过沿右包裹相位图像中的同一行进行搜索，并选择具有本地最接近相位值的像素来获得，一次遍历搜索获得所有候选对象，完成间隙上下缘图像的相位匹配；

5)利用三视图几何约束排除一些错误的候选，计算3D候选对象并通过重新投影进行滤波；

6)使用数字图像相关法和赢家通吃方法计算视差图并进行视差优化；

7)使用左工业摄像机坐标作为测量坐标，提出立体结构光模型，计算特征点的三维坐标，进行三重扫描，测得结构间隙与阶差。

进一步，工业摄像机提取间隙上下缘的图像，包括捕捉间隙上下缘和覆盖结构间隙变形的条纹和散斑图像。

进一步，提取间隙上下缘的相位图像和散斑图像包括三对相位图和一对散斑图，使用校正后的条纹图像结合相位值

公式计算包裹相位图，计算背景强度。

进一步，进行视差优化，基于递归的连通区域标记算法，通过检查连通区域的面积大小来提取不连续区域；对于不连续区域中每个像素p_i，搜索其最近的有效像素p′_i并通过周期图获取条纹数量k′_i；在p_i处检查视差体积，在k_jth元素中是否有一个候选对象的视差；若是，候选对象的视差被认为是p_i真实视差，在p_i处的周期图设置为k′_i；若否，p_i设置为无效像素。

进一步，在立体结构光模型中，T_{camL_to_proj}及T_{camL_to_camR}不随校准板的位置变化；对于每对给定的匹配点

及

中未知参数

计算直线交点的最小二乘解l₁、平面M与直线l₂。

本发明由于采取以上技术方案，其具有以下有益效果：

本发明公开了一种多工位全场条纹图相移辅助散斑大长宽比间隙测量方法，该方法首先利用投影仪将100条正弦条纹和散斑图案投射到0.5×间隙宽度的范围，并基于立体结构光模型利用DIC方法对捕获的条纹和散斑复合图像进行匹配和三维重构，测量范围内的间隙和阶差，并在多工位上设置了单组测量系统组成多工位测量系统，最终实现大长宽比飞机结构间隙和阶差的全场测量。

进一步，利用投影仪先后投射条纹和散斑，设置两部工业相机捕获间隙上下缘图案进行匹配与重构，组成单组间隙测量系统，并设置多工位间隙测量系统，实现全场测量，测量方案简单直观，易于实现。

进一步，对四对立体图像，包括三对相位图和一对散斑图，进行校正以及变形前后图案的匹配，利用三视图几何约束排除一些错误的候选，计算3D候选对象并进行滤波，使用DIC方法和赢家通吃法计算视差图以及视差优化，该方法是通过相移辅助散斑的间隙测量策略，实质上是在原有的DIC散斑图像上引入了条纹信息，增大了图像的分辨率，有效提高了测量精度。

进一步，使用左工业摄像机坐标作为测量坐标，提出了立体结构光模型，包括八个线性方程组，七个未知参量，这实质上是一个计算直线交点的最小二乘解的过程，3D点云可通过上述八个超定线性方程组求解，简单直接易行。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的不当限定，在附图中：

图1飞机结构中大长宽比间隙的测量示意图；

图2相位辅助DIC匹配和三重扫描方法的流程图；

图3相位匹配原理图；

图4三视图几何常数示意图；

图5使用DIC确定候选像素中对应像素的示意图；

图6亚像素视差插值示意图；

图7立体结构光模型示意图。

具体实施方式

下面将结合附图以及具体实施例来详细说明本发明，在此本发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。

如图1所示，本发明提供一种多工位全场相移辅助的DIC大长宽比间隙测量系统，包括一个高速立体结构光系统，由两个工业摄像机(Ximea MQ013MG-ON)组成，采集图像大小为1280×1024像素，配备12mm焦距镜头(CHIOPT FA1201C)和一个高速数字投影仪(TexasInstruments DLP4500)，组成单组测量硬件系统。测量范围为0.5m×间隙宽度，测量精度可达到50μm，利用DLP投影仪向测量范围内先后投影条纹和散斑图案，试验加载前后工业摄像机提取包括间隙的条纹和散斑复合图像，因为单独条纹图像和单独散斑图像的分辨率都难以满足测量精度要求。该种条纹和散斑的复合图像的分辨率可满足精度要求，对加载前后条纹图像的相移匹配，进而对散斑图像匹配以及三维重构，利用条纹相移辅助的DIC策略实现间隙与阶差的测量。在飞机结构上的设置多个工位，每个工位上布置单组光学测量系统，实现多工位全场间隙与阶差的测量。

本发明还提供一种高效且鲁棒性好的多工位全场相移辅助的DIC大长宽比间隙测量方法，利用相位辅助DIC匹配方案，解决相位误差、投影失真导致投影点漂移以及后续的实时选择问题，实现飞机结构大长宽比间隙与阶差加载过程中的测量。方法流程图如图2所示。

步骤1：三步相移和散斑图案投影。使用DLP投影仪将三步相移条纹图案和一个散斑图案投射到间隙上下缘(包括间隙)上，并同步触发两个工业摄像机来提取间隙上下缘的图像，即捕捉间隙上下缘(覆盖间隙范围)变形的条纹和散斑图像进行匹配与重构。三步相移条纹图的强度I₁(x,y)、I₂(x,y)和I₃(x,y)可以用描述为下述公式：

式中，(x,y)是像素坐标，A(x,y)是背景强度,B(x,y)是调制强度，

是相位值。

要消除包裹的相位图中的阴影区域，A(x,y)也可通过以下公式计算：A(x,y)＝(I₁+I₂+I₃)/3，然后将其与阈值强度值进行比较。

步骤2：相位和散斑图像的校正。对四对立体图像，包括三对相位图和一对散斑图，进行校正，以使图像平面共面且极线水平对齐，并且使用校正后的条纹图像结合等式(4)计算包裹相位图，计算背景强度以消除阴影区域。

步骤3：相位匹配。对于左包裹相位图中的每个像素

对应的相位值

在像素的候选集

中，可以通过沿右包裹相位图中的同一行进行搜索并选择具有本地最接近相位值的像素来获得

如图3所示，实现一次遍历搜索获得所有候选对象，完成间隙上下缘图像的相位匹配。

步骤4：计算3D候选对象。为了减少候选对象数量，利用三视图几何约束排除一些错误的候选。如图4所示，对于候选集合M中每个像素

3D坐标p_j(X_j,Y_j,Z_j)点对

可通过以下公式计算：

其中，B是基线长度，F是焦距，(c_x,c_y)是左工业摄像机的光学中心，(c_x’,c_y’)是右工业摄像机的光学中心，d_i是视差。

步骤5：通过重新投影进行滤波。在左工业摄像机坐标中计算三维点p_j，并通过以下方式重新投影到投影仪图像平面上：

式中，

是投影点，P_proj是投影仪投影矩阵，T_{proj_to_camL}是从投影仪到左工业摄像机的变换矩阵，T_Rl是左工业摄像机的校正旋转矩阵。

在投影仪图像平面上，绝对相位

对于重新投影点

可通过以下方式获取：

式中，f是条纹数，ω是条纹图案的宽度。

考虑到左视图中的像素

以及正确的重新投影点

候选对象的相位差k_j通过以下公式计算：

式中，

为绝对相位，

为左包裹相位。

为了减少相位误差和候选搜索误差的影响，在候选对象过滤中应用了阈值。如果相位差的小数部分abs(k_j-round(k_j))≤threshold,候选对象将被保留，其差异将记录在k_jth视差体积的元素中，该元素存储左侧图像像素的所有可能视差。

步骤6：使用DIC法和赢家通吃法计算视差图。过滤后，其余候选对象仍包含错误。为了确定其余候选对象中唯一的校正像素，使用DIC技术计算以每个像素

为中心的子图像与每个候选像素

之间的相似性,如图5所示。

零平均归一化互相关(ZNCC)值是计算两幅图像之间相似性的常用描述符，但复杂图像相关性需要大量计算，使用一种变体ZNCC来加速相关性计算，其表示如下：

式中，

及

分别为左右散斑图像相关性视窗中像素i的强度，n为相关窗口大小，

利用积分图像技术可以得到。基于赢家通吃方法，将VZNCC值最高的候选对象视为目标的匹配点

以及视差

和相位边缘周期可以得到。对左侧图像中的每个像素执行上述计算，初始视差图和存储所有像素

周期图可以生成。

步骤7：视差优化。为了保持相移轮廓的原始分辨率，提出一种快速可靠的视差间断分割和填充方案，用于补偿具有错误视差的像素。开发了基于递归的连通区域标记算法，通过检查连通区域的面积大小来提取不连续区域。对于不连续区域中每个像素p_i，搜索其最近的有效像素p_i'并通过周期图获取条纹数量k_i'。在p_i处检查视差体积，在k_jth元素中是否有一个候选对象的视差。如果是的话，这个候选对象的视差被认为是p_i真实视差，在p_i处的周期图设置为k_i'。如果没有，p_i设置为无效像素。所提出的视差补偿方案可以利用条纹周期信息(而不是直接利用相邻视差进行插值)可靠、准确地检索错误像素的正确对应关系。利用相邻像素的相位值对视差图进行线性拟合，获得亚像素立体对应。如图6所示，对于左相位图中给定像素p_l，p_r是右相位图中p_l的匹配像素，可以通过使用相邻像素p_r的相位值拟合直线来计算亚像素匹配点。由于右相位图已包装，p_r的三个值需要考虑调整的p_r-及p_r+的相位值来得到。经过视差优化，得到最终的视差图和左展开相位图。

步骤8：使用左工业摄像机坐标作为测量坐标，提出立体结构光模型，计算间隙和阶差上下缘的特征点的三维信息，实现三维重构，模型其描述如下：

式中，P_camL及P_camR分别为立体校正后左右工业摄像机的投影矩阵，P_proj是投影仪的投影矩阵，

是

ω是图案图像宽度，f是条纹数量，T_{camL_to_proj}及T_{camL_to_camR}分别是从校正后的左工业摄像机坐标到投影仪坐标和校正后的右工业摄像机坐标的变换矩阵。在系统校准过程中，T_{camL_to_proj}及T_{camL_to_camR}不随校准板的位置变化，可通过成熟的立体校准技术获得。等式(10)至(13)提供了8个线性方程组，对于每对给定的匹配点

及

其中有7个未知参数

这实质上是一个计算直线交点的最小二乘解的过程，l₁、平面M与直线l₂，如图7所示。3D点

可通过求解上述超定方程获得。

本发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。

Claims (10)

1.一种多工位全场条纹图相移辅助散斑大长宽比间隙测量方法，其特征在于，包括如下步骤：

步骤1，针对结构间隙，设置两部工业摄像机和一个DLP投影仪构成单组间隙测量系统，在多工位上利用单组间隙测量系统进行间隙和阶差的全场测量；

步骤2，使用DLP投影仪将三步相移条纹图案和散斑图案先后投射到间隙及其上下缘上，并同步触发工业摄像机提取间隙上下缘的图像进行匹配与重构；

步骤3，将提取的间隙上下缘的相位图像和散斑图像进行校正，使图像平面共面且极线水平对齐，并使用校正后的条纹图像计算包裹相位图，计算背景强度以消除阴影区域；

步骤4，对于左包裹相位图像中每个像素，通过沿右包裹相位图像中的同一行进行搜索，并选择具有本地最接近相位值的像素来获得，一次遍历搜索获得所有候选对象，完成间隙上下缘图像的相位匹配；

步骤5，利用三视图几何约束排除一些错误的候选，计算3D候选对象并通过重新投影进行滤波；

步骤6，使用数字图像相关法和赢家通吃方法计算视差图并进行视差优化；

步骤7，使用左工业摄像机坐标作为测量坐标，提出立体结构光模型，计算特征点的三维坐标，进行三重扫描，测得结构间隙与阶差。

2.根据权利要求1所述的一种多工位全场条纹图相移辅助散斑大长宽比间隙测量方法，其特征在于，工业摄像机提取间隙上下缘的图像，包括捕捉间隙上下缘和覆盖结构间隙变形的条纹和散斑图像。

3.根据权利要求1所述的一种多工位全场条纹图相移辅助散斑大长宽比间隙测量方法，其特征在于，三步相移条纹图案的强度I₁(x,y)、I₂(x,y)和I₃(x,y)表示为：

式中，(x,y)是像素坐标，A(x,y)是背景强度,B(x,y)是调制强度，

是相位值。

4.根据权利要求1所述的一种多工位全场条纹图相移辅助散斑大长宽比间隙测量方法，其特征在于，提取间隙上下缘的相位图像和散斑图像包括三对相位图和一对散斑图，使用校正后的条纹图像结合相位值

公式计算包裹相位图，计算背景强度。

5.根据权利要求1所述的一种多工位全场条纹图相移辅助散斑大长宽比间隙测量方法，其特征在于，利用三视图几何约束排除一些错误的候选，对于候选集合M中每个像素

和

3D坐标p_j(X_j,Y_j,Z_j)点对

通过以下公式计算：

其中，B是基线长度，F是焦距，(c_x,c_y)是左工业摄像机的光学中心，(c_x’,c_y’)是右工业摄像机的光学中心，d_i是视差。

6.根据权利要求1所述的一种多工位全场条纹图相移辅助散斑大长宽比间隙测量方法，其特征在于，通过重新投影进行滤波，在左工业摄像机坐标中计算三维点p_j，并通过以下方式重新投影到投影仪图像平面上：

式中，

是投影点，P_proj是投影仪投影矩阵，T_{proj_to_camL}是从投影仪到左工业摄像机的变换矩阵，T_Rl是左工业摄像机的校正旋转矩阵，p_j(X_j,Y_j,Z_j)是3D坐标。

7.根据权利要求1所述的一种多工位全场条纹图相移辅助散斑大长宽比间隙测量方法，其特征在于，使用DIC法和赢家通吃法计算视差图，使用一种变体ZNCC来加速相关性计算：

式中，

和

分别为左右散斑图像相关性视窗中像素i的强度，n为相关窗口大小，

分别为相关窗口内左视图光强总和，右视图光强总和，左视图光强平方总和，右视图光强平方总和。

8.根据权利要求1所述的一种多工位全场条纹图相移辅助散斑大长宽比间隙测量方法，其特征在于，进行视差优化，基于递归的连通区域标记算法，通过检查连通区域的面积大小来提取不连续区域；对于不连续区域中每个像素p_i，搜索其最近的有效像素p′_i并通过周期图获取条纹数量k′_i；在p_i处检查视差体积，在k_jth元素中是否有一个候选对象的视差；若是，候选对象的视差被认为是p_i真实视差，在p_i处的周期图设置为k′_i；若否，p_i设置为无效像素。

9.根据权利要求1所述的一种多工位全场条纹图相移辅助散斑大长宽比间隙测量方法，其特征在于，使用左工业摄像机坐标作为测量坐标，提出立体结构光模型为：

式中，P_camL及P_camR分别为立体校正后左右工业摄像机的投影矩阵，P_proj是投影仪的投影矩阵，

是

w是图案图像宽度，f是条纹数量，T_{camL_to_proj}及T_{camL_to_camR}分别是从校正后的左工业摄像机坐标到投影仪坐标和校正后的右工业摄像机坐标的变换矩阵。

10.根据权利要求9所述的一种多工位全场条纹图相移辅助散斑大长宽比间隙测量方法，其特征在于，在立体结构光模型中，T_{camL_to_proj}及T_{camL_to_camR}不随校准板的位置变化；对于每对给定的匹配点

及

中未知参数

计算直线交点的最小二乘解l₁、平面M与直线l₂。

Images