CN111536905A - 一种基于参考图像的单目光栅结构光视觉测量方法及系统 - Google Patents

Abstract

本发明涉及一种基于参考图像的单目光栅结构光视觉测量方法和系统，包括步骤：a、搭建单目结构光三维测量系统；b、光栅投射器向被测物体投射光栅条纹图案、附加平面图案和散斑图案，同时触发工业相机采集图像，求解得到二者包裹相位；c、对采集到的参考物体散斑图像和待测物体散斑图像进行立体匹配，获得参考物体和待测物体的相位映射关系，从而获得条纹阶次，然后结合求得的待测物体的包裹相位获得绝对相位值；d、将光栅投射器当作逆相机，工业相机和光栅投射器组成的系统当作双目立体视觉测量系统，根据三角测量法结合测得的绝对相位求解待测物体三维点云。在此方法只需三个图案即可测量目标的三维形貌，可被广泛应用于高速和实时的三维测量环境。

Description

一种基于参考图像的单目光栅结构光视觉测量方法及系统

技术领域

本发明涉及三维测量技术领域，特别涉及一种基于参考图像的单目光栅结构光视觉测量方法及系统。

背景技术

随着数字投影，成像和处理硬件的最新发展，光学三维表面测量技术得到了迅速发展。由于可获得低成本，快速，非接触式，高可靠性的三维实时测量，因此广泛应用于但不限于机械工程，工业监控，计算机视觉，虚拟现实，生物医学和其他工业应用。光学三维表面测量技术中使用条纹投影的实时三维测量技术应用最为广泛，一般可分为两种：傅立叶变换轮廓术(FTP)和相移轮廓术(PSP)。PSP通常至少需要三个条纹图像，其优点是较高的空间分辨率，测量精度以及对环境照明和变化的表面反射率的鲁棒性。但是，在测量动态场景时，运动会导致相位失真伪影，尤其是当帧间时间间隔内的对象运动不可忽略时。FTP仅从单个高频正弦条纹图像中检索相位信息，因此非常适合于快速3D形状数据采集。但是当被测表面包含尖锐的边缘，不连续和/或较大的表面反射率变化时，容易导致相位求解失败。此外，两种方法计算得到的相位均位于[-π，π]之间，需要通过相位展开技术来消除相位歧义获得不折叠的绝对相位。相位展开技术主要分为3种：基于空间的展开方法，基于时间的展开方法和立体相位展开方法。在测量突然的深度不连续的孤立对象或表面时，基于空间展开方法失效；时间相位展开方法借助具有不同条纹周期的附加包裹相位图来实现像素级相位展开，所需图案数量增加，这限制了其在高速测量中的应用；立体相位展开方法通常需要额外的工业相机，这增加了硬件成本，此外，双相机系统还会产生更多的阴影，并且测量范围更小。

发明内容

本发明技术解决问题：为了克服表面反射率变化和频域中的频谱重叠对测量的影响，本发明采用背景归一化傅里叶变换法(需要额外投射一幅附加平面图像)；为了提高散斑匹配的精度和速度，本发明采用基于倒金字塔和条件随机场的立体匹配技术。因此本发明提供一种基于参考图像的单目光栅结构光视觉测量方法及系统，利用三幅图像即可获得展开相位，提高了相位求解的速度，同时在孤立的物体和复杂纹理情况下，依然能够获得物体表面的三维形貌信息。综上所述，为了测量动态物体表面，提高测量速度，需要减少附加图案的数量，在求解包裹相位的时候采用傅里叶变换轮廓术，在求解绝对相位的时候考虑到测量对象的普遍性，硬件成本和视场范围，较少的附加图案，采用相位展开框架，只需增加一幅附加散斑图像即可进行相位展开。本发明还进一步改进了所使用的求解包裹相位方法以及待测散斑图像和参考散斑图像的立体匹配方法。

为达到上述目的，本发明的技术方案是这样实现的：一种基于参考图像的单目光栅结构光视觉测量方法，包括以下步骤：

a、搭建单目结构光三维测量系统，包括光栅投射器和工业相机，并标定光栅投射器和工业相机，获得测量系统的内外参数；

b、光栅投射器向被测物体投射光栅条纹图案、附加平面图案和散斑图案，同时触发工业相机采集被平坦的参考物体和待测物体表面调制之后的图像，根据背景归一化傅里叶变换，求解得到二者包裹相位；

c、对采集到的参考物体散斑图像和待测物体散斑图像进行立体匹配，获得参考物体和待测物体的相位映射关系，从而获得条纹阶次，然后结合求得的待测物体的包裹相位获得绝对相位值；

d、将光栅投射器当作逆相机，工业相机和光栅投射器组成的系统当作双目立体视觉测量系统，根据三角测量法结合测得的绝对相位求解待测物体三维点云。

所述步骤a中搭建单目结构光三维测量系统和标定光栅投射器和工业相机，获得测量系统的内外参数的具体实现过程如下：

搭建单目光栅结构光视觉测量系统，固定工业相机和光栅投射器，使得光栅投射器投射的条纹位于工业相机的视场内；对单目视觉传感器和光栅结构光传感器进行标定，获得工业相机和光栅结构光传感器的内参，以及单目-光栅结构光组成的立体视觉传感器的结构参数，即外参数。

所述步骤b中基于背景归一化傅里叶变换的包裹相位求解具体实现过程如下：

光栅投射器分别向被测物体投射光栅条纹图案、附加平面图案和散斑图案，同时触发工业相机采集被待测物体表面调制之后的图像；两个投影图案分别为高频正弦条纹

和附加平面图案

式中，(x^p,y^p)是光栅投射器的像素坐标，a^p是强度均值，b^p是强度调制，f₀是正弦条纹的频率，单位为周期/像素；

捕获的图像的相应强度I₀(x,y)、I₁(x,y)分别是：

I₀(x,y)＝A(x,y)+B(x,y)cos[φ(x,y)]

I₁(x,y)＝A(x,y)

其中A(x,y)为强度均值，B(x,y)为强度调制,φ(x,y)为包裹相位；

通过归一化消除表面反射率的影响，得到归一化强度如下式

式中，γ是一个预定常数，用于防止被零除错误；

然后基于2D傅立叶变换从I_d提取包裹相位φ(x,y)；由于在傅里叶变换之前消除了零级以及表面反射率变化的影响，能够防止或显着减轻频域中的频谱重叠，提高最大可测量范围和测量精度。

所述步骤c中基于立体匹配算法的绝对相位求解具体实现过程如下：

(1)使用倒金字塔式的方法获得初始图块视差，从每个待匹配的散斑图像像素级别开始，递归地使用像素空间中的绝对差之和(SAD)检查上一级的2×2个非重叠图块，将每个图块的获胜假设作为递归中下一个级别的输入，直到这些图块的宽度为16×16像素为止，即获得完整图像的粗糙的平行于正面的深度图块，并为每个16×16的图块分配了单个视差d；

(2)倾斜估计和子像素估计；通过将抛物线拟合到通过评估图块上的3个平面假设上，根据计算出的代价，来优化视差平面的三个参数值(所述的3个平面为正平行，+30度倾斜和-30度倾斜)。一旦完成优化，每个图块都将与遵循平面方程的视差模型相关联；

(3)传播和推断；为了解决具有不连贯解的少数图块的问题，使用条件随机场(CRF)；问题在于概率框架：

并在log空间中最小化：

其中，E(Y|D)表示势能函数，Z(D)是分区函数，数据项ψ_u(l_i)对应于平面假设l_i下图块i的视差误差，ψ_p(l_i,l_j)计算平面假设l_i下图块i的视差与其邻域

候选视差之间的“1-范数”；

上述的概率框架通过平均场的近似执行，其中每个最小化步骤对应于采取与当前图块相关联的标签的并集及其

邻域；一旦执行了最小化，就利用估计的平面假设l_i进行另一个抛物线拟合来细化每个图块上的视差；传播完成后，对每个16×16图块的视差和倾斜度都有一个可靠的估计；

(4)每像素估计，利用上述初始化来获得精确的每个像素的结果；首先，每个图块都在x和y方向上“扩展”了50％-导致任何图像边界处除外的给定像素与4个扩展图块重叠；对于每个扩展的图块，使用相应的平面假设l_i建立一个积分“平铺”的重建误差(SAD)为每个扩展的图块构建了另外两个不可分割的“平铺”，通过在l_i的视差分量上添加一个小的增量来捕获重建误差；对于每个像素，使用上述整体图块对它们各自的代价量进行4个抛物线拟合；每个像素的代价再次被定义为所讨论像素为中心的11×11图块上计算的重构误差，具有最小内插重构误差的解即为匹配点，即建立待测物体散斑图像和参考平面散斑图像之间的对应关系；

(5)绝对相位求解，在使用匹配算法在被测物体和参考平面散斑图像之间创建对应关系后，直接将参考平面散斑图像的绝对相位值映射为当前待测物体图像像素的粗略绝对相位值φ_rough(x,y)；使用φ_rough(x,y)进行相位展开，即确定条纹阶次k(x,y)：

其中，round()表示四舍五入函数。

再结合得到的相对相位值φ(x,y)求解精确的绝对相位值φ_a(x,y)：

φ_a(x,y)＝φ(x,y)+k(x,y)×2π

所述步骤d中根据标定参数和绝对相位求解表面点云信息；建立世界坐标系中的一点到工业相机和光栅投射器像素平面的映射关系，根据透射投影变换模型，得：

式中P_p(u_p)表示光栅投射器像面水平坐标，P_c(u_c,v_c)表示工业相机像面坐标，M_p，M_c分别为光栅投射器和工业相机内外参数，经过系统标定后M_p和M_c变为已知参数，根据获取的绝对相位能够求出P_p(u_p)，代入上式求出P_w(X_w,Y_w,Z_w)，即待测物体表面的三维坐标。

本发明还提出一种基于参考图像的单目光栅结构光视觉测量系统，包括：

单目结构光三维测量系统，包括光栅投射器和工业相机，控制电路板，及待测物体，控制电路板连接到工业相机和光栅投射器；标定光栅投射器和工业相机，获得测量系统的内外参数；

所述光栅投射器用于向被测物体投射光栅条纹图案、附加平面图案和散斑图案，同时触发工业相机采集被平坦的参考物体和待测物体表面调制之后的图像，根据背景归一化傅里叶变换，求解得到二者包裹相位；

所述工业相机用于对采集到的参考物体散斑图像和待测物体散斑图像进行立体匹配，获得参考物体和待测物体的相位映射关系，从而获得条纹阶次，然后结合求得的待测物体的包裹相位获得绝对相位值；

将所述光栅投射器当作逆相机，工业相机和光栅投射器组成的系统当作双目立体视觉测量系统，根据三角测量法结合测得的绝对相位求解待测物体三维点云。

本发明与现有技术相比的优点在于：

(1)因为对传统傅里叶变换求解包裹相位的过程中，表面反射率对具体的影响较大，而背景归一化傅里叶变换只通过增加一幅图片即可消除表面反射率对相位求解的影响；

(2)在绝对相位映射的过程中，通过本发明使用的立体匹配方法，即使参考平面过度倾斜的时候，也可以正确匹配参考散斑图像和待测散斑图像；

(3)现有基于时间的相位展开方法需要的图片数量较多，比如最常用的三步相移三频外差法即需要9幅图像，因此在运用到快速运动的物体上的时候，会因为运动的原因造成解相的错误，最终导致三维重建结果不准确。虽然可以借助几何约束的方法使用少量图片(少至三幅)进行解相，但是需要额外的一台工业相机，提高了硬件成本，同时公共视场更小，需要获得物体表面全貌的时间增加。而本发明方法采用单工业相机单光栅投射器结构且只需要三幅图片即可获得相位展开的结果，成本较低，单次测量的视野较大并且能够在一定程度上克服运动引起的误差。

附图说明

图1为本发明一种基于参考图像的单目光栅结构光视觉测量方法的总体实现流程图；

图2为单目光栅结构光视觉三维测量系统；其中，①为工业相机，②为光栅投射器，③为控制电路板，④为待测物体；

图3为投射的散斑图案；

图4为基于参考图像的相位展开框架。

图5为叶片外表面的局部三维重构结果。

具体实施方式

以下结合附图及具体实施实例对本发明再作进一步详细的说明。

如图1所示，本发明的具体实现包括以下步骤：

步骤1：本发明提出的基于参考图像的单目光栅结构光视觉测量方法所搭建的系统如图2所示，主要包括工业相机①、光栅投射器②、控制电路板③。工业相机①和光栅投射器②按照从左到右的顺序按一定基线距摆放，使得光栅投射器投射的条纹位于工业相机的视场内。光栅投射器②向待测物体④表面投射光栅条纹，工业相机①同时采集待测物体④的条纹图像。

对测量系统中的工业相机和光栅投射器进行标定，获得其内外参数。包括工业相机和光栅投射器内参K_c、K_p，畸变系数(k_1c,k_2c,p_1c,p_2c)、(k_1p,k_2p,p_1p,p_2p)，以及立体视觉传感器的结构参数，即旋转矩阵R，平移矢量T。

步骤2：光栅投射器在叶片表面投射高频正弦条纹(即光栅条纹图案)，附加平面图案和散斑图案，投射的散斑图案如图3所示。图案受表面高度调制，携带了表面的高度信息，工业相机同时采集叶片的条纹图像。

采用高频正弦条纹和附加平面图案求解包裹相位，投影图案分别表示为：

采集的图像相应强度是：

I₀(x,y)＝A(x,y)+B(x,y)cos[2πf₀x+φ₀(x,y)]

I₁(x,y)＝A(x,y)

步骤3：根据采集到的图像，采用背景归一化傅里叶变换求解包裹相位，其背景归一化强度如下所示：

基于2D傅立叶变换从I_d提取包裹相位。

步骤4：基于立体匹配的绝对相位求解方法包括以下步骤。

立体匹配过程在GPU上运行。首先对图像进行立体校正，根据倒金字塔执行分层搜索来估计初始平铺视差图，其中每个图块的视差值都遵循平面方程，设该平面为l＝[d,d_x,d_y]，则左图像x_L中的像素与右图像x_R中的像素关系变为：

x_L＝x_R+S(x_L,l)

S(x_L,l)＝k_xd_x+k_yd_y-d

其中，k_x，k_y是与面片中心的任何偏移量，d表示16×16的图块的视差，d_x和d_y是控制平面方向的系数。通过将抛物线拟合到通过评估图块上的3个平面假设(正平行，+30度倾斜和-30度倾斜)而计算出的代价，来优化dx和dy的值。

然后使用有效的推理来改进初始估计。在log空间中最小化下式：

其中，数据项ψ_u(l_i)对应于平面假设l_i下图块i的重构误差，Z(D)是分区函数。定义

其中，求和是对图块i中包含的像素集合T_i中的所有像素p执行求和。函数S(p_x,l_i)估计平面假设l_i下像素p的视差。最后，IL()和IR()分别返回存储在左和右图像中的像素值。

在邻域N_i上评估新的成对势能ψ_p，它对应于图块i的上下左右图块，并定义为：

其中c(i)_x返回像素在图块i中心的位置，而

对应于平面假设l_i的视差分量。具体地，该函数计算出估计的视差与当前候选视差之间的截短的“1-范数”。为了不过度惩罚较大的视差变化(例如，从前景到背景的过渡)，将该距离截短。参数λ控制解的平滑度。上述的概率框架通过平均场的近似可以有效地执行，然后可以获得每个图块上的细化视差。

然后，这些修正的每块图像估计用于推断精确匹配的每个像素。

最后根据获得的匹配结果，将参考图像的绝对相位映射到当前被测图像像素上，从而获得被测物体的条纹阶次，进一步求解得精确到绝对相位值。

使用匹配算法在当前和参考斑点图像之间创建对应关系后，则可以直接映射当前图像像素的粗略绝对相位值φ_rough(x,y)。使用其进行相位展开，即确定条纹阶次k(x,y)：

再结合得到的相对相位值φ′(x,y)求解精确的绝对相位值φ_a(x,y)：

φ_a(x,y)＝φ(x,y)+k(x,y)×2π

整个相位求解过程如图4所示。

步骤5：通过由单目-光栅投射器组成的视觉测量系统，根据二者的标定参数结代入视觉测量模型中，可以获得最终的叶片的表面三维信息。

建立了世界坐标系中的一点到工业相机和光栅投射器像素平面的映射关系之后，根据透射投影变换模型，可得：

式中M_p，M_c分别为光栅投射器和工业相机内外参数，经过系统标定后M_p和M_c变为已知参数，即可求出P_w(X_w,Y_w,Z_w)，即叶片表面的三维坐标，如下所示。

X^w(u^c,v^c)＝G^cp(u^c,v^c)Z(u^c,v^c)+J^cp(u^c,v^c)

Y^w(u^c,v^c)＝L^cp(u^c,v^c)Z(u^c,v^c)+M^cp(u^c,v^c)

其中D^cp、E^cp、F^cp、G^cp、J^cp、L^cp和M^cp是从工业相机c和光栅投射器p之间的校准参数得出的参数矩阵。

以上所述，仅为本发明的较佳实施例而已，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明的保护范围。

Claims (6)

1.一种基于参考图像的单目光栅结构光视觉测量方法，其特征在于：包括以下步骤：

a、搭建单目结构光三维测量系统，包括光栅投射器和工业相机，并标定光栅投射器和工业相机，获得测量系统的内外参数；

b、光栅投射器向被测物体投射光栅条纹图案、附加平面图案和散斑图案，同时触发工业相机采集被平坦的参考物体和待测物体表面调制之后的图像，根据背景归一化傅里叶变换，求解得到二者包裹相位；

c、对采集到的参考物体散斑图像和待测物体散斑图像进行立体匹配，获得参考物体和待测物体的相位映射关系，从而获得条纹阶次，然后结合求得的待测物体的包裹相位获得绝对相位值；

d、将光栅投射器当作逆相机，工业相机和光栅投射器组成的系统当作双目立体视觉测量系统，根据三角测量法结合测得的绝对相位求解待测物体三维点云。

2.根据权利要求1所述的一种基于参考图像的单目光栅结构光视觉测量方法，其特征在于：所述步骤a中搭建单目结构光三维测量系统和标定光栅投射器和工业相机，获得测量系统的内外参数的具体实现过程如下：

搭建单目光栅结构光视觉测量系统，固定工业相机和光栅投射器，使得光栅投射器投射的条纹位于工业相机的视场内；对单目视觉传感器和光栅结构光传感器进行标定，获得工业相机和光栅结构光传感器的内参，以及单目-光栅结构光组成的立体视觉传感器的结构参数，即外参数。

3.根据权利要求1所述的一种基于参考图像的单目光栅结构光视觉测量方法，其特征在于：所述步骤b中基于背景归一化傅里叶变换的包裹相位求解具体实现过程如下：

光栅投射器分别向被测物体投射光栅条纹图案、附加平面图案和散斑图案，同时触发工业相机采集被待测物体表面调制之后的图像；两个投影图案分别为高频正弦条纹

和附加平面图案

式中，(x^p,y^p)是光栅投射器的像素坐标，a^p是强度均值，b^p是强度调制，f₀是正弦条纹的频率，单位为周期/像素；

捕获的图像的相应强度I₀(x,y)、I₁(x,y)分别是：

I₀(x,y)＝A(x,y)+B(x,y)cos[φ(x,y)]

I₁(x,y)＝A(x,y)

其中A(x,y)为强度均值，B(x,y)为强度调制,φ(x,y)为包裹相位；

通过归一化消除表面反射率的影响，得到归一化强度如下式

式中，γ是一个预定常数，用于防止被零除错误；

然后基于2D傅立叶变换从I_d提取包裹相位；由于在傅里叶变换之前消除了零级以及表面反射率变化的影响，能够防止或显着减轻频域中的频谱重叠，提高最大可测量范围和测量精度。

4.根据权利要求1所述的一种基于参考图像的单目光栅结构光视觉测量方法，其特征在于：所述步骤c中基于立体匹配算法的绝对相位求解具体实现过程如下：

(1)使用倒金字塔式的方法获得初始图块视差，从每个待匹配的散斑图像像素级别开始，递归地使用像素空间中的绝对差之和SAD检查上一级的2×2个非重叠图块，将每个图块的获胜假设作为递归中下一个级别的输入，直到这些图块的宽度为16×16像素为止，即获得完整图像的粗糙的平行于正面的深度图块，并为每个16×16的图块分配了单个视差d；

(2)倾斜估计和子像素估计；通过将抛物线拟合到通过评估图块上的3个平面假设上，根据计算出的代价，来优化视差平面的三个参数值，所述的3个平面为正平行，+30度倾斜和-30度倾斜；一旦完成优化，每个图块都将与遵循平面方程的视差模型相关联；

(3)传播和推断；使用条件随机场(CRF)解决具有不连贯解的少数图块的问题；概率框架如下：

并在log空间中最小化：

其中，E(Y|D)表示势能函数，Z(D)是分区函数，数据项ψ_u(l_i)对应于平面假设l_i下图块i的视差误差，ψ_p(l_i,l_j)计算平面假设l_i下图块i的视差与其邻域

候选视差之间的“1-范数”；

上述的概率框架通过平均场的近似而执行，其中每个最小化步骤对应于采取与当前图块相关联的标签的并集及其

邻域；一旦执行了最小化，就利用估计的平面假设l_i进行另一个抛物线拟合来细化每个图块上的视差；传播完成后，对每个16×16图块的视差和倾斜度都有一个可靠的估计；

(4)每像素估计，利用上述初始化来获得精确的每个像素的结果；首先，每个图块都在x和y方向上“扩展”了50％-导致任何图像边界处除外的给定像素与4个扩展图块重叠；对于每个扩展的图块，使用相应的平面假设l_i建立一个积分“平铺”的重建误差SAD，为每个扩展的图块构建了另外两个不可分割的“平铺”，通过在l_i的视差分量上添加一个小的增量来捕获重建误差；对于每个像素，使用上述整体图块对它们各自的代价量进行4个抛物线拟合；每个像素的代价再次被定义为所讨论像素为中心的11×11图块上计算的重构误差，具有最小内插重构误差的解即为匹配点，即建立待测物体散斑图像和参考平面散斑图像之间的对应关系；

(5)绝对相位求解，在使用匹配算法在被测物体和参考平面散斑图像之间创建对应关系后，直接将参考平面散斑图像的绝对相位值映射为当前待测物体图像像素的粗略绝对相位值φ_rough(x,y)；使用φ_rough(x,y)进行相位展开，即确定条纹阶次k(x,y)：

其中，round()表示四舍五入函数；

再结合得到的相对相位值φ(x,y)求解精确的绝对相位值φ_a(x,y)：

φ_a(x,y)＝φ(x,y)+k(x,y)×2π。

5.根据权利要求1所述的一种基于参考图像的单目光栅结构光视觉测量方法，其特征在于：所述步骤d中根据标定参数和绝对相位求解表面点云信息；建立世界坐标系中的一点到工业相机和光栅投射器像素平面的映射关系，根据透射投影变换模型，得：

式中P_p(u_p)表示光栅投射器像面水平坐标，P_c(u_c,v_c)表示工业相机像面坐标，M_p，M_c分别为光栅投射器和工业相机内外参数，经过系统标定后M_p和M_c变为已知参数，根据获取的绝对相位能够求出P_p(u_p)，代入上式求出P_w(X_w,Y_w,Z_w)，即待测物体表面的三维坐标。

6.一种基于参考图像的单目光栅结构光视觉测量系统，其特征在于：包括：

单目结构光三维测量系统，包括光栅投射器和工业相机，控制电路板，及待测物体，控制电路板连接到工业相机和光栅投射器；标定光栅投射器和工业相机，获得测量系统的内外参数；

所述光栅投射器用于向被测物体投射光栅条纹图案、附加平面图案和散斑图案，同时触发工业相机采集被平坦的参考物体和待测物体表面调制之后的图像，根据背景归一化傅里叶变换，求解得到二者包裹相位；

所述工业相机用于对采集到的参考物体散斑图像和待测物体散斑图像进行立体匹配，获得参考物体和待测物体的相位映射关系，从而获得条纹阶次，然后结合求得的待测物体的包裹相位获得绝对相位值；

将所述光栅投射器当作逆相机，工业相机和光栅投射器组成的系统当作双目立体视觉测量系统，根据三角测量法结合测得的绝对相位求解待测物体三维点云。

Images