CN110345882A - 一种基于几何约束的自适应结构光三维测量系统及方法 - Google Patents

Abstract

本发明公开了是一种基于几何约束的自适应结构光三维测量系统及方法，系统包括投影仪和相机，投影仪与相机投射的方向呈θ角度，投影仪与相机摆放位置与所测物体深度范围有关，利用单周期投影条纹不需要解包裹的特点，根据物体大致的高度信息确定虚拟平面，实现虚拟平面的自适应测量，获得虚拟平面之后，利用结构光测量系统的几何约束创建最小相位图，参考最小相位图逐像素展开包裹相位，实现相位解包裹，本发明通过参考理想的绝对相位图来确定条纹级数，本质上不需参考相邻像素或任何滤波器的像素信息，因此鲁棒性更好，相比之下，传统的时间相位展开方法通过参考噪声捕获其他附加信息来确定条纹级数。

Description

一种基于几何约束的自适应结构光三维测量系统及方法

技术领域

本发明属于先进制造与自动化领域，具体地说，是一种基于几何约束的自适应结构光三维测量系统及方法。

背景技术

在三维结构光投影测量中，由于投影条纹到被测物体表面得到的相位值是通过反正切函数运算得到的，也即其值域被包裹在(0，2π]或(-π，π]主值区间内。为了得到实际的连续相位φ(x，y)，必须进行相位解包裹运算，即从包裹相位中进行展开得到实际的连续相位分布图。传统的相位展开方法有两种：空间相位展开算法和时间相位展开算法。空间相位展开算法只需要一副包裹相位图，利用相邻相位点的不连续性，通过相加或相减K(x，y)(通常称为条纹级数)倍数的2π相位值从而求得展开后的连续相位。然而如果物体的表面几何形状突然发生变化，即一个像素与其相邻像素超过2π的相位变化，就会导致大多数空间展开算法失败。时间相位展开方法则通过寻找获得时间上的信息而不是从空间上获取信息，其基本思想是让投影的结构光频率随时间变化，形成时间轴上的序列，每个像素点沿着时间轴进行解包裹，实现各个像素点之间互相独立的相位展开，尽管该方法能很好地恢复绝对相位，但需要捕获更多的图像以便确定K(x，y)，降低了测量速度，这不利于快速三维形貌的测量。

为了解决传统时域相位展开方法测量效率低的限制，研究人员试图将第二个相机添加到单相机、单投影仪的结构光系统中进行绝对相位展开。该方法能成功测量复杂几何三维形貌，但由于需要全局搜索，计算速度较慢，需要精确地标定三个传感器(两个相机和一个投影仪)，并且难以测量表面几何形状急剧变化的物体。Yatong[1]等人提出了利用结构光系统的几何约束来逐像素展开相位的方法，该方法不需要额外的图像采集或其他相机，有利于高速绝对三维物体形状测量的应用。具体的是通过标定结构光系统，在给定的虚拟平面处创建绝对相位参考图。在该方法中对于虚拟平面的确定并没有给出具体方案，只是通过直尺简单测量物体到相机镜头的距离。在此基础上，Junfei[2]等人提出利用一个已知物体(乒乓球)的最近点提供以生成最小相位，即对已知物体在空间上分段进行相位展开，通过添加2π的整数倍使得恢复的形状与其实际几何形状相匹配。但该方法需要参考额外的已知物体进行空间相位展开，且测量任意两个物体表面之间的距离较为复杂，涉及表面配准和复杂离散点到表面距离的计算，不利于快速三维形貌的测量。

[1]An Y,Hyun J S,Zhang S.Pixel-wise absolute phase unwrapping usinggeometric constraints of structured light system[J].Optics Express,2016, 24(16):18445.

[2]Dai J,AnY,Zhang S.Absolute three-dimensional shape measurementwith a knownobject[J].OpticsExpress,2017,25(9):10384.

发明内容

本发明的目的是针对现有的结构光三维系统测量中解包裹方法的不足，提出了一种基于几何约束的自适应结构光三维测量系统和方法，通过投影单周期条纹确定物体大致高度确定虚拟平面，利用投影仪和相机的空间几何约束在虚拟平面处创建最小绝对相位并逐像素展开获得物体实际相位，从而实现结构光三维测量系统的自适应测量。

本发明是通过以下技术方案来实现的：

本发明公开了一种基于几何约束的自适应结构光三维测量系统，系统包括投影仪和相机，所述的投影仪与相机投射的方向呈θ角度，投影仪与相机摆放位置与所测物体深度范围有关。

本发明还公开了一种基于几何约束的自适应结构光三维测量方法，利用单周期投影条纹不需要解包裹的特点，根据物体大致的高度信息确定虚拟平面，实现虚拟平面的自适应测量，获得虚拟平面之后，利用结构光测量系统的几何约束创建最小相位图，参考最小相位图逐像素展开包裹相位，实现相位解包裹。

作为进一步地改进，本发明的具体步骤如下：

1)、利用常规标定方法对结构光系统进行标定，得到相应标定参数；

2)、投影仪投影单周期条纹，得到物体大致深度信息，确定虚拟深度平面；

3)、利用结构光系统的几何约束在虚拟深度平面处建立最小绝对相位图；

4)、物体包裹相位与最小绝对相位图进行比较，依次逐像素进行相位展开，得到物体实际连续相位；

5)、根据相位-高度的映射关系实现物体三维形貌的重构。

作为进一步地改进，本发明所述的步骤(2)的具体步骤如下：

投影单周期的正弦条纹，此时所得的相位值不需要解包裹即为实际的相位值，利用相移法进行相位解调，得到物体相位。

作为进一步地改进，本发明步骤2)中得到物体大致深度信息，确定虚拟深度平面，通过投影单周期的正弦条纹，得到的相位不需要解包裹即为实际的连续相位φ(x，y)，根据相位-高度的映射关系得到物体所在平面的范围即(Z_min，Z_max)，由于距离物体最近的平面是定义的一个虚拟平面，因此在得到物体所在平面的范围后，即可确定z_min，如下式：

其中Δz代表一个余量，为了保证是距离物体最近的平面且不与物体所在平面重合，依据单周期测得物体的高度与物体实际高度的误差确定Δz。

作为进一步地改进，本发明所述的步骤(4)的具体步骤如下：

在得到最小相位φ_min后，对包裹相位进行校正，若相机相位低于φ_min，则应添加2π到解包裹阶段进行相位展开，若在Z＞z_min处得到的相位若此时包裹的相位低于φ_min，则还应再加上2π来展开相位；

条纹级数K必须满足以下条件

对条纹级数K(x，y)向上取整，可以表示为：

为了确定物体深度范围的限制即(Z_min，Z_max)，对代表的平面进行讨论，，若投影仪与相机之间的角度为θ，一个投影条纹周期的跨度为Δd，表示投影条纹沿垂直方向投射区域的范围百分比，平面上的点A经相机成像到物平面Z_w上的点B，但其是从投影仪上不同点投影得到的，根据几何关系推导，可得到物体沿垂直方向的最大深度范围百分比为：

式中Δd＝T/H，其中T代表条纹周期，H代表投影仪在竖直方向上的分辨率。

过投影单周期条纹自适应测量以获得绝对相位来进行相位展开的方法。该方法不需要对额外已知物体进行空间相位展开来获得也不需要附加其他相机来获得绝对相位，对硬件要求低，测量速度不受物体三维形状的影响，也不需要额外的相位展开，提高了测量速度与准确度，简化了测量方法。

与那些需要一个以上的相机的现有技术方法不同，本文的方法仅需要单相机 -单投影仪的结构光系统，因此更易于部署，对硬件要求低且不改变结构光系统的设置，适用于任何传统的结构光系统。

本发明提出的方法是通过参考理想的绝对相位图来确定条纹级数，本质上不需参考相邻像素或任何滤波器的像素信息，因此鲁棒性更好，相比之下，传统的时间相位展开方法通过参考噪声捕获其他附加信息来确定条纹级数。

本发明提出了自适应动态测量虚拟平面的方法，该方法不需要对额外的物体进行相位解包裹，且处理方法简单，能快速确定虚拟平面从而创建最小绝对相位图。虚拟平面的确定与物体的深度范围有关，对物体的测量精度影响不大，因此单周期投影的方法可保证测量的准确性又能实现快速简单的测量。

本发明的方法采集图像少，只需第一次采集三幅图像确定虚拟平面，之后的每次测量都不需采集额外图像，即可实现相位解包裹得到较为理想的三维形貌测量，提高了三维系统的测量效率。

附图说明

图1是本发明结构光系统模型示意图；

图2是本发明包裹相位展开示意图；

图3是本发明所测物体深度范围与装置限制的关系；

图4是本发明解包裹方法的流程图；

图5是本发明结构光系统测量的流程图；

图中1是相机平面，2是投影仪平面，3是虚拟深度平面。、

具体实施方法

本发明公开了一种基于几何约束的自适应结构光三维测量方法，该方法只需单投影仪-单相机的结构光系统，图1是本发明的结构光系统模型示意图，显示了相机平面1，投影仪平面2和虚拟深度平面3。

一种基于几何约束的自适应结构光三维测量方法，以下通过具体实施例作进一步地说明，具体步骤如下：

1、利用常规方法对结构光系统进行标定得到标定参数，图1表示结构光系统的模型示意图，设三维空间中有一点P(X_w，Y_w，Z_w)在二维图像上投影的坐标为(u，v)，线性针孔模型可以在数学上表示为：

其中s代表缩放因子，f_u和f_v分别代表了u轴v轴上的有效焦距，γ是偏斜因子，(u₀，v₀)为像素坐标系原点在图像坐标系下的坐标，由于f_u，f_v，u₀，v₀，γ这些参数只与摄像机内部结构有关，因此称为内参数矩阵，令其为K；和t_i则分别代表了摄像机坐标系相对于世界坐标系的旋转矩阵参数和平移矩阵参数，则可称为摄像机的外参数矩阵，令其为M。可以通过摄像机标定来计算内外参数矩阵。

投影仪的投射过程正好和相机的拍摄过程相反，可以将其视为相机的反面。如果在相同的世界坐标系下，进行相机和投影仪的标定，则相机和投影仪的内外参数矩阵将物理相关。为简单起见，将世界坐标系与相机坐标系或投影仪坐标系重合。因此，可以得到两组方程式，分别用于相机和投影仪。

s_c[u_c v_c 1]^T＝K_cM_c[X_w Y_w Z_w 1]^T＝P_C[X_w Y_w Z_w 1]^T (5)

s_p[u_p v_p 1]^T＝K_pM_p[X_w Y_w Z_w 1]^T＝P_p[X_w Y_w Z_w 1]^T (6)

上式中下标c表示相机，下标p表示投影仪，t表示矩阵的转置操作。

在结构光系统标定后，矩阵P_C和P_p是已知的。对于相机中的每个像素(u_c，v_c)，公式(5)-(6)提供了6个方程，每个方程有7个未知数(s_c，s_p，X_w，Y_w，Z_w，u_p，v_p)，需要一个额外的约束方程来求所有未知数的唯一解。在结构光三维测量系统中，可以用相移法来进行相位解调及展开，得到绝对相位。绝对相位φ(x，y)可以创建一对多映射的约束方程，该方程将摄像机图像平面上的一个点(u_c，v_c)映射到投影仪图像平面上具有相同相位值的线。

假设条纹图案沿u_p的方向进行正弦变化，并沿v_p方向保持恒定，如果绝对相位φ对于任何给定的像素点都是已知的，则u_p可以定义为：

假设绝对相位在u_p＝0处为0，并随着u_p的增加而增加，其中T是以像素为单位的条纹周期。

在结构光系统线性针孔模型的几何关系中，如图1所示，如果物平面精确放置在Z_w＝z_min中，则可以将相机传感器平面映射到投影仪传感器表面。一旦在投影仪传感器平面上找到映射区域，就可以预先定义相应的相位图。因此只要找到实际的z_min平面，就可以精确地创建相应的相位φ_min。

对于给定的相机像素(u_c，v_c)，如果知道Z_w，则可以根据标定结果联立式(5)-(6)即可求得方程的唯一解。如果(u_p，v_p)已知，则相机像素(u_c，v_c)对应的绝对相位值就可以唯一的定义为：

因此可以定义一个虚拟的测量平面Z₀来逐个像素地定义参考相位图，当 Z_w＝Z₀＝z_min，即最接近被测物体的虚拟平面，就可以根据该平面来创建最小相位图φ_min，这显然是z_min，条纹周期T和矩阵P_C和P_p的函数，

2、投影仪投影单周期条纹，得到物体大致深度信息，确定虚拟深度平面，本发明提出了一种不需要额外物体的自适应动态测量方法，即通过投影单周期的正弦条纹，则得到的相位不需要解包裹即为实际的连续相位φ(x，y)，根据相位-高度的映射关系得到物体所在平面的范围即(Z_min，Z_max)。由于距离物体最近的平面是定义的一个虚拟平面，因此在得到物体所在平面的范围后，即可确定z_min，如下式：

其中Δz代表一个余量，为了保证是距离物体最近的平面且不与物体所在平面重合，依据单周期测得物体的高度与物体实际高度的误差确定Δz。

3、利用结构光系统的几何约束在虚拟深度平面处建立最小绝对相位图φ_min。

4、物体包裹相位与最小绝对相位图进行比较，依次逐像素进行相位展开，得到物体实际连续相位。在得到最小相位φ_min后，就可以对包裹相位进行校正。如图3所示，如果相机相位低于φ_min，如图2实心线所示，则应添加2π到解包裹阶段进行相位展开。如果在Z＞z_min处得到的相位(如图2中虚线所示)，若此时包裹的相位低于φ_min，则还应再加上 2π来展开相位。

条纹级数K必须满足以下条件

对条纹级数K(x，y)向上取整，可以表示为：

为了确定物体深度范围的限制即(Z_min，Z_max)，需要对代表的平面进行讨论，如图3所示。假设投影仪与相机之间的角度为θ，一个投影条纹周期的跨度为Δd，表示投影条纹沿垂直方向投射区域的范围百分比，平面上的点A经相机成像到物平面Z_w上的点B，但它们是从投影仪上不同点投影得到的，如果A点与B 点之间投影图案的相位超过2_π，在该情况下本文提出的方法无法确定正确的条纹级数K(x，y)。根据几何关系推导，可得到物体沿垂直方向的最大深度范围百分比为：

式中Δd＝T/H，其中T代表条纹周期，H代表投影仪在竖直方向上的分辨率。因此所提出方法测量物体的深度范围由相机与投影仪之间的角度、条纹周期以及相机和投影仪的标定参数确定。若要增大深度范围，可以增加投影周期，或调整投影仪光轴和相机光轴之间的角度。

5、根据相位-高度的映射关系实现物体三维形貌的重构。整个的方法流程如下图4，首先由计算机生成投影条纹投射到被测物体表面，CCD相机采集变形光栅图，对结构光系统进行标定，利用相移法进行相位解调，根据本文提出的方法进行相位展开，最后利用相位-高度的映射关系实现三维重构。相位展开的具体步骤图5所示，通过投影单周期正弦条纹得到被测物体的相位时，不需要解包裹就可以确定实际相位，并依据系统标定得到的参数根据式(10)确定φ_min生成的虚拟平面Z＝z_min。得到z_min后，就可以进行物体的测量，被测物体的相位图依据φ_min逐像素展开，最终得到的相位图就可以用于物体的三维几何重建。由于物体的相位是通过生成理想的绝对相位图展开的，不参考相邻像素，因此测量速度不受物体三维形状的影响，并且抗噪声的能力较强。

以上所述并非是对本发明的限制，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明实质范围的前提下，还可以做出若干变化、改型、添加或替换，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于几何约束的自适应结构光三维测量系统，其特征在于，所述的系统包括投影仪和相机，所述的投影仪与相机投射的方向呈θ角度，投影仪与相机摆放位置与所测物体深度范围有关。

2.一种如根据权利要求1所述的基于几何约束的自适应结构光三维测量方法，其特征在于，利用单周期投影条纹不需要解包裹的特点，根据物体大致的高度信息确定虚拟平面，实现虚拟平面的自适应测量，获得虚拟平面之后，利用结构光测量系统的几何约束创建最小相位图，参考最小相位图逐像素展开包裹相位，实现相位解包裹。

3.根据权利要求2所的适应结构光三维测量方法，其特征在于，具体步骤如下：

1)、利用常规标定方法对结构光系统进行标定，得到相应标定参数；

2)、投影仪投影单周期条纹，得到物体大致深度信息，确定虚拟深度平面；

3)、利用结构光系统的几何约束在虚拟深度平面处建立最小绝对相位图；

4)、物体包裹相位与最小绝对相位图进行比较，依次逐像素进行相位展开，得到物体实际连续相位；

5)、根据相位-高度的映射关系实现物体三维形貌的重构。

4.根据权利要求3所述的适应结构光三维测量方法，其特征在于，所述的步骤(2)的具体步骤如下：

投影单周期的正弦条纹，此时所得的相位值不需要解包裹即为实际的相位值，利用相移法进行相位解调，得到物体相位。

5.根据权利要求4所述的所述的适应结构光三维测量方法，其特征在于，得到物体大致深度信息，确定虚拟深度平面，通过投影单周期的正弦条纹，得到的相位不需要解包裹即为实际的连续相位φ(x，y)，根据相位-高度的映射关系得到物体所在平面的范围即(Z_min，Z_max)，由于距离物体最近的平面是定义的一个虚拟平面，因此在得到物体所在平面的范围后，即可确定z_min，如下式：

其中Δz代表一个余量，为了保证是距离物体最近的平面且不与物体所在平面重合，依据单周期测得物体的高度与物体实际高度的误差确定Δz。

6.根据权利要求4所述的所述的适应结构光三维测量方法，其特征在于，所述的步骤(4)的具体步骤如下：

在得到最小相位φ_min后，对包裹相位进行校正，若相机相位低于φ_min，则应添加2π到解包裹阶段进行相位展开，若在Z＞z_min处得到的相位若此时包裹的相位低于φ_min，则还应再加上2π来展开相位；

条纹级数K必须满足以下条件

对条纹级数K(x，y)向上取整，可以表示为：

为了确定物体深度范围的限制即(Z_min，Z_max)，对代表的平面进行讨论，，若投影仪与相机之间的角度为θ，一个投影条纹周期的跨度为Δd，表示投影条纹沿垂直方向投射区域的范围百分比，平面上的点A经相机成像到物平面Z_w上的点B，但其是从投影仪上不同点投影得到的，根据几何关系推导，可得到物体沿垂直方向的最大深度范围百分比为：

式中Δd＝T/H，其中T代表条纹周期，H代表投影仪在竖直方向上的分辨率。