CN108168464A - 针对条纹投影三维测量系统离焦现象的相位误差校正方法 - Google Patents

Abstract

本发明公开了一种针对条纹投影三维测量系统离焦现象的相位误差校正方法，该方法包括首先由计算机生成相移条纹图像，并用相机采集。然后，对于采集到的图像，计算背景图像I'和含误差的相位φ'，并对于背景图I'进行边缘提取。获取边缘图之后计算每个边缘像素的点扩散函数(PSF)。然后在相位图φ'中用梯度滤波和邻域平均法计算每个待处理像素的相位梯度方向和相位密度。最后对于待处理的像素，逐像素计算由相机离焦引起的相位误差Δφ，从而获取最终校正后的相位φ＝φ'‑Δφ。校正后的相位信息可以通过相位‑高度映射关系转化为待测物体的三维信息。

Description

针对条纹投影三维测量系统离焦现象的相位误差校正方法

技术领域：

本发明属于计算机视觉中三维重构的领域，具体涉及一种针对条纹投影三维测量系统离焦现象的相位误差校正方法。

背景技术：

基于条纹投影的三维测量技术FPP(fringe projection profilometry)由于其精度高，速度快，受环境光影响较小等优点，近年来受到了广泛的研究和应用。作为一种基于主动光投影的三维测量方法，FPP也有相应的局限性。在主动光投影技术中，常常假定待测物体表面的某一物点仅直接接收来自于投影设备传感器的光照。这个假设在许多实际情况中并不成立。物体上某一物点除了直接接收投影仪某一像素的光照外，还可能接收因互反射，次表面散射和离焦等现象引起的非直接光照。在FPP系统中如果不考虑这些非直接光照，可能会导致较为明显的系统误差。

在实际测量过程中，由于相机镜头的景深十分有限以及物体形貌变化复杂，相机离焦现象十分常见。尤其是当FPP系统测量视场较小时，由于景深限制，相机离焦现象几乎是不可避免的。作为上述非直接光照的一种，相机离焦现象将会在图片中产生局部模糊，从而影响最终应用相移算法解得的相位精度。除了相机离焦现象，局部模糊还会由投影仪离焦和次表面散射两个因素引起。虽然本专利仅针对相机离焦现象提出相位校正算法，但由于次表面散射和相机离焦现象在FPP系统中产生相位误差的机理相似，故本专利的方法也可以一定程度上用于校正次表面散射现象引起的相位误差。另外，一定程度的投影仪离焦现象不会对相位误差产生影响，故不在本专利讨论范围之内。

针对包括相机离焦现象在内的非直接光照对相位的影响，目前绝大部分解决方法是基于高频条纹投影的方法。其原理是当投影的条纹频率很高时，非直接光照引起的误差可以被抵消掉。该类方法可以一定程度地解决非直接光照如互相反射和次表面散射引起的相位误差，但是却对相机离焦现象作用不大。其原因是相机离焦现象产生的模糊往往非常局部，图像中某像素仅接收物体表面很小区域的反射光。在这种情况下，基于高频条纹投影的方法必须要投影频率非常高的条纹图才能有效抑制相机离焦产生的影响。但是工业投影仪无法准确投影条纹宽度非常小的条纹，例如对于常见的投影仪，当投影条纹宽度小于8个像素时，投影仪往往无法准确投射。所以该类方法无法用来解决FPP系统中相机离焦引起的相位误差。

发明内容：

本发明旨在提供一种针对条纹投影三维测量系统离焦现象的相位误差校正方法，先分析出由相机离焦引起的相位误差的解析表达式，然后直接求解该相位误差并对相位进行校正的方法。该方法作为一种数学算法，对测量系统没有额外的硬件需求，也无需投影额外的条纹图，直接利用原始受相机离焦现象影响的条纹图即可完成校正。校正后的相位结合标定参数可以获取高精度的三维重构结果。

为解决上述问题，本发明采用以下技术方案：

一种针对条纹投影三维测量系统离焦现象的相位误差校正方法，该方法包括如下步骤：

S1.使用投影仪在物体上投射所需的N幅标准相移正弦条纹图像，对N幅条纹图进行采集；

S2.对于步骤S1中采集得到的条纹图，求解背景图像I',然后用传统相移法求解带有相位误差Δφ(x_c)的相位

S3.对S2中得到的背景图像I'进行边缘提取；

S4.用步骤S3中得到的边缘图像，恢复背景图像I'在离焦之前的清晰背景图像I′_s；

S5.根据步骤S4中求得的清晰背景图像I′_s，通过最小化如下图像距离来计算每一个边缘像素由相机模糊引起的点扩散函数G，由单参数标准差σ描述，

d＝||I'-I'_s*G||²；

S6.对于步骤S5中确定的每一个待处理的像素，跟据邻域平均法计算相位梯度方向：

其中，u和v为图像像素坐标的横向和纵向索引；w为一个预设的正方形邻域的宽；φ_u和φ_v分别为沿u和v方向的相位偏导数；

S7.根据步骤S4中得到的离焦前背景图像I′_s，步骤S5中得到的点扩散函数G和步骤S6中得到的相位梯度方向对每一个待处理的像素，计算其由相机离焦引起的相位误差：

其中Δ(x_i,xo)是像素x_i与xo之间的相位差，在近邻域平面性假设的前提下，其中向量由x_o指向x_i；为像素点x_o的梯度方向，即步骤S6中求得的ρ为x_o的邻域的相位密度，即相邻像素沿着相位梯度方向的相位差值，可直接在相位图中获取，在计算相位误差时，进行求和的邻域的大小范围为宽为6σ+1的正方形区域，σ在步骤S5中计算得到。

S8.根据式获取校正后的相位信息，最终结合标定信息，可求得测量物体的三维信息。

所述的针对条纹投影三维测量系统离焦现象的相位误差校正方法，步骤S1中所述的使用投影仪在物体上投射所需的N幅标准相移正弦条纹图像的具体操作是：根据主动光投影三维测量系统中的硬件三角关系固定投影仪和摄像机，将表面纹理复杂的待测物体放置在合适的位置。使用投影仪在物体上投射所需的N幅标准相移正弦条纹图像，条纹灰度值设置为：

其中，为第n幅条纹图像的灰度值；A和B分别为条纹背景强度和条纹调制度系数；φ为设定的相位值；δ_n为条纹的相移量，n＝1，2，…，N，N为总的相移步数。

所述的针对条纹投影三维测量系统离焦现象的相位误差校正方法，步骤S1中所述的对N幅条纹图进行采集的具体方法是：首先调整摄像机的光圈大小，快门速度和感光度，使得采集回来的图像不会出现图像饱和，即图像中最亮区域灰度值小于255)，在此相机参数下对N幅条纹图进行采集，在相机出现离焦现象时，相机采集到的条纹灰度值为：

其中，为采集到的条纹图，x_c代表采集图像的任一像素，xo为x_c对应的在投影仪幅面的像素，x_i为x_o在投影仪幅面的邻域像素；T(x_i,x_o)是像素x_i对x_o的影响系数且T(x_i,x_o)＝β·G(x_i,x_o)·r_i,其中β是相机的增益，G(x_i,x_o)为相机模糊引起的点扩散函数PSF，r_i为x_c多对应的物体表面物点的反射率系数。

所述的针对条纹投影三维测量系统离焦现象的相位误差校正方法，步骤S2中所述的背景图像I'和相位的求解方法：

S21.对于采集到的N幅相移条纹图I_i,i＝1,2,..,N，根据以下公式求解背景图像：

S22.对于采集到的N幅相移条纹图I_i,i＝1,2,..,N，根据以下公式求解相位：

所述的针对条纹投影三维测量系统离焦现象的相位误差校正方法，步骤S4中所述的恢复背景图像I'在离焦之前的清晰背景图像I′_s的具体方法是：对于每一个边缘像素，沿着灰度梯度方向寻找局部最大值和最小值，由于最大最小值分布于该像素的两侧，故将从最大最小值像素位置到边缘像素位置的所有像素的灰度值设为该最大值或最小值，对每一个边缘像素进行这样的处理，则可以得到清晰的背景图像I′_s。

有益效果：本发明针对传统条纹投影三维测量系统在实际测量容易因相机景深问题导致图片模糊，进一步导致明显相位误差的问题，提出了基于解析表达的相位误差校正算法。相比现有的技术，本专利提出的方法除了测量系统本身外不依赖任何硬件，也不依赖于投影高频条纹。通过分析相机离焦对相位质量的影响，建立相位误差的解析表达式。然后结合每个像素的点扩散函数PSF，模糊前背景图I′_s，相位方向和相位密度ρ，准确地求解相位误差的大小，从而直接对用传统相移法解得的相位进行校正。校正后的相位结合标定信息可以获取校正后的三维重构结果。整个相位校正基于严谨的数学过程，算法实现过程简便，适用于传统条纹投影三维测量系统中相机景深较小而经常出现图像模糊的情况。同时也适用于当测量物体为半透明而产生次表面散射的情况。

附图说明：

图1是发明的整个过程的流程图。

图2是条纹投影三维测量系统框架图。

图3是测试物体示意图。

图4是本专利需要处理的像素点示意图。

图5是计算得到的模糊前背景图。

图6是模糊函数PSF计算结果示意图。

图7是相位差Δ(x_i,x_o)示意图。

图8是对测试物体用本专利计算得到的相位误差示意图。

图9是实验物体示意图。

图10是直接应用传统方法获取的三维重构结果图。

图11是应用本专利算法对相位校正后获取的三维重构结果图。

具体实施方式：

下面结合具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

实施例1：

下面结合附图和具体实施例，进一步阐明本发明。在Windows操作系统下选用MATLAB作为编程工具，对计算机生成的正弦条纹以及CCD相机采集到的条纹图像进行处理。该实例采用具有黑色纹理的白色平面作为被测物体，证实本专利提出的误差校正方法的有效性。应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

一种针对条纹投影三维测量系统离焦现象的相位误差校正方法，算法流程如图1所示。测量系统结构框图如图2所示。

具体包括以下步骤：

步骤1：根据主动光投影三维测量系统中的硬件三角关系固定投影仪和摄像机，将表面纹理复杂的待测物体放置在合适的位置。使用投影仪在物体上投射所需的N幅标准相移正弦条纹图像，条纹灰度值设置为：

其中，为第n幅条纹图像的灰度值；A和B分别为条纹背景强度和条纹调制度系数；φ为设定的相位值；δ_n为条纹的相移量，n＝1，2，…，N，N为总的相移步数。

步骤2：将摄像机相关参数：光圈大小，快门速度和感光度进行合理设置，使得采集回来的图像不会出现图像饱和(即图像中最亮区域灰度值小于255)。在此相机参数下对N幅条纹图进行采集。在相机出现离焦现象时，相机采集到的条纹灰度值为：

其中，为采集到的条纹图，x_c代表采集图像的任一像素，x_o为x_c对应的在投影仪幅面的像素，x_i为x_o在投影仪幅面的邻域像素；T(x_i,x_o)是像素x_i对x_o的影响系数且T(x_i,x_o)＝β·G(x_i,x_o)·r_i,其中β是相机的增益，G(x_i,x_o)为相机模糊引起的点扩散函数PSF，r_i为x_c多对应的物体表面物点的反射率系数。

步骤3：对于步骤2中采集得到的条纹图，求解背景图像I'，如图3所示。然后用传统相移法求解带有相位误差Δφ(x_c)的相位

步骤3.1：对于采集到的N幅相移条纹图I_i,i＝1,2,..,N，根据以下公式求解背景图像：

步骤3.2：对于采集到的N幅相移条纹图I_i,i＝1,2,..,N，根据以下公式求解相位：

步骤4：对步骤3中得到的背景图像I'进行边缘提取。对于该图像中的每个像素，判断其邻域10个像素以内是否有边缘点。如果没有，则对该像素不作处理；如果有，则该像素为本专利要处理的对象。图4是图3所示背景图像I'的分类结果，其中全黑区域(图像灰度值为0)为本专利不处理的像素；对于非全黑区域(图像灰度值大于0)中的每一个像素，由于在邻域内有边缘像素点，故为本专利要处理的部分。

步骤5：用步骤4中得到的边缘图像，恢复背景图像I'在离焦之前的清晰背景图像I′_s。具体方法是：对于每一个边缘像素，沿着灰度梯度方向寻找局部最大值和最小值，由于最大最小值分布于该像素的两侧，故将从最大最小值像素位置到边缘像素位置的所有像素的灰度值设为该最大值或最小值。对每一个边缘像素进行这样的处理，则可以得到清晰的背景图像I′_s，如图5所示。从图中看可以看出，I′_s较好地反映了未受相机离焦而模糊的背景图像。

步骤6：根据步骤5中求得的清晰背景图像I′_s，通过最小化如下图像距离来计算每一个边缘像素由相机模糊引起的点扩散函数G，由单参数标准差σ描述。图6为计算得到的PSF结果，值得注意的是为了降低算法的复杂度，仅计算边缘像素的PSF。待处理区域的其他像素，其PSF都设为与最近的边缘像素相同。

d＝||I'-I′_s*G||²。

步骤7：对于步骤4中确定的每一个待处理的像素，跟据邻域平均法计算相位梯度方向：

其中，u和v为图像像素坐标的横向和纵向索引；w为一个预设的正方形邻域的宽；φ_u和φ_v分别为沿u和v方向的相位偏导数。该方法可以较高精度地在相机离焦和随机噪声的影响下获取每个像素的相位梯度方向。

步骤8：根据上述步骤得到的离焦前背景图像I_s'，点扩散函数G和相位梯度方向对每一个待处理的像素，计算其由相机离焦引起的相位误差：

其中Δ(x_i,xo)是像素x_i与xo之间的相位差。在近邻域平面性假设的前提下，其中向量由xo指向x_i；为像素点xo的梯度方向，即步骤7中求得的ρ为xo的邻域的相位密度，即相邻像素沿着相位梯度方向的相位差值，可直接在相位图中获取，相位差示意图如图7所示。在计算相位误差时，进行求和的邻域的大小范围为宽为6σ+1的正方形区域，σ在步骤6中计算得到。最终求解的相位误差如图8所示，可以看到由相机模糊引起的系统误差集中于图像边缘处，即物体表面反射率变化较大的地方。

步骤9：根据式获取校正后的相位信息。最终结合标定信息，可求得测量物体的三维信息。图9至图11是第二组实测实验，图9为待测物体目标，物体表面具有跳变较大的纹理区域。图10和图11分别是采用传统方法测量得到的三维重构结果和用本方法进行相位误差校正后得到的结果。可以看到经过本专利方法的校正，由相机离焦引起的重构误差明显减小。值得一提的是，本专利提出的方法无需投影额外的条纹图，而是直接用传统相移算法所需的图片进行相位误差分析和校正。由校正后的相位信息获得的三维重构图有效降低了相机离焦造成的系统误差。

应当指出，上述实施实例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定，这里无需也无法对所有的实施方式予以穷举。本实施例中未明确的各组成部分均可用现有技术加以实现。对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种针对条纹投影三维测量系统离焦现象的相位误差校正方法，其特征在于，该方法包括如下步骤：

S1.使用投影仪在物体上投射所需的N幅标准相移正弦条纹图像，对N幅条纹图进行采集；

S2.对于步骤S1中采集得到的条纹图，求解背景图像I',然后用传统相移法求解带有相位误差Δφ(x_c)的相位

S3.对S2中得到的背景图像I'进行边缘提取；

S4.用步骤S3中得到的边缘图像，恢复背景图像I'在离焦之前的清晰背景图像I_s'；

S5.根据步骤S4中求得的清晰背景图像I_s'，通过最小化如下图像距离来计算每一个边缘像素由相机模糊引起的点扩散函数G，由单参数标准差σ描述，

d＝||I'-I'_s*G||²；

S6.对于步骤S5中确定的每一个待处理的像素，跟据邻域平均法计算相位梯度方向：

其中，u和v为图像像素坐标的横向和纵向索引；w为一个预设的正方形邻域的宽；φ_u和φ_v分别为沿u和v方向的相位偏导数；

S7.根据步骤S4中得到的离焦前背景图像I_s'，步骤S5中得到的点扩散函数G和步骤S6中得到的相位梯度方向对每一个待处理的像素，计算其由相机离焦引起的相位误差：

其中Δ(x_i,x_o)是像素x_i与x_o之间的相位差，在近邻域平面性假设的前提下，其中向量由x_o指向x_i；为像素点x_o的梯度方向，即步骤S6中求得的ρ为x_o的邻域的相位密度，即相邻像素沿着相位梯度方向的相位差值，可直接在相位图中获取，在计算相位误差时，进行求和的邻域的大小范围为宽为6σ+1的正方形区域，σ在步骤S5中计算得到。

S8.根据式获取校正后的相位信息，最终结合标定信息，可求得测量物体的三维信息。

2.根据权利要求1所述的针对条纹投影三维测量系统离焦现象的相位误差校正方法，其特征在于，步骤S1中所述的使用投影仪在物体上投射所需的N幅标准相移正弦条纹图像的具体操作是：根据主动光投影三维测量系统中的硬件三角关系固定投影仪和摄像机，将表面纹理复杂的待测物体放置在合适的位置。使用投影仪在物体上投射所需的N幅标准相移正弦条纹图像，条纹灰度值设置为：

其中，为第n幅条纹图像的灰度值；A和B分别为条纹背景强度和条纹调制度系数；φ为设定的相位值；δ_n为条纹的相移量，n＝1，2，…，N，N为总的相移步数。

3.根据权利要求1所述的针对条纹投影三维测量系统离焦现象的相位误差校正方法，其特征在于，步骤S1中所述的对N幅条纹图进行采集的具体方法是：首先调整摄像机的光圈大小，快门速度和感光度，使得采集回来的图像不会出现图像饱和，即图像中最亮区域灰度值小于255)，在此相机参数下对N幅条纹图进行采集，在相机出现离焦现象时，相机采集到的条纹灰度值为：

其中，为采集到的条纹图，x_c代表采集图像的任一像素，x_o为x_c对应的在投影仪幅面的像素，x_i为x_o在投影仪幅面的邻域像素；T(x_i,x_o)是像素x_i对x_o的影响系数且T(x_i,x_o)＝β·G(x_i,x_o)·r_i,其中β是相机的增益，G(x_i,x_o)为相机模糊引起的点扩散函数PSF，r_i为x_c多对应的物体表面物点的反射率系数。

4.根据权利要求1所述的针对条纹投影三维测量系统离焦现象的相位误差校正方法，其特征在于，步骤S2中所述的背景图像I'和相位的求解方法：

S21.对于采集到的N幅相移条纹图I_i,i＝1,2,..,N，根据以下公式求解背景图像：

S22.对于采集到的N幅相移条纹图I_i,i＝1,2,..,N，根据以下公式求解相位：

5.根据权利要求1所述的针对条纹投影三维测量系统离焦现象的相位误差校正方法，其特征在于，步骤S4中所述的恢复背景图像I'在离焦之前的清晰背景图像I_s'的具体方法是：对于每一个边缘像素，沿着灰度梯度方向寻找局部最大值和最小值，由于最大最小值分布于该像素的两侧，故将从最大最小值像素位置到边缘像素位置的所有像素的灰度值设为该最大值或最小值，对每一个边缘像素进行这样的处理，则可以得到清晰的背景图像I_s'。