CN105806259A - 一种基于二值光栅离焦投影的三维测量方法 - Google Patents

Abstract

本发明公开了一种基于二值光栅离焦投影的三维测量方法，步骤为：(1)计算机设计生成二值光栅图像；(2)将光栅图像经投影仪离焦投影到被测目标上；(3)用摄像机采集变形的光栅图像，并传输到计算机；(4)利用四步相移法求得主值相位；(5)利用灰阶码法对主值相位进行相位展开；(6)对摄像机和投影仪进行标定，根据空间交汇法计算出被测目标的三维坐标信息。本发明基于正弦条纹的对称性和周期性设计生成测量所需的二值光栅，在投影仪不同程度的离焦投影环境下，均能够提高相位信息的质量，更加适用于离焦投影三维测量。

Description

一种基于二值光栅离焦投影的三维测量方法

技术领域

本发明属于三维信息重构的领域，具体涉及一种离焦投影三维测量方法。

背景技术

光学三维测量技术能够准确获取物体的三维数据，可用于三维模型重建、物体表面轮廓测量、工业环境中的尺寸和形位参数的检测等，因此它在虚拟现实、投影特技、医学整形和美容、工业产品的外观设计、艺术雕塑和文物保护等领域都有广阔的应用前景。

光栅投影法是一种重要的三维测量技术，通过向物体表面投射正弦光栅，将物体的高度信息以相位的形式调制在光栅中，利用CCD相机获得物体表面的光栅条纹图像，并使用条纹分析方法对条纹图像进行处理，提取其中的相位信息，从而建立物体的三维信息。

基于DLP(digital-light-processing)投影仪的数字光栅投影技术越来越多地用于高质量实时光学三维测量，然而，传统的三维测量方法往往无法同时满足高速和高质量的要求。在实时三维测量系统中，投影正弦光栅或是二值光栅决定了测量系统所能达到的速度。

所谓离焦是针对DLP投影仪而言。正常使用时，投影仪镜头一般调节到聚焦状态，离焦是相对于聚焦而言，适当调节聚焦旋钮使投影画面模糊，即可达到不同程度的离焦。二值光栅离焦投影技术相对于传统的正弦光栅投影技术具有明显的优势。投影仪接受的始终是二值(0-1)图像而非灰度图像，因此相机采集各图像通道数据时曝光时间设置为远小于通道的持续时间，这使得测量速度达到DLP投影仪的最大刷新频率120帧每秒。离焦技术的另一优势就是投影仪不需要非线性校正。然而，二值方波光栅离焦时产生大量的高次谐波，极大影响了光栅质量，加上投影仪离焦程度的限制，当二值方波光栅周期较大时，投影仪很难通过离焦得到近似的正弦光栅，无法进行高精度的测量。脉冲宽度调制(PWM)用来减少离焦时高频谐波对光栅质量的影响，但是这种调制为一维方向上的优化，并且在光栅周期较大时效果较差。虽然抖动技术解决了宽周期条纹质量差的问题，但是难以处理窄周期二值光栅的设计。

已知，正弦光栅图像在一个周期内x方向上是对称的，在x和y方向上都具有周期性。因此，设计的二值光栅也应该具有对称性和周期性。基于此特性，选取尺寸较小的二值区域块，随机给二值区域块中的每个像素赋值为“0”或“1”，接着对每个像素依次使用多像素跳变方法进行优化，即首先跳变当前像素，接着从当前像素之后的所有像素中随机选取多个像素进行跳变，如果理想正弦图像和高斯滤波后的二值图像之间的均方根误差减小，则此次跳变视为好的跳变，并保留跳变的结果，否则还原像素值。基于对称性和周期性，利用优化所得的二值区域块生成完整的二值图像。在投影仪不同程度的离焦投影环境下，获得的相位信息质量都有较大程度的提升。

解相位是相位法中重要的一步，也是光栅投影法的基本问题之一。为了提高解相位的准确性，通常采用灰阶码等编码方法，通过增加投影条纹的数量来获得足够的相位信息。相位法中获得相位的过程分为2步，第一步是通过相移法公式获得条纹图的相位场主值，值域位于(-π,+π]区间。第二步是将主值相位场恢复为全场完整的相位场，称为解相位或解包裹。灰阶码法给光栅图像的每个点一个灰阶数，该灰阶数对应着该点的条纹周期次数。

发明内容

本发明的目的是提供一种基于二值光栅离焦投影的三维测量技术，基于正弦条纹的对称性和周期性设计生成二值光栅，在投影仪不同程度的离焦投影环境下，均能提高相位信息的质量。

为实现上述目的，本发明采用的技术方案为：

一种基于二值光栅离焦投影的三维测量方法，具体步骤如下：

步骤1：利用计算机设计生成大小为M行N列的二值光栅图像B，条纹周期为T；

步骤2：将二值光栅图像B通过投影仪离焦投射到被测目标上；

步骤3：用摄像机采集变形的光栅图像，并传输到计算机，得到大小为r行c列的图像，表示为：

I_n(x,y)＝I′(x,y)+I″(x,y)cos[φ(x,y)+2πn/4]；

其中，n＝0,1,2,3，I_n(x,y)为第n幅图像的灰度值，I′(x,y)为条纹光强的背景值，I″(x,y)为调制强度，φ(x,y)为待求的主值相位分布，(x,y)表示变形光栅图像中各像素的二维坐标，取值范围分别为：1≤x≤r,1≤y≤c；

步骤4：利用四步相移法求解主值相位φ(x,y)：

$\mathrm{\φ}(x,y)=\arctan \[\frac{\underset{n=0}{\overset{3}{\Σ}}{I}_n(x,y)sin(2\mathrm{\π}n/4)}{\underset{n=0}{\overset{3}{\Σ}}{I}_n(x,y)\cos (2\mathrm{\π}n/4)}\];$

步骤5：利用灰阶码法将主值相位进行相位展开得到绝对相位θ(x,y)：

θ(x,y)＝φ(x,y)+2k(x,y)π,

其中k(x,y)为整数，表示(x,y)点所处的光栅条纹周期次数；

步骤6：对摄像机和投影仪进行标定，获取投影仪与摄像机的对应像素点对；根据空间交汇法求得目标物体的三维坐标信息。

所述步骤1的具体步骤为：

步骤1.1：构建大小为S_x×S_y的二值块B₁，初始化参数S_y为2，取值范围为2到10，S_x由下式确定：其中，even表示偶数，odd表示奇数；

步骤1.2：初始化二值块B₁，将二值块的每个像素随机赋值为0或1；

步骤1.3：优化二值块B₁，二值块的像素个数为N＝S_x×S_y，当前像素的序号用m表示，即m＝1,2,...,N-1,N，跳变多像素的个数用参数k表示，取值范围为[2,7]；某次跳变像素的个数用n表示，即n＝2,3,...,k-1,k；

步骤1.4：保持S_y值不变，重复执行步骤1.2和步骤1.3多次产生许多候选二值块；

步骤1.5：改变S_y值，选取范围内的下一个值，回到步骤1.2；

步骤1.6：选择最佳二值块B_m；

步骤1.7：生成整幅二值光栅图像，利用正弦条纹的对称性和周期性，将最佳二值块B_m通过处理操作生成完整大小的二值光栅图像B。

所述步骤1.3的具体步骤为：

步骤1.3.1：参数初始化为m＝1，对当前像素m，跳变其二值状态，即从1变为0，或从0变为1，如果此次跳变提高了光栅质量，即理想正弦图像和高斯滤波后的二值图像之间的均方根误差减小，那么将此次跳变视为好的跳变并且保留跳变的结果，否则还原像素值；

步骤1.3.2：参数n初始化为n＝2，从序号范围在[m+1,N]的像素中随机选取n个像素，跳变二值状态并且保留好的跳变；然后，n＝n+1，重复执行该步骤直到n>k；

步骤1.3.3：m＝m+1，重复执行步骤1.3.1和步骤1.3.2直到m>N-k，对剩下的k个像素只执行步骤1.3.1的优化过程，这样就得到一个候选二值块B_c。

所述步骤1.7中，处理过程包括像素值取反、各列颠倒、拼接。

所述步骤1.7具体过程如下：

如果T/2+1是偶数，改变二值块B_m的像素值得到二值块B₂；左右颠倒B₂各列得到二值块B₃，沿x方向将B_m和B₂拼接起来得到二值块B₄，选取其中的[2,T/2]各列得到二值块B₅，左右颠倒B₅各列得到二值块B₆，沿x方向将B₄和B₆拼接起来得到二值块B₇，即一个周期的二值图像；然后根据周期性，用该二值块B₇拼接出整幅二值图像B；

如果T/2+1是奇数，选取二值块B_m其中的[1,(T/2+2)/2-1]各列得到二值块B₂，改变其像素值得到二值块B₃；左右颠倒B₃各列得到二值块B₄，沿x方向将B_m和B₄拼接起来得到二值块B₅，选取其中的[2,T/2]各列得到二值块B₆，左右颠倒各列得到二值块B₇，沿x方向将B₅和B₇拼接起来得到二值块B₈，即一个周期的二值图像；然后根据周期性，用该二值块B₈拼接出整幅二值图像B。

所述步骤6中，在大量候选二值块中，选出最佳二值块基于以下两条评价标准：(1)相位误差整体较小；(2)能够适用于不同的高斯滤波环境。

所述步骤1.4中，重复执行步骤1.2和步骤1.320-40次。

有益效果：

与现有技术相比，本发明具有以下优点：首先，本发明属于一种二值光栅离焦投影技术，相比于传统的正弦光栅投影测量技术，具有明显优势。在实时三维测量系统中，DLP投影仪接受的始终是二值图像而非灰度图像，这使得测量速度得到较大提升；另一优势是投影仪无需非线性校正。其次，本发明基于正弦条纹的对称性和周期性，选取尺寸较小的二值块，结合多像素跳变的优化方法，生成测量所需的二值光栅图像，经过投影仪不同程度的离焦投影，获取的相位信息质量都能够得到较大地改善。

附图说明

图1是本发明整个过程的流程图；

图2是多像素跳变优化方法的具体过程流程图；

图3是利用优化后的二值块生成整幅二值图像的过程图；

图4是图3中完整的二值光栅图像经投影仪离焦投影到石膏头像上，摄像机采集到的其中一幅变形光栅图像；

图5是石膏头像的三维面片图像。

具体实施方式

下面结合附图及具体实施方式对本发明作进一步说明。在Windows操作系统下选用MATLAB作为编程工具设计生成所需的光栅，选用VisualStudio作为编程工具处理摄像机采集到的变形光栅。该实例采用石膏头像作为被测物体，最终得到含有三维信息的比较精确的绝对相位分布，并生成三维图像。

图1是本发明的整个过程的流程图。

本发明中将测量范围定义为投影仪的投影区域和摄像机的视野相重叠的部分。当物体表面位于测量范围内时，光栅条纹可以投影到物体上，而投影的条纹图像也可以同时被摄像机拍摄到。

图2是多像素跳变优化方法的具体过程流程图。

针对投影仪离焦技术产生的高次谐波降低测量所得相位质量的问题，本发明在二值光栅的生成方面给出了解决方法。本发明基于正弦条纹的对称性和周期性，选取尺寸较小的二值区域块，结合多像素跳变的优化方法，利用优化后的二值区域块生成完整的二值光栅图像，在投影仪不同的离焦程度下，都能够提高相位信息的质量。首先，基于对称性和周期性，选取尺寸较小的二值块；对所选的二值块进行随机初始化；其次，采用多像素跳变的方法对二值块进行优化；接着，根据优化所得的二值块生成整幅二值光栅图像；再将得到的二值光栅经过投影仪离焦投影到被测目标上，用摄像机采集变形光栅；然后利用经典的四步相移算法得到主值相位，采用灰阶码法对主值相位进行展开得到绝对相位；最终利用标定板以及相位图，将投影仪当作摄像机的逆系统，通过张正友的标定方法，获取摄像机和投影仪的内外参数，建立图像坐标系与世界坐标系的关系，再根据空间交汇法求得目标物体的三维坐标信息。

本发明的具体实施步骤如下：

步骤1：利用计算机设计生成大小为M行N列的二值光栅图像B，条纹周期为T；

步骤1.1：构建大小为S_x×S_y的二值块B₁。初始化参数S_y为2，取值范围为2到10，S_x由下式确定：其中，even表示偶数，odd表示奇数；

步骤1.2：初始化二值块B₁，将二值块的每个像素随机赋值为0或1；

步骤1.3：优化二值块B₁，二值块的像素个数为N＝S_x×S_y，当前像素的序号用m表示，即m＝1,2,...,N-1,N，跳变多像素的个数用参数k表示，取值范围为[2,7]。某次跳变像素的个数用n表示，即n＝2,3,...,k-1,k；

由于步骤1.1中构建的二值块较小，更加有利于步骤1.3的优化过程。

步骤1.3.1：参数初始化为m＝1，对当前像素m，跳变其二值状态，即从1变为0，或从0变为1，如果此次跳变提高了光栅质量，即理想正弦图像和高斯滤波后的二值图像之间的均方根误差减小，那么将此次跳变视为好的跳变并且保留跳变的结果，否则还原像素值；

步骤1.3.2：参数n初始化为n＝2，从序号范围在[m+1,N]的像素中随机选取n个像素，跳变二值状态并且保留好的跳变。然后，n＝n+1，重复执行该步骤直到n>k；步骤1.3.2中使用多像素跳变的优化方法，更有助于获取全局最优解，即最佳二值块。

步骤1.3.3：m＝m+1，重复执行步骤1.3.1和步骤1.3.2直到m>N-k，对剩下的k个像素只执行步骤1.3.1的优化过程，这样就得到一个候选二值块B_c；

步骤1.4：保持S_y值不变，重复执行步骤1.2和步骤1.320-40次产生许多候选二值块；

步骤1.5：改变S_y值，选取范围内的下一个值，回到步骤1.2；

步骤1.6：选择最佳二值块B_m，在大量候选二值块中，选出最佳二值块基于以下两条评价标准：(1)相位误差整体较小；(2)能够适用于不同的高斯滤波环境；

步骤1.7：生成整幅二值光栅图像，利用正弦条纹的对称性和周期性，将最佳二值块B_m通过拼接等操作生成完整大小的二值光栅图像；

步骤1.7具体过程如下：

如果T/2+1是偶数，改变二值块B_m的像素值得到二值块B₂。左右颠倒B₂各列得到二值块B₃，沿x方向将B_m和B₂拼接起来得到二值块B₄，选取其中的[2,T/2]各列得到二值块B₅，左右颠倒B₅各列得到二值块B₆，沿x方向将B₄和B₆拼接起来得到二值块B₇，即一个周期的二值图像。然后根据周期性，用该二值块B₇拼接出整幅二值图像B。

如果T/2+1是奇数，选取二值块B_m其中的[1,(T/2+2)/2-1]各列得到二值块B₂，改变其像素值得到二值块B₃。左右颠倒B₃各列得到二值块B₄，沿x方向将B_m和B₄拼接起来得到二值块B₅，选取其中的[2,T/2]各列得到二值块B₆，左右颠倒各列得到二值块B₇，沿x方向将B₅和B₇拼接起来得到二值块B₈，即一个周期的二值图像。然后根据周期性，用该二值块B₈拼接出整幅二值图像B。

图3是利用优化后的二值块生成整幅二值图像的过程图，其中，(a)是选取的初始化后的二值块，(b)-(f)是处理过程(像素值取反、各列颠倒、拼接等)中的二值块，(g)是一个周期的二值图像，(h)是完整的二值光栅图像。

步骤2：将二值光栅图像B通过投影仪离焦投射到被测目标上；

图4是图3中完整的二值光栅图像经投影仪离焦投影到石膏头像上，摄像机采集到的其中一幅变形光栅图像。

步骤3：用摄像机采集变形的光栅图像，并传输到计算机，得到大小为r行c列的图像，可以表示为：

I_n(x,y)＝I′(x,y)+I″(x,y)cos[φ(x,y)+2πn/4]；

其中，n＝0,1,2,3，I_n(x,y)为第n幅图像的灰度值，I′(x,y)为条纹光强的背景值，I″(x,y)为调制强度，φ(x,y)为待求的主值相位分布，(x,y)表示变形光栅图像中各像素的二维坐标，取值范围分别为：1≤x≤r,1≤y≤c；

步骤4：利用四步相移法求解主值相位φ(x,y)：

$\mathrm{\φ}(x,y)=\arctan \[\frac{\underset{n=0}{\overset{3}{\Σ}}{I}_n(x,y)sin(2\mathrm{\π}n/4)}{\underset{n=0}{\overset{3}{\Σ}}{I}_n(x,y)\cos (2\mathrm{\π}n/4)}\];$

步骤5：利用灰阶码法将主值相位进行相位展开得到绝对相位θ(x,y)：

θ(x,y)＝φ(x,y)+2k(x,y)π,

其中k(x,y)为整数，表示(x,y)点所处的光栅条纹周期次数。

步骤6：对摄像机和投影仪进行标定，获取投影仪与摄像机的对应像素点对；根据空间交汇法求得目标物体的三维坐标信息。公式如下：

$u_2=\frac{{\mathrm{\θ}}_1(u_1,v_1)\×W_1}{N^c\×2\mathrm{\π}},$

$v_2=\frac{{\mathrm{\θ}}_2(u_1,v_1)\×W_2}{N^c\×2\mathrm{\π}},$

$S_{c1}\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=A_{c1}\[\begin{array}{cc}{R}_{c1}& T_{c1}\end{array}\]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right],$

$S_{c2}\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=A_{c2}\[\begin{array}{cc}{R}_{c2}& T_{c2}\end{array}\]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right],$

其中，(u₁,v₁)为摄像机图像坐标系中的任一点坐标，(u₂,v₂)为投影仪图像坐标系中对应的点坐标，θ₁(u₁,v₁)、θ₂(u₁,v₁)为标定过程中水平和垂直光栅图像的解包裹相位，N^c为光栅图像的条纹周期数，W₁、W₂分别为投影仪在水平和竖直方向上的分辨率，S_c1、S_c2为比例系数，A_c1[R_c1T_c1]为摄像机内外参矩阵，A_c1[R_c1T_c1]为投影仪内外参矩阵，[XYZ]为待测目标物体的三维坐标。

图5是石膏头像的三维面片图像。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于二值光栅离焦投影的三维测量方法，其特征在于：具体步骤如下：

步骤1：利用计算机设计生成大小为M行N列的二值光栅图像B，条纹周期为T；

步骤2：将二值光栅图像B通过投影仪离焦投射到被测目标上；

步骤3：用摄像机采集变形的光栅图像，并传输到计算机，得到大小为r行c列的图像，表示为：

I_n(x,y)＝I′(x,y)+I″(x,y)cos[φ(x,y)+2πn/4]；

其中，n＝0,1,2,3，I_n(x,y)为第n幅图像的灰度值，I′(x,y)为条纹光强的背景值，I″(x,y)为调制强度，φ(x,y)为待求的主值相位分布，(x,y)表示变形光栅图像中各像素的二维坐标，取值范围分别为：1≤x≤r,1≤y≤c；

步骤4：利用四步相移法求解主值相位φ(x,y)：

$\mathrm{\φ}(x,y)=arctan\[\frac{\underset{n=0}{\overset{3}{\Σ}}{I}_n(x,y)sin(2\mathrm{\π}n/4)}{\underset{n=0}{\overset{3}{\Σ}}{I}_n(x,y)cos(2\mathrm{\π}n/4)}\];$

步骤5：利用灰阶码法将主值相位进行相位展开得到绝对相位θ(x,y)：

θ(x,y)＝φ(x,y)+2k(x,y)π,

其中k(x,y)为整数，表示(x,y)点所处的光栅条纹周期次数；

步骤6：对摄像机和投影仪进行标定，获取投影仪与摄像机的对应像素点对；根据空间交汇法求得目标物体的三维坐标信息。

2.根据权利要求1所述的基于二值光栅离焦投影的三维测量方法，其特征在于：所述步骤1的具体步骤为：

步骤1.1：构建大小为S_x×S_y的二值块B₁，初始化参数S_y为2，取值范围为2到10，S_x由下式确定：其中，even表示偶数，odd表示奇数；

步骤1.2：初始化二值块B₁，将二值块的每个像素随机赋值为0或1；

步骤1.3：优化二值块B₁，二值块的像素个数为N＝S_x×S_y，当前像素的序号用m表示，即m＝1,2,...,N-1,N，跳变多像素的个数用参数k表示，取值范围为[2,7]；某次跳变像素的个数用n表示，即n＝2,3,...,k-1,k；

步骤1.4：保持S_y值不变，重复执行步骤1.2和步骤1.3多次产生许多候选二值块；

步骤1.5：改变S_y值，选取范围内的下一个值，回到步骤1.2；

步骤1.6：选择最佳二值块B_m；

步骤1.7：生成整幅二值光栅图像，利用正弦条纹的对称性和周期性，将最佳二值块B_m通过处理操作生成完整大小的二值光栅图像B。

3.根据权利要求2所述的基于二值光栅离焦投影的三维测量方法，其特征在于：所述步骤1.3的具体步骤为：

步骤1.3.1：参数初始化为m＝1，对当前像素m，跳变其二值状态，即从1变为0，或从0变为1，如果此次跳变提高了光栅质量，即理想正弦图像和高斯滤波后的二值图像之间的均方根误差减小，那么将此次跳变视为好的跳变并且保留跳变的结果，否则还原像素值；

步骤1.3.2：参数n初始化为n＝2，从序号范围在[m+1,N]的像素中随机选取n个像素，跳变二值状态并且保留好的跳变；然后，n＝n+1，重复执行该步骤直到n>k；

步骤1.3.3：m＝m+1，重复执行步骤1.3.1和步骤1.3.2直到m>N-k，对剩下的k个像素只执行步骤1.3.1的优化过程，这样就得到一个候选二值块B_c。

4.根据权利要求2所述的基于二值光栅离焦投影的三维测量方法，其特征在于：所述步骤1.7中，处理过程包括像素值取反、各列颠倒、拼接。

5.根据权利要求2或4所述的基于二值光栅离焦投影的三维测量方法，其特征在于：所述步骤1.7具体过程如下：

如果T/2+1是偶数，改变二值块B_m的像素值得到二值块B₂；左右颠倒B₂各列得到二值块B₃，沿x方向将B_m和B₂拼接起来得到二值块B₄，选取其中的[2,T/2]各列得到二值块B₅，左右颠倒B₅各列得到二值块B₆，沿x方向将B₄和B₆拼接起来得到二值块B₇，即一个周期的二值图像；然后根据周期性，用该二值块B₇拼接出整幅二值图像B；

如果T/2+1是奇数，选取二值块B_m其中的[1,(T/2+2)/2-1]各列得到二值块B₂，改变其像素值得到二值块B₃；左右颠倒B₃各列得到二值块B₄，沿x方向将B_m和B₄拼接起来得到二值块B₅，选取其中的[2,T/2]各列得到二值块B₆，左右颠倒各列得到二值块B₇，沿x方向将B₅和B₇拼接起来得到二值块B₈，即一个周期的二值图像；然后根据周期性，用该二值块B₈拼接出整幅二值图像B。

6.根据权利要求2所述的基于二值光栅离焦投影的三维测量方法，其特征在于：所述步骤6中，在大量候选二值块中，选出最佳二值块基于以下两条评价标准：(1)相位误差整体较小；(2)能够适用于不同的高斯滤波环境。

7.根据权利要求1所述的基于二值光栅离焦投影的三维测量方法，其特征在于：所述步骤1.4中，重复执行步骤1.2和步骤1.320-40次。