CN109974626A - 一种基于相移量编码条纹级次的结构光三维测量方法 - Google Patents

Abstract

本发明提供一种基于相移量编码条纹级次的结构光三维测量方法，属于结构光三维测量领域。本发明所述方法包括编码正弦条纹、标定系统、估算成像面积、采集投影图像、确定条纹级次和建立系统像素对应关系六个步骤。本发明所述方法利用相移量预编码条纹级次，通过附加M帧正弦条纹的相移量对条纹级次进行唯一编码，减少了编码高频条纹的条纹级次所需图像的数量；该方法利用相位信息作为编码单位，相比利用灰度信息为编码单位的二值条纹编码方法，具有更强的抗噪性；且条纹级次计算的独立性高，运用图形处理器（Graphics Processing Unit，GPU）对其进行加速，保证了所述测量方法的时效性。

Description

一种基于相移量编码条纹级次的结构光三维测量方法

技术领域

本发明涉及结构光三维测量领域，特别是涉及一种基于相移量编码条纹级次的结构光三维测量方法。

背景技术

结构光三维测量是三维测量领域中的一个关键性问题，它的目标是通过投影仪投影计算机编码的图像，摄像机采集经物体表面调制后的图像，最终重建物体的三维面形。相较于被动三维测量方式，结构光测量方式能更精细的重建物体的三维面形；相较于主动接触式三维测量方式，结构光作为主动非接触测量的手段，能更精确地重建非刚性物体的三维面形。相位测量轮廓术是结构光三维测量的重要形式之一，利用计算机生成多幅具有等相移的正弦条纹，投影仪投影生成的正弦条纹至待测物体表面，摄像机采集经过物体调制的正弦条纹；根据摄像机采集的图像，利用反三角公式恢复出待测物体表面的包裹相位，通过相位展开算法解算出物体表面的连续相位，结合标定参数，重建物体三维面形。

由于反三角函数计算得到的包裹相位在(-π,π)内呈周期性变化，而重建物体面形依赖于连续相位，因此相位展开是相位测量轮廓术中至关重要的环节。传统的相位展开算法在物体高度不连续区域易发生错误，并将错误的展开结果传递到后续的相位展开中，造成误差累积。预编码条纹级次可解决上述问题。现有的条纹级次的编码算法多采用灰度编码方式，该编码方式对图像数量需求大，将导致图像采集时间增加。由于物体表面的非均匀反射率、测量场景背景光强的差异及镜头离焦等因素的影响，摄像机采集的条纹边界较为模糊，将导致解码算法在边界处易产生错误，得到错误的条纹级次。

发明内容

本发明提供一种基于相移量编码条纹级次的结构光三维测量方法，旨在解决传统测量算法中由待测物体高度突变区域带来的相位展开错误的问题。本发明所述流程如附图1所示，包括编码正弦条纹、标定系统、估算成像面积、采集投影图像、确定条纹级次和建立系统像素对应关系六个步骤。上述步骤具体实施过程如下：

步骤1：编码正弦条纹

编码正弦条纹包括编码N步相移算法所需的N帧正弦条纹和确定条纹级次所需的附加M帧正弦条纹。本发明所述方法在传统N步相移算法的基础上，采用相移量编码条纹级次，利用附加M帧正弦条纹的相移量，唯一编码条纹级次，建立相移量码字查找表(Lookuptable，LUT)，对条纹级次直接定位；N帧正弦条纹采用相位测量轮廓术中的N步相移算法进行编码，相邻图像之间相移量差值为2π/N，编码条纹为：

其中，(u,v)为投影仪像平面像素索引，T为条纹周期，A^p(u,v)和B^p(u,v)为常量，n为N帧正弦条纹的图像索引，2πn/N为相移量。附加M帧正弦条纹采用非等步相移方法编码，M帧图像不同周期相移量顺序不同。但相移量均属于[0,2π)，为2π/M的整数倍，且同周期内图像的相移量不重复。相移量作为条纹级次码字，保存在LUT中。根据LUT，设计附加M帧正弦条纹为：

其中为取下整数操作符，m为附加M帧正弦条纹的图像索引，表示查表获得的第m幅图像中，第个周期的相移量值。由排列组合原理可知，M的值与周期总数K的关系满足：

K≤M！ (3)

当N＝M＝5时，生成的5步相移条纹图前4个周期的灰度曲线如附图2(a)所示，附加5帧正弦条纹前4个周期灰度曲线如附图2(b)所示。

步骤2：标定系统

利用现有的投影仪-摄像机标定原理，对投影仪和摄像机的内参矩阵K_p，K_c，畸变系数矩阵p_p，p_c，投影仪与摄像机之间的外参矩阵R，T进行标定。

步骤3.估算成像面积

根据小孔透视成像理论，利用标定参数，对条纹单个周期在摄像机成像平面的成像宽度进行估算；通过测量前估算条纹边界错误区域在摄像机像平面的面积，解决后期包裹相位求差分过程中，条纹边界区域出现的条纹级次判定错误的问题。投影仪-摄像机对应面积计算原理如附图3所示，设边界产生t个像素单位的定位错误，投影仪焦距为f_p，摄像机焦距为f_c，物体与投影仪的近似距离为d_p，物体与摄像机的近似距离为d_c，物体沿摄像机纵轴方向的高度估计为L，则无遮挡情况下，边界错误区域的成像面积为：

无遮挡情况下，一个条纹周期正确的成像面积为：

步骤4：采集投影图像

投影仪先将计算机编码生成的N+M帧正弦条纹投影至物体表面，摄像机采集的前N帧变形条纹为：

其中，(x,y)为摄像机像平面的像素索引，A^c(x,y)为背景光强，B^c(x,y)为调制信号，φ(x,y)为受物体调制的相位信息。

摄像机采集的附加M帧变形条纹为：

步骤5：确定条纹级次

根据摄像机采集的N+M帧变形条纹，可确定条纹级次。利用前N帧变形条纹计算出物体表面的包裹相位信息：

利用附加M帧变形条纹计算出物体表面的K种相位信息：

对φ_k′(x,y)与φ(x,y)进行差分运算得到相位差异信息：

R_k(x,y)＝φ_k'(x,y)-φ(x,y)(k＝0,1…K-1) (10)

设定阈值δ，生成相似区域模板图像：

利用八连通域算法划分模板图像区域，结果存储至M_k中，根据步骤3中计算的S_err、S，对M_k进行筛选，生成模板函数F_k。对连通域面积小于等于0.5(S_err+S)的区域，F_k＝0，连通域面积大于0.5(S_err+S)的区域，F_k＝1。根据F_k确定条纹级次：

P(x,y)＝k(F_k(x,y)＝1) (12)

其中，S_err的大小可通过调整边界错误像素个数t的值进行调整。

由于漏判条纹级次位置位于连续两级次间，结合包裹相位信息φ(x,y)对其进行判定：

由此可确定当前区域对应的条纹级次。

步骤6：建立系统像素对应关系

利用条纹级次计算物体表面的连续相位：

ψ(x,y)＝2πP(x,y)+φ(x,y) (14)

由此建立投影仪与摄像机像素对应关系：

最后，通过标定获得的参数，根据三角测量中的极线定理及射线相交定理重建出物体的三维面形。

优选地，由于步骤5计算独立性高，可并行程度强，采用图形处理器(GraphicsProcessing Unit，GPU)对其进行加速处理。

本发明的有益效果是：

本发明所述方法利用相移量对条纹级次进行编码，既减少了编码高频条纹的条纹级次所需图像的数量，又解决了由待测物体高度突变区域带来的相位展开错误的问题，保证了连续相位计算的准确性，增加了测量系统的抗噪性。

附图说明

附图1为本发明所述方法的流程图；

附图2为本发明所述方法的条纹编码示例图(a)5步相移正弦条纹前4周期编码图，(b)所述附加5帧正弦条纹前4周期编码图；

附图3为本发明所述方法的投影仪-摄像机对应面积计算原理图；

附图4为本发明所述方法的系统装置图；

附图5为本发明所述方法的测量结果图(a)摄像机采集的3步相移正弦条纹图(b)摄像机采集的附加5帧正弦条纹图(c)重建的物体三维面形信息；

上述附图中的图示标号为：1投影仪，2摄像机，3投影图像，4采集图像，5待测物体，6计算机。

应该理解上述附图只是示意性的，并没有按比例绘制。

具体实施方式

下面详细说明本发明的一种基于相移量编码条纹级次的结构光三维测量方法的一个典型实施例，对本发明进行进一步的具体描述。有必要在此指出的是，以下实施例只用于本发明做进一步的说明，不能理解为对本发明保护范围的限制，该领域技术熟练人员根据上述本发明内容对本发明做出一些非本质的改进和调整，仍属于本发明的保护范围。

步骤1：编码正弦条纹

包括N＝3的3步相移算法所需的3帧正弦条纹的编码与确定条纹级次所需的附加M＝5的5帧正弦条纹的编码两个部分。编码图像分辨率为1920×1080像素，即水平方向包含的像素个数为1920，垂直方向包含的像素个数为1080，优选地，周期T＝24，K＝80，编码条纹为：

其中，(u,v)为投影仪像平面像素索引。

随机生成LUT：

根据LUT，编码的附加5帧正弦条纹为：

其中为取下整数操作符。

步骤2：标定系统

由于本例中使用普通成像设备，优选地，选用张正友标定法标定摄像机内参，Zhang Song标定法标定投影仪内参及投影仪与摄像机的外参。

步骤3：估算成像面积

由于待测物体与摄像机之间的距离d_c＝1m，待测物体与投影仪之间的距离d_p＝1m，标定获得的投影仪焦距f_p为40像素，摄像机焦距f_c为40像素，物体的沿摄像机纵轴方向的高度估计为L＝0.5m，条纹周期为T＝24像素，边界长度为t＝3像素，则无遮挡情况下，边界错误区域的成像面积为：

无遮挡情况下，一个条纹周期正确的成像面积为：

步骤4：采集投影图像

投影采集装置如附图4所示，投影仪将计算机编码生成的3+5帧正弦条纹投影至物体表面，摄像机采集获得的前3帧变形条纹如图5(a)所示，其数学表达式如下：

其中，(x,y)为摄像机像平面的像素索引，A^c(x,y)为背景光强，B^c(x,y)为调制信号，φ(x,y)为受物体调制的相位。

摄像机采集获得的附加5帧变形条纹如图5(b)所示，其数学表达式如下：

步骤5：确定条纹级次

利用前3帧变形条纹计算出物体表面的包裹相位信息φ(x,y)：

根据LUT中码字计算80种包裹相位φ_k′(x,y)为：

本例中选取1080P分辨率投影仪用于三维测量，因此k∈{0,1,2,3,4…79}。包裹相位φ_k′(x,y)与φ(x,y)做差分运算，结果如下：

R_k(x,y)＝φ_k'(x,y)-φ(x,y)(k＝0,1…79) (25)

设定阈值δ＝0.1，根据公式(26)，可得到当前周期k对应的图像区域：

通过算法求取模板图像M_k的连通域，并根据公式(19)，(20)求得的定位面积，对连通域面积小于等于270的区域，设置F_k值为0，大于270的区域，设置F_k值为1，滤除由边界错误带来的条纹级次定位错误。根据F_k确定条纹级次：

P(x,y)＝k(F_k(x,y)＝1) (27)

结合3步相移算法计算出的包裹相位信息φ(x,y)，计算出边界漏判区域的条纹级次：

步骤6：建立系统像素对应关系

利用条纹级次计算物体表面的连续相位：

ψ(x,y)＝2πP(x,y)+φ(x,y) (29)

由此建立投影仪与摄像机像素对应关系

最后，通过标定获得的参数，根据三角测量中的极线定理及射线相交定理重建出物体的三维面形如附图5(c)所示。

Claims (6)

1.一种基于相移量编码条纹级次的结构光三维测量方法，其特征在于，利用附加M帧正弦条纹的相移量作为条纹级次的编码码字，唯一编码条纹级次；根据所述编码方式设定特定的解码模式，对采集图像进行解码，计算物体表面的连续相位信息，重建物体表面三维面形。

2.一种基于相移量编码条纹级次的结构光三维测量方法，其特征在于，包括编码正弦条纹、标定系统、估算成像面积、采集投影图像、确定条纹级次和建立系统像素对应关系六个步骤：步骤1、编码正弦条纹，引入相移量编码理论，利用附加M帧正弦条纹的相移量对条纹级次进行唯一编码，并建立相移量码字查找表(Lookup table，LUT)，预编码条纹级次；步骤2、标定系统，根据传统投影仪-摄像机标定原理对系统部件的内外参数及畸变参数进行标定，确定各部件间的空间几何关系；步骤3、估算成像面积，根据小孔透视成像理论，对单周期条纹在摄像机成像平面的成像面积进行估算，其结果用于确立阈值；步骤4、采集投影图像，利用投影仪投影编码的正弦条纹至待测物体表面，摄像机同步采集对应的变形条纹，并将采集图像传输至计算机进行后续处理；步骤5、确定条纹级次，根据采集获取的N+M帧变形条纹，确定单个像素的条纹级次，并计算物体表面的连续相位；步骤6、建立系统像素对应关系，根据连续相位与标定参数，结合极线定理及射线相交定理重建物体三维面形。

3.根据权利要求2所述的一种基于相移量编码条纹级次的结构光三维测量方法，其特征在于，根据相移量码字查找表LUT，利用计算机生成附加M帧正弦条纹如下：

其中，(u,v)为投影仪像平面像素索引，T为条纹周期，A^p(u,v)和B^p(u,v)为定义的常量，m为附加M帧正弦条纹的图像索引，表示查表获得的第m幅图像中，第个周期的相移量值，为取下整数操作符，M的值与条纹级次总数K的关系如下：

K≤M！ (2)。

4.根据权利要求2所述的一种基于相移量编码条纹级次的结构光三维测量方法，其特征在于，无遮挡情况下，边界错误区域的成像面积为：

无遮挡情况下，一个条纹周期正确的成像面积为：

其中，t为边界产生的定位错误的像素个数，f_p为投影仪焦距，f_c为摄像机焦距，d_p为物体与投影仪的近似距离，d_c为物体据摄像机的近似距离，L为物体在摄像机纵轴方向的近似高度，T为条纹周期。

5.根据权利要求2所述的一种基于相移量编码条纹级次的结构光三维测量方法，其特征在于，利用N帧变形条纹计算得到的包裹相位为φ(x,y)，而利用M帧变形条纹与相移量码字查找表LUT计算得到的K种包裹相位信息为：

通过将φ_k′(x,y)与φ(x,y)进行差分运算，即可获取像素与条纹级次的对应关系；包裹相位φ_k′(x,y)与φ(x,y)差分运算得到相位差异信息R_k(x,y)＝φ_k'(x,y)-φ(x,y)，设定阈值δ，生成相似区域模板图像M_k，若R_k(x,y)≥δ，则M_k(x,y)＝0，若R_k(x,y)＜δ，则M_k(x,y)＝1；根据估算成像面积中计算的S_err、S，对M_k的连通域进行筛选，生成模板函数F_k，对连通域面积小于等于0.5(S_err+S)的区域，F_k＝0，连通域面积大于0.5(S_err+S)的区域，F_k＝1，根据F_k确定条纹级次：

P(x,y)＝k(F_k(x,y)＝1) (6)

其中，S_err的大小可通过调整边界错误像素个数t的值进行调整；由于漏判条纹级次位置位于连续两级次间，结合包裹相位信息φ(x,y)对其进行判定，若|φ(x,y)-φ(x,y-1)|＜2π，则P(x,y)＝P(x,y-1)，若|φ(x,y)-φ(x,y+1)|＜2π，则P(x,y)＝P(x,y+1)。

6.根据权利要求5所述的一种基于相移量编码条纹级次的结构光三维测量方法，其特征在于，条纹级次计算的重复性高，可并行程度强，采用图形处理器(Graphics ProcessingUnit，GPU)对其进行加速处理；既解决了高频条纹中，编码条纹级次所需图像数量过多的问题，又保证了获取连续相位的准确性，增加了测量系统的抗噪性，同时降低了计算的时间代价。