CN104567718A - 一种基于多角度投影pmp的集成成像微图像阵列生成方法 - Google Patents

Abstract

本发明提出一种基于多角度投影PMP的集成成像微图像阵列生成方法，该方法包括三维场景深度数据的获取和集成成像微图像阵列的映射两个过程，通过多角度投影PMP可以得到高精度的、无累积错误的三维场景深度数据，利用获取的深度数据和拍摄得到的彩色纹理，可以方便地生成真实场景的任意参数的集成成像微图像阵列，用于集成成像系统进行三维显示。

Description

一种基于多角度投影PMP的集成成像微图像阵列生成方法

技术领域

本发明涉及三维重建技术和集成成像技术，特别涉及一种基于多角度投影PMP（Pshase Measuring Profilometry，相位测量剖面术）的集成成像微图像阵列生成方法。

背景技术

PMP是一种基于结构光的高精度三维传感方法，可以用于三维重建等领域。但是利用PMP对三维场景进行测量时存在着投影仪的投影盲区和摄像机的采集盲区，两者都严重影响了三维场景重建的质量，并且限制了PMP在复杂三维场景测量中的应用。集成成像是一种裸眼三维技术，其分拍摄和显示两个过程。拍摄过程利用微透镜阵列或摄像机阵列获取三维场景的视差信息，生成微图像阵列；显示过程将微图像阵列通过对应的微透镜阵列显示，在观看空间重建三维场景。但是集成成像的拍摄过程，受到微透镜阵列的拍摄范围、摄像机阵列拍摄次数或计算机渲染次数等条件限制，很难对真实的场景进行集成成像的拍摄，这就极大地限制了集成成像三维显示的应用。

发明内容

本发明提出一种基于多角度投影PMP的集成成像微图像阵列生成方法，该方法包括三维场景深度数据的获取和集成成像微图像阵列的映射两个过程。三维场景深度数据的获取过程采用多角度投影PMP，消除投影仪的投影盲区，并将得到的深度数据进行三维融合和拼接，得到完整的高精度的三维场景深度数据；集成成像微图像阵列的映射过程利用得到的深度数据和摄像机拍摄的彩色纹理生成适于集成成像三维显示的微图像阵列。

所述三维场景深度数据的获取过程，如附图1所示，M个数字投影机分别以一定角度和不同时序向被测三维场景投影数字相位光栅，优选地，数字相位光栅使用正弦光栅。为了提高三维场景重建精度，优选地，使用N步等相移间隔的正弦光栅。数字投影机将数字相位光栅投影到三维场景表面，三维场景对数字相位光栅进行调制，摄像机拍摄三维场景，得到被物体调制的变形的光栅图像。当第i个数字投影机投影第j帧数字相位光栅时，摄像机获取图像为I _i (x, y, j)，则

   （1），

其中，x, y为摄像机获取图像的像素坐标，R _i (x, y)为三维场景表面不均匀的反射率，A _i (x, y)为背景强度，B _i (x, y)/A _i (x, y)为条纹对比度，φ _i (x, y)为表示光栅条纹变形的相位函数，j = 1，2，……，N的正整数，代表不同的正弦光栅条纹，σ _j 为第j帧正弦光栅条纹的数字相移，i = 1，2，……，M的正整数，代表不同的数字投影机。第i个数字投影机投影的正弦光栅的截断相位φ' _i (x, y)进而可以求得

                （2）

其中，从反三角函数的性质可知φ' _i (x, y)的取值在[-π, π]中。为了得到连续分布的相位值，本发明利用可靠度导向的相位展开法，将截断相位φ' _i (x, y)展开，得到展开相位Ψ _i (x, y)。三维场景与参考平面的相对变化可以用三维场景的展开相位Ψ _i (x, y)相对于参考平面的展开相位的差值ΔΨ _i (x, y)来表示。在获取相位差值ΔΨ _i (x, y)后，通过系统标定，利用结构参数法获取相位—高度映射关系，从而将相位差值ΔΨ _i (x, y)转换为真实高度值Δh _i (x, y)，其映射关系为

       （3）

其中，a _i (x, y)、b _i (x, y)和c _i (x, y) 为结构参数，可以通过标定不同的参考面计算得到。

本发明通过多个数字投影机多角度投影，分别利用PMP生成三维场景相对参考平面的高度值Δh _i (x, y)，其中Δh _i (x, y)仅依赖于三维场景本身，与数字投影机投影参数无关，亦与投影的数字相位光栅无关，因此得到的不同Δh _i (x, y)，除去由于投影盲区造成的相位展开错误的部分，可以无误差地融合和拼接，从而得到多角度投影PMP的测量高度ΔH(x, y)，可以表示为

         （4）

                                                 （5）

其中Ω _i 表示利用第i个数字投影机得到的高度值Δh _i (x, y)中无相位展开错误的像素坐标区域，Ω表示整个像素坐标区域。

本发明中，需要将得到的高度值ΔH(x, y)转换成与像素坐标比例一致的深度数据ΔD(x, y)。当摄像机拍摄的三维场景的真实长宽范围为W×H，得到的图像分辨率为R _w ×R _h 时，深度数据ΔD(x, y)可以表示为

            （6）

所述集成成像微图像阵列的映射过程，如附图2所示，首先利用得到的深度数据和摄像机拍摄的彩色纹理生成获得三维场景的正交投影视差图，然后利用矢量渲染方法将获得的正交投影视差图交织成集成成像微图像阵列。当正交投影角度为θ时，对应的微图像阵列中正交投影视差图上点Q的像素记为I _θ (x, y)，根据附图2所示几何关系可知，Q点的坐标位置由G点确定，Q点的像素信息由彩色纹理上的K点确定，则I _θ (x, y)可以表示为

                （7）

其中T(x, y)为彩色纹理像素，Δq _x 和Δq _y 分别为像素偏移Δq在x轴和y轴的分量，Δq可以表示为

                      （8）

其中投影角度θ可以由集成成像三维显示器参数确定，当微透镜阵列与微图像阵列间隔为g，图像元像素与图像元中心偏移为Δr时，投影角度θ满足

                               （9）

求得微图像阵列所需所有正交投影视差图，便可利用矢量渲染的方法交织成集成成像微图像阵列。

本发明通过多角度投影PMP可以得到高精度的、无累积错误的三维场景深度数据，利用获取的深度数据和拍摄得到的彩色纹理，可以方便地生成真实场景的任意参数的集成成像微图像阵列，用于集成成像系统进行三维显示。

附图说明

附图1为本发明提出的多角度投影PMP三维场景深度数据获取装置图

附图2为本发明提出的集成成像微图像阵列的映射过程示意图

附图3为实施例中两个角度投影分别生成的三维场景高度值

附图4为实施例中两个角度投影融合拼接生成的三维场景高度值

附图5为实施例中得到的正交投影视差图

上述附图中的图示标号为：

1数字投影机₁，2数字投影机 _M ，3摄像机，4被测三维场景，5参考平面，6彩色纹理，7深度数据对应的虚拟重建物体，8微透镜阵列，9微图像阵列。

应该理解上述附图只是示意性的，并没有按比例绘制。

具体实施方式

下面详细说明本发明的基于多角度投影PMP的集成成像微图像阵列生成方法的一个典型实施例，对本发明进行进一步的具体描述。有必要在此指出的是，以下实施例只用于本发明做进一步的说明，不能理解为对本发明保护范围的限制，该领域技术熟练人员根据上述本发明内容对本发明做出一些非本质的改进和调整，仍属于本发明的保护范围。

三维场景深度数据的获取过程，如附图1所示，M个数字投影机分别以一定角度以及不同时序向被测三维场景投影N步等相移间隔的数字相位光栅。本实例中，M = 2，N = 4，数字相位光栅为正弦光栅。三维场景对正弦光栅进行调制，摄像机拍摄三维场景，得到被物体调制的变形的光栅图像，其像素可以表示为式（1）。利用式（2），可以分别得到两个数字投影机投影的数字相位光栅的截断相位φ'₁(x, y)和φ'₂(x, y)，从反三角函数的性质可知φ'₁(x, y)和φ'₂(x, y)的取值都在[-π, π]中。为了得到连续分布的相位值，本实施例利用可靠度导向的相位展开法，将截断相位φ'₁(x, y)和φ'₂(x, y)展开，得到展开相位Ψ₁(x, y)和Ψ₂(x, y)。三维场景与参考平面的相对变化可以用三维场景的展开相位Ψ₁(x, y)和Ψ₂(x, y)相对于参考平面的展开相位的差值ΔΨ₁(x, y)和ΔΨ₂(x, y)来表示。在获取相位差值ΔΨ₁(x, y)和ΔΨ₂(x, y)后，通过系统标定，利用结构参数法获取相位—高度映射关系，即式（3），将相位差值ΔΨ₁(x, y)和ΔΨ₂(x, y)转换为真实高度值Δh ₁(x, y)和Δh ₂(x, y)，如附图3所示。

本实施例通过两个数字投影机从两个角度投影正弦光栅，分别利用PMP生成三维场景相对参考平面的高度值Δh ₁(x, y)和Δh ₂(x, y)。其中Δh ₁(x, y)和Δh ₂(x, y)仅依赖于三维场景本身，与数字投影机投影参数无关，亦与投影的正弦光栅无关，因此得到的Δh ₁(x, y)和Δh ₂(x, y)，除去由于投影盲区造成的相位展开错误的部分，可以无误差地融合和拼接，利用式（4）和式（5）得到两角度投影PMP的测量高度ΔH(x, y)，如附图4所示。

本实施例中，将得到的高度值ΔH(x, y)转换成与像素坐标比例一致的深度数据ΔD(x, y)。摄像机拍摄的三维场景的真实长宽范围为W×H=600mm×450mm，得到的图像分辨率为R _w ×R _h =640 pixels × 480 pixels，由式（6）可得深度数据ΔD(x, y)。

集成成像微图像阵列的映射过程，如附图2所示，首先利用得到的深度数据和摄像机拍摄的彩色纹理生成获得三维场景的正交投影视差图，然后利用矢量渲染方法将获得的正交投影视差图交织成集成成像微图像阵列。当投影角度为θ时，对应的微图像阵列中正交投影视差图上点Q的像素记为I _θ (x, y)，根据附图2所示几何关系可知，Q点的坐标位置由G点确定，Q点的像素信息由彩色纹理上的K点确定，根据式（7），可以计算得到I _θ (x, y)，从而得到正交投影视差图如附图5所示。结合矢量渲染方法便可得到用于集成成像三维显示的微图像阵列。

本发明通过多角度投影PMP可以得到高精度的、无累积错误的三维场景深度数据，利用获取的深度数据和拍摄得到的彩色纹理，可以方便地生成真实场景的任意参数的集成成像微图像阵列，用于集成成像系统进行三维显示。

Claims (4)

1.基于多角度投影PMP的集成成像微图像阵列生成方法，其特征在于，该方法包括三维场景深度数据的获取和集成成像微图像阵列的映射两个过程，三维场景深度数据的获取过程中，M个数字投影机分别以一定角度和不同时序向被测三维场景投影数字相位光栅，三维场景对数字相位光栅进行调制，摄像机拍摄三维场景，得到被物体调制的变形的光栅图像，当第i个数字投影机投影第j帧数字相位光栅时，摄像机获取图像为I _i (x, y, j)，第i个数字投影机投影的数字相位光栅的截断相位φ' _i (x, y)进而可以求得，将截断相位φ' _i (x, y)展开，得到展开相位Ψ _i (x, y)，三维场景与参考平面的相对变化可以用三维场景的展开相位Ψ _i (x, y)相对于参考平面的展开相位的差值ΔΨ _i (x, y)来表示，在获取相位差值ΔΨ _i (x, y)后，通过系统标定，将相位差值ΔΨ _i (x, y)转换为真实高度值Δh _i (x, y)，对得到的不同Δh _i (x, y)进行三维融合和拼接，从而得到多角度投影PMP的测量高度ΔH(x, y)，基于多角度投影PMP的集成成像微图像阵列生成方法需要将得到的高度值ΔH(x, y)转换成与像素坐标比例一致的深度数据ΔD(x, y)；集成成像微图像阵列的映射过程，首先利用得到的深度数据和摄像机拍摄的彩色纹理生成获得三维场景的正交投影视差图I _θ (x, y)，其中θ为正交投影角度，可以由集成成像三维显示器参数确定，求得微图像阵列所需所有正交投影视差图，然后利用矢量渲染的方法将其交织成集成成像微图像阵列。

2.根据权利要求1所述的基于多角度投影PMP的集成成像微图像阵列生成方法，其特征在于，多个数字投影机多角度投影，分别利用PMP生成三维场景相对参考平面的高度值Δh _i (x, y)，其中Δh _i (x, y)仅依赖于三维场景本身，与数字投影机投影参数无关，亦与投影的数字相位光栅无关，因此得到的不同Δh _i (x, y)，除去由于投影盲区造成的相位展开错误的部分，可以无误差的融合和拼接，从而得到多角度投影PMP的测量高度ΔH(x, y)，可以表示为                                                ，，其中Ω _i 表示利用第i个数字投影机得到的高度值Δh _i (x, y)中无相位展开错误的像素坐标区域，Ω表示整个像素坐标区域。

3.根据权利要求1所述的基于多角度投影PMP的集成成像微图像阵列生成方法，其特征在于，高度值ΔH(x, y)转换成与像素坐标比例一致的深度数据ΔD(x, y)，应满足的关系为ΔD(x, y) = ΔH(x, y)W/R _w  = ΔH(x, y)H/R _h , 其中W×H为摄像机拍摄的三维场景的真实长宽范围，R _w ×R _h 为摄像机拍摄得到的图像分辨率。

4.根据权利要求1所述的基于多角度投影PMP的集成成像微图像阵列生成方法，其特征在于，正交投影视差图I _θ (x, y)可以表示为I _θ (x - Δq _x , y - Δq _y ) = T(x, y)，其中T(x, y)为彩色纹理像素，Δq _x 和Δq _y 分别为像素偏移Δq在x轴和y轴的分量，Δq可以表示为Δq = ΔD(x, y)tanθ。