CN104090476B - 用于全息显示的三维场景信息的获取方法 - Google Patents

Abstract

一种在自然光照明条件下利用彩色像感器用于全息显示的三维场景信息的获取方法，包括从彩色像感器拍摄的二维彩色照片中提取所拍三维场景相位的方法；所使用的像感器的参数：包括像感器的尺寸、各像素的尺寸、颜色滤波片阵列的排布方式、谱型谱宽；所采用的摄影镜头的参数：包括焦距、光圈大小。本发明与现有全息显示的三维场景获取技术相比，具有低散斑噪声、高分辨率和大景深的优点。

Description

用于全息显示的三维场景信息的获取方法

技术领域

本发明涉及三维场景信息获取，特别是一种在自然光照明条件下用于全息显示的三维场景信息的获取方法。

背景技术

全息显示是一种裸眼真三维显示技术，相比目前市场上比较成熟的助视或光栅式三维显示技术，全息显示能够提供几乎接近于真实世界的3D图像，不存在显示机理与人眼视觉生理之间的矛盾，使用户能在连续视点获得很好的3D视觉体验，被公认为是最理想的3D显示技术之一。全息显示涉及若干个关键的核心技术：包括计算全息图的产生、高分辨全息图载体(显示面板)以及用于全息显示的三维视频/图像的获取等等。这些均是本领域的研究与技术人员应该重点考虑的问题。

针对用于全息显示的真实世界三维场景信息的获取，当前的技术方案主要有以下两种：

1、全息照相法：利用干涉原理，将三维场景光波的振幅和相位信息都记录下来，使物光波的全部信息(即场景的三维信息)都存储在数字化的记录介质如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器中。由于在记录过程中需要用到相干性很好的激光，所产生的激光散斑也会记录在全息图中，难以实现对大型场景的全息照相。

2、集成成像法：利用微透镜阵列的各个子透镜对三维场景进行分视场成像，获得相应的“元图像(element image)”，用图像传感器对这些元图像阵列进行成像可实现从多个不同角度对该三维场景的记录。通过计算机对所记录的元图像阵列进行处理，可生成相应的三维图像，然后便可把该三维图像编码成计算机产生全息图用于全息显示。

利用集成成像技术来获取三维场景信息，并实现三维场景计算全息图制作的方案虽能够利用自然光照明实现对较大物体的计算全息图制作，但由于集成成像技术中微透镜阵列的使用，因而在全息图再现中引入了集成成像显示中固有的分辨率低和景深浅的问题。

近来，科研人员已为提高集成成像分辨率作出诸多努力[参见Optics letters,2012,37(24):5103-5105；Optics express,2004,12(19):4579-4588；OpticalEngineering,2006,45(11):117004-117004-7.]。这些方案对于提高集成成像分辨率有一定帮助，但是方案自身仍存在一定的缺陷。例如，1)通过构建一个距离投影面很近的虚拟面，结合特定的插值算法，得到高密度采样的虚拟面并编码成计算机产生全息图可得到高分辨率三维场景再现，但该方法得到三维场景景深较浅。2)在图像获取阶段通过移动透镜阵列，获得较多的元素图像通过计算机拼接后再现高分辨率三维场景，但该方法对成像系统稳定性要求较高，图像获取不便且景深较浅。

发明内容

针对上述三维场景获取技术的不足，本发明公开一种在自然光照明条件下利用图像传感器用于全息显示的三维场景信息的获取方法。本发明具有低散斑噪声、高分辨率和大景深等优点。

本发明的技术解决方案如下：

一种用于全息显示的三维场景信息获取方法，其特征在于该方法包括以下步骤：

1、首先确定所使用的图像传感器的参数：包括图像传感器的尺寸、各像素的尺寸、颜色滤波片阵列的排布方式、颜色滤波片的光谱型状和宽度；所采用的摄影定焦镜头的参数：包括焦距、光圈大小、共轭距；

2、在自然光条件下，利用一台所述的图像传感器对一个三维场景拍摄二维彩色图像或视频；

3、利用拍摄的二维彩色图像或视频获取用于全息显示的三维场景信息并进行显示，步骤如下：

1)根据彩色相机或摄像机的图像传感器的像素尺寸确定水平(X)方向和竖直(Y)方向的采样间隔，分别记为δx和δy；

2)根据图像传感器的尺寸确定X方向和Y的采样数量，分别记为M和N；

3)把所拍摄的二维离焦彩色图片或视频帧载入到计算机的缓存；

4)从缓存读取一幅二维彩色图片或视频帧I(m，n)，其中m和n分别表示X和Y方向的离散坐标；

5)从I(m，n)中提取红、绿、蓝三色光强分量，分别记为I_r(m，n)、I_g(m，n)和I_b(m，n)，其中下标r、g、b分别表示红、绿、蓝；

6)根据图像传感器对红、绿、蓝三色光的量子效率曲线，对I_r(m，n))、I_g(m，n)和I_b(m，n)进行归一化处理；

7)把I_r(m，n)、I_g(m，n)和I_b(m，n)输入到基于变换强度传输方程的相位求解器，求解对应颜色通道(如绿色通道)图像平面上的相位φ_g(m，n)；

8)根据离焦量Z，把I_g(m，n)exp[iφ_g(m，n)]传回理想像面上，获得场景的准焦像面上的三维场景的复振幅；

9)把步骤8)所得到的三维场景的复振幅编码成计算机全息图；

10)把所述的计算机全息图加载到空间光调制器上，用于全息显示；

11)返回步骤4)，提取下一个视频帧；

12)重复计算上述步骤5)-11)，直到要显示的视频计算完毕，或计算中断为止。

所述的图像传感器的摄影镜头为定焦镜头；该图像传感器采样间隔在微米量级，采样数量M≥4000，N≥2000，颜色滤波片阵列的排布方式通常为拜耳滤波片，具体参数视不同图像传感器而有所不同；光谱宽度通常为可见光范围350nm-770nm，准确范围需根据图像传感器的量子效率曲线而定。

所述的二维彩色图片的载入、读取均由计算机程序完成，编程语言如C、C++等均提供相应的程序接口可以直接调用，该操作为该领域技术人员所公知。

所述的归一化处理的方法，是根据图像传感器得到的不同波长的光强信息结合图像传感器的量子效率曲线，利用不同波长光强值和对应量子效率值之商，进一步得到不同波长的精确光强信息。

所述的相位求解器主要包含一种求解类似于传统强度传输方程的变换强度传输方程的方法。

所述的传统强度传输方程(Transport of Intensity Equation，简称为TIE)是在旁轴近似下，光强I沿轴向变化与相位Φ(r_⊥，z)横向分布的关系，其数学描述为其中λ表示光的波长(参见JOSA,1983,73(11):1434-1441)。对传统强度传输方程进行一定变换，取λ为变量，离焦量Z为定值，得到变换强度传输方程，其数学描述为

${\▿}_{\⊥}\[I_g\left(m,n\right){\▿}_{\⊥}{\mathrm{\φ}}_g\left(m,n\right)\]=-\frac{2\mathrm{\π}}{Z}\frac{\∂I}{\∂\mathrm{\λ}},---\left(1\right)$

其中，该数学公式描述的是在旁轴近似下，传播距离为Z的光色散与物体相位Φ(r_⊥，z)的关系。

所述的相位求解算法是对变换强度传输方程的数值求解(参见陆金甫,关治.偏微分方程数值解法[M].清华大学出版社有限公司,2004；Optics Communications,2001,199(1):65-75.)，其算法为该领域的技术人员所熟知。

所述的全息编码技术为任意计算机产生全息图编码方法，可包括迂回相位编码、修正离轴参考光编码以及基于干涉的编码方法(参见苏显渝,李继陶.信息光学[MJ北京:科学出版社[J].1999)，这些方法为该领域技术人员所公知。

与现有三维场景计算全息图获取技术相比，本发明具有如下有益效果：

(1)使用自然光照明来获取三维场景的计算机产生全息图，规避了全息图记录过程中的激光散斑，实现对较大三维物体的计算全息图制作和投影显示；

(2)仅利用一台彩色相机或摄像机来实现三维场景信息的获取，规避了传统的基于集成成像技术的计算产生全息图技术中必须要用到的微透镜阵列，降低了成本，同时再现三维物体具有高分辨率和大景深。

附图说明

图1是本发明三维场景信息获取及全息显示装置示意图；

图2是三维场景信息获取及全息显示流程示意图；

图3是验证实验中焦平面采用的光强(左)和相位(右)；

图4是波长为532nm，离焦距离Z＝0.5mm成像面光强(左)和相位(右)；

图5是波长为632nm，离焦距离Z＝0.5mm成像面光强(左)和相位(右)；

图6是利用相位求解器获取的波长532nm，焦距离Z＝0.5mm的相位(左)和理论相位(右，即图4中的相位)

图7是罗曼编码全息象元示意图；

图8是罗曼编码模式溢出校正示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明，但不应以此限定本专利的保护范围。

先请参阅图1，图1是本发明三维场景信息获取及全息显示装置的示意图。本发明由一台图像传感器(如彩色CCD和CMOS相机)，一台计算机(或能执行同样计算功能的集成电路芯片)，一个激光光源和一台空间光调制器(SLM)组成。

图2是本发明三维场景信息获取及全息显示流程示意图，包括如下实现步骤：

步骤1：在自然光条件下，利用图像传感器(如彩色CCD和CMOS相机)获取离焦的二维彩色图像或视频；

1)将三维场景置于图像传感器的视场范围内，由图像传感器拍摄三维场景的离焦二维彩色图像或视频；

2)所述的图像获取，如果需要实时获取、实时编码和实时显示，则可以把图像直接加载到计算机中进行处理；如果不要求实时，则可以存于存储卡内。

步骤2：由二维彩色图像或视频帧获取所拍三维场景的波前信息(即g通道的光强和相位信息)；

步骤3：将波前信息编码成计算机产生全息图；

步骤4：将计算机产生全息图加载至空间光调制器，实现全息显示。

下面通过一个计算机模拟实施例，进一步说明由二维彩色照片中提取所拍三维场景相位的方法以及编码成计算机全息图的过程。

首先确定计算机模拟实施例中的各项参数，图像传感器尺寸大小为1.02×1.02mm，采样数量为256×256，采样间隔为4um，离焦距离为0.5mm，波长分别为532nm和632nm。给定初始焦面的光强和相位信息如图3所示，离焦面对应不同波长的光强和相位信息分别如附图4(532nm)和附图5(632nm)所示，分别标记为I_g(m，n)和I_r(m，n)、φ_g(m，n)和φ_r(m，n)，它们由菲涅尔衍射公式计算得到(参见Goodman J W.Introduction to Fourieroptics[M].Roberts and Company Publishers,2005)，该方法为该领域技术人员所公知。

然后根据以下步骤来说明二维彩色照片中提取所拍三维场景相位的方法，尤其是相位求解器求解相位信息的方法。

1)利用“归一化”得到的对应不同波长(即R、G、B通道)的光强信息，求得

2)将代入偏微分方程求得φ_g(m，n)；

所述的微分方程的求解方法有：

1)、n阶偏导数的傅里叶变换求解方法(参见Optics Communications,2001,199(1):65-75.)；

2)、多重网格法(参见Optik-International Journal for Light and ElectronOptics,2011,122(23):2101-2106.)；

3)、格林函数法(参见JOSA,1983,73(11):1434-1441.)；

4)、泽尼克多项式求解法(参见JOSA A,1995,12(9):1932-1942.)等。

本实施例中采用的微分方程求解方法为傅里叶变换法：

1)根据亥姆赫兹电磁理论，并利用Teague近似将偏微分方程转化为泊松方程利用傅里叶性质求得Ψ_g(m，n)；

2)利用构建新的泊松方程利用傅里叶性质求得φ_g(m，n)。

图6(左)是利用相位求解器求得的波长532nm在离焦面上的相位信息。

最后根据以下步骤来说明将光强和相位信息编码成计算机全息图的方法，本实施例采用罗曼迂回相位编码方法，但编码方法不应仅限于该编码方法。

所述的罗曼迂回相位编码原理是，将每个离散的复振幅作为一个全息象元，如图7。像元的宽和高分别为du和dv(抽样间隔)，像元内有一宽W高H的矩形孔。宽度方向上，矩形孔的中心偏离像元中心的距离为P，而高度方向两者中心同高。除矩形孔内部之外，像元的其它位置都不可以透光。根据迂回相位效应，每个矩形孔看作是一个条纹，用矩形孔的面积调制复振幅的绝对值(光强)，矩形孔的位置调制复振幅的复角(相位)。

编码成计算机全息图采用以下步骤：

1)求出全息平面上每个离散点的波前信息A(即复振幅A，包含光强和相位)；

2)对波前信息A进行归一化，得到归一化后的振幅值B(即光强的平方根值)和复角C(即相位)；

3)用所述的振幅值B和复角C分别对像元内的矩形孔的高度和宽度进行调制；

4)遍历所有的象元，得到全息图。

所述的编码过程，在具体操作中，可能会遇到矩形孔超出像元的情况，此时要进行“模式溢出校正”。

所述的“模式溢出校正”就是把溢出部分的矩形孔循环移动到像元的另一侧，见图8。

与现有三维场景计算全息图获取技术相比，本发明具有如下有益效果：

1)使用自然光照明来获取三维场景的计算机产生全息图，规避了全息图记录过程中的激光散斑，实现对较大三维物体的计算全息图制作和投影显示；

2)仅利用一台彩色相机或摄像机来实现三维场景信息的获取，规避了传统的基于集成成像技术的计算产生全息图技术中必须要用到的微透镜阵列，降低了成本，同时再现三维物体具有高分辨率和大景深。

Claims (4)

1.一种用于全息显示的三维场景信息的获取方法，该方法利用的工具包括图像传感器、计算机、空间光调制器和激光光源，其特征在于：所述的图像传感器的摄影镜头为定焦镜头，照明条件为自然光照明，该方法包括下列步骤：

①、首先确定所使用的图像传感器的参数：包括图像传感器的尺寸、各像素的尺寸、颜色滤波片阵列的排布方式、颜色滤波片的光谱型状和宽度；所采用的摄影定焦镜头的参数：包括焦距、光圈大小、共轭距；

②、在自然光照明的条件下用一台所述的图像传感器对一个三维场景拍摄二维彩色图像或视频并输入所述的计算机；

③、所述的计算机对所述的二维彩色图像或视频读取一幅二维彩色图片或视频帧I(m，n)，提取红、绿、蓝三色光强分量，分别记为I_r(m，n)、I_g(m，n)和I_b(m，n)，其中下标r、g、b分别表示红、绿、蓝，其中m和n分别表示图片或视频帧I(m，n)的X和Y方向的离散坐标；

④、利用下列变换强度传输方程(1)从I(m，n)中的数值求解相位φ_g并编码成计算机产生全息图用于全息显示；

${\▿}_{\⊥}\[I_g(m,n){\▿}_{\⊥}{\mathrm{\φ}}_g(m,n)\]=-\frac{2\mathrm{\π}}{Z}\frac{\∂I}{\∂\mathrm{\λ}},---\left(1\right)$

其中r、g代表不同波长，I为光强，Z为离焦距离；

所述的利用变换强度传输方程求解相位φ_g并编码成计算机产生全息图用于全息显示，包括以下具体步骤：

1)根据彩色相机或摄像机的图像传感器的像素尺寸确定水平(X)方向和竖直(Y)方向的采样间隔，分别记为δx和δy；

2)根据图像传感器的尺寸确定X方向和Y的采样数量，分别记为M和N；

3)把所拍摄的二维离焦彩色图片或视频帧载入到计算机的缓存；

4)从缓存读取一幅二维彩色图片或视频帧I(m，n)，其中m和n分别表示X和Y方向的离散坐标；

5)从I(m，n)中提取红、绿、蓝三色光强分量，分别记为I_r(m，n)、I_g(m，n)和I_b(m，n)，其中下标r、g、b分别表示红、绿、蓝；

6)根据图像传感器对红、绿、蓝三色光的量子效率曲线，对I_r(m，n)、I_g(m，n)和I_b(m，n)进行“归一化处理”；

7)把I_r(m，n)、I_g(m，n)和I_b(m，n)输入到基于变换强度传输方程的相位求解器，求解对应颜色通道(如绿色通道)图像平面上的相位φ_g(m，n)；

8)根据离焦量Z，把I_g(m，n)exp[iφ_g(m，n)]传回理想像面上，获得场景的准焦像面上的三维场景的复振幅；

9)把步骤8)所得到的三维场景的复振幅编码成计算机全息图；

10)把所述的计算机全息图加载到空间光调制器上，用于全息显示；

11)返回步骤4)，提取下一幅二维彩色图片或下一个视频帧；

12)重复计算上述步骤5)-11)，直到要显示的视频计算完毕，或计算中断为止。

2.根据权利要求1所述的用于全息显示的三维场景信息的获取方法，其特征在于所述的图像传感器的摄影镜头为定焦镜头；该图像传感器采样间隔在微米量级，采样数量M≥4000，N≥2000，颜色滤波片阵列的排布方式为拜耳滤波片，具体参数视不同图像传感器而有所不同；光谱宽度通常为可见光范围350nm-770nm，准确范围需根据图像传感器的量子效率曲线而定。

3.根据权利要求1所述的用于全息显示的三维场景信息的获取方法，其特征在于所述的求解相位的方法包括傅里叶求解法、多重网格法、格林函数法或泽尼克多项式法多种求解方法。

4.根据权利要求1所述的用于全息显示的三维场景信息的获取方法，其特征在于所述的红、绿、蓝三色光强分量的提取是利用图像传感器得到的不同波长的光强信息并结合图像传感器的量子效率曲线进行“归一化处理”得到更精确光强信息的方法。