CN101411207A - 采集和显示三维光场的方法和系统 - Google Patents

Abstract

一种采集并显示光场的方法和系统。根据采集参数化，从由摄像机采集的三维场景的输入光场的输入样点来重构连续光场。根据显示参数化，将该连续光场重新参数化，随后进行预滤波和采样以产生具有该显示参数化的输出样点。使用三维显示器件将这些输出样点显示为输出光场。

Description

采集和显示三维光场的方法和系统

技术领域

本发明总体上涉及采集和显示光场，更具体地说，涉及利用摄像机的阵列采集光场并对该光场重采样以显示在自动多视点(automultiscopic)显示器件上。

背景技术

人们希望采集真实的三维场景的图像并将该三维场景图像显示为逼真的三维图像。自动多视点显示器使得能够在观看区域中的任意位置无限制地(即，不戴眼镜)观看高分辨率立体图像。自动多视点显示器包括具有不同强度(intensity)的视点相关像素和基于视角的颜色。视点相关像素可以使用常规的高分辨率显示器和视差栅栏(parallax-barrier)来实现。

在典型的自动多视点显示器中，图像通过视差栅栏投影到柱面光栅(lenticular sheet)或整体式透镜光栅(lens sheet)上。一百多年前就已经知道了多视点自动立体观察的光学原理，参见Okoshi，Three-Dimensional Imaging Techniques，Academic Press，1976。具有高分辨率的实用显示器最近已可供使用。结果，三维电视重新受到关注。

然而，自动多视点显示器具有几个问题。首先，移动的观众会看到干扰性的视觉伪影(artifact)。其次，难以获得无伪影的三维图像。广播和电影行业的摄影师、摄像师和专业人员不熟悉用于记录三维图像所需的复杂设置。不象常规的二维电视那样，目前没有针对多摄像机参数、布置及制作后加工的指南或标准。

具体地说，在大多数实际情况中，图像传感器(即，摄像机)中的像素并不以一对一方式直接映射到显示器件中的像素。这需要对图像数据进行重采样。该重采样需要以使得视觉伪影最小化的方式进行。还没有对自动多视点显示器的光场进行有效重采样的现有技术。

用于三维显示的大多数现有的抗混叠技术使用波动光学。所有巳知的方法都没有正确地处理遮挡(occlusion)和镜面。此外，为了进行适当滤波，这些方法需要以每像素为基础的景深(scene depth)。在缺乏深度信息的情况下，这些方法使用的是保守最坏情况方法并基于场景中的最大深度进行滤波。实际上，这限制了在具有非常浅深度的场景方面的实现。

通常，自动多视点显示器发出静态的或时变的光场。光场代表了辐射(radiance)，所述辐射作为在空间中的无遮光物区域中的位置和方向的函数。使用全光采样理论(plenoptic sampling theory)进行光场的频率分析。其中，对场景的频谱进行分析，该频谱是目标深度的函数。这揭示出大多数光场是混叠的。可以应用重构(reconstruction)滤波器来去除混叠并尽可能地保留原始频谱。

重新参数化(re-parameterization)可用于在自动多视点显示器上显示光场。然而，重新参数化没有解决显示混叠。重构滤波器可以用宽孔径滤波器来增强。这能够产生具有较大场深(field of depth)的三维图像，而不牺牲焦平面上的锐度。

没有一种现有技术方法解决了自动多视点显示器的采样和抗混叠。这些现有技术方法不考虑显示器的采样率，而仅考虑了在重构过程中从采样的光场去除混叠的问题。

发明内容

本发明提供了一种可以用于电视和数字娱乐的三维显示系统。这种显示系统需要高质量光场数据。光场是使用摄像机阵列来采集的，并且该光场在分离的自动多视点显示器上呈现。然而，大多数时间，采集装置和显示器件具有不同的采样模式。

因此，本发明对光场数据进行重采样。然而，重采样易于发生混叠伪影。在光场数据的显示中最麻烦的伪影是由透视间混叠(inter-perspective aliasing)引起。

本发明提供了使得这种混叠最小化的对光场重采样的方法。该方法保证了光场在自动多视点显示器上的高质量显示。该方法合并了光场重构滤波器和根据显示器件的采样栅格(sampling grid)确定的显示预滤波器。

与现有技术方法对比，本重采样法不需要深度信息。本方法有效地合并了多个滤波阶段以产生高质量显示。本方法可用于在柱面显示屏幕或视差栅栏显示屏幕上显示光场。

附图说明

图1A是根据本发明一个实施方式的用于采集并在三维显示器件上显示三维光场的系统的俯视图；

图1B是根据本发明一个实施方式的用于对光场进行重采样和抗混叠的方法的流程图；

图2是根据本发明一个实施方式的显示参数化的示意图；

图3是根据本发明一个实施方式的四边形采样栅格；

图4是根据本发明一个实施方式的带宽要求的示意图；

图5是根据本发明一个实施方式的摄像机和显示器件的示意性重叠扫描线样点；

图6是根据本发明一个实施方式的用于采样和滤波的方法的示意图；

图7是根据本发明一个实施方式的从光场采集几何形状到光场显示几何形状的变换的示意图；

图8A是根据本发明一个实施方式的摄像机的参数平面的示意图；

图8B是根据本发明一个实施方式的摄像机孔径滤波器的频谱的近似的示意图；以及

图8C是图8B所示频谱的带宽的示意图。

具体实施方式

系统概述

图1A示出了根据本发明一个实施方式的光场采集系统100。多个摄像机115采集场景110的图像序列101(例如视频)。这些摄像机可以被布置为水平线性阵列。优选地，这些摄像机彼此同步。根据本发明的方法105，处理所输入的图像序列。该处理包括重构、重采样、预滤波和采样步骤，以产生输出图像序列102。然后这些输出图像由多个投影仪125显示在自动多视点显示器件120上。这些投影仪也可以被同步并布置为水平线性阵列。该显示器件120包括视差栅栏121和观看区域130，其中视差栅栏121安装在垂直排列的柱面屏幕122上的面对这些投影仪的一侧。

因为采集的输入图像101中的离散输入样点具有低空间分辨率和高角分辨率，而显示的输出图像102中的离散输出样点具有高空间分辨率和低角分辨率，因此需要重采样以产生无伪影显示。

方法概述

如图1B所示，方法105以三个步骤进行。通常，我们在频率域中表示信号和滤波器。首先，从输入图像101重构(150)连续信号152。我们应用巳知的重构滤波器。接着，我们将信号重新参数化(160)为显示器坐标，产生重新参数化的光场161。在最后步骤170中，信号随后被预滤波以匹配显示像素栅格的纳奎斯特(Nyquist)极限，并被采样到显示像素栅格上作为输出图像102。

显示参数化

图2示出了用于多视角自动立体显示器件120的参数化。该参数化试图针对观看区域130中的每个位置和方向再现一个光阵列。我们通过使光线与两个平面相交来参数化这些光线。对于显示器120，我们使用视差栅栏平面121作为t坐标，并使用高分辨率屏幕122作为v坐标。注意，光线的v坐标是相对于它们与t平面的交点的坐标。屏幕122的像素间隔为Δv，栅栏121中的间隙的间隔是Δt，屏幕和栅栏之间的间距为f，并且深度通常由z表示。

在一个位置处与t平面相交的所有光线对应于一个多视点像素，并且与v平面的每个交点是一个视点相关子像素。我们将多视点像素的数量称为空间分辨率，并将每多视点像素的视点相关子像素的数量称为角分辨率。

如图3所示，显示光线在光线空间中形成更高维栅格。大多数现有的物理显示器不对应于图3所示的四边形采样栅格。图2中的每个光线对应于图3中的一个采样点301。大多数自动多视点显示器仅提供水平视差，即，这些显示器仅在v平面上沿水平方向进行采样。因此，我们可以单独处理t平面上的每个扫描线，这导致形成二维光线空间。

我们使用术语显示视点来表示v＝常数的一段光线空间。注意，显示视点是场景的平行投影。不失一般性，我们假设平面v和t之间的距离f归一化为1。这样用光线空间来解释三维显示使我们能够理解其带宽、场深以及预滤波。

带宽

如图4所示，图3中的采样栅格对显示能够表达的带宽施加了严格限制。这称为纳奎斯特极限。我们用φ和θ表示角频率和空间频率，并由Δv和Δt表示采样间隔。则显示带宽H由下式给出

场深

显示器的场深由具有任意相对比例φ和θ轴的显示器矩形带宽的对角线给出。我们选择该比例以反映这两个轴的相对分辨率，该比例为通常在空间方向(θ轴)上比在角度方向(φ轴)上大两个数量级。

具有恒定深度的场景的光场的频谱(或光线空间信号)由直线φ/z+θ＝0给出，其中z是距t平面的距离，如图2所示。对于深度在|z|≤Δt/Δv的场景，谱线在矩形显示带宽的左右垂直边界与其相交。这意味着这些场景能够以显示器的最高空间分辨率θ＝π/Δt来显示。然而，对于|z|＞Δt/Δv的场景，频谱与水平边界上的显示带宽相交。因此，它们的空间频率减小到θ＝π/Δv。这低于显示器的空间分辨率，并且这些场景将出现模糊。

该特性类似于摄影场深效果和光场摄影中的精确重调焦的范围。范围|z|≤Δt/Δv是可以由三维显示器以最大空间分辨率再现(reproduce)的范围。我们将其称为显示器的场深。类似于光场摄影，场深与1/Δv或角度尺寸下的纳奎斯特极限成比例。

因为可用的显示器具有非常有限的角度带宽，该显示器表现为浅场深。例如，如果Δv＝0.0625mm且Δt＝2mm，则场深仅仅为±32mm。这意味着在距显示器表面的距离大于32mm处出现的任何场景元素都会是模糊的。如果视点相关子像素的间距为0.25mm且高分辨率屏幕与视差栅栏之间的距离为4mm，这对应于八个视点和大约25度的视场。尽管这看起来是非常小的范围，然而对于观看区域中至多几米的观察距离来说，这足以产生令人信服的对深度感的错觉。

为了刻画相对于给定显示器的场景，规定相对于显示器的场深的景深是有用的。有趣的是，景深与场深的比率d(z)＝zΔv/Δt，对应于显示器上的视点之间的视差(disparity)。通过该定义，具有最大视差d＜1的场景位于显示器的场深内。给定视差d＞1意味着空间带宽减小了1/d的因子。

预滤波

当对连续信号进行采样时，我们需要对该信号进行带限(band-limit)，以避免混叠。从式1，我们看到，对于三维显示这是个简单问题，即把输入频谱乘以丢弃了输入的位于矩形显示带宽以外的所有部分后的显示预滤波器H的频谱，参见图4右侧。注意该预滤波器仅处理由于显示栅格而引起的混叠，而没有考虑光场采集过程中可能发生的混叠。

与根据本发明实施方式的信号处理相反，现有技术的三维显示器的带宽分析大多基于波动光学或几何准则。尽管波动光学对于研究衍射效应是有用的，然而它们对于分析离散的三维显示不是有效的，离散的三维显示工作在远离衍射极限处。

与我们的解决方法相反，现有技术导出需要明确已知景深的显示带宽模型。那些技术提倡对二维输入图像的深度相关滤波。分别地带限每个二维视图是很复杂的，因为滤波需要空间地改变。一种解决办法对每个视图应用与场景的最大深度相对应的线性滤波器。然而，该方法浪费了大部分可用的显示带宽并导致过度模糊的结果。相反，利用我们的方法，预滤波是在光线空间中的线性运算。

如果不使用我们的预滤波，则混叠呈现为伪像(ghosting artifact)。在显示器的光线空间参数化中，我们的重采样保留了零视差平面附近(即，t平面附近)的空间频率。

三维显示器的重采样

上面，我们分析了自动多视点显示器的带宽以及需要如何对连续输入信号进行预滤波以避免混叠。然而，实际上，光场被表示为通常使用摄像机阵列采集的采样信号。为了在自动多视点显示器上示出采样的光场，输入光场的样点101需要被映射到显示器的样点102(即，像素)。

不幸的是，典型的光场采集器件(例如摄像机阵列)的采样模式和自动多视点显示器不会使光线一一对应。因此，在自动多视点显示器上示出光场要涉及重采样操作。

现在我们描述避免了混叠伪影的重采样框架，其避免了由于在光场采集期间和在光场显示期间包含的采样步骤(即，在场景采集过程中发生的采样和当将摄像机样点映射到显示器像素时执行的采样)引起的混叠伪影。

我们的技术基于Heckbert描述的重采样方法，参见Fundamentals ofTexture Mapping and Image Warping，Ucb/csd 89/516U.C.Berkeley，1989，通过引用将其合并于此。然而该重采样是用于计算机图形学中的纹理映射。相反，我们对真实的光场进行重采样。

我们描述了如何重新参数化输入光场并在与显示器相同的坐标系中表示它。这使我们能推导出合并了重构和预滤波的重采样滤波器，如下所述。

重新参数化

在推导我们的合并的重采样滤波器之前，我们需要建立用于输入光场和三维显示器的公共参数。我们将描述限制为其中光场参数化平行于显示器的最常见情况。

摄像机的输入坐标和焦平面的输入坐标分别由t_in和v_in表示，距t_in轴的距离或深度由z_in表示，并且采样间(inter-sampling)距离由Δt_in和Δv_in表示。t_in轴也被称作摄像机基线(baseline)。类似地，我们使用显示器坐标t_d，v_d，z_d，Δt_d，和Δv_d。不失一般性，我们假设针对显示器和输入光场的t平面和v平面之间的距离归一化为1。

输入和显示器坐标之间的关系由单一参数f_in给出，该参数是摄像机平面t_in和显示器的零视差平面t_d之间的距离。该转换对应于光线空间中的裁减。

$\left[\begin{array}{c}{v}_{\mathrm{in}}\\ t_{\mathrm{in}}\end{array}\right]=\left[\begin{array}{cc}1& 0\\ f_{\mathrm{in}}& 1\end{array}\right]\left[\begin{array}{c}{v}_d\\ t_d\end{array}\right]=M\left[\begin{array}{c}{v}_d\\ t_d\end{array}\right]---\left(2\right)$

M是该式的中间部分的2×2矩阵。

自动多视点显示器通常具有高空间分辨率(例如，每扫描线几百个多视点像素)和低角分辨率(例如，大约十个视点相关子像素)。相反，采集的光场具有低空间分辨率(例如，几十个摄像机)和高角分辨率(例如，每扫描线几百个像素)。

如图5所示，这导致高度地各向异性且彼此偏斜的两个采样栅格。在图5中的，样点501代表显示器扫描线样点，样点502代表摄像机扫描线样点。

合并的重采样滤波器。

图6更详细地示出了重采样方法。左侧是输入参数化，右侧是输出参数化，并且底部是从采集空间到显示空间的重新参数化。图6象征性地示出了输入频谱611、副本612以及滤波器613。

如图6所示，用于三维显示抗混叠的重采样方法在三个步骤中进行，其中我们在频率域中表示信号和滤波器。首先，根据输入数据101的原始输入参数化601中给出的输入数据101来重构(150)由角频率φ_in和空间频率θ_in表示的连续信号。

必须小心以避免该步骤中的混叠问题并最优地使用该输入信号。我们将巳知的重构滤波器应用于光场呈现，参见Stewart等人的″A newreconstruction filter for undersampled light fields″，Eurographics Symposiumon Rendering，ACM International Conference Proceeding Series，pp.150-156，2003，和Chai等人的″Plenoptic sampling，″Computer Graphics，SIGGRAPH2000 Proceedings，pp.307-318，通过引用将这两者合并于此。

这些技术都是从采样频谱中提取中心副本的最大区域，同时丢弃与相邻副本重叠的区域。

接着，我们使用如上所述的映射将该重构信号重新参数化(160)到由φ_d和θ_d表示的显示器坐标621。

然后，在最后步骤170中，信号被预滤波以匹配如上所述的显示像素栅格的纳奎斯特极限，并被采样到显示像素栅格上。预滤波保证了采样信号的副本在显示器坐标下不会重叠。这避免了模糊效应。

现在我们通过将如上所述的三个步骤合并而导出统一的重采样滤波器。我们在空间域中进行操作，这对于实际的实现是有用的。我们如下进行：

1.给定输入光场101的样点ξ_i，j，我们重构(150)连续光场l_in 152：

$l_{\mathrm{in}}(v_{\mathrm{in}},t_{\mathrm{in}})={\mathrm{\Σ}}_{i,j}{\mathrm{\ξ}}_{i,j}r\left(\left[\begin{array}{cc}{v}_{\mathrm{in}}& {-\mathrm{i\Δv}}_{\mathrm{in}}\\ t_{\mathrm{in}}& -{\mathrm{j\Δt}}_{\mathrm{in}}\end{array}\right]\right),---\left(3\right)$

其中r代表光场重构核。

2.使用式(2)，我们根据下式将重构光场152重新参数化(160)为显示器坐标161：

$l_d(v_d,t_d)=l_{\mathrm{in}}\left(M\left[\begin{array}{c}{v}_d\\ t_d\end{array}\right]\right).---\left(4\right)$

3.我们对由显示器坐标表示的重构光场与显示预滤波器h进行卷积，得到带限信号

$l_d(v_d,t_d)=(l_d\⊗h)(v_d,t_d).---\left(5\right)$

对显示栅格上的该信号进行采样不会产生任何混叠伪影。

通过合并上述三个步骤，我们将带限信号表示为输入样点的加权和。

${\stackrel{\‾}{l}}_d(v_d,t_d)=\underset{i,j}{\mathrm{\Σ}}{\mathrm{\ξ}}_{i,j}\mathrm{\ρ}(\left[\begin{array}{c}{v}_d\\ t_d\end{array}\right]-M^{-1}\left[\begin{array}{c}{\mathrm{i\Δv}}_{\mathrm{in}}\\ {\mathrm{j\Δt}}_{\mathrm{in}}\end{array}\right]).---\left(6\right)$

加权核(weighting kernel)ρ是所谓的重采样滤波器。它被定义为以显示器坐标表达的重构核与预滤波器的卷积，

$\mathrm{\ρ}(v_d,t_d)=(r\left(M\right[\·\left]\right)\⊗h)(v_d,t_d).---\left(7\right)$

我们使用常规的高斯函数实现所有的光场重采样滤波器。

因为重构滤波器和预滤波器高度地各向异性，我们将这些滤波器小心地排列，以尽可能多地保留信号带宽。注意式(2)隐含着[φ_in，θ_in]＝[φs，θ_d]M^-1。因此，沿垂直轴剪切该输入频谱。

我们还注意到，对应于深度z_in＝f_in的直线θ_inf_in+φ_in＝0被映射到显示器的零视差平面。因此，以输入坐标表示的显示器的场深位于与摄像机相距f_in＝Δt/Δv处。这意味着摄像机平面和显示器平面之间的距离f_in被选择为(对于所关注的目标)z_in-f_in＝z_d＜Δt/Δv。

基线和场深

如上所述的输入光场和输出光场之间的关系隐含着显示器充当了针对均匀比例场景的虚拟窗。该显示器以不同的、通常较小的比例再现该场景的光场。然而，实现这一目的通常既不合乎要求实际上也是不可行的。

场景的深度范围远远超过相对浅的显示器的场深并不罕见。这意味着场景的大部分位于显示带宽以外，这可能导致过度模糊的视图。此外，对于其中所关注的目标离摄像机远的那些场景，就象在室外环境中那样，以上假设意味着需要非常大的摄像机基线。还将意味着由显示器的观察者看到的成对立体视图将对应于比实际场景中观察者的两个眼睛远得多的在物理上相距甚远的摄像机。

这些问题可以通过改变摄像机基线的大小来解决。这可以表示为输入光场的附加线性变换，该附加线性变换减小了场景的显示深度。该附加的自由度使我们能够规定在输入场景中需要处于焦点上的期望深度范围。我们推导出了将该深度范围映射到显示器场深所需的基线比例。

基线比例

如图7所示，在采集期间对摄像机基线t_in 701的修改对应于对显示布局(configuration)的变换。在图7中，实线表示采集几何形状，虚线表示显示几何形状。

位于给定位置处的观察者710看到由更靠近基线中心的摄像机采集的立体视图。即，我们将每个采集的摄像机光线重映射为使得其与基线平面t_in的交点以因子s＞1来缩放(scale)，而保留其与显示器的零视差平面(即，t_d平面)的交点。

该映射对应于输入光线空间的线性变换，而光线空间的任何线性变换对应于场景几何形状的投影变换。对于图7所示的变换，该投影变换是

$\left[\begin{array}{c}{x}^{\′}\\ z^{\′}\\ w^{\′}\end{array}\right]=\left[\begin{array}{ccc}{\mathrm{sf}}_{\mathrm{in}}& 0& 0\\ 0& {\mathrm{sf}}_{\mathrm{in}}& 0\\ 0& s-1& f_{\mathrm{in}}\end{array}\right]\left[\begin{array}{c}x\\ z\\ 1\end{array}\right],---\left(8\right)$

即，场景中的点(x，z)映射到(x′/w′，z′/w′)。在图7中还例示了场景几何形状的投影变换。该场景变换与立体显示使用的深度缩减技术密切相关，该技术用来辅助立体视图融合(fusion)。该变换将无穷远处的点(即，z＝∞)移动到有限深度

z′/w′＝f_ins/(s-1+f_in)。

此外，因为s趋近于无穷远，所以z′/w′趋近于f_in。这意味着景深朝显示器的零视差平面压缩。我们通过包括图7所示的映射而将该变换从显示器推广到输入坐标，这使得

$\left[\begin{array}{c}{v}_{\mathrm{in}}\\ t_{\mathrm{in}}\end{array}\right]=\left[\begin{array}{cc}\frac{1}{f_{\mathrm{in}}}& 0\\ 0& 1\end{array}\right]{\left[\begin{array}{cc}1& s-1\\ 0& s\end{array}\right]}^{-1}\left[\begin{array}{cc}\frac{f_{\mathrm{in}}}{f_d}& 0\\ \frac{f_{\mathrm{in}}}{f_d}& 1\end{array}\right]\left[\begin{array}{c}{v}_d\\ t_d\end{array}\right]$

$=M(f_{\mathrm{in}},s)\left[\begin{array}{c}{v}_d\\ t_d\end{array}\right]---\left(9\right)$

我们该映射称为M(f_in，s)以强调它由自由参数f_in和s决定。

控制场景的场深

在实际应用中，用户想确保场景的给定深度范围被映射到显示器的场深中并呈现出锐度。前面提到过，有限深度范围内的场景元素的带宽以两条谱线为界。此外，显示器的场深由其矩形带宽的对角线给出。使用式(9)中的两个自由参数，其中s用于对基线进行缩放，f_in用于相对于该场景来定位显示器的零视差平面，我们确定了排列这两对线的一个映射，这实现了所期望的效果。

我们通过使相应的两对谱线(即，第一对约束了映射到显示器坐标的用户指定的深度范围，第二对限定了显示器的场深)相等来确定该映射。我们用z_front和z_back表示用户希望处于显示器上的焦点处的最小景深z_min和最大场深z_max。参数s和f_in的解是

$f_{\mathrm{in}}=\frac{{2z}_{\max }{z}_{\min }+\frac{\mathrm{\Δt}}{\mathrm{\Δv}}(z_{\max }-z_{\min })}{z_{\max }+z_{\min }},---\left(10\right)$

$s=\frac{\frac{\mathrm{\Δv}}{\mathrm{\Δt}}{(z_{\min }+z_{\max })}^2/(1-\frac{\mathrm{\Δv}}{\mathrm{\Δt}}{z}_{\max })}{2(z_{\min }-\frac{\mathrm{\Δv}}{\mathrm{\Δt}}{z}_{\max }{z}_{\min }-z_{\max }+\frac{\mathrm{\Δv}}{\mathrm{\Δt}}{z}_{\min }^2)}.---\left(11\right)$

采集的优化

三维显示器上显示的光场的频谱和混叠取决于许多采集和显示参数，如摄像机的数量、它们的间隔、它们的孔径、景深范围和显示器分辨率。三维电影摄影师的判断受艺术性选择、物理限制、和最优地使用采集和显示带宽的愿望这三者的共同支配。因此，我们分析这些系数如何相互作用并影响三维显示器的最终的频谱和混叠。

首先，我们描述摄像机孔径对采集的带宽的影响。然后，我们描述所有采集和显示参数的结果，并示出如何能够将该分析用于使采集过程中的参数选择最优。

有限孔径摄像机

上面的Chai等人的文献描述了利用理想化的针孔摄像机采集的光场的频谱。这里，我们示出实际摄像机的有限孔径对针孔光场的频谱有带限影响。我们的推导基于与图2、3、5和7所示略微不同的参数化。

如图8A所示，我们选择t平面作为这些摄像机的公共焦平面，t_in是隔开距离d的透镜801的平面，v平面作为包含这些摄像机传感器的平面。如前所述，平面v_in和t_in隔开距离1。

我们假设尺寸为a的孔径位于距摄像机传感器距离f的透镜上。这并不是实际透镜的真实情况，然而对于我们的目的来说，该误差可以忽略。根据薄透镜模型，在传感器平面处采集的任意光线l(v，t)对应于穿过该透镜的所有光线l(v，t)的加权积分：

$l(v,t)=\frac{1}{f^2}{\∫}_{\frac{v-a(f+d)}{2d}}^{\frac{v+a(f+d)}{2d}}\stackrel{\‾}{l}(v,t){\cos }^4\mathrm{\αdv},---\left(12\right)$

其中积分范围对应于如图8A所示的孔径，α是传感器平面法线和光线之间的角度。尽管我们是利用二维光场来代替四维光场，并用一维透镜和传感器来代替二维透镜和传感器，但我们的推导同样适用于更高维的情况。

随后，设想我们使透镜在与v平面平行的一个平面上“滑动”。这可以被表示为卷积

$l(v,t)=\frac{1}{f^2}{\∫}_{-\∞}^{\∞}\stackrel{\‾}{l}(x,y)b(v-x,y)\mathrm{dxdy},---\left(13\right)$

其中b(v，t)是孔径滤波器。我们忽略cos⁴项并将b定义为

∫∫b(v，t)＝1。            (14)

在傅立叶域中，式(13)中的卷积是场景光场的频谱和摄像机孔径滤波器的频谱相乘。我们用以沿θ平移(translate)后的φ表示的宽度为2πd/(a(f+d))的方框802来近似摄像机孔径滤波器的频谱(其是以沿θ平移后的φ表示的正弦基函数(sinc)(sine cardinal function))，如图8B所示。

现在我们使用与上述用于重采样的变换相似的变换将坐标改变回到输入光场的参数化，这导致图8C所示的带宽803。通过具有聚焦在距离d处的有限孔径a的透镜观察到的连续光场是带限于宽度为2π/a且斜率为-d的剪切带(sheared slab)的频带。

带宽利用和最小化采样

在实际应用中，可用的摄像机的数量受到限制。摄像机的放置也会受到约束。因此，希望确定对有限和受约束资源的最优布置。利用我们的重采样技术，可以估计该设置。给定了采集参数，我们可以确定重采样滤波器的最优“形状”并分析其相对于显示带宽的带宽。

我们认识到，采样输入信号101中的混叠是使可用带宽减小的主要因素。给定了固定数量的摄像机，则增大该带宽有两个主要选择。首先，我们可以减小摄像机基线，这减小了场景的深度，因为它被映射到显示器。在此情况下，输入频谱由于深度减小而沿角度方向φ_d变窄。显然，摄像机基线减小过多可能导致景深难以察觉。其次，我们可以增大摄像机孔径。然而，如果摄像机孔径过大，采集的场深可能变得比显示器场深浅。我们选择摄像机的焦深(focal depth)等于f_in，这意味着采集的输入频谱带(slab)平行于矩形显示带宽。

在一个另选设置中，希望采集一个给定场景并使位于特定深度的目标保持在聚焦处。因此，确定在目标显示器上获得高质量结果所需的最小采样率。从直觉上讲，当没有重构混叠出现在一个显示器的带宽内时，该采样率对于该显示器是足够的。将采集采样率增大到超出该标准并不会提高输出质量。

我们使用式(11)来确定焦距f_in和基线比例s，焦距f_in和基线比例s决定了从输入到显示器坐标的映射。然后，我们通过找到输入频谱的副本的最紧密排列(使得没有任何非中心副本与显示预滤波器重叠)，来推导出最小采样率，即摄像机的最小数量和分辨率。现在可以将所需的摄像机数量减少到显示器的角分辨率。然而，实现这一目的通常是不切实际的，这是因为需要更大的摄像机孔径。

本发明提供了一种用于采样和混叠三维显示器件的光场的方法和系统。该方法基于光线空间分析，这使得该问题能够按照信号处理方法来处理。本发明确定了三维显示器的带宽，描述了浅场深特性，并展示了可以通过对光线空间进行线性滤波来实现抗混叠。本发明提供了重采样算法，其使得能够在三维显示器上以受限的分辨率无混叠地呈现高质量的场景。

我们通过使用户指定场景的深度范围(其应当映射到显示器的场深)而使当前显示器的浅场深的效应最小化。本发明能够用于分析可通过给定的采集和显示装置提供的图像质量。

推导出了针对高质量显示的最小采样要求。本发明使得能够更好地设计多视角采集和三维显示器件。

尽管以优选实施方式为例描述了本发明，然而应当理解，在本发明的精神和范围内可以做出各种其他修改和变型。因此，所附权利要求的目的是涵盖落入本发明的真实精神和范围内的所有这种变化和变型。

Claims (14)

1.一种用于采集和显示光场的由计算机实现的方法，该方法包括以下步骤：

根据采集参数化，从多个摄像机采集的三维场景的输入光场的输入样点重构连续光场；

根据显示参数化，重新参数化所述连续光场；以及

对重新参数化的所述光场进行预滤波并对预滤波后的所述光场进行采样，以产生具有所述显示参数化的输出样点，并使用三维显示器件将所述输出样点显示为输出光场。

2.根据权利要求1所述的方法，其中，所述预滤波匹配根据所述显示参数化的显示带宽的纳奎斯特极限。

3.根据权利要求1所述的方法，其中，所述三维显示器件是自动多视点显示器件。

4.根据权利要求1所述的方法，其中，所述输入样点的形式是由所述多个摄像机采集的图像序列。

5.根据权利要求1所述的方法，其中，所述多个摄像机被布置为水平线性阵列。

6.根据权利要求1所述的方法，其中，所述三维显示器件包括多个投影仪，并且显示屏幕包括安装在垂直排列的柱面屏幕前方的视差栅栏。

7.根据权利要求1所述的方法，所述显示参数化部分地由所述视差栅栏的t平面和所述柱面屏幕的v平面来限定，其中所述视差栅栏的t平面定义了t坐标且所述柱面屏幕的v平面定义了v坐标，并且所述柱面屏幕的像素间隔为Δv，所述视差栅栏中的间隙的间隔为Δt，所述柱面屏幕和所述视差栅栏之间的间距为f，深度为z。

8.根据权利要求7所述的方法，其中，所述输出光场的在一个位置处与所述t平面相交的光线对应于一个多视点像素，所述光线与v平面的每个交点是一个视点相关子像素，并且所述多视点像素的数量限定了所述显示参数化的空间分辨率，每多视点像素的视点相关子像素的数量限定了所述显示参数化的角分辨率。

9.根据权利要求7所述的方法，其中，显示带宽由下式限定

其中角频率和空间频率分别是φ和θ。

10.根据权利要求7所述的方法，其中，特定摄像机的输入坐标和焦平面的输入坐标分别是t_in和v_in；距t_in轴的距离是z_in；采样间距离是Δt_in和Δv_in；相应的显示器坐标是t_d、v_d、z_d、Δt_d和Δv_d；针对所述输入光场和所述输出光的t平面和v平面之间的距离归一化为1；并且所述重新参数化使用由下式定义的所述采集参数化和所述显示参数化之间的关系

$\left[\begin{array}{c}{v}_{\mathrm{in}}\\ t_{\mathrm{in}}\end{array}\right]=\left[\begin{array}{cc}1& 0\\ f_{\mathrm{in}}& 1\end{array}\right]\left[\begin{array}{c}{v}_d\\ t_d\end{array}\right]=M\left[\begin{array}{c}{v}_d\\ t_d\end{array}\right].$

11.根据权利要求10所述的方法，其中，所述输入光场的输入样点是ξ_i，j，并且所述重构是根据

$l_{\mathrm{in}}(v_{\mathrm{in}},t_{\mathrm{in}})={\mathrm{\Σ}}_{i,j}{\mathrm{\ξ}}_{i,j}r\left(\left[\begin{array}{cc}{v}_{\mathrm{in}}& -i{\mathrm{\Δv}}_{\mathrm{in}}\\ t_{\mathrm{in}}& -j{\mathrm{\Δt}}_{\mathrm{in}}\end{array}\right]\right),$

其中r表示光场重构核，并且所述重新参数化是根据

$l_d(v_d,t_d)=l_{\mathrm{in}}\left(M\left[\begin{array}{c}{v}_d\\ t_d\end{array}\right]\right),$ 以及

所述预滤波是根据

$l_d(v_d,t_d)=(l_d\⊗h)(v_d,t_d),$

其中h是显示预滤波器。

12.根据权利要求11所述的方法，其中，作为输入样点的加权和的带限信号使用重采样滤波器ρ并根据下式执行输入样点的加权和

${\stackrel{\‾}{l}}_d(v_d,t_d)=\underset{i,j}{\mathrm{\Σ}}{\mathrm{\ξ}}_{i,j}\mathrm{\ρ}(\left[\begin{array}{c}{v}_d\\ t_d\end{array}\right]-M^{-1}\left[\begin{array}{c}{\mathrm{i\Δv}}_{\mathrm{in}}\\ \mathrm{j\Δ}{t}_{\mathrm{in}}\end{array}\right]).$

13.根据权利要求12所述的方法，其中ρ为

$\mathrm{\ρ}(v_d,t_d)=(r\left(M\right[\·\left]\right)\⊗h)(v_d,t_d).$

14.一种采集并显示光场的系统，该系统包括：

构造成用于采集三维场景的输入光场的多个摄像机；

用于根据采集参数化从所述输入光场的输入样点来重构连续光场的装置；

用于根据显示参数化来重新参数化所述连续光场的装置；

用于对所述重新参数化的光场进行预滤波并对所述预滤波后的光场进行采样以产生具有所述显示参数化的输出样点的装置；以及

被构造成显示所述输出样点作为输出光场的三维显示器件。

Images