CN101300855B - 用于多视图显示器的图像数据呈现 - Google Patents

Abstract

本发明关于用于多视图显示器的图像数据的呈现，如用于双凸透镜自动立体显示器的图像数据的呈现。该方法包括步骤：提供用于图像的视图相关的图像数据；确定用于该图像的视图相关的强度函数或亮度函数；施加空间滤波至该强度函数的视图相关的坐标，该空间滤波是如低通滤波，高通滤波或低通和高通滤波的组合；以及将该视图相关的强度函数取样到多个子图像，每个子图像与图像的观看方向相关联。

Description

用于多视图显示器的图像数据呈现

本发明涉及用于多视图显示器的图像数据呈现方法。尤其是，本发明涉及用于多视图显示器的图像数据呈现方法，其中在该多视图显示器上，可从多个方向上观看到图像。本发明还涉及多视图显示器、信号呈现系统以及用于实现所述方法的计算机可读代码。

多视图显示器是这样一种显示器，其能够取决于观看方向而向观看者展示不同图像，以便可从不同角度看到一个图像中的对象。多视图显示器的一个例子是能够向观看者的左眼展示与右眼不同的图像的自动立体显示器。有各种多视图显示器技术存在，一种这样的技术基于双凸透镜。双凸透镜显示器是一种能够为不同水平观看方向显示多个图像的视差3D显示器。通过这种方式，观看者可体验到例如运动视差和立体提示。

关于多视图显示器的一个问题是用于不同观看方向的图像可能重叠因而产生鬼像(ghost image)、或者图像之间的干扰(cross-talk)。与之有关的另一问题是观看-方向的数量可能相对较少(一般是8或9个)，这可在某些观看-方向上产生混叠效果。

已公布的美国专利申请US 2003/0117489公开了一种三维显示器和一种降低3D自动立体显示器上的左右眼图像之间的干扰的方法。该公开的降低干扰的方法基于向左右图像的每个像素上增加一个基本灰度级以提高背景灰度级。

本发明的发明人已经了解到呈现图像数据的改进的方法具有益处，并从而设计出本发明。

本发明寻求提供用于多视图显示器的呈现图像数据的改进装置，而可看作是本发明目的的是提供一种改善多视图显示器的观看者或使用者所感知的图像质量的滤波技术。优选地，本发明可单独或以任何组合方式缓和、调节或消除上述或其他缺点中的一个或多个。

因而，在第一个方面提供了一种用于多视图显示器的呈现图像数据的方法，该方法包括步骤：

提供用于图像的视图相关的图像数据，

确定用于所述图像的观看方向相关的强度函数，

施加空间滤波至所述观看方向相关的强度函数的视图相关的坐标，

取样所述观看方向相关的强度函数至多个子图像，每个子图像与所述图像的观看方向相关联。

在多视图显示器中，所述图像数据一般是为了适当的展示而呈现。因为图像可能基于以这样的方式投射到观看者以便观看者看到该图像的空间或3D维度的2D图像数据，所以可能需要呈现。对于图像的每个观看方向，生成从那个观看方向看到的图像的子图像，并且将该子图像投射至相关联的观看方向中。

呈现处理一般包括几个操作或步骤，例如这取决于图像数据的输入格式、显示设备、图像数据的类型等。在第一步骤中提供视图相关的图像数据。该第一步骤不必是整个呈现处理的第一步骤。根据视图相关的图像数据确定观看方向相关、或多维度的强度函数。该观看方向相关的强度函数涉及显示器在可能的观看方向上的发光强度或亮度。强度函数的视图相关坐标被空间滤波，并且将该经空间滤波的强度函数取样为多个子图像。视图相关的坐标取决于图像数据的坐标表示。在一个典型的坐标表示中，图像的强度函数依据涉及显示屏幕上的位置的空间坐标集和表示观看者的水平观看方向的角度来进行描述，其中该表示水平观看方向的角度是视图相关的坐标。但是，应该理解的是取决于多视图显示器的种类、图像数据、呈现处理等，可想象到替代的坐标表示。

根据该第一个方面的本发明因一些理由而有特别但不唯一的优点。在该方法中，呈现处理被认为是真实的三维滤波处理，因而提供在图像数据的呈现和其中图像展示于其上的显示设备之间的直接和直觉的链接。这便于该方法在各种不同显示设备上进行简单和稳定的实现。另外，该方法还有效地降低了诸如干扰和混叠赝象之类的赝象，这是因为赝象在明确定义的呈现阶段中进行处理，这使得进一步的处理变得没有必要，诸如使进行前处理或后-处理以进一步除去或减少干扰或混叠赝象变得没有必要。还有，该方法是很通用的方法，其对图像数据的输入或输出格式要求很小、或者甚至没有限制。观看方向相关的强度函数可从一些图像格式中生成，且可基于观看方向相关的强度函数生成或取样出任何输出图像格式。

如权利要求2到4所定义的光学特征具有优点，这是因为由低通滤波、高通滤波和/或两者组合完成的空间滤波是众所周知的带通滤波技术，其可以很多种方式实现，因此确保稳固和通用的实现。

如权利要求5所定义的光学特征具有优点，这是因为通过施加正增益至高于预定频率的频率，强度函数可进行锐化，因而有效处理干扰效应。

如权利要求6所定义的光学特征具有优点，这是因为通过在低通滤波中除去高于尼奎斯特(Nyquist)频率的频率，有效处理了混叠效应。

如权利要求7所定义的光学特征具有优点，这是因为通过将观看方向相关的强度函数分解为图像的颜色分量、并施加空间滤波至该图像的至少一种颜色分量，可分别处理不同颜色分量的强度，这可导致更加有效的图像数据处理。

如权利要求8到10所定义的光学特征具有优点，这是因为它们描述了如何生成观看方向相关的强度函数的具有优点的实施例。在权利要求8中，观看方向相关的强度函数根据光学元件的结构、例如多视图显示器的透镜结构而生成。这是有利的，因为观看方向相关的强度函数可取决于光学元件。在权利要求9中，观看方向相关的强度函数根据包括颜色和深度信息的图像格式来生成。这是有利的，因为即使深度图不与图像数据相关联，这种深度图也可生成，因而该方法既可应用于包括颜色和深度的图像格式，又可应用于只包括颜色且其中的深度信息随后生成的图像格式。在权利要求10中，观看方向相关的强度函数从大批图像中生成。这是有利的，因为图像的视图相关度可基于例如从各个视图获取的图像而生成。

如权利要求11所定义的光学特征具有优点，这是因为通过将观看方向相关的强度函数取样至任意数量的视图方向，该方法可应用于显示分数数量和整数数量视图二者的显示器。分数的视图数量可以例如有利地应用于视图-距离校正。

如权利要求12所定义的光学特征具有优点，这是因为2.5D视频图像格式是标准且广泛使用的格式。

根据本发明的第二个方面提供了一种多视图显示设备，其包括：

显示面板，包括显示元件阵列，所述显示元件成组设置，每组与图像的观看方向相关联，

光学元件，用于引导从所述显示面板发出的光，以使从一组显示元件发出的光被引导到与所述组的观看方向相关联的角分布中，

输入模块，用于接收用于图像的视图相关的图像数据，

呈现模块，用于确定用于所述图像的观看方向相关的强度函数并用于施加空间滤波到所述强度函数的视图相关的坐标，

输出模块，用于输出所述观看方向相关的强度函数至多个子图像，每个子图像与一组显示元件和所述图像的观看方向相关联。

显示设备是由第一方面的呈现方法增强的多视图显示设备。本发明的一个优点是多视图显示设备可以是提供有根据本发明第一方面的功能的显示设备，或者可以是未提供有根据本发明第一方面的功能、但是随后为本发明的功能所增强的显示设备。

输入模块、呈现模块和输出模块可做为根据本发明第三方面的信号呈现系统来提供。

根据本发明第四方面，提供了用于实现根据第一方面的方法的计算机可读代码。

总的来说，本发明的各方面可以本发明范围内的任何可能的方式进行结合和耦合。本发明的这些和其他方面、特征和/或优点将根据以下描述的实施例而变得明显，并参考以下描述的实施例进行阐述。

本发明的实施方式将结合附图，仅通过示例的方式进行描述，其中：

图1给出了3D双凸透镜显示器的原理；

图2A和2B示出了俯视下的双凸透镜显示器的示意图；

图3给出了来自相邻视图的子图像之间的干扰；

图4A和4B给出了对于2D显示器和3D双凸透镜显示器、观看者从各种角度对固定点的观看；

图5A和5B给出了观看方向相关的强度函数的例子；

图6给出了强度函数的带通滤波的效果；

图7示出了本发明实施例的流程图。

图1给出了3D双凸透镜显示器的原理。双凸透镜显示器基于LCD面板显示器1，在该面板显示器1前面附有透镜2。该透镜被调节成对于特定视角

观看者3仅看到位于下面的LCD的像素子集。如果向与各个观看方向相关联的像素子集设置了合适的值，则该观看者将从不同观看方向看见不同的图像。这样该观看者3就看见该图像的中心视图，然而观看者将从以6表示的视角看见图像的侧视图。

每个透镜覆盖一些像素4、5，并将它们投射出，如若干以7表示的像素所述。观看者用右眼看见像素的一个子集4而用左眼看见像素的另一个子集5。从而获得了3D的体验。

图2A示出了俯视下的双凸透镜显示器的示意图。该显示器包括显示元件20或像素的阵列，诸如传统LC矩阵显示面板，其中这些像素以组排列，每个组与图像的观看方向相关联。每组像素构成子图像，每个子图像与观看方向相关联。光学元件，即透镜，引导从像素发出的光，这样从一组像素发出的光被引导到与该组的观看方向相关联的角分布中，从而向观看者的眼睛提供分离的图像。

在该说明的实施例中，双凸透镜透镜被设置成相对于像素列呈微小角度或倾斜，以便它们的主长轴相对于显示元件的列方向呈一角度。在该结构中，观看者将看见沿透镜的方向22取样的点。在9视图显示器中，9个图像(每个观看方向一个)被同时计算并显示在与子图像相关联的像素组上。当点亮像素时，位于该像素上方的整个透镜被照亮了21(这如图2B所示)，以便对于特定观看方向，看见的是位于该像素上方的整个透镜。

图1、2A和2B描述了LCD-双凸透镜显示器，但是应该理解本发明不限于这种显示器。作为示例，可将本发明应用于诸如屏障型显示器之类的显示器，而且矩阵显示面板可以是除了LC面板以外的其他类型，诸如空间光调制器的其他形式，或其他类型的显示面板如电致发光或等离子面板。

从单个观看方向对来自相邻视图的子图像的可视性可导致诸如干扰之类的赝象。这如图3所示，其中显示为作为4 2/3显示器、即其中每个透镜在水平方向上覆盖4 2/3像素的显示器的视角的函数的可视光I。可看出，来自不同子图像的角分布30-34重叠。观看者所感知的图像是来自每个角分布的光的总和，而且可以看出的是，对于该具体例子，三个子图像对每个观看方向所感知的图像有贡献。

本发明的发明人已经了解到，通过合适的滤波，可以除去或至少减少有关干扰、鬼像和混叠的问题。

这些问题是通过将用于3D显示器的呈现考虑为真实的三维滤波处理而解决的。对于显示器40上的每个位置(x，y)和视角

给出了强度或亮度的函数，L(x，y，)，该强度函数描述了显示器的强度，或从显示器发出的亮度。

图4A给出了标准2D显示器的情况，其中使用者从所有方向观察到相同图像。在理想3D显示器(图4B)中，观看者从不同观看方向观察到不同图像。即，从两个观看方向41、42看见不同图像。

在强度函数中反映了观看者从不同观看方向观察到不同图像。与2D显示器相关的强度函数对于各个视角

是常数(图5A)，而与3D显示器相关的强度函数是视角

的函数，图5B给出了这样的一个例子。

图6给出了强度函数的带通滤波的效果。在滤波后，将观看方向相关的强度函数取样至多个子图像。将结果得到的像素值分配给显示器以便在显示器上形成这些子图像。

图6给出了作为视角的函数的强度曲线60。用61表示的虚线示出了初始强度函数。用62表示的点线示出了在施加了低通滤波后的函数，而用63表示的实线示出了在施加了高通滤波后的函数。在该实施例中，首先施加低通滤波并随后施加高通滤波。在该示例中，被取样至子图像的结果得到的强度函数是使用了这两个带通滤波后的函数63。

低通滤波减轻了与将强度函数取样成为小数量(诸如8或9个，这取决于显示器的视图数量)个子图像相关的问题，其一般是混叠问题。在低通滤波中，可除去高于尼奎斯特频率的频率。高通滤波减轻了与在观看方向由干扰产生的模糊相关的问题。高通滤波通过提升高频率(例如低于尼奎斯特频率的频率)、即通过向高于预定频率的频率施加正增益来放大这些频率。图6给出了高通滤波和低通滤波的组合，但是滤波也可分离地应用，以便仅施加高通滤波或仅施加低通滤波。对于其中施加了高通滤波和低通滤波组合的实施例，滤波顺序可不同于图6的顺序。带通滤波可以通过视图相关的坐标，即

的傅立叶变换或其他适合的变换来完成。

在一个实施例中，将包括要展示给观看者的图像数据在内的信号输入至输入模块中。在呈现模块处，从所输入的图像数据重建或确定观看方向相关的强度函数，其中该呈现模块一般是处理器单元。可以根据光学元件的结构，例如通过考虑透镜的数量、透镜的种类或者几何结构、透镜的位置等，可重建或生成观看方向相关的强度函数。观看方向相关的强度函数也可根据诸如2.5D视频格式之类、包括图像的颜色和深度信息的输入信号来重建。观看方向相关的强度函数也可根据诸如大量的图像之类、从大量的观看方向描述该图像的任何数量的视图来重建。在呈现模块上也施加了对视图相关的坐标的空间滤波，并且在输出模块中将经滤波的强度函数输出至多个子图像，每个子图像与一组显示元件和图像的观看方向相关联。输入模块、呈现模块和输出模块，不必是，但是可以是独立的结构。

呈现模块也可将其他呈现函数施加到图像数据，例如可以将图像数据适当地缩放到视图分辨率，可调整颜色等。可为不同颜色分量分离地完成对图像信号的呈现，且可为图像的至少一种颜色分量确定观看方向相关的强度函数，以及将空间滤波施加到图像的至少一种颜色分量。例如，因为在RGB-信号中，绿色分量是最亮的分量，所以在一个实施例中，空间滤波可仅用于绿色分量。

可将观看方向相关的强度函数取样至任意数量的观看方向，因而使得观看方向相关的强度函数可应用于其中像素不与整数视图数量相关联、例如是4.4999视图系统的显示器。在这种情况下，对于显示器的每个像素，计算非整数的视图数量且在像素位置处取样观看方向相关的强度函数。可以将强度函数取样应用至非整数显示器，以用于视图距离校正。正常地，为某个视图距离优化多视图显示器。如果从第一视图距离看某个像素，且如果应该从第二视图距离看相同图像，那么一不同的像素就应该分配有该像素值。随着视图移动靠近屏幕或远离屏幕，分配给像素的视图数量发生改变。但是，这只是小的校正并结果导致分数个视图数量。在一个实施例中，可通过调整用于透镜宽度的值来考虑进该校正。因为随着视图移动得更靠近，透镜好象覆盖稍微更多的像素，而视图移动远离的情况则相反。

在一个实施例中，用两个阶段来执行呈现。在第一阶段中，在空间域中采用适当的前滤波来呈现几个中间视图，前滤波确保中间视图以适当的中间分辨率生成，其中诸如混叠之类的赝象未由呈现处理等引入。对于每条输出线，这为每个透镜结果导致了对应于每个被计算的视图的多个RGB颜色。

在第二阶段中，根据视图样本重建视图维度的连续信号，即重建强度函数，并使用适当的空间滤波函数、即与图6中以63表示的强度曲线相对应的函数重新取样到那个空间位置所需要的输出视图。这可通过用于一个空间位置的视图信号的1D重建来完成。可选地，对于象41/2(9视图)和4 2/3(7或14视图)显示器那样的、可从给定方向(从相邻透镜)看见多于一个视图的显示器，也可考虑来自相邻透镜的取样并执行2D滤波。

这种两阶段方法是非常通用的：第一阶段中生成的视图数量可被参数化，甚至对于不同于输出所需要的视图数量的数量也可进行参数化。如果已得到了几个图像(例如用多个相机抓拍，或用CGI生成)，则第二阶段可用于交织这些图像，例如以此方式可为14(42/3)显示器呈现为9视图显示器抓拍的九幅图像。

由于该方法的通用性，可在第一阶段计算在第二阶段从不需要的颜色：对于特定显示器类型的最优的有效实现，可专门定制算法。

图7给出了本发明一个实施例的流程图。在第一步骤70中，例如在输入模块中提供用于图像的视图相关的图像数据，接下来根据输入数据生成或提供(71)用于该图像的观看方向相关的强度函数。接着例如在呈现模块中将空间滤波施加72到该强度函数的视图相关的坐标，而该观看方向相关的强度函数被取样73至多个子图像，每个子图像与该图像的观看方向相关联。取样可在输出模块中完成。

附图中表示的一些特征一般以软件实现、并因此表示软件结构，如软件模块或对象。

本发明可以任何适合的形式实现，这包括硬件、软件、固件或它们的组合。本发明可实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明实施例的元件和部件可以以任何适合方式物理地、功能地和逻辑地实现。的确，功能可以单个单元、多个单元或其他功能单元的一部分来实现。这样，本发明可以单个单元实现，或可在不同单元和处理器之间进行物理和功能分配。

尽管本发明已结合优选实施例进行了描述，但并不能将本发明限于此处陈述的特定形式。相反，本发明的范围仅由所附的权利要求来限定。

在这个部分中，所公开实施例中的某些特定细节是为解释而不是限制的目的来进行陈述的，以便提供对本发明的清楚和彻底的理解。但是，本领域技术人员应该容易理解的是，本发明可以其他不完全符合此处陈述的细节的实施例来实施，而不显著脱离本公开的精神和范围。进一步地，在该上下文中，为了简洁和清楚的目的，已经省略了众所周知的设备、电路和方法的详细描述以避免不必要的细节和可能的混淆。

在权利要求中包括有参考符号，但包括参考符号仅为了清楚而不应该认作是限制了该权利要求的范围。

Claims (14)

1.一种用于多视图显示器的图像数据呈现方法，所述方法包括步骤：

提供用于图像的视图相关的图像数据；

确定用于所述图像的观看方向相关的强度函数

沿着所述观看方向相关的强度函数

的视图相关坐标

将空间滤波施加到所述观看方向相关的强度函数

将所述观看方向相关的强度函数取样至多个子图像，其中每个子图像与所述图像的观看方向相关联。

2.如权利要求1所述的方法，其中所述空间滤波是高通滤波。

3.如权利要求1所述的方法，其中所述空间滤波是低通滤波。

4.如权利要求1所述的方法，其中所述空间滤波是高通滤波和低通滤波的组合。

5.如权利要求2所述的方法，其中所述高通滤波向高于预定频率的频率施加正增益。

6.如权利要求3所述的方法，其中在低通滤波中，除去高于尼奎斯特频率的频率。

7.如权利要求1所述的方法，其中为所述图像的至少一种颜色分量确定所述观看方向相关的强度函数，并且其中向所述图像的所述至少一种颜色分量施加所述空间滤波。

8.如权利要求1所述的方法，其中所述观看方向相关的强度函数根据光学元件的结构生成。

9.如权利要求1所述的方法，其中所述观看方向相关的强度函数从包括颜色和深度信息的图像格式生成。

10.如权利要求1所述的方法，其中所述观看方向相关的强度函数从大批图像中生成。

11.如权利要求1所述的方法，其中将所述观看方向相关的强度函数取样到任意数量的观看方向。

12.如权利要求1所述的方法，其中所述图像数据的图像格式是2.5D视频图像格式。

13.一种多视图显示设备，包括：

显示面板，包括显示元件阵列，所述显示元件以组排列，每组与图像的观看方向相关联，

光学元件，用于引导从所述显示面板发出的光，以使从一组显示元件发出的光被引导到与所述组的观看方向相关联的角分布中，

输入模块，用于接收图像的视图相关的图像数据，

呈现模块，用于确定用于所述图像的观看方向相关的强度函数

并用于沿所述观看方向相关的强度函数

的视图相关的坐标

将空间滤波施加到所述观看方向相关的强度函数

输出模块，用于将所述观看方向相关的强度函数

输出到多个子图像，其中每个子图像与一组显示元件和所述图像的观看方向相关联。

14.一种信号呈现系统，包括：

输入模块，用于接收图像的观看方向相关的图像数据，

呈现模块，用于确定用于所述图像的观看方向相关的强度函数，并用于沿所述观看方向相关的强度函数的视图相关的坐标将空间滤波施加到所述观看方向相关的强度函数，

输出模块，用于输出所述观看方向相关的强度函数。

Images