CN1977544A - 3d显示方法和设备 - Google Patents

Abstract

一种涉及自动立体显示器领域的方法和设备。所提供的方法用于产生适于与自动立体显示器一起使用的图像或图像数据。该方法包括用于对表示3D景象中的至少一个项目的项目坐标进行处理以提供图像或图像数据的变换步骤和投影步骤。该变换步骤包括计算取决于自动立体显示器的几何的变换。该投影步骤包括计算取决于在该3D景象中构造的投影平面的投影。该设备包括孔阵列和成像部分，该成像部分包括多个数字微镜装置。

Description

3D显示方法和设备

本发明涉及一种用于再现三维图像的方法。在本发明的实施例中，三维图像适于显示在自动立体显示设备上。

当有两眼的观看者看物体时，每只眼睛看到稍微不同的视图。通过称为“立体视觉”的过程，观看者的大脑将两个视图合成单个三维图像。

传统3D影院系统使用结合了间隔开的两个相同透镜的相机。此间隔可选择为与观看者眼睛之间的平均距离匹配，此距离定义为目间距。透镜之间的分隔距离使得每个透镜能够以与看景象的观看者相同的方式记录左视图和右视图。这在左视图和右视图被适当地投影时实现了逼真的3D图像感觉。

在投影期间，通过被对准以将左眼视图和右眼视图都投影到屏幕上的投影透镜，左视图和右视图被同时投影。

为了观察3D图像，需要某种形式的滤光以确保观看者的左眼只看到左视图且观看者的右眼只看到右眼。在传统3D影院系统中，这通过使用包括电子液晶快门眼镜的偏振眼镜或头戴式装置而实现。

偏振眼镜要求待施加于投影仪的两个透镜的偏振滤光器优选地以相差90度的对准。投影仪上的偏振滤光器的对准与偏振眼镜中每个透镜的对准匹配。这确保了观看者的每只眼睛看到适当的图像，让观看者的大脑产生单个3D图像。

代替叠加图像，3D投影仪内的两组快门以每秒96次往复切换以将左眼图像和右眼图像交替地投影在屏幕上。

快门眼镜包括独立受控的电子液晶快门，每只眼睛一个。所述快门与投影仪同步，使得眼镜中的左眼快门和右眼快门与投影仪快门一起交替地打开和闭合以确保观看者的每只眼睛看到适当的图像，另一方面，让观看者的大脑产生单个3D图像。

视差屏障(parallax barrier)是一种可替选技术，其不需要观看者佩戴任何形式的滤光装置来观察显示器上的3D图像。代替地，视差屏障置于屏幕前方的一距离处，视差屏障包括至少一个窄的竖直开口、狭缝或孔。由于观看者的目间距，视差屏障代替眼镜提供滤光效果，使得通过孔看屏幕的观看者将用每只眼睛看到屏幕的不同部分。

视差屏障显示器已众所周知了许多年。1938年授予RadioCorporation of American的美国专利号2,107,464公开了“光栅97…插入于观看者的眼睛和荧光屏77之间，使得观看者的右眼可看到以107指示的荧光屏的几个区域或基本条纹，且观看者的左眼将看到概括地以109指示的几个区域或基本条纹”。

这突出了支持显示3D图像的基本原理的基础。即，观察者或观看者的每只眼睛必须看到稍微不同的透视。使用视差屏障显示器，观看者的每只眼睛看到在视差屏障之后的屏幕的不同部分。这类似于观看者怎样可以看到前景中的在后物体，例如：当透过一组栏杆看时，观看者可看到栏杆后的整个景象，每只眼睛看到景象的不同部分，并且大脑处理该信息以生成完整的景象。

图2示出了此原理。具有单个孔的视差屏障1设置在显示图像的屏幕2的前方。观看者的右眼3看到图像的部分4；且观看者的左眼5看到图像的部分6。

因此，在屏幕前方的具有足够小的孔宽度的视差屏障使得观看者的每只眼睛看到屏幕的观看区域的不同部分。屏幕的观看区域由此划分为分立的区，其每个由不同的眼睛观看，因此如果在每个分立的区中示出不同的透视图像，则观看者将看到3D图像。

然而，不同于传统2D显示器—观看者看到不依赖于位置的相同图像，当观察位置改变时，3D视差显示器的观看者将看到不同的图像。如果所述图像被如此地显示以便对应于位于不同观看区内的每只眼睛，其中每个图像被选择为景象的不同透视，则这样的装置将足够作为3D显示器。只有当两只眼睛都不处于观看区之间的边界时，此方法才为每只眼睛给出不破碎的图像。当观看者改变位置时—这是很容易发生的，他或她将观察到相邻视图之间的跳变或不连续。

这与真实3D景象形成对比，在真实3D景象中，当观察者改变其观看位置时，看到不同角度的景象或观察到不同的透视。看运动的火车的窗外的乘客可观察到此效果；前景中的物体比背景中的物体经过得快。这公知为运动视差或运动视觉(kineopsis)并且是重要的深度线索。

同样也重要的是视网膜外线索，其是关于眼睛位置和运动的信息。转眼运动使得两只眼睛的小凹(fovea)指向附近的物体。小凹是具有最高浓度视锥细胞的视网膜部分。在没有任何其它线索的情形下，转眼可以为对到紧邻目标的距离的调整提供可靠的信息。

传统视差屏障显示器使用静态屏障或扫描屏障。静态屏障更普遍，并且要求屏障后的显示屏具有高分辨率。扫描屏障具有多个可打开的孔。整组孔划分为多个子组的孔。一子组的孔中的每个孔同时打开，并且一图像显示在该子组中的每个孔后。每个孔在打开时向观看者呈现景象的一部分。每个子组的孔周期性地打开，使得利用视觉的持久性，观看者观察到景象的完整表示。扫描屏障显示器需要具有高帧速率的显示屏。

传统视差显示器需要切分和复合多个透视图。这在观察位置改变时产生不连续，且此外仅提供3D景象的近似。

传统扫描屏障视差显示器需要与观看者感知流畅运动所需的刷新速率乘以孔的组的数目的所得相等的刷新速率，其中一组中的所有孔同时打开。因此，3D显示器所需的刷新速率是大于传统2D显示技术所需的刷新速率的一个因素，并且需要这样的为了以高刷新速率显示图像而优化的硬件。

空间复合3D显示器使用传统2D显示器。将显示仅2个视图的一个系统作为实例来考虑。该系统使用具有1000像素×1000像素的原始分辨率的LCD屏幕。此系统在屏幕上方使用双凸透镜(lenticular)片，其中双凸透镜(即微型透镜)具有2个像素的宽度，并且此系统被设置成使得每个奇数像素被透射/折射到左边而每个偶数像素被透射/折射到右边。因此，如果观看者被正确地定位，则他左眼仅看到奇数像素而右眼仅看到偶数像素，并因此看到立体图像。然而，与所感知的总分辨率等同的每只眼睛的图像分辨率仅为500像素×500像素。

一般而言，3D视差显示装置将具有与2D屏幕的原始水平分辨率除以所显示的视图的数目的所得相等的感知水平分辨率。因此通过另一实例来说明：其中每个双凸透镜覆盖5个像素的5视图系统针对不同的观察位置显示5个不同的图像，但观看者的每只眼睛仅感知具有200像素×200像素的分辨率的图像。

上面的两个实例牺牲了水平分辨率以实现立体图像显示。此折衷当视图数目增加时变得愈发不利，因为竖直分辨率变得远高于水平分辨率。对于空间复合显示器，视图数目与3D图像分辨率之积等于原始显示分辨率。

用于视差屏障系统和双凸透镜系统的传统再现算法利用了仅是真实世界三维图像的近似的图像复合机制。这些算法基于特定方向所需的视图；因此，为了感知3D景象的近似而不是对应的真实3D景象的透视和光线方向，这些算法考虑观看者应看到什么。一种物理上更正确的改进方法通过考虑穿过孔的光来再现图像。

传统再现方法经常需要对有限能力的硬件实施优化。硬件在成像带宽—即可能在屏幕刷新速率和快门切换时间方面可以显示多少信息—方面受到限制。硬件还在图像处理方面、即投影和再现方面受到限制。典型地，图像处理越复杂，产生每个图像所花费的时间就越长。如果图像是一帧连续运动图片，则延长的图像产生时间降低了帧速率。这负面地影响了由观看者感知的连续运动。

当未精确地执行传统再现方法时，在3D图像中经常产生不连续，提供不清晰和混乱的图像。这在3D显示器被开发用于商业或医疗成像环境的情形下显然是不利的。

使用设置成通过快门或双凸镜片以不同透视捕捉景象的多个相机位置的传统方法具有如图1中所示的盲区9，在盲区9中部分景象未被记录。示出具有单个孔的视差屏障1与显示器2隔开一分隔距离。示出五个相机7a到7e在观看者平面上。由相机7捕捉的图像显示在显示器2上。每个相机7的视场受该系统的几何所限制。在示出的情况下，每个相机7a到7e捕捉一部分景象8a到8e，使得所捕捉的视图可以在视差屏障1中的孔之后并排地显示在显示器2上。这导致未被捕捉的景象区域，或盲区9。盲区9总会出现，除非使用无限数目的相机，这当然是不可能的。

传统方法针对一组数目的观看位置而优化再现。这意味着将在所有类型的采样中出现的不连续将在从特定观察位置看到的区域中积累。显示器的观察者将自由移动，所以任何不连续均匀散开是有利的。

用于视差屏障的传统再现要求狭缝宽度和快门与显示器之间的距离针对所需观看距离而设定为特定值。这导致系统不灵活，其不能适应不同位置的观察者。此外，根据等积三角形(equal triangle)，在显示器上看到的每个条纹将稍微比狭缝宽，条纹宽度是狭缝的v/(v-d)倍。因此，当在狭缝后显示的图像包括每个有不同的透视图的多个子条纹的组合时，则：

ii)对于同一狭缝，每个子条纹针对相机位置的每个跳变而平移整数数目的像素；以及

iii)对于同一相机位置，每个子条纹针对从左向右移动的每个狭缝而平移整数数目的像素。

视差屏障显示器的一个重要问题是其仅产生有限数目的透视图。这在观看者处于视图之间时导致较低的深度感、跳变运动视差和低质量图像。

另一重要问题是有限的视区或视角。视区是静态的且不能容易地调整。这带来的主要问题是多个观看者不能以正确透视看到同一视图。

另一问题是为了产生3D效果而牺牲了分辨率和/或色彩。传统显示设备仅允许光在任一时间从屏幕的有限部分发射，因此降低了显示器被观察到的亮度。

传统时间复合自动立体显示器由于所关联的光学装置而通常是庞大和笨重的。它们的相对物一空间复合显示器，如双凸镜和固定的视差屏障，可使用传统显示器技术来制成平板。本发明允许平板时间复合显示器。对于3D显示器、空间复合系统和时间复合系统都普遍的另一问题是它们有限的视角。可将本发明设置为使得在宽视场范围内提供3D。

根据本发明的一方面，提供了适于与自动立体显示器一起使用的图像，所述图像包括3D景象的视图，该图像具有对应于第一观察距离的水平方向上的第一透视以及对应于第二观察距离的竖直方向上的第二透视。

优选地，第一观察距离是孔距离。优选地，第二观察距离是典型的观看距离。

根据本发明的一方面，提供了一种产生适于与自动立体显示器一起使用的图像的方法，所述方法包括变换3D景象的多个3D坐标使得该图像具有：对应于第一观察距离的水平方向上的第一透视；以及对应于第二观察距离的竖直方向上的第二透视。

优选地，第一观察距离是孔距离。优选地，第二观察距离是典型的观看距离。

根据本发明的一方面，提供了一种产生图像数据的方法，该图像数据适于与自动立体显示器一起使用，所述方法包括：将表示3D景象中的至少一个项目的多个项目坐标投影到投影平面上以生成多个投影坐标；对包括项目坐标和投影坐标的组中的一个进行变换，其中所述变换取决于自动立体显示器的几何。

优选地，变换的步骤设置为提供3D景象的再现透视图的校正透视。

优选地，对投影坐标执行所述变换，其中投影步骤在变换步骤之前。

优选地，3D景象存储在硬件中，并且投影步骤包括利用在观察位置的虚拟相机形成景象的投影图像。可替选地，3D景象存储在硬件中，并且投影步骤包括利用在孔位置的虚拟相机形成景象的投影图像。

可替选地，对项目坐标执行所述变换，其中投影步骤在变换步骤之后。

优选地，投影步骤包括利用在孔位置的虚拟相机形成景象的投影图像。

可替选地，投影步骤包括利用在观察位置的虚拟相机形成景象的投影图像。

优选地，所述变换实施位于快门间距的相机，该相机具有缩放的截锥和平移的y坐标。

优选地，所述变换实施位于观察距离的相机，该相机捕捉具有缩放的x坐标的景象。

优选地，变换步骤实施位于快门间距的相机，该相机具有非线性缩放的截锥和平移的y坐标。

优选地，所述变换取决于孔的几何因素。

优选地，孔的几何因素包括：孔宽度；图像显示表面与孔之间的分隔距离；以及典型的观察距离。

优选地，图像数据包括图像片段、3D景象的2D表示或关于3D景象的2D表示的信息。

优选地，图像数据包括一图像，所述图像具有对应于第一观察距离的水平方向上的第一透视以及对应于第二观察距离的竖直方向上的第二透视。

根据本发明的一方面，提供了一种产生图像片段的方法，该图像片段适于与具有多个孔的视差屏障3D显示器一起使用，所述方法包括：将3D景象中的至少一个项目的多个项目坐标投影到投影平面上；所述方法特征在于对项目坐标执行变换，该变换由视差屏障3D显示器的孔几何来确定。

根据本发明的一方面，提供了一种用于产生对应于3D景象的图像片段的方法，图像片段与自动立体显示装置一起使用，自动立体显示装置设置成显示取决于视角的显示平面的特定区域，图像片段为显示在显示平面上而产生，使得当被显示在显示平面上时，图像片段的特定区域被显示，其中所显示的图像片段的特定区域对应于3D景象的透视图。

优选地，对应于3D景象的透视图的所显示的图像片段的特定区域与将通过窗口观察到的区域基本上相同。

优选地，自动立体显示器如此工作以便显示取决于视角的图像的一部分。

优选地，所述视角是水平平面上的水平视角。

根据本发明的一方面，提供了一种在计算机系统中使用的图形处理设备，该图形处理设备包括：装置，用于将表示3D景象中的至少一个项目的多个项目坐标投影到投影平面上以生成多个投影坐标；装置，用于变换包括项目坐标和投影坐标的组中的一个，其中所述变换取决于自动立体3D显示器的几何。

根据本发明的一方面，提供了一种在计算机系统中使用的图形处理设备，该图形处理设备包括：投影单元，用于将表示3D景象中的至少一个项目的多个项目坐标投影到投影平面上以生成多个投影坐标；变换单元，用于变换包括项目坐标和投影坐标的组中的一个，其中该变换取决于自动立体3D显示器的几何。

根据本发明的一方面，提供了一种在计算机系统中使用的图形处理设备，该图形处理设备包括用于产生表示3D景象的图像的图像数据的装置，该图像具有对应于第一观察距离的水平方向上的第一透视以及对应于第二观察距离的竖直方向上的第二透视。

优选地，该图形处理设备结合到图形卡上。

根据本发明的一方面，提供了一种用于将图像部分显示在显示设备上的方法，该图像部分对应于根据任一上述方法产生的图像数据。

根据本发明的一方面，提供了一种用于将图像片段显示在自动立体显示设备上的方法，自动立体显示设备包括孔阵列和成像部分，图像片段包括3D景象的透视图，通过将3D景象中的至少一个项目的多个项目坐标投影到投影平面上并变换项目坐标来针对特定孔产生所述透视图；所述方法包括将图像片段显示在相邻于特定孔的位置处的成像部分上。

根据本发明的一方面，提供了一种用于将多个图像片段显示在自动立体显示设备上的方法，所述自动立体显示设备包括孔阵列和成像部分，每个图像片段包括3D景象的透视图，通过将3D景象中的至少一个项目的多个项目坐标投影到投影平面上并变换项目坐标来针对特定孔产生该透视图；所述方法包括至少在特定孔打开时并且将图像片段显示在相邻于特定孔的位置处的成像部分上。

根据本发明的一方面，提供了一种设置成显示图像部分的显示设备，该图像部分对应于根据任一上述方法产生的图像数据。

根据本发明的一方面，提供了一种设置成显示图像片段的显示设备，该显示设备包括孔阵列和成像部分，其中：图像片段包括3D景象的透视图，图像片段具有对应于第一观察距离的水平方向上的第一透视以及对应于第二观察距离的竖直方向上的第二透视；并且该显示设备设置成将图像片段显示在相邻于特定孔的位置处的成像部分上。

优选地，显示设备设置成当特定孔打开时并且在相邻于特定孔的位置处将图像片段显示在相邻于特定孔的位置处的成像部分上。

优选地，图像片段针对特定孔而产生。

根据本发明的一方面，提供了一种设置成显示图像片段的显示设备，该显示设备包括定向滤光装置阵列和成像部分，其中：图像片段包括3D景象的透视图，图像片段具有对应于第一观察距离的水平方向上的第一透视以及对应于第二观察距离的竖直方向上的第二透视；并且该显示设备设置成将图像片段显示在相邻于特定定向滤光装置的位置处的成像部分上。

优选地，定向滤光装置可操作为让观看者或检测器看到取决于一角度的成像部分的不同区域，在所述角度观察到每个定向滤光装置。

优选地，显示设备是自动立体显示器。

根据本发明的一方面，提供了一种包括孔阵列和成像部分的自动立体显示设备，其中：孔阵列包括多个可切换的孔，所述可切换的孔可以在基本透明状态和基本不透明状态之间切换；并且成像部分包括包含数字微镜装置和光楔的2D显示器。

根据本发明的一方面，提供了一种包括孔阵列和成像部分的自动立体显示设备，其中：孔阵列包括多个可切换的孔，所述可切换的孔可以在基本透明状态和基本不透明状态之间切换；并且成像部分包括铁电液晶显示器。

根据本发明的一方面，提供了一种包括孔阵列和成像部分的自动立体显示设备，其中：孔阵列包括多个可切换的孔，所述可切换的孔可以在基本透明状态和基本不透明状态之间切换；并且成像部分包括有机发光二极管显示器。

根据本发明的一方面，提供了一种包括定向滤光装置阵列和成像部分的自动立体显示设备，其中：定向滤光装置阵列可操作为让观看者或检测器看到取决于一角度的成像部分的不同区域，在所述角度观察到每个定向滤光装置；并且成像部分包括发光二极管显示器。

优选地，自动立体显示设备包括视差屏障显示器或有源视差屏障显示器。

根据本发明的一方面，提供了一种自动立体显示设备，其使用时间复合来显示在多个孔后的多个图像以便将3D景象呈现给观察者。

根据本发明的一方面，提供了一种包括孔阵列和成像部分的自动立体显示设备，其中：孔阵列包括多个可切换的孔，所述可切换的孔可以在基本透明状态和基本不透明状态之间切换；孔阵列包括多个子组的孔，每个子组的孔包括设置成同时透明的多个孔；并且当孔透明时，图像显示在成像部分上。

根据本发明的一方面，提供了一种包括孔阵列和成像部分的自动立体显示设备，其中：孔阵列包括多个可切换的孔，所述可切换的孔可以在基本透明状态和基本不透明状态之间切换；并且成像部分包括包含下列装置的组中的一个：包括数字微镜装置和光楔的2D显示器；铁电液晶显示器；以及发光二极管显示器。

根据本发明的一方面，提供了一种包括孔阵列和成像部分的自动立体显示设备，其中：孔阵列包括多个可切换的孔，所述可切换的孔可以在基本透明状态和基本不透明状态之间切换；并且成像部分包括2D显示器。

优选地，孔阵列置于成像部分的观察侧。

优选地，成像部分包括投影设备和屏幕。优选地，孔阵列置于屏幕的投影侧。优选地，屏幕包括竖直漫射器。优选地，在竖直方向上所述孔设置有至少一个孔的最长尺度。优选地，投影设备包括光楔。优选地，投影设备包括至少一个DMD。优选地，投影设备包括多个DMD。

优选地，多个DMD中的每个将不同色彩投影到屏幕上。

根据本发明的一方面，提供了一种包括孔阵列和成像部分的自动立体显示设备，其中：孔阵列包括多个可切换的孔，所述可切换的孔可以在基本透明状态和基本不透明状态之间切换；并且成像部分包括多个数字微镜装置，每个数字微镜装置设置成再现不同色彩。

优选地，每种不同色彩是红、绿和蓝中的一个。

根据本发明的一方面，提供了一种包括孔阵列和成像部分的自动立体显示设备，其中：孔阵列包括多个可切换的孔，所述可切换的孔可以在基本透明状态和基本不透明状态之间切换；并且成像部分包括具有弯曲成像表面的2D显示器。

优选地，成像表面是屏幕。优选地，孔阵列是平坦的。优选地，成像表面是弯曲的，使得中央部分比两个相对侧中的任一个更远离孔阵列。优选地，成像表面在第一方向上是弯曲的而在第二方向上是平坦的。优选地，第一和第二方向是垂直的。优选地，成像部分具有圆柱体的弯曲表面的一部分的形状。优选地，其中圆柱体的旋转对称轴是竖直的。

根据本发明的一方面，提供了一种包括孔阵列和成像部分的自动立体显示设备，其中：孔阵列包括多个可切换的孔，所述可切换的孔可以在基本透明状态和基本不透明状态之间切换；并且成像部分包括具有弯曲成像表面的2D显示器。

优选地，所述图像如上所述地设置。

根据本发明的一方面，提供了一种使用数学技术或处理来根据3D信息再现图像的方法，其中所述图像具有用于显示在自动立体显示设备上的正确透视。

本发明的实施例向观看者提供了一种3D图像，当观看者位置改变时所述3D图像基本上没有不连续。

本发明的实施例向观看者提供了一种3D图像，其具有正确的透视，从而向观看者提供了更大的真实感，并且允许显示可由观看者直观地理解的具有更大清晰度的复杂3D信息。

本发明的实施例产生了一种用于在自动立体显示设备上实施的精确再现方法，该再现方法提供3D景象的清晰和精确的重建，其中所观察到的图像中可感知的不连续的数目减少。

本发明的实施例产生了一种3D图像，其可由预定视场内的任何位置处的观看者观看。

本发明的实施例产生了一种3D图像，其可由多个观看者同时观看，每个观看者在预定视场内的不同位置处。

本发明的实施例提供了一种产生3D景象、世界或物体的2D表示的方法。

3D景象、世界或物体优选地由计算机存储并表示为多个坐标或线框模型和纹理图。典型地，光线追踪方法用来根据3D景象、世界或物体生成2D图像。这是必须的，因为典型的显示装置如计算机监视器和投影仪只呈现2D图像。光线追踪方法可以两种方式表达。将“真实世界”原理应用于3D景象，可以想象置于3D世界中的虚拟相机并想象发射到相机的来自3D世界中的每个物体的光线。相机是虚拟的，所以代替将虚拟检测器装置置于相机的透镜(例如传统相机的CCD)后方，我们可以将投影平面形式的检测器置于相机前方。由与投影平面相交的光线产生的图像就是3D景象、世界或物体的2D图像。

一个更实用的解释是，光线追踪方法仅是由计算机执行的一系列计算；执行将3D景象、世界或物体转化为2D图像以便显示的高度复杂的任务。

本发明的实施例提供了一种产生3D景象、世界或物体的图像的方法，给定一个虚拟相机的位置，产生具有不同透视的多个2D图像，每个透视适应于自动立体显示设备的一部分。这是向观看者提供水平方向上和竖直方向上的正确3D透视所必需的，使得当实际上只有多个2D图像显示时观看者的大脑被诱使感知到3D。

在本发明的实施例中，执行投影步骤或投射步骤；这也可以描述为计算投影的步骤。此计算取决于系统的几何，例如观看者可能距显示设备有多远，或典型的观看距离。类似地，执行变换步骤或转换步骤，其是计算变换的步骤，其也取决于系统的几何。

一种能够显示三维(3D)图像的显示设备基于下面的原理：结合光学掩模或视差屏障来使用二维(2D)显示表面，所述光学掩模或视差屏障包括在透明和不透明之间切换的多个光学双稳孔。

一种再现方法再现待显示在显示设备上的图像以便为使用者产生3D图像。该再现方法特别适合于计算机生成的(例如动画或3D游戏)或计算机处理的(例如医疗成像或地质勘测成像)3D图像信息。所述再现方法既需要生成3D景象的2D表示或透视图的投影步骤，也需要在从一观察距离观察显示器时向观察者提供校正透视的变换步骤。

将详细描述所述再现方法的两个实施例，它们是：快门平面上的相机和观看平面上的相机。本发明不局限于这两个实施例。

本发明的实施例的一个特征是使用在孔位置处或观察位置处的相机来再现图像。然后对与投影平面相交的光线执行变换以补偿失真透视。这些变换取决于视见体积中的物体位置。所变换的图像显示在作为3D显示系统的一部分的视差显示器的孔之后的屏幕上。

对于x坐标，投影x坐标(x_p)被平移以补偿不同的相机位置。此外处于孔位置的相机的视角被加宽以便捕捉处于观察位置相机的整个截锥。

对于y坐标，遇到与x坐标类似的问题，即：处于孔位置的相机的截锥不能捕捉处于观察位置的相机的整个截锥。为了克服此问题，应用了不同的方案：平移y方向上的物体坐标，并将经平移的物体坐标投影到投影平面上以生成最终投影坐标。

现在将参考附图通过实例描述本发明的一些实施例，在附图中：

图1图示了传统再现方法的一个问题；

图2图示了支持3D视差屏障显示器的基本原理；

图3示出了包括投影仪和具有孔阵列的屏幕的基本配置；

图4示出了包括弯曲漫射屏的可替选的基本配置；

图5示出了使用光楔的3D显示设备。将在光离开光楔处的漫射屏上看到显示在投影仪上的图像；

图6示出了其中图像和掩模利用场透镜被放大的可替选配置。场透镜将漫射器上的图像聚焦到竖直漫射器上，而快门阵列将作为虚拟图像出现在透镜之后；

图7示出了投影仪，快门阵列置于投影仪与楔入口之间。

图8示出了图7的系统，在场透镜与投影仪之间设置了附加的漫射器。

图9示出了具有位于窗口或投影平面中心的原点的视图截锥；

图10A和图10B分别示出了图9中所示的装置的俯视图和侧视图；

图11示出了具有法向对称的视图截锥的两个相机；

图12A和图12B示出了具有宽的视图截锥的相机，该视图截锥被修剪以便实现剪切变换；

图13A和图13B示出了针对x＝0和y＝0平面的简化投影模型；

图14示出了在负x方向上平移了距离e的相机；

图15示出了图14的可替选实施例，其中相机维持在点(0，0，D)并且点(x₀，y₀，z₀)在投影到投影平面上之前平移；

图16示出了怎样通过虚拟孔捕捉景象。相机移动直到新的区可视为止，并将其存储为整个景象的一部分；

图17示出了当相机移动时投影怎样改变；

图18示出了具有宽的视场的相机；

图19示出了平移y怎样为已移动到立体平面前方的距离S的相机保持竖直投影；

图20示出了怎样为位于在x方向上距z轴的距离为e的孔之后的相机计算投影；

图21示出了平移x怎样给出正确的投影，如同相机位于距轴的距离为e的孔处一样；

图22示出了平移x怎样为距原点D的相机、为通过距轴的距离为e的孔观看的眼睛给出正确的投影；以及

图23示出了沿x平移相机怎样为未覆盖整个景象的截锥给出正确的投影，但给出不正确的像素坐标；

图24示出了距投影平面的距离为S并且从z轴偏移距离e的相机；

图25示出了如图24中所设置的相机和投影平面，以及从投影平面看的子图像的视图；

图26示出了平移的物体点和观察者怎样看到该点；以及

图27示出了在子帧内实施的子图像的实例。

本发明的实施例提供了一种三维显示器，其包括显示器、置于显示器与观看者之间的快门以及用于将在显示器上示出的图像与快门的位置同步使得观看者看到三维图像的控制电子装置。

首先，我们将讨论实施本发明的设备，主要涉及所需的光学装置和投影系统。其次，我们将讨论怎样为在自动立体设备上显示而产生图像，包括两种实施本发明的方法。

三维(3D)连续运动体验通过显示运动景象的每个帧的多个透视而产生，使得对于每个帧，观看者的每只眼睛看到不同的透视图像。这可以通过将包括多个快门的光学掩模置于观看者与屏幕之间而实现。掩模的位置将通常靠近屏幕，但这取决于例如快门宽度和快门的数目等。掩模限制了屏幕的观看区域并因此限制了观看者的每只眼睛所能看到的。使孔足够窄，使得观看者的每只眼睛看到屏幕的不同区域，使得每只眼睛看到的内容可以不同。这满足了3D图像显示的关键条件。

胶片、全运动视频或甚至计算机生成的视频都包括多个帧。帧是静止的图像。通过以足够高的速度一帧接一帧地显示，在观看者的大脑中产生不闪烁的体验。屏幕上的一个图像被另一图像取代的速率是图像刷新速率。图像刷新速率是由屏幕显示的每秒的帧数。

通过在屏幕上连续地显示适当的图像，可以在观察者的头脑中产生连续的运动体验。

在最简单的装置中，掩模被配置成除了一个透明孔之外是不透明的。观看者可移动他的或她的头，并且对于每只眼睛，将通过孔看到图像的新的、不同的部分出现而其它部分消失。这意味着当观看者移动他的头时，通过孔看到的图像连续改变，让观看者能够环顾被显示的物体。然后透明孔与显示在屏幕上的新图像同步地被水平平移。这意味着显示在屏幕上的每个图像都具有对应的孔。如果与屏幕刷新速率同步地打开孔的这个过程执行得足够快，则观看者将感知到一个3D图像，因为所有的孔将作为一个大的透明孔而出现。该3D图像将由许多孔组成，每个孔表示整个3D图像的一部分。这可能导致图像中的每个孔边界处的不连续，使得观看者将体验图像自身的不连续。这些烦扰人的伪像(artifact)可利用合适的再现来去除。

本发明的基本原理是使可通过投影引擎或某种其它显示器如自照明显示器而实现的屏幕与包括多个光学双稳孔的光学掩模或快门阵列同步。例如，一种设置可包括投影到漫射屏上的、由诸如DLP技术(Texasinstruments的DMD)或FLCD(铁电液晶显示器)的微显示器组成的高帧速率投影仪。然而，可以以所需帧速率显示图像的任何显示器、投影或者别的方式是足够的。例如可以使用有机发光二极管(OLED)或其它自发射显示器。所需帧速率将通常为允许通过每个孔看到的图像无闪烁地出现的速率。尽管这样的刷新速率通常大于50Hz，但也可以低到25Hz。

存在用于本发明的实施例的几个可能的光学配置。最简单的方法在图3中示出，并且包括具有投影光学装置103、漫射屏102和掩模或快门阵列101的微显示器。投影仪103和漫射屏102装置可通过后投影系统或前投影系统来实现。

为了增大关于图3描述的显示器的视角或可视区域，可使用弯曲漫射屏104。这样的装置在图4中示出。相同的标号指示相同的部件。快门阵列101保持为平坦的，并且垂直于投影光学装置的光轴。在一可替选实施例中，快门阵列可以是弯曲的。弯曲漫射屏104在不实施更大的漫射屏的情况下允许宽的视角。

另一可能的设置使用光楔，该设置去除了投影光学装置所需的物理空间，允许很紧凑的系统(如美国专利6608961中所公开的)。此设置在图5中示出，并且具有将图像投影到光楔110中的具有投影光学装置103的投影仪，则图像出现于光楔上的漫射屏111，所述光楔跟随有在光楔的漫射屏前方一距离处的掩模101。尽管图中未示出，具有孔的掩模101可以有利地平行于漫射屏111。

本质上，光楔代替了传统投影光学装置，并且提供了平板显示器，这又允许了平板3D显示器。

一个可替选配置在图6中示出。投影仪103将图像投影到漫射屏102上。场透镜105将形成在漫射屏102上的图像聚焦到竖直漫射器、全息漫射器或其它非线性漫射元件115上。快门阵列101置于漫射屏102与场透镜105之间。在此位置，快门阵列101必须足够靠近场透镜105，使得不通过场透镜105形成快门阵列101的实像。场透镜105产生快门阵列101的虚像是必需的。快门阵列101起到场阑的作用并限制投影设备的出射光瞳。

在又一可替选配置中，快门阵列101可置于场透镜105与竖直漫射器、全息漫射器或其它非线性漫射元件115之间。竖直漫射器允许光竖直地漫射，同时保持水平信息。3D原理类似于上述原理；然而显示器或楔的前部现在是漫射器而不是掩模。通过在系统中引入透镜，除了较小的图像和较小的掩模之外，实现了相同的结果。

为了减小图6中所示系统的尺寸，可用光楔110代替场透镜105，如图7中所示。此系统包括具有投影光学装置103的投影仪、掩模或快门阵列101以及具有竖直漫射器、全息漫射器或其它非线性漫射元件115的光楔110。然而，为了增大光锥—而这又将增大输出视角，如图8中所示，可以在投影光学装置与投影仪之间放置中间漫射器。

在上述设备中，快门阵列101是具有多个铁电液晶显示器(FELCD)孔的FELCD。每个FELCD孔包括FELCD单元，该FELCD单元具有两个透明电极和设置在它们之间的一层铁电液晶。控制两个透明电极之间的电压以便确定设置在两个透明电极之间的铁电液晶的偏振状态。FELCD孔进一步包括置于FELCD单元前方或后方的偏振层以便使得FELCD孔根据铁电液晶层的偏振状态而阻挡光或使光透射。

在一可替选实施例中，快门阵列101包括机械孔装置。在又一可替选实施例中，快门阵列101包括微电子机械(MEM)装置。

用于自动立体显示器的再现算法已被详细地研究了数十年。已开发出复杂的方法来补偿所有自动立体系统中固有的失真，如反混淆(antialiasing)、翘曲等。所有这样的方法建立于自动立体观看的基本再现原理之上，所以将首先描述立体视法的基本概念。

可以认为3D显示器是观察者可通过其看到3D世界的限定区域，很象真实世界中的窗口。窗口类比适用于3D。事实上，可以认为窗口是完美的3D显示器，其中每个点可以在特定方向上发射唯一的光线。此模型对真实世界仅部分正确，因为光不严格地表现为射线而是具有与其关联的场曲率。然而，为了再现图像，可以将光安全地视为射线，忽略波前曲率。产生3D显示器的目的是重建完美的窗口。硬拷贝全息图已经以这样的质量产生，使得观看者几乎不能相信它们是3D照片而不是有形的物体。全息图可以说是起到窗口的作用，将光线和它们的方向映射到来自被重建窗口的对应点。因此，以足够的质量，观看者将不能区分窗口与3D显示器。因此，术语“立体屏幕”可与“窗口”互换，并且两个涵义通篇使用。

通常可以将本发明的实施例容易地应用于计算机图形学领域，且特别是应用于将3D图像或计算机生成的世界再现于显示器上。特别是在计算机游戏技术中和在用于摄影或电影的计算机生成图像(CGI)中，这样的再现被很好地精细化并继续发展。这样的再现典型地涉及将“虚拟相机”置于3D环境中并计算其可看到什么。这样的计算通常包括将3D世界中的点映射到称为投影平面的2D区域，其对应于2D显示器—典型地为监视器或类似装置。

图9示出了从视场中的物体捕捉光线的相机11，该视场典型地为棱锥体12。棱锥体12具有矩形的截面。棱锥体12和视场延伸至无限远。坐标系统的原点定义为相机的光轴13与投影平面14相交的点。光轴13与z轴重合，z轴的正方向朝向相机。这是计算机图形学文献中通用的记法，因此这里将使用相同或类似的坐标系统和记法。

视图截锥15定义为位于前剪裁平面与后剪裁平面之间的棱锥体12的部分。前剪裁平面17与相机之间的物体被相机所忽略；即被视为是透明的，使得在前剪裁平面的相对侧的体积之中和之后的物体由相机记录。在后剪裁平面16的远离相机的一侧的体积中的物体也被相机忽略，以减少处理设备如图形卡所需的计算量。相机看到的体积是截锥内的体积，也可称为视见体积。这是用来减少所需计算量的实践限制。提供前剪裁平面17以防止一个近处的物体占用整个显示器。前剪裁平面17设定了朝向相机的最大距离。

为了使下面的分析简化，将前剪裁平面17与投影平面14重合。这允许我们忽略前剪裁平面17而仅将物体投影在投影平面14的一个侧面上。

最后，沿y轴的竖直视角定义为z轴与截锥或棱锥体12的一个侧面之间的角度；这是视场θ(theta)。沿x轴的水平视角定义为z轴与截锥或棱锥体12的一个侧面之间的角度。沿x轴的视角也可由图像或屏幕的纵横比得出，该纵横比为投影平面14的垂直于x＝0平面的方向上的宽度除以投影平面14的垂直于y＝0平面的方向上的高度。

图10A在y＝0平面上示出了图9中的图示的俯视图。图10B在x＝0平面上示出了图9中的图示的侧视图。前剪裁平面17和投影平面14重合并且示出为与相机的距离为D。后剪裁平面示出为与相机的距离为L_far。投影平面具有x方向上的宽度2w₀和y方向上的高度2h₀。物体位置(x₀，y₀，z₀)被投影到投影平面14上，投影坐标为(x_p，y_p，z_p)。

对于记录与人眼图像相同的图像的相机，不能简单地绕着位于显示平面的中心的轴旋转。这样的旋转引入不期望的竖直视差并产生所谓梯形失真(keystone distortion)。相机必须沿着平行于显示器的线定位，并且不能旋转，因为这将引入竖直视差和梯形失真。

正确的相机运动是沿着直的轨迹，其中光轴恒定地垂直于窗口平面。然而，仅这样做将不能给出正确的透视，如图11所示。平移相机11等同于平移物体。如果通过仅平移相机捕捉到几个这样的图像并将它们显示在3D显示器上，当头位置改变时观看者会看到物体平移。显然这是在真实世界中当例如通过窗口看时所不会看到的，并因此是错误的。可通过考虑实际聚焦在观看者眼睛的视网膜上的是什么来解答关于怎样正确再现的问题。离轴相机将仅捕捉通过窗口看到的3D景象的部分。

在视网膜上形成的图像是具有施加于其的剪切的透视投影。对于相机，这将等同于将平移透镜置于相机入射光瞳的前方。剪切透镜执行平移并确保在胶片平面上形成的图像被完全照亮。事实上，由于剪切透镜的光学非傍轴特性，使用这些透镜引入了严重的偏差。这些偏差严重地限制了这样的方法的实用性。而且，实施剪切透镜的机械困难是很多的。

一种为标准相机实现相同结果的方法是使用图像剪裁。图12A和图12B示出了具有宽的视场的相机设置。在图12A中，相机位于z轴上、位置21；相机具有宽的视场22，但只有被捕捉图像的中央部分23将含有关于感兴趣物的3D景象24的信息。通过从视场22剪裁去被捕捉图像的两侧，剩余的图像将是期望的中央3D景象24。

在图12B中，相机偏离轴、位于位置25，相机具有相同的对称视场22，当然视场22的位置不同。示出相机位置21以供参考。如前所述，相机捕捉大的区，该大的区只有特定部分包含关于感兴趣物的3D景象24的信息。如果我们剪裁图像使得只有期望区26呈现，则结果将等价于使用剪切透镜的结果。

此方法的确具有其局限性，因为对于大的视角，3D区变得很小。当相机远离轴而平移时，需要大的视角来捕捉3D窗口，并因此有用的区成比例地变小。对于计算机系统，这不是问题，因为可以简单地缩放有用的区。对于真实世界捕捉的图像，这是一个限制因素。

现在将使用与上面相同的记法和模型—其中相机朝负z轴看—来描述在计算机图形系统中实施透视再现所涉及的基本数学原理。

图13A和图13B示出了针对x＝0和y＝0平面的简化投影模型，其中前剪裁平面17与投影平面14重合。像素坐标(x_p，y_p，z_p)独立于投影平面14的位置。图13示出了可怎样计算截锥中的物体点(x₀，y₀，z₀)投影在投影平面14上的位置的投影坐标(x_p，y_p，z_p)。这等同于寻找向相机11行进的来自点(x₀，y₀，z₀)的光线与投影平面14相交的位置。投影平面14可以与前剪裁平面17在空间上分离。如果前剪裁平面17与投影平面14不重合，则投影平面14可沿着相机11与前剪裁平面17之间的棱锥体12的任何位置定位。

投影坐标是和装置无关的，并且在-1到1之间变化，其中0是投影平面的中心。坐标-1和1与棱锥体12的相对侧面重合。该与装置无关的坐标即使投影平面14沿z轴移动到不同位置时也保持恒定。仅当以像素数目来规定窗口尺寸时，投影平面14上的点才映射到物理显示装置上的像素坐标。

在图9中，示出投影平面在前剪裁平面17与后剪裁平面16之间。下面将描述一实施例，其中前剪裁平面17与投影平面14空间上重合，以简化数学处理。本发明的实施例同样可应用于前剪裁平面17与投影平面14不重合的情况。投影平面14是实现像素坐标计算的构造，这样，投影平面14在系统内的位置不是关键的。

根据图13并使用等积三角形，x_p和y_p的等式如下：

$x_p=\frac{{\mathrm{Dx}}_0}{D-z_0}$

$y_p=\frac{{\mathrm{Dy}}_0}{D-z_0}$

从点(x₀，y₀，z₀)行进的光线将与投影平面14相交于投影坐标(x_p，y_p，0)。3D显示设备的屏幕2包括多个像素。该屏幕具有沿x方向上的宽度的N_w个像素和沿y方向上的高度的N_h个像素。在图10中，投影平面或窗口尺寸以w和h来定义。因此纵横比为：

$A_0=\frac{N_w}{N_h}$

$A_0=\frac{w_0}{h_0}=\frac{w_0}{D\tan \left(\frac{\mathrm{\θ}}{2}\right)}$

像素坐标具有在左上角的原点以及如在负z方向上从相机位置11观看的右下像素坐标(N_w，N_h)。因此来自物体的光线与窗口相交的位置的像素坐标(x_pix，y_pix)为：

$x_{\mathrm{pix}}=(1+\frac{x_p}{w_0})\×N_w$

$x_{\mathrm{pix}}=(1+\frac{x_0}{(D-z_0)A_0\tan \left(\frac{\mathrm{\θ}}{2}\right)})\×N_w$

$y_{\mathrm{pix}}=(1-\frac{y_p}{h_0})\×N_h$

$y_{\mathrm{pix}}=(1-\frac{y_0}{(D-z_0)\tan \left(\frac{\mathrm{\θ}}{2}\right)})\×N_h$

利用现在得出的将光线映射到特定像素的等式，我们将着手考察当相机以剪切平移来平移时，这些等式怎样改变。如上所述，剪切平移要求必须使用不对称的截锥，其必须与原始的截锥相交于投影平面上恰好相同的坐标-1和1。图14示出了在负x方向上平移了距离e的相机，距离e向截锥引入了不对称并且将原始投影的投影坐标x_p平移到x_p2。使用等积三角形得到：

$\frac{x_{p2}-e}{D}=\frac{X_0-e}{D-z_0}$

$x_{p2}=\left(\frac{x_0-e}{D-z_0}\right)\×D+e$

因此当利用剪切将相机平移了距离e时，新的投影坐标是x_p2。在数学上，并在忽略了照明效应的情况下，平移相机和平移物体之间的最终结果没有差异。最终结果为对投影坐标的计算。

在一可替选实施例中，相机保持在点(0，0，D)，且点(x₀，y₀，z₀)在投影到投影平面14上之前被平移，使得投影坐标的值与上述相机被平移到(-e，0，D)时的值x_p2相同。物体位置(x₀，y₀，z₀)在投影之前被平移到(x₁，y₁，z₀)。这在图15中示出，从中我们看到：

$x_1=\frac{(D-z_0)x_{p2}}{D}$

将上面的x_p2代入，得到：

$x_1=x_0-\frac{{\mathrm{ez}}_0}{D}$

此等式给出为了将物体点平移以使得当投影时，投影坐标与沿x方向将相机平移e时的投影坐标相同而所需的新的x坐标x₁。应用此等式与距窗口的距离成比例地平移每个点。因此对于窗口平面上的点，z₀＝0，并且平移操作将不引起物体位置的坐标的改变。可利用窗口类比更好地理解此结果：窗口的玻璃上的斑点不会随观察位置变化而移动。然而，我们会预期斑点后方(或前方)的物体与其距窗口的距离成比例地平移；如上面的平移等式所描述的那样。

至此我们仅考虑了水平视差系统，并因此投影y坐标保持与前面相同。如果我们具有完全的视差系统，其中无论观看者的取向怎样都可以观察到3D(很象玻璃窗口)，则相同的分析将适用于y₀。此外，至此所得到的分析已假设了观看者将位于与相机相同的位置。

通常，在3D计算机图形环境中，物体由多边形构建，其中多边形的每个角称为顶点(vertex)并定义为由(x，y，z)给出的空间中的位置。顶点存储在顶点数组中，矩阵乘法允许通过顶点数组的简单的变换例如旋转或平移。然而，在上面的等式中，对于投影坐标x_p和y_p的计算，存在除以z₀的运算。这是非线性函数，且不能使用秩为3的矩阵来容易地实施，因为矩阵乘法是线性运算。为了克服此问题并且允许透视除法，计算机图形系统将列空间(range space)增加1，给出了仿射变换，其是秩为4的4×4矩阵。点(x，y，z)变成：

                      [x，y，z，w]其中w是常数，通常设定为1。

为了实施等式

$x_1=x_0-\frac{{\mathrm{ez}}_0}{D}$

使用矩阵记法，实施了透视矩阵：

$[x_1,y_1,z_1,1]=[x_0,y_0,z_0,1]\×\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ \frac{-e}{D}& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$

透视矩阵将与投影矩阵相乘，投影矩阵施加于图形管道中的模型变换和照明变换之后。

上面得出的等式忽略了在图形处理单元的图形管道中实施的透视投影。上面的等式是线性等式，且可以使用如在图形处理单元中常用的矩阵代数来容易地实施。该模型假定观看者的眼睛位置位于放置虚拟相机的位置。换言之，该模型假定3D显示器几何与图形世界环境的几何匹配。对于扫描屏障3D显示设备，情况不是这样。该3D显示系统需要更复杂的再现，因为观看者将同时通过若干个孔观看。

关于现有技术的视差屏障系统而描述的两种公知方法是静止屏障和扫描屏障，二者都需要切分和复合多个透视。发明人相信这是不必要的折衷。然而，在描述用于针对本发明的扫描视差屏障显示器再现3D透视的新颖且合适的数学描述之前，描述这些先前的方法是有益的。将看到，这些方法不足以全面地描述窗口，因而只提供3D景象的近似。

将描述的第一种公知方法是利用复合透视的普通再现。这是最常用的方法，并且是至今报道得最多的。在此方法中，以如上面的普通方式捕捉多个透视，然后复合不同透视的切片，使得通过正确的孔看到每个图像的一部分。这可以称为切片和小片(dice)方法。

将描述的第二种公知方法是通过虚拟孔的普通再现方法。此方法需要通过虚拟孔捕捉图像，并且需要高度优化且精确的再现模型。此方法捕捉了如上所述的3D透视，但并非具有覆盖整个窗口的截锥，虚拟孔将该孔或截锥限制为仅覆盖所需的孔。然后，通过稍微移动相机，可以捕捉到通过孔观看的景象的新的部分。

图16图示了虚拟孔方法。虚拟孔阵列27包括12个虚拟孔，并且与投影平面28隔开距离S。相机平面29与投影平面28隔开距离D，并且包括n个相机位置。虚拟孔阵列27的孔号6示出为打开，光线从相机位置1和相机位置n通过孔号6。虚拟孔阵列27置于距投影平面28的距离S处；处于与物理快门阵列1和屏幕2间距基本上相同的位置。此方法需要限定可允许的观看盒，其将等于最靠外的相机位置—在此实例中为位置1和n-之间的距离。类似地，最佳的观看距离定义为从立体平面到相机位置的距离D。

捕捉过程以虚拟孔号1的打开开始。开始于相机位置1的相机捕捉通过孔号1可视的景象的第一可视区。然后相机移动到位置2，在位置2，景象的第二可视区通过孔号1可视。景象的每个可视区优选地包括通过窗口可视的总景象的1/N^th。重复此过程直到相机到达观看盒的末端为止。下一步骤是复合第一到第N区。所有被捕捉的区被并排地复合以构造针对孔号1的一个完整的复合图像。当与孔号1对应的真实快门1打开时，针对孔号1的复合图像显示在屏幕2上。真实快门号1是孔阵列1上的尺寸和位置与虚拟孔阵列27中的虚拟孔号1的尺寸和位置对应的快门。

对虚拟孔阵列27中的所有孔重复以上过程。如果足够精确地执行图像捕捉过程，则在复合图像中，所有被捕捉的区无缝地对准。然而，在实践中，这是难以实现的，并且被捕捉的区的缝通常不连续。

所需的相机位置的数目n由虚拟孔阵列中的每个孔的宽度决定。孔越窄，需要越多的相机位置，因为通过孔看到的区成比例的小。

上一过程中存在冗余，因为由于无新信息出现在立体窗口中，应该可以使相机扫掠过观看盒仅一次。实际上，在实践中，对于相机位置1相机将捕捉通过孔号1到12看到的所有的区。然后相机将移动到相机位置2并再次通过孔号1到12捕捉景象。最后，当已记录所有相机位置时，可以将不同的区复合以为了在快门阵列1中一适当的快门打开的情况下的同步显示产生12个复合图像。

上述两种方法之间的差异是细微的。事实上，在某些情形下，这两种方法可产生相同的结果。然而，这些方法是考虑问题的两种基本上不同的方式。典型地用于双凸镜显示器和静态视差屏障的第一种方法是显示器几何常决定复合机制情况下的直接方法。通过连同屏幕尺寸和分辨率一起规定双凸镜或屏障尺寸，复合准备就绪。所描述的第二种方法从物理观点看是更正确的。如果窗口仅通过窄孔可视，则观看者将看到如相机所看到的景象。

上述两种方法是折衷，且它们需要在可以进行正确的再现之前获悉若干参数。在现有技术文献中，快门称为“扫描装置”，因为其在效果上扫描不同的透视。虽然这不类似于物理窗口，但其描述了窗口的功能。然而，更正确的是说快门起到滤光器的作用并将复杂3D景象过滤为2D景象。当窄孔置于窗口之上时，其简要描述穿过孔的光场。因此理想地，孔将无限小并起到针孔的作用。在此情形下，孔仅表示单个2D像素。相机仅为针孔本身，且可以因此将孔视为广角相机。

放置相机使得相机针孔与延长孔的针孔匹配，相机捕捉通过孔窗口进入的整个光场。这重建了通过真实窗口观察到的光场，并且因此在本发明的实施例中应用此原理导致针对扫描视差屏障显示装置的正确的透视再现。

发明人由此创建了使用普通相机/投影模型来对此进行模拟的两种方法：

快门平面上的相机—相机置于快门平面上，然后对被捕捉的景象执行变换，以复制观看距离处的竖直方向上的来自狭缝的光场；以及

观看平面上的相机—相机置于观看平面上，然后对被捕捉的景象执行变换以复制在快门平面处在水平方向上来自狭缝的光场。

这两种方法都在物理上是正确的并且适合于不同的情况。

快门平面上的相机

图17示出了距立体平面距离D处的原始相机位置31和相机移动到立体平面前方距离S处的孔平面。相机位置31表示在关于虚拟孔方法的图16中示出的相机位置1到n中之一。相机位置31处的相机具有投影截锥33。相机位置32处的相机具有投影截锥34，其使得物体位置(x₀，z₀)投影到点(x_p2，0)，其对应于从点(x₀，z₀)穿过孔的光线。如果注视孔，则会如所预期地将投影点感知为来自点(x₀，z₀)的光线。事实上，针对投影截锥34的投影是正确的，但坐标系统需要校正。视图截锥已改变，且边缘-1和1不再处于在相机位置31时为-1和1的窗口边缘。因此点(x_p2，0)将相关于新投影截锥34，其中新边缘1和-1不对应于原始截锥33中的相同值。投影点必须相关于显示屏幕而限定，因为这是其最终将显示的地方。我们必须考虑到此坐标平移以确保位置34处的相机的截锥尺寸等于立体窗口的尺寸。

图18示出了位置32处的相机，其具有宽的视场和与投影平面14的点-1和1相交的新截锥35。视角—即截锥的y锥—保持恒定。然而，在一可替选实施例中，纵横比不改变，且截锥在y方向上的尺寸增大。将仍需要y值的缩放。在优选的实施例中，截锥仅沿x方向缩放并因此改变了纵横比：

$A=A_0\×\frac{D}{S}$

$A=\frac{w_0}{h_0}\×\frac{D}{S}=\left(\frac{w_0}{D\tan \left(\frac{\mathrm{\θ}}{2}\right)}\right)\×\frac{D}{S}$

通过应用等积三角形，我们得到下面的投影点(x_p2，0)的等式： $x_{p2}=\frac{{\mathrm{Sx}}_0}{S-z_0}$

观察者或观看者将通常使用具有他们的眼光水平、即处于相同高度的显示器。因此，本发明的实施例不处理竖直视差。然而，当相机向前移动时，理想地应保持恒定的投影y值也改变。有必要定义最佳观看距离D。因为显示器仅有水平视差，所以投影y值应保持恒定，因为这应独立于观看位置，即物体不应随头运动而改变高度。图19示出了此过程。本发明的实施例确保距离y_p与投影平面的半宽度(即1)之比等于y_p2与新投影平面的半宽度之比。为了实现此目的，点(y₀，z₀)必须平移到点(y₀′，z₀)。根据等积三角形：

$y_0^{\′}=\left(\frac{S-z_0}{D-z_0}\right)\×y_0$

其中y_p2由下面的等式给出：

$y_{p2}=\left(\frac{S}{D-z_0}\right)\×y_0$

y_p2的等式在分母中有z₀。此非线性项引起了关于在例如OpenGL管道中应用矩阵变换的问题。仿射变换无法在仅一个顶点坐标上容易地实施z除法。其将如所解释的那样通过x和y二者除z。(D-z₀)的此新的透视除法必须仅应用于y值，导致必须因此以更复杂的方式来实施的非线性函数。这将在后面讨论。

根据y₀得到y₀′的等式中的上面的项(S-z₀)/(D-z₀)是缩放系数。

现在已针对仅沿z轴移动、y值保持恒定的相机建立了新的投影数学。图20示出了怎样为位于孔后方的相机计算投影，所述相机在x方向上距z轴的距离为e的位置36处。相机位置36具有新截锥37；示出旧截锥35以供参考。

如图20中所示，投影点x_p2的等式为：

$\frac{x_{p2}-e}{S}=\frac{x_0-e}{S-z_0}$

$x_{p2}=\left(\frac{x_0-e}{S-z_0}\right)\×S+e$

假定屏幕尺寸为w且像素分辨率为N_w，投影像素坐标x_pix的等式可根据上面的以x_p2定义x_pix的等式得出：

$x_{\mathrm{pix}}=(1+\frac{x_{p2}}{w_0})\×N_w$

$x_{\mathrm{pix}}=(1+\frac{x_{p2}}{A_{0}D\tan \left(\frac{\mathrm{\θ}}{2}\right)})\×N_w$

类似地，y_pix可以以y_p2定义：

$y_{\mathrm{pix}}=(1-\frac{y_{p2}}{h\′})\×N_h$

$h\′=\frac{S}{D}\×h_0$

$y_{\mathrm{pix}}=(1-\frac{y_{p3}}{\tan \left(\frac{\mathrm{\θ}}{2}\right)S})\×N_h$

像素坐标等式如前所述，因为投影平面—即窗口尺寸—保持恒定。虽然y方向上的窗口较小，但y_pix的等式通过实施上述缩放系数而解决此情况。

图21示出了平移x怎样给出正确的投影，如同相机位于距轴的距离为e的孔处一样。示出相机在位置32，示出截锥35和37。

$x_1=\left(\frac{S-z_0}{S}\right)\×x_{p2}$

$x_1=x_0-\frac{{\mathrm{ez}}_0}{S}$

以此方式平移物体坐标意味着截锥不必要是大的。在无物体坐标平移的情况下，如在图18中示出的那样，为了在相机从位置31前移到位置32时捕捉到整个剪裁平面，必须加宽截锥。在包含大数目多边形的3D景象中避免此加宽是有利的，并且减小截锥尺寸显著地减少了被处理的多边形的数目。

最后，像素坐标必须以x₀和z₀计算。通过从上面的等式代入，我们得到下面的x像素坐标x_pix的等式：

$x_{\mathrm{pix}}=(1+\frac{S(x_0-\frac{{\mathrm{ez}}_0}{S})}{(S-z_0)A_{0}D\tan \left(\frac{\mathrm{\θ}}{2}\right)})\×N_w$

类似地，对于y像素坐标y_pix，示出为：

$y_{\mathrm{pix}}=(1+\frac{{\mathrm{Sy}}_0}{(D-z_0)D\tan \left(\frac{\mathrm{\θ}}{2}\right)})\×N_h$

这些变换实施了位于快门间距处的具有缩放的截锥和平移的y坐标的相机。实践中，这些以openGL矩阵形式实施如下：

$[x_1,y_1,z_1,1]=[x_0,y_0,z_0,1]\×\left[\begin{array}{cccc}\frac{S}{D}& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ -\frac{e}{S}& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$

应对本领域技术人员明显的是，必须以正确的顺序应用这些矩阵。否则，缩放将同样应用于剪切项，这将引起不正确的透视投影。

在上面的矩阵实施中看不到透视除法。假定在管道的初始化过程中已经设置了投影矩阵，并且上面的矩阵相乘以剪切定义了原始对称截锥的原始投影矩阵。

观看平面上的相机

在前面的部分中，通过将相机置于孔位置并控制顶点坐标以校正竖直透视来执行再现变换。然而，如果有可能将相机保持在观看距离D，但变换任何物体坐标如同相机位于孔入口一样，则将有可能使显示在设备上的物体超过快门距离，即物体可显示为具有距离S与D之间的z坐标值(快门与观察者之间的物体)。

图22示出了第二种再现方法的原理。快门置于期望位置，并且光线从物体点发出通过孔。投影点x_p将被观看者感知为发源于点(x₀，z₀)，如图22所示。然而，在此情形下，我们将使相机位置保持为原始位置(0，0，D)。因此x₁的等式是：

$x_1=\frac{E-z_0}{D}\×x_p$

使用如上面的类似分析，我们得到：

$\frac{x_p-e}{S}=\frac{x_0-e}{S-z_0}$

$x_p=\left(\frac{x_0-e}{S-z_0}\right)\×S+e$

$x_1=(1-\frac{z_0}{D})(\frac{{\mathrm{Sx}}_0}{S-z_0}-\frac{\mathrm{Se}}{S-z_0}+e)$

注意，在上面的等式中将D替换为S表示将相机移动到孔位置。上面的x₁的等式由于出现了x₀×z₀项而难以以矩阵记法实施。该等式是非线性的并因此不能在线性系统中实施。有避开此问题的方法。一种方案是写一个拦截openGL管道并实施该等式的包装器(wrapper)。如果有访问代码的权利，则还可以直接实施该等式。一种有效的方法是使用顶点着色器(shader)语言并在图形卡中直接实施非线性变换。上面的分析仅覆盖了x方向上的再现，因为y再现遵循如上所述的标准数学。

与上述两种再现方法都有关的是：至此已假定图像源具有无限的带宽，即，已假定每个狭缝具有跨整个立体窗口、即从-1到1显示的完整的对应图像。不幸的是，这样的系统难以实施，因为当前的显示装置带宽有限。因此在实践中不可能制造这样的具有高狭缝数目的3D显示器。对于低狭缝数目和合理尺寸的屏幕，狭缝尺寸变大，这将限制可允许的深度并引起狭缝边界处的烦扰人的不连续。一种方案是牺牲一些带宽并以较窄的视角为代价减小狭缝宽度。这可通过考虑图23中所示的系统中的远离轴的观看者而得到最好地理解。在通过远离轴的狭缝n看的某个点处，他或她将最终能够看到由相机m捕捉到的区。允许产生较清晰和较深的图像的较窄狭缝的该方案是将若干子图像置于较大显示图像或帧内。图23示出了此方法。通过沿x轴平移相机，投影保持正确，然而像素坐标是错误的。如上所述，通过剪裁图像，可以实现不对称的视图截锥，其等同于平移像素坐标。截锥的不对称的出现仅为截锥被迫恒定地与1和-1点相交的结果。位置n和位置m的两个投影截锥在投影平面14上相交。在此实例中，相交点将是x＝-0.1。结果，两个相机不仅覆盖了1和-1之外的区，还覆盖了整个立体窗口。它们一起利用了显示器上可用的所有像素，即位置n的相机从大约-0.1到-1而位置m的相机从1到-0.1。投影点x_pm预期为靠近原点。然而，从相机位置m的截锥，我们看到其靠近-1边缘。此像素将被远离期望位置地映射，且通过平移像素而顾及此情况。下面的分析解释了允许捕捉若干透视子图像并将其正确地显示在单个3D显示帧内的数学。

下面的分析与前面很相象，但关心的是实现正确的像素映射。如前面所解释的那样，水平和竖直分辨率(2N_w，2N_h)描述了视口的尺寸。视口分辨率将对应于其上待显示3D图像的原始显示分辨率。在先前的分析中，这是简单的，因为每个狭缝具有整个对应图像或帧，因此每个图像的分辨率将是(2N_w，2N_h)。然而，当将若干子图像置于一帧内时，关键是确保使用适合于显示分辨率的正确的视口分辨率。变量φ(phi)描述了每个子图像的宽度，并且称为狭缝视角。图24示出了位于对应于狭缝m的位置的相机，其中子图像的宽度2w′和纵横比A′由下面的等式给出：

$A\′=\frac{w\′}{h_0}=\frac{w\′}{\tan \left(\frac{\mathrm{\θ}}{2}\right)\×D}$

其中h₀是屏幕的原始高度，其始终保持不变。因为子图像的宽度w′或m处的相机的视口已知，所以可由下面的等式得到与原始显示分辨率N_w有关的子图像分辨率N_w′。

$N_w^{\′}=\frac{w\′}{w_0}\×N_w=\frac{w\′}{\tan \left(\frac{\mathrm{\θ}}{2}\right)\×{\mathrm{DA}}_0}\×N_w$

图25示出了新的小截锥38，其中-1和1点分别位于a和b。相机位于位置40，与孔m一致地距z轴的距离为e并且距投影平面14的距离为S，即处于孔m的位置。针对此配置的新的小截锥38是标准的对称截锥，并且将称为a至b截锥38。由此a至b截锥38内的像素坐标x_mpix的等式为：

$x_{\mathrm{pm}}=\frac{S(x_0-e)}{(S-z_0)}$

$x_{m_{\mathrm{pix}}}=(1+\frac{x_{\mathrm{pm}}}{w\′})\×N_w^{\′}=$

$(1+\frac{S(x_0-e)}{(S-z_0)\tan \left(\frac{\mathrm{\θ}}{2}\right)\×\mathrm{DA}\′})\×N_w^{\′}$

此等式给出a至b截锥38内的像素坐标。然而，对于待正确地映射于整个帧内的像素，必须找到点a，由此给出子图像41应放置的位置的像素索引。像素坐标a_pix由下面的等式给出：

$a_{\mathrm{pix}}=(1+\frac{e-w\′}{w_0})\×N_w$

因此整个帧的范围内的点(x₀，z₀)的像素坐标x_pix由下面的等式给出：

$x_{\mathrm{pix}}=x_{m_{\mathrm{pix}}}+a_{\mathrm{pix}}$

$=(1+\frac{S(x_0-e)}{(S-z_0)\tan \left(\frac{\mathrm{\θ}}{2}\right)\×\mathrm{DA}\′})\×N_w^{\′}+(1+\frac{e-w\′}{w_0})\×N_w$

其中第一项表示子图像内的投影坐标，最后一项表示整个帧内的索引a。因此，上面的等式给出整个帧内的像素坐标。此结果与先前定义的像素坐标的等式相符合，因为投影像素的位置仅为孔位置的函数。实际上，通过代换，可以示出：上面的x_pix的等式与在上面的快门平面部分中的相机中得出的x_pix的等式相一致。

不同于前面，上述分析使用对称的截锥。虽然这可能似乎是理想的，但对于这样的方法，在计算上没有优点，因为不对称的截锥是线性的剪切，并且可以由图形卡容易地计算。低带宽再现方法是理想的原因是因为我们将视口限制到较低分辨率，因此计算的像素较少并因此较快地再现。这只不过在由于剪裁而仅有一部分图像将用于3D透视时避免了计算完全分辨率图像。

利用观看平面方法中的相机，相机被置于最佳观看距离D，但物体被平移，如同相机位于狭缝处一样。此方法允许捕捉快门平面前方的物体。此部分将结合相同的方法，但在有限区范围内，再次引入子图像的概念以提高效率，并允许用于低带宽显示器(可是以有限视角为代价)的深图像。

图26示出了与孔m一致地距z轴的距离为e并且距投影平面14的距离为D的位置43处的相机。图26还示出了截锥39，同样其中-1和1点分别位于a和b。截锥39对应于子图像42和位置40处的相机。根据图26，得到点x₀及其对应的平移点x₁(平移的物体坐标)的等式：

$\frac{x_1-e}{D-z_0}=\frac{x_p-e}{D}$

$\frac{x_0-e}{S-z_0}=\frac{x_p-e}{S}$

注意这里所有的值相对于原点而不是相对于位于e处的相机的光轴。通过代换上面的等式并求出x₁：

$x_1=(1-\frac{z_0}{D})(\frac{{\mathrm{Sx}}_0}{S-z_0}-\frac{\mathrm{Se}}{S-z_0})+e$

此等式适用于所有x值，使得投影对应于位于孔(位置40)处的相机。通过使用与前面相同的分析，可示出截锥39的范围内的像素等式由下面的等式给出：

$x_{m_{\mathrm{pix}}}=(1+\frac{S(x_0-e)}{(S-z_0)\tan \left(\frac{\mathrm{\θ}}{2}\right)\×\mathrm{DA}\′})\×N_w^{\′}$

针对点a的分析如前所述，并由下面的等式给出：因此，如所预期的，整个帧的范围内的像素等式x_pix由x_mpix+a_pix给出，这得到下面的等式：

$a_{\mathrm{pix}}=(1+\frac{e-w\′}{w_0})\×N_w$

$x_{\mathrm{pix}}=(1+\frac{S(x_0-e)}{(S-z_0)\tan \left(\frac{\mathrm{\θ}}{2}\right)\×\mathrm{DA}\′})\×N_w^{\′}+(1+\frac{e-w\′}{w_0})\×N_w$

此低带宽或同时的多透视图像显示方法得到了与前面非常类似的结果。

通过说明，现在将描述上面的再现方法的初步实施。此部分将给出关于可怎样在实践中实施低带宽再现过程的一个实例。已将该部分包括在内以使读者更好地理解为何这样的方法是理想的。在该实例中使用的3D显示器将具有下列特性：·屏幕刷新速率R_f＝200Hz·狭缝数目N_s＝12

将假定人眼的时间带宽是50Hz。因为每个狭缝必须以此速率更新，所以系统可支持帧数4，即，可显示4个不同的独立图像或帧，因为：

               帧-数＝200Hz/50Hz＝4如图27所示，3个孔被同时打开，且位于每个狭缝后的将是对应的透视子图像。如果每个图像仅有一个狭缝，尽管视角是大的，但狭缝宽度将相应的大并且产生不期望的效应。在某个点，狭缝将变得如此大以至于不能实现立体视觉。

在图27中，以不同尺寸示出独立的截锥。与第二子图像52和第三子图像53相比，第一子图像51包含较少的像素。尽管在先前部分中描述的数学方法处理了对称的截锥，但它们可以、并在实践中经常是不对称的，如图27中所示。截锥的形状取决于许多方面，如所需的视角、显示尺度等。问题是确保子图像正确地映射于整个帧内。

申请人由此独立地公开了这里描述的每个单独特征以及两个或多个这样的特征的任意组合，所公开的程度为：能够在本领域的技术人员的普通知识的启发下基于本说明书的整体来执行这样的特征或组合，而无论这样的特征或特征组合是否解决这里公开的任何问题，并且不对权利要求的范围构成限制。申请人指示本发明的方面可包括任何这样的单独特征或特征组合。根据前面的描述，将对于本领域的技术人员明显的是，可以在本发明的范围内进行各种修改。

Claims (21)

1.一种产生图像数据的方法，所述图像数据适于与自动立体显示器一起使用，所述方法包括对表示3D景象中的至少一个项目的项目坐标进行处理以提供所述图像数据，其中所述处理包括投影步骤和变换步骤，其中：所述变换步骤包括计算取决于所述自动立体显示器的几何的变换；且所述投影步骤包括计算取决于投影平面的投影。

2.如权利要求1所述的方法，其中所述变换步骤设置成提供包括所述3D景象的校正透视图的图像数据。

3.如权利要求1或2所述的方法，当对所述投影坐标执行所述变换步骤时，其中所述投影步骤在所述变换步骤之前。

4.如权利要求1或2所述的方法，当对所述项目坐标执行所述变换步骤时，其中所述投影步骤在所述变换步骤之后。

5.如权利要求3或4所述的方法，其中所述3D景象存储在硬件中，并且所述投影步骤包括利用观察位置处的虚拟相机形成所述景象的投影图像。

6.如权利要求3或4所述的方法，其中所述3D景象存储在硬件中，并且所述投影步骤包括利用孔位置处的虚拟相机形成所述景象的投影图像。

7.如权利要求1到4中任何一项所述的方法，其中所述变换步骤实施位于快门间距处的相机，所述相机具有缩放的截锥并且捕捉具有平移的y坐标的图像数据。

8.如权利要求1到4中任何一项所述的方法，其中所述变换步骤实施位于观察距离处的相机，所述相机捕捉具有平移的x坐标的图像数据。

9.如任一前述权利要求所述的方法，其中所述变换步骤取决于孔的几何因素。

10.如权利要求9所述的方法，其中所述孔的所述几何因素包括：孔宽度；图像显示表面与所述孔之间的分隔距离；以及典型的观察距离。

11.如任何前述权利要求所述的方法，其中所述图像数据包括图像片段、3D景象的2D表示或关于3D景象的2D表示的信息。

12.如任一前述权利要求所述的方法，其中所述图像数据包括一图像，该图像具有对应于第一观察距离的水平方向上的第一透视以及对应于第二观察距离的竖直方向上的第二透视。

13.一种产生表示图像片段的图像数据的方法，所述图像片段适于与自动立体显示器一起使用，所述方法包括对表示3D景象中的至少一个项目的项目坐标进行处理以提供所述图像数据，其中所述处理包括投影步骤和变换步骤，其中：所述变换步骤包括计算取决于所述自动立体显示器的几何的变换；且所述投影步骤包括计算取决于投影平面的投影。

14.一种产生表示对应于3D景象的图像片段的图像数据的方法，所述图像片段与自动立体显示装置一起使用，所述自动立体显示装置设置成显示取决于视角的显示平面的特定区域，所述图像数据被如此设置，使得当所述图像片段显示在所述显示平面上时，所述图像片段的特定区域被显示，其中所显示的所述图像片段的所述特定区域对应于所述3D景象的透视图。

15.如权利要求14所述的方法，其中对应于所述3D景象的透视图的所显示的所述图像片段的所述特定区域与将通过窗口观察到的区域基本上相同。

16.如任一前述权利要求的方法，其中所述自动立体显示器如此工作以便显示取决于视角的图像的一部分。

17.如权利要求16所述的方法，其中所述视角是水平平面上的水平视角。

18.一种在具有自动立体显示器的计算机系统中使用的图形处理设备，所述图形处理设备包括：

处理装置，用于计算表示3D景象中的至少一个项目的多个项目坐标到投影平面上的投影；以及

处理装置，还用于计算取决于所述自动立体3D显示器的几何的变换。

19.一种包括孔阵列和成像部分的自动立体显示设备，其中：

所述孔阵列包括多个可切换的孔，所述可切换的孔可以在基本透明状态和基本不透明状态之间切换；以及

所述成像部分包括多个数字微镜装置，每个数字微镜装置设置成再现不同的色彩。

20.一种包括定向滤光装置阵列和成像部分的自动立体显示设备，其中：

所述定向滤光装置阵列可操作为让观看者或检测器看到取决于一角度的所述成像部分的不同区域，在所述角度观察到每个定向滤光装置；以及

所述成像部分包括包括以下装置的组中的一个：包括数字微镜装置和光楔的2D显示器；铁电液晶显示器；以及有机发光二极管显示器。

21.一种根据权利要求19或20的自动立体显示设备，包括视差屏障显示器或有源视差屏障显示器。

Images