CN101006492A - 水平透视显示 - Google Patents

Abstract

本发明的显示系统揭示了一种三维显示系统，它包括三维水平透视显示器和三维音频系统(比如双声道立体声模拟)，以便赋予三维显示真实性。该三维显示系统可以进一步包括第二显示器，与曲线结合显示部分一起用来合并各种图像。通过根据观看者的视点和听觉点位置来调节各种图像和三维声音，多平面的显示表面便可以适应观看者。

Description

水平透视显示

本申请要求下列美国临时申请的优先权：2004年6月1日提交、序列号为60/576,187且题为“Multi plane horizontal perspective display”的美国临时申请；2004年6月1日提交、序列号为60/576,189且题为“Multi plane horizontalperspective hand on simulator”的美国临时申请；2004年6月1日提交、序列号为60/576,182且题为“Binaural horizontal perspective display”的美国临时申请；以及2004年6月1日提交、序列号为60/576,181且题为“Binaural horizontalperspective hand on simulator”的美国临时申请，它们引用在此作为参考。

本申请涉及下列共同待批的申请：2005年4月4日提交、序列号为11/098,681且题为“Horizontal projection display”的申请；2005年4月4日提交、序列号为11/098,685且题为“Horizontal projection display”的申请；2005年4月4日提交、序列号为11/098,667且题为“Horizontal projection hand-onsimulator”的申请；2005年4月4日提交、序列号为11/098,682且题为“Horizontalprojection hands-on simulator”的申请；2005年5月27日提交的“Multi planehorizontal perspective display”；2005年5月27日提交的“Multi plane horizontalperspective hand on simulator”；2005年5月27日提交的“Binaural horizontalperspective display”；以及2005年5月27日提交的“Binaural horizontalperspective hand on simulator”。

技术领域

本发明涉及三维显示系统，尤其涉及多视图显示系统。

背景技术

自从人们开始通过图片进行通讯，他们就面临着如何精确表现他们所生存的三维世界这一难题。雕刻被用于成功地描绘三维物体，但不足以传达出物体与物体之间及环境中的各种空间关系。为此，人们曾试图将他们所看见的周围情况“展平”到二维、垂直的平面上(例如：绘画、素描、织锦等)。一个人竖直站立且其周围有树木环绕的场景已被相对成功地呈现到垂直平面上。但是，如何描绘从艺术家所站立的位置水平向外延伸到目之所及的地面景色呢？

答案就是三维幻觉。二维图片必须向大脑提供许多关于第三维度的提示，以便产生三维图像的幻觉。这种第三维度提示效果，因大脑对此已相当习惯这一事实，而在现实中是可以实现的。三维真实世界总是并且也已经转换成视网膜上二维(例如：高度和宽度)投影图像，视网膜即眼睛后部的凹面。大脑根据经验和感觉从这种二维图像中生成深度信息，以便根据下面两类深度提示来形成三维可视图像，这两类深度提示分别是单眼(一个眼睛感觉)和双眼(两个眼睛感觉)。通常，双眼深度提示是先天的且与生物学有关的，而单眼深度提示则是习得的且与环境有关的。

主要的双眼深度提示是会聚和视网膜像差。大脑测量各个眼睛会聚的量以便对距离进行粗略估计，因为当物体越近时各个眼睛的视线之间的角度就越大。因两眼分开而导致的视网膜图像差异被用来产生关于深度的感觉。这种效果被称为立体视法，其中各个眼睛接收到景象略微不同的视图，并且大脑将它们组合起来，利用这些差异来确定附近各物体之间距离比率。

双眼提示在深度感觉上非常有用。然而，也有很多只用一只眼睛的深度提示，称为单眼深度提示，可用于在平面图像上产生深度印象。主要的单眼提示是：重叠、相对大小、线性透视、以及光与影。当所观看的物体被部分覆盖时，这种典型的遮盖作为一种提示，被用于确定该物体离得更远。当已知两个物体具有相同的大小且一个看上去比另一个更小时，这种典型的相对大小作为一种提示，被用于假定较小的物体离得更远。相对大小的提示还为线性透视的提示提供基础，其中线条离观察者越远，它们就显得越靠近，因为透视图中的平行线看上去朝着单个点汇聚。从某一角度射向物体的光线可以为物体的形式和深度提供提示。光与影在多个物体上的分布是一种很有用的单眼深度提示，这是由生物学上正确的假设(光线来自上方)所提供的。

透视图与相对大小一起，最常用于在纸或画布等(二维)平面上实现三维深度和空间关系的幻觉。通过透视，三维物体被描绘在二维平面上，但却“欺骗”眼睛使得看起来像是在三维空间中。早在十五世纪初，建筑师Leone BattistaAlberti首次公布了第一本用于构造透视理论的论文集“Depictura”。自从他的书问世以来，迄今已经有大量的文献涉及“一般的”透视背后的诸多细节。然而，存在许多其它类型的透视这一事实并不广为人知。图1顶部示出了一些示例，其中有军用的、斜等轴测图的、等角的和正方的。

令人特别感兴趣的是最常用的透视类型，称为中心透视，图1左下方有示出。中心透视(亦称一点透视)是最简单的一类“真正的”透视构造，并且常在艺术和绘画课中被教授给初学者。图2进一步示出了中心透视。通过使用中心透视，棋盘和棋子看上去像是三维物体，尽管它们是被绘制在二维的平面纸张上。中心透视具有中心消失点，并且将矩形物体放置成使它们前面的边平行于图片平面。物体的深度垂直于图片平面。所有平行退后的边缘都向中心消失点延伸。观看者朝着该消失点直视。当建筑师或艺术家用中心透视来绘图时，他们必须用单眼观看。即，绘画的艺术家仅通过与图表面相垂直的一只眼睛观看，来捕获图像。

包括中心透视图在内的绝大多数图像都是在与视线相垂直的平面上进行显示、观看和捕获。从非90°的角度观看图像将导致图像失真，意味着当观看面并不垂直于视线时，正方形会被看成长方形。然而，有一类人们所知甚少的图像被我们称为“水平透视”，这种图像在当正面观看时会显得失真，但从正确的观看位置观看时就可以显示三维幻觉。在水平透视中，观看面和视线之间的角度最好是45度但也可以是几乎任何角度，而观看面最好是水平的(名为“水平透视”)但也可以是任何平面，只要视线和该观看面之间形成一个非垂直的角度就可以。

水平透视图像提供真实的三维幻觉但却鲜为人知的主要原因在于：较窄的观看位置(观看者的视点必须与图像投影视点精确地一致)；以及将二维图像或三维模型投影成水平透视图像所涉及的复杂性。

和常规的垂直图像相比，产生水平透视图像需要更多的专门知识。常规的垂直图像可以从观看者或照相机点位直接产生。观看者只需睁开眼睛或使照相机指向任何方向来获取图像。此外，观看者具有从垂直图像中观看三维深度提示的许多经验，所以他们可以忍受因偏离照相机点位而产生的显著失真量。相反，创建水平透视图像则需要许多操作。常规的照相机通过将图像投影到与视线相垂直的平面上，所以无法产生水平透视图像。制作水平绘图需要很多的努力且非常耗时。此外，因为人们对水平透视图像的经验很有限，所以观看者的眼睛必须精确地定位在投影视点将避免图像失真的位置。因此面对诸多困难的水平透视很少受人关注。

对于逼真的三维显示而言，双声道立体声或三维音频模拟也是需要的。

发明内容

本发明认识到，个人计算机特别适合水平透视显示。它是个人的，因此设计用于单人操作，而计算机，因其强大的微处理器，非常适合向观看者呈现各种水平透视图像。

因此本发明的显示系统揭示了一种三维显示系统，其中包括至少一个显示表面，用于显示三维水平透视图像。其它显示表面可以显示二维图像，或者最好显示三维中心透视图像。此外，这些显示表面可以具有曲线结合显示部分以合并各种图像。多平面显示系统可以包括各种照相机视点，一个视点用于水平透视图像，一个视点用于中心透视图像，并且选择性地还有一个视点用于曲线结合显示表面。多平面显示表面还可以调节各种图像以便适应观看者的位置。通过改变所显示的图像以使水平透视和中心透视图像的照相机视点处于和观看者的视点一样的位置，观看者的眼睛便总是位于合适的观察位置以便感知三维幻觉，从而使观察者的不适感和失真最小化。该显示可以接受人工输入(比如计算机鼠标、光标运动球、操纵杆、输入板等)以重新定位水平透视图像。该显示还可以基于用于自动提供观看者视点位置的输入设备，自动地重新定位图像。

此外，该显示还包括像双声道立体声模拟这样的三维音频，以便赋予三维显示真实性。

附图说明

图1示出了各种透视图。

图2示出了典型的中心透视图。

图3示出了中心透视(图像A)和水平透视(图像B)的比较。

图4示出了三个堆叠块的中心透视图。

图5示出了三个堆叠块的水平透视图。

图6示出了绘制水平透视图的方法。

图7示出了水平透视显示器和观看者输入设备。

图8示出了水平透视显示器、计算设备和观看者输入设备。

图9示出了三维物体到水平面的映射。

图10示出了三维物体通过水平透视的投影。

图11示出了水平透视的模拟时间。

图12示出了本发明的多平面显示器的一实施例。

图13示出了本发明的多平面显示器上的水平透视和中心透视投影。

具体实施方式

本发明揭示了一种多平面显示系统，它至少包括两个显示表面，其一能够基于水平透视投影法来投影三维幻觉。

通常，本发明的多平面显示系统可以用于显示三维图像，并且显然在许多行业都可应用，比如制造设计评审、人机工程模拟、安全和训练、视频游戏、电影艺术、科学三维观看以及医疗和其它数据显示。

水平透视是一种人们所知甚少的透视，我们只发现有两本书描述了它的机理：Stereoscopic Drawing(1990)以及How to Make Anaglyphs(1979，已绝版)。尽管这两本书都描述了这种不太引人注意的透视，但是在其名称方面却并不一致。第一本书将这种透视称为“独立式浅浮雕(free-standing anaglyph)”，而第二本则将其称为“幻像(phantogram)”。另一出版物称它为“投影浅浮雕”(G.M.Woods的美国专利US5795154，1998年8月18日)。由于没有统一的名称，我们冒昧地称之为“水平透视”。通常，像在中心透视中那样，与视线成直角的视平面也就是图片的投影平面，深度提示被用于给出该平面图像的深度幻觉。在水平透视中，视平面不变，但投影的图像不在该平面上。它在一个与视平面成一定角度的平面上。一般而言，该图像将在地平面上。这意味着该图像将实际处在和视平面有关的第三维度中。因此，水平透视可以称为水平投影。

在水平透视中，目的是要将图像从纸上分离，并将该图像合并到用来投影出该水平透视图像的的三维物体。因此，水平透视图像必须变形以便视觉图像合并从而形成独立式三维图形。从正确的视点来观看图像是最基本的，否则就看不到三维幻觉。中心透视图像具有高度和宽度并且投影出深度幻觉，因此物体投影通常不连贯且图像看起来像是处于许多层中，与中心透视图像相反的是，水平透视图像具有实际的深度和宽度并且幻觉赋予它们高度，因此通常有循序渐进的移动可使得图像显得连贯。

图3比较了用来区分中心透视和水平透视的一些关键特征。图像A示出了中心透视的关键性相关特征，而图像B示出了水平透视的关键性相关特征。

换句话说，在图像A中，艺术家闭上一只眼睛并沿着与垂直的绘画平面正交的视线进行观看，从而绘出现实的三维物体(彼此稍有间隔从上到下堆叠的三个块)。所得到的图像在通过一个眼睛垂直观看即直视的时候，看起来和原始图像一样。

在图像B中，艺术家闭上一只眼睛并沿着和水平绘画平面成45度的视线进行观看，从而绘出现实的三维物体。所得的图像在与水平成45度的方向上用一个眼睛观看时，看起来和原始图像一样。

图像A中所示的中心透视和图像B中所示的水平透视之间的一个主要区别在于显示平面相对于所投影的三维图像的位置。在图像B的水平透视中，显示平面可以上下调节，因此所投影的图像可以被显示在显示平面上方的开放空间中，即实际的手可以触摸(或更像是穿透)该幻觉，或者所投影的图像可以被显示在显示平面下方，即人无法用手触摸该幻觉，因为显示平面在物理上挡住了人的手。这就是水平透视的实质，只要照相机视点和观看者视点在同一位置，幻像就存在。相反，在图像A的中心透视中，三维幻像很可能只在显示平面里面，这意味着人无法触及到它。为了将三维幻像带出显示平面从而让观看者触摸它，中心透视将需要精心策划显示方案，比如环绕图像投影和大体积。

图4和5示出了使用中心透视和水平透视之间的视觉差异。为了体验这种视觉差异，首先通过一只睁开的眼睛观看用中心透视绘制的图4。将这张纸竖直放在你面前，就如传统绘画，垂直于你的眼睛。你可以看到中心透视使得在二维表面上很好地呈现了三维物体。

现在仔细检查你的桌子并将纸平放(水平地)在你面前的桌子上，观看用水平透视绘制的图5。同样，仅用一只眼睛观看该图像。使你那只睁开的眼睛(被称为视点)大约与纸面成45度，该角度正是艺术家绘图时的角度。为了使你睁开的那只眼睛及其视线与艺术家的相一致，让你的眼睛向下和向前移动得更接近该画面，向外和向下距离约6英寸且处于45度角。这将产生理想的观看体验，其中顶部和中部的块看上去是在纸面上方的开放空间中。

同样，你那只睁开的眼睛必须位于这个精确的位置是因为，中心和水平透视不仅定义了从视点出发的视线的角度，而且还定义了从视点到画面的距离。这意味着，图4和5是在你那只睁开的眼睛相对于该画面处于理想位置和方向的情况下被绘制而成的。然而，与中心透视不同的是(对于中心透视，视点的位置和方向偏离很少产生失真)，当观看水平透视画面时，对于看到开放空间三维水平透视幻觉而言，单个眼睛的使用以及该眼睛相对于观看面的位置和方向都是最基本的。

图6是建筑学类型的示例，示出了一种使用水平透视在纸上或画布上绘制简单几何图形的方法。图6是和图5中使用的同样三个块的侧视图。它示出了水平透视的实际结构。组成物体的每一点通过将该点投影到水平绘画平面上来绘制。为了演示，图6通过投影线显示了块被绘制在水平绘画平面上的几个坐标。这些投影线始于视点(因比例关系未在图6中示出)，在物体上相交于点，接着沿直线继续直到与水平绘画平面相交，也就是它们被实际绘作纸上的一点之处。当建筑师为块上的每一点重复此过程，如所看到的从绘画表面沿着45°视线到达视点，水平透视图像完成了，看上去象图5。

注意到在图6中，三块之一看上去低于水平绘画平面。用水平透视，低于绘画平面的点也被画到水平绘画平面上，如所看到的从视点沿着定位线。因此当观看最终图画时，物体不仅看上去在水平绘画平面之上，而且同样看上去在它之下一显得它们退到了纸里面。如果你再次看图5，你将注意到最底下的框看上去低于或进入了纸，而另两个框看上去在纸以上的开放空间中。

产生水平透视图像相比创建中心透视图需要相当多的专门技术。即使两种方法都致力于向观看者提供自二维图像产生的三维幻觉，但是中心透视图直接从观看者或照相机点位产生三维景色。相反，水平透视图像在正面观看时显得失真，但是该失真必须被精确呈现，使得当在一个精确位置进行观看时，水平透视会产生三维幻觉。

本发明的多平面显示系统通过向观看者提供调整所显示的图像的手段从而使幻觉观看体验最佳化，来促进水平透视投影的观看。通过利用微处理器的计算能力及实时显示器，本发明的水平透视显示器示出在图7中，其中包括能够重新绘制投影图像的实时电子显示器100，该实时电子显示器100与观看者的输入设备102一起用来调节水平透视图像。通过重显示水平透视图像使得其投影视点与观看者的视点相一致，本发明的水平透视显示器可以确保根据水平透视方法呈现三维幻觉的过程中失真最少。输入设备可以手动操作，其中观看者手动输入他或她的视点位置或改变投影图像视点，以获得最适宜的三维幻觉。输入设备也可以自动操作，其中显示器自动跟踪观看者的视点并相应地调整投影图像。该多平面显示系统消除了观看者必须将他们的头保持在相对固定的位置这一限制，该限制给精确视点位置的接受带来很多困难，例如水平透视或全息显示。

除了实时电子显示器100以外，图8所示的水平透视显示系统可以进一步包括计算设备110和投影图像输入设备112，投影图像输入设备112向计算设备110提供输入以便计算显示用的投影图像，从而通过使观看者的视点和投影图像视点相一致向观看者提供真实的、失真最少的三维幻觉。该系统可以进一步包括图像放大/缩小输入设备115或图像旋转输入设备117或图像移动设备119，从而允许观看者调节投影图像的视图。

输入设备可以手动或自动操作。输入设备可以探测观看者视点的位置和方向，根据探测结果计算并将图像投影到显示器。或者，输入设备可以被做成探测观看者头部的位置和方向以及眼球方向。输入设备可以包括红外线探测系统来探测观看者的头部位置，以允许观看者的头部自由运动。输入设备的其它实施例可以是用于探测观看者的视点置的三角测量法，就如提供适于本发明的头部跟踪目的的位置数据的CCD照相机。输入设备可由观看者手动操作，如键盘、鼠标、光标运动球、操纵杆等等，来指示水平透视显示图像的正确显示。头或眼睛跟踪系统可以包括基地单元和在观看者的头上的头戴式传感器。该头戴式传感器响应于观看者的头移动和眼睛定向，产生用于表示观看者的位置和方向的信号。这些信号可以被基地单元接收，并且用于计算合适的三维投影图像。头或眼睛跟踪系统可以是红外照相机，用来给观看者的眼睛拍摄图像。通过使用所拍下的图像和其他图像处理技术，观看者的眼睛的位置和方向可以确定，然后被提供给基地单元。头和眼睛跟踪可以实时地按小且足够的时间间隔来实现，从而连续跟踪观看者的头和眼睛。

多平面显示系统包括多个新的计算机硬件和软件元件及进程，并且与现存的组件一起产生了水平透视观看模拟器。为了使观看者体验这些独特的观看模拟，计算机硬件观看表面最好水平放置，因此观看者的视线相对于该表面成45°的角度。一般而言，这意味着观看者竖直站着或坐着，观看表面和地面水平。注意尽管观看者可以体验处于非45°观看角度(例如55°、30°等)的手动操作模拟，45°还是使大脑认识到开放空间图像中最大数量的空间信息的最理想角度。因此，为简单起见，我们在文件中使用“45°”来表示“大约45°的角度”。此外，尽管因为水平观看表面模拟了观看者对水平地面的体验因而是较佳的，任何观看表面都可以提供类似的三维幻觉体验。水平透视幻觉可以通过将水平透视图像投影到顶面而看上去从顶上悬挂下来，或通过将水平透视图像投影到竖直墙面而看上去浮于墙面。

观看模拟产生于三维图形视体中，它们位于实际观看表面的上方和下方。算术地，成一定角度的照相机点位的计算机生成的x、y、z坐标组成了无限大的“金字塔”的顶点，“金字塔”的边穿过基准面/水平面的x、y、z坐标。图9示出了这个无限大的金字塔，它始于成一定角度的照相机点位，并延伸通过远裁剪面。视体由舒适面来定义，舒适面是在视体的顶部，并且被恰当地命名，因为它在金字塔内的位置决定了观看者个体的舒适性，即当观看者观看并且和模拟互动时，他们的眼睛、头部、身体等位于何处。

为使观看者在其有形的观看设备上观看开放空间图像，它必须被恰当地定位，这通常意味着有形的基准面水平放在地面上。无论观看设备相对于地面的位置如何，基准面/水平面必须与观看者的定位线大约成45度，以便进行最佳观看。观看者可以执行这一步的一种方法是将他们的CRT计算机监视器站立放在地板上，使基准面/水平面水平于地板。这个示例一般采用了CRT型的电视机或计算机监视器，但它可以是任何类型的观看设备、显示屏、单色或彩色显示、发光、TFT、磷光、计算机投影仪和图像产生的其它方法，只要观看表面与观看者的视线成大约45°角就可以。

显示器需要知道观看者的视点，以恰当显示水平透视图像。做到这一点，一种方法是观看者向水平透视显示器提供他们眼睛的真实世界x、y、z位置以及相对实际基准面/水平面中心的定位线信息。例如观看者告诉水平透视显示器他们实际的眼睛在看着基准面/水平面中心时将位于12英寸以上、12英寸以后。水平透视显示器接着将计算机生成的成一定角度的照相机点位映射到观看者视点的实际坐标及定位线。另一种方式是，观看者手动调节输入设备(比如鼠标)，并且水平透视显示器调节其图像投影视点，直到观看者体验到恰当的视点位置。另一个方式是，用带有红外线设备或照相机的三角剖分来自动地定位观看者的眼睛位置。

图10是水平透视显示器的示意图，它包括了以上步骤中所描述的所有的新的计算机生成的和现实实际的元件。它还示出了实际世界的元件及其计算机生成的等效物按1∶1映射并共享共同的基准面。这种水平透视显示器的完全实现，产生了实时计算机生成的3D图形，看上去位于在观看设备表面上及上方的开放空间中，观看设备表面的方向和观看者的视线成大约45°角。

本发明还允许观看者绕着三维显示器移动而不会有大的失真，因为显示器可以跟踪观看者的视点并相应重新显示图像，这和常规的现有技术相反，现有技术中投影和计算三维图像显示如从单一视点看，观看者在空间内偏移预定观看点的任何移动都会导致严重失真。

显示系统可进一步包括计算机，用于在给出视点位置的位移时重新计算所投影的图像。水平透视图像创建起来会非常复杂和麻烦，或以对于艺术家或照相机不自然的方式被创建，因此需要使用计算机系统完成此工作。为了显示具有复杂表面的物体的三维图像，或创建动画序列，可能需要许多计算能力和时间，因此这个工作非常适合计算机。最近，有三维功能的电子设备和计算硬件装置以及实时计算机生成的三维计算机图形得到长足发展，视觉、听觉和触觉系统显著创新，并且有相当好的硬件和软件产品来生成现实的更自然的人机界面。

本发明的多平面显示系统不仅满足娱乐媒体，诸如电视、电影和视频游戏的要求，也适合如教育(显示三维构造)和技术培训(显示三维设备)等各领域的需求。具有不断增长的对三维图像显示器的要求，可从不同角度观看，以便通过使用物体类的图像来观察真实对象。水平透视显示系统也能用计算机生成的实体代替观看者观察。该系统可以包括声音、视觉、动作以及用户输入，以便产生三维幻影的完全体验。

水平透视系统的输入可以是二维图像、几个图像组合形成一个三维图像，或三维模型。三维图像或模型比二维图像传递更多信息，通过改变视角，观看者将从不同的透视点连续得到观看同一物体的印象。多平面显示系统可以进一步提供多个视图或“多视图”能力。多视图向观看者提供同一个模拟的多个和/或分离的左和右眼视图。多视图能力相比单眼视图具有重大的视觉和交互的进步。在多视图模式中，左眼和右眼的图像都由观看者大脑融合成一个三维幻影。立体图像所固有的两眼的适应性调节和聚焦间差异的问题使得观看者的眼睛因大的差异而疲劳，这一问题可以通过水平透视显示器而减少，尤其是运动图像，因为观看者凝视点的位置会随显示场景改变而改变。

在多视图模式中，目的是模拟两眼的行动来产生深度感觉，即左眼和右眼看见略微不同的图像。因此可用于本发明的多视图装置包括：使用眼镜的方法，诸如浮雕方法、特殊偏振镜或遮光镜；不使用眼镜的方法，诸如视差立体图、透镜方法和镜像方法(凹透镜和凸透镜)。

在浮雕方法中，右眼的显示图像和左眼的显示图像分别用两种颜色双重显示，例如红色和蓝色，右眼和左眼的观察图像使用颜色过滤器分开，因此使观看者能看到立体图像。利用水平透视技术显示图像，观看者向下以一定角度观看。如单眼水平透视方法，所投影的图像的视点必须与观看者的视点吻合，因此必须有观看者输入设备使观看者能观察三维水平透视幻影。自从浮雕方法的早期，已经有了很多进步，诸如红色/蓝色眼镜的频谱和显示器，向观看者生成更多真实感和舒适感。

在偏振镜方法中，左眼图像和右眼图像通过使用互相消光的偏振滤镜来分开，诸如正交线性偏振镜、圆形偏振镜、椭圆偏振镜。图像通常用偏振滤镜投影到屏幕，并向观看者提供相应的偏振镜。左右眼图像同时在屏幕上呈现，但是只有左眼偏振光通过眼镜的左眼透镜被发送，而只有右眼偏振光通过右眼透镜被发送。

立体显示的另一种方法是图像顺序系统。在这种系统中，图像在左眼和右眼图像之间顺序显示，而不是将它们彼此叠加，观看者的镜片和屏幕显示同步，从而当显示左图像时仅允许左眼看见，而当显示右图像时仅允许右眼看见。眼镜的遮光可以通过机械遮光或液晶电子遮光来实现。在遮光镜方法中，右眼和左眼的显示图像以时间分享方式被交替显示在CRT上，右眼和左眼的观察图像利用时间分享遮光镜镜分开，遮光镜以时间分享方式和显示图像同步打开/关闭，因此使得观察者看到立体图像。

另一种显示立体图像的方法是通过光学方法。在这种方法中，右眼和左眼的显示图像利用诸如棱镜、镜子、透镜等光学手段在观察器上被分开显示，在观察者面前双重显示为观察图像，因此使得观察者能看到立体图像。在投影左眼和右眼图像的两个图像投影仪分别向观看者的左右眼提供焦点时，也可以使用大的凸透镜或凹透镜。还有一种光学方法是透镜法，其中在圆柱透镜元件或透镜元件的二维阵列上形成图像。图11是关于计算机生成的人的两眼视图如何投影到水平平面上并随后显示在适合立体3D的观看设备上的水平透视显示器。图11描绘了一个完整的显示时间周期。在此显示时间周期中，水平透视显示器需要生成两眼不同的视图，因为在这个范例中，立体3D观看设备需要分开的左右眼视图。现已存在需要比分开的左右眼视图更多的立体3D观看设备，因为这里描述的方法可以生成多个视图也可以用于这些设备。

图11的左上图示出了在待生成的第一(右)眼视图之后，右眼的成角度的照相机点位。一旦第一(右)眼视图完成，水平透视显示器就开始呈现计算机生成的人的第二眼(左眼)视图的过程。图11的左下图示出了这次结束后，左眼的成角度的照相机点位。但是在呈现过程可以开始前，水平透视显示器对成角度的照相机点位进行调节。这在图11中通过左眼的x坐标增加两英寸来示出。右眼x值和左眼x+2”间的区别提供了两眼间的两英寸距离，这是立体3D观看所需要的。人眼间距离是不同的，但是在上例中我们使用了平均数2英寸。将他们个人的眼间距离值提供给水平透视显示器也是可以的。这将使得左右眼的x值相对特定观看者非常精确，并因此提高了他们立体3D视图的质量。一旦水平透视显示器将成角度的照相机点位的x坐标增加了2英寸，或增加观看者提供的个人眼间距离值，就通过显示第二(左眼)视图继续呈现。

根据所使用的立体3D观看设备，水平透视显示器继续显示左右眼图像，如上所述，直到它需要移动到下一个显示时间周期为止。这个情况何时发生，举例就是幼熊移动他的爪子或身体的任何部分。接着需要新的第二模拟图像来显示处于新位置的幼熊。幼熊的位置略微不同的新模拟图像，在新显示时间周期中呈现。这种通过不断增加显示时间生成多个视图的过程一直持续，只要水平透视显示器以立体3D方式生成实时模拟。

通过快速显示水平透视图像，可以实现运动的三维幻影。一般而言，一秒钟30到60幅图像将足够使眼睛感知运动。对于立体视法，重叠的图像需要同样的显示速度，时间顺序方法将需要两倍于那个数量。

显示速度是显示器用来完全生成和显示一幅图像的每秒图像数。这类似电影放映机以每秒24次显示图像。因此放映机显示一幅图像需要1/24秒。但是显示时间可以是变量，意味着根据视体的复杂程度，计算机将花费1/12或1/2秒来完成一幅图像的显示。由于显示器分开生成了同一图像的左右眼视图，因此总的显示时间是单眼图像的显示时间的两倍。

本发明还揭示了一种多平面显示器，它包括水平透视显示和非水平的中心透视显示。图12示出了本发明的多平面显示器的一个示例，其中多平面显示器是一种在打开时约呈“L”形的计算机监视器。如图12所示，终端用户在与“L”的底成大约45度的情况下从其凹侧观看L形计算机监视器。从终端用户的视点来看，整个L形计算机监视器看起来像是一个单独且无缝的观看表面。水平定位的L形显示器的底示出了水平透视图像，而L形显示器的另一个分支示出了中心透视图像。边是两个显示部分平滑连接的地方并且也可以具有曲线投影，以便连接水平透视和中心透视这两种显示。

多平面显示器可以由一个或多个实际的观看表面构成。例如，“L”的竖直腿可以是一个实际的观看表面(比如平板显示器)，而“L”的水平腿可以是单独的平板显示器。两个显示部分的边可以是非显示部分，因此这两个观看表面并不连续。多平面显示器的每一个腿都被称为观看平面，从图25左上方可以看到有一个竖直的观看面和水平的观看面，其中中心透视图像产生于竖直的平面上，而水平透视图像产生于水平面上，然后这两个图像在相遇的地方结合，像图12的右下方所示的那样。

图12还示出了多平面显示器能够产生多视图。这意味着，它能够显示单视图图像(即像左上方的模拟那样的单眼透视)和/或多视图图像(即像右下方的模拟那样的分离的右眼视图和左眼视图)。当L形计算机监视器不被终端用户使用时，它可以是关闭的并且看起来像左下方的模拟。

图13是本发明的多平面显示器的简化图。在图13的右上方，是被显示在L形计算机监视器上的幼熊的单视图图像的示例。通常，单视图或单眼图像都是仅用一个照相机点位产生的，但是像你所看到的那样至少有两个照相机点位用于该多平面显示器，尽管这是个单视图的示例。这是因为，多平面设备的每一个观看平面需要其自己的呈现透视。一个照相机点位用于水平透视图像，该图像显示在水平面上，而另一个照相机点位用于中心透视图像，该图像则被显示在竖直面上。

为了产生水平透视和中心透视图像，需要创建如图13所示的两个照相机视点(它们可以是相同的或不同的)，这两个照相机视点用于两个不同且分离的照相机点位OSI和CPI。L形监视器的竖直观看平面(如图13底部所示)是用于中心透视图像的显示表面，因此需要定义另一个用于该表面的共用基准面。如上所述，共用基准面是显示图像的平面，并且计算机需要保持对该平面的跟踪，以便使所显示的图像的位置和真实物理位置同步化。利用L形多平面设备和两个显示表面，上述模拟可以产生三维图像、使用(OSI)照相机视点的水平透视图像和使用(CPI)照相机视点的中心透视图像。

如图13底部所示，多平面显示系统可以进一步包括曲线连接显示部分，用来在“L”的接缝位置使水平透视图像和中心透视图像结合起来。多平面显示系统可以在L形多平面设备上连续地更新并显示看起来像是单个L形图像的东西。

此外，多平面显示系统可以包括多个显示表面和多个曲线结合部分，像图14所示那样。多个显示表面可以是平壁、多个相邻的平壁、穹顶和弯曲的环绕板。

本发明的多平面显示系统可以同时将多个三维图像投影到多个显示表面上，其一是水平透视图像。此外，它可以是立体多显示系统，从而允许观看者使用三维图像呈现的立体视觉。

因为多平面显示系统包括至少两个显示表面，所以需要解决各种要求来确保三维图像投影的高逼真度。这些显示要求通常是：几何精确度，以确保物体和图像特征被正确地定位；边匹配精确度，以确保各显示表面之间的连续性；没有结合变化，以确保在各显示表面的结合部分没有照度变化；以及视场，以确保来自观察者视点的连续图像。

因为多平面显示系统的结合部分最好是曲面，所以可以应用一些失真校正，以便使结合部分表面上所投影的图像对于观看者而言看起来正确。有各种解决方案可以为显示系统提供失真校正，比如：使用测试图案图像；针对特定的弯曲结合显示部分，设计图像投影系统；使用特殊的视频硬件；使用针对弯曲结合部分的分段线性近似。用于曲面投影的另一种失真校正解决方案是：针对观看者视点和投影仪的任何给定位置，自动地计算图像失真校正。

因为多平面显示系统包括不止一个显示表面，所以应该多加小心使得各个显示的边之间的接缝和间隙最小化。为了避免接缝或间隙问题，至少有两个图像发生器，用于产生图像的相邻重叠部分。重叠的图像是由图像处理器来计算的，以确保重叠区域的投影像素被调节成形成恰当的显示图像。其它解决方案是，控制重叠的强度减小度，以创建从一个显示表面的图像到下一个的平滑过渡。

为了真实的三维显示，还包括双声道立体声或三维音频模拟。本发明还提供用于调节双声道立体声或三维音频以确保恰当的声音模拟的装置。

与视觉相似，用一个耳朵来听被称为单耳的，用两个耳朵来听被称为双耳的。听觉可以提供：声源的方向，但其分辨率比视觉要差；声源的身份和内容，比如演讲或音乐；以及经回声、回响判断得到环境的本质，比如是普通的房间或开阔的原野。

头和耳朵(有时候也有肩膀)充当天线系统，以提供关于声源的位置、距离和环境的信息。大脑可以恰当地解释各种到达头部的声音，比如：直接的声音；头附近并和外耳、肩膀相互作用的衍射声音；不同的声音振幅；以及不同的声音到达时间。这些声音变形被称为“声音提示”并且用于向我们提供关于声音的方向声学信息。

基本上，声音提示涉及时间、音量、频率和反射。在时间提示中，耳朵识别出声音到达的时间，并假定声音来自最近的源。此外，在两个耳朵分开约8英寸的情况下，声音到达一个耳朵相对于另一个耳朵的延迟给出了关于声源位置的提示。考虑到收听者基于到达耳朵的第一个波来定位该声音而不管任何后到的波的响度这一事实，时间提示比等级提示要更强。在音量(或等级)提示中，耳朵识别出声音的音量(或响度)，并且假定声音来自最响的方向。在有双声道立体声(两个耳朵)效果的情况下，两耳之间的振幅差异是用于定位声源的有力提示。在频率(或均衡)提示中，两耳在声音到达每一个耳朵时识别该声音的频率平衡，因为前面的声音被引至耳膜，而后面的声音则从外耳处弹回并因此具有高频复制出。在反射提示中，声音从各种表面弹回，并在到达耳朵之前多次被不同程度地散射或吸收。这种房间墙壁的反射和各种地板覆盖物发出声音的方式之间的差异预知也对定位有贡献。另外，身体尤其是头可以相对于声源移动，以帮助定位该声音。

上面各种声音提示从科学角度被分类成三类空间听觉提示：耳间时间差(ITD)、耳间等级差(ILD)以及头部相关传递函数(HRTF)。ITD涉及声音到达耳朵的时间以及到达两耳的时间差。ILD涉及到达耳朵的声音频谱的振幅以及两耳所听到的声音频率的振幅差。根据音色和距离依赖性的变化、回声环境中直接声音和反射声音的时间延迟和方向，HRTF便可以提供距离感。

HRTF是针对特定收听者的一组空间提示，其中包括ITD、ILD以及反射、衍射和衰减，它们由收听者的身体、头、外耳和肩膀引起。外耳或耳廓(pinna)对HRTF有重要的贡献。更高频率的声音被耳廓过滤，以便为大脑提供一种感觉横向位置或方位角以及声源高度的方式，因为耳廓过滤的响应高度依赖于声源的整体方向。头可以解释各种声音频率的减小振幅，因为声音必须穿过头或在头周围以便达到耳朵。头遮蔽的整体效果对声源的线性距离和方向的感觉有贡献。此外，1-3kHz范围中的声音频率从肩膀反射，以产生用于表示时间延迟(该时间延迟依赖于声源的高度)的回声。世界中来自各个表面的反射以及回响看起来也影响声音距离和方向的定位判断。

除了这些提示以外，移动头来帮助定位声源位置是关键的因素，与视觉一起用来确定声音方向。对于三维浸没，所有用来定位声音的机构总是在起作用并且通常应该一致。如果不，则将有一些不舒服和混乱。

尽管我们可以用一个耳朵来听，但是用两个耳朵来听显然更好。许多声音提示都涉及双声道立体声感觉，这依赖于声音的相对大小以及声音到达每个耳朵的相对时间。双声道立体声性能显然可以很好地用于：定位单个或多个声源并形成房间环境；分离来自多个不相干和相干声源的信号；以及增强回响环境中的选定信号。

从数学上讲，HRTF是耳朵所接收的声波的频率响应。通过测量特定收听者的HRTF，并且通过用数字信号处理进行电子同步化，声音可以通过耳机或扬声器传递到收听者的耳朵以便创建三维虚拟声音图像。

通过使用耳道中的小麦克风，可以精确地测量到耳道的声音变换，即HRTF频率响应。然后，测得的信号由计算机来处理，以便获得与声源位置相对应的左右耳HRTF频率响应。

这样，通过将测得的HRTF用作音频滤波器或均衡器，三维音频系统便起作用了。当声音信号被HRTF滤波器处理时，声音定位提示被再现，并且收听者应该感觉到由HRTF指定位置处的声音。当收听者自己的HRTF被用于合成多个定位提示时，该双声道立体声合成方法极为有效。然而，测量HRTF是一个复杂的过程，所以三维音频系统通常使用先前从特定的人或人体模型处测得的单组HRTF。因此，有时候需要改变HRTF，以便精确地响应于特定的收听者。通过提供各种声源位置和环境并要求收听者识别，便可以实现HRTF功能的调谐。

三维音频系统应该使收听者能够：定义三维空间；定位多个声源和该三维空间中的这个收听者；以及实时地或互动地实现上述这些。除了三维音频系统以外，立体声延伸和环绕声音等其它技术可以提供某些方面的三维定位或互相作用。

通过直截了当的方法，扩展后的立体声处理现存的立体声(两个声道)音轨以添加宽敞度并使其看上去源自左/右扬声器位置以外。扩展立体声技术的一些特征包括：收听区域的大小(被称为最佳听音位置)；立体图像的扩展量；音调变化的量；损失的立体扫视信息量；以及在耳机和扬声器上实现效应的能力。

环绕声创建了比立体声更大的声音平台，该平台具有环绕声5-扬声器设置。另外，虚拟环绕声系统使用三维音频技术，以产生从普通的立体声扬声器组中发出的5个扬声器的幻觉，因此在不需要5个扬声器设置也能够体验环绕声收听。环绕声技术的特征包括：呈现精确度；空间成像的清晰度；以及收听区域的大小。

为了更佳的三维音频系统，音频技术需要通过复制真实世界中耳朵听到的三维音频提示，来创建像生活中的那种收听体验，以便允许在收听者周围三维空间中的任何地方进行非互动和互动的声音收听和定位。

头跟踪器功能也是非常重要的，可以向收听者提供感性房间恒定性。换句话说，当收听者移动他们的头时，信号将发生变化，使得所感觉到的听觉世界保持其空间位置。为此，模拟系统需要知道头的位置，以便能够精确地控制双声道立体声脉冲响应。因此提供头位置传感器。对于虚拟现实背景中的诸多应用，沉浸于其中的感觉特别重要。

通过在每一处放无穷多个麦克风，便可以产生声场的复制品。在被存储到具有无穷多个声道的录音机中之后，该记录可以通过无穷多个点源扬声器来回放，每一个点源扬声器像其相应的麦克风那样精确地放置。随着麦克风和扬声器数目的减小，被模拟的声场质量会变糟糕。到减小到两个声道的时候，高度提示肯定已经丢失了，不再有可从房间中任意位置听到的工作台，我们发现现在只有当我们沿着一条离最后两个剩余的扬声器等距的线路收听且面对着它们的时候，工作台上的源才可能被定位。

然而，仅有两个声道应该足够了，因为如果我们将模拟现场表演所必需的精确声音传递到每一个耳道的入口，则因为我们只有两个耳道，所以我们应该只需要产生两个这样的声场。换句话说，因为我们可以只用两个耳朵就听到真实三维世界，所以必然有可能只用两个扬声器或耳机组来实现相同的效果。

耳机再现因此与扬声器再现有区别，因为对于正常的耳朵间隔来说，耳机麦克风应该间隔约7英寸，而扬声器麦克风间隔应该约为7英尺。此外，扬声器会遭遇串扰，因此对于三维扬声器设置而言需要一些信号调节(比如串扰消除)。

扬声器三维音频系统在台式计算环境中极为有效。这是因为通常只有一个收听者(计算机用户)，他几乎总是位于扬声器之间的中心并面对着监视器。因此，主要的用户获得完全的三维效果，因为串扰恰好被消除了。在典型的三维音频应用中(比如视频游戏)，许多朋友可能会聚在一起观看。在这种情况下，当他们位于扬声器的中间时，他们也可以听到最佳的三维音频效果。偏离中间的收听者可能无法获得完全的效果，但是他们仍然听到具有某些空间增强的高品质立体声节目。

为实现三维音频，扬声器通常在大约同一水平面上围绕着收听者排列，但是也可以被排列成完全围绕着收听者，从天花板到地面到周围的墙壁。可选地，扬声器也可以被放在天花板上、地板上、排列在头顶上的穹顶结构中、或排列在竖直墙壁结构中。此外，可以使用波束发射的扬声器，以替代耳机。波束发射的扬声器提供针对收听者的移动自由度并且扬声器之间没有串扰，因为波束发射的扬声器提供密集的声波束。

通常，为了实现令人信服的三维音频体验，需要最少4个扬声器，而一些研究者在无回音室中使用20或更多的扬声器，以便重建具有更高精确度的声音环境。

多扬声器回放的主要优点在于：

-不依赖于单个主体的HRTF，因为声场是在不参照任何单个收听者的情况下创建的。

-主体可以自由移动它们的头，甚至在有限的范围内移动。

-在一些情况下，不止一个主体可以同时收听到该系统。

许多串扰消除器都基于高度简化的串扰模型，例如将串扰模型化成简单的延迟和衰减过程或延迟和低通滤波器。其它串扰消除器基于球形头模型。关于双声道立体声合成，串扰消除性能最终受限于人头大小和形状的不同。

三维音频模拟可以通过下面的步骤来实现：

-输入声学空间的各种特征。

-确定收听位置处声音到达的顺序。每一个声音到达将具有下面的特征：(a)到达时间，基于回声-路径所穿行的距离；(b)到达的方向；(c)声音的衰减(频率的函数)，因回声-路径所遭遇的各表面的吸收特性所致。

-计算包括多个声音到达的声学空间的脉冲响应。

-来自FIR滤波器的结果被回放到收听者。在用仿真头响应来计算脉冲响应的情况下，这些结果是通过耳机被播放给收听者的。在这种情况下，也应用特定耳机所必需的均衡。

声学环境的模拟包括一个或多个下面的功能：

-处理音频源输入并通过多个扬声器(或耳机)将其呈现给上述主体，意在使该声源看起来像是位于空间中特定的位置处。

-按每一个源都独立地位于主体周围的空间中这一方式，来处理多个输入音频源。

-增强处理，以便模拟室内声学的某些方面，使得用户可以以声学方式感测房间的大小以及地面和墙壁覆盖物的本性。

-能够让上述主体移动(或许在有限的范围中)并扭动他/她的头，以便将注意力集中到声源特征或室内声学的某些方面。

双声道立体声模拟通常用免受任何不想要的回声或噪声的声源材料来执行。然后，通过使用合适的HRTF滤波器，可以对某一主体重新播放声源材料，以产生源音频源自特定方向的幻觉。通过简单地用HRTF响应对来缠绕音频信号，来实现HRTF滤波(一个HRTF滤波器对应于耳机的一个声道)。

眼睛和耳朵通常同时观察到某一事件。看到门闭合且听到关门声若同时发生，则被解释成一个事件。如果我们看到门关闭却没有声音，或者看到门在我们前面关闭却听到左边有关门声，则我们获得警告并且很困惑。在另一个场景中，我们可能听到在我们前面的声音，并看到带有一个角落的走廊，音频和视频提示的组合允许我们想出可能有一个人站在那个角落。同步的三维音频和三维视觉提示提供了一种非常强烈的沉浸于其中的体验。通过这种同步化，三维音频和三维图形系统都可以得到显著增强。

通过使用头跟踪，可以实现通过耳机的改进回放。该技术利用对某一主体的头的方向进行连续测量，并且调整音频信号使其被恰当地馈入耳机。双声道立体声信号应该允许主体很容易区分左右声源位置，但是通常只有允许头部移动才能够区分前后和高低声源。同时多扬声器回放方法在很大程度上解决了这个问题，仍然有许多偏好使用耳机回放的应用，并且头部跟踪可被用作一种用于改善三维回放质量的宝贵工具。

头部跟踪双声道立体声系统的最简单形式是这样一个系统，它简单地模拟无回声HRTF并且响应于主体头部移动而迅速地改变HRTF函数。该HRTF切换可以通过查询表格来实现，其中插值被用于解决HRTF表格中未呈现的角度。

在具有头部跟踪的耳机中模拟室内声学变得更困难了，因为在使所得的声音很逼真的过程中，早期反射的到达方向也很重要。许多研究者相信，房间响应的回响尾部中的回声通常是散开的，使得不要求用该主体的头部移动来跟踪这部分房间响应。

任何头部跟踪回放系统的重要特征是，从主体头部移动到耳机处音频响应变化的延迟。如果该延迟过量，则该主体会体验到某种形式的虚拟移动恶心和一般的迷向。

当收听者倾斜或旋转其头部时，音频提示会急剧变化。例如，迅速将头部扭转90度以朝着侧面看这一行为等价于声音瞬间从收听者侧面前进到其前面。我们经常使用头部移动来跟踪声音或搜索声音。耳朵提醒大脑在眼睛目前关注的区域以外发生了一个事件，并且我们自动地转向以重新改变我们的注意力。另外，我们使用头部移动来解决模糊性：微弱低沉的声音可能在我们前面或后面，所以我们迅速且下意识地向左转一点头，并且我们知道如果现在该声音偏右，则该声音在前方，否则就在后方。交互式音频比预先记录的音频(音轨)更显真实的原因之一是，收听者头部移动可以在交互式系统中被恰当地模拟(通过使用来自操纵杆、鼠标、或头部跟踪系统的输入)。

HRTF功能是用数字信号处理(DSP)硬件来执行的，以便实时执行。DSP的典型特征是：直接的声音必须被处理，以便给出正确的振幅和感觉到的方向；早期的回声必须以合适的时间、振幅和频率响应到达收听者处，以便给出空间大小的感觉(以及房间表面的声学本性)；以及后来的回响必须是自然的并且以三维的方式正确分布在收听者周围。和房间响应的其余部分相比，直接的声音的相对振幅帮助提供距离感。

因此，三维音频模拟可以提供双声道立体声增益，使得完全一样的音频内容在双声道立体声的情况下更可听且更可理解，因为大脑可以局部化到某一部分并因此“选出”双声道立体声信号，同时非双声道立体声信号被淹没在噪声中。此外，收听者将仍然能够调谐到并理解单个对话，因为它们仍然是空间分离的，并且被双声道立体声增益“放大”，这是一种被称为鸡尾酒会效应的效应。双声道立体声模拟也可以提供更快的反应时间，因为这种信号反映了在真实世界中接收到的那些。另外，双声道立体声信号可以传递位置信息：双声道立体声雷达警报声可以警告用户某一特定的物体正在靠近(具有一种针对该物体的独特声音)，并且自然地指示该物体从哪儿来。此外，听双声道立体声模拟可以不怎么疲劳，因为我们已经习惯了听源自头部以外的声音，就像具有双声道立体声信号的情况那样。当使用耳机时，单信号或立体信号看起来像是来自收听者头内部，并且产生比自然声音、双声道立体声信号更多的疲劳。最后，在视觉和双声道立体声同步显示的时候，三维双声道立体声模拟可以提供增强的感觉并沉浸于更高品质的三维环境中。

Claims (80)

1.一种水平透视显示系统，包括：

第一显示器，它根据预定的投影视点来显示水平透视图像；以及

第二显示器，被定位成与所述第一显示器成一定角度。

2.如权利要求1所述的显示系统，其特征在于，所述第二显示器显示二维图像或中心透视图像。

3.如权利要求1所述的显示系统，还包括第三曲线显示器，用于使所述第一和第二显示器结合起来。

4.如权利要求1所述的显示系统，还包括

视点输入设备，用于接受输入视点位置，其中通过将输入视点用作所述投影视点便可以调节水平透视图像。

5.如权利要求4所述的显示系统，其特征在于，所述视点输入设备是手动输入设备，由此所述视点输入位置是手动输入的。

6.如权利要求4所述的显示系统，其特征在于，所述视点输入设备是自动输入设备，由此所述自动输入设备自动地从观看者那里提取视点位置。

7.一种水平透视显示系统，包括

第一实时显示器，它根据预定的投影视点来显示水平透视图像；

第二显示器，被定位成与所述第一显示器成一定角度；

视点输入设备，用于接受输入视点位置；以及

计算机系统，用于接收来自所述视点输入设备的输入视点位置，根据所述输入视点位置来计算水平透视投影图像，并且将这些图像输出到所述第一显示器；

其中通过将输入视点用作所述投影视点便实时调节所述被显示的图像。

8.如权利要求7所述的显示系统，其特征在于，所述视点输入设备是手动输入设备，由此所述视点输入位置是手动输入的。

9.如权利要求7所述的显示系统，其特征在于，所述手动输入设备是计算机外围设备或无线计算机外围设备。

10.如权利要求7所述的显示系统，其特征在于，所述手动输入设备选自：键盘，输入笔，小键盘，计算机鼠标，计算机跟踪球，输入板，指点设备。

11.如权利要求7所述的显示系统，其特征在于，所述视点输入设备是自动输入设备，由此所述自动输入设备自动地从观看者那里提取视点位置。

12.如权利要求11所述的显示系统，其特征在于，所述自动输入设备选自：射频跟踪设备，红外线跟踪设备，照相机跟踪设备。

13.如权利要求7所述的显示系统，还包括第三曲线显示器，用于使第一和第二显示器结合起来。

14.如权利要求7所述的显示系统，其特征在于，所述水平透视图像是立体图像。

15.如权利要求7所述的显示系统，其特征在于，所述被显示的图像被连续地更新，以形成运动图像。

16.如权利要求7所述的显示系统，还包括

图像输入设备，用于接受图像命令；

其中所述计算机系统还接受来自所述图像输入设备的图像命令，并且在向所述第一显示器输出图像之前，先根据图像命令，通过将输入视点位置用作投影视点，来计算水平透视投影图像。

17.如权利要求16所述的显示系统，其特征在于，所述图像命令包括图像放大、图像移动、图像旋转命令以及显示另一个预定图像的命令。

18.一种水平透视显示系统，包括

第一实时显示器，它根据预定的投影视点来显示水平透视图像；

第二显示器，被定位成与所述第一显示器成一定角度；

第三曲线显示器，用于使所述第一和第二显示器结合起来；

视点输入设备，用于接受输入视点位置；以及

计算机系统，用于接收来自所述视点输入设备的输入视点位置，根据所述输入视点位置来计算水平透视投影图像，并且向所述第一显示器输出这些图像；

其中通过将输入视点用作投影视点，来实时调节所显示的图像。

19.如权利要求18所述的显示系统，还包括

图像输入设备，用于接受图像命令；

其中所述计算机系统还接受来自所述图像输入设备的图像命令，并且在向所述第一显示器输出图像之前，先根据图像命令，通过将输入视点位置用作投影视点，来计算水平透视投影图像。

20.如权利要求19所述的显示系统，其特征在于，所述图像命令包括图像放大、图像移动、图像旋转命令以及显示另一个预定图像的命令。

21.一种通过水平透视投影进行图像显示的方法，所述水平透视投影包括根据预定的投影视点来显示水平透视图像，所述方法包括如下步骤：

将第一图像显示到第一显示器上；

检测观看者的视点位置；以及

通过将检测到的视点位置用作投影视点，将第二水平透视图像显示到第二水平透视显示器上。

22.如权利要求21所述的方法，其特征在于，检测观看者视点位置的步骤是通过手动输入设备来手动输入所述位置。

23.如权利要求21所述的方法，其特征在于，观看者视点位置的检测是通过自动输入设备进行的，由此所述自动输入设备自动地从观看者那里提取视点位置。

24.如权利要求21所述的方法，还包括操纵所述图像的步骤。

25.如权利要求21所述的方法，还包括如下步骤：在显示所述图像之前，通过将检测到的视点位置用作投影视点，来计算水平透视图像。

26.一种通过水平透视投影进行图像显示的方法，所述水平透视投影包括根据预定的投影视点来显示水平透视图像，所述方法包括如下步骤：

将第一图像显示到第一显示器上；

检测观看者的视点位置；以及

通过将检测到的视点位置用作投影视点，将第二水平透视图像显示到第二水平透视显示器上；以及

将第三图像显示到第三曲线显示器上，所述曲线显示器用于使所述第一图像和所述第二图像结合起来。

27.如权利要求26所述的方法，还包括如下步骤：在显示所述图像之前，通过将检测到的视点位置用作投影视点，来计算水平透视图像。

28.如权利要求26所述的方法，还包括如下步骤：在显示之前，通过将检测到的视点位置用作投影视点，来计算所述第三图像。

29.一种通过水平透视投影进行图像显示的方法，所述水平透视投影包括根据预定的投影视点来显示水平透视图像，所述方法包括如下步骤：

将第一图像显示到第一显示器上；

连续扫描，以便检测观看者的视点位置；

通过将检测到的视点位置用作投影视点，来计算第二水平透视图像；以及

将所述第二图像显示到第二水平透视显示器上。

30.如权利要求29所述的方法，还包括将第三图像显示到第三曲线显示器上的步骤，所述曲线显示器用于使所述第一显示器和所述第二显示器结合起来。

31.如权利要求30所述的方法，还包括如下步骤：在显示之前，通过将所述视点位置用作投影视点，来计算所述第三图像。

32.如权利要求29所述的方法，其特征在于，所述水平透视图像是立体图像。

33.如权利要求29所述的方法，其特征在于，检测观看者视点位置是通过手动输入设备手动输入所述位置。

34.如权利要求33所述的方法，其特征在于，所述手动输入设备是计算机外围设备或无线计算机外围设备。

35.如权利要求33所述的方法，其特征在于，所述手动输入设备选自：键盘，输入笔，小键盘，计算机鼠标，计算机跟踪球，输入板，指点设备。

36.如权利要求29所述的方法，其特征在于，观看者视点位置的检测是通过自动输入设备进行的，由此所述自动输入设备自动地从观看者那里提取视点位置。

37.如权利要求36所述的方法，其特征在于，所述自动输入设备选自：射频跟踪设备，红外线跟踪设备，照相机跟踪设备。

38.如权利要求29所述的方法，还包括操纵所述图像的步骤。

39.如权利要求29所述的方法，其特征在于，所述图像操纵包括：修改所显示的图像，或生成新的图像。

40.如权利要求29所述的方法，其特征在于，修改所显示的图像包括：图像移动，图像缩放，或图像旋转。

41.一种水平透视显示系统，包括

第一实时显示器，它根据预定的投影视点来显示水平透视图像；以及

三维音频模拟系统，它向预定的投影听觉点(earpoint)提供三维声音，所述三维声音对应于所述水平透视图像。

42.一种水平透视显示系统，包括

第一实时显示器，它根据预定的投影视点来显示水平透视图像；

视点输入设备，用于接受输入视点位置，其中通过将所述输入视点用作投影视点便可以调节所显示的图像；以及

三维音频模拟系统，它向预定的投影听觉点提供三维声音，所述三维声音对应于所述水平透视图像。

43.如权利要求42所述的显示系统，其特征在于，所述视点输入设备进一步充当听觉点输入设备，用于接受输入听觉点位置，其中通过将输入听觉点用作投影听觉点便可以调节三维声音。

44.如权利要求42所述的显示系统，其特征在于，所述三维音频模拟系统包括两个声道和一个HRTF(头部相关传递函数)滤波器。

45.如权利要求42所述的显示系统，其特征在于，所述三维音频模拟系统包括三维扬声器音频系统或三维耳机音频系统。

46.如权利要求42所述的显示系统，还包括计算机系统，用于接收来自视点输入设备的输入视点位置，根据所述输入视点位置来计算水平透视投影图像，并且将这些图像输出给所述显示器，其中通过将输入视点用作投影视点来实时调节所显示的图像。

47.如权利要求43所述的显示系统，还包括计算机系统，用于接收来自所述视点输入设备的输入视点位置，

根据所述输入视点位置来计算水平透视投影图像，并将这些图像输出给所述显示器，其中通过将输入视点用作投影视点来实时调节所显示的图像；以及

根据所述输入视点位置来计算三维声音，并且输出所述三维声音，其中通过将输入视点用作投影听觉点来实时调节三维声音。

48.如权利要求42所述的显示系统，其特征在于，所述视点输入设备是手动输入设备，由此所述视点输入位置被手动输入。

49.如权利要求43所述的显示系统，其特征在于，所述视点输入设备手动输入设备，由此视点和听觉点输入位置都是手动输入的。

50.如权利要求48或49所述的显示系统，其特征在于，所述手动输入设备是计算机外围设备或无线计算机外围设备。

51.如权利要求48或49所述的显示系统，其特征在于，所述手动输入设备选自：键盘，输入笔，小键盘，计算机鼠标，计算机跟踪球，输入板，指点设备。

52.如权利要求42所述的显示系统，其特征在于，所述视点输入设备是自动输入设备，由此所述自动输入设备自动地从观看者那里提取视点位置。

53.如权利要求43所述的显示系统，其特征在于，所述视点输入设备是自动输入设备，由此所述自动输入设备自动地从观看者那里提取视点和听觉点位置。

54.如权利要求52或53所述的显示系统，其特征在于，所述自动输入设备选自：射频跟踪设备，红外线跟踪设备，照相机跟踪设备。

55.如权利要求42所述的显示系统，还包括

图像输入设备，用于接受图像命令；

其中所述计算机系统还接受来自所述图像输入设备的图像命令，并且在向所述显示器输出图像之前，先根据图像命令，通过将输入视点位置用作投影视点，来计算水平透视投影图像。

56.如权利要求55所述的显示系统，其特征在于，所述图像命令包括图像放大、图像移动、图像旋转命令以及显示另一个预定图像的命令。

57.如权利要求42所述的显示系统，还包括

第二显示器，被定位成与所述第一显示器成一定角度。

58.如权利要求57所述的显示系统，还包括第三曲线显示器，用于使所述第一和第二显示器结合起来。

59.一种水平透视显示系统，包括

第一实时显示器，它根据预定的投影视点来显示水平透视图像；

三维音频模拟系统，用于向预定的投影听觉点提供三维声音，所述三维声音对应于所述水平透视图像；以及

听觉点输入设备，用于接受输入听觉点位置，其中通过将输入听觉点用作投影听觉点便可以调节所述三维声音。

60.如权利要求59所述的显示系统，其特征在于，所述听觉点输入设备进一步充当视点输入设备，用于接受输入视点位置，其中通过将输入视点用作投影视点便可以调节所述显示图像。

61.一种水平透视显示系统，包括：

第一实时显示器，它根据预定的投影视点来显示水平透视图像；以及

三维音频模拟系统，用于向预定的投影听觉点提供三维声音，所述三维声音对应于所述水平透视图像。

62.一种水平透视显示系统，包括：

第一实时显示器，它根据预定的投影视点来显示水平透视图像；

视点输入设备，用于接受输入视点位置，其中通过将输入视点用作投影视点便可以调节所显示的图像；以及

三维音频模拟系统，用于向预定的投影听觉点提供三维声音，所述三维声音对应于所述水平透视图像。

63.如权利要求62所述的显示系统，其特征在于，所述视点输入设备进一步充当听觉点输入设备，用于接受输入听觉点位置，其中通过将输入听觉点用作投影听觉点便可以调节所述三维声音。

64.如权利要求62所述的显示系统，其特征在于，所述三维音频模拟系统包括两个声道和一个HRTF(头部相关传递函数)滤波器。

65.如权利要求62所述的显示系统，其特征在于，所述三维音频模拟系统包括三维扬声器音频系统或三维耳机音频系统。

66.如权利要求62所述的显示系统，还包括计算机系统，用于接收来自视点输入设备的输入视点位置，根据所述输入视点位置来计算水平透视投影图像，并且将这些图像输出给所述显示器，其中通过将输入视点用作投影视点来实时调节所显示的图像。

67.如权利要求63所述的显示系统，还包括计算机系统，用于接收来自所述视点输入设备的输入视点位置，

根据所述输入视点位置来计算水平透视投影图像，并将这些图像输出给所述显示器，其中通过将输入视点用作投影视点来实时调节所显示的图像；以及

根据所述输入视点位置来计算所述三维声音，并且输出所述三维声音，其中通过将输入视点用作投影听觉点来实时调节所述三维声音。

68.如权利要求62所述的显示系统，其特征在于，所述视点输入设备是手动输入设备，由此视点输入位置是手动输入的。

69.如权利要求63所述的显示系统，其特征在于，所述视点输入设备是手动输入设备，由此视点和听觉点输入位置是手动输入的。

70.如权利要求68或69所述的显示系统，其特征在于，所述手动输入设备是计算机外围设备或无线计算机外围设备。

71.如权利要求68或69所述的显示系统，其特征在于，所述手动输入设备选自：键盘，输入笔，小键盘，计算机鼠标，计算机跟踪球，输入板，指点设备。

72.如权利要求62所述的显示系统，其特征在于，所述视点输入设备是自动输入设备，由此所述自动输入设备自动地从观看者那里提取视点位置。

73.如权利要求63所述的显示系统，其特征在于，所述视点输入设备是自动输入设备，由此所述自动输入设备自动地从观看者那里提取视点和听觉点位置。

74.如权利要求72或73所述的显示系统，其特征在于，所述自动输入设备选自：射频跟踪设备，红外线跟踪设备，照相机跟踪设备。

75.如权利要求62所述的显示系统，还包括

图像输入设备，用于接受图像命令；

其中所述计算机系统还接受来自所述图像输入设备的图像命令，并且在向所述显示器输出图像之前，先根据图像命令，通过将输入视点位置用作投影视点，来计算水平透视投影图像。

76.如权利要求75所述的显示系统，其特征在于，所述图像命令包括图像放大、图像移动、图像旋转命令以及显示另一个预定图像的命令。

77.如权利要求62所述的显示系统，还包括

第二显示器，被定位成与所述第一显示器成一定角度。

78.如权利要求77所述的显示系统，还包括第三曲线显示器，用于使所述第一和第二显示器结合起来。

79.一种水平透视显示系统，包括

第一实时显示器，它根据预定的投影视点来显示水平透视图像；

三维音频模拟系统，用于向预定的投影听觉点提供三维声音，所述三维声音对应于所述水平透视图像；以及

听觉点输入设备，用于接受输入听觉点位置，其中通过将输入听觉点用作投影听觉点便可以调节所述三维声音。

80.如权利要求79所述的显示系统，其特征在于，所述听觉点输入设备进一步充当视点输入设备，用于接受输入视点位置，其中通过将输入视点用作投影视点便可以调节显示图像。

Images