CN101002253A - 水平透视模拟器 - Google Patents

Abstract

本发明的实练模拟器系统揭示了一种三维显示系统，包括三维水平透视显示器和三维音频系统(比如双声道立体声模拟)，从而赋予三维显示真实性。该三维显示系统可进一步包括第二显示器，它与曲线结合显示部分一起用来合并各个图像。通过根据观看者的视点和听觉点来调节各种图像和三维声音，多平面的显示表面便可适应观看者。本发明的实练模拟器系统可将水平透视图像投影到开放空间中，而外围设备允许终端用户用手或手持式工具来操纵这些图像。

Description

水平透视模拟器

本申请要求对下列申请的优先权：2004年6月1日提交、序列号为60/576,187、题为“Multi plane horizontal perspectivedisplay(多平面水平透视显示器)”的美国临时申请；2004年6月1日提交、序列号为60/576,189、题为“Multi plane horizontal perspective hand on simulator(多平面水平透视实练模拟器)”的美国临时申请；2004年6月1日提交、序列号为60/576,182、题为“Binauralhorizontal perspective display(双声道水平透视显示器)”的美国临时申请；以及2004年6月1日提交、序列号为60/576,181、题为“Binaural horizontalperspective hand on simulator(双声道水平透视实练模拟器)”的美国临时申请，这些申请引用在此作为参考。

技术领域

本发明涉及三维模拟器系统，尤其涉及一种能够与操作人员交互的实练计算机模拟器系统。

背景技术

有三维(3D)能力的电子设备和计算硬件设备、以及计算机实时生成三维计算机图形学在过去几十年中都是计算机科学的热门领域，其中视觉、听觉及触觉系统等方面均有创新。此领域的许多研究工作已经产生了许多硬件和软件产品，这些产品特别设计成产生更真实和更自然的人机界面。这些创新显著增强并简化了终端用户的计算体验。

自从人们开始通过图片进行通讯，他们就面临着如何精确表现他们所生存的三维世界这一难题。雕塑被用于成功地描绘三维物体，但并不足以传达出物体与物体之间及环境中的各种空间关系。为此，人们曾试图将他们所看见的周遭情景“展平”到二维垂直面上(例如：绘画、素描、织锦等)。一个人竖直站立且其周围有树木环绕的场景已被相对成功地呈现到垂直面上。但是，如何描绘从艺术家所站立的位置水平向外延伸到目之所及的地面景色呢？

答案就是三维幻觉。二维图片必须向大脑提供许多关于第三维度的提示，以便产生三维图像的幻觉。这种第三维度提示的效果因大脑对此已相当习惯这一事实而在现实中是可以实现的。三维真实世界总是并且也已经转换成视网膜上的二维(例如：高度和宽度)投影图像，视网膜即眼睛后部的凹面。并且大脑根据经验和感觉从这种二维图像中生成深度信息，以便根据下面两类深度提示来形成三维可视图像：单眼(一眼感觉)和双眼(双眼感觉)。通常，双眼深度提示是先天的且与生物学有关的，而单眼深度提示则是学会的且与环境有关的。

主要的双眼深度提示是会聚和视网膜像差。大脑测量眼睛的会聚量以便对距离进行粗率估计，因为当物体越近时各个眼睛的视线之间的角度就越大。因两眼分开而导致的视网膜图像差异被用来产生关于深度的感觉。这种效果被称为立体观察，其中各个眼睛接收到景象略有不同的视图，并且大脑将它们组合起来，利用这些差异来确定附近物体之间距离的比率。

双眼提示在深度感觉上非常有用。然而，也有只用一只眼睛的深度提示，称为单眼深度提示，可用于在平面图像上产生深度印象。主要的单眼提示是：重叠、相对大小、线性透视、以及光与影。当所观看的物体被部分覆盖时，这种模式的遮盖作为一种提示，以确定该物体离得更远。当已知两个物体大小相同且一个看上去比另一个更小时，这种模式的相对大小作为一种提示，以假定较小的物体离得更远。相对大小的提示还为线性透视的提示提供基础，其中线条离观察者越远，它们就显得越靠近，因为透视图中的平行线看上去朝着单个点会聚。从某一角度射向物体的光线可为物体的形式和深度提供提示。光与影在多个物体上的分布是一种很有用的单眼提示，这是由生物学上正确的假设(光线来自上方)所提供的。

透视图与相对大小一起，最常用于在纸或画布等(二维)平面上实现三维深度和空间关系的幻觉。通过透视，三维物体被描绘在二维平面上，但却“欺骗”眼睛使得看起来像是在三维空间中。早在十五世纪初，建筑师Leone BattistaAlberti首次发表了第一本用于构造透视理论的论文集“Depictura”。自从他的书问世以来，迄今已经有大量的文献涉及“一般的”透视背后的诸多细节。然而，存在许多其它类型的透视这一事实并不广为人知。图1上部示出了一些示例，其中有军用的、斜等轴测图的、等角的和正二轴测的。

令人特别感兴趣的是最常用的透视类型，称为中心透视，如图1左下方所示。中心透视(亦称一点透视)是最简单的一类“真正的”透视结构，并且常在艺术和绘画课中被教授给初学者。图2进一步示出了中心透视。通过使用中心透视，棋盘和棋子看上去像是三维物体，尽管它们是被绘制在二维的平面纸张上。中心透视具有中心消失点，并且将矩形物体放置成使它们前面的边平行于图片平面。物体的深度垂直于图片平面。所有平行向后的边缘都向中心消失点延伸。观看者朝着消失点直视。当建筑师或艺术家用中心透视来绘图时，他们必须用单眼观看。即，绘画的艺术家仅通过与图表面相垂直的一只眼睛观看，来捕获图像。

包括中心透视图在内的绝大多数图像都是在与视线相垂直的平面上进行显示、观看和捕获的。从非90°的角度观看图像将导致图像失真，意味着当观看面并不垂直于视线时，正方形会被看成长方形。

中心透视广泛用于3D计算机图形学中的各种应用，比如科学应用、数据可视化、计算机生成的原型制作、电影特效、医学成像以及建筑(这里所罗列的只有很少一些)。最常见且最广为人知的3D计算机应用之一就是3D游戏，本文以3D游戏作为示例，因为3D游戏中所用到的核心概念延伸到所有其它的3D计算应用中。

图3是一个简单的示例，旨在通过罗列出在3D软件应用程序中实现高度真实感所必需的几个基本部分来设置场景。在其最高层，3D游戏开发包括四个基本的部分：

1、设计：游戏故事情节的创作以及游戏运行

2、内容：游戏运行期间栩栩如生的各种物体(人物，景色等)

3、人工智能(AI)：与游戏运行期间的内容进行交互的各项控制

4、计算机实时生成3D图形引擎(3D图形引擎)：管理设计、内容和AI数据。决定绘制什么以及如何绘制，然后将它呈现(显示)在计算机显示器上。

一个使用3D应用程序(如一个游戏)的人事实上就是在运行形式为实时计算机生成3D图形引擎的软件。引擎的关键组件之一就是呈现器。它的工作就是选取计算机生成的完全坐标x、y、z内所存在的3D物体，并将他们呈现(绘制/显示)在计算机监视器的视图表面上，该视图表面是一个(2维)平面且具有实际完全坐标x、y。

图4描绘了当运行3D图形引擎时计算机内部所发生的情况。在每一个3D游戏中都存在一个计算机生成的3D“世界”。这个世界包括游戏运行期间可能经历的一切。它同样使用笛卡尔坐标系，这意味着它具有三个空间维度x、y、z。这三个维度被称为“虚拟完全坐标”。典型3D游戏的运行可能始于计算机生成的3D地球和计算机生成的3D环地人造卫星。虚拟完全坐标系使地球和人造卫星能正确地定位于计算机生成的x、y、z空间。

当它们随时间而移动时，人造卫星和地球必须恰当地保持同步。为此，3D图形引擎针对计算机生成时间t产生第四通用维度(universal dimension)。随着时间t的每一次嘀嗒，3D图形引擎在新位置和方向上重新生成人造卫星，好像它绕着自转的地球环行。因此，3D图形引擎的关键工作是，在所有四个计算机生成的维度x、y、z、t中持续地同步并再现所有的3D物体。

图5是当终端用户使用(即运行)第一人称3D应用程序时计算机内部所发生的情况的概念图。第一人称指的是计算机监视器很像一个窗口，游戏玩家通过该窗口观看计算机生成的世界。为了生成这样的视图，3D图形引擎从计算机生成的人物的眼睛这一视点来呈现场景。计算机生成的人物可被设想为实际玩游戏的“真”人的计算机生成模拟或“虚拟”模拟。

在运行3D应用程序时，真人即终端用户在任一给定的时间都只观看到整个3D世界的一小部分。这样做是因为在典型的3D应用程序中生成数量太多的3D物体对计算机硬件来说计算成本很高，而终端用户当前并不会关注这些3D物体中的大部分。因此3D图形引擎的一个重要工作就是，通过在计算机生成时间t的每一次嘀嗒中绘制/呈现尽可能少但又绝对必要的信息，来使得计算机硬件的计算负担最小。

图5中的框内区域从概念上表示了3D图形引擎如何使硬件负担最小。它将计算资源集中在与3D应用程序的整个世界相比极其微小的区域。在本示例中，它是一个“计算机生成”的年幼的北极熊，正在被“计算机生成”的虚拟人观察。因为终端用户以第一人称运行，所以计算机生成的人物所看到的一切都被呈现到终端用户的监视器上，即终端用户正通过计算机生成的人物的眼睛来进行观看。

在图5中，计算机生成的人物正在只用一只眼睛观看；换句话说，是单眼观看。这是因为3D图形引擎的呈现器使用中心透视将3D物体绘制/呈现到2D表面上，该过程要求仅通过一只眼睛来进行观看。由计算机生成的人物用单眼观看所看到的区域被称为“视体”，而该视体内的各种计算机生成3D物体才是事实上被呈现到计算机监视器的2D观看表面上的东西。

图6更详细地示出了视体。视体是“照相机模型”的子集。照相机模型是一种用于定义3D图形引擎的软硬件特性的蓝图。3D图形引擎就像一台非常复杂和精密的汽车引擎，它包括太多的部件以至于它们的照相机模型常被简化成仅仅示出所参照的必要元件。

图6中的照相机模型示出了一种3D图形引擎，该引擎使用中心透视将计算机生成的3D物体呈现到计算机监视器的垂直2D视图表面上。图6所示的视体尽管更为详细，但与图5所示的视体是相同的。唯一的差别在于语义，因为3D图形引擎将计算机生成的人物的单眼观看称为照相机点(照相机模型)。

照相机模型的每个组件被称为“元件”。在我们简化后的照相机模型中，被称为近裁剪平面的元件是二维平面，在该二维平面上将呈现视体内部3D物体的x、y、z坐标。每条投影线从照相机点开始，到视体内部虚拟3D物体的x、y、z坐标点结束。3D图形引擎随后确定投影线在何处与近裁剪平面相交，并且将相交处的x和y点呈现到近裁剪平面上。一旦3D图形引擎的呈现器完成所有必需的数学投影，则近裁剪平面就被显示在计算机监视器的2D视图表面上，如图6所示。

现有技术的3D计算机图形学的基础是中心透视投影。3D中心透视投影尽管提供了真实的3D幻觉，但在允许用户与三维显示器进行实练操作交互方面仍具有某些限制。

有一类人们所知甚少的图像被我们称为“水平透视”，其中图像在正面观看时会显得失真，但从正确的观看位置观看时就可以显示三维幻觉。在水平透视中，视图表面和视线之间的角度最好是45度，但也可以是几乎任何角度，而视图表面最好是水平的(名为“水平透视”)但也可以是任何平面，只要视线与之形成一个非垂直的角度即可。

水平透视图像提供真实的三维幻觉但却鲜为人知的主要原因在于：较窄的观看位置(观看者的视点必须与图像投影视点精确地重合)；以及将二维图像或三维模型投影成水平透视图像所涉及的复杂性。

与常规的垂直图像相比，产生水平透视图像需要更多的专门知识。常规的垂直图像可从观看者或照相机点直接产生。观看者只需睁开眼睛或使照相机朝向任何方向就可获取图像。此外，有了从垂直图像中观看三维深度提示的许多经验，观看者就可忍受因偏离照相机点而产生的显著失真。相反，创建水平透视图像则需要许多操作。常规的照相机通过将图像投影到与视线相垂直的平面上不会产生水平透视图像。制作水平绘图需要很多的努力且非常耗时。此外，因为人们对水平透视图像的经验很有限，所以观看者的眼睛必须精确地定位在投影视点处以避免图像失真。因此面对诸多困难的水平透视很少受人关注。

对于逼真的三维模拟而言，双声道立体声或三维音频模拟也是需要的。

发明内容

本发明认识到，个人计算机特别适于水平透视显示。它是个人的，因此设计用于单人操作，而计算机因其强大的微处理器非常适合向观看者呈现各种水平透视图像。此外，水平透视提供3D图像的开放空间显示，因而允许终端用户的实练交互。

因此本发明揭示了一种多平面实际训练模拟器系统，其中包括至少两个显示表面，其一用于显示三维水平透视图像。其它显示表面可显示二维图像，或者最好显示三维中心透视图像。此外，这些显示表面可具有曲线结合显示部分以合并各种图像。多平面实际训练模拟器可包括不同的照相机视点，一个视点用于水平透视图像，一个视点用于中心透视图像，并且选择性地还有一个视点用于曲线结合显示表面。多平面显示表面还可调节各种图像以便适应观看者的位置。通过改变所显示的图像以使水平透视和中心透视图像的照相机视点保持在与观看者的视点一样的位置，观看者的眼睛总是位于合适的观察位置以便观察三维幻像，从而使观察者的不适感和失真最小化。该显示器可接受手动输入(比如计算机鼠标、跟踪球、操纵杆、输入板等)以重新定位水平透视图像。该显示器还可基于自动提供观看者视点位置的输入设备来自动地重新定位图像。该多平面实际训练模拟器系统可将水平透视图像投影到开放空间和外围设备中，它们允许终端用户用手或手持式工具来操纵图像。

此外，该显示器还包括像双声道立体声模拟这样的三维音频，以便赋予三维显示真实性。

附图说明

图1示出了各种透视图。

图2示出了典型的中心透视图。

图3示出了三维软件应用程序。

图4示出了运行于PC上的三维应用程序。

图5示出了第一个人称的三维应用。

图6示出了中心透视照相机模型。

图7示出了中心透视(图像A)和水平透视(图像B)的对比。

图8示出了三个堆叠块的中心透视图。

图9示出了三个堆叠块的水平透视图。

图10示出了绘制水平透视图的方法。

图11示出了水平透视显示器和观看者输入设备。

图12示出了水平透视显示器、计算设备和观看者输入设备。

图13示出了计算机监视器。

图14示出了监视器的荧光层，指示了图像的不正确位置。

图1 5示出了监视器的视图平面，指示了图像的正确位置。

图16示出了基准面x、y、z坐标。

图17示出了有一定角度的照相机点的位置。

图18示出了水平面到基准面的映射。

图19示出了舒适面。

图20示出了实练体积。

图21示出了内平面。

图22示出了底面。

图23示出了内部访问体积。

图24示出了被映射到终端用户眼睛中的有一定角度的照相机。

图25示出了三维物体到水平面上的映射。

图26示出了双眼观看。

图27示出了水平透视的模拟时间。

图28示出了水平面。

图29示出了三维外围设备。

图30示出了开放访问照相机模型。

图31示出了物体识别的概念。

图32示出了与物体识别相结合的三维音频。

图33示出了另一个开放访问照相机模型。

图34示出了又一个开放访问照相机模型。

图35示出了到工具尖端的虚拟连接的映射。

图36示出了多平面和多视图设备。

图37示出了开放访问照相机模型。

图38示出了另一个多平面设备。

具体实施方式

本文所描述的各个新颖且独特的发明建立在现有技术之上，可使计算机实时生成的三维计算机图形、三维声音和触摸式人机界面在真实性和简单性两方面上升到一个全新的水平。更具体地说，这些新发明使计算机实时生成的三维模拟能和终端用户及现实世界的其它自然物体一起，共存于物理空间和时间中。这种能力通过提供与三维计算机生成的物体和声音进行的直接物理交互，大大改善了终端用户的视觉、听觉和触觉计算体验。这种独特的能力几乎可用于每一个想得到的行业，包括但不限于电子、计算机、生物测定、医疗、教育、游戏、电影、科学、法律、金融、通信、法律实施、国家安全、军事、印刷媒体、电视、广告、商业展示、数据可视化、计算机生成的现实、动画、CAD/CAE/CAM、生产率软件、操作系统等。

本发明揭示了一种多平面水平透视实练模拟器，它至少包括两个显示表面，其一能基于水平透视投影法来投影三维幻像。

通常，本发明的水平透视实练模拟器可用于显示三维图像并与三维图像交互，并且显然在许多行业都可应用，比如制造设计评审、人机工程模拟、安全和训练、视频游戏、电影艺术、科学三维观看以及医疗和其它数据显示。

水平透视是一种人们所知甚少的透视，我们只发现有两本书描述了它的机理：Stereoscopic Drawing(立体绘画)(1990)以及How to Make Anaglyphs(如何制作立体图)(1979，已绝版)。尽管这两本书都描述了这种不太引人注意的透视，但是对其名称却并不一致。第一本书将这种透视称为“独立式立体图(free-standing anaglyph)”，而第二本则将其称为“幻影(phantogram)”。另一出版物称它为“投影立体图”(G.M.Woods的美国专利US5795154，1998年8月18日)。由于没有统一的名称，我们姑且称之为“水平透视”。通常，像在中心透视中那样，与视线成直角的视平面也就是图片的投影平面，且深度提示被用于给出该平面图像的深度幻觉。在水平透视中，视平面保持不变，但投影的图像并不在该平面上。它在一个与视平面成一定角度的平面上。一般而言，该图像将在地平面上。这意味着该图像将实际处在和视平面有关的第三维度中。因此，水平透视可称为水平投影。

在水平透视中，目的是要将图像从纸上分离，并将该图像合并到用来投影出该水平透视图像的三维物体。因此，水平透视图像必须变形以便视觉图像合并从而形成独立式三维图形。从正确的视点来观看图像是最基本的，否则就看不到三维幻觉。中心透视图像具有高度和宽度并且投影出深度幻像，因此物体投影通常不连贯地投影且图像看起来像是处于许多层中，与中心透视图像相反的是，水平透视图像具有实际的深度和宽度并且幻觉赋予它们高度，因此通常有渐进的移动可使得图像显得连贯。

图7比较了用来区分中心透视和水平透视的一些关键特征。图像A示出了中心透视的关键性相关特征，而图像B示出了水平透视的关键性相关特征。

换句话说，在图像A中，艺术家闭上一只眼睛并沿着与垂直的绘画平面正交的视线观看，从而绘出现实的三维物体(彼此稍有间隔从上到下堆叠的三个块)。所得到的图像在通过一只眼睛垂直观看即直视的时候，看起来和原始图像一样。

在图像B中，艺术家闭上一只眼睛并沿着与水平绘画平面成45度的视线进行观看，从而绘出现实的三维物体。所得的图像在与水平成45度的方向上用一只眼睛观看时，看起来和原始图像一样。

图像A中所示的中心透视和图像B中所示的水平透视之间的一个主要区别在于显示平面相对于所投影的三维图像的位置。在图像B的水平透视中，显示平面可上下调节，因此所投影的图像可被显示在显示平面上方的开放空间中，即实际的手可触摸(或更像是穿过)该幻像，或者所投影的图像可以被显示在显示平面下方，即人无法用手触摸该幻像，因为显示平面在物理上挡住了人的手。这就是水平透视的实质，并且只要照相机视点和观看者视点在同一位置，幻像就存在。相反，在图像A的中心透视中，三维幻像很可能只在显示平面里面，这意味着人无法触及到它。为了将三维幻像带出显示平面从而让观看者触摸它，中心透视将需要精心策划显示方案，比如环绕图像投影和大体积。

图8和9示出了使用中心透视和水平透视之间的视觉差异。为了体验这种视觉差异，首先通过一只睁开的眼睛观看用中心透视绘制的图8。将这张纸竖直放在你面前，就像传统绘画一样垂直于你的眼睛。你可以看到中心透视在二维表面上提供了三维物体的良好呈现。

现在仔细检查你的桌子并将纸平放(水平地)在你面前的桌子上，观看用水平透视绘制的图9。同样，仅用一只眼睛观看该图像。使你那只睁开的眼睛(被称为视点)大约与纸面成45度，该角度正是艺术家绘图时的角度。为了使你睁开的那只眼睛及其视线与艺术家的相重合，使你的眼睛向下和向前移动得更接近该画面，向外和向下距离约6英寸且处于45度角。这将产生理想的观看体验，其中顶部和中部的块看上去是在纸面上方的开放空间中。

同样，你那只睁开的眼睛必须位于这个精确位置的原因是因为，中心和水平透视不仅定义了从视点出发的视线的角度，而且还定义了从视点到画面的距离。这意味着，图8和9是在你那只睁开的眼睛相对于该画面处于理想位置和方向的情况下被绘制而成的。然而，与中心透视不同的是(对于中心透视，视点的位置和方向的偏离很少产生失真)，当观看水平透视画面时，对于看到开放空间三维水平透视幻像而言，单个眼睛的使用以及该眼睛相对于视图平面的位置和方向都是最基本的。

图10是建筑学类型的示例，示出了一种使用水平透视在纸上或画布上绘制简单几何图形的方法。图10是和图9中使用的同样三个块的侧视图。它示出了水平透视的实际结构。组成物体的每一点通过将该点投影到水平绘画平面上来绘制。为了说明这一点，图10通过投影线显示了块被绘制在水平绘画平面上的几个坐标。这些投影线始于视点(因比例关系未在图10中示出)，在物体上相交于一点，接着沿直线继续到与水平绘画平面相交，也就是它们被实际绘作纸上的一点之处。当建筑师对块上的每一点重复此过程，如所看到的从绘画表面沿着视线到达视点，水平透视图像就完成了，看上去象图9。

注意：在图10中，三个块之一看上去低于水平绘画平面。用水平透视，低于绘画平面的点也被画到水平绘画平面上，如从视点沿着定位线所看到的。因此当观看最终图画时，物体不仅看上去在水平绘画平面之上，而且也可显现为在它之下一显得它们退到了纸面内。如果你再次看图9，你将注意到底部的框看上去低于或进入了纸面，而另两个框看上去在纸以上的开放空间中。

产生水平透视图像相比创建中心透视图需要相当多的专门技术。即使两种方法都致力于向观看者提供自二维图像产生的三维幻觉，但是中心透视图直接从观看者或照相机点产生三维景色。相反，水平透视图像在正面观看时显得失真，但是该失真必须被精确呈现，从而在一个精确位置观看时水平透视会产生三维幻像。

水平透视显示系统通过向观看者提供调整所显示的图像的手段从而使幻像观看体验最佳化，来促进水平透视投影的观看。通过利用微处理器的计算能力及实时显示，水平透视显示器如图11所示，其中包括能够重新绘制投影图像的实时电子显示器100，该实时电子显示器100与观看者的输入设备102一起用来调节水平透视图像。通过重新显示水平透视图像使得其投影视点与观看者的视点重合，该水平透视显示器可确保根据水平透视方法呈现三维幻像的过程中失真最少。输入设备可手动操作，其中观看者手动输入他或她的视点位置，或改变投影图像视点以获得最佳的三维幻像。输入设备也可自动操作，其中显示器自动跟踪观看者的视点并相应地调整投影图像。该水平透视显示器消除了观看者必须将他们的头保持在相对固定位置这一限制，该限制给诸如水平透视或全息显示等精确视点位置的接受带来很多困难。

除了实时电子显示器100以外，图12所示的水平透视显示系统可进一步包括计算设备110和投影图像输入设备112，投影图像输入设备112向计算设备110提供输入以便计算显示用的投影图像，从而通过使观看者的视点和投影图像视点重合向观看者提供真实的、失真最少的三维幻像。该系统可进一步包括图像放大/缩小输入设备115、或图像旋转输入设备117、或图像移动设备119，从而允许观看者调节投影图像的视图。

水平透视显示系统通过向观看者提供用于调节所显示图像的手段以使幻像观看经验最佳化，来促进水平透视投影观看。通过使用微处理器的计算能力和实时显示器，水平透视显示器(包括实时电子显示器，它能够重新绘出所投影的图像)与观看者的输入设备一起用来调节水平透视图像。通过重新显示水平透视图像使得其投影视点与观看者的视点重合，本发明的水平透视显示器便可确保根据水平透视方法呈现三维幻像的过程中失真最少。输入设备可手动操作，其中观看者手动输入他或她的视点位置或改变投影图像视点，以获得最佳的三维幻像。输入设备也可自动操作，其中显示器自动地跟踪观看者的视点并相应地调节投影图像。水平透视显示系统消除了观看者必须使他们的头保持在相对固定的位置这一限制，该限制给精确视点位置的接受(比如水平透视或全息显示)带来许多困难。

除了实时电子显示设备和投影图像输入设备以外，水平透视显示系统还可包括计算设备，该投影图像输入设备用于将输入提供给计算设备，以便计算用于显示的投影图像，继而通过使观看者的视点和投影图像的视点重合向观看者提供真实的、失真最少的三维幻像。该系统还可包括图像放大/缩小输入设备、或图像旋转输入设备、或图像移动输入设备，以允许观看者调节投影图像的观看。

输入设备可手动或自动地操作。输入设备可探测观看者视点的位置和方向，以根据探测结果计算并将图像投影到显示器。或者，输入设备可被制成探测观看者头部的位置和方向以及眼球方向。输入设备可包括红外线探测系统来探测观看者的头部位置，以允许观看者的头部自由运动。输入设备的其它实施例可以是用于探测观看者的视点位置的三角测量法，诸如提供适于本发明的头部跟踪目的的位置数据的CCD照相机。输入设备可由观看者手动操作，诸如键盘、鼠标、跟踪球、操纵杆等等，来指示水平透视显示图像的正确显示。

头或眼睛跟踪系统可包括基地单元和观看者头上的头戴式传感器。该头戴式传感器响应于观看者头的移动和眼睛的方向，产生表示观看者的位置和方向的信号。这些信号可被基地单元接收，并且用于计算合适的三维投影图像。头或眼睛跟踪系统可以是红外照相机，用来拍摄观看者眼睛的图像。通过使用所拍摄图像和其它图像处理技术，可确定观看者眼睛的位置和方向，然后提供给基地单元。头和眼睛的跟踪可实时地在足够小的时间间隔内实现，以提供对观看者的头和眼睛的连续跟踪。

本文中描述的发明利用了水平透视的开放空间特性，结合多个新的计算机硬件和软件单元及进程，一起创建“实练模拟器”。简而言之，该实练模拟器带来了全新及独特的计算体验，它使得终端用户实际地并直接地(实际训练)与计算机实时生成的、看上去象在显示器设备的视图表面上方开放空间(即终端用户自己的实际空间)中的3D图形(模拟)交互。

为了使终端用户体验这些独特的实练模拟，计算机硬件视图表面水平放置，从而终端用户的视线相对于该表面成45°角。一般而言，这意味着观看者竖直站着或坐着，视图表面和地面水平。注意，尽管观看者可体验处于非45°观看角度(例如55°、30°等)的实练模拟，45°还是使大脑认识到开放空间图像中最大量空间信息的最理想角度。因此，为了简单起见，我们在文件中使用“45°”来表示“大约45°的角度”。此外，尽管因为水平视图表面因为模拟了观看者对水平地面的体验而是较佳的，但任何视图表面都可提供类似的三维幻像体验。水平透视幻像可通过将水平透视图像投影到顶面而显现成从顶上悬挂下来，或通过将水平透视图像投影到竖直墙面而显现成浮于墙面。

实练模拟产生于3D图形引擎的视体内部，从而创建了两个新单元，“实练体积”和“内部访问体积”。实练体积位于实际视图表面之上。这样，终端用户可直接地、实际地操纵模拟，因为它们共同存在于终端用户的个人实际空间中。这个1∶1的对应性允许通过用手或手持工具来触摸和操纵模拟器，来实现精确的和有形的实际交互。内部访问体积位于视图表面之下，而在此体积中的模拟显得位于实际观看设备内部。因此在内部访问体积中生成的模拟不与终端用户共享同一实际空间，而因此图像不能用手或手持式工具直接地、实际地操纵。即，他们通过计算机鼠标或操纵杆间接操纵。

所揭示的实练模拟器可使终端用户能直接地、实际地操纵模拟，因为它们共存于终端用户自己的实际空间中。为此目的，需要新的计算概念，其中计算机生成世界的单元与它们实际的真实世界等效物1∶1对应；即，实际单元和等效的计算机生成单元占用同样的空间和时间。这是通过识别和建立一个共同“基准面”来实现是，新的单元相对于该基准面是同步的。

与基准面同步构成了在“虚拟”模拟世界和“真实”现实世界之间的1∶1对应的基础。其中，1∶1对应确保了图像正确显示：在实练体积中，处在视图表面上及上方的物体看上去在该表面上及上方；在内部访问体积中，处在视图表面下方的物体看上去在该表面下面。只有在1∶1对应和相对基准面同步时，终端用户才可以通过他们的手或手持式工具实际地和直接地访问并与模拟交互。

如上文所概述，本发明的模拟器进一步包括计算机实时生成的3D图形引擎，但利用水平透视投影来显示3D图像。本发明和现有技术的图形引擎之间的一个主要区别是投影显示。现有的3D图形引擎使用中心透视，并因此由竖直平面来呈现其视体，而在本发明的模拟器中，需要“水平”方向的呈现平面(相对“竖直”方向的呈现平面)来生成水平透视开放空间视图。水平透视图像比中心透视图像提供出色得多的开放空间访问。

本发明实练模拟器的发明单元之一是计算机生成世界单元和其实际现实世界单元间的1∶1对应。如前面的介绍所述，这个1∶1对应是一个新的计算概念，是终端用户实际地和直接地访问并与实练模拟交互所必须的。这个新概念需要产生一个共同实际基准面，以及用于得到其唯一的x、y、z空间坐标的公式。为了确定基准面的位置和尺寸及其具体坐标，需要了解以下内容。

计算机监视器或观看设备是由许多物理层制成的，每层单独或合在一起具有厚度或深度。为了说明这一点，图13包括典型CRT型观看设备的概念性的侧视图。监视器的玻璃表面的最上层是实际“视图表面”，图像形成的荧光层是实际“图像层”。观看表面和图像层是位于不同深度(或沿观看设备z轴的z坐标)的分开的物理层。为了显示图像，CRT的电子枪激活荧光剂，荧光剂随后发射光子。这意味着当你观看CRT上的图像时，你沿着它的z轴通过它的玻璃表面观看，就像你通过窗口观看一样，并看见来自玻璃后面其荧光层的图像的光。

由于头脑中有观看设备的z轴，让我们使用水平透视在该设备上显示图像。在图14中，我们使用与前面在图10中所示同样的建筑技术来用水平透视绘制图像。通过比较图14和图10，可见图14中的中间块没有正确显示在视图表面上。在图10中，中间块的底部正确地位于水平绘制/观看平面，即一张纸的视图表面。但是在图14中，荧光层(即图像形成处)位于CRT的玻璃表面之后。因此，中间块的底部不正确地位于视图表面的后面或下方。

图15示出了CRT类型观看设备上三个块的正确位置。即，中间块的底部正确地显示在视图表面而非图像层。为了进行这一调节，模拟引擎使用视图表面和图像层的z坐标来正确呈现图像。因此，相对图像层在视图表面上正确呈现开放空间图像的独特任务，在精确地将模拟图像映射到现实世界空间是关键的。

现在清楚，观看设备的视图表面是正确的呈现开放空间图像的实际位置。因此，视图表面即观看设备玻璃表面的顶部，是共同实际基准面。但是只有视图表面的一个子集才可以是基准面，因为整个视图表面大于总图像区域。图16示出了显示在观看设备的视图表面上的完整图像的一个示例。即，包括幼熊的该蓝图示出了整个图像区域，它小于观看设备的视图表面。

许多观看设备使得终端用户可通过调节图像区域的x和y值来调节图像区域的大小。当然，这些相同的观看设备不提供任何关于z轴的信息或对z轴的访问，因为它是一个全新概念，且直到现在也只有在显示开放空间图像时才需要。但是所有三个x、y、z坐标在确定共同实际基准面的位置和大小时是必要的。它的公式是：图像层的z坐标为0。视图表面就是从图像层沿着z轴的距离，基准面的z坐标等于视图平面，即它距图像层的距离。基准面的x和y坐标或大小可通过在观看设备上显示完整的图像并测量其x和y轴的长度来确定。

共同实际基准面的概念是一个新的创造性的概念。因此，显示器制造商可能不提供或甚至不知道其坐标。因此可能需要执行“基准面校准”过程来建立基准面坐标。这个校准过程向终端用户提供多个与之交互的编排图像。终端用户对这些图像的响应向模拟引擎提供反馈，从而它可识别基准面的正确大小和位置。当终端用户已经满意并完成了该过程时，坐标被存入终端用户的个人配置。

有了一些观看设备，视图表面和图像层间的距离非常短。但无论该距离大小如何，重要的是所有的基准面的x、y和z坐标都确定为在技术上尽可能地接近。

在将“计算机生成的”水平透视投影显示平面(水平平面)映射到“实际”基准面x、y和z坐标后，两个单元共存且在时间和空间上相一致；即，计算机生成的水平平面现在共享实际基准面的现实世界的x、y和z坐标，且它们同时存在。

通过设想你正坐在水平方向的计算机监视器前面并使用实练模拟器，你可以想像这种独特的计算机生成单元和实际单元的映射占用同样的空间和时间。通过将你的手指放在监视器的表面上，你将正好同时触摸基准面(实际视图表面的一部分)以及水平平面(计算机生成的)。换句话说，当触摸监视器的实际表面时，你也“触摸”了它的计算机生成等效物，即由模拟引擎生成并映射到同样的地点和时间的水平平面。

本发明水平透视投影实练模拟器的一个单元是计算机生成的“成一定角度的照相机”点，如图17所示。该照相机点最初位于距水平平面任意距离处，且照相机的定位线穿过中心看成45°度。成一定角度的照相机相对于终端用户眼睛的位置对于生成看上去象在观看设备的表面上或上方的模拟是至关重要的。

算术地，成一定角度的照相机点的计算机生成的x、y、z坐标轴组成了无限大“金字塔”的顶点，“金字塔”的边穿过基准面/水平面的x、y、z坐标。图18示出了这个无限大的金字塔，它始于成一定角度的照相机点，并延伸通过远裁剪平面。在金字塔内部有新的平行于基准面/水平面的平面，它和金字塔的边一起定义了两个新视体。这些独特的视体称为实练体积和内部访问体积，且未在图18中示出。这些体积的尺寸以及定义它们的平面是基于它们在金字塔中的位置。

图19示出了称为舒适面的平面、以及其它显示器单元。舒适面是用于定义新的实练体积的6个平面中的一个平面，这些平面中舒适面最接近成一定角度的照相机点并且还平行于基准面。舒适面的命名是由于它在金字塔内的位置决定了终端用户个体的舒适性，即当观看和与模拟器交互时，他们的眼睛、头部、身体等位于何处。终端用户可根据他们个体的视觉舒适度通过“舒适面调节”过程调节舒适面的位置。这个过程在实练体积中向终端用户提供编排的模拟，并使他们可调节舒适面在金字塔中相对于基准面的位置。当终端用户已经满意并完成了该过程时，舒适面的位置被存入终端用户的个人配置。

本发明的模拟器还定义了“实练体积”，如图20所示。在实练体积中你可将你的手伸过去实际“触摸”模拟。通过假想你坐在水平方向计算机监视器前并使用实练模拟器，你可以想像这个情况。如果你把手放置在监视器表面以上几英寸，则你正同时将你的手放在实际和计算机生成的实练体积中。该实练体积存在于金字塔中，且位于舒适面和基准面/水平面之间并包含在其中。

当基准面/水平面上及上方存在实练体积时，内部访问体积存在于实际观看设备下方或内部。为此，终端用户不能直接通过他们的手或手持式工具与位于内部访问体积中的3D物体交互。但是他们可以用计算机鼠标、操纵杆、或其它类似计算机外围设备以传统手段交互。“内部平面”进一步定义成位于图21所示的金字塔中基准面/水平面的正下方，且平行于该平面。内部平面以及底平面是金字塔中定义内部访问体积的六个平面中的两个。底平面(如图22所示)离成一定角度的照相机点最远，但作为远裁剪平面不会错。底平面同样平行于基准面/水平面，并且是定义内部访问体积(图23)的六个平面之一。通过设想你正坐在水平方向计算机监视器前并使用实练模拟器，你可以想像内部访问体积。如果你将你的手穿过实际表面并将你的手放在监视器内部(当然是不可能的)，则你就在把你的手放入内部访问体积。

终端用户离观看金字塔的底部的较佳距离决定了这些平面的位置。终端用户可调节底平面的位置的一种方法是通过“底平面调节”过程。该过程在实练体积中向终端用户提供编排的模拟，并使它们可调节底平面在金字塔中相对于基准面/水平面的位置并与之交互。当终端用户已经完成了该过程时，底平面的坐标被存入终端用户的个人配置。

为便于终端用户在他们的实际观看设备上观看开放空间图像，该观看设备必须正确定位，通常意味着实际基准面水平地置于地面。无论观看设备相对于地面的位置如何，基准/水平面必须相对于终端用户最佳的观看视线成45°角。终端用户可执行这一步的一种方法是将他们的CRT计算机监视器直立地放在地板上，使基准/水平面水平于地板。这个示例采用了CRT型的计算机显示器，但它可以是任何类型的观看设备，放置成与终端用户的视线成大约45°角。

“终端用户眼睛”的现实世界坐标和计算机生成的成一定角度的照相机点必须1∶1对应，以便于使终端用户适当地观看显示在基准/水平面上及其上方的开放空间图像(图24)。这么做的一种方法是使终端用户向模拟引擎提供他们眼睛的真实世界x、y、z位置以及相对实际基准/水平面中心的定位线信息。例如终端用户告诉模拟引擎他们的实际眼睛在看着基准/水平面中心时将位于12英寸以上、12英寸以后。模拟引擎接着将计算机生成的成一定角度的照相机点映射到终端用户视点的实际坐标及视线。

本发明的水平透视实练模拟器利用了水平透视投影来算术地将3D物体投影到实练体积和内部访问体积。实际基准面的存在及其坐标的认知对于在投影之前正确调节水平平面的坐标是必要的。通过考虑图像层和视图表面之间的偏移(位于沿着观看设备的z轴的不同值处)，该对于水平平面的调节使得开放空间图像对终端用户来说看上去在视图表面上，而不在图像层上。

因实练体积和内部访问体积中的投影线都与物体点和偏移水平平面两者相交，物体的三维x、y、z点变成了水平平面的二维x、y点(参照图25)。投影线常常和一个以上3D物体坐标相交，但是只有沿着给定投影线的一个物体的x、y、z坐标可成为水平平面x、y点。对于每个体积，用于确定哪个物体坐标变成水平平面上的一点的公式是不同的。对于实练体积，离水平平面最远的是给定投影线的物体坐标。对于内部访问体积，离水平平面最近的是给定投影线的物体坐标。在不相上下的情况下，即如果每个体积的3D物体点占据水平平面上的同一2D点，则使用实练体积的3D物体点。

图25是本发明的模拟引擎的示意图，包括了如上所述的新的计算机生成单元和现实实际单元。它还示出了实际世界的单元及其计算机生成的等效物按1∶1映射并共享共同基准面。这种模拟引擎的充分实现产生了实练模拟器，其中计算机实施生成的3D图形看上去位于观看设备表面上及上方的开放空间中，观看设备表面的方向和终端用户的视线约成45°角。

该实练模拟器进一步包含加入全新单元及进程以及现有的立体3D计算机硬件。这导致了实练模拟器具有多个视图或“多视图”能力。多视图向终端用户提供同一模拟的多个和/或分离的左眼和右眼视图。

为了提供运动或时间相关的模拟，模拟器进一步包括新的计算机生成的“时间维”单元，称为“SI时间”。SI是“模拟图像”的首字母缩写，是显示在观看设备上的一幅完整图像。SI时间是模拟引擎用于完全生成和显示一幅模拟图像所用的时间量。这类似电影放映机以每秒24次显示图像。因此，放映机显示一幅图像需要1/24秒，但是SI时间是可变的，意味着取决于视体的复杂程度，模拟引擎将花费第1/120或1/2秒来完成一幅SI的显示。

模拟器还包括新的计算机生成的“时间维”单元，称为“EV时间”，它是用于生成一个“眼睛视图”所用的时间量。例如，让我们说模拟引擎需要创建一个左眼视图和一个右眼视图，目的是向终端用户提供立体3D体验。如果模拟引擎需要1/2秒来生成左眼视图，那么第一EV时间周期为1/2秒。如果它需要另一个1/2秒来生成右眼视图，那么第二EV时间周期也为1/2秒。由于模拟引擎生成同一模拟图像的左右眼分开的视图，因此总的SI时间是一秒。即，第一EV时间为1/2秒，第二EV时间也为1/2秒，使得总的SI时间为一秒。

图26帮助说明这两个新时间维单元。这是一个概念图，示出了在模拟引擎生成模拟图像的双眼视图时模拟引擎内部发生的情况。计算机生成的人双眼都睁开，要求立体3D观看，因此从两个分开的有利位置看幼熊，即从右眼视图和左眼视图。这两个分开的视图略有不同并偏移，因为平均人眼间距是2英寸。因此，每个眼睛从空间分开的点看世界，而大脑将它们组合形成整个图像。这就是如何以及为何我们看见现实世界是立体3D的。

图27是极高水平的模拟引擎蓝图，关注如何将计算机生成的人的两眼视图投影到水平平面并随后显示在有立体3D能力的观看设备上。图26表示一个完整的SI-时间周期。如果我们用以上第三步的示例，则SI时间需要一秒。在这SI时间的一秒中，模拟引擎需要生成两个不同的眼睛视图，因为在这个示例中立体3D观看设备需要分开的左右眼视图。现在存在需要多于分开的左眼和右眼视图的立体3D观看设备。但是因为这里描述的方法可生成多个视图，它同样可用于这些设备。

图27的左上图示出了右眼162在时间单元“EV时间1”的成一定角度的照相机点，意味着要生成的第一眼睛视图时间周期或第一眼睛视图。因此在图27中，“EV时间1”是模拟引擎用来完成计算机生成的人的第一眼(右眼)视图的时间周期。这是这一步的工作，在EV时间1中完成，并使用在坐标x、y、z的成一定角度的照相机，模拟引擎完成对给定模拟图像的右眼视图的呈现和显示。

一旦第一眼(右眼)视图完成，模拟引擎就开始呈现计算机生成的人的第二眼(左眼)视图的过程。图27的左下图示出了左眼164在时间单元“EV时间2”的成一定角度的照相机点。也就是说，第二眼视图在EV时间2中完成。但是在呈现过程可以开始前，步骤5对成一定角度的照相机点进行调节。这在图27中通过左眼的x坐标增加两英寸来示出。右眼x值和左眼x+2”之差提供了两眼间的两英寸距离，这是立体3D观看所需要的。

人们的眼间距离是不同的，但是在上例中我们使用了平均数2英寸。对终端用户而言，将个人的眼间距离值提供给模拟引擎也是可能的。这将使得左右眼的x值相对给定观看者非常精确，由此提高了他们立体3D视图的质量。

一旦模拟引擎将成一定角度的照相机点的x坐标增加了2英寸，或增加由终端用户提供的个人眼间距离值，它就完成了第二(左眼)视图的呈现和显示。这由模拟引擎在EV时间2周期中利用成一定角度的照相机点坐标x±2”、y、z坐标完成，且完全相同的模拟图像得到呈现。这样就完成了一个SI时间周期。

取决于所使用的立体3D观看设备，模拟引擎继续显示左右眼图像，如上所述，直到它需要移到下一个SI时间周期为止。这一步的工作就是确定是否到了该移到新SI时间周期的时刻了，如果是，则增加SI时间。这情况何时发生的一个示例就是幼熊移动他的爪子或身体的任何部分。接着需要新的第二模拟图像来显示处于新位置的幼熊。幼熊的位置略微不同的新模拟图像在新SI时间周期或SI时间2期间呈现。这个新的SI时间2将有其自己的EV时间1和EV时间2，因此上述模拟步骤在SI时间2中将重复。这种通过不断增加SI时间及其EV时间来生成多个视图的过程一直持续，只要模拟引擎以立体3D方式生成实时模拟即可。

上述步骤描述了组成具有多视图能力的实练模拟器的新的和独特的单元和过程。多视图向终端用户提供了同一模拟的多个和/或分开的左右眼视图。多视图能力相比单眼视图具有重大的视觉和交互的进步。

本发明还允许观察者绕着三维显示器移动而不会有大的变形，因为显示器可跟踪观看者的视点并相应地重新显示图像，这和常规的现有技术三维图像显示器相反，现有技术中它将投影和计算为像是从单一视点看到的，观看者在空间内偏移预定视点的任何移动都会导致严重变形。

显示系统可进一步包括计算机，它能够在给出视点位置的移动时重新计算所投影的图像。水平透视图像创建起来会非常复杂和麻烦，或以对于艺术家或照相机而言不自然的方式创建，因此需要使用计算机系统来完成此工作。为了显示具有复杂表面的物体的三维图像，或创建动画序列，可能需要许多计算能力和时间，因此这个工作非常适合计算机。最近，有三维功能的电子设备和计算硬件设备以及计算机实时生成的三维计算机图形得到长足发展，视觉、听觉和触觉系统显著创新，并且有相当好的硬件和软件产品来生成现实的更自然的人机界面。

本发明的水平透视显示系统不仅满足娱乐媒体，诸如电视、电影和视频游戏的要求，也适合如教育(显示三维结构)和技术培训(显示三维设备)等各领域的需求。具有不断增长的对三维图像显示器的需求，该三维图像显示器可从不同角度观看，以便使用类似物体的图像观察真实物体。水平透视显示系统也能用计算机生成现实来代替观看者观察。该系统可包括音频、视觉、动作以及用户输入，以便产生三维幻像的复杂体验。

水平透视系统的输入可以是二维图像、几个图像组合以形成一个三维图像，或三维模型。该三维图像或模型比二维图像传递多得多的信息，并且通过改变视角，观看者将从不同的透视点连续得到观看同一物体的印象。

水平透视显示器可进一步提供多个视图或“多视图”能力。多视图向观看者提供同一模拟的多个和/或分离的左和右眼视图。多视图能力相比单眼视图具有重大的视觉和交互的进步。在多视图模式中，左眼和右眼的视图都由观看者大脑融合成一个三维幻像。立体图像所固有的双眼的适应性调节和会聚间差异的问题使得观看者的眼睛因大的差异而疲劳，这一问题可以通过水平透视显示器而减少，尤其是对于运动图像，因为观看者凝视点的位置会随显示屏改变而改变。

在多视图模式中，目的是模拟两眼的动作以产生深度感觉，即左眼和右眼看见略有不同的图像。因此，可用于本发明的多视图设备包括眼镜，诸如彩色立体图方法、特殊偏振镜或遮光镜，不使用眼镜的方法诸如视差立体图、透镜方法和镜像方法(凸透镜和凹透镜)。

在立体图方法中，右眼的显示图像和左眼的显示图像分别用例如红色和蓝色的两种颜色叠加显示，右眼和左眼的观察图像使用滤色器分开，因此使观看者能看到立体图像。利用水平透视技术显示图像，观看者向下以一定角度观看。对于单眼水平透视方法，所投影图像的视点必须与观看者的视点相一致，因此必须有观看者输入设备才能使观看者观察三维水平透视幻像。自从立体图方法的早期起，已经有了诸如红色/蓝色眼镜的频谱和显示器的很多进步，以对观看者而言生成更多真实感和舒适感。

在偏振镜方法中，左眼图像和右眼图像通过使用互相消光的偏振滤镜来分开，诸如正交线性偏振镜、圆形偏振镜、椭圆偏振镜。图像通常用偏振滤镜投影到屏幕，并向观看者提供相应的偏振镜。左右眼图像同时在屏幕上呈现，但是只有左眼偏振光通过眼镜的左眼透镜发送，而只有右眼偏振光通过右眼透镜发送。

立体显示的另一种方法是图像顺序系统。在这种系统中，图像在左眼和右眼图像之间顺序显示，而不是将它们彼此叠加，观看者的镜片和屏幕显示同步，从而在显示左图像时仅允许左眼看见，而在显示右图像时仅允许右眼看见。眼镜的遮光可通过机械遮光或液晶电子遮光来实现。在遮光镜方法中，右眼和左眼的显示图像以时间分享方式交替显示在CRT上，且右眼和左眼的观察图像利用时间分享遮光镜分开，遮光镜以时间分享方式和显示图像同步打开/关闭，因此使得观察者看到立体图像。

另一种显示立体图像的方法是通过光学方法。在这种方法中，右眼和左眼的显示图像利用诸如棱镜、镜子、透镜等光学手段在观察器上分开显示，在观察者面前叠加显示为观察图像，因此使得观察者能看到立体图像。在投影左眼和右眼图像的两个图像投影仪分别向观看者的左右眼提供焦点时，可以使用大的凸透镜和凹透镜。该光学方法的一种变体是透镜法，其中在圆柱透镜元件或透镜元件的二维阵列上形成图像。

图27是关于计算机生成的人的两眼视图如何投影到水平平面上、并随后显示在有立体3D能力的观看设备上的水平透视显示器。图27呈现了一个完整的显示时间周期。在此显示时间周期中，水平透视显示器需要生成两个不同的眼视图，因为在这个示例中立体3D观看设备需要分开的左右眼视图。现有的立体3D观看设备需要比分开的左右眼视图更多的视图，并且因为这里描述的方法可生成多个视图所以也可用于这些设备。

图27的左上图示出了在待生成的第一(右)眼视图之后，右眼的成一定角度的照相机点。一旦第一(右)眼视图完成，水平透视显示器就开始呈现计算机生成的人的第二眼(左眼)视图的过程。图27的左下图示出了这次完成后，左眼的成一定角度的照相机点。但是在呈现过程可以开始前，水平透视显示器对成一定角度的照相机点进行了调节。这在图27中有示出，其中左眼的x坐标增大2英寸。右眼的x值和左眼的x+2”之间的差异提供了眼睛之间的两英寸分离，这是立体三维观看所要求的。人眼之间的距离各不相同，但在上面的示例中我们用了2英寸。对观看者而言，向水平透视显示器提供使用他们个人的眼间距离值也是有可能的。这将使左右眼的x值对于给定观看者高度精确，由此改善立体三维视图的质量。

一旦水平透视显示器使成一定角度的照相机点的x坐标增大了2英寸(或观看者提供的个人眼间距离值)，该呈现过程便通过显示第二(左眼)视图而得以继续。

取决于所使用的立体3D观看设备，水平透视显示器继续显示左右眼图像，如上所述，直到它需要移到下一个显示时间周期为止。这情况何时发生的示例就是幼熊移动他的爪子或身体的任何部分。接着需要新的第二模拟图像来显示处于新位置的幼熊。幼熊的位置略有不同的新模拟图像在新显示时间周期中呈现。这种通过不断增加显示时间生成多个视图的过程一直持续，只要水平透视显示器以立体3D方式在生成实时模拟即可。

通过快速显示水平透视图像，可以实现运动的三维幻像。一般而言，一秒钟30到60幅图像将足够使眼睛感觉到运动。对于立体视法，叠加的图像需要同样的显示速度，时间顺序方法将需要两倍于该数量。

显示速度是显示器用来完全生成和显示一幅图像的每秒图像数。这类似电影放映机以每秒24次地显示图像。因此放映机显示一幅图像需要1/24秒。但是显示时间是可变的，意味着取决于视体的复杂程度，计算机将花费1/12或1/2秒来完成一幅图像的显示。由于显示器分开生成了同一图像的左右眼视图，因此总的显示时间是单眼图像的显示时间的两倍。

图28示出了涉及中心透视和水平透视的水平面。

本发明实练模拟器进一步包括计算机“外围设备”中采用的技术。图29示出了具有六个自由度的这种外围设备的一个示例，意味着它们的坐标系统使它们可以在(x、y、z)空间中的任何给定点交互。模拟器为终端用户所需要的每一个外围设备产生一个“外围设备开放访问体积”，诸如图29所示的空间手套。图30是实练模拟器工具的高级图解，关注外围设备的坐标系统在实练模拟工具中如何实现。

新的外围设备开放访问体积(它作为图30中的一个示例被标记为空间手套)与“开放访问真实体积”和“开放访问计算机生成的体积”一一映射。实现精确一一映射的关键是用共同基准面来校准外围设备的体积，共同基准面是位于显示设备的视图表面处的实际视图表面。

一些外围设备提供一种结构使得实练模拟工具无需任何终端用户的干预就可执行这个校准。但是如果校准外围设备需要外部干涉，那么终端用户将通过“开放访问外围设备校准”过程来完成。这个过程向终端用户提供实练体积中的一系列模拟及用户友好界面，使他们能调节外围设备空间的位置直到与视图表面精确同步。当校准过程完成后，实练模拟工具将信息保存在终端用户的个人配置中。

一旦外围设备的体积精确校准到视图表面，就可执行过程中的下一个步骤。实练模拟工具将持续地跟踪外围设备的体积并将其映射到开放访问体积。实练模拟工具根据外围设备的体积中的数据来改变它生成的每个实练图像。这个过程的最终结果是终端用户能通过实练模拟工具使用任何给定的外围设备，以与实时生成的实练体积中的模拟进行交互。

通过外围设备链接到模拟器，用户可与显示模型交互。模拟引擎可通过外围设备从用户那里得到输入，并操纵所希望的动作。通过外围设备正确地与实际空间及显示空间匹配，模拟器可提供适当的交互和显示。本发明的实练模拟器接着可生成全新和独特的计算体验，因为它使得终端用户实际地和直接地(实练)与实时计算机生成的(即看上去在显示设备视图表面上方的开放空间中、即终端用户自己的实际空间中)的3D图像(模拟)进行交互。外围设备跟踪可通过照相机三角测量法或红外线跟踪设备实现。

模拟器可以进一步包括3D音频设备，用于“模拟识别和3D音频”。这产生了一个新的发明，形式是带有照相机模型、水平多视图设备、外围设备、频率接收/发送设备以及手持式设备的实练模拟工具，如下所述。

物体识别是使用照相机和/或其它传感器来通过一种称为三角测量的方法定位模拟的技术。三角测量法是采用三角法、传感器和频率来“接收”来自模拟的数据的过程，以便于确定它们在空间中的精确位置。正因为如此，三角测量法成为绘图法和勘测工业的支柱，它们使用的传感器和频率包含但不限于照相机、激光、雷达和微波。3D音频同样使用三角测量，但是方式相反，3D音频将数据以声音的形式“发送”或投影到特定位置。但是无论你是发送还是接收数据，模拟在三维空间中的位置都是通过频带接收/发射设备用三角测量法完成的。通过改变声波到达用户左耳和右耳的幅度和相位角，该设备可有效地仿真声源的位置。到达耳朵的声音将需要被隔离以避免干扰。隔离可通过使用耳机等来完成。

图31示出了终端用户看着幼熊的实练图像。由于幼熊看上去好像在视图平面上方的开放空间中，因此终端用户可用手或手持式工具触及并操纵幼熊。用户从不同角度观看幼熊也是可能的，就好像它们在现实生活中一样。这是通过利用三角测量法完成的，其中三个现实世界的照相机从它们特定的视角向实练模拟工具持续发送图像。这个现实世界照相机数据使实练模拟工具能定位、跟踪和映射终端用户的身体和其它位于并围绕计算机监视器视图表面的现实世界模拟(图32)。

图33还示出了终端用户观看幼熊并与之交互，但是它包括从幼熊口中发出的3D声音。要达到这个水平的音频质量，需要实际上组合三个照相机的每一个与一独立扬声器，如图32所示。照相机的数据使得实练模拟工具能使用三角测量法来定位、跟踪和映射终端用户的“左右耳”。因为实练模拟工具正在生成幼熊(该幼熊作为计算机生成的实练图像)，所以它知道幼熊嘴巴的确切位置。通过知道终端用户的耳朵和幼熊嘴巴的确切位置，实练模拟工具使用三角法测量来发送数据，通过改变音频的空间特性，让3D声音显得是从计算机生成的幼熊嘴巴中发出的。

新的频率接收/发送设备可通过将摄像机和音频扬声器组合而产生，如前面图31所示。注意，也可使用其它传感器和/或变频器。

使用这些新的照相机/扬声器设备并将它们附加或放置在靠近诸如图32所示的计算机监视器的观看设备附近。这导致每个照相机/扬声器设备都具有独特的和分开的“现实世界”(x、y、z)位置、视线和频率接收/发送空间。为了理解这些参数，设想使用可携带的摄像机并从其取景器中看过去。当你这样做的时候，摄像机具有特定的空间位置，朝向特定的方向，且你通过取景器看见或接收的所有视觉频率信息是它的“频率接收体积”。

三角测量法通过将每个照相机/扬声器设备分开并将它们放置成使它们各自的频率接收/发送体积交叠并覆盖完全相同的空间区域。如果你有三个相距很远的频率接收/发送体积覆盖了完全相同的空间区域，那么空间中的任何模拟都可被精确定位。下一步在开放访问照相机模型中为这个现实世界空间产生了新单元，并在图33中被标为“现实频率接收/发送体积”。

既然这个现实频率接收/发送体积存在，就必须相对共同基准面(当然是实际视图表面)进行校准。下一步是实际频率接收/发送空间相对实际视图表面的自动校准。这是一个自动过程，由实练模拟工具持续执行，以便于即使在被终端用户无意中碰撞或移动(很可能发生)时，仍然能保持照相机/扬声器设备正确校准。

图34是完整的开放访问照相机模型的简化示图，将有助于解释完成以上图32和33所述情景所需的每一个附加步骤。

模拟器接着通过持续定位和跟踪终端用户的“左右眼”和他们的“视线”来执行模拟识别，持续地将现实世界左右眼坐标精确映射到开放访问照相机模型中(正如它们在现实世界)，并随后持续调节计算机生成的照相机坐标来与被定位、跟踪和映射的现实世界眼睛坐标匹配。这使得模拟能基于终端用户的左右眼精确位置在实练体积中实时生成。从而允许终端用户自由地移动他们的头，并围绕实练图像看，而不会变形。

模拟器接着通过持续定位和跟踪终端用户的“左右耳”和他们的“听觉线”来执行模拟识别，持续地将现实世界左右耳坐标精确映射到开放访问照相机模型中(正如它们在现实空间中一样)，并随后调节3D音频坐标来与被定位、跟踪和映射的现实世界耳坐标相匹配。这使得开放访问声音能基于终端用户的左右耳精确位置实时生成。从而允许终端用户自由地移动他们的头，而仍然能听见从正确位置发来的开放访问声音。

模拟器接着通过持续定位和跟踪终端用户的“左右手”和他们的“手指”，即手指和拇指来执行模拟识别，持续地将现实世界左右手坐标精确映射到开放访问照相机模型中(正如它们在现实空间中一样)，并持续地调节实练图像坐标来与被定位、跟踪和映射的现实世界手坐标相匹配。这使得模拟能基于终端用户的左右手精确位置在实练体积中实时生成，从而允许终端用户与实练体积中的模拟进行自由交互。

模拟器可通过持续定位和跟踪“手持式工具”来执行模拟识别，持续地将这些现实世界手持式工具坐标映射到开放访问照相机模型中(正如它们在现实空间中一样)，并持续调节实练图像坐标来与被定位、跟踪和映射的现实世界手持式工具坐标相匹配。这使得模拟能基于手持工具的精确位置在实练体积中实时生成，从而允许终端用户与实练体积中的模拟进行自由交互。

图35旨在帮助进一步解释与新的开放访问照相机模型和手持式工具有关的独特发现。图35是终端用户使用手持式工具与实练图像进行交互的模拟。所示场景是终端用户正在使大量金融数据可视化为许多相互关联的开放访问三维模拟。终端用户可通过使用手持式工具来探测并操纵开放访问模拟，图35中的手持式工具看起来像是个定点设备。

“计算机生成的连接”以开放访问计算机生成模拟的形式被映射到手持工具的尖端，在图35中对于终端用户而言该尖端看起来像是个计算机生成的“橡皮擦”。终端用户当然可请求实练模拟工具将任何数目的计算机生成连接映射到给定的手持式工具。例如，可有不同的计算机生成连接，其独特的视觉和音频特征对应于剪切、粘贴、焊接、绘画、涂沫、指点、抓取等。当这些计算机生成的连接映射到终端用户的手持式工具的尖端时，它们将充当并听起来很像它们在模拟的真实设备。

本发明还揭示了一种多平面显示器，它包括水平透视显示和非水平的中心透视显示。图36示出了本发明的多平面显示器的一个示例，其中多平面显示器是一种在打开时约呈“L”形的计算机监视器。如图36所示，终端用户在与“L”的底部成大约45度的情况下从其凹侧观看L形计算机监视器。从终端用户的视点来看，整个L形计算机监视器看起来像是一个单独且无缝的视图表面。水平定位的显示器的L形底部示出了水平透视图像，而L形显示器的另一个分支示出了中心透视图像。边缘是两个显示部分平滑连接的地方，并且还可具有曲线投影，以便连接水平透视和中心透视这两个显示。

多平面显示器可制成具有一个或多个实际的视图表面。例如，“L”的直立支脚可以是一个实际的视图表面(比如平板显示器)，而“L”的水平支脚可以是单独的平板显示器。两个显示部分的边可以是非显示部分，因此这两个视图表面并不连续。多平面显示器的每一个支脚都被称为视图表面，从图36左上方可以看到有一个竖直的视图表面和一个水平的视图表面，其中中心透视图像产生于竖直面上，而水平透视图像产生于水平面上，然后这两个图像在相遇之处结合，如图36的右下方所示。

图36还示出多平面显示器能产生多个视图。这意味着，它能够显示单视图图像(即像左上方的模拟那样的单眼透视)和/或多视图图像(即像右下方的模拟那样的分离的右眼视图和左眼视图)。并且当L形计算机监视器不被终端用户使用时，它可以是关闭的并且看起来像左下方的模拟。

图37是本发明的多平面显示器的简化示图。在图37的右上方，是显示在L形计算机监视器上的幼熊的单视图图像的一个示例。通常，单视图或单眼图像将仅用一个照相机点产生，但是像你所看到的那样至少有两个照相机点用于该多平面显示器，尽管这是一个单视图的示例。这是因为，多平面设备的每一个视图平面需要它自己的呈现透视。一个照相机点用于显示在水平面上的水平透视图像，而另一个照相机点用于显示在竖直面上的中心透视图像。

为了产生水平透视和中心透视图像，需要创建如图37所示的两个照相机视点(它们可相同或不同)，这两个照相机视点用于两个不同且分离的照相机点OSI和CPI。L形监视器的竖直视图平面(如图37底部所示)是用于中心透视图像的显示表面，因而需要定义另一个用于该表面的共同基准面。如上所述，共同基准面是显示图像的平面，并且计算机需要保持对该平面的跟踪，以便使所显示的图像的位置与真实的物理位置同步。对于L形多平面设备和两个显示表面，模拟可产生三维图像、使用(OSI)照相机视点的水平透视图像和使用(CPI)照相机视点的中心透视图像。

如图37底部所示，多平面显示系统还可进一步包括曲线连接显示部分，用来在“L”的接缝位置使水平透视图像和中心透视图像结合起来。多平面显示系统可连续地更新并显示在L形多平面设备上显现为单个L形图像的内容。

此外，多平面显示系统可包括多个显示表面以及多个曲线结合部分，像图38所示那样。多个显示表面可以是平直壁、多个相邻的平直壁、穹顶和弯曲的环绕板。

本发明的多平面显示系统因而可同时将多个三维图像投影到多个显示表面上，其一是水平透视图像。此外，它可以是立体多显示系统，从而允许观看者对三维图像呈现使用立体视觉。

因为多平面显示系统包括至少两个显示表面，所以需要解决各种要求来确保三维图像投影的高保真度。这些显示要求通常是：几何精度，以确保物体和图像特征正确地定位；边缘匹配精度，以确保各显示表面之间的连续性；无结合变化，以确保在各显示表面的结合部分没有亮度变化；以及视场，以确保来自观察者视点的连续图像。

因为多平面显示系统的结合部分最好是曲面，所以可应用一些失真校正，以便使投影到结合部分表面上的图像对于观看者而言显现为正确。有各种方案可向显示系统提供失真校正，比如：使用测试图案图像；针对特定的弯曲结合显示部分，设计图像投影系统；使用特定视频硬件；使用针对弯曲结合部分的分段线性近似。用于曲面投影的另一种失真校正方案是：针对观看者视点和投影仪的任何给定位置，自动地计算图像失真校正。

因为多平面显示系统包括一个以上显示表面，所以应该多加小心使得各个显示的边缘之间的接缝和间隙最小化。为了避免接缝或间隙问题，至少有两个图像发生器，用于产生图像的相邻重叠部分。重叠的图像是由图像处理器来计算的，以确保调节重叠区域的投影像素以形成恰当的显示图像。其它方案是，控制重叠时强度减小程度，以创建从一个显示表面的图像到下一个的平滑过渡。

三维模拟器在没有三维音频或双声道立体声模拟的情况下将是不完整的。双声道立体声模拟与三维可视化一起赋予三维模拟真实性。

与视觉相似，用一个耳朵来听被称为单耳的，而用两个耳朵来听被称为双耳的。听觉可以提供：声源的方向，但其分辨率比视觉要差；声源的识别性和内容，比如演讲或音乐；以及经回声、回响判断得到环境的件质，比如是普通的房间或开阔的原野。

头和耳朵(有时候也有肩膀)充当天线系统，以提供关于声源位置、距离和环境的信息。大脑可恰当地翻译各种到达头部的声音，比如：直接的声音；头附近并与外耳和肩膀相互作用的衍射声音；不同的声音振幅；以及不同的声音到达时间。这些声音变体被称为“声音提示”，并用于向我们提供关于声音的方向声学信息。

基本上，声音提示涉及时间、音量、频率和反射。在时间提示中，耳朵识别出声音到达的时间，并假定声音来自最近的源。此外，在两个耳朵分开约8英寸的情况下，声音到达一个耳朵相对于另一个耳朵的延迟给出了关于声源位置的提示。考虑到收听者基于到达耳朵的第一个波来定位该声音而不管任何后到的波的响度这一事实，时间提示比等级提示要更强。在音量(或等级)提示中，耳朵识别出声音的音量(或响度)，并且假定声音来自最响的方向。在有双声道立体声(两个耳朵)效果的情况下，两耳之间的振幅差异是用于定位声源的有力提示。在频率(或均衡)提示中，两耳在声音到达每一个耳朵时识别该声音的频率平衡，因为前面的声音被引至耳膜，而后面的声音则从外耳处弹回并因此使高频率滑离。在反射提示中，声音从各种表面弹回，并在到达耳朵之前多次被不同程度地散射或吸收。这种房间墙壁的反射和各种地板覆盖物之间的差异预知也对定位有贡献。另外，身体尤其是头可相对于声源移动，以帮助定位该声音。

以上各种声音提示从科学角度被分类成三类空间听觉提示：耳间时间差(ITD)、耳间等级差(ILD)以及头部相关变换函数(HRTF)。ITD涉及声音到达耳朵的时间以及到达双耳的时间差。ILD涉及到达耳朵的声音频谱的振幅、以及两耳所听到的声音频率的振幅差。根据音色和距离依赖性的变化、回声环境中直接声音和反射声音的时间延迟和方向，HRTF便可提供距离感。

HRTF是针对特定收听者的一组空间提示，其中包括ITD、ILD以及由收听者的身体、头、外耳和肩膀引起的反射、衍射和衰减。外耳或耳廓对HRTF有重要的贡献。更高频率的声音被耳廓过滤，以便为大脑提供一种感觉横向位置或方位角以及声源高度的方式，因为耳廓过滤的响应高度依赖于声源的整体方向。头可解释各种声音频率的减小振幅，因为声音必须穿过头或在头周围以便到达耳朵。头遮蔽的整体效果对声源的线性距离和方向的感觉有贡献。此外，1-3kHz范围中的声音频率从肩膀反射，以产生用于表示时间延迟(该时间延迟依赖于声源的高度)的回声。从世界中各个表面的反射以及回响看起来也会影响声音距离和方向的定位判断。

除了这些提示以外，移动头来帮助定位声源位置是关键的因素，它与视觉一起用来确定声音方向。对于三维浸入，所有用来定位声音的机制总是在起作用并且通常应该一致。如果不，则将有一些不舒服和混乱。

尽管我们可用一个耳朵来听，但是用两个耳朵来听显然更好。许多声音提示都涉及双声道立体声感觉，这依赖于声音的相对响度以及声音到达每个耳朵的相对时间。双声道立体声性能显然可以很好地用于：定位单个或多个声源并形成房间环境；分离来自多个不相干和相干声源的信号；以及增强回响环境中的选定信号。

从数学上讲，HRTF是耳朵所接收的声波的频率响应。通过测量特定收听者的HRTF，并且通过用数字信号处理进行电子合成，声音可通过耳机或扬声器传递到收听者的耳朵以便创建三维虚拟声像。通过在耳道中使用小麦克风，可精确地测量到耳道的声音变换，即HRTF频率响应。然后，测得的信号由计算机来处理，以便获得与声源位置相对应的左右耳HRTF频率响应。

通过将测得的HRTF用作音频滤波器或均衡器，三维音频系统便起作用了。当声音信号由HRTF滤波器处理时，声音定位提示被再现，并且收听者应该感觉到由HRTF指定位置处的声音。当收听者自己的HRTF被用于合成多个定位提示时，该双声道立体声综合方法极为有效。然而，因为测量HRTF是一个复杂的过程，所以三维音频系统通常使用先前从特定的人或人体模型处测得的单组HRTF。因此，有时候需要改变HRTF，以便精确地响应于特定的收听者。通过提供各种声源位置和环境并询问收听者来识别，便可以实现HRTF功能的调谐。

三维音频系统应向收听者提供以下能力：定义三维空间；定位多个声源和该三维空间中的该收听者；以及实时地或交互地实现。除了三维音频系统以外，立体声延伸和环绕声音等其它技术可提供某些方面的三维定位或交互性。

通过相当直截了当的方法，扩展后的立体声处理现存的立体声(双声道)音轨以添加空间性并使其看上去源自左/右扬声器位置。扩展立体声技术的一些特征包括：收听区域的大小(被称为最有效点)；立体图像的扩展量；音调变换的量；损失的立体声扫描信息量；以及在耳机和扬声器上实现效应的能力。

环绕声创建了比立体声更大的声音平台，该平台具有环绕声5-扬声器设置。另外，虚拟环绕声系统使用三维音频技术，以产生从普通的立体声扬声器组中发出的5个扬声器的幻觉，因此在不需要5个扬声器设置的情况下也能体验环绕声收听。环绕声技术的特征包括：呈现精度；空间成像的清晰度；以及收听区域的大小。

为了更佳的三维音频系统，音频技术需要通过复制真实世界中耳朵听到的三维音频提示，来创建像生活中的那种收听体验，以便允许在收听者周围三维空间中的任何地方进行非交互和交互的声音收听和定位。

头部跟踪器功能也是非常重要的，可向收听者提供感性空间恒定性。换句话说，当收听者移动他们的头时信号将发生变化，使得所感觉到的听觉世界保持其空间位置。为此，模拟系统需要知道头的位置，以便能够充分地控制双声道立体声脉冲响应。因此必须提供头部位置传感器。对于虚拟真实背景中的诸多应用，沉浸于其中的感觉特别重要。

通过在每一处放无穷多个麦克风，便可产生声场的复制品。在存储到具有无穷多个声道的录音机中之后，该记录可通过无穷多个点源扬声器来回放，每一个点源扬声器像其相应的麦克风那样精确地放置。随着麦克风和扬声器数目的减小，所模拟的声场质量会变糟糕。到减小到两个声道的时候，高度提示肯定已经丢失，不再有可从房间中任意位置听到的工作台，我们发现现在只有当我们沿着一条离最后两个剩余的扬声器等距且面对着它们的时候，工作台上的源才可能被定位。

然而，仅有两个声道应该足够了，因为如果我们将模拟现场表演所必需的精确声音传递到每一个耳道的入口，则因为我们只有两个耳道，所以我们应该只需要产生两个这样的声场。换句话说，因为我们只用两个耳朵就可听到真实三维世界，所以必然有可能只用两个扬声器或耳机组来实现相同的效果。

耳机再现因此与扬声器再现有区别，因为对于正常的耳朵间隔来说，耳机麦克风应该间隔约7英寸，而扬声器麦克风间隔应该约为7英尺。此外，扬声器会遭遇串扰，因此对于三维扬声器设置而言需要一些信号调节(比如串扰消除)。

扬声器三维音频系统在台式计算环境中极为有效。这是因为这种情况下通常只有一个收听者(计算机用户)，他几乎总是位于扬声器之间的中心并面对着监视器。因此，主要的用户获得完全的三维效果，因为串扰恰好被消除了。在典型的三维音频应用中(比如视频游戏)，许多朋友可能会聚在一起观看。在这种情况下，当他们位于扬声器的中间时，他们也可以听到最佳的三维音频效果。偏离中间的收听者可能无法获得完全的效果，但是使用一些空间增强他们仍然听到高品质立体声节目。

为实现三维音频，扬声器通常在大约同一水平面上围绕着收听者排列，但是也可以完全围绕着该收听者，从天花板到地面到周围的墙壁。可选地，扬声器也可置放在天花板上、地板上、排列在头顶上的穹顶结构中、或排列在竖直墙壁结构中。此外，可使用波束发射扬声器来替代耳机。波束发射扬声器提供针对收听者的移动自由度并且扬声器之间没有串扰，因为波束发射的扬声器提供密集的声波束。

通常，为了实现令人信服的三维音频体验最少需要4个扬声器，而一些研究者在无回音室中使用20或更上的扬声器，以便重建具有更高精度的声音环境。

多扬声器回放的主要优点在于：

-不依赖于单个物体的HRTF，因为声场是在不参照任何单个收听者的情况下创建的。

-物体可自由移动它们的头，甚至在有限的范围内移动。

-在一些情况下，一个以上物体可以同时收听到该系统。

许多串扰消除器都基于高度简化的串扰模型，例如将串扰模型化成简单的延迟和衰减过程、或延迟和低通滤波器。其它串扰消除器基于球形头模型。对于双声道立体声合成，串扰消除性能最终受到人头大小和形状的不同的限制。

三维音频模拟可以通过下面的步骤来实现：

-输入声学空间的各种特征。

-确定收听位置处声音到达的顺序。每一个声音到达将具有下面的特征：(a)到达时间，基于回声-路径所穿行的距离；(b)到达的方向；(c)声音的衰减(频率的函数)，因回声-路径所遭遇的各表面的吸收特性所致。

-计算包括多个声音到达的声学空间的脉冲响应。

-FIR滤波器的结果向收听者回放。在用仿真头响应来计算脉冲响应的情况下，这些结果是通过耳机播放给收听者的。在这种情况下，也应用特定耳机所必需的均衡。

声学环境的模拟包括一个或多个下面的功能：

-处理音频源输入并通过多个扬声器(或耳机)将其呈现给上述对象，意在使该声源看起来像是位于空间中特定的位置处。

-按每一个源都独立地位于对象周围的空间中这一方式，来处理多个输入音频源。

-增强处理，以便模拟室内声学的某些方面，使得用户可以用声学方式检测房间的大小以及地面和墙壁覆盖物的性质。

-能够让上述对象移动(或许在有限的范围中)并转动他/她的头，以便将注意力集中到声源特征或室内声学的某些方面。

双声道立体声模拟通常用没有任何不想要的回声或噪声的声源材料来执行。然后，通过使用合适的HRTF滤波器，可对某一对象重新播放声源材料，以产生源音频源自特定方向的幻觉。通过简单地用一对HRTF响应对来卷积音频信号，来实现HRTF滤波(一个HRTF滤波器对应于耳机的一个声道)。

眼睛和耳朵常常同时观察到某一事件。看到门关闭且听到关门声如果同时发生，则被解释成一个事件。如果我们看到门关闭却没有声音，或者看到门在我们前面关闭却听到左边有关门声，则我们获得警告并且很困惑。在另一个场景中，我们可能听到在我们前面的声音，并看到带有一个角落的走廊，音频和视频提示的组合允许我们判断可能有一个人站在那个角落。三维音频和三维视觉提示一起提供了一种非常强烈的沉浸于其中的体验。通过这种同步，三维音频和三维图形系统都可以得到显著增强。

通过使用头部跟踪，可以实现通过耳机的改进回放。该技术利用对某一对象的头的方向进行连续测量，并且调整音频信号使其被恰当地馈入耳机。双声道立体声信号应该使对象能够很容易地区分左右声源位置，但是通常只有允许头部移动才能够区分前后和高低声源。同时多扬声器回放方法在很大程度上解决了这个问题，仍然有许多偏好使用耳机回放的应用，并且头部跟踪可被用作一种用于改善三维回放质量的重要工具。

头部跟踪双声道立体声系统的最简单形式是这样一个系统，它简单地模拟无回声HRTF并且响应于对象头部移动而迅速地改变HRTF函数。该HRTF切换可以通过查询表格来实现，其中插值被用于解析HRTF表格中未呈现的角度。

在具有头部跟踪的耳机中模拟室内声学变得更困难了，因为在使所得的声音很逼真的过程中，早期反射的到达方向也很重要。许多研究者相信，房间响应的回响尾部中的回声通常是散开的，使得不需要用该对象的头部移动来跟踪这部分房间响应。

任何头部跟踪回放系统的重要特征是，从对象头部移动到耳机处音频响应变化的延迟。如果该延迟过量，则该对象会体验到某种形式的虚拟移动恶心和一般的迷失方向。

当收听者倾斜或旋转其头部时，音频提示会急剧变化。例如，迅速将头部转动90度以看向侧面这一行为等价于声音瞬间从收听者侧面前进到其前面。我们通常使用头部移动来跟踪声音或搜索声音。耳朵提醒大脑在眼睛目前关注的区域以外发生了一个事件，并且我们自动地转向以重新改变我们的注意力。另外，我们使用头部移动来解决模糊性：微弱低沉的声音可能在我们前面或后面，所以我们会迅速且下意识地将头部向左转一点，并且我们知道如果所以现在该声音偏右，则该声音在前方，否则就在后方。交互式音频比预先记录的音频(音轨)更显真实的原因之一是，收听者头部移动可在交互式系统中被恰当地模拟(通过使用来自操纵杆、鼠标、或头部跟踪系统的输入)。

HRTF功能是用数字信号处理(DSP)硬件来执行的，以便实时执行。DSP的典型特征是：直接的声音必须被处理，以便给出正确的振幅和感觉到的方向；早期的回声必须以合适的时间、振幅和频率响应到达收听者处，以便给出空间大小的感觉(以及房间表面的声学本性)；以及后来的回响必须是自然的并且以三维的方式正确分布在收听者周围。和房间响应的其余部分相比，直接的声音的相对振幅帮助提供距离的检测。

因此，三维音频模拟可以提供双声道立体声增益，使得完全一样的音频内容在双声道立体声的情况下更易听到且更易理解，因为大脑可以局部化到某一部分并因此“选出”双声道立体声信号，同时非双声道信号被淹没在噪声中。此外，收听者将仍然能够调谐到并理解单个对话，因为它们仍然是空间分离的，并且被双声道立体声增益“放大”，这是一种被称为鸡尾酒会效应的效应。双声道立体声模拟也可以提供更快的反应时间，因为这种信号反映了在真实世界中接收到的那些。另外，双声道立体声信号可以传递位置信息：双声道立体声雷达警报声可以警告用户某一特定的物体正在靠近(用一种针对该物体的独特声音)，并且自然地指示物体从哪儿来。此外，听双声道立体声模拟可以不怎么疲劳，因为我们已经习惯了听源自头部以外的声音，就像具有双声道立体声信号的情况那样。当使用耳机时，单信号或立体信号看起来像是来自收听者头内部，并且产生比自然声音、双声道立体声信号更多的疲劳。最后，在视觉和双声道立体声同步显示的时候，三维双声道立体声模拟可以提供增强的感觉并沉浸于更高品质的三维环境中。

Claims (80)

1.一种三维水平透视模拟器系统，包括：

第一水平透视显示器，使用水平透视将三维图像显示到开放空间；

第二显示器，用于显示与所述三维图像有关的信息；以及

外围设备，用于通过触摸所述三维图像来操纵显示图像。

2.如权利要求1所述的模拟器系统，其特征在于，所述第二显示器显示二维图像或中心透视图像。

3.如权利要求1所述的模拟器系统，还包括第三曲线显示器，用于使第一和第二显示器结合起来。

4.如权利要求1所述的模拟器系统，还包括处理单元，用于接受来自所述外围设备的输入并将输出提供给所述第一水平透视显示器。

5.如权利要求1所述的模拟器系统，还包括处理单元，用于接受来自所述第二显示器的输入并将输出提供给所述第一水平透视显示器。

6.如权利要求1所述的模拟器系统，还包括用于将实际外围设备跟踪到所述三维图像的装置。

7.如权利要求1所述的模拟器系统，还包括用于将实际外围设备校准到所述三维图像的装置。

8.一种三维水平透视模拟器系统，包括：

处理单元；

第一水平透视显示器，使用水平透视将三维图像显示到开放空间；

第二显示器，用于显示与所述三维图像有关的信息；

外围设备，用于通过触摸所述三维图像来操纵显示图像；以及

外围设备跟踪单元，用于将所述外围设备映射到所述三维图像。

9.如权利要求8所述的模拟器系统，还包括第三曲线显示器，用于使第一和第二显示器结合起来。

10.如权利要求8所述的模拟器系统，还包括处理单元，用于接受来自所述第二显示器的输入并将输出提供给所述第一水平透视显示器。

11.如权利要求8所述的模拟器系统，其特征在于，所述第一水平透视显示器还将所述三维图像的一部分显示到内部访问体积，由此所述内部访问体积中的图像部分不能被所述外围设备触及。

12.如权利要求8所述的模拟器系统，其特征在于，所述第一水平透视显示器还包括自动或手动视点跟踪，用于使所述水平透视显示器的照相机视点与使用者的视点同步。

13.如权利要求8所述的模拟器系统，其特征在于，所述第一水平透视显示器还包括用于使所述三维图像缩放、旋转或移动的装置。

14.如权利要求8所述的模拟器系统，其特征在于，所述外围设备是工具、手持式工具、空间手套或定点设备。

15.如权利要求8所述的模拟器系统，其特征在于，所述外围设备包括尖端，其中所述操纵对应于所述外围设备的尖端。

16.如权利要求8所述的模拟器系统，其特征在于，所述操纵包括修改显示图像的动作或产生不同图像的动作。

17.如权利要求8所述的模拟器系统，其特征在于，所述外围设备映射包括将所述外围设备的位置输入到所述处理单元。

18.如权利要求8所述的模拟器系统，其特征在于，所述外围设备跟踪单元包括三角测量或红外线跟踪系统。

19.如权利要求18所述的模拟器系统，还包括用于将所述显示图像的坐标校准到所述外围设备的装置。

20.一种多视图三维水平透视模拟器系统，包括：

处理单元；

第一立体水平透视显示器，使用水平透视将立体三维图像显示到开放空间；

第二显示器，用于显示与所述三维图像有关的信息；

外围设备，用于通过触摸所述三维图像来操纵显示图像；以及

外围设备跟踪单元，用于将所述外围设备映射到所述三维图像。

21.一种通过水平透视投影来进行三维水平透视模拟的方法，所述水平透视投影包括根据预定的投影视点来显示水平透视图像，所述方法包括如下步骤：

使用水平透视将三维图像显示到第一显示器的开放空间；

将第二图像显示到第二显示器上；以及

通过用外围设备触摸所述三维图像，来操纵第一显示器表面上的显示图像。

22.如权利要求21所述的方法，还包括以下步骤：接受来自所述第二显示器的输入并将输出提供给所述第一水平透视显示器。

23.如权利要求21所述的方法，还包括以下步骤：将实际外围设备跟踪到所述三维图像。

24.如权利要求23所述的方法，其特征在于，跟踪所述外围设备包括跟踪所述外围设备的尖端。

25.如权利要求23所述的方法，其特征在于，所述外围设备跟踪包括将所述外围设备的位置输入到所述处理单元。

26.如权利要求23所述的方法，其特征在于，所述外围设备跟踪包括三角测量或红外线跟踪的步骤。

27.如权利要求21所述的方法，还包括将实际外围设备校准到所述三维图像的步骤。

28.如权利要求27所述的方法，其特征在于，所述校准步骤包括手动输入基准坐标。

29.如权利要求27所述的方法，其特征在于，所述基准步骤包括通过校准过程自动输入基准坐标。

30.如权利要求21所述的方法，还包括将第三图像显示到第三曲线显示器上的步骤，所述曲线显示器用于使所述第一显示器和第二显示器结合起来。

31.如权利要求21所述的方法，其特征在于，所述水平透视显示器是一种立体水平透视显示器，它使用水平透视来显示立体三维图像。

32.如权利要求21所述的方法，其特征在于，所述水平透视显示器还将所述三维图像的一部分显示到内部访问体积中，由此所述内部访问体积中的图像部分不能被所述外围设备触及。

33.如权利要求21所述的方法，还包括对所述水平透视显示器进行自动或手动视点跟踪的步骤。

34.如权利要求21所述的方法，还包括缩放、旋转或移动所述三维图像的步骤。

35.如权利要求21所述的方法，其特征在于，用所述外围设备操纵所述显示图像包括跟踪所述外围设备的尖端。

36.如权利要求35所述的方法，其特征在于，所述操纵包括修改所述显示图像的动作或产生不同图像的动作。

37.一种使用三维水平透视模拟器系统的三维模拟方法，所述三维水平透视模拟器系统包括：

处理单元；

第一水平透视显示器，使用水平透视将三维图像显示到开放空间；

第二显示器，用于显示与所述三维图像有关的信息；

外围设备，用于通过触摸所述三维图像来操纵显示图像；以及

外围设备跟踪单元，用于将所述外围设备映射到所述三维图像；

所述方法包括：

校准所述外围设备；

使用水平透视将第一三维图像显示到第一显示器表面的开放空间；

将第二图像显示到第二显示器上；

跟踪所述外围设备；以及

通过用所述外围设备触摸所述三维图像，来操纵所述显示图像。

38.如权利要求37所述的方法，还包括将第三图像显示到第三曲线显示器上的步骤，所述曲线显示器用于使第一显示器和第二显示器结合起来。

39.一种使用多视图三维水平透视模拟器系统的三维模拟方法，所述多视图三维水平透视模拟器系统包括：

处理单元；

第一立体水平透视显示器，使用水平透视将立体三维图像显示到开放空间；

第二显示器，用于显示与所述三维图像有关的信息；

外围设备，用于通过触摸所述三维图像来操纵显示图像；以及

外围设备跟踪单元，用于将所述外围设备映射到所述三维图像；

所述方法包括：

使用水平透视将第一立体三维图像显示到所述第一显示器表面的开放空间；

将第二图像显示到所述第二显示器上；

跟踪所述外围设备；以及

通过用外围设备触摸所述三维图像，来操纵所述显示图像。

40.如权利要求39所述的方法，还包括将第三图像显示到第三曲线显示器上的步骤，所述曲线显示器用于使第一显示器和第二显示器结合起来。

41.一种三维水平透视模拟器系统，包括：

第一水平透视显示器，使用水平透视来根据预定的投影视点将三维图像显示到开放空间；

外围设备，用于通过触摸所述三维图像来操纵所述显示图像；以及

三维音频模拟系统，用于向预定的投影听觉点提供三维声音，所述三维声音对应于水平透视三维图像。

42.一种三维水平透视模拟器系统，包括：

第一水平透视显示器，使用水平透视来根据预定的投影视点将三维图像显示到开放空间；

外围设备，用于通过触摸所述三维图像来操纵所述显示图像；

三维音频模拟系统，用于向预定的投影听觉点提供三维声音，所述三维声音对应于水平透视图像；以及

输入设备，所述输入设备接受用于控制三维图像或三维声音的输入位置。

43.如权利要求42所述的模拟器系统，其特征在于，所述三维音频模拟系统包括两个声道和一个HRTF(头部相关变换函数)滤波器。

44.如权利要求42所述的模拟器系统，其特征在于，所述三维音频模拟系统包括三维扬声器音频系统或三维耳机音频系统。

45.如权利要求42所述的模拟器系统，其特征在于，所述输入设备充当视点输入设备，用于接受输入的视点位置，其中通过将所输入的视点用作投影视点便可调节所述三维图像。

46.如权利要求42所述的模拟器系统，其特征在于，所述输入设备充当听觉点输入设备，用于接受输入的听觉点位置，其中通过将所输入的听觉点用作投影听觉点便可调节所述三维声音。

47.如权利要求42所述的模拟器系统，其特征在于，所述输入设备是自动输入设备，由此所述自动输入设备自动地提取观看者的视点位置或听觉点位置。

48.如权利要求47所述的模拟器系统，其特征在于，所述自动输入设备选自以下组：射频跟踪设备；红外线跟踪设备；照相机跟踪设备。

49.如权利要求42所述的模拟器系统，还包括：

图像输入设备，用于接受图像命令；

其中所述计算机系统还接受来自所述图像输入设备的图像命令，从而在向显示器输出图像之前先根据图像命令，将输入的视点位置用作投影视点来计算水平透视投影图像。

50.如权利要求49所述的模拟器系统，其特征在于，所述图像命令包括图像放大、图像移动、图像旋转命令以及显示另一个预定图像的命令。

51.如权利要求42所述的模拟器系统，还包括：

第二显示器，它定位成与所述第一显示器成一定角度。

52.如权利要求5 1所述的模拟器系统，还包括第三曲线显示器，用于使第一和第二显示器结合起来。

53.如权利要求51所述的模拟器系统，还包括处理单元，它接受来自所述第二显示器的输入并将输出提供给所述第一水平透视显示器。

54.如权利要求42所述的模拟器系统，其特征在于，所述外围设备是工具、手持式工具、空间手套或定点设备。

55.如权利要求42所述的模拟器系统，其特征在于，所述外围设备包括尖端，其中所述操纵对应于所述外围设备的尖端。

56.如权利要求42所述的模拟器系统，其特征在于，所述操纵包括修改显示图像的动作或产生不同图像的动作。

57.如权利要求42所述的模拟器系统，还包括用于将实际外围设备跟踪到三维图像的装置。

58.如权利要求42所述的模拟器系统，其特征在于，所述外围设备跟踪单元包括三角测量或红外线跟踪系统。

59.如权利要求42所述的模拟器系统，还包括用于将所述显示图像的坐标校准到所述外围设备的装置。

60.如权利要求42所述的模拟器系统，其特征在于，所述水平透视显示器是一种立体水平透视显示器，它使用水平透视来显示立体三维图像。

61.一种通过水平透视投影进行三维水平透视模拟的方法，所述水平透视投影包括根据预定的投影视点来显示水平透视图像，所述方法包括以下步骤：

使用水平透视将三维图像显示到第一显示器表面的开放空间；

将三维声音呈现到与所述三维图像相对应的预定的投影听觉点；以及

通过用外围设备触摸三维图像，来操纵所述第一显示器表面上的显示图像。

62.一种通过水平透视投影来进行三维水平透视模拟的方法，所述水平透视投影包括根据预定的投影视点来显示水平透视图像，所述方法包括以下步骤：

使用水平透视将三维图像显示到第一显示器表面的开放空间；

将第二图像显示到第二显示器；

将三维声音呈现到与三维图像相对应的预定的投影听觉点；以及

通过用外围设备触摸三维图像，来操纵所述第一显示器表面上的显示图像。

63.如权利要求62所述的方法，其特征在于，呈现三维声音包括通过HRTF(头部相关变换函数)滤波器输出两个声道的声音。

64.如权利要求62所述的方法，其特征在于，呈现三维声音包括通过三维扬声器音频系统或三维耳机音频系统输出声音。

65.如权利要求62所述的方法，还包括接受来自第二显示器的输入并将输出提供给所述第一水平透视显示器的步骤。

66.如权利要求62所述的方法，还包括将实际外围设备跟踪到三维图像的步骤。

67.如权利要求66所述的方法，其特征在于，跟踪所述外围设备包括跟踪所述外围设备的尖端。

68.如权利要求66所述的方法，其特征在于，所述外围设备跟踪包括将所述外围设备的位置输入到所述处理单元。

69.如权利要求66所述的方法，其特征在于，所述外围设备跟踪包括三角测量或红外线跟踪的步骤。

70.如权利要求62所述的方法，还包括将第三图像显示到第三曲线显示器上的步骤，所述曲线显示器用于使第一显示器和第二显示器结合起来。

71.如权利要求62所述的方法，其特征在于，所述水平透视显示器是一种立体水平透视显示器，它使用水平透视来显示立体的三维图像。

72.如权利要求62所述的方法，还包括对所述水平透视显示器进行自动或手动视点跟踪的步骤。

73.如权利要求72所述的方法，其特征在于，所述视点跟踪进一步充当听觉点跟踪。

74.如权利要求62所述的方法，还包括对三维声音投影进行自动或手动的听觉点跟踪。

75.如权利要求62所述的方法，还包括缩放、旋转或移动所述三维图像的步骤。

76.如权利要求62所述的方法，其特征在于，用外围设备操纵显示图像包括跟踪所述外围设备的尖端。

77.如权利要求76所述的方法，其特征在于，所述操纵包括修改所述显示图像的动作或产生不同图像的动作。

78.一种使用三维水平透视模拟器系统的三维模拟方法，所述三维水平透视模拟器系统包括：

处理单元；

第一水平透视显示器，使用水平透视将三维图像显示到开放空间；

第二显示器，用于显示与三维图像有关的信息；

三维音频模拟系统，用于向预定的投影听觉点提供三维声音；

外围设备，通过触摸三维图像来操纵显示图像；以及

外围设备跟踪单元，用于将所述外围设备映射到三维图像；

所述方法包括：

校准所述外围设备；

使用水平透视，将第一三维图像显示到所述第一显示器表面的开放空间；

将第二图像显示到所述第二显示器上；

呈现与所述三维图像相对应的三维声音；

跟踪所述外围设备；以及

通过用所述外围设备触摸所述三维图像，来操纵所述显示图像。

79.如权利要求78所述的方法，其特征在于，所述三维音频模拟系统包括两个声道和一个HRTF(头部相关变换函数)滤波器。

80.如权利要求78所述的方法，还包括将第三图像显示到第三曲线显示器上的步骤，所述曲线显示器用于使第一显示器和第二显示器结合起来。

Images