CN102713978B

CN102713978B - 视觉呈现系统

Info

Publication number: CN102713978B
Application number: CN201080041238.9A
Authority: CN
Inventors: D·E·沃德; D·J·兰安
Original assignee: Sydac Pty Ltd
Current assignee: Sydac Pty Ltd
Priority date: 2009-09-16
Filing date: 2010-09-16
Publication date: 2016-01-27
Anticipated expiration: 2030-09-16
Also published as: AU2010295239B2; EP2478492A4; US9189885B2; AU2010221799A1; AU2010295239A1; EP2478492A1; US20120281002A1; AU2010221799B2; HK1174134A1; WO2011032217A1; CN102713978A; EP2478492B1

Abstract

公开了一种用于在模拟器的像面上显示3D世界的2D呈现的方法。像面限定模拟器的复制环境的固定观察区域并还与由模拟器的操作员观察的示图对应。方法包括确定复制环境的操作员的头部位置并在保持像面恒定的同时基于操作员的头部位置修改3D世界的观察空间以形成修改的观察空间的步骤。然后产生并在像面上显示基于修改的观察空间的2D呈现。

Description

视觉呈现系统

对于优先权的要求

本申请基于在2009年9月16日提交的发明名称为“VISUALPRESENTATIONSYSTEM”的澳大利亚临时专利申请No.2009904489要求专利优先权，在此特意加入其全部内容作为参考。

技术领域

本发明涉及视觉呈现系统。在特定的形式中，本发明涉及用于模拟器的视觉呈现系统。

背景技术

用于训练和评价范围从飞行器到工厂固定设备的设备的操作员的模拟器的使用允许在可使用预定的训练和评价方案以训练或确定操作员的资格的控制环境中进行这些任务。很显然，与实际设备自身相对的模拟器的使用提供大量的益处。主要的益处在于，设备保持免费使用。在训练操作员的情况下，模拟器的使用还允许在不危及被训练的人的安全的环境中完成训练。这还确保设备没有受损的风险。使用模拟器的另一益处在于，可在实际上会难以在实际操作设备中复制的方案中训练或评价操作员。

模拟器系统一般包含复制被模拟的设备的操作环境的物理复制环境。该复制环境常包含输出直接被模拟系统处理器监视的大量的操作员控制，该模拟系统处理器实时实现将设备的部件与物理环境的交互作用模型化的模拟模型，并且还基于设备在与物理环境交互作用时的期望的行为模拟复制环境。该模拟的范围可从诸如测量仪表等的指示器的简单驱动到诸如基于操作员的行动移动复制环境的运动平台的情况下的复制环境的直接物理操作。

常常地，模拟系统的关系部件是向位于复制环境的操作员提供视觉显示的视觉呈现系统。本领域技术人员可以理解，设备的大多数的项目的操作强烈依赖于操作员的观察、理解并最终在物理世界中出现视觉暗示时行动的能力。因此，为了使得模拟器提供有效的训练或评价工具，必须再现操作员正常看到的。所看的模仿越精确，则模拟器作为训练或评价工具越有效。

一般地，视觉呈现系统包含显示三维(3D)世界的呈现的一个或多个屏幕，该呈现是基于3D世界模型中的设备的模拟位置重新产生的。作为例子，模拟在轨道上的移动的训练的操作的训练模拟器将在位于复制环境周围的屏幕上显示在驾驶员的舱室(即，复制环境)的窗口外面所观察的，所观察的依赖于驾驶员的舱室在轨道上的计算的位置。以这种方式，代表即将到来的轨道的视野的前屏幕和侧屏幕代表对于驾驶员的舱室的任一侧看到的视野。

一般地，视觉呈现系统包含位于超过复制环境的物理窗口的距离上的屏幕上的图像投影。可通过诸如与适当的投影表面组合的基于LCD的投影仪的标准投影系统或用于使得在远处出现图像的准直屏幕型显示器的使用实现图像的投影。

这种类型的视觉呈现系统存在大量的明显的缺点。主要的缺点在于，视差效果(即，随着头部移动的图像的各变化)的模拟程度直接依赖于屏幕与窗口之间的距离和屏幕的尺寸，由此直接影响模拟系统的尺寸。由于屏幕的尺寸，还存在对于在投影屏幕上保持图像的均匀亮度的高功率投影系统的相关的需求。另一显著的缺点是不能以任意的逼真程度模拟风挡效果。这些包括诸如雨滴、落雪、灰泥或诸如玻璃染色或偏差的其它风挡人为物的效果或诸如破裂或碎屑的损伤。

在解决这些缺点的一种尝试中，图像被直接投影到复制环境的窗口上。这减小屏幕的尺寸并由此减小模拟器的尺寸，由此解决以上提到的与尺寸相关的问题并且还允许模拟窗口效果。但是，由于不存在视差效果的模拟，基于这种类型的视觉呈现系统的模拟系统由于将图像直接投影到窗口上所固有的“窗口上描画”效果，而提供3D世界的差的模拟。

因此，需要能够改善对于模拟器的操作员的3D世界的呈现的模拟器的视觉呈现系统。

发明内容

在第一方面中，本发明因此提供一种用于在模拟器的像面上显示3D世界的2D呈现的方法，像面限定模拟器的复制环境的固定观察区域并与由模拟器的操作员观察的示图对应，该方法包括以下的步骤：

确定复制环境的操作员的头部位置；

在保持像面恒定的同时基于操作员的头部位置修改3D世界的观察空间(volume)以形成修改的观察空间；

基于修改的观察空间产生2D呈现；和

在像面上显示2D呈现。

在另一形式中，观察空间被修改成考虑操作员关于固定观察区域的不同的透视图。

在另一形式中，操作员的头部位置由面部跟踪系统确定。

在另一形式中，固定观察区域与复制环境的窗口对应。

在另一形式中，固定观察区域与复制环境的镜像对应。

在另一形式中，直接在像面上显示2D呈现。

在另一形式中，2D呈现被投影到像面上。

在另一形式中，实时实现确定头部位置、修改观察空间和产生并显示2D呈现的步骤。

在另一形式中，方法还包括向在像面上显示的2D呈现施加风挡效果。

在另一形式中，头部取向也被确定。

在另一形式中，头部取向的预定变化被处理以提供用于模拟器的模拟器控制命令。

在另一形式中，模拟器是用于训练操作员的训练模拟器。

在第二方面中，本发明因此提供一种用于在模拟器的像面上显示3D世界的立体2D呈现的方法，像面限定模拟器的复制环境的固定观察区域并与由模拟器的操作员观察的示图对应，该方法包括以下的步骤：

确定复制环境的操作员的各眼睛的眼睛位置；

在保持像面恒定的同时基于操作员的各眼睛的眼睛位置修改3D世界的观察空间以形成各眼睛的修改的观察空间；

基于各眼睛的修改的观察空间产生单独的2D呈现；和

在像面上显示单独的立体2D呈现以形成立体2D呈现。

在另一形式中，通过确定头部位置和操作员的眼睛的分离确定各眼睛的眼睛位置。

在第三方面中，本发明因此提供一种用于模拟器的视觉呈现系统，该模拟器包括包含与由模拟器的操作员观察的示图对应的固定观察区域的复制环境，该系统包括：

用于确定复制环境内的操作员的头部位置的头部位置确定部件；

在保持与固定观察区域对应的观察空间的像面恒定的同时基于操作员的头部位置修改3D世界的观察空间并用于基于修改的观察空间产生2D呈现的数据处理器部件；和

用于在像面上显示2D呈现的显示部件。

在另一形式中，头部位置确定部件包含面部跟踪系统。

在另一形式中，头部位置确定部件包含用于检测位于操作员的头部上的一个或多个相应的信号发射器的传感器。

在另一形式中，固定观察区域与复制环境的窗口对应。

在另一形式中，固定观察区域与复制环境的镜像对应。

在另一形式中，显示部件直接在像面上显示2D呈现。

在另一形式中，显示部件将2D呈现投影到像面上。

在另一形式中，显示部件基于操作员的头部位置被实时更新。

在另一形式中，数据处理器还在2D呈现的产生中包含向在像面上显示的2D呈现施加风挡效果。

在另一形式中，视觉呈现系统还包括头部取向确定部件。

在第四方面中，本发明因此提供一种用于模拟器的3D视觉呈现系统，模拟器包括包含与由模拟器的操作员观察的示图对应的固定观察区域的复制环境，该系统包括：

用于确定复制环境的操作员的各眼睛的位置的眼睛位置确定部件；

用于在保持与各眼睛的固定观察区域对应的观察空间的像面恒定的同时基于操作员的各眼睛的眼睛位置修改各眼睛的3D世界的观察空间并用于基于各眼睛的修改的观察空间产生单独2D呈现的数据处理部件；

用于在像面上显示单独的2D呈现以形成立体2D呈现的显示部件；和

允许操作员的各眼睛观察单独的2D呈现的用于操作员的观察部件。

在第五方面中，本发明因此提供一种模拟器，该模拟器包括：

包含与由模拟器的操作员观察的示图对应的固定观察区域的复制环境；

用于在保持与固定观察区域对应的观察空间的像面恒定的同时基于操作员的头部位置修改3D世界的观察空间并用于基于修改的观察空间产生2D呈现的数据处理器部件；和

用于在像面上显示2D呈现的显示部件。

在第六方面中，本发明因此提供一种用于在训练模拟器的显示器上显示3D世界的2D呈现的方法，模拟器包含用于对于操作员提供训练的复制环境，该操作员在模拟器中训练的同时还观察显示器，该方法包括以下的步骤：

确定复制环境的操作员的头部位置；

基于头部位置重新产生2D呈现；和

在显示器上显示2D呈现。

在第七方面中，本发明因此提供一种对于操作员的训练模拟器，该训练模拟器包括：

复制环境；

用于显示复制环境在其中操作的3D世界的2D呈现的显示部件；和

用于基于操作员的头部位置重新产生在显示部件上显示的2D呈现的数据处理器部件。

附图说明

参照附图讨论本发明的解释性的实施例，其中，

图1是示出包含于根据一个示例性现有方法的显示器上的3D世界的计算机产生的显示中的步骤的流程图；

图2是表示与图1所示的3D世界的计算机产生的显示相关的观察空间的示意图；

图3是根据本发明的解释性的实施例的用于在模拟器的像面上显示3D世界的2D呈现的方法的流程图；

图4是表示根据图3所示的用于显示2D呈现的方法基于操作员的头部位置修改的观察空间的示意图；

图5是操作员与表示关于像面的操作员的头部位置的变化的像面之间的区域的水平示图；

图6是与图5所示类似的操作员与像面之间的区域的垂直示图，该示图也示出关于像面的操作员的头部位置的变化；

图7是根据本发明的另一解释性的实施例的模拟器的视觉呈现系统的系统示图。

在以下的描述中，类似的附图标记在几个附图视图中表示类似或对应的部分。

具体实施方式

现在参照图1，表示可以有利地使用本发明的3D世界的2D呈现的计算机产生的显示的一个示例性方法100的流程图。

在第一步骤110中，通过在虚拟空间内放置一系列的各个3D物体形成3D世界。一般地，通过使用允许操作员在成分表面外面构建物体的模型的专用的软件工具产生3D物体。用于产生3D物体的一些示例性软件工具包含但不限于Autodesk^TM3dsMax^TM或Maya^TM和Google^TMSketchUp^TM。这些成分表面可基于标准几何形状，或者基于可被定制为匹配规则的表面的形状的样条(spline)呈现为可操作表面。

在3D模型的形成和随后的呈现中使用的数学描述的另一例子是引线框模型，该引线框模型的最简单的形式是记录与被模型化的物体上的顶点对应的顶点信息和跨接各对的顶点的相关的边信息的数据结构。这些边可根据被模型化的物体由直线或曲线形成。

在模拟器的例子中，对于3D世界产生的各种3D物体与模拟的装置可能遇到的物理物体对应。以训练模拟器作为一个解释性的例子，这些物体会包含：诸如训练轨道的项目；诸如树和地形变化的环境方面；诸如信令装置的轨道侧用具；和诸如站点等的相关的建筑物。在形成3D世界以再现实际位置的情况下，与适当位置中的实际项目对应的各个3D物体相互处于与物理位置相同的空间关系中。

3D物体还可包含在3D世界中出现的模拟时间周期中掌控它们的移动和发展的动态性能。包含动态性能的3D物体的一些例子包含但不限于：诸如云、波和树的环境物体；诸如车辆等的物理物体；和模拟的人，这些模拟的人可通过用3D世界对于其它物体的移动做出反应被掌控，并且，这些模拟的人还可包含确定它们的移动的随机成分。

与3D物体的各表面相关的是影响这些单个表面的外观的表面视觉性能。这些视觉性能包括但不限于表面纹理和反射率。本领域技术人员可以理解，3D世界的形成一般是耗时的过程，原因是它需要物体的3D几何、视觉和潜在动态特性的清晰度，使得它可从任意的方向被观察。在一些例子中，在不被横跨并且实际上仅从远处观察的3D世界内，3D世界可包含用于这些区域的2D成分。

在步骤120中，选择与观察位置对应的3D世界内的照相机位置P₀和取向。在模拟器的例子中，照相机位置与模拟器操作的3D世界内的操作员的初始位置P₀和取向对应。在这种情况下，初始位置会与与3D世界内的复制环境的“全局”位置组合的复制环境内的模拟器的操作员的假定的“局部”位置对应。类似地，操作员将关于与3D世界内的复制环境的“全局”取向组合的复制环境内的取向具有假定的“局部”取向。

对于图像与在前窗口上显示的对应的训练模拟器，操作员的假定的局部位置会是复制舱室环境内的操作员的正常驾驶位置，并且，局部取向是通过与驾驶时的凝视的正常方向对应的前窗口径直向前。在图像与在侧窗口外面显示的对应的情况下，假定的局部取向从而与观看复制舱室环境内的该边的操作员对应。全局位置和取向从而与3D世界内的复制环境的位置对应，例如，沿站点A和B之间的轨道的3千米，使得训练在该位置中面向西方。

在步骤130中，对于在步骤120中选择的照相机位置和取向确定相关的观察空间。现在参照图2，示出与如所示的那样取向的照相机位置P₀对应的示例性观察空间200的呈现。观察空间200限定3D世界的形成在像面或近面210上产生的2D呈现的一部分的部分。

对于矩形像面210的情况，观察空间是矩形角锥的截头锥体，并且，在这种情况下，观察空间200在本领域中一般被称为观察截头锥体。虽然在该解释性的实施例中，像面210是矩形和平面的，但是，可以理解，像面210可具有任意的规则或不规则边界或轮廓，并进一步为非平面的并在曲率上加入变化。不在2D呈现中产生比像面210接近P₀的物体。类似地，位置超过远面220或处于观察空间200的剪取面231、232、233、234的侧壁外面的物体不形成产生的2D呈现的一部分。

在许多的情况下，远面220的位置无限远，使得从像面210定位并处于观察空间200内的所有物体被呈现。如上所述，不落入观察空间200内的任何物体不被呈现。因而，观察空间200的确定不仅限定关于P₀的像面的位置和给定的取向，它还用于在产生与像面210对应的2D呈现时限定可从完全的3D模型挑选的那些物体，由此提高该过程的计算效率。

在本解释性的实施例中涉及矩形平面的像面210的观察空间200可由形成观察空间200的顶点的位置P₀(x₀，y₀，z₀)和限定从P₀到观察空间200的近面210的中心的观察方向的观察矢量V定义。观察空间200的倾斜进一步由位于像面210上并与观察矢量V垂直的矢量U定义。然后，近面210的位置可由沿观察矢量V从P₀(x₀，y₀，z₀)延伸的距离定义。

近面210的边界从而可由参数定义，所述参数从V与像面210的交点定义近面210的垂直程度(沿方向U)和水平程度(沿与U垂直的方向)。类似地，远面220可被定义为沿V从近面210的距离，或者关于对于近面210的几何倍乘因数被定义。本领域技术人员可以理解，可以以许多不同的方式定义观察空间200的定义。在另一非限制性的例子中，关于从V的垂直和水平角度规定P₀的位置和近面210和远面220的顶点，以完全限定观察空间200。

重新以训练模拟器和观看前舱室窗口外面的操作员为例子，照相机位置P₀被假定为驾驶时的训练驾驶员的典型位置，并且，取向或观察矢量V被假定为通过窗口的中间径直向前。在显示舱室窗口的情况下，像面210与舱室窗口关于P₀的位置对应。在位于窗口前面的屏幕上显示图像的那些情况下，像面210将与屏幕的该位置对应。

重新参照图1，在步骤140中，然后基于观察空间200产生2D呈现。该过程与在与3D世界对应的像面210上产生一系列的像素值对应。本领域技术人员可以理解，存在实现该结果的许多技术。在一个例子中，首先在观察空间200内的物体上实施3D到2D透视投影，以限定在像面210上观察的物体的相应的2D基几何数据。

在该过程之后，2D基几何数据破成多边形，并且被表现。表现过程考虑可被单独地限定的3D世界的照明性能，和这些照明效果与导致与被呈现的物体对应的遮蔽和反射效果的被呈现的物体的表面特性的交互作用。根据表现过程的精密性，诸如场深的其它光学人为物也会被加入以反映一般通过在3D中观察等同场景遇到的3D效果。

使用专门的图形库以实施方法100的各步骤。这些包括但不限于来自Microsoft^TM的用于基于Windows^TM的操作系统的Direct3D^TM和OpenGL^TM。在诸如加入被优化以执行计算深入表现操作的专用图形处理单元(GPU)的图形卡的硬件中实现大量的这些表现选项。

在步骤150中，显示包含与像面210对应的一系列的像素的2D呈现。在单一表现场景的例子中，该过程是完成的。更一般地，产生与需要该过程的迭代150A的整个3D世界的移动对应的2D呈现的时间序列。在计算机动画的例子中，基于可与电影等内的字符相关的预定观点确定下一照相机位置和取向的选择。在模拟器或游戏的例子中，基于模拟器的操作员或游戏的玩家的行动确定3D世界内的照相机位置和取向。例如，在训练模拟器中，位置P₀依赖于主要依赖于训练多快地移动的机车的计算位置的位置，并且，取向将依赖于轨道的取向。

描述用于产生3D世界的2D呈现的方法的许多方面的一个示例性公开是Real-TimeRendering(TomasAkenineEircHaines，andNatyHoffman，A.K.PetersLtd.，3^rdedition，2008)，在此加入该公开的全部内容作为参考。

现在参照图3，表示根据本发明的解释的实施例的在用于模拟器的像面上显示3D世界的2D呈现的方法300。在解释性的实施例中，像面210限定模拟器的复制环境内的固定观察区域。在一个实施例中，该固定观察区域可以是复制环境的前窗口，并且，作为结果，像面由前窗口的边界限定。在其它的实施例中，固定观察区域可以是位于类似地限定像面的固定边界的复制环境内的其它窗口。

固定观察区域的另一例子可与由诸如常在车辆上遇到的镜像提供的示图对应。例子包括但不限于位于复制环境外面的侧镜或位于车辆内的后视镜。在这些情况下，像面210与期望反映的或由操作员观察的3D世界的镜像示图对应。

在步骤310中，在复制环境内确定模拟器的操作员的头部位置。在一个实施例中，从传感器或照相机确定头部位置，所述传感器或照相机测量诸如反射从一般与照相机共位并且指向操作员的IR源发射的IR光的红外-红(IR)反射器的操作员的头部上的一个或多个相应的信号发射器的移动。IR反射器被安装在以与眼镜类似的方式由模拟器的操作员配戴的框架上，由此提供关于照相机的视场内的头部位置的空间信息。

这种类型的示例性系统是来自NaturalPoint^TM的Track^TM。在另一解释性实施例中，基于由标准视频或网络照相机拍摄的图像通过面部识别软件确定头部位置。适于该任务的面部识别软件的一个例子是在不需要操作员配戴任何头部安装装置的情况下提供操作员的头部的位置信息的来自SeeingMachines^TM的faceAPI^TM面部跟踪系统。

在另一解释性的实施例中，头部位置由能够确定头部的位置的变化的头部安装的陀螺和加速计装置确定。在另一实施例中，射频(RF)标签的形式的信号发射器可被操作员配戴，并且，通过RF接收器的形式的大量的传感器和接收信号的三角测量推断头部位置。在另一解释性的实施例中，可通过使用由多个照相机拍摄的操作员的多个示图以跟踪操作员的头部的移动并计算其3D位置确定头部位置。

在另一解释性的实施例中，可通过位于操作员所坐的座椅中的压力或重量传感器推断头部位置。作为例子，在操作员前倾的情况下，传感器将感测座椅前部的额外压力，并且，基于该增加的压力，基于操作员的身体几何计算头部位置已从缺省位置向前移动。类似地，当操作员向任一侧或向后倾斜时，操作员的头部位置将被重新确定。在一个实施例中，可基于期望的身体尺寸和形状假定操作员的身体几何。在另一实施例中，模拟器将提示操作员在开始模拟之前键入诸如身高的细节。

在步骤320中，基于确定的头部位置修改观察空间200，并且，由于像面210与模拟器的前窗口对应，因此，像面210由于它与复制环境内的固定观察区域对应而保持恒定。现在参照图4，表示与在复制环境内改变位置的操作员的新的头部位置P₁对应的修改的观察空间200′。

现在参照图5和图6，示出像面210的水平和垂直示图和与在步骤310中确定的头部位置的变化相关的相关的修改的观察空间200′。以像面210与通过模拟器的前窗口的示图对应为例，初始像面210以操作员的位置P₀为中心。像面210的尺寸与用于模拟如上面描述的那样可以为诸如LCD屏幕的窗口或投影2D呈现的投影屏或这些显示方法的组合的物理显示装置匹配。

作为例子，对于具有前窗口的尺寸的LCD屏，3D世界中的像面210的尺寸，F_w和F_h分别被设为匹配LCD屏的宽度和高度尺寸。类似地，对于正常观察，操作员的初始距离D₀被设为远离定位观察员的监视器的距离。

在该解释性的实施例中，像面210和初始观察空间200的操作员的位置P₀由以下的参数定义：

·在初始的位置上对称延伸到从P₀延伸到像面210的水平中点的线的左右的水平视场角θ_h0、φ_h0(在图5中最好地看到)；

·在初始的位置上对称延伸到从P₀延伸到像面210的垂直中点的线的上下的垂直视场角θ_v0、φ_v0(在图6中最好地看到)；

·水平视角γ₀，这里，对于初始位置P₀，γ₀＝π；

·垂直视角σ₀，这里，对于初始位置P₀，σ₀＝π。

通过以下的关系计算水平场角：

θ_{h 0} = φ_{h 0} = \tan^{- 1} \frac{F_{w}}{{2 D}_{0}}

类似地，可通过下式计算垂直场角：

θ_{v 0} = φ_{v 0} = \tan^{- 1} \frac{F_{h}}{{2 D}_{0}}

当操作员将他们的头部移动到从初始位置偏移x、y和z的新的位置P₁(x₁，y₁，z₁)＝P₀(x₀+x，y₀+y，z₀+z)时，对于要产生的2D呈现确定具有相同的像面210的新的不对称的观察空间200′。

通过图5和图6的检查可以看出，可对于P₁限定新的观察空间200′，这里，通过新的水平视角θ_h1、φ_h1，P₁(x₁，y₁，z₁)＝P₀(x₀+x，y₀+y，z₀+z)，这里，

θ_{h 1} = \tan^{- 1} \frac{D_{0} - z}{x} - \tan^{- 1} \frac{2 (D_{0} - z)}{F_{w}}

φ_{h 1} = π - \tan^{- 1} \frac{D_{0} - z}{x} - \tan^{- 1} \frac{D_{0} - z}{(\frac{F_{w}}{2} - x)}

并且，与P₁对应的新的垂直视场角θ_v1、φ_v1由下式限定：

θ_{v 1} = \tan^{- 1} \frac{D_{0} - z}{y} - \tan^{- 1} \frac{2 (D_{0} - z)}{F_{h}}

φ_{v 1} = π - \tan^{- 1} \frac{D_{0} - z}{y} - \tan^{- 1} \frac{D_{0} - z}{(\frac{F_{h}}{2} - y)}

新的水平视角γ₁和垂直视角σ₁由下式限定：

γ_{1} = π - \tan^{- 1} \frac{D_{0} - z}{x}

σ_{1} = π - \tan^{- 1} \frac{D_{0} - z}{y}

在步骤320中的观察空间的修改之后，基于前面描述的修改的不对称的观察空间200′在步骤330上产生新的2D呈现，该新的2D呈现然后在步骤340上被显示。

如发现的那样，在存在诸如窗口的固定观察区域的情况下，为了产生正确的透视图，只需要确定模拟器环境内的头部的位置。本领域技术人员可以理解，修改观察区域所需要的必要的计算相应地更有效，这减少实施这些计算所需要的计算能力。因此，与需要昂贵的高端计算设备相反，可以在另外考虑诸如对于游戏配置的标准PC的模拟器领域中的相对低级数据处理器设备实现本发明的方面。

在其它的实施例中，头部取向也可被确定，并且，该信息可被用于提供模拟器控制命令，使得在一个解释性的实施例中进行明显的点头移动的人可开始模拟并然后通过头部取向的另一预定变化中止模拟。作为例子，除了头部位置以外，来自SeeingMachinesTM的faceAPI^TM面部跟踪系统还能够确定头部取向。

现在参照图7，示出根据本发明的另一解释性的实施例的用于模拟器的视觉呈现系统700。在该解释性的实施例中，关于其与一般用于指示诸如机车的驾驶和操作中的训练驾驶员的操作员的训练模拟器的一起使用描述视觉呈现系统700。但是，本领域技术人员可以理解，本发明一般适用于模拟器的操作员通过固定观察区域观察3D世界的2D呈现的情况。因此，模拟器的复制环境730复制加入被模拟的机车(未示出)的适当的控制和指示器的驾驶员的舱室和与复制环境730的前窗口710对应的固定观察区域。

视觉呈现系统100包括被定位为观察操作员的模拟器的头部的照相机720。在该解释性的实施例中，照相机720和相关的faceAPI^TM图像处理软件用于通过随着操作员在复制环境730内移动，实时捕获头部的图像并然后通过光学面部识别确定头部位置，来确定操作员的头部位置。

在针对训练模拟器的该解释性的实施例中，由于操作员的头部移动的希望的速度，照相机720的需要的更新率为约10Hz。因此，并且，如上所述，照相机720可基于标准网络照相机配置。在希望更迅速的头部移动的诸如飞行模拟器的其它的类型的模拟器中，更新率可根据需要增加，并且这会需要能够具有达60Hz的更新率的更专用的照相机。

视觉呈现系统700还包括，根据在一个解释性的实施例中参照图3～6描述的本发明的方法，实施用于在使与固定观察区域710对应的观察空间的像面保持恒定的同时基于由照相机720确定的操作员的头部位置修改3D世界的观察空间的图像处理计算的视觉系统处理器740。在该解释性的实施例中，固定观察区域和像面与驾驶员的舱室的前窗口对应。视觉系统处理器740进一步用于基于修改的观察空间产生2D呈现。

在本实施例中，视觉系统处理器740是加入Nvidia^TMGeForce^TM图形卡的基于具有超过2GHz的时钟速度的Intel^TM中央处理单元(CPU)的标准台式个人计算器(PC)，但是，根据系统的需要和3D世界所需要的保真度，该功能同样可分布于大量的单独的计算机或处理器上。

在该解释性的实施例中，然后在LCD屏715上显示有效地替代驾驶员的舱室的前窗口的2D呈现。在其它的实施例中，2D呈现被投影到与前窗口的位置对应的屏幕上，或者，更一般地，被投影到固定观察区域上。

根据本发明，基于由照相机720确定的头部位置，视觉呈现系统700能够重新产生3D世界的2D呈现以考虑模拟器的操作员的改变的位置以及他们的观察方向。如图7所示，在位置A观察物体760的操作员750将在具有第一透视图的位置711上在屏幕上看到该物体的呈现。在位置B的操作员750将看到同一物体760，但是，从该头部位置和观察角度，物体760将看起来处于具有第二不同的透视图的712上。

本领域技术人员可以理解，通过模拟当操作员在复制环境内移动并且通过诸如窗口的固定观察区域观察外部世界时期望的视差效果，根据本发明的视觉呈现方法和系统提供大量的优于现有系统的明显的益处。通过在与固定观察区域对应的像面上显示图像，可在仍然改善对于模拟器的操作员的3D世界的呈现的同时保持模拟器的尺寸最小化。该尺寸的减小降低操作成本并提高可应用本发明的移动式模拟器的情况下的便携性。并且，可以在不损害对于模拟器的操作员的3D世界的呈现的情况下有效地实现风挡效果。

在另一解释性的实施例中，本发明包括用于在模拟器的像面上显示3D世界的立体2D呈现的方法。在该解释性的实施例中，在像面上显示的不同的2D呈现与操作员的各眼睛的位置对应，使得各眼睛观察不同的透视图。在一个例子中，通过确定眼睛的分离并然后通过偏移对于前面描述的头部位置产生的“单眼”2D呈现对于各眼睛形成各个或分开的2D呈现，确定各眼睛的位置。以这种方式，与头部的确定的位置的相对，除了各图像基于各眼睛的确定的位置以外，以与标准2D呈现相同的方式构建组合以形成立体2D呈现的2D呈现中的每一个。类似地，与产生单眼2D呈现的情况同样，在眼睛取向信息可用的情况下，也可使用眼睛取向信息。

为了基于对于各眼睛产生的单独的2D呈现显示立体2D呈现，存在还包括允许操作员的各眼睛观察单独的2D呈现的用于操作员的观察部件的大量的已知的技术，这些技术包含但不限于：

·包含通过偏光或着色将与各眼睛对应的2D呈现编码的被动显示技术，其中，操作员配戴眼睛以区分地滤出各眼睛的正确的2D呈现；

·包括交替显示与各眼睛对应的各2D呈现并且操作员配戴快门眼镜以与显示同步地遮去不希望的2D呈现的主动显示技术；

·包含棱镜以区分各眼睛看到的2D呈现的棱镜显示技术；

·包含格栅结构以分区各眼睛看到的2D呈现的视差阻挡技术；

·包括双凸面透镜的格栅结构以区分各眼睛看到的2D呈现的双凸面透镜技术。

本领域技术人员可以理解，可以使用本发明，以还增加包含移动平台的模拟器。这些类型的模拟器一般包含通过复制环境安装于移动平台上的显示器，或者，作为替代方案，显示器关于移动平台是静止的。

对于具有静止视觉显示器的模拟器，3D世界的显示的2D呈现适于随移动基台的保持的加速模拟移动而移动，即，这里，移动系统使用螺距或滚筒以模拟诸如制动或加速的情况下的纵向或横向加速。在这种情况下，从位于移动平台或基台上的复制环境中的操作员的位置看到的视觉不应观察该相对移动，并且，由于复制环境事实上关于静止的显示移动，因此显示的2D呈现被补偿。在存在不包含诸如暂停移动的保持的加速的情况下(例如，车辆翻过道路中的隆起物)，视觉与然后通过移动平台和显示器之间的相对移动产生的移动的操作员的觉察保持静止。

对于在移动平台上安装显示部件的模拟器，需要相反的视觉处理。在这种情况下，保持的加速不应改变显示的视觉，当显示器被安装到移动基台上时，情况如此，但是应当暂停移动。因此，在暂停移动中，视觉必须被补偿，以提供复制环境与3D世界的显示的2D呈现之间的相对移动的效果。

在这些情况中的每一个中，需要视觉处理以补偿移动平台量以确定3D世界内的修订的照相机位置和取向。可然后使用本发明的系统和方法以补偿由于复制环境内的操作员的头部位置的改变出现的修改的观察空间。

虽然参照训练模拟器描述了本发明的大量的解释性的实施例，但是，本领域技术人员可以理解，其它类型的模拟器被设想为处于本发明的范围内。这些包括但不限于：诸如模拟飞机、火车、卡车、公共汽车、汽车、坦克、海军车辆、空间交通工具、水下容器的操作的那些的车辆模拟器；诸如模拟叉车、挖土机、装载机、挖掘机、平路机和铲车的操作的那些的材料操作设备模拟器；模拟诸如拖运卡车、地下装载机、地下卡车、轮式装载机、流压挖掘机和挖土机、电气绳索挖掘机、推土机、拉铲挖掘机的用于地面和地面采矿的车辆和设备的采矿模拟器；和诸如模拟起重机、重型加载设备、翻斗车和勺轮回收车的操作的那些的重型设备模拟器。虽然模拟器一般用于训练目的，但是，同样，可以理解，术语模拟器可在其范围内包含出于娱乐驾乘等、对于新型的设备的设计和研究和市场和广告目的构建的装置。

本领域技术人员还可理解，可以作为电子硬件、计算机软件或两者的组合实现关于在这里公开的实施例描述的各种解释性的逻辑块、模块、电路和算法步骤。为了清楚地示出硬件和软件的这种可互换性，以上一般关于它们的功能描述各种解释性的部件、块、模块、电路和步骤。这种功能是实现为硬件还是软件依赖于特定的应用和对于总体系统的设计限制。本领域技术人员可对于各特定的应用以各处方式实施描述的功能，但是，这种实现决定不应被解释为导致背离本发明的范围。

在本说明书中对于任何现技术的参照不是并且不应被视为以任意形式的建议承认这种现有技术形成公知的一部分。

虽然在以上的详细的描述中描述了本发明的解释性的实施例，但应理解，本发明不限于公开的实施例，而能够在不背离由以下的权利要求阐述或限定的本发明的范围的情况下提出大量的重新配置、修改和替代。

Claims

1.一种用于在模拟器的像面上显示3D世界的2D呈现的方法，像面限定模拟器的复制环境的固定观察区域并与由模拟器的操作员观察的示图对应，该方法包括以下的步骤：

确定复制环境的操作员的头部位置；

在保持像面恒定的同时基于操作员的头部位置修改3D世界的观察空间以形成修改的观察空间，其中像面形成观察空间的近面；

基于修改的观察空间产生2D呈现；和

在像面上显示2D呈现。

2.根据权利要求1的用于显示3D世界的2D呈现的方法，其中，观察空间被修改成考虑操作员关于固定观察区域的不同的透视图。

3.根据权利要求1或2的用于显示3D世界的2D呈现的方法，其中，操作员的头部位置由面部跟踪系统确定。

4.根据权利要求1或2的用于显示3D世界的2D呈现的方法，其中，固定观察区域与复制环境的窗口对应。

5.根据权利要求1或2的用于显示3D世界的2D呈现的方法，其中，固定观察区域与复制环境的镜像对应。

6.根据权利要求1或2的用于显示3D世界的2D呈现的方法，其中，直接在像面上显示2D呈现。

7.根据权利要求1或2的用于显示3D世界的2D呈现的方法，其中，2D呈现被投影到像面上。

8.根据权利要求1或2的用于显示3D世界的2D呈现的方法，其中，实时实现确定头部位置、修改观察空间和产生并显示2D呈现的步骤。

9.根据权利要求1或2的用于显示3D世界的2D呈现的方法，其中，该方法还包括向在像面上显示的2D呈现施加风挡效果。

10.根据权利要求1或2的用于显示3D世界的2D呈现的方法，其中，头部取向也被确定。

11.根据权利要求10的用于显示3D世界的2D呈现的方法，其中，头部取向的预定变化被处理以提供用于模拟器的模拟器控制命令。

12.根据权利要求1或2的用于显示3D世界的2D呈现的方法，其中，模拟器是用于训练操作员的训练模拟器。

13.一种用于在模拟器的像面上显示3D世界的立体2D呈现的方法，像面限定模拟器的复制环境的固定观察区域并与由模拟器的操作员观察的示图对应，该方法包括以下的步骤：

确定复制环境的操作员的各眼睛的眼睛位置；

在保持像面恒定的同时基于操作员的各眼睛的眼睛位置，为各眼睛修改3D世界的观察空间以形成各眼睛的修改的观察空间，其中像面形成观察空间的近面；

基于各眼睛的修改的观察空间产生单独的2D呈现；和

在像面上显示单独的立体2D呈现以形成立体2D呈现。

14.根据权利要求13的用于显示3D世界的立体2D呈现的方法，其中，通过确定头部位置和操作员的眼睛的分离，确定各眼睛的眼睛位置。

15.一种用于模拟器的视觉呈现系统，该模拟器包括包含与由模拟器的操作员观察的示图对应的固定观察区域的复制环境，该系统包括：

在保持与固定观察区域对应的观察空间的像面恒定的同时基于操作员的头部位置，修改3D世界的观察空间，并用于基于修改的观察空间产生2D呈现的数据处理器部件，其中像面形成观察空间的近面；和

用于在像面上显示2D呈现的显示部件。

16.根据权利要求15的视觉呈现系统，其中，头部位置确定部件包含面部跟踪系统。

17.根据权利要求15的视觉呈现系统，其中，头部位置确定部件包含用于检测位于操作员的头部上的一个或多个相应的信号发射器的传感器。

18.根据权利要求15～17中的任一项的视觉呈现系统，其中，固定观察区域与复制环境的窗口对应。

19.根据权利要求15～17中的任一项的视觉呈现系统，其中，固定观察区域与复制环境的镜像对应。

20.根据权利要求15～17中的任一项的视觉呈现系统，其中，显示部件直接在像面上显示2D呈现。

21.根据权利要求15～17中的任一项的视觉呈现系统，其中，显示部件将2D呈现投影到像面上。

22.根据权利要求15～17中的任一项的视觉呈现系统，其中，显示部件基于操作员的头部位置被实时更新。

23.根据权利要求15～17中的任一项的视觉呈现系统，其中，数据处理器还在2D呈现的产生中包含向在像面上显示的2D呈现施加风挡效果。

24.根据权利要求15～17中的任一项的视觉呈现系统，还包括头部取向确定部件。

25.一种用于模拟器的3D视觉呈现系统，模拟器包括包含与由模拟器的操作员观察的示图对应的固定观察区域的复制环境，该系统包括：

用于在保持与各眼睛的固定观察区域对应的观察空间的像面恒定的同时基于操作员的各眼睛的眼睛位置修改各眼睛的3D世界的观察空间并用于基于各眼睛的修改的观察空间产生单独2D呈现的数据处理部件，其中像面形成观察空间的近面；

26.一种模拟器，包括：

用于在保持与固定观察区域对应的观察空间的像面恒定的同时基于操作员的头部位置修改3D世界的观察空间并用于基于修改的观察空间产生2D呈现的数据处理器部件，其中像面形成观察空间的近面；和

用于在像面上显示2D呈现的显示部件。