CN100476881C - 用在基于客户服务器构造的飞行模拟器的图形用户界面 - Google Patents

Abstract

所模拟的复杂系统的控制板显示成为在操作复杂系统的环境中的三维图像显示上的结构掩模(94)。在模拟系统上对用户培训或实验操作不起作用的视窗(90)中显示三维图像显示。位于显示视窗(100)下面的工作视窗(92)用于跟踪给控制板的用户输入。灵巧图形处(42)将用户输入转换成传送到全屏幕模拟(48)的数据元素，模拟条件返回并用于更新控制板的显示和环境的图像显示。

Description

用在基于客户服务器构造的飞行模拟器的图形用户界面

技术领域

本发明总的涉及培训和实验操作系统，和整个流程的复杂系统的模拟。本发明具体涉及复杂系统的模拟方法和装置，其中，表示所模拟的复杂系统的控制板的相互作用的图形与所模拟的复杂系统的操作环境的实时模拟的三维图像合并。

背景技术

由于人类进行的许多尝试中用的许多系统的复杂程度不断增加，为了安全操作和维修这些系统，就需要对系统进行广泛地培训。在用价格昂贵和/或存在潜在危险的设备的行业中，在真实系统上进行培训有实际困难。这些设备的实例包括：飞行器，轮船，潜艇，军用设备，核电站和其他复杂系统的主机。因此。用复杂系统的模拟装置进行培训变成了规范的实验操作。为了真实再现真实复杂系统的行为，需要“全方位”模拟。全方位模拟是指全部必需的子系统符合全部相关的条件进行全方位模拟，无论正常和不正常都与真实系统基本一致。

全方位模拟器的许多用途中，需要高保真视频系统。这些视频系统通常为操作者提供三维进入环境。三维进入环境能有效提高模拟器的效果。高保真视频系统所提供的真实程度现在有很大的提高。用该视频系统提供的详细程度需要与全方位模拟器同步的大量的视频数据库，以实时再现三维图像景象。由于包括高保真视频系统的全方位模拟器本身的尺寸和复杂性，因此，包括高保真视频系统的全方位模拟器设置在特殊的装置中，以迫使用户进入该装置中进行培训和实验操作。

本申请人制造的基于矢量的二维图像用户界面允许用户与通过例如互联网的网络访问的全方位模拟互动。用户界面由与用户互动的“灵巧”图形目标组成。灵巧图形目标重叠在适合于应用的位图图像上，以提供具体的应用范围。

已经发现，在许多模拟应用中，实时的三维图像效果结合互动的用户界面有时是有利的。这类环境在操作者本身需要熟习视窗之外的景象和了解视窗之外的可视信息并确定对状况作出适当反应的许多用途中是必要的。市场上已经有能提供各种程度的视频模拟保真度的模拟器。这种模拟器允许用户用例如操纵杆或键盘的界面与三维图像环境互动。这种模拟器的例子包括由Simigon提供的Microsoft Flight Simulator(微软飞行模拟器)

和Airbook^TM。这些系统的缺点是，用户界面表示不够直观，不能与所有的模拟系统结合。

上述的本申请人制造的基于矢量的二维图像用户界面允许用户学习和实验操作整个流程，通过与二维图像用户界面中的灵巧图形的互动获得有关系统的知识。用户通过界面将输入加到全方位模拟服务器，全方位模拟服务器按逼真的方式针对输入作出反应，返回所用的条件数据，依次更新二维用户界面的状态。同时允许用户学习或实验操作整个流程并获得有关系统的知识，但是，它不能提供某些培训和实验操作用途所需的三维图像环境。例如，在航空业，熟悉机场，熟悉飞行低能见度气象条件，接近机场，飞机跑道等情况下都需要三维图像环境。

因此需要一种包括设置在全功能图像用户界面中的三维图像环境的系统，以便能够低成本地学习和实验操作整个流程和操作复杂系统。

发明内容

本发明的目的是，提供一种系统，包括设置在全功能图像用户界面中的三维图像环境，以便能够低成本地学习和实验操作整个流程和操作复杂系统。

本发明的另一个目的是，提供产生互动图像用户界面的方法和装置，其中，实时的三维图像信息毫无痕迹地与模拟的复杂系统的控制板的互动图像显示合并。

本发明的另一个目的是，为复杂系统操作者提供视窗之外的景象的三维图像，用来自复杂系统的全方位模拟反馈动态地更新视窗之外的景象的三维图像。

本发明的另一个目的是，提供可视系统，其中，转换成视频结构数据的二维结构掩模加到零深度处的多边形全屏幕上，加到用视频环境数据产生的三维图像上的用户上。

本发明的另一个目的是，提供可视系统，其中，互动显示窗与界面窗重叠，所述的界面窗接收与互动显示窗中的图像所显示的可视控制板相关的用户输入。

本发明提供产生与复杂系统的全方位模拟一致的高保真显示的系统，系统包括：灵巧图形处理装置和三维图像处理装置；其中，灵巧图形处理装置用于生成所模拟的复杂系统的所显示的控制板的二维图像，图像包括嵌入的灵巧图形，以允许用户操作与所显示的控制板相关的虚拟控制；三维图像处理装置用视频环境数据产生高保真视频显示，其特征是，三维处理将转换成视频结构数据的二维结构掩模重叠到零深度处的多边形全屏幕上，加到用视频环境数据产生的三维图像上的用户上，由此产生高保真视频显示。

本发明还为复杂系统的操作或维修人员提供在所模拟的复杂系统上培训和进行实验操作的方法，方法包括以下步骤：产生所模拟的复杂系统的所显示的控制板的二维图像，二维图像包括嵌入的灵巧图形，以允许操作人员操作与所显示的控制板相关的虚拟控制；用视频环境数据和从二维图像恢复的结构掩模产生高保真视频显示；其特征是，将转换成视频结构数据的二维结构掩模重叠到零深度处的多边形全屏幕上，加到用视频环境数据产生的三维图像上的用户上，由此产生高保真视频显示。

本发明还提供包含计算机可执行程序指令的计算机可读介质，包括：用于灵巧图形处理的程序指令，用于产生所模拟的复杂系统的所显示的控制板的二维图像，二维图像包括嵌入的灵巧图形，以允许用户操作与所显示的控制板相关的虚拟控制；用于三维图像处理的程序指令，用与二维图像结合的视频环境数据产生高保真视频显示；其特征是，将转换成视频结构数据的二维结构掩模重叠到零深度处的多边形全屏幕上，加到用视频环境数据产生的三维图像上的用户上，由此产生高保真视频显示。

因此，本发明提供经济的培训系统，它能产生流程的真实视频模拟，使操作者能在所模拟的复杂系统上培训。灵巧图形处理将用户输入转换成传递到全方位模拟的数据值。全方位模拟给视频模拟处理提供反馈，以更新复杂系统的控制板的显示，以及模拟的环境的视窗之外的景象。

附图说明

通过以下结合附图的详细说明，本发明的其他特征和优点将变得更清楚，附图中：

图1是按本发明一个实施例的系统的总示意图；

图2是用于实现图1所显示的系统的客户/服务器结构的一个实施例的示意图；

图3是实现按本发明一个实施例的用户界面的总示意图；

图4是图3中所显示的用户界面更详细的示意图；

图5是用于驱动图3所显示的二维图形系统的主逻辑流程图；

图6是用于驱动图3所显示的三维图像系统的主逻辑流程图；

图7是用于建立或更新显示图3和图4所示的用户界面的主逻辑流程图；和

图8是用于实现按本发明的系统的客户/服务器结构的另一个实施例的示意图。

注意，在所有附图中，类似的结构用相同的参考数字指示。

具体实施方式

本发明能使三维图像环境包括到互动图形用户界面中，以支持大量的新复杂系统模拟用途。这些用途用具有高保真视频系统的全方位模拟，使操作者可以在复杂的模拟系统上自定时地学习和进行实验操作。还可以使教室的自定时课件与远程学习相结合。

三维图像环境包括到互动用户界面中会引起很大的困难。首先，由于高保真视频系统的尺寸，通常需要将本地视频数据库保存在显示图形用户界面的客户计算机中。高保真视频系统信息不能用当前商业上允许的技术在网络上实时地传送。此外，实时地恢复这些数据库需要广泛地高速处理。这对客户计算机造成巨大的处理负担，而且需要图形加速卡。因此，全方位模拟也需要广泛、高速处理，理想的是在例如模拟器的本地的或远程的其他处理器上进行广泛、高速处理。这就出现了第三个问题：在远程模拟运行时如何使三维图像再现与模拟同步。

正如以下要详细描述的，在本地设置模拟、视频数据库和本地的三维图像系统的考贝可以克服这些问题。或者，在模拟器远程服务器上执行来减小客户的处理负担。为了进一步控制客户计算机处理负荷，应调节三维环境的刷新速度，中止某些视频效果的需求。按需要除去视频数据库中的某些非关键性的细节。但是，应了解，只有在客户计算机不具有能够再现全三维图像的合适的处理速度的情况下，才需要这些最适当的技术。

图1是按本发明的系统20的总示意图。系统20包括连接到网络24的一个或多个客户计算机22，所述的网络例如是：局域网(LAN)，城域网(MAN)，广域网(WAN)，或，例如内联网(Intranet)或互联网(因特网)的开放网。每个客户计算机按本行业公知的方式支持用于再现高保真三维图像效果的数据的本地数据库26。高保真三维数据库可以按多种方式支持客户计算机。例如，可以用电子商务或某些其他的合同从服务供应商从远程数据库30下载来获取数据库的内容；或者购买压缩光盘或闪存盘获取数据库内容；或者通过其他途径从计算机可读介质上获取数据库内容。为了实践本发明，客户计算机经网络24连接到模拟服务器28，模拟服务器28可以模拟多个复杂系统中的任何一个，例如飞机。

系统20特别适用于远程教育或技能培训。用自定时课件使远程教育变得容易。因此，客户计算机同样可以设置任选的课件32，这在以下将参见图8更详细的说明。可以从服务供应商数据库30、33、34与对应的灵巧图形目标23和与课件相关的三维数据库一起下载课件32，或者，通过任何其他途径恢复课件32，例如，用以上参见三维数据库26所描述的途径恢复课件32。用学习管理系统(LMS)38可以进一步加强远程教育。学习管理系统38用学生确认和课程记录40来记录、跟踪、确认和评估学生。

图2是用于实现图1所显示的系统的客户/服务器结构的一个实施例的示意图。如上所述，客户计算机22用任何适当的通信协议经网络24连接到模拟器服务器28。客户计算机用灵巧图形处理(SGP)程序42和三维图像(3DV)处理程序44控制图形处理，其中，灵巧图形处理(SGP)程序42从数据库52获取二维图形信息，三维图像(3DV)处理程序44从三维(3-D)数据库26获取视频信息。灵巧图形处理(SGP)程序42产生二维图像，该二维图像包括由系统20用户按本行业公知的方式控制的表示虚拟控制的灵巧图形。三维图像(3DV)处理程序44还按本行业公知的方式产生所模拟的复杂系统周围环境的三维图像。灵巧图形处理(SGP)程序42和三维图像(3DV)处理程序44用图像合并管理(VMM)功能46相互连接，这在以下将更详细的描述。

模拟服务器28支持全方位复杂系统模拟的实例48，它通过数据控制和供应功能50与客户计算机22进行数据元素交换。尽管处理负担在客户计算机22和服务器计算机28之间分担，但仍然存在需要克服的明显障碍。为了整合高保真图像显示必须向用户提供包括互动灵巧图形和三维图像的单一图像。

如图2所示，灵巧图形处理(SGP)程序42和三维图像(3DV)处理程序44都与模拟实例48互动，以确保传送灵巧图形的用户输入传送到模拟器，模拟器调节更新用信息更新用灵巧图形处理(SGP)程序42和三维图像(3DV)处理程序44产生的图像显示。用户能看到两个程序所产生的图像显示，但是，用户只与表示开关、拨号盘、操纵杆和控制板和显示器上显示的图像上的其他控制界面互动。二维图形用户界面中，用位图产生以矢量为基的灵巧图形的背景内容。将两个环境图形按使每个环境图形的适当部分呈现给用户的方式重叠，以此确定一个图像，也就是说，通过所模拟的复杂系统的视窗出现所模拟的环境，模拟图形出现在所模拟的控制板和显示器的位图上。这种通过必须是用灵巧图形处理(SGP)程序42显示的各种用户控制是非常复杂的。而且，用户可以通过改变视窗尺寸、摇摄像镜头、滚动屏幕、改变摄像焦距来对视区进行某些改变。由于用户采用这些措施，所以，在图形用户界面上只显示灵巧图形的适当部分。这需要实时改变所显示的三维图像的位置和数量。为了实现这种实时改变，而创建了VMM功能46。VMM功能46的作用是使二维和三维信息的显示局部地同步和一致，以向用户呈现出单一和一致的图像。

为了正确地再现全方位模拟实例48的状态，客户计算机22必须连续传送用户与灵巧图形处理(SGP)程序42互动所产生的数据和用三维图像(3DV)处理程序44从三维数据库26获取的信息。同样，客户计算机22必需从模拟实例48接收数据，和用信息更新用灵巧图形处理(SGP)程序42和三维图像(3DV)处理程序44中的每一个程序产生的图像显示。在客户计算机22一边，用数据控制和供应功能60控制与模拟服务器28的信息交换，使同等数据与服务器28上的副本数据控制和供应块50联通。正如以下参见图5描述的，数据控制选择数据供应功能用灵巧图形处理(SGP)程序42跟踪数据元素预约，用三维图像(3DV)处理程序44在共享存储器56读写数据。

图3是实现按本发明一个实施例的高保真图像显示的总示意图。二维图形系统70包括应用程序界面(API)72，经应用程序界面(API)72数据控制和供应功能60移动模拟输入/输出数据，如上所述。VMM功能46也使用应用程序界面(API)72再现用于控制合并的可视图像90的位图数据和视窗尺寸信息，这在以下将更详细地描述。同样，三维图像系统80具有数据控制和供应模块60和VMM功能46用的API82。正如以下要详细描述的，二维图形系统70产生二维用户界面视窗92，由于二维用户界面视窗92通常位于显示视窗后面，所以，容易被覆盖。二维图形系统70还产生便于存储在断开荧光屏缓冲器110中的位图图像(参见图4)。位图图像的功能及其变化非常重要。位图用作掩模，只显示三维图像系统80所产生的三维图像的适当部分。用户只看到没有被存储在断开荧光屏缓冲器110中的位图掩盖的那些三维图像。正如以下要参见附图7详细描述的，位图可以看成是三原色(红、绿和蓝)构成的不透明的掩模。按本行业公知的方式确定单一的彩色键(唯一的颜色)，可以改进位图掩模，用透明区指定彩色键的颜色属性。然后，该改进后的位图转换成结构，三维图像系统80中的结构掩模装配器116用该结构建立结构掩模，这在以下将参见图4说明。

结构掩模转换成加到在用户零深度处的多边形全屏幕上的图像结构数据。因此，用户可以通过掩模的透明部分看到三维图像。由于图像90的其余部分是从位图衍生出来的二维图形，因此，与模拟实例48适当同步的原先分开的二维图像和三维图像整合在一起。

图4更详细地显示出图所示的客户计算机图像处理功能。SGP42产生存储在断开荧光屏缓冲器110中的位图图像。正如以下要参见图5说明的，出现三种情况中的任何一种情况时每次都要更新断开荧光屏缓冲器110。也就是说，用户与灵巧图形互动来改变由显示窗100显示的虚拟控制条件；用户执行改变摄像焦距、摇摄像镜头、滚动屏幕或在显示窗100上改变操作；或从模拟器实例48接收改变所显示的控制板所需要的输入。出现三种情况中的任何一种情况时必须改变用于产生结构掩模位图。

因此，SGP42每次改变存储位图的断开荧光屏缓冲器110时都要通知观察口的VMM46改变和断开荧光屏缓冲器110更新，因此，VMM功能46向SGP42发送指令将断开荧光屏缓冲器110复制到共享存储器文本范围中。然后，VMM功能46必须与三维图像系统80协调在高保真图像显示窗90中进行相应的改变。本实施例中，VMM功能46向将位图转换成图像结构数据的结构掩模装配器116传送新位图。然后，结构掩模装配器116将图像结构数据传送到三维阅读处理器114，三维阅读处理器114用接收到的图像结构数据产生高保真图像显示窗90。同样，VMM46经三维图像系统API将视窗尺寸和视场发送到三维系统(参见图3)。

三维阅读处理器114连续接收来自模拟实例48的输入，和用三维数据库界面118阅读来自三维数据库26的图像系统信息(参见图2)。三维阅读处理器114将图像信息转换成与结构掩模装配器116建立的结构掩模重叠的三维可视图像，以产生显示窗90。按本行业公知的方式没，用内插计算法和外插计算法(推算定位法)推算和修匀从模拟器接收到的数据，例如，位置和状态信息。显示窗90显示结构掩模94(本例中是指飞机座舱)。结构掩模94的透明区96显示三维图像。用户输入功能报废时，按本行业公知的方式产生显示窗90。然后，显示窗90显示在用户输入功能有效的视窗92上。如上述的，视窗92可以被任意遮蔽。功能视窗92用SGP42控制，SGO42接收指向显示窗100的用户输入事件。SGP42协调视窗92记录的用户输入和断开荧光屏缓冲器110中存储的位图图像中嵌入的灵巧图形目标。

因此，用户操纵控制光标102的指示器改变设置在所显示的控制板上的控制时，SGP42检测事件和确定在启动视窗92上的光标102的位置。SGP42确定断开荧光屏缓冲器110中存储的位图所需要的变化以及数据变化，如果位图和数据有变化，那么，这些变化要传送到模拟实例48。注意，可以用触摸式显示器表面代替指示器，其中，用触摸事件检测来代替上述的指示器事件检测。

图5是按照本发明的执行方法用SGP42执行主要步骤的流程图。初始阶段，SGP42执行数据元素预约(步骤150)。正如申请人以上参考的专利申请所述，为了确保有效利用网络24的资源，在模拟实例48上只传送/接收与所模拟的复杂系统的控制板的所显示的部分相关的数据。因此，执行数据元素预约处理。数据元素预约处理过程中，SGP42用数据控制和供应功能60寄存与用控制板的默认启动图所显示的灵巧图形相关的全部数据元素。完成数据元素预约处理后，SGP42启动二维图形窗92并产生存储在断开荧光屏缓冲器110中的位图(步骤152)。按照VMM46的要求，SGP42将位图复制到用VMM46控制的共享存储器文本范围中(步骤154)。然后，如上述的，VMM协调位图和三维图像系统80。步骤156中，SGP42确定当前的对话是否结束。如果对话结束，SGP42按本行业公知的方式终止，并收集废品。或者，SGP42检查用户输入寄存器(步骤158)，确定用户是否输入。如果检测到用户的输入，SGP42确定输入是否是由视窗变化(改变视窗尺寸、摇摄像镜头、改变摄像焦距)引起的。如果对话没有结束，用户输入改变了所显示的一个灵巧图形的状态，SGP42确定那些数据元素必须更新(步骤162)，通知状态变化的模拟器实例48。如果在步骤158中确定没有用户输入，如果由来自模拟器实例48的反馈已经改变了任何预约的数据元素，那么检查SGP42(步骤164)。如果没有用模拟器实例48更新的数据元素，那么处理回路返回到步骤156。

无论数据元素是否被用户输入更新(步骤162)，或者，数据元素是否被来自模拟器实例48的反馈更新(步骤164)，存储在断开荧光屏缓冲器110中的位图都必须更新，因此，在步骤166中更新位图，新位图传送到VMM46(步骤168)。

如果在步骤160中确定视窗变化(改变视窗尺寸、摇摄像镜头、改变摄像焦距)是由用户输入引起的，那么灵巧图形处理42计算新的视窗尺寸、位置和焦距(步骤170)，和更新视窗92(步骤172)。然后，按以后的步骤中需要，将新视窗数据传送到VMM46。然后，步骤176中确定视窗变化是否要求任何数据元素的预约变化。如果要求数据元素的预约变化，除了由视窗变化所要求的全部数据元素不预约之外，任何新要求的数据元素都要预约(步骤180)。如上述的，任何情况下，位图(步骤166)都要更新并传送到VMM46(步骤168)。

图6是实现按本发明方法的三维图像(3DV)处理程序44中用的逻辑总流程图。处理用视窗90的初始状态开始。三维图像(3DV)处理程序44根据模拟器关于位置、状态的输入和许多其他所模拟的系统的相关变化产生视窗90中显示的三维图像。同样，正如以下要更详细地描述的，三维数据库26包括必须是传送到模拟实例48的数据元素。因此，正如以上参见图5描述的，用数据元素预约处理开始系统的初始状态(步骤200)。然后，三维图像(3DV)处理程序44初始化视窗90，显示默认视图(步骤204)，和检查确定是否已经从VMM46接收到新视窗数据(步骤204)。如果没有接收到新视窗数据，三维图像(3DV)处理程序44确定VMM46是否要求位图更新(步骤206)。如果要求位图更新，那么从VMM46接收位图(步骤210)并传送到将位图转换成结构掩模的结构掩模装配器116。这在以下将参见附图7详细说明。同样，在步骤204中确定能够从VMM46接收新视窗数据(视窗尺寸、位置、屏幕滚动量或焦距)，在步骤208从VMM46接收视窗数据，在步骤210中接收更新的位图并传送到结构掩模装配器116。任何情况下，用结构掩模装配器116产生新结构掩模(步骤212)，显示窗90在三维图像上显示正确的结构掩模。

步骤214中，从共享存储器56读出预约的数据元素(参见图2)，由于需要这些数据元素设置信息恢复，所以，形成显示窗90的三维图像元件的以下迭代所需要的三维数据库26。然后按本行业公知的方式从三维数据库26读出信息。数据恢复后，在步骤218中，确定数据恢复是否归还到必须返回到模拟实例48的数据元素。例如，三维数据库26包含有关接近目标、高度改变、障碍物的信息或模拟实例48要求的其他信息，以便更新指令，发出警报等。如果从三维数据库26恢复了数据元素值，那么，在步骤220中，这些数据元素值写到共享存储器56。否则，三维图像(3DV)处理程序44将用结构掩模覆盖三维图像来提供显示窗90的图像，这在以下将参见附图7更详细地说明。步骤224中，确定对话是否结束。如果对话没有结束，处理从步骤204返回。在60Hz频率下运行使三维图像(3DV)处理程序44的质量达到最好；但是，为了减小客户计算机22处理负担，三维图像(3DV)处理程序44可以在低的刷新速下运行。此外，为了减小客户计算机22上的处理负担，以上参见图4说明了的SGP42最好在5Hz的频率重复，提供高保真模拟。

图7是用三维图像(3DV)处理程序44产生视窗90中显示的图像的位图数据处理步骤的流程图。如以上所述的，步骤300中，三维图像(3DV)处理程序44从VMM46接收伴随新视窗数据产生的新位图。新位图传送到结构掩模装配器116，结构掩模装配器116过滤彩色键值(步骤302)，并将其余的位图图像转换成图像结构数据(步骤304)。图像结构数据包括透明区，按本行业公知的方式透明区可以是完全透明的，或者，根据观察点是完全不透明的。然后，结构掩模装配器116将结构掩模数据传送到三维阅读处理器114(参见图4)，如以上所述，将作为零深度处的多边形全屏幕的结构覆盖到用从三维数据库26恢复的数据建立的环境的高保真图像上面的取景器上。

图8是按本发明的系统20的另一个实施例的示意图，其中，客户计算机22用作培训装置，它用自定时课件作为培训手段。系统20包括经网络24连接到客户计算机22的模拟服务器28。如上所述，客户计算机22经数据控制和供应功能50连接到模拟服务器28的模拟实例48。

客户计算机22包括上述的数据控制和供应功能58、60。还包括用于驱动课件26的运行时间引擎(RET)130。课件26集二维图形系统70和三维图像系统80的功能于一体。例如，课件26可以产生正文框，正文框整合到用VMM46从集二维图形系统70传送到三维图像系统80的位图图像中。课件26还可以用来将图像效果或图像高保真引入三维图像系统80的显示输出中。例如，如果复杂系统是飞机，课件26可以用视窗90中显示的图像指示显示出推荐的飞机着陆跑道。同样，也可以用图像标记标注或指出障碍或危险。因此，整合的课件26可以用于许多重要的培训个实验操作。

因此，本发明提供了一个重要的工具，本发明的工具结合课件26就可以迅速提高整个流程的培训，获取有关系统知识，使操作者可以熟习任何复杂系统的操作和维修。按本发明的系统包括真实复制真实系统的控制板的外观和功能的全功能控制界面，按本发明的系统允许从具有高保真图像的全方位模拟的全部服务质量的远处进行远程学习和熟习实际操作。由于它提供全方位模拟器的全部好处，除了需要人们活动和投入的环境之外，按发明的系统具有不限制使用者数量的优点。

上述的本发明的实施例只是用于说明本发明。本发明的范围只用所附的权利要求书限定。

Claims (22)

1.用于产生与复杂系统的全方位模拟一致的高保真图像显示的系统(20)，为系统用户提供三维进入可视环境，系统符合全部相关条件，无论是正常的或者是不正常的状态都与真实系统基本一致，系统包括：灵巧图形处理模块(42)，用于产生所模拟的复杂系统的所显示的控制板的二维图像，图像包括嵌入的灵巧图形，以允许用户操纵与所显示的控制板一致的虚拟控制；和三维图像处理模块(44)，用图像环境数据产生高保真图像显示，其特征是，三维图像处理系统(80)将转换成图像结构数据的二维结构掩模叠加到用图像环境数据产生的三维图像上用户零深度处的多边形全屏幕上，由此产生高保真图像显示(90)。

2.按权利要求1的系统(20)，还包括图像效果数据的数据库，用于动态模拟复杂系统的环境，给三维图像处理系统(80)提供图像环境数据。

3.按权利要求1或2的系统(20)，其特征是，三维图像处理系统(80)还用于与全方位模拟交换数据，使全方位模拟实例(48)显示成图像环境数据，和三维图像处理与全方位模拟实时协调。

4.按权利要求1的系统(20)，其特征是，灵巧图形处理模块(42)还将二维图像存储在断开荧光屏缓冲器(110)中，保持共享存储器环境(112)，以跟踪与二维图像相关的灵巧图形，启动用户输入事件转换成改变加到全方位模拟实例(48)的数据元素值。

5.按权利要求4的系统(20)，其特征是，灵巧图形处理模块(42)还用于符合改变显示高保真图像显示(90)的观察口的用户输入更新二维图像。

6.按权利要求5的系统(20)，其特征是，还包括图像合并管理模块(46)，用于通信和协调地将二维图像改变成三维图像处理系统(80)。

7.按权利要求6的系统(20)，其特征是，图像合并管理模块(46)接收视窗数据和位图更新，和将视窗数据和位图更新传送到三维图像处理系统(80)。

8.按权利要求7的系统(20)，还包括用于接收位图更新的结构掩模装配器(116)，将位图转换成结构掩模。

9.按权利要求1的系统(20)，其特征是，灵巧图形处理模块(42)和三维图像处理系统(80)都能用于动态预约与全方位模拟实例(48)交换数据的数据元素。

10.按权利要求9的系统(20)，其特征是，灵巧图形处理模块(42)还用于每改变一次它的数据元素预约就改变一次二维图像，以使二维图像中嵌入的灵巧图形改变。

11.按权利要求1的系统(20)，还包括课件(32)模块，课件(32)模块提供任何一个系统知识、整体流程、和本行业技术人员所需要的复杂系统的操作和维修知识的培训。

12.在所模拟的复杂系统上对操作或维修复杂系统的人员培训和实验操作的方法，包括以下步骤：

产生所模拟的复杂系统的所显示的控制板的二维图像，二维图像包括嵌入的灵巧图形，允许操作者操纵与所显示的控制板相关的虚拟控制(100)；

用图像环境数据和从二维图像衍生出的结构掩模产生高保真图像显示，它为系统用户提供三维进入可视环境；

其特征是，将转换成图像结构数据的二维结构掩模叠加到用图像环境数据产生的三维图像上用户(306)零深度处的多边形全屏幕上，由此产生高保真图像显示(90)。

13.按权利要求12的方法，还包括步骤：将从数据库(26)恢复的图像环境数据装载到执行产生步骤的客户计算机(22)上的步骤。

14.按权利要求13的方法，还包括步骤：用在远程服务器(28)上运行的模拟实例(48)模拟复杂系统的步骤。

15.按权利要求14的方法，还包括步骤：预约(150)与模拟实例进行数据交换的数据元素，允许用数据元素与模拟实例(48)进行数据交换，以便将操作者操纵虚拟控制所产生的输入传送到模拟实例(220)，并从模拟实例接收反馈(214)，以更新(166)二维图像。

16.按权利要求14的方法，还包括步骤：预约(150)与模拟实例(48)进行数据交换用的数据元素，允许用数据元素与模拟实例进行数据交换(214、220)，以便将从虚拟环境数据恢复的信息输入传送到模拟实例，并使高保真图像显示与模拟实例的状态一致。

17.按权利要求12-16中任何一个的方法，其特征是，产生二维图像的步骤还包括改进二维图像的步骤，将透明区指定为彩色键的颜色标记，和将位图图像存储在客户计算机(22)的存储器中。

18.按权利要求17的方法，还包括步骤：将位图图像传送到三维图像处理系统(80)，表示灵巧图形每改变一次便产生高保真图像显示。

19.按权利要求18的方法，还包括步骤：从位图图像过滤(302)彩色键值，和将位图转换成三维图像处理系统(80)用的三维图像结构数据(304)，建立结构掩模。

20.按权利要求19的方法，还包括步骤：在客户计算机(22)上设置课件(32)模块，以便对学生培训有关任何一个复杂系统的知识，整体流程知识，培训操作或维新复杂系统所需要的熟练操作人员和熟练维修人员。

21.按权利要求20的方法，还包括步骤：结合课件(32)模块和学习管理系统(38)对授予的培训学分和完成的课程进行记录和跟踪。

22.按权利要求21的方法，还包括步骤：根据学习管理系统(38)确认的课程要求将课件(32)模块、灵巧图形物体(23)和三维图像数据的数据库(26)中的任何一个下载到客户计算机(22)。

Images