CN102866710B - 一种操作飞行器中合成视觉系统的方法 - Google Patents

Abstract

本发明名称为“一种操作飞行器中合成视觉系统的方法”。一种操作飞行器(10)的方法，该飞行器包括驾驶舱(12)，驾驶舱具有带至少一个飞行显示器(24)的飞行驾驶台(20)、面对飞行驾驶台(20)的飞行员座位(14)、以及合成视觉系统(30)，该合成视觉系统(30)产生用于在至少一个飞行显示器(24)上显示的合成图像。

Description

一种操作飞行器中合成视觉系统的方法

背景技术

当代的飞行器可包括合成视觉(vision)系统的使用，该合成视觉系统可向机组人员呈现某种显示，其示出了飞行器前面的世界的计算机生成的表示。这样的合成视觉系统提高了飞行人员相对于地理地形和障碍物来定向自身的能力，并给飞行人员提供对应于在清楚能见度条件下他们往驾驶舱的挡风玻璃外将实际看到的图像。在飞行器的外面的能见度差的时候，这样的系统可能是尤其有用的。当前的合成视觉系统限于提供向前观察的视图给机组人员。

发明内容

在一个实施例中，一种操作具有驾驶舱的飞行器(驾驶舱具有：飞行驾驶台，上述飞行驾驶台具有至少一个飞行显示器；面对飞行驾驶台的飞行员的座位；以及合成视觉系统，该合成视觉系统产生用于在至少一个飞行显示器上显示的合成图像)的方法，包括确定飞行器的位点和航向；根据确定的位点和航向从合成视觉系统检索合成视觉图像；在至少一个飞行显示器上显示合成视觉图像；从要求在显示的合成视觉图像的航向上有所变化的飞行员接收观测变化输入；响应于观测变化输入，跟踪坐在座位中的飞行员的、飞行员的头部的移动；基于跟踪的头部移动，确定更新的航向；根据更新的航向，从合成视觉系统检索更新的合成视觉图像，以及在至少一个飞行显示器上显示更新的合成视觉图像。

附图说明

在附图中：

图1是根据本发明第一实施例的、具有合成视觉系统的飞行器驾驶舱的一部分透视图；

图2是供图1的飞行器使用的合成视觉系统的示意图；

图3A示出处于直前方位置的用户以及向前观察的合成视觉图像的显示的示意图；

图3B-3D示出根据本发明实施例的用户与合成视觉系统交互从而显示更新的合成视觉图像的示例。

具体实施方式

图1示出具有驾驶舱12的飞行器10的一部分，该驾驶舱12具有飞行员座位14，副驾驶员座位16，飞行器控制杆(control yoke)18，以及具有许多飞行控件22和多个飞行显示器24的飞行驾驶台20。多个飞行显示器24可包括主要的和次要的飞行显示器，任何飞行显示器可用于向飞行员和飞行人员显示大范围的飞行器、飞行、导航以及在操作和控制飞行器中使用的其他信息。虽然已示出商业飞行器，但是可以设想，本发明可用于任何类型的飞行器，不受限地例如是固定翼、旋转翼、火箭、私人飞行器和军用飞行器。

坐在面对飞行驾驶台20的飞行员座位14中的飞行员26可利用杆18以及其他的飞行控件22来操纵飞行器10。可设想，控制柄和其他的控制装置可代替杆18备选地安装在驾驶舱12中，而且这样的控制柄可用于操纵飞行器10。为了描述的目的，术语“杆”用于指所有类型的控制装置。飞行员26可通过挡风玻璃28和/或窗29在视觉上监测飞行器10的飞行路径。然而，如果飞行员26依赖通过挡风玻璃28和窗29的视域，则他或者她的可视范围可能是受限的。飞行员和飞行人员的其他成员可使用多个飞行显示器24以增加他们的可视范围和增强他们的决策能力。在示例性实施例中，飞行显示器24可配置成显示天气、地形、固定障碍物(例如，塔和建筑物)，可变的障碍物(例如，其他飞行器)、飞行特性(例如，高度或速度)，或者其任意的组合。

合成视觉系统30可包含在飞行器10中，并可产生飞行器10周围世界的合成图像以用于在飞行显示器24的其中之一上显示。合成视觉系统30是基于计算机的现实系统，其使用3D以给飞行员提供了解他们的飞行环境的清晰的和直观的方式。合成视觉系统30使用3D成像以通过向飞行员26提供飞行器外面世界的现实成像来提高飞行员的情景意识，该现实成像从来自多种数据库的信息和影像来创建。

传感器32和促动器34还可位于驾驶舱12中，并且可包含作为合成视觉系统30的一部分，以及将在本文中详细描述。在这点上充分解释的是，可定位传感器32以便坐在飞行员座位14中的飞行员26在传感器32在视域内，而且虽然示出促动器34设置在杆18上，但是促动器34可备选地设置在飞行员26可达到的距离内飞行驾驶台20上的其他地方。

图2将了合成视觉系统30示意性地示出为包含飞行器状态模块36、图形处理器38、屏幕40、存储器42、数据库44、传感器32、促动器34，以及控制器46。飞行器状态模块36可提供关于飞行器10的状态数据。作为非限制的示例，这样的状态数据可包括地理位置、高度、航向、速度和加速度。状态模块36可包含全球定位系统(GPS)，该全球定位系统可提供关于飞行器10的地理位置的坐标数据。GPS部分还可提供关于飞行器10的高度以及飞行器10的航向和速度的数据给状态模块36。状态模块36还可包含从飞行器10的惯性参考系接收的数据，这可提供位置和航向输入以及速度和加速度输入。

图形处理器38可以是能够响应从控制器46接收的指令和信息而在屏幕40上生成图像的任何合适的图形处理器。虽然图形处理器38被描述为是与控制器46物理上分离的实体，但是可设想，图形处理器38能够认为是控制器46的组件，其中，控制器46在没有利用分离的图形处理器的情况下能操纵显示在屏幕40上的图像。

屏幕40可以是任何合适的显示屏，例如液晶显示(LCD)屏、等离子屏、或者图形图像可在上面显示的任何其他类型的屏幕。屏幕40已作为多个飞行显示器24的显示器的其中之一而示出。备选可设想的，屏幕40可以是分离的显示屏。

存储器42可包含随机存取存储器(RAM)、只读存储器(ROM)、闪速存储器，或一个或者更多的不同类型的便携式电子存储器，例如盘、DVD、CD-ROM等等，或者这些类型的存储器的任何合适的组合。如所示，数据库44可包含在存储器42中，并可存储影像数据，上述影像数据可包含地理特定的地形、包含跑道和机场规划的人造对象、和包含飞行器交通信息的另外的影像。可设想，数据库44可结合许多数据库，或者数据库44可实际上是多个分离的数据库，包含地形数据库、人造障碍物数据库、地理政治数据库、水文数据库、以及其他的数据库。可设想，合成视觉系统30通过从多个数据库获得的信息和影像数据生成合成视觉图像，来检索和显示合成视觉图像。

备选地，可设想的，数据库44可与存储器42相分离，但是可与存储器42和/或控制器46通信，以便它可由存储器42和/或控制器46访问。例如，可设想，数据库44可包含在便携式存储器装置上，且在这样的情况下，合成视觉系统30可包含用于接收便携式存储器装置的端口，且这样的端口将与控制器46电通信，以便控制器46可以能够读取便携式存储器装置的内容。还可设想的，数据库44可通过通信链路来更新，而且照这样，诸如关于空中交通影像的信息的实时信息可包含在数据库44中，以及可包含在通过合成视觉系统30显示的合成视觉图像中。

传感器32可以是能够检测一个或者更多的感测的对象(作为非限制性示例包括飞行员26的头部)的移动并输出关于跟踪移动的信号的任何合适的传感器。传感器32可能够相对于参考位点或者相对于对象的开始位置来检测飞行员的头部的移动。作为非限制性实施示例，传感器32可包含照相机，该照相机可安装在飞行驾驶台20上固定位点中、可具有包含飞行员座位14的视界(field of view)、并可输出指示飞行员的头部的移动的信号。示例性的照相机包括CCD照相机、CMOS照相机、数字式照相机、摄影机、红外线照相机、或者能够跟踪飞行员的头部的移动的任何其他类型的装置。应该意识到，照相机的使用仅为示例性，而且可采用其他类型的移动传感器。作为另外的非限制性示例，可采用非光学的运动/位置传感器，例如加速度计。不管使用的传感器32的类型，可以设想，传感器32可以在多个方向上检测飞行员的头部的移动，包括检测水平移动和垂直移动，以及可输出关于这样的移动的信号到控制器46。可设想，可允许飞行员限制传感器的检测为垂直移动或水平移动之一的机构可操作地耦合到传感器32。照这样，飞行员可具有使一个或者另一个检测方向无能(disable)的能力，以便仅检测横向移动或水平移动。

促动器34可与合成视觉系统30操作地耦合，以便当飞行员激活促动器34时，合成视觉系统30接收飞行员26要求在显示的合成视觉图像的航向上有所变化的输入。如所示，例如飞行员26的用户可容易地达到促动器34，以便飞行员26可通过操作促动器34来选择地输入用于观测变化的要求。作为非限制性示例，促动器34已作为杆18上的开关来示出；然而，可设想，促动器34可以是能够输入用于观测变化的要求的任何合适的机构，以及可以位于飞行员26能够达到的任何位点。

控制器46可包含一个或者更多的微处理器或者能够执行操作合成视觉系统30所必需的功能的合适的电子组件。控制器46可与传感器32电通信，并可接收传感器32输出的信号，该信号是指示感测对象的移动。可设想，控制器46可包含图像处理器，从而能够实现跟踪飞行员的头部的移动。更明确地，控制器46的图像处理器可从传感器32获得输出，以及从输出信号跟踪飞行员的头部的移动的量。备选地，可设想，传感器32可包含这样的成像软件或者能力：用于跟踪飞行员的头部26的移动，而且从传感器32输出的信号可指示跟踪的移动。

控制器46可与存储器42电通信，以便控制器46可读取包含在存储器42内的数据以及将数据写到存储器42，如果期望的话。控制器46还也可与图形处理器38通信，图形处理器38又与屏幕40通信。因此，控制器46可能够通过从控制器46发出到图形处理器38的指令和信息来指定显示在屏幕40上的图像。从控制器46到图形处理器38的关于显示在屏幕40上的图像的指令可基于包含在存储器42和数据库44内的信息。

上述合成视觉系统30可用于实现对屏幕40上显示的渲染情景和其他图像的控制，从而帮助飞行人员操作飞行器10。在合成视觉系统30的操作期间，控制器46可从飞行器状态模块36接收数据，由此控制器46可确定关于飞行器10的位点、航向和速度的信息。作为非限制性示例，飞行器的位点可以从来自于GPS的坐标确定，且飞行器的航向可以通过从惯性制导系统接收航向输入来确定。控制器46可访问存储器42，并可将飞行器的位点和航向数据与来自于数据库44的适当的影像数据相匹配，以及可提供这样的信息到图形处理器38。然后，图形处理器38可输出正确的影像到屏幕40。

本质上，合成视觉系统30根据确定的飞行器10的位点和航向来检索合成视觉图像，并在屏幕40上显示合成视觉图像。这样的视图可以是2D的或3D的，并且为了解释飞行器10的运动，可一秒钟重复更新多次。因此，为了提供通常与飞行员将在飞行器10移动时从飞行器10的前挡风玻璃28向外所看到的实际视图相匹配的图像，合成视觉图像可持续地更新。图3A中示出这样的向前观察的合成视图和向前观察的飞行员。

合成视觉系统30还可用于获取不是在飞行器10直前方的视图。虽然显示直前方的合成视觉图像，但是合成视觉系统30可从要求在显示的合成视觉图像的航向上有所变化的飞行员26接收观测变化输入。当飞行员26激活促动器34时，可接收这样的输入。当飞行员26坐在飞行员座位14中时，来自促动器34的这样的观测变化输入导致合成视觉系统30跟踪飞行员的头部的移动。更明确地，传感器32可向控制器46输出指示飞行员的头部的移动的信号，并且控制器46可从输出信号跟踪飞行员的头部的移动。备选地，传感器32可输出指示飞行员的头部的跟踪移动的信号到控制器46。

不管移动跟踪的方式，然后，控制器46可基于飞行员的头部的、跟踪的头部移动，确定更新的航向。控制器46获得该更新的航向，并从与更新的航向相关的数据库44检索信息和影像，并且将这样的信息发送到图形处理器38。然后，图形处理器38发送更新的合成视觉图像到屏幕40，该合成视觉图像是基于更新的航向的。这允许飞行员26通过移动他的头部到某个角度来改变显示在屏幕40上的合成视觉图像的航向。例如，如果飞行员26想要屏幕40上显示他的当前视野(view)的右边是什么样，则他可以选择促动器34，并且将他的头部转向右边，从而合成视觉系统30将工作以在屏幕40上显示先前示出的图像的右边世界的、更新的合成视觉图像。例如，如图3B中所示，当飞行员的头部向右移动5度时，线条50已经包含在图中以更好的示出飞行员的头部的移动，显示的合成图像可具有更新的航向，该更新的航向也是向之前向前观察显示的右边5度。照这样，合成视觉系统30在屏幕40上显示在基于飞行员的头部的移动来确定的方向中的、更新的地形、地标、以及空中交通的合成视觉图像。为了解释飞行器10的移动和由合成视觉系统30确定的飞行员的头部的另外的移动，这样的视图可一秒钟重复更新多次。一旦释放促动器34，图像就返回到直前方的视图。

可设想，跟踪飞行员的头部的移动可包括跟踪侧向(side-to-side)的头部移动，以及跟踪向上和向下的头部移动，从而确定斜度。将理解，在飞行员的头部侧向移动的情况下，与这样的侧移相关的更新航向通过控制器46来确定，并且更新的合成视觉图像根据更新的航向来检索。在飞行员的头部移动还包含向上或者向下的移动的情况下，确定基于跟踪向上或者向下的头部移动的斜度，并且更新的合成视觉图像根据更新的航向和确定的斜度两者来检索，这允许飞行员26具有更充分地指引合成视觉系统30图形地显示地形、障碍物和空中交通的能力。

可设想，在确定更新的航向时，合成视觉系统30可换算飞行员26的跟踪的头部移动。由合成视觉系统30进行的这样的换算可包括将转动范围转换到180度的更新航向上的变化，该转动范围对应于飞行员的头部从直前方位置到飞行员的眼睛将保持凝视在至少一个飞行显示器上的位置。因此，通过使用这样的换算，可小于40度(作为非限制性示例)地转动飞行员的头部，因此他可保持眼睛与屏幕40联系，并且所得到的显示将有至少180度的航向变化，因此，他可合成地看见飞行器10的后面。这样的换算通过向左、向右、向上和向下简单地移动飞行员26的头部到某个角度同时仍然允许飞行员的眼睛凝视在他的主要飞行显示器上(以便由于视界52将仍然包含他前面的屏幕40，他不失去与显示器的可视联系)，允许他具有飞行器10周围区域的全视野。

进一步可设想的，换算可以是非线性的。作为非限制性示例，非线性的换算可包括当飞行员的头部转动增加时增加换算的量。更明确地，当飞行员的头部移动进一步远离直前方位置时，换算的量增加。例如，图3C示出，飞行员的头部从直前方位置已移动10度，同时更新的航向从向前观察的位置已移动50度。在图3D中示出，飞行员的头部从直前方位置已移动35度，同时更新的方向从向前观察的位置已移动180度。照这样，飞行员的头部运动通过合成视觉系统来换算以增加飞行员运动的视在距离(apparent range)，并仍然使得飞行员能够保持看到飞行驾驶台20上的显示器。

虽然以上描述示出在飞行器飞行期间合成视觉系统30的使用，但是也可设想，当飞行器10在地上的时候，可采用合成视觉系统30。在这样的情况下，可设想，检索合成视觉图像或者更新的合成视觉图像可包含接收关于门的位点以及飞行器10周围的其他飞行器的数据。这可辅助飞机人员在机场地面上定位飞行器，并帮助飞机人员识别不是直接在飞行器10前面的其他飞行器的位点。进一步，虽然上面描述的实施例与来自于飞行员26的输入以及飞行员的头部的跟踪移动相关联，但是将理解，合成视觉系统30能容易地接收来自备选的飞行人员的成员的输入，且能够跟踪那些成员的移动以确定更新的航向。例如，可设想，可包括分离的屏幕、传感器和促动器为副驾驶员使用，而且这样的元件可与合成视觉系统绑定(tie)以便控制器可关于副驾驶员的头部的移动来确定更新的方向。

上述合成视觉系统不限制于仅向前观察以及使用飞行员的头部的运动来控制在合成视觉系统30上的显示。合成视觉系统和上述方法允许飞行员通过激活促动器，容易地调整他的合成视图，以便合成视觉基于检测的飞行员的头部的移动来更新，而不是将飞行员限于仅向前的视图。当飞行员转动他的头部时，他能够得到改进的飞行器周围的地形、障碍物、交通的情景意识，然后，一旦释放促动器，合成视觉就可返回到表示直前方视图的合成视觉图像。上述实施例和方法通过允许他或者她(飞行员)更自由地环视飞行器的外面来允许改进的飞行员的情景意识，以及允许飞行员形成飞行器全部周围环境的思维模型，同时仍然保持主要的飞行显示器在看得见的地方。

本书面描述使用示例来公开包括最佳模式的本发明，并还使本领域技术人员能实践本发明，包括制作和使用任何装置或系统及执行任何结合的方法。本发明可取得专利的范围由权利要求定义，且可包括本领域技术人员想到的其它示例。如果此类其它示例具有与权利要求字面语言无不同的结构要素，或者如果它们包括与权利要求字面语言无实质不同的等效结构要素，则它们规定为在权利要求的范围之内。

部件列表

10飞行器

12驾驶舱

14飞行员座位

16副驾驶员座位

18飞行器控制杆

20飞行驾驶台

22飞行控件

24飞行显示器

26飞行员

28挡风玻璃

29窗

30合成视觉系统

32传感器

34促动器

36飞行器状态模块

38图形处理器

40屏幕

42存储器

44数据库

46控制器

48

50线条

52视界

Claims (9)

1.一种操作飞行器的方法，所述飞行器包括驾驶舱，所述驾驶舱具有带至少一个飞行显示器的飞行驾驶台、面对所述飞行驾驶台的飞行员的座位、以及合成视觉系统，所述合成视觉系统产生用于在所述至少一个飞行显示器上显示的合成图像，其中所述合成视觉系统包括与合成视觉系统操作地耦合的促动器，所述方法包括：

确定所述飞行器的位点和航向；

根据所确定的位点和航向，从所述合成视觉系统检索合成视觉图像；

在所述至少一个飞行显示器上显示所述合成视觉图像；

激活所述促动器并且从要求在显示的所述合成视觉图像的所述航向上有所变化的飞行员接收观测变化输入；

响应于所述观测变化输入，跟踪坐在所述座位中的所述飞行员的、所述飞行员的头部的移动；

通过换算所跟踪的头部移动确定更新的航向；

根据所述更新的航向，从所述合成视觉系统检索更新的合成视觉图像；

在所述至少一个飞行显示器上显示所述更新的合成视觉图像；以及

释放所述促动器使得所述合成视觉系统返回到表示直前方视图的合成视觉图像。

2.如权利要求1所述的方法，其中，所述确定所述飞行器的位点包括从全球定位系统接收坐标，以及确定所述飞行器的航向包括从惯性制导系统接收航向输入。

3.如权利要求1-2中的任一项所述的方法，其中，检索所述合成视觉图像包括所述合成视觉系统从存储在所述飞行器上的至少一个数据库生成所述合成视觉图像。

4.如权利要求1-2中的任一项所述的方法，其中，跟踪所述飞行员的头部的所述移动包括跟踪至少侧向头部移动。

5.如权利要求1-2中的任一项所述的方法，其中，跟踪所述飞行员的头部的所述移动进一步包括跟踪向上和向下的头部移动以确定斜度。

6.如权利要求5所述的方法，其中，所述检索所述更新的合成视觉图像进一步包括：基于所确定的航向和斜度检索更新的合成视觉图像。

7.如权利要求1所述的方法，其中，所述换算提供导致至少180度的航向变化的、小于40度的所述飞行员的头部的转动。

8.如权利要求1所述的方法，其中，所述换算是非线性的。

9.如权利要求7所述的方法，其中，所述换算随着所述飞行员的头部的所述转动增加而增加。