CN104063214A - 用于在告警期间对增强的图像进行着色的方法和系统 - Google Patents

用于在告警期间对增强的图像进行着色的方法和系统 Download PDF

Info

Publication number
CN104063214A
CN104063214A CN201410107237.XA CN201410107237A CN104063214A CN 104063214 A CN104063214 A CN 104063214A CN 201410107237 A CN201410107237 A CN 201410107237A CN 104063214 A CN104063214 A CN 104063214A
Authority
CN
China
Prior art keywords
view data
display device
aircraft
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410107237.XA
Other languages
English (en)
Inventor
T.L.费耶雷森
何刚
J.G.萨德雷思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honeywell International Inc
Original Assignee
Honeywell International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honeywell International Inc filed Critical Honeywell International Inc
Publication of CN104063214A publication Critical patent/CN104063214A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004Transmission of traffic-related information to or from an aircraft
    • G08G5/0013Transmission of traffic-related information to or from an aircraft with a ground station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0026Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073Surveillance aids
    • G08G5/0086Surveillance aids for monitoring terrain
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

公开了用于在告警期间对增强的图像进行着色的方法和系统。公开了用于改进地形/障碍物告警信息在复合(合成和传感器)图像中的呈现的方法和系统。一种示例性系统包括获得针对运载工具外部的区域的图像数据的成像设备、处理系统和显示设备。处理系统与显示设备和成像设备进行数据通信。处理系统接收来自告警(例如,地形感知和警告)系统的信息和所获得的图像数据;如果所接收的信息指示针对所获得的图像数据的至少一部分存在告警条件,则对所获得的图像数据的该部分进行着色或使其透明;并且生成包括之前生成的合成图像和具有增强的部分的所获得的图像数据的复合图像。显示设备显示复合图像。所获得的图像数据覆盖在合成图像上。

Description

用于在告警期间对增强的图像进行着色的方法和系统
技术领域
本发明涉及用于改进地形/障碍物/入侵告警信息在复合(合成和传感器)图像中的呈现的方法和系统。
背景技术
运载工具(诸如飞机)的现代驾驶舱显示器(或座舱显示器)传达了大量的信息,诸如运载工具的位置、速度、高度、姿态、导航、目标和地形信息。在飞机的情况下,大多数现代显示器附加地从不同视图示出飞行规划,所述视图是侧视图、俯视图或鸟瞰图,它们可以单独或同时显示在同一显示器上。鸟瞰图提供运载工具的飞行规划(或运载工具的前向路径)的三维视图,并可以包括各种地图特征,例如,包括气象信息、地形信息、政治边界和导航辅助(例如,航点符号、对航点符号进行互连的线段、以及距离圈)。地形信息可以包括态势感知(SA)地形,以及地形的注意事项和警告,除了别的之外,它们可以指示可能会妨碍飞机的当前飞行路径的地形。在这方面,一些现代驾驶舱显示系统并入了合成地形显示,它一般表示以保形方式呈现的地形的虚拟或计算机模拟视图。在现有的合成视觉系统所使用的主要鸟瞰图仿真向前看的座舱视点。这样的视图是直观的,并且向飞行员和机组人员提供有帮助的视觉信息。
合成地形显示的完整性受限于预先存储在用于呈现地形的数据库中的信息的完整性。从而,合成视觉系统通常使用机载的成像设备来增加或增强向前看的座舱视图。例如,增强的视觉系统可以使用红外线和/或毫米波摄像机来感测对象和/或地形特征,并基于所感测的对象和/或地形特征来呈现实时成像,其覆盖在合成地形显示上。以这种方式,增强的视觉系统可以提供更高完整性的地形成像以及与诸如其它运载工具和建筑物的各个非地形特征相对应的成像,其不由先验数据库表示。当在仪器气象条件(IMC)或能见度降低的条件下操作运载工具或飞机时,这些增强的合成视觉系统尤其有用,所述能见度降低的条件诸如,例如乳白天空、灯火管制、海洋飞沫、雾、烟、低光或夜间条件、其它恶劣天气条件等。期望这些增强的视觉系统被快速且直观地感知,而不会减损飞行员和/或机组人员的态势感知。
发明内容
本发明提供了用于改进地形/障碍物/入侵告警信息在复合(合成和传感器)图像中的呈现的方法和系统。示例性系统包括获得针对运载工具外部的区域的图像数据的成像设备、处理系统和显示设备。处理系统与显示设备和成像设备进行数据通信。处理系统接收来自告警系统(例如,地形感知和警告系统(TAWS))的信息和所获得的图像数据;如果所接收的信息指示针对所获得的图像数据的至少一部分存在告警条件,则增强所获得的图像数据的该部分;并且生成复合图像,该复合图像包括之前生成的合成图像或与该合成图像相关联的数据和具有增强的部分的所获得的图像数据。显示设备显示复合图像。所获得的图像数据覆盖在合成图像上。
在本发明的一个方面中,处理系统通过对所获得的图像数据的与告警条件相关联的部分进行着色来增强所获得的图像数据的该部分。
在本发明的另一个方面中,处理系统通过使所获得的图像数据的与告警条件相关联的部分至少部分透明来增强所获得的图像数据的该部分。
在本发明的又一个方面中,运载工具是飞机。
本发明对组合视觉系统(CVS)中观察到的所有地形上的威胁进行适当地着色。通过对传感器图像进行着色,为座舱显示解释带来了直观性,从而使得驾驶员容易地从一个图像到另一个图像来移动和解释数据点。
附图说明
参照以下附图在下面对本发明的优选和替换实施例进行了详细的描述:
图1是根据本发明的实施例形成的系统的框图;
图2是由图1中示出的系统生成的示例性驾驶舱显示;并且
图3是由图1中示出的系统执行的示例性过程的流程图。
具体实施方式
下面的详细描述在本质上仅为示例性的,并且并不旨在限制本申请的主题及其用途。此外,无意受到在前面的背景技术或下面的详细描述中呈现的任何理论的约束。
本文中讨论的技术和构思涉及这样的系统,所述系统用于对从诸如飞机的运载工具上机载的成像设备接收的实时图像进行视觉分区,以便增强例如飞行员或机组成员的用户快速并精确地确定相对高度和/或姿态或该实时图像中示出的特征的警报的能力。使用可区分的特性来对实时图像进行分区,以使得飞行员或机组成员直观地识别相对高度和/或姿态或图像的各个部分的告警条件,所述可区分的特性诸如,例如视觉上可区分的颜色或透明度的等级。此外,可以动态地选择视觉上可区分的特性(例如,基于飞机的飞行阶段、图像质量、用户指定的偏好等),以提供周围的显示(例如,当图像被覆盖在地形的合成鸟瞰图上时邻近的地形)之间的无缝过渡,并避免使飞行员分心。虽然在本文中可以在航空背景下描述主题,但主题可以与诸如地基运载工具、航天器或其它敏捷运载工具(agile vehicle)、或海上船只的运载工具一起使用。
图1描绘了可以用于诸如飞机130的运载工具的显示系统100的示例性实施例。显示系统100包括但不限于:显示设备102、用户输入设备104、处理系统106、图形系统108、通信系统110、导航系统112、飞行管理系统(FMS)114、一个或多个航空电子系统116、地形感知和警告系统(TAWS)117、成像设备118和数据库120。如同下面更详细描述的,显示系统100的元件被适当地配置为:在显示设备102上的主飞行显示器(PFD)中显示、呈现或以其它方式传达增强的合成鸟瞰图。可以使用不同于TAWS 117的告警系统,例如,交通防撞系统(TCAS)、敌对威胁系统。
应该理解的是:图1是出于解释和易于描述的目的对显示系统100的简化表示,并且图1不意在以任何方式限制本文中描述的主题的应用或范围。应该明白的是,虽然图1示出显示系统100的元件位于飞机130上,但在实践中,显示系统100的元件中的一个或多个元件可以位于飞机130之外(例如,在地面上作为空中交通控制中心或另一个指挥中心的一部分),并通信地耦合到显示系统100的其余元件(例如,经由数据链路和/或通信系统110)。例如,在一些实施例中,显示设备102、用户输入设备104、成像设备118和/或数据库120可以位于飞机130之外,并通信地耦合到显示系统100的其它元件。此外,如同在本领域中将明白的:显示系统100和/或飞机130的实际实施例将包括用于提供附加功能和特征的许多其它设备和组件。在此方面,将明白的是:尽管图1示出了单个显示设备,但在实践中,在飞机130上可以存在附加的显示设备。
显示设备102被实现为电子显示器,其被配置为:在图形系统108和/或处理系统106的控制下,图形地提供飞行信息或与飞机130的操作相关联的其它数据。在这方面,显示设备102耦合到图形系统108和处理系统106,并且如同下面更详细描述的,处理系统106和图形系统108协同地被配置为:在显示设备102上显示、呈现或以其它方式传达与飞机130的操作相关联的一个或多个图形表示或图像。用户输入设备104耦合到处理系统106,并且用户输入设备104和处理系统106被协同配置为:允许用户(例如,飞行员、副驾驶员或机组成员)以常规的方式与显示设备102和/或显示系统100的其它元件进行交互。取决于实施例,用户输入设备104可以被实现为:小键盘、触摸板、键盘、鼠标、触摸面板(或触摸屏)、操纵杆、旋钮、行选择键、或适合于接收来自用户的输入的另一种合适的设备。在一些实施例中,用户输入设备104被实现为音频输入设备,诸如麦克风、音频转换器、音频传感器等,该音频输入设备适于允许用户以“免提”方式向显示系统100提供音频输入,而不需要用户移动他或她的手和/或头来与显示系统100进行交互。根据一个或多个实施例,如同下面更详细描述的,用户输入设备104适于接收指示不同的视觉上可区分的特性的输入,以及向处理系统106提供该输入,用于根据不同的视觉上可区分的特性来显示从成像设备118获得的图像数据的部分。
如同下面更详细描述的,处理系统106通常表示被配置为促进显示设备102与显示系统100的其它元件之间的通信和/或交互,并执行附加的任务和/或功能以支持在显示设备102上显示主飞行显示器的增强的合成鸟瞰图的硬件、软件和/或固件组件。取决于实施例,处理系统106可以使用被设计成执行本文中描述的功能的通用处理器、内容可寻址存储器、数字信号处理器、专用集成电路、现场可编程门阵列、任何合适的可编程逻辑器件、分立门或晶体管逻辑、处理核心、分立硬件组件、或它们的任意组合来实施或实现。处理系统106也可以实现为计算设备的组合,例如,多个处理核心、数字信号处理器和微处理器的组合、多个微处理器、一个或多个微处理器与数字信号处理器核心结合,或者任何其它此种配置。在实践中,如同下面更详细描述的,处理系统106包括可以被配置为执行与显示系统100的操作相关联的功能、技术、和处理任务的处理逻辑。此外,结合本文中公开的实施例所描述的方法或者算法的步骤可直接体现在硬件中、固件中、由处理系统106执行的软件模块中或它们的任意实用组合中。虽然图1将处理系统106描绘成显示系统100的独特和单独的元件,但在实践中,处理系统106可以与显示系统100的诸如图形系统108、FMS 114或导航系统112的另一个元件集成。
图形系统108耦合到处理系统106,并且图形系统108通常表示被配置为:对显示设备102上的一个或多个导航地图的显示和/或呈现和/或与飞机130和/或系统110、112、114、116和117的操作有关的其它显示进行控制的硬件、软件和/或固件组件。在这方面,图形系统108可以访问或包括被配置为支持图形系统108的操作的一个或多个数据库120,诸如,例如,地形数据库、障碍物数据库、导航数据库、地缘政治数据库、终端空域数据库、特殊用途空域数据库、或用于在显示设备102上呈现和/或显示内容的其它信息。在示例性实施例中,如同下面更详细描述的,图形系统108访问数据库120,数据库120包括:针对地形、障碍物的位置(例如,纬度和经度)、高度和其它属性信息(例如,诸如水,土地面积等的地形类型信息),和用于支持呈现飞机130附近的地形的三维保形合成鸟瞰图的其它特征。
在示例性实施例中,处理系统106耦合到导航系统112,导航系统112被配置为:提供关于飞机130的操作的实时导航数据和/或信息。如同在本领域中将明白的,导航系统112可以被实现为:全球定位系统(GPS)、惯性参考系统(IRS)、或基于无线电的导航系统(例如,VHF全向无线电范围(VOR)或远程助航(LORAN)),并且可以包括:雷达高度表、一个或多个导航无线电、或被合适地配置为支持导航系统112的操作的其它传感器。导航系统112能够获得和/或确定飞机130的即时位置,也就是说,飞机130的当前位置(例如,当前的纬度和经度)以及飞机130的当前的高度或地上水平。此外,在示例性实施例中,导航系统112包括:能够获得或以其它方式确定飞机130相对于地球的姿态或定向(例如,俯仰、滚转、偏航和前进)的惯性参考传感器。
在所示出的实施例中,处理系统106还耦合到通信系统110,通信系统110被配置为支持去往和/或来自飞机130的通信。通信系统110被合适地配置为:支持飞机130与空中交通控制或另一个合适的指挥中心或地面位置之间的通信。在这一方面,通信系统110可以使用无线电通信系统或另一种合适的数据链路系统来实现。
在示例性实施例中,处理系统106还耦合到FMS 114。FMS 114保持与飞机130的飞行规划相关的信息。FMS 114耦合到导航系统112、通信系统110、以及一个或多个附加的航空电子系统116以便以常规的方式支持导航、飞行规划、和其它飞机控制功能,以及向处理系统106提供关于飞机130的操作状态的实时数据和/或信息。虽然图1描绘了单个航空电子系统116,但在实践中,显示系统100和/或飞机130将有可能包括用于获得和/或提供可以显示在显示设备102上或以其它方式提供给用户(例如,飞行员、副驾驶员或机组成员)的与飞行相关的实时信息的许多航空电子系统。例如,显示系统100和/或飞机130的实用实施例将有可能包括被合适地配置为支持飞机130的操作的下列航空电子系统中的一个或多个:气象系统、空中交通管理系统、雷达系统、交通防撞系统、自动驾驶系统、自动油门系统、飞行控制系统、液压系统、气动系统、环境系统、电气系统、发动机系统、内饰系统、照明系统、机组告警系统、电子检查系统、电子飞行包和/或另一个合适的航空电子系统。
在示例性实施例中,FMS 114(或另一个航空电子系统116)被配置为:确定、跟踪、或以其它方式识别飞机130当前的飞行阶段。飞行的各个阶段是公知的,并且在本文中将不再详细描述。
在示例性实施例中,成像设备118耦合到处理系统106,并且通常表示显示系统100的组件,这些组件被配置为:捕捉、感测或以其它方式获得与接近飞机130的成像区域相对应的实时成像(即,依赖于捕捉速率的流视频)。在这一方面,如同下面更详细描述的,成像设备118以规则的间隔(例如,成像设备118的刷新速率)捕捉与成像区域相对应的图像或帧以用于随后在显示设备102上的显示。在示例性实施例中,成像设备118被实现为:安装在飞机130机鼻中或其附近并被校准为使成像区域与在显示设备102上呈现的主飞行显示器的观察区域中的特定的位置对齐的红外线(IR)视频摄像机或毫米波(MMW)视频摄像机。例如,可以对成像设备118进行配置,从而使得成像区域的几何中心与观察区域的几何中心对齐或以其它方式相对应。在这一方面,成像设备118可以被定向或以其它方式指引为基本上平行于飞机130的座舱中的飞行员和/或机组成员的预期的视线,以便有效地捕捉成像区域的向前看的座舱视图。
虽然图1将成像设备118描绘为位于飞机130上,但在一些实施例中,成像设备118可以位于飞机130之外并且经由通信系统110通信地耦合到处理系统106。在这一方面,在一些实施例中,处理系统106可以下载与之前的飞行方式、飞行路径或轨道相对应的图像数据,并且将所下载的图像数据与在显示设备102上呈现的接近飞机130的地形的三维保形合成鸟瞰图进行相关和/或同步。在其它实施例中,成像设备118可以安装在固定位置(例如,机场),其中,处理系统106可以从成像设备118下载实时图像数据,并且将所下载的图像数据与在显示设备102上呈现的接近飞机130的地形的三维保形合成鸟瞰图进行相关。
现在参照图2,并且继续参考图1,在示例性实施例中,处理系统106和图形系统108被协同配置为:控制复合图像200在显示设备102上的呈现。应该明白的是:如在图2中所描绘的复合图像200表示冻结在一个特定时刻的动态显示的状态,并且在飞机130的操作期间可以连续地刷新复合图像200以便反映飞机130的高度和/或位置的变化。
在所示出的实施例中,如同下面更详细描述的,复合图像200包括以图形方式呈现的若干特征,包括但不限于:地形的合成鸟瞰图(即,合成地形图像204)、与飞机130的当前飞行路径相对应的参考符号212、指示飞机130的当前空速的空速指示器214(或空速刻度带(airspeed tape))、指示飞机130的当前高度的高度指示器216(或高度计刻度带)、零俯仰参考线218、俯仰阶梯刻度220、罗盘222和飞机参考符号224。为了易于描述和说明清楚,对图2中示出的实施例进行了简化——在实践中,复合图像200的实施例还可以包含对应于或表示飞行员指导元素、航点标记、飞行规划标志、飞行数据、数字信息、趋势数据等的附加的图形元素。为了清楚、简单和简洁起见,将不会在本文中描述复合图像200的这些附加的图形元素。
在示例性实施例中,合成地形图像204基于与接近飞机130当前位置的观察区域相对应的地形数据集,所述观察区域与来自飞机130的向前看的座舱视点相对应。图形系统108包括或以其它方式访问数据库120,并且结合来自处理系统106和/或导航系统112的导航信息(例如,纬度、经度和高度)以及定向信息(例如,飞机俯仰、滚转、前进和偏航),图形系统108控制合成地形图像204在显示设备102上的呈现,并且当飞机130行进时按需要对用于呈现的地形数据集进行更新。如所示出的,在示例性实施例中,图形系统108被配置为:在与驾驶舱(或座舱)视点相对应的鸟瞰图或三维图中呈现合成地形图像204。换句话说,合成地形图像204以模拟驾驶舱视点的图形方式来显示,所述驾驶舱视点即飞机座舱中的人的有利观察点(vantage point)。因此,合成地形图像204的特征以保形的方式相对于地球显示。例如,合成地形图像204中的特征的相对高程和高度以仿真现实(即,合成视图)的虚拟方式显示。此外,当飞机航行时(例如,转弯、上升、下降、滚转等),合成地形图像204的图形表示和透视显示的其它特征移位以便为飞行机组人员提供持续更新的虚拟表示。
如图2中所示,在示例性实施例中,将从成像设备118获得的图像数据(可替代地在本文中被称为捕捉的图像206)的图形表示显示或呈现为覆盖在合成地形图像204的合成鸟瞰图上。在这一方面,图2的复合图像200与接近飞机130的观察区域的增强的合成鸟瞰图相对应。捕捉的图像206基于通过成像设备118针对接近飞机130的成像区域获得的图像数据,并且捕捉的图像206以相对于由合成地形图像204描绘的真实世界地形来精确反映和/或对应于通过成像设备118获得的该图像数据的近似的真实世界位置的方式,被置于复合图像200内以覆盖在合成地形图像204上。如同上面所描述的,对成像设备118进行校准,从而使得捕捉的图像206与复合图像200的观察区域内的特定的位置对齐,并且与向前看的座舱视点的预期的视线相对应。在其它实施例中,处理系统106和/或图形系统108可以识别图像数据内的特征(例如,跑道)并且将所识别的特征与在用于呈现合成地形图像204的地形数据中的其相应的图形表示对齐,以便相对于合成地形图像204适当地放置捕捉的图像206。如同上面所描述的,在示例性实施例中,捕捉的图像206与通过IR视频摄像机或MMW视频摄像机获得的图像(或视频的帧)相对应。在这一方面,以成像设备118的刷新速率对捕捉的图像206进行更新,以便为复合图像200上的成像区域提供基本实时的成像(或视频)。
如同下面更详细描述的,在示例性实施例中,当相关联的真实地形被TAWS 117(例如,由霍尼韦尔公司®(Honeywell, Inc.®)生产的增强型近地警告系统(EGPWS))识别为危险的时,处理系统106和/或图形系统108向捕捉的图像206和合成地形图像204指派预先定义的颜色。在一个实施例中,TAWS 117向处理系统106和/或图形系统108发送点的威胁阵列矩阵。处理系统106和/或图形系统108使用威胁着色的适当等级(根据预先定义的威胁等级的颜色方案)来替换来自成像设备118的图像的传统着色。增强的捕捉的图像206中使用的颜色(或阴影、纹理或图形效果)将优选地匹配那些用于识别合成地形图像204中的危险地形的那些颜色,从而提供了两个图像204、206之间的无缝视觉过渡。增强的捕捉的图像和合成地形图像允许飞行员或机组成员快速并且直观地查明飞机130面临的地形威胁。
如图2中所示,飞行路径参考符号212、空速指示器214、高度指示器216、零俯仰参考线218、俯仰阶梯刻度220、罗盘222和飞机参考符号224显示或以其它方式呈现为覆盖在合成地形图像204和/或捕捉的图像206上。
现在参照图3,在示例性实施例中,显示系统100可以被配置为执行显示过程300和下面描述的附加的任务、功能和操作。各个任务可以由软件、硬件、固件或它们的任意组合来执行。为了说明的目的,下面的描述可以参考上面结合图1提到的元件。在实践中,任务、功能和操作可以由所描述的系统的不同元件来执行,诸如,显示设备102、用户输入设备104、处理系统106、图形系统108、通信系统110、导航系统112、FMS 114、一个或多个航空电子系统116、TAWS 117、成像设备118和/或数据库120。应该明白的是,可以包括任意数量的附加或替换的任务,并可以将它们并入具有未在本文中进行详细描述的附加的功能性的更全面的程序或过程中。
再次参照图3,并且继续参考图1和图2,由系统100执行的过程300将由实时成像设备118捕捉的图像显示在飞机130机载的显示设备102上。在框302处,生成和显示针对接近飞机的观察区域的地形的三维合成鸟瞰图。在这一方面,在示例性实施例中,处理系统106和/或图形系统108被配置为:获得飞机130的当前的导航信息和定向信息,并且在显示设备102上的复合图像200中显示或以其它方式呈现与向前看的座舱视点相对应的合成地形图像204。接下来,在框304处,获得与接近飞机130的成像区域相对应的图像数据。在这一方面,一个或多个成像设备118捕捉、感测或以其它方式获得成像区域的实时成像,并且向处理系统106提供相应的图像数据。
然后,在框306处,如果告警条件存在,那么处理系统106和/或图形系统108从TAWS 117接收地面/障碍物告警信息。在框308处,处理系统106和/或图形系统108识别与所接收的地面/障碍物告警信息相关联的合成地形图像和图像数据的部分。
在框310处,以类似的方式呈现与TAWS信息相关联的图像的部分。例如,TAWS 117基于当前飞机位置和航向识别出了附近山峰的上1000英尺在近地警告包络内。在这种情况下,与附近山峰的上1000英尺相关联的合成图像的部分被涂成红色阴影以指示警告告警条件。此外,来自成像设备118的图像的与该附近山峰的上1000英尺相关联的部分(即,该附近山峰的地形图像)也被涂成红色阴影。这提供了来自成像设备118的图像与合成图像之间的无缝视图(见图2)。
在一个实施例中,处理系统106和/或图形系统108使捕捉的图像206仅在捕捉的图像206的与从TAWS 117发送的点的威胁阵列矩阵相对应的位置处是透明的。这使得合成地形图像204的已经根据TAWS信息着色(增强)的部分是可视的。不需要对捕捉的图像206的着色。来自合成地形图像204的着色基本上替换了相关联的捕捉的图像地形。
简要概括:上面描述的方法和系统允许诸如飞行员或机组成员的用户使用显示在主飞行显示器中的实时成像快速且直观地查明任何地形/障碍物威胁。
为了简洁起见,在本文中可能未详细描述关于图形和图像处理、导航、飞行规划、飞机控制和系统的其它功能方面(以及系统的单独操作组件)的常规技术。此外,在包含在本文中的各个图中示出的连接线旨在表示各个元件之间的示例性的功能关系和/或物理耦合。应该指出的是:许多可替代或附加的功能关系或物理连接可以存在于本主题的实施例中。
可以在本文中根据功能和/或逻辑块组件并且参考可以由各个计算组件或设备执行的操作、处理任务和功能的符号表示来描述技艺和技术。应该明白的是:图中示出的各个块组件可以由被配置为执行指定功能的任意数量的硬件、软件和/或固件组件来实现。例如,系统或组件的实施例可以使用各种集成电路组件,例如,存储器元件、数字信号处理器元件、逻辑元件、查找表等,它们可以在一个或多个微处理器或其它控制设备的控制下执行各种功能。
前面的描述提到元件或节点或特征“耦合”在一起。如本文中所使用的,除非另外明确地声明,否则“耦合”意指一个元件/节点/特征直接或间接地接合到另一个元件/节点/特征(或直接或间接地与之通信),并且不一定是通过机械的方式。因此,虽然附图可以描绘元件的一种示例性布置,但在所描绘的主题的实施例中可以存在附加的介入元件、设备、特征或组件。此外,某些术语还可以仅出于参考的目的用于下面的描述中,并因此并不旨在是限制性的。
在一个实施例中,地形/障碍物告警被表示为映射到由增强的视觉系统(EVS)产生的视频图像上的相应区域的关注地理区域,并且随后基于投射到EVS图像上的告警地理区域对EVS图像特性进行修改。从而,告警的投射并不仅限于TAWs告警。交通告警(来自机载的交通计算机的交通信号)可以具有空中交通或地面交通。例如,交通告警是针对保护区内的对象而不仅是针对点发布的。还可以将交通告警投射到EVS图像上以便触发颜色变化,并且与相关联的信息一起投射,即使这些小的对象可能尚未登记在视频图像中。在许多情况下,由于天气或分辨率的问题,EVS可能看不见前面的空中交通对象。其它示例可以包括与不友好力量相关联的危险区域。可以从数据库、雷达回波或上行链路数据源获取信息。可以将任何该信息投射到图像上。将在地理上定位的威胁投射到EVS视频图像上以突出威胁区域。
虽然已经示出和描述了本发明的优选的实施例,但如同上面所指出的,在不脱离本发明的精神和范围的情况下可以进行许多变化。因此,本发明的范围不受限于优选实施例的公开。替代的是,本发明应该通过参照所附权利要求书来整体确定。
其中主张了排他性质或特权的本发明的实施例如所附权利要求书来定义。

Claims (10)

1. 一种用于在与运载工具相关联的显示设备上显示信息的方法,所述方法包括:
在成像设备处获得针对接近所述运载工具的成像区域的图像数据;
在处理设备处,
从位于所述运载工具上的告警系统接收信息;
如果所接收的信息,那么增强所获得的图像数据的至少一部分;以及
生成复合图像,所述复合图像具有来自之前生成的合成图像的可用数据和具有增强的部分的所获得的图像数据;以及
在显示设备处显示所述复合图像。
2. 根据权利要求1所述的方法,其中,所述告警系统包括地形感知系统(TAWS),并且所接收的信息包括地形或障碍物告警中的至少一个。
3. 根据权利要求1所述的方法,其中,所述复合图像包括覆盖在所述合成图像上的所获得的图像数据。
4. 根据权利要求3所述的方法,其中,增强包括对所获得的图像数据的与告警条件相关联的部分进行着色。
5. 根据权利要求3所述的方法,其中,增强包括使所获得的图像数据的与告警条件相关联的部分至少部分透明。
6. 一种系统,包括:
显示设备,其位于运载工具中;
成像设备,其被配置为获得针对所述运载工具外部的区域的图像数据;以及
处理系统,其耦合到所述显示设备和所述成像设备,其中,所述处理系统被配置为:
接收来自告警系统的信息和所获得的图像数据;
如果所接收的信息指示针对所获得的图像数据的至少一部分存在告警条件,那么增强所获得的图像数据的所述部分;并且
生成复合图像,所述复合图像包括之前生成的合成图像和具有增强的部分的所获得的图像数据,
其中,所述显示设备被配置为显示所述复合图像。
7. 根据权利要求6所述的系统,其中,
所述运载工具是飞机;并且
所述告警系统包括地形感知系统(TAWS),并且所接收的信息包括地形或障碍物告警中的至少一个。
8. 根据权利要求6所述的系统,其中,所述复合图像包括覆盖在所述合成图像上的所获得的图像数据。
9. 根据权利要求8所述的系统,其中,所述处理系统通过对所获得的图像数据的与所述告警条件相关联的所述部分进行着色来增强所获得的图像数据的所述部分。
10. 根据权利要求8所述的系统,其中,所述处理系统通过使所获得的图像数据的与所述告警条件相关联的所述部分至少部分透明来增强所获得的图像数据的所述部分。
CN201410107237.XA 2013-03-22 2014-03-21 用于在告警期间对增强的图像进行着色的方法和系统 Pending CN104063214A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/849403 2013-03-22
US13/849,403 US20140285661A1 (en) 2013-03-22 2013-03-22 Methods and systems for colorizing an enhanced image during alert

Publications (1)

Publication Number Publication Date
CN104063214A true CN104063214A (zh) 2014-09-24

Family

ID=50478669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410107237.XA Pending CN104063214A (zh) 2013-03-22 2014-03-21 用于在告警期间对增强的图像进行着色的方法和系统

Country Status (3)

Country Link
US (1) US20140285661A1 (zh)
EP (1) EP2782086A1 (zh)
CN (1) CN104063214A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104483754A (zh) * 2014-12-04 2015-04-01 上海交通大学 针对视觉障碍患者的头戴式多媒体终端辅助观看系统
CN105551310A (zh) * 2015-12-02 2016-05-04 上海航空电器有限公司 一种基于地形数据库的前视预警快速寻址法
CN107451988A (zh) * 2016-04-01 2017-12-08 泰勒斯公司 在飞行器的检视系统中对感兴趣的元素合成表示的方法
CN108024070A (zh) * 2016-11-03 2018-05-11 泰勒斯公司 在合成图像上覆盖传感器图像的方法及相关显示系统
CN109445449A (zh) * 2018-11-29 2019-03-08 浙江大学 一种高亚音速无人机超低空飞行控制系统及方法
CN109993996A (zh) * 2018-01-02 2019-07-09 上海航空电器有限公司 一种直升机地形提示与告警系统的显示方法
CN113994410A (zh) * 2019-06-27 2022-01-28 湾流航空航天公司 利用地形感知和警告系统的定制飞行器轨迹

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015138327A1 (en) 2014-03-11 2015-09-17 Cessna Aircraft Company Touch screen instrument panel
US20180232097A1 (en) * 2014-03-11 2018-08-16 Textron Aviation Inc. Touch Screen Instrument Panel
US10347140B2 (en) 2014-03-11 2019-07-09 Textron Innovations Inc. Flight planning and communication
WO2015138318A1 (en) 2014-03-11 2015-09-17 Cessna Aircraft Company Standby instrument panel for aircraft
US9672745B2 (en) 2014-03-11 2017-06-06 Textron Innovations Inc. Awareness enhancing display for aircraft
US9428056B2 (en) 2014-03-11 2016-08-30 Textron Innovations, Inc. Adjustable synthetic vision
US9685090B2 (en) * 2014-03-11 2017-06-20 Textron Innovations Inc. Navigational aids
US10042456B2 (en) 2014-03-11 2018-08-07 Textron Innovations Inc. User interface for an aircraft
US9555896B2 (en) 2014-03-11 2017-01-31 Textron Innovations Inc. Aircraft flight control

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4646244A (en) * 1984-02-02 1987-02-24 Sundstrand Data Control, Inc. Terrain advisory system
US6021374A (en) * 1997-10-09 2000-02-01 Mcdonnell Douglas Corporation Stand alone terrain conflict detector and operating methods therefor
CN1279393A (zh) * 1999-07-02 2001-01-10 贾敏忠 用于通用航空的路径规划、地形回避及飞航环境警觉系统
US7605719B1 (en) * 2007-07-25 2009-10-20 Rockwell Collins, Inc. System and methods for displaying a partial images and non-overlapping, shared-screen partial images acquired from vision systems
US20110210871A1 (en) * 2009-09-01 2011-09-01 Thales 3D Navigation Aid System and Display for Same
EP2413101A1 (en) * 2010-07-28 2012-02-01 Honeywell International Inc. Method and system for attitude differentiation in enhanced vision images of an aircraft cockpit display
US20120176497A1 (en) * 2009-10-01 2012-07-12 Rafael Advancedefense Systems Ltd. Assisting vehicle navigation in situations of possible obscured view
US8244418B1 (en) * 2008-07-03 2012-08-14 Rockwell Collins, Inc. System and method for generating alert signals in a weather awareness and warning system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008153597A1 (en) * 2006-12-06 2008-12-18 Honeywell International, Inc. Methods, apparatus and systems for enhanced synthetic vision and multi-sensor data fusion to improve operational capabilities of unmanned aerial vehicles
US8296056B2 (en) * 2009-04-20 2012-10-23 Honeywell International Inc. Enhanced vision system for precision navigation in low visibility or global positioning system (GPS) denied conditions
US8654149B2 (en) * 2011-12-20 2014-02-18 Honeywell International Inc. System and method for displaying enhanced vision and synthetic images
US8742952B1 (en) * 2012-08-14 2014-06-03 Rockwell Collins, Inc. Traffic awareness systems and methods

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4646244A (en) * 1984-02-02 1987-02-24 Sundstrand Data Control, Inc. Terrain advisory system
US6021374A (en) * 1997-10-09 2000-02-01 Mcdonnell Douglas Corporation Stand alone terrain conflict detector and operating methods therefor
CN1279393A (zh) * 1999-07-02 2001-01-10 贾敏忠 用于通用航空的路径规划、地形回避及飞航环境警觉系统
US7605719B1 (en) * 2007-07-25 2009-10-20 Rockwell Collins, Inc. System and methods for displaying a partial images and non-overlapping, shared-screen partial images acquired from vision systems
US8244418B1 (en) * 2008-07-03 2012-08-14 Rockwell Collins, Inc. System and method for generating alert signals in a weather awareness and warning system
US20110210871A1 (en) * 2009-09-01 2011-09-01 Thales 3D Navigation Aid System and Display for Same
US20120176497A1 (en) * 2009-10-01 2012-07-12 Rafael Advancedefense Systems Ltd. Assisting vehicle navigation in situations of possible obscured view
EP2413101A1 (en) * 2010-07-28 2012-02-01 Honeywell International Inc. Method and system for attitude differentiation in enhanced vision images of an aircraft cockpit display
CN102343980A (zh) * 2010-07-28 2012-02-08 霍尼韦尔国际公司 用于增强视觉图像中的姿态辨别的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李自俊: "《Cessna525飞机培训教程(电子部分)》", 31 March 2011 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104483754A (zh) * 2014-12-04 2015-04-01 上海交通大学 针对视觉障碍患者的头戴式多媒体终端辅助观看系统
CN105551310A (zh) * 2015-12-02 2016-05-04 上海航空电器有限公司 一种基于地形数据库的前视预警快速寻址法
CN105551310B (zh) * 2015-12-02 2019-12-17 上海航空电器有限公司 一种基于地形数据库的前视预警快速寻址法
CN107451988A (zh) * 2016-04-01 2017-12-08 泰勒斯公司 在飞行器的检视系统中对感兴趣的元素合成表示的方法
CN108024070A (zh) * 2016-11-03 2018-05-11 泰勒斯公司 在合成图像上覆盖传感器图像的方法及相关显示系统
CN108024070B (zh) * 2016-11-03 2021-06-15 泰勒斯公司 在合成图像上覆盖传感器图像的方法及相关显示系统
CN109993996A (zh) * 2018-01-02 2019-07-09 上海航空电器有限公司 一种直升机地形提示与告警系统的显示方法
CN109445449A (zh) * 2018-11-29 2019-03-08 浙江大学 一种高亚音速无人机超低空飞行控制系统及方法
CN109445449B (zh) * 2018-11-29 2019-10-22 浙江大学 一种高亚音速无人机超低空飞行控制系统及方法
CN113994410A (zh) * 2019-06-27 2022-01-28 湾流航空航天公司 利用地形感知和警告系统的定制飞行器轨迹
CN113994410B (zh) * 2019-06-27 2024-03-08 湾流航空航天公司 利用地形感知和警告系统的定制飞行器轨迹

Also Published As

Publication number Publication date
EP2782086A1 (en) 2014-09-24
US20140285661A1 (en) 2014-09-25

Similar Documents

Publication Publication Date Title
CN104063214A (zh) 用于在告警期间对增强的图像进行着色的方法和系统
US9494447B2 (en) Methods and systems for attitude differentiation in enhanced vision images
CN105383703B (zh) 显示交通及相关联警报的系统和方法
EP2228626B1 (en) Method and system for correlating data sources for on-board vehicle displays
US9262932B1 (en) Extended runway centerline systems and methods
US8175761B2 (en) System and method for rendering a synthetic perspective display of a designated object or location
US8493412B2 (en) Methods and systems for displaying sensor-based images of an external environment
US8742952B1 (en) Traffic awareness systems and methods
US8914166B2 (en) Enhanced flight vision system for enhancing approach runway signatures
US7952493B2 (en) System and method for rendering a primary flight display having an attitude frame element
US7917289B2 (en) Perspective view primary flight display system and method with range lines
US9752893B2 (en) Onboard aircraft systems and methods to identify moving landing platforms
US20070247336A1 (en) Display System for Aircraft
US8188890B2 (en) Systems and methods for enhancing obstacles and terrain profile awareness
CN107010239A (zh) 用于生成驾驶舱显示的驾驶舱显示系统和方法
US9558674B2 (en) Aircraft systems and methods to display enhanced runway lighting
US8744760B1 (en) Surface information generating system, device, and method
US20080198157A1 (en) Target zone display system and method
US20100161158A1 (en) Systems and methods for enhancing terrain elevation awareness
US20130300587A1 (en) System and method for displaying runway approach texture objects
US20210020055A1 (en) Drone detection systems and related presentation methods
EP3742118A1 (en) Systems and methods for managing a vision system display of an aircraft
US10565882B1 (en) Vertical situation display past and projected path depiction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140924