CN105718230B - 用于验证飞机组件的近眼显示系统和方法 - Google Patents

用于验证飞机组件的近眼显示系统和方法 Download PDF

Info

Publication number
CN105718230B
CN105718230B CN201511035746.7A CN201511035746A CN105718230B CN 105718230 B CN105718230 B CN 105718230B CN 201511035746 A CN201511035746 A CN 201511035746A CN 105718230 B CN105718230 B CN 105718230B
Authority
CN
China
Prior art keywords
aircraft
controller
nte
component
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511035746.7A
Other languages
English (en)
Other versions
CN105718230A (zh
Inventor
V·P·沙哈格
M·B·恩
S·巴扎瓦达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honeywell International Inc
Original Assignee
Honeywell International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honeywell International Inc filed Critical Honeywell International Inc
Publication of CN105718230A publication Critical patent/CN105718230A/zh
Application granted granted Critical
Publication of CN105718230B publication Critical patent/CN105718230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/12—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time in graphical form
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1415—Digital output to display device ; Cooperation and interconnection of the display device with other functional units with means for detecting differences between the image stored in the host and the images displayed on the displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

公开了用于验证飞行器组件的系统和方法。在各实施例中，用于验证飞行器组件的系统可包括：近眼(NTE)显示系统，包括NTE追踪控制器；控制器，以通信方式耦合到该NTE追踪控制器；以及组件数据库，以通信方式耦合到该控制器。该控制器可被配置为基于注视数据从该组件数据库接收组件数据，并且将该组件数据传送至该NTE追踪控制器，其中该注视数据基于操作者的头部位置。

Description

用于验证飞机组件的近眼显示系统和方法
技术领域
本发明一般地涉及用于验证飞机组件状态的系统和方法，更具体来说涉及通过一个近眼装置来验证飞机组件的状态。
背景技术
飞行员通常在飞机操作的各种阶段期间对飞机的某些外部和内部组件进行检查或检验。检验可在各种阶段(诸如例如，飞机外部检验阶段、内部检验阶段、巡航阶段和/或着陆阶段)中进行。在每个阶段期间，飞行员可以检验飞机的一个或多个组件以确保每个组件都符合飞行员的检查清单。例如，在外部检验阶段期间，飞行员可检验飞机的一个或多个外部组件，诸如皮托管、扰流器、起落架、方向舵等等。类似地，在内部检验阶段期间，飞行员可检验各种内部仪表装置、元件部分、座舱特征，诸如遮光板、头顶面板、操纵台等。
然而，并不少见的是，飞行员可能会忽略要检验的特定组件。比如，在内部检验阶段期间，飞行员可能未能检验(或者即使检验了也未能注意到)例如减速杆之类的组件被部署在不正确的位置。这样的疏忽可能导致各种不期望的状况。
因此，存在对在飞行员实施飞机检验时向飞行员提供各种视觉提示或指示符的系统的需要。更具体地，存在对一种可穿戴近眼式显示(“NTE”)显示系统的需要，飞行员或其他操作者可通过该可穿戴近眼式显示显示系统查看一个或多个飞机组件，并且该可穿戴近眼式显示显示系统能够在操作者的视场内向操作者提供每个组件的状况和/或状态的各种视觉指示。
发明内容
本发明内容被提供用于以简化形式描述在具体实施方式中被进一步描述的选择概念。本发明内容并非意在标识要求保护主题的关键或必要特征，其也并非意在用于帮助确定所要求保护主题的范围。
公开了用于验证飞行器组件的系统和方法。在各种实施例中，用于验证飞行器组件的系统可包括：近眼(NTE)显示系统，近眼显示系统包括NTE追踪控制器；与NTE追踪控制器以通信方式耦合的控制器；以及与该控制器以通信方式耦合的组件数据库。该控制器可被配置为基于注视数据从组件数据库接收组件数据，并将该组件数据传送给NTE追踪控制器，其中该注视数据基于操作者的头部位置。
在各种实施例中，用于验证飞行器组件的系统可类似地包括：近眼(NTE)显示系统，近眼显示系统包括NTE追踪控制器；与该NTE追踪控制器以通信方式耦合的控制器；以及与该控制器以通信方式耦合的组件数据库。该控制器可被配置为：(a)从组件数据库接收组件数据，以及(b)基于注视数据和该飞机的检验阶段将组件数据传送给NTE追踪控制器。该注视数据可基于操作者的头部位置，且检查阶段基于飞机的操作阶段。飞机的操作阶段可以是起飞阶段、巡航阶段以及着陆阶段。
另外，在各实施例中，用于验证飞行器组件的方法可包括：由控制器从组件数据库接收组件数据；由控制器基于注视数据将组件数据传送给NTE追踪控制器，该注视数据基于操作者的头部位置；以及通过与NTE追踪控制器以通信方式耦合的显示器显示该组件数据。
另外，本文公开的系统和方法的其他期望特征和特性根据结合附图和前述背景技术一起理解的随后的详细描述和所附的权利要求而将变得显而易见。
附图说明
以下将结合下面绘制的附图对本发明进行描述，附图中相似的附图标记表示相似的元件，并且其中：
图1图示了按照各实施例的飞行显示系统的功能框图；
图2图示了按照各实施例的NTE显示系统的示例性实施例；
图3图示了按照各实施例的图2的NTE显示系统的功能框图；
图4图示了按照各实施例的用于使用NTE显示系统扫描飞机的方法；
图5A图示了按照各实施例的指示符的示例，该指示符在外部检验阶段期间可由NTE显示系统基于操作者的头部位置向操作者显示；
图5B图示了按照各实施例的第二指示符的示例，该第二指示符在外部检验阶段期间可由NTE显示系统基于操作者的头部位置向操作者显示；
图6A图示了按照各实施例的各种指示符的示例，该各种指示符在内部检验阶段期间可由NTE显示系统基于操作者的头部位置向操作者显示；
图6B图示了按照各实施例的在特定检验阶段中由NTE基于操作者的头部位置向操作者提供的指示的示例，该指示是特定组件位于错误位置；和
图6C图示了按照各实施例的通过NTE向操作者显示的指示符的示例。
具体实施方式
以下的详细描述本质上仅为示例性的，并且并非意在限定本发明或本发明的应用和用途。本文中所使用的，术语“示例性”表示“作为示例，实例或说明”。因此，本文中作为“示例性”描述的任何实施例不一定被解释为对于其他实施例来说是优选或有优势的。本文所描述的所有实施例都是示例性实施例，其被提供用于使本领域技术人员能够实现或使用本发明，并且不限制由权利要求限定的本发明的范围。另外，不意在受到在前述技术领域、背景技术、发明内容、或以下的详细描述中呈现的任何明确或暗示的理论限制。
如本文中所使用的，“飞机组件”或“组件”可包括飞机的任何部分。例如，组件可包括飞机的任何外部部分，诸如例如任何外部仪表装置、皮托管、扰流器、起落架、方向舵等等。组件可进一步包括飞机的任何内部部分，诸如例如任何内部仪表装置、元件部分、座舱特征，诸如遮光板、头顶面板、操纵台等。
参照图1，用于验证飞机组件的系统100包括用户接口102、控制器104、一个或多个组件数据库106(包括以上所述的各种飞机组件信息中的任何)、外部数据源、以及一个或多个显示装置116(包括随后更详细讨论的NTE显示系统117)。
用户接口102与控制器104可操作地通信，并且被配置为从操作者109(例如飞行员)接收输入，并且响应于操作者109的输入，向控制器104提供命令信号。该用户接口102可为各种已知用户接口装置中的任何一个或者组合，该各种已知用户接口装置包括但不限于一个或多个按钮、开关、旋钮以及触摸面板。
控制器104可利用通用处理器、内容可寻址存储器、数字信号处理器、专用集成电路、现场可编程门阵列、任何合适的可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或被设计为实施本文所述功能的任何组合来实施或实现。
处理器装置可被实现为微处理器、控制器、微控制器或状态机。此外，处理器装置也可被实施为计算装置的组合，例如数字信号处理器和微处理器的组合、多个微处理器的组合、一个或多个微处理器连同数字信号处理器核的组合、或者任何其他这样的配置。在所述的实施例中，控制器104可包括多种类型的存储器103和/或105，例如，诸如机载RAM(随机存取存储器)103以及机载ROM(只读存储器)105。
控制所述控制器104的程序指令可被存储于RAM103及ROM105的任一个或两者中。例如，操作系统软件可被存储于ROM105中，而各种操作模式软件例程和各种操作参数可被存储于RAM103中。执行示例性实施例的软件可被存储于ROM105中或RAM103中。将被理解的是，这仅仅是用于存储操作系统软件和软件例程的一个方案的例示，并且各种其他存储方案也可被实施。
存储器103、105可被实现为RAM存储器、闪速存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域已知的任何其他形式的存储媒介。在这方面，存储器103、105可与控制器104耦合，使得控制器104可从存储器103、105读取信息和向存储器103、105写入信息。在替代方案中，存储器103、105可以是控制器104所不可或缺的。举例来说，控制器104和存储器103、105可处于ASIC中。实际上，系统100的功能或逻辑模块/组件可使用保存在存储器103、105中的程序代码实现。例如，存储器103、105可用来存储用于支持系统100的操作的数据，如根据以下描述将变得显而易见的。
无论控制器104被如何具体实施，它至少与组件数据库106和显示装置116可操作地通信。响应于显示命令，该显示装置116选择性地呈现(如以下更具体地描述的)各种类型的文本、图形和/或图像信息。
该组件数据库106包括代表如上所述的各种类型飞机组件的各种类型的数据，包括飞机组件的位置、描述、视觉和/或图像描绘，在各种飞机操作阶段期间各种组件的合适状态和/或状况等等。
如上所述，该显示装置116响应于从控制器104提供的显示命令，选择性地呈现各种文本、图形、和/或图像信息，并且由此向操作者109提供视觉反馈。将被理解的是，显示装置116可使用适于以可由操作员109查看的格式呈现文本、图形和/或图像信息的大量已知显示装置中的任何一个来实施。这种显示装置的非限制性示例包括各种平板显示器，诸如各种类型的LCD(液晶显示器)、TFT(薄膜晶体管)显示器以及投影显示LCD光引擎。该显示装置116可另外被实施为面板安装显示器或大量已知技术中的任何一种。
如前所述，显示装置116包括NTE显示系统117。存在许多已知的NTE系统。在美国专利申请12/707293中描述了一种已知的示例实施例，该申请通过引用以其整体被合并于此。美国专利号8218006中描述了另一种已知的示例实施例，该专利通过引用以其整体被合并于此。
如关于2所示的，该NTE显示系统117可与飞行器的操作者109(诸如穿戴(例如穿戴在操作者109的头部上)该NTE显示系统117的飞机机组成员)交互操作。该NTE显示系统117包括与NTE显示器208耦合的头带206，该NTE显示器208优选为半透明的。当由操作者109正确穿戴时，NTE显示器208被放置于距右眼210预定距离处的右眼210的视线中。
以此方式，可在该NTE显示器208上向操作者109呈现信息，该信息叠加于例如组件之外的可视场景之上，该组件诸如是座舱内部之内和/或座舱外部之外的控件以及其他项目。
红外发光二极管(LED)214位于头带206的一部分212上，用于在任何时间点感测操作者109头部面对的方向(例如朝上转、朝下转、朝向座舱的一部分或另一部分转)以便在NTE显示器208上呈现合适的信息。用于追踪头部移动的其他系统包括头带上的摄像机或发射器，或者该追踪系统可以是磁性或惯性的而不是光学的。
另外，LED214可用于提供关于操作者109的状态和动作的更详细的信息。该NTE显示系统117被配置为通过监控NTE显示装置(即，NTE显示系统117)的位置和取向来监控操作者109的头部位置。以这种方式，操作者109头部的方向在任何时间点都能被感测，以在NTE显示器208上产生并呈现包括图形和/或其他信息的合适透明视图。
该NTE显示系统进一步包括NTE图像捕捉装置(例如摄像机或视频记录器)230，NTE图像捕捉装置230能够在操作者109的头部关于飞机外部和/或内部移动、相对于各种飞机组件改变取向等时捕捉该记录装置正面对的组件的一个或多个图像。这样，当操作者109的头部方向由于该操作者109的运动而被改变时，该摄像机能够捕捉操作者109正面向的，和/或更具体来说，操作者109正在注视的，或实际上正在被操作者109检验的(如本文中描述的那样所确定的)一个或多个飞机组件的一个或多个图像。
NTE显示系统117的配置不限于图2中所示的装置。例如，虽然NTE显示系统117是单眼NTE显示系统，但双眼NTE显示系统也能在当前实施例中被采用。另外，虽然根据当前实施例的单眼NTE显示系统117具有位于右眼210前的NTE显示器208，但当前实施例也可使用具有位于左眼220视线中的显示器的单眼NTE显示系统。并且，该系统可为双目镜，在双目镜中相同的图像被呈现给双眼，而不是双筒镜，在双筒镜中稍微不同的图像被呈现给每个眼睛以试图创建立体图像对，立体图像对为用户创建3D体验。另外，虽然LED214被合并在头带206的部分212中，但该LED214的数量和位置可以是头带206上的任何位置，诸如在部分222或部分224中。
LED214是红外的，以便发射操作者109不可见的波长，并且由此不干扰飞机的操作和/或操作者109的视野。另外，LED214位于头戴206上以允许感测NTE显示系统117和操作者109的头部的位置和取向。然而，当前实施例不限于使用红外LED，或者，实际上，不限于使用LED214，并且可包括可附接于NTE显示系统117的任何反射或发射装置，该反射或发射装置将允许感测NTE显示系统117的位置和取向，并且因此确定飞行员的头部方向。
图3描绘了按照当前实施例的用于验证飞机组件的系统的框图。该NTE显示系统117包括NTE显示器208、NTE传感器301、NTE追踪控制器302以及可选的加速度计303。该NTE追踪控制器302从NTE传感器301(例如NTE图像捕捉装置230或红外传感器)接收信号，并产生提供给NTE显示器208的信号。该信号在NTE显示器208上呈现合适的信息以用于产生图形或其他信息的视图以向操作者109呈现。
NTE追踪控制器302还响应于由NTE传感器301所监控的信息(例如操作者109的头部是否转向诸如座舱内显示器或者一些其他感兴趣点(诸如飞机外部的感兴趣点)处的一个或多个特定组件的方向)产生对应于操作者109的头部方向的注视数据。该NTE追踪控制器302耦合到控制器104以提供对应于操作者109头部方向的注视数据。控制器104在呈现图像时利用该注视数据(例如由监控NTE显示系统117的位置和取向得到的操作者109头部追踪数据)。
在示例实施例中，以及如本文中更详细描述的，关于组件的数据从组件数据库106提供给控制器104和NTE追踪控制器302。由控制器104提供的数据转换成图形或指示符以在NTE显示器208上呈现。
在操作中，并且关于图4，示出了用于验证飞机组件的过程400。在一般方面，操作者109，例如飞行员，可实施各种飞机检验，包括，例如，和如本文所述的，飞机的外部检验，飞机的内部检验，在飞行巡航或飞行期间的检验(诸如“巡航检验”)等等。
检验或检验阶段(例如外部检验、内部检验、巡航检验)基于飞机的操作阶段。举例来说，飞机可存在于起飞(或飞行前)阶段、巡航(或飞行)阶段、着陆阶段、已着陆阶段等等中。在飞机操作的每个阶段期间，操作者109可实施与该阶段相关或基于该阶段的检验。例如，在起飞或飞行前阶段期间，操作者109可实施起飞检验。类似地，在巡航阶段期间，操作者109可实施巡航检验，并且在着陆或已着陆阶段期间，操作者109可实施着陆检验。
每个检验可关联于各种检查清单任务和/或存储的组件数据。例如，在起飞内部检验期间，可能有必要或期望一个或多个飞机组件处于特定配置中(例如，在起飞阶段和检验期间，可能重要的是飞机减速板被解除或“向下”)。类似地，在起飞外部检验期间，可能有必要或期望一个或多个皮托管是通畅的，或者一个或多个飞机轮胎处于期望的Psi值。
因此，操作者109可在飞机的各种操作阶段期间实施本文所述的各种外部和内部检验，以检查一个或多个组件的状态和/或状况。为此目的，在系统100的帮助下(并且特别地，在操作者109头部和至少一只眼睛上穿戴的该NTE系统117的帮助下)，操作者109能够在一个或多个检验阶段期间视觉扫描外部和/或内部。
因此，系统100(例如控制器104)通过查询飞机系统(诸如飞行管理系统)来确定飞机的操作或检验阶段(步骤402)。每个检验阶段关联于一个或多个存储的外部或内部组件图像或组件数据。这些存储的数据或图像示出处于合适的(例如安全的或正确的)操作状态或状况中的该一个或多个组件。该NTE图像捕捉装置230在操作者109实施视觉扫描并且改变组件注视时记录飞机内部或外部的一个或多个图像(步骤404)。
基于所确定的检验阶段和操作者109的注视，控制器104取回代表一个或多个组件的所期望或最佳状态或状况的保存的组件图像或组件数据(步骤406)。控制器104可将该保存的图像传送至NTE追踪控制器302或者控制器104可从NTE系统117接收由NTE图像捕捉装置230记录的图像。然而在任一情况下，控制器104或NTE追踪控制器302中的一个都把存储的组件图像与记录的组件图像作比较(步骤408)。作为响应，NTE追踪控制器302与NTE显示器通信以指令NTE显示器208显示以下所述的一个或多个组件数据指示符(步骤410)。
在各实施例中，控制器104或NTE追踪控制器302可指令NTE显示器208响应于基于所述比较确定组件处于不正确的操作状态或状况中而显示指示符，或者控制器104或NTE追踪控制器302可指令NTE显示器208简单地基于比较来显示指示符——即，即使组件处于正确的操作状态或状况中，NTE追踪控制器302也指令NTE显示器208显示关于正由操作者109查看的一个或多个组件的一个或多个指示符。如参照图5A-6C所示的，以及如下所描述的，一个或多个指示符，其中的任何一个可包括根据特定情况而不同的信息(例如，特定胎压或胎压需引起注意的一般化指示符)。
例如，并且现在参照图5A和5B，在外部检验期间，操作者109可被系统100通过NTE显示器208视觉地提示，以检查外部组件的状态。如所示的，例如，当操作者109正执行飞机外部的视觉检验时，控制器104(基于检验阶段)从组件数据库106取回与该飞机外部相关的组件数据，并将该组件数据传送给NTE追踪控制器302。继而，NTE追踪控制器302将信号传送至NTE显示器208以突出显示特定组件。
如指示符502和506所示的，NTE追踪控制器302传送一信号至NTE显示器208，该信号使NTE显示器208突出显示相关的外部组件，诸如皮托管504和/或飞机轮胎508。NTE追踪控制器302进一步传送一信号至NTE显示器，该信号使NTE显示器208根据例如正被检验的外部组件显示指令510和/或512，诸如某些特定指示符(如“检查皮托管阀门”和/或“预期压强为167.6Psi”)，或更一般化的指示符，诸如“注意：胎压低”。
此外，NTE追踪控制器302基于从NTE传感器301和/或加速度计303接收到的数据确定操作者109的头部位置和/或视觉注视(“注视”或“注视数据”)，并且如本文所述的，系统100利用该注视数据来确定操作者109正查看的组件，并且由此，基于所接收的组件数据来提供相关的组件数据给操作者。这样，当操作者109的注视关于飞机外部转移时，向操作者109显示的该组件数据也转移并改变，使得操作者109能够无需检查清单或快速参考手册的帮助而对飞机外部实施详尽且无差错的视觉检验。
类似地，并且现在参照图6A、6B和6C，操作者109以上面关于外部检验描述的方式对飞机内部实施视觉检验。例如，操作者109通过NTE系统117扫描飞机内部，并且，在操作者109扫描飞机内部时，如上所述的NTE系统117确定操作者109的注视。例如，这样的过程特别地关于图6A被示出，其中，操作者109首先注视点602，之后注视点604，并且依次通过点606、608和610，直到操作者109完成内部扫描。NTE系统可以或者可以不显示关联于每个点602-610的每个数字(1-5)。然而，如上所述，NTE系统117确定操作者109的注视(当操作者109以任何次序从点602-610移动时)并且如所示的，显示与每个点相关联的组件数据。
例如，如关于点602所示的，NTE系统117显示关联于前面板的指示符(例如箭头612)和/或关联于前面板的文本提供指令(例如“关闭所有白色灯”)。同样地，关于点604，NTE系统117显示指示符和/或文本指令，诸如箭头616指示应当关于突出显示的组件(在该情况中为APU单元)实施特定动作。进一步，关于点606、608和610，再次基于由控制器104或NTE追踪控制器302所确定的操作者109的所确定的注视以及飞机的操作和/或检验阶段，NTE系统117可显示关联于每个相应组件的各种视觉或文本指示符中的任何。另外，如本文所述，响应于这些确定，控制器104请求并接收相关的组件数据，NTE追踪显示器302把该相关的组件数据作为一个或多个视觉指示符传送给NTE显示器208供操作者109实时查看。
因此，如关于图6B所示的，各种视觉和/或文本指示符中的任何(诸如围绕减速杆620的指示符618，该指示符618基于飞机的操作和/或检验阶段指示减速杆620处于不正确和/或正确的位置或配置中)可被显示。同样地，如关于图6C所示，NTE追踪控制器302可使NTE显示器208显示预期状况(诸如“预期：减速板已装备”和/或“预期：气压开关处于打开位置”)的文本列表。
总的来说，如上所述，操作者109可与系统100合作和利用系统100来对飞机外部和/或内部实施各种视觉检验，并且基于所确定的操作者109的注视以及存储和记录的飞机组件数据或图像，系统100可提供一个或多个视觉指示符给操作者109，由此降低操作者109可能忽略需要的组件状况或状态的风险，并因此继而提高了飞机操作者109所实施的检验的安全性。
本领域技术人员将理解，结合本文公开的实施例描述的各种说明性逻辑块、模块、电路和算法步骤可被实施为电子硬件、计算机软件或二者的组合。一些实施方式和实施例在上面在功能和/或逻辑块组件(或模块)和各种处理步骤方面被描述。然而，应当理解的是，这样的块组件(或模块)可由配置为执行特定功能的任何数量的硬件、软件、和/或固件组件来实现。为清楚地说明硬件和软件的这种互换性，上面在他们的功能方面一般地描述了各种说明性组件、块、模块、电路和步骤。这样的功能被实施为硬件还是软件取决于特定应用和对整个系统施加的设计限制。技术人员可将所述功能针对每个特定应用以不同方式实施，但这样的实施决定不应当被理解为引起从本发明范围的脱离。例如，系统或组件的实施例可采用各种集成电路组件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等等，他们可在一个或多个微处理器或其他控制装置的控制下执行各种功能。另外，本领域技术人员将理解，本文所述实施例仅仅是示例性的实施方式。
结合本文公开的实施例描述的各种说明性逻辑块、模块以及电路可利用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件或被设计为实施本文所述功能的上述各项的任何组合来实施或实现。通用处理器可为微处理器，但在替代方案中，该处理器可为任何常规处理器、控制器、微控制器、或状态机。处理器也可被实施为计算装置的组合，例如，DSP和微处理器的组合、多个微处理器的组合、一个或多个微处理器连同DSP核的组合、或任何其他这样的配置。
结合本文公开的实施例所描述的方法或算法的步骤可被直接体现在硬件中、由处理器执行的软件模块中，或者这两者的组合中。软件模块可驻留于RAM存储器、闪速存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM或任何本领域已知的其他形式的存储介质中。一个示例性的存储介质与处理器耦合，使得处理器能从该存储介质读取信息并向其写入信息。在替代方案中，该存储介质可成为该处理器不可或缺的部分。该处理器和存储介质可驻留于ASIC中。该ASIC可驻留于用户终端中。在替代方案中，处理器和存储介质可作为分立组件驻留于用户终端内。
在本文件中，关系术语诸如第一和第二等可被独立使用以区分一个实体或动作与另一个实体或动作，而不一定需要或暗示这种实体或动作之间的任何实际的这种关系或次序。数字序数，诸如“第一”、“第二”、“第三”等仅表示多个中的不同个体，而并非暗示任何顺序或次序，除非由权利要求语言特别限定。任何权利要求中文本的顺序并非暗示过程步骤必须按照这样的顺序以时间或逻辑次序被实施，除非它由权利要求的语言特别限定。该过程步骤可在不脱离本发明范围的情况下以任何次序交换，只要这样的交换不会与权利要求语言相矛盾且不会逻辑上无意义。
进一步，根据上下文，用于描述不同元件之间关系的诸如“连接”或“耦合到”之类的词语并非暗示必须在这些元件之间进行直接物理连接。例如，两个元件可通过一个或多个附加元件以物理方式、电子方式、逻辑方式、或以任何其他方式彼此连接。
虽然本发明的前面的详细描述中已经呈现了至少一个示例性实施例，但应当理解的是，存在大量的变型。也应当理解，一个或多个示例性实施例仅为示例，并非意在以任何方式限制本发明的范围、可应用性或配置。更进一步说，前面的详细描述会为本领域技术人员提供用于实施本发明的示例性实施例的常规路线图。应理解的是，在不脱离所附权利要求中阐述的本发明的范围的情况下，可以在示例性实施例中描述的元件的功能和布置方面进行各种改变。

Claims (13)

1.一种用于验证飞行器组件的系统，该飞行器组件具有多个不同的状态，该系统包括：
近眼NTE显示系统（117），包括NTE追踪控制器（302），该NTE显示系统包括被配置为由操作者穿戴的NTE显示器（208）；
NTE图像捕捉装置（230），被配置为由操作者穿戴并配置为当操作者面对飞行器组件时该捕捉飞行器组件的记录图像；
控制器（104），以通信方式耦合到该NTE追踪控制器（302）和NTE图像捕捉装置（230）；以及
有形的非暂时性组件数据库（106），以通信方式耦合到该控制器（104），该组件数据库（106）包括表示飞行器组件的多个状态中的至少一个状态的存储图像；以及
该控制器（104）被配置为基于来自NTE追踪控制器（302）的注视数据从该组件数据库（106）接收该存储图像，该注视数据基于操作者（109）的头部位置；
控制器（104）被配置为比较该存储图像和该记录图像；以及
NTE显示器（208） 被配置为对基于存储图像和记录图像的比较来显示组件数据。
2.如权利要求1所述的系统，其中该控制器（104）被配置为确定该飞行器的操作阶段；以及
其中该控制器（104）被配置为根据注视数据和所确定的飞行器的操作阶段从所述组件数据库（105）接收所述存储图像。
3.如权利要求1所述的系统，其中该控制器（104）被配置为确定该飞行器处于检验阶段；以及
其中该控制器（104）被配置为基于该控制器（104）对该飞行器处于检验阶段的确定从该组件数据库（106）接收该存储图像。
4.如权利要求1所述的系统，其中该NTE追踪控制器（302）被配置为基于该操作者（109）的头部位置来确定该注视数据。
5.如权利要求1所述的系统，其中该NTE显示器（208）被配置为基于所述比较以及对飞行器组件处于第一状态的确定来显示第一组件数据指示符；以及
其中该NTE显示器（208）被配置为基于所述比较以及对飞行器组件处于第二状态的确定来显示第二组件数据指示符。
6.如权利要求1所述的系统，其中该NTE显示器（208）被配置为位于操作者眼睛的视线中。
7.如权利要求1所述的系统，其中该控制器（104）被配置为确定该飞行器处于检验阶段；以及
其中该NTE显示器（208）被配置为基于所述比较以及基于该控制器（104）对该飞行器处于检验阶段的确定来突出显示该飞行器组件。
8.如权利要求1所述的系统，其中该控制器（104）被配置为确定该飞行器处于检验阶段；以及
其中该NTE显示器（208）基于该控制器（104）对该飞行器处于检验阶段的确定来向该操作者（109）显示该组件数据指示符。
9.如权利要求8所述的系统，其中该飞行器的该检验阶段包括飞行器外部检验阶段、飞行器内部检验阶段、飞行器巡航阶段以及飞行器着陆阶段中的至少一个。
10.如权利要求8所述的系统，其中该检验阶段基于该飞行器的操作阶段。
11.如权利要求10所述的系统，其中该飞行器的该操作阶段为起飞阶段、巡航阶段和着陆阶段中的至少一个。
12.一种用于验证飞机组件的方法，该飞机组件具有多个不同的状态，该方法包括：
用由操作者（109）穿戴的NTE图像捕捉装置（230）在操作者面对飞行器组件时捕捉飞行器组件的记录图像；
由控制器（104）基于来自NTE追踪控制器（302）的注视数据从组件数据库（106）接收飞行器组件的存储图像，该注视数据基于操作者（109）的头部位置；
用控制器（104）比较该存储图像和该记录图像；以及
由以通信方式耦合到该NTE追踪控制器（302）的显示器对基于存储图像和记录图像的比较来显示组件数据指示符。
13.如权利要求12所述的方法，还包括由该控制器（104）确定该飞机的操作阶段；以及
由该控制器（104）根据注视数据和所确定的飞机的操作阶段从所述组件数据库（106）接收该存储图像。
CN201511035746.7A 2014-12-02 2015-12-01 用于验证飞机组件的近眼显示系统和方法 Active CN105718230B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/557845 2014-12-02
US14/557,845 US9811954B2 (en) 2014-12-02 2014-12-02 Near-to-eye display systems and methods for verifying aircraft components

Publications (2)

Publication Number Publication Date
CN105718230A CN105718230A (zh) 2016-06-29
CN105718230B true CN105718230B (zh) 2020-10-23

Family

ID=54780086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511035746.7A Active CN105718230B (zh) 2014-12-02 2015-12-01 用于验证飞机组件的近眼显示系统和方法

Country Status (4)

Country Link
US (1) US9811954B2 (zh)
EP (1) EP3029510B1 (zh)
CN (1) CN105718230B (zh)
IL (1) IL242763B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9977935B1 (en) * 2014-06-20 2018-05-22 Secured Mobility, Llc Student accountability system
US9811954B2 (en) * 2014-12-02 2017-11-07 Honeywell International, Inc. Near-to-eye display systems and methods for verifying aircraft components
FR3045176B1 (fr) * 2015-12-15 2019-10-11 Airbus Helicopters Dispositif et procede d'assistance au pilotage d'un aeronef
EP3594783A4 (en) * 2017-03-07 2020-02-26 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
FR3063713B1 (fr) * 2017-03-09 2019-07-05 Airbus Operations (S.A.S.) Systeme et procede d'affichage pour un aeronef
FR3082010A1 (fr) * 2018-06-01 2019-12-06 Airbus Operations Systeme et procede de controle d'affichage pour aeronef
US11175504B2 (en) * 2018-08-09 2021-11-16 Rockwell Collins, Inc. Mixed reality head worn display
WO2020079780A1 (ja) * 2018-10-17 2020-04-23 株式会社島津製作所 航空機検査支援装置および航空機検査支援方法
US11593927B2 (en) * 2020-06-19 2023-02-28 Rosemount Aerospace Inc. System for the inspection of air data probes

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2357626A1 (en) * 2010-02-17 2011-08-17 Honeywell International Inc. Near-to-eye tracking for adaptive operation

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2677119A (en) * 1950-07-24 1954-04-27 Rca Corp Ground controlled aircraft communication system
NL253016A (zh) * 1959-06-30
US8907887B2 (en) * 2008-05-19 2014-12-09 Honeywell International Inc. Methods and systems for operating avionic systems based on user gestures
US9207758B2 (en) 2008-05-30 2015-12-08 Honeywell International Inc. Operator assistance methods and systems
US8026834B2 (en) * 2008-06-09 2011-09-27 Honeywell International Inc. Method and system for operating a display device
US8416152B2 (en) * 2008-06-11 2013-04-09 Honeywell International Inc. Method and system for operating a near-to-eye display
US8963804B2 (en) * 2008-10-30 2015-02-24 Honeywell International Inc. Method and system for operating a near-to-eye display
US8363100B2 (en) * 2008-11-19 2013-01-29 Honeywell International Inc. Three dimensional display systems and methods for producing three dimensional images
US8319665B2 (en) 2009-02-20 2012-11-27 Appareo Systems, Llc Adaptive instrument and operator control recognition
US8294633B2 (en) 2009-05-05 2012-10-23 Honeywell International Inc. Methods for reducing artifacts in near-to-eye display systems
US8350726B2 (en) * 2009-05-19 2013-01-08 Honeywell International Inc. Gaze-based touchdown point selection system and method
US9728006B2 (en) 2009-07-20 2017-08-08 Real Time Companies, LLC Computer-aided system for 360° heads up display of safety/mission critical data
US20120200601A1 (en) * 2010-02-28 2012-08-09 Osterhout Group, Inc. Ar glasses with state triggered eye control interaction with advertising facility
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
KR20130000401A (ko) * 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
US20120249797A1 (en) * 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US8736464B1 (en) 2010-09-02 2014-05-27 Rockwell Collins, Inc. System and method for presenting a dynamic checklist to the user of a vehicle
US8487787B2 (en) * 2010-09-30 2013-07-16 Honeywell International Inc. Near-to-eye head tracking ground obstruction system and method
US8952983B2 (en) * 2010-11-04 2015-02-10 Nokia Corporation Method and apparatus for annotating point of interest information
US9087058B2 (en) * 2011-08-03 2015-07-21 Google Inc. Method and apparatus for enabling a searchable history of real-world user experiences
KR20140066258A (ko) 2011-09-26 2014-05-30 마이크로소프트 코포레이션 투시 근안 디스플레이에 대한 센서 입력에 기초한 비디오 디스플레이 수정
JP6255706B2 (ja) * 2013-04-22 2018-01-10 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム
US11069429B2 (en) * 2014-03-06 2021-07-20 David Burton Mobile data management system
US9811954B2 (en) * 2014-12-02 2017-11-07 Honeywell International, Inc. Near-to-eye display systems and methods for verifying aircraft components

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2357626A1 (en) * 2010-02-17 2011-08-17 Honeywell International Inc. Near-to-eye tracking for adaptive operation

Also Published As

Publication number Publication date
IL242763A0 (en) 2016-04-21
US9811954B2 (en) 2017-11-07
CN105718230A (zh) 2016-06-29
EP3029510A2 (en) 2016-06-08
US20160152351A1 (en) 2016-06-02
EP3029510B1 (en) 2019-04-10
IL242763B (en) 2021-04-29
EP3029510A3 (en) 2016-09-07

Similar Documents

Publication Publication Date Title
CN105718230B (zh) 用于验证飞机组件的近眼显示系统和方法
KR100819111B1 (ko) 항공기의 다기능 평면 패널 디스플레이 상에서 승무원에게 시인성 및 데이터의 동시 분석성을 용이하게 하는 방법 및 장치
US11215834B1 (en) Head up display for integrating views of conformally mapped symbols and a fixed image source
CN111038715B (zh) 用于飞机的视景引导系统和方法
US9672745B2 (en) Awareness enhancing display for aircraft
US9533772B2 (en) Visual search assistance for an occupant of a vehicle
US8907887B2 (en) Methods and systems for operating avionic systems based on user gestures
US8026834B2 (en) Method and system for operating a display device
US9569893B2 (en) Hybrid display system displaying information by superimposition on the exterior
CN111046097B (zh) 可适应的交通工具监视系统
EP3173847B1 (en) System for displaying fov boundaries on huds
US11535260B2 (en) Attention-based notifications
KR20160110121A (ko) 안전-중요 정보와 비-안전-중요 정보의 공동 표현을 위한 방법 및 디스플레이 장치
CN106062613A (zh) 平视显示系统的能注视前方的控制装置
CN109204305A (zh) 丰富视野方法、观察员车辆和对象中使用的设备和机动车
EP2784572A1 (en) Head-up display device and display method of head-up display device
US20170004809A1 (en) Method for operating a display device for a vehicle
EP3246905B1 (en) Displaying data by a display system
KR101619267B1 (ko) 차량의 hud 제어 방법, 및 차량의 hud 제어 장치
JP2016215770A (ja) 車両の運転者のための画像表示装置
KR101519353B1 (ko) 헤드업 디스플레이를 이용한 정속 주행상태의 화면 표시방법 및 장치
CN104517540A (zh) 具有安全按钮的曲面显示装置
US20210166570A1 (en) Aircraft display system and method
US11912429B2 (en) System and methodology to provide an augmented view of an environment below an obstructing structure of an aircraft
EP4342802A1 (en) Pilot alerting of detected runway environment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant