CN110389651A - 头部可佩戴装置、系统和方法 - Google Patents

Abstract

本发明涉及一种头部可佩戴装置、方法及系统。公开了头部可佩戴装置，包括：一透明显示器和一非透明显示器。透明显示器可以在头部可佩戴装置中或上实施，透明显示器可以被配置用以将第一内容呈现给头部可佩戴装置的用户。非透明显示器可以在头部可佩戴装置中或上实施，非透明显示器可以被配置用以将第二内容呈现给头部可佩戴装置的用户。非透明显示器可以至少部分地通过透明显示器来查看。

Description

头部可佩戴装置、系统和方法

技术领域

本发明涉及虚拟现实技术领域，尤其涉及头部可佩戴装置、系统和方法。

相关申请的交叉引用

本申请涉及在2018年2月7日提交的美国专利申请，申请号15/891,190，代理人案号18CR082，在2015年9月22日提交的美国专利申请，申请号14/861,716，代理人案号15CR589，在2014年9月2日提交的美国专利申请，申请号14/474,778，代理人案号14CR395以及在2017年9月26日公布了的美国专利，专利号9,773，334，在此将这些专利申请的全部内容并入本文作为参考。

背景技术

增强现实可以定义为计算机生成的图像叠加在现实世界中，以虚拟信息补充现实世界的视图。虚拟现实可以定义为一个三维的、计算机生成的环境，它定义了一个虚拟视图。虚拟现实显示器不具有透射性，因此会阻碍环境的自然视觉。一些现有的头戴显示器使用增强现实技术或虚拟现实技术来帮助飞行员完成各种任务，如导航、态势感知和培训。然而，目前可用的增强现实设备和虚拟现实设备有明显的不同，它们都有各自的优点和局限性，而目前可用的增强现实设备和虚拟现实设备服务于不同的应用程序。

传统的增强现实头部可佩戴装置使用透明的镜头将计算机生成的图像投射到飞行员的视野中，而不会阻挡飞行员对真实世界的视野。在航空工业中，增强现实头部可佩戴装置增强了头部和眼睛的操作，增加了飞行员的态势感知能力，同时减少了工作负荷。增强现实头部可佩戴装置在飞行中被飞行员普遍接受，因为飞行员能够在不影响他们对物理环境的视野的情况下看到虚拟内容。然而，增强现实头部可佩戴装置的渲染能力、显示亮度、受环境光干扰的可显示颜色以及光学渲染环境的视场都受到限制。此外，增强现实头部可佩戴装置在尝试将虚拟对象与真实对象呈现时也会遇到问题。

虚拟现实头部可佩戴装置完全阻挡了飞行员对真实世界的视野，用计算机生成的环境取代了飞行员的视野。虚拟现实头部可佩戴装置比增强现实头部可佩戴装置具有更广阔的光学视野，使飞行员能够通过运动跟踪与虚拟世界进行交互。虚拟现实头部可佩戴装置目前正在被用于仿真和培训；然而，预期虚拟现实头部可佩戴装置将被飞行员拒绝用于目视飞行，因为虚拟现实显示器完全阻挡飞行员真实世界的自然视野。

发明内容

在一个方面，本文公开的发明构思的实施例针对的是一种头部可佩戴装置。头部可佩戴装置包括一个透明显示器和一个非透明显示器。透明显示器可以在头部可佩戴装置中或头部可佩戴装置上实施，透明显示器可以被配置用以将第一内容呈现给头部可佩戴装置的用户。非透明显示器可以在头部可佩戴装置中或头部可佩戴装置上实施。非透明显示器可以被配置用以将第二内容呈现给头部可佩戴装置的用户。非透明显示器至少部分地可以通过透明显示器可看到。

在另一方面，本文公开的发明构思的实施例针对的是一种方法，该方法包括通过在头部可佩戴装置中或头部可佩戴装置上实施的一个透明显示器，将第一内容向呈现给头部可佩戴装置的用户。该方法包括还包括通过在头部可佩戴装置中或头部可佩戴装置上实施的一个非透明显示器，将第二内容呈现给头部可佩戴装置的用户，其中，所述非透明显示器可以至少部分地通过透明显示器可看到。

在另一方面，本文公开的发明构思的实施例针对的是一种系统，该系统包括一计算设备和一头部可佩戴装置。计算设备可以包括一处理器。头部可佩戴装置可以与所述计算设备通信耦合。所述头部可佩戴装置可以包括一个透明显示器和一个非透明显示器。透明显示器可以在头部可佩戴装置中或头部可佩戴装置上实施，透明显示器可以被配置用以将第一内容呈现给头部可佩戴装置的用户。非透明显示器可以在头部可佩戴装置中或头部可佩戴装置上实施。非透明显示器可以被配置用以将第二内容呈现给头部可佩戴装置的用户。非透明显示器至少部分地可以通过透明显示器可看到。

附图说明

当考虑下面的实施方式的详细描述时，可以更好地理解此处公开的发明构思的技术方案。所述的详细描述可以参考附图，但为了清晰起见，附图不一定按比例绘制，其中一些特征可能被夸大，一些特征可能被省略，一些特征可能按照图式来表示。附图中相同的附图标记可以表示和指代相同或相似的元件、特征或功能。其中：

图1是本发明实施例所述的一种系统的示意图；

图2是本发明实施例所述的图1所示飞行器的输入/输出设备的示意图；

图3是本发明实施例所述的图1所示飞行器的飞行器传感器的示意图；

图4是本发明实施例所述的图1所示飞行器的头部可佩戴装置的示意图；

图5是本发明实施例所述的图4所示头部可佩戴装置的眼睛跟踪系统的示意图；

图6是本发明实施例所述的图4所示头部可佩戴装置的头部跟踪系统的示意图；

图7是本发明实施例所述的图4所示头部可佩戴装置的语音识别系统的示意图；

图8是本发明实施例所述的图1所示飞行器装置通过数据网络交换机通信耦合的示意图；

图9是本发明实施例所述的在图1所示飞行员佩戴头部可佩戴装置在飞行器驾驶舱中的示意图；

图10是本发明实施例所述的在图1和图4所示头部可佩戴装置的示意图；

图11是本发明实施例所述的图10所示头部可佩戴装置的附加示意图；

图12是本发明实施例所述的图1、4和11所示头部可佩戴装置的增强现实显示器和虚拟现实显示器的示意图；

图13是本发明实施例所述的一种方法的示意图。

具体实施方式

在详细解释此处公开的发明构思的至少一个实施例之前，应当理解，本发明构思不限于在下面的描述中或附图说明中所提到的应用、实施细节、所提出的部件或步骤或方法的安排。在以下对此处发明构思实施例的详细描述中，阐述了许多具体细节以便更透彻的理解此发明构思。然而，显而易见地，对受益于此处公开的发明构思的本领域的普通技术人员，可以在没有这些具体细节的情况下实践此处所公开的发明构思。在其它情况下，不再详细描述已知特征以避免使本公开复杂化。此处公开的发明概念还可以有其它实施例或者用其它方式去实践或执行。此外，应当理解，此处使用的措辞和术语是为了描述实施例，而不应该被认为是对实施例的限制。

本文所使用的位于附图标记之后的字母是为了指代实施例中相似的特征或元件，所述相似的特征或元件可以类似但不一定与先前描述的具有相同附图标记(例如，1a，1b)的元件或特征完全相同。使用这样的简化符号仅仅是为了方便，并不应被理解为以任何方式限制此处公开的发明构思，除非另有明文规定。

此外，除非另有明文规定，“或”是指包括性或而不是排它性或。例如，条件A或B由以下任一项满足：A为真(或存在)和B为假(或不存在)，A为假(或不存在)和B为真(或存在)，以及A和B都是真(或存在)。

此外，使用“一”来描述本发明构思实施例中的元件和组件。仅仅是因为这样既方便，又能给出本发明构思的一般意义；“一”意味着包括一个或至少一个，而且单个也包括复数，除非明显意味着其它方面。

最后，如此处所使用的对“一个实施例”或“一些实施例”的任何引用意味着结合该实施例描述的特定元件、特征、结构或特性包括在此处公开的发明构思的至少一个实施例中。在说明书中多个地方出现的短语“在一些实施例中”不一定都指同一个实施例，并且此处公开的发明构思的实施例可以包括本发明清晰描述的或固有的一个或多个特征，还包括两个或多个上述特征组成的子组合的组合，以及本发明没有进行清晰描述的或非固有的任何其它特征。

概括地说，本文公开的发明构思的实施例针对的是一种方法，系统和头部可佩戴装置。例如，头部可佩戴装置可以包括至少一个透明显示器，至少一个非透明显示器，至少一个处理器，至少一个处理器，至少一个摄像机和一个头部跟踪系统。例如，至少一个透明显示器可以被实现为至少一个增强现实显示器和至少一个非透明显示器可以被实现为至少一个虚拟现实显示器。至少一个透明显示器可以被配置用以将第一内容呈现给头部可佩戴装置用户和至少一个非透明显示器可以被配置用以将第二内容呈现给头部可佩戴装置用户。例如，头部可佩戴装置可以被配置用以呈现增强现实内容，例如，基于飞行器传感器(如，夜视系统、激光雷达传感器、毫米(MM)波传感器和电子扫描阵列(ESA)雷达)，这些传感器可以在综合显示器上聚集和显示)。

至少一个非透明显示器可以被配置用以相对于头部可佩戴装置在第一位置和第二位置之间移动，这样，至少有一个非透明显示器可以从头部可佩戴装置用户的视场上缩回。头部可佩戴装置可以被配置用以将增强现实内容、虚拟现实内容或增强现实内容与虚拟现实内容的混合内容呈现给用户，具体取决于至少非透明显示器的位置。当至少一个非透明显示器处于下位时(如，这样，用户除了至少一个透明显示器之外，还可以查看至少一个非透明显示器)，头部可佩戴装置可在固定透明显示层上显示图形图像和在至少一个非透明显示器上显示图形图像。至少一个非透明显示器的可伸缩性可以提高飞行员对采用完全阻断飞行员自然视野的技术的信心。进一步说，至少一个非透明显示器的可伸缩性将能够使飞行员在飞行的大部分时间内仅使用至少一个透明显示器就能飞起来并向外张望，同时在某些情况下利用两个显示层，例如当飞行器在较差的视觉环境(如，尘埃、晚上、云、雾、和/或降水)中飞行时。

包括至少一个透明显示器和至少一个非透明显示器的头部可佩戴装置的实施例与单一的增强现实头部可佩戴装置或单一的虚拟现实头部可佩戴装置相比有几个优势。头部可佩戴装置的实施例可以利用基于操作场景的增强现实和虚拟现实技术的优势。例如，在清晰的视觉操作环境中，增强现实透明显示层会增强飞行员的自然视觉，允许飞行员保持视觉操作。在一个较差的视觉环境中，然而，虚拟现实非透明显示层将为飞行员提供一个真实世界的合成视角的改进的态势感知。具有双层显示层的头部可佩戴装置的实施例可能会使用户由于双层增强和虚拟现实显示器的强烈的深度感而被吸引到虚拟环境中。具有双层显示层的头部可佩戴装置的实施例可能有助于在较近的增强现实显示层和较远的虚拟现实显示层之间(如，相对于用户的眼睛)进行整理选项的直观方法。由于显示器在远处投射，所以用户不会觉得一个显示器离用户的眼睛更近或更远，尽管它与用户的眼睛的距离不同。因此，头部可佩戴装置可以在几乎任何可感知的距离上投影内容，并且投射的内容和信息可以基于紧迫性和一致性(如，虚拟地形可能覆盖了真实地形)进行分层。对信息和内容进行分层可以将用户的视图被整理。例如，在较近的合成透明显示层上可以增加高优先级信息，在较远的虚拟现实显示层上增加低优先级信息。然后，可以通过撤销VR显示层或通过用户输入(如，手势、按钮或语音命令)轻松整理显示器。此外，具有双层显示层的头部可佩戴装置的实施例可以通过利用预定优先级实现将信息呈现给飞行员的方法，其中高度优先级的消息和虚拟内容可以呈现在较近的增强现实透明显示层上，较低优先级的内容可以显示在较远的非透明显示层上。进一步地，具有双层显示层的头部可佩戴装置的实施例可以在一个较差的视觉环境中，将增强的摄像机视频应用到显示层上显示的内容中，这可以为飞行员提供比使用自然视觉和单一的AR显示器更好的态势感知能力。

在一些实施例中，具有双层显示层的头部可佩戴装置可以用于有人无人编组(MUM-T)操作。例如，可伸缩的虚拟现实显示层可以由飞行员使用命令进入无人编组成员的虚拟场景(如，无人机系统)，并通过撤回虚拟现实显示层快速恢复到正常操作。

在一些实施例中，具有双层显示层的头部可佩戴装置可用于传统的旋翼应用中。例如，在一个较差的视觉环境中，飞行员可以很容易地向下翻转虚拟现实显示层以显示合成图像，并在清晰的条件下撤回虚拟现实显示层。

参照图1，根据本文公开的发明构思，系统100的实施例包括至少一个飞行器102、控制站126、人造卫星132、全球定位系统(GPS)卫星134、网络136、网络运营中心(NOC)138和UASs 142。部分或全部飞行器102、控制站126、人造卫星132、全球定位系统(GPS)卫星134、网络136、网络运营中心(NOC)138和UASs 142可以在任何给定时间通信耦合。

飞行器102包括至少一个通信系统104、多个计算设备112(也可以称为飞行器计算设备、直升机计算设备或可能合适的运载工具计算设备)、一GPS设备120、飞行器传感器122、输入/输出设备124和至少一个头部可佩戴装置140，以及通常包括在飞行器中的其他系统、装置和设备。通信系统104、计算设备112、GPS设备120、飞行器传感器122、输入/输出设备124、头部可佩戴装置140，以及任何通常包括在飞行器中的其他系统、装置和设备，这些部分或全部可以是通信耦合的。尽管没有显示出来，但在一些实施例中，飞行器102可以任选地包括一NOC或包括组件(如，至少一个计算设备112和/或通信系统104)被配置用以执行类似于NOC 138的功能。飞行器102可以被实现为任何合适飞行器，如直升机或飞机。飞行器102可以是一种载人飞行器。虽然本文公开的发明构思，系统100示例显示了包括飞行器102，但在一些实施例中，飞行器102可以被实现在任何合适的运载工具(如，汽车、拖车、潜水艇、船舶或航天器)或在任何合适的环境。

通信系统104包括一个或多个天线106(如，所示的两个天线106)，处理器108和内存110，这些都是通信耦合的。通信系统104(如，通过一个或多个天线106)被配置用以发送和/或接收信号、数据、信息和/或语音传输到和/或从控制站126、其他交通工具(如，USAs142)、人造卫星132、NOC138和其组合，还有其他任何合适的设备、装置或系统。那就是，通信系统104被配置用以和其他任何合适的通信系统交换(如，双向交换)信号、数据、信息和/或语音传输，其中其他任何合适的通信系统可以类似地实现并且类似于通信系统104的功能。此外，例如，通信系统104被配置用以交换、发送和/或接收(如，通过无线网络、电缆连接和/或有线连接或其组合)信号、数据、信息和/或语音传输到和/或从任何合适的机载设备。

通信系统104可以包括至少一个处理器108，处理器108被配置用以运行或执行各种软件应用程序、计算机代码和/或指令(例如，维护)，这些软件应用程序、计算机代码和/或指令存储在至少一个非瞬态计算机可读介质(如，至少少一种计算机可读的介质实现为硬件；如，至少一种非瞬态处理器可读的介质，至少一个内存110(如，至少一个非易失存储器，至少一个易失存储器，或其组合；如，至少一个随机存取存储器，至少一个闪存，至少一个只读内存存储器(ROM)(如，至少一个带电可擦可编程只读存储器((EEPROM))，至少一个处理器内存(如，至少一个处理器缓存，至少一个处理器缓冲，至少一个处理器闪存，至少一个处理器带电可擦可编程只读存储器，或其组合)，或其组合，至少一个储存设备(如，至少一个硬盘驱动器、至少一个磁带驱动器、至少一个固态驱动器、至少一个闪存驱动器、至少一个可读磁盘和/或可写磁盘，所述至少一个光驱动器被配置用以从至少一个可读和/或可写磁盘读取和/或写入，或其结合)，或其结合。)中。至少一个计算机可读介质中的部分或全部可以是通信耦合。例如，处理器108可以被配置用以接收来自计算设备112和/或头部可佩戴装置140的数据，并执行配置成使天线106的特定天线将数据作为信号发送到UASs 142和/或系统100的另一通信系统(如，128)的指令。同样地，例如，处理器108可以被配置用以将由天线106的特定天线作为信号接收的数据路由到计算设备112和头部可佩戴装置140中的一个或多个。在一些实施例中，处理器108可以被实现为一个或多个射频(RF)处理器。

每个天线106可以实现为或包括任何合适的天线或天线装置。例如，天线106可以实现为或包括至少一个电子扫描阵列(ESA)(如，至少一个有源ESA(AESA))、至少一个无线电(如，至少一个软件定义无线电(SDR))、至少一个发射机、至少一个接收机、至少一个收发器或其组合。

虽然通信系统104示例为具有两个天线106、一个处理器108和存储器110，但是通信系统104可以包括任何合适数量的天线106、处理器108和存储器110。进一步地，通信系统104可以包括其他组件，例如存储设备(如，固态驱动器或硬盘驱动器)、无线电调谐器和控制器。

飞行器102的每个计算设备112可以包括至少一个处理器114、内存116和存储设备118，以及通常包括在计算设备中的其他组件、装置和/或设备，以上所有这些组件可以彼此通信耦合。每个计算设备112可以被配置用以将数据彼此路由到头部可佩戴装置140和/或通信系统104，以传输到场外目的地(例如，人造卫星132、NOC 138、控制站126和/或UASs142)。同样地，每个计算设备112可以被配置用以从另一个计算设备112接收数据，也可以头部可佩戴装置140和/或从场外源发送的通信系统104(如，人造卫星132、NOC 138、控制站126)接收数据。计算设备112可以包括或可以被实现为和/或被配置用以执行任何合适的飞行器系统的功能，如发动机指示和机组报警系统(EICAS)计算设备(如，112-2)、飞行管理系统(FMS)计算设备(如，112-3)、综合飞行信息系统(IFIS)计算设备(如，112-4)、信息管理系统(IMS)计算设备(如，112-5)、机载维护系统(OMS)计算设备(如，112-6)和地形感知告警系统(TAWS)计算设备(如，112-7)。(参见，如，图8)。处理器114可以被配置用以运行各种应用程序或计算机代码(如，维护)，这些应用程序或计算机代码存储在非瞬态计算机可读介质(如，内存116或储存设备118)中，和被配置为执行各种指令或操作。此外，例如，计算设备112或处理器114可以实现为特殊用途的计算机或特殊用途的处理器，特殊用途的计算机或特殊用途的处理器被配置(如，程序编入)用以执行整个公开的任何或所有操作的指令。在一些实施例中，飞行器102可以包括任意合适数量的计算设备112。

在一些实施例中，计算设备112中一个可以被配置用以接收来自头部可佩戴装置140的位置和方向数据(如，位置和方向数据流)，其中位置和方向数据表示用户头部的位置和方向。例如，计算设备112可以被配置用以接收来自头部可佩戴装置140的头部跟踪系统408的位置和方向数据，至少基于位置和方向数据，处理器114可能被配置用以生成与头部可佩戴装置140的佩戴者的视场相对应的虚拟图像(如，虚拟场景图像)。处理器可以被配置为将虚拟图像作为虚拟图像数据输出到头部可佩戴装置140。处理器114可以被配置用以生成虚拟图像流和将虚拟图像流作为虚拟图像流数据输出到头部可佩戴装置140。

GPS设备120接收来自GPS卫星134的位置数据，并且可以将运载工具位置数据(如，飞行器位置数据)提供给飞行器102的各种装置/系统(如，通信系统104、计算设备112、飞机器传感器122、输入/输出设备124和头部可佩戴装置140)。GPS设备120可以包括GPS接收机和处理器。例如，GPS设备120可以从飞行器102接收或计算足够数量(如，至少四个)的GPS卫星134的位置数据，从而可以计算GPS解。在一些实施例中，GPS设备120可以作为计算设备112、通信系统104、飞行器传感器122的导航传感器和/或输入/输出设备124中的一部分或作为一部分实现。GPS设备120可以被配置用以将位置数据提供给任何运载工具的各种装置/系统。例如，GPS设备120可以将位置数据提供给通信系统104、计算设备112、输入/输出设备124和头部可佩戴装置140。进一步地，虽然如图1所示的GPS设备120在飞行器102中实现，但在其他实施例中，GPS设备120可以被实现在任何种类的运载工具上，如，汽车、拖车、潜水艇、船舶或航天器。

虽然飞行器102的通信系统104、计算设备112、GPS设备120、飞行器传感器122、输入/输出设备124和头部可佩戴装置140已经被示例描述为作为单独的设备或系统实现，但在一些实施例中，通信系统104、计算设备112、GPS设备120、飞行器传感器122和/或输入/输出设备124可以被实现为作为一个单独的集成系统或设备，或作为任意数量的集成和/或部分集成的系统和/或设备。

控制站126可以包括至少一个通信系统128、至少一个计算设备130和输入/输出设备146，在一个控制站还包括通常的其他系统、装置和设备。通信系统128、计算设备130、输入/输出设备146和一个控制站包括的通常的其他系统、装置和设备中的部分或全部可以是通信耦合的。控制站126可以被实现为固定位置地面控制站(如，空中交通管制塔的地面控制站，或位于地面上的网络操作中心(如，138))的地面控制站。在一些实施例中，控制站126可以被实现为移动地面控制站(如，在非空中运载工具(如，汽车或船舶)或拖车上实现的地面控制站)。在一些实施例中，控制站126可以被实现为在空中飞行器(如，飞行器)上实现的空中控制站。控制站126可以包括NOC或通信耦合到NOC 138(如，通过网络136)。

控制站126的通信系统128及其组件(如，天线106)可以被实现类似于通信系统104的作用，除了在一些实施例中，通信系统128可以被配置用以在固定位置操作。控制站126的计算设备130及其组件(如，处理器(未示出)和存储器(未示出))可以被实现类似于计算设备112的作用。输入/输出设备146可以被实现类似于输入/输出设备124的作用，除了在一些实施例中，输入/输出设备146可以被配置用以在固定位置操作。

虽然天线106被示例性地描述为在飞行器102和控制站126中实现，但是在一些实施例中，天线106可以被实现在、或耦合到任何其它合适的设备、装置或系统，如UASs 142，计算设备(如，笔记本电脑计算设备、移动计算设备，可佩戴计算设备，或智能手机)，移动通信系统(如，便携式通信系统)，或人造卫星132。

网络136可以被实现为任何合适的网络或网络的组合。例如，网络136可以包括或被实现为因特网、因特网的一部分(如，安全光纤网络)、内联网、广域网(WAN)、局域网(LAN)和/或移动电信网络(如，第三代(3G)网络或第四代(4G)网络))。虽然系统100被例示为包括网络136，但是系统100或系统100的各种组件可以包括或通过任何合适的数量和任何合适类型的网络通信耦合。

NOC138可以将特定类型的通信(例如，人造卫星与人造卫星132通信和/或飞行器与飞行器102和/或UASs 142通信)连接到网络136。

UASs 142可以被实现类似于飞行器102的作用，除此之外，UASs可以被配置用以无人操作。

虽然图1示例包括了如下的组件，但在一些实施例中，可以省略系统100的一个或多个组件，或者系统100可能包含其他组件。例如，可选择GPS卫星134、人造卫星132、控制站126、网络136、NOC138或UASs142中的一个或多个。此外，虽然一示例中描述了包括一个控制站(如，控制站126)，但其他示例中可以包括在系统100中任何位置或移动的任何类型的任意数量的控制站。

参考图2，图1中飞行器102的输入/输出设备124可以包括一个或多个显示器(如，至少一个平视显示器(HUD)、至少一个HDD、至少一个自适应飞行显示器(AFD)或其组合)、至少一个眼睛跟踪系统206、扬声器216、飞行控制器218、至少一个键盘220、至少一个麦克风222、至少一个语音识别系统224或其组合，这些的部分或全部可以在任何给定的时间通信耦合。虽然图2描述了各种示例性输入/输出设备124，但输入/输出设备124可以包括任何合适的输入/输出设备。

例如，输入/输出设备124的显示器可以包括两个HUDs 202-1、202-2(可以统称为HUDs 202)和4个HDDs204-1、204-2、204-3、204-4(可以统称为HDDs 204)。每个HUDs 202和HDDs 204可以被配置用以将图像流(如，作为视频或静止图像)展示给用户(飞行员或操作员)。在一些实施例中，HUDs 202和/或HDDs 204可以被实现为或包括一触摸屏显示器。在一些实施例中，一个或多个HUDs 202和HDDs204可以包括一个集成计算设备(可以被实现和与图1中一计算设备112功能类似)和/或集成计算设备组件(可以被实现和与图1中一计算设备112的组件功能类似)。每个HUDs 202和HDDs 204可以与图1中的计算设备112、通信系统104、GPS设备120、头部可佩戴装置140、输入/输出设备124和/或飞行器传感器122中的一个或多个通信耦合。

眼睛跟踪系统206可以被配置用以跟踪眼睛的姿态，跟踪用户的眼球运动，追踪用户的目光，和/或另外从用户的眼睛接收输入。眼睛跟踪系统206可以被配置用以实时执行全自动的用户眼睛跟踪操作。眼睛跟踪系统206可以包括至少一个传感器208，至少一个处理器210，内存212和存储设备214，以及通常包含在眼睛跟踪系统中的其他组件、装置和/或设备。传感器208、处理器210、内存212和存储设备214、以及通常包含在眼睛跟踪系统206中的其他组件、装置和/或设备可以是通信耦合的。

每个传感器208可以被实现为适用于眼睛跟踪系统的各种传感器。例如，至少一个传感器208可以包括或被实现为一个或多个光学传感器(如，至少一个摄像机，其被配置用以捕获可见光光谱和/或红外光谱中的图像)。在一些实施例中，至少一个传感器208是一个或多个专用眼睛跟踪系统传感器。虽然传感器208已被示例为被包括在眼睛跟踪系统206中，但在一些实施例中，传感器208可以被实现在眼睛跟踪系统206的外部。例如，传感器208可以被实现为位于飞行器102内的光学传感器(如，飞行器传感器122的光学传感器316)，并通信耦合到处理器210。

处理器210可以被配置用以处理从传感器208接收的数据和将处理的数据输出到一个或多个机载设备或机载系统(如，通信系统104、计算设备112、飞行器传感器122、头部可佩戴装置140、输入/输出设备124或其组合)。例如，处理器210可以被配置用以生成眼睛跟踪数据，和将生成的眼睛跟踪数据输出到计算设备112和/或头部可佩带装置140中的一个。眼睛跟踪系统206的处理器210可以被配置用以运行各种软件应用程序或计算机代码，这些程序或计算机代码存储(如，维护)在非瞬态计算机可读介质中(如，内存212和/或存储设备214)，和被配置用以执行各种指令或操作。处理器210可以被实现为特殊用途的处理器，该处理器被配置为执行整个公开的任何或所有操作的指令。

语音识别系统224可以被实现为类似于图中4和7所示和描述的语音识别系统420的作用。

在一些实施例中，部分或全部输入/输出设备124可以包括集成计算设备(可以被实现和类似于图1的一个计算设备112中的功能)和/或集成计算设备组件(可以被实现和类似于图1的一个计算设备112中的组件的功能)。

参照图3，示出了图1的飞行器传感器122。每个飞行器传感器122可被配置用以感测飞行器102或飞行器102外部的特定条件，并将与特定感测条件相关联的数据输出到一个或多个机载设备或机载系统(如，通信系统104、计算设备112、飞行器传感器122、头部可佩戴装置140、输入/输出设备124或其组合)。例如，飞行器传感器122可以包括惯性测量单元302、无线电测高计304、雷达(如，气象雷达306、监视雷达和或武器雷达)、空速传感器308、飞行动态传感器310(如，配置用以感测俯仰、滚转和/或偏航；如，一个或多个加速器)、空气温度传感器312、气压传感器314、光学传感器316(如，摄像机，其被配置为捕捉可见光光谱和/或红外光谱中的图像，如前视红外(FLIR)摄像机和/或短波长波红外(SWIR)摄像机、声波测距传感器(未示出)、监视传感器318，设备传感器320(如，电气系统传感器、液压系统传感器、放气传感器、环境条件传感器、燃料传感器和/或火灾警告/抑制传感器)和/或发动机速度传感器322，其中的一些或全部可以在任何给定的时间通信耦合。此外，GPS设备120可以被视为飞行器传感器122之一。

例如，至少一些飞行器传感器122可以被实现为导航传感器(如，GPS设备、惯性测量单元302、无线电测高计304、气象雷达306、空速传感器308、飞行动态传感器310、空气温度传感器312和/或气压传感器314)其被配置为感测飞行器通常使用的各种飞行条件或飞行器条件并输出导航数据(如，飞行器位置数据、飞行器定位数据、飞行器方向数据、飞行器速度数据和/或飞行器加速度数据)。例如，各种飞行条件或飞行器条件可包括高度、飞行器位置(如，相对于地球)、飞行器方向(如，相对于地球)、飞行器速度、飞行器加速度、飞行器轨迹、飞行器俯仰、飞机侧倾、飞行器偏航、空气温度和/或空气压力。例如，GPS设备120和惯性测量单元302可以为处理器(如，GPS设备120的处理器、处理器114、处理器114-1、处理器108、处理器210、处理器402或其组合)提供飞行器位置数据和飞行器方向数据。

在一些实施例中，部分或全部飞行器传感器122可以包括集成计算设备(可以被实现和类似于图1的一个计算设备112中的功能)和/或集成计算设备组件(可以被实现和类似于图1的一个计算设备112中的组件的功能)。

进一步地，虽然飞行器传感器122被实现在飞行器102，但在一些实施例中，本文公开的发明构思，可以包括实现在任何合适的运载工具传感器。

参照图4-7，描述了根据本文公开的发明构思的头部可佩戴装置140的实施例。头部可佩戴装置140可以被实现为混合增强现实和虚拟现实头部可佩戴装置。头部可佩戴装置140可以被配置用以将增强现实场景图像和/或虚拟现实图像呈现给头部可佩戴装置140的佩戴者。头部可佩戴装置140可以包括至少一个处理器402、至少一个内存404、至少一个存储设备406、一个头部跟踪系统408、一个用户输入系统(如，一个眼睛跟踪系统410和/或一个语音识别系统420)、至少一个透明显示器412(如，增强现实显示器412)、至少一个非透明显示器(如，虚拟现实显示器414)、至少一个扬声器416、至少一个摄像机(如，418)，其中部分或所用可以是通信耦合的。

头部可佩戴装置140可以被配置用以生成和/或接收图像数据流(如，增强现实图像数据和/或虚拟现实图像数据)，如生成和/或接收来自计算设备112的图像数据流。图像数据流可以被输出到增强现实显示器412和/或虚拟现实显示器414，例如。头部可佩戴装置140可以被配置用以通过将增强现实图像与图像(如，真实场景图像，传感图像(如，来自传感器(如，视觉传感器，如光学传感器316)形成的图像)或虚拟场景图像)混合和/或通过将增强现实图像覆盖于图像(如，真实场景图像，传感器图像(如，来自传感器(如，视觉传感器，如光学传感器316)形成的图像)或虚拟场景图像)上，以创建三维身临其境的场景图像呈现给头部可佩戴装置140的佩戴者，为头部可佩戴装置140的佩戴者提供增强现实和/或虚拟现实体验。此外，例如，头部可佩戴装置140可以被配置用以通过将增强现实显示器412显示的增强现实图像(如，符号、文本和/或描述)与真实图像或虚拟现实显示器414显示的合成图像混合和/或通过将增强现实显示器412显示的增强现实图像(如，符号、文本和/或描述)覆盖到真实图像或虚拟现实显示器414显示的合成图像，为头部可佩戴装置140的佩戴者提供混合增强现实和虚拟现实体验。

增强现实显示器412可以被实现为透明显示器。增强现实显示器412可以被认为是透射式显示器，因为增强现实显示器412允许光通过增强现实显示器412。在一些实施例中，可将增强现实显示器412固定安装到头部可佩戴装置140上，以便佩戴时增强现实显示器412位于佩戴者的眼睛前方。增强现实显示器412可以被配置用以接收图像流作为图像数据流，并将图像流呈现给头部可佩戴装置140的佩戴用户。用户可以通过增强现实显示器412查看真实世界，也可以通过增强现实显示器412查看虚拟现实显示器414。例如，增强现实显示器412可以被配置用以在用户的真实世界视图或虚拟现实显示器414上叠加图形图像。增强现实显示器412可以被配置用以向头部可佩戴装置140的用户显示任何内容。增强现实显示412可以被配置用以显示与虚拟现实显示器414显示的内容一致的内容，或者通过增强现实显示器412的用户的真实世界视图一致的内容。通过增强现实显示器412显示的内容与通过虚拟现实显示器414显示的内容或通过增强现实显示器412的用户的真实世界视图相比在用户看来具有可感知的深度；例如，通过增强现实显示器412的显示的内容可能出现在前景中，而通过虚拟现实显示器414显示的内容或用户的真实世界视图可能出现在背景中。增强现实显示器412可包括左边增强现实显示器(如，412-1，如图12所示)和右边增强现实显示器(如，412-2，如图12所示)。左边和右边增强现实显示器可以被配置用以向用户呈现立体的内容。当增强现实显示器412内有激活(如，不显示图像或不启动)，增强现实显示器412可以作为透明光学元件运行，使用户能够通过增强现实显示器412观看真实世界或虚拟显示器414。尽管增强现实显示器412在实施例中被描述为多个显示器，但一些实施例可以包括单独一个增强现实显示器412。

虚拟现实显示器414可以被实现为非透明(如，不反光)显示器。虚拟现实显示器414可以是发射式显示器或背光式显示器。虚拟现实显示器414可以被配置用以接收图像流作为图像数据流并将图像流呈现给头部可佩戴装置140的佩戴用户。用户能够通过增强现实显示器412看到虚拟现实显示器414。虚拟现实显示器414可以向头部可佩戴装置140的用户显示任何内容。例如，虚拟现实显示器414可以被配置用以显示真实世界的合成图像或虚拟世界图像，例如从无人驾驶运载工具的角度看的虚拟视图。虚拟现实显示器414可以被配置用以显示与增强现实显示器412显示的内容一致的内容。通过虚拟现实显示器414显示的内容与通过增强现实显示器412显示的内容相比在用户看来具有可感知的深度。虚拟现实显示器414可以包括左边虚拟现实显示器(如，414-1，如图12所示)和右边虚拟现实显示器(如，414-2，如图12所示)。左边和右边虚拟现实显示器414可以被配置用以向用户呈现立体的内容。虚拟现实显示器414可以被配置用以相对于头部可佩戴装置140的其余部分，在第一位置和第二位置之间移动。当虚拟现实显示器414处于第一位置时，增强现实显示器412和虚拟现实显示器414可以被配置用以同时向用户呈现具有感知深度的一致内容。当虚拟现实显示器414处于第一位置时，虚拟现实显示器414可以被认为是遮挡显示器，它阻挡了来自真实世界的光，使用户无法感知，因此用户能感知到的唯一重要的光是来自虚拟现实显示器414的。当虚拟现实显示器414处于第二位置时，增强现实显示器412可以被配置用以向用户展示内容，同时允许用户通过增强现实显示器412来观看头部可佩戴装置140之外的真实世界环境。当虚拟现实显示器414处于第二位置时，虚拟现实显示器414可能被停用(如，关闭动力)。尽管虚拟现实显示器414在实施例中被描述为多个显示器，但一些实施例可以包括单独一个虚拟现实显示器414。

处理器402可以被实现为任何合适的处理器，例如通用处理器、图像处理器和/或现场可编程门阵列(FPGA)。处理器402可以被配置用以接收来自计算设备的数据。例如，所接收的数据可以包括与通过增强现实显示器412和/或虚拟现实显示器414显示的图像相关的图像数据，处理器102可以将图像数据流输出到增强现实显示器412和/或虚拟现实显示器414。此外，例如，所接收的数据可以包括来自航空电子计算设备的数据，处理器402可以利用所接收的数据生成图像数据流并将图像数据流输出到增强现实显示器412和/或虚拟现实显示器414。例如，处理器402可以被配置用以接收来自计算设备112数据(如，与图像(如，资产或战场特征)相关的图像数据，以覆盖在用户的视场上或覆盖在环境的虚拟图像和/或与环境的虚拟图像相关联的虚拟图像数据上)。这样的接收数据可以与用户头部相对于环境确定的位置和确定的方向对准。处理器402被配置用以生成图形图像(如，符号、文本和/或描述)，例如，图形图像可以表示协同资产和战场特征。资产可以指运载工具(载人运载工具和/或无人驾驶运载工具；如，飞行器(如，载人飞行器和/或无人驾驶航空系统(UASs))，航天器，地面车辆(如，汽车和/或坦克)，船舶和/或潜水艇)，士兵，军事设施和/或基地；同样的，协同资产可以指友好资产。例如，战场特征可以包括传感器范围、武器范围、目标信息、着陆区域、和/或威胁区域。这样生成的图形图像可以与用户头部相对于环境确定的位置和确定的方向对准。处理器402被配置用以将图形图像输出到增强现实显示器412和/或虚拟现实显示器414以展示给用户。在一些实施例中，图形图像包括增强现实图形图像，在头部可佩戴装置140的增强现实显示器412(如，透明显示器)上增强用户的真实世界视图。在一些实施例中，图形图像包括在头部可佩戴装置140的虚拟现实显示器414(如，非透明显示器)上显示的虚拟现实图形图像。在一些实施例中，图形图像包括在增强现实显示器412上显示的增强现实图形图像和在虚拟现实显示器414上显示的虚拟现实图形图像。在一些实施例中，图形图像叠加在虚拟图像上，以为佩戴头部可佩戴装置140的用户提供增强的虚拟现实体验。

例如，头部可佩戴装置140的处理器402可以生成虚拟场景图像，由虚拟现实显示器414来显示，头部可佩戴装置140的处理器402可以生成符号，并将符号输出到增强现实显示器412，其中符号由增强现实显示器412显示并按虚拟现实显示器414所描述的覆盖在战场环境中的真实实体的位置上。例如，符号可以表示友好的、敌对的、中立的或未知的战场实体的位置。此外，符号可以说明实体的传感器和武器范围、目标信息、着陆区域、威胁区域和其他战场特征。进一步地，处理器402可以生成虚拟内容，例如与资产状态、任务和能力相关的菜单，并基于任务内容将这样的虚拟内容输出到增强现实显示器412和/或虚拟现实显示器414。此外，例如，处理器402可以接收从其他协同资产(如，从合作的UASs 142)发送的传感器和目标信息，生成与传感器和目标信息相关联的图形图像，并将图形图像输出到增强现实显示器412和/或虚拟现实显示器414。

在一些实施例中，处理器402可以被配置用以更新图像数据流，使得向用户呈现的部分内容从增强现实显示器412移动到虚拟现实显示器414。类似地，处理器402可以被配置用以更新图像数据流，使得向用户呈现的部分内容从虚拟现实显示器414移动到增强现实显示器412。例如，增强现实显示器412可能一直在显示符号，而虚拟现实显示器414显示一个虚拟场景图像，处理器402可以被配置用以更新图像数据流，使得向用户呈现的部分内容从增强现实显示器412移动到虚拟现实显示器414。在一些实施例中，至少基于部分所显示信息的预定相关性，所显示信息的预定优先级(如，相对较高的优先级信息可以显示在增强现实显示器412上，相对较低的优先级信息可以显示在虚拟现实显示器414上)和/或所接收的用户输入(如，用户用来移动内容的语音命令，如将菜单移动到虚拟现实显示器414的语音命令)，处理器402可以被配置用以更新图像数据流。

例如，处理器402可以被配置用以生成和输出图像数据流到增强现实显示器412和/或虚拟现实显示器414以呈现给用户。图像数据可以与用户头部相对于环境确定的位置和确定的方向对准的图像相关，并且图像可以包括各种资产和战场的任何特征。例如，图像可以包括至少一个无人驾驶运载工具(如，UAS142)的至少一个用户可选择的描述。处理器402可以被配置用以接收来自用户输入系统(如，眼睛跟踪系统410和/或语音识别系统420)的用户输入数据，其中用户输入数据包括与一个选定的无人驾驶运载工具相关的用户选择数据。此外，处理器402可以被配置用以更新与图像相关的一个或多个图像数据流，这样图像进一步包括与所选的无人驾驶运载工具相关的信息描述。例如，与所选的无人驾驶运载工具相关的信息描述可以包括由所选的无人驾驶运载工具的至少一个传感器捕获的传感器馈送数据的描述。此外，例如，与所选的无人驾驶运载工具相关的信息可以包括所选无人驾驶运载工具的状态、任务或能力中的至少一个的信息。

处理器402可以被配置用以从用户输入系统接收用户输入数据。例如，用户输入数据可以包括与各种资产或战场特征的用户选择相关联的用户选择数据。此外，用户输入数据可以包括与各种用户命令相关联的用户命令数据。例如，用户输入数据可以包括与控制或管理选定的无人驾驶运载工具的命令相关联的用户命令数据。

在一些实施例中，处理器402输出到增强现实显示器412和/或虚拟现实显示器414的图像是与战场图像相关的战场图像数据。例如，战场图像可以包括战场特征和资产的描述。例如，与图像数据相关联的图像可以包括对战场对象的用户可选择的描述，并且处理器402可以接收与战场对象的选定战场对象相关联的用户选择数据。响应于接收用户选择数据，处理器402可以更新与图像相关联的图像数据流，使得图像进一步包括与所选择的战场对象相关联的信息的描述。此外，例如，处理器402可以接收与监视所选战场对象的命令相关联的用户命令数据，并且处理器402可以输出命令来控制或管理特定无人驾驶运载工具来监视所选择的战场对象。此外，例如，处理器402可以接收与攻击所选战场对象的命令相关联的用户命令数据，并且处理器402可以输出命令来控制特定无人驾驶运载工具来攻击所选战场对象。在一些实施例中，每个用户可选择的描述的战场对象包括表示每个战场对象是否被分类为友好的、中立的、敌对的或未知的威胁的图形信息。例如，在所选择的战场对象当前被分类为未知威胁时，处理器402可以接收与命令相关联的用户命令数据以对所选战场对象进行分类，并且处理器402可以输出命令来对所选战场对象进行分类为友好、中立或敌对。

在一些实施例中，处理器402可以被配置用以接收来自摄像机418的真实图像作为真实图像数据。处理器108可以被配置用以生成图形图像(如，符号、文本和/或描述)，例如，其可以表示协同资产和战场特征，并将图形图像叠加(如，通过增强现实显示器412)在由虚拟现实显示器414显示的真实图像数据。

在一些实施例中，至少一个处理器402可以被实现为多个处理器，例如至少一个通用处理器和至少一个图像处理器。处理器402可以被配置用以运行各种软件应用程序或计算机代码，这些程序或计算机代码存储在非瞬态计算机可读介质(如，内存404和/或存储设备406)中，和被配置用以执行各种指令或操作。处理器402可被实现为一种特殊用途的处理器，该处理器被配置为执行整个公开的任何或所有操作的指令。

头部跟踪系统408可以被配置用以确定和跟踪用户头部相对于环境的位置和方向。头部跟踪系统408可以被配置用以：至少部分基于从飞行动态传感器310和/或惯性测量单元302获得的信息，来确定和跟踪用户头部相对于环境的位置和方向；例如，头部跟踪系统408可以被配置用以考虑(如，减去)由飞行器102运动引起的加速度。头部跟踪系统408可以被配置用以实时执行全自动头部跟踪操作。如图6所示，头部跟踪系统408可以包括传感器602、处理器604、内存606和存储608，以及通常包括在头部跟踪系统中的其他组件、装置和/或设备。传感器602、处理器604、内存606和存储器608以及通常包括在头部跟踪系统中的其他组件、装置和/或设备可以通信耦合。

头部跟踪系统408的处理器604可以被配置用以处理从传感器602接收的数据，并将处理后的数据输出到计算设备112和/或处理器402中的一个，用于生成与用户的视场对齐的图像。例如，处理器604可以被配置用以确定和跟踪用户的头部相对于环境的位置和方向。此外，例如，处理器604可以被配置用以生成与这样确定的信息相关联的位置和方向数据，并将生成的位置和方向数据输出到计算设备112和/或处理器402中的一个。头部跟踪系统408的处理器604可以被配置用以运行各种软件应用程序或计算机代码，这些程序或计算机代码存储在非瞬态计算机可读介质中，和被配置用以执行各种指令或操作。处理器604可被实现为一种特殊用途的处理器，该处理器被配置为执行整个公开的任何或所有操作的指令。

眼睛跟踪系统410可以被配置用以跟踪眼睛的姿态，跟踪用户的眼球运动，追踪用户的目光，跟踪扫描模式，确定用户凝视的收敛点的位置(有时称为注视点)，确定眼睛的位置，跟踪生理指标(如，眨眼率、瞳孔扩张、第一注视时间、注视长度和/或注视计数)，确定用户眼睛之间的瞳孔内部距离(IPD)，确定用户眼睛的确定位置和每个用户眼睛的收敛点的确定位置之间的方向，和/或从用户的眼睛接收输入。眼睛跟踪系统410可以被配置用以实时执行全自动的用户眼睛跟踪操作。眼睛跟踪系统410可以包括至少一个传感器502，至少一个处理器504，内存506和存储设备508，如图5所示，以及通常包含在眼睛跟踪系统中的其他组件、装置和/或设备。传感器502、处理器504、内存506和存储设备508，以及通常包含在眼睛跟踪系统中的其他组件、装置和/或设备，可是通信耦合的。

眼睛跟踪系统410可以被用作光标控制装置，以选择显示在增强现实显示器412和/或虚拟现实显示器414上的虚拟内容。例如，眼睛跟踪系统410可以被用于在战场中选择协同资产，或者从虚拟菜单中选择项目。眼睛跟踪系统410也可被用于跟踪用户的扫描模式，并警告用户已被忽略的关键信息。

眼睛跟踪系统410的处理器504可以被配置用以处理从传感器502接收的数据，并将处理后的数据输出到处理器402和/或计算设备112中的一个。例如，处理器504可以被配置用以确定用户凝视的收敛点的位置，确定眼睛的位置，确定用户眼睛之间的瞳孔内部距离(IPD)，和/或确定用户眼睛的确定位置和每个用户眼睛的收敛点的确定位置之间的方向。此外，例如，处理器504可以被配置用以生成与这样确定的信息相关联的数据，并将生成的数据输出到处理器402和/或计算设备112中的一个。眼睛跟踪系统410的处理器504可以被配置用以运行各种软件应用程序或计算机代码，这些程序或计算机代码存储在非瞬态计算机可读介质中，和被配置用以执行各种指令或操作。处理器504可被实现为一种特殊用途的处理器，该处理器被配置为执行整个公开的任何或所有操作的指令。

扬声器416可被配置用以接收与环境相关的音频内容，和将音频内容作为音频呈现给头部可佩戴装置140的佩戴用户。此外，虽然扬声器416被描述为单个扬声器，但扬声器416可以实现为多个扬声器，例如每个用户的每只耳朵都有一个扬声器。

摄像机418可以被配置用以捕捉佩戴者视场的真实图像(如，真实场景图像)。摄像机418的视场可以与佩戴者的视场一致。摄像机418可能被配置用以将真实图像作为真实图像数据(例，真实场景图像数据)输出到计算设备112和/或处理器402中的一个。摄像机418可被配置用以将真实图像流作为真实图像数据流输出到计算设备112和/或处理器402中的一个。摄像机418可以被实现为高分辨率的摄像机。当用户的视野被完全遮挡时(如，被VR显示器414遮挡)，摄像机416可以将外部世界的立体视图提供给计算设备112和/或处理器402中的一个。例如，处理器402可以用虚拟图形增强立体图像，生成虚拟现实图像，在VR显示器414上显示。在一些实施例中，摄像机418可实现为多个摄像机。

语音识别系统420可以包括至少一个麦克风702、至少一个处理器704、内存706和存储708，如图7所示，以及包括在语音识别系统中通常包括的其他组件、装置和/或设备。麦克风702、处理器704、内存706和存储器708以及通常包括在眼睛跟踪系统中的其他组件、装置和/或设备可以通信耦合。语音识别系统420可以被配置用以识别用户的语音命令或可听的输入。语音识别系统420可以允许用户使用口头命令作为交互和控制方法。语音识别系统418可以被配置用以检测用户命令并输出用户命令数据。此外，口头命令可用于修改、操纵和解密由头部可佩戴装置140显示的内容。语音识别系统420可以与眼睛跟踪系统410集成，因此可以推断用户输入的情景。例如，在查看特定的UAS 142时，用户可以说，“转向拦截”，并且其中一个处理器(如，402、604和/或704)可以基于至少一个眼睛跟踪数据来确定用户暗示该命令是针对特定的UAS142，而没有说出UAS 142的特殊呼叫信号。处理器704可以被配置用以处理从麦克风702接收的数据，并将处理后的数据(如，文本数据)输出到计算设备112和/或处理器402中的一个。处理器704可以被配置用以运行各种软件应用程序或计算机代码，这些程序或计算机代码存储在非瞬态计算机可读介质中，和被配置用以执行各种指令或操作。

虽然头部可佩戴装置的处理器402、内存404、存储设备406、头部跟踪系统408、用户输入系统(如，眼睛跟踪系统410和/或语音识别系统420)、增强现实显示器412、虚拟现实显示器414、扬声器416和摄像机418已被示例性地描述为单独的设备或子系统实现，但在一些实施例中，处理器402、内存404、存储设备406、头部跟踪系统408、用户输入系统(如，眼睛跟踪系统410和/或语音识别系统420)、增强现实显示器412、虚拟现实显示器414、、扬声器416和摄像机418中的部分或所有可以被实现为单个集成系统或设备或任意数量的集成和/或部分集成的子系统和/或设备。

虽然头部可佩戴装置140示例包括所示的组件，在一些实施例中，可以省略头部可佩戴装置140的一个或多个组件，或者头部可佩戴装置140可能包含其他组件。

参照图8，示出的通过数据网络交换机802(如，航空电子全双工交换式以太网(AFDX)交换机)。例如，多个计算设备112(如，航空电子计算设备)、输入/输出设备124、通信系统104、运载工具传感器(如，飞行器传感器122)、GPS设备120和头部可佩戴装置140可以通过数据网络交换机802通信耦合。多个计算设备112(如，112-1、112-2、112-3、112-4、112-5、112-6、112-7)、输入/输出设备124、通信系统104、运载工具传感器(如，飞行器传感器122)、GPS设备120和头部可佩戴装置140中每个可以被配置用以通过数据网络交换机802相互交换(如，发送和/或接收)航空电子数据。虽然多个计算设备112、输入/输出设备124、通信系统104、飞行器传感器122、GPS设备120和头部可佩戴装置140被示例为通过数据网络交换机802通信耦合，但在一些实施例中，多个计算设备112、输入/输出设备124、通信系统104、运载工具传感器(如，飞行器传感器122)、GPS设备120和头部可佩戴装置140中的多个或全部可以通过任何合适的数据网络和通过任何合适的数据网络组件(如，至少一个总线(如，航空无线电、ARINC429总线)、至少一个数据汇集器、至少一个交换机、至少一个路由器或其组合)通信耦合。

多个计算设备112可以被实现为和/或包括多个电子计算设备，如，多个航空电子计算设备(如，航空电子计算设备可以被实现在一个或多个综合模块化航空(IMA)电子设备中)。多个航空电子计算设备可以包括第一航空电子计算设备112-1、机组警报系统(CAS)计算设备(如，发动机指示和机组警报系统(EICAS)计算设备112-2)、飞行管理系统(FMS)计算设备112-3、综合飞行信息系统(IFIS)计算设备112-4、信息管理系统(IMS)计算设备112-5、车载维护系统(OMS)计算设备112-6、地形感知告警系统(TAWS)计算设备112-7、安全服务器路由器计算设备(未示出)、自动相关监视(ADS)计算设备(未示出)和避免交通冲突系统(TCAS)计算设备(未示出)，以及在飞行器中通常实现的其他航空电子计算设备。此外，输入/输出设备124、通信系统104、飞行器传感器122、数据网络交换机802和GPS设备120可以被认为是多个航空电子计算设备的设备和可以被实现为或实现全部公开的类似航空电子计算设备(如，112-1、112-2、112-3、112-4、112-5、112-6、112-7)的功能。每个航空电子计算设备(如，112-1、112-2、112-3、112-4、112-5、112-6、112-7、112-8)可以包括组件，所述组件可以实现和类似于图1所示和描述的计算设备112的组件的功能。例如，每个航空电子计算设备可以包括至少一个处理器、内存和存储设备，这些可以分别实现和类似于图1所示和描述的计算设备112的处理器114、内存116和存储设备118的功能。例如，第一航空电子计算设备112-1可以包括至少一个处理器114-1、内存116-1和存储设备118-1，这些可以分别实现和类似于图1所示和描述的计算设备112的处理器114、内存116和存储设备118的功能。

多个航空电子计算设备(如，112-1、112-2、112-3、112-4、112-5、112-6、112-7)和/或处理器(如，114-1)可以被实现为特殊用途计算设备(如，第一航空电子计算设备112-1、EICAS计算设备112-2、FMS计算设备112-3、IFIS计算设备112-4、IMS计算设备112-5、OMS计算设备112-6、TAWS计算设备112-7)和/或特殊用途处理器(如，被编程为执行对整个公开的操作的指令的第一航空电子计算设备112-1的处理器114-1、被编程为执行对整个公开的EICAS操作的指令的EICAS计算设备112-2的处理器、被编程为执行对整个公开的FMS操作的指令的FMS计算设备112-3的处理器、被编程为执行对整个公开的IFIS操作的指令的IFIS计算设备112-4的处理器、被编程为执行对整个公开的IMS操作的指令的IMS计算设备112-5的处理器、被编程为执行对整个公开的OMS操作的指令的OMS计算设备112-6的处理器、被编程为执行对整个公开的TAWS操作的指令的TAWS计算设备112-7的处理器)，这些计算设备可以被配置用以执行各种指令或操作。

此外，在一些实施例中，数据网络交换机802可以类似地实现和类似于航空电子计算设备(如，112-1、112-2、112-3、112-4、112-5、112-6、112-7)中的一个功能，或者包括类似于航空电子计算设备的组件的功能的组件。例如，数据网络交换机802可以包括一集成的计算设备(其可以被实现和类似于一个计算设备112(如，航空电子计算设备(如，112-1、112-2、112-3、112-4、112-5、112-6、112-7)中的一个)的功能)和/或一集成的计算设备组件(其可以被实现和类似于图1中所示的一个计算设备112的组件的功能)。

进一步地，虽然多个航空电子计算设备已经相对于图8示例性的描述为包括第一航空电子计算设备112-1、EICAS计算设备112-2、FMS计算设备112-3、IFIS计算设备112-4、IMS计算设备112-5、OMS计算设备112-6、TAWS计算设备112-7，但在一些实施例中，多个航空电子计算设备可以省略所描述的航空电子计算设备中的一个或多个，包括额外数量的此类航空电子计算设备，和/或包括其他类型的合适的航空电子计算设备。

参照图9，示出了一佩戴头部可佩戴装置140的飞行员在如图1所示的飞行器驾驶舱900中。通过头部可佩戴装置140所显示的内容和通过驾驶舱900的一个或多个显示器(如，HDD 204-1、HDD 204-2、HDD 204-3and/or HUD 202-1)所显示的内容可以同步。在一些实施例中，通过头部可佩戴装置140显示的内容和通过驾驶舱900的一个或多个显示器显示的内容提供了飞行员在头部可佩戴装置140上看到的虚拟内容和HDDs 204-1、204-2、204-3之间的无缝过渡。在一些实施例中，HDDs204中的一个可以显示具有用户可选择选项的菜单，以过滤在头部可佩戴装置140的增强现实显示器412和/或虚拟现实显示器414上显示的内容。例如，HDD菜单可以为飞行员提供用户可选择的模式，例如，基于飞行员的偏好，对诸如友军、敌军、地面资产、空中资产、接合区域和/或传感器和武器范围等内容进行整理。此外，头部可佩戴装置140和HDDs 204可以提供互补的特征，使得操作者可以容易地在头向上操作和头向下操作之间切换。例如，当在头部可佩戴装置140或HDDs 204之一上选择对象或资产时，所选择的对象或资产也可被突出显示在其他显示设备上。此外，例如，当飞行员指示一个场景或命令由头部可佩戴装置140描述的资产时，相应的改变可以显示在一个HDDs204上和反之亦然。此外，例如，如果飞行员通过头部可佩戴装置140选择资产的传感器馈送、目标馈送或视频馈送，则一个HDDs204可以显示所选择的馈送的放大或放大版本。类似地，如果飞行员通过一个HDDs204选择馈送，则头部可佩戴装置140可以显示头部可佩戴装置140上的馈送。

参照图10-11，示出了头部可佩戴装置140的示意图，增强现实显示器412可以固定在头部可佩戴装置140用户的眼前。虚拟现实显示器414可以被配置用以相对于头部可佩戴装置140的其余部分，在第一位置和第二位置之间移动。例如，虚拟现实显示器414可以通过围绕枢轴附件1002枢转而在位置之间移动。当虚拟现实显示器414处于第一位置时(如图11所示)，增强现实显示器412和虚拟现实显示器414可以被配置用以同时向用户呈现具有感知深度的一致内容。当虚拟现实显示器414处于第一位置时，虚拟现实显示器414可以被认为是遮挡显示器，它阻挡了来自真实世界的光，使用户无法感知，因此用户能感知到的唯一重要的光是来自虚拟现实显示器414的。当虚拟现实显示器414处于第二位置时(如图10所示)，增强现实显示器412可以被配置用以向用户展示内容，同时允许用户通过增强现实显示器412来观看头部可佩戴装置140之外的真实世界环境。

参照图12，示出了头部可佩戴装置140的增强现实显示器412和虚拟现实显示器414。如图12所示，左边和右边虚拟现实显示器414-1、414-2都处于第一位置(如图11所示)，左边和右边增强现实显示器412-l、412-2和左边和右边虚拟现实显示器414-1、414-2同时向用户呈现立体的具有感知深度的一致内容。例如，左边和右边虚拟现实显示器414-l、414-2可以呈现增强现实图像，如，符号(如所示的)，增强现实图像出现在前景并覆盖在由左边和右边虚拟现实显示器414-1、414-2所显示的虚拟现实图像的顶上。例如，左边和右边虚拟现实显示器414-1、414-2可以显示虚拟现实图像，如，虚拟世界视图，虚拟现实图像出现在与增强现实图像对比的背景中。

参照图13，描述了根据本文公开的发明构思的一种方法1300可包括以下一个或多个步骤。此外，例如，一些实施例可包括以迭代、并发和/或顺序执行方法1300的多个实例。此外，例如，该方法1300的至少一些步骤可以并行执行和/或同时执行。此外，一些实施例中，方法1300的至少一些步骤可以不连续地执行。

步骤1302可以包括：通过在头部可佩戴装置中或头部可佩戴装置上实施的至少一个透明显示器，将第一内容向呈现给头部可佩戴装置的用户。

步骤1304可以包括：通过在头部可佩戴装置中或头部可佩戴装置上实施的至少一个非透明显示器，将第二内容呈现给头部可佩戴装置的用户，其中，所述至少一个非透明显示器中的每一个至少部分地通过所述至少一个透明显示器中的一个来查看。

进一步的，该方法可以包括整个公开的任何操作。

从以上可以理解，根据本文公开的发明构思实施例可针对系统、方法和至少一个头部可佩戴装置。

通篇使用的，本领域技术人员应当理解，“至少一种非瞬态的计算机可读介质”可能指至少一种非瞬态的计算机可读介质(如，内存110、内存116、内存212、内存404、内存506、内存606、内存706、内存116-1、存储设备118、存储设备214、存储设备406、存储设备508、存储设备608、存储设备708、存储设备118-1或其组合；如，至少有一种计算机可读的介质实现为硬件；如，至少一种非瞬态处理器可读的介质，至少一个内存(如，至少一个非易失存储器，至少一个易失存储器，或其组合；如，至少一个随机存取存储器，至少一个闪存，至少一个只读内存存储器(ROM)(如，至少一个带电可擦可编程只读存储器(EEPROM))，至少一个处理器内存(如，至少一个处理器缓存，至少一个处理器缓冲，至少一个处理器闪存，至少一个处理器带电可擦可编程只读存储器，或其组合)，或其组合)，至少一个储存设备(如，至少一个硬盘驱动器、至少一个磁带驱动器、至少一个固态驱动器、至少一个闪存驱动器、至少一个可读磁盘和/或可写磁盘，所述至少一个光驱动器被配置用以从至少一个可读和/或可写磁盘读取和/或写入，或其结合)，或其结合。)

通篇使用的，“至少一个”表示一个或多个；例如，“至少一个”可包括一、二、三……一百或更多。类似地，通篇使用的“一个或更多”表示一个或多个；例如，“一个或更多”可包括一、二、三……一百或更多。进一步地，通篇使用的“零或多个”表示零、一或更多；例如，“零或多个”可包括零、一、二、三……一百或更多。

在本披露中，公开的方法、操作和/或功能可以作为一组指令或一个设备可读的软件来实现。进一步地，可以理解公开的方法、操作和/或功能中的步骤的特定顺序或层次结构是示例性方法的示例。根据设计偏好，可以理解方法、操作和/或功能中的步骤的特定顺序或层次结构可以重新安排，同时保留在本发明中。随附的权利要求可以按实施例顺序表示各个步骤的元素，并不一定要局限于所提出的特定顺序或层次结构。

要理解的是，根据本发明构思公开的方法实施例可能包含本发明中描述的一个或多个步骤。进一步地，这些步骤可以按照任何期望的顺序执行，并且可以同时执行两个或两个以上的步骤。此处公开的两个或多个步骤可以组合在一个步骤中，在某些实施例中，一个或多个步骤可以作为两个或多个子步骤进行。进一步地，还可以采取其他步骤或分步骤，或作为在本发明中披露的一个或多个步骤的替代。

从上述描述中，很清楚，此处公开的发明构思可以很好地实现此处所述的目的，并获得此处所述的优点以及此处公开的发明构思中所固有的优点。虽然为了此处公开的目的描述了此处公开的发明构思的当前优选实施例，但是应当理解，还可以进行许多改变；这些改变对于本领域技术人员来说将是显而易见的，并落在此处公开的发明构思和权利要求的范围内。

Claims (20)

1.一种头部可佩戴装置，包括：

至少一个透明显示器，其在所述头部可佩戴装置中或所述头部可佩戴装置上实施，所述至少一个透明显示器被配置用以将第一内容呈现给所述头部可佩戴装置的用户；和

至少一个非透明显示器，其在所述头部可佩戴装置中或所述头部可佩戴装置上实施，所述至少一个非透明显示器被配置用以将第二内容呈现给所述头部可佩戴装置的所述用户，其中，所述至少一个非透明显示器中的每一个至少部分通过所述至少一个透明显示器中的一个可看到。

2.根据权利要求1所述的头部可佩戴装置，其中，所述至少一个透明显示器被实现为至少一个增强现实显示器，其中，所述至少一个非透明显示器被实现为至少一个虚拟现实显示器。

3.根据权利要求2所述的头部可佩戴装置，其中，所述至少一个非透明显示器进一步被配置用以呈现所述用户的环境的合成或传感图像的至少一个。

4.根据权利要求1所述的头部可佩戴装置，其中，所述至少一个透明显示器包括一左边透明显示器和一右边透明显示器，其中，所述至少一个非透明显示器包括一左边非透明显示器和一右边非透明显示器，其中，所述左边透明显示器和所述右边透明显示器被配置用以将第一立体内容呈现给所述用户，其中，所述左边非透明显示器和所述右边非透明显示器被配置用以将第二立体内容呈现给所述用户。

5.根据权利要求1所述的头部可佩戴装置，其中，所述至少一个非透明显示器被配置用以相对于所述头部可佩戴装置在第一位置和第二位置之间移动。

6.根据权利要求5所述的头部可佩戴装置，其中，当所述至少一个非透明显示器在所述第一位置时，所述至少一个透明显示器和所述至少一个非透明显示器被配置用以同时将具有可感知深度的对齐的内容呈现给所述用户。

7.根据权利要求6所述的头部可佩戴装置，其中，当所述至少一个非透明显示器在第二位置，所述至少一个透明显示器被配置用以将所述第一内容呈现给所述用户，同时允许所述用户通过所述至少一个透明的显示器查看所述头部可佩戴装置外部的真实世界环境。

8.根据权利要求7所述的头部可佩戴装置，其中，当所述至少一个非透明显示器在所述第一位置时，所述至少一个非透明显示器被启动，其中，当所述至少一个非透明显示器在所述第二位置时，所述至少一个非透明显示器未使用。

9.根据权利要求1所述的头部可佩戴装置，进一步包括至少一个处理器，所述至少一个处理器与所述至少一个非透明显示器和所述至少一个透明显示器通信耦合，所述至少一个处理器被配置用以：

将图像数据流输出到所述至少一个透明显示器和所述至少一个非透明显示器，以作为所述第一内容和所述第二内容呈现给所述用户。

10.根据权利要求9所述的头部可佩戴装置，其中，所述至少一个处理器进一步被配置用以：

接收来自车载电子计算设备的数据；和

至少基于所述接收的数据，生成所述图像数据流。

11.根据权利要求9所述的头部可佩戴装置，其中，所述至少一个处理器进一步被配置用以：

接收来自航空电子计算设备的数据；和

至少基于所述接收的数据，生成所述图像数据流。

12.根据权利要求9所述的头部可佩戴装置，其中，所述至少一个处理器进一步被配置用以：

接收来自无人驾驶或另一有人驾驶车辆中至少一个的数据；和

至少基于所述接收的数据，生成所述图像数据流。

13.根据权利要求12所述的头部可佩戴装置，其中，所述至少一个非透明显示器进一步被配置用以从所述无人驾驶或另一有人驾驶车辆中至少一个的角度呈现虚拟图像。

14.根据权利要求9所述的头部可佩戴装置，进一步包括安装在所述头部可佩戴装置上的至少一个摄像机，所述至少一个摄像机与所述至少一个处理器通信耦合，其中，所述至少一个处理器进一步被配置用以：

接收来自所述至少一个摄像机的视频数据；和

至少基于所述接收的视频数据，生成所述图像数据流。

15.根据权利要求9所述的头部可佩戴装置，其中，所述至少一个处理器进一步被配置用以：

更新所述图像数据流，使呈现给所述用户的所述第一内容的一部分从所述至少一个透明显示器移动到所述至少一个非透明显示器。

16.根据权利要求9所述的头部可佩戴装置，其中，所述至少一个处理器进一步被配置用以：

更新所述图像数据流，使呈现给所述用户的所述第二内容的一部分从所述至少一个非透明显示器移动到所述至少一个透明显示器。

17.根据权利要求9所述的头部可佩戴装置，进一步包括头部跟踪系统，其在所述头部可佩戴装置中或所述头部可佩戴装置上实施， 所述头部跟踪系统与所述至少一个处理器通信耦合，所述头部跟踪系统被配置用以：

确定所述头部可佩戴装置佩戴用户的头部相对于环境的位置和方向；和

输出与所述确定的头部可佩戴装置用户的头部相对于环境的位置和方向相关的位置和方向数据；

其中，所述图像数据与所述确定的头部可佩戴装置用户的头部相对于环境的位置和方向对准的图像相关。

18.根据权利要求17所述的头部可佩戴装置，进一步包括用户输入系统， 所述用户输入系统包括眼睛跟踪系统或语音识别系统中至少一个，所述用户输入系统与所述至少一个处理器通信耦合，所述用户输入系统被配置用以：

检测所述头部可佩戴装置用户的用户输入；和

输出用户输入数据；

其中，所述图像包括至少一个用户可选择的描述，其中，所述至少一个处理器进一步被配置用以：

接收来自所述用户输入系统的所述用户输入数据，其中，所述用户输入数据包括与一选择的所述至少一个用户可选择的描述中的用户可选择的描述相关的用户选择数据；和

更新与所述图像相关的所述图像数据流，使所述图像进一步包含与所述选择的用户可选择的描述相关的信息的描述。

19.一种方法，包括：

通过在头部可佩戴装置中或头部可佩戴装置上实施的至少一个透明显示器，将第一内容显示给所述头部可佩戴装置的用户；和

通过在所述头部可佩戴装置中或所述头部可佩戴装置上实施的至少一个非透明显示器，将第二内容显示给所述头部可佩戴装置的所述用户，其中，所述至少一个非透明显示器中的每一个至少部分通过所述至少一个透明显示器中的一个可看到。

20.一种系统，包括：

一计算设备，所述计算设备包括一处理器；和

与所述计算设备通信耦合的一头部可佩戴装置，所述头部可佩戴装置包括：

至少一个透明显示器，其在所述头部可佩戴装置中或头部可佩戴装置上实施，所述至少一个透明显示器被配置用以将第一内容呈现给所述头部可佩戴装置的用户；和

至少一个非透明显示器，其在所述头部可佩戴装置中或头部可佩戴装置上实施，所述至少一个非透明显示器被配置用以将第二内容呈现给所述头部可佩戴装置的用户；其中，所述至少一个非透明显示器中的每一个至少部分通过所述至少一个透明显示器中的一个可看到。