CN110119196B - 头部可佩戴装置、系统和方法 - Google Patents

头部可佩戴装置、系统和方法 Download PDF

Info

Publication number
CN110119196B
CN110119196B CN201810959346.2A CN201810959346A CN110119196B CN 110119196 B CN110119196 B CN 110119196B CN 201810959346 A CN201810959346 A CN 201810959346A CN 110119196 B CN110119196 B CN 110119196B
Authority
CN
China
Prior art keywords
head
wearable device
user
image
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810959346.2A
Other languages
English (en)
Other versions
CN110119196A (zh
Inventor
艾米丽·M·弗莱厄蒂-伍兹
杰弗里·A·夏皮罗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockwell Collins Inc
Original Assignee
Rockwell Collins Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockwell Collins Inc filed Critical Rockwell Collins Inc
Publication of CN110119196A publication Critical patent/CN110119196A/zh
Application granted granted Critical
Publication of CN110119196B publication Critical patent/CN110119196B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Abstract

本发明涉及一种头部可佩戴装置、方法及系统。公开了头部可佩戴装置，包括：一显示器、一头部跟踪系统、一用户输入系统和一处理器。处理器可以被配置用以：将图像数据流输出到所述显示器以展示给用户，图像数据与所确定的头部可佩戴装置用户的头部相对于环境的位置和方向对准的图像相关，图像包括一个协同资产的一个用户可选择的描述；处理器进一步被配置用以：接收来自所述用户输入系统的所述用户输入数据，其中，所述用户输入数据包括与一所述选择的所述一个协同资产中的协同资产相关的用户选择数据；处理器进一步被配置用以：更新与所述图像相关的所述图像数据流，使所述图像进一步包含与所述选择的协同资产相关的信息描述。

Description

头部可佩戴装置、系统和方法
技术领域
本发明涉及虚拟现实技术领域，尤其涉及头部可佩戴装置、系统和方法。
背景技术
下一代战斗机将在高度复杂和动态的战场上运行，这增加了对人类操作员和/或飞行员的需求。造成未来战场复杂性的一个因素是人工无人编组(MUM-T)操作。MUM-T操作描述了一个场景，其中载人操作员(如，在机载平台或地面上)控制一个或多个无人驾驶平台(如，无人驾驶运载工具)。
传统的航空电子接口和接口控制方法对于管理和促进MUM-T操作都不令人满意的。目前，飞行员在战场中无法有效地控制自己的船舶和多个自主无人驾驶航空系统(UAS)资产。
航空操作员(如，陆地操作员和空中飞行员)由于操作员角色的高要求，目前任务饱和。操作员必须管理多个传感器信息馈送和运载工具接口来执行任务职责。MUM-T要求操作员除了执行现有任务之外还承担新角色。目前，操作员缺乏直观的界面，这将使操作员能够管理新的职责，而不会显著增加工作量。
许多现有的引导飞行器界面要求飞行员在长时间段内执行低头数据输入。这样的低头数据输入会将飞行员的注意力从观察和管理战场环境集中到驾驶舱内。操作者目前缺乏提高情景意识管理和MU-T业务中的协同资产的方法。
现有的头部可佩戴装置不提供直观的接口方法来与装置上可视化的任何虚拟内容相接合。现有的头部可佩戴装置缺乏相互作用和控制方法来选择、操作、和提供对头部可佩戴装置上的计算机生成内容的输入。
发明内容
在一个方面，本文公开的发明构思的实施例针对的是一种头部可佩戴装置。头部可佩戴装置包括一显示器、一头部跟踪系统、一用户输入系统和与显示器、头部跟踪系统和用户输入系统通信耦合的一处理器。显示器可以在头部可佩戴装置中或头部可佩戴装置上实施，显示器可以被配置用以将图像显示给头部可佩戴装置的用户。头部跟踪系统可以在头部可佩戴装置中或头部可佩戴装置上实施，头部跟踪系统可以被配置用以：确定头部可佩戴装置佩戴用户的头部相对于环境的位置和方向。和输出与所确定的头部可佩戴装置用户的头部相对于环境的位置和方向相关的位置和方向数据。用户输入系统可以包括一眼睛跟踪系统或一语音识别系统中至少一个，用户输入系统可以被配置用以：检测头部可佩戴装置用户的用户输入和输出用户输入数据。处理器可以被配置用以：将图像数据流输出到显示器以展示给用户，图像数据与所确定的头部可佩戴装置用户的头部相对于环境的位置和方向对准的图像相关，图像包括至少一个协同资产的至少一个用户可选择的描述。处理器可以进一步被配置用以：接收来自用户输入系统的用户输入数据，其中，用户输入数据包括与一所述选择的至少一个协同资产中的协同资产相关的用户选择数据。处理器可以进一步被配置用以：更新与图像相关的图像数据流，使图像进一步包含与所述选择的协同资产相关的信息描述。
在另一方面，本文公开的发明构思的实施例针对的是一种方法，该方法包括：通过至少一个头部可佩戴装置的处理器，将图像数据流输出到头部可佩戴装置的一显示器以显示给头部可佩戴装置的用户，图像数据与所确定的头部可佩戴装置用户的头部相对于环境的位置和方向对准的图像相关，所述图像包括至少一个协同资产的至少一个用户可选择的描述。该方法进一步包括：通过至少一个头部可佩戴装置的处理器，接收来自一用户输入系统的用户输入数据，其中，用户输入数据包括与一所述选择的至少一个协同资产中的协同资产相关的用户选择数据。该方法进一步包括：通过至少一个头部可佩戴装置的处理器，更新与图像相关的图像数据流，使图像进一步包含与所述选择的协同资产相关的信息描述。
在另一方面，本文公开的发明构思的实施例针对的是一种系统，该系统包括一计算设备和一头部可佩戴装置。计算设备可以包括一处理器和处理器可以被配置用以输出数据。计算设备可以与头部可佩戴装置通信耦合。头部可佩戴装置可以包括：一显示器、一头部跟踪系统、一用户输入系统和与显示器、头部跟踪系统和用户输入系统通信耦合的一处理器。显示器可以在头部可佩戴装置中或头部可佩戴装置上实施，显示器可以被配置用以将图像显示给头部可佩戴装置的用户。头部跟踪系统可以在头部可佩戴装置中或头部可佩戴装置上实施，头部跟踪系统可以被配置用以：确定头部可佩戴装置佩戴用户的头部相对于环境的位置和方向；和输出与所确定的头部可佩戴装置用户的头部相对于环境的位置和方向相关的位置和方向数据。用户输入系统可以包括至少一眼睛跟踪系统或一语音识别系统。用户输入系统可以被配置用以：检测头部可佩戴装置用户的用户输入；和输出用户输入数据。处理器可以被配置用以：将图像数据流输出到显示器以展示给用户，图像数据与所确定的头部可佩戴装置用户的头部相对于环境的位置和方向对准的图像相关，图像包括至少一个协同资产的至少一个用户可选择的描述。处理器可以进一步被配置用以：接收来自用户输入系统的用户输入数据，其中，用户输入数据包括与一所述选择的至少一个协同资产中的协同资产相关的用户选择数据。处理器可以进一步被配置用以：更新与图像相关的图像数据流，使图像进一步包含与所述选择的协同资产相关的信息描述。
附图说明
当考虑下面的实施方式的详细描述时，可以更好地理解此处公开的发明构思的技术方案。所述的详细描述可以参考附图，但为了清晰起见，附图不一定按比例绘制，其中一些特征可能被夸大，一些特征可能被省略，一些特征可能按照图式来表示。附图中相同的附图标记可以表示和指代相同或相似的元件、特征或功能。其中：
图1是本发明实施例所述的一种系统的示意图；
图2是本发明实施例所述的图1所示飞行器的输入/输出设备的示意图；
图3是本发明实施例所述的图1所示飞行器的飞行器传感器的示意图；
图4是本发明实施例所述的图1所示飞行器的头部可佩戴装置的示意图；
图5是本发明实施例所述的图4所示头部可佩戴装置的眼睛跟踪系统的示意图；
图6是本发明实施例所述的图4所示头部可佩戴装置的头部跟踪系统的示意图；
图7是本发明实施例所述的图4所示头部可佩戴装置的语音识别系统的示意图；
图8是本发明实施例所述的图1所示飞行器装置通过数据网络交换机通信耦合的示意图；
图9是本发明实施例所述的在图1所示飞行员佩戴头部可佩戴装置在飞行器驾驶舱中的示意图；
图10是本发明实施例所述的在图1所示控制站126的具有集成HDD的计算设备的示意图；
图11是本发明实施例所述的通过图1所示头部可佩戴装置的显示器显示的图像示意图；
图12是本发明实施例所述的通过图1所示头部可佩戴装置的显示器显示的图像示意图；
图13是本发明实施例所述的通过图1所示头部可佩戴装置的显示器显示的图像示意图；
图14是本发明实施例所述的通过图1所示头部可佩戴装置的显示器显示的图像示意图；
图15是本发明实施例所述的通过图1所示头部可佩戴装置的显示器显示的图像示意图；
图16是本发明实施例所述的通过图1所示头部可佩戴装置的显示器显示的图像示意图；
图17是本发明实施例所述的通过图1所示头部可佩戴装置的显示器显示的图像示意图；
图18是本发明实施例所述的通过图1所示头部可佩戴装置的显示器显示的图像示意图；
图19是本发明实施例所述的一种方法的示意图。
具体实施方式
在详细解释此处公开的发明构思的至少一个实施例之前，应当理解，本发明构思不限于在下面的描述中或附图说明中所提到的应用、实施细节、所提出的部件或步骤或方法的安排。在以下对此处发明构思实施例的详细描述中，阐述了许多具体细节以便更透彻的理解此发明构思。然而，显而易见地，对受益于此处公开的发明构思的本领域的普通技术人员，可以在没有这些具体细节的情况下实践此处所公开的发明构思。在其它情况下，不再详细描述已知特征以避免使本公开复杂化。此处公开的发明概念还可以有其它实施例或者用其它方式去实践或执行。此外，应当理解，此处使用的措辞和术语是为了描述实施例，而不应该被认为是对实施例的限制。
本文所使用的位于附图标记之后的字母是为了指代实施例中相似的特征或元件，所述相似的特征或元件可以类似但不一定与先前描述的具有相同附图标记(例如，1a，1b)的元件或特征完全相同。使用这样的简化符号仅仅是为了方便，并不应被理解为以任何方式限制此处公开的发明构思，除非另有明文规定。
此外，除非另有明文规定，“或”是指包括性或而不是排它性或。例如，条件A或B由以下任一项满足：A为真(或存在)和B为假(或不存在)，A为假(或不存在)和B为真(或存在)，以及A和B都是真(或存在)。
此外，使用“一”来描述本发明构思实施例中的元件和组件。仅仅是因为这样既方便，又能给出本发明构思的一般意义；“一”意味着包括一个或至少一个，而且单个也包括复数，除非明显意味着其它方面。
最后，如此处所使用的对“一个实施例”或“一些实施例”的任何引用意味着结合该实施例描述的特定元件、特征、结构或特性包括在此处公开的发明构思的至少一个实施例中。在说明书中多个地方出现的短语“在一些实施例中”不一定都指同一个实施例，并且此处公开的发明构思的实施例可以包括本发明清晰描述的或固有的一个或多个特征，还包括两个或多个上述特征组成的子组合的组合，以及本发明没有进行清晰描述的或非固有的任何其它特征。
概括地说，本文公开的发明构思的实施例针对的是一种方法、系统和头部可佩戴装置，其中头部可佩戴装置包括处理器、显示器、头部跟踪系统和用户输入系统(如，眼睛跟踪系统和/或语音识别系统)。头部可佩戴装置可以为用户(如，在陆地或空中的操作员)提供增强的战场管理能力和直观的界面来指挥和管理MUM-T操作。处理器可以被配置用以生成图形图像(如，符号、文本和/或描述)，例如，图形图像可以表示协同资产和战场特征。这样生成的图形图像可以与确定的用户的头部相对于环境或环境特征的位置和方向对应，并输出到显示器以呈现给用户。资产可以指运载工具(载人运载工具和/或无人驾驶运载工具；如，飞行器(如，载人飞行器和/或无人驾驶航空系统(UASs))，航天器，地面车辆(如，汽车和/或坦克)，船舶和/或潜水艇)，士兵，军事设施和/或基地；同样的，协同资产可以指友好资产。例如，战场特征可以包括传感器范围、武器范围、目标信息、着陆区域、和/或威胁区域。此外，眼睛跟踪系统和/或语音识别系统与头部可佩戴装置的结合允许新的用户交互能力，比如管理战场内的协同资产。头部可佩戴装置可以被实现为虚拟现实头部可佩戴装置和/或增强现实头部可佩戴装置。例如，头部可佩戴装置可以为飞行员和/或陆地操作员提供增强战区管理的手段和指挥和管理MUM-T操作的直观界面。头部可佩戴装置可以帮助操作员管理复杂的威胁环境和密集的联合力操作。头部可佩戴装置可以使载人操作员在没有显著增加工作量的情况下管理MUM-T操作。头部可佩戴装置可以为增强战场态势感知提供抬头、注视的手段，并可以为操作员提供指导、可视化和管理MUM-T操作的解决方案。
一些实施例可以包括使用增强现实或虚拟现实符号来表示友好的、敌对的、中立的或未知的战场实体的位置。例如，头部可佩戴装置的处理器可以生成符号并将符号输出到显示器，符号在战场环境中显示并叠加在真实实体的位置上。此外，在头部可佩戴装置的显示器上可以呈现附加的立体和透视符号，以说明实体的传感器范围、武器范围、目标信息、着陆区域、威胁区域和其他战场特征。进一步地，与资产状态、任务和能力相关的虚拟内容，如MUM-T菜单，可由处理器生成，并基于任务情景由显示器显示。一些实施例可以包括人机界面(HMI)和警报模式，以引导飞行员对威胁和其他资产的看法，其中威胁和其他资产是在飞行员视场之外的。这种警报模式可以警告飞行员需要立即行动的高优先级威胁或高优先级信息。HMI与预警模式可以直接引导飞行员朝着资产和/或威胁的方向前进，或者在飞行员当前的视场范围内显示关键信息。此外，头部可佩戴装置可以被配置用以显示传感器和从其他协同资产传输的目标信息(如，来自合作的UASs)。进一步地，头部可佩戴装置和低头显示器(HDD)可以同步通信耦合，这样飞行员通过使用头部可佩戴装置和/或低头显示器(HDD)能够选择一个协同资产和一个格式将显示在该资产附近，例如，呈现传感器馈送、目标信息、视频流、图像、语音或来自选定的协同资产的其他数据。在一些实施例中，飞行员可以选择一个威胁区域或特定敌对资产和一个格式将显示在选定的威胁区域或特定敌对资产附近来显示在选定的威胁区域或特定敌对资产的情报信息收集，这些情报信息可以传播和提供各种合作的任何资产。
在一些实施例中，头部可佩戴装置可用于在未分类环境(如，有没有被授权观看分类信息的人的房间或有未分类船员的驾驶舱或飞行器上)中向头部可佩戴装置的佩戴用户显示分类内容，使得只有佩戴用户可以查看头部可佩戴装置上的分类内容，而其他人在户外环境中只能看到未分类或不太分类的信息，其他人是指可能缺少必要的分类清除级别，靠近佩戴用户的人。例如，一些MUM-T操作和数据链接将涉及分类信息；然而，并非所有涉及MUM-T操作的平台都可能被授权处理分类信息。如，头部可佩戴装置可以被实现为安全的设备，其被证明存储和显示分类信息，使得只有佩戴该装置的被清除的操作员将看到分类的内容，并且能够将头部可佩戴装置带到其他平台以在未分类环境中工作。头部可佩戴装置可以用来显示在战场中的分类内容，在HDD上覆盖虚拟内容，或者显示虚拟显示和/或分类内容的格式。例如，头部可佩戴装置可以限制对要分类的整个平台的需求，或者对整个飞行机组进行清理以处理分类内容的需要。
参照图1，根据本文公开的发明构思，实施例的系统100包括至少一个飞行器102、控制站126、人造卫星132、全球定位系统(GPS)卫星134、网络126、网络运营中心(NOC)138和UASs 142。一些或全部飞行器102、控制站126、人造卫星132、全球定位系统(GPS)卫星134、网络126、网络运营中心(NOC)138和UASs 142可以在任何给定时间通信耦合。
飞行器102包括至少一个通信系统104、多个计算设备112(也可以称为飞行器计算设备、直升机计算设备或可能合适的运输工具计算设备)、GPS设备120、飞行器传感器122、输入/输出设备124和至少一个头部可佩戴装置140，以及通常包括在飞行器中的其他系统、装置和设备。通信系统104、计算设备112、GPS设备120、飞行器传感器122、输入/输出设备124、头部可佩戴装置140，以及任何通常包括在飞行器中的其他系统、装置和设备，这些部分或全部可以是通信耦合的。尽管没有显示出来，但在一些实施例中，飞行器102可以任选地包括NOC或包括组件(如，至少一个计算设备112和/或通信系统104)被配置用以执行类似于NOC 138的功能。飞行器102可以被实现为任何合适飞行器，如直升机或飞机。飞行器102可以是一种载人飞行器。虽然本文公开的发明构思，系统100示例显示了包括飞行器102，但在一些实施例中，飞行器102可以被实现在任何合适的运输工具(如，汽车、拖车、潜水艇、船舶或航天器)或在任何合适的环境。
通信系统104包括一个或多个天线106(如，所示的两个天线106)、处理器108和内存110，这些都是通信耦合的。通信系统104(如，通过一个或多个天线106)被配置用以发送和/或接收信号、数据、信息和/或语音传输到和/或从控制站126、其他运输工具(如，USAs142)、人造卫星132、NOC138和其组合，还有其他任何合适的设备、装置或系统。那就是，通信系统104被配置用以和其他任何合适的通信系统交换(如，双向交换)信号、数据、信息和/或语音传输，其中其他任何合适的通信系统可以类似地实现并且类似于通信系统104的功能。此外，例如，通信系统104被配置用以交换、发送和/或接收(如，通过无线网络、电缆连接和/或有线连接或其组合)信号、数据、信息和/或语音传输到和/或从任何合适的机载设备。
通信系统104可以包括至少一个处理器108，处理器108被配置用以运行或执行各种软件应用程序、计算机代码和/或指令(例如，维护)，这些软件应用程序、计算机代码和/或指令存储在至少一个非瞬态计算机可读介质(如，至少一种计算机可读的介质实现为硬件；如，至少一种非瞬态处理器可读的介质，至少一个内存110(如，至少一个非易失存储器，至少一个易失存储器，或其组合；如，至少一个随机存取存储器，至少一个闪存，至少一个只读内存存储器(ROM)(如，至少一个带电可擦可编程只读存储器((EEPROM))，至少一个处理器内存(如，至少一个处理器缓存，至少一个处理器缓冲，至少一个处理器闪存，至少一个处理器带电可擦可编程只读存储器，或其组合)，或其组合，至少一个储存设备(如，至少一个硬盘驱动器、至少一个磁带驱动器、至少一个固态驱动器、至少一个闪存驱动器、至少一个可读磁盘和/或可写磁盘，所述至少一个光驱动器被配置用以从至少一个可读和/或可写磁盘读取和/或写入，或其结合)，或其结合。)中。至少一个计算机可读介质中的部分或全部可以是通信耦合。例如，处理器108可以被配置用以接收来自计算设备112和/或头部可佩戴装置140的数据，并执行配置成使天线106的特定天线将数据作为信号发送到UASs 142和/或系统100的另一通信系统(如，128)的指令。同样地，例如，处理器108可以被配置用以将由天线106的特定天线作为信号接收的数据路由到计算设备112和头部可佩戴装置140中的一个或多个。在一些实施例中，处理器108可以被实现为一个或多个射频(RF)处理器。
每个天线106可以实现为或包括任何合适的天线或天线装置。例如，天线106可以实现为或包括至少一个电子扫描阵列(ESA)(如，至少一个有源ESA(AESA))、至少一个无线电(如，至少一个软件定义无线电(SDR))、至少一个发射机、至少一个接收机、至少一个收发器或其组合。
虽然通信系统104示例为具有两个天线106、一个处理器108和存储器110，但是通信系统104可以包括任何合适数量的天线106、处理器108和存储器110。进一步地，通信系统104可以包括其他组件，例如存储设备(如，固态驱动器或硬盘驱动器)、无线电调谐器和控制器。
飞行器102的每个计算设备112可以包括至少一个处理器114、内存116和存储设备118，以及通常包括在计算设备中的其他组件、装置和/或设备，以上所有这些组件可以彼此通信耦合。每个计算设备112可以被配置用以将数据彼此路由到头部可佩戴装置140和/或通信系统104，以传输到场外目的地(例如，人造卫星132、NOC 138、控制站126和/或UASs142)。同样地，每个计算设备112可以被配置用以从另一个计算设备112接收数据，也可以头部可佩戴装置140和/或从场外源发送的通信系统104(如，人造卫星132、NOC 138、控制站126)接收数据。计算设备112可以包括或可以被实现为和/或被配置用以执行任何合适的飞行器系统的功能，如发动机指示和机组报警系统(EICAS)计算设备(如，112-2)、飞行管理系统(FMS)计算设备(如，112-3)、综合飞行信息系统(IFIS)计算设备(如，112-4)、信息管理系统(IMS)计算设备(如，112-5)、机载维护系统(OMS)计算设备(如，112-6)和地形感知告警系统(TAWS)计算设备(如，112-7)。(参见，如，图8)。处理器114可以被配置用以运行各种应用程序或计算机代码(如，维护)，这些应用程序或计算机代码存储在非瞬态计算机可读介质(如，内存116或储存设备118)中，和被配置为执行各种指令或操作。此外，例如，计算设备112或处理器114可以实现为特殊用途的计算机或特殊用途的处理器，特殊用途的计算机或特殊用途的处理器被配置(如，程序编入)用以执行整个公开的任何或所有操作的指令。在一些实施例中，飞行器102可以包括任意合适数量的计算设备112。
在一些实施例中，计算设备112中一个可以被配置用以接收来自头部可佩戴装置140的位置和方向数据(如，位置和方向数据流)，其中位置和方向数据表示用户头部的位置和方向。例如，计算设备112可以被配置用以接收来自头部可佩戴装置140的头部跟踪系统408的位置和方向数据，至少基于位置和方向数据，处理器114可能被配置用以生成与头部可佩戴装置102的佩戴者的视场相对应的虚拟图像(如，虚拟场景图像)。处理器可以被配置为将虚拟图像作为虚拟图像数据输出到头部可佩戴装置140。处理器114可以被配置用以生成虚拟图像流和将虚拟图像流作为虚拟图像流数据输出到头部可佩戴装置140。
GPS设备120接收来自GPS卫星134的位置数据，并且可以将运输工具位置数据(如，飞行器位置数据)提供给飞行器102的各种装置/系统(如，通信系统104、计算设备112、飞机器传感器122、输入/输出设备124和头部可佩戴装置140)。GPS设备120可以包括GPS接收机和处理器。例如，GPS设备120可以从飞行器102接收或计算足够数量(如，至少四个)的GPS卫星134的位置数据，从而可以计算GPS解。在一些实施例中，GPS设备120可以作为计算设备112、通信系统104、飞行器传感器122的导航传感器和/或输入/输出设备124中的一部分或作为一部分实现。GPS设备120可以被配置用以将位置数据提供给任何运输工具的各种装置/系统。例如，GPS设备120可以将位置数据提供给通信系统104、计算设备112、输入/输出设备124和头部可佩戴装置140。进一步地，虽然如图1所示的GPS设备120在飞行器102中实现，但在其他实施例中，GPS设备120可以被实现在任何种类的运输工具上，如，汽车、拖车、潜水艇、船舶或航天器。
虽然飞行器102的通信系统104、计算设备112、GPS设备120、飞行器传感器122、输入/输出设备124和头部可佩戴装置140已经被示例描述为作为单独的设备或系统实现，但在一些实施例中，通信系统104、计算设备112、GPS设备120、飞行器传感器122和/或输入/输出设备124可以被实现为作为一个单独的集成系统或设备，或作为任意数量的集成和/或部分集成的系统和/或设备。
控制站126可以包括至少一个通信系统128、至少一个计算设备130、至少一个头部可佩戴装置144和输入/输出设备146，在控制站还包括通常的其他系统、装置和设备。通信系统128、计算设备130、头部可佩戴装置144、输入/输出设备146和控制站包括的通常的其他系统、装置和设备中的一些或全部可以是通信耦合的。控制站126可以被实现为固定位置地面控制站(如，空中交通管制塔的地面控制站，或位于地面上的网络操作中心(如，138))的地面控制站。在一些实施例中，控制站126可以被实现为移动地面控制站(如，在非空中运输工具(如，汽车或船舶)或拖车上实现的地面控制站)。在一些实施例中，控制站126可以被实现为在空中飞行器(如，飞行器)上实现的空中控制站。控制站126可以包括NOC或通信耦合到NOC 138(如，通过网络136)。例如，位于控制站126的操作员可以佩戴头部可穿戴装置144并能够引导、可视化和控制MUM-T操作。
控制站126的通信系统128及其组件(如，天线106)可以被实现类似于通信系统104的作用，除了在一些实施例中，通信系统128可以被配置用以在固定位置操作。控制站126的计算设备130及其组件(如，处理器(未示出)和存储器(未示出))可以被实现类似于计算设备112的作用。头部可佩戴装置144可以被实现类似于头部可佩戴装置140的作用，除了在一些实施例中，头部可佩戴装置140可以被配置用以在固定位置操作。输入/输出设备146可以被实现类似于输入/输出设备124的作用，除了在一些实施例中，输入/输出设备146可以被配置用以在固定位置操作。
虽然天线106被示例性地描述为在飞行器102和控制站126中实现，但是在一些实施例中，天线106可以被实现在、或耦合到任何其它合适的设备、装置或系统，如UASs 142，计算设备(如，笔记本电脑计算设备、移动计算设备，可佩戴计算设备，或智能手机)，移动通信系统(如，便携式通信系统)，或人造卫星132。
网络136可以被实现为任何合适的网络或网络的组合。例如，网络136可以包括或被实现为因特网、因特网的一部分(如，安全光纤网络)、内联网、广域网(WAN)、局域网(LAN)和/或移动电信网络(如，第三代(3G)网络或第四代(4G)网络))。虽然系统100被例示为包括网络136，但是系统100或系统100的各种组件可以包括或通过任何合适的数量和任何合适类型的网络通信耦合。
NOC138可以将特定类型的通信(例如，人造卫星132之间卫星通信和/或飞行器与飞行器102和/或UASs 142通信)连接到网络136。
UASs 142可以被实现类似于飞行器102的作用，除此之外，UASs可以被配置用以无人操作。
虽然图1示例包括了如下的组件，但在一些实施例中，可以省略系统100的一个或多个组件，或者系统100可能包含其他组件。例如，可选择GPS卫星134、人造卫星132、控制站126、网络136、NOC138或UASs142中的一个或多个。此外，虽然一示例中描述了包括一个控制站(如，控制站126)，但其他示例中可以包括在系统100中任何位置或移动的任何类型的任意数量的控制站。
参考图2，图1中飞行器102的输入/输出设备124可以包括一个或多个显示器(如，至少一个平视显示器(HUD)、至少一个HDD、至少一个自适应飞行显示器(AFD)或其组合)、至少一个眼睛跟踪系统206、扬声器216、飞行控制器218、至少一个键盘220、至少一个麦克风222、至少一个语音识别系统224或其组合，这些的部分或全部可以在任何给定的时间通信耦合。虽然图2描述了各种示例性输入/输出设备124，但输入/输出设备124可以包括任何合适的输入/输出设备。
例如，输入/输出设备124的显示器可以包括两个HUDs 202-1、202-2(可以统称为HUDs 202)和4个HDDs204-1、204-2、204-3、204-4(可以统称为HDDs 204)。每个HUDs 202和HDDs 204可以被配置用以将图像流(如，作为视频或静止图像)展示给用户(飞行员或操作员)。在一些实施例中，HUDs 202和/或HDDs 204可以被实现为或包括一触摸屏显示器。在一些实施例中，一个或多个HUDs 202和HDDs 204可以包括一个集成计算设备(可以被实现和与图1中一计算设备112功能类似)和/或集成计算设备组件(可以被实现和与图1中一计算设备112的组件功能类似)。每个HUDs 202和HDDs 204可以与图1中的计算设备112、通信系统104、GPS设备120、头部可佩戴装置140、输入/输出设备124和/或飞行器传感器122中的一个或多个通信耦合。
眼睛跟踪系统206可以被配置用以跟踪眼睛的姿态、跟踪用户的眼球运动、追踪用户的目光和/或另外从用户的眼睛接收输入。眼睛跟踪系统206可以被配置用以实时执行全自动的用户眼睛跟踪操作。眼睛跟踪系统206可以包括至少一个传感器208、至少一个处理器210、内存212和存储设备214，以及通常包含在眼睛跟踪系统中的其他组件、装置和/或设备。传感器208、处理器210、内存212和存储设备214、以及通常包含在眼睛跟踪系统206中的其他组件、装置和/或设备可以是通信耦合的。
每个传感器208可以被实现为适用于眼睛跟踪系统的各种传感器。例如，至少一个传感器208可以包括或被实现为一个或多个光学传感器(如，至少一个摄像机，其被配置用以捕获可见光光谱和/或红外光谱中的图像)。在一些实施例中，至少一个传感器208是一个或多个专用眼睛跟踪系统传感器。虽然传感器208已被示例为被包括在眼睛跟踪系统206中，但在一些实施例中，传感器208可以被实现在眼睛跟踪系统206的外部。例如，传感器208可以被实现为位于飞行器102内的光学传感器(如，飞行器传感器122的光学传感器316)，并通信耦合到处理器210。
处理器210可以被配置用以处理从传感器208接收的数据和将处理的数据输出到一个或多个机载设备或机载系统(如，通信系统104、计算设备112、飞行器传感器122、头部可佩戴装置140、输入/输出设备124或其组合)。例如，处理器210可以被配置用以生成眼睛跟踪数据，和将生成的眼睛跟踪数据输出到计算设备112和/或头部可佩带装置140中的一个。眼睛跟踪系统206的处理器210可以被配置用以运行各种软件应用程序或计算机代码，这些程序或计算机代码存储(如，维护)在非瞬态计算机可读介质中(如，内存212和/或存储设备214)，和被配置用以执行各种指令或操作。处理器210可以被实现为特殊用途的处理器，该处理器被配置为执行整个公开的任何或所有操作的指令。
语音识别系统224可以被实现为类似于图中4和7所示和描述的语音识别系统418的作用。
在一些实施例中，部分或全部输入/输出设备124可以包括集成计算设备(可以被实现和类似于图1的一个计算设备112中的功能)和/或集成计算设备组件(可以被实现和类似于图1的一个计算设备112中的组件的功能)。
参照图3，示出了图1的飞行器传感器122。每个飞行器传感器122可被配置用以感测飞行器102或飞行器102外部的特定条件，并将与特定感测条件相关联的数据输出到一个或多个机载设备或机载系统(如，通信系统104、计算设备112、飞行器传感器122、头部可佩戴装置140、输入/输出设备124或其组合)。例如，飞行器传感器122可以包括惯性测量单元302、无线电测高计304、雷达(如，气象雷达306、监视雷达和或武器雷达)、空速传感器308、飞行动态传感器310(如，配置用以感测俯仰、滚转和/或偏航)、空气温度传感器312、气压传感器314、光学传感器316(如，摄像机，其被配置为捕捉可见光光谱和/或红外光谱中的图像，如前视红外(FLIR)摄像机和/或短波长波红外(SWIR)摄像机、声波测距传感器(未示出)、监视传感器318，设备传感器320(如，电气系统传感器、液压系统传感器、放气传感器、环境条件传感器、燃料传感器和/或火灾警告/抑制传感器)和/或发动机速度传感器322，其中的一些或全部可以在任何给定的时间通信耦合。此外，GPS设备120可以被视为飞行器传感器122之一。
例如，至少一些飞行器传感器122可以被实现为导航传感器(如，GPS设备、惯性测量单元302、无线电测高计304、气象雷达306、空速传感器308、飞行动态传感器310、空气温度传感器312和/或气压传感器314)其被配置为感测飞行器通常使用的各种飞行条件或飞行器条件并输出导航数据(如，飞行器位置数据、飞行器定位数据、飞行器方向数据、飞行器速度数据和/或飞行器加速度数据)。例如，各种飞行条件或飞行器条件可包括高度、飞行器位置(如，相对于地球)、飞行器方向(如，相对于地球)、飞行器速度、飞行器加速度、飞行器轨迹、飞行器俯仰、飞机侧倾、飞行器偏航、空气温度和/或空气压力。例如，GPS设备120和惯性测量单元302可以为处理器(如，GPS设备120的处理器、处理器114、处理器114-1、处理器108、处理器210、处理器402或其组合)提供飞行器位置数据和飞行器方向数据。
在一些实施例中，部分或全部飞行器传感器122可以包括集成计算设备(可以被实现和类似于图1的一个计算设备112中的功能)和/或集成计算设备组件(可以被实现和类似于图1的一个计算设备112中的组件的功能)。
进一步地，虽然飞行器传感器122背时现在飞行器102，但在一些实施例中，本文公开的发明构思，可以包括实现在任何合适的运输工具的运输工具传感器。
参照图4-7，描述了根据本文公开的发明构思的头部可佩戴装置140的实施例。头部可佩戴装置140可以被实现为增强现实头部可佩戴装置或虚拟现实头部可佩戴装置。头部可佩戴装置140可以被实现为遮挡或透射式头部可佩戴装置。头部可佩戴装置140可以被配置用以接收来自计算设备112的图像数据(如，增强现实图像数据或虚拟现实图像数据)。例如。头部可佩戴装置140可以被配置用以通过将虚拟图像与真实图像(如，真实场景图像)混合或覆盖，以创建三维身临其境的场景图像呈现给头部可佩戴装置140的佩戴者，为头部可佩戴装置140的佩戴者提供增强现实体验。此外，例如，头部可佩戴装置140可以被配置用以通过将虚拟图像(如，符号、文本和/或描述)与综合环境混合或覆盖，为头部可佩戴装置140的佩戴者提供虚拟现实体验。
头部可佩戴装置140可以被配置用以将增强现实场景图像或虚拟现实图像呈现给头部可佩戴装置140的佩戴者。头部可佩戴装置140可以包括至少一个处理器402、至少一个内存404、至少一个存储设备406、一头部跟踪系统408、一用户输入系统(如，一眼睛跟踪系统408和/或一语音识别系统418)、至少一个显示器412、至少一个扬声器414、至少一个摄像机416和至少一个生物识别传感器420，其中部分或所有可以是通信耦合的。
处理器402可以被实现为任何合适的处理器，例如通用处理器、图像处理器和/或现场可编程门阵列(FPGA)。处理器402可以被配置用以接收来自计算设备112的数据(如，与图像(如，资产和战场特征)相关联的图像数据，以覆盖在用户的视场上或覆盖在环境的虚拟图像和/或与环境的虚拟图像相关联的虚拟图像数据上)。这样的接收数据可以与用户头部相对于环境确定的位置和确定的方向对准。处理器402被配置用以生成图形图像(如，符号、文本和/或描述)，例如，图形图像可以表示协同资产和战场特征。这样生成的图形图像可以与用户头部相对于环境确定的位置和确定的方向对准。处理器402被配置用以将图形图像输出到显示器412以展示给用户。在一些实施例中，图形图像是增强现实图形图像，在头部可佩戴装置140的透视显示器上增强用户的真实世界视图。在一些实施例中，图形图像叠加在虚拟图像上，以为佩戴遮挡式头部可佩戴设备的用户提供增强的虚拟现实体验。例如，头部可佩戴装置140的处理器402可以生成符号，并将符号输出到显示器412，其中符号被显示并覆盖在战场环境中的真实实体的位置上。例如，符号可以表示友好的、敌对的、中立的或未知的战场实体的位置。此外，符号说明实体的传感器和武器范围、目标信息、着陆区域、威胁区域和其他战场特征。进一步地，处理器402可以生成虚拟内容，例如与资产状态、任务和能力相关的MUM-T菜单，并基于任务内容将这样的虚拟内容输出到显示器412。在一些实施例中，处理器402可以生成警报模式(如，在显示器412的边缘附近的闪烁箭头)，以将飞行员的视图引导到威胁和其他资产之外，这些威胁和其他资产是飞行员的视野之外的，并且将警报模式输出到显示器412。此外，例如，处理器402可以接收从其他协同资产(如，从合作的UASs 142)发送的传感器和目标信息，生成与传感器和目标信息相关联的图形图像，并将图形图像输出到显示器412。
例如，处理器402可以被配置用以生成和输出图像数据流到显示器412以呈现给用户。图像数据可以与用户头部相对于环境确定的位置和确定的方向对准的图像相关，并且图像可以包括各种资产和战场的任何特征。例如，图像可以包括至少一个无人驾驶运输工具(如，UAS142)的至少一个用户可选择的描述。处理器402可以被配置用以接收来自用户输入系统(如，眼睛跟踪系统408和/或语音识别系统418)的用户输入数据，其中用户输入数据包括与一个选定的无人驾驶运输工具相关的用户选择数据。此外，处理器402可以被配置用以更新与图像相关的图像数据流，这样图像进一步包括与所述选择的无人驾驶运输工具相关的信息描述。例如，与所述选择的无人驾驶运输工具相关的信息描述可以包括由所述选择的无人驾驶运输工具的至少一个传感器捕获的传感器馈送数据的描述。此外，例如，与所述选择的无人驾驶运输工具相关的信息可以包括所选无人驾驶运输工具的状态、任务或能力中的至少一个的信息。
处理器402可以被配置用以从用户输入系统接收用户输入数据。例如，用户输入数据可以包括与各种资产或战场特征的用户选择相关联的用户选择数据。此外，用户输入数据可以包括与各种用户命令相关联的用户命令数据。例如，用户输入数据可以包括与控制选定的无人驾驶运输工具的命令相关联的用户命令数据。
在一些实施例中，处理器402输出到显示器412的图像是与战场图像相关的战场图像数据。例如，战场图像可以包括战场特征和资产的描述。例如，与图像数据相关联的图像可以包括对战场对象的用户可选择的描述，并且处理器402可以接收与战场对象的选定战场对象相关联的用户选择数据。响应于接收用户选择数据，处理器402可以更新与图像相关联的图像数据流，使得图像进一步包括与所选择的战场对象相关联的信息的描述。此外，例如，处理器402可以接收与监视所选战场对象的命令相关联的用户命令数据，并且处理器402可以输出命令来控制特定无人驾驶运输工具来监视所选择的战场对象。此外，例如，处理器402可以接收与攻击所选战场对象的命令相关联的用户命令数据，并且处理器402可以输出命令来控制特定无人驾驶运输工具来攻击所选战场对象。在一些实施例中，每个用户可选择的描述的战场对象包括表示每个战场对象是否被分类为友好的、中立的、敌对的或未知的威胁的图形信息。例如，在所选择的战场对象当前被分类为未知威胁时，处理器402可以接收与命令相关联的用户命令数据以对所选战场对象进行分类，并且处理器402可以输出命令来对所选战场对象进行分类为友好、中立或敌对。
在一些实施例中，处理器402可以生成与分类到预定分类级别的信息的描述相关联的图像数据。例如，处理器402可以被配置用以至少基于从生物识别传感器420获得的生物特征信息来验证头部可佩戴装置140的用户的身份，并且至少基于身份来确定用户的预定分类级别。另外，处理器402可以将图像数据流输出到显示器412，使得图像数据流对应于用户的预定分类级别。
在一些实施例中，处理器402可以被配置用以从摄像机416接收真实图像作为真实图像数据。处理器108可以被配置用以生成图形图像(如，符号、文本和/或描书)，例如，其可以表示协同资产和战场特征，并将图形图像叠加在真实图像数据上以形成组合的图像数据，并且处理器402可以被配置用以将组合图像数据输出到显示器412。
在一些实施例中，至少一个处理器402可以被实现为多个处理器，例如至少一个通用处理器和至少一个图像处理器。处理器402可以被配置用以运行各种软件应用程序或计算机代码，这些程序或计算机代码存储在非瞬态计算机可读介质(如，内存404和/或存储设备406)中，和被配置用以执行各种指令或操作。处理器402可被实现为一种特殊用途的处理器，该处理器被配置为执行整个公开的任何或所有操作的指令。
头部跟踪系统408可以被配置用以确定和跟踪用户头部相对于环境的位置和方向。头部跟踪系统408可以被配置用以实时执行全自动头部跟踪操作。如图6所示，头部跟踪系统408可以包括传感器602、处理器604、内存606和存储器608，以及通常包括在头部跟踪系统中的其他组件、装置和/或设备。传感器602、处理器604、内存606和存储器608以及通常包括在头部跟踪系统中的其他组件、装置和/或设备可以通信耦合。
头部跟踪系统410的处理器604可以被配置用以处理从传感器602接收的数据，并将处理后的数据输出到计算设备112和/或处理器402中的一个，用于生成与用户的视场对齐的图像。例如，处理器604可以被配置用以确定和跟踪用户的头部相对于环境的位置和方向。此外，例如，处理器604可以被配置用以生成与这样确定的信息相关联的位置和方向数据，并将生成的位置和方向数据输出到计算设备112和/或处理器402中的一个。头部跟踪系统410的处理器604可以被配置用以运行各种软件应用程序或计算机代码，这些程序或计算机代码存储在非瞬态计算机可读介质中，和被配置用以执行各种指令或操作。处理器604可被实现为一种特殊用途的处理器，该处理器被配置为执行整个公开的任何或所有操作的指令。
眼睛跟踪系统408可以被配置用以跟踪眼睛的姿态、跟踪用户的眼球运动、追踪用户的目光、跟踪扫描模式、确定用户凝视的收敛点的位置(有时称为注视点)、确定眼睛的位置、跟踪生理指标(如，眨眼率、瞳孔扩张、第一注视时间、注视长度和/或注视计数)，确定用户眼睛之间的瞳孔内部距离(IPD)，确定用户眼睛的确定位置和每个用户眼睛的收敛点的确定位置之间的方向，和/或从用户的眼睛接收输入。眼睛跟踪系统408可以被配置用以实时执行全自动的用户眼睛跟踪操作。眼睛跟踪系统408可以包括至少一个传感器502，至少一个处理器504，内存506和存储设备508，如图5所示，以及通常包含在眼睛跟踪系统中的其他组件、装置和/或设备。传感器502、处理器504、内存506和存储器508，以及通常包含在眼睛跟踪系统中的其他组件、装置和/或设备，可是通信耦合的。
眼睛跟踪系统408可以被用作光标控制装置，以选择显示在显示器412上的虚拟内容。例如，眼睛跟踪系统408可以被用于在战场中选择协同资产，或者从虚拟菜单中选择项目。眼睛跟踪系统408也可被用于跟踪用户的扫描模式，并警告用户忽略已被忽略的关键信息。
眼睛跟踪系统408的处理器504可以被配置用以处理从传感器502接收的数据，并将处理后的数据输出到处理器402和/或计算设备112中的一个。例如，处理器504可以被配置用以确定用户凝视的收敛点的位置，确定眼睛的位置，确定用户眼睛之间的瞳孔内部距离(IPD)，和/或确定用户眼睛的确定位置和每个用户眼睛的收敛点的确定位置之间的方向。此外，例如，处理器504可以被配置用以生成与这样确定的信息相关联的数据，并将生成的数据输出到处理器402和/或计算设备112中的一个。眼睛跟踪系统408的处理器504可以被配置用以运行各种软件应用程序或计算机代码，这些程序或计算机代码存储在非瞬态计算机可读介质中，和被配置用以执行各种指令或操作。处理器504可被实现为一种特殊用途的处理器，该处理器被配置为执行整个公开的任何或所有操作的指令。
显示器412可以被配置用以接收图像流作为图像数据流，并将图像流呈现给头部可佩戴装置140的佩戴用户。显示器412可以被实现为任何合适的显示器，如透射式显示器(如，MicrosoftHololens)或遮挡显示器(如，Oculus Rift)。此外，虽然显示器412被描述为单个显示器，但是显示器412可以实现为多个显示器，例如每个用户的每只眼睛都有一个显示器。
扬声器414可被配置用以接收与环境相关的音频内容，和将音频内容作为音频呈现给头部可佩戴装置140的佩戴用户。此外，虽然扬声器414被描述为单个扬声器，但扬声器414可实现为多个扬声器，例如每个用户的每只耳朵都有一个扬声器。
摄像机416可以被配置用以捕捉佩戴者视场的真实图像(如，真实场景图像)。摄像机416的视场可以与佩戴者的视场一致。摄像机416可被配置用以将真实图像作为真实图像数据(例，真实场景图像数据)输出到计算设备112和/或处理器402中的一个。摄像机416可被配置用以将真实图像流作为真实图像数据流输出到计算设备112和/或处理器402中的一个。在一些实施例中，摄像机416可实现为多个摄像机。
语音识别系统418可以包括至少一个麦克风702、至少一个处理器704、内存706和存储器708，如图7所示，以及包括在语音识别系统中通常包括的其他组件、装置和/或设备。麦克风702、处理器704、内存706和存储器708以及通常包括在眼睛跟踪系统中的其他组件、设备和/或设备可以通信耦合。语音识别系统418可以被配置用以识别用户的语音命令或可听的输入。语音识别系统418可以允许用户使用口头命令作为交互和控制方法。语音识别系统418可以被配置用以检测用户命令并输出用户命令数据，该用户命令数据可以被用来提供命令来指导MUM-T操作，该命令可以在头部可佩戴装置140上可视化。此外，口头命令可用于修改、操纵和解密由头部可佩戴装置140显示的内容。语音识别系统418可以与眼睛跟踪系统408集成，因此可以推断用户输入的情景。例如，在查看特定的UAS 142时，用户可以说，“转向拦截”，并且其中一个处理器(如，402、602和/或704)可以基于至少一个眼睛跟踪数据来确定用户暗示该命令是针对特定的UAS142，而没有说出UAS 142的特殊呼叫信号。处理器704可以被配置用以处理从麦克风702接收的数据，并将处理后的数据(如，文本数据)输出到计算设备112和/或处理器402中的一个。处理器704可以被配置用以运行各种软件应用程序或计算机代码，这些程序或计算机代码存储在非瞬态计算机可读介质中，和被配置用以执行各种指令或操作。
生物识别传感器420可以被配置用以感测与用户相关联的生物信息。例如，生物传感器可以被实现为指纹读取器或视网膜扫描仪。
虽然头部可佩戴装置140的处理器402、内存404、存储设备406、头部跟踪系统410、用户输入系统(如，眼睛跟踪系统408和/或语音识别系统418)、显示器412、扬声器414、摄像机416和生物识别传感器420已被示例性地描述为单独的设备或子系统实现，但在一些实施例中，处理器402、内存404、存储设备406、头部跟踪系统410、用户输入系统(如，眼睛跟踪系统408和/或语音识别系统418)、显示器412、扬声器414、摄像机416和生物识别传感器420中的部分或所有可以被实现为单个集成系统或设备或任意数量的集成和/或部分集成的子系统和/或设备。
虽然头部可佩戴装置140示例包括所示的组件，在一些实施例中，可以省略头部可佩戴装置140的一个或多个组件，或者头部可佩戴装置140可能包含其他组件。
参照图8，示出的通过数据网络交换机802(如，航空电子全双工交换式以太网(AFDX)交换机)与图1的飞行器102通信耦合的各种示例性设备。例如，多个计算设备112(如，航空电子计算设备)、输入/输出设备124、通信系统104、运载工具传感器(如，飞行器传感器122)、GPS设备120和头部可佩戴装置140可以通过数据网络交换机通讯耦合。多个计算设备112(如，112-1、112-2、112-3、112-4、112-5、112-6、112-7)、输入/输出设备124、通信系统104、运载工具传感器(如，飞行器传感器122)和GPS设备120中每个可以被配置用以通过数据网络交换机802相互交换(如，发送和/或接收)航空电子数据。虽然多个计算设备112、输入/输出设备124、通信系统104、飞行器传感器122、GPS设备120和头部可佩戴装置140被示例为通过数据网络交换机802通讯耦合，但在一些实施例中，多个计算设备112、输入/输出设备124、通信系统104、运载工具传感器(如，飞行器传感器122)、GPS设备120和头部可佩戴装置140中的多个或全部可以通过任何合适的数据网络和通过任何合适的数据网络组件(如，至少一个总线(如，航空无线电、ARINC429总线)、至少一个数据汇集器、至少一个交换机、至少一个路由器或其组合)通信耦合。
多个计算设备112可以被实现为和/或包括多个电子计算设备，如，多个航空电子计算设备(如，航空电子计算设备可以被实现在一个或多个综合模块化航空(IMA)电子设备中)。多个航空电子计算设备可以包括第一航空电子计算设备112-1、机组警报系统(CAS)计算设备(如，发动机指示和机组警报系统(EICAS)计算设备112-2)、飞行管理系统(FMS)计算设备112-3、综合飞行信息系统(IFIS)计算设备112-4、信息管理系统(IMS)计算设备112-5、车载维护系统(OMS)计算设备112-6、地形感知告警系统(TAWS)计算设备112-7、安全服务器路由器计算设备(未示出)、自动相关监视(ADS)计算设备(未示出)和避免交通冲突系统(TCAS)计算设备(未示出)，以及在飞行器中通常实现的其他航空电子计算设备。此外，输入/输出设备124、通信系统104、飞行器传感器122、数据网络交换机802和GPS设备120可以被认为是多个航空电子计算设备的设备和可以被实现为或实现全部公开的类似航空电子计算设备(如，112-1、112-2、112-3、112-4、112-5、112-6、112-7)的功能。每个航空电子计算设备(如，112-1、112-2、112-3、112-4、112-5、112-6、112-7、112-8)可以包括组件，所述组件可以实现和类似于图1所示和描述的计算设备112的组件的功能。例如，每个航空电子计算设备可以包括至少一个处理器、内存和存储设备，这些可以分别实现和类似于图1所示和描述的计算设备112的处理器114、内存116和存储设备118的功能。例如，第一航空电子计算设备112-1可以包括至少一个处理器114-1、内存116-1和存储器118-1，这些可以分别实现和类似于图1所示和描述的计算设备112的处理器114、内存116和存储设备118的功能。
多个航空电子计算设备(如，112-1、112-2、112-3、112-4、112-5、112-6、112-7)和/或处理器(如，114-1)可以被实现为特殊用途计算设备(如，第一航空电子计算设备112-1、EICAS计算设备112-2、FMS计算设备112-3、IFIS计算设备112-4、IMS计算设备112-5、OMS计算设备112-6、TAWS计算设备112-7)和/或特殊用途处理器(如，被编程为执行对整个公开的操作的指令的第一航空电子计算设备112-1的处理器114-1、被编程为执行对整个公开的EICAS操作的指令的EICAS计算设备112-2的处理器、被编程为执行对整个公开的FMS操作的指令的FMS计算设备112-3的处理器、被编程为执行对整个公开的IFIS操作的指令的IFIS计算设备112-4的处理器、被编程为执行对整个公开的IMS操作的指令的IMS计算设备112-5的处理器、被编程为执行对整个公开的OMS操作的指令的OMS计算设备112-6的处理器、被编程为执行对整个公开的TAWS操作的指令的TAWS计算设备112-7的处理器)，这些计算设备可以被配置用以执行各种指令或操作。
此外，在一些实施例中，数据网络交换机802可以类似地实现和类似于航空电子计算设备(如，112-1、112-2、112-3、112-4、112-5、112-6、112-7)中的一个功能，或者包括类似于航空电子计算设备的组件的功能的组件。例如，数据网络交换机802可以包括一集成的计算设备(其可以被实现和类似于一个计算设备112(如，航空电子计算设备(如，112-1、112-2、112-3、112-4、112-5、112-6、112-7)中的一个)的功能)和/或一集成的计算设备组件(其可以被实现和类似于图1中所示的一个计算设备112的组件的功能)。
进一步地，虽然多个航空电子计算设备已经相对于图8示例性的描述为包括第一航空电子计算设备112-1、EICAS计算设备112-2、FMS计算设备112-3、IFIS计算设备112-4、IMS计算设备112-5、OMS计算设备112-6、TAWS计算设备112-7，但在一些实施例中，多个航空电子计算设备可以省略所描述的航空电子计算设备中的一个或多个，包括额外数量的此类航空电子计算设备，和/或包括其他类型的合适的航空电子计算设备。
参见图9，示出了一佩戴头部可佩戴装置140的飞行员在如图1所示的飞行器驾驶舱900中。通过头部可佩戴装置140所显示的内容和通过驾驶舱900的一个或多个显示器(如，HDD 204-1、HDD 204-2、HDD 204-3和/或HUD 202-1)所显示的内容可以同步，以便飞行员可以通过使用头部可佩戴装置140和/或驾驶舱900的一个或多个显示器，选择协同资产和格式显示在该资产附近，例如，显示前传感器馈送、目标信息、流视频、图像、语音或来自所述选择协同资产的其他数据。在一些实施例中，通过头部可佩戴装置140显示的内容和通过驾驶舱900的一个或多个显示器显示的内容提供了飞行员在头部可佩戴装置140上看到的虚拟内容和HDDs 204-1、204-2、204-3之间的无缝过渡。在一些实施例中，HDDs 204中的一个可以显示具有用户可选择选项的菜单，以过滤在头部可佩戴装置140的显示器412上显示的内容。例如，HDD菜单可以为飞行员提供用户可选择的模式，例如，基于飞行员的偏好，对诸如友军、敌军、地面资产、空中资产、接合区域和/或传感器和武器范围等内容进行解密。此外，头部可佩戴装置140和HDDs 204可以提供互补的特征，使得操作者可以容易地在头向上操作和低头操作之间切换。例如，当在头部可佩戴装置140或HDDs 204之一上选择对象或资产时，所选择的对象或资产也可被突出显示在其他显示设备上的导频上。此外，例如，当飞行员指示一个场景或命令由头部可佩戴装置140描述的资产时，相应的改变可以显示在一个HDDs 204上和反之亦然。此外，例如，如果飞行员通过头部可佩戴装置140选择资产的传感器馈送、目标馈送或视频馈送，则一个HDDs 204可以显示所选择的馈送的放大或放大版本。类似地，如果飞行员通过一个HDDs 204选择馈送，则头戴式设备140可以显示头戴式设备140上的馈送。
参照图10，示出了佩戴头部可佩戴装置144的操作员可以与有如图1所示的控制站126的集成HDD的计算设备130接口。类似于图9所示的，通过头部可佩戴装置144所显示的内容和通过集成HDD的计算设备130所显示内容可以同步。例如，通过使用头部可佩戴装置144和/或计算设备130的HDD的操作员可以选择一个协同资产和一个格式将显示在该资产附近，例如，显示前传感器馈送、目标信息、流视频、图像、语音或来自所述选择协同资产的其他数据。
参照图11-18，示出了通过头部可佩戴装置140的显示器412所显示的各种图像。
参照图11，示出了通过头部可佩戴装置140的显示器412所显示的一图像。该图像包括两个用户可选择的描述的两个无人驾驶运输工具(如，合作UASs 142-1、142-2)，眼睛跟踪光标1102，未知威胁1104的用户可选择的描述，以及敌方资产1106(如，敌方飞行器)的用户可选择地的描述。
参照图12，示出了通过头部可佩戴装置140的显示器412所显示的一图像。通过查看对未知威胁1104的用户可选择的描述和/或通过说出语音命令，用户输入系统(如，眼睛跟踪系统408和/或语音识别系统)可以向处理器402输出用户选择数据，表示用户选择未知威胁1104的用户可选择的描述。作为回应，处理器402可以更新图像数据流以包括动作菜单1202的图形内容，并将更新后的图像数据流输出到显示器412。动作菜单1202可包括一个或多个用户可选择的选项(如，动作)，例如发送UAS、执行声波测距、执行监视雷达、执行武器定位雷达和/或发送地面资产。
参照图13，示出了通过头部可佩戴装置140的显示器412所显示的一图像。通过利用用户输入系统(如，眼睛跟踪系统408和/或语音识别系统)，头部可佩戴装置140的用户可以从列表(如，动作菜单1202)中选择一个项目。例如，通过利用眼睛跟踪系统408，头部可佩戴装置140的用户可以通过查看项目从列表(如，动作菜单1202)中选择一个项目，并且用户可以通过使用第二用户输入来确认选择，如，一个语音命令(如，通过语音识别系统418)或通过按一个按钮。例如，通过利用语音识别系统418，头部可佩戴装置140的用户可以从列表(如，动作菜单1202)中选择一个项目，通过说出语音命令来选择项目，并且可选地，用户可以通过使用第二用户输入来确认选择，例如另一语音命令(如，通过语音识别系统418)或通过按一个按钮。此外，例如，通过查看“UAS”的用户可选择的选项和/或通过说出语音命令，用户输入系统(如，眼睛跟踪系统408和/或语音识别系统418)可以向处理器402输出用户选择数据，表示用户选择用户可选择选项来激活“UAS”。作为回应，处理器402可以更新图像数据流以激活“UAS”确认1302的图形内容，并将更新后的图像数据流输出到显示器412。
参照图14，示出了通过头部可佩戴装置140的显示器412所显示的一图像。响应于用户选择用户可选择的选项来发送“UAS”，处理器402可以更新图像数据流，以包括用户可选择的“UAS状态”信息1402的图形内容。UAS状态”信息1402可以包括与UASs142-1和UAS142-2相关的信息，它们位于未知威胁1104附近。例如，UAS状态信息1402可以包括与每个UAS位置、到达未知威胁1104的估计时间、侦察有效负载(如，机载的光学传感器和监视传感器的类型)、以及攻击有效负载(如，机载的武器类型和数量)相关联的信息。
参照图15，示出了通过头部可佩戴装置140的显示器412所显示的一图像。通过查看UAS状态信息1402的特定UAS的用户可选择选项和/或通过说出语音命令，用户输入系统(如，眼睛跟踪系统408和/或语音识别系统418)可以向处理器402输出用户选择数据，表示用户选择特定的“UAS”来部署。作为回应，处理器402可以更新图像数据流以包括“部署UAS”确认1502的图形内容，并将更新后的图像数据流输出到显示器412。此外，处理器402可以输出命令来部署该特定的“UAS”。
参照图16，示出了通过头部可佩戴装置140的显示器412所显示的一图像。在部署的UAS监视未知威胁1104时，部署的UAS可以发送传感器馈送数据(如，来自光学传感器和/或监视传感器)，其可以被路由到头部可佩戴装置140。当从部署的UAS接收传感器馈送数据时，处理器402可以更新图像数据流以包括与传感器馈送数据相关联的传感器馈送图形内容1602，并且这样的图形内容可以与未知威胁1104一起描述。例如，传感器馈送图形内容1602可以包括未知威胁1104的图像。
参照图17，示出了通过头部可佩戴装置140的显示器412所显示的一图像。通过查看未知威胁1104的用户可选择的描述和/或通过说出语音命令，用户输入系统(如，眼睛跟踪系统408和/或语音识别系统418)可以向处理器402输出用户命令数据，表示用户命令未知威胁1104被分类为敌人。作为回应，处理器402可以更新图像数据流以包括“分类敌人”确认1702的图形内容，并将更新后的图像数据流输出到显示器412。此外，处理器402可以将命令路由到飞行器102上的另一计算设备(如，112)或飞行器102以外的设备上来作为敌人分类。
参照图18，示出了通过头部可佩戴装置140的显示器412所显示的一图像。响应于作为敌人命令的分类，处理器402可以更新图像数据流，使得对未知威胁1104的用户可选择描述被更新为表示敌人分类，并将更新的图像数据流输出到显示器412。例如，通过将未知威胁1104的用户可选描述分类为敌人，未知威胁1104的用户可选描述的颜色可以从黄色(用于未知的)变为红色(用于敌人)，而合作或友好资产可以被描述成绿色。
虽然图11-18示出了头部可佩戴装置140的显示器412显示的各种示例性图像对于一种可能的动作序列的视图，但是本领域的普通技术人员将理解，根据本发明所公开的发明内容的头部可佩戴装置140可以由操作员用于各种场景中的任何一种，例如用于促进其他MUM-T操作。
例如，在促进MUM-T操作的一个示例性场景中，飞行器102的载人操作员可以负责引导飞行器102并控制四个无人驾驶的协同资产(如，四个UASs 142)。飞行器102可以在编队中拥挤的战场上飞行，使得四UASs142在载人飞行器102前面飞行。操作者可以佩戴头部可佩戴装置140，例如，它可以被实现为具有透视显示器的增强现实头部可佩戴装置。当操作者在飞行的时候，操作者可以使用增强现实头部可佩戴装置的叠加图形符号，以保持操作者的眼睛聚焦于驾驶舱，同时能够快速定位团队成员，以及其他友好的、敌对的、未知的和中立的地面和空中资产。当操作者扫描空域时，虚拟符号由头部可佩戴装置140显示在飞行器360°周围，覆盖在真实飞行器位置的顶部。这允许操作员可视化战场资产的位置，即使资产超出操作者的自然视线。如果操作员查看一个协同资产(如，UASs 142)，则出现附加符号，提供关于资产当前操作和传感器系统状态的信息。此外，头部可佩戴装置140可以在地面上显示黄色圆顶，表示未知地面威胁。操作员可以查看显示的黄色圆顶来选择与未知威胁相关联的虚拟符号。当选择黄色圆顶时，头部可佩戴装置140可以显示表示操作者可以部署的可用协同资产(如，UASs 142)的菜单，以捕获未知威胁的情报。操作者可以从菜单中选择(如，通过眼睛跟踪系统408和/或语音识别系统418)一个项目。例如，操作员可以选择“部署UAS 1 FLIR”来调度配置有FLIR摄像机的UASs 142中的一个。一旦操作员调度一个协同资产，就将命令发送到协同资产，以便协同资产自动执行期望的操作。一旦部署的资产足够接近以收集未知威胁的情报，传感器信息就可以传输到由操作员操纵的飞行器102，并且传感器信息的视频馈送可以由头部可佩戴装置140在靠近(如，近邻和/或以上)黄色圆顶的小窗口中显示，表示未知威胁。一旦用户查看传感器信息的视频，操作者可以使用语音命令(如，通过语音识别系统418)将未知威胁分类为友好的、敌对的、中立的。例如，语音命令可以是“分类敌人”，将未知威胁分类为敌人。
参照图19，描述了根据本文公开的发明构思的一种方法1900可包括以下一个或多个步骤。此外，例如，一些实施例可包括以迭代、并发和/或顺序执行方法1900的多个实例。此外，例如，该方法1900的至少一些步骤可以并行执行和/或同时执行。例如，一些实施例中，方法1900的至少一些步骤可以不连续地执行。
步骤1902包括通过至少一个头部可佩戴装置的处理器，将图像数据流输出到所述头部可佩戴装置的一显示器以显示给所述头部可佩戴装置的用户，所述图像数据与所确定的头部可佩戴装置用户的头部相对于环境的位置和方向对准的图像相关，所述图像包括至少一个无人驾驶运输工具的至少一个用户可选择的描述。
步骤1904通过至少一个头部可佩戴装置的处理器，接收来自一用户输入系统的用户输入数据，其中，所述用户输入数据包括与一所述选择的所述至少一个无人驾驶运输工具中的一个无人驾驶运输工具相关的用户选择数据。
步骤1906通过至少一个头部可佩戴装置的处理器，更新与所述图像相关的所述图像数据流，使所述图像进一步包含与所述选择的无人驾驶运输工具相关的信息描述。
进一步的，该方法可以包括整个公开的任何操作。
从以上可以理解，根据本文公开的发明构思实施例可针对系统、方法和至少一个头部可佩戴装置。
通篇使用的，本领域技术人员应当理解，“至少一种非瞬态的计算机可读介质”可能指至少一种非瞬态的计算机可读介质(如，内存110、内存116、内存212、内存404、内存506、内存606、内存706、内存116-1、存储设备118、存储设备214、存储设备406、存储设备508、存储设备608、存储设备708或其组合；如，至少有一种计算机可读的介质实现为硬件；如，至少一种非瞬态处理器可读的介质，至少一个内存(如，至少一个非易失存储器，至少一个易失存储器，或其组合；如，至少一个随机存取存储器，至少一个闪存，至少一个只读内存存储器(ROM)(如，至少一个带电可擦可编程只读存储器(EEPROM))，至少一个处理器内存(如，至少一个处理器缓存，至少一个处理器缓冲，至少一个处理器闪存，至少一个处理器带电可擦可编程只读存储器，或其组合)，或其组合)，至少一个储存设备(如，至少一个硬盘驱动器、至少一个磁带驱动器、至少一个固态驱动器、至少一个闪存驱动器、至少一个可读磁盘和/或可写磁盘，所述至少一个光驱动器被配置用以从至少一个可读和/或可写磁盘读取和/或写入，或其结合)，或其结合。)
通篇使用的，“至少一个”表示一个或多个；例如，“至少一个”可包括一、二、三……一百或更多。类似地，通篇使用的“一个或更多”表示一个或多个；例如，“一个或更多”可包括一、二、三……一百或更多。进一步地，通篇使用的“零或多个”表示零、一或更多；例如，“零或多个”可包括零、一、二、三……一百或更多。
在本披露中，公开的方法、操作和/或功能可以作为一组指令或一个设备可读的软件来实现。进一步地，可以理解公开的方法、操作和/或功能中的步骤的特定顺序或层次结构是示例性方法的示例。根据设计偏好，可以理解方法、操作和/或功能中的步骤的特定顺序或层次结构可以重新安排，同时保留在本发明中。随附的权利要求可以按实施例顺序表示各个步骤的元素，并不一定要局限于所提出的特定顺序或层次结构。
要理解的是，根据本发明构思公开的方法实施例可能包含本发明中描述的一个或多个步骤。进一步地，这些步骤可以按照任何期望的顺序执行，并且可以同时执行两个或两个以上的步骤。此处公开的两个或多个步骤可以组合在一个步骤中，在某些实施例中，一个或多个步骤可以作为两个或多个子步骤进行。进一步地，还可以采取其他步骤或分步骤，或作为在本发明中披露的一个或多个步骤的替代。
从上述描述中，很清楚，此处公开的发明构思可以很好地实现此处所述的目的，并获得此处所述的优点以及此处公开的发明构思中所固有的优点。虽然为了此处公开的目的描述了此处公开的发明构思的当前优选实施例，但是应当理解，还可以进行许多改变；这些改变对于本领域技术人员来说将是显而易见的，并落在此处公开的发明构思和权利要求的范围内。

Claims (20)

1.一种头部可佩戴装置，包括：
一显示器，其在该头部可佩戴装置中或上实施，所述显示器被配置用以将图像显示给所述头部可佩戴装置的用户；
一头部跟踪系统，其在所述头部可佩戴装置中或上实施，所述头部跟踪系统被配置用以：
确定所述头部可佩戴装置的用户的头部相对于环境的位置和方向；和
输出与所确定的所述头部可佩戴装置的所述用户的所述头部相对于环境的所述位置和方向相关的位置和方向数据；
一用户输入系统，其包括一眼睛跟踪系统或一语音识别系统中至少一个，所述用户输入系统被配置用以：
检测所述头部可佩戴装置的所述用户的用户输入；和
输出用户输入数据；和
至少一个处理器，其与所述头部跟踪系统、所述用户输入系统和所述显示器可通信地耦合，所述至少一个处理器被配置用以：
将图像数据流输出到所述显示器以展示给用户，所述图像数据与所确定的头部可佩戴装置的用户的头部相对于环境的位置和方向相对应的图像相关，所述图像包括至少一个协同资产的至少一个用户可选择的描述；
接收来自所述用户输入系统的所述用户输入数据，其中，所述用户输入数据包括与选择的所述至少一个协同资产中的协同资产相关的用户选择数据；和
更新与所述图像相关的所述图像数据流，使所述图像进一步包含与所述选择的协同资产相关的信息描述。
2.根据权利要求1所述的头部可佩戴装置，其中，与所述选择的协同资产相关的信息的所述描述包括由所述选择的协同资产的至少一个传感器捕获的传感器馈送数据的描述。
3.根据权利要求1所述的头部可佩戴装置，其中，与所述选择的协同资产相关的所述信息包括所述选择的协同资产的状态、任务或能力中至少一种的信息。
4.根据权利要求1所述的头部可佩戴装置，其中，所述用户输入数据进一步包括与一用来控制或管理所述选择的协同资产命令相关的用户命令数据，其中所述至少一个处理器进一步被配置用以：
输出一命令以控制或管理所述选择的协同资产。
5.根据权利要求1所述的头部可佩戴装置，其中，所述图像数据是与战场图像相关的战场图像数据。
6.根据权利要求5所述的头部可佩戴装置，其中，与所述图像数据相关的图像进一步包括至少一个战场特征的至少一个描述。
7.根据权利要求5所述的头部可佩戴装置，其中，与所述图像数据相关的图像进一步包括至少一个战场对象的至少一个用户可选择的描述，其中，所述用户输入数据进一步包括与选择的所述至少一个战场对象中的一战场对象相关的用户选择数据，其中，所述至少一个处理器进一步被配置用以：
更新与所述图像相关的图像数据流，使所述图像进一步包括一与所述选择的战场对象相关的信息的描述。
8.根据权利要求7所述的头部可佩戴装置，其中，所述用户输入数据进一步包括与用来监视所述选择的战场对象的命令相关的用户命令数据，其中，所述至少一个处理器进一步被配置用以：
输出一命令以控制或管理所述至少一个协同资产的特定协同资产，以监视所述选择的战场对象。
9.根据权利要求7所述的头部可佩戴装置，其中，所述用户输入数据进一步包括与一用来攻击所述选择的战场对象命令相关的用户命令数据，其中，所述至少一个处理器进一步被配置用以：
输出一命令以控制所述至少一个协同资产的特定协同资产，以攻击所述选择的战场对象。
10.根据权利要求7所述的头部可佩戴装置，其中，所述至少一个战场对象的每个所述至少一个用户可选择的描述包括图形信息，该图形信息表示每个所述至少一个战场对象是否被分类为友好、中立、敌对或未知的威胁。
11.根据权利要求10所述的头部可佩戴装置，其中，所述选择的战场对象目前被分类为未知的威胁，其中，所述用户输入数据进一步包括与一用来分类所述选择的战场对象命令相关的用户命令数据，其中，所述至少一个处理器进一步被配置用以：
输出一命令以将所述选择的战场对象分类为友好、中立或敌对。
12.根据权利要求1所述的头部可佩戴装置，其中，所述显示器是增强现实显示器。
13.根据权利要求12所述的头部可佩戴装置，其中，所述显示器连接到一低头显示器，其被配置用以同时向用户呈现与所述头部可佩戴装置同步的信息。
14.根据权利要求1所述的头部可佩戴装置，其中，所述显示器是虚拟现实显示器。
15.根据权利要求1所述的头部可佩戴装置，其中，所述头部可佩戴装置在飞行器上实施，其中，所述头部可佩戴装置由在所述飞行器上的用户佩戴。
16.根据权利要求1所述的头部可佩戴装置，其中，所述头部可佩戴装置在控制站实施，其中，所述头部可佩戴装置由在所述控制站的用户佩戴。
17.根据权利要求1所述的头部可佩戴装置，其中，所述图像包括分类到预定分类级别的信息描述，其中所述头部可佩戴装置在未经分类的环境中实施，其中，所述图像只能由头部可佩戴装置的用户查看。
18.根据权利要求1所述的头部可佩戴装置，进一步包括一生物识别传感器，所述生物识别传感器被配置用以感测与所述用户相关的生物信息，其中，所述至少一个处理器进一步被配置用以至少根据所述生物信息验证所述头部可佩戴装置的用户身份和至少根据所述身份来确定用户的预定分类级别，其中，所述图像数据流输出到与所述用户的预定分类级别对应的所述显示器上。
19.一种头部可佩戴装置的使用方法，包括：
通过一头部可佩戴装置的至少一个处理器，将图像数据流输出到所述头部可佩戴装置的一显示器，以显示给所述头部可佩戴装置的用户，所述图像数据与确定的头部可佩戴装置用户的头部相对于环境的位置和方向对应的图像相关，所述图像包括至少一个协同资产的至少一个用户可选择的描述；
通过所述头部可佩戴装置的所述至少一个处理器，接收来自一用户输入系统的用户输入数据，其中，所述用户输入数据包括与所述选择的所述至少一个协同资产中的协同资产相关的用户选择数据；
通过所述头部可佩戴装置的所述至少一个处理器，更新与所述图像相关的所述图像数据流，使所述图像进一步包含与所述选择的协同资产相关的信息的描述。
20.一种具有头部可佩戴装置的系统，包括：
一计算设备，所述计算设备包括一处理器，所述计算设备的处理器被配置用以输出数据；和
与所述计算设备通信耦合的一头部可佩戴装置，所述头部可佩戴装置包括：
一显示器，其在所述头部可佩戴装置中或头部可佩戴装置上实施，所述显示器被配置用以将图像显示给所述头部可佩戴装置的用户；
一头部跟踪系统，其在所述头部可佩戴装置中或头部可佩戴装置上实施，所述头部跟踪系统被配置用以：
确定头部可佩戴装置佩戴用户的头部相对于环境的位置和方向；和
输出与所述确定的头部可佩戴装置用户的头部相对于环境的位置和方向相关的位置和方向数据；
一用户输入系统，其包括一眼睛跟踪系统或一语音识别系统中至少一个，所述用户输入系统被配置用以：
检测所述头部可佩戴装置的用户的用户输入；和
输出用户输入数据；和
至少一个处理器，其与所述头部跟踪系统、所述用户输入系统和所述显示器通信耦合，所述至少一个处理器被配置用以：
将图像数据流输出到所述显示器以展示给用户，所述图像数据与所述确定的头部可佩戴装置用户的头部相对于环境的位置和方向对应的图像相关，所述图像包括至少一个协同资产的至少一个用户可选择的描述；
接收来自所述用户输入系统的所述用户输入数据，其中，所述用户输入数据包括与所述选择的所述至少一个协同资产中的协同资产相关的用户选择数据；和
更新与所述图像相关的所述图像数据流，使所述图像进一步包含与所述选择的协同资产相关的信息的描述。
CN201810959346.2A 2018-02-07 2018-08-22 头部可佩戴装置、系统和方法 Expired - Fee Related CN110119196B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/891,190 US10380801B1 (en) 2018-02-07 2018-02-07 Head wearable device, system, and method for displaying teamed asset information
US15/891,190 2018-02-07

Publications (2)

Publication Number Publication Date
CN110119196A CN110119196A (zh) 2019-08-13
CN110119196B true CN110119196B (zh) 2020-06-02

Family

ID=67475644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810959346.2A Expired - Fee Related CN110119196B (zh) 2018-02-07 2018-08-22 头部可佩戴装置、系统和方法

Country Status (2)

Country Link
US (1) US10380801B1 (zh)
CN (1) CN110119196B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6713591B1 (ja) * 2019-04-17 2020-06-24 楽天株式会社 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
JP7269131B2 (ja) * 2019-08-14 2023-05-08 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、視線検出システム、視線検出方法および視線検出プログラム
US11399074B2 (en) * 2020-12-16 2022-07-26 Facebook Technologies, Llc Devices, systems, and methods for modifying features of applications based on predicted intentions of users
US11545040B2 (en) 2021-04-13 2023-01-03 Rockwell Collins, Inc. MUM-T route emphasis

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7693702B1 (en) * 2002-11-01 2010-04-06 Lockheed Martin Corporation Visualizing space systems modeling using augmented reality
US20100091036A1 (en) * 2008-10-10 2010-04-15 Honeywell International Inc. Method and System for Integrating Virtual Entities Within Live Video
US8911087B2 (en) * 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US20150153826A1 (en) * 2013-12-01 2015-06-04 Apx Labs, Llc Systems and methods for providing a virtual menu

Also Published As

Publication number Publication date
US10380801B1 (en) 2019-08-13
CN110119196A (zh) 2019-08-13
US20190244429A1 (en) 2019-08-08

Similar Documents

Publication Publication Date Title
US10853014B2 (en) Head wearable device, system, and method
CN110119196B (zh) 头部可佩戴装置、系统和方法
US10540903B2 (en) Flight planning and communication
US9685090B2 (en) Navigational aids
US7925391B2 (en) Systems and methods for remote display of an enhanced image
Calhoun et al. Synthetic vision system for improving unmanned aerial vehicle operator situation awareness
US8508435B2 (en) Situational awareness components of an enhanced vision system
US20090112387A1 (en) Unmanned Vehicle Control Station
CN107010237B (zh) 用于在hud上显示fov边界的系统和方法
US20170336631A1 (en) Dynamic Vergence for Binocular Display Device
US10540898B2 (en) Decision support system for air missioncommander dynamic mission re-planning
KR101076240B1 (ko) 증강현실을 이용한 방공 전장상황 제공 장치 및 방법
US11249306B2 (en) System and method for providing synthetic information on a see-through device
US11262749B2 (en) Vehicle control system
US10996467B2 (en) Head-mounted display and control apparatus and method
EP3933805A1 (en) Augmented reality vision system for vehicular crew resource management
US11046452B1 (en) Head-up display including supplemental indicator
Chaparro et al. Aviation displays: Design for automation and new display formats
US9591270B1 (en) Combiner display system and method for a remote controlled system
US20210035365A1 (en) Apparatus and method for displaying an operational area
GB2567954A (en) Head-mounted display and control apparatus and method
Hierl et al. Military aviation
CN115440091A (zh) 航路切换视景显示方法、装置、飞行器及存储介质
GB2568362A (en) Apparatus and method for displaying an operational area

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200602

Termination date: 20200822

CF01 Termination of patent right due to non-payment of annual fee