CN116560494A - 情境感知头戴式装置 - Google Patents

情境感知头戴式装置 Download PDF

Info

Publication number
CN116560494A
CN116560494A CN202310108199.9A CN202310108199A CN116560494A CN 116560494 A CN116560494 A CN 116560494A CN 202310108199 A CN202310108199 A CN 202310108199A CN 116560494 A CN116560494 A CN 116560494A
Authority
CN
China
Prior art keywords
headset
physical environment
headset user
location
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310108199.9A
Other languages
English (en)
Inventor
P•沙希迪
J•F•布雷默
J•E•霍加迪二世
M•V•霍兰德
J•波格哈萨米安
J•杨
A•陈
J•L•克勒珀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN116560494A publication Critical patent/CN116560494A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Materials For Medical Uses (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了情境感知头戴式装置。一种方法包括在头戴式装置处，基于在由头戴式装置的一个或多个摄像机捕获的图像数据中的由头戴式装置用户指定的一个或多个虚拟位置指示符来校准头戴式装置用户在物理环境中的位置。该方法包括至少部分地基于该位置生成物理环境的视觉表示。视觉表示示意性地表示物理环境的一个或多个结构，并且包括位于视觉表示中以表示第二头戴式装置用户的位置的化身。该方法包括在头戴式装置的一个或多个显示屏上显示物理环境的视觉表示。该方法还包括响应于检测到头戴式装置用户从经由一个或多个显示屏显示的视觉表示中选择化身，启动与第二头戴式装置用户的通信。

Description

情境感知头戴式装置
技术领域
本主题公开内容总体上涉及情境感知头戴式装置(headset)。
背景技术
为了确保飞行器正常运行，维护组成员可以对飞行器进行例行检查和维护。通常，在任何给定的时间，维护组成员都可以位于飞行器的不同区域，以执行各种任务和检查。作为非限制性示例，在特定时间点，第一维护组成员能够在飞行器的驾驶舱附近，第二维护组成员能够在飞行器的发动机附近，并且第三维护组成员能够在飞行器的后部附近。如果第一维护组成员确定有必要从驾驶舱打开发动机以执行指定任务，为了确保其他维护组成员的安全，则第一维护组人员需要了解(例如，具有情境意识)其他维护组成员的位置。例如，如果第一维护组成员打开发动机，而第二维护组成员在发动机附近执行维护，则第二维护组成员的安全可能受到危害。
此外，在某些情况下，维护组成员可能需要专家(如主题专家)的帮助，以完成对飞行器的例行检查和维护。如果缺少专家，或者飞行器现场没有现成的专家，则维护可能会大大延迟。
发明内容
在一个特定实施方式中，一种头戴式装置包括通信电路、一个或更多个摄像机、一个或更多个显示屏以及耦合到通信电路的一个或更多个处理器。一个或更多个处理器被配置为基于在由一个或更多个摄像机捕获的图像数据中由头戴式装置用户指定的一个或更多个虚拟位置指示符来校准头戴式装置用户在物理环境中的位置。一个或更多个处理器还被配置为至少部分地基于位置来生成物理环境的视觉表示。视觉表示示意性地表示物理环境的一个或更多个结构，并且包括位于视觉表示中以表示第二头戴式装置用户的位置的化身。一个或更多个处理器还被配置为在一个或更多个显示屏上显示物理环境的视觉表示。一个或更多个处理器还被配置为响应于检测到头戴式装置用户经由视觉表示选择了化身，经由通信电路启动与第二头戴式装置用户的通信。
在另一特定实施方式中，一种方法包括基于在由头戴式装置的一个或更多个摄像机捕获的图像数据中由头戴式装置用户指定的一个或更多个虚拟位置指示符，在头戴式装置的一个或更多个处理器处或者利用头戴式的一个或更多个处理器来校准头戴式装置用户在物理环境中的位置。该方法还包括至少部分地基于该位置生成物理环境的视觉表示。视觉表示示意性地表示物理环境的一个或更多个结构，并且包括位于视觉表示中以表示第二头戴式装置用户的位置的化身。该方法还包括在头戴式装置的一个或更多个显示屏处显示物理环境的视觉表示。该方法还包括响应于检测到头戴式装置用户从经由一个或更多个显示屏显示的视觉表示中选择化身，启动与第二头戴式装置用户的通信。使用虚拟指针选择化身。
在另一特定实施方式中，一种非暂时性计算机可读介质指令，当指令由头戴式装置的一个或更多个处理器执行时，使得一个或更多个处理器基于在由一个或更多个摄像机捕获的图像数据中由头戴式装置用户指定的一个或更多个虚拟位置指示符来校准头戴式装置用户在物理环境中的位置。当指令由一个或更多个处理器执行时，还使得一个或更多个处理器至少部分地基于位置来生成物理环境的视觉表示。视觉表示示意性地表示物理环境的一个或更多个结构，并且包括位于视觉表示中以表示第二头戴式装置用户的位置的化身。当指令由一个或更多个处理器执行时，还使得一个或更多个处理器在一个或更多个显示屏处显示物理环境的视觉表示。当指令由一个或更多个处理器执行时，还使得一个或更多个处理器响应于检测到头戴式装置用户经由视觉表示选择了化身而经由通信电路启动与第二头戴式装置的通信。
本文描述的特征、功能和优点可以在各种实施方式中独立地实现，或者可以在其他实施方式中组合，其进一步的细节可以参考以下描述和附图来找到。
附图说明
图1是图示被配置为向头戴式装置用户提供周围环境的情境感知的头戴式装置的示例的示意图。
图2A描绘了在头戴式装置的显示屏上显示的物理环境的三维视觉表示。
图2B描绘了在头戴式装置的显示屏上显示的物理环境的二维视觉表示。
图3描绘了用于指定虚拟位置指示符并选择要通过显示屏观看的视觉表示的界面的示例。
图4描绘了具有来自远程头戴式装置用户的引导提示的物理环境的三维视觉表示。
图5是向用户提供周围环境的情境感知的方法的示例的流程图。
图6是包括计算设备的计算环境的框图，该计算设备被配置为支持根据本公开内容的计算机实施的方法和计算机可执行程序指令(或代码)的各方面。
具体实施方式
本文公开的方面呈现了用于向头戴式装置用户提供周围环境的情境感知的示例系统和方法。如本文所使用的，“情境感知”可以包括与周围环境中的其他头戴式装置用户相关联的信息(例如，其他头戴式装置用户的位置)、与周围环境的位置、操作或其他方面相关联的信息，或两者。头戴式装置用户可以在特定环境(例如飞行器)中佩戴增强现实头戴式装置(本文称为“头戴式装置”)。集成在头戴式装置中的摄像机可用于捕捉飞行器的实时图像，并且实时图像用于生成飞行器的视觉表示。根据一个实施方式，视觉表示对应于在头戴式装置的显示屏上显示的飞行器的三维(3D)增强现实表示。例如，基于捕获的实时图像，头戴式装置的处理器可以生成(例如，创建)飞行器的增强现实表示。
根据另一实施方式，处理器可以生成飞行器的二维(2D)表示(例如，示意图)并在显示屏上显示2D表示。为了生成2D表示，头戴式装置可以访问描述飞行器的布局的示意图数据(或其他计划)。处理器可以访问飞行器的示意图。例如，如果飞行器是标准模型之一，则处理器可以访问飞行器的布局并使用该布局来生成2D视觉表示。
如下所述，头戴式装置用户的位置和飞行器中其他头戴式装置用户的位置可以被集成到视觉表示中，以向头戴式装置用户提供情境感知。然而，在将位置集成到视觉表示之前，头戴式装置的处理器可以使用用户定义的世界锚来校准头戴式装置用户在飞行器内的位置。为了说明，为了校准头戴式装置用户在飞行器中的物理位置，使得头戴式装置用户可以查看其在2D视觉表示中的位置，头戴式装置用户可以在捕获的实时图像中指定一个或更多个虚拟位置指示符。例如，当头戴式装置用户处于飞行器中的第一位置时，头戴式装置用户可以在视觉表示中指定第一虚拟位置指示符。第一虚拟位置指示符可以对应于向头戴式装置指示头戴式装置用户处于第一位置(例如，真实世界位置)的世界锚。例如，如果第一位置对应于飞行员座椅，则头戴式装置用户可以指示第一虚拟位置指示符位于飞行员座椅处。在指定第一虚拟位置指示符之后，头戴式装置用户可以移动到飞行器中的第二位置。处理器可以使用一个或更多个传感器来跟踪头戴式装置用户在第一位置和第二位置之间的移动。例如，处理器可以跟踪在第一位置和第二位置之间的距离的变化、在第一位置和第二位置之间的高度的变化、在第一位置和第二位置之间的方向等。一旦头戴式装置用户处于第二位置，头戴式装置用户就可以在视觉表示中指定第二虚拟位置指示符。基于第一虚拟位置指示符、所跟踪的移动和第二虚拟位置指示符，头戴式装置内的处理器可以校准头戴式装置用户在飞行器中的物理位置。因此，与在飞行器中的预定位置扫描标记(例如QR码)相反，可以基于头戴式装置用户设置的世界锚来校准头戴式装置用户的位置。
在校准头戴式装置用户的位置之后，可以将与其他头戴式装置用户相关联的情境感知数据集成到视觉表示中。例如，头戴式装置可以接收指示飞行器内的其他头戴式装置用户的位置的位置数据。基于位置数据，可以将指示其他头戴式装置用户的位置的化身插入到视觉表示中。因此，在视觉表示是飞行器的2D布局的场景中，头戴式装置用户可以通过观看视觉表示中的化身来容易地识别其他头戴式装置用户位于飞行器内的何处。此外，头戴式装置用户可以选择视觉表示中的特定化身以启动与相应头戴式装置用户的通信(例如，头戴式装置到头戴式装置的呼叫)。因此，如果维护组成员佩戴着头戴式装置，则该维护组成员可以识别飞行器中的其他维护组成员的位置，并可以与这些组成员(经由头戴式装置)通信，以确保在维护期间采取适当的安全预防措施。例如，如果维护组成员即将打开发动机并经由视觉表示识别出特定机组成员靠近发动机，则维护组成员可以在视觉表示中选择与特定机组成员相关联的化身以与该特定机组成员通信以移动到安全地点。
此外，在视觉表示是飞行器的3D增强现实表示的场景中，本文描述的技术使得远程头戴式装置用户能够将自身的虚拟表示转置到头戴式装置用户的视觉表示中。例如，具有类似(或相同)规格的不同飞行器中的远程头戴式装置用户可以以类似于头戴式装置用户校准其在飞行器中的位置的方式来校准其在不同飞行器中的位置。在校准之后，远程头戴式装置用户可以向头戴式装置用户的头戴式装置发送位置数据，使得远程头戴式装置用户的虚拟表示被转置到头戴式装置用户的视觉表示中。结果，头戴式装置用户可以在视觉表示中查看远程头戴式装置用户的3D化身，就像远程头戴式装置用户与头戴式装置用户在同一飞行器上一样。因此，如果维护组成员戴着头戴式装置，则远程主题专家的虚拟表示可以被转置到维护组成员的头戴式装置的3D视觉表示中，以帮助维护组成员。
附图和以下描述说明了具体的示例性实施例。将认识到，本领域技术人员将能够设想各种布置，尽管本文没有明确描述或示出，但这些布置体现了本文描述的原理，并且被包括在遵循本描述的权利要求的范围内。此外，本文描述的任何示例旨在帮助理解本公开的原理，并且应被解释为不受限制。因此，本公开不限于以下描述的具体实施例或示例，而是由权利要求及其等同物限定。
本文参考附图描述了特定实施方式。在本说明书中，贯穿附图，由共同的参考数字表示共同的特征。在某些说明书附图中，使用特定类型特征的多个实例。尽管这些特征在物理和/或逻辑上是不同的，但每个特征都使用相同的参考数字，并且不同的实例通过在参考数字中添加字母来区分。当作为一组或一种类型的特征在本文中被提及时(例如，当没有提及特定的一个特征时)，使用参考数字而没有区分字母。然而，当本文提及同一类型的多个特征中的一个特定特征时，参考数字与区别字母一起使用。例如，参考图2，图示了多个虚拟位置指示符，并将其与附图标记230A和230B相关联。当提及这些虚拟位置指示符中的特定一个时，例如虚拟位置指示符230A，使用区分字母“A”。然而，当提及这些虚拟位置指示符中的任意一个或这些虚拟位置指示符作为一组时，使用附图标记230而不使用区分字母。
如本文中所使用的，各种术语仅出于描述特定实施方式的目的进行使用而并非旨在进行限制。例如，单数形式的“一”，“一个”和“该/所述”也旨在包括复数形式，除非上下文另外明确指出。此外，本文描述的一些特征在一些实施方式中是单数，并且在其他实施方式中是复数。为了图示，图1描绘了具有一个或更多个处理器(图1中的“(一个或多个)处理器”110)的头戴式装置106，这表明在一些实施方式中，头戴式106包括单个处理器110，而在其他实施方式中，头戴式装置106包括多个处理器110。为了便于参考，这些特征通常被介绍为“一个或更多个”特征，并且随后以单数形式被提及，除非正在描述与多个特征相关的方面。
术语“包含”及其变体与“包括”及其变体可互换地使用。另外，术语“其中”与术语“在…情况中”可互换地使用。如本文所使用的，“示例性”指示示例、实施方式和/或方面，并且不应被解释为限制或指示优选物或优选的实施方式。如本文所使用的，用于修饰诸如结构、部件、操作等的元素的序数术语(例如，“第一”、“第二”、“第三”等)本身并不指示元素相对于另一个元素的任何优先级或顺序，而仅仅是将元素与具有相同名称(除了使用序数词)的另一个元素区分开。如本文所使用的，术语“集合/集”是指一个或多个元素的分组，并且术语“多个”是指多个元素。
如本文所使用的，除非上下文另外指出，否则“生成”、“计算”、“使用”、“选择”、“访问”和“确定”是可互换的。例如，“生成”、“计算”或“确定”参数(或信号)可以指主动生成、计算或确定参数(或信号)，或者可以指使用、选择或访问已经诸如由另一部件或设备生成的参数(或信号)。如本文所使用的，“耦合”可以包括“通信耦合”、“电耦合”或“物理耦合”，并且还可以(或可替代地)包括其任何组合。两个设备(或部件)可以直接或经由一个或更多个其他设备、部件、电线、总线、网络(例如，有线网络、无线网络或其组合)等间接耦合(例如，通信耦合、电耦合或物理耦合)。作为说明性非限制性示例，电耦合的两个设备(或部件)可以被包括在同一设备或不同设备中，并且可以经由电子件、一个或更多个连接器或感应耦合进行连接。在一些实施方式中，通信耦合(诸如，以电通信方式)的两个设备(或部件)可以直接或间接地(例如，经由一根或更多电线、总线、网络等)发送和接收电信号(数字信号或模拟信号)。如本文所使用的，“直接耦合”用于描述在没有中间部件的情况下耦合(例如，通信耦合、电耦合或物理耦合)的两个设备。
图1描绘了头戴式装置106的示例，其被配置为向头戴式装置用户提供周围环境的情境感知。例如，根据图1的示例，头戴式装置106被配置为向头戴式装置用户104提供飞行器100的情境感知。如本文所使用的，“情境感知”可以包括与周围环境中的其他头戴式装置用户相关联的信息。作为非限制性示例，情境感知可以包括指示其他头戴式装置用户的位置的信息。根据一个实施方式，头戴式装置用户104可以是正在飞行器100上执行例行检查或在飞行器100上进行维护的维护组成员。然而，应当理解，头戴式装置用户104可以是佩戴头戴式装置106的任何个人。
在图1中，头戴式装置用户104被描绘在物理环境102中。例如，在图1中，物理环境102对应于飞行器100或飞行器100的一部分。根据一个实施方式，物理环境102可以包括飞行器100的装载区域。根据另一实施方式，物理环境102可以包括飞行器100的机舱。根据又一实施方式，物理环境102可以包括飞行器100的另一部分。应当理解，飞行器100(或飞行器100的一部分)仅仅是物理环境102的示例，并且本文描述的技术可以在非飞行器环境中实施。作为非限制性示例，物理环境102可以包括建筑物、船、其他类型的机动车辆、其他类型环境等。
物理环境102包括一个或更多个结构140。例如，在图1的示例中，物理环境102包括在飞行器100的壁上的结构140A和在飞行器100的壁上的另一结构140B。应当理解，图1中所示的结构140仅用于说明目的，并且飞行器100可以包括额外的结构。
由头戴式装置用户104佩戴的头戴式装置106包括一个或更多个处理器110、耦合到一个或更多个处理器110的存储器112、耦合到所述一个或更多个处理器110的一个或更多个摄像机114、耦合到一个或更多个处理器的通信电路116以及耦合到一个或更多个处理器的一个或更多个显示屏118。存储器112可以对应于存储指令113的非暂时性计算机可读存储介质。指令113可由处理器110执行以执行本文描述的操作。通信电路116可以包括用于通信(例如，呼叫)其他头戴式装置的一个或更多个无线收发机、接收机、发射机、天线、无线电装置等。
头戴式装置106的摄像机114被配置为捕获物理环境102的图像数据115。根据一个实施方式，摄像机114可以位于头戴式装置106的不同位置，并且可以具有不同的取向，使得由摄像机114捕获的图像数据115反映头戴式装置用户104的周围环境。图像数据115被提供给处理器110，并且处理器110被配置为基于所捕获的图像数据115生成物理环境102的视觉表示120。例如，处理器110可以使用捕获的图像数据115来生成物理环境102的3D增强现实表示(例如，图2A的视觉表示120A)。处理器110可以被配置为在显示屏118上显示物理环境102的视觉表示120。结果，当头戴式装置用户104观看显示屏118时，头戴式装置用户104可以查看由处理器110生成的物理环境102的视觉表示120。
参考图2A，图示了显示在显示屏118上的视觉表示120A的第一非限制性示例。在图2A中，视觉表示120A对应于物理环境102的3D增强现实表示。图2A中描绘的物理环境102的视觉表示120A反映了当头戴式装置用户104在物理环境102中观看头戴式装置106的显示屏118时头戴式装置用户104所查看的内容。应当理解，头戴式装置用户104在图2A中查看的是图1描绘的物理环境102的经处理的图像(例如，实时视频，其可以包括虚拟对象的表示或其他数据，例如文本覆盖)。如下所述，本文所述的技术使得虚拟化身204A(指示远程头戴式装置用户)能够转置到视觉表示120A中。
参考图2B，图示了显示在显示屏118上的视觉表示120B的第二非限制性示例。在图2B中，视觉表示120B对应于物理环境102的2D表示。例如，视觉表示120B对应于飞行器100的结构布局或地图。如下所述，本文所述的技术使得虚拟化身204B-204D(指示飞行器100上的其他头戴式装置用户)能够被插入到视觉表示120B中，以使得头戴式装置用户104能够识别其他头戴式装置用户的位置。
根据一个实施方式，头戴式装置用户104可以选择视觉表示120A是否显示在显示屏118上，或者视觉表示120B是否显示在显示屏幕118上。例如，如果头戴式装置用户104从远程主题专家寻求维护帮助，则头戴式装置用户104可以选择显示视觉表示120A，使得远程主题专家的化身对头戴式装置用户104可见。然而，如果头戴式装置用户104试图识别飞行器100上的维护组的其他成员的位置，则头戴式装置用户104可以选择显示视觉表示120B。根据另一个实施方式，头戴式装置用户104可以选择结合视觉表示120B来显示视觉表示120A。例如，可视表示120B可以显示在显示屏118的角落中，而遍布显示屏118显示可视表示120A。下面，结合图1中的头戴式装置106的操作来描述图2A和图2B中描绘的视觉表示120A、120B。
返回参考图1，头戴式装置106的处理器110被配置为校准头戴式装置用户104在物理环境102中的位置。在校准头戴式装置用户104的位置之后，处理器110可以将指示其他头戴式装置用户的位置的化身插入到视觉表示120B中，假设其他头戴设备用户已经校准了其在飞行器中的位置，从而头戴式装置用户104也可以查看飞行器100中其他头戴式装置用户的位置。如图2A所示，假设远程头戴式装置用户已经校准了他或她在远程飞行器中的位置，则如图2A中所示，头戴式装置用户104还可以查看将他们在远程飞行器上的位置转置到飞行器100中的远程头戴式装置用户的位置。
为了校准头戴式装置用户104在物理环境102中的位置，头戴式装置用户104可以在显示在显示屏118上的视觉表示120A中指定一个或更多个虚拟位置指示符230。为了图示说明，头戴式装置用户104可以移动到物理环境102中的任意位置130A，并在视觉表示120A中指定虚拟位置指示符230A。例如，参考图2A，由头戴式装置用户104在物理环境102的视觉表示120A中指定的虚拟位置指示符230A指示向处理器110指示头戴式装置用户104处于位置130A的世界锚。参考图3描述关于指定虚拟位置指示符230A的附加细节。应当理解，为了确定头戴式装置用户104的位置，设置标记(例如，QR码)用于扫描的预定位置，与之相反，位置130A由头戴式装置用户104选择，并且可以对应于物理环境102中的任何任意位置。例如，如果位置130A对应于飞行员座椅，则头戴式装置用户104可以指示虚拟位置指示符230A位于飞行员座椅处。
在处理器110接收到由头戴式装置用户104指定的虚拟位置指示符230A之后，头戴式装置用户104可以移动到物理环境102中的另一个任意位置130B。处理器110可以使用一个或多个传感器(未示出)来跟踪头戴式装置用户104在第一位置130A和第二位置130B之间的移动。例如，处理器110可以跟踪在位置130A和位置130B之间的距离变化、在位置130A与位置130B间的高度变化、在位置1301A与位置1301B之间的方向等。一旦头戴式装置用户104处于位置130B，头戴式装置用户104可以在视觉表示120A中指定虚拟位置指示符230B。基于虚拟位置指示符230A、跟踪的移动和虚拟位置指示符230B，处理器110可以校准头戴式装置用户104在物理环境102中的位置和移动。特别地，通过使用两个世界锚和飞行器100的示意图，处理器110可以缩放头戴式装置用户104的移动，以在头戴式装置用户104贯穿飞行器100移动时准确地反映头戴式装置用户104的位置。这样，处理器110可以生成示出头戴式装置用户104在任何给定时间相对于飞行器100的位置的化身250，并在图2B的视觉表示120B中显示化身250。因此，头戴式装置用户104可以通过查看视觉表示120B来跟踪其在飞行器100中的位置。
在校准头戴式装置用户104的位置之后，处理器110可以生成并显示其他头戴式装置用户的化身。例如，根据一个实施方式，本文描述的技术使得指示远程头戴式装置用户的虚拟化身204A能够被转置到图2A的视觉表示120A中。为了图示说明，可以以类似于相对于飞行器100校准头戴式装置用户104的位置的方式相对于远程飞行器校准远程头戴式装置用户的位置。例如，在一个场景中，远程头戴式装置用户可以位于具有与飞行器100相似(或相同)布局的远程飞行器中。在这种情况下，远程头戴式装置用户可以以类似于头戴式装置用户104校准他或她在飞行器100中的位置的方式使用世界锚来校准他或她的在远程飞行器中的位置。远程头戴式装置用户然后可以将远程化身数据150发送到头戴式装置106。远程化身数据150可以指示远程飞行器中的远程头戴式装置用户的实时位置和实时移动。因为远程飞行器具有与飞行器100类似的布局，所以远程飞行器中的远程头戴式装置用户的位置和移动可以被转换到飞行器100。处理器110可以使用远程化身数据150来在物理环境102的视觉表示120A中生成远程用户的化身204A，如图2A所示。
因此，远程头戴式装置用户可以向头戴式装置用户104的头戴式装置106发送位置数据(例如，远程化身数据150)，使得化身204A(例如，该远程头戴式装置用户的虚拟表示)被转置到视觉表示120A中。结果，头戴式装置用户104可以在视觉表示120A中查看远程头戴式装置用户的3D化身204A，就像远程头戴式装置用户与头戴式装置用户104在同一飞行器100上一样。如果维护组成员佩戴着头戴式装置106，则远程主题专家的虚拟表示可以被转置到维护组成员的头戴式装置视图中，以帮助维护组成员进行维护操作。此外，头戴式装置用户104可以经由通信电路116与远程头戴式装置用户通信。例如，通过选择远程头戴式装置用户的3D化身204A，头戴式装置用户104可以启动与远程头戴式装置用户的呼叫。
根据一个实施方式，本文描述的技术使得头戴式装置用户104能够识别其他头戴式装置用户在飞行器100上的位置并与其他头戴式装置用户通信。为了图示说明，可以以类似于相对于飞行器100校准头戴式装置用户104的位置的方式，相对于飞行器100校准其他头戴式装置用户的位置。然后，其他头戴式装置用户可以将本地化身数据152发送到头戴式装置106。本地化身数据152可以指示其他头戴式装置用户在飞行器100中的实时位置和实时移动。处理器110可以使用本地化身数据152来生成其他头戴式装置用户在视觉表示120B中的化身204B、204C、204D，如图2B所示。
根据一个实施方式，头戴式装置用户104可以从视觉表示120B中选择特定化身204，以启动与相应的头戴式装置用户的通信。例如，通过选择视觉表示120B中的特定化身204，头戴式装置用户104可以启动与相关联的头戴式装置用户的呼叫。因此，如果维护组成员佩戴着头戴式装置106，则该维护组成员可以识别飞行器100中的其他维护组成员的位置(经由化身204的位置)，并且可以与这些组成员通信(经由头戴式装置106)，以确保在维护期间采取适当的安全预防措施。
在一些场景中，可以在不校准头戴式装置用户104的位置的情况下显示其他头戴式装置用户的位置。例如，处理器110可以接收本地化身数据152以生成视觉表示120B，而无需校准头戴式装置用户104的位置。在这些场景中，头戴式装置106将能够跟踪其他头戴式装置用户相对于周围环境的位置，但将不能跟踪其他头戴式装置用户相对于头戴式装置用户104的位置的位置，因为头戴式装置用户104的位置(例如，参考系)尚未被校准。
参考图1-图2B描述的技术使得与其他头戴式装置用户相关联的信息能够被集成到在头戴式装置用户104的头戴式装置106处显示的视觉表示120中。例如，指示其他头戴式装置用户在飞行器100中的位置的化身204B-204D可以被集成到显示在显示屏118上的视觉表示120B中。此外，头戴式装置用户104可以选择特定化身204来呼叫相应的头戴式装置用户。此外，本文所描述的技术使得远程头戴式装置用户能够将虚拟化身204A转置到显示在显示屏118上的视觉表示120A中，使得其看起来好像远程头戴式装置用户与头戴式装置用户104处于相同的物理环境102中。
图3描绘了用于指定虚拟位置指示符并选择要通过显示屏118查看的视觉表示的界面300的示例。例如，界面300可以是头戴式装置用户104可以通过头戴式装置106的显示屏118查看的虚拟界面。
界面300包括用于指定虚拟位置指示符230A、230B的两个选项302、304。第一选项302使头戴式装置用户104能够用手指定虚拟位置指示符230A、230B。例如，如果头戴式装置用户104选择第一选项302，则头戴式装置用户104可以步行到物理环境102中的位置130A。在头戴式装置用户104处于位置130A之后，头戴式装置用户104可以选择左箭头310来指定虚拟位置指示符230A。因此，在这种情况下，虚拟位置指示符230A被指定为用于校准头戴式装置用户104的位置的左锚。在指定虚拟位置指示符230A之后，头戴式装置用户104可以步行到物理环境102中的位置130B。在头戴式装置用户104处于位置130B之后，头戴式装置用户104可以选择右箭头312来指定虚拟位置指示符230B。因此，在这种情况下，虚拟位置指示符230B被指定为用于校准头戴式装置用户104的位置的右锚。
第二选项304使头戴式装置用户104能够通过语音命令指定虚拟位置指示符230A、230B。例如，如果头戴式装置用户104选择第二选项304，则头戴式装置用户104可以步行到物理环境102中的位置130A。在头戴式装置用户104处于位置130A之后，头戴式装置用户104可以说“向左扫描”以指定虚拟位置指示符230A。因此，在这种情况下，虚拟位置指示符230A被指定为用于校准头戴式装置用户104的位置的左锚。在指定虚拟位置指示符230A之后，头戴式装置用户104可以步行到物理环境102中的位置130B。在头戴式装置用户104处于位置130B之后，头戴式装置用户104可以说“向右扫描”以指定虚拟位置指示符230B。因此，在这种情况下，虚拟位置指示符230B被指定为用于校准头戴式装置用户104的位置的右锚。
在头戴式装置用户104指定虚拟位置指示符230之后，头戴式装置用户104可以选择是显示图2A的3D视觉表示120A还是显示图2B的2D视觉表示120B。例如，如果头戴式装置用户104在指定虚拟位置指示符230之后从界面300选择第三选项306，则处理器110可以在显示屏118上显示图2A的3D视觉表示120A。然而，如果头戴式装置用户104在指定虚拟位置指示符230之后从界面300选择第四选项308，则处理器110可以在显示屏118上显示图2B的2D视觉表示120B。
参考图3描述的技术使得能够基于头戴式装置用户104设置的锚来校准头戴式装置用户104的位置，而无需扫描在飞行器中的预定位置处的标记(例如QR码)。结果，头戴式装置用户104可以使用任何方便的任意位置作为校准锚，以使处理器110能够校准该位置。
参考图4，图示了显示在显示屏118上的视觉表示120C的第三非限制性示例。在图4中，视觉表示120C对应于物理环境102的3D增强现实表示。视觉表示120C类似于图2A的视觉表示120A，然而，视觉表示120C包括由远程头戴式装置用户而不是远程头戴式装置用户的化身204A提供的虚拟引导提示402。
例如，远程头戴式装置用户可以位于非飞行器环境中，而不是位于具有与飞行器100类似布局的飞行器中。为了图示说明，作为非限制性示例，远程头戴式装置用户可以在计算机上。在这种情况下，一旦头戴式装置用户104指定了虚拟位置指示符230，远程头戴式装置用户就可以使用计算机识别头戴式装置用户104在飞行器100上的位置。为了帮助头戴式装置用户104执行维护任务，远程头戴式装置用户可以从计算机将虚拟引导提示402插入显示在头戴式装置106的显示屏118上的视觉表示120C中。如图4所示，远程头戴式装置用户可以插入指示头戴式装置用户104的目标目的地的第一虚拟引导提示402A、指示头戴式装置用户106跟随到目标目的地的路径的第二虚拟引导提示402B和指示头戴式装置用户108和目标目的地之间的距离的第三虚拟引导提示。应当理解，虚拟引导提示402仅用于说明目的，不应被解释为限制。在其他实施方式中，远程头戴式装置用户可以将不同的虚拟引导提示插入到视觉表示120C中。
参考图4描述的技术使得远程主题专家能够帮助维护组成员执行维护任务。例如，远程主题专家可以从计算机将虚拟引导提示402插入显示在头戴式装置106的显示屏118上的视觉表示120C中。维护组成员(例如，头戴式装置用户104)可以跟随虚拟引导提示402到达目标目的地，并且可以与远程主题专家进行通信，以帮助完成维护任务。
参考图5，示出了一种用于向用户提供周围环境的情境感知的方法，并且总体上被指定为方法500。在特定方面，方法500的一个或更多个操作由头戴式装置106执行。
方法500包括在框502处，在头戴式装置的一个或更多个处理器处，基于在由头戴式装置的一个或更多个摄像机捕获的图像数据中由头戴式装置用户指定的一个或更多个虚拟位置指示符来校准头戴式装置用户在物理环境中的位置。例如，处理器110可以基于在由摄像机114捕获的图像数据115中由头戴式装置用户104指定的虚拟位置指示符230来校准头戴式装置用户104在物理环境102中的位置。
根据方法500的一个实施方式，校准头戴式装置用户104的位置包括在头戴式装置用户104处于物理环境102中的第一位置130a时，接收由一个或更多个摄像机114捕获的图像数据115中的由头戴式装置用户104指定的第一虚拟位置指示符230A。第一虚拟位置指示符230A指示头戴式装置用户104处于第一位置130A。校准头戴式装置用户104的位置还可以包括跟踪头戴式装置用户104在物理环境102中的第一位置130A和第二位置130B之间的移动。校准头戴式装置用户104的位置还可以包括在头戴式装置用户104处于物理环境102中的第二位置130B时，接收由一个或更多个摄像机114捕获的图像数据115中的由头戴式装置用户104指定的第二虚拟位置指示符230B。第二虚拟位置指示符230B指示头戴式装置用户104处于第二位置130B。可以基于第一虚拟位置指示符230A、所跟踪的移动和第二虚拟位置指示符230来相对于物理环境102校准头戴式装置用户104的位置。
方法500还包括在框504处，至少部分地基于位置生成物理环境的视觉表示。视觉表示示意性地表示物理环境的一个或更多个结构，并且包括位于视觉表示中以表示第二头戴式装置用户的位置的化身。例如，处理器110生成物理环境102的视觉表示120。
方法500还包括在框506处，在头戴式装置的一个或更多个显示屏处显示物理环境的视觉表示。例如，处理器110在头戴式装置106的显示屏118处显示物理环境102的视觉表示120。
方法500还包括在框508处，响应于检测到头戴式装置用户从经由一个或更多个显示屏显示的视觉表示中选择了化身，启动与第二头戴式装置用户的通信。例如，处理器110响应于检测到头戴式装置用户104从视觉表示120中选择了化身204，启动与第二头戴式装置用户的通信。
图5的方法500使得与其他头戴式装置用户相关联的信息能够被集成到在头戴式装置用户104的头戴式装置106处显示的视觉表示120中。例如，指示其他头戴式装置用户在飞行器100中的位置的化身204B-204D可以被集成到显示在显示屏118上的视觉表示120B中。此外，头戴式装置用户104可以选择特定化身204来呼叫相应的头戴式装置用户。此外，本文所描述的技术使得远程头戴式装置用户能够将虚拟化身204A转置到显示在显示屏118上的视觉表示120A中，使得其看起来好像远程头戴式装置用户与头戴式装置用户104处于相同的物理环境102中。
图6是包括计算设备610的计算环境600的框图，计算设备610被配置为支持根据本主题公开内容的计算机实施的方法和计算机可执行程序指令(或代码)的若干方面。例如，计算设备610或其部分被配置为执行指令以启动、执行或控制参考图1-图5描述的一个或更多个操作。根据另一实施方式，计算设备610可以对应于头戴式装置106。
计算设备610包括一个或更多个处理器620。根据一个实施方式，一个或更多个处理器620可以对应于图1的处理器110。根据另一实施方式，一个或更多个处理器620可以与处理器110不同，并且可以通过网络与处理器110通信。(一个或多个)处理器620被配置为与系统存储器630、一个或更多个存储设备640、一个或更多个输入/输出接口650、一个或一个以上通信接口660或其任何组合通信。系统存储器630包括易失性存储器设备(例如，随机存取存储器(RAM)设备)、非易失性存储设备(例如只读存储器(ROM)设备、可编程只读存储器和闪存)或两者。系统存储器630存储操作系统632，其可以包括用于引导计算设备610的基本输入/输出系统以及使计算设备610能够与用户、其他程序和其他设备交互的完整操作系统。根据一个实施方式，系统存储器630可以对应于图1的存储器112。例如，系统存储器630存储系统(程序)数据636，例如图像数据115、远程化身数据150、本地化身数据152等。根据另一实施方式，系统存储器620可以与存储器112不同，并且系统数据636可以通过网络进行通信。
系统存储器630包括可由(一个或多个)处理器620执行的一个或更多个应用程序634(例如，指令集)。作为一个示例，一个或更多个应用程序634包括可由(一个或多个)处理器620执行以启动、控制或执行参考图1-图5描述的一个或更多个操作的指令。为了图示说明，一个或更多个应用程序634包括可由(一个或多个)处理器620执行以启动、控制或执行参考头戴式装置106描述的一个或更多个操作的指令。
在特定实施方式中，系统存储器630包括一种存储指令的非暂时性计算机可读介质(例如，计算机可读存储设备)，该指令在由(一个或多个)处理器620执行时使(一个或多个)处理器620启动、执行或控制操作以向头戴式装置提供情境感知。这些操作包括基于在由一个或更多个摄像机(例如摄像机114)捕获的图像数据(例如，图像数据115)中由头戴式装置用户指定的一个或更多个虚拟位置指示符(例如，虚拟位置指示符230)来校准头戴式装置用户(例如，头戴式装置用户104)在物理环境(例如，物理环境102)中的位置(例如，位置130)。操作还包括至少部分地基于该位置来生成物理环境的视觉表示(例如，视觉表示120)。视觉表示示意性地表示物理环境的一个或更多个结构(例如，结构140)，并且包括位于视觉表示中以表示第二头戴式装置用户的位置的化身(例如，化身204)。这些操作还包括在一个或更多个显示屏(例如显示屏118)上显示物理环境的视觉表示。操作还包括响应于检测到头戴式装置用户经由视觉表示选择了化身，经由通信电路(例如，通信电路116)启动与第二头戴式装置用户的通信。
一个或更多个存储设备640包括非易失性存储设备，例如磁盘、光盘或闪存设备。在特定示例中，存储设备640包括可移动和不可移动存储设备。存储设备640被配置为存储操作系统、操作系统的图像、应用程序(例如，应用程序634中的一个或更多个)和程序数据(例如，程序数据636)。在特定方面，系统存储器630、存储设备640或两者包括有形计算机可读介质。在特定方面，存储设备640中的一个或更多个在计算设备610外部。
一个或更多个输入/输出接口650使计算设备610能够与一个或更多个输入/输出设备670通信以促进用户交互。例如，一个或更多个输入/输出接口650可以包括显示接口、输入接口或两者。例如，输入/输出接口650适于从用户接收输入、从另一计算设备接收输入或其组合。在一些实施方式中，输入/输出接口650符合一个或更多个标准接口协议，其包括串行接口(例如通用串行总线(USB)接口或电气和电子工程师协会(IEEE)接口标准)、并行接口、显示适配器、音频适配器，或自定义接口(“IEEE”是新泽西州，皮斯卡塔韦股份有限公司，电气与电子工程师协会的注册商标)。在一些实施方式中，输入/输出设备670包括一个或更多个用户接口设备和显示器。(一个或多个)处理器620被配置为经由一个或更多个通信接口660与设备或控制器680通信。
在一些实施方式中，一种非暂时性计算机可读介质存储指令，当该指令由一个或更多个处理器620执行时，使一个或更多个处理器620启动、执行或控制操作以执行上述功能的一部分或全部。例如，指令可以是可执行的以实施图1-图5的操作或方法中的一个或更多个。在一些实施方式中，图1-图5的一个或更多个操作或方法中的一部分或全部可以由执行指令的一个或多个处理器(例如，一个或更多个中央处理单元(CPU)、一个或更多个图形处理单元(GPU)、一个或更多个数字信号处理器(DSP))、专用硬件电路或者它们的任何组合来实施。
本文描述的示例的说明旨在提供对各种实施方式的结构的一般理解。这些说明不旨在作为利用本文所述结构或方法的仪器和系统的所有元件和特征的完整描述。在查看本公开内容之后，本领域技术人员可以清楚地看到许多其他实施方式。可以利用其他实施方式并从本公开中导出，使得可以在不脱离本公开的范围的情况下进行结构和逻辑替换和改变。例如，可以以与图中所示不同的顺序执行方法操作，或者可以省略一个或更多个方法操作。因此，本公开内容和附图应被视为说明性的而非限制性的。
此外，尽管本文已经图示和描述了具体示例，但是应当理解，设计用于实现相同或类似结果的任何后续布置可以替代所示的特定实施方式。本公开内容旨在覆盖各种实施方式的任何和所有后续修改或变化。在审阅说明书之后，以上实施方式的组合以及本文中未具体描述的其他实施方式对于本领域技术人员将是明显的。
所提交的本公开内容的摘要应理解为其将不会用于解释或限制权利要求的范围或含义。另外，在前面的具体实施方式中，为了简化本公开内容的目的，可以将各种特征组合在一起或在单个实施方式中进行描述。以上描述的示例说明但不限制本公开内容。还应该理解，根据本公开的原理，许多修改和变化是可能的。如所附权利要求所反映的，所要求保护的主题可以针对少于所公开示例中的任何一个的所有特征。因此，本公开内容的范围由所附权利要求及其等同物限定。
此外，本公开内容包括根据以下示例的实施例：
示例1
一种头戴式装置，其包括：通信电路；一个或更多个摄像机；一个或更多个显示屏；以及一个或更多个处理器，其耦合到所述通信电路、所述一个或更多个显示屏以及所述一个或更多个摄像机，并且被配置为：基于在由所述一个或更多个摄像机捕获的图像数据中的由所述头戴式装置用户指定的一个或更多个虚拟位置指示符来校准头戴式装置用户在物理环境中的位置；至少部分地基于所述位置生成所述物理环境的视觉表示，其中所述视觉表示示意性地表示所述物理环境的一个或更多个结构，并且包括位于所述视觉表示中以表示第二头戴式装置用户的位置的化身；在所述一个或更多个显示屏上显示所述物理环境的视觉表示；以及响应于检测到所述头戴式装置用户经由所述视觉表示选择了所述化身，经由所述通信电路启动与所述第二头戴式装置用户的通信。
示例2
根据示例1实施的头戴式装置，其中所述物理环境包括飞行器。
示例3
根据示例1至2中任一所述的头戴式装置，其中所述视觉表示对应于所述物理环境的二维表示。
示例4
根据示例1至3中任一所述的头戴式装置，其中所述视觉表示对应于所述物理环境的三维增强现实表示。
示例5
根据示例1至4中任一所述的头戴式装置，其中所述物理环境对应于飞行器，其中所述头戴式装置用户和所述第二头戴式装置用户位于所述飞行器中，并且其中所述物理环境的所述视觉表示(120)包括所述飞行器的布局的表示以及指示所述头戴式装置用户和一个或更多个附加头戴式装置用户相对于所述飞行器布局的位置的一个或更多个化身。
示例6
根据示例1至5中任一所述的头戴式装置，其中所述物理环境对应于第一飞行器，其中所述头戴式装置用户位于所述第一飞行器中，并且其中所述第二头戴式装置用户位于包括与所述第一飞行器相似特性的第二飞行器中。
示例7
根据示例1至5中任一所述的头戴式装置，其中所述物理环境对应于第一飞行器，其中所述头戴式装置用户位于所述第一飞行器中，并且其中所述第二头戴式装置用户位于非飞行器环境中。
示例8
根据示例1至7中任一所述的头戴式装置，其中所述一个或更多个处理器还被配置为：当所述头戴式装置用户处于所述物理环境中的第一位置时，接收在由所述一个或更多个摄像机捕获的图像数据中的由所述头戴式装置用户指定的第一虚拟位置指示符，所述第一虚拟位置指示符指示所述头戴式装置用户处于所述第一位置；跟踪头戴式装置用户在所述物理环境中的所述第一位置和第二位置之间的移动；当所述头戴式装置用户处于所述物理环境中的所述第二位置时，接收在由所述一个或更多个摄像机捕获的所述图像数据中的由所述头戴式装置用户指定的第二虚拟位置指示符，所述第二虚拟位置指示符指示所述头戴式装置用户位于所述第二位置；以及基于所述第一虚拟位置指示符、所跟踪的移动和所述第二虚拟位置指示符来校准所述头戴式装置用户相对于所述物理环境的位置。
示例9
根据示例1至8中任一所述的头戴式装置，其中所述物理环境的视觉表示还包括指示所述头戴式装置用户的位置的头戴式装置用户化身。
示例10
根据示例1至9中任一所述的头戴式装置，其中所述物理环境的视觉表示还包括指示一个或更多个附加远程用户相对于所述物理环境的位置的一个或更多个附加化身。
示例11
根据示例1至10中任一所述的头戴式装置，其中在不扫描设置物理环境中的预定位置的标记的情况下确定头戴式装置用户的位置。
示例12
一种方法，其包括：在头戴式装置的一个或更多个处理器处，基于在由头戴式装置的一个或更多个摄像机捕获的图像数据中由头戴式装置用户指定的一个或更多个虚拟位置指示符来校准所述头戴式装置用户在物理环境中的位置；至少部分地基于所述位置生成所述物理环境的视觉表示，其中所述视觉表示示意性地表示所述物理环境的一个或更多个结构，并且包括位于所述视觉表示中以表示第二头戴式装置用户的位置的化身；在头戴式装置的一个或更多个显示屏处显示所述物理环境的所述视觉表示；以及响应于检测到所述头戴式装置用户从经由所述一个或更多个显示屏显示的所述视觉表示中选择了所述化身，启动与所述第二头戴式装置用户的通信。
示例13
根据示例12所述的方法，其中校准所述头戴式装置用户的所述位置包括：当所述头戴式装置用户处于所述物理环境中的第一位置时，接收在由一个或更多个摄像机捕获的图像数据中由所述头戴式装置用户指定的第一虚拟位置指示符，所述第一虚拟位置指示符指示所述头戴式装置用户处于所述第一位置；跟踪所述头戴式装置用户在所述物理环境中的所述第一位置和第二位置之间的移动；当所述头戴式装置用户处于所述物理环境中的所述第二位置时，接收在由所述一个或更多个摄像机捕获的所述图像数据中由所述头戴式装置用户指定的第二虚拟位置指示符，所述第二虚拟位置指示符指示所述头戴式装置用户位于所述第二位置；以及基于所述第一虚拟位置指示符、所跟踪的移动和所述第二虚拟位置指示符来校准所述头戴式装置用户相对于所述物理环境的所述位置。
示例14
根据示例12至13中任一项所述的方法，其中所述物理环境包括飞行器。
示例15
根据示例12至14中任一项所述的方法，其中所述视觉表示对应于所述物理环境的二维表示。
示例16
根据示例12至15中任一项所述的方法，其中所述视觉表示对应于所述物理环境的三维增强现实表示。
示例17
根据示例12至16中任一项所述的方法，其中所述第二头戴式装置用户远离所述物理环境，并且其中所述化身对应于被转置到所述三维增强现实表示中的所述第二头戴式装置用户的虚拟表示。
示例18
根据示例12至17中任一项所述的方法，其中所述物理环境对应于第一飞行器，其中所述头戴式装置用户位于所述第一飞行器中，并且其中所述第二头戴式装置用户位于包括与所述第一飞行器相似特性的第二飞行器中。
示例19
根据示例12至17中任一项所述的方法，其中所述物理环境对应于第一飞行器，其中所述头戴式装置用户位于所述第一飞行器中，并且其中所述第二头戴式装置用户位于非飞行器环境中。
示例20
根据示例12至19中任一项所述的方法，其中所述物理环境的所述视觉表示还包括指示所述头戴式装置用户的所述位置的头戴式装置用户化身。
示例21
根据示例12至20中任一项所述的方法，其中所述物理环境的所述视觉表示还包括指示一个或更多个附加远程用户相对于所述物理环境的位置的一个或更多个附加化身。
示例22
根据示例12至21中任一项所述的方法，其中在不扫描设置在物理环境中的预定位置的标记的情况下确定头戴式装置用户的位置。
示例23
一种包括指令的非暂时性计算机可读介质，当指令由头戴式装置的一个或更多个处理器执行时，所述指令使得所述一个或更多个处理器：基于在由一个或更多个摄像机捕获的图像数据中由头戴式装置用户指定的一个或更多个虚拟位置指示符来校准所述头戴式装置用户在物理环境中的位置；至少部分地基于所述位置生成所述物理环境的视觉表示，其中所述视觉表示示意性地表示所述物理环境的一个或更多个结构，并且包括位于所述视觉表示中以表示第二头戴式装置用户的位置的化身；在一个或更多个显示屏上显示物理环境的视觉表示；以及响应于检测到所述头戴式装置用户经由所述视觉表示选择了所述化身，经由通信电路启动与所述第二头戴式装置用户的通信。
示例24
根据示例23所述的非暂时性计算机可读介质，其中所述物理环境包括飞行器。
示例25
根据示例23至24中任一所述的非暂时性计算机可读介质，其中所述视觉表示对应于所述物理环境的二维表示。
示例26
根据示例23至25中任一所述的非暂时性计算机可读介质，其中所述视觉表示对应于所述物理环境的三维增强现实表示。
示例27
根据示例23至26中任一所述的非暂时性计算机可读介质，其中所述第二头戴式装置用户远离所述物理环境，并且其中所述化身对应于被转置到所述三维增强现实表示中的所述第二头戴式装置用户的虚拟表示。
示例28
根据示例23至27中任一所述的非暂时性计算机可读介质，其中所述物理环境对应于第一飞行器，其中所述头戴式装置用户位于所述第一飞行器中，并且其中所述第二头戴式装置用户位于包括与所述第一飞行器相似的特性的第二飞行器中。
示例29
根据示例23至28中任一所述的非暂时性计算机可读介质，其中所述物理环境对应于第一飞行器，其中所述头戴式装置用户位于所述第一飞行器中，并且其中所述第二头戴式装置用户位于非飞行器环境中。
示例30
根据示例23至29中任一所述的非暂时性计算机可读介质，其中所述指令还可执行以使所述一个或更多个处理器：当所述头戴式装置用户处于所述物理环境中的第一位置时，接收在由所述一个或更多个摄像机捕获的图像数据中由所述头戴式装置用户指定的第一虚拟位置指示符，所述第一虚拟位置指示符指示所述头戴式装置用户处于所述第一位置；跟踪所述头戴式装置用户在所述物理环境中的所述第一位置和第二位置之间的移动；当所述头戴式装置用户处于所述物理环境中的所述第二位置时，接收在由所述一个或更多个摄像机捕获的所述图像数据中由所述头戴式装置用户指定的第二虚拟位置指示符，所述第二虚拟位置指示符指示所述头戴式装置用户位于所述第二位置；以及基于所述第一虚拟位置指示符、所跟踪的移动和所述第二虚拟位置指示符来校准所述头戴式装置用户相对于所述物理环境的位置。
示例31
根据示例23至30中任一所述的非暂时性计算机可读介质，其中所述物理环境的所述视觉表示还包括指示所述头戴式装置用户的位置的头戴式装置用户化身。
示例32
根据示例23至31中任一所述的非暂时性计算机可读介质，其中所述物理环境的所述视觉表示还包括指示一个或更多个附加远程用户相对于所述物理环境的位置的一个或更多个附加化身。
示例33
根据示例23至32中任一所述的非暂时性计算机可读介质，其中在不扫描设置在物理环境中的预定位置的标记的情况下确定所述头戴式装置用户的所述位置。

Claims (15)

1.一种头戴式装置(106)，其包括：
通信电路(116)；
一个或更多个摄像机(114)；
一个或更多个显示屏(118)；以及
一个或更多个处理器(110)，其耦合到所述通信电路(116)、所述一个或更多个显示屏(118)和所述一个或更多个摄像机(114)，并且被配置为：
基于在由所述一个或更多个摄像机(114)捕获的图像数据(115)中的由头戴式装置用户(104)指定的一个或更多个虚拟位置指示符(230)，校准所述头戴式装置用户在物理环境(102)中的位置(130)；
至少部分地基于所述位置(130)生成所述物理环境(102)的视觉表示(120)，其中所述视觉表示(120)示意性地表示所述物理环境(102)的一个或更多个结构(140)，并且包括位于所述视觉表示(120)中以表示第二头戴式装置用户的位置的化身(204)；
在所述一个或更多个显示屏(118)处显示所述物理环境(102)的所述视觉表示(120)；以及
响应于检测到所述头戴式装置用户(104)经由所述视觉表示(120)选择所述化身(204)，经由所述通信电路(116)启动与所述第二头戴式装置用户通信。
2.根据权利要求1所述的头戴式装置(106)，其中所述物理环境(102)包括飞行器(100)。
3.根据权利要求1至2中任一项所述的头戴式装置(106)，其中所述视觉表示(120)对应于所述物理环境(102)的二维表示(120B)。
4.根据权利要求1至2中任一项所述的头戴式装置(106)，其中所述视觉表示(120)对应于所述物理环境(102)的三维增强现实表示(120A)。
5.根据权利要求1至4中任一项所述的头戴式装置(106)，其中所述物理环境(102)对应于飞行器(100)，其中所述头戴式装置用户和所述第二头戴式装置用户位于所述飞行器中，并且其中所述物理环境(102)的所述视觉表示(120)包括所述飞行器(100)的布局的表示(120A)以及指示所述头戴式装置用户(104)和一个或更多个附加头戴式装置用户相对于所述飞行器的所述布局的位置的一个或更多个化身(204)。
6.根据权利要求1至4中任一项所述的头戴式装置(106)，其中所述物理环境(102)对应于第一飞行器(100)，其中所述头戴式装置用户(104)位于所述第一飞行器(100)中，并且其中所述第二头戴式装置用户位于包括与所述第一飞行器相似的特性的第二飞行器中。
7.根据权利要求1至4中任一项所述的头戴式装置(106)，其中所述物理环境(102)对应于第一飞行器(100)，其中所述头戴式装置用户(104)位于所述第一飞行器(200)中，并且其中所述第二头戴式装置用户位于非飞行器环境中。
8.根据权利要求1至7中任一项所述的头戴式装置(106)，其中所述一个或更多个处理器(110)还被配置为：
当所述头戴式装置用户(104)处于所述物理环境(102)中的第一位置(130A)时，接收在由所述一个或更多个摄像机(114)捕获的图像数据(115)中的由所述头戴式装置用户指定的第一虚拟位置指示符(230A)，所述第一虚拟位置指示符(230A)指示所述头戴式装置用户(104)处于所述第一位置(130A)；
跟踪所述头戴式装置用户(104)在所述物理环境(102)中的所述第一位置(130A)和第二位置(130B)之间的移动；
当所述头戴式装置用户(104)处于所述物理环境(102)中的所述第二位置(130B)时，接收在由一个或更多个摄像机(114)捕获的图像数据(115)中的由所述头戴式装置用户(104)指定的第二虚拟位置指示符(230B)，所述第二虚拟位置指示符(230B)指示所述头戴式装置用户(104)处于所述第二位置(130B)；以及
基于所述第一虚拟位置指示符(230A)、所跟踪的移动和所述第二虚拟位置指示符(230B)，校准所述头戴式装置用户(104)相对于所述物理环境(102)的所述位置。
9.根据权利要求1至8中任一项所述的头戴式装置(106)，其中所述物理环境(102)的视觉表示(120)还包括指示所述头戴式装置用户(104)的所述位置的头戴式装置用户化身(250)。
10.根据权利要求1至9中任一项所述的头戴式装置(106)，其中所述物理环境(102)的所述视觉表示(120)还包括一个或更多个附加化身(204)，所述一个或更多个附加化身指示一个或更多个附加远程用户相对于所述物理环境(102)的位置。
11.根据权利要求1至10中任一项所述的头戴式装置(106)，其中在不扫描设置所述物理环境中的预定位置的标记的情况下确定所述头戴式装置用户(104)的所述位置。
12.一种方法(500)，其包括：
在头戴式装置(106)的一个或更多个处理器(110)处，基于在所述头戴式装置(106)的一个或更多个摄像机(114)捕获的图像数据(115)中的由头戴式装置用户(104)指定的一个或更多个虚拟位置指示符(230)，校准(502)头戴式装置用户(104)在物理环境(102)中的位置(130)；
至少部分地基于所述位置(130)生成(504)所述物理环境(102)的视觉表示(120)，其中所述视觉表示(130)示意性地表示所述物理环境(102)的一个或更多个结构(140)，并且包括位于所述视觉表示(120)中以表示第二头戴式装置用户的位置的化身(204)；
在所述头戴式装置(106)的一个或更多个显示屏(118)处显示(506)所述物理环境(102)的所述视觉表示(120)；以及
响应于检测到所述头戴式装置用户(104)从经由所述一个或更多个显示屏(118)显示的所述视觉表示(120)选择了所述化身(204)，启动(508)与所述第二头戴式装置用户的通信。
13.根据权利要求12所述的方法(500)，其中校准所述头戴式装置用户(104)的位置(130)包括：
当所述头戴式装置用户(104)处于所述物理环境(102)中的第一位置(130A)时，接收在由所述一个或更多个摄像机(114)捕获的图像数据(115)中的由所述头戴式装置用户(104)指定的第一虚拟位置指示符(230A)，所述第一虚拟位置指示符(230A)指示所述头戴式装置用户处于所述第一位置(1301A)；
跟踪所述头戴式装置用户(104)在所述物理环境(102)中的所述第一位置(130A)和第二位置(130B)之间的移动；
当所述头戴式装置用户(104)在所述物理环境(102)中处于所述第二位置(130B)时，接收在由一个或更多个摄像机(114)捕获的图像数据(115)中的由所述头戴式装置用户(104)指定的第二虚拟位置指示符(230B)，所述第二虚拟位置指示符(230A)指示所述头戴式装置用户(104)处于所述第二位置(130B)；以及
基于所述第一虚拟位置指示符(230A)、所跟踪的移动和所述第二虚拟位置指示符(230B)，校准所述头戴式装置用户(104)相对于所述物理环境(102)的所述位置(130)。
14.根据权利要求12至13中任一项所述的方法(500)，其中所述物理环境(102)包括飞行器(100)。
15.根据权利要求12至14中任一项所述的方法(500)，其中所述视觉表示(120)对应于所述物理环境(102)的二维表示(120B)和所述物理环境(102)中的三维增强现实表示(120A)之一。
CN202310108199.9A 2022-02-04 2023-02-01 情境感知头戴式装置 Pending CN116560494A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/650,001 US20230252730A1 (en) 2022-02-04 2022-02-04 Situational awareness headset
US17/650,001 2022-02-04

Publications (1)

Publication Number Publication Date
CN116560494A true CN116560494A (zh) 2023-08-08

Family

ID=84541548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310108199.9A Pending CN116560494A (zh) 2022-02-04 2023-02-01 情境感知头戴式装置

Country Status (6)

Country Link
US (1) US20230252730A1 (zh)
EP (1) EP4224290A1 (zh)
JP (1) JP2023114452A (zh)
KR (1) KR20230118506A (zh)
CN (1) CN116560494A (zh)
AU (1) AU2023200560A1 (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002287846A (ja) * 2001-03-26 2002-10-04 Mitsubishi Heavy Ind Ltd 現場支援システム
US8615383B2 (en) * 2008-01-18 2013-12-24 Lockheed Martin Corporation Immersive collaborative environment using motion capture, head mounted display, and cave
US10843089B2 (en) * 2018-04-06 2020-11-24 Rovi Guides, Inc. Methods and systems for facilitating intra-game communications in a video game environment
EP3776146A1 (en) * 2018-04-09 2021-02-17 Spatial Inc. Augmented reality computing environments
US11086474B2 (en) * 2018-04-09 2021-08-10 Spatial Systems Inc. Augmented reality computing environments—mobile device join and load
US11023095B2 (en) * 2019-07-12 2021-06-01 Cinemoi North America, LLC Providing a first person view in a virtual world using a lens
US11159766B2 (en) * 2019-09-16 2021-10-26 Qualcomm Incorporated Placement of virtual content in environments with a plurality of physical participants
US11348300B2 (en) * 2020-04-03 2022-05-31 Magic Leap, Inc. Avatar customization for optimal gaze discrimination
JP2021194293A (ja) * 2020-06-16 2021-12-27 株式会社バンダイナムコアミューズメント アミューズメントシステム
US11609682B2 (en) * 2021-03-31 2023-03-21 Verizon Patent And Licensing Inc. Methods and systems for providing a communication interface to operate in 2D and 3D modes
US11934569B2 (en) * 2021-09-24 2024-03-19 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20230214007A1 (en) * 2021-12-30 2023-07-06 V-Armed Inc. Virtual reality de-escalation tool for delivering electronic impulses to targets

Also Published As

Publication number Publication date
JP2023114452A (ja) 2023-08-17
KR20230118506A (ko) 2023-08-11
AU2023200560A1 (en) 2023-08-24
US20230252730A1 (en) 2023-08-10
EP4224290A1 (en) 2023-08-09

Similar Documents

Publication Publication Date Title
US10147234B2 (en) System and method for augmented reality display of electrical system information
US9746913B2 (en) Secured mobile maintenance and operator system including wearable augmented reality interface, voice command interface, and visual recognition systems and related methods
CN110458961B (zh) 基于增强现实的系统
US20190278272A1 (en) Method, device, and system for object testing
JP4950348B2 (ja) 情報提供装置、情報提供方法、及びプログラム
US20170168306A1 (en) Device and method for testing function or use of a head worn see through augmented reality device
EP3125213A2 (en) Onboard aircraft systems and methods to identify moving landing platforms
US10937328B2 (en) Aircraft flight information system and method
JP2005165848A (ja) 複合現実感提示方法および装置
CN111352434B (zh) 支持接近机场的机场跑道的飞机的设备及方法
JP6915683B2 (ja) 制御装置、制御方法およびプログラム
US10430967B2 (en) Information processing apparatus, method, and program
US20170220105A1 (en) Information processing apparatus, information processing method, and storage medium
CN106611414B (zh) 一种增强视景系统及增强显示中跑道的增强显示方法
CN113597568A (zh) 数据处理方法、控制设备及存储介质
US20210318173A1 (en) Measurement system, measurement device, measurement method, and program
CN116560494A (zh) 情境感知头戴式装置
US20230094918A1 (en) Aircraft control apparatus, aircraft control method, and non-transitory computer-readable medium
US20230343228A1 (en) Information processing apparatus, information processing system, and information processing method, and program
US11586225B2 (en) Mobile device, mobile body control system, mobile body control method, and program
US20220415193A1 (en) Image processing device, image processing method, and program
US10943491B2 (en) Method of synthetic visualization of a scene viewed from an aircraft and to a synthetic vision system for implementing such a method
US20210256865A1 (en) Display system, server, display method, and device
CN113272754A (zh) 无人机的控制方法、装置、无人机、控制终端及系统
CN106688018A (zh) 对目标进行成像、监视和/或指示的机载光电设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication