CN116685934A - 增强现实精确追踪和显示 - Google Patents

Abstract

示例性系统、设备、介质和方法被描述为用于追踪一个或多个可移动对象并且在显示器上呈现靠近所追踪的可移动对象的虚拟元素。一个或多个超宽带(UWB)发射器被安装到包括至少两个同步UWB接收器的物理环境中的每个可移动对象。所述接收器计算每个可移动对象的当前位置。包括一个或多个眼戴设备的多个便携式电子设备与所述接收器在网络中配对。定位应用确定每个眼戴设备的当前位置。渲染应用将一个或多个虚拟元素作为相对于当前可移动对象位置并且相对靠近当前眼戴器位置的叠层呈现在显示器上。所述物理环境由静态网格表示。时间同步追踪应用识别未耦接到UWB发射器的移动项目。所述渲染应用根据所述静态网格和所述移动项目在所述显示器上呈现所述虚拟元素。

Description

增强现实精确追踪和显示

相关申请的交叉引用

本申请要求2020年12月30日提交的美国临时专利申请序列号63/131,961和2021年1月28日提交的美国专利申请序列号17/161,213的优先权，这两个专利申请的全部内容据此以引用方式并入。

技术领域

本公开中阐述的示例涉及增强现实和可穿戴电子设备诸如眼戴器领域。更具体地，但不作为限制，本公开描述了靠近可移动对象的虚拟元素的显示，使用超宽带(UWB)技术来追踪该可移动对象。

背景技术

当今可用的许多类型的计算机和电子设备诸如移动设备(例如，智能电话、平板电脑和笔记本电脑)、手持式设备和可穿戴设备(例如，智能眼镜、数字眼戴器、头饰、头戴器和头戴式显示器)包括各种相机、传感器、无线收发器、输入系统和显示器。

超宽带(UWB)是一种基于无线电的短程、高带宽脉冲传输数据的技术。IEEE802.15.4a提出了针对与UWB传输相关联的物理层的国际技术标准。在追踪的场景下，两个或更多个UWB接收器被放置在物理空间中并且是时间同步的。附接到可移动对象的UWB发射器周期性地发射脉冲。每个接收器对每个脉冲的到达加时间戳。时间戳被多点定位算法使用，以基于每个脉冲到达每个接收器的时间差来计算每个发射器(在每个可移动对象上)的精确位置(x,y,z)。脉冲发射器在相对短的范围(例如，最远250米)上广播脉冲，并且以相对低的功率(例如，一毫瓦)操作。

虚拟现实(VR)技术生成包括逼真图像的完整虚拟环境，这些逼真图像有时在VR头戴式耳机或其他头戴式显示器上呈现。VR体验允许用户在虚拟环境中移动并且与虚拟对象交互。增强现实(AR)是一种VR技术，它将物理环境中的现实对象与虚拟对象组合，并将该组合显示给用户。组合显示给出了虚拟对象真实地存在于环境中的印象，尤其是当虚拟对象看起来并且表现得像真实对象一样时。

计算机视觉和AR系统连续扫描物理环境中的所有静止和移动的对象，而不检测任何特定对象的身份或将其与其他对象区分。例如，检测和扫描打开的门，而不考虑其是否与在先前扫描中检测到的处于关闭定位的同一门相关。在当前扫描中，打开的门被识别为新的门。计算机视觉和AR系统不能保持与可移动对象相关联的身份的连续性。

附图说明

从以下参考附图的具体实施方式中，将容易理解所描述的各种示例的特征。在说明书中和附图的几个视图中，每个元件使用了附图标记。当存在多个相似的元件时，可以给相似的元件指定单个附图标记，通过添加小写字母来指代特定的元件。

除非另外指出，否则附图中所示的各种元件并非按比例绘制的。为了清楚起见，可放大或缩小各个元件的尺寸。若干附图描绘了一个或多个具体实施，并且仅作为示例呈现，而不应被解释为限制。附图中包括以下附图：

图1A是适用于追踪和显示系统的眼戴设备的示例性硬件配置的侧视图(右)；

图1B是图1A的眼戴设备的右角部的局部横截面透视图，图1B描绘了右可见光相机和电路板；

图1C是图1A的眼戴设备的示例性硬件配置的侧视图(左)，图1C示出了左可见光相机；

图1D是图1C的眼戴设备的左角部的局部横截面透视图，图1D描绘了左可见光相机和电路板；

图2A和图2B是图1A的眼戴设备的示例性硬件配置的后视图；

图3是三维场景、由图1A的眼戴设备的左可见光相机捕获的左原始图像和由右可见光相机捕获的右原始图像的图形描绘；

图4是包括脉冲发射器、接收器、可穿戴设备(例如，眼戴设备)和经由各种网络连接的服务器系统的示例性追踪和显示系统的功能框图；

图5是用于图4的追踪和显示系统的移动设备的示例性硬件配置的图形表示；

图6是示例性追踪和显示系统的功能框图，该示例性追踪和显示系统包括耦接到可移动对象的超宽带脉冲发射器、两个超宽带接收器、一个或多个眼戴设备、一个或多个移动设备和一组数据库元素；

图7是示例性物理环境的透视图，其示出耦接到可移动对象的超宽带脉冲发射器、示例性对象网格和静态网格的一部分；并且

图8是呈现在眼戴器显示器上可移动对象附近的示例性虚拟元素的透视图。

具体实施方式

参考示例描述了各种具体实施和细节，包括用于追踪可移动对象并显示相对靠近可移动对象的虚拟元素的示例性系统。在该示例中的系统包括超宽带(UWB)脉冲发射器和至少两个同步接收器，该超宽带脉冲发射器耦接到物理环境中的可移动对象，并且被配置为广播包括唯一标识符的脉冲，该至少两个同步接收器相对于物理环境处于固定接收器位置处。对象位置应用基于所广播的脉冲来计算可移动对象的当前对象位置。与接收器配对通信的眼戴设备包括处理器、存储器、定位应用、渲染应用和显示器。定位应用确定眼戴设备的当前眼戴器位置。渲染应用将虚拟元素作为相对于所计算的当前对象位置并且相对靠近所确定的当前眼戴器位置的叠层呈现在显示器上。

以下具体实施方式包括说明本公开中阐述的示例的系统、方法、技术、指令序列和计算机器程序产品。出于提供对所公开的主题及其相关教导内容的透彻理解的目的而包括许多细节和示例。然而，相关领域的技术人员能够理解如何在没有此类细节的情况下应用相关教导内容。所公开的主题的各方面不限于所描述的特定设备、系统和方法，因为相关教导内容可以以各种方式来应用或实践。本文中所使用的术语和命名仅仅是为了描述特定方面并非旨在进行限制。通常，公知的指令实例、协议、结构和技术不一定被详细示出。

本文中所使用的术语“耦接”或“连接”指的是任何逻辑、光学、物理或电连接，包括链路等，由一个系统元件产生或提供的电或磁信号通过这些连接传递到另一耦接或连接的系统元件。除非另外描述，否则耦接或连接的元件或设备不一定直接彼此连接，并且可由中间组件、元件或通信介质隔开，中间部件、元件或通信介质中的一者或多者可修改、操纵或承载电信号。术语“上”是指由元件直接支撑或通过另一元件由元件间接支撑，该另一元件集成到元件中或由元件支撑。

术语“近侧”用于描述位于对象或人附近、左近或旁边的物品或物品的一部分；或者相对于该物品的其他部分更近，其他部分可以被描述为“远侧”。例如，物品最靠近对象的端部可以被称为近侧端部，而大致相对的端部可以被称为远侧端部。

出于说明和讨论的目的，仅以示例的方式给出了任意附图所示的眼戴设备、其他移动设备、相关联部件和任何其他包含相机、惯性测量单元或两者的设备的定向。在操作中，眼戴设备可以在适合于眼戴设备的特定应用的任何其他方向上定向，例如，向上、向下、侧向或任何其他定向。此外，就本文所用的范围而言，任何方向性术语，诸如前、后、内、外、向、左、右、侧向、纵向、上、下、高、低、顶部、底部、侧面、水平、垂直和对角，仅以示例的方式使用，并且不限制如本文所构造或另外描述的任何相机或惯性测量单元的方向或定向。

高级AR技术，诸如计算机视觉和对象追踪，可用于产生在感知上丰富和沉浸的体验。计算机视觉算法从数字图像或视频中捕获的数据中提取关于物理世界的三维数据。对象识别和追踪算法用于检测数字图像或视频中的对象，估计其定向或姿态，并且追踪其随时间的移动。实时的手和手指识别与追踪是计算机视觉领域中最具挑战性和处理密集型的任务之一。

术语“姿态”是指对象在某一特定时刻的静态定位和定向。术语“手势”是指对象诸如手通过一系列姿态的主动移动，有时用于传达信号或想法。术语“姿态”和“手势”有时在计算机视觉和增强现实的领域中可互换地使用。如本文所用，术语“姿态”或“手势”(或它们的变型)旨在包括姿态和手势两者；换句话说，使用一个术语并不排除另一个术语。

示例的其他目的、优点和新颖特征将部分地在以下具体实施方式中阐述，并且部分地在本领域技术人员检查以下内容和附图后将变得显而易见，或者可通过示例的产生或操作来了解。本主题的目的和优点可借助于所附权利要求书中特别指出的方法、手段和组合来实现和达成。

现在详细参考附图所示和下文所讨论的示例。

图1A是包括触敏输入设备或触摸板181的眼戴设备100的示例性硬件配置的侧视图(右)。如图所示，触摸板181可具有细微且不易看到的边界；另选地，边界可清楚可见或包括向用户提供关于触摸板181的位置和边界的反馈的凸起或以其他方式可触知的边缘。在其他具体实施中，眼戴设备100可包括在左侧的触摸板。

触摸板181的表面被配置为检测手指触摸、轻击和手势(例如，移动的触摸)，以便与眼戴设备在图像显示器上显示的GUI一起使用，从而允许用户以直观的方式浏览并选择菜单选项，这改善并简化了用户体验。

对触摸板181上的手指输入的检测可实现若干功能。例如，触摸触摸板181上的任何地方都可使GUI在图像显示器上显示或突出显示项目，该项目可被投影到光学组件180A、180B中的至少一者上。在触摸板181上双击可选择项目或图标。在特定方向上(例如，从前到后、从后到前、从上到下或从下到上)滑动或轻扫手指可使项目或图标在特定方向上滑动或滚动；例如，以移动到下一项目、图标、视频、图像、页面或幻灯片。在另一方向上滑动手指可以在相反方向上滑动或滚动；例如，以移动到前一项目、图标、视频、图像、页面或幻灯片。触摸板181实际上可以在眼戴设备100上的任何地方。

在一个示例中，在触摸板181上单击的所识别的手指手势发起对呈现在光学组件180A、180B的图像显示器上的图像中的图形用户界面元素的选择或按压。基于所识别的手指手势对呈现在光学组件180A、180B的图像显示器上的图像的调整可以是在光学组件180A、180B的图像显示器上选择或提交图形用户界面元素以用于进一步显示或执行的主要动作。

如图所示，眼戴设备100包括右可见光相机114B。如本文进一步描述，两个相机114A、114B从两个不同视点捕获场景的图像信息。两个所捕获的图像可用于将三维显示投影到图像显示器上以利用3D眼镜进行观看。

眼戴设备100包括右光学组件180B，其具有图像显示器以呈现图像，诸如深度图像。如图1A和图1B所示，眼戴设备100包括右可见光相机114B。眼戴设备100可包括多个可见光相机114A、114B，其形成被动式三维相机，诸如立体相机，其中右可见光相机114B位于右角部110B。如图1C至图1D所示，眼戴设备100还包括左可见光相机114A。

左可见光相机和右可见光相机114A、114B对可见光范围波长敏感。可见光相机114A、114B中的每一者具有不同的前向视场，这些视场重叠以使得能够生成三维深度图像，例如，右可见光相机114B描绘右视场111B。通常，“视场”是在空间中的部分场景，这一场景对特定定位处和定向上通过相机来说是可见的。视场111A和111B具有重叠视场304(图3)。当可见光相机捕获图像时，视场111A、111B之外的对象或对象特征未被记录在原始图像(例如，照片或图片)中。视场描述了可见光相机114A、114B的图像传感器在给定场景的所捕获的图像中拾取给定场景的电磁辐射的角度范围或幅度。视场可以被表示为视锥的角度大小；即视角。视角可以水平、垂直或对角地测量。

在示例性配置中，可见光相机114A、114B中的一个或两个具有100°的视场和480×480像素的分辨率。“覆盖角度”描述了可见光相机114A、114B或红外相机410(见图2A)的镜头可有效成像的角度范围。通常，相机镜头产生大到足以完全覆盖相机的胶片或传感器的成像圈，可能包括某种渐晕(例如，与中心相比，图像朝向边缘变暗)。如果相机镜头的覆盖角度未遍及传感器，则成像圈将是可见的，通常具有朝向边缘的强渐晕，并且有效视角将限于覆盖角度。

此类可见光相机114A、114B的示例包括高分辨率互补金属氧化物半导体(CMOS)图像传感器和能够具有480p(例如，640×480像素)、720p、1080p或更大的分辨率的数字VGA相机(视频图形阵列)。其他示例包括可见光相机114A、114B，其可以高帧速率(例如，每秒三十至六十帧或更多)捕获高清晰度(HD)视频且以1216×1216像素(或更大)的分辨率存储该记录。

眼戴设备100可捕获来自可见光相机114A、114B的图像传感器数据以及由图像处理器数字化的地理定位数据，以存储在存储器中。可见光相机114A、114B在二维空间域中捕获相应的左原始图像和右原始图像，这些原始图像包括二维坐标系上的像素矩阵，该二维坐标系包括用于水平定位的X轴和用于垂直定位的Y轴。每个像素包括颜色属性值(例如，红色像素光值、绿色像素光值或蓝色像素光值)；和定位属性(例如，X轴坐标和Y轴坐标)。

为了捕获立体图像用于稍后显示为三维投影，图像处理器412(如图4所示)可耦接到可见光相机114A、114B以接收并存储视觉图像信息。图像处理器412或另一处理器控制可见光相机114A、114B的操作以充当模拟人类双眼视觉的立体相机，并且可将时间戳添加到每个图像。每对图像上的时间戳允许将图像一起显示为三维投影的一部分。三维投影产生沉浸式逼真体验，这在包括虚拟现实(VR)和视频游戏的各种场景中是期望的。

图1B是图1A的眼戴设备100的右角部110B的横截面透视图，图1B描绘了相机系统的右可见光相机114B和电路板。图1C是图1A的眼戴设备100的示例性硬件配置的侧视图(左)，图1C示出了相机系统的左可见光相机114A。图1D是图1C的眼戴设备左角部110A的横截面透视图，图1D描绘了三维相机的左可见光相机114A和电路板。

除了连接和耦接位于左侧面170A上之外，左可见光相机114A的结构和布置基本上类似于右可见光相机114B。如图1B的示例所示，眼戴设备100包括右可见光相机114B和电路板140B，该电路板可以是柔性印刷电路板(PCB)。右铰链126B将右角部110B连接到眼戴设备100的右镜腿125B。在一些示例中，右可见光相机114B、柔性PCB 140B的部件或其他电连接器或触点可位于右镜腿125B或右铰链126B上。左铰链126B将左角部110A连接到眼戴设备100的左镜腿125A。在一些示例中，左可见光相机114A、柔性PCB 140A的部件或其他电连接器或触点件可位于左镜腿125A或左铰链126A上。

右角部110B包括角部体190和角部盖，图1B的横截面中省略了角部盖。设置在右角部110B内部的是各种互连的电路板，诸如PCB或柔性PCB，其包括用于右可见光相机114B、麦克风、低功率无线电路(例如，用于经由Bluetooth^TM的无线短距离网络通信)、高速无线电路(例如，用于经由Wi-Fi的无线局域网通信)的控制器电路。

右可见光相机114B耦接到或设置在柔性PCB 140B上且由可见光相机覆盖镜头覆盖，该镜头通过形成在框架105中的开口瞄准。例如，如图2A示出的框架105的右边缘107B连接到右角部110B，并且包括用于可见光相机覆盖镜头的开口。框架105包括被配置为面向外且远离用户的眼睛的前侧。用于可见光相机覆盖镜头的开口形成在框架105的前向或外向侧面上并穿过该前向或外向侧面。在示例中，右可见光相机114B具有面向外的视场111B(如图3所示)，其视线或视角与眼戴设备100的用户的右眼相关。可见光相机覆盖镜头也可粘附到右角部110B的前侧或面向外的表面，其中开口形成有面向外的覆盖角度，但在不同的向外方向上。耦接也可经由居间部件间接实现。

如图1B所示，柔性PCB 140B设置在右角部110B内，并且耦接到容纳在右角部110B中的一个或多个其他部件。尽管示出为形成在右角部110B的电路板上，但是右可见光相机114B可形成在左角部110A、镜腿125A、125B或框架105的电路板上。

图2A和图2B是包括两种不同类型的图像显示器的眼戴设备100的示例性硬件配置的后透视图。眼戴设备100的尺寸和形状被设计成被配置为供用户佩戴的形式；在该示例中为眼镜的形式。眼戴设备100可采取其他形式并且可结合其他类型的框架，例如，头戴器、头戴式耳机或头盔。

在眼镜的示例中，眼戴设备100包括框架105，其包括经由适于由用户的鼻部支撑的鼻梁架106连接到右边缘107B的左边缘107A。左和右边缘107A、107B包括相应的孔口175A、175B，这些孔口保持相应的光学元件180A、180B，诸如镜头和显示设备。如本文所用，术语“镜头”旨在包括透明或半透明玻璃或塑料片，其具有弯曲或平坦表面，使光会聚或发散或几乎或完全不引起会聚或发散。

虽然被示出为具有两个光学元件180A、180B，但是眼戴设备100可包括其他布置，诸如单个光学元件(或者其可不包括任何光学元件180A、180B)，这取决于眼戴设备100的应用或预期用户。如图进一步所示，眼戴设备100包括与框架105的左侧面170A相邻的左角部110A以及与框架105的右侧面170B相邻的右角部110B。角部110A、110B可集成到框架105相应的侧面170A、170B(如图所示)上，或者实施为附接到框架105相应的侧面170A、170B上的单独部件。另选地，角部110A、110B可集成到附接到框架105的镜腿(未示出)中。

在一个示例中，光学组件180A、180B的图像显示器包括集成的图像显示器。如图2A所示，每个光学组件180A、180B包括合适的显示矩阵177，诸如液晶显示器(LCD)、有机发光二极管(OLED)显示器或任何其他此类显示器。每个光学组件180A、180B还包括一个或多个光学层176，其可以包括镜头、光学涂层、棱镜、反射镜、波导、光学条带和其他光学部件及任意组合。光学层176A、176B、…、176N(如图2A中176A-N所示)可包括棱镜，该棱镜具有合适的尺寸和构造并包括用于接收来自显示矩阵的光的第一表面和用于向用户的眼睛发射光的第二表面。光学层176A-N的棱镜在整个或部分相应孔口175A、175B上延伸，该孔口形成在左和右边缘107A、107B以在用户的眼睛透过对应的左和右边缘107A、107B观看时允许用户看到棱镜的第二表面。光学层176A-N的棱镜的第一表面从框架105面向上，并且显示矩阵177覆盖在棱镜上，使得由显示矩阵177发射的光子和光照射在第一表面上。棱镜的尺寸和形状被设计成使得光在棱镜内被折射并且被光学层176A-N的棱镜的第二表面导向用户的眼睛。在这一点而言，光学层176A-N的棱镜的第二表面可以是凸形的以将光导向眼睛的中心。棱镜可选择性的被设计尺寸和形状以放大由显示矩阵177投影的图像，并且光行进穿过棱镜，使得从第二表面观察的图像在一个或多个维度上大于从显示矩阵177发射的图像。

在一个示例中，光学层176A-N可包括透明的LCD层(保持镜头打开)，除非且直到施加使该层不透明(关闭或遮挡镜头)的电压。眼戴设备100上的图像处理器412可执行程序以将电压施加到LCD层，以便产生主动式快门系统，从而使得眼戴设备100适用于观看被显示为三维投影的视觉内容。除了LCD之外的技术可用于主动式快门模式，包括响应于电压或另一类型的输入的其他类型的反应层。

在另一示例中，光学组件180A、180B的图像显示设备包括如图2B所示的投影图像显示器。每个光学组件180A、180B包括激光投影仪150，其是使用扫描镜或检流计的三色激光投影仪。在操作期间，光源诸如激光投影仪150被设置在眼戴设备100的镜腿125A、125B中的一个之中或之上。在该示例中，光学组件180B包括一个或多个光学条带155A、155B、…、155N(在图2B中示为155A-N)，其在每个光学组件180A、180B的镜头的宽度上，或者在镜头的前表面和后表面之间的镜头的深度上间隔开。

当由激光投影仪150投射的光子行进穿过每个光学组件180A、180B的镜头时，光子遇到光学条带155A-N。当特定光子遇到特定光学条带时，光子要么被重定向到朝向用户的眼睛，要么传递到下一光学条带。激光投影仪150的调制和光学条带的调制的组合可控制特定的光子或光束。在示例中，处理器通过发出机械、声学或电磁信号来控制光学条带155A-N。虽然被示出为具有两个光学组件180A、180B，但是眼戴设备100可包括其他布置，诸如单个或三个光学组件，或者每个光学组件180A、180B可被布置有不同的布置，这取决于眼戴设备100的应用或预期用户。

如图2A和图2B进一步所示，眼戴设备100包括与框架105的左侧面170A相邻的左角部110A以及与框架105的右侧面170B相邻的右角部110B。角部110A、110B可集成到框架105相应的侧面170A、170B(如图所示)上，或者实施为附接到框架105相应的侧面170A、170B上的单独部件。另选的，角部110A、110B可以集成到附接到框架105的镜腿125A、125B中。

在另一示例中，图2B中示出的眼戴设备100可包括两个投影仪，左投影仪150A(未示出)和右投影仪150B(示出为投影仪150)。左光学组件180A可包括左显示矩阵177A(未示出)或左光学条带155'A、155'B、…、155'N(155'A-155’N，未示出)，其被配置为与来自左投影仪150A的光交互。类似地，右光学组件180B可包括右显示矩阵177B(未示出)或右光学条带155”A、155”B、…、155”N(155”A-155”N，未示出)，其被配置为与来自右投影仪150B的光交互。在该示例中，眼戴设备100包括左显示器和右显示器。

图3是三维场景306、由左可见光相机114A捕获的左原始图像302A和由右可见光相机114B捕获的右原始图像302B的图形描绘。如图所示，左视场111A可与右视场111B重叠。重叠视场304表示图像中由两个相机114A、114B捕获的部分。术语“重叠”在涉及视场时意味着所生成的原始图像中的像素矩阵重叠百分之三十(30％)或更多。“基本上重叠”意味着所生成的原始图像中的像素矩阵或场景的红外图像中的像素矩阵重叠百分之五十(50％)或更多。如本文所述，两个原始图像302A、302B可被处理为包括时间戳，该时间戳允许将图像一起显示为三维投影的一部分。

为了捕获立体图像，如图3所示，在给定时刻捕获真实场景306的一对原始红绿蓝(RGB)图像：由左相机114A捕获的左原始图像302A和由右相机114B捕获的右原始图像302B。当(例如，由图像处理器412)处理该对原始图像302A、302B时，生成深度图像。所生成的深度图像可在眼戴设备的光学组件180A、180B上、在另一显示器(例如，移动设备401上的图像显示器580)上、或在屏幕上被查看。

所生成的深度图像在三维空间域中，并且可包括三维位置坐标系上的顶点矩阵，该三维位置坐标系包括用于水平定位(例如，长度)的X轴、用于垂直定位(例如，高度)的Y轴和用于深度(例如，距离)的Z轴。每个顶点可包括颜色属性(例如，红色像素光值、绿色像素光值或蓝色像素光值)；定位属性(例如，X位置坐标、Y位置坐标和Z位置坐标)；纹理属性；反射率属性；或它们的组合。纹理属性量化深度图像的感知纹理，诸如深度图像的顶点区域中的颜色或强度的空间布置。

在一个示例中，追踪和显示系统400(图4)包括眼戴设备100，其包括框架105、从框架105的左侧面170A延伸的左镜腿125A，以及从框架105的右侧面170B延伸的右镜腿125B。眼戴设备100可进一步包括具有重叠的视场的至少两个可见光相机114A、114B。在一个示例中，如图3所示，眼戴设备100包括具有左视场111A的左可见光相机114A。左相机114A连接到框架105或左镜腿125A以从场景306的左侧捕获左原始图像302A。眼戴设备100进一步包括具有右视场111B的右可见光相机114B。右相机114B连接到框架105或右镜腿125B以从场景306的右侧捕获右原始图像302B。

图4是示例性追踪和显示系统400的功能框图，该系统包括经由各种网络495诸如因特网连接的可穿戴设备(例如，眼戴设备100)、移动设备401和服务器系统498。如图所示，追踪和显示系统400包括眼戴设备100与移动设备401之间的低功率无线连接425和高速无线连接437，以及眼戴设备10与一个或多个超宽带(UWB)接收器680之间的无线连接。

如图4所示，如本文所述，眼戴设备100包括一个或多个可见光相机114A、114B，它们捕获静态图像、视频图像或静态图像和视频图像两者。相机114A、114B可具有对高速电路430的直接存储器访问(DMA)并且用作立体相机。相机114A、114B可用于捕获初始深度图像，这些初始深度图像可被渲染成三维(3D)模型，这些三维模型是红绿蓝(RGB)成像场景的纹理映射图像。设备100还可包括深度传感器213，其使用红外信号来估计对象相对于设备100的定位。在一些示例中，深度传感器213包括一个或多个红外发射器215和红外相机410。

眼戴设备100进一步包括每个光学组件180A、180B的两个图像显示器(一个与左侧面170A相关联，一个与右侧面170B相关联)。眼戴设备100还包括图像显示驱动器442、图像处理器412、低功率电路420和高速电路430。每个光学组件180A、180B的图像显示器用于呈现图像，包括静态图像、视频图像或静态图像和视频图像两者。图像显示驱动器442耦接到每个光学组件180A、180B的图像显示器，以便控制图像的显示。

眼戴设备100还包括一个或多个扬声器440(例如，一个与眼戴设备的左侧相关联，另一个与眼戴设备的右侧相关联)。扬声器440可并入到眼戴设备100的框架105、镜腿125或角部110中。一个或多个扬声器440由音频处理器443在低功率电路420、高速电路430或两者的控制下驱动。扬声器440用于呈现音频信号，包括例如节拍音轨。音频处理器443耦接到扬声器440以便控制声音的呈现。

图4所示的用于眼戴设备100的部件位于一个或多个电路板上，例如，位于边缘或镜腿中的印刷电路板(PCB)或柔性印刷电路(FPC)。另选地或附加地，所描绘的部件可位于眼戴设备100的角部、框架、铰链或鼻梁架中。左和右可见光相机114A、114B可包括数字相机元件，诸如互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件、镜头、或可用于捕获数据的任何其他相应的可见或光捕获元件，该数据包括具有未知对象的场景的静态图像或视频。

如图4所示，高速电路430包括高速处理器432、存储器434和高速无线电路436。在该示例中，图像显示驱动器442耦接到高速电路430并且由高速处理器432操作，以便驱动每个光学组件180A、180B的左和右图像显示器。高速处理器432可以是能够管理眼戴设备100所需的任何通用计算系统的高速通信和操作的任何处理器。高速处理器432包括使用高速无线电路436来管理到无线局域网(WLAN)的高速无线连接437上的高速数据传输所需的处理资源。

在一些示例中，高速处理器432执行操作系统，诸如LINUX操作系统或眼戴设备100的其他此类操作系统，并且操作系统被存储在存储器434中以供执行。除了任何其他职责之外，执行眼戴设备100的软件架构的高速处理器432还用于管理利用高速无线电路436的数据传输。在一些示例中，高速无线电路436被配置为实施电气和电子工程师协会(IEEE)802.11通信标准，本文中也称为Wi-Fi。在其他示例中，高速无线电路436可实施其他高速通信标准。

低功率电路420包括低功率处理器422和低功率无线电路424。眼戴设备100的低功率无线电路424和高速无线电路436可包括短距离收发器(Bluetooth^TM或蓝牙低功耗(BLE))和无线广域网、局域网或广域网收发器(例如，蜂窝或Wi-Fi)。移动设备401，包括经由低功率无线连接425和高速无线连接437通信的收发器，可像网络495的其他元件一样，使用眼戴设备100的架构的细节来实施。

存储器434包括能够存储各种数据和应用的任何存储设备，该数据包括由左和右可见光相机114A、114B、红外相机410、图像处理器412生成的相机数据、以及由图像显示驱动器442生成以在每个光学组件180A、180B的图像显示器上显示的图像。虽然存储器434被示出为与高速电路430集成，但在其他示例中，存储器434可以是眼戴设备100的单独的独立元件。在某些此类示例中，电气布线线路可通过包括高速处理器432的芯片提供从图像处理器412或低功率处理器422到存储器434的连接。在其他示例中，高速处理器432可管理存储器434的寻址，使得低功率处理器422将在需要涉及存储器434的读或写操作的任何时间启动高速处理器432。

如图4所示，眼戴设备100的高速处理器432可耦接到相机系统(可见光相机114A、114B)、图像显示驱动器442、用户输入设备491和存储器434。如图5所示，移动设备401的CPU530可耦接到相机系统570、移动显示器驱动器582、用户输入层591和存储器540A。

服务器系统498可以是作为服务或网络计算系统的一部分的一个或多个计算设备，例如包括处理器、存储器和网络通信接口以通过网络495在眼戴设备100和移动设备401之间通信。

眼戴设备100的输出部件包括视觉元件，诸如与如图2A和图2B所述的每个镜头或光学组件180A、180B相关联的左和右图像显示器(例如，显示器，诸如液晶显示器(LCD)、等离子体显示面板(PDP)、发光二极管(LED)显示器、投影仪或波导)。眼戴设备100可包括面向用户的指示器(例如，LED、扬声器或振动致动器)，或面向外的信号(例如，LED、扬声器)。每个光学组件180A、180B的图像显示器由图像显示驱动器442驱动。在一些示例性配置中，眼戴设备100的输出部件进一步包括附加指示器，诸如可听元件(例如，扬声器)、触觉部件(例如，致动器，诸如用于生成触觉反馈的振动马达)和其他信号生成器。例如，设备100可包括面向用户的指示器组和面向外的信号组。面向用户的指示器组被配置为由设备100的用户看到或以其他方式感知到。例如，设备100可包括被定位成使得用户可以看见它的LED显示器、被定位成生成用户可以听到的声音的一个或多个扬声器、或者提供用户可以感觉到的触觉反馈的致动器。面向外的信号组被配置为由设备100附近的观察者看到或以其他方式感知到。类似地，设备100可包括被配置和定位成由观察者感知到的LED、扬声器或致动器。

眼戴设备100的输入部件可包括字母数字输入部件(例如，被配置为接收字母数字输入的触摸屏或触摸板、摄影光学键盘或其他字母数字配置的元件)、基于点的输部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指点仪器)、触觉输入部件(例如，按钮开关、感测触摸或触摸手势的位置、力或位置和力的触摸屏或触摸板，或其他触觉配置的元件)和音频输入部件(例如，麦克风)等。移动设备401和服务器系统498可包括字母数字、基于点、触觉、音频和其他输入部件。

在一些示例中，眼戴设备100包括被称为惯性测量单元472的运动感测部件的集合。运动感测部件可以是具有微观移动部件的微机电系统(MEMS)，这些微观移动部件通常足够小以成为微芯片的一部分。在一些示例性配置中，惯性测量单元(IMU)472包括加速度计、陀螺仪和磁力计。加速度计可感测设备100相对于三个正交轴(x、y、z)的线性加速度(包括由于重力而引起的加速度)。陀螺仪可感测设备100绕三个旋转轴(俯仰、滚转、偏航)的角速度。加速度计和陀螺仪可一起提供关于设备相对于六个轴(x、y、z、俯仰、滚转、偏航)的定位、定向和运动数据。如果存在磁力计，则磁力计可感测设备100相对于磁北极的航向。设备100的定位可以由位置传感器诸如GPS单元473、用于生成相对定位坐标的一个或多个收发器、高度传感器或气压计和其他定向传感器来确定。还可经由低功率无线电路424或高速无线电路436从移动设备401通过无线连接425和437接收此类定位系统坐标。

IMU 472可包括数字运动处理器或程序，或者与数字运动处理器或程序协作，该数字运动处理器或程序从部件采集原始数据，并且计算关于设备100的定位、定向和运动的多个有用值。例如，从加速度计采集的加速度数据可被积分以获得相对于每个轴(x、y、z)的速度；并再次被积分以获得设备100的定位(以线性坐标x、y和z表示)。来自陀螺仪的角速度数据可被积分以获得设备100的定位(以球面坐标表示)。用于计算这些有效值的程序可存储在存储器434中并且由眼戴设备100的高速处理器432执行。

眼戴设备100可以可选地包括附加的外围传感器，诸如与眼戴设备100集成的生物计量传感器、特性传感器或显示元件。例如，外围设备元件可包括任何I/O部件，包括输出部件、运动部件、定位部件或本文所述的任何其他此类元件。例如，生物计量传感器可包括检测表情(例如，手势、面部表情、声音表达、身体姿势或眼睛追踪)、测量生物信号(例如，血压、心率、体温、出汗或脑电波)或识别人(例如，基于语音、视网膜、面部特征、指纹或电生物信号诸如脑电图数据的识别)等的部件。

移动设备401可以是智能电话、平板电脑、笔记本计算机、接入点或能够使用低功率无线连接425或高速无线连接437与眼戴设备100连接的任何其他此类设备。移动设备401连接到服务器系统498和网络495。网络495可包括有线和无线连接的任何组合。

如图4所示，所述示例性追踪和显示系统400包括与一个或多个UWB接收器680无线通信的多个超宽带(UWB)脉冲发射器620。UWB接收器680与一个或多个眼戴设备100无线通信，而眼戴设备100又与一个或多个移动设备401进行无线通信。在一些具体实施中，这些设备620、680、100、401作为网络中的节点操作。网络数据可以本地或远程地存储在服务器上或安全地存储在云中。UWB发射器620与UWB接收器680配对。眼戴设备100和移动设备410作为UWB系统620、680的用户操作。

在一些示例性具体实施中，UWB接收器680中的一者或多者耦接到虚拟元素库480、发射器数据库485和可移动对象数据库490。如图所示，眼戴设备100还可以耦接到所述数据库元件480、485、490中的一者或多者。

虚拟元素库480存储关于多个虚拟元素700中的每个元素的数据，包括名称、序列号或其他标识符，以及用于渲染虚拟元素700以在各种场景中显示的一组图像资产。对于每个虚拟元素700，虚拟元素库480还可以包括相对于物理环境的期望尺寸(例如，六英寸高)以及关于将在该处显示虚拟元素700的一个或多个可移动对象610的数据。

发射器数据库485存储关于UWB脉冲发射器620中的每个脉冲发射器的数据，包括唯一发射器标识符、状态和网络号或关于与每个发射器620配对的UWB接收器680的其他配对信息。

可移动对象数据库490存储关于多个可移动对象610中的每个对象的数据，包括对象名称、对象标识符或库存单位(SKU)以及唯一发射器标识符的副本(或关系链接)，该副本用于耦接到每个可移动对象610的一个或多个UWB脉冲发射器620中的每个脉冲发射器。例如，可移动对象610(诸如圆形桌面)可以与对象名称(例如，圆形桌面)、对象标识符或SKU(例如，Tab-Round-4-09)以及附接到桌子的唯一发射器标识符的副本(例如，Tx-CTR-09)相关联。实际上，当发射器620被附接到可移动对象610时，关于可移动对象610的数据被添加到可移动对象数据库490。在一些具体实施中，可移动对象数据库490还存储预定义对象网格611，该网格包括与每个可移动对象610相关联的一个或多个已知维度。例如，用于可移动对象610的预定义对象网格611，诸如图7所示的圆形桌面610-1，可包括直径和厚度。如果可移动对象610包括整个桌子，则对象网格611包括与表格的所有部分相关联的几何数据和维度，该部分包括桌面、基座和腿。用于其他对象(诸如折叠椅、可折叠桌子和机器)的对象网格611在几何上可能是复杂的。如图7所示，用于门610-2的预定义对象网格611可包括宽度、高度和厚度，以及关于门把手、铰链、面板、嵌条、横挡、竖框和门的其他特征的几何数据。如图7所示，用于服务托盘610-3的预定义对象网格611可以包括直径和厚度，以及关于周边边缘和其他表面特征的几何数据。

在一些具体实施中，库和数据库作为一组关系数据库来操作，这些数据库具有将数据连接到其他数据库条目的一个或多个共享密钥以及用于维护和查询每个数据库的数据库管理系统。

如图4所示，示例性追踪和显示系统400包括对象位置应用910、定位应用915和渲染应用920。如图所示，眼戴设备100可以耦接到应用910、915、920中的一者或多者。

对象位置应用910包括计算网络中的每个脉冲发射器620的精确位置的多点定位算法。基于每个发射器620的位置，对象位置应用910计算与该特定发射器620相关联的可移动对象610的当前位置615(例如，通过检索存储在数据库480、485、490中的数据)。在一些示例性具体实施中，如图5所示，对象位置应用910由UWB接收器680中的一者或多者执行或在其上执行。

定位应用915确定眼戴设备100相对于物理环境的当前位置902。定位数据可以从由相机、IMU单元472、GPS单元473或其组合捕获的一个或多个图像中的数据导出。

在一些示例性具体实施中，定位应用915利用一个或多个UWB接收器680的固定位置685来更新相对于物理环境600的当前眼戴器定位902。眼戴设备100的处理器432相对于物理环境600的坐标系(x,y,z)确定其相对于一个或多个接收器位置685的定位，从而确定该坐标系内的当前眼戴器定位902。另外，处理器432可以通过使用两个或更多个接收器位置685或通过使用一个或多个其他已知位置来确定眼戴设备100在环境内的头部姿态(滚转、俯仰和偏航)。在该示例中，已知接收器位置685与增强现实中的虚拟标记的注册位置具有类似地操作。

在其他具体实施中，眼戴设备100内的处理器432可构建眼戴设备100周围的物理环境600的地图，确定眼戴设备在映射的环境内的当前位置902，并且确定眼戴设备相对于映射的环境中的一个或多个对象的相对定位。在一些具体实施中，处理器432可以构建地图并执行定位应用915以确定相对于物理环境600的当前眼戴器位置902。定位应用915可以使用从一个或多个传感器接收的数据利用即时定位与地图构建(SLAM)算法。传感器数据包括从相机114A、114B中的一者或两者接收的图像、从激光测距仪接收的距离、从GPS单元473接收的位置信息、从IMU 572接收的运动和加速度数据、或者来自此类传感器或来自提供用于确定位置信息的数据的其他传感器的数据的组合。在增强现实的场景中，SLAM算法用于构建并更新环境的地图，同时追踪并更新设备(或用户)在映射的环境中的位置。数学解可使用各种统计方法来近似，诸如粒子滤波器、卡尔曼滤波器、扩展卡尔曼滤波器和协方差交集。在包括以高帧速率(例如，每秒三十个帧)捕获视频的高清晰度(HD)摄像机的系统中，SLAM算法至少与帧速率一样频繁地更新地图和对象的位置；换言之，每秒三十次地计算和更新映射和定位。

渲染应用920准备虚拟元素700以作为相对于可移动对象610的叠层呈现在显示器上。在该场景中，术语“叠层”意味着并且包括相对于出现在背景中的物理可移动对象610在前景中将虚拟元素700呈现在显示器上，除了在虚拟元素700的一部分被可移动对象610的一部分遮挡的情况(例如，当可移动门部分地遮挡呈现在附近的虚拟元素700的一部分时)。渲染应用920可以利用来自对象位置应用910的数据，包括当前可移动对象位置615，以及来自定位应用915的数据，包括当前眼戴器位置902。利用该数据，渲染应用920呈现虚拟元素700用于显示在当前可移动对象位置615附近并且相对靠近当前眼戴器位置902。如本文所用的，如图8所示，术语“相对靠近”意味着并且包括在当前眼戴器位置902、当前可移动对象位置615(结合每个附接的脉冲发射器620的位置)、虚拟元素位置715和UWB接收器位置685之间和之中的物理空间中的协调，所有这些位置都以相对于物理环境600(在一些具体实施中，相对于眼戴器位置902)的坐标(x,y,z)来表达。例如，在眼戴设备100的显示器180B上呈现虚拟元素700需要将眼戴设备100定位在物理环境中并且计算可移动对象位置615，因此渲染应用920随后可以在显示器上呈现虚拟元素700，使得其看起来像在可移动对象610附近。当眼戴设备100和可移动对象610两者都在环境中移动时，渲染应用920持续更新显示器，使得虚拟元素700持久地出现在可移动对象610附近。例如，如图8所示，对于与可移动对象610(例如，手持服务托盘)相关联的虚拟元素700(例如，坐着的人物)，渲染应用920持续地更新显示器，使得在服务托盘移动时以及关于支撑显示器180B的眼戴设备100的任何移动时坐着的人物看起来像保持在服务托盘上。

在相关方面，追踪和显示系统400在不使用计算机视觉和追踪应用(例如，即时定位与地图构建(SLAM))的情况下实现可移动对象的实时追踪和虚拟元素的显示。包括固定特征和静止对象的物理环境600被存储为如本文所述的预定义静态网格605，而不是使用追踪应用来重复地映射固定环境。然而，在一些具体实施中，追踪和显示系统400与被配置为追踪移动项目的追踪应用协作，该移动项目诸如未被附接到脉冲发射器的人和对象。

如图4所示，所述追踪和显示系统400包括计算设备，包括网络中的眼戴设备100、移动设备和接收器680。应用910、915、920利用用于存储指令的存储器和用于执行指令的处理器。指令的执行将设备配置为在网络中通信、交换数据以及以其他方式协作。应用可以利用眼戴设备100的存储器434、移动设备401的存储器元件540A、540B、540C以及与服务器490和UWB接收器680或发射器620相关联的任何存储器元件。此外，应用可以利用眼戴设备100的处理器元件432、422、移动设备401的中央处理单元(CPU)530以及与服务器490和UWB接收器680或发射器620相关联的任何处理元件。在该方面，追踪和显示系统400的存储和处理功能可以跨眼戴设备100、移动设备401、服务器系统498以及UWB接收器680和发射器620的处理器和存储器共享或分布。

图5是示例性移动设备401的高级功能框图。移动设备401包括闪存存储器540A，其存储要由CPU 530执行以执行本文所述的所有功能或功能子集的程序。

移动设备401可包括相机570，其包括至少两个可见光相机(具有重叠的视场的第一和第二可见光相机)或具有基本上重叠的视场的至少一个可见光相机和深度传感器。闪存存储器540A可进一步包括经由相机570生成的多个图像或视频。

如图所示，移动设备401包括图像显示器580、控制图像显示器580的移动显示驱动器582和显示控制器584。在图5的示例中，图像显示器580包括用户输入层591(例如，触摸屏)，其层叠在由图像显示器580使用的屏幕的顶部上或以其他方式集成到该屏幕中。

可使用的触摸屏式的移动设备的示例包括(但不限于)智能电话、个人数字助理(PDA)、平板计算机、笔记本电脑或其他便携式设备。然而，触摸屏式的设备的结构和操作是以示例的方式提供的；如本文所述的主题技术并不旨在局限于此。出于本讨论的目的，图5因此提供了具有用户界面的示例性移动设备401的框图图示，该用户界面包括用于接收输入(通过手、触笔或其他工具的触摸、多点触摸或手势等)的触摸屏输入层891和用于显示内容的图像显示器580。

如图5所示，移动设备401包括用于经由广域无线移动通信网络进行数字无线通信的至少一个数字收发器(XCVR)510，示出为WWAN XCVR。移动设备401还包括附加的数字或模拟收发器，诸如用于诸如经由NFC、VLC、DECT、ZigBee、Bluetooth^TM或Wi-Fi进行短距离网络通信的短距离收发器(XCVR)520。例如，短距离XCVR 520可采用任何可用双向无线局域网(WLAN)收发器的形式，该类型与在无线局域网中实施的一个或多个标准通信协议诸如符合IEEE 802.11的Wi-Fi标准中的一者兼容。

为了生成用于定位移动设备401的位置坐标，移动设备401可包括全球定位系统(GPS)接收器。另选地或附加地，移动设备401可利用短距离XCVR 520和WWAN XCVR 510中的任一者或两者来生成用于定位的位置坐标。例如，基于蜂窝网络、Wi-Fi或Bluetooth^TM的定位系统可生成非常准确的位置坐标，尤其是当它们组合使用时。此类位置坐标可经由XCVR510、520通过一个或多个网络连接传输到眼戴设备。

在一些示例中，客户端设备401包括称为惯性测量单元(IMU)572的运动感测部件的集合，用于感测客户端设备401的定位、定向和运动。运动感测部件可以是具有微观移动部件的微机电系统(MEMS)，这些微观移动部件通常足够小以成为微芯片的一部分。在一些示例性配置中，惯性测量单元(IMU)572包括加速度计、陀螺仪和磁力计。加速度计感测客户端设备401相对于三个正交轴(x、y、z)的线性加速度(包括由于重力而引起的加速度)。陀螺仪感测客户端设备401绕三个旋转轴(俯仰、滚转、偏航)的角速度。加速度计和陀螺仪可一起提供关于设备相对于六个轴(x、y、z、俯仰、滚转、偏航)的定位、定向和运动数据。如果存在磁力计，则磁力计感测客户端设备401相对于磁北极的航向。

IMU 572可包括数字运动处理器或程序，或者与数字运动处理器或程序协作，该数字运动处理器或程序从部件采集原始数据，并且计算关于客户端设备401的定位、定向和运动的多个有用值。例如，从加速度计采集的加速度数据可被积分以获得相对于每个轴(x、y、z)的速度；并再次被积分以获得客户端设备401的定位(以线性坐标x、y和z表示)。来自陀螺仪的角速度数据可被积分以获得客户端设备401的定位(以球面坐标表示)。用于计算这些有用值的程序可存储在一个或多个存储器元件540A、540B、540C中，并由客户端设备401的CPU 540执行。

收发器510、520(即，网络通信接口)符合现代移动网络所利用的各种数字无线通信标准中的一个或多个标准。WWAN收发器510的示例包括(但不限于)被配置为根据码分多址(CDMA)和第3代合作伙伴计划(3GPP)网络技术操作的收发器，所述技术包括例如但不限于3GPP类型2(或3GPP2)和LTE，有时被称为“4G”。例如，收发器510、520提供信息的双向无线通信，所述信息包括数字化音频信号、静态图像和视频信号、用于显示的网页信息以及web相关输入，以及去往/来自移动设备401的各种类型的移动消息通信。

移动设备401进一步包括用作中央处理单元(CPU)的微处理器；如图4中的CPU 530所示。处理器是一种电路，其具有的元件被构造并布置成执行一个或多个处理功能，通常是各种数据处理功能。尽管可使用分立的逻辑部件，但是这些示例利用形成可编程CPU的部件。微处理器例如包括一个或多个集成电路(IC)芯片，其结合了执行CPU的功能的电子元件。例如，CPU 530可基于任何已知或可用的微处理器架构，诸如使用ARM架构的精简指令集计算(RISC)，正如现今在移动设备和其他便携式电子设备中通常使用的。当然，处理器电路的其他布置可用于形成智能电话、笔记本电脑和平板电脑中的CPU 530或处理器硬件。

通过将移动设备401配置为例如根据CPU 530可执行的指令或程序来执行各种操作，CPU 530用作移动设备401的可编程主机控制器。例如，此类操作可包括移动设备的各种一般操作，以及与用于移动设备上的应用的程序相关的操作。尽管处理器可使用硬连线逻辑来配置，但是移动设备中的典型处理器是通过执行程序来配置的通用处理电路。

移动设备401包括用于存储程序和数据的存储器或存储系统。在示例中，存储器系统可根据需要包括闪存存储器540A、随机存取存储器(RAM)540B和其他存储器部件540C。RAM 540B用作由CPU 530处理的指令和数据的短期存储装置，例如，用作工作数据处理存储器。闪存存储器540A通常提供长期存储。

因此，在移动设备401的示例中，闪存存储器540A用于存储由CPU 530执行的程序或指令。根据设备的类型，移动设备401存储并运行移动操作系统，特定应用通过该移动操作系统执行。移动操作系统的示例包括Google Android、Apple iOS(用于iPhone或iPad设备)、Windows Mobile、Amazon Fire OS、RIM BlackBerry OS等。

如本文所述，图6是示例性追踪和显示系统400的功能框图，该系统包括耦接到可移动对象610的超宽带(UWB)脉冲发射器620、两个UWB接收器680、一个或多个眼戴设备100、一个或多个移动设备410以及数据库元素480、485、490的集合。如图所示，每个UWB脉冲发射器620包括用于与UWB接收器680无线通信的天线。

每个广播脉冲包括唯一发射器标识符，UWB接收器680使用该标识符来标识广播每个脉冲的发射器。该脉冲包括数据分组，该数据分组包括前导码和有效载荷，该有效载荷包含数据位。每个脉冲的物理层根据IEEE 802.15.4a和4z中提出的标准来组装。该脉冲是具有足以提取数据位的持续时间的电磁能量的短脉冲，包括用于测量或确定发射器的定位的数据。

在该示例中，第一脉冲发射器620-1附接或耦接到第一可移动对象610-1。一对第二脉冲发射器620-2a、620-2b和罗盘640附接到第二可移动对象610-2。一对第三脉冲发射器620-3a、620-3b和加速度计650附接到第三可移动对象610-3。

如图8所示，UWB接收器680放置在物理环境600中固定接收器位置685处。UWB接收器680是时间同步的，因为多点定位算法使用每个脉冲到达每个接收器680的时间之间的差来计算每个发射器620的精确位置。然后每个发射器620的精确位置被用于计算与每个可移动对象610相关联的当前对象位置615。在图6所示的示例中，第一UWB接收器680-1包括用于计算当前对象位置615的对象位置应用910。

如图所示，UWB接收器680与一个或多个眼戴设备100以及与一个或多个移动设备401配对无线通信。发射器620、接收器680、眼戴设备100和移动设备401作为网络中的节点操作。发射器620与接收器680配对。眼戴设备100和移动设备410作为UWB系统620、680的用户操作。

如本文所述的眼戴设备100包括处理器、存储器、定位应用915、渲染应用920和显示器180B(如图8所示)。在使用中，定位应用915确定每个眼戴设备100的当前眼戴器位置902。渲染应用920将虚拟元素700作为相对于所计算的当前对象位置615并且相对靠近所确定的当前眼戴器位置的叠层呈现在显示器180B上虚拟元素位置715处。例如，如图8所示，在眼戴设备100的显示器180B上渲染和呈现虚拟元素700的过程需要将眼戴设备100定位在物理环境600中并且计算可移动对象位置615，因此渲染应用920随后可以在显示器上呈现虚拟元素700，使得其看起来像在可移动对象610附近。

虚拟元素700可以呈现在可移动对象610的中心附近，或者呈现在可移动对象610上的某个其他指定位置或定义的锚点处。尽管本文所示的示例性虚拟元素是人物，但是虚拟元素700可包括适用于在显示器上渲染的各种元素中的任一种，包括单独的或与其他项目组合的静态或移动的象征或现实的项目。虚拟元素700可包括适用于在显示器上渲染或呈现的任何图形元素，包括但不限于与VR或AR体验相关联的虚拟对象、与游戏体验相关的游戏块、图形元素(诸如图标、缩略图、任务栏和菜单项目)以及选择控制元素(诸如光标、指针、按钮、把手和滑块)；其中任一者可以与图形用户界面(GUI)相关联或不相关联。

例如，图7是示例性物理环境的透视图，通过显示器(未示出)可看到，该物理环境描绘呈现在可移动对象610附近的虚拟元素700。第一虚拟元素700-1(例如，站立的人物)呈现在第一可移动对象610-1(例如，圆形桌面)附近。第一脉冲发射器620-1附接到桌面。在该示例中，附接到已知点(诸如中心)的单个脉冲发射器620-1以及如本文所述的对象网格611足以计算当前对象位置615，因为桌面通常在单个平面中移动。

第二虚拟元素700-2(例如，悬挂的人物)呈现在第二可移动对象610-2(例如，门)附近。一对第二脉冲发射器620-2a、620-2b和罗盘640附接到门，其中的任一者或两者可以用于计算门的当前对象位置615。罗盘640可以广播其罗盘信号，或者在一些具体实施中合成广播脉冲，使得数据分组包括罗盘数据。由于门相对于其铰链在两个维度中可移动，所以该对发射器620-2a、620-2b和罗盘640足以计算当前对象位置615(包括定位和定向两者)。

第三虚拟元素700-3(例如，坐着的人物)呈现在第三可移动对象610-3(例如，服务托盘)附近。一对第三脉冲发射器620-3a、620-3b和加速度计650附接到托盘，其中的两者可以用于计算托盘的当前对象位置615(定位、定向和航向)。加速度计650可以广播其加速度计信号，或者在一些具体实施中合成广播脉冲，使得数据分组包括加速度计数据。来自加速度计650的数据提供关于服务托盘的运动的信息，该服务托盘可随时间推移在环境中在三个维度中可移动。

眼戴设备100和可移动对象610两者在环境中自由地移动。渲染应用920持续更新显示器，使得虚拟元素700持久地出现在可移动对象610附近。例如，如图8所示，对于与可移动对象610(例如，手持服务托盘)相关联的虚拟元素700(例如，坐着的人物)，渲染应用920持续地更新显示器，使得在服务托盘移动时以及关于支撑显示器180B的眼戴设备100的任何移动时坐着的人物看起来像保持在服务托盘上。

当眼戴器100或可移动对象610随时间推移移动时，虚拟元素700的外观尺寸根据其相对于眼戴器位置902的当前位置615而改变。在该方面，对于每个虚拟元素700，虚拟元素库480包括相对于物理环境600的期望尺寸(以及由渲染应用920使用的多个图像资产)。在使用中，渲染应用基于图像资产、期望尺寸和所计算的当前对象位置615，以当前尺寸呈现虚拟元素700，使得当可移动对象610在物理环境中移动时，虚拟元素700持久地以相对于该对象的期望尺寸出现。

在一些示例性具体实施中，脉冲发射器620包括电源(例如，电池)、脉冲生成器、发射器、天线以及只读存储器(ROM)或具有读写能力的芯片。ROM包括与可移动对象相关联的对象标识符或库存单位(SKU)以及预定义对象网格611(如图7所示的圆形桌面610-1附近)。预定义对象网格611包括与每个可移动对象610相关联的一个或多个已知维度。对象网格611可以由一个或多个格式生成和存储，以使得能够使用各种计算机视觉和AR应用进行空间重建。例如，对象网格611可包括点云、实体模型(例如，可用于计算机辅助绘图或制图(CAD)应用)、表面模型或一组平面表面。例如，用于圆形桌面610-1的预定义对象网格611包括直径和厚度。在该示例中，关于对象网格611的数据(存储在ROM中)被包括在广播脉冲中，使得对象位置应用910在计算当前对象位置615时利用对象网格611。沿着对象网格611的点可由渲染应用920用来将虚拟元素700放置在可移动对象610上的特定位置处。

在另一个示例性具体实施中，预定义对象网格611以及与可移动对象相关联的对象标识符或库存单位(SKU)一起存储在可移动对象数据库490中。

如图7所示，示例性追踪和显示系统400可以包括与物理环境600相关联的静态网格605。如图7所示静态网格605的一部分在门附近。在使用中，静态网格605包括与位于物理环境中的多个静止对象(包括墙壁、地板、天花板以及固定或静止的结构和特征)相关联的维度。渲染应用920呈现相对于如所描述的并存储在静态网格605中的静止对象的虚拟元素700。在该方面，渲染应用920利用静态网格605来建立虚拟元素700和可移动对象610的显示优先级，使得最靠近眼戴器100的对象显示在前景中，并且更远的对象或对象的部分显示在背景中。例如，当在静态网格605中定义的静止对象(例如，柱子)位于前景中、在虚拟元素700和眼戴器100之间时，由渲染应用920利用该柱子来选择性地遮蔽虚拟元素700的全部或部分。

在另一方面，静态网格605被用于建立固定环境的地图，而不需要追踪应用(例如，SLAM算法)来连续地扫描和映射固定环境。

在一些具体实施中，追踪和显示系统400与被配置为追踪移动项目的追踪应用协作，该移动项目诸如未被附接到脉冲发射器的人和对象。在该示例中，追踪应用限于仅追踪未被附接到脉冲发射器并且未被配准和存储在可移动对象数据库490中的那些移动项目。换句话讲，禁止对静态网格605和由对象网格611定义的那些可移动对象610的实时扫描和追踪，从而节省计算资源而不牺牲精确位置和追踪。

在该示例中，当眼戴器在物理环境中移动时，耦接到眼戴设备100的相机系统捕获视频数据的帧。追踪应用与UWB接收器680和对象位置应用910在时间上同步；并且相对于物理环境在空间上同步。在一些具体实施中，相机系统包括一个或多个配备有CMOS图像传感器的高分辨率数字相机，该CMOS图像传感器能够以相对高的帧速率(例如，每秒三十帧或更多)捕获高清静态图像和高清视频。每个数字视频帧包括图像中的多个像素的深度信息。在该方面，相机通过捕获物理环境的详细输入图像而用作高清晰度扫描仪。在一些具体实施中，如本文所述，相机包括一对高分辨率数字相机114A、114B，它们耦接到眼戴设备100并间隔开以获取左相机原始图像和右相机原始图像。当被组合时，原始图像形成包括三维像素位置矩阵的输入图像。追踪应用分析所捕获的视频数据帧，并且识别物理环境中相对于静态网格605的一个或多个移动项目。使用所标识的移动项目的位置，渲染应用920在显示器上相对于所标识的移动项目呈现虚拟元素700。

如本文所述，眼戴设备100、移动设备401和服务器系统498的功能中的任何功能可以被体现在一个或多个计算机软件应用或编程指令集中。根据一些示例，“功能”、“应用”、“指令”或“程序”是执行在程序中定义的功能的程序。可采用各种程序设计语言来开发以各种方式结构化的应用中的一个或多个应用，诸如面向对象的程序设计语言(例如，Objective-C、Java或C++)或面向过程程序设计语言(例如，C语言或汇编语言)。在特定示例中，第三方应用(例如，由除特定平台的供应商之外的实体使用ANDROID^TM或IOS^TM软件开发工具包(SDK)开发的应用)可包括在移动操作系统诸如IOS^TM、ANDROID^TM、电话或另一移动操作系统上运行的移动软件。在该示例中，第三方应用可调用由操作系统提供的API调用，以促进本文所述的功能。

因此，机器可读介质可采取许多形式的有形存储介质。非易失性存储介质包括例如光盘或磁盘，诸如任何计算机设备等中的任何存储设备，诸如可用于实施附图中所示的客户端设备、媒体网关、代码转换器等。易失性存储介质包括动态存储器，诸如此类计算机平台的主存储器。有形传输介质包括同轴电缆；铜线和光纤，包括构成计算机系统内的总线的导线。载波传输介质可采取电信号或电磁信号、或声波或光波的形式，诸如在射频(RF)和红外(IR)数据通信期间生成的那些。因此，计算机可读介质的常见形式包括例如：软盘、软磁盘、硬盘、磁带、任何其他磁介质、CD-ROM、DVD或DVD-ROM、任何其他光学介质、穿孔卡片纸带、任何其他具有孔图案的物理存储介质、RAM、PROM和EPROM、FLASH-EPROM、任何其他存储器芯片或盒、传输数据或指令的载波、传输此类载波的电缆或链路、或计算机可以从其中读取程序代码或数据的任何其他介质。许多这些形式的计算机可读介质可参与将一个或多个指令的一个或多个序列承载到处理器以供执行。

除了上文刚刚陈述的，无论是否在权利要求书中陈述，已陈述或说明的内容都不旨在或不应解释为导致任何部件、步骤、特征、对象、益处、优点或等效物献给公众。

应当理解，除非本文另外阐述了特定的含义，否则本文所用的术语和表达具有与关于它们对应的相应调查和研究领域的此类术语和表达一致的通常含义。诸如“第一”和“第二”等的关系术语仅可用于将一个实体或动作与另一个实体或动作区分开，而不一定要求或暗示这些实体或动作之间的任何实际的此类关系或顺序。术语“包括”、“包含”、“含有”、“具有”或其任何其他变型形式旨在涵盖非排他性的包括，使得包括或包含一系列元素或步骤的过程、方法、制品或装置不仅包括那些元素或步骤，而是还可以包括未明确列出的或对于此类过程、方法、制品或装置固有的其他元素或步骤。在没有进一步限制的情况下，前缀为“一”或“一个”的元素并不排除在包括该元素的过程、方法、制品或装置中另外的相同元素的存在。

除非另有说明，否则本说明书中，包括所附权利要求书中阐述的任何和所有测量、值、额定值、定位、量值、尺寸和其他规格是近似的，而不是精确的。此类量旨在具有与它们涉及的功能和它们所属的领域中的惯例一致的合理范围。例如，除非另外明确说明，否则参数值等可以从所述量或范围变化多达正负百分之十。

此外，在前述具体实施方式中可看出，出于使本公开简化的目的，各种特征在各种示例中被组合在一起。公开的本方法不应被解释为反映所要求保护的示例需要比每个权利要求中明确记载的特征更多的特征的意图。相反，如以下权利要求所反映的，要求保护的本主题在于少于任何单个公开的示例的所有特征。因此，将以下权利要求据此并入到具体实施方式中，其中每个权利要求作为独立要求保护的主题而独立存在。

虽然前文已描述了被认为是最佳模式的示例和其他示例，但应当理解，可在其中作出各种修改且本文所公开的主题可以各种形式和示例来实施，并且其可应用于许多应用中，本文仅描述了其中的一些应用。所附权利要求书旨在要求保护落入本发明构思的真实范围内的任何和所有修改和变型。

Claims (20)

1.一种控制虚拟元素相对于可移动对象的显示的方法，包括：

将眼戴设备与相对于物理环境处于固定接收器位置处的至少两个同步接收器配对，其中，所述接收器利用对象位置应用来基于由耦接到可移动对象的超宽带脉冲发射器的广播脉冲来计算所述可移动对象的当前对象位置，所述广播脉冲包括唯一标识符，所述眼戴设备包括处理器、存储器、定位应用、渲染应用和显示器；

利用所述定位应用来确定所述眼戴设备的当前眼戴器位置；以及

利用所述渲染应用将虚拟元素作为相对于所计算的当前对象位置并且相对靠近所确定的当前眼戴器位置的叠层呈现在所述显示器上。

2.根据权利要求1所述的方法，其中，所述当前对象位置包括当前定位和当前定向，所述方法进一步包括：

从在距所述脉冲发射器已知距离处耦接到所述可移动对象的第二超宽带脉冲发射器广播第二脉冲，

其中，所述计算当前对象位置的步骤进一步包括：

基于所广播的第二脉冲来计算所述当前定向。

3.根据权利要求2所述的方法，进一步包括：

从耦接到所述可移动对象的罗盘广播罗盘信号，其中，所述计算当前对象位置的步骤进一步包括基于所广播的罗盘信号来计算所述当前定向。

4.根据权利要求2所述的方法，进一步包括：

从耦接到所述可移动对象的加速度计广播加速度计信号，其中，所述计算当前对象位置的步骤进一步包括基于所广播的加速度计信号来计算所述当前定向。

5.根据权利要求1所述的方法，其中，所述呈现虚拟元素的步骤进一步包括：

从虚拟元素库检索用于所述虚拟元素的多个图像资产和相对于所述物理环境的期望尺寸；以及

基于所述图像资产、所述期望尺寸和所计算的当前对象位置，以当前尺寸渲染所述虚拟元素，使得所述虚拟元素相对于所述物理环境中的所述可移动对象持久地以所述期望尺寸出现。

6.根据权利要求1所述的方法，其中，所述脉冲发射器包括电源、脉冲生成器、发射器、天线和只读存储器，所述方法进一步包括：

在所述存储器中存储与所述脉冲发射器相关联的所述唯一标识符、与所述可移动对象相关联的对象标识符以及包括与所述可移动对象相关联的已知维度的预定义对象网格；以及

合成所述脉冲以包括所述对象网格。

7.根据权利要求1所述的方法，进一步包括：

在可移动对象数据库中存储与所述脉冲发射器相关联的所述唯一标识符、与所述可移动对象相关联的对象标识符以及与所述可移动对象相关联的预定义对象网格，其中，所述对象网格包括所述可移动对象的一组物理维度，

其中，所述计算当前对象位置的步骤进一步包括：

基于所述对象网格来计算所述当前对象位置。

8.根据权利要求1所述的方法，进一步包括：

记录与所述物理环境相关联的静态网格，其中，所述静态网格包括与位于所述物理环境中的多个静止对象相关联的维度，

其中，所述呈现虚拟元素的步骤进一步包括：

根据所述静态网格相对于所述多个静止对象呈现所述虚拟元素。

9.根据权利要求8所述的方法，进一步包括：

利用耦接到所述眼戴设备的相机来捕获所述物理环境的视频数据帧；

利用追踪应用在所捕获的视频数据帧中识别所述物理环境中相对于所述静态网格的多个移动项目；以及

在所述显示器上相对于所识别的多个移动项目呈现所述虚拟元素。

10.一种用于追踪对象和显示虚拟元素的系统，包括：

眼戴设备，所述眼戴设备与相对于物理环境处于固定接收器位置处的至少两个同步接收器配对通信，其中，所述接收器基于由耦接到可移动对象的超宽带脉冲发射器广播的脉冲，利用对象位置应用来计算所述可移动对象的当前对象位置，所广播的脉冲包括唯一标识符，所述眼戴设备包括处理器、存储器、定位应用、渲染应用和显示器，

其中，所述定位应用确定所述眼戴设备的当前眼戴器位置，

其中，所述渲染应用将虚拟元素作为相对于所计算的当前对象位置并且相对靠近所确定的当前眼戴器位置的叠层呈现在显示器上虚拟元素位置处。

11.根据权利要求10所述的系统，其中，所述当前对象位置包括当前定位和当前定向，所述系统进一步包括：

第二超宽带脉冲发射器，所述第二超宽带脉冲发射器在距所述脉冲发射器已知距离处耦接到所述可移动对象并且被配置为广播第二脉冲，

其中，所述对象位置应用基于所广播的第二脉冲来计算所述当前定向。

12.根据权利要求11所述的系统，进一步包括：

罗盘，所述罗盘耦接到所述可移动对象并且被配置为广播罗盘信号，其中，所述对象位置应用基于所广播的罗盘信号来计算所述当前定向；以及

加速度计，所述加速度计耦接到所述可移动对象并且被配置为广播加速度计信号，其中，所述对象位置应用基于所广播的加速度计信号来计算所述当前定向。

13.根据权利要求10所述的系统，进一步包括：

虚拟元素库，所述虚拟元素库包括用于每个虚拟元素的多个图像资产和相对于所述物理环境的期望尺寸，

其中，所述渲染应用基于所述图像资产、所述期望尺寸和所计算的当前对象位置，以当前尺寸呈现所述虚拟元素，使得所述虚拟元素相对于所述物理环境中的所述可移动对象持久地以所述期望尺寸出现。

14.根据权利要求10所述的系统，其中，所述脉冲发射器包括电源、脉冲生成器、发射器、天线和只读存储器，所述只读存储器包括与所述脉冲发射器相关联的所述唯一标识符、与所述可移动对象相关联的对象标识符和包括与所述可移动对象相关联的已知维度的预定义对象网格，其中，所述脉冲生成器被配置为合成所述脉冲以包括所述对象网格。

15.根据权利要求10所述的系统，进一步包括：

可移动对象数据库，所述可移动对象数据库包括用于每个可移动对象的与所述脉冲发射器相关联的所述唯一标识符、与所述可移动对象相关联的对象标识符以及与所述可移动对象相关联的预定义对象网格，其中，所述对象网格包括所述可移动对象的一组物理维度，

其中，所述对象位置应用基于所述对象网格来计算所述当前对象位置。

16.根据权利要求10所述的系统，进一步包括：

与所述物理环境相关联的静态网格，其中，所述静态网格包括与位于所述物理环境中的多个静止对象相关联的维度，

其中，所述渲染应用根据所述静态网格相对于所述多个静止对象呈现所述虚拟元素。

17.根据权利要求16所述的方法，进一步包括：

相机，所述相机耦接到所述眼戴设备并且被配置为捕获所述物理环境的视频数据帧；以及

追踪应用，所述追踪应用与所述对象位置应用同步并且被配置为在所捕获的视频数据帧中识别所述物理环境中相对于所述静态网格的多个移动项目，

其中，所述渲染应用在所述显示器上相对于所识别的多个移动项目呈现所述虚拟元素。

18.一种存储程序代码的非暂态计算机可读介质，所述程序代码在被执行时运行以使电子处理器执行以下步骤：

将眼戴设备与相对于物理环境位于固定接收器位置处的至少两个同步接收器配对；

确定所述眼戴设备相对于物理环境的当前眼戴器位置；

响应于从耦接到可移动对象的一个或多个脉冲发射器广播的脉冲，检索由所述接收器计算的所述可移动对象的当前对象位置；以及

将虚拟元素作为相对于所计算的当前对象位置并且相对靠近所确定的当前眼戴器位置的叠层呈现在显示器上。

19.根据权利要求18所述的存储程序代码的非暂态计算机可读介质，其中所述程序代码在被执行时运行以使所述电子处理器执行以下另外的步骤：

在可移动对象数据库中存储对象标识符以及与所述可移动对象相关联的预定义对象网格，其中，所述对象网格包括所述可移动对象的一组物理维度；以及

记录与所述物理环境相关联的静态网格，其中，所述静态网格包括与位于所述物理环境中的多个静止对象相关联的维度，

其中，所述呈现虚拟元素的过程进一步包括：

根据所述预定义对象网格和所记录的静态网格在所述显示器上呈现所述虚拟元素。

20.根据权利要求19所述的存储程序代码的非暂态计算机可读介质，其中所述程序代码在被执行时运行以使所述电子处理器执行以下另外的步骤：

利用耦接到所述眼戴设备的相机来捕获所述物理环境的视频数据帧；以及

在所捕获的视频数据帧中识别所述物理环境中相对于所述静态网格的多个移动项目，

其中，所述呈现虚拟元素的过程进一步包括：

在所述显示器上相对于所识别的多个移动项目呈现所述虚拟元素。