CN113544568B

CN113544568B - 人工现实的延迟减少

Info

Publication number: CN113544568B
Application number: CN202080017740.XA
Authority: CN
Inventors: 威廉·阿尔伯特; 卢刚; 瞿麒; 尼古拉斯·丹尼尔·特雷尔; 郑东
Original assignee: Meta Platforms Technologies LLC
Current assignee: Meta Platforms Technologies LLC
Priority date: 2019-03-08
Filing date: 2020-03-05
Publication date: 2023-04-25
Anticipated expiration: 2040-03-05
Also published as: EP3935438B1; EP3935438A1; JP2022522584A; US20220369313A1; US11723003B2; US20200344754A1; US11405913B2; JP7436484B2; KR20210134966A; WO2020185493A1; CN113544568A

Abstract

本文公开了一种远程渲染人工现实的系统和方法。在一种方法中，控制台确定用于将指示人工现实的图像的图像数据无线传输到头部可佩戴显示器的第一会话的预期传输结束时间。在一种方法中，控制台确定生成与人工现实的图像相关联的附加数据的预期处理结束时间。在一种方法中，控制台比较预期传输结束时间和预期处理结束时间。响应于预期处理结束时间小于预期传输结束时间，控制台可以在第一会话中将附加数据与图像数据一起传输到头部可佩戴显示器。

Description

人工现实的延迟减少

相关申请的交叉引用

本申请要求2019年3月8日提交的美国申请第62/815,811号和2020年1月28日提交的美国申请第16/774,863号的优先权，这两个申请的内容出于所有目的通过引用以其整体结合于此。

公开领域

本公开大体上涉及用于渲染人工现实的通信，包括但不限于减少用于人工现实的通信中的延迟(latency)。

背景

诸如虚拟现实(VR)、增强现实(AR)或混合现实(MR)等人工现实为用户提供沉浸式体验。在一个示例中，佩戴头部可佩戴显示器(head wearable display)(HWD)的用户可以转动用户的头部，并且对应于HWD的定位(location)和用户的凝视方向的虚拟对象的图像可以显示在HWD上，以允许用户感觉好像用户正在人工现实的空间(例如，VR空间、AR空间或MR空间)内移动。

在一个实现中，虚拟对象的图像由通信耦合到HWD的控制台生成。在一个示例中，HWD包括检测HWD的定位和/或取向的各种传感器，并且通过有线连接或无线连接将检测到的HWD的定位和/或取向传输到控制台。控制台可以根据检测到的HWD的定位和/或取向来确定用户对人工现实空间的视图，并且生成指示对应于用户视图的人工现实空间的图像的图像数据。控制台可以将图像数据传输到HWD，通过HWD可以将对应于用户视图的人工现实空间的图像呈现给用户。在一个方面，检测HWD的定位和佩戴HWD的用户的凝视方向并将图像呈现给用户的过程应该在帧时间(例如，小于11ms)内执行。佩戴HWD的用户的移动和对应于用户移动显示的图像之间的任何延迟都可能导致抖动(judder)，这可能导致晕动，并可降低用户体验。

概述

如下文将更详细描述的，本发明针对根据所附权利要求的方法、系统和头部可佩戴显示器。

本文公开的各种实施例涉及一种传送数据以渲染人工现实的方法。在一些实施例中，该方法包括由控制台确定用于向头部可佩戴显示器无线传输指示人工现实的图像的图像数据的第一会话(session)的预期传输结束时间。在一些实施例中，该方法包括由控制台确定生成与人工现实的图像相关联的附加数据的预期处理结束时间。在一些实施例中，该方法包括由控制台比较预期传输结束时间和预期处理结束时间。在一些实施例中，该方法包括响应于预期处理结束时间小于预期传输结束时间，在第一会话中由控制台向头部可佩戴显示器传输附加数据以及图像数据。

在一些实施例中，该方法包括由控制台从头部可佩戴显示器接收指示头部可佩戴显示器的定位和取向的信息。在一些实施例中，该方法包括由控制台根据接收的信息生成指示人工现实的图像的图像数据。在一些实施例中，该方法包括由控制台生成与人工现实的图像相关联的附加数据。在一些实施例中，该方法包括响应于预期处理结束时间小于预期传输结束时间，由控制台在相同的传输机会窗口或系统间隔中将附加数据与图像数据一起传输到头部可佩戴显示器。

在一些实施例中，该方法包括响应于预期处理结束时间大于预期传输结束时间，由控制台根据预期处理结束时间扩展第一会话，以及由控制台在扩展的第一会话中将附加数据与图像数据一起传输到头部可佩戴显示器。在一些实施例中，由控制台根据预期处理结束时间扩展第一会话包括由控制台调整第一会话的调制和编码方案以扩展第一会话。

在一些实施例中，该方法包括响应于预期处理结束时间大于预期传输结束时间，由控制台在第一会话中向头部可佩戴显示器传输指示预期处理结束时间的定时信息，以及响应于预期处理结束时间大于预期传输结束时间，由控制台通过第一会话之后的第二会话向头部可佩戴显示器传输附加数据。在一些实施例中，头部可佩戴显示器被配置成在第一会话和第二会话之间禁止与控制台的无线通信。

在一些实施例中，该方法包括：响应于预期处理结束时间大于预期传输结束时间，由控制台选择一个或更多个过程来生成附加数据的子集；由控制台执行所选择的一个或更多个过程来生成附加数据的子集；以及由控制台在第一会话中将附加数据的子集与图像数据一起传输到头部可佩戴显示器。在一些实施例中，附加数据的子集至少包括：用于将头部可佩戴显示器在物理空间中的定位和取向转换到虚拟空间中的映射信息、指示头部可佩戴显示器的用户的手的形状、定位或取向的手模型数据、或者指示头部可佩戴显示器的用户的凝视方向的眼睛跟踪数据。

本文公开的各种实施例涉及一种传送数据以用于渲染人工现实的系统。在一些实施例中，该系统包括无线通信接口。在一些实施例中，该系统包括处理器，该处理器被配置为确定用于将指示人工现实的图像的图像数据无线传输到头部可佩戴显示器的第一会话的预期传输结束时间，确定生成与人工现实的图像相关联的附加数据的预期处理结束时间，比较预期传输结束时间和预期处理结束时间，并且响应于预期处理结束时间小于预期传输结束时间，配置无线通信接口以在第一会话中将附加数据与图像数据一起传输到头部可佩戴显示器。

在一些实施例中，处理器还被配置为配置无线通信接口，以从头部可佩戴显示器接收指示头部可佩戴显示器的定位和取向的信息，根据接收的信息生成指示人工现实的图像的图像数据，并生成与人工现实的图像相关联的附加数据。在一些实施例中，处理器还被配置为响应于预期处理结束时间小于预期传输结束时间，配置无线通信接口以在相同的传输机会窗口或系统间隔中向头部可佩戴显示器传输附加数据以及图像数据。

在一些实施例中，处理器还被配置为响应于预期处理结束时间大于预期传输结束时间，根据预期处理结束时间来扩展第一会话，并且配置无线通信接口以在扩展的第一会话中将附加数据与图像数据一起传输到头部可佩戴显示器。在一些实施例中，处理器被配置成通过以下方式根据预期处理结束时间扩展第一会话：调整第一会话的调制和编码方案来扩展第一会话。

在一些实施例中，处理器还被配置成响应于预期处理结束时间大于预期传输结束时间，将无线通信接口配置成在第一会话中将指示预期处理结束时间的定时信息传输到头部可佩戴显示器，并且响应于预期处理结束时间大于预期传输结束时间，将无线通信接口配置成通过第一会话之后的第二会话将附加数据传输到头部可佩戴显示器。在一些实施例中，头部可佩戴显示器被配置成在第一会话和第二会话之间禁止与无线通信接口的无线通信。

在一些实施例中，处理器还被配置为响应于预期处理结束时间大于预期传输结束时间，选择一个或更多个过程来生成附加数据的子集，执行所选择的一个或更多个过程来生成附加数据的子集，并且配置无线通信接口以在第一会话中将附加数据的子集与图像数据一起传输到头部可佩戴显示器。在一些实施例中，附加数据的子集至少包括：用于将头部可佩戴显示器在物理空间中的定位和取向转换到虚拟空间中的映射信息、指示头部可佩戴显示器的用户的手的形状、定位或取向的手模型数据、或者指示头部可佩戴显示器的用户的凝视方向的眼睛跟踪数据。

本文公开的各种实施例涉及头部可佩戴显示器。在一些实施例中，头部可佩戴显示器包括无线通信接口和处理器。在一些实施例中，处理器配置无线通信接口以在第一会话中从控制台接收指示人工现实的图像的图像数据和指示为使控制台生成与人工现实的图像相关联的附加数据的预期处理结束时间的定时信息。在一些实施例中，处理器将无线通信接口配置为睡眠模式，直到预期处理结束时间。在一些实施例中，处理器配置无线通信接口以在预期处理结束时间之后的第二会话中从控制台接收附加数据。在一些实施例中，处理器根据人工现实的图像和附加数据呈现人工现实。在一些实施例中，附加数据包括用于将头部可佩戴显示器在物理空间中的定位和取向转换到虚拟空间中的映射信息。

附图简述

附图不意在按比例绘制。不同附图中相同的附图标记和名称表示相同的元件。为了清楚起见，并非每个组件都可以在每个图中进行标记。

图1是根据本公开的示例实现的包括人工现实系统的系统环境的图。

图2是根据本公开的示例实现的头部可佩戴显示器的图。

图3是根据本公开的示例实现的内容提供器的图。

图4是根据本公开的示例实现的头部可佩戴显示器和控制台之间的通信的示例时序图。

图5示出了根据本公开的示例实现的控制台将图像数据和附加数据传输到头部可佩戴显示器的示例过程。

图6示出了根据本公开的示例实现的头部可佩戴显示器从控制台接收图像数据和附加数据的示例过程。

图7是根据本公开的示例实现的计算环境的框图。

详细描述

在转向详细示出某些实施例的附图之前，应当理解，本公开不限于说明书中阐述的或附图中示出的细节或方法。还应该理解，本文使用的术语仅仅是为了描述的目的，不应该被认为是限制性的。

在本文公开的是涉及用于通过以减少的延迟从控制台设备向头部可佩戴显示器(HWD)传输人工现实的附加数据来远程渲染人工现实空间(例如，AR空间、VR空间或MR空间)的系统和方法。附加数据可以是除了人工现实的图像之外与呈现或渲染人工现实相关联的信息。附加数据可以包括对象信息、深度信息、手模型数据、反馈信息等。在一些实施例中，控制台在一个或更多个分配的会话中传输指示人工现实的图像的图像数据。例如，控制台可以在会话中传输人工现实的图像数据的一部分或整个图像数据，然后可以禁止与HWD的通信，直到随后的会话，以传输计算的传感器数据。一方面，禁止两个会话之间的通信可以节省控制台和HWD的功耗。在一些实施例中，除了人工现实的图像数据之外，与呈现或渲染人工现实相关联的附加数据可能没有准备好在图像数据的会话中传输，并且可能在后续图像数据的后续会话中传输，从而导致附加数据的传输延迟。然而，附加数据的传输延迟可能导致从检测到HWD的用户的运动到呈现对应于检测到的运动的人工现实的延迟。这种延迟可能会导致抖动，并降低人工现实中的用户体验。在一个方面，为了减少呈现人工现实的延迟，控制台可以通过本文公开的各种方法自适应地传输附加数据。

在一种方法中，在会话(例如，传输机会(TX OP)窗口，和/或当前系统间隔)能够或适合传输附加数据的情况下，控制台可以在用于图像数据的会话中传输与图像数据相关联的附加数据，该图像数据指示人工现实的图像。例如，控制台可以确定是否可以在图像数据的会话结束之前传输附加数据。如果可以在图像数据的会话结束之前传输与图像数据相关联的附加数据，则控制台可以在会话中将附加数据与图像数据一起传输到HWD。

在一种方法中，在会话不能或不适合传输附加数据的情况下，控制台可以调整会话、调整附加数据或两者都调整。在一个示例中，控制台可以扩展会话，并且可以在扩展的会话中传输附加数据。在一个示例中，控制台可以根据附加数据的不同子集的优先级或排名来选择附加数据的子集，并且在会话中传输附加数据的所选子集。控制台可以省略或绕过附加数据的另一子集的传输，或者可以在后续会话中传输附加数据的另一子集。

在一种方法中，在会话不能或不适合传输附加数据的情况下，控制台可以在图像的会话和后续图像的后续会话之间(例如，在这两个会话之一或者两者中)传输附加数据。例如，控制台可以向HWD传输指示传输附加数据的预期时间的定时信息。控制台可以在会话中将定时信息(其可以对应于附加数据的一部分)传输到HWD。在会话之后和预期时间之前，控制台和HWD之间的通信可能会被禁止。在预期时间或之后，可以根据定时信息启用控制台和HWD之间的通信，并且控制台可以将部分或全部附加数据传输到HWD。

图1是示例人工现实系统环境100的框图。在一些实施例中，人工现实系统环境100包括用户佩戴的HWD 150、以及向HWD 150提供人工现实内容的控制台110。HWD 150可以被称为、包括或作为头戴式显示器(HMD)、头戴式设备(HMD)、头部可佩戴设备(HWD)、头部佩戴显示器(HWD)或头部佩戴设备(HWD)的一部分。HWD 150可以检测其HWD 150的定位和/或取向以及用户的身体/手/脸的形状、定位和/或取向，并且向控制台110提供检测到的HWD 150的定位和/或取向和/或指示身体/手/脸的形状、定位和/或取向的跟踪信息。控制台110可以根据检测到的HDM 150的定位和/或取向、检测到的用户的身体/手/脸的形状、定位和/或取向和/或用于人工现实的用户输入来生成指示人工现实的图像的图像数据，并且将图像数据传输到HWD 150用于呈现。在一些实施例中，人工现实系统环境100包括比图1所示更多、更少或不同的组件。在一些实施例中，人工现实系统环境100的一个或更多个组件的功能可以以不同于这里描述的方式分布在组件中。例如，控制台110的一些功能可以由HWD150来执行。例如，HWD 150的一些功能可以由控制台110执行。在一些实施例中，控制台110被集成为HWD 150的一部分。

在一些实施例中，HWD 150是可以由用户佩戴并可以向用户呈现或提供人工现实体验的电子组件。HWD 150可以呈现一个或更多个图像、视频、音频或其某种组合，以向用户提供人工现实体验。在一些实施例中，音频经由外部设备(例如，扬声器和/或头戴式耳机)呈现，该外部设备从HWD 150、控制台110或两者接收音频信息，并基于该音频信息呈现音频。在一些实施例中，HWD 150包括传感器155、眼睛跟踪器160、手跟踪器162、通信接口165、图像渲染器170、电子显示器175、透镜180和补偿器185。这些组件可以一起操作来检测HWD150的定位和佩戴HWD 150的用户的凝视方向，并且在人工现实中渲染与检测到的HWD 150的定位和/或取向相对应的视图的图像。在其他实施例中，HWD 150包括比图1所示更多、更少或不同的组件。

在一些实施例中，传感器155包括检测HWD 150的定位和取向的电子组件或电子组件和软件组件的组合。传感器155的示例可以包括：一个或更多个成像传感器、一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、或者检测运动和/或定位的另一种合适类型的传感器。例如，一个或更多个加速度计可以测量平移运动(例如，向前/向后、向上/向下、向左/向右)，一个或更多个陀螺仪可以测量旋转运动(例如，俯仰、偏航、滚动)。在一些实施例中，传感器155检测平移运动和旋转运动，并确定HWD 150的取向和定位。在一个方面，传感器155可以检测相对于HWD 150的先前取向和定位的平移运动和旋转运动，并且通过对检测到的平移运动和/或旋转运动累加或积分来确定HWD 150的新取向和/或定位。例如，假设HWD 150被定向在与参考方向成25度的方向上，响应于检测到HWD 150已经旋转20度，传感器155可以确定HWD 150现在面向或被定向在与参考方向成45度的方向上。作为另一个示例，假设HWD 150在第一方向上距离参考点两英尺，响应于检测到HWD 150已经在第二方向上移动了三英尺，传感器155可以确定HWD 150现在位于第一方向上的两英尺和第二方向上的三英尺的矢量乘积处。

在一些实施例中，眼睛跟踪器160包括确定HWD 150的用户的凝视方向的电子组件或电子组件和软件组件的组合。在一些实施例中，HWD 150、控制台110或它们的组合可以结合HWD 150的用户的凝视方向，以生成用于人工现实的图像数据。在一些实施例中，眼睛跟踪器160包括两个眼睛跟踪器，其中每个眼睛跟踪器160捕获相应眼睛的图像并确定眼睛的凝视方向。在一个示例中，眼睛跟踪器160根据捕获的眼睛图像来确定眼睛的角度旋转、眼睛的平移、眼睛扭转的变化和/或眼睛形状的变化，并且根据确定的角度旋转、平移和眼睛扭转的变化来确定相对于HWD 150的相对凝视方向。在一种方法中，眼睛跟踪器160可以在眼睛的一部分上照射或投射预定的参考或结构化图案，并且捕获眼睛的图像以分析投射在眼睛的一部分上的图案，从而确定眼睛相对于HWD 150的相对凝视方向。在一些实施例中，眼睛跟踪器160结合HWD 150的取向和相对于HWD 150的相对凝视方向来确定用户的凝视方向。例如，假设HWD 150被定向在与参考方向成30度的方向上，并且HWD 150相对凝视方向为相对于HWD 150的-10度(或350度)，眼睛跟踪器160可以确定用户的凝视方向与参考方向成20度。在一些实施例中，HWD 150的用户可以(例如，通过用户设置)配置HWD 150来启用或禁用眼睛跟踪器160。在一些实施例中，HWD 150的用户被提示启用或禁用眼睛跟踪器160。

在一些实施例中，手跟踪器162包括跟踪用户的手的电子组件或电子组件和软件组件的组合。在一些实施例中，手跟踪器162包括或耦合到成像传感器(例如，照相机)和图像处理器，该图像处理器可以检测手的形状、定位和取向。手跟踪器162可以生成指示检测到的手的形状、定位和取向的手跟踪测量结果。

在一些实施例中，通信接口165包括与控制台110通信的电子组件或电子组件和软件组件的组合。通信接口165可以通过通信链路与控制台110的通信接口115通信。通信链路可以是无线链路。无线链路的示例可以包括蜂窝通信链路、近场通信链路、Wi-Fi、蓝牙、60GHz无线链路或任何通信无线通信链路。通过通信链路，通信接口165可以向控制台110传输指示HWD 150的确定定位和/或取向、用户的确定凝视方向和/或手部跟踪测量结果的数据。此外，通过通信链路，通信接口165可以从控制台110接收指示或对应于要渲染的图像的图像数据以及与该图像相关联的附加数据。

在一些实施例中，图像渲染器170包括例如根据人工现实的空间视图的变化生成一个或更多个图像用于显示的电子组件或电子组件和软件组件的组合。在一些实施例中，图像渲染器170被实现为处理器(或图形处理单元(GPU))，其执行指令以执行本文描述的各种功能。图像渲染器170可以通过通信接口165接收描述要渲染的人工现实图像的图像数据和与该图像相关联的附加数据，并通过电子显示器175渲染该图像。在一些实施例中，来自控制台110的图像数据可以被编码，并且图像渲染器170可以解码图像数据以渲染图像。在一些实施例中，图像渲染器170从控制台110以附加数据接收指示人工现实空间中的虚拟对象的对象信息和指示虚拟对象的深度(或距HWD 150的距离)的深度信息。在一个方面，根据人工现实的图像、对象信息、来自控制台110的深度信息和/或来自传感器155的更新的传感器测量结果，图像渲染器170可以执行着色、重投影和/或混合来更新人工现实的图像，以对应于HWD 150的更新的定位和/或取向。假设用户在初始传感器测量之后转动了他的头部，图像渲染器170可以根据更新的传感器测量来生成与人工现实内的更新视图相对应的图像的一小部分(例如，10％)，并且通过重投影将该部分附加到来自控制台110的图像数据中的图像，而不是响应于更新的传感器测量来重新创建整个图像。图像渲染器170可以对附加边缘执行着色和/或混合。因此，在不根据更新的传感器测量重新创建人工现实的图像的情况下，图像渲染器170可以生成人工现实的图像。在一些实施例中，图像渲染器170接收指示对应于用户的手的手模型的形状、定位和取向的手模型数据，并将手模型覆盖在人工现实的图像上。这种手模型可以呈现为视觉反馈，以允许用户在人工现实中提供各种交互。

在一些实施例中，电子显示器175是显示图像的电子组件。电子显示器175例如可以是液晶显示器或有机发光二极管显示器。电子显示器175可以是允许用户透视的透明显示器。在一些实施例中，当用户佩戴HWD 150时，电子显示器175位于用户眼睛附近(例如，小于3英寸)。在一个方面，电子显示器175根据由图像渲染器170生成的图像向用户的眼睛发射或投射光。

在一些实施例中，透镜180是改变从电子显示器175接收的光的机械组件。透镜180可以放大来自电子显示器175的光，并校正与光相关的光学误差。透镜180可以是菲涅耳透镜、凸透镜、凹透镜、滤光器或改变来自电子显示器175的光的任何合适的光学组件。通过透镜180，来自电子显示器175的光可以到达瞳孔，使得用户可以看到由电子显示器175显示的图像，尽管电子显示器175非常接近眼睛。

在一些实施例中，补偿器185包括电子组件或电子组件和软件组件的组合，其执行补偿以补偿任何失真或像差。在一个方面，透镜180引入光学像差，例如色差、枕形失真、桶形失真等。补偿器185可以确定要应用于来自图像渲染器170的要渲染的图像的补偿(例如，预失真)，以补偿由透镜180引起的失真，并将所确定的补偿应用于来自图像渲染器170的图像。补偿器185可以向电子显示器175提供预失真图像。

在一些实施例中，控制台110是电子组件或电子组件和软件组件的组合，其提供要呈现给HWD 150的内容。在一个方面，控制台110包括通信接口115和内容提供器130。这些组件可以一起操作来确定对应于HWD 150的定位和HWD 150的用户的凝视方向的人工现实的视图(例如，用户的FOV)，并且可以生成指示对应于所确定的视图的人工现实的图像的图像数据。此外，这些组件可以一起操作来生成与图像相关联的附加数据。附加数据可以是与呈现或渲染除了人工现实图像之外的人工现实相关联的信息。附加数据的示例包括手模型数据、用于将HWD 150在物理空间中的定位和取向转换到虚拟空间中的映射信息(或即时定位与地图构建(SLAM)数据)、眼睛跟踪数据、运动矢量信息、深度信息、边缘信息、对象信息等。控制台110可以向HWD 150提供图像数据和附加数据，用于呈现人工现实。在其他实施例中，控制台110包括比图1所示更多、更少或不同的组件。在一些实施例中，控制台110被集成为HWD 150的一部分。

在一些实施例中，通信接口115是与HWD 150通信的电子组件或电子组件和软件组件的组合。通信接口115可以是通信接口165的对应组件，以通过通信链路(例如，无线链路)与控制台110的通信接口115通信。通过通信链路，通信接口115可以从HWD 150接收数据，该数据指示HWD 150的确定的定位和/或取向、用户的确定的凝视方向以及手跟踪测量结果。此外，通过通信链路，通信接口115可以向HWD 150传输描述要渲染的图像的图像数据和与人工现实的图像相关联的附加数据。

内容提供器130可以包括或对应于根据HWD 150的定位和/或取向生成要渲染的内容的组件。在一些实施例中，内容提供器130可以结合HWD 150的用户的凝视方向，以及基于手跟踪测量的人工现实中的用户交互，以生成要渲染的内容。在一个方面，内容提供器130根据HWD 150的定位和/或取向来确定人工现实的视图。例如，内容提供器130将HWD 150在物理空间中的定位映射到人工现实空间中的定位，并且从人工现实空间中的映射定位确定沿着对应于映射取向的方向的人工现实空间的视图。内容提供器130可以生成描述人工现实空间的确定视图的图像的图像数据，并且通过通信接口115将图像数据传输到HWD 150。内容提供器130还可以根据手跟踪测量结果生成对应于HWD 150的用户的手的手模型，并且生成指示手模型在人工现实空间中的形状、定位和取向的手模型数据。在一些实施例中，内容提供器130可以生成与图像相关的附加数据，附加数据包括运动矢量信息、深度信息、边缘信息、对象信息、手模型数据等，并且通过通信接口115将附加数据与图像数据一起传输到HWD 150。内容提供器130可以对描述图像的图像数据进行编码，并且可以将编码的数据传输到HWD 150。在一些实施例中，内容提供器130周期性地(例如，每11ms)生成图像数据并将其提供给HWD 150。在一个方面，通信接口115可以自适应地将附加数据传输到HWD 150，如下面参考图3至图6所述。

图2是根据示例实施例的HWD 150的图。在一些实施例中，HWD 150包括前刚性主体205和带210。前刚性主体205包括电子显示器175(未在图2中示出)、透镜180(未在图2中示出)、传感器155、眼睛跟踪器160A、160B、通信接口165和图像渲染器170。在图2所示的实施例中，通信接口165、图像渲染器170和传感器155位于前刚性主体205内，并且可能对用户不可见。在其他实施例中，HWD 150具有与图2所示不同的配置。例如，通信接口165、图像渲染器170、眼睛跟踪器160A、160B和/或传感器155可以位于不同于图2所示的定位。

图3是根据本公开的示例实现的内容提供器130的图。在一些实施例中，内容提供器130包括图像数据生成器310、附加数据生成器320和通信接口控制器330。这些组件可以一起操作来生成指示人工现实的视图的图像的图像数据和与人工现实的图像数据相关联的附加数据，并且将图像和附加数据传输到HWD 150。在一些实施例中，内容提供器130包括比图3所示更多、更少或不同的组件。在一些实施例中，内容提供器130的一些组件的功能可以由HWD 150来执行。

在一些实施例中，图像数据生成器310对应于或包括硬件组件(例如，处理器、电路)、软件组件或硬件组件和软件组件的组合，其根据来自HWD 150的传感器测量结果生成指示人工现实的图像的图像数据。在一种方法中，图像数据生成器310在人工现实空间中映射对应于HWD 150在物理空间中的定位和/或取向的定位和/或取向。图像数据生成器310然后可以根据人工现实空间中的映射取向从人工现实空间中的映射定位确定人工现实空间的视图。图像数据生成器310可以生成指示人工现实空间的确定视图的图像的图像数据。例如，如果传感器测量指示HWD 150的用户已经在顺时针方向上转动了他的头部90度，则图像数据生成器310可以在人工现实空间内生成对应于顺时针旋转90度的图像。

在一些实施例中，附加数据生成器320对应于或包括根据来自HWD 150的传感器测量结果生成附加数据的硬件组件(例如，处理器)、软件组件或硬件组件和软件组件的组合。附加数据可以是与呈现或渲染除了人工现实的图像之外的人工现实相关联的信息。附加数据可以包括对象信息、深度信息、手模型数据等。对象信息可以指示人工现实中的交互式虚拟对象或非交互式虚拟对象，深度信息可以指示在人工现实中虚拟对象相对于用户或HWD的深度或距离。附加数据生成器320可以根据人工现实空间中映射的定位和取向，生成人工现实空间中虚拟对象的对象信息和深度信息。附加数据生成器320还可以根据来自HWD 150的指示检测到的手的形状、定位和取向的手跟踪测量结果，来生成指示虚拟手模型的形状、定位和取向的手模型数据。此外，附加数据生成器320可以生成映射信息，用于将物理空间中的HWD 150的定位和取向映射或转换到人工现实空间中。此外，附加数据生成器320可以生成指示HWD 150的用户的位置、取向和/或方向的手跟踪数据。

在一些实施例中，通信接口控制器330对应于或包括配置通信接口115的组件。在一个方面，通信接口控制器330配置通信接口115以在一个或更多个会话中与HWD 150通信。一个或更多个会话可以是预定的，并且可以由通信接口控制器330调整。在一个示例中，通信接口控制器330配置通信接口115以接收指示HWD 150的检测到的定位和取向和/或用户的凝视方向的传感器测量结果的数据。在一个示例中，通信接口控制器330配置通信接口115以传输指示人工现实的图像的图像数据。在会话之间，通信接口控制器330可以将通信接口115配置为以睡眠模式操作或驻留在睡眠模式，并且禁止与HWD 150的通信。通过禁止HWD 150和控制台110之间的通信，控制台110和HWD 150可以降低功耗。然而，启用和禁用通信接口115可能会延迟附加数据的传输，这可能会延迟HWD 150向用户呈现人工现实并降低用户体验。在一个方面，通信接口控制器330将通信接口115配置为自适应地传输附加数据，以减少人工现实呈现的延迟，并向HWD 150的用户提供无缝体验。

在一种方法中，通信接口控制器330确定用于传输图像数据的会话是否适合或能够传输附加数据。在一些实施例中，通信接口控制器330估计、预测、计算、确定和/或获得预期传输结束时间(T_UL)和预期处理结束时间(T_EST)，并通过比较预期传输结束时间T_UL和预期处理结束时间T_EST来确定会话是否适合或能够传输附加数据。在一个方面，预期传输结束时间T_UL是完成用于向HWD 150无线传输指示人工现实的图像的图像数据的会话(例如，数据传递或传输会话)的预期时间。通信接口控制器330可以根据图像数据的大小或数量(例如，在例如特定时间实例可用的或生成的图像数据)和无线信道的数据速率(例如，在例如特定时间实例的平均或瞬时数据速率)来确定预期传输结束时间(T_UL)。在一个方面，预期处理结束时间T_EST是附加数据生成器320完成生成(例如，收集、计算、形成)与人工现实的图像相关联的附加数据的预期时间。通信接口控制器330可以根据生成附加数据的过程的数量以及执行生成附加数据的过程的可用处理器或资源的数量来确定预期处理结束时间T_EST。例如，通信接口控制器330可以确定附加数据生成器320的可用处理器执行用于生成附加数据的过程的时间量。如果预期传输结束时间(T_UL)大于预期处理结束时间(T_EST)，则通信接口控制器330可以确定会话适合或能够传输附加数据。如果预期传输结束时间(T_UL)小于预期处理结束时间(T_EST)，则通信接口控制器330可以确定会话不适合或不能传输附加数据(例如，会话持续时间太短或已经传输太多图像数据，而不能在相同的系统间隔内传输附加数据)。

在一种方法中，在会话能够或适合于传输附加数据的情况下，通信接口控制器330可以配置通信接口115在会话中传输图像数据和附加数据。在一个示例中，通信接口控制器330可以配置通信接口115来传输图像数据，并且在图像数据传输之后并且在预期传输结束时间T_UL之前，配置通信接口115来传输附加数据。

在一种方法中，在会话不能或不适合传输附加数据的情况下，通信接口控制器330可以调整会话。在一个方面，通信接口控制器330扩展会话以增加预期传输结束时间T_UL，并且配置通信接口115以在扩展会话中传输附加数据。例如，如果预期传输结束时间T_UL小于预期处理结束时间T_EST，则通信接口控制器330可以调整调制和编码方案以降低数据速率或带宽，从而扩展预期传输结束时间T_UL。例如，假设预期处理结束时间T_EST是5ms，并且基于具有1Gbps数据速率的初始MCS选择的预期传输结束时间T_UL是1ms，则通信接口控制器330可以将MCS选择调整为200Mbps，使得扩展的预期传输结束时间T_UL可以是5ms。在一个示例中，通信接口控制器330可以配置通信接口115以在具有扩展的传输结束时间T_UL的调整的会话中传输图像数据和附加数据。

在一种方法中，在图像数据的会话不能或不适合传输附加数据的情况下，通信接口控制器330可以调整附加数据以进行传输。在一个方面，通信接口控制器330可以根据附加数据的不同子集的优先级或排名来选择附加数据的子集，并且配置通信接口115以在会话中传输附加数据的所选子集。例如，通信接口控制器330可以选择与人工现实的图像相关联的SLAM数据或手模型数据，而不是与图像相关联的其他数据。通信接口控制器330可以配置通信接口115以省略或绕过附加数据的另一子集的传输。替代地，通信接口控制器330可以配置通信接口115在后续会话中传输附加数据的另一子集。在一些实施例中，通信接口控制器330可以配置附加数据生成器320以省略或绕过用于生成附加数据的另一子集的一个或更多个过程，使得附加数据生成器320可以优先化用于生成附加数据的所选子集的一个或更多个过程。因此，可以减少预期处理结束时间T_EST，并且通信接口控制器330可以配置通信接口115在(相同的)会话中(例如，在相同的传输机会(TX OP)窗口和/或系统间隔内)传输图像数据和附加数据的所选子集。

在一种方法中，在会话不能或不适合传输附加数据的情况下，通信接口控制器330可以配置通信接口115在图像的会话和后续图像的后续会话之间传输附加数据。例如，通信接口控制器330可以使通信接口115向HWD 150传输指示预期处理结束时间T_EST的定时信息。定时信息可以在会话中与图像数据一起传输。在会话之后并且在预期处理结束时间T_EST之前，通信接口控制器330可以禁用通信接口115。类似地，在会话之后和预期时间之前，HWD150可以响应于定时信息禁用其通信接口165。在预期时间，通信接口控制器330可以启用通信接口115，并且HWD 150可以启用通信接口165。当两个通信接口115、165都被启用时，通信接口控制器330可以配置通信接口115来向HWD 150传输附加数据。在传输附加数据之后，通信接口控制器330可以禁用通信接口115，直到传输后续图像的后续会话。类似地，在传输附加数据之后，HWD 150可以禁用其通信接口165，直到后续图像的后续会话。

图4是根据本公开的示例实现的HWD 150和控制台110之间的通信的示例时序图400。在一个示例中，HWD 150在会话410中获得指示HWD 150在物理空间中的定位和/或取向的传感器测量结果。HWD 150还可以例如在会话410中生成或获得指示HWD 150的用户的手的定位和/或取向的手跟踪测量结果。在会话410之后的会话420中，HWD 150可以通过无线链路将传感器测量结果和手跟踪测量结果传输到控制台110。在会话420之后的会话430中，控制台110可以生成图像数据，并通过无线链路将图像数据传输到HWD 150。在一个示例中，控制台110可以将图像分成几个部分，并且可以在相应的或不同的会话中传输不同部分的图像数据。

在一些情况下，控制台110可以自适应地将附加数据传输到HWD 150，如上面参考图4所述。例如，如果会话能够或适合于传输附加数据，控制台110可以在会话430中传输附加数据和图像数据。如果会话不能或不适合传输附加数据，控制台110可以扩展会话430，选择附加数据的子集以进行传输，或这两种动作的组合。在会话430之后，控制台110和HWD150可以禁用(例如，暂停、中止、抑制)通信，直到用于后续图像的后续会话490。通过禁止通信，可以降低控制台110和HWD 150的功耗。

在一些实施例中，控制台110可以向HWD 150传输指示预期处理结束时间T_EST的定时信息，使得HWD 150以睡眠模式配置其通信接口165，直到预期处理结束时间T_EST，并在预期处理结束时间T_EST唤醒其通信接口165以接收附加数据。在接收到附加数据之后，HWD 150可以将其通信接口165配置在睡眠模式，直到用于后续图像的后续会话490。在后续会话490之前，HWD 150可以基于来自控制台110的图像数据和附加数据呈现人工现实的图像。在一些实施例中，HWD 150可以根据HWD 150的定位和/或取向的更新测量来执行重投影和/或混合，以在后续会话490之前呈现对应于HWD 150的更新定位和/或取向的图像。

图5示出了根据本公开的示例实现的控制台110向HWD 150传输图像数据和附加数据的示例过程500。在一些实施例中，过程500包括比图5所示更多、更少或不同的步骤。例如，在一些实施例中，步骤538、540、555、560、570、585中的两个或更多个可以以任何组合来执行。

在一种方法中，控制台110确定510完成用于向HWD 150无线传输指示人工现实的图像的图像数据的会话的预期传输结束时间(T_UL)。控制台110可以根据图像数据的大小或数量以及控制台110和HWD 150之间的无线通信信道的数据速率来确定预期传输结束时间T_UL。例如，控制台110可以将图像数据的大小或数量除以数据速率，以获得、估计或确定预期传输结束时间T_UL。

在一种方法中，控制台110确定520控制台110完成生成与人工现实的图像相关联的附加数据的预期处理结束时间(T_EST)。附加数据可以是与呈现或渲染除了人工现实的图像之外的人工现实相关联的信息(例如，控制信息、定时信息、配置信息、握手/确认信息)。控制台110可以根据生成附加数据的过程数量以及执行生成附加数据的过程的可用处理器或资源的数量来确定预期处理结束时间T_EST。例如，控制台110可以确定可用处理器执行过程以生成附加数据的时间量。在一些实施例中，控制台110在执行用于生成附加数据的过程之前，或者在执行用于生成附加数据的一部分的一个或更多个过程期间，确定预期处理结束时间T_EST。

在一种方法中，控制台110比较530预期传输结束时间T_UL和预期处理结束时间T_EST，以确定用于图像数据的无线传输的会话是否能够或适合于附加数据的传输。如果预期传输结束时间T_UL大于或等于预期处理结束时间T_EST，控制台110可以确定会话能够或适合传输附加数据。如果预期传输结束时间T_UL小于预期处理结束时间T_EST，控制台110可以确定会话不能或不适合传输附加数据。响应于用于图像数据的无线传输的会话能够或适于传输附加数据(或预期传输结束时间T_UL和预期处理结束时间T_EST)，控制台110可以在会话中将附加数据与图像数据一起传输到HWD 150(例如，使附加数据尾随或紧接在图像数据后、使图像数据捎带附加数据)。根据图像数据和附加数据，HWD 150可以向HWD 150的用户呈现人工现实。

响应于用于图像数据的无线传输的会话不能或不适合传输附加数据(或预期传输结束时间T_UL小于预期处理结束时间T_EST)，控制台110可以确定535会话(和/或相应的上行链路传输时间/持续时间)是否可调。例如，控制台110可以确定预期传输结束时间T_UL(和/或相应的上行链路传输时间/持续时间)是否可以被扩展为等于或大于预期处理结束时间T_EST。如果会话是可调整的，控制台110可以调整538会话以增加预期传输结束时间T_UL(和/或相应的上行链路传输时间/持续时间)。例如，控制台110可以改变MCS设置，以降低从控制台110到HWD 150的传输数据速率，从而增加预期传输结束时间T_UL(和/或相应的上行链路传输时间/持续时间)。在调整会话(和/或相应的上行链路传输时间/持续时间)之后，控制台110可以在调整的会话中传输540附加数据和图像数据。

如果会话是不可调整的，控制台110可以确定550用于附加数据的另一会话是否可用。另一个会话可以是附加数据的临时传输会话。如果另一会话可用，控制台110可以例如在图像数据的会话中向HWD 150传输555指示预期处理结束时间T_EST的定时信息，并且在预期处理结束时间T_EST或之后在另一会话中传输560附加数据。在用于图像数据的会话和用于附加数据的另一个会话之间，HWD 150和控制台110之间的通信可以被禁止以降低功耗。此外，在另一会话中传输附加数据之后，可以禁止HWD 150和控制台110之间的通信，直到用于后续图像数据的后续会话。

如果用于附加数据的另一会话不可用，控制台110可以选择570一个或更多个过程来生成附加数据的子集，并且在会话中将附加数据的子集与图像数据一起传输585到HWD150。在一个方面，控制台110可以选择一个或更多个过程来根据附加数据的不同子集的优先级或排名生成附加数据的子集。在一些实施例中，控制台110自适应地确定可以在会话中与图像数据一起传输到HWD 150的附加数据的大小或量，并且确定具有确定的大小或确定的量的附加数据的子集。控制台110可以执行一个或更多个过程来生成附加数据的选定子集。对于稍后的会话，控制台110可以省略或延迟生成附加数据的未选择子集的其他过程。控制台110可以在会话中将附加数据的选定子集与图像数据一起传输。在一个示例中，控制台110可以选择与人工现实的图像相关联的SLAM数据或手模型数据，而不是与图像相关联的其他数据。控制台110可以省略或绕过附加数据的另一子集的传输。

图6示出了根据本公开的示例实现的HWD 150从控制台110接收图像数据和附加数据的示例过程600。在一些实施例中，过程600包括比图6所示更多、更少或不同的步骤。

在一种方法中，HWD 150在会话中通过无线链路从控制台110接收610指示人工现实的图像的图像数据。在一种方法中，HWD 150从控制台110接收620指示预期处理结束时间T_EST的定时信息。HWD 150可以在会话中接收图像数据和定时信息。

在一种方法中，在会话之后和预期处理结束时间T_EST之前，HWD 150禁止630与控制台的通信。在预期处理结束时间T_EST或之后，HWD 150可以启用640与控制台110的通信，并且通过无线链路从控制台110接收650附加数据。在接收到附加数据之后，HWD 150可以禁止与控制台110的通信，直到用于后续图像的后续会话。根据图像数据和附加数据，HWD 150可以向HWD 150的用户呈现660人工现实。有利地，与图像数据相关联的附加数据可以自适应地从控制台110传输到HWD 150，而不会延迟人工现实的呈现。此外，HWD 150可以向用户提供无缝体验，同时降低与控制台110通信的功耗。

本文描述的各种操作可以在计算机系统上实现。图7示出了可用于实现本公开的代表性计算系统714的框图。在一些实施例中，图1的控制台110、HWD 150或二者由计算系统714实现。计算系统714可以被实现为例如消费设备，诸如智能手机、其他移动电话、平板计算机、可佩戴计算设备(例如，智能手表、眼镜、头部可佩戴显示器)、台式计算机、膝上型计算机，或者用分布式计算设备来实现。计算系统714可以被实现为提供VR、AR、MR体验。在一些实施例中，计算系统714可以包括传统的计算机组件，例如处理器716、存储设备718、网络接口720、用户输入设备722和用户输出设备724。

网络接口720可以提供到广域网(例如，互联网)的连接，远程服务器系统的WAN接口也连接到广域网。网络接口720可以包括有线接口(例如以太网)和/或无线接口，用于实现各种RF数据通信标准，例如Wi-Fi、蓝牙或蜂窝数据网络标准(例如3G、4G、5G、60GHz、LTE等)。

用户输入设备722可以包括用户可以通过其向计算系统714提供信号的任何设备(或多个设备)；计算系统714可以将信号解释为特定用户请求或信息的指示。用户输入设备722可以包括键盘、触摸板、触摸屏、鼠标或其他定点设备、滚轮、点击轮、拨号盘、按钮、开关、小键盘、麦克风、传感器(例如，运动传感器、眼睛跟踪传感器等)等等中的任何一个或全部。

用户输出设备724可以包括计算系统714可以通过其向用户提供信息的任何设备。例如，用户输出设备724可以包括显示器，以显示由计算系统714生成或传送到计算系统714的图像。显示器可以结合各种图像生成技术，例如液晶显示器(LCD)、包括有机发光二极管(OLED)的发光二极管(LED)、投影系统、阴极射线管(CRT)等，以及支持电子器件(例如数模或模数转换器、信号处理器等)。可以使用既用作输入设备又用作输出设备的诸如触摸屏的设备。除了显示器之外或者代替显示器，可以提供输出设备724。示例包括指示灯、扬声器、触觉“显示”设备、打印机等等。

一些实现包括电子组件，例如微处理器、储存器和将计算机程序指令存储在计算机可读存储介质(例如，非暂时性计算机可读介质)中的存储器。本说明书中描述的许多特征可以被实现为被指定为编码在计算机可读存储介质上的一组程序指令的过程。当这些程序指令由一个或更多个处理器执行时，它们使处理器执行程序指令中指示的各种操作。程序指令或计算机代码的示例包括诸如由编译器产生的机器代码，以及包括由计算机、电子组件或使用解释器的微处理器执行的高级代码的文件。通过适当的编程，处理器716可以为计算系统714提供各种功能，包括本文描述的由服务器或客户端执行的任何功能，或者与消息管理服务相关联的其他功能。

应当理解，计算系统714是说明性的，并且变化和修改是可能的。结合本公开使用的计算机系统可以具有这里没有具体描述的其他能力。此外，虽然计算系统714是参考特定的块来描述的，但是应当理解，这些块是为了描述方便而定义的，并不意味着组成部分的特定物理布置。例如，不同的块可以位于同一设施、同一服务器机架或同一主板上。此外，这些块不需要对应于物理上不同的组件。块可以被配置成例如通过对处理器编程或提供适当的控制电路来执行各种操作，并且根据如何获得初始配置，各种块可以是或可以不是可重新配置的。本公开的实现可以在各种装置中实现，包括使用电路和软件的任意组合实现的电子设备。

现在已经描述了一些说明性的实施方式，显然前述是说明性的而不是限制性的，已经通过示例的方式给出。具体而言，尽管本文呈现的许多示例涉及方法动作或系统元素的特定组合，但是那些动作和那些元素可以以其他方式组合来实现相同的目标。结合一个实施方式讨论的动作、元素和特征不旨在被排除在其他实施方式或实施方式中的类似角色之外。

用于实现结合本文公开的实施例描述的各种过程、操作、说明性逻辑、逻辑块、模块和电路的硬件和数据处理组件可以用通用单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立门或晶体管逻辑、分立硬件组件或其设计用于执行本文描述的功能的任何组合来实现或执行。通用处理器可以是微处理器，或者任何传统的处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP内核结合的一个或更多个微处理器、或者任何其他这样的配置。在一些实施例中，特定的过程和方法可以由特定于给定功能的电路来执行。存储器(例如，存储器、存储器单元、存储设备等)可以包括一个或更多个设备(例如，RAM、ROM、闪存、硬盘储存设备等)用于存储数据和/或计算机代码，以完成或促进本公开中描述的各种过程、层和模块。存储器可以是或包括易失性存储器或非易失性存储器，并且可以包括数据库组件、目标代码组件、脚本组件或用于支持本公开中描述的各种活动和信息结构的任何其他类型的信息结构。根据示例性实施例，存储器经由处理电路可通信地连接到处理器，并且包括用于(例如，通过处理电路和/或处理器)执行本文描述的一个或更多个过程的计算机代码。

本公开设想用于完成各个操作的方法、系统和在任何机器可读介质上的程序产品。可以使用现有计算机处理器、或通过为此目的或其他目的所引入的恰当系统的专用计算机处理器或通过硬接线的系统来实现本公开的实施例。本公开的范围之内的实施例包括程序产品，其包括用于携带或具有存储于其上的机器可执行指令或数据结构的机器可读介质。这种机器可读介质可以是任意可用介质，其可通过通用或专用计算机或具有处理器的其他机器访问。举例来讲，这种机器可读介质可包括RAM、ROM、EPROM、EEPROM、CD-ROM或其他光盘储存器、磁盘储存器或其他磁储存设备、或可用于携带或存储以机器可执行指令或数据结构形式的所需程序代码的且可以通过通用或专用计算机或具有处理器的其他机器访问的任何其他介质。上面的组合也被包括在机器可读介质的范围内。机器可执行指令包括例如使得通用计算机、专用计算机或专用处理机器执行某一功能或一组功能的指令和数据。

本文所使用的措辞和术语是为了描述的目的，且不应被视为限制性的。本文使用的“包括”、“包含”、“具有”、“包含”、“涉及”、“以......为特征”、“特征在于”及其变型意味着包含其后列出的项目、其等同物和附加项目，以及仅由其后列出的项目组成的替代实现。在一个实施方式中，本文描述的系统和方法由一个、多于一个的每个组合或者所有描述的元件、动作或组件组成。

本文以单数形式提及的系统和方法的实施方式或元件或动作的任何引用也可以包括包含多个这些元件的实施方式，并且本文以复数形式提及的任何实施方式或元素或动作也可以包括仅包含单个元素的实施方式。单数或复数形式的引用不旨在将当前公开的系统或方法、它们的组件、动作或元素限制为单个或更多个配置。对基于任何信息、动作或元素的任何动作或元素的引用可以包括其中动作或元素至少部分基于任何信息、动作或元素的实现。

本文公开的任何实现可以与任何其他实现或实施方式组合，并且对“实现”、“一些实现”、“一个实现”等的引用不一定是互斥的，并且旨在指示结合该实现描述的特定特征、结构或特性可以包括在至少一个实现或实施方式中。这里使用的这些术语不一定都指同一实现。任何实现都可以以与这里公开的方面和实现相一致的任何方式，包括或排他地，与任何其他实现相结合。

在附图、详细描述或任何权利要求中的技术特征后面带有附图标记的地方，已经包括附图标记以增加附图、详细描述和权利要求的可理解性。因此，参考符号及其缺失都不意欲对任何权利要求元素的范围有任何限制影响。

在不脱离其特征的情况下，本文描述的系统和方法可以以其他特定形式实施。除非另有明确说明，对“大约(approximately)”、“约(about)”、“基本上”或其他程度术语的提及包括给定测量值、单位或范围的+/-10％的变化。耦合元件可以彼此直接电耦合、机械耦合或物理耦合，或者利用中间元件电耦合、机械耦合或物理耦合。因此，本文描述的系统和方法的范围由所附权利要求而不是前面的描述来指示，并且落入权利要求的等同物的含义和范围内的变化包含在其中。

术语“耦合”及其变体包括两个构件直接或间接彼此连接。这种连接可以是静止的(例如，永久的或固定的)或可移动的(例如，可移除的或可释放的)。这种连接可以通过两个构件直接连接或相互连接来实现，也可以通过两个构件使用单独的中间构件和任何附加的中间构件相互连接来实现，或者通过两个构件使用与两个构件中的一个构件一体形成为单一单元体的中间构件相互连接来实现。如果“耦合”或其变型由附加术语(例如，直接耦合)来修饰，则上面提供的“耦合”的一般定义由附加术语的简单语言含义来修饰(例如，“直接耦合”是指两个构件的连接而没有任何单独的中间构件)，导致比上面提供的“耦合”的一般定义更窄的定义。这种耦合可以是机械的、电的或流体的。

对“或”的提及可被解释为包含性的，因此，使用“或”描述的任何术语可以表示单个、一个以上和所有所述术语中的任何一个。对“‘A’和‘B’中的至少一个”的提及可以只包括“A”，只包括“B”，以及同时包括“A”和“B”。这种与“包括”或其他开放术语一起使用的引用可以包括附加项目。

在本质上不脱离本文公开的主题的教导和优点的情况下，可以对所描述的元件和动作进行修改，例如各种元件的尺寸、大小、结构、形状和比例、参数值、安装布置、材料使用、颜色、取向的变化。例如，显示为整体形成的元件可以由多个部分或元件构成，元件的位置可以颠倒或以其他方式改变，并且离散元件的性质或数量或位置可以改变或变化。在不脱离本公开的范围的情况下，还可以在所公开的元件和操作的设计、操作条件和布置中进行其他替换、修改、改变和省略。

本文提到的元件位置(例如，“顶部”、“底部”、“上面”、“下面”)仅用于描述附图中各种元件的取向。根据其他示例性实施例，各种元件的取向可以不同，并且这种变化旨在被本公开所包含。

Claims

1.一种传送数据以渲染人工现实的方法，包括：

由控制台确定第一会话的预期传输结束时间，所述第一会话用于向头部可佩戴显示器无线传输指示人工现实的图像的图像数据；

由所述控制台确定生成与所述人工现实的图像相关联的附加数据的预期处理结束时间；

由所述控制台比较所述预期传输结束时间和所述预期处理结束时间；

响应于所述预期处理结束时间小于所述预期传输结束时间，由所述控制台在所述第一会话中将所述附加数据与所述图像数据一起传输到所述头部可佩戴显示器；

响应于所述预期处理结束时间大于所述预期传输结束时间，由所述控制台在所述第一会话中将指示所述预期处理结束时间的定时信息传输到所述头部可佩戴显示器；和

响应于所述预期处理结束时间大于所述预期传输结束时间，由所述控制台通过在所述第一会话之后的第二会话向所述头部可佩戴显示器传输所述附加数据。

2.根据权利要求1所述的方法，还包括：

由所述控制台从所述头部可佩戴显示器接收指示所述头部可佩戴显示器的定位和取向的信息；

由所述控制台根据接收的信息生成指示所述人工现实的图像的图像数据；和

由所述控制台生成与所述人工现实的图像相关联的所述附加数据。

3.根据权利要求1所述的方法，还包括：

响应于所述预期处理结束时间小于所述预期传输结束时间，由所述控制台在相同的传输机会窗口或系统间隔中将所述附加数据与所述图像数据一起传输到所述头部可佩戴显示器。

4.根据权利要求1所述的方法，还包括：

响应于所述预期处理结束时间大于所述预期传输结束时间，由所述控制台根据所述预期处理结束时间扩展所述第一会话；和

在扩展的第一会话中，由所述控制台向所述头部可佩戴显示器传输所述附加数据以及所述图像数据，并且可选地，其中由所述控制台根据所述预期处理结束时间扩展所述第一会话包括：

由所述控制台调整所述第一会话的调制和编码方案以扩展所述第一会话。

5.根据权利要求1所述的方法，

其中所述头部可佩戴显示器被配置为禁止在所述第一会话和所述第二会话之间与所述控制台进行无线通信。

6.根据权利要求1所述的方法，还包括：

响应于所述预期处理结束时间大于所述预期传输结束时间，由所述控制台选择一个或更多个过程来生成所述附加数据的子集；

由所述控制台执行所选择的一个或更多个过程以生成所述附加数据的所述子集；和

在所述第一会话中，由所述控制台将所述附加数据的所述子集与所述图像数据一起传输到所述头部可佩戴显示器，并且可选地，其中所述附加数据的所述子集包括以下中的至少一个：

映射信息，其用于将所述头部可佩戴显示器在物理空间中的定位和取向转换到虚拟空间中；

手模型数据，其指示所述头部可佩戴显示器的用户的手的形状、定位或取向；或者

眼睛跟踪数据，其指示所述头部可佩戴显示器的用户的凝视方向。

7.一种传送数据以渲染人工现实的系统，包括：

无线通信接口；和

处理器，其被配置为：

确定第一会话的预期传输结束时间，所述第一会话用于向头部可佩戴显示器无线传输指示人工现实的图像的图像数据，

确定生成与所述人工现实的图像相关联的附加数据的预期处理结束时间，

比较所述预期传输结束时间和所述预期处理结束时间，

响应于所述预期处理结束时间小于所述预期传输结束时间，配置所述无线通信接口以在所述第一会话中将所述附加数据与所述图像数据一起传输到所述头部可佩戴显示器；

响应于所述预期处理结束时间大于所述预期传输结束时间，配置所述无线通信接口以在所述第一会话中将指示所述预期处理结束时间的定时信息传输到所述头部可佩戴显示器；和

响应于所述预期处理结束时间大于所述预期传输结束时间，配置所述无线通信接口以通过所述第一会话之后的第二会话向所述头部可佩戴显示器传输所述附加数据。

8.根据权利要求7所述的系统，其中，所述处理器还被配置成：

配置所述无线通信接口以从所述头部可佩戴显示器接收指示所述头部可佩戴显示器的定位和取向的信息；

根据接收的信息生成指示所述人工现实的图像的图像数据；和

生成与所述人工现实的图像相关联的附加数据。

9.根据权利要求7所述的系统，其中，所述处理器还被配置成：

响应于所述预期处理结束时间小于所述预期传输结束时间，配置所述无线通信接口以在相同的传输机会窗口或系统间隔中向所述头部可佩戴显示器传输所述附加数据和所述图像数据。

10.根据权利要求7所述的系统，其中，所述处理器还被配置成：

响应于所述预期处理结束时间大于所述预期传输结束时间，根据所述预期处理结束时间扩展所述第一会话；和

配置所述无线通信接口，以在扩展的第一会话中将所述附加数据与所述图像数据一起传输到所述头部可佩戴显示器，并且可选地，其中所述处理器被配置为根据所述预期处理结束时间，通过以下方式扩展所述第一会话：

调整所述第一会话的调制和编码方案以扩展所述第一会话。

11.根据权利要求7所述的系统，

其中所述头部可佩戴显示器被配置为禁止在所述第一会话和所述第二会话之间与所述无线通信接口的无线通信。

12.根据权利要求7所述的系统，其中，所述处理器还被配置成：

响应于所述预期处理结束时间大于所述预期传输结束时间，选择一个或更多个过程来生成所述附加数据的子集；

执行所选择的一个或更多个过程以生成所述附加数据的所述子集；和

配置所述无线通信接口以在所述第一会话中将所述附加数据的所述子集与所述图像数据一起传输到所述头部可佩戴显示器。

13.根据权利要求12所述的系统，其中，所述附加数据的子集包括以下中的至少一个：

14.一种头部可佩戴显示器，包括：

无线通信接口；和

处理器，其被配置为：

配置所述无线通信接口以在第一会话中从控制台接收指示人工现实的图像的图像数据和指示为使所述控制台生成与所述人工现实的图像相关联的附加数据的预期处理结束时间的定时信息，

将所述无线通信接口配置为睡眠模式，直到所述预期处理结束时间，

配置所述无线通信接口以在所述预期处理结束时间之后的第二会话中从所述控制台接收所述附加数据，

根据所述人工现实的图像和所述附加数据呈现所述人工现实；

响应于所述预期处理结束时间大于所述第一会话的预期传输结束时间，配置所述无线通信接口以在所述第一会话中将指示所述预期处理结束时间的定时信息传输到所述头部可佩戴显示器；和

15.根据权利要求14所述的头部可佩戴显示器，其中，所述附加数据包括用于将所述头部可佩戴显示器在物理空间中的定位和取向转换到虚拟空间中的映射信息。