CN118159932A - 用于扩展现实的设备互操作性的系统和方法 - Google Patents

Abstract

描述了用于扩展现实(XR)的设备互操作性的系统和技术。诸如移动手持机之类的装置运行软件应用程序并且使用所述软件应用程序来生成要使用该装置的第一显示器显示的第一内容。该装置使得第一内容使用该装置的第一显示器进行显示。该装置使用软件应用来生成第二内容，该第二内容基于第一内容，不同于第一内容，并且要使用头戴式装置的第二显示器进行显示。该装置至少部分地通过将第二内容发送到头戴式装置，来使第二内容使用头戴式装置的第二显示器进行显示。在一些情形中，该装置和该头戴式装置两者是与相同用户相关联的，并且具有不同的设备类型。

Description

用于扩展现实的设备互操作性的系统和方法

技术领域

本申请涉及在扩展现实(XR)系统中的设备之间的互操作性。更具体地，本申请涉及使用装置来生成要使用装置的显示器显示的第一内容以及生成和发送要使用头戴式装置的第二显示器显示的第二内容的系统和方法。

背景技术

扩展现实(XR)设备是例如通过头戴式显示器(HMD)或移动手持机向用户显示环境的设备。该环境至少部分地不同于用户所处的现实世界环境。用户可以通常例如通过倾斜或移动HMD或其他设备来交互式地改变他们的环境视图。虚拟现实(VR)和增强现实(AR)是XR的示例。在一些示例中，与XR设备交互或增强XR设备的设备(诸如控制器或另一装置)也可以被称为XR设备。

发明内容

在一些示例中，描述了用于在装置(例如，移动手持机、可穿戴设备和/或XR设备)与头戴式装置(例如，头戴式显示器、一副智能眼镜和/或XR设备)之间的扩展现实(XR)的设备互操作性的系统和技术。该装置运行软件应用。该装置使用软件应用来生成要使用该装置的第一显示器来显示的第一内容。该装置使得使用该装置的第一显示器来显示第一内容。该装置使用软件应用来生成基于第一内容并且不同于第一内容的第二内容。第二内容被配置为使用头戴式装置的第二显示器来显示。该装置使得至少部分地通过向头戴式装置发送第二内容来使用头戴式装置的第二显示器显示第二内容。在一些示例中，装置和头戴式装置是不同的设备类型。例如，在说明性示例中，装置是移动手持机，而头戴式装置是头戴式显示器。在一些示例中，装置的第一显示器和头戴式装置的第二显示器是不同的显示器类型。例如，在说明性示例中，头戴式装置的第二显示器是允许来自环境的光穿过第二显示器的透光显示器，而设备的第一显示器不是透光的。在一些示例中，装置和头戴式装置都与同一用户相关联。例如，装置和头戴式装置都可以在使用其相应设备的其相应显示器生成和/或显示第一内容和第二内容的时间段期间由同一用户使用。

根据至少一个示例，提供了一种装置，该装置包括存储器(例如，被配置为存储数据，诸如虚拟内容数据、一个或多个图像等)和耦合到存储器的一个或多个处理器(例如，在电路中实现)。一个或多个处理器被配置为并且可以：使用软件应用程序生成要使用装置的第一显示器显示的第一内容；使第一内容使用装置的第一显示器显示；使用软件应用程序基于第一内容来生成第二内容，其中第二内容不同于第一内容；以及，至少部分地通过将第二内容发送到头戴式装置来使第二内容使用头戴式装置的第二显示器显示。

在另一示例中，提供了一种用于扩展现实(XR)的设备互操作性的方法。该方法包括：使用装置的软件应用程序生成要使用装置的第一显示器显示的第一内容；使得使用装置的第一显示器显示第一内容；使用第一XR系统的软件应用程序，基于第一内容生成第二内容，其中第二内容不同于第一内容；以及，至少部分地通过将第二内容从装置发送到头戴式装置，来使得使用头戴式装置的第二显示器显示第二内容。

在另一示例中，提供了一种装置的非暂时性计算机可读介质，其上存储有指令，所述指令在由所述装置的一个或多个处理器执行时使得所述一个或多个处理器用于：使用所述装置的软件应用程序生成要使用第一显示器显示的第一内容；使得使用所述装置的所述第一显示器显示所述第一内容；使用所述装置的所述软件应用程序，基于所述第一内容生成第二内容，其中所述第二内容不同于所述第一内容；以及，使得使用头戴式装置的第二显示器，至少部分地通过将所述第二内容从所述装置发送到所述头戴式装置来显示所述第二内容。

在另一示例中，提供了一种用于扩展现实(XR)的设备互操作性的装置。所述装置包含：用于使用装置的软件应用程序产生将使用所述装置的第一显示器显示的第一内容的单元；用于使得使用所述装置的第一显示器显示第一内容的单元；用于使用所述装置的软件应用程序基于第一内容产生第二内容的单元，其中第二内容不同于第一内容；以及用于至少部分地通过将第二内容从所述装置发送到头戴式装置而使得由头戴式装置的第二显示器显示第二内容的单元。

在一些方面，所述装置是以下各项、作为以下各项的部分、和/或包括以下各项：可穿戴设备、扩展现实(XR)设备(例如，虚拟现实(VR)设备、增强现实(AR)设备或混合现实(MR)设备)、头戴式装置(HMD)设备、无线通信设备、移动设备(例如，移动电话和/或移动手持机和/或所谓的“智能电话”或其它移动设备)、相机、个人计算机、膝上型计算机、服务器计算机、车辆或车辆的计算设备或组件、另一设备、或其组合。在一些方面中，所述装置包括用于捕获一个或多个图像的一个或多个相机。在一些方面中，所述装置还包括用于显示一个或多个图像、通知和/或其它可显示数据的显示器。在一些方面，上述装置可以包括一个或多个传感器(例如，一个或多个惯性测量单元(IMU)，诸如一个或多个陀螺测试仪、一个或多个加速度计、其任何组合和/或其他传感器。

该发明内容既不旨在标识所要求保护的主题的关键或必要特征，也不旨在单独用于确定所要求保护的主题的范围。应当通过参考本专利的整个说明书的适当部分、任何或全部附图以及每个权利要求来理解该主题。

在参照以下说明书、权利要求以及附图之后，前述内容以及其它特征和实施例将变得更清楚。

附图说明

参考下列附图在下文中对本申请的说明性实施例进行了详细的描述，其中：

图1是示出根据一些示例的图像捕获和处理系统的示例架构的框图；

图2是示出根据一些示例的扩展现实(XR)系统的示例架构的框图，该XR系统具有通信地耦合到头戴式装置并为头戴式装置生成内容的装置；

图3A是示出根据一些示例的用作扩展现实(XR)系统的至少一部分的头戴式显示器(HMD)的透视图；

图3B是示出了根据一些示例的图3A的头戴式显示器(HMD)被用户佩戴的透视图；

图4A是根据一些示例的描绘包含前置相机且可用作扩展现实(XR)系统的至少一部分的移动手持机的前表面的透视图；

图4B是示出根据一些示例的包括后置相机的图4A的移动手持机的后表面的透视图；

图5是根据一些示例的描绘装置显示第一内容并将第二内容发送到显示第二内容的头戴式装置的概念图，其中，第一内容和第二内容对应于来自在装置上运行的菜谱应用程序的菜谱；

图6是根据一些示例的描绘装置显示第一内容并将第二内容发送到显示第二内容的头戴式装置的概念图，其中第一内容和第二内容至少对应于来自在装置上运行的媒体资产查看器应用程序的选择的媒体资产；

图7是根据一些示例的描绘装置显示第一内容并将第二内容发送到显示第二内容的头戴式装置的概念图，其中第一内容和第二内容对应于来自在装置上运行的媒体资产查看器应用程序的媒体资产；

图8是根据一些示例的描绘装置显示第一内容并将第二内容发送到显示第二内容的头戴式装置的概念图，其中，第一内容和第二内容对应于来自在装置上运行的图示工具的图示；

图9是根据一些示例的描绘装置显示第一内容并将第二内容发送到显示第二内容的头戴式装置的概念图，其中，第一内容和第二内容对应于来自涉及在装置上运行的车辆赛车的视频游戏的环境；

图10是根据一些示例的描绘装置显示第一内容并将第二内容发送到显示第二内容的头戴式装置的概念图，其中，第一内容和第二内容对应于来自涉及在装置上运行的射击气球的视频游戏的环境；

图11是根据一些示例的描绘用于在装置与头戴式装置之间的互操作性的过程的泳道图；

图12是根据一些示例的描绘用于扩展现实(XR)的设备互操作性的过程的流程图；以及

图13是用于实施本文中描述的某些方面的计算系统的示例的图。

具体实施方式

下面提供了本公开内容的某些方面和实施例。这些方面和实施例中的一些方面和实施例可以独立地应用，并且其中的一些方面和实施例可以组合地应用，如对于本领域技术人员来说将显而易见的。在下面的描述中，为了便于解释起见，阐述了特定的细节以便提供对本申请的实施例的透彻理解。但是，显而易见的是，可以在不具有这些特定细节的情况下实践各个实施例。附图和描述不旨在是限制性的。

随后的描述仅提供示例性实施例，以及不旨在限制本公开内容的范围、适用性或配置。相反，随后对示例性实施例的描述将为本领域技术人员提供用于实现示例性实施例的可行描述。应当理解的是，在不脱离如在所附的权利要求中阐述的本申请的精神和范围的情况下，可以对元素的功能和布置进行各种改变。

相机是一种使用图像传感器接收光线并且捕获图像帧(诸如，静态图像或视频帧)的设备。术语“图像”、“图像帧”和“帧”是在本文中可互换地使用的。相机可以被配置各种图像捕获和图像处理设置。不同的设置导致具有不同外观的图像。一些相机设置是在捕获一个或多个图像帧之前或期间确定和应用的，诸如ISO、曝光时间、光圈大小、f/stop、快门速度、焦点和增益。例如，设置或参数可以被应用于图像传感器以捕获一个或多个图像帧。其它相机设置可以配置对一个或多个图像帧的后处理，诸如关于对比度、亮度、饱和度、锐度、级别、曲线或色彩的更改。例如，设置或参数可以被应用于处理器(例如，图像信号处理器或ISP)以处理由图像传感器捕获的一个或多个图像帧。

扩展现实(XR)系统或设备可以向用户提供虚拟内容和/或可以组合现实世界或物理环境和虚拟环境(由虚拟内容组成)以向用户提供XR体验。现实世界环境可以包括现实世界对象(也称为物理对象)，例如，人、车辆、建筑物、桌子、椅子和/或其他现实世界或物理对象。XR系统或设备可以促进与不同类型的XR环境的交互(例如，用户可以使用XR系统或设备来与XR环境交互)。XR系统可以包括促进与虚拟现实(VR)环境交互的VR系统、促进与增强现实(AR)环境交互的AR系统、促进与混合现实(MR)环境交互的MR系统和/或其他XR系统。XR系统或设备的示例包括头戴式显示器(HMD)、智能眼镜以及其他。在一些情况下，XR系统可以跟踪用户的部分(例如，用户的手和/或指尖)以允许用户与虚拟内容项交互。

扩展现实(XR)设备是例如通过头戴式显示器(HMD)或移动手持机向用户显示环境的设备。该环境至少部分地不同于用户所处的现实世界环境。用户可以通常例如通过倾斜或移动HMD或其他设备来交互式地改变他们的环境视图。虚拟现实(VR)和增强现实(AR)是XR的示例。与XR设备交互或增强XR设备的设备(诸如控制器)也可以被称为XR设备。

在一些示例中，描述了用于在装置(例如，移动手持机、可穿戴设备和/或XR设备)与头戴式装置(例如，头戴式显示器、一副智能眼镜和/或XR设备)之间的扩展现实(XR)的设备互操作性的系统和技术。该装置运行软件应用，诸如视频游戏、媒体查看器、图解工具、媒体编辑器、浏览器、交互式环境、通信平台或其组合。该装置使用软件应用来生成要使用该装置的第一显示器来显示的第一内容。该装置使得使用该装置的第一显示器来显示第一内容。该装置使用软件应用来生成第二内容，该第二内容基于第一内容、不同于第一内容，并且将使用头戴式装置的第二显示器来显示。该装置至少部分地通过将第二内容发送到头戴式装置来使第二内容由头戴式装置的第二显示器显示。在一些示例中，装置和头戴式装置是不同的设备类型。例如，在说明性示例中，装置是移动手持机，而头戴式装置是头戴式显示器。在一些示例中，装置的第一显示器和头戴式装置的第二显示器是不同的显示器类型。例如，在说明性示例中，头戴式装置的第二显示器是允许来自环境的光穿过第二显示器的透光显示器，而设备的第一显示器不是透光的。在一些示例中，装置和头戴式装置都与同一用户相关联。例如，装置和头戴式装置都可以在使用其相应设备的其相应显示器生成和/或显示第一内容和第二内容的时间段期间由同一用户使用。

本文描述的用于XR的设备互操作性的系统和技术提供了优于传统XR技术和显示技术的许多技术优点和益处。例如，本文描述的用于XR设备互操作性的系统和技术通过在装置处而不是在头戴式装置处生成第二内容，可以延长头戴式装置的电池寿命，减少头戴式装置的处理器上的计算负荷，减少由头戴式装置生成的热量，和/或减少对头戴式装置中的散热部件的需要。另外，通过在装置处而不是在头戴式装置处生成第一内容和第二内容两者，本文所述的用于XR的设备互操作性的系统和技术可以确保第一内容和第二内容中的元素(例如，共享元素或其他元素)的表示匹配、协调和/或同步(例如，时间同步)。在装置处(例如，通过装置的触摸屏或按钮或其他输入接口)接收到的任何输入可以同时立即对第一内容和第二内容两者产生效果，而无需由输入导致的任何滞后必须从装置传输到头戴式装置，使得设备互操作性更具响应性。此外，本文所述的用于XR的设备互操作性的系统和技术，通过在装置处而不是在头戴式装置处生成第一内容和第二内容两者，可以通过将对用作生成第一内容和第二内容的基础的敏感信息(例如，信用卡号、生物计量数据)的访问限制为仅可由装置访问(例如，不可由头戴式装置访问)，并且通过限制或消除通过潜在易受攻击的有线或无线连接发送此类敏感信息的需要，来提高安全性。因此，本文所述的用于XR的设备互操作性的系统和技术比传统XR技术和传统显示技术更有效、更准确、更同步、更响应并且更安全。

将参考附图描述本申请的各个方面。图1是示出图像捕获和处理系统100的架构的方框图。图像捕获和处理系统100包括用于捕获和处理场景的图像(例如，场景110的图像)的各个组件。图像捕获和处理系统100可以捕获独立的图像(或照片)和/或可以捕获包括处于特定顺序的多个图像(或视频帧)的视频。系统100的透镜115面向场景110，以及接收来自场景110的光。透镜115使光弯曲向图像传感器130。由透镜115接收的光穿过由一个或多个控制机构120控制的光圈，以及是由图像传感器130来接收的。

一个或多个控制机构120可以基于来自图像传感器130的信息和/或基于来自图像处理器150的信息来控制曝光、聚焦和/或缩放。一个或多个控制机构120可以包括多个机构和组件；例如，控制机构120可以包括一个或多个曝光控制机构125A、一个或多个聚焦控制机构125B和/或一个或多个缩放控制机构125C。一个或多个控制机构120还可以包括除了所示的那些之外的额外的控制机构，诸如控制模拟增益、闪光、HDR、景深和/或其它图像捕获属性的控制机构。

控制机构120的聚焦控制机构125B可以获得聚焦设置。在一些示例中，聚焦控制机构125B将聚焦设置存储在存储寄存器中。基于聚焦设置，聚焦控制机构125B可以相对于图像传感器130的位置来调整透镜115的位置。例如，基于聚焦设置，聚焦控制机构125B可以通过开动电动机或伺服装置来使透镜115更靠近图像传感器130或更远离图像传感器130，从而调整聚焦。在一些情况下，在系统100中可包括附加镜头，例如图像传感器130的每个光电二极管上方的一个或多个微透镜，所述微透镜各自在从镜头115接收的光到达光电二极管之前使所述光朝向对应光电二极管弯曲。聚焦设置可以是经由对比度检测自动聚焦(CDAF)、相位检测自动聚焦(PDAF)或其某种组合来确定的。聚焦设置可以是使用控制机构120、图像传感器130和/或图像处理器150来确定的。聚焦设置可以称为图像捕获设置和/或图像处理设置。

控制机构120的曝光控制机构125A可以获得曝光设置。在一些情况下，曝光控制机构125A将曝光设置存储在存储寄存器中。基于这个曝光设置，曝光控制机构125A可以控制光圈的大小(例如，光圈大小或f/光阑)、光圈开着的持续时间(例如，曝光时间或快门速度)、图像传感器130的灵敏度(例如，ISO速度或底片速度)、由图像传感器130施加的模拟增益，或其任何组合。曝光设置可以称为图像捕获设置和/或图像处理设置。

控制机构120的缩放控制机构125C可以获得缩放设置。在一些示例中，缩放控制机构125C将缩放设置存储在存储寄存器中。基于缩放设置，缩放控制机构125C可以控制透镜元件组合件(透镜组合件)的焦距，透镜元件组合件包括透镜115和一个或多个额外的透镜。例如，变焦控制机构125C可以通过驱使一个或多个电动机或伺服装置以使这些镜头中的一者或多者相对于彼此移动来控制镜头组件的焦长。缩放设置可以称为图像捕获设置和/或图像处理设置。在一些示例中，镜头组件可以包括齐焦缩放镜头或变焦缩放镜头。在一些示例中，透镜组合件可以包括聚焦透镜(其在一些情况下可以是透镜115)，所述聚焦透镜首先从场景110接收光，其中在光到达图像传感器130之前，光接着穿过在聚焦透镜(例如，透镜115)与图像传感器130之间的无焦缩放系统。在一些情况下，无焦缩放系统可以包括在它们之间具有与负(例如，发散的、凹面的)透镜相等的或者类似的(例如，在门限差异内的)焦距的两个正(例如，会聚的、凸面的)透镜。在一些情况下，变焦控制机构125C移动无焦变焦系统中的透镜中的一个或多个透镜，例如负透镜和正透镜中的一个或两个正透镜。

图像传感器130包括光电二极管或其他光敏元件的一个或多个阵列。每个光电二极管测量最终与由图像传感器130产生的图像中的特定像素相对应的光的量。在一些情况下，不同的光电二极管可以被不同的颜色过滤器覆盖，以及因此可以测量与覆盖光电二极管的过滤器的颜色匹配的光。例如，Bayer滤色器包括红色滤色器、蓝色滤色器和绿色滤色器，其中，基于来自在红色滤色器中覆盖的至少一个光电二极管的红光数据、来自在蓝色滤色器中覆盖的至少一个光电二极管的蓝光数据和来自在绿色滤色器中覆盖的至少一个光电二极管的绿光数据来生成图像的每个像素。其它类型的颜色过滤器可以使用黄色、洋红色和/或青色(还称为“翠绿色”)颜色过滤器来代替红色、蓝色和/或绿色颜色过滤器，或者除了红色、蓝色和/或绿色颜色过滤器之外还使用黄色、洋红色和/或青色(还称为“翠绿色”)颜色过滤器。一些图像传感器可以完全缺少颜色过滤器，以及可以替代地遍及像素阵列来使用不同的光电二极管(在一些情况下是垂直地堆叠的)。遍及像素阵列的不同光电二极管可以具有不同的光谱灵敏度曲线，从而对不同波长的光进行响应。单色图像传感器也可以缺少颜色过滤器，以及因此缺少颜色深度。

在一些情况下，图像传感器130可以替代地或额外地包括不透明和/或反射的掩模，所述不透明和/或反射的掩模阻挡光在某些时间和/或从某些角度到达某些光电二极管或某些光电二极管的部分，这可以用于相位检测自动聚焦(PDAF)。图像传感器130还可包括用于放大由光电二极管输出的模拟信号的模拟增益放大器和/或用于将光电二极管的(和/或经过模拟增益放大器放大的)模拟信号输出转换成数字信号的模数转换器(ADC)。在一些情况下，针对控制机构120中的一个或多个控制机构120讨论的某些组件或功能可替代地或附加地被包括在图像传感器130中。图像传感器130可以是电荷耦合器件(CCD)传感器、电子倍增CCD(EMCCD)传感器、有源像素传感器(APS)、互补金属氧化物半导体(CMOS)、N型金属氧化物半导体(NMOS)、混合CCD/CMOS传感器(例如，sCMOS)，或其某个其它组合。

图像处理器150可以包括一个或多个处理器，例如一个或多个图像信号处理器(ISP)(包括ISP 154)、一个或多个主机处理器(包括主机处理器152)和/或针对计算系统1300讨论的任何其他类型的处理器1310中的一种或多种处理器。主机处理器152可以是数字信号处理器(DSP)和/或其它类型的处理器。在一些实现方式中，图像处理器150是单个集成电路或芯片(例如，称为片上系统或SoC)，其包括主机处理器152和ISP 154。在一些情况下，芯片还可以包括一个或多个输入/输出端口(例如，输入/输出(I/O)端口156)、中央处理单元(CPU)、图形处理单元(GPU)、宽带调制解调器(例如，3G、4G或LTE、5G等)、存储器、连接组件(例如，蓝牙TM、全球定位系统(GPS)等)、其任何组合和/或其他组件。I/O端口156可以包括根据一个或多个协议或规范的任何合适的输入/输出端口或接口，诸如内置集成电路2(I2C)接口、内置集成电路3(I3C)接口、串行外围接口(SPI)接口、串行通用输入/输出(GPIO)接口、移动工业处理器接口(MIPI)(诸如MIPI CSI-2物理(PHY)层端口或接口、高级高性能总线(AHB)总线、其任何组合)和/或其它输入/输出端口。在一个说明性示例中，主机处理器152可以使用I2C端口与图像传感器130通信，以及ISP 154可以使用MIPI端口与图像传感器130通信。

图像处理器150可以执行数个任务，例如去马赛克、颜色空间转换、图像帧下采样、像素内插、自动曝光(AE)控制、自动增益控制(AGC)、CDAF、PDAF、自动白平衡、合并图像帧以形成HDR图像、图像识别、对象识别、特征识别、接收输入、管理输出、管理存储器或其某个组合。图像处理器150可以将图像帧和/或经处理的图像存储在随机存取存储器(RAM)140和/或1320、只读存储器(ROM)145和/或1325、高速缓存、存储器单元、另一存储设备、或其某个组合中。

各个输入/输出(I/O)设备160可以连接到图像处理器150。I/O设备160可以包括显示屏、键盘、小键盘、触摸屏、触控板、触敏表面、打印机、任何其它输出设备1335、任何其它输入设备1345、或其某种组合。在一些情况下，字幕可以通过I/O设备160的物理键盘或小键盘或者通过I/O设备160的触摸屏的虚拟键盘或小键盘来输入到图像处理设备105B中。I/O160可以包括实现系统100与一个或多个外围设备之间的有线连接的一个或多个端口、插孔或其他连接器，系统100可以通过这些端口、插孔或其他连接器从一个或多个外围设备接收数据和/或将数据传送到一个或多个外围设备。I/O 160可以包括一个或多个无线收发机，其实现系统100与一个或多个外围设备之间的无线连接，系统100可以通过所述无线连接从一个或多个外围设备接收数据和/或将数据传送到一个或多个外围设备。外围设备可以包括先前讨论的类型的I/O设备160中的任何一者，以及一旦它们耦合到端口、插孔、无线收发机或其它有线和/或无线连接器，它们本身就可以被认为是I/O设备160。

在一些情况下，图像捕获和处理系统100可以是单个设备。在一些情况下，图像捕获和处理系统100可以是两个或更多个单独的设备，包括图像捕获设备105A(例如，照相机)和图像处理设备105B(例如，耦合到照相机的计算设备)。在一些实现方式中，图像捕获设备105A和图像处理设备105B可以例如经由一个或多个导线、电缆或其它电连接器耦合在一起，和/或经由一个或多个无线收发机无线地耦合在一起。在一些实施方式中，图像捕获设备105A和图像处理设备105B可彼此断开。

如图1所示，垂直虚线将图1的图像捕获和处理系统100划分为两个部分，其分别表示图像捕获设备105A和图像处理设备105B。图像捕获设备105A包括透镜115、控制机构120和图像传感器130。图像处理设备105B包括图像处理器150(包括ISP 154和主机处理器152)、RAM 140、ROM 145和I/O 160。在一些情况下，图像捕获设备105A中所示的某些组件(例如ISP 154和/或主机处理器152)可以被包括在图像捕获设备105A中。

图像捕获和处理系统100可以包括电子设备，诸如移动或固定电话手机(例如，智能电话、蜂窝电话等)、台式计算机、膝上型或笔记本计算机、平板计算机、机顶盒、电视、相机、显示设备、数字介质播放器、视频游戏机、视频流设备、互联网协议(IP)相机或任何其他合适的电子设备。在一些示例中，图像捕获和处理系统100可以包括用于无线通信(诸如蜂窝网络通信、802.11Wi-Fi通信、无线局域网(WLAN)通信或其某个组合)的一个或多个无线收发机。在一些实施方式中，图像捕获设备105A和图像处理设备105B可以是不同设备。例如，图像捕获设备105A可以包括照相机设备，以及图像处理设备105B可以包括计算设备，诸如移动手持机、台式计算机或其它计算设备。

虽然图像捕获和处理系统100被示出为包括某些组件，但是普通技术人员将理解，图像捕获和处理系统100可以包括比图1中所示的组件更多的组件。图像捕获和处理系统100的组件可以包括软件、硬件、或软件和硬件的一个或多个组合。例如，在一些实施方式中，图像捕获和处理系统100的组件可以包括电子电路或其他电子硬件和/或可以使用电子电路或其他电子硬件来实现，电子电路或其他电子硬件可以包括一个或多个可编程电子电路(例如，微处理器、GPU、DSP、CPU和/或其他合适的电子电路)，和/或可以包括计算机软件、固件或其任何组合和/或使用计算机软件、固件或其任何组合来实现，以执行本文描述的各种操作。软件和/或固件可以包括被存储在计算机可读存储介质上并且可以由实现图像捕获和处理系统100的电子设备的一个或多个处理器执行的一个或多个指令。

图2是示出扩展现实(XR)系统200的示例架构的框图，其中装置202通信地耦合到头戴式装置252并为头戴式装置252生成内容。XR系统200包括装置202和头戴式装置252。装置202可以包括一个或多个计算系统1300的至少一部分。头戴式装置252可以包括一个或多个计算系统1300的至少一部分。在说明性示例中(如图2所示)，装置202是移动手持机(例如，移动手持机410)，并且头戴式装置252是头戴式显示器(HMD)(例如，HMD 310)。在第二示例中，装置202是HMD(例如，HMD 310)，并且头戴式装置252是移动手持机(例如，移动手持机410)。在第三示例中，装置202是移动手持机(例如，移动手持机410)，并且头戴式装置252是第二移动手持机(例如，移动手持机410)。在第四示例中，装置202是HMD(例如，HMD 310)，并且头戴式装置252是第二HMD(例如，HMD 310)。如本文所使用的术语头戴式装置和头戴式设备可以用于指眼镜、隐形眼镜、单眼眼镜、护目镜、头盔、头带和/或任何其他形式的头戴物，其可以包括本文参照装置202、头戴式装置252、移动手持机204、HMD 254、HMD 310、移动手持机410、装置510、头戴式装置520、装置1105、头戴式装置1110、计算系统1300或其组合示出和/或讨论的显示器和/或其他元件。

装置202包括处理器206。处理器206可以是计算系统1300的处理器1310的示例。装置202包括存储设备236。存储设备236可以是高速缓存1312、存储器1315、ROM 1320、RAM1325、存储设备1330、非暂时性计算机可读存储介质或其组合的示例。头戴式装置252包括处理器256。处理器256可以是计算系统1300的处理器1310的示例。头戴式装置252包括存储设备272。存储设备272可以是高速缓存1312、存储器1315、ROM 1320、RAM 1325、存储设备1330、非暂时性计算机可读存储介质或其组合的示例。

装置202的处理器206可以执行在存储设备236中存储的指令以运行软件应用程序208。软件应用程序208的一些示例可以包括浏览器、菜谱应用程序(例如，菜谱应用程序540)、媒体资产查看器应用程序(例如，媒体资产查看器应用程序640)、图示工具(例如，图示工具840)、视频游戏(例如，视频游戏940、视频游戏1040)、本文所述的另一种类型的软件应用程序、或其组合。软件应用208和/或使用处理器206运行的其他软件可以包括输入解释器210、第一内容生成器212、第二内容生成器214和/或用于显示格式化的图像处理器216。头戴式装置252的处理器256可以执行在存储设备272中存储的指令以运行一个或多个软件应用，其可以包括用于显示格式化的输入解释器257和/或图像处理器258。

装置202包括一个或多个传感器218。头戴式装置252包括一个或多个传感器260。传感器218和/或传感器260可以各自包括一个或多个相机、一个或多个图像传感器、一个或多个麦克风、一个或多个心率监测器、一个或多个血氧计、一个或多个生物计量传感器、一个或多个定位接收机、一个或多个全球导航卫星系统(GNSS)接收机、一个或多个惯性测量单元(IMU)、一个或多个加速度计、一个或多个陀螺仪、一个或多个气压计、一个或多个温度计、一个或多个高度计、一个或多个深度传感器、一个或多个光检测和测距(LIDAR)传感器、一个或多个无线电检测和测距(RADAR)传感器、一个或多个声音检测和测距(SODAR)传感器、一个或多个声音导航和测距(SONAR)传感器、一个或多个飞行时间(ToF)传感器、一个或多个结构光传感器、一个或多个输入设备1345、本文讨论的一个或多个其他传感器或其组合。装置202的传感器218可以捕获传感器数据226并将传感器数据226发送到装置202的输入解释器210。头戴式装置252的传感器260可以捕获传感器数据268并将传感器数据268发送到头戴式装置252的输入解释器257。

装置202包括一个或多个输入接口220。头戴式装置252包括一个或多个输入接口262。输入接口220和/或输入接口262可以各自包括(例如，触摸屏和/或触控板的)一个或多个触敏表面、一个或多个按钮(例如，触摸屏上的物理按钮或虚拟按钮)、一个或多个鼠标、一个或多个键盘、一个或多个小键盘、一个或多个麦克风、一个或多个输入设备1345或其组合。装置202的输入接口220可以捕获输入数据228并将输入数据228发送到装置202的输入解释器210。头戴式装置252的输入接口262可以捕获输入数据270并将输入数据270发送到头戴式装置252的输入解释器257。

装置202的输入解释器210可以解析、解释、转换、重新格式化和/或检测在传感器数据226和/或输入数据228内的元素。输入解释器210可以基于传感器数据226和/或输入数据228来生成输入信息，并且可以将输入信息输出到软件应用208的其他元件，例如，输出到第一内容生成器212、第二内容生成器214和/或图像处理器216以用于显示格式化。输入信息可以识别由输入解释器210基于传感器数据226和/或输入数据228做出的各种检测、识别和/或确定。例如，输入解释器210可以检测传感器数据226的图像或其他环境表示(例如，深度数据点云)中的对象(例如，一个或多个面部)的表示，基于传感器数据226的姿态数据(例如，位置、加速度计、陀螺仪和/或IMU数据)来识别装置202如何移动，识别从输入数据228接收触摸输入的输入接口220的触摸屏的部分，或其组合。在一些示例中，输入解释器210可以使用传感器数据226和/或输入数据228来检测用户的面部表情和/或由用户执行的手势。

类似地，头戴式装置252的输入解释器257可以解析、解释、转换、重新格式化和/或检测传感器数据268和/或输入数据270内的元素。输入解释器257可以基于传感器数据268和/或输入数据270生成输入信息，并且可以将输入信息输出到由处理器256运行的其他元件，诸如用于显示格式化的图像处理器258，和/或输出到装置202的处理器206(例如，通过将输入信息从头戴式装置252的收发机266发送到装置202的收发机224)。输入信息可以识别由输入解释器257基于传感器数据268和/或输入数据270做出的各种检测、识别和/或确定，诸如上面关于输入解释器210描述的任何类型的数据。

装置202包括第一内容生成器212和第二内容生成器214。第一内容生成器212和/或第二内容生成器214可以是软件应用程序208的一部分。第一内容生成器212使用装置202的输出设备222生成要输出的第一内容230。例如，第一内容230可以包括要使用装置202的输出设备222的一个或多个显示器输出的视觉内容(例如，一个或多个图像和/或视频)和/或要使用装置202的输出设备222的一个或多个扬声器和/或一个或多个耳机输出的音频内容(例如，一个或多个声音、音乐剪辑和/或音频剪辑)。第二内容生成器214生成要从装置202发送到头戴式装置252的第二内容232(例如，使用通信250)，并且使用头戴式装置252的输出设备264输出。例如，第二内容232可以包括要使用头戴式装置252的输出设备264的一个或多个显示器输出的视觉内容(例如，一个或多个图像和/或视频)和/或要使用头戴式装置252的输出设备264的一个或多个扬声器和/或一个或多个耳机输出的音频内容(例如，一个或多个声音、音乐剪辑和/或音频剪辑)。

在一些示例中，为了生成第一内容230和/或第二内容232，第一内容生成器212和/或第二内容生成器214可以生成元素(例如，共享元素)的两个相应表示。例如，第一内容生成器212可以生成第一内容230以包括元素的第一表示(例如，第一视图、第一描绘、第一视角、第一部分、第一细节级别、第一分辨率和/或第一大小)，并且第二内容生成器214可以生成第二内容232以包括元素的第二表示(例如，第二视图、第二描绘、第二视角、第二部分、第二细节级别、第二分辨率和/或第二大小)。元素可以包括例如一个或多个图像、一个或多个视频、一个或多个字符串(例如，字母数字字符、数字、文本、Unicode字符、符号和/或图标)、一个或多个二维(2D)形状(例如，圆形、椭圆形、正方形、矩形、三角形、其他多边形、具有一个或多个圆角的圆角多边形、其部分、或其组合)、一个或多个三维(3D)形状(例如，球体、圆柱体、立方体、金字塔、三棱柱、矩形棱柱、四面体、其他多面体、具有一个或多个圆角和/或角的圆角多面体、其部分、或其组合)、形状的纹理、形状的凸起映射、照明效果、或其组合。在一些示例中，元素可以包括环境的至少一部分。环境可以是现实世界环境、虚拟环境(例如，在视频游戏或VR环境中)和/或包括现实世界环境元素和虚拟环境元素的混合环境。在一些示例中，第一内容230包括元素的二维(2D)视图，而第二内容232包括元素的三维(3D)视图。在一些示例中，第一内容230包括元素的三维(3D)视图，而第二内容232包括元素的二维(2D)视图。

在一些示例中，为了生成第一内容230和/或第二内容232，第一内容生成器212和/或第二内容生成器214可以使用来自输入解释器210的输入信息、来自传感器218的传感器数据226、来自输入接口220的输入数据228、来自头戴式装置252的输入解释器257的输入信息(使用通信250从头戴式装置252传输到装置202)、来自头戴式装置252的传感器260的传感器数据268(使用通信250从头戴式装置252传输到装置202)、来自头戴式装置252的输入接口262的输入数据270(使用通信250从头戴式装置252传输到装置202)或其组合。例如，第一内容生成器212可以基于来自输入解释器210的输入信息、传感器数据226和/或输入数据228来确定装置202的姿态(例如，3D空间、俯仰、滚转和/或偏航的位置)。第一内容生成器212可以生成第一内容230以包括来自基于装置202的所确定的姿态的视角或视场(FOV)的一个或多个元素(例如，环境)的视图。类似地，第二内容生成器214可以基于由装置202从头戴式装置252接收的来自输入解释器257的输入信息、传感器数据268和/或输入数据278(例如，使用通信250)来确定头戴式装置252的姿态(例如，3D空间、俯仰、滚转和/或偏航的位置)。第二内容生成器214可以生成第二内容232以包括来自基于头戴式装置252的所确定的姿态的视角或视场(FOV)的一个或多个元素(例如，环境)的视图。

在一些示例中，第一内容生成器212和/或第二内容生成器214可以基于软件应用208的软件应用类型来生成第一内容230和/或第二内容232。例如，如果软件应用类型是视频游戏，则第一内容230和/或第二内容232可以描绘和/或包括视频游戏的环境，例如具有环境中的一个或多个角色和/或项目。如果软件应用类型是媒体资产查看器应用，则第一内容230和/或第二内容232可以描绘和/或包括使用媒体资产查看器应用查看和/或可查看的各种媒体资产。如果软件应用类型是阅读应用(例如，用于书籍、杂志、报纸、菜谱、博客和/或社交媒体)，则第一内容230和/或第二内容232可以描绘和/或包括使用阅读应用可读的各种字符串。如果软件应用类型是计算器应用，则第一内容230和/或第二内容232可以描绘和/或包括使用计算器应用而计算和/或生成的各种数量、变量、公式、图表和/或图形。与不同类型的软件应用208相关联的不同类型的第一内容230和第二内容232的示例在图5-图10中示出。

装置202包括一个或多个输出设备222。响应于生成第一内容230，第一内容生成器212可以将第一内容230传送到装置202的输出设备222，使得第一内容230可以由输出设备222输出。输出设备222接收第一内容230并输出第一内容230。输出设备222可以包括例如一个或多个显示器、一个或多个投影仪、一个或多个扬声器、一个或多个耳机、一个或多个耳机、一个或多个触觉反馈致动器、一个或多个触觉反馈马达、输出设备1335、本文描述的另一输出设备、先前列出的输出设备中的一个输出设备可以通过其耦合到装置202的一个或多个连接器(例如，端口、插孔、电缆、无线收发机)、或其组合。在一些示例中，输出设备222可以包括一个或多个缓冲器，第一内容生成器212可以将第一内容230发送到所述一个或多个缓冲器，使得第一内容230在由输出设备222输出之前被临时存储在一个或多个缓冲器中。在说明性示例中，第一内容230可以包括视觉内容(例如，一个或多个图像和/或视频)，在输出设备222的一个或多个显示器和/或投影仪输出(显示)视觉内容之前，第一内容生成器212可以将视觉内容发送到显示缓冲器以将视觉内容临时存储在显示缓冲器中。在另一说明性示例中，第一内容230可以包括音频内容(例如，一个或多个声音、音乐剪辑和/或音频剪辑)，在输出设备222的一个或多个扬声器、耳机和/或耳机输出(播放)音频内容之前，第一内容生成器212可以将音频内容发送到音频缓冲器以将音频内容临时存储在音频缓冲器中。

装置202包括一个或多个收发机224。收发机224可以包括有线、电子和/或物理收发机，其可以包括接收机、发射机、收发机、电缆、导线、引脚、端口、插头、插孔、连接器、或其组合。收发机224可以包括无线收发机，其可以包括接收机、发射机、收发机、天线、天线阵列、线圈、或其组合。收发机224可以包括一个或多个通用串行总线(USB)连接器、闪电(Lightning)连接器、以太网连接器、收发机、/>低功耗收发机、近场通信(NFC)收发机、Wi-Fi收发机、Li-Fi收发机、局域网(LAN)收发机、无线局域网收发机、IEEE 802.11收发机、IEEE 802.15收发机、广域网收发机、个域网(PAN)收发机、体域网(BAN)收发机、校园区域网(CAN)收发机、城域网(MAN)收发机、存储区域网(SAN)收发机、企业专用网络(EPN)收发机、虚拟专用网络(VPN)收发机、感应收发机、工业科学医疗(ISM)频带收发机、射频(RF)收发机、红外线数据协会(IrDA)收发机、红外线(IR)收发机、可见光通信(VLC)收发机、通信接口1340、或其组合。头戴式装置252还包括一个或多个收发机266。收发机266可以包括上面关于收发机224列出的任何类型的收发机、连接器和/或通信接口。装置202和头戴式装置252可以通过在装置202的收发机224和头戴式装置252的收发机266之间发送一个或多个通信250来进行通信。在一些示例中，通信250包括从装置202的收发机224发送到头戴式装置252的收发机266的至少一个通信。在一些示例中，通信250包括从头戴式装置252的收发机266发送到装置202的收发机224的至少一个通信。

在一些示例中，一旦第二内容生成器214生成第二内容232，该第二内容生成器214可以使用通信250将第二内容232发送到装置202的收发机224，以由装置202的收发机224发送到头戴式装置252的收发机266。头戴式装置252可以通过使用收发机266从装置202的收发机224接收通信250，来接收第二内容232。头戴式装置252包括输出设备264，该输出设备264可以包括关于装置202的输出设备222描述的任何类型的输出设备。在一些示例中，响应于使用头戴式装置252的收发机266接收到第二内容232，头戴式装置252将第二内容232发送到输出设备264和/或与输出设备264相关联的一个或多个缓冲器，以使用输出设备264进行输出。在说明性示例中，第二内容232可以包括视觉内容(例如，一个或多个图像和/或视频)，在输出设备264的一个或多个显示器和/或投影仪输出(显示)视觉内容之前，第二内容生成器214可以(例如，通过通信250)将视觉内容发送到头戴式装置252的显示缓冲器，以将视觉内容临时存储在显示缓冲器中。在另一说明性示例中，第二内容232可以包括音频内容(例如，一个或多个声音、音乐剪辑和/或音频剪辑)，第二内容生成器214可以(例如，通过通信250)将音频内容发送到头戴式装置252的音频缓冲器，以在由头戴式装置252的输出设备264的一个或多个扬声器、耳机和/或耳机输出(播放)音频内容之前将音频内容临时存储在音频缓冲器中。

在一些示例中，一旦第二内容生成器214生成第二内容232，第二内容生成器214就可以将第二内容232发送到图像处理器216以用于显示格式化和/或发送到图像处理器258以用于显示格式化。用于显示格式化的图像处理器216和/或用于显示格式化的图像处理器258可以处理、修改、格式化、重新格式化和/或更新第二内容232以生成经处理的第二内容234。可以基于头戴式装置252的输出设备264中的至少一些输出设备的类型、形状和/或格式来处理经处理的第二内容234。例如，如果头戴式装置252的输出设备264包括向头戴式装置252的每只眼睛显示内容的立体显示器，则用于显示格式化的图像处理器216和/或用于显示格式化的图像处理器258可以基于第二内容232生成两个立体图像作为经处理的第二内容234，以发送到头戴式装置252的输出设备264的立体显示器并由立体显示器显示。在一些示例中，头戴式装置252的输出设备264可以包括弯曲显示器，并且用于显示格式化的图像处理器216和/或用于显示格式化的图像处理器258可以在发送要由头戴式装置252的输出设备264的弯曲显示器显示的经处理的第二内容234之前，通过基于弯曲显示器的曲率，弯曲、扭曲和/或偏斜第二内容232来生成经处理的第二内容232。在一些示例中，用于显示格式化的图像处理器216和/或用于显示格式化的图像处理器258可以基于头戴式装置252的输出设备264中包括的显示技术的类型(例如，输出设备264的显示器是否是LCD显示器、OLED显示器、迷你LED显示器、等离子体显示器、基于投影仪的显示器、电子墨水显示器、激光显示器、本文描述的另一类型的显示器或其组合)，通过修改用于最佳观看的第二内容232的视觉内容的参数(例如，亮度、饱和度、颜色空间和/或色调)来生成经处理的第二内容232。在一些示例中，用于显示格式化的图像处理器216和/或用于显示格式化的图像处理器258可以基于头戴式装置252的姿态(如基于传感器数据268、输入数据270、来自输入解释器257的输入信息或其组合确定的)(例如包括头戴式装置252的位置、俯仰、滚动和/或偏航)，通过修改第二内容232的视觉内容的视角和/或视场来生成经处理的第二内容232。

装置202包括电力系统238。在一些示例中，电力系统238可以包括一个或多个电力存储元件，诸如一个或多个电池、一个或多个可充电电池、一个或多个可替换电池、一个或多个燃料容器、一个或多个燃料电池、一个或多个发电机或其组合。电力系统238可将电力提供到设备202的组件中的至少一些组件，包括处理器206、存储设备236、传感器218、输入接口220、输出设备222、收发机224或其组合。在一些示例中，电力系统238可以例如使用插头、端口、连接器、电感充电器、电容充电器或其组合，从外部电源汲取电力。在一些示例中，电力系统238可以例如使用插头、端口、连接器、电感充电器、电容充电器或其组合向外部电力接收设备供电。

头戴式装置252包括电力系统274。在一些示例中，电力系统274可以包括关于装置202的电力系统238描述的任何类型的电力存储元件中的一个或多个电力存储元件。电力系统274可以向头戴式装置252的至少一些组件提供电力，包括处理器256、存储设备272、传感器260、输入接口262、输出设备264、收发机266或其组合。在一些示例中，电力系统274可以从外部电源(诸如关于装置202的电力系统238描述的任何类型的外部电源)汲取电力。在一些示例中，电力系统274可以向外部电力接收设备提供电力，诸如关于装置202的电力系统238描述的任何类型的外部电力接收设备。

在一些示例中，装置202和头戴式装置252可以通过耦合(例如，通信地、无线地、物理地和/或电气地)收发机224和收发机266从解耦状态转换到耦合状态。在一些示例中，装置202和头戴式装置252可以通过将收发机224与收发机266解耦(例如，通信地、无线地、物理地和/或电气地)来从耦合状态转换到解耦状态。在一些示例中，当装置202和头戴式装置252例如使用电线或电缆物理地连接在一起时，装置202和头戴式装置252处于耦合状态。在一些示例中，当可以将装置202和头戴式装置252耦接的电线或电缆从装置202、头戴式装置252或两者拔出或以其他方式断开连接时，装置202和头戴式装置252处于解耦状态。在一些示例中，当装置202和头戴式装置252无线地连接时，例如当装置202和头戴式装置252基于收发机224和/或收发机266的无线通信范围而位于彼此的无线通信范围内时，装置202和头戴式装置252处于耦合状态。在一些示例中，基于收发机224和/或收发机266的无线通信范围，当装置202和头戴式装置252未无线连接时，例如当装置202和头戴式装置252彼此相距太远而不在彼此的无线通信范围内并且因此在彼此的无线通信范围之外时，装置202和头戴式装置252处于解耦状态。在一些示例中，当收发机224和/或收发机266被禁用时，装置202和头戴式装置252处于解耦状态。在一些示例中，当收发机224和/或收发机266被启用时，装置202和头戴式装置252可以处于耦合状态。

图3A是示出用作扩展现实(XR)系统200的至少一部分的头戴式显示器(HMD)310的透视图300。HMD 310可以是例如，增强现实(AR)耳机、虚拟现实(VR)耳机、混合现实(MR)耳机、扩展现实(XR)耳机或其某种组合。HMD 310可以是XR系统200的至少一部分的示例。HMD310可以是装置202的示例。HMD 310可以是头戴式装置252的示例。HMD 310包括沿着HMD310的前部的第一相机330A和第二相机330B。第一相机330A和第二相机330B可以是装置202的传感器218和/或头戴式装置252的传感器260的示例。HMD 310包括面向用户的眼睛的第三相机330C和第四相机330D，因为用户的眼睛面向显示器340。第三相机330C和第四相机330D可以是装置202的传感器218和/或头戴式装置252的传感器260的示例。在一些示例中，HMD 310可以仅具有带有单个图像传感器的单个相机。在一些示例中，除了第一相机330A、第二相机330B、第三相机330C和第四相机330D以外，HMD 310还可以包括一个或多个附加相机。在一些示例中，除了第一相机330A、第二相机330B、第三相机330C和第四相机330D以外，HMD 310还可以包括一个或多个附加传感器，其还可以包括其他类型的面向用户的传感器和/或面向环境的传感器。此类附加传感器还可以是装置202的传感器218和/或头戴式装置252的传感器260的示例。在一些示例中，第一相机330A、第二相机330B、第三相机330C和/或第四相机330D中的每一个可以是图像捕获和处理系统100、图像捕获设备105A、图像处理设备105B或其组合的示例。

HMD 310可以包括在用户320的头部上或周围佩戴HMD 310的用户320可见的一个或多个显示器340。HMD 310的一个或多个显示器340可以是装置202的输出设备222的显示器和/或头戴式装置252的输出设备264的显示器的示例。在一些示例中，HMD 310可以包括一个显示器340和两个取景器。两个取景器可以包括用于用户320的左眼的左取景器和用于用户320的右眼的右取景器。左取景器可以被定向成使得用户320的左眼看到显示器的左侧。右取景器可以被定向成使得用户320的左眼看到显示器的右侧。在一些示例中，HMD 310可以包括两个显示器340，包括向用户320的左眼显示内容的左显示器和向用户320的右眼显示内容的右显示器。在一些示例中，使用显示器340显示的视觉内容包括由第一内容生成器212生成的第一内容230。在一些示例中，使用显示器340显示的视觉内容包括由第二内容生成器214生成的第二内容232、由图像处理器216处理以用于显示格式化的经处理的第二内容234和/或由图像处理器258处理以用于显示格式化的经处理的第二内容234。在一些示例中，HMD 310的一个或多个显示器340可以包括一个或多个数字“直通”显示器，在这种情况下，显示在显示器340上的内容可以包括和/或基于由第一相机330A和/或第二相机330B捕获的现实世界的视图。在一些示例中，一个或多个显示器340可以包括一个或多个光学“透视”显示器，在这种情况下，来自现实世界环境的光可以穿过一个或多个显示器340的至少一部分(例如，其可以是透明的、半透明的、光接收的、光允许的和/或透光的)以到达用户的眼睛。

HMD 310可以包括一个或多个耳机335，其可以用作向HMD 310的用户的一只或多只耳朵输出音频的扬声器和/或耳机。一个耳机335如图3A和图3B中示出，但是应当理解，HMD 310可以包括两个耳机，其中，用户的每只耳朵(左耳和右耳)各有一个耳机。一个或多个耳机335可以是装置202的输出设备222的音频输出设备和/或头戴式装置252的输出设备264的音频输出设备的示例。在一些示例中，HMD 310还可以包括一个或多个麦克风(未图示)。一个或多个麦克风可以是装置202的传感器218和/或头戴式装置252的传感器260的示例。在一些示例中，HMD 310通过一个或多个耳机335向用户输出的音频可以包括或基于使用一个或多个麦克风记录的音频。

图3B是示出由用户320佩戴的图3A的头戴式显示器(HMD)310的透视图350。用户320将HMD 310佩戴在用户320的头上或周围，至少部分地佩戴在用户320的眼睛上。HMD 310可以利用第一相机330A和第二相机330B捕获图像。在一些示例中，HMD 310使用显示器340朝向用户320的眼睛显示一个或多个输出图像。在一些示例中，输出图像可以包括由第一内容生成器212生成的第一内容230、由第二内容生成器214生成的第二内容232、由图像处理器216处理以用于显示格式化的经处理的第二内容234、和/或由图像处理器258处理以用于显示格式化的经处理的第二内容234。在一些示例中，(例如，第一内容230、第二内容232和/或经处理的第二内容234的)输出图像可以基于由第一相机330A和第二相机330B捕获的图像，例如，虚拟内容被覆盖。输出图像可以提供环境的立体视图，在一些情况下具有叠加的虚拟内容和/或具有其他修改。例如，HMD 310可以向用户320的右眼显示第一显示图像，该第一显示图像是基于由第一相机330A捕获的图像的。HMD 310可以向用户320的左眼显示第二显示图像，该第二显示图像是基于由第二相机330B捕获的图像的。例如，HMD 310可以在在由第一相机330A和第二相机330B捕获的图像之上叠加的显示图像中提供叠加虚拟内容。第三相机330C和第四相机330D可以在用户查看由显示器340显示的显示图像之前、期间和/或之后捕获眼睛的图像。通过这种方式，来自第三相机330C和/或第四相机330D的传感器数据可以捕获由用户的眼睛对虚拟内容的反应(例如，眼睛位置、移动、反应和/或映像)、用户的面部(例如，面部表情、发声)、和/或用户的其他部分(例如，手势)。HMD 310的耳机335被示为在用户320的耳朵中。HMD 310可以通过用户320的一只耳朵中的听筒335和/或通过用户320的另一只耳朵(未图示)中的HMD 310的另一只听筒(未图示)向用户320的耳朵输出音频。

图4A是说明包括前置相机430A-430B并且可用作扩展现实(XR)系统200的至少一部分的移动手持机410的前表面420的透视图400。移动手持机410可以是XR系统200的至少一部分的示例。移动手持机410可以是装置202的示例。移动手持机410可以是头戴式装置252的示例。移动手持机410可以是：例如，蜂窝电话、卫星电话、便携式游戏机、音乐播放器、健康跟踪设备、可穿戴设备、无线通信设备、膝上型计算机、移动设备、本文中所讨论的任何其他类型的计算设备或计算系统、或其组合。

移动手持机410的前表面420包括显示屏440。移动手持机410的前表面420包括第一相机430A和第二相机430B。第一相机430A和第二相机430B可以是装置202的传感器218和/或头戴式装置252的传感器260的示例。在一些示例中，第一相机430A和第二相机430B可以面向用户，包括用户的眼睛，而视觉内容显示在显示器440上。显示器440可以是装置202的输出设备222的显示器和/或头戴式装置252的输出设备264的显示器的示例。视觉内容可以包括由第一内容生成器212生成的第一内容230、由第二内容生成器214生成的第二内容232、由图像处理器216处理以用于显示格式化的经处理的第二内容234、和/或由图像处理器258处理以用于显示格式化的经处理的第二内容234。

第一相机430A和第二相机430B被示出在移动手持机410的前表面420上的显示器440周围的边框中。在一些示例中，第一相机430A和第二相机430B可以定位在从移动手持机410的前表面420上的显示屏440切出的凹口或切口中。在一些示例中，第一相机430A和第二相机430B可以是位于显示屏440和移动手持机410的其余部分之间的显示屏下相机，使得光在到达第一相机430A和第二相机430B之前穿过显示屏440的一部分。透视图400的第一相机430A和第二相机430B是前置相机。第一相机430A和第二相机430B面向垂直于移动手持机410的前表面420的平面表面的方向。第一相机430A和第二相机430B可以是移动手持机410的一个或多个相机中的两个相机。第一相机430A和第二相机430B可以分别是传感器405A和传感器405B。在一些示例中，移动手持机410的前表面420可以仅具有单个相机。

在一些示例中，除了第一相机430A和第二相机430B以外，移动手持机410的前表面420还可以包括一个或多个附加相机。一个或多个附加相机还可以是装置202的传感器218和/或头戴式装置252的传感器260的示例。在一些示例中，除了第一相机430A和第二相机430B以外，移动手持机410的前表面420还可以包括一个或多个附加传感器。一个或多个附加传感器还可以是装置202的传感器218和/或头戴式装置252的传感器260的示例。在一些情况下，移动手持机410的前表面420包括一个以上显示器440。移动手持机410的前表面420的一个或多个显示器440可以是装置202的输出设备222的显示器和/或头戴式装置252的输出设备264的显示器的示例。例如，一个或多个显示器440可以包括一个或多个触摸屏显示器。

移动手持机410可以包括一个或多个扬声器435A和/或其它音频输出装置(例如，耳机或头戴式耳机或其连接器)，其可以将音频输出到移动手持机410的用户的一个或多个耳朵。图4A中示出了一个扬声器435A，但是应当理解，移动手持机410可以包括一个以上扬声器和/或其它音频设备。一个或多个扬声器435A可以是装置202的输出设备222的音频输出设备、和/或头戴式装置252的输出设备264的音频输出设备的示例。在一些示例中，移动手持机410还可以包括一个或多个麦克风445。一个或多个麦克风445可以是装置202的传感器218和/或头戴式装置252的传感器260的示例。在一些示例中，移动手持机410可以包括沿着和/或邻近移动手持机410的前表面420的一个或多个麦克风，其中，这些麦克风是装置202的传感器218和/或头戴式装置252的传感器260的示例。在一些示例中，由移动手持机410通过一个或多个扬声器435A和/或其它音频输出设备向用户输出的音频可以包括或基于使用一个或多个麦克风记录的音频。

图4B是示出包括后置相机430C-430D的图4A的移动手持机410的后表面460的透视图。移动手持机410包括在移动手持机410的后表面460上的第三相机430C和第四相机430D。透视图450的第三相机430C和第四相机430D是后向的。第三相机430C和第四相机430D可以是装置202的传感器218和/或头戴式装置252的传感器260的示例。第三相机430C和第四相机430D面向垂直于移动手持机410的后表面460的平面表面的方向。

第三相机430C和第四相机430D可以是移动手持机410的一个或多个相机中的两个相机。在一些示例中，移动手持机410的后表面460可以仅具有单个相机。在一些示例中，除了第三相机430C和第四相机430D以外，移动手持机410的后表面460还可以包括一个或多个附加相机。一个或多个附加相机还可以是装置202的传感器218和/或头戴式装置252的传感器260的示例。在一些示例中，除了第三相机430C和第四相机430D以外，移动手持机410的后表面460还可以包括一个或多个附加传感器。一个或多个附加传感器还可以是装置202的传感器218和/或头戴式装置252的传感器260的示例。在一些示例中，第一相机430A、第二相机430B、第三相机430C和/或第四相机430D可以是图像捕获和处理系统100、图像捕获设备105A、图像处理设备105B或其组合的示例。

移动手持机410可以包括一个或多个扬声器435B和/或其它音频输出设备(例如，耳机或头戴式耳机或其连接器)，其可以将音频输出到移动手持机410的用户的一个或多个耳朵。图4B中示出了一个扬声器435B，但应当理解，移动手持机410可以包括一个以上扬声器和/或其它音频设备。一个或多个扬声器435B可以是装置202的输出设备222的音频输出设备和/或头戴式装置252的输出设备264的音频输出设备的示例。在一些示例中，HMD 410还可以包括一个或多个麦克风(未图示)。一个或多个麦克风可以是装置202的传感器218和/或头戴式装置252的传感器260的示例。在一些示例中，移动手持机410可以包括沿着和/或邻近移动手持机410的后表面460的一个或多个麦克风，其中，这些麦克风是装置202的传感器218和/或头戴式装置252的传感器260的示例。在一些示例中，由移动手持机410通过一个或多个扬声器435B和/或其它音频输出设备向用户输出的音频可以包括或基于使用一个或多个麦克风记录的音频。

移动手持机410可以使用前表面420上的显示器440作为直通显示器。例如，显示器440可以显示输出图像。输出图像可以包括由第一内容生成器212生成的第一内容230、由第二内容生成器214生成的第二内容232、由图像处理器216处理以用于显示格式化的经处理的第二内容234、和/或由图像处理器258处理以用于显示格式化的经处理的第二内容234，或者是其一部分。输出图像可以基于由第三相机430C和/或第四相机430D捕获的图像，例如具有覆盖的虚拟内容。第一相机430A和/或第二相机430B可以在显示器440上显示具有虚拟内容的输出图像之前、期间和/或之后捕获用户眼睛(和/或用户的其他部分)的图像。通过这种方式，来自第一相机430A和/或第二相机430B的传感器数据可以捕获用户的眼睛(和/或用户的其他部分)对虚拟内容的反应。

图5是示出装置510显示第一内容530并将第二内容550发送到显示第二内容550的头戴式装置520的概念图500，其中，第一内容530和第二内容550对应于来自在装置510上运行的菜谱应用程序540的菜谱545。装置510是图2的XR系统200的装置202的示例。装置510被示为移动手持机515。移动手持机515可以是移动手持机410的示例。头戴式装置520是图2的XR系统200的头戴式装置252的示例。头戴式装置520被示为由用户505佩戴的HMD 525。HMD525可以是HMD 310的一个示例。用户505可以是用户320的示例。装置510被示出为由手握持，该手可以是用户505的手。

装置510运行菜谱应用程序540，该菜谱应用程序540是装置202的软件应用程序208的示例。菜谱应用程序540和/或装置510的另一部分包括生成第一内容530的第一内容生成器(例如，第一内容生成器212)。第一内容530是第一内容230的示例。图5中，第一内容530包括来自菜谱应用程序540的菜谱545。菜谱应用程序545被示出为用于巧克力碎曲奇饼干的菜谱。装置510被示为使用装置510的显示器来显示第一内容230(包括菜谱545)。第一内容230被示为包括字符串(例如，菜谱545的文本部分)、巧克力碎曲奇饼干的图像、以及巧克力条的图像。装置510的显示器是装置202的输出设备222和/或移动手持机410的显示器440中的一项的示例。

菜谱应用540和/或装置510的另一部分包括生成第二内容550的第二内容生成器(例如，第二内容生成器214)。在一些示例中，菜谱应用程序540和/或装置510的另一部分包括用于显示格式化的图像处理器(例如，用于显示格式化的图像处理器216)，其可以处理第二内容550以便使用显示器进行显示和/或使用头戴式装置520的其他输出设备进行输出。第二内容550可以是第二内容232和/或经处理的第二内容234的示例。

装置510向头戴式装置520发送传输560，并且头戴式装置520从装置510接收传输560。传输560包括第二内容550。传输560可以从装置510的收发机进行发送，该收发机可以是装置202的收发机224的示例。传输560可以从头戴式装置520的收发机进行接收，该收发机可以是头戴式装置252的收发机266的示例。传输560可以是通信250的示例。传输560是由从装置510指向头戴式装置520的箭头示出的。在一些示例中，箭头表示传输560在将装置510和头戴式装置520物理地、电气地和/或通信地耦合在一起的电线或电缆上行进。在一些示例中，箭头表示传输560作为无线信号在无线连接上通过空中行进，该无线连接将装置510和头戴式装置520无线地和/或通信地耦合在一起。在一些示例中，头戴式装置520还可以使用在从装置510向头戴式装置520发送传输560时所涉及的相同收发机来向装置510发送信息。例如，头戴式装置520可以向装置510发送信息，请求第二内容550的传输560和/或确认接收到具有第二内容550的传输560的至少一部分。

头戴式装置520包括一个或多个显示器，所述一个或多个显示器可以是装置202的输出设备222和/或HMD 310的显示器340的示例。用户505能够通过头戴式装置520的显示器看到环境(例如，真实世界、虚拟、增强和/或混合)的视场(FOV)580。在一些示例中，头戴式装置520的显示器显示在FOV 580中的内容的至少一个子集。头戴式装置520使用头戴式装置520的显示器显示在FOV 580中的第二内容550的至少一部分。第二内容550包括来自菜谱应用程序540的菜谱545的展开视图555。例如，菜谱545的展开视图555被示出为包括两个面板，一个面板具有巧克力碎曲奇饼干的大图像，而另一个面板具有字符串(例如，菜谱545的文本部分)、巧克力条的图像、和蛋的图像。在一些示例中，第二内容550中的菜谱545的展开视图555包括比第一内容530中呈现的菜谱545更多的菜谱545，例如，第二内容550中存在的但第一内容530中缺失的蛋的图像。在一些示例中，头戴式装置520包括用于显示格式化的图像处理器(例如，用于显示格式化的图像处理器258)，所述图像处理器可以处理第二内容550以使用显示器进行显示和/或使用头戴式装置520的其他输出设备进行输出。

使用头戴式装置520向用户505显示第二内容550可以提供优于用户505观看在装置510上显示的第一内容530中的菜谱545的有利技术改进。在一些示例中，菜谱545的展开视图555在FOV 580中可以看起来比第一内容530中的菜谱545的视图更大，通过提供增加的可访问性使展开视图555更有用，例如如果用户505具有视觉问题的话。在一些示例中，例如，即使用户505转动他或她的头并且不管装置510是否在FOV 580中，菜谱545的展开视图555也可以保持在FOV 580中，从而允许用户505在厨房附近移动，同时仍然保留菜谱545的视图。在一些示例中，菜谱545的展开视图555可以包括与第一内容530中的菜谱545的视图共同的一个或多个元素(例如，巧克力碎曲奇饼干的图像、巧克力条的图像、和/或至少一些字符串)。在一些示例中，菜谱545的展开视图555可以包括未出现在第一内容530中的菜谱545的视图中的一个或多个附加元素(例如，蛋的图像、和/或至少一些字符串)。

在一些示例(未图示)中，装置510可以替代地是HMD，诸如HMD 310或HMD 525，并且可以例如由除用户505之外的第二用户穿戴。在一些示例(未图示)中，头戴式装置520可以替代地是移动手持机，诸如移动手持机410或移动手持机515，并且可以由用户505或由除用户505之外的第二用户握持。

图6是示出装置510显示第一内容630并将第二内容650发送到显示第二内容650的头戴式装置520的概念图600，其中，第一内容630和第二内容650至少对应于来自在装置510上运行的媒体资产查看器应用程序640的所选媒体资产646。装置510运行媒体资产查看器应用程序640，其是装置202的软件应用程序208的示例。媒体资产查看器应用程序640和/或装置510的另一部分包括生成第一内容630的第一内容生成器(例如，第一内容生成器212)。第一内容630是第一内容230的示例。

第一内容630包括媒体资产查看器应用程序640的媒体资产查看器界面645。媒体资产查看器界面645被示为包括用户505可以从各种媒体资产657查看和/或选择的菜单界面。示出了用户的手触摸装置510的触摸屏，以通过在媒体资产查看器界面645中显示所选媒体资产656的表示的触摸屏的位置处向装置510提供触摸输入来选择媒体资产657中的所选媒体资产656。媒体资产657被示为包括3D形状。媒体资产查看器界面645也被示为由图7中的装置510显示。媒体资产657包括描绘堆叠在其平坦圆形侧面上的两个堆叠圆柱体的媒体资产、描绘两个并排矩形棱柱的媒体资产、描绘金字塔的媒体资产、描绘球体的媒体资产、描绘在其圆形侧面上的圆柱体的媒体资产、描绘星形的媒体资产、描绘八面体的媒体资产、以及描绘锥体的媒体资产。所选媒体资产656是描绘出现在媒体资产查看器界面645的右上角的两个并排矩形棱柱的媒体资产，如图6和图7中所示。

媒体资产查看器应用640和/或装置510的另一部分包括生成第二内容650的第二内容生成器(例如，第二内容生成器214)。在一些示例中，媒体资产查看器应用640和/或装置510的另一部分包括用于显示格式化的图像处理器(例如，用于显示格式化的图像处理器216)，其可以处理第二内容650以使用显示器进行显示和/或使用头戴式装置520的其他输出设备进行输出。第二内容650可以是第二内容232和/或经处理的第二内容234的示例。

装置510从装置510的收发机(例如，收发机224)向头戴式装置520的收发机(例如，收发机266)发送传输660。头戴式装置520的收发机从装置510的收发机接收传输660。传输660可以是通信250的示例。传输660包括第二内容650。可以如参照图5的传输560和/或图2的通信250所讨论的那样发送和接收传输660。在一些示例中，头戴式装置520还可以向装置510发送信息，例如，请求第二内容650的传输660和/或确认接收到具有第二内容650的传输660的至少一部分。

用户505能够通过头戴式装置520的显示器看到环境(例如，真实世界、虚拟、增强和/或混合)的视场(FOV)680。在一些示例中，头戴式装置520的显示器显示在FOV 680中的内容的至少一个子集。头戴式装置520使用头戴式装置520的显示器显示在FOV 680中的第二内容650的至少一部分。第二内容650包括来自媒体资产查看器应用程序640的媒体资产查看器界面645的媒体资产657的所选媒体资产656的备用视图655。所选媒体资产656的备用视图655被示为从与第一内容630中的所选媒体资产656的描绘相比不同的视角、角度和/或取向描绘所选媒体资产656。例如，与在第一内容630中对所选择的媒体资产656的描绘相比，所选择的媒体资产656的备用视图655被示出为沿着垂直偏航轴顺时针旋转大约90度。所选媒体资产656可以是存在于第一内容630和第二内容650两者中的元素。在一些示例中，在第二内容650中对所选媒体资产656的描绘可以比在第一内容630中对所选媒体资产656的描绘更详细，例如，在大小、分辨率、纹理分辨率、多边形数量、凸块映射保真度或其组合方面。

图7是示出装置510显示第一内容630并将第二内容750发送到显示第二内容750的头戴式装置520的概念图700，其中，第一内容730和第二内容750对应于来自在装置510上运行的媒体资产查看器应用程序740的媒体资产657。装置510运行图6的媒体资产查看器应用程序640，其是装置202的软件应用程序208的示例。媒体资产查看器应用程序640和/或装置510的另一部分包括生成第一内容630的第一内容生成器(例如，第一内容生成器212)。第一内容630是第一内容230的示例。类似于图6的第一内容630，图7的第一内容630包括来自媒体资产查看器应用程序640的媒体资产657的媒体资产查看器界面645。

媒体资产查看器应用程序640和/或装置510的另一部分包括生成第二内容750的第二内容生成器(例如，第二内容生成器214)。在一些示例中，媒体资产查看器应用程序640和/或装置510的另一部分包括用于显示格式化的图像处理器(例如，用于显示格式化的图像处理器216)，其可以处理第二内容750以使用显示器进行显示和/或使用头戴式装置520的其他输出设备进行输出。第二内容750可以是第二内容232和/或经处理的第二内容234的示例。

装置510从装置510的收发机(例如，收发机224)向头戴式装置520的收发机(例如，收发机266)发送传输760。头戴式装置520的收发机从装置510的收发机接收传输760。传输760可以是通信250的示例。传输760包括第二内容750。可以发送和接收传输760，如参照图5的传输560、图6的传输660和/或图2的通信250所讨论的。在一些示例中，头戴式装置520还可以向装置510发送信息，例如，请求第二内容750的传输760和/或确认接收到具有第二内容750的传输760的至少一部分。

用户505能够通过头戴式装置520的显示器看到环境(例如，真实世界、虚拟、增强和/或混合)的视场(FOV)780。在一些示例中，头戴式装置520的显示器显示在FOV 780中的内容的至少一个子集。头戴式装置520使用头戴式装置520的显示器显示在FOV 780中的第二内容750的至少一部分。第二内容750包括来自媒体资产查看器应用程序740的媒体资产查看器界面645的媒体资产657的组合755。组合755被示为包括被示为第一内容630中的媒体资产查看器界面645的一部分的所有媒体资产657，被堆叠在一起以形成组合755。例如，球体、八面体和金字塔堆叠在矩形金字塔的顶上，所述矩形金字塔堆叠在所堆叠的圆柱体的平坦侧上。圆柱体的圆形侧和星形也堆叠在所堆叠的圆柱体的平坦侧上。在其平坦侧上的两个所堆叠的圆柱体中的一个由锥体支撑。在一些示例中，用户505可以与装置510和/或头戴式装置520的输入接口对接以操纵组合755，例如像块一样在组合755内(例如，相对于彼此)移动各种媒体资产657，相对于彼此调整媒体资产657的大小，相对于彼此旋转或重新定向媒体资产657，或其组合。

图8是示出装置510显示第一内容830并将第二内容850发送到显示第二内容850的头戴式装置520的概念图800，其中，第一内容830和第二内容850对应于来自在装置510上运行的图示工具840的图示845。装置510运行图示工具840，其是装置202的软件应用程序208的示例。图示工具840和/或装置510的另一部分包括生成第一内容830的第一内容生成器(例如，第一内容生成器212)。第一内容830是第一内容230的示例。

第一内容830包括图示工具840的图示845。图示845被示为包括使用线条绘制的单词“Hi！”。通过以图示845的形状向装置510提供触摸输入(例如，拼写出单词“Hi！”)，用户的手被示为触摸装置510的触摸屏以使用图示工具840绘制图示845。

图示工具840和/或装置510的另一部分包括生成第二内容850的第二内容生成器(例如，第二内容生成器214)。在一些示例中，图示工具840和/或装置510的另一部分包括用于显示格式化的图像处理器(例如，用于显示格式化的图像处理器216)，其可以处理第二内容850以使用显示器进行显示和/或使用头戴式装置520的其他输出设备进行输出。第二内容850可以是第二内容232和/或经处理的第二内容234的示例。

装置510从装置510的收发机(例如，收发机224)向头戴式装置520的收发机(例如，收发机266)发送传输860。头戴式装置520的收发机从装置510的收发机接收传输860。传输860可以是通信250的示例。传输860包括第二内容850。可以发送和接收传输860，如参照图5的传输560、图6的传输660、图7的传输760和/或图2的通信250所讨论的。在一些示例中，头戴式装置520还可以向装置510发送信息，例如，请求第二内容850的传输860和/或确认接收到具有第二内容850的传输860的至少一部分。

用户505能够通过头戴式装置520的显示器看到环境(例如，真实世界、虚拟、增强和/或混合)的视场(FOV)880。在一些示例中，头戴式装置520的显示器显示来自图示工具840的图示845的备用视图855。第二内容850中的图示845的备用视图855相对于第一内容830中的图示845的描绘看起来是扭曲的、变形的和/或偏斜的，具体地看起来是水平拉伸的和/或垂直缩短的，例如以更好地适合用户505在FOV 880中观看的环境。第二内容850中的图示845的备用视图855也看起来围绕垂直于其上示出图8的平坦表面的滚动轴线顺时针旋转大约30度，例如以更好地适合用户505在FOV 880中观看的环境。图示845可以是存在于第一内容830和第二内容850两者中的元素。在一些示例中，第二内容850中的图示845的描绘可以比第一内容830中的图示845的描绘更详细，例如，在尺寸、分辨率、纹理分辨率、多边形数量、凸起映射保真度或其组合方面。

图9是示出装置510显示第一内容930并将第二内容950发送到显示第二内容950的头戴式装置520的概念图900，其中，第一内容930和第二内容950对应于来自涉及在装置510上运行的车辆赛车的视频游戏940的环境945。装置510运行视频游戏940，其是装置202的软件应用208的示例。视频游戏940和/或装置510的另一部分包括生成第一内容930的第一内容生成器(例如，第一内容生成器212)。第一内容930是第一内容230的示例。

第一内容930包括视频游戏940的环境945。环境945被示为赛车游戏的环境945，描绘了环境945中的第一汽车的背面后面的视图，其看起来是警车。在第一内容930中的环境945的视图内，第二汽车(不是警车)在第一汽车的前方和右侧可见。第一内容930还包括在环境945的视图上分层的虚拟按钮(例如，以灰色阴影示出)，这使得环境945的某些部分(包括第二汽车)稍微难以看到。示出了用户的双手触摸装置510的触摸屏以按压某些虚拟按钮。在一些示例中，这些触摸输入控制视频游戏940的环境945中的第一汽车。

视频游戏940和/或装置510的另一部分包括生成第二内容950的第二内容生成器(例如，第二内容生成器214)。在一些示例中，视频游戏940和/或装置510的另一部分包括用于显示格式化的图像处理器(例如，用于显示格式化的图像处理器216)，其可以处理第二内容950以使用显示器进行显示和/或使用头戴式装置520的其他输出设备进行输出。第二内容950可以是第二内容232和/或经处理的第二内容234的示例。

装置510从装置510的收发机(例如，收发机224)向头戴式装置520的收发机(例如，收发机266)发送传输960。头戴式装置520的收发机从装置510的收发机接收传输960。传输960可以是通信250的示例。传输960包括第二内容950。可以发送和接收传输960，如关于图5的传输560、图6的传输660、图7的传输760、图8的传输860和/或图2的通信250所讨论的。在一些示例中，头戴式装置520还可以向装置510发送信息，例如，请求第二内容950的传输960和/或确认接收到具有第二内容950的传输960的至少一部分。

用户505能够通过头戴式装置520的显示器看到环境(例如，真实世界、虚拟、增强和/或混合)的视场(FOV)980。在一些示例中，头戴式装置520的显示器显示来自视频游戏940的环境945的备用视图955。第二内容950中的环境945的备用视图955包括在FOV 980的右侧示出的第一备用视图。第一备用视图被示为环境945中的道路的俯视鸟瞰视图，其中，第一汽车和第二汽车被清楚地示出，并且其中，第二汽车在第一汽车的前方和右侧可见。第二内容950中的环境945的备用视图955包括在FOV 980的左侧示出的第二备用视图。第二备用视图示出了从两辆汽车前方和两辆汽车左侧的视角来看环境945中的道路的透视图。第一汽车和第二汽车在第二备用视图中清楚地示出，并且第二汽车在第一汽车的前方和右侧可见。环境945的至少部分(诸如道路和两辆汽车)可以是存在于第一内容930和第二内容950两者中的元素。在一些示例中，第二内容950中的环境945的描绘可以包括第一内容930中缺失的环境945的元素，例如，通过描绘在第一汽车后面的环境的部分。

图10是示出装置510显示第一内容1030并将第二内容1050发送到显示第二内容1050的头戴式装置520的概念图1000，其中，第一内容1030和第二内容1050对应于来自涉及在装置510上运行的射击气球的视频游戏1040的环境1045。装置510运行视频游戏1040，其是装置202的软件应用208的示例。视频游戏1040和/或装置510的另一部分包括生成第一内容1030的第一内容生成器(例如，第一内容生成器212)。第一内容1030是第一内容230的示例。

第一内容1030包括视频游戏1040的环境1045。环境1045被示为气球射击游戏的环境1045。环境1045被示为包括第一内容1030中的三个气球——第一气球、在第一气球下方的第二气球、以及在第二气球下方的第三气球。示出了用户的手触摸装置510的触摸屏，以通过在环境1045中显示第三气球的表示的触摸屏的位置处向装置510提供触摸输入来向环境1045中的气球中的第三气球指示第三气球，如第一内容1030中所描绘的。示出了在环境1045中的第三气球处发射的火流，撞击第三气球并在环境1045中的第三气球的位置处产生爆炸。

视频游戏1040和/或装置510的另一部分包括生成第二内容1050的第二内容生成器(例如，第二内容生成器214)。在一些示例中，视频游戏1040和/或装置510的另一部分包括用于显示格式化的图像处理器(例如，用于显示格式化的图像处理器216)，其可以处理第二内容1050以使用显示器进行显示和/或使用头戴式装置520的其他输出设备进行输出。第二内容1050可以是第二内容232和/或经处理的第二内容234的示例。

装置510从装置510的收发机(例如，收发机224)向头戴式装置520的收发机(例如，收发机266)发送传输1060。头戴式装置520的收发机从装置510的收发机接收传输1060。传输1060可以是通信250的示例。传输1060包括第二内容1050。可以发送和接收传输1060，如关于图5的传输560、图6的传输660、图7的传输760、图8的传输860、图9的传输960和/或图2的通信250所讨论的。在一些示例中，头戴式装置520还可以向装置510发送信息，例如，请求第二内容1050的传输1060和/或确认接收到具有第二内容1050的传输1060的至少一部分。

用户505能够通过头戴式装置520的显示器看到环境(例如，真实世界、虚拟、增强和/或混合)的视场(FOV)1080。在一些示例中，头戴式装置520的显示器显示来自视频游戏1040的环境1045的展开视图1055。第二内容1050中的环境1045的展开视图1055描绘了在第一内容1030中可见的环境1045的部分以及比在第一内容1030中可见的环境1045更多的环境1045，例如，包括在第一内容1030中可见的三个气球的左侧的两个以上气球和在第一内容1030中可见的三个气球的右侧的两个以上气球。步枪在第二内容1050中可见，发射在环境1045中的第三气球处发射的发射流，撞击第三气球并在环境1045中的第三气球的位置处产生爆炸。环境1045的至少部分(诸如三个气球、火流和爆炸)可以是存在于第一内容1030和第二内容1050两者中的元素。

在一些示例中，来自视频游戏1040中的步枪的火流可以基于对装置510的触摸屏的触摸输入指示第三气球的位置而朝向第三气球瞄准，如上所述并且如图10所示。在一些示例中，可以基于头戴式装置520的取向来瞄准来自视频游戏1040中的步枪的火流。例如，如果头戴式装置520是如图5-图10中所示的HMD 525，则用户505在佩戴HMD 525时可以转动他或她的头，以将来自视频游戏1040中的步枪的火力瞄准FOV 1080中的用户505的脸部面向的点、和/或头戴式装置520的前部面向的点、或其组合。如果头戴式装置520是移动手持机，则用户505可以在握持头戴式装置520时移动他或她的手，以将来自视频游戏1040中的步枪的火力瞄准FOV 1080中的用户505的手面向的和/或头戴式装置520的后部面向的或其组合的点。

图11是示出用于装置1105和头戴式装置1110之间的互操作性的过程1100的泳道图。装置1105是装置202和/或装置510的示例。头戴式装置1110是头戴式装置252和/或头戴式装置520的示例。设备1105被示为移动手持机，例如，移动手持机410和/或移动手持机515。在一些示例(未图示)中，装置1105可以是HMD，诸如HMD 310和/或HMD 525。头戴式装置520被示为HMD，诸如HMD 310和/或HMD 525。在一些示例中，头戴式装置520可以是移动手持机，诸如移动手持机410和/或移动手持机515。

在操作1115处，装置1105运行软件应用程序。操作1115的软件应用程序的示例包括软件应用程序208、菜谱应用程序540、媒体资产查看器应用程序640、图解工具840、视频游戏940、视频游戏1040、过程1200的软件应用程序、浏览器、本文描述的另一软件应用程序、或其组合。操作1115之后可以是操作1120、操作1125、操作1130和/或操作1140。

在操作1120处，装置1105接收传感器数据和/或输入数据。例如，操作1120的传感器数据和/或输入数据可以包括来自装置1105的传感器218的传感器数据228、来自装置1105的输入接口220的输入数据228、来自装置1105的输入解释器210的输入信息、或其组合。操作1120之后可以是操作1125、操作1130和/或操作1140。

在操作1125处，头戴式装置1110接收传感器数据和/或输入数据，并将其(传感器数据和/或输入数据)发送到装置1105。例如，操作1125的传感器数据和/或输入数据可以包括来自头戴式装置1110的传感器260的传感器数据268、来自头戴式装置1110的输入接口262的输入数据270、来自头戴式装置1110的输入解释器257的输入信息、或其组合。

头戴式装置1110可以将操作1125的传感器数据和/或输入数据发送到装置1105，并且装置1105可以使用有线通信和/或无线通信来接收传感器数据和/或输入数据。头戴式装置1110可以将操作1125的传感器数据和/或输入数据从头戴式装置1110的收发机266发送到装置1105的收发机224。装置1105可以在装置1105的收发机224处从头戴式装置1110的收发机266接收操作1125的传感器数据和/或输入数据。头戴式装置1110可以将操作1125的传感器数据和/或输入数据发送到装置1105，并且装置1105可以使用通信250接收操作1125的传感器数据和/或输入数据。操作1125之后可以是操作1120、操作1130、操作1140、操作1145和/或操作1160。

在操作1130处，装置1105使用软件应用程序来生成第一内容。例如，装置1105可以使用第一内容生成器212来生成第一内容。操作1130的第一内容的示例包括过程1200的第一内容230、第一内容530、第一内容630、第一内容830、第一内容930、第一内容1030、第一内容、或其某种组合。在一些示例中，装置1105可以在操作1130处基于在操作1120中从装置1105接收的传感器数据和/或输入数据、基于在操作1125中从头戴式装置1110接收的传感器数据和/或输入数据、或其组合，来生成第一内容。操作1130之后可以是操作1135和/或操作1140。

在操作1135处，装置1105使装置1105的显示器显示第一内容。操作1135的装置1105的显示器可以是装置1105的输出设备222的示例。在一些示例中，装置1105使装置1105的显示器通过将第一内容存储在与装置1105的显示器相关联的显示缓冲器中来显示第一内容。在一些示例中，作为视觉媒体的代替或补充，第一内容包括除了视觉媒体之外的其他类型的媒体，并且装置1105使装置1105的输出设备在操作1135处输出第一内容。操作1135之后可以是操作1140-1175中的任何操作。操作1135之前可以是操作1140-1175中的任何操作。操作1135可以与操作1140-1175中的任何操作同时发生。

在操作1140处，装置1105使用软件应用程序来生成第二内容。例如，装置1105可以使用第二内容生成器214来生成第二内容。操作1140的第二内容的示例包括第二内容232、第二内容550、第二内容650、第二内容850、第二内容950、第二内容1050、过程1200的第二内容、或其某种组合。在一些示例中，装置1105可以在操作1150处基于在操作1120中从装置1105接收的传感器数据和/或输入数据、基于在操作1125中从头戴式装置1110接收的传感器数据和/或输入数据、或其组合，来生成第二内容。操作1140之后可以是操作1145和/或操作1150。

在操作1145处，装置1105处理第二内容以用于在头戴式装置1110的显示器上显示，例如，使用图像处理器216以用于装置1105的显示格式化。如使用操作1145的处理进行处理的第二内容可以是经处理的第二内容234的示例。操作1145之后可以是操作1150。

在操作1150处，装置1105将第二内容发送到头戴式装置1110以由头戴式装置1110的显示器进行显示。在操作1155处，头戴式装置1110从装置1105接收第二内容。使用有线通信和/或无线通信，装置1105可以将第二内容发送到头戴式装置1110，并且头戴式装置1110可以接收第二内容。装置1105可以从装置1105的收发机224向头戴式装置1110的收发机266发送第二内容。头戴式装置1110可以在头戴式装置1110的收发机266处从装置1105的收发机224接收第二内容。装置1105可以向头戴式装置1110发送第二内容，并且头戴式装置1110可以使用通信250、传输560、传输660、传输760、传输760、传输860、传输960、传输1060或其组合来接收第二内容。操作1150之后可以是操作1155。操作1155之后可以是操作1160和/或操作1165。

在操作1160处，装置1105处理第二内容以用于在头戴式装置1110的显示器上显示，例如，使用图像处理器258以用于头戴式装置1110的显示格式化。如使用操作1145的处理进行处理的第二内容可以是经处理的第二内容234的示例。操作1160之后可以是操作1165。

在操作1165处，头戴式装置1110使头戴式装置1110的显示器显示第二内容。操作1165的头戴式装置1110的显示器可以是装置1105的输出设备264的示例。在一些示例中，头戴式装置1110使头戴式装置1110的显示器通过将第二内容存储在与头戴式装置1110的显示器相关联的显示缓冲器中，来显示第二内容。在一些示例中，作为视觉媒体的代替或补充，第二内容包括除了视觉媒体之外的其他类型的媒体，并且头戴式装置1110使头戴式装置1110的输出设备在操作1165处输出第一内容。操作1165之后可以是操作1170。

在操作1170处，头戴式装置1110向装置1105发送关于头戴式装置1110的显示器显示第二内容的确认。在操作1175处，装置1105从头戴式装置1110接收关于头戴式装置1110的显示器显示第二内容的确认。使用有线通信和/或无线通信，头戴式装置1110可以将确认发送给装置1105，并且装置1105可以接收确认。头戴式装置1110可以将确认从头戴式装置1110的收发机266发送给装置1105的收发机224。装置1105可以在装置1105的收发机224处从头戴式装置1110的收发机266接收确认。使用通信，头戴式装置1110可以将确认发送给装置1105，并且装置1105可以接收确认。操作1170之后可以是操作1175。

图12是示出用于扩展现实(XR)互操作性的过程1200的流程图。过程1200可以由XR系统执行。在一些示例中，XR系统可以包括例如图像捕获和处理系统100、图像捕获设备105A、图像处理设备105B、图像处理器150、ISP 154、主机处理器152、XR系统200、装置202、头戴式装置252、处理器206、处理器256、HMD 310、移动手持机410、装置510、头戴式装置520、装置1105、头戴式装置1110、计算系统1300、处理器1310、无线通信设备、具有从非暂时性计算机可读介质读取指令的处理器的系统、或其组合。

在操作1205处，XR系统可以使用装置的软件应用程序来生成要使用装置的第一显示器显示的第一内容。在一些示例中，操作1205可以包括操作1115、操作1120、操作1125、操作1130或其组合。装置的示例包括图像捕获和处理系统100、图像捕获设备105A、图像处理设备105B、图像处理器150、ISP 154、主机处理器152、XR系统200、装置202、处理器206、HMD310、移动手持机410、装置510、装置1105、计算系统1300、处理器1310、无线通信设备、具有从非暂时性计算机可读介质读取指令的处理器的系统、或其组合。

在一些示例中，XR系统(例如，装置)可以使用第一内容生成器212来生成第一内容。软件应用程序的示例包括软件应用程序208、菜谱应用程序540、媒体资产查看器应用程序640、图解工具840、视频游戏940、视频游戏1040、过程1200的软件应用程序、浏览器、交互式环境(例如，“虚拟世界”)、通信平台(例如，用于视频会议和/或电话会议)、本文描述的另一软件应用程序或软件应用程序类型、或其组合。第一内容的示例包括第一内容230、第一内容530、第一内容630、第一内容830、第一内容930、第一内容1030、过程1130的第一内容、或其某种组合。

在一些示例中，XR系统(例如，装置)可以使用(例如，装置和/或头戴式装置的)输入接口来接收一个或多个输入。为了在操作1205处生成第一内容，装置可以基于一个或多个输入来生成第一内容。输入接口可以包括执行过程1200的XR系统的装置的组件、在操作1220中讨论的头戴式装置的组件、或其组合。输入接口的示例包括：装置202的传感器218、装置202的输入接口220、装置202的输入解释器210、装置202的收发机225、头戴式装置252的传感器260、头戴式装置252的输入接口262、头戴式装置252的输入解释器257、头戴式装置252的收发机266、或其组合。一个或多个输入的示例包括传感器数据226、输入数据228、由输入解释器210输出的输入信息、由收发机224接收的通信250中的至少一个、由收发机224从与头戴式装置252不同的另一设备接收的其他通信、传感器数据268、输入数据270、由输入解释器257输出的输入信息、由收发机266接收的通信250中的至少一个、由收发机266从与装置202不同的另一设备接收的其他通信、由收发机266发送的通信250中的至少一个、或其组合。

在操作1210处，XR系统可以使得使用装置的第一显示器来显示第一内容。在一些示例中，操作1210可以包括操作1130、操作1135、或其组合。在一些示例中，XR系统的装置包括被配置为显示第一内容的第一显示器。在一些示例中，第一显示器是触摸屏显示器(例如，类似于移动手持机410的显示器440)。

装置的第一显示器的示例包括装置202的输出设备222、头戴式装置252的输出设备264、HMD 310的显示器340、移动手持机410的显示器440、装置510的显示器、移动手持机515的显示器、HMD 525的显示器、装置1005的显示器、或其组合。在一些示例中，操作1205和/或1210由装置202或其变型执行。在这样的示例中，第一显示器可以是装置202的一个或多个输出设备222的示例。

在一些示例中，XR系统的装置包括显示缓冲器。使第一内容使用第一显示器进行显示，如在操作1210中，可以包括将第一内容发送到装置的显示缓冲器以存储在装置的显示缓冲器中。然后，XR系统(例如，装置)可以将第一内容从装置的显示缓冲器发送到装置的第一显示器以由装置的第一显示器进行显示。

在操作1215处，XR系统可以使用装置的软件应用程序来生成第二内容。第二内容是基于第一内容的。第二内容不同于第一内容。在一些示例中，操作1215可以包括操作1115、操作1120、操作1125、操作1140、操作1145、或其组合。在一些示例中，XR系统(例如，装置)可以使用第一内容生成器214来生成第二内容。第二内容的示例包括第二内容232、第二内容550、第二内容650、第二内容850、第二内容950、第二内容1050、过程1140的第二内容、或其某种组合。

在一些示例中，XR系统(例如，装置)可以使用装置的输入接口来接收一个或多个输入。为了在操作1215处生成第二内容，XR系统(例如，装置)可以基于一个或多个输入来生成第二内容。输入接口可以包括：执行过程1200的XR系统的组件、在操作1220中讨论的头戴式装置的组件、或其组合。输入接口的示例包括：装置202的传感器218、第一XR系统的输入接口220、装置202的输入解释器210、装置202的收发机225、头戴式装置252的传感器260、头戴式装置252的输入接口262、头戴式装置252的输入解释器257、头戴式装置252的收发机266、或其组合。一个或多个输入的示例包括传感器数据226、输入数据228、由输入解释器210输出的输入信息、由收发机224接收的通信250中的至少一个、由收发机224从与头戴式装置252不同的另一设备接收的其他通信、传感器数据268、输入数据270、由输入解释器257输出的输入信息、由收发机266接收的通信250中的至少一个、由收发机266从与装置202不同的另一设备接收的其他通信、由收发机266发送的通信250中的至少一个、或其组合。

在一些示例中，第一内容包括元素的第一视图，并且第二内容包括碎片元素的第二视图。第一视图不同于第二视图。元素的示例包括：图5中的菜谱545的部分(例如，巧克力碎曲奇饼干和巧克力条的图像)、图6中的所选择的媒体资产656、图7中的媒体资产657、图8中的图示845、图9中的环境945、图10中的环境1045、或其组合。在一些示例中，第一内容包括从第一视角表示的元素的第一视图，并且第二内容包括从第二视角表示的元素的第二视图。第一视图不同于第二视图。第一视角不同于第二视角。元素的示例包括：图5中的菜谱545的部分(例如，巧克力碎曲奇饼干和巧克力条的图像)、图6中的所选择的媒体资产656、图7中的媒体资产657、图8中的图示845、图9中的环境945、图10中的环境1045、或其组合。元素的不同视图和/或视角的示例包括：与第二内容550中的菜谱545的展开视图555不同的第一内容530中的菜谱545的视图、与第二内容650中的所选媒体资产656的备用视图655不同的第一内容630中的媒体资产657的媒体资产查看器界面645、与第二内容750中的媒体资产657的组合755不同的第一内容630中的媒体资产657的媒体资产查看器界面645、与第二内容850中的图示845的备用视图855不同的第一内容830中的图示845的视图、与第二内容950中的视频游戏940的环境945的备用视图955不同的第一内容930中的视频游戏940的环境945的视图、以及与第二内容1050中的视频游戏1040的环境1045的展开视图1055不同的第一内容1030中的视频游戏1040的环境1045的视图。

在一些示例中，第一内容包括元素的二维(2D)视图，并且第二内容包括元素的三维(3D)视图。例如，在图6-图7中，每个媒体资产657(包括所选择的媒体资产656)的表示在第一内容630的媒体资产查看器界面645中可以是2D的，但是在第二内容650和/或第二内容750中可以是3D的。在图8中，图示845的表示在第一内容830的图示界面中可以是2D的，而在第二内容850中，图示845可以被映射到3D表面(例如，模拟图示845到3D表面上的投影)，并且因此可以是图示845的3D表示。在图10中，气球的表示在第一内容1030中可以是2D的，而在第二内容1050中，气球可以呈现3D。在一些示例中，第一内容包括元素的三维(3D)视图，并且第二内容包括元素的二维(2D)视图。

在操作1220处，XR系统可以至少部分地通过将第二内容从装置发送到头戴式装置，来使得使用头戴式装置的第二显示器显示第二内容。在一些示例中，操作1220可以包括操作1140、操作1145、操作1150、操作1155、操作1160、操作1165、操作1170、操作1175、或其组合。头戴式装置的示例包括头戴式装置252、头戴式装置520、头戴式装置1110、或其组合。头戴式装置可以包括例如图像捕获和处理系统100、图像捕获设备105A、图像处理设备105B、图像处理器150、ISP 154、主机处理器152、XR系统200、头戴式装置252、HMD 310、移动手持机410、头戴式装置520、头戴式装置1110、计算系统1300、处理器1310、无线通信设备、或其组合。

图像捕获和处理系统100、图像捕获设备105A、图像处理设备105B、图像处理器150、ISP 154、主机处理器152、XR系统200、装置202、头戴式装置252、处理器206、处理器256、HMD 310、移动手持机410、装置510、头戴式装置520、装置1105、头戴式装置1110、计算系统1300、处理器1310、无线通信设备、具有从非暂时性计算机可读介质读取指令的处理器的系统、或其组合。

在一些示例中，装置和头戴式装置均与用户相关联。例如，装置和头戴式装置两者可以在XR系统执行操作1205、1210、1215、1220和/或关于过程1200描述的任何其他操作的时间段期间由用户使用。用户的示例包括：图像捕获和处理系统100的用户、XR系统200的用户、装置202和头戴式装置252的用户、移动手持机204和头戴式装置252的用户、HMD 254的用户、HMD 310的用户320、移动手持机410的用户、装置510和头戴式装置520的用户505、移动手持机515和HMD 525的用户505、装置1105和头戴式装置1110的用户、计算系统1300的用户、或其组合。

在一些示例中，装置和头戴式装置具有不同的设备类型、设备类别、设备形状因子、或其组合。例如，在一些示例中，装置是移动手持机(例如，移动手持机204、移动手持机410、移动手持机515)，而头戴式装置是HMD(例如，HMD 254、HMD 310、HMD 525)。在一些示例中，用户使用用户的身体的不同部分来使用装置和头戴式装置。例如，在一些示例中，装置由用户的一只或多只手使用和/或佩戴，而头戴式装置由用户的头使用和/或佩戴。

在一些示例中，装置的第一显示器和头戴式装置的第二显示器具有不同的设备类型、设备类别、设备形状因子、或其组合。例如，在一些示例中，头戴式装置的第二显示器包括一个或多个透光显示器。一个或多个透光显示器可以被称为一个或多个光学“透视”显示器。在其中第二显示器包括一个或多个透光显示器的示例中，来自现实世界环境的光可以穿过第二显示器的至少一部分(例如，其可以是透明的、半透明的、光接收的、光允许的和/或光透射的)以到达用户的眼睛。在一些示例中，第二内容可以被显示为覆盖在用户看到的环境的视图的至少一部分上。在一些示例中，装置的第一显示器缺少和/或不包括任何透光显示器或光学“透视”显示器，并且不是光透射的(例如，第一显示器是阻光和/或不透明的)。在一些示例中，相反的情况是，装置的第一显示器包括一个或多个透光显示器并且至少部分地透光，而头戴式装置的第二显示器缺少透光显示器并且包括不透光的显示器。

在一些示例中，头戴式装置的第二显示器包括一个或多个三维(3D)显示器，比如，一个或多个立体显示器。3D显示器可以允许用户在三维中查看第二内容，例如，除了高度轴(Y轴)和宽度轴(X轴)之外，沿着深度轴(Z轴)在第二内容中具有可感知的差异。深度轴(Z轴)、高度轴(Y轴)和宽度轴(X轴)都彼此垂直。在一些示例中，虽然第二显示器包括一个或多个3D显示器，但是装置的第一显示器缺少或不包括任何3D显示器，并且限于一个或多个2D显示器。如在2D显示器上显示的，第一内容包括仅沿着高度轴(Y轴)和宽度轴(X轴)的可感知差异。在一些示例中，相反的情况是，装置的第一显示器包括一个或多个3D显示器以便在三个可感知维度中显示第一内容，而头戴式装置的第二显示器缺少3D显示器并且包括2D显示器以在两个可感知维度中显示第二内容。

在一些示例中，头戴式装置是HMD，诸如HMD 310和/或HMD 525。在一些示例中，头戴式装置是移动手持机，比如，移动手持机410和/或移动手持机515。第二内容可以通过一个或多个通信(比如，通信250、传输560、传输660、传输760、传输760，传输860、传输960、传输1060、或其组合)发送给头戴式装置。

在一些示例中，XR系统(例如，装置)可以通过将第二内容从XR系统的收发机发送到头戴式装置的收发机，来将第二内容发送到头戴式装置。XR系统可以包括XR系统的收发机。头戴式装置可以包括头戴式装置的收发机。XR系统的收发机的示例包括收发机224和/或通信接口1340。头戴式装置的收发机的示例包括收发机266和/或通信接口1340。

在一些示例中，头戴式装置包括显示缓冲器。如在操作1220中，使得使用头戴式设备的第二显示器来显示第二内容可以包括：将第二内容发送到头戴式装置的显示缓冲器以存储在显示缓冲器中。然后，头戴式装置可以将第二内容从显示缓冲器发送到第二显示器以由第二显示器进行显示。

在一些示例中，XR系统(例如，装置)可以接收关于从解耦状态到耦合状态的转换的第一指示。在一些示例中，XR系统(例如，装置)可以接收关于从耦合状态到解耦状态的转换的第二指示。装置在耦合状态下耦合(例如，连接)到头戴式装置。装置在解耦状态下解耦(例如，断开连接)到头戴式装置。在一些情况下，XR系统(例如，装置)可以响应于接收到从解耦状态到耦合状态的转变的第一指示而将第二内容从装置发送到头戴式装置。例如，一旦装置和头戴式装置变为耦合，装置就可以开始生成第二内容(如在操作1215中)和/或开始将第二内容发送到头戴式装置(如在操作1220中)。在一些示例中，第二内容从装置到头戴式装置的传输可以是从解耦状态到耦合状态的转换的一部分。可以基于用户界面输入来发起从解耦状态到耦合状态的转换，诸如用户界面输入向用户回答关于用户是否想要进入耦合状态和/或退出解耦状态的询问。在一些示例中，XR系统(例如，装置)可以在接收到关于从耦合状态到解耦状态的转换的第二指示之前，将第二内容从装置发送到头戴式装置。例如，一旦装置和头戴式装置变为耦合，XR系统(例如，装置)可以停止生成第二内容(如在操作1215中)和/或停止将第二内容发送到头戴式装置(如在操作1220中)。在一些示例中，第二内容从装置到头戴式装置的传输可以是从耦合状态到解耦状态的转换的一部分。可以基于用户界面输入来发起从耦合状态到解耦状态的转换，诸如用户界面输入向用户回答关于用户是否想要退出耦合状态和/或进入解耦状态的询问。

在一些示例中，XR系统(例如，装置)可以接收内容切换输入。响应于接收到内容切换输入，XR系统(例如，装置)可以使得使用第一显示器来显示第二内容。响应于接收到内容切换输入，装置可以停止将第二内容发送到头戴式装置。响应于接收到内容切换输入，XR系统(例如，装置)可以使得头戴式装置停止显示第二内容。响应于接收到内容切换输入，XR系统(例如，装置)可以将第一内容从装置发送到头戴式装置以由头戴式装置的第二显示器进行显示。响应于接收到内容切换输入，XR系统(例如，装置)可以停止使得使用装置的第一显示器显示第一内容。响应于接收到内容切换输入，XR系统(例如，装置)可以使得装置的第一显示器停止显示第一内容。

内容切换输入包括，例如，传感器数据226、输入数据228、由输入解释器210输出的输入信息、由收发机224接收的通信250中的至少一个、由收发机224从与头戴式装置252不同的另一设备接收的其他通信、传感器数据268、输入数据270、由输入解释器257输出的输入信息、由收发机266接收的通信250中的至少一个、由收发机266从与装置202不同的另一设备接收的其他通信、由收发机266发送的通信250中的至少一个、或其组合。

在一些示例中，软件应用程序是视频游戏，比如，视频游戏940和/或视频游戏1040。在一些示例中，第一内容描绘视频游戏中的环境的至少第一部分，并且第二内容描绘视频游戏中的环境的至少第二部分。第一部分和第二部分可以彼此有区别和/或不同。在一些示例中，第二内容描绘第二部分、以及第一部分的至少一部分。在一些示例中，第一内容描绘第一部分、以及第二部分的至少一部分。例如，在图10中，环境1045中的气球中的仅三个气球在第一内容1030中是可见的。环境1045的第一部分可以包括这三个气球。在图10中，7个气球在第二内容1050中的环境1045的展开视图1055中是可见的。环境1045的第二部分可以包括四个附加气球。在该示例中，第二内容1050描绘了第一部分和第二部分两者。

在一些示例中，软件应用程序是视频游戏，比如，视频游戏940和/或视频游戏1040。在一些示例中，第一内容描绘视频游戏中的环境的至少第一视图，并且第二内容描绘从第二视角观看视频游戏中的环境的至少第二视图。第一视图和第二视图可以彼此有区别和/或不同。第一视角和第二视角可以彼此有区别和/或不同。例如，在图9中，第一内容930从第一汽车后面的第一视角描绘了环境945的第一视图，而第二内容950包括环境945的两个备用视图955(第二视图)，一个视图来自自上而下的鸟瞰视角，而另一视图来自两个汽车的前面、左侧和上方的成角度视角。

在一些示例中，软件应用程序是媒体查看器，比如，媒体资产查看器应用程序640。在一些示例中，第一内容描绘了使用媒体查看器观看的至少第一媒体元素，而第二内容描绘了利用媒体查看器查看的至少第二媒体元素。第一媒体元素和第二媒体元素可以彼此有区别和/或不同。在一些示例中，第二内容描绘第二部分、以及第一部分的至少一部分。在一些示例中，第二内容描绘第一媒体元素、以及第二媒体元素的至少一部分。例如，在图6的上下文中，第二媒体元素可以是所选择的媒体资产656，而第一媒体元素可以是媒体资产657中的不同媒体资产(而不是所选择的媒体资产656)。在图7的上下文中，第一媒体元素可以是媒体资产657中的第一媒体资产，而第二媒体元素可以是媒体资产657中的第二媒体资产。

在一些示例中，软件应用程序是媒体查看器，比如，媒体资产查看器应用程序640。在一些示例中，第一内容描绘了使用媒体查看器观看的媒体元素的至少第一视图，而第二内容描绘了使用媒体查看器观看的媒体元素的至少第二视图。第一视图和第二视图可以彼此有区别和/或不同。媒体元素的示例是所选择的媒体资产656，其出现在图6的第一内容630和第二内容650两者中，但是在第二内容650中从与第一内容630中不同的视角进行观看。在图7的上下文中，媒体元素可以是例如媒体资产657的星形或八面体媒体资产，其在第二内容750中看起来与第一内容630相比不同地旋转。

在一些示例中，软件应用程序是图示工具，例如图示工具840。第一内容描绘了使用图示工具示出的图示的至少第一视图，比如，图示845。第二内容描绘了使用图示工具示出的图示的至少第二视图。第一视图和第二视图可以彼此有区别和/或不同。例如，在图8中，与图示845在第一内容830中的外观相比，图示845在第二内容850中看起来是垂直挤压的、水平延长的、和/或顺时针旋转的。

在一些示例中，软件应用程序是媒体编辑器。媒体编辑器的示例可以包括媒体查看器(例如，媒体资产查看器应用程序640)，其可以例如通过编辑诸如亮度、对比度、色彩饱和度、增益、色调、色相、或其某种组合之类的图像处理属性来编辑和/或处理媒体资产。媒体编辑器的示例可以包括可以允许用户绘制和/或以其他方式编辑图像或其他媒体资产的图示工具(例如，图示工具840)。在一些示例中，第一内容描绘了使用媒体编辑器编辑的媒体元素的至少第一视图，而第二内容描绘了使用媒体编辑器编辑的媒体元素的至少第二视图。

在一些方面中，成像系统可以包括：用于使用软件应用程序生成使用第一显示器显示的第一内容的单元；用于使得使用第一显示器显示第一内容的单元；用于使用软件应用程序基于第一内容生成第二内容的单元，其中，第二内容不同于第一内容；以及，用于将第二内容发送到头戴式装置以由头戴式装置的第二显示器进行显示的单元。

在一些示例中，用于生成第一内容的单元包括：XR系统200、装置202、处理器206、软件应用程序208、第一内容生成器212、HMD 310、移动手持机410、装置510、移动手持机515、HMD 525、装置1105、计算系统1300、处理器1310、或其组合。在一些示例中，用于使得使用第一显示器显示第一内容的单元包括：装置202、处理器206、软件应用程序208、第一内容生成器212、输出设备222、HMD 310、移动手持机410、装置510、移动手持机515、HMD 525、装置1105、计算系统1300、处理器1310、输出设备1335、媒体缓冲器、或其组合。在一些示例中，用于生成第二内容的单元包括：XR系统200、装置202、处理器206、软件应用程序208、第二内容生成器214、用于显示格式化的图像处理器216、HMD 310、移动手持机410、装置510、移动手持机515、HMD 525、装置1105、计算系统1300、处理器1310、或其组合。在一些示例中，用于将第二内容发送到头戴式装置以由头戴式装置的第二显示器进行显示的单元包括：XR系统200、装置202、处理器206、软件应用程序208、第二内容生成器214、用于显示格式化的图像处理器216、收发机224、通信250、收发机266、头戴式装置252、用于显示格式化的图像处理器258、输出设备264、HMD 310、移动手持机410、装置510、头戴式装置520、移动手持机515、HMD 525、传输560、传输660、传输760、传输760、传输860、传输960、传输1060、装置1105、头戴式装置1110、计算系统1300、处理器1310、输出设备1335、通信接口1340、或其组合。

在一些示例中，本文描述的过程(例如，图1的过程、图2的过程、图5的过程、图6的过程、图7的过程、图8的过程、图9的过程、图10的过程、过程1100、过程1200、图13的过程和/或本文描述的其他过程)可以由计算设备或装置执行。在一些示例中，可以通过图像捕获和处理系统100、图像捕获设备105A、图像处理设备105B、图像处理器150、ISP 154、主机处理器152、XR系统200、装置202、头戴式装置252、HMD 310、移动手持机410、装置510、头戴式装置520、装置1105、头戴式装置1110、计算系统1300、处理器1310或其组合来执行本文所述的处理。

计算设备可以包括任何适当的设备，诸如移动设备(例如，移动电话)、台式计算设备、平板计算设备、可穿戴设备(例如，VR头戴式装置、AR头戴式装置、AR眼镜、网络连接手表或智能手表、或其它可穿戴设备)、服务器计算机、自主车辆或自主车辆的计算设备、机器人设备、电视机和/或具有执行本文描述的过程(包括本文描述的过程)的资源能力的任何其它计算设备。在一些情况下，计算设备或装置可以包括各种组件，诸如一个或多个输入设备、一个或多个输出设备、一个或多个处理器、一个或多个微处理器、一台或多个微型计算机、一个或多个照相机、一个或多个传感器、和/或被配置为执行本文中描述的过程的步骤的(多个)其它组件。在一些示例中，计算设备可以包括显示器、被配置为传送和/或接收数据的网络接口、其任何组合、和/或(多个)其它组件。网络接口可以被配置为传送和/或接收基于互联网协议(IP)的数据或其它类型的数据。

计算设备的组件可以以电路系统来实施。例如，组件可以包括电子电路或其它电子硬件，和/或者可以使用电子电路或其它电子硬件来实施，所述电子电路或其它电子硬件可以包括一个或多个可编程电子电路(例如，微处理器、图形处理单元(GPU)、数字信号处理器(DSP)、中央处理单元(CPU)、和/或其它合适的电子电路)，和/或者组件可以包括用于执行本文中描述的各种操作的计算机软件、固件或其组合和/或者可以使用用于执行本文中描述的各种操作的计算机软件、固件或其组合来实现。

本文描述的过程被示为逻辑流程图、框图和/或概念图，其操作表示可以在硬件、计算机指令或其组合中实施的操作序列。在计算机指令的背景下，操作表示被存储在一个或多个计算机可读存储介质上的计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时执行所记载的操作。通常，计算机可执行指令包括执行特定功能或实施特定数据类型的例程、程序、对象、组件、数据结构、等等。操作以其描述的顺序不旨在被解释为限制，并且任何数量个所描述的操作可以以任何顺序和/或并行地组合以实施所述过程。

此外，本文描述的过程可以在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可以通过硬件实现为在一个或多个处理器上共同执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)，或其组合。如上面所指出的，代码可以例如以包括可由一个或多个处理器执行的多个指令的计算机程序的形式存储在计算机可读或机器可读存储介质上。计算机可读或机器可读存储介质可以是非暂时性的。

图13是示出用于实施本技术的某些方面的系统的示例的图。具体地，图13示出了计算系统1300的示例，其可以是例如构成内部计算系统、远程计算系统、相机或其任何组件的任何计算设备，其中系统的各组件使用连接1305彼此通信。连接1305可以是使用总线的物理连接，也可以是到处理器1310内的直接连接(例如，在芯片组架构中)。连接1305还可以是虚拟连接、联网连接、或逻辑连接。

在一些实施例中，计算系统1300是分布式系统，其中本公开中描述的功能可以分布在数据中心、多个数据中心、对等网络等内。在一些实施例中，所描述的系统组件中的一个或多个系统组件表示许多这样的组件，每个组件执行针对其描述组件的功能中的一些功能或全部功能。在一些实施例中，组件可以是物理设备或虚拟设备。

示例系统1300包括至少一个处理单元(CPU或处理器)1310和连接1305，连接1505将包括系统存储器1315(诸如只读存储器(ROM)1320和随机存取存储器(RAM)1325)的各种系统组件耦合到处理器1310。计算系统1300可以包括高速存储器的高速缓存1312，高速缓存1512与处理器1310直接地连接、靠近处理器1510、或被整合为处理器1510的一部分。

处理器1310可以包括任何通用处理器和硬件服务或软件服务，诸如存储在存储设备1330中的服务1332、1334和1336，其被配置为控制处理器1310以及专用处理器，在专用处理器中软件指令被并入到实际的处理器设计中。处理器1310可以基本上是完全自包含的计算系统，包含多个核或处理器、总线、存储器控制器、高速缓存等。多核处理器可以是对称的或不对称的。

为了实现用户交互，计算系统1300包括可以表示任何数量的输入机构的输入设备1345，诸如用于语音的麦克风、用于手势或图形输入的触摸敏感屏幕、键盘、鼠标、运动输入、语音等。计算系统1300还可以包括输出设备1335，其可以是多种输出机构中的一种或多种。在一些实例中，多模式系统可以使得用户能够提供多种类型的输入/输出，以与计算系统1300进行通信。计算系统1300可以包括通信接口1340，通信接口1540通常可以控制和管理用户输入和系统输出。通信接口可以使用有线和/或无线收发机执行或促进接收和/或传输有线或无线通信，包括使用音频插孔/插头、麦克风插孔/插头、通用串行总线(USB)端口/插头、端口/插头、以太网端口/插头、光纤端口/插头、专有有线端口/插头、无线信号传输、/>低功耗(BLE)无线信号传输、/>无线信号传输、射频识别(RFID)无线信号传输、近场通信(NFC)无线信号传输、专用短程通信(DSRC)无线信号传输、802.11Wi-Fi无线信号传输、无线局域网(WLAN)信号传输、可见光通信(VLC)、全球微波接入互操作性(WiMAX)、红外(IR)通信无线信号传输、公共交换电话网(PSTN)信号传输、综合业务数字网(ISDN)信号传输、3G/4G/5G/LTE蜂窝数据网络无线信号传输、自组(ad-hoc)网络信号传输、无线电波信号传输、微波信号传输、红外信号传输、可见光信号传输、紫外光信号传输、沿电磁波谱的无线信号传输或它们的某种组合的有线和/或无线收发机。通信接口1040还可以包括一个或多个全球导航卫星系统(GNSS)接收机或收发机，其用于基于从与一个或多个GNSS系统相关联的一个或多个卫星接收一个或多个信号来确定计算系统1300的位置。GNSS系统包括但不限于：基于美国的全球定位系统(GPS)、基于俄罗斯的全球导航卫星系统(GLONASS)、基于中国的北斗导航卫星系统(BDS)以及基于欧洲的伽利略(Galileo)GNSS。对于任何特定硬件布置的操作都没有限制，因此这里的基本特征可以很容易地被替换为如它们被开发的改进的硬件或固件布置。/>

存储设备1330可以是非易失性和/或非暂时性和/或计算机可读存储器设备，以及可以是硬盘、或可以存储由计算机可存取的数据的其它类型的计算机可读介质，诸如磁带盒、闪存卡、固态存储设备、数字多功能光盘、盒式磁带、软盘、软磁盘、硬盘、磁带、磁条/条带、任何其它磁存储介质、闪存、忆阻器存储器、任何其它固态存储器、压缩光盘只读存储器(CD-ROM)光盘、可重写压缩光盘(CD)光盘、数字视频光盘(DVD)光盘、蓝光光盘(BDD)光盘、全息光盘、另一光学介质、安全数字(SD)卡、微安全数字(microSD)卡、卡、智能卡芯片、EMV芯片、订户身份模块(SIM)卡、迷你/微/纳米/微微SIM卡、另一集成电路(IC)芯片/卡、随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存EPROM(FLASHEPROM)、高速缓冲存储器(L1/L2/L3/L4/L5/L#)、电阻随机存取存储器(RRAM/ReRAM)、相变存储器(PCM)、自旋转移矩RAM(STT-RAM)、另一存储器芯片或盒、和/或其组合。

存储设备1330可以包括软件服务、服务器、服务等，当定义这样的软件的代码由处理器1310执行时，其使得系统执行功能。在一些实施例中，执行特定功能的硬件服务可以包括存储在计算机可读介质中的软件组件，其与必要的硬件组件(诸如处理器1310、连接1305、输出设备1335等)相连接以执行所述功能。

如本文中使用的，术语“计算机可读介质”包括但不限于便携式或非便携式存储设备、光学存储设备以及能够存储、包含或携带(多个)指令和/或数据的各种其它介质。计算机可读介质可以包括可存储数据的非暂时性介质，而不包括无线传输或通过有线连接传输的载波和/或暂时性电子信号。非暂时性介质的示例可以包括但不限于：磁盘或磁带、光盘存储介质(如，压缩光盘(CD)或数字多用途光盘(DVD))、闪存、存储器或存储设备。计算机可读介质可以存储代码和/或机器可执行指令，这些指令可以表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类、或指令、数据结构或程序语句的任何组合。通过传递和/或接收信息、数据、自变量、参数或存储器内容，代码段可以耦合到另一代码段或硬件电路。信息、自变量、参数、数据等可以是使用包括存储器共享、消息传递、令牌传递、网络传输等的任何合适的方式来传递、转发或发送的。

在一些实施例中，计算机可读存储设备、介质和存储器可以包括包含比特流等等的电缆或无线信号。但是，当提及时，非暂时性计算机可读存储介质明确地排除诸如能量、载波信号、电磁波和信号本身之类的介质。

在上述描述中提供了特定的细节，以提供对本文所提供的实施例和示例的透彻理解。然而，本领域普通技术人员应当理解，可以在没有这些特定细节的情况下实施这些实施例。为了解释清楚，在一些情况下，本文的技术可以被呈现为包括包括如下的功能块的单独的功能块，这些功能块包括设备、设备组件、以软件体现的方法中的步骤或例程、或者硬件和软件的组合。可以使用除了附图中所示和/或本文中所描述的那些之外的额外组件。例如，电路、系统、网络、过程和其它组件可以以框图形式被示为组件，以便不会在不必要的细节上模糊这些实施例。在其它情况下，公知的电路、过程、算法、结构和技术可以被示为不具有不必要的细节，以便避免模糊这些实施例。

上文可以将各个实施例描述为过程或方法，该过程或方法被描绘为流程图、流程示意图、数据流程图、结构图或框图。尽管使用流程图将操作描述成了一个顺序处理过程，但很多操作可以是并行或同时进行。附加地，可以对这些操作的顺序进行重新布置。当这些操作结束时，处理过程也就终结了，但其可以具有附图中没有包括的其它步骤。过程可以对应于方法、函数、过程、子程序、子程序等。当过程对应于函数时，它的终止可以对应于函数返回到调用函数或主函数。

根据上述示例的过程和方法可以使用被存储在计算机可读介质中或以其它方式可从计算机可读介质获取的计算机可执行指令来实施。例如，这样的指令可以包括引起或配置通用计算机、专用计算机或处理设备执行特定功能或功能组的指令和数据。可以通过网络访问使用的计算机资源部分。计算机可执行指令可以是例如二进制文件、中间格式指令(诸如汇编语言、固件、源代码等)。可用于存储指令、所使用的信息和/或在根据所描述的示例的方法期间创建的信息的计算机可读介质的示例包括磁盘或光盘、闪存、具有非易失性存储器的USB设备、联网存储设备、等等。

实现根据这些公开内容的过程和方法的设备可以包括硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合，以及可以采用多种形状因子中的任何一种。当实施在软件、固件、中间件或微代码中时，用于执行必要任务的程序代码或代码段(例如，计算机程序产品)可以被存储在计算机可读或机器可读介质中。一个(或多个)处理器可以执行必要的任务。形状因子的典型示例包括膝上型计算机、智能电话、移动电话、平板设备或其它小型形状因子的个人计算机、个人数字助理、机架式设备、独立设备等。本文所描述的功能还可以体现在外围设备或附加卡中。通过进一步的示例，这样的功能也可以被实施在电路板上在不同芯片或在单个设备中执行的不同过程之间。

指令、用于传送这样的指令的介质、用于执行它们的计算资源、以及用于支持这样的计算资源的其它结构，是用于提供本公开内容中描述的功能的示例性装置。

在前面的描述中，参考本申请的特定实施例描述了本申请的各方面，但是本领域普通技术人员应当认识到，本申请并不受此限制。因此，尽管在本文中已经详细描述了本申请的说明性实施例，但是应当理解，这些发明构思可以用其他方式被不同地体现和采用，并且所附权利要求旨在被解释为包括这样的变型，除了现有技术所限制的以外。上述应用的各种特征和方面可以单独地或联合地使用。此外，在不脱离本说明书的更广泛的精神和保护范围的情况下，可以在本文所述之外的任何数量的环境和应用中使用实施例。因此，说明书和附图应被认为是说明性的而不是限制性的。为了说明起见，以特定顺序描述了方法。应当认识到的是，在替代实施例中，可以以与所描述的次序不同的次序来执行所述方法。

本领域普通技术人员将明白，在不脱离本说明书的范围的情况下，本文使用的小于(“<”)和大于(“>”)符号或术语可以分别用小于或等于(“≤”)以及大于或等于(“≥”)符号来替换。

在组件被描述为“被配置为”执行某些操作的情况下，这样的配置可以例如通过以下各项来实现：设计电子电路或其它硬件以执行操作、通过编程可编程电子电路(例如，微处理器或其它合适的电子电路)以执行操作、或其任何组合。

短语“耦合到”指代直接或间接地物理连接到另一组件的任何组件、和/或直接或间接地与另一组件通信的任何组件(例如，通过有线或无线连接和/或其它适当的通信接口而连接到另一组件)。

引用一个集合中的“至少一个”和/或一个集合中的“一个或多个”的声明语言或其它语言，指示该集合中的一个成员或该集合中的多个成员(具有任何组合)满足权利要求。例如，记载“A和B中的至少一个”的权利要求语言意指A、B、或A与B。在另一示例中，记载“A、B和C中的至少一个”的权利要求语言意指A、B、C、或A和B、或A和C、或B和C、或A和B和C。语言集合“中的至少一个”和/或集合“中的一个或多个”不限制在该集合中列出的项目的集合。例如，记载“A和B中的至少一个”的权利要求语言可以意指A、B、或A和B，以及可以额外地包括未在A和B的集合中列出的项。

结合本文中公开的实施例描述的各种说明性逻辑框、模块、电路和算法步骤可以实现为电子硬件、计算机软件、固件或者其组合。为了清楚地说明硬件和软件的这种可互换性，上文已经对各种说明性的组件、方块、模块、电路和步骤围绕其功能进行了总体描述。至于这样的功能性是实现为硬件还是软件，取决于特定的应用以及施加在整个系统上的设计约束。技术人员可以针对每个特定应用以不同的方式来实现所描述的功能，但是这样的实现决策不应当被解释为导致脱离本申请的范围。

本文中描述的技术还可以被实现在电子硬件、计算机软件、固件或其任何组合中。这样的技术可以被实现在多种设备中的任何设备中，多种设备诸如通用计算机、无线通信设备手持设备、或具有多种用途的集成电路设备，多种用途包括在无线通信设备手持设备和其它设备中的应用。描述为模块或组件的任何特征可以一起实现在集成逻辑器件中，或者单独实现为分立但可互操作的逻辑器件。如果在软件中实现，则所述技术可以是至少部分地由计算机可读数据存储介质来实现的，计算机可读数据存储介质包括程序代码，程序代码包括在被执行时执行上文描述的方法中的一个或多个方法的指令。计算机可读数据存储介质可以形成计算机程序产品的一部分，该计算机程序产品可以包括封装材料。计算机可读介质可以包括存储器或数据存储介质，例如随机存取存储器(RAM)(例如，同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、FLASH存储器、磁或光数据存储介质、等等。附加地或替代地，技术可以至少部分地由计算机可读通信介质来实现，该计算机可读通信介质携带或传送指令或数据结构形式的且可由计算机存取、读取和/或执行的程序代码，诸如传播的信号或波。

程序代码可以由处理器执行，该处理器可以包括一个或多个处理器，例如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或者其它等效的集成逻辑电路或离散逻辑电路。这种处理器可以被配置为执行本公开内容中描述的任何技术。通用处理器可以是微处理器；但是在替代的方式中，处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、结合DSP核的一个或多个微处理器、或者任何其它这样的配置。因此，如本文中所使用的术语“处理器”可以指前述结构中的任何结构、前述结构的任何组合或适合于实施本文中所描述的技术的任何其它结构或装置。此外，在一些方面中，本文中描述的功能可以是在被配置用于编码和解码的专用软件模块和/或硬件模块内提供的，或者被合并在组合的视频编码器-解码器(CODEC)中。

本公开内容的说明性方面包括：

方面1、一种装置，包括：至少一个存储器；以及耦合到所述至少一个存储器的一个或多个处理器，所述一个或多个处理器被配置成：使用软件应用程序生成要使用所述装置的第一显示器显示的第一内容；使得所述第一内容使用所述装置的所述第一显示器进行显示；使用所述软件应用程序，基于所述第一内容来生成第二内容，其中所述第二内容不同于所述第一内容；以及至少部分地通过向所述头戴式装置发送所述第二内容，来使所述第二内容使用所述头戴式装置的第二显示器进行显示。

方面2、根据方面1所述的装置，其中，所述装置的所述第一显示器和所述头戴式装置的所述第二显示器具有不同的显示器类型。

方面3、根据方面1或2中任一项所述的装置，其中，所述头戴式装置的所述第二显示器包括透光显示器或三维显示器中的至少一项。

方面4、根据方面1至3中任一项所述的装置，其中，所述第一内容包括元素的从第一视角表示的第一视图，其中，所述第二内容包括所述元素的从第二视角表示的第二视图，其中，所述第一视角不同于所述第二视角。

方面5、根据方面1至4中任一项所述的装置，其中，所述第一内容包括元素的二维(2D)视图，其中，所述第二内容包括元素的三维(3D)视图。

方面6、根据方面1至5中任一项所述的装置，其中，所述第一内容包括元素的三维(3D)视图，其中，所述第二内容包括元素的二维(2D)视图。

方面7、根据方面1至6中任一项所述的装置，其中，所述一个或多个处理器被配置为：使用输入接口接收一个或多个输入，其中，为了生成所述第一内容，所述一个或多个处理器被配置为基于所述一个或多个输入来生成所述第一内容。

方面8、根据方面1至7中任一项所述的装置，其中，所述一个或多个处理器被配置为：使用输入接口来接收一个或多个输入，其中，为了生成所述第二内容，所述一个或多个处理器被配置为基于所述一个或多个输入来生成所述第二内容。

方面9、根据方面1至8中任一项所述的装置，其中：所述一个或多个处理器被配置为：接收关于从解耦状态到耦合状态的转换的指示，其中，所述装置在所述耦合状态中耦合到所述头戴式装置，其中，所述装置在所述解耦状态中与所述头戴式装置进行解耦；以及向所述头戴式装置发送所述第二内容，所述一个或多个处理器被配置为：响应于接收到所述指示而向所述头戴式装置发送所述第二内容。

方面10、根据方面1至9中任一项所述的装置，其中，所述一个或多个处理器被配置为：响应于向所述头戴式装置发送所述第二内容，接收关于从耦合状态到解耦状态的转换的指示，其中，所述装置在所述耦合状态中耦合到所述头戴式装置，其中，所述装置在所述解耦状态中与所述头戴式装置进行解耦，其中，为了向所述头戴式装置发送所述第二内容，所述一个或多个处理器被配置为：在接收所述指示之前，向所述头戴式装置发送所述第二内容。

方面11、根据方面1至10中任一项所述的装置，其中，所述一个或多个处理器被配置为：接收内容切换输入；响应于接收到所述内容切换输入，使得所述第二内容使用所述第一显示器进行显示；以及响应于接收到所述内容切换输入，将所述第一内容发送到所述头戴式装置以由所述头戴式装置的所述第二显示器进行显示。

方面12、根据方面1到11中任一项所述的装置，其中，所述第一内容表示与所述软件应用程序的软件应用程序类型相关联的第一媒体元素的第一视图，其中，所述第二内容表示与所述软件应用程序的所述软件应用程序类型相关联的所述第一媒体元素或第二媒体元素的第二视图，其中，所述软件应用程序类型包括以下各项中的至少一项：视频游戏、媒体查看器、图示工具、媒体编辑器、浏览器、交互式环境、或通信平台。

方面13、根据方面1至12中任一方面所述的装置，其中，所述软件应用程序是视频游戏，其中，所述第一内容描绘所述视频游戏中的环境的至少第一部分，并且其中，所述第二内容描绘所述视频游戏中的所述环境的至少第二部分。

方面14、根据方面1至13中任一方面所述的装置，其中，所述软件应用程序是视频游戏，其中，所述第一内容从第一视角描绘所述视频游戏中的环境的至少第一视图，并且其中，所述第二内容从第二视角描绘所述视频游戏中的所述环境的至少第二视图。

方面15、根据方面1至14中任一方面所述的装置，其中，所述软件应用程序是视频游戏，其中，所述第一内容描绘使用所述媒体查看器观看的至少第一媒体元素，并且其中，所述第二内容描绘使用所述媒体浏览器观看的至少第二媒体元素。

方面16、根据方面1至15中任一方面所述的装置，其中，所述软件应用程序是视频游戏，其中，所述第一内容描绘使用所述媒体查看器观看的媒体元素的至少第一视图，并且其中，所述第二内容描绘使用所述媒体浏览器观看的所述媒体元素的至少第二视图。

方面17、根据方面1至16中任一方面所述的装置，其中，所述软件应用程序是图示工具，其中，所述第一内容描绘使用所述图示工具示出的图示的至少第一视图，并且其中，所述第二内容描绘使用所述图示工具示出的所述图示的至少第二视图。

方面18、根据方面1至17中任一方面所述的装置，其中，所述软件应用程序是媒体编辑器，其中，所述第一内容描绘使用所述媒体编辑器编辑的媒体元素的至少第一视图，并且其中，所述第二内容描绘使用所述媒体编辑器编辑的所述媒体元素的至少第二视图。

方面19、根据方面1至18中任一项所述的装置，还包括：所述第一显示器被配置为显示所述第一内容。

方面20、根据方面1至19中任一项所述的装置，其中，所述第一显示器是触摸屏显示器。

方面21、根据方面1到20中任一者所述的装置，其中，所述装置包括移动手持机和无线通信设备中的至少一项。

方面22、根据方面1至21中任一项所述的装置，其中，所述头戴式装置包括头戴式显示器。

方面23、根据方面1至22中任一项所述的装置，其中，所述装置和所述头戴式装置两者是与用户相关联的并且具有不同的设备类型。

方面24、一种用于扩展现实(XR)的设备互操作性的方法，所述方法包括：使用装置的软件应用程序，生成要使用所述装置的第一显示器显示的第一内容；使得所述第一内容使用所述装置的所述第一显示器进行显示；使用所述装置的所述软件应用程序，基于所述第一内容来生成第二内容，其中，所述第二内容不同于所述第一内容；以及至少部分地通过将所述第二内容从所述装置发送到头戴式装置，来使得所述第二内容使用所述头戴式装置的第二显示器进行显示。

方面25、根据方面24所述的方法，其中，所述装置的所述第一显示器和所述头戴式装置的所述第二显示器具有不同的显示器类型。

方面26、根据方面24或25中任一项所述的方法，其中，所述头戴式装置的所述第二显示器包括透光显示器或三维显示器中的至少一项。

方面27、根据方面24至26中任一项所述的方法，其中，所述第一内容包括元素的第一视图，其中，所述第二内容包括所述元素的第二视图，其中，所述第一视图不同于所述第二视图。

方面28、根据方面24至27中任一项所述的方法，其中，所述第一内容包括元素的二维(2D)视图，其中，所述第二内容包括元素的三维(3D)视图。

方面29、根据方面24至28中任一项所述的方法，其中，所述第一内容包括元素的三维(3D)视图，其中，所述第二内容包括元素的二维(2D)视图。

方面30、根据方面24至29中任一项所述的方法，还包括：使用输入接口来接收一个或多个输入，其中，生成所述第一内容是基于所述一个或多个输入的。

方面31、根据方面24至30中任一项所述的方法，还包括：使用输入接口来接收一个或多个输入，其中，生成所述第二内容是基于所述一个或多个输入的。

方面32、根据方面24至31中任一项所述的方法，还包括：接收关于从解耦状态到耦合状态的转换的指示，其中，所述装置在所述耦合状态中耦合到所述头戴式装置，其中，所述装置在所述解耦状态中与所述头戴式装置进行解耦，其中，向所述头戴式装置发送所述第二内容是响应于接收到所述指示而执行的。

方面33、根据方面24至32中任一项所述的方法，还包括：接收关于响应于向所述头戴式装置发送所述第二内容而从耦合状态到解耦状态的转换的指示，其中，所述装置在所述耦合状态中耦合到所述头戴式装置，其中，所述装置在所述解耦状态中与所述头戴式装置进行解耦，其中，向所述头戴式装置发送所述第二内容是在接收到所述指示之前执行的。

方面34、根据方面24至33中任一项所述的方法，还包括：接收内容切换输入；响应于接收到所述内容切换输入，使得所述第二内容使用所述装置的所述第一显示器进行显示；以及响应于接收到所述内容切换输入，将所述第一内容从所述装置发送到所述头戴式装置以由所述头戴式装置的所述第二显示器进行显示。

方面35、根据方面24到34中任一项所述的方法，其中，所述第一内容表示与所述软件应用程序的软件应用程序类型相关联的第一媒体元素的第一视图，其中，所述第二内容表示与所述软件应用程序的软件应用程序类型相关联的所述第一媒体元素或第二媒体元素的第二视图，其中，所述软件应用程序类型包括以下各项中的至少一项：视频游戏、媒体查看器、图示工具、媒体编辑器、浏览器、交互式环境、或通信平台。

方面36、根据方面24至35中任一方面所述的方法，其中，所述软件应用程序是视频游戏，其中，所述第一内容描绘所述视频游戏中的环境的至少第一部分，并且其中，所述第二内容描绘所述视频游戏中的所述环境的至少第二部分。

方面37、根据方面24至36中任一方面所述的方法，其中，所述软件应用程序是视频游戏，其中，所述第一内容从第一视角描绘所述视频游戏中的环境的至少第一视图，并且其中，所述第二内容从第二视角描绘所述视频游戏中的所述环境的至少第二视图。

方面38、根据方面24至37中任一方面所述的方法，其中，所述软件应用程序是视频游戏，其中，所述第一内容描绘使用所述媒体查看器观看的至少第一媒体元素，并且其中，所述第二内容描绘使用所述媒体浏览器观看的至少第二媒体元素。

方面39、根据方面24至38中任一方面所述的方法，其中，所述软件应用程序是视频游戏，其中，所述第一内容描绘使用所述媒体查看器观看的媒体元素的至少第一视图，并且其中，所述第二内容描绘使用所述媒体浏览器观看的所述媒体元素的至少第二视图。

方面40、根据方面24至39中任一方面所述的方法，其中，所述软件应用程序是图示工具，其中，所述第一内容描绘使用所述图示工具示出的图示的至少第一视图，并且其中，所述第二内容描绘使用所述图示工具示出的所述图示的至少第二视图。

方面41、根据方面24至40中任一方面所述的方法，其中，所述软件应用程序是媒体编辑器，其中，所述第一内容描绘使用所述媒体编辑器编辑的媒体元素的至少第一视图，并且其中，所述第二内容描绘使用所述媒体编辑器编辑的所述媒体元素的至少第二视图。

方面42、根据方面24至41中任一项所述的方法，其中，所述方法由所述装置执行，其中，所述装置包括被配置为显示所述第一内容的所述第一显示器。

方面43、根据方面24至42中任一项所述的方法，其中，所述第一显示器是触摸屏显示器。

方面44、根据方面24到43中任一者所述的方法，其中，所述装置包括移动手持机和无线通信设备中的至少一项。

方面45、根据方面24至44中任一项所述的方法，其中，所述头戴式装置包括头戴式显示器。

方面46、根据方面24至45中任一项所述的方法，其中，所述装置和所述头戴式装置两者是与用户相关联的并且具有不同的设备类型。

方面47、一种具有存储在其上的指令的非暂时性计算机可读介质，所述指令在由所述装置的一个或多个处理器执行时使得所述一个或多个处理器执行根据方面1至46中任一项所述的操作。

方面48、一种用于扩展现实(XR)的设备互操作性的装置，包括用于执行根据方面1至46中任一项所述的操作的一个或多个单元。

Claims (30)

1.一种装置，包括：

至少一个存储器；以及

耦合到所述至少一个存储器的一个或多个处理器，所述一个或多个处理器被配置成：

使用软件应用程序，生成要使用所述装置的第一显示器显示的第一内容；

使得所述第一内容使用所述装置的所述第一显示器进行显示；

使用所述软件应用程序，基于所述第一内容来生成第二内容，其中，所述第二内容不同于所述第一内容；以及

至少部分地通过向头戴式装置发送所述第二内容，使得所述第二内容使用所述头戴式装置的第二显示器进行显示。

2.根据权利要求1所述的装置，其中，所述装置和所述头戴式装置两者是与用户相关联的并且具有不同的设备类型。

3.根据权利要求1所述的装置，其中，所述装置的所述第一显示器和所述头戴式装置的所述第二显示器具有不同的显示器类型。

4.根据权利要求3所述的装置，其中，所述头戴式装置的所述第二显示器包括透光显示器或三维显示器中的至少一项。

5.根据权利要求1所述的装置，其中，所述第一内容包括元素的从第一视角表示的第一视图，其中，所述第二内容包括所述元素的从第二视角表示的第二视图，其中，所述第一视角不同于所述第二视角。

6.根据权利要求1所述的装置，其中，所述第一内容包括元素的二维(2D)视图，其中，所述第二内容包括所述元素的三维(3D)视图。

7.根据权利要求1所述的装置，其中，所述第一内容包括元素的三维(3D)视图，其中，所述第二内容包括所述元素的二维(2D)视图。

8.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：

使用输入接口来接收一个或多个输入，其中，为了生成所述第一内容，所述一个或多个处理器被配置为基于所述一个或多个输入来生成所述第一内容。

9.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：

使用输入接口来接收一个或多个输入，其中，为了生成所述第二内容，所述一个或多个处理器被配置为基于所述一个或多个输入来生成所述第二内容。

10.根据权利要求1所述的装置，其中：

所述一个或多个处理器被配置为：接收关于从解耦状态到耦合状态的转换的指示，其中，所述装置在所述耦合状态中耦合到所述头戴式装置，其中，所述装置在所述解耦状态中与所述头戴式装置进行解耦；以及

为了向所述头戴式装置发送所述第二内容，所述一个或多个处理器被配置为：响应于接收到所述指示而向所述头戴式装置发送所述第二内容。

11.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：

接收关于响应于向所述头戴式装置发送所述第二内容而从耦合状态到解耦状态的转换的指示，其中，所述装置在所述耦合状态中耦合到所述头戴式装置，其中，所述装置在所述解耦状态中与所述头戴式装置进行解耦，其中，为了向所述头戴式装置发送所述第二内容，所述一个或多个处理器被配置为在接收所述指示之前向所述头戴式装置发送所述第二内容。

12.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：

接收内容切换输入；

响应于接收到所述内容切换输入，使得所述第二内容使用所述第一显示器进行显示；以及

响应于接收到所述内容切换输入，将所述第一内容发送到所述头戴式装置以由所述头戴式装置的所述第二显示器进行显示。

13.根据权利要求1所述的装置，其中，所述第一内容表示与所述软件应用程序的软件应用程序类型相关联的第一媒体元素的第一视图，其中，所述第二内容表示与所述软件应用程序的所述软件应用程序类型相关联的所述第一媒体元素或第二媒体元素的第二视图，其中，所述软件应用程序类型包括以下各项中的至少一项：视频游戏、媒体查看器、图示工具、媒体编辑器、浏览器、交互式环境、或通信平台。

14.根据权利要求1所述的装置，还包括：

所述第一显示器，其被配置为显示所述第一内容。

15.根据权利要求1所述的装置，其中，所述第一显示器是触摸屏显示器。

16.根据权利要求1所述的装置，其中，所述装置包括移动手持机和无线通信设备中的至少一项。

17.一种用于扩展现实(XR)的设备互操作性的方法，所述方法包括：

使用装置的软件应用程序，生成要使用所述装置的第一显示器显示的第一内容；

使得所述第一内容使用所述装置的所述第一显示器进行显示；

使用所述装置的所述软件应用程序，基于所述第一内容来生成第二内容，其中，所述第二内容不同于所述第一内容；以及

至少部分地通过将所述第二内容从所述装置发送到头戴式装置，来使得所述第二内容使用所述头戴式装置的第二显示器进行显示。

18.根据权利要求17所述的方法，其中，所述装置和所述头戴式装置两者是与用户相关联的并且具有不同的设备类型。

19.根据权利要求17所述的方法，其中，所述装置的所述第一显示器和所述头戴式装置的所述第二显示器具有不同的显示器类型。

20.根据权利要求19所述的方法，其中，所述头戴式装置的所述第二显示器包括透光显示器或三维显示器中的至少一项。

21.根据权利要求17所述的方法，其中，所述第一内容包括元素的第一视图，其中，所述第二内容包括所述元素的第二视图，其中，所述第一视图不同于所述第二视图。

22.根据权利要求17所述的方法，其中，所述第一内容包括元素的二维(2D)视图，其中，所述第二内容包括所述元素的三维(3D)视图。

23.根据权利要求17所述的方法，其中，所述第一内容包括元素的三维(3D)视图，其中，所述第二内容包括所述元素的二维(2D)视图。

24.根据权利要求17所述的方法，还包括：

使用输入接口来接收一个或多个输入，其中，生成所述第一内容是基于所述一个或多个输入的。

25.根据权利要求17所述的方法，还包括：

使用输入接口来接收一个或多个输入，其中，生成所述第二内容是基于所述一个或多个输入的。

26.根据权利要求17所述的方法，还包括：

接收关于从解耦状态到耦合状态的转换的指示，其中，所述装置在所述耦合状态中耦合到所述头戴式装置，其中，所述装置在所述解耦状态中与所述头戴式装置进行解耦，其中，向所述头戴式装置发送所述第二内容是响应于接收到所述指示而执行的。

27.根据权利要求17所述的方法，还包括：

接收关于响应于向所述头戴式装置发送所述第二内容而从耦合状态到解耦状态的转换的指示，其中，所述装置在所述耦合状态中耦合到所述头戴式装置，其中，所述装置在所述解耦状态中与所述头戴式装置进行解耦，其中，向所述头戴式装置发送所述第二内容是在接收到所述指示之前执行的。

28.根据权利要求17所述的方法，还包括：

接收内容切换输入；

响应于接收到所述内容切换输入，使得所述第二内容使用所述装置的所述第一显示器进行显示；以及

响应于接收到所述内容切换输入，将所述第一内容从所述装置发送到所述头戴式装置以由所述头戴式装置的所述第二显示器进行显示。

29.根据权利要求17所述的方法，其中，所述第一内容表示与所述软件应用程序的软件应用程序类型相关联的第一媒体元素的第一视图，其中，所述第二内容表示与所述软件应用程序的所述软件应用程序类型相关联的所述第一媒体元素或第二媒体元素的第二视图，其中，所述软件应用程序类型包括以下各项中的至少一项：视频游戏、媒体查看器、图示工具、媒体编辑器、浏览器、交互式环境、或通信平台。

30.根据权利要求17所述的方法，其中，所述方法由所述装置执行，其中，所述装置包括被配置为显示所述第一内容的所述第一显示器。