CN111602104B - 用于与所识别的对象相关联地呈现合成现实内容的方法和设备 - Google Patents

Abstract

本发明涉及一种方法，在一个具体实施中，所述方法包括：从图像传感器获取图像数据；识别所述图像数据内的对象的一部分；获取与所述对象的所述部分相关联的合成现实(SR)内容，诸如混合现实、增强现实、增强虚拟或虚拟现实内容；以及与所述对象的所述部分相关联地显示所述SR内容。在一些具体实施中，所述SR内容取决于电子设备或用户相对于所述对象的取向。在一些具体实施中，基于与所述对象相关联的传感器数据来生成所述SR内容。

Description

用于与所识别的对象相关联地呈现合成现实内容的方法和 设备

技术领域

本公开整体涉及合成现实(SR)内容消费，并且具体地涉及用于与所识别的对象相关联地呈现SR内容的系统、方法和设备。

背景技术

虚拟现实(VR)和增强现实(AR)由于其改变用户对世界的感知的非凡能力而变得越来越流行。例如，VR和AR用于学习目的、游戏目的、内容创建目的、社交媒体和交互目的等。这些技术在用户对他/她的存在的感知上有所不同。VR将用户转置到虚拟空间中，使得他/她的VR感知不同于他/她的真实世界感知。相比之下，AR呈现用户的真实世界感知并向其添加一些东西。

由于例如硬件部件的小型化、硬件性能的提升以及软件效率的提高，这些技术变得越来越普遍。作为一个示例，用户可在手持式显示器(例如，具有视频透传的支持AR的移动电话或平板电脑)上体验叠加在用户环境的实时视频馈送上的AR内容。又如，用户可通过佩戴头戴式设备(HMD)或头戴式壳体(例如，具有光学透视的眼镜)来体验AR内容，该头戴式设备或头戴式壳体仍然允许用户看到他/她的周围环境。再如，用户可通过使用包围用户的视场并连接到计算机的HMD来体验VR内容。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1A是根据一些具体实施的示例性操作架构的框图。

图1B是根据一些具体实施的另一个示例性操作架构的框图。

图2是根据一些具体实施的示例性控制器的框图。

图3是根据一些具体实施的示例性头戴式设备(HMD)的框图。

图4是根据一些具体实施的示例性任选显示设备的框图。

图5A至图5B示出了根据一些具体实施的示例性合成现实(SR)呈现情境。

图6A至图6B示出了根据一些具体实施的示例性SR呈现情境。

图7示出了根据一些具体实施的示例性SR呈现情境。

图8是根据一些具体实施的与所识别的对象相关联地呈现SR内容的方法的流程图表示。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

发明内容

本文所公开的各种具体实施包括用于与所识别的对象相关联地呈现合成现实(SR)内容的设备、系统和方法。根据一些具体实施，所述方法在包括非暂态存储器和与所述非暂态存储器耦接的一个或多个处理器的设备处执行。所述方法包括：从图像传感器获取图像数据；识别所述图像数据内的对象的一部分；获取与所述对象的所述部分相关联的SR内容；以及与所述对象的所述部分相关联地显示所述SR内容。

根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

物理环境是指无需电子系统帮助个体就能够感知和/或个体能够交互的世界。物理环境(例如，物理森林)包括物理元素(例如，物理树、物理结构和物理动物)。个体可直接与物理环境相互作用和/或感知物理环境，诸如通过触摸、视觉、嗅觉、听觉和味觉。

相比之下，合成现实(SR)环境是指经由电子系统个体能够感知和/或个体能够与之交互的完全或部分由计算机创建的环境。在SR中，监测个体移动的子集，并且响应于此，以符合一个或多个物理定律的方式使SR环境中的一个或多个虚拟对象的一个或多个属性变化。例如，SR系统可检测到个体向前走几步，并且响应于此，以类似于此类情景和声音在物理环境中会如何变化的方式来调节呈现给个体的图形和音频。也可响应于移动的表示(例如，音频指令)而进行对SR环境中一个或多个虚拟对象的一个或多个属性的修改。

个体可使用他的任何感觉(包括触觉、嗅觉、视觉、味觉和声音)与SR对象进行交互和/或感知SR对象。例如，个体可与创建多维(例如，三维)或空间听觉环境和/或实现听觉透明性的听觉对象进行交互和/或感知听觉对象。多维或空间听觉环境为个体提供了在多维空间中对离散听觉源的感知。在具有或不具有计算机创建的音频的情况下，听觉透明性选择性地结合来自物理环境的声音。在一些SR环境中，个体可仅与听觉对象进行交互和/或仅感知听觉对象。

SR的一个示例是虚拟现实(VR)。VR环境是指被设计为仅包括针对至少一种感觉的计算机创建的感官输入的模拟环境。VR环境包括个体可与之交互和/或对其进行感知的多个虚拟对象。个体可通过在计算机创建的环境内模拟个体动作的子集和/或通过对个体或其在计算机创建的环境内的存在的模拟，来与VR环境中的虚拟对象进行交互和/或感知VR环境中的虚拟对象。

SR的另一个示例是混合现实(MR)。MR环境是指被设计为将计算机创建的感官输入(例如，虚拟对象)与来自物理环境的感官输入或其表示集成的模拟环境。在现实谱系上，混合现实环境介于一端的VR环境和另一端的完全物理环境之间并且不包括这些环境。

在一些MR环境中，计算机创建的感官输入可以适应于来自物理环境的感官输入的变化。另外，用于呈现MR环境的一些电子系统可以监测相对于物理环境的取向和/或位置，以使虚拟对象能够与真实对象(即来自物理环境的物理元素或其表示)交互。例如，系统可监测运动，使得虚拟植物相对于物理建筑物看起来是静止的。

混合现实的一个示例是增强现实(AR)。AR环境是指至少一个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，电子系统可具有不透明显示器和至少一个成像传感器，成像传感器用于捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上显示该组合。个体使用系统经由物理环境的图像或视频间接地查看物理环境，并且观察叠加在物理环境之上的虚拟对象。当系统使用一个或多个图像传感器捕获物理环境的图像，并且使用那些图像在不透明显示器上呈现AR环境时，所显示的图像被称为视频透传。另选地，用于显示AR环境的电子系统可具有透明或半透明显示器，个体可通过该显示器直接查看物理环境。该系统可在透明或半透明显示器上显示虚拟对象，使得个体使用该系统观察叠加在物理环境之上的虚拟对象。又如，系统可包括将虚拟对象投影到物理环境中的投影系统。虚拟对象可例如在物理表面上或作为全息图被投影，使得个体使用该系统观察叠加在物理环境之上的虚拟对象。

增强现实环境也可指其中物理环境的表示被计算机创建的感官信息改变的模拟环境。例如，物理环境的表示的一部分可被以图形方式改变(例如，放大)，使得所改变的部分仍可代表一个或多个初始捕获的图像但不是忠实再现的版本。又如，在提供视频透传时，系统可改变传感器图像中的至少一者以施加不同于一个或多个图像传感器捕获的视点的特定视点。再如，物理环境的表示可通过以图形方式将其部分进行模糊处理或消除其部分而被改变。

混合现实的另一个示例是增强虚拟(AV)。AV环境是指计算机创建环境或虚拟环境并入来自物理环境的至少一个感官输入的模拟环境。来自物理环境的一个或多个感官输入可为物理环境的至少一个特征的表示。例如，虚拟对象可呈现由一个或多个成像传感器捕获的物理元素的颜色。又如，虚拟对象可呈现出与物理环境中的实际天气条件相一致的特征，如经由天气相关的成像传感器和/或在线天气数据所识别的。在另一个示例中，增强现实森林可具有虚拟树木和结构，但动物可具有从对物理动物拍摄的图像精确再现的特征。

许多电子系统使得个体能够与各种SR环境进行交互和/或感知各种SR环境。一个示例包括头戴式系统。头戴式系统可具有不透明显示器和一个或多个扬声器。另选地，头戴式系统可以被设计为接收外部显示器(例如，智能电话)。头戴式系统可具有分别用于拍摄物理环境的图像/视频和/或捕获物理环境的音频的一个或多个成像传感器和/或麦克风。头戴式系统也可具有透明或半透明显示器。透明或半透明显示器可结合基板，表示图像的光通过该基板被引导到个体的眼睛。显示器可结合LED、OLED、数字光投影仪、激光扫描光源、硅上液晶，或这些技术的任意组合。透射光的基板可以是光波导、光组合器、光反射器、全息基板或这些基板的任意组合。在一个实施方案中，透明或半透明显示器可在不透明状态与透明或半透明状态之间选择性地转换。又如，电子系统可以是基于投影的系统。基于投影的系统可使用视网膜投影将图像投影到个体的视网膜上。另选地，投影系统还可将虚拟对象投影到物理环境中(例如，投影到物理表面上或作为全息图)。SR系统的其他示例包括平视显示器、能够显示图形的汽车挡风玻璃、能够显示图形的窗口、能够显示图形的镜片、耳机或耳塞、扬声器布置、输入机构(例如，具有或不具有触觉反馈的控制器)、平板电脑、智能电话，以及台式计算机或膝上型计算机。

如今，用户能够将合成现实(SR)内容拖放到用户界面上，使得该SR内容覆盖在他/她的物理环境上。然而，SR内容通常由用户从现有SR内容的库中选择。相比之下，用户可能希望查看上下文有关的SR内容(例如，基于在物理环境中识别的对象)。因此，所公开的具体实施检测物理环境内的对象并在该对象上或周围呈现SR，其中该SR内容与该对象相关联。

为此，SR内容可被叠加在对象上，以便提供对该对象的剖面或“x射线”视图。在一些具体实施中，从与对象相关联的SR内容的库(例如，该对象的剖面或分解图、与该对象相关联的视频内容等)获取SR内容。因此，例如，用户能够看到叠加在对象上的与该对象相关联的SR内容。在一些具体实施中，基于与对象相关联的传感器数据(例如，与该对象集成或嵌入该对象内的传感器，诸如汽车传感器)和/或环境传感器(例如，穿透建筑物的电磁波或击中树木或建筑物的狂风)来生成SR内容。因此，例如，用户能够看到与该对象或该对象周围的环境相关联的实时SR内容。在一些具体实施中，基于用户或设备相对于对象的取向/位置(例如，设备或相机方位)来选择SR内容。因此，例如，当从俯视图而不是透视图查看该对象时，用户可看到与该对象相关联的不同的SR内容。

图1A是根据一些具体实施的示例性操作架构100A的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作架构100A包括电子设备120和任选显示设备130。

在一些具体实施中，电子设备120被配置为向用户呈现SR体验。在一些具体实施中，电子设备120包括软件、固件和/或硬件的合适组合。下文参考图3更详细地描述电子设备120。根据一些具体实施，当用户物理地存在于物理环境105内时，电子设备120向该用户呈现合成现实(SR)体验，该物理环境包括电子设备120的视场111内的桌子155上的对象160(例如，物理模型、玩具或其他体积物品)。因此，在一些具体实施中，用户将电子设备120拿在他/她的手中。在一些具体实施中，在呈现增强现实(AR)体验时，电子设备120被配置为呈现AR内容(例如，AR圆柱体109)并实现在显示器122上对物理环境105(例如，包括对象160和桌子155)的视频透传。

在一些具体实施中，显示设备130被配置为向用户呈现媒体内容(例如，视频和/或音频内容)。在一些具体实施中，显示设备130对应于电视或计算设备，诸如台式计算机、自助服务机、膝上型计算机、平板电脑、移动电话、可穿戴计算设备等。在一些具体实施中，显示设备130包括软件、固件和/或硬件的合适组合。下文相对于图4更详细地描述显示设备130。

图1B是根据一些具体实施的示例性操作架构100B的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作架构100B包括控制器110、电子设备120和任选显示设备130。

在一些具体实施中，控制器110被配置为管理和协调用户的SR体验。在一些具体实施中，控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些具体实施中，控制器110是相对于物理环境105处于本地或远程位置的计算设备。例如，控制器110是位于物理环境105内的本地服务器。在另一个示例中，控制器110是位于物理环境105之外的远程服务器(例如，云服务器、中央服务器等)。

在一些具体实施中，控制器110经由一个或多个有线或无线通信信道144(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)与电子设备120通信地耦接。在一些具体实施中，控制器110经由一个或多个有线或无线通信信道142(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)与显示设备130通信耦接。在一些具体实施中，电子设备120经由一个或多个有线或无线通信信道146(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE802.3x等)与显示设备130通信地耦接。

在一些具体实施中，电子设备120被配置为向用户150呈现SR体验。在一些具体实施中，电子设备120包括软件、固件和/或硬件的合适组合。下文参考图3更详细地描述电子设备120。在一些具体实施中，控制器110和/或显示设备130的功能由电子设备120提供和/或与该电子设备结合。

根据一些具体实施，当用户150虚拟地和/或物理地存在于物理环境105内时，电子设备120向该用户150呈现合成现实(SR)体验，该物理环境包括桌子155上的对象160(例如，物理模型、玩具或其他体积物品)。在一些具体实施中，在呈现增强现实(AR)体验时，电子设备120被配置为呈现AR内容并实现物理环境105的光学透视。在一些具体实施中，在呈现虚拟现实(VR)体验时，电子设备120被配置为呈现VR内容并实现物理环境105的视频透传。

在一些具体实施中，用户150在他/她的头部上穿戴电子设备120，诸如头戴式设备(HMD)。因此，电子设备120包括被提供用于显示SR内容的一个或多个显示器。例如，电子设备120包围用户150的视场。又如，电子设备120滑动到头戴式壳体中或以其他方式附接到该头戴式壳体。在一些具体实施中，将电子设备120替换成被配置为呈现SR内容的SR室、壳体或房间，在其中用户150不佩戴电子设备120。

在一些具体实施中，显示设备130被配置为向用户150呈现媒体内容(例如，视频和/或音频内容)。在一些具体实施中，显示设备130对应于电视或计算设备，诸如台式计算机、自助服务机、膝上型计算机、平板电脑、移动电话、可穿戴计算设备等。在一些具体实施中，显示设备130包括软件、固件和/或硬件的合适组合。下文相对于图4更详细地描述显示设备130。

图2是根据一些具体实施的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。

在一些具体实施中，所述一条或多条通信总线204包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。

存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些具体实施中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些具体实施中，存储器220或存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或它们的子集，其中包括任选的操作系统230和合成现实(SR)体验引擎240。

操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，SR体验引擎240被配置为管理和协调一个或多个用户的单重或多重SR体验(例如，一个或多个用户的单重SR体验，或一个或多个用户的相应群组的多重SR体验)。为此，在各种具体实施中，SR体验引擎240包括数据获取器242、对象识别器243、映射器和定位器引擎244、SR内容获取器246、SR内容管理器248以及数据传输器250。

在一些具体实施中，数据获取器242被配置为从物理环境105内的传感器、与控制器110相关联的传感器、电子设备120和显示设备130中的至少一者获取数据(例如，呈现数据、用户交互数据、传感器数据、位置数据等)。例如，数据获取器242从电子设备120获取传感器数据，该传感器数据包括来自电子设备120的面向外部的图像传感器的图像数据，其中该图像数据对应于捕获物理环境105的图像或视频流。为此，在各种具体实施中，数据获取器242包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，对象识别器243被配置为基于来自电子设备120或物理环境105内的其他图像传感器的图像数据来识别物理环境105内的对象。为此，在各种具体实施中，对象识别器243包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，映射器和定位器引擎244被配置为映射物理环境105并跟踪电子设备120或用户150相对于物理环境105的位置/定位。在一些具体实施中，映射器和定位器引擎244还被配置为确定电子设备120或用户150相对于物理环境内的一个或多个参考点(例如，对象160)(例如，对象160的质心或对象160上的另一个点)的取向(例如，设备或相机方位)。根据一些具体实施，映射器和定位器引擎244基于2017年9月11日提交的美国临时专利申请62/556,849(代理人案卷号：173PR)中描述的技术来确定电子设备120相对于对象的取向，该临时专利申请全文并入本文。为此，在各种具体实施中，映射器和定位器引擎244包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

在一些具体实施中，SR内容获取器246被配置为获取(例如，接收、检索或生成)与在物理环境105内识别的对象相关联的SR内容。为此，在各种具体实施中，SR内容获取器246包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，SR内容管理器248被配置为当用户或电子设备120相对于所识别的对象160的取向发生变化时，管理和协调SR与物理环境105内所识别的对象的相关联呈现。为此，在各种具体实施中，SR内容管理器248包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，数据传输器250被配置为将数据(例如，呈现数据、位置数据等)传输到电子设备120和显示设备130中的至少一者。为此，在各种具体实施中，数据传输器250包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。

尽管数据获取器242、对象识别器243、映射器和定位器引擎244、SR内容获取器246、SR内容管理器248和数据传输器250被示出为驻留在单个设备(例如，控制器110)上，但应当理解，在其他具体实施中，数据获取器242、对象识别器243、映射器和定位器引擎244、SR内容获取器246、SR内容管理器248和数据传输器250的任何组合可位于单独的计算设备中。

此外，图2更多地用作存在于特定实施方案中的各种特征的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据实施方案而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图3是根据一些具体实施的电子设备120(例如，HMD、移动电话或平板电脑)的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，电子设备120包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理内核等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如，USB、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、蓝牙、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个显示器312、一个或多个任选的面向内部和/或面向外部的图像传感器314、一个或多个任选的深度传感器316、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。

在一些具体实施中，一条或多条通信总线304包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备和传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎、加热和/或冷却单元、皮肤剪切引擎等中的至少一者。

在一些具体实施中，一个或多个显示器312被配置为向用户呈现SR体验。在一些具体实施中，一个或多个显示器312还被配置为向用户呈现平面视频内容(例如，与电视剧或电影相关联的二维或“平面”AVI、FLV、WMV、MOV、MP4等文件，或物理环境105的实视频透传)。在一些具体实施中，一个或多个显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或相似显示器类型。在一些具体实施中，一个或多个显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，电子设备120包括单个显示器。又如，电子设备120包括针对用户的每只眼睛的显示器。在一些具体实施中，一个或多个显示器312能够呈现AR和VR内容。在一些具体实施中，一个或多个显示器312能够呈现AR或VR内容。

在一些具体实施中，一个或多个图像传感器314被配置为获取与用户面部的包括用户眼睛的至少一部分对应的图像数据。例如，一个或多个任选的图像传感器314对应于一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、红外(IR)图像传感器、基于事件的相机等。

在一些具体实施中，一个或多个任选的深度传感器316被配置为获取与用户面部的至少一部分对应的深度数据，并且合成该用户面部的深度图/网格图，其中该网格图表征该用户的面部形貌。例如，一个或多个任选的深度传感器316对应于结构光设备、飞行时间设备等。

存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些具体实施中，存储器320或存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或它们的子集，其中包括任选的操作系统330和SR呈现引擎340。

操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，SR呈现引擎340被配置为经由一个或多个显示器312向用户呈现SR内容。为此，在各种具体实施中，SR呈现引擎340包括任选的对象识别器341、数据获取器342、任选的取向确定器343、SR呈现器344、用户交互处理程序346和数据传输器350。

在一些具体实施中，任选的对象识别器341被配置为基于来自一个或多个图像传感器314(例如，面向外部的图像传感器)的图像数据来识别物理环境105内的对象。为此，在各种具体实施中，对象识别器341包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，数据获取器342被配置为从物理环境105内的传感器、与电子设备120相关联的传感器、控制器110和显示设备130中的至少一者获取数据(例如，呈现数据、用户交互数据、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取器342包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，任选的取向确定器343被配置为确定电子设备120或用户150相对于物理环境内的一个或多个参考点(例如，对象)(例如，对象160的质心或对象160上的另一个点)的取向。例如，在一些具体实施中，取向确定器343基于2017年9月11日提交的美国临时专利申请62/556,849(代理人案卷号：173PR)中描述的技术来确定电子设备120相对于对象的取向，该临时专利申请全文并入本文。为此，在各种具体实施中，取向确定器343包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，SR呈现器344被配置为经由一个或多个显示器312呈现SR内容。在一些具体实施中，SR呈现器344还被配置为经由一个或多个显示器312平面视频内容。为此，在各种具体实施中，SR呈现器344包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，用户交互处理程序346被配置为检测和解释用户与所呈现的SR内容的交互。为此，在各种具体实施中，用户交互处理程序346包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，数据传输器350被配置为向控制器110和显示设备130中的至少一者传输数据(例如，呈现数据、位置数据、用户交互数据等)。为此，在各种具体实施中，数据传输器350包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。

尽管任选的对象识别器341、数据获取器342、任选的取向确定器343、SR呈现器344、用户交互处理程序346和数据传输器350被示出为驻留在单个设备(例如，电子设备120)上，但应当理解，在其他具体实施中，任选的对象识别器341、数据获取器342、任选的取向确定器343、SR呈现器344、用户交互处理程序346和数据传输器350的任何组合可位于单独的计算设备中。

此外，图3更多地用作存在于特定实施方案中的各种特征的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据实施方案而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图4是根据一些具体实施的任选的显示设备130(例如，物理环境105中的电视(TV)或其他显示器)的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，显示设备130包括一个或多个处理单元402(例如，微处理器、ASIC、FPGA、GPU、CPU、处理内核等)、一个或多个输入/输出(I/O)设备及传感器406、一个或多个通信接口408(例如，USB、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、蓝牙、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口410、显示器412、存储器420以及用于互连这些部件和各种其他部件的一条或多条通信总线404。在一些具体实施中，显示设备130任选地由远程控制设备、语音命令、电子设备120等控制。

在一些具体实施中，一条或多条通信总线404包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备和传感器406包括一个或多个IR传感器、一个或多个物理按钮、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个深度传感器等中的至少一者。

在一些具体实施中，显示器412对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或类似显示器类型。

存储器420包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器420包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器420任选地包括远离一个或多个处理单元402定位的一个或多个存储设备。存储器420包括非暂态计算机可读存储介质。在一些具体实施中，存储器420或存储器420的非暂态计算机可读存储介质存储下述程序、模块和数据结构或它们的子集，其中包括任选的操作系统430和呈现引擎440。

操作系统430包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，呈现引擎440被配置为经由显示器412和一个或多个I/O设备和传感器406(例如，一个或多个扬声器)向用户呈现媒体内容(例如，视频和/或音频内容)。为此，在各种具体实施中，呈现引擎440包括数据获取器442、内容呈现器444、交互处理程序446和数据传输器450。

在一些具体实施中，数据获取器442被配置为从物理环境105内的传感器、与显示设备130相关联的传感器、控制器110和电子设备120中的至少一者获取数据(例如，呈现数据、用户交互数据等)。为此，在各种具体实施中，数据获取器442包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，内容呈现器444被配置为经由显示器412呈现和显示视频内容。为此，在各种具体实施中，内容呈现器444包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，交互处理程序446被配置为检测和解释用户与显示设备130的交互(例如，导航、回放、调谐、音量调节等命令)。为此，在各种具体实施中，交互处理程序446包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。

在一些具体实施中，数据传输器450被配置为将数据(例如，呈现数据、用户交互数据等)传输到控制器110和电子设备120中的至少一者。为此，在各种具体实施中，数据传输器450包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。

尽管数据获取器442、内容呈现器444、交互处理程序446和数据传输器450被示出为驻留在单个设备(例如，显示设备130)上，但应当理解，在其他具体实施中，数据获取器442、内容呈现器444、交互处理程序446和数据传输器450的任何组合可位于单独的计算设备中。

此外，图4更多地用作存在于特定实施方案中的各种特征的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图4中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据实施方案而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图5A至图5B示出了根据一些具体实施的示例性SR呈现情境500和550。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。

图5A示出了示例性SR呈现情境500。如图5A所示，物理环境505包括位于桌子514上的模型潜水艇512。在该示例中，物理环境505的一部分在电子设备120的视场520内，其中视场520与电子设备120(例如，平板电脑或移动电话)的面向外部的图像传感器相关联。换句话讲，用户正通过电子设备120从侧视或透视取向查看模型潜水艇412。因此，物理环境505的该部分(包括位于桌子514上的模型潜水艇512)显示在电子设备120的显示器510上(例如，物理环境505的实时视频流或视频透传)。如图5A所示，电子设备120根据电子设备120相对于模型潜水艇512的侧视或透视取向/视图来将AR内容525叠加在模型潜水艇512上。例如，AR内容525对应于模型潜水艇512的AR剖面图，该AR剖面图示出了与模型潜水艇512相关联的潜水艇类型(例如，俄罗斯台风级)的各个甲板。

图5B示出了示例性SR呈现情境550。如图5B所示，物理环境505包括位于桌子514上的模型潜水艇512。在该示例中，物理环境505的一部分在电子设备120的视场520内(由于俯视视角而未示出)，其中视场520与电子设备120(例如，平板电脑或移动电话)的面向外部的图像传感器相关联。换句话讲，用户正通过电子设备120从俯视取向查看模型潜水艇412。因此，物理环境505的该部分(包括位于桌子514上的模型潜水艇512)显示在电子设备120的显示器510上(例如，物理环境505的实时视频流或视频透传)。如图5B所示，电子设备120根据电子设备120相对于模型潜水艇512的俯视取向/视图来将AR内容575叠加在模型潜水艇512上。例如，AR内容575对应于模型潜水艇512的AR剖面图，该AR剖面图示出了与模型潜水艇512相关联的垂直导弹发射管。

根据一些具体实施，如图5A至图5B所示，AR内容基于电子设备120相对于对象的取向而变化。在图5A中，电子设备120基于电子设备120相对于模型潜水艇512的侧视或透视取向来将AR内容525叠加在模型潜水艇512上。相比之下，在图5B中，电子设备120基于电子设备120相对于模型潜水艇512的俯视取向来将AR内容575叠加在模型潜水艇512上。在一些具体实施中，AR内容525和AR内容575对应于来自不同视角的相同的AR内容。在一些具体实施中，AR内容525和AR内容575基于电子设备120的视角对应于不同的AR内容。

图6A至图6B示出了根据一些具体实施的示例性SR呈现情境600和650。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。

图6A示出了示例性SR呈现情境600。如图6A所示，物理环境605包埃菲尔铁塔612。在该示例中，物理环境605的一部分在电子设备120的视场620内，其中视场620与电子设备120(例如，平板电脑或移动电话)的面向外部的图像传感器相关联。换句话讲，用户正通过电子设备120从侧视或透视取向查看埃菲尔铁塔612的一部分(例如，第一平台下方的埃菲尔铁塔612的下部)。因此，物理环境605的该部分(包括埃菲尔铁塔612的下部)显示在电子设备120的显示器610上(例如，物理环境605的实时视频流或视频透传)。

根据一些具体实施，用户能够看到叠加在对象上的AR内容，该AR内容基于与该对象相关联的传感器数据和/或靠近该对象的环境传感器来生成。如图6A所示，电子设备120显示AR内容625a、625b和625c。例如，叠加在埃菲尔铁塔612上的AR内容625a基于来自埃菲尔铁塔612的传感器数据对应于从地面朝第一平台移动的第一升降机。例如，AR内容625b基于来自与电子设备120相关联的传感器、与埃菲尔铁塔612相关联的传感器或物理环境605内的传感器的传感器数据来对应于埃菲尔铁塔612下方的人群或环境统计数据(例如，风速、温度、湿度等)。例如，叠加在埃菲尔铁塔612上的AR内容625c基于来自埃菲尔铁塔612的传感器数据对应于从第一平台朝地面移动的第二升降机。

图6B示出了示例性SR呈现情境650。如图6B所示，物理环境655包括汽车662。在该示例中，物理环境655的一部分在电子设备120的视场620内，其中视场620与电子设备120(例如，平板电脑或移动电话)的面向外部的图像传感器相关联。换句话讲，用户正通过电子设备120从前取向查看汽车662的一部分(例如，汽车662的发动机室部分)。因此，物理环境655的该部分(包括汽车662的发动机室部分)显示在电子设备120的显示器610上(例如，物理环境655的实时视频流或视频透传)。

根据一些具体实施，用户能够看到叠加在对象上的AR内容，该AR内容基于来自该对象的传感器数据来生成。如图6B所示，电子设备120显示叠加在汽车662的发动机室部分上的AR内容675a和675b。例如，叠加在汽车662的发动机室部分上的AR内容675a基于来自汽车662的传感器数据对应于汽车662的工作传输量的图示。例如，叠加在汽车662的发动机室部分上的AR内容675b基于来自汽车662的传感器数据对应于汽车662的工作发动机的图示。

图7示出了根据一些具体实施的示例性SR呈现情境700。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。

根据一些具体实施，用户能够在查看显示设备上的电影和该电影的叠加在相关物理对象或模型场景上的SR重建之间无缝切换。如图7所示，物理环境105包括显示设备130、用户150和位于桌子155上的模型潜水艇160。在状态710(例如，时间T)下，用户150正在显示设备130上观看视频内容705(例如，与潜水艇船员相关联的电视(TV)节目或电影)。在状态720(例如，时间T+1)下，用户150正在他/她的头部上穿戴电子设备120(例如，HMD)，并且查看视频内容705的正在模型潜水艇160上和/或周围呈现的SR重建715。因此，在状态720下，用户150能够看到他/她的视场105内的物理环境的视频透传，并且还正被呈现视频内容705的叠加在模型潜水艇612上和/或周围的SR重建715。

图8是根据一些具体实施的与所识别的对象相关联地呈现SR内容的方法800的流程图表示。在各种具体实施中，方法800由具有非暂态存储器和与该非暂态存储器耦接的一个或多个处理器的设备(例如，图1B和图2中的控制器110、图1A至图1B和图3中的电子设备120或它们的合适组合)执行。在一些具体实施中，方法800由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法800由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。简而言之，在一些情况下，方法800包括：从图像传感器获取图像数据；识别所述图像数据内的对象的一部分；获取与所述对象的所述部分相关联的SR内容；以及与所述对象的所述部分相关联地显示所述SR内容。

如框8-1所示，方法800包括从图像传感器获取图像数据。在一些具体实施中，电子设备120或其部件(例如，数据获取器442)从一个或多个面向外部的图像传感器314获取图像数据，其中该图像数据对应于捕获物理环境105的图像或视频流。在一些具体实施中，控制器110或其部件(例如，数据获取器242)从电子设备120获取图像数据，该图像数据包括来自电子设备120的一个或多个面向外部的图像传感器314的图像数据，其中该图像数据对应于捕获物理环境105的图像或视频流。例如，该图像数据对应于来自电子设备120上的面向外部的相机(例如，HMD、平板电脑、移动电话等)、物理环境105内的相机等的图像或视频馈送。参考图5A，例如，图像数据对应于与电子设备120的面向外部的图像传感器的视场520相关联的物理环境505的一部分的实时视频馈送。在该示例中，电子设备120的显示器510示出图像数据，该图像数据包括物理环境505的包括位于桌子514上的潜水艇模型512的一部分的图像数据。

如框8-2所示，方法800包括识别图像数据内的对象的一部分。在一些具体实施中，控制器110或其部件(例如，对象识别器243)识别图像数据内的一个或多个对象(例如，图1A至图1B中的物理环境105内的对象160)。在一些具体实施中，电子设备120或其部件(例如，任选的对象识别器341)识别图像数据内的一个或多个对象(例如，图1A至图1B中的物理环境105内的对象160)。例如，控制器110或电子设备120使用对象/形状分类器对图像数据执行对象检测和识别，以便识别一个或多个对象。在一些具体实施中，替代或结合图像数据，控制器110或电子设备120基于深度数据来识别一个或多个对象。参考图5A，例如，控制器110或电子设备120识别物理环境505内的潜水艇模型512，并且任选地还识别与该潜水艇模型512相关联的潜水艇类型。

在一些具体实施中，该对象对应于现实生活中的对象诸如建筑物、景观、校园、车辆等的成比例模型或表示。例如，在图5A至图5B中，所识别的对象对应于模型潜水艇512。在一些具体实施中，该对象对应于现实生活中的对象，诸如建筑物、车辆、球、玩具、家具等。例如，在图6A中，所识别的对象对应于埃菲尔铁塔612。

如框8-3所示，方法800包括获取(例如，接收、检索或生成)与该对象的该部分相关联的SR内容。在一些具体实施中，控制器110或其部件(例如，SR内容获取器246)获取与在图像数据内识别的一个或多个对象相关联的SR内容。

在一些具体实施中，如框8-3a所示，方法800包括从与对象相关联的SR内容的库接收或检索SR内容。在一些具体实施中，控制器110或其部件(例如，SR内容获取器246)从本地库或远程库(例如，远程服务器、第三方内容提供商等)获取与在图像数据内识别的一个或多个对象相关联的SR内容。在一些具体实施中，在图像数据内识别的对象中的每个对象与SR内容的一个或多个实例(例如，教育信息、其横截面、相关联的视频内容等)相关联。参考图5A至图5B，例如，电子设备120将AR内容525和575叠加在模型潜水艇512上以示出该潜水艇类型的剖面图。

在一些具体实施中，在图像数据内识别的对象中的每个对象与针对这些对象的相应部分的SR内容的一个或多个实例相关联(例如，对象的顶部部分与第一SR内容相关联，并且对象的底部部分与第二SR内容相关联)。在一些具体实施中，控制器110或其部件(例如，SR内容管理器248)基于对象在图像数据内的一部分来从与在该图像数据内识别的相应对象相关联的SR内容的各种实例中进行选择。例如，如果在图像数据内检测到船的弓形部分，则电子设备呈现与该弓形相关联的SR内容。继续该示例，然而如果在图像数据内检测到船的船尾部分，则电子设备呈现与该船尾相关联的SR内容。

在一些具体实施中，如框8-3b所示，方法800包括基于传感器数据来生成SR内容。在一些具体实施中，控制器110或其部件(例如，SR内容获取器246)基于环境传感器数据或与一个或多个对象相关联的传感器数据来生成与在图像数据内识别的所述一个或多个对象相关联的SR内容。在一些具体实施中，根据与对象相关联的传感器(例如，汽车发动机内的传感器，这继而导致AR内容提供汽车发动机的实时模拟)来生成SR内容。在一些具体实施中，根据对象附近的环境传感器(例如，温度计、风力计、雨量计、湿度传感器、光传感器、电磁波传感器等)来生成SR内容。根据一些具体实施，用户能够看到叠加在对象上的AR内容，该AR内容基于来自该对象和/或靠近该对象的环境传感器的传感器数据来生成。

参考图6A，例如，电子设备120基于来自埃菲尔铁塔612的传感器数据将对应于在埃菲尔铁塔内移动的升降机的AR内容625a和625c叠加在埃菲尔铁塔612上。参考图6A，例如，电子设备120还基于来自本地传感器或物理环境605内的传感器的传感器数据来显示对应于埃菲尔铁塔612下方的人群或环境统计数据(例如，风速、温度、湿度等)的AR内容625b。参考图6B，例如，电子设备120基于来自汽车622的传感器数据将对应于汽车662的工作传输量和工作发动机的图示的AR内容675a和675b叠加在汽车662上。

在一些具体实施中，如框8-3c所示，方法800包括基于视频内容来生成SR内容。在一些具体实施中，控制器110或其部件(例如，SR内容获取器246)基于视频内容来生成SR内容。参考图5A至图5B，例如，电子设备120将AR内容525和575叠加在模型潜水艇512上以示出该模型潜水艇512的剖面图，其中AR内容525和575基于与潜水艇类型相关联的视频内容，该潜水艇类型与该模型潜水艇512相关联。参考图7，例如，在状态710下(例如，在时间T)，用户150正在显示设备130上观看视频内容705(例如，与潜水艇船员相关联的电视剧或电影)。继续参考图7，在状态720(例如，在时间T+1)下，用户150正在他/她的头部上穿戴电子设备120(例如，HMD)，并且查看视频内容705的正在模型潜水艇160上和/或周围呈现的SR重建715。

作为一个示例，显示设备(例如，TV或平板电脑)向用户呈现与宇宙飞船船员相关联的电影，同时宇宙飞船的物理模型位于该用户的咖啡桌上并且该用户正穿戴着具有光学透视的支持AR的HMD。继续该示例，响应于来自用户的命令，停止在显示设备上播放电影，并且支持AR的HMD呈现该电影的呈现在该宇宙飞船的物理模型上和/或周围的SR重建。因此，该用户能够在查看显示设备上的电影和该电影的叠加在相关物理对象或模型场景上或周围的SR重建之间无缝切换。在一些具体实施中，从现有SR内容的库获取(例如，接收或检索)视频内容的SR重建。例如，在一些具体实施中，基于2018年1月22日提交的美国临时专利申请62/620,334(代理人案卷号：196PR)中描述的技术来生成视频内容的SR重建，该临时专利申请全文并入本文。

在一些具体实施中，如框8-3d所示，基于设备相对于对象的取向来选择SR内容。在一些具体实施中，控制器110或其部件(例如，映射器和定位器引擎244)确定电子设备120相对于物理环境中的一个或多个参考点(例如，对象160)(例如，对象160的质心或对象160上的另一个点)的取向。在一些具体实施中，电子设备120或其部件(例如，取向确定器343)确定电子设备120相对于物理环境中的一个或多个参考点(例如，对象)(例如，对象160的质心或对象160上的另一个点)的取向。例如，在一些具体实施中，基于2017年9月11日提交的美国临时专利申请62/556,849(代理人案卷号：173PR)中描述的技术来确定电子设备120相对于对象的取向，该临时专利申请全文并入本文。在一些具体实施中，控制器110或其部件(例如，SR内容管理器248)基于电子设备120相对于相应对象的取向来从与在图像数据内识别的该相应对象相关联的SR内容的各种实例中进行选择。

例如，如图5A至图5B所示，AR内容基于电子设备120相对于对象的取向而变化。在图5A中，电子设备120基于电子设备120相对于模型潜水艇512的侧视或透视取向来将AR内容525叠加在模型潜水艇512上。相比之下，在图5B中，电子设备120基于电子设备120相对于模型潜水艇512的俯视取向来将AR内容575叠加在模型潜水艇512上。

如框8-4所示，方法800包括与对象的一部分相关联地显示SR内容。在一些具体实施中，控制器110或其部件(例如，SR内容管理器248)协调电子设备120对SR内容的呈现。在一些具体实施中，控制器110或其部件(例如，数据传输器250)向电子设备120提供与SR内容相关联的呈现数据以供其呈现。在一些具体实施中，电子设备120或其部件(例如，SR呈现器344)经由一个或多个显示器312与对象相关联地呈现SR内容。

在一些具体实施中，SR内容覆盖或叠加在对象上。在一些具体实施中，SR内容显示在对象周围或附近。在一些具体实施中，一旦识别出对象，电子设备120便显示淡淡的示能表示或提示，该示能表示或提示继而被选择以发起对SR内容的呈现。在一些具体实施中，用户还能够从与所识别的对象相关联的SR内容的多个实例中进行选择。在一些具体实施中，SR内容是交互式的，其中用户能够与该SR内容进行交互。继而，基于用户交互(例如，放大/缩小、旋转、翻转、移动、分解、重装等动作)来更新该SR内容。在一些具体实施中，当用户与SR内容进行交互时，电子设备120提供音频、触觉、皮肤剪切、温度等反馈。

在一些具体实施中，如框8-4a所示，SR内容叠加在对象上。例如，SR内容覆盖或叠加在对象上，因此该SR内容可示出对象汽车的工作发动机、对象宇宙飞船的多个甲板、或对对象提出的修改/添加。在另一个示例中，SR内容被透明地显示以提供对对象的“x射线”视图。参考图5A至图5B，例如，电子设备120将AR内容525和575叠加在模型潜水艇512上以示出该潜水艇类型的剖面图。在另一个示例中，SR内容物示出了人体、食物容器、消费产品、家用电器、可收集的微型设备等(例如，所识别的对象)的“x射线”视图。在又一示例中，SR内容对应于古老对象(例如，古董家具、历史遗迹、古代遗址等)的原始或复原状态。

在一些具体实施中，如框8-4b所示，SR内容显示在对象周围或附近。例如，SR内容显示在对象周围或附近，诸如穿透建筑物的电磁波或击中树木或建筑物的狂风。参考图6A，例如，电子设备120呈现AR内容625b，该AR内容基于来自与电子设备120相关联的传感器、与埃菲尔铁塔612相关联的传感器或物理环境605内的传感器的传感器数据来对应于埃菲尔铁塔612下方的人群或环境统计数据(例如，风速、温度、湿度等)。

虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定实施方案并非旨在对权利要求进行限制。如在本实施方案的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims (19)

1.一种用于呈现合成现实SR对象的方法，所述方法包括：

在包括非暂态存储器和一个或多个处理器的计算系统处，其中所述计算系统通信地耦接到显示设备、一个或多个输入设备和图像传感器：

经由所述图像传感器获取与物理环境相关联的图像数据；

在与所述物理环境相关联的所述图像数据中识别物理对象；

确定与所述图像数据相关联的相对于所识别的所述物理对象的相机方位；

根据确定所述相机方位对应于来自第一取向的所述物理对象的第一视角：

获取对应于来自所述第一取向的所述物理对象的所述第一视角的第一合成现实SR对象；以及

使得经由所述显示设备与所述物理对象相关联地呈现第一SR对象；以及

根据确定所述相机方位对应于与不同于所述第一取向的第二取向相关联的所述物理对象的第二视角：

获取与所述物理对象相关联的第二SR对象，所述第二SR对象与来自所述第二取向的所述物理对象的所述第二视角相对应；以及

使得经由所述显示设备与所述物理对象相关联地呈现第二SR对象。

2.根据权利要求1所述的方法，其中所述第一SR对象和所述第二SR对象覆盖或叠加在所述物理对象的至少部分上。

3.根据权利要求1所述的方法，其中所述第一SR对象和所述第二SR对象显示在所述物理对象的至少部分周围或附近。

4.根据权利要求1至3中任一项所述的方法，其中从与所述物理对象相关联的现有SR内容的库获取所述第一SR对象和所述第二SR对象。

5.根据权利要求4所述的方法，其中基于相对于所述物理对象的所述相机方位来从与所述物理对象相关联的现有SR内容的所述库中选择所述第一SR对象和所述第二SR对象。

6.根据权利要求1至3中任一项所述的方法，其中基于与所述物理对象相关联的传感器数据来生成所述第一SR对象和所述第二SR对象。

7.根据权利要求1至3中任一项所述的方法，其中基于与所述物理对象相关联的视频内容来生成所述第一SR对象和所述第二SR对象。

8.根据权利要求1至3中任一项所述的方法，还包括：

响应于获取所述第一SR对象而使得经由所述显示设备呈现被提供用于发起对所述第一SR对象的显示的示能表示，其中响应于检测到对所述示能表示的选择而与所述物理对象相关联地显示所述第一SR对象。

9.根据权利要求1所述的方法，其中所述第一SR对象对应于来自所述第一取向的所述物理对象的第一剖面可视化，并且其中所述第二SR对象对应于来自所述第二取向的所述物理对象的第二剖面可视化。

10.根据权利要求9所述的方法，其中所述第一剖面可视化对应于来自所述第一取向的所述物理对象的至少第一部分的第一实时视频馈送，并且其中所述第二剖面可视化对应于来自所述第二取向的所述物理对象的至少第二部分的第二实时视频馈送。

11.根据权利要求9所述的方法，其中所述第一剖面可视化基于与来自所述第一取向的所述物理对象的至少第一部分相关联的第一实时传感器数据，并且其中所述第二剖面可视化基于与来自所述第二取向的所述物理对象的至少第二部分相关联的第二实时传感器数据。

12.根据权利要求1所述的方法，其中所述第一SR对象和所述第二SR对象对应于与所述物理对象相关联的横截面可视化、教育信息或视频内容中的一者。

13.根据权利要求1所述的方法，其中来自所述第一取向的所述物理对象的所述第一视角对应于所述物理对象的侧视图，并且其中来自第二取向的所述物理对象的所述第二视角对应于所述物理对象的俯视图。

14.一种计算系统，包括：

一个或多个处理器；

非暂态存储器；

接口，所述接口用于与显示设备、一个或多个输入设备和图像传感器通信；以及

一个或多个程序，所述一个或多个程序存储在所述非暂态存储器中，当由所述一个或多个处理器执行时，所述一个或多个程序使得所述计算系统：

经由所述图像传感器获取与物理环境相关联的图像数据；

在与所述物理环境相关联的所述图像数据中识别物理对象；

确定与所述图像数据相关联的相对于所识别的所述物理对象的相机方位；

根据确定所述相机方位对应于来自第一取向的所述物理对象的第一视角：

获取对应于来自所述第一取向的所述物理对象的所述第一视角的第一合成现实SR对象；以及

使得经由所述显示设备与所述物理对象相关联地呈现第一SR对象；以及

根据确定所述相机方位对应于与不同于所述第一取向的第二取向相关联的所述物理对象的第二视角：

获取与所述物理对象相关联的第二SR对象，所述第二SR对象与来自所述第二取向的所述物理对象的所述第二视角相对应；以及

使得经由所述显示设备与所述物理对象相关联地呈现第二SR对象。

15.根据权利要求14所述的计算系统，其中基于与所述物理对象相关联的传感器数据或与所述物理对象相关联的视频内容中的至少一者来生成所述第一SR对象和所述第二SR对象。

16.根据权利要求14至15中任一项所述的计算系统，其中所述一个或多个程序还使得所述计算系统：

响应于获取所述第一SR对象而使得经由所述显示设备呈现被提供用于发起对所述第一SR对象的显示的示能表示，其中响应于检测到对所述示能表示的选择而与所述物理对象相关联地显示所述第一SR对象。

17.一种存储一个或多个程序的非暂态存储器，当由具有用于与显示设备、一个或多个输入设备和图像传感器通信的接口的计算系统的一个或多个处理器执行时，所述一个或多个程序使得所述计算系统：

经由所述图像传感器获取与物理环境相关联的图像数据；

在与所述物理环境相关联的所述图像数据中识别物理对象；

确定与所述图像数据相关联的相对于所识别的所述物理对象的相机方位；

根据确定所述相机方位对应于来自第一取向的所述物理对象的第一视角：

获取对应于来自所述第一取向的所述物理对象的所述第一视角的第一合成现实SR对象；以及

使得经由所述显示设备与所述物理对象相关联地呈现第一SR对象；以及

根据确定所述相机方位对应于与不同于所述第一取向的第二取向相关联的所述物理对象的第二视角：

获取与所述物理对象相关联的第二SR对象，所述第二SR对象与来自所述第二取向的所述物理对象的所述第二视角相对应；以及

使得经由所述显示设备与所述物理对象相关联地呈现第二SR对象。

18.根据权利要求17所述的非暂态存储器，其中基于与所述物理对象相关联的传感器数据或与所述物理对象相关联的视频内容中的至少一者来生成所述第一SR对象和所述第二SR对象。

19.根据权利要求17至18中任一项所述的非暂态存储器，其中所述一个或多个程序还使得所述计算系统：

响应于获取所述第一SR对象而使得经由所述显示设备呈现被提供用于发起对所述第一SR对象的显示的示能表示，其中响应于检测到对所述示能表示的选择而与所述物理对象相关联地显示所述第一SR对象。