CN111602391A - 用于根据物理环境定制合成现实体验的方法和设备 - Google Patents

Abstract

在一个具体实施中，一种方法包括：获取表征用户周围的体积区域的对象和相对空间信息的位置数据；基于所述位置数据合成所述体积区域的网格映射；基于所述网格映射选择合成现实(SR)内容，其中所述SR内容满足相对于所述网格映射的一个或多个部分的维度方差阈值；将所述SR内容的至少一部分与所述网格映射合成以便生成合成SR内容；并且向所述用户呈现所述合成SR内容以便遮挡所述体积区域的视觉呈现的至少一部分。在一些具体实施中，所述SR内容进行了调整以拟合所述网格映射的所述一个或多个部分。在一些具体实施中，当所述用户位置改变或所述用户与所述SR内容交互时，所述SR内容被更新。

Description

用于根据物理环境定制合成现实体验的方法和设备

技术领域

本公开整体涉及合成现实(SR)内容消耗，并且具体地讲，涉及用于根据物理环境定制SR体验的系统、方法和设备。

背景技术

由于虚拟现实(VR)和增强现实(AR)改变用户对世界的感知的显著能力，因此它们变得越来越流行。例如，VR和AR用于学习目的、游戏目的、内容创建目的、社交媒体和交互目的等。这些技术在用户对他/她在场的感知上不同。VR将用户转置到虚拟空间中，使得它们的VR感知不同于他/她的真实世界感知。相比之下，AR获取用户的真实世界感知并为其添加一些内容。

由于例如硬件部件的小型化、硬件性能的改善以及软件效率的改善，这些技术变得越来越普遍。例如，用户可在手持式显示器(例如，具有视频透传的支持AR的移动电话或平板电脑)上体验叠加在用户设置的实况视频馈送上的AR内容。又如，用户可通过佩戴头戴式设备(HMD)或头戴式壳体来体验AR内容，该头戴式设备或头戴式壳体仍然允许用户看到他/她的周围环境(例如，具有光学透视的眼镜)。再如，用户可通过使用围出了用户的视场并拴系到计算机的HMD来体验VR内容。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1A是根据一些具体实施的示例性操作架构的框图。

图1B是根据一些具体实施的另一个示例性操作架构的框图。

图2是根据一些具体实施的示例性控制器的框图。

图3是根据一些具体实施的示例性电子设备的框图。

图4是根据一些具体实施的示例性任选的显示设备的框图。

图5是根据一些具体实施的示例性合成现实(SR)内容呈现架构的框图。

图6A至图6C示出了根据一些具体实施的示例性SR呈现场景。

图7A至图7C示出了根据一些具体实施的另一个示例性SR呈现场景。

图8是根据一些具体实施的根据物理环境定制SR体验的方法的流程图表示。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

发明内容

本文所公开的各种具体实施包括用于呈现合成现实(SR)内容的设备、系统和方法。根据一些具体实施，所述方法在包括非暂态存储器以及与所述非暂态存储器耦接的一个或多个处理器的设备处执行。所述方法包括：获取表征用户周围的体积区域的对象和相对空间信息的位置数据；基于所述位置数据合成所述体积区域的网格映射；基于所述网格映射选择SR内容，其中所述SR内容满足相对于所述网格映射的一个或多个部分的维度方差阈值；将所述SR内容的至少一部分与所述网格映射合成以便生成合成SR内容；并且向所述用户呈现所述合成SR内容以便遮挡所述体积区域的视觉呈现的至少一部分。

根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；所述一个或多个程序存储在所述非暂态存储器中并且被配置为由所述一个或多个处理器执行，并且所述一个或多个程序包括用于执行或使得执行本文所述方法中的任一种方法的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，当由设备的一个或多个处理器执行时，所述指令使得所述设备执行或使得执行本文所述方法中的任一种方法。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使得执行本文所述方法中的任一种方法的装置。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

物理环境是指无需电子系统帮助个体就能够感知和/或个体能够交互的世界。物理环境(例如，物理森林)包括物理元素(例如，物理树、物理结构和物理动物)。个体可直接与物理环境相互作用和/或感知物理环境，诸如通过触摸、视觉、嗅觉、听觉和味觉。

相比之下，合成现实(SR)环境是指经由电子系统个体能够感知和/或个体能够交互的完全或部分由计算机创建的环境。在SR中，监测个体移动的子集，并且响应于此，以符合一个或多个物理定律的方式使SR环境中的一个或多个虚拟对象的一个或多个属性变化。例如，SR系统可检测到个体向前走几步，并且响应于此，以类似于此类情景和声音在物理环境中会如何变化的方式来调节呈现给个体的图形和音频。也可响应于移动的表示(例如，音频指令)而进行对SR环境中一个或多个虚拟对象的一个或多个属性的修改。

个体可使用他的任何感觉(包括触觉、嗅觉、视觉、味觉和声音)与SR对象进行交互和/或感知SR对象。例如，个体可与创建多维(例如，三维)或空间听觉环境和/或实现听觉透明性的听觉对象进行交互和/或感知听觉对象。多维或空间听觉环境为个体提供了在多维空间中对离散听觉源的感知。在具有或不具有计算机创建的音频的情况下，听觉透明性选择性地结合来自物理环境的声音。在一些SR环境中，个体可仅与听觉对象进行交互和/或仅感知听觉对象。

SR的一个示例是虚拟现实(VR)。VR环境是指被设计为仅包括针对至少一种感觉的计算机创建的感官输入的模拟环境。VR环境包括个体可与之交互和/或对其进行感知的多个虚拟对象。个体可通过在计算机创建的环境内模拟个体动作的子集和/或通过对个体或其在计算机创建的环境内的存在的模拟，来与VR环境中的虚拟对象进行交互和/或感知VR环境中的虚拟对象。

SR的另一个示例是混合现实(MR)。MR环境是指被设计为将计算机创建的感官输入(例如，虚拟对象)与来自物理环境的感官输入或其表示集成的模拟环境。在现实谱系上，混合现实环境介于一端的VR环境和另一端的完全物理环境之间并且不包括这些环境。

在一些MR环境中，计算机创建的感官输入可以适应于来自物理环境的感官输入的变化。另外，用于呈现MR环境的一些电子系统可以监测相对于物理环境的取向和/或位置，以使虚拟对象能够与真实对象(即来自物理环境的物理元素或其表示)交互。例如，系统可监测运动，使得虚拟植物相对于物理建筑物看起来是静止的。

混合现实的一个示例是增强现实(AR)。AR环境是指至少一个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，电子系统可具有不透明显示器和至少一个成像传感器，成像传感器用于捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上显示该组合。个体使用系统经由物理环境的图像或视频间接地查看物理环境，并且观察叠加在物理环境之上的虚拟对象。当系统使用一个或多个图像传感器捕获物理环境的图像，并且使用那些图像在不透明显示器上呈现AR环境时，所显示的图像被称为视频透传。另选地，用于显示AR环境的电子系统可具有透明或半透明显示器，个体可通过该显示器直接查看物理环境。该系统可在透明或半透明显示器上显示虚拟对象，使得个体使用该系统观察叠加在物理环境之上的虚拟对象。又如，系统可包括将虚拟对象投影到物理环境中的投影系统。虚拟对象可例如在物理表面上或作为全息图被投影，使得个体使用该系统观察叠加在物理环境之上的虚拟对象。

增强现实环境也可指其中物理环境的表示被计算机创建的感官信息改变的模拟环境。例如，物理环境的表示的一部分可被以图形方式改变(例如，放大)，使得所改变的部分仍可代表一个或多个初始捕获的图像但不是忠实再现的版本。又如，在提供视频透传时，系统可改变传感器图像中的至少一者以施加不同于一个或多个图像传感器捕获的视点的特定视点。再如，物理环境的表示可通过以图形方式将其部分进行模糊处理或消除其部分而被改变。

混合现实的另一个示例是增强虚拟(AV)。AV环境是指计算机创建环境或虚拟环境并入来自物理环境的至少一个感官输入的模拟环境。来自物理环境的一个或多个感官输入可为物理环境的至少一个特征的表示。例如，虚拟对象可呈现由一个或多个成像传感器捕获的物理元素的颜色。又如，虚拟对象可呈现出与物理环境中的实际天气条件相一致的特征，如经由天气相关的成像传感器和/或在线天气数据所识别的。在另一个示例中，增强现实森林可具有虚拟树木和结构，但动物可具有从对物理动物拍摄的图像精确再现的特征。

许多电子系统使得个体能够与各种SR环境进行交互和/或感知各种SR环境。一个示例包括头戴式系统。头戴式系统可具有不透明显示器和一个或多个扬声器。另选地，头戴式系统可以被设计为接收外部显示器(例如，智能电话)。头戴式系统可具有分别用于拍摄物理环境的图像/视频和/或捕获物理环境的音频的一个或多个成像传感器和/或麦克风。头戴式系统也可具有透明或半透明显示器。透明或半透明显示器可结合基板，表示图像的光通过该基板被引导到个体的眼睛。显示器可结合LED、OLED、数字光投影仪、激光扫描光源、硅上液晶，或这些技术的任意组合。透射光的基板可以是光波导、光组合器、光反射器、全息基板或这些基板的任意组合。在一个实施方案中，透明或半透明显示器可在不透明状态与透明或半透明状态之间选择性地转换。又如，电子系统可以是基于投影的系统。基于投影的系统可使用视网膜投影将图像投影到个体的视网膜上。另选地，投影系统还可将虚拟对象投影到物理环境中(例如，投影到物理表面上或作为全息图)。SR系统的其他示例包括平视显示器、能够显示图形的汽车挡风玻璃、能够显示图形的窗口、能够显示图形的镜片、耳机或耳塞、扬声器布置、输入机构(例如，具有或不具有触觉反馈的控制器)、平板电脑、智能电话，以及台式计算机或膝上型计算机。

本文所述的具体实施提供了用于根据物理环境定制合成现实(SR)体验的方法和设备。例如，在用户正在他/她的客厅中的电视(TV)上观看电影时，用户可能希望体验更沉浸式版本的电影，其中用户的客厅的部分可能成为电影场景的一部分。例如，基于客厅、客厅内的家具和用户在客厅内的取向/位置的维度，SR内容覆盖在用户的客厅的部分上。在一些具体实施中，SR内容对应于SR中重构的电影的部分(例如，来自电影的背景和外围场景投射到客厅的墙壁和/或地板上)。在一些具体实施中，SR内容对应于与电影相关的辅助SR内容(例如，增强电影的映射、图形、教育信息等)。因此，在一些具体实施中，与电影相关联的SR内容“蒙皮”客厅的至少一部分(例如，家庭全息平台)。在一些具体实施中，SR内容是二维的(例如，平坦的)、体积的和/或其合适组合。

图1A是根据一些具体实施的示例性操作架构100A的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作架构100A包括电子设备120和任选的显示设备130。

在一些具体实施中，电子设备120被配置为向用户呈现SR体验。在一些具体实施中，电子设备120包括软件、固件和/或硬件的合适组合。下文参考图3更详细地描述电子设备120。根据一些具体实施，在用户物理地存在于包括电子设备120的视场111内的桌子107的物理环境103内时，电子设备120向用户呈现合成现实(SR)体验。因此，在一些具体实施中，用户将设备120保持在他/她的手中。在一些具体实施中，在呈现增强现实(AR)体验时，电子设备120被配置为呈现AR内容(例如，AR圆柱体109)并实现在显示器122上的物理环境103(例如，包括桌子107)的视频透传。

在一些具体实施中，显示设备130被配置为向用户呈现媒体内容(例如，视频和/或音频内容)。在一些具体实施中，显示设备130对应于电视或计算设备，诸如台式计算机、信息亭、膝上型计算机、平板电脑、移动电话、能够穿戴的计算设备等。在一些具体实施中，显示设备130包括软件、固件和/或硬件的合适组合。下文相对于图4更详细地描述显示设备130。

图1B是根据一些具体实施的示例性物理环境100B的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，物理环境100B包括控制器110、电子设备120和任选的显示设备130。

在一些具体实施中，控制器110被配置为管理和协调用户的SR体验。在一些具体实施中，控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些具体实施中，控制器110是相对于物理环境105处于本地或远程位置的计算设备。例如，控制器110是位于物理环境105内的本地服务器。在另一个示例中，控制器110是位于物理环境105之外的远程服务器(例如，云服务器、中央服务器等)。

在一些具体实施中，控制器110经由一个或多个有线或无线通信信道144(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)与电子设备120通信地耦接。在一些具体实施中，控制器110经由一个或多个有线或无线通信信道142(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE802.3x等)与显示设备130通信耦接。在一些具体实施中，电子设备120经由一个或多个有线或无线通信信道146(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE802.3x等)与显示设备130通信耦接。

在一些具体实施中，电子设备120被配置为向用户150呈现SR体验。在一些具体实施中，电子设备120包括软件、固件和/或硬件的合适组合。下文参考图3更详细地描述电子设备120。在一些具体实施中，控制器110和/或显示设备130的功能由电子设备120提供和/或与该电子设备结合。

根据一些具体实施，在用户150虚拟地和/或物理地存在于物理环境105内时，电子设备120向用户150呈现SR体验。在一些具体实施中，在呈现增强现实(AR)体验时，电子设备120被配置为呈现AR内容并实现对物理环境105的光学透视(例如，电子设备120对应于支持AR的眼镜)。在一些具体实施中，在呈现虚拟现实(VR)体验时，电子设备120被配置为呈现VR内容并任选地实现物理环境105的视频透传(例如，电子设备120对应于支持VR的HMD)。例如，如图1所示，物理环境105包括椅子162a和162b、书柜164、咖啡桌166、沙发168、茶几170a和170b以及门172。如图1所示，用户150站在面向显示设备130的沙发168后面。

在一些具体实施中，用户150将电子设备120(诸如头戴式设备(HMD))佩戴到他/她的头部。因此，电子设备120包括被提供用于显示SR内容的一个或多个显示器。例如，电子设备120围出了用户150的视场。又如，电子设备120滑动到头戴式壳体中或以其他方式附接到头戴式壳体。在一些具体实施中，用被配置为呈现SR内容的SR室、壳体或房间替换电子设备120，在其中用户150不佩戴电子设备120。在一些具体实施中，用户150将电子设备120保持在他/她的手中。

在一些具体实施中，任选的显示设备130被配置为向用户150呈现媒体内容(例如，视频和/或音频内容)。在一些具体实施中，显示设备130对应于电视(TV)或计算设备，诸如台式计算机、信息亭、膝上型计算机、平板电脑、移动电话、能够穿戴的计算设备等。在一些具体实施中，显示设备130包括软件、固件和/或硬件的合适组合。下文相对于图4更详细地描述显示设备130。

图2是根据一些具体实施的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理核心等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、IEEE 802.3x、IEEE 802.11x、IEEE802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE和/或相似类型接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。

在一些具体实施中，所述一条或多条通信总线204包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。

存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些具体实施中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括与该一个或多个处理单元202远程定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些具体实施中，存储器220或存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或其子集，其中包括任选的操作系统230和合成现实(SR)体验引擎240。

操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，SR体验引擎240被配置为管理和协调一个或多个用户的单重或多重SR体验(例如，一个或多个用户的单重SR体验，或一个或多个用户的相应群组的多重SR体验)。为此，在各种具体实施中，SR体验引擎240包括数据获取器242、映射器和定位器引擎244、平面检测器245、SR内容获取器246、SR内容管理器248以及数据发射器250。

在一些具体实施中，数据获取器242被配置为从物理环境105中的传感器、与控制器110、电子设备120和显示设备130相关联的传感器中的至少一者获取数据(例如，呈现数据、用户交互数据、传感器数据、位置数据等)。例如，数据获取器242从电子设备120获取传感器数据，该传感器数据包括来自电子设备120的面向外部的图像传感器的图像数据，其中图像数据对应于捕获物理环境105的图像或视频流。为此，在各种具体实施中，数据获取器242包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，映射器和定位器引擎244被配置为映射物理环境105并跟踪电子设备120或用户150相对于物理环境105的定位/位置。因此，在一些具体实施中，映射器和定位器引擎244被配置为基于来自物理环境105中的传感器、与控制器110、电子设备120和显示设备130相关联的传感器中的至少一者的位置数据(例如，表征物理环境105的传感器数据)合成物理环境105的网格映射。

在一些具体实施中，映射器和定位器引擎244也被配置为确定电子设备120或用户150相对于物理环境105的物理环境中的一个或多个参考点(例如，对象)(例如，对象的质心或另一个点)或网格映射的位置和取向。根据一些具体实施，映射器和定位器引擎244基于一种或多种已知的定位技术确定电子设备120的取向和位置。例如，在一些具体实施中，映射器和定位器引擎244基于2017年9月11日提交的美国临时专利申请号62/556,849(代理人案卷号173PR，该临时专利申请全文以引用方式并入本文)中所述的技术确定电子设备120相对于对象的取向和位置。为此，在各种具体实施中，映射器和定位器引擎244包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，平面检测器245被配置为检测网格映射内的平面(例如，水平、竖直或成角度)。根据一些具体实施，平面检测器245基于一种或多种已知的定位技术检测平面。例如，在一些具体实施中，平面检测器245基于2017年6月2日提交的美国临时专利申请号62/514,529(代理人案卷号135PR，该临时专利申请全文以引用方式并入本文)中所述的技术检测平面。在一些具体实施中，平面检测器245也被配置为过滤不满足空间标准的平面。为此，在各种具体实施中，平面检测器245包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，SR内容获取器246被配置为获取(例如，接收、检索或生成)SR内容。为此，在各种具体实施中，SR内容获取器246包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，SR内容管理器248被配置为基于网格映射和在该网格映射内检测到的平面选择SR内容。例如，SR内容管理器248基于用户相对于网格映射的位置和取向以及/或者在该网格映射内检测到的平面的表面积选择SR内容。在一些具体实施中，SR内容管理器248也被配置为当用户的取向和位置相对于物理环境改变或用户与SR内容交互时管理和协调SR内容的呈现。为此，在各种具体实施中，SR内容管理器248包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，数据发射器250被配置为将数据(例如，呈现数据、位置数据等)发射到电子设备120和显示设备130中的至少一者。为此，在各种具体实施中，数据发射器250包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

尽管数据获取器242、映射器和定位器引擎244、平面检测器245、SR内容获取器246、SR内容管理器248和数据发射器250被示出为驻留在单个设备(例如，控制器110)上，但是应当理解，在其他具体实施中，数据获取器242、映射器和定位器引擎244、平面检测器245、SR内容获取器246、SR内容管理器248和数据发射器250的任何组合可位于单独计算设备中。

此外，图2更多地旨在作为存在于特定实施方案中的各种特征的功能描述，而不是本文所述的具体实施的结构示意。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据实施方案而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图3是根据一些具体实施的电子设备120(例如，HMD、移动电话或平板电脑)的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，电子设备120包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备和传感器306、一个或多个通信接口308(例如，USB、IEEE802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、蓝牙、ZIGBEE等相似类型接口)、一个或多个编程(例如，I/O)接口310、一个或多个显示器312、一个或多个任选的面向内部和/或面向外部的图像传感器314、一个或多个任选的深度传感器316、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。

在一些具体实施中，一条或多条通信总线304包括互连和控制系统部件之间的通信的电路。在一些具体实施中，该一个或多个I/O设备和传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎、加热和/或冷却单元、皮肤剪切引擎等中的至少一者。

在一些具体实施中，该一个或多个显示器312被配置为向用户呈现SR体验。在一些具体实施中，该一个或多个显示器312也被配置为向用户呈现平面视频内容(例如，与TV剧集或电影相关联的二维或“平面”AVI、FLV、WMV、MOV、MP4等文件，或物理环境105的实况视频透传)。在一些具体实施中，一个或多个显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或相似显示器类型。在一些具体实施中，一个或多个显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，电子设备120包括单个显示器。又如，电子设备120包括针对用户的每只眼睛的显示器。在一些具体实施中，一个或多个显示器312能够呈现AR和VR内容。在一些具体实施中，该一个或多个显示器312能够呈现AR或VR内容。

在一些具体实施中，该一个或多个任选的图像传感器314被配置为获取对应于包括用户的眼睛的用户的面部的至少一部分的图像数据。例如，该一个或多个任选的图像传感器314对应于一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦接设备(CCD)图像传感器)、红外(IR)图像传感器、基于事件的相机等。

在一些具体实施中，一个或多个任选的深度传感器316被配置为获取对应于用户的面部的至少一部分的深度数据，并且合成用户的面部的深度映射/网格映射，其中网格映射表征用户的面部形貌。例如，一个或多个任选的深度传感器316对应于结构化照明设备、飞行时间设备等。

存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括与该一个或多个处理单元302远程定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些具体实施中，存储器320或存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或其子集，其中包括任选的操作系统330和SR呈现引擎340。

操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，SR呈现引擎340被配置为经由一个或多个显示器312向用户呈现SR内容。为此，在各种具体实施中，SR呈现引擎340包括数据获取器342、SR呈现器344、用户交互处理器346和数据发射器350。

在一些具体实施中，数据获取器342被配置为从物理环境105中的传感器、与电子设备120、控制器110和显示设备130相关联的传感器中的至少一者获取数据(例如，呈现数据、用户交互数据、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取器342包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，SR呈现器344被配置为经由一个或多个显示器312呈现SR内容。在一些具体实施中，SR呈现器344也被配置为经由一个或多个显示器312呈现平面视频内容。为此，在各种具体实施中，SR呈现器344包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，用户交互处理程序346被配置为检测和解释用户与所呈现的SR内容的交互。为此，在各种具体实施中，用户交互处理程序346包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，数据发射器350被配置为将数据(例如，呈现数据、位置数据、用户交互数据等)发射到控制器110和显示设备130中的至少一者。为此，在各种具体实施中，数据发射器350包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

尽管数据获取器342、任选的取向确定器343、SR呈现器344、用户交互处理程序346和数据发射器350被示出为驻留在单个设备(例如，电子设备120)上，但是应当理解，在其他具体实施中，数据获取器342、任选的取向确定器343、SR呈现器344、用户交互处理程序346和数据发射器350的任何组合可位于单独计算装置中。

此外，图3更多地旨在作为存在于特定实施方案中的各种特征的功能描述，而不是本文所述的具体实施的结构示意。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据实施方案而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图4是根据一些具体实施的任选的显示设备130(例如，电视(TV)或物理环境105内的其他显示器)的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，显示设备130包括一个或多个处理单元402(例如，微处理器、ASIC、FPGA、GPU、CPU、处理内核等)、一个或多个输入/输出(I/O)设备和传感器406、一个或多个通信接口408(例如，USB、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、蓝牙、ZIGBEE等相似类型接口)、一个或多个编程(例如，I/O)接口410、显示器412、存储器420以及用于互连这些部件和各种其他部件的一条或多条通信总线404。在一些具体实施中，显示设备130任选地由远程控制设备、语音命令、电子设备120等控制。

在一些具体实施中，一条或多条通信总线404包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备和传感器406包括一个或多个IR传感器、一个或多个物理按钮、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个深度传感器等中的至少一者。

在一些具体实施中，显示器412对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或相似显示器类型。

存储器420包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器420包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器420任选地包括与该一个或多个处理单元402远程定位的一个或多个存储设备。存储器420包括非暂态计算机可读存储介质。在一些具体实施中，存储器420或存储器420的非暂态计算机可读存储介质存储下述程序、模块和数据结构或其子集，其中包括任选的操作系统430和呈现引擎440。

操作系统430包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，呈现引擎440被配置为经由显示器412以及一个或多个I/O设备和传感器406(例如，一个或多个扬声器)向用户呈现媒体内容(例如，视频和/或音频内容)。为此，在各种具体实施中，呈现引擎440包括数据获取器442、内容呈现器444、交互处理程序446和数据发射器450。

在一些具体实施中，数据获取器442被配置为从物理环境105中的传感器、与显示设备130、控制器110和电子设备120相关联的传感器中的至少一者获取数据(例如，呈现数据、用户交互数据等)。为此，在各种具体实施中，数据获取器442包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，内容呈现器444被配置为经由显示器412渲染和/或显示视频内容。为此，在各种具体实施中，内容呈现器444包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，交互处理程序446被配置为检测和解释用户与显示设备130的交互(例如，导航、回放、调谐、音量调节等命令)。为此，在各种具体实施中，交互处理程序446包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，数据发射器450被配置为将数据(例如，呈现数据、用户交互数据等)发射到控制器110和电子设备120中的至少一者。为此，在各种具体实施中，数据发射器450包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

尽管数据获取器442、内容呈现器444、交互处理程序446和数据发射器450被示出为驻留在单个设备(例如，显示设备130)上，但是应当理解，在其他具体实施中，数据获取器442、内容呈现器444、交互处理程序446和数据发射器450的任何组合可位于单独计算设备中。

此外，图4更多地旨在作为存在于特定实施方案中的各种特征的功能描述，而不是本文所述的具体实施的结构示意。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图4中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据实施方案而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图5示出了根据一些具体实施的示例性SR内容呈现架构500。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，SR内容呈现架构500合成围绕用户的物理环境的网格映射，基于该网格映射选择SR内容，并且通过将该SR内容的至少一部分与该网格映射合成来生成根据物理环境定制的合成SR内容。因此，电子设备120将SR内容覆盖在物理环境105的至少一部分上或用SR内容“蒙皮”该物理环境的至少一部分(例如，家庭全息平台)。

如图5所示，在一些具体实施中，映射引擎510(例如，图2中的映射器和定位器引擎244的一部分)从与物理环境105、控制器110、电子设备120和/或显示设备130相关联的一个或多个传感器获取位置数据502。在一些具体实施中，位置数据502表征用户150周围的体积区域的对象和相对空间信息(例如，以电子设备120的用户150为中心的Xcm的半径)。

在一些具体实施中，位置数据502对应于传感器数据，诸如图像数据，该传感器数据使得能够识别物理环境内的类人动物、机器人、动物和/或对象。在一些具体实施中，位置数据502对应于传感器数据，诸如图像数据、GPS数据、信标数据、IR数据、超声数据、LiDAR数据、深度数据等，该传感器数据使得能够映射物理环境并在该物理环境内定位类人动物、机器人、动物和/或对象。

例如，位置数据502对应于来自电子设备120的一个或多个面向外部的图像传感器的图像数据(例如，来自用户150的视角的物理环境105的图像或实况视频流)。例如，位置数据502对应于来自物理环境105内的一个或多个图像传感器的图像数据。在该示例中，物理环境内的图像传感器可对应于固定摄像机(例如，壁挂式摄像机)或具有附接摄像机的能够移动的设备(例如，无人机等)。

如图5所示，在一些具体实施中，映射引擎510基于位置数据502合成物理环境105的网格映射512或其一部分(例如，围绕用户150的体积区域)。在一些具体实施中，平面检测器515(例如，图2中的平面检测器245)检测网格映射512内的一个或多个平面并且过滤不满足空间标准的平面。如图5所示，在一些具体实施中，定位器引擎520(例如，图2中的映射器和定位器引擎244的一部分)基于位置数据502和网格映射512确定用户150相对于物理环境105的用户位置522。

如图5所示，在一些具体实施中，SR内容选择器引擎530(例如，图2中的SR内容管理器248的一部分)从SR内容储存库504选择相对于网格映射512的一个或多个部分(例如，满足空间标准的平面)满足维度方差阈值的SR内容532。例如，SR内容选择器引擎530选择拟合满足空间标准的平面的SR内容532。换句话讲，SR内容选择器引擎530选择拟合物理环境105的SR内容532以便根据物理环境105定制SR体验。

如图5所示，在一些具体实施中，合成引擎540(例如，图2中的SR内容管理器248的一部分)通过将SR内容532的至少一部分与网格映射512合成来生成合成SR内容542。在一些具体实施中，合成引擎540调整(例如，拉伸、收缩或放大)所选择的SR内容以拟合网格映射512的一个或多个部分(例如，满足空间标准的平面)。

在一些具体实施中，合成SR内容542被提供用于SR呈现流水线550以呈现给用户150。在一些具体实施中，合成SR内容542由控制器110渲染并作为呈现数据发射到电子设备120，其中合成SR内容542经由一个或多个显示器312呈现。

图6A至图6C示出了根据一些具体实施的示例性SR呈现场景600。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。

如图6A所示，物理环境105包括椅子162a和162b、书柜164、咖啡桌166、沙发168、茶几170a和170b以及门172。如图6A所示，用户站在面向显示设备130的沙发168后面，同时椅子162a和162b、书柜164、咖啡桌166、沙发168以及茶几170a和170b在电子设备120的视场111内。例如，电子设备120对应于在显示器122上显示的具有物理环境105的视频透传的支持AR的平板电脑或移动电话。

如图6A所示，在状态625中(例如，在时间T处)，用户正在显示设备130上观看视频内容605(例如，电视(TV)剧集或电影)。例如，电子设备120或显示设备130显示指示与视频内容605相关联的SR体验可用的细微(例如，不突出)示能表示或通知。继续该示例，电子设备120检测由用户发布以输入与视频内容605相关联的SR体验的命令(例如，语音命令、手势命令等)。例如，响应于检测到该命令，电子设备120合成物理环境105的网格映射并检测网格映射内的平面。

如图6B所示，在状态650中(例如，在时间T+1处)，电子设备120识别物理环境105内的平面610a、610b、610c和610d。根据一些具体实施，电子设备120过滤不满足空间标准的平面。例如，平面610b和610c不满足与空间标准相关联的视线标准(例如，距用户150的焦点大于Z度)。换句话讲，地点610b和610c的位置相对于用户150的焦点太低。因此，平面610a和610d满足空间标准。

如图6C所示，在状态675中(例如，在时间T+2处)，电子设备120在显示器122上呈现平面610a上的SR内容620a(例如，与视频内容605相关联的背景场景)和平面610d上的SR内容620b(例如，与视频内容605相关联的外围场景)。在一些具体实施中，SR内容物620a和620b是平面的或体积的。根据一些具体实施，电子设备120基于所检测到的平面和用户相对于网格映射的取向/位置选择与满足空间标准的所检测到的平面的视频内容605相关联的SR内容。

例如，视频内容605对应于电影内的法庭现场。在该示例中，SR内容620a和620b对应于法庭现场的至少一部分的SR重构。继续该示例，SR内容620a对应于该法官的席位，并且SR内容620b对应于相对的律师及其团队。因此，继续该示例，电子设备120用与视频内容605相关联的SR内容620a和620b蒙皮物理环境105的至少一部分，使得用户能够体验电影内的法院现场，好像正在发生在他/她的客厅内那样。

图7A至图7C示出了根据一些具体实施的示例性SR呈现场景700。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。

如图7A所示，物理环境105包括椅子162a和162b、书柜164、咖啡桌166、沙发168、茶几170a和170b以及门172。如图7A所示，在用户150将电子设备120佩戴到他/她的头部时，该用户站在面向显示设备130的沙发168后面。例如，电子设备120对应于具有物理环境105的光学透视的支持AR的HMD(例如，眼镜、护目镜等)。

如图7A所示，在状态725中(例如，在时间T处)，用户150正在显示设备130上观看视频内容705(例如，电视(TV)剧集或电影)。例如，电子设备120或显示设备130显示指示与视频内容705相关联的SR体验可用的细微(例如，不突出)示能表示或通知。继续该示例，控制器110和/或电子设备120检测由用户150发布以输入与视频内容705相关联的SR体验的命令(例如，语音命令、手势命令等)。例如，响应于检测到该命令，控制器110合成物理环境105的网格映射并检测网格映射内的平面。

如图7B所示，在状态750中(例如，在时间T+1处)，控制器110识别物理环境内的平面710a、710b、710c、710d、710e、710f、710g、710h和710i。根据一些具体实施，控制器110过滤不满足空间标准的平面。例如，分别与椅子162a和162b相关联的平面710c和710d不满足与空间标准相关联的维度标准(例如，小于M×Ncm或Ycm²)。换句话讲，平面710c和710d的表面积对于SR内容的放置太小。例如，平面710f和710g不满足与空间标准相关联的视线标准(例如，距用户150的焦点大于Z度)。换句话讲，地点710f和710g的位置相对于用户150的焦点太低。例如，平面710h不满足与空间标准相关联的个人半径标准(例如，距用户150小于Qcm)。换句话讲，平面710h太靠近用户150。因此，平面710a、710b、710e和710i满足空间标准。

如图7C所示，在状态775中(例如，在时间T+2处)，电子设备120在平面710a上呈现SR内容720a(例如，与视频内容705相关联的背景场景)，在平面710b上呈现SR内容720b(例如，与视频内容705相关联的背景字符和/或对象)、在平面710e上呈现SR内容720c(例如，与视频内容705相关联的前景字符和/或对象)并且在平面710i上呈现SR内容720d(例如，与视频内容705相关联的外围场景)。在一些具体实施中，SR内容720a、720b、720c和720d是平面的或体积的。根据一些具体实施，控制器110基于所检测到的平面和用户150相对于网格映射的取向/位置选择与满足空间标准的所检测到的平面的视频内容705相关联的SR内容。

例如，视频内容705对应于电影内的拳击比赛现场。在该示例中，SR内容720a、720b、720c和720d对应于拳击比赛现场的至少一部分的SR重构。继续该示例，SR内容720a对应于背景中的人群，SR内容720b对应于裁判以及拳赛台的绳索和螺丝扣，SR内容620c对应于拳击台内的拳击手，并且SR内容720d对应于外围背景中的人群。因此，继续该示例，电子设备120用与视频内容705相关联的SR内容720a、720b、720c和720d蒙皮物理环境105的至少一部分，使得用户150能够体验电影内的拳击比赛现场，好像正在发生在他/她的客厅内那样。

图8是根据一些具体实施的根据物理环境定制SR体验的方法800的流程图表示。在各种具体实施中，方法800由具有非暂态存储器以及与非暂态存储器耦接的一个或多个处理器(例如，图1B和图2中的控制器110、图1A至图1B和图3中的电子设备120或其合适组合)的设备执行。在一些具体实施中，方法800由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法800由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。简而言之，在一些情况下，方法800包括：获取与用户周围的体积区域相关联的位置数据；基于该位置数据合成该体积区域的网格映射；基于满足相对于该网格映射的一个或多个部分的维度方差阈值的该网格映射选择SR内容；将该SR内容的至少一部分与该网格映射合成以便生成合成SR内容；并且向用户呈现该合成SR内容以便遮挡该体积区域的视觉呈现的至少一部分。

如框8-1所示，方法800包括获取(例如，收集、接收或检索)与用户周围的体积区域相关联的位置数据。在一些具体实施中，位置数据表征体积区域的对象和相对空间信息。例如，体积区域对应于具有以电子设备120的用户150为中心的Xcm半径的体积区域。

在一些具体实施中，控制器110和/或电子设备120或其部件(例如，图2中的数据获取器242)从物理环境105中的传感器、与控制器110、电子设备120和显示设备130相关联的传感器中的至少一者获取位置数据。例如，位置数据对应于来自电子设备120的一个或多个面向外部的图像传感器的图像数据(例如，来自用户150的视角的物理环境105的图像或实况视频流)。又如，位置数据对应于来自物理环境105内的一个或多个图像传感器的图像数据。在该示例中，物理环境内的图像传感器可对应于固定摄像机(例如，壁挂式摄像机)或具有附接摄像机的能够移动的设备(例如，无人机等)。又如，位置数据对应于与来自GPS、LiDAR、IR传感器、深度传感器、超声传感器等的物理环境和/或用户150相关联的其他传感器数据。

如框8-2所示，方法800包括基于位置数据合成体积区域的网格映射。在一些具体实施中，控制器110和/或电子设备120或其部件(例如，映射器和定位器引擎244)基于位置数据合成物理环境105或其一部分(例如，围绕用户150的体积区域)的网格映射。例如，网格映射定义体积区域和体积区域内的对象诸如家具、墙壁、其他用户等的维度。

在一些具体实施中，合成网格映射包括为了安全而封闭受限区域(例如，阳台)。例如，SR内容不能在这些受限区域中呈现，从而允许用户通过经由支持AR的HMD的光学透视来查看潜在危险。

在一些具体实施中，如框8-2a所示，方法800包括检测网格映射内的平面。在一些具体实施中，控制器110和/或电子设备120或其部件(例如，平面检测器245)识别网格映射内的平面(例如，水平、竖直或成角度)。根据一些具体实施，平面检测器245基于一种或多种已知的定位技术检测平面。例如，在一些具体实施中，平面检测器245基于2017年6月2日提交的美国临时专利申请号62/514,529(代理人案卷号135PR，该临时专利申请全文以引用方式并入本文)中所述的技术检测平面。参考图6B，例如，电子设备120识别物理环境105内的平面610a、610b、610c和610d。参考图7B，例如，控制器110和/或电子设备120识别物理环境内的平面710a、710b、710c、710d、710e、710f、710f、710h和710i。

在一些具体实施中，如框8-2b所示，方法800包括过滤不满足空间标准的平面。在一些具体实施中，控制器110和/或电子设备120或其部件(例如，平面检测器245)过滤不满足空间标准的平面。参考图7B，例如，控制器110和/或电子设备120过滤无法满足与空间标准相关联的维度标准(例如，小于M×Ncm或Ycm²)的平面710c和710d。参考图7B，例如，控制器110和/或电子设备120过滤无法满足与空间标准相关联的视线标准(例如，距用户150的焦点大于Z度)的平面710f和710g。参考图7B，例如，控制器110和/或电子设备120过滤确实不满足与空间标准相关联的个人半径标准(例如，距用户150小于Qcm)的平面710h。因此，参考图7B，例如，控制器110和/或电子设备120确定平面710a、710b、710e和710i满足空间标准。

如框8-3所示，方法800包括基于满足相对于网格映射的一个或多个部分的维度方差阈值的网格映射选择SR内容。在一些具体实施中，SR内容满足相对于网格映射的一个或多个部分的维度方差阈值。在一些具体实施中，控制器110和/或电子设备120或其部件(例如，图2中的SR内容管理器248)选择相对于网格映射512的一个或多个部分满足维度方差阈值的SR内容(例如，拟合满足空间标准的平面的表面积的SR内容)。换句话讲，控制器110和/或电子设备120选择拟合物理环境105的SR内容以便根据物理环境105定制SR体验。

例如，控制器110和/或电子设备120在相同物理环境内选择待在沙发上或围绕沙发呈现的第一SR内容、待在镜子上或围绕镜子呈现的第二SR内容以及待在墙壁上或围绕墙壁呈现的第三SR内容。例如，控制器110和/或电子设备120基于开放占地面积、桌面尺寸、开放墙壁空间、沙发尺寸和占用等选择不同的SR内容。在一些具体实施中，所选择的SR内容对应于用户当前正在查看的视频内容的SR重构部分(例如，来自电影的字符或场景)。在一些具体实施中，所选择的SR内容对应于增强用户当前正在查看的视频内容的SR内容(例如，与电影相关联的映射、图形、教育信息等)。

在一些具体实施中，选择SR内容包括首先基于用户相对于网格映射的当前视点匹配视频内容内的当前情节现场中拟合到网格映射的一个或多个部分(例如，满足空间标准的平面)的选择部分。例如，如果沙发在用户后面但咖啡桌在用户前面，则控制器110和/或电子设备120选择拟合咖啡桌的维度的SR内容，并且由于沙发在用户后面的位置而放弃选择拟合沙发的维度的SR内容。

在一些具体实施中，控制器110和/或电子设备120或其部件(例如，SR内容获取器246)获取(例如，接收、检索或生成)SR内容。在一些具体实施中，SR内容从本地库或远程库(例如，远程服务器、第三方内容提供商等)获取。在一些具体实施中，SR内容对应关联当前正在查看的视频内容，诸如用于太空战场的太空战士、用于拥挤广场中的情节环境的旁观者、用于交通堵塞中的情节环境的汽车等。在一些具体实施中，SR内容是当前正在查看的视频内容中的情节的SR重构。例如，在一些具体实施中，视频内容的SR重构基于2018年1月22日提交的美国临时专利申请号62/620,334(代理人案卷号196PR，该临时专利申请全文以引用方式并入本文)中所述的技术生成。

如框8-4所示，方法800包括将SR内容的至少一部分与网格映射合成以便生成合成SR内容。在一些具体实施中，控制器110和/或电子设备120或其部件(例如，图2中的SR内容管理器248)将SR内容的至少一部分与网格映射合成以便生成合成SR内容。在一些具体实施中，生成合成SR内容包括用情节的所选择的SR内容将用户的物理环境的一部分蒙皮到用户的房间。例如，基于客厅和客厅内的家具的尺寸，控制器110和/或电子设备120用大空间巡航舰或航天飞机驾驶舱的桥架为用户的客厅蒙皮。

在一些具体实施中，如框8-4a所示，方法800包括调整SR内容。在一些具体实施中，控制器110和/或电子设备120或其部件(例如，图2中的SR内容管理器248)调整(例如，拉伸、收缩或放大)所选择的SR内容以拟合网格映射的一个或多个部分(例如，满足空间标准的平面)。在一些具体实施中，SR内容进行了调整以拟合在体积区域内检测到的满足空间标准的网格映射或平面。(例如，基于桌子的可用表面积或无阻挡的开放占地面积拉伸或收缩SR内容)。在一些具体实施中，SR内容可被调整的量受到调整约束标准(例如，与IP策略权利约束、DRM限制或失真限制相关联)的限制。

如框8-5所示，方法800包括向用户呈现合成SR内容以便遮挡体积区域的视觉呈现的至少一部分。在一些具体实施中，SR内容由控制器110渲染并且由控制器110发射到SR设备，其中SR内容经由一个或多个显示器312呈现给用户。在一些具体实施中，电子设备120或其部件(例如，图3中的SR呈现器344)经由一个或多个显示器312呈现SR内容。例如，SR内容被覆盖、叠加或投影在物理环境的继而被SR内容遮挡的部分上。

例如，在图6C中，电子设备120在显示器122上呈现与视频内容605相关联的SR内容620a和620b。又如，在图7C中，电子设备120呈现与视频内容705相关联的SR内容720a、720b、720c和720d，其中SR内容720a遮挡图7A至图7B所示的显示设备130，并且SR内容720d遮挡图7A至图7B所示的门172。在一些具体实施中，SR内容是体积的。例如，SR内容呈现在用户的咖啡桌的顶部上，而不是在用户的沙发或窗户上。

在一些具体实施中，SR体验包括从用户在显示设备130(例如，TV或平板电脑)上查看视频内容到与经由HMD呈现的视频内容相关联的SR内容的转变。例如，在图7A中，在状态725中，显示设备130向用户显示视频内容705。继续该示例，在图7C中，在状态775中，电子设备120呈现与视频内容705相关联的SR内容720a、720b、720c和720d。在一些具体实施中，视频内容705在状态775中暂停。在一些具体实施中，视频内容705在状态775中同时继续。

在一些具体实施中，如框8-5a所示，方法800包括当用户位置改变时更新SR内容。在一些具体实施中，当用户位置相对于网格映射改变时，控制器110和/或电子设备120或其部件(例如，图2中的SR内容管理器248)更新(例如，替换、修改等)SR内容。例如，当用户150围绕物理环境105移动时，SR内容被更新。根据一些具体实施，SR内容是体积的，因此用户可通过围绕物理环境移动来从几乎无限的相机角度集中进行选择。在一些具体实施中，当网格映射改变(例如，椅子或其他家具围绕空间移动)时，SR内容被更新。

在一些具体实施中，如框8至5b所示，方法800包括当用户与SR内容交互时更新SR内容。在一些具体实施中，当用户与SR内容交互时，控制器110和/或电子设备120或其部件(例如，图2中的SR内容管理器248)更新(例如，替换、修改等)SR内容。例如，SR内容是交互的，使得当用户修改SR内容或以其他方式与SR内容交互时SR改变。在一些具体实施中，当用户与SR内容交互时，电子设备120提供音频、触觉、皮肤剪切、温度等反馈。

虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定实施方案并非旨在对权利要求进行限制。如在本实施方案的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims (15)

1.一种方法，包括：

在包括非暂态存储器以及与所述非暂态存储器耦接的一个或多个处理器的设备处：

获取表征用户周围的体积区域的对象和相对空间信息的位置数据；

基于所述位置数据合成所述体积区域的网格映射；

基于所述网格映射选择合成现实(SR)内容，其中所述SR内容满足相对于所述网格映射的一个或多个部分的维度方差阈值；

将所述SR内容的至少一部分与所述网格映射合成以便生成合成SR内容；以及

向所述用户呈现所述合成SR内容以便遮挡所述体积区域的视觉呈现的至少一部分。

2.根据权利要求1所述的方法，其中所述位置数据对应于与所述体积区域相关联的图像数据。

3.根据权利要求1至2中任一项所述的方法，其中所述位置数据对应于与所述体积区域相关联的深度数据。

4.根据权利要求1至3中任一项所述的方法，其中所述SR内容从SR内容的库获取。

5.根据权利要求1至3中任一项所述的方法，其中所述SR内容与当前正在显示的视频内容相关联。

6.根据权利要求1至3中任一项所述的方法，其中所述SR内容对应于当前正在显示的视频内容的至少一部分的SR重构。

7.根据权利要求1至6中任一项所述的方法，其中将所述SR内容的至少所述部分与所述网格映射合成包括调整所述SR内容的所述部分以拟合所述网格映射。

8.根据权利要求7所述的方法，其中所述SR内容的所述部分的所述调整满足调整约束标准。

9.根据权利要求1至8中任一项所述的方法，所述方法还包括当所述设备的取向相对于所述体积区域改变时调节所述SR内容。

10.根据权利要求1至9中任一项所述的方法，所述方法还包括当所述用户与所述SR内容交互时调节所述SR内容。

11.根据权利要求1至10中任一项所述的方法，所述方法还包括：

检测所述网格映射内的平面集；以及

从所述平面集中滤除不满足空间标准的平面，其中所述维度方差阈值对应于满足所述空间标准的平面的表面积。

12.根据权利要求1至11中任一项所述的方法，其中所述SR内容是体积的。

13.一种设备，包括：

一个或多个处理器；

非暂态存储器；以及

一个或多个程序，所述一个或多个程序存储在所述非暂态存储器中，当由所述一个或多个处理器执行时，所述一个或多个程序使得所述设备执行权利要求1至12中所述的方法中的任一种方法。

14.一种用于存储一个或多个程序的非暂态存储器，当由设备的一个或多个处理器执行时，所述一个或多个程序使得所述设备执行权利要求1至12中所述的方法中的任一种方法。

15.一种设备，包括：

一个或多个处理器；

非暂态存储器；以及

用于使得所述设备执行权利要求1至12中所述的方法中的任一种方法的装置。

Images