CN112074800A - 用于在沉浸水平之间切换的技术 - Google Patents

Abstract

在一个具体实施中，非暂态计算机可读存储介质存储在计算机上计算机可执行的以执行操作的程序指令。该操作包括在电子设备的显示器上呈现表示虚拟现实布景的第一内容。使用该电子设备的输入设备来接收表示呈现与该电子设备所位于的物理布景相对应的视图的请求的输入。根据接收到该输入，在该显示器上同时呈现该第一内容以及表示与使用该电子设备的图像传感器来获得的该物理布景相对应的该视图的第二内容。

Description

用于在沉浸水平之间切换的技术

技术领域

本公开整体涉及用于在由电子设备呈现的模拟现实(SR)沉浸的水平之间选择性地转变的系统、方法和设备，并且具体地讲，涉及使用电子设备的输入设备在SR沉浸的水平之间选择性地转变。

背景技术

电子设备诸如头戴式设备(也称为头戴式耳机)通常在系统中使用以向用户呈现虚拟对象，该虚拟对象补充或替换在由此类电子设备的显示器呈现的视图中可感知的周围物理布景。通过该视图，为用户提供了一种体验，其中他们可以完全沉浸在周围物理布景中，完全沉浸在虚拟对象的虚拟现实(VR)布景中，或它们之间的任何地方。

当用户完全或部分地沉浸在虚拟对象的VR布景中时，周围物理布景中的物理对象继续存在。例如，用户可完全沉浸在对应于填充有恐龙的史前世界的VR中。虽然该虚拟史前世界可能缺乏客厅家具，但用户所位于的客厅继续包括咖啡桌。此外，虽然用户的狗可能不存在于该虚拟史前世界中，但狗可继续围绕客厅漫步。

用于避免与不受虚拟现实布景阻碍的周围物理布景中的物理对象的任何不期望交互的现有技术涉及用户在感测到此类不期望交互时突然移除提供体验的电子设备。然而，随着体验变得越来越沉浸，用户可能无法足够快地感测到此类不期望交互以避免它们。此外，在体验期间突然移除电子设备会减损该体验。因此，期望解决与这些不期望交互相关的问题，同时还最小化对体验的任何负面影响。

发明内容

本文公开的各种实施方式包括用于在模拟现实(SR)沉浸水平之间选择性地过渡的设备、系统和方法。在一个具体实施中，非暂态计算机可读存储介质存储在计算机上计算机可执行的以执行操作的程序指令。操作包括在电子设备的显示器上呈现表示虚拟现实布景(VR)的第一内容。使用该电子设备的输入设备来接收表示呈现与该电子设备所位于的物理布景相对应的视图的请求的输入。根据接收到该输入，在该显示器上同时呈现该第一内容以及表示与使用该电子设备的图像传感器来获得的该物理布景相对应的该视图的第二内容。

在另一个具体实施中，电子设备包括各自可通信地耦接到该电子设备的处理器的显示器、图像传感器和输入设备。该显示器被配置为呈现表示虚拟现实布景的第一内容、表示与该电子设备所位于的物理布景对应的视图的第二内容、或它们的组合。该图像传感器被配置为获得表示与该物理布景相对应的该视图的该第二内容。该输入设备被配置为接收表示在该显示器中仅呈现该第一内容和在该显示器中仅呈现该第二内容之间选择性地转变的请求的输入。

在另一个具体实施中，电子设备包括各自可通信地耦接到该电子设备的处理器的输出设备、传感器和输入设备。该输出设备被配置为呈现对应于虚拟现实布景的第一感官内容、与该电子设备所位于的物理布景相对应的第二感官内容、或它们的组合。该传感器被配置为获得对应于该物理布景的该第二感官内容。该输入设备被配置为接收表示从用该输出设备仅呈现该第一感官内容转变为用该输出设备呈现该第一感官内容和该第二感官内容的组合，转变为用该输出设备仅呈现该第二感官内容的请求的输入。

根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1是根据一些具体实施的示例性操作环境的框图。

图2是适合于实现本公开的各方面的示例性计算环境的框图。

图3示出了呈现表示虚拟现实布景的第一内容的电子设备的显示器的示例。

图4示出了呈现与电子设备所位于的物理布景相对应的第二内容的电子设备的显示器的示例。

图5示出了同时呈现表示虚拟现实布景的第一内容以及与电子设备所位于的物理布景相对应的第二内容的电子设备的显示器的示例。

图6A示出了适用于实现本公开的各方面的电子设备的显示器的示例。

图6B是图6A的示例性显示器的分解图，其示出了构成该显示器的多个层。

图7示出了根据距电子设备的距离的利用电子设备在沉浸水平之间选择性地转变的示例。

图8示出了根据一些具体实施的模拟现实体验的俯视图。

图9示出了图8所示的模拟现实体验的侧视图。

图10A示出了以第一沉浸水平呈现图8和图9所示的模拟现实体验的电子设备的显示器的示例。

图10B示出了以第二沉浸水平呈现图8和图9所示的模拟现实体验的电子设备的显示器的示例。

图11是示出用于在模拟现实沉浸水平之间选择性地转变的方法的示例的流程图。

图12是根据一些具体实施的示例性电子设备的框图。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

参见图1，用于实现本发明的各方面的示例性操作环境100一般被示出和命名为100。一般来讲，操作环境100示出了被配置为在显示器上向用户呈现内容的设备110。内容可表示接近设备110的物理布景或物理(真实世界)环境(例如，物理布景105)的视图。“物理布景”是指无需电子系统帮助个体就可感知或个体就可与之交互的世界。物理布景(例如，物理森林)包括物理对象(例如，物理树、物理结构和物理动物)。个体可直接与物理布景相互作用或感知物理布景，诸如通过触摸、视觉、嗅觉、听觉和味觉。

在一些具体实施中，设备110被配置为具有软件、固件或硬件的合适组合以管理和协调用户的模拟现实(SR)体验。在一些具体实施中，与设备110分开的控制器(未示出)包括软件、固件或硬件的合适组合以促进设备110上的SR体验。在一些具体实施中，控制器是相对于物理布景105处于本地或远程位置并且与设备110进行通信的计算设备。在一个示例中，控制器是位于物理布景105内的本地服务器。在另一个示例中，控制器是位于物理布景105之外的远程服务器(例如，云服务器、中央服务器等)。在一些具体实施中，控制器经由一个或多个有线或无线通信信道(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)与设备110可通信地耦接。

根据一些具体实施，当用户出现在物理布景105内时，设备110向用户呈现模拟现实(SR)体验。与物理布景105相比，SR布景是指经由电子系统个体可感知或个体可与之交互的完全或部分由计算机创建的布景。在SR中，监测个体移动的子集，并且响应于该子集，以符合一个或多个物理定律的方式更改SR布景中的一个或多个虚拟对象的一个或多个属性。例如，SR系统可检测到个体向前走几步，并且响应于此，以类似于此类情景和声音在物理布景中会如何变化的方式来调节呈现给个体的图形和音频。也可响应于移动的表示(例如，音频指令)而进行对SR布景中一个或多个虚拟对象的一个或多个属性的修改。

个体可使用他的任何感觉(包括触觉、嗅觉、视觉、味觉和声音)与SR对象进行交互或感知SR对象。例如，个体可与创建多维(例如，三维)或空间听觉布景或实现听觉透明性的听觉对象进行交互或感知听觉对象。多维或空间听觉布景为个体提供了在多维空间中对离散听觉源的感知。在具有或不具有计算机创建的音频的情况下，听觉透明性选择性地结合来自物理布景的声音。在一些SR布景中，个体可仅与听觉对象进行交互或仅感知听觉对象。

SR的一个示例是虚拟现实(VR)。VR布景是指被设计为仅包括针对至少一种感觉的计算机创建的感官输入的模拟布景。VR布景包括个体可与之交互或对其进行感知的多个虚拟对象。个体可通过在计算机创建的布景内模拟个体动作的子集或通过对个体或其在计算机创建的布景内的存在的模拟，来与VR布景中的虚拟对象进行交互或感知VR布景中的虚拟对象。

SR的另一个示例是混合现实(MR)。MR布景是指被设计为将计算机创建的感官输入(例如，虚拟对象)与来自物理布景的感官输入或其表示集成的模拟布景。在现实谱系上，混合现实布景介于(但不包括)一端的VR布景和另一端的完全物理布景之间。

在一些MR布景中，计算机创建的感官输入可以适应于来自物理布景的感官输入的变化。另外，用于呈现MR布景的一些电子系统可以监测相对于物理布景的取向或位置，以使虚拟对象能够与真实对象(即来自物理布景的物理对象或其表示)交互。例如，系统可监测运动，使得虚拟植物相对于物理建筑物看起来是静止的。

混合现实的一个示例是增强现实(AR)。AR布景是指至少一个虚拟对象叠加在物理布景或其表示之上的模拟布景。例如，电子系统可具有不透明显示器和至少一个成像传感器，成像传感器用于捕获物理布景的图像或视频，这些图像或视频是物理布景的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上显示该组合。个体使用系统经由物理布景的图像或视频间接地查看物理布景，并且观察叠加在物理布景之上的虚拟对象。当系统使用一个或多个图像传感器捕获物理布景的图像，并且使用那些图像在不透明显示器上呈现AR布景时，所显示的图像被称为视频透传。另选地，用于显示AR布景的电子系统可具有透明或半透明显示器，个体可通过该显示器直接查看物理布景。该系统可在透明或半透明显示器上显示虚拟对象，使得个体使用该系统观察叠加在物理布景之上的虚拟对象。又如，系统可包括将虚拟对象投影到物理布景中的投影系统。虚拟对象可例如在物理表面上或作为全息图被投影，使得个体使用该系统观察叠加在物理布景之上的虚拟对象。

增强现实布景也可指其中物理布景的表示被计算机创建的感官信息改变的模拟布景。例如，物理布景的表示的一部分可被以图形方式改变(例如，放大)，使得所改变的部分仍可代表一个或多个初始捕获的图像但不是忠实再现的版本。又如，在提供视频透传时，系统可改变传感器图像中的至少一者以施加不同于一个或多个图像传感器捕获的视点的特定视点。再如，物理布景的表示可通过以图形方式将其部分进行模糊处理或消除其部分而被改变。

混合现实的另一个示例是增强虚拟(AV)。AV布景是指计算机创建布景或虚拟布景并入来自物理布景的至少一个感官输入的模拟布景。来自物理布景的一个或多个感官输入可为物理布景的至少一个特征的表示。例如，虚拟对象可呈现由一个或多个成像传感器捕获的物理对象的颜色。又如，虚拟对象可呈现出与物理布景中的实际天气条件相一致的特征，如经由天气相关的成像传感器或在线天气数据所识别的。在另一个示例中，增强现实森林可具有虚拟树木和结构，但动物可具有从对物理动物拍摄的图像精确再现的特征。

许多电子系统使得个体能够与各种SR布景进行交互或感知各种SR布景。一个示例包括头戴式系统。头戴式系统可具有不透明显示器和一个或多个扬声器。另选地，头戴式系统可以被设计为接收外部显示器(例如，智能电话)。头戴式系统可具有分别用于拍摄物理布景的图像/视频或捕获物理布景的音频的一个或多个成像传感器或麦克风。头戴式系统也可具有透明或半透明显示器。透明或半透明显示器可结合基板，表示图像的光通过该基板被引导到个体的眼睛。显示器可结合LED、OLED、数字光投影仪、激光扫描光源、硅上液晶，或这些技术的任意组合。透射光的基板可以是光波导、光组合器、光反射器、全息基板或这些基板的任意组合。在一个具体实施中，透明或半透明显示器可在不透明状态与透明或半透明状态之间选择性地转换。又如，电子系统可以是基于投影的系统。基于投影的系统可使用视网膜投影将图像投影到个体的视网膜上。另选地，投影系统还可将虚拟对象投影到物理布景中(例如，投影到物理表面上或作为全息图)。SR系统的其他示例包括平视显示器、能够显示图形的汽车挡风玻璃、能够显示图形的窗口、能够显示图形的镜片、耳机或耳塞、扬声器布置、输入机构(例如，具有或不具有触觉反馈的控制器)、平板电脑、智能电话，以及台式计算机或膝上型计算机。

一般来讲，在图1中，操作环境100示出了被配置为向用户呈现模拟现实(“SR”)体验的设备110，其中向用户呈现与设备110所位于的物理布景相对应的感官内容、表示虚拟现实(“VR”)布景的感官内容或它们的任何组合。换句话说，设备110被配置为向用户呈现各种沉浸水平，其中用户完全沉浸在物理布景中，完全沉浸在VR布景中(例如，VR体验)，或者部分沉浸在VR布景中并部分沉浸在物理布景中(例如，混合现实(“MR”)体验)。

如本文所用，“感官内容”或“内容”通常是指用户的一个或多个感觉器官可感知的物理布景中的外部刺激的属性或特性。“感官内容”或“内容”的示例包括听觉内容、视觉内容、触觉内容、嗅觉内容、味觉内容、或它们的组合。

“感官内容”或“内容”能够基于其起源的位置来区分。例如，自然/物理感官内容可源自接近设备110的物理(真实世界)布景(例如，物理布景105)。因此，具有或不具有设备110的用户可感知物理感官内容。相比之下，虚拟感官内容是指由计算设备(例如，设备110)生成或至少处理的感官内容。虚拟感官内容可包括由计算设备生成或至少处理的二维(“2D”)和/或三维(“3D”)图形/图像内容、声音、触觉反馈等。因此，不具有计算设备的用户无法感知虚拟感官内容。

作为SR体验的一部分，SR沉浸的一个水平涉及使用户完全沉浸在VR布景中。在该沉浸水平下，对应于接近设备110的物理布景(例如，物理布景105)的物理感官内容被替换为虚拟感官内容。该沉浸水平可被描述为VR体验。例如，为了向用户呈现完全基于视觉感官内容的体验，在设备110的显示器上仅呈现对应于VR布景的视觉感官内容。如果VR布景表示用恐龙填充的史前世界，则仅对应于该史前世界的视觉感官内容将呈现在设备110的显示器上。在该示例中，如果物理对象130是家庭狗并且虚拟对象120是史前世界的恐龙，则仅对应于恐龙的视觉感官内容(即，虚拟对象120)将被呈现在设备110的显示器上，作为SR体验的一部分。因此，在该示例的SR体验中，恐龙和相关联的虚拟感官内容(例如，来自史前世界的地形和动物群的图像)将替换用户视场中的家庭狗以及与物理布景105相关联的其他物理感官内容(例如，沙发和咖啡桌的图像)。

SR沉浸的另一个水平涉及使用户部分地沉浸在VR布景中并且使用户部分地沉浸在接近设备110的物理布景(例如，物理布景105)中，作为SR体验的一部分。在该沉浸水平下，用虚拟感官内容补充对应于附近物理布景的物理感官内容。作为MR体验的一部分，物理布景提供了参考框架，虚拟感官内容被引入到该参考框架中。继续上述示例，作为MR体验的一部分，对应于家庭狗的物理感官内容和对应于恐龙的虚拟感官内容将都呈现在设备110的显示器上。因此，在该示例的SR体验中，对应于史前世界(例如，恐龙)的视觉感官内容的至少子集将与对应于物理布景105(例如，家庭狗)的视觉感官内容的至少子集共存在用户视场中。

SR沉浸的又一个水平涉及使用户完全地沉浸在接近设备110的物理布景(例如，物理布景105)中，作为SR体验的一部分。在该沉浸水平下，仅向用户呈现对应于附近物理布景的物理感官内容。继续上述示例，作为MR体验的一部分，仅对应于家庭狗的物理感官内容将呈现在设备110的显示器上。因此，在该示例的SR体验中，对应于史前世界(例如，恐龙)的视觉感官内容将不存在于用户视场中。

在一个具体实施中，接近设备110的物理布景的元素(例如，物理对象130)在SR体验期间与虚拟布景的元素(例如，虚拟对象120)进行交互。在使用上述示例的该具体实施中，作为SR体验的一部分，用户可感知到家庭狗追赶恐龙(或反之亦然)。在一个具体实施中，接近设备110的物理布景的元素在SR体验期间可以不与虚拟布景的元素进行交互。在使用上述示例的该具体实施中，用户可能未感知到家庭狗和恐龙之间的任何交互。

在一个具体实施中，作为SR体验的一部分，用户可使用来自物理布景105的与设备110不相关联的物理对象来与史前世界中的虚拟对象和物理布景105中的物理对象两者进行交互。使用上述示例，如果用户从沙发中拿起球并抛出该球，则家庭狗和恐龙均可追逐该球。在MR体验期间，该球可能无意中撞倒搁置在咖啡桌上的花瓶并且干扰来自史前世界的树的叶片。

在图1所描绘的示例中，设备110被示出为头戴式设备(“HMD”)。本领域技术人员将认识到HMD仅是适合于实现设备110的一种形状因子。适合于实现设备110的其他形状因子包括智能电话、AR眼镜、智能眼镜、台式计算机、膝上型电脑、平板电脑、计算设备等。在一些具体实施中，设备110包括软件、固件和/或硬件的合适组合。例如，设备110可包括传感器112、输入设备114和输出设备(例如，图2的显示器230)。用于实现输出设备的合适设备的示例包括显示器、音频扬声器、触觉设备等。在一个具体实施中，设备110包括设置在设备110的面向内表面上的输出设备。

传感器112被配置为获得与设备110所位于的物理布景(例如，物理布景105)相对应的物理感官内容。传感器112可使用能够获得此类物理感官内容的任何元件或设备来实现，诸如图像传感器、触觉传感器、听觉传感器等。在一个具体实施中，传感器112是图像传感器，其作为被配置为捕获与设备110所位于的物理布景(例如，物理布景105)相对应的光场图像的图像传感器的阵列的一部分。

输入设备114被配置为接收表示从用输出设备仅呈现第一感官内容转变为用输出设备呈现第一感官内容和第二感官内容的组合，转变为用输出设备仅呈现第二感官内容的请求的输入。在一些方面中，输入设备114在SR体验期间可类似于用户的“主”按钮，因为输入设备114促进SR体验与设备110所位于的物理布景之间的转变。在一个具体实施中，输入设备114设置在设备110的面向外表面上。在一个具体实施中，输入设备114设置在设备110的外表面上。

在一个具体实施中，输入设备114被进一步配置为与设备110物理地分离。在一个具体实施中，输入设备114被进一步配置为当与设备110物理地分离时保持与设备110的处理器可通信地耦接。在一个具体实施中，输入设备114经由一个或多个有线和/或无线通信信道(例如，蓝牙、IEEE802.11x、IEEE 802.16x、IEEE 802.3x等)与设备110的处理器可通信地耦接。在一个具体实施中，输入设备114经由一个或多个有线和/或无线通信信道与设备110外部的计算设备的处理器可通信地耦接。在一个具体实施中，设备110外部的计算设备是物理布景105内的本地服务器(例如，视频游戏机)、物理布景105外部的远程服务器(例如，云服务器、应用程序服务器、中央服务器等)或它们的组合。

在一个具体实施中，输入设备114包括硬件输入设备、软件界面元素或它们的组合。硬件输入设备的示例包括：开关、按钮、轨迹球、可旋转设备(例如，旋钮)、滚轮、操纵杆、键盘、硬件滑块、惯性测量单元(“IMU”)等。软件界面元素的示例包括：检查框、单选按钮、下拉列表、列表框、按钮、来回切换、文本字段、图标、软件滑块、软键、虚拟键盘等。在一个具体实施中，在图形用户界面(“GUI”)内呈现软件界面元素。在一个具体实施中，输入设备114包括在计算布景中执行的语音助理应用程序，以及经由应用程序编程接口(“API”)向语音助理应用程序提供听觉输入的听觉传感器(例如，麦克风)。

虽然本文的示例在视觉感官内容方面描述了虚拟感官内容和物理感官内容，但是具体实施不限于视觉感官内容，而是当电子设备包括适当的传感器和输出设备时，可包括上文相对于图1所述的任何类型的感官内容。例如，当电子设备包括适当的传感器和输出设备(诸如麦克风和扬声器)时，本公开的各方面同样可适用于听觉内容。

转到图2，用于实现本发明的各方面的示例性计算布景200一般被示出和命名为200。图2的计算布景200包括虚拟图像源210、图像传感器212、输入设备214、SR子系统220和显示器230。在一个具体实施中，使用电子设备(诸如图1的设备110)来实现计算布景200。简要描述了图2所示的部件，并且为了简单起见，重点在于功能。计算布景200仅是合适计算布景的一个示例，并且不旨在对本发明的使用或功能的范围提出任何限制。计算布景200也不应被解释为具有与所示元件中的任一个或组合相关的任何依赖性或要求。

本领域的技术人员可以理解，图2所描绘的示例性元件被示为提供用于描述本发明的操作框架。因此，在一些具体实施中，每个计算布景的布置和组成可根据不同的具体实施方案而变化。在该具体实施中，图像传感器212和输入设备214分别是传感器112和输入设备114的具体实施。另外，在该具体实施中，显示器230是图1中未描绘的设备110的输出设备的具体实施。

虚拟图像源210被配置为生成表示用于呈现在显示器230上的VR布景的视觉感官内容(“虚拟内容”)。在一个具体实施中，虚拟图像源210包括计算机图形应用程序(流水线)。合适的计算机图形应用程序的示例包括矢量图形编辑器、栅格图形编辑器、3D建模器等。

在一个具体实施中，使用由实现计算布景200的电子设备提供的计算资源来实现虚拟图像源210。在一个具体实施中，使用由实现计算布景200的电子设备外部的计算设备提供的计算资源来实现虚拟图像源210的至少一部分。在一个具体实施中，虚拟图像源210经由实现计算布景200的电子设备的网络接口接收输入。

图像传感器212被配置为获得表示与实现计算设备200的电子设备所位于的物理布景相对应的视图的内容(“物理内容”)。在一个具体实施中，图像传感器212是被配置为捕获与实现计算设备200的电子设备所位于的物理布景相对应的光场图像的图像传感器阵列的一部分。在一个具体实施中，图像传感器212设置在实现计算设备200的电子设备的外表面上。

输入设备214被配置为接收表示从在显示器230上仅呈现虚拟内容选择性地转变为在显示器230中仅呈现物理内容的请求的输入。在一个具体实施中，当实现计算设备200的电子设备接近在显示器230中仅呈现虚拟内容的第一状态以及在显示器230中仅呈现物理内容的第二状态时，输入设备214的机械阻力变化。

在一个具体实施中，输入设备214被进一步配置为基于输入设备214的连续移动以连续方式从在显示器230中仅呈现虚拟内容转变为在显示器230中呈现虚拟内容和物理内容的组合，转变为在显示器230中仅呈现物理内容。在一个具体实施中，输入设备214被进一步配置为基于输入设备214移动到离散位置序列中以离散步骤在显示器230中仅呈现虚拟内容转变为在显示器230中呈现虚拟内容和物理内容的组合，转变为在显示器230中仅呈现物理内容。在一个具体实施中，输入设备214是设置在实现计算设备200的电子设备的外表面上的可旋转设备。

在一个具体实施中，输入设备214被进一步配置为以线性变化速率从在显示器230中仅呈现虚拟内容转变为在显示器230中呈现虚拟内容和物理内容的组合，转变为在显示器230中仅呈现物理内容。在一个具体实施中，输入设备214被进一步配置为以非线性变化速率从在显示器230中仅呈现虚拟内容转变为在显示器230中呈现虚拟内容和物理内容的组合，转变为在显示器230中仅呈现物理内容。在一个具体实施中，输入设备214被进一步配置为根据距实现计算布景200的电子设备的距离从在显示器230中仅呈现虚拟内容转变为在显示器230中呈现虚拟内容和物理内容的组合，转变为在显示器230中仅呈现物理内容。

本发明的一些具体实施在人机界面(“HMI”)方面描述了输入设备114和/或输入设备214。在这些具体实施中，在源自电子设备的用户的输入、指令或命令的方面描述了表示在由实现计算布景200的电子设备呈现的各种沉浸水平之间选择性地转变的请求的输入，以借助于在HMI方面描述的输入设备114和/或输入设备214从电子设备获得期望的输出。然而，具体实施不限于经由HMI源自电子设备的用户的此类输入。

例如，在一些具体实施中，表示在由实现计算布景200的电子设备呈现的各种沉浸水平之间选择性地转变的请求的输入可源自事件处理程序(或监听器)。事件处理程序被配置为响应于从事件源接收到事件通知而生成此类输入。在一个具体实施中，使用由实现计算布景200的电子设备(例如，图1的设备110)提供的计算资源来实现事件处理程序。在一个具体实施中，使用由实现计算布景200的电子设备外部的计算设备提供的计算资源来实现事件处理程序。在一个具体实施中，事件处理程序经由实现计算布景200的电子设备的网络接口接收事件通知。在一个具体实施中，事件处理程序与实现计算布景200的电子设备的机器到机器接口(“M2M”)或API相关联。

事件通知由事件源发送，该事件源被配置为监测预定义事件的发生。在一个具体实施中，事件源是使用由实现计算布景200的电子设备(例如，图1的设备110)提供的计算资源来实现的本地事件源。在一个具体实施中，事件源是使用由实现计算布景200的电子设备外部的计算设备提供的计算资源来实现的远程事件源。

以举例的方式，实现计算布景200的电子设备的用户可能正在观看其中来自地球的太空旅行者访问外星人行星的电影。在该示例中，在某个点处，电影到达其中太空旅行者抵达外星人行星的场景。电影到达其中旅行者抵达外星的场景的那个点可定义预定义事件。在一个具体实施中，预定义事件由媒体内容到达特定场景定义。

监测该预定义事件的发生的事件源将向事件处理程序发送事件通知。响应于接收到事件通知，事件处理程序将生成表示从由电子设备呈现的当前沉浸水平选择性地转变到另一个沉浸水平的请求的输入。在该示例中，在当前沉浸水平下，可在显示器230上呈现表示用户的咖啡桌的物理内容。根据接收到输入，SR子系统220可用对应于外星人世界的虚拟内容(诸如表示外星人世界的倒下树原木的虚拟内容)替换表示咖啡桌的物理内容的一部分。在一个具体实施中，SR子系统220用与媒体内容的特定场景相关联的虚拟现实内容替换表示物理布景中的物理对象的物理内容的一部分。

在该示例中，电影到达其他场景的点可定义其他预定义的事件。其他预定义事件包括由电影到达其中旅行者返回地球的场景的另一个点定义的第二预定义事件。监测该第二预定义事件的发生的事件源将向事件处理程序发送另一个事件通知。响应于接收到该事件通知，事件处理程序将生成表示选择性地转变到另一个沉浸水平的请求的输入。根据接收到该输入，SR子系统220可用表示咖啡桌的物理内容替换表示外星人世界的倒下树原木的虚拟内容。

在一个具体实施中，在该示例中在沉浸水平之间选择性地转变可涉及用表示外星人世界的虚拟内容逐渐替换表示接近用户的物理布景的物理内容(或反之亦然)。在一个具体实施中，用虚拟内容逐渐替换物理内容(或反之亦然)可使用下文更详细讨论的“基于对象的”技术来实现。

又如，移动的物理对象(例如，人或动物)可进入其中实现计算布景200的电子设备的用户完全沉浸在VR布景中的房间。也就是说，在当前沉浸水平下，当移动的物理对象进入房间时，在显示器230上仅呈现虚拟内容。在该示例中，移动物理对象进入房间可定义预定义事件。监测该预定义事件的发生的事件源将向事件处理程序发送事件通知。响应于接收到该事件通知，事件处理程序将生成表示从当前沉浸水平选择性地转变到不同沉浸水平的请求的输入。

根据接收到输入，SR子系统220可通过在显示器230上呈现进入房间的移动物理对象的视觉表示来自动转变到不同沉浸水平。在一个具体实施中，移动物理对象的视觉表示是移动物理对象的头像。在一个具体实施中，移动物理对象的视觉表示是线框表示。在一个具体实施中，可使用电子设备的图像传感器(例如，图像传感器212)来检测进入房间的移动物理对象。

继续该示例，当向用户呈现移动物理对象的视觉表示时，电子设备的眼动跟踪单元(例如，图12的眼动跟踪单元1246)可确定指示用户正在观看视觉表示的用户的眼动跟踪特性。用户观看移动物理对象的视觉表示可定义第二预定义事件。监测该第二预定义事件的发生的事件源将向事件处理程序发送另一个事件通知。

根据接收到该事件通知，事件处理程序将生成表示选择性地转变到另一个沉浸水平的请求的输入。根据接收到该输入，SR子系统220可用描绘移动物理对象的物理内容替换移动物理对象的视觉表示。在一个具体实施中，使用电子设备的图像传感器(例如，图像传感器212)来获得描绘进入房间的移动物理对象的物理内容。

又如，当完全沉浸在VR布景中时，实现计算布景200的电子设备的用户最初可以是静止的。也就是说，在当前沉浸水平下，当用户静止时，在显示器230上仅呈现虚拟内容。然后，电子设备的传感器(例如，惯性测量单元(“IMU”))可检测用户的移动。在该示例中，当完全沉浸在VR布景中时，用户在静止之后移动可定义预定义事件。监测该预定义事件的发生的事件源将向事件处理程序发送事件通知。在一个具体实施中，可使用电子设备的图像传感器来检测用户的运动状态的变化。

根据接收到该事件通知，事件处理程序将生成表示从当前沉浸水平选择性地转变到不同沉浸水平的请求的输入。根据接收到输入，SR子系统220可通过用表示阈值距离内的物理布景的物理内容替换显示器230中的电子设备的阈值距离内的虚拟内容来自动转变到不同沉浸水平。在一个具体实施中，使用电子设备的图像传感器(例如，图像传感器212)来获得表示阈值距离内的物理布景的物理内容。

又如，当用户完全沉浸在VR布景中时，实现计算布景200的电子设备可检测物理对象在接近电子设备的用户的物理布景中的移动。也就是说，在当前沉浸水平下，当检测到移动时，在显示器230上仅呈现虚拟内容。在该示例中，当用户完全沉浸在VR布景中时，检测到物理对象在接近电子设备的用户的物理布景中的移动可定义预定义事件。监测该预定义事件的发生的事件源将向事件处理程序发送事件通知。响应于接收到该事件通知，事件处理程序将生成表示从当前沉浸水平选择性地转变到不同沉浸水平的请求的输入。

根据接收到输入，SR子系统220可通过在显示器230上呈现物理对象的视觉表示来自动转变到不同沉浸水平。在一个具体实施中，物理对象的视觉表示为虚拟对象。在一个具体实施中，物理对象的视觉表示是线框表示。在一个具体实施中，可使用电子设备的图像传感器(例如，图像传感器212)来检测物理对象的移动。

在该示例中，物理对象在电子设备的阈值距离内移动可定义第二预定义事件。监测该第二预定义事件的发生的事件源将向事件处理程序发送另一个事件通知。响应于接收到该事件通知，事件处理程序将生成表示选择性地转变到另一个沉浸水平的请求的输入。根据接收到该输入，SR子系统220可用描绘物理内容的物理内容替换物理对象的视觉表示。在一个具体实施中，使用电子设备的图像传感器(例如，图像传感器212)来获得描绘物理对象的物理内容。

SR子系统220被配置为在输入处接收来自虚拟图像源210的虚拟内容和来自图像传感器212的物理内容，并且基于虚拟内容和/或物理内容生成SR内容以用于输出到显示器230。在一个具体实施中，MR内容用于在显示器230上呈现MR体验。在一个具体实施中，SR子系统220还在输入处接收指示与物理布景和/或VR布景有关的通知或信息的数据以包括在向显示器230输出的SR内容中。下文相对于图6更详细地讨论了有关物理布景和/或VR布景的此类通知或信息的示例。

在一个具体实施中，SR子系统220包括图像处理功能，该图像处理功能被配置为修改视觉内容的属性以便操纵、增强和/或转换相关联的视觉内容以呈现在显示器230上。视觉内容的示例性属性包括不透明度、颜色参数(例如，色调、亮度、明度、色度、色彩和饱和度)、对比度、纹理、深度等。在一个具体实施中，修改视觉内容的属性涉及将滤波器应用于被修改的视觉内容。在一个具体实施中，滤波器均匀地修改视觉内容。在一个具体实施中，滤波器在每个像素的基础上修改视觉内容。

在一个具体实施中，SR子系统220包括组成过程，该组成过程被配置为在输入上接收视觉内容并组合或合并视觉内容以生成MR内容以用于呈现在显示器230上。组成过程可使用以下各项来实现：基于节点的视觉内容组成、基于层的视觉内容组成等。在一个具体实施中，组成过程涉及将虚拟内容与物理内容进行α混合。在一个实施方式中，MR内容由SR子系统220格式化以与和显示器230相关联的显示驱动器兼容。

显示器230包括像素235的阵列并且被配置为呈现由SR子系统220输出的SR内容。由SR子系统输出的SR内容可包括虚拟内容、物理内容或它们的组合。每个像素235可使用发光二极管(LED)、有机发光二极管(OLED)、等离子体电池、液晶显示器(LCD)部件等来实现。在一个具体实施中，显示器230被进一步配置为响应于检测到与输入设备214的交互，在视觉上区分电子设备的物理布景中的物理对象(例如，图1的物理对象120)和虚拟布景中的虚拟对象(例如，图1的虚拟对象130)。在一个具体实施中，显示器230设置在实现计算布景200的电子设备的面向内表面上。

在一个具体实施中，显示器230是用于呈现左眼视点和右眼视点的立体图像显示器。在一个具体实施中，立体图像显示器呈现与实现计算布景200的电子设备所位于的物理布景(例如，图1的物理布景105)相对应的场景的3D表示的立体子集。在一个具体实施中，使用由图像传感器阵列捕获的光场图像来重建物理布景的3D表示。

图3至图5示出了根据具体实施的如由图1的设备110实现的图2的计算布景200的显示器230上呈现的内容的示例。在图3至图5所示的示例中，所呈现的内容是视觉感官内容(物理视觉感官内容或虚拟视觉感官内容)。然而，本领域的技术人员将认识到，具体实施不限于视觉感官内容。在各种具体实施中，各方面同样适用于其他形式的感官内容，诸如听觉内容、视觉内容、触觉内容、嗅觉内容、味觉内容、或它们的组合。这些不同类型的感官内容中的每个感官内容可呈现在电子设备的适当输出设备上。例如，听觉内容可呈现在电子设备的扬声器上，并且触觉内容可呈现在电子设备的触觉输出设备上。

图3是在显示器230上仅呈现表示VR布景的虚拟内容的示例。在图3中，在显示器230上仅呈现表示VR布景中的虚拟对象的虚拟内容。由于图3中仅呈现虚拟内容，因此对应于物理布景(例如，图1的物理布景105)的物理内容将不呈现在显示器230上。因此，在图3的示例中，表示物理对象(例如，物理对象130)的物理内容将不呈现在显示器230上。在显示器230上仅呈现虚拟内容的该示例可对应于下文参考图7更详细讨论的第一沉浸水平710。

图4是在显示器230上仅呈现对应于物理布景的物理内容的示例。在图4中，在显示器230上仅呈现表示物理布景中的物理对象(例如，物理对象130)的物理内容。使用图像传感器(例如，图2的图像传感器212)来获得对应于物理布景的此类物理内容。由于图4中仅呈现物理内容，因此表示VR布景的虚拟内容将不呈现在显示器230上。因此，表示虚拟对象(例如，虚拟对象120)的虚拟内容将不呈现在显示器230上。在显示器230上仅呈现物理内容的该示例可对应于下文参考图7更详细讨论的第六沉浸水平760。

图5是在显示器230上同时呈现表示VR布景的虚拟内容和对应于物理布景的物理内容的示例。在图5中，使用图像传感器(例如，图2的图像传感器212)来获得对应于物理布景的物理内容。在一个具体实施中，表示VR布景的虚拟内容和对应于物理布景的物理内容通过叠加对应于每个相应内容的单独层来同时呈现在显示器230上，如图6所示。由于与VR布景和物理布景两者相对应的视觉内容在图5中呈现在显示器230上，因此在该示例中，表示虚拟对象(例如，虚拟对象120)和物理对象(例如，物理对象130)两者的视觉内容呈现在显示器230上。在显示器230上呈现与VR布景和物理布景两者相对应的视觉内容的该示例可对应于下文参考图7更详细讨论的第二沉浸水平720至第五沉浸水平750中的一个或多个沉浸水平。

图6A至图6B示出了适用于实现本发明的各方面的显示器600的示例。在一个具体实施中，图2的显示器230使用显示器600来实现。图6A是显示器600的组成图并且图6B是显示器600的分解图。一般来讲，显示器600被配置为呈现视觉内容，该视觉内容在图6A至图6B的示例中由视觉元素615、视觉元素625和视觉元素635表示。在图6A所描绘的显示器600的组成图中，视觉元素615、视觉元素625和视觉元素635似乎各自是在显示器600上呈现的相同视觉内容的分量。然而，如图6B提供的显示器600的分解图中所示，每个视觉元素驻留在显示器600上同时呈现的多个视觉内容层中的单独视觉内容层上。虽然图6B将显示器600描绘为包括三个视觉内容层(即，层610、620和630)，但本领域的技术人员将认识到，显示器600可包括任何数量的层。

图6A所示的显示器600的组成图是由SR子系统(例如，图2的SR子系统220)执行的组成过程的结果。具体地讲，SR子系统的组成过程接收组成显示器600的图6B所示的每个视觉内容层(即，第一层610、第二层620和/或第三层630)作为输入，并且创建图6A所示的显示器600的组成图。在一个具体实施中，SR子系统的组成过程包括将多个视觉内容层的视觉内容进行α混合。

由于驻留在单独视觉内容层上，视觉元素615、视觉元素625和视觉元素635各自是不同视觉内容的分量。具体地，视觉元素615是呈现在第一层610上的视觉内容的分量，视觉元素625是呈现在第二层620上的视觉内容的分量，并且视觉元素635是呈现在第三层630上的视觉内容的分量。通过在单独视觉内容层上呈现不同视觉内容而提供的这种隔离有利于独立地修改在每个相应视觉内容层上呈现的视觉内容的属性。在一个具体实施中，视觉内容的属性的独立修改通过图像处理功能来实现，诸如由SR子系统(例如，图2的SR子系统220)在生成SR内容以呈现在显示器600上时在每个视觉内容层上执行的图像处理功能。

例如，与包括在第一层610上呈现的视觉内容中的视觉元素615相关联的不透明度可独立于与包括在第二层620上呈现的视觉内容中的视觉元素625相关联的不透明度进行修改。同样，与包括在第三层630上呈现的视觉内容中的视觉元素635相关联的不透明度可独立于视觉元素615和视觉元素625的相应不透明度进行修改。在一个具体实施中，内容的不透明度出现在用户可感知的预定义时间段内。本领域的技术人员将认识到，不透明度是表征视觉内容的许多属性中的一者。这些属性中的每个属性可独立地进行修改以操纵、增强和/或变换相关联的视觉内容。此类属性的示例涉及颜色参数(例如，色调、亮度、明度、色度、色彩和饱和度)、对比度、纹理、深度等。

通过在视觉内容的单独层上呈现不同视觉内容而提供的隔离还有利于同时呈现使用不同视觉内容源来获得的视觉内容。通过将使用第一视觉内容源来获得的视觉内容与使用第二视觉内容源来获得的视觉内容叠加，计算布景(例如，图2的计算布景200)可以在显示器(例如，显示器230)上同时呈现来自每个视觉内容源的内容。

例如，可使用图像传感器(例如，图像传感器212)来获得呈现在第二层620上的视觉内容，然而可使用虚拟图像源(例如，虚拟图像源210)来获得呈现在第三层630上的视觉内容。在该示例中，视觉元素625可对应于物理对象(例如，图1的物理对象130)的视觉表示，并且视觉元素635可对应于虚拟对象(例如，虚拟对象120)的视觉表示。又如，可使用虚拟图像源来获得呈现在第二层620上的视觉内容，然而可使用图像传感器来获得呈现在第三层630上的视觉内容。在该示例中，视觉元素625可对应于虚拟对象的视觉表示，并且视觉元素635可对应于物理对象的视觉表示。

在图6A和图6B中，视觉元素635被描绘为包括文本和软件界面元素。计算布景可使用视觉内容层(诸如层630)来呈现有关物理布景和/或VR布景的任何通知或信息。例如，计算布景可用与以下各项相关的信息填充视觉元素635：当前前进方向、物理布景和/或VR布景中的当前位置、物理布景和/或VR布景中的当前位置与路点/目的地位置之间的距离等。又如，计算布景可用对应于物理布景和/或VR布景的描述性和/或上下文信息(例如，物理/虚拟对象的身份、物理布景和/或VR布景中的当前天气等)填充视觉元素635。又如，计算布景可用所显示的视觉内容的相对组成的指示来填充视觉元素635。

在一些具体实施中，输入设备用于在与不同现实边界位置相关联的沉浸水平之间转变。一些具体实施涉及在显示器上呈现处于与现实边界的第一位置相关联的第一沉浸水平的SR环境的方法。方法还涉及使用输入设备来接收表示将第一沉浸水平改变为第二沉浸水平的请求的输入。输入可将现实边界的位置从第一位置改变为第二位置。根据接收到输入，方法以第二沉浸水平呈现SR环境。第二沉浸水平与现实边界的第二位置相关联，并且其中基于现实边界的位置在SR环境中呈现物理布景的真实内容和虚拟内容。

第二沉浸水平与第一沉浸水平相比可显示更多真实内容和更少虚拟内容，或者第二沉浸水平与第一沉浸水平相比可显示更少真实内容和更多虚拟内容。在一些具体实施中，虚拟内容仅呈现在现实边界的一侧上。在一些具体实施中，真实内容仅呈现在现实边界的一侧上。

在一些具体实施中，现实边界是由远离视点位置的距离限定的圆形边界。圆形边界距视点位置的距离可在现实边界的第一位置和第二位置之间不同，例如，当用户在两个或更多个沉浸水平之间切换时，现实边界可径向向外或径向向内移动。

图7示出了根据距电子设备的距离的利用电子设备在沉浸水平之间选择性地转变的示例。这产生了这样的效果，其中当沉浸水平改变时，基于内容距离并且基于该距离在当前沉浸水平中的虚拟/物理程度，存在内容从虚拟到物理的转变，反之亦然。例如，在第一沉浸水平下，距用户的所有距离可对应于虚拟环境，在第二沉浸水平下，接近的区域可为完全虚拟，但随着远离用户的距离增加，虚拟内容淡出，同时物理内容淡入。当用户改变为更高(编号的)沉浸水平时，用户附近的区域变得较不虚拟且更加物理，例如，虚拟/物理转变开始的边界改变。图7的示例包括六个沉浸水平，其范围从仅虚拟内容呈现在电子设备的显示器上的第一沉浸水平710到仅物理内容呈现在显示器上的第六沉浸水平760。在图7中，物理布景中的距电子设备的距离和VR布景中的距电子设备的距离各自由远离电子设备延伸的箭头表示。

每个箭头对应于距电子设备的视点位置的距离，该距离在相应布景中沿径向向外方向从视点位置延伸。如下文参考图8和图9更详细地解释的，视点位置限定物理布景和VR布景两者共同的电子设备的位置。在这方面，图7中的每个箭头类似于图8和图9的参考标志符820。此外，对于图7中描绘的每个沉浸水平，对应的电子设备近似于图8和图9的视点位置810。

如图7所示，由电子设备(例如，图1的设备110)提供的SR体验可涉及各种沉浸水平。在第一沉浸水平710下，在电子设备的显示器上仅呈现虚拟内容。图7通过以下方式示出这一点：示出在第一沉浸水平710下，显示器由100％虚拟内容组成而不管与电子设备的视点位置的距离如何。相反，在第一沉浸水平710下，显示器由0％物理内容组成。

在第二沉浸水平720下，内容的相对组成在靠近视点位置的第一距离处保持100％虚拟内容/0％物理内容。换句话讲，位于靠近视点位置的第一距离处的虚拟内容以100％显示，而位于靠近视点位置的第一距离处的物理内容以0％显示。然而，随着距离从视点位置沿径向向外方向增加，内容的相对组成改变。例如，在比第一距离更远离视点位置的第二距离处，第二沉浸水平720处的内容的相对组成改变为75％虚拟内容/25％物理内容。换句话讲，位于靠近视点位置的第二距离处的虚拟内容以75％显示，而位于靠近视点位置的第二距离处的物理内容以25％显示。在比第二距离更远离视点位置的第三距离处，第二沉浸水平720处的内容的相对组成再次改变为50％虚拟内容/50％物理内容。换句话讲，位于靠近视点位置的第三距离处的虚拟内容以50％显示，而位于靠近视点位置的第三距离处的物理内容以50％显示。如果在本示例中假定第一距离、第二距离和第三距离彼此等距，则第二沉浸水平720下的内容的相对组成可被视为相对于视点位置以线性变化速率转变。例如，从一个距离到下一个距离(例如，从第一距离到第二距离)，虚拟内容的相对组成减少25％，而物理内容的相对组成增加25％。

然而，内容的相对组成也可具有相对于视点位置的非线性变化速率，如第三沉浸水平730所示。例如，在第一距离和第二距离之间，虚拟内容的相对组成减少25％(即，从75％到50％)，而物理内容的相对组成增加25％(即，从25％到50％)。然而，在第二距离和第三距离之间，虚拟内容的相对组成减少20％(即，从50％到30％)，而物理内容的相对组成增加20％(即，从50％到70％)。

尽管在图7的示例中未示出，但电子设备可类似地被配置为以线性变化速率从用显示器仅呈现虚拟内容转变为用显示器呈现虚拟内容和物理内容的组合，转变为用显示器仅呈现物理内容。换句话说，电子设备可经由居间沉浸水平以线性变化速率从类似于第一沉浸水平710的沉浸水平转变到类似于第六沉浸水平760的另一个沉浸水平。同样，电子设备可被配置为以非线性变化速率从用显示器仅呈现虚拟内容转变为用显示器呈现虚拟内容和物理内容的组合，转变为用显示器仅呈现物理内容。

在第四沉浸水平740下，相对于与距视点位置的第三距离相对应的内容，仅显示与距视点位置的第三距离相对应的物理内容—不显示与距视点位置的第三距离相对应的虚拟内容。相比之下，相对于与距视点位置的第二距离相对应的内容，显示与距视点位置的第二距离相对应的一些物理内容(例如，75％)，并且显示与距视点位置的第二距离相对应的一些虚拟内容(例如，25％)。相对于与距视点位置的第一距离相对应的内容，显示与距视点位置的第二距离相对应的一些物理内容(例如，50％)，并且显示与距视点位置的第二距离相对应的一些虚拟内容(例如，50％)。

在第五沉浸水平750下，相对于与距视点位置的第二距离和第三距离相对应的内容，仅显示物理内容—不显示虚拟内容。因此，与第四沉浸水平740中相比，针对距视点的更远距离仅呈现物理内容。在第六沉浸水平750下，相对于与距视点位置的第一距离、第二距离和第三距离相对应的内容，仅显示物理内容—不显示虚拟内容。因此，图7示出了当沉浸水平从第一沉浸水平710增加到第六沉浸水平760时，呈现来自逐渐更近区域的物理内容。应当注意，第四沉浸水平740和第五沉浸水平750之间的转变引入了下文参考图8和图9更详细地解释的现实边界的概念。

图8至图10B示出了在电子设备(例如，图1的设备110)的显示器1000上呈现的SR体验800的示例。图8示出了SR体验800的俯视图并且图9示出了SR体验800的侧视图。图10A示出了从视点位置810的角度以第一沉浸水平呈现SR体验800的电子设备的显示器1000的示例(1000A)。图10B示出了从视点位置810的角度以第二沉浸水平呈现SR体验800的显示器1000的示例(1000B)。

在呈现SR体验800时，视点位置810限定物理布景和VR布景两者共同的电子设备的位置。当SR体验800呈现在电子设备的显示器1000上时，视点位置810可由于电子设备移动而随时间推移改变。例如，假设视点位置810是电子设备在移动之前的初始位置，则在电子设备移动之后，更新的视点位置可位于对象875和对象885之间。在移动到该更新的视点位置时，显示器1000将被更新以从该更新的视点位置的角度呈现SR体验。然而，为了简单起见，对图8和图9的以下描述将假设电子设备在视点位置810处保持静止。

如上面参考图7所讨论的，由电子设备提供的SR体验(诸如SR体验800)可涉及各种沉浸水平。这些各种沉浸水平的范围可从在电子设备的显示器上仅呈现虚拟内容(例如，第一沉浸水平710)到在显示器上呈现虚拟内容和物理内容的组合(例如，第二沉浸水平720至第五沉浸水平750)到在显示器上仅呈现物理内容(例如，第六沉浸水平760)。

在图8至图10B所示的示例中，当在显示器1000上呈现虚拟内容和物理内容的组合时，引入现实边界830。现实边界描绘在虚拟/物理布景的第一区域和虚拟/物理布景的第二区域之间。在第一区域中，所显示的虚拟内容相对所显示的物理内容是主要的(“虚拟主要区域”)。例如，第一区域的相对组成可为51％虚拟内容(或更大)/49％物理内容(或更小)。在第二区域中，所显示的物理内容相对所显示的虚拟内容是主要的(“物理主要区域”)。例如，显示器1000的第二区域的相对组成可为49％虚拟内容(或更小)/51％物理内容(或更大)。

当电子设备在涉及在显示器1000上呈现虚拟内容和物理内容的组合的沉浸水平之间转变时，现实边界830可位于不同位置。例如，分别以第一沉浸水平和第二沉浸水平呈现SR体验800的图10A和图10B之间的比较示出了现实边界的位置随着沉浸水平改变而从现实边界830A改变为现实边界830B。

在显示器1000A(呈现第一沉浸水平)中，在视点位置810和现实边界830A之间延伸的区域涵盖SR体验800的部分840。然而，在显示器1000B(呈现第二沉浸水平)中，在视点位置810和现实边界830B之间延伸的区域涵盖SR体验800的部分840和部分850两者。因此，在第一沉浸水平和第二沉浸水平(分别由显示器1000A和显示器1000B呈现)之间的转变中，现实边界830沿径向向外方向820转变。具体地讲，现实边界830沿径向向外方向820在第一位置(由现实边界830A表示)和第二位置(由现实边界830B表示)之间转变。第一位置比第二位置更靠近视点位置810。

对象875和对象895在现实边界830的相对侧上，而不管现实边界830在呈现第一沉浸水平时定位在第一位置(即，现实边界830A)还是在呈现第二沉浸水平时定位在第二位置(即，现实边界830B)。对象875在视点位置810和现实边界830之间延伸的区域中。对象895在沿径向向外方向820延伸超过现实边界830的区域中。因此，在两个沉浸水平下，对象875和对象895的显示不改变。

相比之下，对象885的显示取决于沉浸水平。当沉浸水平改变并且现实边界830从现实边界830A改变为现实边界830B以及反之亦然时，对象885的显示改变，因为对象885的至少一部分从在现实边界830内改变为在现实边界830外或者反之亦然。

例如，在视点位置810与现实边界830之间延伸的第一区域可为虚拟主要区域，而延伸超过现实边界830的第二区域可为物理主要区域。在该示例中，对象885在以第一沉浸水平呈现时处于物理主要区域中的部分将在从第一沉浸水平转变到第二沉浸水平时处于虚拟主要区域中。

又如，在视点位置810与现实边界830之间延伸的第一区域可为物理主要区域，而延伸超过现实边界830的第二区域可为虚拟主要区域。在该示例中，对象885在以第一沉浸水平呈现时处于虚拟主要区域中的部分将在从第一沉浸水平转变到第二沉浸水平时处于物理主要区域中。

在图8至图10B所示的示例中，VR布景中的虚拟对象被映射到电子设备所位于的物理布景中的物理对象(与其对准)。然而，具体实施不限于此。在一个具体实施中，VR布景中的虚拟对象被定位而不考虑物理布景中的物理对象。换句话说，在一个具体实施中，VR布景中的虚拟对象不被映射到物理布景中的物理对象(与其对准)。在一个具体实施中，VR布景中的距离以与物理布景中的距离不同的比例变化。换句话说，在一个具体实施中，VR布景中的距离不与物理布景中的距离一一对应。

此外，在一些具体实施中，物理对象的视觉表示可呈现在电子设备的显示器中而不参考现实边界。在一个具体实施中，响应于检测到电子设备的阈值距离内的物理对象，在电子设备的显示器上呈现物理对象的视觉表示。在一个具体实施中，使用图像传感器(例如，使用RGB-D相机、红外传感器、深度传感器等)将物理对象检测为处于电子设备的阈值距离内。在一个具体实施中，物理对象的视觉表示是物理对象的线框表示。在一个具体实施中，线框表示表示了物理对象的外围边界。在一个具体实施中，视觉表示是使用图像传感器来获得的物理对象的图像。

在一些具体实施中，由电子设备(例如，图1的设备110)提供的SR体验可涉及各自对应于物理对象的不同类别的各种水平。可通过用于利用电子设备在沉浸水平之间选择性地转变的这种“基于对象的”技术来实现各种益处。一个此类益处是对应于物理布景的物理对象的物理内容以及替换电子设备的显示器上的物理内容的虚拟现实布景的虚拟内容可以用作用户视野中的物理布景和虚拟现实布景共同的参考点。通过在物理现实布景和虚拟现实布景之间转变时在用户视野中提供公共参考点，由电子设备的用户经历的晕动病的发生率减轻。

以举例的方式，当在显示器上仅呈现物理内容与在显示器上仅呈现虚拟内容之间转变(或反之亦然)时，该“基于对象的”技术可涉及10个沉浸水平。在该示例中，电子设备可根据使用电子设备的输入设备来接收输入而在这8个沉浸水平之间选择性地转变。

在该示例的第一沉浸水平下，在电子设备的显示器上仅呈现物理内容。在该示例的第二沉浸水平下，在显示器上用虚拟内容替换对应于其他人的物理内容。在该示例的第三沉浸水平下，在显示器上用虚拟内容替换对应于宠物和其他动物的物理内容。在该示例的第四沉浸水平下，在显示器上用虚拟内容替换与对应于物理布景的地板的物理内容对应的物理内容。在该示例的第五沉浸水平下，在显示器上用虚拟内容替换对应于物理布景的家具的物理内容。

在该示例的第六沉浸水平下，在显示器上用虚拟内容替换对应于物理布景的窗户的物理内容。在该示例的第七沉浸水平下，在显示器上用虚拟内容替换对应于门侧柱、基座板和其他模制或修整工作的物理内容。在该示例的第八沉浸水平下，在显示器上用虚拟内容替换对应于物理布景的墙壁和相关联的壁悬挂件(例如，镜子、照片、绘图等)的物理内容。在该示例的第九沉浸水平下，在显示器上用虚拟内容替换对应于物理布景的天花板的物理内容。在该示例的第十沉浸水平下，用虚拟内容替换任何残余物理内容以使得仅虚拟内容呈现在电子设备的显示器上。

本领域的技术人员将理解，沉浸水平的数量、水平的顺序、分配给每个沉浸水平的对象类别等可根据设计选择而变化。例如，在一些具体实施中，电子设备可被配置为在9个或更少沉浸水平之间选择性地转变，而在其他具体实施中，可涉及11个或更多个沉浸水平。又如，在一些具体实施中，在介于分配给物理布景的家具和窗户的沉浸水平之间的沉浸水平下，可用虚拟内容替换对应于物理布景的天花板的物理内容。

又如，在一些具体实施中，在相同沉浸水平下，可在显示器上用虚拟内容替换对应于物理布景的地板和家具的物理内容。又如，在一些具体实施中，对象类别可能以更粗略或更精细的粒度分配给沉浸水平。在该示例中，较粗略粒度可涉及将上面讨论的地板、墙壁和天花板对象类别与对应于定义物理布景的物理边界的对象类别组合。在该示例中，较精细粒度可涉及将上面讨论的家具对象类别分成多个对象类别(例如，针对座椅、桌子、抽屉等的单独对象类别)。

参考图11，示出了用于在沉浸水平之间选择性地转变的示例性方法1100。在一个具体实施中，方法1100由图1的设备110或图2的计算布景200实现。在框1102处，方法1100包括在电子设备的显示器上呈现表示VR布景的第一内容。在一个具体实施中，第一内容由图2的虚拟图像源210输出。

在框1104处，方法1100包括使用电子设备的输入设备来接收表示呈现与电子设备所位于的物理布景相对应的视图的请求的输入。在一个具体实施中，在接收到表示呈现与电子设备所位于的物理布景相对应的视图的请求的输入之前，在显示器上仅呈现虚拟内容。在一个具体实施中，在显示器上仅呈现虚拟内容对应于图7的第一沉浸水平710。

在一个具体实施中，输入设备被配置为基于输入设备的连续移动而从在显示器中仅呈现第一内容转变为在显示器中呈现第一内容和第二内容的组合，转变为在显示器中仅呈现第二内容。在一个具体实施中，输入设备被配置为基于输入设备到离散位置序列中的移动而从在显示器中仅呈现第一内容转变为在显示器中呈现第一内容和第二内容的组合，转变为在显示器中仅呈现第二内容。在一个具体实施中，当电子设备接近在显示器中仅呈现第一内容的第一状态以及在显示器中仅呈现第二内容的第二状态时，输入的机械阻力变化。

在框1106处，根据接收到输入，方法1100包括在显示器上同时呈现第一内容以及表示与使用电子设备的图像传感器来获得的物理布景相对应的视图的第二内容。在一个具体实施中，第二内容由图1的传感器112或图2的图像传感器212输出。在一个具体实施中，第二内容是包括物理布景的图像序列的物理布景的视频。在一个具体实施中，同时呈现第一内容与第二内容包括将第一内容与使用图像传感器来获得的第二内容叠加。在一个具体实施中，同时呈现第一内容与第二内容包括将使用图像传感器来获得的第二内容与第一内容叠加。

在一个具体实施中，同时呈现第一内容与第二内容包括修改表示VR布景的所显示的第一内容的不透明度。在一个具体实施中，同时呈现第一内容与第二内容包括修改表示对应于物理布景的视图的所显示的第二内容的不透明度。在一个具体实施中，同时呈现第一内容与第二内容包括通过修改所显示的第一内容的不透明度、修改所显示的第二内容的不透明度或它们的组合来呈现多个沉浸水平。

在一个具体实施中，表示呈现与电子设备所位于的物理布景相对应的视图的请求的输入是第一输入。在一个具体实施中，方法1100还包括使用输入设备来接收表示停止显示表示VR布景的所显示的第一内容的请求的第二输入。在一个具体实施中，根据接收到第二输入，方法1100还包括从显示器移除第一内容并且继续呈现表示与使用电子设备的图像传感器来获得的物理布景相对应的视图的第二内容。在一个具体实施中，方法1100还包括将第二内容与第一内容进行α混合。

在一个具体实施中，从显示器移除第一内容并继续呈现表示与物理布景相对应的视图的第二内容对应于图7的第六沉浸水平760。

在一个具体实施中，输入设备能够在至少两个方向上旋转。在一个具体实施中，第一输入和第二输入是在至少两个方向中的不同方向上的旋转。在一个具体实施中，第一输入和第二输入是在至少两个方向中的相同方向上的旋转。

在一个具体实施中，方法1100由处理逻辑部件执行，包括硬件、固件、软件或其组合。在一个具体实施中，方法1100由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

图12是根据一些具体实施的示例性设备110的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备110包括一个或多个处理单元1202(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个I/O设备和传感器1206、一个或多个通信接口1208(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C或类似类型的接口)、一个或多个编程(例如，I/O)接口1210、一个或多个显示器1212、一个或多个面向内部或面向外部的图像传感器系统1214、存储器1220以及用于互连这些部件和各种其他部件的一条或多条通信总线1204。

在一些具体实施中，一条或多条通信总线1204包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备及传感器1206包括以下项中的至少一者：IMU、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎以及/或者一个或多个深度传感器(例如，结构光、飞行时间等)等。

在一些具体实施中，一个或多个显示器1212被配置为向用户呈现MR体验。在一些具体实施中，一个或多个显示器1212对应于全息、数字光处理(“DLP”)、液晶显示器(“LCD”)、硅上液晶(“LCoS”)、有机发光场效应晶体管(“OLET”)、有机发光二极管(“OLED”)、表面传导电子发射器显示器(“SED”)、场发射显示器(“FED”)、量子点发光二极管(“QD-LED”)、微机电系统(“MEMS”)和/或相似显示器类型。在一些具体实施中，一个或多个显示器1212对应于衍射、反射、偏振、全息等波导显示器。例如，设备110包括单个显示器。又如，设备110包括针对用户的每只眼睛的显示器。在一些具体实施中，一个或多个显示器1212能够呈现物理内容和虚拟内容的任何组合。

在一些具体实施中，该一个或多个图像传感器系统1214被配置为获取与包括用户的眼睛的用户的面部的至少一部分对应的图像数据。例如，该一个或多个图像传感器系统1214包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(“CMOS”)图像传感器或电荷耦合设备(“CCD”)图像传感器)、单色相机、IR相机、基于事件的相机等。在各种具体实施中，该一个或多个图像传感器系统1214还包括对用户的面部的该部分发射光的照明源，诸如闪光灯或闪光源。

存储器1220包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器1220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器1220任选地包括与一个或多个处理单元1202远程定位的一个或多个存储设备。存储器1220包括非暂态计算机可读存储介质。在一些具体实施中，存储器1220或者存储器1220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统1230、沉浸模块1240和用户数据存储装置1260。

操作系统1230包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，沉浸模块1240被配置为管理和协调处于不同沉浸水平的一个或多个用户的一个或多个MR体验(例如，一个或多个用户的单个MR体验，或一个或多个用户的相应群组的多个MR体验)。为此，在各种具体实施中，沉浸模块1240包括数据获取单元1242、MR呈现单元1244、眼动跟踪单元1246和数据传输单元1248。

在一些具体实施中，数据获取单元1242被配置为至少从设备110外部的一个或多个计算设备获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取单元1242包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，MR呈现单元1244被配置为经由一个或多个显示器1212呈现MR内容。为此，在各种具体实施中，MR呈现单元1244包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，眼动跟踪单元1246被配置为基于从图像传感器接收的图像数据来确定用户的眼动跟踪特性。为此，在各种具体实施中，眼动跟踪单元1246包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，数据传输单元1248被配置为至少向设备110外部的一个或多个计算设备传输数据(例如，呈现数据、位置数据等)。为此，在各种具体实施中，数据传输单元1248包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

尽管数据获取单元1242、MR呈现单元1244、眼动跟踪单元1246和数据传输单元1248被示为驻留在单个设备(例如，设备110)上，但应当理解，在其他具体实施中，数据获取单元1242、MR呈现单元1244、眼动跟踪单元1246和数据传输单元1248的任何组合可位于单独的计算设备中。

图12更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图12中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

本发明的前述描述和概述应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。

Claims (76)

1.一种在沉浸水平之间选择性地转变的方法，所述方法包括：

在具有显示器和图像传感器的电子设备处；

在所述显示器上以第一沉浸水平呈现模拟现实(SR)环境，其中所述第一沉浸水平与现实边界的第一位置相关联；

使用输入设备来接收表示将所述第一沉浸水平改变为第二沉浸水平的请求的输入；以及

根据接收到所述输入，以所述第二沉浸水平呈现所述SR环境，其中所述第二沉浸水平与所述现实边界的第二位置相关联，并且其中基于所述现实边界的所述位置在所述SR环境中呈现物理布景的真实内容和虚拟内容。

2.根据权利要求1所述的方法，其中所述第二沉浸水平与所述第一沉浸水平相比显示更多的真实内容和更少的虚拟内容。

3.根据权利要求1至2中任一项所述的方法，其中所述第二沉浸水平与所述第一沉浸水平相比显示更少的真实内容和更多的虚拟内容。

4.根据权利要求1至3中任一项所述的方法，其中虚拟内容仅呈现在所述现实边界的一侧上。

5.根据权利要求1至4中任一项所述的方法，其中真实内容仅呈现在所述现实边界的一侧上。

6.根据权利要求1至5中任一项所述的方法，其中所述现实边界是由远离视点位置的距离限定的圆形边界。

7.根据权利要求6所述的方法，其中所述圆形边界距所述视点位置的所述距离在所述现实边界的所述第一位置和所述第二位置之间不同。

8.根据权利要求1至7中任一项所述的方法，其中所述输入设备设置在所述电子设备的外表面上并且包括硬件输入设备、软件界面元素或它们的组合。

9.根据权利要求1至8中任一项所述的方法，其中所述输入设备包括可旋转设备。

10.根据权利要求1至9中任一项所述的方法，其中所述电子设备是头戴式设备。

11.一种系统，包括：

非暂态计算机可读存储介质；以及

一个或多个处理器，所述一个或多个处理器耦接至所述非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质包括程序指令，所述程序指令在所述一个或多个处理器上执行时，使所述系统执行包括以下操作的操作：

在显示器上以第一沉浸水平呈现模拟现实(SR)环境，其中所述第一沉浸水平与现实边界的第一位置相关联；

使用输入设备来接收表示将所述第一沉浸水平改变为第二沉浸水平的请求的输入；以及

根据接收到所述输入，以所述第二沉浸水平呈现所述SR环境，其中所述第二沉浸水平与所述现实边界的第二位置相关联，并且其中基于所述现实边界的所述位置在所述SR环境中呈现物理布景的真实内容和虚拟内容。

12.根据权利要求11所述的系统，其中所述第二沉浸水平与所述第一沉浸水平相比显示更多的真实内容和更少的虚拟内容。

13.根据权利要求11至12中任一项所述的系统，其中所述第二沉浸水平与所述第一沉浸水平相比显示更少的真实内容和更多的虚拟内容。

14.根据权利要求11至13中任一项所述的系统，其中虚拟内容仅呈现在所述现实边界的一侧上。

15.根据权利要求11至14中任一项所述的系统，其中真实内容仅呈现在所述现实边界的一侧上。

16.根据权利要求11至15中任一项所述的系统，其中所述现实边界是由远离视点位置的距离限定的圆形边界。

17.根据权利要求16所述的系统，其中所述圆形边界距所述视点位置的所述距离在所述现实边界的所述第一位置和所述第二位置之间不同。

18.根据权利要求11至17中任一项所述的系统，其中所述输入设备设置在所述电子设备的外表面上并且包括硬件输入设备、软件界面元素或它们的组合。

19.根据权利要求11至18中任一项所述的系统，其中所述输入设备包括可旋转设备。

20.根据权利要求11至19中任一项所述的方法，其中所述电子设备是头戴式设备。

21.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储在计算机上计算机可执行的以执行操作的程序指令，所述操作包括：

在显示器上以第一沉浸水平呈现模拟现实(SR)环境，其中所述第一沉浸水平与现实边界的第一位置相关联；

使用输入设备来接收表示将所述第一沉浸水平改变为第二沉浸水平的请求的输入；以及

根据接收到所述输入，以所述第二沉浸水平呈现所述SR环境，其中所述第二沉浸水平与所述现实边界的第二位置相关联，并且其中基于所述现实边界的所述位置在所述SR环境中呈现物理布景的真实内容和虚拟内容。

22.根据权利要求21所述的非暂态计算机可读存储介质，其中所述第二沉浸水平与所述第一沉浸水平相比显示更多的真实内容和更少的虚拟内容。

23.根据权利要求21至22中任一项所述的非暂态计算机可读存储介质，其中所述第二沉浸水平与所述第一沉浸水平相比显示更少的真实内容和更多的虚拟内容。

24.根据权利要求21至23中任一项所述的非暂态计算机可读存储介质，其中虚拟内容仅呈现在所述现实边界的一侧上。

25.根据权利要求21至24中任一项所述的非暂态计算机可读存储介质，其中真实内容仅呈现在所述现实边界的一侧上。

26.根据权利要求21至25中任一项所述的非暂态计算机可读存储介质，其中所述现实边界是由远离视点位置的距离限定的圆形边界。

27.根据权利要求26所述的非暂态计算机可读存储介质，其中所述圆形边界距所述视点位置的所述距离在所述现实边界的所述第一位置和所述第二位置之间不同。

28.根据权利要求21至27中任一项所述的非暂态计算机可读存储介质，其中所述输入设备设置在所述电子设备的外表面上并且包括硬件输入设备、软件界面元素或它们的组合。

29.根据权利要求21至28中任一项所述的非暂态计算机可读存储介质，其中所述输入设备包括可旋转设备。

30.根据权利要求21至29中任一项所述的方法，其中所述电子设备是头戴式设备。

31.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储在计算机上计算机可执行的以执行操作的程序指令，所述操作包括：

在具有显示器、输入设备和图像传感器的电子设备处；

在所述显示器上呈现表示虚拟现实布景的第一内容；

使用所述输入设备来接收表示呈现与所述电子设备所位于的物理布景相对应的视图的请求的输入；以及

根据接收到所述输入，在所述显示器上同时呈现所述第一内容以及表示与使用所述图像传感器来获得的所述物理布景相对应的所述视图的第二内容。

32.根据权利要求31所述的非暂态计算机可读存储介质，其中同时呈现所述第一内容与所述第二内容包括：

修改表示所述虚拟现实布景的所显示的第一内容的不透明度。

33.根据权利要求31所述的非暂态计算机可读存储介质，其中同时呈现所述第一内容与所述第二内容包括：

修改表示与所述物理布景相对应的所述视图的所显示的第二内容的不透明度。

34.根据权利要求31所述的非暂态计算机可读存储介质，其中同时呈现所述第一内容与所述第二内容包括：

将所述第一内容与使用所述图像传感器来获得的所述第二内容叠加。

35.根据权利要求31所述的非暂态计算机可读存储介质，其中同时呈现所述第一内容与所述第二内容包括：

将使用所述图像传感器来获得的所述第二内容与所述第一内容叠加。

36.根据权利要求31所述的非暂态计算机可读存储介质，其中同时呈现所述第一内容与所述第二内容包括：

通过修改所显示的第一内容的不透明度、修改所显示的第二内容的不透明度或它们的组合来呈现多个混合现实沉浸水平。

37.根据权利要求31所述的非暂态计算机可读存储介质，其中表示呈现与所述电子设备所位于的所述物理布景相对应的所述视图的所述请求的所述输入是第一输入，并且其中所述程序指令是在所述计算机上计算机可执行的以：

使用所述输入设备来接收表示停止显示表示所述虚拟现实布景的所显示的第一内容的请求的第二输入；以及

根据接收到所述第二输入，从所述显示器移除所显示的第一内容并且继续呈现表示与使用所述图像传感器来获得的所述物理布景相对应的所述视图的所述第二内容。

38.根据权利要求37所述的非暂态计算机可读存储介质，其中所述输入设备能够在至少两个方向上旋转，并且其中所述第一输入和所述第二输入是在不同方向上的旋转。

39.根据权利要求37所述的非暂态计算机可读存储介质，其中所述输入设备能够在至少两个方向上旋转，其中所述第一输入和所述第二输入是在相同方向上的旋转。

40.根据权利要求31所述的非暂态计算机可读存储介质，其中所述第二内容与所述第一内容进行α混合。

41.根据权利要求31所述的非暂态计算机可读存储介质，其中在接收到表示呈现与所述电子设备所位于的所述物理布景相对应的所述视图的所述请求的所述输入之前，在所述显示器上仅呈现虚拟现实内容。

42.根据权利要求31所述的非暂态计算机可读存储介质，其中所述程序指令是在所述计算机上计算机可执行的以：

响应于使用所述图像传感器来检测到所述电子设备的阈值距离内的物理对象，在所述显示器上呈现所述物理对象的视觉表示。

43.根据权利要求42所述的非暂态计算机可读存储介质，其中所述物理对象的所述视觉表示是所述物理对象的线框表示。

44.根据权利要求43所述的非暂态计算机可读存储介质，其中所述线框表示表示了所述物理对象的外围边界。

45.根据权利要求42所述的非暂态计算机可读存储介质，其中所述视觉表示是使用所述图像传感器来获得的所述物理对象的图像。

46.根据权利要求31所述的非暂态计算机可读存储介质，其中所述输入设备设置在所述电子设备的外表面上并且包括硬件输入设备、软件界面元素或它们的组合。

47.根据权利要求31所述的非暂态计算机可读存储介质，其中所述电子设备是头戴式设备，其中所述输入设备设置在所述电子设备的面向外表面上，并且其中所述显示器设置在所述电子设备的面向内表面上。

48.一种电子设备，包括：

处理器；

显示器，所述显示器可通信地耦接到所述处理器并且被配置为呈现表示虚拟现实布景的第一内容、表示与所述电子设备所位于的物理布景对应的视图的第二内容或它们的组合；

图像传感器，所述图像传感器可通信地耦接到所述处理器并且被配置为获得所述第二内容；以及

输入设备，所述输入设备可通信地耦接到所述处理器并且被配置为接收表示在所述显示器中仅呈现所述第一内容和在所述显示器中仅呈现所述第二内容之间选择性地转变的请求的输入。

49.根据权利要求48所述的电子设备，其中所述输入设备被进一步配置为基于所述输入设备的连续移动以连续方式从在所述显示器中仅呈现所述第一内容转变为在所述显示器中呈现所述第一内容和所述第二内容的组合，转变为在所述显示器中仅呈现所述第二内容。

50.根据权利要求48所述的电子设备，其中所述输入设备被进一步配置为基于所述输入设备到离散位置序列中的移动以离散步骤从在所述显示器中仅呈现所述第一内容转变为在所述显示器中呈现所述第一内容和所述第二内容的组合，转变为在所述显示器中仅呈现所述第二内容。

51.根据权利要求48所述的电子设备，其中所述输入设备包括硬件输入设备、软件界面元素或它们的组合。

52.根据权利要求48所述的电子设备，其中所述输入设备是设置在所述电子设备的外表面上的可旋转设备。

53.根据权利要求48所述的电子设备，其中当所述电子设备接近在所述显示器中仅呈现所述第一内容的第一状态以及在所述显示器中仅呈现所述第二内容的第二状态时，所述输入设备的机械阻力变化。

54.根据权利要求48所述的电子设备，其中所述输入设备被配置为与所述电子设备物理地分离，并且适于在与所述电子设备物理地分离时保持与所述处理器可通信地耦接。

55.根据权利要求48所述的电子设备，其中所述显示器是用于呈现左眼视点和右眼视点的立体图像显示器。

56.根据权利要求55所述的电子设备，其中所述图像传感器是被配置为捕获围绕物理布景中的所述电子设备的所述物理布景的光场图像的图像传感器阵列的一部分，并且其中所述立体图像显示器呈现使用所述光场图像来重建的所述物理布景的三维表示的立体子集。

57.根据权利要求48所述的电子设备，其中所述显示器被进一步配置为响应于检测到与所述输入设备的交互而在视觉上区分所述物理布景中的物理对象和所述虚拟现实布景中的虚拟对象。

58.根据权利要求48所述的电子设备，其中所述电子设备是头戴式设备，其中所述输入设备设置在所述电子设备的面向外表面上，并且其中所述显示器设置在所述电子设备的面向内表面上。

59.一种电子设备，包括：

处理器；

输出设备，所述输出设备可通信地耦接到所述处理器并且被配置为呈现表示虚拟现实布景的第一感官内容、与所述电子设备所位于的所述物理布景相对应的第二感官内容或它们的组合；

传感器，所述传感器可通信地耦接到所述处理器并且被配置为获得所述第二感官数据；以及

输入设备，所述输入设备可通信地耦接到所述处理器并且被配置为接收表示从用所述输出设备仅呈现所述第一感官内容转变为用所述输出设备呈现所述第一感官内容和所述第二感官内容的组合，转变为用所述输出设备仅呈现所述第二感官内容的请求的输入。

60.根据权利要求59所述的电子设备，其中所述第二感官内容包括听觉内容、图像内容、触觉内容、嗅觉内容、味觉内容或它们的组合。

61.根据权利要求59所述的电子设备，其中所述输入设备被进一步配置为以线性变化速率从用所述输出设备仅呈现所述第一感官内容转变为用所述输出设备呈现所述第一感官内容和所述第二感官内容的所述组合，转变为用所述输出设备仅呈现所述第二感官内容。

62.根据权利要求59所述的电子设备，其中所述输入设备被进一步配置为以非线性变化速率从用所述输出设备仅呈现所述第一感官内容转变为用所述输出设备呈现所述第一感官内容和所述第二感官内容的所述组合，转变为用所述输出设备仅呈现所述第二感官内容。

63.根据权利要求59所述的电子设备，其中所述输入设备被进一步配置为根据到所述用户的距离从用所述输出设备仅呈现所述第一感官内容转变为用所述输出设备呈现所述第一感官内容和所述第二感官内容的所述组合，转变为用所述输出设备仅呈现所述第二感官内容。

64.根据权利要求59所述的电子设备，其中所述电子设备是头戴式设备，其中所述输入设备设置在所述电子设备的面向外表面上，并且其中所述显示器设置在所述电子设备的面向内表面上。

65.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储在计算机上计算机可执行的以执行操作的程序指令，所述操作包括：

在具有显示器、输入设备和图像传感器的电子设备处；

在所述显示器上呈现表示虚拟现实布景的第一内容；

使用所述输入设备来接收表示呈现与所述电子设备所位于的物理布景相对应的视图的请求的输入，在接收到由事件源响应于检测到预定义事件的发生而发送的事件通知时从事件处理程序接收所述输入；以及

根据接收到所述输入，在所述显示器上同时呈现所述第一内容以及表示与使用所述图像传感器来获得的所述物理布景相对应的所述视图的第二内容。

66.根据权利要求65所述的非暂态计算机可读存储介质，其中所述预定义事件的所述发生由媒体内容达到特定物理布景定义。

67.根据权利要求66所述的非暂态计算机可读存储介质，其中同时呈现所述第一内容与所述第二内容包括：

用与所述媒体内容的所述特定物理布景相关联的虚拟现实内容替换表示所述物理布景中的物理对象的所述第二内容的一部分。

68.根据权利要求65所述的非暂态计算机可读存储介质，其中所述预定义事件的所述发生由移动物理对象进入所述物理布景定义。

69.根据权利要求68所述的非暂态计算机可读存储介质，其中使用所述图像传感器来检测所述移动物理对象进入所述物理布景。

70.根据权利要求68所述的非暂态计算机可读存储介质，其中同时呈现所述第一内容与所述第二内容包括：

在所述显示器上呈现所述移动物理对象的视觉表示。

71.根据权利要求68所述的非暂态计算机可读存储介质，其中所述预定义事件是第一预定义事件，其中所述电子设备的用户在所述显示器上观看所述移动物理对象的视觉表示定义第二预定义事件，并且所述程序指令是在所述计算机上计算机可执行的以：

用描绘所述移动物理对象的物理内容替换所述移动物理对象的所述视觉表示。

72.根据权利要求65所述的非暂态计算机可读存储介质，其中所述预定义事件的所述发生由所述电子设备的用户的运动状态改变定义。

73.根据权利要求72所述的非暂态计算机可读存储介质，其中使用所述电子设备的传感器来检测所述电子设备的所述用户的所述运动状态改变。

74.根据权利要求73所述的非暂态计算机可读存储介质，其中所述传感器是惯性测量单元。

75.根据权利要求73所述的非暂态计算机可读存储介质，其中所述传感器是图像传感器。

76.根据权利要求70所述的非暂态计算机可读存储介质，其中同时呈现所述第一内容与所述第二内容包括：

在所述显示器中用表示所述阈值距离内的所述物理布景的物理内容替换所述电子设备的阈值距离内的所述第一内容。

Images