CN117480472A - 用于在环境中提供沉浸式体验的方法 - Google Patents
用于在环境中提供沉浸式体验的方法 Download PDFInfo
- Publication number
- CN117480472A CN117480472A CN202280041855.1A CN202280041855A CN117480472A CN 117480472 A CN117480472 A CN 117480472A CN 202280041855 A CN202280041855 A CN 202280041855A CN 117480472 A CN117480472 A CN 117480472A
- Authority
- CN
- China
- Prior art keywords
- environment
- user
- displaying
- input
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 327
- 230000000694 effects Effects 0.000 claims abstract description 683
- 238000007654 immersion Methods 0.000 claims abstract description 596
- 230000033001 locomotion Effects 0.000 claims abstract description 425
- 230000004044 response Effects 0.000 claims abstract description 261
- 230000007704 transition Effects 0.000 claims description 182
- 230000000007 visual effect Effects 0.000 claims description 157
- 230000001965 increasing effect Effects 0.000 claims description 120
- 230000008859 change Effects 0.000 claims description 95
- 238000005286 illumination Methods 0.000 claims description 78
- 238000003860 storage Methods 0.000 claims description 29
- 230000001133 acceleration Effects 0.000 claims description 27
- 238000004891 communication Methods 0.000 claims description 25
- 230000002829 reductive effect Effects 0.000 claims description 20
- 238000009877 rendering Methods 0.000 claims description 14
- 239000002245 particle Substances 0.000 claims description 12
- 230000010365 information processing Effects 0.000 claims 20
- 210000001508 eye Anatomy 0.000 description 99
- 230000003993 interaction Effects 0.000 description 67
- 201000003152 motion sickness Diseases 0.000 description 53
- 208000002173 dizziness Diseases 0.000 description 45
- 208000024891 symptom Diseases 0.000 description 45
- 210000003811 finger Anatomy 0.000 description 43
- 210000003128 head Anatomy 0.000 description 42
- 210000004247 hand Anatomy 0.000 description 38
- 230000008569 process Effects 0.000 description 34
- 230000003247 decreasing effect Effects 0.000 description 33
- 230000007423 decrease Effects 0.000 description 31
- 238000004088 simulation Methods 0.000 description 25
- 230000003190 augmentative effect Effects 0.000 description 22
- 238000012545 processing Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 11
- 230000007613 environmental effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000005562 fading Methods 0.000 description 10
- 210000000887 face Anatomy 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 9
- 230000001953 sensory effect Effects 0.000 description 9
- 230000006399 behavior Effects 0.000 description 8
- 230000036541 health Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 210000003813 thumb Anatomy 0.000 description 8
- 230000004313 glare Effects 0.000 description 7
- 230000000670 limiting effect Effects 0.000 description 7
- 230000036961 partial effect Effects 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- -1 802.3.3 x Chemical compound 0.000 description 3
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 3
- 238000005266 casting Methods 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000005433 particle physics related processes and functions Effects 0.000 description 3
- 239000000779 smoke Substances 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 241001085205 Prenanthella exigua Species 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 241001422033 Thestylus Species 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013503 de-identification Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003292 diminished effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000005224 forefinger Anatomy 0.000 description 2
- 230000001339 gustatory effect Effects 0.000 description 2
- 210000002411 hand bone Anatomy 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000001795 light effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000003595 mist Substances 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241001310793 Podium Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 235000021170 buffet Nutrition 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000002772 conduction electron Substances 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 238000009528 vital sign measurement Methods 0.000 description 1
Abstract
在一些实施方案中，电子设备基于该设备周围的物理环境的几何结构来改变三维环境中的虚拟环境和/或空间效果的沉浸水平。在一些实施方案中，电子设备响应于检测到该设备的移动而修改该虚拟环境和/或空间效果。在一些实施方案中，电子设备将应用程序的用户界面移动到虚拟环境之中和/或之外。在一些实施方案中，电子设备基于与用户的视点相关联的对象的移动来选择性地改变三维环境中的模拟环境和/或大气效果的显示。在一些实施方案中，电子设备响应于用户将虚拟对象移动到模拟环境和/或移动到模拟环境中而向用户提供反馈。
Description
相关申请的交叉引用
本申请要求于2021年4月13日提交的美国临时申请63/174,272号、于2021年9月23日提交的美国临时申请63/261,554号、于2021年12月2日提交的美国临时申请63/264,831号和于2022年4月11日提交的美国临时申请63/362,799号的权益，这些临时申请的内容全文以引用方式并入本文以用于所有目的。
技术领域
本公开整体涉及计算机系统，该计算机系统具有呈现图形用户界面的显示生成部件和一个或多个输入设备，包括但不限于在三维环境中提供沉浸式体验的电子设备。
背景技术
近年来，用于增强现实的计算机系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例性虚拟元素包括虚拟对象(包括数字图像、视频、文本、图标、控制元素(诸如按钮)，以及其他图形)。
但用于与包括至少一些虚拟元素的环境(例如，应用程序、增强现实环境、混合现实环境和虚拟现实环境)进行交互的方法和界面麻烦、低效且受限。例如，提供用于执行与虚拟对象相关联的动作的不足反馈的系统、需要一系列输入来在增强现实环境中实现期望结果的系统，以及虚拟对象操纵复杂、繁琐且容易出错的系统，会给用户造成巨大的认知负担，并且减损虚拟/增强现实环境的体验感。此外，这些方法花费比所需时间更长的时间，从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。
发明内容
因此，需要具有改进的方法和界面的计算机系统来向用户提供计算机生成的体验，从而使得用户与计算机系统的交互对用户来说更高效且更直观。此类方法和界面任选地补充或替换用于向用户提供计算机生成的现实体验的常规方法。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系，减少了来自用户的输入的数量、程度和/或性质，从而形成了更有效的人机界面。
所公开的系统减少或消除了与用于计算机系统的用户界面相关联的上述缺陷和其他问题，这些计算机系统具有显示生成部件和一个或多个输入设备。在一些实施方案中，计算机系统是具有相关联显示器的台式计算机。在一些实施方案中，计算机系统是便携式设备(例如，笔记本电脑、平板电脑或手持式设备)。在一些实施方案中，计算机系统是个人电子设备(例如，可穿戴电子设备，诸如手表或头戴式设备)。在一些实施方案中，计算机系统具有触摸板。在一些实施方案中，计算机系统具有一个或多个相机。在一些实施方案中，计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中，计算机系统具有一个或多个眼睛跟踪部件。在一些实施方案中，计算机系统具有一个或多个手部跟踪部件。在一些实施方案中，除显示生成部件之外，计算机系统还具有一个或多个输出设备，这些输出设备包括一个或多个触觉输出发生器和一个或多个音频输出设备。在一些实施方案中，计算机系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中，用户通过触笔和/或手指在触敏表面上的接触和手势、用户的眼睛和手部在相对于GUI或用户身体的空间中的移动(如由相机和其他移动传感器捕获的)以及语音输入(如由一个或多个音频输入设备捕获的)与GUI进行交互。在一些实施方案中，通过交互执行的功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时通讯、测试支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。
需要具有用于与三维环境中的对象进行交互的改进方法和界面的电子设备。此类方法和界面可补充或替换用于与三维环境中的对象交互的常规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质，并且产生更高效的人机界面。
在一些实施方案中，电子设备基于该设备周围的物理环境的几何结构来改变三维环境中的虚拟环境和/或空间效果的沉浸水平。在一些实施方案中，电子设备响应于检测到该设备的移动而修改该虚拟环境和/或空间效果。在一些实施方案中，电子设备将应用程序的用户界面移动到虚拟环境之中和之外。在一些实施方案中，电子设备基于与用户的视点相关联的对象的移动来选择性地改变三维环境中的模拟环境和/或大气效果的显示。在一些实施方案中，根据一些实施方案，电子设备响应于用户将虚拟对象移动到模拟环境和/或移动到模拟环境中而向用户提供反馈。
需注意，上述各种实施方案可与本文所述任何其他实施方案相结合。本说明书中描述的特征和优点并不全面，具体来说，根据附图、说明书和权利要求书，许多另外的特征和优点对本领域的普通技术人员将是显而易见的。此外，应当指出，出于可读性和指导性目的，在原则上选择了本说明书中使用的语言，并且可以不这样选择以描绘或界定本发明的主题。
附图说明
为了更好地理解各种所述实施方案，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。
图1是示出根据一些实施方案的用于提供CGR体验的计算机系统的操作环境的框图。
图2是示出根据一些实施方案的计算机系统的被配置为管理和协调用户的CGR体验的控制器的框图。
图3是示出根据一些实施方案的计算机系统的被配置为向用户提供CGR体验的视觉组成部分的显示生成部件的框图。
图4是示出根据一些实施方案的计算机系统的被配置为捕获用户的手势输入的手部跟踪单元的框图。
图5是示出根据一些实施方案的计算机系统的被配置为捕获用户的注视输入的眼睛跟踪单元的框图。
图6A是示出根据一些实施方案的闪光辅助的注视跟踪流水线的流程图。
图6B示出了根据一些实施方案的提供CGR体验的电子设备的示例性环境。
图7A至图7H示出了根据一些实施方案的显示虚拟环境的示例。
图8A至图8H是示出根据一些实施方案的显示虚拟环境的方法的流程图。
图9A至图9H示出了根据一些实施方案的改变三维环境的沉浸水平的示例。
图10A至图10P是示出根据一些实施方案的改变三维环境的沉浸水平的方法的流程图。
图11A至图11D示出了根据一些实施方案的将对象移动到虚拟环境之中或之外的示例。
图12A至图12G是示出根据一些实施方案的将对象移动到虚拟环境之中或之外的方法的流程图。
图13A至图13H示出了根据一些实施方案的基于与用户的视点相关联的对象的移动来选择性地改变三维环境中的模拟环境和/或大气效果的显示的示例。
图14A至图14L是示出根据一些实施方案的基于与用户的视点相关联的对象的移动来选择性地改变三维环境中的模拟环境和/或大气效果的显示的方法的流程图。
图15A至图15G示出了根据一些实施方案的响应于用户将虚拟对象移动到模拟环境和/或移动到模拟环境中而向用户提供反馈的示例。
图16A至图16H是示出根据一些实施方案的响应于用户将虚拟对象移动到模拟环境和/或移动到模拟环境中而向用户提供反馈的方法的流程图。
具体实施方式
根据一些实施方案，本公开涉及用于向用户提供计算机生成的现实(CGR)体验的用户界面。
本文所述的系统、方法和GUI提供了电子设备与三维环境中的对象交互并操纵三维环境中的对象的改进的方式。
在一些实施方案中，计算机系统在三维环境中显示虚拟环境。在一些实施方案中，基于三维环境(例如，其任选地模拟该设备周围的真实世界环境)的几何结构(例如，尺寸和/或形状)经由远场过程或近场过程显示虚拟环境。在一些实施方案中，远场过程包括从离用户的视点最远的位置引入虚拟环境，并且朝向用户的视点逐渐扩展虚拟环境(例如，使用关于对象在环境中的位置、定位、距离等的信息)。在一些实施方案中，近场过程包括从离用户的视点最远的位置引入虚拟环境并且从初始位置向外扩展，而不考虑对象在环境中的距离和/或位置(例如，相对于显示生成部件扩展虚拟环境的尺寸)。
在一些实施方案中，计算机系统在三维环境中显示虚拟环境和/或大气效果。在一些实施方案中，显示大气效果包括在三维环境中显示一种或多种光照和/或粒子效果。在一些实施方案中，响应于检测到该设备的移动，虚拟环境的部分被去强调，但任选地大气效果没有减弱。在一些实施方案中，响应于检测到用户身体的旋转(例如，与设备的旋转同时)，虚拟环境被移动到三维环境中的新位置，该位置任选地与用户的身体对准。
在一些实施方案中，计算机系统将虚拟环境与应用程序的用户界面同时显示。在一些实施方案中，应用程序的用户界面能够被移动到虚拟环境中并且被视为存在于虚拟环境中的虚拟对象。在一些实施方案中，基于用户界面在移动到虚拟环境中时的距离来自动调整用户界面在移动到虚拟环境中时的尺寸。在一些实施方案中，当显示虚拟环境和用户界面两者时，用户能够请求将用户界面显示为沉浸式环境。在一些实施方案中，响应于将用户界面显示为沉浸式环境的请求，将先前显示的虚拟环境替换为用户界面的沉浸式环境。
在一些实施方案中，计算机系统在三维环境中显示模拟环境和/或大气效果。在一些实施方案中，响应于检测到用户、用户的一部分(例如，头部、眼睛、面部和/或身体)、计算机系统和/或计算机系统的其他部件的移动，模拟环境在三维环境中撤回以显露物理环境的部分。在一些实施方案中，大气效果没有减弱。在一些实施方案中，用户、用户的该部分(例如，头部、眼睛、面部和/或身体)、计算机系统和/或计算机系统的其他部件的进一步移动导致不再显示模拟环境。
在一些实施方案中，电子设备在三维环境中显示虚拟对象，其中三维环境包括具有第一视觉外观的模拟环境，并且虚拟对象位于三维环境中的模拟环境之外。在一些实施方案中，响应于接收到将虚拟对象移动到模拟环境中或移动到模拟环境的输入，电子设备以不同于第一视觉外观的第二视觉外观显示模拟环境。在一些实施方案中，改变模拟环境的视觉外观包括改变模拟环境的位置、改变与模拟环境相关联的沉浸水平、改变模拟环境的不透明度和/或改变模拟环境的颜色。
下文所述的过程通过各种技术增强了设备的可操作性并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，包括通过向用户提供改进的视觉反馈、减少执行操作所需的输入数量、提供附加的控制选项而不会因附加的显示控件而使用户界面混乱、在一组条件已经被满足时执行操作而无需进一步的用户输入、改善隐私性和/或安全性和/或附加的技术。这些技术还通过使用户能够更快且更有效地使用设备而减少了电力使用并延长了设备的电池寿命。
图1至图6提供了用于向用户提供CGR体验的示例性计算机系统的描述(诸如下文相对于方法800、1000、1200、1400和1600所述的)。在一些实施方案中，如图1中所示，经由包括计算机系统101的操作环境100向用户提供CGR体验。计算机系统101包括控制器110(例如，便携式电子设备的处理器或远程服务器)、显示生成部件120(例如，头戴式设备(HMD)、显示器、投影仪、触摸屏等)、一个或多个输入设备125(例如，眼睛跟踪设备130、手部跟踪设备140、其他输入设备150)、一个或多个输出设备155(例如，扬声器160、触觉输出发生器170和其他输出设备180)、一个或多个传感器190(例如，图像传感器、光传感器、深度传感器、触觉传感器、取向传感器、接近传感器、温度传感器、位置传感器、运动传感器、速度传感器等)，以及任选地一个或多个外围设备195(例如，家用电器、可穿戴设备等)。在一些实施方案中，输入设备125、输出设备155、传感器190和外围设备195中的一者或多者与显示生成部件120集成(例如，在头戴式设备或手持式设备中)。
在描述CGR体验时，各种术语用于区别地指代用户可以感测并且/或者用户可以与其进行交互(例如，利用由生成CGR体验的计算机系统101检测到的输入进行交互，这些输入使得生成CGR体验的计算机系统生成与提供给计算机系统101的各种输入对应的音频、视觉和/或触觉反馈)的若干相关但不同的环境。以下是这些术语的子集：
物理环境：物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
计算机生成的现实(或扩展现实(XR))：相反地，计算机生成的现实(CGR)环境是指人们经由电子系统进行感测和/或交互的完全或部分模拟环境。在CGR中，跟踪人的物理运动的子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。人可以利用其感觉中的任一者来感测CGR对象和/或与之交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。
CGR的示例包括虚拟现实和混合现实。
虚拟现实：虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
混合现实：与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致移动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。
增强现实：增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或物理环境的表示上方的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟：增强虚拟(AV)环境是指其中虚拟环境或计算机生成环境结合了来自物理环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的定位的阴影。
视点锁定的虚拟对象：当计算机系统在用户视点中的相同位置和/或定位处显示虚拟对象时，即使用户的视点偏移(例如，发生变化)，虚拟对象也是视点锁定的。在其中计算机系统是头戴式设备的实施方案中，用户的视点被锁定到用户的头部的前向方向(例如，当用户直视前方时，用户的视点是用户视场的至少一部分)；因此，在不移动用户的头部的情况下，即使在用户的注视偏移时，用户的视点也保持固定。在其中计算机系统具有可相对于用户的头部重新定位的显示生成部件(例如，显示屏幕)的实施方案中，用户的视点是在计算机系统的显示生成部件上呈现给用户的增强现实视图。例如，当用户的视点处于第一取向(例如，用户头部面向北)时显示在用户的视点的左上角中的视点锁定的虚拟对象继续显示在用户的视点的左上角中，即使在用户的视点改变到第二取向(例如，用户头部面向西)时也是如此。换句话讲，在用户的视点中显示视点锁定的虚拟对象的位置和/或定位与用户在物理环境中的定位和/或取向无关。在其中计算机系统是头戴式设备的实施方案中，用户的视点被锁定到用户的头部的取向，使得虚拟对象也被称为“头部锁定虚拟对象”。
环境锁定的视觉对象：当计算机系统在用户的视点中的位置和/或定位处显示虚拟对象时，虚拟对象是环境锁定的(另选地，“世界锁定的”)，该位置和/或定位基于三维环境(例如，物理环境或虚拟环境)中的位置和/或对象(例如，参考该位置和/或对象而选择和/或锚定到该位置和/或对象)。随着用户的视点移动，环境中相对于用户的视点的位置和/或对象改变，这导致环境锁定的虚拟对象显示在用户视点中的不同位置和/或定位处。例如，锁定到紧接在用户前面的树木上的环境锁定的虚拟对象显示在用户的视点的中心处。当用户的视点向右偏移(例如，用户头部向右转动)使得树木现在在用户的视点中处于中心左侧(例如，用户的视点中的树木定位偏移)时，锁定到树木上的环境锁定的虚拟对象在用户的视点中显示在中心左侧。换句话讲，在用户的视点中显示环境锁定的虚拟对象的位置和/或定位取决于环境中虚拟对象被锁定到其上的位置和/或对象的位置和/或取向。在一些实施方案中，计算机系统使用静止的参照系(例如，在物理环境中锚定到固定位置和/或对象的坐标系)，以便确定在用户的视点中显示环境锁定的虚拟对象的定位。环境锁定的虚拟对象可被锁定到环境的静止部分(例如，地板、墙壁、桌子或其他静止对象)，或可被锁定到环境的可移动部分(例如，车辆、动物、人或甚至独立于用户的视点移动的用户身体的一部分诸如用户的手部、手腕、手臂或脚的表示)使得虚拟对象随着视点或环境的该部分移动而移动以保持虚拟对象和环境的该部分之间的固定关系。
在一些实施方案中，环境锁定或视点锁定的虚拟对象表现出惰性跟随行为，其相对于虚拟对象所跟随的参考点的移动而减少或延迟环境锁定或视点锁定的虚拟对象的运动。在一些实施方案中，在表现出惰性跟随行为时，当检测到虚拟对象正在跟随的参考点(例如，环境的一部分、视点或相对于视点固定的点，诸如距离视点5cm至300cm之间的点)的移动时，计算机系统有意地延迟虚拟对象的移动。例如，当参考点(例如，环境的该部分或视点)以第一速度移动时，虚拟对象被设备移动以保持锁定到参考点，但以相比于第一速度更慢的第二速度移动(例如，直到参考点停止移动或减慢，在该点处虚拟对象开始赶上参考点)。在一些实施方案中，当虚拟对象表现出惰性跟随行为时，设备忽略参考点的少量移动(例如，忽略参考点低于阈值移动量的移动，诸如移动0至5度或移动0至50cm)。例如，当参考点(例如，虚拟对象被锁定到的环境的该部分或视点)移动第一量时，参考点与虚拟对象之间的距离增加(例如，因为虚拟对象正被显示以便保持相对于与虚拟对象被锁定到的参考点不同的视点或环境的该部分的固定或基本上固定的位置)，并且当参考点(例如，虚拟对象被锁定到的环境的该部分或视点)移动大于第一量的第二量时，参考点与虚拟对象之间的距离最初增加(例如，因为虚拟对象正被显示以便保持相对于与虚拟对象被锁定到的参考点不同的视点或环境的该部分的固定或基本上固定的位置)，并且接着随着参考点的移动量增加到阈值(例如，“惰性跟随”阈值)以上而减小，因为虚拟对象被计算机系统移动以保持相对于参考点的固定或基本上固定的位置。在一些实施方案中，虚拟对象保持相对于参考点基本上固定的位置包括虚拟对象在一个或多个维度(例如，相对于参考点的位置的上/下、左/右和/或向前/向后)中在参考点的阈值距离(例如，1cm、2cm、3cm、5cm、15cm、20cm或50cm)内显示。
硬件：有许多不同类型的电子系统使人能够感测各种CGR环境和/或与各种CGR环境进行交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统还可以被配置为将虚拟对象投影到物理环境中例如作为全息图，或者投影到物理表面上。在一些实施方案中，控制器110被配置为管理和协调用户的CGR体验。在一些实施方案中，控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些实施方案中，控制器110是相对于场景105(例如，物理环境)处于本地或远程位置的计算设备。例如，控制器110是位于场景105内的本地服务器。又如，控制器110是位于场景105之外的远程服务器(例如，云服务器、中央服务器等)。在一些实施方案中，控制器110经由一个或多个有线或无线通信通道144(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)与显示生成部件120(例如，HMD、显示器、投影仪、触摸屏等)通信地耦接。在另一个示例中，控制器110包括在显示生成部件120(例如，HMD或包括显示器和一个或多个处理器的便携式电子设备等)、输入设备125中的一个或多个输入设备、输出设备155中的一个或多个输出设备、传感器190中的一个或多个传感器和/或外围装设备195中的一个或多个外围装设备的壳体(例如，物理外壳)内，或者与上述设备中的一者或多者共享相同的物理壳体或支撑结构。
在一些实施方案中，显示生成部件120被配置为向用户提供CGR体验(例如，至少CGR体验的视觉组成部分)。在一些实施方案中，显示生成部件120包括软件、固件和/或硬件的合适组合。下文相对于图3更详细地描述了显示生成部件120。在一些实施方案中，控制器110的功能由显示生成部件120提供和/或与该显示生成部件组合。
根据一些实施方案，当用户虚拟地和/或物理地存在于场景105内时，显示生成部件120向用户提供CGR体验。
在一些实施方案中，显示生成部件穿戴在用户身体的一部分上(例如，他/她的头部上、他/她的手部上等)。这样，显示生成部件120包括被提供用于显示CGR内容的一个或多个CGR显示器。例如，在各种实施方案中，显示生成部件120包围用户的视场。在一些实施方案中，显示生成部件120是被配置为呈现CGR内容的手持式设备(诸如智能电话或平板电脑)，并且用户握持具有朝向用户的视场的显示器和朝向场景105的相机的设备。在一些实施方案中，手持式设备被任选地放置在穿戴在用户的头部上的壳体内。在一些实施方案中，手持式设备被任选地放置在用户前面的支撑件(例如，三脚架)上。在一些实施方案中，显示生成部件120是被配置为呈现CGR内容的CGR室、壳体或房间，其中用户不穿戴或握持显示生成部件120。参考用于显示CGR内容的一种类型的硬件(例如，手持式设备或三脚架上的设备)描述的许多用户界面可以在用于显示CGR内容的另一种类型的硬件(例如，HMD或其他可穿戴计算设备)上实现。例如，示出基于发生在手持式设备或三脚架安装的设备前面的空间中的交互而触发的与CGR内容的交互的用户界面可以类似地用HMD来实现，其中交互发生在HMD前面的空间中，并且对CGR内容的响应经由HMD来显示。类似地，示出基于手持式设备或三脚架安装的设备相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手部))的移动而触发的与CRG内容的交互的用户界面可以类似地用HMD来实现，其中移动是由HMD相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手部))的移动引起的。
尽管在图1中示出了操作环境100的相关特征，但本领域的普通技术人员将从本公开中认识到，为了简洁起见并且为了不模糊本文所公开的示例性实施方案的更多相关方面，未示出各种其他特征。
图2是根据一些实施方案的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂，未示出各种其他特征。为此，作为非限制性示例，在一些实施方案中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、IEEE802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
在一些实施方案中，一条或多条通信总线204包括互连和控制系统部件之间的通信的电路。在一些实施方案中，一个或多个I/O设备206包括键盘、鼠标、触摸板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。
存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些实施方案中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些实施方案中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统230和CGR体验模块240。
操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的指令。在一些实施方案中，CGR体验模块240被配置为管理和协调一个或多个用户的单重或多重CGR体验(例如，一个或多个用户的单重CGR体验，或一个或多个用户的相应群组的多重CGR体验)。为此，在各种实施方案中，CGR体验模块240包括数据获取单元242、跟踪单元244、协调单元246和数据传输单元248。
在一些实施方案中，数据获取单元242被配置为从图1的至少显示生成部件120，以及任选地从输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于该目的，在各种实施方案中，数据获取单元242包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，跟踪单元244被配置为映射场景105，并且跟踪至少显示生成部件120相对于图1的场景105的定位/位置，以及任选地跟踪输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者的位置。出于该目的，在各种实施方案中，跟踪单元244包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。在一些实施方案中，跟踪单元244包括手部跟踪单元243和/或眼睛跟踪单元245。在一些实施方案中，手部跟踪单元243被配置为跟踪用户的手部的一个或多个部分的定位/位置，以及/或者用户的手部的一个或多个部分相对于图1的场景105的、相对于显示生成部件120和/或相对于坐标系(该坐标系是相对于用户的手部定义的)的运动。下文相对于图4更详细地描述了手部跟踪单元243。在一些实施方案中，眼睛跟踪单元245被配置为跟踪用户注视(或更广泛地，用户的眼睛、面部或头部)相对于场景105(例如，相对于物理环境和/或相对于用户(例如，用户的手部))或相对于经由显示生成部件120显示的CGR内容的定位或移动。下文相对于图5更详细地描述了眼睛跟踪单元245。
在一些实施方案中，协调单元246被配置为管理和协调由显示生成部件120，以及任选地由输出设备155和/或外围装设备195中的一者或多者呈现给用户的CGR体验。出于该目的，在各种实施方案中，协调单元246包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，数据传输单元248被配置为将数据(例如，呈现数据、位置数据等)传输到至少显示生成部件120，并且任选地传输到输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于该目的，在各种实施方案中，数据传输单元248包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元242、跟踪单元244(例如，包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248被示为驻留在单个设备(例如，控制器110)上，但应当理解，在其他实施方案中，数据获取单元242、跟踪单元244(例如，包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248的任何组合可以位于单独计算设备中。
此外，图2更多地用作可以存在于特定具体实施中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图3是根据一些实施方案的显示生成部件120的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂，未示出各种其他特征。出于所述目的，作为非限制性示例，在一些实施方案中，HMD 120包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个CGR显示器312、一个或多个任选的面向内部并且/或者面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。
在一些实施方案中，一条或多条通信总线304包括用于互连和控制各系统部件之间的通信的电路。在一些实施方案中，一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎以及/或者一个或多个深度传感器(例如，结构光、飞行时间等)等。
在一些实施方案中，一个或多个CGR显示器312被配置为向用户提供CGR体验。在一些实施方案中，一个或多个CGR显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)以及/或者类似的显示器类型。在一些实施方案中，一个或多个CGR显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，HMD 120包括单个CGR显示器。又如，HMD 120包括针对用户的每只眼睛的CGR显示器。在一些实施方案中，一个或多个CGR显示器312能够呈现MR和VR内容。在一些实施方案中，一个或多个CGR显示器312能够呈现MR或VR内容。
在一些实施方案中，一个或多个图像传感器314被配置为获取与用户面部的包括用户的眼睛的至少一部分对应的图像数据(并且可被称为眼睛跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为获取与用户的手部以及任选地用户的手臂的至少一部分对应的图像数据(并且可被称为手部跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为面向前方，以便获取与在不存在HMD 120的情况下用户将会看到的场景对应的图像数据(并且可被称为场景相机)。一个或多个任选图像传感器314可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、一个或多个红外(IR)相机以及/或者一个或多个基于事件的相机等。
存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些实施方案中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些实施方案中，存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统330和CGR呈现模块340。
操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些实施方案中，CGR呈现模块340被配置为经由一个或多个CGR显示器312向用户呈现CGR内容。出于该目的，在各种实施方案中，CGR呈现模块340包括数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348。
在一些实施方案中，数据获取单元342被配置为至少从图1的控制器110获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于所述目的，在各种实施方案中，数据获取单元342包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，CGR呈现单元344被配置为经由一个或多个CGR显示器312呈现CGR内容。出于所述目的，在各种实施方案中，CGR呈现单元344包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，CGR映射生成单元346被配置为基于媒体内容数据生成CGR映射图(例如，混合现实场景的3D映射图或可以在其中放置计算机生成对象的物理环境以生成计算机生成现实的映射图)。出于所述目的，在各种实施方案中，CGR映射生成单元346包括指令以及/或者用于该指令的逻辑以及启发法和用于该启发法的元数据。
在一些实施方案中，数据传输单元348被配置为将数据(例如，呈现数据、位置数据等)传输到至少控制器110，以及任选地输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于所述目的，在各种实施方案中，数据传输单元348包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348被示出为驻留在单个设备(例如，图1的显示生成部件120)上，但应当理解，在其他实施方案中，数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348的任何组合可位于单独计算设备中。
此外，图3更多地用作可能存在于特定实施方案中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图4是手部跟踪设备140的示例性实施方案的示意性图解。在一些实施方案中，手部跟踪设备140(图1)由手部跟踪单元243控制(图2)来跟踪用户的手部的一个或多个部分的定位/位置，以及/或者用户的手部的一个或多个部分相对于图1的场景105(例如，相对于用户周围的物理环境的一部分、相对于显示生成部件120，或者相对于用户的一部分(例如，用户的面部、眼睛或头部)，以及/或者相对于坐标系(该坐标系是相对于用户的手部定义的))的运动。在一些实施方案中，手部跟踪设备140是显示生成部件120的一部分(例如，嵌入头戴式设备中或附接到头戴式设备)。在一些实施方案中，手部跟踪设备140与显示生成部件120分开(例如，位于单独的外壳中或者附接到单独的物理支撑结构)。
在一些实施方案中，手部跟踪设备140包括捕获至少包括人类用户的手部406的三维场景信息的图像传感器404(例如，一个或多个IR相机、3D相机、深度相机和/或彩色相机等)。图像传感器404以足够的分辨率捕获手部图像，以使手指及其相应位置能够被区分。图像传感器404通常捕获用户身体的其他部分、还或可能捕获身体的所有部分的图像，并且可以具有缩放能力或具有增大放大率的专用传感器以用期望分辨率捕获手部的图像。在一些实施方案中，图像传感器404还捕获手部406的2D彩色视频图像和场景的其他元素。在一些实施方案中，图像传感器404与其他图像传感器结合使用以捕获场景105的物理环境，或者用作捕获场景105的物理环境的图像传感器。在一些实施方案中，以将图像传感器404或其一部分的视场用于限定交互空间的方式相对于用户或用户的环境定位图像传感器，在该交互空间中，由图像传感器捕获的手部移动被视为到控制器110的输入。
在一些实施方案中，图像传感器404将包含3D映射数据(以及此外，可能的彩色图像数据)的帧序列输出到控制器110，该控制器从映射数据提取高级信息。该高级信息通常经由应用程序接口(API)提供给在控制器上运行的应用程序，该应用程序相应地驱动显示生成部件120。例如，用户可以通过移动他的手部408并改变他的手部姿势来与在控制器110上运行的软件交互。
在一些实施方案中，图像传感器404将斑点图案投影到包含手部406的场景上并且捕获所投影图案的图像。在一些实施方案中，控制器110基于图案中斑点的横向偏移来通过三角测量计算场景中的点(包括用户的手部的表面上的点)的3D坐标。这种方法是有利的，因为该方法不需要用户握持或穿戴任何种类的信标、传感器或其他标记。该方法给出了场景中的点在距图像传感器404的特定距离处相对于预先确定的参考平面的深度坐标。在本公开中，假设图像传感器404限定x轴、y轴、z轴的正交集合，使得场景中的点的深度坐标对应于由图像传感器测量的z分量。另选地，手部跟踪设备440可基于单个或多个相机或其他类型的传感器而使用其他3D映射方法，诸如立体成像或飞行时间测量。
在一些实施方案中，手部跟踪设备140在用户移动他的手部(例如，整个手部或一根或多根手指)时捕获并处理包含用户的手部的深度映射图的时间序列。在图像传感器404和/或控制器110中的处理器上运行的软件处理3D映射数据以提取这些深度映射图中手部的图像块描述符。软件可基于先前的学习过程将这些描述符与存储在数据库408中的图像块描述符匹配，以便估计每个帧中手部的位姿。位姿通常包括用户的手部关节和手指尖端的3D位置。
软件还可以分析手部和/或手指在序列中的多个帧上的轨迹以识别手势。本文所述的位姿估计功能可以与运动跟踪功能交替，使得每两个(或更多个)帧仅执行一次基于图像块的位姿估计，而跟踪用于找到在剩余帧上发生的位姿的变化。经由上述API向在控制器110上运行的应用程序提供位姿、运动和手势信息。该程序可以例如响应于位姿和/或手势信息而移动和修改呈现在显示生成部件120上的图像，或者执行其他功能。
在一些实施方案中，手势包括空中手势。空中手势是在用户不触摸作为设备(例如，计算机系统101、一个或多个输入设备125和/或手部跟踪设备140)的一部分的输入元件(或独立于作为设备的一部分的输入元件)的情况下检测到的并且基于检测到的用户身体的一部分(例如，头部、一个或多个手臂、一只或多只手部、一根或多根手指和/或一条或多条腿)穿过空中的运动(包括用户的身体相对于绝对参考的运动(例如，用户的手臂相对于地面的角度或用户的手部相对于地面的距离)、相对于用户身体的另一部分的运动(例如，用户的手部相对于用户的肩部的移动、用户的一只手相对于用户的另一只手的移动、和/或用户的手指相对于用户的另一手指或手部的一部分的移动)、和/或用户身体的一部分的绝对运动(例如，包括手以预定姿势将移动预定量和/或速度的轻击手势、或包括用户身体的一部分的预定速度或旋转量的摇动手势))的手势。
在一些实施方案中，根据一些实施方案，在本文所述的各种示例和实施方案中使用的输入手势包括通过用户的手指相对于用户的手部的其他手指或部分的移动执行的用于与CGR或XR环境(例如，虚拟或混合现实环境)交互的空中手势。在一些实施方案中，空中手势是在用户不触摸作为设备的一部分的输入元件(或独立于作为设备的一部分的输入元件)的情况下检测到的并且基于所检测到的用户身体的一部分穿过空中的运动(包括用户的身体相对于绝对参考的运动(例如，用户的手臂相对于地面的角度或用户的手部相对于地面的距离)、相对于用户身体的另一部分的运动(例如，用户的手部相对于用户的肩部的移动、用户的一只手相对于用户的另一只手的移动、和/或用户的手指相对于用户的另一手指或手部的一部分的移动)、和/或用户身体的一部分的绝对运动(例如，包括手以预定姿势将移动预定量和/或速度的轻击手势、或包括用户身体的一部分的预定速度或旋转量的摇动手势))的手势。
在输入手势是空中手势的一些实施方案中(例如，在不存在与输入设备的物理接触的情况下，该输入设备向计算机系统提供关于哪个用户界面元素是用户输入的目标的信息，诸如与显示在触摸屏上的用户界面元素的接触、或与鼠标或触控板的接触以将光标移动到用户界面元素)，手势考虑用户的注意力(例如，注视)以确定用户输入的目标(例如，对于直接输入，如下所述)。因此，在涉及空中手势的实施方案中，例如，输入手势与用户的手指和/或手部的移动组合(例如，同时)检测到朝向用户界面元素的注意力(例如，注视)以执行捏合和/或轻击输入，如下所述。
在一些实施方案中，直接或间接地参考用户界面对象来执行指向用户界面对象的输入手势。例如，根据用用户的手部在与三维环境中的用户界面对象的位置相对应的位置(例如，如基于用户的当前视点所确定的)处执行输入，直接在用户界面对象上执行用户输入。在一些实施方案中，在检测到用户对用户界面对象的注意力(例如，注视)时，根据在用户执行输入手势的同时用户的手部的位置不在对应于用户界面对象在三维环境中的位置的该位置处，在用户界面对象上间接执行输入手势。例如，对于直接输入手势，用户能够通过在与用户界面对象的显示位置相对应的位置处或附近(例如，从选项的外边缘或选项的中心部分测量的0.5cm、1cm、5cm内或0至5cm之间的距离内)发起手势来将用户的输入引导至用户界面对象。对于间接输入手势，用户能够通过关注用户界面对象(例如，通过注视用户界面对象)来将用户的输入引导至用户界面对象，并且在关注选项的同时，用户发起输入手势(例如，在计算机系统可检测到的任何位置处)(例如，在不对应于用户界面对象的显示位置的位置处)。
在一些实施方案中，根据一些实施方案，在本文所述的各种示例和实施方案中使用的输入手势(例如，空中手势)包括捏合输入和轻击输入，以用于与虚拟或混合现实环境交互。例如，下文所述的捏合输入和轻击输入被执行为空中手势。
在一些实施方案中，捏合输入是空中手势的一部分，该空中手势包括以下各项中的一项或多项：捏合手势、长捏合手势、捏合并拖动手势或双捏合手势。例如，作为空中手势的捏合手势包括手部的两个或更多个手指的移动以彼此接触，即，任选地，随后是彼此立即(例如，在0至1秒内)中断接触。作为空中手势的长捏合手势包括在检测到彼此接触的中断之前手部的两个或更多个手指彼此接触至少阈值时间量(例如，至少1秒)的移动。例如，长捏合手势包括用户保持捏合手势(例如，其中两个或更多个手指进行接触)，并且长捏合手势继续直到检测到两个或更多个手指之间的接触中断为止。在一些实施方案中，作为空中手势的双捏合手势包括彼此立即(例如，在预定义时间段内)连续检测到的两个(例如，或更多个)捏合输入(例如，由同一手部执行)。例如，用户执行第一捏合输入(例如，捏合输入或长捏合输入)，释放第一捏合输入(例如，中断两个或更多个手指之间的接触)，并且在释放第一捏合输入之后的预定义时间段内(例如，在1秒内或在2秒内)执行第二捏合输入。
在一些实施方案中，作为空中手势的捏合并拖动手势包括与将用户的手部的位置从第一位置(例如，拖动的开始位置)改变到第二位置(例如，拖动的结束位置)的拖动输入结合(例如，跟随)执行的捏合手势(例如，捏合手势或长捏合手势)。在一些实施方案中，用户在执行拖动输入的同时保持捏合手势，并且释放捏合手势(例如，打开他们的两个或更多个手指)以结束拖动手势(例如，在第二位置处)。在一些实施方案中，捏合输入和拖动输入由同一手部执行(例如，用户捏合两个或更多个手指以彼此接触并且利用拖动手势将同一手部移动到空中的第二位置)。在一些实施方案中，由用户的第一手部执行捏合输入，并且由用户的第二手部执行拖动输入(例如，在用户用用户的第一手部继续捏合输入的同时，用户的第二手部在空中从第一位置移动到第二位置。在一些实施方案中，作为空中手势的输入手势包括使用用户的两只手部执行的输入(例如，捏合和/或轻击输入)。例如，输入手势包括彼此结合(例如，同时或在预定义时间段内)执行的两个(例如，或更多个)捏合输入。例如，使用用户的第一手部执行第一捏合手势(例如，捏合输入、长捏合输入或捏合并拖动输入)，并且结合使用第一手部执行捏合输入，使用另一手部(例如，用户两只手部中的第二手部)执行第二捏合输入。在一些实施方案中，用户两只手部之间的移动(例如，增大和/或减小用户两只手部之间的距离或相对取向)
在一些实施方案中，作为空中手势执行的轻击输入(例如，指向用户界面元素)包括用户的手指朝向用户界面元素的移动、用户的手部朝向用户界面元素的移动(任选地，用户的手指朝向用户界面元素延伸)、用户的手指的向下运动(例如，模仿鼠标点击运动或触摸屏上的轻击)、或用户的手部的其他预定义移动。在一些实施方案中，基于执行手指或手部的轻击手势移动的手指或手部的移动特性来检测作为空中手势执行的轻击输入，该轻击手势移动是手指或手部远离用户的视点和/或朝向作为轻击输入的目标的对象，随后是移动的结束。在一些实施方案中，基于执行轻击手势的手指或手部的移动特性的变化来检测移动的结束(例如，远离用户的视点和/或朝向作为轻击输入的目标的对象的移动的结束、手指或手部的移动方向的反转和/或手指或手部的移动的加速方向的反转)。
在一些实施方案中，基于对指向三维环境的一部分的注视的检测来确定用户的注意力指向三维环境的该部分(任选地，不需要其他条件)。在一些实施方案中，基于利用一个或多个附加条件检测到指向三维环境的一部分的注视来确定用户的注意力指向三维环境的该部分，附加条件诸如要求注视指向三维环境的该部分达至少阈值持续时间(例如，停留持续时间)和/或要求注视在用户的视点在距三维环境的该部分的距离阈值内时指向三维环境的该部分，以便设备确定用户的注意力指向三维环境的该部分，其中如果这些附加条件中的一者未满足，则设备确定注意力未指向注视指向的三维环境的该部分(例如，直到满足该一个或多个附加条件)。
在一些实施方案中，用户或用户的一部分的就绪状态配置的检测由计算机系统检测。手部的就绪状态配置的检测由计算机系统用作用户可能正准备使用由手部执行的一个或多个空中手势输入(例如，捏合、轻击、捏合并拖动、双捏合、长捏合或本文所述的其他空中手势)与计算机系统交互的指示。例如，基于手部是否具有预先确定的手部形状(例如，拇指和一个或多个手指延伸并间隔开以准备做出捏合或抓取姿势的预捏合形状，或者一个或多个手指延伸并且手掌背对用户的预轻击)、基于手部是否处于相对于用户的视点的预先确定的位置中(例如，在用户的头部下方并且在用户的腰部上方并从身体延伸出至少15cm、20cm、25cm、30cm或50cm)和/或基于手部是否已以特定方式移动(例如，朝向用户的腰部上方并且在用户的头部下方的用户前方的区域移动或远离用户的身体或腿部移动)来确定手部的就绪状态。在一些实施方案中，就绪状态被用来确定用户界面的交互式元素是否对注意力(例如，注视)输入作出响应。
在一些实施方案中，软件可以例如通过网络以电子形式下载到控制器110，或者可以另选地在有形非暂态介质诸如光学、磁性或电子存储器介质上提供。在一些实施方案中，数据库408同样存储在与控制器110相关联的存储器中。另选地或除此之外，计算机的所描述的功能中的一些或全部可以在专用硬件(诸如，定制或半定制集成电路或可编程数字信号处理器(DSP))中实现。尽管在图4中示出了控制器110，但是举例来说，作为与图像传感器440分开的单元，控制器的处理功能中一些或全部可以由合适的微处理器和软件或由手部跟踪设备402的外壳内的专用电路或与图像传感器404相关联的其他设备执行。在一些实施方案中，这些处理功能中的至少一些可由与显示生成部件120(例如，在电视接收机、手持式设备或头戴式设备中)集成或与任何其他合适的计算机化设备(诸如，游戏控制台或媒体播放器)集成的合适处理器执行。图像传感器404的感测功能同样可以集成到将由传感器输出控制的计算机或其他计算机化装置中。
图4还包括根据一些实施方案的由图像传感器404捕获的深度映射图410的示意图。如上所述，深度图包括具有相应深度值的像素的矩阵。与手部406对应的像素412已经从该映射图中的背景和手腕分割出来。深度映射图410内的每个像素的亮度与其深度值(即，测量的距图像传感器404的z距离)成反比，其中灰色阴影随着深度的增加而变得更暗。控制器110处理这些深度值以便识别和分割图像的具有人类手部特征的组成部分(即，一组相邻像素)。这些特征可包括例如总体大小、形状和从深度映射图序列中的帧到帧的运动。
图4还示意性地示出了根据一些实施方案的控制器110最终从手部406的深度映射图410提取的手部骨骼414。在图4中，骨骼414叠加在已经从原始深度映射图分割出来的手部背景416上。在一些实施方案中，手部的以及任选地在连接到手部的手腕或手臂上的关键特征点(例如，与指关节、手指尖端、手掌中心、手部的连接到手腕的端部等对应的点)被识别并位于手部骨骼414上。在一些实施方案中，控制器110使用这些关键特征点在多个图像帧上的位置和移动来根据一些实施方案确定由手部执行的手势或手部的当前状态。
图5示出了眼睛跟踪设备130(图1)的示例性实施方案。在一些实施方案中，眼睛跟踪设备130由眼睛跟踪单元245(图2)控制来跟踪用户注视相对于场景105或相对于经由显示生成部件120显示的CGR内容的定位和移动。在一些实施方案中，眼睛跟踪设备130与显示生成部件120集成。例如，在一些实施方案中，当显示生成部件120是头戴式设备(诸如，头戴式耳机、头盔、护目镜或眼镜)或放置在可穿戴框架中的手持式设备时，该头戴式设备包括生成CGR内容以供用户观看的部件以及用于跟踪用户相对于CGR内容的注视的部件两者。在一些实施方案中，眼睛跟踪设备130与显示生成部件120分开。例如，当显示生成部件是手持式设备或CGR室时，眼睛跟踪设备130任选地是与手持式设备或CGR室分开的设备。在一些实施方案中，眼睛跟踪设备130是头戴式设备或头戴式设备的一部分。在一些实施方案中，头戴式眼睛跟踪设备130任选地与也是头戴式的显示生成部件或不是头戴式的显示生成部件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地与头戴式显示生成部件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地是非头戴式显示生成部件的一部分。
在一些实施方案中，显示生成部件120使用显示机构(例如，左近眼显示面板和右近眼显示面板)来在用户眼睛前面显示包括左图像和右图像的帧，从而向用户提供3D虚拟视图。例如，头戴式显示生成部件可包括位于显示器和用户眼睛之间的左光学透镜和右光学透镜(在本文中被称为眼睛透镜)。在一些实施方案中，显示生成部件可包括或耦接到一个或多个外部摄像机，该一个或多个外部摄像机捕获用户的环境的视频以用于显示。在一些实施方案中，头戴式显示生成部件可具有透明或半透明显示器，并且在该透明或半透明显示器上显示虚拟对象，用户可以透过该透明或半透明显示器直接观看物理环境。在一些实施方案中，显示生成部件将虚拟对象投影到物理环境中。虚拟对象可例如被投影在物理表面上或作为全息图被投影，使得个体使用系统观察叠加在物理环境上方的虚拟对象。在这种情况下，可能不需要用于左眼和右眼的单独的显示面板和图像帧。
如图5中所示，在一些实施方案中，注视跟踪设备130包括至少一个眼睛跟踪相机(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛发射光(例如，IR或NIR光)的照明源(例如，IR或NIR光源，诸如LED的阵列或环)。眼睛跟踪相机可指向用户眼睛以接收光源直接从眼睛反射的IR或NIR光，或者另选地可指向位于用户眼睛和显示面板之间的“热”镜，这些热镜将来自眼睛的IR或NIR光反射到眼睛跟踪相机，同时允许可见光通过。注视跟踪设备130任选地捕获用户眼睛的图像(例如，作为以每秒60帧-120帧(fps)捕获的视频流)，分析这些图像以生成注视跟踪信息，并将注视跟踪信息传送到控制器110。在一些实施方案中，用户的两只眼睛通过相应的眼睛跟踪相机和照明源来单独地跟踪。在一些实施方案中，通过相应的眼睛跟踪相机和照明源来跟踪用户的仅一只眼睛。
在一些实施方案中，使用设备特定的校准过程来校准眼睛跟踪设备130以确定用于特定操作环境100的眼睛跟踪设备的参数，例如LED、相机、热镜(如果存在的话)、眼睛透镜和显示屏的3D几何关系和参数。在将AR/VR装备递送给终端用户之前，可以在工厂或另一个设施处执行设备特定的校准过程。设备特定的校准过程可以是自动校准过程或手动校准过程。根据一些实施方案，用户特定的校准过程可以包括对特定用户的眼睛参数的估计，例如瞳孔位置、中央凹位置、光轴、视轴、眼睛间距等。根据一些实施方案，一旦针对眼睛跟踪设备130确定了设备特定参数和用户特定参数，就可以使用闪光辅助方法来处理由眼睛跟踪相机捕获的图像，以确定当前视轴和用户相对于显示器的注视点。
如图5中所示，眼睛跟踪设备130(例如，130A或130B)包括眼睛透镜520和注视跟踪系统，该注视跟踪系统包括定位在用户面部的被执行眼睛跟踪的一侧上的至少一个眼睛跟踪相机540(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛592发射光(例如，IR或NIR光)的照明源530(例如，IR或NIR光源，诸如NIR发光二极管(LED)的阵列或环)。眼睛跟踪相机540可指向位于用户眼睛592和显示器510(例如，头戴式显示器的左显示器面板或右显示器面板，或者手持式设备的显示器、投影仪等)之间的镜子550(这些镜子反射来自眼睛592的IR或NIR光，同时允许可见光通过)(例如，如图5的顶部部分所示)，或者另选地可指向用户眼睛592以接收来自眼睛592的反射IR或NIR光(例如，如图5的底部部分所示)。
在一些实施方案中，控制器110渲染AR或VR帧562(例如，用于左显示面板和右显示面板的左帧和右帧)并且将帧562提供给显示器510。控制器110将来自眼睛跟踪相机540的注视跟踪输入542用于各种目的，例如用于处理帧562以用于显示。控制器110任选地基于使用闪光辅助方法或其他合适的方法从眼睛跟踪相机540获取的注视跟踪输入542来估计用户在显示器510上的注视点。根据注视跟踪输入542估计的注视点任选地用于确定用户当前正在看向的方向。
以下描述了用户当前注视方向的几种可能的使用案例，并且不旨在进行限制。作为示例性使用案例，控制器110可以基于所确定的用户注视的方向不同地渲染虚拟内容。例如，控制器110可以在根据用户当前注视方向确定的中央凹区域中以比在外围区域中的分辨率更高的分辨率生成虚拟内容。作为另一个示例，控制器可至少部分地基于用户当前注视方向来在视图中定位或移动虚拟内容。作为另一个示例，控制器可至少部分地基于用户当前注视方向来在视图中显示特定虚拟内容。作为AR应用程序中的另一个示例性使用案例，控制器110可引导用于捕获CGR体验的物理环境的外部相机在所确定方向上聚焦。然后，外部相机的自动聚焦机构可以聚焦于显示器510上用户当前正看向的环境中的对象或表面上。作为另一个示例性使用案例，眼睛透镜520可以是可聚焦透镜，并且控制器使用注视跟踪信息来调整眼睛透镜520的焦点，使得用户当前正看向的虚拟对象具有适当的聚散度以匹配用户眼睛592的会聚。控制器110可以利用注视跟踪信息来引导眼睛透镜520调整焦点，使得用户正看向的靠近的对象出现在正确距离处。
在一些实施方案中，眼睛跟踪设备是头戴式设备的一部分，该部分包括安装在可穿戴外壳中的显示器(例如，显示器510)、两个眼睛透镜(例如，眼睛透镜520)、眼睛跟踪相机(例如，眼睛跟踪相机540)以及光源(例如，光源530(例如，IR或NIRLED))。光源朝向用户眼睛592发射光(例如，IR或NIR光)。在一些实施方案中，光源可围绕透镜中的每个透镜布置成环或圆圈，如图5中所示。在一些实施方案中，例如，八个光源530(例如，LED)围绕每个透镜520布置。然而，可使用更多或更少的光源530，并且可使用光源530的其他布置和位置。
在一些实施方案中，显示器510发射可见光范围内的光，并且不发射IR或NIR范围内的光，并且因此不会在注视跟踪系统中引入噪声。需注意，眼睛跟踪相机540的位置和角度以举例的方式给出，并且不旨在进行限制。在一些实施方案中，单个眼睛跟踪相机540位于用户面部的每一侧上。在一些实施方案中，可在用户面部的每一侧上使用两个或更多个NIR相机540。在一些实施方案中，可在用户面部的每一侧上使用具有较宽视场(FOV)的相机540和具有较窄FOV的相机540。在一些实施方案中，可在用户面部的每一侧上使用以一个波长(例如，850nm)操作的相机540和以不同波长(例如，940nm)操作的相机540。
如图5中所示的注视跟踪系统的实施方案可例如用于计算机生成的现实、虚拟现实和/或混合现实应用程序，以向用户提供计算机生成的现实、虚拟现实、增强现实和/或增强虚拟体验。
图6A示出了根据一些实施方案的闪光辅助的注视跟踪流水线。在一些实施方案中，注视跟踪流水线通过闪光辅助的注视跟踪系统(例如，如图1和图5中所示的眼睛跟踪设备130)来实现。闪光辅助的注视跟踪系统可维持跟踪状态。最初，跟踪状态为关闭或“否”。当处于跟踪状态时，当分析当前帧以跟踪当前帧中的瞳孔轮廓和闪光时，闪光辅助的注视跟踪系统使用来自先前帧的先前信息。当未处于跟踪状态时，闪光辅助的注视跟踪系统尝试检测当前帧中的瞳孔和闪光，并且如果成功，则将跟踪状态初始化为“是”并且在跟踪状态下继续下一个帧。
如图6A中所示，注视跟踪相机可捕获用户左眼和右眼的左图像和右图像。然后将所捕获的图像输入到注视跟踪流水线以用于在610处开始处理。如返回到元素600的箭头所指示的，注视跟踪系统可例如以每秒60至120帧的速率继续捕获用户眼睛的图像。在一些实施方案中，可以将每组所捕获的图像输入到流水线以用于处理。然而，在一些实施方案中或在一些条件下，不是所有所捕获的帧都由流水线处理。
在610处，对于当前所捕获的图像，如果跟踪状态为是，则方法前进到元素640。在610处，如果跟踪状态为否，则如620处所指示的，分析图像以检测图像中的用户瞳孔和闪光。在630处，如果成功检测到瞳孔和闪光，则方法前进到元素640。否则，方法返回到元素610以处理用户眼睛的下一个图像。
在640处，如果从元素410前进，则分析当前帧以部分地基于来自先前帧的先前信息来跟踪瞳孔和闪光。在640处，如果从元素630前进，则基于当前帧中检测到的瞳孔和闪光来初始化跟踪状态。检查元素640处的处理结果以验证跟踪或检测的结果可以是可信的。例如，可检查结果以确定是否在当前帧中成功跟踪或检测到用于执行注视估计的瞳孔和足够数量的闪光。在650处，如果结果不可能是可信的，则跟踪状态被设置为否，并且方法返回到元素610以处理用户眼睛的下一个图像。在650处，如果结果是可信的，则方法前进到元素670。在670处，跟踪状态被设置为YES(如果尚未为是)，并且瞳孔和闪光信息被传递到元素680以估计用户的注视点。
图6A旨在用作可用于特定具体实施的眼睛跟踪技术的一个示例。如本领域普通技术人员所认识到的，根据各种实施方案，在用于向用户提供CGR体验的计算机系统101中，当前存在或未来开发的其他眼睛跟踪技术可用于取代本文所述的闪光辅助的眼睛跟踪技术或与该闪光辅助的眼睛跟踪技术组合使用。
图6B示出了根据一些实施方案的提供CGR体验的电子设备101的示例性环境。在图6B中，真实世界环境602包括电子设备101、用户608和真实世界对象(例如，桌子604)。如图6B所示，电子设备101任选地安装在三脚架上或以其他方式固定在真实世界环境602中，使得用户608的一只或多只手空闲(例如，用户608任选地未用一只或多只手握持设备101)。如上所述，设备101任选地具有定位在设备101的不同侧面上的一组或多组传感器。例如，设备101任选地包括传感器组612-1和传感器组612-2，它们分别位于设备101的“后”侧和“前”侧上(例如，它们能够从设备101的相应侧面捕获信息)。如本文所用，设备101的前侧是面向用户608的侧面，并且设备101的后侧是背对用户608的侧面。
在一些实施方案中，传感器组612-2包括眼睛跟踪单元(例如，上文参考图2所述的眼睛跟踪单元245)，该眼睛跟踪单元包括用于跟踪用户的眼睛和/或注视的一个或多个传感器，使得眼睛跟踪单元能够“看”向用户608并且以先前所述的方式跟踪用户608的眼睛。在一些实施方案中，设备101的眼睛跟踪单元能够捕获用户608的眼睛的移动、取向和/或注视并且将所述移动、取向和/或注视看作输入。
在一些实施方案中，传感器组612-1包括手部跟踪单元(例如，上文参考图2所述的手部跟踪单元243)，该手部跟踪单元能够跟踪保持在设备101的“后”侧上的用户608的一只或多只手，如图6B所示。在一些实施方案中，手部跟踪单元任选地包括在传感器组612-2中，使得在设备101跟踪一只或多只手的位置时用户608能够附加地或另选地将一只或多只手保持在设备101的“前”侧上。如上所述，设备101的手部跟踪单元能够捕获用户608的一只或多只手的移动、位置和/或手势并且将所述移动、位置和/或手势看作输入。
在一些实施方案中，传感器组612-1任选地包括一个或多个传感器，该一个或多个传感器被配置为捕获包括桌子604的真实世界环境602的图像(例如，诸如上文参考图4所述的图像传感器404)。如上所述，设备101能够捕获真实世界环境602的部分(例如，一些或全部)的图像并且经由设备101的一个或多个显示生成部件(例如，设备101的显示器，该显示器任选地位于设备101的面向用户的侧面上，与设备101的面向真实世界环境602的捕获的部分的侧面相对)向用户呈现真实世界环境602的捕获的部分。
在一些实施方案中，真实世界环境602的捕获的部分用于向用户提供CGR体验，例如一个或多个虚拟对象叠加在真实世界环境602的表示上方的混合现实环境。
因此，本文的描述描述了包括真实世界对象的表示和虚拟对象的表示的三维环境(例如，CGR环境)的一些实施方案。例如，三维环境任选地包括存在于物理环境中的桌子的表示，该桌子被捕获并在三维环境中显示(例如，经由电子设备的相机和显示器主动地或经由电子设备的透明或半透明显示器被动地显示)。如先前所述，三维环境任选地是混合现实系统，其中三维环境基于由设备的一个或多个传感器捕获并经由显示生成部件显示的物理环境。作为混合现实系统，该设备任选地能够选择性地显示物理环境的部分和/或对象，使得物理环境的相应部分和/或对象看起来如同它们存在于由电子设备显示的三维环境中一样。类似地，该设备任选地能够通过将虚拟对象放置在三维环境中在真实世界中具有对应位置的相应位置处来在三维环境中显示虚拟对象以看起来如同虚拟对象存在于真实世界(例如，物理环境)中一样。例如，该设备任选地显示花瓶，使得该花瓶看起来如同真实的花瓶被放置在物理环境中的桌子的顶部上一样。在一些实施方案中，三维环境中的每个位置在物理环境中具有对应位置。因此，当设备被描述为在相对于物理对象的相应位置(例如，诸如在用户的手处或附近的位置或在物理桌子处或附近的位置)处显示虚拟对象时，设备在三维环境中的特定位置处显示虚拟对象，使得看起来如同虚拟对象在物理世界中的物理对象处或附近一样(例如，虚拟对象显示在三维环境中与物理环境中如果该虚拟对象是该特定位置处的真实对象则将显示该虚拟对象的位置对应的位置处)。
在一些实施方案中，在三维环境中显示的存在于物理环境中的现实世界对象可与仅存在于三维环境中的虚拟对象交互。例如，三维环境可包括桌子和放置在桌子的顶部上的花瓶，其中桌子是物理环境中的物理桌子的视图(或表示)，并且花瓶是虚拟对象。
类似地，用户任选地能够使用一只或两只手与三维环境中的虚拟对象交互，好像虚拟对象是物理环境中的真实对象一样。例如，如上文所述，设备的一个或多个传感器任选地捕获用户的一只或多只手并且在三维环境中显示用户的手的表示(例如，以类似于在上文所述的三维环境中显示真实世界对象的方式)，或者在一些实施方案中，由于显示生成部件的正在显示用户界面或用户界面到透明/半透明表面上的投影或用户界面到用户的眼睛上或到用户的眼睛的视场中的投影的一部分的透明度/半透明度，经由显示生成部件、经由透过用户界面看见物理环境的能力可看到用户的手。因此，在一些实施方案中，用户的手部在三维环境中的相应位置处显示并且被视为好像它们是三维环境中的对象一样，这些对象能够与三维环境中的虚拟对象交互，好像这些虚拟对象是物理环境中的真实物理对象一样。在一些实施方案中，用户能够移动他或她的手以使得手在三维环境中的表示结合用户的手的移动而移动。
在下文所述的实施方案中的一些实施方案中，设备任选地能够确定物理世界中的物理对象与三维环境中的虚拟对象之间的“有效”距离，例如，以用于确定物理对象是否正在与虚拟对象交互(例如，手是否正在触摸、抓取、握持等虚拟对象或处于距虚拟对象的阈值距离内)。例如，设备当确定用户是否正在与虚拟对象交互并且/或者用户正在如何与虚拟对象交互时确定用户的手与虚拟对象之间的距离。在一些实施方案中，设备通过确定手在三维环境中的位置与感兴趣虚拟对象在三维环境中的位置之间的距离来确定用户的手与虚拟对象之间的距离。例如，用户的该一只或多只手位于物理世界中的特定定位处，设备任选地捕获该一只或多只手并且在三维环境中的特定对应定位(例如，如果手是虚拟手而不是物理手，则该手将在三维环境中被显示的位置)处显示该一只或多只手。任选地将手在三维环境中的定位与感兴趣虚拟对象在三维环境中的定位进行比较，以确定用户的该一只或多只手与虚拟对象之间的距离。在一些实施方案中，设备任选地通过比较物理世界中的定位(例如，而不是比较三维环境中的定位)来确定物理对象与虚拟对象之间的距离。例如，当确定用户的一只或多只手与虚拟对象之间的距离时，设备任选地确定虚拟对象在物理世界中的对应位置(例如，如果该虚拟对象是物理对象而不是虚拟对象，则该虚拟对象将在物理世界中位于的定位)，然后确定对应物理定位与用户的该一只或多只手之间的距离。在一些实施方案中，任选地使用相同的技术来确定任何物理对象与任何虚拟对象之间的距离。因此，如本文所述，当确定物理对象是否与虚拟对象接触或者物理对象是否处于虚拟对象的阈值距离内时，设备任选地执行上文所述的技术中的任一种技术来将物理对象的位置映射到三维环境和/或将虚拟对象的位置映射到物理世界。
在一些实施方案中，使用相同或类似的技术来确定用户的注视指向何处和何物，以及/或者由用户握持的物理触笔指向何处和何物处。例如，如果用户的注视指向物理环境中的特定定位，则设备任选地确定三维环境中的对应定位，并且如果虚拟对象位于该对应虚拟定位处，则设备任选地确定用户的注视指向该虚拟对象。类似地，该设备任选地能够基于物理触笔的取向来确定该触笔在物理世界中指向的方向。在一些实施方案中，基于该确定，设备确定三维环境中与物理世界中触笔指向的位置对应的对应虚拟定位，并且任选地确定触笔指向三维环境中的对应虚拟定位处。
类似地，本文所述的实施方案可指用户(例如，设备的用户)在三维环境中的位置和/或设备在三维环境中的位置。在一些实施方案中，设备的用户正在握持、佩戴或以其他方式位于电子设备处或附近。因此，在一些实施方案中，设备的位置用作用户的位置的代理。在一些实施方案中，设备和/或用户在物理环境中的位置对应于三维环境中的相应位置。在一些实施方案中，相应位置是三维环境的“相机”或“视图”从其延伸的位置。例如，设备的位置将是在物理环境中的位置(及其在三维环境中的对应位置)，如果用户站在该位置，面向由显示生成部件显示的物理环境的相应部分，则用户将从该位置看到物理环境中处于与在对象由设备的显示生成部件显示时相同的定位、取向和/或大小(例如，绝对意义上和/或相对于彼此)的这些对象。类似地，如果在三维环境中显示的虚拟对象是物理环境中的物理对象(例如，放置在物理环境中与这些虚拟对象在三维环境中的位置相同的位置处的物理对象，以及在物理环境中具有与在三维环境中时相同的大小和取向的物理对象)，则设备和/或用户的位置是用户将看到物理环境中处于与在虚拟对象由设备的显示生成部件显示时相同的定位、取向和/或大小(例如，绝对意义上和/或相对于彼此和真实世界对象)的这些虚拟对象的定位。
在本公开中，相对于与计算机系统的交互来描述各种输入方法。当使用一个输入设备或输入方法来提供示例，并且使用另一个输入设备或输入方法来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的输入设备或输入方法兼容并且任选地利用该输入设备或输入方法。类似地，相对于与计算机系统的交互来描述各种输出方法。当使用一个输出设备或输出方法来提供示例，并且使用另一个输出设备或输出方法来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的输出设备或输出方法兼容并且任选地利用该输出设备或输出方法。类似地，相对于通过计算机系统与虚拟环境或混合现实环境进行的交互来描述各种方法。当使用与虚拟环境的交互来提供示例时，并且使用混合现实环境来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的方法兼容并且任选地利用这些方法。因此，本公开公开了作为多个示例的特征的组合的实施方案，而无需在每个示例性实施方案的描述中详尽地列出实施方案的所有特征。
此外，在本文所述的其中一个或多个步骤取决于已满足一个或多个条件的方法中，应当理解，所述方法可在多次重复中重复，使得在重复的过程中，在方法的不同重复中已满足决定方法中的步骤的所有条件。例如，如果方法需要执行第一步骤(如果满足条件)，以及执行第二步骤(如果不满足条件)，则普通技术人员将会知道，重复所声明的步骤，直到满足条件和不满足条件两者(不分先后)。因此，可将被描述为具有取决于已满足一个或多个条件的一个或多个步骤的方法重写为重复直到已满足该方法中所述的每个条件的方法。然而，这不需要系统或计算机可读介质声明该系统或计算机可读介质包含用于基于对应的一个或多个条件的满足来执行视情况而定的操作的指令，并且因此能够确定是否已满足可能的情况，而无需明确地重复方法的步骤直到已满足决定方法中的步骤的所有条件。本领域的普通技术人员还将理解，类似于具有视情况而定的步骤的方法，系统或计算机可读存储介质可根据需要多次重复方法的步骤，以确保已执行所有视情况而定的步骤。
用户界面和相关联的过程
现在将注意力转向可在具有显示生成部件、一个或多个输入设备以及(任选)一个或多个相机的计算机系统(诸如，便携式多功能设备或头戴式设备)上实现的用户界面(“UI”)和相关联过程的实施方案。
图7A至图7H示出了根据一些实施方案的显示虚拟环境的示例。
图7A示出了经由显示生成部件(例如，图1的显示生成部件120)在用户界面上显示三维环境704的电子设备101。如上参考图1-图6所描述，电子设备101任选地包括显示生成部件(例如，触摸屏)和多个图像传感器(例如，图3的图像传感器314)。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101交互时电子设备101能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，下文示出的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件，以及检测物理环境和/或用户的手的移动的传感器(例如，从用户面向外的外部传感器)和/或检测用户的注视的传感器(例如，朝向用户的面部面向内的内部传感器)。本文的附图示出了由设备101呈现给用户(例如，并且由设备101的显示生成部件显示)的三维环境以及与设备101相关联的物理和/或三维环境的俯视图(例如，诸如图7A中的俯视图718)，以示出对象在真实世界环境中的相对位置以及虚拟对象在三维环境中的位置。
如图7A所示，设备101捕获设备101周围的真实世界环境702(例如，操作环境100)(包括设备101周围的真实世界环境702中的一个或多个对象)的一个或多个图像。在一些实施方案中，设备101在三维环境704中显示真实世界环境的表示。例如，三维环境704包括房间的后拐角、角桌708a的表示、书桌710a的表示、房间的后墙壁上的相框706的表示、咖啡桌714a的表示以及边桌712a的表示。因此，三维环境704任选地重新创建真实世界环境702的部分，使得三维环境704对用户而言看起来好像用户物理地位于真实世界环境702中(例如，任选地从用户在真实世界环境702中的当前位置的视角并且面向用户当前面向的方向)。
如图7A中的真实世界环境702的俯视图718所示，角桌708a、书桌710b、边桌712b和咖啡桌714b是真实世界环境702中已由设备101的一个或多个传感器捕获的真实对象，它们的表示包括在三维环境704中(例如，照片真实感表示、简化表示、卡通、漫画等)。在一些实施方案中，真实世界环境702还包括相框(例如，由表示706在三维环境704中表示)和沙发719。
如图7A所示，设备101的用户720坐在沙发719上并且以设备面向房间的另一端(例如，一个或多个传感器面向房间的另一端)的方式握持设备101(例如，或佩戴设备101，如果例如设备101是头戴式设备的话)，因此捕获角桌708a、书桌710b、边桌712b和咖啡桌714b，并且在三维环境704中显示对象的表示。在一些实施方案中，设备101能够确定真实世界环境702的至少一部分(例如，设备101面向的真实世界环境702的部分、真实世界环境702的所有部分等)的几何结构。在一些实施方案中，设备101使用诸如可见光传感器(例如，相机)、深度传感器(例如，飞行时间传感器)或传感器的组合(例如，多个相同类型的传感器、不同类型的传感器等)之类的一个或多个传感器来确定真实世界环境702的几何结构。在图7A中，设备101确定因为用户720坐在沙发719上，所以在设备101前方存在阈值量的物理空间。例如，从用户720(例如，以及因此从设备101)到远处墙壁(例如，书桌710b靠着该墙壁放置)的距离大于阈值距离(例如，超过3英尺、6英尺、10英尺、30英尺等)。因此，因为三维环境704至少是如上所述的真实世界环境702的部分重新创建，所以三维环境704任选地反映用户720与真实世界环境702的远处墙壁之间的可用空间(例如，从三维环境704的视点(例如，用户从其观看三维环境704的“相机”位置)到三维环境704中的远处墙壁的距离与从用户720到真实世界环境702的远处墙壁的距离相同或类似)，并且三维环境704具有至少阈值量的空间(例如，因为真实世界环境702在用户720前方具有至少阈值量的空间)。在一些实施方案中，因为在用户的视角前方的三维环境704中存在至少阈值量的深度，所以三维环境704符合远场虚拟环境过渡动画的条件，如下文将相对于图7C至图7H进一步详细描述。
在图7A中，设备101正在显示沉浸水平指示符716。在一些实施方案中，沉浸水平指示符716指示设备101在三维环境704中显示的当前沉浸水平(例如，在沉浸水平的最大数量之中)。在一些实施方案中，沉浸水平包括物理环境的视图(例如，真实世界环境702中的对象的视图)被虚拟环境(例如，任选地与用户周围的真实世界环境702不同的模拟环境)遮挡的量，或者物理环境的对象被修改以实现特定空间效果的量(例如，如下文将相对于方法1000进一步详细描述)。例如，最大沉浸水平(例如，完全沉浸)任选地是指其中没有物理环境可经由显示生成部件120在三维环境704中看见并且整个三维环境704被虚拟环境包围的状态。在一些实施方案中，中间沉浸水平(例如，小于最大沉浸且大于无沉浸的沉浸水平)是指其中真实世界环境702中的一些可经由显示生成部件120在三维环境704中看见并且真实世界环境702的原本可看见(例如，如果不是因为沉浸的话)的部分已被替换为虚拟环境的状态。在一些实施方案中，沉浸水平指示符716任选地包括与多个沉浸水平相关联的多个元素。在一些实施方案中，多个沉浸水平被分类为次沉浸水平和主沉浸水平，并且沉浸水平指示符716任选地包括次刻度线(例如，由正方形指示)和主刻度线(例如，由与三角形一起显示的正方形指示)。在一些实施方案中，随着沉浸水平增加，设备101呈现虚拟环境的更多元素。在一些实施方案中，次刻度线是指其中引入次要元素或者先前引入的元素在量值上增加(例如，增加声音的音量、增加虚拟环境的尺寸等)的沉浸式状态，并且主刻度线是指其中引入主要元素(例如，新的视觉元素、新的音频元素等)(任选地作为增加先前引入的元素的量值的补充)的沉浸式状态。
在图7A中，沉浸水平指示符716指示当前沉浸水平是无沉浸(由没有正方形和/或三角形被填充的事实指示)，并且因此在三维环境704中没有显示虚拟环境。在一些实施方案中，在当前沉浸水平大于无沉浸水平和/或在沉浸水平改变之后持续阈值时间量(例如，持续5秒、10秒、30秒、1分钟等)和/或在沉浸水平减小到零之后持续阈值时间量(例如，持续5秒、10秒、30秒、1分钟等)时，显示沉浸水平指示符716。
图7B示出了与图7A类似的实施方案，不同的是用户720坐在书桌710b旁，如真实世界环境702的俯视图718所示。在一些实施方案中，因为设备101位于书桌710b处并且捕获从书桌710b到后墙壁的真实世界环境702的视图，所以三维环境704是从用户720到后墙壁的有限空间的视图，其包括靠近用户的远处墙壁的表示、后墙壁上的相框的表示706以及书桌710b的表示710a的一部分。在图7B中，设备101确定因为用户720坐在靠近房间的后墙壁的地方，所以在房间中的设备101前方不存在阈值量的物理空间。在一些实施方案中，由设备101进行的该确定基于从设备101到房间的后墙壁的距离、设备101与房间的后墙壁之间的面积或者设备101与房间的后墙壁之间的体积中的一者或多者。在一些实施方案中，由设备101进行的该确定附加地或另选地基于在相对于三维环境704中的用户的视点的预定义区域内距离/面积/体积的平均值或最近点的距离/面积/体积或最远点的距离/面积/体积。
例如，从用户720(例如，以及因此从设备101)到后墙壁的距离小于先前描述的阈值距离。因此，因为三维环境704至少是如上所述的真实世界环境702的部分重新创建，所以三维环境704任选地反映用户720与真实世界环境702的远处墙壁之间的可用空间(例如，从三维环境704的视点到三维环境704中的远处墙壁的距离与从用户720到真实世界环境702的远处墙壁的距离相同或类似)，并且三维环境704不具有至少阈值量的空间(例如，因为真实世界环境702在用户720前方不具有至少阈值量的空间)。在一些实施方案中，因为在用户的视角前方的三维环境704中不存在至少阈值量的深度，所以三维环境704不符合远场虚拟环境过渡动画的条件，而是将执行近场虚拟环境过渡动画，如下文将相对于图7C至图7H进一步详细描述。
在一些实施方案中，在真实世界环境702具有至少阈值量的空间时执行远场过渡动画，而在真实世界环境702不具有至少阈值量的空间时执行近场过渡动画提供了减少晕动病或眩晕的风险的优化体验。例如，如果用户正坐在用户前方有很大空间的位置处，则将该空间转换成潜在具有无限地平线的虚拟环境具有视觉失调和晕动病的低风险，但是如果用户正坐在用户前方有很小的空间的位置处，则将该空间转换成具有潜在无限地平线的虚拟环境具有视觉失调和晕动病的较高风险。因此，通过在晕动病的风险低时执行远场动画向用户提供愉悦的体验，但在晕动病的风险高时执行近场动画允许用户查看虚拟环境，但缓慢地将环境引入到用户，以减少晕动病的几率。
图7C和图7D分别示出了用于在三维环境704中显示虚拟环境的远场过渡动画和近场过渡动画的快照。在一些实施方案中，虚拟环境是可任选地代替物理环境的表示(例如，完全沉浸)或任选地与物理环境的表示同时地(例如，部分沉浸)在三维环境704中显示的模拟三维环境。虚拟环境的一些示例包括湖泊环境、山脉环境、日落场景、日出场景、夜间环境、草地环境、音乐会场景等。在一些实施方案中，虚拟环境基于真实的物理位置，诸如博物馆、水族馆等。在一些实施方案中，虚拟环境是艺术家设计的位置。因此，在三维环境704中显示虚拟环境向用户提供了如同用户物理地位于虚拟环境中一样的虚拟体验。
在一些实施方案中，响应于选择与相应虚拟环境相关联的示能表示的用户输入，在三维环境704中显示虚拟环境。例如，三维环境704包括一个或多个虚拟环境的一个或多个示能表示，用户能够从中选择相应环境以在三维环境704中显示。在一些实施方案中，如下文将相对于方法1000进一步详细描述，响应于选择相应环境的示能表示，由设备101以预先确定的沉浸水平(例如，部分沉浸水平或完全沉浸水平)显示相应环境。在一些实施方案中，响应于增加三维环境704的沉浸水平的用户输入，在三维环境704中显示虚拟环境。例如，设备101任选地包括机械转盘，该机械转盘能够在相应方向上旋转以增加沉浸水平，并且在另一方向上旋转以降低沉浸水平。本文的实施方案描述了用于将虚拟环境从虚拟环境未被显示的状态显示到中间沉浸水平或完全沉浸水平的过程和/或用于将虚拟环境的沉浸水平从无沉浸水平或部分沉浸水平(例如，低于完全沉浸的水平)改变到更高的部分沉浸水平或完全沉浸水平的过程。
图7C至图7D示出了用于以较高的部分沉浸水平(例如，其中大量的三维环境704被替换为虚拟环境722，诸如在图7G至图7H中)显示虚拟环境722的过程的第一快照，但是应当理解，图7C至图7D任选地示出了用于以较低的部分沉浸水平(例如，其中少量的三维环境704被替换为虚拟环境722)和/或完全沉浸水平(例如，其中全部三维环境704被替换为虚拟环境722)显示虚拟环境722的过程的快照。在一些实施方案中，如上所述，响应于使得显示虚拟环境722的用户输入(例如，在接收到用户输入时不显示虚拟环境722)或响应于改变虚拟环境722的沉浸水平的用户输入(例如，在接收到用户输入时显示虚拟环境722)来触发(例如，发起)用于显示虚拟环境722的过程。
图7C示出了用于在沉浸水平为1(例如，正好高于无沉浸的水平)时显示虚拟环境722的远场过程的第一快照，如最左正方形被填充而其他正方形(和三角形)没有被填充的沉浸水平指示符716所指示。如上所讨论，在图7C中，用于显示虚拟环境722的过程包括远场过渡，其包括基于物理和/或三维环境704的部分离用户的视点的距离来将物理和/或三维环境704的那些部分替换为虚拟环境的部分。例如，三维环境704的最远位置(例如，在三维环境704中可见的真实世界环境702的最远位置)被替换为虚拟环境，并且从该最远位置朝向用户的视点扩展(例如，如将在图7E和图7G中所示)。在图7C中，三维环境704的左角和右角对应于离用户720的视点最远的位置，并且因此，三维环境704的左角被替换为虚拟环境722-1a，并且三维环境704的右角被替换为虚拟环境722-2a(例如，也如俯视图718中的虚拟环境722-1b和虚拟环境722-2b所示)。在一些实施方案中，虚拟环境722-1a和虚拟环境722-2a是相同虚拟环境的一部分，但对应于虚拟环境722的相应左侧和右侧(例如，虚拟环境722的不同部分)。例如，虚拟环境722至少部分地叠加在三维环境704上(例如，任选地，虚拟环境722能够覆盖全部三维环境704)，但是当沉浸水平为零(例如，无沉浸)时，整个虚拟环境722被隐藏而不可见，但随着沉浸水平增加，虚拟环境722的部分被显露(例如，并且替换和/或遮挡物理环境的相应部分的视图)。因此，在图7C中，显露虚拟环境722的远左部分，使得用户能够看到先前显示左后角的远左部分，并且显露虚拟环境722的远右部分，使得用户能够看到先前显示右后角的虚拟环境722的远右部分。
在一些实施方案中，虚拟环境722任选地具有大于真实世界环境702的尺寸的尺寸(例如，潜在无限深度，例如，如果虚拟环境722是延伸到地平线的景观的话)，并且因此将三维环境704的部分替换为虚拟环境722使得替换的部分被显示为好像它们已经变成进入虚拟环境722中的视觉入口。例如，俯视图718指示真实世界环境702的左后角和右后角在三维环境704中不再存在(例如，不再显示)(例如，如虚线所指示)，并且取而代之的是进入虚拟环境722中的视图，该视图任选地根据虚拟环境722的大小、尺寸和/或深度向远处延伸(例如，从用户720的视点以法向角度从左后角和右拐角向外延伸)。因此，在图7C中，三维环境704向用户呈现为部分为真实世界环境702且部分为虚拟环境722的环境，如同用户的真实世界环境702的部分已转换成虚拟环境722，使得用户能够通过真实世界环境702的左后角和右后角走进虚拟环境722中。
图7D示出了用于在沉浸水平为1(例如，正好高于无沉浸的水平)时显示虚拟环境722的近场过程的第一快照，如最左正方形被填充而其他正方形(和三角形)没有被填充的沉浸水平指示符716所指示。如上所讨论，在图7D中，用于显示虚拟环境722的过程包括近场过渡，其包括选择任选地与三维环境704中(例如，在进入三维环境704中的用户的视点的取向的方向上)离用户最远的表面相对应的中心(或其他固定)位置并且从中心位置径向向外扩展(例如，增加进入虚拟环境中的入口的半径，任选地不考虑三维环境704中的对象相对于用户720的位置和/或距离，如下文将相对于图7F和图7H更详细描述)。应当理解，尽管图7D示出了具有圆形形状的虚拟环境722a，但是其他形状也是可能的(例如，椭圆形、圆柱形、正方形、矩形等)。在图7D中，真实世界环境702的后墙壁是在进入三维环境704中的用户的视点的取向的方向上的三维环境704中的最远表面，并且因此，从后墙壁中间的位置开始，设备101将后墙壁中间的圆形区域替换为虚拟环境722a(例如，也如由俯视图718中的虚拟环境722b所示)。在一些实施方案中，虚拟环境722a的z位置(例如，深度)(例如，虚拟环境722a与三维环境704的真实世界环境部分之间的边界)不一定是后墙壁，并且任选地是比后墙壁更靠近用户720的位置。例如，在图7D中，俯视图718示出了虚拟环境722b在桌子710b的中心的深度位置处开始(例如，真实世界环境702与虚拟环境722b之间的边界在该深度位置处)。在图7D中，因为虚拟环境722的高度与后墙壁的表面的中间重合(例如，虚拟环境722的边界在后墙壁的正前方)，所以虚拟环境722可看起来如同其在后墙壁的表面处开始。在图7D中，俯视图718指示真实世界环境702的后墙壁的中心在三维环境704中不再存在(例如，不再显示)(例如，如虚线所指示)，并且取而代之的是进入虚拟环境722中的视图，该视图任选地根据虚拟环境722的大小、尺寸和/或深度向远处延伸(例如，从用户720的视点以法向角度从后墙壁向外延伸)。
如上文相对于图7C所讨论，虚拟环境722任选地叠加在三维环境704上，但是被隐藏直到沉浸水平使得虚拟环境722的部分被显露给用户(例如，并且因此替换或遮挡三维环境704的相应部分)。因此，在图7D中，设备101显露叠加在后墙壁的中心上(例如，从桌子710b的中心的深度位置并基于虚拟环境722的尺寸向外)的虚拟环境722的部分。因此，在图7D中，三维环境704向用户呈现为部分为真实世界环境702且部分为虚拟环境722的环境，如同用户的真实世界环境702的部分已转换成虚拟环境722。因此，在近场过渡的第一快照期间在图7D中可见的虚拟环境722的部分不同于在远场过渡的第一快照期间在图7C中可见的虚拟环境722的部分，即使图7C和图7D两者在过渡中示出相同沉浸水平以显示相同虚拟环境(例如，虚拟环境722)。
图7E至图7F示出了用于以高沉浸水平显示虚拟环境722的过程的第二快照(例如，分别在图7C至图7D中描述的过程的继续，并且分别以诸如图7G至图7H中描述的沉浸水平结束)。如沉浸水平指示符716所示，第二快照对应于沉浸水平3，因此进一步增加已被虚拟环境722a替换的三维环境704的量，从而增加虚拟环境722a的尺寸(例如，增加进入虚拟环境722a中的视觉“入口”的尺寸)。
例如，在图7E(例如，其是远场过渡动画的快照)中，虚拟环境722a已响应于沉浸水平的增加(例如，基于物理和/或三维环境704的那些部分离用户的视点的距离)而朝向用户扩展(例如，替换三维环境704的更多真实世界环境部分)。在一些实施方案中，扩展虚拟环境722a包括朝向用户扩展和/或移动虚拟环境722a与三维环境704的真实世界环境部分之间的边界(例如，也如俯视图718所示)。在一些实施方案中，虚拟环境722a的边界保持与用户720等距并且因此看起来以圆形和/或球形方式朝向用户移动(例如，当在三维中考虑时)。在一些实施方案中，用于虚拟环境722a的边界的扩展的其他形状是可能的。例如，虚拟环境722a作为一个平面朝向用户扩展(例如，随着虚拟环境722a扩展而朝向用户移动的平行于用户的平面边界)。在一些实施方案中，随着虚拟环境722a扩展，三维环境704的真实世界环境部分的部分不再显示并且被先前未显示的虚拟环境722a的部分替换。例如，在图7E中，远处墙壁、角桌708a和书桌710a的一部分(例如，较远部分)由于离用户720的距离远于虚拟环境722a的边界而不再可见。在一些实施方案中，比虚拟环境722a的边界更远(例如，更远离用户的视点)的三维环境的真实世界环境部分中的对象不再显示，并且比虚拟环境722a的边界更近(例如，更靠近用户的视点)的三维环境的真实世界环境部分中的对象继续显示。在一些实施方案中，如果对象比虚拟环境722a的边界更近但具有使得其另一方面会遮挡虚拟环境722a的部分(例如，诸如图7E中的书桌710a)的高度，则任选地从三维环境704中移除该对象。例如，边桌712a的右后角遮挡图7E中的虚拟环境722a的一部分，并且任选地从三维环境704中移除(例如，不再显示)。在一些实施方案中，比虚拟环境722a的边界更近但另一方面会遮挡虚拟环境722a的部分的对象继续显示(例如，诸如图7E中的边桌712a)。在一些实施方案中，如果对象跨越虚拟环境722a的边界(例如，对象的部分比边界更近并且部分比边界更远，诸如图7E中的书桌710a)，则该对象任选地从显示中移除(例如，从三维环境704中移除，使得其不再可见)。在一些实施方案中，如果对象跨越边界，则比边界更近的对象的部分继续显示，而离边界更远的对象的部分不再显示(例如，诸如图7E中的书桌710a)。在一些实施方案中，如果对象跨越边界，则整个对象继续显示，使得对象的一部分存在于三维环境704的真实世界部分中，并且对象的一部分存在于三维环境704的模拟环境部分中(例如，如同对象的该部分是模拟环境的一部分，任选地在视觉上被去强调，诸如变灰、变暗、变为部分透明、显示为轮廓等)。因此，在一些实施方案中，整个书桌710a不再显示(例如，从显示中移除)，因为书桌710a的至少一部分比虚拟环境722a的边界更远。另选地，在一些实施方案中，即使书桌710a的一部分比虚拟环境722a的边界更远，整个书桌710a也继续显示(例如，使得书桌710a将看起来部分在虚拟环境722a中且部分在三维环境704的真实世界环境部分中)。
在一些实施方案中，扩展虚拟环境722a包括使得更多虚拟环境722a可见。例如，如果虚拟环境722a的边界离用户十英尺远，则用户能够看到十英尺远及以上的虚拟环境722a的部分，但如果虚拟环境722a的边界扩展到离用户五英尺远，则用户能够看到五英尺远及以上的虚拟环境722a的部分，这包括十英尺远及以上的虚拟环境722a的部分(例如，边界为十英尺远时示出的部分)和先前不可见的附加五英尺空间。因此，随着虚拟环境722a扩展，使越来越多的虚拟环境对用户可见。例如，在图7E中，房间的两个拐角之间的区域(例如，图7C中先前包括物理环境的表示的722-1a和722-2a之间的区域)现在被虚拟环境722a占据。在一些实施方案中，扩展虚拟环境722a不包括将虚拟环境722a移动得更靠近用户。例如，先前离用户20英尺远的虚拟环境722a中的对象任选地不随着虚拟环境722a的边界朝向用户移动而移动得更靠近用户，而是保持20英尺远。相反，例如，10英尺远且先前未被显露给用户(例如，由于边界远于10英尺远)的虚拟环境722a中的对象现在任选地被显露给用户(例如，由于边界移动得比10英尺远更近)。因此，扩展虚拟环境722a看起来如同进入虚拟环境722a中的视觉入口扩展和/或移动得更靠近用户，而没有虚拟环境722a的特征(例如，虚拟环境中的对象)移动得更靠近用户。
在图7F(例如，其是近场过渡动画的快照)中，虚拟环境722a已从中心位置(例如，上文在图7D中所示的位置)径向向外扩展(例如，替换三维环境704的更多真实世界环境部分)，任选地不考虑三维环境704中的对象相对于用户720的位置和/或距离。在一些实施方案中，径向向外扩展虚拟环境722a包括加宽虚拟环境722a的尺寸/入口，任选地不将虚拟环境722a的边界移动得更靠近用户。例如，在图7F中，虚拟环境722b具有30度的径向尺寸(例如，由虚拟环境722b的左边界和右边界形成的角度是30度，并且任选地由虚拟环境722b的底部边界和顶部边界形成的角度是30度)，这与图7D相比径向尺寸有所增加。在一些实施方案中，虚拟环境722a的边界以圆形方式(或球形方式，当在三维中考虑时)扩展并围绕用户720弯曲，如由俯视图718中的虚拟环境722b所示。在一些实施方案中，虚拟环境722a的边界向外扩展，并且任选地沿着扩展的边界保持与用户720等距(例如，如同虚拟环境722a的边界沿着圆/球的表面扩展，其中用户720在其中心点处)。因此，如图7F所示，虚拟环境722a是不仅半径增加(例如，在与后墙壁的平面平行的左右和上下方向上扩展)而且围绕用户弯曲(例如，改变远离后墙壁的平面的深度)的圆形视觉入口。如上所讨论，扩展虚拟环境722a使得更多虚拟环境722a可见并替换真实世界环境的部分。在图7F中，后墙壁的较大区域不再可见，并且书桌710a的一部分不再可见，已被替换为先前未显示的虚拟环境722a的部分(例如，与图7D相比)。在一些实施方案中，用于近场过渡动画(例如，图7D、图7F和图7H)的用户周围的虚拟环境722a的曲率(例如，在z维度上)与用于远场过渡动画(例如，图7C、图7E和图7G)的虚拟环境722a的曲率(例如，在z维度上)相同或类似(例如，相同半径、相同形状等)。
图7G至图7H示出了用于以高沉浸水平(例如，任选地，最终状态、稳定状态、在用于显示虚拟环境722的过程(包括上文分别相对于图7C至图7D和图7E至图7F所述的第一快照和第二快照)结束时的三维环境704的状态)显示虚拟环境722 722的过程的第三快照。如沉浸水平指示符716所示，第三快照对应于沉浸水平6，因此进一步增加已被虚拟环境722a替换的三维环境704的量，并因此增加虚拟环境722a的尺寸(例如，增加进入虚拟环境722a中的视觉“入口”的尺寸)。
如示出远场过渡动画的图7G所示，虚拟环境722a进一步扩展，使得虚拟环境722a的边界已移动得更靠近用户720(例如，同时任选地沿着虚拟环境722a的边界保持与用户720等距)。例如，先前未被虚拟环境722a占据的在咖啡桌714b的表示714a与书桌的表示710a之间的三维环境的部分现在被虚拟环境722a占据。如上所讨论，朝向用户扩展虚拟环境722a的边界不涉及移动虚拟环境722a中的对象，而是显露位置更靠近用户的视点但先前被隐藏的虚拟环境722a的部分(例如，揭开虚拟环境722a的部分)。在一些实施方案中，因为虚拟环境722a包围更多三维环境704，所以物理对象的更多表示超出虚拟环境722a的边界并停止显示。例如，在图7G中，书桌710b的表示710a和边桌712b的表示712a不再显示，而咖啡桌714b的表示714a仍然显示，因为其位置不远于虚拟环境722a的边界。因此，物理环境在虚拟环境722a的边界之外不再可见(例如，其中仅存在虚拟环境722a)，但比虚拟环境722a的边界更靠近用户的物理环境保持可见。
在示出近场过渡动画的图7H中，与图7F中的虚拟环境722a相比，虚拟环境722a进一步径向向外扩展。例如，在图7H中，虚拟环境722b具有180度的径向尺寸(例如，虚拟环境722a的左边界和右边界直接延伸到用户720的左侧和右侧，并且任选地虚拟环境722a的顶部边界和底部边界直接延伸到用户720的上方和下方)，这与图7F相比径向尺寸有所增加，因此使得先前未被虚拟环境722a占据的书桌710a的更多部分现在被虚拟环境722a占据。如上所讨论，虚拟环境722a任选地如同沿着围绕用户720的球体的表面那样径向扩展。因此，随着虚拟环境722a扩展，虚拟环境722a呈现为扩展圆(例如，在x-y维度上)，而且环绕用户(例如，在z维度上)，如俯视图718所示。在一些实施方案中，虚拟环境722a不扩展得更靠近用户720，并且因此书桌710b的一部分仍可在三维环境704的底部看见。如上所讨论，虚拟环境722a的边界的形状在图7H(例如，近场过渡动画)中任选地与图7G(例如，远场过渡动画)相同。
在一些实施方案中，图7G和图7H示出了用于显示虚拟环境722a的动画的最终状态和/或虚拟环境722a以相对较高的沉浸水平(例如，最大沉浸，或大于中沉浸水平的沉浸)的显示，并且由虚拟环境722a消耗的三维环境704的量是相同的，而不管动画是远场过渡动画还是近场过渡动画。图7G(例如，远场过渡动画)中的虚拟环境722a的尺寸和形状任选地与图7H(例如，近场过渡动画)中的虚拟环境722a的尺寸和形状相同。例如，虚拟环境722a的边界在图7G与图7H之间为相同形状，并且任选地在图7G与图7H之间离用户的视点的距离相同。在一些实施方案中，图7G和图7H中的虚拟环境722a的用户视图是相同的(例如，虚拟环境722a中的相应对象在图7G和图7H中相对于用户具有相同距离并且处于相同位置)。
因此，在一些实施方案中，在某个沉浸水平(例如，最大沉浸、高沉浸水平等)，虚拟环境对用户而言看起来是相同的(例如，相同尺寸、相同形状、相同量的三维环境被虚拟环境、虚拟环境的相同部分占据等)，而不管用户的物理环境中的用户前方的空间量如何。在一些实施方案中，在某些沉浸水平(例如，中间沉浸水平、低沉浸水平等)，虚拟环境将基于是否在用户前方存在足够空间或在用户前方没有足够空间来利用远场过渡动画而看起来不同。例如，在图7G至图7H所示的实施方案中，在高于6的沉浸水平下，进入虚拟环境722a中的入口的尺寸和/或形状在远场过渡与近场过渡之间是相同或类似的，但在低于6的沉浸水平下(例如，如参考图7C至图7F所描述)，进入虚拟环境722a中的入口的尺寸和/或形状在远场过渡与近场过渡之间是不同的。
图8A至图8H是示出根据一些实施方案的显示虚拟环境的方法800的流程图。在一些实施方案中，方法800在计算机系统(例如，图1中的计算机系统101，诸如平板电脑、智能电话、可穿戴计算机、或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法800通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法800中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在方法800中，在一些实施方案中，与显示生成部件和一个或多个输入设备(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机)通信的电子设备(例如，图1中的计算机系统101)在经由显示生成部件显示相应环境(例如，物理环境的表示、模拟环境、计算机生成的现实、扩展现实等)时经由一个或多个输入设备接收(802)与显示第一模拟环境的请求相对应的输入，诸如在显示三维环境704时对模拟环境的示能表示或表示的选择，诸如在图7A至图7B任一者中(例如，经由手部跟踪设备、眼睛跟踪设备或任何其他输入设备检测用户的一只或多只手的移动、用户的一只或多只眼睛的移动和/或与显示第一模拟环境的请求相对应的任何其他输入)。
在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或使得用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中，该一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测到用户输入等)并向电子设备传输与该用户输入相关联的信息。输入设备的示例包括触摸屏、鼠标(例如，外部的)、触控板(任选地集成的或外部的)、触摸板(任选地集成的或外部的)、遥控设备(例如，外部的)、另一个移动设备(例如，与电子设备分开)、手持设备(例如，外部的)、控制器(例如，外部的)、相机、深度传感器和/或运动传感器(例如，手部跟踪传感器、手部运动传感器)等。
在一些实施方案中，相应环境是增强现实环境或混合现实环境，其任选地包括虚拟对象和/或任选地包括电子设备周围的物理世界中的真实世界对象的表示。在一些实施方案中，相应环境至少基于电子设备周围的物理环境。例如，电子设备能够捕获关于用户周围的环境的视觉信息(例如，环境中的对象、环境的尺寸和形状等)并且向用户显示用户周围的物理环境的至少一部分，任选地使得看起来好像用户仍然位于物理环境中。在一些实施方案中，经由显示生成部件向用户主动地显示相应环境(例如，电子设备周围的物理环境、电子设备周围的物理环境的一部分等)。在一些实施方案中，经由部分透明或半透明的显示器向用户被动地呈现相应环境(例如，电子设备周围的物理环境、电子设备周围的物理环境的一部分等)，用户能够透过该显示器看到物理环境的至少一部分。
在一些实施方案中，显示第一模拟环境的请求包括对电子设备的或与电子设备通信的旋转元件(诸如机械转盘或虚拟转盘)的操纵。在一些实施方案中，该请求包括对所显示的示能表示的选择和/或对所显示的控制元件的操纵以增加该设备和/或相应环境的沉浸水平。在一些实施方案中，该请求包括被识别为增加该设备和/或相应环境的沉浸水平的请求的预先确定的手势。在一些实施方案中，该请求包括请求增加该设备和/或相应环境的沉浸水平和/或请求显示第一模拟环境的语音输入。在一些实施方案中，第一模拟环境包括场景，该场景至少部分地遮盖相应环境的至少一部分，使得看起来好像用户位于该场景中(例如，并且任选地不再位于第一模拟环境中)。在一些实施方案中，第一模拟环境是大气转换，该大气转换修改相应环境的一种或多种视觉特性，使得看起来好像相应环境位于不同的时间、地点和/或条件(例如，早晨光照而不是下午光照、晴天而不是阴天等)。在一些实施方案中，沉浸水平包括由电子设备显示的内容(例如，虚拟环境)遮挡虚拟环境周围/后面的背景内容(例如，除了虚拟环境之外的内容)的相关联的程度，任选地包括所显示的背景内容的项目的数量和以其显示背景内容的视觉特性(例如，颜色、对比度、不透明度)，和/或经由显示生成部件显示的内容的角度范围(例如，以低沉浸度显示的内容的60度，以中等沉浸度显示的内容的120度，以高沉浸度显示的内容的180度)，和/或由虚拟环境所消耗的经由显示生成显示的视场的比例(例如，由虚拟环境以低沉浸度消耗的视场的33％，由虚拟环境以中等沉浸度消耗的视场的66％，由虚拟环境以高沉浸度消耗的视场的100％)。在一些实施方案中，背景内容包括于在其上显示虚拟环境的背景中。在一些实施方案中，背景内容包括用户界面(例如，由该设备生成的与应用程序相对应的用户界面)、不与虚拟环境相关联或不包括在虚拟环境中的虚拟对象(例如，由该设备生成的文件、其他用户的表示等)和/或真实对象(例如，表示用户视点周围的物理环境中的真实对象的透传对象，这些透传对象由该设备显示，使得它们经由显示生成部件可见和/或经由透明或半透明显示生成部件可见，因为电子设备不遮挡/妨碍它们透过显示生成部件的可见性)。在一些实施方案中，在第一(例如，低)沉浸水平下，背景、虚拟和/或真实对象以不被遮挡的方式显示。例如，具有低沉浸水平的虚拟环境任选地与背景内容同时显示，该背景内容任选地以全亮度、颜色和/或半透明度显示。在一些实施方案中，在第二(例如，更高)沉浸水平下，背景、虚拟和/或真实对象以被遮挡的方式显示(例如，变暗淡、变模糊、从显示器移除等)。例如，显示具有高沉浸水平的相应虚拟环境而不同时显示背景内容(例如，在全屏或完全沉浸模式中)。又如，以中等沉浸水平显示的虚拟环境与变暗、变模糊或以其他方式被去强调的背景内容同时显示。在一些实施方案中，背景对象的视觉特性在背景对象之间有所不同。例如，在特定沉浸水平下，一个或多个第一背景对象比一个或多个第二背景对象更多地在视觉上被去强调(例如，变暗淡、变模糊、以增大的透明度显示)，并且一个或多个第三背景对象停止显示。
在一些实施方案中，响应于接收到与显示第一模拟环境的请求相对应的输入，电子设备从显示相应环境过渡(804)到显示第一模拟环境，诸如分别从在图7A至图7B中显示没有虚拟环境的三维环境704过渡到在图7G至图7H中显示虚拟环境722(例如，使得在显示区域的一部分(例如，显示区域的子集、全部显示区域等)中显示第一模拟环境)。在一些实施方案中，相应环境的一部分不再显示和/或不再对用户可见，并且第一模拟环境的一部分在其位置中显示和/或可见。在一些实施方案中，相应环境的该部分被第一模拟环境覆盖。在一些实施方案中，相应环境的该部分被第一模拟环境替换。
在一些实施方案中，该过渡包括根据确定用户的视点周围的物理环境满足一个或多个第一标准，使用诸如图7C、图7E和图7G所示的远场过渡之类的第一过渡类型从显示相应环境过渡到显示第一模拟环境(806)(例如，如果物理环境具有超过阈值尺寸、面积、深度(例如，在电子设备前方)，则物理环境的形状适合一定模式，和/或如果物理环境相对于该设备的一部分具有超过阈值尺寸、面积、深度(例如，在该设备前方的空间、在该设备左侧的空间、在该设备右侧的空间等)，则从显示相应环境到显示第一模拟环境的过渡是第一过渡类型)，并且根据确定用户的视点周围的物理环境满足与一个或多个第一标准不同的一个或多个第二标准，使用诸如图7D、图7F和图7H所示的近场过渡之类的与第一过渡类型不同的第二过渡类型从显示相应环境过渡到显示第一模拟环境(808)(例如，如果用户的视点周围的物理环境具有小于阈值尺寸、面积、深度(例如，在电子设备前方)，则物理环境的形状适合不同模式，和/或如果物理环境相对于该设备的一部分具有小于阈值尺寸、面积、深度(例如，在该设备前方的空间、在该设备左侧的空间、在该设备右侧的空间等)，则从显示相应环境到显示第一模拟环境的过渡是第二过渡类型)。
因此，一个或多个第一标准包括在物理环境具有超过阈值尺寸(例如，20平方英尺、50平方英尺、100平方英尺、300平方英尺等)、面积和/或深度(例如，用户和/或设备前方的物理环境的深度具有超过2英尺、5英尺、8英尺、10英尺等的深度)的情况下满足的标准。在一些实施方案中，基于从用户和/或设备到最近物理对象(例如，任选地，在用户和/或设备前方或在用户和/或设备左侧、右侧、后面的除地板之外的最近物理对象，诸如咖啡桌或书桌)的距离来确定物理环境的深度。在一些实施方案中，基于离诸如墙壁之类的垂直平坦表面(例如，任选地最近垂直平坦表面或任选地在用户或设备前方的最近垂直平坦表面)的距离来确定物理环境的深度。在一些实施方案中，基于离物理环境的最近边界(或在用户或设备正前方的物理环境的边界)的距离来确定物理环境的深度。如上所述，相应环境可至少部分地基于物理环境。因此，在一些实施方案中，物理环境的特性为相应环境与第一模拟环境之间的过渡提供信息，例如，以减少过渡的冲击、晕动病和/或认知失调。例如，如果用户/电子设备周围和/或用户/电子设备前方的物理环境具有超过4英尺的最大深度(例如，用户正坐在距用户对面的墙壁至少4英尺处)，则向第一模拟环境的过渡包括基于离电子设备和/或用户的距离来逐渐过渡相应环境的部分。例如，离用户最远的相应环境的区域首先过渡，然后其次是下一最近的区域过渡，依此类推，任选地直到到达用户和/或电子设备或者用户和/或电子设备前方的预先确定的距离(例如，用户前方6英寸、用户前方1英尺、用户前方3英尺等)。在一些实施方案中，相应环境的不同部分在不同时间过渡(例如，较近部分在较远部分之后过渡)。在一些实施方案中，相应环境的非相邻区域同时过渡(例如，相应环境的不同部分不相邻，但是与用户和/或电子设备相距相同的距离)。在一些实施方案中，第一过渡类型看起来从最远位置开始并且朝向用户扩展(例如，作为朝向用户移动或以圆形方式朝向用户移动的平面，例如使得模拟环境的边界任选地在整个过渡过程中与用户和/或设备等距)。因此，在一些实施方案中，第一过渡类型取决于相应环境中的对象的深度的差异(例如，第一、第二、第三、最后等过渡的次序基于深度信息)。在一些实施方案中，过渡包括将相应环境的相应部分溶解到第一模拟环境的相应部分中。在一些实施方案中，其他过渡动画是可能的。在一些实施方案中，向第一模拟环境的部分过渡的相应环境的部分可与第一模拟环境的先前过渡的部分相加。例如，相应环境的第一部分过渡成第一模拟环境的第一部分，然后相应环境的第二部分过渡成第一模拟环境的第二部分，并且第一模拟环境的第一部分和第二部分一起形成邻接模拟环境。
在一些实施方案中，用户的视点是物理环境中的位置(例如，和/或其在三维环境中的对应位置，这取决于其使用的上下文)，其具有与三维环境的视角相同(或类似)的物理环境的视角(例如，视图)。例如，三维环境被构造成使得其对用户而言看起来好像用户物理地位于真实世界环境中的相应位置处(例如，三维环境中的真实世界对象的表示看起来像用户实际正在观看真实世界环境中的真实世界对象那样相距相同的距离，在离用户相同的相对位置处等)。因此，一个或多个第二标准包括在物理环境具有小于阈值尺寸(例如，20平方英尺、50平方英尺、100平方英尺、300平方英尺等)、面积和/或深度(例如，用户和/或设备前方的空间具有小于2英尺、5英尺、8英尺、10英尺等的深度)的情况下满足的标准。在一些实施方案中，第二过渡类型包括从相应环境中的相应位置开始过渡并且从相应位置向外扩展。例如，如果用户周围和/或用户前方的物理环境具有小于4英尺的最大深度，则从离用户最远的相应环境的部分(例如，物理环境中的最远点)开始，相应环境过渡成第一模拟环境，并且该过渡从起始位置向外(例如，径向地)扩展(例如，更多的相应环境过渡成第一模拟环境，其中起始位置作为过渡的中心)。在一些实施方案中，第二过渡类型看起来从相应环境中的特定位置开始并从该位置向外扩展(例如，向左和向右、向上和向下)并且任选地围绕用户扩展(例如，增大的圆，而不是朝向用户扩展的平面)。在一些实施方案中，执行第二过渡类型而不考虑相应环境中的深度的差异。例如，该过渡从起始位置向外扩展，任选地在所有方向上相等地扩展，而不考虑相应环境的部分是更近还是更远(例如，对象何时被模拟环境“吞没”的次序不取决于对象在环境中的深度)。在一些实施方案中，第二过渡类型包括从表面(例如，桌子的表面、墙壁的表面等)上的位置开始过渡并且沿着该表面移动(例如，朝向用户)。在一些实施方案中，第二过渡类型包括从相应位置(例如，诸如视场的中心)开始过渡，并且沿着用户的视场径向向外扩展(例如，以相同方式从相应位置在所有方向上扩展)。在一些实施方案中，从中心参考位置向外过渡提供了第一模拟环境的初始参考点，这减少了由于潜在地从具有短深度的环境(例如，用户的物理环境)过渡到具有远深度的环境(例如，第一模拟环境)而导致的晕动病和/或认知失调。在一些实施方案中，第一过渡方式和第二过渡方式具有不同的过渡速度、不同的交叉淡化动画，和/或环境的部分的过渡次序是不同的。在一些实施方案中，第一过渡方式和第二过渡方式的结果是相同的。例如，初始条件和最终条件是相同的，但是从初始条件到最终条件的过渡是不同的。
上述从一个环境过渡到另一个环境的方式(例如，通过以基于该设备周围的物理环境的特性的方式从第一环境过渡到第二环境)提供了以考虑物理环境和/或起始环境的特性的方式过渡到不同环境的快速且高效的方法，由此任选地降低了过渡的突然性，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过使用户能够更快地与新环境交互，并且减少适应该变化所需的时间)，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，一个或多个第一标准包括在相对于电子设备的参考取向的相应方向上用户的视点周围的物理环境的一部分距电子设备的用户的视点大于阈值距离时满足的标准(810)，诸如在图7A中物理环境702具有从用户720到远处墙壁的超过阈值距离，从而使三维环境704符合远场过渡的条件(例如，如果在电子设备前方(例如，在“向前”方向上和/或在由该设备显示的三维环境的视点的视场中心的方向上)的电子设备的物理环境的部分具有超过阈值量的空间(例如，超过1英尺、5英尺、10英尺、50英尺、100英尺等)，则满足第一标准)。
例如，如果该设备位于房间的中心并且该设备前方的墙壁(例如，该设备前方的物理环境的边界)超过10英尺远，则满足一个或多个第一标准(例如，并且如果该设备前方的墙壁小于10英尺远，则任选地不满足一个或多个第一标准)。在一些实施方案中，物理环境的边界由物理环境的墙壁(例如，超过阈值高度(诸如5英尺、8英尺、12英尺等)的竖直屏障，或者跨越从地板到天花板的竖直距离的竖直屏障等)限定。在一些实施方案中，当确定物理环境是否距电子设备大于阈值距离时，不考虑物理环境中未被识别为竖直墙壁或小于阈值高度的对象。例如，当确定物理环境是否距电子设备大于阈值距离时，任选地不考虑在电子设备前方的沙发、桌子、书桌、柜台等。在一些实施方案中，考虑沙发、桌子、书桌、柜台等。在一些实施方案中，物理环境的尺寸和/或形状(例如，包括物理环境中的对象的尺寸、形状和/或位置)经由电子设备的一个或多个传感器(例如，单独地或组合地)来确定，诸如可见光传感器(例如，相机)、深度传感器(例如，飞行时间传感器)等。
上述经由第一过渡类型或第二过渡类型(例如，基于该设备周围的物理环境是否满足某些标准)显示环境的方式考虑了用户的环境以确保平滑过渡，由此减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，自动进行，而不需要用户执行附加输入来在不同过渡类型之间选择)，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，一个或多个第二标准包括在相对于电子设备的参考取向的相应方向上用户的视点周围的物理环境的一部分距电子设备小于阈值距离时满足的标准(812)，诸如在图7B中物理环境702具有从用户720到远处墙壁的小于阈值距离，从而使三维环境704符合近场过渡的条件并且任选地不符合远场过渡的条件(例如，如果在电子设备前方(例如，在“向前”方向上和/或在由该设备显示的三维环境的视点的视场中心的方向上)的电子设备的物理环境的部分具有小于阈值量的空间(例如，超过1英尺、5英尺、10英尺、50英尺、100英尺等)，则满足第二标准)。
例如，如果电子设备前方的墙壁距电子设备小于阈值距离，则电子设备在显示相应环境时执行第二过渡类型。在一些实施方案中，第二过渡类型是与存在超过阈值量的空间时不同的过渡类型，以降低过渡让用户有颠簸感(jarring)的风险和/或降低引起晕动病症状的风险。例如，如果向用户呈现具有少量深度的环境(例如，用户的物理环境)并且猛然过渡到具有大量空间的环境(例如，模拟环境)，则该效果可导致视觉失调。在一些实施方案中，一个或多个第二标准包括在电子设备不能确定电子设备周围的物理环境的深度信息(例如，任选地达到阈值精度水平)时满足的标准。例如，如果环境条件阻止设备的传感器确定用户房间的尺寸和形状(例如，大气干扰、电磁干扰等)，则满足一个或多个第二标准。
上述经由第一过渡类型或第二过渡类型(例如，基于该设备周围的物理环境是否满足某些标准)显示环境的方式考虑了用户的环境以确保平滑过渡，由此减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这简化了用户与电子设备之间的交互，增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，自动进行，而不需要用户执行附加输入来在不同过渡类型之间选择)，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，相应环境包括用户的视点周围的物理环境的一部分的表示(例如，向用户显示和/或呈现的环境的至少一部分基于该设备和/或用户周围的物理环境(例如，是其照片真实感表示)，诸如通过经由显示生成部件(例如，透明或半透明显示生成部件)的实际透传或经由显示生成部件的数字透传)，并且从显示相应环境过渡到显示第一模拟环境包括将物理环境的该部分的表示的显示替换为第一模拟环境的一部分的表示的显示(814)，诸如在图7C中将三维环境704的物理环境702的拐角的表示替换为虚拟环境722的相应部分(例如，分别为722-1a和722-1b)(例如，将物理环境的表示的部分替换为模拟环境，使得向用户呈现的环境部分是真实世界物理环境，部分是虚拟模拟环境)。
在一些实施方案中，所显示的模拟环境的量(例如，未显示的物理环境的量)基于该设备和/或模拟环境的沉浸水平。例如，增加沉浸水平使得更多的模拟环境被显示，替换和/或遮挡更多的物理环境的表示并降低沉浸水平使得更少的模拟环境被显示，从而显露先前未被显示和/或遮挡的物理环境的部分。
上述显示模拟环境的方式(例如，通过将物理环境的表示的部分替换为模拟环境的部分)提供了从仅显示物理环境过渡到也显示模拟环境的快速且高效的方法，这增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，与显示第一模拟环境的请求相对应的输入包括用户输入(816)，诸如在当前显示虚拟环境(诸如图7C至图7H中的任一附图)时对模拟环境的示能表示或表示的选择(例如，检测和/或接收由用户对与电子设备通信的机械输入元件(诸如转盘或按钮)的操纵或者对控制元件(诸如在相应环境中显示的虚拟按钮或虚拟转盘)的操纵)。在一些实施方案中，用户输入由用户的一只或多只手执行并且由该设备的一个或多个传感器(诸如相机、运动传感器、手部跟踪传感器等)检测。
在一些实施方案中，从显示相应环境过渡到显示第一模拟环境包括(818)根据确定用户输入对应于以第一量过渡到第一模拟环境的请求(例如，用户输入选择大于或小于当前沉浸水平的相应沉浸水平)，从显示相应环境过渡到显示第一模拟环境的第一部分(820)，诸如从具有第一沉浸水平的模拟环境过渡到具有第二沉浸水平的模拟环境(例如，诸如从图7C至图7H中的任一附图过渡到图7C至图7H中的任何其他附图)(例如，基于用户输入来显示第一模拟环境的相应量)，以及根据确定用户输入对应于以大于第一量的第二量过渡到第一模拟环境的请求，从显示相应环境过渡到显示第一模拟环境的大于第一部分的第二部分(824)，诸如从具有第一沉浸水平的模拟环境过渡到具有第二沉浸水平的模拟环境(例如，诸如从图7C至图7H中的任一附图过渡到图7C至图7H中的任何其他附图)(例如，如果用户输入是以两个步长增加(或降低)沉浸水平的请求，则所显示的第一模拟环境的量增加(或减少)与增加(或降低)的沉浸的两个步长相对应的量)。
在一些实施方案中，用户输入是将沉浸水平增加或降低一定量的相对输入(例如，将沉浸水平增加1个步长、2个步长等的请求)。在一些实施方案中，用户输入是对特定沉浸水平的选择(例如，将沉浸水平增加到50％、75％等的请求)。例如，如果用户输入是将沉浸水平增加一个步长的请求，则所显示的第一模拟环境的量增加与增加的沉浸的一个步长相对应的量。在一些实施方案中，如果用户输入是将沉浸水平增加两个步长的请求，则所显示的第一模拟环境的量增加与增加的沉浸的两个步长相对应的量。在一些实施方案中，增加或减少沉浸量包括分别逐渐增加或减少显示第一模拟环境的量(例如，而不是突然显示更多或更少的第一模拟环境)。
上述增加或减少所显示的模拟环境的量的方式(例如，通过基于用户输入所请求的量而逐渐增加或减少)提供了显示更多或更少模拟环境的快速且高效的方法，这增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，用户输入包括与电子设备通信的可旋转输入元件(例如，电子设备上或与电子设备通信的另一设备(例如，遥控设备、另一电子设备等)上的机械转盘)的旋转，与以第一量过渡到第一模拟环境的请求相对应的用户输入包括可旋转输入元件以第一相应量的旋转(例如，以一个增量(和/或第一旋转量)、两个增量(和/或第二更大的旋转量)等(例如，一个止动器、两个止动器等)旋转机械转盘)，并且与以第二量过渡到第一模拟环境的请求相对应的用户输入包括可旋转输入元件以大于第一相应量的第二相应量的旋转(826)，诸如附接到电子设备101或与该电子设备通信的机械转盘的旋转(例如，以更大的量旋转机械转盘)。在一些实施方案中，在第一方向上旋转对应于增加沉浸水平的请求，并且在第二相反方向上旋转对应于降低沉浸水平的请求。
上述增加或减少所显示的模拟环境的量的方式(例如，通过将可旋转元件旋转一定量)提供了显示更多或更少模拟环境的快速且高效的方法(例如，通过向用户提供增加或降低当前沉浸水平的过程，而不需要用户选择特定沉浸量)，这增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在使用第一过渡类型从显示相应环境过渡到显示第一模拟环境之后经由显示生成部件对第一模拟环境的显示与在使用第二过渡类型从显示相应环境过渡到显示第一模拟环境之后经由显示生成部件对第一模拟环境的显示相同(828)，诸如图7H中的虚拟环境722a在完成其相应过渡之后看起来与图7H中相同或类似(例如，第一过渡类型和第二过渡类型的开始状态和结束状态是相同或类似的)。
例如，当从第一沉浸水平过渡到第二沉浸水平时，系统确定是执行第一过渡类型还是第二过渡类型。在一些实施方案中，第一过渡类型和第二过渡类型包括不同类型的动画以及在不同时间的显示和/或环境过渡的不同部分，但是不管使用什么过渡类型，在完成过渡之后的最终结果都是相同的。在一些实施方案中，从第一沉浸水平过渡到第二沉浸水平包括通过第一沉浸水平和第二沉浸水平之间的每个中间沉浸水平的过渡。在一些实施方案中，不管物理环境是满足第一标准还是第二标准(例如，不管是使用第一过渡类型还是第二过渡类型)，最高沉浸水平(例如，最大沉浸水平)看起来都是相同或类似的。在一些实施方案中，基于物理环境是满足第一标准还是第二标准，中间沉浸水平(例如，小于最大沉浸水平且大于无沉浸的沉浸水平)是不同的。例如，三维环境中的第一模拟环境的尺寸和/或形状任选地根据物理环境是满足第一标准还是第二标准而不同，但是不管物理环境是满足第一标准还是第二标准，处于最大沉浸水平时的第一模拟环境的尺寸和形状都是相同的。
上述显示模拟环境的方式(例如，通过基于情况执行不同过渡类型，但在完成过渡之后达到相同的最终状态)提供了显示模拟环境的快速且高效的方法(例如，通过提供一致的体验，而不考虑使用什么过渡类型来显示模拟环境)，这增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，第一过渡类型以基于以下两者之间的距离差的方式推进：1)电子设备与用户的视点周围的物理环境的第一部分，以及2)电子设备与用户的视点周围的物理环境的第二部分(830)，诸如涉及在图7C、图7E和图7G中使用物理环境702中的对象的位置和距离信息在距离上更靠近用户720移动的虚拟环境722的远场过渡(例如，当确定相应环境的哪些部分首先过渡、其次过渡等(例如，过渡的次序)时，第一过渡类型考虑用户的物理环境中的对象的位置)。
例如，第一过渡类型任选地首先将离用户(或设备)最远的物理环境的表示的部分替换为模拟环境的一部分，然后替换离用户(或设备)次最远的物理环境的表示的部分，依此类推。
在一些实施方案中，第二过渡类型以独立于(例如，不基于)以下两者之间的距离差的方式推进：1)电子设备与用户的视点周围的物理环境的第一部分，以及2)电子设备与用户的视点周围的物理环境的第二部分(832)，诸如在图7D、图7F和图7H中从中心位置径向扩展的虚拟环境722，而不考虑物理环境中的对象的距离和/或位置(例如，第二过渡类型不考虑房间中的对象的位置或房间中的对象的距离)。
在一些实施方案中，第二过渡类型选择相应位置以开始过渡，并且将起始位置处的物理环境的表示替换为模拟环境的一部分，然后从初始点向外扩展替换过程，而不管对象是在其他对象的前方还是后方(例如，扩展任选地基于显示区域，而不是正在显示的内容)。在一些实施方案中，起始位置是物理环境的表示中离用户的视点最远的点的位置。例如，如果该设备面向平坦墙壁，则第二过渡类型任选地从平坦墙壁的中心开始。在一些实施方案中，随着第二过渡类型推进，模拟环境从起始位置扩展。在一些实施方案中，模拟环境以圆形方式向外扩展。在一些实施方案中，模拟环境的扩展具有与围绕用户的球体(或半球)的表面类似的形状(例如，该设备和/或用户在球体(或半球)的中心点处)，使得模拟环境如同沿着球体(例如，未显示的假想球体)的表面扩展那样扩展。在一些实施方案中，随着模拟环境扩展，模拟环境的边界向外(例如，在x-y方向上)扩展，而且向前(例如，在z方向上)扩展，但任选地与用户保持相同的距离(例如，由于球体的半径在整个球体中是恒定的)。
上述显示模拟环境的方式(例如，通过以考虑该设备周围的环境的位置和深度信息的方式或者以不考虑该设备周围的环境的位置和深度信息的方式过渡)提供了基于该设备所处的环境的类型的定制过渡样式，这增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向(例如，不需要用户确定理想过渡类型并且执行附加输入以选择相应过渡类型)，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，第二过渡类型包括相应环境与第一模拟环境之间的交叉溶解，并且交叉溶解起始于离电子设备最远的物理环境的部分处(834)，诸如在图7D中(例如，第二过渡类型在与物理环境中的最远位置相对应的位置处开始)。
在一些实施方案中，从起始位置开始，第二过渡类型相对于显示区域(例如，显示屏)向外扩展模拟环境。例如，从起始位置开始，模拟环境每秒径向扩展1cm的显示区域。在一些实施方案中，相应环境与第一模拟环境之间的交叉溶解包括使相应环境逐渐消失，同时使第一模拟环境淡入。在一些实施方案中，相应环境和第一模拟环境在过渡的部分期间同时显示(例如，当相应环境淡出时且当第一模拟环境淡入时)。在一些实施方案中，相应环境与第一模拟环境之间的交叉溶解包括将相应环境的相应部分连续地替换为第一模拟环境的相应部分，直到相应环境的所有相应部分已被完全替换为第一模拟环境。
上述显示模拟环境的方式(例如，通过从起始位置向外从相应环境到第一模拟环境的交叉淡化)提供了平滑且高效的过渡，这增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，使用第一过渡类型从显示相应环境过渡到显示第一模拟环境(836)包括在过渡的第一部分期间(838)，根据确定用户的视点周围的物理环境的相应部分距用户的视点大于第一距离，将经由显示生成部件对物理环境的相应部分的表示的显示替换为第一模拟环境的至少第一部分的显示(840)，诸如确定三维环境704的一部分对应于比与图7E中的沉浸水平3相关联的相应距离更远的物理环境702的一部分并因此将确定的部分替换为虚拟环境722a(例如，如果物理环境的表示的第一部分对应于比第二部分距用户(或设备)更远的位置，则在替换(例如，过渡)第二部分之前将物理环境的表示的第一部分替换(例如，过渡)为第一模拟环境的一部分)，并且根据确定用户的视点周围的物理环境的相应部分距用户的视点小于第一距离，放弃将经由显示生成部件对物理环境的相应部分的表示的显示替换为第一模拟环境的至少第一部分的显示(842)，诸如确定三维环境704的一部分对应于比与图7E中的沉浸水平3相关联的相应距离更近的物理环境702的一部分并因此将那些部分保持为物理环境的表示(例如，如果物理环境的表示的第一部分不离第二部分更远，则在过渡的第一部分期间(例如，直到第二部分已过渡之后)，不将第一部分替换(例如，过渡)为第一模拟环境的一部分)。
在一些实施方案中，在过渡的第二部分期间(例如，在过渡的第一部分之后)(844)，根据确定用户的视点周围的物理环境的相应部分距用户的视点大于与第一距离不同的第二距离，将经由显示生成部件对物理环境的相应部分的表示的显示替换为第一模拟环境的至少第二部分的显示(846)，诸如确定三维环境704的一部分对应于比与图7G中的沉浸水平6相关联的相应距离更远的物理环境702的一部分并因此将确定的部分替换为虚拟环境722a(例如，在过渡的第二部分期间，在替换(例如，过渡)第二部分之前将离第一部分更近的物理环境的表示的第二部分(例如，第一部分之后的下一最远部分)替换(例如，过渡)为第一模拟环境的一部分)，并且根据确定用户的视点周围的物理环境的相应部分距用户的视点小于第二距离，放弃将经由显示生成部件对物理环境的相应部分的表示的显示替换为第一模拟环境的至少第二部分的显示(848)，诸如确定三维环境704的一部分对应于比与图7H中的沉浸水平6相关联的相应距离更近的物理环境702的一部分并因此将那些部分保持为物理环境的表示(例如，如果物理环境的表示的第二部分不是第一部分之后的下一最远部分，则不替换该表示的第二部分(例如，直到第二部分是尚未过渡的下一最远部分))。
在一些实施方案中，物理环境与第一模拟环境之间的边界具有由用户的视点周围的球体的表面限定的形状(例如，以该设备和/或用户作为中心点)。在一些实施方案中，随着该过渡推进，球体移动得更靠近电子设备和/或用户并且/或者球体的尺寸减小。在某个实施方案中，与物理环境相交的球体的表面的部分限定物理环境与模拟环境之间的边界(例如，在交点之外是模拟环境，并且在交点之前是物理环境)。在一些实施方案中，随着球体移动得更靠近电子设备和/或用户并且/或者球体的尺寸减小，球体的更多表面与物理环境相交，因此使得模拟环境包围更多三维环境并且看起来移动得更靠近用户的视点(例如，从物理环境中的最远位置开始)。
上述从显示相应环境过渡到显示模拟环境的方式(例如，通过在过渡较近的相应环境的部分之前过渡较远的相应环境的部分)提供了平滑且高效的过渡，这增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，第一过渡类型包括(850)在过渡的第一部分期间(852)，根据确定用户的视点周围的物理环境的相应部分距用户的视点大于第一距离(854)，根据确定用户的视点周围的物理环境的第二相应部分距用户的视点小于第一距离，经由显示生成部件在第一模拟环境的第一部分与用户的视点之间显示物理环境的第二相应部分的表示(856)，诸如确定三维环境704的一部分对应于比与图7E中的沉浸水平3相关联的相应距离更近的物理环境702的一部分并且将那些部分保持为物理环境的表示(例如，在过渡的第一部分期间，如果该设备的物理环境中的对象(其表示存在于相应环境中)处于比模拟环境更近的距离，则将该对象的表示显示在模拟环境的前方(例如，建筑对象、家具等))，并且根据确定用户的视点周围的物理环境的第二相应部分距用户的视点大于第一距离，放弃经由显示生成部件显示物理环境的第二相应部分的表示(858)，诸如确定三维环境704的一部分对应于比与图7E中的沉浸水平3相关联的相应距离更远的物理环境702的一部分并且将那些部分替换为虚拟环境722的相应部分(例如，比模拟环境更远的对象不再显示)。例如，对象被模拟环境覆盖、遮挡和/或替换。
在一些实施方案中，如果对象的表示沿着模拟环境的一部分的视线定位，则对象的表示被显示为覆盖模拟环境的该部分。因此，如果相应对象比模拟环境更靠近用户/设备，则物理环境的对象任选地被显示为覆盖(和/或遮盖)在模拟环境的部分上并且/或者遮挡模拟环境的部分。
上述将相应环境与物理环境的表示同时显示的方式(例如，通过显示对象的表示，如果相应对象位于用户/设备与模拟环境之间，则任选地遮挡相应环境的部分)提供了平滑且高效的过渡，这增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，相应环境包括用户的视点周围的物理环境的表示，第一模拟环境包括第一模拟光源(860)(例如，相应环境同时包括物理环境和模拟环境的表示，并且模拟环境包括至少一个光源)。例如，模拟环境是以太阳作为光源的室外环境，或者模拟环境是以灯作为光源的房间或发射模拟光的应用程序用户界面(例如，电影屏幕)。
在一些实施方案中，在经由显示生成部件同时显示用户的视点周围的物理环境的表示的至少一部分和第一模拟环境的至少一部分(例如，其包括第一模拟光源)时，电子设备利用基于第一模拟光源的光照效果显示(862)物理环境的表示的部分，诸如在图7E中虚拟环境722a将光照效果投射在三维环境704的真实世界环境部分上(例如，模拟环境中的光源将光照效果投射在物理环境的表示上)的情况。例如，来自模拟环境中的太阳的光任选地被显示为如同它离开模拟环境、进入物理环境并且照亮物理环境的表示的一部分。在一些实施方案中，模拟光源任选地使得模拟阴影显示在物理环境的表示中。
上述在物理环境的表示中显示来自模拟环境的光照效果的方式(例如，通过在物理环境的部分上显示由于模拟环境中的光源引起的光照效果)增加了模拟环境的沉浸式效果(例如，通过将模拟环境的各方面与物理环境混合)，这增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，光照效果基于用户的视点周围的物理环境的几何结构(864)，诸如图7E中的物理环境702中的房间和对象的形状和位置(例如，来自模拟环境中的模拟光照源的光照效果被显示为如同它根据物理学与物理环境中的对象交互一样)。例如，在光照源的视线中的对象经历光照效果，但是被遮挡(例如，被虚拟或物理对象遮挡)的对象任选地不经历光照效果(例如，并且任选地具有由在光照源的视线中的对象投射到其上的阴影)。在一些实施方案中，一些对象接收到散射、反射或折射的光照效果。
上述在物理环境的表示中显示来自模拟环境的光照效果的方式(例如，通过基于来自光照源的光的物理学在物理环境的部分上显示光照效果)增加了模拟环境的沉浸式效果(例如，通过将光从光照源逼真地投射到物理环境上)并且提供了该设备对物理环境的了解情况的信息和/或指示，这增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，光照效果基于用户的视点周围的物理环境的架构(866)，诸如图7E中的物理环境702中的房间和对象的形状和位置(例如，来自模拟环境中的模拟光照源的光照效果被显示为如同它根据物理学与物理环境的边界交互一样)。例如，光照源任选地将光投射到墙壁上并透过窗户等。
上述在物理环境的表示中显示来自模拟环境的光照效果的方式(例如，通过基于来自光照源的光的物理学在物理环境的部分上显示光照效果)增加了模拟环境的沉浸式效果(例如，通过将光从光照源逼真地投射到物理环境上)并且提供了该设备对物理环境的了解情况的信息和/或指示，这增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，相应环境包括用户的视点周围的物理环境的表示，第一模拟环境包括第一体积效果(868)，诸如图9B中的空间效果(例如，改变环境中未被对象占据的空间的视觉特性的效果)。例如，改变环境中空气的外观和感觉的效果。在一些实施方案中，体积效果包括光照效果、雾效果、烟效果等。
在一些实施方案中，在经由显示生成部件同时显示用户的视点周围的物理环境的表示的至少一部分和第一模拟环境的至少一部分(例如，其包括第一体积效果)时，电子设备在物理环境的表示的该部分的体积内显示(870)基于第一体积效果的第二体积效果，诸如在图7E中在三维环境704的真实世界部分上显示基于虚拟环境722的空间效果(例如，在物理环境的表示中显示基于模拟环境中的体积效果的体积效果)。例如，如果模拟环境包括雾效果，则雾效果任选地显示在物理环境的表示中，使得来自模拟环境的雾看起来漂移到物理环境中。
上述在物理环境的表示中显示来自模拟环境的体积效果的方式(例如，通过基于在模拟环境中展现的体积效果在物理环境的部分上显示体积效果)增加了模拟环境的沉浸式效果(例如，通过逼真地使得来自模拟环境的效果溢出到物理环境中)，这增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，第一体积效果和第二体积效果包括光照效果(874)(例如，体积效果包括改变光照和/或引入光照效果)。例如，雾体积效果包括改变在物理环境中显示的虚拟粒子的光照以模拟雾的散射/衍射效果。
上述在物理环境的表示中显示来自模拟环境的光照效果的方式(例如，通过基于模拟环境中的光照效果在物理环境的部分上显示光照效果)增加了模拟环境的沉浸式效果(例如，通过将光从光照源逼真地投射到物理环境上)，这增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，第一体积效果和第二体积效果包括粒子效果(874)(例如，在物理环境中显示视觉效果(例如，抽象视觉效果)，诸如火、烟、灰尘等)。在一些实施方案中，粒子效果包括模拟物理环境的大气中发出一种或多种视觉效果的一个或多个粒子。
上述在物理环境的表示中显示来自模拟环境的粒子效果的方式(例如，通过基于模拟环境中的粒子效果在物理环境的部分上显示粒子效果)增加了模拟环境的沉浸式效果(例如，通过在物理环境中逼真地显示粒子效果，该粒子效果任选地是在模拟环境中显示的粒子效果的扩展)，这增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在经由显示生成部件同时显示相应环境的至少一部分和第一模拟环境的至少一部分时(876)，根据确定相应环境的该部分与第一模拟环境的该部分之间的边界与处于相应环境中的相应对象的表示相交，电子设备从经由显示生成部件的显示中移除(878)相应对象的表示，诸如在图7E中从显示中移除桌子的表示710a的情况(例如，如果模拟环境的边界与物理环境的表示中的物理对象的表示相交(例如，而不是对象完全在模拟环境前方或完全在模拟环境后方)，则完全移除对象的显示)。在一些实施方案中，并不移除对象的显示，而是显示不在模拟环境的边界后方的对象的部分(例如，仅显示对象的一部分，并且隐藏在模拟环境后方的对象的部分)。
上述同时显示模拟环境和物理环境的表示的方式(例如，通过移除物理环境中原本将部分处于物理环境中且部分处于模拟环境中的对象)增加了模拟环境的沉浸式效果(例如，通过避免其中模拟环境和物理环境之间的混合将不自然的场景)，这增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
图9A至图9H示出了根据一些实施方案的改变(或不改变)三维环境的沉浸水平的示例。
图9A示出了经由显示生成部件(例如，图1的显示生成部件120)在用户界面上显示三维环境904的电子设备101。如上参考图1-图6所描述，电子设备101任选地包括显示生成部件(例如，触摸屏)和多个图像传感器(例如，图3的图像传感器314)。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101交互时电子设备101能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，下文示出的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件，以及检测物理环境和/或用户的手的移动的传感器(例如，从用户面向外的外部传感器)和/或检测用户的注视的传感器(例如，朝向用户的面部面向内的内部传感器)。
如图9A所示，设备101捕获设备101周围的真实世界环境902(例如，操作环境100)(包括设备101周围的真实世界环境902中的一个或多个对象)的一个或多个图像。在一些实施方案中，设备101在三维环境904中显示真实世界环境的表示。例如，三维环境904包括书桌910a的表示的一部分、咖啡桌914a的表示以及边桌912a的表示。如图9A中的真实世界环境902的俯视图918所示，角桌908b、书桌910b、边桌912b和咖啡桌914b是真实世界环境902中已由设备101的一个或多个传感器捕获的真实对象。在图9A中，三维环境904当前处于沉浸水平3(例如，如由沉浸水平指示符916所指示)，并且因此，虚拟环境922a包围三维环境904的一部分并遮挡角桌908b和书桌910b的后部的视图(例如，以与上文参考图7A至图7H描述的三维环境704类似的方式，诸如在图7E中)。
在一些实施方案中，当三维环境904处于相应沉浸水平(例如，处于高于无沉浸的水平)时，设备101生成与虚拟环境922a相关联的一种或多种音频效果(例如，如扬声器924所指示)。在一些实施方案中，音频效果包括将在虚拟环境922a中听到的环境声音效果。例如，宁静草地的虚拟环境可包括呱呱的蛙声、啾啾的鸟鸣声、流水声等，这些声音任选地不存在于物理环境902中(例如，周围物理环境不包括这些声音)，而是由设备101生成，就好像用户在物理环境902中时可听到这些声音一样。在一些实施方案中，提供音频效果增加了虚拟环境922a的沉浸式效果，因此给予用户置身于虚拟环境922a中的体验。
在一些实施方案中，响应于请求显示虚拟环境(例如，诸如虚拟环境922a)的用户输入，如图9A中那样以中间沉浸水平显示三维环境904。例如，设备101显示虚拟环境的一个或多个可选表示(例如，虚拟环境的自助餐(buffet))，其可选择以在沉浸式体验中显示所选择的虚拟环境，就好像用户物理地位于所选择的虚拟环境中一样。在一些实施方案中，响应于选择相应虚拟环境的用户输入，设备101以低于最大沉浸水平(例如，最高允许沉浸水平，其任选地由系统设置或用户定义的设置限制)且高于最小沉浸水平(例如，正好高于无沉浸的沉浸水平)的默认沉浸水平来显示所选择的虚拟环境。在一些实施方案中，以默认的中间沉浸水平显示所选择的虚拟环境平缓地将用户引入到沉浸式虚拟环境并且允许用户根据需要增加或降低沉浸水平。在一些实施方案中，用户能够通过在一个方向或另一方向上旋转机械转盘或者选择增加或降低沉浸水平的示能表示来增加或降低沉浸水平。在一些实施方案中，用户能够通过与沉浸水平指示符916交互来选择相应沉浸水平。例如，响应于用户在用于最高沉浸水平的沉浸水平指示符916的元素(例如，最右正方形)上执行选择输入，三维环境904以最高沉浸水平显示虚拟环境922a，但是响应于指向沉浸水平指示符916的最低沉浸水平元素(例如，最左正方形)的选择输入，以最低沉浸水平显示虚拟环境922a。在一些实施方案中，上文参考方法800描述了从一个沉浸水平过渡到另一个沉浸水平。
图9B示出了其中以沉浸水平3显示沉浸式空间效果(例如，而不是沉浸式虚拟环境)的实施方案。在一些实施方案中，空间效果是指物理大气或三维环境904中的一个或多个对象的视觉特性的人工(例如，虚拟)修改，任选地不替换或移除三维环境904中的一个或多个对象。例如，空间效果可包括将三维环境904显示为如同被夕阳照亮一样、将三维环境904显示为如同有雾一样、将三维环境904显示为如同光线昏暗一样等。如俯视图918所示，显示空间效果任选地不包括显示虚拟环境来代替三维环境的真实世界环境部分的部分(例如，但应当理解，可以同时、以相同沉浸水平或不同沉浸水平显示沉浸式空间效果和沉浸式虚拟环境两者)。在图9B中，空间效果包括显示从窗户915进入物理环境中的虚拟光。在一些实施方案中，从窗户915进入的虚拟光是与在真实世界环境902中从窗户915进入的真实世界光的量不同的光照效果(例如，虚拟光是虚拟的并且仅存在于三维环境904中)。在一些实施方案中，虚拟光使得光照效果根据粒子物理学显示在三维环境904中。例如，如图9B所示，虚拟光照任选地在房间的后墙壁上的相框906上引起眩光，引起台式桌910a投射阴影926，并且引起咖啡桌914a投射阴影(例如，其中的一者或多者任选地在物理环境902中不存在，或者在物理环境902中以不同特性存在，诸如更少或更多亮度、更小或更大尺寸等)。在一些实施方案中，与存在于物理环境902中的实际光量相比，虚拟光任选地增加或减少三维环境904中的环境光。
图9C示出了响应于将虚拟环境922的沉浸水平从3(例如，如图9A中)增加到沉浸水平6(例如，如沉浸水平指示符916所指示)的输入的三维环境904。在一些实施方案中，增加沉浸水平使得虚拟环境922a扩展并包围更多的三维环境904，从而替换真实世界环境902的表示，如图9C所示(例如，以类似于上文相对于方法800描述的方式)。在一些实施方案中，增加沉浸水平任选地包括增加由设备101生成的一种或多种音频效果(例如，如由扬声器924提供比图9A中更大的音量所指示)。在一些实施方案中，增加一种或多种音频效果包括增加以更低沉浸水平提供的音频效果的音量、提供一种或多种新的音频效果和/或增加音频效果的复杂度和/或深度等。例如，在更低的沉浸水平下，设备101提供潺潺溪流声音效果(例如，与虚拟环境922a相关联)；在更高的沉浸水平下，设备101向潺潺溪流声音效果添加鸟鸣声音效果(例如，与虚拟环境922a相关联)；并且在甚至更高的沉浸水平下，设备101向潺潺溪流声音效果和鸟鸣声音效果添加呱呱蛙声声音效果(例如，与虚拟环境922a相关联)，等等。在一些实施方案中，当设备101将上述声音效果添加到其生成的音频时，该设备增加或不增加(例如，保持或减小)其生成的声音效果的音量。
图9D示出了响应于将沉浸式空间效果的沉浸水平从3(例如，如图9B中)增加到沉浸水平6(例如，如沉浸水平指示符916所指示)的输入的三维环境904。在一些实施方案中，增加沉浸水平使得空间效果的量值增加。在一些实施方案中，增加空间效果的量值包括增加对真实世界环境902和/或在三维环境904上执行的修改和/或转换的量。例如，在图9D中，从窗户915进入的虚拟光(例如，如上所述，其是真实世界环境902的虚拟修改)的量值增加(例如，增加亮度)。在一些实施方案中，增加从窗户915进入的虚拟光引起三维环境904中更多的环境光以及增加的光照效果。例如，在图9D中，作为增加来自窗户915的虚拟光的结果，增加了相框906上的眩光，并且阴影926已经变成更暗的阴影(例如，由于三维环境904的环境光照与书桌910a所投射的阴影之间增加的对比度)。在一些实施方案中，增加沉浸式空间效果的沉浸水平包括以与图9C中相对于虚拟环境922a描述的增加音频效果类似的一种或多种方式增加与空间效果相关联的一种或多种音频效果。
图9E至图9F示出了其中设备101的视点和/或视角已经改变的实施方案，例如，作为设备101指向不同方向而不改变用户920的身体(例如，躯干)的取向的结果。例如，在图9E至图9F中，用户移动他或她的手部以使设备101面向左(例如，而不是如图9A至图9D中那样向前)，但是没有转动他或她的肩部和/或躯干以面向左。作为头戴式设备101的情况下的另一示例，用户已向左转动其头部而不随着其头部的旋转一起向左旋转其肩部和/或躯干。如上所讨论，转动设备101使得设备101面向不同方向并且用设备101的一或多个传感器捕获真实世界环境902的不同部分。在一些实施方案中，响应于检测到设备101已转动成面向真实世界环境902的不同部分，设备101更新三维环境以根据设备101的旋转来旋转。例如，在图9E至图9F中，因为设备101现在面向左侧，所以三维环境904显示在用户920左侧的真实世界环境902的表示，并且任选地不显示在用户920前方的真实世界环境902的部分(例如，不再显示的量任选地基于三维环境904的视场和设备101所经历的旋转量)，就好像用户向左转动他或她的头部看向用户左侧的真实世界环境902的部分。
在图9E至图9F中，沉浸水平已经增加到最大沉浸水平。在图9E中，将沉浸水平增加到最大值任选地使得被虚拟环境922a占据的三维环境904的量增加到最大量，这任选地包括任选地除了围绕用户920的预先确定的半径(例如，6英寸、1英尺、2英尺、5英尺等的半径，例如出于安全的目的)之外将全部三维环境904替换为虚拟环境922a，诸如在图9E中的俯视图918所反映的，并且任选地以参考图9C所描述的方式中的一种或多种方式将一种或多种音频效果增加到最大量。
在图9E中，因为设备101已被取向为面向不同方向，所以作为新方向的结果，由设备101显示的三维环境904的视图被旋转以显示三维环境904的新视角。例如，因为设备101现在面向左，所以由设备101显示的三维环境904的视图包括真实世界环境902的左侧的视图，包括边桌923a的表示。在一些实施方案中，因为用户920的身体(例如，躯干)不旋转以面向左，所以虚拟环境922a不响应于设备101的取向变化而旋转，并且保持以用户920的身体正面向(例如，向前)的方向进行取向(例如，居中)，如俯视图918所示(例如，虚拟环境922a保持处于其在设备101的取向变化之前显示的三维环境904中的相同位置)。在一些实施方案中，旋转设备101使之面向左，可任选地在设备101上显露虚拟环境922a与真实世界环境902之间的边界，如图9E所示。在一些实施方案中，响应于检测到设备101已旋转阈值量(例如，旋转30度、45度、60度、90度、120度等)，减小(或消除)一种或多种音频效果，如图9E中的扬声器指示符924所指示。在一些实施方案中，当设备101在真实世界环境902中旋转时，与设备101的取向变化的量值成比例地减小一种或多种音频效果，并且一旦设备101已经旋转了阈值量就完全消除一种或多种音频效果。在一些实施方案中，减小一种或多种音频效果包括减小一种或多种音频效果的音量、降低一种或多种音频效果的复杂度、停止一个或多个音轨或者完全停止与虚拟环境922a相关联的所有音频效果(例如，以与参考图9C描述的那些方式相反的一种或多种方式)。在一些实施方案中，不旋转或移动三维环境904中的虚拟环境922a以便以设备101所显示的三维环境904的视图进行取向(例如，居中)和/或减小一种或多种音频效果，可减少用户所体验到的沉浸量，从而允许用户与他或她的物理环境交互。例如，用户可转动他或她的头部(例如，因此使得设备101(如果其是头戴式设备的话)旋转以面向新的方向)以与他或她的环境中的对象或人交互，并且通过不旋转虚拟环境922a以便以设备101所显示的三维环境904的视图进行取向和/或通过减小一种或多种音频效果，用户能够与他或她的环境中的对象或人交互而无需执行显式输入来降低虚拟环境922a的沉浸水平。在一些实施方案中，随后将设备101转动到小于阈值旋转量的旋转量任选地使得一种或多种音频效果(例如，根据设备101的当前取向与三维环境904中的虚拟环境922a的位置之间的差异而逐渐地)返回到它们的先前水平(例如，与最大沉浸水平相关联的水平)。
在图9F中，设备101正如参考图9E所描述的那样已经被重新取向。在图9F中，因为设备101已被取向为面向不同方向，所以作为新方向的结果，由设备101显示的三维环境904的视图被旋转以显示新视角。在图9F中(例如，如参考图9B和图9D所描述)，设备101正在显示沉浸式空间效果，并且因为设备101正在显示沉浸式空间效果，所以用户不能看到真实世界环境的表示与虚拟环境之间的边界。如图9F所示，由于虚拟光从窗户915进入(例如，如上文在图9B和图9D中所描述)，边桌923a投射虚拟阴影928。附加地或另选地，设备101任选地不减小一种或多种音频效果。在一些实施方案中，在用户的整个物理环境中应用沉浸式空间效果，并且因此转动设备101以朝向真实世界环境的不同部分进行取向，不会减少由设备101提供的空间效果的量和/或量值；因此，转动设备101允许用户看到空间效果在他或她的物理环境的不同区域上的效果。在一些实施方案中，因为提供沉浸式空间效果不会使得真实世界环境不可见(例如，正如虚拟环境的显示的情况一样)，所以保持空间效果不会使得用户不能与他或她的环境中的对象或人交互。例如，作为显示沉浸式空间效果的结果，不从显示中移除他或她的环境中的对象或人。
图9G至图9H示出了这样的实施方案，其中例如作为用户920的身体转动(例如，设备101及用户920的肩部和/或躯干都已在真实世界环境902中旋转)的结果，与图9C和图9D相比，设备101的视点和/或视角已经改变。例如，在图9G至图9H中，用户920转动他或她的身体以面向左，同时继续向外握持设备101，从而使得设备101也面向左，如俯视图918所示。在一些实施方案中，设备101能够经由诸如面向用户的可见光传感器(例如，相机)和/或深度传感器之类的一个或多个传感器来确定用户920的身体(例如，躯干和/或肩部)的取向。
在图9G中，响应于检测到设备101和用户920的身体已转动成面向左，设备101确实在三维环境904中移动(例如，旋转)虚拟环境922a以便以设备101和/或用户920的身体的取向进行取向(例如，居中)。在一些实施方案中，因为设备101已被取向为面向与用户的身体相同的方向，所以虚拟环境922a在设备101所显示的三维环境904的视图中居中，使得三维环境904的整个视图仍然被虚拟环境922a占据(例如，除了用户920周围的“切口”区域，如上文所描述)。在一些实施方案中，设备101附加地或另选地保持与虚拟环境922a相关联的一种或多种音频效果。因此，如上所述，如果在以相应沉浸水平显示虚拟环境时旋转设备101而用户的身体不旋转，则虚拟环境被保持在其在三维环境904中的绝对位置处，即使设备101不再面向被取向为朝向(例如，居中于)虚拟环境的方向(例如，即使用户不再能够看到虚拟环境并且/或者设备101由于显示三维环境904的不同部分而不再显示虚拟环境)，但是如果设备101随着用户的身体旋转而以相同或类似方式旋转(例如，以相同或类似的量、以相同或类似的方向等)，则虚拟环境被显示在三维环境904中的新位置处并且以这样的方式旋转，使得虚拟环境以设备101和/或用户的身体进行取向(例如，居中)并且面向用户(例如，虚拟环境相对于用户的身体的取向保持相同的位置，任选地使用加速/减速机构旋转以避免动画抖动)。应当理解，如果用户的身体旋转而设备101不旋转，则虚拟环境任选地根据用户的身体的旋转而在三维环境904中移动，即使三维环境904的视图的取向不改变(例如，由于设备101不面向新的方向)，这任选地可使得虚拟环境旋转出视图(例如，基于用户的身体旋转了多少以及三维环境904的视场)。在一些实施方案中，如果用户的身体旋转而设备101不旋转，则虚拟环境不根据用户的身体的旋转而旋转(例如，虚拟环境任选地仅在用户的身体和设备两者已经旋转的情况下旋转，但应当理解它们不必同时旋转)。
在图9H中，响应于检测到设备101和用户920的身体已转动成面向左(例如，以类似于图9G的方式)，作为设备101的新方向的结果，由设备101显示的三维环境904的视图被旋转以显示新视角，并且设备101继续以类似于图9F的方式显示沉浸式空间效果。如图9H所示，由于虚拟光从窗户915进入(例如，如上文在图9B、图9D和图9F中所描述)，边桌923a投射虚拟阴影928。附加地或另选地，设备101任选地不减小一种或多种音频效果。因此，如上文参考图9F和图9H所描述，如果不管用户的身体是否与设备101一起旋转，设备101都响应于设备101旋转成面向新方向来以相应沉浸水平提供沉浸式空间效果，则沉浸式空间效果继续被提供，而不增加或减少沉浸量(例如，不增加或减小音频效果，不增加或减小视觉效果等)。例如，图9H中的三维环境904与图9F中的三维环境904相同和/或类似，并且/或者图9H中提供的音频效果与图9F中提供的音频效果相同和/或类似。
因此，如上所讨论，设备101能够提供沉浸式环境(例如，如相对于图9A、图9C、图9E和图9G所讨论)和/或沉浸式大气效果(例如，如上文相对于图9B、图9D、图9F和图9H所讨论)。在一些实施方案中，设备101能够同时提供沉浸式环境和沉浸式大气效果两者(例如，其任选地仅影响三维环境904的真实世界环境部分的视觉特性或者任选地影响三维环境904的真实世界环境部分和模拟环境部分两者的视觉特性)。在此类实施方案中，沉浸式环境表现出上文相对于图9A、图9C、图9E和图9G描述的行为，并且大气效果表现出上文相对于图9B、图9D、图9F和图9H描述的行为。
图10A至图10P是示出根据一些实施方案的改变三维环境的沉浸水平的方法1000的流程图。在一些实施方案中，方法1000在计算机系统(例如，图1中的计算机系统101，诸如平板电脑、智能电话、可穿戴计算机、或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法1000通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法1000中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在方法1000中，在一些实施方案中，与显示生成部件和一个或多个输入设备(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机)通信的电子设备(例如，图1中的计算机系统101)在经由显示生成部件在没有相应空间效果(例如，物理环境的表示、模拟环境、计算机生成的现实、扩展现实等)的情况下显示三维环境时，经由一个或多个输入设备检测(1002)与发起相应空间效果的请求相对应的第一输入，诸如在三维环境904不显示空间效果时对相应空间效果的表示的示能表示的选择，诸如在图7A或图7B中(例如，经由手部跟踪设备、眼睛跟踪设备或任何其他输入设备检测用户的一只或多只手的移动、用户的一只或多只眼睛的注视的移动和/或改变以及/或者与发起空间效果的请求相对应的任何其他输入)。
在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或使得用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中，该一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测到用户输入等)并向电子设备传输与该用户输入相关联的信息。输入设备的示例包括触摸屏、鼠标(例如，外部的)、触控板(任选地集成的或外部的)、触摸板(任选地集成的或外部的)、遥控设备(例如，外部的)、另一个移动设备(例如，与电子设备分开)、手持设备(例如，外部的)、控制器(例如，外部的)、相机、深度传感器和/或运动传感器(例如，手部跟踪传感器、手部运动传感器)等。
在一些实施方案中，三维环境是增强现实环境或混合现实环境，其任选地包括虚拟对象和/或任选地包括电子设备周围的物理世界中的真实世界对象的表示。在一些实施方案中，相应环境至少基于电子设备周围的物理环境。例如，电子设备能够捕获关于用户周围的环境的视觉信息(例如，环境中的对象、环境的尺寸和形状等)并且向用户显示用户周围的物理环境的至少一部分，任选地使得看起来好像用户仍然位于物理环境中。在一些实施方案中，经由显示生成部件向用户主动地显示三维环境。在一些实施方案中，经由部分透明或半透明的显示器向用户被动地呈现三维环境，用户能够透过该显示器看到物理环境的至少一部分。在一些实施方案中，空间效果是大气转换，该大气转换修改三维环境的一种或多种视觉特性，使得看起来好像三维环境位于不同的时间、地点和/或条件(例如，早晨光照而不是下午光照、晴天而不是阴天、有雾等)。例如，空间效果包括环境的暖和度(例如，光照源的暖和度)的改变、环境的光照(例如，位置、类型和/或亮度)的改变、环境中的阴影的改变(例如，模拟光照源的增添、光照源的移除或光照源的位置的改变)等。在一些实施方案中，空间效果任选地不向三维环境添加对象或从三维环境移除对象。在一些实施方案中，电子设备能够根据上下文识别窗户并根据空间效果修改可通过窗户看见的内容。例如，如果空间效果包括将三维环境显示为好像处于雨林中，则三维环境的大气被修改为看起来昏暗、潮湿等，并且窗户被修改为使得可通过窗户看见雨林场景。在一些实施方案中，空间效果包括在三维环境中或与三维环境同时显示模拟环境(例如，以类似于上文相对于方法800描述的方式)。
在一些实施方案中，该请求包括对示能表示的选择和/或对(例如，机械)控制元件的操纵(例如，类似于参考方法800所描述的)以增加该设备和/或相应环境的沉浸水平以及/或者对与相应空间效果相关联的选项的选择(例如，从多种可用空间效果中)。在一些实施方案中，该请求包括被识别为发起空间效果的请求的预先确定的手势。在一些实施方案中，该请求包括请求显示相应空间效果的语音输入。
在一些实施方案中，响应于检测到第一输入，电子设备经由显示生成部件以第一沉浸水平利用相应空间效果显示(1004)三维环境，诸如在图9B中(例如，以初始沉浸水平在三维环境中显示空间效果)。
在一些实施方案中，显示空间效果包括修改三维环境中的一个或多个元素的一种或多种视觉特性。如上所述，修改一种或多种视觉特性可包括改变一个或多个光照源的光照温度、方向等，这任选地使得三维环境和/或三维环境中的对象具有特定的大气效果和/或位于特定的时间和/或地点等。在一些实施方案中，当最初显示空间效果时，以初始沉浸水平显示该空间效果。在一些实施方案中，初始沉浸水平是中间沉浸水平(例如，不是最大沉浸水平，也不是最小沉浸水平)，其可被增加和/或降低。在一些实施方案中，初始沉浸水平是最低沉浸水平。在一些实施方案中，初始沉浸水平是最高沉浸水平。在一些实施方案中，较高的沉浸水平对应于增加的空间效果，而较低的沉浸水平对应于减小的空间效果。例如，日落空间效果的高沉浸水平任选地包括修改三维环境以具有强烈的橙色光芒(例如，夕阳光照)，而低沉浸水平任选地包括修改三维环境以具有温和的橙色光芒。在一些实施方案中，修改空间效果包括在三维环境中显示模拟环境。在一些实施方案中，显示模拟环境包括以类似于上文相对于方法800所描述的方式将三维环境的一部分过渡成模拟环境。在一些实施方案中，以第一沉浸水平显示模拟环境包括显示模拟环境的子集(例如，显示模拟环境的第一部分，但不显示任选地更靠近用户的模拟环境的第二部分)。
在一些实施方案中，在以第一沉浸水平利用相应空间效果显示三维环境时，电子设备经由一个或多个输入设备检测(1006)相应输入(例如，经由手部跟踪设备、眼睛跟踪设备或任何其他输入设备检测用户的一只或多只手的移动、用户的一只或多只眼睛的注视的移动和/或改变以及/或者与改变相应空间效果的沉浸水平的请求相对应的任何其他输入)。
在一些实施方案中，用户输入包括对旋转元件(诸如机械转盘或虚拟转盘)的操纵以增加或降低沉浸水平(例如，顺时针旋转以增加，逆时针旋转以降低，或反之亦然)。在一些实施方案中，用户输入包括对所显示的控制元件(例如，滑块、沉浸指示符等)的操纵以增加或降低沉浸水平。在一些实施方案中，用户输入包括请求增加或降低沉浸水平的语音输入。
在一些实施方案中，响应于检测到相应输入(1008)，根据确定相应输入是第一输入，电子设备经由显示生成部件以大于第一沉浸水平的第二沉浸水平利用相应空间效果显示(1010)三维环境，诸如在图9D中(例如，根据相应输入将沉浸水平从初始沉浸水平增加到第二更高沉浸水平)，并且根据确定相应输入是与第一输入不同的第二输入，电子设备经由显示生成部件以小于第一沉浸水平的第三沉浸水平利用相应空间效果显示(1012)三维环境，诸如图9D中的三维环境904的沉浸水平是2或1的情况(例如，根据相应输入将沉浸水平从初始沉浸水平降低到第三更低沉浸水平)。
例如，如果相应输入是旋转元件在与增加沉浸水平相关联的方向上的旋转，则用于空间效果的沉浸水平从其初始位置增加到更高水平。在一些实施方案中，增加沉浸水平包括放大或增加空间效果对三维环境的影响。例如，如果对三维环境的空间效果(例如，与相应空间效果相关联的一种或多种空间效果)之一包括增加三维环境的亮度，则从初始沉浸水平增加到更高的沉浸水平包括进一步增加三维环境的亮度。在一些实施方案中，将沉浸水平增加到更高水平包括增加一种或多种视觉效果的亮度或强度、降低一种或多种视觉效果的亮度或强度、显示先前未显示的视觉效果、显示更少的视觉效果、改变视觉效果、增加或减小一种或多种音频效果、播放先前未播放的更多音频效果、播放更少的音频效果、改变音频效果等中的任一者。在一些实施方案中，以第二沉浸水平显示模拟环境包括增加模拟环境的尺寸和/或显示更多模拟环境(例如，显示模拟环境的第一部分和任选地更靠近用户的模拟环境的第二部分)。
例如，如果相应输入是旋转元件在与降低沉浸水平相关联的方向上的旋转，则用于空间效果的沉浸水平从其初始位置降低到更低水平。在一些实施方案中，降低沉浸水平包括降低空间效果对三维环境的影响。例如，如果对三维环境的空间效果(例如，与相应空间效果相关联的一种或多种空间效果)之一包括增加三维环境的亮度，则从初始沉浸水平降低到更低沉浸水平包括降低三维环境的亮度(例如，任选地降低到低于没有相应空间效果的三维环境的环境亮度的水平，或者任选地降低到与没有相应空间效果的三维环境的环境亮度相同或更高的水平)。在一些实施方案中，将沉浸水平降低到更高水平包括增加一种或多种视觉效果的亮度或强度、降低一种或多种视觉效果的亮度或强度、显示先前未显示的视觉效果、显示更少的视觉效果、改变视觉效果、增加或减小一种或多种音频效果、播放先前未播放的更多音频效果、播放更少的音频效果、改变音频效果等中的任一者。在一些实施方案中，以第三沉浸水平显示模拟环境包括减小模拟环境的尺寸和/或显示更少模拟环境(例如，显示模拟环境的少于第一部分)。
上述发起相应空间效果的方式(例如，通过以可被增加或降低的中间沉浸水平将相应空间效果应用于三维环境)以小于完全沉浸水平的水平(例如，其保持三维环境的至少一部分的显示并且减小显示空间效果的潜在颠簸效果)引入空间效果，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过以初始沉浸水平显示空间效果并且使得用户能够根据需要增加或减小空间效果的量值)，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，相应空间效果包括虚拟环境的至少一部分的显示，在没有相应空间效果的情况下显示三维环境包括显示用户的视点周围的物理环境的一部分的表示，并且利用相应空间效果显示三维环境包括将物理环境的该部分的表示的至少一部分的显示替换为虚拟环境的该部分的显示(1014)，诸如在图9A中(例如，空间效果包括显示模拟环境，诸如上文相对于方法800描述的那些)。
在一些实施方案中，模拟环境被显示在三维环境的第一部分处(例如，包围该第一部分)。在一些实施方案中，三维环境的第二部分包括物理环境(例如，用户和/或设备周围的真实世界环境)的一部分的表示。
上述发起模拟环境的显示的方式(例如，通过以可被增加或降低的中间沉浸水平初始地显示模拟环境)以小于完全沉浸水平的水平引入模拟环境(例如，其保持三维环境的至少一部分的显示并且减小显示空间效果的潜在颠簸效果)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过以初始沉浸水平显示模拟环境并且使得用户能够根据需要增加或减少模拟环境的量)，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，利用相应空间效果显示三维环境包括呈现与虚拟环境相对应的音频(1016)，诸如在图9A中，如扬声器924所指示(例如，相应空间效果包括播放与所显示的虚拟环境和/或空间效果相关联的可听效果(例如，经由扬声器、经由耳塞、经由耳机等))。在一些实施方案中，可听效果包括与虚拟环境的视觉内容相对应的环境噪声或声音，诸如流水声、呼啸风声、鸟鸣声等。
在一些实施方案中，在利用相应空间效果显示三维环境并呈现与虚拟环境相对应的音频时，电子设备经由一个或多个输入设备检测(1018)电子设备的移动，该移动对应于从第一取向改变进入三维环境中的电子设备的用户的视点的取向，诸如在图9E至图9H中(例如，检测到用户和/或设备已经改变其物理环境内的取向，这任选地使得物理环境的表示根据用户和/或设备的取向的变化而改变取向)。
例如，如果用户将该设备向左转动45度，则该设备将三维环境的显示向左移动45度以在先前显示的内容的左侧显露三维环境的部分，并且停止在先前显示的内容的右侧显示三维环境的该部分。这样，环境以这样的方式调整，使得看起来好像用户以用户环视他或她的物理环境的相同方式环视三维环境。在一些实施方案中，随着用户和/或设备改变取向，用户能够看到物理环境与虚拟环境之间的边界。在一些实施方案中，虚拟环境在该设备的旋转方向上扩展(例如，跟随用户的旋转，任选地具有延迟)。在一些实施方案中，虚拟环境不在该设备的旋转方向上扩展。
在一些实施方案中，响应于检测到电子设备的移动(1020)，根据确定电子设备的移动满足一个或多个标准(包括在进入三维环境中的用户的视点的取向从第一取向改变大于阈值量时满足的标准)，电子设备去强调(1022)与虚拟环境相对应的音频的至少一个分量，诸如在图9E中(例如，如果用户和/或设备已将取向改变大于阈值量(例如，大于30度、45度、90度等)或预先确定的量(例如，大于45度但小于90度、大于60度但小于120度等)，则减小提供给用户的可听效果)。
在一些实施方案中，减小可听效果包括禁用与空间效果相关联的所有可听效果。在一些实施方案中，减小可听效果包括减小与空间效果相关联的可听效果的音量。在一些实施方案中，减小可听效果从可听效果移除离散分量和/或音轨(例如，移除鸟鸣声分量，但保持流水声分量，任选地处于与之前相同的音量)。
上述减小音频分量的效果的方式(例如，通过检测视点已改变阈值量并且去强调音频)提供了允许用户重新与他或她的物理环境接触的快速且高效的方式(例如，通过在用户例如在声源的方向上和/或远离虚拟环境转动他或她的头部时自动减小音频效果，因此允许用户从他或她的物理环境听到声音，而不需要用户执行附加输入以去强调音频效果)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，去强调与虚拟环境相对应的音频的至少该分量包括减小音频以从三维环境中的不同方向生成的方式呈现的程度(1024)，诸如在图9E中(例如，减小与空间效果相关联的音频的至少一个分量的音量)。在一些实施方案中，减小该程度包括减小与空间效果相关联的音频的所有分量的音量。在一些实施方案中，减小该程度包括减小音频的分量的子集的音量，同时保持音频的其他分量的音量。在一些实施方案中，去强调音频的至少该分量包括减少音频通道的数量，例如从5个音频通道(例如，环绕声)减少到立体声(例如，2个音频通道)和/或从立体声减少到单声道(例如，一个音频通道)。
上述减小音频分量的效果的方式(例如，通过检测视点已改变阈值量并且去强调音频)提供了允许用户重新与他或她的物理环境接触的快速且高效的方式(例如，通过在用户例如在声源的方向上和/或远离虚拟环境转动他或她的头部时自动减小音频效果，因此允许用户从他或她的物理环境听到声音，而不需要用户执行附加输入以去强调音频效果)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，去强调与虚拟环境相对应的音频的至少该分量包括减少呈现与虚拟环境相对应的音频时的噪声消除量(1026)(例如，减少经由其呈现音频的电子设备和/或耳机/扬声器/耳塞的噪声消除效果)。
在一些实施方案中，电子设备与一个或多个扬声器(或任何其他噪声或音频生成部件)进行通信。在一些实施方案中，一个或多个扬声器具有至少部分地减少(例如，消除)来自用户的物理环境的声音(例如，环境声音)的一个或多个噪声消除特征。在一些实施方案中，减小噪声消除效果包括减小噪声消除的量值(例如，消除少10％的环境噪声、消除少20％的环境噪声、消除少50％的环境噪声等)。在一些实施方案中，减小噪声消除效果包括被动地允许环境噪声到达用户(例如，禁用噪声消除)。在一些实施方案中，减小噪声消除效果包括启用主动透明收听模式(例如，主动地向用户提供环境声音，例如以克服耳机和/或耳塞的被动声音阻尼效果)。
上述减小虚拟环境的沉浸式效果的方式(例如，通过减少该设备的噪声消除特征)提供了允许用户重新与他或她的物理环境接触的快速且高效的方式(例如，通过在用户例如在声源的方向上和/或远离虚拟环境转动他或她的头部时自动地减小音频效果并且允许环境噪声穿过，因此允许用户从他或她的物理环境听到声音，而不需要用户执行附加输入以去强调音频效果)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，去强调与虚拟环境相对应的音频的至少该分量包括减少呈现与虚拟环境相对应的音频时的音频分量的数量(1028)，诸如在图9E中(例如，减少或停止与虚拟环境相关联的音频的音频分量中的至少一些音频分量)。例如，减小(例如，至零)音频的一个或多个音轨的音量，但保持音频的其他音轨的音量。
上述减小虚拟环境的沉浸式效果的方式(例如，通过减少所提供的音频分量的数量)提供了允许用户重新与他或她的物理环境接触的快速且高效的方式(例如，通过在用户例如在声源的方向上和/或远离虚拟环境转动他或她的头部时自动地减少音频效果的量并且允许环境噪声穿过，而不需要用户执行附加输入以去强调音频效果)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在以第一沉浸水平利用相应空间效果显示三维环境时，电子设备经由一个或多个输入设备检测(1030)与以最大沉浸水平利用相应空间效果显示三维环境的请求相对应的用户输入，诸如检测将沉浸水平增加到9的输入，诸如在图9E至图9F中(例如，接收与所显示的沉浸示能表示交互或与机械转盘交互的用户输入)。在一些实施方案中，用户输入包括将沉浸增加到最大沉浸水平的请求。例如，选择与最高沉浸水平相关联的示能表示和/或在机械转盘上执行与请求最高沉浸水平相关联的旋转输入。
在一些实施方案中，响应于检测到用户输入(1032)，根据确定独立于用户输入的用户定义的设置具有第一值(例如，设定最大沉浸水平的系统设置能够由用户调整)，电子设备经由显示生成部件以第一相应沉浸水平利用相应空间效果显示(1034)三维环境(例如，如果对最大沉浸水平的用户定义的设置是第一值(例如，180度)，则基于用户定义的设置将沉浸水平增加到第一值)，并且根据确定用户定义的设置具有与第一值不同的第二值，电子设备经由显示生成部件以大于第一相应沉浸水平的第二相应沉浸水平利用相应空间效果显示(1036)三维环境，诸如在图9E至图9F中最大沉浸水平以用户定义的设置为上限的情况(例如，如果对于最大沉浸水平的用户定义的设置是第二值(例如，360度)，则基于用户定义的设置将沉浸水平增加到第二值)。
例如，最大沉浸水平可以是45度沉浸(例如，相对于用户的45度的三维环境将被虚拟对象/环境占据，并且剩余部分将被物理环境占据)、90度沉浸、180度沉浸、360度沉浸等。在一些实施方案中，最大沉浸水平可被设定为等于视场(例如，最大沉浸角度等于三维环境的视场的角度，诸如180度或大约180度)。
上述为最大沉浸水平提供用户定义的设置的方式提供了允许用户限制最大沉浸水平的快速且高效的方式(例如，通过将沉浸限制到用户定义的最大沉浸水平，而不需要用户在每次沉浸水平增加到最大值时执行附加用户输入以降低或增加沉浸水平)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，三维环境与应用程序相关联(1038)，诸如在图11D中(例如，三维环境是应用程序的用户界面)。在一些实施方案中，应用程序能够使得显示虚拟环境。例如，应用程序的全屏模式或呈现模式任选地使得显示虚拟环境，诸如参考方法1200所描述。
在一些实施方案中，在以第一沉浸水平利用相应空间效果显示三维环境时，电子设备经由一个或多个输入设备检测(1040)与以最大沉浸水平利用相应空间效果显示三维环境的请求相对应的用户输入(例如，接收与所显示的沉浸示能表示交互或与机械转盘交互的用户输入)。在一些实施方案中，用户输入包括将沉浸增加到最大沉浸水平的请求。例如，选择与最高沉浸水平相关联的示能表示和/或在机械转盘上执行与请求最高沉浸水平相关联的旋转输入。
在一些实施方案中，响应于检测到用户输入(1042)，根据确定该应用程序满足一个或多个第一标准，电子设备经由显示生成部件以第一相应沉浸水平利用相应空间效果显示(1044)三维环境(例如，如果该应用程序具有被设定为第一相应水平的最大沉浸水平，则以第一相应沉浸水平显示相应空间效果)，并且根据确定该应用程序满足与第一标准不同的一个或多个第二标准，电子设备经由显示生成部件以大于第一相应沉浸水平的第二相应沉浸水平利用相应空间效果显示(1046)三维环境，诸如在图11D中(例如，如果该应用程序所设定的最大沉浸水平是第二相应水平，则以第二相应沉浸水平显示相应空间效果)。
在一些实施方案中，由该应用程序定义的最大沉浸水平覆写最大沉浸水平系统设置(例如，由用户定义，如上所述)。例如，如果该应用程序的最大沉浸水平大于系统最大沉浸水平，则以该应用程序的最大沉浸水平为准。在一些实施方案中，即使该应用程序的最大沉浸水平更大，最大沉浸水平也由系统沉浸水平限制。在一些实施方案中，如果为该应用程序定义的最大沉浸水平小于系统沉浸水平，则响应于以最大沉浸水平显示空间效果的请求，以该应用程序定义的最大水平显示空间效果。因此，在一些实施方案中，沉浸水平是由该应用程序设定的最大水平或由系统水平设置设定的最大水平中的较小者。
上述基于由应用程序设定的水平来确定最大沉浸水平的方式(例如，通过基于由活动应用程序设定的水平来定义最大沉浸水平)，简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，相应空间效果包括大气效果(例如，三维环境的至少一部分(例如，不与三维环境中的对象相关联)的视觉修改)，在没有相应空间效果的情况下显示三维环境包括在没有大气效果的情况下显示用户的视点周围的物理环境的一部分的表示，并且利用相应空间效果显示三维环境包括利用大气效果显示用户的视点周围的物理环境的该部分的表示(1048)，诸如在图9E中(例如，在包括空间效果的三维环境的部分中显示大气效果，但是在不包括空间效果的三维环境的部分中不显示大气效果)。
例如，显示环境光照效果(例如，日出、日落等)、雾效果、薄雾效果、烟/粒子效果等。在一些实施方案中，大气效果是其中三维环境的空气或空白空间看起来被物理效果填充的效果。
例如，如果沉浸水平使得“房间”的30％表现出空间效果而“房间”的70％没有表现出空间效果(例如，是房间的表示，任选地未被任何空间效果修改)，则具有空间效果的房间的30％显示有雾气氛，而没有空间效果的房间的70％不包括雾气氛。在一些实施方案中，表现出空间效果包括修改物理环境的部分以具有空间效果(例如，修改物理环境中的对象的光照、修改物理环境中的对象的视觉特性等)。
上述显示空间效果的方式(例如，通过在其内显示空间效果的环境的部分上显示大气效果，但不在不包括空间效果的环境的部分上显示大气效果)提供了在环境的子集中显示空间效果的快速且高效的方式，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，利用相应空间效果显示三维环境包括呈现与大气效果相对应的音频(1050)，诸如在图9B中(例如，相应空间效果包括播放与所显示的虚拟环境和/或空间效果相关联的可听效果)。在一些实施方案中，可听效果包括与大气效果相关联的噪声或声音，诸如流水声、呼啸风声、鸟鸣声、木柴燃烧的噼啪声等。
在一些实施方案中，在利用相应空间效果显示三维环境并呈现与大气效果相对应的音频时，电子设备经由一个或多个输入设备检测(1052)电子设备的移动，该移动对应于从第一取向改变进入三维环境中的电子设备的用户的视点的取向，诸如在图9E至图9H中(例如，检测到用户和/或设备已经改变其物理环境内的取向，这任选地使得物理环境的表示根据用户和/或设备的取向的变化而改变取向)。
例如，如果用户将该设备向左转动45度，则该设备将三维环境的显示向左移动45度以在先前显示的内容的左侧显露三维环境的部分，并且停止在先前显示的内容的右侧显示三维环境的该部分。这样，环境以这样的方式调整，使得看起来好像用户以用户环视他或她的物理环境的相同方式环视三维环境。在一些实施方案中，随着用户和/或设备改变取向，用户能够看到物理环境与虚拟环境之间的边界。在一些实施方案中，虚拟环境在该设备的旋转方向上扩展(例如，跟随用户的旋转，任选地具有延迟)。在一些实施方案中，虚拟环境不在该设备的旋转方向上扩展。
在一些实施方案中，响应于检测到电子设备的移动，电子设备保持(1054)与大气效果相对应的音频的呈现，而与进入三维环境中的用户的视点的取向从第一取向改变的量无关，诸如在图9F中(例如，即使视点的取向改变，也继续提供大气效果的音频分量)。在一些实施方案中，在用户周围的整个三维环境中应用大气效果，并且改变视点的取向使得用户看到三维环境的不同视角，其中大气效果仍然应用于新的视角。因此，在一些实施方案中，改变取向使得视觉效果和/或音频效果继续被显示/呈现。在一些实施方案中，减小或消除音频效果。
上述显示空间效果的方式(例如，通过在用户改变该设备的取向时保持大气效果的显示)提供了在保持连续性的同时降低三维环境的沉浸的快速且高效的方式(例如，通过保持大气效果的显示，由此避免了在大气效果被禁用的情况下会发生的尖锐过渡)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在以第一沉浸水平利用相应空间效果显示三维环境时，电子设备经由一个或多个输入设备检测(1058)与改变相应空间效果的当前沉浸水平的请求相对应的用户输入(例如，接收改变当前沉浸水平的输入，诸如与将沉浸水平增加或降低相应量(例如，沉浸水平增量或减量)或将沉浸水平设定为相应水平的请求相对应的示能表示的选择或机械转盘的旋转)。
在一些实施方案中，响应于检测到与改变相应空间效果的沉浸水平的请求相对应的用户输入(1060)，根据确定相应空间效果是第一空间效果，电子设备将当前沉浸水平改变(1062)为来自第一组沉浸水平的沉浸水平(例如，如果在三维环境中显示的相应空间效果是第一空间效果和/或第一类型的空间效果，则从用于第一空间效果和/或第一类型的空间效果的第一组可用沉浸水平中改变沉浸水平)，并且根据确定相应空间效果是第二空间效果，电子设备将当前沉浸水平改变(1064)为来自与第一组不同的第二组沉浸水平的沉浸水平，诸如用于虚拟环境922的可用沉浸水平(诸如在图9A中)比用于大气效果的可用沉浸水平(诸如在图9B中)更多的情况(例如，用于大气效果的沉浸水平的数量不同于(例如，小于、大于)用于模拟环境的沉浸水平的数量)。
在一些实施方案中，虚拟环境和/或模拟环境与一定数量的沉浸水平(例如，5个沉浸水平、10个沉浸水平、30个沉浸水平等)兼容，而大气效果(例如，修改光照、气氛、氛围等)与不同(例如，任选地更少)数量的沉浸水平(例如，1个沉浸水平、3个沉浸水平、5个沉浸水平、10个沉浸水平等)兼容。例如，如果三维环境正在显示虚拟环境，则响应于改变沉浸水平的输入，系统能够在十个可用沉浸水平内增加或降低沉浸水平。
例如，因为大气效果任选地包括对三维环境内的对象的视觉修改，同时任选地保持三维环境中的对象的显示(例如，利用日出效果、日落效果、雾效果、星夜效果等显示“房间”)，所以仅存在有限数量的递增沉浸水平。例如，增加沉浸包括引入新的视觉效果和/或新的音频效果，并且因此沉浸水平的数量基于可被引入的新的视觉效果和/或音频效果的数量。在一些实施方案中，大气效果仅具有一个沉浸水平(例如，大气效果要么“开启”(其中所有视觉和/或音频效果都被显示/呈现)，要么“关闭”(其中没有视觉和/或音频效果被显示/呈现))。
上述显示空间效果的方式(例如，通过以一定数量的沉浸水平显示模拟环境并且以更少数量的沉浸水平显示大气效果)提供了提供沉浸式体验的快速且高效的方式，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，用户的视点周围的物理环境包括电子设备的用户可访问的第一区域(例如，物理环境包括用户能够走向其和/或与其交互的用户周围的紧邻区域)以及电子设备的用户不可访问的第二区域(1066)，诸如图9B中的窗户915之外的区域(例如，物理环境包括允许用户看见用户无法直接访问的区域(例如，无需离开物理环境并进入另一物理环境)的一个或多个元素)。
例如，物理环境包括通向用户的物理环境的外部区域的窗户、通向用户的物理环境中的另一个房间(而不是用户当前所在房间)的敞开的门等，它们提供了在用户的直接环境之外(例如，在用户的房间之外)的区域的视图。
在一些实施方案中，在没有相应空间效果的情况下显示三维环境包括经由显示生成部件显示用户的视点周围的物理环境的第二区域的表示(1068)，诸如在图7B中(例如，视情况而定，显示在窗户或敞开的门之外的物理环境的表示(例如，任选地，可通过窗户或敞开的门看见的事物的照片真实感表示))。
在一些实施方案中，利用相应空间效果显示三维环境包括将用户的视点周围的物理环境的第二区域的表示的显示替换为相应虚拟环境，诸如将透过图9B中的窗户915的物理环境的视图替换为修改的物理环境或虚拟环境的视图(1070)(例如，将窗户和/或敞开的门的表示替换为虚拟环境，使得窗户和/或敞开的门的表示不再显示)。
在一些实施方案中，修改窗户和/或敞开的门的表示，使得用户通过窗户和/或敞开的门看到与用户在房间外的实际物理环境不同的环境。例如，如果相应空间效果是日落效果，则可修改窗户的表示，使得可通过窗户看到日落期间的海滩景色(例如，作为向该设备所显示的物理环境添加夕阳光照和/或音频效果的补充或替代)。在一些实施方案中，显示相应空间效果包括移除物理环境的天花板和/或墙壁的显示。例如，显示夜间空间效果任选地包括移除天花板的显示并将其替换为夜空的表示。
上述显示空间效果的方式(例如，通过将用户无法访问的三维环境的部分替换为模拟环境的部分)提供了提供沉浸式体验的快速且高效的方式，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在没有大气效果的情况下显示三维环境包括显示具有第一光照水平的用户的视点周围的物理环境的部分的表示，并且利用大气效果显示三维环境包括显示具有大于第一光照水平的第二光照水平的用户的视点周围的物理环境的部分的表示(1072)，诸如在图9B中(例如，修改房间中和/或房间的地板、墙壁、天花板等中的对象的视觉特性以模拟与用户的物理环境中的环境光量相比增加的光量)。例如，如果用户坐在没有任何光照的房间中，则显示大气效果任选地包括照明三维环境以模拟一个或多个光源(例如，灯泡、太阳等)。
上述显示模拟环境的方式(例如，通过与用户的物理环境的环境光相比增加三维环境中的光量)提供了提供沉浸式体验的快速且高效的方式(例如，通过根据模拟环境来修改三维环境中的光照)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在没有大气效果的情况下显示三维环境包括显示具有第一光照水平的用户的视点周围的物理环境的部分的表示，并且利用大气效果显示三维环境包括显示具有小于第一光照水平的第二光照水平的用户的视点周围的物理环境的部分的表示(1074)，诸如在图9B中(例如，修改房间中和/或房间的地板、墙壁、天花板等中的对象的视觉特性以模拟与用户的物理环境中的环境光量相比减少的光量)。例如，如果用户坐在有明亮光照的房间中，则显示大气效果任选地包括减少三维环境中的光照以模拟更少或没有光照源(例如，在显示夜间模拟环境时移除所有光照)。
上述显示模拟环境的方式(例如，通过与用户的物理环境的环境光相比减少三维环境中的光量)提供了提供沉浸式体验的快速且高效的方式(例如，通过根据模拟环境来修改三维环境中的光照)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，以相应沉浸水平利用相应空间效果显示三维环境包括经由显示生成部件显示指示正在显示相应空间效果时的当前沉浸水平的沉浸级别视觉指示符(1076)，诸如图9A中的沉浸水平指示符916(例如，显示与相应空间效果相关联的当前沉浸水平的指示符)。
在一些实施方案中，该指示符包括与沉浸水平的数量相关联的预先确定数量的子指示符。在一些实施方案中，在视觉上强调这些子指示符以指示当前沉浸水平。例如，该指示符任选地包括指示十个沉浸水平的十个刻度线，并且如果当前沉浸水平为5，则五个刻度线(例如，“底部”五个刻度线)被高亮显示(例如，以不同颜色显示、以不同尺寸显示等)。在一些实施方案中，沉浸级别视觉指示符是可选择的，以将沉浸量改变为所选择的沉浸水平。例如，响应于选择与最大沉浸量相关联的子指示符(例如，最顶部的刻度线)，空间效果被增加到最大沉浸水平。
上述显示当前沉浸水平的指示符的方式(例如，通过显示指示当前沉浸水平的视觉指示符)简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，沉浸级别视觉指示符包括与主沉浸水平相对应的第一组一个或多个指示符，以及与主沉浸水平之间的次沉浸水平相对应的第二组一个或多个指示符(1078)(例如，沉浸级别视觉指示符包括主刻度线和次刻度线。在一些实施方案中，主刻度线与沉浸的大幅增加/减少相关联，而次刻度线与沉浸的小幅增加/减少相关联)。
例如，主刻度线与其中提供(或移除)新分量的水平相关联，并且次刻度线与其中不提供新分量而是在量值上增加(或减少)现有分量的水平相关联(例如，增加音频效果的音量而不是提供新音频效果，增加所显示的模拟环境的量而不是强化模拟环境的视觉效果，等等)。
上述显示主沉浸水平和次沉浸水平的指示的方式(例如，通过用与主沉浸水平和次沉浸水平相对应的主指示符和次指示符显示视觉指示符)简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，以小于第二主沉浸水平的第一主沉浸水平利用相应空间效果显示三维环境包括呈现与相应空间效果相对应的音频而不显示与相应空间效果相对应的视觉效果(1080)，诸如图9A中指示具有三角形状的主沉浸水平和没有三角形状的次沉浸水平的沉浸水平指示符916(例如，第一主沉浸水平与空间效果的音频分量相关联(例如，而不与空间效果的视觉分量相关联))。例如，在处于第一主沉浸水平时，该设备提供与空间效果相关联的至少一个音频分量，并且任选地不显示与空间效果相关联的任何视觉修改或分量。
上述提供空间效果的方式(例如，通过在处于第一主沉浸水平时提供与空间效果相关联的音频，但不提供与空间效果相关联的视觉效果)提供了提供沉浸式体验的快速且高效的方法(例如，通过在引入视觉效果之前首先引入音频效果)，简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，以大于第二主沉浸水平的第一主沉浸水平利用相应空间效果显示三维环境包括呈现与相应空间效果相对应的音频并且显示与相应空间效果相对应的视觉效果的第一部分而不显示与相应空间效果相对应的视觉效果的第二部分(1082)，诸如在图9A至图9B中(例如，在第二主沉浸水平，提供与空间效果相关联的音频和视觉效果两者)。
在一些实施方案中，所提供的音频效果是以第一主沉浸水平提供的相同音频，并且第二沉浸水平引入视觉效果。在一些实施方案中，所提供的音频效果是以第一主沉浸水平提供的包括一个或多个附加音频分量的音频效果。在一些实施方案中，提供视觉效果包括显示模拟环境的一部分。在一些实施方案中，提供视觉效果包括提供一种或多种大气效果。
上述提供空间效果的方式(例如，通过在处于第二主沉浸水平时除了音频效果之外还提供与空间效果相关联的视觉效果)提供了提供沉浸式体验的快速且高效的方法(例如，通过在首先引入音频效果之后引入视觉效果)，简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，以大于第一主沉浸水平的第三主沉浸水平利用相应空间效果显示三维环境包括呈现与相应空间效果相对应的音频并且显示与相应空间效果相对应的视觉效果的第一部分和第二部分(1084)(例如，在第三主沉浸水平下，增加以第二主水平显示的视觉效果)。
在一些实施方案中，所提供的音频效果是以第一主水平和/或第二主水平提供的相同音频。在一些实施方案中，视觉效果与以第二主水平提供的视觉效果相同，但是具有增加的强度(例如，光照元素更亮或更暗等)。在一些实施方案中，视觉效果是以第二主水平提供的具有一个或多个附加视觉分量的视觉效果。在一些实施方案中，提供增加的视觉效果包括显示模拟环境的更大部分。在一些实施方案中，提供增加的视觉效果包括增加一种或多种大气效果的强度。
上述提供空间效果的方式(例如，通过在处于第三主沉浸水平时提供增加的视觉效果)提供了提供沉浸式体验的快速且高效的方法(例如，通过在首先引入视觉效果之后增加所提供的视觉效果)，简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，相应空间效果包括虚拟环境的至少一部分的显示，在没有相应空间效果的情况下显示三维环境包括显示用户的视点周围的物理环境的一部分的表示，并且利用相应空间效果显示三维环境包括将物理环境的该部分的表示的至少一部分的显示替换为虚拟环境的该部分的显示(1086)，诸如在图9A中。
在一些实施方案中，在利用相应空间效果显示三维环境(包括显示虚拟环境的该部分)时(例如，在三维环境正在显示相应空间效果(其中一些或全部三维环境包括虚拟环境的表示)时)，电子设备经由一个或多个输入设备检测(1088)电子设备远离用户的视点周围的物理环境中的第一位置的移动，诸如在图9E中(例如，检测电子设备已将位置从其在物理环境中的先前位置改变到物理环境中的新位置)。
例如，如果用户在握持电子设备的同时移动到物理环境中的新位置。在一些实施方案中，电子设备使用一个或多个传感器(诸如加速度计、陀螺仪、GPS定位器、检测用户周围的对象的一个或多个相机或深度传感器等)来检测电子设备已移动到新位置。在一些实施方案中，电子设备响应于电子设备的一个或多个相机捕获物理环境的改变的视角而检测电子设备已移动到新位置(例如，检测相机正看向物理环境的不同位置和/或检测相机正从不同角度看向相同位置)。在一些实施方案中，远离第一位置的移动包括水平移动和/或竖直移动。例如，如果用户走到房间中的新位置，则电子设备检测到电子设备远离其初始位置的移动。在一些实施方案中，如果用户从坐立位置站起来，则电子设备将该移动检测为远离其初始位置的移动(例如，竖直位置的变化)。
在一些实施方案中，响应于检测到电子设备远离第一位置的移动(1090)，根据确定电子设备远离第一位置的移动大于阈值距离(例如，电子设备远离其初始位置移动超过6英寸、1英尺、3英尺、6英尺等)，电子设备停止(1092)经由显示生成部件显示虚拟环境的该部分，诸如在图9E中设备101停止显示虚拟环境922的情况(例如，从三维环境移除虚拟环境的一部分的显示)。
在一些实施方案中，移除虚拟环境的一部分的显示包括在移除虚拟环境的显示的位置处恢复物理环境的表示的显示(例如，移除虚拟环境的一部分的显示包括将这些部分替换为物理环境的相应表示)。在一些实施方案中，从显示中移除的虚拟环境的部分是更靠近电子设备和/或用户的虚拟环境的部分，并且任选地未从显示中移除的虚拟环境的部分更远离电子设备和/或用户。例如，响应于检测到该设备已移动超过6英寸，电子设备显露电子设备周围的物理环境的两英尺半径范围(例如，以允许用户看见他或她周围的区域，从而能够在他或她的物理环境周围安全地移动)。在一些实施方案中，仅在虚拟环境延伸到电子设备和/或用户周围的相应半径范围(例如，为安全地允许用户四处走动而显露的半径范围)内的情况下才从显示中移除虚拟环境的部分。例如，如果沉浸水平使得虚拟环境显示在远离电子设备和/或用户的三维环境中，则响应于检测到该设备移动超过阈值距离，保持虚拟环境的显示(例如，因为用户和/或电子设备周围的相应半径范围已经显示物理环境)。在一些实施方案中，所显露的物理环境的量基于电子设备的移动量。例如，如果电子设备移动6英寸，则作为响应，显露物理环境的2英尺半径范围，但如果电子设备移动2英尺，则作为响应，显露物理环境的5英尺半径范围(例如，并且任选地如果电子设备移动超过阈值，诸如2英尺、3英尺、10英尺等，则从显示中移除全部虚拟环境，并且物理环境任选地包围整个三维环境)。在一些实施方案中，电子设备的移动速度确定该设备周围的多少物理环境被显露(例如，较快的移动使得较大的半径范围被显露，而较慢的移动使得较小的半径范围被显露)。在一些实施方案中，当电子设备在物理环境周围移动时，电子设备周围的显露物理环境的圆(例如，虚拟环境中的切口)在电子设备移动时跟随电子设备。在一些实施方案中，当该设备在物理环境周围移动时(例如，如上文相对于方法800所讨论，当物理环境满足第一标准时)，虚拟环境减少其沉浸量。在一些实施方案中，移除虚拟环境的该部分的显示包括减小或停止与虚拟环境相关联的一种或多种音频效果。例如，移除音频效果的一个或多个音轨、减小音频效果的音量等。
上述停止虚拟环境的一部分的显示(例如，响应于检测到电子设备已移动阈值量)的方式提供了安全地允许用户看到用户周围的物理区域的快速且高效的方法(例如，自动进行，而不需要用户执行附加输入来在用户在他或她的物理环境周围移动时减少沉浸量)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，并且提供了用户能够与他或她的环境安全地交互的机制，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，响应于检测到电子设备远离第一位置的移动(1094)，根据确定电子设备远离第一位置的移动是小于阈值距离的第一距离，电子设备将虚拟环境的该部分的显示去强调(1096)第一量，诸如图9E中淡化虚拟环境722的部分(例如，当电子设备移动第一距离(例如，6英寸、1英尺、2英尺、4英尺、10英尺等)时，停止显示的虚拟环境的该部分(例如，当电子设备到达阈值距离时)开始被去强调)。
例如，在电子设备移动阈值量时最终不再显示的虚拟环境的部分在电子设备开始移动时但在电子设备移动阈值量之前开始淡出。在一些实施方案中，虚拟环境的该部分淡出的量基于电子设备移动的量。例如，随着电子设备移动得更多，淡化的量增加，直到电子设备移动阈值量，此时淡化处于100％(例如，虚拟环境的该部分完全淡出并且不再显示)。在一些实施方案中，淡化的虚拟环境的量取决于电子设备移动的量。例如，随着电子设备开始移动，虚拟环境在靠近用户处开始淡化，并且淡化向外移动(例如，随着电子设备移动得更多)直到它包围停止显示的整个部分。
在一些实施方案中，根据确定电子设备远离第一位置的移动是大于第一距离且小于阈值距离的第二距离，电子设备将虚拟环境的该部分的显示去强调(1098)大于第一量的第二量，诸如图9E中进一步淡化虚拟环境722的部分(例如，在电子设备移动第一距离之后，响应于确定电子设备移动第二距离(例如，更远距离)，停止显示的虚拟环境的部分(例如，当电子设备到达阈值距离时)甚至进一步被去强调)。在一些实施方案中，去强调第二量包括进一步淡化虚拟环境的该部分(例如，增加透明度)。在一些实施方案中，去强调第二量包括淡化更多虚拟环境(例如，扩展淡化的量)。
上述去强调虚拟环境的部分(例如，随着电子设备移动并接近停止显示虚拟环境的该部分的阈值量)的方式提供了显露物理环境的快速且高效的方法(例如，通过逐渐使虚拟环境消失并使物理环境淡入)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在利用相应空间效果显示三维环境时，电子设备经由一个或多个输入设备检测(1099)电子设备远离用户的视点周围的物理环境中的第一位置的移动，诸如在图9E中(例如，检测电子设备已将位置从其在物理环境中的先前位置改变到物理环境中的新位置)。
例如，如果用户在握持电子设备的同时移动到物理环境中的新位置。在一些实施方案中，电子设备使用一个或多个传感器(诸如加速度计、陀螺仪、GPS定位器等)来检测电子设备已移动到新位置。在一些实施方案中，电子设备响应于电子设备的一个或多个相机捕获物理环境的改变的视角而检测电子设备已移动到新位置(例如，检测相机正看向物理环境的不同位置和/或检测相机正从不同角度看向相同位置)。在一些实施方案中，远离第一位置的移动包括水平移动和/或竖直移动。例如，如果用户走到房间中的新位置，则电子设备检测到电子设备远离其初始位置的移动。在一些实施方案中，如果用户从坐立位置站起来，则电子设备将该移动检测为远离其初始位置的移动(例如，竖直位置的变化)。
在一些实施方案中，响应于检测到电子设备远离第一位置的移动(1097)，根据确定电子设备远离第一位置的移动大于阈值距离(1095)(例如，电子设备远离其初始位置移动超过6英寸、1英尺、3英尺、6英尺等，诸如先前描述的虚拟环境的显示停止的阈值距离)，根据确定利用相应空间效果显示三维环境包括经由显示生成部件显示虚拟环境的至少一部分，电子设备停止(1093)虚拟环境的该部分的显示，诸如图9E中降低沉浸水平或恢复物理环境的部分(例如，如果在三维环境中显示的相应空间效果包括显示虚拟环境(例如，模拟环境)，使得物理环境的部分不在显示虚拟环境的地方显示(例如，虚拟环境替换物理环境的部分)，则响应于检测到电子设备的移动大于阈值距离，虚拟环境的一部分不再显示(例如，并且任选地取而代之，物理环境的一部分被恢复))。在一些实施方案中，停止虚拟环境的一部分的显示包括减小或停止与虚拟环境相关联的一种或多种音频效果。例如，移除音频效果的一个或多个音轨、减小音频效果的音量等。
在一些实施方案中，根据确定利用相应空间效果显示三维环境包括经由显示生成部件利用大气效果显示用户的视点周围的物理环境的一部分的表示，电子设备保持(1092)利用大气效果显示用户的视点周围的物理环境的该部分的表示，诸如在图9F中(例如，如果在三维环境中显示的相应空间效果包括修改物理环境的表示以具有一种或多种大气效果(例如，不同的光照效果、变暗、变亮、雾、薄雾等)(例如，并且任选地不包括显示虚拟环境)，则响应于检测到电子设备的移动大于阈值距离，相应空间效果不被停止显示)。
在一些实施方案中，因为物理环境仍对用户可见(例如，即使具有大气效果)，所以保持大气效果不会阻止用户观看在电子设备和/或用户周围的物理环境以及/或者产生安全问题。在一些实施方案中，保持大气效果的显示包括减小一种或多种大气效果的量值(例如，减小使环境变暗的效果的量等)。在一些实施方案中，保持大气效果的显示包括不改变一种或多种大气效果的量值。在一些实施方案中，保持虚拟环境的一部分的显示包括保持与虚拟环境相关联的一种或多种音频效果。
上述停止虚拟环境的显示但保持大气效果的显示的方式提供了显露物理环境以允许用户看到他或她的物理环境的快速且高效的方法(例如，通过停止原本将防止物理环境的部分可见的虚拟环境的部分的显示，但保持大气效果的显示，这任选地允许物理环境的部分保持可见，即使当大气效果活动时)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，并且提供了其中用户能够与他或她的环境安全地交互(例如，但在用户能够与他或她的环境安全地交互的情况下另行保持空间效果的沉浸)的机制，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，利用相应空间效果显示三维环境包括显示虚拟环境的至少一部分(1089)，诸如在图9A中。
在一些实施方案中，在利用相应空间效果显示三维环境(包括显示虚拟环境的该部分)时并且在不经由显示生成部件显示用户的视点周围的物理环境的表示时，电子设备经由一个或多个输入设备检测(1087)与从第一取向改变用户的视点的取向相对应的电子设备的移动，诸如在图9E中(例如，检测到电子设备已从其先前取向改变取向，使得电子设备“面向”不同的方向并且捕获物理环境的与之前不同的区域)。
在一些实施方案中，响应于检测到取向变化，电子设备根据电子设备的取向变化来改变三维环境的视点的取向。例如，如果电子设备向左旋转90度，则三维环境的视图也向左旋转90度以模拟电子设备的向左旋转。以这种方式，用户能够环视三维环境，就好像用户物理地位于三维环境中一样。在一些实施方案中，电子设备使用一个或多个传感器(诸如加速度计、陀螺仪等)来检测取向变化。在一些实施方案中，电子设备响应于电子设备的一个或多个相机捕获物理环境的视点的变化(例如，检测到相机已旋转并且正看向物理环境的不同区域)而检测取向变化。
在一些实施方案中，响应于检测到电子设备的移动(1085)，根据确定电子设备的移动满足一个或多个标准(包括在进入三维环境中的用户的视点的取向从第一取向水平地改变大于阈值量时满足的标准)，诸如在图9E中(例如，电子设备水平地向左或向右旋转阈值量，诸如10度、45度、90度、135度等，或电子设备经旋转使得旋转的水平分量大于阈值量)，电子设备去强调(1083)虚拟环境的该部分的显示并且经由显示生成部件显示物理环境的表示的至少一部分，诸如虚拟环境922a的部分在图9E中淡化或移除的情况(例如，淡出虚拟环境的一部分并显露物理环境的表示的相应部分(例如，在虚拟环境的淡化部分下方))。
在一些实施方案中，虚拟环境的该部分被部分地淡化(例如，10％透明度、50％透明度、75％透明度等)。在一些实施方案中，被淡出的虚拟环境的部分是虚拟环境的边缘(例如，边界)，任选地在用户面向的方向上。例如，如果用户向左看，则虚拟环境的左边缘淡出，但是如果用户向右看，则虚拟环境的右边缘淡出。
上述去强调虚拟环境的显示(例如，响应于检测到用户的视点水平地移动)的方式提供了显露物理环境的部分的快速且高效的方法，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，并且提供了其中用户能够与他或她的环境安全地交互(例如，不需要用户执行附加输入以去强调或禁用虚拟环境的显示)的机制，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，利用相应空间效果显示三维环境包括显示虚拟环境的至少一部分(1081)，诸如在图9A中。在一些实施方案中，在利用相应空间效果显示三维环境(包括显示虚拟环境的该部分)时并且在不经由显示生成部件显示物理环境的表示时，电子设备经由一个或多个输入设备检测(1079)与从第一取向改变进入三维环境中的电子设备的用户的视点的取向相对应的电子设备的移动，诸如在图9E中(例如，检测到电子设备已从其先前取向改变取向，使得电子设备“面向”不同的方向并且捕获物理环境的与之前不同的区域)。
在一些实施方案中，响应于检测到取向变化，电子设备根据电子设备的取向变化来改变三维环境的视点的取向。例如，如果电子设备向左旋转90度，则三维环境的视图也向左旋转90度以模拟电子设备的向左旋转。以这种方式，用户能够环视三维环境，就好像用户物理地位于三维环境中一样。在一些实施方案中，电子设备使用一个或多个传感器(诸如加速度计、陀螺仪等)来检测取向变化。在一些实施方案中，电子设备响应于电子设备的一个或多个相机捕获物理环境的视点的变化(例如，检测到相机已旋转并且正看向物理环境的不同区域)而检测取向变化。
在一些实施方案中，响应于检测到电子设备的移动(1077)，根据确定电子设备的移动满足一个或多个标准(包括在进入三维环境中的用户的视点的取向从第一取向竖直地改变到指向物理环境的地面的第二取向时满足的标准)，诸如在图9E中用户将设备101移动成指向下(例如，电子设备竖直向下旋转，使得用户所在附近的地面、地板或其他表面的一部分在三维环境中可见的情况(例如，以其他方式显示物理环境的表示的情况))，则电子设备去强调(1075)虚拟环境的该部分的显示，并且经由显示生成部件显示物理环境的地面的表示的至少一部分，诸如在图9E中显露用户的双脚周围的物理环境(例如，淡出虚拟环境的表示的一部分以显露用户周围的物理环境的一部分)。
在一些实施方案中，显露的物理环境的部分是用户周围的物理环境的地面的预先确定的半径范围，诸如1英尺、2英尺、3英尺、5英尺、10英尺等。在一些实施方案中，在用户周围的预先确定的半径范围内的虚拟环境的部分被淡化(例如，任选地渐变淡化，其中更靠近用户和/或电子设备的部分比更远离用户和/或电子设备的部分更为淡化)，并且不在预先确定的半径范围内的虚拟环境的部分不被淡化。在一些实施方案中，如果沉浸水平使得虚拟环境不被显示在被显露的用户周围的半径范围内，则虚拟环境不被淡化。
上述去强调虚拟环境的一部分并显示电子设备周围的地面的表示(例如，响应于检测到该设备的取向的变化以向下面向地面)的方式提供了提供用户周围的区域的视图的快速且高效的方式(例如，通过响应于检测到电子设备向下面向地面而自动显示地面的表示)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，使用户-设备界面更高效(例如，不需要用户执行附加输入以停止显示虚拟环境的部分)，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，并且提供了其中用户能够与他或她的环境安全地交互的机制，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，利用相应空间效果显示三维环境包括显示虚拟环境的至少一部分(1073)，诸如在图9A中。在一些实施方案中，以第一沉浸水平利用相应空间效果显示三维环境包括在离进入三维环境中的用户的视点的第一距离处显示虚拟环境的该部分(1071)，诸如在图9A中(例如，当相应空间效果处于第一沉浸水平时，在远离三维环境的视点(例如，相机位置)的第一距离处显示虚拟环境)。
在一些实施方案中，物理环境的表示与虚拟环境之间的边界相距第一距离，并且虚拟环境从第一距离向外延伸(例如，向外延伸到虚拟环境的末端，或向外朝向虚拟环境中的地平线延伸)。例如，从第一距离向内，显示物理环境，并且从第一距离向外，显示虚拟环境(例如，当物理环境满足第一标准时，以类似于上文相对于方法800所描述的方式)。
在一些实施方案中，以大于第一沉浸水平的第二沉浸水平利用相应空间效果显示三维环境，包括在离进入三维环境中的用户的视点的小于第一距离的第二距离处显示虚拟环境的该部分(1069)，诸如在图9C中(例如，当相应空间效果处于第二更大沉浸水平时，在远离三维环境的视点的第二更近距离处显示虚拟环境)。
在一些实施方案中，物理环境的表示与虚拟环境之间的边界相距第二距离(例如，物理环境是比第二距离更近的空间，而虚拟环境是比第二距离更远的空间)。因此，随着沉浸水平增加，物理环境与虚拟环境之间的边界任选地移动得更靠近用户(例如，虚拟环境包围更多的三维环境)，并且随着沉浸水平降低，边界移动得更远离用户。在一些实施方案中，将边界移动得更远离或更靠近用户包括显露更多或更少的虚拟环境。例如，增加沉浸包括显示虚拟环境的先前未显示的更多部分，并且降低沉浸包括隐藏虚拟环境的被显示的部分。在一些实施方案中，改变沉浸水平不包括在不显示更多或更少虚拟环境的情况下将虚拟环境移动得更靠近或更远离用户(例如，保持可看见的虚拟环境的量并且仅将虚拟环境移动得更靠近或更远离用户)。
上述增加或降低空间效果的沉浸水平的方式(例如，通过随着沉浸增加而显露虚拟环境的更靠近用户的部分并且随着沉浸降低而隐藏虚拟环境的部分)提供了显示更多或更少虚拟环境的快速且高效的方式，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，利用相应空间效果显示三维环境包括显示虚拟环境的至少一部分(1067)，诸如在图9A中。在一些实施方案中，在利用相应空间效果显示三维环境(包括显示虚拟环境的该部分)时，电子设备经由一个或多个输入设备检测(1065)与从第一取向改变进入三维环境中的电子设备的用户的视点的取向相对应的电子设备的移动，诸如在图9E中(例如，检测到电子设备已从其先前取向改变取向，使得电子设备“面向”不同的方向并且捕获物理环境的与之前不同的区域)。
在一些实施方案中，响应于检测到取向变化，电子设备根据电子设备的取向变化来改变三维环境的视点的取向。例如，如果电子设备向左旋转90度，则三维环境的视图也向左旋转90度以模拟电子设备的向左旋转。以这种方式，用户能够环视三维环境，就好像用户物理地位于三维环境中一样。在一些实施方案中，例如，如果电子设备是头戴式设备，则电子设备响应于用户的头部的旋转而旋转。
在一些实施方案中，响应于检测到电子设备的移动(1063)，根据确定电子设备的移动满足一个或多个标准(包括基于用户的预定义部分的移动而满足的标准)，电子设备改变(1061)三维环境中根据电子设备的移动而显示虚拟环境的位置，诸如在图9G中(例如，如果该设备的用户的身体(例如，用户的躯干并且任选地不是用户的头部)已旋转以面向新的方向(例如，任选地使得电子设备改变取向的用户身体的旋转)，则满足该标准)。
在一些实施方案中，响应于确定用户的身体已旋转以面向新的方向，虚拟环境根据用户的身体的旋转而围绕用户旋转。在一些实施方案中，旋转虚拟环境包括将虚拟环境移动到三维环境中的新位置。在一些实施方案中，将虚拟环境移动到用户的身体所面向的新位置，使得虚拟环境以用户的身体为中心(例如，虚拟环境的中心在视场的中心处)。在一些实施方案中，将虚拟环境移动到新位置包括旋转虚拟环境，使得虚拟环境与用户的新“向前”视点对准。例如，如果用户将他或她的头部和身体向左移动30度，则虚拟环境被移动到三维环境中其初始位置向左30度的新位置，然后旋转30度，使得虚拟环境在移动之后具有与用户转动他或她的身体之前相同的相对于用户的对准。在一些实施方案中，响应于检测到用户的身体已旋转到新的取向，虚拟环境被移动到新的位置并且被旋转，即使没有检测到改变电子设备的取向的电子设备的移动。
在一些实施方案中，根据确定电子设备的移动不满足一个或多个标准，电子设备保持(1059)三维环境中显示虚拟环境的位置，诸如在图9E中(例如，如果用户的身体不旋转，诸如如果用户的头部旋转而用户的身体不旋转，则虚拟环境不根据用户的身体的旋转而移动到新的位置和/或旋转)。
在一些实施方案中，即使用户的视点已改变，虚拟环境也保持在其初始位置处。在一些实施方案中，响应于视点的变化，根据视点的变化而向用户呈现三维环境的不同视图(例如，如果用户向左看30度，则更新三维环境的显示，使得用户看到在先前显示的位置向左30度的三维环境(例如，物理环境)的部分)。在一些实施方案中，用户能够看到(例如，经过)虚拟环境的边缘(例如，虚拟环境结束且物理环境开始的边界)。
上述移动虚拟环境的方式(例如，响应于检测到用户的预定义部分已旋转成面向新方向，但在用户的视点旋转而预定义部分未旋转的情况下不移动虚拟环境)提供了保持沉浸的快速且高效的方式(例如，当用户转动他或她的身体(指示更持久的取向变化)时，而不是转动他或她的头部(指示更临时的取向变化))，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，不需要用户执行附加输入来移动三维环境)，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
图11A至图11D示出了根据一些实施方案的将对象移动到虚拟环境之中或之外的示例。
图11A示出了经由显示生成部件(例如，图1的显示生成部件120)在用户界面上显示三维环境1104的电子设备101。如上参考图1-图6所描述，电子设备101任选地包括显示生成部件(例如，触摸屏)和多个图像传感器(例如，图3的图像传感器314)。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101交互时电子设备101能够用来捕获用户或用户的一部分的一个或多个图像的任何其他传感器。在一些实施方案中，下文示出的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件，以及检测物理环境和/或用户的手的移动的传感器(例如，从用户面向外的外部传感器)和/或检测用户的注视的传感器(例如，朝向用户的面部面向内的内部传感器)。
如图11A所示，设备101捕获设备101周围的真实世界环境1102(例如，操作环境100)(包括设备101周围的真实世界环境1102中的一个或多个对象)的一个或多个图像。在一些实施方案中，设备101在三维环境1104中显示真实世界环境的表示。例如，三维环境1104包括书桌1106a的表示的一部分和咖啡桌1108a的表示。如图11A中的真实世界环境1102的俯视图1116所示，书桌1105b和咖啡桌1106b是真实世界环境1102中已由设备101的一个或多个传感器捕获的真实对象。在图11A中，三维环境1104当前处于沉浸水平3(例如，如由沉浸水平指示符1110所指示)，并且因此，虚拟环境1112a包围三维环境1104的一部分并遮挡书桌1106b的后部的视图(例如，以与上文在图7E中描述的三维环境704类似的方式)。
在一些实施方案中，三维环境1104包括在设备101上运行的一个或多个应用程序的一个或多个用户界面，任选地与沉浸式虚拟环境同时出现。例如，在图11A中，三维环境1104包括沉浸水平为3的虚拟环境1112a(例如，类似于上文相对于图7E描述的虚拟环境722a)并且还包括在设备101上运行的应用程序的用户界面1114a。在设备101上运行的应用程序的示例包括媒体播放器应用程序、音乐应用程序、相册应用程序、浏览器应用程序、文字处理器应用程序等。如图11A所示，用户界面1114a位于三维环境1104的真实世界环境部分中(例如，包括真实世界环境1102的表示且尚未被虚拟环境1112a替换的三维环境1104的部分，如由用户界面1114b在俯视图1116中的位置紧挨着咖啡桌1106b且比虚拟环境1112b的边界更靠近用户1120所示出)。在一些实施方案中，当三维环境1104包括用户界面时，用户界面将光照效果投射在三维环境1104中的对象上。例如，在图11A中，用户界面1114a表现得像光照源一样，并且将反射光1122(例如，眩光)投射到三维环境1104的地板上。在一些实施方案中，用户界面1114a使得对象被照亮得比实际物理环境光量更亮和/或使得对象被用户界面1114a上的元素染上颜色(例如，用户界面1114a上的红色元素任选地使得三维环境1104中的对象染上红色或反射红光)。在一些实施方案中，用户界面1114a将阴影投射在三维环境1104的部分上。例如，如果三维环境1104中的光照源(例如，真实世界环境1102中的光源、来自诸如虚拟环境1112a的虚拟环境的光源和/或来自虚拟光照效果的虚拟光，诸如在图9B中)照射到用户界面1114a上，则用户界面1114a将阴影投射到在用户界面1114a的与光照源相对的侧面上的三维环境1104的部分上。在一些实施方案中，三维环境1104中的虚拟对象和/或真实世界对象的表示表现出与上述用户界面1114a类似的行为(例如，在三维环境1104的其他部分上投射光照效果和/或投射阴影)。
在图11A中，通过用户的手部1124选择用户界面1114a来检测用户输入。在一些实施方案中，选择用户界面1114a的用户输入包括在与用户界面1114a相关联的位置上的轻击或在与用户界面1114a的位置相对应的真实世界环境1102中的位置处的捏合手势(例如，直接操纵输入)。在一些实施方案中，用户能够通过在用户的注视指向用户界面1114a时执行诸如轻击或捏合之类的选择手势来执行间接操纵输入(例如，任选地不需要手部轻击或捏合用户界面1114a处和/或与该用户界面相关联的位置)。
在图11B中，在保持选择输入时，设备101检测手部1124在三维环境1104中向内移动用户界面1114a的移动(例如，远离进入三维环境1104中的用户1120的视点，如由用户界面1114b移动远离用户1120并且更靠近俯视图1116中的虚拟环境1112b的边界所示)。在一些实施方案中，该移动包括手部1124远离用户身体的延伸，并且作为响应，用户界面1114a根据手部1124的移动而移动(例如，在相同方向上且任选地以与手部1124的移动相同的量或手部1124的移动的缩放量)。在一些实施方案中，将用户界面1114a移动到三维环境1104中的新位置使得用户界面1114a在三维环境1104中的不同对象/部分上投射光照效果，或者以不同方式在相同对象上投射光，例如，作为改变光照源的位置的结果。例如，在图11B中，由于用户界面1114a移动，三维环境1104的地板上的反射光1122(例如，眩光)已移动。在一些实施方案中，将用户界面1114a移动到三维环境1104中的更远位置(例如，更远离用户1120)使得用户界面1114a由于更远离用户的视点(例如，由于透视效果)而显得更小。例如，当在三维环境1114a周围移动时，用户界面1114a保持相同的尺寸，但是因为它现在离用户的视点更远，所以它对于用户来说显得更小。在一些实施方案中，由设备101使用立体深度效果、阴影(例如，就像由用户界面1114a阻挡光源的至少一部分而生成的那样)和/或与虚拟环境的其他模拟交互(例如，用户界面1114a在离用户更远的虚拟环境的一部分上投射阴影或光)来指示在三维环境1104中将用户界面1114a推或拉至离用户的视点的不同距离。
在图11C中，在保持选择输入时，设备101检测手部1124将用户界面1114a在三维环境1104中向内移动(例如，远离用户1120的视点)并进入虚拟环境1112a中的移动(例如，移动到虚拟环境1112a的边界之外和/或由虚拟环境1112a包围的三维环境1104中的位置)。如上文相对于方法800所讨论，虚拟环境1112a任选地表现得像进入模拟环境中的视觉入口一样，并且将用户界面1114a移动到虚拟环境1112a中使得用户界面1114a被传送到虚拟环境1112a中并被视为好像它是存在于虚拟环境1112a中的对象而不是存在于三维环境1104的真实世界环境部分中的对象。在一些实施方案中，响应于用户界面1114a跨越三维环境1104的真实世界环境部分与虚拟环境1112a之间的边界，用户界面1114a被移动到虚拟环境1112a中。在一些实施方案中，响应于用户界面1114a被移动到离三维环境1104的真实世界环境部分与虚拟环境1112a之间的边界的阈值距离内(例如，在1英寸、6英寸、1英尺、3英尺、6英尺等内)，用户界面1114a被移动到虚拟环境1112a中。在一些实施方案中，用户界面1114a响应于用户输入而被移动到虚拟环境1112a中，该用户输入诸如为用于将用户界面1114a移动到虚拟环境1112a中的按钮或示能表示的选择。应当理解，参考图11A至图11D和/或用于将虚拟对象移动到虚拟环境1112a之中或之外的方法1200提供的描述任选地部分或等同地应用于将任何或所有类型的虚拟对象移动到虚拟环境1112a之中和之外，包括将一个或多个三维虚拟对象(例如，虚拟汽车、帐篷、建筑物等的三维模型)移动到虚拟环境1112a之中和之外以及将应用程序窗口或应用程序入口虚拟对象(如下文更详细描述的)移动到虚拟环境1112a之中和之外。
在一些实施方案中，当用户界面1114a位于虚拟环境1112a内时，用户界面1114a将一种或多种光照效果投射在虚拟环境1112a中的对象上，并且任选地不将光照效果投射在三维环境1104的真实世界环境部分中的对象上(但是，在一些实施方案中，用户界面1114a经由进入虚拟环境1112a的入口将光照效果投射在三维环境1104的真实世界环境部分中的对象上)。
在一些实施方案中，将用户界面1114a移动到虚拟环境1112a中自动地使得用户界面1114a增加到更大的尺寸，例如，如同用户界面1114a是位于虚拟环境1112a中的影院屏幕(例如，大2倍、大3倍、大10倍、大50倍等，而不需要用于改变用户界面1114a的尺寸的明确用户输入)。在一些实施方案中，用户界面1114a增加到一定尺寸，使得其对用户而言看起来好像是与用户界面1114a被移动到虚拟环境1112a中之前相同的尺寸(例如，设备101以这样的显示尺寸显示用户界面1114a)。例如，如果用户界面1114a被移动到10倍远的位置，则用户界面1114a变为10倍大。在一些实施方案中，用户界面1114a在虚拟环境1112a中移动得越远，用户界面1114a变得越大(例如，以便从用户的视角来看保持相同的相对尺寸)。在一些实施方案中，用户界面1114a在位于虚拟环境1112a中时具有预先确定的固定尺寸，而不管用户界面1114a在虚拟环境1112a内的位置如何。在一些实施方案中，当用户界面1114a被移动到虚拟环境1112a中时，用户界面1114a被吸附和/或锁定到预先确定的位置(例如，由虚拟环境1112a的设计者选择的最佳位置)中，并且任选地，用户界面1114a不能被移动到虚拟环境1112a中的另一位置(例如，任选地，除了从虚拟环境1112a中移除并且被移动回到三维环境1104的真实世界环境部分中之外)。
在图11C中，俯视图1116示出了虚拟环境1112b具有潜在无限深度(例如，超过真实世界环境1102中的房间的深度的深度)，因此将三维环境1104的深度从具有等于真实世界环境1102的深度的深度延伸到虚拟环境1112a的深度。因此，用户能够将用户界面1114a移动到真实世界环境1102的边界之外的位置。在图11C中，例如，用户将用户界面1114移动到虚拟环境1112a内的真实世界环境1102的边界之外的位置。响应于将用户界面1114移动到虚拟环境1112a中，用户界面1114增加到比图11A和图11B中的用户界面的尺寸大得多的尺寸。如图11C所示，用户界面1114a在其出现在三维环境1104中时的尺寸任选地与用户界面1114a在其出现在图11B中的三维环境1104中时的尺寸相同(例如，在用户界面1114a被移动到虚拟环境1112a中之前)。在一些实施方案中，如上所述，用户界面1114a的尺寸被设定为就好像用户界面1114a是虚拟环境1112a中的投影仪屏幕，因此向用户提供沉浸式电影观看体验。
在一些实施方案中，用户界面1114a是应用程序的用户界面，并且其本身是进入与该应用程序相关联的内容和/或由该应用程序提供的内容的入口(例如，类似于本文描述的进入模拟和/或虚拟环境中的入口)。例如，用户界面1114a任选地是应用程序的“窗口虚拟对象”或应用程序的“入口虚拟对象”。在一些实施方案中，此类虚拟对象在三维环境1104中是平坦的或包括平坦区域和/或是二维的或三维的。不管用户界面1114a是否是平坦的或包括平坦区域或是二维的或三维的，如果用户界面1114a是内容(例如，电影、视频和/或图像)回放应用程序的用户界面，则用户界面1114a任选地是入口，内容回放应用程序经由该入口回放的内容(例如，不同于虚拟环境1112a)从用户的视点可见。又如，如果用户界面1114a是视频游戏应用程序的用户界面，则用户界面1114a任选地是入口，经由该入口，视频游戏的模拟环境(例如，不同于虚拟环境1112a)从用户的视点可见。在一些实施方案中，用户界面1114a在它被定位在虚拟环境1112a之外时且在它被定位在虚拟环境1112a之内时是这样的入口。在一些实施方案中，用户界面1114a在它被定位在虚拟环境1112a之内时是这样的入口，但在它被定位在虚拟环境1112a之外时不是这样的入口(例如，用户界面1114a响应于被推入虚拟环境1112a中而变成这样的入口)。在一些实施方案中，用户界面1114a在它被定位在虚拟环境1112a之外时是这样的入口，但在它被定位在虚拟环境1112a之内时不是这样的入口(例如，用户界面1114a响应于被拉出虚拟环境1112a而变成这样的入口)。
因为用户界面1114a任选地是进入应用程序的内容的入口(例如，进入内容的“窗口”)，所以在用户界面1114a中呈现和/或可见的内容的部分任选地基于三维环境1104的用户视点和/或观看用户界面1114a的角度。例如，如果用户的视点相对于用户界面1114a向右移动和/或如果经由电子设备查看用户界面1114a的角度改变为相对于用户界面1114a的法线更向右，则电子设备任选地经由用户界面1114a显露应用程序的先前显示的内容左侧的内容中先前未显示的部分(例如，在视点改变之前)，并且任选地经由用户界面1114a隐藏(例如，不再可见)应用程序的先前显示的内容右侧的内容中先前显示的部分(例如，在视点改变之前)。类似地，如果用户的视点相对于用户界面1114a向左移动和/或如果经由电子设备查看用户界面1114a的角度改变为相对于用户界面1114a的法线更向左，则电子设备任选地经由用户界面1114a显露应用程序的先前显示的内容右侧的内容中先前未显示的部分(例如，在视点改变之前)，并且任选地经由用户界面1114a隐藏(例如，不再可见)应用程序的先前显示的内容左侧的内容中先前显示的部分(例如，在视点改变之前)。
例如，在应用程序的内容的第一部分经由用户界面1114a可见时，电子设备101任选地检测用户的视点相对于用户界面1114a的移动。响应于视点的这种移动，根据确定用户的视点的移动相对于用户界面1114a向右，电子设备101任选地在用户界面1114a中显露先前不可见并在内容中的内容的第一部分的左侧的内容的第二部分，并且停止在用户界面1114a中显示内容的第一部分的向右(例如，最右)部分。相反，响应于视点的这种移动，根据确定用户的视点的移动相对于用户界面1114a向左，电子设备101任选地在用户界面1114a中显露先前不可见并在内容中的内容的第一部分的右侧的内容的第三部分，并且停止在用户界面1114a中显示内容的第一部分的向左(例如，最左)部分。
图11D示出了以最大沉浸水平(例如，如沉浸水平指示符1110所示)显示用户界面1114a(在三维环境1104中被称为1114a，而在俯视图1116中被称为1114b)的三维环境1104。在图11D中，用户界面1114a已改变到与虚拟环境1112a类似的虚拟环境中(例如，并且任选地具有与上文相对于方法800和1000描述的虚拟环境相同或类似的行为)。在一些实施方案中，响应于请求在沉浸式模式下显示用户界面1114a的用户输入，用户界面1114a被显示为虚拟环境(例如，任选地以最大沉浸水平)。例如，在显示用户界面1114a(例如，诸如图11A至图11C中的任一附图)时，接收选择呈现应用程序(其中用户界面1114a是用户界面)的呈现模式的用户输入使得用户界面1114a改变到礼堂空间的虚拟环境中，选择媒体播放器应用程序的全屏模式的用户输入使得用户界面1114a改变到电影院环境中，等等。在一些实施方案中，当用户界面1114a被显示为虚拟环境时，设备101更新三维环境并将任何现有虚拟环境(例如，诸如图11C中的虚拟环境1112)替换为与用户界面1114a相关联的虚拟环境。在一些实施方案中，一次仅显示一个虚拟环境，并且因此将用户界面1114a显示为虚拟环境使得虚拟环境1112不再被显示。在一些实施方案中，当用户界面1114a被显示为虚拟环境时，三维环境1104的沉浸水平被自动地增加到最大值(例如，不需要用户输入显式地改变沉浸水平)，如图11D所示，任选地覆写先前活动的沉浸水平。在一些实施方案中，自动地将沉浸水平增加到最大值使得真实世界环境的一部分的表示被替换为虚拟环境的一部分(例如，如果例如沉浸水平先前不处于最大水平)。在一些实施方案中，沉浸水平增加到由系统和/或由用户设置设定的最大水平(例如，其任选地不是最大可能的沉浸水平)。在一些实施方案中，用户界面1114a保持与在显示用户界面1114时活动的沉浸水平相同的沉浸水平(例如，诸如保持沉浸水平3，其任选地是在用户界面1114a被显示为沉浸式环境之前的沉浸水平)。因此，用户能够显示与应用程序相关联的虚拟环境，而不管三维环境1104是否已经在显示虚拟环境。
在一些实施方案中，响应于取消与应用程序相关联的虚拟环境的用户输入(例如，退出全屏模式、退出呈现模式等)，用户界面1114a返回到其初始非沉浸式状态，例如，如在图11C中，并且设备101将三维环境1104恢复到其在用户界面1114a变成沉浸式虚拟环境之前所具有的状态。在一些实施方案中，恢复三维环境1104包括停止将用户界面1114a显示为沉浸式虚拟环境并且以类似于图11A中描述的方式重新显示用户界面1114a，并且以其在用户界面1114a被显示为沉浸式虚拟环境之前所具有的沉浸水平重新显示虚拟环境1112b(例如，诸如在图11C中)，并且任选地恢复三维环境的物理环境部分的显示(例如，如果物理环境在用户界面1114a被显示为沉浸式虚拟环境之前显示，诸如在图11C中)。
图12A至图12G是示出根据一些实施方案的将对象移动到虚拟环境之中或之外的方法1200的流程图。在一些实施方案中，方法1200在计算机系统(例如，图1中的计算机系统101，诸如平板电脑、智能电话、可穿戴计算机、或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法1200通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法1200中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在方法1200中，在一些实施方案中，与显示生成部件和一个或多个输入设备(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机)通信的电子设备(例如，图1中的计算机系统101)经由显示生成部件显示(1202)包括物理环境的一部分的表示的三维环境，诸如在图11A中(例如，物理环境的表示、模拟环境、计算机生成的现实、扩展现实等)。
在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或使得用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中，该一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测到用户输入等)并向电子设备传输与该用户输入相关联的信息。输入设备的示例包括触摸屏、鼠标(例如，外部的)、触控板(任选地集成的或外部的)、触摸板(任选地集成的或外部的)、遥控设备(例如，外部的)、另一个移动设备(例如，与电子设备分开)、手持设备(例如，外部的)、控制器(例如，外部的)、相机、深度传感器和/或运动传感器(例如，手部跟踪传感器、手部运动传感器)等。
在一些实施方案中，三维环境是增强现实环境或混合现实环境，其任选地包括虚拟对象并任选地包括电子设备周围的物理世界中的真实世界对象的表示。在一些实施方案中，相应环境至少基于电子设备周围的物理环境。例如，电子设备能够捕获关于用户周围的环境的视觉信息(例如，环境中的对象、环境的尺寸和形状等)并且向用户显示用户周围的物理环境的至少一部分，任选地使得看起来好像用户仍然位于物理环境中(例如，任选地具有在物理环境中的不同位置处的虚拟元素)。在一些实施方案中，经由显示生成部件向用户主动地显示三维环境(例如，由该设备的传感器捕获并显示给用户)。在一些实施方案中，经由部分透明或半透明的显示器向用户被动地呈现三维环境，用户能够透过该显示器看到物理环境的至少一部分(例如，通过不遮挡物理环境的该部分的视图)。在一些实施方案中，三维环境的一部分对应于该设备周围的物理环境。例如，环境的一部分是用户周围的物理环境的表示(例如，照片真实感环境)。在一些实施方案中，三维环境的第二部分对应于与物理环境不同的虚拟环境。在一些实施方案中，虚拟环境类似于上文相对于方法800描述的模拟环境。在一些实施方案中，电子设备处于中间沉浸水平，其中模拟环境包围少于整个三维环境并且物理环境包围三维环境的其余部分。因此，三维环境是包括模拟环境和物理环境的混合环境。在一些实施方案中，模拟环境与物理环境的表示之间的边界基于距离。例如，与包括物理环境的表示的三维环境的部分相比，包括模拟环境的三维环境的部分更远离由电子设备显示的三维环境的视点。在一些实施方案中，可增加沉浸水平，使得模拟环境包围更多的显示区域(例如，任选地朝向用户扩展模拟环境)，从而将物理环境的部分替换为更多的模拟环境。在一些实施方案中，可降低沉浸水平，使得模拟环境包围更少的显示区域(例如，任选地远离用户减少模拟环境)，从而显露先前被模拟环境遮挡的物理环境的部分。在一些实施方案中，响应于应用程序的启动或应用程序的用户界面的显示(例如，响应于用户选择应用程序和/或启用应用程序中的完全沉浸模式)来显示模拟环境。
在一些实施方案中，在显示三维环境时，电子设备经由一个或多个输入设备检测(1204)与显示相应应用程序的相应用户界面的请求相对应的第一输入，诸如用于启动图11A中的用户界面1114a的示能表示的选择(例如，检测用于启动相应应用程序或以其他方式显示相应应用程序的用户界面的所显示的示能表示或控制元件的选择)。在一些实施方案中，该选择由用户的一只或多只手执行并且经由电子设备的一个或多个手部跟踪传感器和/或相机检测。在一些实施方案中，用户输入是请求显示相应应用程序的语音命令。
在一些实施方案中，响应于检测到第一输入，电子设备经由显示生成部件在三维环境中的物理环境的该部分中显示(1206)相应应用程序的相应用户界面，诸如图11A中的用户界面1114a(例如，相应应用程序的用户界面在三维环境中被显示(例如，在三维环境中被实例化)在三维环境中基于该设备周围的物理环境的位置处)。
例如，相应应用程序的用户界面不显示在与模拟环境相关联和/或模拟环境内的位置处。在一些实施方案中，相应用户界面覆盖模拟环境的部分，因为例如用户界面被显示在比模拟环境的部分更近的z深度处。例如，因为相应用户界面被显示在包括物理环境的表示的三维环境中的位置处，该位置任选地在比包括模拟环境的位置更近的z深度处，所以相应用户界面可根据相应用户界面的尺寸和/或形状而遮挡模拟环境的部分。
在一些实施方案中，在三维环境中的物理环境的该部分中显示相应用户界面时，电子设备经由一个或多个输入设备检测(1208)第二输入，诸如用于移动图11B中的用户输入1114a的输入(例如，检测与相应用户界面的操纵相对应的用户输入)。在一些实施方案中，用户输入由用户的一只或多只手执行，并且包括对相应用户界面的选择和移动。在一些实施方案中，用户输入包括对所显示的示能表示或控制元件的选择。在一些实施方案中，用户输入包括语音命令。在一些实施方案中，用户输入包括由手部的两个或更多个手指执行的捏合手势。在一些实施方案中，用户输入包括由手部的一个或多个手指执行的指向手势。在一些实施方案中，用户输入包括在保持捏合或指向手势(例如，拖放手势)的同时的移动。在一些实施方案中，第二输入包括由用户的一只或两只手作出的其他合适手势。
在一些实施方案中，响应于检测到第二输入(1210)，根据确定第二输入对应于将相应用户界面移动到与三维环境中的物理环境的该部分一起显示的虚拟环境的一部分中的请求，电子设备在三维环境中的虚拟环境的该部分中显示(1212)相应用户界面，诸如在图11C中(例如，如果用户输入对应于将相应用户界面移动到包括模拟环境的三维环境中的位置的请求，则相应用户界面被移动到模拟环境中)。
在一些实施方案中，模拟环境的各方面适于相应用户界面的存在。例如，相应用户界面任选地将阴影投射到模拟环境的部分上，模拟环境中的水任选地显示相应用户界面的反射光和/或折射光等。因此，在一些实施方案中，相应用户界面被视为好像它是存在于模拟环境中的对象，任选地代替存在于物理环境的表示中的虚拟对象。例如，相应用户界面已移动到用户的“房间”之外并移动到虚拟模拟环境之中。在一些实施方案中，将相应用户界面移动到模拟环境中包括将相应用户界面移动到与模拟环境相关联的z深度的输入。因此，当相应用户界面移动到物理环境与模拟环境之间的边界之外时，相应用户界面被传送到物理环境之外并移动到模拟环境之中。在一些实施方案中，相应用户界面可以以与将相应用户界面从物理环境移动到模拟环境类似的方式从模拟环境移动回到物理环境。
上述将用户界面从该设备周围的物理环境的表示移动到模拟环境中(例如，响应于将用户界面移动到与模拟环境相关联的三维环境中的位置的输入)的方式保持将用户界面放置在三维环境中的各种位置处的能力，而无需模拟环境减少此类放置选项，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过使用户能够将用户界面移动到三维环境中的任何地方，包括移动到模拟环境中，而不需要用户执行附加输入以在模拟环境中重新实例化用户界面)，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，当检测到第一输入时，在三维环境中显示虚拟环境的该部分，并且响应于检测到第一输入，在三维环境中与虚拟环境的该部分同时显示相应应用程序的相应用户界面(1214)，诸如在图11C中(例如，当接收到使得显示相应用户界面的用户输入时，三维环境包括虚拟环境的至少一部分)。
例如，在三维环境包括物理环境的表示的一部分和虚拟环境的一部分时(例如，诸如上文相对于方法800和1000所描述)，接收使得显示相应应用程序的用户界面的用户输入。在一些实施方案中，响应于用户输入，相应应用程序的用户界面被显示在与物理环境的表示相对应的三维环境的区域中，而不在与虚拟环境相对应的三维环境的区域中。在一些实施方案中，相应应用程序的用户界面与虚拟环境同时显示。在一些实施方案中，相应应用程序的用户界面遮挡虚拟环境的一部分(例如，由于在虚拟环境的“前方”)。
上述显示应用程序的用户界面的方式(例如，当显示应用程序的用户界面时，如果三维环境包括虚拟环境，则与虚拟环境同时显示)保持将用户界面放置在三维环境中的各种位置处的能力，而无需模拟环境减少此类放置选项，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过使用户能够在三维环境中(包括进入模拟环境中)显示用户界面，而不需要用户执行附加输入以在显示用户界面时重新实例化模拟环境)，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，当检测到第一输入时，不在三维环境中显示虚拟环境的该部分，并且当检测到第二输入时，在三维环境中显示虚拟环境的该部分(1216)(例如，当接收到使得显示相应应用程序的相应用户界面的输入时，三维环境不包括虚拟环境)。
在一些实施方案中，在三维环境中显示相应用户界面之后且任选地同时，在三维环境中显示虚拟环境(例如，响应于使得显示虚拟环境的用户输入，诸如上文相对于方法800和1000所描述)。在一些实施方案中，如果在三维环境包括相应用户界面时，使得模拟环境被显示在相应用户界面的位置处(例如，模拟环境的一部分位于该位置处)，则相应用户界面远离该位置移动到包括物理环境的表示但不包括模拟环境的位置(例如，相应用户界面被模拟环境取代)。
上述显示模拟环境的方式(例如，在显示模拟环境时，如果在三维环境中显示应用程序的用户界面，则与应用程序的用户界面同时显示)，即使当在三维环境中显示模拟环境时，也能保持在三维环境中显示用户界面的能力，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，通过使用户能够在三维环境中显示用户界面和模拟环境，而不考虑显示用户界面或模拟环境的次序)，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在三维环境中的物理环境的该部分中显示相应应用程序的相应用户界面时，电子设备经由显示生成部件利用基于相应应用程序的相应用户界面的光照效果显示(1218)物理环境的该部分的至少相应部分，诸如图11A中的反射光1122(例如，相应应用程序是对三维环境中的其他对象产生一种或多种环境光照效果的一种类型的光照源)。
例如，相应应用程序的用户界面基于一种或多种光照或粒子物理学将光(例如，基于相应用户界面中当前显示的内容)投射到物理环境的表示中的对象和/或模拟环境中的对象上。在一些实施方案中，用户界面是定向的并且因此“向前”(例如，在用户界面面向的方向上)投射光。例如，用户界面表现得像监视器或电视一样，并且投射光(例如，诸如来自用户界面上的明亮元素)。在一些实施方案中，如果用户界面处于三维环境的物理环境部分中，则用户界面将光投射到物理环境的其他区域上(例如，在用户界面前方的部分)。在一些实施方案中，如果用户界面处于三维环境的模拟环境部分中，则用户界面将光投射到模拟环境的区域上，并且任选地还将光投射到物理环境的区域上(例如，在模拟环境前方的区域)。在一些实施方案中，当不在三维环境中显示用户界面时，不在物理环境的表示的部分上显示相应光照效果。
上述显示来自用户界面的光照效果的方式(例如，通过将光从用户界面投射到三维环境中的其他对象上)提供了更沉浸式的体验(例如，通过将用户界面视为与三维环境中的其他对象交互的光照源)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在三维环境中的虚拟环境的该部分中显示相应应用程序的相应用户界面时，电子设备经由显示生成部件利用基于相应应用程序的相应用户界面的光照效果(诸如图11C中的反射光1122)显示(1220)虚拟环境的该部分的至少相应部分(例如，如果用户界面处于三维环境的模拟环境部分中，则用户界面将光投射到模拟环境的区域上(例如，在用户界面前方的区域)，并且任选地还将光投射到物理环境的区域上(例如，在模拟环境前方的物理环境的表示的区域)，诸如基于相应用户界面当前显示的内容)。
例如，如果相应用户界面主要是红色，则相应用户界面将红光投射到三维环境中的对象上。在一些实施方案中，随着相应用户界面的内容改变(例如，诸如如果用户滚动相应用户界面，导航到不同用户界面，如果相应用户界面是正在播放媒体的媒体播放器应用程序，等等)，由相应用户界面投射的光(例如，图案、颜色、纹理、光照的量值等等)相应地改变。在一些实施方案中，当不在三维环境中显示用户界面时，不在模拟环境的部分上显示相应光照效果。投射到虚拟环境上的光照效果任选地具有参考投射到物理环境上描述的光照效果的特性中的一种或多种特性。
上述显示来自用户界面的光照效果的方式(例如，通过将光从用户界面投射到三维环境中的其他对象上)提供了更沉浸式的体验(例如，通过将用户界面视为与三维环境中的其他对象交互的光照源)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在三维环境中的物理环境的该部分中显示相应应用程序的相应用户界面时，电子设备经由显示生成部件检测(1222)具有基于物理环境的该部分的光照效果的相应应用程序的相应用户界面的至少相应部分，诸如在图11A中用户界面1114a接收由于来自物理环境1102的光照而产生的光照效果的情况(例如，由于来自物理环境的一种或多种光照效果(例如，来自用户界面外部的源的光照效果)而利用相应光照效果显示用户界面)。
例如，如果物理环境包括一个或多个光照源，诸如明亮窗户、灯泡、灯等，则光照源任选地将光投射到用户界面上。例如，用户界面任选地反射和/或折射来自一个或多个光照源的光并且显示眩光或反射光。在一些实施方案中，所显示的光照效果取决于光照源的位置和用户界面的位置(例如，根据光的物理学)。在一些实施方案中，如果不在三维环境中显示用户界面，则不显示相应光照效果。在一些实施方案中，如果在模拟环境中(例如，而不是在物理环境的表示中)显示用户界面，则来自物理环境的光照源不将光照效果投射到用户界面上。在一些实施方案中，不管用户界面是在模拟环境中还是在物理环境的表示中显示，来自物理环境的光照源都将光照效果投射到用户界面上。
上述将来自物理环境的光照效果显示到用户界面上(例如，通过将来自物理环境中的光照源的光投射到位于三维环境中的用户界面上)的方式提供了更沉浸式的体验(例如，通过将用户界面视为来自光源的光可被投射到其上的对象)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在三维环境中的虚拟环境的该部分中显示相应应用程序的相应用户界面时，电子设备经由显示生成部件利用基于虚拟环境的该部分的光照效果显示(1224)相应应用程序的相应用户界面的至少相应部分，诸如在图11A中用户界面1114a接收到由于虚拟环境1112a中的虚拟光照源而产生的光照效果的情况(例如，由于来自模拟环境的一种或多种光照效果(例如，来自用户界面外部的源的光照效果)而利用相应光照效果显示用户界面)。
例如，如果模拟环境包括一个或多个光照源，诸如明亮窗户、灯泡、灯等，则光照源任选地将光投射到用户界面上。例如，用户界面任选地反射和/或折射来自一个或多个光照源的光并且显示眩光或反射光。在一些实施方案中，所显示的光照效果取决于光照源的位置和用户界面的位置(例如，根据光的物理学)。在一些实施方案中，如果不在三维环境中显示用户界面，则不显示相应光照效果。在一些实施方案中，如果在物理环境的表示(例如，而不是模拟环境)中显示用户界面，则来自虚拟环境的光照源不将光照效果投射到用户界面上。在一些实施方案中，不管用户界面是在物理环境的表示中还是在模拟环境中显示，来自虚拟环境的光照源都将光照效果投射到用户界面上。
上述将来自模拟环境的光照效果显示到用户界面上(例如，通过将来自模拟环境中的光照源的光投射到位于三维环境中的用户界面上)的方式提供了更沉浸式的体验(例如，通过将用户界面视为来自光源的光可被投射到其上的对象)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，响应于检测到第二输入，电子设备根据相应用户界面进入虚拟环境的该部分中并远离用户的视点的移动来增加(1226)三维环境中相应应用程序的相应用户界面的尺寸，诸如用户界面1114a在图11C中在尺寸上增加，任选地基于用户界面1114a被移动多远(例如，响应于将用户界面从物理环境移动到虚拟环境(例如，并因此进一步远离进入经由显示生成部件显示的三维环境中的视点)，用户界面相对于三维环境中的对象在尺寸上增加)。
例如，如果用户界面具有2英尺×1英尺的虚拟尺寸(例如，三维环境中的用户界面的尺寸是2英尺×1英尺，由于从用户界面到用户的视点的距离，这任选地不同于用户看起来的用户界面的尺寸)，则响应于将用户界面移动到模拟环境中，用户界面的尺寸增加到100英尺×50英尺。在一些实施方案中，保持长径比。在一些实施方案中，增加用户界面的尺寸，使得从用户的视角(例如，从用户的视点)来看的用户界面的尺寸保持相同。例如，如果用户界面从距用户五英尺远(例如，在物理环境的表示中)移动到50英尺远(例如，到距用户50英尺远的模拟环境中的位置)，则用户界面任选地增加10倍以保持相对于显示生成部件的相同尺寸(例如，相同显示区域)。
上述将用户界面从与物理环境相关联的三维环境的部分移动到与模拟环境相关联的三维环境的部分的方式(例如，通过在用户界面被移动到模拟环境中时增加用户界面的尺寸)提供更一致且沉浸式的体验(例如，通过在用户界面被移动到模拟环境中时增加用户界面的尺寸，因此将用户界面移动到潜在较远的距离，使得用户界面仍然对用户可见)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，不需要用户执行附加输入以在被移动到模拟环境中时增加用户界面的尺寸)，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在检测到第二输入之前以及在检测到第二输入时，利用对应于一天中的第一时间的第一光照效果显示三维环境的至少一部分(1228)，诸如在图11A至图11B中(例如，利用一定光照量显示三维环境，就好像是在一天中的特定时间)。在一些实施方案中，一天中的时间是一天中的当前时间。在一些实施方案中，光照效果基于当前天气条件和用户位置处的一天中的当前时间(例如，多云、有雾、阴天、部分晴天、全晴天、日出、日落等)。在一些实施方案中，三维环境的光照是对用户周围的物理环境的当前光照条件的照片真实感描绘(例如，任选地，该设备不提供任何虚拟光照效果和/或修改物理环境的表示的光照)。在一些实施方案中，模拟环境的光照基于物理环境的光照(例如，匹配相同的光照条件、匹配一天中的相同时间等)。
在一些实施方案中，响应于检测到第二输入，电子设备经由显示生成部件利用与第一光照效果不同的第二光照效果显示(1230)三维环境的该部分，该第二光照效果对应于与一天中的第一时间不同的一天中的第二时间，诸如在图11C中光照被改变为昏暗影院光照的情况(例如，响应于将用户界面移动到模拟环境中，改变光照使得三维环境看起来在一天中的不同时间)。例如，改变物理环境的表示和/或模拟环境的光照以模拟夜晚(例如，晚上9点钟)。在一些实施方案中，将用户界面移动到模拟环境中使得三维环境进入影院模式，在该影院模式下，光照变暗，使得看起来好像用户在晚上观看电影。在一些实施方案中，改变光效果包括改变环境光的量值(例如，使光照源变暗)、移除或添加光源(例如，移除作为光源的太阳并且引入作为光源的月亮和/或星星)、改变光源的角度和/或原点(例如，将模拟的太阳移动到日落位置等)等。
上述改变光照效果以模拟一天中的不同时间(例如，响应于将用户界面移动到模拟环境中)的方式提供了沉浸式体验(例如，通过修改三维环境的光照以模拟适合上下文的光照)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，不需要用户执行附加输入以将光照改变为适合上下文的光照)，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在经由显示生成部件利用与一天中的第一时间相对应的第一光照效果显示三维环境的一部分时，电子设备经由一个或多个输入设备检测(1232)第三输入，该第三输入对应于利用与电子设备处的一天中的相应时间相对应的相应光照效果显示三维环境的该部分的请求(例如，接收输入，该输入对应于使三维环境中显示的光照匹配电子设备处的一天中的当前时间的请求)。例如，三维环境包括与一天中的不同时间相关联的一个或多个可选示能表示，这些可选示能表示是可选择的以使得三维环境模拟一天中的相应时间的光照。在一些实施方案中，可选示能表示之一是可选择的以使得三维环境模拟一天中的当前时间(例如，用户与电子设备交互的当前时间)的光照。
在一些实施方案中，响应于检测到第三输入(1234)，根据确定电子设备处的一天中的相应时间是一天中的第二时间，经由显示生成部件利用第二光照效果显示三维环境的该部分(1236)，诸如在图11A中三维环境1104被更新为看起来好像当前是一天中的不同时间的情况(例如，如果一天中的当前时间是一天中的第二时间，则修改三维环境的光照以具有第二光照效果，就好像三维环境处于一天中的第二时间一样)。例如，如果一天中的当前时间是早上6点(例如，日出)，则利用日出光照效果(例如，来自水平源的入射光、橙色着色等)显示三维环境。在一些实施方案中，利用第二光照效果显示三维环境任选地使得三维环境从日间光照(例如，全日光环境光照、部分日光环境光照等)切换到夜间光照(例如，无光照、低环境光照、月光氛围等)或者从夜间光照切换到日间光照。
在一些实施方案中，根据确定电子设备处的一天中的相应时间是与一天中的第二时间不同的一天中的第三时间，电子设备经由显示生成部件利用与第二光照效果不同的第三光照效果显示(1238)三维环境的该部分(例如，如果一天中的当前时间是一天中的第三时间，则修改三维环境的光照以具有第三光照效果，就好像三维环境处于一天中的第三时间一样)。例如，如果一天中的当前时间是中午12点(例如，中午)，则利用明亮的正午光(例如，来自竖直源的入射光、明亮的白色着色等)显示三维环境。
上述改变光照效果以模拟一天中的当前时间(例如，响应于请求三维环境匹配一天中的当前时间的用户输入)的方式提供了更沉浸式的体验(例如，通过修改三维环境的光照以匹配一天中的当前时间，从而创建与用户的物理环境类似的环境)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，不需要用户执行附加输入以手动地调整光照来匹配当前环境光照)，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在经由显示生成部件利用与一天中的第一时间相对应的第一光照效果显示三维环境的一部分时，电子设备经由一个或多个输入设备检测(1240)第三输入，该第三输入对应于利用与一天中的相应时间相对应的相应光照效果显示三维环境的该部分的请求(例如，接收输入，该输入对应于使三维环境中显示的光照匹配一天中的特定时间的请求)。例如，三维环境包括与一天中的不同时间相关联的一个或多个可选示能表示，这些可选示能表示是可选择的以使得三维环境模拟一天中的相应时间的光照。
在一些实施方案中，响应于检测到第三输入(1242)，根据确定第三输入指示一天中的第二时间，电子设备经由显示生成部件利用第二光照效果显示(1244)三维环境的该部分(例如，如果该输入选择一天中的第二时间的示能表示，则修改三维环境的光照以具有第二光照效果，就好像三维环境处于一天中的第二时间一样)。例如，如果用户选择早上6点示能表示，则利用日出光照效果(例如，来自水平源的入射光、橙色着色等)显示三维环境。
在一些实施方案中，根据确定第三输入指示与一天中的第二时间不同的一天中的第三时间，电子设备经由显示生成部件利用与第二光照效果不同的第三光照效果显示(1246)三维环境的该部分，诸如在图11A中三维环境1104被更新为看起来好像处于基于由用户输入选择的一天中的时间的一天中的不同时间的情况(例如，如果该输入选择一天中的第三时间的示能表示，则修改三维环境的光照以具有第三光照效果，就好像三维环境处于一天中的第三时间一样)。例如，如果用户选择中午12点(例如，中午)示能表示，则利用明亮的正午光(例如，来自竖直源的入射光、明亮的白色着色等)显示三维环境。
上述改变光照效果以模拟一天中的特定时间(例如，响应于请求在一天中的特定时间显示三维环境的用户输入)的方式提供了沉浸式模拟体验(例如，通过将三维环境的光照设定到一天中的特定时间)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，不需要用户执行附加输入以手动地调整光照来匹配一天中的特定时间)，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在三维环境中与物理环境的该部分一起显示虚拟环境的该部分时，电子设备经由显示生成部件利用基于虚拟环境的该部分的光照效果显示(1248)物理环境的该部分的至少相应部分，诸如在图11A中虚拟环境1112a将光照效果投射到三维环境1104的真实世界环境部分上的情况(例如，虚拟环境的光照任选地影响物理环境的表示的光照)。
例如，如果虚拟环境正在模拟早晨光照场景，则物理环境的表示被修改为也模拟早晨光照场景。因此，在一些实施方案中，物理环境的表示的环境光照效果任选地匹配虚拟环境的环境光照效果。在一些实施方案中，虚拟环境将一种或多种光照效果投射在物理环境的表示上。例如，虚拟环境任选地包括一个或多个光照源(例如，太阳、月亮、环境光等)并且一个或多个光照源在物理环境中的对象上产生光照效果(例如，根据光照物理学)。因此，在一些实施方案中，当三维环境包括具有物理环境的表示的一部分和具有模拟环境的一部分时，该环境被视为好像物理环境与模拟环境合并，就好像它是部分为电子设备周围的物理环境并且部分为模拟环境的真实世界环境。
上述利用基于模拟环境的光照效果显示物理环境的表示(例如，将物理环境的环境光照匹配到虚拟环境的环境光照)的方式提供了沉浸式体验(例如，通过将虚拟环境视为好像它处于与物理环境的表示相同的环境中)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，基于虚拟环境的该部分的光照效果使物理环境的至少相应部分变亮(1250)，诸如在图11A中将光照射到三维环境1104的真实世界环境部分的各部分上并使其变亮(例如，虚拟环境将一种或多种光照效果投射在物理环境的表示上)。例如，虚拟环境任选地包括一个或多个光照源(例如，太阳、月亮、环境光等)并且一个或多个光照源在物理环境中的对象上产生光照效果(例如，根据光照物理学)。因此，在一些实施方案中，当三维环境包括具有物理环境的表示的一部分和具有模拟环境的一部分时，该环境被视为好像物理环境与模拟环境合并，就好像它是部分为电子设备周围的物理环境并且部分为模拟环境的真实世界环境。在一些实施方案中，光照效果使得物理环境的表示变亮(例如，更多环境光)。
上述在物理环境的表示中显示光照效果的方式(例如，基于虚拟环境中的光源)提供了沉浸式体验(例如，通过将虚拟环境视为好像它处于与物理环境的表示相同的环境中，使得虚拟环境的元素可影响物理环境)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，基于虚拟环境的该部分的光照效果使物理环境的至少相应部分变暗(1252)，诸如如果虚拟环境1112具有较暗的环境光照，则虚拟环境1112任选地使得图11A中的三维环境1104的真实世界环境部分变暗以匹配虚拟环境1112(例如，来自虚拟环境的光照效果使得物理环境的表示的环境光照降低)。例如，虚拟环境具有比物理环境的表示更暗的环境光照，并且因此虚拟环境使得物理环境的表示变暗以与虚拟环境匹配和/或混合。在一些实施方案中，物理环境的整个表示变暗以匹配虚拟环境的环境光照。在一些实施方案中，物理环境的表示的一部分变暗以匹配虚拟环境的环境光照，而物理环境的另一部分不变暗(例如，以将物理环境与虚拟环境混合并且避免环境光照的突然改变)。
上述使物理环境的表示的环境光照变暗的方式(例如，基于虚拟环境的光照)提供了沉浸式体验(例如，通过将物理环境的表示的光照与虚拟环境的光照混合)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向(例如，通过减少物理环境的表示与虚拟环境之间的边界处的光照的突然改变)，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在三维环境中的虚拟环境的该部分中显示相应应用程序的相应用户界面时，电子设备经由一个或多个输入设备检测(1254)第三输入(例如，在虚拟环境中显示相应应用程序的用户界面时)。
在一些实施方案中，响应于检测到第三输入(1256)，根据确定第三输入对应于显示相应应用程序的相应虚拟环境的请求，诸如图11C中请求用户界面1114a的呈现模式的用户输入(例如，以全屏模式、完全沉浸模式、呈现模式、沉浸式体验模式等显示相应用户界面的请求)，电子设备经由显示生成部件显示(1258)相应应用程序的相应虚拟环境，而不显示虚拟环境的该部分，诸如在图11D中(例如，以全屏、完全沉浸、呈现或沉浸式体验模式显示相应用户界面)。
在一些实施方案中，以全屏、完全沉浸、呈现或沉浸式体验模式显示相应用户界面包括显示与相应应用程序相关联的虚拟环境(例如，而不是先前显示的虚拟环境和/或物理环境)。例如，用于呈现应用程序的相应虚拟环境是礼堂环境，其中用户位于讲台上，就像在做演讲。在一些实施方案中，显示相应虚拟环境包括将虚拟环境替换为相应虚拟环境。在一些实施方案中，显示相应虚拟环境包括将虚拟环境和物理环境的表示两者替换为相应虚拟环境(例如，将整个三维环境替换为相应虚拟环境)。在一些实施方案中，保持沉浸量(例如，如果在检测到第三输入时虚拟环境包围三维环境的一半，则相应虚拟环境替换其中显示虚拟环境的这一半)。在一些实施方案中，沉浸增加到最大沉浸水平(例如，任选地以用户选择的最大水平为上限)。
上述显示相应应用程序的虚拟环境的方式(例如，通过将先前显示的虚拟环境替换为相应应用程序的虚拟环境)提供了与相应应用程序相关联的沉浸式体验(例如，通过一次仅显示一个沉浸式虚拟环境)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，不需要用户执行附加输入以在相应应用程序切换到沉浸模式时移除虚拟环境的显示)，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，在显示相应应用程序的相应虚拟环境之前，三维环境中的虚拟环境的该部分具有一种或多种视觉特性(1260)，诸如图11C中具有某些光照效果、沉浸式效果等的虚拟环境1112a(例如，利用一天中的相应时间的相应光照效果、利用来自虚拟环境外部的三维环境的部分的一种或多种光照效果(例如，如果存在的话)显示虚拟环境)。
在一些实施方案中，在显示相应应用程序的相应虚拟环境之后，相应虚拟环境具有一种或多种视觉特性(1262)，诸如图11D中的用户界面1114a具有与图11C中的虚拟环境1112a相同或类似的光照效果、沉浸式效果等(例如，利用与其替换的虚拟环境相同或类似的视觉特性显示相应应用程序的相应虚拟环境)。
例如，如果利用日出光照效果显示虚拟环境(例如，就好像是一天中的清晨时间)，则也利用相同或类似的日出光照效果显示相应应用程序的相应虚拟环境(例如，就好像是一天中的相同清晨时间)。在一些实施方案中，如果虚拟环境包括与物理环境混合的光照效果，则相应应用程序的相应虚拟环境具有相同或类似的与物理环境的混合。因此，在一些实施方案中，相应应用程序的相应虚拟环境表现出与其所替换的虚拟环境的显示相同的行为和特性，和/或遵循与其所替换的虚拟环境的显示相同的规则。在一些实施方案中，保持沉浸量(例如，如果在检测到第三输入时虚拟环境包围三维环境的一半，则相应虚拟环境替换其中显示虚拟环境的这一半)。
上述显示相应应用程序的虚拟环境的方式(例如，通过利用与其所替换的虚拟环境相同或类似的视觉特性显示应用程序的虚拟环境)提供了连续沉浸式体验(例如，通过保持相应虚拟环境所替换的虚拟环境的视觉特性中的至少一些视觉特性)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，不需要用户执行附加输入以匹配相同的气氛和/或情境)，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向(例如，通过避免将虚拟环境替换为相应应用程序的相应虚拟环境时的突然改变)，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，当检测到第三输入时，经由显示生成部件将相应应用程序的相应用户界面连同三维环境中的物理环境的该部分一起显示在虚拟环境的该部分中(1264)，诸如图11C中的用户界面1114a(例如，三维环境同时包括物理环境的表示和虚拟环境的一部分)。在一些实施方案中，以系统和/或用户设置所确定的最大沉浸水平显示虚拟环境，诸如参考方法1000所描述。例如，如果系统或用户设置将最大沉浸水平限制在50％，则以50％沉浸水平显示虚拟环境(例如，将物理环境的表示的更远一半替换为虚拟环境)。
在一些实施方案中，响应于检测到第三输入并且根据确定第三输入对应于显示相应应用程序的相应虚拟环境的请求(例如，以全屏模式、完全沉浸模式、呈现模式、沉浸式体验模式等显示相应用户界面的请求)，经由显示生成部件显示相应应用程序的相应虚拟环境，而不显示虚拟环境的该部分(1266)，诸如图11D中用户界面1114a替换虚拟环境1112a，使得虚拟环境1112a不再显示在三维环境1104中(例如，相应虚拟环境以与其替换的虚拟环境相同的沉浸水平显示，和/或相应虚拟环境以由系统和/或用户设置定义的最大沉浸水平显示)。
在一些实施方案中，第三输入包括增加沉浸水平的用户输入。在一些实施方案中，第三输入包括除了增加沉浸水平的输入之外的用户输入，诸如对沉浸式呈现模式的选择。例如，如果虚拟环境处于最大沉浸水平，则在替换虚拟环境后，也以相同的最大沉浸水平显示相应虚拟环境。在一些实施方案中，如果虚拟环境不处于最大沉浸水平，则当相应虚拟环境替换虚拟环境时，将沉浸水平增加到最大沉浸水平。在一些实施方案中，如果虚拟环境不处于最大沉浸水平，则当相应虚拟环境替换虚拟环境时，保持相同的沉浸水平(例如，如果虚拟环境包围三维环境的后半部，则相应虚拟环境也包围三维环境的后半部)。在一些实施方案中，相应虚拟水平的沉浸水平不超过系统的最大沉浸水平(例如，即使相应应用程序支持更高的沉浸水平)。在一些实施方案中，如果第三输入是用于增加或降低沉浸水平的输入，诸如用于增加或降低沉浸的机械转盘的旋转或示能表示的选择，则第三输入不是显示相应应用程序的相应虚拟环境的请求，并且作为响应，虚拟环境增加或降低沉浸，并且相应应用程序任选地不增加或降低沉浸。例如，增加或降低沉浸的输入使得虚拟环境改变沉浸水平。
上述显示相应应用程序的虚拟环境的方式(例如，通过将虚拟环境的沉浸水平限制到系统的最大沉浸水平)提供了一致的沉浸式体验(例如，通过不提供比显示相应虚拟环境之前的沉浸量更多的沉浸)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，不需要用户执行附加输入以改变沉浸水平)，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向(例如，通过在将虚拟环境替换为相应应用程序的相应虚拟环境时避免沉浸水平的突然改变)，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
在一些实施方案中，当检测到第三输入时，经由显示生成部件以第一沉浸水平显示虚拟环境的该部分(1268)，诸如在图11C中以沉浸水平3显示虚拟环境1112a(例如，以第一沉浸水平显示虚拟环境)。在一些实施方案中，第一水平是无沉浸或中间沉浸水平等。在一些实施方案中，如上文相对于方法800和1000所描述，沉浸水平任选地决定三维环境被虚拟环境包围的量。
在一些实施方案中，响应于检测到第三输入并且根据确定第三输入对应于显示相应应用程序的相应虚拟环境的请求(例如，除了增加沉浸水平的输入之外的用户输入，诸如对全屏模式、完全沉浸模式、呈现模式、沉浸式体验模式等的选择)，经由显示生成部件以大于第一沉浸水平的第二沉浸水平显示相应应用程序的相应虚拟环境(1270)，诸如在图11D中以沉浸水平9显示用户界面1114a(例如，响应于显示相应应用程序的相应虚拟环境并且替换虚拟环境，沉浸水平从被替换的虚拟环境被显示的水平增加)。例如，如果虚拟环境的沉浸水平处于中间水平，则当显示相应虚拟环境时，沉浸水平增加到最大沉浸水平。在一些实施方案中，如果虚拟环境的沉浸水平处于最大水平，则沉浸水平保持在最大水平。
上述显示相应应用程序的虚拟环境的方式(例如，通过在显示相应应用程序的虚拟环境时增加沉浸水平)提供了沉浸式体验(例如，通过在用户从相应应用程序请求沉浸式体验时增加沉浸)，这简化了用户与电子设备之间的交互，并且增强了电子设备的可操作性，并且使用户-设备界面更高效(例如，不需要用户执行附加输入以增加沉浸水平)，并且减少了可潜在地导致眩晕或晕动病症状的潜在迷失方向，这还通过使用户能够更快速且更高效地使用电子设备同时减少使用中的错误而减少了电力使用并且延长了电子设备的电池寿命。
图13A至图13H示出了根据一些实施方案的基于与用户的视点相关联的对象的移动来选择性地改变三维环境中的模拟环境和/或大气效果的显示的示例。
图13A示出了电子设备101经由显示生成部件(例如，图1的显示生成部件120)从俯视图1318中示出的用户1320的视点(例如，面向真实世界环境1302的后墙壁)显示三维环境1304。如上参考图1-图6所描述，电子设备101任选地包括显示生成部件(例如，触摸屏)和多个图像传感器(例如，图3的图像传感器314)。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101交互时电子设备101能够用来捕获用户或用户的一部分(例如，用户的一只或多只手)的一个或多个图像的任何其他传感器。在一些实施方案中，下文所示和所述的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件，以及检测物理环境和/或用户的手部的移动的传感器(例如，从用户面向外的外部传感器)和/或检测用户的注视的传感器(例如，朝向用户的面部面向内的内部传感器)。
如图13A所示，设备101捕获设备101周围的真实世界环境1302(例如，操作环境100)(包括设备101周围的真实世界环境1302中的一个或多个对象)的一个或多个图像。在一些实施方案中，设备101在三维环境1304中显示真实世界环境的表示，并且还显示模拟环境1322a。例如，三维环境1304包括咖啡桌的表示1314a，其任选地是真实世界环境1302中的物理咖啡桌的表示，并且三维环境1304包括模拟环境1322a，其任选地具有参考方法800、1000、1200和/或1400描述的模拟环境的特性中的一种或多种特性。三维环境1304任选地具有参考图9A至图9H和/或方法1000描述的三维环境904的特性中的一种或多种特性。如三维环境1304(例如，包括真实世界环境1302和模拟环境1322b的部分)的俯视图1318中所示，真实世界环境1302包括咖啡桌1314b、角桌1308b、书桌1310b、沙发1319和对角桌1312b；然而，在图13A中，当前由设备101在三维环境1304中仅显示表示1314a(对应于咖啡桌1314b)，因为模拟环境1322a遮挡真实世界环境1302的其他物理对象和/或其他部分的显示(例如，因为与俯视图1318中的模拟环境1322b相对应的模拟环境1322a占据包括那些物理对象和/或其他部分的三维环境1304的部分，如参考方法800、1000、1200和/或1400所描述)。
在图13A中，设备101还在三维环境1304中显示模拟环境1322a，其中在模拟环境1322a与对应于真实世界环境1302的三维环境1304的部分之间具有边界1321。在一些实施方案中，边界1321是模拟环境1322a与对应于真实世界环境1302的三维环境1304的部分之间的羽状边界，使得在边界1321内，显示模拟环境1322a的(例如，淡化或模糊)部分和真实世界环境1302的(例如，淡化或模糊)部分两者。在图13A中，边界1321距用户1320的视点的特定距离比桌子1314b更远，但比桌子1308b和1312b以及书桌1310b更近。
如经由显示生成部件120和图13A中的俯视图1318所示，模拟环境1322a包括虚拟对象1334a(对应于俯视图1318中的1334b)和虚拟对象1332a(对应于俯视图1318中的1332b)。虚拟对象1332a在真实世界环境1302的边界之外(例如，在与房间的后墙壁后方的位置相对应和/或离用户的视点的距离比用户1320所处的房间的后墙壁更远的位置处)。三维环境1304还包括虚拟对象1330a(对应于俯视图1318中的1330b)，但是虚拟对象1330a包括在与真实世界环境1302相对应的三维环境1304的一部分中，而不是包括在与模拟环境1322a相对应的三维环境1304的一部分中。虚拟对象1330a、1332a和/或1334a任选地是应用程序的用户界面(例如，消息传送用户界面、内容浏览用户界面等)、三维对象(例如，虚拟时钟、虚拟球、虚拟汽车等)或由设备101显示的未被包括在真实世界环境1302中的任何其他元素中的一者或多者。
在一些实施方案中，作为显示虚拟对象和/或模拟环境的补充或替代，设备101显示一种或多种大气效果，诸如图13B中所示。例如，在图13B中，设备101正从与图13A中相同的用户1320的视点显示三维环境1304；具体地，在图13B中，设备101的真实世界环境1302任选地与图13A中示出和描述的相同。然而，在图13B中，设备101并不显示模拟环境，而是利用一种或多种大气效果显示真实世界环境1302的表示，诸如物理环境或三维环境1304中的一个或多个对象的视觉特性的人工(例如，虚拟)修改，任选地不替换或移除三维环境1304中的一个或多个对象。例如，大气效果任选地包括将三维环境1304显示为如同被夕阳照亮一样、将三维环境1304显示为如同有雾一样、将三维环境1304显示为如同光线昏暗一样等。如俯视图1318所示，显示空间效果任选地不包括显示虚拟环境来代替三维环境1304的真实世界环境部分的部分(例如，但应当理解，可以同时显示大气效果和虚拟环境两者)。图13B所示的大气效果任选地具有参考方法800、1000和/或1200描述的大气效果的特性中的一种或多种特性。
在图13B中，大气效果包括显示从窗户1315进入物理环境的虚拟光。在一些实施方案中，从窗户1315进入的虚拟光是与在真实世界环境1302中从窗户1315进入的真实世界光的量不同的光照效果(例如，虚拟光是虚拟的并且仅存在于三维环境1304中)。在一些实施方案中，虚拟光使得光照效果根据粒子物理学显示在三维环境1304中。例如，如图9B所示，虚拟光照任选地在房间的后墙壁上的相框1307上引起眩光，引起书桌1310a投射阴影，引起咖啡桌1314a投射阴影，和/或引起对角桌1312a投射阴影(例如，其中的一者或多者任选地在物理环境1302中不存在，或者在物理环境1302中以不同特性存在，诸如更少或更多亮度、更小或更大尺寸等)。在一些实施方案中，与存在于物理环境1302中的实际光量相比，虚拟光任选地增加或减少三维环境1304中的环境光。在一些实施方案中，当利用大气效果显示三维环境1304时，设备101生成与大气效果相关联的一种或多种音频效果(例如，如扬声器1325所指示)。在一些实施方案中，音频效果包括与大气效果相关联的环境声音效果。例如，大气效果可包括呱呱的蛙声、啾啾的鸟鸣声、流水声等，这些声音任选地不存在于物理环境1302中(例如，周围物理环境不包括这些声音)，而是由设备101生成，就好像用户在物理环境1302中时可听到这些声音一样。在一些实施方案中，提供音频效果增加了三维环境1304的沉浸式效果。
在一些实施方案中，与用户1320的视点相对应的对象(例如，显示生成部件、电子设备、用户的头部、面部、眼睛或身体)的移动使得设备101撤回模拟环境1322a的显示(例如，远离用户1320的视点移动模拟环境1322a与真实世界环境1302之间的边界1321)以便为了用户安全而在三维环境1304中显露更多真实世界环境1302，但与用户1320的视点相对应的对象的类似移动任选地不使得设备101减少三维环境中的大气效果的显示。在一些实施方案中，物理环境1302中的对象的位置对应于三维环境1304中的用户的视点，并且物理环境1302中的对象的移动任选地引起三维环境1304中的用户的视点的对应移动，如下文参考方法1400更详细描述。此外，在一些实施方案中，设备101是否撤回模拟环境1322a的显示和/或将模拟环境1322a的显示撤回多少取决于与视点相对应的对象的移动的一种或多种特性(例如，移动量、移动速度、移动加速度等)。
例如，在图13C至图13D中，设备101检测与用户1320的视点相对应的对象的取向变化(例如，对应于用户1320和/或设备101朝向真实世界环境1302中的房间的右上角的旋转)。在图13C中，因为与用户1320的视点相对应的对象的移动不包括朝向边界1321的充分移动，所以设备101已更新三维环境1304的显示以对应于用户1320的更新视点，但设备101尚未远离用户1320的视点移动边界1321(例如，边界1321任选地保持在与图13A中相同或基本上相同的离用户1320的视点的距离处，并且因此模拟环境1322a任选地占据与图13A中相同或基本上相同的三维环境1304的部分)。如先前所提及，设备101任选地从更新的视点显示三维环境1304，并且因此设备101不再显示对象1334b，任选地仅显示对象1330a和桌子1314a的表示的部分，并且从与图13A中不同的角度显示对象1332a。然而，如图13C所示，模拟环境1322a与和真实世界环境1302相对应的三维环境1304的部分之间的边界1321任选地保持在与图13A中相同的离用户1320的视点的距离处。
类似地，在图13D中，响应于设备101从图13B到图13D的移动(任选地，设备101从图13A到图13C的相同移动)，不减小由设备101生成的大气效果。例如，任选地不减小由设备101生成的音频效果(例如，由扬声器1325指示)和/或不减小由设备101生成的其他大气效果(例如，对角桌1312a上的阴影)。
相反，在图13E至图13F中，设备101检测与用户1320的视点相对应的对象的移动(例如，对应于设备101朝向对角桌1312a和/或真实世界环境1302中的房间的右上角的移动)。在图13E中，设备101已更新三维环境1304的显示以对应于用户1320的更新视点，并且因为与用户1320的视点相对应的对象的移动包括朝向边界1321的至少第一移动阈值(例如，阈值距离、阈值速度和/或阈值加速度等)，所以设备101也已远离用户1320的视点移动边界1321(例如，边界1321在图13E中任选地比其在图13A和/或图13C中更远离用户1320的视点，并且因此模拟环境1322a任选地比其在图13A和/或图13C中占据更少的三维环境1304，并且已在三维环境1304中显露更多的真实世界环境1302)。如先前所提及，设备101任选地从更新的视点显示三维环境1304，并且因此设备101不再显示对象1330a和桌子1314a，并且以比图13C中更大的尺寸显示对象1332a(例如，因为用户1320的视点现在更靠近对象1332a)。此外，由于与用户1320的视点相对应的对象的移动，设备101已开始撤回模拟环境1322a在三维环境1304中的显示，这任选地使得模拟环境1322a的侧向边界在三维环境1304中变得可见和/或使得边界1321拉离用户1320的视点并且在三维环境1304中显露真实世界环境1302的比图13C中更大的部分。这样，设备101确保更多的真实世界环境1302在三维环境1304中可见以增加用户安全性(例如，以避免用户1320因用户移动而与真实世界环境1302中的潜在不安全特征发生碰撞)。
在一些实施方案中，设备101撤回模拟环境1322a的显示和/或设备101远离用户的视点移动边界1321的量基于与视点相对应的对象的移动的一种或多种特性。例如，在一些实施方案中，与视点相对应的对象朝向边界1321移动得越多，设备101从视点撤回边界1321就越多。在一些实施方案中，与视点相对应的对象朝向边界1321移动得越快，设备101从视点撤回边界1321就越多。在一些实施方案中，与视点相对应的对象朝向边界1321的加速度越大，设备101从视点撤回边界1321就越多。在一些实施方案中，设备101利用以上特性中的两种或更多种特性的组合来确定将模拟环境1322a的显示撤回多少和/或将边界1321远离用户的视点移动多少。此外，模拟环境1322a的显示任选地以基于深度的方式撤回，其中与离用户的视点更远的真实世界环境1302的部分(例如，以及因此在那些更远位置处显示的模拟环境1322a的部分)相比更早地显露离用户的视点更近的真实世界环境1302的部分(例如，以及因此更早停止显示在那些位置处显示的模拟环境1322a的部分)。在一些实施方案中，从显示模拟环境到显示较少模拟环境或不显示模拟环境的这种基于深度的过渡具有参考方法800、1000和/或1200描述的模拟环境的显示的基于深度的过渡的特性中的一种或多种特性。
相反，在图13F中，响应于设备101从图13D到图13F的移动(任选地，设备101从图13C到图13E的相同移动)，不减小由设备101生成的大气效果。例如，任选地不减小由设备101生成的音频效果(例如，由扬声器1325指示)和/或不减小由设备101生成的其他大气效果(例如，对角桌1312a上的阴影)。
在一些实施方案中，响应于检测到与用户1320的视点相对应的对象的充分移动(例如，移动的充分量值、速度和/或加速度)(例如，朝向边界1321)，设备101停止模拟环境的显示。例如，在图13G中，设备101检测与用户1320的视点相对应的对象的移动(例如，对应于设备101朝向对角桌1312a和/或真实世界环境1302中的房间的右上角的移动)。在图13G中，设备101已更新三维环境1304的显示以对应于用户1320的更新视点，并且因为与用户1320的视点相对应的对象的移动包括朝向边界1321的至少第二移动阈值(例如，阈值距离、阈值速度和/或阈值加速度，如参考方法1400更详细描述)，所以设备101也已停止模拟环境1322a的显示，因此，如图13G所示，真实世界环境1302任选地占据整个三维环境1304。因为设备101不再显示模拟环境1322a，所以在图13G中，设备101在三维环境1304中显示对角桌1312a的表示(例如，因为对角桌1312a不再被模拟环境1322a遮挡)以及房间中的整个后墙壁。
在一些实施方案中，根据在停止模拟环境的显示时(和/或在边界1321横穿虚拟对象的位置时)那些虚拟对象位于何处，设备101在其停止模拟环境的显示时停止虚拟对象的显示或不同地修改虚拟对象的显示。例如，当设备101在图13G中停止模拟环境1322b的显示时，图13E中的对象1334b任选地位于模拟环境1322b内。在一些实施方案中，在这种情况下，设备101停止对象1334b的显示，如图13G中的俯视图1328所示。作为替代，在一些实施方案中，设备101在这种情况下保持虚拟对象的显示，并且将该对象移动到模拟环境之外并移动到三维环境1304的真实世界环境部分之中。例如，当设备101在图13G中停止模拟环境1322b的显示时，图13E中的对象1332b任选地位于模拟环境1322b内。如图13G所示，响应于停止模拟环境1322b的显示，设备101已将对象1332b朝向用户1320的视点(例如，与其在图13E中的位置相比)移动；此外，对象1332b先前被显示在真实世界环境1302中的房间的后墙壁之外的位置处，但是在图13G中，设备101已将对象1332b朝向用户1320的视点移动到真实世界环境1302中的房间的后墙壁内的位置。在一些实施方案中，与在更靠近用户1320的视点的地方显示对象1332b相结合，设备101在三维环境1304中缩放对象1332b(例如，减小对象1332b的尺寸)，使得在更靠近用户1320的视点的位置处显示对象1332b不会使得对象1332b比其在图13E中消耗更多的用户视场(或超过用户视场的阈值量，诸如2％、3％、5％、10％、20％、40％、50％或75％)。
在一些实施方案中，设备101不会响应于停止模拟环境的显示而改变位于与真实世界环境1302相对应的三维环境1304的一部分中的对象的位置和/或尺寸。例如，任选地位于与图13E中的真实世界环境1302相对应的三维环境1304的一部分中的对象1330b任选地在图13G中保持在与其在图13E中相同的位置和/或具有与其在图13E中相同的尺寸(例如，位于桌子1314b上方)。
与图13G相反，在图13H中，响应于设备101从图13F到图13H的移动(任选地，设备101从图13E到图13G的相同移动)，不减小由设备101生成的大气效果。例如，任选地不减小由设备101生成的音频效果(例如，由扬声器1325指示)和/或不减小由设备101生成的其他大气效果(例如，对角桌1312a上的阴影)。
图14A至图14L是示出根据一些实施方案的基于与用户的视点相关联的对象的移动来选择性地改变三维环境中的模拟环境和/或大气效果的显示的方法1400的流程图。在一些实施方案中，方法1400在计算机系统(例如，图1中的计算机系统101，诸如平板电脑、智能电话、可穿戴计算机或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120、平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法1400通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法1400中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，方法1400在与显示生成部件和一个或多个输入设备通信的电子设备(例如，设备101)(诸如移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)或计算机)处执行。在一些实施方案中，显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或使得用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中，该一个或多个输入设备包括能够接收用户输入(例如，捕获用户输入、检测到用户输入等)并向电子设备传输与该用户输入相关联的信息。输入设备的示例包括触摸屏、鼠标(例如，外部的)、触控板(任选地集成的或外部的)、触摸板(任选地集成的或外部的)、遥控设备(例如，外部的)、另一个移动设备(例如，与电子设备分开)、手持设备(例如，外部的)、控制器(例如，外部的)、相机、深度传感器和/或运动传感器(例如，手部跟踪传感器、手部运动传感器)等。
在一些实施方案中，在与电子设备的用户的视点相对应的对象(例如，用户的头部、面部、眼睛或身体)处于电子设备的物理环境中的区域内的第一位置，诸如图13A中的用户的位置(例如，用户的头部、面部、眼睛或身体和/或电子设备和/或显示生成部件处于物理环境中的当前物理位置)时，电子设备经由显示生成部件从用户的视点显示(1402a)三维环境，其中三维环境包括模拟环境以及三维环境的包括模拟环境的第一部分与三维环境的第二部分之间的边界(例如，线或区域)，诸如图13A中包括模拟环境1322a和边界1321的三维环境1304(例如，三维环境的包括电子设备的物理环境的表示的部分，诸如三维环境的不包括模拟环境的部分)。在一些实施方案中，电子设备和/或显示生成部件周围的区域(例如，具有诸如3英寸、6英寸、1英尺、2英尺或3英尺的预先确定的尺寸和/或半径的区域)被定义为电子设备和/或显示生成部件能够在其中移动而不会使得沉浸式模拟环境变得较不沉浸的区域。例如，提供两英尺的移动裕度，使得如果电子设备和/或显示生成部件是可穿戴设备(例如，头戴式显示器)，则用户能够在不干扰由电子设备提供的沉浸式体验的情况下移动位置、坐下来、倾斜等。在一些实施方案中，电子设备周围的区域基于沉浸式模拟环境的边界。例如，该区域是三维环境中未被模拟环境占据的所有区域。在一些实施方案中，该区域具有最小尺寸，使得如果模拟环境占据用户和/或电子设备周围的空间，则该区域具有预先确定的最小尺寸，即使该区域对应于三维环境中被模拟环境占据的位置。在一些实施方案中，电子设备和/或显示生成部件的物理位置对应于用户在三维环境中的视点，使得物理位置的移动(例如，旋转移动和/或平移移动)相应地改变用户在三维环境中的视点。在一些实施方案中，用户的视点是电子设备经由显示生成部件显示三维环境的位置和/或取向。
在一些实施方案中，该边界与三维环境中的电子设备的用户的视点相距第一距离(例如，平均或相对于用户而言离边界区域的近边缘或远边缘)，诸如相对于图13A中的边界1321所示(例如，电子设备经由显示生成部件显示和/或呈现三维环境)。在一些实施方案中，三维环境包括物理环境的表示，使得其对用户而言看起来好像用户物理地位于物理环境中。例如，用户经由显示生成部件看到的物理环境与用户在没有电子设备的情况下看到的物理环境相同或类似(例如，由电子设备提供的物理环境的表示是从与用户的当前位置相同的视角和/或位置对物理环境的照片真实感描绘)。在一些实施方案中，三维环境包括不一定是用户/设备周围的物理环境中的对象的表示的一个或多个虚拟元素。在一些实施方案中，三维环境包括向用户提供沉浸式体验的模拟环境(例如，任选地与物理环境的部分的表示同时)，就好像用户物理地位于模拟环境中一样(例如，或者就好像用户正在看向或看着用户能够进入的模拟环境)。在一些实施方案中，三维环境的沉浸水平确定有多少三维环境被模拟环境(例如，而不是物理环境)占据，并且因此定义模拟环境与包括物理环境的表示的三维环境的部分之间的边界(例如，诸如参考方法800、1000和/或1200描述的)。例如，在低沉浸水平下，大比例的三维环境是物理环境的视图，并且小比例的三维环境是模拟环境的视图，但是在高沉浸水平下，大比例的三维环境是模拟环境的视图，并且小比例(例如，或没有)的三维环境是物理环境的视图。在一些实施方案中，在相应沉浸水平下，用户的视点(例如，进入三维环境的“相机”)与模拟环境之间的距离(例如，到模拟环境的边界的距离)任选地基于当前沉浸水平而固定。如上所述，在一些实施方案中，三维环境是计算机生成的现实(CGR)环境，诸如虚拟现实(VR)环境、混合现实(MR)环境或增强现实(AR)环境等。
在一些实施方案中，在显示包括模拟环境和与用户的视点相距第一距离的边界的三维环境时，电子设备经由一个或多个输入设备检测(1402b)与用户的视点相对应的对象远离物理环境中的第一位置到第二位置的移动，诸如设备101和/或用户1320从它们在图13A中的位置到它们在图13C或图13E中的位置的移动。例如，检测到显示生成部件和/或电子设备已移动到物理环境中的新位置，或更一般地，检测到用户已在物理环境中移动(例如，用户的头部位置和/或取向已改变)，这种移动对应于改变电子设备正从其显示三维环境的视点的请求。例如，握持电子设备和/或穿戴电子设备的用户从就座位置起身和/或在物理环境周围走动。在一些实施方案中，检测电子设备的移动是经由电子设备的一个或多个传感器(例如，单独地或组合地)来执行的，诸如可见光传感器(例如，相机)、深度传感器(例如，飞行时间传感器)、陀螺仪、加速度计等。
在一些实施方案中，响应于检测到与用户的视点相对应的对象远离第一位置到第二位置的移动(1402c)，根据确定与用户的视点相对应的对象远离物理环境中的第一位置到第二位置的移动满足一个或多个标准，诸如图13E所示的设备101和/或用户1320的移动(例如，如果第二位置处于电子设备能够在其中四处移动的区域的边缘的阈值距离内，使得模拟环境变得较不沉浸(例如，在边缘的1英寸、3英寸、6英寸、1英尺、3英尺或6英尺内)，或处于模拟环境的边界的阈值距离内，则满足一个或多个标准)，电子设备更新(1402d)三维环境以改变被模拟环境占据的三维环境的量，使得模拟环境的边界与用户的视点相距比第一距离更远的第二距离(例如，如图13E所示)，其中更新三维环境包括将模拟环境的一部分的显示替换为电子设备的物理环境的一部分的表示的显示，诸如图13E所示，其中被模拟环境1322a占据的用户1320的视场的部分减小并且被真实世界环境1302占据的用户1320的视场的部分增大(例如，降低沉浸水平和/或减小模拟环境的尺寸以显露先前未显示和/或先前被模拟环境占据(例如，任选地临时地)的物理环境的部分)。例如，将模拟环境的边界从第一位置和/或第二位置(例如，电子设备的新位置)移开(例如，撤回)，使得第二位置周围的物理环境是可见的并且不被模拟环境(例如，具有预先确定的尺寸和/或半径诸如3英寸、6英寸、1英尺、2英尺或3英尺的区域)遮挡。在一些实施方案中，如果电子设备的移动不满足一个或多个标准，则三维环境中的模拟环境的边界不改变。在一些实施方案中，如果电子设备远离第二位置移动到第三位置(例如，返回到第一位置)并且该移动不满足一个或多个标准，则模拟环境返回到其初始尺寸，模拟环境的边界撤回到其先前位置，并且/或者曾显露的物理环境的表示不再可见(例如，任选地被模拟环境重新占据)。在一些实施方案中，如果电子设备移开到第三位置并且该移动确实满足一个或多个标准，则基于第三位置(例如，而不是第二位置)来再次移动模拟环境的边界。例如，第三位置周围的物理环境是可见的，而第二位置周围的物理环境不再是可见的。因此，当电子设备在物理环境周围移动时，电子设备周围的“切口”任选地跟随电子设备，但是“切口”的尺寸任选地基于电子设备的移动是否满足一个或多个标准而改变。在一些实施方案中，减小模拟环境的尺寸和/或显露电子设备的新位置周围的物理环境提供了安全机制，通过该安全机制，用户在他或她的物理环境周围移动时能够看到(例如，更多)他或她的物理环境。显露物理环境的部分(例如，响应于检测到电子设备已移动到任选地接近模拟环境的边界的新位置)使用户能够与他或她的环境交互和/或在他或她的环境周围安全地移动，而不需要用户执行附加输入来降低模拟环境的沉浸水平，从而使用户-设备交互更安全且更高效。
在一些实施方案中，三维环境的第一部分与三维环境的第二部分之间的边界包括模拟环境与三维环境的第二部分之间的区域(例如，具有非零面积和/或体积的面积和/或体积)(1404a)，并且在该区域内的特定位置处，同时显示模拟环境的至少相应部分和三维环境的第二部分的至少相应部分(1404b)，诸如参考边界1321所描述。因此，在一些实施方案中，模拟环境与三维环境的其余部分之间的边界是这样的区域，在该区域中，模拟环境以部分透明度显示，使得三维环境的其余部分也被显示。例如，模拟环境与三维环境的剩余部分之间的过渡是羽状过渡，其中在过渡区域的一侧，模拟环境以较低透明度显示(例如，并因此三维环境的其余部分较不可见)，并且在过渡区域的另一侧，模拟环境以较高透明度显示(例如，并因此三维环境的其余部分更可见)。显示模拟环境与三维环境的其余部分之间的过渡区域指示模拟环境相对于三维环境的其余部分的接近度和/或方向，从而使用户-设备交互更安全且更高效。
在一些实施方案中，响应于检测到与用户的视点相对应的对象从第一位置到第二位置的移动并且根据确定与用户的视点相对应的对象远离物理环境中的第一位置到第二位置的移动满足一个或多个标准，电子设备降低(1406)显示模拟环境的沉浸水平，诸如参考图13E所描述。例如，此处所述的沉浸任选地具有参考方法1000所述的沉浸的特性中的一种或多种特性。在一些实施方案中，显示模拟环境的沉浸越高，由模拟环境包围的用户的视场的部分越大，以及/或者由显示生成部件和/或电子设备的物理环境的表示消耗的视场越小。此外，在一些实施方案中，显示模拟环境的沉浸越大，电子设备消耗的由电子设备生成的音频的部分越大。因此，当响应于检测到与用户的视点相对应的对象远离第一位置的移动而降低沉浸时，任选地相应地减少上述量中的一个或多个量。响应于与用户的视点相对应的对象的移动而降低显示模拟环境的沉浸确保了在移动期间/响应于移动而增加传达给用户的关于物理环境的(例如，视觉和/或音频)信息，从而使用户-设备交互更安全且更高效。
在一些实施方案中，更新三维环境以改变被模拟环境占据的三维环境的量，使得模拟环境的边界与用户的视点相距第二距离，这与电子设备的物理环境中是否存在障碍物无关(1408)。例如，设备101撤回图13E和/或图13G中的模拟环境1322a的量任选地与在电子设备的物理环境中在用户1320前方是否存在障碍物无关。例如，电子设备基于与用户视点相对应的对象的移动来撤回模拟环境的边界，而不论在模拟环境的边界的这种撤回的路径中是否存在障碍物，诸如沙发、桌子、悬崖、地面上的洞等。因此，电子设备显示/显露这种撤回的路径中的物理环境的部分，而不论那些部分是否包括用户在物理环境中移动的任何物理障碍物。显露物理环境的部分而不论物理环境的那些部分是否包括障碍物，确保了在独立于物理环境的特征的移动期间/响应于该移动而增加传达给用户的关于物理环境的(例如，视觉)信息，从而使用户-设备交互更安全且更高效。
在一些实施方案中，在检测到与用户的视点相对应的对象从第一位置到第二位置的移动之后并且在显示包括模拟环境和与用户的视点相距第二距离的边界的三维环境时，电子设备经由一个或多个输入设备检测(1410a)与用户的视点相对应的对象远离物理环境中的第二位置的第二移动，诸如在图13E中检测到设备101和/或用户1320在图13A或图13C中往回朝向设备101和/或用户1320的位置的移动(例如，检测到显示生成部件和/或电子设备已移动到物理环境中的新位置，或者更一般地，检测到用户已在物理环境中移动(例如，用户的头部位置和/或取向已改变)，这种移动对应于改变电子设备正从其显示三维环境的视点的请求)。
在一些实施方案中，响应于检测到与用户的视点相对应的对象远离物理环境中的第二位置的第二移动(1410b)，根据确定与用户的视点相对应的对象的第二移动远离边界(例如，与视点相对应的对象往回朝向第一位置的移动)，电子设备更新(1410c)三维环境以改变被模拟环境占据的三维环境的量，包括将物理环境的该部分的表示替换为模拟环境的该部分，诸如设备101朝向如图13A中显示模拟环境1322a的方式至少部分地取消图13E中的模拟环境1322a的撤回。例如，至少部分地(例如，基于对象往回朝向第一位置的移动量)恢复响应于对象远离第一位置的移动而显露的物理环境的该部分的显露。在一些实施方案中，响应于对象远离第一位置的移动而显露的物理环境的该部分被替换为响应于对象远离第一位置的移动而停止显示的模拟环境的该部分。在一些实施方案中，由模拟环境消耗的用户的三维环境和/或视场的量(和/或比例)增加。在一些实施方案中，与视点相对应的对象远离边界的移动越大，被模拟环境再次替换的先前显露的物理环境越多，并且与视点相对应的对象远离边界的移动越小，被模拟环境再次替换的先前显露的物理环境越少。响应于远离边界的移动而至少部分地恢复物理环境的显露使用户能够返回到模拟环境的先前显示而无需为此单独输入，从而使用户-设备交互更高效。
在一些实施方案中，更新三维环境以改变被模拟环境占据的三维环境的量包括(1412a)(例如，响应于与用户的视点相对应的对象远离第一位置移动)，根据确定第二位置与边界相距第一相应距离，将模拟环境的第一量的显示替换(1412b)为电子设备的物理环境的第一量的显示，诸如图13E中替换的模拟环境1322a的量，以及根据确定第二位置与边界相距不同于第一相应距离的第二相应距离，将模拟环境的不同于第一量的第二量的显示替换(1412c)为电子设备的物理环境的第二量的显示，诸如图13G中替换的模拟环境的量1322a。在一些实施方案中，响应于与用户的视点相对应的对象的移动而显露的物理环境的量基于用户的视点与边界的距离。例如，如果用户的视点离边界相对较远，则与视点相对应的对象朝向边界的给定量的移动任选地使得相对较少量的物理环境被显露(例如，并且对应的相对较少量的模拟环境停止显示)，并且如果用户的视点相对靠近边界，则与视点相对应的对象朝向边界的给定量的移动任选地使得相对较大量的物理环境被显露(例如，并且对应的相对较大量的模拟环境停止显示)。根据视点与边界的距离来显露更多或更少的物理环境确保了所显露的物理环境的量不大于所需量，因此减少了对用于校正此类显露的用户输入的需要，从而使用户-设备交互更高效。
在一些实施方案中，更新三维环境以改变被模拟环境占据的三维环境的量包括(1414a)(例如，响应于与用户的视点相对应的对象远离第一位置移动)，根据确定与用户的视点相对应的对象的移动的速度是第一速度，将模拟环境的第一量的显示替换(1414b)为电子设备的物理环境的第一量的显示，诸如图13E中替换的模拟环境1322a的量，以及根据确定与用户的视点相对应的对象的移动的速度是不同于第一速度的第二速度，将模拟环境的不同于第一量的第二量的显示替换(1414c)为电子设备的物理环境的第二量的显示，诸如图13G中替换的模拟环境1322a的量。在一些实施方案中，响应于与用户的视点相对应的对象的移动而显露的物理环境的量基于与用户的视点相对应的对象的移动(例如，朝向边界)的速度。例如，如果与用户的视点相对应的对象相对缓慢地移动，则与视点相对应的对象朝向边界的给定量的移动任选地使得相对较少量的物理环境被显露(例如，并且对应的相对较少量的模拟环境停止显示)，并且如果与用户的视点相对应的对象相对快速地移动，则与视点相对应的对象朝向边界的给定量的移动任选地使得相对较大量的物理环境被显露(例如，并且对应的相对较大量的模拟环境停止显示)。根据与用户的视点相对应的对象的移动速度来显露更多或更少的物理环境确保了所显露的物理环境的量足够大以传达关于与用户的视点相对应的对象正在移动的速度的物理环境的信息，从而使用户-设备交互更安全。
在一些实施方案中，更新三维环境以改变被模拟环境占据的三维环境的量包括(1416a)(例如，响应于与用户的视点相对应的对象远离第一位置移动)，根据确定与用户的视点相对应的对象的移动的加速度是第一加速度，将模拟环境的第一量的显示替换(1416b)为电子设备的物理环境的第一量的显示，诸如图13E中替换的模拟环境1322a的量，以及根据确定与用户的视点相对应的对象的移动的加速度是不同于第一加速度的第二加速度，将模拟环境的不同于第一量的第二量的显示替换(1416c)为电子设备的物理环境的第二量的显示，诸如图13G中替换的模拟环境1322a的量。在一些实施方案中，响应于与用户的视点相对应的对象的移动而显露的物理环境的量基于与用户的视点相对应的对象的移动(例如，朝向边界)的加速度。例如，如果与用户的视点相对应的对象以相对较低的加速度移动，则与视点相对应的对象朝向边界的给定量的移动任选地使得相对较少量的物理环境被显露(例如，并且对应的相对较少量的模拟环境停止显示)，并且如果与用户的视点相对应的对象以相对较高的加速度移动，则与视点相对应的对象朝向边界的给定量的移动任选地使得相对较大量的物理环境被显露(例如，并且对应的相对较大量的模拟环境停止显示)。根据与用户的视点相对应的对象的移动加速度来显露更多或更少的物理环境确保了所显露的物理环境的量足够大以传达关于与用户的视点相对应的对象正在移动的加速度的物理环境的信息，从而使用户-设备交互更安全。
在一些实施方案中，在检测到与用户的视点相对应的对象从第一位置到第二位置的移动之后并且在显示包括模拟环境和与用户的视点相距第二距离的边界的三维环境时，电子设备经由一个或多个输入设备检测(1418a)与用户的视点相对应的对象远离物理环境中的第二位置的第二移动，诸如设备101和/或用户1320从图13E到图13G的移动(例如，检测到显示生成部件和/或电子设备已移动到物理环境中的新位置，或者更一般地，检测到用户已在物理环境中移动(例如，用户的头部位置和/或取向已改变)，这种移动对应于改变电子设备正从其显示三维环境的视点的请求)。在一些实施方案中，响应于检测到与用户的视点相对应的对象远离物理环境中的第二位置的第二移动(1418b)，根据确定与用户的视点相对应的对象的第二移动朝向边界，诸如设备101和/或用户1320从图13E到图13G的移动(例如，接收到对象朝向模拟环境与三维环境的其余部分之间的边界的进一步移动)，电子设备更新(1418c)三维环境以停止在三维环境内显示模拟环境，诸如图13G所示。例如，如果在电子设备部分地撤回模拟环境的显示之后，用户提供进一步朝边界移动的输入，则电子设备完全停止模拟环境的显示并且相应地显示先前被模拟环境替换的物理环境和/或三维环境的部分(例如，完全显露物理环境和/或三维环境)。在一些实施方案中，与用户的视点相对应的对象朝向边界的进一步移动需要大于阈值量(例如，当最初检测到第二移动时，大于用户的视点之间的距离的5％、10％、20％、30％、40％、50％、75％、80％或90％)，电子设备才能完全停止模拟环境的显示；否则，随着与视点相对应的对象朝向边界移动，电子设备任选地逐渐显示越来越少的模拟环境，并且逐渐将边界移动得越来越远离用户的视点，而不完全停止模拟环境的显示。响应于与用户的视点相对应的对象的移动而停止模拟环境的显示确保了向用户显露整个物理环境而无需为此单独输入，从而使用户-设备交互更安全。
在一些实施方案中，在显示包括模拟环境和与用户的视点相距第一距离的边界的三维环境时，电子设备经由一个或多个输入设备检测(1420a)与用户的视点相对应的对象的取向变化，而不检测与用户的视点相对应的对象远离物理环境中的第一位置的移动，诸如图13C中的设备101和/或用户1320的取向变化。例如，用户旋转他或她的头部而不从他们的就座位置站起来和/或朝向模拟环境的边界走动。在一些实施方案中，响应于检测到与用户的视点相对应的对象的取向的变化，电子设备根据与用户的视点相对应的对象的取向的变化来更新(1420b)三维环境的显示(例如，从视点的更新取向显示三维环境)，同时将边界保持在离用户的视点的第一距离处，并且不将模拟环境的该部分的显示替换为电子设备的物理环境的该部分的表示的显示，诸如图13C所示。如果与用户的视点相对应的对象的变化仅仅是与用户的视点相对应的对象的取向变化，则电子设备任选地不从用户的视点撤回或拉回模拟环境，并且因此不显露被模拟环境遮挡的物理环境的部分。如果用户仅仅改变与视点相对应的对象的取向，则不显露物理环境的部分，使用户能够与三维环境交互和/或探索三维环境而不减少模拟环境的显示，从而使用户-设备交互更高效。
在一些实施方案中，一个或多个标准包括在第二位置在与边界相对应的位置的阈值距离(例如，0.3、0.5、1、2、3、5、10、20或40英尺)内时满足且在第二位置距与边界相对应的位置远于阈值距离时不满足的标准(1422)。在一些实施方案中，电子设备不撤回或拉回模拟环境，并且因此不显露被模拟环境遮挡的物理环境的对应部分，除非与用户的视点相对应的对象处于模拟环境与三维环境的其余部分之间的边界的阈值距离内。除非与视点相对应的对象移动得足够靠近模拟环境的边界，否则不显露物理环境的部分，使用户能够与三维环境交互和/或探索三维环境而不减少模拟环境的显示，从而使用户-设备交互更高效。
在一些实施方案中，更新三维环境以改变被模拟环境占据的三维环境的量包括基于电子设备的物理环境中的一个或多个物理特征离与用户的视点相对应的对象的距离来改变(1424)三维的哪些部分被模拟环境占据，诸如参考图13E描述的模拟环境1322a的基于深度的撤回。例如，电子设备任选地以基于深度的方式从用户的视点撤回或拉回模拟环境，其中与离用户的视点更远的模拟环境的部分(例如，以相应地显露离用户更远的物理环境的部分)相比，更早地停止显示离用户的视点更近的模拟环境的部分(例如，以相应地更早显露离用户更近的物理环境的部分)。这种基于深度的过渡的特性中的一种或多种特性与参考方法800和/或1000描述的基于深度的过渡的特性相同。基于深度来显露物理环境的各部分确保了最靠近用户的物理区域最先被显露，从而使用户-设备交互更安全。
在一些实施方案中，在显示三维环境(包括利用大气效果(例如，大气效果，诸如光照和/或粒子效果，诸如参考方法1000描述的大气效果)显示物理环境的第三部分的表示，诸如在图13B中)时，电子设备经由一个或多个输入设备检测(1426a)与用户的视点相对应的对象远离物理环境中的第一位置到第二位置的第二移动，诸如设备101和/或用户1320从它们在图13B中的位置到它们在图13F中的位置的移动(例如，与用户的视点相对应的对象的移动具有与用户的视点相对应的对象的第一移动的特性中的一种或多种特性)。在一些实施方案中，响应于检测到与用户的视点相对应的对象远离第一位置到第二位置的第二移动，电子设备根据与用户的视点相对应的对象的第二移动来更新(1426b)三维环境的显示(例如，将三维环境的显示更新为来自用户的视点的更新位置)，而不改变显示物理环境的第三部分的表示时的大气效果，诸如图13F所示。在一些实施方案中，将使得如本文所述的电子设备撤回或拉回模拟环境的、与用户的视点相对应的对象的移动，任选地不会使得电子设备减少应用于三维环境的大气效果的量或程度。因此，在一些实施方案中，大气效果不基于视点移动而改变，而是需要改变不同类型的输入(例如，手势输入、对电子设备上的物理输入元件的选择等)。因为大气效果(例如，通常)不遮挡物理环境在三维环境中的显示，而是改变在三维环境中显示物理环境时的特性(例如，光照)，所以出于安全原因，电子设备不需要改变大气效果的显示。不基于视点移动来改变大气效果减少了三维环境的显示的变化的量值或消除了三维环境的显示的变化，并且因此减少了三维环境的显示的潜在迷失方向的变化，从而使用户-设备交互更安全且更高效。
在一些实施方案中，在检测到与用户的视点相对应的对象从第一位置到第二位置的移动之前，三维环境包括位于模拟环境中的应用程序的用户界面(例如，或任何虚拟对象)(1428a)，诸如用户界面对象1334a/b(例如，应用程序的用户界面在与模拟环境相对应的三维环境的一部分内，而不在与物理环境相对应的三维环境的一部分内。在一些实施方案中，应用程序的用户界面的位置超出电子设备和/或显示生成部件的物理环境的边界(例如，在用户所处的房间的墙壁之外))。在一些实施方案中，响应于检测到与用户的视点相对应的对象远离第一位置到第二位置的移动，根据确定与用户的视点相对应的对象远离物理环境中的第一位置到第二位置的移动满足一个或多个第二标准(1428b)，诸如在图13G中设备101和/或用户1320的移动(例如，与视点相对应的对象的移动足够大、足够快等以使得电子设备完全停止在三维环境中显示模拟环境，诸如先前所描述，以及/或者与视点相对应的对象的移动足够大、足够快等以使得电子设备停止显示包括应用程序的用户界面的模拟环境部分)，电子设备更新(1428c)三维环境以不再包括模拟环境，诸如图13G所示。在一些实施方案中，电子设备停止(1428d)应用程序的用户界面在三维环境中的显示，诸如用户界面对象1334a/b不再被包括在图13G中的三维环境1304中。在一些实施方案中，如果完全停止显示模拟环境，或者如果包括应用程序的用户界面的模拟环境部分停止显示，则电子设备也停止在三维环境中显示应用程序的用户界面。在模拟环境停止显示时停止显示在模拟环境中的对象将该对象与在模拟环境中显示的其他项目一致地对待，从而使用户-设备交互更一致。
在一些实施方案中，在检测到与用户的视点相对应的对象从第一位置到第二位置的移动之前，三维环境包括位于三维环境中的模拟环境之外的应用程序的用户界面(例如，或任何虚拟对象)(1430a)，诸如图13A中的用户界面对象1330a/b(例如，应用程序的用户界面在模拟环境之外的三维环境的一部分内(例如，诸如在与物理环境相对应的三维环境的一部分内)，并且不在与模拟环境相对应的三维环境的一部分内。在一些实施方案中，应用程序的用户界面的位置在电子设备和/或显示生成部件的物理环境的边界内(例如，在用户所处的房间的墙壁内)，并且不能位于此类边界之外)。在一些实施方案中，响应于检测到与用户的视点相对应的对象远离第一位置到第二位置的移动，根据确定与用户的视点相对应的对象远离物理环境中的第一位置到第二位置的移动满足一个或多个第二标准(1430b)，诸如在图13G中设备101和/或用户1320的移动(例如，与视点相对应的对象的移动足够大、足够快等以使得电子设备完全停止在三维环境中显示模拟环境，诸如先前所描述)，电子设备更新(1430c)三维环境以不再包括模拟环境，诸如图13G所示。在一些实施方案中，电子设备保持(1430d)应用程序的用户界面在三维环境中的显示，诸如图13G中的用户界面对象1330b。在一些实施方案中，如果完全停止显示模拟环境，则电子设备保持在三维环境中显示在模拟环境之外显示的虚拟对象。在模拟环境停止显示时保持在模拟环境之外的对象的显示将该对象与在模拟环境之外的三维环境中显示的其他项目(例如，诸如物理环境的部分)一致地对待，从而使用户-设备交互更一致。
在一些实施方案中，在检测到与用户的视点相对应的对象从第一位置到第二位置的移动之前，三维环境包括位于模拟环境中的应用程序的用户界面(例如，或任何虚拟对象)(1432a)，诸如图13A中的用户界面对象1332a/b(例如，应用程序的用户界面在与模拟环境相对应的三维环境的一部分内，而不在与物理环境相对应的三维环境的一部分内。在一些实施方案中，应用程序的用户界面的位置超出电子设备和/或显示生成部件的物理环境的边界(例如，在用户所处的房间的墙壁之外))。在一些实施方案中，响应于检测到与用户的视点相对应的对象远离第一位置到第二位置的移动，根据确定与用户的视点相对应的对象远离物理环境中的第一位置到第二位置的移动满足一个或多个第二标准(1432b)，诸如在图13G中设备101和/或用户1320的移动(例如，与视点相对应的对象的移动足够大、足够快等以使得电子设备完全停止在三维环境中显示模拟环境，诸如先前所描述，以及/或者与视点相对应的对象的移动足够大、足够快等以使得电子设备停止显示包括应用程序的用户界面的模拟环境部分)，电子设备更新(1432c)三维环境的第一部分以不再包括模拟环境，诸如图13G中。在一些实施方案中，电子设备在三维环境的第二部分中显示(1432d)应用程序的用户界面，诸如相对于图13G中的对象1332a/b所示。在一些实施方案中，如果完全停止显示模拟环境，或者如果包括应用程序的用户界面的模拟环境部分停止显示，则电子设备将用户界面移出到在模拟环境停止显示之后剩余的三维环境的一部分。在一些实施方案中，用户界面的这种移动包括将用户界面移动得比先前更靠近用户的视点。在一些实施方案中，用户界面保持与之前相同的离用户的视点的距离(例如，如果用户界面显示在被物理环境的一部分的显示替换的模拟环境的一部分中，则用户界面显示在物理环境的该部分中)。在模拟环境停止显示时继续显示在模拟环境中显示的对象允许与该对象的继续交互，从而使用户-设备交互更一致且更高效。
在一些实施方案中，在应用程序的用户界面位于三维环境的第一部分中时，应用程序的用户界面在三维环境中具有第一尺寸(1434a)，并且在应用程序的用户界面位于三维环境的第二部分中时，应用程序的用户界面在三维环境的第一部分中具有小于第一尺寸的第二尺寸(1434b)，诸如与图13G相比相对于图13E中的对象1332a/b所示。在一些实施方案中，当电子设备将用户界面从模拟环境之外移动到三维环境的第二部分时，电子设备还减小用户界面(或对象)的尺寸。在一些实施方案中，用户界面的这种移动使得用户界面更靠近用户的视点，这可使得用户界面消耗用户的视场的更大部分。因此，电子设备任选地减小用户界面的尺寸，使得由用户界面消耗的用户视场的部分不那么大，增加小于阈值量(例如，增加小于1％、5％、10％、20％、30％、40％或50％)，保持相同或减小。在模拟环境停止显示时减小在模拟环境中显示的对象的尺寸确保了对象的设备控制的移动不会导致对于用户而言三维环境的显示的颠覆性变化，从而使用户-设备交互更一致且更高效。
图15A至图15G示出了根据一些实施方案的响应于用户将虚拟对象移动到模拟环境和/或移动到模拟环境中而向用户提供反馈的示例。
图15A示出了电子设备101经由显示生成部件(例如，图1的显示生成部件120)从俯视图中示出的用户1520的视点(例如，面向计算机系统101的物理环境的后墙壁)显示三维环境1502。如上参考图1-图6所描述，电子设备101任选地包括显示生成部件(例如，触摸屏)和多个图像传感器(例如，图3的图像传感器314)。图像传感器任选地包括以下中的一者或多者：可见光相机；红外相机；深度传感器；或当用户与电子设备101交互时电子设备101能够用来捕获用户或用户的一部分(例如，用户的一只或多只手)的一个或多个图像的任何其他传感器。在一些实施方案中，下文所示和所述的用户界面还可在头戴式显示器上实现，该头戴式显示器包括向用户显示用户界面的显示生成部件，以及检测物理环境和/或用户的手部的移动的传感器(例如，从用户面向外的外部传感器)和/或检测用户的注视的传感器(例如，朝向用户的面部面向内的内部传感器)。
如图15A所示，设备101捕获设备101周围的物理环境(例如，操作环境100)(包括物理环境中的一个或多个对象)的一个或多个图像。在一些实施方案中，设备101在三维环境1502中显示物理环境的表示，以及/或者物理环境的表示通过显示生成部件120可见，并且设备101任选地还显示模拟环境1512。例如，三维环境1502包括咖啡桌1508的表示，其任选地是物理环境中的物理咖啡桌的表示；三维环境1502还包括模拟环境1512，其任选地具有参考方法800、1000、1200、1400和/或1600描述的模拟环境的特性中的一种或多种特性。三维环境1502任选地具有参考图9A至图9H和/或方法1000描述的三维环境904的特性中的一种或多种特性。如三维环境1502(例如，包括物理环境和模拟环境1512的部分)的俯视图所示，物理环境包括咖啡桌1508和沙发1518。在一些实施方案中，模拟环境1512占据三维环境1502的一个或多个部分，如参考方法800、1000、1200、1400和/或1600所描述。
如上所提及，在图15A中，设备101正在三维环境1502中显示模拟环境1512，其中在模拟环境1512与对应于物理环境的三维环境1502的部分之间具有边界。在一些实施方案中，边界是模拟环境1512与对应于物理环境的三维环境1502的部分之间的羽状边界，使得在边界内，显示模拟环境1512的(例如，淡化或模糊)部分和物理环境的(例如，淡化或模糊)部分。在图15A中，以适度的沉浸水平(例如，如沉浸指示符1510所指示)显示模拟环境1512，该沉浸水平任选地对应于由模拟环境1512消耗的从用户1520的视点来看的视场的量和/或模拟环境1512的边界到用户1520的视点的接近度。参考方法800、1000和/或1600提供了关于显示模拟环境时的沉浸的附加或另选细节。
如经由显示生成部件120以及在图15A的俯视图中所示，三维环境1502包括虚拟对象1514。虚拟对象1514被包括在与物理环境相对应的三维环境1502的一部分中，而不是被包括在与模拟环境1512相对应的三维环境1502的一部分中。虚拟对象1514任选地是应用程序的用户界面(例如，消息传送用户界面和/或内容浏览用户界面)、三维对象(例如，虚拟时钟、虚拟球和/或虚拟汽车)或由设备101显示的未被包括在物理环境中的任何其他元素中的一者或多者。
在一些实施方案中，虚拟对象1514向模拟环境1512的移动使得虚拟对象1514被放置到模拟环境1512中，如下文将描述。此外，在一些实施方案中，作为来自用户的输入的结果，设备101改变模拟环境1512的视觉外观以指示虚拟对象1514已经和/或将被放置到模拟环境1512中。然而，如果虚拟对象1514改为在模拟环境1512之外的三维环境1502的部分内移动，则设备101任选地不改变模拟环境1512的视觉外观。
例如，从图15A至图15B，设备101检测来自手部1524的指向虚拟对象1514的移动输入。在一些实施方案中，来自手部1524的输入包括在用户的注意力指向虚拟对象1514时手部1524执行空中捏合手势，以及在保持捏合手形的同时手部1524的移动。参考方法1600描述附加或另选的移动输入。
在图15B中，手部1524已将虚拟对象1514向左移动到三维环境1502内的新位置。设备101已相应地更新虚拟对象1514在三维环境1502内的显示位置，但尚未改变模拟环境1512的视觉外观。此外，模拟环境1512继续以与图15A中所显示的相同的沉浸水平显示。
相反，在图15C中，手部1524已朝向模拟环境1512的左侧移动虚拟对象1514，并且移动到模拟环境1512的阈值距离(例如，0.1、0.3、0.5、1、3、5、10、20、50、100、500或1000cm)内和/或移动到模拟环境1512内的位置。在图15C中，来自手部1524的移动输入还没有结束(例如，手部1524保持捏合手形，并且还没有张开(unpinched)或去捏合(depinched)以释放捏合手形)。响应于来自图15C中的手部1524的移动输入，设备101已相应地更新虚拟对象1514在三维环境1502内的显示位置，包括更新虚拟对象1514的取向以保持指向用户1520的视点。另外，设备101已改变模拟环境1512的视觉外观。例如，设备101已增加模拟环境1512的半透明度(例如，使得先前通过模拟环境1512不可见的物理环境的部分现在通过模拟环境1512至少部分可见)。此外，设备101已基于手部1524将虚拟对象1514移动到的位置来将模拟环境1512居中(例如，将模拟环境1512移动)到该位置。在一些实施方案中，当虚拟对象1514被带到模拟环境1512的阈值距离内时，设备101将模拟环境1512居中于虚拟对象1514的位置上；在一些实施方案中，当虚拟对象1514被带到模拟环境1512的阈值距离内时，设备101将模拟环境1512居中于用户1520的视点上。此外，设备101已响应于虚拟对象1514被带到模拟环境1512的阈值距离内和/或被带到模拟环境1512内的位置而增加了模拟环境1512正被显示的沉浸水平，如图15C中的沉浸指示符1510所指示。例如，如图15C所示，模拟环境1512与三维环境1502的其余部分之间的边界已移动得更靠近用户1520的视点和/或已更多地环绕用户1520的视点。参考方法800、1000、1200和/或1400提供了关于增加显示模拟环境时的沉浸水平的附加或另选细节。
图15D示出了手部1524将虚拟对象1514从图15B移动到模拟环境1512的右侧，而非如图15C所示的那样移动到模拟环境1512的左侧时，设备101的另选响应。例如，图15D中的设备101已将模拟环境1512居中(例如，移动)到与图15C中不同的位置--具体地，设备101已将模拟环境1512居中于图15D所示的虚拟对象1514的位置上。设备101改变图15D中的模拟环境1512的视觉外观的方式的其他细节任选地如参考图15C所描述的那样。
返回到图15C，在一些实施方案中，响应于在虚拟对象1514处于模拟环境1512内和/或处于模拟环境1512的阈值距离内时检测到来自手部1524的移动输入的结束(例如，响应于检测到手部1524去捏合或张开以释放捏合手形)，设备101任选地将虚拟对象1514移动到模拟环境1512内的预先确定的位置1516，如下文将描述的。如图15C和图15D所示，根据模拟环境1512在三维环境1502内的位置，预先确定的位置1516任选地在三维环境1502内的不同位置处，但预先确定的位置1516任选地保持在模拟环境1512内的相同相对位置处。此外，在一些实施方案中，模拟环境1512内的预先确定的位置1516的位置任选地由模拟环境1512定义，使得不同的模拟环境任选地在它们内包括不同放置的预先确定的位置和/或不同数量的预先确定的位置。
从图15C到图15E，设备101检测来自手部1524的移动输入的结束。作为响应，如图15E所示，设备101自动地将虚拟对象1514移动(例如，吸附)到模拟环境1512内的预先确定的位置1516(例如，无需来自手部1524的移动输入将虚拟对象1514移动到预先确定的位置1516)。设备101还已至少部分地恢复其在图15C和图15D中做出的对模拟环境1512的视觉外观的改变中的至少一种改变；例如，设备101已至少部分地恢复图15E中的模拟环境1512的半透明度的增加(例如，设备101已降低了模拟环境1512的半透明度)。此外，设备101已自动地改变三维环境1502内的虚拟对象1514的尺寸。具体地，在图15E中，设备101已增加虚拟对象1514的尺寸(例如，如俯视图所示)，但其他结果是可能的。在虚拟对象1514被吸附到预先确定的位置1516(其任选地比虚拟对象1514在图15C中被显示的距离更远离用户1520的视点)时自动增加虚拟对象1514的尺寸有助于确保虚拟对象1514在其离用户1520的视点的新距离处保持适当尺寸以对用户适当可见。在一些实施方案中，虚拟对象1514在模拟环境1512中增加或减小到的尺寸任选地由模拟环境1512定义和/或基于预先确定的位置1516与用户1520的视点的距离，使得不同的模拟环境任选地产生虚拟对象1514的不同缩放结果。
在一些实施方案中，从模拟环境1512移除虚拟对象1514需要满足一定标准(例如，量值标准、方向标准、速度标准和/或加速度标准，如参考方法1600更详细地描述)的来自手部1524的移动输入的移动特性；否则，响应于检测到来自手部1524的移动输入的结束，虚拟对象1514任选地远离预先确定的位置1516移动，但是自动地往回移动到预先确定的位置1516(例如，橡皮筋式回弹(rubber-banded back)到预先确定的位置，诸如参考方法1600更详细地描述)，而不是移动到模拟环境1512之外。例如，从图15E到图15F，手部1524已提供指向虚拟对象1514的移动输入，该移动输入远离预先确定的位置1516并朝向模拟环境1512之外的三维环境1502的一部分(例如，朝向用户1520的视点)。来自手部1524的移动输入任选地不满足用于将虚拟对象1514拉出模拟环境1512的上述标准。响应于检测到来自手部1524的移动输入，设备101已将虚拟对象1514远离预先确定的位置1516并朝向用户1520的视点移动，如图15F所示。在图15F中，虚拟对象1514保持在模拟环境1512内。响应于远离预先确定的位置1516移动虚拟对象1514，设备101还至少部分地逆转了响应于虚拟对象1514被显示在预先确定的位置1516处而发生的虚拟对象1514的缩放(例如，设备101已自动地将三维环境1502中的虚拟对象1514的尺寸减小到其在图15A至图15C中所具有的尺寸)。根据图15F，因为来自手部1524的移动输入不足以满足用于将虚拟对象1514拉出模拟环境1512的上述标准，所以设备101任选地将虚拟对象1514橡皮筋式回弹(例如，如参考方法1600更详细描述)到预先确定的位置1516，并且如图15E所示在预先确定的位置1516处显示虚拟对象1514，包括再次增加虚拟对象1514的尺寸。
相反，如果来自手部1524的移动输入足以满足用于将虚拟对象1514拉出模拟环境1512的上述标准，则设备101将虚拟对象1514移动到模拟环境1512之外，如图15G所示。在图15G中，根据由手部1524提供的移动输入，在与物理环境相对应的三维环境1502的一部分内显示虚拟对象1514。此外，以其在图15A至图15C中的三维环境1502中具有的相同尺寸来显示虚拟对象。
图16A至图16H是示出根据一些实施方案的响应于用户将虚拟对象移动到模拟环境和/或移动到模拟环境中而向用户提供反馈的方法1600的流程图。在一些实施方案中，方法1600在计算机系统(例如，图1中的计算机系统101，诸如平板电脑、智能电话、可穿戴计算机或头戴式设备)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120、平视显示器、显示器、触摸屏和/或投影仪)和一个或多个相机(例如，向下指向用户手部的相机(例如，颜色传感器、红外传感器和/或其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法1600通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法1600中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，方法1600在与显示生成部件(例如，120)和一个或多个输入设备通信的电子设备(例如，101)处执行。在一些实施方案中，电子设备具有方法800、1000、1200和/或1400的电子设备的一种或多种特性。在一些实施方案中，显示生成部件具有方法800、1000、1200和/或1400的显示生成部件的一种或多种特性。在一些实施方案中，一个或多个输入设备具有方法800、1000、1200和/或1400的一个或多个输入设备的特性中的一种或多种特性。
在一些实施方案中，电子设备经由显示生成部件在经由显示生成部件可见的三维环境中显示(1601a)虚拟对象(例如，应用程序的用户界面或表示、内容项的表示、或由电子设备在三维环境中显示的未被包括在电子设备、显示生成部件和/或用户的物理环境中的任何其他对象)，诸如图15A中的虚拟对象1514(例如，诸如参考方法800、1000、1200和/或1400描述的三维环境)。
在一些实施方案中，三维环境包括具有第一视觉外观的模拟环境(1601b)，诸如图15A中的模拟环境1512的视觉外观(例如，三维环境中的第一尺寸、第一亮度、第一不透明度、第一清晰度(或模糊性)水平和/或第一沉浸水平(例如，如参考方法800、1000、1200和/或1400所描述)。在一些实施方案中，模拟环境具有参考方法800、1000、1200和/或1400描述的模拟或虚拟环境的特性中的一种或多种特性)。在一些实施方案中，虚拟对象位于三维环境中的模拟环境之外(1601c)，诸如图15A中的虚拟对象1514的位置。例如，虚拟对象被显示在三维环境中未被模拟环境包围或消耗的位置处。
在一些实施方案中，在三维环境中显示虚拟对象时，电子设备经由一个或多个输入设备接收(1601d)与在三维环境中移动虚拟对象的请求相对应的第一输入，诸如图15A中来自手部1524的指向虚拟对象1514的输入。在一些实施方案中，第一输入是由电子设备的用户的手部提供的空中手势输入，诸如捏合手势，其中手部的拇指和食指朝向彼此移动并触摸，随后手部以捏合手形移动(例如，其中食指和拇指保持彼此接触)。在一些实施方案中，第一输入包括在检测到捏合手势时指向虚拟对象的用户的注视。在一些实施方案中，电子设备根据在用户的手部保持捏合手形的同时用户的手部的移动来在三维环境中移动虚拟对象。在一些实施方案中，响应于检测到手部的拇指和食指远离彼此移动，电子设备在其在三维环境中的当前位置处停止移动虚拟对象。在经由触摸屏显示三维环境的情况下，第一输入任选地包括用户的手指与触摸屏在虚拟对象正被显示的位置处的接触，随后手指在保持与触摸屏接触的同时移动。在一些实施方案中，电子设备根据在用户的手指保持与触摸屏接触的同时手指的移动来在三维环境中移动虚拟对象。在一些实施方案中，响应于检测到手指移开并失去与触摸屏的接触，电子设备在其在三维环境中的当前位置处停止移动虚拟对象。在一些实施方案中，第一输入并非是涉及改变模拟环境的外观的输入(例如，不是用于调整模拟环境的尺寸的输入，和/或不是用于增加模拟环境的沉浸的输入)。相反，第一输入是用于在三维环境中移动虚拟对象的输入。
在一些实施方案中，响应于接收到第一输入(1601e)，电子设备根据第一输入在三维环境中移动(1601f)虚拟对象，诸如图15B、图15C或图15D中的虚拟对象1514的移动(例如，将三维环境内的虚拟对象移动到模拟环境之外，或将虚拟对象移动到模拟环境内)。在一些实施方案中，根据确定第一输入对应于将虚拟对象移动到模拟环境中的请求，诸如图15C或图15D所示(例如，第一输入将虚拟对象引导到的相应位置在三维环境中的模拟环境内和/或在处于模拟环境内的阈值距离(例如，0.1cm、0.3cm、1cm、3cm、5cm、10cm、30cm、50cm、100cm、500cm、1000cm或5000cm)内。在一些实施方案中，第一输入是用于将虚拟对象拖动到相应位置的输入(例如，如上所述，第一输入结束的位置是相应位置)。在一些实施方案中，第一输入是用于将虚拟对象抛掷或投掷到相应位置的输入，如下文将更详细描述。在一些实施方案中，第一输入是选择用于将虚拟对象移动到相应位置的可选选项的输入，如下文将更详细描述)，电子设备利用不同于第一视觉外观的第二视觉外观显示(1601g)模拟环境，诸如图15C或图15D中的模拟环境1512的改变的视觉外观。例如，除了根据第一输入在模拟环境内显示虚拟对象之外，电子设备还修改模拟环境的视觉外观(例如，以指示第一输入对应于/曾对应于用于将虚拟对象移动到模拟环境中的输入)，诸如通过在三维环境中以第二尺寸、第二亮度、第二不透明度、第二清晰度(或模糊性)水平和/或第二沉浸水平显示模拟环境(例如，如参考方法800、1000、1200和/或1400所描述)，下文将更详细地描述其中的一些。
在一些实施方案中，根据确定第一输入对应于在不将虚拟对象移动到模拟环境中的情况下在三维环境内移动虚拟对象的请求，诸如图15B中的虚拟对象1514的移动(例如，第一输入将虚拟对象引导到的相应位置在三维环境中的模拟环境之外和/或在处于模拟环境内的阈值距离(例如，0.1cm、0.3cm、1cm、3cm、5cm、10cm、30cm、50cm、100cm、500cm、1000cm或5000cm)之外。在一些实施方案中，第一输入是用于将虚拟对象拖动到相应位置的输入(例如，如上所述，第一输入结束的位置是相应位置)。在一些实施方案中，第一输入是用于将虚拟对象抛掷或投掷到相应位置的输入，如下文将更详细描述。)，电子设备保持利用第一视觉外观显示模拟环境(1601h)，诸如以图15B中的模拟环境1512的视觉外观所示(例如，模拟环境在三维环境中保持以第一尺寸、第一亮度、第一不透明度、第一清晰度(或模糊性)水平和/或第一沉浸水平显示(例如，如参考方法800、1000、1200和/或1400所描述)。选择性地修改模拟环境的显示提供了关于为移动虚拟对象而提供该输入的反馈。
在一些实施方案中，利用第一视觉外观显示模拟环境包括显示占据三维环境的第一部分的模拟环境(1603a)，诸如图15A中被模拟环境1512占据的三维环境1502的部分，并且利用第二视觉外观显示模拟环境包括显示占据三维环境的第二部分的模拟环境，其中三维环境的第二部分具有不同于(例如，大于或小于)三维环境的第一部分的尺寸(1603b)，诸如图15C中被模拟环境1512占据的三维环境1502的部分。因此，在一些实施方案中，电子设备响应于用于将虚拟对象移动到模拟环境中的输入而改变模拟环境的尺寸(例如，而不检测用于调整模拟环境的尺寸的专用调整尺寸输入)。在一些实施方案中，第二部分完全或至少部分地包括第一部分。在一些实施方案中，电子设备增加模拟环境的尺寸(例如，增加由模拟环境消耗的三维环境的体积量)。在一些实施方案中，电子设备减小模拟环境的尺寸(例如，减小由模拟环境消耗的三维环境的体积量)。在一些实施方案中，如果虚拟对象在三维环境中具有小于阈值尺寸(例如，小于模拟环境的尺寸的100％、90％、75％、50％、25％、10％、5％或1％)的尺寸，则电子设备不会响应于用于将虚拟对象移动到模拟环境中的输入而改变模拟环境的尺寸(例如，保持模拟环境的尺寸)。响应于虚拟对象被放置在模拟环境中(例如，响应于检测到第一输入的结束，诸如捏合手形的释放)，电子设备任选地保持模拟环境的改变的尺寸(例如，占据三维环境的第二部分)。响应于用于将虚拟对象移动到模拟环境中的输入而修改模拟环境的尺寸，减少了适当地设定模拟环境的尺寸以包含虚拟对象所需的输入数量。
在一些实施方案中，利用第一视觉外观显示模拟环境包括在三维环境中利用第一不透明度水平显示模拟环境(1605a)，诸如图15A中的模拟环境1512的不透明度，并且利用第二视觉外观显示模拟环境包括在三维环境中利用不同于第一不透明度水平(例如，大于或小于第一水平)的第二不透明度水平显示模拟环境(1605b)，诸如图15C中的模拟环境1512的不透明度。例如，在检测到用于将虚拟对象移动到模拟环境中的输入之前，电子设备任选地利用100％、90％或75％不透明度显示模拟环境(以及任选地三维环境的其他部分)。响应于检测到用于将虚拟对象移动到模拟环境中的输入，电子设备任选地将模拟环境的不透明度减小到80％、60％、50％或25％(例如，从而通过模拟环境显露并非模拟环境的一部分的三维环境的一个或多个部分)，而不检测用于改变模拟环境的不透明度的专用输入。在一些实施方案中，电子设备不响应于用于将虚拟对象移动到模拟环境中的输入而改变三维环境的其他部分经由显示生成部件显示和/或可见时的不透明度。在一些实施方案中，电子设备不响应于用于将虚拟对象移动到模拟环境中的输入而改变虚拟对象的不透明度。响应于虚拟对象被放置在模拟环境中(例如，响应于检测到第一输入的结束，诸如捏合手形的释放)，电子设备任选地将模拟环境的改变的不透明度恢复到第一不透明度水平。在一些实施方案中，作为改变模拟环境的不透明度的补充或替代，电子设备响应于用于将虚拟对象移动到模拟环境中的输入而利用高亮、辉光和/或增加的亮度显示模拟环境，并且响应于虚拟对象被放置在模拟环境中(例如，响应于检测到第一输入的结束，诸如捏合手形的释放)而任选地恢复此类变化。响应于用于将虚拟对象移动到模拟环境中的输入而修改模拟环境的不透明度，清楚地指示该输入将使得虚拟对象被放置在模拟环境中。
在一些实施方案中，利用第一视觉外观显示模拟环境包括在三维环境中的第一位置处显示模拟环境(1607a)，诸如图15A中的模拟环境1512的位置(例如，模拟环境的预先确定的部分，诸如模拟环境的体积的中心点，在三维环境中的第一位置处)，并且利用第二视觉外观显示模拟环境包括在三维环境中的不同于第一位置的第二位置处显示模拟环境(1607b)，诸如图15C中的模拟环境1512的位置(例如，模拟环境的预先确定的部分在三维环境中的第二位置处)。在一些实施方案中，作为用于将虚拟对象移动到模拟环境中的输入的一部分，电子设备基于虚拟对象移动到的位置来移动模拟环境的位置，如稍后将更详细描述，而不检测用于改变模拟环境的位置的专用输入。响应于虚拟对象被放置在模拟环境中(例如，响应于检测到第一输入的结束，诸如捏合手形的释放)，电子设备任选地保持在三维环境中的第二位置处显示模拟环境。响应于用于将虚拟对象移动到模拟环境中的输入而修改模拟环境的放置，减少了适当地放置模拟环境以接纳虚拟对象所需的输入数量。
在一些实施方案中，利用第一视觉外观显示模拟环境包括在三维环境中利用第一沉浸水平显示模拟环境(1609a)，诸如图15A中的模拟环境1512的沉浸(例如，将模拟环境显示为占据显示生成部件的视场的第一部分和/或以第一沉浸水平生成与模拟环境相关联的音频，这两者都参考方法1000更详细地描述)，并且利用第二视觉外观显示模拟环境包括在三维环境中利用不同于第一沉浸水平(例如，大于或小于第一沉浸水平)的第二沉浸水平显示模拟环境(1609b)，诸如图15C中的模拟环境1512的沉浸(例如，将模拟环境显示为占据显示生成部件的视场的第二部分和/或以第二沉浸水平生成与模拟环境相关联的音频，这两者都参考方法1000更详细地描述，而不检测用于改变模拟环境的沉浸的专用输入)。在一些实施方案中，增加或降低电子设备显示模拟环境时的沉浸水平具有如方法1000中所描述的增加或降低沉浸的特性中的一种或多种特性。响应于虚拟对象被放置在模拟环境中(例如，响应于检测到第一输入的结束，诸如捏合手形的释放)，电子设备任选地保持以第二沉浸水平显示模拟环境。响应于用于将虚拟对象移动到模拟环境中的输入而修改模拟环境的沉浸，减少了以用于包含虚拟对象的适当沉浸水平显示模拟环境所需的输入数量。
在一些实施方案中，根据确定第一输入对应于将虚拟对象投掷到模拟环境中的请求，第一输入对应于将虚拟对象移动到模拟环境中的请求(1611)，诸如在图15A至图15C中来自手部1524的输入是用于将虚拟对象1514投掷到模拟环境中的输入的情况。在一些实施方案中，第一输入对应于将虚拟对象移动而非投掷到模拟环境中的请求(例如，一旦虚拟对象根据手部在呈捏合手形时的移动而移动到模拟环境中和/或移动到其在模拟环境中的最终位置和/或在该移动之后，发生捏合手形的释放)，并且电子设备相应地将虚拟对象移动到模拟环境中。在一些实施方案中，当第一输入对应于将虚拟对象投掷到模拟环境中的请求时，电子设备附加地或另选地响应于第一输入而将虚拟对象移动到模拟环境中。例如，第一输入任选地是在用户的手部在虚拟对象的阈值距离(例如，0.1cm、0.5cm、1cm、2cm、3cm、5cm、10cm、20cm、50cm或100cm)内时手部的拇指和食指合拢(例如，以触摸)的空中捏合手势，随后在手部保持捏合手形的同时移动手部，并且在手部仍在移动的同时(并任选地在虚拟对象移动到模拟环境中和/或移动到其在模拟环境中的最终位置之前)释放捏合手形(例如，拇指和食指分开)。在一些实施方案中，第一输入是在手部与虚拟对象的距离远于阈值距离时以及在用户的注意力被引导到虚拟对象时用户的手部的拇指和食指合拢的捏合手势，随后是在手部保持捏合手形的同时移动手部，并且在手部仍在移动的同时释放捏合手形(例如，拇指和食指分开)。在一些实施方案中，第一输入定义在三维环境中投掷虚拟对象的方向(例如，对应于在第一输入期间和/或在释放捏合手形时手部的移动方向)和/或投掷虚拟对象的速度(例如，对应于在第一输入期间和/或在释放捏合手形时手部的移动速度)。在一些实施方案中，响应于这种投掷输入，电子设备基于在释放捏合时用户的手部的速度和/或方向来在三维环境中移动虚拟对象，并且如果这种移动的轨迹延伸到模拟环境中，则电子设备沿着这种轨迹将虚拟对象移动到模拟环境中。在一些实施方案中，如果这种移动的轨迹未延伸到模拟环境中，则电子设备沿着模拟环境之外的这种轨迹在三维环境内移动虚拟对象。基于投掷输入来将虚拟对象移动到模拟环境中减少了用户将虚拟对象移动到模拟环境中所需的输入长度。
在一些实施方案中，根据确定第一输入对应于对三维环境中显示的可选选项的选择，第一输入对应于将虚拟对象移动到模拟环境中的请求，其中该可选选项是可选择的以将虚拟对象移动到模拟环境中(1613)，诸如在图15A中显示可选选项，并且手部1524已选择该可选选项以将虚拟对象1514移动到模拟环境1512中的情况。在一些实施方案中，该可选选项是与三维环境中的虚拟对象相关联地显示的按钮，任选地在虚拟对象的边界之外。例如，电子设备任选地在三维环境中的虚拟对象下方并与虚拟对象分开地显示抓取条元素。指向抓取条元素的输入(例如，空中捏合手势，随后是在用户的手部呈捏合手形的同时移动手部)任选地使得电子设备根据用户的手部的移动来在三维环境中移动虚拟对象。在一些实施方案中，电子设备显示用于将虚拟对象移动到这种抓取条元素内的模拟环境中的按钮。在一些实施方案中，对用于将虚拟对象移动到模拟环境中的可选选项的选择除了用户的手部执行空中捏合手势之外不需要用户的手部的移动(在手部呈捏合手形的同时)。在一些实施方案中，可选选项被显示在与虚拟对象相关联地显示的拼盘元素中(例如，在虚拟对象之下)，拼盘元素包括用于执行与虚拟对象相关联的一个或多个对应操作(例如，如果虚拟对象是内容则是播放操作，或者如果虚拟对象是应用程序的用户界面则是关闭操作)的一个或多个其他可选选项。在一些实施方案中，响应于对可选选项的选择，电子设备显示虚拟对象移动到模拟环境中的动画。基于对可选选项的选择来将虚拟对象移动到模拟环境中减少了用户将虚拟对象移动到模拟环境中所需的交互长度。
在一些实施方案中，利用第一视觉外观显示模拟环境包括在三维环境中的第一位置处显示模拟环境(1615a)，诸如图15A中的模拟环境1512的位置(例如，在三维环境中的第一位置处具有模拟环境的中心点和/或具有占据三维环境的第一体积的模拟环境的体积)。在一些实施方案中，响应于接收到第一输入，并且根据确定第一输入对应于将虚拟对象移动到模拟环境中的请求(1615b)，根据确定第一输入对应于将虚拟对象移动到三维环境中的第二位置的请求(例如，用于将虚拟对象移动到第二位置的拖动或投掷手势)，电子设备在三维环境中的第三位置处显示(1615c)模拟环境，诸如图15C中的模拟环境1512的位置(任选地，其中当在第三位置处显示模拟环境时，模拟环境包括第二位置)。例如，将模拟环境显示为在三维环境中的第三位置处具有模拟环境的中心点和/或具有占据三维环境的不同于第一体积的第二体积的模拟环境的体积。在一些实施方案中，第一体积和第二体积的尺寸是相同的。在一些实施方案中，第一体积和第二体积的尺寸是不同的。
在一些实施方案中，根据确定第一输入对应于将虚拟对象移动到三维环境中不同于第二位置的第四位置的请求(例如，用于将虚拟对象移动到第四位置的拖动或投掷手势)，电子设备在三维环境中不同于第三位置的第五位置处显示(1615d)模拟环境，诸如图15D中的模拟环境1512的位置(任选地，其中当在第五位置处显示模拟环境时，模拟环境包括第四位置)。例如，将模拟环境显示为在三维环境中的第五位置处具有模拟环境的中心点和/或具有占据三维环境的不同于第一体积和第二体积的第三体积的模拟环境的体积。在一些实施方案中，第一体积、第二体积和第三体积的尺寸是相同的。在一些实施方案中，第一体积、第二体积和第三体积的尺寸是不同的。因此，在一些实施方案中，如果在第一位置处显示模拟环境时第一输入对应于虚拟对象向模拟环境的左侧的移动，则响应于第一输入，电子设备在三维环境中向左移动模拟环境。在一些实施方案中，如果在第一位置处显示模拟环境时第一输入对应于虚拟对象向模拟环境的右侧的移动，则响应于第一输入，电子设备在三维环境中向右移动模拟环境。下面提供模拟环境的示例性移动的进一步细节。基于第一输入来在三维环境中的不同位置处显示模拟环境将模拟环境放置在与虚拟对象的位置相对应的三维环境中的适当位置处。
在一些实施方案中，在第三位置处显示模拟环境包括在第二位置处显示模拟环境的预先确定的部分(例如，中心)(1617)，诸如模拟环境1512如何在图15C中被示出为居中于图15C中的虚拟对象1514的位置上。模拟环境的预先确定的部分任选地是模拟环境的点、线(例如，平分模拟环境的左右部分的竖直线)、面积或体积。例如，如果基于第一输入来将虚拟对象移动到第二位置，则电子设备任选地将模拟环境重新居中于第二位置上(任选地在改变或不改变模拟环境的尺寸的情况下)，任选地使得模拟环境从第二位置向外(例如，向左、向右、向上和/或向下)延伸离用户视点相等的量。基于第一输入来在三维环境中的不同位置处显示模拟环境将模拟环境放置在与虚拟对象的位置有关的三维环境中的适当位置处。
在一些实施方案中，在第五位置处显示模拟环境包括在第四位置处显示模拟环境的预先确定的部分(如上所述)(1619)，诸如模拟环境1512如何在图15D中被示出为居中于图15D中的虚拟对象1514的位置上。例如，如果基于第一输入来将虚拟对象移动到第四位置，则电子设备任选地将模拟环境重新居中于第四位置上(任选地在改变或不改变模拟环境的尺寸的情况下)，任选地使得模拟环境从第四位置向外(例如，向左、向右、向上和/或向下)延伸离用户视点相等的量。基于第一输入来在三维环境中的不同位置处显示模拟环境将模拟环境放置在与虚拟对象的位置有关的三维环境中的适当位置处。
在一些实施方案中，利用第一视觉外观显示模拟环境包括在三维环境中的第一位置处显示模拟环境(1621a)，诸如图15D中的模拟环境1512的位置(例如，在三维环境中的第一位置处具有模拟环境的中心点和/或具有占据三维环境的第一体积的模拟环境的体积)。在一些实施方案中，响应于接收到第一输入，并且根据确定第一输入对应于将虚拟对象移动到模拟环境中的请求(1621b)，根据确定电子设备的用户的当前视点(例如，任选地当接收到第一输入时或者当检测到第一输入的结束时)是第一视点(例如，在接收到第一输入时用户的当前视点在三维环境中的第一位置处和/或在三维环境中具有第一取向)，电子设备在三维环境中的第二位置处显示(1621c)模拟环境(例如，将模拟环境显示为在三维环境中的第二位置处具有模拟环境的中心点和/或具有占据三维环境的不同于第一体积的第二体积的模拟环境的体积。在一些实施方案中，第一体积和第二体积的尺寸是相同的。在一些实施方案中，第一体积和第二体积的尺寸是不同的。)，其中在三维环境中的第二位置处的模拟环境具有相对于第一视点的相应空间布置，诸如图15C或图15D中的模拟环境1512被显示为具有相对于用户1520的视点的相应空间布置的情况。例如，相应空间布置对应于经过模拟环境的中心点的用户的第一视点的法线，使得模拟环境在三维环境中居中(例如，竖直地和/或水平地)于用户的第一视点上。在一些实施方案中，在三维环境中的第一位置处显示模拟环境时，模拟环境不具有相对于用户的第一视点的相应空间布置。
在一些实施方案中，根据确定用户的当前视点(例如，任选地当接收到第一输入时或当检测到第一输入的结束时)是不同于第一视点的第二视点(例如，在接收到第一输入时用户的当前视点在三维环境中的第二位置处和/或在三维环境中具有第二取向)，电子设备在三维环境中不同于第二位置的第三位置处显示(1621d)模拟环境(例如，将模拟环境显示为在三维环境中的第三位置处具有模拟环境的中心点和/或具有占据三维环境的不同于第一体积和第二体积的第三体积的模拟环境的体积。在一些实施方案中，第一体积、第二体积和第三体积的尺寸是相同的。在一些实施方案中，第一体积、第二体积和第三体积的尺寸是不同的。)，其中在三维环境中的第三位置处的模拟环境具有相对于第二视点的相应空间布置，诸如图15C或图15D中的模拟环境1512被显示为具有相对于用户1520的视点的相应空间布置(例如，模拟环境在三维环境中居中(例如，竖直地和/或水平地)于用户的第二视点上)。在一些实施方案中，在三维环境中的第一位置处显示模拟环境时，模拟环境不具有相对于用户的第二视点的相应空间布置。因此，在一些实施方案中，响应于第一输入，电子设备将模拟环境重新居中于用户的当前视点上。在接收到第一输入时基于用户的当前视点来在三维环境中的不同位置处显示模拟环境将模拟环境放置在与用户的视点有关的三维环境中的适当位置处，以用于与模拟环境的后续交互。
在一些实施方案中，当接收到第一输入时，虚拟对象在三维环境中具有第一尺寸(1625a)，诸如图15A中的虚拟对象1514的尺寸(例如，在三维环境中占据第一面积和/或体积)。在一些实施方案中，响应于接收到第一输入并且根据确定第一输入对应于将虚拟对象移动到模拟环境中的请求，电子设备在模拟环境内显示(1625b)虚拟对象，其中模拟环境内的虚拟对象在三维环境中具有大于第一尺寸的第二尺寸，诸如图15E中的虚拟对象1514的增加的尺寸(例如，在三维环境中占据大于第一面积和/或体积的第二面积和/或体积)。在一些实施方案中，在模拟环境之外显示虚拟对象时(例如，在接收到第一输入之前)，电子设备基于虚拟对象来在三维环境中显示光照效果。例如，电子设备任选地显示来自在虚拟对象中产生光的内容的光溢出，该光溢出基于虚拟对象在三维环境中的布置来与三维环境的一个或多个部分重合。在一些实施方案中，光溢出是和/或对应于与从内容中的一个或多个虚拟元素发出的模拟光照相对应的模拟光照。在一些实施方案中，在虚拟对象具有第一尺寸时此类光照效果的量、强度和/或面积是第一量、强度和/或面积，并且在虚拟对象具有第二尺寸时此类光照效果的量、强度和/或面积是大于第一量、强度和/或面积的第二量、强度和/或面积。在一些实施方案中，在虚拟对象在模拟环境内时，电子设备基于虚拟对象在模拟环境内的当前位置来在模拟环境内和/或在模拟环境外显示此类光照效果。在一些实施方案中，响应于第一输入，电子设备在模拟环境中的预先确定的位置处显示虚拟对象(如下文将更详细描述)。在一些实施方案中，即使当虚拟对象在模拟环境内时，电子设备也显示具有第一尺寸的虚拟对象，直到虚拟对象到达模拟环境中的预先确定的位置。在一些实施方案中，在虚拟对象到达模拟环境中的预先确定的位置之前，电子设备响应于虚拟对象进入模拟环境而显示具有第二尺寸的虚拟对象。在模拟环境中增加虚拟对象的尺寸减少了在模拟环境中以适当尺寸显示虚拟对象所需的输入。
在一些实施方案中，响应于接收到第一输入并且根据确定第一输入对应于将虚拟对象移动到模拟环境中的请求，电子设备在模拟环境内的第一位置处显示(1627)虚拟对象，其中第一位置是不基于第一输入的预先确定的位置，诸如图15E中的预先确定的位置1516。因此，在一些实施方案中，只要第一输入对应于将虚拟对象移动到模拟环境中的请求，第一输入的量值和/或方向和/或最终位置就与虚拟对象在模拟环境中的最终布置无关—电子设备任选地最终在预先确定的位置处显示虚拟对象。在一些实施方案中，电子设备在模拟环境中基于第一输入的量值和/或方向和/或当前位置的位置处显示虚拟对象，同时(例如，只要)第一输入正在进行(例如，同时用户的手部保持捏合手形)(这种位置任选地不同于预先确定的位置)，但响应于检测到第一输入的结束(例如，检测到用户的手部释放捏合手形)，电子设备显示虚拟对象移动到模拟环境中的预先确定的位置的动画。在一些实施方案中，如果虚拟对象的拖动或投掷输入具有与虚拟对象经过(例如，离用户的视点更远)或远离预先确定的位置的移动相对应的移动量值、速度、加速度和/或方向，则电子设备显示虚拟对象往回移动到预先确定的位置的动画(例如，橡皮筋式回弹到预先确定的位置，诸如利用模拟物理学，其中虚拟对象快速移动，然后利用基于位移等的模拟惯性、摩擦和/或弹力减慢)；在一些实施方案中，这种回到预先确定的位置的移动在第一输入正在进行时和/或在第一输入已经结束之后发生。在模拟环境中的预先确定的位置处显示虚拟对象减少了在模拟环境中的适当位置(例如，虚拟对象容易可见和/或可交互的位置)处显示虚拟对象所需的输入数量。
在一些实施方案中，响应于接收到第一输入并且根据确定第一输入对应于将虚拟对象移动到模拟环境中的请求，电子设备在模拟环境内的第一位置处显示(1629a)虚拟对象，诸如图15E中的预先确定的位置1516(例如，如上所述的模拟环境中的预先确定的位置)。在一些实施方案中，在模拟环境内的第一位置处显示虚拟对象时，电子设备经由一个或多个输入设备接收(1629b)指向虚拟对象的第二输入，其中第二输入包括与远离模拟环境内的第一位置的移动相对应的移动，诸如来自手部1524的指向图15E中的虚拟对象1514的输入(例如，并且不包括与朝向和/或向第一位置的移动相对应的后续移动)。在一些实施方案中，第二输入具有第一输入的一种或多种特性(例如，包括用户的手部执行空中捏合手势，随后是手部在呈捏合手形的同时与远离第一位置的移动相对应的移动)。在一些实施方案中，第二输入对应于虚拟对象远离第一位置的拖动移动。在一些实施方案中，第二输入对应于虚拟对象远离第一位置的投掷。
在一些实施方案中，在接收到第二输入时，电子设备根据第二输入使虚拟对象远离模拟环境内的第一位置移动(1629c)，诸如虚拟对象1514远离图15F中的预先确定的位置1516的移动(例如，根据虚拟对象的拖动或投掷输入使虚拟对象远离第一位置移动)。在一些实施方案中，在接收到第二输入之后(1629d)(任选地响应于接收到第二输入和/或接收到第二输入的结束)，根据确定第二输入满足一个或多个标准(例如，移动速度、方向和/或量值标准，如稍后将更详细描述)，电子设备经由显示生成部件根据第二输入在三维环境中的第二位置处显示(1629e)虚拟对象，其中第二位置在模拟环境之外，诸如图15G所示。例如，如果第二输入足以将虚拟对象移动到模拟环境之外(例如，如稍后将更详细描述)，则电子设备任选地在模拟环境之外显示虚拟对象。响应于第二输入而在模拟环境之外显示虚拟对象的位置任选地根据第二输入的移动的速度、方向和/或量值而不同。
在一些实施方案中，根据确定第二输入不满足一个或多个标准，电子设备将虚拟对象往回移动(1629f)到模拟环境内的第一位置，诸如在图15F之后将虚拟对象1514往回移动到预先确定的位置1516(例如，如图15E所示)(例如，在显示虚拟对象远离模拟环境中的第一位置移动之后，显示虚拟对象往回移动到模拟环境中的第一位置的动画)。因此，在一些实施方案中，如果第二输入不足以将虚拟对象移动到模拟环境之外(例如，如稍后将更详细描述)，则电子设备任选地显示虚拟对象往回移动到第一位置(例如，如同橡皮筋式回弹到第一位置，如上文更详细描述)。显示虚拟对象的位置(例如，第一位置)任选地是相同的，而不管第二输入的移动的速度、方向和/或量值如何。根据第二输入的特性来选择性地将虚拟对象移动到模拟环境之外或往回移动到模拟环境中的第一位置避免了错误或无意地从模拟环境移除虚拟对象。
在一些实施方案中，一个或多个标准包括在第二输入中的移动的量值(例如，量、速度和/或加速度)是第一量值时满足且在第二输入中的移动的量值是不同于第一量值的第二量值时不满足的标准(1631)，诸如参考图15F至图15G所描述。例如，与虚拟对象远离模拟环境中的第一位置的移动相对应的第二输入中的用户的手部移动(例如，在呈捏合手形的同时)的量、速度和/或加速度任选地必须高于阈值量(例如，0.5cm、1cm、3cm、5cm、10cm、20cm、50cm、100cm、300cm或500cm)、速度(例如，0.1cm/s、0.5cm/s、1cm/s、3cm/s、5cm/s、10cm/s、20cm/s、50cm/s、100cm/s、300cm/s、500cm/s或1000cm/s)和/或加速度(例如，0.1cm/s2、0.5cm/s2、1cm/s2、3cm/s2、5cm/s2、10cm/s2、20cm/s2、50cm/s2、100cm/s2、300cm/s2或500cm/s2)，电子设备才能根据第二输入将虚拟对象移动到模拟环境之外。否则，电子设备任选地将虚拟对象往回移动到第一位置，如上所述。在一些实施方案中，第一量值大于这样的阈值量，并且第二量值小于阈值量。需要特定的移动量值来将虚拟对象移动到模拟环境之外避免了错误或无意地从模拟环境移除虚拟对象。
在一些实施方案中，一个或多个标准包括在第二输入中的移动的方向是第一方向时满足且在第二输入中的移动的方向是不同于第一方向的第二方向时不满足的标准(1633)，诸如参考图15F至图15G所描述。例如，与虚拟对象远离模拟环境中的第一位置的移动相对应的第二输入中的用户的手部移动(例如，在呈捏合手形的同时)的方向任选地必须在方向或取向的阈值范围内(例如，在朝向用户的视点的3、5、10、15、30、45、90、120或180度内和/或在朝向模拟环境与三维环境的其余部分之间的边界的3、5、10、15、30、45、90、120或180度内)，电子设备才能根据第二输入将虚拟对象移动到模拟环境之外。否则，电子设备任选地将虚拟对象往回移动到第一位置，如上所述。在一些实施方案中，第一方向在这样的方向或取向的阈值范围内，并且第二方向在方向或取向的阈值范围外。需要特定的移动方向来将虚拟对象移动到模拟环境之外避免了错误或无意地从模拟环境移除虚拟对象。
在一些实施方案中，方法800、1000、1200、1400和1600的各方面/操作可在这些方法之间互换、替换和/或添加。例如，方法800、1000、1200、1400、1600的三维环境、方法800、1000、1200、1400、1600的模拟或虚拟环境、方法800、1000、1200、1400、1600的大气或空间效果、方法800、1000、1200、1400、1600的这样的模拟或虚拟环境或者大气或空间效果的沉浸水平、向显示方法800、1000、1200、1400、1600的这样的模拟或虚拟环境或者大气或空间效果的过渡、和/或对象相对于方法800、1000、1200、1400、1600的用户的视点的移动任选地在这些方法之间互换、替换和/或添加。为了简明起见，此处不再重复这些细节。
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。
如上文所述，本技术的一个方面在于采集并使用得自各种来源的数据，以改善用户的XR体验。本公开预期，在一些实例中，这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可以包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、推特ID、家庭地址、与用户的健康或健身水平有关的数据或记录(例如，生命体征测量、药物信息、锻炼信息)、出生日期或任何其他识别或个人信息。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于改善用户的XR体验。此外，本公开还预期个人信息数据有益于用户的其他用途。例如，健康和健身数据可用于向用户的总体健康状况提供见解，或者可用作使用技术来追求健康目标的个人的积极反馈。
本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类政策应该能被用户方便地访问，并应随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。此外，应在收到用户知情同意后进行此类采集/共享。另外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。另外，应当调整政策和实践，以便采集和/或访问的特定类型的个人信息数据，并适用于包括管辖范围的具体考虑的适用法律和标准。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(HIPAA)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此，在每个国家应为不同的个人数据类型保持不同的隐私实践。
不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就XR体验而言，本发明技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。又如，用户可选择不提供用于服务定制的数据。再如，用户可选择限制保持数据的时间长度或者完全禁止定制服务的开发。除了提供“选择加入”和“选择退出”选项外，本公开还设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。
此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据收集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用程序中，数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户之间聚合数据)、和/或其他方法来促进去标识。
因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可通过基于非个人信息数据或绝对最低限度量的个人信息(诸如，与用户相关联的设备所请求的内容、对服务可用的其他非个人信息、或可公开获得的信息)推断偏好来生成XR体验。
Claims (135)
1.一种方法，包括：
在与显示生成部件和一个或多个输入设备通信的电子设备处：
在经由所述显示生成部件显示相应环境时，经由所述一个或多个输入设备接收与显示第一模拟环境的请求相对应的输入；以及
响应于接收到与显示所述第一模拟环境的所述请求相对应的所述输入，从显示所述相应环境过渡到显示所述第一模拟环境，其中所述过渡包括：
根据确定用户的视点周围的物理环境满足一个或多个第一标准，使用第一过渡类型从显示所述相应环境过渡到显示所述第一模拟环境；以及
根据确定所述用户的所述视点周围的所述物理环境满足与所述一个或多个第一标准不同的一个或多个第二标准，使用与所述第一过渡类型不同的第二过渡类型从显示所述相应环境过渡到显示所述第一模拟环境。
2.根据权利要求1所述的方法，其中所述一个或多个第一标准包括在相对于所述电子设备的参考取向的相应方向上所述用户的所述视点周围的所述物理环境的一部分距所述电子设备的所述用户的所述视点大于阈值距离时满足的标准。
3.根据权利要求1至2中任一项所述的方法，其中所述一个或多个第二标准包括在相对于所述电子设备的参考取向的相应方向上所述用户的所述视点周围的所述物理环境的一部分距所述电子设备小于阈值距离时满足的标准。
4.根据权利要求1至3中任一项所述的方法，其中所述相应环境包括所述用户的所述视点周围的所述物理环境的一部分的表示，并且从显示所述相应环境过渡到显示所述第一模拟环境包括将所述物理环境的所述一部分的所述表示的显示替换为所述第一模拟环境的一部分的表示的显示。
5.根据权利要求1至4中任一项所述的方法，其中与显示所述第一模拟环境的所述请求相对应的所述输入包括用户输入，并且从显示所述相应环境过渡到显示所述第一模拟环境包括：
根据确定所述用户输入与以第一量过渡到所述第一模拟环境的请求相对应，从显示所述相应环境过渡到显示所述第一模拟环境的第一部分，以及
根据确定所述用户输入与以大于所述第一量的第二量过渡到所述第一模拟环境的请求相对应，从显示所述相应环境过渡到显示所述第一模拟环境的大于所述第一部分的第二部分。
6.根据权利要求5所述的方法，其中所述用户输入包括与所述电子设备通信的可旋转输入元件的旋转，与以所述第一量过渡到所述第一模拟环境的所述请求相对应的所述用户输入包括所述可旋转输入元件以第一相应量的旋转，并且与以所述第二量过渡到所述第一模拟环境的所述请求相对应的所述用户输入包括所述可旋转输入元件以大于所述第一相应量的第二相应量的旋转。
7.根据权利要求1至6中任一项所述的方法，其中在使用所述第一过渡类型从显示所述相应环境过渡到显示所述第一模拟环境之后经由所述显示生成部件对所述第一模拟环境的显示与在使用所述第二过渡类型从显示所述相应环境过渡到显示所述第一模拟环境之后经由所述显示生成部件对所述第一模拟环境的显示相同。
8.根据权利要求1至7中任一项所述的方法，其中：
所述第一过渡类型以基于以下两者之间的距离差的方式推进：1)所述电子设备与所述用户的所述视点周围的所述物理环境的第一部分，以及2)所述电子设备与所述用户的所述视点周围的所述物理环境的第二部分，并且
所述第二过渡类型以独立于以下两者之间的所述距离差的方式推进：1)所述电子设备与所述用户的所述视点周围的所述物理环境的所述第一部分，以及2)所述电子设备与所述用户的所述视点周围的所述物理环境的所述第二部分。
9.根据权利要求1至8中任一项所述的方法，其中所述第二过渡类型包括所述相应环境与所述第一模拟环境之间的交叉溶解，并且所述交叉溶解起始于所述物理环境的离所述电子设备最远的一部分处。
10.根据权利要求1至9中任一项所述的方法，其中使用所述第一过渡类型从显示所述相应环境过渡到显示所述第一模拟环境包括：
在所述过渡的第一部分期间：
根据确定所述用户的所述视点周围的所述物理环境的相应部分距所述用户的所述视点大于第一距离，将经由所述显示生成部件对所述物理环境的所述相应部分的表示的显示替换为所述第一模拟环境的至少第一部分的显示，
根据确定所述用户的所述视点周围的所述物理环境的所述相应部分距所述用户的所述视点小于所述第一距离，放弃将经由所述显示生成部件对所述物理环境的所述相应部分的所述表示的显示替换为所述第一模拟环境的至少所述第一部分的显示；以及
在所述过渡的第二部分期间：
根据确定所述用户的所述视点周围的所述物理环境的所述相应部分距所述用户的所述视点大于与所述第一距离不同的第二距离，将经由所述显示生成部件对所述物理环境的所述相应部分的所述表示的显示替换为所述第一模拟环境的至少第二部分的显示，
根据确定所述用户的所述视点周围的所述物理环境的所述相应部分距所述用户的所述视点小于所述第二距离，放弃将经由所述显示生成部件对所述物理环境的所述相应部分的所述表示的显示替换为所述第一模拟环境的至少所述第二部分的显示。
11.根据权利要求10所述的方法，其中所述第一过渡类型包括：
在所述过渡的所述第一部分期间：
根据确定所述用户的所述视点周围的所述物理环境的所述相应部分距所述用户的所述视点大于所述第一距离：
根据确定所述用户的所述视点周围的所述物理环境的第二相应部分距所述用户的所述视点小于所述第一距离，经由所述显示生成部件在所述第一模拟环境的所述第一部分与所述用户的视点之间显示所述物理环境的所述第二相应部分的表示，以及
根据确定所述用户的所述视点周围的所述物理环境的所述第二相应部分距所述用户的所述视点大于所述第一距离，放弃经由所述显示生成部件显示所述物理环境的所述第二相应部分的所述表示。
12.根据权利要求1至11中任一项所述的方法，其中所述相应环境包括所述用户的所述视点周围的所述物理环境的表示，所述第一模拟环境包括第一模拟光源，并且所述方法还包括：
在经由所述显示生成部件同时显示所述用户的所述视点周围的所述物理环境的所述表示的至少一部分和所述第一模拟环境的至少一部分时，利用基于所述第一模拟光源的光照效果显示所述物理环境的所述表示的所述一部分。
13.根据权利要求12所述的方法，其中所述光照效果基于所述用户的所述视点周围的所述物理环境的几何结构。
14.根据权利要求12至13中任一项所述的方法，其中所述光照效果基于所述用户的所述视点周围的所述物理环境的架构。
15.根据权利要求1至14中任一项所述的方法，其中所述相应环境包括所述用户的所述视点周围的所述物理环境的表示，所述第一模拟环境包括第一体积效果，并且所述方法还包括：
在经由所述显示生成部件同时显示所述用户的所述视点周围的所述物理环境的所述表示的至少一部分和所述第一模拟环境的至少一部分时，在所述物理环境的所述表示的所述一部分的体积内显示基于所述第一体积效果的第二体积效果。
16.根据权利要求15所述的方法，其中所述第一体积效果和所述第二体积效果包括光照效果。
17.根据权利要求15至16中任一项所述的方法，其中所述第一体积效果和所述第二体积效果包括粒子效果。
18.根据权利要求1至17中任一项所述的方法，还包括：
在经由所述显示生成部件同时显示所述相应环境的至少一部分和所述第一模拟环境的至少一部分时：
根据确定所述相应环境的所述一部分与所述第一模拟环境的所述一部分之间的边界与处于所述相应环境中的相应对象的表示相交，从经由所述显示生成部件的显示中移除所述相应对象的所述表示。
19.一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于以下操作的指令：
在经由显示生成部件显示相应环境时，经由一个或多个输入设备接收与显示第一模拟环境的请求相对应的输入；以及
响应于接收到与显示所述第一模拟环境的所述请求相对应的所述输入，从显示所述相应环境过渡到显示所述第一模拟环境，其中所述过渡包括：
根据确定用户的视点周围的物理环境满足一个或多个第一标准，使用第一过渡类型从显示所述相应环境过渡到显示所述第一模拟环境；以及
根据确定所述用户的所述视点周围的所述物理环境满足与所述一个或多个第一标准不同的一个或多个第二标准，使用与所述第一过渡类型不同的第二过渡类型从显示所述相应环境过渡到显示所述第一模拟环境。
20.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的一个或多个处理器执行时，使得所述电子设备执行包括以下步骤的方法：
在经由显示生成部件显示相应环境时，经由一个或多个输入设备接收与显示第一模拟环境的请求相对应的输入；以及
响应于接收到与显示所述第一模拟环境的所述请求相对应的所述输入，从显示所述相应环境过渡到显示所述第一模拟环境，其中所述过渡包括：
根据确定用户的视点周围的物理环境满足一个或多个第一标准，使用第一过渡类型从显示所述相应环境过渡到显示所述第一模拟环境；以及
根据确定所述用户的所述视点周围的所述物理环境满足与所述一个或多个第一标准不同的一个或多个第二标准，使用与所述第一过渡类型不同的第二过渡类型从显示所述相应环境过渡到显示所述第一模拟环境。
21.一种电子设备，包括：
一个或多个处理器；
存储器；
用于执行以下操作的装置：在经由显示生成部件显示相应环境时，经由一个或多个输入设备接收与显示第一模拟环境的请求相对应的输入；以及
用于执行以下操作的装置：响应于接收到与显示所述第一模拟环境的所述请求相对应的所述输入，从显示所述相应环境过渡到显示所述第一模拟环境，其中所述过渡包括：
根据确定用户的视点周围的物理环境满足一个或多个第一标准，使用第一过渡类型从显示所述相应环境过渡到显示所述第一模拟环境；以及
根据确定所述用户的所述视点周围的所述物理环境满足与所述一个或多个第一标准不同的一个或多个第二标准，使用与所述第一过渡类型不同的第二过渡类型从显示所述相应环境过渡到显示所述第一模拟环境。
22.一种在电子设备中使用的信息处理装置，所述信息处理装置包括：
用于执行以下操作的装置：在经由显示生成部件显示相应环境时，经由一个或多个输入设备接收与显示第一模拟环境的请求相对应的输入；以及
用于执行以下操作的装置：响应于接收到与显示所述第一模拟环境的所述请求相对应的所述输入，从显示所述相应环境过渡到显示所述第一模拟环境，其中所述过渡包括：
根据确定用户的视点周围的物理环境满足一个或多个第一标准，使用第一过渡类型从显示所述相应环境过渡到显示所述第一模拟环境；以及
根据确定所述用户的所述视点周围的所述物理环境满足与所述一个或多个第一标准不同的一个或多个第二标准，使用与所述第一过渡类型不同的第二过渡类型从显示所述相应环境过渡到显示所述第一模拟环境。
23.一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至18所述的方法中的任一种方法的指令。
24.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的一个或多个处理器执行时，使得所述电子设备执行根据权利要求1至18所述的方法中的任一种方法。
25.一种电子设备，包括：
一个或多个处理器；
存储器；以及
用于执行根据权利要求1至18所述的方法中的任一种方法的装置。
26.一种在电子设备中使用的信息处理装置，所述信息处理装置包括：
用于执行根据权利要求1至18所述的方法中的任一种方法的装置。
27.一种方法，包括：
在与显示生成部件和一个或多个输入设备通信的电子设备处：
在经由所述显示生成部件在没有相应空间效果的情况下显示三维环境时，经由所述一个或多个输入设备检测与发起所述相应空间效果的请求相对应的第一输入；
响应于检测到所述第一输入，经由所述显示生成部件以第一沉浸水平利用所述相应空间效果显示所述三维环境；
在以所述第一沉浸水平利用所述相应空间效果显示所述三维环境时，经由所述一个或多个输入设备检测相应输入；以及
响应于检测到所述相应输入：
根据确定所述相应输入是第一输入，经由所述显示生成部件以大于所述第一沉浸水平的第二沉浸水平利用所述相应空间效果显示所述三维环境；以及
根据确定所述相应输入是与所述第一输入不同的第二输入，经由所述显示生成部件以小于所述第一沉浸水平的第三沉浸水平利用所述相应空间效果显示所述三维环境。
28.根据权利要求27所述的方法，其中所述相应空间效果包括虚拟环境的至少一部分的显示，在没有所述相应空间效果的情况下显示所述三维环境包括显示所述用户的所述视点周围的物理环境的一部分的表示，并且利用所述相应空间效果显示所述三维环境包括将所述物理环境的所述一部分的所述表示的至少一部分的显示替换为所述虚拟环境的所述一部分的显示。
29.根据权利要求28所述的方法，其中利用所述相应空间效果显示所述三维环境包括呈现与所述虚拟环境相对应的音频，所述方法还包括：
在利用所述相应空间效果显示所述三维环境并且呈现与所述虚拟环境相对应的所述音频时，经由所述一个或多个输入设备检测与将所述电子设备的用户的视点的取向从第一取向改变进入所述三维环境中相对应的所述电子设备的移动；以及
响应于检测到所述电子设备的所述移动：
根据确定所述电子设备的所述移动满足一个或多个标准，包括在进入所述三维环境中的所述用户的所述视点的所述取向从所述第一取向改变大于阈值量时满足的标准，取消强调与所述虚拟环境相对应的所述音频的至少一个分量。
30.根据权利要求29所述的方法，其中取消强调与所述虚拟环境相对应的所述音频的至少所述分量包括减小以下程度：所述音频以从所述三维环境中的不同方向生成的方式呈现。
31.根据权利要求29至30中任一项所述的方法，其中取消强调与所述虚拟环境相对应的所述音频的至少所述分量包括减少呈现与所述虚拟环境相对应的所述音频时的噪声消除量。
32.根据权利要求29至31中任一项所述的方法，其中取消强调与所述虚拟环境相对应的所述音频的至少所述分量包括减少呈现与所述虚拟环境相对应的所述音频时的音频分量的数量。
33.根据权利要求28至32中任一项所述的方法，还包括：
在以所述第一沉浸水平利用所述相应空间效果显示所述三维环境时，经由所述一个或多个输入设备检测与以最大沉浸水平利用所述相应空间效果显示所述三维环境的请求相对应的用户输入；以及
响应于检测到所述用户输入：
根据确定独立于所述用户输入的用户定义的设置具有第一值，经由所述显示生成部件以第一相应沉浸水平利用所述相应空间效果显示所述三维环境，以及
根据确定所述用户定义的设置具有与所述第一值不同的第二值，经由所述显示生成部件以大于所述第一相应沉浸水平的第二相应沉浸水平利用所述相应空间效果显示所述三维环境。
34.根据权利要求28至33中任一项所述的方法，其中所述三维环境与应用程序相关联，所述方法还包括：
在以所述第一沉浸水平利用所述相应空间效果显示所述三维环境时，经由所述一个或多个输入设备检测与以最大沉浸水平利用所述相应空间效果显示所述三维环境的请求相对应的用户输入；以及
响应于检测到所述用户输入：
根据确定所述应用程序满足一个或多个第一标准，经由所述显示生成部件以第一相应沉浸水平利用所述相应空间效果显示所述三维环境，以及
根据确定所述应用程序满足与所述第一标准不同的一个或多个第二标准，经由所述显示生成部件以大于所述第一相应沉浸水平的第二相应沉浸水平利用所述相应空间效果显示所述三维环境。
35.根据权利要求27至34中任一项所述的方法，其中所述相应空间效果包括大气效果，在没有所述相应空间效果的情况下显示所述三维环境包括在没有所述大气效果的情况下显示所述用户的所述视点周围的物理环境的一部分的表示，并且利用所述相应空间效果显示所述三维环境包括利用所述大气效果显示所述用户的所述视点周围的所述物理环境的所述一部分的所述表示。
36.根据权利要求35所述的方法，其中利用所述相应空间效果显示所述三维环境包括呈现与所述大气效果相对应的音频，所述方法还包括：
在利用所述相应空间效果显示所述三维环境并且呈现与所述大气效果相对应的所述音频时，经由所述一个或多个输入设备检测与将所述电子设备的用户的视点的取向从第一取向改变进入所述三维环境中相对应的所述电子设备的移动；以及
响应于检测到所述电子设备的所述移动，保持与所述大气效果相对应的所述音频的所述呈现，而与进入所述三维环境中的所述用户的所述视点的所述取向从所述第一取向改变的量无关。
37.根据权利要求28至34中任一项所述的方法，还包括：
在以所述第一沉浸水平利用所述相应空间效果显示所述三维环境时，经由所述一个或多个输入设备检测与改变所述相应空间效果的当前沉浸水平的请求相对应的用户输入；以及
响应于检测到与改变所述相应空间效果的所述沉浸水平的所述请求相对应的所述用户输入：
根据确定所述相应空间效果是第一空间效果，将所述当前沉浸水平改变为来自第一组沉浸水平的沉浸水平；以及
根据确定所述相应空间效果是第二空间效果，将所述当前沉浸水平改变为来自与所述第一组不同的第二组沉浸水平的沉浸水平。
38.根据权利要求35至37中任一项所述的方法，其中：
所述用户的所述视点周围的所述物理环境包括所述电子设备的用户可访问的第一区域以及所述电子设备的所述用户不可访问的第二区域，
在没有所述相应空间效果的情况下显示所述三维环境包括经由所述显示生成部件显示所述用户的所述视点周围的所述物理环境的所述第二区域的表示，并且
利用所述相应空间效果显示所述三维环境包括将所述用户的所述视点周围的所述物理环境的所述第二区域的所述表示的显示替换为相应虚拟环境。
39.根据权利要求35至38中任一项所述的方法，其中在没有所述大气效果的情况下显示所述三维环境包括显示具有第一光照水平的所述用户的所述视点周围的所述物理环境的所述一部分的所述表示，并且利用所述大气效果显示所述三维环境包括显示具有大于所述第一光照水平的第二光照水平的所述用户的所述视点周围的所述物理环境的所述一部分的所述表示。
40.根据权利要求35至39中任一项所述的方法，其中在没有所述大气效果的情况下显示所述三维环境包括显示具有第一光照水平的所述用户的所述视点周围的所述物理环境的所述一部分的所述表示，并且利用所述大气效果显示所述三维环境包括显示具有小于所述第一光照水平的第二光照水平的所述用户的所述视点周围的所述物理环境的所述一部分的所述表示。
41.根据权利要求27至40中任一项所述的方法，其中以相应沉浸水平利用所述相应空间效果显示所述三维环境包括经由所述显示生成部件显示指示正在显示所述相应空间效果时的当前沉浸水平的沉浸级别视觉指示符。
42.根据权利要求41所述的方法，其中所述沉浸级别视觉指示符包括与主沉浸水平相对应的第一组一个或多个指示符，以及与所述主沉浸水平之间的次沉浸水平相对应的第二组一个或多个指示符。
43.根据权利要求41至42中任一项所述的方法，其中：
以小于第二主沉浸水平的第一主沉浸水平利用所述相应空间效果显示所述三维环境包括呈现与所述相应空间效果相对应的音频而不显示与所述相应空间效果相对应的视觉效果。
44.根据权利要求41至43中任一项所述的方法，其中：
以大于第二主沉浸水平的第一主沉浸水平利用所述相应空间效果显示所述三维环境包括呈现与所述相应空间效果相对应的音频并且显示与所述相应空间效果相对应的视觉效果的第一部分而不显示与所述相应空间效果相对应的所述视觉效果的第二部分。
45.根据权利要求44所述的方法，其中：
以大于所述第一主沉浸水平的第三主沉浸水平利用所述相应空间效果显示所述三维环境包括呈现与所述相应空间效果相对应的所述音频并且显示与所述相应空间效果相对应的所述视觉效果的所述第一部分和所述第二部分。
46.根据权利要求27至45中任一项所述的方法，其中所述相应空间效果包括虚拟环境的至少一部分的显示，在没有所述相应空间效果的情况下显示所述三维环境包括显示所述用户的所述视点周围的物理环境的一部分的表示，并且利用所述相应空间效果显示所述三维环境包括将所述物理环境的所述一部分的所述表示的至少一部分的显示替换为所述虚拟环境的所述一部分的显示，所述方法还包括：
在利用所述相应空间效果显示所述三维环境，包括显示所述虚拟环境的所述一部分时，经由所述一个或多个输入设备检测所述电子设备远离所述用户的所述视点周围的所述物理环境中的第一位置的移动；以及
响应于检测到所述电子设备远离所述第一位置的所述移动：
根据确定所述电子设备远离所述第一位置的所述移动大于阈值距离，停止经由所述显示生成部件显示所述虚拟环境的所述一部分。
47.根据权利要求46所述的方法，还包括：
响应于检测到所述电子设备远离所述第一位置的所述移动：
根据确定所述电子设备远离所述第一位置的所述移动是小于所述阈值距离的第一距离，将所述虚拟环境的所述一部分的显示取消强调第一量；以及
根据确定所述电子设备远离所述第一位置的所述移动是大于所述第一距离且小于所述阈值距离的第二距离，将虚拟环境的所述一部分的显示取消强调大于所述第一量的第二量。
48.根据权利要求27至47中任一项所述的方法，还包括：
在利用所述相应空间效果显示所述三维环境时，经由所述一个或多个输入设备检测所述电子设备远离所述用户的所述视点周围的所述物理环境中的第一位置的移动；以及
响应于检测到所述电子设备远离所述第一位置的所述移动：
根据确定所述电子设备远离所述第一位置的所述移动大于阈值距离：
根据确定利用所述相应空间效果显示所述三维环境包括经由所述显示生成部件显示虚拟环境的至少一部分，停止所述虚拟环境的所述一部分的显示；以及
根据确定利用所述相应空间效果显示所述三维环境包括经由所述显示生成部件利用大气效果显示所述用户的所述视点周围的物理环境的一部分的表示，保持利用所述大气效果显示所述用户的所述视点周围的所述物理环境的所述一部分的所述表示。
49.根据权利要求27至48中任一项所述的方法，其中利用所述相应空间效果显示所述三维环境包括显示虚拟环境的至少一部分，所述方法还包括：
在利用所述相应空间效果显示所述三维环境，包括显示所述虚拟环境的所述一部分时，并且在不经由所述显示生成部件显示所述用户的所述视点周围的物理环境的表示时，经由所述一个或多个输入设备检测与从第一取向改变所述用户的所述视点的取向相对应的所述电子设备的移动；以及
响应于检测到所述电子设备的所述移动：
根据确定所述电子设备的所述移动满足一个或多个标准，包括在进入所述三维环境中的所述用户的所述视点的所述取向从所述第一取向水平地改变大于阈值量时满足的标准，取消强调所述虚拟环境的所述一部分的显示并且经由所述显示生成部件显示所述物理环境的所述表示的至少一部分。
50.根据权利要求27至49中任一项所述的方法，其中利用所述相应空间效果显示所述三维环境包括显示虚拟环境的至少一部分，所述方法还包括：
在利用所述相应空间效果显示所述三维环境，包括显示所述虚拟环境的所述一部分时，并且在不经由所述显示生成部件显示物理环境的表示时，经由所述一个或多个输入设备检测与将所述电子设备的用户的视点的取向从第一取向改变进入所述三维环境中相对应的所述电子设备的移动；以及
响应于检测到所述电子设备的所述移动：
根据确定所述电子设备的所述移动满足一个或多个标准，包括在进入所述三维环境中的所述用户的所述视点的所述取向从所述第一取向竖直地改变到指向所述物理环境的地面的第二取向时满足的标准，取消强调所述虚拟环境的所述一部分的显示，并且经由所述显示生成部件显示所述物理环境的所述地面的所述表示的至少一部分。
51.根据权利要求27至50中任一项所述的方法，其中：
利用所述相应空间效果显示所述三维环境包括显示虚拟环境的至少一部分，
以所述第一沉浸水平利用所述相应空间效果显示所述三维环境包括在距进入所述三维环境中的用户的视点的第一距离处显示所述虚拟环境的所述一部分，并且
以大于所述第一沉浸水平的所述第二沉浸水平利用所述相应空间效果显示所述三维环境，包括在距进入所述三维环境中的所述用户的所述视点的小于所述第一距离的第二距离处显示所述虚拟环境的所述一部分。
52.根据权利要求27至51中任一项所述的方法，其中利用所述相应空间效果显示所述三维环境包括显示虚拟环境的至少一部分，所述方法还包括：
在利用所述相应空间效果显示所述三维环境，包括显示所述虚拟环境的所述一部分时，经由所述一个或多个输入设备检测与将所述电子设备的用户的视点的取向从第一取向改变进入所述三维环境中相对应的所述电子设备的移动；以及
响应于检测到所述电子设备的所述移动：
根据确定所述电子设备的所述移动满足一个或多个标准，包括基于所述用户的预定义部分的移动而满足的标准，改变所述三维环境中根据所述电子设备的所述移动而显示所述虚拟环境的位置；以及
根据确定所述电子设备的所述移动不满足所述一个或多个标准，保持所述三维环境中显示所述虚拟环境的所述位置。
53.一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于以下操作的指令：
在经由显示生成部件在没有相应空间效果的情况下显示三维环境时，经由一个或多个输入设备检测与发起所述相应空间效果的请求相对应的第一输入；
响应于检测到所述第一输入，经由所述显示生成部件以第一沉浸水平利用所述相应空间效果显示所述三维环境；
在以所述第一沉浸水平利用所述相应空间效果显示所述三维环境时，经由所述一个或多个输入设备检测相应输入；以及
响应于检测到所述相应输入：
根据确定所述相应输入是第一输入，经由所述显示生成部件以大于所述第一沉浸水平的第二沉浸水平利用所述相应空间效果显示所述三维环境；以及
根据确定所述相应输入是与所述第一输入不同的第二输入，经由所述显示生成部件以小于所述第一沉浸水平的第三沉浸水平利用所述相应空间效果显示所述三维环境。
54.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的一个或多个处理器执行时，使得所述电子设备执行包括以下步骤的方法：
在经由显示生成部件在没有相应空间效果的情况下显示三维环境时，经由一个或多个输入设备检测与发起所述相应空间效果的请求相对应的第一输入；
响应于检测到所述第一输入，经由所述显示生成部件以第一沉浸水平利用所述相应空间效果显示所述三维环境；
在以所述第一沉浸水平利用所述相应空间效果显示所述三维环境时，经由所述一个或多个输入设备检测相应输入；以及
响应于检测到所述相应输入：
根据确定所述相应输入是第一输入，经由所述显示生成部件以大于所述第一沉浸水平的第二沉浸水平利用所述相应空间效果显示所述三维环境；以及
根据确定所述相应输入是与所述第一输入不同的第二输入，经由所述显示生成部件以小于所述第一沉浸水平的第三沉浸水平利用所述相应空间效果显示所述三维环境。
55.一种电子设备，包括：
一个或多个处理器；
存储器；
用于执行以下操作的装置：在经由显示生成部件在没有相应空间效果的情况下显示三维环境时，经由一个或多个输入设备检测与发起所述相应空间效果的请求相对应的第一输入；
用于执行以下操作的装置：响应于检测到所述第一输入，经由所述显示生成部件以第一沉浸水平利用所述相应空间效果显示所述三维环境；
用于执行以下操作的装置：在以所述第一沉浸水平利用所述相应空间效果显示所述三维环境时，经由所述一个或多个输入设备检测相应输入；以及
用于响应于检测到所述相应输入而执行以下操作的装置：
根据确定所述相应输入是第一输入，经由所述显示生成部件以大于所述第一沉浸水平的第二沉浸水平利用所述相应空间效果显示所述三维环境；以及
根据确定所述相应输入是与所述第一输入不同的第二输入，经由所述显示生成部件以小于所述第一沉浸水平的第三沉浸水平利用所述相应空间效果显示所述三维环境。
56.一种在电子设备中使用的信息处理装置，所述信息处理装置包括：
用于执行以下操作的装置：在经由显示生成部件在没有相应空间效果的情况下显示三维环境时，经由一个或多个输入设备检测与发起所述相应空间效果的请求相对应的第一输入；
用于执行以下操作的装置：响应于检测到所述第一输入，经由所述显示生成部件以第一沉浸水平利用所述相应空间效果显示所述三维环境；
用于执行以下操作的装置：在以所述第一沉浸水平利用所述相应空间效果显示所述三维环境时，经由所述一个或多个输入设备检测相应输入；以及
用于响应于检测到所述相应输入而执行以下操作的装置：
根据确定所述相应输入是第一输入，经由所述显示生成部件以大于所述第一沉浸水平的第二沉浸水平利用所述相应空间效果显示所述三维环境；以及
根据确定所述相应输入是与所述第一输入不同的第二输入，经由所述显示生成部件以小于所述第一沉浸水平的第三沉浸水平利用所述相应空间效果显示所述三维环境。
57.一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求27至52所述的方法中的任一种方法的指令。
58.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的一个或多个处理器执行时，使得所述电子设备执行根据权利要求27至52所述的方法中的任一种方法。
59.一种电子设备，包括：
一个或多个处理器；
存储器；以及
用于执行根据权利要求27至52所述的方法中的任一种方法的装置。
60.一种在电子设备中使用的信息处理装置，所述信息处理装置包括：
用于执行根据权利要求27至52所述的方法中的任一种方法的装置。
61.一种方法，包括：
在与显示生成部件和一个或多个输入设备通信的电子设备处：
经由所述显示生成部件显示包括物理环境的一部分的表示的三维环境；
在显示所述三维环境时，经由所述一个或多个输入设备检测与显示相应应用程序的相应用户界面的请求相对应的第一输入；
响应于检测到所述第一输入，经由所述显示生成部件在所述三维环境中的所述物理环境的所述一部分中显示所述相应应用程序的所述相应用户界面；
在所述三维环境中的所述物理环境的所述一部分中显示所述相应用户界面时，经由所述一个或多个输入设备检测第二输入；以及
响应于检测到第二输入：
根据确定所述第二输入对应于将所述相应用户界面移动到与所述三维环境中的所述物理环境的所述一部分一起显示的虚拟环境的一部分中的请求，在所述三维环境中的所述虚拟环境的所述一部分中显示所述相应用户界面。
62.根据权利要求61所述的方法，其中当检测到所述第一输入时，在所述三维环境中显示所述虚拟环境的所述一部分，并且响应于检测到所述第一输入，在所述三维环境中与所述虚拟环境的所述一部分同时显示所述相应应用程序的所述相应用户界面。
63.根据权利要求61所述的方法，其中当检测到所述第一输入时，不在所述三维环境中显示所述虚拟环境的所述一部分，并且当检测到所述第二输入时，在所述三维环境中显示所述虚拟环境的所述一部分。
64.根据权利要求61至63中任一项所述的方法，还包括：
在所述三维环境中的所述物理环境的所述一部分中显示所述相应应用程序的所述相应用户界面时，经由所述显示生成部件利用基于所述相应应用程序的所述相应用户界面的光照效果显示所述物理环境的所述一部分的至少相应部分。
65.根据权利要求61至64中任一项所述的方法，还包括：
在所述三维环境中的所述虚拟环境的所述一部分中显示所述相应应用程序的所述相应用户界面时，经由所述显示生成部件利用基于所述相应应用程序的所述相应用户界面的光照效果显示所述虚拟环境的所述一部分的至少相应部分。
66.根据权利要求61至65中任一项所述的方法，所述方法还包括：
在所述三维环境中的所述物理环境的所述一部分中显示所述相应应用程序的所述相应用户界面时，经由所述显示生成部件利用基于所述物理环境的所述一部分的光照效果显示所述相应应用程序的所述相应用户界面的至少相应部分。
67.根据权利要求61至66中任一项所述的方法，还包括：
在所述三维环境中的所述虚拟环境的所述一部分中显示所述相应应用程序的所述相应用户界面时，经由所述显示生成部件利用基于所述虚拟环境的所述一部分的光照效果显示所述相应应用程序的所述相应用户界面的至少相应部分。
68.根据权利要求61至67中任一项所述的方法，还包括：
响应于检测到所述第二输入，根据所述相应用户界面进入所述虚拟环境的所述一部分中并远离所述用户的视点的移动来增加所述三维环境中所述相应应用程序的所述相应用户界面的尺寸。
69.根据权利要求61至68中任一项所述的方法，其中在检测到所述第二输入之前以及在检测到所述第二输入时，利用与一天中的第一时间相对应的第一光照效果显示所述三维环境的至少一部分，所述方法还包括：
响应于检测到所述第二输入，经由所述显示生成部件利用与所述第一光照效果不同的第二光照效果显示所述三维环境的所述一部分，所述第二光照效果对应于与所述一天中的第一时间不同的一天中的第二时间。
70.根据权利要求61至69中任一项所述的方法，还包括：
在经由所述显示生成部件利用与一天中的第一时间相对应的第一光照效果显示所述三维环境的一部分时，经由所述一个或多个输入设备检测第三输入，所述第三输入对应于利用与所述电子设备处的一天中的相应时间相对应的相应光照效果显示所述三维环境的所述一部分的请求；以及
响应于检测到所述第三输入：
根据确定所述电子设备处的一天中的所述相应时间是一天中的第二时间，经由所述显示生成部件利用第二光照效果显示所述三维环境的所述一部分；以及
根据确定所述电子设备处的一天中的所述相应时间是与一天中的所述第二时间不同的一天中的第三时间，经由所述显示生成部件利用与所述第二光照效果不同的第三光照效果显示所述三维环境的所述一部分。
71.根据权利要求61至70中任一项所述的方法，还包括：
在经由所述显示生成部件利用与一天中的第一时间相对应的第一光照效果显示所述三维环境的一部分时，经由所述一个或多个输入设备检测第三输入，所述第三输入对应于利用与一天中的相应时间相对应的相应光照效果显示所述三维环境的所述一部分的请求；以及
响应于检测到所述第三输入：
根据确定所述第三输入指示一天中的第二时间，经由所述显示生成部件利用第二光照效果显示所述三维环境的所述一部分；以及
根据确定所述第三输入指示与一天中的所述第二时间不同的一天中的第三时间，经由所述显示生成部件利用与所述第二光照效果不同的第三光照效果显示所述三维环境的所述一部分。
72.根据权利要求61至71中任一项所述的方法，还包括：
在所述三维环境中与所述物理环境的所述一部分一起显示所述虚拟环境的所述一部分时，经由所述显示生成部件利用基于所述虚拟环境的所述一部分的光照效果显示所述物理环境的所述一部分的至少相应部分。
73.根据权利要求72所述的方法，其中基于所述虚拟环境的所述一部分的所述光照效果使所述物理环境的至少所述相应部分变亮。
74.根据权利要求72所述的方法，其中基于所述虚拟环境的所述一部分的所述光照效果使所述物理环境的至少所述相应部分变暗。
75.根据权利要求61至74中任一项所述的方法，还包括：
在所述三维环境中的所述虚拟环境的所述一部分中显示所述相应应用程序的所述相应用户界面时，经由所述一个或多个输入设备检测第三输入；以及
响应于检测到所述第三输入：
根据确定所述第三输入与显示所述相应应用程序的相应虚拟环境的请求相对应，经由所述显示生成部件显示所述相应应用程序的所述相应虚拟环境，而不显示所述虚拟环境的所述一部分。
76.根据权利要求75所述的方法，其中：
在显示所述相应应用程序的所述相应虚拟环境之前，所述三维环境中的所述虚拟环境的所述一部分具有一种或多种视觉特性；并且
在显示所述相应应用程序的所述相应虚拟环境之后，所述相应虚拟环境具有所述一种或多种视觉特性。
77.根据权利要求75至76中任一项所述的方法，其中：
当检测到所述第三输入时，经由所述显示生成部件将所述相应应用程序的所述相应用户界面连同所述三维环境中的所述物理环境的所述一部分一起显示在所述虚拟环境的所述一部分中，并且
响应于检测到所述第三输入并且根据确定所述第三输入与显示所述相应应用程序的所述相应虚拟环境的所述请求相对应，经由所述显示生成部件显示所述相应应用程序的所述相应虚拟环境，而不显示所述虚拟环境的所述一部分。
78.根据权利要求75至77中任一项所述的方法，其中：
当检测到所述第三输入时，经由所述显示生成部件以第一沉浸水平显示所述虚拟环境的所述一部分，并且
响应于检测到所述第三输入并且根据确定所述第三输入与显示所述相应应用程序的所述相应虚拟环境的所述请求相对应，经由所述显示生成部件以大于所述第一沉浸水平的第二沉浸水平显示所述相应应用程序的所述相应虚拟环境。
79.一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于以下操作的指令：
经由显示生成部件显示包括物理环境的一部分的表示的三维环境；
在显示所述三维环境时，经由一个或多个输入设备检测与显示相应应用程序的相应用户界面的请求相对应的第一输入；
响应于检测到所述第一输入，经由所述显示生成部件在所述三维环境中的所述物理环境的所述一部分中显示所述相应应用程序的所述相应用户界面；
在所述三维环境中的所述物理环境的所述一部分中显示所述相应用户界面时，经由所述一个或多个输入设备检测第二输入；以及
响应于检测到第二输入：
根据确定所述第二输入对应于将所述相应用户界面移动到与所述三维环境中的所述物理环境的所述一部分一起显示的虚拟环境的一部分中的请求，在所述三维环境中的所述虚拟环境的所述一部分中显示所述相应用户界面。
80.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的一个或多个处理器执行时，使得所述电子设备执行包括以下步骤的方法：
经由显示生成部件显示包括物理环境的一部分的表示的三维环境；
在显示所述三维环境时，经由一个或多个输入设备检测与显示相应应用程序的相应用户界面的请求相对应的第一输入；
响应于检测到所述第一输入，经由所述显示生成部件在所述三维环境中的所述物理环境的所述一部分中显示所述相应应用程序的所述相应用户界面；
在所述三维环境中的所述物理环境的所述一部分中显示所述相应用户界面时，经由所述一个或多个输入设备检测第二输入；以及
响应于检测到第二输入：
根据确定所述第二输入对应于将所述相应用户界面移动到与所述三维环境中的所述物理环境的所述一部分一起显示的虚拟环境的一部分中的请求，在所述三维环境中的所述虚拟环境的所述一部分中显示所述相应用户界面。
81.一种电子设备，包括：
一个或多个处理器；
存储器；
用于经由显示生成部件显示包括物理环境的一部分的表示的三维环境的装置；
用于执行以下操作的装置：在显示所述三维环境时，经由一个或多个输入设备检测与显示相应应用程序的相应用户界面的请求相对应的第一输入；
用于执行以下操作的装置：响应于检测到所述第一输入，经由所述显示生成部件在所述三维环境中的所述物理环境的所述一部分中显示所述相应应用程序的所述相应用户界面；
用于执行以下操作的装置：在所述三维环境中的所述物理环境的所述一部分中显示所述相应用户界面时，经由所述一个或多个输入设备检测第二输入；以及
用于响应于检测到所述第二输入而执行以下操作的装置：
根据确定所述第二输入对应于将所述相应用户界面移动到与所述三维环境中的所述物理环境的所述一部分一起显示的虚拟环境的一部分中的请求，在所述三维环境中的所述虚拟环境的所述一部分中显示所述相应用户界面。
82.一种在电子设备中使用的信息处理装置，所述信息处理装置包括：
用于经由显示生成部件显示包括物理环境的一部分的表示的三维环境的装置；
用于执行以下操作的装置：在显示所述三维环境时，经由一个或多个输入设备检测与显示相应应用程序的相应用户界面的请求相对应的第一输入；
用于执行以下操作的装置：响应于检测到所述第一输入，经由所述显示生成部件在所述三维环境中的所述物理环境的所述一部分中显示所述相应应用程序的所述相应用户界面；
用于执行以下操作的装置：在所述三维环境中的所述物理环境的所述一部分中显示所述相应用户界面时，经由所述一个或多个输入设备检测第二输入；以及
用于响应于检测到所述第二输入而执行以下操作的装置：
根据确定所述第二输入对应于将所述相应用户界面移动到与所述三维环境中的所述物理环境的所述一部分一起显示的虚拟环境的一部分中的请求，在所述三维环境中的所述虚拟环境的所述一部分中显示所述相应用户界面。
83.一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求61至78所述的方法中的任一种方法的指令。
84.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的一个或多个处理器执行时，使得所述电子设备执行根据权利要求61至78所述的方法中的任一种方法。
85.一种电子设备，包括：
一个或多个处理器；
存储器；以及
用于执行根据权利要求61至78所述的方法中的任一种方法的装置。
86.一种在电子设备中使用的信息处理装置，所述信息处理装置包括：
用于执行根据权利要求61至78所述的方法中的任一种方法的装置。
87.一种方法，包括：
在与显示生成部件和一个或多个输入设备通信的电子设备处：
在与所述电子设备的用户的视点相对应的对象处于所述电子设备的物理环境中的区域内的第一位置时，经由所述显示生成部件从所述用户的所述视点显示三维环境，其中所述三维环境包括模拟环境以及所述三维环境的包括所述模拟环境的第一部分与所述三维环境的第二部分之间的边界，其中所述边界与所述三维环境中所述电子设备的所述用户的所述视点相距第一距离；
在显示包括所述模拟环境和与所述用户的所述视点相距所述第一距离的所述边界的所述三维环境时，经由所述一个或多个输入设备检测与所述用户的所述视点相对应的所述对象远离所述物理环境中的所述第一位置到第二位置的移动；以及
响应于检测到与所述用户的所述视点相对应的所述对象远离所述第一位置到所述第二位置的所述移动：
根据确定与所述用户的所述视点相对应的所述对象远离所述物理环境中的所述第一位置到所述第二位置的所述移动满足一个或多个标准，更新所述三维环境以改变被所述模拟环境占据的所述三维环境的量，使得所述模拟环境的所述边界与所述用户的所述视点相距比所述第一距离更远的第二距离，其中更新所述三维环境包括将所述模拟环境的一部分的显示替换为所述电子设备的所述物理环境的一部分的表示的显示。
88.根据权利要求87所述的方法，其中：
所述三维环境的所述第一部分与所述三维环境的所述第二部分之间的所述边界包括所述模拟环境与所述三维环境的所述第二部分之间的区域；并且
在所述区域内的特定位置处，同时显示所述模拟环境的至少相应部分和所述三维环境的所述第二部分的至少相应部分。
89.根据权利要求87至88中任一项所述的方法，还包括：
响应于检测到与所述用户的所述视点相对应的所述对象从所述第一位置到所述第二位置的所述移动并且根据确定与所述用户的所述视点相对应的所述对象远离所述物理环境中的所述第一位置到所述第二位置的所述移动满足所述一个或多个标准，降低显示所述模拟环境的沉浸水平。
90.根据权利要求87至89中任一项所述的方法，其中更新所述三维环境以改变被所述模拟环境占据的所述三维环境的所述量，使得所述模拟环境的所述边界与所述用户的所述视点相距所述第二距离，这与所述电子设备的所述物理环境中是否存在障碍物无关。
91.根据权利要求87至90中任一项所述的方法，还包括：
在检测到与所述用户的所述视点相对应的所述对象从所述第一位置到所述第二位置的所述移动之后并且在显示包括所述模拟环境和与所述用户的所述视点相距所述第二距离的所述边界的所述三维环境时，经由所述一个或多个输入设备检测与所述用户的所述视点相对应的所述对象远离所述物理环境中的所述第二位置的第二移动；以及
响应于检测到与所述用户的所述视点相对应的所述对象远离所述物理环境中的所述第二位置的所述第二移动：
根据确定与所述用户的所述视点相对应的所述对象的所述第二移动远离所述边界，更新所述三维环境以改变被所述模拟环境占据的所述三维环境的所述量，包括将所述物理环境的所述一部分的所述表示替换为所述模拟环境的所述一部分。
92.根据权利要求87至91中任一项所述的方法，其中更新所述三维环境以改变被所述模拟环境占据的所述三维环境的所述量包括：
根据确定所述第二位置与所述边界相距第一相应距离，将所述模拟环境的第一量的显示替换为所述电子设备的所述物理环境的所述第一量的显示；以及
根据确定所述第二位置与所述边界相距不同于所述第一相应距离的第二相应距离，将所述模拟环境的与所述第一量不同的第二量的显示替换为所述电子设备的所述物理环境的所述第二量的显示。
93.根据权利要求87至92中任一项所述的方法，其中更新所述三维环境以改变被所述模拟环境占据的所述三维环境的所述量包括：
根据确定与所述用户的所述视点相对应的所述对象的所述移动的速度是第一速度，将所述模拟环境的第一量的显示替换为所述电子设备的所述物理环境的所述第一量的显示；以及
根据确定与所述用户的所述视点相对应的所述对象的所述移动的所述速度是不同于所述第一速度的第二速度，将所述模拟环境的与所述第一量不同的第二量的显示替换为所述电子设备的所述物理环境的所述第二量的显示。
94.根据权利要求87至93中任一项所述的方法，其中更新所述三维环境以改变被所述模拟环境占据的所述三维环境的所述量包括：
根据确定与所述用户的所述视点相对应的所述对象的所述移动的加速度是第一加速度，将所述模拟环境的第一量的显示替换为所述电子设备的所述物理环境的所述第一量的显示；以及
根据确定与所述用户的所述视点相对应的所述对象的所述移动的所述加速度是不同于所述第一加速度的第二加速度，将所述模拟环境的与所述第一量不同的第二量的显示替换为所述电子设备的所述物理环境的所述第二量的显示。
95.根据权利要求87至94中任一项所述的方法，还包括：
在检测到与所述用户的所述视点相对应的所述对象从所述第一位置到所述第二位置的所述移动之后并且在显示包括所述模拟环境和与所述用户的所述视点相距所述第二距离的所述边界的所述三维环境时，经由所述一个或多个输入设备检测与所述用户的所述视点相对应的所述对象远离所述物理环境中的所述第二位置的第二移动；以及
响应于检测到与所述用户的所述视点相对应的所述对象远离所述物理环境中的所述第二位置的所述第二移动：
根据确定与所述用户的所述视点相对应的所述对象的所述第二移动朝向所述边界，更新所述三维环境以停止在所述三维环境内显示所述模拟环境。
96.根据权利要求87至95中任一项所述的方法，还包括：
在显示包括所述模拟环境和与所述用户的所述视点相距所述第一距离的所述边界的所述三维环境时，经由所述一个或多个输入设备检测与所述用户的所述视点相对应的所述对象的取向变化，而不检测与所述用户的所述视点相对应的所述对象远离所述物理环境中的所述第一位置的移动；以及
响应于检测到与所述用户的所述视点相对应的所述对象的所述取向的所述变化，根据与所述用户的所述视点相对应的所述对象的所述取向的所述变化来更新所述三维环境的显示，同时将所述边界保持在距所述用户的所述视点的所述第一距离处，并且不将所述模拟环境的所述一部分的显示替换为所述电子设备的所述物理环境的所述一部分的所述表示的显示。
97.根据权利要求87至96中任一项所述的方法，其中所述一个或多个标准包括在所述第二位置处于与所述边界相对应的位置的阈值距离内时满足、且在所述第二位置距与所述边界相对应的所述位置远于所述阈值距离时不满足的标准。
98.根据权利要求87至97中任一项所述的方法，其中更新所述三维环境以改变被所述模拟环境占据的所述三维环境的所述量包括基于所述电子设备的所述物理环境中的一个或多个物理特征距与所述用户的所述视点相对应的所述对象的距离来改变所述三维的哪些部分被所述模拟环境占据。
99.根据权利要求87至98中任一项所述的方法，还包括：
在显示所述三维环境，包括利用大气效果显示所述物理环境的第三部分的表示时，经由所述一个或多个输入设备检测与所述用户的所述视点相对应的所述对象远离所述物理环境中的所述第一位置到所述第二位置的第二移动；以及
响应于检测到与所述用户的所述视点相对应的所述对象远离所述第一位置到所述第二位置的所述第二移动，根据与所述用户的所述视点相对应的所述对象的所述第二移动来更新所述三维环境的显示，而不改变显示所述物理环境的所述第三部分的所述表示时的所述大气效果。
100.根据权利要求87至99中任一项所述的方法，其中在检测到与所述用户的所述视点相对应的所述对象从所述第一位置到所述第二位置的所述移动之前，所述三维环境包括位于所述模拟环境中的应用程序的用户界面，所述方法还包括：
响应于检测到与所述用户的所述视点相对应的所述对象远离所述第一位置到所述第二位置的所述移动，根据确定与所述用户的所述视点相对应的所述对象远离所述物理环境中的所述第一位置到所述第二位置的所述移动满足所述一个或多个第二标准：
更新所述三维环境以不再包括所述模拟环境；以及
停止所述应用程序的所述用户界面在所述三维环境中的显示。
101.根据权利要求87至100中任一项所述的方法，其中在检测到与所述用户的所述视点相对应的所述对象从所述第一位置到所述第二位置的所述移动之前，所述三维环境包括位于所述三维环境中的所述模拟环境之外的应用程序的用户界面，所述方法还包括：
响应于检测到与所述用户的所述视点相对应的所述对象远离所述第一位置到所述第二位置的所述移动，根据确定与所述用户的所述视点相对应的所述对象远离所述物理环境中的所述第一位置到所述第二位置的所述移动满足一个或多个第二标准：
更新所述三维环境以不再包括所述模拟环境；以及
保持所述应用程序的所述用户界面在所述三维环境中的显示。
102.根据权利要求87至99和101中任一项所述的方法，其中在检测到与所述用户的所述视点相对应的所述对象从所述第一位置到所述第二位置的所述移动之前，所述三维环境包括位于所述模拟环境中的应用程序的用户界面，所述方法还包括：
响应于检测到与所述用户的所述视点相对应的所述对象远离所述第一位置到所述第二位置的所述移动，根据确定与所述用户的所述视点相对应的所述对象远离所述物理环境中的所述第一位置到所述第二位置的所述移动满足一个或多个第二标准：
更新所述三维环境的所述第一部分以不再包括所述模拟环境；以及
在所述三维环境的所述第二部分中显示所述应用程序的所述用户界面。
103.根据权利要求102所述的方法，其中：
在所述应用程序的所述用户界面位于所述三维环境的所述第一部分中时，所述应用程序的所述用户界面在所述三维环境中具有第一尺寸，并且
在所述应用程序的所述用户界面位于所述三维环境的所述第二部分中时，所述应用程序的所述用户界面在所述三维环境的所述第一部分中具有小于所述第一尺寸的第二尺寸。
104.一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于以下操作的指令：
在与所述电子设备的用户的视点相对应的对象处于所述电子设备的物理环境中的区域内的第一位置时，经由显示生成部件从所述用户的所述视点显示三维环境，其中所述三维环境包括模拟环境以及所述三维环境的包括所述模拟环境的第一部分与所述三维环境的第二部分之间的边界，其中所述边界与所述三维环境中所述电子设备的所述用户的所述视点相距第一距离；
在显示包括所述模拟环境和与所述用户的所述视点相距所述第一距离的所述边界的所述三维环境时，经由一个或多个输入设备检测与所述用户的所述视点相对应的所述对象远离所述物理环境中的所述第一位置到第二位置的移动；以及
响应于检测到与所述用户的所述视点相对应的所述对象远离所述第一位置到所述第二位置的所述移动：
根据确定与所述用户的所述视点相对应的所述对象远离所述物理环境中的所述第一位置到所述第二位置的所述移动满足一个或多个标准，更新所述三维环境以改变被所述模拟环境占据的所述三维环境的量，使得所述模拟环境的所述边界与所述用户的所述视点相距比所述第一距离更远的第二距离，其中更新所述三维环境包括将所述模拟环境的一部分的显示替换为所述电子设备的所述物理环境的一部分的表示的显示。
105.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的一个或多个处理器执行时，使得所述电子设备执行包括以下步骤的方法：
在与所述电子设备的用户的视点相对应的对象处于所述电子设备的物理环境中的区域内的第一位置时，经由显示生成部件从所述用户的所述视点显示三维环境，其中所述三维环境包括模拟环境以及所述三维环境的包括所述模拟环境的第一部分与所述三维环境的第二部分之间的边界，其中所述边界与所述三维环境中所述电子设备的所述用户的所述视点相距第一距离；
在显示包括所述模拟环境和与所述用户的所述视点相距所述第一距离的所述边界的所述三维环境时，经由一个或多个输入设备检测与所述用户的所述视点相对应的所述对象远离所述物理环境中的所述第一位置到第二位置的移动；以及
响应于检测到与所述用户的所述视点相对应的所述对象远离所述第一位置到所述第二位置的所述移动：
根据确定与所述用户的所述视点相对应的所述对象远离所述物理环境中的所述第一位置到所述第二位置的所述移动满足一个或多个标准，更新所述三维环境以改变被所述模拟环境占据的所述三维环境的量，使得所述模拟环境的所述边界与所述用户的所述视点相距比所述第一距离更远的第二距离，其中更新所述三维环境包括将所述模拟环境的一部分的显示替换为所述电子设备的所述物理环境的一部分的表示的显示。
106.一种电子设备，包括：
一个或多个处理器；
存储器；
用于执行以下操作的装置：在与所述电子设备的用户的视点相对应的对象处于所述电子设备的物理环境中的区域内的第一位置时，经由显示生成部件从所述用户的所述视点显示三维环境，其中所述三维环境包括模拟环境以及所述三维环境的包括所述模拟环境的第一部分与所述三维环境的第二部分之间的边界，其中所述边界与所述三维环境中所述电子设备的所述用户的所述视点相距第一距离；
用于执行以下操作的装置：在显示包括所述模拟环境和与所述用户的所述视点相距所述第一距离的所述边界的所述三维环境时，经由一个或多个输入设备检测与所述用户的所述视点相对应的所述对象远离所述物理环境中的所述第一位置到第二位置的移动；以及
用于执行以下操作的装置：响应于检测到与所述用户的所述视点相对应的所述对象远离所述第一位置到所述第二位置的所述移动：
根据确定与所述用户的所述视点相对应的所述对象远离所述物理环境中的所述第一位置到所述第二位置的所述移动满足一个或多个标准，更新所述三维环境以改变被所述模拟环境占据的所述三维环境的量，使得所述模拟环境的所述边界与所述用户的所述视点相距比所述第一距离更远的第二距离，其中更新所述三维环境包括将所述模拟环境的一部分的显示替换为所述电子设备的所述物理环境的一部分的表示的显示。
107.一种在电子设备中使用的信息处理装置，所述信息处理装置包括：
用于执行以下操作的装置：在与所述电子设备的用户的视点相对应的对象处于所述电子设备的物理环境中的区域内的第一位置时，经由显示生成部件从所述用户的所述视点显示三维环境，其中所述三维环境包括模拟环境以及所述三维环境的包括所述模拟环境的第一部分与所述三维环境的第二部分之间的边界，其中所述边界与所述三维环境中所述电子设备的所述用户的所述视点相距第一距离；
用于执行以下操作的装置：在显示包括所述模拟环境和与所述用户的所述视点相距所述第一距离的所述边界的所述三维环境时，经由一个或多个输入设备检测与所述用户的所述视点相对应的所述对象远离所述物理环境中的所述第一位置到第二位置的移动；以及
用于执行以下操作的装置：响应于检测到与所述用户的所述视点相对应的所述对象远离所述第一位置到所述第二位置的所述移动：
根据确定与所述用户的所述视点相对应的所述对象远离所述物理环境中的所述第一位置到所述第二位置的所述移动满足一个或多个标准，更新所述三维环境以改变被所述模拟环境占据的所述三维环境的量，使得所述模拟环境的所述边界与所述用户的所述视点相距比所述第一距离更远的第二距离，其中更新所述三维环境包括将所述模拟环境的一部分的显示替换为所述电子设备的所述物理环境的一部分的表示的显示。
108.一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求87至103所述的方法中的任一种方法的指令。
109.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的一个或多个处理器执行时，使得所述电子设备执行根据权利要求87至103所述的方法中的任一种方法。
110.一种电子设备，包括：
一个或多个处理器；
存储器；以及
用于执行根据权利要求87至103所述的方法中的任一种方法的装置。
111.一种在电子设备中使用的信息处理装置，所述信息处理装置包括：
用于执行根据权利要求87至103所述的方法中的任一种方法的装置。
112.一种方法，包括：
在与显示生成部件和一个或多个输入设备通信的电子设备处：
经由所述显示生成部件在经由所述显示生成部件可见的三维环境中显示虚拟对象，其中：
所述三维环境包括具有第一视觉外观的模拟环境，并且
所述虚拟对象位于所述三维环境中的所述模拟环境之外；
在所述三维环境中显示所述虚拟对象时，经由所述一个或多个输入设备接收与在所述三维环境中移动所述虚拟对象的请求相对应的第一输入；以及
响应于接收到所述第一输入：
根据所述第一输入在所述三维环境中移动所述虚拟对象；
根据确定所述第一输入与将所述虚拟对象移动到所述模拟环境中的请求相对应，利用不同于所述第一视觉外观的第二视觉外观显示所述模拟环境；以及
根据确定所述第一输入与在不将所述虚拟对象移动到所述模拟环境中的情况下在所述三维环境内移动所述虚拟对象的请求相对应，保持利用所述第一视觉外观显示所述模拟环境。
113.根据权利要求112所述的方法，其中：
利用所述第一视觉外观显示所述模拟环境包括显示占据所述三维环境的第一部分的所述模拟环境，并且
利用所述第二视觉外观显示所述模拟环境包括显示占据所述三维环境的第二部分的所述模拟环境，其中所述三维环境的所述第二部分具有不同于所述三维环境的所述第一部分的尺寸。
114.根据权利要求112至113中任一项所述的方法，其中：
利用所述第一视觉外观显示所述模拟环境包括在所述三维环境中利用第一不透明度水平显示所述模拟环境，并且
利用所述第二视觉外观显示所述模拟环境包括在所述三维环境中利用不同于所述第一不透明度水平的第二不透明度水平显示所述模拟环境。
115.根据权利要求112至114中任一项所述的方法，其中：
利用所述第一视觉外观显示所述模拟环境包括在所述三维环境中的第一位置处显示所述模拟环境，并且
利用所述第二视觉外观显示所述模拟环境包括在所述三维环境中的不同于所述第一位置的第二位置处显示所述模拟环境。
116.根据权利要求112至115中任一项所述的方法，其中：
利用所述第一视觉外观显示所述模拟环境包括在所述三维环境中利用第一沉浸水平显示所述模拟环境，并且
利用所述第二视觉外观显示所述模拟环境包括在所述三维环境中以不同于所述第一沉浸水平的第二沉浸水平显示所述模拟环境。
117.根据权利要求112至116中任一项所述的方法，其中根据确定所述第一输入与将所述虚拟对象投掷到所述模拟环境中的请求相对应，所述第一输入与将所述虚拟对象移动到所述模拟环境中的所述请求相对应。
118.根据权利要求112至117中任一项所述的方法，其中根据确定所述第一输入与对所述三维环境中显示的可选选项的选择相对应，所述第一输入与将所述虚拟对象移动到所述模拟环境中的所述请求相对应，其中所述可选选项是可选择的以将所述虚拟对象移动到所述模拟环境中。
119.根据权利要求112至118中任一项所述的方法，其中利用所述第一视觉外观显示所述模拟环境包括在所述三维环境中的第一位置处显示所述模拟环境，所述方法还包括：
响应于接收到所述第一输入，并且根据确定所述第一输入与将所述虚拟对象移动到所述模拟环境中的所述请求相对应：
根据确定所述第一输入与将所述虚拟对象移动到所述三维环境中的第二位置的请求相对应，在所述三维环境中的第三位置处显示所述模拟环境；以及
根据确定所述第一输入与将所述虚拟对象移动到所述三维环境中不同于所述第二位置的第四位置的请求相对应，在所述三维环境中不同于所述第三位置的第五位置处显示所述模拟环境。
120.根据权利要求119所述的方法，其中在所述第三位置处显示所述模拟环境包括在所述第二位置处显示所述模拟环境的预先确定的部分。
121.根据权利要求119至120中任一项所述的方法，其中在所述第五位置处显示所述模拟环境包括在所述第四位置处显示所述模拟环境的预先确定的部分。
122.根据权利要求112至118中任一项所述的方法，其中利用所述第一视觉外观显示所述模拟环境包括在所述三维环境中的第一位置处显示所述模拟环境，所述方法还包括：
响应于接收到所述第一输入，并且根据确定所述第一输入与将所述虚拟对象移动到所述模拟环境中的所述请求相对应：
根据确定所述电子设备的用户的当前视点是第一视点，在所述三维环境中的第二位置处显示所述模拟环境，其中在所述三维环境中的所述第二位置处的所述模拟环境具有相对于所述第一视点的相应空间布置；以及
根据确定所述用户的所述当前视点是不同于所述第一视点的第二视点，在所述三维环境中不同于所述第二位置的第三位置处显示所述模拟环境，其中在所述三维环境中的所述第三位置处的所述模拟环境具有相对于所述第二视点的所述相应空间布置。
123.根据权利要求112至122中任一项所述的方法，其中当接收到所述第一输入时，所述虚拟对象在所述三维环境中具有第一尺寸，所述方法还包括：
响应于接收到所述第一输入并且根据确定所述第一输入与将所述虚拟对象移动到所述模拟环境中的所述请求相对应，在所述模拟环境内显示所述虚拟对象，其中所述模拟环境内的所述虚拟对象在所述三维环境中具有大于所述第一尺寸的第二尺寸。
124.根据权利要求112至123中任一项所述的方法，还包括：
响应于接收到所述第一输入并且根据确定所述第一输入与将所述虚拟对象移动到所述模拟环境中的所述请求相对应，在所述模拟环境内的第一位置处显示所述虚拟对象，其中所述第一位置是不基于所述第一输入的预先确定的位置。
125.根据权利要求112至124中任一项所述的方法，还包括：
响应于接收到所述第一输入并且根据确定所述第一输入与将所述虚拟对象移动到所述模拟环境中的所述请求相对应，在所述模拟环境内的第一位置处显示所述虚拟对象；
在所述模拟环境内的所述第一位置处显示所述虚拟对象时，经由所述一个或多个输入设备接收指向所述虚拟对象的第二输入，其中所述第二输入包括与远离所述模拟环境内的所述第一位置的移动相对应的移动；
在接收到所述第二输入时，根据所述第二输入使所述虚拟对象远离所述模拟环境内的所述第一位置移动；以及
在接收到所述第二输入之后：
根据确定所述第二输入满足一个或多个标准，经由所述显示生成部件根据所述第二输入在所述三维环境中的第二位置处显示所述虚拟对象，其中所述第二位置在所述模拟环境之外；以及
根据确定所述第二输入不满足所述一个或多个标准，将所述虚拟对象往回移动到所述模拟环境内的所述第一位置。
126.根据权利要求125所述的方法，其中所述一个或多个标准包括在所述第二输入中的所述移动的量值是第一量值时满足、且在所述第二输入中的所述移动的所述量值是不同于所述第一量值的第二量值时不满足的标准。
127.根据权利要求125至126中任一项所述的方法，其中所述一个或多个标准包括在所述第二输入中的所述移动的方向是第一方向时满足、且在所述第二输入中的所述移动的所述方向是不同于所述第一方向的第二方向时不满足的标准。
128.一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于以下操作的指令：
经由显示生成部件在经由所述显示生成部件可见的三维环境中显示虚拟对象，其中：
所述三维环境包括具有第一视觉外观的模拟环境，并且
所述虚拟对象位于所述三维环境中的所述模拟环境之外；
在所述三维环境中显示所述虚拟对象时，经由一个或多个输入设备接收与在所述三维环境中移动所述虚拟对象的请求相对应的第一输入；以及
响应于接收到所述第一输入：
根据所述第一输入在所述三维环境中移动所述虚拟对象；
根据确定所述第一输入与将所述虚拟对象移动到所述模拟环境中的请求相对应，利用不同于所述第一视觉外观的第二视觉外观显示所述模拟环境；以及
根据确定所述第一输入与在不将所述虚拟对象移动到所述模拟环境中的情况下在所述三维环境内移动所述虚拟对象的请求相对应，保持利用所述第一视觉外观显示所述模拟环境。
129.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的一个或多个处理器执行时，使得所述电子设备执行包括以下步骤的方法：
经由显示生成部件在经由所述显示生成部件可见的三维环境中显示虚拟对象，其中：
所述三维环境包括具有第一视觉外观的模拟环境，并且
所述虚拟对象位于所述三维环境中的所述模拟环境之外；
在所述三维环境中显示所述虚拟对象时，经由一个或多个输入设备接收与在所述三维环境中移动所述虚拟对象的请求相对应的第一输入；以及
响应于接收到所述第一输入：
根据所述第一输入在所述三维环境中移动所述虚拟对象；
根据确定所述第一输入与将所述虚拟对象移动到所述模拟环境中的请求相对应，利用不同于所述第一视觉外观的第二视觉外观显示所述模拟环境；以及
根据确定所述第一输入与在不将所述虚拟对象移动到所述模拟环境中的情况下在所述三维环境内移动所述虚拟对象的请求相对应，保持利用所述第一视觉外观显示所述模拟环境。
130.一种电子设备，包括：
一个或多个处理器；
存储器；
用于经由显示生成部件在经由所述显示生成部件可见的三维环境中显示虚拟对象的装置，其中：
所述三维环境包括具有第一视觉外观的模拟环境，并且
所述虚拟对象位于所述三维环境中的所述模拟环境之外；
用于执行以下操作的装置：在所述三维环境中显示所述虚拟对象时，经由一个或多个输入设备接收与在所述三维环境中移动所述虚拟对象的请求相对应的第一输入；以及
用于执行以下操作的装置：响应于接收到所述第一输入：
根据所述第一输入在所述三维环境中移动所述虚拟对象；
根据确定所述第一输入与将所述虚拟对象移动到所述模拟环境中的请求相对应，利用不同于所述第一视觉外观的第二视觉外观显示所述模拟环境；以及
根据确定所述第一输入与在不将所述虚拟对象移动到所述模拟环境中的情况下在所述三维环境内移动所述虚拟对象的请求相对应，保持利用所述第一视觉外观显示所述模拟环境。
131.一种在电子设备中使用的信息处理装置，所述信息处理装置包括：
用于经由显示生成部件在经由所述显示生成部件可见的三维环境中显示虚拟对象的装置，其中：
所述三维环境包括具有第一视觉外观的模拟环境，并且
所述虚拟对象位于所述三维环境中的所述模拟环境之外；
用于执行以下操作的装置：在所述三维环境中显示所述虚拟对象时，经由一个或多个输入设备接收与在所述三维环境中移动所述虚拟对象的请求相对应的第一输入；以及
用于执行以下操作的装置：响应于接收到所述第一输入：
根据所述第一输入在所述三维环境中移动所述虚拟对象；
根据确定所述第一输入与将所述虚拟对象移动到所述模拟环境中的请求相对应，利用不同于所述第一视觉外观的第二视觉外观显示所述模拟环境；以及
根据确定所述第一输入与在不将所述虚拟对象移动到所述模拟环境中的情况下在所述三维环境内移动所述虚拟对象的请求相对应，保持利用所述第一视觉外观显示所述模拟环境。
132.一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求112至127所述的方法中的任一种方法的指令。
133.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的一个或多个处理器执行时，使得所述电子设备执行根据权利要求112至127所述的方法中的任一种方法。
134.一种电子设备，包括：
一个或多个处理器；
存储器；以及
用于执行根据权利要求112至127所述的方法中的任一种方法的装置。
135.一种在电子设备中使用的信息处理装置，所述信息处理装置包括：
用于执行根据权利要求112至127所述的方法中的任一种方法的装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410054062.4A CN117873325A (zh) | 2021-04-13 | 2022-04-13 | 用于在环境中提供沉浸式体验的方法 |
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US63/174,272 | 2021-04-13 | ||
| US63/261,554 | 2021-09-23 | ||
| US63/264,831 | 2021-12-02 | ||
| US202263362799P | 2022-04-11 | 2022-04-11 | |
| US63/362,799 | 2022-04-11 | ||
| PCT/US2022/071704 WO2022221851A1 (en) | 2021-04-13 | 2022-04-13 | Methods for providing an immersive experience in an environment |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410054062.4A Division CN117873325A (zh) | 2021-04-13 | 2022-04-13 | 用于在环境中提供沉浸式体验的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117480472A true CN117480472A (zh) | 2024-01-30 |
Family
ID=89638381
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280041855.1A Pending CN117480472A (zh) | 2021-04-13 | 2022-04-13 | 用于在环境中提供沉浸式体验的方法 |
| CN202410054062.4A Pending CN117873325A (zh) | 2021-04-13 | 2022-04-13 | 用于在环境中提供沉浸式体验的方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410054062.4A Pending CN117873325A (zh) | 2021-04-13 | 2022-04-13 | 用于在环境中提供沉浸式体验的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN117480472A (zh) |
-
2022
- 2022-04-13 CN CN202280041855.1A patent/CN117480472A/zh active Pending
- 2022-04-13 CN CN202410054062.4A patent/CN117873325A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN117873325A (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11340756B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| CN114721470A (zh) | 用于与三维环境进行交互的设备、方法和图形用户界面 | |
| CN116438505A (zh) | 用于操纵环境中的对象的方法 | |
| CN117724630A (zh) | 用于与三维环境进行交互的设备、方法和图形用户界面 | |
| US20220253136A1 (en) | Methods for presenting and sharing content in an environment | |
| CN117555417A (zh) | 用于调节和/或控制与用户界面相关联的沉浸度的方法 | |
| CN116171422A (zh) | 用于提供计算机生成的体验的设备、方法和图形用户界面 | |
| US11934569B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| US20230336865A1 (en) | Device, methods, and graphical user interfaces for capturing and displaying media | |
| US20230384907A1 (en) | Methods for relative manipulation of a three-dimensional environment | |
| US20230343049A1 (en) | Obstructed objects in a three-dimensional environment | |
| US20220326837A1 (en) | Methods for providing an immersive experience in an environment | |
| US20230221833A1 (en) | Methods for displaying user interface elements relative to media content | |
| US20230106627A1 (en) | Devices, Methods, And Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
| US20220301264A1 (en) | Devices, methods, and graphical user interfaces for maps | |
| CN117480472A (zh) | 用于在环境中提供沉浸式体验的方法 | |
| US20240094862A1 (en) | Devices, Methods, and Graphical User Interfaces for Displaying Shadow and Light Effects in Three-Dimensional Environments | |
| US20230350539A1 (en) | Representations of messages in a three-dimensional environment | |
| US20240103614A1 (en) | Devices, methods, for interacting with graphical user interfaces | |
| US20240104877A1 (en) | Methods for time of day adjustments for environments and environment presentation during communication sessions | |
| CN117999534A (zh) | 用于与三维环境进行交互的设备、方法和图形用户界面 | |
| WO2024063786A1 (en) | Devices, methods, and graphical user interfaces for displaying shadow and light effects in three-dimensional environments | |
| WO2024064932A1 (en) | Methods for controlling and interacting with a three-dimensional environment | |
| CN118043766A (zh) | 用于与三维环境进行交互的设备、方法和图形用户界面 | |
| CN117940880A (zh) | 用于与媒体和三维环境交互的设备、方法和图形用户界面 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |