CN117724630A - 用于与三维环境进行交互的设备、方法和图形用户界面 - Google Patents
用于与三维环境进行交互的设备、方法和图形用户界面 Download PDFInfo
- Publication number
- CN117724630A CN117724630A CN202311747041.2A CN202311747041A CN117724630A CN 117724630 A CN117724630 A CN 117724630A CN 202311747041 A CN202311747041 A CN 202311747041A CN 117724630 A CN117724630 A CN 117724630A
- Authority
- CN
- China
- Prior art keywords
- user
- user interface
- hand
- interface object
- dimensional environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 326
- 230000033001 locomotion Effects 0.000 claims abstract description 1101
- 230000004044 response Effects 0.000 claims abstract description 403
- 238000004891 communication Methods 0.000 claims description 953
- 230000000007 visual effect Effects 0.000 claims description 383
- 238000003860 storage Methods 0.000 claims description 25
- 230000003213 activating effect Effects 0.000 claims description 24
- 210000003128 head Anatomy 0.000 description 243
- 230000001976 improved effect Effects 0.000 description 168
- 230000008859 change Effects 0.000 description 147
- 210000003811 finger Anatomy 0.000 description 119
- 230000003190 augmentative effect Effects 0.000 description 115
- 230000002829 reductive effect Effects 0.000 description 83
- 210000000707 wrist Anatomy 0.000 description 75
- 238000001514 detection method Methods 0.000 description 63
- 230000008569 process Effects 0.000 description 50
- 230000007704 transition Effects 0.000 description 48
- 230000001965 increasing effect Effects 0.000 description 46
- 210000004247 hand Anatomy 0.000 description 44
- 230000003993 interaction Effects 0.000 description 44
- 210000003813 thumb Anatomy 0.000 description 43
- 230000000977 initiatory effect Effects 0.000 description 41
- 230000002093 peripheral effect Effects 0.000 description 39
- 238000010586 diagram Methods 0.000 description 34
- 230000004913 activation Effects 0.000 description 31
- 230000005540 biological transmission Effects 0.000 description 23
- 230000006870 function Effects 0.000 description 23
- 230000006399 behavior Effects 0.000 description 22
- 238000007654 immersion Methods 0.000 description 20
- 230000007423 decrease Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 19
- 230000000694 effects Effects 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 16
- 238000013519 translation Methods 0.000 description 14
- 238000012790 confirmation Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 10
- 230000002441 reversible effect Effects 0.000 description 10
- 230000001953 sensory effect Effects 0.000 description 10
- 210000001747 pupil Anatomy 0.000 description 9
- 230000002708 enhancing effect Effects 0.000 description 8
- 230000036541 health Effects 0.000 description 8
- 238000005286 illumination Methods 0.000 description 7
- 238000005304 joining Methods 0.000 description 7
- 239000000203 mixture Substances 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 210000000887 face Anatomy 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 238000007667 floating Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 230000005057 finger movement Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- -1 802.3.3 x Chemical compound 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000001934 delay Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000013503 de-identification Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000002411 hand bone Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000008093 supporting effect Effects 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- 210000005010 torso Anatomy 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 240000007643 Phytolacca americana Species 0.000 description 1
- 206010000210 abortion Diseases 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000002772 conduction electron Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001339 gustatory effect Effects 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004898 kneading Methods 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 238000009528 vital sign measurement Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开涉及一种用于与三维环境进行交互的设备、方法和图形用户界面。计算机系统显示三维环境的第一视图。当显示该第一视图时，该计算机系统检测指向与用户的手部在物理环境中的位置相对应的该三维环境中的第一位置的注视输入，连同检测满足预设标准的该用户的手部在该物理环境中的移动。作为响应，该计算机系统在远离与该用户的手部在该物理环境中的该位置相对应的该三维环境中的该第一位置的相应第二位置处显示多个用户界面对象，其中相应用户界面对象在被激活时使得在该三维环境中显示对应计算机生成体验。
Description
本申请是申请日为2021年12月29日、申请号为202180095195.0、发明名称为“用于与三维环境进行交互的设备、方法和图形用户界面”的中国专利申请的分案申请。
技术领域
本公开整体涉及提供计算机生成体验的计算机系统，包括但不限于经由显示生成部件提供虚拟现实和混合现实体验的电子设备。
背景技术
近年来，用于虚拟现实、增强现实和扩展现实的计算机系统的发展显著增加。示例性增强现实和扩展现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强/扩展现实环境进行交互。示例性虚拟元素包括虚拟对象(包括数字图像、视频、文本、图标、控制元素(诸如按钮)，以及其他图形)。
发明内容
但用于与包括至少一些虚拟元素的环境(例如，应用程序、增强现实环境、混合现实环境、虚拟现实环境和扩展现实环境等)进行交互的方法和界面麻烦、低效且受限。例如，提供用于执行与虚拟对象相关联的动作的不足反馈的系统、需要一系列输入来在虚拟/增强/扩展现实环境中实现期望结果的系统，以及虚拟对象操纵复杂、繁琐且容易出错的系统，会给用户造成巨大的认知负担，并且减损虚拟/增强/扩展现实环境的体验感。此外，这些方法花费比所需时间更长的时间，从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。
因此，需要具有改进的方法和界面的计算机系统来向用户提供计算机生成的体验，从而使得用户与计算机系统的交互对用户来说更高效且更直观。所公开的系统、方法和用户界面减少或消除了与用于计算机系统的用户界面相关联的上述缺陷和其他问题，这些计算机系统具有显示生成部件和一个或多个输入设备。此类系统、方法和界面任选地补充或替换用于向用户提供扩展现实体验的常规系统、方法和用户界面。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系，减少了来自用户的输入的数量、程度和/或性质，从而形成了更有效的人机界面。
通过所公开的系统减少或消除了与计算机系统的用户界面相关联的上述缺陷和其他问题。在一些实施方案中，计算机系统是具有相关联显示器的台式计算机。在一些实施方案中，计算机系统是便携式设备(例如，笔记本电脑、平板电脑或手持式设备)。在一些实施方案中，计算机系统是个人电子设备(例如，可穿戴电子设备，诸如手表或头戴式设备)。在一些实施方案中，计算机系统具有触控板。在一些实施方案中，计算机系统具有一个或多个相机。在一些实施方案中，计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中，计算机系统具有一个或多个眼睛跟踪部件。在一些实施方案中，计算机系统具有一个或多个手部跟踪部件。在一些实施方案中，除显示生成部件之外，计算机系统还具有一个或多个输出设备，这些输出设备包括一个或多个触觉输出发生器和/或一个或多个音频输出设备。在一些实施方案中，计算机系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中，用户通过触控笔和/或手指在触敏表面上的接触和手势、用户的眼睛和手部在相对于GUI(和/或计算机系统)或用户身体的空间中的移动(如由相机和其他移动传感器捕获的)和/或语音输入(如由一个或多个音频输入设备捕获的)与GUI进行交互。在一些实施方案中，通过交互执行的功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时通讯、测试支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的暂态和/或非暂态计算机可读存储介质或其他计算机程序产品中。
根据一些实施方案，在与第一显示生成部件和一个或多个输入设备通信的计算机系统处执行一种方法。该方法包括经由第一显示生成部件显示三维环境的第一视图。该方法还包括在显示三维环境的第一视图时，检测指向与物理环境中的用户的手部的位置相对应的三维环境中的相应第一位置的注视输入。该方法还包括在显示三维环境的第一视图时，检测用户的手部在物理环境中的移动，包括在检测与用户的手部的位置相对应的三维环境中的相应第一位置处的注视输入时检测用户的手部的移动的至少初始部分。该方法还包括响应于检测到用户的手部在物理环境中的移动：根据确定用户的手部在物理环境中的移动满足第一标准，其中在用户的手部的移动对应于第一手势时满足第一标准，在三维环境中的相应第二位置处显示多个用户界面对象，该相应第二位置远离与物理环境中的用户的手部的位置相对应的三维环境中的相应第一位置，其中多个用户界面对象中的相应用户界面对象在被激活时发起用于使得在三维环境中显示对应计算机生成体验的过程。
在一些实施方案中，在与第一显示生成部件和一个或多个输入设备通信的计算机系统处执行一种方法。该方法包括经由第一显示生成部件显示三维环境的第一视图，包括至少在三维环境中的第一位置处显示第一用户界面对象并在三维环境中的不同于第一位置的第二位置处显示第二用户界面对象。该方法还包括在经由第一显示生成部件显示三维环境的第一视图时，检测指向与三维环境中的第一位置相对应的三维环境中的第一区域的第一注视输入。该方法还包括在检测指向三维环境中的第一区域的第一注视输入时，检测满足第一手势标准的手部的第一移动。该方法还包括响应于在检测到指向三维环境中的第一区域的第一注视输入时检测到满足第一手势标准的手部的第一移动：根据确定在已满足第一注视标准之后检测到满足第一手势标准的手部的第一移动，其中第一注视标准要求第一注视输入在第一区域处保持至少第一预设时间量以便满足第一注视标准，在第一用户界面对象与第二用户界面对象之间选择第一用户界面对象；以及根据确定在已满足第一注视标准之前检测到满足第一手势标准的手部的第一移动，放弃对第一用户界面对象的选择。
在一些实施方案中，在与第一显示生成部件和一个或多个输入设备通信的计算机系统处执行一种方法。该方法包括经由第一显示生成部件显示三维环境的第一视图，包括在三维环境中的第一位置处显示来自多个不同组可选择用户界面对象的第一组可选择用户界面对象。该方法还包括在三维环境中的第一位置处显示第一组可选择用户界面对象时，检测与在三维环境中的第一位置处显示来自多个不同组可选择用户界面对象的第二组可选择用户界面对象的请求相对应的用户输入，该第二组可选择用户界面对象不同于该第一组可选择用户界面对象。该方法还包括响应于检测到与在三维环境中的第一位置处显示第二组可选择用户界面对象的请求相对应的用户输入：将三维环境中的第一组可选择用户界面对象远离三维环境中的第一位置移动，并且随着第一组可选择用户界面对象远离三维环境中的第一位置移动，减小三维环境中的第一组可选择用户界面对象的视觉显著性；以及将三维环境中的第二组可选择用户界面对象朝向三维环境中的第一位置移动，并且随着第二组可选择用户界面对象移动到三维环境中的第一位置，增大第二组可选择用户界面对象的视觉显著性。
在一些实施方案中，在与第一显示生成部件和一个或多个输入设备通信的计算机系统处执行一种方法。该方法包括经由第一显示生成部件显示三维环境的第一视图，包括同时在三维环境中的第一位置处显示与不同操作相对应的多个用户界面对象，并且在三维环境中的第二位置处显示背景内容，其中多个用户界面对象包括第一用户界面对象和第二用户界面对象，并且其中背景内容相对于三维环境的第一视图中的多个用户界面对象的相应视觉特性的对应值而言具有相应视觉特性的第一值。该方法还包括当在三维环境的第一视图中同时显示多个用户界面对象和相对于多个用户界面对象的相应视觉特性的对应值而言具有相应视觉特性的第一值的背景内容时，检测根据第一激活标准来激活第一用户界面对象的用户输入。该方法还包括响应于检测到根据第一激活标准来激活第一用户界面对象的用户输入，发起与对应于第一用户界面对象的第一用户的通信会话，以及将背景内容的至少第一部分的相应视觉特性的值从第一值调整到不同于第一值的第二值。
在一些实施方案中，在与第一显示生成部件和一个或多个输入设备通信的计算机系统处执行一种方法。该方法包括经由第一显示生成部件显示三维环境的第一视图。该方法还包括在显示三维环境的第一视图时，检测与第一通知的接收相对应的第一事件。该方法还包括响应于检测到第一事件，在基于第一用户的第一部分在物理环境中的位置来选择的三维环境中的位置处显示第一通知的第一表示。该方法还包括在基于第一用户的第一部分在物理环境中的位置来选择的三维环境中的位置处显示第一通知的第一表示之后，在基于第一用户的第二部分在物理环境中的位置来选择的三维环境中的第二位置处显示第一通知的第二表示，其中第一用户的第二部分不同于第一用户的第一部分并且可以相对于第一用户的第一部分移动。该方法还包括当在基于第一用户的第二部分在物理环境中的位置来选择的三维环境中的位置处显示第一通知的第二表示时，检测第一用户的第二部分在物理环境中相对于第一用户的第一部分的移动。该方法还包括响应于检测到第一用户的第二部分在物理环境中相对于第一用户的第一部分的移动，基于第一用户的第二部分在物理环境中的移动而在三维环境中移动第一通知的第二表示。
在一些实施方案中，在与第一显示生成部件和一个或多个输入设备通信的计算机系统处执行一种方法。该方法包括经由第一显示生成部件显示三维环境的第一视图。该方法还包括在显示三维环境的第一视图时，检测第一事件，该第一事件对应于用于在与计算机系统相对应的第一用户和不同于第一用户的第二用户之间建立通信会话的传入请求。该方法还包括响应于检测到第一事件，在三维环境中的第一位置处显示第一通知，其中第一位置是基于与第一用户的至少第一部分在物理环境中的位置相对应的三维环境中的相应位置来选择的。该方法还包括在基于与第一用户的至少第一部分在物理环境中的位置相对应的三维环境中的相应位置来选择的三维环境中的第一位置处显示第一通知时，检测与用于建立通信会话的传入请求的接受相对应的一个或多个用户输入的序列。该方法还包括响应于检测到与用于建立通信会话的传入请求的接受相对应的一个或多个用户输入的序列，在与第一用户在三维环境中的特征位置相距至少阈值距离的三维环境中的相应第二位置处显示与通信会话相关联的多个用户界面对象。
在一些实施方案中，在与第一显示生成部件和一个或多个第一输入设备通信的第一计算机系统处执行一种方法。该方法包括经由第一显示生成部件显示与第一计算机系统相对应的第一用户和与不同于第一计算机系统的第二计算机系统相对应的第二用户之间的第一通信会话的第一用户界面，其中第二用户正在第一三维环境内参与第一通信会话，并且其中显示第一通信会话的第一用户界面包括显示指示第二用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的相应表示的空间定位的第二用户的相应表示。该方法还包括在显示第一通信会话的第一用户界面，包括指示第二用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的相应表示的空间定位的第二用户的相应表示时，检测与显示第二用户的相应表示而不指示第二用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的相应表示的空间定位的请求相对应的第一用户输入。该方法还包括响应于检测到第一用户输入，显示第二用户的相应表示而不指示第二用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的相应表示的空间定位。
在一些实施方案中，在与第一显示生成部件和一个或多个第一输入设备通信的第一计算机系统处执行一种方法。该方法包括经由第一显示生成部件显示第一用户与第二用户之间的第一通信会话的第一用户界面，其中第一用户界面包括第二用户的表示。该方法还包括在显示第一用户与第二用户之间的第一通信会话的第一用户界面时，检测第一显示生成部件在第一物理环境中的第一移动。该方法还包括响应于检测到第一显示生成部件在第一物理环境中的第一移动：根据确定在第一显示生成部件的第一移动期间第一显示生成部件处于第一取向，基于第一显示生成部件在第一物理环境中的第一移动和进入显示第二用户的表示的相应三维环境中的第一用户的模拟视点来更新第二用户的表示的外观；以及根据确定在第一显示生成部件的第一移动期间第一显示生成部件处于不同于第一取向的第二取向，随着第一显示生成部件在第一物理环境中移动，保持在通信会话的第一用户界面中的相应位置处显示第二用户的表示。
在一些实施方案中，在与第一显示生成部件、第一音频输出部件和一个或多个输入设备通信的第一计算机系统处执行一种方法。该方法包括呈现第一计算机生成内容；以及在呈现第一计算机生成内容时，检测处于感知第一计算机生成内容的适当位置的第一用户的第一移动，其中第一用户的第一移动是在第一用户的物理环境中。该方法还包括响应于检测到第一用户在第一用户的物理环境中的第一移动：根据确定第一用户在第一用户的物理环境中的第一移动将第一用户的物理环境中第一用户与第二用户之间的空间关系从第一空间关系改变为第二空间关系以及确定从第一空间关系到第二空间关系的空间关系变化满足第一标准，在呈现第一计算机生成内容的同时改变第一计算机生成内容的一个或多个输出特性；以及根据确定第一用户在第一用户的物理环境中的第一移动将第一用户的物理环境中第一用户与第二用户之间的空间关系从第一空间关系改变为第二空间关系以及确定从第一空间关系到第二空间关系的空间关系变化不满足第一标准，呈现第一计算机生成内容而不改变第一计算机生成内容的一个或多个输出特性。
根据一些实施方案，计算机系统包括以下者或与以下者通信：显示生成部件(例如，显示器、投影仪、头戴式显示器等)、一个或多个输入设备(例如，一个或多个相机、触敏表面、用于检测与触敏表面的接触强度的任选的一个或多个传感器)、任选的一个或多个音频输出部件、任选的一个或多个触觉输出发生器、一个或多个处理器，以及存储一个或多个程序的存储器；一个或多个程序被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或引起执行本文所述方法中的任一种方法的操作的指令。根据一些实施方案，非暂态计算机可读存储介质在其中存储有指令，这些指令在被具有显示生成部件、一个或多个输入设备(例如，一个或多个相机、触敏表面、用于检测与触敏表面的接触强度的任选的一个或多个传感器)、任选的一个或多个音频输出部件以及任选的一个或多个触觉输出发生器的计算机系统执行时，使得该设备执行本文所述方法中的任一种方法或使得本文所述方法中的任一种方法的操作被执行。根据一些实施方案，具有显示生成部件、一个或多个输入设备(例如，一个或多个相机、触敏表面、用于检测与触敏表面的接触强度的任选的一个或多个传感器)、任选的一个或多个音频输出部件、任选的一个或多个触觉输出发生器、存储器和用于执行存储在存储器中的一个或多个程序的一个或多个处理器的计算机系统上的图形用户界面包括在本文所述方法中的任一种方法中所显示的元素中的一个或多个元素，该一个或多个元素响应于输入而被更新，如本文所述方法中的任一种方法所描述的。根据一些实施方案，计算机系统包括：显示生成部件、一个或多个输入设备(例如，一个或多个相机、触敏表面、用于检测与触敏表面的接触强度的任选的一个或多个传感器)、任选的一个或多个音频输出部件以及任选的一个或多个触觉输出发生器；以及用于执行或导致执行本文所述的方法中的任一种方法的操作的装置。根据一些实施方案，用于具有显示生成部件、一个或多个输入设备(例如，一个或多个相机、触敏表面、用于检测与触敏表面的接触强度的任选的一个或多个传感器)、任选的一个或多个音频输出部件以及任选的一个或多个触觉输出发生器的计算机系统中的信息处理装置包括用于执行本文所述方法中的任一种方法的操作或使得本文所述方法中的任一种方法的操作被执行的装置。
因此，为具有显示生成部件的计算机系统提供了改进的方法和界面，以用于与三维环境进行交互并且有利于用户在与三维环境进行交互时使用计算机系统，从而提高此类计算机系统的有效性、效率，以及用户安全性和满意度。此类方法和界面可以补充或替换用于与三维环境进行交互并且有利于用户在与三维环境进行交互时使用计算机系统的常规方法。
需注意，上述各种实施方案可与本文所述任何其他实施方案相结合。本说明书中描述的特征和优点并不全面，具体来说，根据附图、说明书和权利要求书，许多另外的特征和优点对本领域的普通技术人员将是显而易见的。此外，应当指出，出于可读性和指导性目的，在原则上选择了本说明书中使用的语言，并且可以不这样选择以描绘或界定本发明的主题。
附图说明
为了更好地理解各种所述实施方案，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。
图1是示出根据一些实施方案的用于提供XR体验的计算机系统的操作环境的框图。
图2是示出根据一些实施方案的计算机系统的被配置为管理和协调用户的XR体验的控制器的框图。
图3是示出根据一些实施方案的计算机系统的被配置为向用户提供XR体验的视觉组成部分的显示生成部件的框图。
图4是示出根据一些实施方案的计算机系统的被配置为捕获用户的手势输入的手部跟踪单元的框图。
图5是示出根据一些实施方案的计算机系统的被配置为捕获用户的注视输入的眼睛跟踪单元的框图。
图6是示出根据一些实施方案的闪光辅助的注视跟踪流水线的流程图。
图7A至图7D是示出根据一些实施方案的将指向手部的注视输入的检测连同手部的预设移动一起使用以使得在远离用户的手部在三维环境中的虚拟位置的三维环境中的位置处显示对应于各种计算机生成体验的用户界面对象的框图。
图7E至图7H是示出根据一些实施方案的将预设手势的检测连同在相应用户界面对象上保持预设延长时间量(例如，预设停留时间)的注视输入的检测一起使用以使得相应用户界面对象被选择的框图。
图7I至图7M是示出根据一些实施方案的响应于用户输入而在不同组可选择用户界面对象之间切换的框图，其中相应组的视觉显著性根据其是朝向还是远离三维环境中的第一位置移动而增大或减小。
图7N至图7O是示出根据一些实施方案的改变三维环境中的背景区域的显示特性连同发起通信会话的框图。
图7P至图7U是示出根据一些实施方案的三维环境中的通知的显示和与这些通知的交互的框图。图7P至图7S示出了根据一些实施方案的在检测到与通知的直接用户交互之前该通知的表示的显示。图7P至图7U是示出根据一些实施方案的与对应于传入通信请求的通知的交互以及在三维环境中显示通信会话的框图。
图7V至图7X是示出根据一些实施方案的第一用户和第二用户之间的通信会话的用户界面的两种显示模式(例如，空间模式和非空间模式)的框图，其中第二用户参与三维环境中的通信会话。
图7Y至图7Z是示出根据一些实施方案的响应于检测到指示第一用户将注意力转向第二用户(例如，在相同物理环境中、在共享虚拟环境中等)的第一用户在物理环境中的移动(例如，倾斜、转动等)而改变计算机生成内容的输出特性(例如，音频输出特性、视觉输出特性等)的框图。
图8是根据一些实施方案的将指向手部的注视输入的检测连同手部的预设移动一起使用以使得在远离用户的手部在三维环境中的虚拟位置的三维环境中的位置处显示对应于各种计算机生成体验的用户界面对象的方法的流程图。
图9是根据一些实施方案的将预设手势的检测连同在相应用户界面对象上保持预设延长时间量(例如，预设停留时间)的注视输入的检测一起使用以使得相应用户界面对象被选择的方法的流程图。
图10是根据一些实施方案的响应于用户输入而在不同组可选择用户界面对象之间切换的方法的流程图，其中相应组的视觉显著性根据其是朝向还是远离三维环境中的第一位置移动而增大或减小。
图11是根据一些实施方案的改变三维环境中的背景区域的显示特性连同发起通信会话的方法的流程图。
图12是根据一些实施方案的在检测到与通知的直接用户交互之前显示该通知的表示的方法的流程图。
图13是根据一些实施方案的与对应于传入通信请求的通知进行交互以及在三维环境中显示通信会话的方法的流程图。
图14是根据一些实施方案的提供第一用户和第二用户之间的通信会话的用户界面的空间模式和非空间模式的方法的流程图。
图15是根据一些实施方案的基于显示生成部件的取向来显示通信会话的用户界面的空间模式或非空间模式的方法的流程图。
图16是根据一些实施方案的响应于检测到指示第一用户将注意力转向第二用户的第一用户在物理环境中的移动而改变计算机生成内容的输出特性的方法的流程图。
具体实施方式
根据一些实施方案，本公开涉及用于向用户提供计算机生成扩展现实(XR)体验的用户界面。
本文所述的系统、方法和GUI以多种方式改进与虚拟/增强现实环境进行的用户界面交互。
在一些实施方案中，根据一些实施方案，计算机系统响应于检测到指向与用户的手部的位置相对应的三维环境的区域的注视输入连同检测到手部的预设移动，在远离与用户的手部的位置相对应的区域的三维环境中的位置处显示对应于各种计算机生成体验(例如，应用程序、通信会话、计算机生成扩展现实体验等)的用户界面对象。在一些实施方案中，预设手势连同指向手部在三维环境中的表示的注视输入使得计算机系统将包括与不同应用程序、不同用户和/或不同计算机生成体验相对应的图标的主页用户界面启动到锚定到三维环境的、远离与用户的手部在物理环境中的位置相对应(并根据用户的手部在物理环境中的位置而移动)的三维环境中的区域的相应位置。在一些实施方案中，预设手势包括与手部的投掷或抛掷手势相对应的手部的手腕的轻弹。在一些实施方案中，例如在检测到预设手势之前，任选地在与物理环境中用户的手部处或附近的位置相对应(并根据物理环境中用户的手部处或附近的位置而移动)的三维环境中的位置处显示主页按钮、与不同组用户界面对象相对应的组图标集群等。在一些实施方案中，在锚定到三维环境的、远离与用户的手部在物理环境中的位置相对应的三维环境中的区域的相应位置处显示用户界面对象时，任选地保持在与物理环境中用户的手部处或附近的位置相对应(并根据物理环境中用户的手部处或附近的位置而移动)的三维环境中的位置处显示主页按钮、与不同组用户界面对象相对应的组图标集群等。
在一些实施方案中，根据一些实施方案，计算机系统要求检测到预设手势连同检测到在相应用户界面对象上保持预设延长时间量(例如，预设停留时间)的注视输入，才能触发相应用户界面对象被选择。不存在预设手势或不存在在相应用户界面对象的区域中保持少于预设延长时间量的注视输入不会使得相应用户界面对象被选择。仅仅检测到相应用户界面对象处的注视输入连同预设手势不足以使得计算机系统选择相应用户界面对象。在一些实施方案中，预设手势是捏合手势，其包括手部的两根或更多根手指的移动以彼此接触或彼此断开接触。在一些实施方案中，预设手势连同注视、随后注视在相应用户界面对象上的停留可用于激活相应用户界面对象以启动与相应用户界面对象相对应的应用程序，发起与相应用户界面对象相对应的通信会话或启动与相应用户界面对象相对应的计算机生成体验等。
在一些实施方案中，计算机系统响应于与从在三维环境中的第一位置处显示第一组可选择用户界面对象切换到在三维环境中的第一位置处显示第二组可选择用户界面对象的请求相对应的用户输入，使第一组可选择用户界面对象远离第一位置移动，同时减小第一组可选择用户界面对象的视觉显著性，并且将第二组可选择用户界面对象朝向第一位置移动，同时增大第二组可选择用户界面对象的视觉显著性。在一些实施方案中，第一组可选择用户界面对象和第二组可选择用户界面对象在三维环境中的两组可选择用户界面对象的移动期间在三维环境的当前显示视图中同时可见。在一些实施方案中，不同组可选择用户界面对象包括分别对应于应用程序、用户和计算机生成体验的不同类别的图标。在一些实施方案中，不同组可选择用户界面对象是主页用户界面的一部分，并且计算机系统响应于在远离与用户的手部的位置相对应的位置的三维环境中的位置中显示的其相应组图标的选择，或者响应于在与用户的手部的位置相对应的三维环境中的位置处显示的其相应组图标的选择，在显示不同组可选择用户界面对象之间切换。
在一些实施方案中，根据一些实施方案，计算机系统改变三维环境中的背景区域的显示特性连同发起通信会话。在一些实施方案中，在检测到发起通信会话的一个或多个用户输入的序列之前，将与通信会话相对应的用户界面对象(例如，用户的通信联系人的表示、用于接受通信请求的按钮、用于发送通信请求的按钮等)与具有显示特性的第一值的背景区域一起显示；以及在响应于一个或多个用户输入的序列而发起通信会话之后，将通信会话的用户界面(例如，在应答通信请求之前显示的用户界面，或者在应答通信请求并且建立通信会话之后显示的用户界面等)与具有显示特性的第二值的背景区域一起显示。在一些实施方案中，与背景区域相对于对应于通信会话的用户界面对象而言具有的视觉显著性水平相比，显示特性的第二值对应于背景区域相对于通信会话的用户界面而言更低的视觉显著性水平。例如，在发起通信会话之前，背景区域相对于对应于通信会话的用户界面对象而言具有正常的、未经调整的可见度水平(例如，具有第一亮度水平、第一颜色饱和度水平、第一不透明度水平、第一清晰度水平、第一模糊半径等)；以及一旦发起通信会话，背景区域就具有相对于通信会话的用户界面而言降低的可见度水平(例如，具有低于第一亮度水平的第二亮度水平、具有低于第一颜色饱和度水平的第二颜色饱和度水平、具有高于第一不透明度水平的第二不透明度水平、具有低于第一清晰度水平的第二清晰度水平、具有大于第一模糊半径的第二模糊半径等)。在一些实施方案中，背景区域包括物理环境周围的物理环境的透传视图(例如，在物理环境的相机视图中，或透过显示生成部件的透明区域等)，并且减小背景区域的视觉显著性包括使物理环境的透传视图较不可见、较不明亮和/或较不清晰(例如，通过在物理环境的相机视图上应用一个或多个滤波器(例如，模糊滤波器、颜色饱和度滤波器、亮度滤波器等)，或通过调整显示生成部件的透明部分的透传特性(例如，通过使透明部分更不透明、使透明部分更暗并减少透明部分的透射率等)。在一些实施方案中，在发起通信会话时减小背景区域的视觉显著性有助于向用户提供关于向通信会话的新体验和共现环境转变的视觉反馈。在一些实施方案中，背景区域还包括虚拟对象、虚拟表面和虚拟内容，计算机系统任选地也在响应于用户的输入而发起通信会话时减小背景区域中的这些虚拟对象、虚拟表面和虚拟内容中的至少一些的视觉显著性。在一些实施方案中，当与除了开始通信会话之外的操作相对应的用户界面对象被激活时(例如，当应用程序图标被激活以启动对应应用程序时，或者当体验的图标被激活以开始对应体验时等)，即使该操作还包括在三维环境中显示新的用户界面或新的用户界面对象，也不会发生应用于三维环境的背景区域的视觉显著性的减小。
在一些实施方案中，根据一些实施方案，计算机系统最初在与用户的第一部分(例如，用户的面部、头部、躯干、眼睛等)在物理环境中的位置相对应(并根据用户的第一部分在物理环境中的位置而移动)的三维环境中的第一位置处显示通知的第一表示，然后在检测到处置通知的与通知的直接用户交互之前在与用户的第二部分(例如，用户的手部、手腕等)在物理环境中的位置相对应(并根据用户的第二部分在物理环境中的位置而移动)的三维环境中的第二位置处显示通知的第二表示。在一些实施方案中，通知的第一表示包括通知内容，并且通知的第二表示不包括通知内容或者包括比通知的第一表示更少的通知内容。在一些实施方案中，在由显示生成部件提供的视场的周边部分中显示通知的第一表示。在一些实施方案中，计算机系统响应于第一手势(例如，在注视输入指向用户的手部的表示时，朝向用户的面部转动手部或抬高手部)而在与用户的手部的位置(例如，手背、手掌等)相对应的三维环境中的第三位置处显示通知的第三表示(例如，具有通知内容和任选的用户界面对象的通知的完整版本)。在一些实施方案中，计算机系统响应于第二手势(例如，张开手部以示出通知的第三表示并且再次合上手部)而取消通知。在一些实施方案中，计算机系统在远离用户的位置并锚定到三维环境的三维环境中的第四位置处显示与通知或通知的第四表示(例如，具有输入区域和/或扩展通知内容等的通知的扩展版本)相对应的用户界面。在一些实施方案中，计算机系统使用好像源自将显示通知的相应表示的位置或附近的空间音频警示来引导用户看向三维环境中的该位置，以便在该位置处或附近看到通知的表示。如本文所用，术语“空间音频”用于描述好像源自附接到空间(例如，物理空间、增强现实环境、虚拟现实环境等)中的点或对象的虚拟源的音频输出，使得当用户相对于该点或对象的位置改变时，音频改变以反映用户相对于该点或对象的位置的变化。
在一些实施方案中，根据一些实施方案，计算机系统响应于检测到指向在与用户的第一部分(例如，头部、面部、躯干、手部、手腕等)相对应(并根据用户的第一部分而移动)的三维环境中的位置处显示的传入通信请求的表示(例如，通知、警示等)的用户输入，在锚定到三维环境并远离用户的虚拟位置的三维环境中的位置处显示通信会话的用户界面。例如，在一些实施方案中，传入通信请求的警示在用户附近显示(例如，锚定到与用户的预设部分相对应的位置)，并且响应于与该警示的用户交互以接受传入通信请求，将通信会话的用户界面移动到三维环境中并且锚定到三维环境中的位置(例如，远离用户的预设部分并且不随用户的预设部分移动的位置)。
在一些实施方案中，当第一用户在第一三维环境中以非沉浸模式参与通信会话并且第二用户以沉浸模式参与通信会话时，第一用户用来参与与第二用户的通信会话的第一计算机系统经由第一显示生成部件提供通信会话的用户界面的两种显示模式(例如，空间模式和非空间模式)。当显示通信用户界面的空间模式时，第一用户所使用的第一计算机系统示出第二用户的表示以及第二用户的表示与第一三维环境中的通信会话的至少一个其他参与者(例如，第一用户或第三用户等)之间的空间关系的指示。当第一用户、第二用户和/或通信会话的另一参与者在其相应物理环境中移动时，第一用户、第二用户和/或另一参与者的表示在第一三维环境中移动，这使得第一计算机系统更新以空间模式显示的用户界面，以反映第二用户的表示与第一三维环境中的通信会话的至少一个其他参与者之间的改变的空间关系。当显示通信用户界面的非空间模式时，第一用户所使用的第一计算机系统示出第二用户的表示而没有第二用户的表示与第一三维环境中的通信会话的至少一个其他参与者(例如，第一用户或第三用户等)之间的空间关系的指示。当第一用户、第二用户和/或通信会话的另一参与者在其相应物理环境中移动时，第一用户、第二用户和/或另一参与者的表示在第一三维环境中移动，但第一计算机系统不更新以非空间模式显示的用户界面，以反映第二用户的表示与第一三维环境中的通信会话的至少一个其他参与者之间的改变的空间关系。在一些实施方案中，当第一计算机系统以空间模式显示通信用户界面时，第一计算机系统在第一三维环境的视图中显示第一用户周围的物理环境的表示；以及响应于从第一用户接收到的输入(例如，相对于物理环境移动第一显示生成部件的输入，和/或第一显示生成部件的触摸屏上的输入等)，第一计算机系统在第一三维环境的视图中相对于物理环境的表示移动第二用户的表示(以及任选地，也正在以沉浸模式参与通信会话的第三用户的表示)。在一些实施方案中，当第一计算机系统以非空间模式显示通信用户界面时，第一计算机系统显示虚拟环境；以及第一计算机系统根据预设布局来显示第二用户的表示和通信会话的其他参与者的表示，并且不响应于第一三维环境中的参与者之间的空间关系的变化或从第一用户接收到的输入(例如，相对于物理环境移动第一显示生成部件的输入，和/或第一显示生成部件的触摸屏上的输入等)而改变第二用户和其他参与者的表示的位置。
在一些实施方案中，当第一用户在第一三维环境中以非沉浸模式参与通信会话并且第二用户以沉浸模式参与通信会话时，第一用户用来参与与第二用户的通信会话的第一计算机系统经由第一显示生成部件提供通信会话的用户界面的两种显示模式(例如，空间模式和非空间模式)。第一计算机系统在显示通信用户界面的空间模式时基于第一显示生成部件在第一物理环境中的移动和进入显示第二用户的表示的相应三维环境中的第一用户的模拟视点来更新第二用户的表示(并且任选地，更新也以沉浸模式参与通信会话的第三用户的表示)。在一些实施方案中，根据确定第一显示生成部件具有相对于物理环境或第一用户的面部的第一预设取向，第一计算机系统以空间模式显示通信会话的用户界面。第一计算机系统在显示通信用户界面的非空间模式时保持第二用户的表示在通信会话的用户界面中的位置和外观(并且任选地，不更新第二用户的表示和也以沉浸模式参与通信会话的第三用户的表示)，而与第一显示生成部件在第一物理环境中的移动无关。在一些实施方案中，根据确定第一显示生成部件具有相对于物理环境或第一用户的面部的第二预设取向，第一计算机系统以非空间模式显示通信会话的用户界面。在一些实施方案中，响应于使第一显示生成部件在第一预设取向和第二预设取向之间转变的第一显示生成部件的移动，第一计算机系统在以空间模式和非空间模式显示通信会话的用户界面之间切换。在一些实施方案中，通信会话的用户界面提供用于在用户界面的空间模式和非空间模式之间切换的用户界面控件。在一些实施方案中，当第一计算机系统显示通信用户界面的空间模式时，第二用户所使用的第二计算机系统在由第二显示生成部件示出的第一三维环境的当前显示视图中的第一位置处显示第一用户的表示，并且第一位置由第一用户控制(例如，通过第一显示生成部件的移动，或者通过改变由第一显示生成部件以空间模式示出的第一三维环境的当前显示视图的视点的用户输入)而不是由第二用户控制。在一些实施方案中，当第一计算机系统显示通信用户界面的非空间模式时，第二用户所使用的第二计算机系统在由第二显示生成部件示出的第一三维环境的当前显示视图中的第二位置处显示第一用户的表示，并且第二位置由第二用户控制(例如，通过在由第二显示生成部件示出的第一三维环境的当前显示视图中拖动第一用户的表示的用户输入)而不是由第一用户控制。
在一些实施方案中，根据一些实施方案，响应于检测到指示第一用户将注意力转向第二用户(例如，在相同物理环境中、在共享虚拟环境中等)的第一用户在物理环境中的移动(例如，倾斜、转动等)，计算机系统改变计算机生成内容的输出特性(例如，音频输出特性、视觉输出特性等)。在一些实施方案中，在继续呈现计算机生成内容的同时改变计算机生成内容的输出特性包括减小计算机生成视觉内容的视觉显著性或者减小计算机生成音频内容的音频显著性，以允许第二用户被第一用户更清楚地看到或者允许第二用户被第一用户更清楚地听到。在一些实施方案中，响应于检测到指示第一用户将注意力转向第二用户(例如，在相同物理环境中、在共享虚拟环境中等)的第一用户在物理环境中的移动(例如，倾斜、转动等)，计算机系统增强物理环境的视图和/或声音的透传。在一些实施方案中，计算机生成内容对应于与不同于第一用户和第二用户的一个或多个第三用户的通信会话中的共现体验。
图1至图6提供了对用于向用户提供XR体验的示例性计算机系统的描述。图7A至图7X中的用户界面分别用于示出图8至图16中的过程。
下文所述的过程通过各种技术增强了设备的可操作性并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，包括通过向用户提供改进的视觉反馈、减少执行操作所需的输入数量、提供附加的控制选项而不会因附加的显示控件而使用户界面混乱、在一组条件已经被满足时执行操作而无需进一步的用户输入、改善隐私性和/或安全性和/或附加的技术。这些技术还通过使用户能够更快且更有效地使用设备而减少了电力使用并延长了设备的电池寿命。
此外，在本文所述的其中一个或多个步骤取决于已满足一个或多个条件的方法中，应当理解，所述方法可在多次重复中重复，使得在重复的过程中，在方法的不同重复中已满足决定方法中的步骤的所有条件。例如，如果方法需要执行第一步骤(如果满足条件)，以及执行第二步骤(如果不满足条件)，则普通技术人员将会知道，重复所声明的步骤，直到满足条件和不满足条件两者(不分先后)。因此，可将被描述为具有取决于已满足一个或多个条件的一个或多个步骤的方法重写为重复直到已满足该方法中所述的每个条件的方法。然而，这不需要系统或计算机可读介质声明该系统或计算机可读介质包含用于基于对应的一个或多个条件的满足来执行视情况而定的操作的指令，并且因此能够确定是否已满足可能的情况，而无需明确地重复方法的步骤直到已满足决定方法中的步骤的所有条件。本领域的普通技术人员还将理解，类似于具有视情况而定的步骤的方法，系统或计算机可读存储介质可根据需要多次重复方法的步骤，以确保已执行所有视情况而定的步骤。
在一些实施方案中，如图1中所示，经由包括计算机系统101的操作环境100向用户提供XR体验。计算机系统101包括控制器110(例如，便携式电子设备的处理器或远程服务器)、显示生成部件120(例如，头戴式设备(HMD)、显示器、投影仪、触摸屏等)、一个或多个输入设备125(例如，眼睛跟踪设备130、手部跟踪设备140、其他输入设备150)、一个或多个输出设备155(例如，扬声器160、触觉输出发生器170和其他输出设备180)、一个或多个传感器190(例如，图像传感器、光传感器、深度传感器、触觉传感器、取向传感器、接近传感器、温度传感器、位置传感器、运动传感器、速度传感器等)，以及任选地一个或多个外围设备195(例如，家用电器、可穿戴设备等)。在一些实施方案中，输入设备125、输出设备155、传感器190和外围设备195中的一者或多者与显示生成部件120集成(例如，在头戴式设备或手持式设备中)。
在描述XR体验时，各种术语用于区别地指代用户可以感测并且/或者用户可以与其进行交互(例如，利用由生成XR体验的计算机系统101检测到的输入进行交互，这些输入使得生成XR体验的计算机系统生成与提供给计算机系统101的各种输入对应的音频、视觉和/或触觉反馈)的若干相关但不同的环境。以下是这些术语的子集：
物理环境：物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
扩展现实：相反，扩展现实(XR)环境是指人们经由电子系统感知和/或交互的完全或部分模拟的环境。在XR中，跟踪人的物理运动的子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在XR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，XR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对XR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。人可以利用其感觉中的任一者来感测XR对象和/或与XR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些XR环境中，人可以感测和/或只与音频对象交互。
XR的示例包括虚拟现实和混合现实。
虚拟现实：虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
混合现实：与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致移动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。
增强现实：增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或物理环境的表示上方的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟：增强虚拟(AV)环境是指其中虚拟环境或计算机生成环境结合了来自物理环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的定位的阴影。
视点锁定的虚拟对象：当计算机系统在用户的视点中的相同位置和/或定位处显示虚拟对象时，即使在用户的视点偏移(例如，改变)时，虚拟对象也是视点锁定的。在其中计算机系统是头戴式设备的实施方案中，用户的视点被锁定到用户头部的面向前方方向(例如，当用户直视前方时，用户的视点是用户视场的至少一部分)；因此，在不移动用户头部的情况下，即使在用户的注视偏移时，用户的视点也保持固定。在其中计算机系统具有可相对于用户头部重新定位的显示生成部件(例如，显示屏)的实施方案中，用户的视点是在计算机系统的显示生成部件上正呈现给用户的增强现实视图。例如，当用户的视点处于第一取向(例如，用户头部面向北)时显示在用户的视点的左上角中的视点锁定的虚拟对象继续显示在用户的视点的左上角中，即使在用户的视点改变到第二取向(例如，用户头部面向西)时也是如此。换句话讲，在用户的视点中显示视点锁定的虚拟对象的位置和/或定位与用户在物理环境中的定位和/或取向无关。在其中计算机系统是头戴式设备的实施方案中，用户的视点被锁定到用户头部的取向，使得虚拟对象也被称为“头部锁定的虚拟对象”。
环境锁定的虚拟对象：当计算机系统在用户的视点中的位置和/或定位处显示虚拟对象时，虚拟对象是环境锁定的(另选地，“世界锁定的”)，该位置和/或定位基于三维环境(例如，物理环境或虚拟环境)中的位置和/或对象(例如，参考该位置和/或对象来选择和/或锚定到该位置和/或对象)。随着用户的视点移动，环境中相对于用户的视点的位置和/或对象改变，这导致环境锁定的虚拟对象显示在用户视点中的不同位置和/或定位处。例如，锁定到紧接在用户前面的树木上的环境锁定的虚拟对象显示在用户的视点的中心处。当用户的视点向右偏移(例如，用户头部向右转动)使得树木现在在用户的视点中处于中心左侧(例如，用户的视点中的树木定位偏移)时，锁定到树木上的环境锁定的虚拟对象在用户的视点中显示在中心左侧。换句话讲，在用户的视点中显示环境锁定的虚拟对象的位置和/或定位取决于环境中虚拟对象被锁定到其上的位置和/或对象的位置和/或取向。在一些实施方案中，计算机系统使用静止的参考系(例如，在物理环境中锚定到固定位置和/或对象的坐标系)来确定在用户的视点中显示环境锁定的虚拟对象的定位。环境锁定的虚拟对象可被锁定到环境的静止部分(例如，地板、墙壁、桌子或其他静止对象)，或可被锁定到环境的可移动部分(例如，车辆、动物、人或甚至独立于用户的视点移动的用户身体的一部分诸如用户的手部、手腕、手臂或脚的表示)使得虚拟对象随着视点或环境的该部分移动而移动以保持虚拟对象和环境的该部分之间的固定空间关系。
在一些实施方案中，环境锁定或视点锁定的虚拟对象表现出惰性跟随行为，该惰性跟随行为相对于虚拟对象跟随的参考点的移动而减少或延迟环境锁定或视点锁定的虚拟对象的运动。在一些实施方案中，当表现出惰性跟随行为时，计算机系统在检测到虚拟对象跟随的参考点(例如，环境的一部分、视点或相对于视点固定的点，诸如在离视点5cm至300cm之间的点)的移动时有意地延迟虚拟对象的移动。例如，当参考点(例如，环境的该部分或视点)以第一速度移动时，虚拟对象由设备移动以保持锁定到参考点但以慢于第一速度的第二速度移动(例如，直到参考点停止移动或慢下来，此时虚拟对象开始赶上参考点)。在一些实施方案中，当虚拟对象表现出惰性跟随行为时，设备忽略参考点的少量移动(例如，忽略参考点低于阈值移动量的移动，诸如移动0至5度或移动0至50cm)。例如，当参考点(例如，虚拟对象被锁定到的环境的该部分或视点)移动第一量时，参考点与虚拟对象之间的距离增加(例如，因为虚拟对象正被显示以便保持相对于与虚拟对象被锁定到的参考点不同的视点或环境部分固定或基本上固定的位置)，并且当参考点(例如，虚拟对象被锁定到的环境的该部分或视点)移动大于第一量的第二量时，参考点与虚拟对象之间的距离最初增加(例如，因为虚拟对象正被显示以便保持相对于与虚拟对象被锁定到的参考点不同的视点或环境部分固定或基本上固定的位置)，然后随着参考点的移动量增加到高于阈值(例如，“惰性跟随”阈值)而减小，因为虚拟对象由计算机系统移动以保持相对于参考点固定或基本上固定的位置。在一些实施方案中，虚拟对象保持相对于参考点基本上固定的位置包括虚拟对象在一个或多个维度(例如，相对于参考点的位置的上/下、左/右和/或向前/向后)中在参考点的阈值距离(例如，1cm、2cm、3cm、5cm、15cm、20cm、50cm)内显示。
硬件：有许多不同类型的电子系统使人能够感测各种XR环境和/或与各种CGR环境进行交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统还可以被配置为将虚拟对象投影到物理环境中例如作为全息图，或者投影到物理表面上。在一些实施方案中，控制器110被配置为管理和协调用户的XR体验。在一些实施方案中，控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些实施方案中，控制器110是相对于场景105(例如，物理设置/环境)处于本地或远程位置的计算设备。例如，控制器110是位于场景105内的本地服务器。又如，控制器110是位于场景105之外的远程服务器(例如，云服务器、中央服务器等)。在一些实施方案中，控制器110经由一个或多个有线或无线通信通道144(例如，蓝牙、IEEE802.11x、IEEE 802.16x、IEEE 802.3x等)与显示生成部件120(例如，HMD、显示器、投影仪、触摸屏等)通信地耦接。在另一个示例中，控制器110包括在显示生成部件120(例如，HMD或包括显示器和一个或多个处理器的便携式电子设备等)、输入设备125中的一个或多个输入设备、输出设备155中的一个或多个输出设备、传感器190中的一个或多个传感器和/或外围装设备195中的一个或多个外围装设备的壳体(例如，物理外壳)内，或者与上述设备中的一者或多者共享相同的物理壳体或支撑结构。
在一些实施方案中，显示生成部件120被配置为向用户提供XR体验(例如，至少XR体验的视觉组成部分)。在一些实施方案中，显示生成部件120包括软件、固件和/或硬件的合适组合。下文相对于图3更详细地描述了显示生成部件120。在一些实施方案中，控制器110的功能由显示生成部件120提供和/或与该显示生成部件组合。
根据一些实施方案，当用户虚拟地和/或物理地存在于场景105内时，显示生成部件120向用户提供XR体验。
在一些实施方案中，显示生成部件穿戴在用户身体的一部分上(例如，他/她的头部上、他/她的手部上等)。这样，显示生成部件120包括被提供用于显示XR内容的一个或多个XR显示器。例如，在各种实施方案中，显示生成部件120包围用户的视场。在一些实施方案中，显示生成部件120是被配置为呈现XR内容的手持式设备(诸如智能电话或平板电脑)，并且用户握持具有朝向用户的视场的显示器和朝向场景105的相机的设备。在一些实施方案中，手持式设备被任选地放置在穿戴在用户的头部上的壳体内。在一些实施方案中，手持式设备被任选地放置在用户前面的支撑件(例如，三脚架)上。在一些实施方案中，显示生成部件120是被配置为呈现XR内容的XR室、壳体或房间，其中用户不穿戴或握持显示生成部件120。参考用于显示XR内容的一种类型的硬件(例如，手持式设备或三脚架上的设备)描述的许多用户界面可以在用于显示XR内容的另一种类型的硬件(例如，HMD或其他可穿戴计算设备)上实现。例如，示出基于发生在手持式设备或三脚架安装的设备前面的空间中的交互而触发的与XR内容的交互的用户界面可以类似地用HMD来实现，其中交互发生在HMD前面的空间中，并且对XR内容的响应经由HMD来显示。类似地，示出基于手持式设备或三脚架安装的设备相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手部))的移动而触发的与XR内容的交互的用户界面可以类似地用HMD来实现，其中移动是由HMD相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手部))的移动引起的。
尽管在图1中示出了操作环境100的相关特征，但本领域的普通技术人员将从本公开中认识到，为了简洁起见并且为了不模糊本文所公开的示例性实施方案的更多相关方面，未示出各种其他特征。
图2是根据一些实施方案的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂，未示出各种其他特征。为此，作为非限制性示例，在一些实施方案中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、IEEE802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
在一些实施方案中，一条或多条通信总线204包括互连和控制系统部件之间的通信的电路。在一些实施方案中，一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。
存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些实施方案中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些实施方案中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统230和XR体验模块240。
操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的指令。在一些实施方案中，XR体验模块240被配置为管理和协调一个或多个用户的单重或多重XR体验(例如，一个或多个用户的单重XR体验，或一个或多个用户的相应群组的多重XR体验)。为此，在各种实施方案中，XR体验模块240包括数据获取单元242、跟踪单元244、协调单元246和数据传输单元248。
在一些实施方案中，数据获取单元242被配置为从图1的至少显示生成部件120，以及任选地从输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于该目的，在各种实施方案中，数据获取单元242包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，跟踪单元244被配置为映射场景105，并且跟踪至少显示生成部件120相对于图1的场景105的定位/位置，以及任选地跟踪输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者的位置。出于该目的，在各种实施方案中，跟踪单元244包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。在一些实施方案中，跟踪单元244包括手部跟踪单元245和/或眼睛跟踪单元243。在一些实施方案中，手部跟踪单元245被配置为跟踪用户的手部的一个或多个部分的定位/位置，和/或用户的手部的一个或多个部分相对于图1的场景105的、相对于显示生成部件120和/或相对于坐标系(该坐标系是相对于用户的手部定义的)的运动。下文相对于图4更详细地描述了手部跟踪单元245。在一些实施方案中，眼睛跟踪单元243被配置为跟踪用户注视(或更广泛地，用户的眼睛、面部或头部)相对于场景105(例如，相对于物理环境和/或相对于用户(例如，用户的手部))或相对于经由显示生成部件120显示的XR内容的定位或移动。下文相对于图5更详细地描述了眼睛跟踪单元243。
在一些实施方案中，协调单元246被配置为管理和协调由显示生成部件120，以及任选地由输出设备155和/或外围装设备195中的一者或多者呈现给用户的XR体验。出于该目的，在各种实施方案中，协调单元246包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，数据传输单元248被配置为将数据(例如，呈现数据、位置数据等)传输到至少显示生成部件120，并且任选地传输到输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于该目的，在各种实施方案中，数据传输单元248包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元242、跟踪单元244(例如，包括眼睛跟踪单元243和手部跟踪单元245)、协调单元246和数据传输单元248被示为驻留在单个设备(例如，控制器110)上，但应当理解，在其他实施方案中，数据获取单元242、跟踪单元244(例如，包括眼睛跟踪单元243和手部跟踪单元245)、协调单元246和数据传输单元248的任何组合可位于单独计算设备中。
此外，图2更多地用作可以存在于特定具体实施中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图3是根据一些实施方案的显示生成部件120的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂，未示出各种其他特征。出于所述目的，作为非限制性示例，在一些实施方案中，HMD 120包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个XR显示器312、一个或多个任选的面向内部并且/或者面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。
在一些实施方案中，一条或多条通信总线304包括用于互连和控制各系统部件之间的通信的电路。在一些实施方案中，一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎以及/或者一个或多个深度传感器(例如，结构光、飞行时间等)等。
在一些实施方案中，一个或多个XR显示器312被配置为向用户提供XR体验。在一些实施方案中，一个或多个XR显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)以及/或者类似的显示器类型。在一些实施方案中，一个或多个XR显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，HMD 120包括单个XR显示器。在另一示例中，HMD 120包括针对用户的每只眼睛的XR显示器。在一些实施方案中，一个或多个XR显示器312能够呈现MR和VR内容。在一些实施方案中，一个或多个XR显示器312能够呈现MR或VR内容。
在一些实施方案中，一个或多个图像传感器314被配置为获取与用户面部的包括用户的眼睛的至少一部分对应的图像数据(并且可被称为眼睛跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为获取与用户的手部以及任选地用户的手臂的至少一部分对应的图像数据(并且可被称为手部跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为面向前方，以便获取与在不存在HMD 120的情况下用户将会看到的场景对应的图像数据(并且可被称为场景相机)。一个或多个任选图像传感器314可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、一个或多个红外(IR)相机以及/或者一个或多个基于事件的相机等。
存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些实施方案中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些实施方案中，存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统330和XR呈现模块340。
操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些实施方案中，XR呈现模块340被配置为经由一个或多个XR显示器312向用户呈现XR内容。出于所述目的，在各种实施方案中，XR呈现模块340包括数据获取单元342、XR呈现单元344、XR映射生成单元346和数据传输单元348。
在一些实施方案中，数据获取单元342被配置为至少从图1的控制器110获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于所述目的，在各种实施方案中，数据获取单元342包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，XR呈现单元344被配置为经由一个或多个XR显示器312呈现XR内容。出于所述目的，在各种实施方案中，XR呈现单元344包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，XR映射生成单元346被配置为基于媒体内容数据来生成XR映射图(例如，混合现实场景的3D映射图或可以在其中放置计算机生成对象来生成扩展现实的物理环境的映射图)。出于所述目的，在各种实施方案中，XR映射生成单元346包括指令以及/或者用于该指令的逻辑以及启发法和用于该启发法的元数据。
在一些实施方案中，数据传输单元348被配置为将数据(例如，呈现数据、位置数据等)传输到至少控制器110，以及任选地输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于所述目的，在各种实施方案中，数据传输单元348包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元342、XR呈现单元344、XR映射生成单元346和数据传输单元348被示出为驻留在单个设备(例如，图1的显示生成部件120)上，但应当理解，在其他实施方案中，数据获取单元342、XR呈现单元344、XR映射生成单元346和数据传输单元348的任何组合可位于单独计算设备中。
此外，图3更多地用作可能存在于特定实施方案中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图4是手部跟踪设备140的示例性实施方案的示意性图解。在一些实施方案中，手部跟踪设备140(图1)由手部跟踪单元245控制(图2)来跟踪用户的手部的一个或多个部分的定位/位置，和/或用户的手部的一个或多个部分相对于图1的场景105(例如，相对于用户周围的物理环境的一部分、相对于显示生成部件120，或者相对于用户的一部分(例如，用户的面部、眼睛或头部)，和/或相对于坐标系(该坐标系是相对于用户的手部定义的))的运动。在一些实施方案中，手部跟踪设备140是显示生成部件120的一部分(例如，嵌入头戴式设备中或附接到头戴式设备)。在一些实施方案中，手部跟踪设备140与显示生成部件120分开(例如，位于单独的外壳中或者附接到单独的物理支撑结构)。
在一些实施方案中，手部跟踪设备140包括捕获至少包括人类用户的手部406的三维场景信息的图像传感器404(例如，一个或多个IR相机、3D相机、深度相机和/或彩色相机等)。图像传感器404以足够的分辨率捕获手部图像，以使手指及其相应位置能够被区分。图像传感器404通常捕获用户身体的其他部分、还或可能捕获身体的所有部分的图像，并且可以具有缩放能力或具有增大放大率的专用传感器以用期望分辨率捕获手部的图像。在一些实施方案中，图像传感器404还捕获手部406的2D彩色视频图像和场景的其他元素。在一些实施方案中，图像传感器404与其他图像传感器结合使用以捕获场景105的物理环境，或者用作捕获场景105的物理环境的图像传感器。在一些实施方案中，以将图像传感器404或其一部分的视场用于限定交互空间的方式相对于用户或用户的环境定位图像传感器，在该交互空间中，由图像传感器捕获的手部移动被视为到控制器110的输入。
在一些实施方案中，图像传感器404将包含3D映射数据(以及此外，可能的彩色图像数据)的帧序列输出到控制器110，该控制器从映射数据提取高级信息。该高级信息通常经由应用程序接口(API)提供给在控制器上运行的应用程序，该应用程序相应地驱动显示生成部件120。例如，用户可以通过移动他的手部408并改变他的手部姿势来与在控制器110上运行的软件交互。
在一些实施方案中，图像传感器404将斑点图案投影到包含手部406的场景上并且捕获所投影图案的图像。在一些实施方案中，控制器110基于图案中斑点的横向偏移来通过三角测量计算场景中的点(包括用户的手部的表面上的点)的3D坐标。这种方法是有利的，因为该方法不需要用户握持或穿戴任何种类的信标、传感器或其他标记。该方法给出了场景中的点在距图像传感器404的特定距离处相对于预先确定的参考平面的深度坐标。在本公开中，假设图像传感器404限定x轴、y轴、z轴的正交集合，使得场景中的点的深度坐标对应于由图像传感器测量的z分量。另选地，手部跟踪设备140可基于单个或多个相机或其他类型的传感器而使用其他3D映射方法，诸如立体成像或飞行时间测量。
在一些实施方案中，手部跟踪设备140在用户移动他的手部(例如，整个手部或一根或多根手指)时捕获并处理包含用户的手部的深度映射图的时间序列。在图像传感器404和/或控制器110中的处理器上运行的软件处理3D映射数据以提取这些深度映射图中手部的图像块描述符。软件可基于先前的学习过程将这些描述符与存储在数据库408中的图像块描述符匹配，以便估计每个帧中手部的位姿。位姿通常包括用户的手部关节和手指尖端的3D位置。
软件还可以分析手部和/或手指在序列中的多个帧上的轨迹以识别手势。本文所述的位姿估计功能可以与运动跟踪功能交替，使得每两个(或更多个)帧仅执行一次基于图像块的位姿估计，而跟踪用于找到在剩余帧上发生的位姿的变化。经由上述API向在控制器110上运行的应用程序提供位姿、运动和手势信息。该程序可以例如响应于位姿和/或手势信息而移动和修改呈现在显示生成部件120上的图像，或者执行其他功能。
在一些实施方案中，手势包括空中手势。空中手势是在用户不触摸作为设备(计算机系统101、一个或多个输入设备125和/或手部跟踪设备140)的一部分的输入元件(或独立于作为设备的一部分的输入元件)的情况下检测到的并且基于所检测到的用户身体的一部分(例如，头部、一个或多个手臂、一只或多只手、一根或多根手指和/或一条或多条腿)穿过空中的运动(包括用户的身体相对于绝对参考的运动(例如，用户的手臂相对于地面的角度或用户的手部相对于地面的距离)、相对于用户身体的另一部分的运动(例如，用户的手部相对于用户的肩部的移动、用户的一只手相对于用户的另一只手的移动、和/或用户的手指相对于用户的另一手指或手部的一部分的移动)、和/或用户身体的一部分的绝对运动(例如，包括预先确定的姿势的手部按预先确定的量和/或速度移动的轻击手势、或包括用户身体的一部分的预先确定的旋转速度和/或量的摇动手势等))的手势。
在一些实施方案中，根据一些实施方案，在本文所述的各种示例和实施方案中使用的输入手势包括通过用户的手指相对于用户手部的其他手指或部分的移动来执行的用于与XR环境(例如，虚拟或混合现实环境)交互的空中手势。在一些实施方案中，空中手势是在用户不触摸作为设备的一部分的输入元件(或独立于作为设备的一部分的输入元件)的情况下检测到的并且基于所检测到的用户身体的一部分穿过空中的运动(包括用户的身体相对于绝对参考的运动(例如，用户的手臂相对于地面的角度或用户的手部相对于地面的距离)、相对于用户身体的另一部分的运动(例如，用户的手部相对于用户的肩部的移动、用户的一只手相对于用户的另一只手的移动、和/或用户的手指相对于用户的另一手指或手部的一部分的移动)、和/或用户身体的一部分的绝对运动(例如，包括手以预定姿势将移动预定量和/或速度的轻击手势、或包括用户身体的一部分的预定速度或旋转量的摇动手势))的手势。
在输入手势是空中手势的一些实施方案中(例如，在不存在与向计算机系统提供关于哪个用户界面元素是用户输入的目标的信息的输入设备的物理接触的情况下，诸如与触摸屏上显示的用户界面元素的接触、或与鼠标或触控板的接触以将光标移动到用户界面元素)，该手势考虑用户的注意力(例如，注视)以确定用户输入的目标(例如，对于直接输入，如下文所述)。因此，在涉及空中手势的实施方案中，输入手势是例如与用于执行捏合和/或轻击输入的用户的手指和/或手部的移动相结合(例如，与之同时、在其阈值时间窗口内等)的所检测到的朝向用户界面元素的注意力(例如，注视)，如下文更详细描述。
在一些实施方案中，直接或间接参考用户界面对象执行指向用户界面对象的输入手势。例如，根据利用用户的手部在与三维环境中的用户界面对象的位置相对应的位置(例如，如基于用户的当前视点所确定的)处执行输入手势来直接在用户界面对象上执行用户输入。在一些实施方案中，在检测到用户对用户界面对象的注意力(例如，注视)的同时用户的手部的位置不在与用户界面对象在三维环境中的位置相对应的位置处时，根据用户执行输入手势来在用户界面对象上间接执行输入手势。例如，对于直接输入手势，使得用户能够通过在与用户界面对象的显示位置相对应的位置处或附近(例如，从该选项的外边缘或该选项的中心部分测量的0.5cm、1cm、5cm内或0至5cm之间的距离内)发起该手势来将用户的输入指向用户界面对象。对于间接输入手势，使得用户能够通过将注意力放在用户界面对象上(例如，通过注视用户界面对象)来将用户的输入指向用户界面对象，并且在将注意力放在用户界面对象上的同时，用户发起输入手势(例如，在计算机系统可检测的任何位置处)(例如，在不与用户界面对象的显示位置相对应的位置处)。
在一些实施方案中，根据一些实施方案，在本文所述的各种示例和实施方案中使用的输入手势(例如，空中手势)包括捏合输入和轻击输入，以用于与虚拟或混合现实环境进行交互。例如，下述的捏合输入和轻击输入作为空中手势执行。
在一些实施方案中，捏合输入是空中手势的一部分，该空中手势包括以下各项中的一项或多项：捏合手势、长捏合手势、捏合并拖动手势或双捏合手势。例如，作为空中手势的捏合手势包括手部的两根或更多根手指的移动以彼此接触，即，任选地，随后是彼此立即(例如，在0至1秒内)断开接触。作为空中手势的长捏合手势包括手部的两根或更多根手指的移动以在检测到彼此断开接触之前彼此接触至少阈值时间量(例如，至少1秒)。例如，长捏合手势包括用户保持捏合手势(例如，其中两根或更多根手指进行接触)，并且长捏合手势一直持续到检测到两根或更多根手指之间断开接触为止。在一些实施方案中，作为空中手势的双捏合手势包括彼此即时(例如，在预定义的时间段内)连续检测到的两个(例如，或更多个)捏合输入(例如，由同一只手执行)。例如，用户执行第一捏合输入(例如，捏合输入或长捏合输入)，释放第一捏合输入(例如，断开两根或更多根手指之间的接触)，并且在释放第一捏合输入之后的预定义的时间段内(例如，在1秒内或在2秒内)执行第二捏合输入。
在一些实施方案中，作为空中手势的捏合并拖动手势包括连同将用户的手部的位置从第一位置(例如，拖动的开始位置)改变为第二位置(例如，拖动的结束位置)的拖动输入一起(例如，后跟该拖动输入、在该拖动输入之前或在该拖动输入的时间窗口内等)执行的捏合手势(例如，捏合手势或长捏合手势)。在一些实施方案中，用户在执行拖动输入的同时保持捏合手势，并且释放捏合手势(例如，张开他们的两根或更多根手指)以结束拖动手势(例如，在第二位置处)。在一些实施方案中，捏合输入和拖动输入由同一只手执行(例如，用户捏合两根或更多根手指以彼此接触并且利用拖动手势将同一只手移动到空中的第二位置)。在一些实施方案中，由用户的第一手部执行捏合输入并且由用户的第二手部执行拖动输入(例如，在用户利用用户的第一手部继续捏合输入的同时，用户的第二手部在空中从第一位置移动到第二位置)。在一些实施方案中，作为空中手势的输入手势包括使用用户的双手执行的输入(例如，捏合和/或轻击输入)。例如，输入手势包括彼此连同(例如，彼此同时或在彼此的预定义的时间段内)执行的两个(例如，或更多个)捏合输入。例如，使用用户的第一手部执行第一捏合手势(例如，捏合输入、长捏合输入或捏合并拖动输入)，并且连同使用第一手部执行捏合输入一起，使用另一手部(例如，用户双手中的第二手部)执行第二捏合输入。在一些实施方案中，用户的双手之间的移动(例如，以增加和/或减小用户的双手之间的距离或相对取向)
在一些实施方案中，作为空中手势执行的轻击输入(例如，指向用户界面对象)包括用户的手指朝向用户界面对象的移动、用户的手部朝向用户界面对象的移动并任选地用户的手指朝向用户界面对象伸展、用户的手指的向下运动(例如，模仿鼠标点击运动或触摸屏上的轻击)或用户的手部的其他预定义的移动。在一些实施方案中，基于执行手指或手部远离用户的视点和/或朝向作为轻击输入的目标的对象的轻击手势移动、随后移动结束的手指或手部的移动特征来检测作为空中手势执行的轻击输入。在一些实施方案中，基于执行轻击手势的手指或手部的移动特征的变化(例如，远离用户的视点和/或朝向作为轻击输入的目标的对象的移动的结束、手指或手部的移动方向的反向、和/或手指或手部的移动的加速方向的反向)来检测移动的结束。
在一些实施方案中，基于对指向三维环境的一部分的注视的检测(任选地，不需要其他条件)来确定用户的注意力指向三维环境的该部分。在一些实施方案中，基于对指向三维环境的一部分的注视的检测和一个或多个附加条件来确定用户的注意力指向三维环境的该部分，该一个或多个附加条件诸如为要求注视指向三维环境的该部分达至少阈值持续时间(例如，停留持续时间)，和/或要求注视指向三维环境的该部分，同时用户的视点在距三维环境的该部分的距离阈值内以便设备确定用户的注意力指向三维环境的该部分，其中如果不满足这些附加条件之一，则设备确定注意力不指向注视指向的三维环境的该部分(例如，直到满足该一个或多个附加条件)。
在一些实施方案中，对用户或用户的一部分的就绪状态配置的检测由计算机系统检测。对手部的就绪状态配置的检测由计算机系统用作用户可能正准备使用由手部执行的一个或多个空中手势输入(例如，捏合、轻击、捏合并拖动、双捏合、长捏合或本文所述的另一空中手势等)与计算机系统进行交互的指示。例如，基于手部是否具有预先确定的手部形状(例如，拇指和一根或多根手指伸展并间隔开准备进行捏合或抓取手势的捏合前形状，或一根或多根手指伸展且手掌背对用户的轻击前形状)、基于手部是否处于相对于用户的视点的预先确定的位置(例如，在用户的头部下方并在用户的腰部上方并且从身体伸出至少15cm、20cm、25cm、30cm或50cm)和/或基于手部是否已以特定方式移动(例如，朝向用户的腰部上方并在用户的头部下方的用户前方的区域移动，或远离用户的身体或腿部移动)来确定手部的就绪状态。在一些实施方案中，就绪状态用于确定用户界面的交互式元素是否响应于注意力(例如，注视)输入。
在一些实施方案中，软件可以例如通过网络以电子形式下载到控制器110，或者可以另选地在有形非暂态介质诸如光学、磁性或电子存储器介质上提供。在一些实施方案中，数据库408同样存储在与控制器110相关联的存储器中。另选地或除此之外，计算机的所描述的功能中的一些或全部可以在专用硬件(诸如，定制或半定制集成电路或可编程数字信号处理器(DSP))中实现。尽管在图4中示出了控制器110，但是举例来说，作为与图像传感器404分开的单元，控制器的处理功能中一些或全部可以由合适的微处理器和软件或由手部跟踪设备140的外壳内的专用电路或与图像传感器404相关联的其他设备执行。在一些实施方案中，这些处理功能中的至少一些可由与显示生成部件120(例如，在电视接收机、手持式设备或头戴式设备中)集成或与任何其他合适的计算机化设备(诸如，游戏控制台或媒体播放器)集成的合适处理器执行。图像传感器404的感测功能同样可以集成到将由传感器输出控制的计算机或其他计算机化装置中。
图4还包括根据一些实施方案的由图像传感器404捕获的深度映射图410的示意图。如上所述，深度图包括具有相应深度值的像素的矩阵。与手部406对应的像素412已经从该映射图中的背景和手腕分割出来。深度映射图410内的每个像素的亮度与其深度值(即，测量的距图像传感器404的z距离)成反比，其中灰色阴影随着深度的增加而变得更暗。控制器110处理这些深度值以便识别和分割图像的具有人类手部特征的组成部分(即，一组相邻像素)。这些特征可包括例如总体大小、形状和从深度映射图序列中的帧到帧的运动。
图4还示意性地示出了根据一些实施方案的控制器110最终从手部406的深度映射图410提取的手部骨骼414。在图4中，骨骼414叠加在已经从原始深度映射图分割出来的手部背景416上。在一些实施方案中，手部的以及任选地在连接到手部的手腕或手臂上的关键特征点(例如，与指关节、手指尖端、手掌中心、手部的连接到手腕的端部等对应的点)被识别并位于手部骨骼414上。在一些实施方案中，控制器110使用这些关键特征点在多个图像帧上的位置和移动来根据一些实施方案确定由手部执行的手势或手部的当前状态。
图5示出了眼睛跟踪设备130(图1)的示例性实施方案。在一些实施方案中，眼睛跟踪设备130由眼睛跟踪单元243(图2)控制来跟踪用户注视相对于场景105或相对于经由显示生成部件120显示的XR内容的定位和移动。在一些实施方案中，眼睛跟踪设备130与显示生成部件120集成。例如，在一些实施方案中，当显示生成部件120是头戴式设备(诸如，头戴式耳机、头盔、护目镜或眼镜)或放置在可穿戴框架中的手持式设备时，该头戴式设备包括生成XR内容以供用户观看的部件以及用于跟踪用户相对于XR内容的注视的部件两者。在一些实施方案中，眼睛跟踪设备130与显示生成部件120分开。例如，当显示生成部件是手持式设备或XR室时，眼睛跟踪设备130任选地是与手持式设备或XR室分开的设备。在一些实施方案中，眼睛跟踪设备130是头戴式设备或头戴式设备的一部分。在一些实施方案中，头戴式眼睛跟踪设备130任选地与也是头戴式的显示生成部件或不是头戴式的显示生成部件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地与头戴式显示生成部件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地是非头戴式显示生成部件的一部分。
在一些实施方案中，显示生成部件120使用显示机构(例如，左近眼显示面板和右近眼显示面板)来在用户眼睛前面显示包括左图像和右图像的帧，从而向用户提供3D虚拟视图。例如，头戴式显示生成部件可包括位于显示器和用户眼睛之间的左光学透镜和右光学透镜(在本文中被称为眼睛透镜)。在一些实施方案中，显示生成部件可包括或耦接到一个或多个外部摄像机，该一个或多个外部摄像机捕获用户的环境的视频以用于显示。在一些实施方案中，头戴式显示生成部件可具有透明或半透明显示器，并且在该透明或半透明显示器上显示虚拟对象，用户可以透过该透明或半透明显示器直接观看物理环境。在一些实施方案中，显示生成部件将虚拟对象投影到物理环境中。虚拟对象可例如被投影在物理表面上或作为全息图被投影，使得个体使用系统观察叠加在物理环境上方的虚拟对象。在这种情况下，可能不需要用于左眼和右眼的单独的显示面板和图像帧。
如图5中所示，在一些实施方案中，眼睛跟踪设备(或另选地，注视跟踪设备)130包括至少一个眼睛跟踪相机(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛发射光(例如，IR或NIR光)的照明源(例如，IR或NIR光源，诸如LED的阵列或环)。眼睛跟踪相机可指向用户眼睛以接收光源直接从眼睛反射的IR或NIR光，或者另选地可指向位于用户眼睛和显示面板之间的“热”镜，这些热镜将来自眼睛的IR或NIR光反射到眼睛跟踪相机，同时允许可见光通过。眼睛跟踪设备130任选地捕获用户眼睛的图像(例如，作为以每秒60帧-120帧(fps)捕获的视频流)，分析这些图像以生成注视跟踪信息，并将注视跟踪信息传送到控制器110。在一些实施方案中，用户的两只眼睛通过相应的眼睛跟踪相机和照明源来单独地跟踪。在一些实施方案中，通过相应的眼睛跟踪相机和照明源来跟踪用户的仅一只眼睛。
在一些实施方案中，使用设备特定的校准过程来校准眼睛跟踪设备130以确定用于特定操作环境100的眼睛跟踪设备的参数，例如LED、相机、热镜(如果存在的话)、眼睛透镜和显示屏的3D几何关系和参数。在将AR/VR装备递送给终端用户之前，可以在工厂或另一个设施处执行设备特定的校准过程。设备特定的校准过程可以是自动校准过程或手动校准过程。根据一些实施方案，用户特定的校准过程可以包括对特定用户的眼睛参数的估计，例如瞳孔位置、中央凹位置、光轴、视轴、眼睛间距等。根据一些实施方案，一旦针对眼睛跟踪设备130确定了设备特定参数和用户特定参数，就可以使用闪光辅助方法来处理由眼睛跟踪相机捕获的图像，以确定当前视轴和用户相对于显示器的注视点。
如图5中所示，眼睛跟踪设备130(例如，130A或130B)包括眼睛透镜520和注视跟踪系统，该注视跟踪系统包括定位在用户面部的被执行眼睛跟踪的一侧上的至少一个眼睛跟踪相机540(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛592发射光(例如，IR或NIR光)的照明源530(例如，IR或NIR光源，诸如NIR发光二极管(LED)的阵列或环)。眼睛跟踪相机540可指向位于用户眼睛592和显示器510(例如，头戴式显示器的左显示器面板或右显示器面板，或者手持式设备的显示器、投影仪等)之间的镜子550(这些镜子反射来自眼睛592的IR或NIR光，同时允许可见光通过)(例如，如图5的顶部部分所示)，或者另选地可指向用户眼睛592以接收来自眼睛592的反射IR或NIR光(例如，如图5的底部部分所示)。
在一些实施方案中，控制器110渲染AR或VR帧562(例如，用于左显示面板和右显示面板的左帧和右帧)并且将帧562提供给显示器510。控制器110将来自眼睛跟踪相机540的注视跟踪输入542用于各种目的，例如用于处理帧562以用于显示。控制器110任选地基于使用闪光辅助方法或其他合适的方法从眼睛跟踪相机540获取的注视跟踪输入542来估计用户在显示器510上的注视点。根据注视跟踪输入542估计的注视点任选地用于确定用户当前正在看向的方向。
以下描述了用户当前注视方向的几种可能的使用案例，并且不旨在进行限制。作为示例性使用案例，控制器110可以基于所确定的用户注视的方向不同地渲染虚拟内容。例如，控制器110可以在根据用户当前注视方向确定的中央凹区域中以比在外围区域中的分辨率更高的分辨率生成虚拟内容。作为另一个示例，控制器可至少部分地基于用户当前注视方向来在视图中定位或移动虚拟内容。作为另一个示例，控制器可至少部分地基于用户当前注视方向来在视图中显示特定虚拟内容。作为AR应用程序中的另一个示例性使用案例，控制器110可引导用于捕获XR体验的物理环境的外部相机在所确定方向上聚焦。然后，外部相机的自动聚焦机构可以聚焦于显示器510上用户当前正看向的环境中的对象或表面上。作为另一个示例性使用案例，眼睛透镜520可以是可聚焦透镜，并且控制器使用注视跟踪信息来调整眼睛透镜520的焦点，使得用户当前正看向的虚拟对象具有适当的聚散度以匹配用户眼睛592的会聚。控制器110可以利用注视跟踪信息来引导眼睛透镜520调整焦点，使得用户正看向的靠近的对象出现在正确距离处。
在一些实施方案中，眼睛跟踪设备是头戴式设备的一部分，该部分包括安装在可穿戴外壳中的显示器(例如，显示器510)、两个眼睛透镜(例如，眼睛透镜520)、眼睛跟踪相机(例如，眼睛跟踪相机540)以及光源(例如，光源530(例如，IR或NIR LED))。光源朝向用户眼睛592发射光(例如，IR或NIR光)。在一些实施方案中，光源可围绕透镜中的每个透镜布置成环或圆圈，如图5中所示。在一些实施方案中，例如，八个光源530(例如，LED)围绕每个透镜520布置。然而，可使用更多或更少的光源530，并且可使用光源530的其他布置和位置。
在一些实施方案中，显示器510发射可见光范围内的光，并且不发射IR或NIR范围内的光，并且因此不会在注视跟踪系统中引入噪声。需注意，眼睛跟踪相机540的位置和角度以举例的方式给出，并且不旨在进行限制。在一些实施方案中，单个眼睛跟踪相机540位于用户面部的每一侧上。在一些实施方案中，可在用户面部的每一侧上使用两个或更多个NIR相机540。在一些实施方案中，可在用户面部的每一侧上使用具有较宽视场(FOV)的相机540和具有较窄FOV的相机540。在一些实施方案中，可在用户面部的每一侧上使用以一个波长(例如，850nm)操作的相机540和以不同波长(例如，940nm)操作的相机540。
如图5中所示的注视跟踪系统的实施方案可以例如用于扩展现实(例如，包括虚拟现实和/或混合现实)应用程序，以向用户提供扩展现实(例如，包括虚拟现实、增强现实和/或增强虚拟)体验。
图6示出了根据一些实施方案的闪光辅助的注视跟踪流水线。在一些实施方案中，注视跟踪流水线通过闪光辅助的注视跟踪系统(例如，如图1和图5中所示的眼睛跟踪设备130)来实现。闪光辅助的注视跟踪系统可保持跟踪状态。最初，跟踪状态为关闭或“否”。当处于跟踪状态时，当分析当前帧以跟踪当前帧中的瞳孔轮廓和闪光时，闪光辅助的注视跟踪系统使用来自先前帧的先前信息。当未处于跟踪状态时，闪光辅助的注视跟踪系统尝试检测当前帧中的瞳孔和闪光，并且如果成功，则将跟踪状态初始化为“是”并且在跟踪状态下继续下一个帧。
如图6中所示，注视跟踪相机可捕获用户左眼和右眼的左图像和右图像。然后将所捕获的图像输入到注视跟踪流水线以用于在610处开始处理。如返回到元素600的箭头所指示的，注视跟踪系统可例如以每秒60至120帧的速率继续捕获用户眼睛的图像。在一些实施方案中，可以将每组所捕获的图像输入到流水线以用于处理。然而，在一些实施方案中或在一些条件下，不是所有所捕获的帧都由流水线处理。
在610处，对于当前所捕获的图像，如果跟踪状态为是，则方法前进到元素640。在610处，如果跟踪状态为否，则如620处所指示的，分析图像以检测图像中的用户瞳孔和闪光。在630处，如果成功检测到瞳孔和闪光，则方法前进到元素640。否则，方法返回到元素610以处理用户眼睛的下一个图像。
在640处，如果从元素410前进，则分析当前帧以部分地基于来自先前帧的先前信息来跟踪瞳孔和闪光。在640处，如果从元素630前进，则基于当前帧中检测到的瞳孔和闪光来初始化跟踪状态。检查元素640处的处理结果以验证跟踪或检测的结果可以是可信的。例如，可检查结果以确定是否在当前帧中成功跟踪或检测到用于执行注视估计的瞳孔和足够数量的闪光。在650处，如果结果不可能是可信的，则跟踪状态被设置为否，并且方法返回到元素610以处理用户眼睛的下一个图像。在650处，如果结果是可信的，则方法前进到元素670。在670处，跟踪状态被设置为YES(如果尚未为是)，并且瞳孔和闪光信息被传递到元素680以估计用户的注视点。
图6旨在用作可用于特定具体实施的眼睛跟踪技术的一个示例。如本领域普通技术人员所认识到的，根据各种实施方案，在用于向用户提供XR体验的计算机系统101中，当前存在或未来开发的其他眼睛跟踪技术可用于取代本文所述的闪光辅助的眼睛跟踪技术或与该闪光辅助的眼睛跟踪技术组合使用。
在本公开中，相对于与计算机系统的交互来描述各种输入方法。当使用一个输入设备或输入方法来提供示例，并且使用另一个输入设备或输入方法来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的输入设备或输入方法兼容并且任选地利用该输入设备或输入方法。类似地，相对于与计算机系统的交互来描述各种输出方法。当使用一个输出设备或输出方法来提供示例，并且使用另一个输出设备或输出方法来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的输出设备或输出方法兼容并且任选地利用该输出设备或输出方法。类似地，相对于通过计算机系统与虚拟环境或混合现实环境进行的交互来描述各种方法。当使用与虚拟环境的交互来提供示例时，并且使用混合现实环境来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的方法兼容并且任选地利用这些方法。因此，本公开公开了作为多个示例的特征的组合的实施方案，而无需在每个示例性实施方案的描述中详尽地列出实施方案的所有特征。
用户界面和相关联的过程
现在将注意力转向可在具有显示生成部件、一个或多个输入设备以及(任选)一个或多个相机的计算机系统(诸如，便携式多功能设备或头戴式设备)上实现的用户界面(“UI”)和相关联过程的实施方案。
图7A至图7Z示出了经由显示生成部件(例如，显示生成部件7100、显示生成部件7100-t、显示生成部件120等)显示的三维环境以及由指向三维环境的用户输入和/或从其他计算机系统和/或传感器接收的输入引起的在三维环境中发生的交互。在一些实施方案中，通过在由虚拟对象占据的区域中检测到的用户注视、通过与虚拟对象的区域相对应的物理环境中的位置处执行的手势，将输入指向三维环境内的虚拟对象。在一些实施方案中，通过在虚拟对象具有输入焦点时(例如，在虚拟对象已由同时和/或先前检测到的注视输入选择、由同时或先前检测到的指针输入选择、由同时和/或先前检测到的手势输入选择等时)执行(例如，任选地，在与三维环境中的虚拟对象的区域无关的物理环境中的位置处)的手势，将输入指向三维环境内的虚拟对象。在一些实施方案中，由已将焦点选择器对象(例如，指针对象、选择器对象等)定位在虚拟对象的位置处的输入设备将输入指向三维环境内的虚拟对象。在一些实施方案中，经由其他手段(例如，语音、控制按钮等)将输入指向三维环境内的虚拟对象。在一些实施方案中，通过用户手部移动(例如，整个手部移动、在相应姿势中的整个手部移动、手部的一部分相对于手部的另一部分的移动、双手之间的相对移动等)和/或相对于物理对象的操纵(例如，触摸、轻扫、轻击、打开、朝向移动、相对于移动等)，将输入指向物理对象或对应于物理对象的虚拟对象的表示。在一些实施方案中，计算机系统根据来自传感器(例如，图像传感器、温度传感器、生物计量传感器、运动传感器、接近传感器等)的输入和上下文条件(例如，位置、时间、环境中其他人的存在等)来显示三维环境的一些变化(例如，显示另外的虚拟内容，停止显示现有的虚拟内容，在显示视觉内容的不同沉浸水平之间转变等)。在一些实施方案中，计算机系统根据来自与计算机系统的用户共享计算机生成环境(例如，在共享的计算机生成体验中、在共享的虚拟环境中、在通信会话的共享的虚拟或增强现实环境中等)的其他用户所使用的其他计算机的输入来显示三维环境的一些变化(例如，显示另外的虚拟内容、停止显示现有的虚拟内容、在显示视觉内容的不同沉浸水平之间转变等)。在一些实施方案中，计算机系统根据来自传感器的输入来显示三维环境的一些变化(例如，显示用户界面、虚拟表面、用户界面对象、虚拟风景等的移动、变形、视觉特征的变化等)，该传感器检测其他人和对象的移动以及用户的可能不符合作为触发计算机系统的关联操作的所识别手势输入的标准的移动。
在一些实施方案中，经由本文所述的显示生成部件显示的三维环境是在没有物理环境的表示的情况下在三维环境中的不同虚拟位置处包括虚拟对象和内容的虚拟三维环境。在一些实施方案中，三维环境是混合现实环境，其在三维环境中的受物理环境的一个或多个物理方面(例如，墙、地板、表面的位置和取向、重力方向、一天中的时间、物理对象之间的空间关系等)约束的不同虚拟位置处显示虚拟对象。在一些实施方案中，三维环境是包括物理环境的表示的增强现实环境。在一些实施方案中，物理环境的表示包括三维环境中的不同位置处的物理对象和表面的相应表示，使得物理环境中的不同物理对象和表面之间的空间关系由三维环境中的物理对象和表面的表示之间的空间关系来反映。在一些实施方案中，当相对于三维环境中的物理对象和表面的表示的位置来放置虚拟对象时，该虚拟对象看起来与物理环境中的物理对象和表面具有对应的空间关系。在一些实施方案中，计算机系统基于用户输入和/或上下文条件在显示不同类型的环境之间转变(例如，在呈现具有不同沉浸级别的计算机生成的环境或体验、调整来自虚拟内容和来自物理环境的表示的音频/视觉感官输入的相对显著性等之间的转变)。
在一些实施方案中，显示生成部件包括其中显示物理环境的表示的透传部分。在一些实施方案中，显示生成部件的透传部分是显示生成部件的展示用户周围或用户的视场内的物理环境的至少一部分的透明或半透明(例如，透视)部分。例如，透传部分是头戴式显示器或平视显示器的被制成半透明(例如，小于50％、40％、30％、20％、15％、10％或5％的不透明度)或透明的一部分，使得用户可以透过它来查看用户周围的真实世界，而无需移除头戴式显示器或远离平视显示器移动。在一些实施方案中，当显示虚拟或混合现实环境时，透传部分逐渐从半透明或透明过渡到完全不透明。在一些实施方案中，显示生成部件的透传部分显示由一个或多个相机(例如，移动设备的或与头戴式显示器相关联的后向相机，或者将图像数据馈送到计算机系统的其他相机)捕获的物理环境的至少一部分的图像或视频的实时馈送。在一些实施方案中，该一个或多个相机指向物理环境的在用户眼睛的正前方(例如，相对于显示生成部件的用户在显示生成部件后方)的一部分。在一些实施方案中，该一个或多个相机指向物理环境的不在用户眼睛的正前方(例如，在不同物理环境中，或者在用户的侧面或后方)的一部分。
在一些实施方案中，当在与物理环境中的一个或多个物理对象的位置相对应的位置处(例如，在虚拟现实环境、混合现实环境、增强现实环境等中的位置处)显示虚拟对象时，虚拟对象中的至少一些虚拟对象被显示以代替(例如，替换其显示)相机的实时视图的一部分(例如，在实时视图中捕获的物理环境的一部分)。在一些实施方案中，虚拟对象和内容中的至少一些虚拟对象和内容被投影到物理环境中的物理表面或空白空间上，并且透过显示生成部件的透传部分是可见的(例如，作为物理环境的相机视图的一部分可见，或者透过显示生成部件的透明或半透明部分可见等)。在一些实施方案中，虚拟对象和虚拟内容中的至少一些虚拟对象和虚拟内容被显示为覆盖显示器的一部分并且遮挡透过显示生成部件的透明或半透明部分可见的物理环境的至少一部分的视线。
在一些实施方案中，显示生成部件根据改变三维环境的当前显示视图的视点相对于三维环境的虚拟位置的用户输入或移动来显示三维环境的不同视图。在一些实施方案中，当三维环境是虚拟环境时，视点根据导航或运动请求(例如，空中手势、通过手部的一部分相对于手部的另一部分的移动而执行的手势等)移动，而不要求用户的头部、躯干和/或显示生成部件在物理环境中的移动。在一些实施方案中，相对于物理环境而言用户的头部和/或躯干的移动和/或显示生成部件或计算机系统的其他位置感测元件的移动(例如，由于用户握住显示生成部件或佩戴HMD等)等引起视点相对于三维环境的对应移动(例如，具有对应的移动方向、移动距离、移动速度和/或取向变化等)，从而引起三维环境的当前显示视图的对应变化。在一些实施方案中，当虚拟对象具有相对于视点的预设空间关系(例如，锚定或固定到视点)时，视点相对于三维环境的移动将引起虚拟对象相对于三维环境的移动，同时保持虚拟对象在视场中的位置(例如，虚拟对象被称为是头部锁定的)。在一些实施方案中，虚拟对象被身体锁定到用户，并且在用户作为整体在物理环境中移动(例如，携带或佩戴显示生成部件和/或计算机系统的其他位置感测部件)时相对于三维环境移动，但是将不会响应于单独的用户头部移动而在三维环境中移动(例如，显示生成部件和/或计算机系统的其他位置感测部件围绕用户在物理环境中的固定位置旋转)。在一些实施方案中，虚拟对象任选地被锁定到用户的另一部分，诸如用户的手部或用户的手腕，并且根据用户的该部分在物理环境中的移动而在三维环境中移动，以保持虚拟对象的位置与用户的该部分在三维环境中的虚拟位置之间的预设空间关系。在一些实施方案中，虚拟对象被锁定到由显示生成部件提供的视场的预设部分，并且根据视场的移动而在三维环境中移动，而与不引起视场变化的用户的移动无关。
在一些实施方案中，如图7A至图7Z所示，三维环境的视图有时不包括用户的手部、手臂和/或手腕的表示。在一些实施方案中，用户的手部、手臂和/或手腕的表示被包括在三维环境的视图中。在一些实施方案中，用户的手部、手臂和/或手腕的表示被包括在三维环境的视图中，作为经由显示生成部件提供的物理环境的表示的一部分。在一些实施方案中，这些表示不是物理环境的表示的一部分，并且在独立于三维环境的当前显示视图的三维环境中被分别捕获(例如，通过一个或多个相机指向用户的手部、手臂和手腕)并显示。在一些实施方案中，这些表示包括由计算机系统的一个或多个相机捕获的相机图像或基于由各种传感器捕获的信息的手臂、手腕和/或手部的程式化版本。在一些实施方案中，这些表示替换物理环境的表示的部分的显示、被覆盖在物理环境的表示的部分上或阻挡物理环境的表示的部分的视图。在一些实施方案中，当显示生成部件不提供物理环境的视图并且提供完全虚拟环境(例如，无相机视图且无透明透传部分)时，任选地仍在虚拟环境中显示用户的一个或两个手臂、手腕和/或手部的实时视觉表示(例如，使表示或分段相机图像程式化)。在一些实施方案中，如果在三维环境的视图中没有提供用户的手部的表示，则与用户的手部相对应的位置任选地在三维环境中被指示，例如，通过在与用户的手部在物理环境中的位置相对应的三维环境中的位置处改变虚拟内容的外观(例如，通过半透明度、模拟反射率等的变化)。在一些实施方案中，用户的手部或手腕的表示在三维环境的当前显示视图之外，因为与用户的手部或手腕的位置相对应的三维环境中的虚拟位置在经由显示生成部件提供的当前视场之外；并且当与用户的手部或手腕的位置相对应的虚拟位置由于显示生成部件、用户的手部或手腕、用户的头部和/或用户作为整体等的移动而在当前视场内移动时，用户的手部或手腕的表示将在三维环境的视图中可见。
图7A至图7M是示出根据一些实施方案的与三维环境中显示的用户界面对象的用户交互的框图。在一些实施方案中，用户界面对象被提供为三维环境中的主页用户界面或主页体验的一部分。用户界面对象任选地是通常被包括在用于计算机系统的主页用户界面或启动台中的项目的图标，诸如在三维环境中用于启动应用程序的图标、用于开始通信会话的图标、用于开始计算机生成体验的图标、用于不同类别的用户界面对象的组图标、容器对象(诸如文件夹或组)、主页按钮、程序坞、根菜单等。根据各种实施方案，图7A至图7M(以及图8至图10)中针对一些示例中的用户界面对象所描述的行为适用于其他示例中的用户界面对象，除非在说明书中另有说明。
图7A至图7D是示出根据一些实施方案的将指向与物理环境中的用户的手部(例如，手部7202或另一手部等)处或附近的位置相对应的三维环境中的第一位置的注视输入的检测连同满足预设标准的手部的移动(例如，形成抛掷手势或轻弹手势等)一起使用以使得在远离与用户的手部处或附近的位置相对应的位置的三维环境中的位置处显示与各种计算机生成体验相对应的多个用户界面对象(例如，用户界面对象7306、7302、7304等)的框图。
例如，如图7A至图7D所示，连同满足预设标准的手部的第一移动(例如，图7A和图7C中的移动7209，或满足预设标准的其他种类的移动等)一起，检测到第一注视输入(例如，图7C中的注视输入7210或另一注视输入等)指向与物理环境中用户的手部(例如，手部7202或另一手部等)处或附近的位置相对应的三维环境(例如，图7A至图7D中的环境7104，或另一AR、VR或XR环境等)中的第一位置。根据一些实施方案，响应于连同第一移动一起检测到第一注视输入(如图7C所示)，计算机系统在远离与用户的手部处或附近的位置相对应的位置的三维环境7104中的位置处(例如，如图7D所示)显示与各种计算机生成体验(例如，VR体验、AR体验、XR体验、应用程序、通信会话等)相对应的多个用户界面对象(例如，图7D中的用户界面对象7306、7302和7304、其他用户界面对象等)。如图7D所示，显示用户界面对象的位置锚定到三维环境7104，而不锚定到用户身体的一部分(例如，头部、眼睛、面部、躯干、手部、手腕等)。
如本文所述，在一些实施方案中，在不存在用户输入的任一分量，例如满足预设标准的用户的手部的移动(例如，无移动，或如图7B中的场景中所示，检测到不满足预设标准的移动)或指向与用户的手部处或附近的位置相对应的位置的注视输入(例如，无注视输入，或如图7A中的场景中所示，在与用户的手部处或附近的位置相对应的位置处未检测到注视输入7208)的情况下，计算机系统不(例如，与图7C至图7D所示的场景相比)在远离与用户的手部处或附近的位置相对应的位置的三维环境7104中的位置处(例如，分别如图7A和图7B所示)显示多个用户界面对象(例如，用户界面对象7306、7302和7304或其他用户界面对象)。
图7A至图7D示出了与第一显示生成部件(例如，显示生成部件7100或另一显示生成部件等)通信的示例性计算机系统(例如，设备101或另一计算机系统等)。在一些实施方案中，第一显示生成部件是平视显示器。在一些实施方案中，第一显示生成部件是头戴式显示器(HMD)。在一些实施方案中，第一显示生成部件是独立显示器、触摸屏、投影仪或另一类型的显示器。在一些实施方案中，计算机系统与一个或多个输入设备通信，该一个或多个输入设备包括检测物理环境中用户的手部的移动、用户的整个身体的移动和/或用户的头部的移动的相机或其他传感器和输入设备。在一些实施方案中，一个或多个输入设备检测用户的手部、面部和用户的整个身体等的移动及当前姿势、取向和位置。在一些实施方案中，一个或多个输入设备包括检测用户注视的位置和移动的眼睛跟踪部件。在一些实施方案中，第一显示生成部件以及任选地一个或多个输入设备和计算机系统是头戴式设备(例如，HMD、一对护目镜等)的部分，该头戴式设备在物理环境中随用户的头部而移动和旋转，并且将用户的视点改变到经由第一显示生成部件提供的三维环境中。在一些实施方案中，第一显示生成部件是平视显示器，其不随用户的头部或用户的整个身体而移动或旋转，而是任选地根据用户的头部或身体相对于第一显示生成部件的移动来将用户的视点改变到三维环境中。在一些实施方案中，第一显示生成部件任选地由用户的手部相对于物理环境或相对于用户的头部移动和旋转，并且根据第一显示生成部件相对于用户的头部或面部或相对于物理环境的移动来将用户的视点改变到三维环境中。
如图7A至图7D所示，计算机系统显示三维环境(例如，环境7104、虚拟三维环境、增强现实环境、物理环境的透传视图、物理环境的相机视图等)的视图。在一些实施方案中，三维环境是没有物理环境的表示的虚拟三维环境。在一些实施方案中，三维环境是混合现实环境，该混合现实环境是由与物理环境相对应的传感器数据增强的虚拟环境。在一些实施方案中，三维环境是增强现实环境，该增强现实环境包括一个或多个虚拟对象和第一显示生成部件7100周围的物理环境的至少一部分的表示(例如，墙壁的表示7004’、7006’、地板的表示7008’、物理对象的表示7002’等)。在一些实施方案中，物理环境的表示包括物理环境的相机视图。在一些实施方案中，物理环境的表示包括物理环境透过第一显示生成部件的透明或半透明部分的视图。
在图7A中，来自用户的眼睛(例如，眼睛7206)的注视输入7208被计算机系统检测到，并且注视输入7208指向不与用户的手部7202在物理环境中的位置相对应的三维环境中的位置。例如，注视7208指向三维环境中与地板上的位置相对应的位置(例如，指向地板的表示7008’上的区域)或物理对象的表示7002’等上的位置。在一些实施方案中，注视输入7208在三维环境7104中没有稳定的位置，并且在三维环境中从一个位置到另一个位置四处游走，而不停留在位于手部7202的表示7202’处或附近的相应区域中。在一些实施方案中，手部7202的表示7202’任选地在由第一显示生成部件7100提供的当前显示的视场之外，并且用户不能通过第一显示生成部件7100看见。
在图7A中，计算机系统检测到用户的手部(例如，手部7202或另一手部等)作出满足预设标准(例如，用于检测轻弹手势、抛掷手势、推动手势等的标准)的第一移动7209，同时注视输入7208未指向与用户的手部7202处或附近的位置相对应的三维环境7104中的区域(例如，图7A中的手部7202的表示7202’的区域)。响应于检测到手部7202的第一移动7209，根据确定未在与用户的手部的位置相对应的三维环境中的区域中检测到注视输入7208连同(例如，同时、在之前、期间或之后的时间窗口内等)检测到第一移动7209的至少一部分，计算机系统不在远离三维环境7104中与用户相对应的虚拟位置的位置处显示多个用户界面对象。在一些实施方案中，在与用户的手部的位置相对应的位置处显示主页用户界面对象(例如，多个用户界面对象的微型表示的集群、用于多个用户界面对象的不同类别的类别图标的集群、主页按钮等)(例如，覆盖、遮挡用户的手部、手掌、手背、手腕等的表示7202’的至少一部分或表示7202’附近的区域等、替换该表示的至少一部分或该表示附近的区域等的显示等)。在一些实施方案中，主页用户界面对象的显示响应于用户的手部的将手部的预设侧转向用户的面部的移动或朝向用户的面部的移动等。在一些实施方案中，主页用户界面对象的显示响应于用户的手部的将手部的预设侧转向用户的面部的移动或朝向用户的面部的移动等，同时注视输入指向用户的手部的表示(例如，如图7C所示)。在一些实施方案中，主页用户界面对象的显示响应于检测到注视输入指向用户的手部的表示。
在图7B中，与图7A和图7C至图7D所示的场景相比，计算机系统检测到在与用户的手部的位置相对应的位置处的注视输入(例如，在图7B中注视输入7210指向用户的手部7202的表示7202’的区域)连同用户的手部7202在物理环境中的第二移动或无移动。根据确定检测到指向与用户的手部的位置相对应的区域的注视输入连同不满足预设标准的用户的手部的第二移动(或在用户的手部静止或在视线之外时检测到注视输入)，计算机系统不在远离与用户相对应的虚拟位置的位置处显示多个用户界面对象(例如，用户界面对象7306、7302和7304等)。在一些实施方案中，即使手部不移动或不进行满足预设标准的移动，也在与用户的手部的位置相对应的位置处显示主页用户界面对象(例如，多个用户界面对象的微型表示的集群、用于多个用户界面对象的不同类别的类别图标的集群、主页按钮等)(例如，覆盖、遮挡用户的手部、手掌、手背、手腕等的表示7202’的至少一部分或表示7202’附近的区域等、替换该表示的至少一部分或该表示附近的区域的显示等)。在一些实施方案中，主页用户界面对象的显示响应于用户的手部的将手部的预设侧转向用户的面部的移动或朝向用户的面部的移动等。在一些实施方案中，主页用户界面对象的显示响应于用户的手部的将手部的预设侧转向用户的面部的移动或朝向用户的面部的移动等，同时注视输入指向用户的手部的表示。
在图7C中，计算机系统检测到用户的手部7202在物理环境中的满足预设标准的第一移动7209以及指向与物理环境中用户的手部7202处或附近的位置相对应的三维环境7104的区域的注视输入7210(例如，注视输入指向用户的手部7202的表示7202’，任选地，同时手部的预设侧面向用户)。根据确定用户的手部在物理环境中的第一移动7209满足预设标准(例如，手部的移动对应于轻弹手势、抛掷手势、推动手势等)并且第一移动满足预设标准连同检测到与用户的手部7202处或附近的位置相对应的区域处的注视输入7210，计算机系统在远离与用户的手部在物理环境中的位置相对应的位置的三维环境7104中的相应位置处显示多个用户界面对象(例如，用户界面对象7306、7302和7304、其他用户界面对象、用户界面对象的类别图标等)，如图7D所示。在一些实施方案中，当在与用户的手部的位置相对应的区域处检测到注视输入并且手部的预设侧面向用户时，计算机系统任选地不在图7C中与用户的手部的位置相对应的位置处显示用户界面对象7306的缩减版本。在一些实施方案中，计算机系统任选地在图7D中与用户的手部的位置相对应的位置处显示用户界面对象7306的缩减版本，同时远离与用户的手部的位置相对应的位置显示用户界面对象7306(例如，用户可与在用户的手部附近显示的版本或远离用户的手部显示的版本进行交互)。在一些实施方案中，在与用户的手部的位置相对应的位置处显示的用户界面对象7306的版本(例如，在图7C中)包括用于不同组可选择用户界面对象的类别图标的尺寸减小的集群，并且在远离用户的虚拟位置的位置处显示的用户界面对象7306的版本(例如，在图7D中)包括用于不同组可选择用户界面对象的类别图标的放大集群。在一些实施方案中，在与用户的手部的位置相对应的位置处显示的用户界面对象7306的版本(例如，在图7C中)包括单个主页按钮，并且在远离用户的虚拟位置的位置处显示的用户界面对象7306的版本(例如，在图7D中)包括用于不同组可选择用户界面对象的类别图标的集群。
如图7C所示，在一些实施方案中，响应于计算机系统在与用户的手部7202的位置相对应的区域中检测到注视输入7210，在与用户的手部7202处或附近的位置相对应的位置处显示主页用户界面对象(例如，用户界面对象7306、与计算机生成体验相对应的多个用户界面对象的微型版本的集群、与计算机生成体验的不同类别相对应的类别图标的集群、主页按钮等)。在一些实施方案中，在手部处于预设姿势时(例如，其中手背面向用户的面部，手掌侧面向用户的面部等)或在手部进行预设移动时(例如，将手部的预设侧转向用户的面部，将手部朝向用户的面部抬高等)等，根据确定注视输入7210指向与用户的手部7202的位置相对应的区域来显示主页用户界面对象。在一些实施方案中，当在与用户的手部在物理环境中的位置相对应的三维环境中的位置处显示时，主页用户界面对象锚定到用户的手部的表示7202’并且与该表示一起移动。在一些实施方案中，在与用户的手部7202处或附近的位置相对应的位置处显示主页用户界面对象期间，检测到满足预设标准的第一移动7209的至少初始部分。在一些实施方案中，用户的手部7202的满足预设标准的第一移动7209包括连接到手部7202的手腕的轻弹，并且这使得手部7202从靠近用户的位置移动到更远离用户的位置，同时手腕是静止的或远离用户的面部移动。
在一些实施方案中，在远离与用户的手部7202相对应的第一位置的位置处显示的用户界面对象是与主页环境或用于体验的启动台相关联的对象，包括用于启动应用程序的应用程序图标、用于发起与用户的通信会话的用户的头像、用于在三维环境中启动计算机生成AR、VR或XR体验的图标、或与上述的不同类别相对应的类别图标等。在一些实施方案中，对相应类别图标(例如，由图7C或图7D中的对象7302表示)的选择引起来自对应类别的一组用户界面对象(例如，应用程序图标、用户的头像、用于体验的图标、其他类别的图标、来自上述类别的子类别的图标等)的显示。在一些实施方案中，计算机系统显示动画过渡，该动画过渡示出了多个用户界面对象从与用户的手部处或附近的位置相对应的位置(例如，从图7C中的用户界面对象7306、7302和7304等的位置)移动到远离与用户的手部7202处或附近的位置相对应的位置的位置(例如，移动到图7D中用户界面对象7306、7302和7304等的位置)。在一些实施方案中，动画过渡示出了在与用户的手部的位置相对应的位置处显示的主页按钮或类别图标集群远离三维环境的当前显示视图的视点从用户的手部的表示中飞出，并且停留于它们在三维环境中远离用户的手部的表示并远离用户的虚拟位置的最终位置。在一些实施方案中，主页按钮与手部的表示7202’保持在一起，并且类别图标的集群(例如，由图7D中的对象7306、7302和7304表示)被示出为从用户的手部的表示中飞出并且停留于它们在三维环境中的最终位置。在一些实施方案中，多个类别图标停留于视场的角落或边缘区域(例如，如图7K至图7M所示)并且与三维环境7104中的视点一起移动。在一些实施方案中，多个类别图标停留于当前处于视场的角落或边缘区域中的三维环境的一部分(例如，如图7K至图7M所示)并且不与三维环境7104中的视点一起移动。
在一些实施方案中，远离与用户的手部处或附近的位置相对应的第一位置的位置(例如，根据用户的手部作为整体在物理环境中的移动来动态地更新第一位置)是三维环境中与对应于用户的面部或用户作为整体的位置的位置相距至少第一阈值距离(例如，相距一臂之长、由用户选择或为用户选择的预设查看距离等)的位置。在一些实施方案中，远离与用户的手部处或附近的位置相对应的第一位置的位置是锚定到三维环境7104的位置(例如，锚定到三维环境中与墙壁、物理环境中的预设区域、桌子等相对应的位置)，并且锚定到三维环境的位置不随着用户作为整体的移动或随着用户的相应部分(例如，用户的手部、用户的头部等)在物理环境中的移动而改变。在一些实施方案中，远离与用户的手部处或附近的位置相对应的第一位置的位置是锚定到进入三维环境7104中的用户的视点的位置的位置，并且锚定到用户的视点的位置的位置根据用户的视点在三维环境中的移动而改变(例如，视点随着用户作为整体的移动或随着用户的头部在物理环境中的移动而移动)。
在一些实施方案中，计算机系统生成音频输出，该音频输出连同多个用户界面对象(例如，对象7306、7302和7304等)在远离与用户的手部7202的位置相对应的第一位置的位置处的移动和显示一起输出。在一些实施方案中，音频输出是好像源自附接到多个用户界面对象的移动声源的空间音频输出。在一些实施方案中，音频输出提供多个用户界面对象的移动方向以及在三维环境中的其停留位置(例如，图7D所示的停留位置)处最终着陆的指示。在一些实施方案中，多个用户界面对象停留在离用户的虚拟位置或三维环境的当前显示视图的视点的位置的阈值距离内(例如，在一至五英尺内、在为用户选择的舒适查看距离内等)的位置处。在一些实施方案中，基于要在远离与用户的手部的位置相对应的第一位置的位置处(例如，在不随用户的手部的移动而移动的位置处)显示的多个用户界面对象的总数和/或尺寸来选择阈值距离。在一些实施方案中，在远离与用户的手部的位置相对应的第一位置的位置处显示的多个用户界面对象(例如，图7D中的对象7306、7302、7304等)大于在与用户的手部的位置相对应的第一位置处显示的其对应物(例如，图7C中的对象7306、7302、7304等)。在一些实施方案中，计算机系统显示动画过渡，该动画过渡示出了当多个用户界面对象从与手部在物理环境中的位置相对应的三维环境中的第一位置移动到其远离与手部的位置相对应的第一位置的停留位置时，多个用户界面对象的相应尺寸扩大。
在一些实施方案中，当在远离与用户的手部的位置相对应的第一位置的位置处显示多个用户界面对象时(例如，当多个用户界面对象锚定到环境或视点等，并且不再锚定到用户的手部时)，计算机系统检测到手部的满足不同组预设标准(例如，用于检测挥手手势的标准、用于检测轻扫手势的标准等)的移动，并且作为响应，计算机系统将多个用户界面对象从远离与用户的手部的位置相对应的第一位置的位置移动回到与用户的手部的位置相对应的第一位置。例如，在一些实施方案中，计算机系统检测到以手掌侧朝向用户面部移动的用户的手部转向用户的面部，计算机系统在与用户的手部处或附近的位置相对应的第一位置处重新显示主页用户界面对象，并且停止在远离与用户的手部的位置相对应的第一位置的位置处显示多个用户界面对象。
在一些实施方案中，在与用户的手部处或附近的位置相对应的三维环境中的第一位置处(例如，如图7C所示)显示的主页用户界面对象(例如，图7C中的用户界面对象7306)以及在远离与用户的手部处或附近的位置相对应的第一位置的三维环境中的位置处(例如，如图7D所示)显示的主页用户界面对象(例如，图7D中的用户界面对象7306)任选地在经由第一显示生成部件提供的三维环境7104的相同视图中同时显示。在一些实施方案中，在与用户的手部的位置相对应的第一位置处显示的主页用户界面对象根据用户的手部在物理环境中的移动(例如，独立于用户的头部、人的移动或不引起手部的移动的第一显示生成部件的移动等)而在三维环境中移动；并且同时在远离与用户的手部的位置相对应的第一位置的位置处显示的主页用户界面对象根据用户的头部的移动(例如，平移、旋转等)或第一显示生成部件在物理环境中的移动(例如，平移、旋转等)(例如，独立于不引起第一显示生成部件的移动的用户的手部的移动)而在三维环境中移动。
在一些实施方案中，当在与用户的手部7202处或附近的位置相对应的第一位置处显示主页用户界面对象(例如，对象7306)时(例如，如图7C所示)，指向手部7202的轻击输入可激活主页用户界面对象或主页用户界面对象内的用户界面对象(例如，对象7302或7304等)，并且使得在三维环境中执行对应功能。例如，在一些实施方案中，根据确定手部7202上的轻击输入的位置对应于主页用户界面对象作为整体的位置，计算机系统在远离与用户的手部的位置相对应的第一位置的位置处显示类别图标的集群。在一些实施方案中，根据确定手部上的轻击输入的位置对应于主页用户界面对象内的相应类别图标(例如，由图7C中的对象7304表示)的位置，计算机系统在远离与用户的手部的位置相对应的第一位置的位置处显示对应于相应类别图标的一组图标(例如，以与图7K所示的对象7316类似的方式)。在一些实施方案中，根据确定手部上的轻击输入的位置对应于主页用户界面对象内的相应计算机生成体验的相应图标的位置，计算机系统发起用于在三维环境中显示相应计算机生成体验的过程。在一些实施方案中，在与用户的手部的位置相对应的第一位置处显示的主页用户界面对象可由指向用户的手部7202的用户输入来激活，而无需在远离与用户的手部的位置相对应的第一位置的位置处显示对应用户界面对象。
在一些实施方案中，当用户从当前位置移动超过阈值量时，在远离与用户的手部的位置相对应的第一位置的位置处显示的多个用户界面对象停止在那些位置处显示。例如，如果三维环境的当前显示视图的视点已经移动了使得多个用户界面对象完全离开由第一显示生成部件提供的当前视场的量，则即使那些位置随后重新进入由第一显示生成部件提供的视场，多个用户界面对象也停止在它们的相应位置处显示。
在一些实施方案中，计算机系统在与用户的手部处或附近的位置相对应的第一位置处显示主页用户界面对象(例如，由图7C中的用户界面对象7306表示)。在一些实施方案中，主页用户界面对象看起来浮在用户的手部上方，并且不会遮挡用户的手部7202的表示7202’。在一些实施方案中，当用户的手部7202仅改变姿势而不改变其在物理环境中的整体位置并且不满足预设标准(例如，用于检测轻弹手势或抛掷手势等的标准)时，主页用户界面对象不移动或改变取向。
在一些实施方案中，当在远离与用户的手部的位置相对应的第一位置的位置处显示多个用户界面对象时，计算机系统检测与选择多个用户界面对象中的相应用户界面对象(例如，用于启动第一应用程序的第一应用程序图标、用于启动第二应用程序的第二应用程序图标、用于第一用户的第一头像、用于第二用户的第二头像、用于第一体验的第一图标、用于第二体验的第二图标等)的请求相对应的用户输入(例如，轻击输入、轻扫输入、连同轻击或轻扫输入一起检测到的注视输入等)。响应于检测到与选择相应用户界面对象的请求相对应的用户输入，计算机使相应用户界面对象相对于多个用户界面对象中的一个或多个用户界面对象(例如，未被用户输入选择的其他用户界面对象、与相应用户界面对象属于相同类别的其他用户界面对象等)改变尺寸(例如，放大、缩小等)。
在一些实施方案中，在与用户的手部的位置相对应的第一位置处显示的主页用户界面对象根据与用户的手部7202的张开姿势和合上姿势之间的转变相对应的用户的手部7202的手部姿势的变化(例如，张开手部以展示整个手掌或手背，合上手部以形成拳头或半拳头等)来动态地调整尺寸。例如，根据一些实施方案，主页用户界面对象(例如，由图7C中的对象7306表示)以及任选地其组成对象(例如，由图7C中的对象7302和7304表示)根据用户的手部7202的张开移动来扩大尺寸，并且根据用户的手部7202的合上移动来缩小尺寸。
图7E至图7H是示出根据一些实施方案的将满足第一手势标准的用户的手部的移动的检测连同指向与第一用户界面对象(例如，图7E至图7H中的用户界面对象7308，或另一用户界面对象，诸如图7A至图7D中的用户界面对象7306、7302、7304和图7I至图7M中的用户界面对象7306’、7302、7304、7310、7316-a至7316-d、7318-a至7318-d等中的一者)相对应的三维环境的区域的、持续超过第一阈值时间量Th(例如，大于仅检测指向该区域的注视输入所需的时间量的时间量)的注视输入的检测一起使用以使得第一用户界面对象被选择的框图。
如图7E至图7H所示，经由与计算机系统(例如，计算机系统101、相对于图7A至图7D描述的计算机系统等)通信的第一显示生成部件(例如，显示生成部件7100、相对于图7A至图7D描述的第一显示生成部件、其他显示生成部件等)显示三维环境(例如，环境7104、如相对于图7A至图7D描述的环境、另一VR、AR或XR环境等)。如图7E至图7H所示，三维环境7104的当前显示视图包括在三维环境中的各种位置(例如，与物理对象或表面的相应位置相对应的位置、不与物理对象和表面的位置相对应的位置等)处显示的一个或多个用户界面对象(例如，用户界面对象7311、用户界面对象7308、其他用户界面对象或虚拟对象等)。在一些实施方案中，图7E至图7H所示的用户界面对象7308是类似于主页用户界面对象(例如，图7A至图7D中的用户界面对象7306、图7I至图7M中的用户界面对象7306’等)或在远离与用户的手部的位置相对应的第一位置的位置处显示的多个用户界面对象中的相应用户界面对象(例如，图7I至图7M 中的用户界面对象7302、用户界面对象7304、用户界面对象7316之一、用户界面对象7318之一等)的对象，并且具有与相对于图7A至图7D和图7I至图7M描述的行为类似的行为。在一些实施方案中，相对于图7E至图7H描述的用户界面(例如，三维环境7104和第一用户界面对象等)的行为也适用于如图7A至图7D和图7I至图7M所述的用户界面(例如，主页用户界面对象和在远离与用户的手部的位置相对应的第一位置的位置处显示的多个用户界面对象等)。在一些实施方案中，图7E至图7H中的用户界面对象7308不同于图7A至图7D中的用户界面对象7306、7302或7304，和/或图7I至图7M中的用户界面对象7306’、7302、7304、7310、7316、7318等，并且不具有这些对象的所有特征。在一些实施方案中，用户界面对象7308在远离与用户的手部的位置相对应的第一位置的位置处显示，并且任选地锚定到物理环境的一部分，或相对于由第一显示生成部件提供的视场是固定的。
图7E至图7H分别示出了根据一些实施方案的四种不同场景，其中取决于满足与注视输入和用户的手部的移动有关的条件的哪种组合而得到不同结果。例如，在图7E中，用户的手部7202的移动不满足第一手势标准(例如，无移动或不是所需的移动)并且在与第一用户界面对象7308相对应的区域中未检测到注视输入；因此，计算机系统不选择第一用户界面对象7308。在图7F中，用户的手部7202的移动7312满足第一手势标准，但在与第一用户界面对象7308相对应的区域中未检测到注视输入；因此，计算机系统不选择第一用户界面对象7308。在图7G中，用户的手部7202的移动7312满足第一手势标准，并且在与第一用户界面对象7308相对应的区域中检测到注视输入7212(例如，注视在该区域中保持至少注视检测阈值T0)，然而，在该区域中初始检测到注视之后，在该区域中未检测到持续至少第一阈值时间量Th(例如，停留时间阈值)的注视输入7212。因此，计算机系统不选择第一用户界面对象7308。在图7H中，用户的手部7202的移动7312满足第一手势标准并在与第一用户界面对象7308相对应的区域中检测到注视输入7212，并且在该区域中初始检测到注视之后在该区域中检测到持续至少第一阈值时间量Th的注视输入7212(例如，在该区域中检测到注视的总时间T大于或等于T0+Th)；因此，计算机系统在三维环境中选择第一用户界面对象7308。在一些实施方案中，对于未选择第一用户界面对象7308的场景，计算机系统响应于所检测到的输入(例如，响应于不满足第一手势标准但满足某一其他标准的手部的移动与不存在指向第一用户界面对象的注视输入的组合、满足第一手势标准的手部的移动与不存在指向第一用户界面对象的注视输入的组合、满足第一手势标准的手部的移动与指向第一用户界面对象的持续小于第一阈值时间量的注视输入的组合、不满足第一手势标准但满足某一其他标准的移动与指向第一用户界面对象的持续小于第一阈值时间量的注视输入的组合、不满足第一手势标准但满足某一其他标准的移动连同指向第一用户输入的持续超过第一阈值持续时间的注视输入的组合等)而任选地在三维环境中执行与第一用户界面对象7308的选择不同的其他操作。
图7E至图7H示出了与第一显示生成部件(例如，显示生成部件7100或另一显示生成部件等)通信的计算机系统(例如，设备101或另一计算机系统等)。在一些实施方案中，第一显示生成部件是平视显示器。在一些实施方案中，第一显示生成部件是头戴式显示器(HMD)。在一些实施方案中，第一显示生成部件是独立显示器、触摸屏、投影仪或另一类型的显示器。在一些实施方案中，计算机系统与一个或多个输入设备通信，该一个或多个输入设备包括检测物理环境中用户的手部的移动、用户的整个身体的移动和/或用户的头部的移动的相机或其他输入设备。在一些实施方案中，一个或多个输入设备检测用户的手部、面部和用户的整个身体等的移动及当前姿势、取向和位置。在一些实施方案中，一个或多个输入设备包括检测用户注视的位置和移动的眼睛跟踪部件。在一些实施方案中，第一显示生成部件以及任选地一个或多个输入设备和计算机系统是头戴式设备(例如，HMD、一对护目镜等)的部分，该头戴式设备在物理环境中随用户的头部而移动和旋转，并且将用户的视点改变到经由第一显示生成部件提供的三维环境中。在一些实施方案中，第一显示生成部件是平视显示器，其不随用户的头部或用户的整个身体而移动或旋转，而是任选地根据用户的头部或身体相对于第一显示生成部件的移动来将用户的视点改变到经由第一显示生成部件提供的三维环境中。在一些实施方案中，第一显示生成部件可由用户的手部相对于物理环境或用户的头部移动和旋转，从而根据第一显示生成部件相对于用户的头部或面部或相对于物理环境的移动来将用户的视点改变到经由第一显示生成部件提供的三维环境中。
如图7E至图7H所示，计算机系统显示三维环境(例如，环境7104、虚拟三维环境、增强现实环境、物理环境的透传视图、物理环境的相机视图等)的视图。在一些实施方案中，三维环境是没有物理环境的表示的虚拟三维环境。在一些实施方案中，三维环境是混合现实环境，该混合现实环境是由与物理环境相对应的传感器数据增强的虚拟环境。在一些实施方案中，三维环境是增强现实环境，该增强现实环境包括一个或多个虚拟对象和第一显示生成部件周围的物理环境的至少一部分的表示(例如，墙壁的表示7004’和7006’、地板的表示7008’、物理对象的表示7002’等)。在一些实施方案中，物理环境的表示包括物理环境的相机视图。在一些实施方案中，物理环境的表示包括物理环境透过第一显示生成部件的透明或半透明部分的视图。在图7E至图7H中，两个用户界面对象7311和7308在远离与用户的手部7202的位置相对应的三维环境7104中的第一位置的位置处(例如，在锚定到三维环境或视点并且不根据手部在物理环境中的移动而移动的位置处)显示。
在图7E中，计算机系统在与第一用户界面对象7308相对应的区域处未检测到来自用户的眼睛7206的任何注视输入，例如因为用户的眼睛7206的视线在三维环境中四处移动(例如，其位置在阈值时间量(例如，注视检测时间阈值T0)内改变超过阈值量)或因为注视输入指向在与第一用户界面对象7308相对应的区域之外的三维环境的区域(例如，注视输入指向第二用户界面对象7311，视线在注视检测时间阈值内具有小于阈值量的移动，或视线被限制在与第二用户界面对象7311相对应的区域中达至少注视检测时间阈值，注视指向与地板上的位置相对应的位置(例如，指向地板的表示7008’上的区域)，注视指向三维环境中的物理对象的表示7002’等上的位置等)。
如图7E所示，在一些实施方案中，三维环境7104的视图不包括手部7202的表示，或手部7202的表示可在由第一显示生成部件提供的当前显示的视场之外。在图7E中，计算机系统未检测到手部7202在物理环境中的移动，或计算机系统检测到不满足用于选择第一用户界面对象7308的第一手势标准的手部的移动。在一些实施方案中，第一手势标准包括用于检测捏合手势(例如，至少两根手指在彼此接触之后远离彼此的移动，和/或至少两根手指朝向彼此的移动并彼此接触等)、空中轻击手势、手部的一部分在同一只手的另一部分上的轻击手势、一只手在另一只手或表面上的轻击手势，或捏合并拖动手势等)的标准。如图7E所示，根据确定用户的手部7202的移动不满足第一手势标准以及确定未在第一用户界面对象7308的区域中检测到持续超过大于注视检测时间阈值(例如，T0)的第一阈值时间量(例如，Th+T0)的注视输入，计算机系统不选择第一用户界面对象7308(例如，第一用户界面对象7308在用户输入之后在图7E中保持未被选择)。在一些实施方案中，第一用户界面对象7308是在被激活时发起显示主页菜单、与一定类别或组相对应的多个用户界面对象、主页用户界面对象(例如，多个用户界面对象的微型表示的集群、用于多个用户界面对象的不同类别的类别图标的集群等)等的用户界面对象。在一些实施方案中，第一用户界面对象7308表示在相同类型或不同类型的多个其他可选择用户界面对象之中显示的类别图标、应用程序图标、用户的头像、用于开始计算机生成体验的图标等。
在图7F中，计算机系统仍然没有在与第一用户界面对象7308相对应的区域中检测到来自用户的眼睛7206的任何注视输入，例如，因为用户的眼睛7206的视线在三维环境7104中四处移动，或者因为注视输入指向在与第一用户界面对象7308相对应的区域之外的三维环境的区域。在图7F中，计算机系统检测手部7202在物理环境中满足用于选择第一用户界面对象7308的第一手势标准的移动7312。如图7F所示，根据确定用户的手部7202的移动7312满足第一手势标准以及确定未在第一用户界面对象7308的区域中检测到持续超过大于注视检测时间阈值(例如，T0)的第一阈值时间量(例如，T0+Th)的注视输入，计算机系统仍不选择第一用户界面对象7308(例如，在用户输入之后第一用户界面对象7308在图7F中保持未被选择)。
在图7F中，计算机系统在与第一用户界面对象7308相对应的区域中未检测到来自用户的眼睛7206的任何注视输入，例如因为用户的眼睛7206的视线在三维环境中四处移动(例如，其位置在阈值时间量(例如，注视检测时间阈值)内改变超过阈值量)或因为注视输入指向在与第一用户界面对象7308相对应的区域之外的三维环境的区域(例如，注视输入指向第二用户界面对象7311，视线在注视检测时间阈值内具有小于阈值量的移动，视线被限制在与第二用户界面对象7311相对应的区域中达至少注视检测时间阈值，注视指向与地板上的位置相对应的位置(例如，指向地板的表示7008’上的区域)，或注视指向三维环境中的物理对象的表示7002’等上的位置)。
如图7G所示，计算机系统检测手部7202在物理环境中满足用于选择第一用户界面对象7308的第一手势标准的移动7312。如图7G所示，计算机系统在移动7312的至少一部分的阈值窗口内的时间检测到眼睛7206的注视输入7212已移动到与第一用户界面对象7308相对应的区域(例如，注视在该区域中保持至少注视检测时间阈值T0)。但在第一用户界面对象7308的区域处尚未检测到持续至少第一阈值时间量的注视输入7212(例如，在注视已在第一用户界面对象7308的区域内保持至少第一阈值时间量(例如，T0+Th)之前完成移动7312，或者在注视已在第一用户界面对象7308的区域内保持至少第一阈值时间量之前注视远离第一用户界面对象7308的区域移动等)。如图7G所示，根据确定用户的手部7202的移动7312满足第一手势标准以及确定未在第一用户界面对象7308的区域中检测到持续超过大于注视检测时间阈值(例如，T0)的第一阈值时间量(例如，T0+Th)的注视输入7212，计算机系统不选择第一用户界面对象7308(例如，在用户输入之后第一用户界面对象7308在图7G中保持未被选择)。在一些实施方案中，当在第一用户界面对象7308的区域中检测到注视输入时，在注视输入已在该区域内保持至少第一阈值时间量但第一用户界面对象7308还不能被认为被用户的输入选择之前的时间，计算机系统任选地提供一些视觉反馈以指示注视输入7212的位置。在一些实施方案中，第一用户界面对象7308是在被选择时发起显示主页菜单、图标类别内的多个用户界面对象、用于多个用户界面对象的不同类别的类别图标集群、应用程序用户界面、与用户的通信会话、计算机生成体验等的用户界面对象。
如图7H所示，计算机系统检测手部7202在物理环境中满足用于选择第一用户界面对象7308的第一手势标准的移动7312。如图7H所示，计算机系统检测到眼睛7206的注视输入7212在移动7312的至少一部分的阈值窗口内的时间已移动到与第一用户界面对象7308相对应的区域，并且注视输入7212已在第一用户界面对象7308的区域中保持至少第一阈值时间量(例如，在注视已在第一用户界面对象7308的区域内保持至少第一阈值时间量之后完成移动7312，或者注视在第一用户界面对象7308的区域中保持至少第一阈值时间量并且到了注视已在第一用户界面对象7308的区域中保持至少第一阈值时间量的时候已开始或完成移动7312等)。如图7H所示，根据确定用户的手部7202的移动7312满足第一手势标准以及确定已在第一用户界面对象7308的区域中检测到持续超过大于注视检测时间阈值(例如，T0)的第一阈值时间量(例如，T0+Th)的注视输入7212，计算机系统选择第一用户界面对象7308(例如，在用户输入之后第一用户界面对象7308在图7H中被选择)。在一些实施方案中，计算机系统任选地提供一些视觉反馈以指示对第一用户界面对象7308的选择(例如，第一用户界面对象7308在图7H中被示出为相对于图7E至图7G所示的其未被选择状态突出显示)。
在图7E至图7H中，第一用户界面对象7308和第二用户界面对象7311分别位于三维环境中的第一位置和第二位置处。在一些实施方案中，第一用户界面对象是用于激活第一应用程序的第一应用程序图标、用于开始与第一用户的通信会话的第一用户的第一头像、用于开始第一计算机生成体验的第一图标、第一交互式控件、第一可选菜单项等；并且第二用户界面对象是用于激活第二应用程序的第二应用程序图标、用于开始与第二用户的通信会话的第二用户的第二头像、用于开始第二计算机生成体验的第二图标、第二交互式控件、第二可选菜单项等。在一些实施方案中，第一用户界面对象和第二用户界面对象是相同类型的对象，或者可以以相同方式激活或选择的对象。在一些实施方案中，第一用户界面对象和第二用户界面对象是不同类型的对象并且可以以不同方式激活或选择(例如，可以在不要求注视输入在第二用户界面对象的区域中保持超过第一阈值时间量(例如，超过注视检测时间阈值就足够了)的情况下选择第二用户界面对象)。
在一些实施方案中，根据对第一用户界面对象7308的选择，计算机系统执行与第一用户界面对象7308相对应的第一操作而不检测另一后续输入。例如，计算机系统执行第一操作，任选地在第一手势标准和第一注视标准都满足时立即执行第一操作。在一些实施方案中，第一用户界面对象是第一应用程序图标，并且第一操作是启动与第一应用程序图标相对应的第一应用程序。在一些实施方案中，第一用户界面对象是与第一用户相对应的第一头像，并且第一操作是发起用于建立与第一用户的通信会话的过程。在一些实施方案中，第一用户界面对象是用于开始计算机生成体验的图标，并且第一操作是开始三维环境中的第一计算机生成体验或发起用于在三维环境中显示第一计算机生成体验的过程。在一些实施方案中，第一用户界面对象是主页用户界面的类别图标集群中的第一类别图标，并且第一操作是显示与第一类别图标(而不是第二类别图标)相对应的第一多个图标(例如，应用程序图标、用户的头像、体验图标等)。
在一些实施方案中，根据对第一用户界面对象7308的选择，计算机系统执行与相对于第一用户界面对象检测到的后续用户输入相对应的第一操作(例如，选定的第一用户界面对象7308变成与后续用户输入相对应的第一操作的目标或焦点)。例如，当第一用户界面对象7308保持被选择(例如，响应于第一手势标准和第一注视标准连同彼此一起被满足而被选择)时，计算机系统检测与激活第一用户界面对象和第二用户界面对象中的相应一者的请求相对应的第一用户输入(例如，用户输入是第二手势、语音命令、由输入设备接收的确认输入等，其可用于在所述用户界面处于选定状态时激活第一用户界面对象或第二用户界面对象)。响应于检测到第一用户输入，计算机系统执行与第一用户界面对象相对应的第一操作(例如，激活第一用户界面对象而不是第二用户界面对象，因为在选择第一用户界面对象且未选择第二用户界面对象时检测到第一用户输入)。
在一些实施方案中，例如通过根据注视输入的移动来改变位置的位置指示符(诸如光标、十字准线、聚光灯、视觉效果等)，在三维环境中可视地指示注视输入7212的当前位置。在一些实施方案中，在注视输入已在与用户界面对象相对应的相应区域处保持至少第一阈值时间量之前，响应于注视输入的检测(例如，当满足注视检测时间阈值时)而显示位置指示符。在一些实施方案中，甚至在已检测到注视输入之前(例如，在视线保持基本上静止达至少注视检测时间阈值之前)也一直显示位置指示符。
在一些实施方案中，第一用户界面对象7308是包括用于用户界面对象的不同类别的类别图标集群(例如，用于应用程序图标的第一类别、用于用户的头像的第二类别、用于XR体验的图标的第三类别等)的主页用户界面对象。在一些实施方案中，第一手势标准包括用于检测捏合并拖动手势以在类别图标集群之中切换类别图标的当前选择的标准。例如，在一些实施方案中，在手部的移动满足第一手势标准之前和/或在注视输入满足第一注视标准之前，在三维环境中显示与第一类别图标相对应的第一组图标(例如，第一类别图标在主页用户界面对象的选择区域中，或选择对象在第一类别图标上)(例如，如图7K所示，其中第一类别图标是对象7304)，并且根据连同已在第一用户界面对象上检测到持续至少第一阈值时间量的注视输入一起检测到的满足第一手势标准的手部的移动，计算机系统将与第一类别图标(例如，图7K中的图标7304)相对应的第一组图标(例如，图7K中的对象7316-a至7316-d)移动到视线之外或移动到三维环境中较不显著的位置，并且在三维环境中在先前由第一组图标占据的位置处显示与第二类别图标(例如，如图7M所示，其中第二类别图标是由图7H中的对象7308表示的对象7310)相对应的第二组图标(例如，图7M中的对象7318-a至7318-d)(并且第二类别图标现在在主页用户界面对象的选择区域中(例如，如图7M所示)，或选择对象移动到第二类别图标等)。
在一些实施方案中，第一用户界面对象7308包括可滚动内容(例如，多个行、列、页面、不能全部同时显示的连续内容、延伸到当前显示视图之外的场景等)，并且满足第一手势标准的用户的手部的移动包括在手部保持预定义的姿势时手部作为整体的移动(例如，两根或更多根手指彼此接触、在卷起其他手指时抬高食指、手指形成抓握姿势等)。根据确定已选择第一用户界面对象7308，计算机系统根据手部作为整体的移动来滚动在第一用户界面对象内显示的可滚动内容(例如，滚动通过在第一用户界面对象内显示的文本、图像、用户界面对象、控件、图标、头像等的不同页面、部分、子集)。在一些实施方案中，在手部作为整体的移动期间，注视输入不需要保持在第一用户界面对象7308上，只要已经响应于手部的移动的较早部分(例如，以形成捏合手势)和较早检测到的注视输入而选择第一用户界面对象即可。在一些实施方案中，第一用户界面对象7308表示一定组或类别中的多个可选择用户界面对象(例如，与图7K中的组图标7304相对应的用户界面对象组(例如，用户界面对象7316-a到7316-d)、与图7M中的组图标7310相对应的用户界面对象组(例如，用户界面对象7318-a至7318-d)等)，并且在根据图7H所述的方法将多个可选择用户界面对象选择为一组之后，多个可选择用户界面对象可响应于在手部保持预定义的姿势的同时手部作为整体的移动而滚动。
在一些实施方案中，第一用户界面对象7308是可在三维环境中从一个位置移动到另一位置的虚拟对象。在一些实施方案中，虚拟对象包括在计算机系统的用户与第二用户之间的通信会话期间第二用户的头像或表示。在一些实施方案中，虚拟对象包括用于在第二用户与计算机系统的用户之间建立通信会话的传出通信请求的用户界面。在一些实施方案中，第一用户界面对象是包括用于启动应用程序、体验和/或通信会话的频繁使用的控件和/或图标的启动台。在一些实施方案中，在用户的注视已停留在第一用户界面对象上至少第一阈值时间量连同用户的手部形成捏合姿势之后，第一用户界面对象被选择，并且在第一用户界面对象被选择时用户的手部作为整体的随后移动使得第一用户界面对象从第一位置移动到不同于第一位置的第二位置。在一些实施方案中，例如，第一用户界面对象7308表示图7N至图7O中的用户界面对象7324、7326、7333、图7U中的用户界面对象7342中的一者。
在一些实施方案中，例如，如相对于图7E至图7H所描述，满足第一手势标准的用户的手部的移动7312发生在与三维环境中的第一用户界面对象7312的区域相对应的物理环境中的区域远处和之外的物理环境中的区域中。在一些实施方案中，满足第一手势标准的用户的手部的移动任选地满足第一手势标准，而不论手部是在与三维环境中的第一用户界面对象7308的区域相对应的物理环境中的区域之内还是之外。换句话讲，用于选择第一用户界面对象7308并执行第一操作的手势任选地是在与由第一用户界面对象7308占据的区域相对应的位置的远处作出的，或者任选地是在与由第一用户界面对象7308占据的区域相对应的位置附近或该位置处作出的。在一些实施方案中，用于选择第一用户界面对象7308并执行第一操作的手势任选地是在由第一显示生成部件提供的视场之外作出的。在一些实施方案中，用于选择第一用户界面对象7308并执行第一操作的手势任选地是在显示生成部件7100的与在三维环境的视图中表示并包括第一用户界面对象7308的区域相对的一侧上作出的。
在一些实施方案中，计算机系统响应于所检测到的注视输入7212指向三维环境中的相应用户界面对象而提供视觉反馈，而不论用户的手部的移动是否被检测到或者该移动是否满足第一手势标准。例如，响应于检测到指向三维环境中的第一用户界面对象7308的注视输入，计算机系统例如相对于三维环境中的第二用户界面对象(例如，对象7311)和其他用户界面对象来改变第一用户界面对象的第一视觉特性的值(例如，使第一用户界面对象7308扩大或缩小尺寸、改变颜色或亮度、移动位置等)。在一些实施方案中，计算机系统根据确定注视输入已在第一用户界面对象的区域中保持大于注视检测时间阈值的至少第一时间量(例如，满足注视和停留要求)来显示视觉反馈，并且如果注视输入还没有在第一用户界面对象的区域中保持至少第一时间量(例如，即使已在此检测到持续超过注视检测时间阈值T0的注视输入)，不显示视觉反馈。
在一些实施方案中，计算机系统响应于在注视输入7212指向第一用户界面对象7308时检测到满足第一手势标准的手部的移动7312而提供关于第一用户界面对象7308的视觉反馈(例如，改变第一用户界面对象的第一显示特性的值)，即使注视输入尚未在第一用户界面对象的区域中保持大于注视检测时间阈值的至少第一时间量。在一些实施方案中，当注视输入7212保持在第一用户界面对象7308的区域中直到已在第一用户界面对象的区域中检测到持续至少第一时间量的注视输入时，第一用户界面对象7308被选择。
在一些实施方案中，计算机系统响应于以下各项的不同子集来提供不同组的反馈：(a)在第一用户界面对象7308的区域处的注视的检测，(b)在第一用户界面对象7308的区域中检测到的注视输入保持或停留至少第一时间量的检测，以及(c)满足第一手势标准的手部的移动。例如，根据确定第一手势标准(c)和第一注视标准(b)都被满足(例如，图7H所示的场景)，计算机系统在三维环境中提供第一视觉反馈；并且根据确定第一手势标准(c)被满足且第一注视标准(b)未被满足(例如，分别在图7F和图7G中所示的场景)，计算机系统在三维环境中提供不同于第一视觉反馈的第二视觉反馈。
图7I至图7M是示出根据一些实施方案的响应于用户输入而在不同组可选择用户界面对象之间切换的框图，其中第一组可选择用户界面对象随着其远离三维环境中的第一位置移动而在视觉显著性方面减小，而第二组可选择用户界面对象随着其朝向三维环境中的第一位置移动而在视觉显著性方面增大。
在一些实施方案中，不同组可选择用户界面对象对应于用于计算机生成体验的主页用户界面或启动台中的不同类别的图标，并且第一位置包括用于显示当前选择的图标类别的三维环境的预设区域。在一些实施方案中，当一组图标远离预设区域移动时，另一组图标任选地朝向预设区域移动并进入预设区域，并且成为当前选择的图标类别。在一些实施方案中，当前选择的图标类别不仅占据三维环境中的预设区域，而且具有比主页用户界面的其他图标类别更大的视觉显著性。在一些实施方案中，在不同类别的图标的移动期间，在三维环境的当前显示视图中同时显示至少两种类别的图标，这些图标任选地具有不同水平的视觉显著性。
如图7I至图7M所示，经由与计算机系统(例如，计算机系统101、相对于图7A至图7D和/或图7E至图7H描述的计算机系统等)通信的显示生成部件(例如，显示生成部件7100、相对于图7A至图7D和/或图7E至图7H描述的第一显示生成部件、其他显示生成部件等)显示三维环境(例如，环境7104、如相对于图7A至图7D和/或图7E至图7H描述的环境、另一VR、AR或XR环境等)。如图7I至图7M所示，三维环境7104的当前显示视图包括在三维环境7104中的各种位置(例如，与物理对象或表面的相应位置相对应的位置、不与物理对象和表面的位置相对应的位置等)处显示的一个或多个用户界面对象(例如，用户界面对象7306’、作为用户界面对象7306’的组成部分的用户界面对象7302、7304、7310等、其他用户界面对象或虚拟对象等)。在一些实施方案中，图7I至图7J所示的用户界面对象7306’是类似于图7C所示的在与用户的手部7202处或附近的位置相对应的位置处显示的用户界面对象7306的对象，并且具有与图7C中的用户界面对象7306类似的行为。在一些实施方案中，图7K至图7M所示的用户界面对象7306’类似于图7D中在远离与用户的手部7202处或附近的位置相对应的位置的位置处显示的用户界面对象7306，并且具有与图7D中的用户界面对象7306类似的行为。在一些实施方案中，图7K至图7M所示的用户界面对象7302、7304和7310具有与相对于图7H描述的对象7308的行为类似的行为。在一些实施方案中，用户界面对象7306’(例如，如图7K至图7M所示)是由用户界面对象7306’内的用户界面对象7302、7304和7310表示的类别图标的可旋转集群。在一些实施方案中，相对于图7I至图7M描述的用户界面(例如，三维环境7104和用户界面对象7306’、7302、7304、7310等)的行为也适用于如图7A至图7D和/或图7E至图7H所述的用户界面。
图7I至图7K示出了根据一些实施方案的示例性场景，其中用户界面对象7306’最初在与用户的手部7202处或附近的位置相对应的位置处显示(例如，在图7I和图7J中)，然后在远离与用户的手部7202的位置处或附近的位置相对应的位置的位置处显示(例如，在图7K中)。在一些实施方案中，在图7I和图7J中显示用户界面对象7306’与在图7K中显示用户界面对象7306’的放大版本之间的转变类似于如相对于图7C至图7D中的用户界面对象7306所描述的方式。图7K至图7M示出了示例性场景，其中用户界面对象7306’被选择和旋转，并且相应地，第一组可选择用户界面对象7316(例如，7316-a至7316-d)远离三维环境7104的预设区域移动并且停止显示，而第二组可选择用户界面对象7318(例如，7318-a至7318-d)从三维环境的当前显示视图之外移动到三维环境的预设区域。在图7L中，示出了第一组可选择用户界面对象7316和第二组可选择用户界面对象7318在第一组可选择用户界面对象7316和第二组可选择用户界面对象7318相对于三维环境的预设区域移动的至少一部分时间内同时显示。
图7I至图7M示出了与第一显示生成部件(例如，显示生成部件7100或另一显示生成部件等)通信的计算机系统(例如，设备101或另一计算机系统等)。在一些实施方案中，第一显示生成部件是平视显示器。在一些实施方案中，第一显示生成部件是头戴式显示器(HMD)。在一些实施方案中，第一显示生成部件是独立显示器、触摸屏、投影仪或另一类型的显示器。在一些实施方案中，计算机系统与一个或多个输入设备通信，该一个或多个输入设备包括检测物理环境中用户的手部的移动、用户的整个身体的移动和/或用户的头部的移动的相机或其他输入设备。在一些实施方案中，一个或多个输入设备检测用户的手部、面部和用户的整个身体等的移动及当前姿势、取向和位置。在一些实施方案中，一个或多个输入设备包括检测用户注视的位置和移动的眼睛跟踪部件。在一些实施方案中，第一显示生成部件以及任选地一个或多个输入设备和计算机系统是头戴式设备(例如，HMD、一对护目镜等)的部分，该头戴式设备在物理环境中随用户的头部而移动和旋转，并且将用户的视点改变到经由第一显示生成部件提供的三维环境中。在一些实施方案中，第一显示生成部件是平视显示器，其不随用户的头部或用户的整个身体而移动或旋转，而是任选地根据用户的头部或身体相对于第一显示生成部件的移动来将用户的视点改变到经由第一显示生成部件提供的三维环境中。在一些实施方案中，第一显示生成部件可由用户的手部相对于物理环境或用户的头部移动和旋转，从而根据第一显示生成部件相对于用户的头部或面部或相对于物理环境的移动来将用户的视点改变到经由第一显示生成部件提供的三维环境中。
如图7I至图7M所示，计算机系统显示三维环境(例如，环境7104、虚拟三维环境、增强现实环境、物理环境的透传视图、物理环境的相机视图等)的视图。在一些实施方案中，三维环境是没有物理环境的表示的虚拟三维环境。在一些实施方案中，三维环境是混合现实环境，该混合现实环境是由与物理环境相对应的传感器数据增强的虚拟环境。在一些实施方案中，三维环境是增强现实环境，该增强现实环境包括一个或多个虚拟对象和第一显示生成部件周围的物理环境的至少一部分的表示(例如，墙壁的表示7004’和7006’、地板的表示7008’、物理对象的表示7002’等)。在一些实施方案中，物理环境的表示包括物理环境的相机视图。在一些实施方案中，物理环境的表示包括物理环境透过第一显示生成部件的透明或半透明部分的视图。
在图7I中，计算机系统在与用户的手部7202处或附近的位置相对应的位置处显示用户界面对象7306’。在一些实施方案中，响应于预设手势或姿势(例如，转动手部以朝向用户的面部示出面部的预设侧、朝向用户的面部移动手部、朝向用户的面部移动手部且手部的预设侧面向用户的面部等)来显示用户界面对象7306’。在一些实施方案中，根据确定检测到对与用户的手部7202在物理环境中的位置相对应的三维环境7104中的区域的注视输入(例如，注视输入7214或另一注视输入等)，计算机系统在与用户的手部7202处或附近的位置相对应的位置处显示用户界面对象7306’。在一些实施方案中，根据确定在用户的手部具有预设姿势或已满足预设手势标准时检测到对与用户的手部在物理环境中的位置相对应的三维环境中的区域的注视输入(例如，注视输入7214或另一注视输入等)，计算机系统在与用户的手部7202处或附近的位置相对应的位置处显示用户界面对象7306’。
在图7J中，当显示用户界面对象7306’时，计算机系统检测手部7202在物理环境中的移动7209，该移动满足用于在远离与用户的手部的位置相对应的位置的位置处显示用户界面对象7306’的预设标准。在一些实施方案中，如图7K所示，在远离与用户的手部的位置相对应的位置的位置处显示用户界面对象7306’。在一些实施方案中，根据相对于图7C至图7D所述的方式在远离与用户的手部的位置相对应的位置的位置处显示用户界面对象7306’。在一些实施方案中，根据与相对于图7C至图7D所述的方式不同的方式在远离与用户的手部的位置相对应的位置的位置处显示用户界面对象7306’。在一些实施方案中，用户界面对象7306’的副本保持在与用户的手部的位置相对应的位置处显示，而用户界面对象7306’的放大版本在远离与用户的手部的位置相对应的位置的位置处显示。
在图7K中，在三维环境7104的预设区域中远离与用户的手部7202的位置相对应的位置的位置处显示与用户界面对象7304相对应的第一组可选择用户界面对象7316(例如，7316-a至7316-d，以及任选地，该组中可利用滚动输入滚动到视图中的更多对象等)。在一些实施方案中，第一组可选择用户界面对象7316由计算机系统根据预设标准来自动选择用于显示(例如，第一组可选择用户界面对象是与包括在用户界面对象7306’中的不同用户界面对象相对应的不同组可选择用户界面对象之中最后显示的组，或者第一组是用户的默认或喜爱组等)。在一些实施方案中，第一组可选择用户界面对象7316由计算机系统根据用户的选择(例如，在至少第一阈值时间量内指向用户界面对象7304的注视输入、在与用户界面对象7304相对应的手部上的位置处的轻击输入、空中轻击输入连同指向用户界面对象7304的注视输入等)来选择用于显示。
图7K示出了当与用户界面对象7304相对应的第一组可选择用户界面对象7316在三维环境7104中的预设区域(例如，在视场中心的区域、在视场的底边缘区域附近的区域、沿着视场的顶边缘的区域等)处显示时，计算机系统检测与在三维环境的预设区域中显示来自多个不同组可选择用户界面对象的第二组可选择用户界面对象的请求相对应的用户输入，其中第二组可选择用户界面对象7138对应于用户界面对象7310(例如，组的顺序列表中的下一组、在由用户输入指定的移动方向上的下一组等)。在一些实施方案中，如图7K所示，用户输入包括连同指向用户界面对象7310的注视输入7216一起检测到的手部7202的移动7314。在一些实施方案中，计算机系统要求手部的移动7314满足相对于图7A至图7H描述的第一手势标准，才能选择用户界面对象7310并在三维环境的预设区域处显示第二组可选择用户界面对象7138。在一些实施方案中，计算机系统要求注视输入7216在用户界面对象7306’的区域中、或在用户界面对象7310的区域中、或在用户界面对象7316的区域中保持大于注视检测时间阈值的至少第一时间量(例如，T0+Th)，才能选择用户界面对象7310并在三维环境的预设区域处显示第二组可选择用户界面对象7318。
如图7K至图7M所示，响应于检测到与在三维环境中的预设区域处显示第二组可选择用户界面对象的请求相对应的用户输入(例如，注视输入7216连同手部的移动7314)，计算机系统将三维环境7104中的第一组可选择用户界面对象7316远离三维环境中的预设区域(例如，朝向视场的边缘、更远离三维环境的当前显示视图的视点等)移动。连同将第一组可选择用户界面对象7316远离三维环境的预设区域移动一起，计算机系统还在第一组可选择用户界面对象远离三维环境中的第一位置移动时减小三维环境中的第一组可选择用户界面对象7316的视觉显著性(例如，通过停止显示第一组可选择用户界面对象，和/或减小第一组可选择用户界面对象的尺寸、清晰度、颜色饱和度、亮度等，等等)。响应于检测到与在三维环境中的预设区域处显示第二组可选择用户界面对象7318的请求相对应的用户输入，计算机系统还将三维环境7104中的第二组可选择用户界面对象7318(例如，7318-a至7318-d，以及任选地，可利用滚动输入带入视图中的更多对象等)朝向三维环境中的预设区域移动，并且随着第二组可选择用户界面对象移动到三维环境中的第一位置，增大第二组可选择用户界面对象7104的视觉显著性。在一些实施方案中，计算机系统将第二组可选择用户界面对象7318从视场之外带入三维环境的当前显示视图中，使第二组可选择用户界面对象7318更接近三维环境的当前显示视图的视点，和/或增加第二组用户界面对象7318的尺寸、清晰度、颜色饱和度、亮度等(如果先前以减小的尺寸、清晰度、颜色饱和度、亮度等显示)，以增大第二组可选择用户界面对象7318的视觉显著性。
在一些实施方案中，如图7L所示，同时执行第一组可选择用户界面对象7316的移动和第二组可选择用户界面对象7318的移动，并且在第一组可选择用户界面对象7316在三维环境中移动的至少一部分时间内以及在第二组可选择用户界面对象7318在三维环境中移动的至少一部分时间内在三维环境的第一视图中同时显示第一组可选择用户界面对象7316和第二组可选择用户界面对象7318。
在一些实施方案中，一次仅在三维环境7104的当前显示视图中显示一组可选择用户界面对象。例如，在一些实施方案中，当在图7K中的三维环境7104中的预设区域处显示第一组可选择用户界面对象7316时，不同时在三维环境中显示第二组可选择用户界面对象7318。在一些实施方案中，预设区域位于经由第一显示生成部件提供的视场中的中心部分或另一视觉显著位置(例如，用户的注视或焦点所指向的区域、视场的预设区域的中心部分(例如，右上象限、左下象限等)等)中。
在一些实施方案中，用户界面对象7306’中的用户界面对象7302、7304和7310是可在三维环境中的预设区域中显示的不同组可选择用户界面对象的组表示。在一些实施方案中，当在预设区域中选择性地显示不同组可选对象时，在三维环境7104中持久地显示用户界面对象7302、7304和7310。如图7K所示，即使仅在三维环境7104的预设区域中显示与用户界面对象7304相对应的第一组可选择用户界面对象7316，也在三维环境7104中显示包括所有三组可选择用户界面对象的组表示(例如，对象7302、7304和7310)的用户界面对象7306’。在图7M中，即使仅在三维环境的预设区域中显示与用户界面对象7310相对应的第二组可选择用户界面对象7318，也保持在三维环境中显示包括所有三组可选择用户界面对象的组表示(例如，对象7302、7304和7310)的用户界面对象7306’。
在一些实施方案中，与在三维环境中的预设区域中显示第二组可选择用户界面对象7318的请求相对应的用户输入包括指向图7K中的用户界面对象7310的选择输入(例如，轻击、轻扫、捏合、语音命令等)，该用户界面对象是第二组可选择用户界面对象7318的组表示。
在一些实施方案中，用户界面对象7306’是可旋转的用户界面对象，其中用户界面对象7302、7304和7310可被旋转或滚动通过循环位置的序列(例如，如同圆盘传送带，或圆形菜单等)。在一些实施方案中，用户界面对象7306’包括可响应于用户输入而相继移动通过用户界面对象7302、7304和7310的可移动选择对象。在一些实施方案中，用户输入包括指向用户界面对象7306’的注视输入，同时捏合并拖动输入旋转用户界面对象7306’以使得用户界面对象7304远离选择位置移动并且用户界面对象7310移动到选择位置中，或者同时捏合并拖动输入将选择对象从用户界面对象7304移动到用户界面对象7310。在一些实施方案中，用户输入包括指向用户界面对象7310的注视输入(或满足注视和停留时间阈值的注视输入)，同时预设手势(例如，轻击手势、捏合手势、轻扫手势等)使得用户界面对象7310被选择并且用户界面对象7304被取消选择。
在一些实施方案中，当在三维环境7104的预设区域处显示相应组用户界面对象(例如，图7K中的第一组可选择用户界面对象7316、图7M中的第二组可选择用户界面对象7318等)时，计算机系统检测指向相应组用户界面对象的组表示(例如，图7K中的第一组可选择用户界面对象7316的用户界面对象7304、图7M中的第二组可选择用户界面对象7318的用户界面对象7310等)的用户输入，计算机系统根据确定用户输入满足预设标准(例如，用于检测轻击输入的标准、用于检测双击输入的标准、用于检测捏合手势的标准等)，停止在三维环境的预设区域中显示相应组可选择用户界面对象，而不将其替换为另一组可选择用户界面对象。例如，用户输入使得当前选择的组表示从选定状态切换到未选定状态，而不选择另一组表示。
在一些实施方案中，计算机系统相对于其他组表示改变当前在预设区域处显示的可选择用户界面对象组的组表示的外观，以指示哪个可选择用户界面对象组是当前选择的组。例如，在一些实施方案中，如图7K所示，当在三维环境中的预设区域中显示第一组可选择用户界面对象7316时，计算机系统以比第二组表示(例如，用户界面对象7310)和其他组表示(例如，用户界面对象7302)更大的视觉显著性(例如，以更大的尺寸、以更高的亮度、以更大程度的细节、在更显著的位置、在选择对象的位置等)显示第一组表示(例如，用户界面对象7304)。如图7M所示，当在三维环境中的预设区域中显示第二组可选择用户界面对象7318时，计算机系统以比第一组表示(例如，用户界面对象7304)和其他组表示(例如，用户界面对象7302)更大的视觉显著性(例如，以更大的尺寸、以更高的亮度、以更大程度的细节、在更显著的位置、在选择对象的位置等)显示第二组表示(例如，用户界面对象7310)。
在一些实施方案中，计算机系统响应于检测到指向用户界面对象7306’的注视输入7216而扩大用户界面对象7306’或朝向三维环境7104的当前视图的视点移动用户界面对象7306’，如图7K所示(例如，当在图7K中的用户界面对象7306上检测到注视时，与图7L和图7M相比，用户界面对象7306’任选地看起来更大且更靠近图7K中的视点)。
在一些实施方案中，可在三维环境的预设区域中显示的不同组可选择用户界面对象以及包括在用户界面对象7306’中的组表示用于第一组选定用户界面对象、第二组选定用户界面对象和第三组选定用户界面对象中的至少两者。在一些实施方案中，第一组可选择用户界面对象对应于不同应用程序(例如，是应用程序图标)，其中，当根据第一标准(例如，用于检测轻击输入、捏合输入等的标准；用于激活与相应应用程序相对应的用户界面对象的默认功能的标准等)来选择来自第一组可选择用户界面对象的相应用户界面对象时，计算机系统在三维环境中显示对应应用程序(例如，显示应用程序的默认启动用户界面或环境，显示用于获取启动应用程序所需的凭据信息的用户界面等)。在一些实施方案中，第二组可选择用户界面对象对应于不同用户(例如，是用户头像、联系信息、电话号码、用户ID、实体名称等)，其中，当根据第一标准来选择来自第二组可选择用户界面对象的相应用户界面对象时，计算机系统发起用于与三维环境中的一个或多个对应用户建立通信的过程(例如，建立默认通信会话，显示用于从多种可用通信模式中选择通信会话的通信模式的用户界面，显示获得用于开始通信会话的参数值的用户界面等)。在一些实施方案中，第三组可选择用户界面对象对应于不同计算机生成体验(例如，不同AR体验、不同VR体验、系统级AR体验、系统级VR体验等)，其中，当根据第一标准来选择来自第三组可选择用户界面对象的相应用户界面对象时，计算机系统发起用于在三维环境中显示对应计算机生成体验(例如，改变物理环境的物理环境照明的增强现实气氛或者包括沉浸式或部分沉浸式模拟三维空间的虚拟环境)的过程。
在一些实施方案中，计算机系统允许用户通过提供指向与用户界面对象7302、7304、7310等中的不同用户界面对象相对应的手部上的不同位置的注视输入以及手部上的轻击来在不同组用户界面对象之间切换。在一些实施方案中，根据确定注视输入指向在与用户的手部7202的位置相对应的位置处显示的用户界面对象7306’中的第一位置处示出的用户界面对象7304，手部7202上的轻击输入使得计算机系统选择用户界面对象7304并且在三维环境的预设区域处显示第一组可选择用户界面对象7316(如果还没有显示的话)。在一些实施方案中，根据确定注视输入指向在与用户的手部7202的位置相对应的位置处显示的用户界面对象7306’中的第一位置处示出的用户界面对象7304，手部7202上的轻击输入使得计算机系统取消选择用户界面对象7304并且停止在三维环境的预设区域处显示第一组可选择用户界面对象7316(如果还没有显示的话)。在一些实施方案中，根据确定注视输入指向在与用户的手部7202的位置相对应的位置处显示的用户界面对象7306’中的第二位置处示出的用户界面对象7310，手部7202上的轻击输入(例如，任选地在与较早轻击输入相同的位置处)使得计算机系统选择用户界面对象7310并且在三维环境的预设区域处显示第二组可选择用户界面对象7318(例如，替换第一组用户界面对象7316的显示)。在一些实施方案中，注视输入使得在注视的位置处显示的组表示朝向视点移动和/或相对于其他组表示改变外观。
在一些实施方案中，计算机系统响应于手部在第一预设方向(例如，水平捏合并拖动或轻扫手势)上的第一移动(例如，捏合并拖动手势、轻扫手势等)而在预设区域中显示相应组可选择用户界面对象的不同子集之间切换，而不切换到显示不同组可选择用户界面对象。在一些实施方案中，计算机系统响应于手部在第二预设方向(例如，垂直捏合并拖动或轻扫手势)上的第二移动(例如，捏合并拖动手势、轻扫手势等)而在预设区域中显示不同组可选择用户界面对象之间切换。
图7N至图7O是示出根据一些实施方案的计算机系统响应于检测到激活三维环境中的第一用户界面对象的用户输入(例如，来自计算机系统和第一显示生成部件的用户)来改变三维环境中的背景区域的显示特性连同发起计算机系统的用户与三维环境中的另一用户之间的通信会话的框图，其中背景区域在用户输入之前具有相对于三维环境中的第一用户界面对象的第一可见度水平。
在一些实施方案中，第一用户界面对象包括通信用户界面，该通信用户界面包括用于配置和开始通信会话的组成用户界面对象或控件。在一些实施方案中，第一用户界面对象包括通信用户界面内的相应用户界面对象(例如，“呼叫按钮”、“开始”按钮、用于开始与第一用户的通信会话的第一用户的头像、用于选择通信模式以便开始通信会话的控件等)。在一些实施方案中，第一用户界面对象包括在另一用户界面(诸如，主页用户界面、通讯录用户界面、文本消息窗口、联系人列表等)中显示的第一用户的表示。在一些实施方案中，第一用户界面对象是被配置为在根据预设标准而被用户输入激活时发起与第一用户的传出通信的用户界面对象。在一些实施方案中，改变背景区域的显示特性包括使背景区域看起来在视觉上没有以前那么显著(例如，看起来更模糊、变暗、更少颜色饱和等)，使得通信会话的内容相对于背景区域具有比第一用户界面对象先前相对于背景区域具有的视觉强调更大的视觉强调。在一些实施方案中，三维环境是增强现实环境，该增强现实环境包括在第一显示生成部件和第一显示生成部件的用户周围的物理环境的表示；并且背景区域包括物理环境的表示的至少一部分。改变背景区域的显示特性包括使物理环境的表示相对于与通信会话相对应的用户界面对象(例如，第一用户的头像、通信会话的控制面板、与通信会话有关的提示和信息等)在视觉上较不显著。在一些实施方案中，如果物理环境的表示是物理环境的相机视图，则计算机系统处理相机视图以使相机视图变暗和/或模糊，或者使相机视图更少颜色饱和、更有颗粒感等，使得与在用户输入之前背景区域中的物理环境的表示具有的可见度或视觉显著性的水平相比，背景区域中的物理环境的表示具有相对于与三维环境中的通信会话相对应的用户界面对象的降低的可见度或视觉显著性水平。在一些实施方案中，如果物理环境的表示是透过第一显示生成部件的透明部分可见的物理环境的视图，则计算机系统改变第一生成部件的透明部分的透传特性(例如，通过使透明部分更不透明、更不清晰、对光的吸收性更强、对光的折射性和扭曲性更强等)，使得与在用户输入之前背景区域中的物理环境的表示具有的可见度或视觉显著性的水平相比，背景区域中的物理环境的表示具有相对于与三维环境中的通信会话相对应的用户界面对象的降低的可见度或视觉显著性水平。在一些实施方案中，由于新显示的用户界面对象的存在或与通信会话的发起相关联的现有用户界面对象在三维环境中的扩大，对背景区域的显示特性的改变不只是简单地减少背景内容所占据的面积。
如图7N至图7O所示，经由与计算机系统(例如，计算机系统101、相对于图7A至图7D、图7E至图7H和/或图7I至图7M描述的计算机系统等)通信的第一显示生成部件(例如，显示生成部件7100、相对于图7A至图7D、图7E至图7H和/或图7I至图7M描述的第一显示生成部件、其他显示生成部件等)显示三维环境(例如，环境7104、如相对于图7A至图7D、图7E至图7H和/或图7I至图7M描述的环境、另一VR、AR或XR环境等)。如图7N至图7O所示，三维环境7104的当前显示视图包括在三维环境7104中的各种位置(例如，与物理对象或表面的相应位置相对应的位置、不与物理对象和表面的位置相对应的位置等)处显示的一个或多个用户界面对象(例如，用户界面对象7320、用户界面对象7322、用户界面对象7324、作为用户界面对象7324的组成部分的用户界面对象7326、7328和7330、其他用户界面对象或虚拟对象等)。在一些实施方案中，图7N至图7O所示的用户界面对象7324和/或用户界面对象7326是类似于图7C所示的在与用户的手部处或附近的位置相对应的位置处显示的用户界面对象7306的对象，并且具有与图7C中的用户界面对象7306类似的行为。在一些实施方案中，图7N至图7O所示的用户界面对象7324和/或用户界面对象7326是类似于在远离与用户的手部处或附近的位置相对应的位置的位置处显示的用户界面对象7306的对象，并且具有与图7D中的用户界面对象7306类似的行为。在一些实施方案中，图7N至图7O所示的用户界面对象7324和/或用户界面对象7326是类似于在远离与用户的手部处或附近的位置相对应的位置的位置处显示的用户界面对象7308的对象，并且具有与图7H中的用户界面对象7308类似的行为。在一些实施方案中，图7N至图7O所示的用户界面对象7324和/或用户界面对象7326是类似于图7K和图7M中的可选择用户界面对象7316或7318之一的用户界面对象。在一些实施方案中，图7N至图7O所示的用户界面对象7324和/或用户界面对象7326是类似于图7I至图7J中的用户界面对象7306’、7302、7304或7310的用户界面对象。在一些实施方案中，图7N至图7O所示的用户界面对象7324和/或用户界面对象7326是类似于图7K至图7M中的用户界面对象7306’、7302、7304或7310的用户界面对象。在一些实施方案中，图7N至图7O所示的用户界面对象7324和/或用户界面对象7326是具有与相对于图7A至图7M中的用户界面对象所述的至少一些行为不同的行为的用户界面对象。
图7N至图7O示出了与第一显示生成部件(例如，显示生成部件7100或另一显示生成部件等)通信的计算机系统(例如，设备101或另一计算机系统等)。在一些实施方案中，第一显示生成部件是平视显示器。在一些实施方案中，第一显示生成部件是头戴式显示器(HMD)。在一些实施方案中，第一显示生成部件是独立显示器、触摸屏、投影仪或另一类型的显示器。在一些实施方案中，计算机系统与一个或多个输入设备通信，该一个或多个输入设备包括检测物理环境中用户的手部的移动、用户的整个身体的移动和/或用户的头部的移动的相机或其他输入设备。在一些实施方案中，一个或多个输入设备检测用户的手部、面部和用户的整个身体等的移动及当前姿势、取向和位置。在一些实施方案中，一个或多个输入设备包括检测用户注视的位置和移动的眼睛跟踪部件。在一些实施方案中，第一显示生成部件以及任选地一个或多个输入设备和计算机系统是头戴式设备(例如，HMD、一对护目镜等)的部分，该头戴式设备在物理环境中随用户的头部而移动和旋转，并且将用户的视点改变到经由第一显示生成部件提供的三维环境中。在一些实施方案中，第一显示生成部件是平视显示器，其不随用户的头部或用户的整个身体而移动或旋转，而是任选地根据用户的头部或身体相对于第一显示生成部件的移动来将用户的视点改变到经由第一显示生成部件提供的三维环境中。在一些实施方案中，第一显示生成部件任选地由用户的手部相对于物理环境或用户的头部移动和旋转，从而根据第一显示生成部件相对于用户的头部或面部或相对于物理环境的移动来将用户的视点改变到经由第一显示生成部件提供的三维环境中。
如图7N至图7O所示，计算机系统显示三维环境(例如，环境7104、虚拟三维环境、增强现实环境、物理环境的透传视图、物理环境的相机视图等)的视图。在一些实施方案中，三维环境是没有物理环境的表示的虚拟三维环境。在一些实施方案中，三维环境是混合现实环境，该混合现实环境是由与物理环境相对应的传感器数据增强的虚拟环境。在一些实施方案中，三维环境是增强现实环境，该增强现实环境包括一个或多个虚拟对象和第一显示生成部件周围的物理环境的至少一部分的表示(例如，墙壁的表示7004’、7006’、地板的表示7008’、物理对象的表示7002’等)。在一些实施方案中，物理环境的表示包括物理环境的相机视图。在一些实施方案中，物理环境的表示包括物理环境透过第一显示生成部件的透明或半透明部分的视图。
在一些实施方案中，如图7N所示，计算机系统显示三维环境7104的第一视图(例如，与第一视点相对应的视图、从第一视角看到的视图等)，该第一视图包括三维环境7104的第一区域中的第一用户界面对象7326。在一些实施方案中，在与三维环境的第一区域中的不同操作相对应的多个用户界面对象之中显示第一用户界面对象7326。在一些实施方案中，多个用户界面对象(例如，用户界面对象7328和7330)是应用程序的用户界面、列出多个用户的菜单、列出多个通信模式的菜单、来自第一用户的传入通信请求的通知、上述两者或更多者的混合等的用户界面对象。在一些实施方案中，多个用户界面对象包括与和第一用户的通信会话不相关的其他用户界面对象(例如，与其他应用程序相关的用户界面对象、与其他计算机生成体验相关的用户界面对象等)。在一些实施方案中，多个用户界面对象在锚定到三维环境7104(例如，相对于物理环境的表示基本上固定，或相对于虚拟三维环境基本上固定等)的位置处显示。在此类实施方案中，尽管三维环境的视点移动(例如，如由用户的手部、用户的头部和/或用户的整个身体的移动和/或第一显示生成部件在物理环境中的移动所引起)，多个用户界面对象仍保持其在三维环境中的位置。在一些实施方案中，多个用户界面对象在锚定到三维环境的当前显示视图的视点(例如，相对于经由第一显示生成部件提供的视场的预设部分基本上固定、基本上固定到用户头部或第一显示生成部件的位置和取向等)的位置处显示。在此类实施方案中，尽管三维环境的视点移动(例如，如由用户的头部和/或用户的整个身体的移动和/或第一显示生成部件在物理环境中的移动所引起)，多个用户界面对象仍保持其在由第一显示生成部件提供的视场中的位置。在一些实施方案中，多个用户界面对象在锚定到用户的手部在物理环境中的位置的位置处显示。在此类实施方案中，尽管用户的手部移动、三维环境的视点移动(例如，如由用户的头部和/或用户的整个身体的移动和/或第一显示生成部件在物理环境中的移动所引起)，多个用户界面对象仍保持其在三维环境中相对于用户的手部的表示的位置。
在一些实施方案中，三维环境7104包括在由多个用户界面对象占据的区域之外的区域中的背景内容。例如，在图7N所示的视图中，三维环境7104中的多个用户界面对象的背景区域包括物理环境的表示的在视觉上未被多个用户界面对象(例如，图7N中的对象7326、7328、7330和7324)遮挡、替换或覆盖的部分。三维环境7104的背景部分包括例如物理环境中的未占据空间的表示、物理环境中的墙壁和地板以及物理对象等的表示7004’、7006’、7008’和7002’。在一些实施方案中，物理环境的背景部分包括在三维环境中显示的在视觉上未被多个用户界面对象遮挡、替换或覆盖的虚拟对象、虚拟表面和用户界面对象。如图7N所示，在计算机系统检测到用户输入之前，三维环境7104的背景区域具有相对于多个用户界面对象(例如，用户界面对象7324、7326、7328、7330等)的第一可见度水平。相对于三维环境7104的视图中的多个用户界面对象的相应视觉特性的对应值而言，背景区域中的背景内容具有相应视觉特性的第一值(例如，与正常可见度水平、默认可见度水平、未经调整的可见度水平等相对应的不透明度水平、颜色饱和度水平、亮度水平、模糊半径等)。
在一些实施方案中，用户界面对象7326是第一用户的表示，并且用户界面对象7328和7330是用于配置与第一用户的通信会话(例如，用于显示与计算机系统的用户和第一用户之间的先前通信(例如，先前通信会话、文本消息等)有关的信息或功能元素、用于选择通信用的通信模式(例如，纯语音、视频、在三维环境中共现等)等)的用户界面对象。在一些实施方案中，用户界面对象7326被显示为已从第一用户接收到的通信会话的传入邀请。在一些实施方案中，在建立通信会话之前，用户界面对象7326被显示为通信的传入邀请的通知或警示的一部分。在一些实施方案中，用户界面对象7326被显示为向第一用户发送的通信会话的传出邀请的一部分，并且同时还没有从第一用户接收到响应。在一些实施方案中，用户界面对象7326是在作为计算机系统的用户的通信联系人的其他用户的表示之中显示的第一用户的表示。在一些实施方案中，响应于对与表示用户的多个可选择用户界面对象相对应的类别图标的选择(例如，如相对于图7I至图7M所描述)，在三维环境7104中显示用户界面对象7326。
如图7N所示，当计算机系统在三维环境的视图中显示多个用户界面对象和背景内容时，计算系统检测根据第一激活标准来激活第一用户界面对象7326的用户输入。在一些实施方案中，用户输入包括在第一用户界面对象7326具有输入焦点时(例如，在注视输入7218指向第一用户界面对象7326而不指向其他用户界面对象时)检测到的预定义的手势7332(例如，捏合手势、轻击手势等)。在一些实施方案中，当第一用户界面对象由先前输入选择时，用户输入是确认手势(例如，轻击输入、轻弹输入、捏合输入等)。在一些实施方案中，用户输入是具有与第一用户界面对象7326的位置而非另一用户界面对象的位置相对应的位置的预设手势(例如，轻击输入、轻弹输入、捏合输入等)。
在图7N之后的图7O中，响应于检测到根据第一激活标准来激活第一用户界面对象7326的用户输入：计算机系统发起与第一用户的通信会话(例如，如由用户界面对象7333的显示所指示，该用户界面对象任选地对应于通信会话的用户界面、通信会话中的第一用户的动画头像或视频馈送、与第一用户相对应的通信会话的控制用户界面等)。如图7O相对于图7N所示，计算机系统还将背景内容的至少第一部分的相应视觉特性的值从第一值调整到不同于第一值的第二值。例如，如图7O所示，计算机系统已调整背景区域的可见度以使它们与图7N所示的它们的状态相比在视觉上较不显著。在一些实施方案中，计算机系统通过应用视觉效果或改变显示生成部件的显示特性(例如，改变不透明度水平、颜色饱和度水平、亮度水平、模糊半径、光学透传特性(例如，跨第一显示生成部件的透明部分的折射率值或透射率的分布以形成焦散照明效果或雾玻璃效果等)等)来调整背景区域的可见度，具体取决于是显示新对象(例如，用户界面对象7333)还是放大现有对象(例如，用户界面对象7324或另一用户界面对象等)。例如，与图7N所示的状态相比，以及与三维环境的当前视图中的用户界面对象7324、7326和7333相比，用户界面对象7324和新用户界面对象7333之外的三维环境7104的视图的背景区域现在具有降低的可见度水平(例如，具有降低的不透明度水平、降低的颜色饱和度水平、降低的亮度水平、更大的模糊半径、增加的失真水平、增加的雾浊和颗粒度水平等的值)。在一些实施方案中，将背景内容的至少第一部分的相应视觉特性的值从第一值调整到第二值是通过应用于第一显示生成部件的透明或半透明透传部分的滤波或视觉效果(例如，模糊、变暗、降低透明度、改变光学特性等)，或者通过将虚拟模糊、变暗或其他图像处理过程应用于透传内容的相机视图来实现的。
在一些实施方案中，背景内容的第一部分包括背景内容中的虚拟对象和物理对象的表示中的一些或全部，这些虚拟对象和物理对象的表示在三维环境的第一视图显示时在视觉上尚未被多个用户界面对象遮挡，并且在检测到满足第一激活标准的用户输入之前相对于三维环境的第一视图中的多个用户界面对象具有第一可见度水平(例如，正常、未经调整和/或默认的可见度水平)(例如，如图7N所示)。在一些实施方案中，计算机系统通过对背景内容中的虚拟对象增加模糊半径、变暗、降低颜色饱和度、增加透明度水平、降低不透明度等(例如，相对于在检测到用户输入之后保持在三维环境的第一视图中显示的第一用户界面对象或其转换版本)来调整背景内容的至少第一部分的可见度。在一些实施方案中，计算机系统降低背景部分中的至少一些背景部分的可见度，使得它们在三维环境的视图中不再可见，即使那些部分原本没有被另一用户界面对象在视觉上遮挡。
在一些实施方案中，计算机系统降低多个用户界面对象中除第一用户界面对象7326之外的一个或多个用户界面对象的可见度(例如，改变一个或多个显示特性的值)，连同将背景部分内容的可见度从第一可见度水平(例如，正常、未经调整的可见度水平)调整到第二可见度水平(例如，降低的可见度水平)。在一些实施方案中，第一用户界面对象是在其他用户的头像之中显示的第一用户的头像；以及响应于检测到用户对第一用户的头像的选择以发起与第一用户的通信会话，在发起与第一用户的通信会话时，计算机系统降低用户的头像周围的背景内容的可见度，并且还降低未被选择的其他用户的头像的可见度。在一些实施方案中，第一用户的头像被任选地放大并转换成用于通信会话的通信用户界面、用于通信会话的传出邀请、或用于将第一用户的表示放置到通信会话的三维环境中的占位符等。在一些实施方案中，背景区域中的物理环境的表示、虚拟对象(除了多个用户界面对象之外的虚拟对象、表面和内容)和/或多个用户界面对象中的不是第一用户界面对象7326的用户界面对象(例如，用户界面对象7328、7324等)通过不同机制(例如，模糊或变暗、使用图像处理滤波器来处理或停止显示或改变硬件的透传特性等)和/或在不同程度上(例如，多个用户界面对象中的用户界面对象比背景的表示和多个用户界面对象之外的虚拟对象降低得更少)降低可见度。
在一些实施方案中，如图7O所示，三维环境7104的视图包括第一显示生成部件周围的物理环境的表示，并且响应于检测到激活第一用户界面对象7326并引起与第一用户的通信会话的发起的用户输入，物理环境的表示的可见度与图7N所示的状态相比降低。例如，在发起通信会话之后，当用户正在等待来自第一用户的响应时，三维环境中包括的物理环境的视图变暗和模糊，仅留下与通信会话相关联的用户界面对象(例如，用户界面对象7326、用户界面对象7333等)以及任选地留下可见度未改变的一些其他用户界面对象(例如，系统用户界面对象、时钟、用户界面对象7320等)。
在一些实施方案中，当用户输入用于选择不引起通信会话的发起的另一类型的用户界面对象时，不发生背景内容的可见度的降低。例如，当用户输入选择在三维环境中启动应用程序的应用程序图标时(例如，而不是第一用户的头像或来自第一用户的传入通信请求的通知等)，计算机系统在三维环境中启动应用程序，而不改变三维环境中的背景区域的显示特性(例如，背景区域像之前一样并相对于与应用程序相对应的新显示的内容保持其可见度水平，即使新显示的内容可能占据先前由背景内容占据的更多区域)。
在一些实施方案中，图7N所示的用户界面对象7326是例如在其他用户的头像之中显示的第一用户的头像；并且计算机系统降低背景内容及其他用户的头像的可见度，连同发起与第一用户的通信会话。在一些实施方案中，图7O所示的用户界面对象7326表示与第一用户相对应的通信会话的控制用户界面对象。在一些实施方案中，与第一用户相对应的通信会话的控制用户界面对象包括第一组用户界面对象，诸如第一用户的头像以及与对应于和第一用户的通信会话的多个功能相对应的一个或多个其他用户界面对象(例如，用于选择和/或指定与第一用户的通信会话的控制参数的用户界面对象、用于将相关内容(例如，聊天、照片、增强现实、注释等)添加到通信会话的用户界面对象等)。
在一些实施方案中，作为发起与第一用户的通信会话的操作的一部分，计算机系统显示包括第一用户的头像和示能表示(例如，呼叫按钮、“发送”按钮等)的控制用户界面对象，该示能表示在被激活时使得计算机系统向第一用户的计算机系统发送用于建立与第一用户的通信会话的传出请求。在一些实施方案中，根据哪个(些)通信模式可用于在通信会话中与第一用户连接来定制该示能表示(例如，示出与将在该示能表示被激活时发出的不同类型的请求相对应的不同外观和文本等)。例如，在一些实施方案中，可用模式包括纯音频通信模式、视频通信模式和共现通信模式(例如，其中参与者的表示被置于在至少一些参与者之间共享的三维环境中的模式(例如，这取决于参与者所使用的设备的能力和/或参与者为其参与通信会话而选择的模式等))。在一些实施方案中，如果根据预设次序对不同通信模式进行优先级排序，则与第一用户的其他可用通信模式相比，该示能表示对应于根据预设次序具有较高优先级的第一可用通信模式。例如，该示能表示被定制为对应于计算机系统的多个可用模式之中可用的最佳和/或最沉浸模式。在一些实施方案中，计算机系统还提供对与其他可用模式相对应的示能表示的访问，其中这些其他示能表示中的相应示能表示在被激活时使得计算机系统在与被激活的示能表示相对应的模式下发起通信会话。在一些实施方案中，相比于与具有较高优先级的通信模式相对应的示能表示，对与具有较低优先级的通信模式相对应的示能表示的访问在视觉上较不显著和/或较难够到(例如，较小、隐藏在较低级菜单中、在当前显示的用户界面的表面上不可直接访问等)。
在一些实施方案中，当用于建立通信会话的传出请求已被发送到第一用户时并且在通信会话已被第一用户接受之前，计算机系统将三维环境中的背景部分的可见度保持在降低的水平(例如，与图7N中的第一用户界面对象7326的激活之前的状态相比)。在一些实施方案中，在通信会话期间，计算机系统也将三维环境中的背景部分的可见度保持在降低的水平(例如，与图7N中的第一用户界面对象7326的激活之前的状态相比)。在一些实施方案中，一旦通信请求已被第一用户接受并且第一用户的实时表示在三维环境中显示(例如，第一用户在共现模式下或经由视频，任选地在三维环境的增强现实视图中加入通信会话)，计算机系统就恢复三维环境中的背景部分的可见度。
在一些实施方案中，当通信请求尚未处理，有待第一用户接受时，包含第一用户的头像的用户界面对象(例如，由图7O中的用户界面对象7324、7326或7333表示)以相对于具有降低的可见度水平的背景区域的正常可见度水平显示，并且在三维环境7104中建立通信会话之后，用户可在三维环境7104中移动该用户界面对象作为第一用户的表示在三维环境7104中的占位符对象。响应于检测到根据对来自第一用户的请求的响应建立了通信会话，计算机系统根据从第一用户接收到的数据(例如，第一用户的实时视频图像、从第一用户接收到的第一用户的动画头像等)来更新该用户界面对象以示出第一用户的表示。在一些实施方案中，如果第一用户以共现模式或空间模式参与通信会话，则第一用户任选地例如以相对于图7V至图7X描述的方式控制第一用户的表示在三维环境7104的视图中的位置和移动。
在一些实施方案中，如果第一用户以共现模式加入通信会话，则计算机系统根据从第一用户接收到的位置数据(例如，第一用户的位置、取向或移动(例如，取向和/或位置的改变)、从第一用户接收到的用户输入等)来更新第一用户的表示在三维环境7104中的位置。在一些实施方案中，如果第一用户已使用2D视频模式或纯音频模式加入通信会话，则计算机系统根据从计算机系统的用户接收到的用户输入来更新第一用户的表示在三维环境中的位置(例如，用户在三维环境中拖动第一用户的表示，用户使用注视输入连同确认输入来选择第一用户的表示的新位置等)。
在一些实施方案中，包括在计算机系统等待对建立通信的请求的响应时已显示的第一用户的表示的用户界面对象保持显示，直到计算机系统的用户取消该请求(例如，通过选择用户界面对象上的取消示能表示，或提供用于取消的语音命令等)。在一些实施方案中，一旦第一用户已接受请求并且建立了通信会话，用户界面对象就被替换为第一用户的表示，该第一用户的表示由从第一用户接收到的数据更新。在一些实施方案中，当对通信会话的传出请求正等待被第一用户接受时，计算机系统根据由计算机系统的用户提供的用户输入来移动用户界面对象。
在一些实施方案中，当由于激活第一用户界面对象7326的用户输入(例如，在图7N中)而已降低背景区域的可见度(例如，在图7O中)时，计算机系统检测指向背景区域的具有降低的可见度的一部分(例如，指向用户界面对象7322的区域(例如，在图7O中示出为7322’)、指向墙壁或地板的区域(例如，分别示出为表示7004”、7006”和7008”)、指向物理对象的区域(例如，示出为表示7002”)等)的注视输入。响应于检测到指向具有降低的可见度的背景区域的部分的注视输入，计算机系统根据确定注视输入满足预设标准(例如，在阈值区域内保持至少阈值时间量、指向用户界面对象等)来将背景区域的至少一部分的可见度恢复到其在三维环境7104中的初始可见度水平。例如，当对通信会话的传出请求待处理时，包含第一用户的头像的用户界面对象周围的背景区域处于变暗和模糊的状态；并且响应于指向变暗和模糊的背景区域的用户注视输入达至少阈值时间量，计算机系统逐渐恢复背景区域中的内容(例如，在激活第一用户界面对象7326之前以正常可见度显示的其他用户的头像、物理环境的表示、三维环境中显示的其他用户界面对象等)的可见度。在一些实施方案中，在注视输入已移回到对应于通信会话的用户界面对象之后，计算机系统将背景内容保持在恢复的可见度水平。在一些实施方案中，在注视输入已移回到对应于通信会话的用户界面对象(例如，包括第一用户的头像的用户界面对象、或通信会话的控制用户界面等)之后，计算机系统将背景内容返回到降低的可见度水平。
在一些实施方案中，当通信会话正在进行时，计算机系统显示对应于与第一用户的通信的控制用户界面对象。在一些实施方案中，控制用户界面对象是与在通信会话期间显示的三维环境7104中的第一用户的表示分开的用户界面对象。在一些实施方案中，控制用户界面对象包括用于显示与通信会话相关的附加内容的一个或多个示能表示，诸如用于显示与第一用户的消息线程的示能表示、用于显示与第一用户相关的照片或媒体内容项的示能表示、用于显示与通信会话相关联的其他控制参数的示能表示、用于终止当前通信模式以及任选地选择另一通信模式的示能表示等。在一些实施方案中，控制用户界面对象在三维环境中具有预设位置(例如，由计算机系统或由计算机系统的用户选择的位置等)，并且计算机系统根据确定在至少阈值时间量内没有在与控制用户界面对象相对应的三维环境的区域中检测到注视输入而停止显示控制用户界面对象或降低控制用户界面对象的可见度(例如，通过淡出、使其更透明等)。在一些实施方案中，计算机系统响应于检测到指向与控制用户界面对象的预设位置相对应的三维环境的区域的注视输入(例如，任选地，在比注视检测时间阈值长的预设停留时间阈值之后)而在预设位置处重新显示控制用户界面对象。在一些实施方案中，控制用户界面对象的预设位置锚定到三维环境，并且不随着三维环境的当前显示视图的视点的移动而移动。在一些实施方案中，控制用户界面对象锚定到计算机系统的用户的第一部分的位置(例如，锚定到三维环境中的计算机系统的用户的手部或手腕的表示)，并且不根据三维环境的当前显示视图的视点的移动而移动。在一些实施方案中，控制用户界面对象锚定到由第一显示生成部件提供的视场的预设部分。
在一些实施方案中，控制用户界面对象包括示能表示，该示能表示在被激活时使得计算机系统在以第一通信模式(例如，共现模式、视频模式等)建立通信会话时改变通信会话的通信模式。在一些实施方案中，计算机系统将所建立的通信会话的通信模式从第一通信模式改变为第二通信模式，例如具有比第一通信模式更少沉浸感的通信模式(例如，从共现模式改变为视频模式，从视频模式改变为纯语音模式等)。在一些实施方案中，响应于用户请求，通信模式的切换在通信会话期间是可逆的。例如，在一些实施方案中，当用户激活该示能表示时，计算机系统任选地停止共现模式或切换到纯音频模式。根据一些实施方案，随后在用户再次激活该示能表示时，计算机系统重新开始共现模式。在一些实施方案中，控制用户界面对象还包括用于完全终止通信会话的示能表示。
在一些实施方案中，第一用户界面对象7326是对来自第一用户的通信请求的通知的表示(例如，第一表示、第二表示、第三表示等)或者是其一部分，该通知在被激活时使得计算机系统发起与第一用户的通信会话。在一些实施方案中，相对于图7P至图7S描述的实施方案的特征适用于在各种实施方案中相对于图7N至图7O描述的实施方案的特征，且反之亦然。
图7P至图7S是示出根据一些实施方案的在检测到与通知的直接用户交互(例如，响应于通知中的请求或处置通知)之前显示通知的表示的框图。图7T至图7U是示出与对应于传入通信请求的通知的交互以及在三维环境中显示通信会话的框图。在一些实施方案中，图7P至图7U示出了根据一些实施方案的在计算机系统处接收到对应于传入通信请求的通知时发生的事件和交互的连续序列。在一些实施方案中，图7P至图7S所示的示例和图7T至图7U中的示例彼此独立。例如，根据一些实施方案，图7P至图7S所示的通知是除了通信相关应用程序之外的应用程序的通知，或者是与操作系统状态相关的通知；并且根据一些实施方案，图7T至图7U中的通知可在与用户的手部相对应的位置处或者在锚定到视点或用户的眼睛或头部的视场的预设部分中的位置处显示，而不首先在另一区域中显示。
在图7P中，响应于第一计算机系统处的第一事件的发生而生成第一通知。计算机系统在三维环境7104中基于用户的第一部分的位置来选择的第一位置处显示通知的第一表示(例如，通知的第一表示7334)。在一些实施方案中，当第一位置锚定到用户的第一部分时，基于用户的第一部分的位置来选择第一位置。在一些实施方案中，以另一方式基于用户的第一部分的位置来选择第一位置，该另一方式不要求通知的第一表示的位置与用户的第一部分在三维环境中的虚拟位置之间的固定空间对应，但允许用户的第一部分的位置在一个或多个其他约束条件之中约束第一位置的选择。在一些实施方案中，用户的第一部分包括用户的头部或眼睛以及基于用户的头部在物理环境中的位置和取向来选择的第一位置。在此类实施方案中，第一位置是锚定到三维环境的当前显示视图的视点的位置。在一些实施方案中，当在锚定到三维环境7104的当前显示视图的视点的第一位置处显示通知的第一表示7334时，即使视点根据用户的头部在物理环境中的移动(例如，平移和旋转)而在三维环境中移动时，通知的第一表示7334也保持在视场的预设部分(例如，左上角、顶边缘区域等)中。在一些实施方案中，用户的第一部分包括用户的躯干，并且即使视点根据用户的头部相对于用户的躯干的旋转而移动时，基于用户的躯干在物理环境中的位置和取向来选择的第一位置也是锚定到用户在三维环境中的虚拟位置的位置。在已在基于用户的第一部分的位置来选择的第一位置处显示通知的第一表示7334之后，尚未检测到满足预设标准的与通知的第一表示7334的用户交互的计算机系统在与用户的手部7202处或附近的位置相对应的第二位置处显示通知的第二表示7338(例如，如图7R所示)。在第二位置处显示的通知的第二表示7338根据用户的手部7202在物理环境中的移动来在三维环境中移动(例如，如图7R至图7S所示)。在一些实施方案中，计算系统允许用户随后例如以如相对于图7T和图7U所描述的方式与通知进行交互，或直接与在对应于用户的手部的位置的第三位置处、在视场中浮动的第四位置处、在三维环境中浮动或锚定到第五位置等处显示的通知的另一表示进行交互。
在图7T至图7U中，通知的第三表示7336(例如，引起显示图7P中的第一表示7334或图7R中的第二表示7338的相同通知，或者不同的通知等)在基于用户的预设部分(例如，在该示例中为用户的手部，但是在不同的示例中可以是用户的头部)的位置来选择的第三位置处显示。在一些实施方案中，当通知的第三表示7336在基于用户的预设部分的位置来选择的第三位置处显示时，该第三表示在用户的虚拟位置的阈值范围内显示。响应于检测到与对通知的请求作出响应的操作相对应的一个或多个用户输入的序列(例如，指向通知的第三表示7336的注视输入7220与用于接受通信会话的邀请、回复消息、显示对应于通知的应用程序等的手势输入(例如，手部7202的移动7340、或通知的第三表示7336上的轻击手势等)的组合)，计算机系统显示对应于通知的用户界面对象7344。在一些实施方案中，通知是用于在计算机系统的用户与另一用户之间建立通信会话的请求，并且对应于通知的用户界面包括通信会话的用户界面或另一用户的表示。在一些实施方案中，如图7U所示，用户界面对象7342在三维环境7104中离用户的虚拟位置大于阈值距离的第四位置处显示。在一些实施方案中，第四位置锚定到三维环境并且不根据引起三维环境的当前显示视图的视点的移动的用户或第一显示生成部件在物理环境中的移动而移动，并且第四位置不根据用户的预设部分(例如，在该示例中为用户的手部)的移动而移动。
如图7P至图7U所示，经由与计算机系统(例如，计算机系统101、相对于图7A至图7D、图7E至图7H、图7I至图7M和/或图7N至图7O描述的计算机系统等)通信的第一显示生成部件(例如，显示生成部件7100、相对于图7A至图7D、图7E至图7H、图7I至图7M和/或图7N至图7O描述的第一显示生成部件、其他显示生成部件等)显示三维环境(例如，环境7104、如相对于图7A至图7D、图7E至图7H、图7I至图7M和/或图7N至图7O描述的环境、另一VR、AR或XR环境等)。如图7P至图7U所示，三维环境7104的当前显示视图包括在三维环境中的各种位置(例如，与物理对象或表面的相应位置相对应的位置、不与物理对象和表面的位置相对应的位置等)处显示的一个或多个用户界面对象(例如，用户界面对象7322、其他用户界面对象或虚拟对象等)。
图7P至图7U示出了与第一显示生成部件(例如，显示生成部件7100或另一显示生成部件等)通信的计算机系统(例如，设备101或另一计算机系统等)。在一些实施方案中，第一显示生成部件是平视显示器。在一些实施方案中，第一显示生成部件是头戴式显示器(HMD)。在一些实施方案中，第一显示生成部件是独立显示器、触摸屏、投影仪或另一类型的显示器。在一些实施方案中，计算机系统与一个或多个输入设备通信，该一个或多个输入设备包括检测物理环境中用户的手部的移动、用户的整个身体的移动和/或用户的头部的移动的相机或其他输入设备。在一些实施方案中，一个或多个输入设备检测用户的手部、面部和用户的整个身体等的移动及当前姿势、取向和位置。在一些实施方案中，一个或多个输入设备包括检测用户注视的位置和移动的眼睛跟踪部件。在一些实施方案中，第一显示生成部件以及任选地一个或多个输入设备和计算机系统是头戴式设备(例如，HMD、一对护目镜等)的部分，该头戴式设备在物理环境中随用户的头部而移动和旋转，并且将用户的视点改变到经由第一显示生成部件提供的三维环境中。在一些实施方案中，第一显示生成部件是平视显示器，其不随用户的头部或用户的整个身体而移动或旋转，而是任选地根据用户的头部或身体相对于第一显示生成部件的移动来将用户的视点改变到经由第一显示生成部件提供的三维环境中。在一些实施方案中，第一显示生成部件由用户的手部相对于物理环境或用户的头部移动和旋转，从而根据第一显示生成部件相对于用户的头部或面部或相对于物理环境的移动来将用户的视点改变到经由第一显示生成部件提供的三维环境中。
如图7P至图7U所示，计算机系统显示三维环境(例如，环境7104、虚拟三维环境、增强现实环境、物理环境的透传视图、物理环境的相机视图等)的视图。在一些实施方案中，三维环境是没有物理环境的表示的虚拟三维环境。在一些实施方案中，三维环境是混合现实环境，该混合现实环境是由与物理环境相对应的传感器数据增强的虚拟环境。在一些实施方案中，三维环境是增强现实环境，该增强现实环境包括一个或多个虚拟对象和第一显示生成部件周围的物理环境的至少一部分的表示(例如，墙壁的表示7004’、7006’、地板的表示7008’、物理对象的表示7002’等)。在一些实施方案中，物理环境的表示包括物理环境的相机视图。在一些实施方案中，物理环境的表示包括物理环境透过第一显示生成部件的透明或半透明部分的视图。
图7P示出了在显示三维环境7104的第一视图时，计算机系统检测到与第一通知的接收或生成相对应的第一事件。在一些实施方案中，第一事件对应于用于在与计算机系统相对应的第一用户和不同于第一用户的第二用户之间建立通信会话的传入请求的通知或警示的接收。在一些实施方案中，第一通知对应于来自操作系统或应用程序的请求第一用户注意的其他信息或警示。在一些实施方案中，与第一通知的接收相对应的第一事件是由计算机系统响应于满足预先建立的触发条件或响应于来自另一计算机系统或设备的请求而产生的系统生成事件，并且不是对由计算机系统的一个或多个输入设备检测到的用户输入的实时响应或反馈。响应于检测到第一事件，计算机系统在三维环境7104中显示第一通知的第一表示7334(例如，弹出横幅、包括通知内容的用户界面对象等)。如图7P所示，通知的第一表示7334在基于第一用户的第一部分在物理环境中的位置来选择的位置处显示。在该示例中，用户身体的第一部分任选地是第一用户的头部，并且第一用户的头部的位置和取向确定三维环境7104的当前显示视图的视点的位置和取向。在一些实施方案中，第一用户的身体的第一部分任选地是第一用户的躯干，并且用户的躯干的位置和取向确定三维环境的当前显示视图的视点的位置和取向。在一些实施方案中，第一通知的第一表示7334锚定到用户的头部，并且通知的第一表示7334在由第一显示生成部件提供的视场的预设部分(例如，视场的左上角，如图7P所示)中显示；并且当用户的头部在物理环境中转动和/或移动时(例如，相对于躯干，或者作为整个人移动的结果等)，三维环境的当前显示视图的视点改变(例如，与图7P所示的状态相比，视点在图7Q所示的状态下已向下和向右移动)，但是第一表示7334保持在由第一显示生成部件提供的视场的相同预设部分中。在一些实施方案中，第一通知的第一表示7334锚定到用户的躯干，并且视点也锚定到第一用户的躯干而不是用户的头部；并且用户可相对于三维环境的当前显示视图转动用户的头部，而不引起视点移动并且不引起通知的第一表示在三维环境中或在视场中移动。在一些实施方案中，第一通知的第一表示7334锚定到用户的躯干，并且视点也锚定到第一用户的躯干而不是用户的头部；并且当用户作为整体在物理环境中移动时，通知的第一表示相对于用户的虚拟位置保持在固定距离和位置处(例如，离用户的虚拟位置小于阈值距离)。
在一些实施方案中，第一通知的第一表示7334是包括供用户确定是否要与第一通知进行交互以处置通知的一些信息(例如，应用程序名称、应用程序图标、消息的摘录、第一事件的性质、从第一用户请求的动作的类型等)的通知。
图7Q至图7R示出了在基于第一用户的第一部分在物理环境中的位置来选择的第一位置处已显示第一通知的第一表示7334之后，根据确定从第一通知的第一表示7334的最初显示起的预设时间段内没有检测到满足处置第一通知的标准的用户交互，计算机系统在三维环境7104中基于第一用户的第二部分在物理环境中的位置(例如，用户的手部的位置、用户的手腕的位置等)来选择的第二位置处显示第一通知的第二表示7338，其中第一用户的第二部分不同于第一用户的第一部分并且可相对于第一用户的第一部分移动。在一些实施方案中，处置第一通知的用户交互包括用于以下操作的交互中的相应一者：取消通知而使其将不被再次显示、存储通知以供稍后在通知历史中查看、打开与通知的应用程序相对应的用户界面、显示与通知相对应的用户界面对象以用于显示通知内容并接收对通知中的请求作出响应的用户输入等。在一些实施方案中，第一通知的第二表示7338(例如，在图7R中示出)是第一通知的第一表示7334(例如，在图7P中示出)的缩减版本。在一些实施方案中，如图7R所示，通知的第二表示7338任选地是可用于不同通知(例如，用于不同应用程序、不同事件等)的通用指示符(例如，点、圆、徽章等)。在一些实施方案中，如图7R所示，通知的第二表示7338任选地是识别第一通知或第一事件的源的应用特定或用户特定指示符(例如，应用程序图标的缩小图像、用户的头像的缩小图像等)。在一些实施方案中，计算机系统显示动画过渡，该动画过渡示出了第一表示7334在三维环境中沿着路径7335缩小并朝向第二位置移动(例如，如图7Q所示)，并且最终转换成在三维环境中的第二位置处的第二表示7338(例如，如图7R所示)。在一些实施方案中，路径7335被限制在由第一显示生成部件提供的视场的周边部分中。在一些实施方案中，通知的第一表示7334在远离第一位置朝向第二位置移动之前转换成通知的第二表示7338。
在图7R至图7S中，在三维环境7104中基于第一用户的第二部分(例如，用户的手部、用户的手腕等)在物理环境中的位置来选择的第二位置处显示第一通知的第二表示7338。如图7R至图7S所示，计算机系统检测第一用户的第二部分在物理环境中相对于第一用户的第一部分的移动(例如，用户的手部或手腕在物理环境中相对于用户的躯干或头部的移动)，这导致手部朝向第一用户前方的墙壁(例如，由表示7004’表示的墙壁)移动。用户的手部在图7R至图7S中的移动是相对于用户的身体而言的，因为为了说明的目的，用户的身体同时已远离用户前方的墙壁移动，导致三维环境7104的当前显示视图的视点改变。在图7S中，响应于检测到第一用户的第二部分在物理环境中相对于第一用户的第一部分的移动(例如，而不是仅由第一用户的第一部分在物理环境中的移动引起的第一用户的第二部分与第一部分之间的相对移动)，计算机系统基于第一用户的第二部分在物理环境中的移动来在三维环境7104中移动第一通知的第二表示7338。在一些实施方案中，当用户的第二部分的表示(例如，手部7202的表示7202’、用户的手腕的表示等)在三维环境7104的当前显示视图中可见时，通知的第二表示7338与用户的第二部分的表示之间的空间关系在用户的第二部分移动之前和之后基本上保持不变(例如，任选地，受制于一些模拟惯量或时间滞后)，如图7R至图7S所示。
在图7P至图7S中，第一通知的第一表示7334和第一通知的第二表示7338彼此不同。在一些实施方案中，第一通知的第一表示7334包括比第一通知的第二表示7338更多的通知内容。在一些实施方案中，第一通知的第一表示7334具有比第一通知的第二表示7338更大的尺寸。在一些实施方案中，第一通知的第一表示7334以比第一通知的第二表示7338更高的可见度水平显示。在一些实施方案中，第一通知的第一表示7334具有应用特定的外观，并且第一通知的第二表示7338具有非应用特定的通用外观。
在一些实施方案中，第一通知的第一表示7334与第一通知的第二表示7338相同。在一些实施方案中，第一通知的第一表示7334和第一通知的第二表示7338具有相同的外观，但是相对于第一用户的不同部分具有不同的移动行为。在一些实施方案中，计算机系统显示视觉指示和/或提供音频或触觉指示以标记从显示第一通知的第一表示到显示第一通知的第二表示的转变。在一些实施方案中，计算机系统自动移动第一通知的显示表示，例如从基于第一用户的第一部分的位置来选择的第一位置到基于第一用户的第二部分的位置来选择的第二位置，作为从显示第一通知的第一表示到显示第一通知的第二表示的转变的视觉指示。
在一些实施方案中，通知的第一表示7334在经由第一显示生成部件提供的视场的周边部分(例如，顶边缘部分、左边缘部分、左上角等)中显示，如图7P至图7Q所示。
在一些实施方案中，在通知的第一表示7334的最初显示之后，第一表示7334转换成通知的较小的缩减版本并且在与用户的手部处或附近的位置相对应的位置处显示，例如如图7Q至图7S所示。
在一些实施方案中，如图7S之后的图7T所示，当在基于第一用户的第二部分(例如，用户的手部或手腕)在物理环境中的位置来选择的第二位置处显示第一通知的第二表示7338时，计算机系统检测第一用户的手部7202在物理环境中的移动7340(例如，手部作为整体的平移或旋转、张开或合上手部、相对于手部的另一部分移动手部的一个部分等)。响应于检测到第一用户的手部在物理环境中的移动7340：根据确定手部的移动7340满足第一标准，计算机系统显示第一通知的第三表示7336。在一些实施方案中，第一通知的第三表示7336与第一通知的第一表示7334相同。在一些实施方案中，第一通知的第三表示7336是第一通知的第一表示7334的扩大版本(例如，与通知的第一表示7334相比包括更多的通知内容或提供更多的功能，或者包括在通知的第一表示7334中不可用的内容或功能等)。在一些实施方案中，第一通知的第三表示7336在与第一用户的手部7202在物理环境中的位置相对应的三维环境中的第三位置处显示。例如，在一些实施方案中，预设标准包括用于检测手部7202的旋转以使手部的预设侧面向用户的面部的标准、用于检测手部张开且手部的预设侧面向用户的面部的标准、用于检测手掌朝向用户的面部移动的标准、用于检测用户的手部从视场外的位置抬高到视场内的位置的标准等。在一些实施方案中，计算机系统在覆盖用户的手部7202(例如，手掌、手背等)的表示7202’、替换该表示的显示或遮挡该表示的视线等的位置处显示第一通知的第三表示7336。
在一些实施方案中，用于显示第一通知的第三表示7336的预设标准要求检测到手部的移动7340连同指向与用户的手部的位置或第一通知的第二表示7338相对应的三维环境7104的区域的注视输入(例如，满足注视检测时间阈值或延长的注视和停留时间阈值等的注视输入7220)以便满足预设标准。在一些实施方案中，如果计算机系统仅检测到对于预设标准而言手部的所需移动但未检测到所需注视输入，则计算机系统提供一些反馈(例如，音频提示、视觉反馈，诸如通知的第二表示7338的闪烁、通知的第二表示7338朝向视点的移动等)。在一些实施方案中，预设标准要求检测到手部的移动7340连同已在与用户的手部的位置相对应的三维环境的区域或通知的第二表示7338的区域中保持大于注视检测时间阈值的至少第一时间量的注视输入以便满足预设标准。在一些实施方案中，如果计算机系统仅检测到对于预设标准而言手部的所需移动但未检测到所需注视输入，或当注视输入尚未在所需区域中保持至少第一时间量时，计算机系统提供一些反馈(例如，音频提示、视觉反馈，诸如通知的第二表示7338的闪烁、通知的第二表示7338的尺寸增大等)。在一些实施方案中，预设标准要求手部的移动包括朝向预设方向(例如，与第一用户的面部相对应的方向、向上等)转动第一用户的手掌以便满足第一标准。
在一些实施方案中，当在通知的表示的区域中检测到注视输入时，即使注视输入不能单独使计算机系统执行处置通知的操作(例如，取消通知、打开对应于通知的用户界面、存储通知以供稍后在通知历史中查看等)，通知的表示中的一个或多个表示(例如，第一表示7334、第二表示7338和第三表示7336等)也改变外观、变成动画和/或朝向视点移动。
在一些实施方案中，当计算机系统检测到预设激活输入(例如，空中轻击手势、捏合手势、一只手在另一只手上的轻击或轻扫手势、触敏表面上的触摸手势、语音命令等)连同检测到指向通知的相应表示(例如，第一表示7334、第二表示7338和第三表示7336等)的注视输入时，计算机系统执行处置通知的操作(例如，取消通知、打开对应于通知的用户界面、存储通知以供稍后在通知历史中查看等)。
在一些实施方案中，连同响应于检测到第一事件而在三维环境中最初显示通知的第一表示7334(例如，如图7P所示)，计算机系统还输出音频警示。当音频警示仍在播放时，如果计算机系统检测到用户的注视输入移动到通知的第一表示7334的位置，则计算机系统在与用户的第二部分(例如，用户的手部或手腕)的位置相对应的位置处显示通知的第三表示7336，任选地跳过在基于用户的第二部分的位置来选择的位置处显示通知的第二表示7338。例如，如果计算机系统在音频警示正在播放时(例如，在通知的最初显示的预设时间窗口中时)检测到用户看向第一位置或通知的第一表示，则计算机系统将通知的表示移动到用户的手部的位置并且将通知的表示锁定到用户的手部，使得用户可将通知的表示移动得更靠近或更远离他/她的面部以舒适地看到其内容并与该表示进行交互来对第一通知作出响应。在一些实施方案中，计算机系统响应于在时间窗口内或在音频警示仍在播放时检测到指向通知的表示7334的用户注视输入而显示示出通知的表示7334落入用户手部中(例如，落到手部的表示7202’的位置)的动画。在一些实施方案中，计算机系统要求用户将他/她的手部升高到视场中，以便在与用户的手部的位置相对应的位置处显示通知的第三表示7336。在一些实施方案中，如果计算机系统没有在通知的第一表示7334的位置处检测到用户的注视输入(或用户的手部不在由第一显示生成部件提供的当前视场内)，则计算机系统在基于用户的第二部分的位置来选择的位置处显示通知的第二表示7338(例如，如果用户的第二部分不在视场内，则沿着视场的边缘，或者紧挨着用户的第二部分的表示等)(例如，如图7P至图7S所示)。在一些实施方案中，音频警示是在三维环境中具有对应位置的空间音频警示，并且当在基于用户的第一部分的位置来选择的位置处显示第一表示7334时，空间音频警示好像源自通知的第一表示7334的位置处或附近的位置。在一些实施方案中，通知的第一表示7334在由第一显示生成部件提供的视场的周边区域中显示，并且空间音频警示也好像源自该相同周边区域(例如，因为该区域根据用户的第一部分的移动而移动，以及因为在用户的第一部分未在物理环境中移动时该区域保持静止等)。在一些实施方案中，空间音频警示任选地在通知的第一表示出现或到达基于用户的第一部分的位置来选择的第一位置之前启动，并且持续预设时间量(例如，200毫秒、1秒、2秒等)。在一些实施方案中，空间音频警示好像源自其在三维环境中的源位置，而与第一显示生成部件的移动、用户的移动和/或用于输出空间音频警示的音频输出设备的移动无关。换句话讲，在一些实施方案中，空间音频警示具有与基于物理环境的参考系、基于音频输出设备在物理环境中的位置的参考系和/或基于第一显示生成部件在物理环境中的位置的参考系等分开的参考系中的位置。
在一些实施方案中，在计算机系统正在三维环境中显示共享体验时生成第一通知，其中三维环境的至少第一部分对于除第一用户之外的一个或多个用户是可见的和/或可访问的(例如，通过这些其他用户使用的计算机系统和显示生成部件)。在一些实施方案中，第一通知的第一表示7334、第二表示7338和第三表示73637在提供给一个或多个其他用户的三维环境的第一部分的视图中不可见。换句话讲，第一通知对第一用户保持私有，除非第一用户提供输入以明确地与三维环境的第一部分中的一个或多个其他用户共享其内容。在一些实施方案中，不在由第一用户的显示生成部件提供的视图中的三维环境的第一部分中显示通知的第一表示7334。在一些实施方案中，通知的指示任选地提供于三维环境的第一部分中并且对参与共享体验的其他用户可见，但是在通知的第一表示中示出的通知内容不提供于向其他用户示出的三维环境的第一部分中的通知的指示中。
在一些实施方案中，在基于用户的第一部分在物理环境中的位置来选择的第一位置处显示通知的第一表示7334之后，并且任选地，在输出音频警示连同显示通知的第一表示7334之后，根据确定在从通知的第一表示7334的最初显示起的阈值时间量内没有检测到处置通知的用户输入，计算机系统在基于用户的第二部分在物理环境中的位置来选择的三维环境中的第二位置处显示第二表示7338。在一些实施方案中，计算机系统还输出第二音频警示，连同在基于用户的第二部分的位置来选择的第二位置处显示通知的第二表示7338。在一些实施方案中，第二音频警示是好像源自三维环境中的第二位置的空间音频警示。在一些实施方案中，计算机系统还提供好像源自从第一位置移动到第二位置的移动源的第三空间音频警示，连同显示示出通知的表示(例如，第一表示或第二表示，或两者的某种中间形式等)在三维环境中从第一位置移动到第二位置的动画过渡。在一些实施方案中，第二空间音频警示好像源自根据通知的第二表示7338的第二位置的移动(例如，如由用户的第二部分在物理环境中的移动引起)而在三维环境中移动的移动源。根据一些实施方案，空间音频警示好像源自它们的虚拟源位置，而与第一显示生成部件或音频输出设备在物理环境中的移动无关。在一些实施方案中，在基于用户的第二部分的位置来选择的第二位置处显示通知的第二表示7338时播放的音频警示在预设时间量之后逐渐淡出。
在一些实施方案中，当显示第一通知的相应表示(例如，第一表示7334、第二表示7338等)时，计算机系统检测用户的手部在物理环境中的移动，该移动包括从合上姿势张开手部或在手部处于张开姿势时抬高手部；并且作为响应，计算机系统在三维环境中(例如，在与物理环境中的第一用户的手部的位置相对应的三维环境中的位置处)显示通知的第三表示7336，例如如图7T所示，并且任选地，不需要注视输入指向与通知或用户的手部相对应的区域。
在一些实施方案中，当显示第一通知的相应表示(例如，第一表示7334、第二表示7338等)时，计算机系统检测用户的手部在物理环境中的移动，该移动包括从合上姿势张开手部或在手部处于张开姿势时抬高手部；并且作为响应，计算机系统在三维环境中(例如，在与用户相距至少阈值距离的位置处(例如，锚定到三维环境，未锚定到用户的手部、头部、躯干等)等)显示与通知相对应的用户界面对象7342(例如，应用程序用户界面、通信界面、包括通知内容和用于提供通知中所请求的输入的输入界面的用户界面等)，例如如图7U所示，并且任选地，不需要注视输入指向与通知或用户的手部相对应的区域。
在一些实施方案中，当显示第一通知的相应表示(例如，第一表示7334、第二表示7338等)时，计算机系统检测用户的手部在物理环境中的移动，该移动包括从合上姿势张开手部，随后合上手部(例如，在张开手部之后的阈值时间量内，或者在与用户的张开手部的位置相对应的位置处显示通知的第三表示7336之后等)；并且作为响应，计算机系统取消通知(例如，停止显示通知的相应表示，而不显示对应于通知的另一表示或用户界面，以及从三维环境清除通知等)，任选地不需要注视输入指向与通知或用户的手部相对应的区域。
在一些实施方案中，当在三维环境中(例如，在与用户的手部的位置相对应的三维环境中的位置处)显示通知的第三表示7336时，计算机系统检测将内容或对象(例如，文件、视频、照片、文档、超链接、联系人卡片、文本、电子邮件等)从通知的第三表示7336之外的三维环境的一部分拖放到通知的第三表示7336内的用户的另一手部的移动；并且根据确定在内容或对象在第三表示7336内时内容或对象被用户的第二手部放下(例如，如拖放输入的终止所指示)，计算机系统在第一通知的第三表示7336内的输入区域中添加内容或对象的表示。在一些实施方案中，第一通知针对通信事件，诸如接收到的文本消息、接收到的电子邮件、接收到的电话呼叫、接收到的对与另一用户的通信会话的邀请、对会议呼叫的提醒等。在一些实施方案中，通知针对需要内容或对象形式的用户输入的事件。在一些实施方案中，放入通知的第三表示7336中的内容或对象变成部分或全部对通知中的信息或输入的请求的响应或对通信事件的回复。
在一些实施方案中，通知的第三表示7336根据手部朝向或远离用户的面部的移动而改变其尺寸。例如，在一些实施方案中，当用户的手部移动得更靠近用户的面部时，计算机增加通知的第三表示7336的尺寸，例如以允许用户更清楚地看到通知的内容，或者在通知的第三表示7336中显示更多通知内容；并且当用户的手部远离用户的面部移动时，计算机减小通知的第三表示7336的尺寸，例如以允许用户更舒适地查看通知的内容，或者在通知的第三表示7336中显示更少通知内容。在一些实施方案中，通知的第三表示7336的尺寸的变化不仅仅是因距视点的显示距离的变化而导致的显示尺寸的变化，而是通知的第三表示7336在三维环境中的固有尺寸的变化。在一些实施方案中，当用户的手部7202移动得更靠近用户的面部时，计算机减小通知的第三表示7336的尺寸，例如以允许用户更舒适地看到通知的内容，或者在通知的第三表示7336中显示更少通知内容；并且当用户的手部远离用户的面部移动时，计算机增加通知的第三表示7336的尺寸，例如以允许用户更清楚地查看通知的内容，或者在通知的第三表示7336中显示更多通知内容。
在一些实施方案中，当在与用户的手部7202的位置相对应的第三位置处显示通知的第三表示7336时，计算机系统检测将内容或对象从通知的第三表示7336之外的三维环境的一部分拖动到通知的第三表示7336之内的用户输入。响应于检测到用户输入，计算机系统将内容或对象(例如，内容项、文件、超链接、控件示能表示、联系人卡、头像等)添加到通知的第三表示7336内的输入区域中。在一些实施方案中，当在与用户的手部7202的位置相对应的第三位置处显示通知的第三表示7336时，计算机系统检测将通知的第三表示7336之内的内容或对象拖动到通知的第三表示7336之外的三维环境的一部分的用户输入。响应于检测到用户输入，计算机系统将内容或对象(例如，内容项、文件、超链接、控件示能表示、联系人卡片、头像等)的副本放在通知的第三表示7336之外的三维环境的部分中。在一些实施方案中，在通知的第三表示7336与通知的第三表示7336之外的三维环境的区域之间拖放内容或对象的用户输入包括连同指向内容或对象(例如，在第三表示7336之内，或在第三表示7336之外等)的注视输入一起检测到的由用户的第二手部作出的捏合手势，随后在保持捏合手势的同时移动第二手部，然后接着在已由注视输入或用户的第二手部的位置选择放下位置时释放捏合手势。
图7T至图7U还示出了传入通信请求的警示的显示(例如，响应于通信请求的接收而生成的通知的表示、图7P至图7S中的通知的表示7334和7338、在基于用户的预设部分(例如，用户的手部或手腕、面部、头部、躯干等)在靠近用户的身体(例如，用户的手部或手腕、面部、头部、躯干等)的虚拟位置处的位置来选择的位置处显示的通知的表示)；并且根据一些实施方案，响应于检测到与该警示的用户交互以接受传入通信请求，计算机系统在锚定到三维环境的与用户的虚拟位置相距至少阈值距离的位置处显示对应于传入通信请求的通信用户界面。
如图7T所示，计算机系统显示三维环境7104(例如，虚拟三维环境、增强现实环境、物理环境的透传视图、物理环境的相机视图等)的第一视图。在显示三维环境7104的第一视图时，计算机系统检测第一事件(例如，通知或警示的接收)，该第一事件对应于用于在与计算机系统相对应的第一用户和不同于第一用户的第二用户之间建立通信会话的传入请求。响应于检测到第一事件，计算机系统在三维环境中的相应位置处显示通知(例如，弹出警示、需要用户注意的事件的指示符等)，其中相应位置基于与第一用户的至少预设部分在物理环境中的位置相对应的三维环境中的位置来选择(例如，通知被锁定到第一用户的预设部分(例如，头部、身体、手部等))。在图7T所示的示例中，在与用户的手部或手腕的位置相对应的位置处显示通知的表示(例如，作为图7T中的第三表示7336)。在一些实施方案中，在基于用户的手部或手腕的位置来选择的位置处显示通知的表示，例如作为图7R至图7S中的第二表示7338(例如，当用户的手部的表示不一定在由第一显示生成部件提供的视场内时)。在一些实施方案中，在基于用户的面部或头部的位置和取向来选择的位置处显示通知的表示(例如，作为图7P中的第一表示7334)。在一些实施方案中，在基于用户的躯干的位置和取向来选择的位置处显示通知的表示(例如，作为图7P中的第一表示7334)。
在图7T至图7U中，当在基于与第一用户的至少预设部分在物理环境中的位置(例如，第一用户的头部、身体或手部等的位置)相对应的三维环境中的相应位置来选择的三维环境中的相应位置处显示通知时(例如，图7T示出了其中第一用户的预设部分是用户的手部7202的示例，而图7P和图7R分别示出了第一用户的预设部分是第一用户的其他部分)，计算机系统检测与用于建立通信会话的传入请求的接受相对应的一个或多个用户输入的序列。例如，在一些实施方案中，输入序列包括用于与一个或多个用户界面对象进行交互并完成用于完全建立通信会话的过程中的一个或多个步骤的系列的输入，该一个或多个步骤诸如为选择用于通信会话的操作参数，以及提供用于通信会话的认证信息等。在一些实施方案中，输入序列包括在用于传入通信请求的通知的当前显示的表示中包括的“接受”示能表示上的轻击输入。
在图7U中，根据一些实施方案，响应于检测到与用于建立通信会话的传入请求的接受相对应的一个或多个用户输入的序列，计算机系统在离第一用户在三维环境中的特征虚拟位置(例如，视点的位置、与用户的头部或眼睛在物理环境中的位置相对应的虚拟位置、与用户作为整体的位置相对应的虚拟位置等)至少阈值距离(例如，至少一臂之长、大于基于第一用户的预设部分来选择的相应位置处的通知的查看深度的距离等)的三维环境7140中的相应第二位置处显示与通信会话相关联的多个用户界面对象(例如，第二用户的用户头像7344、与通信会话相对应的用户界面的容器对象7342、用于与第二用户或通信会话相关联的各种功能和/或内容的用户界面对象7346和7348等)。在一些实施方案中，与通信会话相关联的多个用户界面对象被锁定到三维环境中的物理环境的表示(例如，被锁定或锚定到“世界”)。
在一些实施方案中，在基于第一用户作为整体的特征位置(例如，用户的躯干的位置、用户的颈部的基部的位置等)来选择的位置处显示通知的相应表示，并且通知的表示根据第一用户作为整体的特征位置在物理环境中的移动而在三维环境中移动。当第一用户作为整体在物理环境中移动时，三维环境的当前显示视图的视点任选地根据第一用户作为整体的移动而移动，并且通知的表示相对于三维环境中的视点保持基本上恒定的空间关系。然而，当第一用户的头部相对于第一用户的身体移动时，仅由用户的头部的移动引起的视点的移动不会引起通知的表示在三维环境中的移动。
在一些实施方案中，在基于第一用户的头部的特征位置(例如，用户的头部、眼睛或面部等的位置和取向)来选择的位置处显示通知的相应表示，并且通知的相应表示根据第一用户的头部的特征位置在物理环境中的移动而在三维环境7104中移动。当第一用户作为整体(包括头部)在物理环境中移动时，三维环境的当前显示视图的视点根据第一用户的头部的移动而移动，并且通知的相应表示相对于三维环境的当前显示视图的视点保持基本上恒定的空间关系。此外，当第一用户的头部相对于第一用户的身体移动时，第一用户的头部的移动同时引起视点的移动和通知的相应表示的移动。因此，尽管第一用户的头部与第一用户的身体一起移动或相对于第一用户的身体移动，通知的相应表示仍保持其在视场中的位置。在一些实施方案中，当在基于第一用户的头部的特征位置来选择的位置处显示通知的相应表示时，通知的相应表示的移动滞后于由第一用户的头部在物理环境中的移动引起的视点的移动(例如，第一用户的头部相对于第一用户的身体从左到右、从右到左、向上或向下等的旋转)。因此，当第一用户的头部相对于第一用户的身体在第一方向上旋转时，视点与第一用户的头部的旋转同步地在第一方向上移动，但是通知的相应表示看起来在视点的移动开始之后稍微开始移动，并且看起来在与第一方向相反的方向上相对于视场向第二方向偏移。然后通知的相应表示赶上视点，并且在短时间段之后返回到视场中与之前相同的位置。
在一些实施方案中，如图7T所示，在基于用户的手部在物理环境中的特征位置(例如，手指的尖端、手部的中心、与手部相连的手腕、作为整体的手部等的位置)来选择的位置处显示通知的相应表示(例如，表示7336)。当第一用户的手部在物理环境中移动时，通知的相应表示看起来与用户的手部在三维环境中的表示(例如，表示7202’)保持基本上固定的空间关系，而与由第一用户的躯干或头部的移动引起的视点的移动无关。
在一些实施方案中，根据确定与用户的手部的位置相对应的位置当前不在由第一显示生成部件提供的视场内，在视场的边缘区域附近显示通知的相应表示，其中基于用户的手部的位置来选择通知的相应表示在视场的边缘部分内的位置。例如，根据一些实施方案，通知的相应表示(例如，图7R中的表示7338)在第一用户的手部在视场之外的移动的方向上沿着视场的边缘区域滑动。
在一些实施方案中，在视场中与用户的手部的位置相对应并且覆盖第一用户的手部的表示处或附近的区域的至少一部分(例如，任选地，包括第一用户的手部的表示的至少一部分)、替换该至少一部分的显示或遮挡该至少一部分的视线的位置处显示通知的相应表示。当第一用户的手部在物理环境中移动时，通知的相应表示根据第一用户的手部的移动而在视场中移动，使得保持第一用户的手部的表示与通知的相应表示之间的空间关系。在一些实施方案中，由于通知的相应表示的模拟惯量，通知的表示的移动略微滞后于用户的手部的表示的移动。
在一些实施方案中，在计算机系统检测到与通知的相应表示进行交互以接受传入通信请求的输入序列之前，通知的相应表示最初在基于用户的第一部分来选择的第一位置处显示(例如，如图7P所示)，随后移动到基于用户的第二部分来选择的第二位置(或第三位置)(例如，如图7R或图7T所示)。在一些实施方案中，计算机系统沿着视场中可见的路径(例如，图7Q中的路径7335或另一路径等)将通知的相应表示从第一位置移动到第二位置(或第三位置)，以便在提供用户输入序列以与通知的相应表示进行交互之前引导第一用户看向三维环境中的第二位置(或第三位置)。
在一些实施方案中，如果用户的手部的表示在视场内可见，则通知的相应表示最初在与用户的手部的位置相对应的位置处显示(例如，分别如图7R或图7T所示)；并且如果用户的手部的表示在视场内不可见，则通知的相应表示最初在基于其与用户的手部在物理环境中的位置更近的接近度来选择的视场的边缘部分处显示。在一些实施方案中，通知的表示的位置沿着视场的边缘移动以便向第一用户指示第一用户应当将他/她的手部抬高到视场中以看向手部来看见通知。
在一些实施方案中，通知的表示最初在锚定到用户的头部或面部的位置处显示，随后在预先确定的时间量之后(例如，如果在预先确定的时间量期间未检测到与通知的用户交互)例如以上文相对于图7P至图7S或图7P至图7T描述的方式移动到锚定到用户的手部的位置。
在一些实施方案中，通知的视觉表示最初在与三维环境的当前显示视图的视点相距第一距离的位置处显示，并且在该视觉表示首次出现在视场中之后逐渐移动得更靠近该视点。
在一些实施方案中，计算机系统输出音频警示，连同显示通知的视觉表示。在一些实施方案中，在启动音频警示之前显示通知的视觉表示。在一些实施方案中，音频警示是空间音频输出，尽管第一用户的移动、第一显示生成部件的移动以及用于输出空间音频警示的音频输出设备的移动，该空间音频输出也好像源自通知的表示在三维环境中和/或将在三维环境中显示的位置。在一些实施方案中，显示通知的表示的位置根据其当前锚定到的用户的部分(例如，用户的头部、用户的躯干、用户的手部、用户的手腕等)的移动而移动，并且空间音频警示好像源自通知的当前显示的表示的位置，而与用户的其他部分、第一显示生成部件和/或音频输出设备的移动无关，这些移动独立于通知的表示当前锚定到的用户的部分的移动。
在一些实施方案中，当在基于用户的手部的位置来选择的位置处显示通知的表示时，通知的表示的尺寸随着用户的手部朝向用户的面部抬得更近而增加。例如，当用户的手部在视场之外时，在基于用户的手部的位置来选择的视场的边缘部分附近显示通知的较小的缩减表示。当用户的手部被抬高到视场中时，通知的表示移动到与用户的手部相对应的位置并转换成包括通知内容的通知的更广泛版本。当用户的手部继续朝向用户的面部抬高时，通知的表示继续扩大到用于在与用户的手部的位置相对应的位置处查看的合适尺寸。
在一些实施方案中，通知的表示移动到由第一显示生成部件提供的视场中或者首先在视场中出现于视场的周边区域中，诸如在视场的侧边缘附近(例如，从视场的左侧进入视线，或者从视场的右侧进入视线，而不是从视场的顶部或底部进入视线)。
在一些实施方案中，在锚定到第一用户的一部分(例如，第一用户的头部、第一用户的手部、第一用户的面部、第一用户的躯干等)的位置处显示并且在第一用户的特征虚拟位置的阈值距离内显示的通知的表示包括识别发起通信请求的第二用户和/或来自多种类型的通信会话的相应类型的通信会话(例如，纯语音呼叫、视频呼叫、三维环境(例如，AR、VR或XR环境)中的共现等)的指示。
在一些实施方案中，通知的当前显示的表示响应于第一用户的交互，同时在基于用户的头部或躯干的位置来选择的位置处显示(例如，保持与视点、或与用户的虚拟位置、或与视场等的稳定空间关系)；并且如果在从第一位置处通知的表示的最初显示起的至少第一预设时间量内没有检测到用于接受通信请求的用户交互，则通知的表示转换成通知的缩减版本(例如，识别通信会话的类型或通信请求的源的指示符、通用指示符等)并且在基于用户的手部的位置来选择的位置处显示(例如，保持与手部的虚拟位置的稳定空间关系，或者在基于与视场的其他边缘部分相比其与用户的手部的位置更近的接近度来选择的视场的边缘部分中显示等)(例如，如先前相对于图7P至图7S所描述)。在一些实施方案中，如果在从第一位置处通知的表示的最初显示起的至少第一预设时间量内没有检测到用于接受通信请求的用户交互，则计算机系统将通知的表示移动得更靠近视点以将第一用户的注意力吸引到通知。
在一些实施方案中，如图7U所示，与第一用户和第二用户之间的通信会话相对应的用户界面7342在锚定到三维环境的位置处显示，并且不根据第一用户的移动而移动。例如，用户界面7342在三维环境的当前显示视图的视点的移动(例如，由物理环境中第一显示生成部件的移动、第一用户作为整体的移动、第一用户的头部的移动和旋转等引起的视点的移动)期间在三维环境中保持与物理环境的表示的空间关系。在一些实施方案中，计算机系统任选地允许第一用户使用满足预设标准的输入(例如，拖放输入、轻扫输入等)来重新定位用户界面7342。在一些实施方案中，计算机系统任选地例如以先前相对于图7N至图7O所描述的方式降低用户界面对象7342之外的三维环境7104的背景区域的可见度。
图7V至图7X是示出根据一些实施方案的第一计算机系统的框图，该第一计算机系统被配置为经由第一显示生成部件显示与第一计算机系统的第一用户和第二计算机系统的第二用户之间的第一通信会话相对应的第一用户界面的空间模式和非空间模式，其中空间模式和非空间模式是参与第一通信会话的非沉浸模式，并且其中第二用户在第一三维环境中使用沉浸模式参与第一通信会话。
在一些实施方案中，当第一计算机系统正在使用非沉浸模式参与第一通信会话并且至少一个其他用户(例如，第二用户以及任选第三用户等)正在使用沉浸模式参与第一通信会话时，第一计算机系统(例如，图7V至图7X中的计算机系统101-t、相对于图7A至图7U和图7Y至图7Z描述的计算机系统101、另一计算机系统等)经由第一显示生成部件(例如，图7V至图7X中的显示生成部件7100-t、相对于图7A至图7U和图7Y至图7Z描述的显示生成部件7100、另一显示生成部件等)选择性地在从第一用户界面的空间模式(例如，AR模式、VR模式、XR模式等)和非空间模式(例如，图库或展示模式、二维模式等)中选择的相应模式下显示与第一通信会话相对应的第一用户界面。在一些实施方案中，在第一用户界面的空间模式下，在第一用户界面中可视地指示第一三维环境(例如，在第一通信会话的参与者之间共享的并且为呈现给参与者的第一三维环境的相应视图提供基础的三维参考系)中的第二用户(例如，正在以沉浸模式参与第一通信会话的用户)的表示与通信会话的至少一个其他参与者(例如，正在使用非沉浸模式参与第一通信会话的第一用户、任选地正在以沉浸模式或非沉浸模式参与第一通信会话的第三用户等)之间的空间关系。在一些实施方案中，如果第一通信会话在第一用户与两个或更多个其他用户(例如，第二用户和第三用户，以及任选其他用户等)之间进行，则任选地也以空间模式在第一用户界面中可视地指示第一三维环境中的两个或更多个其他用户之间的空间关系和/或第一用户与这两个或更多个其他用户之间的空间关系。在一些实施方案中，以非空间模式(例如，展示模式或图库模式)显示的第一用户界面并不可视地指示第二用户的表示与三维环境中的通信会话的另一参与者之间的空间关系。在一些实施方案中，如果第一通信会话在第一用户与两个或更多个其他用户(例如，第二用户和第三用户，以及任选其他用户等)之间进行，则根据第一用户界面中的布局来显示两个或更多个其他用户的相应表示，该布局独立于第一三维环境中的参与者的虚拟位置，并且独立于正在物理环境中以沉浸模式参与第一通信会话的参与者(例如，第二用户，以及任选其他用户)的移动，该移动导致第一三维环境中的参与者的虚拟位置的变化。在一些实施方案中，第一计算机系统响应于检测到第一显示生成部件的取向从第一预设取向到第二预设取向(例如，从纵向取向到横向取向、从横向取向到纵向取向、从基本上水平的取向到基本上垂直的取向等)的变化而在以空间模式或非空间模式显示第一用户界面之间切换。在一些实施方案中，第一预设取向和第二预设取向分别由三维中的角度和姿态的对应范围限定，而不是由相对于物理环境或第一用户的面部/头部的单个角度或姿态限定。
如图7V至图7X所示，第一用户7200是与第一显示生成部件(例如，显示器7100-t、触摸屏显示器、独立显示器、手持式设备的显示器等)和一个或多个第一输入设备通信的第一计算机系统101-t的用户。在一些实施方案中，第一计算机系统101-t是手持式设备、台式计算机、移动设备、智能电话或平板设备。在一些实施方案中，第一显示生成部件101-t是触摸屏显示器、LED显示器、LCD显示器、与第一计算机系统101-t分开的显示器、或与第一计算机系统101-t和一个或多个第一输入设备中的至少一些第一输入设备集成在相同外壳中的显示器。在一些实施方案中，第一计算机系统101-t连同第一显示生成部件7100-t一起在通信会话期间不在三维环境(例如，AR环境、VR环境、XR环境等)中提供沉浸式体验。例如，诸如平板设备或手持式设备之类的第一计算机系统101-t任选地在第一计算机系统101-t(例如，平板设备或手持式设备)的显示器上提供进入物理环境的增强现实视图的视口，或者进入第一通信会话的虚拟三维环境的视口；但是第一用户的头部相对于第一计算机系统101-t的第一显示生成部件7100-t的移动不使第一计算机系统101-t更新增强现实视图的视点或虚拟三维环境的当前显示视图的视点(例如，与以沉浸模式参与通信会话的用户的情况相反)。当第一用户与正在第一三维环境中以沉浸模式参与通信会话并具有根据在其物理环境中的其移动来更新的其在第一三维环境中的相应位置和面向方向的一个或多个其他用户一起参与第一通信会话时，第一计算机系统101-t允许第一用户在通信会话的第一用户界面的空间模式下在第一三维环境的视图(例如，AR视图、VR视图等)中看到参与者的实时三维空间关系，或者在预设的布局中看到参与者的表示，而不示出参与者之间的空间关系。
如图7V的右侧部分所示，第一计算机系统101-t经由第一显示生成部件7100-t显示第一用户7200、第二用户(例如，由表示7203’表示)以及任选第三用户(例如，由表示7205’表示)之间的第一通信会话的第一用户界面。在一些实施方案中，第二用户是与第一计算机系统不同的第二计算机系统的用户。在一些实施方案中，第三用户是与第一计算机系统和第二计算机系统不同的第三计算机系统的用户。在一些实施方案中，第二计算机系统是提供第一通信会话中的完全沉浸式共现体验的设备(例如，相对于图7A至图7U和图7Y至图7Z描述的计算机系统101、另一计算机系统、HMD等)。在一些实施方案中，第三计算机系统是为第三用户提供第一通信会话中的完全沉浸式共现体验的设备(例如，相对于图7A至图7U和图7Y至图7Z描述的计算机系统101、另一计算机系统、HMD等)。在一些实施方案中，第三计算机系统是与第一计算机系统类似并且不为第三用户提供第一通信会话中的完全沉浸式共现体验的设备(例如，相对于图7V至图7X描述的计算机系统101-t、另一计算机系统、手持式设备或平板设备等)。在一些实施方案中，第二用户正在基于第二用户的物理环境或由第二用户或第二计算机系统选择的虚拟元素来定制的第一三维环境7207的视图内参与第一通信会话。
图7V的左上部分提供了第一三维环境7207的示例，其中第一通信会话的参与者之间的三维空间关系由它们在相同三维坐标系中的相应位置和面向方向指示。在一些实施方案中，第一三维环境7207是在其基础上构建向通信会话的参与者示出的AR或VR环境的三维环境。如图7V所示，第一通信会话的每个参与者在第一三维环境7207中具有对应的位置和面向方向。在该示例中，第二用户(由表示7203’表示)的虚拟位置和面向方向以及第三用户(由表示7205’表示)的虚拟位置和面向方向使得它们都被定位在第一用户的虚拟位置(例如，由用于第一显示生成部件7100-t的表示7100-t’表示，其包围用于第一用户7200的表示7200’)前方并面向该虚拟位置，其中第二用户的虚拟位置在左侧并且第三用户的虚拟位置在右侧，并且其中第二用户的虚拟位置比第三用户的虚拟位置更靠近第一用户的虚拟位置。
在一些实施方案中，呈现给第一通信会话的相应参与者的第一三维环境7207的相应视图用第一通信会话的相应参与者的相应物理环境的表示来增强。例如，当显示第一用户界面的空间模式时，第一计算机系统向第一用户呈现用围绕第一用户7200的物理环境100的表示来增强的第一三维环境7207的视图，而第二计算机系统向第二用户呈现用围绕第二用户的另一物理环境的表示来增强的第一三维环境7207的视图。类似地，任选地向第三用户呈现用围绕第三用户的又一物理环境的表示来增强的第一三维环境7207的视图。例如，在图7V的左上部分中，相对于第一三维环境7207中的第一用户、第二用户和第三用户的虚拟位置示出了第一用户7200的物理环境100的物理墙壁7004和7006以及地板7008的虚拟位置(例如，分别作为表示7004-t’、7006-t’和7008-t’)。在一些实施方案中，第一用户的物理环境的表示与第一用户在第一三维环境7207中的虚拟位置之间的空间关系对应于第一用户的物理环境与第一用户之间在第一用户的物理环境中的空间关系。根据一些实施方案，在空间模式下，向第一用户7200示出的第一通信会话的第一用户界面根据物理环境的虚拟位置和第一用户在第一三维环境7207中的虚拟位置的空间关系来可视地指示物理环境的表示与第一三维环境7207的当前显示视图7106的视点之间的空间关系(例如，通过改变尺寸、外观、视角等)。根据一些实施方案，在空间模式下，向第一用户7200示出的第一通信会话的第一用户界面根据第一三维环境7207中第二用户和第三用户的虚拟位置和面向方向与第一用户的虚拟位置和面向方向之间的空间关系来以与第一三维环境7207的视图7106的视点的相应空间关系示出第二用户和第三用户的表示(例如，表示7203’和7205’)。根据一些实施方案，向第一用户示出的第一三维环境7207的视图7106中的第二用户的表示7203’与第三用户的表示7205’之间的空间关系对应于第一三维环境7207中的第二用户和第三用户的虚拟位置与面向方向之间的空间关系。在一些实施方案中，当第一显示生成部件7100-t示出第一通信会话的第一用户界面的空间模式(例如，如图7V的右侧部分所示)时，由第二用户使用的第二计算机系统示出第一三维环境7207的沉浸式三维视图。在一些实施方案中，在第一三维环境7207的沉浸式视图中，在第二用户的物理环境的增强现实视图中示出了第一用户7200的表示7100-t’(包括第一用户的表示7200’)和第三用户的表示7205’，并且表示7100-t’与向第二用户示出的AR视图的视点之间的空间关系对应于第一三维环境7207中第一用户和第二用户的虚拟位置之间的空间关系。根据一些实施方案，第一三维环境7207中的第二用户的相应物理环境的虚拟位置基于第二用户与其自己的物理环境之间的空间关系来确定，并且用于确定第二用户的物理环境的表示与由第二计算机系统向第二用户示出的AR视图的视点之间的空间关系。
在一些实施方案中，向第一通信会话的相应参与者示出的第一三维环境7207的相应视图包括由第一通信会话的相应参与者选择的相应物理环境和/或虚拟元素的表示；但是参与者相对于彼此的空间定位是基于第一三维环境7207的相同参考系并且在参与者之间共享。在一些实施方案中，第一三维环境7207中的参与者的空间定位由经由参与者的相应显示生成部件示出的通信会话的相应用户界面中的参与者的表示的定位和视角来反映。
在一些实施方案中，如图7V的右侧部分所示，空间模式下的第一通信会话的第一用户界面包括第一三维环境7207的视图7106，其中第二用户的第一表示7203’的外观(例如，布置、取向、尺寸等)指示第一三维环境7207中第二用户相对于第三用户的空间定位(例如，第二用户在第三用户的左侧，并且面向与第三用户相同的方向等)。此外，第二用户的表示7203’的外观(例如，布置、取向、尺寸等)可视地指示其与第一三维环境7207的当前显示视图7106(例如，第一用户的物理环境100的增强现实视图)的视点的空间关系，该空间关系基于第一三维环境7207中第二用户相对于第一用户的空间定位(例如，第二用户在第一用户的前方，转向第一用户的左侧，并且在墙壁7004与第一用户之间；并且比第三用户更靠近第一用户等)。在一些实施方案中，在向第二用户显示的第一三维环境7207的相应视图中示出了第一用户与第二用户之间的相同空间关系(例如，如通过第一显示生成部件的表示7100-t’和/或第一用户的表示7200’相对于由第二计算机系统经由第二显示生成部件向第二用户示出的第一三维环境7207的相应视图的视点的定位可视地反映的)。
在一些实施方案中，当第一计算机系统101-t以空间模式显示第一通信会话的第一用户界面时，第一计算机系统允许第一用户通过提供预设用户输入来改变第一用户在第一三维环境7207中的虚拟位置和面向方向。例如，如图7V之后的图7W所示，当以空间模式显示第一通信会话的第一用户界面时(图7V所示)，第一计算系统101-t检测第一用户7200的第一移动(例如，检测由握住第一显示生成部件7100-t的第一用户的手部的移动引起的第一用户7200的物理环境100中的第一显示生成部件7100-t的移动，或如由第一用户7200使用控制器设备控制的第一显示生成部件7100-t的移动等)。在一些实施方案中，第一显示生成部件7100-t的移动包括第一显示生成部件7100-t在第一用户7200的物理环境100中的平移。例如，如图7V之后的图7W所示，第一显示生成部件7100-t被移动得更靠近墙壁7004，并且相对于第一用户7200和地板7008更高。因此，第一用户7200的虚拟位置(如图7W的左上部分中的第一三维环境7207中的表示7100-t’和表示7200’所表示)在第一三维环境7207中移动得更靠近墙壁7004的表示7004-t’，并且更远离地板7008的表示7008-t’。在一些实施方案中，在经由第一显示生成部件7100-t示出的第一三维环境7207的视图7106中可视地指示第一用户7200在第一三维环境7207中的虚拟位置的改变，如图7W的右侧部分所示。例如，墙壁7004的表示7004-t’看起来更靠近图7W的右侧部分中第一显示生成部件7100-t所提供的第一三维环境7207的视图7106的视点。根据一些实施方案，第一三维环境7207的视图7016的视点也看起来相对于图7W中的第一显示生成部件7100-t示出的视图7016中的地板7008的表示7008-t’更高。在一些实施方案中，第一显示生成部件7100-t相对于物理环境100的移动包括第一显示生成部件7100-t围绕垂直于地板7008的垂直轴线的旋转，并且第一用户7200的虚拟面向方向和视图7106的视角将根据第一显示生成部件7100-t围绕垂直轴线的旋转而改变。在一些实施方案中，更新由第一计算机系统101-t显示的空间模式下的第一通信会话的第一用户界面包括改变第二用户的表示7203’的视图和第三用户的表示7205’的视图以指示相对于第一用户在第一三维环境7207中的虚拟位置而言第二用户的改变的空间定位和第三用户的改变的空间定位。如图7W所示，由于第一用户的改变的虚拟位置(例如，由于第一显示生成部件7100-t在物理环境100中的移动)，第二用户的表示7203’和第三用户的表示7205’看起来都更靠近第一三维环境7207的更新视图7106中的视点。如图7W所示，由于第一用户在第一三维环境7207中的改变的虚拟位置，第二用户的表示7203’和第三用户的表示7205’也看起来相对于第一三维环境7207的更新视图7106中的视点更低。
在一些实施方案中，第一用户7200在第一三维环境7207中的虚拟位置任选地响应于经由与第一计算机系统101-t通信的一个或多个输入设备检测到的来自第一用户7200的用户输入而改变。在一些实施方案中，用户输入包括由相机检测到的手指手势、由触敏表面或触摸屏显示器检测到的触摸手势、由操纵杆或按钮检测到的移动输入、触摸屏显示器上显示的图形用户界面元素的激活等。在一些实施方案中，用户输入包括由第一用户7200提供的预定义的手势输入，该预定义的手势输入包括第一用户7200的手部的移动(例如，用作第一显示生成部件7100-t的触摸屏显示器上的轻扫手势、用于移动当前显示的AR视图的视点的控件示能表示上的轻击手势、用于移动当前显示的AR视图的视点的轻扫输入或操纵杆输入等)。在一些实施方案中，手势输入和第一显示生成部件7100-t的移动可由第一计算机系统101-t同时检测到，并且任选地，一者或两者用于确定第一用户7200在第一三维环境7207中的虚拟位置的移动。
在一些实施方案中，当以空间模式显示第一通信会话的第一用户界面时(例如，如图7V和图7W所示)，依照根据从第一用户7200接收到的输入(例如，通过第一显示生成部件7100-t的移动、或经由与第一计算机系统101-t通信的输入设备检测到的手势输入等)实现的第一用户7200在第一三维环境7207中的虚拟位置和面向方向的变化，第二用户使用的第二计算机系统还更新向第二用户显示的第一三维环境7207的相应视图以反映第一用户在第一三维环境7207中的改变的虚拟位置。例如，根据一些实施方案，在经由第二用户使用的第二显示生成部件显示的第一三维环境的当前显示视图中更新第一用户的表示与经由第二用户使用的第二显示生成部件向第二用户示出的第一三维环境的当前显示视图的视点之间的空间关系。此外，根据一些实施方案，还在经由第二用户使用的第二显示生成部件显示的第一三维环境的当前显示视图中更新第一用户的表示与向第二用户示出的第一三维环境的当前显示视图中第二用户的物理环境的表示之间的空间关系。此外，根据一些实施方案，还在经由第二用户使用的第二显示生成部件显示的第一三维环境的当前显示视图中更新第一用户的表示与第三用户的表示之间的空间关系。
在图7V至图7W所示的示例性场景中，第二用户和第三用户还移动他们在第一三维环境7207中的虚拟位置。例如，第二用户任选地在他/她自己的物理环境中移动(例如，平移或转动等)(例如，在与远离第一用户的虚拟位置的方向相对应的方向上移动，以及在与朝向第三用户的虚拟位置的方向相对应的方向上移动等)，这引起第二用户在第一三维环境7207中的虚拟位置和面对方向的对应移动。类似地，第三用户任选地在他/她自己的物理环境中移动(例如，在与朝向第一用户的虚拟位置的方向相对应的方向上移动，并且转向与朝向第二用户的虚拟位置的方向相对应的方向等)，这引起第三用户在第一三维环境7207中的虚拟位置和面向方向的对应移动。在一些实施方案中，第二用户任选地使用与在第一三维环境中移动的请求相对应的输入来移动他/她在第一三维环境中的虚拟位置，而不作为整体在他/她自己的物理环境中物理移动。类似地，第三用户任选地使用与在第一三维环境中移动的请求相对应的输入来移动他/她在第一三维环境中的虚拟位置，而不作为整体在他/她自己的物理环境中物理移动。如图7V至图7W的左上部分所示，第一用户、第二用户和第三用户的虚拟位置和/或面向方向都根据来自相应用户的各种移动和输入而在第一三维环境7207中改变，并且第一三维环境7207中第一用户、第二用户和第三用户之间的新空间关系反映在向第一用户(例如，在第一通信会话的第一用户界面的空间模式下)、向第二用户(例如，在第一通信会话的沉浸式共现视图中)示出的第一三维环境7207的视图7106中。任选地，第一用户、第二用户和第三用户之间的新空间关系反映在由第三用户使用的第三显示生成部件向第三用户示出的第一三维环境7207的相应视图中(例如，在空间视图或共现视图中，这取决于第三用户如何参与通信会话)。
在图7V或图7W之后的图7X中，当以空间模式显示第一通信会话的第一用户界面(其中参与者的空间关系由第一三维环境7107的视图7106中的第二用户和第三用户的相应表示可视地指示(例如，图7V或图7W所示))时，第一计算机系统101-t检测第一用户输入，该第一用户输入对应于以非空间模式显示第一用户界面的非空间模式的请求(例如，对应于显示第二用户的相应表示7203’(以及任选地，第一通信会话的其他参与者的相应表示)的请求)，该非空间模式不指示第二用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的表示的空间定位(以及任选地，其他参与者的空间定位)。例如，该请求用于在展示模式下显示通信会话的用户界面，其中在第一用户界面中以预设布局显示除第一用户之外的参与者的表示，而与参与者在第一三维环境7207中的虚拟位置和面向方向无关(例如，同时向处于沉浸式共现模式或空间模式的其他参与者示出的第一三维环境的视图仍然基于参与者在第一三维环境中的虚拟位置)。在图7X所示的示例中，第一用户输入包括第一显示生成部件7100-t从与第一用户界面的空间模式相对应的第一预设取向到与第一用户界面的非空间模式相对应的预设第二取向的旋转(例如，从第一显示生成部件7100-t的横向取向到纵向取向的旋转，且公差在相对于物理环境或第一用户的头部/面部的角度和姿态的预设范围内)。在一些实施方案中，第一用户界面提供在被激活时在空间模式和非空间模式之间改变(例如，切换或选择)第一用户界面的显示模式的示能表示(例如，按钮、开关等)。在一些实施方案中，第一用户输入包括用于在空间模式和非空间模式之间切换第一用户界面的显示模式的预设手势(例如，手指弹响、手指在空中或另一只手上画圆等)。如图7X所示，响应于检测到第一用户输入，第一计算机系统101-t以非空间模式显示第一通信会话的第一用户界面，其中以不指示第一三维环境7207中第二用户相对于通信会话的其他参与者的空间定位和面向方向的方式显示第二用户的相应表示7203’。例如，以非空间模式7110在第一用户界面中的预设位置处显示第二用户的表示7203’。在一些实施方案中，第二用户的表示7203’具有对应于预设相机距离和角度的外观，而不论第一用户7200与第一用户的物理环境中的第一显示生成部件7100-t之间的空间关系如何改变、不论第一显示生成部件7100-t如何在第一用户的物理环境中移动以及不论第二用户可如何在他/她自己的物理环境中移动。类似地，以非空间模式7110在第一用户界面中与第二用户的表示7203’不同的预设位置处显示第三用户的表示7205’。在一些实施方案中，第三用户的表示7205’具有对应于预设相机距离和角度的外观，而不论第一用户7200与第一用户7200的物理环境中的第一显示生成部件7100-t之间的空间关系如何改变、不论第一显示生成部件7100-t如何在第一用户的物理环境中移动以及不论第三用户可如何在他/她自己的物理环境中移动。以非空间模式显示的第一用户界面中的第二用户的表示7203’与第三用户的表示7205’之间的空间关系在第一用户界面中具有不反映第二用户和第三用户的虚拟位置的空间关系或它们在第一三维环境7207中的空间关系的变化的静态位置。在一些实施方案中，如图7X所示，根据静态或在预设方向上可滚动的预设布局来在网格中或平面上显示通信会话的参与者的相应表示。在一些实施方案中，这些表示的位置任选地由第一用户选择，或根据预设标准(例如，按用户名的字母顺序、基于参与者何时加入通信会话的定时来排序等)来选择。
在一些实施方案中，当以非空间模式显示第一通信会话的第一用户界面时(例如，如图7X所示)，由第二用户用来参与第一通信会话的第二计算机系统继续在第一三维环境7207的相应视图中显示第一用户的表示，该视图可视地指示第一三维环境7207中第一用户的虚拟位置与第二用户的虚拟位置之间的空间关系。例如，在一些实施方案中，当第二用户在他/她的相应物理环境中移动(例如，平移或转向等)时，根据第二用户的移动来在第一三维环境7207中更新第二用户的虚拟位置和/或面向方向，并且还更新第一用户的虚拟位置与第二用户的虚拟位置之间的空间关系。因此，根据第一三维环境中第一用户和第二用户的虚拟位置之间的改变的空间关系，在第一三维环境的当前显示视图中更新第一用户的表示与经由第二显示生成部件示出的第一三维环境的当前显示视图的视点之间的空间关系。类似地，第三用户任选地在他/她的物理环境中移动，这引起第三用户在第一三维环境中的虚拟位置的移动；并且因此，根据第三用户的更新的虚拟位置以及第一三维环境中第二用户与第三用户之间的更新的空间关系，相对于视点移动如经由第二用户的第二显示生成部件显示的第一三维环境的当前显示视图所示的第三用户的表示。
在一些实施方案中，当第一计算机系统以非空间模式显示第一通信会话的第一用户界面时，第一用户7200或第一显示生成部件7100-t的移动不会引起第一用户在第一三维环境7207中的虚拟位置的对应移动。在一些实施方案中，当第一计算机系统101-t以非空间模式显示第一通信会话的第一用户界面时，第一计算机系统101-t不允许第一用户7200经由用户输入来改变第一用户在第一三维环境7207中的虚拟位置。然而，在一些实施方案中，当第一计算机系统101-t以非空间模式显示第一通信会话的第一用户界面时，可响应于从第二用户接收到的用户输入而改变第一用户在第一三维环境7207中的虚拟位置(例如，至少在由第二显示生成部件向第二用户示出的第一三维环境的视图中)。例如，在一些实施方案中，响应于检测到来自第二用户的用户输入(包括将第一三维环境7207的相应视图中的第一用户的表示从第一位置拖动到第二位置)，第二计算机系统将第一用户的虚拟位置从第一三维环境7207中的第一位置改变到第二位置，其中当相应计算机系统显示第一通信会话的沉浸式共现视图以及任选第一通信会话的第一用户界面的空间模式时，第一用户的新虚拟位置由以沉浸模式以及任选空间模式参与第一通信会话的参与者的相应计算机系统(包括第一计算机系统以及任选由第三用户使用的第三计算机系统等)用来确定相对于视点在何处显示第一用户的表示。在一些实施方案中，当在第一计算机系统正在显示第一用户界面的非空间模式的同时响应于从第二用户接收到的用户输入而改变第一用户的虚拟位置时，第一计算机系统继续以非空间模式显示第一用户界面并且保持第一用户界面中的参与者的表示的相对位置，而不考虑第一用户在第一三维环境中的改变的虚拟定位。
在一些实施方案中，当第一计算机系统正在以空间模式显示第一通信会话的第一用户界面时，第二计算机系统不响应于从第二用户接收到的用户输入而改变第一用户的虚拟位置，并且任选地防止第二用户改变经由第二显示生成部件向第二用户示出的第一三维环境的当前显示视图中的第一用户的表示的位置。例如，在一些实施方案中，第一用户的表示以不同的外观显示以向第二用户可视地指示第一计算机系统当前是以空间模式还是非空间模式显示第一用户界面。在一些实施方案中，当第二用户尝试在经由第二显示生成部件示出的第一三维环境的当前显示视图中抓取或移动第一用户的表示时，第二计算机系统使第一用户的表示变灰或暂时将第一用户的表示远离第二用户的手部的表示的位置移动，以向第二用户指示第一用户的虚拟位置此时不在第二用户的控制下，而是在第一用户自己的控制下。
在一些实施方案中，如图7X所示，当第一计算机系统以非空间模式显示第一通信会话的第一用户界面时，第二用户和第三用户的表示(例如，表示7203’和表示7205’)具有相同的面向方向和取向(例如，直立、面向第一显示生成部件7100-t的前侧等)，而不论第二用户和第三用户在他们的相应物理环境中实际上面向什么方向。在一些实施方案中，如图7V和图7W所示，当第一计算机系统以空间模式显示第一通信会话的第一用户界面时，第二用户和第三用户的表示(例如，表示7203’和表示7205’)基于第二用户和第三用户在他们的相应物理环境中实际上面向什么方向而具有相应的面向方向和取向(例如，向前或向后弯曲、相对于视点和第一显示生成部件7100-t的前侧面向不同角度等)。
在一些实施方案中，如图7X所示，以非空间模式显示的第一通信会话的第一用户界面(例如，用户界面7110)不包括第一用户7200的物理环境100的表示。在一些实施方案中，以非空间模式显示的第一通信会话的第一用户界面包括虚拟环境(例如，虚拟二维环境、虚拟三维环境等)中的第二用户和第三用户的表示(例如，表示7203’和表示7205’)。在一些实施方案中，以非空间模式显示的第一通信会话的第一用户界面包括虚拟三维环境，并且在虚拟会议室中独立于第一三维环境7207中的参与者的虚拟位置(并且独立于改变第一三维环境7207中的参与者的虚拟位置的参与者的移动和/或输入)而选择的预设位置处示出参与者的表示。
在一些实施方案中，如图7V和图7W所示，以空间模式显示的第一通信会话的第一用户界面包括第一用户7200的物理环境100的表示(例如，墙壁7004和7006及地板7008的表示7004-t’、7006-t’和7008-t’等)。物理环境中的物理对象和物理表面具有第一三维环境7207中的对应虚拟位置和虚拟表示，并且在经由第一显示生成部件7100-t示出的第一三维环境7207的视图7106中显示物理对象和物理表面的表示以可视地指示它们在第一三维环境7207中与第一用户的表示的空间关系。因此，在经由第一显示生成部件7100-t示出的第一三维环境的视图7106中显示物理对象和物理表面的表示以可视地指示它们在第一三维环境7207中与第二用户的表示7203’和第三用户的表示7205’的空间关系。在一些实施方案中，不在经由第二显示生成部件向第二用户显示的第一三维环境7207的相应视图中显示在经由第一显示生成部件7100-t向第一用户7200显示的第一三维环境7207的视图7106中示出的物理环境的表示。相反，根据第二用户与第二用户的物理环境之间的空间关系，在经由第二显示生成部件向第二用户显示的第一三维环境7207的相应视图中显示第二用户的物理环境的表示。
在一些实施方案中，第二用户以沉浸式共现模式参与第一通信会话，在该沉浸式共现模式下，第二用户观看第一三维环境7207且参与者的表示在与其在第一三维环境7207中的虚拟位置和面向方向相对应的相应位置和面向方向处显示，使得第一三维环境7207中的参与者之间的空间关系被可视地反映在参与者的表示之间的空间关系(例如，相对于彼此并且相对于第一三维环境的当前显示视图的视点)中。在一些实施方案中，在经由第二显示生成部件向第二用户示出的第一三维环境的相应视图中，第一用户的表示包括从第一计算机系统接收到的第一用户的实时视频馈送。在一些实施方案中，第一用户的实时视频馈送被包括在容器对象中，该容器对象可响应于由第二计算机系统从第二用户接收到的用户输入而被重新定位在第一三维环境7207的相应视图中。在一些实施方案中，当第二计算机系统将包括第一用户的实时视频馈送的容器对象重新定位在经由第二显示生成部件示出的第一三维环境的相应视图中时，第二计算机系统还根据从第二用户接收到的用户输入来更新第一用户在第一三维环境中的虚拟位置。在一些实施方案中，当第二用户和第三用户都以沉浸式共现模式参与第一通信会话时，第一用户在第一三维环境中的虚拟位置任选地可由第二用户和第三用户移动。在一些实施方案中，第二用户和第三用户任选地在其相应显示生成部件上显示的第一三维环境的相应视图中移动第一用户的表示，而不影响向第一通信会话的其他参与者示出的视图。在一些实施方案中，任选地允许第二用户和第三用户在其相应显示生成部件上显示的第一三维环境的相应视图中移动第一用户的表示，并且第二用户和第三用户两者都可引起向正在以沉浸模式或空间模式观看三维环境的其他参与者示出的视图的变化。
在一些实施方案中，如图7X所示，第一通信会话的第一用户界面以非空间模式显示，并且包括第一用户的自我视图(例如，表示7200”)。在一些实施方案中，经由第一显示生成部件7100-t以非空间模式示出的第一用户的自我视图包括与经由第二显示生成部件向第二用户显示的第一三维环境的沉浸式共现视图中示出的第一用户的表示相同的第一用户7200的表示。在一些实施方案中，以非空间模式在第一用户界面的角落中示出第一用户的自我视图。在一些实施方案中，以非空间模式7110在第一用户界面中并排示出第一用户的自我视图与第一通信会话的其他参与者的表示(例如，表示7203’和表示7205’等)。在一些实施方案中，第一用户的自我视图包括第一用户7200的动画或静止头像，而不是第一用户的实时视频馈送。
在一些实施方案中，如图7V和图7W所示，第一通信会话的第一用户界面以空间模式显示，并且包括第一用户的自我视图(例如，表示7200”)。在一些实施方案中，经由第一显示生成部件7100-t以空间模式示出的第一用户7200的自我视图包括与经由第二显示生成部件向第二用户显示的第一三维环境7207的沉浸式共现视图中示出的第一用户的表示相同的第一用户的表示。在一些实施方案中，以空间模式7106在第一用户界面的角落中示出第一用户的自我视图。在一些实施方案中，在画中画视图中示出第一用户的自我视图，其中第一三维环境7207的视图7106示出物理环境100的实时视频馈送或透传视图且其他参与者(例如，第二用户、第三用户等)的表示覆盖第一用户的物理环境100的表示的至少一部分、替换该至少一部分的显示或遮挡该至少一部分，并且其中第一用户的自我视图示出由面向与用于物理环境100的实时视频馈送的相机相反的方向的不同相机捕获的第一用户的实时视频馈送。
在一些实施方案中，如图7X所示，当第一显示生成部件7100-t在第一通信会话的第一用户界面的非空间模式下显示第二用户的表示7203’和第三用户的表示7205’时，第二用户的表示7203’和第三用户的表示7205’看起来是用具有预设相机距离和相机角度(例如，径直面向正被捕获的用户，与正被捕获的用户相距固定距离)的虚拟相机捕获的，使得它们的表示看起来面向第一用户并且在经由第一显示生成部件7100-t以非空间模式(例如，如图7X所示)示出的第一用户界面上具有大致相同的尺寸。第二用户和第三用户的表示在非空间模式7110下在第一用户界面中不旋转(例如，以反映变化的相机角度)或改变其尺寸(例如，以反映变化的相机距离)，即使第二用户和/或第三用户可移动或转向以在其相应物理环境中面向不同方向。相反，当以空间模式显示第一通信会话的第一用户界面时(例如，如图7V和图7W所示)，第二用户和第三用户的表示7203’和7205’看起来是由虚拟相机捕获的，该虚拟相机具有与第一用户在第一三维环境7207中的虚拟位置和面向方向相对应的相机位置和相机角度。因此，当第一用户、第二用户和第三用户在它们的相应物理环境中移动时，第二用户和第三用户的表示看起来是由虚拟相机从不同的相机距离和/或相机角度捕获的，并且看起来具有变化的尺寸(例如，以反映变化的相机距离)和/或围绕穿过地板的垂直轴线旋转(例如，以反映变化的相机角度)。
在一些实施方案中，允许第一通信会话的参与者使用其相应计算机系统在第一三维环境7207的共享区域中共享媒体内容，使得第一通信会话的所选参与者的全部或子集能够同时查看媒体内容(例如，使媒体内容可供查看，或同时回放媒体内容，跨不同参与者的显示生成部件同步媒体内容的回放等)。在一些实施方案中，第二用户的第二计算机系统经由第二显示生成部件显示第一三维环境的相应视图，但保持第一三维环境的第一区域中示出的对象和内容对第二用户私有，并且不允许对象和内容可供第一通信会话的其他参与者(例如，第一用户、第三用户等)查看。在一些实施方案中，响应于检测到与将第一内容或对象从第一三维环境的第一区域移动到第一三维环境的共享区域的请求相对应的来自第二用户的输入，第二计算机系统在第一三维环境的共享区域中显示第一内容或对象，并且使得第一通信会话的其他参与者的计算机系统(例如，第一计算机系统、第三计算机系统等)能够在其相应显示生成部件上(例如，在第一三维环境的其相应视图中)显示第一内容或对象。在一些实施方案中，当第一内容或对象位于第一三维环境的共享区域中(例如，由第二用户或由另一参与者等放置到共享区域中)时，第一通信会话的其他参与者(例如，第一用户、第三用户等)任选地向其自己的计算机系统提供输入以引起第一内容或对象在第一三维环境的共享区域内的重新定位。在一些实施方案中，用于将第一内容或对象重新定位在第一三维环境的共享区域中的用户输入仅在向提供用户输入的用户示出的第一三维环境的相应视图中影响第一内容或对象的位置和取向，而不在向不提供用户输入的其他用户示出的第一三维环境的相应视图中影响第一内容或对象的位置和取向。在一些实施方案中，用于将第一内容或对象重新定位在第一三维环境的共享区域中的用户输入在向提供用户输入的用户示出的第一三维环境的相应视图中以及在向不提供用户输入的其他用户示出的第一三维环境的相应视图中影响第一内容或对象的位置和取向。
在一些实施方案中，如图7V和图7W所示，当第一通信会话的第一用户界面以空间模式显示时，第二用户和第三用户的表示以由第一计算机系统或第一通信会话的服务器自动确定(例如，在没有来自第一用户或其他用户的输入的情况下，不响应于且不根据来自第一用户或其他用户的输入等)的位置和面向方向放置在第一三维环境7207的视图7106中。例如，第一用户、第二用户和第三用户在第一三维环境7207中的虚拟位置由通信会话的服务器自动选择，使得参与者看起来被并置在第一三维环境7207的相同区域中，并且在第一三维环境中围成圆形或在感兴趣对象(例如，共享内容对象、虚拟会议桌等)周围彼此面对。在一些实施方案中，在第一通信会话开始之前，第二计算机系统接收来自第二用户的用户输入，该用户输入将第一用户以及任选第三用户的头像或表示定位在经由第二显示生成部件示出的第一三维环境7207的相应视图中；并且根据来自第二用户的用户输入，第二计算机系统相对于第二用户在第一三维环境中的虚拟位置来建立和/或更新第一用户和第三用户的虚拟位置。在一些实施方案中，当第二用户和第三用户在其物理环境中四处移动以改变其相应表示在第一三维环境7207中的位置和面向方向时，第一显示生成部件7100-t根据第二用户和第三用户的表示在第一三维环境7207中的改变的位置和/或面向方向(例如，如由第二用户和第三用户在其物理环境中的移动引起)来在以空间模式显示的第一用户界面中示出第二用户和第三用户的表示。
在一些实施方案中，当第一显示生成部件7100-t在第一通信会话的第一用户界面中显示第二用户和第三用户的表示(例如，以空间模式、以非空间模式等)时，第一计算机系统检测来自第一用户的用户输入以放大相应用户(例如，第二用户)，或放大整个场景(例如，捏合或反向捏合手势连同指向第二用户、第三用户等的表示的注视输入；触摸屏显示器上的捏合手势或反向捏合手势等)。在一些实施方案中，响应于检测到来自第一用户的用户输入，第一计算机系统改变相应用户的表示的尺寸(例如，相对于第三用户的表示7205’、相对于物理环境100的表示和/或相对于视场的表示等改变第二用户的表示7203’的尺寸)。在一些实施方案中，响应于检测到来自第一用户的用户输入，第一计算机系统将视点移动得更靠近第二用户的表示7203’(以及任选地，如果输入指向整个场景而不是第二用户的表示7203’，则更靠近第三用户的表示7205’)，就好像第一用户7200实际上已经移动得更靠近第一三维环境7207中的第二用户的表示7203’。在一些实施方案中，响应于检测到来自第一用户的用户输入，第一计算机系统改变第一三维环境7207的整个视图7106的缩放水平，就好像第一用户已经移动得更靠近其他参与者，或者移动得更靠近他们的面部。
在图7V至图7X中，根据一些实施方案示出了改变第一显示生成部件7100-t的取向使得第一计算机系统101-t在第一通信会话的第一用户界面的空间模式和非空间模式之间切换。如图7W所示，第一计算机系统101-t经由第一显示生成部件7100-t显示第一用户与第二用户(以及任选一个或多个附加用户)之间的第一通信会话的第一用户界面。在该示例中，第一用户界面包括第一通信会话的其他参与者(例如，第二用户和第三用户)的表示7203’和7205’。当以空间模式显示通信会话的第一用户界面时(如图7V所示)，第一计算机系统7100-t检测第一显示生成部件7100-t在第一用户的物理环境中的第一移动(例如，在第一方向、第二方向等上的平移、围绕第一轴线、第二轴线等的旋转)(例如，如图7W中相对于图7V所示)。响应于检测到第一显示生成部件7100-t在第一用户7200的物理环境中的第一移动，根据确定第一显示生成部件7100-t在第一显示生成部件7100-t的第一移动期间处于第一取向(例如，与第一通信会话的参与者的空间或AR视图相关联的取向、横向取向等)，第一计算机系统101-t基于第一显示生成部件7100-t在第一用户7200的物理环境100中的第一移动以及进入显示第二用户的表示7203’的第一三维环境7207中的第一用户的模拟视点(例如，在图7V和图7W中的视图7106中)来更新第二用户的表示7203’的外观。例如，第一显示生成部件7100-t的第一移动已使得第一用户的模拟视点在第一三维环境7207中向前移动，并且更靠近第二用户在第一三维环境7207中的虚拟位置；并且因此，第一计算机系统101-t更新经由第一显示生成部件7100-t示出的第一三维环境7207的视图7106，以在更靠近进入第一三维环境7207中的模拟视点处示出第二用户的表示7203’(例如，表示7203’在图7W中示出的视图7106中看起来比图7V中示出的视图更大和更靠近)。相反，如图7X所示，根据确定第一显示生成部件7100-t在第一显示生成部件7100-t的第一移动期间处于第二取向(例如，与会议参与者的图库或非空间视图相关联的取向、纵向取向等)，当第一显示生成部件7100-t在第一用户7200的第一物理环境100中移动时，第一计算机系统101-t保持在第一通信会话的第一用户界面(例如，在图7X中示出为用户界面7110)中的相应位置处显示第二用户的表示7203’。例如，如果第一用户7200在图7W中没有改变第一显示生成部件7100-t的取向，则第一显示生成部件7100-t上示出的第一用户界面将与图7X中示出的相同，其中第二用户和第三用户的表示以与图7X中示出的布局和尺寸相同的布局和尺寸来显示，即使参与者的虚拟位置和面向方向已在第一三维环境中改变(例如，如图7W和图7X的左上部分中所示)。
在图7V至图7W中，当第一显示生成部件7100-t处于与以空间模式显示第一通信会话的第一用户界面相关联的取向时，第一显示生成部件7100-t在物理环境中的移动使得第一计算机系统101-t改变第一用户在第一三维环境7207中的虚拟位置；并且因此，第一三维环境7207的当前显示视图7106的视点被移动以对应于第一用户在第一三维环境7207中的新的虚拟位置，并且物理环境的表示以及第二用户和第三用户的表示也在视图7106中被更新以指示它们在第一三维环境7207中相对于第一用户的表示的改变的空间关系。如果第一显示生成部件7100-t的移动使得第一显示生成部件7100-t的取向从与空间模式相对应的取向改变为与第一通信会话的第一用户界面的非空间模式相对应的取向，则第一计算机系统101-t停止显示第一三维环境7207的视图7106，并且相反，切换到以独立于第一三维环境中的用户之间的空间关系的预设布局显示具有第二用户和第三用户的表示的虚拟环境(例如，如图7X所示)。第一显示生成部件7100-t在物理环境中的后续移动(如果没有将第一显示生成部件7100-t的取向改变回与空间模式相对应的取向的话)不会引起在以非空间模式显示的第一用户界面(例如，如图7X所示的用户界面7100)中的第二用户和第三用户的表示的布局的变化。
在一些实施方案中，第一计算机系统101-t和第一显示生成部件7100-t被集成在同一外壳中，并且包括分别指向远离第一显示生成部件7100-t的显示侧的两个相反方向的前向相机和后向相机。第一计算机系统101-t利用前向相机在第一通信会话期间捕获第一用户7200的实时视频，并发送第一用户7200的实时视频以便在向第一通信会话的其他参与者(例如，第二用户、第三用户等)示出的第一三维环境7207的相应视图中的第一用户的表示7200’中显示。在一些实施方案中，第一计算机系统利用后向相机捕获第一用户7200前方的物理环境100的实时视频，并且以第一用户界面的空间模式在第一三维环境7207的视图7106中将实时视频显示为物理环境的表示(例如，表示7004-t’、7006-t’、7008-t’等)(例如，如图7V和图7W所示)。在一些实施方案中，第一计算机系统101-t使用由前向相机和后向相机捕获的图像来确定第一显示生成部件7100-t在第一用户的物理环境100中的空间定位(例如，高度、面向方向、侧向位置和移动方向等)。在一些实施方案中，第一计算机系统使用第一显示生成部件7100-t的空间定位来确定虚拟相机的相机距离和相机角度以便生成用于以第一用户界面的空间模式显示的第二用户和第三用户的表示。
在一些实施方案中，第一计算机系统101-t检测第一显示生成部件7100-t在物理环境100中从一个位置到另一个位置的移动(例如，水平平移或上下平移等)，或在物理环境100中从面向第一方向旋转到面向第二方向(例如，从左向右平移或从右向左平移)，和/或在物理环境100中向前或向后倾斜(例如，向前倾斜以将前向相机指向较高位置并将后向相机指向较低位置，或向后倾斜以将前向相机指向较低位置并将后向相机指向较高位置等)。作为第一显示生成部件7100-t移动的结果，第一计算机系统101-t向第一通信会话的其他参与者所使用的服务器和/或计算机系统传输第一显示生成部件7100-t的定位数据(例如，侧向位置、高度、面向方向、姿态、移动方向等)，并且其他计算机系统在第一三维环境的相应视图中显示第一用户的表示(例如，包括第一用户的实时视频的容器对象、或第一用户的头像等)，其中位置、面向方向和/或姿态根据在第一显示生成部件以空间模式显示第一用户界面时作出的第一显示生成部件7100-t在物理环境100中的位置、面向方向和/或姿态的变化来更新。
在一些实施方案中，在由第一显示生成部件7100-t示出的第一通信会话的第一用户界面的非空间模式下，第二用户和第三用户的表示被显示为平面二维图像，并且当第一显示生成部件7100-t切换到显示第一通信会话的第一用户界面的空间模式时，二维图像被转换成第二用户和第三用户的三维图像或伪三维图像。在一些实施方案中，响应于检测到第一显示生成部件7100-t切换回显示第一用户界面的非空间模式，第二用户和第三用户的表示改变回第二用户和第三用户的二维图像。在一些实施方案中，当第一显示生成部件7100-t在第一通信会话的第一用户界面中显示第一用户7200的自我视图时，在第一显示生成部件7100-t在第一用户界面的空间模式与非空间模式之间切换的时候，自我视图保持为二维图像(例如，实时视频或第一用户的二维头像等)，并且其他参与者的表示在三维头像与二维头像之间切换。
在一些实施方案中，在第一通信会话开始之前或者在第一用户7200加入第一通信会话之前(例如，当来自第二用户的通信请求有待第一用户接受时)，第二计算机系统显示第一用户是否将要在第一三维环境中以沉浸式共现模式参与第一通信会话或者仅通过视频或语音(例如，使用非沉浸模式，诸如本文所述的空间模式或非空间模式)加入的指示。例如，在经由第二用户使用的第二显示生成部件显示的第一通信会话的相应用户界面中，第一用户的表示包括容器对象，该容器对象具有模仿第一用户7200用来加入第一通信会话的第一计算机系统7100-t的设备类型(例如，平板设备、移动电话、手持式设备等)的外观。在一些实施方案中，如果第三用户正在使用第三计算机系统以沉浸式共现模式加入第一通信会话，则经由第二用户使用的第二显示生成部件显示的第一通信会话的相应用户界面将第三用户的表示示出为第三用户的三维头像(例如，人的三维模型、动画角色等)，而不是看起来像具有平面显示器的平板设备或移动设备的容器对象。
在一些实施方案中，当第一显示生成部件7100-t在第一预设取向和第二预设取向之间的旋转被用来使第一计算机系统101-t在使用第一显示生成部件7100-t显示第一通信会话的第一用户界面的空间模式和非空间模式之间切换时，第二计算机系统改变用于在经由第二显示生成部件示出的第一三维环境的相应视图中表示第一用户的容器对象的纵横比。例如，根据确定第一显示生成部件7100-t正在以第一用户界面的空间模式显示第二用户和第三用户的表示，容器对象的纵横比任选地指示第一显示生成部件7100-t处于横向取向；并且根据确定第一显示生成部件7100-t正在以第一用户界面的非空间模式显示第二用户和第三用户的表示，纵横比任选地改变以指示第一显示生成部件7100-t处于纵向取向。在一些实施方案中，第二计算机系统根据由第一显示生成部件示出的第一用户界面的显示模式来改变用于第一用户的表示的容器对象的纵横比，而不论第一显示生成部件7100-t在物理环境100中的实际取向如何，因为实际取向可在角度范围内变化而不触发第一用户界面的显示模式的切换，和/或显示模式任选地经由模式切换示能表示的激活来选择而无需第一显示生成部件在物理环境100中的取向的对应变化。
图7Y至图7Z是示出根据一些实施方案的响应于检测到用户的注意力指向另一用户(例如，如由用户朝向所述另一用户的物理移动或用户朝向计算机生成体验中的所述另一用户的表示的虚拟移动等所指示)而改变计算机生成体验的音频输出特性(以及任选视觉输出特性)的框图。
在图7Y至图7Z所示的示例中，第一计算机系统101(例如，如相对于图7A至图7U描述的第一计算机系统101以及如相对于图7V至图7X描述的第一计算机系统、如相对于图7V至图7X描述的第二计算机系统、或另一计算机系统等)的用户是第一用户7200。第二用户7201处于与第一用户相同的物理环境中，但不是由第一计算机系统呈现的计算机生成体验的参与者，并且不是第一计算机系统的用户。第一计算机系统101与第一显示生成部件7100(例如，如相对于图7A至图7U描述的第一显示生成部件7100以及如相对于图7V至图7X描述的第一显示生成部件7100-t、如相对于图7V至图7X描述的第二显示生成部件、或另一显示生成部件等)通信。在一些实施方案中，第一显示生成部件7100是触摸屏、平视显示器、显示器、投影仪、头戴式显示器(HMD)等。在一些实施方案中，第一计算机系统101还与第一音频输出部件7101(例如，耳机、扬声器、听筒、布置在分布于物理环境中的扬声器中的声源、嵌入在HMD中的一个或多个音频输出部件中的声源等)通信。在一些实施方案中，第一计算机系统101是集成设备，该集成设备具有包围在与第一显示生成部件7100和第一音频输出部件7101相同的外壳中的一个或多个处理器和存储器。在一些实施方案中，第一计算机系统101与第一显示生成部件7100和第一音频输出部件7101分开容纳，而第一显示生成部件7100和第一音频输出部件7101都是在第一用户参与计算机生成体验时随第一用户的头部移动的头戴式设备。在一些实施方案中，第一显示生成部件7100和第一音频输出部件7101被分开容纳，并且任选地位于不同位置并在第一用户7200参与计算机生成体验时相对于第一用户7200独立地移动。在一些实施方案中，当第一用户7200参与计算机生成体验时，第一显示生成部件7100和第一音频输出部件7101中的仅一者是头戴式的。例如，第一显示生成部件7100任选地是平视显示器，而第一音频输出部件7101是佩戴在第一用户的耳朵上的一对听筒。又如，第一显示生成部件7100任选地是佩戴在第一用户的眼睛上的头戴式显示设备，而第一音频输出部件7101是在物理环境中远离第一用户7200定位的扬声器系统。在一些实施方案中，第一显示生成部件7100任选地是具有触摸屏显示器或独立显示器的平板设备，而第一音频输出部件7101是远离第一用户定位的扬声器或佩戴在第一用户的耳朵上的一对听筒。
如图7Y所示，第一计算机系统101正在呈现第一计算机生成内容，包括计算机生成视觉内容7108和计算机生成音频内容7350(例如，包括与虚拟三维环境、增强现实环境、物理环境的透传视图、物理环境的相机视图等相关联的视频内容和音频内容；包括来自电影、视频、游戏等的音频和视觉内容；和/或包括来自操作系统或应用程序等的用户界面的音频和视觉内容)。在一些实施方案中，第一计算机生成内容的视觉内容7108具有三维中的空间特性。在一些实施方案中，第一计算机生成内容的音频内容7350具有三维中的空间特性(例如，空间音频、环绕声等)。在一些实施方案中，第一计算机生成内容的视觉内容7108具有仅二维中的空间特性。在一些实施方案中，第一计算机生成内容的音频内容7350是立体声音频或单声道音频。如图7Y所示，当第一计算机系统使用第一显示生成部件7100输出视觉内容7108时，第一计算机系统101还使用第一音频输出部件7101输出音频内容7350。在一些实施方案中，根据由第一计算机系统101提供的计算机生成体验的进展和从第一用户7200接收到的用户输入，视觉内容和音频内容在主题和定时方面彼此对应。
图7Y之后的图7Z示出了在呈现第一计算机生成内容时，第一计算机系统101检测到第一用户7200在第一用户的物理环境中的第一移动。响应于检测到第一用户在第一用户的物理环境中的第一移动：第一计算机系统101，根据确定第一用户7200的第一移动改变物理环境中第一用户7200与第二用户7201之间的空间关系并且第一用户7200与第二用户7201之间的空间关系的变化指示第一用户7200的注意力指向第二用户7201(例如，第一用户向第二用户倾斜、第一用户转身面向第二用户、第一用户在向第二用户倾斜的同时开始与第二用户交谈、第一用户轻拍第二用户的肩膀等)，第一计算机系统101在呈现第一计算机生成内容的同时改变第一计算机生成内容的一个或多个输出特性。例如，第一计算机系统101任选地减小经由第一显示生成部件7100显示的虚拟内容7108的视觉显著性，并且使得第一用户的物理环境透过第一显示生成部件更可见，或者相对于由第一显示生成部件示出的虚拟内容更显著，例如以让第一用户7200比以前更清楚地看到第二用户7201或物理环境。在一些实施方案中，第一计算机系统101任选地减小计算机生成音频内容的音频音量，和/或使用第一音频输出部件7101增加来自物理环境的音频透传(例如，输出音频内容7350的修改版本7350’)，使得第一用户7200可在经由第一显示生成部件7100-t和第一音频输出部件7101中的至少一者呈现第一计算机生成内容(例如，在原始版本中或修改版本中(例如，视觉内容7108的原始或修改版本，或者音频内容7350的原始或修改版本))的同时更清楚地听到来自物理环境的声音(例如，来自第二用户的语音、来自由第二用户握持的设备的声音等)。在一些实施方案中，如果第一用户7200的移动不以指示第一用户的注意力正指向第二用户的方式改变第一用户与第二用户之间的空间关系，则第一计算机系统101继续呈现第一计算机生成内容而不改变第一计算机生成内容的一个或多个输出特性(例如，视觉内容7108和音频内容7350都以其原始的、未经调整的版本呈现)。
在一些实施方案中，第一计算机生成内容包括视觉内容，该视觉内容包括虚拟内容，诸如用户界面对象、虚拟三维环境、虚拟对象、内容和/或与物理环境的表示同时显示的视觉效果、或物理环境的增强现实视图等。在一些实施方案中，第一计算机系统101根据在没有用户输入的情况下计算机生成内容的预设进度(例如，根据电影、视频等的回放进度)、根据预设进度及用户输入(例如，根据对用户输入作出响应的游戏、混合现实体验、通信会话中的共现体验等的编程进度)和/或根据对来自第一用户的用户输入的预设响应(例如，根据由第一计算机系统提供的用户界面的编程响应)等继续更新视觉内容7108。在一些实施方案中，当第一计算机系统101检测到第一用户7200已以指示第一用户7200希望将他/她的注意力指向第二用户7201或与该第二用户交流的方式在物理环境中移动时，第一计算机系统101减小第一计算机生成视觉内容7108的至少第一部分的视觉显著性(例如，增加透明度、停止显示、降低颜色饱和度、在虚拟内容中提供视觉透传区域等)以在经由第一显示生成部件7100提供的视场的第一区域中展现第二用户7201的相应表示，该第一区域先前由第一计算机生成视觉内容7108的至少第一部分所占据。例如，在一些实施方案中，当第一用户7200在物理环境中朝向第二用户7201倾斜或转向第二用户7202等时，第一计算机系统101使得在虚拟环境或增强现实环境的第一区域中呈现的虚拟内容更透明，或停止显示虚拟内容的该部分，以示出先前被虚拟内容遮挡的第二用户7201的至少一部分的表示，而不需要第一用户7200从他/她的头部或面部移除第一显示生成部件7100。
在一些实施方案中，当第一计算机系统101检测到第一用户7200已以指示第一用户7200希望将他/她的注意力指向第二用户7201的方式在物理环境中移动时，第一计算机系统101相对于来自第一用户的物理环境的声音来减小第一计算机生成音频内容7350的音频显著性(例如，通过减少噪声滤波或消除、降低第一计算机生成音频内容7350的音频音量、停止输出第一计算机生成音频内容7350、提高来自物理环境的声音等)(例如，输出第一计算机生成音频内容7350的修改版本7350’，其任选地包括改变的音量、频率、降噪、虚拟和真实音频混响、和/或音频透传特性等)。
在一些实施方案中，当第一计算机系统101检测到第一用户7200已以指示第一用户7200希望将他/她的注意力指向第二用户7201的方式在物理环境中移动时，第一计算机系统101任选地继续音频内容7350的正常输出，同时减小由第一显示生成部件7100提供的虚拟视觉内容7108的视觉显著性。例如，当第一用户7200向第二用户7201倾斜，同时仍然面向第一显示生成部件7100的显示侧并且不面向第二用户7201时，第一计算机系统101任选地继续正常地显示计算机生成体验的视觉内容7108，同时降低计算机生成体验的音频内容的音量和/或增加来自物理环境的音频透传(例如，减少噪声消除、增强在物理环境中捕获的声音或语音等)。在一些实施方案中，当第一计算机系统101检测到第一用户7200已以指示第一用户7200希望将他/她的注意力指向第二用户7201的方式在物理环境中移动时，第一计算机系统101任选地继续视觉内容7108的正常输出，同时减小由第一音频输出部件7101提供的计算机生成音频内容的音频显著性。例如，当第一用户7200在第一显示生成部件7100在他/她的眼睛上方的情况下转向第二用户7201时并且当第一用户7200和第二用户7201都不说话时，第一计算机系统101任选地继续正常地输出计算机生成体验的音频内容，同时增加来自物理环境的视觉透传内容的量(例如，增加显示器的透明度、降低虚拟内容的不透明度、在虚拟内容中创建窗口或视口以示出物理环境等)以让第一用户7200更清楚地看到第二用户7201。
在一些实施方案中，第一计算机系统101根据确定第一用户的移动伴随着来自第一用户7200或第二用户7201的语音的检测来改变将计算机生成内容呈现给第一用户7200的输出特性。
在一些实施方案中，第一计算机系统101根据确定第一用户的移动包括第一用户7200转身面向第二用户7201来改变将计算机生成内容呈现给第一用户7200的输出特性。
在一些实施方案中，第一计算机系统101通过在某些预设频率范围内减小来自计算机生成内容的音频内容的音量来增大来自物理环境的声音的音频显著性和/或减小来自计算机生成内容的音频内容的音频显著性。例如，在一些实施方案中，第一计算机系统101降低计算机生成内容的音频内容7350中与人类语音、突然响亮噪声和/或恒定白噪声相对应的频率的音量，以允许来自周围物理环境的语音被更清楚地听到。
在一些实施方案中，第一计算机系统101通过增加从物理环境捕获的声音的音量并通过第一音频输出部件7101输出该声音来增大来自物理环境的声音的音频显著性和/或减小来自计算机生成内容的音频内容7350的音频显著性。在一些实施方案中，第一计算机系统101选择性地增加在某些预设频率范围内在物理环境中捕获的声音的音量，并且使用第一音频输出部件7101输出声音。例如，在一些实施方案中，第一计算机系统101增加从物理环境捕获的声音中与人类语音相对应的频率的音量，以允许来自第二用户7201的语音被更清楚地听到。在一些实施方案中，第一计算机系统101任选地具体地从在物理环境中捕获的声音识别来自第二用户7201的语音，并且经由第一音频输出部件7101选择性地输出该语音(例如，任选地具有增强的音量以及对来自物理环境的其他环境声音的抑制等)。
在一些实施方案中，第一计算机系统101在物理环境中捕获来自第一用户7201和第二用户7200两者的语音或其他声音(例如，乐器、第二用户7201所握持的设备上的录音的回放、拍手声等)，并且第一计算机系统101(例如，在降低来自计算机生成内容的音频内容7350的音频显著性之后，并且同时继续显示计算机生成内容的视觉内容7108等)处理语音或其他声音以添加基于相同三维环境(例如，具有预设模拟声学特性的虚拟三维环境)来生成的虚拟音频混响，并且任选地从所捕获的声音中移除物理环境中的真实音频混响。根据一些实施方案，第一计算机系统101随后使用第一音频输出部件7101输出添加了虚拟音频混响(例如，移除或减少了真实物理音频混响)的语音和其他声音。在一些实施方案中，虚拟三维环境的模拟声学特性允许第一计算机系统101使得从物理环境捕获的语音和其他声音比在物理环境中的声音听起来更清晰和悦耳(例如，因为物理环境可能具有产生大量回声和/或刺耳音效的较差声学特性)。
在一些实施方案中，第一计算机系统在通信会话中呈现共享媒体内容，其中使用不同的显示生成部件和不同的音频输出部件将媒体内容输出给多个用户。在一些实施方案中，音频内容经处理以添加与具有模拟声学特性的相同三维环境相对应的虚拟音频混响，使得当使用由不同用户使用的不同音频输出部件输出媒体内容时，来自媒体内容的音频听起来就好像音频内容正在用户虚拟存在的相同三维环境(例如，相同虚拟游戏环境、相同虚拟会议室等)中输出。
在一些实施方案中，第一计算机系统101通过降低第一显示生成部件7100的不透明度或降低如通过第一显示生成部件7100的透明部分看到的物理环境的视图的变暗来增大物理环境的视觉显著性和/或减小来自计算机生成内容的虚拟内容的视觉显著性。
在一些实施方案中，第一计算机系统101响应于检测到第二用户7201在物理环境中的移动而以上述方式改变计算机生成内容的输出特性，该移动指示第二用户希望吸引第一用户7200的注意。例如，响应于第一计算机系统101检测到满足预设标准的第二用户7201在物理环境中的移动(例如，第二用户7201朝第一用户7200倾斜，第二用户7201在第一用户7200的肩膀上轻拍，第二用户7201转向第一用户并向第一用户说话等)，减小计算机生成内容的音频内容7350的音频显著性，增大来自物理环境的声音的音频显著性，减小计算机生成环境的虚拟视觉内容7108的视觉显著性，增大物理环境的表示的视觉显著性，和/或降低计算机生成内容的沉浸水平等。
在一些实施方案中，第一计算机系统101响应于检测到第一用户7200在物理环境中的移动而以上述方式改变计算机生成内容的输出特性，该移动改变相应计算机生成三维环境(例如，虚拟三维环境、增强现实环境、共现环境等)中的共现体验中第一用户7200的表示与第三用户(不同于第二用户)的表示之间的空间关系。例如，第一用户7200的移动任选地包括第一用户向与第三用户在相应计算机生成三维环境中的虚拟位置相对应的方向倾斜。例如，响应于第一计算机系统101检测到满足预设标准(例如，第二用户朝向与第三用户在虚拟三维环境中的虚拟位置相对应的位置倾斜，第一用户在面向与第三用户在虚拟三维环境中的虚拟位置相对应的方向时挥手等)的第一用户7200在物理环境中的移动(例如，不是控制计算机生成环境的手势输入的移动)，减小计算机生成内容的音频内容(例如，来自其他参与者的声音、来自相应三维环境的声音等)的音频显著性，增大来自第三用户的声音的音频显著性，减小计算机生成环境的虚拟视觉内容(例如，虚拟三维环境中第三用户的表示之外的视觉数据)的视觉显著性，和/或增大虚拟三维环境中的第三用户的表示的视觉显著性等。
在一些实施方案中，计算机生成内容包括计算机生成三维环境，其中第一用户7200和第三用户虚拟地共现，并且第二用户7201在第一用户的物理环境中与第一用户7200并置，但不参与计算机生成三维环境中的共享体验。
在一些实施方案中，根据一些实施方案，在本文所述(例如，相对于图7A至图7Z以及图8至图16所述)的各种示例和实施方案中使用的输入手势任选地包括离散的小运动手势(这些离散的小运动手势通过将用户的手指相对于用户的手部的其他手指或部分移动来执行)，而任选地不需要较大移动用户的整个手部或手臂使其远离其自然位置和姿势来在进行用于与虚拟或混合现实环境进行交互的手势之前或期间立即执行操作。
在一些实施方案中，输入手势通过分析由传感器系统(例如，传感器190，图1；图像传感器314，图3)捕获的数据或信号来检测。在一些实施方案中，传感器系统包括一个或多个成像传感器(例如，一个或多个相机，诸如运动RGB相机、红外相机、深度相机等)。例如，该一个或多个成像传感器是计算机系统(例如，图1中的计算机系统101(例如，便携式电子设备7100、7100-t或HMD))的部件或者向该计算机系统提供数据，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120(例如，用作显示器和触敏表面的触摸屏显示器、立体显示器、具有透传部分的显示器等))。在一些实施方案中，该一个或多个成像传感器在设备的与设备的显示器相反的一侧上包括一个或多个后向相机。在一些实施方案中，由头戴式系统的传感器系统(例如，包括立体显示器的VR头戴式耳机，该立体显示器为用户的左眼提供左图像并为用户的右眼提供右图像)检测输入手势。例如，为头戴式系统的部件的一个或多个相机安装在该头戴式系统的前部和/或下侧上。在一些实施方案中，一个或多个成像传感器位于其中使用头戴式系统的空间中(例如，在房间中的各个位置中围绕头戴式系统排列)，使得成像传感器捕获该头戴式系统和/或该头戴式系统的用户的图像。在一些实施方案中，由平视设备(诸如，平视显示器、具有显示图形的能力的汽车挡风玻璃、具有显示图形的能力的窗户、具有显示图形的能力的透镜)的传感器系统检测输入手势。例如，一个或多个成像传感器附接到汽车的内部表面。在一些实施方案中，传感器系统包括一个或多个深度传感器(例如，传感器阵列)。例如，该一个或多个深度传感器包括一个或多个基于光的(例如，红外)传感器和/或一个或多个基于声音的(例如，超声)传感器。在一些实施方案中，传感器系统包括一个或多个信号发射器，诸如光发射器(例如，红外发射器)和/或声音发射器(例如，超声发射器)。例如，在光(例如，来自具有预先确定图案的红外光发射器阵列的光)被投影到手部(例如，手部7102)上时，由该一个或多个相机捕获在光的照明下的手部的图像，并且所捕获的图像被分析以确定手部的位置和/或构造。使用来自指向手部的图像传感器的信号来确定输入手势，而不是使用触敏表面或其他直接接触机构或基于接近的机构的信号，允许用户自由选择在利用他/她的手部提供输入手势时是执行大幅运动还是保持相对静止，而不经受由特定输入设备或输入区域施加的限制。
在一些实施方案中，轻击输入任选地是用户的手部的拇指在食指上方(例如，在与拇指相邻的食指的一侧上)的轻击输入。在一些实施方案中，在不需要将拇指从食指的该侧面抬起的情况下检测轻击输入。在一些实施方案中，根据确定拇指的向下移动之后是拇指的向上移动来检测轻击输入，其中拇指与食指的该侧接触小于阈值量的时间。在一些实施方案中，根据确定拇指从抬起位置移动到触压位置并且保持在触压位置至少第一阈值量的时间(例如，轻击时间阈值或长于轻击时间阈值的另一个时间阈值)来检测轻击-保持输入。在一些实施方案中，计算机系统要求手部作为整体在位置中保持基本上静止达至少第一阈值量的时间，以便检测拇指在食指上进行的轻击-保持输入。在一些实施方案中，在不需要手部作为整体保持基本上静止(例如，手部作为整体可以在拇指搁置在食指的该侧上时移动)的情况下检测触摸保持输入。在一些实施方案中，当拇指触压食指的该侧并且手部作为整体在拇指搁置在食指的该侧上时移动时检测轻击-保持-拖动输入。
在一些实施方案中，轻弹手势任选地是通过拇指跨食指(例如，从食指的手掌侧到背侧)的移动进行的推动或轻弹输入。在一些实施方案中，拇指的伸展移动伴随着远离食指的该侧的向上移动，例如，如在由拇指进行的向上轻弹输入中。在一些实施方案中，在拇指的向前移动和向上移动期间，食指在与拇指的方向相反的方向上移动。在一些实施方案中，通过拇指从伸展位置移动到回缩位置来执行反向轻弹输入。在一些实施方案中，在拇指的向后移动和向下移动期间，食指在与拇指的方向相反的方向上移动。
在一些实施方案中，轻扫手势任选地是通过拇指沿着食指(例如，沿着与拇指相邻或手掌的该侧上的食指的一侧)的移动进行的轻扫输入。在一些实施方案中，食指任选地处于伸展状态(例如，基本上笔直)或卷曲状态。在一些实施方案中，在轻扫输入手势中拇指的移动期间，食指在伸展状态和卷曲状态之间移动。
在一些实施方案中，各种手指的不同的指骨对应于不同的输入。拇指在各种手指(例如，食指、中指、无名指，以及任选地，小拇指)的各种指骨上方的轻击输入任选地映射到不同操作。类似地，在一些实施方案中，不同的推动或点击输入可由拇指跨不同手指和/或手指的不同部分执行，以在相应用户界面上下文中触发不同操作。类似地，在一些实施方案中，由拇指沿着不同手指和/或在不同方向上(例如，朝向手指的远侧端部或近侧端部)执行的不同轻扫输入在相应用户界面上下文中触发不同操作。
在一些实施方案中，计算机系统基于拇指的移动类型而将轻击输入、轻弹输入和轻扫输入视为不同类型的输入。在一些实施方案中，计算机系统将具有被拇指轻击、触摸或轻扫的不同手指位置的输入视为给定输入类型(例如，轻击输入类型、轻弹输入类型、轻扫输入类型等)的不同子输入类型(例如，近侧、中间、远侧子类型，或者食指、中指、无名指或小拇指子类型)。在一些实施方案中，通过移动手指(例如，拇指)执行的移动量和/或与手指的移动相关联的其他移动度量(例如，速度、初始速度、结束速度、持续时间、方向、移动模式等)用于定量地影响通过手指输入触发的操作。
在一些实施方案中，计算机系统识别组合输入类型，这些组合输入类型组合由拇指进行的一系列移动，诸如轻击-轻扫输入(例如，拇指在手指上的触压，然后是沿着手指的该侧的轻扫)、轻击-轻弹输入(例如，拇指在手指上方的触压，紧接着是跨手指从手指的手掌侧到背侧的轻弹)、双击输入(例如，在大约相同位置处在手指的该侧上的两次连续轻击)等。
在一些实施方案中，手势输入由食指而不是拇指执行(例如，食指在拇指上执行轻击或轻扫，或者拇指和食指朝向彼此移动以执行捏合手势等)。在一些实施方案中，与不具有通过手腕移动进行的修改输入的手指移动输入相比，手腕移动(例如，手腕在水平方向或竖直方向上的轻弹)紧接在手指移动输入之前执行，紧接在手指移动输入之后(例如，在阈值量的时间内)执行或与手指移动输入同时执行，以在当前用户界面上下文中触发附加操作、不同操作或经修改操作。在一些实施方案中，用面向用户面部的用户手掌执行的手指输入手势被视为与用背对用户面部的用户手掌执行的手指输入手势不同类型的手势。例如，与响应于用背对用户面部的用户手掌执行的轻击手势而执行的操作(例如，相同操作)相比，用面向用户的用户手掌执行的轻击手势执行的操作具有增加(或减少)的隐私保护。
尽管在本公开中提供的示例中，可以使用一种类型的手指输入来触发某种类型的操作，但是在其他实施方案中，其他类型的手指输入任选地用于触发相同类型的操作。
下文参考相对于下面的图8至图16描述的方法8000、9000、10000、11000、12000、13000、14000、15000和16000提供了关于图7A至图7Z的附加描述。
图8是根据一些实施方案的将指向手部的注视输入的检测连同手部的预设移动一起使用以使得在远离用户的手部在三维环境中的虚拟位置的三维环境中的位置处显示对应于各种计算机生成体验的用户界面对象的方法8000的流程图。
在一些实施方案中，方法8000在计算机系统(例如，图1中的计算机系统101)处执行，该计算机系统包括第一显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户的手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法8000通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器(诸如计算机系统101的一个或多个处理器202)(例如，图1A中的控制单元110)执行的指令来管理。方法8000中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，方法8000在计算机系统(例如，图1中的计算机系统101、相对于图7A至图7D、图7E至图7F、图7G至图7H、图7I至图7M、图7N至图7O、图7P至图7S、图7T至图7U和/或图7V至图7X描述的计算机系统101、相对于图7V至图7X描述的第一计算机系统101-t、相对于图7V至图7X描述的第二计算机系统等)处执行。在一些实施方案中，计算机系统与第一显示生成部件(例如，第一显示生成部件是平视显示器、头戴式显示器(HMD)、显示器、触摸屏、投影仪等)和一个或多个输入设备(例如，相机、控制器、触敏表面、操纵杆、按钮、手套、手表、运动传感器、取向传感器等)通信。在一些实施方案中，第一显示生成部件是相对于图7A至图7U和图7Y至图7Z描述的第一显示生成部件7100、相对于图7V至图7X描述的第一显示生成部件7100-t、相对于图7V至图7X描述的第二显示生成部件等。在一些实施方案中，计算机系统是集成设备，该集成设备具有包围在与第一显示生成部件和一个或多个输入设备中的至少一些输入设备相同的外壳中的一个或多个处理器和存储器。在一些实施方案中，计算机系统包括计算部件(例如，服务器，移动电子设备诸如智能电话或平板设备，可穿戴设备诸如手表、腕带或听筒，台式计算机，膝上型计算机等)，该计算部件包括与第一显示生成部件和/或一个或多个输入设备分开的一个或多个处理器和存储器。在一些实施方案中，第一显示生成部件以及一个或多个输入设备被集成并包围在相同外壳中。根据一些实施方案，相对于图7A至图7D描述了方法8000的特征中的许多特征。
在方法8000中，计算机系统经由第一显示生成部件显示(8002)三维环境(例如，虚拟三维环境、增强现实环境、物理环境的透传视图、物理环境的相机视图等)的第一视图。如图7A至图7D所示，由第一显示生成部件7100显示三维环境7104的第一视图。在一些实施方案中，三维环境是没有物理环境的表示的虚拟三维环境。在一些实施方案中，三维环境是混合现实环境，该混合现实环境是由与物理环境相对应的传感器数据增强的虚拟环境。在一些实施方案中，三维环境是增强现实环境，该增强现实环境包括一个或多个虚拟对象和第一显示生成部件周围的物理环境的至少一部分的表示(例如，相机视图或透过第一显示生成部件的透明或半透明部分的视图)。
在方法8000中，在显示三维环境的第一视图(例如，如图7A至图7D所示的三维环境7104的第一视图)时，计算机系统检测(8004)指向与用户的手部(例如，用户的手掌、用户的手背等)在物理环境中的位置相对应的三维环境中的相应第一位置的注视输入。例如，如图7B和图7C分别所示，注视输入7210指向手部7202的位置。在一些实施方案中，在与用户的手部的位置相对应的相应第一位置处显示注视输入的位置的指示符(例如，图形标记、视觉效果等)。在一些实施方案中，检测注视输入包括检测用户的注视的位置满足预设的稳定性和持续时间标准(例如，注视以小于阈值移动量保持在相应第一位置达至少阈值时间量，注视保持在与手部在物理环境中占据的空间区域相对应的三维环境的区域内等)。
在方法8000中，在显示三维环境的第一视图时，计算机系统检测(8006)用户的手部在物理环境中的移动，包括在检测与用户的手部的位置相对应的三维环境中的相应第一位置处的注视输入时检测用户的手部的移动的至少初始部分(例如，任选地在移动的至少一部分(例如，中间部分或末尾部分等)期间未在相应第一位置处检测到该注视)。这例如分别在图7B和图7C中示出，其中在手部7202在物理环境中进行移动时，注视输入7210指向与用户的手部7202的位置相对应的位置。在一些实施方案中，用户的手部的移动是连续移动，其对应于抛掷手势、推动手势或投掷手势等。在一些实施方案中，用户的手部的移动是连续移动，其不对应于抛掷手势、推动手势或投掷手势等，而是对应于用户前方的侧向移动或朝向用户的面部的移动等。
在方法8000中，响应于检测到用户的手部在物理环境中的移动(8008)：根据确定用户的手部在物理环境中的移动满足第一标准，其中在用户的手部的移动对应于第一手势(例如，抛掷手势、推动手势、投掷手势等)时满足第一标准，计算机系统在三维环境中的相应第二位置处显示(8010)多个用户界面对象，该相应第二位置远离与物理环境中的用户的手部的位置相对应的三维环境中的相应第一位置，其中多个用户界面对象中的相应用户界面对象在被激活时发起用于使得在三维环境中显示对应计算机生成体验的过程。这例如在图7C至图7D中示出，其中响应于满足预设标准的手部7202的移动7209和指向与手部7202的位置相对应的位置的注视输入，计算机系统在远离与手部7202的位置相对应的位置的位置处(例如，在三维环境7104中，并且锚定到物理环境的表示)显示用户界面对象7306、7302和7304。在一些实施方案中，发起用于使得在三维环境中显示对应计算机生成体验的过程包括：显示包括用于选择计算机生成体验的一个或多个参数和/或用于从用户接收开始计算机生成体验的确认输入的一个或多个用户界面对象的用户界面或用户界面对象，随后响应于与选择参数和/或提供所需确认输入的用户界面或用户界面对象的交互而在三维环境中显示计算机生成体验。在一些实施方案中，发起用于使得在三维环境中显示对应计算机生成体验的过程包括在不需要附加用户输入的情况下在三维环境中显示计算机生成体验。在一些实施方案中，第一标准要求手部的移动对应于第一手势，并且在手部的移动的至少初始部分期间在与用户的手部的位置相对应的三维环境中的相应第一位置处检测到注视输入。在一些实施方案中，响应于检测到与第一手势相对应的手部的移动并且根据确定在与第一手势相对应的手部的移动的至少初始部分期间未检测到注视输入，计算机系统放弃在三维环境中的相应第二位置处显示多个用户界面对象。换句话讲，为了使计算机系统在三维环境中的相应第二位置处显示多个用户界面对象，需要满足对注视输入的位置和手部的移动两者的要求。根据确定用户的手部在物理环境中的移动满足第一标准而在远离与物理环境中用户的手部的位置相对应的相应第一位置的相应第二位置处显示多个用户界面对象提供了附加控件选项，但不会使具有附加显示的控件(例如，用于在相应第二位置处选择和/或显示多个用户界面对象的附加控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到用户的手部在物理环境中的移动，根据确定用户的手部在物理环境中的移动不满足第一标准，放弃在远离与物理环境中用户的手部的位置相对应的相应位置的三维环境中的相应第二位置处显示多个用户界面对象。这例如在图7B中示出，其中手部7202不进行满足预设标准的所需移动，即使注视输入指向与手部7202的位置相对应的位置，计算机系统也不在远离与手部7202的位置相对应的位置的位置处显示用户界面对象。在一些实施方案中，响应于检测到用户的手部在物理环境中的移动，根据确定用户的手部在物理环境中的移动不满足第一标准，计算机系统在三维环境中的相应第一位置处显示对应于多个用户界面对象的第一用户界面对象，并根据用户的手部在物理环境中的移动来移动第一用户界面对象，例如使得第一用户界面对象相对于用户的手部在三维环境中的表示基本上保持固定的空间位置。例如，在一些实施方案中，第一用户界面对象包括多个用户界面对象的至少子集(例如，一些、全部等)的缩小比例尺表示，并且在与用户的手部的位置相对应的位置处显示，并且在不满足第一标准的用户的手部的移动(例如，用户的手部在用户前方的侧向移动、朝向用户的身体或面部的移动、不对应于抛掷手势、投掷手势的移动等)期间保持在与用户的手部的当前位置相对应的位置处显示。根据确定用户的手部在物理环境中的移动不满足第一标准而放弃在远离与用户的手部在物理环境中的位置相对应的相应位置的三维环境中的相应第二位置处显示多个用户界面对象提供了附加控件选项，但不会使UI混乱(例如，通过在不满足第一标准时不在相应第二位置处显示多个用户界面对象)。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到指向与用户的手部在物理环境中的位置相对应的三维环境中的第一位置的注视输入(例如，不需要另一用户输入(例如，由另一手部提供的输入或语音命令等))，计算机系统经由第一显示生成部件在与用户的手部在物理环境中的位置相对应的三维环境中的相应第一位置处显示第一用户界面对象。例如，在图7B或图7C中，在一些实施方案中，计算机系统任选地响应于检测到与用户的手部7202相对应的区域中的注视输入7210(例如，在检测到或完成满足预设标准的移动7209之前)而在与用户的手部7202的位置相对应的位置处显示用户界面对象7306、7302和7304中的一个或多个用户界面对象。在一些实施方案中，第一用户界面对象包括表示不同类别的应用程序的图标集群、主页按钮、根菜单等。在一些实施方案中，第一用户界面对象是包括多个用户界面对象的至少一子集(例如，一些、全部等)的缩小比例尺表示的用户界面对象，或者是包括多个用户界面对象的相应子集的表示的用户界面对象等。在一些实施方案中，只要注视输入仍然指向与用户的手部在物理环境中的位置相对应的三维环境中的位置，第一用户界面对象就被锁定到用户的手部。例如，在一些实施方案中，第一用户界面对象被显示为覆盖三维环境中的用户的手部的表示的至少一部分或替换该至少一部分的显示。在一些实施方案中，用户身体的其他部分(例如，用户手腕的内侧)而不是用户的手部被用作用于检测注视输入并锚定第一用户界面对象的显示的目标位置。响应于检测到指向三维环境中的第一位置的注视输入而与用户的手部在物理环境中的位置相对应的三维环境中的相应第一位置处显示第一用户界面对象减少了在与用户的手部在物理环境中的位置相对应的三维环境中的相应第一位置处显示第一用户界面对象所需的输入数量(例如，用户不需要执行另一用户输入(例如，用另一只手或用语音命令等))。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，检测用户的手部在物理环境中的移动包括在与用户的手部的位置相对应的三维环境中的相应第一位置处显示第一用户界面对象时检测用户的手部的移动的至少初始部分(例如，在移动的至少一部分(例如，中间部分或末尾部分等)期间，不在相应位置处显示第一用户界面对象)。例如，如图7C所示，根据一些实施方案，响应于检测到注视输入7210，在与用户的手部的位置相对应的位置处显示用户界面对象7306、7302和7304中的至少一个用户界面对象，并且手部的移动7209任选地在与用户的手部的位置相对应的位置处显示用户界面对象7306、7302和7304中的至少一个用户界面对象时开始。在一些实施方案中，计算机系统响应于同时检测到与用户的手部相对应的相应第一位置处的注视输入和用户的手部的移动以向用户示出用户的手部的手掌(例如，将手部的手掌侧转向用户的面部、在手部的手掌侧面向用户的面部时张开手部等)而显示第一用户界面对象。在与用户的手部的位置相对应的三维环境中的相应第一位置处显示第一用户界面对象时检测用户的手部的至少初始部分减少了显示第一用户界面对象所需的输入数量(例如，如果用户意外地移动用户的手部，则用户不需要重复手势来显示第一用户界面对象)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一标准包括在用户的手部的移动包括用户的手部围绕与用户的手部相连的手腕的旋转时满足的要求。例如，根据一些实施方案，满足预设标准的图7C中的移动7209包括手部7202围绕与手部7202相连的手腕的旋转，以使得用户界面对象7306、7302和7304在远离与图7D中的手部7202的位置相对应的位置的位置处显示。在一些实施方案中，第一标准还包括在旋转移动的至少一部分期间旋转超过预设阈值速度或加速度阈值时满足的要求。在一些实施方案中，第一标准还要求在连同指向与手部的位置相对应的相应第一位置的注视一起检测到的相应第一位置处显示第一用户界面对象(例如，响应于用户的手部的先前移动或移动的初始部分(例如，张开手部或转动手部以向用户示出手掌等))。要求用户的手部的移动包括用户的手部围绕与用户的手部相连的手腕的旋转以满足第一标准减少了在三维环境中的相应第二位置处显示多个用户界面对象所需的输入数量(例如，用户不需要执行附加手势(例如，用另一只手或用语音命令等))。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在三维环境中的相应第二位置处显示多个用户界面对象包括显示动画过渡，该动画过渡包括将与多个用户界面对象相对应的第一用户界面对象(例如，第一用户界面对象是主页按钮、多个用户界面对象的缩小比例尺版本的集群等)从与用户的手部的位置相对应的相应第一位置朝向相应第二位置移动以及在它们到达三维环境中的相应第二位置之前将第一用户界面对象转换成多个用户界面对象。例如，在图7C至图7D中，计算机系统任选地显示动画过渡，该动画过渡示出用户界面对象7306、7302和7304从与图7C中的手部7202的位置相对应的位置飞向图7D所示的远离与用户的手部的位置相对应的位置的用户界面对象7306、7302和7304的位置；并且根据一些实施方案，计算机系统任选地示出用户界面对象7306、7302和7304在动画过渡期间尺寸增大并且改变其外观。在一些实施方案中，响应于检测到满足第一标准的用户的手部的移动，计算机系统示出第一用户界面对象在与用户的手部的移动方向(例如，抛掷或投掷手势的方向)相对应的方向上远离与用户的手部的位置相对应的相应第一位置移动，并且扩大尺寸并转换成最终在三维环境中的相应第二位置处显示的多个用户界面对象(例如，在三维环境中远离与用户的位置相对应的位置浮动，在与物理表面(诸如墙壁、桌子等)相对应的位置处显示)。在一些实施方案中，第一用户界面对象包括与多个用户界面对象的不同类别相对应的图标集群(例如，用于应用程序的第一图标、用于用户的第二图标、用于体验的第三图标等)。在一些实施方案中，相应图标(例如，第一图标、第二图标、第三图标等)远离与用户的手部相对应的位置移动，并且转换成与由相应图标表示的类别相关联的多个图标(例如，应用程序图标、人的头像、体验的图标等)的相应组。在一些实施方案中，第一用户界面对象包括单一用户界面对象(例如，主页按钮、图标、图像等)，该单一用户界面对象被转换成另一用户界面对象，该另一用户界面对象包括与不同类别的功能(例如，启动应用、开始通信会话、开始体验等)相对应的不同图标组，并且任选地包括用于不同类别的功能的相应组表示。显示包括将与多个用户界面对象相对应的第一用户界面对象从与用户的手部的位置相对应的相应第一位置朝向相应第二位置移动以及在第一用户界面对象到达三维环境中的相应第二位置之前将第一用户界面对象转换成多个用户界面对象的动画过渡向用户提供了改进的反馈(例如，用户的手部的移动已满足第一标准并且计算机系统正在相应第二位置处显示多个用户界面对象或处于在相应第二位置处显示多个用户界面对象的过程中)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统生成第一音频输出，连同在三维环境中的相应第二位置处显示多个用户界面对象。例如，在图7C至图7D中，根据一些实施方案，当计算机系统将用户界面对象7302、7304和/或7306朝向它们在如图7D所示的三维环境中的最终位置移动时，计算机系统任选地生成音频输出，该音频输出对应于用户界面对象的移动和/或用户界面对象在它们在三维环境中的最终位置处的着陆。在一些实施方案中，计算机系统在第一用户界面对象远离与手部的位置相对应的相应第一位置朝向三维环境中的相应第二位置移动期间生成音频输出(例如，音效、音频警示等)。在一些实施方案中，计算机系统在多个用户界面对象到达并停留于三维环境中的相应第二位置时生成音频输出。生成第一音频输出连同在三维环境中的相应第二位置处显示多个用户界面对象向用户提供了改进的反馈(例如，通过提供音频反馈和视觉反馈两者)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，三维环境中的相应第二位置(例如，显示多个用户界面对象的位置)在离三维环境中的相应第一位置的预定义的距离阈值内。例如，如图7D所示，在一些实施方案中，在与用户的手部的虚拟位置或用户的虚拟位置相对应的视点的阈值范围内的位置处显示用户界面对象7306、7302和/或7304，例如使得用户界面对象处于用户的舒适查看范围(例如，视点的一至五英尺)内。例如，在一些实施方案中，在与用户的特征位置相对应的位置(例如，与用户的手部在物理环境中的位置相对应的三维环境中的相应第一位置、与用户的中心的位置相对应的位置、与用户的头部的位置相对应的位置等)的一至五英尺内显示多个用户界面对象。在一些实施方案中，预定义的距离是适用于查看多个用户界面对象的预选查看距离(例如，查看距离是对大多数用户舒适的平均查看距离、为用户定制的查看距离等)。在一些实施方案中，由计算机系统根据三维环境中相应第二位置处的多个用户界面对象的尺寸、数量和细节水平来自动调整预定义的距离。在一些实施方案中，相应第二位置跨越预设角度范围，例如，当显示更多图标时，在远离视点的更远距离处显示图标，并且当显示更少图标时，在远离视点的更近距离处显示图标。在三维环境中离相应第一位置的预定义的距离阈值内的相应第二位置处显示多个用户界面对象减少了在三维环境中的相应第二位置处显示多个用户界面对象所需的输入数量(例如，用户不需要执行附加手势来选择在此显示多个用户界面对象的相应第二位置，用户不需要在多个用户界面对象在离用户太近或太远的位置显示而不能舒适查看时手动调整多个用户界面对象的相应第二位置)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当根据确定用户的手部的移动满足第一标准来显示多个用户界面对象时，计算机系统检测用户的手部在物理环境中的第一进一步移动。响应于检测到用户的手部在物理环境中的第一进一步移动：根据确定用户的手部在物理环境中的第一进一步移动满足第二标准，其中在用户的手部在物理环境中的第一进一步移动对应于不同于第一手势(例如，投掷手势的反向、抛掷手势的反向、撤回(recall)手势、使手掌面向用户的手部旋转等)的第二手势(例如，用户的手部从背对用户的手掌侧转向面向用户的手掌侧)时满足第二标准，计算机系统停止在三维环境中的相应第二位置处显示多个用户界面对象。例如，在图7D中，根据一些实施方案，如果计算机系统检测到手部7202执行另一预设手势(例如，翻转手部、将手部拉向用户的面部等)，则计算机系统任选地停止在远离与用户的手部的位置相对应的位置的位置处显示用户界面对象7306、7302和/或7304。在一些实施方案中，当手部的第一进一步移动包括用户的手部围绕与手部相连的手腕旋转而使得手掌转向用户的面部时，第一进一步移动满足第二标准。在一些实施方案中，第二标准要求手部的第一进一步移动满足预设速度阈值或加速度阈值以便满足第二标准。在一些实施方案中，第二标准要求在用户的手部的进一步移动的至少一部分期间在与用户的手部相对应的三维环境中的相应位置处检测到注视输入。在一些实施方案中，响应于检测到手部的第一进一步移动并且根据确定用户的手部的第一进一步移动不满足第二标准，计算机系统保持在三维环境中的相应第二位置处显示多个用户界面对象。根据确定用户的手部的第一进一步移动对应于不同于第一手势的第二手势而停止在三维环境中的相应第二位置处显示多个用户界面对象提供了附加控件选项，但不会使具有附加显示的控件(例如，用于停止显示多个用户界面对象的附加控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到用户的手部在物理环境中的第一进一步移动：根据确定用户的手部在物理环境中的第一进一步移动满足第二标准(例如，用户的手部从背对用户的手掌侧转向面向用户的手掌侧)，计算机系统在与用户的手部在物理环境中的位置相对应的三维环境中的相应第三位置处显示第一用户界面对象(例如，先前在相应第一位置处显示的相同第一用户界面对象)(例如，第一用户界面对象是主页按钮、多个用户界面对象的缩小比例尺版本的集群等)。例如，在图7D中，如果计算机系统检测到手部7202执行另一预设手势(例如，翻转手部、将手部拉向用户的面部等)，则计算机系统任选地根据一些实施方案停止在远离与用户的手部的位置相对应的位置的位置处显示用户界面对象7306、7302和/或7304，并且根据一些实施方案在与用户的手部的位置相对应的位置处重新显示用户界面对象7306、7302和/或7304或者在与用户的手部的位置相对应的位置处显示主页按钮。在一些实施方案中，在与用户的手部的位置相对应的相应第三位置处显示第一用户界面对象包括显示动画过渡，该动画过渡包括将多个用户界面对象在三维环境中从相应第二位置朝向相应第三位置移动以及在第一用户界面对象到达与第一进一步移动结束时用户的手部的位置相对应的三维环境中的相应第三位置之前将多个用户界面对象转换成第一用户界面对象。在一些实施方案中，响应于检测到满足第二标准的用户的手部的第一进一步移动，计算机系统示出多个用户界面对象远离其相应位置朝向与用户的手部的位置相对应的第三位置移动，并且缩小尺寸并转换成最终在三维环境中的相应第三位置处显示的第一用户界面对象(例如，覆盖用户的手部的表示的至少一部分、替换该至少一部分的显示、遮挡该至少一部分等)。在一些实施方案中，第一用户界面对象包括与多个用户界面对象的不同类别相对应的图标集群(例如，用于应用程序的第一图标、用于人的第二图标、用于体验的第三图标等)。在一些实施方案中，与由第一用户界面对象中的相应图标表示的类别相关联的相应组的多个图标(例如，应用程序图标、人的头像、体验的图标等)朝向与用户的手部相对应的位置移动并且转换成相应图标(例如，第一图标、第二图标、第三图标等)。在一些实施方案中，第一用户界面对象是单一用户界面对象，诸如主页按钮、图标、图像等。在一些实施方案中，在相应第二位置处显示的与不同类别的功能(例如，启动应用程序、开始通信会话、开始体验等)相对应的不同图标组被转换回在第三位置处显示的单一用户界面对象，该第三位置对应于在第一进一步移动结束时用户的手部的位置。在一些实施方案中，响应于检测到手部的第一进一步移动并且根据确定用户的手部的第一进一步移动不满足第二标准，计算机系统保持在三维环境中的相应第二位置处显示多个用户界面对象。根据确定用户的手部在物理环境中的第一进一步移动满足第二标准而在与用户的手部在物理环境中的位置相对应的三维环境中的相应第三位置处显示第一用户界面对象减少了在与用户的手部在物理环境中的位置相对应的三维环境中的相应第三位置处显示第一用户界面对象所需的输入数量(例如，用户不需要执行单独手势、不同手势(例如，用不同手部)或语音命令等)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性，这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，响应于检测到用户的手部在物理环境中的移动的至少初始部分：根据确定已检测到的用户的手部的移动的至少初始部分尚未满足第一标准(例如，在移动满足第一标准之前检测到的移动的初始部分)，计算机系统根据用户的手部在物理环境中的移动的至少初始部分来在三维环境中移动第一用户界面对象以保持第一用户界面对象和与用户的手部的当前位置相对应的位置之间的相应空间关系(例如，当手部在不满足第一标准的情况下移动时第一用户界面对象被锁定到手部)。例如，在图7C中，在移动7209满足用于在远离与用户的手部的位置相对应的位置处显示用户界面对象7302、7304和/或7306的标准之前，计算机系统根据手部的移动来移动用户界面对象7302、7304和/或7306，使得用户界面对象7302、7304和/或7306看起来被锁定或锚定到用户的手部。在一些实施方案中，根据一些实施方案，如果手部的移动不满足第一标准，则在图7C中的手部7202的移动期间，用户界面对象7302、7304和/或7306保持显示为覆盖手部7202的表示7202’的至少一部分、替换该至少一部分的显示或遮挡该至少一部分的视线。在一些实施方案中，响应于检测到用户的手部在物理环境中的移动的至少初始部分：根据确定已检测到的用户的手部的移动的至少初始部分已满足第一标准(例如，在移动满足第一标准之前检测到的移动的初始部分，随后是移动的后续部分，其中移动的后续部分单独地或与移动的初始部分组合地满足第一标准)，计算机系统保持在物理环境中的相应第二位置处显示多个用户界面对象，而与在用户的手部的移动的至少初始部分已满足第一标准之后用户的手部的进一步移动无关(例如，多个用户界面对象未被锁定到手部，而是任选地被锁定到三维环境)。例如，在图7D中，根据一些实施方案，在满足第一标准并且在远离与用户的手部的位置相对应的位置的第二位置处显示用户界面对象7306、7302和/或7304之后，如果手部继续移动或在停止之后再次移动，则计算机系统不根据用户的手部的移动来移动用户界面对象7306、7302和/或7304(例如，因为用户界面对象现在被锚定或锁定到三维环境并且不再被锁定到用户的手部或用户的其他部分的位置)。保持在物理环境中的相应第二位置处显示多个用户界面对象而与用户的手部的进一步移动无关，或者根据用户的手部的移动的至少初始部分、根据确定用户的手部的移动的至少初始部分分别已满足或尚未满足第一标准来移动第一用户界面对象以保持第一用户界面对象和与用户的手部的当前位置相对应的位置之间的相应空间关系，提供了附加控件选项，但不会使UI(例如，用于移动第一用户界面对象以保持第一用户界面对象和与用户的手部的当前位置相对应的位置之间的相应空间关系的附加控件、用于允许用户在不移动第一用户界面对象的情况下移动他们的手部的附加控件等)混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当经由第一显示生成部件在与用户的手部在物理环境中的位置相对应的三维环境中的相应第一位置处显示第一用户界面对象(例如，表示不同类别的应用程序的图标集群、主页按钮、根菜单等)(例如，包括多个用户界面对象的至少子集(例如，一些、全部等)的缩小比例尺表示的用户界面对象、包括多个用户界面对象的相应子集的表示的用户界面对象等)时，计算机系统检测指向第一用户界面对象的输入(例如，由另一手部的手指在用户的手部上作出的轻击输入、由另一手部的手指在用户的手部上作出的轻扫输入、由用户的手部的一部分在用户的手部的另一部分上作出的轻扫输入或轻击输入、在第一用户界面对象上检测到用户的注视时由另一手部作出的捏合手势等)。响应于检测到指向第一用户界面对象的输入，根据确定指向第一用户界面对象的输入满足第三标准(例如，用于检测轻击的标准、用于检测预设轻扫手势的标准、用于在第一用户界面对象上检测到用户注视时检测空中选择手势的标准等)并且输入的位置(例如，轻击位置、轻扫位置、注视位置等)对应于多个用户界面对象中的相应用户界面对象(例如，分别为第一应用程序图标、第二应用程序图标、用于第一用户的第一头像、用于第二用户的第二头像、用于第一体验的图标、用于第二体验的图标等)，计算机系统发起用于使得在三维环境中显示对应计算机生成体验的过程(例如，与可通过在相应第二位置之一处调用相应用户界面对象来发起的过程分开的过程)。例如，在图7C中，根据一些实施方案，当在与用户的手部的位置相对应的位置处显示用户界面对象7306、7302和/或7304时，如果计算机系统检测到用户已在与用户界面对象7306、7302或7304中的相应用户界面对象相对应的位置处轻击了手部(例如，使用另一手部)，则计算机系统启动对应于相应用户界面对象的应用程序、体验或通信会话等。在一些实施方案中，如果相应用户界面对象是用于多个可选择用户界面对象的类别图标，则计算机系统在远离与用户的手部的位置相对应的位置的位置处显示多个可选择用户界面对象。在一些实施方案中，如果相应用户界面对象是主页按钮或类别图标集群，则计算机系统在远离与用户的手部的位置相对应的位置的位置处显示类别图标集群。在一些实施方案中，对应计算机生成体验的显示分别包括在三维环境中显示第一应用程序、显示第二应用程序、开始与第一用户的通信会话、开始与第二用户的通信会话、显示第一体验、显示第二体验等。在一些实施方案中，由输入激活第一用户界面对象，同时在三维环境中的相应第二位置处显示多个用户界面对象。在一些实施方案中，由输入激活第一用户界面对象，而不在三维环境中的相应第二位置处显示多个用户界面对象。在一些实施方案中，计算机系统响应于从在与用户的手部相对应的相应第一位置处显示的第一用户界面对象激活相应用户界面对象或从远离相应第一位置的相应第二位置之一激活相应用户界面对象而发起用于显示与相应用户界面对象(例如，第一应用程序图标、第二应用程序图标、第一头像、第二头像、用于计算机生成体验的第一图标、用于计算机生成体验的第二图标等)相对应的计算机生成体验的相同过程。根据确定指向第一用户界面对象的输入满足第三标准并且输入的位置对应于多个用户界面对象中的相应用户界面对象而发起用于使得在三维环境中显示对应计算机生成体验的过程来作为响应，减少了发起在三维环境中显示对应计算机生成体验所需的输入数量(例如，用户不需要首先将相应用户界面对象显示到远离用户的手部的相应第二位置，然后选择第二位置处的相应用户界面对象来发起计算机生成体验的显示)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在三维环境中的相应第二位置处显示多个用户界面对象(例如，响应于检测到满足第一标准的用户的手部的移动)包括将多个用户界面对象从与手部在物理环境中的位置相对应的三维环境中的相应第一位置移动到三维环境中的相应第二位置(例如，响应于检测到满足第一标准的用户的手部的移动)。例如，在图7C至图7D中，根据一些实施方案，计算系统任选地显示用户界面对象7306、7302和7304从与手部7202的位置相对应的位置穿过三维环境7104移动到图7D所示的它们的最终位置。在一些实施方案中，在用户的手部的移动满足第一标准之前，在与用户的手部的位置相对应的三维环境中的相应第一位置处显示多个用户界面对象(例如，其相同尺寸或缩小比例尺版本)。在一些实施方案中，在用户的手部的移动满足第一标准之前，在与用户的手部的位置相对应的三维环境中的相应第一位置处不显示多个用户界面对象(例如，其相同尺寸或缩小比例尺版本)(例如，转而在相应第一位置处不显示用户界面对象或显示不同的表示或用户界面对象)。在一些实施方案中，当在与用户的手部在物理环境中的位置相对应的三维环境中的相应第一位置处显示时，多个用户界面对象可由满足预设标准(例如，第三标准、用于检测轻击、轻扫等的标准)的相应输入激活，并且使得执行与相应输入所指向的用户界面对象相对应的相应操作(例如，发起相应计算机生成体验的显示、调用计算机系统或三维环境的变化等)。将多个用户界面对象从与手部在物理环境中的位置相对应的三维环境中的相应第一位置移动到三维环境中的相应第二位置向用户提供了改进的视觉反馈(例如，用户的第一手势满足第一标准)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在三维环境中的相应第二位置处显示多个用户界面对象(例如，响应于检测到满足第一标准的用户的手部的移动)包括随着多个用户界面对象从与手部在物理环境中的位置相对应的三维环境中的相应第一位置移动到三维环境中的相应第二位置(例如，响应于检测到满足第一标准的用户的手部的移动)而扩大多个用户界面对象的相应尺寸。例如，在图7C至图7D中，根据一些实施方案，计算系统任选地显示用户界面对象7306、7302和7304随着它们从与手部7202的位置相对应的位置穿过三维环境7104移动到图7D所示的它们的最终位置而扩大。随着多个用户界面对象从与手部在物理环境中的位置相对应的三维环境中的第一相应位置移动到三维环境中的相应第二位置而扩大多个用户界面对象的相应尺寸向用户提供了改进的反馈(例如，通过在用户界面对象移动到相应第二位置时增加用户界面对象的可见度)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在三维环境中的相应第二位置处显示多个用户界面对象时(例如，响应于检测到满足第一标准的用户的手部的移动)，计算机系统检测满足预设标准的事件(例如，检测计算机系统或与计算机系统通信的部件的至少一部分的移动(例如，用于显示三维环境的显示生成部件的移动、用于提供物理环境的表示和/或提供用于生成三维环境的空间数据的一个或多个传感器和/或相机的移动等))。响应于检测到满足预设标准(例如，要求事件是检测到显示生成部件的移动、相机的移动、系在或附接到用户的头部或面部上的部件的移动等的标准)的事件，计算机系统从显示三维环境的第一视图转变到显示与三维环境的第一视图不同的三维环境的第二视图(例如，由于计算机系统的至少该部分的移动，第二视图具有与第一视图的视点不同的视点)，其中显示三维环境的第二视图包括随着三维环境的当前显示视图的视点改变(例如，从对应于第一视图的视点改变到对应于第二视图的视点)，保持在三维环境中的相应第二位置处显示多个用户界面对象。例如，在图7D中，在用户界面对象7306、7302和7304在远离与用户的手部的位置相对应的位置的它们的位置处显示之后，用户界面对象被锁定到三维环境；并且根据一些实施方案，如果三维环境的当前显示视图的视点移动，则用户界面对象7306、7302和7304任选地在三维环境中与之前相同的位置处显示，但是从与视点的新位置相对应的不同视角示出。例如，多个用户界面对象保持在三维环境中的相同位置处，但是可能出现在由显示生成部件提供的视场的不同部分上(例如，在显示器上具有不同的显示位置)，因为视点已因事件而改变。在一些实施方案中，多个用户界面对象中的一些或全部用户界面对象可因视点改变而在当前显示视图之外，但是当相应第二位置因计算机系统的显示生成部件和/或相机的进一步移动而重新进入视场时将再次可见。从显示三维环境的第一视图转变到显示与三维环境的第一视图不同的三维环境的第二视图，其中显示三维环境的第二视图包括当三维环境的当前显示视图的视点改变时保持在三维环境中的相应第二位置处显示多个用户界面对象，减少了在相应第二位置处显示多个用户界面对象所需的输入数量(例如，因为保持在三维环境中的相应第二位置处显示多个用户界面对象，所以用户不需要重复满足第一标准的用户的手部的移动来在三维环境中的相应第二位置处重新显示多个用户界面对象)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在三维环境中的相应第二位置处显示多个用户界面对象时(例如，响应于检测到满足第一标准的用户的手部的移动)，计算机系统检测满足预设标准的事件(例如，检测计算机系统或与计算机系统通信的部件的至少一部分的移动(例如，用于显示三维环境的显示生成部件的移动、用于提供物理环境的表示和/或提供用于生成三维环境的空间数据的一个或多个传感器和/或相机的移动等))。响应于检测到满足预设标准(例如，要求事件是检测到显示生成部件的移动、相机的移动、系在或附接到用户的头部或面部上的部件的移动等的标准)的事件，计算机系统从显示三维环境的第一视图转变到显示与三维环境的第一视图不同的三维环境的第二视图(例如，由于计算机系统的至少该部分的移动而从与第一视图的视点相比不同的视点捕获第二视图)，其中显示三维环境的第二视图包括将多个用户界面对象移动到三维环境中的相应第三位置，使得保持多个用户界面对象和与三维环境的当前显示视图相对应的视点之间的空间关系。例如，在图7D中，在用户界面对象7306、7302和7304在远离与用户的手部的位置相对应的位置的它们的位置处显示之后，用户界面对象被锁定到三维环境的视点(例如，对应于用户的头部或面部的位置和面向方向)；并且根据一些实施方案，如果三维环境的当前显示视图的视点移动，则用户界面对象7306、7302和7304任选地随视点移动，使得它们保持在由第一显示生成部件提供的视场中的相同位置处。例如，当三维环境的当前显示视图的视点已因事件而移动或改变时，多个用户界面对象保持在当前显示的视场中的相同显示位置处。在一些实施方案中，多个用户界面对象将在显示器上或在由显示生成部件提供的视场中(例如，在视场的上部部分、左侧部分、中心部分、右侧部分、底部部分等)保持它们的显示位置，而与视点相对于三维环境的固定元素的变化位置无关。从显示三维环境的第一视图转变到显示与三维环境的第一视图不同的三维环境的第二视图，其中显示三维环境的第二视图包括将多个用户界面对象移动到三维环境中的相应第三位置，使得保持多个用户界面对象和与三维环境的当前显示视图相对应的视点之间的空间关系，保持了空间关系而不需要进一步的用户输入(例如，用户不需要执行另一手势来将多个用户界面对象移动到相应位置，使得保持多个用户界面对象与视点之间的空间关系)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性，这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，响应于检测到满足预设标准(例如，要求事件是检测到显示生成部件的移动、相机的移动、系在或附接到用户的头部或面部上的部件的移动等的标准)的事件，根据确定事件满足预设阈值(例如，计算机系统的至少该部分在物理环境中的移动超过阈值量(例如，计算机系统的移动超过距离、速度和/或加速度阈值量等))，计算机系统停止在三维环境中显示多个用户界面对象(例如，即使当相应第二位置仍在经由显示生成部件提供的视场内或往回移动到该视场内时)。例如，在图7D中，在用户界面对象7306、7302和7304在远离与用户的手部的位置相对应的位置的它们的位置处显示之后，用户界面对象被锁定到三维环境或视点；并且根据一些实施方案，如果三维环境的当前显示视图的视点移动超过阈值量，则计算机系统停止在三维环境中显示用户界面对象7306、7302和7304。响应于检测到满足预设标准的事件而停止在三维环境中显示多个用户界面对象，在已满足一组条件时执行操作而不需要进一步的用户输入(例如，用户不需要执行附加手势或手动选择停止显示多个用户界面对象的选项)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性，这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，当在三维环境中的相应位置处显示多个用户界面对象时(例如，响应于检测到满足第一标准的用户的手部的移动)，计算机系统检测指向用户的手部的用户输入(例如，由另一手部作出的触摸输入、由另一手部作出的轻扫输入、由用户的手部的一部分相对于用户的手部的另一部分作出的轻击或轻扫等)。响应于检测到指向用户的手部的用户输入，根据确定用户输入对应于与多个用户界面对象进行交互的请求(例如，根据确定用户输入是用于与多个用户界面对象中的相应一个用户界面对象进行交互或用于与作为整体的多个用户界面对象进行交互等的所识别的输入)(例如，根据确定在注视输入指向多个用户界面对象中的相应一个用户界面对象或作为整体的多个用户界面对象等时检测到用户输入)，计算机系统在三维环境中执行改变或激活多个用户界面对象中的至少一个用户界面对象的相应操作(例如，滚动通过多个用户界面对象、重新组织多个用户界面对象中的至少一些用户界面对象、激活被选择的相应用户界面对象等)。例如，在图7C或图7D中，根据一些实施方案，即使用户界面对象7306、7302和7304在远离与用户的手部的位置相对应的位置的位置处显示，计算机系统也允许用户在手部7202上的位置处提供输入以与用户界面对象7306、7302和/或7304进行交互。在一些实施方案中，即使在用户界面对象7306、7302和7304在远离与用户的手部的位置相对应的位置的位置处显示之后，用户界面对象7306、7302和7304的副本也保持在与手部的位置相对应的位置处显示。在一些实施方案中，计算机系统在与用户的手部的位置相对应的三维环境中的相应第一位置处显示第一用户界面对象(例如，在相应第二位置处包含多个用户界面对象的用户界面的缩小比例尺版本或简化版本、控制多个用户界面对象的显示(例如，组织、优先级、扩大水平等)的控件对象等)，同时显示多个用户界面对象和第一用户界面；并且计算机系统允许用户使用指向第一用户界面对象的输入来控制在相应第二位置处显示的多个用户界面对象。在一些实施方案中，在三维环境中的相应第二位置处显示多个用户界面对象之前、期间和/或之后，在三维环境中的相应第一位置处显示第一用户界面对象。根据确定用户输入对应于与多个用户界面对象进行交互的请求而在三维环境中执行改变或激活多个用户界面对象中的至少一个用户界面对象的相应操作减少了改变或激活多个用户界面对象中的至少一个用户界面对象所需的输入数量(例如，用户不需要导航到或选择三维环境中的用户界面对象来改变或激活用户界面对象)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在三维环境中的相应位置处显示多个用户界面对象时(例如，响应于检测到满足第一标准的用户的手部的移动)，在与用户的手部的位置相对应的三维环境中的相应第一位置处显示第一用户界面对象(例如，表示不同类别的应用程序的图标集群、主页按钮、根菜单等)(例如，包括多个用户界面对象的至少子集(例如，一些、全部等)的缩小比例尺表示的用户界面对象、包括多个用户界面对象的相应子集的表示的用户界面对象等)(例如，计算机系统将指向用户的手部的用户输入评估为指向第一用户界面对象的用户输入)。例如，在图7D中，根据一些实施方案，即使在远离与用户的手部的位置相对应的位置的位置处显示用户界面对象7306、7302和7304之后，计算机系统任选地也在与手部的位置相对应的位置处显示用户界面对象7306、7302和7304的副本。在一些实施方案中，在相应第一位置处显示的第一用户界面对象在三维环境中看起来覆盖或接触用户的手部的表示。在一些实施方案中，在相应第一位置处显示的第一用户界面对象在三维环境中看起来浮在用户的手部的表示上方。在与用户的手部的位置相对应的三维环境中的相应第一位置处显示第一用户界面对象，同时在三维环境中的相应位置处显示多个用户界面对象，减少了定位期望的用户界面对象所需的输入数量(例如，用户不需要在三维环境中的其相应位置处找到并选择第一用户界面对象，或执行另一手势来显示第一用户界面对象)。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在三维环境中的相应第二位置处显示多个用户界面对象时，计算机系统检测与选择多个用户界面对象中的相应用户界面对象(例如，用于启动第一应用程序的第一应用程序图标、用于启动第二应用程序的第二应用程序图标、用于第一用户的第一头像、用于第二用户的第二头像、用于第一体验的第一图标、用于第二体验的第二图标等)的请求相对应的用户输入(例如，轻击输入、轻扫输入、连同轻击或轻扫输入一起检测到的注视输入等)。响应于检测到与选择相应用户界面对象的请求相对应的用户输入，计算机系统使相应用户界面对象相对于多个用户界面对象中的一个或多个用户界面对象(例如，未被用户输入选择的其他用户界面对象、与相应用户界面对象属于相同类别的其他用户界面对象等)改变尺寸(例如，放大、缩小等)。例如，如图7K至图7L所示，根据一些实施方案，当在远离与用户的手部的位置相对应的位置的位置处显示用户界面对象7304或7310时，用户界面对象7304的选择使得用户界面对象7304被放大，并且用户界面对象7310的选择使得用户界面对象7310被放大。在一些实施方案中，计算机系统相对于未选择的其周围用户界面对象来在视觉上强调所选择的用户界面对象，诸如通过改变用户界面对象的相对尺寸、颜色、透明度水平、不透明度、模糊半径等以使所选择的用户界面对象和未选择的用户界面对象形成对比。响应于检测到与选择相应用户界面对象的请求相对应的用户输入而相对于多个用户界面对象中的一个或多个用户界面对象来改变相应用户界面对象的尺寸向用户提供了改进的视觉反馈(例如，通过增加所选择的相应用户界面对象的可见度)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统在与用户的手部在物理环境中的位置相对应的三维环境中的相应第一位置处显示与多个用户界面对象相对应的第一用户界面对象(例如，表示不同类别的应用程序的图标集群、主页按钮、根菜单等)(例如，包括多个用户界面对象的至少子集(例如，一些、全部等)的缩小比例尺表示的用户界面对象、包括多个用户界面对象的相应子集的表示的用户界面对象等)，同时在三维环境中的相应第二位置处不显示多个用户界面对象(例如，在用户的手部的移动满足第一标准之前、在用户的手部的移动不满足第一标准时、在多个用户界面对象被附加输入取消之后等)，以及同时在相应第二位置处显示多个用户界面对象(例如，响应于用户的手部的移动满足第一标准)。例如，在图7C和图7D中，在一些实施方案中，在远离与用户的手部7202的位置相对应的位置的位置处显示用户界面对象7306、7302和7304之前和之后，计算机系统任选地保持在与用户的手部7202的位置相对应的位置处显示用户界面对象7306、7302和7304。在一些实施方案中，计算机系统在与用户的手部的位置相对应的三维环境中的相应第一位置处显示第一用户界面对象，而不论是否在三维环境中远离相应第一位置的相应第二位置处显示多个用户界面对象，但计算机系统要求用户的注视指向相应第一位置，用户的手部处于经由显示生成部件提供的用户的视场中，用户的手部的预设部分(例如，手掌、手背、内腕等)面向用户，用户的手部处于预设姿势(例如，手部张开且手指伸展，手部握拳且拇指的背面面向用户等)等，以便在与用户的手部的位置相对应的三维环境中的相应第一位置处显示第一用户界面对象。在与用户的手部相对应的相应第一位置处显示与多个用户界面对象相对应的第一用户界面对象，同时在相应第二位置处不显示多个用户界面对象...减少了显示第一用户界面对象所需的输入数量(例如，在用户的手部已移动之后，用户不需要执行附加手势来重新显示与多个用户界面对象相对应的第一用户界面对象)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在与用户的手部的位置相对应的相应第一位置处显示第一用户界面对象时，计算机系统检测与用户的手部的张开姿势和合上姿势之间的转变相对应的用户的手部的手部姿势的变化(例如，张开手部以展示整个手掌或手背，合上手部以形成拳头或半拳头等)。响应于检测到与用户的手部的张开姿势和合上姿势之间的转变相对应的手部姿势的变化，计算机系统根据用户的手部的手部姿势的变化来改变第一用户界面对象的尺寸(例如，根据用户的手部的张开运动来扩大第一用户界面对象，以及根据用户的手部的合上运动来缩小第一用户界面对象等)。例如，在图7C中，根据一些实施方案，如果用户的手部张开得更大，则计算机系统增加用户界面对象7306、7302和7304的尺寸；并且如果用户的手部合上，则计算机系统减小用户界面对象7306、7302和7304的尺寸。例如，在一些实施方案中，手部的移动与经由第一用户界面对象提供的视觉反馈之间存在直接相关。在一些实施方案中，第一用户界面对象的尺寸的改变方向任选地基于手部姿势的改变方向(例如，张开或合上)。在一些实施方案中，第一用户界面对象的尺寸的改变速度任选地基于手部姿势的改变速度。在一些实施方案中，第一用户界面对象的尺寸的改变量任选地基于手部姿势的改变量。另外，在一些实施方案中，随着手部姿势的改变的进展(例如，手部张开，然后合上)，第一用户界面对象增加尺寸并且随后减小尺寸或者反之亦然。根据用户的手部的手部姿势的改变来改变第一用户界面对象的尺寸减少了与第一用户界面对象进行交互所需的输入数量(例如，用户不需要执行附加输入来增加或减小第一用户界面对象的尺寸)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
应当理解，对图8中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当注意，本文相对于本文所述的其他方法(例如，方法9000、10000、11000、12000、13000、14000、15000和16000)所述的其他过程的细节同样以类似的方式适用于上文相对于图8所述的方法8000。例如，以上参考方法8000描述的手势、注视输入、物理对象、用户界面对象、控件、移动、标准、三维环境、显示生成部件、表面、物理对象的表示、虚拟对象和/或动画任选地具有本文参考本文所述的其他方法(例如，方法9000、10000、11000、12000、13000、14000、15000和16000)所述的手势、注视输入、物理对象、用户界面对象、控件、移动、标准、三维环境、显示生成部件、表面、物理对象的表示、虚拟对象和/或动画的特征中的一个或多个特征。为了简明起见，此处不再重复这些细节。
图9是根据一些实施方案的将预设手势的检测连同在相应用户界面对象上保持预设延长时间量(例如，预设停留时间)的注视输入的检测一起使用以使得相应用户界面对象被选择的方法9000的流程图。
在一些实施方案中，方法9000在计算机系统(例如，图1中的计算机系统101)处执行，该计算机系统包括第一显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户的手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法9000通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法9000中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，方法9000在计算机系统(例如，图1中的计算机系统101、相对于图7A至图7D、图7E至图7F、图7G至图7H、图7I至图7M、图7N至图7O、图7P至图7S、图7T至图7U和/或图7V至图7X描述的计算机系统101、相对于图7V至图7X描述的第一计算机系统101-t、相对于图7V至图7X描述的第二计算机系统等)处执行。在一些实施方案中，计算机系统与第一显示生成部件(例如，第一显示生成部件是平视显示器、头戴式显示器(HMD)、显示器、触摸屏、投影仪等)和一个或多个输入设备(例如，相机、控制器、触敏表面、操纵杆、按钮、手套、手表、运动传感器、取向传感器等)通信。在一些实施方案中，第一显示生成部件是相对于图7A至图7U和图7Y至图7Z描述的第一显示生成部件7100、相对于图7V至图7X描述的第一显示生成部件7100-t、相对于图7V至图7X描述的第二显示生成部件等。在一些实施方案中，计算机系统是集成设备，该集成设备具有包围在与第一显示生成部件和一个或多个输入设备中的至少一些输入设备相同的外壳中的一个或多个处理器和存储器。在一些实施方案中，计算机系统包括计算部件(例如，服务器，移动电子设备诸如智能电话或平板设备，可穿戴设备诸如手表、腕带或听筒，台式计算机，膝上型计算机等)，该计算部件包括与第一显示生成部件和/或一个或多个输入设备分开的一个或多个处理器和存储器。在一些实施方案中，第一显示生成部件以及一个或多个输入设备被集成并包围在相同外壳中。根据一些实施方案，相对于图7E至图7H描述了方法9000的特征中的许多特征。
在方法9000中，计算机系统经由第一显示生成部件显示(9002)三维环境(例如，虚拟三维环境、增强现实环境、物理环境的透传视图、物理环境的相机视图等)的第一视图(例如，对应于第一视点的视图、从第一视角看到的视图等)，包括至少在三维环境中的第一位置处显示第一用户界面对象并在三维环境中的不同于第一位置的第二位置处显示第二用户界面对象。这例如在图7E至图7H中示出，其中根据一些实施方案，在三维环境7104的第一视图中显示第一用户界面对象7308和第二用户界面对象7311。在一些实施方案中，三维环境是没有物理环境的表示的虚拟三维环境。在一些实施方案中，三维环境是混合现实环境，该混合现实环境是由与物理环境相对应的传感器数据增强的虚拟环境。在一些实施方案中，三维环境是增强现实环境，该增强现实环境包括一个或多个虚拟对象和第一显示生成部件周围的物理环境的至少一部分的表示(例如，相机视图或透过第一显示生成部件的透明或半透明部分的视图)。在一些实施方案中，第一用户界面对象是用于激活第一应用程序的第一应用程序图标、用于开始与第一用户的通信会话的第一用户的第一头像、用于开始第一计算机生成体验的第一图标、第一交互式控件、第一可选菜单项等；并且第二用户界面对象是用于激活第二应用程序的第二应用程序图标、用于开始与第二用户的通信会话的第二用户的第二头像、用于开始第二计算机生成体验的第二图标、第二交互式控件、第二可选菜单项等。
在方法9000中，在经由第一显示生成部件显示三维环境的第一视图时，计算机系统检测(9004)指向与三维环境中的第一位置相对应的三维环境中的第一区域的第一注视输入(例如，当在三维环境中的第一位置处显示第一用户界面对象时，第一区域被定义为在三维环境的当前显示视图中的第一用户界面对象的可见区域内或基本上在该可见区域内)。这例如在图7G和图7H中示出，其中根据一些实施方案，注视输入7212指向与三维环境7104的第一视图中的第一用户界面对象7308相对应的区域。
在方法9000中，在检测指向三维环境中的第一区域的第一注视输入时，计算机系统检测(9006)满足第一手势标准(例如，用于检测预设选择手势、轻击手势、捏合手势、捏合并拖动手势等的标准)的手部的第一移动。这例如在图7G和图7H中示出，其中根据一些实施方案，在计算机系统检测满足第一手势标准的移动731时，注视输入7212指向与三维环境7104的第一视图中的第一用户界面对象7308相对应的区域。
在方法9000中，响应于在检测到指向三维环境中的第一区域的第一注视输入时检测到满足第一手势标准的手部的第一移动(9008)：根据确定在已满足第一注视标准之后(例如，在继续满足第一注视标准时或在上次满足第一注视标准时的预设时间窗口内等)检测到满足第一手势标准的手部的第一移动(例如，第一移动的完成或第一移动的至少一部分等)，其中第一注视标准要求第一注视输入在第一区域处保持至少第一预设时间量(例如，500毫秒、700毫秒、1秒、2秒等)以便满足第一注视标准(例如，第一注视输入的精确位置可改变但在第一预设时间量期间整体上被连续地限制在第一区域内)，计算机系统在第一用户界面对象与第二用户界面对象之间选择(9010)第一用户界面对象(例如，选择第一用户界面对象而不选择第二用户界面对象)；并且根据确定在已满足第一注视标准之前(并且任选地，上次满足第一注视标准时的预设时间窗口之外)检测到满足第一手势标准的手部的第一移动(例如，第一移动的完成、第一移动的开始等)，计算机系统放弃(9012)对第一用户界面对象的选择。这些特征例如在图7G和图7H中示出，如果指向与第一用户界面对象7308相对应的区域的注视输入7212尚未保持至少第一时间量T0+Th，则手部的移动7312不引起对第一用户界面对象7308的选择(如图7G所示)；并且根据一些实施方案，如果注视输入7212已在第一用户界面对象7308的区域中保持至少第一时间量，则手部的移动7312引起对第一用户界面对象7308的选择(如图7H所示)。根据确定在已满足第一注视标准之后检测到满足第一手势标准的手部的第一移动而在第一用户界面对象与第二用户界面对象之间选择第一用户界面对象，或根据确定在已满足第一注视标准之前检测到满足第一手势标准的手部的第一移动而放弃对第一用户界面对象的选择，提供了附加控件选项，但不会使具有附加显示的控件的UI混乱(例如，允许用户通过相对于满足第一注视标准而言手部的第一移动的定时来控制是否选择第一用户界面对象，而非依赖于附加显示的控件)。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，选择第一用户界面对象包括执行与第一用户界面对象相对应的第一操作(例如，计算机系统在没有检测到另一用户输入的情况下执行第一操作，任选地在第一手势标准和第一注视标准都满足时立即执行第一操作)。例如，在图7H中，根据一些实施方案，对第一用户界面对象7308的选择任选地引起与第一用户界面对象7308相对应的操作的执行。在一些实施方案中，第一用户界面对象是第一应用程序图标，并且第一操作是启动与第一应用程序图标相对应的第一应用程序。在一些实施方案中，第一用户界面对象是与第一用户相对应的第一头像，并且第一操作是发起用于建立与第一用户的通信会话的过程。在一些实施方案中，第一用户界面对象是用于开始计算机生成体验的图标，并且第一操作是开始三维环境中的第一计算机生成体验或发起用于在三维环境中显示第一计算机生成体验的过程。在选择第一用户界面对象时执行与第一用户界面对象相对应的第一操作减少了执行与第一用户界面对象相对应的第一操作所需的输入数量(例如，在选择第一用户界面对象之后，用户不需要执行附加手势来执行与第一用户界面对象相对应的第一操作)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当第一用户界面对象保持被选择(例如，响应于第一手势标准和第一注视标准已彼此同时满足而被选择)时，计算机系统检测满足预设标准的第一用户输入，该预设标准用于在第一用户界面对象或第二用户界面对象中的相应一者被选择时激活第一用户界面对象和第二用户界面对象中的相应一者(例如，用户输入是第二手势、语音命令、由输入设备接收到的确认输入等)。响应于检测到第一用户输入，计算机系统执行与第一用户界面对象相对应的第一操作(例如，激活第一用户界面对象而不是第二用户界面对象，因为在选择第一用户界面对象且未选择第二用户界面对象时检测到第一用户输入)。例如，在图7H中，根据一些实施方案，在选择第一用户界面对象7308之后，计算机系统任选地检测满足用于激活第一用户界面对象7308或第二用户界面对象7311的要求的用户输入；并且根据确定第一用户界面对象7308被选择，计算机系统执行与第一用户界面对象7308相对应的操作。在一些实施方案中，第一用户界面对象是第一应用程序图标，并且第一操作是启动与第一应用程序图标相对应的第一应用程序。在一些实施方案中，第一用户界面对象是与第一用户相对应的第一头像，并且第一操作是发起用于建立与第一用户的通信会话的过程。在一些实施方案中，第一用户界面对象是用于开始计算机生成体验的图标，并且第一操作是开始三维环境中的第一计算机生成体验或发起用于在三维环境中显示第一计算机生成体验的过程。响应于在第一用户界面对象保持被选择时检测到第一用户输入而执行与第一用户界面对象相对应的第一操作提供了附加控件选项，但不会使具有附加显示的控件(例如，用于与第一用户界面相对应的不同第一操作的单独控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统在与第一注视输入的当前位置相对应的三维环境中的相应位置处显示位置指示符(例如，虚拟聚光灯、光标、十字准线、标记等)，其中在三维环境中的第一区域处检测到第一注视输入之前以及在三维环境中的第一区域处检测到第一注视输入时，根据第一注视输入的移动来更新位置指示符的相应位置(例如，不论第一注视输入是否满足第一注视标准和/或不论是在第一区域处还是在第一区域之外检测到第一注视输入)。例如，在图7G和图7H中，根据一些实施方案，计算机系统任选地显示指示注视输入7212的当前位置的光标或聚光灯，其中光标或聚光灯根据注视输入7212的移动而移动(例如，在第一用户界面对象7308的区域中检测到注视输入的时间之前、之后和期间)。在与第一注视输入的当前位置相对应的相应位置(其根据第一注视输入的移动而更新)处显示位置指示符向用户提供了改进的视觉反馈(例如，关于用户的注视所指向的位置)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，满足第一手势标准的手部的第一移动包括将手部的两根或更多根手指捏合在一起并且在两根或更多根手指捏合在一起时移动手部(例如，在手部的拇指触碰食指和/或中指的情况下整个手部的侧向运动和/或旋转运动)。响应于检测到在两根或更多根手指捏合在一起时手部的移动，根据确定第一用户界面对象已被选择(例如，响应于在满足第一注视标准时手部的两根或更多根手指捏合)，计算机系统根据在两根或更多根手指捏合在一起时手部的移动来滚动在第一用户界面对象内显示的内容(例如，滚动通过在第一用户界面对象内显示的文本、图像、用户界面对象、控件、图标、头像等的不同页面、部分、子集)。例如，在图7K至图7M中，第一用户界面对象是用户界面对象7306’，并且手部的移动是在注视输入7206已在用户界面对象7306’的区域中保持超过第一时间量时由手部7202执行的捏合并拖动手势；并且根据一些实施方案，响应于捏合并拖动手势，计算机系统任选地根据手部7202的移动来滚动用户界面对象7306’内的内容和/或用户界面对象。在一些实施方案中，如果第一注视输入尚未满足第一注视标准并且第一用户界面对象未被选择，则将手部的两根或更多根手指捏合在一起并且在两根或更多根手指捏合在一起时移动手部不会引起第一用户界面对象内的内容滚动。根据在两根或更多根手指捏合在一起时手部的移动来滚动在第一用户界面内显示的内容减少了在第一用户界面对象内滚动内容所需的输入数量(例如，允许用户以单个手势选择第一用户界面对象并滚动在第一用户界面对象内显示的内容)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，满足第一手势标准的手部的第一移动包括将手部的两根或更多根手指捏合在一起并且在两根或更多根手指捏合在一起时移动手部(例如，在手部的拇指触碰食指和/或中指的情况下整个手部的侧向运动和/或旋转运动)。响应于检测到在两根或更多根手指捏合在一起时手部的移动，根据确定第一用户界面对象已被选择(例如，响应于在满足第一注视标准时手部的两根或更多根手指捏合)，计算机系统根据在手部的两根或更多根手指捏合在一起时手部的移动来在三维环境中移动第一用户界面对象(例如，平移、旋转、枢转等)。例如，在图7K至图7M中，第一用户界面对象是用户界面对象7306’，并且手部的移动是在注视输入7206已在用户界面对象7306’的区域中保持超过第一时间量时由手部7202执行的捏合并拖动手势；并且根据一些实施方案，响应于捏合并拖动手势，计算机系统任选地根据手部7202的移动来旋转和/或平移用户界面对象7306’。在一些实施方案中，如果第一注视输入尚未满足第一注视标准并且第一用户界面对象未被选择，则将手部的两根或更多根手指捏合在一起并且在两根或更多根手指捏合在一起时移动手部不会引起第一用户界面对象内的内容滚动。根据在手部的两根或更多根手指捏合在一起时手部的移动来移动第一用户界面对象减少了移动第一用户界面对象所需的输入数量(例如，允许用户以单个手势选择和移动第一用户界面对象)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，能够响应于手部的第一移动而满足第一手势标准，而不论手部的第一移动是否发生在与三维环境的第一区域相对应的物理环境的区域中。例如，在图7H中，根据一些实施方案，无论手部的移动7312发生在远离与三维环境中的第一用户界面对象7308的位置相对应的位置的区域中还是发生在与三维环境中的第一用户界面对象7308的位置相对应的位置处，计算机系统都将根据确定在注视输入7212满足第一注视标准的同时移动7312满足第一手势标准来选择第一用户界面对象7308。例如，在一些实施方案中，如果当手部的移动发生在被映射到三维环境中在第一用户界面对象的阈值范围内的区域(例如，第一区域、由第一用户界面对象占据的区域等)的物理环境的空间区域中时，该移动满足第一手势标准，则当手部的移动发生在被映射到三维环境中在第一用户界面对象的阈值范围之外或远离该阈值范围的区域的物理环境的空间区域中时，该相同移动将满足第一手势标准。换句话讲，在一些实施方案中，第一移动的位置不是确定手部的第一移动是否满足第一手势标准的因素。在一些实施方案中，第一移动的位置是确定手部的第一移动是否满足第一手势标准的因素，并且任选地需要将该位置映射到三维环境中的第一位置以便满足第一手势标准。在一些实施方案中，第一移动的位置是确定手部的第一移动是否满足第一手势标准的因素，并且任选地需要将该位置映射到三维环境中的第一区域之外的位置以便满足第一手势标准。响应于手部的第一移动来满足第一手势标准而不论手部的第一移动是否发生在与三维环境的第一区域相对应的物理环境的区域中提供了附加控件选项，但不会使UI混乱(例如，通过不要求手部的第一移动发生在三维环境中的第一或第二用户界面对象上或附近(这可使三维环境、第一区域和/或第一或第二用户界面对象的视图模糊))。提供附加控件选项但不会使UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到指向三维环境中的第一区域的第一注视输入，计算机系统改变在三维环境中的第一位置处的第一用户界面对象的第一视觉特性的值。例如，在图7G中，根据一些实施方案，即使当尚未检测到移动7312时并且即使注视输入7212尚未在该区域中保持至少第一时间量，计算机系统任选地也改变第一用户界面对象7308的外观作为用于检测第一用户界面对象7308的区域中的注视输入7212的视觉反馈。在一些实施方案中，当第一注视输入指向与三维环境中的第一位置相对应的三维环境中的第一区域时，第一用户界面对象改变尺寸(例如，扩大或缩小)、颜色或其他视觉特性。响应于检测到指向三维环境中的第一区域的第一注视输入而改变第一用户界面的第一视觉特性的值向用户提供了改进的视觉反馈(例如，计算机系统已检测到用户的注视指向三维环境的第一区域)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到指向三维环境中的第一区域的第一注视输入：根据确定第一注视输入满足第一注视标准，计算机系统改变在三维环境中的第一位置处的第一用户界面对象的第一视觉特性的值；并且根据确定第一注视输入不满足第一注视标准，计算机系统放弃改变三维环境中的第一用户界面对象的第一视觉特性的值。例如，在图7G中，根据一些实施方案，计算机系统任选地在注视输入7212已在第一用户界面对象7308的区域中保持至少第一时间量时改变第一用户界面对象7308的外观作为用于检测该区域中的注视输入7212的视觉反馈，但是在注视输入7212还没有在该区域中保持至少第一时间量时不改变第一用户界面对象7308的外观。在一些实施方案中，当第一注视输入指向与三维环境中的第一位置相对应的三维环境中的第一区域并且在该第一区域处保持至少第一预设阈值时间量时，第一用户界面对象改变尺寸(例如，扩大或缩小)、颜色或其他视觉特性，而不改变第二用户界面对象的视觉特性。在一些实施方案中，当第一注视输入指向与三维环境中的第一位置相对应的三维环境中的第一区域但未在该第一区域处保持至少第一预设阈值时间量时，第一用户界面对象不改变外观(例如，不改变尺寸(例如，扩大或缩小)、颜色或其他视觉特性等)。在一些实施方案中，第一用户界面对象的显示特性的变化通过第一用户界面对象与三维环境的其余部分之间的视觉对比度来实现(例如，当第一注视输入满足第一注视标准时，使三维环境的可见部分的其余部分变暗，同时保持第一用户界面对象的初始外观)。在一些实施方案中，响应于在第一注视输入已满足第一注视标准之后满足第一手势标准的手部的第一移动而选择第一用户界面对象时，计算机系统进一步改变第一用户界面对象的外观，任选地连同执行与对第一用户界面对象的选择相关联的操作。分别根据确定第一注视输入满足或不满足第一注视标准来改变或放弃改变第一用户界面对象的第一视觉特性的值提供了附加控件选项，但不会使具有附加显示的控件的UI混乱(例如，用户不需要选择或取消选择任何附加控件以便控制第一用户界面对象的第一视觉特性的值是否改变)。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于在检测到指向三维环境中的第一区域的第一注视输入时检测到满足第一手势标准的手部的第一移动：根据确定在检测到第一注视输入时(例如，在满足第一注视标准之前，在满足或继续满足第一注视标准时，在上次满足第一注视标准时的预设时间窗口内等)检测到满足第一手势标准的手部的第一移动(例如，第一移动的完成或第一移动的至少一部分等)，计算机系统改变三维环境中的第一位置处的第一用户界面对象的第一视觉特性的值。例如，在图7H中，根据一些实施方案，计算机系统任选地改变第一用户界面对象7308的外观作为用于检测第一用户界面对象7308的区域中的注视输入7212连同检测满足第一手势标准的移动7312的至少一部分的视觉反馈。在一些实施方案中，根据确定在第一区域处未同时检测到第一注视输入时检测到满足第一手势标准的手部的第一移动(例如，第一移动的完成、第一移动的开始、第一移动的全部等)，计算机系统放弃改变第一用户界面对象的外观(例如，放弃改变第一用户界面对象的第一视觉特性的值，并且保持第一用户界面对象的外观等)。在一些实施方案中，当在注视输入指向与三维环境中的第一位置相对应的三维环境中的第一区域时检测到满足第一手势标准的手部的第一移动的时候，第一用户界面对象改变尺寸(例如，扩大或缩小)、颜色或其他视觉特性。在一些实施方案中，当在没有注视输入指向与三维环境中的第一位置相对应的三维环境中的第一区域时检测到满足第一手势标准的手部的第一移动的时候，第一用户界面对象不改变尺寸(例如，扩大或缩小)、颜色或其他视觉特性。在一些实施方案中，在注视输入指向三维环境的第一区域，但注视输入尚未在第一区域处保持超过预设阈值时间量以满足第一注视标准时，第一用户界面对象响应于手部的第一移动而改变视觉外观。根据确定在检测到第一注视输入时手部的第一移动满足第一手势标准来改变第一用户界面对象的第一视觉特性的值向用户提供了改进的视觉反馈(例如，已满足第一手势标准并且检测到第一注视输入，但在满足第一注视标准之前)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据确定第一手势标准和第一注视标准都满足，计算机系统在三维环境中提供第一视觉反馈(例如，第一视觉反馈是第一用户界面对象的视觉特征的第一变化和/或第一用户界面对象之外的三维环境的第二变化等)。根据确定第一手势标准被满足且第一注视标准未被满足，计算机系统在三维环境中提供第二视觉反馈(例如，第二视觉反馈是第一用户界面对象的视觉特征的第三变化和/或第一用户界面对象之外的三维环境的第四变化等)，第二视觉效果不同于第一视觉效果。例如，分别在图7G、图7H和图7F中的场景中，根据一些实施方案，计算机系统任选地提供不同的视觉反馈以指示用于选择第一用户界面对象7308的标准的哪些集合或子集已被满足或未被满足。在一些实施方案中，如果在第一区域中未检测到注视输入时满足第一手势标准，则计算机系统在三维环境中提供第三视觉反馈(例如，第三视觉反馈可以是第一用户界面对象的视觉特征的第五变化和/或第一用户界面对象之外的三维环境的第六变化等)；如果手部的移动不满足第一手势标准但第一注视标准被满足，则计算机系统在三维环境中提供第四视觉反馈(例如，第四视觉反馈可以是第一用户界面对象的视觉特征的第七变化和/或第一用户界面对象之外的三维环境的第八变化等)；如果手部的移动不满足第一手势标准并且注视也不指向第一区域，则计算机系统不提供关于第一用户界面对象的视觉反馈。在一些实施方案中，第一视觉效果、第二视觉效果、第三视觉效果和第四视觉效果都彼此不同。分别根据确定第一手势标准和第一注视标准都满足或都不满足来提供第一视觉反馈或第二视觉反馈向用户提供了改进的反馈(例如，提供用户是否已成功满足第一手势标准和第一注视标准两者的视觉指示)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
应当理解，对图9中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当注意，本文相对于本文所述的其他方法(例如，方法8000、10000、11000、12000、13000、14000、15000和16000)所述的其他过程的细节同样以类似的方式适用于上文相对于图9所述的方法9000。例如，以上参考方法9000描述的手势、注视输入、物理对象、用户界面对象、控件、移动、标准、三维环境、显示生成部件、表面、物理对象的表示、虚拟对象和/或动画任选地具有本文参考本文所述的其他方法(例如，方法8000、10000、11000、12000、13000、14000、15000和16000)所述的手势、注视输入、物理对象、用户界面对象、控件、移动、标准、三维环境、显示生成部件、表面、物理对象的表示、虚拟对象和/或动画的特征中的一个或多个特征。为了简明起见，此处不再重复这些细节。
图10是根据一些实施方案的响应于用户输入而在不同组可选择用户界面对象之间切换的方法10000的流程图，其中相应组的视觉显著性根据其是朝向还是远离三维环境中的第一位置移动而增大或减小。
在一些实施方案中，方法10000在计算机系统(例如，图1中的计算机系统101)处执行，该计算机系统包括第一显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户的手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法10000通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法10000中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，方法10000在计算机系统(例如，图1中的计算机系统101、相对于图7A至图7D、图7E至图7F、图7G至图7H、图7I至图7M、图7N至图7O、图7P至图7S、图7T至图7U和/或图7V至图7X描述的计算机系统101、相对于图7V至图7X描述的第一计算机系统101-t、相对于图7V至图7X描述的第二计算机系统等)处执行。在一些实施方案中，计算机系统与第一显示生成部件(例如，第一显示生成部件是平视显示器、头戴式显示器(HMD)、显示器、触摸屏、投影仪等)和一个或多个输入设备(例如，相机、控制器、触敏表面、操纵杆、按钮、手套、手表、运动传感器、取向传感器等)通信。在一些实施方案中，第一显示生成部件是相对于图7A至图7U和图7Y至图7Z描述的第一显示生成部件7100、相对于图7V至图7X描述的第一显示生成部件7100-t、相对于图7V至图7X描述的第二显示生成部件等。在一些实施方案中，计算机系统是集成设备，该集成设备具有包围在与第一显示生成部件和一个或多个输入设备中的至少一些输入设备相同的外壳中的一个或多个处理器和存储器。在一些实施方案中，计算机系统包括计算部件(例如，服务器，移动电子设备诸如智能电话或平板设备，可穿戴设备诸如手表、腕带或听筒，台式计算机，膝上型计算机等)，该计算部件包括与第一显示生成部件和/或一个或多个输入设备分开的一个或多个处理器和存储器。在一些实施方案中，第一显示生成部件以及一个或多个输入设备被集成并包围在相同外壳中。根据一些实施方案，相对于图7I至图7M描述了方法10000的特征中的许多特征。
在方法10000中，计算机系统经由第一显示生成部件显示(10002)三维环境(例如，虚拟三维环境、增强现实环境、物理环境的透传视图、物理环境的相机视图等)的第一视图(例如，与第一视点相对应的视图、从第一视角看到的视图等)，包括在三维环境中的第一位置处显示来自多个不同组可选择用户界面对象(例如，上述组中的一些或全部等)的第一组可选择用户界面对象(例如，与不同应用程序相对应的一组应用程序图标、与不同用户相对应的一组头像、与不同计算机生成体验相对应的一组图标、与不同设备和/或操作系统控制功能相对应的一组控件等)。这例如在图7K中示出，其中在一些实施方案中，在三维环境7104中的第一位置处示出第一组用户界面对象7316-a至7316-d。
在方法10000中，当在三维环境中的第一位置处显示第一组可选择用户界面对象时，计算机系统检测(10004)与在三维环境中的第一位置处显示来自多个不同组可选择用户界面对象的第二组可选择用户界面对象的请求相对应的用户输入，该第二组可选择用户界面对象不同于该第一组可选择用户界面对象(例如，在对象类型方面不同(例如，应用程序图标与头像与用于计算机生体验的图标)，在组成对象方面不同(例如，不重叠或相交等的第一组对象和第二组对象)等)。这例如在图7K中示出，其中在一些实施方案中，当在三维环境7104中的第一位置处示出第一组用户界面对象7316-a至7316-d时，计算机系统检测到手部7202的移动7314连同指向与第二组可选择用户界面对象7318-a至7318-d相对应的用户界面对象7310的注视输入7206。在一些实施方案中，第一组可选择用户界面对象具有对应的第一组表示，第二组可选择用户界面对象具有对应的第二组表示，并且与在三维环境中的第一位置处显示第二组可选择用户界面对象的请求相对应的用户输入包括选择第二组表示(例如，在与用户的手部相对应的位置(例如，锁定到手部并且根据手部在物理环境中的移动而移动的位置)处显示，或者在远离与用户的手部相对应的位置的位置(例如，锁定到视场的位置或锁定到三维环境的位置等)处显示等)的用户输入。在一些实施方案中，根据确定已检测到选择第一组表示的用户输入，在第一位置处显示第一组可选择用户界面对象。在一些实施方案中，选择相应组表示的用户输入包括选择输入，该选择输入指向相应组表示的位置、将选择器对象移动到相应组表示的位置、或者在相应组表示具有输入焦点(例如，在当前检测到的注视输入或选择器对象等的位置处)时被检测到。在一些实施方案中，与在三维环境中的第一位置处显示第二组可选择用户界面对象的请求相对应的用户输入是根据多组可选择用户界面对象的顺序来一个接一个地导航或滚动通过多组可选择用户界面对象的导航输入(例如，轻扫输入、导航控件上的轻击、将选择器对象从一个组表示移动到另一个组表示的拖动输入、语音命令“下一个”等)。
在方法10000中，响应于检测到与在三维环境中的第一位置处显示第二组可选择用户界面对象的请求相对应的用户输入(10006)：计算机系统将三维环境中的第一组可选择用户界面对象远离三维环境中的第一位置移动(10008)，并且随着第一组可选择用户界面对象远离三维环境中的第一位置移动，减小三维环境中的第一组可选择用户界面对象的视觉显著性(例如，停止显示第一组可选择用户界面对象，或者减小第一组可选择用户界面对象的尺寸、清晰度、颜色饱和度、亮度等)；并且计算机系统向三维环境中的第一位置移动(10010)三维环境中的第二组可选择用户界面对象，并且随着第二组可选择用户界面对象移动到三维环境中的第一位置，增加第二组可选择用户界面对象的视觉显著性(例如，显示(如果先前未显示)第二组可选择用户界面对象，或者增加尺寸、清晰度、颜色饱和度、亮度等(如果先前以减小的尺寸、清晰度、颜色饱和度、亮度等显示)等)。这例如在图7K至图7M中示出，其中当在三维环境7104中的第一位置处示出第一组用户界面对象7316-a至7316-d时，计算机系统检测到手部7202的移动7314连同指向与第二组可选择用户界面对象7318-a至7318-d相对应的用户界面对象7310的注视输入7206；并且在一些实施方案中，响应于用户输入，计算机系统将第一组用户界面对象7316-a至7316-d远离三维环境7104中的第一位置移动到当前视场之外，同时将第二组用户界面对象7318-a至7318-d从视场之外朝向三维环境7104中的第一位置移动。在一些实施方案中，同时执行第一组可选择用户界面对象的移动和第二组可选择用户界面对象的移动，并且在第一组可选择用户界面对象在三维环境中移动的至少一部分时间内以及在第二组可选择用户界面对象在三维环境中移动的至少一部分时间内在三维环境的第一视图中同时显示第一组可选择用户界面对象和第二组可选择用户界面对象。
在一些实施方案中，当检测到与在三维环境中的第一位置处显示第二组可选择用户界面对象的请求相对应的用户输入时，在三维环境的第一视图中同时显示第一组可选择用户界面对象和第二组可选择用户界面对象。例如，在图7K中，根据一些实施方案，计算机系统任选地将第二组可选择用户界面对象7318的简化表示(例如，具有渐淡的外观、距视点更大的虚拟距离、在比第一位置更不显著的位置等)与第一组可选择用户界面对象7316同时在三维环境7104的视图中显示。在一些实施方案中，在三维环境中的第一位置处显示第一组可选择用户界面对象，并且在三维环境中与第一位置不同的第二位置处显示第二组可选择用户界面对象。在一些实施方案中，与视场中的第二位置(例如，视场的周边部分、用户的注视或焦点未指向的区域、视场的预设区域的周边部分(例如，右上象限、左下象限等)等)相比，第一位置在经由第一显示生成部件提供的视场中的中心部分或另一视觉显著位置(例如，用户的注视或焦点指向的区域、视场的预设区域的中心部分(例如，右上象限、左下象限等)等)中。在一些实施方案中，在第二组可选择用户界面对象移动到第一位置并且第一组可选择用户界面对象远离第一位置移动(例如，移动到第二位置、移动到第三位置等)之后，在第一视图中同时显示第一组可选择用户界面对象和第二组可选择用户界面对象。在一些实施方案中，在第二组可选择用户界面对象移动到第一位置并且任选地第三组可选择用户界面对象移动到第二位置之后，第一组可选择用户界面对象移动到视线之外。在检测到与在三维环境中的第一位置处显示第二组可选择用户界面对象的请求相对应的用户输入时同时显示第一组可选择用户界面对象和第二组可选择用户界面对象向用户提供了改进的视觉反馈(例如，提供另一组可选择用户界面对象可用的视觉反馈)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在检测到与在三维环境中的第一位置处显示第二组可选择用户界面对象的请求相对应的用户输入的开始时，不在三维环境的第一视图中显示第二组可选择用户界面对象。例如，如图7K所示，根据一些实施方案，在已检测到满足用于显示第二组用户界面对象7318的标准的输入之前，计算机系统任选地不将第二组可选择用户界面对象7318与第一组可选择用户界面对象7316同时在三维环境7104的视图中显示。例如，在一些实施方案中，当在三维环境中的第一位置处显示第一组可选择用户界面对象时，不同时在三维环境中与第一位置不同的第二位置处显示第二组可选择用户界面对象。在一些实施方案中，第一位置位于经由第一显示生成部件提供的视场中的中心部分或另一视觉显著位置(例如，用户的注视或焦点所指向的区域、视场的预设区域的中心部分(例如，右上象限、左下象限等)等)中。在一些实施方案中，在第二组可选择用户界面对象移动到第一位置(例如，从三维环境的第一视图之外，或在沉浸于第一视图之后等)并且第一组可选择用户界面对象远离第一位置移动之后，第一组可选择用户界面对象停止显示或移动到较不显著或中心的位置。在检测到与在三维环境中的第一位置处显示第二组可选择用户界面对象的请求相对应的用户输入的开始时不在三维环境的第一视图中显示第二组可选择用户界面对象提供了附加控件选项，但不会使具有附加显示的控件的UI混乱(例如，允许用户在第一组可选择用户界面对象和第二组可选择用户界面对象之间切换，但不会使具有多组用户界面对象的UI混乱)。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在三维环境中的第一位置处显示第一组可选择用户界面对象时(例如，在检测到与在第一位置处显示第二组可选择用户界面对象的请求相对应的用户输入之前)，计算机系统在三维环境的第一视图中(例如，在经由第一显示生成部件提供的视场的预设角落中、在第一视图中可见的三维环境中的预设位置处、在与用户的手部的位置相对应的位置处等)显示与多个不同组用户界面对象相对应的相应组表示(例如，相应组图标、类别图标等)，该相应组表示包括与第一组可选择用户界面对象相对应的第一组表示和与第二组可选择用户界面对象相对应的第二组表示。例如，如图7K所示，根据一些实施方案，当第一组可选择用户界面对象7316-a至7316-d在三维环境的视图中显示时，组表示7304和7310都在三维环境中显示。当将第二组可选择用户界面对象朝向三维环境中的第一位置移动时(例如，在检测到与在第一位置处显示第二组可选择用户界面对象的请求相对应的用户输入之后)，计算机系统保持在三维环境的第一视图中(例如，在经由第一显示生成部件提供的视场的预设角落中、在第一视图中可见的三维环境中的预设位置处、在与用户的手部的位置相对应的位置处等)显示与多个不同组用户界面对象相对应的相应组表示(例如，相应组图标、类别图标等)。例如，如图7L所示，根据一些实施方案，当第一组可选择用户界面对象7316-a至7316-d远离三维环境的视图中的第一位置移动并且第二组可选择用户界面对象7318-a至7318-d朝向第一位置移动时，组表示7304和7310仍然都在三维环境中显示。在一些实施方案中，在第二组可选择用户界面对象移动到三维环境中的第一位置之后，计算机系统继续保持显示相应组表示。在一些实施方案中，只要在三维环境中的第一位置处显示多组可选择用户界面对象中的至少一组，就持久地显示相应组表示。在一些实施方案中，即使当在三维环境中的第一位置处没有显示多组可选择用户界面对象中的任何一组时，也持久地显示相应组表示；并且一个或所有相应组表示的选择(例如，指向一个或多个组表示的位置的注视输入、指向一个或多个组表示的位置的轻击输入等)使得计算机系统在三维环境中的第一位置处显示可选择用户界面对象的组中的一组或多组。在第一位置处显示第一组可选择用户界面对象的同时显示与多个不同组用户界面对象相对应的相应组表示，并且在朝向三维环境中的第一位置移动第二组可选择用户界面对象的同时保持显示与多个不同组用户界面对象相对应的相应组表示，向用户提供了改进的视觉反馈(例如，通过即使在移动第二组可选择用户界面对象时也保持显示多个不同组用户界面对象)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，检测与在三维环境中的第一位置处显示第二组可选择用户界面对象的请求相对应的用户输入包括：在三维环境中的第一位置处显示第一组可选择用户界面对象时，检测指向第二组表示的选择输入(例如，轻击、轻扫、捏合、语音命令等)。例如，在图7K中，在一些实施方案中，用户输入包括指向与第二组可选择用户界面对象7318-a至7318-d相对应的组表示7310的注视输入7216，连同手部7202的移动7314。在一些实施方案中，选择输入包括在第一组表示是当前选择的组表示时检测到的与第二组表示的位置相对应的位置处的轻击输入。在一些实施方案中，选择输入包括在第一组表示是当前选择的组表示并且第二组表示是由轻扫方向指定的导航/滚动方向上的下一个表示时检测到的与相应组表示(作为整体或单独地)的位置相对应的位置处的轻扫输入。在一些实施方案中，选择输入是在输入焦点在相应组表示的位置上(例如，注视输入指向相应组表示的位置，相应组表示已由先前输入选择等)时远离与相应组表示的位置相对应的位置检测到的轻击输入或轻扫输入。在第一位置处显示第一组可选择用户界面对象时检测指向第二组表示的选择输入提供了附加控件选项，但不会使具有附加显示的控件(例如，用于移动第一组可选择用户界面对象和/或第二组可选择用户界面对象的附加控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，检测指向在三维环境中显示的第二组表示的选择输入包括：检测指向第二组表示的注视输入，连同检测物理环境中(例如，在空中、远离用户的手部等)的预设手势输入(例如，轻击、捏合手势、轻弹、轻扫、双击等)。例如，在图7K中，在一些实施方案中，选择输入包括指向与第二组可选择用户界面对象7318-a至7318-d相对应的组表示7310的注视输入7216，连同满足用于检测预设手势输入(例如，捏合手势、轻击手势等)的标准的手部7202的移动7314。在一些实施方案中，响应于检测到指向在三维环境中显示的第一组表示的选择输入(包括检测到指向第一组表示的注视输入，连同检测到预设手势输入)，计算机系统在三维环境中的第一位置处重新显示第一组可选择用户界面对象。在一些实施方案中，响应于检测到指向在三维环境中显示的第三组表示的选择输入(包括检测到指向第三组表示的注视输入，连同检测到预设手势输入)，计算机系统以与相对于在第一位置处显示第二组可选择用户界面对象所描述的方式类似的方式在三维环境中的第一位置处显示第三组可选择用户界面对象(并且将第二组可选择用户界面对象远离第一位置移动)。检测指向第二组表示的注视输入，连同检测物理环境中的预设手势输入，提供了附加控件选项，但不会使具有附加显示的控件(例如，用于选择第二组表示的附加控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在三维环境中的第一位置处显示相应组可选择用户界面对象(例如，第一组可选择用户界面对象、第二组可选择用户界面对象等)时，计算机系统检测指向相应组可选择用户界面对象的相应组表示(例如，在第一位置处显示第一组可选择用户界面对象时的第一组表示、在第一位置处显示第二组可选择用户界面对象时的第二组表示等)的相应选择输入(例如，轻击、轻扫、捏合、语音命令等)。响应于检测到指向相应组可选择用户界面对象的相应组表示的相应选择输入，计算机系统停止在三维环境中的第一位置处显示相应组可选择用户界面对象，同时不将另一组可选择用户界面对象移动到第一位置。例如，在图7K中，根据一些实施方案，如果注视输入7216指向与对应于当前显示的第一组可选择用户界面对象7316-a至7316-d(例如，而不是用户界面对象7310)的用户界面对象7304相对应的区域，则计算机系统任选地停止在第一位置处显示第一组可选择用户界面对象7316-a至7316-d，同时不显示第二组可选择用户界面对象7318-a至7318-d。例如，在一些实施方案中，当通过选择输入来选择第一组可选择用户界面对象的第一组表示时，根据确定当前在第一位置处显示第一组可选择用户界面对象，计算机系统将第一组可选择用户界面对象缩小到第一组表示，但不用另一组可选择用户界面对象替换第一组可选择用户界面对象；但是根据确定当前没有在第一位置处显示第一组可选择用户界面对象(例如，当前没有显示组，或者在第一位置处显示第二组可选择用户界面对象等)，计算机系统在第一位置处显示第一组可选择用户界面对象(例如，将当前显示的组(如果有的话)远离第一位置移动)。响应于检测到指向相应组可选择用户界面对象的相应组表示的相应选择输入而停止在第一位置处显示相应组可选择用户界面对象，并且不将另一组可选择用户界面对象移动到第一位置，提供了附加控件选项，但不会使具有附加显示的控件(例如，用于停止显示相应组可选择用户界面对象的附加控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在三维环境中的第一位置处显示第一组可选择用户界面对象时(例如，在检测到与在第一位置处显示第二组可选择用户界面对象的请求相对应的用户输入之前)，计算机系统以比第二组表示(和其他组表示)更大的视觉显著性(例如，以更大的尺寸、以更大的亮度、以更高的细节水平、在更显著的位置处、在选择对象的位置处等)显示第一组表示。当朝向三维环境中的第一位置移动第二组可选择用户界面对象时(例如，在检测到与在第一位置处显示第二组可选择用户界面对象的请求相对应的用户输入之后)，计算机系统从以比第二组表示更大的视觉显著性显示第一组表示转变为以比第一组表示(和其他组表示)更大的视觉显著性(例如，以更大的尺寸、以更大的亮度、以更高的细节水平、在更显著的位置处、在选择对象的位置处等)显示第二组表示。如图7K至图7M所示，根据一些实施方案，当在三维环境7104中的第一位置处显示第一组用户界面对象7316-a至7316-d时，计算机系统以比用户界面对象7310更大的尺寸显示用户界面对象7304，并且在第二用户界面对象7310被选择并且第二组可选择用户界面对象7318-a至7318-d移动到第一位置之后，以比用户界面对象7304更大的尺寸显示用户界面对象7310。从以比第二组表示更大的视觉显著性显示第一组表示转变为以比第一组表示更大的视觉显著性显示第二组表示向用户提供了改进的视觉反馈(例如，关于哪个组表示当前被选择的视觉反馈)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，与多个不同组用户界面对象相对应的相应组表示(例如，相应组图标、类别图标等)所占据的区域响应于注视输入指向相应组表示所占据的区域(例如，含有相应组表示的容器对象，或相应组表示的边界框等)而在三维环境的第一视图中改变(例如，扩大、朝向第一视图的视点移动等)。例如，在图7K中，根据一些实施方案，计算机系统任选地响应于在与用户界面对象7306’相对应的区域中检测到注视输入而增加用户界面对象7306’的尺寸，并且任选地在注视输入停止在与用户界面对象7306’相对应的区域中显示后恢复用户界面对象7306’的尺寸。响应于注视输入指向与多个不同组用户界面对象相对应的相应组表示所占据的区域而改变相应组表示所占据的区域向用户提供了改进的视觉反馈(例如，计算机系统检测到指向相应组表示所占据的区域的用户注视)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，不同组可选择用户界面对象包括来自以下各项的两个或更多个组：与不同应用程序相对应的第一组可选择用户界面对象(例如，应用程序图标)，当根据第一标准(例如，用于检测轻击输入、捏合输入等的标准；用于激活与相应应用程序相对应的用户界面对象的默认功能的标准等)来选择来自第一组可选择用户界面对象的相应用户界面对象时，其使得计算机系统在三维环境中显示对应应用程序(例如，显示应用程序的默认启动用户界面或环境，显示用于获取启动应用程序所需的凭据信息的用户界面等)；与不同用户相对应的第二组可选择用户界面对象(例如，用户头像、联系信息、电话号码、用户ID、实体名称等)，当根据第一标准来选择来自第二组可选择用户界面对象的相应用户界面对象时，其使得计算机系统发起用于与三维环境中的一个或多个对应用户建立通信的过程(例如，建立默认通信会话，显示用于从多种可用通信模式中选择通信会话的通信模式的用户界面，显示获得用于开始通信会话的参数值的用户界面等)；以及与不同计算机生成体验(例如，不同AR体验、不同VR体验、系统级AR体验(例如，不同类型的基线主页环境(例如，正在显示以及可从其启动不同应用程序等的三维环境)、不同沉浸水平等)、系统级VR体验等)相对应的第三组可选择用户界面对象，当根据第一标准来选择来自第三组可选择用户界面对象的相应用户界面对象时，其使得计算机系统发起用于在三维环境中显示对应计算机生成体验(例如，改变物理环境的物理环境照明的增强现实气氛或者包括沉浸式或部分沉浸式模拟三维空间的虚拟环境)的过程。例如，在图7K至图7M中，用户界面对象7306’中的用户界面对象7302、7304和7310分别是与应用程序、用户和体验相对应的组图标；并且第一组可选择用户界面对象任选地是与不同应用程序相对应的应用程序图标；根据一些实施方案，第二组可选择用户界面对象任选地是不同用户的头像，并且响应于指向第三用户界面对象7302的用户输入而在第一位置处显示的第三组可选择用户界面对象任选地是用于在三维环境中启动不同计算机生成体验的图标。包括与不同应用程序相对应的第一组可选择用户界面对象、与不同用户相对应的第二组可选择用户界面对象以及与不同计算机生成体验相对应的第三组可选择用户界面对象提供了附加控件选项，但不会使具有附加显示的控件的UI混乱(例如，通过将类似用户界面对象分组成可移入和移出第一位置的相应组来减少UI中的混乱，而不是同时显示所有可用的用户界面对象)。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在三维环境中的第一位置处显示第一组可选择用户界面对象之前，计算机系统检测指向与物理环境中的用户的手部的位置相对应的三维环境中的第一区域的第一注视输入。响应于检测到指向三维环境中的第一区域的第一注视输入，计算机系统在与物理环境中的用户的手部的位置相对应的三维环境中的第一区域处显示第一用户界面对象(例如，主页按钮、多组可选择用户界面对象的缩小比例尺组表示的集群等)。例如，在图7C或图7K中，根据一些实施方案，响应于检测到指向与用户的手部的位置相对应的位置的注视输入，计算机系统任选地在与用户的手部的位置相对应的位置处显示用户界面对象，诸如用户界面对象7306’的缩减版本。这也在图7I中示出，其中根据一些实施方案，响应于检测到指向与用户的手部的位置相对应的位置的注视输入7214，计算机系统在与用户的手部的位置相对应的位置处显示包括用户界面对象7302、7304和7310的用户界面对象7306’的缩小比例尺版本。在一些实施方案中，当用户的手部具有预设取向和/或姿势时(例如，手掌侧面向用户、手背面向用户、手部张开且手指伸出等)，第一用户界面对象在与用户的手部的位置相对应的第一区域处显示，并且当注视输入不再指向与用户的手部的位置相对应的第一区域时和/或当手部不再处于预设取向和/或姿势时，第一用户界面对象停止显示。在一些实施方案中，图7K至图7M中的用户界面对象7306’对应于图7A至图7D中的用户界面对象7306，并且具有与相对于图7A至图7D描述的用户界面对象7306类似的行为。在一些实施方案中，图7K至图7M中的用户界面对象7304和7310对应于用户界面对象7304，并且具有与相对于图7A至图7D描述的用户界面对象7304类似的行为。在一些实施方案中，图7K至图7M中的用户界面对象7304和7310对应于用户界面对象7308，并且具有与相对于图7E至图7H描述的用户界面对象7308类似的行为。响应于检测到指向三维环境中的第一区域的第一注视输入而在与物理环境中的用户的手部的位置相对应的三维环境中的第一区域处显示第一用户界面对象减少了用于在第一区域处显示第一用户界面对象的输入数量(例如，用户不需要执行单独手势来显示第一用户界面对象)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在三维环境中的第一位置处显示第一组可选择用户界面对象之前，计算机系统检测指向与物理环境中的用户的手部的位置相对应的三维环境中的第一区域的第一注视输入，连同检测手部上(例如，在与主页按钮相对应的位置处或在与用户的手部的位置相对应的位置处显示的缩小比例尺组表示处)的预设手势输入(例如，轻击、轻弹、轻扫、轻击并保持、双击等)，其中响应于检测到指向三维环境中的第一区域的第一注视输入，连同检测到手部上的预设手势输入，而在三维环境中的第一位置处显示第一组可选择用户界面对象。如图7J至图7K所示，根据一些实施方案，计算机系统响应于检测到手部7202的移动7209连同指向与手部7202的位置相对应的位置的注视输入7214，而在三维环境中远离与用户的手部7202的位置相对应的位置的位置处显示用户界面对象7306’和第一组可选择用户界面对象7316-a至7316-d。在一些实施方案中，图7K至图7M中的用户界面对象7306’对应于用户界面对象7306，并且具有与相对于图7A至图7D描述的用户界面对象7306类似的行为。在一些实施方案中，图7K至图7M中的第一组用户界面对象7316对应于用户界面对象7306，并且具有与相对于图7A至图7D描述的用户界面对象7306类似的行为。在一些实施方案中，响应于检测到指向三维环境中的第一区域的第一注视输入连同检测到手部上的预设手势输入，还在三维环境中显示与不同组可选择用户界面对象相对应的组表示。在一些实施方案中，响应于检测到指向三维环境中的第一区域的第一注视输入连同检测到手部上的预设手势输入，还在三维环境中(例如，在第二位置处，以及任选地在三维环境中的其他位置处等)显示第二组可选择用户界面对象以及任选地一个或多个其他组可选择用户界面对象。在三维环境中的第一位置处显示第一组可选择用户界面对象之前检测指向三维环境中的第一区域的第一注视输入连同检测手部上的预设手势输入减少了在第一位置处显示第一组可选择用户界面对象所需的输入数量(例如，用户不需要执行单独手势来显示第一组可选择用户界面对象以及将第一组可选择用户界面对象移动到三维环境中的第一位置)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到指向与用户的手部相对应的三维环境中的第一区域的第一注视输入连同检测到手部上的第一位置(例如，与在三维环境的第一区域中显示的第一组表示的位置相对应且不与在三维环境的第一区域中显示的第二组表示的位置相对应的第一子区域)处的预设手势输入，在三维环境中的第一位置处显示第一组可选择用户界面对象。与在三维环境中的第一位置处显示第二组可选择用户界面对象的请求相对应的用户输入包括连同手部上的第二位置(例如，与在三维环境的第一区域中显示的第二组表示的位置相对应且不与在三维环境的第一区域中显示的第一组表示的位置相对应的第二子区域)处的预设手势输入一起检测到的指向与用户的手部相对应的三维环境中的第一区域的第二注视输入。例如，在一些实施方案中，在图7J中，计算机系统任选地检测手部7202上的轻击输入，同时注视输入指向在与用户的手部的位置相对应的第一位置处显示的用户界面对象7304，并且因此，计算机系统在三维环境中的第一位置处显示第一组可选择用户界面对象7316-a至7316-d，如图7K所示；并且在图J中，根据一些实施方案，计算机系统任选地检测手部7202上的轻击输入，同时注视输入指向在与用户的手部的位置相对应的第二位置处显示的用户界面对象7310，并且因此，计算机系统在三维环境中的第一位置处显示第二组可选择用户界面对象7316-a至7316-d(例如，如图7L至图7M所示)。在一些实施方案中，响应于检测到指向与用户的手部相对应的三维环境中的第一区域的第三注视输入连同检测到手部上的第三位置(例如，与在三维环境的第一区域中显示的第三组表示的位置相对应且不与在三维环境的第一区域中显示的第一组表示和第二组表示的位置相对应的第三子区域)处的预设手势输入，在三维环境中的第一位置处显示第三组可选择用户界面对象。在一些实施方案中，在响应于用户输入而在第一位置处显示第二组可选择用户界面对象之后，计算机系统任选地检测指向与用户的手部相对应的三维环境中的第一区域的第四注视输入，连同检测手部上的第一位置处的预设手势输入，并且响应于检测到指向与用户的手部相对应的三维环境中的第一区域的第四注视输入，连同检测到手部上的第一位置处的预设手势输入，而在三维环境中的第一位置处重新显示第一组可选择用户界面对象。在一些实施方案中，手部上的第一位置、第二位置、第三位置是与对应于第一组可选择用户界面对象的第一组表示、对应于第二组可选择用户界面对象的第二组表示以及对应于第三组可选择用户界面对象的第三组表示的当前显示位置相对应的位置。在一些实施方案中，当第一组表示、第二组表示和第三组表示响应于指向当前未被选择的组表示的选择输入而移动通过预设选择位置(例如，以圆盘传送带方式、以循环方式等)时，更新第一位置、第二位置和第三位置。响应于检测到指向与用户的手部相对应的第一区域的第一注视输入连同检测到手部上的第一位置处的预设手势输入而在第一位置处显示第一组可选择用户界面对象以及检测在第一位置处显示第二组可选择用户界面对象的请求包括连同手部上的第二位置处的预设手势输入一起检测到的指向与用户的手部相对应的第一区域的第二注视输入，提供了附加控件选项，但不会使具有附加显示的控件(例如，用于在手部上的第一位置和第二位置之间导航的附加控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，与在三维环境中的第一位置处显示第二组可选择用户界面对象的请求相对应的用户输入包括指向第二组可选择用户界面对象的相应组表示(例如，在远离与用户的手部的位置相对应的区域的三维环境中显示的相应组表示、在与用户的手部相对应的区域内显示的相应组表示等)在三维环境中的相应位置的注视输入。例如，根据一些实施方案，当检测到手部7202的移动7314时，注视输入7216指向与第二组可选择用户界面对象7318-a至7318-d相对应的用户界面对象7310(例如，如图7K所示)，并且因此，计算机系统在图7M中的第一位置处显示第二组可选择用户界面对象7318-a至7318-d，而不是与用户界面对象7302相对应的第三组可选择用户界面对象。在一些实施方案中，连同另一预设确认输入一起检测到注视输入，该另一预设确认输入诸如为与对应于用户的手部的位置的第一区域内的相应组表示的显示位置相对应的手部上的位置处的手势输入(例如，轻击、双击、轻扫等)、空中手势(例如，空中轻击输入、空中捏合输入、空中轻扫输入等)、语音命令等。在一些实施方案中，注视输入可以指向当前未在第一位置处显示的组的另一组表示在三维环境中的相应位置，并且当连同注视输入一起检测到预设确认输入时，计算机系统在第一位置处显示所述另一组可选择用户界面对象。检测指向第二组可选择用户界面对象的相应组表示在三维环境中的相应位置的注视输入减少了请求显示第二组可选择用户界面对象所需的输入数量(例如，用户可以选择特定组的可选用户界面项目并且用单个手势请求显示该特定组的可选用户界面项目)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到指向第二组可选择用户界面对象的相应组表示的相应位置的注视输入，计算机系统应用视觉效果以在视觉上区分第二组可选择用户界面对象的相应组表示与第一组可选择用户界面对象的相应组表示(以及任选地，与多个不同组可选择用户界面对象中的其他组可选择用户界面对象的相应组表示)。例如，在一些实施方案中，响应于检测到指向图7K中的用户界面对象7310的注视输入7216，计算机系统任选地放大用户界面对象7310的尺寸并缩小用户界面对象7304的尺寸，以便即使在检测到手部的移动7314之前也能在视觉上指示注视输入的位置。在一些实施方案中，应用视觉效果包括改变第二组可选择用户界面对象的相应组表示的外观特性(例如，以第一方式改变尺寸、颜色、亮度、显示位置、动画、突出显示等)，而不对第一组可选择用户界面对象的相应组表示的外观特性进行相同改变(并且任选地，不对多个不同组可选择用户界面对象中的其他组可选择用户界面对象的相应组表示的外观特性进行相同改变)。在一些实施方案中，应用视觉效果包括改变第一组可选择用户界面对象的相应组表示的外观特性(例如，以第二方式改变尺寸、颜色、亮度、显示位置、动画、半透明度的模糊半径程度、饱和度等)(以及任选地，对多个不同组可选择用户界面对象中的其他组可选择用户界面对象的相应组表示的外观特性进行相同改变)，而不对第二组可选择用户界面对象的相应组表示的外观特性进行相同改变。响应于检测到指向第二组可选择用户界面对象的相应组表示的相应位置的注视输入而应用视觉效果以在视觉上区分第二组可选择用户界面对象的相应组表示与第一组可选择用户界面对象的相应组表示，向用户提供了改进的视觉反馈(例如，计算机系统检测到指向第二组可选择用户界面对象的相应组表示的相应位置的用户注视)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在三维环境中的第一位置处显示第一组可选择用户界面对象的第一子集时，计算机系统检测用户输入，该用户输入包括用户的手部在物理环境中的第一方向(例如，水平方向、垂直方向、与第一组可选择用户界面对象的基本布局方向相对应的方向等)上的移动，同时用户的手部处于第一预设姿势(例如，捏合并拖动手势、轻击并拖动手势等)(例如，保持拇指与食指之间的接触并且在物理环境中水平地移动手部，在垂直方向上移动食指并且然后在食指伸展的情况下水平地移动手部等)。响应于检测到包括在用户的手部处于第一预设姿势时用户的手部在物理环境中的第一方向上的移动的用户输入，计算机系统在三维环境中的第一位置处显示第一组可选择用户界面对象的第二子集，其中第一组可选对象的第二子集(例如，第一组可选对象的多个页面中的第二页面、第一组可选对象的多个子组中的第二子组等)不同于第一组可选对象的第一子集(例如，第一组可选对象的多个页面中的第一页面、第一组可选对象的多个子组中的第一子组等)。例如，在图7K中，根据一些实施方案，如果在三维环境中显示第一组可选择用户界面对象7316-a至7316-d时计算机系统检测到水平方向上的捏合并拖动手势(例如，而不是满足用于在第一位置处显示第二组可选择用户界面对象的标准的注视输入7216与手部的移动7314的组合)，则计算机系统任选地在水平方向上滚动通过第一组可选择用户界面对象以示出位于与用户界面对象7304相对应的第一组可选择用户界面对象中的附加用户界面对象。在一些实施方案中，响应于包括在手部处于预设姿势时手部在第一方向上的移动的导航输入，第一组可选择用户界面对象的第一子集远离第一位置处的显示区域移动，并且第一组可选择用户界面对象的第二子集移动到第一位置处的显示区域。在一些实施方案中，通过相应组可选择用户界面对象内的可选择用户界面对象的不同子集的导航方向(例如，向前、向后等)基于手部在物理环境中的移动方向(例如，向左、向右、向上、向下等)。响应于检测到包括在用户的手部处于第一预设姿势时用户的手部在物理环境中的第一方向上的移动的用户输入而显示与第一组可选择用户界面对象的第一子集不同的第一组可选择用户界面对象的第二子集，提供了附加控件选项，但不会使具有附加显示的控件(例如，用于在第一组可选择用户界面对象的第一子集和第二子集之间导航的附加控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，与显示第二组可选择用户界面对象的请求相对应的用户输入包括在用户的手部处于第一预设姿势时用户的手部在物理环境中不同于第一方向(例如，垂直于第一方向、相对于第一方向成一定角度等)的第二方向上的移动。例如，在图7K至图7M中，根据一些实施方案，响应于在三维环境中显示第一组可选择用户界面对象7316-a至7316-d时检测到垂直方向上的捏合并拖动手势，计算机系统任选地切换到在三维环境中的第一位置处显示第二组可选择用户界面对象7318-a至7318-d。例如，在一些实施方案中，垂直方向上的捏合并拖动手势使得计算机系统在当前选择的组(例如，在第一位置处显示的组)内导航，以在三维环境中的第一位置处显示当前选择的组中的可选择用户界面对象的不同子集；而水平方向上的捏合并拖动手势使得计算机系统选择不同组可选择用户界面对象并且在第一位置处显示该组作为三维环境中的当前选择的组。在一些实施方案中，水平方向上的捏合并拖动手势使得计算机系统在当前选择的组(例如，在第一位置处显示的组)内导航，以在三维环境中的第一位置处显示当前选择的组中的可选择用户界面对象的不同子集；而垂直方向上的捏合并拖动手势使得计算机系统选择不同组可选择用户界面对象并且在第一位置处显示该组作为三维环境中的当前选择的组。检测在用户的手部处于第一预设姿势时用户的手部在物理环境中不同于第一方向的第二方向上的移动提供了附加控件选项，但不会使具有附加显示的控件的UI混乱(例如，通过允许用户使用手势的方向来控制计算机系统是在组之间还是在特定组内导航，而无需附加的手势或控件)。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一组可选择用户界面对象(例如，图7K中的用户界面对象7316-a至7316-d，或另一组用户界面对象等)包括对应于在当前时间之前的预设时间段内与其进行通信的第一组用户的可选择用户界面对象的第一子集，并且其中可选择用户界面对象的第一子集至少包括对应于在预设时间段内与其以第一通信模式进行通信的第一用户的相应用户界面对象，以及对应于在预设时间段内与其以不同于第一通信模式的第二通信模式(例如，电子邮件、文本消息、虚拟会议呼叫、增强现实会议、虚拟环境中的共现、增强现实环境中的共现、共享文档上的协作、混合模态呼叫(例如，一个用户使用AR/VR设备而另一用户使用非AR设备，一个用户使用启用视频的设备而另一用户使用纯语音设备等)等)进行通信的第二用户的相应用户界面对象。在一些实施方案中，当在三维环境中的第一位置处显示第一组可选择用户界面对象时，在由第一组可选择用户界面对象所占据的区域的预设部分处显示可选择用户界面对象的第一子集。至少包括对应于在预设时间段内与其以第一通信模式进行通信的第一用户以及在预设时间段内与其以不同于第一通信模式的第二通信模式进行通信的第二用户的相应用户界面对象减少了定位特定用户所需的输入数量(例如，用户不需要在所有可能的用户中进行导航以定位在预设时间段内与其进行通信的第一用户或第二用户)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在三维环境中的第一位置处显示第一组可选择用户界面对象(例如，图7K中的用户界面对象7316-a至7316-d，或另一组用户界面对象等)包括在根据与多个用户相关联的相应状态信息来组织的不同子组中显示多个用户的表示，这些不同子组包括第一子组和第二子组，该第一子组包括与第一类型的状态信息相关联的多个用户的第一子集的表示，并且该第二子组包括与不同于第一类型的状态信息的第二类型的状态信息相关联的多个用户的第二子集的表示。在一些实施方案中，不同类型的状态信息指示用户是否属于常用联系人、最近联系人(例如，最近与用户有通信会话的联系人)、建议联系人(例如，基于即将到来的事件或设备上下文来建议)、用户选择的联系人(例如，置顶的联系人、保存的联系人等)、使用第一类型的设备(例如，启用视频的设备、启用AR的设备等)在线的联系人、使用第二类型的设备(例如，纯语音设备、非AR设备等)在线的联系人等的子组。在根据与多个用户相关联的相应状态信息来组织的不同子组中显示多个用户的表示减少了定位特定用户所需的输入数量(例如，用户不需要在多个用户中的所有用户中进行导航以定位相应状态信息可用的用户)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在三维环境中的第一位置处显示第一组可选择用户界面对象(例如，图7K中的用户界面对象7316-a至7316-d，或另一组用户界面对象等)包括根据确定第一用户子集具有活动状态(例如，当前在线、正在尝试与计算机系统的用户进行通信、已与计算机系统的用户开启当前通信会话等)并且第二用户子集不具有活动状态(例如，当前离线、未尝试与计算机系统的用户进行通信、未与计算机系统的用户开启当前通信会话等)来以比第二用户子集的相应表示更高的优先级(例如，以位置、定时等的优先级)显示第一用户子集的相应表示。根据确定第一用户子集具有活动状态并且第二用户子集不具有活动状态来以比第二用户子集的相应表示更高的优先级显示第一用户子集的相应表示减少了识别特定用户所需的输入数量(例如，用户不需要对不具有活动状态的用户进行分类以便找到具有活动状态的特定用户)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在三维环境中的第一位置处显示第一组可选择用户界面对象(例如，图7K中的用户界面对象7316-a至7316-d，或另一组用户界面对象等)包括在超过一个子组中的单个子组中，根据与相应用户相关联的相应状态信息来显示与两个或更多个子组相关联的多个用户中的相应用户的表示。例如，如果相应用户与常用联系人的第一子组和最近联系人的第二子组都相关联，并且这两个子组同时在三维环境的第一视图中显示，则计算机系统仅在这两个子组之一(例如，由计算机系统基于预设标准(例如，这两个子组的亲和力得分、这两个子组的位置等)来选择的子组、基于用户的偏好来选择的子组等)中显示相应用户的表示。在一些实施方案中，如果由于相应用户的状态变化而将相应用户的表示添加到与活动用户(例如，在线、正在请求与计算机系统的用户进行通信、正在与计算机系统的用户进行通信会话等)相对应的子组，则将相应用户的表示从在三维环境的第一视图中显示的另一子组中移除。在超过一个子组中的单个子组中根据与相应用户相关联的相应状态信息来显示与两个或更多个子组相关联的多个用户中的相应用户的表示提供了附加控件选项，但不会使具有附加显示的控件(例如，用于相应用户所关联的每个子组中的相应用户的重复控件)的UI混乱。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在三维环境中的第一位置处显示第一组可选择用户界面对象(例如，图7K中的用户界面对象7316-a至7316-d，或另一组用户界面对象等)包括显示不同子组中的多个用户的表示，其中多个用户中的相应用户的相应表示与相应用户和相应子组之间的关联类型(例如，状态指示符、设备类型、联系人类型等)的视觉指示(例如，图标、图形表示、颜色编码指示符等)一起显示，该视觉指示引起相应用户分配到相应子组。将不同子组中的多个用户的表示与相应用户和相应子组之间的关联类型的视觉指示(该视觉指示引起相应用户分配到相应子组)一起显示向用户提供了改进的视觉反馈(例如，关于为什么特定用户出现在特定子组中)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在三维环境中的第一位置处显示第一组可选择用户界面对象(例如，图7K中的用户界面对象7316-a至7316-d，或另一组用户界面对象等)包括显示不同子组中的多个用户的表示，其中基于与多个用户的第一子集相关联的改变的通信定时信息(例如，上次通信的时间、通信的频率等)来重新排序第一子组中所包括的多个用户的第一子集的相应表示，并且不重新排序第二子组中所包括的多个用户的第二子集的相应表示(例如，常用联系人、置顶的联系人等)。基于与多个用户的第一子集相关联的改变的通信定时信息来重新排序第一子组中所包括的多个用户的第一子集的表示并且不重新排序第二子组中所包括的多个用户的第二子集的相应表示减少了识别特定用户所需的输入数量(例如，因为多个用户的第二子集中的用户界面对象没有被重新排序，所以用户不需要在所有可用的用户中进行导航以识别多个用户的第二子集中的用户)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，显示第一组可选择用户界面对象(例如，图7K中的用户界面对象7316-a至7316-d，或另一组用户界面对象等)包括用第一显示特性(例如，模糊半径、尺寸、半透明度水平、不透明度水平、颜色饱和度、亮度等)的特征值显示第一组中的相应可选择用户界面对象，这些特征值是基于第一组可选择用户界面对象中的相应可选择用户界面对象的相应位置(例如，距第一组可选择用户界面对象所占据的区域的中心区域的相应距离、行号、列号等)来确定的。例如，在一些实施方案中，离第一组用户界面对象所占据的区域的关键位置(例如，中心、左侧、顶部等)更近的用户界面对象以与离关键位置更远的用户界面对象相比更多的细节、更鲜艳的颜色、更高的亮度、更大的尺寸、离视点更近的距离等来显示。在一些实施方案中，离第一组用户界面对象所占据的区域的关键位置(例如，中心、左侧、顶部等)更远的用户界面对象以与离关键位置更近的用户界面对象相比更多的模糊、更少的细节、更低饱和度的颜色、更低的亮度、更小的尺寸、离视点更大的距离等来显示。用基于第一组可选择用户界面对象中的相应可选择用户界面对象的相应位置来确定的第一显示特性的特征值显示第一组中的相应可选择用户界面对象向用户提供了改进的反馈(例如，通过增加与用户最近已对其进行通信的用户相对应的用户界面对象的可见度)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，显示第一组可选择用户界面对象包括在跨越三维环境中的预定义的视角(例如，经由第一显示生成部件提供的视场的三分之二的宽度、视场的全宽度等)的相应区域中显示第一组可选择用户界面对象(例如，图7K中的用户界面对象7316-a至7316-d，或另一组用户界面对象等)。在跨越三维环境中的预定义的视角的相应区域中显示第一组可选择用户界面对象提供了附加控件选项，但不会使具有附加显示的控件的UI混乱(例如，通过防止用户界面对象在用户的合理视角之外显示)。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
应当理解，对图10中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当注意，本文相对于本文所述的其他方法(例如，方法8000、9000、11000、12000、13000、14000、15000和16000)所述的其他过程的细节同样以类似的方式适用于上文相对于图10所述的方法10000。例如，以上参考方法10000描述的手势、注视输入、物理对象、用户界面对象、控件、移动、标准、三维环境、显示生成部件、表面、物理对象的表示、虚拟对象和/或动画任选地具有本文参考本文所述的其他方法(例如，方法8000、9000、11000、12000、13000、14000、15000和16000)所述的手势、注视输入、物理对象、用户界面对象、控件、移动、标准、三维环境、显示生成部件、表面、物理对象的表示、虚拟对象和/或动画的特征中的一个或多个特征。为了简明起见，此处不再重复这些细节。
图11是根据一些实施方案的改变三维环境中的背景区域的显示特性连同发起通信会话的方法11000的流程图。
在一些实施方案中，方法11000在计算机系统(例如，图1中的计算机系统101)处执行，该计算机系统包括第一显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户的手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法11000通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法11000中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，方法11000在计算机系统(例如，图1中的计算机系统101、相对于图7A至图7D、图7E至图7F、图7G至图7H、图7I至图7M、图7N至图7O、图7P至图7S、图7T至图7U和/或图7V至图7X描述的计算机系统101、相对于图7V至图7X描述的第一计算机系统101-t、相对于图7V至图7X描述的第二计算机系统等)处执行。在一些实施方案中，计算机系统与第一显示生成部件(例如，第一显示生成部件是平视显示器、头戴式显示器(HMD)、显示器、触摸屏、投影仪等)和一个或多个输入设备(例如，相机、控制器、触敏表面、操纵杆、按钮、手套、手表、运动传感器、取向传感器等)通信。在一些实施方案中，第一显示生成部件是相对于图7A至图7U和图7Y至图7Z描述的第一显示生成部件7100、相对于图7V至图7X描述的第一显示生成部件7100-t、相对于图7V至图7X描述的第二显示生成部件等。在一些实施方案中，计算机系统是集成设备，该集成设备具有包围在与第一显示生成部件和一个或多个输入设备中的至少一些输入设备相同的外壳中的一个或多个处理器和存储器。在一些实施方案中，计算机系统包括计算部件(例如，服务器，移动电子设备诸如智能电话或平板设备，可穿戴设备诸如手表、腕带或听筒，台式计算机，膝上型计算机等)，该计算部件包括与第一显示生成部件和/或一个或多个输入设备分开的一个或多个处理器和存储器。在一些实施方案中，第一显示生成部件以及一个或多个输入设备被集成并包围在相同外壳中。根据一些实施方案，相对于图7N至图7O描述了方法11000的特征中的许多特征。
在方法11000中，计算机系统经由第一显示生成部件显示(11002)三维环境(例如，虚拟三维环境、包括物理环境的透传视图或物理环境的相机视图的增强现实环境等)的第一视图(例如，与第一视点相对应的视图、从第一视角看到的视图等)，包括同时在三维环境中的第一位置处显示与不同操作相对应的多个用户界面对象(例如，应用程序的用户界面的用户界面对象、列出多个用户的菜单、列出多个通信模式的菜单、来自另一用户的传入通信请求的通知、上述两者或更多者的混合等)以及在三维环境中的第二位置处显示背景内容(例如，在多个用户界面对象所占据的区域之外的部分三维环境(例如，虚拟对象、未占据的空间、物理对象的表示、物理环境的表示等)、用于多个用户界面对象的容器对象或背景图形等)，其中多个用户界面对象包括第一用户界面对象(例如，与第一用户相对应的第一用户界面对象、与第一通信会话相对应的第一用户界面对象、用于接受或发起与第一用户的通信会话的第一用户界面对象等)和第二用户界面对象(例如，与不同于第一用户的第二用户相对应的第二用户界面对象、与不同于第一通信会话的第二通信会话相对应的第二用户界面对象、用于接受或发起与第二用户的通信会话的第二用户界面对象、在与第一用户界面对象相同的容器对象或用户界面中但对应于不同操作或用户的其他用户界面对象等)，并且其中相对于三维环境的第一视图中的多个用户界面对象的相应视觉特性的对应值，背景内容具有相应视觉特性的第一值(例如，与正常可见度水平、默认可见度水平、未经调整的可见度水平等相对应的不透明度水平、颜色饱和度水平、亮度水平、模糊半径等)。例如，如图7N所示，根据一些实施方案，计算机系统显示三维环境7104的视图，其包括第一用户界面对象7326和其他用户界面对象诸如7328、7330、7320等以及背景内容诸如物理环境的表示(例如，表示7004’、7006’、7008’、7002’等)和虚拟对象(例如，虚拟对象7322)，其中背景内容具有相对于第一用户界面对象7326的未经调整的正常可见度水平。在一些实施方案中，与不同操作相对应的多个用户界面对象包括与不同用户相对应的用户界面对象、与不同通信会话相对应的用户界面对象、与应用程序内的不同操作相对应的当前显示的应用程序的用户界面对象、与不同系统级操作相对应的用户界面对象、与不同应用程序中的操作相对应的用户界面对象、上述类型中的两者或更多者的混合的用户界面对象等。在一些实施方案中，背景内容包括虚拟对象、虚拟照明、虚拟控件等。在一些实施方案中，背景内容包括三维环境的当前显示视图中所包括的物理对象和未被占据的物理空间的表示(例如，如透过显示器的透明部分所看到的、在相机视图中等)。在一些实施方案中，背景内容包括虚拟内容与物理对象和空间的表示的混合。在一些实施方案中，背景内容中的虚拟对象及物理对象和空间的表示与三维环境中的多个用户界面对象中的相应用户界面对象具有相应空间关系。在一些实施方案中，背景内容的一些部分(例如，背景内容中的虚拟对象和物理对象的表示中的一些)与三维环境中的多个用户界面对象中的相应用户界面对象具有相应空间关系，任选地，这使得在显示三维环境的第一视图时(例如，在从第一视点观看三维环境时，在当前显示的视点与三维环境中的多个用户界面对象具有第一空间关系时等)背景内容的所述部分在视觉上被多个用户界面对象遮挡；并且背景内容的至少一些其他部分(例如，背景内容中的虚拟对象和物理对象的表示中的至少一些)在三维环境的第一视图显示时在视觉上未被多个用户界面对象遮挡，并且相对于三维环境的第一视图中的多个用户界面对象具有第一可见度水平(例如，正常、未经调整和/或默认的可见度水平)。
在方法11000中，当在三维环境的第一视图中同时显示多个用户界面对象和相对于多个用户界面对象的相应视觉特性的对应值而言具有相应视觉特性的第一值的背景内容时，计算机系统检测(11004)根据第一激活标准(例如，用于在第一用户界面对象具有输入焦点时(例如，在注视输入指向第一用户界面对象而不指向其他用户界面对象时，在第一用户界面对象被选择时，在预定义的手势的位置对应于第一用户界面对象的位置而不对应于其他用户界面对象的位置时等)检测预定义的手势(例如，捏合手势、轻击手势等)的标准)来激活第一用户界面对象的用户输入。例如，如图7N所示，根据一些实施方案，当计算机系统显示第一用户界面对象7326和其他用户界面对象诸如7328、7330、7320等以及背景内容诸如物理环境的表示(例如，表示7004’、7006’、7008’、7002’等)和虚拟对象(例如，虚拟对象7322)时，计算机系统检测手部7202的移动7332连同指向第一用户界面对象7326的注视输入7218，这满足激活第一用户界面对象7326的标准。
在方法11000中，响应于检测到根据第一激活标准来激活第一用户界面对象的用户输入(11006)：计算机系统发起(11008)与对应于第一用户界面对象(例如，包括第一用户的头像和发起与第一用户的通信会话的示能表示的用户界面对象、第一用户的头像、在第一用户的头像在用户界面中被选择时通信应用程序的用户界面中的“呼叫”按钮、来自第一用户的通信请求的通知中的“接受”按钮等)的第一用户的通信会话(例如，基于设备能力、环境类型等的相应类型的通信，诸如纯音频通信会话、使用2D相机与用户的视频通信会话、与用户在虚拟三维环境中的共现体验、与用户在共享增强现实环境中的共现体验等)，并且计算机系统将背景内容的至少第一部分(例如，相对于至少第一用户界面对象)的相应视觉特性的值从第一值调整(11010)到与第一值不同的第二值(例如，与背景内容的第一部分的降低的可见度水平相对应的值(例如，具有降低的不透明度水平、降低的颜色饱和度水平、降低的亮度水平、更大的模糊半径等的值))(例如，通过应用视觉效果或改变显示生成部件的显示特性(例如，改变不透明度水平、颜色饱和度水平、亮度水平、模糊半径等)来主动调整可见度，具体取决于是显示新对象还是放大现有对象，并且不同于仅仅允许背景由于三维环境中的对象和背景的空间关系而被新显示的对象或放大的现有对象遮挡)。例如，如图7N至图7O所示，根据一些实施方案，响应于检测到手部的移动7332和指向第一用户界面对象7326的注视输入7218的组合，计算机系统发起与对应于第一用户界面对象7326的用户的通信会话，并且减小背景区域的视觉显著性，诸如物理环境的表示(例如，表示7004’、7006’、7008’、7002’等)和虚拟对象(例如，虚拟对象7322)。在一些实施方案中，将背景内容的至少第一部分的相应视觉特性的值从第一值调整到第二值是通过应用于第一显示生成部件的透明透传部分的滤波或视觉效果(例如，模糊、变暗、降低透明度等)，或者通过将虚拟模糊、变暗或其他图像处理过程应用于透传内容的相机视图来实现的。在一些实施方案中，背景内容的第一部分包括背景内容中的虚拟对象和物理对象的表示中的一些或全部，这些虚拟对象和物理对象的表示在三维环境的第一视图显示时在视觉上未被多个用户界面对象遮挡，并且在检测到满足第一激活标准的用户输入之前相对于三维环境的第一视图中的多个用户界面对象具有第一可见度水平(例如，正常、未经调整和/或默认的可见度水平)。在一些实施方案中，计算机系统通过对背景内容中的虚拟对象增加模糊半径、变暗、降低颜色饱和度、增加透明度水平、降低不透明度等(例如，相对于在检测到用户输入之后保持在三维环境的第一视图中显示的第一用户界面对象或其转换版本)来调整背景内容的至少第一部分的可见度。在一些实施方案中，计算机系统通过对三维环境的第一视图中所包括的物理环境的相机视图增加模糊半径、变暗、降低颜色饱和度、增加透明度水平、降低不透明度等(例如，相对于在检测到用户输入之后保持在三维环境的第一视图中显示的第一用户界面对象或其转换版本)来调整背景内容的至少第一部分的可见度。在一些实施方案中，计算机系统通过对透过第一显示生成部件的透明显示器看到的透传内容增加不透明度或增加亮度、颜色等的滤波水平来调整背景内容的至少第一部分的可见度。在一些实施方案中，背景内容的至少第一部分被降低到背景内容不是完全不可见的第二可见度水平(例如，通过将视觉效果应用于背景内容和/或通过将滤波应用于透明显示器等来实现)。在一些实施方案中，第二可见度水平是背景内容中的一些(少于全部)完全不可见的水平(例如，通过停止显示或完全遮挡等来实现)。调整背景内容的至少第一部分的相应视觉特性的值向用户提供了改进的视觉反馈(例如，通过增加与通信会话相关联的用户界面对象的可见度)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到根据第一激活标准来激活第一用户界面对象的用户输入(例如，响应于检测到在包括第一用户的头像和与通信会话有关的一个或多个其他示能表示的用户界面中对优选通信模式的选择，响应于检测到从多个用户的头像中对第一用户的头像的选择等)，计算机系统降低除第一用户界面对象之外的多个用户界面对象中的一个或多个用户界面对象(例如，除第一用户界面对象之外的对象、包括第二用户界面对象的一组对象、不包括第二用户界面对象的一组对象等)的可见度(例如，改变一个或多个视觉特性的值)(例如，降低未被用户输入激活的用户的表示的可见度)，连同将背景内容的至少第一部分的可见度从第一可见度水平(例如，正常、未经调整的可见度水平)调整到第二可见度水平(例如，降低的可见度水平)(例如，改变一个或多个视觉特性的值，包括将相应视觉特性的值从第一值改变为第二值)。例如，在一些实施方案中，在图7N中，第一用户界面对象7326任选地在与其他用户相对应的一组类似用户界面对象和/或与应用程序和其他体验相对应的用户界面对象之中显示；并且在图7O中，根据一些实施方案，这些其他类似的用户界面对象连同虚拟对象7322(例如，被示出为与图7N中的对象7322相比具有降低的可见度水平的7322’)一起在视觉显著性方面降低。例如，在一些实施方案中，除了降低物理环境中的虚拟对象和物理对象的表示的可见度之外，计算机系统还降低未被用户输入激活的多个用户界面对象中的一些或全部的可见度。在一些实施方案中，计算机系统通过相对于保持在三维环境的第一视图中显示的第一用户界面对象或第一用户界面对象的转换版本对这些用户界面对象增加模糊半径、变暗、降低颜色饱和度、增加透明度水平、降低不透明度等来降低未被用户输入激活的多个用户界面对象中的至少一些的可见度。在一些实施方案中，计算机系统通过相对于其先前外观对这些用户界面对象增加模糊半径、变暗、降低颜色饱和度、增加透明度水平、降低不透明度等来降低未被用户输入激活的多个用户界面对象中的至少一些的可见度。在一些实施方案中，响应于激活第一用户界面对象的用户输入而降低未被用户输入激活的多个用户界面对象中的仅一些的可见度，而未被用户输入激活的多个用户界面对象中的一些的可见度保持不变。例如，在一些实施方案中，多个用户界面对象包括多个不同用户的头像，并且当用户输入选择第一用户的头像来发起与第一用户的通信会话时，当前未参与与该用户的通信会话的其他用户的头像的可见度连同背景内容一起降低，而当前参与与该用户的一个或多个通信会话的一个或多个用户的头像的可见度不降低。又如，在一些实施方案中，多个用户界面对象包括多个不同用户的头像，并且当用户输入选择第一用户的头像来发起与第一用户的通信会话时，当前不可用于参与与该用户的通信会话的其他用户的头像的可见度连同背景内容一起降低，而当前可用于加入与第一用户的相应通信会话的一个或多个用户的头像的可见度不降低(例如，因此用户可以稍后将它们添加到同一通信会话)。在一些实施方案中，多个用户界面对象包括多个不同用户的头像，并且当用户输入选择第一用户的头像来发起与第一用户的通信会话时，未被选择的其他用户的头像的可见度连同背景内容一起降低。在一些实施方案中，多个用户界面对象包括多个不同用户的头像和应用程序图标，并且当用户输入选择第一用户的头像来发起与第一用户的通信会话时，应用程序图标的可见度连同背景内容一起降低，而未被选择的用户的头像的可见度不降低。在一些实施方案中，多个用户界面对象包括来自第一应用程序的用户界面对象和来自第二应用程序的用户界面对象，并且第一用户界面对象任选地是第一应用程序的用户界面对象之一；并且响应于激活第一用户界面对象的用户输入，来自第一应用程序的用户界面对象的可见度不降低，而来自第二应用程序的用户界面对象的可见度连同背景内容一起降低。在一些实施方案中，多个用户界面对象包括来自第一应用程序的用户界面对象和来自第二应用程序的用户界面对象，并且根据确定第一用户界面对象是第一应用程序的用户界面对象之一，响应于用户输入而降低第一组对象(例如，背景内容中的对象以及多个用户界面对象中的对象等)的可见度；并且根据确定第一用户界面对象是第二应用程序的用户界面对象之一，响应于用户输入而降低第二组对象(例如，背景内容中的对象以及多个用户界面对象中的对象等)的可见度，其中第二组对象与第一组对象不同(例如，不重叠或重叠但包括不同对象等)。响应于检测到激活第一用户界面对象的用户输入而降低一个或多个用户界面对象的可见度连同调整背景内容的至少第一部分的可见度，向用户提供了改进的视觉反馈(例如，通过增加用户已激活的第一用户界面对象的可见度)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，背景内容包括围绕第一显示生成部件的物理环境的表示(例如，物理环境的相机视图、透过第一显示生成部件的透明部分的物理环境的视图等)，并且其中将背景内容的至少第一部分的相应视觉特性的值从第一值调整到第二值(例如，为了将背景内容的至少第一部分的可见度从第一可见度水平调整到第二可见度水平的目的)包括降低物理环境的表示的至少第一部分(例如，在围绕多个用户界面对象、围绕第一用户界面对象等的区域中在三维环境的第一视图中可见的表示的部分)在三维环境的第一视图中的可见度(例如，从第一可见度水平到第二可见度水平)。例如，如图7O所示，根据一些实施方案，与图7N所示的相比，物理环境的表示(例如，物理环境中的物理表面和对象的表示7004’、7006’、7008’和7002’等)的可见度降低。在一些实施方案中，背景内容还包括围绕多个用户界面对象的区域中的一个或多个虚拟对象，并且将背景内容的至少第一部分的可见度从第一可见度水平调整到第二可见度水平包括降低三维环境的第一视图中的一个或多个虚拟对象中的至少一些虚拟对象的可见度(例如，从第一可见度水平到第二可见度水平)。调整背景内容的至少第一部分的相应视觉特性的值(包括降低物理环境的表示的至少第一部分的可见度)向用户提供了改进的视觉反馈(例如，通过增加用户已激活的第一用户界面对象的可见度)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在三维环境的第一视图中同时显示多个用户界面对象与具有相应视觉特性的第一值(例如，相对于多个用户界面对象具有第一可见度水平)的背景内容时，计算机系统检测根据第二激活标准(例如，用于在第二用户界面对象具有输入焦点时(例如，在注视输入指向第二用户界面对象而不指向其他用户界面对象时，在第二用户界面对象被选择时，在预定义的手势的位置对应于第二用户界面对象的位置而不对应于其他用户界面对象的位置时等)检测预定义的手势(例如，捏合手势、轻击手势等)的标准)来激活第二用户界面对象的用户输入。响应于检测到根据第二激活标准来激活第二用户界面对象的用户输入，计算机系统执行与第二用户界面对象相对应的操作，同时保持背景内容的第一部分的相应视觉特性的第一值(例如，将背景内容的第一部分的可见度保持在第一可见度水平)(例如，不将背景内容的可见度降低到低于第一可见度水平的第二可见度水平)。例如，在图7N中，根据一些实施方案，如果计算机系统并非检测到指向第一用户界面对象7326的注视输入连同移动7322，而是检测到指向诸如用户界面对象7322或7320之类的另一用户界面对象的注视输入，则计算机系统任选地执行与所述另一用户界面对象相对应的操作，而不以如图7O所示的方式改变背景区域的可见度水平。例如，在一些实施方案中，第一用户界面对象是第一用户的头像，并且第二用户界面对象是与第一应用程序相对应的应用程序图标，并且执行与第二用户界面对象相对应的操作包括显示第一应用程序的用户界面。当显示第一应用程序的用户界面时，即使一些背景内容可能被第一应用程序的新显示的用户界面在视觉上遮挡，计算机系统也不会降低背景内容的可见度。在一些实施方案中，第一用户界面对象是可用于通信的第一用户的头像，并且第二用户界面对象是不可用于通信的第二用户的头像；并且执行与第二用户界面对象相对应的操作包括在不发起与第二用户的通信会话的情况下显示关于第二用户的不可用性的通知；并且当显示该通知时，即使一些背景内容可能被新显示的通知在视觉上遮挡，计算机系统也不会降低背景内容的可见度。在一些实施方案中，第一用户界面对象是用于以第一通信模式发起与第一用户的通信的示能表示；并且第二用户界面对象是用于以第二模式发起与第一用户的通信的示能表示；并且执行与第二用户界面对象相对应的操作包括以第二通信模式发起与第一用户的通信会话；并且当计算机系统使用第二通信模式发起与第一用户的通信会话时，计算机系统不会降低背景内容的可见度，或者降低在响应于指向第一用户界面对象的输入而以第一通信模式发起通信会话时可见度未降低的该背景内容的第二部分的可见度。在一些实施方案中，第一通信模式是沉浸式通信模式，并且第二通信模式是非沉浸式通信模式。响应于检测到根据第二激活标准来激活第二用户界面对象的用户输入而在保持背景内容的第一部分的相应视觉特性的第一值的同时执行与第二用户界面对象相对应的操作，提供了附加控件选项，但不会使具有附加显示的控件(例如，用于调整相应视觉特性的第一值的附加控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，多个用户界面对象表示多个不同用户(例如，多个用户界面对象是与多个不同用户相对应的相应头像、标识符、菜单选项等)，第一用户界面对象表示第一用户，第二用户界面对象表示不同于第一用户的第二用户。例如，在图7N中，根据一些实施方案，第一用户界面对象7326任选地是第一用户的头像，并且第一用户界面对象7326任选地在不同用户的多个其他头像之中显示，其中相应头像可按与第一用户界面对象7326类似的方式激活以开始与相应头像的对应用户的对应通信会话。用多个用户界面对象来表示多个不同用户向用户提供了改进的视觉反馈(例如，允许用户基于头像、名称等来容易地识别用户界面对象)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，发起与对应于第一用户界面对象的第一用户的通信会话包括：在三维环境的第一视图中显示对应于与第一用户的通信会话的第一组用户界面对象(例如，在相同容器用户界面对象中、在相同集群中等显示的对象)，其中背景内容的至少第一部分相对于第一组用户界面对象的相应视觉特性的值而言具有相应视觉特性的第二值(例如，背景内容的第一部分具有相对于第一组用户界面对象的第二可见度水平)(例如，由于响应于用户输入而降低背景内容的可见度，第一组用户界面对象具有比在检测到用户输入之前多个用户界面对象相对于背景内容具有的可见度水平更高的相对于背景内容的可见度水平)。例如，如图7O所示，根据一些实施方案，当开始通信会话时，计算机系统任选地显示包括与通信会话相对应的一组用户界面对象的用户界面对象7333，并且背景区域(例如，物理环境的表示和用户界面对象7322’)相对于用户界面对象7333具有降低的可见度。在一些实施方案中，第一组用户界面对象包括第一用户界面对象或第一用户界面对象的转换版本(例如，第一用户的头像)以及与对应于和第一用户的通信会话的多个功能相对应的一个或多个其他用户界面对象(例如，用于选择和/或指定与第一用户的通信会话的控制参数的用户界面对象、用于将相关内容(例如，聊天、照片、增强现实、注释等)添加到通信会话的用户界面对象等)。显示与通信会话相对应的第一组用户界面对象，其中背景内容的至少第一部分相对于第一组用户界面对象的相应视觉特性的值而言具有相应视觉特性的第二值，向用户提供了改进的视觉反馈(例如，提供第一组用户界面对象与背景内容的至少第一部分之间的视觉对比度)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在三维环境的第一视图中显示对应于与第一用户的通信会话的第一组用户界面对象(例如，在相同容器用户界面对象中、在相同集群中等显示的对象)包括显示与多个不同通信模式中的第一通信模式(例如，共享三维环境中的共现模式、视频模式、纯音频模式等)相对应的第一示能表示，其中根据与第一示能表示相对应的预设标准来激活第一示能表示使得计算机系统使用第一通信模式发起与第一用户的通信会话。例如，如图7O所示，根据一些实施方案，当发起用于开始通信会话的过程时，计算机系统任选地显示控制用户界面对象7333，该控制用户界面对象包括与通信会话相对应的一组用户界面对象，并且该组用户界面对象包括用于为通信会话选择通信模式的示能表示。在一些实施方案中，第一组用户界面对象包括第一用户界面对象或第一用户界面对象的转换版本，诸如第一用户的头像或图像。在一些实施方案中，第一组用户界面对象还包括用于发送通信请求和为通信会话选择通信模式的控件示能表示。在一些实施方案中，根据确定第一用户能够以第一通信模式通信而不能够以第二通信模式通信，由计算机系统显示第一示能表示而不是与第二通信模式相对应的第二示能表示。在一些实施方案中，根据确定第一用户能够以第一通信模式和第二通信模式两者通信，但第一通信模式是比第二通信模式更优选的通信模式(例如，对于计算机系统的用户、对于第一用户等)，由计算机系统显示第一示能表示，而不是与第二通信模式相对应的第二示能表示。在一些实施方案中，如果第一用户能够使用多个通信模式(例如，纯音频、2D视频、在三维环境中共现等)(例如，使用第一类型的设备、使用第二类型的设备、使用第三类型的设备等)与计算机系统的用户进行通信，则计算机系统显示与多个通信模式之中最优选的相应通信模式相对应的相应示能表示，其中基于一个或多个预设标准(例如，沉浸水平、速度、功率使用、最稳定连接等)来对偏好进行排序。在一些实施方案中，计算机系统还显示在被激活时使得可用通信模式的列表被显示的示能表示。显示与多个不同通信模式中的第一通信模式相对应的第一示能表示，其中根据预设标准来对第一示能表示的激活使用第一通信模式发起与第一用户的通信会话，减少了使用第一通信模式发起与第一用户的通信会话所需的输入数量(例如，多个不同通信模式可以由可用于与第一用户进行通信的通信模式过滤，因此用户不选择不可用于与第一用户进行通信的通信模式)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统提供对与可进行通信会话的多个不同通信模式相对应的可选选项的访问，该多个不同通信模式包括不同于第一通信模式(例如，在三维环境中共现)的一个或多个第二通信模式(例如，2D视频通信、聊天、消息、语音通信等)，其中对与一个或多个第二通信模式相对应的可选选项的访问被降低优先级(例如，在显示位置、视觉显著性、工作流中的次序、菜单级别等方面)到低于对与第一通信模式相对应的第一示能表示的访问。例如，如图7O所示，根据一些实施方案，当发起通信会话时，计算机系统任选地显示包括用于为通信会话选择通信模式的示能表示的用户界面对象7333，其中用于以沉浸式共现模式开始通信会话的示能表示以更大的视觉显著性和/或易访问性提供(例如，可在用户界面对象7333中直接激活、在用户界面对象7333中首先列出等)，而用于以非沉浸模式(例如，视频模式、纯语音模式等)开始通信会话的示能表示以更小的视觉显著性和/或不太直接的访问提供(例如，不可在用户界面对象7333中直接激活、隐藏在用户界面对象7333中的下拉菜单之下等)。例如，在一些实施方案中，响应于第一用户界面对象的激活来提供用于以第一通信模式开始通信会话的第一示能表示，同时不是响应于第一用户界面对象的激活而是响应于在第一示能表示的显示之后检测到的另一输入(例如，对第一示能表示旁边示出的“更多选项”示能表示的选择)来提供用于以多个其他通信模式中的任何通信模式开始通信会话的可选选项。将一个或多个第二通信模式降低优先级到低于对与第一通信模式相对应的第一示能表示的访问减少了使用第一通信模式发起与第一用户的通信会话所需的输入数量(例如，用户不需要在除第一通信模式之外的通信模式中进行导航以便选择第一通信模式)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在三维环境的第一视图中显示对应于与第一用户的通信会话的第一组用户界面对象(例如，响应于激活第一用户界面对象的用户输入而在相同容器用户界面对象中、相同集群中等显示的对象)时，其中背景内容的至少第一部分具有相应视觉特性的第二值(例如，具有相对于第一组用户界面对象的第二可见度水平)并且其中第一组用户界面对象包括第一用户的表示(例如，第一用户的表示是第一用户界面对象或第一用户界面对象的转换版本)，计算机系统检测使得计算机系统发出与第一用户进行通信的请求并等待对该请求的响应的事件。在等待对该请求的响应时，计算机系统降低第一组用户界面对象中的一个或多个用户界面对象相对于第一用户的表示的可见度(例如，将第一组用户界面对象的相应视觉特性的值从第一值改变为第二值)(例如，将第一组用户界面对象中的其他用户界面对象的可见度降低到第二可见度水平，而不降低三维环境的第一视图中的第一用户的表示的可见度)。例如，图7O中的第一用户界面对象7333任选地包括第一用户的头像以及用于配置通信会话的其他用户界面对象；并且根据一些实施方案，一旦响应于对用户界面对象7333中的通信模式或“呼叫”按钮的选择而发出传出通信请求，用户界面对象7333的其余部分就淡出，使得在传出通信请求有待第一用户接受时第一用户的头像保留在三维环境7104的视图中。在一些实施方案中，响应于检测到用户选择与第一通信模式相对应的第一示能表示，计算机系统向第一用户的设备发出请求以在第一通信模式下开始通信会话，并且在等待来自第一用户的响应的同时以及在等待在第一通信模式下建立通信会话的同时，计算机系统降低用于选择通信模式的用户界面对象和其他选项的可见度(例如，淡出、停止显示、模糊、变暗等)，在三维环境的第一视图中留下具有正常可见度或增强可见度的第一用户的表示(例如，以及指示计算机系统的等待状态的视觉提示)。在一些实施方案中，计算机系统在一段时间之后自动向第一用户的设备发出请求以在默认通信模式(例如，第一通信模式、可用模式之中最优选的模式等)下开始通信会话，而无需来自用户的显式选择或确认输入。换句话讲，根据一些实施方案，使得计算机系统发出通信请求的事件任选地是系统生成事件，而不是用户输入。在等待对与第一用户通信的请求的响应时降低第一组用户界面对象中的一个或多个用户界面对象相对于第一用户的表示的可见度向用户提供了改进的视觉反馈(例如，计算机系统正在等待对与第一用户通信的请求的响应)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在等待对该请求的响应并且在三维环境的第一视图中显示第一用户的表示时，计算机系统检测与将第一用户的表示从三维环境中的第一位置移动到第二位置的请求相对应的用户输入(例如，检测用户输入包括检测用户的手部形成捏合手势并且在保持捏合手势时从第一位置移动到第二位置，连同检测注视输入指向第一用户的表示，或者检测用户输入包括检测指向第二位置的注视输入连同确认输入(例如，轻击输入、双击输入等)等)。响应于检测到与将第一用户的表示从三维环境中的第一位置移动到第二位置的请求相对应的用户输入，计算机系统在三维环境中的第二位置处显示第一用户的表示。响应于检测到根据对请求的响应建立了通信会话，计算机系统根据从第一用户接收到的数据(例如，第一用户的实时视频图像、从第一用户接收到的第一用户的头像等)来更新第二位置处的第一用户的表示。例如，图7O中的第一用户界面对象7333任选地包括第一用户的头像以及用于配置通信会话的其他用户界面对象；并且根据一些实施方案，一旦响应于对用户界面对象7333中的通信模式或“呼叫”按钮的选择而发出传出通信请求，用户界面对象7333的其余部分就淡出，使得在传出通信请求有待第一用户接受时第一用户的头像保留在三维环境7104的视图中。当传出通信请求有待第一用户接受时，计算机系统任选地允许用户在三维环境中拖动第一用户的头像。根据一些实施方案，一旦请求已被接受，计算机系统就用从第一用户所使用的计算机系统接收到的图像数据来替换第一用户的头像，以在用户所选择的头像的最终位置处表示第一用户。在一些实施方案中，第一位置和第二位置具有距与三维环境的当前显示视图相对应的视点的不同距离。在一些实施方案中，第一位置和第二位置具有距与三维环境的当前显示视图相对应的视点的不同深度。在一些实施方案中，第一用户的表示的位置在通信会话期间由第一用户控制。在一些实施方案中，第一用户的表示的位置在通信会话期间由计算机系统的用户控制。在一些实施方案中，第一用户的表示的位置是由第一用户控制还是由计算机系统的用户控制取决于第一用户正用于通信会话的设备的类型。例如，如果第一用户使用启用AR的设备，则第一用户控制他/她自己的头像在三维环境中的位置；并且如果第一用户使用2D视频设备或纯音频设备，则计算机系统的用户控制第一用户的头像在三维环境中的位置。响应于检测到与将第一用户的表示从三维环境中的第一位置移动到第二位置的请求相对应的用户输入而在三维环境中的第二位置处显示第一用户的表示，并且响应于检测到根据对请求的响应建立了通信会话而根据从第一用户接收到的数据来更新第二位置处的第一用户的表示，在无需进一步的用户输入(例如，需要用户还定位响应于检测到建立了通信会话而出现的第一用户的视频图像或头像)的情况下执行操作(例如，更新第二位置处的第一用户的表示)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性，这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在与第一用户的通信会话期间，根据确定第一用户已使用第一通信模式(例如，共享三维环境中的共现模式)加入通信会话，计算机系统根据从第一用户接收到的数据(例如，第一用户的位置、取向或移动(例如，取向和/或位置的变化)、从第一用户接收到的用户输入等)来更新第一用户的表示在三维环境中的位置。例如，图7O中的第一用户界面对象7333任选地包括第一用户的头像以及用于配置通信会话的其他用户界面对象；并且根据一些实施方案，一旦响应于对用户界面对象7333中的通信模式或“呼叫”按钮的选择而发出传出通信请求，用户界面对象7333的其余部分就淡出，使得在传出通信请求有待第一用户接受时第一用户的头像保留在三维环境7104的视图中。当传出通信请求有待第一用户接受时，计算机系统任选地允许用户在三维环境中拖动第一用户的头像。根据一些实施方案，一旦请求已被接受，计算机系统就用从第一用户所使用的计算机系统接收到的图像数据来替换第一用户的头像，以在用户所选择的头像的最终位置处表示第一用户。根据一些实施方案，在已建立通信会话之后，根据确定第一用户以沉浸式共现模式参与通信会话，计算机系统根据改变第一用户在三维环境中的虚拟位置的第一用户的移动和位置数据来在三维环境7104的视图中移动第一用户的表示。根据确定第一用户已使用第一通信模式加入通信会话来根据从第一用户接收到的数据更新第一用户的表示在三维环境中的位置，在无需进一步的用户输入(例如，需要用户手动地移动第一用户的表示的位置)的情况下执行操作(例如，更新第一用户的表示的位置)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性，这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在与第一用户的通信会话期间，根据确定第一用户已使用第二通信模式(例如，2D视频模式、纯音频模式等)加入通信会话，计算机系统根据从计算机系统的用户接收到的用户输入(例如，用户在三维环境中拖动第一用户的表示、用户使用注视输入连同确认输入来选择第一用户的表示的新位置等)来更新第一用户的表示在三维环境中的位置。在一些实施方案中，根据一些实施方案，在已建立通信会话之后，根据确定第一用户以非沉浸模式(例如，视频或纯语音模式等)参与通信会话，计算机系统不根据第一用户的移动和位置数据来在三维环境7104的视图中移动第一用户的表示，而是继续根据从计算机系统的用户接收到的拖动输入来在三维环境7104的视图中移动第一用户的表示。根据确定第一用户已使用第二通信模式加入通信会话来根据从计算机系统的用户接收到的用户输入更新第一用户的表示在三维环境中的位置的表示的位置，减少了将第一用户的表示定位在三维环境中的期望位置处所需的输入数量(例如，即使从第一用户接收到来自第一用户的数据，用户也不需要重新定位第一用户的表示)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在等待对请求的响应时，计算机系统保持在三维环境的视图中显示相应用户界面对象(包括对请求的响应尚未被接受的指示)，直到请求被取消(例如，响应于来自第一用户的用户输入而被取消)或被接受(例如，响应于来自第二用户的用户输入而被接受)。在一些实施方案中，相应用户界面对象包括第一用户的表示。例如，图7O中的第一用户界面对象7333任选地包括第一用户的头像以及用于配置通信会话的其他用户界面对象；并且根据一些实施方案，一旦响应于对用户界面对象7333中的通信模式或“呼叫”按钮的选择而发出传出通信请求，用户界面对象7333的其余部分就淡出，使得在传出通信请求有待第一用户接受时第一用户的头像保留在三维环境7104的视图中。当传出通信请求有待第一用户接受时，计算机系统任选地保持在三维环境中显示第一用户的头像以及取消按钮。根据一些实施方案，一旦请求已被接受，计算机系统就用从第一用户所使用的计算机系统接收到的图像数据来替换第一用户的头像，以在用户所选择的头像的最终位置处表示第一用户。根据一些实施方案，如果用户通过选择取消按钮来取消传出通信请求，则计算机系统停止显示第一用户的头像，并且将三维环境的显示恢复到在发起通信会话的用户输入之前示出的状态。在等待对与第一用户进行通信的请求的响应时保持显示相应用户界面对象(包括对请求的响应尚未被接受的指示)向用户提供了改进的视觉反馈(例如，与第一用户进行通信的请求尚未被接受)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在三维环境的视图中显示包括请求尚未被接受的指示的相应用户界面对象时，计算机系统检测与将相应用户界面对象从三维环境中的第一位置移动到第二位置的请求相对应的用户输入(例如，检测用户输入包括检测用户的手部形成捏合手势并且在保持捏合手势时从第一位置移动到第二位置，同时注视输入指向相应用户界面对象，或者检测用户输入包括检测指向第二位置的注视输入连同确认输入(例如，轻击输入、双击输入等)等)。响应于检测到与将相应用户界面对象从三维环境中的第一位置移动到第二位置的请求相对应的用户输入，计算机系统在三维环境中的第二位置处显示相应用户界面对象。例如，图7O中的第一用户界面对象7333任选地包括第一用户的头像以及用于配置通信会话的其他用户界面对象；并且根据一些实施方案，一旦响应于对用户界面对象7333中的通信模式或“呼叫”按钮的选择而发出传出通信请求，用户界面对象7333的其余部分就淡出，使得在传出通信请求有待第一用户接受时第一用户的头像保留在三维环境7104的视图中。当传出通信请求有待第一用户接受时，计算机系统任选地允许用户在三维环境中拖动第一用户的头像。根据一些实施方案，一旦请求已被接受，计算机系统就用从第一用户所使用的计算机系统接收到的图像数据来替换第一用户的头像，以在用户所选择的头像的最终位置处表示第一用户。在一些实施方案中，第一位置和第二位置具有距与三维环境的当前显示视图相对应的视点的不同距离。在一些实施方案中，第一位置和第二位置具有距与三维环境的当前显示视图相对应的视点的不同深度。在一些实施方案中，第一位置在被指定为对计算机系统的用户私有的区域内，并且第二位置在被指定为在计算机系统的用户与第一用户之间共享的区域内。在一些实施方案中，相应用户界面对象锚定在三维环境中并且不根据三维环境的当前显示视图的视点的移动而移动。在一些实施方案中，相应用户界面对象锚定到视点(例如，头部锁定或身体锁定到用户)并且根据三维环境的当前显示视图的视点的移动而移动(例如，作为佩戴第一显示生成部件的用户的头部的移动的结果，或者作为握住第一显示生成部件的用户的手部的移动的结果，或者作为用户作为整体在物理环境中的移动的结果等)。在一些实施方案中，第一位置是与用户的手部的位置相对应的位置，并且第二位置是与远离用户的手部的位置相对应的位置。在一些实施方案中，当在第一位置处显示相应用户界面对象时，相应用户界面对象被锁定到用户的手部的位置；并且当在第二位置处显示相应用户界面对象时，相应用户界面对象被锁定到三维环境并且不再根据用户的手部的移动而移动。响应于检测到与将相应用户界面对象从三维环境中的第一位置移动到第二位置的请求相对应的用户输入而在三维环境中的第二位置处显示相应用户界面对象(包括请求尚未被接受的指示)减少了在保持显示相应用户界面对象时与计算机系统交互所需的输入数量(例如，如果在用户执行另一任务时显示相应用户界面对象，则一旦用户完成前一任务，用户就可以重新定位相应用户界面对象以便易于访问，而不必最小化或取消相应用户界面对象)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当以第二可见度水平显示背景内容的至少第一部分(例如，相对于至少第一用户界面对象)时，计算机系统检测指向背景内容的第一部分的注视输入。响应于检测到指向背景内容的第一部分的注视输入，并且根据确定注视输入满足第一预设标准(例如，在阈值区域内保持至少阈值时间量、指向用户界面对象等)，计算机系统将背景内容的至少第一部分的可见度恢复到第一可见度水平。例如，在图7O中，根据一些实施方案，如果计算机系统检测到指向虚拟对象7322’的可见度降低版本或物理环境的表示7004”、7006”、7008”、7002”等的一部分的注视输入，则计算机系统任选地根据确定注视输入满足预设位置或持续时间标准来恢复背景内容或其一部分(例如，可见度降低的所有部分或处于注视输入之下的部分等)的可见度。响应于检测到指向背景内容的第一部分的注视输入而将背景内容的至少第一部分的可见度恢复到第一可见度水平提供了附加控件选项，但不会使具有附加显示的控件(例如，用于控制背景的可见度水平的附加控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在开始与第一用户的通信会话之后，计算机系统显示对应于与第一用户的通信会话的控制用户界面对象(例如，在三维环境的第一视图中显示第一用户的表示的同时)，其中控制用户界面对象包括用于显示与通信会话相关的附加内容的一个或多个示能表示(例如，用于显示与第一用户的消息线程的示能表示、用于显示与第一用户相关的照片或媒体内容项的示能表示、用于显示与通信会话相关联的其他控制参数的示能表示、用于终止当前通信模式以及任选地选择另一通信模式的示能表示等)。例如，在一些实施方案中，图7O中的用户界面对象7333表示在完全建立通信会话之后和/或在发出通信请求之前显示的用于通信会话的控制用户界面。在一些实施方案中，根据一些实施方案，用户界面对象7333包括用于显示与通信会话相关的附加内容的示能表示。显示包括用于显示与通信会话相关的附加内容的一个或多个示能表示的控制用户界面对象减少了访问与通信会话相关的附加内容所需的输入数量(例如，用户不需要为了访问相关内容而导航离开通信会话)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在开始与第一用户的通信会话之后，计算机系统显示对应于与第一用户的通信会话的控制用户界面对象(例如，在三维环境的第一视图中显示第一用户的表示的同时)。在一些实施方案中，控制用户界面对象是包括第二组用户界面对象的容器对象，该第二组用户界面对象对应于与和第一用户的通信会话相关的各种功能。在一些实施方案中，控制用户界面对象任选地响应于不同的用户输入和事件而随时间改变外观和组成部分，并且可以响应于用户输入而在三维环境中相对于第一用户的表示移动。在一些实施方案中，计算机系统响应于检测到对应于终止与第一用户的通信会话的请求和/或取消控制用户界面对象的请求的用户输入而停止显示控制用户界面对象。在一些实施方案中，控制用户界面对象包括用于终止当前使用的通信模式下的通信会话的示能表示，并且示能表示的激活导致通信会话的终止。在一些实施方案中，在三维环境中显示控制用户界面对象达至少第一预设时间量之后，根据确定在三维环境中的控制用户界面对象的区域中未检测到持续至少第二预设时间量的注视输入，计算机系统降低控制用户界面对象在三维环境中的可见度(例如，通过对控制用户界面对象增加模糊半径、变暗、降低颜色饱和度等)。例如，在一些实施方案中，图7O中的用户界面对象7333表示在完全建立通信会话之后(例如，与第一用户的表示同时)显示的用于通信会话的控制用户界面；并且如果计算机系统在一段时间内没有检测到用户对用户界面对象7333的注视，则用户界面对象7333淡出，仅留下第一用户的表示；并且根据一些实施方案，当在用户界面对象7333的最后/当前位置处检测到用户的注视时，以正常可见度重新显示用户界面对象7333。在一些实施方案中，根据一些实施方案，用户界面对象包括用于显示与通信会话相关的附加内容的示能表示。在一些实施方案中，当在第二预设时间量内在控制用户界面对象处检测到注视输入时，计算机系统不降低控制用户界面对象的可见度。在一些实施方案中，当在控制用户界面对象减小之后在控制用户界面对象的区域中检测到注视输入时，计算机系统恢复控制用户界面对象在三维环境中的可见度。在一些实施方案中，即使在至少第二时间量内没有在第一用户的表示的区域处检测到注视输入，计算机系统也不在通信会话期间降低第一用户的表示的可见度。在一些实施方案中，当在第一用户的表示或控制用户界面对象处未检测到注视输入时，第一用户的表示的可见度降低的程度没有控制用户界面对象那样大。在显示控制用户界面对象达至少第一预设时间量之后并且根据确定在控制用户界面对象的区域中没有检测到持续至少第二预设时间量的注视输入来降低控制用户界面对象在三维环境中的可见度，向用户提供了改进的视觉反馈(例如，用户没有将注视输入指向控制用户界面对象的区域达至少第二预设时间量)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，显示对应于与第一用户的通信会话的控制用户界面对象(例如，在三维环境的第一视图中显示第一用户的表示的同时)包括在至少第一时间段内(例如，最初，或者在检测到来自用户的将控制用户界面对象从固定到用户的手部的位置发送到三维环境中的位置的手势之后等)，在锚定到三维环境(例如，锚定到三维环境中的物理环境的表示，相对于三维环境的坐标系固定)的三维环境中的位置处显示控制用户界面对象(例如，独立于三维环境的当前显示视图的视点的移动，独立于计算机系统的用户在物理环境中的移动，其不等于在三维环境中重新定位控制用户界面对象的公认请求)。例如，在一些实施方案中，图7O中的用户界面对象7333表示在完全建立通信会话之后显示的用于通信会话的控制用户界面，并且控制用户界面对象锚定到三维环境7104的视图中的物理环境的表示(例如，不根据视点、用户的手部、头部或身体的移动而移动)。在锚定到三维环境的三维环境中的位置处显示控制用户界面对象减少了与控制用户界面交互所需的输入数量(例如，用户可以在与控制用户界面交互之前执行不同的操作，而不必执行附加手势来重新显示控制用户界面)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，显示对应于与第一用户的通信会话的控制用户界面对象(例如，在三维环境的第一视图中显示第一用户的表示的同时)包括在至少第二时间段内(例如，最初，或者在检测到来自用户的将控制用户界面对象在三维环境中的位置撤回到固定到用户的手部的位置到三维环境中的位置的手势之后等)，在锚定到计算机系统的用户的第一部分的位置(例如，锚定到三维环境中的计算机系统的用户的手部或手腕的表示)的三维环境中的位置处显示控制用户界面对象(例如，独立于三维环境的当前显示视图的视点的移动)。例如，在一些实施方案中，图7O中的用户界面对象7333表示在完全建立通信会话之后显示的用于通信会话的控制用户界面，并且在一些实施方案中，控制用户界面对象任选地锚定到用户的手部的位置并且根据用户的手部7202的移动而移动。在锚定到计算机系统的用户的第一部分的位置的三维环境中的位置处显示控制用户界面对象减少了与控制用户界面交互所需的输入数量(例如，用户可以在与控制用户界面交互之前执行不同的操作，而不必执行附加手势来重新显示控制用户界面)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当显示对应于与第一用户的通信会话的控制用户界面对象时(例如，在三维环境的第一视图中显示第一用户的表示的同时)，计算机系统检测对应于显示与通信会话相关的附加信息的请求的用户输入(例如，检测控制用户界面对象中用于显示消息线程、显示照片或视频、或通信会话或第一用户的会话信息等的示能表示的选择)。响应于检测到对应于显示与通信会话相关的附加信息的请求的用户输入，计算机系统在控制用户界面对象内显示附加信息(例如，任选地，在三维环境中扩大控制用户界面对象之后)。例如，在一些实施方案中，图7O中的用户界面对象7333表示在完全建立通信会话之后显示的用于通信会话的控制用户界面，并且根据一些实施方案，控制用户界面对象可响应于用户输入而扩大以显示附加内容(例如，文本消息、图像等)。在一些实施方案中，附加信息替换在控制用户界面对象中显示的内容和控件示能表示中的一些。在一些实施方案中，显示一个或多个附加窗口以显示附加信息，同时控制用户界面对象保持处于其原始状态。响应于检测到对应于显示与通信会话相关的附加信息的请求的用户输入而在控制用户界面对象内显示附加信息，减少了查看附加信息所需的输入数量(例如，用户不需要为了查看附加信息而导航离开控制用户界面对象，并且不需要在查看附加信息之后执行附加手势来重新显示控制用户界面对象)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在开始与第一用户的通信会话之后，计算机系统显示用于终止通信会话的第一示能表示(例如，“离开会话”或“结束呼叫”示能表示)(例如，作为对应于与第一用户的通信会话的控制用户界面对象的一部分，或与控制用户界面对象分开等)(例如，在三维环境的第一视图中显示第一用户的表示的同时)，其中第一示能表示的激活使得计算机系统终止与第一用户的通信会话。例如，在一些实施方案中，图7O中的用户界面对象7333或用户界面对象7324表示在完全建立通信会话之后显示的用于通信会话的控制用户界面，并且根据一些实施方案，控制用户界面对象包括用于终止通信会话的选项。在一些实施方案中，在控制用户界面对象内的位置处显示第一示能表示。在一些实施方案中，在控制用户界面对象附近显示第一示能表示。在一些实施方案中，第一示能表示锚定到三维环境。在一些实施方案中，第一示能表示锚定到三维环境的当前显示视图的视点。在一些实施方案中，第一示能表示锚定到经由第一显示生成部件提供的视场。在一些实施方案中，在与计算机系统的用户的手部的位置相对应的位置处显示第一示能表示。在开始与第一用户的通信会话之后显示用于终止通信会话的第一示能表示减少了终止通信会话所需的输入数量(例如，用户不需要选择包括用于终止通信会话的选项的菜单)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在开始与第一用户的通信会话之后，显示用于切换通信会话的当前使用的通信模式的第二示能表示(例如，“离开会话”或“结束呼叫”示能表示)(例如，作为对应于与第一用户的通信会话的控制用户界面对象的一部分，或与控制用户界面对象分开等)(例如，在三维环境的第一视图中显示第一用户的表示的同时)，其中第二示能表示的激活使得计算机系统将与第一用户的通信会话的通信模式从第一通信模式改变为不同于第一通信模式的第二通信模式。例如，在一些实施方案中，图7O中的用户界面对象7333或用户界面对象7324表示在完全建立通信会话之后显示的用于通信会话的控制用户界面，并且根据一些实施方案，控制用户界面对象包括用于切换到与用于建立通信会话的通信模式不同的通信模式的选项。在一些实施方案中，在控制用户界面对象内的位置处显示第二示能表示。在一些实施方案中，在控制用户界面对象附近显示第二示能表示。在一些实施方案中，第二示能表示锚定到三维环境。在一些实施方案中，第二示能表示锚定到三维环境的当前显示视图的视点。在一些实施方案中，第二示能表示锚定到经由第一显示生成部件提供的视场。在一些实施方案中，在与计算机系统的用户的手部的位置相对应的位置处显示第二示能表示。在一些实施方案中，在响应于控制用户界面对象内的第三示能表示的激活而显示的用户界面对象中显示第二示能表示。在开始与第一用户的通信会话之后显示用于切换通信会话的当前使用的通信模式的第二示能表示，其中第二示能表示的激活使得计算机系统将与第一用户的通信会话的通信模式从第一通信模式改变为不同于第一通信模式的第二通信模式，减少了使用第二通信模式与第一用户建立通信会话所需的输入数量(例如，用户不需要终止通信会话并且使用第二通信模式与第一用户建立新的通信会话)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
应当理解，对图11中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当注意，本文相对于本文所述的其他方法(例如，方法8000、9000、10000、12000、13000、14000、15000和16000)所述的其他过程的细节同样以类似的方式适用于上文相对于图11所述的方法11000。例如，以上参考方法11000描述的手势、注视输入、物理对象、用户界面对象、控件、移动、标准、三维环境、显示生成部件、表面、物理对象的表示、虚拟对象和/或动画任选地具有本文参考本文所述的其他方法(例如，方法8000、9000、10000、12000、13000、14000、15000和16000)所述的手势、注视输入、物理对象、用户界面对象、控件、移动、标准、三维环境、显示生成部件、表面、物理对象的表示、虚拟对象和/或动画的特征中的一个或多个特征。为了简明起见，此处不再重复这些细节。
图12是根据一些实施方案的在检测到与通知的直接用户交互之前显示该通知的表示的方法12000的流程图。
在一些实施方案中，方法12000在计算机系统(例如，图1中的计算机系统101)处执行，该计算机系统包括第一显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户的手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法12000通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法12000中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，方法12000在计算机系统(例如，图1中的计算机系统101、相对于图7A至图7D、图7E至图7F、图7G至图7H、图7I至图7M、图7N至图7O、图7P至图7S、图7T至图7U和/或图7V至图7X描述的计算机系统101、相对于图7V至图7X描述的第一计算机系统101-t、相对于图7V至图7X描述的第二计算机系统等)处执行。在一些实施方案中，计算机系统与第一显示生成部件(例如，第一显示生成部件是平视显示器、头戴式显示器(HMD)、显示器、触摸屏、投影仪等)和一个或多个输入设备(例如，相机、控制器、触敏表面、操纵杆、按钮、手套、手表、运动传感器、取向传感器等)通信。在一些实施方案中，第一显示生成部件是相对于图7A至图7U和图7Y至图7Z描述的第一显示生成部件7100、相对于图7V至图7X描述的第一显示生成部件7100-t、相对于图7V至图7X描述的第二显示生成部件等。在一些实施方案中，计算机系统是集成设备，该集成设备具有包围在与第一显示生成部件和一个或多个输入设备中的至少一些输入设备相同的外壳中的一个或多个处理器和存储器。在一些实施方案中，计算机系统包括计算部件(例如，服务器，移动电子设备诸如智能电话或平板设备，可穿戴设备诸如手表、腕带或听筒，台式计算机，膝上型计算机等)，该计算部件包括与第一显示生成部件和/或一个或多个输入设备分开的一个或多个处理器和存储器。在一些实施方案中，第一显示生成部件以及一个或多个输入设备被集成并包围在相同外壳中。根据一些实施方案，相对于图7P至图7U描述了方法12000的特征中的许多特征。
在方法12000中，计算机系统经由第一显示生成部件显示(12002)三维环境(例如，虚拟三维环境、增强现实环境、物理环境的透传视图、物理环境的相机视图等)的第一视图。如图7P至图7S所示，根据一些实施方案，计算机系统显示三维环境7104的视图。在一些实施方案中，三维环境是没有物理环境的表示的虚拟三维环境。在一些实施方案中，三维环境是混合现实环境，该混合现实环境是由与物理环境相对应的传感器数据增强的虚拟环境。在一些实施方案中，三维环境是增强现实环境，该增强现实环境包括一个或多个虚拟对象和第一显示生成部件周围的物理环境的至少一部分的表示(例如，相机视图或透过第一显示生成部件的透明或半透明部分的视图)。
在方法12000中，在显示三维环境的第一视图时，计算机系统检测(12004)与第一通知的接收相对应的第一事件。在一些实施方案中，第一事件对应于用于在与计算机系统相对应的第一用户(例如，通过第一显示生成部件查看三维环境并且经由一个或多个输入设备向计算机系统提供输入的第一用户)和不同于第一用户的第二用户(例如，使用不同计算机系统(例如，移动设备、台式计算机、头戴式设备等)并且任选地位于与第一用户不同的物理环境中的第二用户)之间建立通信会话的传入请求的通知或警示的接收。在一些实施方案中，第一通知对应于来自操作系统或应用程序的请求第一用户的注意的其他信息或警示，诸如来自购物应用程序的指示包裹投递的通知、来自操作系统的关于刚完成的新应用程序的下载或安装的通知、来自操作系统的指示第一显示生成部件的电池电量低并需要马上再充电的通知、来自操作系统的指示计算机系统的外围设备正在请求与计算机系统连接的许可的通知、预设警示或日历提醒已响铃的通知、接收到传入呼叫并请求连接的通知等。在一些实施方案中，与第一通知的接收相对应的第一事件是由计算机系统响应于满足预先建立的触发条件或响应于来自另一计算机系统或设备的请求而产生的系统生成事件，并且不是对由计算机系统的一个或多个输入设备检测到的用户输入的实时响应或反馈。
在方法12000中，响应于检测到第一事件(12006)：计算机系统在基于第一用户的第一部分在物理环境中的位置来选择的三维环境中的位置处显示(12008)第一通知的第一表示(例如，弹出横幅、包括通知内容的用户界面对象等)(例如，通知被锁定到第一用户的第一部分(例如，头部、身体等)，被锁定到随着用户作为整体在物理环境中移动或转动他/她的头部等而移动的用户视场的周边区域))。如图7P至图7Q所示，根据一些实施方案，在被锁定到用户头部或用户躯干的位置处显示第一通知的第一表示7334。在一些实施方案中，第一通知的第一表示7334保持在视场的固定部分中(例如，锚定到具有与用户的头部或躯干的位置和/或面向方向相对应的虚拟位置的视点)并且根据用户的头部或躯干的移动(例如，在移动改变视点的位置和面向方向时)而移动，例如如图7P至图7Q所示。在一些实施方案中，第一通知的第一表示是包括供第一用户确定是否要与第一通知进行交互以处置通知的一些信息(例如，应用程序名称、应用程序图标、消息的摘录、第一事件的性质、从第一用户请求的动作的类型等)的通知。在一些实施方案中，计算机系统响应于第一用户在当前显示的体验或应用程序正在进行并保持显示时采取所请求的动作(例如，拒绝呼叫、使警示静音、暂停警示等)来处置第一通知，或者响应于第一用户启动对应应用程序或体验来处置第一通知以通过与第一通知的交互来完全参与应用程序或体验，同时挂起或终止当前显示的体验或应用程序(例如，暂停当前体验并加入通信会话、打开日历应用程序以查看即将到来的日历事件的细节等)。在一些实施方案中，第一通知的第一表示被显示为与三维环境的当前显示视图的视点具有第一类型的空间关系(例如，相对于视场的预设部分固定、固定在距视点的预设查看深度处等)。在一些实施方案中，第一通知的第一表示最初在三维环境的当前显示视图的预设周边部分中显示，并且保持在当前显示视图的预设周边部分中，而不是在三维环境的当前显示视图的中心部分中弹出。在一些实施方案中，与在用户的视场的中心弹出并遮挡第一用户当前正在观看的内容的通知横幅相比，第一通知的第一表示以更少侵扰和中断的方式进入视场。在一些实施方案中，第一表示通知从视场的周边区域进入视场，并且任选地沿着视场的周边区域中的路径(例如，从较大的查看深度到较小的查看深度，从顶边缘到左边缘的中间部分，从左下角到左边缘的中间部分等)移动。
在方法12000中，在基于第一用户的第一部分在物理环境中的位置来选择的三维环境中的位置处显示第一通知的第一表示之后(例如，没有检测到与第一通知的第一表示的直接用户交互(例如，没有检测到注视输入，没有检测到满足停留时间阈值的注视输入，没有检测到满足交互标准的指向第一表示的手势输入、语音命令、选择输入等(例如，没有检测到与打开对应应用程序、取消通知或重新定位通知等的请求相对应的用户输入)，等等))，计算机系统在基于第一用户的第二部分在物理环境中的位置(例如，用户的手部的位置、用户的手腕的位置等)来选择的三维环境中的第二位置处显示(12010)第一通知的第二表示(例如，第一表示的缩减版本、用于不同通知的通用指示符、与第一通知的第一表示相比具有减少的通知内容的指示符等)，其中第一用户的第二部分不同于第一用户的第一部分并且可以相对于第一用户的第一部分移动。如图7Q所示，根据一些实施方案，在已在基于用户的头部或躯干在物理环境中的位置来选择的位置处显示第一表示7334之后，计算机系统切换到在基于用户的手部7202在物理环境中的位置来选择的位置处显示第一通知的第二表示7338(例如，在图7Q之后的图7R中)。
在方法12000中，当在基于第一用户的第二部分在物理环境中的位置来选择的三维环境中的位置处显示第一通知的第二表示时，计算机系统检测(12012)第一用户的第二部分在物理环境中相对于第一用户的第一部分的移动(例如，第一用户的第二部分相对于物理环境的绝对移动)(例如，用户的手部或手腕在物理环境中相对于用户的躯干或头部的移动)。响应于检测到第一用户的第二部分在物理环境中相对于第一用户的第一部分的移动(例如，而不是仅由第一用户的第一部分在物理环境中的移动引起的第一用户的第二部分与第一部分之间的相对移动)，计算机系统基于第一用户的第二部分在物理环境中的移动来在三维环境中移动(12014)第一通知的第二表示。例如，如图7R至图7S所示，根据一些实施方案，计算机系统检测用户的手部7202在物理环境中的移动，同时在基于用户的手部7202的位置来选择的位置处显示第二表示7338；并且根据一些实施方案，响应于手部7202相对于用户的头部或躯干的移动，计算机系统基于用户的手部7202的移动来移动第二表示7338，使得第一通知的第二表示7338保持与用户的手部7202的表示7202’的固定空间关系，同时表示7202’在由第一显示生成部件提供的视场内。例如，在一些实施方案中，当第一用户的第二部分的表示在三维环境的当前显示视图内移动时，第一通知的第二表示的位置被锁定到第一用户的第二部分的表示的变化位置并且根据第一用户的第二部分的表示的变化位置而移动。在一些实施方案中，当第一用户的第二部分的表示在三维环境的当前显示视图之外时，第一通知的第二表示的位置被锁定到基于其与第一用户的第二部分在物理环境中的位置更近的接近度来选择的视场的边缘部分。在基于用户的第一部分的位置来选择的第一位置处显示通知的第一表示，然后在基于用户的第二部分的位置来选择的第二位置处显示通知的第二表示，向用户提供了改进的视觉反馈(例如，通过将注意力吸引到通知在一个位置处的到达，然后将表示移动到另一个位置以减少对用户的分心)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一通知的第一表示(例如，图7P至图7Q中的第一通知的第一表示7334)不同于第一通知的第二表示(例如，图7R至图7S中的第一通知的第二表示7338)。在一些实施方案中，第一通知的第一表示包括比第一通知的第二表示更多的通知内容。在一些实施方案中，第一通知的第一表示具有比第一通知的第二表示更大的尺寸。在一些实施方案中，第一通知的第一表示以比第一通知的第二表示更高的可见度水平显示。在一些实施方案中，第一通知的第一表示具有应用特定的外观，并且第一通知的第二表示具有非应用特定的通用外观。在一些实施方案中，计算机系统显示视觉指示或提供音频或触觉指示以标记从显示第一通知的第一表示到显示第一通知的第二表示的转变。在一些实施方案中，计算机系统自动显示动画过渡，该动画过渡示出了第一通知的显示表示的移动和转换，例如从在基于第一用户的第一部分的位置来选择的位置处显示的第一表示到在基于第一用户的第二部分的位置来选择的位置处显示的第二表示。在一些实施方案中，第一通知的显示表示的移动在视场的周边区域中，以在第一用户直接与第一通知的当前显示的表示交互之前减少对第一用户的分心。显示与第一通知的第一表示不同的第一通知的第二表示向用户提供了改进的视觉反馈(例如，因为第一表示和第二表示不同，所以用户可以容易地将较新的通知与较旧的通知区分开)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一通知的第一表示与第一通知的第二表示相同。例如，在一些实施方案中，图7R至图7S所示的第二表示7338任选地被图7P至图7Q所示的第一表示7334替换，使得第一通知的表示在视觉上没有改变，即使该表示的位置最初是基于用户的头部或躯干的位置来选择的，并且稍后是基于用户的手部或手腕的位置来选择的。在一些实施方案中，第一通知的第一表示和第一通知的第二表示具有相同的外观，但是相对于第一用户的不同部分具有不同的移动行为。例如，第一通知的第一表示不根据第一用户的第二部分在物理环境中相对于第一用户的第一部分的移动而移动，而是根据第一用户的第一部分相对于物理环境的移动而移动(例如，不论第一用户的第二部分是否相对于物理环境移动)；相比之下，第一通知的第二表示根据第一用户的第二部分在物理环境中相对于第一用户的第一部分的移动而移动，但如果第一用户的第二部分不相对于物理环境移动，则不根据第一用户的第一部分相对于物理环境的移动而移动。在一些实施方案中，计算机系统显示视觉指示或提供音频或触觉指示以标记从显示第一通知的第一表示到显示第一通知的第二表示的转变。在一些实施方案中，计算机系统自动移动第一通知的显示表示，例如从基于第一用户的第一部分的位置来选择的位置到基于第一用户的第二部分的位置来选择的位置，作为从显示第一通知的第一表示到显示第一通知的第二表示的转变的视觉指示。在一些实施方案中，第一通知的显示表示的移动在视场的周边区域中，以减少对第一用户的分心。显示与第一通知的第一表示相同的第一通知的第二表示向用户提供了改进的视觉反馈(例如，因为第一表示和第二表示相同，所以用户可以容易地识别第二位置处的第二表示)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在基于第一用户的第一部分在物理环境中的位置来选择的三维环境中的位置处显示第一通知的第一表示时，计算机系统检测第一用户的第一部分在物理环境中的第一移动(例如，第一用户作为整体的移动、第一用户的头部的移动等)。响应于检测到第一用户的第一部分在物理环境中的第一移动，计算机系统根据第一用户的第一部分在物理环境中的第一移动来更新第一通知的第一表示在三维环境的当前显示视图中的位置(例如，在三维环境中移动第一表示，相对于增强现实环境中的物理环境的表示或相对于虚拟三维环境移动第一表示等)。例如，如图7P至图7Q所示，根据一些实施方案，当显示第一通知的第一表示7334时，用户的头部或躯干的移动会移动三维环境7104的当前显示视图的视点，并且计算系统根据用户的头部或躯干的移动来移动第一通知的第一表示7334以保持第一通知的第一表示7334与用户的面部或躯干的虚拟位置(例如，任选地与视点的位置相对应的位置)之间的空间关系。在一些实施方案中，响应于检测到第一用户的第一部分在物理环境中的第一移动，计算机系统根据三维环境的当前显示视图的视点的移动来更新三维环境的当前显示视图，其中三维环境的当前显示视图的视点的移动对应于第一用户的第一部分在物理环境中的移动。在一些实施方案中，在当前显示视图的视点响应于第一用户的第一部分在物理环境中的移动(例如，向前、向后、向左、向右、顺时针、逆时针等)而在三维环境中向前、向后、向左、向右、顺时针、逆时针等移动时，第一通知的第一表示在视场中的显示位置基本上保持不变。在一些实施方案中，在当前显示视图的视点响应于第一用户的第一部分在物理环境中的移动(例如，向前、向后、向左、向右、顺时针、逆时针等)而在三维环境中向前、向后、向左、向右、顺时针、逆时针等移动时，第一通知的第一表示在视场中的显示深度相对于当前显示视图的视点基本上保持不变。在一些实施方案中，响应于第一用户的第一部分在物理环境中的移动(例如，向前、向后、向左、向右、顺时针、逆时针等)，第一通知的第一表示在视场中的显示位置基本上保持不变。响应于检测到第一用户的第一部分在物理环境中的第一移动而根据第一用户的第一部分在物理环境中的第一移动来更新第一通知的第一表示的位置，在已满足一组条件(例如，第一用户的第一部分已移动)时执行操作(例如，更新第一通知的第一表示的位置)而无需进一步的用户输入(例如，用于在第一用户的第一部分已移动之后更新第一通知的第一表示的位置的附加输入)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性，这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，当在基于第一用户的第一部分在物理环境中的位置来选择的三维环境中的位置处显示第一通知的第一表示时，计算机系统检测第一用户的第二部分在物理环境中相对于第一用户的第一部分的第二移动(例如，不检测第一用户的第一部分在物理环境中的移动(例如，第一用户作为整体的移动、第一用户的头部的移动等))。响应于检测到第一用户的第二部分在物理环境中相对于第一用户的第一部分的第二移动，计算机系统保持第一通知的第一表示在三维环境的当前显示视图中的位置(例如，放弃在三维环境中移动第一表示，放弃在增强现实环境中相对于物理环境的表示或相对于虚拟三维环境移动第一表示等)(例如，保持第一通知的第一表示的位置，而与物理环境中不伴随第一用户的第一部分的移动的第一用户的第二部分的第二移动无关)。例如，在图7P中，根据一些实施方案，当在锚定到用户的头部或躯干的位置或基于用户的头部或躯干的位置来选择的位置处显示第一通知的第一表示7334时，计算机系统不根据用户的手部7202相对于用户的头部或躯干的移动来移动第一通知的第一表示7334。例如，在一些实施方案中，当第一用户的第二部分在物理环境中相对于第一用户的第一部分移动时，第一通知的第一表示可以根据第一用户的第一部分的同时移动来在三维环境中移动，但是第一通知的第一表示的移动独立于第一用户的第二部分在物理环境中相对于第一用户的第一部分的移动。例如，根据一些实施方案，第一用户的第二部分包括第一用户的手部或手腕，并且用户可以朝向与第一通知的第一表示的位置相对应的物理环境中的位置抬高他/她的手部(例如，相对于第一用户的身体或头部)以与第一通知进行交互。响应于检测到第一用户的第二部分在物理环境中相对于第一用户的第一部分的第二移动而保持第一通知的第一表示在三维环境的当前显示视图中的位置，减少了与第一通知的第一表示交互所需的输入数量(例如，在计算机系统检测到第一用户的第二部分的移动之后，用户不需要执行附加输入来重新定位第一通知的第一表示)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性，这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，当在基于第一用户的第二部分在物理环境中的位置来选择的三维环境中的位置处显示第一通知的第二表示时(例如，当在三维环境的当前显示视图中的第一用户的手部或手腕的表示处或附近显示第二表示时，或者在接近第一用户的手部或手腕在物理环境中的位置的视场的边缘部分处或附近显示第二表示时等)，计算机系统检测第一用户的第一部分在物理环境中的第三移动(例如，第一用户作为整体的移动、第一用户的头部的移动等)而不检测第一用户的第二部分在物理环境中的移动(例如，当第一用户的第二部分在物理环境中保持静止(例如，相对于第一用户的第一部分移动)时，或者第一用户的第二部分的移动在检测范围之外(例如，手部不抬高、手部放在用户的背后等)时等)。响应于检测到第一用户的第一部分在物理环境中的第三移动，计算机系统保持第一通知的第二表示在三维环境的当前显示视图中的位置(例如，在根据第一用户的第二部分在物理环境中的位置来选择的位置处(例如，在用户的手部或手腕的表示处或附近，在接近用户的手部或手腕的位置的视场的边缘部分处等))(例如，与第一用户的第一部分在物理环境中的移动无关)。例如，在图7R中，根据一些实施方案，当在基于用户的手部7202的位置来选择的位置处显示第一通知的第二表示7338时，如果计算机系统检测到物理环境中用户的头部或躯干的移动而不是用户的手部7202的移动，则即使三维环境的视图根据由用户的头部或躯干的移动引起的视点的移动而改变，计算机系统也继续在用户的手部7202的位置处或附近的位置处显示第一通知的第二表示7338。在一些实施方案中，响应于检测到第一用户的第一部分在物理环境中的第三移动，计算机系统根据三维环境的当前显示视图的视点的移动来更新三维环境的当前显示视图，其中三维环境的当前显示视图的视点在三维环境中的移动对应于第一用户的第一部分在物理环境中的移动。在一些实施方案中，第一通知的第二表示在视场中的显示位置改变为保持在根据第一用户的第二部分在物理环境中的当前位置来选择的位置处。在一些实施方案中，在当前显示视图的视点响应于第一用户的第一部分在物理环境中的移动(例如，向前、向后、向左、向右、顺时针、逆时针等)而在三维环境中向前、向后、向左、向右、顺时针、逆时针等移动时，第一通知的第二表示在视场中的显示深度可以相对于当前显示视图的视点改变。响应于检测到第一用户的第一部分在物理环境中的第三移动而保持第一通知的第二表示在三维环境的当前显示视图中的位置，减少了与第一通知的第二表示交互所需的输入数量(例如，在计算机系统检测到第一用户的第二部分的移动之后，用户不需要执行附加输入来重新定位第一通知的第一表示)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性，这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在基于第一用户的第一部分在物理环境中的位置来选择的三维环境中的位置处显示第一通知的第一表示包括在经由第一显示生成部件提供的视场的周边部分(例如，顶边缘部分、左边缘部分、左上角等)中显示第一通知的第一表示。例如，如图7P所示，第一通知的第一表示7334在由第一显示生成部件提供的视场的左上角中显示，而不是在第一显示生成部件的中间显示；并且根据一些实施方案，当视点由于用户的头部或躯干的移动而改变时，第一表示7334保持在视场的左上角中显示。在一些实施方案中，在第一通知的第一表示的最初显示之后，第一通知的第一表示在视场的周边部分中保持基本上静止达第一预设时间段。在一些实施方案中，第一通知的第一表示不进入经由第一显示生成部件提供的视场的中心部分，除非在第一预设时间段期间经由一个或多个输入设备接收到对应于与第一通知的第一表示的直接交互的用户输入。在一些实施方案中，如果计算机系统在第一预设时间段期间没有检测到对应于与第一通知的第一表示的直接交互的用户输入，则计算机系统转变为显示第一通知的第二表示。在经由第一显示生成部件提供的视场的周边部分中显示第一通知的第一表示向用户提供了改进的视觉反馈(例如，在不使视场的非周边区域混乱的情况下提供视觉反馈)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统显示第一通知的第一表示向第一通知的第二表示的转换以及第一通知的第二表示向基于第一用户的第二部分在物理环境中的位置来选择的三维环境中的位置的移动。例如，如图7Q至图7R所示，根据一些实施方案，计算机系统显示动画过渡，该动画过渡示出了第一表示7334转换成第二表示7338并且沿着路径7335移动到基于用户的手部7202的位置来选择的位置。在一些实施方案中，第一通知的第一表示是包括第一通知的通知内容的通知窗口或用户界面对象，并且在第一通知的第一表示已在基于第一用户的第一部分的位置来选择的三维环境中的位置处显示第一预设时间段而未被第一用户主动处置之后，第一通知的第二表示是没有通知内容的简化指示符(例如，几何形状诸如圆形、点或生成第一通知的应用程序的另一标记等)。在一些实施方案中，在第一通知的第一表示已在基于第一用户的第一部分的位置来选择的三维环境中的位置处显示第一预设时间段而未被第一用户主动处置之后，计算机系统显示动画过渡，该动画过渡示出了第一通知的第一表示简化为第一通知的第二表示，同时朝向基于第一用户的第二部分的位置来选择的位置(例如，朝向在三维环境的当前显示视图中可见的用户的手部或手腕的表示，或者朝向基于其与当前不在视场内的用户的手部或手腕的位置更近的接近度来选择的视场的边缘部分等)移动。在一些实施方案中，第一通知的表示(例如，第一通知的中间表示或第二表示)通向基于第一用户的第二部分的位置来选择的位置的路径保持在经由第一显示生成部件提供的视场的周边部分内。在一些实施方案中，在自动停止显示之前，第一通知的第二表示保持在基于第一用户的第二部分的位置来选择并连续更新的位置处显示预设第二时间段。在一些实施方案中，第一通知的第二表示保持在基于第一用户的第二部分的位置来选择并连续更新的位置处显示(例如，持续至少预设第二时间段、不超过预设第二时间段等)，直到经由计算机系统的输入设备检测到对应于与第一通知的第二表示的直接交互的用户输入(例如，摇晃手部以取消第一通知、转动手部以查看第一通知的细节等)。将第一通知的第一表示转换成第一通知的第二表示，并且将第二表示移动到基于第一用户的第二部分在物理环境中的位置来选择的位置，向用户提供了改进的视觉反馈(例如，自最初显示第一通知的第一表示起已经过了一定的时间量)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在基于第一用户的第二部分(例如，用户的手部或手腕)在物理环境中的位置来选择的三维环境中的位置处显示第一通知的第二表示时(或者任选地，当在基于第一用户的第一部分的位置来选择的位置处显示第一通知的第一表示时)，计算机系统检测第一用户的手部在物理环境中的移动(例如，手部作为整体的平移或旋转、张开或合上手部、相对于手部的另一部分移动手部的一个部分等)。响应于检测到第一用户的手部在物理环境中的移动：根据确定第一用户的手部在物理环境中的移动满足第一预设标准(例如，用于检测手部的旋转以使手部的预设侧面向用户的面部的标准、用于检测手部张开且手部的预设侧面向用户的面部的标准、用于检测手掌朝向用户的面部移动的标准、用于检测用户的手部从视场外的位置抬高到视场内的位置的标准等)，计算机系统在与第一用户的手部的位置相对应的三维环境中的位置处显示第一通知的第三表示。例如，在图7R中，根据一些实施方案，当显示第一通知的第二表示7338时，如果计算机系统检测到用户的手部7202满足预设标准(例如，张开或转向用户的面部等)，则计算机系统任选地停止显示第一通知的第二表示7338，并且在与用户的手部的位置相对应的位置处显示具有通知内容的表示7334或表示7334的扩大版本。这也在图7S之后的图7T中示出，其中，根据一些实施方案，响应于检测到手部的移动7340连同指向与用户的手部7202相对应的区域的注视输入7220，计算机系统在与用户的手部7202的位置相对应的位置处显示第一通知的第三表示7336。在一些实施方案中，第一通知的第三表示是用户界面对象，该用户界面对象包括通知内容以及任选地用于接受响应于第一通知中指定的请求的用户输入的一个或多个控件和示能表示(例如，用于显示与通知相对应的应用程序、回复与通知相对应的消息、配置将如何建立与通知相对应的通信会话等的控件)。在一些实施方案中，计算机系统响应于第一用户的手部的移动满足预设第一标准而停止显示第一通知的第二表示。在一些实施方案中，计算机系统在显示第一通知的第三表示的同时检测第一用户的手部的移动，并且根据第一用户的手部在物理环境中的移动来在三维环境中移动第一通知的第三表示。在一些实施方案中，当第一用户的手部的移动满足第一预设标准时，计算机系统经由第一显示生成部件在三维环境的当前显示视图中显示第一用户的手部的表示，并且根据确定第一用户的手部的移动已满足第一预设标准，第一通知的第三表示被显示为覆盖第一用户的手部的表示的至少一部分、替换该至少一部分的显示或遮挡该至少一部分的视线(例如，第一通知的第三表示被投影到手部上并且透过第一显示生成部件的透明部分被看到，第一通知的第三表示替换由第一显示生成部件显示的手部的相机视图的显示，由第一显示生成部件显示的第一通知的第三表示遮挡透过第一显示生成部件的透明部分的手部的视线等)。在一些实施方案中，响应于检测到第一用户的手部在物理环境中的移动：根据确定第一用户的手部的移动不满足第一预设标准，计算机系统不显示第一通知的第三表示，并且任选地根据第一用户的手部的移动来更新第一通知的第二表示的位置(例如，当第一用户的第二部分也与手部一起移动时，或者当第一用户的第二部分是第一用户的手部时)。根据确定第一用户的手部的移动满足第一预设标准来在与第一用户的手部的位置相对应的三维环境中的位置处显示第一通知的第三表示减少了在用户的手部的位置处显示第一通知的表示(例如，第一通知的第三表示)所需的输入数量(例如，用户不需要执行任何附加输入来将第一通知的表示定位和/或移动到用户的手部的位置)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一预设标准要求连同指向三维环境中的预设位置(例如，在显示第一表示时的第一表示的位置、在显示第二表示时的第二表示的位置、在显示第一通知的第一表示或第一通知的第二表示时与第一用户的手部相对应的位置等)的第一注视输入一起检测到第一用户的手部的移动(例如，形成预设手部姿势或状态的移动、朝向用户面部的移动等)以便满足第一标准。响应于检测到第一用户的手部在物理环境中的移动：根据确定由于不存在指向三维环境中的预设位置(例如，在显示第一表示时第一表示的位置、在显示第二表示时的第二表示的位置、在显示第一通知的第一表示或第一通知的第二表示时与第一用户的手部相对应的位置等)的第一注视输入而导致第一用户的手部在物理环境中的移动未能满足第一标准，计算机系统提供视觉反馈，该视觉反馈指示在与第一用户的手部相对应的三维环境中的位置处的第一注视输入的要求(例如，在第一用户的手部的表示处或附近以动画方式显示第一通知的第二表示，在第一用户的手部的表示处或附近显示文本提示等)。例如，在图7R中，根据一些实施方案，当显示第一通知的第二表示7338时，如果计算机系统检测到用户的手部7202张开或转向用户的面部等，则计算机系统任选地根据确定在与用户的手部的位置相对应的区域中未检测到注视输入来显示视觉提示和/或空间音频警示以将用户的注视引向用户的手部的区域。在一些实施方案中，根据一些实施方案，当注视输入指向用户的手部的区域连同手部进行所需的移动时，计算机系统任选地停止显示第一通知的第二表示7338，并且在与用户的手部的位置相对应的位置处显示包括通知内容的通知的表示(例如，如图7T所示)。根据确定由于不存在指向三维环境中的预设位置的第一注视输入而导致第一用户的手部的移动未能满足第一标准来提供指示第一注视输入的要求的视觉反馈，向用户提供了改进的视觉反馈(例如，用户的手部的移动未能满足第一标准，并且更具体地，未检测到指向三维环境中的预设位置的第一注视输入)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一预设标准要求连同指向三维环境中的预设位置(例如，在显示第一表示时的第一表示的位置、在显示第二表示时的第二表示的位置、在显示第一通知的第一表示或第一通知的第二表示时与第一用户的手部相对应的位置等)达至少第一阈值时间量(例如，50ms、100ms等)的第一注视输入一起检测到第一用户的手部的移动(例如，形成预设手部姿势或状态的移动、朝向用户面部的移动等)以便满足第一标准。响应于检测到第一用户的手部在物理环境中的移动：根据确定由于第一注视输入未在三维环境中的预设位置(例如，在显示第一表示时的第一表示的位置、在显示第二表示时的第二表示的位置、在显示第一通知的第一表示或第一通知的第二表示时与第一用户的手部相对应的位置等)的阈值范围内保持至少第一阈值时间量(例如，即使第一用户的手部的移动满足由第一预设标准规定的手部移动和/或手部姿势要求)而未满足第一标准，计算机系统放弃显示第一通知的第三表示。例如，在图7R中，根据一些实施方案，当显示第一通知的第二表示7338时，如果计算机系统检测到用户的手部7202张开或转向用户的面部等，则计算机系统任选地根据确定在与用户的手部的位置相对应的区域中尚未检测到持续大于注视检测时间阈值的至少第一阈值时间量的注视输入来保持显示第一通知的第二表示7338；以及根据一些实施方案，计算机系统根据确定已在与用户的手部的位置相对应的区域中检测到持续至少第一阈值时间量的注视输入来停止显示第一通知的第二表示7338并且在与用户的手部的位置相对应的位置处显示包括通知内容的通知的表示(例如，图7T中的第三表示7336)(例如，如图7T所示)。根据确定由于第一注视输入未在三维环境中的预设位置的阈值范围内保持至少第一阈值时间量而未满足第一标准来放弃显示第一通知的第三表示，提供了附加控件选项，但不会使具有附加显示的控件(例如，用于在用户意外地或无意地引起第三表示的显示的情况下停止显示第一通知的第三表示的附加控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一预设标准要求第一用户的手部的移动包括将第一用户的手掌转向预设方向(例如，与第一用户的面部相对应的方向、向上等)以便满足第一标准。例如，这也在图7S之后的图7T中示出，其中，根据一些实施方案，响应于检测到手部的移动7340(例如，将手掌转向用户的面部)，计算机系统在与用户的手部7202的位置相对应的位置处显示第一通知的第三表示7336。要求第一用户的手部的移动包括将第一用户的手掌转向预设方向以便满足第一标准，提供了附加控件选项，但不会使具有附加显示的控件的UI混乱(例如，用户的手掌的移动而不是附加显示的控件确定是否满足第一标准)。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在三维环境中显示第一通知的相应表示(例如，第一通知的第一表示、第二表示等)时，计算机系统检测指向与第一通知的相应表示相对应的三维环境中的区域的注视输入。响应于检测到指向与第一通知的相应表示相对应的三维环境中的区域的注视输入，计算机系统在三维环境的当前显示视图中改变第一通知的相应表示的一个或多个显示特性(例如，以动画方式显示第一通知的相应表示、朝向视点移动第一通知的相应表示、放大或突出显示第一通知的相应表示、改变第一通知的相应表示的颜色等)。例如，在图7P中，根据一些实施方案，如果计算机系统检测到指向第一通知的第一表示7334的注视输入，则计算机系统任选地改变第一表示7334的外观(例如，将表示7334移动得更靠近视点、放大表示7334等)以指示注视输入指向该第一表示。又如，在图7R中，根据一些实施方案，如果计算机系统检测到指向第一通知的第二表示7336的注视输入，则计算机系统任选地改变第二表示7336的外观(例如，以动画方式显示表示7336、放大表示7336等)以指示注视输入指向该第二表示。在一些实施方案中，计算机系统响应于检测到注视输入停止指向与第一通知的相应表示相对应的三维环境中的区域，而在三维环境的当前显示视图中恢复对第一通知的相应表示的一个或多个显示特性作出的改变。在一些实施方案中，计算机系统在注视输入在与第一通知的相应表示相对应的区域内保持第一阈值时间量之前对第一通知的相应表示的一个或多个显示特性作出改变。在一些实施方案中，计算机系统在注视输入在与第一通知的相应表示相对应的区域内保持至少第一阈值时间量之后对第一通知的相应表示的一个或多个显示特性作出改变。在一些实施方案中，相应表示包括第一通知的第二表示而不是第一表示。在一些实施方案中，相应表示包括第一通知的第二表示和第一表示中的任一者。在一些实施方案中，相应表示包括第一通知的第一表示而不是第二表示。响应于检测到指向与第一通知的相应表示相对应的三维环境中的区域的注视输入而改变第一通知的相应表示的一个或多个显示特性，向用户提供了改进的视觉反馈(例如，计算机系统已检测到指向与第一通知的相应表示相对应的三维环境中的区域的用户的注视输入)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在三维环境中显示第一通知的相应表示(例如，第一通知的第一表示、第二表示、第三表示等)时，计算机系统检测由第一用户的手部(例如，作为第一用户的第二部分或与第一用户的第二部分相邻的手部、与第一用户的第二部分分开的手部等)执行的第一手势(例如，空中手势、包括第一用户的手部的第一部分相对于第一用户的手部的另一部分的移动的手势、触敏表面上的触摸手势等)连同指向与第一通知的相应表示相对应的三维环境中的区域的注视输入。响应于检测到第一手势连同指向与第一通知的相应表示相对应的三维环境中的区域的注视输入：根据确定第一手势和注视输入满足激活标准，计算机系统根据第一手势来在三维环境中执行与第一通知相对应的操作(例如，显示与第一通知相对应的应用程序，显示被配置为捕获进一步的用户输入以响应于第一通知的通知内容来编写回复的用户界面，执行在第一通知中请求的动作等)，并且取消第一通知(例如，停止显示第一通知或其任何表示)。例如，根据一些实施方案，计算机系统任选地响应于指向第一通知的相应表示的注视输入和来自用户的预设手势的组合，而在三维环境中显示相应表示(例如，图7P中的第一表示7334、图7R中的第二表示7338、图7T中的第三表示7336等)时执行与第一通知相对应的操作并且取消第一通知。在一些实施方案中，相应表示包括第一通知的第二表示而不是第一表示。在一些实施方案中，相应表示包括第一通知的第二表示和第一表示中的任一者。在一些实施方案中，相应表示包括第一通知的第一表示而不是第二表示。根据确定第一手势和注视输入满足激活标准来在三维环境中执行与第一手势相对应的操作并且取消第一通知，减少了与第一通知交互所需的输入数量(例如，用户不需要执行附加手部输入来选择第一通知的表示，并且一旦计算机系统执行与第一通知相对应的操作，用户就不需要执行附加输入来取消第一通知)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据确定第一手势包括第一用户的手部的第一预设部分(例如，中指、食指、拇指或食指的第一指骨等)相对于第一用户的手部的第二预设部分(例如，拇指、拇指的第一指骨等)的移动并且该移动开始于或结束于手部的第一部分与手部的第二部分之间的接触(例如，第一手势是拇指与同一只手的另一手指的捏合手势或反向捏合手势)，第一手势满足激活标准。例如，根据一些实施方案，计算机系统任选地响应于指向第一通知的相应表示的注视输入和由用户的手部执行的捏合手势或反向捏合手势的组合，而在三维环境中显示相应表示(例如，图7P中的第一表示7334、图7R中的第二表示7338、图7T中的第三表示7336等)时执行与第一通知相对应的操作并且取消第一通知。例如，在一些实施方案中，当在三维环境中显示第一通知的第一表示时，计算机系统检测指向第一通知的第一表示的捏合或反向捏合手势(例如，当注视输入指向第一通知的第一表示时，当注视输入已指向第一通知的第一表示达至少第一阈值时间量时等)；并且作为响应，计算机系统在三维环境中执行与第一通知相对应的第一操作，并取消第一通知。在一些实施方案中，当在三维环境中显示第一通知的第二表示时，计算机系统检测指向第一通知的第二表示的捏合或反向捏合手势(例如，当注视输入指向第一通知的第二表示时，当注视输入已指向第一通知的第二表示达至少第一阈值时间量时等)；并且作为响应，计算机系统在三维环境中执行与第一通知相对应的第二操作(例如，执行第一操作、显示第三表示等)。在一些实施方案中，当在三维环境中显示第一通知的第三表示时，计算机系统检测指向第一通知的第三表示的捏合或反向捏合手势(例如，当注视输入指向第一通知的第三表示时，当注视输入已指向第一通知的第三表示达至少第一阈值时间量时等)；并且作为响应，计算机系统在三维环境中执行与第一通知相对应的第三操作(例如，执行第一操作、执行在第一通知的第三表示中表示的操作等)并取消第一通知。根据确定第一手势包括第一用户的手部的第一预设部分相对于第一用户的手部的第二预设部分的移动并且该移动开始于或结束于手部的第一部分与手部的第二部分之间的接触来在三维环境中执行与第一手势相对应的操作并取消第一通知，提供了附加控件选项，但不会使具有附加显示的控件的UI混乱(例如，用户可以基于用户的手部的第一预设部分相对于用户的手部的第二预设部分的移动来控制是否满足第一标准，而不需要附加显示的控件(例如，在用户意外地或无意地引起操作的执行的情况下停止执行操作))。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据确定第一手势包括由第一用户的第一手部(例如，作为第一用户的第二部分或与第一用户的第二部分相邻的手部、第一用户的任一手部等)执行的指向第一用户的第二手部(例如，除第一手部之外的手部、可以相对于第一通知的表示移动的手部等)的触摸输入(例如，轻击输入、轻扫输入、轻弹输入、双击输入、触摸并保持输入等)，第一手势满足激活标准。例如，根据一些实施方案，计算机系统任选地响应于指向第一通知的相应表示的注视输入和由一只手在另一只手(例如，手部7202)上执行的轻击或轻扫手势的组合，而在三维环境中显示相应表示(例如，图7P中的第一表示7334、图7R中的第二表示7338、图7T中的第三表示7336等)时执行与第一通知相对应的操作并且取消第一通知。例如，在一些实施方案中，当在三维环境中显示第一通知的第一表示时，计算机系统检测由一只手在另一只手上或附近执行的轻击、触摸或指戳(poke)手势(例如，当注视输入指向第一通知的第一表示时，当注视输入已指向第一通知的第一表示达至少第一阈值时间量时等)；并且作为响应，计算机系统在三维环境中执行与第一通知相对应的第一操作，并取消第一通知。在一些实施方案中，当在与第一用户的第一手部相对应的三维环境中的位置处显示第一通知的第二表示时，计算机系统检测由第二手部在第一手部上执行的触摸手势(例如，当注视输入指向第一通知的第二表示时，当注视输入已指向第一通知的第二表示达至少第一阈值时间量时等)；并且作为响应，计算机系统在三维环境中执行与第一通知相对应的第二操作(例如，执行第一操作、显示第三表示等)。在一些实施方案中，当在与第一用户的第一手部的位置相对应的三维环境中的位置处显示第一通知的第三表示时，计算机系统检测由第二手部在第一手部上执行的触摸手势(例如，当注视输入指向第一通知的第三表示时，当注视输入已指向第一通知的第三表示达至少第一阈值时间量时等)；并且作为响应，计算机系统在三维环境中执行与第一通知相对应的第三操作(例如，执行第一操作、执行在第一通知的第三表示中表示的操作等)并取消第一通知。根据确定第一手势包括由第一用户的第一手部执行的指向第一用户的第二手部的触摸输入来在三维环境中执行与第一手势相对应的操作并取消第一通知，提供了附加控件选项，但不会使具有附加显示的控件的UI混乱(例如，用户可以基于第一手部的触摸输入是否指向用户的第二手部来控制是否满足第一标准，而不需要附加显示的控件(例如，以在用户意外地或无意地引起操作的执行的情况下停止执行操作))。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到第一事件：计算机系统输出具有物理环境中的相关联的空间位置的第一空间音频警示，该相关联的空间位置对应于第一用户的第二部分在物理环境中的位置(例如，在该位置处或附近)。根据确定在正输出第一空间音频警示时在第一空间音频警示的相关联的空间位置的预设范围内检测到注视输入，计算机系统在与物理环境中的第一用户的第二部分相对应的三维环境中的位置处(例如，在与第一用户的手部的位置相对应的位置处)显示第一通知的第三表示(例如，包括第一通知的通知内容以及任选地用于执行与第一通知相对应的一个或多个操作的一个或多个控件示能表示的用户界面对象)。例如，计算机系统任选地输出空间音频警示，该空间音频警示好像源自图7P中的第一通知的第一表示7334处或附近的位置；并且根据一些实施方案，如果计算机系统在空间音频警示正在播放时检测到指向第一表示7334的区域的注视输入，则计算机系统任选地停止在锚定到用户的头部或躯干的位置处显示第一通知的第一表示7334，并且在与用户的手部的位置相对应的位置处显示第一通知的第三表示7336(例如，如图7T所示)。在一些实施方案中，第一用户的第二部分包括第一用户的手部或手腕，并且计算机系统根据确定在第一用户的第二部分的移动满足预设移动标准(例如，将手掌转向用户的面部、将手掌向上翻转等)时在第一用户的第二部分的预设范围内检测到注视输入而在与用户的手部(例如，手掌、手背等)相对应的位置处显示第一通知的第三表示。在一些实施方案中，如果响应于在输出具有音频特性(该音频特性使得声音好像已在与第一用户的第二部分的位置相对应的空间位置处生成)的第一空间音频警示时在第一空间音频警示的空间区域中检测到用户的注视而显示第一通知的第三表示，则计算机系统放弃显示第一通知的第二表示。在一些实施方案中，如果在与第一用户的第二部分的位置相对应的空间位置处输出第一空间音频警示时计算机系统未检测到用户在第一空间音频警示的空间区域中的注视，则计算机系统继续在基于第一用户的第二部分的位置来选择的位置处显示第一通知的第二表示。在一些实施方案中，计算机系统最初不显示第一通知的第一表示和/或第一通知的第二表示，并且响应于检测到第一事件而生成具有在用户的手部处或附近的相关联的空间位置的空间音频警示；并且响应于在阈值时间段内检测到指向空间音频警示的位置的用户注视以及手掌转动以面向用户的面部，计算机系统显示通知的第三表示在用户的手部的表示处或附近。如果在阈值时间段内未检测到用户的注视和/或手掌未转向用户的面部，则计算机系统在基于第一用户的第二部分的位置来选择的位置处显示第一通知的第二表示。输出具有相关联的空间位置的第一空间音频警示，并且根据确定在输出第一空间音频警示时在第一空间音频警示的相关联的空间位置的预设范围内检测到注视输入来显示第一通知的第三表示，向用户提供了改进的反馈(例如，视觉反馈和音频反馈两者)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，三维环境(例如，图7P至图7U中的环境7104)的第一视图包括在第一用户与参与同第一用户的共享体验的第二用户之间共享的第一三维区域(例如，与三维环境的当前显示视图的视点相距至少阈值距离的区域、由用户定义的区域、可移动窗口或其他二维或三维容器对象内的区域等)(例如，在共享增强现实环境、共享虚拟环境、通信会话等中提供共享体验)。当在三维环境的第一视图中显示第一通知的第一表示(例如，图7P中的表示7334)时，计算机系统放弃在第一用户和第二用户之间共享的第一三维区域中提供第一通知的通知内容(例如，放弃提供第一通知的第一表示、放弃提供第一通知的任何表示等)。在一些实施方案中，即使第一通知的第一表示的位置在第一三维区域内并且经由第一显示生成部件向第一用户示出，第一通知的第一表示也不提供给第二用户所使用的计算机系统并且不经由第二用户所使用的显示生成部件向第二用户显示。在一些实施方案中，第一通知的第一表示在第一三维区域之外的区域中显示，因此对第二用户不可见。在三维环境的第一视图中显示第一通知的第一表示时放弃在第一用户和第二用户之间共享的第一三维区域中提供第一通知的通知内容，提供了附加控件选项，但不会使具有附加显示的控件的UI混乱(例如，第一通知与其不相关的用户(例如，除了第一用户和第二用户之外的用户)看不到第一通知)。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到第一事件，计算机系统生成第一音频警示，连同显示第一通知的第一表示。例如，在图7P中，根据一些实施方案，当最初在三维环境中显示第一通知的第一表示7334时，计算机系统任选地在第一通知的第一表示7334的最初显示的同时或稍前输出音频警示。例如，在一些实施方案中，计算机系统生成具有与第一通知的第一表示的显示位置相对应的空间位置的空间音频警示。生成第一音频警示连同显示第一通知的第一表示向用户提供了改进的音频反馈(例如，连同视觉反馈)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统生成第一音频警示连同显示第一通知的第一表示包括生成具有物理环境中的模拟空间位置的第一空间音频警示，该模拟空间位置对应于基于第一用户的第一部分在物理环境中的位置来选择的三维环境中的第一通知的第一表示的位置。例如，在图7P中，根据一些实施方案，当最初在三维环境中显示第一通知的第一表示7334时，计算机系统任选地在第一通知的第一表示7334的最初显示的同时或稍前输出空间音频警示，其中空间音频警示好像源自第一通知的第一表示7334的位置处或附近的位置。例如，当最初响应于第一事件的检测而显示第一通知的第一表示时，计算机系统生成空间音频警示并且该空间音频警示好像源自与第一通知的第一表示在三维环境中的位置相对应的物理环境中的位置，其中第一通知的第一表示在三维环境中的位置在由第一显示生成部件提供的视场的预设周边区域中。生成具有物理环境中的模拟空间位置的第一空间音频警示并且该模拟空间位置对应于基于第一用户的第一部分在物理环境中的位置来选择的三维环境中的第一通知的第一表示的位置，向用户提供了改进的音频反馈(例如，音频反馈提供关于第一通知的位置的信息)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，计算机系统显示在基于第一用户的第一部分在物理环境中的位置的三维环境中的位置处显示第一通知的第一表示与在基于第一用户的第二部分在物理环境中的位置的三维环境中的位置处显示第一通知的第二表示之间的动画过渡。计算机系统连同显示动画过渡一起(例如，在动画过渡开始时、在动画过渡期间和/或在过渡结束时、在动画过渡结束时开始并在动画过渡结束后延长一段时间等)生成音频输出。例如，如图7Q至图7R所示，根据一些实施方案，当第一通知的第一表示7334开始朝向基于用户的手部的位置来选择的位置移动并且转换成第一通知的第二表示7338时，计算机系统任选地连同第一通知的表示的移动和转换一起同时输出音频警示。在一些实施方案中，当第一通知的第二表示7338在基于用户的手部的位置来选择的位置处显示并且根据用户的手部的移动来在三维环境中移动(例如，任选地，持续至少一段时间，并且任选地在该段时间之后淡出等)时，空间音频警示好像源自第一通知的第二表示7338的位置。在一些实施方案中，动画过渡示出了第一通知的第一表示缩小并转换成第一通知的第二表示，并且开始朝向基于第一用户的第二部分的位置的三维环境中的位置移动；并且音频输出是具有相关联的空间位置的空间音频警示，该相关联的空间位置在三维环境中显示第一通知的第二表示的初始时间段期间根据第一用户的第二部分在物理环境中的移动而移动。在一些实施方案中，空间音频警示在初始时间段之后逐渐淡出。在一些实施方案中，第一通知的当前显示的表示是空间音频音效的虚拟声源，并且当最初在用户的视场的周边部分中显示通知的表示时或恰好在这之前并在通知的表示朝向在与用户的手部的位置相对应的虚拟位置处或附近的另一位置移动时，即使在显示生成部件、音频输出部件、用户、用户的手部、用户的头部等在物理环境中移动时，空间音频音效也好像源自与用户的视场的周边部分、用户的视点、用户的眼睛的位置等相对应的当前显示的三维环境中的虚拟位置。当通知的表示在与用户的手部的位置相对应的虚拟位置处显示并且随着该虚拟位置移动时，即使在显示生成部件、音频输出部件、用户、用户的手部、用户的头部等在物理环境中移动时，空间音频音效也好像源自虚拟位置。生成音频输出连同显示在基于第一用户的第一部分在物理环境中的位置的三维环境中的位置处显示第一通知的第一表示与在基于第一用户的第二部分在物理环境中的位置的三维环境中的位置处显示第一通知的第二表示之间的动画过渡，向用户提供了改进的音频和视觉反馈(例如，计算机系统正在显示第一通知的第一表示和第二表示之间转变)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
现有的立体声音频输出模式和单声道音频输出模式参照绑定到音频输出设备的参考系提供音频。对于静止的音频输出设备，声音好像源自音频输出设备在物理环境中的位置，而与用户在物理环境中的移动无关，并且与计算机生成体验的视觉内容中的变化(例如，由于虚拟声源的移动和/或视点的移动等而引起的计算机生成体验的三维环境中的变化)无关。对于相对于用户身体的一部分(例如，耳朵、头部等)保持静止的可穿戴音频输出设备，声音好像被锁定到用户身体中的该部分，而与计算机生成体验的视觉内容中的变化(例如，由于虚拟声源的移动而引起的变化、由于视点的移动(例如，由用户或计算机系统的移动请求引起的视点的移动，以及不起因于并且不对应于用户身体的该部分的移动，等等)等引起的在计算机生成体验的三维环境中的变化)无关。在一些情况下，计算机系统的音频输出设备和显示生成部件分开地容纳，并且可在经由音频输出设备和显示生成部件呈现计算机生成内容期间在物理环境中相对于彼此移动。在此类情况下，声音仍然好像源自音频输出设备，而与显示生成部件在物理环境中的位置或计算机生成体验的视觉内容中的变化(例如，由于虚拟声源(例如，在这种情况下，通知的表示)的移动和/或视点的移动(例如，显示的环境中的移动请求所引起的移动，或响应于并根据用户或其一部分在物理环境中的移动，等等)等引起的在计算机生成体验的三维环境中的变化)无关。一般来讲，当使用立体声音频输出模式或单声道音频输出模式向用户提供计算机生成体验的音频内容时，立体声音频输出模式和单声道音频输出模式提供与空间音频输出模式相比不太逼真和不太沉浸的收听体验。在一些实施方案中，空间音频输出模式模拟更逼真的收听体验，其中音频好像来自单独的参考系中的声源，诸如经由显示生成部件显示的三维环境(例如，增强现实环境、虚拟现实环境、用户周围的物理环境的纯透传视图等)，并且其中模拟声源(例如，在该示例中，通知的表示)的定位与音频输出设备在物理环境中的位置和移动无关。在一些实施方案中，空间音频输出(例如，在该示例中，与通知的不同表示的显示相伴的声音警示或音效)的参考系基于在计算机生成体验的三维环境中表示的物理环境，并且参考系任选地在物理环境中不由于用户的移动、音频输出设备的移动和/或显示生成部件的移动而改变。在一些实施方案中，空间音频输出(例如，在该示例中，与通知的表示中的一者或两者的显示相伴的声音警示或音效)的参考系基于计算机生成体验的虚拟三维环境。在一些实施方案中，如果物理环境中用户的移动、音频输出设备的移动和/或显示生成部件的移动不引起虚拟三维环境的对应移动，则参考系任选地不由于这些移动而变化。在一些实施方案中，用于空间音频输出(例如，在该示例中，与通知的表示中的一者或两者的显示相伴的声音警示或音效)的参考系基于绑定到三维环境的当前显示视图的视点的三维环境(例如，在这种情况下，当在视场的预设区域中显示通知的第一表示时)。在一些实施方案中，如果物理环境中用户的移动、音频输出设备的移动和/或显示生成部件的移动不引起三维环境的当前显示视图的视点的对应移动，则参考系任选地不由于这些移动而变化。在一些实施方案中，用于采用空间音频模式输出的音频内容的参考系任选地不同于用于计算机生成体验中的视觉内容的参考系。例如，在一些实施方案中，当相对于绑定到经由显示生成部件可视地呈现的物理环境或虚拟环境的参考系来显示视觉内容时，虚拟声源(例如，外部叙述者、内部对话等)中的至少一些在绑定到用户视点的参考系中。在一些实施方案中，计算机生成体验的音频内容任选地包括绑定到不同参考系的声源，不同参考系诸如用于在计算机生成体验的三维环境中不具有对应虚拟位置的虚拟声源(例如，系统级声音、外部叙述等)的第一参考系、用于在计算机生成体验的三维环境中具有对应视觉实施方案(例如，虚拟对象、虚拟表面、虚拟光等)的虚拟声源的第二参考系，以及任选地用于远离视点、在视场之外、隐藏等的虚拟声源(例如，环境噪声，诸如波浪、昆虫、风、雨、丛林等的声音)的第三参考系。在一些实施方案中，第一参考系固定到用户的头部、显示生成部件和/或视点，任选地与用户的头部、显示生成部件和/或视点一起移动。在一些实施方案中，第二参考系绑定到计算机生成体验的三维环境，并且任选地与显示生成部件一起移动。在一些实施方案中，第三参考系绑定到物理环境，并且任选地不与用户、显示生成部件或视点一起移动。计算机系统可选择和配置空间音频模式，以基于经由显示生成部件呈现的视觉内容、基于物理环境中的音频输出设备和显示生成部件之间的空间配置以及基于用户、显示生成部件和音频输出设备之间的空间配置来基于不同参考系输出声音，以结合使用显示生成部件提供视觉内容来提供更逼真和更沉浸式的收听体验。在一些实施方案中，空间音频输出模式是使得从音频输出设备输出的音频听起来好像该音频来自为虚拟声源选择的相应参考系(诸如计算机生成体验的三维环境或物理环境)中的一个或多个位置(例如，一个或多个声源)的模式，其中一个或多个模拟或感知声源的定位与音频输出设备相对于相应参考系的移动分离或无关。通常，一个或多个感知声源在固定时相对于与声源相关联的相应参考系固定，而在移动时相对于相应参考系移动。在一些实施方案中，参考系是基于在经由计算机系统的显示生成部件提供的计算机生成体验中表示的物理环境的参考系。在一些实施方案中，在参考系基于物理环境的情况下(例如，当计算机生成体验是基于物理环境的增强现实体验、或是物理环境的透传视图等时)，一个或多个感知声源在物理环境中具有相应的空间位置。例如，在一些实施方案中，计算机生成体验包括感知声源的具有对应于物理环境中的相应空间位置(例如，用户的手部在物理环境中的位置)的相应位置的视觉对应物(例如，在计算机生成体验中生成声音的虚拟对象，诸如上述示例中的通知的第二表示)。在一些实施方案中，计算机生成体验包括没有视觉对应物(例如，在计算机生成体验中生成声音的远程或隐藏虚拟对象、虚拟风、音效、外部叙述者等)(例如，在通知的表示进入用户的视场之前的通知的表示)但具有对应于物理环境中的相应空间位置的起源的声音。在一些实施方案中，当音频输出设备在物理环境中四处移动时，调整来自音频输出设备的音频输出，使得音频继续听起来好像来自物理环境中的相应空间位置处的一个或多个感知声源(例如，当用户头戴音频输出设备四处走动，或在物理环境中音频输出设备远离其人身时，声音好像继续来自用户手部的位置，或继续来自用户视场的周边部分中的位置)。在一个或多个感知声源是在围绕物理环境的空间位置序列中移动的移动源的情况下(例如，随着用户的手部相对于他/她的身体移动且同时用户静止或四处走动，在与用户的手部的位置相对应的位置处或附近显示通知的表示时，声音继续好像来自用户的手部的位置)，调整来自音频输出设备的音频输出，使得音频继续听起来好像来自物理环境中的空间位置序列处的一个或多个感知声源。此类用于移动声源的调节还考虑了音频输出设备相对于物理环境的任何移动(例如，如果音频输出设备相对于物理环境沿着与移动声源类似的路径移动，以便与声源保持恒定的空间关系，则将输出音频，使得声音好像不相对于音频输出设备移动)。在一些实施方案中，当使用空间音频输出模式和基于在计算机生成体验中表示的物理环境的参考系来输出音频内容时，三维环境的当前显示视图的视点根据用户和/或显示生成部件在物理环境中的移动而变化；并且用户将感知声音好像来自虚拟声源的虚拟位置并且基于在计算机生成体验中表示的物理环境在同一参考系中体验三维环境的视觉内容。在一些实施方案中，参考系是基于在经由计算机系统的显示生成部件提供的计算机生成体验的虚拟三维环境的参考系。在一些实施方案中，在参考系基于虚拟三维环境(例如，虚拟三维电影、三维游戏、虚拟办公室等的环境)的情况下，一个或多个感知声源在虚拟三维环境中具有相应的空间位置。在一些实施方案中，随着音频输出设备在物理环境中移动，调节来自音频输出设备的音频输出，使得音频继续听起来好像来自虚拟三维环境中的相应空间位置处的一个或多个感知声源。在一个或多个感知声源是移动通过围绕物理环境的空间位置序列的移动源的情况下，调节来自音频输出设备的音频输出，使得音频继续听起来好像来自虚拟三维环境中的空间位置序列处的一个或多个感知声源。在一些实施方案中，当使用空间音频输出模式和基于计算机生成体验的三维环境的参考系来输出音频内容时，三维环境的当前显示视图的视点根据用户和/或显示生成部件在物理环境中的移动而变化；并且用户将感知声音好像来自虚拟声源的虚拟位置并且在同一参考系中体验三维环境的视觉内容。在一些实施方案中，当使用空间音频输出模式和基于计算机生成体验的三维环境的参考系来输出音频内容时，三维环境的当前显示视图的视点根据用户提供的移动请求和/或用户和/或显示生成部件在物理环境中的移动而变化；并且用户将感知声音好像来自虚拟声源的虚拟位置并且在同一参考系中体验三维环境的视觉内容，其中用户的虚拟位置绑定到当前显示视图的视点。在一些实施方案中，用于空间音频输出模式的参考系固定到输出对应于经由音频输出设备输出的音频内容的视觉内容的电子设备，诸如显示生成部件(例如，声音跟随显示生成部件)。例如，模拟音频源在物理环境中的位置的移动对应于显示生成部件在物理环境中的移动(例如，当在由HMD提供的视场的周边部分中显示通知的表示时)，但不对应于音频输出设备在物理环境中的移动。例如，在一些实施方案中，显示生成部件是头戴式显示设备或手持式显示设备，而音频输出设备被放置在物理环境中并且不跟随用户的移动。在一些实施方案中，随着显示生成部件和用户相对于音频输出设备在物理环境中移动，空间音频效果的参考系固定到显示生成部件并间接固定到用户。在一些实施方案中，当使用空间音频输出模式和基于计算机生成体验的三维环境的参考系来输出音频内容时，三维环境的当前显示视图的视点根据用户提供的移动请求和/或用户和/或显示生成部件在物理环境中的移动而变化；并且用户将感知声音好像来自虚拟声源的虚拟位置并且在同一参考系中体验三维环境的视觉内容，其中用户的虚拟位置绑定到当前显示视图的视点。在一些实施方案中，用于空间音频效果中的至少一些的参考系固定到经由显示生成部件呈现的三维环境(例如，增强现实环境、混合现实环境、虚拟现实环境等)的当前显示视图的视点。在一些实施方案中，视点相对于三维环境移动，以在计算机生成体验期间从三维环境中的不同位置或视角提供三维环境的视图。在一些实施方案中，在计算机生成体验期间，视点在三维环境中保持静止。在一些实施方案中，视点在三维环境中的移动起因于并且对应于显示生成部件在物理环境中的移动引起。在一些实施方案中，视点在三维环境中的移动起因于并且对应于用户作为整体的移动或用户的头部到躯干相对于物理环境的移动。在一些实施方案中，视点在三维环境中的移动起因于并且对应于用户提供的和/或计算机系统生成的导航或移动请求。在一些实施方案中，一个或多个感知声源在三维环境中相对于视点具有相应的空间位置。例如，在一些实施方案中，计算机生成的体验包括感知声源的具有三维环境中相对于视点的相应位置的视觉对应物(例如，在计算机生成的体验中生成声音的虚拟对象、虚拟光、虚拟表面等)。在一些实施方案中，计算机生成的体验包括没有视觉对应物(例如，在计算机生成的体验中生成声音的远程或隐藏虚拟对象、虚拟风、音效、外部叙述者等)但具有对应于三维环境中相对于视点的相应位置的起源的声音。在一些实施方案中，随着视点在物理环境中移动，调节来自音频输出设备的音频输出，使得音频继续听起来好像来自三维环境中的相应位置处的一个或多个感知声源。
在一些实施方案中，当显示第一通知的相应表示(例如，第一表示、第二表示等)时(例如，当在基于第一用户的第二部分(例如，第一用户的第一手部、手腕或手指等)在物理环境中的位置的三维环境中的位置处显示第二表示时，或者当在基于第一用户的第一部分在物理环境中的位置的位置处显示第一表示时等)，计算机系统检测与第一用户的第二部分相对应的第一手部(例如，第一手部是第一用户的第二部分、与第一用户的第二部分相邻、或者是第一用户的第二部分的一部分等)在物理环境中的移动。响应于检测到与第一用户的第二部分相对应的第一手部的移动，根据确定第一手部的移动包括张开第一手部，计算机系统在第一手部张开的同时显示第一通知的第三表示(例如，在与第一用户的第一手部的位置相对应的三维环境中的位置处)(并且停止显示第一通知的相应表示)(例如，第一通知的第三表示包括通知内容和用于执行与第一通知相对应的操作的一个或多个控件示能表示)。例如，根据一些实施方案，当计算机系统显示通知的相应表示(例如，图7P中的第一表示7334、图7R中的第二表示7338等)时，如果计算机系统检测到用户的手部从合上姿势张开，则计算机系统任选地在与用户的手部的位置相对应的位置处显示通知的表示(例如，第一通知的第三表示7336)(例如，如图7T所示)。根据确定第一手部的移动对应于第一用户的第二部分并且包括张开第一手部而在第一手部张开的同时显示第一通知的第三表示，减少了显示第三通知(例如，在与第一手部的位置相对应的位置处)所需的输入数量(例如，用户不需要执行用于显示第三表示的第一输入以及用于将第三表示移动到用户的手部的位置的附加输入)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到与第一用户的第二部分相对应的第一手部的移动，根据确定第一手部的移动包括在张开第一手部之后(以及任选地在与第一通知的第三表示交互的其他中间输入之后)合上第一手部，计算机系统停止显示第一通知的第三表示(并且任选地，不取消第一通知)。例如，当第一手部在合上之后再次张开时，计算机系统再次显示第一通知的第三表示，因为第一通知尚未通过先前合上第一手部而被处置。例如，当计算机系统显示通知的相应表示(例如，图7P中的第一表示7334、图7R中的第二表示7338等)时，如果计算机系统检测到用户的手部从合上姿势张开，则计算机系统任选地在与用户的手部的位置相对应的位置处显示通知的第三表示7336(例如，如图7T所示)(并且停止显示第一通知的相应表示)；并且根据一些实施方案，如果计算机系统随后检测到用户的手部合上，则计算机系统任选地停止在与用户的手部的位置相对应的位置处显示通知的第三表示7336(例如，任选地取消第一通知)。在一些实施方案中，响应于满足用于取消第一通知的标准的另一输入(例如，轻击第一通知的第三表示中的关闭示能表示、将第三表示轻扫过第一手部等)，取消第一通知。根据确定第一手部的移动包括在张开第一手部之后合上第一手部而停止显示第一通知的第三表示，提供了附加控件选项，但不会使具有附加显示的控件(例如，用于停止显示第一通知的第三表示的附加控件)的UI混乱。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到与第一用户的第二部分相对应的第一手部的移动，根据确定第一手部的移动包括在张开第一手部之后(例如，任选地没有与第一通知的第三表示交互的其他中间输入)合上第一手部，计算机系统停止显示第一通知的第三表示并且取消第一通知。例如，根据一些实施方案，当计算机系统显示通知的相应表示(例如，图7P中的第一表示7334、图7R中的第二表示7338等)时，如果计算机系统检测到用户的手部张开，然后马上合上，则计算机系统停止显示第一通知的相应表示(并且任选地，取消第一通知)。例如，当第一手部在合上之后再次张开时，计算机系统停止显示第一通知的第三表示，因为第一通知已通过先前合上第一手部而被处置。根据确定第一手部的移动包括在张开第一手部之后合上第一手部而停止显示第一通知的第三表示并且取消第一通知，减少了取消第一通知所需的输入数量(例如，用户不需要执行单独的输入来停止显示第三表示并且取消第一通知)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在三维环境中(例如，在与第一用户的第一手部的位置相对应的三维环境中的位置处)显示第一通知的第三表示时，计算机系统检测第一用户的第二手部的移动，该第二手部不同于该第一手部。响应于检测到第一用户的第二手部的移动，根据确定第二手部的移动对应于拖放手势并且该拖放手势在与第一内容项(例如，文件、视频、照片、文档、超链接、联系人卡片、电子邮件等)在三维环境中的位置相对应的物理环境中的位置处开始并在与第一通知的第三表示的位置相对应的物理环境中的位置处结束，计算机系统在第一通知的第三表示内的输入区域中添加第一内容项的表示(例如，第一内容项本身、至第一内容项的链接、第一内容项的副本等)。例如，在图7T中，根据一些实施方案，如果计算机系统检测到用户已将内容项从第一通知的第三表示7336之外拖放到第一通知的第三表示之内，则计算机系统将内容项的副本添加到第一通知的第三表示7336内的输入字段。例如，在一些实施方案中，第一通知是接收到的即时消息的通知，并且第一通知的第三表示包括用于编写对接收到的即时消息的回复的输入区域。当在与处于张开姿势的第一手部的位置相对应的位置处显示第一通知的第三表示时，响应于第一用户将内容项从三维环境的其他部分拖放到第一通知的第三表示的位置，将内容项添加到输入区域作为对接收到的即时消息的回复的一部分。在一些实施方案中，可通过将用户界面对象、内容项、文件等拖放到通知的第三表示中作为对触发通知的事件的回复或响应的一部分来编写对请求用户输入的另一通知(例如，对即将到来的事件的通知、对电子邮件的通知等)的回复。根据确定第二手部的移动对应于拖放手势并且该拖放手势在与第一内容项在三维环境中的位置相对应的物理环境中的位置处开始并且在与第一通知的第三表示的位置相对应的物理环境中的位置处结束而在第一通知的第三表示内的输入区域中添加第一内容项的表示，减少了将第一内容项的表示添加到第一通知的第三表示内的输入区域所需的输入数量(例如，通过将第一内容项的选择、移动和添加组合到单个手势中)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到第一用户的第一手部的移动：根据确定第一手部的移动包括第一时间段期间第一手部远离第一用户的第一移动，计算机系统根据第一时间段期间第一手部远离第一用户的第一移动来改变第一通知的第三表示的尺寸(例如，减小尺寸、增加尺寸等)。根据确定第一手部的移动包括在第二时间段期间第一手部朝向第一用户的第二移动，计算机系统根据第二时间段期间第一手部朝向第一用户的第二移动(例如，以与根据第一手部远离第一用户的第一移动所使用的方式相反的方式)来改变第一通知的第三表示的尺寸(例如，增加尺寸、减小尺寸等)。例如，在图7T中，当在与用户的手部7202的位置相对应的位置处显示第一通知的第三表示7336时，如果计算机系统检测到用户的手部7202朝向用户移动，则计算机系统任选地以第一方式改变第一通知的第三表示7336的尺寸；并且根据一些实施方案，如果计算机系统检测到用户的手部7202远离用户移动，则计算机系统任选地以与第一方式相反的第二方式改变第一通知的第三表示7336的尺寸。在一些实施方案中，当第一用户的第一手部移动得更靠近第一用户以及更远离第一用户时，动态地更新第一通知的第三表示的尺寸。在一些实施方案中，进一步根据第一手部在物理环境中的当前张开和合上程度来动态地更新第一通知的第三表示的尺寸。根据分别在第一时间段或第二时间段期间第一手部远离或朝向第一用户的第二移动来改变第一通知的第三表示的尺寸向用户提供了改进的视觉反馈(例如，关于第一手部与第一用户的相对距离)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在三维环境中(例如，在与第一用户的第一手部的位置相对应的三维环境中的位置处)显示第一通知的第三表示时，计算机系统检测与将第一对象从三维环境拖放到第一通知的第三表示的请求相对应的第一用户输入。响应于检测到第一用户输入，计算机系统在第一通知的第三表示内的输入区域中添加第一对象(例如，内容项、文件、超链接、控件示能表示、联系人卡片、头像等)。例如，在图7T中，根据一些实施方案，如果计算机系统检测到用户已将内容项从第一通知的第三表示7336之外拖放到第一通知的第三表示之内，则计算机系统将内容项的副本添加到第一通知的第三表示7336内的输入字段。例如，在一些实施方案中，第一通知是接收到的即时消息的通知，并且第一通知的第三表示包括用于编写对接收到的即时消息的回复的输入区域。当在与处于张开姿势的第一手部的位置相对应的位置处显示第一通知的第三表示时，响应于第一用户将内容项从三维环境的其他部分拖放到第一通知的第三表示的位置，将内容项添加到输入区域作为对接收到的即时消息的回复的一部分。在一些实施方案中，可通过将用户界面对象、内容项、文件等拖放到通知的第三表示中作为对触发通知的事件的回复或响应的一部分来编写对请求用户输入的另一通知(例如，对即将到来的事件的通知、对电子邮件的通知等)的回复。响应于检测到与将第一对象从三维环境拖放到第一通知的第三表示的请求相对应的第一用户输入而在第一通知的第三表示内的输入区域中添加第一对象，减少了将第一对象添加到输入区域所需的输入数量(例如，将第一对象的选择、移动和添加组合到单个手势中)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在三维环境中(例如，在与第一用户的第一手部的位置相对应的三维环境中的位置处)显示第一通知的第三表示时，第一通知的第三表示包括第二对象(例如，内容项、文件、超链接、控件示能表示、联系人卡片、头像等)，计算机系统检测与将第二对象从第一通知的第三表示拖放到三维环境的请求相对应的第二用户输入。响应于检测到第二用户输入，计算机系统将第二对象(例如，内容项、文件、超链接、控件示能表示、联系人卡片、头像等)添加到第一通知的第三表示之外的三维环境中的位置。例如，在图7T中，根据一些实施方案，如果计算机系统检测到用户已将内容项从第一通知的第三表示7336之内拖放到第一通知的第三表示之外，则计算机系统将内容项的副本添加到第一通知的第三表示7336之外的三维环境。例如，在一些实施方案中，第一通知是接收到的即时消息的通知，并且第一通知的第三表示包括接收到的即时消息的内容项。当在与处于张开姿势的第一手部的位置相对应的位置处显示第一通知的第三表示时，响应于第一用户将内容项从第一通知的第三表示拖放到三维环境的另一部分，将内容项在由用户的输入选择的位置处添加到三维环境。响应于检测到与将第二对象从第一通知的第三表示拖放到三维环境的请求相对应的第二用户输入而将第二对象添加到第一通知的第三表示之外的三维环境中的位置，减少了将第二对象添加到第一通知的第三表示之外的三维环境中的位置所需的输入数量(例如，将第一对象的选择、移动和添加组合到单个手势中)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
应当理解，对图12中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当注意，本文相对于本文所述的其他方法(例如，方法8000、9000、10000、11000、13000、14000、15000和16000)所述的其他过程的细节同样以类似的方式适用于上文相对于图12所述的方法12000。例如，以上参考方法12000描述的手势、注视输入、物理对象、用户界面对象、控件、移动、标准、三维环境、显示生成部件、表面、物理对象的表示、虚拟对象和/或动画任选地具有本文参考本文所述的其他方法(例如，方法8000、9000、10000、11000、13000、14000、15000和16000)所述的手势、注视输入、物理对象、用户界面对象、控件、移动、标准、三维环境、显示生成部件、表面、物理对象的表示、虚拟对象和/或动画的特征中的一个或多个特征。为了简明起见，此处不再重复这些细节。
图13是根据一些实施方案的与对应于传入通信请求的通知进行交互以及在三维环境中显示通信会话的方法13000的流程图。
在一些实施方案中，方法13000在计算机系统(例如，图1中的计算机系统101)处执行，该计算机系统包括第一显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户的手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法13000通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法13000中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，方法13000在计算机系统(例如，图1中的计算机系统101、相对于图7A至图7D、图7E至图7F、图7G至图7H、图7I至图7M、图7N至图7O、图7P至图7S、图7T至图7U和/或图7V至图7X描述的计算机系统101、相对于图7V至图7X描述的第一计算机系统101-t、相对于图7V至图7X描述的第二计算机系统等)处执行。在一些实施方案中，计算机系统与第一显示生成部件(例如，第一显示生成部件是平视显示器、头戴式显示器(HMD)、显示器、触摸屏、投影仪等)和一个或多个输入设备(例如，相机、控制器、触敏表面、操纵杆、按钮、手套、手表、运动传感器、取向传感器等)通信。在一些实施方案中，第一显示生成部件是相对于图7A至图7U和图7Y至图7Z描述的第一显示生成部件7100、相对于图7V至图7X描述的第一显示生成部件7100-t、相对于图7V至图7X描述的第二显示生成部件等。在一些实施方案中，计算机系统是集成设备，该集成设备具有包围在与第一显示生成部件和一个或多个输入设备中的至少一些输入设备相同的外壳中的一个或多个处理器和存储器。在一些实施方案中，计算机系统包括计算部件(例如，服务器，移动电子设备诸如智能电话或平板设备，可穿戴设备诸如手表、腕带或听筒，台式计算机，膝上型计算机等)，该计算部件包括与第一显示生成部件和/或一个或多个输入设备分开的一个或多个处理器和存储器。在一些实施方案中，第一显示生成部件以及一个或多个输入设备被集成并包围在相同外壳中。根据一些实施方案，相对于图7P至图7U描述了方法13000的特征中的许多特征。
在方法13000中，计算机系统经由第一显示生成部件显示(13002)三维环境(例如，虚拟三维环境、增强现实环境、物理环境的透传视图、物理环境的相机视图等)的第一视图。在一些实施方案中，三维环境是没有物理环境的表示的虚拟三维环境。在一些实施方案中，三维环境是混合现实环境，该混合现实环境是由与物理环境相对应的传感器数据增强的虚拟环境。在一些实施方案中，三维环境是增强现实环境，该增强现实环境包括一个或多个虚拟对象和第一显示生成部件周围的物理环境的至少一部分的表示(例如，相机视图或透过第一显示生成部件的透明或半透明部分的视图)。在显示三维环境的第一视图时，计算机系统检测(13004)第一事件(例如，通知或警示的接收)，该第一事件对应于用于在与计算机系统相对应的第一用户(例如，通过第一显示生成部件查看三维环境并且经由一个或多个输入设备向计算机系统提供输入的第一用户)和不同于第一用户的第二用户(例如，使用不同计算机系统(例如，移动设备、台式计算机、头戴式设备等)并且任选地位于与第一用户不同的物理环境中的第二用户)之间建立通信会话的传入请求。响应于检测到第一事件，计算机系统在三维环境中的第一位置处显示(13006)第一通知(例如，弹出警示、需要用户注意的事件的指示符等)，其中第一位置基于与第一用户的至少第一部分在物理环境中的位置相对应的三维环境中的相应位置来选择(例如，通知被锁定到第一用户的第一部分(例如，头部、身体、手部等))。例如，根据一些实施方案，这在图7P中示出，其中第一通知的第一表示7334在锚定到用户的面部或头部或躯干的位置的位置处显示；在图7R中示出，其中第一通知的第二表示7338在锚定到用户的手部的位置的位置处显示；或者在图7T中示出，其中第一通知的第三表示7336在锚定到用户的手部的位置处显示并且包括通知内容。在一些实施方案中，响应于检测到第一用户的第一部分(例如，手部、头部、身体等)在物理环境中的移动，计算机系统移动通知在三维环境中的位置，使得通知的位置和与第一用户的第一部分在物理环境中的当前位置相对应的三维环境中的相应位置之间的空间关系基本上保持不变。例如，在一些实施方案中，当第一用户通过在物理环境中移动第一用户的第一部分(例如，头部、手部、身体等)来相对于物理环境移动第一显示生成部件(例如，HMD、平视显示器、手持式设备的显示器等)时，第一位置被锁定到第一用户的头部，并且保持在经由第一显示生成部件提供的视场中的预设部分处(例如，在视场的左上角；在视场的右下角；在视场的顶边缘附近等)。在一些实施方案中，第一位置被锁定到第一用户的手部或手腕，并且根据第一用户的手部或手腕的移动而移动。例如，在一些实施方案中，当第一用户的手部或手腕的表示在经由第一显示生成部件提供的视场内时，在第一用户的手部或手腕的表示处或附近显示通知；并且当第一用户的手部或手腕的表示由于手部或手腕在物理环境中的移动而移出视场时，在最接近手部或手腕的当前位置的视场的边缘处或附近显示通知。在一些实施方案中，当最初在物理环境的第一视图中显示通知时，通知的初始位置被锁定到第一用户的头部并且在经由第一显示生成部件提供的视场的预设部分中保持基本上固定；并且在一段时间之后，如果计算机系统还没有检测到用户与通知的交互，则将通知移动到与第一用户的手部或手腕的位置相对应的后续位置并锁定到第一用户的手部或手腕。在一些实施方案中，当从处于第一显示模式(例如，头部锁定模式)转变为第二显示模式(例如，手部锁定模式)时，通知也改变其形式(例如，从横幅改变为小指示符、从包括通知内容的用户界面对象改变为没有通知内容的视觉指示符等)。在一些实施方案中，当通知在基于第一用户的第一部分(例如，头部、手部、身体等)的位置来选择的第一位置处显示(例如，被锁定到第一用户的身体的第一部分，而不是被锁定到三维环境)时，通知在离第一用户的虚拟位置或三维环境的当前显示视图的视点的预设深度处(例如，15英寸远、20英寸远、为第一用户选择的通知的内容的舒适查看距离等)显示，并且保持在该预设深度处。在一些实施方案中，通知的第一位置不超过离第一用户的虚拟位置的一臂之长(例如，当在视场的预设周边区域中显示时，或者当在基于第一用户的手部或手腕的位置来选择的位置处或附近显示时等)。
在方法13000中，当基于与物理环境中的第一用户的至少第一部分的位置(例如，第一用户的头部、身体或手部等的位置)相对应的三维环境中的相应位置来选择的三维环境中的第一位置处显示通知时，计算机系统检测(13008)与用于建立通信会话的传入请求的接受相对应的一个或多个用户输入的序列(例如，用于与一个或多个用户界面对象交互并完成用于完全建立通信会话的过程中的一个或多个步骤的序列(诸如选择用于通信会话的操作参数以及提供用于通信会话的认证信息等)的输入)。响应于检测到与用于建立通信会话的传入请求的接受相对应的一个或多个用户输入的序列，计算机系统在离第一用户在三维环境中的特征位置(例如，视点的位置、与用户的头部或眼睛在物理环境中的位置相对应的虚拟位置、与用户作为整体的位置相对应的虚拟位置等)至少阈值距离(例如，至少一臂之长、大于通知在第一位置处的查看深度的距离等)的三维环境中的相应第二位置处显示(13010)与通信会话相关联的多个用户界面对象。例如，在显示通知的相应表示(例如，图7P中的第一表示7334、图7R中的第二表示7338、图7T中的第三表示7336等)之后，计算机系统检测与触发第一通知的传入通信请求的接受相对应的用户输入；并且响应于与传入通信请求的接受相对应的用户输入，计算机系统在离用户的虚拟位置(例如，离用户的面部、头部、躯干和手部等的虚拟位置)至少阈值距离的位置处显示通信会话的用户界面7342。在一些实施方案中，与通信会话相关联的多个用户界面对象被锁定到“世界”或三维环境中的物理环境的表示。在一些实施方案中，当三维环境的当前显示视图的视点根据第一显示生成部件、第一用户、第一用户的头部等的移动而移动时，多个用户界面对象保持在三维环境中的其相应第二位置处。在一些实施方案中，当第一用户的第一部分(例如，用户的头部、身体、手部等)移动时，多个用户界面对象不远离其相应第二位置移动，除非第一用户的第一部分的移动(例如，用户的手部的移动)满足有资格作为在三维环境中重新定位多个用户界面对象中的一个或多个用户界面对象的请求的预设标准(例如，用于检测捏合并拖动手势的标准、用于在注视指向多个用户界面对象时检测轻弹手势的标准等)。在基于用户的一部分的位置来选择的位置处显示传入通信请求的通知，同时响应于与对应于通信请求的接受的通知交互的用户输入而在离用户的虚拟位置至少阈值距离的位置处显示通信会话的用户界面，提供了改进的反馈并且允许用户容易地与通知交互，同时具有足够的空间来参与通信会话并且没有锚定到用户身体的用户界面对象，从而增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一用户的至少第一部分的位置包括第一用户作为整体在物理环境中的特征位置(例如，用户躯干的位置、用户头部的位置等)。当在基于与第一用户作为整体在物理环境中的特征位置相对应的三维环境中的相应位置来选择的第一位置处显示第一通知时(例如，在响应于事件而最初在三维环境中显示通知的第一时间段期间)(例如，在检测到与用于建立通信会话的传入请求的接受相对应的一个或多个用户输入的序列之前)，计算机系统检测第一用户作为整体的特征位置从物理环境中的第一位置到第二位置的移动。响应于检测到第一用户作为整体的特征位置从物理环境中的第一位置到第二位置的移动(例如，在响应于事件而最初在三维环境中显示通知的第一时间段期间)(例如，在检测到与用于建立通信会话的传入请求的接受相对应的一个或多个用户输入的序列之前)：计算机系统显示三维环境的第二视图，其中第二视图的视点对应于物理环境中的第二位置(例如，同时第一视图的视点对应于物理环境中的第一位置)；并且计算机系统在三维环境的第二视图中基于物理环境中的第二位置来选择的更新的第一位置处显示第一通知。例如，在图7P至图7Q中，根据一些实施方案，当第一通知的第一表示7334锚定到用户的躯干的位置时，用户作为整体的移动引起视点的移动，这导致显示三维环境的不同视图，但是第一表示7334根据用户的躯干的移动而移动，使得保持第一表示7334与视点之间的空间关系。在一些实施方案中，当在基于与第一用户的身体作为整体的特征位置相对应的相应位置来选择(例如，基于第一用户作为整体的特征位置来连续更新)的第一位置处显示通知时，随着视点根据第一用户作为整体的特征位置在物理环境中的移动而在三维环境中移动，远离视点的通知的查看深度保持基本上相同。在一些实施方案中，当在基于与第一用户的身体作为整体的特征位置相对应的相应位置来选择(例如，基于第一用户作为整体的特征位置来连续更新)的第一位置处显示通知时，随着视场根据第一用户作为整体的特征位置在物理环境中的移动而在三维环境中改变，通知在视场的预设区域(例如，视场的中心部分、视场的周边部分、右上角、左边缘区域、左下角、底边缘区域、右下角、右边缘区域、右上角、顶边缘区域等)中保持基本上静止。在一些实施方案中，在最初在三维环境中显示通知的第一时间段期间通知被锁定到第一用户的身体，并且随后移动到基于第一用户的另一部分(诸如用户的手部或手腕)来选择的不同位置。响应于检测到第一用户作为整体的特征位置从物理环境中的第一位置移动到第二位置而显示三维环境的第二视图并且在三维环境的第二视图中基于物理环境中的第二位置来选择的更新的第一位置处显示第一通知，在已满足一组条件(例如，第一用户作为整体的特征位置从第一位置移动到第二位置)时执行操作而不需要进一步的用户输入(例如，不需要用户执行附加手势来显示第二视图或在第二视图中更新的第一位置处显示第一通知)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性，这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，第一用户的至少第一部分的位置包括第一用户的头部在物理环境中的特征位置和取向(例如，第一用户的头部、眼睛等的位置、面向方向和倾斜角等)。当在基于与第一用户的头部在物理环境中的特征位置和取向相对应的三维环境中的相应位置来选择的第一位置处显示第一通知时(例如，在响应于事件而最初在三维环境中显示通知的第一时间段期间)(例如，在检测到与用于建立通信会话的传入请求的接受相对应的一个或多个用户输入的序列之前)，计算机系统检测第一用户的头部的特征位置和取向在物理环境中从第一状态到第二状态的变化。响应于检测到第一用户的头部在物理环境中的特征位置和取向的变化(例如，在响应于事件而最初在三维环境中显示通知的第一时间段期间)(例如，在检测到与用于建立通信会话的传入请求的接受相对应的一个或多个用户输入的序列之前)：计算机系统显示三维环境的第三视图，其中第三视图的视点对应于第一用户的头部在物理环境中的第二状态(例如，同时第一视图的视点对应于第一用户的头部在物理环境中的第一状态)；并且计算机系统在三维环境的第三视图中基于第一用户的头部在物理环境中的第二状态来选择的更新的第一位置处显示第一通知。例如，在图7P至图7Q中，根据一些实施方案，当第一通知的第一表示7334锚定到用户的头部的位置时，用户的头部相对于用户的躯干的移动引起视点的移动，这导致显示三维环境的不同视图，但是第一表示7334根据用户的头部的移动而移动，使得保持第一表示7334与视点之间的空间关系。在一些实施方案中，当在基于与第一用户的头部的特征位置和取向相对应的相应位置来选择(例如，基于第一用户的头部的特征位置和取向来连续更新)的第一位置处显示通知时，随着视点根据第一用户的头部在物理环境中的特征位置和取向的移动而在三维环境中移动，远离视点的通知的查看深度保持基本上相同。在一些实施方案中，当在基于与第一用户的头部的特征位置和取向相对应的相应位置来选择(例如，基于第一用户的头部的特征位置和取向来连续更新)的第一位置处显示通知时，随着视场根据第一用户的头部在物理环境中的特征位置和取向的变化而在三维环境中改变，通知在视场的预设区域(例如，视场的中心部分、视场的周边部分、右上角、左边缘区域、左下角、底边缘区域、右下角、右边缘区域、右上角、顶边缘区域等)中保持基本上静止。在一些实施方案中，在最初在三维环境中显示通知的第一时间段期间通知被锁定到第一用户的头部，并且随后移动到基于第一用户的另一部分(诸如用户的手部或手腕)来选择的不同位置。响应于检测到第一用户的头部在物理环境中的特征位置和取向的变化而显示三维环境的第三视图(其中第三视图的视点对应于第一用户的头部在物理环境中的第二状态)并且在三维环境的第三视图中基于第一用户的头部在物理环境中的第二状态来选择的更新的第一位置处显示第一通知，在已满足一组条件(例如，第一用户的头部的特征位置和取向改变)时执行操作而不需要进一步的用户输入(例如，不需要用户执行附加手势来显示第三视图或在第三视图中更新的第一位置处显示第一通知)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性，这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，第一通知从三维环境的第一视图中的第一位置到三维环境的第三视图中的第一更新位置的移动滞后于从显示三维环境的第一视图到显示三维环境的第三视图的变化。例如，在图7P至图7Q中，根据一些实施方案，当第一通知的第一表示7334锚定到用户的头部的位置时，用户的头部相对于用户的躯干的移动引起视点的移动，这导致显示三维环境的不同视图，但是第一表示7334根据用户的头部的移动而移动，使得保持第一表示7334与视点之间的空间关系，不过会因视点和第一通知的第一表示7334的模拟惯量之间的差异而产生延迟。例如，在一些实施方案中，当在基于与第一用户的头部的特征位置和取向相对应的相应位置来选择的位置处显示第一通知时，视点根据第一用户的头部的特征位置和取向的变化而移动，视场根据视点的移动而更新，并且第一通知移动以便保持在视场的相应部分处，但是第一通知的移动滞后于视点的移动。例如，第一通知看起来具有模拟惯量，该模拟惯量使得第一通知滞后于视场的相应部分的移动，然后在视场的相应部分的移动减慢或停止时的一些时间量之后赶上。因此，对于移动的第一部分，通知移动得比头部更慢(例如，因为通知的移动滞后于头部的移动)，并且对于移动的第二部分，通知移动得比头部更快(例如，因为通知的移动赶上头部的移动)。使第一通知从第一位置到第一更新位置的移动滞后于从显示三维环境的第一视图到显示第三视图的变化向用户提供了改进的视觉反馈(例如，计算机系统已从三维环境的第一视图改变为第三视图)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一用户的至少第一部分的位置包括第一用户的手部(例如，预设手部、任一只手等)在物理环境中的特征位置(例如，手指的尖端、手部的中心、与手部相连的手腕、作为整体的手部等的位置)。在基于与第一用户的至少第一部分的位置相对应的三维环境中的相应位置来选择的第一位置处显示第一通知包括在基于第一用户的手部在物理环境中的特征位置来选择的位置处显示第一通知(例如，当响应于事件而最初在三维环境中显示通知时，或者在通知被锁定到作为整体的用户身体的第一时间段之后的第二时间段期间等)。例如，根据一些实施方案，当图7R中的第一通知的第二表示7338或图7T中的第一通知的第三表示7336被显示为锚定到用户的手部的位置时，用户的手部的移动引起三维环境中的第一通知的显示表示根据用户的手部的移动而移动，使得保持第一通知的显示表示与手部的表示之间的空间关系。在基于第一用户的手部在物理环境中的特征位置来选择的位置处显示第一通知向用户提供了改进的视觉反馈(例如，通过在基于第一用户的手部在物理环境中的特征位置来选择的位置处一致地显示第一通知)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据确定第一用户的手部的表示在三维环境的当前显示视图(例如，三维环境的第一视图、由于视点的移动而更新的视图等)内，基于第一用户的手部在物理环境中的特征位置来选择的位置包括在第一用户的手部的表示处或附近(并且随该表示移动)的相应位置。例如，根据一些实施方案，当显示图7R中的第一通知的第二表示7338或图7T中的第一通知的第三表示7336时，计算机系统根据确定手部的表示在视场内而在用户的手部的表示处或附近的位置处显示第一通知的表示。根据确定第一用户的手部的表示在三维环境的当前显示视图内而在第一用户的手部的表示处或附近的位置处显示第一通知，向用户提供了改进的视觉反馈(例如，通过仅当用户的手部在显示的视图内时在用户的手部的表示处或附近的相应位置处显示第一通知)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据确定第一用户的手部的表示在三维环境的当前显示视图之外，基于第一用户的手部在物理环境中的特征位置来选择的位置包括在三维环境的当前显示视图的边缘部分(例如，底边缘、左边缘、右边缘等)处或附近的相应位置。例如，根据一些实施方案，当显示图7R中的第一通知的第二表示7338时，根据确定手部的表示在视场内，计算机系统在基于用户的手部的位置来选择的沿着视场的边缘的位置处显示第一通知的第二表示7338。在一些实施方案中，与沿着三维环境的当前显示视图的边缘点的其他位置相比和/或与三维环境的当前显示视图的其他边缘部分相比，三维环境的当前显示视图的边缘部分处或附近的相应位置基于其与对应于第一用户的手部的位置的位置更近的接近度来选择。在一些实施方案中，当第一用户的手部作为整体在物理环境中移动时，根据第一用户的手部在物理环境中的移动和当前位置(例如，手部从身体的一侧移动到视场外的另一侧)，通知沿着三维环境的当前显示视图的周边区域移动(例如，沿着左边缘区域向下移动到底边缘，然后沿着底边缘向右移动，或者沿着底边缘向左移动，然后沿着左边缘向上移动等)。根据确定第一用户的手部的表示在三维环境的当前显示视图之外而在三维环境的当前显示视图的边缘部分处或附近的相应位置处显示第一通知，向用户提供了改进的视觉反馈(例如，通过即使在用户的手部在当前显示视图之外时也显示第一通知)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在基于第一用户的手部在物理环境中的特征位置来选择的位置处显示第一通知时(例如，当响应于事件而最初在三维环境中显示通知时，或者在通知被锁定到作为整体的用户身体的第一时间段之后的第二时间段期间等)(例如，在检测到与用于建立通信会话的传入请求的接受相对应的一个或多个用户输入的序列之前)，计算机系统检测第一用户的手部从物理环境中的第三位置到第四位置的移动。响应于检测到第一用户的手部从物理环境中的第三位置到第四位置的移动，计算机系统将三维环境(例如，第一视图、第二视图、第三视图等)中的第一通知从基于物理环境中的第三位置来选择的第三位置移动到基于物理环境中的第四位置来选择的第四位置。例如，根据一些实施方案，当显示图7R中的第一通知的第二表示7338或图7T中的第一通知的第三表示7336时，计算机系统在用户的手部的表示处或附近的位置处显示第一通知的表示；并且根据一些实施方案，根据手部的移动来移动第一通知的显示表示，使得在三维环境中保持通知的显示表示与用户的手部的表示之间的空间关系。响应于检测到第一用户的手部从物理环境中的第三位置到第四位置的移动而将第一通知从基于物理环境中的第三位置来选择的第三位置移动到基于物理环境中的第四位置来选择的第四位置，减少了保持在期望位置处显示第一通知所需的输入数量(例如，在用户的手部已从物理环境中的第三位置移动到第四位置之后，用户不需要执行附加手势来将第一通知从第三位置移动到第四位置)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当第一用户的手部在物理环境中的第三位置处时，三维环境中的第三位置在三维环境的当前显示视图中的第一用户的手部的表示处或附近。当第一用户的手部在物理环境中的第四位置处时，三维环境中的第四位置在三维环境的当前显示视图中的第一用户的手部的表示处或附近。例如，根据一些实施方案，当显示图7R中的第一通知的第二表示7338或图7T中的第一通知的第三表示7336时，计算机系统在用户的手部的表示处或附近的位置处显示第一通知的表示；并且根据一些实施方案，根据手部的移动来移动第一通知的显示表示，使得在三维环境中保持通知的显示表示与用户的手部的表示之间的空间关系。响应于检测到第一用户的手部从物理环境中的第三位置移动到第四位置而将第一通知从基于物理环境中的第三位置来选择的第三位置(在第一用户的手部处于物理环境中的第三位置时三维环境的当前显示视图中的第一用户的手部的表示处或附近)移动到基于物理环境中的第四位置来选择的第四位置(在第一用户的手部处于物理环境中的第四位置时三维环境的当前显示视图中的第一用户的手部的表示处或附近)，减少了保持在期望位置处显示第一通知所需的输入数量(例如，在用户的手部已从物理环境中的第三位置移动到第四位置之后，用户不需要执行附加手势来将第一通知从第三位置移动到第四位置)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到第一事件，显示第一通知从第一通知的最初显示位置(例如，视图的内部区域中、视图的边缘区域中、远离视点的位置等；通知从该最初显示位置隐没或从该最初显示位置进入视线等)朝向基于与第一用户的至少第一部分(例如，头部、眼睛、身体、手部、手腕等)在物理环境中的位置相对应的三维环境中的相应位置来选择的三维环境中的第一位置移动。例如，根据一些实施方案，计算机系统显示第一通知的显示表示(例如，图7P中的第一表示7334、图7R中的第二表示7338等)移动到第一通知的表示的锚定位置(例如，图7P中的视场的左上角的位置，或图7R中的用户的手部的表示处或附近的位置等)，以吸引用户对第一通知的显示表示的注意力。例如，在一些实施方案中，当响应于检测到第一事件而最初显示通知时，计算机系统显示动画过渡，该动画过渡示出了通知从最初显示位置到达锚定到第一用户的第一部分的第一位置。在一些实施方案中，通知所采取的路径是从远离视点的点朝向视点、从视场的边缘附近的点朝向视场的内部区域、从视场的顶边缘或角落区域朝向与用户的手部的位置相对应的位置或边缘等。在一些实施方案中，在被锁定到第一用户的第一部分的稳定位置处显示通知之前通知的移动提供了有用的视觉线索来引起第一用户的注意并将用户的注视引导到通知的稳定显示位置。显示第一通知从最初显示位置朝向基于与第一用户的至少第一部分在物理环境中的位置相对应的三维环境中的相应位置来选择的三维环境中的第一位置的移动向用户提供了改进的视觉反馈(例如，使用第一通知的移动来吸引用户的注意力，并且将用户的注意力聚焦到三维环境中的第一位置)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，其中基于与第一用户的手部在物理环境中的位置相对应的三维环境中的相应位置来选择三维环境中的第一位置，并且第一通知的移动从第一通知的最初显示位置(例如，视图的内部区域中、视图的边缘区域中、远离视点的位置等；通知从该最初显示位置隐没或从该最初显示位置进入视线等)开始，在与第一用户的手部在物理环境中的位置相对应的三维环境中的相应位置处或附近结束。例如，根据一些实施方案，第一通知的最初显示位置是如图7P所示的第一通知的第一表示7334的位置，并且第一通知的表示随后移动到在用户手部的位置处或附近的位置，例如，如图7Q所示(例如，沿着路径7335)。在一些实施方案中，当第一用户的手部的表示当前不在视线内时，从通知的最初显示位置朝向与第一用户的手部在物理环境中的位置相对应的三维环境中的相应位置移动的移动路径被限制在经由第一显示生成部件提供的视场的周边区域内(例如，当用户的手部在视场的底边缘的中间部分下方时，从视场的左上角沿着左边缘区域向下移动到视场的底边缘的中间)。在一些实施方案中，当第一用户的手部的表示在当前显示视图的周边部分附近时，从通知的最初显示位置朝向与第一用户的手部在物理环境中的位置相对应的三维环境中的相应位置移动的移动路径被限制在经由第一显示生成部件提供的视场的周边区域内(例如，当用户的手部在视场的底边缘的中间部分附近时，从视场的左上角沿着左边缘区域向下移动到视场的底边缘的中间)。在一些实施方案中，当第一用户的手部的表示在当前显示视图的中心部分中时，从通知的最初显示位置朝向与第一用户的手部在物理环境中的位置相对应的三维环境中的相应位置移动的移动路径不完全被限制在经由第一显示生成部件提供的视场的周边区域内(例如，当手部处于视场的中心区域时，从视场的左上角直接朝向手部的表示移动)。显示从基于与第一用户的手部在物理环境中的位置相对应的三维环境中的相应位置来选择的第一通知的最初显示位置开始并且在与第一用户的手部在物理环境中的位置相对应的三维环境中的相应位置处或附近结束的第一通知的移动向用户提供了改进的视觉反馈(例如，使用第一通知的移动来吸引用户的注意力，并且将用户的注意力聚焦到三维环境中的第一位置)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，基于与第一用户的头部在物理环境中的位置相对应的三维环境中的相应位置来选择三维环境中的第一位置，并且第一通知的移动从第一通知的最初显示位置(例如，视图的内部区域中、视图的边缘区域中、远离视点的位置等；通知从该最初显示位置隐没或从该最初显示位置进入视线等)开始并在与第一用户的手部在物理环境中的位置相对应的三维环境中的相应位置处或附近结束。例如，根据一些实施方案，第一通知的最初显示位置是如图7P所示的第一通知的第一表示7334的位置，并且第一通知的表示随后移动到在用户手部的位置处或附近的位置，例如，如图7Q所示(例如，沿着路径7335)。在一些实施方案中，在移动到与第一用户的手部在物理环境中的位置相对应的三维环境中的相应位置处或附近的位置之前，通知在与第一用户的头部在物理环境中的位置相对应的三维环境中的中间位置处暂停预设时间段(例如，中间位置根据第一用户的头部的移动而移动)。在一些实施方案中，通知从设备的用户的视场的周边区域或边缘进入视线并朝向当前显示视图的视点移动。在一些实施方案中，在通知相对于视点或视场移动到合适的初始查看位置之后，通知在该初始查看位置处保持基本上静止达一段时间；并且如果在该时间段期间没有接收到与传入请求的接受相对应的用户输入，则通知移动到基于第一用户的手部在物理环境中的相应位置的第一位置。在一些实施方案中，当在基于与第一用户的头部的特征位置和取向相对应的相应位置来选择的中间位置处显示第一通知时，视点根据第一用户的头部的特征位置和取向的变化而移动，视场根据视点的移动而更新，并且第一通知移动以便保持在视场的相应部分处，但是第一通知的移动滞后于视点的移动。例如，第一通知看起来具有模拟惯量，该模拟惯量使得第一通知滞后于视场的相应部分的移动，然后在视场的相应部分的移动减慢或停止时的一些时间量之后赶上。显示从基于与第一用户的头部在物理环境中的位置相对应的三维环境中的相应位置来选择的第一通知的最初显示位置开始并且在与第一用户的手部在物理环境中的位置相对应的三维环境中的相应位置处或附近结束的第一通知的移动向用户提供了改进的视觉反馈(例如，使用第一通知的移动来吸引用户的注意力，并且将用户的注意力聚焦到三维环境中的第一位置)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到第一事件，计算机系统将第一通知从离三维环境的当前显示视图的视点的第一深度移动到离三维环境的当前显示视图的视点的第二深度。例如，在图7P中，根据一些实施方案，第一表示7334从离视点的较大深度进入视线，并且停留于基于用户的第一部分的位置来选择的位置处离视点的预设距离。在一些实施方案中，在第二深度处显示的第一通知锚定到物理环境中的第一用户的头部，并且根据第一用户的头部的特征位置和取向的变化而在三维环境中移动。在一些实施方案中，在经由第一显示生成部件提供的视场的预设部分处显示在第二深度处显示的第一通知。在一些实施方案中，在第二深度处显示的第一通知锚定到物理环境中的第一用户的身体，并且根据第一用户作为整体在物理环境中的移动而在三维环境中移动。在一些实施方案中，当用户的头部相对于第一用户的身体旋转时，在第二深度处显示的第一通知在经由第一显示生成部件提供的视场内移动。在一些实施方案中，计算机系统可响应于在第二深度处显示第一通知时检测到的用户输入以接受建立通信会话的请求，而不将第一通知移动到基于与第一用户的手部相对应的相应位置来选择的位置。在一些实施方案中，在已在第二深度处显示第二通知一段时间之后，计算机系统将第一通知移动到基于与第一用户的手部相对应的相应位置来选择的位置。将第一通知从离三维环境的当前显示视图的视点的第一深度移动到离三维环境的当前显示视图的视点的第二深度向用户提供了改进的视觉反馈(例如，使用第一通知的移动来吸引用户的注意力，并且将用户的注意力聚焦到三维环境中的第一位置)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到第一事件，计算机系统生成第一音频警示(例如，立体声、具有物理环境中的对应静态或动态位置的空间音频警示等)，连同在基于与第一用户的至少第一部分在物理环境中的位置相对应的三维环境中的相应位置来选择的三维环境中的第一位置处显示第一通知。例如，根据一些实施方案，连同显示第一通知的相应表示(例如，图7P中的第一表示7334、图7R中的第二表示7338、图7T中的第三表示7336等)，计算机系统任选地生成与第一通知的相应表示的显示相对应的音频警示。在一些实施方案中，第一音频警示是在其开始后不久结束的离散音频警示。在一些实施方案中，第一音频警示是连续音频警示，其具有至少阈值持续时间并且任选地无限地延长直到发生预设事件。在一些实施方案中，第一音频警示在第一通知在视场中的最初显示稍前开始。在一些实施方案中，在第一通知在视场中的最初显示时输出第一音频警示，在一些实施方案中，在第一通知在视场中显示的整个过程中或移动期间连续地输出第一音频警示。在一些实施方案中，在第一通知到达三维环境中的第一位置的阈值范围时输出第一音频警示。在一些实施方案中，在第一通知到达第一位置时输出第一音频警示。在一些实施方案中，第一音频警示不在第一通知最初出现在视场中时输出，而是在第一通知在第一位置处或附近(例如，在第一用户的手部的位置附近的视场的底边缘处或附近、在三维环境的当前显示视图中的第一用户的手部的表示处或附近等)时输出。生成第一音频警示连同在第一位置处显示第一通知向用户提供了改进的音频反馈(例如，在用户错过视觉反馈的情况下，计算机系统除了提供视觉反馈之外还提供音频反馈)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一音频警示在第一通知最初出现在三维环境的当前显示视图中之后(例如，在第一通知到达第一位置时，当第一通知正朝向第一位置移动时等)开始。例如，根据一些实施方案，连同显示第一通知的相应表示(例如，图7P中的第一表示7334、图7R中的第二表示7338、图7T中的第三表示7336等)，计算机系统任选地生成与第一通知的相应表示的显示相对应的音频警示，其中第一通知的表示的显示先于对应音频警示。在第一通知最初出现在三维环境的当前显示视图中之后开始第一音频警示向用户提供了改进的音频反馈(例如，在用户错过视觉反馈的情况下，计算机系统除了提供视觉反馈之外还提供音频反馈)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在三维环境的当前显示视图中(例如，在基于与物理环境中的第一用户的手部相对应的三维环境中的相应位置来选择的第一位置处、在基于其与第一用户的手部的接近度来选择的视场的边缘部分处等)显示第一通知时，计算机系统检测第一用户的手部朝向与三维环境中的第一通知的当前位置相对应的物理环境中的相应位置(例如，朝向三维环境中的第一位置)的移动(例如，在手部朝向相应位置的移动的全部或部分期间，手部的表示可在三维环境的当前显示视图之外)。响应于检测到第一用户的手部朝向与第一通知在三维环境中的当前位置相对应的物理环境中的相应位置的移动，计算机系统改变第一通知的外观(例如，增加第一通知的尺寸、显示此时未显示的通知内容、添加用于对通知作出响应并配置通信会话的用户界面对象等)。例如，在图7P或图7T中，根据一些实施方案，当计算机系统检测到用户的手部(例如，与第三表示7336所锚定到的手部7202不同的手部)伸向与第一通知的显示表示(例如，图7P中的第一表示7336、图7T中的第三表示7334等)的位置相对应的位置时，计算机系统提供视觉反馈，包括放大第一通知的显示表示、使通知的显示表示朝向手部移动。在一些实施方案中，在改变第一通知的外观之后，计算机系统检测到第一用户的手部远离与第一通知在三维环境中的当前位置相对应的物理环境中的相应位置(例如，远离三维环境中的第一位置)移动；并且响应于检测到第一用户的手部远离与第一通知在三维环境中的当前位置相对应的物理环境中的相应位置移动，计算机系统反转对第一通知的外观所作出的改变(例如，减小第一通知的尺寸、停止显示此时显示的通知内容、从第一通知中移除用于对通知作出响应并配置通信会话的用户界面对象等)。响应于检测到第一用户的手部朝向与第一通知在三维环境中的当前位置相对应的物理环境中的相应位置移动而改变第一通知的外观，向用户提供了改进的视觉反馈(例如，关于用户的手部与第一通知在三维环境中的当前位置的相对位置)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到第一事件，计算机系统显示第一通知从当前显示视图的侧边缘或角落移动到三维环境的当前显示视图中(例如，而不是从当前显示视图的顶边缘下降或从底边缘上升)。例如，在图7P中，根据一些实施方案，第一通知的第一表示7334从三维环境7104的当前显示视图的侧边缘或角落移动到视线中。显示第一通知从当前显示视图的侧边缘或角落移动到三维环境的当前显示视图中向用户提供了改进的视觉反馈(例如，使用第一通知的移动来吸引用户的注意力，并且将用户的注意力聚焦到三维环境中的第一位置)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一通知识别第二用户。例如，在图7P中，第一通知的第一表示7334例如通过包括第二用户的用户名或头像和/或由第二用户用于通信会话的通信模式的类型来识别从第二用户发送的传入通信请求的源。又如，在图7T中，第一通知的第三表示7336例如通过包括第二用户的用户名或头像和/或由第二用户用于通信会话的通信模式的类型来识别从第二用户发送的传入通信请求的源。在一些实施方案中，第一通知包括第二用户的标识符或头像。在一些实施方案中，第一通知识别第二用户用于通信会话的设备的类型。在一些实施方案中，用于通信会话的设备的类型基于该设备是否能够支持第二用户与第一用户在共享三维环境中的共现，或者该设备是否仅能够进行视频通信或音频通信。在一些实施方案中，第一通知识别第二用户所请求的通信模式的类型(例如，通过符号或文本)，例如，通信会话将在增强现实模式下建立还是在虚拟现实模式、标准视频模式或纯语音模式等下建立。在第一通知中识别第二用户向用户提供了改进的视觉反馈(例如，向用户提供了关于传入通知的附加信息)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到第一事件，计算机系统在第一时间段内显示具有通知内容的第一通知。根据确定在最初显示具有通知内容的第一通知的第一预设时间段之后尚未接收到与用于建立通信会话的传入请求的接受相对应的一个或多个用户输入的序列，计算机系统停止显示通知内容的至少一部分并且将第一通知(例如，包括较少通知内容或不包括通知内容的第一通知的缩减版本)移动到三维环境中的不同位置(例如，基于与第一用户的手部或手腕相对应的三维环境中的相应位置来选择的第一位置、角落位置、或用于忽略的通知的预设主页位置等)。例如，如图7P至图7R所示，其中第一通知的第一表示7334包括通知内容；并且根据一些实施方案，在第一表示7334显示一段时间之后，如果计算机系统没有检测到与第一通知的第一表示交互的用户输入，则计算机系统停止显示第一通知的第一表示7334，并且在锚定到用户的手部的位置的不同位置处显示第一通知的第二表示7338，其中第一通知的第二表示7338具有比第一通知的第一表示7334更少的通知内容。根据确定在第一预设时间段之后没有接收到一个或多个用户输入的序列而停止显示通知内容的至少一部分并将第一通知移动到三维环境中的不同位置，在已满足一组条件(例如，在第一预设时间段内没有接收到一个或多个用户输入的序列)时执行操作(例如，停止显示通知内容的至少一部分并移动第一通知)而无需进一步的用户输入(例如，手动取消和/或移动第一通知)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性，这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，在三维环境中的相应第二位置处显示与通信会话相关联的多个用户界面对象包括在三维环境的当前显示视图的视点的移动(例如，在物理环境中由第一显示生成部件的移动引起的视点的移动、第一用户作为整体的移动、第一用户的头部的移动和旋转等)期间保持多个用户界面对象与三维环境中的物理环境的表示之间的空间关系。例如，在图7U中，与通信会话相对应的用户界面对象7342任选地锚定到三维环境(例如，锚定到三维环境中的物理环境的表示)，并且不根据引起三维环境的当前显示视图的视点的移动的用户的移动而移动。例如，在一些实施方案中，连同建立通信会话，计算机系统将多个用户界面对象锚定到物理环境的表示或三维环境的坐标系，并且三维环境的当前显示视图的视点的后续移动不会引起多个用户界面对象相对于三维环境中的物理环境的表示或相对于三维环境的移动。在三维环境的当前显示视图的视点的移动期间保持多个用户界面对象与三维环境中的物理环境的表示之间的空间关系减少了与多个用户界面对象交互所需的输入数量(例如，如果用户需要执行不同任务，则用户不取消多个用户界面对象，并且不需要执行附加手势来重新显示多个用户界面对象)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
应当理解，对图13中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当注意，本文相对于本文所述的其他方法(例如，方法8000、9000、10000、11000、12000、14000、15000和16000)所述的其他过程的细节同样以类似的方式适用于上文相对于图13所述的方法13000。例如，以上参考方法13000描述的手势、注视输入、物理对象、用户界面对象、控件、移动、标准、三维环境、显示生成部件、表面、物理对象的表示、虚拟对象和/或动画任选地具有本文参考本文所述的其他方法(例如，方法8000、9000、10000、11000、12000、14000、15000和16000)所述的手势、注视输入、物理对象、用户界面对象、控件、移动、标准、三维环境、显示生成部件、表面、物理对象的表示、虚拟对象和/或动画的特征中的一个或多个特征。为了简明起见，此处不再重复这些细节。
图14是根据一些实施方案的提供第一用户和第二用户之间的通信会话的用户界面的空间模式和非空间模式的方法14000的流程图。
在一些实施方案中，方法14000在计算机系统(例如，图1中的计算机系统101)处执行，该计算机系统包括第一显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户的手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法14000通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法14000中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，方法14000在计算机系统(例如，图1中的计算机系统101、相对于图7V至图7X描述的第一计算机系统101-t等)处执行。在一些实施方案中，计算机系统与第一显示生成部件(例如，第一显示生成部件是平视显示器、头戴式显示器(HMD)、显示器、触摸屏、投影仪等)和一个或多个输入设备(例如，相机、控制器、触敏表面、操纵杆、按钮、手套、手表、运动传感器、取向传感器等)通信。在一些实施方案中，第一显示生成部件是相对于图7V至图7X描述的第一显示生成部件7100-t。在一些实施方案中，第一计算机系统和第一显示生成部件(例如，相对于图7A至图7U和图7Y至图7Z等描述的计算机系统101和第一显示生成部件7100)能够在三维环境(例如，增强现实环境、虚拟现实环境等)中提供沉浸式三维体验，但是可以被暂时限制为仅允许与通信会话中的另一用户的视频和音频通信。在一些实施方案中，第一计算机系统和第一显示生成部件不能够在三维环境中提供沉浸式三维体验。在一些实施方案中，在三维环境中提供沉浸式体验的计算机系统根据用户的头部相对于物理环境的旋转(例如，用户通常如何改变他/她在物理环境中的视点)来改变从其向计算机系统的用户呈现三维环境的视点。在一些实施方案中，尽管诸如平板设备或手持式设备之类的计算机系统可能能够在平板设备或手持式设备的显示器上提供进入物理环境的增强现实视图的视口，但是增强现实视图不是沉浸式的，因为用户的头部相对于计算机系统的显示器的旋转不会引起计算机系统更新增强现实视图的视点。类似地，尽管诸如平板设备或手持式设备之类的计算机系统可能能够在平板设备或手持式设备的显示器上提供进入虚拟三维环境的视口，但是三维环境的视图不是沉浸式的，因为用户的头部相对于计算机系统的显示器的旋转不会引起计算机系统更新虚拟三维环境的当前显示视图的视点。根据一些实施方案，相对于图7V至图7X描述了方法14000的特征中的许多特征。在一些实施方案中，本文所述的第二计算机系统和第二显示生成部件类似于相对于图7A至图7U和图7Y至图7Z描述的计算机系统101和第一显示生成部件7100。
在方法14000中，第一计算机系统经由第一显示生成部件显示(14002)与第一计算机系统相对应的第一用户(例如，不支持通信会话中的完全沉浸式共现体验并仅支持纯视频和/或音频通信会话的设备的用户、在纯视频或纯音频模式下参与通信会话的设备的用户等)和与不同于第一计算机系统的第二计算机系统相对应的第二用户(例如，支持通信会话中的完全沉浸式共现体验并在沉浸模式下参与通信会话的设备的用户)之间的第一通信会话的第一用户界面，其中第二用户在第一三维环境(例如，在其上构造向通信会话的参与者示出的AR或VR环境的三维环境)内参与第一通信会话，并且其中显示第一通信会话的第一用户界面包括显示第二用户的相应表示，该相应表示指示第二用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的相应表示的空间定位。例如，如图7V至图7W所示，根据一些实施方案，第一用户7200正在使用第一计算机系统101-t和第一显示生成部件7100-t参与与正在使用第二计算机系统和第二显示生成部件的第二用户(例如，由表示7203’表示)的通信会话，其中第二计算机系统显示具有根据第二用户的头部在第二用户的物理环境中的移动而移动的视点的第一三维环境7207的视图。在一些实施方案中，第二计算机系统和第二显示生成部件被集成到单个外壳中并且由第二用户佩戴在第二用户的头部上或第二用户的眼睛的前面，在通信会话中向第一三维环境7207中的第二用户提供沉浸式三维体验。在图7V至图7W中，根据一些实施方案，第一计算机系统101-t正在显示通信会话的第一用户界面的空间模式，其中第二用户的表示7203’以指示其相对于第一三维环境7207的视图7106的视点以及相对于也参与通信会话的第三用户的表示7305’的空间定位的外观来显示。如图7V至图7W所示，根据一些实施方案，当第二用户在他/她自己的物理环境中四处移动时，第二用户的表示7203’的虚拟位置在第一三维环境7207中改变，并且该改变在第一三维环境7207的视图7106中可视地指示。此外，根据一些实施方案，第一计算机系统101-t任选地根据来自第一用户7200的移动或用户输入来改变第一三维环境7207的视图7106的视点，并且第一计算机系统还改变第二用户的表示7203’的外观以可视地指示在空间模式下显示的第一用户界面中呈现的第一三维环境的视图7106的视点的移动。例如，第二用户的相应表示相对于第一三维环境中的第一用户的相应表示位于第一三维环境中，和/或其中第二用户的相应表示相对于第一三维环境中的第三用户的相应表示位于第一三维环境中等。在一些实施方案中，第一三维环境的视图可用第一通信会话的相应参与者的相应物理环境的表示、或在由相应参与者的显示生成部件示出的通信会话的用户界面中由相应参与者为第一通信会话选择的虚拟元素来增强；但是参与者相对于彼此的空间定位是基于第一三维环境的相同参考系并且在参与者之间共享；并且第一三维环境中的参与者的空间定位由经由参与者的相应显示生成部件示出的通信会话的相应用户界面中的参与者的表示的定位和视角来反映。例如，在一些实施方案中，经由第一显示生成部件向第一用户示出的第一三维环境的AR视图包括第一用户的第一物理环境的表示，而经由第二显示生成部件向第二用户示出的第一三维环境的沉浸式视图包括第二用户的第二物理环境的表示，或者包括未在经由第一显示生成部件显示的AR视图中示出的虚拟对象。在一些实施方案中，当经由第一显示生成部件在AR模式下显示第一通信会话的第一用户界面时，相对于第一三维环境的第一AR视图的视点的位置(例如，视点具有与第一用户在第一物理环境中的位置相对应的第一三维环境中的位置)并且任选地相对于也参与通信会话的至少一个其他用户(例如，使用HMD参与通信会话的另一用户或使用平板设备参与通信会话的另一用户)的表示来示出第二用户的表示的位置。在一些实施方案中，第一通信会话的第一用户界面任选地包括在基于第一三维环境的虚拟三维环境的视图中(例如，在VR模式下)的第二用户的表示以及任选地至少一个其他用户的表示，其中在虚拟三维环境的视图中指示参与者的表示的定位。在一些实施方案中，第一通信会话的第一用户界面经由第一显示生成部件以展示或图库模式显示，并且第二用户的表示以及任选地至少一个其他用户的表示以预设布局(例如，以二维网格、以行、以默认或用户配置的布局等)显示，该预设布局独立于参与者在其相应物理环境中的位置和移动并且独立于参与者的表示在第一三维环境中的虚拟位置。在一些实施方案中，第一计算机系统使用AR模式，以响应于第一显示生成部件的取向从第一预设取向到第二预设取向(例如，从纵向取向到横向取向，或者从横向取向到纵向取向等)的变化而在第一通信会话的第一用户界面中显示参与者的表示(例如，第二用户的表示，以及任选地不同于第一用户和第二用户的第三用户的表示)。在一些实施方案中，第一通信会话的第一用户界面包括第一控件示能表示，该第一控件示能表示在根据第一预设标准来激活时使得第一计算机系统切换到AR模式，或者在当前模式是AR模式的情况下切换到展示模式(例如，第一控件示能表示是拨动开关，或者AR模式或展示模式的选择示能表示)。
在方法14000中，当显示第一通信会话的第一用户界面(包括指示第二用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的相应表示的空间定位的第二用户的相应表示)时(例如，当在基于第一三维环境的AR模式或VR模式下显示第一用户界面时)，第一计算机系统检测(14004)与显示第二用户的相应表示而不指示第二用户在第一三维环境中相对于通信会话中的至少一个其他用户的相应表示的空间定位的请求相对应的第一用户输入(例如，第一用户输入是选择用于以预设布局显示通信会话的参与者的展示或图库模式的用户输入，第一用户输入是第一显示生成部件从第一预设取向到第二预设取向的旋转等)。响应于检测到第一用户输入，第一计算机系统显示(14006)第二用户的相应表示，而不指示第二用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的相应表示的空间定位(例如，根据预设布局在网格中或平面上(例如，在相对于彼此固定的位置处，并且独立于第一三维环境中的参与者的虚拟位置)显示第一通信会话的参与者的相应表示)。如图7V之后的图7X所示，第一计算机系统101-t检测到第一用户已将第一显示生成部件7100-t从横向取向旋转到纵向取向；并且根据一些实施方案，响应于检测到第一显示生成部件7100-t的旋转，第一计算机系统101-t从在空间模式下显示第一通信的第一用户界面(例如，如图7V所示)切换到在非空间模式下显示第一通信会话的第一用户界面(例如，如图7X所示)。在图7X中，当在非空间模式下显示第一通信会话的第一用户界面时，显示第二用户的表示7203’而不指示第二用户在第一三维环境7207中的空间定位，并且第一用户和/或第二用户的不引起第一用户界面的模式切换的后续移动(例如，不将第一显示生成部件从纵向取向旋转回到横向取向的移动)不引起指示第二用户在第一三维环境7207中的空间定位的第二用户的表示7302’的变化。根据一些实施方案，第二用户的表示7203’可任选地响应于来自第一用户的用户输入(例如，轻扫输入、指向滚动控件的轻击输入等)而在第一用户界面中滚动，但表示7203’的滚动不反映第二用户在第一三维环境中的虚拟位置或第一三维环境中第一用户与第二用户之间的空间关系。响应于用户输入而在空间模式和非空间模式之间切换通信会话的用户界面的显示模式允许用户任选地在与参与沉浸模式的另一用户的通信会话中的共享三维体验和轻量级二维体验之间进行选择，这增强了设备的可操作性并且帮助用户在不使用诸如头戴式设备之类的专用硬件的情况下实现期望的结果。
在一些实施方案中，当经由第一显示生成部件显示第二用户的相应表示而不指示第二用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的相应表示的空间定位时(例如，当经由第一显示生成部件在展示模式下显示第一通信会话的第一用户界面时)：经由第二计算机系统的第二显示生成部件显示第一通信会话的第二用户界面，显示第二用户界面包括经由与第二计算机系统通信的第二显示生成部件显示第一三维环境的第一视图，以及显示指示第一用户在第一三维环境中相对于第二用户(例如，相对于经由第二显示生成部件显示的第一三维环境的第一视图的视点)的空间定位的第一用户的相应表示。例如，在图7X中，根据一些实施方案，当第一计算机系统101-t在非空间模式下显示第一通信会话的第一用户界面时，第二计算机系统经由第二显示生成部件显示第一三维环境7207的视图，其中在第一三维环境7207的视图中可视地指示第一三维环境7207中的参与者(例如，第一用户7200、第二用户以及任选地第三用户等)的空间定位。在一些实施方案中，第一用户和第二用户在第一三维环境中的空间定位由第一计算机系统和/或第二计算机系统或第一通信会话的服务器生成，并且随后根据从第一通信会话的参与者接收到的用户输入和/或参与者在其相应物理环境中的移动来更新。在一些实施方案中，经由第二显示生成部件向第二用户显示的第一三维环境的第一视图是基于第一三维环境和第二用户的物理环境的表示来生成的AR视图，并且包括第二用户的物理环境的表示。在一些实施方案中，在第一三维环境的第一视图中的第一用户的表示的位置以及任选地第三用户的表示的位置是相对于第二用户的物理环境的表示而言的。在一些实施方案中，经由第二显示生成部件显示的三维环境的第一视图的视点的位置对应于第二用户在第二用户的物理环境中的当前位置，并且根据第二用户作为整体在第二用户的物理环境中的移动以及第二用户的头部在第二用户的物理环境中的旋转来更新。经由与第二通信系统通信的第二显示生成部件显示第一三维环境的第一视图并且显示指示第一用户相对于第二用户的空间定位的第一用户的相应表示向用户提供了改进的视觉反馈(例如，关于第二用户的相对位置)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据来自第二用户的在第一三维环境的第一视图中移动第一用户的相应表示的第二用户输入(例如，通过将第一用户的相应表示从第一视图中的一个位置拖动到另一位置、通过使用空中手势将其轻弹跨过第一视图等)，第二计算机系统移动第一三维环境的第一视图中的第一用户的相应表示以指示对第一用户在第一三维环境中相对于第二用户的空间定位的更新，而不引起经由第一显示生成部件显示的第一通信会话的第一用户界面中的对应变化(例如，第一通信会话中的参与者的表示仍然以预设布局在经由第一显示生成部件显示的第一通信会话的第一用户界面中示出)。例如，在图7X中，根据一些实施方案，当第一计算机系统101-t在非空间模式下显示第一通信会话的第一用户界面时，第二计算机系统经由第二显示生成部件显示第一三维环境7207的视图，其中在第一三维环境7207的视图中可视地指示第一三维环境7207中的参与者(例如，第一用户7200、第二用户以及任选地第三用户等)的空间定位。根据一些实施方案，第二计算机系统任选地允许第二用户在向第二用户显示的第一三维环境7207的视图中移动第一用户7200的表示，以引起由第二显示生成部件向第二用户示出的第一三维环境7207的视图中第一用户7200的定位的变化，但不引起由第一显示生成部件7100-t在非空间模式下显示的第一用户界面的变化。例如，在一些实施方案中，当第一计算机系统正在展示模式下显示第一通信会话的第一用户界面(其中参与者的表示在网格中或平面上相对于彼此固定的位置处显示)时，如果第二用户在经由第二显示生成部件显示的三维环境的视图中移动第一用户的表示，则第一计算机系统将不对展示模式下的参与者的预设布局中的参与者的表示的位置作出任何改变。在一些实施方案中，第一计算机系统任选地接收并存储参与者中的一个或多个参与者的位置的变化，并且当第一计算机系统响应于来自第一用户的另一输入而切换回AR模式时，使用该信息来配置将如何在基于第一三维环境的AR模式下布置参与者的表示。根据来自第二用户的在第一视图中移动第一用户的相应表示的第二用户输入来移动第一用户的相应表示以指示对第一用户相对于第二用户的空间定位的更新，而不引起经由第一显示生成部件显示的第一用户界面中的对应变化，减少了重新定位用户的表示所需的输入数量(例如，第二用户可以重新定位第一用户的表示而不干扰第一用户看到的第一用户界面，否则可能导致第一用户重新定位第二用户的表示)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当经由第一显示生成部件将第二用户的相应表示与第二用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的相应表示的空间定位的指示一起显示时，由第二计算机系统显示第一通信会话的第二用户界面，其中显示第一通信会话的第二用户界面包括经由与第二计算机系统通信的第二显示生成部件显示第一三维环境的第一视图，并且显示指示第一用户在第一三维环境中相对于第二用户(例如，相对于经由第二显示生成部件显示的第一三维环境的第一视图的视点)的空间定位的第一用户的相应表示，并且其中第一用户的相应表示不由从第二用户接收到的输入来控制(例如，在经由第二显示生成部件显示的第一三维环境的第一视图中示出的第一用户的相应表示的位置由从第一用户接收到的输入、来自第一计算机系统的输入来控制，或者由第二计算机系统自动确定等)。例如，在图7V中，根据一些实施方案，当第一计算机系统101-t在空间模式下显示第一通信会话的第一用户界面时，第二计算机系统经由第二显示生成部件显示第一三维环境7207的视图，其中在第一三维环境7207的视图中可视地指示第一三维环境7207中的参与者(例如，第一用户7200、第二用户以及任选地第三用户等)的空间定位。根据一些实施方案，第二计算机系统任选地不允许第二用户在向第二用户显示的第一三维环境7207的视图中移动第一用户7200的表示，并且不允许第二用户引起由第一显示生成部件7100-t在空间模式下显示的第一用户界面中的变化。在一些实施方案中，当第一计算机系统正在AR模式下显示第一通信会话的第一用户界面(其中参与者的表示在第一三维环境的AR视图中在可基于参与者在其相应物理环境中的移动而相对于彼此移动的位置处显示)时，如果第二用户尝试在经由第二显示生成部件显示的第一三维环境的第一视图中移动第一用户的相应表示，则第一计算机系统和第二计算机系统都不会对参与者的表示在第一三维环境的当前显示视图中的位置作出任何改变。在一些实施方案中，第二计算机系统任选地忽略来自第二用户的试图在第一三维环境的第一视图中移动第一用户的相应表示的输入，并且发出第一用户正在使用AR模式参与第一通信会话并且他/她的表示不能被第二用户移动的警示。显示第一用户的相应表示(其中第一用户的相应表示不由从第二用户接收到的输入控制)减少了重新定位用户的表示所需的输入数量(例如，不需要附加输入来重新定位第一用户的相应表示，因为第二用户不能意外地重新定位第一用户的相应表示)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当显示第一通信会话的第一用户界面(包括指示第二用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的表示的空间定位的第二用户的相应表示)时(例如，当第一计算机系统正在AR模式或VR模式下显示第一用户界面时)，第一计算机系统检测与在第一三维环境中移动第一用户的虚拟位置的请求相对应的第三用户输入(例如，检测由第一用户握持第一显示生成部件引起的第一显示生成部件在第一物理环境中的第一移动，或检测与第一计算机系统通信的输入设备上的输入(例如，轻扫输入、拖动输入、控制器或虚拟示能表示的激活等)等)。响应于检测到与在第一三维环境中移动第一用户的虚拟位置的请求相对应的第三用户输入，第一计算机系统改变第一用户在第一三维环境中的虚拟位置(例如，并且任选地，更新第一通信会话的第一用户界面(包括第二用户的表示以指示第二用户相对于第一用户在三维环境中的虚拟位置的改变的空间定位)，并且引起对在经由第二显示生成部件显示的第一三维环境的视图中示出的第一用户的表示的位置的更新等)。例如，如图7V至图7W所示，根据一些实施方案，当第一计算机系统101-t在空间模式下显示第一通信会话的第一用户界面时，第一计算机系统检测诸如第一用户7200或第一显示生成部件7100-t在物理环境100中的移动和/或在第一显示生成部件7100-t的触摸屏显示器上的轻扫或捏合输入等输入，并且第一计算机系统101-t任选地根据来自第一用户的输入来移动第一用户在第一三维环境7207中的虚拟位置，移动由第一显示生成部件7100-t示出的第一三维环境的视图7106的视点，并且在视图7106中可视地指示第二用户在第一三维环境7207中相对于第一用户的改变的空间定位。在一些实施方案中，第一用户在第一三维环境中的虚拟位置的变化导致第一用户的相应表示在经由第二显示生成部件示出的第一三维环境的第一视图中的移动(例如，旋转和/或平移)。在一些实施方案中，第一用户在第一三维环境中的虚拟位置的变化导致第一用户的模拟视点基于其中显示第二用户的相应表示(以及其他参与者的相应表示)的第一三维环境而移动到AR或VR环境中。在一些实施方案中，第一计算机系统将第一用户在第一三维环境中的更新的虚拟位置发送到通信会话的服务器和/或第二计算机系统，并且使第二计算机系统更新第一用户的相应表示在经由第二显示生成部件示出的第一三维环境的视图中的位置(例如，相对于第一三维环境的当前显示的视图的视点和/或相对于第一通信会话的另一参与者(例如，第三用户)的表示移动第一用户的相应表示等)。响应于检测到与移动第一用户的虚拟位置的请求相对应的第三用户输入而改变第一用户在第一三维环境中的虚拟位置提供了附加控件选项，但不会使具有附加显示的控件(例如，用于锁定或解锁用户在第一三维环境中移动其虚拟位置的能力的附加控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，检测与移动第一用户在第一三维环境中的虚拟位置的请求相对应的第三用户输入包括检测第一显示生成部件在第一用户的第一物理环境中的第一移动(例如，第一用户握持第一显示生成部件并且在物理环境中移动第一显示生成部件，第一显示生成部件响应于第一用户的用户输入而在第一物理环境中移动等)。例如，在图7V至图7W中，根据一些实施方案，当第一计算机系统101-t在空间模式下显示第一通信会话的第一用户界面时，第一计算机系统检测诸如第一用户7200或第一显示生成部件7100-t在物理环境100中的移动之类的输入，并且第一计算机系统101-t任选地根据来自第一用户的输入来移动第一用户在第一三维环境7207中的虚拟位置，移动由第一显示生成部件7100-t示出的第一三维环境的视图7106的视点，并且在视图7106中可视地指示第二用户在第一三维环境7207中相对于第一用户的改变的空间定位。在一些实施方案中，改变第一用户在第一三维环境中的虚拟位置包括根据第一显示生成部件在第一用户的物理环境中的移动来移动第一用户在第一三维环境中的虚拟位置。例如，响应于第一显示生成部件围绕穿过第一用户在第一物理环境中的位置的垂直轴线的旋转，第一计算机系统按与第一显示生成部件的旋转量相对应的量来更新第一用户的模拟视点的面向方向。又如，响应于第一显示生成部件在第一物理环境中的向前方向上相对于第一用户在第一物理环境中的当前位置的平移，第一计算机系统按与第一显示生成部件在第一物理环境中的移动的量和方向相对应的量和方向来移动第一用户在第一三维环境中的虚拟位置。在一些实施方案中，改变第一用户在第一三维环境中的虚拟位置包括根据第一显示生成部件在第一物理环境中的移动的一个或多个特征(例如，定时、持续时间、移动距离、方向、加速度、位置、路径等)来移动第一用户在第一三维环境中的虚拟位置。检测与移动第一用户的虚拟位置的请求相对应的第三用户输入(包括检测第一显示生成部件在第一用户的第一物理环境中的第一移动)提供了附加控件选项，但不会使具有附加控件(例如，用于移动第一用户在第一三维环境中的虚拟位置的附加控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，检测与移动第一用户在第一三维环境中的虚拟位置的请求相对应的第三用户输入包括检测由第一用户提供的包括第一用户的手部的移动的预定义的手势输入(例如，用作第一显示生成部件的触摸屏显示器上的轻扫手势、用于移动当前显示的AR视图的视点的控件示能表示上的轻击手势、用于移动当前显示的AR视图的视点的轻扫输入或操纵杆输入等)。例如，如图7V至图7W所示，根据一些实施方案，当第一计算机系统101-t在空间模式下显示第一通信会话的第一用户界面时，第一计算机系统检测诸如在第一显示生成部件7100-t的触摸屏显示器上的轻扫或捏合输入之类的输入，并且第一计算机系统101-t任选地根据来自第一用户的输入来移动第一用户在第一三维环境7207中的虚拟位置，移动由第一显示生成部件7100-t示出的第一三维环境的视图7106的视点，并且在视图7106中可视地指示第二用户在第一三维环境7207中相对于第一用户的改变的空间定位。在一些实施方案中，手势输入和第一显示生成部件的移动可由第一计算机系统同时检测到，并且任选地，一者或两者用于确定第一用户在第一三维环境中的虚拟位置的移动。在一些实施方案中，改变第一用户在第一三维环境中的虚拟位置包括根据由第一用户提供的手势输入的一个或多个特性(例如，定时、持续时间、移动距离、方向、加速度、位置、路径等)来移动第一用户在第一三维环境中的虚拟位置。检测与移动第一用户的虚拟位置的请求相对应的第三用户输入(包括检测由第一用户提供的包括第一用户的手部的移动的预定义的手势输入)提供了附加控件选项，但不会使具有附加控件(例如，用于移动第一用户在第一三维环境中的虚拟位置的附加控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当显示第一通信会话的第一用户界面(包括指示第二用户在第一三维环境中相对于通信会话中的至少一个其他用户的表示的空间定位的第二用户的相应表示)时(例如，当第一计算机系统正在AR模式或VR模式下显示第一用户界面时)，并且响应于检测到与移动第一用户在第一三维环境中的虚拟位置的请求相对应的第三用户输入(例如，从第一用户接收到的用户输入)，第一计算机系统更新第一通信会话的第一用户界面，包括更新第二用户的相应表示以指示第二用户相对于第一用户在第一三维环境中的虚拟位置的改变的空间定位。例如，如图7V至图7W所示，根据一些实施方案，当第一计算机系统101-t在空间模式下显示第一通信会话的第一用户界面时，第一计算机系统检测诸如第一用户7200或第一显示生成部件7100-t在物理环境100中的移动和/或在第一显示生成部件7100-t的触摸屏显示器上的轻扫或捏合输入等输入，并且第一计算机系统101-t任选地根据来自第一用户的输入来移动第一用户在第一三维环境7207中的虚拟位置，移动由第一显示生成部件7100-t示出的第一三维环境的视图7106的视点，并且在视图7106中可视地指示第二用户在第一三维环境7207中相对于第一用户的改变的空间定位。例如，在一些实施方案中，作为对第一通信会话的第一用户界面的更新的结果(例如，当第一用户手握第一显示生成部件向前走动时)，第二用户的相应表示任选地看起来更靠近第一用户；并且作为对第一通信会话的第一用户界面的更新的结果(例如，当第一用户在第一物理环境中向右移动第一显示生成部件时)，第二用户的相应表示可能看起来相对于第一用户左移。在一些实施方案中，从经由第一显示生成部件示出的第一三维环境的当前显示的视图的视点来看，第二用户的相应表示可能遮挡第三用户的表示的视线。在一些实施方案中，作为对第一用户界面的更新的结果，第二用户的相应表示可能遮挡经由第一显示生成部件示出的第一三维环境的当前显示视图中的第一物理环境的表示的不同部分。移动第一用户的虚拟位置以指示第二用户相对于第一用户在第一三维环境中的虚拟位置的改变的空间定位向用户提供了改进的视觉反馈(例如，关于其与第一三维环境中的其他用户的相对位置)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据响应于与移动第一用户在第一三维环境中的虚拟位置的请求相对应的第三用户输入而作出的第一用户在第一三维环境中的虚拟位置的改变(例如，当第一计算机系统正在AR模式或VR模式下显示第一用户界面时)，在由第二计算机系统示出(例如，经由与第二计算机系统通信的第二显示生成部件向第二用户示出(例如，经由HMD或其他沉浸式显示设备向第二用户示出等))的第一三维环境的第一视图(例如，AR视图或VR视图)中将第一用户的相应表示从第一位置(例如，对应于在检测到第三用户输入之前的第一用户的虚拟位置)移动到第二位置(例如，对应于在检测到第三用户输入之后的第一用户的虚拟位置)。例如，在图7V至图7W中，当第一计算机系统101-t在空间模式下显示第一通信会话的第一用户界面时，第一计算机系统检测诸如第一用户7200或第一显示生成部件7100-t在物理环境100中的移动和/或在第一显示生成部件7100-t的触摸屏显示器上的轻扫或捏合输入等输入，并且第一计算机系统101-t任选地根据来自第一用户的输入来移动第一用户在第一三维环境7207中的虚拟位置。根据一些实施方案，根据第一用户在第一三维环境中的改变的虚拟位置，第二计算机系统根据第一用户在第一三维环境7207中的改变的虚拟位置来在由第二显示生成部件示出的第一三维环境7207的视图中移动第一用户的表示。根据第一用户在第一三维环境中的虚拟位置的改变来在由第二计算机系统示出的第一三维环境的第一视图中将相应表示从第一位置移动到第二位置向第二用户提供了改进的视觉反馈(例如，关于第一用户的移动和第一用户在第一三维环境中的新位置)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一通信会话的第一用户界面至少包括与第一用户和第二用户不同的第三用户的相应表示。例如，在图7V和图7X中，根据一些实施方案，第一用户界面包括均参与通信会话的第二用户的表示7203’和第三用户的表示7205’。例如，在一些实施方案中，在AR模式下，第一通信会话的第一用户界面包括指示第二用户和第三用户在第一三维环境中的相对定位(例如，通过第二用户和第三用户的表示在经由第一显示生成部件示出的AR视图中的相对位置)以及第二用户和第三用户相对于第一用户在第一三维环境中的虚拟位置的定位(例如，通过第二用户和第三用户的表示相对于经由第一显示生成部件示出的AR视图的视点的位置)的第二用户的相应表示和第三用户的相应表示。在第一通信会话的第一用户界面中至少包括与第一用户和第二用户不同的第三用户的相应表示减少了与多个用户通信所需的输入数量(例如，第一用户不需要执行附加输入来开始与第三用户的单独通信会话)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，显示指示第二用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的相应表示的空间定位的第二用户的相应表示(例如，在AR模式下显示第一用户界面)包括以第一取向显示第二用户的相应表示以及以不同于第一取向的第二取向显示第三用户的相应表示。例如，在一些实施方案中，根据第一用户和第三用户在其相应物理环境中的实时移动(例如，旋转和平移移动)来分别确定和更新第一取向和第二取向。例如，如图7V和图7W所示，根据一些实施方案，第一显示生成部件7100-t在空间模式下示出通信会话的第一用户界面，并且第二用户的表示7203’和第三用户的表示7205’是根据他们在第一三维环境7207中的面向方向看起来面向不同方向的第二用户和第三用户的三维或伪三维头像(例如，图7W中的表示7205’看起来已相对于图7V所示的状态旋转，而表示7203’尚未改变其面向方向)。在一些实施方案中，显示第二用户的相应表示而不指示第二用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的相应表示的空间定位(例如，在展示模式、非AR模式下显示第一用户界面)包括以第三取向(例如，面向第二用户、面向前方、面向相应预设方向等)显示第二用户的相应表示和第三用户的相应表示。例如，根据一些实施方案，如图7X所示的非空间模式下的第一用户界面7110示出了并排面向相同方向(例如，向前、朝向位于第一显示生成部件的显示侧前方的第一用户7200等)的第二用户的表示7203’和第三用户的表示7205’。在一些实施方案中，根据一些实施方案，当第二用户和第三用户在其相应物理环境中移动或转动时，通信会话的第一用户界面7110中的表示7203’和7205’任选地保持面向与之前相同的方向(并且保持与之前相同的尺寸)。当显示指示第二用户在第一三维环境中相对于至少一个其他用户的相应表示的空间定位的第二用户的相应表示时，以第一取向显示第二用户的相应表示并以不同于第一取向的第二取向显示第三用户的相应表示，并且当显示第二用户的相应表示而不指示第二用户相对于至少一个其他用户的相应表示的空间定位时，以第三取向显示第二用户的相应表示和第三用户的相应表示，减少了为每个相应用户设定正确取向所需的输入数量(例如，用户不需要执行附加输入来改变每个相应用户的取向)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，显示第二用户的相应表示而不指示第二用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的表示的空间定位(例如，在展示模式、非AR模式下显示第一用户界面)包括在虚拟环境(例如，虚拟二维环境、第一用户的模拟视点不根据第一用户的输入而改变的虚拟三维环境等)中显示第二用户的相应表示。例如，在图7X中，根据一些实施方案，非空间模式下的第一用户界面7110包括虚拟环境，该虚拟环境不包括物理环境100的表示。在一些实施方案中，参与者的表示在虚拟环境中的位置是预设的或具有预设布局(例如，由第一通信会话中所涉及的计算机系统自动确定，或由在第一通信会话开始之前建立的用户输入或设置自动确定等)，并且不因参与者在其相应物理环境中的移动而改变。显示第二用户的相应表示而不指示第二用户相对于至少一个其他用户的表示的空间定位(包括在虚拟环境中显示第二用户的相应表示)向用户提供了改进的视觉反馈(例如，计算机系统不知道第二用户相对于至少一个其他用户的空间位置)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，显示指示第二用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的相应表示的空间定位的第二用户的相应表示(例如，在AR模式下显示第一用户界面)包括在包括第一物理环境的表示的第一增强现实环境中的第一位置处显示第二用户的相应表示。例如，在图7V至图7W中，根据一些实施方案，以空间模式在第一用户界面中示出的第一三维环境7207的视图7106包括物理环境100的表示(例如，包括物理环境100中的墙壁7004、7006和地板7008的表示7004-t’、7006-t’和7008-t’)，并且第二用户的表示7203’和第三用户的表示7205’以指示它们相对于第一三维环境7207中的物理环境100的空间定位的方式在视图7106中示出。在一些实施方案中，第一增强现实环境是第一物理环境的表示和第一三维环境的整合，其中第一物理环境内的位置被映射到第一三维环境中的位置，使得第一通信会话的参与者的表示在与其在第一三维环境中的虚拟位置相对应的第一增强现实环境中的相应位置处显示。显示指示第二用户相对于至少一个其他用户的相应表示的空间定位的第二用户的相应表示(包括在包括第一物理环境的表示的第一增强现实环境中的第一位置处显示第二用户的相应表示)向用户提供了改进的视觉反馈(例如，关于第二用户与至少一个其他用户的相对位置以及用户在第一物理环境中的位置)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第二计算机系统与第二显示生成部件(例如，向第二用户提供基于第一三维环境的第一AR环境中的沉浸式体验的第二显示生成部件)通信，(例如，在第一计算机系统经由第一显示生成部件显示第一通信会话的第一用户界面的时间期间)经由第二计算机系统的第二显示生成部件显示第一用户与第二用户之间的第一通信会话的第二用户界面，其中显示第二用户界面包括显示指示第一用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的相应表示的空间定位的第一用户的相应表示(例如，其中第一用户的表示相对于第二用户的表示位于基于第一三维环境的第二AR环境中，或者其中第一用户的表示相对于第三用户的表示位于基于第一三维环境的AR环境中等)。例如，根据一些实施方案，当第一通信会话的第一用户界面以空间模式(例如，如图7V和图7W所示)或非空间模式(例如，如图7X所示)显示时，第二用户所使用的第二计算机系统显示第一三维环境7207的视图，该视图包括可视地指示第一用户在第一三维环境7207中相对于第二用户以及任选地相对于第三用户和/或第二用户的物理环境的空间定位的第一用户7200的表示。在一些实施方案中，第二增强现实环境是第二用户的第二物理环境的表示和第一三维环境的整合，其中第二物理环境内的位置被映射到第一三维环境中的位置，使得第一通信会话的参与者的表示在与其在第一三维环境中的虚拟位置相对应的第二增强现实环境中的相应位置处显示。经由第二显示生成部件显示指示第一用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的相应表示的空间定位的第一用户的相应表示向第二用户提供了改进的视觉反馈(例如，关于第一用户在第一三维环境中相对于至少一个其他用户的相应表示的空间位置)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一通信会话的第二用户界面中的第一用户的相应表示包括第一用户的视频馈送(例如，在第一通信会话期间捕获的第一用户的实时视频)。例如，根据一些实施方案，当第一通信会话的第一用户界面以空间模式(例如，如图7V和图7W所示)或非空间模式(例如，如图7X所示)显示时，第二用户所使用的第二计算机系统显示第一三维环境7207的视图，该视图包括可视地指示第一用户在第一三维环境7207中相对于第二用户以及任选地相对于第三用户和/或第二用户的物理环境的空间定位的第一用户7200的表示，并且其中第一用户的表示包括从第一计算机系统接收到的第一用户的实时视频馈送。经由第二显示生成部件显示包括视频馈送并指示第一用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的相应表示的空间定位的第一用户的相应表示向第二用户提供了改进的视觉反馈(例如，关于第一用户在第一三维环境中相对于至少一个其他用户的相应表示的空间位置)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第二计算机系统(例如，在第一计算机系统经由第一显示生成部件显示第一通信会话的第一用户界面的时间期间)检测来自第二用户的与在第一三维环境中移动第一用户的相应表示的请求相对应的第四用户输入(例如，来自第二用户的将第一用户的表示从基于第一三维环境的第二AR视图中的第一位置拖动到第二位置的用户输入、来自第二用户的将第一用户的表示轻扫到基于第一三维环境的第二AR视图中的侧面的用户输入等)；并且响应于检测到来自第二用户的第四用户输入，第二计算机系统在第一通信会话的第二用户界面中移动第一用户的相应表示，以改变第一用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的相应表示的空间定位。例如，当第一通信会话的第一用户界面以非空间模式(例如，如图7X所示)显示时，第二用户所使用的第二计算机系统显示第一三维环境7207的视图，该视图包括可视地指示第一用户在第一三维环境7207中相对于第二用户以及任选地相对于第三用户和/或第二用户的物理环境的空间定位的第一用户7200的表示。根据一些实施方案，如果第二计算机系统检测到来自第二用户的在经由第二显示生成部件显示的第一三维环境7207的视图中移动第一用户的表示的用户输入，则第二计算机系统更新第一用户在第一三维环境中的虚拟位置，并且根据来自第二用户的用户输入来在由第二显示生成部件示出的第一三维环境的视图中的更新位置处显示第一用户的第一表示。响应于检测到与在第一三维环境中移动第一用户的相应表示的请求相对应的第四用户输入而在第一通信会话的第二用户界面中移动第一用户的表示以改变第一用户相对于第一通信会话中的至少一个其他用户的相应表示的空间定位，向第二用户提供了改进的视觉反馈(例如，关于第一用户相对于至少一个其他用户的更新的空间位置)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一计算机系统经由第一显示生成部件显示第一用户与第二用户之间的第一通信会话的第一用户界面，包括在第一用户界面中的预设位置处显示第一用户的相应表示。如图7V和图7X所示，根据一些实施方案，在第一通信会话的第一用户界面中的预设位置处示出第一用户7200的自我视图7200”。在一些实施方案中，根据一些实施方案，第二计算机系统经由第二显示生成部件显示第二用户的表示，该表示覆盖由第二显示生成部件显示的第一三维环境的视图的一部分、替换该部分的显示或遮挡该部分。在一些实施方案中，经由第二显示生成部件显示第一用户与第二用户之间的第一通信会话的第二用户界面包括在第二用户界面中的预设位置处显示第二用户的相应表示。在一些实施方案中，用于在第一通信会话的用户界面中显示相应参与者(例如，第一用户、第二用户等)的自我视图的预设位置独立于相应参与者的位置和取向的变化和/或独立于相应参与者的物理环境中相应显示生成部件的位置和取向的变化。在一些实施方案中，预设位置相对于经由相应参与者所使用的相应显示生成部件提供的视场是固定的。在一些实施方案中，预设位置被锁定到相应参与者的头部或眼睛在第一三维环境中的虚拟位置。在一些实施方案中，经由相应参与者所使用的相应显示生成部件显示的第一三维环境的视图包括如由通信会话的其他参与者看到的相应参与者的实时视频馈送或动画头像的画中画视图。在第一通信会话的第一用户界面中的预设位置处显示第一用户的相应表示向第一用户提供了改进的视觉反馈(例如，关于第一通信会话中的其他用户看到的第一用户的表示)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第二用户的相应表示(例如，当第一用户界面以展示模式显示时，当第二用户的表示以自我视图在第一通信会话的第二用户界面中显示时等)包括与预设相机角度和/或成像距离相对应的第二用户的头像(例如，具有面部表情和任选地手势的动画角色)。例如，在图7X中，根据一些实施方案，当第一通信会话的第一用户界面7110以非空间模式显示时，第二用户和第三用户的表示看起来由具有预设相机距离和相机角度的虚拟相机捕获，而与第二用户和第三用户在其相应环境中的面向方向和位置无关。在一些实施方案中，当第一用户和第二用户是通信会话中的唯一参与者时，当第一用户和第三用户的头像经由第一显示生成部件在展示模式下示出时等，参与者的头像具有与预设相机角度和成像距离相对应的外观，使得头像的尺寸和取向在参与者之间看起来一致。在一些实施方案中，对于使用在第一通信会话的第一三维环境中提供沉浸式体验的设备的第一通信会话的相应参与者(例如，第二用户、第三用户等)，相应参与者所使用的计算机系统基于预设成像距离和/或相机角度来生成相应参与者的头像，而不论相应参与者是否已在他/她自己的物理环境中移动或转动，并且该头像用于相应参与者的自我视图中以及所有参与者的展示视图中。在一些实施方案中，相应参与者(例如，第二用户或第三用户)可在他/她的物理环境中向前移动，但经由第一显示生成部件示出的第一用户界面中的相应参与者的表示在尺寸和位置方面保持不变。在一些实施方案中，第二用户可能在他/她的物理环境中面向南，并且第三用户可能在他/她的物理环境中面向东，但是经由第一显示生成部件示出的AR环境或二维UI中的第二用户的表示和第三用户的表示两者都面向朝着第一用户的相同方向。以预设相机角度和/或成像距离显示第二用户的相应表示(包括第二用户的头像)减少了显示第二用户的相应表示所需的输入数量(例如，不需要附加输入来调整相机角度或成像距离以确保可以舒适地查看第二用户的相应表示)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一计算机系统在第一三维环境的共享区域中显示媒体播放器对象(例如，在基于第一三维环境的第一AR视图的第一部分中显示媒体播放器对象，其中第一AR视图的第一部分对应于第一三维环境的共享区域)，其中经由第一通信会话的第一用户界面中的第一显示生成部件(以及经由第一通信会话的第二用户界面中的第二显示生成部件，以及经由第一通信会话的第三用户界面中的第三显示生成部件等)示出媒体播放器对象，其中媒体播放器对象包括正在播放的视频。在一些实施方案中，第二计算机系统在基于第一三维环境的第二AR视图的第二部分中显示媒体播放器对象，其中第二AR视图的第二部分也对应于第一三维环境的共享区域。在一些实施方案中，响应于来自第一用户的请求或来自第二用户的请求或来自第三用户的请求等，媒体播放器对象被放置到第一三维环境的共享区域中。在一些实施方案中，响应于经由第二计算机系统(或经由第一计算机系统或经由第三计算机系统等)接收到与将媒体播放器对象从第一三维环境的共享区域内的第三位置移动到第四位置的请求相对应的第五用户输入，第一计算机系统在第一通信会话的第一用户界面中(并且任选地在第一通信会话的第二用户界面和第三用户界面等中)移动媒体播放器对象以指示媒体播放器对象在第一三维环境中的改变的位置。例如，在图7V中，当第一计算机系统以空间模式显示第一用户界面时，第一用户、第二用户和第三用户之一在第一三维环境的共享区域中共享媒体对象。因此，用户所使用的计算机系统使用其相应显示生成部件在共享区域中的第一三维环境7207的相应视图中显示媒体播放器中的媒体对象。如果通信会话的相应参与者的相应计算机系统从相应参与者接收到与在共享区域内移动媒体播放器的请求相对应的用户输入，则相应计算机系统根据用户输入来改变媒体播放器在第一三维环境7207中的虚拟位置和面向方向；并且因此，根据一些实施方案，相应计算机系统以及其他参与者所使用的计算机系统更新它们对第一三维环境的视图以反映媒体播放器的改变的虚拟位置和面向方向。响应于接收到与将媒体播放器对象移动到第一三维环境的共享区域中的第四位置的请求相对应的第五用户输入而移动媒体播放器对象以指示媒体播放器对象在第一三维环境中的改变的位置，向用户提供了改进的视觉反馈(例如，关于媒体播放器对象的新位置，特别是在被另一用户移动时)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一通信会话的第一用户界面包括第一示能表示，该第一示能表示在根据预设标准来激活时使得显示第二用户的相应表示，该相应表示指示第二用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的表示的空间定位(例如，切换到显示第一用户界面的AR模式)。例如，在图7V至图7W和图7X中，根据一些实施方案，第一计算机系统任选地显示用于在第一用户界面的空间模式和非空间模式之间切换的示能表示，该示能表示在被第一用户7200激活时使得第一计算机系统101-t改变第一通信会话的第一用户界面的显示模式(例如，任选地，而不论第一显示生成部件7100-t的取向如何)。在一些实施方案中，第一示能表示是响应于激活示能表示的输入(例如，空中轻击手势、轻扫手势、轻弹手势、轻击手势等)而在AR模式与展示模式之间切换的开关或控件，在AR模式下，以指示参与者在第一三维环境中的空间定位的方式显示参与者的表示，并且在展示模式下，以不指示参与者在第一三维环境中的空间定位的不同方式显示参与者的表示。在第一通信会话的第一用户界面中包括使得显示指示第二用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的空间定位的第二用户的相应表示的第一示能表示，减少了指示第二用户相对于至少一个其他用户的空间定位所需的输入数量(例如，用户可经由第一示能表示在指示与不指示空间定位之间切换，而不需要开始新的通信会话或以不同设置重新加入第一通信会话)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，显示指示第二用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的表示的空间定位的第二用户的相应表示包括在由计算机系统(例如，由第一计算机系统、由第二计算机系统、由第一通信会话的服务器等)自动选择的位置处显示第二用户的相应表示。在一些实施方案中，当第一计算机系统101-t第一次显示第一通信会话的第一用户界面的空间模式时(例如，如图7V所示)，第一计算机系统自动选择参与者在第一三维环境7207中的虚拟位置，而不考虑来自第一用户的用户输入(并且任选地，不考虑来自第二用户或其他参与者的用户输入)。在由计算机系统自动选择的位置处显示第二用户的相应表示减少了显示第二用户的相应表示所需的输入数量(例如，用户不需要执行单独的输入来发起第二用户的相应表示的显示以及选择用于显示的位置，用户不需要执行附加输入来重新定位第二用户的相应表示以便舒适地查看等)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，显示指示第二用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的相应表示的空间定位的第二用户的相应表示包括在根据通过第二计算机系统提供的来自第二用户的输入来选择的位置处显示第二用户的相应表示。在一些实施方案中，根据一些实施方案，当第一计算机系统101-t第一次显示第一通信会话的第一用户界面的空间模式时(例如，在图7V中)，第一计算机系统自动选择第一三维环境7207中的参与者的虚拟位置，并且任选地根据由第二用户或其他参与者提供的用户输入(例如，当对通信会话的请求有待第一用户接受时，在经由第二用户或其他参与者的显示生成部件示出的第一三维环境7207的视图中拖动第一用户的占位符表示的输入)来选择第一用户的虚拟位置。在一些实施方案中，第二用户作为整体在他/她的物理环境中移动，和/或第二用户在经由第二显示生成部件示出的第一三维环境的第二AR视图中重新定位第一用户的表示，并且因此，第一计算机系统相应地在经由第一显示生成部件呈现的第一AR视图中更新第二用户的表示相对于第一用户的视点的空间定位。在一些实施方案中，如经由第一显示生成部件显示的第一AR视图中所示的第一三维环境中的第二用户的表示的初始位置由计算机系统(例如，第一计算机系统、第二计算机系统或第一通信会话的服务器等)自动选择，并且第一用户和第二用户的表示的位置可随后根据从第一用户接收到的用户输入和/或从第二用户接收到的用户输入来更新。在根据通过第二计算机系统提供的来自第二用户的输入来选择的位置处显示第二用户的相应表示减少了在期望位置处显示第二用户的相应表示所需的输入数量(例如，如果计算机系统自动选择在不同位置处显示第二用户的相应表示，则用户不需要执行附加输入来重新定位第二用户的相应表示)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，显示指示第二用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的相应表示的空间定位的第二用户的相应表示包括显示第二用户的相应表示和第三用户的相应表示以指示第一三维环境中第二用户与第三用户之间的第一空间关系。例如，如图7V和图7W所示，根据一些实施方案，当以空间模式显示第一通信会话的第一用户界面时，在由第一显示生成部件7100-t示出的第一三维环境7207的视图7106中可视地指示第一三维环境7207中第二用户与第三用户之间的空间关系。在一些实施方案中，在经由第二用户所使用的第二计算机系统显示的第一通信会话的第二用户界面和经由第三用户所使用的第三计算机系统显示的第一通信会话的第三用户界面中示出第一空间关系。在一些实施方案中，根据在其相应物理环境中第二用户作为整体的移动和/或第三用户作为整体的移动来更新第一空间关系。显示第二用户的相应表示和第三用户的相应表示以指示第一三维环境中第二用户与第三用户之间的第一空间关系向用户提供了改进的视觉反馈(例如，关于第二用户和第三用户在第一三维环境中的相对位置)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当显示指示第二用户在第一三维环境中相对于第一通信会话中的至少一个其他用户的表示的空间定位的第二用户的相应表示时(例如，当在AR模式下显示第一用户界面时)，第一计算机系统检测与调整第二用户的相应表示的尺寸的请求相对应的第六用户输入(例如，包括两根手指朝向彼此的移动或两根手指在彼此接触之后远离彼此的移动等的手势)。响应于检测到与调整第二用户的相应表示的尺寸的请求相对应的第六用户输入，第一计算机系统根据第六用户输入(例如，根据输入的量值、定时、速度等)来改变第一通信会话的第一用户界面中的第二用户的相应表示的尺寸。在一些实施方案中，改变第二用户的表示的尺寸而不改变第二用户在第一三维环境中的空间定位。在一些实施方案中，改变第二用户的表示的尺寸连同改变第二用户在第一三维环境中的空间定位(例如，作为第一用户的输入的结果，第一用户在第一三维环境中变得更远离或更靠近第二用户)。例如，在图7V中，根据一些实施方案，如果第一计算机系统101-t在第二用户的第二表示7203’的位置处检测到第一显示生成部件7100-t的触摸屏显示器上的捏合输入，则第一计算机系统101-t任选地相对于第三用户的第三表示7205’改变第二用户的第二表示7203’的尺寸。又如，在图7V中，根据一些实施方案，如果第一计算机系统101-t在第二用户的第二表示7203’与第三用户的第三表示7205’之间的位置处检测到第一显示生成部件7100-t的触摸屏显示器上的捏合输入，则第一计算机系统101-t任选地改变第二用户的第二表示7203’和第三用户的第三表示7205’的尺寸，就好像第一用户的虚拟位置已移动得更靠近第二用户和第三用户在第一三维环境7207中的虚拟位置。根据与调整第二用户的相应表示的尺寸的请求相对应的第六用户输入来改变第二用户的相应表示的尺寸而不改变第二用户在第一三维环境中的空间定位，提供了附加控件选项，但不会使具有附加显示的控件(例如，用于改变第二用户的相应表示的尺寸的附加控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
应当理解，对图14中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当注意，本文相对于本文所述的其他方法(例如，方法8000、9000、10000、11000、12000、13000、15000和16000)所述的其他过程的细节同样以类似的方式适用于上文相对于图14所述的方法14000。例如，以上参考方法14000描述的手势、注视输入、物理对象、用户界面对象、控件、移动、标准、三维环境、显示生成部件、表面、物理对象的表示、虚拟对象和/或动画任选地具有本文参考本文所述的其他方法(例如，方法8000、9000、10000、11000、12000、13000、15000和16000)所述的手势、注视输入、物理对象、用户界面对象、控件、移动、标准、三维环境、显示生成部件、表面、物理对象的表示、虚拟对象和/或动画的特征中的一个或多个特征。为了简明起见，此处不再重复这些细节。
图15是根据一些实施方案的基于显示生成部件的取向来显示通信会话的用户界面的空间模式或非空间模式的方法15000的流程图。
在一些实施方案中，方法15000在计算机系统(例如，图1中的计算机系统101)处执行，该计算机系统包括第一显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户的手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法15000通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法15000中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，方法15000在计算机系统(例如，图1中的计算机系统101、相对于图7V至图7X描述的第一计算机系统101-t等)处执行。在一些实施方案中，计算机系统与第一显示生成部件(例如，第一显示生成部件是平视显示器、头戴式显示器(HMD)、显示器、触摸屏、投影仪等)和一个或多个输入设备(例如，相机、控制器、触敏表面、操纵杆、按钮、手套、手表、运动传感器、取向传感器等)通信。在一些实施方案中，第一显示生成部件是相对于图7V至图7X描述的第一显示生成部件7100-t。在一些实施方案中，第一计算机系统和第一显示生成部件(例如，相对于图7A至图7U和图7Y至图7Z等描述的计算机系统101和第一显示生成部件7100)能够在三维环境(例如，增强现实环境、虚拟现实环境等)中提供沉浸式三维体验，但是可以被暂时限制为仅允许与通信会话中的另一用户的视频和音频通信。在一些实施方案中，第一计算机系统和第一显示生成部件不能够在三维环境中提供沉浸式三维体验。在一些实施方案中，在三维环境中提供沉浸式体验的计算机系统根据用户的头部相对于物理环境的旋转(例如，用户通常如何改变他/她在物理环境中的视点)来改变从其向计算机系统的用户呈现三维环境的视点。在一些实施方案中，尽管诸如平板设备或手持式设备之类的计算机系统可能能够在平板设备或手持式设备的显示器上提供进入物理环境的增强现实视图的视口，但是增强现实视图不是沉浸式的，因为用户的头部相对于计算机系统的显示器的旋转不会引起计算机系统更新增强现实视图的视点。类似地，尽管诸如平板设备或手持式设备之类的计算机系统可能能够在平板设备或手持式设备的显示器上提供进入虚拟三维环境的视口，但是三维环境的视图不是沉浸式的，因为用户的头部相对于计算机系统的显示器的旋转不会引起计算机系统更新虚拟三维环境的当前显示视图的视点。根据一些实施方案，相对于图7V至图7X描述了方法15000的特征中的许多特征。在一些实施方案中，本文所述的第二计算机系统和第二显示生成部件类似于相对于图7A至图7U和图7Y至图7Z描述的计算机系统101和第一显示生成部件7100。
在方法15000中，第一计算机系统经由第一显示生成部件显示(15002)第一用户与第二用户之间的第一通信会话的第一用户界面，其中第一用户界面包括第二用户的表示。例如，如图7V和图7X分别所示，根据一些实施方案，第一通信会话的第一用户界面包括第二用户的表示7203’。在一些实施方案中，第一用户是第一计算机系统的用户，并且处于经由第一显示生成部件查看第一通信会话的第一用户界面的适当位置；并且第二用户是与不同于第一显示生成部件的第二显示生成部件通信的第二计算机系统的用户，其中经由第二显示生成部件向第二用户显示通信会话的第二用户界面。在一些实施方案中，第一用户和第二用户位于不同的物理空间中，并且使用其相应计算机系统加入通信会话。在一些实施方案中，一个或多个其他用户也使用他们自己的计算机系统和显示生成部件加入通信会话。在一些实施方案中，通信会话的用户界面包括通信会话的每个参与者的表示(例如，其他用户的头像和自我视图)。在一些实施方案中，第一计算机系统不能够或被限制支持在三维环境中以沉浸式体验参与第一通信会话。在一些实施方案中，第一计算机系统和第一显示生成部件是具有集成显示器的手持式设备、便携式计算机、平板设备等。在一些实施方案中，第二计算机系统能够支持在三维环境中以沉浸式体验参与第一通信会话，并且向第二用户提供具有其他参与者的表示的三维环境的视图。
在方法15000中，当显示第一用户和第二用户之间的第一通信会话的第一用户界面时，第一计算机系统检测(15002)第一显示生成部件在第一物理环境(例如，围绕第一计算机系统、第一显示生成部件和第一用户的物理环境)中的第一移动(例如，沿第一方向、第二方向等的平移、围绕第一轴线、第二轴线等的旋转)。例如，分别在图7V和图7X中，根据一些实施方案，第一计算机系统任选地检测第一显示生成部件7100-t在物理环境100中的移动。在一些实施方案中，第一移动不引起第一显示生成部件的取向从纵向取向改变为横向取向，并且不引起第一显示生成部件的取向从横向取向改变为纵向取向。在一些实施方案中，第一移动任选地改变第一显示生成部件的显示侧相对于物理环境和/或第一用户所面向的角度，并且任选地改变第一显示生成部件相对于第一用户和/或物理环境的距离和相对侧向位置。
在方法15000中，响应于检测到第一显示生成部件在第一物理环境中的第一移动(15006)：根据确定在第一显示生成部件的第一移动期间第一显示生成部件处于第一取向(例如，纵向取向、与通信会话的参与者的空间或AR视图相关联的取向、横向取向等)(例如，第一取向与第一显示生成部件在物理环境中相对于地面或相对于用户面部放置的第一角度范围相关联)，第一计算机系统基于第一显示生成部件在第一物理环境中的第一移动以及进入显示第二用户的表示的相应三维环境中的第一用户的模拟视点来更新(15008)第二用户的表示的外观(例如，第一显示生成部件的第一移动改变虚拟三维会议空间的AR视图的视角，并且改变第一用户界面上的参与者的表示的位置)。例如，在图7V和图7W中，根据一些实施方案，在第一显示生成部件7100-t在物理环境100中的移动期间，第一显示生成部件7100-t基本上保持处于第一取向(例如，在与第一显示生成部件7100-t的横向或直立取向相对应的角度和姿态的范围内)，并且因此，第一计算机系统101-t继续以空间模式显示第一通信会话的第一用户界面，并根据第一显示生成部件7100-t以及与第一用户在第一三维环境7207中的虚拟位置和面向方向相对应的视图7106的模拟视点的移动，可视地指示第二用户的第二表示7203’在第一三维环境7207的视图7106中的虚拟位置和面向方向。响应于检测到第一显示生成部件在第一物理环境中的第一移动(15006)：根据确定在第一显示生成部件的第一移动期间第一显示生成部件处于不同于第一取向的第二取向(例如，横向取向、与会议参与者的图库或非空间视图相关联的取向、纵向取向等)(例如，第二取向与第一显示生成部件在物理环境中相对于地面或相对于用户面部放置的第二角度范围相关联)，当第一显示生成部件在第一物理环境中移动时，第一计算机系统保持(15010)在通信会话的第一用户界面中的相应位置处显示第二用户的表示(例如，第二用户的表示在第一用户界面中的位置独立于第一显示生成部件在第一物理环境中的移动)(例如，即使第一显示生成部件在物理环境中移动，会议参与者的头像也不在第一用户界面上移动)。例如，在图7X中，根据一些实施方案，如果第一显示生成部件7100-t在物理环境中移动而第一显示生成部件保持处于第二取向(例如，在与第一显示生成部件7100-t的纵向或倾斜取向相对应的角度和姿态范围内)，则因此，第一计算机系统101-t继续显示第一用户界面的非空间模式，其中第二用户的表示7203’不根据第一显示生成部件7100-t的移动而改变位置。在一些实施方案中，根据一些实施方案，根据确定第一显示生成部件7100-t的移动将第一显示生成部件7100-t的取向从第一取向改变为第二取向或者从第二取向改变为第一取向，第一计算机系统7100-t改变第一用户界面的显示模式，并且根据第一显示生成部件的后续移动来移动第二用户的表示7203’(例如，根据确定在第一显示生成部件处于与第一用户界面的空间模式相关联的第一取向时进行移动)，或者保持第二用户的表示7203’的位置而与第一显示生成部件的后续移动无关(例如，根据确定在第一显示生成部件处于与第一用户界面的非空间模式相关联的第二取向时进行移动)。在一些实施方案中，第一取向不仅仅是单个角度，诸如第一显示生成部件的显示侧相对于地面的垂直取向(其中视场的长边在垂直方向上)，而且是相对于垂直取向的角度范围(例如，略微向前和向后倾斜(例如，围绕第一水平轴线+/-30度、+90度和-30度等)，或略微侧向转动(例如，围绕第二水平轴线+/-30度、+/-20度)等)。在一些实施方案中，第一显示生成部件的第一取向允许第一显示生成部件的显示侧围绕穿过地面的垂直轴线面向宽角度范围(例如，180度、270度等)内的任何角度。在一些实施方案中，第二取向不仅仅是单个角度，诸如第一显示生成部件的显示侧相对于地面的垂直取向(其中视场的短边在垂直方向上)，而且是相对于垂直取向的角度范围(例如，略微向前和向后倾斜(例如，围绕第一水平轴线+/-30度、+90度和-30度等)，或略微侧向转动(例如，围绕第二水平轴线+/-30度、+/-20度)等)。在一些实施方案中，第一显示生成部件的第二取向允许第一显示生成部件的显示侧围绕穿过地面的垂直轴线面向宽角度范围(例如，180度、270度等)内的任何角度。基于用于显示第一用户界面的显示生成部件的取向来在空间模式与非空间模式之间自动切换通信会话的用户界面的显示模式减少了屏幕混乱并且减少了用户在参与通信会话的同时与第一计算机系统交互时的错误，这增强了设备的可操作性并且通过使用户能够更快速并有效地使用设备而减少了电力使用并延长了设备的电池寿命。
在一些实施方案中，与第一计算机系统相对应的第一用户(例如，不支持通信会话中的完全沉浸式共现体验并且仅支持纯视频和/或纯音频通信会话的设备的用户、在纯视频或纯音频模式下参与通信会话的设备的用户等)和与不同于第一计算机系统的第二计算机系统相对应的第二用户(例如，支持通信会话中的完全沉浸式共现体验并且在沉浸模式下参与通信会话的设备的用户)之间的通信会话的第一用户界面可以经由第一用户所使用的第一显示生成部件以两种不同模式显示。在一些实施方案中，第二用户正在第一三维环境(例如，在其上构造向通信会话的参与者示出的AR或VR环境的三维环境)内参与通信会话，并且显示通信会话的第一用户界面包括显示第二用户的相应表示，该相应表示指示第二用户在第一三维环境中相对于通信会话中的至少一个其他用户的相应表示的空间定位。根据一些实施方案，相对于图14和方法14000描述了与第一用户界面的空间模式和非空间模式相关的更多特征。例如，第二用户的相应表示相对于第一三维环境中的第一用户的相应表示位于第一三维环境中，和/或其中第二用户的相应表示相对于第一三维环境中的第三用户的相应表示位于第一三维环境中等。在一些实施方案中，第一三维环境的视图可用第一通信会话的相应参与者的相应物理环境的表示、或在由相应参与者的显示生成部件示出的通信会话的用户界面中由相应参与者为第一通信会话选择的虚拟元素来增强；但是参与者相对于彼此的空间定位是基于第一三维环境的相同参考系并且在参与者之间共享；并且第一三维环境中的参与者的空间定位由经由参与者的相应显示生成部件示出的通信会话的相应用户界面中的参与者的表示的定位和视角来反映。例如，在一些实施方案中，经由第一显示生成部件向第一用户示出的第一三维环境的AR视图包括第一用户的第一物理环境的表示，而经由第二显示生成部件向第二用户示出的第一三维环境的沉浸式视图包括第二用户的第二物理环境的表示，或者包括未在经由第一显示生成部件显示的AR视图中示出的虚拟对象。在一些实施方案中，当经由第一显示生成部件在AR模式下显示第一通信会话的第一用户界面时，相对于第一三维环境的第一AR视图的视点的位置(例如，视点具有与第一用户在第一物理环境中的位置相对应的第一三维环境中的位置)并且任选地相对于也参与通信会话的至少一个其他用户(例如，使用HMD参与通信会话的另一用户或使用平板设备参与通信会话的另一用户)的表示来示出第二用户的表示的位置。在一些实施方案中，第一通信会话的第一用户界面任选地包括在基于第一三维环境的虚拟三维环境的视图中(例如，在VR模式下)的第二用户的表示以及任选地至少一个其他用户的表示，其中在虚拟三维环境的视图中指示参与者的表示的定位。在一些实施方案中，当第一通信会话的第一用户界面经由第一显示生成部件以展示或图库模式显示时，第二用户的表示以及任选地至少一个其他用户的表示以预设布局(例如，以二维网格、以行、以默认或用户配置的布局等)显示，该预设布局独立于参与者在其相应物理环境中的位置和移动并且独立于参与者的表示在第一三维环境中的虚拟位置。在一些实施方案中，第一计算机系统使用AR模式，以响应于第一显示生成部件的取向从第一预设取向到第二预设取向(例如，从纵向取向到横向取向，或者从横向取向到纵向取向等)的变化而在第一通信会话的第一用户界面中显示参与者的表示(例如，第二用户的表示，以及任选地不同于第一用户和第二用户的第三用户的表示)。在一些实施方案中，第一通信会话的第一用户界面包括第一控件示能表示，该第一控件示能表示在根据第一预设标准来激活时使得第一计算机系统切换到AR模式，或者在当前模式是AR模式的情况下切换到展示模式(例如，第一控件示能表示是拨动开关，或者AR模式或展示模式的选择示能表示)。
在一些实施方案中，在响应于检测到第一显示生成部件在第一物理环境中的第一移动而更新第一用户界面(例如，包括基于第一显示生成部件在第一物理环境中的第一移动以及进入显示用户的第二表示的相应三维环境中的第一用户的模拟视点来更新第二用户的表示的外观)之后：第一计算机系统检测第一显示生成部件的第一取向变化(例如，从第一取向到第二取向、从第一取向到第三取向、从纵向取向到横向取向、从纵向取向到不同于横向取向的另一取向等)，并且在检测到第一显示生成部件的第一取向变化之后，第一计算机系统检测第一显示生成部件在第一物理环境中的第二移动。例如，在一些实施方案中，第一显示生成部件的取向变化可能不会使得或完成第一显示生成部件的显示侧从纵向取向到横向取向的转变，并且因此可能不会使得通信会话的第一用户界面的显示模式从AR模式切换到展示模式。类似地，第一显示生成部件的取向变化可能不会使得或完成第一显示生成部件的显示侧(或经由第一显示生成部件提供的视场)从横向取向到纵向取向的转变，并且因此可能不会使得通信会话的用户界面的显示模式从展示模式切换到AR模式。因此，在检测到第一显示生成部件的第一取向变化之后，第一计算机系统根据第一显示生成部件的实际取向(以及相应地与第一显示生成部件的实际当前取向相关联的通信的第一用户界面的显示模式)来确定是否更新通信会话的第一用户界面中的第二用户的表示。响应于检测到第一显示生成部件在第一物理环境中的第二移动：根据确定第一显示生成部件在第一显示生成部件的第二移动期间处于第一取向(例如，纵向取向、与会议参与者的空间或AR视图相关联的取向、横向取向等)，第一计算机系统基于第一显示生成部件在第一物理环境中的第二移动以及进入显示第二用户的表示的相应三维环境中的第一用户的模拟视点来更新第二用户的表示的外观(例如，在AR模式下更新三维环境的视图)；并且根据确定在第一显示生成部件的第二移动期间第一显示生成部件处于第二取向(例如，横向取向、与会议参与者的图库视图相关联的取向、纵向取向等)，第一计算机系统在第一显示生成部件在第一物理环境中移动时保持在通信会话的第一用户界面中的相应位置处显示第二用户的表示(例如，第二用户的表示在第一用户界面中的位置独立于第一显示生成部件在第一物理环境中的移动)(例如，即使第一显示生成部件在物理环境中移动，会议参与者的头像也不在第一用户界面上移动)(例如，保持第一用户界面的展示视图而不根据第一显示生成部件的第二移动来作出改变)。例如，在一些实施方案中，在图7V和图7X中，根据一些实施方案，如果第一计算机系统检测到第一显示生成部件7100-t的移动，根据确定第一显示生成部件7100-t的移动将第一显示生成部件7100-t的取向从第一取向改变为第二取向或从第二取向改变为第一取向，第一计算机系统7100-t在空间模式与非空间模式之间改变第一用户界面的显示模式，并且根据第一显示生成部件的后续移动来移动第二用户的表示7203’(例如，根据确定在第一显示生成部件处于与第一用户界面的空间模式相关联的第一取向时进行移动)，或者保持第二用户的表示7203’的位置而与第一显示生成部件的后续移动无关(例如，根据确定在第一显示生成部件处于与第一用户界面的非空间模式相关联的第二取向时进行移动)。根据确定第一显示生成部件在第二移动期间处于第一取向而基于第一显示生成部件在第一物理环境中的第二移动以及进入相应三维环境中的第一用户的模拟视点来更新第二用户的表示的外观，并且在第一显示生成部件在第一物理环境中移动时根据确定第一显示生成部件在第二移动期间处于第二取向而保持在第一通信会话的第一用户界面中的相应位置处显示第二用户的表示，向用户提供了改进的视觉反馈(例如，第一显示生成部件是处于第一取向还是第二取向)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，通信会话至少在第一用户、第二用户和与第一用户和第二用户不同的第三用户之间进行，并且其中通信会话的第一用户界面还包括第三用户的表示。在一些实施方案中，响应于检测到第一显示生成部件在第一物理环境中的第一移动：根据确定在第一显示生成部件的第一移动期间第一显示生成部件处于第一取向(例如，纵向取向、与通信会话的参与者的空间或AR视图相关联的取向、横向取向等)，第一计算机系统基于第一显示生成部件在第一物理环境中的第一移动以及基于进入显示第二用户的表示的相应三维环境中的第一用户的模拟视点来更新第三用户的表示的外观(例如，第一显示生成部件的第一移动改变虚拟三维会议空间的AR视图的视角以及第一用户界面上的参与者的表示的位置)。在一些实施方案中，响应于检测到第一显示生成部件在第一物理环境中的第一移动：根据确定第一显示生成部件在第一显示生成部件的第一移动期间处于第二取向(例如，横向取向、与会议参与者的展示或非空间视图相关联的取向、纵向取向等)，第一计算机系统在第一显示生成部件在第一物理环境中移动时保持在通信会话的第一用户界面中的第二相应位置处显示第三用户的表示(例如，第三用户的表示在第一用户界面中的位置独立于第一显示生成部件在第一物理环境中的移动)(例如，即使第一显示生成部件在物理环境中移动，会议参与者的头像也不在第一用户界面上移动)(例如，当第一显示生成部件在第一物理环境中移动时，在第一用户界面的展示模式下保持会议参与者的表示的位置)。例如，在图7V和图7W中，根据一些实施方案，在第一显示生成部件7100-t在物理环境100中的移动期间，第一显示生成部件7100-t基本上保持处于第一取向(例如，在与第一显示生成部件7100-t的横向或直立取向相对应的角度和姿态的范围内)，并且因此，第一计算机系统101-t继续以空间模式显示第一通信会话的第一用户界面，并根据第一显示生成部件7100-t以及与第一用户在第一三维环境7207中的虚拟位置和面向方向相对应的视图7106的模拟视点的移动，可视地指示第二用户的第二表示7203’和第三用户的第三表示7205’在第一三维环境7207的视图7106中的虚拟位置和面向方向。例如，在图7X中，根据一些实施方案，如果第一显示生成部件7100-t在物理环境中移动而第一显示生成部件保持处于第二取向(例如，在与第一显示生成部件7100-t的纵向或倾斜取向相对应的角度和姿态范围内)，则因此，第一计算机系统101-t继续显示第一用户界面的非空间模式，其中第二用户的表示7203’和第三用户的表示7205’不根据第一显示生成部件7100-t的移动而改变位置。根据确定在第一显示生成部件的第一移动期间第一显示生成部件处于第一取向而基于第一显示生成部件的第一移动并基于进入显示第二用户的表示的相应三维环境中的第一用户的模拟视点来更新第三用户的表示的外观，并且在第一显示生成部件在第一物理环境中移动时根据确定在第一显示生成部件的第一移动期间第一显示生成部件处于第二取向而保持在第一通信会话的第一用户界面中的第二相应位置处显示第三用户的表示，向用户提供了改进的视觉反馈(例如，第一显示生成部件是处于第一取向还是第二取向)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据确定移动未使得第一显示生成部件在第一取向与第二取向之间转变，独立于第一显示生成部件在第一物理环境中的移动(例如，第一移动、第二移动等)保持相应三维环境(例如，经由第一显示生成部件显示的AR视图所基于的虚拟三维环境、经由第一显示生成部件显示的AR环境等)中第二用户的表示与第三用户的表示之间的三维空间关系。例如，在图7X中，根据一些实施方案，如果第一显示生成部件7100-t在物理环境中移动而第一显示生成部件保持处于第二取向(例如，在与第一显示生成部件7100-t的纵向或倾斜取向相对应的角度和姿态范围内)，则因此，第一计算机系统101-t继续显示第一用户界面的非空间模式，其中第二用户的表示7203’和第三用户的表示7205’不根据第一显示生成部件7100-t的移动而改变位置。在一些实施方案中，根据在其相应物理环境中第二用户的移动和/或第三用户的移动，在以空间模式(例如，AR模式、VR模式等)显示的第一用户界面中更新第二用户的表示与第三用户的表示之间的空间关系。在一些实施方案中，根据第二用户在他/她的相应物理环境中的移动，以空间模式(例如，VR模式、AR模式等)在第一用户界面中更新第二用户的表示与进入显示第二用户的表示的相应三维环境中的第一用户的模拟视点之间的空间关系。在一些实施方案中，根据第三用户在他/她的相应物理环境中的移动，以空间模式(例如，VR模式、AR模式等)在第一用户界面中更新第三用户的表示与进入显示第三用户的表示的相应三维环境中的第一用户的模拟视点之间的空间关系。根据确定第一移动不使得第一显示生成部件在第一取向与第二取向之间转变而独立于第一显示生成部件在第一物理环境中的移动来保持第二用户和第三用户的表示，向用户提供了改进的视觉反馈(例如，第一显示生成部件尚未在第一取向与第二取向之间转变)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一计算机系统与相对于第一显示生成部件面向第一方向的第一组相机通信，并且与相对于第一显示生成部件面向第二方向(例如，第一方向与第二方向相反)的第二组相机通信。第一计算机系统根据从第一组相机接收到的第一图像数据和从第二组相机接收到的第二图像数据来确定第一用户的模拟视点在显示第二用户的表示的相应三维环境中的位置(例如，以空间模式在第一用户界面中示出的视图的视点的高度、侧向位置和面向方向等)。例如，根据一些实施方案，第一显示生成部件7100-t包括前向相机和后向相机两者，并且来自这两个相机的图像数据用于确定第一用户7200的虚拟表示7100-t’或7200’在第一三维环境7207中的位置和面向方向，其中第一用户的虚拟表示的虚拟位置和面向方向用于确定第一三维环境7207中的参与者之间的空间关系。在一些实施方案中，第一组相机面向朝向第一用户的面部的方向，并且第二组相机面向远离第一用户的面部的方向。在一些实施方案中，第一组相机指向从第一显示生成部件的显示侧向外的方向，并且第二组相机指向从第一显示生成部件的背侧向外的方向。在一些实施方案中，第一组相机是第一显示生成部件的前向相机，并且第二组相机是后向相机。根据从第一组相机接收到的第一图像数据和从第二组相机接收到的第二图像数据来确定第一用户的模拟视点在相应三维环境中的位置向用户提供了改进的视觉反馈(例如，更准确地定位第一用户的模拟视点)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在经由第二用户所使用的第二显示生成部件示出的第一通信会话的第二用户界面中显示第一用户的表示(例如，第二显示生成部件显示相应三维环境的AR视图或VR视图)。在一些实施方案中，相应三维环境的AR视图是第二用户的物理环境的表示和相应三维环境的整合。在一些实施方案中，相应三维环境的VR视图任选地包括由第二计算机系统和/或第二用户在相应三维环境中的各种位置处选择的虚拟对象，其中虚拟对象不与通信会话的其他参与者共享。根据确定在第一用户在第一物理环境中的第一移动期间第一显示生成部件处于第一取向(例如，与第一用户界面的空间模式相关联的取向)，根据第一用户在第一物理环境中的第一移动来更新第二用户界面中示出的相应三维环境的视图(例如，基于相应三维环境的AR视图或VR视图)中第一用户的表示的位置。例如，当参与者使用沉浸式共现模式或非沉浸模式的空间模式参与通信会话时，根据参与者在他们自己的物理环境中的移动来确定和更新图7V至图7X中的第一三维环境7207中的参与者的虚拟位置。在一些实施方案中，根据确定在第一用户在第一物理环境中的第一移动期间第一显示生成部件处于第二取向(例如，与非空间模式诸如展示模式相关联的取向)，独立于第一用户在第一物理环境中的第一移动来保持第二用户界面中示出的相应三维环境的AR视图或VR视图中的第一用户的表示的位置。根据第一用户在第一物理环境中的第一移动并且根据确定第一显示生成部件在第一用户的第一移动期间处于第一取向来更新第一用户的表示在三维环境的视图中的位置向用户提供了改进的视觉反馈(例如，关于第一用户的移动和第一显示生成部件的取向)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，经由第一显示生成部件显示第一用户与第二用户之间的通信会话的第一用户界面包括：根据确定第一显示生成部件处于第一取向(例如，与第一用户界面的空间模式相关联的取向)，第一计算机系统在相应三维环境的第一视图中显示第二用户的表示，其中相应三维环境的第一视图包括第一物理环境的表示，并且以与第一物理环境的表示的预设空间关系在相应三维环境的第一视图中的位置处显示第二用户的表示。例如，如图7V至图7W所示，根据一些实施方案，当第一通信会话的第一用户界面以空间模式显示时，第一计算机系统101-t显示包括物理环境101的表示的第一三维环境7207的视图7106，并且其中第一三维环境中第二用户与物理环境101的表示之间的空间关系被可视地指示在第一三维环境7207的视图7106中。在一些实施方案中，第一物理环境中的位置被映射到相应三维环境的第一视图中相应三维环境中的位置，使得第二用户的表示在相应三维环境中的位置在相应三维环境的第一视图中具有相对于第一物理环境的表示中的位置的对应位置。在一些实施方案中，根据确定第一显示生成部件处于第二取向，在任选地不包括第一物理环境的表示的虚拟环境中显示第二用户的表示，并且在第一用户界面中独立于第一物理环境的任何表示的位置处显示第二用户的表示。在一些实施方案中，显示第一用户界面的模式可使用在第一用户界面中提供的示能表示来手动地切换，并且不一定响应于第一显示生成部件的取向变化；并且在此类实施方案中，第二用户的表示的显示基于第一用户界面的显示模式，并且不一定基于第一显示生成部件的取向。根据确定第一显示生成部件处于第一取向而以与第一物理环境的表示的预设空间关系在相应三维环境的第一视图中的位置处显示第二用户的表示，向用户提供了改进的视觉反馈(例如，第一显示生成部件处于第一取向)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，经由第一显示生成部件显示第一用户与第二用户之间的第一通信会话的第一用户界面包括：根据确定第一显示生成部件处于第一取向(例如，与空间模式(例如，AR模式、VR模式等)相关联的取向)，在第一通信会话的第一用户界面中与相应三维环境的第一视图中的第一物理环境的表示不具有三维空间关系的相应位置处显示第一用户的表示(例如，第一用户的实时视频馈送的浮动窗口、第一用户的动画头像等)。例如，在图7V和图7W中，根据一些实施方案，当第一计算机系统正以空间模式显示第一通信会话的第一用户界面时，第一用户7200的自我视图7200”被显示为在第一三维环境的视图7106中浮动在物理环境100的表示上方(例如，未锚定到物理环境100的表示，并且未示出相对于物理环境100的表示的三维空间关系等)。在一些实施方案中，第一用户的自我视图被显示为覆盖视场的一部分的浮动图像或窗口，在该部分处，如果浮动图像或窗口未被显示在那里或已被移开，则物理环境的表示的一部分将是可见的。在一些实施方案中，根据确定第一显示生成部件处于第二取向(例如，与第一用户界面的非空间模式相关联的取向)，第一用户的表示被显示在第一用户界面中的预设位置处(例如，在第一用户界面的角落中、覆盖或替换相应三维环境的第一视图的一部分的显示等)。在一些实施方案中，显示第一用户界面的模式可使用在第一用户界面中提供的示能表示来手动地切换，并且不一定响应于第一显示生成部件的取向变化；并且在此类实施方案中，第一用户的表示的显示基于第一用户界面的显示模式，并且不一定基于第一显示生成部件的取向处于第一取向或第二取向。根据确定第一显示生成部件处于第一取向而在第一通信会话的第一用户界面中与相应三维环境的第一视图中的第一物理环境的表示不具有三维空间关系的相应位置处显示第一用户的表示，向用户提供了改进的视觉反馈(例如，第一显示生成部件处于第一取向)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，经由第一显示生成部件显示第一用户与第二用户之间的通信会话的第一用户界面包括：根据确定第一显示生成部件处于第一取向(例如，与第一用户界面的空间模式相关联的取向)，以相对于进入显示第二用户的表示的相应三维环境中的第一用户的模拟视点的至少第一深度差值量显示第二用户的表示(例如，深度差值包括从第二用户的表示的前面到后面的厚度或距离)；并且根据确定第一显示生成部件处于第二取向(例如，与第一用户界面的非空间模式相关联的取向)，以小于第一深度差值量(例如，平面二维表示，或者以与在第一显示生成部件处于第一取向的情况下显示的第二用户的表示相比更小的深度差值)显示第二用户的表示。例如，在图7V和图7W中，在第一用户界面的空间模式下显示的第二用户的表示7203’包括第二用户的三维或伪三维模型(例如，任选地在视图7106中旋转的模型)；而在图7X中，根据一些实施方案，在第一用户界面的非空间模式下显示的第二用户的表示7203’包括第二用户的二维图像(例如，在用户界面7110中不具有不同视角的平面图像)。根据确定第一显示生成部件处于第一取向而以相对于进入相应三维环境中的第一用户的模拟视点的至少第一深度差值量显示第二用户的表示，并且根据确定第一显示生成部件处于第二取向而以小于第一深度差值量显示第二用户的表示，向用户提供了改进的视觉反馈(例如，关于第一显示生成部件是处于第一取向还是第二取向)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，进入显示第二用户的表示的相应三维环境中的第一用户的模拟视点具有基于第一显示生成部件在第一物理环境中的垂直位置来确定(例如，由第一计算机系统、由通信会话的服务器等确定)的相应三维环境中的位置。例如，根据一些实施方案，图7V和图7W所示的视图7106的视点的虚拟高度、与以空间模式示出的第二用户的表示7203’和第三用户的表示7205’的视图相对应的虚拟相机的相机角度和相机高度根据物理环境100中的第一显示生成部件7100-t的高度来确定。基于第一显示生成部件在第一物理环境中的垂直位置来确定进入相应三维环境中的第一用户的模拟视点的位置减少了正确显示进入三维环境中的第一用户的模拟视点所需的输入数量(例如，用户不需要执行附加输入来调整或校准模拟视点)。减少执行操作所需的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第二用户所使用的第二显示生成部件显示第一通信会话的第二用户界面，并且其中第二用户界面显示包括第一计算机系统的设备类型的指示的第一用户的表示。例如，在图7V至图7X中，根据一些实施方案，当第一用户正在使用第一显示生成部件7100-t以非沉浸模式加入第一通信会话时，第二计算机系统在第一三维环境7207的其自己的视图中显示第一用户的表示，该表示指示第一用户7200将使用平板设备、台式计算机或移动电话以非沉浸模式加入或已加入第一通信，而不是使用头戴式设备以沉浸式共现模式加入或已加入第一通信。例如，在一些实施方案中，当正在请求或建立通信会话时，由第二显示生成部件显示第一用户的表示，并且该表示示出由第一用户用于通信会话的设备的类型的图像或名称，具体地，设备类型识别第一计算机系统是否将支持相应三维环境中的沉浸式体验(例如，与相应三维环境中的第二用户的共现)。在第一通信会话的第二用户界面中显示包括第一计算机系统的设备类型的指示的第一用户的表示向用户提供了改进的视觉反馈(例如，关于第一计算机系统的设备类型)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一显示生成部件的设备类型的指示是围绕第一用户的图像(例如，从第一计算机系统接收到的第一用户的实时视频馈送、第一用户的动画头像等)的帧。例如，在图7V至图7X中，根据一些实施方案，当第一用户正在使用第一显示生成部件7100-t以非沉浸模式加入第一通信会话时，第二计算机系统在第一三维环境的其自己的视图中显示第一用户的表示，该表示指示第一用户7200将使用平板设备、台式计算机或移动电话以非沉浸模式加入或已加入第一通信，而不是使用头戴式设备以沉浸式共现模式加入或已加入第一通信，其中第一用户的表示包括具有第一用户的图像的帧。在一些实施方案中，帧具有与第一计算机系统的设备类型(例如，移动电话、平板设备、台式计算机等)和/或第一显示生成部件的当前取向相对应的外观和/或取向。在一些实施方案中，帧的取向对应于第一显示生成部件在此时的取向(例如，第一取向、第二取向等)，该取向指示第一用户正在使用空间模式还是使用非空间模式参与通信会话。显示第一用户的表示(包括围绕第一用户的图像并指示第一计算机系统的设备类型的帧)向用户提供了改进的视觉反馈(例如，关于第一计算机系统的设备类型)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，帧的取向对应于第一显示生成部件在第一物理环境中的取向。例如，在图7V至图7X中，根据一些实施方案，当第一用户正在使用第一显示生成部件7100-t以非沉浸模式加入第一通信会话时，第二计算机系统在第一三维环境7207的其自己的视图中显示包括包围第一用户的图像的设备的图像的第一用户的表示，其中设备在设备的图像中的取向指示第一用户当前是正在使用空间模式还是非空间模式来参与第一通信会话。在一些实施方案中，帧的取向对应于第一显示生成部件在此时的取向(例如，第一取向、第二取向等)(例如，不随第一显示生成部件的变化取向实时改变，而是在离散取向状态之间切换)，这指示第一用户是正在使用空间模式(例如，当帧以与空间模式相关联的第一取向显示时)还是正在使用非空间模式(例如，当帧以与非空间模式相关联的第二取向显示时)参与通信会话。显示第一用户的表示(包括围绕与第一显示生成部件在第一物理环境中的取向相对应的第一用户的图像并指示第一计算机系统的设备类型的帧)向用户提供了改进的视觉反馈(例如，关于第一计算机系统的设备类型和第一计算机系统的取向)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
应当理解，对图15中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当注意，本文相对于本文所述的其他方法(例如，方法8000、9000、10000、11000、12000、13000、14000和16000)所述的其他过程的细节同样以类似的方式适用于上文相对于图15所述的方法15000。例如，以上参考方法15000描述的手势、注视输入、物理对象、用户界面对象、控件、移动、标准、三维环境、显示生成部件、表面、物理对象的表示、虚拟对象和/或动画任选地具有本文参考本文所述的其他方法(例如，方法8000、9000、10000、11000、12000、13000、14000和16000)所述的手势、注视输入、物理对象、用户界面对象、控件、移动、标准、三维环境、显示生成部件、表面、物理对象的表示、虚拟对象和/或动画的特征中的一个或多个特征。为了简明起见，此处不再重复这些细节。
图16是根据一些实施方案的响应于检测到指示第一用户将注意力转向第二用户的第一用户在物理环境中的移动而改变计算机生成内容的输出特性的方法16000的流程图。
在一些实施方案中，方法16000在计算机系统(例如，图1中的计算机系统101)处执行，该计算机系统包括第一显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户的手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法16000通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法16000中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在一些实施方案中，方法16000在计算机系统(例如，图1中的计算机系统101、相对于图7A至图7D、图7E至图7F、图7G至图7H、图7I至图7M、图7N至图7O、图7P至图7S、图7T至图7U和/或图7V至图7X描述的计算机系统101、相对于图7V至图7X描述的第一计算机系统101-t、相对于图7V至图7X描述的第二计算机系统等)处执行。在一些实施方案中，计算机系统与第一显示生成部件(例如，第一显示生成部件是平视显示器、头戴式显示器(HMD)、显示器、触摸屏、投影仪等)和一个或多个输入设备(例如，相机、控制器、触敏表面、操纵杆、按钮、手套、手表、运动传感器、取向传感器等)通信。在一些实施方案中，第一显示生成部件是相对于图7A至图7U和图7Y至图7Z描述的第一显示生成部件7100、相对于图7V至图7X描述的第一显示生成部件7100-t、相对于图7V至图7X描述的第二显示生成部件等。在一些实施方案中，第一计算机系统是集成设备，该集成设备具有包围在与第一显示生成部件和一个或多个输入设备中的至少一些输入设备相同的外壳中的一个或多个处理器和存储器。在一些实施方案中，计算机系统包括计算部件(例如，服务器，移动电子设备诸如智能电话或平板设备，可穿戴设备诸如手表、腕带或听筒，台式计算机，膝上型计算机等)，该计算部件包括与第一显示生成部件和/或一个或多个输入设备分开的一个或多个处理器和存储器。在一些实施方案中，第一显示生成部件以及一个或多个输入设备被集成并包围在相同外壳中。在一些实施方案中，第一音频输出部件被包围在与第一计算机系统和第一显示生成部件分开的外壳中。在一些实施方案中，第一音频输出部件被包围在与第一显示生成部件相同的外壳中，例如在头戴式设备中。在一些实施方案中，第一计算机系统和第一显示生成部件能够在三维环境(例如，增强现实环境、虚拟现实环境等)中提供沉浸式三维体验，但是可以被暂时限制为仅允许与通信会话中的另一用户的视频和音频通信。在一些实施方案中，第一计算机系统和第一显示生成部件不能够在三维环境中提供沉浸式三维体验。在一些实施方案中，在三维环境中提供沉浸式体验的计算机系统根据用户的头部相对于物理环境的旋转(例如，用户通常如何改变他/她在物理环境中的视点)来改变从其向计算机系统的用户呈现三维环境的视点。在一些实施方案中，尽管诸如平板设备或手持式设备之类的计算机系统可能能够在平板设备或手持式设备的显示器上提供进入物理环境的增强现实视图的视口，但是增强现实视图不是沉浸式的，因为用户的头部相对于计算机系统的显示器的旋转不会引起计算机系统更新增强现实视图的视点。类似地，尽管诸如平板设备或手持式设备之类的计算机系统可能能够在平板设备或手持式设备的显示器上提供进入虚拟三维环境的视口，但是三维环境的视图不是沉浸式的，因为用户的头部相对于计算机系统的显示器的旋转不会引起计算机系统更新虚拟三维环境的当前显示视图的视点。根据一些实施方案，相对于图7Y至图7Z描述了方法16000的特征中的许多特征。
在方法16000中，计算机系统呈现(16002)第一计算机生成内容(例如，与虚拟三维环境、增强现实环境、物理环境的透传视图、物理环境的相机视图等相关联的视频内容和/或音频内容)。如图7Y至图7Z所示，根据一些实施方案，计算机系统101呈现包括视觉内容7108和音频内容7350的计算机生成内容。在一些实施方案中，第一计算机生成内容包括视听内容，诸如视频内容、游戏内容等。在一些实施方案中，第一计算机生成内容包括视觉内容而无音频内容。在一些实施方案中，第一计算机生成内容包括音频内容而无视觉内容。在一些实施方案中，第一计算机生成内容的视觉内容具有三维中的空间特性。在一些实施方案中，第一计算机生成内容的音频内容具有三维中的空间特性(例如，空间音频、环绕声等)。在一些实施方案中，第一计算机生成内容的视觉内容具有仅二维中的空间特性。在一些实施方案中，第一计算机生成内容的音频内容具有空间特性，是立体声音频或单声道音频。
在方法16000中，在呈现第一计算机生成内容(例如，经由第一显示生成部件显示视觉内容、使用第一音频输出部件输出音频内容等)时，计算机系统检测(16004)处于感知第一计算机生成内容(例如，经由第一显示生成部件查看第一计算机生成内容的视觉内容、经由第一音频输出设备收听第一计算机生成内容的音频内容等)的适当位置的第一用户的第一移动(例如，第一用户佩戴着呈现第一计算机生成内容的HMD，第一用户处于显示第一计算机生成视觉内容的显示器前方并且佩戴着输出与第一计算机生成视觉内容相对应的计算机生成音频内容的耳机等)，其中第一用户的第一移动是在第一用户的物理环境中。例如，如图7Y至图7Z所示，根据一些实施方案，第一计算机系统检测第一用户7200在物理环境中相对于第二用户7201移动。在一些实施方案中，第一用户的第一移动改变在第一用户和第二用户的第一物理环境中第一用户与第二用户之间的空间关系。在一些实施方案中，第一移动改变计算机生成三维环境(例如，第一用户和第三用户是其参与者的通信会话的三维环境，或者第一用户和第三用户是其参与者的多玩家游戏或体验的三维环境等，其中第一计算机生成内容包括在通信会话、游戏或体验的虚拟现实或增强现实环境中提供的音频和视觉内容)中第一用户的表示与第三用户的表示之间的空间关系。
在方法16000中，响应于检测到第一用户在物理环境中的第一移动(16006)：根据确定第一用户在物理环境中的第一移动将物理环境中的第一用户与第二用户之间的空间关系从第一空间关系改变为第二空间关系并确定从第一空间关系到第二空间关系的空间关系变化满足第一标准(例如，用于检测第一用户朝向第二用户转动他/她的头部、在面向第二用户的同时朝向第二用户倾斜、朝向第二用户伸出手部等的标准)，第一计算机系统在呈现第一计算机生成内容的同时改变(16008)第一计算机生成内容的一个或多个输出特性(例如，减小虚拟内容的视觉显著性、降低计算机生成音频内容的音频音量、增加或增强物理环境的视觉透传、增加或增强来自物理环境的音频透传等)。例如，如图7Y至图7Z所示，第一计算机系统检测第一用户7200在物理环境中相对于第二用户7201移动，并且该移动对应于第一用户7200朝向第二用户7201倾斜，这指示第一用户将他/她的注意力转向第二用户；并且根据一些实施方案，作为响应，第一计算机系统改变音频内容7350的音频输出特性(例如，呈现音频内容7350的修改版本7350’)，同时继续呈现视觉内容7108。响应于检测到第一用户在物理环境中的第一移动(16006)：根据确定第一用户在物理环境中的第一移动将物理环境中的第一用户与第二用户之间的空间关系从第一空间关系改变为第二空间关系并确定从第一空间关系到第二空间关系的空间关系变化不满足第一标准(例如，用于检测第一用户朝向第二用户转动他/她的头部、在面向第二用户的同时朝向第二用户倾斜、朝向第二用户伸出手部等的标准)，计算机系统呈现第一计算机生成内容而不改变第一计算机生成内容的一个或多个输出特性(例如，呈现第一计算机生成内容而不减小虚拟内容的视觉显著性、降低计算机生成音频内容的音频音量、增加或增强物理环境的视觉透传、增加或增强来自物理环境的音频透传等)。例如，在图7Y至图7Z中，第一计算机系统检测第一用户7200在物理环境中相对于第二用户7201移动，并且该移动是否对应于第一用户7200远离第二用户7201倾斜，这指示第一用户没有将他/她的注意力转向第二用户；并且根据一些实施方案，作为响应，第一计算机系统在输出计算机生成内容时不改变音频内容7350的音频输出特性或视觉内容7108的视觉特性。响应于检测到第一用户在物理环境中相对于第二用户的移动而显示具有改变的输出特性的计算机生成内容允许第一用户感知物理环境，而不将第一用户完全从计算机生成体验中移除，并且不需要来自第一用户的特殊输入。在参与计算机生成体验时改善用户与物理环境的交互并且减少用于实现期望结果的输入数量增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，呈现第一计算机生成内容包括经由第一显示生成部件显示第一计算机生成内容的第一计算机生成视觉内容(例如，虚拟内容、增强现实内容、虚拟三维环境中的体验、混合现实环境中的体验、视频内容、游戏内容、通信会话的三维环境中的体验等)(任选地，连同经由第一音频输出设备输出第一计算机生成音频内容)。例如，如图7Y至图7Z所示，在一些实施方案中，由计算机系统101输出的第一计算机生成内容包括由第一显示生成部件7100输出的第一计算机生成视觉内容7108。经由第一显示生成部件显示第一计算机生成内容的第一计算机生成视觉内容向用户提供了改进的视觉反馈(例如，正在呈现第一计算机生成内容)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在呈现第一计算机生成内容的同时改变第一计算机生成内容的一个或多个输出特性包括减小第一计算机生成视觉内容的至少第一部分的视觉显著性(例如，增加透明度、停止显示、降低颜色饱和度、在虚拟内容中提供视觉透传区域等)以在经由第一显示生成部件提供的视场的第一区域中展现第二用户的相应表示，该第一区域先前被第一计算机生成视觉内容的至少第一部分占据。例如，在图7Z中，在一些实施方案中，计算机系统101任选地根据确定第一用户7200正朝向第二用户7201倾斜或另行以指示第一用户7200将注意力指向第二用户7201的方式改变物理环境中第一用户与第二用户之间的空间关系，随着第一显示生成部件7100输出第一计算机生成视觉内容7108，改变第一计算机生成视觉内容7108的输出特性。例如，在一些实施方案中，当第一用户朝向第二用户倾斜或转向第二用户等时，第一计算机系统使得在虚拟环境或增强现实环境的第一区域中呈现的虚拟内容更透明，或停止显示虚拟内容的该部分，以向第一用户示出先前被虚拟内容遮挡的第二用户的至少一部分的表示，而不需要第一用户从他的头部或面部移除第一显示生成部件。减小第一计算机生成视觉内容的至少第一部分的视觉显著性以在经由第一显示生成部件提供的先前被第一计算机生成视觉内容的至少第一部分占据的视场的第一区域中展现第二用户的相应表示，向用户提供了改进的视觉反馈(例如，通过将视觉注意力吸引到第一区域中新展现的第二用户的相应表示)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，呈现第一计算机生成内容包括经由第一音频输出部件输出第一计算机生成内容的第一计算机生成音频内容(例如，立体声音频、空间音频、单声道音频、环绕声、已利用噪声消除或其他修改来处理的音频、音轨、语音、音乐等)(任选地，连同经由第一显示生成部件显示第一计算机生成视觉内容)。例如，如图7Z所示，在一些实施方案中，计算机系统101任选地根据确定第一用户7200正朝向第二用户7201倾斜或另行以指示第一用户7200将注意力指向第二用户7201的方式改变物理环境中第一用户与第二用户之间的空间关系，随着第一音频输出部件7101输出第一计算机生成音频内容7350，改变第一计算机生成音频内容7350的输出特性(例如，改变为修改版本7350’)。经由第一音频输出部件输出第一计算机生成内容的第一计算机生成音频内容向用户提供了改进的音频反馈(例如，正在呈现第一计算机生成内容)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在呈现第一计算机生成内容的同时改变第一计算机生成内容的一个或多个输出特性包括相对于来自第一用户的物理环境的声音减小第一计算机生成音频内容的音频显著性(例如，通过减少噪声滤波或消除、降低第一计算机生成音频内容的音频音量、停止输出第一计算机生成音频内容、提高来自物理环境的声音等)。例如，如图7Z所示，根据一些实施方案，第一计算机生成音频内容的修改版本7350’包括与第一计算机生成内容相对应的音频内容的减小的音频显著性，以及对来自物理环境的声音的增加的透传或增强。在呈现第一计算机生成内容的同时改变第一计算机生成内容的一个或多个输出特性(包括减小第一计算机生成音频内容相对于来自第一用户的物理环境的声音的音频显著性)向用户提供了改进的视觉反馈(例如，第一用户的第一移动改变了第一用户与第二用户之间的空间关系，并且第一移动满足第一标准)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一计算机生成内容包括第一计算机生成视觉内容和伴随第一计算机生成视觉内容的第一计算机生成音频内容(例如，具有对应音轨的电影、具有对应音效的游戏、通信会话的虚拟或增强现实环境中的音频对话等)，并且其中在呈现第一计算机生成内容的同时改变第一计算机生成内容的一个或多个输出特性包括减小第一计算机生成视觉内容相对于第二用户的表示的视觉显著性，同时保持第一计算机生成音频内容相对于来自第一用户的物理环境的声音的音频显著性。例如，在一些实施方案中，在图7Z所示的场景中，计算机系统任选地保持音频内容7350的输出特性，同时减小视觉内容7108的视觉显著性(例如，增加物理环境的透传、降低视觉内容7108的不透明度、颜色饱和度等，等等)。例如，在一些实施方案中，当第一用户朝向第二用户倾斜或转向第二用户等时，第一计算机系统使得在虚拟环境或增强现实环境的第一区域中呈现的虚拟内容更透明，或停止显示虚拟内容的该部分，以向第一用户示出先前被虚拟内容遮挡的第二用户的至少一部分的表示，而不需要第一用户从他的头部或面部移除第一显示生成部件。同时，正常地呈现第一计算机生成内容的音频输出而不减小显著性(例如，不降低其音量、不减少所应用的噪声消除的量、不增加来自物理环境的音频透传等)。减小第一计算机生成视觉内容相对于第二用户的表示的视觉显著性，同时保持第一计算机生成音频内容相对于来自第一用户的物理环境的声音的音频显著性，其中第一计算机生成内容包括第一计算机生成视觉内容和第一计算机生成音频内容，保持了第一计算机生成音频内容的音频显著性，而不需要进一步的用户输入(例如，用于调整第一计算机生成音频内容的显著性的进一步输入)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性，这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，第一计算机生成内容包括第一计算机生成视觉内容和伴随第一计算机生成视觉内容的第一计算机生成音频内容(例如，具有对应音轨的电影、具有对应音效的游戏、通信会话的虚拟或增强现实环境中的音频对话等)，并且其中在呈现第一计算机生成内容的同时改变第一计算机生成内容的一个或多个输出特性包括减小第一计算机生成音频内容相对于来自第一用户的物理环境的声音的音频显著性，同时保持第一计算机生成视觉内容相对于第二用户的表示的视觉显著性(例如，同时保持第一计算机生成视觉内容的当前显示特性，而不增加物理环境的视觉透传等)。例如，如图7Z所示，根据一些实施方案，计算机系统任选地保持视觉内容7108的输出特性，同时减小音频内容7350的音频显著性(例如，减少噪声消除、增加来自物理环境的透传声音、降低音频内容7350的音量等)。例如，在一些实施方案中，当第一用户朝向第二用户倾斜或转向第二用户等时，第一计算机系统降低第一计算机生成内容的音频内容的音量或使其静音(或任选地通过第一音频输出部件增加或增强来自第二用户或来自物理环境的声音)，而不需要第一用户从他的耳朵移除第一音频输出部件。同时，正常地呈现第一计算机生成内容的视觉内容而不减小显著性(例如，不增加透明度、不创建或增加第一显示生成部件上的透传区域等)。减小第一计算机生成音频内容相对于第二用户的表示的音频显著性，同时保持第一计算机生成视觉内容相对于来自第一用户的物理环境的声音的视觉显著性，其中第一计算机生成内容包括第一计算机生成视觉内容和第一计算机生成音频内容，保持了第一计算机生成音频内容的音频显著性，而不需要进一步的用户输入(例如，用于调整第一计算机生成视觉内容的显著性的进一步输入)。在无需进一步的用户输入的情况下已满足一组条件时执行操作增强了设备的可操作性，这又通过使用户能够更快速并有效地使用设备而减少了电力使用并且改善了设备的电池寿命。
在一些实施方案中，第一标准要求连同语音(例如，第一用户的语音、第二用户的语音等)的检测一起检测到(例如，伴随有语音的检测、在语音的检测的预设时间量内检测到等)改变第一用户与第二用户之间的空间关系的第一移动，以便满足第一标准。例如，在图7Y至图7Z中，在一些实施方案中，第一用户7200朝向第二用户7201的移动的检测伴随有来自第一用户或第二用户的语音的检测，以便计算机系统改变经由第一显示生成部件7100和第一音频输出部件7101输出的计算机生成内容的输出特性。要求连同语音的检测一起检测到改变第一用户与第二用户之间的空间关系的第一用户在第一用户的物理环境中的第一移动提供了附加控件选项，但不会使具有附加显示的控件(例如，用于改变第一计算机生成内容的一个或多个输出特性的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一标准要求改变第一用户与第二用户之间的空间关系的第一移动包括第一用户转身面向第二用户。例如，在图7Y至图7Z中，在一些实施方案中，第一用户7200相对于第二用户7201的移动包括第一用户转身面向第二用户，以便计算机系统改变经由第一显示生成部件7100和第一音频输出部件7101输出的计算机生成内容的输出特性。在一些实施方案中，第一标准要求改变第一用户与第二用户之间的空间关系的第一移动包括第一用户朝向第二用户倾斜。在一些实施方案中，第一标准要求改变第一用户与第二用户之间的空间关系的第一移动包括第一用户转向第二用户并朝向第二用户倾斜以便满足第一标准。要求改变第一用户与第二用户之间的空间关系的第一用户在第一用户的物理环境中的第一移动包括第一用户转身面向第二用户以便首先满足第一标准提供了附加控件选项，但不会使具有附加显示的控件(例如，用于改变第一计算机生成内容的一个或多个输出特性的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一计算机生成内容包括第一计算机生成音频内容，并且其中在呈现第一计算机生成内容的同时改变第一计算机生成内容的一个或多个输出特性包括降低第一计算机生成音频内容中的第一频带子集的相应音量而不降低第一计算机生成音频内容中的第二频带子集的相应音量。例如，在图7Z中，在一些实施方案中，第一计算机生成音频内容7350的修改版本7350’包括第一计算机生成音频内容7350中的一些频率的音量的降低。例如，在一些实施方案中，根据确定第一用户的第一移动满足第一标准，在第一计算机生成音频内容中，环境声音被静音或降低音量，而语音声音被保持或不降低那么多。在一些实施方案中，根据确定第一用户的第一移动满足第一标准，在第一计算机生成音频内容中语音声音被静音或降低音量，而其他声音继续输出或不降低语音声音那么多。在一些实施方案中，标准语音频带中的声音降低，而其他频带中的声音不降低或不降低标准语音频带中的声音那么多。降低计算机生成音频内容中的语音的频带的音量允许第一用户更好地辨别来自第二用户的语音，即使当其他频带中的声音继续输出而没有音频显著性的减小或较低程度的减小时。降低第一计算机生成音频内容中的第一频带子集的相应音量而不降低第一计算机生成音频内容中的第二频带子集的相应音量向用户提供了改进的音频反馈(例如，通过降低环境声音而不降低语音声音)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于检测到第一用户在物理环境中的第一移动：根据确定第一用户在物理环境中的第一移动将物理环境中的第一用户与第二用户之间的空间关系从第一空间关系改变为第二空间关系并确定从第一空间关系到第二空间关系的空间关系变化满足第一标准(例如，用于检测第一用户朝向第二用户转动他/她的头部、在面向第二用户的同时朝向第二用户倾斜、朝向第二用户伸出手部等的标准)，计算机系统增强来自第一用户的物理环境的声音(例如，来自第二用户的语音声音、由第二用户控制的设备输出的声音等)。根据确定第一用户在物理环境中的第一移动将物理环境中的第一用户与第二用户之间的空间关系从第一空间关系改变为第二空间关系并确定从第一空间关系到第二空间关系的空间关系变化不满足第一标准(例如，用于检测第一用户朝向第二用户转动他/她的头部、在面向第二用户的同时朝向第二用户倾斜、朝向第二用户伸出手部等的标准)，计算机系统放弃增强来自第一用户的物理环境的声音(例如，来自第二用户的语音声音、由第二用户握持的设备输出的声音等)。例如，在图7Z中，在一些实施方案中，与第一计算机生成音频内容7350相比，第一计算机生成音频内容7350的修改版本7350’包括来自物理环境的声音的增强。根据确定第一用户在第一用户的物理环境中的第一移动将第一用户的物理环境中第一用户与第二用户之间的空间关系从第一空间关系改变为第二空间关系并确定从第一空间关系到第二空间关系的空间关系变化满足第一标准来增强来自第一用户的物理环境的声音，并且根据确定第一用户在第一用户的物理环境中的第一移动将第一用户的物理环境中第一用户与第二用户之间的空间关系从第一空间关系改变为第二空间关系并确定从第一空间关系到第二空间关系的空间关系变化不满足第一标准来放弃增强来自第一用户的物理环境的声音，提供了附加控件选项，但不会使具有附加显示的控件(例如，用于增强或放弃增强来自物理环境的声音的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当呈现第一计算机生成内容时(例如，当改变第一计算机生成内容的一个或多个输出特性时)，计算机系统检测来自第一用户的第一音频输入并且检测来自第二用户的第二音频输入(例如，第一用户和第二用户正在进行对话，而第一计算机生成内容的第一音频内容相对于来自物理环境的语音声音(例如，包括第一用户的语音和第二用户的语音两者)的显著性减小)。计算机系统根据第一三维环境的模拟声学特性来生成用于第一音频输入的第一虚拟音频混响，并且根据第一三维环境(例如，用于来自第一用户的音频输入和来自第二用户的音频输入两者的相同环境)的模拟声学特性来生成用于第二音频输入的第二虚拟音频混响。在一些实施方案中，第一三维环境是第一计算机生成内容的虚拟或增强现实环境。在一些实施方案中，第一虚拟音频混响和第二音频混响与第一音频输入和第二音频输入整合，并且经由第一音频输出部件输出给第一用户(例如，同时第一计算机生成内容的视觉内容继续经由第一显示生成部件显示)。例如，在图7Z中，根据一些实施方案，计算机生成音频内容的修改版本7350’任选地包括在物理环境中捕获的来自第一用户和第二用户的声音以及基于具有模拟声学特性的虚拟三维环境生成的来自物理环境的第一用户和/或第二用户的声音的虚拟音频混响。根据第一三维环境的模拟声学特性来生成用于第一音频输入的第一虚拟音频混响和用于第二音频输入的第二虚拟音频混响向用户提供了改进的音频反馈(例如，关于第一音频输入、第二音频输入和/或第一三维环境的特征)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一三维环境的模拟声学特性不同于第一用户的物理环境的实际声学特性。例如，在图7Z中，根据一些实施方案，计算机生成音频内容的修改版本7350’任选地包括在物理环境中捕获的来自第一用户和第二用户的声音以及基于具有模拟声学特性的虚拟三维环境生成的来自物理环境的第一用户和/或第二用户的声音的虚拟音频混响，其中模拟声学特性不同于围绕第一用户和第二用户的物理环境的实际声学特性。在一些实施方案中，第一计算机系统处理从物理环境接收到的语音和/或其他声音，抑制除来自第一用户和第二用户的语音输入之外的声音(例如，包括来自物理环境的音频混响和环境声音等)，基于第一三维环境(例如，虚拟三维环境)的模拟声学特性来生成语音输入的模拟音频混响，将语音输入与其模拟音频混响整合，并且经由第一音频输出部件将整合的声音输出给第一用户。在一些实施方案中，来自处于第一计算机生成内容的三维环境中的第三用户的语音声音经过与第二用户的语音输入类似的处理，并且经由第一音频输出部件输出给第一用户。这样，来自物理环境中的用户的语音以及来自虚拟环境中的用户的语音听起来更像来自共享相同空间(例如，通信会话的三维环境、三维多玩家游戏环境等)的用户。根据与第一用户的物理环境的实际声学特性不同的第一三维环境的模拟声学特性来生成用于第一音频输入的第一虚拟音频混响和用于第二音频输入的第二虚拟音频混响向用户提供了改进的音频反馈(例如，关于第一音频输入、第二音频输入和/或第一三维环境的特征)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，呈现第一计算机生成内容(例如，当第一计算机生成内容的一个或多个输出特性改变时，当第一计算机生成内容的一个或多个输出特性未改变时等)包括在第一用户与第三用户之间的通信会话中输出在第一用户与不同于第一用户和第二用户的第三用户之间共享的第二音频内容(例如，第一用户和第二用户参与通信会话，并且第一计算机生成内容包括具有第三用户的表示的三维AR或VR环境或虚拟环境，并且第一用户和第二用户已共享要在通信会话中播放的第二音频内容)，其中输出第二音频内容包括根据第一三维环境的模拟声学特性来为第二音频内容生成第三虚拟音频混响。例如，在图7Y至图7Z中，音频内容7350和经修改的音频内容7350任选地包括在通信会话中共享的音频内容；并且根据一些实施方案，当由第一音频输出部件7101输出时，共享的音频内容任选地包括基于具有模拟声学特性的虚拟三维环境来生成的虚拟音频混响。在一些实施方案中，在虚拟三维环境中，当在通信会话中输出共享的音频内容时，在通信会话的参与者的计算机系统之间共享模拟声学特性。在第一用户与第三用户之间的通信会话中输出不同于第一用户和第二用户的第二音频内容并且根据在第一用户与第三用户之间共享的第一三维环境的模拟声学特性来生成用于第二音频内容的第三虚拟音频混响向用户提供了改进的音频反馈(例如，关于第二音频内容和/或第一三维环境的特征)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一计算机生成内容包括第一计算机生成视觉内容，并且其中在呈现第一计算机生成内容的同时改变第一计算机生成内容的一个或多个输出特性包括改变第一计算机生成视觉内容的一个或多个显示特性。例如，在图7Z中，根据一些实施方案，根据确定第一用户7200相对于第二用户7201的移动指示第一用户正转向第二用户或以其他方式将他/她的注意力指向第二用户，计算机系统任选地输出视觉内容7108的修改版本。改变第一计算机生成视觉内容的一个或多个显示特性向用户提供了改进的视觉反馈(例如，根据第一用户的第一移动来改变一个或多个显示特性)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，改变第一计算机生成视觉内容的一个或多个显示特性包括增加第一用户的物理环境的表示的视觉显著性。例如，在图7Z中，根据一些实施方案，根据确定第一用户7200相对于第二用户7201的移动指示第一用户正转向第二用户或以其他方式将他/她的注意力指向第二用户，计算机系统任选地输出视觉内容7108的修改版本，其中输出视觉内容7108的修改版本包括减少对显示生成部件7100的透明部分或物理环境的表示的相机视图所应用的变暗或模糊的量。在改变第一计算机生成视觉内容的一个或多个显示特性时增加第一用户的物理环境的表示的视觉显著性向用户提供了改进的视觉反馈(例如，视觉显著性根据第一用户的第一移动而增加)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，改变第一计算机生成视觉内容的一个或多个显示特性包括降低由第一计算机生成视觉内容提供的沉浸水平(例如，增加物理环境的表示的透传，应用视觉效果以基于相对于第一计算机生成视觉内容的当前显示视图的视点位于与虚拟内容的相应区域相对应的位置后面的物理环境的部分的外观来改变虚拟内容的相应区域中的虚拟内容的外观)。例如，在图7Z中，根据一些实施方案，根据确定第一用户7200相对于第二用户7201的移动指示第一用户正转向第二用户或以其他方式将他/她的注意力指向第二用户，计算机系统任选地输出视觉内容7108的修改版本，其中输出视觉内容7108的修改版本包括减少对显示生成部件7100的透明部分或物理环境的表示的相机视图所应用的变暗和/或模糊的量。例如，闪烁视觉效果、光透过模拟有色玻璃的透射、涟漪效果等应用于虚拟内容的至少一部分，使得虚拟内容的该部分基于位于虚拟内容的该部分后面的物理环境的表示的外观来改变其外观。这样，第一计算机系统传达物理环境的外观，例如第二用户的轮廓、颜色、尺寸、形状等，而不停止显示第一计算机生成内容的第一视觉内容。在改变第一计算机生成视觉内容的一个或多个显示特性时降低由第一计算机生成视觉内容提供的沉浸水平向用户提供了改进的视觉反馈(例如，沉浸水平根据第一用户的第一移动而降低)。提供改进的反馈增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当呈现第一计算机生成内容时，计算机系统检测第二用户的第二移动，该第二移动将物理环境中的第一用户与第二用户之间的空间关系从第三空间关系改变为第四空间关系。响应于检测到第二用户的第二移动：根据确定从第三空间关系到第四空间关系的空间关系变化满足第二标准(例如，用于检测第二用户朝向第一用户转动他/她的头部、在面向第一用户的同时朝向第一用户倾斜、朝向第一用户伸出手部等的标准)，计算机系统在呈现第一计算机生成内容的同时改变第一计算机生成内容的一个或多个输出特性；并且根据确定从第三空间关系到第四空间关系的空间关系变化不满足第二标准，计算机系统呈现第一计算机生成内容而不改变第一计算机生成内容的一个或多个输出特性。例如，在图7Z中，根据一些实施方案，如果计算机系统检测到第二用户7201正以指示第二用户希望获得第一用户的注意力的方式朝向第一用户7200倾斜，则计算机系统任选地以与计算机系统检测到第一用户相对于第二用户的这种移动类似的方式修改计算机生成内容(例如，视觉内容7350和/或视觉内容7108)的输出特性。根据确定从第三空间关系到第四空间关系的空间关系变化满足第二标准来在呈现第一计算机生成内容的同时改变第一计算机生成内容的一个或多个输出特性，并且根据确定从第三空间关系到第四空间关系的空间关系变化不满足第二标准来呈现第一计算机生成内容而在不改变第一计算机生成内容的一个或多个输出特性，提供了附加控件选项，但不会使具有附加显示的控件(例如，与第一标准和第二标准相对应的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第一计算机生成内容包括由第一用户和第三用户共享的三维环境(例如，VR环境、AR环境等)的视图，并且其中三维环境的视图包括指示第三用户在三维环境中相对于第一用户的空间定位的第三用户的表示(例如，第一用户和第三用户是三维环境中的共现体验的参与者)。在一些实施方案中，当第一用户和第三用户参与三维环境中的共享体验时，第二用户不需要在场。响应于检测到第一用户在物理环境中的第一移动：根据确定第一用户在物理环境中的第一移动将三维环境中的第一用户的相应表示与第三用户的相应表示之间的空间关系从第五空间关系改变为第六空间关系并确定从第五空间关系到第六空间关系的空间关系变化满足第三标准(例如，用于检测第一用户将他/她的头部转向与第三用户的表示相对应的位置、在面向第三用户的表示的同时朝向与第三用户的表示相对应的位置倾斜、朝向与第三用户的表示相对应的位置伸出手部等的标准)，计算机系统在呈现第一计算机生成内容(例如，在三维环境中共享的视频、来自不同于第一用户和第三用户的其他参与者的语音等)的同时改变第一计算机生成内容的一个或多个输出特性(例如，减小共享虚拟内容(例如，共享视频、三维环境中的其他声音)的视觉显著性、降低与第三用户无关的计算机生成音频内容中的一些计算机生成音频内容的音频音量、增加或增强第三用户的表示、增加或增强来自第三用户的声音等)。根据确定第一用户在物理环境中的第一移动将三维环境中的第一用户的相应表示与第三用户的相应表示之间的空间关系从第五空间关系改变为第六空间关系并确定从第一空间关系到第二空间关系的空间关系变化不满足第三标准(例如，用于检测第一用户将他/她的头部转向与第三用户的表示相对应的位置、在面向第三用户的表示的同时朝向与第三用户的表示相对应的位置倾斜、朝向与第三用户的表示相对应的位置伸出手部等的标准)，计算机系统呈现第一计算机生成内容而不改变第一计算机生成内容的一个或多个输出特性(例如，呈现第一计算机生成内容而不减小共享虚拟内容(例如，共享视频、三维环境中的其他声音)的视觉显著性、不降低与第三用户无关的计算机生成音频内容中的一些计算机生成音频内容的音频音量、不增加或增强第三用户的表示、不增加或增强来自第三用户的声音等)。例如，在图7Z中，如果第一计算机生成内容是与第三用户的通信会话的虚拟或增强现实环境，并且音频内容7350包括并非来自第三用户(例如，来自在通信会话中播放的共享内容项、来自通信会话的其他参与者等)的声音，并且计算机系统检测第一用户在物理环境中的移动，该移动对应于虚拟或增强现实环境中以指示第一用户的注意力指向第三用户的方式朝向第三用户的表示的移动；根据一些实施方案，作为响应，计算机系统任选地修改通信会话中并非来自第三用户的声音以相对于来自第三用户的声音降低这些声音的音频显著性，并且任选地增强来自第三用户的声音以相对于通信会话中的其他声音增加该声音的音频显著性。根据确定第一用户在第一用户的物理环境中的第一移动将三维环境中的第一用户的相应表示与第三用户的相应表示之间的空间关系从第五空间关系改变为第六空间关系并确定从第五空间关系到第六空间关系的空间关系变化满足第三标准来在呈现第一计算机生成内容的同时改变第一计算机生成内容的一个或多个输出特性，并且根据确定第一用户在第一用户的物理环境中的第一移动将三维环境中的第一用户的相应表示与第三用户的相应表示之间的空间关系从第五空间关系改变为第六空间关系并确定从第一空间关系到第二空间关系的空间关系变化不满足第三标准来呈现第一计算机生成内容而不改变第一计算机生成内容的一个或多个输出特性，提供了附加控件选项，但不会使具有附加显示的控件(例如，与第三标准相对应的附加显示的控件)的UI混乱。提供附加控件选项但不会使具有附加显示的控件的UI混乱增强了设备的可操作性，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
应当理解，对图16中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当注意，本文相对于本文所述的其他方法(例如，方法8000、9000、10000、11000、12000、13000、14000和15000)所述的其他过程的细节同样以类似的方式适用于上文相对于图16所述的方法14000。例如，以上参考方法16000描述的手势、注视输入、物理对象、用户界面对象、控件、移动、标准、三维环境、显示生成部件、表面、物理对象的表示、虚拟对象和/或动画任选地具有本文参考本文所述的其他方法(例如，方法8000、9000、10000、11000、12000、13000、14000和15000)所述的手势、注视输入、物理对象、用户界面对象、控件、移动、标准、三维环境、显示生成部件、表面、物理对象的表示、虚拟对象和/或动画的特征中的一个或多个特征。为了简明起见，此处不再重复这些细节。
上文参考图8、图9、图10、图11、图12、图13、图14、图15和图16所述的操作任选地由图1至图6所描绘的部件来实现。在一些实施方案中，方法8000、9000、10000、11000、12000、13000、14000、15000和16000的方面/操作可在这些方法之间互换、替换和/或添加。为了简明起见，此处不再重复这些细节。
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。
如上文所述，本发明技术的一个方面在于采集并使用得自各种来源的数据，以改善用户的XR体验。本公开预期，在一些实例中，这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可以包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、推特ID、家庭地址、与用户的健康或健身水平有关的数据或记录(例如，生命体征测量、药物信息、锻炼信息)、出生日期或任何其他识别或个人信息。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于改善用户的XR体验。此外，本公开还预期个人信息数据有益于用户的其他用途。例如，健康和健身数据可用于向用户的总体健康状况提供见解，或者可用作使用技术来追求健康目标的个人的积极反馈。
本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类政策应该能被用户方便地访问，并应随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。此外，应在收到用户知情同意后进行此类采集/共享。另外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。另外，应当调整政策和实践，以便采集和/或访问的特定类型的个人信息数据，并适用于包括管辖范围的具体考虑的适用法律和标准。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(HIPAA)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此，在每个国家应为不同的个人数据类型保持不同的隐私实践。
不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就XR体验而言，本发明技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。又如，用户可选择不提供用于服务定制的数据。再如，用户可选择限制保持数据的时间长度或者完全禁止定制服务的开发。除了提供“选择加入”和“选择退出”选项外，本公开还设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。
此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据收集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用程序中，数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户之间聚合数据)、和/或其他方法来促进去标识。
因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可通过基于非个人信息数据或绝对最低限度量的个人信息(诸如，与用户相关联的设备所请求的内容、对服务可用的其他非个人信息、或可公开获得的信息)推断偏好来生成XR体验。
Claims (13)
1.一种方法，包括：
在与第一显示生成部件和一个或多个输入设备通信的计算机系统处：
经由所述第一显示生成部件显示三维环境的第一视图，包括至少显示在所述三维环境中的第一位置处的第一用户界面对象以及在所述三维环境中的不同于所述第一位置的第二位置处的第二用户界面对象；
在经由所述第一显示生成部件显示所述三维环境的所述第一视图时，检测指向与所述三维环境中的所述第一位置相对应的所述三维环境中的第一区域的第一注视输入；以及
在检测指向所述三维环境中的所述第一区域的所述第一注视输入时，检测满足第一手势标准的手部的第一移动；以及
响应于在检测到指向所述三维环境中的所述第一区域的所述第一注视输入时检测到满足所述第一手势标准的所述手部的所述第一移动：
根据确定在已满足第一注视标准之后检测到满足所述第一手势标准的所述手部的所述第一移动，在所述第一用户界面对象与所述第二用户界面对象之间选择所述第一用户界面对象，其中第一注视标准要求所述第一注视输入在所述第一区域处保持至少第一预设时间量以便满足所述第一注视标准；以及
根据确定在已满足所述第一注视标准之前检测到满足所述第一手势标准的所述手部的所述第一移动，放弃对所述第一用户界面对象的选择。
2.根据权利要求1所述的方法，其中选择所述第一用户界面对象包括执行与所述第一用户界面对象相对应的第一操作。
3.根据权利要求1所述的方法，包括：
当所述第一用户界面对象保持被选择时，检测满足预设标准的第一用户输入，所述预设标准用于在所述第一用户界面对象或所述第二用户界面对象中的相应一者被选择时激活所述第一用户界面对象和所述第二用户界面对象中的所述相应一者；以及
响应于检测到所述第一用户输入，执行与所述第一用户界面对象相对应的第一操作。
4.根据权利要求1至3中任一项所述的方法，包括：
在与所述第一注视输入的当前位置相对应的所述三维环境中的相应位置处显示位置指示符，其中在所述三维环境中的所述第一区域处检测到所述第一注视输入之前以及在所述三维环境中的所述第一区域处检测到所述第一注视输入时，根据所述第一注视输入的移动来更新所述位置指示符的所述相应位置。
5.根据权利要求1至3中任一项所述的方法，其中：
满足所述第一手势标准的所述手部的所述第一移动包括将所述手部的两根或更多根手指捏合在一起并且在所述两根或更多根手指捏合在一起时移动所述手部，并且
响应于检测到在所述两根或更多根手指捏合在一起时所述手部的所述移动，根据确定所述第一用户界面对象已被选择，根据在所述两根或更多根手指捏合在一起时所述手部的所述移动来滚动在所述第一用户界面对象内显示的内容。
6.根据权利要求1至3中任一项所述的方法，其中：
满足所述第一手势标准的所述手部的所述第一移动包括将所述手部的两根或更多根手指捏合在一起并且在所述两根或更多根手指捏合在一起时移动所述手部，并且
响应于检测到在所述两根或更多根手指捏合在一起时所述手部的所述移动，根据确定所述第一用户界面对象已被选择，根据在所述手部的所述两根或更多根手指捏合在一起时所述手部的所述移动来在所述三维环境中移动所述第一用户界面对象。
7.根据权利要求1至3中任一项所述的方法，其中能够响应于所述手部的所述第一移动而满足所述第一手势标准，而不论所述手部的所述第一移动是否发生在与所述三维环境的所述第一区域相对应的物理环境的区域中。
8.根据权利要求1至3中任一项所述的方法，包括：
响应于检测到指向所述三维环境中的所述第一区域的所述第一注视输入，改变在所述三维环境中的所述第一位置处的所述第一用户界面对象的第一视觉特性的值。
9.根据权利要求1至3中任一项所述的方法，包括：
响应于检测到指向所述三维环境中的所述第一区域的所述第一注视输入：
根据确定所述第一注视输入满足所述第一注视标准，改变在所述三维环境中的所述第一位置处的所述第一用户界面对象的第一视觉特性的值；以及
根据确定所述第一注视输入不满足所述第一注视标准，放弃改变所述三维环境中的所述第一用户界面对象的所述第一视觉特性的所述值。
10.根据权利要求1至3中任一项所述的方法，包括：
响应于在检测到指向所述三维环境中的所述第一区域的所述第一注视输入时检测到满足所述第一手势标准的所述手部的所述第一移动：
根据确定在检测到所述第一注视输入时检测到满足所述第一手势标准的所述手部的所述第一移动，改变所述三维环境中的所述第一位置处的所述第一用户界面对象的第一视觉特性的值。
11.根据权利要求1至3中任一项所述的方法，包括：
根据确定所述第一手势标准和所述第一注视标准都被满足，在所述三维环境中提供第一视觉反馈；以及
根据确定所述第一手势标准被满足且所述第一注视标准未被满足，在所述三维环境中提供第二视觉反馈，所述第二视觉效果不同于所述第一视觉效果。
12.一种计算机系统，包括：
第一显示生成部件；
一个或多个输入设备；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至11中任一项所述的方法的指令。
13.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括第一显示生成部件和一个或多个输入设备的计算机系统执行时，使得所述计算机系统执行根据权利要求1至11中任一项所述的方法。
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163133742P | 2021-01-04 | 2021-01-04 | |
| US63/133,742 | 2021-01-04 | ||
| US17/563,864 | 2021-12-28 | ||
| US17/563,864 US11954242B2 (en) | 2021-01-04 | 2021-12-28 | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
| PCT/US2021/065537 WO2022147146A1 (en) | 2021-01-04 | 2021-12-29 | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
| CN202180095195.0A CN117043713A (zh) | 2021-01-04 | 2021-12-29 | 用于与三维环境进行交互的设备、方法和图形用户界面 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180095195.0A Division CN117043713A (zh) | 2021-01-04 | 2021-12-29 | 用于与三维环境进行交互的设备、方法和图形用户界面 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117724630A true CN117724630A (zh) | 2024-03-19 |
Family
ID=82218608
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311747041.2A Pending CN117724630A (zh) | 2021-01-04 | 2021-12-29 | 用于与三维环境进行交互的设备、方法和图形用户界面 |
| CN202180095195.0A Pending CN117043713A (zh) | 2021-01-04 | 2021-12-29 | 用于与三维环境进行交互的设备、方法和图形用户界面 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180095195.0A Pending CN117043713A (zh) | 2021-01-04 | 2021-12-29 | 用于与三维环境进行交互的设备、方法和图形用户界面 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11954242B2 (zh) |
| EP (1) | EP4256422A1 (zh) |
| CN (2) | CN117724630A (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018156809A1 (en) * | 2017-02-24 | 2018-08-30 | Masimo Corporation | Augmented reality system for displaying patient data |
| KR102567007B1 (ko) | 2017-02-24 | 2023-08-16 | 마시모 코오퍼레이션 | 의료 모니터링 데이터 표시 시스템 |
| JP2021144064A (ja) * | 2018-06-06 | 2021-09-24 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
| WO2020213088A1 (ja) * | 2019-04-17 | 2020-10-22 | 楽天株式会社 | 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 |
| WO2021132013A1 (ja) * | 2019-12-27 | 2021-07-01 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
| US11562528B2 (en) | 2020-09-25 | 2023-01-24 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
| US11644890B2 (en) * | 2021-02-11 | 2023-05-09 | Qualcomm Incorporated | Image capturing in extended reality environments |
| US11689696B2 (en) * | 2021-03-30 | 2023-06-27 | Snap Inc. | Configuring participant video feeds within a virtual conferencing system |
| US20220345591A1 (en) * | 2021-04-22 | 2022-10-27 | David Shau | Underwater Camera Operations |
| KR20230035209A (ko) * | 2021-08-30 | 2023-03-13 | 소프트뱅크 가부시키가이샤 | 전자기기 및 프로그램 |
| US20230085330A1 (en) * | 2021-09-15 | 2023-03-16 | Neural Lab, Inc. | Touchless image-based input interface |
| WO2023091525A1 (en) * | 2021-11-19 | 2023-05-25 | Apple Inc. | Intention-based user interface control for electronic devices |
| US20230205737A1 (en) * | 2021-12-29 | 2023-06-29 | Microsoft Technology Licensing, Llc | Enhance control of communication sessions |
| US11798204B2 (en) * | 2022-03-02 | 2023-10-24 | Qualcomm Incorporated | Systems and methods of image processing based on gaze detection |
| US20230300250A1 (en) * | 2022-03-16 | 2023-09-21 | Lenovo | Selectively providing audio to some but not all virtual conference participants reprsented in a same virtual space |
| US20240098359A1 (en) * | 2022-09-19 | 2024-03-21 | Lenovo (United States) Inc. | Gesture control during video capture |
| WO2024064373A1 (en) * | 2022-09-23 | 2024-03-28 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with window controls in three-dimensional environments |
| WO2024077227A1 (en) * | 2022-10-07 | 2024-04-11 | Nagravision Sàrl | Rights management in an extended reality environment |
| EP4357884A1 (en) * | 2022-10-19 | 2024-04-24 | Koninklijke Philips N.V. | Controlling vr/ar headsets |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002073246A (ja) * | 2000-08-25 | 2002-03-12 | Minolta Co Ltd | 映像表示システム |
| JP5431473B2 (ja) | 2009-06-18 | 2014-03-05 | パイオニア株式会社 | 情報表示装置 |
| JP2012155655A (ja) | 2011-01-28 | 2012-08-16 | Sony Corp | 情報処理装置、報知方法及びプログラム |
| US20120257035A1 (en) | 2011-04-08 | 2012-10-11 | Sony Computer Entertainment Inc. | Systems and methods for providing feedback by tracking user gaze and gestures |
| JP5817973B2 (ja) | 2011-07-15 | 2015-11-18 | コニカミノルタ株式会社 | 表示制御装置、及び情報処理装置、画像処理装置 |
| US9854014B2 (en) | 2013-03-14 | 2017-12-26 | Google Inc. | Motion data sharing |
| US9244527B2 (en) | 2013-03-26 | 2016-01-26 | Volkswagen Ag | System, components and methodologies for gaze dependent gesture input control |
| KR20140126492A (ko) | 2013-04-23 | 2014-10-31 | 엘지전자 주식회사 | 인덱스 디스플레이 영역을 포함하는 포터블 디바이스 및 그 제어 방법 |
| WO2016098519A1 (ja) | 2014-12-17 | 2016-06-23 | コニカミノルタ株式会社 | 電子機器、電子機器の制御方法及びその制御プログラム |
| KR102641655B1 (ko) | 2015-10-20 | 2024-02-27 | 매직 립, 인코포레이티드 | 3차원 공간에서 가상 객체들 선택 |
| US10250720B2 (en) | 2016-05-05 | 2019-04-02 | Google Llc | Sharing in an augmented and/or virtual reality environment |
| US9864431B2 (en) | 2016-05-11 | 2018-01-09 | Microsoft Technology Licensing, Llc | Changing an application state using neurological data |
| DK201670574A1 (en) | 2016-06-12 | 2018-01-02 | Apple Inc | Accelerated scrolling |
| KR102581359B1 (ko) | 2016-09-02 | 2023-09-20 | 엘지전자 주식회사 | 차량용 사용자 인터페이스 장치 및 차량 |
| EP3361352B1 (en) | 2017-02-08 | 2019-06-05 | Alpine Electronics, Inc. | Graphical user interface system and method, particularly for use in a vehicle |
| US10481755B1 (en) | 2017-04-28 | 2019-11-19 | Meta View, Inc. | Systems and methods to present virtual content in an interactive space |
| CN111279292B (zh) | 2017-09-29 | 2022-06-14 | 苹果公司 | 检测物理边界 |
| US10706630B2 (en) | 2018-08-13 | 2020-07-07 | Inspirium Laboratories LLC | Augmented reality user interface including dual representation of physical location |
| US11592896B2 (en) | 2018-11-07 | 2023-02-28 | Wild Technology, Inc. | Technological infrastructure for enabling multi-user collaboration in a virtual reality environment |
| US10890983B2 (en) | 2019-06-07 | 2021-01-12 | Facebook Technologies, Llc | Artificial reality system having a sliding menu |
| US11096006B1 (en) * | 2019-11-04 | 2021-08-17 | Facebook Technologies, Llc | Dynamic speech directivity reproduction |
| US11443650B2 (en) | 2019-11-25 | 2022-09-13 | Kwangwoon University Industry-Academic Collaboration Foundation | Method and apparatus for VR training |
| US20220091722A1 (en) | 2020-09-23 | 2022-03-24 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
| US11562528B2 (en) | 2020-09-25 | 2023-01-24 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
-
2021
- 2021-12-28 US US17/563,864 patent/US11954242B2/en active Active
- 2021-12-29 CN CN202311747041.2A patent/CN117724630A/zh active Pending
- 2021-12-29 CN CN202180095195.0A patent/CN117043713A/zh active Pending
- 2021-12-29 EP EP21854915.2A patent/EP4256422A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN117043713A (zh) | 2023-11-10 |
| EP4256422A1 (en) | 2023-10-11 |
| US20220214743A1 (en) | 2022-07-07 |
| US11954242B2 (en) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11954242B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| US11340756B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| US11875013B2 (en) | Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments | |
| US20210097776A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
| CN115718537A (zh) | 用于提供计算机生成的体验的设备、方法和图形用户界面 | |
| CN117032519A (zh) | 用于与三维环境进行交互的设备、方法和图形用户界面 | |
| US11567625B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| WO2022147146A1 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| US11934569B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| US20230343049A1 (en) | Obstructed objects in a three-dimensional environment | |
| US20230315247A1 (en) | Devices, Methods, and Graphical User Interfaces for Accessing System Functions of Computer Systems While Displaying Three-Dimensional Environments | |
| US20230252737A1 (en) | Devices, methods, and graphical user interfaces for interacting with virtual objects using hand gestures | |
| US20230106627A1 (en) | Devices, Methods, And Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
| US20240104860A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
| US20240152244A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
| US20230152935A1 (en) | Devices, methods, and graphical user interfaces for presenting virtual objects in virtual environments | |
| CN117999534A (zh) | 用于与三维环境进行交互的设备、方法和图形用户界面 | |
| CN118043766A (zh) | 用于与三维环境进行交互的设备、方法和图形用户界面 | |
| WO2024064016A1 (en) | Devices, methods, and user interfaces for gesture-based interactions | |
| WO2024064230A1 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |