CN116868152A - 用于在三维环境中呈现化身的界面 - Google Patents
用于在三维环境中呈现化身的界面 Download PDFInfo
- Publication number
- CN116868152A CN116868152A CN202280015249.2A CN202280015249A CN116868152A CN 116868152 A CN116868152 A CN 116868152A CN 202280015249 A CN202280015249 A CN 202280015249A CN 116868152 A CN116868152 A CN 116868152A
- Authority
- CN
- China
- Prior art keywords
- user
- representation
- computer system
- display
- augmented reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title description 28
- 230000000007 visual effect Effects 0.000 claims abstract description 271
- 238000000034 method Methods 0.000 claims description 266
- 230000003190 augmentative effect Effects 0.000 claims description 237
- 230000033001 locomotion Effects 0.000 claims description 186
- 239000011521 glass Substances 0.000 claims description 115
- 210000001508 eye Anatomy 0.000 claims description 96
- 230000001815 facial effect Effects 0.000 claims description 85
- 230000004044 response Effects 0.000 claims description 80
- 230000008569 process Effects 0.000 claims description 74
- 238000004891 communication Methods 0.000 claims description 72
- 210000003128 head Anatomy 0.000 claims description 71
- 230000008921 facial expression Effects 0.000 claims description 53
- 230000008859 change Effects 0.000 claims description 51
- 239000002245 particle Substances 0.000 claims description 46
- 230000000694 effects Effects 0.000 claims description 33
- 239000003086 colorant Substances 0.000 claims description 25
- 230000002093 peripheral effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000014509 gene expression Effects 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 4
- 210000003811 finger Anatomy 0.000 description 59
- 210000004247 hand Anatomy 0.000 description 18
- 230000003993 interaction Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 210000001747 pupil Anatomy 0.000 description 9
- 230000001953 sensory effect Effects 0.000 description 9
- 210000000245 forearm Anatomy 0.000 description 8
- 230000036541 health Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 210000004209 hair Anatomy 0.000 description 7
- 230000000670 limiting effect Effects 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000004313 glare Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- -1 802.3x Chemical compound 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 241000282472 Canis lupus familiaris Species 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013503 de-identification Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 210000002411 hand bone Anatomy 0.000 description 2
- 238000003706 image smoothing Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 230000010349 pulsation Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 235000019642 color hue Nutrition 0.000 description 1
- 239000002772 conduction electron Substances 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 230000001339 gustatory effect Effects 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 235000019615 sensations Nutrition 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000009528 vital sign measurement Methods 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
在一些实施方案中，计算机系统显示用于登记计算机系统的用户的一个或多个特征的用户界面。在一些实施方案中，计算机系统在XR环境中显示与虚拟化身相关联的视觉效果。在一些实施方案中，计算机系统在XR环境中显示具有不同视觉特性的对象。在一些实施方案中，计算机系统在与XR环境中表示的用户相关联的不同呈现模式之间切换。在一些实施方案中，计算机系统在XR环境中显示虚拟化身。
Description
相关申请的交叉引用
本申请要求于2021年2月16日提交的名称为“INTERFACES FOR PRESENTINGAVATARS IN THREE-DIMENSIONAL ENVIRONMENTS”的美国临时申请63/149,989号和于2022年2月8日提交的名称为“INTERFACES FOR PRESENTING AVATARS IN THREE-DIMENSIONALENVIRONMENTS”的美国申请17/667,350号的优先权，这些申请中的每个申请的内容据此全文以引用方式并入本文。
技术领域
本公开整体涉及与显示生成部件并且任选地与提供计算机生成的体验的一个或多个输入设备通信的计算机系统，这些输入设备包括但不限于经由显示器提供虚拟现实和混合现实体验的电子设备。
背景技术
近年来，用于增强现实的计算机系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例性虚拟元素包括诸如数字图像、视频、文本、图标和控制元素(诸如按钮和其他图形)的虚拟对象。
发明内容
用于与包括至少一些虚拟元素的环境(例如，应用程序、增强现实环境、混合现实环境和虚拟现实环境)进行交互的一些方法和界面是麻烦、低效并且受限的。例如，提供用于执行与虚拟对象相关联的动作的不足反馈的系统、需要一系列输入来在增强现实环境中实现期望结果的系统，以及虚拟对象操纵复杂、繁琐且容易出错的系统，会给用户造成巨大的认知负担，并且减损虚拟/增强现实环境的体验感。此外，这些方法花费的时间比必要的要长，从而浪费了计算机系统的能量。这后一考虑在电池驱动的设备中是特别重要的。
因此，需要具有改进的方法和界面的计算机系统来向用户提供计算机生成的体验，从而使得用户与计算机系统的交互对用户来说更有效且更直观。此类方法和界面任选地补充或替换用于向用户提供扩展现实体验的常规方法。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系，减少了来自用户的输入的数量、程度和/或性质，从而形成了更有效的人机界面。
所公开的系统减少或消除了与用于与显示生成部件以及任选地一个或多个输入设备通信的计算机系统的用户界面相关联的上述缺陷和其他问题。在一些实施方案中，计算机系统是具有相关联显示器的台式计算机。在一些实施方案中，计算机系统是便携式设备(例如，笔记本电脑、平板电脑或手持式设备)。在一些实施方案中，计算机系统是个人电子设备(例如，可穿戴电子设备，诸如手表或头戴式设备)。在一些实施方案中，计算机系统具有触控板。在一些实施方案中，计算机系统具有一个或多个相机。在一些实施方案中，计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中，计算机系统具有一个或多个眼睛跟踪部件。在一些实施方案中，计算机系统具有一个或多个手部跟踪部件。在一些实施方案中，除显示生成部件之外，计算机系统还具有一个或多个输出设备，这些输出设备包括一个或多个触觉输出发生器和一个或多个音频输出设备。在一些实施方案中，计算机系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中，用户通过触控笔和/或手指在触敏表面上的接触和手势、用户的眼睛和手部在相对于GUI(和/或计算机系统)或用户身体的空间中的移动(如由相机和其他移动传感器捕获的)和/或语音输入(如由一个或多个音频输入设备捕获的)与GUI进行交互。在一些实施方案中，通过交互执行的功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时通讯、测试支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的暂态和/或非暂态计算机可读存储介质或其他计算机程序产品中。
需要具有改进的方法和界面的电子设备来与三维环境进行交互。此类方法和界面可以补充或替换用于与三维环境进行交互的常规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质，并且产生更高效的人机界面。对于电池驱动的计算设备，此类方法和界面节省功率，并且增大电池充电之间的时间间隔。
需注意，上述各种实施方案可与本文所述任何其他实施方案相结合。本说明书中描述的特征和优点并不全面，具体来说，根据附图、说明书和权利要求书，许多另外的特征和优点对本领域的普通技术人员将是显而易见的。此外，应当指出，出于可读性和指导性目的，在原则上选择了本说明书中使用的语言，并且可以不这样选择以描绘或界定本发明的主题。
附图说明
为了更好地理解各种所述实施方案，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。
图1是示出根据一些实施方案的用于提供扩展现实(XR)体验的计算机系统的操作环境的框图。
图2是示出根据一些实施方案的计算机系统的被配置为管理和协调用户的XR体验的控制器的框图。
图3是示出根据一些实施方案的计算机系统的被配置为向用户提供XR体验的视觉组成部分的显示生成部件的框图。
图4是示出根据一些实施方案的计算机系统的被配置为捕获用户的手势输入的手部跟踪单元的框图。
图5是示出根据一些实施方案的计算机系统的被配置为捕获用户的注视输入的眼睛跟踪单元的框图。
图6是示出根据一些实施方案的闪光辅助的注视跟踪流水线的流程图。
图7A至图7H示出了根据一些实施方案的用于登记计算机系统的用户的一个或多个特征的用户界面。
图8是示出根据一些实施方案的用于登记计算机系统的用户的一个或多个特征的示例性方法的流程图。
图9A至图9F示出了根据一些实施方案的与在XR环境中呈现的虚拟化身相关联的各种视觉效果。
图10是示出根据一些实施方案的用于在XR环境中在虚拟化身的手部上显示视觉指示符的示例性方法的流程图。
图11是示出根据一些实施方案的用于在XR环境中显示具有不同视觉特性的对象的示例性方法的流程图。
图12A至图12E示出了根据一些实施方案的与在XR环境中表示的用户相关联的各种呈现模式。
图13A和图13B是示出根据一些实施方案的用于在与在XR环境中表示的用户相关联的不同呈现模式之间切换的示例性方法的流程图。
图14是根据一些实施方案的用于在XR环境中显示虚拟化身的示例性方法的流程图。
具体实施方式
根据一些实施方案，本公开涉及用于向用户提供扩展现实(XR)体验的用户界面。
本文所述的系统、方法和GUI以多种方式改进与虚拟/增强现实环境进行的用户界面交互。
在一些实施方案中，计算机系统在与XR环境中表示的用户相关联的不同呈现模式之间切换。计算机系统与显示生成部件和与第一用户相关联的外部计算机系统通信。计算机系统经由显示生成部件在第一呈现模式下显示包括外部计算机系统的第一用户的表示的通信用户界面，其中该通信用户界面在扩展现实环境中显示第一用户的表示；当在第一呈现模式下时，第一用户的表示具有对由外部计算机系统检测到的第一用户的第一部分的移动变化在视觉上作出反应的形状。当在第一呈现模式下显示第一用户的表示时，计算机系统从外部计算机系统接收第一数据，该第一数据指示第一用户的第一部分的移动；响应于接收到第一数据，基于第一用户的第一部分的移动来修改第一用户的表示的形状。在修改第一用户的表示的形状之后，计算机系统接收第二数据，该第二数据指示第一用户的表示将在不同于第一呈现模式的第二呈现模式下显示。响应于接收到第二数据，计算机系统经由显示生成部件在第二呈现模式下显示第一用户的表示，其中当在第二呈现模式下时，第一用户的表示具有对由外部计算机系统检测到的第一用户的第一部分的移动变化在视觉上不作反应的形状。当在第二呈现模式下显示第一用户的表示时，计算机系统接收第三数据，该第三数据指示第一用户从物理环境中的第一位置移动到物理环境中不同于物理环境中的第一位置的第二位置；并且响应于接收到第三数据，显示从扩展现实环境中的第一位置移动到扩展现实环境中不同于扩展现实环境中的第一位置的第二位置的第一用户的表示。
在一些实施方案中，计算机系统在XR环境中显示虚拟化身。计算机系统与显示生成部件和与第一用户相关联的外部计算机系统通信。响应于接收到在扩展现实环境中显示第一用户的表示的请求，根据确定满足一组眼镜显示标准，计算机系统经由显示生成部件在扩展现实环境中显示第一用户的表示；以及经由显示生成部件显示在扩展现实环境中定位在第一用户的表示上的眼镜的表示。根据确定不满足该组眼镜显示标准，计算机系统经由显示生成部件在扩展现实环境中显示第一用户的表示，而不在扩展现实环境中显示定位在第一用户的表示上的眼镜的表示。
在一些实施方案中，计算机系统显示用于登记计算机系统的用户的一个或多个特征的用户界面。计算机系统与显示生成部件和一个或多个相机通信。在包括经由该一个或多个相机捕获用户的面部数据的登记过程期间，计算机系统经由显示生成部件显示用于登记用户的一个或多个特征的登记界面，包括：输出将用户的面部特征中的第一组一个或多个面部特征定位在第一预定义的一组一个或多个面部表情中的第一提示；以及输出将用户的面部特征中的第二组一个或多个面部特征定位在不同于第一预定义的一组一个或多个面部表情的第二预定义的一组一个或多个面部表情中的第二提示。
在一些实施方案中，计算机系统在XR环境中显示与虚拟化身相关联的视觉效果。与显示生成部件和一个或多个传感器通信的计算机系统。该计算机系统经由显示生成部件显示用户特征指示符界面，该用户特征指示符界面包括：与用户的手部的一组一个或多个特征在物理环境中的检测到的位置对应的一组一个或多个视觉指示符，其中该组一个或多个视觉指示符被显示在扩展现实环境中并且具有与用户的手部的该组一个或多个特征在物理环境中的第一检测到的位置对应的第一显示位置。计算机系统经由一个或多个传感器检测用户的手部的该组一个或多个特征中的用户的手部的至少一个特征的移动。响应于检测到用户的手部的该组一个或多个特征中的用户的手部的至少一个特征的移动，计算机系统更新用户特征指示符界面的显示，包括：根据确定用户的手部的该组一个或多个特征移动到物理环境中的第二检测到的位置，经由显示生成部件在扩展现实环境中显示具有第二显示位置的该组一个或多个视觉指示符，第二显示位置对应于物理环境中用户的手部的该组一个或多个特征的第二检测到的位置；以及根据确定用户的手部的该组一个或多个特征移动到物理环境中不同于第二检测到的位置的第三检测到的位置，经由显示生成部件在扩展现实环境中显示具有第三显示位置的该组一个或多个视觉指示符，第三显示位置与物理环境中用户的手部的该组一个或多个特征的第三检测到的位置对应，其中扩展现实环境中的第三显示位置不同于扩展现实环境中的第二显示位置。
在一些实施方案中，计算机系统在XR环境中显示具有不同视觉特性的对象。计算机系统与显示生成部件和与第一用户相关联的外部计算机系统通信。计算机系统经由显示生成部件在扩展现实环境中显示第一用户的表示，其中第一用户的表示被显示在扩展现实环境中，具有第一姿势和基于第一用户的至少一部分的形状的形状，其中用第一组视觉特性来可视化第一用户的表示的形状。计算机系统接收包括指示第一用户的姿势变化的数据的第一数据；响应于接收到第一数据，更新第一用户的表示在扩展现实环境中的外观，包括：根据确定第一数据包括第一用户的第一部分正在接触对象的指示，在扩展现实环境中显示：具有基于第一用户的姿势变化的第二姿势的第一用户的表示，其中用第一组视觉特性来可视化第一用户的表示的形状；以及具有基于对象的至少一部分的形状的形状的对象的表示，其中用不同于第一组视觉特性的第二组视觉特性来可视化对象的表示的形状。
图1至图6提供了对用于向用户提供XR体验的示例性计算机系统的描述。图7A至图7H示出了根据一些实施方案的用于登记计算机系统的用户的一个或多个特征的用户界面。图8是示出根据各种实施方案的用于登记计算机系统的用户的一个或多个特征的示例性方法的流程图。图7A至图7H用于示出图8中的过程。图9A至图9F示出了根据一些实施方案的与XR环境中的虚拟化身相关联的各种视觉效果。图10是示出根据一些实施方案的用于在XR环境中在虚拟化身的手部上显示视觉指示符的示例性方法的流程图。图11是示出根据一些实施方案的用于在XR环境中显示具有不同视觉特性的对象的示例性方法的流程图。图9A至图9F用于示出图10和图11中的过程。图12A至图12E示出了根据一些实施方案的与在XR环境中表示的用户相关联的各种呈现模式。图13A和图13B是示出根据一些实施方案的用于在与在XR环境中表示的用户相关联的不同呈现模式之间切换的示例性方法的流程图。图14是根据一些实施方案的用于在XR环境中显示虚拟化身的示例性方法的流程图。图12A至图12E用于示出图13A、图13B和图14中的过程。
下文所述的过程通过各种技术增强了设备的可操作性并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，包括通过向用户提供改进的视觉反馈、减少执行操作所需的输入数量、提供附加的控制选项而不会因附加的显示控件而使用户界面混乱、在一组条件已经被满足时执行操作而无需进一步的用户输入、改善隐私性和/或安全性和/或附加的技术。这些技术还通过使用户能够更快且更有效地使用设备而减少了电力使用并延长了设备的电池寿命。
此外，在本文所述的其中一个或多个步骤取决于已满足一个或多个条件的方法中，应当理解，所述方法可在多次重复中重复，使得在重复的过程中，在方法的不同重复中已满足决定方法中的步骤的所有条件。例如，如果方法需要执行第一步骤(如果满足条件)，以及执行第二步骤(如果不满足条件)，则普通技术人员将会知道，重复所声明的步骤，直到满足条件和不满足条件两者(不分先后)。因此，可将被描述为具有取决于已满足一个或多个条件的一个或多个步骤的方法重写为重复直到已满足该方法中所述的每个条件的方法。然而，这不需要系统或计算机可读介质声明该系统或计算机可读介质包含用于基于对应的一个或多个条件的满足来执行视情况而定的操作的指令，并且因此能够确定是否已满足可能的情况，而无需明确地重复方法的步骤直到已满足决定方法中的步骤的所有条件。本领域的普通技术人员还将理解，类似于具有视情况而定的步骤的方法，系统或计算机可读存储介质可根据需要多次重复方法的步骤，以确保已执行所有视情况而定的步骤。
在一些实施方案中，如图1中所示，经由包括计算机系统101的操作环境100向用户提供XR体验。计算机系统101包括控制器110(例如，便携式电子设备的处理器或远程服务器)、显示生成部件120(例如，头戴式设备(HMD)、显示器、投影仪、触摸屏等)、一个或多个输入设备125(例如，眼睛跟踪设备130、手部跟踪设备140、其他输入设备150)、一个或多个输出设备155(例如，扬声器160、触觉输出发生器170和其他输出设备180)、一个或多个传感器190(例如，图像传感器、光传感器、深度传感器、触觉传感器、取向传感器、接近传感器、温度传感器、位置传感器、运动传感器、速度传感器等)，以及任选地一个或多个外围设备195(例如，家用电器、可穿戴设备等)。在一些实施方案中，输入设备125、输出设备155、传感器190和外围设备195中的一者或多者与显示生成部件120集成(例如，在头戴式设备或手持式设备中)。
在描述XR体验时，各种术语用于区别地指代用户可以感测并且/或者用户可以与其进行交互(例如，利用由生成XR体验的计算机系统101检测到的输入进行交互，这些输入使得生成XR体验的计算机系统生成与提供给计算机系统101的各种输入对应的音频、视觉和/或触觉反馈)的若干相关但不同的环境。以下是这些术语的子集：
物理环境：物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
扩展现实：相反，扩展现实(XR)环境是指人们经由电子系统感知和/或交互的完全或部分模拟的环境。在XR中，跟踪人的物理运动的子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在XR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，XR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对XR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。人可以利用其感觉中的任一者来感测XR对象和/或与XR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，音频对象创建3D或空间音频环境，3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些XR环境中，人可以感测和/或只与音频对象交互。
XR的示例包括虚拟现实和混合现实。
虚拟现实：虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
混合现实：与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。
增强现实：增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或物理环境的表示上方的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟：增强虚拟(AV)环境是指其中虚拟环境或计算机生成环境结合了来自物理环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的定位的阴影。
视点锁定的虚拟对象：当计算机系统在用户视点中的相同位置和/或定位处显示虚拟对象时，即使用户的视点偏移(例如，发生变化)，虚拟对象也是视点锁定的。在其中计算机系统是头戴式设备的实施方案中，用户的视点被锁定到用户的头部的前向方向(例如，当用户直视前方时，用户的视点是用户视场的至少一部分)；因此，在不移动用户的头部的情况下，即使在用户的注视偏移时，用户的视点也保持固定。在其中计算机系统具有可相对于用户的头部重新定位的显示生成部件(例如，显示屏幕)的实施方案中，用户的视点是在计算机系统的显示生成部件上呈现给用户的增强现实视图。例如，当用户的视点处于第一取向(例如，用户头部面向北)时显示在用户的视点的左上角中的视点锁定的虚拟对象继续显示在用户的视点的左上角中，即使在用户的视点改变到第二取向(例如，用户头部面向西)时也是如此。换句话讲，在用户的视点中显示视点锁定的虚拟对象的位置和/或定位与用户在物理环境中的定位和/或取向无关。在其中计算机系统是头戴式设备的实施方案中，用户的视点被锁定到用户的头部的取向，使得虚拟对象也被称为“头部锁定虚拟对象”。
环境锁定的视觉对象：当计算机系统在用户的视点中的位置和/或定位处显示虚拟对象时，虚拟对象是环境锁定的(另选地，“世界锁定的”)，该位置和/或定位基于三维环境(例如，物理环境或虚拟环境)中的位置和/或对象(例如，参考该位置和/或对象而选择和/或锚定到该位置和/或对象)。随着用户的视点移动，环境中相对于用户的视点的位置和/或对象改变，这导致环境锁定的虚拟对象显示在用户视点中的不同位置和/或定位处。例如，锁定到紧接在用户前面的树木上的环境锁定的虚拟对象显示在用户的视点的中心处。当用户的视点向右偏移(例如，用户头部向右转动)使得树木现在在用户的视点中处于中心左侧(例如，用户的视点中的树木定位偏移)时，锁定到树木上的环境锁定的虚拟对象在用户的视点中显示在中心左侧。换句话讲，在用户的视点中显示环境锁定的虚拟对象的位置和/或定位取决于环境中虚拟对象被锁定到其上的位置和/或对象的位置和/或取向。在一些实施方案中，计算机系统使用静止的参照系(例如，在物理环境中锚定到固定位置和/或对象的坐标系)，以便确定在用户的视点中显示环境锁定的虚拟对象的定位。环境锁定的虚拟对象可被锁定到环境的静止部分(例如，地板、墙壁、桌子或其他静止对象)，或可被锁定到环境的可移动部分(例如，车辆、动物、人或甚至独立于用户的视点移动的用户身体的一部分诸如用户的手部、手腕、手臂或脚的表示)使得虚拟对象随着视点或环境的该部分移动而移动以保持虚拟对象和环境的该部分之间的固定关系。
在一些实施方案中，环境锁定或视点锁定的虚拟对象表现出惰性跟随行为，其相对于虚拟对象所跟随的参考点的移动而减少或延迟环境锁定或视点锁定的虚拟对象的运动。在一些实施方案中，在表现出惰性跟随行为时，当检测到虚拟对象正在跟随的参考点(例如，环境的一部分、视点或相对于视点固定的点，诸如距离视点5cm至300cm之间的点)的移动时，计算机系统有意地延迟虚拟对象的移动。例如，当参考点(例如，环境的该部分或视点)以第一速度移动时，虚拟对象被设备移动以保持锁定到参考点，但以相比于第一速度更慢的第二速度移动(例如，直到参考点停止移动或减慢，在该点处虚拟对象开始赶上参考点)。在一些实施方案中，当虚拟对象表现出惰性跟随行为时，设备忽略参考点的少量移动(例如，忽略参考点低于阈值移动量的移动，诸如移动0至5度或移动0至50cm)。例如，当参考点(例如，虚拟对象被锁定到的环境的该部分或视点)移动第一量时，参考点与虚拟对象之间的距离增加(例如，因为虚拟对象正被显示以便保持相对于与虚拟对象被锁定到的参考点不同的视点或环境的该部分的固定或基本上固定的位置)，并且当参考点(例如，虚拟对象被锁定到的环境的该部分或视点)移动大于第一量的第二量时，参考点与虚拟对象之间的距离最初增加(例如，因为虚拟对象正被显示以便保持相对于与虚拟对象被锁定到的参考点不同的视点或环境的该部分的固定或基本上固定的位置)，并且接着随着参考点的移动量增加到阈值(例如，“惰性跟随”阈值)以上而减小，因为虚拟对象被计算机系统移动以保持相对于参考点的固定或基本上固定的位置。在一些实施方案中，虚拟对象保持相对于参考点基本上固定的位置包括虚拟对象在一个或多个维度(例如，相对于参考点的位置的上/下、左/右和/或向前/向后)中在参考点的阈值距离(例如，1cm、2cm、3cm、5cm、15cm、20cm、50cm)内显示。
硬件：有许多不同类型的电子系统使人能够感测各种XR环境和/或与各种CGR环境进行交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。
在一些实施方案中，控制器110被配置为管理和协调用户的XR体验。在一些实施方案中，控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些实施方案中，控制器110是相对于场景105(例如，物理环境)处于本地或远程位置的计算设备。例如，控制器110是位于场景105内的本地服务器。又如，控制器110是位于场景105之外的远程服务器(例如，云服务器、中央服务器等)。在一些实施方案中，控制器110经由一个或多个有线或无线通信通道144(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE802.3x等)与显示生成部件120(例如，HMD、显示器、投影仪、触摸屏等)通信地耦接。在另一个示例中，控制器110包括在显示生成部件120(例如，HMD或包括显示器和一个或多个处理器的便携式电子设备等)、输入设备125中的一个或多个输入设备、输出设备155中的一个或多个输出设备、传感器190中的一个或多个传感器和/或外围装设备195中的一个或多个外围装设备的壳体(例如，物理外壳)内，或者与上述设备中的一者或多者共享相同的物理壳体或支撑结构。
在一些实施方案中，显示生成部件120被配置为向用户提供XR体验(例如，至少XR体验的视觉组成部分)。在一些实施方案中，显示生成部件120包括软件、固件和/或硬件的合适组合。下文相对于图3更详细地描述了显示生成部件120。在一些实施方案中，控制器110的功能由显示生成部件120提供和/或与该显示生成部件组合。
根据一些实施方案，当用户虚拟地和/或物理地存在于场景105内时，显示生成部件120向用户提供XR体验。
在一些实施方案中，显示生成部件穿戴在用户身体的一部分上(例如，他/她的头部上、他/她的手部上等)。这样，显示生成部件120包括被提供用于显示XR内容的一个或多个XR显示器。例如，在各种实施方案中，显示生成部件120包围用户的视场。在一些实施方案中，显示生成部件120是被配置为呈现XR内容的手持式设备(诸如智能电话或平板电脑)，并且用户握持具有朝向用户的视场的显示器和朝向场景105的相机的设备。在一些实施方案中，手持式设备被任选地放置在穿戴在用户的头部上的壳体内。在一些实施方案中，手持式设备被任选地放置在用户前面的支撑件(例如，三脚架)上。在一些实施方案中，显示生成部件120是被配置为呈现XR内容的XR室、壳体或房间，其中用户不穿戴或握持显示生成部件120。参考用于显示XR内容的一种类型的硬件(例如，手持式设备或三脚架上的设备)描述的许多用户界面可以在用于显示XR内容的另一种类型的硬件(例如，HMD或其他可穿戴计算设备)上实现。例如，示出基于发生在手持式设备或三脚架安装的设备前面的空间中的交互而触发的与XR内容的交互的用户界面可以类似地用HMD来实现，其中交互发生在HMD前面的空间中，并且对XR内容的响应经由HMD来显示。类似地，示出基于手持式设备或三脚架安装的设备相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手部))的移动而触发的与XR内容的交互的用户界面可以类似地用HMD来实现，其中移动是由HMD相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手部))的移动引起的。
尽管在图1中示出了操作环境100的相关特征，但本领域的普通技术人员将从本公开中认识到，为了简洁起见并且为了不模糊本文所公开的示例性实施方案的更多相关方面，未示出各种其他特征。
图2是根据一些实施方案的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂，未示出各种其他特征。为此，作为非限制性示例，在一些实施方案中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、IEEE802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
在一些实施方案中，一条或多条通信总线204包括互连和控制系统部件之间的通信的电路。在一些实施方案中，一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。
存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些实施方案中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些实施方案中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统230和XR体验模块240。
操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的指令。在一些实施方案中，XR体验模块240被配置为管理和协调一个或多个用户的单重或多重XR体验(例如，一个或多个用户的单重XR体验，或一个或多个用户的相应群组的多重XR体验)。为此，在各种实施方案中，XR体验模块240包括数据获取单元241、跟踪单元242、协调单元246和数据传输单元248。
在一些实施方案中，数据获取单元241被配置为从图1的至少显示生成部件120，以及任选地从输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。为此，在各种实施方案中，数据获取单元241包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，跟踪单元242被配置为映射场景105，并且跟踪至少显示生成部件120相对于图1的场景105的定位/位置，以及任选地相对于跟踪输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者的定位/位置。为此，在各种实施方案中，跟踪单元242包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。在一些实施方案中，跟踪单元242包括手部跟踪单元244和/或眼睛跟踪单元243。在一些实施方案中，手部跟踪单元244被配置为跟踪用户的手部的一个或多个部分的定位/位置，以及/或者用户的手部的一个或多个部分相对于图1的场景105的、相对于显示生成部件120和/或相对于坐标系(该坐标系是相对于用户的手部定义的)的运动。下文相对于图4更详细地描述了手部跟踪单元244。在一些实施方案中，眼睛跟踪单元243被配置为跟踪用户注视(或更广泛地，用户的眼睛、面部或头部)相对于场景105(例如，相对于物理环境和/或相对于用户(例如，用户的手部))或相对于经由显示生成部件120显示的XR内容的定位或移动。下文相对于图5更详细地描述了眼睛跟踪单元243。
在一些实施方案中，协调单元246被配置为管理和协调由显示生成部件120，以及任选地由输出设备155和/或外围装设备195中的一者或多者呈现给用户的XR体验。出于该目的，在各种实施方案中，协调单元246包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，数据传输单元248被配置为将数据(例如，呈现数据、位置数据等)传输到至少显示生成部件120，并且任选地传输到输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于该目的，在各种实施方案中，数据传输单元248包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元241、跟踪单元242(例如，包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248被示为驻留在单个设备(例如，控制器110)上，但应当理解，在其他实施方案中，数据获取单元241、跟踪单元242(例如，包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248的任何组合可以位于单独计算设备中。
此外，图2更多地用作可以存在于特定具体实施中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图3是根据一些实施方案的显示生成部件120的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂，未示出各种其他特征。出于该目的，作为非限制性示例，在一些实施方案中，显示生成部件120(例如，HMD)包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个XR显示器312、一个或多个任选的面向内部并且/或者面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。
在一些实施方案中，一条或多条通信总线304包括用于互连和控制各系统部件之间的通信的电路。在一些实施方案中，一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎以及/或者一个或多个深度传感器(例如，结构光、飞行时间等)等。
在一些实施方案中，一个或多个XR显示器312被配置为向用户提供XR体验。在一些实施方案中，一个或多个XR显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)以及/或者类似的显示器类型。在一些实施方案中，一个或多个XR显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，显示生成部件120(例如，HMD)包括单个XR显示器。在另一个示例中，显示生成部件120包括针对用户的每只眼睛的XR显示器。在一些实施方案中，一个或多个XR显示器312能够呈现MR和VR内容。在一些实施方案中，一个或多个XR显示器312能够呈现MR或VR内容。
在一些实施方案中，一个或多个图像传感器314被配置为获取与用户面部的包括用户的眼睛的至少一部分对应的图像数据(并且可被称为眼睛跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为获取与用户的手部以及任选地用户的手臂的至少一部分对应的图像数据(并且可被称为手部跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为面向前方，以便获取与在不存在显示生成部件120(例如，HMD)的情况下用户将会看到的场景对应的图像数据(并且可被称为场景相机)。一个或多个任选图像传感器314可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、一个或多个红外(IR)相机以及/或者一个或多个基于事件的相机等。
存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些实施方案中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些实施方案中，存储器320或存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，包括任选的操作系统330和XR呈现模块340。
操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些实施方案中，XR呈现模块340被配置为经由一个或多个XR显示器312向用户呈现XR内容。出于该目的，在各种实施方案中，XR呈现模块340包括数据获取单元342、XR呈现单元344、XR映射生成单元346和数据传输单元348。
在一些实施方案中，数据获取单元342被配置为至少从图1的控制器110获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于所述目的，在各种实施方案中，数据获取单元342包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，XR呈现单元344被配置为经由一个或多个XR显示器312呈现XR内容。出于所述目的，在各种实施方案中，XR呈现单元344包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，XR映射生成单元346被配置为基于媒体内容数据生成XR映射图(例如，混合现实场景的3D映射图或可以在其中放置计算机生成对象的物理环境以生成扩展现实的映射图)。出于所述目的，在各种实施方案中，XR映射生成单元346包括指令以及/或者用于该指令的逻辑以及启发法和用于该启发法的元数据。
在一些实施方案中，数据传输单元348被配置为将数据(例如，呈现数据、位置数据等)传输到至少控制器110，以及任选地输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于所述目的，在各种实施方案中，数据传输单元348包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元342、XR呈现单元344、XR映射生成单元346和数据传输单元348被示出为驻留在单个设备(例如，图1的显示生成部件120)上，但应当理解，在其他实施方案中，数据获取单元342、XR呈现单元344、XR映射生成单元346和数据传输单元348的任何组合可位于单独计算设备中。
此外，图3更多地用作可能存在于特定实施方案中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图4是手部跟踪设备140的示例性实施方案的示意性图解。在一些实施方案中，手部跟踪设备140(图1)由手部跟踪单元244控制(图2)来跟踪用户的手部的一个或多个部分的定位/位置，以及/或者用户的手部的一个或多个部分相对于图1的场景105(例如，相对于用户周围的物理环境的一部分、相对于显示生成部件120，或者相对于用户的一部分(例如，用户的面部、眼睛或头部)，以及/或者相对于坐标系(该坐标系是相对于用户的手部定义的))的运动。在一些实施方案中，手部跟踪设备140是显示生成部件120的一部分(例如，嵌入头戴式设备中或附接到头戴式设备)。在一些实施方案中，手部跟踪设备140与显示生成部件120分开(例如，位于单独的外壳中或者附接到单独的物理支撑结构)。
在一些实施方案中，手部跟踪设备140包括捕获至少包括人类用户的手部406的三维场景信息的图像传感器404(例如，一个或多个IR相机、3D相机、深度相机和/或彩色相机等)。图像传感器404以足够的分辨率捕获手部图像，以使手指及其相应位置能够被区分。图像传感器404通常捕获用户身体的其他部分、还或可能捕获身体的所有部分的图像，并且可以具有缩放能力或具有增大放大率的专用传感器以用期望分辨率捕获手部的图像。在一些实施方案中，图像传感器404还捕获手部406的2D彩色视频图像和场景的其他元素。在一些实施方案中，图像传感器404与其他图像传感器结合使用以捕获场景105的物理环境，或者用作捕获场景105的物理环境的图像传感器。在一些实施方案中，以将图像传感器404或其一部分的视场用于限定交互空间的方式相对于用户或用户的环境定位图像传感器，在该交互空间中，由图像传感器捕获的手部移动被视为到控制器110的输入。
在一些实施方案中，图像传感器404将包含3D映射数据(以及此外，可能的彩色图像数据)的帧序列输出到控制器110，该控制器从映射数据提取高级信息。该高级信息通常经由应用程序接口(API)提供给在控制器上运行的应用程序，该应用程序相应地驱动显示生成部件120。例如，用户可以通过移动他的手部406并改变他的手部位姿来与在控制器110上运行的软件交互。
在一些实施方案中，图像传感器404将斑点图案投影到包含手部406的场景上并且捕获所投影图案的图像。在一些实施方案中，控制器110基于图案中斑点的横向偏移来通过三角测量计算场景中的点(包括用户的手部的表面上的点)的3D坐标。这种方法是有利的，因为该方法不需要用户握持或穿戴任何种类的信标、传感器或其他标记。该方法给出了场景中的点在距图像传感器404的特定距离处相对于预先确定的参考平面的深度坐标。在本公开中，假设图像传感器404限定x轴、y轴、z轴的正交集合，使得场景中的点的深度坐标对应于由图像传感器测量的z分量。替代地，图像传感器404(例如，手部跟踪设备)可基于单个或多个相机或其他类型的传感器而使用其他3D映射方法，诸如立体成像或飞行时间测量。
在一些实施方案中，手部跟踪设备140在用户移动他的手部(例如，整个手部或一根或多根手指)时捕获并处理包含用户的手部的深度映射图的时间序列。在图像传感器404和/或控制器110中的处理器上运行的软件处理3D映射数据以提取这些深度映射图中手部的图像块描述符。软件可基于先前的学习过程将这些描述符与存储在数据库408中的图像块描述符匹配，以便估计每个帧中手部的位姿。位姿通常包括用户的手部关节和手指尖端的3D位置。
软件还可以分析手部和/或手指在序列中的多个帧上的轨迹以识别手势。本文所述的位姿估计功能可以与运动跟踪功能交替，使得每两个(或更多个)帧仅执行一次基于图像块的位姿估计，而跟踪用于找到在剩余帧上发生的位姿的变化。经由上述API向在控制器110上运行的应用程序提供位姿、运动和手势信息。该程序可以例如响应于位姿和/或手势信息而移动和修改呈现在显示生成部件120上的图像，或者执行其他功能。
在一些实施方案中，手势包括空中手势。空中手势是在用户不触摸作为设备(例如，计算机系统101、一个或多个输入设备125和/或手部跟踪设备140)的一部分的输入元件(或独立于作为设备的一部分的输入元件)的情况下检测到的并且基于检测到的用户身体的一部分(例如，头部、一个或多个手臂、一只或多只手部、一根或多根手指和/或一条或多条腿)穿过空中的运动(包括用户的身体相对于绝对参考的运动(例如，用户的手臂相对于地面的角度或用户的手部相对于地面的距离)、相对于用户身体的另一部分的运动(例如，用户的手部相对于用户的肩部的移动、用户的一只手相对于用户的另一只手的移动、和/或用户的手指相对于用户的另一手指或手部的一部分的移动)、和/或用户身体的一部分的绝对运动(例如，包括手以预定姿势将移动预定量和/或速度的轻击手势、或包括用户身体的一部分的预定速度或旋转量的摇动手势))的手势。
在一些实施方案中，根据一些实施方案，在本文所述的各种示例和实施方案中使用的输入手势包括通过用户的手指相对于用户的手部的其他手指或部分的移动执行的用于与XR环境(例如，虚拟或混合现实环境)交互的空中手势。在一些实施方案中，空中手势是在用户不触摸作为设备的一部分的输入元件(或独立于作为设备的一部分的输入元件)的情况下检测到的并且基于所检测到的用户身体的一部分穿过空中的运动(包括用户的身体相对于绝对参考的运动(例如，用户的手臂相对于地面的角度或用户的手部相对于地面的距离)、相对于用户身体的另一部分的运动(例如，用户的手部相对于用户的肩部的移动、用户的一只手相对于用户的另一只手的移动、和/或用户的手指相对于用户的另一手指或手部的一部分的移动)、和/或用户身体的一部分的绝对运动(例如，包括手以预定姿势将移动预定量和/或速度的轻击手势、或包括用户身体的一部分的预定速度或旋转量的摇动手势))的手势。
在输入姿势是空中姿势的一些实施方案中(例如，在不存在与输入设备的物理接触的情况下，该输入设备向计算机系统提供关于哪个用户界面元素是用户输入的目标的信息，诸如与显示在触摸屏上的用户界面元素的接触、或与鼠标或触控板的接触以将光标移动到用户界面元素)，手势考虑用户的注意力(例如，注视)以确定用户输入的目标(例如，对于直接输入，如下所述)。因此，在涉及空中手势的实施方案中，例如，输入手势与用户的手指和/或手部的移动组合(例如，同时)检测到朝向用户界面元素的注意力(例如，注视)以执行捏合和/或轻击输入，如下所述。
在一些实施方案中，直接或间接地参考用户界面对象来执行指向用户界面对象的输入手势。例如，根据用用户的手部在与三维环境中的用户界面对象的位置相对应的位置(例如，如基于用户的当前视点所确定的)处执行输入，直接在用户界面对象上执行用户输入。在一些实施方案中，在检测到用户对用户界面对象的注意力(例如，注视)时，根据在用户执行输入手势的同时用户的手部的位置不在对应于用户界面对象在三维环境中的位置的该位置处，在用户界面对象上间接执行输入手势。例如，对于直接输入手势，用户能够通过在与用户界面对象的显示位置相对应的位置处或附近(例如，从选项的外边缘或选项的中心部分测量的0.5cm、1cm、5cm内或0至5cm之间的距离内)发起手势来将用户的输入引导至用户界面对象。对于间接输入手势，用户能够通过关注用户界面对象(例如，通过注视用户界面对象)来将用户的输入引导至用户界面对象，并且在关注选项的同时，用户发起输入手势(例如，在计算机系统可检测到的任何位置处)(例如，在不对应于用户界面对象的显示位置的位置处)。
在一些实施方案中，根据一些实施方案，在本文所述的各种示例和实施方案中使用的输入手势(例如，空中手势)包括捏合输入和轻击输入，以用于与虚拟或混合现实环境交互。例如，下文所述的捏合输入和轻击输入被执行为空中手势。
在一些实施方案中，捏合输入是空中手势的一部分，该空中手势包括以下各项中的一项或多项：捏合手势、长捏合手势、捏合并拖动手势或双捏合手势。例如，作为空中手势的捏合手势包括手部的两个或更多个手指的移动以彼此接触，即，任选地，随后是彼此立即(例如，在0至1秒内)中断接触。作为空中手势的长捏合手势包括在检测到彼此接触的中断之前手部的两个或更多个手指彼此接触至少阈值时间量(例如，至少1秒)的移动。例如，长捏合手势包括用户保持捏合手势(例如，其中两个或更多个手指进行接触)，并且长捏合手势继续直到检测到两个或更多个手指之间的接触中断为止。在一些实施方案中，作为空中手势的双捏合手势包括彼此立即(例如，在预定义时间段内)连续检测到的两个(例如，或更多个)捏合输入(例如，由同一手部执行)。例如，用户执行第一捏合输入(例如，捏合输入或长捏合输入)，释放第一捏合输入(例如，中断两个或更多个手指之间的接触)，并且在释放第一捏合输入之后的预定义时间段内(例如，在1秒内或在2秒内)执行第二捏合输入。
在一些实施方案中，作为空中手势的捏合并拖动手势包括与将用户的手部的位置从第一位置(例如，拖动的开始位置)改变到第二位置(例如，拖动的结束位置)的拖动输入结合(例如，跟随)执行的捏合手势(例如，捏合手势或长捏合手势)。在一些实施方案中，用户在执行拖动输入的同时保持捏合手势，并且释放捏合手势(例如，打开他们的两个或更多个手指)以结束拖动手势(例如，在第二位置处)。在一些实施方案中，捏合输入和拖动输入由同一手部执行(例如，用户捏合两个或更多个手指以彼此接触并且利用拖动手势将同一手部移动到空中的第二位置)。在一些实施方案中，由用户的第一手部执行捏合输入，并且由用户的第二手部执行拖动输入(例如，在用户用用户的第一手部继续捏合输入的同时，用户的第二手部在空中从第一位置移动到第二位置。在一些实施方案中，作为空中手势的输入手势包括使用用户的两只手部执行的输入(例如，捏合和/或轻击输入)。例如，输入手势包括彼此结合(例如，同时或在预定义时间段内)执行的两个(例如，或更多个)捏合输入。例如，使用用户的第一手部执行第一捏合手势(例如，捏合输入、长捏合输入或捏合并拖动输入)，并且结合使用第一手部执行捏合输入，使用另一手部(例如，用户两只手部中的第二手部)执行第二捏合输入。在一些实施方案中，用户两只手部之间的移动(例如，增加和/或减小用户两只手部之间的距离或相对取向)。
在一些实施方案中，作为空中手势执行的轻击输入(例如，指向用户界面元素)包括用户的手指朝向用户界面元素的移动、用户的手部朝向用户界面元素的移动(任选地，用户的手指朝向用户界面元素延伸)、用户的手指的向下运动(例如，模仿鼠标点击运动或触摸屏上的轻击)、或用户的手部的其他预定义移动。在一些实施方案中，基于执行手指或手部的轻击手势移动的手指或手部的移动特性来检测作为空中手势执行的轻击输入，该轻击手势移动是手指或手部远离用户的视点和/或朝向作为轻击输入的目标的对象，随后是移动的结束。在一些实施方案中，基于执行轻击手势的手指或手部的移动特性的变化来检测移动的结束(例如，远离用户的视点和/或朝向作为轻击输入的目标的对象的移动的结束、手指或手部的移动方向的反转和/或手指或手部的移动的加速方向的反转)。
在一些实施方案中，基于对指向三维环境的一部分的注视的检测来确定用户的注意力指向三维环境的该部分(任选地，不需要其他条件)。在一些实施方案中，基于利用一个或多个附加条件检测到指向三维环境的一部分的注视来确定用户的注意力指向三维环境的该部分，附加条件诸如要求注视指向三维环境的该部分达至少阈值持续时间(例如，停留持续时间)和/或要求注视在用户的视点在距三维环境的该部分的距离阈值内时指向三维环境的该部分，以便设备确定用户的注意力指向三维环境的该部分，其中如果这些附加条件中的一者未满足，则设备确定注意力未指向注视指向的三维环境的该部分(例如，直到满足该一个或多个附加条件)。
在一些实施方案中，用户或用户的一部分的就绪状态配置的检测由计算机系统检测。手部的就绪状态配置的检测由计算机系统用作用户可能正准备使用由手部执行的一个或多个空中手势输入(例如，捏合、轻击、捏合并拖动、双捏合、长捏合或本文所述的其他空中手势)与计算机系统交互的指示。例如，基于手部是否具有预先确定的手部形状(例如，拇指和一个或多个手指延伸并间隔开以准备做出捏合或抓取姿势的预捏合形状，或者一个或多个手指延伸并且手掌背对用户的预轻击)、基于手部是否处于相对于用户的视点的预先确定的位置中(例如，在用户的头部下方并且在用户的腰部上方并从身体延伸出至少15cm、20cm、25cm、30cm或50cm)和/或基于手部是否已以特定方式移动(例如，朝向用户的腰部上方并且在用户的头部下方的用户前方的区域移动或远离用户的身体或腿部移动)来确定手部的就绪状态。在一些实施方案中，就绪状态被用来确定用户界面的交互式元素是否对注意力(例如，注视)输入作出响应。
在一些实施方案中，软件可以例如通过网络以电子形式下载到控制器110，或者可以另选地在有形非暂态介质诸如光学、磁性或电子存储器介质上提供。在一些实施方案中，数据库408同样存储在与控制器110相关联的存储器中。另选地或除此之外，计算机的所描述的功能中的一些或全部可以在专用硬件(诸如，定制或半定制集成电路或可编程数字信号处理器(DSP))中实现。尽管在图4中示出了控制器110，但是举例来说，作为与图像传感器404分开的单元，控制器的处理功能中的一些处理功能或全部处理功能可以由合适的微处理器和软件或由图像传感器404(例如，手部跟踪设备)的外壳内的专用电路或与图像传感器404相关联的其他设备执行。在一些实施方案中，这些处理功能中的至少一些可由与显示生成部件120(例如，在电视接收机、手持式设备或头戴式设备中)集成或与任何其他合适的计算机化设备(诸如，游戏控制台或媒体播放器)集成的合适处理器执行。图像传感器404的感测功能同样可以集成到将由传感器输出控制的计算机或其他计算机化装置中。
图4还包括根据一些实施方案的由图像传感器404捕获的深度映射图410的示意图。如上所述，深度图包括具有相应深度值的像素的矩阵。与手部406对应的像素412已经从该映射图中的背景和手腕分割出来。深度映射图410内的每个像素的亮度与其深度值(即，测量的距图像传感器404的z距离)成反比，其中灰色阴影随着深度的增加而变得更暗。控制器110处理这些深度值以便识别和分割图像的具有人类手部特征的组成部分(即，一组相邻像素)。这些特征可包括例如总体大小、形状和从深度映射图序列中的帧到帧的运动。
图4还示意性地示出了根据一些实施方案的控制器110最终从手部406的深度映射图410提取的手部骨骼414。在图4中，手部骨骼414叠加在已经从原始深度映射图分割出来的手部背景416上。在一些实施方案中，手部的以及任选地在连接到手部的手腕或手臂上的关键特征点(例如，与指关节、手指尖端、手掌中心、手部的连接到手腕的端部等对应的点)被识别并位于手部骨骼414上。在一些实施方案中，控制器110使用这些关键特征点在多个图像帧上的位置和移动来根据一些实施方案确定由手部执行的手势或手部的当前状态。
图5示出了眼睛跟踪设备130(图1)的示例性实施方案。在一些实施方案中，眼睛跟踪设备130由眼睛跟踪单元243(图2)控制来跟踪用户注视相对于场景105或相对于经由显示生成部件120显示的XR内容的定位和移动。在一些实施方案中，眼睛跟踪设备130与显示生成部件120集成。例如，在一些实施方案中，当显示生成部件120是头戴式设备(诸如，头戴式耳机、头盔、护目镜或眼镜)或放置在可穿戴框架中的手持式设备时，该头戴式设备包括生成XR内容以供用户观看的部件以及用于跟踪用户相对于XR内容的注视的部件两者。在一些实施方案中，眼睛跟踪设备130与显示生成部件120分开。例如，当显示生成部件是手持式设备或XR室时，眼睛跟踪设备130任选地是与手持式设备或XR室分开的设备。在一些实施方案中，眼睛跟踪设备130是头戴式设备或头戴式设备的一部分。在一些实施方案中，头戴式眼睛跟踪设备130任选地与也是头戴式的显示生成部件或不是头戴式的显示生成部件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地与头戴式显示生成部件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地是非头戴式显示生成部件的一部分。
在一些实施方案中，显示生成部件120使用显示机构(例如，左近眼显示面板和右近眼显示面板)来在用户眼睛前面显示包括左图像和右图像的帧，从而向用户提供3D虚拟视图。例如，头戴式显示生成部件可包括位于显示器和用户眼睛之间的左光学透镜和右光学透镜(在本文中被称为眼睛透镜)。在一些实施方案中，显示生成部件可包括或耦接到一个或多个外部摄像机，该一个或多个外部摄像机捕获用户的环境的视频以用于显示。在一些实施方案中，头戴式显示生成部件可具有透明或半透明显示器，并且在该透明或半透明显示器上显示虚拟对象，用户可以透过该透明或半透明显示器直接观看物理环境。在一些实施方案中，显示生成部件将虚拟对象投影到物理环境中。虚拟对象可例如被投影在物理表面上或作为全息图被投影，使得个体使用系统观察叠加在物理环境上方的虚拟对象。在这种情况下，可能不需要用于左眼和右眼的单独的显示面板和图像帧。
如图5中所示，在一些实施方案中，眼睛跟踪设备130(例如，注视跟踪设备)包括至少一个眼睛跟踪相机(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛发射光(例如，IR或NIR光)的照明源(例如，IR或NIR光源，诸如LED的阵列或环)。眼睛跟踪相机可指向用户眼睛以接收光源直接从眼睛反射的IR或NIR光，或者另选地可指向位于用户眼睛和显示面板之间的“热”镜，这些热镜将来自眼睛的IR或NIR光反射到眼睛跟踪相机，同时允许可见光通过。眼睛跟踪设备130任选地捕获用户眼睛的图像(例如，作为以每秒60帧-120帧(fps)捕获的视频流)，分析这些图像以生成注视跟踪信息，并将注视跟踪信息传送到控制器110。在一些实施方案中，用户的两只眼睛通过相应的眼睛跟踪相机和照明源来单独地跟踪。在一些实施方案中，通过相应的眼睛跟踪相机和照明源来跟踪用户的仅一只眼睛。
在一些实施方案中，使用设备特定的校准过程来校准眼睛跟踪设备130以确定用于特定操作环境100的眼睛跟踪设备的参数，例如LED、相机、热镜(如果存在的话)、眼睛透镜和显示屏的3D几何关系和参数。在将AR/VR装备递送给终端用户之前，可以在工厂或另一个设施处执行设备特定的校准过程。设备特定的校准过程可以是自动校准过程或手动校准过程。根据一些实施方案，用户特定的校准过程可以包括对特定用户的眼睛参数的估计，例如瞳孔位置、中央凹位置、光轴、视轴、眼睛间距等。根据一些实施方案，一旦针对眼睛跟踪设备130确定了设备特定参数和用户特定参数，就可以使用闪光辅助方法来处理由眼睛跟踪相机捕获的图像，以确定当前视轴和用户相对于显示器的注视点。
如图5中所示，眼睛跟踪设备130(例如，130A或130B)包括眼睛透镜520和注视跟踪系统，该注视跟踪系统包括定位在用户面部的被执行眼睛跟踪的一侧上的至少一个眼睛跟踪相机540(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛592发射光(例如，IR或NIR光)的照明源530(例如，IR或NIR光源，诸如NIR发光二极管(LED)的阵列或环)。眼睛跟踪相机540可指向位于用户眼睛592和显示器510(例如，头戴式显示器的左显示器面板或右显示器面板，或者手持式设备的显示器、投影仪等)之间的镜子550(这些镜子反射来自眼睛592的IR或NIR光，同时允许可见光通过)(例如，如图5的顶部部分所示)，或者另选地可指向用户眼睛592以接收来自眼睛592的反射IR或NIR光(例如，如图5的底部部分所示)。
在一些实施方案中，控制器110渲染AR或VR帧562(例如，用于左显示面板和右显示面板的左帧和右帧)并且将帧562提供给显示器510。控制器110将来自眼睛跟踪相机540的注视跟踪输入542用于各种目的，例如用于处理帧562以用于显示。控制器110任选地基于使用闪光辅助方法或其他合适的方法从眼睛跟踪相机540获取的注视跟踪输入542来估计用户在显示器510上的注视点。根据注视跟踪输入542估计的注视点任选地用于确定用户当前正在看向的方向。
以下描述了用户当前注视方向的几种可能的使用案例，并且不旨在进行限制。作为示例性使用案例，控制器110可以基于所确定的用户注视的方向不同地渲染虚拟内容。例如，控制器110可以在根据用户当前注视方向确定的中央凹区域中以比在外围区域中的分辨率更高的分辨率生成虚拟内容。作为另一个示例，控制器可至少部分地基于用户当前注视方向来在视图中定位或移动虚拟内容。作为另一个示例，控制器可至少部分地基于用户当前注视方向来在视图中显示特定虚拟内容。作为AR应用程序中的另一个示例性使用案例，控制器110可引导用于捕获XR体验的物理环境的外部相机在所确定方向上聚焦。然后，外部相机的自动聚焦机构可以聚焦于显示器510上用户当前正看向的环境中的对象或表面上。作为另一个示例性使用案例，眼睛透镜520可以是可聚焦透镜，并且控制器使用注视跟踪信息来调整眼睛透镜520的焦点，使得用户当前正看向的虚拟对象具有适当的聚散度以匹配用户眼睛592的会聚。控制器110可以利用注视跟踪信息来引导眼睛透镜520调整焦点，使得用户正看向的靠近的对象出现在正确距离处。
在一些实施方案中，眼睛跟踪设备是头戴式设备的一部分，该部分包括安装在可穿戴外壳中的显示器(例如，显示器510)、两个眼睛透镜(例如，眼睛透镜520)、眼睛跟踪相机(例如，眼睛跟踪相机540)，以及光源(例如，光源530(例如，IR或NIR LED))。光源朝向用户眼睛592发射光(例如，IR或NIR光)。在一些实施方案中，光源可围绕透镜中的每个透镜布置成环或圆圈，如图5中所示。在一些实施方案中，例如，八个光源530(例如，LED)围绕每个透镜520布置。然而，可使用更多或更少的光源530，并且可使用光源530的其他布置和位置。
在一些实施方案中，显示器510发射可见光范围内的光，并且不发射IR或NIR范围内的光，并且因此不会在注视跟踪系统中引入噪声。需注意，眼睛跟踪相机540的位置和角度以举例的方式给出，并且不旨在进行限制。在一些实施方案中，单个眼睛跟踪相机540位于用户面部的每一侧上。在一些实施方案中，可在用户面部的每一侧上使用两个或更多个NIR相机540。在一些实施方案中，可在用户面部的每一侧上使用具有较宽视场(FOV)的相机540和具有较窄FOV的相机540。在一些实施方案中，可在用户面部的每一侧上使用以一个波长(例如，850nm)操作的相机540和以不同波长(例如，940nm)操作的相机540。
如图5中所示的注视跟踪系统的实施方案可例如用于计算机生成的现实、虚拟现实和/或混合现实应用程序，以向用户提供计算机生成的现实、虚拟现实、增强现实和/或增强虚拟体验。
图6示出了根据一些实施方案的闪光辅助的注视跟踪流水线。在一些实施方案中，注视跟踪流水线通过闪光辅助的注视跟踪系统(例如，如图1和图5中所示的眼睛跟踪设备130)来实现。闪光辅助的注视跟踪系统可保持跟踪状态。最初，跟踪状态为关闭或“否”。当处于跟踪状态时，当分析当前帧以跟踪当前帧中的瞳孔轮廓和闪光时，闪光辅助的注视跟踪系统使用来自先前帧的先前信息。当未处于跟踪状态时，闪光辅助的注视跟踪系统尝试检测当前帧中的瞳孔和闪光，并且如果成功，则将跟踪状态初始化为“是”并且在跟踪状态下继续下一个帧。
如图6中所示，注视跟踪相机可捕获用户左眼和右眼的左图像和右图像。然后将所捕获的图像输入到注视跟踪流水线以用于在610处开始处理。如返回到元素600的箭头所指示的，注视跟踪系统可例如以每秒60至120帧的速率继续捕获用户眼睛的图像。在一些实施方案中，可以将每组所捕获的图像输入到流水线以用于处理。然而，在一些实施方案中或在一些条件下，不是所有所捕获的帧都由流水线处理。
在610处，对于当前所捕获的图像，如果跟踪状态为是，则方法前进到元素640。在610处，如果跟踪状态为否，则如620处所指示的，分析图像以检测图像中的用户瞳孔和闪光。在630处，如果成功检测到瞳孔和闪光，则方法前进到元素640。否则，方法返回到元素610以处理用户眼睛的下一个图像。
在640处，如果从元素610前进，则分析当前帧以部分地基于来自先前帧的先前信息来跟踪瞳孔和闪光。在640处，如果从元素630前进，则基于当前帧中检测到的瞳孔和闪光来初始化跟踪状态。检查元素640处的处理结果以验证跟踪或检测的结果可以是可信的。例如，可检查结果以确定是否在当前帧中成功跟踪或检测到用于执行注视估计的瞳孔和足够数量的闪光。在650处，如果结果不可能是可信的，则在元素660处，跟踪状态被设置为否，并且方法返回到元素610以处理用户眼睛的下一个图像。在650处，如果结果是可信的，则方法前进到元素670。在670处，跟踪状态被设置为YES(如果尚未为是)，并且瞳孔和闪光信息被传递到元素680以估计用户的注视点。
图6旨在用作可用于特定具体实施的眼睛跟踪技术的一个示例。如本领域普通技术人员所认识到的，根据各种实施方案，在用于向用户提供XR体验的计算机系统101中，当前存在或未来开发的其他眼睛跟踪技术可用于取代本文所述的闪光辅助的眼睛跟踪技术或与该闪光辅助的眼睛跟踪技术组合使用。
在本公开中，相对于与计算机系统的交互来描述各种输入方法。当使用一个输入设备或输入方法来提供示例，并且使用另一个输入设备或输入方法来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的输入设备或输入方法兼容并且任选地利用该输入设备或输入方法。类似地，相对于与计算机系统的交互来描述各种输出方法。当使用一个输出设备或输出方法来提供示例，并且使用另一个输出设备或输出方法来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的输出设备或输出方法兼容并且任选地利用该输出设备或输出方法。类似地，相对于通过计算机系统与虚拟环境或混合现实环境进行的交互来描述各种方法。当使用与虚拟环境的交互来提供示例时，并且使用混合现实环境来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的方法兼容并且任选地利用这些方法。因此，本公开公开了作为多个示例的特征的组合的实施方案，而无需在每个示例性实施方案的描述中详尽地列出实施方案的所有特征。
用户界面和相关联的过程
现在将注意力转到可在与显示生成部件和(任选地)一个或多个传感器(例如，相机)通信的计算机系统(诸如便携式多功能设备或头戴式设备)上实现的用户界面(“UI”)和相关联过程的实施方案。
本公开涉及用于在XR环境中表示用户的示例性过程。图7A至图7H和图8描绘了其中用户被登记以在XR环境中表示的示例。图9A至图9F、图10和图11描绘了其中在XR环境中呈现与虚拟化身相关联的各种视觉效果的示例。图12A至图12E、图13A至图13B和图14描绘了与在XR环境中表示的用户相关联的各种呈现模式的示例。如上文所描述，使用计算机系统(例如，图1中的计算机系统101)来实现本文公开的过程。
图7A至图7H描绘了用于登记用户700的特征的登记过程。登记过程涉及捕获表示用户700的各个方面的数据，诸如物理特征(例如，面部特征)、面部表情、特征移动、肤色、衣服和眼镜，或者可用于设计和/或操作XR环境中的用户700的显示表示的其他数据。在一些实施方案中，用户700可在XR环境中被表示为例如虚拟化身或音频表示，如下文关于图9A至图9F和图12A至图12E更详细讨论的。
图7A描绘了用户700握住电子设备701，该电子设备包括显示器702和相机703。用户700正在看着设备701并且佩戴眼镜707，穿着橙黄色衬衫709。电子设备701是计算机系统(例如，图1中的计算机系统101)。
在图7A中，设备701正在显示登记界面704，该登记界面用于引导用户700通过登记过程。登记界面704包括相机视图705，该相机视图示出了从相机703捕获的图像和/或深度数据的表示。在图7A所示的实施方案中，相机视图705包括用户700的表示700a(包括衬衫709的表示709a和用户700佩戴的眼镜707的表示707a)。登记界面704还包括指示用户700完成登记过程的各部分的各种提示，如下文更详细讨论的。
在图7A描绘的实施方案中，登记界面704包括提示706，该提示指示用户700保持他们的头部静止并且移动设备701以便扫描用户的面部，并且在一些实施方案中扫描用户身体的其他部分，诸如用户的头部。设备701通过收集表示用户的面部/头部的图像数据和/或深度数据来执行扫描。在一些实施方案中，该收集的数据在本文中被称为面部数据。另外，因为设备701检测到用户700佩戴眼镜，提示706还指示用户700摘下眼镜707，以便收集更准确地表示用户的面部和头部的轮廓的面部数据。在一些实施方案中，在登记界面704上显示的提示可包括另外的指令。例如，如果用户的长发覆盖了他们的头部或面部的部分，则提示可包括将他们的头发向后拉以露出头部/面部的隐藏部分(例如，耳朵)的指令。
图7B描绘了摘下眼镜707的用户700，并且移动设备701以扫描他们的面部，如提示706所指示的。在一些实施方案中，设备701指示用户保持他们的头部静止，以便减少用户面部上的任何潜在眩光的移动，该移动可能影响从扫描中收集的面部数据。登记界面704还包括进度指示符708，该进度指示符在设备701收集表示用户的面部和/或头部的面部数据时更新以示出扫描的进度。
图7C描绘了图7A和图7B中的面部/头部扫描的另选实施方案。在图7C所示的实施方案中，登记界面704包括提示710，该提示指示用户700在圆圈中移动他们的头部以完成面部/头部扫描。在该实施方案中，用户700将设备701保持在他们前面，同时移动他们的头部，使得头部的不同部分对于相机703是可见的，该相机在用户的面部/头部绕圆圈移动时从该用户的面部/头部捕获面部数据。
图7D至图7G描绘了登记过程的部分，其中提示用户执行各种面部表情，同时设备701捕获(例如，经由相机703)用户700的面部数据。设备701提示用户700做出不同的面部表情以便捕获表示这些面部表情中的每个面部表情的用户面部特征的移动和姿势的面部数据。该面部数据可用于(在一些实施方案中，与从面部/头部扫描获得的面部数据相结合)例如通知用于在XR环境中表示用户的虚拟化身的创建和操作。图7D至图7G中描绘的提示表示登记过程的示例性实施方案。这样，登记过程可包括更多数量的提示、使用不同的提示或者使用提示的不同组合以便获得用于登记用户700的身体特征的足够的面部数据。
在图7D中，设备701显示具有相机预览712(类似于相机预览705)和指示用户700微笑的提示714的登记界面704。在显示提示714之后，设备701评估所收集(例如，经由相机703)的面部数据，并且确定面部数据是否指示由用户做出的面部表情匹配在登记界面704中显示的提示。在设备701确定用户700正在做出所请求的面部表情(微笑)之后，设备701停止提示714的显示，并且例如通过显示确认指示716来确认用户做出了所请求的面部表情，如图7E中所示。
在图7F中，设备701显示具有相机预览712和提示718的登记界面704，提示用户700说出“啊”。在显示提示718之后，设备701评估所收集(例如，经由相机703)的面部数据，并且确定面部数据是否指示由用户做出的面部表情匹配在登记界面704中显示的提示。在设备701确定用户700正在做出所请求的面部表情(说出“啊”)之后，设备701停止提示718的显示，并且例如通过显示确认指示719来确认用户做出了所请求的面部表情，如图7G中所示。
在一些实施方案中，诸如在图7D和图7E中所描绘的那些实施方案，设备701在登记界面704中显示的提示是用于用户做出特定面部表情(诸如微笑)的指令。在一些实施方案中，诸如在图7F和图7G中描绘的那些实施方案，这些提示是用于用户说出特定短语或词语的指令，诸如说出“啊”。图7D至图7G中描绘的实施方案是设备701可用来登记用户特征的特定提示的示例，并且不旨在为限制性的。例如，这些提示可包括做出不同面部表情(诸如皱眉、斜眼和/或惊讶表情)的指令。类似地，这些提示可包括说出其他短语和/或词语的指令。当用户的面部特征在做出所请求的面部表情或说出所请求的词语或短语的同时摆出姿势和/或移动时，设备701捕获面部特征的移动/摆出姿势并检测通过面部特征的移动/摆出姿势露出的附加面部特征，并且使用所捕获的面部数据来登记用户的特征，诸如用户的面部、嘴部、舌头、嘴唇、鼻部等，使得那些特征可在XR环境中被适当地表示。例如，通过指示用户微笑或说出“啊”，设备701可确定用户的牙齿的外观、用户嘴唇的移动、用户是否有酒窝以及对于建模和/或控制准确地反映XR环境中的用户的物理特征的化身的移动有用的其他信息。
如图7H中所示，在设备701从用户的面部表情捕获面部数据之后，设备701显示具有提示720的登记界面704，该提示指示用户700选择各种外观选项并且然后使用单独的设备(例如，头戴式耳机)来扫描用户700的其他物理特征(例如，手部)。登记界面704中所示的不同外观选项包括高度选项722、表示选项724和眼镜选项726。下文更详细地讨论了这些外观选项中的每个外观选项。
高度选项722是可调整的以指示用户700的高度。在一些实施方案中，省略了高度选项722，并且基于从其他源收集的数据来确定用户700的高度，该其他源诸如头戴式耳机、传感器、可穿戴设备或能够接近用户高度的其他部件。
表示选项724包括音频选项724a和化身选项724b。这些表示选项是可选择的以确定用于在XR环境中表示用户700的呈现模式。当选择了音频选项724a时，用户700在XR环境中由音频表示来表示。当选择了化身选项724b时(如图7H中所描绘的)，用户700在XR环境中由虚拟化身表示。下文关于图9A至图9F和图12A至图12E更详细地讨论了不同的表示选项。
眼镜选项726包括无眼镜选项726a、矩形框架选项726b、半透明框架选项726c和头戴式耳机选项726d。眼镜选项726用于定制用于在XR环境中表示用户700的化身的外观。例如，化身在XR环境中被描绘为具有与所选择的眼镜选项相对应的眼镜。如果没有选择眼镜选项726a，则化身被描绘为没有眼镜。类似地，如果选择头戴式耳机选项726d，则化身被描绘为具有头戴式耳机设备(例如，HMD)。在一些实施方案中，眼镜选项726仅在选择了化身选项724b时被显示或任选择。眼镜选项726可由用户700手动选择或由设备701自动选择。例如，如果设备701确定用户700在登记过程期间的任何时刻都没有佩戴眼镜，则设备701自动地不选择眼镜选项726a。类似地，如果设备701确定用户700在登记过程期间的任何时刻都佩戴眼镜，则设备701自动选择眼镜选项(或创建眼镜选项)，该眼镜选项任选地匹配在登记期间在用户身上检测到的眼镜。在图7H中描绘的实施方案中，设备701检测到用户眼镜707，并且因此检测到所选择的矩形框选项726b，其在风格上类似于眼镜707。
当选择了期望的外观选项时，用户700可选择继续示能表示728以开始使用单独的设备登记他们身体的其他部分。例如，用户可戴上头戴式耳机设备(例如，诸如上文关于显示生成部件120所讨论的HMD)并且使用该头戴式耳机(具体地，与头戴式耳机集成的一个或多个相机)，接着收集用户700的其他物理特征(例如，用户的手部、脚部、躯干、手臂、肩部等)的图像和/或深度数据。又如，用户可使用另一设备(诸如图9A中所示的电子设备901)来收集用户700的其他物理特征的图像和/或深度数据。在一些实施方案中，可使用单独的设备(例如，头戴式耳机或设备901)来显示另外的提示。例如，可在头戴式耳机设备的显示部件上显示指示用户弯曲他们的手指的提示，同时头戴式耳机设备的相机捕获用户的手部和手指的数据。类似于经由设备701收集的面部数据，从单独的设备收集的数据被用来登记用户700的特征，这些特征可被用来创建、建模、和/或控制用来在XR环境中表示用户700的化身的各种特征。
在图7A至图7H所示的实施方案中，设备701是智能电话。然而，在一些实施方案中，可以使用用于与用户和/或XR环境交互的其他设备或部件(诸如图1中的计算机系统101或图9A中的设备901)来执行登记过程。这样的设备可用于代替设备701，或者作为该设备的补充。
关于图7A至图7H的附加描述参见下文关于图8描述的方法800。
图8是根据一些实施方案的用于登记计算机系统的用户的一个或多个特征的示例性方法800的流程图。方法800发生在计算机系统(例如，101；701)(例如，智能电话、平板电脑、头戴式显示生成部件)处，该计算机系统与显示生成部件(例如，702)(例如，视觉输出设备、3D显示器、具有可在其上投影图像的至少透明或半透明部分的显示器(例如，透视显示器)、投影仪、平视显示器、显示控制器)和一个或多个相机(例如，703)(例如，红外相机；深度相机；可见光相机)通信。
在包括经由该一个或多个相机(例如，703)捕获用户(例如，700)的面部数据(例如，表示用户面部的一个或多个特征的大小、形状、位置、姿势、颜色、深度或其他特性的数据(例如，图像数据、传感器数据、和/或深度数据))的登记过程期间，计算机系统(例如，701)经由显示生成部件(例如，702)显示(802)用于登记用户(例如，700)的一个或多个特征(例如，生物识别特征；面部；头部；头部和/或面部的特征，诸如头发、眼睛、鼻部、耳朵、嘴部、眉毛、面部头发、皮肤等；特征的特性，诸如头发颜色、头发纹理、发型、眼睛颜色、肤色等；穿着，诸如帽子、眼镜、衬衫等)的登记界面(例如，704)。
作为显示用于登记用户(例如，700)的一个或多个特征的登记界面(例如，704)的一部分，计算机系统(例如，701)输出(804)将用户的面部特征中的第一组一个或多个面部特征定位在第一预定义的一组一个或多个面部表情中的第一提示(例如，706；710；714；718)(例如，视觉、听觉和/或触觉提示)(例如，提示用户做出特定面部表情(例如，微笑、斜眼、惊讶表情等)和/或说出特定短语或词语)。
作为显示用于登记用户(例如，700)的一个或多个特征的登记界面(例如，704)的一部分，计算机系统(例如，701)输出(806)将用户的面部特征中的第二组一个或多个面部特征(在一些实施方案中，该第二组一个或多个面部特征包括来自第一组的一个或多个面部特征)定位在不同于第一预定义的一组一个或多个面部表情的第二预定义的一组一个或多个面部表情中的第二提示(例如，706；710；714；718)(例如，提示用户做出不同的特定面部表情和/或说出不同的特定短语或词语)。输出将用户的面部特征中的第一组一个或多个面部特征定位在第一预定义的一组一个或多个面部表情中的第一提示以及输出将用户的面部特征中的第二组一个或多个面部特征定位在不同于第一预定义的一组一个或多个面部表情的第二预定义的一组一个或多个面部表情中的第二提示，这种做法通过向计算机系统的用户提供反馈来提高登记过程的速度和准确度，该反馈指示用于移动用户的面部以便获得用于登记用户的一个或多个特征的面部数据的特定组指令。提供改进的反馈增强了计算机系统的可操作性，提高了登记过程的速度和准确度，并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，第一预定义的一组一个或多个面部表情是特定面部表情(例如，微笑)，并且第二预定义的一组一个或多个面部表情是特定短语或词语(例如，“啊”)，反之亦然。
在一些实施方案中，计算机系统(例如，701)根据确定不满足第一组登记标准(例如，第一组面部数据尚未被捕获(例如，在预先确定的时间段内尚未被捕获))来输出第一提示(例如，714)。在一些实施方案中，计算机系统根据确定满足第一组登记标准并且不满足第二组登记标准(例如，第一组面部数据已被捕获，并且第二组面部数据尚未被捕获(例如，在预先确定的时间段内尚未被捕获))来输出第二提示(例如，718)。根据确定不满足第一组登记标准来输出第一提示以及根据确定满足第一组登记标准并且不满足第二组登记标准来输出第二提示，这种做法向计算机系统的用户提供了指示用户是否已经满足用于移动用户面部以便获得用于登记用户的一个或多个特征的面部数据的标准的反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，在输出第一提示(例如，714)之后，计算机系统(例如，701)经由一个或多个相机(例如，703)捕获用户(例如，700)的第一组面部数据(例如，在用户做出第一面部表情的同时捕获用户的面部数据(例如，将第一组一个或多个面部特征定位在第一预定义的一组一个或多个面部表情中))。在一些实施方案中，在输出第二提示(例如，718)之后，计算机系统经由一个或多个相机捕获用户的第二组面部数据(例如，在用户做出第二面部表情的同时捕获用户的面部数据(例如，将第二组一个或多个面部特征定位在第二预定义的一组一个或多个面部表情中))。
在一些实施方案中，在(例如，响应于)经由一个或多个相机(例如，703)捕获用户(例如，700)的第一组面部数据之后(在一些实施方案中，并且根据确定用户的第一组面部数据满足第一组表情标准(例如，数据被标识为对应于第一类型的面部表情(例如，微笑；对应于第一提示的表情))，计算机系统(例如，701)停止第一提示的显示(例如，不再显示提示714，如图7E中所描绘的)。在一些实施方案中，在(例如，响应于)经由一个或多个相机捕获用户的第二组面部数据之后(在一些实施方案中，并且根据确定用户的第二组面部数据满足第二组表情标准(例如，数据被标识为对应于第二类型的面部表情(例如，皱眉；对应于第二提示的表情))，计算机系统(例如，701)停止第二提示的显示(例如，不再显示提示718，如图7G中所描绘的)。在捕获第一组面部数据之后停止第一提示的显示并且在捕获第二组面部数据之后停止第二提示的显示，这种做法向计算机系统的用户提供了指示用户已经满足用于移动用户的面部以便获得用于登记用户的一个或多个特征的面部数据的特定组指令(例如，第一提示中的指令和第二提示中的指令)的反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，第一预定义的一组一个或多个面部表情选自微笑、皱眉、斜眼和惊讶表情(例如，嘴部和眼睛张大，挑眉)组成的组(例如，如图7D中的提示714所示)。
在一些实施方案中，第二提示(例如，718)包括提示用户(例如，700)说出一组一个或多个词语(例如，词语或短语(例如，如图7F中的提示718所指示的“说‘啊’”))。在一些实施方案中，指示用户说出特定的词语或短语，使得用户的面部在说话时将实现特定的面部表情，并且计算机系统(例如，701)在用户说话的同时捕获用户的面部数据。
在一些实施方案中，作为显示用于登记用户(例如，700)的一个或多个特征的登记界面(例如，704)的一部分，计算机系统(例如，701)输出改变用户的头部的位置的第三提示(例如，706；710)(例如，视觉、听觉和/或触觉提示)(例如，移动用户的头部使得头部的不同部分在一个或多个相机(例如，703)的视场内的提示)。输出改变用户的头部的位置的第三提示向计算机系统的用户提供了指示用于移动用户的头部以便获得用于登记用户的一个或多个特征的面部数据的特定组指令的反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，计算机系统(例如，701)在第一提示(例如，714)或第二提示(例如，718)中的至少一者之前输出第三提示(例如，706；710)(例如，在移动用户的头部的提示之后输出针对不同面部表情的提示)。
在一些实施方案中，作为显示用于登记用户(例如，700)的一个或多个特征的登记界面(例如，704)的一部分，计算机系统(例如，701)输出改变一个或多个相机(例如，703)相对于用户的头部的位置同时保持用户的头部静止(例如，围绕用户的头部移动一个或多个相机而不移动用户的头部的提示)的第四提示(例如，706)(例如，视觉、听觉和/或触觉提示)。输出改变一个或多个相机相对于用户的头部的位置同时保持用户的头部静止的第四提示向计算机系统的用户提供了指示用于相对于用户的头部移动一个或多个相机以便在获得用于登记用户的一个或多个特征的面部数据的同时减少眩光的影响的特定组指令的反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。在一些实施方案中，移动用户的头部使得眩光在用户的头部移动的同时在头部上移动。眩光位置的变化可能会导致面部数据捕获出现问题。因此，为了避免这些问题，计算机系统(例如，701)提示用户(例如，700)移动相机(例如，703；701)而不移动用户的头部，从而允许相机从不同角度捕获用户的头部的面部数据而不改变相对于用户的头部的任何眩光的位置。
在一些实施方案中，作为显示用于登记用户(例如，700)的一个或多个特征的登记界面(例如，704)的一部分，计算机系统(例如，701)输出指示用户的高度的第五提示(例如，722)(例如，视觉、听觉和/或触觉提示)。输出指示用户的身高的第五提示向计算机系统的用户提供了指示用于提供登记用户的一个或多个特征的数据的特定组指令的反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。在一些实施方案中，结合输出第五提示，计算机系统显示用于输入高度的一个或多个用户界面对象(例如，文本输入字段；虚拟键盘或小键盘；滑动条)。
在一些实施方案中，作为显示用于登记用户(例如，700)的一个或多个特征的登记界面(例如，704)的一部分，计算机系统(例如，701)输出从用户的面部摘下一组眼镜(例如，707)(例如，眼镜；框架眼镜；带框架的矫正镜片；带框架的装饰性镜片；带框架的防护镜片)达登记过程的至少一部分的时间的第六提示(例如，706)(例如，视觉、听觉和/或触觉提示)。输出从用户的面部摘下一组眼镜达登记过程的至少一部分的时间的第六提示向计算机系统的用户提供了指示用于消除佩戴眼镜的影响同时获得用于登记用户的一个或多个特征的面部数据的特定组指令的反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。在一些实施方案中，根据确定用户当前佩戴该组眼镜(例如，基于由该一个或多个相机捕获的数据)来输出第六提示。
在一些实施方案中，使用在登记过程期间捕获的面部数据的至少一部分来生成化身(例如，在计算机系统(例如，701)处；在另一计算机系统(例如，下文讨论的901和/或901a)处)。在一些实施方案中，使用与计算机系统(例如，701)不同的外部计算机系统(例如901；901a)(例如，与用于执行登记过程的计算机系统不同的计算机系统)(例如，用于在增强现实、虚拟现实和/或扩展现实环境中进行交互的头戴式耳机设备)来显示化身(例如，下文讨论的919和/或1220)。在一些实施方案中，使用第一设备(例如，701)(例如，智能电话)来执行登记过程，并且使用不同的设备(例如，901a)(例如，头戴式耳机设备)来显示从登记过程生成的化身(例如，在扩展现实环境中)。在一些实施方案中，使用用于登记过程的不同设备允许计算机系统将特定的登记任务转移到被配备为更方便地促进那些任务的设备。
在一些实施方案中，作为显示用于登记用户(例如，700)的一个或多个特征的登记界面(例如，704)的一部分，计算机系统(例如，701)输出捕获用户的非面部特征的姿势的第七提示(例如，720)(例如，视觉、听觉和/或触觉提示)(例如，登记非面部特征诸如耳朵、手臂、手部、上身等的提示)。输出捕获用户的非面部特征的姿势的第七提示向计算机系统的用户提供了指示用于登记用户的一个或多个非面部特征的特定组指令的反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，如果用户的头发覆盖他们的耳朵，则提示(例如，706；710；714；718；720)指示用户将他们的头发向后拉以露出耳朵，使得耳朵可被扫描(例如，捕获表示耳朵的大小、形状、位置、姿势、颜色、深度或其他特性的数据)。在一些实施方案中，提示(例如，720)指示用户佩戴设备(例如，头戴式耳机)以捕获非面部特征的姿势。例如，用户(例如，700)被指示戴上头戴式耳机来扫描他们的手部。在一些实施方案中，提示用户在登记期间移动非面部特征。例如，用户被指示弯曲他们的手指，同时扫描他们的手部。
需注意，上文参考方法800(例如，图8)所述过程的详情也以类似方式适用于下文所述的方法1000、1100、1300和1400。例如，方法1000、1100、1300和/或1400任选地包括上文参考方法800所述的各种方法的特性中的一个或多个特性。为了简明起见，这些详情在下文中不再重复。
图9A至图9F、图10和图11描绘了其中在XR环境中呈现与虚拟化身相关联的各种视觉效果的示例。
图9A描绘了用户700握住电子设备901，该电子设备是用于查看XR环境的计算机系统(例如，图1中的计算机系统101)。设备901包括相机904(例如，后置相机)以及如图9B中所示的显示器902和相机903(例如，前置相机)。在一些实施方案中，相机904用于捕获物理环境的图像和/或深度数据以用于使用显示器902来渲染XR环境。例如，在图9A中，用户700将手部700-1定位在相机904的视场内，以用于与XR环境交互。在一些实施方案中，设备901是平板电脑。然而，设备901可以是能够查看XR环境的一个或多个另选电子设备，诸如智能电话或头戴式耳机设备。
图9B示出了显示描绘XR环境的界面的设备901和设备901a。设备901a类似于设备901并且包括与设备901类似的特征，包括显示器902a、相机903a以及在一些实施方案中定位在设备901a的相对侧上的类似于相机904的相机。设备901a由第二用户(例如，由设备901上的化身922和设备901a上的渲染918-1表示的用户)用来查看XR环境。在一些实施方案中，用户700和第二用户处于相同的物理环境中(例如，相同的房间)。在一些实施方案中，用户700和第二用户处于不同的物理环境中(例如，不同的房间或地理位置)。
设备901经由显示器902显示XR界面906，该XR界面是用于查看XR环境905的XR会话的界面。XR界面906包括使用经由相机904捕获的图像和/或深度数据的XR环境905的渲染(例如，相机904当前被选择用于捕获用于渲染XR环境的图像/深度数据)。XR界面906任选地包括控制选项907和相机预览908。控制选项907能够被选择以执行各种操作，诸如使音频(例如，设备901处的音频)静音、翻转相机视图(例如，从包括从相机904捕获的数据的视图切换到包括从相机903捕获的数据的视图)，以及终止XR会话。相机预览908提供了在当前未被选择用于捕获用于渲染XR环境的数据的相机的视场内捕获的数据的渲染。例如，在图9B中，相机预览908提供了经由相机903捕获的用户700的渲染908-1。
设备901显示具有物理对象的表示的XR环境905，这些物理对象物理地存在于用户700的物理环境中并且位于相机904的视场内。物理对象的表示包括瓶子910、桌子912和用户的手部914(具有手指914-1至914-5)(用户700的手部700-1位于相机904的前面，如图9A所示)。在图9B所描绘的实施方案中，物理对象的表示被显示为物理环境的透传视频。例如，在一些实施方案中，手部914是手部700-1的透传视频馈送源。在一些实施方案中，设备901包括透明显示部件，并且物理对象由于其透明特性而通过透明显示部件可见。在一些实施方案中，当设备901在完全虚拟模式(例如，VR模式)下操作时，设备901将物理对象渲染为虚拟对象。例如，在这样的实施方案中，手部914是用户手部700-1的虚拟表示。手部914(和/或手指914-1至914-5)的位置、姿势、移动或其他方面是基于用户的物理手部700-1的对应位置、姿势、移动或其他方面来确定的。然而，为了简单起见，当描述用户的物理手部914-1和/或用户的物理手指的对应位置、姿势、移动或其他方面时，有时参考手部914(和/或手指914-1至700-5)。
设备901还显示具有由设备901在XR环境中渲染的虚拟对象的XR环境905。虚拟对象包括突出显示920和化身922。化身922是第二用户在XR环境905中的表示(例如，虚拟表示)。在一些实施方案中，化身922基于在设备901和/或设备901a处接收和/或由其获得的数据在设备901处被渲染。突出显示920是围绕位于相机904的视场内并且在显示器902上渲染的用户手部914的一部分的周边显示的视觉手部效果(例如，视觉指示符)。所显示的视觉手部效果(诸如突出显示920和下文讨论的其他效果)指示设备901将用户手部914辨识为手部。这向用户700提供了指示设备901正在辨识手部700-1并因此对手部的移动作出响应的反馈。下文描述了突出显示920的各种属性。然而，应当理解，除非另外指明，否则这些属性以类似方式适用于本文所述的其他视觉手部效果。
当用户手部700-1在相机904的视场内移动时，设备901显示随手部914移动的突出显示920。在一些实施方案中，所显示的突出显示920的量基于在显示器902上可见的手部914的量而改变。例如，随着用户手部700-1的更多部分移动到相机904的视场中，在显示器902上显示更大量的手部914，并且随着其在屏幕上移动得更远，围绕手部914的周边显示更大量的突出显示920。类似地，随着用户手部700-1移出相机904的视场，显示在显示器902上的手部914的量减少，并且当手部914移出屏幕时围绕其周边显示较少的突出显示920。在一些实施方案中，当用户操纵他们的手部700-1的姿势(例如，握拳、做出抓握手势、交叉他们的手指等)时，突出显示920适应于手部914的周边在手部姿势被操纵时的变化。在一些实施方案中，除了高亮显示920之外或作为其替代，设备901显示其他视觉手部效果。下文更详细地讨论了这些其他视觉手部效果，包括参考图9C至图9F、图10和图11。
设备901a显示类似于XR界面906的XR界面916。XR界面916包括控制选项917(类似于控制选项907)和相机预览918(类似于相机预览908)，该XR界面提供了经由相机903a捕获的第二用户的渲染918-1。XR界面916描绘了XR环境915，该XR环境为在显示器902a上渲染并且在XR会话期间向第二用户显示的XR环境。
如图9B中所描绘的，设备901a显示具有化身919的XR环境915。化身919是用户700在XR环境915中的表示。在本文描绘的实施方案中，化身919是具有虚拟特征诸如虚拟衬衫919-1和虚拟手部919-2的虚拟化身。在图9B中描绘的实施方案中，XR环境915不包括在设备901上描绘的物理对象的表示(例如，第二用户处于与用户700不同的物理环境中)。如图9B至图9F中所描绘的，设备901b显示具有化身919的XR环境915，该化身具有化身手部919-2，其为用户手部700-1的虚拟表示(例如，类似于手部914)，但不在化身手部919-2上显示视觉手部效果(例如，突出显示920)。
在一些实施方案中，基于配置文件设置、外观设置、登记数据和/或在设备901处获得的数据(例如，从设备901的一个或多个相机/传感器收集的指示用户700(或其部分(例如，700-1))的位置、姿势、外观等的数据)来确定化身919的外观的一个或多个属性。在一些实施方案中，从设备901收集的数据被传输到设备901a并且被用于确定化身919的外观的各种属性或XR环境915的其他方面。在一些实施方案中，基于从设备901a收集的数据来确定化身919的外观的一个或多个属性。例如，如果用户700和第二用户在同一房间中，则设备901a可基于用户700在设备901a的相机的视场内的姿势来确定化身919的姿势，如下文更详细讨论的。
在一些实施方案中，如上文关于图7A至图7H所讨论的，化身919的部分可从用户700的登记中导出。例如，在图9B中，化身919被描绘为穿着衬衫919-1，其表示用户700在登记过程期间所穿着的相同橙黄色衬衫709，即使用户700当前正在穿着不同的衬衫，如图9A和预览908-1中所示。在一些实施方案中，化身919具有基于由用户700选择的各种外观设置确定的外观。例如，化身919未被描绘为佩戴眼镜，因为用户700没有选择上文关于图7H所讨论的眼镜选项726a。
在一些实施方案中，基于使用例如设备901实时收集的数据来确定化身919的外观。例如，化身919被描绘成其左手抬起以对用户手部914的姿势建模，这基于使用设备901的相机904检测到的用户手部700-1的位置。在一些实施方案中，化身919可具有基于从其他源(诸如设备901的相机903)收集的数据确定的外观(例如，姿势)。例如，当用户700张开他们的嘴部时，相机903检测到张开的嘴部。该数据被传送到设备901a，该设备然后以类似方式显示张开嘴部的化身919。又如，设备901可从经由相机903收集的数据确定用户700正佩戴眼镜，并且作为响应，更新化身外观设置以选择化身919的眼镜外观选项(例如，选项726b)。对外观设置的更新随后被设备901a检测到，该设备随后更新化身919的显示以包括所选择的眼镜。
图9C描绘了类似于图9B中的实施方案的实施方案，不同之处在于用户700已将其手部700-1朝向瓶移动(如由手部914相对于瓶910的位置所描绘的)，并且视觉手部效果现在被描绘为位于手指914-1至914-5的指尖上的突出显示的点指示符930。响应于检测到的用户手部700-1的移动，设备901更新XR界面906的显示以描绘手部914伸向瓶910，并且设备901a更新XR界面916的显示以描绘化身919以类似方式移动化身手部919-2。
类似于突出显示920，突出显示的点指示符930是基于用户手部700-1的移动(具体地，手指的移动)而改变的视觉手部效果。设备901在手部914的手指914-1至914-5的尖端处显示突出显示的点指示符930。当指尖移动时，点指示符930相应地移动。
在一些实施方案中，设备901响应于检测到由用户手部700-1执行的特定手势而修改所显示的视觉手部效果。例如，在图9D中，用户700用手部700-1执行捏合手势，如手部914所描绘的。响应于检测到捏合手势，设备901增加突出显示的点指示符930-1和930-2的显示尺寸和亮度。对视觉手部效果的修改向用户700提供了指示该姿势被设备901辨识的反馈。在一些实施方案中，设备901通过执行与手势相关联的一个或多个操作(而不是修改点指示符930-1和930-2)来对手势作出响应。
如图9D中所描绘的，设备901a修改XR界面916的显示以描绘化身919执行捏合手势，但不显示视觉手部效果。
在图9E中，设备901检测到用户700握住瓶，并且作为响应，显示握住瓶910的手部914。在图9E和图9F中描绘的实施方案中，视觉手部效果现在显示为出现在手部914的手指上的颗粒940。如图9F中所示，当用户手部移动时，颗粒随着移动的手指拖动。在一些实施方案中，颗粒940具有动画外观，在手部914的相应手指周围移动或移位。
如上文所讨论的，从设备901和/或设备901a收集的数据可用于确定用户700的姿势。类似地，这样的数据可用于确定用户700正握住物理对象，即瓶910。响应于确定用户正握住物理对象，设备901a更新XR界面916的显示以将渲染的瓶945包括在化身919的手部919-2中。渲染的瓶945是由用户700持有的物理瓶的表示，其不具有与瓶910相同的外观。例如，渲染的瓶945被显示为具有与瓶910不同的形状。另外，在图9E中显示渲染的瓶945，该渲染的瓶具有将其与化身919区分开的改变的视觉特性(例如，由影线947表示)。
在一些实施方案中，视觉特性包括模糊量、不透明度、颜色、视觉平滑、衰减、颗粒密度、分辨率或其他视觉参数中的一者或多者。通过将渲染的瓶945的视觉特性中的一个或多个视觉特性与化身919的视觉特性(例如，化身手部919-2)进行对比，改变的视觉特性将渲染的瓶945的外观与化身919的外观区分开。例如，渲染的瓶945可以比化身919更大(或更小)的模糊来显示。又如，渲染的瓶945可被显示为具有低量的颗粒密度，使得渲染的瓶945看起来是颗粒的松散集合，当与用具有更少和/或更小间隙的密集堆积的颗粒来呈现的化身919相比时，在形成瓶的颗粒之间具有更多和/或更大间隙。又如，渲染的瓶945可以比化身919更少的视觉平滑来显示。又如，渲染的瓶945可被显示为具有比化身919更大像素化的外观。应当理解，改变的视觉特性的前述示例可以关于渲染的瓶和化身进行切换。例如，代替以更大的像素化来显示渲染的瓶945，渲染的瓶945可被显示为具有比化身919更少像素化的外观。
当用户700移动物理瓶时，设备901和901a基于检测到的移动来修改它们的相应XR界面。例如，当用户700倾斜图9F中的瓶时，设备901检测到相机904的视场内的移动，并且作为响应，更新XR界面906以显示手部914相应地倾斜瓶910。当手部914移动时，设备901还显示与手部914的手指一起移动并且具有由颗粒940-1指示的拖尾效果的颗粒940。
设备901a基于检测到的用户手部700-1和瓶的移动来修改化身919和渲染的瓶945的显示(例如，渲染的瓶945的位置)。在一些实施方案中，设备901a在移动时显示具有图9E中所描绘的外观(例如，形状和改变的视觉特性)的渲染的瓶945。
在一些实施方案中，设备901a显示具有基于图像数据(例如，图像、视频等)库或其他数据生成的外观的渲染的瓶，该其他数据未从设备901接收，并且可用于生成正由用户700握住的物理对象的渲染。在图9F中描绘的实施方案中，设备901a用渲染的瓶948替换渲染的瓶945。渲染的瓶948具有与瓶910(以及渲染的瓶945)不同的形状，因为渲染的瓶948是基于图像数据的库而不是针对物理瓶捕获的数据(例如，图像数据)来呈现的。在一些实施方案中，渲染的瓶948具有真实的外观。在一些实施方案中，渲染的瓶948具有改变的视觉特性。在一些实施方案中，渲染的瓶948具有与化身919相同的视觉特性。
在一些实施方案中，设备901基于用户手部700-1的位置、姿势或形状来选择性地显示视觉手部效果(例如，突出显示920、点指示符930、颗粒940)。例如，在一些实施方案中，设备901不显示视觉手部效果，除非用户手部700-1在相机(例如，相机904)视场的预定义区域内，或者如果手部以其他方式被确定为是相关的(例如，用户正在看着他们的手部)。在一些实施方案中，根据当前启用的视觉手部效果和用户手部700-1的姿势，设备901不显示视觉手部效果。例如，如果用户手部是拳头形状，则不显示用户的指尖，并且因此设备901不在手部的指尖上显示点指示符930。在一些实施方案中，当手部700-1具有特定姿势(例如，拳头)或以其他方式被确定为与特定场景不相关时，设备901不显示任何视觉手部效果。
在一些实施方案中，设备(例如，设备901)是头戴式耳机设备，并且/或者相机(例如，相机904)具有从显示器(例如，显示器902)偏移(例如，竖直地)的位置，并且视觉手部效果被显示为具有预测的视线，使得视觉手部效果与用户的视线对准，以便当在显示器上查看视觉手部效果时看起来定位在用户手部上。
关于图9A至图9F的附加描述参见下文关于图10和图11描述的方法1000和1100。
图10是根据一些实施方案的用于在XR环境中在虚拟化身的手部上显示视觉指示符的示例性方法1000的流程图。该方法发生在计算机系统(例如，101；901)(例如，智能电话、平板电脑、头戴式显示生成部件)处，该计算机系统与显示生成部件(例如，902)(例如，视觉输出设备、3D显示器、具有可在其上投影图像的至少透明或半透明部分的显示器(例如，透视显示器)、投影仪、平视显示器、显示控制器)和一个或多个传感器(例如，903；904)(例如，红外相机；深度相机、可见光相机)通信。
计算机系统(例如，901)经由显示生成部件(例如，902)显示(1002)用户特征指示符界面(例如，906)。用户特征指示符界面包括(1004)一组一个或多个视觉指示符(920；930；940)(例如，虚拟对象和/或视觉效果)，该组一个或多个视觉指示符对应于用户(例如，700)的手部(例如，700-1；914)(例如，计算机系统的用户的手部)的一组一个或多个特征(914-1；914-2；914-3；914-4；914-5)(例如，手部；手部的一部分；一个或多个手指；一个或多个手指的一个或多个部分(例如，指尖、指节))在物理环境中的检测到的位置(例如，该位置经由该一个或多个传感器被检测到)。该组一个或多个视觉指示符被显示在扩展现实环境(例如，905)中并且具有第一显示位置，该第一显示位置对应于(例如，共定位；基于；重叠)用户手部(例如，700-1)的该组一个或多个特征在物理环境中的第一检测到的位置(例如，在图9B中围绕手部914显示的920；在图9C中的手指914-1至914-5上显示的930；在图9E中的手指914-5上显示的940)。在一些实施方案中，该组一个或多个视觉指示符被显示在界面中，以便从用户的视角重叠(例如，覆盖)第一检测到的位置，以便在用户看来被定位在用户手部的该组一个或多个特征中的至少一个特征上。在一些实施方案中，计算机系统在用户与用户手部(或其部分)之间的用户的视线(例如，预测的/估计的视线)中显示视觉指示符，以便在用户看来在扩展现实环境中定位在用户手部(或其部分)上。在一些实施方案中，使用该一个或多个传感器来检测用户手部的位置，并且用户的视角是与捕获用户手部在物理环境中的位置的该一个或多个传感器(例如，相机)的视角不同的视线视角。
计算机系统(例如，901)经由一个或多个传感器(例如，904)检测(1006)用户(例如，700)的手部(例如，700-1；914)的该组一个或多个特征中的用户的手部的至少一个特征(例如，914-1；914-2；914-3；914-4；914-5)的移动(例如，位置变化；姿势变化；手势等)。在一些实施方案中，计算机系统接收到指示用户手部的至少一部分在物理环境中的位置变化(例如，物理位置、定向、手势、移动等)的数据(例如，深度数据、图像数据、传感器数据(例如，来自相机的图像数据))。
响应于检测到用户(例如，700)的手部(例如700-1；914)的该组一个或多个特征中的用户的手部的至少一个特征(例如914-1；914-2；914-3；914-4；914-5)的移动，计算机系统(例如，901)更新(1008)用户特征指示符界面(例如，906)的显示。
作为更新用户特征指示符界面(例如，906)的显示的一部分，并且根据确定用户(例如，700)的手部(例如，914)的该组一个或多个特征(例如，914-1；914-2；914-3；914-4；914-5)移动(在一些实施方案中，从第一检测位置)到物理环境(例如，图9D)中的第二检测位置(例如，检测到用户手部从物理环境中的第一位置移动到物理环境中的第二位置)，计算机系统(例如，901)经由显示生成部件(例如，902)在扩展现实环境中显示(1010)具有第二显示位置的该组一个或多个视觉指示符(例如，920；930；940)，该第二显示位置与用户手部的该组一个或多个特征在物理环境中的第二检测到的位置对应。在一些实施方案中，显示该组一个或多个视觉指示符包括显示移动的视觉指示符中的一个或多个视觉指示符，以便在用户看来与用户手部的一个或多个特征一致地移动。在一些实施方案中，该组一个或多个视觉指示符被显示为定位在界面中，以便从用户的视角重叠(例如，覆盖)第二检测到的位置，以便在用户看来被定位在用户手部的该组一个或多个特征中的至少一个特征上。
作为更新用户特征指示符界面(例如，906)的显示的一部分，并且根据确定用户(例如，700)的手部(例如，914)的一个或多个特征(例如，914-1；914-2；914-3；914-4；914-5)移动(在一些实施方案中，从第一检测位置)到物理环境中不同于第二检测位置(例如，图9E)的第三检测位置，计算机系统(例如，901)经由显示生成部件(例如，902)在扩展现实环境中显示(1012)具有第三显示位置的该组一个或多个视觉指示符(例如，920；930；940)，该第三显示位置与用户手部的该组一个或多个特征在物理环境中的第三检测到的位置对应，其中扩展现实环境中的第三显示位置不同于扩展现实环境中的第二显示位置。在扩展现实环境中显示具有与用户手部的该组一个或多个特征在物理环境中的第二检测到的位置或第三检测到的位置相对应的第二显示位置或第三显示位置的该组一个或多个视觉指示符，这种做法向计算机系统的用户提供了指示用户手部的该组一个或多个特征的检测到的位置的反馈，并且通过考虑用户手部的该组一个或多个特征在物理环境中的移动来增加扩展现实环境中所显示的视觉指示符的准确度。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，作为检测用户(例如，700)的手部(例如，914)的该组一个或多个特征中的用户的手部的至少一个特征(例如914-1；914-2；914-3；914-4；914-5)的移动的一部分，计算机系统(例如，901)检测(例如，经由该一个或多个传感器(例如，904))用户的手部的该组一个或多个特征中的用户的手部的该至少一个特征的移动的幅度和/或方向。在一些实施方案中，在扩展现实环境中显示具有第二显示位置的该组一个或多个视觉指示符(例如，920；930；940)包括显示从第一显示位置移动到第二显示位置的该组一个或多个视觉指示符，其中从第一显示位置到第二显示位置的移动基于(例如，移动的特性(例如，速度、幅度、方向)基于)用户的手部的该组一个或多个特征中的用户的手部的至少一个特征的移动的所检测到的幅度和/或方向。在一些实施方案中，在扩展现实环境中显示具有第三显示位置的该组一个或多个视觉指示符包括显示从第一显示位置移动到第三显示位置的该组一个或多个视觉指示符，其中从第一显示位置到第三显示位置的移动基于(例如，移动的特性(例如，速度、幅度、方向)基于)用户的手部的该组一个或多个特征中的用户的手部的至少一个特征的移动的所检测到的幅度和/或方向。基于用户的手部的该组一个或多个特征中的用户的手部的至少一个特征的移动的所检测到的幅度和/或方向来在扩展现实环境中显示从第一显示位置移动到第二显示位置或第三显示位置的该组一个或多个视觉指示符的移动，这种做法向计算机系统的用户提供了指示用户的手部的该组一个或多个特征的所检测到的位置的反馈，并且通过考虑用户的手部的该组一个或多个特征中的用户的手部的该至少一个特征的移动的幅度和/或方向来增加所显示的视觉指示符的准确度。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，这些视觉指示符(例如，920；930；940)中的一个或多个视觉指示符被显示为移动，以便在用户看来与用户手部(例如，914)的一个或多个对应特征(例如，914-1；914-2；914-3；914-4；914-5)一致地移动。
在一些实施方案中，显示生成部件包括透明显示部件(例如，在其上显示(例如，投影)内容并且由于显示器的透明性质物理环境通过其可见的透视显示器)，并且该组一个或多个视觉指示符(例如，920；930；940)被显示在透明显示部件上的被预测(例如，被估计；由计算机系统(例如，901))为沿着用户(例如，700)的眼睛与手部(例如，914)的该组一个或多个特征(例如，914-1；914-2；914-3；914-4；914-5)的检测到的位置之间的视线(例如，计算机系统在用户与用户手部(或其部分)之间的用户视线(例如，预测的/估计的视线)中显示视觉指示符，以便在用户看来在扩展现实环境中定位在用户手部(或其部分)上)的位置处(例如，视觉指示符被投影到透明显示器上以使得用户手部通过透明显示器可见，并且视觉指示符由于它们被投影到透明显示器上而看起来被定位在用户手部上)。在透明显示部件上的被预测为沿着用户的眼睛与手部的该组一个或多个特征的检测到的位置之间的视线的位置处显示该组一个或多个视觉指示符，这种做法向计算机系统的用户提供了指示用户的手部的该组一个或多个特征的检测到的位置的反馈，并且通过考虑与用户的视线的视觉偏移以及检测到用户的手部的该组一个或多个特征的位置的传感器的视角来增加所显示的视觉指示符的准确度。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，使用该一个或多个传感器(例如，904)来检测用户手部(例如，914)的位置，并且用户(例如，700)的视角是与捕获用户手部在物理环境中的位置的该一个或多个传感器(例如，相机)的视角不同的视线视角。
在一些实施方案中，显示该组一个或多个视觉指示符(例如，920；930；940)包括在扩展现实环境(例如，905)中在与用户(例如，700)的手部(例如，914)的该组一个或多个特征的周边区域(例如，参见图9B)相对应(例如，在该处或附近)的位置处显示虚拟突出显示效果(例如，920)(例如，视觉指示符被显示为围绕用户手部的至少一部分突出显示)。在与用户的手部的该组一个或多个特征的周边区域相对应的位置处显示虚拟突出显示效果向计算机系统的用户提供了指示用户的手部的该组一个或多个特征的至少一部分的检测到的位置的反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，作为在扩展现实环境(例如，905)中显示具有第二显示位置的该组一个或多个视觉指示符(例如，920；930；940)的一部分，计算机系统(例如，901)显示从第一显示位置移动到第二显示位置(例如，图9F)的该组一个或多个视觉指示符(例如，940)。在一些实施方案中，作为在扩展现实环境(例如，905)中显示具有第二显示位置的该组一个或多个视觉指示符(例如，920；930；940)的一部分，计算机系统显示第二组一个或多个视觉指示符(例如，940-1)(例如，颗粒；颗粒效果；在该组一个或多个视觉指示符移动后留下的指示符的残留痕迹)，该第二组一个或多个视觉指示符在该组一个或多个视觉指示符从第一显示位置移动到第二显示位置时跟随(例如，拖动；沿着该组一个或多个视觉指示符后面的相同路径移动)该组一个或多个视觉指示符(例如，图9F)。
在一些实施方案中，作为在扩展现实环境(例如，905)中显示具有第三显示位置的该组一个或多个视觉指示符(例如，920；930；940)的一部分，计算机系统(例如，901)显示从第一显示位置移动到第三显示位置的该组一个或多个视觉指示符(例如，940)。在一些实施方案中，作为在XR环境中显示具有第三显示位置的该组一个或多个视觉指示符的一部分，计算机系统显示第三组一个或多个视觉指示符(例如，940-1)(例如，颗粒；颗粒效果；在该组一个或多个视觉指示符移动后留下的指示符的残留痕迹)，该第三组一个或多个视觉指示符在该组一个或多个视觉指示符从第一显示位置移动到第三显示位置时跟随(例如，拖动；沿着该组一个或多个视觉指示符后面的相同路径移动)该组一个或多个视觉指示符(例如，图9F)。在该组一个或多个视觉指示符从第一显示位置移动到第二或第三显示位置时，显示跟随该组一个或多个视觉指示符的第二组或第三组一个或多个视觉指示符，这种做法向计算机系统的用户提供了指示用户手指的检测到的位置和移动的反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，用户(例如，914)的手部(例如，914)的该至少一个特征是用户的手部的手指(例如，700-1；914-2；914-3；914-4；914-5)的尖端。在一些实施方案中，显示该组一个或多个视觉指示符(例如，920；930；940)包括在扩展现实环境(例如，905)中在与用户的手部的手指尖端相对应(例如，在该处或附近)的位置处显示突出显示效果(例如，930)(例如，突出显示的点或球形物)(例如，视觉指示符被显示为位于用户的指尖处的突出显示的点或球形物)(例如，检测到多个手指，并且视觉指示符被显示为位于检测到的手指的指尖中的每一者处的突出显示的点或球形物)。在与用户的手部的手指尖端相对应的位置处显示突出显示效果向计算机系统的用户提供了指示用户指尖的检测到的位置的反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，计算机系统(例如，901)根据确定设备(例如，计算机系统；901)准备好接受基于用户(例如，700)的手部(例如，914)的位置和/或移动的输入(例如，用户的手部处于可用于向电子设备提供输入的位置和/或取向)来显示用户特征指示符界面(例如，906)(例如，用户的手部的该组一个或多个特征满足一组指示符显示标准(例如，计算机系统仅在用户手部活动时(例如，当用户正在看着他们的手部、用户手部处于预定义姿势、用户手部位于该一个或多个传感器和/或显示器的预定义区域处时)显示视觉指示符))。根据确定用户的手部准备好接受基于用户的手部的位置和/或移动的输入来显示该一个或多个视觉指示符，这种做法通过除非设备准备好接受基于用户手部的位置和/或移动的输入，否则无需执行跟踪用户的手部的计算并显示视觉指示器，从而节省了计算资源。减少计算工作量增强了计算机系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，根据确定用户(例如，700)的手部(例如，914)不活动(例如，确定用户的手部不满足移动标准(例如，足够的移动程度)和/或确定(例如，预测)用户的注视当前没有指向用户的手部和/或用户的手部当前不在预测的用户视场内)，计算机系统(例如，901)停止显示视觉指示符(例如，920；930；940)，或者在一些实施方案中，停止显示用户特征指示符界面(例如，906)。
在一些实施方案中，该设备(例如，计算机系统；901)当确定用户正在看着手部(例如，计算机系统确定和/或预测用户的注视指向用户手部的确定位置)时，准备好接受基于用户(例如，700)的手部(例如，914)的位置和/或移动的输入。
在一些实施方案中，该设备(例如，计算机系统；901)当确定手部具有一组一个或多个预定义姿势中的至少一个姿势时(例如，计算机系统确定用户手部具有预定义姿势(例如，手张开、手指展开、手指指向等))，准备好接受基于用户(例如，700)的手部(例如，914)的位置和/或移动的输入。
在一些实施方案中，根据确定满足第一组显示标准(例如，当启用混合现实显示模式时满足第一组显示标准)来显示特征指示符界面(例如，906)。在一些实施方案中，根据确定满足第二组显示标准(例如，当启用虚拟现实显示模式时满足第二组显示标准)，计算机系统(例如，901)经由显示生成部件(例如，902)在虚拟现实环境中显示用户的手部的虚拟表示(例如，在VR环境中完全虚拟地显示用户的手部)。在虚拟现实环境中显示用户的手部的虚拟表示向计算机系统的用户提供了关于用户手部在虚拟环境中的检测到的位置的反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，当显示虚拟环境时，显示生成部件(例如，902)是不透明的，并且在正在显示手部的虚拟表示的显示生成部件的至少一部分中不透传来自物理环境的光或视频。在一些实施方案中，当满足第二组显示标准时，计算机系统(例如，901)放弃显示该组一个或多个视觉指示符(例如，920；930；940)。在一些实施方案中，当满足第二组显示标准时，计算机系统继续与用户的手部的虚拟表示一起显示该组一个或多个视觉指示符。
在一些实施方案中，计算机系统(例如，901)与外部计算机系统(例如，901a)(例如，与第一用户相关联的外部计算机系统(例如，正由第一用户(例如，正在与计算机系统的用户进行通信会话(例如，扩展现实、虚拟现实和/或视频会议)的用户)操作的))通信。当计算机系统(例如，901)经由显示生成部件(例如，902)显示包括该组一个或多个视觉指示符(例如，920；930；940)的用户特征指示符界面(例如，906)时，外部计算机系统(例如，901a)在扩展现实环境(例如，915)中显示用户的手部(例如，919-2)的虚拟表示(在一些实施方案中，不显示手部的该组一个或多个视觉指示符和/或图像数据(例如，相机图像数据))。在外部计算机系统在扩展现实环境中显示用户的手部的虚拟表示的同时显示包括该组一个或多个视觉指示符的用户特征指示符界面，这种做法向外部计算机系统的用户提供了指示计算机系统的用户的手部位于何处以及它们正在如何移动的反馈，同时还向计算机系统的用户提供了关于他们的手部的位置和移动的视觉反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，计算机系统(例如，901)的用户(例如，700)用定位在用户手部(例如，914)的透传视图上的视觉指示符(例如，920；930；940)来查看扩展现实环境(例如，905)(例如，由于显示器的透明性质；由于用户手部的视频透传)，并且查看扩展现实环境(例如，915)的其他用户查看用户手部的虚拟表示(例如，919-2)(例如，具有或不具有视觉指示符，并且不显示物理手部的图像数据)。
在一些实施方案中，计算机系统(例如，901)经由该一个或多个传感器(例如，904)检测到一组预定义手势(例如，指向手势、快照手势、捏合手势、抓取手势、用户手部和/或手指的预定义移动)中的至少一个手势(例如，图9D)。响应于检测到该至少一个手势，计算机系统修改该组一个或多个视觉指示符(例如，930-1；930-2)的外观(例如，增加亮度、改变视觉指示符的形状、显示附加的视觉指示符和/或其部分、移除视觉指示符的显示部分)。响应于检测到该至少一个手势而修改该组一个或多个视觉指示符的外观向计算机系统的用户提供了指示手势是否被计算机系统辨识的反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，该组一个或多个视觉指示符(例如，930-1；930-2)的经修改外观是临时的。例如，指示计算机系统(例如，901)辨识出手势的视觉指示符的亮度的临时增加。在一些实施方案中，计算机系统继续基于用户手部(例如，914)的移动来移动视觉指示符，并且还在辨识出这些手势中的一个手势时修改视觉指示符的外观。
在一些实施方案中，作为显示该组一个或多个视觉指示符(例如，920；930；940)的一部分，计算机系统(例如，901)经由显示生成部件(例如，902)显示(例如，不透明显示器；非透明显示器；在其上显示用户手部的视频馈送源并且由于显示器的不透明性质物理环境通过其不可见的显示器)，定位在物理环境中的用户(例如，700)的手部(例如，914)的该组一个或多个特征的视频馈送源(例如，透传视频馈送源)上的视觉指示符。显示定位在在物理环境中的用户的手部的该组一个或多个特征的视频馈送源上的该组一个或多个视觉指示符向计算机系统的用户提供了指示用户的手部的该组一个或多个特征相对于手部的该组一个或多个特征的视频馈送源的检测到的位置的反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
需注意，上文参考方法1000(例如，图10)所述过程的详情也以类似方式适用于本文所述的方法800、1100、1300和1400。例如，方法800、1100、1300和/或1400任选地包括上文参考方法1000所述的各种方法的特性中的一个或多个特性。为了简明起见，这些详情在下文中不再重复。
图11是示出根据一些实施方案的用于在XR环境中显示具有不同视觉特性的对象的示例性方法1100的流程图。该方法发生在计算机系统(例如，101；901a)(例如，智能电话、平板电脑、头戴式显示生成部件)处，该计算机系统与显示生成部件(例如，902a)(例如，视觉输出设备、3D显示器、具有可在其上投影图像的至少透明或半透明部分的显示器(例如，透视显示器)、投影仪、平视显示器、显示器控制器)和与第一用户(例如，700)相关联的外部计算机系统(例如，901)(例如，正由第一用户(例如，正在与计算机系统的用户进行通信会话(例如，扩展现实和/或视频会议)的用户)操作的)通信。
计算机系统(例如，901a)在扩展现实环境(例如，915)中经由显示生成部件(例如，902a)显示(1102)第一用户(例如，700)(例如，物理环境中的用户)的表示(例如，919)(例如，化身；虚拟化身(例如，化身是第一用户的至少一部分的虚拟表示)；在一些实施方案中，代替第一用户，在扩展现实环境中显示虚拟化身)。第一用户的表示被显示在扩展现实环境(例如，915)中，具有第一姿势(例如，物理位置、取向、手势等)和基于第一用户的至少一部分的形状的形状(例如，化身919具有基于用户手部(例如，914)的形状的化身手部919-2(例如，具有与用户手部相同的姿势))。用第一组视觉特性(例如，化身的渲染的一组一个或多个视觉参数；模糊量、不透明度、颜色、视觉平滑、衰减/密度、分辨率等)来可视化(例如，在视觉上表示)第一用户的表示的形状。
在一些实施方案中，第一用户(例如，919)的表示被显示为具有一种模式(例如，虚拟存在模式)，在该模式下，第一用户(例如，700)在扩展现实环境(例如，915)中由具有拟人化特征(例如，头部、手臂、腿部、手部等)的渲染(例如，虚拟化身)或作为动画角色(例如，人类；卡通角色；非人类角色的拟人化构造，诸如狗、机器人等)来表示。在一些实施方案中，第一用户的表示被显示为具有与第一用户相同的姿势。在一些实施方案中，第一用户的表示被显示为具有与第一用户的对应部分(例如，914)具有相同姿势的部分(例如，919-2)。在一些实施方案中，第一用户的表示是响应于物理环境中的第一用户的至少一部分的检测到的姿势变化而改变姿势的化身(例如，虚拟化身)。例如，化身在扩展现实环境(例如，915)中被显示为模拟物理环境中第一用户的检测到的移动的动画角色。
计算机系统(例如，901a)接收(1104)第一数据(例如，深度数据、图像数据、传感器数据(例如，来自相机的图像数据))，该第一数据包括指示第一用户(例如，700)的姿势(例如，物理位置、取向、手势、移动等)变化(例如，物理环境中第一用户的姿势变化)的数据。在一些实施方案中，数据包括传感器数据(例如，来自相机(例如，904；903)的图像数据；来自加速度计的移动数据；来自GPS传感器的位置数据；来自接近传感器的数据；来自可穿戴设备(例如，手表；头戴式耳机设备)的数据)。在一些实施方案中，传感器可以连接到计算机系统(例如，901a；901)或与计算机系统集成。在一些实施方案中，传感器可以是外部传感器(例如，不同计算机系统(例如，另一用户的电子设备)的传感器)。
响应于接收到第一数据，计算机系统(例如，901a)更新(1106)第一用户的表示(例如，919)在扩展现实环境(例如，915)中的外观(例如，基于第一数据的至少一部分)。在扩展现实环境中更新第一用户的表示的外观包括根据确定第一数据包括第一用户的第一部分(例如，914)(例如，第一用户的物理手部)正在接触(例如，触摸、握住、抓握、操纵、交互等)对象(例如，910)(例如，物理环境中的物理对象)的指示(例如，指示姿势变化的数据)(在一些实施方案中，在接收到第一数据之前第一用户的第一部分先前未被确定为正在接触物理环境中的对象)，计算机系统(例如，901a)在扩展现实环境中显示(1108)方法1100的步骤1110和1112中引用的项目。
在1110处，计算机系统(例如，901a)基于第一用户(例如，700)的姿势(例如，图9E)变化(例如，幅度或方向中的至少一者)显示具有第二姿势(例如，图9E中的姿势)的第一用户的表示(例如，919)(例如，化身的姿势由对应于第一用户的姿势变化的幅度和/或方向的幅度和/或方向更新)。用第一组视觉特性(例如，如图9E中所描绘的)来可视化第一用户的表示(例如，919)的形状。
在1112处，计算机系统(例如，901a)显示具有基于对象(例如，910)的至少一部分的形状的形状(例如，三维形状)的对象的表示(例如，945；948)(例如，对象的表示具有与物理对象或其一部分的形状类似的形状)。用不同于第一组视觉特性的第二组视觉特性(例如，947)来可视化对象的表示的形状。显示具有基于第一用户的姿势变化的第二姿势并且用第一组视觉特性进行可视化的第一用户的表示，以及显示具有基于对象的至少一部分的形状的形状并且用与第一组视觉特性不同的第二组视觉特性进行可视化的对象的表示，这种做法向计算机系统的用户提供了第一用户正在接触物理环境中的该对象并且该对象与第一用户分开的反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，物理对象(例如，910)具有相对于物理环境中的第一用户(例如，914)的第一部分的相对位置，并且对象的表示(例如，945)在扩展现实环境(例如，915)中被显示为具有相对于扩展现实环境中的第一用户的第一部分的表示(例如，919-2)的相同相对位置。
在一些实施方案中，作为更新第一用户的表示(例如，919)在扩展现实环境(例如，915)中的外观的一部分，并且根据确定第一数据不包括第一用户(例如，700)的第一部分(例如，914)正在接触对象(例如，910)(例如，第一用户没有接触对象)(例如，用户700没有握住图9D中的瓶)的指示，计算机系统(例如，901a)基于第一用户(例如，700)的姿势变化，在扩展现实环境(例如，915)中显示具有第二姿势(例如，图9D)的第一用户(例如，919)的表示。用第一组视觉特性来可视化第一用户的表示(例如，919)的形状。计算机系统还放弃在扩展现实环境(例如，915)中显示具有基于对象的至少一部分的形状的形状并且用不同于第一组视觉特性的第二组视觉特性进行可视化的对象的表示(例如，945)(例如，如果用户没有接触对象，则在扩展现实环境中不显示对象的表示(例如，参见图9D))。显示具有基于第一用户的姿势变化的第二姿势的第一用户的表示，以及放弃显示具有基于对象的至少一部分的形状的形状并且用与第一组视觉特性不同的第二组视觉特性进行可视化的对象的表示，这种做法向计算机系统的用户提供了第一用户没有接触物理环境中的对象的反馈，并且通过消除用于在扩展现实环境中渲染对象的表示的计算减少了计算工作量。提供改进的反馈和减少计算工作量增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统、与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用计算机系统而减少了电力使用并且延长了系统的电池寿命。
在一些实施方案中，第一组视觉特性包括第一用户的表示(例如，919)的形状的第一模糊量(例如，第一模糊度或锐度)，并且第二组视觉特性(例如，947)包括对象的表示(例如，945)的形状的第二模糊量，该第二模糊量不同于(例如，大于；小于)第一模糊量(例如，与第一用户的表示的形状相比，对象的表示的形状以更大的模糊(更小的锐度)或更小的模糊(更大的锐度)来显示)。显示以与对象的表示的形状不同的模糊量可视化的第一用户的表示的形状向计算机系统的用户提供了第一用户正在接触物理环境中的对象并且该对象与第一用户分开(例如，不同)的反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，第一组视觉特性包括构成第一用户的表示(例如，919)的形状的颗粒的第一密度(例如，颗粒之间的间隔的量和/或大小)，并且第二组视觉特性(例如，947)包括构成对象的表示(例如，945)的形状的颗粒的第二密度，该第二密度不同于(例如，大于；小于)第一密度(例如，与对象的表示的形状相比，第一用户的表示的形状以更大的颗粒密度(例如，颗粒之间的间隙更小和/或更少)或更小的颗粒密度(例如，颗粒之间的间隙更大和/或更多)来显示)。显示以与对象的表示的形状不同的颗粒密度来可视化的第一用户的表示的形状向计算机系统的用户提供了第一用户正在接触物理环境中的对象并且该对象与第一用户分开(例如，不同)的反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，第一组视觉特性包括第一用户的表示(例如，919)的形状的第一视觉平滑量(例如，图像平滑)，并且第二组视觉特性(例如，947)包括对象的表示(例如，945)的形状的第二视觉平滑量，该第二视觉平滑量不同于(例如，大于；小于)第一视觉平滑量(例如，与对象的表示的形状相比，第一用户的表示的形状以更大的视觉平滑(例如，图像平滑)或更小的视觉平滑来显示)。显示以与对象的表示的形状不同的视觉平滑量来可视化的第一用户的表示的形状向计算机系统的用户提供了第一用户正在接触物理环境中的对象并且该对象与第一用户分开(例如，不同)的反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，第一组视觉特性包括第一用户的表示(例如，919)的形状的第一像素化量(例如，分辨率；包括第一用户的表示的形状的颗粒的尺寸)，并且第二组视觉特性(例如，947)包括对象的表示(例如，945)的形状的第二像素化量，该第二像素化量不同于(例如，大于；小于)第一像素化量(例如，与对象的表示的形状相比，第一用户的表示的形状以更小的像素化(例如，更高的分辨率)或更大的像素化(例如，更低的分辨率)来显示)。显示以与对象的表示的形状不同的像素化量可视化的第一用户的表示的形状向计算机系统的用户提供了第一用户正在接触物理环境中的对象并且该对象与第一用户分开(例如，不同)的反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，对象(例如，948)的表示至少部分地基于来自对象库(例如，可由计算机系统和/或外部计算机系统访问的库)的数据(例如，图像数据；模型数据)。在一些实施方案中，计算机系统(例如，901a)和/或外部计算机系统(例如，901)确定对象(例如，910)的身份并且基于对象的身份确定来自对象库的匹配数据。基于来自对象库的数据来显示对象的表示向计算机系统的用户提供了从对象库中识别对象并且使用来自对象库的数据显示该对象的反馈，这通过消除用于基于其他数据(例如，由计算机系统实时检测到的数据)来渲染对象的表示的计算减少了计算工作量。提供改进的反馈和减少计算工作量增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统、与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用计算机系统而减少了电力使用并且延长了系统的电池寿命。
在一些实施方案中，第一用户的表示(例如，919-1)至少部分地基于来自第一用户(例如，700)的登记过程(例如，诸如关于图7A至图7H讨论的登记过程)的数据(例如，图像数据)。在一些实施方案中，计算机系统(例如，901a)基于来自登记过程的图像数据而不是来自另一源(例如，图像库)的图像数据来显示具有外观的第一用户的表示(例如，919)。基于来自第一用户的登记过程的数据来显示第一用户的表示通过提供第一用户的更真实的外观增强了用户系统体验，增强了计算机系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作该计算机系统/与该计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用该系统而减少了电力使用并且延长了该计算机系统的电池寿命。
在一些实施方案中，当计算机系统(例如，901a)正在经由显示生成部件(例如，902a)显示第一用户的表示(例如，919)和对象的表示(例如，945)时，外部计算机系统(例如，901)放弃显示第一用户的表示(例如，919)和对象的表示(例如，945)(例如，第一用户看到他们的手部和物理对象的透传视图，而不是第一用户手部的表示和对象的表示)。
在一些实施方案中，当显示具有第一位置(例如，在图9E中)的对象的表示(例如，945)和具有第二姿势(例如，在图9E中)的第一用户的表示(例如，919；919-2)时，计算机系统(例如，901a)接收包括指示第一用户(例如，914)的至少第一部分的移动的数据的第二数据。响应于接收到第二数据，计算机系统更新扩展现实环境(例如，915)中对象的表示(例如，945；948)和第一用户的表示(例如，919；919-2)的显示。作为更新对象的表示和第一用户的表示的显示的一部分，计算机系统基于用户的至少第一部分的移动(例如，图9F中的姿势)来显示具有第三姿势的第一用户的表示(例如，919)(例如，第一用户的表示基于第一用户的手部的移动而移动)(例如，第一用户的表示的形状用第一组视觉特性来可视化)。计算机系统还基于用户的至少第一部分的移动(例如，图9F中的位置)来显示具有第二位置的对象的表示(例如，945；948)(例如，对象的表示与第一用户的手部一起移动)(例如，对象的形状用第二组视觉特性来可视化)。基于用户的至少第一部分的移动来显示具有第三姿势的第一用户的表示以及显示具有第二位置的对象的表示向计算机系统的用户提供了第一用户继续接触对象并且已经将对象移动到不同位置的反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
需注意，上文参考方法1100(例如，图11)所述过程的详情也以类似方式适用于本文所述的方法800、1000、1300和1400。例如，方法800、1000、1300和/或1400任选地包括上文参考方法1100所述的各种方法的特性中的一个或多个特性。为了简明起见，这些详情在下文中不再重复。
图12A至图12E、图13A至图13B和图14描绘了与在XR环境中表示的用户相关联的各种呈现模式的示例。
图12A描绘了物理环境1200，其中包括站在设备901前方(至少部分地在相机904的视场内)的用户700，头部700-3面向前方，手部700-2抬起，同时以类似于上文关于图9A至图9F所讨论的方式参与和第二用户的XR会话。设备901经由显示器902显示与XR界面906类似的XR界面1206。XR界面1206包括XR环境1205(类似于XR环境905)和控制选项1207(类似于控制选项907)。如图12A所示，XR环境1205当前包括化身1222(类似于化身922)，该化身表示第二用户在XR环境中的存在。
图12A还描绘了设备901a经由显示器902a显示类似于XR界面916的XR界面1216。XR界面1216包括具有位于相机903a的视场内的第二用户的渲染1218-1的预览1218。XR界面1216还显示XR环境1215(类似于XR环境915)和控制选项1217。在图12A中所描绘的实施方案中，XR环境1215当前包括化身1220(类似于化身919)形式的用户700的表示。设备901和901a以类似于上文关于图9A至图9F描述的方式分别显示XR界面1206和1216。为简洁起见，下文不再重复这些细节。
在图12A中所描绘的实施方案中，化身1220包括被显示为用户700的虚拟表示的部分1220-1、1220-2、1220-3和1220-4。部分1220-1形成化身的左前臂和手部，并且具有基于例如由设备901的相机904检测到的用户的左前臂和手部700-1的各个方面(例如，位置、姿势、取向、颜色、移动等)确定的外观(例如，位置、姿势、取向、颜色、形状等)。类似地，部分1220-2形成化身的右前臂和手部，并且具有基于用户的右前臂和手部700-2的各个方面确定的外观。部分1220-3形成化身的头部和肩部区域，并且具有基于用户的头部700-3和肩部的各个方面确定的外观。部分1220-4形成化身1220的剩余部分并且具有与部分1220-1至1220-3的视觉外观不同的视觉外观。例如，如图12A所示，部分1220-4具有由元素1225形成的外观，该元素具有各种颜色和任选的形状(任选的不同形状；任选地重叠或不重叠)，而部分1220-1至1220-3具有视觉上表示(例如，类似于，具有一个或多个人物特征的形状)用户700的对应部分的外观。例如，部分1220-2具有与用户700的对应部分(例如，用户的右前臂和手部700-2)相同的形状和姿势。在一些实施方案中，部分1220-4(或其子部分)具有由元素1225形成的无定形形状。在一些实施方案中，部分1220-4具有一个或多个人物特征诸如躯干、肘部、腿部等的形状。在一些实施方案中，元素1225(或其子集)创建被成形为形成一个或多个人物特征的视觉效果(例如，散焦效果)。在一些实施方案中，部分1220-4中的元素1225的颜色对应于用户700在物理环境1200中穿着的衣服的颜色。在一些实施方案中，部分1220-4中的元素1225的颜色由设备901和/或设备901a自动选择。例如，在一些实施方案中，部分1220-4中的元素1225的颜色被选择为匹配在上文关于图7A至图7H描述的登记过程期间由用户700穿着的衣服(例如，衬衫709)的颜色。在一些实施方案中，部分1220-4中的元素1225的颜色被选择为具有暖色调色板，而设备901或设备901a的其他方面(例如，系统元素)的颜色(诸如虚拟助理的表示)被选择为具有冷色调色板。在一些实施方案中，不显示部分1220-4。在一些实施方案中，仅显示部分1220-4的部分，诸如紧邻部分1220-1、1220-2和/或1220-3的元素1225的子集。在一些实施方案中，部分1220-4表示化身1220的如下部分：对于该部分，用户700的对应部分的外观(例如，姿势)是未知的、未检测到的、或者没有足够的数据(或小于阈值量的数据)来确定该外观。
如上文所指示的，设备901a至少部分地基于指示用户700的表示的外观的各个方面的各种外观设置来在XR环境1215中显示用户700的表示(例如，化身1220)。作为参考，这些外观设置被描绘在被示为由设备701显示(例如，使用显示器702)的外观设置界面1204中。外观设置界面1204包括与图7H中所描绘的那些类似的各种外观设置，以用于控制XR环境中的用户700的表示的外观。例如，外观设置界面1204包括表示选项1224(类似于表示选项724)和眼镜选项1226(类似于眼镜选项726)。如图12A所示，选择了化身选项1224b和无眼镜选项1226a。由此，用户700的表示具有不包括眼镜的化身的外观，如由显示在设备901a上的化身1220所示。
在图12B中，用户700已经转动他们的头部700-3并且降低他们的右臂，将手部700-2放置在他们的侧面，并且在外观设置界面1204中选择了矩形框选项1226b。因此，设备901a基于用户700的姿势变化和更新的外观设置来更新XR界面1216以显示具有更新的外观的化身1220。具体地，设备901a显示化身1220，其中部分1220-2被降低，如图12B中所描绘的，并且部分1220-3被更新以示出化身的头部转向侧面并且眼镜1221被显示在化身的面部上。
在一些实施方案中，化身1220的各部分基于用户700的姿势变化而改变形状。例如，图12B中显示的部分1220-2是在手放松的情况下显示的，与手指展开处于抬起位置时的部分1220-2的形状相比，改变了部分1220-2的显示形状(例如，轮廓；几何形状；外形)，如图12A中所示。在一些实施方案中，当用户700移动时，用户的一些部分移入或移出相机904的视场，从而使得用户的不同部分被检测到(例如，被设备901检测到)，并且化身1220被相应地更新。例如，在图12B中，用户右前臂的更大量部分对相机904可见，并且因此部分1220-2的形状被改变，因为在部分1220-2中表示化身右前臂的更大量部分(因此，显示更少的部分1220-4，因为先前在部分1220-4中表示的元素1225中的一些不再被显示并且化身1220的对应部分现在被包括在部分1220-2中的前臂中)。
在一些实施方案中，眼镜1221包括框架部分，但不包括臂或镜腿件，如图12B所示。在一些实施方案中，眼镜1221具有对应于所选择的眼镜选项的外观。例如，在图12B中，眼镜1221是具有与矩形框架选项1226b中所描绘的眼镜相同外观的矩形框架。在一些实施方案中，眼镜1221具有不基于用户眼镜707的外观的默认外观。在一些实施方案中，眼镜1221具有对应于在用户700身上检测到的眼镜707的外观。在一些实施方案中，自动选择眼镜选项(例如，由设备701、设备901和/或设备901a)。例如，设备901检测到用户面部上的眼镜707，并且作为响应，改变外观设置以选择矩形框架选项1226b。在一些实施方案中，选择矩形框架选项1226b是因为该选项最准确地描绘了用户700身上的眼镜707的外观。在一些实施方案中，矩形框架选项1226b由用户700手动选择。在一些实施方案中，响应于在登记过程的至少一部分期间检测到用户面部上的眼镜707，自动启用化身眼镜(例如，1221)的显示(以及选择眼镜选项中的一个眼镜选项)(例如，由设备701)。
在图12C中，用户700在说话时保持静止，并且在外观设置界面1204中选择半透明框架选项1226c。因此，设备901a基于更新的外观设置来更新XR界面1216以显示具有更新的外观的化身1220。具体地，设备901a用具有被更新为半透明框架的外观的眼镜1221来显示化身1220，如在图12C中的化身的面部上所显示的。因为用户700没有移动，所以设备901a不改变部分1220-1至1220-4的形状。然而，用户700正在说话，因此设备901a显示化身的嘴部移动而不改变化身1220的各部分的形状。另外，设备901a不响应于(例如，由设备901和/或设备901a)从用户700讲话检测到的音频而改变化身1220的任何部分(包括部分1220-4和元素1225)的外观。
在图12D中，选择了音频选项1224a，并且设备901a更新XR界面1216以显示用户700的表示从化身表示转变为音频表示。在图12D中，该转变被描绘为动画，其中部分1220-1至1220-3被元素1225替换或覆盖，并且当用户处于音频表示模式时，元素1225开始四处移动以将用户700的表示的形状改变为表示XR环境1215中的用户700的二维或三维形状(例如，立方体、球体或球形物)。在转变期间，元素1225一起移动，同时随着表示的形状转变为图12E中所描绘的立方体形状，一些元素开始重叠并且其他元素消失。
当用户700正在以音频呈现模式参与XR会话时，来自用户700的音频被传送到参与XR会话的其他用户的设备(例如，第二用户的设备901a)，并且用户700的表示被显示为不响应于用户700的移动而改变形状的音频表示。例如，当用户700移动(例如，走动、抬起手部700-2和/或转动头部700-3)时，音频表示保持相同的几何形状。在一些实施方案中，设备901a基于用户700在物理环境1200中的移动来显示在XR环境1215周围移动的音频表示。例如，当用户700在物理环境1200周围走动时，设备901a任选地在XR环境1215中类似地显示移动(例如，改变位置)的音频表示(例如，音频表示1230-1)。在图12E中描绘了用户700的音频表示的各种示例，每个示例与在物理环境中检测到的不同组条件相关联。这些音频表示的每个示例被显示为立方体。然而，应当理解，音频表示可具有不同的形式，诸如球体、球形物、无定形三维形状等。
在本文所述的实施方案中，参考特定音频表示(诸如音频表示1230-1)来描述XR环境1215中的用户700的音频表示的各种特征。然而，应当理解，对特定音频表示的引用并不旨在将所述的特征限于该特定音频表示。因此，关于特定音频表示所述的各种特征可类似地应用于本文中所述的其他音频表示(例如，音频表示1230-2至1230-4)。为简洁起见，本文不再重复这些细节。
在一些实施方案中，音频表示1230-1由具有不同尺寸和颜色的颗粒1235的集合形成。在一些实施方案中，颗粒1235类似于元素1225。在一些实施方案中，颗粒1235的颜色对应于在物理环境1200中由用户700穿着的衣服的颜色和/或用户700的肤色。在一些实施方案中，颗粒1235的颜色由设备901和/或设备901a自动选择。例如，在一些实施方案中，颜色被选择为匹配在上文关于图7A至图7H描述的登记过程期间由用户700穿着的衣服(例如，衬衫709)的颜色。在一些实施方案中，颗粒1235的颜色被选择为具有暖色调色板，而设备901或设备901a的其他方面(例如，系统元素)的颜色(诸如虚拟助理的表示)被选择为具有冷色调色板。在一些实施方案中，颗粒1235可具有不同的形式，诸如矩形、正方形、圆形、球体等。
在一些实施方案中，颗粒1235沿着音频表示1230-1的表面移动，从而改变尺寸以及任选地改变形状。例如，在一些实施方案中，作为音频表示1230-1的渐进动画的一部分，颗粒1235改变位置和尺寸。以此方式，音频表示1230-1随时间改变外观，而与用户700是否正在说话无关。在一些实施方案中，音频表示1230-1、1230-2、1230-3和1230-4表示如在不同时间点所描绘的单个音频表示的不同外观，并且形成音频表示的颗粒1235具有不同的位置、尺寸和颜色，从而示出由于动画而导致的音频表示随时间变化的外观。
如上所述，基于在不同时刻确定的用户700在物理环境1200中的位置和/或行为，图12E中描绘的音频表示对应于音频表示的不同外观。例如，当用户700在位置1200-1处时，设备901a显示XR界面1216，其中音频表示1230-1表示XR环境1215中的用户700，背对设备901的相机(例如，相机904)，如图12E所示。类似地，当用户700在位置1200-2处时，设备901a显示音频表示1230-2。当用户700在位置1200-3处时，设备901a显示音频表示1230-3。当用户700在位置1200-4处时，设备901a显示音频表示1230-4。在一些实施方案中，物理环境1200中的不同位置(例如，1200-1至1200-4)对应于距设备901的相机的不同深度。例如，位置1200-2表示比位置1200-4距相机更远的距离，并且因此在图12E中被描绘为具有更小的尺寸。在一些实施方案中，位置1200-1、1200-3和1200-4都具有距相机的相似距离。
音频表示1230-1包括元素1232，该元素为将音频表示与用户700相关联的二维(或基本上二维)特征。例如，在图12E中，元素1232是包括用户700的姓名首字母的字母组合。在一些实施方案中，作为首字母的替代或补充，元素1232可包括用户的名字和/或姓氏或其他标识信息，诸如用户的电话号码、电子邮件地址、用户名等。
在一些实施方案中，多个用户可参与XR会话，并且对于参与XR会话的每个用户，音频表示1230-1看起来面对相应的用户，而不管用户700是否实际上在物理环境或XR环境中面对相应的用户。例如，在图12E中，尽管用户700背对第二用户，但是设备901a在XR环境1215中显示面向第二用户的音频表示1230-1(包括元素1232)，向第二用户给出用户700正面向第二用户的外观，从而通过音频表示1230-1在XR环境1215中与他们交互和/或通信。在一些实施方案中，附加用户诸如第三(或第四、第五、第六等)用户也正在参与和用户700以及第二用户的XR会话。对于这些附加用户中的每个用户，用户700的音频表示具有与音频表示1230-1相同的外观，使得音频表示(包括元素1232)看起来面对该特定用户。在一些实施方案中，音频表示1230-1看起来面对相应用户，即使当该用户在XR环境周围移动(改变取向)时。
在一些实施方案中，设备901a在XR环境1215中的位置处显示音频表示1230-1，该位置对应于用户的头部700-3在物理环境1200中的位置(例如，1200-1)和/或如果用户在XR环境1215中由化身1220表示则化身的头部将被显示的位置。通过在用户和/或化身的头部的位置处显示音频表示1230-1，音频表示1230-1保持与用户700的视线对准，使得当第二用户正在看音频表示1230-1时，第二用户看起来(从用户700的视角)保持目光接触。在一些实施方案中，设备901a在XR环境1215中的位置处显示音频表示1230-1，该位置对应于XR环境1215中的音频源(例如，对应于来自用户700的音频)的感知或确定的空间位置。
在一些实施方案中，元素1232的各种属性被用来指示关于用户700在物理环境1200或XR环境1205内的位置和/或定位的信息。例如，在一些实施方案中，元素1232的尺寸用于传达用户700距设备901的相机的距离。例如，当用户700在位置1200-2处时，设备901a显示具有与音频表示1230-1相同尺寸的音频表示1230-2，但是其中元素1232具有较小尺寸(当与音频表示1230-1中的元素1232的尺寸相比时)以传达用户700距相机的较大距离。因此，当用户700远离相机从位置1200-1走到位置1200-2时，设备901a显示音频表示从音频表示1230-1的位置移动到音频表示1230-2的位置，其中随着用户700远离相机移动，元素1232在尺寸上缩小。相反，音频表示1230-1中的元素1232的较大尺寸指示当用户700在位置1200-1处时他更靠近相机。在一些实施方案中，设备901a修改整个音频表示(包括元素1232)的所显示尺寸以指示用户700距相机的距离变化。
在一些实施方案中，设备901a响应于检测到来自用户700的音频(当用户700正在说话时)而修改音频表示。在一些实施方案中，修改包括所显示的音频表示的尺寸、亮度或其他视觉特性的变化。例如，在图12E中，音频表示1230-3表示响应于检测到用户700在位置1200-3处说话而临时显示的更大尺寸的音频表示。在一些实施方案中，音频表示与检测到的用户700说话的音频特性的变化(例如，音调、音高、音量等的变化)同步地伸展和收缩。在一些实施方案中，显示器901a响应于音频而改变音频表示1230-3的其他视觉特性，诸如使所显示的音频表示的亮度脉动。在一些实施方案中，响应于检测到用户700说话，设备901a修改音频表示1230-3的视觉特性，但不修改化身1220的视觉特性，如上文所讨论的。
在一些实施方案中，当用户700的音频(例如，如在设备901处检测到的)被静音时，设备901a修改音频表示的外观。例如，在图12E中，设备901a显示具有静音图标1240的音频表示1230-4以指示当用户700在位置1200-4处时用户700的音频被静音。
在一些实施方案中，当化身表示(例如，化身1220)不可用时，设备901a显示具有音频表示(例如，音频表示1230-1)的用户700的表示。在一些实施方案中，如果条件不足以在XR环境中呈现化身(例如，环境1200和/或第二用户的环境中的不良照明)，或者如果没有足够的数据来描绘化身表示，则音频表示不可用。在一些实施方案中，如果用户700没有执行上文关于图7A至图7H所述的登记操作，则没有足够的数据来描绘化身表示。
关于图12A至图12E的附加描述参见下文关于图13A至图13B和图14描述的方法1300和1400。
图13A至图13B是根据一些实施方案的用于在与在XR环境中表示的用户相关联的不同呈现模式之间切换的示例性方法1300的流程图。方法1300发生在计算机系统(例如，101；901a)(例如，智能电话、平板电脑、头戴式显示生成部件)处，该计算机系统与显示生成部件(例如，902a)(例如，视觉输出设备、3D显示器、具有可在其上投影图像的至少透明或半透明部分的显示器(例如，透视显示器)、投影仪、平视显示器、显示器控制器)和与第一用户(例如，700)相关联的外部计算机系统(例如，901)(例如，正由第一用户(例如，正在与计算机系统的用户(例如，第二用户)进行通信会话(例如，扩展现实和/或视频会议)的用户)操作的)通信。
计算机系统(例如，901a)经由显示生成部件(例如，902a)显示(1302)通信用户界面(例如，1216)，该通信用户界面包括外部计算机系统(例如，901)的第一用户(例如，700)在第一呈现模式(例如，由1224b指示)下(例如，虚拟呈现模式；其中第一用户在扩展现实环境中由具有人类或拟人化特征(例如，头部、手臂、腿部、手部等)的渲染表示的模式)或作为动画角色(例如，人类；卡通角色；非人类角色的拟人化构造，诸如狗、机器人等)的表示(例如，1220)(例如，动画表示、化身表示；虚拟化身(例如，化身是第一用户的至少一部分的虚拟表示)；在一些实施方案中，代替第一用户，在扩展现实环境中显示虚拟化身)。在一些实施方案中，第一用户的表示被显示为具有与第一用户相同的姿势。在一些实施方案中，第一用户的表示被显示为具有与第一用户的对应部分(例如，700-1；700-2；700-3)具有相同姿势的部分(例如，1220-1；1220-2；1220-3)。
通信用户界面(例如，1216)在扩展现实环境(例如，1215)中显示(1304)第一用户(例如，1220)的表示(例如，计算机系统(例如，901a)在扩展现实环境中显示具有第一用户的表示的通信用户界面)。当处于第一呈现模式(例如，1224b)时，第一用户(例如，1220)的表示被显示(1306)(例如，通过计算机系统(例如，经由显示生成部件(例如，902a))为具有在视觉上对外部计算机系统(例如，901)检测到的第一用户(例如，700)的第一部分(例如，700-1；700-2；700-3)(例如，手部或手部的一部分(例如，手掌、手指等))的移动变化作出反应(例如，响应于移动变化而改变外观)的形状(例如外观；几何形状)(例如，当处于第一呈现模式时，用户的表示响应于在物理环境和/或扩展现实环境中检测到的用户手部的移动而在视觉上作出反应)。在一些实施方案中，第一用户的表示是响应于物理环境中的第一用户的至少一部分的检测到的姿势变化而改变姿势的化身(例如，虚拟化身)。例如，化身在扩展现实环境中被显示为模拟物理环境中第一用户的检测到的移动的动画角色。
当计算机系统(例如，901a)在第一呈现模式(例如1224b)下显示(1308)第一用户(例如，1220)的表示时，计算机系统从外部计算机系统(例如，901；904)接收(1310)指示第一用户(例如，700)的第一部分(例如，700-1；700-2；700-3)的移动的第一数据(例如，深度数据、图像数据、传感器数据(例如，来自相机的图像数据))。在一些实施方案中，第一数据包括传感器数据(例如，来自相机(例如，904)的图像数据；来自加速度计的移动数据；来自GPS传感器的位置数据；来自接近传感器的数据；来自可穿戴设备(例如，手表、头戴式耳机)的数据)。
当计算机系统(例如，901a)在第一呈现模式(例如，1224b)下显示(1308)第一用户(例如，1220)的表示时，并且响应于接收到第一数据，计算机系统基于第一用户(例如，700)的第一部分(例如，700-1；700-2；700-3)的移动(例如，移动的幅度和/或方向)来修改(1312)第一用户的表示的形状(例如，显示更大量或更少量的用户的表示(例如，虚拟化身)；改变用户的表示的一部分(例如，1220-2；1220-3)的形状；改变用户的表示的一部分的几何形状；改变用户的表示的外观的轮廓和/或外形)(例如，参见图12B)。
在修改第一用户(例如，1220)的表示的形状之后，计算机系统(例如，901a)接收(1314)第二数据(例如，从外部计算机系统(例如，901)；经由计算机系统处的输入(例如，701))，该第二数据指示第一用户的表示将在第二呈现模式(例如，由1224a指示)(例如，音频呈现模式；其中第一用户在扩展现实环境中由不具有拟人化特征和/或为无生命对象的渲染(例如，1230-1；1230-2；1230-3；1230-4)(例如，图标、字母组合)来表示的模式)下显示，该第二呈现模式与第一呈现模式不同。在一些实施方案中，计算机系统接收(例如，从外部计算机系统)第一用户已将其表示从处于第一呈现模式转变为处于第二呈现模式的指示。
响应于接收到第二数据，计算机系统(例如，901a)经由显示生成部件(例如，902a)在第二呈现模式下显示(1316)第一用户的表示(例如，1230-1；1230-2；1230-3；1230-4)，其中第一用户的表示在处于第二呈现模式时具有对由外部计算机系统(例如，901)检测到的第一用户(例如，700)的第一部分(例如，700-1；700-2；700-3)的移动变化在视觉上不作反应的形状(例如，外观；几何形状(例如，圆盘或球形形状；立方体；矩形棱镜))(例如，当处于第二呈现模式时，用户的表示不响应于在物理环境和/或扩展现实环境中检测到的用户手部的移动而在视觉上作出反应)。
当计算机系统(例如，901a)在第二呈现模式下显示(1318)第一用户的表示(例如，1230-1；1230-2；1230-3；1230-4)时，计算机系统接收(1320)第三数据(例如，从外部计算机系统(例如，901)；从检测移动或定位的传感器；经由计算机系统处的输入)，该第三数据指示第一用户(例如，700)从物理环境(例如，1200)中(例如，第一用户的物理环境中)的第一位置(例如，1200-1；1200-2；1200-3；1200-4)到物理环境中与该物理环境中的第一位置不同的第二位置(例如，1200-1；1200-2；1200-3；1200-4)的移动。在一些实施方案中，第三数据包括传感器数据(例如，来自相机的图像数据；来自加速度计的移动数据；来自GPS传感器的位置数据；来自接近传感器的数据；来自可穿戴设备(例如，手表；头戴式耳机设备)的数据)。在一些实施方案中，传感器可以连接到计算机系统或与计算机系统集成。在一些实施方案中，传感器可以是外部传感器(例如，不同计算机系统(例如，外部计算机系统)的传感器)。
当计算机系统(例如，901a)在第二呈现模式下显示(1318)第一用户的表示(例如，1230-1；1230-2；1230-3；1230-4)时，并且响应于接收到第三数据，计算机系统显示(1322)从扩展现实环境(例如，1215)中的第一位置(例如，图12E中的1230-1的位置)移动到扩展现实环境中的与扩展现实环境中的第一位置不同的第二位置(例如，图12E中的1230-2的位置)的第一用户的表示。响应于接收到第三数据而显示从扩展现实环境中的第一位置移动到扩展现实环境中的第二位置的第一用户的表示，这种做法向计算机系统的用户提供了第一用户正在围绕其物理位置移动并且围绕该物理位置的移动对应于第一用户的表示在扩展现实环境中的移动的反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，扩展现实环境(例如，1215)中的第一位置(例如，图12E中的1230-1的位置)表示第一用户(例如，700)在第一用户的物理环境(例如，1200)中的第一位置(例如，1200-1)，并且扩展现实环境中的第二位置(例如，图12E中的1230-2的位置)表示第一用户(例如，1200-2)在第一用户的物理环境中的第二位置(例如，第一用户的表示围绕扩展现实环境移动以表示第一用户围绕第一用户的物理环境的物理移动)。
在一些实施方案中，当处于第二呈现模式(例如，1224a)时，第一用户的表示(例如，1230-2；1232)(例如，第一用户的表示(例如，1232)的一部分)被显示为改变尺寸以随着第一用户的表示朝向或远离计算机系统的用户移动指示第一用户的表示相对于计算机系统的用户(例如，901a)(例如，第二用户)的相对位置。例如，随着第一用户的表示远离计算机系统的用户移动，第一用户的表示被显示为尺寸收缩。相反，随着第一用户的表示移动得更靠近计算机系统的用户，第一用户的表示被显示为尺寸增大。
在一些实施方案中，第一用户(例如，700)的第一部分(例如，700-1；700-2)包括第一用户的手部的至少一部分(例如，为用户的手部；被至少外部计算机系统(例如901)检测和/或辨识为用户的手部的至少一部分)。
在一些实施方案中，响应于接收到第二数据，计算机系统(例如，901a)经由显示生成部件(例如，902a)显示从第一呈现模式(例如，1224b)转变到第二呈现模式(例如，1224a)的第一用户(例如，700)的表示的动画(例如，顺序图形转变)(例如，参见图12D)。在一些实施方案中，该转变被描绘为动画，在该动画中形成第一呈现模式下的第一用户的表示(例如，1230)的颗粒(例如，1225)(例如，从散焦效果)一起移动以形成第二呈现模式下的第一用户的表示(例如，1220-1)。
在一些实施方案中，第二呈现模式下的第一用户的表示(例如，1230-1)包括基于与第一用户(例如，700)相关联的一个或多个颜色(例如，基于用户的外观确定的一组颜色)选择(例如，自动地；无需用户输入；由计算机系统)的一组一个或多个颜色(例如，在颗粒1235上)。在一些实施方案中，与第一用户相关联的该一个或多个颜色包括第一用户在物理环境(例如，1200)中穿着的衣服(例如，709)的颜色、第一用户在登记过程(例如，如关于图7A至图7H所讨论的登记过程)期间穿着的衣服的颜色、第一用户的表示在XR环境中穿着的衣服的颜色、第一用户的肤色的颜色和/或第一用户的表示的肤色的颜色。在一些实施方案中，表示第二呈现模式下的第一用户的表示的颜色的数据由外部计算机系统(例如，901；701)提供给计算机系统(例如，901a)。在一些实施方案中，不同于第一用户的第二用户在第二呈现模式下使用与第二用户相关联的颜色来表示，该颜色不同于与第一用户相关联的颜色。
在一些实施方案中，第二呈现模式(例如，1224a)下的第一用户的表示(例如，1230-1)包括从预先确定的调色板组(例如，不是基于用户的外观确定的预先确定的一组颜色)选择(例如，自动地；无需用户输入；由计算机系统)的一组一个或多个颜色(例如，在颗粒1235上)。在第二呈现模式下显示具有从预先确定的调色板组中选择的一组一个或多个颜色的第一用户的表示，这种做法通过减少在第二呈现模式下显示第一用户的表示所需的用户输入的数量、消除对用户的颜色采样的需要，以及/或者通过消除当与用户相关联的颜色是不期望的(例如，黑色和/或白色可能模糊第二呈现模式下的第一用户的表示的外观)或未被检测到(例如，在登记期间)时可能发生的问题而减少了由计算机系统消耗的计算资源。减少计算工作量增强了计算机系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，第二呈现模式(例如，1224a)下的第一用户的表示(例如，1230-1)包括从一组暖色调色板(例如，一组暖色调(例如，基于橙色、红色和/或黄色的颜色；相对于平均值具有较低色温的颜色))选择(例如，自动地；无需用户输入；由计算机系统)的一组一个或多个颜色(例如，在颗粒1235)上。在第二呈现模式下显示具有从一组暖色调色板中选择的一组一种或多种颜色的第一用户的表示向计算机系统的用户提供了第一用户的表示代表人的反馈，即使当第一用户的表示不是拟人化构造时。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，计算机系统(例如，1200)经由显示生成部件(例如，1202)显示系统元件的表示(例如，虚拟助理；除第一用户之外的某物的视觉表示)，其中系统元件的表示包括从一组冷色调色板(例如，一组冷色色调(例如，基于蓝色、绿色和/或紫色的颜色；相对于平均值具有较高色温的颜色))选择(例如，自动地；无需用户输入；由计算机系统)的一组一个或多个颜色。显示具有从一组冷色调色板中选择的一组一个或多个颜色的系统元件的表示向计算机系统的用户提供了系统元件的表示代表除人之外的某物(例如，不表示扩展现实环境中的另一用户)的反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，当在第二呈现模式(例如，1224a)下显示第一用户(例如，1230-1)的表示时，计算机系统(例如，901a)接收表示从第一用户(例如，700；901)接收的音频(例如，语音)的数据。响应于接收到表示从第一用户接收到的音频的信息，计算机系统响应于从第一用户接收到的音频的一个或多个特性(例如，诸如音调、音量、音高等的音频特性)的检测到的变化，修改第二呈现模式下的第一用户(例如，1230-3)的表示的外观(例如，第二模式下的第一用户的表示的尺寸、颜色、形状、亮度和/或脉动模式和/或形成第二呈现模式下的第一用户的表示的颗粒)(例如，当第一用户说话时，第二呈现模式下的第一用户的表示通过随着第一用户的语音变化改变尺寸、颜色、形状、亮度和/或脉动来改变外观)。响应于从第一用户接收到的音频的一个或多个特性中的检测到的变化而修改第二呈现模式下的第一用户的表示的外观，这种做法向计算机系统的用户提供了第一用户正在说话的反馈，即使当第一用户的表示不是拟人化构造时。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，当在第一呈现模式(例如，1224b)下显示第一用户(例如，1220)的表示时，计算机系统(例如，901a)接收表示从第一用户(例如，700；901)接收的音频(例如，语音)的数据。响应于接收到表示从第一用户接收到的音频的信息，计算机系统响应于从第一用户接收到的音频的一个或多个特性(例如，诸如音调、音量、音高等的音频特性)的检测到的变化，放弃修改第一呈现模式下的第一用户的表示的外观(例如，形成第一呈现模式下的第一用户的表示的微粒的颜色、形状、亮度和/或脉动模式)(例如，当第一用户说话时，形成第一呈现模式下的第一用户的表示的颗粒在外观上不会随着第一用户的语音变化而改变)。在一些实施方案中，当第一用户说话时，第一呈现模式下的第一用户的表示任选地通过移动嘴部特征或执行模仿说话移动的另一动作而改变外观(例如，参见图12C)，但形成第一用户的表示的颗粒(例如，1225)不以其他方式改变外观。相反，当第一用户的表示处于第二呈现模式(1230-3)时，形成第一用户的表示的颗粒(例如，1235)通过例如改变颜色、亮度和/或脉动行为来改变外观。
在一些实施方案中，第二呈现模式(例如，1224a)下的第一用户的表示(例如，1230-1；1230-2；1230-3；1230-4)改变其外观的至少一部分(例如，形成第二呈现模式下的第一用户的表示的颗粒(例如，1235)以预先确定的模式移动)，而与由第一用户(例如，700)输出(例如，由外部计算机系统(例如，901)输出；提供给计算机系统(例如，901a))的音频无关。在一些实施方案中，作为在第二呈现模式下显示第一用户的表示的一部分包括：在没有检测到第一用户的预先确定的音频水平的预先确定的时间段之后(例如，没有接收到第一用户的音频数据；第一用户没有说话)，计算机系统(例如，901a)以预先确定的方式修改第二呈现模式下的第一用户的表示的外观(例如，第二模式下的第一用户的表示的外观随时间逐渐改变(例如，形成第二呈现模式下的第一用户的表示的颗粒以预先确定的模式移动)，而与第一用户是否正在说话无关)。
在一些实施方案中，第二呈现模式(例如，1224a)下的第一用户(例如，1230-1)的表示包括具有二维或基本上二维的外观(例如，不传达深度的外观、平坦外观；在扩展现实环境中没有被建模为具有深度的外观)的元素(例如，1232)(例如，字母组合；第一用户的姓名首字母)。在一些实施方案中，第二呈现模式下的第一用户的表示(例如，1230-1)具有三维外观(例如，球形形状、弯曲透镜形状、矩形棱镜形状、立方体形状等)，并且在第二呈现模式下的第一用户的表示上显示的元素具有二维外观或基本上二维的外观(例如，具有可以给出某种程度的三维外观的厚度或视觉效果的二维文本)。
在一些实施方案中，外部计算机系统(例如，901)与跟第二用户(例如，第三用户)相关联的第二外部计算机系统通信。在一些实施方案中，作为在第二呈现模式(例如，1224a)下显示第一用户(例如，1230-1)的表示的一部分，计算机系统(例如，901a)经由显示生成部件(例如，902a)显示在扩展现实环境(例如，1215)中具有第一位置的元素(例如，1232)(例如，第一用户的姓名首字母)，该元素面向扩展现实环境中的计算机系统的用户(例如，被取向为面向用户的视点)。在一些实施方案中，第二外部计算机系统在第二呈现模式下显示第一用户的表示(例如，类似于1230-1)，包括显示在扩展现实环境中具有第二位置(例如，与第一位置不同)的元素(例如，类似于1232)，该元素面向扩展现实环境下的第二用户(例如，显示在第二呈现模式下的第一用户的表示，使得对于计算机系统的用户来说，元素看起来在扩展现实环境中面向计算机系统的用户，并且对于第二用户来说，看起来在扩展实境环境中面向第二用户)。在一些实施方案中，针对查看扩展现实环境并接收第二呈现模式下的第一用户的表示的传输的每个用户不同地显示元素，使得对于每个用户来说，该元素看起来面对该用户。在一些实施方案中，显示生成部件显示元素改变位置以面对扩展现实环境中的活动用户。例如，当扩展现实环境中的用户开始说话时，元素移动(例如，旋转)以面对正在说话的用户。
在一些实施方案中，当在第二呈现模式(例如，1224a)下显示具有第一显示尺寸的第一用户的表示(例如，1230-1)时，计算机系统(例如，901a)从外部计算机系统(例如，901)接收第四数据(在一些实施方案中，第三数据)(例如，指示第一用户在第一用户的物理环境中的移动(例如，从位置1200-1到位置1200-2)的数据)。响应于接收到第四数据，计算机系统(例如，901a)显示从第二显示尺寸(例如，1230-1中描绘的元素1232的尺寸)改变(例如，增长或收缩)到不同于第二显示尺寸的第三显示尺寸(例如，1230-2中描绘的元素1232的尺寸)(例如，第二呈现模式下的第一用户的表示的尺寸保持恒定，同时元素的尺寸改变(例如，基于第一用户在物理环境中的移动))的元素(例如，1232)。当第二呈现模式下的第一用户的表示被显示为具有第一尺寸时，显示从第二显示尺寸改变为不同于第二显示尺寸的第三显示尺寸的元素向计算机系统的用户提供了第一用户正在朝向或远离计算机系统的用户移动的反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，第二呈现模式下的第一用户的表示(例如，1230-1)的尺寸也改变尺寸。例如，第二呈现模式下的第一用户的表示的尺寸可变得更大或更小以指示第一用户(例如，700)距扩展现实环境(例如，1215)中的计算机系统(例如，901a)的用户的相对距离。
在一些实施方案中，第二呈现模式(例如，1224a)下的第一用户(例如，1230-4)的表示包括第一用户(例如，700)的静音状态(例如，第一外部计算机系统(例如，901)可检测的音频是否正由计算机系统(例如，901a)输出(或提供给计算机系统)的状态)的视觉指示(例如，1240)(例如，图示符)。显示第一用户的静音状态的视觉指示向计算机系统的用户提供了指示第一用户的音频是否被静音的反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，第二呈现模式(例如，1224a)下的第一用户的表示(例如，1230-1)包括第一用户(例如，700)的标识(例如，姓名或首字母；文本指示)的视觉指示(例如，1232)。当第一用户在扩展现实环境中不可辨识时，显示第一用户的标识的视觉指示向计算机系统的用户提供了标识第一用户的反馈。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，第一呈现模式(例如，1224b)下的第一用户的表示(例如，1220)包括具有化身头部特征(例如，部分1220-3的一部分)的化身。在一些实施方案中，在第二呈现模式(例如，1224a)下显示第一用户的表示(例如，1230-1)包括停止化身(例如，1220)的显示以及在与先前由化身头部特征占据的第二位置重叠的第一位置处显示第二呈现模式下的第一用户的表示(例如，1230-1)(例如，当第一用户从第一呈现模式转变到第二呈现模式时，在化身的头部所定位的位置处或附近显示第二呈现模式下的第一用户的表示)。在第二模式下在与先前被化身头部特征占据的第二位置重叠的第一位置处显示第一用户的表示向计算机系统的用户提供了第一用户的面部的位置的反馈，并且将第一用户的表示与计算机系统的用户的焦平面对准，使得从第一用户的视角来看，计算机系统的用户看起来与扩展现实环境中的第一用户的表示目光接触。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。在一些实施方案中，基于在扩展现实环境中音频源的感知或确定的空间位置来确定化身的头部的位置。
需注意，上文参考方法1300(例如，图13A至图13B)所述过程的详情也以类似方式适用于本文所述的方法800、1000、1100和1400。例如，方法800、1000、1100和/或1400任选地包括上文参考方法1300所述的各种方法的特性中的一个或多个特性。为了简明起见，这些详情在下文中不再重复。
图14是根据一些实施方案的用于在XR环境中显示虚拟化身的示例性方法1400的流程图。方法1400发生在计算机系统(例如，101；901a)(例如，智能电话、平板电脑、头戴式显示生成部件)处，该计算机系统与显示生成部件(例如，902a)(例如，视觉输出设备、3D显示器、具有可在其上投影图像的至少透明或半透明部分的显示器(例如，透视显示器)、投影仪、平视显示器、显示器控制器)和与第一用户(例如，700)相关联的外部计算机系统(例如，901)(例如，正由第一用户(例如，正在与计算机系统的用户进行通信会话(例如，扩展现实和/或视频会议)的用户)操作的)通信。
在方法1400处，响应于接收到(1402)在扩展现实环境(例如，1215)中显示第一用户(例如，700)(例如，外部计算机系统的用户)的表示(例如，1220)(例如，化身；虚拟化身(例如，化身是第一用户的至少一部分的虚拟表示)；在一些实施方案中，代替第一用户，在扩展现实环境中显示虚拟化身)的请求，计算机系统(例如，901a)执行以下项目。
根据确定(1404)满足一组眼镜(例如，眼镜；框架眼镜；带框架的矫正镜片；带框架的装饰性镜片；带框架的防护镜片)显示标准(例如，用户设置(例如，1226b；1226c；1226d)启用以显示眼镜；在登记过程(例如，关于图7A至图7H讨论)期间在第一用户(例如，700)身上检测到眼镜(例如，707)；由第一用户手动启用眼镜的显示；由计算机系统或另一计算机系统(例如，701；901；901a)自动启用眼镜的显示；已知第一用户佩戴眼镜)，计算机系统(例如，901a)经由显示生成部件(例如，902a)在扩展现实环境(例如，1215)中显示(1406)第一用户的表示(例如，1220)(例如，在扩展现实环境中显示化身)。在一些实施方案中，第一用户的表示被显示为具有一种模式(例如，1224b)(例如，虚拟存在模式)，在该模式下，第一用户在扩展现实环境中由具有人类或拟人化特征(例如，头部、手臂、腿部、手部等)的渲染(例如，虚拟化身)来表示，或者被表示为动画角色(例如，人类；卡通角色；非人类角色的拟人化构造，诸如狗、机器人等)。在一些实施方案中，第一用户的表示(例如，1220)被显示为具有与第一用户(例如，700)相同的姿势。在一些实施方案中，第一用户的表示被显示为具有与第一用户的对应部分(例如，700-2)具有相同姿势的部分(例如，1220-2)。在一些实施方案中，第一用户的表示是响应于物理环境中的第一用户的至少一部分的检测到的姿势变化而改变姿势的化身(例如，虚拟化身)。例如，化身在扩展现实环境中被显示为模拟物理环境中第一用户的检测到的移动的动画角色。
根据确定满足该组眼镜显示标准，计算机系统(例如，901a)经由显示生成部件(例如，902a)在扩展现实环境(例如，1215)中显示(1408)定位在第一用户的表示(例如，1220)上的眼镜(例如，1221)(例如，化身眼镜)的表示(例如，在扩展现实环境中显示化身，在化身的眼睛前方佩戴眼镜(例如，代替显示在其眼睛上方具有头戴式耳机设备的化身))。
根据确定(1410)不满足该组眼镜显示标准(例如，在图12A中选择了选项1226a)，计算机系统(例如，901a)经由显示生成部件(例如，902a)在扩展现实环境(例如，1215)中显示(1412)第一用户的表示(例如，1220)，而不在扩展现实环境中显示定位在第一用户的表示上的眼镜的表示(例如，参见图12A)(例如，放弃在扩展现实环境中显示位于第一用户的表示上的眼镜的表示(例如，在扩展现实环境中显示相同的化身，但不在其眼睛前方佩戴眼镜))。在扩展现实环境中，根据是否满足该组眼镜显示标准来选择性地显示定位在第一用户的表示上的眼镜的表示，这种做法向计算机系统的用户提供了关于第一用户的外观(诸如第一用户是否佩戴眼镜)的反馈，并且通过提供第一用户的表示的更真实外观改善了人机交互。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，该组眼镜显示标准包括当用户设置(例如，1226b；1226c；1226d)(例如，用户设置界面(例如，1204；704)中的可选择选项(例如，拨动开关))被启用(例如，由第一用户(例如，700)启用)以用于显示眼镜(例如，1221)的表示时满足的标准。
在一些实施方案中，该组眼镜显示标准包括当在登记过程期间(例如，外部计算机系统检测到第一用户在登记过程(例如，关于图7A至图7H所讨论的登记过程)期间佩戴或握住一组眼镜)检测到(例如，自动地；由外部计算机系统(例如，901；701))一组眼镜(例如，707)(例如，用户正在佩戴的一组眼镜)时满足的标准。
在一些实施方案中，作为在扩展现实环境(例如，1215)中显示定位在第一用户的表示(例如，1220)上的眼镜(例如，1221)的表示的一部分，计算机系统(例如，901a)执行以下项目。根据确定第一用户(例如，700)已选择用于第一外观(例如，眼镜(例如，图12B中的眼镜1221)的表示的第一外观)的选项(例如，1226b)(例如，第一用户的先前手动选择)(例如，第一用户当前选择/启用第一外观选项)，计算机系统显示具有第一外观的眼镜(例如，1221)的表示(例如，如图12B中所描绘的)。根据确定第一用户已选择用于第二外观(例如，眼镜的表示的不同于第一外观的第二外观(例如，图12C中的眼镜1221))的选项(例如，1226c)(例如，第一用户当前选择/启用第二外观选项)，计算机系统显示具有第二外观的眼镜(例如，1221)的表示(例如，如图12C中所描绘的)。根据第一用户选择了哪个选项来显示具有第一外观或第二外观的眼镜的表示向计算机系统的用户提供了关于第一用户的外观(诸如第一用户佩戴的眼镜的外观)的反馈，并且通过提供第一用户的表示的更真实的外观改善了人机交互。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，第一外观是基于计算机系统的显示生成部件(例如，头戴式耳机部件；例如，扩展现实头戴式耳机)(例如，图7H和图12A中描绘的选项1226d)的外观。在一些实施方案中，眼镜(例如，1221)的表示具有头戴式耳机设备的外观。
在一些实施方案中，作为在扩展现实环境(例如，1215)中显示定位在第一用户的表示(例如，1220)上的眼镜(例如，1221)的表示的一部分，计算机系统(例如，901a)执行以下项目。根据确定满足第三出现标准(例如，接收到指示已经检测到眼镜表示的第三外观的数据(例如，输入数据；来自计算机系统的相机(例如，类似于904)或传感器的数据；来自外部计算机系统(例如，901；701)的数据)(例如，自动地；由计算机系统和/或外部计算机系统(例如，在登记过程期间)检测到))，计算机系统(例如，901a)显示具有基于在用户(例如，700)的面部上检测到的眼镜(例如，707)选择的第三外观(例如，图12B中的眼镜1221的外观)的眼镜(例如，1221)的表示(例如，在放置扩展现实头戴式耳机之前，诸如在用于使用扩展现实头戴式耳机的登记过程期间)。在一些实施方案中，第三外观是例如在登记过程期间由计算机系统(例如，701)(例如，外部计算机系统)自动检测到的眼镜外观。例如，在登记期间，计算机系统检测到用户正在佩戴具有厚框架的眼镜，并且因此自动选择与检测到的眼镜的外观(例如，具有厚框架)类似的用于眼镜表示的外观。根据确定满足第三外观标准来显示具有第三外观的眼镜的表示向计算机系统的用户提供了关于第一用户的外观(诸如第一用户佩戴的眼镜的外观)的反馈，并且通过提供第一用户的表示的更真实的外观改善了人机交互。提供改进的反馈增强了计算机系统的可操作性并且使用户-系统界面更高效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且高效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
在一些实施方案中，第一用户(例如，700)与具有第一组外观特性(例如，风格、尺寸、颜色、形状、色调)的一组眼镜(例如，707)相关联。在一些实施方案中，当在第一用户的登记过程期间检测到和/或选择了该组眼镜时，第一用户与该组眼镜相关联。在一些实施方案中，通过省略该组眼镜的一个或多个视觉细节，眼镜(例如，1221)的表示具有不同于第一组外观特性的第二组外观特性(例如，眼镜的表示是与第一用户相关联的该组眼镜的抽象表示)。
在一些实施方案中，眼镜(例如，1221)的表示具有半透明外观(例如，如图12C中所描绘的)(例如，使得用户的表示(例如，1220)的外观、虚拟对象的一个或多个表示的外观和/或一个或多个物理对象的外观通过眼镜的表示可见，其中外观包括对象的形状、颜色、数量或尺寸中的一者或多者)。
在一些实施方案中，在扩展现实环境(例如，1215)中定位在第一用户(例如，1220)的表示上的眼镜(例如，1221)的表示包括眼镜的一个或多个边缘部分(例如，如图12B和图12C中所描绘的)(例如，镜片框，任选地具有或不具有镜片)的表示，并且不包括眼镜的镜腿部分(例如，一个或多个臂)的表示(例如，所显示的眼镜的表示不包括眼镜的臂或镜腿)。显示眼镜的表示而不显示眼镜的镜腿部分的表示通过消除考虑眼镜的表示的镜腿部分的定位和显示的需要而减少了由计算机系统消耗的计算资源。减少计算工作量增强了计算机系统的可操作性并且使用户-系统界面更有效(例如，通过帮助用户提供合适的输入并且减少操作计算机系统/与计算机系统进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用系统而减少了电力使用并且延长了计算机系统的电池寿命。
需注意，上文参考方法1400(例如，图14)所述过程的详情也以类似方式适用于上文所述的方法800、1000、1100和1300。例如，方法800、1000、1100和/或1300任选地包括上文参考方法1400所述的各种方法的一个或多个特征。
在一些实施方案中，方法800、1000、1100、1300和1400的方面和/或操作可在这些方法之间互换、替换和/或添加。为了简明起见，此处不再重复这些细节。
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。
如上文所述，本技术的一个方面在于采集并使用得自各种来源的数据，以改善用户的XR体验。本公开预期，在一些实例中，这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可以包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、推特ID、家庭地址、与用户的健康或健身水平有关的数据或记录(例如，生命体征测量、药物信息、锻炼信息)、出生日期或任何其他识别或个人信息。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于改善用户的XR体验。此外，本公开还预期个人信息数据有益于用户的其他用途。例如，健康和健身数据可用于向用户的总体健康状况提供见解，或者可用作使用技术来追求健康目标的个人的积极反馈。
本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类政策应该能被用户方便地访问，并应随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。此外，应在收到用户知情同意后进行此类采集/共享。另外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。另外，应当调整政策和实践，以便采集和/或访问的特定类型的个人信息数据，并适用于包括管辖范围的具体考虑的适用法律和标准。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(HIPAA)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此，在每个国家应为不同的个人数据类型保持不同的隐私实践。
不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就XR体验而言，本发明技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。在另一个示例中，用户可选择不为定制服务提供数据。在又一个示例中，用户可选择限制保持数据的时间长度或者完全禁止定制服务的开发。除了提供“选择加入”和“选择退出”选项外，本公开还设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。
此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据收集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用程序中，数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户之间聚合数据)、和/或其他方法来促进去标识。
因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可通过基于非个人信息数据或绝对最低限度量的个人信息(诸如，与用户相关联的设备所请求的内容、对服务可用的其他非个人信息、或可公开获得的信息)推断偏好来生成XR体验。
Claims (101)
1.一种方法，所述方法包括：
在与显示生成部件和与第一用户相关联的外部计算机系统通信的计算机系统处：
经由所述显示生成部件在第一呈现模式下显示包括所述外部计算机系统的所述第一用户的表示的通信用户界面，其中：
所述通信用户界面在扩展现实环境中显示所述第一用户的所述表示；以及
当在所述第一呈现模式下时，所述第一用户的所述表示具有对由所述外部计算机系统检测到的所述第一用户的第一部分的移动变化在视觉上作出反应的形状；
当在所述第一呈现模式下显示所述第一用户的所述表示时：
从所述外部计算机系统接收指示所述第一用户的所述第一部分的移动的第一数据；以及
响应于接收到所述第一数据，基于所述第一用户的所述第一部分的所述移动来修改所述第一用户的所述表示的所述形状；
在修改所述第一用户的所述表示的所述形状之后，接收第二数据，所述第二数据指示将在不同于所述第一呈现模式的第二呈现模式下显示所述第一用户的所述表示；
响应于接收到所述第二数据，经由所述显示生成部件在所述第二呈现模式下显示所述第一用户的所述表示，其中当在所述第二呈现模式下时，所述第一用户的所述表示具有不对由所述外部计算机系统检测到的所述第一用户的所述第一部分的移动变化在视觉上作出反应的形状；以及
当在所述第二呈现模式下显示所述第一用户的所述表示时：
接收第三数据，所述第三数据指示所述第一用户从物理环境中的第一位置移动到所述物理环境中不同于所述物理环境中的所述第一位置的第二位置；以及
响应于接收到所述第三数据，显示从所述扩展现实环境中的第一位置移动到所述扩展现实环境中不同于所述扩展现实环境中的所述第一位置的第二位置的所述第一用户的所述表示。
2.根据权利要求1所述的方法，其中，所述第一用户的所述第一部分包括所述第一用户的手部的至少一部分。
3.根据权利要求1至2中任一项所述的方法，还包括：
响应于接收到所述第二数据，经由所述显示生成部件显示从所述第一呈现模式转变到所述第二呈现模式的所述第一用户的所述表示的动画。
4.根据权利要求1至3中任一项所述的方法，其中，所述第二呈现模式下的所述第一用户的所述表示包括基于与所述第一用户相关联的一个或多个颜色而选择的一组一个或多个颜色。
5.根据权利要求1至3中任一项所述的方法，其中，所述第二呈现模式下的所述第一用户的所述表示包括从预先确定的调色板组中选择的一组一个或多个颜色。
6.根据权利要求1至3中任一项所述的方法，其中，所述第二呈现模式下的所述第一用户的所述表示包括从一组暖色调色板中选择的一组一个或多个颜色。
7.根据权利要求6所述的方法，还包括：
经由所述显示生成部件显示系统元素的表示，其中所述系统元素的表示包括从一组冷色调色板中选择的一组一个或多个颜色。
8.根据权利要求1至7中任一项所述的方法，还包括：
当在所述第二呈现模式下显示所述第一用户的所述表示时：
接收表示从所述第一用户接收到的音频的数据；以及
响应于接收到表示从所述第一用户接收到的音频的所述数据，响应于从所述第一用户接收到的所述音频的一个或多个特性中的检测到的变化，修改所述第二呈现模式下的所述第一用户的所述表示的外观。
9.根据权利要求8所述的方法，还包括：
当在所述第一呈现模式下显示所述第一用户的所述表示时：
接收表示从所述第一用户接收到的音频的数据；以及
响应于接收到表示从所述第一用户接收到的音频的所述数据，响应于从所述第一用户接收到的所述音频的一个或多个特性中的检测到的变化，放弃修改所述第一呈现模式下的所述第一用户的所述表示的外观。
10.根据权利要求1至9中任一项所述的方法，其中，所述第二呈现模式下的所述第一用户的所述表示改变其外观的至少一部分，而与所述第一用户输出的音频无关。
11.根据权利要求1至10中任一项所述的方法，其中，所述第二呈现模式下的所述第一用户的所述表示包括具有二维或基本上二维外观的元素。
12.根据权利要求11所述的方法，其中：
所述外部计算机系统与跟第二用户相关联的第二外部计算机系统通信，
在所述第二呈现模式下显示所述第一用户的所述表示包括经由所述显示生成部件在所述扩展现实环境中显示具有第一位置的元素，所述元素面向所述扩展现实环境中的所述计算机系统的用户，以及
所述第二外部计算机系统在所述第二呈现模式下显示所述第一用户的所述表示，包括在所述扩展现实环境中显示具有第二位置的所述元素，所述元素面向所述扩展现实环境中的所述第二用户。
13.根据权利要求11至12中任一项所述的方法，还包括：
当在所述第二呈现模式下显示具有第一显示尺寸的所述第一用户的所述表示时：
从所述外部计算机系统接收第四数据；以及
响应于接收到所述第四数据，显示从第二显示尺寸改变为不同于所述第二显示尺寸的第三显示尺寸的所述元素。
14.根据权利要求1至13中任一项所述的方法，其中，所述第二呈现模式下的所述第一用户的所述表示包括所述第一用户的静音状态的视觉指示。
15.根据权利要求1至13中任一项所述的方法，其中，所述第二呈现模式下的所述第一用户的所述表示包括所述第一用户的标识的视觉指示。
16.根据权利要求1至15中任一项所述的方法，其中：
所述第一呈现模式下的所述第一用户的所述表示包括具有化身头部特征的化身，以及
在所述第二呈现模式下显示所述第一用户的所述表示包括：停止所述化身的显示并且在与所述化身头部特征先前占据的第二位置重叠的第一位置处在所述第二呈现模式下显示所述第一用户的所述表示。
17.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序被配置为由与显示生成部件和与第一用户相关联的外部计算机系统通信的计算机系统的一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至16中任一项所述的方法的指令。
18.一种计算机系统，包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求1至16中任一项所述的方法的指令。
19.一种计算机系统，包括：
用于执行根据权利要求1至16中任一项所述的方法的装置。
20.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序被配置为由与显示生成部件和与第一用户相关联的外部计算机系统通信的计算机系统的一个或多个处理器执行，所述一个或多个程序包括用于以下操作的指令：
经由所述显示生成部件在第一呈现模式下显示包括所述外部计算机系统的所述第一用户的表示的通信用户界面，其中：
所述通信用户界面在扩展现实环境中显示所述第一用户的所述表示；以及
当在所述第一呈现模式下时，所述第一用户的所述表示具有对由所述外部计算机系统检测到的所述第一用户的第一部分的移动变化在视觉上作出反应的形状；
当在所述第一呈现模式下显示所述第一用户的所述表示时：
从所述外部计算机系统接收指示所述第一用户的所述第一部分的移动的第一数据；以及
响应于接收到所述第一数据，基于所述第一用户的所述第一部分的所述移动来修改所述第一用户的所述表示的所述形状；
在修改所述第一用户的所述表示的所述形状之后，接收第二数据，所述第二数据指示将在不同于所述第一呈现模式的第二呈现模式下显示所述第一用户的所述表示；
响应于接收到所述第二数据，经由所述显示生成部件在所述第二呈现模式下显示所述第一用户的所述表示，其中当在所述第二呈现模式下时，所述第一用户的所述表示具有不对由所述外部计算机系统检测到的所述第一用户的所述第一部分的移动变化在视觉上作出反应的形状；以及
当在所述第二呈现模式下显示所述第一用户的所述表示时：
接收第三数据，所述第三数据指示所述第一用户从物理环境中的第一位置移动到所述物理环境中不同于所述物理环境中的所述第一位置的第二位置；以及
响应于接收到所述第三数据，显示从所述扩展现实环境中的第一位置移动到所述扩展现实环境中不同于所述扩展现实环境中的所述第一位置的第二位置的所述第一用户的所述表示。
21.一种计算机系统，其中所述计算机系统与显示生成部件和与第一用户相关联的外部计算机系统通信，所述计算机系统包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
经由所述显示生成部件在第一呈现模式下显示包括所述外部计算机系统的所述第一用户的表示的通信用户界面，其中：
所述通信用户界面在扩展现实环境中显示所述第一用户的所述表示；以及
当在所述第一呈现模式下时，所述第一用户的所述表示具有对由所述外部计算机系统检测到的所述第一用户的第一部分的移动变化在视觉上作出反应的形状；
当在所述第一呈现模式下显示所述第一用户的所述表示时：
从所述外部计算机系统接收指示所述第一用户的所述第一部分的移动的第一数据；以及
响应于接收到所述第一数据，基于所述第一用户的所述第一部分的所述移动来修改所述第一用户的所述表示的所述形状；
在修改所述第一用户的所述表示的所述形状之后，接收第二数据，所述第二数据指示将在不同于所述第一呈现模式的第二呈现模式下显示所述第一用户的所述表示；
响应于接收到所述第二数据，经由所述显示生成部件在所述第二呈现模式下显示所述第一用户的所述表示，其中当在所述第二呈现模式下时，所述第一用户的所述表示具有不对由所述外部计算机系统检测到的所述第一用户的所述第一部分的移动变化在视觉上作出反应的形状；以及
当在所述第二呈现模式下显示所述第一用户的所述表示时：
接收第三数据，所述第三数据指示所述第一用户从物理环境中的第一位置移动到所述物理环境中不同于所述物理环境中的所述第一位置的第二位置；以及
响应于接收到所述第三数据，显示从所述扩展现实环境中的第一位置移动到所述扩展现实环境中不同于所述扩展现实环境中的所述第一位置的第二位置的所述第一用户的所述表示。
22.一种计算机系统，其中所述计算机系统与显示生成部件和与第一用户相关联的外部计算机系统通信，所述计算机系统包括：
用于经由所述显示生成部件在第一呈现模式下显示包括所述外部计算机系统的所述第一用户的表示的通信用户界面的装置，其中：
所述通信用户界面在扩展现实环境中显示所述第一用户的所述表示；以及
当在所述第一呈现模式下时，所述第一用户的所述表示具有对由所述外部计算机系统检测到的所述第一用户的第一部分的移动变化在视觉上作出反应的形状；
用于当在所述第一呈现模式下显示所述第一用户的所述表示时进行以下操作的装置：
从所述外部计算机系统接收指示所述第一用户的所述第一部分的移动的第一数据；以及
响应于接收到所述第一数据，基于所述第一用户的所述第一部分的所述移动来修改所述第一用户的所述表示的所述形状；
用于在修改所述第一用户的所述表示的所述形状之后接收第二数据的装置，所述第二数据指示将在不同于所述第一呈现模式的第二呈现模式下显示所述第一用户的所述表示；
用于响应于接收到所述第二数据经由所述显示生成部件在所述第二呈现模式下显示所述第一用户的所述表示的装置，其中当在所述第二呈现模式下时，所述第一用户的所述表示具有不对由所述外部计算机系统检测到的所述第一用户的所述第一部分的移动变化在视觉上作出反应的形状；以及
用于当在所述第二呈现模式下显示所述第一用户的所述表示时进行以下操作的装置：
接收第三数据，所述第三数据指示所述第一用户从物理环境中的第一位置移动到所述物理环境中不同于所述物理环境中的所述第一位置的第二位置；以及
响应于接收到所述第三数据，显示从所述扩展现实环境中的第一位置移动到所述扩展现实环境中不同于所述扩展现实环境中的所述第一位置的第二位置的所述第一用户的所述表示。
23.一种方法，所述方法包括：
在与显示生成部件和与第一用户相关联的外部计算机系统通信的计算机系统处：
响应于接收到在扩展现实环境中显示第一用户的表示的请求：
根据确定满足一组眼镜显示标准：
经由所述显示生成部件在所述扩展现实环境中显示所述第一用户的所述表示；以及
经由所述显示生成部件在所述扩展现实环境中显示定位在所述第一用户的所述表示上的眼镜的表示；以及
根据确定不满足所述一组眼镜显示标准：
经由所述显示生成部件在所述扩展现实环境中显示所述第一用户的所述表示，而不在所述扩展现实环境中显示定位在所述第一用户的所述表示上的所述眼镜的表示。
24.根据权利要求23所述的方法，其中，所述一组眼镜显示标准包括当启用用户设置以显示所述眼镜的表示时满足的标准。
25.根据权利要求23所述的方法，其中，所述一组眼镜显示标准包括当在登记过程期间检测到一组眼镜时满足的标准。
26.根据权利要求23至25中任一项所述的方法，其中，在所述扩展现实环境中显示定位在所述第一用户的所述表示上的所述眼镜的表示包括：
根据确定所述第一用户已选择第一外观的选项，显示具有所述第一外观的所述眼镜的表示；以及
根据确定所述第一用户已选择第二外观的选项，显示具有所述第二外观的所述眼镜的表示。
27.根据权利要求26所述的方法，其中，所述第一外观是基于所述计算机系统的所述显示生成部件的外观。
28.根据权利要求23至25中任一项所述的方法，其中，在所述扩展现实环境中显示定位在所述第一用户的所述表示上的所述眼镜的表示包括：
根据确定满足第三外观标准，显示具有基于在所述用户的面部上检测到的眼镜而选择的第三外观的所述眼镜的表示。
29.根据权利要求23至28中任一项所述的方法，其中：
所述第一用户与具有第一组外观特性的一组眼镜相关联，以及通过省略所述一组眼镜的一个或多个视觉细节，所述眼镜的表示具有不同于所述第一组外观特性的第二组外观特性。
30.根据权利要求23至29中任一项所述的方法，其中，所述眼镜的表示具有半透明外观。
31.根据权利要求23至30中任一项所述的方法，其中，在所述扩展现实环境中定位在所述第一用户的所述表示上的所述眼镜的表示包括所述眼镜的一个或多个边缘部分的表示，并且不包括所述眼镜的镜腿部分的表示。
32.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序被配置为由与显示生成部件和与第一用户相关联的外部计算机系统通信的计算机系统的一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求23至31中任一项所述的方法的指令。
33.一种计算机系统，包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求23至31中任一项所述的方法的指令。
34.一种计算机系统，包括：
用于执行根据权利要求23至31中任一项所述的方法的装置。
35.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序被配置为由与显示生成部件和与第一用户相关联的外部计算机系统通信的计算机系统的一个或多个处理器执行，所述一个或多个程序包括用于以下操作的指令：
响应于接收到在扩展现实环境中显示第一用户的表示的请求：
根据确定满足一组眼镜显示标准：
经由所述显示生成部件在所述扩展现实环境中显示所述第一用户的所述表示；以及
经由所述显示生成部件在所述扩展现实环境中显示定位在所述第一用户的所述表示上的眼镜的表示；以及
根据确定不满足所述一组眼镜显示标准：
经由所述显示生成部件在所述扩展现实环境中显示所述第一用户的所述表示，而不在所述扩展现实环境中显示定位在所述第一用户的所述表示上的所述眼镜的表示。
36.一种计算机系统，其中所述计算机系统与显示生成部件和与第一用户相关联的外部计算机系统通信，所述计算机系统包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
响应于接收到在扩展现实环境中显示第一用户的表示的请求：
根据确定满足一组眼镜显示标准：
经由所述显示生成部件在所述扩展现实环境中显示所述第一用户的所述表示；以及
经由所述显示生成部件显示在所述扩展现实环境中定位在所述第一用户的所述表示上的眼镜的表示；以及
根据确定不满足所述一组眼镜显示标准：
经由所述显示生成部件在所述扩展现实环境中显示所述第一用户的所述表示，而不在所述扩展现实环境中显示定位在所述第一用户的所述表示上的所述眼镜的表示。
37.一种计算机系统，其中所述计算机系统与显示生成部件和与第一用户相关联的外部计算机系统通信，所述计算机系统包括：
用于响应于接收到在扩展现实环境中显示第一用户的表示的请求而进行以下操作的装置：
根据确定满足一组眼镜显示标准：
经由所述显示生成部件在所述扩展现实环境中显示所述第一用户的所述表示；以及
经由所述显示生成部件显示在所述扩展现实环境中定位在所述第一用户的所述表示上的眼镜的表示；以及
根据确定不满足所述一组眼镜显示标准：
经由所述显示生成部件在所述扩展现实环境中显示所述第一用户的所述表示，而不在所述扩展现实环境中显示定位在所述第一用户的所述表示上的所述眼镜的表示。
38.一种方法，所述方法包括：
在与显示生成部件和一个或多个相机通信的计算机系统处：
在包括经由所述一个或多个相机捕获用户的面部数据的登记过程期间，经由所述显示生成部件显示用于登记用户的一个或多个特征的登记界面，包括：
输出将所述用户的面部特征中的第一组一个或多个面部特征定位在第一预定义的一组一个或多个面部表情中的第一提示；以及
输出将所述用户的面部特征中的第二组一个或多个面部特征定位在不同于所述第一预定义的一组一个或多个面部表情的第二预定义的一组一个或多个面部表情中的第二提示。
39.根据权利要求38所述的方法，其中：
根据确定不满足第一组登记标准而输出所述第一提示，以及根据确定满足所述第一组登记标准并且不满足第二组登记标准而输出所述第二提示。
40.根据权利要求38至39中任一项所述的方法，包括：
在输出所述第一提示之后，经由所述一个或多个相机捕获所述用户的第一组面部数据；以及
在输出所述第二提示之后，经由所述一个或多个相机捕获所述用户的第二组面部数据。
41.根据权利要求40所述的方法，还包括：
在经由所述一个或多个相机捕获所述用户的所述第一组面部数据之后，停止所述第一提示的显示；以及
在经由所述一个或多个相机捕获所述用户的所述第二组面部数据之后，停止所述第二提示的显示。
42.根据权利要求38至41中任一项所述的方法，其中，所述第一预定义的一组一个或多个面部表情选自由微笑、皱眉、斜眼和惊讶表情组成的组。
43.根据权利要求38至42中任一项所述的方法，其中，所述第二提示包括提示所述用户说出一组一个或多个字词。
44.根据权利要求38至43中任一项所述的方法，其中，显示用于登记所述用户的一个或多个特征的所述登记界面还包括：
输出改变所述用户的头部的位置的第三提示。
45.根据权利要求44所述的方法，其中，在所述第一提示或所述第二提示中的至少一者之前输出所述第三提示。
46.根据权利要求38至45中任一项所述的方法，其中，显示用于登记所述用户的一个或多个特征的所述登记界面还包括：
输出第四提示，以改变所述一个或多个相机相对于所述用户的头部的位置，同时保持所述用户的头部静止。
47.根据权利要求38至46中任一项所述的方法，其中，显示用于登记所述用户的一个或多个特征的所述登记界面还包括：
输出第五提示以指示所述用户的身高。
48.根据权利要求38至47中任一项所述的方法，其中，显示用于登记所述用户的一个或多个特征的所述登记界面还包括：
对于所述登记过程的至少一部分，输出从所述用户面部移除一组眼镜的第六提示。
49.根据权利要求38至48中任一项所述的方法，其中：
使用在所述登记过程期间捕获的所述面部数据的至少一部分来生成化身，以及
使用与所述计算机系统不同的外部计算机系统来显示所述化身。
50.根据权利要求38至49中任一项所述的方法，其中，显示用于登记所述用户的一个或多个特征的所述登记界面还包括：
输出捕获所述用户的非面部特征的姿势的第七提示。
51.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个相机通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求38至50中任一项所述的方法的指令。
52.一种计算机系统，包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求38至50中任一项所述的方法的指令。
53.一种计算机系统，包括：
用于执行根据权利要求38至50中任一项所述的方法的装置。
54.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个相机通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：
在包括经由所述一个或多个相机捕获用户的面部数据的登记过程期间，经由所述显示生成部件显示用于登记用户的一个或多个特征的登记界面，包括：
输出将所述用户的面部特征中的第一组一个或多个面部特征定位在第一预定义的一组一个或多个面部表情中的第一提示；以及
输出将所述用户的面部特征中的第二组一个或多个面部特征定位在不同于所述第一预定义的一组一个或多个面部表情的第二预定义的一组一个或多个面部表情中的第二提示。
55.一种计算机系统，其中所述计算机系统与显示生成部件和一个或多个相机通信，所述计算机系统包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
在包括经由所述一个或多个相机捕获用户的面部数据的登记过程期间，经由所述显示生成部件显示用于登记用户的一个或多个特征的登记界面，包括：
输出将所述用户的面部特征中的第一组一个或多个面部特征定位在第一预定义的一组一个或多个面部表情中的第一提示；以及
输出将所述用户的面部特征中的第二组一个或多个面部特征定位在不同于所述第一预定义的一组一个或多个面部表情的第二预定义的一组一个或多个面部表情中的第二提示。
56.一种计算机系统，其中所述计算机系统与显示生成部件和一个或多个相机通信，所述计算机系统包括：
用于在包括经由所述一个或多个相机捕获用户的面部数据的登记过程期间经由所述显示生成部件显示用于登记用户的一个或多个特征的登记界面的装置，包括：
输出将所述用户的面部特征中的第一组一个或多个面部特征定位在第一预定义的一组一个或多个面部表情中的第一提示；以及
输出将所述用户的面部特征中的第二组一个或多个面部特征定位在不同于所述第一预定义的一组一个或多个面部表情的第二预定义的一组一个或多个面部表情中的第二提示。
57.一种方法，所述方法包括：
在与显示生成部件和一个或多个传感器通信的计算机系统处：
经由所述显示生成部件显示用户特征指示符界面，所述用户特征指示符界面包括：
与用户的手部的一组一个或多个特征在物理环境中的检测到的位置相对应的一组一个或多个视觉指示符，其中所述一组一个或多个视觉指示符被显示在扩展现实环境中并且具有与所述用户的所述手部的所述一组一个或多个特征在所述物理环境中的第一检测到的位置相对应的第一显示位置；
经由所述一个或多个传感器检测所述用户的所述手部的所述一组一个或多个特征中的所述用户的所述手部的至少一个特征的移动；以及
响应于检测到所述用户的所述手部的所述一组一个或多个特征中的所述用户的所述手部的所述至少一个特征的移动而更新所述用户特征指示符界面的显示，包括：
根据确定所述用户的所述手部的所述一组一个或多个特征移动到所述物理环境中的第二检测到的位置，经由所述显示生成部件在所述扩展现实环境中显示具有第二显示位置的所述一组一个或多个视觉指示符，所述第二显示位置与所述物理环境中所述用户的所述手部的所述一组一个或多个特征的所述第二检测到的位置相对应；以及
根据确定所述用户的所述手部的所述一组一个或多个特征移动到所述物理环境中不同于所述第二检测到的位置的第三检测到的位置，经由所述显示生成部件在所述扩展现实环境中显示具有第三显示位置的所述一组一个或多个视觉指示符，所述第三显示位置与所述物理环境中所述用户的所述手部的所述一组一个或多个特征的所述第三检测到的位置相对应，其中所述扩展现实环境中的所述第三显示位置不同于所述扩展现实环境中的所述第二显示位置。
58.根据权利要求57所述的方法，其中：
检测到所述用户的所述手部的所述一组一个或多个特征中的所述用户的所述手部的所述至少一个特征的移动包括检测到所述用户的所述手部的所述一组一个或多个特征中的所述用户的所述手部的所述至少一个特征的移动的幅度和/或方向，
在所述扩展现实环境中显示具有所述第二显示位置的所述一组一个或多个视觉指示符包括显示从所述第一显示位置移动到所述第二显示位置的所述一组一个或多个视觉指示符，其中从所述第一显示位置到所述第二显示位置的所述移动基于所述用户的所述手部的所述一组一个或多个特征中的所述用户的所述手部的所述至少一个特征的所述移动的所检测到的幅度和/或方向，以及
在所述扩展现实环境中显示具有所述第三显示位置的所述一组一个或多个视觉指示符包括显示从所述第一显示位置移动到所述第三显示位置的所述一组一个或多个视觉指示符，其中从所述第一显示位置到所述第三显示位置的所述移动基于所述用户的所述手部的所述一组一个或多个特征中的所述用户的所述手部的所述至少一个特征的所述移动的所检测到的幅度和/或方向。
59.根据权利要求57至58中任一项所述的方法，其中：
所述显示生成部件包括透明显示部件，以及
所述一组一个或多个视觉指示符被显示在所述透明显示部件上的位置处，所述位置被预测为沿着所述用户的眼睛与所述手部的所述一组一个或多个特征的检测到的位置之间的视线。
60.根据权利要求57至59中任一项所述的方法，其中，显示所述一组一个或多个视觉指示符包括在所述扩展现实环境中在与所述用户的所述手部的所述一组一个或多个特征的周边区域相对应的位置处显示虚拟突出显示效果。
61.根据权利要求57至60中任一项所述的方法，其中：
在所述扩展现实环境中显示具有所述第二显示位置的所述一组一个或多个视觉指示符包括：
显示从所述第一显示位置移动到所述第二显示位置的所述一组一个或多个视觉指示符；以及
随着所述一个或多个视觉指示符从所述第一显示位置移动到所述第二显示位置，显示跟随所述一个或多个视觉指示符的第二组一个或多个视觉指示符；以及
在所述扩展现实环境中显示具有所述第三显示位置的所述一组一个或多个视觉指示符包括：
显示从所述第一显示位置移动到所述第三显示位置的所述一组一个或多个视觉指示符；以及
随着所述一个或多个视觉指示符从所述第一显示位置移动到所述第三显示位置，显示跟随所述一个或多个视觉指示符的第三组一个或多个视觉指示符。
62.根据权利要求57至61中任一项所述的方法，其中：
所述用户的所述手部的所述至少一个特征是所述用户的所述手部的手指的尖端；以及
显示所述一组一个或多个视觉指示符包括在所述扩展现实环境中在与所述用户的所述手部的所述手指的所述尖端对应的位置处显示突出显示效果。
63.根据权利要求57至62中任一项所述的方法，其中，根据确定所述设备准备好接受基于所述用户的所述手部的位置和/或移动的输入来显示所述用户特征指示符界面。
64.根据权利要求63所述的方法，其中，当确定所述用户正在看着所述手部时，所述设备准备好接受基于所述用户的所述手部的位置和/或移动的输入。
65.根据权利要求63至64中任一项所述的方法，其中，当确定所述用户的所述手部具有一组一个或多个预定义姿势中的至少一个预定义姿势时，所述设备准备好接受基于所述手部的位置和/或移动的输入。
66.根据权利要求57至65中任一项所述的方法，其中，根据确定满足第一组显示标准来显示所述特征指示符界面，所述方法还包括：
根据确定满足第二组显示标准，经由所述显示生成部件在虚拟现实环境中显示所述用户的所述手部的虚拟表示。
67.根据权利要求57至66中任一项所述的方法，其中：
所述计算机系统与外部计算机系统通信，
当所述计算机系统正在经由所述显示生成部件显示包括所述一组一个或多个视觉指示符的所述用户特征指示符界面时，所述外部计算机系统在所述扩展现实环境中显示所述用户的所述手部的虚拟表示。
68.根据权利要求57至67中任一项所述的方法，还包括：
经由所述一个或多个传感器检测一组预定义手势中的至少一个手势；以及
响应于检测到所述至少一个手势，修改所述一组一个或多个视觉指示符的外观。
69.根据权利要求57至68中任一项所述的方法，其中：
显示所述一组一个或多个视觉指示符包括经由所述显示生成部件显示定位在所述物理环境中的所述用户的所述手部的所述一组一个或多个特征的视频馈送源上的所述视觉指示符。
70.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求57至69中任一项所述的方法的指令。
71.一种计算机系统，包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求57至69中任一项所述的方法的指令。
72.一种计算机系统，包括：
用于执行根据权利要求57至69中任一项所述的方法的装置。
73.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：
经由所述显示生成部件显示用户特征指示符界面，所述用户特征指示符界面包括：
与用户的手部的一组一个或多个特征在物理环境中的检测到的位置相对应的一组一个或多个视觉指示符，其中所述一组一个或多个视觉指示符被显示在扩展现实环境中并且具有与所述用户的所述手部的所述一组一个或多个特征在所述物理环境中的第一检测到的位置相对应的第一显示位置；
经由所述一个或多个传感器检测所述用户的所述手部的所述一组一个或多个特征中的所述用户的所述手部的至少一个特征的移动；以及
响应于检测到所述用户的所述手部的所述一组一个或多个特征中的所述用户的所述手部的所述至少一个特征的移动而更新所述用户特征指示符界面的显示，包括：
根据确定所述用户的所述手部的所述一组一个或多个特征移动到所述物理环境中的第二检测到的位置，经由所述显示生成部件在所述扩展现实环境中显示具有第二显示位置的所述一组一个或多个视觉指示符，所述第二显示位置与所述物理环境中所述用户的所述手部的所述一组一个或多个特征的所述第二检测到的位置相对应；以及
根据确定所述用户的所述手部的所述一组一个或多个特征移动到所述物理环境中不同于所述第二检测到的位置的第三检测到的位置，经由所述显示生成部件在所述扩展现实环境中显示具有第三显示位置的所述一组一个或多个视觉指示符，所述第三显示位置与所述物理环境中所述用户的所述手部的所述一组一个或多个特征的所述第三检测到的位置相对应，其中所述扩展现实环境中的所述第三显示位置不同于所述扩展现实环境中的所述第二显示位置。
74.一种计算机系统，其中所述计算机系统与显示生成部件和一个或多个传感器通信，所述计算机系统包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
经由所述显示生成部件显示用户特征指示符界面，所述用户特征指示符界面包括：
与用户的手部的一组一个或多个特征在物理环境中的检测到的位置相对应的一组一个或多个视觉指示符，其中所述一组一个或多个视觉指示符被显示在扩展现实环境中并且具有与所述用户的所述手部的所述一组一个或多个特征在所述物理环境中的第一检测到的位置相对应的第一显示位置；
经由所述一个或多个传感器检测所述用户的所述手部的所述一组一个或多个特征中的所述用户的所述手部的至少一个特征的移动；以及
响应于检测到所述用户的所述手部的所述一组一个或多个特征中的所述用户的所述手部的所述至少一个特征的移动而更新所述用户特征指示符界面的显示，包括：
根据确定所述用户的所述手部的所述一组一个或多个特征移动到所述物理环境中的第二检测到的位置，经由所述显示生成部件在所述扩展现实环境中显示具有第二显示位置的所述一组一个或多个视觉指示符，所述第二显示位置与所述物理环境中所述用户的所述手部的所述一组一个或多个特征的所述第二检测到的位置相对应；以及
根据确定所述用户的所述手部的所述一组一个或多个特征移动到所述物理环境中不同于所述第二检测到的位置的第三检测到的位置，经由所述显示生成部件在所述扩展现实环境中显示具有第三显示位置的所述一组一个或多个视觉指示符，所述第三显示位置与所述物理环境中所述用户的所述手部的所述一组一个或多个特征的所述第三检测到的位置相对应，其中所述扩展现实环境中的所述第三显示位置不同于所述扩展现实环境中的所述第二显示位置。
75.一种计算机系统，其中所述计算机系统与显示生成部件和一个或多个传感器通信，所述计算机系统包括：
用于经由所述显示生成部件显示用户特征指示符界面的装置，所述用户特征指示符界面包括：
与用户的手部的一组一个或多个特征在物理环境中的检测到的位置相对应的一组一个或多个视觉指示符，其中所述一组一个或多个视觉指示符被显示在扩展现实环境中并且具有与所述用户的所述手部的所述一组一个或多个特征在所述物理环境中的第一检测到的位置相对应的第一显示位置；
用于经由所述一个或多个传感器检测所述用户的所述手部的所述一组一个或多个特征中的所述用户的所述手部的至少一个特征的移动的装置；以及
用于响应于检测到所述用户的所述手部的所述一组一个或多个特征中的所述用户的所述手部的所述至少一个特征的移动而更新所述用户特征指示符界面的显示的装置，包括：
根据确定所述用户的所述手部的所述一组一个或多个特征移动到所述物理环境中的第二检测到的位置，经由所述显示生成部件在所述扩展现实环境中显示具有第二显示位置的所述一组一个或多个视觉指示符，所述第二显示位置与所述物理环境中所述用户的所述手部的所述一组一个或多个特征的所述第二检测到的位置相对应；以及
根据确定所述用户的所述手部的所述一组一个或多个特征移动到所述物理环境中不同于所述第二检测到的位置的第三检测到的位置，经由所述显示生成部件在所述扩展现实环境中显示具有第三显示位置的所述一组一个或多个视觉指示符，所述第三显示位置与所述物理环境中所述用户的所述手部的所述一组一个或多个特征的所述第三检测到的位置相对应，其中所述扩展现实环境中的所述第三显示位置不同于所述扩展现实环境中的所述第二显示位置。
76.一种方法，所述方法包括：
在与显示生成部件和与第一用户相关联的外部计算机系统通信的计算机系统处：
经由所述显示生成部件在扩展现实环境中显示所述第一用户的表示，其中所述第一用户的所述表示被显示在所述扩展现实环境中，具有第一姿势和基于所述第一用户的至少一部分的形状的形状，其中用第一组视觉特性来使所述第一用户的所述表示的所述形状可视化；
接收包括指示所述第一用户的姿势变化的数据的第一数据；以及
响应于接收到所述第一数据，更新所述第一用户的所述表示在所述扩展现实环境中的外观，包括：
根据确定所述第一数据包括所述第一用户的第一部分正在接触对象的指示，在所述扩展现实环境中显示：
具有基于所述第一用户的所述姿势变化的第二姿势的所述第一用户的所述表示，其中用所述第一组视觉特性来使所述第一用户的所述表示的所述形状可视化；以及
具有基于所述对象的至少一部分的形状的形状的所述对象的表示，其中用不同于所述第一组视觉特性的第二组视觉特性来使所述对象的所述表示的所述形状可视化。
77.根据权利要求76所述的方法，其中，在所述扩展现实环境中更新所述第一用户的所述表示的外观包括：
根据确定所述第一数据不包括所述第一用户的所述第一部分正在接触所述对象的指示：
在所述扩展现实环境中显示具有基于所述第一用户的所述姿势变化的所述第二姿势的所述第一用户的所述表示，其中用所述第一组视觉特性来使所述第一用户的所述表示的所述形状可视化；以及
放弃在所述扩展现实环境中显示具有基于所述对象的至少一部分的形状的形状并且用不同于所述第一组视觉特性的第二组视觉特性来可视化的所述对象的所述表示。
78.根据权利要求76至77中任一项所述的方法，其中：
所述第一组视觉特性包括所述第一用户的所述表示的所述形状的第一模糊量，以及
所述第二组视觉特性包括所述对象的所述表示的所述形状的不同于所述第一模糊量的第二模糊量。
79.根据权利要求76至78中任一项所述的方法，其中：
所述第一组视觉特性包括构成所述第一用户的所述表示的所述形状的颗粒的第一密度，以及
所述第二组视觉特性包括构成所述对象的所述表示的所述形状的颗粒的不同于所述第一密度的第二密度。
80.根据权利要求76至79中任一项所述的方法，其中：
所述第一组视觉特性包括所述第一用户的所述表示的所述形状的第一视觉平滑量，以及
所述第二组视觉特性包括所述对象的所述表示的所述形状的不同于所述第一视觉平滑量的第二视觉平滑量。
81.根据权利要求76至80中任一项所述的方法，其中：
所述第一组视觉特性包括所述第一用户的所述表示的所述形状的第一像素化量，以及
所述第二组视觉特性包括所述对象的所述表示的所述形状的不同于所述第一像素化量的第二像素化量。
82.根据权利要求76至81中任一项所述的方法，其中，所述对象的所述表示至少部分地基于来自对象库的数据。
83.根据权利要求76至82中任一项所述的方法，其中，所述第一用户的所述表示至少部分地基于来自所述第一用户的登记过程的数据。
84.根据权利要求76至83中任一项所述的方法，其中：
当所述计算机系统正在经由所述显示生成部件显示所述第一用户的所述表示和所述对象的所述表示时，所述外部计算机系统放弃显示所述第一用户的所述表示和所述对象的所述表示。
85.根据权利要求76至84中任一项所述的方法，还包括：
当显示具有第一位置的所述对象的所述表示和具有所述第二姿势的所述第一用户的所述表示时，接收包括指示所述第一用户的至少第一部分的移动的数据的第二数据；
响应于接收到所述第二数据，更新所述对象的所述表示和所述第一用户的所述表示在所述扩展现实环境中的显示，包括：
基于所述用户的至少所述第一部分的所述移动来显示具有第三姿势的所述第一用户的所述表示；以及
基于所述用户的至少所述第一部分的所述移动来显示具有第二位置的所述对象的所述表示。
86.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序被配置为由与显示生成部件和与第一用户相关联的外部计算机系统通信的计算机系统的一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求76至85中任一项所述的方法的指令。
87.一种计算机系统，包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求76至85中任一项所述的方法的指令。
88.一种计算机系统，包括：
用于执行根据权利要求76至85中任一项所述的方法的装置。
89.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序被配置为由与显示生成部件和与第一用户相关联的外部计算机系统通信的计算机系统的一个或多个处理器执行，所述一个或多个程序包括用于以下操作的指令：
经由所述显示生成部件在扩展现实环境中显示所述第一用户的表示，其中所述第一用户的所述表示被显示在所述扩展现实环境中，具有第一姿势和基于所述第一用户的至少一部分的形状的形状，其中用第一组视觉特性来使所述第一用户的所述表示的所述形状可视化；
接收包括指示所述第一用户的姿势变化的数据的第一数据；以及
响应于接收到所述第一数据，更新所述第一用户的所述表示在所述扩展现实环境中的外观，包括：
根据确定所述第一数据包括所述第一用户的第一部分正在接触对象的指示，在所述扩展现实环境中显示：
具有基于所述第一用户的所述姿势变化的第二姿势的所述第一用户的所述表示，其中用所述第一组视觉特性来使所述第一用户的所述表示的所述形状可视化；以及
具有基于所述对象的至少一部分的形状的形状的所述对象的表示，其中用不同于所述第一组视觉特性的第二组视觉特性来使所述对象的所述表示的所述形状可视化。
90.一种计算机系统，其中所述计算机系统与显示生成部件和与第一用户相关联的外部计算机系统通信，所述计算机系统包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
经由所述显示生成部件在扩展现实环境中显示所述第一用户的表示，其中所述第一用户的所述表示被显示在所述扩展现实环境中，具有第一姿势和基于所述第一用户的至少一部分的形状的形状，其中用第一组视觉特性来使所述第一用户的所述表示的所述形状可视化；
接收包括指示所述第一用户的姿势变化的数据的第一数据；以及
响应于接收到所述第一数据，更新所述第一用户的所述表示在所述扩展现实环境中的外观，包括：
根据确定所述第一数据包括所述第一用户的第一部分正在接触对象的指示，在所述扩展现实环境中显示：
具有基于所述第一用户的所述姿势变化的第二姿势的所述第一用户的所述表示，其中用所述第一组视觉特性来使所述第一用户的所述表示的所述形状可视化；以及
具有基于所述对象的至少一部分的形状的形状的所述对象的表示，其中用不同于所述第一组视觉特性的第二组视觉特性来使所述对象的所述表示的所述形状可视化。
91.一种计算机系统，其中所述计算机系统与显示生成部件和与第一用户相关联的外部计算机系统通信，所述计算机系统包括：
用于经由所述显示生成部件在扩展现实环境中显示所述第一用户的表示的装置，其中所述第一用户的所述表示被显示在所述扩展现实环境中，具有第一姿势和基于所述第一用户的至少一部分的形状的形状，其中用第一组视觉特性来使所述第一用户的所述表示的所述形状可视化；
用于接收包括指示所述第一用户的姿势变化的数据的第一数据的装置；以及
用于响应于接收到所述第一数据来更新所述第一用户的所述表示在所述扩展现实环境中的外观的装置，包括：
根据确定所述第一数据包括所述第一用户的第一部分正在接触对象的指示，在所述扩展现实环境中显示：
具有基于所述第一用户的所述姿势变化的第二姿势的所述第一用户的所述表示，其中用所述第一组视觉特性来使所述第一用户的所述表示的所述形状可视化；以及
具有基于所述对象的至少一部分的形状的形状的所述对象的表示，其中用不同于所述第一组视觉特性的第二组视觉特性来使所述对象的所述表示的所述形状可视化。
92.一种包括一个或多个程序的计算机程序产品，所述一个或多个程序被配置为由与显示生成部件和与第一用户相关联的外部计算机系统通信的计算机系统的一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至16中任一项所述的方法的指令。
93.一种包括一个或多个程序的计算机程序产品，所述一个或多个程序被配置为由与显示生成部件和与第一用户相关联的外部计算机系统通信的计算机系统的一个或多个处理器执行，所述一个或多个程序包括用于以下操作的指令：
经由所述显示生成部件在第一呈现模式下显示包括所述外部计算机系统的所述第一用户的表示的通信用户界面，其中：
所述通信用户界面在扩展现实环境中显示所述第一用户的所述表示；以及
当在所述第一呈现模式下时，所述第一用户的所述表示具有对由所述外部计算机系统检测到的所述第一用户的第一部分的移动变化在视觉上作出反应的形状；
当在所述第一呈现模式下显示所述第一用户的所述表示时：
从所述外部计算机系统接收指示所述第一用户的所述第一部分的移动的第一数据；以及
响应于接收到所述第一数据，基于所述第一用户的所述第一部分的所述移动来修改所述第一用户的所述表示的所述形状；
在修改所述第一用户的所述表示的所述形状之后，接收第二数据，所述第二数据指示将在不同于所述第一呈现模式的第二呈现模式下显示所述第一用户的所述表示；
响应于接收到所述第二数据，经由所述显示生成部件在所述第二呈现模式下显示所述第一用户的所述表示，其中当在所述第二呈现模式下时，所述第一用户的所述表示具有不对由所述外部计算机系统检测到的所述第一用户的所述第一部分的移动变化在视觉上作出反应的形状；以及
当在所述第二呈现模式下显示所述第一用户的所述表示时：
接收第三数据，所述第三数据指示所述第一用户从物理环境中的第一位置移动到所述物理环境中不同于所述物理环境中的所述第一位置的第二位置；以及
响应于接收到所述第三数据，显示从所述扩展现实环境中的第一位置移动到所述扩展现实环境中不同于所述扩展现实环境中的所述第一位置的第二位置的所述第一用户的所述表示。
94.一种包括一个或多个程序的计算机程序产品，所述一个或多个程序被配置为由与显示生成部件和与第一用户相关联的外部计算机系统通信的计算机系统的一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求23至31中任一项所述的方法的指令。
95.一种包括一个或多个程序的计算机程序产品，所述一个或多个程序被配置为由与显示生成部件和与第一用户相关联的外部计算机系统通信的计算机系统的一个或多个处理器执行，所述一个或多个程序包括用于以下操作的指令：
响应于接收到在扩展现实环境中显示第一用户的表示的请求：
根据确定满足一组眼镜显示标准：
经由所述显示生成部件在所述扩展现实环境中显示所述第一用户的所述表示；以及
经由所述显示生成部件在所述扩展现实环境中显示定位在所述第一用户的所述表示上的眼镜的表示；以及
根据确定不满足所述一组眼镜显示标准：
经由所述显示生成部件在所述扩展现实环境中显示所述第一用户的所述表示，而不在所述扩展现实环境中显示定位在所述第一用户的所述表示上的所述眼镜的表示。
96.一种计算机程序产品，所述计算机程序产品包括被配置为由与显示生成部件和一个或多个相机通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求38至50中任一项所述的方法的指令。
97.一种计算机程序产品，所述计算机程序产品包括被配置为由与显示生成部件和一个或多个相机通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：
在包括经由所述一个或多个相机捕获用户的面部数据的登记过程期间，经由所述显示生成部件显示用于登记用户的一个或多个特征的登记界面，包括：
输出将所述用户的面部特征中的第一组一个或多个面部特征定位在第一预定义的一组一个或多个面部表情中的第一提示；以及
输出将所述用户的面部特征中的第二组一个或多个面部特征定位在不同于所述第一预定义的一组一个或多个面部表情的第二预定义的一组一个或多个面部表情中的第二提示。
98.一种计算机程序产品，所述计算机程序产品包括被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求57至69中任一项所述的方法的指令。
99.一种计算机程序产品，所述计算机程序产品包括被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：
经由所述显示生成部件显示用户特征指示符界面，所述用户特征指示符界面包括：
与用户的手部的一组一个或多个特征在物理环境中的检测到的位置相对应的一组一个或多个视觉指示符，其中所述一组一个或多个视觉指示符被显示在扩展现实环境中并且具有与所述用户的所述手部的所述一组一个或多个特征在所述物理环境中的第一检测到的位置相对应的第一显示位置；
经由所述一个或多个传感器检测所述用户的所述手部的所述一组一个或多个特征中的所述用户的所述手部的至少一个特征的移动；以及
响应于检测到所述用户的所述手部的所述一组一个或多个特征中的所述用户的所述手部的所述至少一个特征的移动而更新所述用户特征指示符界面的显示，包括：
根据确定所述用户的所述手部的所述一组一个或多个特征移动到所述物理环境中的第二检测到的位置，经由所述显示生成部件在所述扩展现实环境中显示具有第二显示位置的所述一组一个或多个视觉指示符，所述第二显示位置与所述物理环境中所述用户的所述手部的所述一组一个或多个特征的所述第二检测到的位置相对应；以及
根据确定所述用户的所述手部的所述一组一个或多个特征移动到所述物理环境中不同于所述第二检测到的位置的第三检测到的位置，经由所述显示生成部件在所述扩展现实环境中显示具有第三显示位置的所述一组一个或多个视觉指示符，所述第三显示位置与所述物理环境中所述用户的所述手部的所述一组一个或多个特征的所述第三检测到的位置相对应，其中所述扩展现实环境中的所述第三显示位置不同于所述扩展现实环境中的所述第二显示位置。
100.一种包括一个或多个程序的计算机程序产品，所述一个或多个程序被配置为由与显示生成部件和与第一用户相关联的外部计算机系统通信的计算机系统的一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求76至85中任一项所述的方法的指令。
101.一种包括一个或多个程序的计算机程序产品，所述一个或多个程序被配置为由与显示生成部件和与第一用户相关联的外部计算机系统通信的计算机系统的一个或多个处理器执行，所述一个或多个程序包括用于以下操作的指令：
经由所述显示生成部件在扩展现实环境中显示所述第一用户的表示，其中所述第一用户的所述表示被显示在所述扩展现实环境中，具有第一姿势和基于所述第一用户的至少一部分的形状的形状，其中用第一组视觉特性来使所述第一用户的所述表示的所述形状可视化；
接收包括指示所述第一用户的姿势变化的数据的第一数据；以及
响应于接收到所述第一数据，更新所述第一用户的所述表示在所述扩展现实环境中的外观，包括：
根据确定所述第一数据包括所述第一用户的第一部分正在接触对象的指示，在所述扩展现实环境中显示：
具有基于所述第一用户的所述姿势变化的第二姿势的所述第一用户的所述表示，其中用所述第一组视觉特性来使所述第一用户的所述表示的所述形状可视化；以及
具有基于所述对象的至少一部分的形状的形状的所述对象的表示，其中用不同于所述第一组视觉特性的第二组视觉特性来使所述对象的所述表示的所述形状可视化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311319264.9A CN117193538A (zh) | 2021-02-16 | 2022-02-15 | 用于在三维环境中呈现化身的界面 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US63/149,989 | 2021-02-16 | ||
| US17/667,350 US12125149B2 (en) | 2022-02-08 | Interfaces for presenting avatars in three-dimensional environments | |
| US17/667,350 | 2022-02-08 | ||
| PCT/US2022/016451 WO2022177900A1 (en) | 2021-02-16 | 2022-02-15 | Interfaces for presenting avatars in three-dimensional environments |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311319264.9A Division CN117193538A (zh) | 2021-02-16 | 2022-02-15 | 用于在三维环境中呈现化身的界面 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116868152A true CN116868152A (zh) | 2023-10-10 |
Family
ID=88236375
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280015249.2A Pending CN116868152A (zh) | 2021-02-16 | 2022-02-15 | 用于在三维环境中呈现化身的界面 |
| CN202311319264.9A Pending CN117193538A (zh) | 2021-02-16 | 2022-02-15 | 用于在三维环境中呈现化身的界面 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311319264.9A Pending CN117193538A (zh) | 2021-02-16 | 2022-02-15 | 用于在三维环境中呈现化身的界面 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN116868152A (zh) |
-
2022
- 2022-02-15 CN CN202280015249.2A patent/CN116868152A/zh active Pending
- 2022-02-15 CN CN202311319264.9A patent/CN117193538A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN117193538A (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11995230B2 (en) | Methods for presenting and sharing content in an environment | |
| US11733769B2 (en) | Presenting avatars in three-dimensional environments | |
| US20230152935A1 (en) | Devices, methods, and graphical user interfaces for presenting virtual objects in virtual environments | |
| US20230350539A1 (en) | Representations of messages in a three-dimensional environment | |
| US20230315385A1 (en) | Methods for quick message response and dictation in a three-dimensional environment | |
| US20230171484A1 (en) | Devices, methods, and graphical user interfaces for generating and displaying a representation of a user | |
| US11579693B2 (en) | Systems, methods, and graphical user interfaces for updating display of a device relative to a user's body | |
| US20240077937A1 (en) | Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments | |
| US20240036699A1 (en) | Devices, Methods, and Graphical User Interfaces for Processing Inputs to a Three-Dimensional Environment | |
| US20230343049A1 (en) | Obstructed objects in a three-dimensional environment | |
| US20230316674A1 (en) | Devices, methods, and graphical user interfaces for modifying avatars in three-dimensional environments | |
| US20230384860A1 (en) | Devices, methods, and graphical user interfaces for generating and displaying a representation of a user | |
| US12125149B2 (en) | Interfaces for presenting avatars in three-dimensional environments | |
| US20220262080A1 (en) | Interfaces for presenting avatars in three-dimensional environments | |
| CN116868152A (zh) | 用于在三维环境中呈现化身的界面 | |
| US12131429B2 (en) | Devices, methods, and graphical user interfaces for displaying a representation of a user in an extended reality environment | |
| US20230103161A1 (en) | Devices, methods, and graphical user interfaces for tracking mitigation in three-dimensional environments | |
| WO2022177900A1 (en) | Interfaces for presenting avatars in three-dimensional environments | |
| US20240103636A1 (en) | Methods for manipulating a virtual object | |
| US20240104871A1 (en) | User interfaces for capturing media and manipulating virtual objects | |
| US20240361835A1 (en) | Methods for displaying and rearranging objects in an environment | |
| US20240029377A1 (en) | Devices, Methods, and Graphical User Interfaces for Providing Inputs in Three-Dimensional Environments | |
| US20240104819A1 (en) | Representations of participants in real-time communication sessions | |
| WO2023096940A2 (en) | Devices, methods, and graphical user interfaces for generating and displaying a representation of a user | |
| CN118317815A (zh) | 用于三维环境中的跟踪缓解的设备、方法和图形用户界面 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |