CN116710181A - 用于相对于用户身体更新设备的显示器的系统、方法和图形用户界面 - Google Patents

Abstract

本公开提供了一种电子设备，当该电子设备被穿戴在用户身体的预定义部分上时，该电子设备经由与该用户身体的该预定义部分相对地布置在该电子设备上的显示生成部件来显示对应于该用户身体的该预定义部分的身体部位的外部视图的图形表示。该电子设备检测该电子设备相对于该用户身体的该预定义部分的位置的改变。响应于检测到电子设备相对于用户身体的预定义部分的位置的改变，该电子设备根据所检测到的电子设备相对于用户身体的预定义部分的位置的改变来修改对应于用户身体的预定义部分的身体部位的外部视图的图形表示。

Description

用于相对于用户身体更新设备的显示器的系统、方法和图形 用户界面

相关专利申请

本申请是2021年9月23日提交的美国专利申请17/483,744的延续，其要求2020年9月26日提交的美国临时专利申请63/083,911的优先权，这些专利申请各自通过引用整体并入本文。

技术领域

本公开整体涉及具有显示生成部件和提供计算机生成的体验的一个或多个输入设备(包括但不限于经由显示器提供虚拟现实和混合现实体验的电子设备)的计算机系统。

背景技术

近年来，用于增强现实的计算机系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例性虚拟元素包括虚拟对象(包括数字图像、视频、文本、图标、控制元素(诸如按钮)，以及其他图形)。

但用于与包括至少一些虚拟元素的环境(例如，应用程序、增强现实环境、混合现实环境和虚拟现实环境)进行交互的方法和界面麻烦、低效且受限。例如，提供用于执行与虚拟对象相关联的动作的不足反馈的系统、需要一系列输入来在增强现实环境中实现期望结果的系统，以及虚拟对象操纵复杂、繁琐且容易出错的系统，会给用户造成巨大的认知负担，并且减损虚拟/增强现实环境的体验感。此外，这些方法花费比所需时间更长的时间，从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。

发明内容

因此，需要具有改进的方法和界面的计算机系统来向用户提供计算机生成的体验，从而使得用户与计算机系统的交互对用户来说更高效且更直观。此类方法和界面任选地补充或替换用于向用户提供计算机生成的现实体验的常规方法。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系，减少了来自用户的输入的数量、程度和/或性质，从而形成了更有效的人机界面。

所公开的系统减少或消除了与用于计算机系统的用户界面相关联的上述缺陷和其他问题，这些计算机系统具有显示生成部件和一个或多个输入设备。在一些实施方案中，计算机系统是具有相关联显示器的台式计算机。在一些实施方案中，计算机系统是便携式设备(例如，笔记本电脑、平板电脑或手持式设备)。在一些实施方案中，计算机系统是个人电子设备(例如，可穿戴电子设备，诸如手表或头戴式设备)。在一些实施方案中，计算机系统具有触控板。在一些实施方案中，计算机系统具有一个或多个相机。在一些实施方案中，计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中，计算机系统具有一个或多个眼睛跟踪部件。在一些实施方案中，计算机系统具有一个或多个手部跟踪部件。在一些实施方案中，除显示生成部件之外，计算机系统还具有一个或多个输出设备，这些输出设备包括一个或多个触觉输出发生器和一个或多个音频输出设备。在一些实施方案中，计算机系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中，用户通过触控笔和/或手指在触敏表面上的接触和手势、用户的眼睛和手部在相对于GUI或用户身体的空间中的移动(如由相机和其他移动传感器捕获的)以及语音输入(如由一个或多个音频输入设备捕获的)与GUI进行交互。在一些实施方案中，通过交互执行的功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时通讯、测试支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。

需要具有改进的方法和界面的电子设备来与三维环境进行交互。此类方法和界面可以补充或替换用于与三维环境进行交互的常规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质，并且产生更高效的人机界面。

根据一些实施方案，在被配置为被穿戴在用户身体的预定义部分上的电子设备处执行一种方法，该电子设备具有一个或多个处理器、存储器和显示生成部件，该显示生成部件与该用户身体的该部分相对地布置在该电子设备上。该方法包括当该电子设备被穿戴在该用户身体的该预定义部分上时，经由该显示生成部件显示对应于该用户身体的该预定义部分的身体部位的外部视图的图形表示。该方法还包括检测该电子设备相对于该用户身体的该预定义部分的位置的改变。该方法包括响应于检测到该电子设备相对于该用户身体的该预定义部分的该位置的该改变，根据所检测到的该电子设备相对于该用户身体的该预定义部分的该位置的该改变来修改对应于该用户身体的预定义部分的该身体部位的该外部视图的该图形表示。

需注意，上述各种实施方案可与本文所述任何其他实施方案相结合。本说明书中描述的特征和优点并不全面，具体来说，根据附图、说明书和权利要求书，许多另外的特征和优点对本领域的普通技术人员将是显而易见的。此外，应当指出，出于可读性和指导性目的，在原则上选择了本说明书中使用的语言，并且可以不这样选择以描绘或界定本发明的主题。

附图说明

为了更好地理解各种所述实施方案，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。

图1是示出根据一些实施方案的用于提供CGR体验的计算机系统的操作环境的框图。

图2是示出根据一些实施方案的计算机系统的被配置为管理和协调用户的CGR体验的控制器的框图。

图3是示出根据一些实施方案的计算机系统的被配置为向用户提供CGR体验的视觉组成部分的显示生成部件的框图。

图4是示出根据一些实施方案的计算机系统的被配置为捕获用户的手势输入的手部跟踪单元的框图。

图5是示出根据一些实施方案的计算机系统的被配置为捕获用户的注视输入的眼睛跟踪单元的框图。

图6是示出根据一些实施方案的闪光辅助的注视跟踪管线的流程图。

图7A示出了根据一些实施方案的具有显示器的设备。

图7B至图7J示出了根据一些实施方案的用于相对于用户身体更新设备的显示器的示例性用户界面。

图8A至图8D是根据一些实施方案的用于向用户提供计算机生成的体验的过程的流程图，这些体验使得与计算系统的交互对于用户而言更加高效和直观。

具体实施方式

根据一些实施方案，本公开涉及用于向用户提供计算机生成的现实(CGR)体验的用户界面。

本文所述的系统、方法和GUI以多种方式改进与虚拟/增强现实环境进行的用户界面交互。

在一些实施方案中，本文描述的系统、方法和GUI通过显示由显示器覆盖的用户身体的动画部分来改进用户和周围环境中的其他人可用的视觉信息。例如，它们使得向用户提供计算机生成的体验更容易，这些体验使得与计算系统的交互对于用户和周围环境中的其他人而言更加高效和直观。

图1至图6提供了对用于向用户提供CGR体验的示例性计算机系统的描述。图7A至图7J示出了用于向用户提供计算机生成的体验的示例用户界面，这些体验使得与计算系统的交互对于用户而言更加高效和直观。图8A至图8D示出了向用户提供计算机生成的体验的方法的流程图，这些体验使得与计算系统的交互对于用户而言更加高效和直观。图7A至图7J中的用户界面用于示出图8A至图8D中的过程。

在一些实施方案中，如图1中所示，经由包括计算机系统101的操作环境100向用户提供CGR体验。计算机系统101包括控制器110(例如，便携式电子设备的处理器或远程服务器)、显示生成部件120(例如，头戴式设备(HMD)、显示器、投影仪、触摸屏等)、一个或多个输入设备125(例如，眼睛跟踪设备130、手部跟踪设备140、其他输入设备150)、一个或多个输出设备155(例如，扬声器160、触觉输出发生器170和其他输出设备180)、一个或多个传感器190(例如，图像传感器、光传感器、深度传感器、触觉传感器、取向传感器、接近传感器、温度传感器、位置传感器、运动传感器、速度传感器等)，以及任选地一个或多个外围设备195(例如，家用电器、可穿戴设备等)。在一些实施方案中，输入设备125、输出设备155、传感器190和外围设备195中的一者或多者与显示生成部件120集成(例如，在头戴式设备或手持式设备中)。

在描述CGR体验时，各种术语用于区别地指代用户可以感测并且/或者用户可以与其进行交互(例如，利用由生成CGR体验的计算机系统101检测到的输入进行交互，这些输入使得生成CGR体验的计算机系统生成与提供给计算机系统101的各种输入对应的音频、视觉和/或触觉反馈)的若干相关但不同的环境。以下是这些术语的子集：

物理环境：物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。

计算机生成的现实：相反地，计算机生成的现实(CGR)环境是指人们经由电子系统进行感测和/或交互的完全或部分模拟环境。在CGR中，跟踪人的物理运动的子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。人可以利用其感觉中的任一者来感测CGR对象和/或与之交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。

CGR的示例包括虚拟现实和混合现实。

虚拟现实：虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。

混合现实：与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致移动使得虚拟树木相对于物理地面看起来是静止的。

混合现实的示例包括增强现实和增强虚拟。

增强现实：增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或物理环境的表示上方的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。

增强虚拟：增强虚拟(AV)环境是指其中虚拟环境或计算机生成环境结合了来自物理环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的定位的阴影。

硬件：有许多不同类型的电子系统使人能够感测各种CGR环境和/或与各种CGR环境进行交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统还可以被配置为将虚拟对象投影到物理环境中例如作为全息图，或者投影到物理表面上。在一些实施方案中，控制器110被配置为管理和协调用户的CGR体验。在一些实施方案中，控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些实施方案中，控制器110是相对于场景105(例如，物理环境)处于本地或远程位置的计算设备。例如，控制器110是位于场景105内的本地服务器。又如，控制器110是位于场景105之外的远程服务器(例如，云服务器、中央服务器等)。在一些实施方案中，控制器110经由一个或多个有线或无线通信通道144(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)与显示生成部件120(例如，HMD、显示器、投影仪、触摸屏等)通信地耦接。在另一个示例中，控制器110包括在显示生成部件120(例如，HMD或包括显示器和一个或多个处理器的便携式电子设备等)、输入设备125中的一个或多个输入设备、输出设备155中的一个或多个输出设备、传感器190中的一个或多个传感器和/或外围装设备195中的一个或多个外围装设备的壳体(例如，物理外壳)内，或者与上述设备中的一者或多者共享相同的物理壳体或支撑结构。

在一些实施方案中，显示生成部件120被配置为向用户提供CGR体验(例如，至少CGR体验的视觉组成部分)。在一些实施方案中，显示生成部件120包括软件、固件和/或硬件的合适组合。下文相对于图3更详细地描述了显示生成部件120。在一些实施方案中，控制器110的功能由显示生成部件120提供和/或与该显示生成部件组合。

根据一些实施方案，当用户虚拟地和/或物理地存在于场景105内时，显示生成部件120向用户提供CGR体验。

在一些实施方案中，显示生成部件穿戴在用户身体的一部分上(例如，他/她的头部上、他/她的手部上等)。这样，显示生成部件120包括被提供用于显示CGR内容的一个或多个CGR显示器。例如，在各种实施方案中，显示生成部件120包围用户的视场。在一些实施方案中，显示生成部件120是被配置为呈现CGR内容的手持式设备(诸如智能电话或平板电脑)，并且用户握持具有朝向用户的视场的显示器和朝向场景105的相机的设备。在一些实施方案中，手持式设备被任选地放置在穿戴在用户的头部上的壳体内。在一些实施方案中，手持式设备被任选地放置在用户前面的支撑件(例如，三脚架)上。在一些实施方案中，显示生成部件120是被配置为呈现CGR内容的CGR室、壳体或房间，其中用户不穿戴或握持显示生成部件120。参考用于显示CGR内容的一种类型的硬件(例如，手持式设备或三脚架上的设备)描述的许多用户界面可以在用于显示CGR内容的另一种类型的硬件(例如，HMD或其他可穿戴计算设备)上实现。例如，示出基于发生在手持式设备或三脚架安装的设备前面的空间中的交互而触发的与CGR内容的交互的用户界面可以类似地用HMD来实现，其中交互发生在HMD前面的空间中，并且对CGR内容的响应经由HMD来显示。类似地，示出基于手持式设备或三脚架安装的设备相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手部))的移动而触发的与CRG内容的交互的用户界面可以类似地用HMD来实现，其中移动是由HMD相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手部))的移动引起的。

尽管在图1中示出了操作环境100的相关特征，但本领域的普通技术人员将从本公开中认识到，为了简洁起见并且为了不模糊本文所公开的示例性实施方案的更多相关方面，未示出各种其他特征。

图2是根据一些实施方案的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂，未示出各种其他特征。为此，作为非限制性示例，在一些实施方案中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、IEEE802.3x、IEEE802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。

在一些实施方案中，一条或多条通信总线204包括互连和控制系统部件之间的通信的电路。在一些实施方案中，一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。

存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些实施方案中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些实施方案中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统230和CGR体验模块240。

操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的指令。在一些实施方案中，CGR体验模块240被配置为管理和协调一个或多个用户的单重或多重CGR体验(例如，一个或多个用户的单重CGR体验，或一个或多个用户的相应群组的多重CGR体验)。为此，在各种实施方案中，CGR体验模块240包括数据获取单元242、跟踪单元244、协调单元246和数据传输单元248。

在一些实施方案中，数据获取单元242被配置为从图1的至少显示生成部件120，以及任选地从输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于该目的，在各种实施方案中，数据获取单元242包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些实施方案中，跟踪单元244被配置为映射场景105，并且跟踪至少显示生成部件120相对于图1的场景105的位置，以及任选地跟踪输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者的位置。出于该目的，在各种实施方案中，跟踪单元244包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。在一些实施方案中，跟踪单元244包括手部跟踪单元245和/或眼睛跟踪单元243。在一些实施方案中，手部跟踪单元245被配置为跟踪用户的手部的一个或多个部分的定位/位置，和/或用户的手部的一个或多个部分相对于图1的场景105的、相对于显示生成部件120和/或相对于坐标系(该坐标系是相对于用户的手部定义的)的运动。下文相对于图4更详细地描述了手部跟踪单元245。在一些实施方案中，眼睛跟踪单元243被配置为跟踪用户注视(或更广泛地，用户的眼睛、面部或头部)相对于场景105(例如，相对于物理环境和/或相对于用户(例如，用户的手部))或相对于经由显示生成部件120显示的CGR内容的定位或移动。下文相对于图5更详细地描述了眼睛跟踪单元243。

在一些实施方案中，协调单元246被配置为管理和协调由显示生成部件120，以及任选地由输出设备155和/或外围装设备195中的一者或多者呈现给用户的CGR体验。出于该目的，在各种实施方案中，协调单元246包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些实施方案中，数据传输单元248被配置为将数据(例如，呈现数据、位置数据等)传输到至少显示生成部件120，并且任选地传输到输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于该目的，在各种实施方案中，数据传输单元248包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

尽管数据获取单元242、跟踪单元244(例如，包括眼睛跟踪单元243和手部跟踪单元245)、协调单元246和数据传输单元248被示为驻留在单个设备(例如，控制器110)上，但应当理解，在其他实施方案中，数据获取单元242、跟踪单元244(例如，包括眼睛跟踪单元243和手部跟踪单元245)、协调单元246和数据传输单元248的任何组合可位于单独计算设备中。

此外，图2更多地用作可以存在于特定具体实施中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。

图3是根据一些实施方案的显示生成部件120的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂，未示出各种其他特征。出于所述目的，作为非限制性示例，在一些实施方案中，HMD 120包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、蓝牙、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个CGR显示器312、一个或多个任选的面向内部并且/或者面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。

在一些实施方案中，一条或多条通信总线304包括用于互连和控制各系统部件之间的通信的电路。在一些实施方案中，一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎以及/或者一个或多个深度传感器(例如，结构光、飞行时间等)等。

在一些实施方案中，一个或多个CGR显示器312被配置为向用户提供CGR体验。在一些实施方案中，一个或多个CGR显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)以及/或者类似的显示器类型。在一些实施方案中，一个或多个CGR显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，HMD 120包括单个CGR显示器。又如，HMD 120包括针对用户的每只眼睛的CGR显示器。在一些实施方案中，一个或多个CGR显示器312能够呈现MR和VR内容。在一些实施方案中，一个或多个CGR显示器312能够呈现MR或VR内容。

在一些实施方案中，一个或多个图像传感器314被配置为获取与用户面部的包括用户的眼睛的至少一部分对应的图像数据(并且可被称为眼睛跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为获取与用户的手部以及任选地用户的手臂的至少一部分对应的图像数据(并且可被称为手部跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为面向前方，以便获取与在不存在HMD 120的情况下用户将会看到的场景对应的图像数据(并且可被称为场景相机)。一个或多个任选图像传感器314可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、一个或多个红外(IR)相机以及/或者一个或多个基于事件的相机等。

存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些实施方案中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些实施方案中，存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统330和CGR呈现模块340。

操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些实施方案中，CGR呈现模块340被配置为经由一个或多个CGR显示器312向用户呈现CGR内容。出于该目的，在各种实施方案中，CGR呈现模块340包括数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348。

在一些实施方案中，数据获取单元342被配置为至少从图1的控制器110获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于所述目的，在各种实施方案中，数据获取单元342包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。

在一些实施方案中，CGR呈现单元344被配置为经由一个或多个CGR显示器312呈现CGR内容。出于所述目的，在各种实施方案中，CGR呈现单元344包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。

在一些实施方案中，CGR映射生成单元346被配置为基于媒体内容数据生成CGR映射图(例如，混合现实场景的3D映射图或可以在其中放置计算机生成对象的物理环境以生成计算机生成现实的映射图)。出于所述目的，在各种实施方案中，CGR映射生成单元346包括指令以及/或者用于该指令的逻辑以及启发法和用于该启发法的元数据。

在一些实施方案中，数据传输单元348被配置为将数据(例如，呈现数据、位置数据等)传输到至少控制器110，以及任选地输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于所述目的，在各种实施方案中，数据传输单元348包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。

尽管数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348被示出为驻留在单个设备(例如，图1的显示生成部件120)上，但应当理解，在其他实施方案中，数据获取单元342、CGR呈现单元344、CGR映射生成单元346和数据传输单元348的任何组合可位于单独计算设备中。

此外，图3更多地用作可能存在于特定实施方案中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。

图4是手部跟踪设备140的示例性实施方案的示意性图解。在一些实施方案中，手部跟踪设备140(图1)由手部跟踪单元245控制(图2)来跟踪用户的手部的一个或多个部分的定位/位置，和/或用户的手部的一个或多个部分相对于图1的场景105(例如，相对于用户周围的物理环境的一部分、相对于显示生成部件120，或者相对于用户的一部分(例如，用户的面部、眼睛或头部)，和/或相对于坐标系(该坐标系是相对于用户的手部定义的))的运动。在一些实施方案中，手部跟踪设备140是显示生成部件120的一部分(例如，嵌入头戴式设备中或附接到头戴式设备)。在一些实施方案中，手部跟踪设备140与显示生成部件120分开(例如，位于单独的外壳中或者附接到单独的物理支撑结构)。

在一些实施方案中，手部跟踪设备140包括捕获至少包括人类用户的手部406的三维场景信息的图像传感器404(例如，一个或多个IR相机、3D相机、深度相机和/或彩色相机等)。图像传感器404以足够的分辨率捕获手部图像，以使手指及其相应位置能够被区分。图像传感器404通常捕获用户身体的其他部分、还或可能捕获身体的所有部分的图像，并且可以具有缩放能力或具有增大放大率的专用传感器以用期望分辨率捕获手部的图像。在一些实施方案中，图像传感器404还捕获手部406的2D彩色视频图像和场景的其他元素。在一些实施方案中，图像传感器404与其他图像传感器结合使用以捕获场景105的物理环境，或者用作捕获场景105的物理环境的图像传感器。在一些实施方案中，以将图像传感器404或其一部分的视场用于限定交互空间的方式相对于用户或用户的环境定位图像传感器，在该交互空间中，由图像传感器捕获的手部移动被视为到控制器110的输入。

在一些实施方案中，图像传感器404将包含3D映射数据(以及此外，可能的彩色图像数据)的帧序列输出到控制器110，该控制器从映射数据提取高级信息。该高级信息通常经由应用程序接口(API)提供给在控制器上运行的应用程序，该应用程序相应地驱动显示生成部件120。例如，用户可以通过移动他的手部408并改变他的手部姿势来与在控制器110上运行的软件交互。

在一些实施方案中，图像传感器404将斑点图案投影到包含手部406的场景上并且捕获所投影图案的图像。在一些实施方案中，控制器110基于图案中斑点的横向偏移来通过三角测量计算场景中的点(包括用户的手部的表面上的点)的3D坐标。这种方法是有利的，因为该方法不需要用户握持或穿戴任何种类的信标、传感器或其他标记。该方法给出了场景中的点在距图像传感器404的特定距离处相对于预先确定的参考平面的深度坐标。在本公开中，假设图像传感器404限定x轴、y轴、z轴的正交集合，使得场景中的点的深度坐标对应于由图像传感器测量的z分量。另选地，手部跟踪设备440可基于单个或多个相机或其他类型的传感器而使用其他3D映射方法，诸如立体成像或飞行时间测量。

在一些实施方案中，手部跟踪设备140在用户移动他的手部(例如，整个手部或一根或多根手指)时捕获并处理包含用户的手部的深度映射图的时间序列。在图像传感器404和/或控制器110中的处理器上运行的软件处理3D映射数据以提取这些深度映射图中手部的图像块描述符。软件可基于先前的学习过程将这些描述符与存储在数据库408中的图像块描述符匹配，以便估计每个帧中手部的位姿。位姿通常包括用户的手部关节和手指尖端的3D位置。

软件还可以分析手部和/或手指在序列中的多个帧上的轨迹以识别手势。本文所述的位姿估计功能可以与运动跟踪功能交替，使得每两个(或更多个)帧仅执行一次基于图像块的位姿估计，而跟踪用于找到在剩余帧上发生的位姿的变化。经由上述API向在控制器110上运行的应用程序提供位姿、运动和手势信息。该程序可以例如响应于位姿和/或手势信息而移动和修改呈现在显示生成部件120上的图像，或者执行其他功能。

在一些实施方案中，软件可以例如通过网络以电子形式下载到控制器110，或者可以另选地在有形非暂态介质诸如光学、磁性或电子存储器介质上提供。在一些实施方案中，数据库408同样存储在与控制器110相关联的存储器中。另选地或除此之外，计算机的所描述的功能中的一些或全部可以在专用硬件(诸如，定制或半定制集成电路或可编程数字信号处理器(DSP))中实现。尽管在图4中示出了控制器110，但是举例来说，作为与图像传感器440分开的单元，控制器的处理功能中一些或全部可以由合适的微处理器和软件或由手部跟踪设备402的外壳内的专用电路或与图像传感器404相关联的其他设备执行。在一些实施方案中，这些处理功能中的至少一些可由与显示生成部件120(例如，在电视接收机、手持式设备或头戴式设备中)集成或与任何其他合适的计算机化设备(诸如，游戏控制台或媒体播放器)集成的合适处理器执行。图像传感器404的感测功能同样可以集成到将由传感器输出控制的计算机或其他计算机化装置中。

图4还包括根据一些实施方案的由图像传感器404捕获的深度映射图410的示意图。如上所述，深度图包括具有相应深度值的像素的矩阵。与手部406对应的像素412已经从该映射图中的背景和手腕分割出来。深度映射图410内的每个像素的亮度与其深度值(即，测量的距图像传感器404的z距离)成反比，其中灰色阴影随着深度的增加而变得更暗。控制器110处理这些深度值以便识别和分割图像的具有人类手部特征的组成部分(即，一组相邻像素)。这些特征可包括例如总体大小、形状和从深度映射图序列中的帧到帧的运动。

图4还示意性地示出了根据一些实施方案的控制器110最终从手部406的深度映射图410提取的手部骨骼414。在图4中，骨骼414叠加在已经从原始深度映射图分割出来的手部背景416上。在一些实施方案中，手部的以及任选地在连接到手部的手腕或手臂上的关键特征点(例如，与指关节、手指尖端、手掌中心、手部的连接到手腕的端部等对应的点)被识别并位于手部骨骼414上。在一些实施方案中，控制器110使用这些关键特征点在多个图像帧上的位置和移动来根据一些实施方案确定由手部执行的手势或手部的当前状态。

图5示出了眼睛跟踪设备130(图1)的示例性实施方案。在一些实施方案中，眼睛跟踪设备130由眼睛跟踪单元243(图2)控制来跟踪用户注视相对于场景105或相对于经由显示生成部件120显示的CGR内容的定位和移动。在一些实施方案中，眼睛跟踪设备130与显示生成部件120集成。例如，在一些实施方案中，当显示生成部件120是头戴式设备(诸如，头戴式耳机、头盔、护目镜或眼镜)或放置在可穿戴框架中的手持式设备时，该头戴式设备包括生成CGR内容以供用户观看的部件以及用于跟踪用户相对于CGR内容的注视的部件两者。在一些实施方案中，眼睛跟踪设备130与显示生成部件120分开。例如，当显示生成部件是手持式设备或CGR室时，眼睛跟踪设备130任选地是与手持式设备或CGR室分开的设备。在一些实施方案中，眼睛跟踪设备130是头戴式设备或头戴式设备的一部分。在一些实施方案中，头戴式眼睛跟踪设备130任选地与也是头戴式的显示生成部件或不是头戴式的显示生成部件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地与头戴式显示生成部件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地是非头戴式显示生成部件的一部分。

在一些实施方案中，显示生成部件120使用显示机构(例如，左近眼显示面板和右近眼显示面板)来在用户眼睛前面显示包括左图像和右图像的帧，从而向用户提供3D虚拟视图。例如，头戴式显示生成部件可包括位于显示器和用户眼睛之间的左光学透镜和右光学透镜(在本文中被称为眼睛透镜)。在一些实施方案中，显示生成部件可包括或耦接到一个或多个外部摄像机，该一个或多个外部摄像机捕获用户的环境的视频以用于显示。在一些实施方案中，头戴式显示生成部件可具有透明或半透明显示器，并且在该透明或半透明显示器上显示虚拟对象，用户可以透过该透明或半透明显示器直接观看物理环境。在一些实施方案中，显示生成部件将虚拟对象投影到物理环境中。虚拟对象可例如被投影在物理表面上或作为全息图被投影，使得个体使用系统观察叠加在物理环境上方的虚拟对象。在这种情况下，可能不需要用于左眼和右眼的单独的显示面板和图像帧。

如图5中所示，在一些实施方案中，注视跟踪设备130包括至少一个眼睛跟踪相机(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛发射光(例如，IR或NIR光)的照明源(例如，IR或NIR光源，诸如LED的阵列或环)。眼睛跟踪相机可指向用户眼睛以接收光源直接从眼睛反射的IR或NIR光，或者另选地可指向位于用户眼睛和显示面板之间的“热”镜，这些热镜将来自眼睛的IR或NIR光反射到眼睛跟踪相机，同时允许可见光通过。注视跟踪设备130任选地捕获用户眼睛的图像(例如，作为以每秒60帧-120帧(fps)捕获的视频流)，分析这些图像以生成注视跟踪信息，并将注视跟踪信息传送到控制器110。在一些实施方案中，用户的两只眼睛通过相应的眼睛跟踪相机和照明源来单独地跟踪。在一些实施方案中，通过相应的眼睛跟踪相机和照明源来跟踪用户的仅一只眼睛。

在一些实施方案中，使用设备特定的校准过程来校准眼睛跟踪设备130以确定用于特定操作环境100的眼睛跟踪设备的参数，例如LED、相机、热镜(如果存在的话)、眼睛透镜和显示屏的3D几何关系和参数。在将AR/VR装备递送给终端用户之前，可以在工厂或另一个设施处执行设备特定的校准过程。设备特定的校准过程可以是自动校准过程或手动校准过程。根据一些实施方案，用户特定的校准过程可以包括对特定用户的眼睛参数的估计，例如瞳孔位置、中央凹位置、光轴、视轴、眼睛间距等。根据一些实施方案，一旦针对眼睛跟踪设备130确定了设备特定参数和用户特定参数，就可以使用闪光辅助方法来处理由眼睛跟踪相机捕获的图像，以确定当前视轴和用户相对于显示器的注视点。

如图5中所示，眼睛跟踪设备130(例如，130A或130B)包括眼睛透镜520和注视跟踪系统，该注视跟踪系统包括定位在用户面部的被执行眼睛跟踪的一侧上的至少一个眼睛跟踪相机540(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛592发射光(例如，IR或NIR光)的照明源530(例如，IR或NIR光源，诸如NIR发光二极管(LED)的阵列或环)。眼睛跟踪相机540可指向位于用户眼睛592和显示器510(例如，头戴式显示器的左显示器面板或右显示器面板，或者手持式设备的显示器、投影仪等)之间的镜子550(这些镜子反射来自眼睛592的IR或NIR光，同时允许可见光通过)(例如，如图5的顶部部分所示)，或者另选地可指向用户眼睛592以接收来自眼睛592的反射IR或NIR光(例如，如图5的底部部分所示)。

在一些实施方案中，控制器110渲染AR或VR帧562(例如，用于左显示面板和右显示面板的左帧和右帧)并且将帧562提供给显示器510。控制器110将来自眼睛跟踪相机540的注视跟踪输入542用于各种目的，例如用于处理帧562以用于显示。控制器110任选地基于使用闪光辅助方法或其他合适的方法从眼睛跟踪相机540获取的注视跟踪输入542来估计用户在显示器510上的注视点。根据注视跟踪输入542估计的注视点任选地用于确定用户当前正在看向的方向。

以下描述了用户当前注视方向的几种可能的使用案例，并且不旨在进行限制。作为示例性使用案例，控制器110可以基于所确定的用户注视的方向不同地渲染虚拟内容。例如，控制器110可以在根据用户当前注视方向确定的中央凹区域中以比在外围区域中的分辨率更高的分辨率生成虚拟内容。作为另一个示例，控制器可至少部分地基于用户当前注视方向来在视图中定位或移动虚拟内容。作为另一个示例，控制器可至少部分地基于用户当前注视方向来在视图中显示特定虚拟内容。作为AR应用程序中的另一个示例性使用案例，控制器110可引导用于捕获CGR体验的物理环境的外部相机在所确定方向上聚焦。然后，外部相机的自动聚焦机构可以聚焦于显示器510上用户当前正看向的环境中的对象或表面上。作为另一个示例性使用案例，眼睛透镜520可以是可聚焦透镜，并且控制器使用注视跟踪信息来调整眼睛透镜520的焦点，使得用户当前正看向的虚拟对象具有适当的聚散度以匹配用户眼睛592的会聚。控制器110可以利用注视跟踪信息来引导眼睛透镜520调整焦点，使得用户正看向的靠近的对象出现在正确距离处。

在一些实施方案中，眼睛跟踪设备是头戴式设备的一部分，该部分包括安装在可穿戴外壳中的显示器(例如，显示器510)、两个眼睛透镜(例如，眼睛透镜520)、眼睛跟踪相机(例如，眼睛跟踪相机540)，以及光源(例如，光源530(例如，IR或NIR LED))。光源朝向用户眼睛592发射光(例如，IR或NIR光)。在一些实施方案中，光源可围绕透镜中的每个透镜布置成环或圆圈，如图5中所示。在一些实施方案中，例如，八个光源530(例如，LED)围绕每个透镜520布置。然而，可使用更多或更少的光源530，并且可使用光源530的其他布置和位置。

在一些实施方案中，显示器510发射可见光范围内的光，并且不发射IR或NIR范围内的光，并且因此不会在注视跟踪系统中引入噪声。需注意，眼睛跟踪相机540的位置和角度以举例的方式给出，并且不旨在进行限制。在一些实施方案中，单个眼睛跟踪相机540位于用户面部的每一侧上。在一些实施方案中，可在用户面部的每一侧上使用两个或更多个NIR相机540。在一些实施方案中，可在用户面部的每一侧上使用具有较宽视场(FOV)的相机540和具有较窄FOV的相机540。在一些实施方案中，可在用户面部的每一侧上使用以一个波长(例如，850nm)操作的相机540和以不同波长(例如，940nm)操作的相机540。

如图5中所示的注视跟踪系统的实施方案可例如用于计算机生成的现实、虚拟现实和/或混合现实应用程序，以向用户提供计算机生成的现实、虚拟现实、增强现实和/或增强虚拟体验。

图6示出了根据一些实施方案的闪光辅助的注视跟踪管线。在一些实施方案中，注视跟踪管线通过闪光辅助的注视跟踪系统(例如，如图1和图5中所示的眼睛跟踪设备130)来实现。闪光辅助的注视跟踪系统可保持跟踪状态。最初，跟踪状态为关闭或“否”。当处于跟踪状态时，当分析当前帧以跟踪当前帧中的瞳孔轮廓和闪光时，闪光辅助的注视跟踪系统使用来自先前帧的先前信息。当未处于跟踪状态时，闪光辅助的注视跟踪系统尝试检测当前帧中的瞳孔和闪光，并且如果成功，则将跟踪状态初始化为“是”并且在跟踪状态下继续下一个帧。

如图6中所示，注视跟踪相机可捕获用户左眼和右眼的左图像和右图像。然后将所捕获的图像输入到注视跟踪管线以用于在610处开始处理。如返回到元素600的箭头所指示的，注视跟踪系统可例如以每秒60至120帧的速率继续捕获用户眼睛的图像。在一些实施方案中，可以将每组所捕获的图像输入到管线以用于处理。然而，在一些实施方案中或在一些条件下，不是所有所捕获的帧都由管线处理。

在610处，对于当前所捕获的图像，如果跟踪状态为是，则方法前进到元素640。在610处，如果跟踪状态为否，则如620处所指示的，分析图像以检测图像中的用户瞳孔和闪光。在630处，如果成功检测到瞳孔和闪光，则方法前进到元素640。否则，方法返回到元素610以处理用户眼睛的下一个图像。

在640处，如果从元素410前进，则分析当前帧以部分地基于来自先前帧的先前信息来跟踪瞳孔和闪光。在640处，如果从元素630前进，则基于当前帧中检测到的瞳孔和闪光来初始化跟踪状态。检查元素640处的处理结果以验证跟踪或检测的结果可以是可信的。例如，可检查结果以确定是否在当前帧中成功跟踪或检测到用于执行注视估计的瞳孔和足够数量的闪光。在650处，如果结果不可能是可信的，则跟踪状态被设置为否，并且方法返回到元素610以处理用户眼睛的下一个图像。在650处，如果结果是可信的，则方法前进到元素670。在670处，跟踪状态被设置为“是”(如果尚未为“是”)，并且瞳孔和闪光信息被传递到元素680以估计用户的注视点。

图6旨在用作可用于特定具体实施的眼睛跟踪技术的一个示例。如本领域普通技术人员所认识到的，根据各种实施方案，在用于向用户提供CGR体验的计算机系统101中，当前存在或未来开发的其他眼睛跟踪技术可用于取代本文所述的闪光辅助的眼睛跟踪技术或与该闪光辅助的眼睛跟踪技术组合使用。

在本公开中，相对于与计算机系统的交互来描述各种输入方法。当使用一个输入设备或输入方法来提供示例，并且使用另一个输入设备或输入方法来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的输入设备或输入方法兼容并且任选地利用该输入设备或输入方法。类似地，相对于与计算机系统的交互来描述各种输出方法。当使用一个输出设备或输出方法来提供示例，并且使用另一个输出设备或输出方法来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的输出设备或输出方法兼容并且任选地利用该输出设备或输出方法。类似地，相对于通过计算机系统与虚拟环境或混合现实环境进行的交互来描述各种方法。当使用与虚拟环境的交互来提供示例时，并且使用混合现实环境来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的方法兼容并且任选地利用这些方法。因此，本公开公开了作为多个示例的特征的组合的实施方案，而无需在每个示例性实施方案的描述中详尽地列出实施方案的所有特征。

用户界面和相关联的过程

现在将注意力转向可在具有显示生成部件、一个或多个输入设备以及(任选)一个或多个相机的计算机系统(诸如，便携式多功能设备或头戴式设备)上实现的用户界面(“UI”)和相关联过程的实施方案。

图7A至图7J示出了根据一些实施方案的用于相对于用户身体更新设备的显示器的示例用户界面。这些附图中的用户界面用于示出下文描述的过程，包括图8A至图8D中所示的过程。为了便于解释，将参考在具有触敏显示器系统112的设备上执行的操作来论述实施方案中的一些实施方案。然而，响应于当在显示器450上显示附图中示出的用户界面连同焦点选择器时检测到触敏表面451上的接触，任选地在具有显示器450和独立的触敏表面451的设备上执行类似的操作。

图7A示出了根据一些实施方案的具有显示器的设备。在一些实施方案中，设备700为计算机系统301。在一些实施方案中，设备700包括显示器712(例如，触敏显示器)和侧输入按钮702。在一些实施方案中，设备700是可穿戴设备(例如，手表、头戴式耳机等)。设备700附接到带706(例如，穿戴在带上)，该带被设计成由用户穿戴。

图7B至图7J示出了根据一些实施方案的用于相对于用户身体更新设备的显示器的示例性用户界面。图7B示出了用户的手臂，用户的手臂包括两个纹身：太阳纹身716和星星纹身714。从两个不同的视角示出手臂，包括从手臂上方观察的第一视角和查看手臂内侧的第二视角，以示出纹身位于手臂的不同部分。在以下描述中，纹身用于示出基于相对于纹身对设备700的调整(例如，对设备700的位置的调整)的用户界面特征。用户不需要具有用于设备700的纹身来提供以下用户界面。例如，以下描述适用于当由用户穿戴时由设备覆盖的用户的任何身体部位或身体特征(例如，眼睛、眉毛、头发、面部、雀斑等)。提及“纹身”的描述也可指用户的任何其他身体部位或身体特征。

图7C示出了带706，该带附接到设备700或与设备700集成，穿戴在用户手臂上的第一位置。在用户手臂的第一位置，设备700覆盖星星纹身714的一部分，并且设备700的显示器712显示由设备700覆盖的用户手臂的物理特征的图形表示。例如，在图7C和图7D中，显示图形表示包括显示对应于由设备700覆盖的星星纹身714的一部分的星星纹身的动画版本(例如，动画星星纹身718的一部分)。更具体地，在图7C中，设备700在星星尖端中的两个星星尖端出现在用户手臂上的大致位置处显示这两个星星尖端的图形表示(好像用户可以通过设备700看到一样)。除了动画星星纹身718之外，显示器712还显示由设备700覆盖的用户手臂的一部分的图形表示。用户手臂的图形表示任选地是动画的，在这种情况下，设备700的显示器712显示用户手臂的动画版本。以此方式，显示器712显示用户手臂的被显示器712覆盖的部分(例如，包括星星纹身714的部分)。

在一些实施方案中，带706在放置在用户身体上之后是可调节的(例如，可移动的)。例如，用户向左移动带706(例如，朝向用户的手)，如从图7C到图7D的改变所示。带706可以多种方式调整，包括向左移动、向右移动、向上移动(例如，竖直地，远离手臂)、向下移动(例如，朝向手臂)、旋转或这些移动的任何组合。当调节带706时(例如，相对于用户身体移动设备700)，更新动画星星纹身718的显示部分和用户手臂的图形表示以对应于设备700的当前位置。例如，当移动设备700以覆盖星星纹身714的较大部分时，显示动画星星纹身718的较大部分。

图7D示出了在移动到图7C所示的第一位置的左侧(例如，朝向手)之后在用户手臂上的第二位置的带706。显示器712被更新以显示设备700覆盖的用户手臂的新部分(例如，用户的手腕)。此外，设备700及其显示器712现在完全覆盖(例如，重叠)星星纹身714。显示器712在星星纹身714相对于设备700的位置处显示(例如，实时地)动画星星纹身718。在一些实施方案中，一个或多个视觉效果被叠加(或应用于)图形表示(例如，动画星星纹身718)以生成图形表示的动画。例如，一个或多个视觉效果使得图形表示(例如，动画星星纹身718)移动、尺寸增大、旋转、闪烁、淡化、模糊和/或改变颜色。在一些实施方案中，动画移动基于由设备覆盖的身体部位(或身体特征)。例如，如果设备覆盖用户的眼睛和/或眉毛，则动画包括眼睛移动、眨眼和/或改变焦点或注视方向，和/或眉毛移动(例如，以指示各种面部表情)。

图7E示出了用户旋转带706以改变设备700在用户身体上的位置。例如，用户旋转带，使得显示器覆盖用户手腕的顶部。在一些实施方案中，随着用户旋转带706，设备700继续更新显示器712以显示设备700及其显示器712当前覆盖的用户身体部位的图形表示。在一些实施方案中，随着用户旋转带706，设备700生成随时间改变的动画，诸如显示器的淡化、模糊或变暗(例如，在动画中)，如图7E中显示器712的阴影所示。在一些实施方案中，所生成的动画被应用于整个显示器712。在一些实施方案中，所生成的动画被应用于显示器的一部分(例如，包括动画星星纹身718的部分)。例如，设备700使显示器712上的动画星星纹身718模糊(或变暗)。

图7F示出了旋转到第三位置之后的带706，其中显示器712与用户身体的包括太阳纹身716的部分重叠。更新显示器712以显示太阳纹身720和用户手臂的在设备712下面的部分的外部的图形表示；该图形表示任选地包括动画太阳纹身720。在一些实施方案中，动画太阳纹身720是与太阳纹身716不同的颜色。如参考图7D所描述的，在一些实施方案中，设备700在显示器712上使纹身动画化以移动、增大尺寸、旋转、闪烁和/或改变颜色。在一些实施方案中，动画太阳纹身720的动画是与动画星星纹身718的动画不同的动画。

图7G示出了覆盖用户手臂的包括太阳纹身716的部分的显示器712的另一透视顶视图。从顶视图看，动画太阳纹身720显示在显示器712上。图7G示出了用户将带706提离用户的手臂(例如，将带取下)。

图7H示出了设备700正从用户身体上取下时的情况。在一些实施方案中，响应于将带706提离用户的手臂，显示器712示出动画(例如，与用于旋转带的动画不同的动画，如图7E所示)。如图7H所示，设备700的移动导致仅显示纹身716的图形表示720的少于全部的子集。在另一示例中，带706的不同移动生成不同的动画(例如，基于移动的方向和取向)。例如，随着设备移动远离用户身体(例如，取下)，动画包括当前显示在显示器712上的内容的至少一部分的模糊动画。在又一示例中，随着设备移动远离用户身体(例如，取下)，设备逐渐遮挡用户身体的预定义部分的图形表示的至少一部分(例如，具有覆盖层，其属性随着设备与用户身体的预定义部分之间的距离的改变而改变)。随着设备被提离用户的手臂，显示器712继续更新动画太阳纹身720的部分，以对应于设备700当前重叠的用户身体的部分。

在图7I中，设备700继续从用户的身体去除(例如，通过朝向用户的手滑动设备并将设备拉离手臂)。显示器712继续显示用户身体的对应于用户身体的由设备覆盖的部分的部分的外部的图形表示。设备700继续使显示器712动画化(例如，通过使显示器模糊)，如参考图7H所描述的。如图7I中可见，设备700不再与用户手臂的包括太阳纹身716的部分重叠，因此显示器712不再显示包括动画太阳纹身720的图形表示。

在图7J中，设备700(例如，安装在带706上)已从用户的手臂去除。在一些实施方案中，根据确定设备700已从用户身体去除，更新显示器712。在一些实施方案中，显示器712变暗(例如，增加阴影或改变颜色)。在一些实施方案中，显示器712关闭。

图8A至图8D是根据一些实施方案的用于使用预定义输入手势与三维环境交互的示例性方法800的流程图。在一些实施方案中，方法800在计算机系统(也称为电子设备或可穿戴电子设备)(例如，图1中的计算机系统101)处执行，该计算机系统包括显示生成部件(例如，图1、图3和图4中的显示生成部件120)(例如，平视显示器、显示器、触摸屏、投影仪等)和一个或多个相机(例如，向下指向用户的手部的相机(例如，颜色传感器、红外传感器和其他深度感测相机)或从用户头部向前指向的相机)。在一些实施方案中，方法800通过存储在非暂态计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控制单元110)执行的指令来管理。方法800中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。

如下所述，方法800提供了一种直观的方式来向用户提供计算机生成的体验，以使与计算系统的交互对用户而言更加高效和直观。该方法改进了在执行与调整设备的位置相关联的动作时提供的视觉反馈。对于电池驱动的电子设备，使设备看起来对用户输入更为响应可节省功率并增加电池充电之间的时间。改进的视觉反馈进一步增强了设备的可操作性(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)。

在一些实施方案中，电子设备被配置为被穿戴在用户身体的预定义部分上，诸如用户手臂靠近或邻近其手腕或其眼睛的部分。在一些实施方案中，电子设备的显示生成部件被布置在电子设备上与设备的最靠近用户身体的预定义部分的侧相对的侧或表面上。例如，在图7B至图7J中，显示器712被布置在电子设备的与设备的最靠近用户手臂的面向外侧(远离用户的身体)部分的侧相对的侧或表面上。当电子设备被穿戴在用户身体的预定义部分上时，电子设备经由显示生成部件显示(802)对应于用户身体的预定义部分的身体部位的外部视图的图形表示。

在一些实施方案中，该图形表示是对应于用户身体的预定义部分的身体部位的外部视图的模拟表示或复制，其可以是身体部位的外部视图的真实呈现的表示或身体部位的外部视图的漫画化的表示(例如，身体部位的外部视图的图形表示，其有意地简化身体部位的外部视图的一个或多个特征和/或有意地夸大身体部位的外部视图的一个或多个特征)。例如，如图7C至图7H所示，用户手臂的外部部分和用户手臂上的纹身的图形表示显示在设备700上。在一些实施方案中，图形表示是动画的(例如，通过将视觉效果应用于显示器上的图形表示)。在一些实施方案中，用户身体的预定义部分包括用户面部的至少一部分。

例如，电子设备是头戴式耳机或头戴式显示器(HMD)(例如，被配置为被穿戴在用户的头部上)，其包括面向外(远离用户的身体)的显示生成部件，并且用户身体的预定义部分包括用户的眼睛、眉毛、鼻子、嘴、头发、雀斑、眼镜和/或用户面部上存在的任何其他特征。例如，当HMD被穿戴在用户的眼睛(和/或其他特征)上时，HMD的显示生成部件显示用户的眼睛(和/或者其他特征)的图形表示。在一些实施方案中，用户眼睛的图形表示是动画的，使得用户眼睛的图形表示看起来闪烁(或眨眼)、改变大小(例如，用户眼睛的图形表示变得更大或更小)，或者以其他方式动画化以指示不同的面部表情(例如，用户眉毛的图形表示相对于用户眼睛的图形表示的位置升高或降低)。

电子设备检测(804)电子设备相对于用户身体的预定义部分的位置的改变。响应于检测到电子设备相对于用户身体的预定义部分的位置的改变，电子设备根据所检测到的电子设备相对于用户身体的预定义部分的位置的改变来修改(806)对应于用户身体的预定义部分的身体部位的外部视图的图形表示。例如，如图7C至图7H所示，随着设备700相对于用户的手臂进行调整(例如，重新定位)，显示器712上的图形表示经更新以显示用户的手臂的部分和当前被设备700覆盖的纹身的部分。在一些实施方案中，电子设备检测电子设备相对于用户身体的预定义部分的位置的改变。

例如，HMD在多种情况下相对于用户的眼睛改变位置，包括：随着用户将HMD放到用户的头部上，随着用户从用户的头部去除HMD，以及随着用户在HMD在用户的头部上时调整HMD，诸如将HMD拉离用户的面部(和眼睛)，将HMD向右和向左移动(相对于中性位置，其中中性位置对应于放置在用户的眼睛上方的预定义位置中的HMD)，以及将HMD向上或向下移动(或这些移动的任意组合)。在一些实施方案中，根据确定HMD正以这些方式中的任一方式改变位置，HMD上的显示生成部件经更新以修改显示在HMD上的用户眼睛的图形表示。如下所述，对用户眼睛的图形表示的修改是基于(例如，对应于)HMD相对于用户眼睛的位置或调整类型的改变。

更新显示器以示出隐藏在电子设备后面的用户身体的一部分为用户和周围环境中查看显示器的其他人提供了一种更直观的方式来了解电子设备相对于用户身体的位置，即使当用户身体的该部分被覆盖并且对用户(或周围环境中的其他人)不可见时。这通过减少用户和周围环境中的其他人想象或猜测电子设备背后的内容的认知负担来改进与可穿戴设备交互的体验。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中，所检测到的电子设备的位置的改变是设备远离用户身体的预定义部分的移动(808)。例如，图7G至图7H示出了设备700被拉离用户手臂时的情况。在一些实施方案中，设备远离用户身体的预定义部分的移动包括移动电子设备远离用户身体，而无需从用户身体去除电子设备。在一些实施方案中，所检测到的位置的改变开始于设备远离用户身体的预定义部分的移动，并且根据确定对设备被定位在距用户身体至少阈值距离处，所检测到的位置的改变对应于从用户身体去除设备。

根据被配置为被穿戴在用户眼睛上方的HMD的上述示例，在一些实施方案中，用户将HMD移动远离用户的眼睛(例如，向前拉动HMD，远离用户的面部)。在一些实施方案中，用户移动HMD远离用户的眼睛，而无需从用户的头部去除HMD。例如，用户在用户的面部与HMD之间生成更多的空间(例如，更大的距离)。在一些实施方案中，用户将HMD直接拉离用户的面部(例如，相对于用户的面部直接看向前方，无需将HMD向左、向右、向上或向下移动)。

跟踪电子设备相对于用户身体的移动提供了用户身体被电子设备隐藏的部分的更准确表示。准确地显示用户身体被电子设备隐藏的部位的表示为用户和周围环境中查看显示器的其他人提供了一种直观的方式来了解电子设备相对于用户身体的位置，即使当用户身体或用户身体的至少上述部分被覆盖并且对用户不可见时。这通过减少用户和周围环境中的其他人想象电子设备下方的内的认知负担来改进与可穿戴设备交互的体验。为用户提供改进的反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这另外通过使用户能够更快速且有效地使用设备而减少了电力使用并且改善了设备的电池寿命。

在一些实施方案中，根据所检测到的电子设备相对于用户身体的预定义部分的位置的改变来修改图形表示包括(810)在距用户身体的预定义部分的预定义距离处停止显示对应于用户身体的预定义部分的身体部位的外部视图的图形表示的至少一部分(或全部)。例如，如图7J所示，随着设备已移动远离用户的手臂(例如，至少预定义距离)，显示器712停止显示用户手臂的图形表示。例如，如上所述，当位置的改变对应于在设备已移动远离至少阈值量(远离身体预定义距离)之后从用户的身体去除设备时，设备停止显示身体部位的外部视图的图形表示的至少一部分。

在被配置为被穿戴在用户眼睛上方的HMD的上述示例中，在一些实施方案中，用户通过从用户的头部去除HMD来改变HMD的位置。在一些实施方案中，根据确定HMD已移动远离用户的眼睛预定义距离，显示生成部件停止显示用户眼睛的图形表示。

当电子设备已被去除时停止显示用户身体的部分的表示提供了一种直观的转变，该转变向用户和周围环境中查看显示器的其他人示出电子设备已从用户身体去除并且当设备已从用户身体的该部分去除时显示器将不再显示用户身体的该部分的表示。这通过减少用户和周围环境中的其他人了解电子设备相对于用户身体的当前位置的认知负担来改进与可穿戴设备交互的体验。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中，根据所检测到的电子设备相对于用户身体的预定义部分的位置的改变来修改对应于用户身体的预定义部分的身体部位的外部视图的图形表示包括(812)保持(对应于用户身体的预定义部分的身体部位的外部视图的)图形表示的至少一部分相对于用户身体的预定义部分的位置。例如，当电子设备的位置改变时，电子设备将用户身体的解剖特征的图形表示保持在相对于用户身体的解剖特征的相同位置(例如，用户的眼睛或手臂的图形表示经更新或移动，使得其在覆盖解剖特征的位置处保持显示在显示生成部件上)。例如，如图7C至图7D所示，随着设备700被调整到用户手臂的不同部分，对应于设备的当前位置的用户手臂的部分的图形表示被显示在显示器712上。因此，随着设备700移动以完全覆盖星星纹身714，星星纹身718的动画版本生成并显示在对应于星星纹身714在用户手臂上的位置的位置处，并且因此随着设备700的移动，星星纹身718的动画版本继续匹配星星纹身714的位置并覆盖星星纹身714。

根据被配置为被穿戴在用户眼睛上方的HMD的上述示例，在一些实施方案中，随着用户相对于用户的眼睛移动(例如，调整)HMD，显示生成部件经更新以在显示器上对应于用户眼睛的当前位置(当前被HMD覆盖)的位置中显示用户眼睛的图形表示。例如，随着用户将HMD移动到用户的左侧，用户眼睛的图形表示看起来(例如，对于正在看向显示生成部件的第三方)不随HMD移动。相反，用户眼睛的图形表示看起来保持在对应于用户真实眼睛前面的位置的恒定位置。因此，即使当用户将HMD移动到用户面部上的不同位置时，对于看向显示生成部件的第三方来说，用户眼睛的图形表示也出现在如果用户的眼睛当前未被HMD覆盖则用户的眼睛将被看到的位置。

随着电子设备移动以覆盖用户身体的不同部分，在用户身体的该部分的图形表示中保持特征的相对位置，为用户和周围环境中查看显示器的其他人提供了一种直观的方式来了解电子设备相对于用户身体的位置，即使当用户身体被覆盖并且对用户不可见时。这通过减少用户和周围环境中的其他人想象电子设备下方的内的认知负担来改进与可穿戴设备交互的体验。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中，根据所检测到的电子设备相对于用户身体的预定义部分的位置的改变来修改对应于用户身体的预定义部分的身体部位的外部视图的图形表示包括(814)修改(例如，逐渐地)对应于用户身体的预定义部分的身体部位的外部视图的图形表示以包括对应于用户身体的预定义部分的身体部位的外部视图的图形表示的少于全部的子集。图形表示的这种修改的示例在图7H中示出并在上面参考图7H进行讨论。在另一示例中，随着电子设备相对于用户身体的预定义部分改变位置，图形表示变得更抽象(例如，更不详细)。

在一些实施方案中，用户身体的预定义部分的外部视图的图形表示包括用户身体的多个解剖特征(例如，眼睛、眉毛、鼻、嘴、纹身)的图形表示(例如，描绘)。在一些实施方案中，修改所显示的图形表示以包括用户身体的预定义部分的图形表示的少于全部的子集包括减少多个解剖特征的图形表示的数量(例如，消除多个解剖特征中的解剖特征的图形表示中的一个或多个图形表示)。

在一些实施方案中，修改所显示的图形表示以包括用户身体的预定义部分的图形表示的少于全部的子集是根据确定电子设备相对于用户身体的预定义部分的位置的改变是沿着(远离)用户身体的预定义部分的第一方向执行的(例如，在用户取下电子设备时发生修改)。例如，该图形表示示出随着电子设备被移动远离用户身体，用户身体的预定义部分的较不详细版本(具有较少特征或较不详细的特征)。

例如，随着用户将HMD移动远离用户的眼睛(例如，向前拉动HMD，远离用户的面部)时，用户眼睛的图形表示包括较少的细节。例如，当HMD被放置在其中性位置(例如，在用户面部上正确放置)时，图形表示包括用户眼睛的图形表示和用户眉毛的图形表示(和/或与用户眼睛相关的其他特征的图形表示或用户眼睛周围的用户面部的图形表示)。随着HMD移动远离用户的眼睛更远(例如，通过用户将HMD拉离用户的面部)，图形表示经更新以变得更抽象(例如，通过去除或遮挡图形表示中的一个或多个特征)。例如，图形表示经更新以放弃显示用户眼睛的图形表示，使得修改的图形表示仅包括用户眉毛的图形表示。在另一示例中，图形表示经更新以用简化的眼睛图形表示(例如，眼睛的线条图、眼睛的二维表示而不是眼睛的模拟三维表示和/或眼睛的单色调或双色调表示而不是具有更多颜色(例如，5、10或256种颜色)的眼睛的表示)代替用户眼睛的图形表示的显示。

在一些实施方案中，该方法包括检测电子设备相对于用户身体的预定义部分的位置的后续改变，其中电子设备相对于用户身体的预定义部分的位置的后续改变与第一方向相反。例如，后续改变包括将电子设备移动得更靠近用户身体(例如，将电子设备放在用户身体上)。在一些实施方案中，响应于电子设备相对于用户身体的预定义部分的位置的后续改变，电子设备增加用户身体的解剖特征的图形表示的数量(例如，反转在用户将电子设备移动远离用户身体的预定义部分时发生的对所显示的图形表示的修改)。例如，随着电子设备移动到更靠近用户身体，图形表示示出用户身体的预定义部分的更多细节(具有更多特征或更详细的特征)。

例如，在用户将HMD拉离用户的眼睛之后，用户随后使HMD沿相反的方向(例如，向后朝向用户的眼睛)。随着用户将HMD移动到更靠近用户的面部(和眼睛)，仅包括用户眉毛(而非用户眼睛的图形表示)的修改的图形表示经更新以增加修改的图形表示中存在的细节级别。例如，随着用户将HMD移动到更靠近用户的面部，修改的图形表示从仅显示用户的眉毛的图形表示更新为显示包括用户的眼睛和用户的眉毛的图形表示。

逐渐显示用户身体的预定义部分的较少(或较多)详细表示可视地指示电子设备是否移动远离用户身体更远(或更靠近用户身体)，这为用户和周围环境中查看显示器的其他人提供了一种直观的方式来了解电子设备相对于用户身体位于多近，即使当用户身体的预定义部分被覆盖并且对用户不可见时。这通过减少用户和周围环境中的其他人想象电子设备下方的内的认知负担来改进与可穿戴设备交互的体验。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中，根据所检测到的电子设备相对于用户身体的预定义部分的位置的改变来修改对应于用户身体的预定义部分的身体部位的外部视图的图形表示包括(816)遮挡对应于用户身体的预定义部分的身体部位的外部视图的图形表示的至少一部分。例如，如以上参考图7G至图7H所讨论的，随着设备700相对于用户的手臂改变位置(例如，移动远离用户的手臂)，显示器712遮挡(例如，利用覆盖物)用户的手臂和动画太阳纹身720的图形表示，如图7H所示。任选地，遮挡的一个或多个视觉属性(例如，模糊、亮度、饱和度、对比度等中的一者或多者)随着设备与用户身体的预定义部分之间的距离的改变而改变。

在一些实施方案中，所显示的图形表示的遮挡是根据确定电子设备相对于用户身体的预定义部分的位置的改变是沿着远离用户身体的预定义部分的第二方向(例如，不同于第一方向)来执行的。

例如，如上所述，随着用户通过将HMD直接拉离面部(例如，无需将HMD向左、向右、向上或向下移动)来将HMD移离用户的面部，图形表示经更新以显示较少的细节。在一些实施方案中，随着用户沿另一方向(诸如向上)移动HMD(例如，好像HMD将被放置在用户的前额上，在用户的眼睛上方那样)，图形表示经修改以显示应用于图形表示的视觉效果。在一些实施方案中，修改的图形表示是图形表示的受到遮挡的版本(例如，通过对图形表示的至少一部分的淡化、模糊或渐晕而生成)。例如，随着HMD的位置因用户向上移动HMD而改变，用户眼睛的图形表示被模糊。应当理解，描述根据相应的移动方向或类型生成特定视觉效果的描述仅是示例性的，并且当电子设备沿任何其他可能方向移动时，本文描述的任何视觉效果(或视觉效果的组合)都可应用于图形表示。此外，如下文更详细描述的，HMD沿多个方向的移动(例如，部件沿左、上和远离方向的移动)导致视觉效果的组合，其中每个视觉效果对应于相应的移动方向。

显示用户身体的该部分的表示的受到遮挡的视图以指示电子设备正相对于用户身体移动为用户和周围环境中查看显示器的其他人提供了一种直观的方式来了解电子设备正相对于用户身体进行调整。这通过减少用户和周围环境中的其他人了解电子设备正进行调整的认知负担来改进与可穿戴设备交互的体验。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中，遮挡对应于用户身体的预定义部分的身体部位的外部视图的图形表示包括(818)淡出对应于用户身体的预定义部分的身体部位的外部视图的图形表示的至少一部分。例如，在一些实施方案中，遮挡包括通过淡出(例如，降低亮度和/或饱和度)图形表示的外围部分来将渐晕效果应用于图形表示。

在以上示例之后，在一些实施方案中，随着用户沿另一方向(诸如向)移动HMD(例如，好像HMD将放置在用户的前额上，在用户的眼睛上方)，图形表示经修改以在图形表示的至少一部分上应用淡出视觉效果。例如，随着HMD的位置因用户向上移动HMD而改变，用户眼睛(例如，和/或眉毛)的图形表示被淡化。

显示用户身体的部分的表示的淡化视图以指示电子设备正相对于用户身体移动为用户和周围环境中查看显示器的其他人提供了一种直观的方式来了解电子设备的位置正相对于用户的身体或相对于用户身体的预定义部分进行调整。这通过减少用户和周围环境中的其他人了解电子设备正进行调整的认知负担来改进与可穿戴设备交互的体验。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中，遮挡对应于用户身体的预定义部分的身体部位的外部视图的图形表示包括(820)模糊对应于用户身体的预定义部分的身体部位的外部视图的图形表示的至少一部分。

在以上示例之后，在一些实施方案中，随着用户沿另一方向(诸如向左)移动HMD，图形表示经修改以在图形表示的至少一部分上应用模糊效果。例如，随着HMD的位置因用户向左移动HMD而改变，用户眼睛(例如，和/或眉毛)的图形表示被模糊。

显示用户身体的该部分的表示的模糊视图以指示电子设备正相对于用户身体或用户身体的预定义部分移动为用户和周围环境中查看显示器的其他人提供了一种直观的方式来了解电子设备正相对于用户身体进行调整。这通过减少用户和周围环境中的其他人了解电子设备正进行调整的认知负担来改进与可穿戴设备交互的体验。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中，遮挡对应于用户身体的预定义部分的身体部位的外部视图的图形表示包括(822)渐晕对应于用户身体的预定义部分的身体部位的外部视图的图形表示。

在上述示例之后，随着用户向右移动HMD，图形表示经修改以在图形表示的至少一部分上应用渐晕效果。例如，随着HMD的位置因用户向右移动HMD而改变，用户的眼睛(例如，和/或眉毛)的图形表示以渐晕效果显示，其中用户的眼睛的图形表示的中心出现在焦点上，而用户眼睛的图形表示的外部看起来模糊、淡化和/或不太饱和(颜色)。

显示叠加在用户身体的预定义部分的图形表示上的渐晕效果以指示电子设备正相对于用户身体移动为用户和周围环境中查看显示器的其他人提供了一种直观的方式来了解电子设备正相对于用户身体进行调整。这通过减少用户和周围环境中的其他人了解电子设备正进行调整的认知负担来改进与可穿戴设备交互的体验。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中，在用户穿戴电子设备之前，当用户戴上电子设备时，电子设备显示(824)对应于用户身体的预定义部分的身体部位的外部视图的图形表示(例如，作为动画图形表示)。在一些实施方案中，图形表示的显示是图形表示的修改版本(例如，通过对其应用视觉效果)。例如，随着设备的移动，图形表示变暗、模糊或看起来在移动(例如，动画)。在一些实施方案中，电子设备根据确定电子设备在用户身体的预定义部分的预定义距离内来确定用户正在戴上电子设备，如下面参考步骤826所解释的。

在一些实施方案中，随着用户戴上HMD(例如，戴到用户头部上的预定义位置(例如，使用位置、操作位置或适当位置)，预定义位置被指定为物理特征的表示以相应外观显示的位置，并且任选地为HMD充当用于查看AR或VR环境的AR或VR查看设备的位置)，用户眼睛的图形表示出现在HMD的显示生成部件上。例如，HMD的显示生成部件显示用户眼睛的图形表示的修改版本(例如，在HMD到达用户头部上的预定义位置之前)。例如，用户眼睛的图形表示的受到遮挡的版本(例如，变暗版本)经显示以指示HMD仍在调整(例如，移动到预定义位置)。在一些实施方案中，显示用户眼睛的图形表示的动画版本，诸如随着用户将HMD放在用户头部上，随着HMD改变位置，将用户眼睛的图形表示显示为移动的眼睛(例如，眼睛环顾周围)。

随着电子设备被放置在用户身体上的适当位置，显示当前被电子设备隐藏的用户身体的一部分的表示提供了一种直观的转变，该转变向用户和周围环境中查看显示器的其他人显示电子设备正被放置在用户的身体上，并且电子设备将继续更新显示器以显示被电子设备覆盖的用户身体的一部分。这通过减少用户和周围环境中的其他人想象电子设备下方的内的认知负担来改进与可穿戴设备交互的体验。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中，在远离用户身体的预定义部分的预定义距离处，电子设备启动(826)对应于用户身体的预定义部分的身体部位的外部视图的图形表示的显示。例如，电子设备不显示对应于用户身体的预定义部分的身体部位的外部视图的图形表示，直到电子设备接近用户身体的预定义部分(例如，在3英寸内、或在6英寸内)。在一些实施方案中，电子设备使用一个或多个传感器(例如，相机311和/或姿势传感器312，图3B至图3C)来确定其距用户身体的预定义部分的距离。

在一些实施方案中，随着用户戴上HMD(例如，戴到用户头部上的预定义位置，该预定义位置被指定为物理特征的表示以相应外观显示的位置，并且任选地为HMD充当用于查看AR或VR环境的AR或VR查看设备的位置)，用户眼睛的图形表示仅在HMD在远离用户头部上的预定义位置的预定义距离内(例如，在用户眼睛上方)之后才出现在HMD的显示生成部件上。例如，当用户拿起HMD时，显示生成部件不显示用户眼睛的图形表示。随着用户继续朝向用户的眼睛移动HMD，根据确定HMD足够靠近用户的眼睛(例如，在预定义距离内)(例如，在预定义位置处)，显示生成部件开始显示用户的眼睛的图形表示(或用户的眼睛的图形表示的修改版本，诸如上面解释的受到遮挡的版本)。

一旦电子设备足够靠近用户身体，启动用户身体的被电子设备隐藏的部分的图形表示的显示提供一种直观的转变，该转变向用户和周围环境中查看显示器的其他人显示电子设备靠近用户身体，并且显示器将继续更新显示器以显示用户身体的被电子设备覆盖的部分。这通过减少用户和周围环境中的其他人想象电子设备下方的内的认知负担来改进与可穿戴设备交互的体验。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中，电子设备检测(828)电子设备相对于用户身体的预定义部分的位置的第二改变，其中电子设备的位置的第二改变朝向用户身体的预定义部分。在一些实施方案中，响应于检测到电子设备相对于用户身体的预定义部分的位置的第二改变，随时间的推移或根据位置的改变朝向用户身体的预定义部分的进展，电子设备根据电子设备相对于用户身体的预定义部分的位置的第二改变，逐渐地修改对应于用户身体的预定义部分的身体部位的外部视图的图形表示。在一些实施方案中，根据确定电子设备在距用户身体的该部分的预定义距离内，图形表示最初以初始状态显示。在一些实施方案中，在到达预定义距离之前，不显示图形表示。显示器在显示图形表示之前显示另一用户界面、空白/变暗或关闭。随着用户戴上电子设备，电子设备通过在用户戴上电子设备时模糊、淡入、减少渐晕或降低图形表示的抽象级别，逐渐地转变到以最终状态显示图形表示(例如，用户身体的预定义部分的图形表示)。

在一些实施方案中，随着用户戴上HMD(例如，戴到用户头部上的预定义位置，该预定义位置被指定为物理特征的表示以相应外观显示的位置，并且任选地为HMD充当用于查看AR或VR环境的AR或VR查看设备的位置)，用户眼睛的图形表示出现在HMD的显示生成部件上。例如，一个或多个视觉效果被应用于图形表示(诸如淡入图形表示)，以根据HMD移动的距离而变得更清晰(例如，更加聚焦)。例如，HMD移动得越靠近预定义位置，图形表示变得越聚焦。以此方式，用户眼睛的图形表示看起来被修改(例如，模糊、变暗或以其他方式受到遮挡)，此时用户眼睛的图形表示看起来未被修改(例如，处于其中性位置，其中用户眼睛的未修改的图形表示以预定义的亮度和预定义的细节量(和焦点)显示)。

随着电子设备相对于用户身体改变位置，逐渐更新用户身体的该部分的表示的显示以在该表示中更详细地显示提供了一种直观的转变效果来指示电子设备正移动得更靠近用户身体，这允许用户和周围环境中查看显示器的其他人了解电子设备相对于用户身体的位置，即使在调整设备时也是如此。这通过减少用户和周围环境中的其他人想象电子设备下方的内的认知负担来改进与可穿戴设备交互的体验。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中，根据电子设备相对于用户身体的预定义部分的位置的第二改变来修改对应于用户身体的预定义部分的身体部位的外部视图的图形表示包括(830)修改(例如，逐渐地)对应于用户身体的预定义部分的身体部位的外部视图的图形表示以随着电子设备朝向用户身体的预定义部分移动，包括更多数量的解剖特征的图形表示。例如，随着设备移动得更靠近用户身体的预定义部分，图形表示变得较不抽象(例如，更详细)。

例如，随着用户朝向用户的眼睛移动HMD(例如，向内移动HMD，更靠近用户的面部)，用户眼睛的图形表示逐渐地(例如，随着HMD更靠近用户的眼睛)包括更多细节。例如，除了用户眼睛的图形表示之外，图形表示还显示附加特征，诸如用户的眉毛的图形表示(和/或与用户的眼睛或用户的眼睛周围的用户的面部相关的其他特征的图形表示)。在一些实施方案中，显示更详细的图形表示包括显示聚焦的图形表示(不模糊或淡化)。在一些实施方案中，图形表示经修改以变得与HMD相对于用户眼睛的移动量(例如，移动的距离)成比例地更详细。例如，随着HMD更靠近用户的眼睛，图形表示逐渐变得不那么受到遮挡。

随着设备移动得更靠近用户身体，逐渐显示用户身体的表示的更详细的视图(该视图在显示器上显示更多特征)为用户和周围环境中查看显示器的其他人提供了一种直观的方式来了解电子设备正移动得更靠近用户的身体，即使当用户的身体被覆盖并且对用户不可见时。这通过减少用户和周围环境中的其他人想象电子设备下方的内的认知负担来改进与可穿戴设备交互的体验。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中，根据电子设备相对于用户身体的预定义部分的位置的第二改变来修改对应于用户身体的预定义部分的身体部位的外部视图的图形表示包括(832)淡入对应于用户身体的预定义部分的身体部位的外部视图的图形表示的至少一部分。

在以上示例之后，在一些实施方案中，随着用户沿另一方向(诸如向下)移动HMD(例如，好像HMD从用户的头部/前额的顶部移动并向下拉过用户的眼睛)或朝向用户的眼睛(例如，向内以更靠近用户的面部)，修改图形表示以在图形表示的至少一部分上应用淡入视觉效果。例如，随着HMD的位置因用户向下和/或向内移动HMD而改变，用户眼睛(例如，和/或眉毛)的图形表示被淡入(例如，从淡化状态变为非淡化状态)。

提供用于在表示的视图中淡入用户身体的一部分的视觉效果为用户和周围环境中查看显示器的其他人提供了一种直观的方式来了解电子设备正相对于用户身体进行调整。这通过减少用户和周围环境中的其他人了解电子设备正进行调整的认知负担来改进与可穿戴设备交互的体验。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中，根据电子设备相对于用户身体的预定义部分的位置的第二改变来修改对应于用户身体的预定义部分的身体部位的外部视图的图形表示包括(834)减少对应于用户身体的预定义部分的身体部位的外部视图的图形表示的至少一部分的模糊。

在以上示例之后，在一些实施方案中，随着用户沿另一方向(朝向用户的眼睛)移动HMD，诸如向右(例如，好像HMD位于用户的眼睛的左侧且向右移动以穿戴在用户的眼睛上)，修改图形表示以减少图形表示的至少一部分上的模糊视觉效果。例如，随着HMD的位置因用户向右(并朝向用户的眼睛)移动HMD而改变，用户的眼睛(例如，和/或眉毛)的图形表示变得较不模糊(例如，更聚焦)。

减少在用户身体的部分的表示上显示的模糊效果为用户和周围环境中查看显示器的其他人提供了一种直观的方式来了解电子设备正相对于用户身体进行调整。这通过减少用户和周围环境中的其他人了解电子设备正进行调整的认知负担来改进与可穿戴设备交互的体验。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中，根据电子设备相对于用户身体的预定义部分的位置的第二改变来修改对应于用户身体的预定义部分的身体部位的外部视图的图形表示包括(836)减小对应于用户身体的预定义部分的身体部位的外部视图的图形表示的渐晕效果。

在以上示例之后，在一些实施方案中，随着用户沿另一方向(诸如向左)移动HMD(例如，好像HMD位于用户眼睛的右侧并且向左移动以被穿戴在用户眼睛上)，图形表示经修改以减少图形表示的至少一部分上的渐晕效果。例如，随着HMD的位置因用户将HMD向右(并且朝向用户的眼睛)移动而改变，用户的眼睛(例如，和/或眉毛)的图形表示以减小的渐晕效果(例如，应用于图形表示的显示的外部的虚光/模糊被去除，使得整个图形表示被聚焦地显示)来显示。

减少在用户身体的部分的表示上显示的渐晕效果为用户和周围环境中查看显示器的其他人提供了一种直观的方式来了解电子设备正相对于用户身体进行调整。这通过减少用户和周围环境中的其他人了解电子设备正进行调整的认知负担来改进与可穿戴设备交互的体验。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在以上给出的示例中，HMD的移动由相对于用户眼睛的移动方向(上、下、左、右)来定义。例如，在与步骤816-822相关联的示例中，与特定效果相关联的移动方向是从与针对该特定效果的与步骤830-836相关联的示例中相反方向上的移动生成的。这是因为当HMD远离用户的眼睛向左移动时，显示更加受到遮挡的图形表示，而HMD朝向用户的眼睛向右移动(并回到HMD的中性位置)将生成不那么受到遮挡的图形表示。因此，随着HMD移动远离用户的眼睛(无论是沿向上、向下、向左还是向右的方向，如步骤816-822所述)，受到遮挡的图形表示变得更加受到遮挡，并且随着HMD朝向用户的眼睛移动(例如，如步骤830-836中所述)，受到遮挡的图形表示变得不那么受到遮挡(例如，更清晰且更聚焦)。当HMD被穿戴在用户眼睛上方的预定义位置时，用户眼睛的图形表示被认为是未修改的(例如，清晰且聚焦)。当HMD移动远离其中性位置时，使用任何视觉效果或视觉效果的组合来遮挡用户眼睛的图形表示。

在一些实施方案中，用户身体的预定义部分包括(838)用户的眼睛(例如，两只眼睛)。如在以上示例中所解释的，在一些实施方案中，电子设备是被配置为被穿戴在用户眼睛上的头戴式耳机或HMD，并且电子设备生成用户眼睛的图形表示以便在显示生成部件上显示，该显示生成部件位于电子设备的与设备的最靠近用户身体的预定义部分的侧(例如，背离身体)相对的侧或表面上。

当用户的眼睛被电子设备覆盖时，显示用户眼睛的表示在正在查看显示器而无法看到用户眼睛的其他人之间提供了更直观的交互。通过向其他人显示用户眼睛的图形表示，通过允许其他人感觉到与用户更多地互动，改进了其他人与用户之间的交互。允许其他人查看用户眼睛的图形表示，使得其他人在与穿戴该设备的用户交互时感觉到更加轻松。向用户和其他人提供改进的视觉反馈增强了设备的可操作性，并使用户设备接口更加高效(例如，通过帮助用户提供适当的输入并减少用户在操作/与设备交互时的错误)，这另外通过使用户能够更快且更有效地使用设备来减少功率使用并改进设备的电池寿命。

在一些实施方案中，所检测到的电子设备相对于用户身体的预定义部分的位置的改变是(840)电子设备相对于用户身体的预定义部分的位置的第一改变。在一些实施方案中，电子设备检测电子设备相对于用户身体的预定义部分的位置的第二改变，其中电子设备相对于用户身体的预定义部分的位置的第二改变与第一改变相反。在一些实施方案中，响应于电子设备相对于用户身体的预定义部分的位置的第二改变，电子设备在某个时间段上或根据远离用户身体的预定义部分的位置的第二改变的进展来反转(例如，逐渐反转)对应于用户身体的预定义部分的身体部位的外部视图的图形表示的修改。例如，位置的第一改变包括将电子设备从用户身体取下(例如，将电子设备从用户身体移开)，而位置的第二改变包括将电子设备放在用户身体上(例如，将电子设备向用户身体移动)。在一些实施方案中，应用于用户身体的预定义部分的图形表示的视觉效果在位置的两个(相反)改变之间反转。例如，随着从用户身体取下设备，修改包括逐渐地抽象出(以提供较少的细节)用户身体的图形表示。随着设备随后被放到用户身体上，修改包括逐渐向用户身体的图形表示添加更多细节。

在一些实施方案中，用以调整电子设备的位置的手势(或手势序列)包括多个分量，包括包含朝向用户身体移动电子设备的一个或多个分量以及包含远离用户身体移动电子设备的一个或多个分量。随着手势的多个分量在移动类型之间交替，对图形表示的修改平滑地(例如，流畅地)转变。例如，根据电子设备的位置的移动，电子设备在增加对身体部位的外部视图的图形表示的修改(例如，抽象级别)(随着电子设备远离身体的预定义部分移动)和减少对身体部位的外部视图的图形表示的修改(随着设备朝向用户身体的预定义部分移动)之间平滑地转变。

用以调整电子设备的位置的手势的多个分量可包括例如以下中的两者或更多者：对电子设备与用户身体的预定义部分的竖直对准的调整、对电子设备与用户身体的预定义部分的水平对准的调整、对电子设备与用户身体的预定义部分之间的距离的调整、以及对电子设备相对于用户身体的预定义部分的取向(例如，相对于竖直轴线和/或水平轴线的倾斜)的调整。此外，在一些实施方案中，对于多个分量中的每个不同分量，随着手势的该分量随时间的改变，对图形表示的对应修改平滑地转变。因此，手势的不同并发分量可导致图形表示的不同类型的修改的并发转变，诸如但不限于淡化、模糊、抽象或渐晕。

例如，在用户已相对于用户的眼睛沿第一方向移动HMD之后，用户随后沿相反方向移动HMD。例如，用户通过向上移动HMD(例如，在用户的前额上)来重新定位HMD，这使得用户眼睛的图形表示受到遮挡(例如，模糊、淡化、渐晕等)，并且在用户已向上重新定位HMD之后，用户向下移动HMD(例如，返回到用户眼睛上方的位置)，这使得通过撤消对图形表示的修改以相反的方式修改用户眼睛的图形表示(例如，变得不那么受到遮挡)。以此方式，图形表示被动态地修改，使得随着HMD被重新定位成远离用户的眼睛，图形表示使用一个或多个视觉效果而变得更加受到遮挡，并且随着HMD被重新定位到用户眼睛上方的预定义位置，图形表示返回到其未修改状态(例如，其中在未修改状态中，图形表示是用户眼睛的未受到遮挡的表示)。

生成对用户身体的表示的不同修改，使得修改看起来基于电子设备的移动方向(或类型)而增加或减少，这为用户创建了一种直观的方式来基于所显示的修改了解设备如何移动。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中，根据确定电子设备相对于用户身体的预定义部分的位置改变是沿着第一方向的，电子设备以第一方式修改(842)图形表示。例如，电子设备的位置的改变包括将设备移动远离用户身体的预定义部分(例如，将设备移离用户的眼睛)，并且修改包括应用于图形表示的视觉效果，诸如模糊、应用渐晕和/或改变显示器上的用户身体的预定义部分(例如，用户的眼睛)的位置(z高度)。

在一些实施方案中，根据确定电子设备相对于用户身体的预定义部分的位置改变是沿着第二方向的，其中第二方向不同于(例如，不平行于)第一方向，电子设备以不同于第一方式的第二方式修改图形表示。在一些实施方案中，第二方向沿着不同于第一方向(沿着第一轴线)的第三轴线定义。以此方式，应用于图形表示的视觉效果取决于电子设备如何移动。例如，倾斜电子设备产生第一视觉效果，朝向(或远离)用户身体移动电子设备产生第二视觉效果(不同于第一效果)，向上或向下(例如，沿着y轴)移动电子设备产生第三视觉效果(不同于第一视觉效果和第二视觉效果)，以及从用户身体的预定义部分去除电子设备产生第四视觉效果。

例如，当用户通过倾斜HMD来移动HMD(例如，向上移动HMD的左侧，同时向下移动HMD的右侧)时，使用第一视觉效果来修改图形表示，诸如淡化用户眼睛的图形表示。当用户将HMD拉离用户的眼睛(例如，向前)时，使用不同于第一视觉效果的第二视觉效果来修改图形表示，诸如模糊用户眼睛的图形表示。当用户向上或向下移动HMD(例如，将HMD放置在用户的前额或鼻子上)时，使用不同于第一视觉效果和第二视觉效果的第三视觉效果来修改图形表示，诸如减少图形表示中显示的特征的数量(例如，显示用户眉毛的图形表示而不显示用户眼睛的图形表示)。当用户将HMD从用户头部去除时，使用第四视觉效果来修改图形表示，诸如使图形表示变暗(例如，逐渐变暗)，直到不再显示图形表示。视觉效果与位置的特定改变之间的关联仅用于示例性目的。应当理解，位置的第一改变(例如，沿第一方向)可与本文描述的一个或多个视觉效果中的任一视觉效果相关联。

基于电子设备的位置如何改变来将不同的视觉效果应用于用户身体的表示，使得每个视觉效果反映对电子设备的位置的不同调整，为用户创建了一种直观的方式来基于所显示的视觉效果了解设备如何移动。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中，根据确定电子设备相对于用户身体的预定义部分的位置的改变具有沿着第一方向的分量和沿着第二方向的分量，电子设备基于沿着第一方向的分量以第一方式修改(844)图形表示，并且基于沿着第二方向的分量以第二方式修改图形表示。在一些实施方案中，如上所述，以第一方式的修改和以第二方式的修改逐渐发生，并且同时发生(例如，两个修改同时应用)。例如，随着用户从用户的头部去除电子设备(例如，头戴式耳机)，沿至少两个方向存在位置的改变：远离用户身体并在用户身体上向下移动。在该示例中，随着用户去除电子设备，显示两种视觉效果，例如随着从用户的头部去除头戴式耳机，移动用户的眼睛(以反映用户身体下方的位置的改变)和模糊用户的眼睛(以反映远离用户身体的位置的改变)。

在一些实施方案中，用户沿多个方向同时(例如，在同一运动内)移动HMD。响应于用户沿多个方向上移动，将与移动方向中的每个移动方向相关联的视觉效果同时应用于用户眼睛的图形表示。例如，如果用户将HMD远离用户的眼睛向前拉动，并将HMD远离用户的眼睛沿向上方向移动，则用户眼睛的图形表示模糊(例如，与将HMD拉开的移动量成比例)，并且图形表示中显示的特征的数量减少(例如，与HMD沿向上方向的移动量成比例)。在一些实施方案中，导致HMD的位置(例如，沿着多个轴)改变的移动的其他组合生成同时应用于用户眼睛的图形表示的视觉效果的对应组合。

基于电子设备的位置如何改变，将不同的视觉效果组合到用户身体的表示中，使得视觉效果的组合同时反映对电子设备的位置的不同类型的调整，为用户创建了一种直观的方式来基于所显示的视觉效果的组合了解设备如何移动。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中，根据确定电子设备相对于用户身体的预定义部分的位置的改变是电子设备相对于用户身体的预定义部分的旋转，电子设备以第三方式修改(846)图形表示。在一些实施方案中，检测电子设备相对于用户身体的预定义部分的旋转包括检测电子设备相对于用户身体的位置的调整。例如，在图7E中，随着设备700旋转以围绕用户的手臂扭转带，显示器712使用不同于当设备700朝向或远离用户的手腕移动时所显示的修改(例如，如图7C至图7D所示)并且不同于当设备700远离手臂移动时所显示的修改(例如，如图7G至图7H所示)的修改(第三方式)来修改动画的图形表示。在一些实施方案中，当位置的改变沿着不同的轴线时，显示不同的修改(例如，视觉效果)。

在以下示例中，轴线定义如下(相对于作为用户身体的预定义部分的用户眼睛)：x轴是指向前或向后的移动(例如，远离或靠近眼睛)，y轴是指向上或向下的移动(例如，在眼睛上方或下方)，而z轴是指向左和向右的移动。例如，设备的倾斜(例如，相对于y轴向上或向下移动)导致与电子设备的扭转(旋转)(例如，沿着z轴的移动)不同的视觉效果，以及与推或拉移动(例如，沿着x轴向前或向后移动)不同的视学效果。在一些实施方案中，电子设备的倾斜对应于(例如，使得电子设备产生)关闭或调暗显示器并显示眉毛而不是眼睛的视觉效果。在一些实施方案中，电子设备的扭转对应于(例如，使得电子设备产生)在显示器上移动用户身体的该部分的表示的视觉效果，使得该表示与用户身体的该部分的位置匹配(例如，用户眼睛的图形表示的位置被移动以与用户的真实眼睛相匹配)。例如，当用户通过倾斜HMD来移动HMD时(例如，向上移动HMD的左侧同时向下移动HMD的右侧)，用户眼睛的图形表示调暗(或变暗)。当用户扭转HMD(例如，通过沿着z轴将HMD向右或向左移动)时，通过改变显示器上用户眼睛的图形表示的位置来修改图形表示。例如，用户眼睛的图形表示在显示器上移动，使得用户眼睛的图形表示的位置保持在对应于显示器所覆盖的用户真实眼睛的位置。

基于导致电子设备的位置的改变的移动类型(或方向)来区分多个视觉效果，为用户创建了一种直观的方式来基于所显示的视觉效果了解设备的移动方式。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。

在一些实施方案中，以第一方式修改图形表示包括经由显示生成部件显示覆盖物，该覆盖物遮挡对应于用户身体的预定义部分的身体部位的外部视图的图形表示的至少一部分。例如，当电子设备的位置改变时(例如，随着用户调整电子设备的位置)，显示覆盖物包括以诸如模糊、褪色或调暗的通量)示出身体部位的外部视图的图形表示，以指示用户正在调整电子设备的位置。在一些实施方案中，覆盖物包括在对应于用户身体的预定义部分的身体部位的外部视图的图形表示的至少一部分上显示文本或表情符号。

例如，在一些实施方案中，响应于用户改变HMD的位置(例如，调整用户头部上的HMD)，在用户眼睛的图形表示上显示覆盖物以指示(例如，对于看向显示器的第三方)用户正在调整HMD。在一些实施方案中，用户眼睛的图形表示是动画的，使得用户的眼睛看起来闭合。

在一些实施方案中，电子设备检测电子设备处的触发(例如，输入)(例如，检测或不检测电子设备相对于用户身体的预定义部分的位置的改变)。在一些实施方案中，触发包括从由以下项组成的组中选择的输入：在电子设备的显示生成部件前方检测到的输入(例如，在面部前方(当电子设备在用户面部上时在电子设备的前方)检测到的手)、选择电子设备的物理控件(例如，按钮)的输入、以及在电子设备的边缘上检测到的输入。

在一些实施方案中，响应于检测到触发，电子设备根据所检测到的触发来修改用户身体的预定义部分的外部视图的图形表示，包括经由显示生成部件来显示覆盖物，该覆盖物遮挡对应于用户身体的预定义部分的身体部位的外部视图的图形表示的至少一部分。例如，触发是用以暂停当前会话的触发，并且响应于该触发，电子设备在电子设备的显示生成部件处显示的图形表示的至少一部分上显示覆盖物，以指示当前会话被暂停。

例如，响应于用户将手放在穿戴在用户头部上的HMD的前面，用户眼睛的图形表示在显示器上受到遮挡(例如，其中在用户眼睛的图形表示上放置覆盖物)。在一些实施方案中，用户眼睛的受到遮挡的图形表示向查看显示生成部件的第三方指示用户当前未与第三方互动(例如，用户与第三方的会话被暂停)。

在一些实施方案中，当设备被穿戴在用户的预定义部分上时，对应于用户身体的预定义部分的身体部位的外部视图的图形表示随着用户身体的对应部分的移动而移动。例如，眼睛的图形表示移动，以便基于用户眼睛的移动和打开/关闭来环顾周围和/或打开/关闭，如由电子设备的相机或其他生物测量传感器或与电子设备通信的相机或其他生物测量传感器所检测到的。

应当理解，对图8A至图8D中的操作进行描述的具体次序仅仅是示例性的，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。

出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。

Claims (33)

1.一种方法，包括：

在被配置为被穿戴在用户身体的预定义部分上的电子设备处，所述电子设备具有一个或多个处理器、存储器和显示生成部件，所述显示生成部件与所述用户身体的所述预定义部分相对地布置在所述电子设备上：

当所述电子设备被穿戴在所述用户身体的所述预定义部分上时，经由所述显示生成部件显示对应于所述用户身体的所述预定义部分的身体部位的外部视图的图形表示；

检测所述电子设备相对于所述用户身体的所述预定义部分的位置的改变；以及

响应于检测到所述电子设备相对于所述用户身体的所述预定义部分的所述位置的所述改变，根据所检测到的所述电子设备相对于所述用户身体的所述预定义部分的位置的改变来修改对应于所述用户身体的预定义部分的所述身体部位的所述外部视图的所述图形表示。

2.根据权利要求1所述的方法，其中所检测到的所述电子设备的位置的改变是所述电子设备远离所述用户身体的所述预定义部分的移动。

3.根据权利要求2所述的方法，其中根据所检测到的所述电子设备相对于所述用户身体的所述预定义部分的位置的改变来修改所述图形表示包括：

在距所述用户身体的所述预定义部分的预定义距离处，停止显示对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的所述图形表示的至少一部分。

4.根据权利要求1至3中任一项所述的方法，其中根据所检测到的所述电子设备相对于所述用户身体的所述预定义部分的位置的改变来修改对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的所述图形表示包括：

保持(对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的)所述图形表示的至少一部分相对于所述用户身体的所述预定义部分的位置。

5.根据权利要求1至4中任一项所述的方法，其中根据所检测到的所述电子设备相对于所述用户身体的所述预定义部分的位置的改变来修改对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的所述图形表示包括：

修改对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的所述图形表示以包括对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的所述图形表示的少于全部的子集。

6.根据权利要求1至4中任一项所述的方法，其中根据所检测到的所述电子设备相对于所述用户身体的所述预定义部分的位置的改变来修改对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的所述图形表示包括：

遮挡对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的所述图形表示的至少一部分。

7.根据权利要求6所述的方法，其中遮挡对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的所述图形表示包括：淡出对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的所述图形表示的至少一部分。

8.根据权利要求6所述的方法，其中遮挡对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的所述图形表示包括：模糊对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的所述图形表示的至少一部分。

9.根据权利要求6所述的方法，其中遮挡对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的所述图形表示包括：渐晕对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的所述图形表示。

10.根据权利要求1至9中任一项所述的方法，包括：

在所述用户穿戴所述电子设备之前，当所述用户正在戴上所述电子设备时，显示对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的所述图形表示。

11.根据权利要求1至10中任一项所述的方法，包括：

在距所述用户身体的所述预定义部分的预定义距离处，启动对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的所述图形表示的显示。

12.根据权利要求1至11中任一项所述的方法，包括：

检测所述电子设备相对于所述用户身体的所述预定义部分的位置的第二改变，其中所述电子设备的所述位置的所述第二改变朝向所述用户身体的所述预定义部分；以及

响应于检测到所述电子设备相对于所述用户身体的所述预定义部分的所述位置的所述第二改变，随时间的推移或根据所述位置的改变朝向所述用户身体的所述预定义部分的进展，根据所述电子设备相对于所述用户身体的所述预定义部分的所述位置的所述第二改变来逐渐地修改对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的所述图形表示。

13.根据权利要求12所述的方法，其中根据所述电子设备相对于所述用户身体的所述预定义部分的所述位置的所述第二改变来修改对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的所述图形表示包括：

修改对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的所述图形表示以随着所述电子设备朝向所述用户身体的所述预定义部分移动而包括更多数量的解剖特征的图形表示。

14.根据权利要求12所述的方法，其中根据所述电子设备相对于所述用户身体的所述预定义部分的所述位置的所述第二改变来修改对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的所述图形表示包括：淡入对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的所述图形表示的至少一部分。

15.根据权利要求12所述的方法，其中根据所述电子设备相对于所述用户身体的所述预定义部分的所述位置的所述第二改变来修改对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的所述图形表示包括：减少对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的所述图形表示的至少一部分的模糊。

16.根据权利要求12所述的方法，其中根据所述电子设备相对于所述用户身体的所述预定义部分的所述位置的所述第二改变来修改对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的所述图形表示包括：减少对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的所述图形表示的渐晕效果。

17.根据权利要求1至16中任一项所述的方法，其中所述用户身体的所述预定义部分包括两只眼睛。

18.根据权利要求1至10中任一项所述的方法，其中：

所检测到的所述电子设备相对于所述用户身体的所述预定义部分的位置的改变是所述电子设备相对于所述用户身体的所述预定义部分的位置的第一改变；并且

所述方法还包括：

检测所述电子设备相对于所述用户身体的所述预定义部分的所述位置的第二改变，其中所述电子设备相对于所述用户身体的所述预定义部分的所述位置的所述第二改变与所述第一改变相反；以及

响应于所述电子设备相对于所述用户身体的所述预定义部分的所述位置的所述第二改变，在一时间段上或根据所述位置的第二改变远离所述用户身体的所述预定义部分的进展，反转对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图。

19.根据权利要求1至18中任一项所述的方法，包括：

根据确定所述电子设备相对于所述用户身体的所述预定义部分的所述位置的改变是沿着第一方向的，以第一方式修改所述图形表示；以及

根据确定所述电子设备相对于所述用户身体的所述预定义部分的所述位置的改变是沿着第二方向的，其中所述第二方向不同于所述第一方向，以不同于所述第一方式的第二方式修改所述图形表示。

20.根据权利要求19所述的方法，包括：

根据确定所述电子设备相对于所述用户身体的所述预定义部分的所述位置的改变具有沿着所述第一方向的分量和沿着所述第二方向的分量：

基于沿着所述第一方向的所述分量以所述第一方式修改所述图形表示；以及

基于沿着所述第二方向的所述分量以所述第二方式修改所述图形表示。

21.根据权利要求1至20中任一项所述的方法，包括：

根据确定所述电子设备相对于所述用户身体的所述预定义部分的所述位置的改变是所述电子设备相对于所述用户身体的所述预定义部分的旋转，以第三方式修改所述图形表示。

22.一种电子设备，包括：

显示生成部件，所述显示生成部件与用户身体的预定义部分相对地布置在所述电子设备上；

一个或多个输入设备；

一个或多个处理器；和

存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：

当所述电子设备被穿戴在所述用户身体的所述预定义部分上时，经由所述显示生成部件显示对应于所述用户身体的所述预定义部分的身体部位的外部视图的图形表示；

检测所述电子设备相对于所述用户身体的所述预定义部分的位置的改变；以及

响应于检测到所述电子设备相对于所述用户身体的所述预定义部分的所述位置的所述改变，根据所检测到的所述电子设备相对于所述用户身体的所述预定义部分的位置的改变来修改对应于所述用户身体的预定义部分的所述身体部位的所述外部视图的所述图形表示。

23.根据权利要求22所述的电子设备，其中所述一个或多个程序包括用于执行根据权利要求2至21中任一项所述的方法的指令。

24.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备执行时使得所述电子设备执行以下操作，所述电子设备包括与用户身体的预定义部分相对地布置在所述电子设备上的显示生成部件和一个或多个输入设备和/或所述电子设备与所述显示生成部件和所述一个或多个输入设备通信：

当所述计算机系统被穿戴在所述用户身体的所述预定义部分上时，经由所述显示生成部件显示对应于所述用户身体的所述预定义部分的身体部位的外部视图的图形表示；

检测所述电子设备相对于所述用户身体的所述预定义部分的位置的改变；以及

响应于检测到所述电子设备相对于所述用户身体的所述预定义部分的所述位置的所述改变，根据所检测到的所述电子设备相对于所述用户身体的所述预定义部分的位置的改变来修改对应于所述用户身体的预定义部分的所述身体部位的所述外部视图的所述图形表示。

25.根据权利要求24所述的计算机可读存储介质，其中所述一个或多个程序包括指令，所述指令当由所述第一电子设备执行时，使得所述第一电子设备执行根据权利要求2至21中任一项所述的方法。

26.一种电子设备，包括：

显示生成部件，所述显示生成部件与用户身体的预定义部分相对地布置在所述电子设备上；

一个或多个输入设备；和

当所述电子设备被穿戴在所述用户身体的所述预定义部分上时启用的用于经由所述显示生成部件显示对应于所述用户身体的所述预定义部分的身体部位的外部视图的图形表示的装置；

用于检测所述电子设备相对于所述用户身体的所述预定义部分的位置的改变的装置；和

响应于检测到所述电子设备相对于所述用户身体的所述预定义部分的所述位置的所述改变而启用的用于根据所检测到的所述电子设备相对于所述用户身体的所述预定义部分的所述位置的改变来修改对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的图形表示的装置。

27.根据权利要求26所述的电子设备，还包括用于执行根据权利要求2至21中任一项所述的方法的装置。

28.一种在电子设备中使用的信息处理装置，所述电子设备包括与用户身体的预定义部分相对地布置在所述电子设备上的显示生成部件和一个或多个输入设备和/或所述电子设备与所述显示生成部件和所述一个或多个输入设备通信，所述信息处理装置包括：

当所述电子设备被穿戴在所述用户身体的所述预定义部分上时启用的用于经由所述显示生成部件显示对应于所述用户身体的所述预定义部分的身体部位的外部视图的图形表示的装置；

用于检测所述电子设备相对于所述用户身体的所述预定义部分的位置的改变的装置；和

响应于检测到所述电子设备相对于所述用户身体的所述预定义部分的所述位置的所述改变而启用的用于根据所检测到的所述电子设备相对于所述用户身体的所述预定义部分的所述位置的改变来修改对应于所述用户身体的所述预定义部分的所述身体部位的所述外部视图的图形表示的装置。

29.一种计算机系统，包括：

显示生成部件；

一个或多个输入设备；

一个或多个处理器；和

存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至21中任一项所述的方法的指令。

30.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示生成部件和一个或多个输入设备和/或与所述显示生成部件和所述一个或多个输入设备通信的计算机系统执行时，使得所述计算机系统执行根据权利要求1至21中任一项所述的方法。

31.一种在计算机系统上的图形用户界面，所述计算机系统包括显示生成部件和一个或多个输入设备、存储器以及用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器和/或所述计算机系统与所述显示生成部件和所述一个或多个输入设备、所述存储器以及所述用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器通信，所述图形用户界面包括根据权利要求1至21所述的方法中的任一种方法显示的用户界面。

32.一种电子设备，包括：

显示生成部件；

一个或多个输入设备；和

用于执行根据权利要求1至21所述的方法中的任一种方法的装置。

33.一种在电子设备中使用的信息处理装置，所述电子设备包括显示生成部件和一个或多个输入设备和/或与所述显示生成部件和所述一个或多个输入设备通信，所述信息处理装置包括：

用于执行根据权利要求1至21中任一项所述的方法的装置。