CN116438507A - 显示可选择选项的方法 - Google Patents

Abstract

本发明提供了用于在计算机生成的环境中显示可选择选项的方法，该方法提供高效且直观的用户体验。在一些实施方案中，根据已经满足一个或多个标准的确定，在三维计算机生成的环境中显示一个或多个可选择选项，该一个或多个标准包括用户的手部相对于电子设备以预先确定的方式取向的标准。在一些实施方案中，用户能够用满足一个或多个激活标准的多个用户输入和/或手势来执行可选择选项的单手致动。

Description

显示可选择选项的方法

技术领域

本公开整体涉及用于在计算机生成的环境中显示可选择选项的方法。

背景技术

计算机生成的环境是其中至少一些显示给用户查看的对象是由计算机生成的环境。用户可通过使得从菜单用户界面显示菜单和/或可选择选项来与计算机生成的环境交互。

发明内容

本公开中所述的一些实施方案涉及用于在计算机生成的环境中显示可选择选项(例如，控制元素或控制用户界面元素)的方法。本公开中所述的一些实施方案涉及可选择选项的单手致动。这些交互提供更高效且直观的用户体验。附图和具体实施方式中提供了对实施方案的全面描述，应当理解，本发明内容不以任何方式限制本公开的范围。

附图说明

为了更好地理解各种所述实施方案，应该结合以下附图参考下面的具体实施方式，在附图中，类似的附图标号在所有附图中指示对应的部分。

图1示出了根据本公开的一些实施方案的显示计算机生成的环境的电子设备。

图2A至图2B示出了根据本公开的一些实施方案的一个或多个设备的示例性架构的框图。

图3示出了根据本公开的一些实施方案的确定表面面向电子设备的方法。

图4A至图4D示出了根据本公开的一些实施方案的在表面上显示可选择选项的方法。

图5示出了根据本公开的一些实施方案的在与应用程序相关联的表面上显示可选择选项的方法。

图6示出了根据本公开的一些实施方案的选择可选择选项的方法。

图7示出了根据本公开的一些实施方案的从表面分离可选择选项的方法。

图8A至图8B示出了根据本公开的一些实施方案的选择可选择选项的方法。

图9是示出根据本公开的一些实施方案的在表面上显示可选择选项的方法的流程图。

图10是示出根据本公开的一些实施方案的选择可选择选项的方法的流程图。

具体实施方式

在以下对实施方案的描述中将引用附图，附图形成以下描述的一部分并且在附图中以举例方式示出了任选实施的具体实施方案。应当理解，在不脱离所公开的实施方案的范围的情况下，任选地使用其他实施方案并任选地进行结构性变更。

人可以在不借助于电子设备的情况下与物理环境或物理世界交互以及/或者感知物理环境或物理世界。物理环境可包括物理特征，诸如物理对象或表面。物理环境的示例是包括物理植物和动物的物理森林。人可以通过各种手段(诸如听觉、视觉、味觉、触觉和嗅觉)直接感知物理环境以及/或者与物理环境交互。相比之下，人可以使用电子设备与完全或部分模拟的扩展现实(XR)环境交互以及/或者感知该扩展现实环境。该XR环境可以包括混合现实(MR)内容、增强现实(AR)内容、虚拟现实(VR)内容等等。XR环境在本文中通常被称为计算机生成的环境。利用XR系统，人的物理运动或其表示的一些可被跟踪，并且作为响应，能够以符合至少一个物理定律的方式调节在XR环境中模拟的虚拟对象的特征。例如，该XR系统可以检测用户头部的移动，并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。又如，该XR系统可以检测呈现XR环境的电子设备(例如，移动电话、平板电脑、膝上型电脑等)的移动，并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。在一些情形中，该XR系统可以响应于诸如物理运动的表示的其他输入(例如，语音命令)而调节图形内容的特征。

许多不同类型的电子设备可以使用户能够与XR环境进行交互以及/或者感测XR环境。示例的非排他性列表包括抬头显示器(HUD)、头戴式设备、基于投影的设备、具有集成显示器能力的窗户或车辆挡风玻璃、被形成为透镜以放置在用户眼睛上的显示器(例如，接触镜片)、头戴式耳机/听筒、具有或不具有触觉反馈的输入设备(例如，可穿戴或手持式控制器)、扬声器阵列、智能电话、平板计算机和台式/膝上型计算机。头戴式设备可具有不透明显示器和一个或多个扬声器。其他头戴式设备可被配置为接受不透明外部显示器(例如，智能电话)。头戴式设备可包括用于捕获物理环境的图像或视频的一个或多个图像传感器和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式设备可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可具有媒介，光通过该媒介被引导到用户的眼睛。显示器可利用各种显示技术，例如uLED、OLED、LED、硅基液晶、激光扫描光源、数字光投影或其组合。光波导、光学反射器、全息图媒介、光学组合器及其组合或其他类似技术可用于媒介。在一些具体实施中，透明或半透明显示器可被选择性地控制而变得不透明。基于投影的设备可利用将图形图像投影到用户的视网膜上的视网膜投影技术。投影设备也可以将虚拟对象投影到物理环境中(例如，作为全息图或投影到物理表面上)。

图1示出了根据本公开的一些实施方案的可配置为显示计算机生成的环境的电子设备100。在一些实施方案中，电子设备100是便携式设备，诸如平板计算机、膝上型计算机或智能电话。参考图2A至图2B更详细地描述了电子设备100的示例性架构。图1示出了位于物理环境102中的电子设备100和桌子104A。在一些实施方案中，电子设备100被配置为捕获和/或显示物理环境102的包括桌子104A(在电子设备100的视野中示出)的区域。在一些实施方案中，电子设备100被配置为在计算机生成的环境中显示一个或多个虚拟对象，该一个或多个虚拟对象不存在于物理环境102中，而是显示在计算机生成的环境中(例如，定位在或以其他方式锚定到真实世界桌子104A的计算机生成的表示104B的顶表面上)。在图1中，不存在于物理环境中的对象106(例如，虚拟对象)例如任选地响应于检测到物理环境102中的桌子104A的平坦表面而显示在经由设备100显示的计算机生成的环境中的桌子104B的表面上。应当理解，对象106是代表性对象，并且可以在二维或三维计算机生成的环境中包括并且渲染一个或多个不同的对象(例如，具有各种维度的对象，诸如二维或三维对象)。例如，虚拟对象可包括在计算机生成的环境中显示的应用程序或用户界面。另外，应当理解，本文所述的三维(3D)环境(或3D对象)可以是在二维(2D)上下文中显示(例如，在2D显示屏幕上显示)的3D环境(或3D对象)的表示。

图2A至图2B示出了根据本公开的一些实施方案的一个或多个设备的架构的示例性框图。图2A中的框可以表示在设备中使用的信息处理装置。在一些实施方案中，设备200为便携式设备，诸如移动电话、智能电话、平板计算机、膝上型计算机、与另一设备通信的辅助设备等。如图2A所示，设备200任选地包括各种传感器(例如，一个或多个手部跟踪传感器202、一个或多个位置传感器204、一个或多个图像传感器206、一个或多个触敏表面209、一个或多个运动和/或取向传感器210、一个或多个眼睛跟踪传感器212、一个或多个麦克风213或其他音频传感器等)、一个或多个显示生成部件214、一个或多个扬声器216、一个或多个处理器218、一个或多个存储器220和/或通信电路222。一个或多个通信总线208任选地用于设备200的上述部件之间的通信。

通信电路222任选地包括用于与电子设备、网络(诸如互联网、内联网、有线网络和/或无线网络、蜂窝网络和无线局域网(LAN))通信的电路。通信电路222任选地包括用于使用近场通信(NFC)和/或短程通信诸如

进行通信的电路。

处理器218任选地包括一个或多个通用处理器、一个或多个图形处理器和/或一个或多个数字信号处理器(DSP)。在一些实施方案中，存储器220是存储计算机可读指令的非暂态计算机可读存储介质(例如，闪存存储器、随机存取存储器，或其他易失性或非易失性存储器或存储装置)，这些计算机可读指令被配置为由处理器218执行以执行下文所述的技术、过程和/或方法。在一些实施方案中，存储器220包括多于一个非暂态计算机可读存储介质。非暂态计算机可读存储介质可以是可有形地包含或存储计算机可执行指令以供指令执行系统、装置和设备使用或与其结合的任何介质(例如，不包括信号)。在一些实施方案中，存储介质是暂态计算机可读存储介质。在一些实施方案中，存储介质是非暂态计算机可读存储介质。非暂态计算机可读存储介质可包括但不限于磁存储装置、光学存储装置、和/或半导体存储装置。此类存储装置的示例包括磁盘、基于CD、DVD或蓝光技术的光盘，以及持久性固态存储器诸如闪存、固态驱动器等。

显示器生成部件214任选地包括单个显示器(例如，液晶显示器(LCD)、有机发光二极管(OLED)或其他类型的显示器)。在一些实施方案中，显示生成部件214包括多个显示器。在一些实施方案中，显示生成部件214包括具有触敏表面(例如，触摸屏)、投影仪、全息投影仪、视网膜投影仪等的显示器。

在一些实施方案中，设备200包括被配置为接收用户输入(触摸和/或接近输入)(诸如，轻击输入和轻扫输入或其他手势)的触敏表面209。在一些实施方案中，显示生成部件214和触敏表面209一起形成触敏显示器(例如，与设备200集成的触摸屏或在设备200外部与设备200通信的触摸屏)。应当理解，设备200任选地包括或接收来自除触敏表面之外的一个或多个其他物理用户界面设备的输入，诸如物理键盘、鼠标、触控笔和/或操纵杆(或任何其他合适的输入设备)。

图像传感器206任选地包括一个或多个可见光图像传感器，诸如电荷耦合器件(CCD)传感器，以及/或者可操作以从真实世界环境获得物理对象的图像的互补金属氧化物半导体(CMOS)传感器。图像传感器206任选地包括一个或多个红外(IR)或近红外(NIR)传感器，诸如无源或有源IR或NIR传感器，以用于检测来自真实世界环境的红外或近红外光。例如，有源IR传感器包括用于将红外光发射到真实世界环境中的IR发射器。图像传感器206任选地包括被配置为捕获真实世界环境中的物理对象的移动的一个或多个相机。图像传感器206任选地包括被配置为检测物理对象与设备200的距离的一个或多个深度传感器。在一些实施方案中，来自一个或多个深度传感器的信息可以允许设备标识真实世界环境中的对象并且将其与真实世界环境中的其他对象区分开。在一些实施方案中，一个或多个深度传感器可以允许设备确定真实世界环境中的对象的纹理和/或形貌。

在一些实施方案中，设备200组合使用CCD传感器、事件相机和深度传感器来检测设备200周围的物理环境。在一些实施方案中，图像传感器206包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器一起工作，并且任选地被配置为捕获真实世界环境中的物理对象的不同信息。在一些实施方案中，第一图像传感器是可见光图像传感器，并且第二图像传感器是深度传感器。在一些实施方案中，设备200使用图像传感器206来检测设备200和/或显示生成部件214在真实世界环境中的位置和取向。例如，设备200使用图像传感器206来跟踪显示生成部件214相对于真实世界环境中的一个或多个固定对象的位置和取向。

在一些实施方案中，设备200任选地包括手部跟踪传感器202和/或眼睛跟踪传感器212。手部跟踪传感器202被配置为跟踪相对于计算机生成的环境、相对于显示器生成部件214以及/或者相对于另一坐标系的用户的手部和/或手指的位置/定位，以及/或者用户的手部和/或手指的运动。眼睛跟踪传感器212被配置为跟踪用户的注视(更一般地，眼睛、面部和/或头部)相对于真实世界或计算机生成的环境和/或相对于显示器生成部件214的位置和移动。用户的目光可包括眼睛被引导的方向、任选地与特定点或空间区域的相交点和/或与特定对象的相交点。在一些实施方案中，手部跟踪传感器202和/或眼睛跟踪传感器212与显示生成部件214一起实施(例如，在相同的设备中)。在一些实施方案中，手部跟踪传感器202和/或眼睛跟踪传感器212与显示生成部件214分开实施(例如，在不同的设备中)。

在一些实施方案中，手部跟踪传感器202使用从包括一只或多只手的真实世界捕获三维信息的图像传感器206(例如，一个或多个IR相机、3D相机、深度相机等)。在一些示例中，可以用足够的分辨率来分辨手部，以区分手指及其相应的位置。在一些实施方案中，一个或多个图像传感器206相对于用户定位以限定图像传感器的视场和交互空间，在该交互空间中由图像传感器捕获的手指/手部位置、取向和/或移动被用作输入(例如，以与用户的闲置手部或真实世界环境中的其他人的其他手部进行区分)。跟踪用于输入的手指/手部(例如，手势)的有利之处可能在于，手指/手部用于输入提供了不需要用户触摸或握持输入设备的输入方式，并且使用图像传感器允许跟踪而不需要用户在手部/手指上佩戴信标或传感器等。

在一些实施方案中，眼睛跟踪传感器212包括一个或多个眼睛跟踪相机(例如，IR相机)和/或向用户的眼睛发射光的照明源(例如，IR光源/LED)。眼睛跟踪相机可指向用户的眼睛，以直接或间接地从眼睛接收来自光源的反射光。在一些实施方案中，通过相应的眼睛跟踪相机和照明源单独地跟踪两只眼睛，并且可通过跟踪两只眼睛来确定目光。在一些实施方案中，通过相应的眼睛跟踪相机/照明源来跟踪一只眼睛(例如，主眼)。

设备200任选地包括麦克风213或其他音频传感器。设备200使用麦克风213来检测来自用户和/或用户的真实世界环境的声音。在一些实施方案中，麦克风213包括任选地一起操作的麦克风阵列(例如，以标识环境噪声或定位真实世界环境的空间中的声源)。在一些实施方案中，在电子设备的用户允许时，使用一个或多个音频传感器(例如，麦克风)捕获的音频和/或语音输入可用于与用户界面或计算机生成的环境交互。

设备200任选地包括被配置为检测设备200和/或显示生成部件214的位置的位置传感器204。例如，位置传感器204任选地包括从一个或多个卫星接收数据并且允许设备200确定该设备在物理世界中的绝对位置的GPS接收器。

设备200任选地包括被配置为检测设备200和/或显示生成部件214的取向和/或移动的运动和/或取向传感器210。例如，设备200使用取向传感器210来跟踪设备200和/或显示生成部件214的位置和/或取向(例如，相对于真实世界环境中的物理对象)的变化。取向传感器210任选地包括一个或多个陀螺仪、一个或多个加速度计和/或一个或多个惯性测量单元(IMU)。

应当理解，图2A的架构是示例性架构，但设备200不限于图2A的部件和配置。例如，设备可包括处于相同或不同配置的更少的、附加的或其他的部件。在一些实施方案中，如图2B所示，系统250可以在多个设备之间划分。例如，第一设备260任选地包括处理器218A、一个或多个存储器220A，以及任选地通过通信总线208A进行通信的通信电路222A。第二设备270(例如，对应于设备200)任选地包括各种传感器(例如，一个或多个手部跟踪传感器202、一个或多个位置传感器204、一个或多个图像传感器206、一个或多个触敏表面209、一个或多个运动和/或取向传感器210、一个或多个眼睛跟踪传感器212、一个或多个麦克风213或其他音频传感器等)、一个或多个显示生成部件214、一个或多个扬声器216、一个或多个处理器218B、一个或多个存储器220B和/或通信电路222B。一个或多个通信总线208B任选地用于设备270的上述部件之间的通信。设备260和设备270的部件的细节类似于上文关于设备200所讨论的对应的部件，并且为简洁起见在此不再重复。第一设备260和第二设备270任选地经由两个设备之间的有线或无线连接(例如，经由通信电路222A至222B)进行通信。

设备200或系统250通常可以支持可以在计算机生成的环境中显示的多种应用程序，诸如以下应用程序中的一者或多者：绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、照片管理应用程序、数字相机应用程序、数字视频相机应用程序、web浏览应用程序、数字音乐播放器应用程序、电视频道浏览应用程序和/或数字视频播放器应用程序。

可以使用电子设备(例如，电子设备100、设备200、设备270)来显示计算机生成的环境，包括使用一个或多个显示生成部件。计算机生成的环境可任选地包括各种图形用户界面(“GUI”)和/或用户界面对象。

在一些实施方案中，电子设备可以检测或估计真实世界的照明特性。对照明特性的估计可以提供对环境中的照明的某种理解。例如，对照明特性的估计可以提供真实世界环境的哪些区域是明亮或灰暗的指示。对照明特性的估计可以提供光源(例如，参数光源、定向光源、点光源、区域光源等)的位置和/或光源的取向的指示。在一些实施方案中，照明特性被估计为指示亮度、颜色和/或方向的每个体素的入射光场。例如，照明特性可以被参数化为基于图像的照明(IBL)环境地图。应当理解，照明特性的其他参数化是可能的。在一些示例中，使用具有为每个顶点或每个面定义照明的照明特性的三角形网格在每个像素的基础上估计照明特性。另外，应当理解，对照明特性的估计任选地从中间表示(例如，环境地图)导出。

在一些实施方案中，传感器诸如相机(例如，图像传感器206)用于捕获真实世界环境的图像。图像可以由处理电路(一个或多个处理器218)处理以定位和测量光源。在一些实施方案中，可根据环境中的光源的反射和/或由环境中的光源投射的阴影来确定光。在一些实施方案中，深度学习(例如，监督)或其他人工智能或机器学习用于基于输入图像来估计光照特性。

如本文所述，可以使用包括一个或多个显示生成部件的电子设备诸如电子设备100或设备200来显示包括各种图形用户界面(“GUI”)的计算机生成的环境。计算机生成的环境可包括与应用程序相关联的一个或多个GUI。例如，计算机生成的环境可显示菜单或可选择选项，以使得启动或显示用于计算机生成的环境中的应用程序的用户界面。类似地，计算机生成环境可显示菜单或可选择选项，以执行关于在计算机生成环境中运行的应用程序的操作。

图3示出了确定表面310面向电子设备300的方法。在图3中，环境301是包括用户的手部316、表面310和电子设备300(例如，诸如上述的设备100或200)的物理环境。在一些实施方案中，手部316正将表面310握持在电子设备300的前面。在一些实施方案中，表面310是平坦表面或基本上平坦的表面，诸如剪贴板、活页夹、一张纸等。在一些实施方案中，表面310是用户的手部316的手掌(例如，手部316是张开的并且面向电子设备300)。在一些实施方案中，表面310可以是任何基本上平坦的表面。在图3中，表面310面向电子设备300。在一些实施方案中，如果“法向”向量(例如，由箭头314表示的从表面310直接向外延伸的90度角)指向设备300，则表面310面向电子设备300。在一些实施方案中，如果“法向”角度指向电子设备300的命中区302内，则表面310面向电子设备300。在一些实施方案中，电子设备300的命中区302是等于或大于电子设备300的面积(例如，大10％、大20％、大30％等)的区域。在一些实施方案中，提供大于电子设备300的命中区302允许用户有误差容限，并且不需要表面310朝向电子设备300完美地倾斜。在一些实施方案中，命中区302具有滞后效应，这意味着命中区302的大小可在检测到表面310指向命中区302内时增加以及响应于检测到该表面指向该命中区内而增加(并且在表面310不指向命中区302内时大小减小)。在一些实施方案中，向命中区302提供滞后效应防止表面310的小取向变化“抖动”(例如，前后弹跳以免被认为是面向设备300和不面向设备300)。

如图3所示，电子设备300位于环境301中并且面向表面310。在一些实施方案中，如果电子设备300的在电子设备300的一侧(例如，设备的后侧，任选地与具有显示器的一侧相对的一侧，具有显示器的一侧以外的一侧)上的相机(例如，面向后方的相机，面向背面的相机)面向表面310，则电子设备300面向表面310。在一些实施方案中，如果电子设备300的相机能够捕获表面310的至少阈值量(例如，30％、50％、75％、90％等)或全部，则电子设备300面向表面310。在一些实施方案中，如果设备和/或设备的相机的“法向”角度(其取向由箭头304表示)指向表面312的命中区312内，则电子设备300面向表面310。在一些实施方案中，表面310的命中区312是大于表面310的面积(例如，大10％、大20％、大30％等)的区域。在一些实施方案中，提供大于表面310的命中区312允许用户有误差容限，并且不需要电子设备300朝向表面310完美地倾斜。在一些实施方案中，命中区312具有滞后效应，这意味着命中区312的大小可在检测到电子设备300指向命中区312内时增加以及响应于检测到该电子设备指向该命中区内而增加(并且在电子设备300不指向命中区312内时大小减小)。在一些实施方案中，向命中区312提供滞后效应防止电子设备300的小取向变化“抖动”(例如，前后弹跳以免被认为是面向表面310和不面向表面310)。

在一些实施方案中，电子设备300是头戴式设备，并且箭头304表示用户的注视方向(例如，使得在图3中，用户的注视被引导到表面312处)，而不是如上所述的设备300的相机。因此，如果用户的注视方向(例如，由一个或多个眼睛跟踪传感器捕获的方向)指向命中区312内，则用户的注视被引导到表面310。

如下文将更详细描述的，根据满足一个或多个标准的确定，设备300可经由显示生成部件显示一个或多个可选择选项(例如，菜单用户界面、控制用户界面元素、控制元素等)。在一些实施方案中，一个或多个标准另外或另选地包括当表面310面向电子设备300时满足的标准。在一些实施方案中，一个或多个标准另外或另选地包括当电子设备300面向表面310时满足的标准。在一些实施方案中，一个或多个标准另外或另选地包括当用户的注视被引导到表面310时满足的标准。

在一些实施方案中，表面310是手部的手掌，并且一个或多个标准另外或另选地包括当手部张开(例如，使得手掌是可视的并且可充当在其上或附近显示可选择选项的表面)时满足的标准。例如，如果用户的手部未张开，则设备可确定不存在在其上显示可选择选项的表面，并且因此不满足一个或多个标准(例如，不存在面向设备的表面)。在一些实施方案中，一个或多个标准包括标准的任何组合和任意数量的标准。例如，一个或多个标准可包括当手部张开(例如，表面是平面的)时满足的标准、当手部(例如，表面)相对于电子设备300以预先确定的方式取向时满足的标准、当手部面向在从手部指向电子设备的用户的向量的阈值度数内的方向时满足的标准、当由图像传感器检测到手部的预先确定的姿势时满足的标准以及/或者当用户的注视被引导到手部时满足的标准。在一些实施方案中，一个或多个标准包括当设备检测到由手部做出的手势时满足的标准，该手势包括使得手部的手掌张开并且面向设备。例如，如果设备检测到手部最初正背向设备(例如，手部的背面面向设备)，并且旋转使得手掌面向设备，则满足一个或多个标准。又如，如果设备检测到手部最初面向设备握持拳头手势然后张开使得手掌是张开的并面向设备，则满足一个或多个标准。因此，在一些实施方案中，一个或多个标准包括用户执行使得手部的手掌面向设备的预先确定的手势(例如，旋转手势或拳头张开手势)的要求。

应当理解，在如下所述的示例中，可选择选项可根据满足本文所述的标准的确定来显示。在一些实施方案中，响应于和/或根据不满足标准的确定，设备300放弃显示可选择选项(例如，停止显示可选择选项)。

图4A至图4D示出了根据本公开的一些实施方案的在表面404上显示可选择选项的方法。在图4A中，电子设备400(例如，类似于上述电子设备100、200和/或300)正在显示计算机生成的环境401(例如，计算机生成的环境)。如上所述，计算机生成的环境401可包括在电子设备400周围的物理世界中的对象的表示(例如，由电子设备400的一个或多个相机捕获或者被准许经由透明或半透明显示器对用户可见的对象的表示)。例如，计算机生成的环境401包括桌子402、表面404和手部408。在一些实施方案中，桌子402、表面404和手部408是电子设备400的一个或多个捕获设备能够捕获的电子设备400周围的物理环境中的桌子、表面和手部的表示。例如，手部408是电子设备的用户的手部，并且正在握持表面404(例如，剪贴板、纸、板、手部408的手掌等)，该表面是电子设备400周围的物理世界中的真实世界对象。在一些实施方案中，设备400使用设备400的一个或多个相机捕获用户的手部的图像并且在三维环境401中显示手部408。在一些实施方案中，手部408是用户的手部的照片真实感描绘或用户的手部的漫画或轮廓(例如，手部408是用户的手部的表示)。在一些实施方案中，设备400经由透明或半透明显示器被动地呈现手部408并且例如通过不主动地显示使手部408的视图模糊的虚拟对象而准许手部408可见。如本文所用，对物理对象诸如手部的引用可以指呈现在显示器上的物理对象的表示，或者如由透明或半透明显示器被动提供的物理对象本身。在一些实施方案中，计算机生成的环境401可显示一个或多个虚拟对象(例如，由计算机生成的环境401中的设备400生成并显示但不存在于设备400周围的物理环境(例如，真实世界环境)中的对象)。

在一些实施方案中，响应于确定满足一个或多个标准，设备400可在表面404上显示一个或多个可选择选项(例如，菜单用户界面、控制用户界面元素、控制元素等)。在一些实施方案中，一个或多个标准包括设备400面向表面404的标准和/或表面404面向设备400的标准。在图4A中，手部408正将表面404握持在物理世界中的位置处，使得电子设备400的一个或多个相机能够捕获表面404的至少一些或全部。因此，在一些实施方案中，设备400的一个或多个相机被确定为面向表面404，并且满足设备400面向表面404的标准。在图4A中，表面404面向设备400的右侧(例如，不直接面向设备400)，使得表面404面向设备400的命中区之外。因此，在图4A中，不满足表面404面向设备400的标准。在一些实施方案中，因为不满足表面404面向设备400的标准，所以设备400不在表面404上显示一个或多个可选择选项。

图4B示出了其中手部408已经旋转使得表面404现在面向设备400(例如，表面404的“法向”角度指向设备400的命中区内)的实施方案。因此，在图4B中，满足表面404面向设备400的标准。响应于确定满足设备400面向表面404的标准以及满足表面404面向设备400的标准两者，设备400在表面404上显示可选择选项406(例如，可选择选项406-1到406-6)。在一些实施方案中，显示可选择选项406包括在三维环境401中的位置处显示可选择选项406，使得可选择选项406看起来在表面404的表面上。在一些实施方案中，可选择选项406被显示为使得它们看起来悬浮在表面404上方(例如，在表面404上方1cm、1英寸、2英寸等)。

如图4B所示，设备400正在表面404上或附近显示可选择选项406-1到406-6(例如，按钮)。在一些实施方案中，可选择选项406-1到406-6对应于应用程序启动菜单(例如，控制用户界面元素)，其中对可选择选项406-1到406-6的选择使得相应应用程序在三维环境401中的启动和/或显示(例如，对相应应用程序的用户界面的显示)。在一些实施方案中，可选择选项406-1到406-6是相应应用程序的表示并且包括图标、图像、短视频、动画、或表示相应应用程序的其他图形。

在一些实施方案中，在表面404上显示可选择选项406之后，响应于检测到和/或确定不再满足用于显示可选择选项的一个或多个标准，可选择选项406被取消(例如，停止显示)。例如，如果手部408旋转使得表面404不再面向设备400，则可选择选项406被从显示器中移除。

在一些实施方案中，可选择选项406可包括任意数量的选项，并且不限于仅在本文所示的那些选项。在一些实施方案中，可选择选项406可包括可选择选项的多个“选项卡”或“页面”，使得用户可使用用户的手部(例如，除其上显示可选择选项的手部之外的手部或除正握持其上显示可选择选项的表面的手部之外的手部)执行向左或向右轻扫手势(任选地，同时使用任何两根手指诸如拇指和食指)执行捏合手势)以使得显示下一组可选择选项。例如，可选择选项406-1到406-6可对应于第一组(例如，第一“页面”)，并且响应于向右或向左轻扫，设备400可用另一组可选择选项(例如，与另一“页面”选项对应)来替换对可选择选项406-1到406-6的显示。

如上所述，表面404可以是任何类型的表面，任选地由手部408呈现。例如，表面404可以是手部408的手掌，使得如果手部408的手掌面向设备400，则在手部408的手掌上或其附近显示可选择选项406。还应当理解，可选择选项406不限于用于启动应用程序的选项，并且可以是任何类型的可选择选项，诸如用于显示子菜单的选项、用于改变系统设置的选项、用于使得对用户界面的显示的选项、用于改变三维环境401的视觉特性的选项等。此外，可选择选项406不需要是“按钮”，并且也可以是可操纵的控制元素，诸如旋钮、拨盘、滑动条等。

在图4C中，设备400检测到表面404已经在物理环境中移动(例如，由于手部408的移动)，使得表面404已经在三维环境401中向右移动到不同位置。在一些实施方案中，响应于检测到表面404的移动并且同时检测到表面404的移动，设备400移动可选择选项406以维持其在三维环境401中相对于表面404的相对位置。例如，在图4C中，可选择选项406已经向右移动以“跟随”表面404，使得可选择选项406保持显示在表面404处或其附近。因此，用户能够在三维环境401周围移动表面404，并且可选择选项406跟随表面404并且保持显示在表面404处或其附近(例如，同时保持满足一个或多个标准)。

在一些实施方案中，可选择选项406显示惯性效应，其中可选择选项406的移动可滞后于表面404的移动、加速然后赶上表面404。例如，在图4C中，当表面404向右移动时，可选择选项406可以比表面404向右移动的速度慢的速度向右移动。当表面404继续向右移动时，可选择选项406的向右移动的速度可增加(例如，加速)，使得可选择选项406可赶上表面404并且恢复它们在表面404上的原始相对位置。

在一些实施方案中，可选择选项406中的各个可选择选项可展现惯性效应，使得更靠近移动方向的选项具有与更远离移动方向的选项不同的移动行为。例如，在图4C中，作为右侧(例如，更靠近移动方向)上的选项的可选择选项406-2、406-4和406-6比可选择选项406-1、406-3和406-5更早和/或更快地向右移动，并且/或者以与可选择选项406-1、406-3和406-5不同的速率加速。

在图4D中，设备400检测到表面404已经旋转，使得表面404在三维环境401中不再被“向上”取向(例如，表面404现在是斜对角倾斜的)。在一些实施方案中，尽管表面404旋转，设备400仍维持可选择选项406的取向，如图4D所示。例如，可选择选项406仍然以与当表面404向上取向时相同的取向显示，并且可选择选项406仍然以与当表面404向上取向时相同的方式布置。在一些实施方案中，可选择选项406在基于环境的取向、手部408的取向、设备400的取向和/或表面404的取向的方向上被取向。例如，设备400可基于环境中的对象和/或设备400中的一个或多个传感器(例如，陀螺传感器等)来确定哪个方向是“上”以及哪个方向是“下”(例如，相对于地球、地板、环境、重力方向的上或下，以及/或者相对于设备面向的方向的下)。因此，基于对三维环境401的“上”和“下”方向的确定，设备400可显示可选择选项406，使得它们被取向在上下方向上(例如，没有相对于三维环境401的任何旋转)。因此，如图4D所示，表面404的旋转不会使得可选择选项406的类似旋转。

在一些实施方案中，可选择选项406响应于表面404的旋转而旋转。例如，可选择选项406可旋转，使得每个可选择选项维持在其在表面406上的相对位置处，但是继续面向“向上”(例如，图标的布置移位，但是图标本身的取向不旋转)。在一些实施方案中，图标的布置和图标的取向都可根据表面404的旋转而旋转。在一些实施方案中，可选择选项406的旋转可以是表面404的旋转的缩放量，使得可选择选项406不像表面404那样多地旋转(例如，表面404旋转30°导致可选择选项406旋转15°)。例如，可选择选项406可响应于表面404的旋转而稍微旋转，以提供表面404正旋转的视觉反馈，但是不足以使得对可选择选项406的定位的大的或突然的改变(例如，这可使得用户难以选择)。在一些实施方案中，缩放是固定的或动态的(例如，缩放系数改变使得相对旋转的量减小)。在一些实施方案中，可选择选项406上的旋转量可被封顶(例如，在旋转0°、旋转20°、旋转30°、旋转45°等处封顶)，使得如果表面404旋转超过一定量，则可选择选项406停止旋转并且维持在最大旋转角度。在一些实施方案中，可选择选项406可提供“橡胶带”效应，使得当可选择选项达到它们的最大旋转值时，响应于表面404的进一步旋转，可选择选项406将旋转稍微超过其最大值(例如1°、3°、5°、10°等)，但是当表面404停止旋转时返回到最大旋转值。

图5示出了根据本公开的一些实施方案的在与应用程序510相关联的表面504上显示可选择选项的方法。在图5中，设备500正在三维环境501中显示应用程序510的用户界面。在一些实施方案中，三维环境501类似于上述三维环境401(例如，包括桌子502)。在一些实施方案中，响应于选择可选择选项诸如表面404上的可选择选项406中的一个可选择选项而显示应用程序510(如下文将关于图6、图7和图8A至图8B更详细地描述的)。在一些实施方案中，根据在三维环境501中显示应用程序510的确定(并且任选地根据满足上述一个或多个标准的确定)，设备500显示与应用程序510相关联的可选择选项506(例如，可选择选项506-1到506-6是能够选择以执行与应用程序510相关联的操作的选项)。例如，如果应用程序510是正在播放媒体的媒体播放器应用程序，则可选择选项506-1到506-6可以是用于控制媒体回放(例如，暂停、倒回、快进等)的选项。

在一些实施方案中，表面504根据应用程序510具有当前焦点的确定来显示与应用程序510相关联的可选择选项(例如，与如图4A至图4D所述的用于启动应用程序的可选择选项或与另一应用程序相关联的可选择选项相反)。在一些实施方案中，如果设备500确定用户的注视被引导到应用程序510处(例如，看着应用程序510)，则应用程序510具有当前焦点。在一些实施方案中，如果用户最近的交互是与应用程序510的交互(例如，在某个时间阈值内，诸如10秒、30秒、1分钟、5分钟、10分钟等)，则应用程序510具有当前焦点。例如，如果用户已经执行了与应用程序510相关联的操作或者选择了与应用程序510相关联的可选择选项，则应用程序510被认为具有焦点(例如，持续阈值时间量，任选地直到用户的注视被引导到另一应用程序)。

在一些实施方案中，设备可实现用于用户的注视的“停留时间”。例如，为了使设备确定用户的注视被引导到特定对象或位置，用户的注视可能需要在该对象或位置处保持超过阈值时间量(例如，0.5秒、1秒、3秒等)。在一些实施方案中，另外或另选地，在用户的注视移动远离特定对象或位置之后，设备仍然可将用户的注视解释为被引导到用户先前正看着的对象或位置达阈值时间量，诸如0.5秒、1秒、3秒等。因此，在一些实施方案中，实现停留时间或以其他方式抑制对用户的注视的解释可防止用户的眼睛的快速且无意的移动而导致意外结果。在一些实施方案中，该“停留时间”还可在确定是否满足用于显示上文关于图4A至图4D所述的可选择选项的一个或多个标准时实现。在一些实施方案中，如果设备确定用户的注视被引导到另一对象或应用程序(任选地，如果用户的注视被引导到另一对象或应用程序达阈值时间量)，则“停留时间”可被过早地终止。

在一些实施方案中，在应用程序510不再具有当前焦点之后(例如，在用户停止看着应用程序510之后、在用户停止与应用程序510交互之后、在用户开始看着另一应用程序之后等)，设备500停止对可选择选项506的显示，并且任选地用不与应用程序510相关联的选项(例如，用于启动应用程序的选项或与另一应用程序相关联的选项)替换对可选择选项506的显示。在一些实施方案中，设备500继续显示与应用程序510相关联的可选择选项506(例如，甚至在应用程序510不再具有当前焦点之后)，直到用户执行取消可选择选项506的输入或手势(例如，用户移动手部508使得表面504不再面向设备500)为止。在此类实施方案中，如果用户执行使得可选择选项重新显示在表面504上的输入或手势(例如，用户移动手部508使得表面504再次面向设备500)，则可选择选项可以是与另一应用程序相关联的选项(例如，如果用户正看着另一应用程序)、与应用程序510相关联的选项(例如，如果用户仍然看着应用程序510)或者不与特定应用程序相关联的选项，诸如用于启动应用程序的选项(例如，如果用户不在看特定应用程序)。因此，在一些实施方案中，显示在面504上的可选择选项可以是“粘性的”，并且当可选择选项被初始显示时是固定的，并且直到下一次可选择选项被显示在表面504上时(例如，在取消之后)才改变。在一些实施方案中，显示在表面504上的可选择选项是动态的并且基于具有当前焦点的应用程序而改变。

在一些实施方案中，当在三维环境中显示可选择选项时，用户能够通过用其一只或多只手执行一个手势或多个手势来激活(例如，执行)可选择选项。在一些实施方案中，与可选择选项的交互可被分类为直接操纵交互和间接操纵交互。直接操纵交互可包括将手部移动到使得手部能够直接与可选择选项交互的位置(例如，手部处于使得手部在三维环境中看起来正触摸可选择选项的位置处，或者在距可选择选项的阈值距离内)。间接操纵交互可包括通过在用户的注视被引导到特定可选择选项时(任选地在用户的手部距可选择选项比阈值距离更远时)用用户的一只或两只手执行一个手势或多个手势来操纵可选择选项。因此，用户能够经由间接操纵与可选择选项交互，而不需要用户触及相应可选择选项。如上所述，直接操纵可选择选项或间接操纵可选择选项向设备提供对用户正在请求操纵哪个可选择选项(例如，用户已经选择了哪个可选择选项)的指示。

在一些实施方案中，响应于检测到由用户的一只或两只手做出的特定手势或多个手势而执行对特定可选择选项的执行。在一些实施方案中，相同手势被识别为执行可选择选项的请求，而不管操纵是直接的还是间接的。在一些实施方案中，当操纵是直接的而不是间接的时，需要不同的手势来使得对可选择选项的执行。在一些实施方案中，执行所选择的可选择选项的请求包括捏合手势(任选地不需要除捏合手势之外的任何其他手势)。在一些实施方案中，执行所选择的可选择选项的请求包括捏合手势，随后是手部释放可选择选项的移动(例如，向上释放选项、向前释放选项、将可选择选项投掷或扔进空中或向前等)。在一些实施方案中，执行所选择的可选择选项的请求包括由手指做出的轻击手势。在一些实施方案中，执行所选择的可选择选项的请求包括由手指做出的指向手势(例如，任选地持续超过阈值时间量，诸如0.5秒、1秒、3秒、5秒等)。在一些实施方案中，响应于检测到捏合手势而执行所选择的可选择选项。在一些实施方案中，响应于检测到捏合手势的释放(例如，在维持捏合手势时检测到手部的移动然后释放捏合手势之后)而执行可选择选项。

图6示出了根据本公开的一些实施方案的选择可选择选项的方法。在图6中，电子设备600正在显示类似于三维环境401和501的三维环境601，包括桌子602。在图6中，当设备600在表面604上显示可选择选项606(例如，可选择选项606-1到606-6)时，设备600检测由手部608(例如，用户的手部)执行的手势，该手势与在用户的注视610被引导到可选择选项606-5时执行所选择的可选择选项的请求对应。在一些实施方案中，手部608在三维环境601中可见。在一些实施方案中，手部608在三维环境601中不可见，但是其位置和/或取向经由手部跟踪设备来跟踪。在一些实施方案中，手部608是与正握持表面604的手部不同的手部。在一些实施方案中，手部608是与正握持表面604(例如，用户将表面604放置在三脚架上)的手部相同的手部。在一些实施方案中，表面604是手部608的手掌，并且可选择选项606被显示在用户的手部608的手掌上，并且当用户的注视610被引导到可选择选项606-5处时，用户执行于选择命令对应的相应手势。在一些实施方案中，相应手势是手部608的拇指与食指之间的捏合手势。在一些实施方案中，相应手势是指向手势或轻弹手势。在一些实施方案中，相应手势可以是被预先确定为对应于执行所选择的可选择选项的请求的任何其他手势。在一些实施方案中，响应于在注视610被引导到可选择选项606-5处时检测到与执行所选择的可选择选项的请求对应的手势，设备600执行与可选择选项606-5相关联的操作。例如，应用程序的启动或显示，或者与应用程序相关联的操作的执行。

在一些实施方案中，如果用户的注视聚焦在可选择选项606-5的边界内或距可选择选项606-5的阈值距离内(例如，在1cm、1英寸、6英寸等内)，则设备600确定用户正注视可选择选项606-5处。在一些实施方案中，可选择选项可具有展现滞后效应的“命中框”，类似于上文在图3中关于设备300和表面310所述的命中框。

在一些实施方案中，响应于确定用户的注视610被引导到可选择选项(例如，可选择选项606-5)，与用户没有注视的其他可选择选项相比，电子设备可在视觉上强调或区分相应可选择选项。例如，在图6中，可选择选项606-5可被显示得更大、高亮或以其他方式在视觉上被强调。因此，如果用户要执行选择手势，则设备能够指示将执行哪个可选择选项。

在一些实施方案中，响应于检测到注视610被引导到可选择选项606-5，设备可显示该可选择选项的一个或多个文本描述。例如，设备可在可选择选项606-5下方显示可选择选项606-5的名称或标签。在一些实施方案中，设备可在它们相应可选择选项下方显示所有可选择选项的名称或标签。因此，在一些实施方案中，设备最小化视觉混乱直到用户指示对可选择选项感兴趣为止，此时，提供附加描述性信息以识别可选择选项。

因此，如图6所示，用户能够使用使得可选择选项606被显示的相同手部来执行或以其他方式选择可选择选项606-5。在一些实施方案中，选择可选择选项606的其他方法是可能的。例如，用户能够使用除握持表面604的手部之外的手部(例如，用户的右手)来选择可选择选项。在一些实施方案中，用户能够使用手部在物理环境中的与三维环境601中的可选择选项相关联的位置处执行手势。例如，用户能够用他或她右手触及并执行捏合手势，使得在三维环境601中，看起来好像用户正在用右手捏合可选择选项，以使得执行与可选择选项相关联的操作(例如，直接操纵捏合手势)。

在一些实施方案中，在接收到选择可选择选项的输入之后以及/或者响应于执行相应可选择选项，设备停止对可选择选项606的显示。例如，响应于用户选择，设备可启动应用程序并且停止对可选择选项的显示(直到设备检测到再次满足用于使得对可选择选项的显示的一个或多个标准为止)。在一些实施方案中，可选择选项606在选择可选择选项之后保持显示(例如，使得用户能够进一步选择选项)。

图7示出了根据本公开的一些实施方案的从表面分离可选择选项706的方法。在图7中，电子设备700正在显示类似于三维环境401、501和601的三维环境701，包括桌子704。在图7中，可选择选项706被显示在三维环境701中不与表面(例如，表面310、404、504、604)相关联的位置处(例如，在桌子704的前面)。在一些实施方案中，响应于检测到由用户的手部做出的与将可选择选项706与表面解除关联的请求对应的相应手势，可选择选项706可与先前在其上显示的表面解除关联并且在与该表面分离的三维环境701中显示。在一些实施方案中，相应手势包括以类似于将可选择选项706推离表面(例如，或手部的手掌)的方式的用户的手部的旋转和/或取向改变(例如，60度旋转、75度旋转、90度旋转、120度旋转等)。在一些实施方案中，相应手势包括手部的旋转和移动(例如，旋转手部使得可选择选项不再漂浮在手部的顶部上，以及推动移动，诸如将可选择选项推离手部)。在一些实施方案中，响应于检测到相应手势，设备500将可选择选项706与它们先前被显示在其上的表面解除关联，并且将可选择选项706维持在三维环境701中的位置处(例如，漂浮在空中)，如图7所示。因此，响应于相应手势或多个手势(例如，旋转之后是推动移动)，设备700在三维环境701中显示一个或多个可选择选项(任选地在空间中漂浮并且不附接到特定表面或对象)。在一些实施方案中，当可选择选项706不与表面相关联时，可选择选项保持显示在固定位置处并且不响应于用户的手部和/或表面的移动而移动。在一些实施方案中，响应于与取消对可选择选项的显示的请求对应的用户输入(例如，选择可选择选项，诸如“退出”示能表示，以停止对可选择选项的显示，或执行与取消对可选择选项的显示的请求对应的预先确定的手势)，取消可选择选项。

在一些实施方案中，在将可选择选项706与表面解除关联之后，用户能够使用显示选项的相同手部(例如，使用握持显示选项的表面的相同手部)来选择和/或执行可选择选项，如图7所示。在一些实施方案中，用户能够使用手部708在物理环境中的使得其看起来好像用户正在三维环境701中的可选择选项706-5上轻击(例如，或在可选择选项706-5的阈值距离内的位置处轻击，诸如0.5英寸、1英寸、3英寸、6英寸等)的位置处执行“按压”手势(例如，指向或轻击手势)。在一些实施方案中，响应于检测到在可选择选项706-5上执行所选择的可选择选项的请求，设备700执行与可选择选项706-5相关联的操作。在一些实施方案中，执行所选择的可选择选项的请求包括如上所述的按压或轻击手势、使得其看起来好像用户正在三维环境701中捏合可选择选项706-5(例如，或在可选择选项706-5的阈值距离内捏合，诸如0.5英寸、1英寸、3英寸、6英寸等)的位置处的捏合手势或者在用户的注视被引导到可选择选项706-5时的捏合手势(例如，不在看起来好像用户正在捏合可选择选项706-5的位置处)。因此，用户能够执行直接选择(例如，触及并与选项交互)或间接选择(例如，在看着选项时执行手势，而不触及到选项)。

在一些实施方案中，在将可选择选项706从表面分离(例如，解除关联)之后，用户能够执行一个或多个手势(或选择相应可选择选项)以使得可选择选项706被重新附接到表面(或被附接到另一表面)。在一些实施方案中，将可选择选项706重新附接到表面(例如，诸如表面604)使得可选择选项706随后随表面移动以及/或者使得可选择选项706响应于不再满足一个或多个标准而被取消。

图8A至图8B示出了根据本公开的一些实施方案的选择可选择选项806-6的方法。在图8A中，设备800正在显示三维环境801(例如，类似于三维环境401、501、601和701)，包括桌子804和可选择选项806。在一些实施方案中，可选择选项806已经与表面解除关联，并且被显示在三维环境801中与相应表面分离的位置处(例如，以上文关于图7所讨论的方式)。

在图8A中，当用户的注视810被引导到可选择选项806-5时，设备800检测到手部808执行与使可选择选项806-5更靠近手部808的请求对应的相应手势。在一些实施方案中，用户可能希望执行可选择选项806-5的直接操纵(例如，当可选择选项806-5处于用户的手部处时)而不是可选择选项806-5的间接操纵(例如，当可选择选项806-5不处于用户的手部处时)，而不将手部808触及与可选择选项806-5相关联的位置。因此，在一些实施方案中，用户能够执行相应手势，诸如捏合手势，随后是拉动或拖拽手势(例如，向上且朝向用户旋转手部808)，并且设备800将手势(例如，一系列或多个移动)识别为将用户当前正注视的选择选项(例如，可选择选项806-5)移动到手部808的请求。因此，响应于检测到手部808已经执行相应手势，设备800将可选择选项806-5移动到三维环境801中与手部808相关联的位置，如图8B所示。例如，可选择选项806-5被移动到用户的手指或者到用户的捏合位置，或以其他方式移动到使得用户能够直接操纵可选择选项806-5而无需将手部808移动得更靠近或更远离可选择选项806-5(例如，用户能够执行捏合或轻击手势以使得可选择选项806-5的执行)的位置。

在一些实施方案中，当可选择选项806-5处于用户的手部的位置处时，用户能够执行直接操纵操作，诸如轻击或捏合手势以执行可选择选项806-5，或者用户能够在维持轻击或捏合手势时通过移动手部808来移动可选择选项806-5。在一些实施方案中，在维持选择输入时移动手部808使得可选择选项806-5与手部808一起移动并且维持其相对于手部808的相对位置。因此，在可选择选项806-5移动到用户的手部的位置之后，用户能够通过选择可选择选项806-5并且执行捏合手势(例如，作为使可选择选项806-5更靠近手部808的请求的一部分，手部已任选地执行捏合手势)随后是释放运动(诸如，手部的向前和/或向上运动)来使得执行可选择选项806-5，同时释放捏合手势被设备800识别为执行与可选择选项806-5相关联的操作的请求。

图9是示出根据本公开的一些实施方案的在表面上显示可选择选项的方法900的流程图。当在上文参考图3、图4A至图4D、图5、图6、图7和图8A至图8B所述的表面上显示可选择选项时，方法900任选地在电子设备诸如设备100和设备200处执行。方法900中的一些操作任选地被组合(例如，彼此组合或与方法1000中的操作组合)，以及/或者一些操作的顺序任选地被改变。如下所述，方法900提供根据本公开的实施方案的在表面上显示可选择选项的方法(例如，如上文关于图3至图8B所讨论的)。

在一些实施方案中，与显示生成部件(例如，与电子设备集成的显示器(任选地，触摸屏显示器)和/或外部显示器，诸如监视器、投影仪、电视等)和一个或多个输入设备(例如，触摸屏、鼠标(例如，外部)、触控板(任选地，集成或外部)、触摸板(任选地，集成或外部)、远程控制设备(例如，外部)、另一移动设备(例如，与电子设备分开)、手部持式设备(例如，外部)、控制器(例如，外部)、相机(例如，可见光相机)、深度传感器和/或运动传感器(例如，手部跟踪传感器、手部运动传感器)等)通信的电子设备(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)、计算机等，诸如设备100和/或设备200)经由显示生成部件呈现(902)计算机生成的环境，诸如图4A至图4D中的计算机生成的环境401。在一些实施方案中，当呈现计算机生成的环境时，电子设备确定(904)已经满足一个或多个标准，包括计算机生成的环境中的手部面向相应方向(例如，以类似于图4B中的表面404面向设备400的方式)的要求。在一些实施方案中，根据已经满足一个或多个标准的确定，电子设备经由显示生成部件在计算机生成的环境中与手部相关联的位置处显示(904)控制用户界面元素，诸如包括图4B中的可选择选项406-1到406-6的菜单。在一些实施方案中，菜单包括其中显示可选择选项的用户界面元素。在一些实施方案中，菜单包括可选择选项的集合，并且不包括显示用于可选择选项的集合的容器对象。

在一些实施方案中，计算机生成的环境包括与电子设备的用户对应的第一位置，并且相应方向是朝向该第一位置。例如，该标准包括手部面向用户、面向用户的脸部、面向电子设备、面向电子设备的一个或多个相机等的要求。

在一些实施方案中，一个或多个标准包括在计算机生成的环境中用户的注视被引导到手部处的要求。在一些实施方案中，当用户的注视的焦点在计算机生成的环境中的手部周围的区域内(例如，在手部的“命中区域”内，类似于图3中的命中区312)时，满足在计算机生成的环境中用户的注视被引导到手部处的要求。

在一些实施方案中，根据控制用户界面元素被显示在计算机生成的环境中的确定，手部周围的区域是第一大小，并且根据控制用户界面元素未被显示在计算机生成的环境中的确定，手部周围的区域是小于该第一大小的第二大小(例如，手部的“命中区域”展现出滞后效应)。

在一些实施方案中，一个或多个标准包括手部包括张开手掌的要求和手掌面向相应方向的要求。在一些实施方案中，控制用户界面元素包括能够选择以执行相应操作的多个示能表示，诸如图4B中的可选择选项406-1到406-6。在一些实施方案中，多个示能表示能够选择以在计算机生成的环境中显示相应应用程序，诸如图5中的应用程序510。

在一些实施方案中，计算机生成的环境包括第一应用程序诸如图5中的应用程序510的第一用户界面。在一些实施方案中，根据满足一个或多个应用程序焦点标准的确定，多个示能表示能够选择以执行与第一应用程序相关联的相应操作，诸如可选择选项506-1到506-6能够选择以执行与图5中的应用程序510相关联的操作。在一些实施方案中，根据不满足一个或多个应用程序焦点标准的确定，多个示能表示不能够选择来执行与第一应用程序相关联的相应操作，诸如图4B中不能够选择来启动相应应用程序的可选择选项406-1到406-6。

在一些实施方案中，一个或多个应用程序焦点标准包括以下中的一者或多者：最近的用户输入在显示控制用户界面元素之前的阈值时间量内被引导到第一应用程序处的要求，和用户的注视在显示控制用户界面元素之前的阈值时间量内被引导到第一应用程序处的要求。

在一些实施方案中，电子设备在计算机生成的环境中呈现手部，包括呈现物理环境的包括手部的一部分。在一些实施方案中，控制用户界面元素的取向基于计算机生成的环境中的一个或多个对象的取向，诸如上文在图4D中所述的。

在一些实施方案中，当在计算机生成的环境中与手部相关联的位置处显示控制用户界面元素时，电子设备检测手部的移动，诸如在图4C中。在一些实施方案中，根据手部的移动满足一个或多个移动标准的确定，电子设备根据手部的移动来移动控制用户界面元素，诸如在图4C中。

在一些实施方案中，根据手部的移动满足不同于一个或多个移动标准的一个或多个解除关联标准的确定，电子设备在计算机生成的环境中不与手部相关联的位置处显示控制用户界面元素，其中控制用户界面元素不响应于检测到手部的移动而移动，诸如在图7中。

在一些实施方案中，当根据手部的移动来移动控制用户界面元素时，至少基于手部的移动来改变控制用户界面元素中的元素之间的间距，诸如上文关于图4C和图4D所述的。

图10是示出根据本公开的一些实施方案的选择可选择选项的方法1000的流程图。当在上文参考图3、图4A至图4D、图5、图6、图7和图8A至图8B所述的表面上显示可选择选项时(例如，方法900)，方法1000任选地在电子设备诸如设备100和设备200处执行。方法1000中的一些操作任选地被组合(例如，彼此组合或与方法900中的操作组合)，以及/或者一些操作的顺序任选地被改变。如下所述，方法1000提供根据本公开的实施方案的选择可选择选项的方法(例如，如上文关于图3至图8B所讨论的)。

在一些实施方案中，与显示生成部件(例如，与电子设备集成的显示器(任选地，触摸屏显示器)和/或外部显示器，诸如监视器、投影仪、电视等)和一个或多个输入设备(例如，触摸屏、鼠标(例如，外部)、触控板(任选地，集成或外部)、触摸板(任选地，集成或外部)、远程控制设备(例如，外部)、另一移动设备(例如，与电子设备分开)、手部持式设备(例如，外部)、控制器(例如，外部)、相机(例如，可见光相机)、深度传感器和/或运动传感器(例如，手部跟踪传感器、手部运动传感器)等)通信的电子设备(例如，移动设备(例如，平板电脑、智能电话、媒体播放器或可穿戴设备)、计算机等，诸如设备100和/或设备200)经由显示生成部件呈现(1002)计算机生成的环境，诸如图4A至图4D中的计算机生成的环境401。在一些实施方案中，计算机生成的环境包括电子设备的用户的第一手部(1004)以及在与第一手部相关联的第一位置处的一个或多个控制元素(1006)，诸如图4B中的手部408和可选择选项406-1到406-6。在一些实施方案中，在呈现计算机生成的环境时，电子设备检测(1008)来自第一手部的多个(例如，一系列)用户输入，诸如图6中的选择手势以及图7中的用于分离可选择选项的手势以及随后的选择手势。在一些实施方案中，根据多个用户输入满足一个或多个激活标准的确定(例如，用户正注视相应选项，多个用户输入包括在其上显示可选择选项的相同手部的选择手势，并且/或者多个用户输入包括在注视相应选项时将可选择选项与手部分离随后是选择手势的请求)，电子设备致动(1010)一个或多个控制元素中的相应控制元素，诸如图6和图7中。在一些实施方案中，根据多个用户输入不满足一个或多个激活标准的确定，电子设备放弃(1012)致动相应控制元素。

在一些实施方案中，在检测到多个用户输入之前，一个或多个控制元素被配置成处于附接模式，其中该一个或多个控制元素根据用户的第一手部的移动而移动，诸如图4B至图4D中。在一些实施方案中，一个或多个激活标准包括以下要求：多个用户输入包括由用户的第一手部做出的与分离操作对应的第一手势以及在该第一手势之后的与被引导到一个或多个控制元素中的相应控制元素的选择操作对应的第二手势，诸如在图7中。在一些实施方案中，响应于检测到由用户的第一手部做出的第一手势，电子设备将一个或多个控制元素配置成处于分离模式，其中一个或多个控制移动不根据用户的第一手部的移动而移动，诸如在图7中。

在一些实施方案中，一个或多个激活标准包括多个用户输入包括由用户的第一手部做出的与选择操作对应的第一手势的要求，诸如图6和图7中的捏合手势。在一些实施方案中，第一手势是由第一手部做出的捏合手势，诸如在图6和图7中。在一些实施方案中，一个或多个激活标准还包括用户的注视被引导到一个或多个控制元素中的相应控制元素处的要求，诸如图6中的注视610。

在一些实施方案中，在致动一个或多个控制元素中的相应控制元素之前，电子设备检测到用户的注视不再被引导到相应控制元素。在一些实施方案中，响应于检测到用户的注视不再被引导到相应控制元素，电子设备放弃致动该相应控制元素。例如，如果电子设备在接收到选择输入时检测到用户已经将他或她的注视从相应可选择选项移开，则电子设备不致动该可选择选项。

在一些实施方案中，在致动一个或多个控制元素中的相应控制元素之前，电子设备将相应控制元素移动到与第一手部的捏合手势相关联的位置，诸如在任选地致动图8B中的可选择选项606-5之前朝向手部808移动可选择选项606-5。

出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。

Claims (41)

1.一种方法，所述方法包括：

在与显示器通信的电子设备处：

经由所述显示器呈现计算机生成的环境；

当呈现所述计算机生成的环境时，确定已经满足一个或多个标准，包括所述计算机生成的环境中的手部相对于所述电子设备以预先确定的方式取向的要求；以及

根据已经满足所述一个或多个标准的所述确定，经由所述显示器在所述计算机生成的环境中与确定的所述手部被取向的所述预先确定的方式相关联的位置处显示控制用户界面元素。

2.根据权利要求1所述的方法，其中所述计算机生成的环境包括与所述电子设备的用户对应的第一位置，并且所述手部以所述预先确定的方式的所述取向朝向所述第一位置。

3.根据权利要求1和2中任一项所述的方法，其中所述计算机生成的环境包括与所述电子设备的用户对应的第一位置，并且所述手部以所述预先确定的方式的所述取向在从所述手部指向所述第一位置的向量的阈值度数内。

4.根据权利要求1至3中任一项所述的方法，其中所述一个或多个标准包括在所述计算机生成的环境中所述用户的注视被引导到所述手部处的要求。

5.根据权利要求1至4中任一项所述的方法，其中已经满足所述一个或多个标准的所述确定包括经由图像传感器确定所述手部在所述计算机生成的环境内的预先确定的姿势。

6.根据权利要求4所述的方法，其中当所述用户的所述注视的焦点在所述计算机生成的环境中所述手部周围的区域内时，满足在所述计算机生成的环境中所述用户的所述注视被引导到所述手部处的所述要求。

7.根据权利要求6所述的方法，其中：

根据所述控制用户界面元素被显示在所述计算机生成的环境中的确定，所述手部周围的所述区域是第一大小；并且

根据所述控制用户界面元素未被显示在所述计算机生成的环境中的确定，所述手部周围的所述区域是小于所述第一大小的第二大小。

8.根据权利要求1至7中任一项所述的方法，其中所述一个或多个标准包括所述手部包括张开手掌的要求和所述手掌相对于所述电子设备以所述预先确定的方式取向的要求。

9.根据权利要求1至8中任一项所述的方法，其中所述控制用户界面元素包括能够选择以执行相应操作的多个示能表示。

10.根据权利要求9所述的方法，其中所述多个示能表示能够选择以在所述计算机生成的环境中显示相应应用程序。

11.根据权利要求9和10中任一项所述的方法，还包括：

当在所述计算机生成的环境中与所述手部相关联的所述位置处显示所述控制用户界面元素时：

检测用户的注视，以及

检测来自所述手部的多个用户输入；以及

根据所述用户的所述注视被引导到来自所述多个示能表示的示能表示处的确定，并且根据来自所述手部的所述多个用户输入满足一个或多个选择标准的确定，选择所述示能表示。

12.根据权利要求9所述的方法，其中：

所述计算机生成的环境包括第一应用程序的第一用户界面；

根据满足一个或多个应用程序焦点标准的确定，所述多个示能表示能够选择以执行与所述第一应用程序相关联的相应操作；并且

根据不满足所述一个或多个应用程序焦点标准的确定，所述多个示能表示不能够选择来执行与所述第一应用程序相关联的相应操作。

13.根据权利要求12所述的方法，其中所述一个或多个应用程序焦点标准包括以下中的一者或多者：

最近的用户输入在显示所述控制用户界面元素之前的阈值时间量内被引导到所述第一应用程序处的要求，和

所述用户的注视在显示所述控制用户界面元素之前的阈值时间量内被引导到所述第一应用程序处的要求。

14.根据权利要求1至13中任一项所述的方法，还包括：

在所述计算机生成的环境中呈现所述手部，包括呈现所述物理环境的包括所述手部的一部分。

15.根据权利要求1至14中任一项所述的方法，其中所述控制用户界面元素的取向基于所述计算机生成的环境中的一个或多个对象的取向。

16.根据权利要求1至15中任一项所述的方法，还包括：

当在所述计算机生成的环境中与所述手部相关联的所述位置处显示所述控制用户界面元素时，检测所述手部的移动；以及

根据所述手部的所述移动满足一个或多个移动标准的确定，根据所述手部的所述移动来移动所述控制用户界面元素。

17.根据权利要求16所述的方法，还包括：

根据所述手部的所述移动满足不同于所述一个或多个移动标准的一个或多个解除关联标准的确定，在所述计算机生成的环境中不与所述手部相关联的位置处显示所述控制用户界面元素，其中所述控制用户界面元素不响应于检测到所述手部的移动而移动。

18.根据权利要求16和17中任一项所述的方法，还包括：

当根据所述手部的所述移动来移动所述控制用户界面元素时，至少基于所述手部的所述移动来改变所述控制用户界面元素中的元素之间的间距。

19.一种电子设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行以下操作的指令：

经由显示器呈现计算机生成的环境；

当呈现所述计算机生成的环境时，确定已经满足一个或多个标准，包括所述计算机生成的环境中的手部相对于所述电子设备以预先确定的方式取向的要求；以及

根据已经满足所述一个或多个标准的所述确定，经由所述显示器在所述计算机生成的环境中与确定的所述手部被取向的所述预先确定的方式相关联的位置处显示控制用户界面元素。

20.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的一个或多个处理器执行时，使得所述电子设备：

经由显示器呈现计算机生成的环境；

当呈现所述计算机生成的环境时，确定已经满足一个或多个标准，包括所述计算机生成的环境中的手部相对于所述电子设备以预先确定的方式取向的要求；以及

根据已经满足所述一个或多个标准的所述确定，经由所述显示器在所述计算机生成的环境中与确定的所述手部被取向的所述预先确定的方式相关联的位置处显示控制用户界面元素。

21.一种电子设备，包括：

一个或多个处理器；

存储器；

用于经由显示器呈现计算机生成的环境的装置；

用于当呈现所述计算机生成的环境时，确定已经满足一个或多个标准的装置，所述一个或多个标准包括所述计算机生成的环境中的手部相对于所述电子设备以预先确定的方式取向的要求；以及

用于根据已经满足所述一个或多个标准的所述确定，经由所述显示器在所述计算机生成的环境中与确定的所述手部被取向的所述预先确定的方式相关联的位置处显示控制用户界面元素的装置。

22.一种用于在电子设备中使用的信息处理装置，所述信息处理装置包括：

用于经由显示器呈现计算机生成的环境的装置；

用于当呈现所述计算机生成的环境时，确定已经满足一个或多个标准的装置，所述一个或多个标准包括所述计算机生成的环境中的手部相对于所述电子设备以预先确定的方式取向的要求；以及

用于根据已经满足所述一个或多个标准的所述确定，经由所述显示器在所述计算机生成的环境中与确定的所述手部被取向的所述预先确定的方式相关联的位置处显示控制用户界面元素的装置。

23.一种电子设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至18所述的方法中的任一种方法的指令。

24.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的一个或多个处理器执行时，使得所述电子设备执行根据权利要求1至18所述的方法中的任一种方法。

25.一种电子设备，包括：

一个或多个处理器；

存储器；以及

用于执行根据权利要求1至18所述的方法中的任一种方法的装置。

26.一种用于在电子设备中使用的信息处理装置，所述信息处理装置包括：

用于执行根据权利要求1至18所述的方法中的任一种方法的装置。

27.一种方法，所述方法包括：

在与显示器通信的电子设备处：

经由所述显示器呈现计算机生成的环境，所述计算机生成的环境包括：

所述电子设备的用户的第一手部，和

在与所述第一手部相关联的第一位置处的一个或多个控制元素；

当呈现所述计算机生成的环境时，检测来自所述第一手部的多个用户输入；

根据所述多个用户输入满足一个或多个激活标准的确定，

致动所述一个或多个控制元素中的相应控制元素；以及

根据所述多个用户输入不满足所述一个或多个激活标准的确定，放弃致动所述相应控制元素。

28.根据权利要求27所述的方法，其中：

在检测到所述多个用户输入之前，所述一个或多个控制元素被配置成处于附接模式，其中所述一个或多个控制元素根据所述用户的所述第一手部的移动而移动；并且

所述一个或多个激活标准包括以下要求：所述多个用户输入包括由所述用户的所述第一手部做出的与分离操作对应的第一手势以及在所述第一手势之后的与被引导到所述一个或多个控制元素中的所述相应控制元素的选择操作对应的第二手势，所述方法还包括：

响应于检测到由所述用户的所述第一手部做出的所述第一手势，将所述一个或多个控制元素配置成处于分离模式，其中所述一个或多个控制元素不根据所述用户的所述第一手部的所述移动而移动。

29.根据权利要求27和28中任一项所述的方法，其中：

所述一个或多个激活标准包括所述多个用户输入包括由所述用户的所述第一手部做出的与选择操作对应的第一手势的要求。

30.根据权利要求29所述的方法，其中：

所述第一手势是由所述第一手部做出的捏合手势。

31.根据权利要求29和30中任一项所述的方法，其中：

所述一个或多个激活标准还包括所述用户的注视被引导到所述一个或多个控制元素中的所述相应控制元素处的要求。

32.根据权利要求31所述的方法，还包括：

在致动所述一个或多个控制元素中的所述相应控制元素之前，检测所述用户的所述注视不再被引导到所述相应控制元素处；以及

响应于检测到所述用户的所述注视不再被引导到所述相应控制元素处，放弃致动所述相应控制元素。

33.根据权利要求31所述的方法，还包括：

在致动所述一个或多个控制元素中的所述相应控制元素之前，将所述相应控制元素移动到与所述第一手部的所述捏合手势相关联的位置。

34.一种电子设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行以下操作的指令：

经由显示器呈现计算机生成的环境，所述计算机生成的环境包括：

所述电子设备的用户的第一手部，和

在与所述第一手部相关联的第一位置处的一个或多个控制元素；

当呈现所述计算机生成的环境时，检测来自所述第一手部的多个用户输入；

根据所述多个用户输入满足一个或多个激活标准的确定，致动所述一个或多个控制元素中的相应控制元素；以及

根据所述多个用户输入不满足所述一个或多个激活标准的确定，放弃致动所述相应控制元素。

35.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的一个或多个处理器执行时，使得所述电子设备：

经由显示器呈现计算机生成的环境，所述计算机生成的环境包括：

所述电子设备的用户的第一手部，和

在与所述第一手部相关联的第一位置处的一个或多个控制元素；

当呈现所述计算机生成的环境时，检测来自所述第一手部的多个用户输入；

根据所述多个用户输入满足一个或多个激活标准的确定，致动所述一个或多个控制元素中的相应控制元素；以及

根据所述多个用户输入不满足所述一个或多个激活标准的确定，放弃致动所述相应控制元素。

36.一种电子设备，包括：

一个或多个处理器；

存储器；

用于经由显示器呈现包括以下项的计算机生成的环境的装置：

所述电子设备的用户的第一手部，和

在与所述第一手部相关联的第一位置处的一个或多个控制元素；

用于当呈现所述计算机生成的环境时，检测来自所述第一手部的多个用户输入的装置；

用于根据所述多个用户输入满足一个或多个激活标准的确定，致动所述一个或多个控制元素中的相应控制元素的装置；以及

用于根据所述多个用户输入不满足所述一个或多个激活标准的确定，放弃致动所述相应控制元素的装置。

37.一种用于在电子设备中使用的信息处理装置，所述信息处理装置包括：

用于经由显示器呈现包括以下项的计算机生成的环境的装置：

所述电子设备的用户的第一手部，和

在与所述第一手部相关联的第一位置处的一个或多个控制元素；

用于当呈现所述计算机生成的环境时，检测来自所述第一手部的多个用户输入的装置；

用于根据所述多个用户输入满足一个或多个激活标准的确定，致动所述一个或多个控制元素中的相应控制元素的装置；以及

用于根据所述多个用户输入不满足所述一个或多个激活标准的确定，放弃致动所述相应控制元素的装置。

38.一种电子设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求27至33所述的方法中的任一种方法的指令。

39.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的一个或多个处理器执行时，使得所述电子设备执行根据权利要求27至33所述的方法中的任一种方法。

40.一种电子设备，包括：

一个或多个处理器；

存储器；以及

用于执行根据权利要求27至33所述的方法中的任一种方法的装置。

41.一种用于在电子设备中使用的信息处理装置，所述信息处理装置包括：

用于执行根据权利要求27至33所述的方法中的任一种方法的装置。

Images