CN117561492A - 用于基于用户输入和注视来改变显示的方法和系统 - Google Patents

Abstract

在一种具体实施中，一种激活用户界面元素的方法由包括输入设备、眼动跟踪器、显示器、一个或多个处理器和非暂态存储器的设备执行。该方法包括在显示器上显示多个用户界面元素，以及经由输入设备接收与输入位置相对应的用户输入。该方法包括使用眼动跟踪器确定注视位置。该方法包括：响应于确定输入位置与注视位置相距至少阈值距离，激活注视位置处的第一用户界面元素；以及响应于确定不是相距至少阈值距离，激活输入位置处的第二用户界面元素。

Description

用于基于用户输入和注视来改变显示的方法和系统

相关申请的交叉引用

本申请要求于2021年6月28日提交的美国临时专利申请63/215,872号的优先权，该美国临时专利申请据此全文以引用方式并入。

技术领域

本公开整体涉及用于基于用户输入和注视来改变显示的系统、方法和设备。

背景技术

在各种具体实施中，电子设备包括多个输入设备。电子设备将与多个输入设备的用户交互解释为各种不同的用户输入。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1是根据一些具体实施的示例性操作环境的框图。

图2是根据一些具体实施的示例性控制器的框图。

图3是根据一些具体实施的示例性电子设备的框图。

图4A至图4K示出了根据一些具体实施的各种时间段期间的XR环境。

图5是根据一些具体实施的显示内容的方法的流程图表示。

图6是根据一些具体实施的激活用户界面元素的方法的流程图表示。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

发明内容

本文所公开的各种具体实施包括用于基于用户输入和注视改变显示的设备、系统和方法。在各种具体实施中，该方法由包括输入设备、眼动跟踪器、显示器、一个或多个处理器和非暂态存储器的设备执行。该方法包括在显示器上显示多个用户界面元素。该方法包括经由输入设备接收与输入位置相对应的用户输入。该方法包括使用眼动跟踪器确定注视位置。该方法包括，响应于确定输入位置与注视位置相距至少阈值距离，激活注视位置处的第一用户界面元素。该方法包括，响应于确定输入位置在注视位置的阈值距离内，激活输入位置处的第二用户界面元素。

具体实施方式

人们可在不使用电子设备的情况下感测物理环境或世界或者与物理环境或世界交互。物理特征诸如物理对象或表面可包括在物理环境内。例如，物理环境可对应于具有物理建筑物、道路和车辆的物理城市。人们可通过各种手段诸如嗅觉、视觉、味觉、听觉和触觉直接感知物理环境或与物理环境交互。这可与扩展现实(XR)环境相反，该XR环境可以是指人们可使用电子设备感测或交互的部分或完全模拟的环境。XR环境可包括虚拟现实(VR)内容、混合现实(MR)内容、增强现实(AR)内容等。使用XR系统，可跟踪人的物理运动或其表示的一部分，并且作为响应，可以符合至少一个自然定律的方式改变XR环境中的虚拟对象的属性。例如，XR系统可检测用户的头部移动，并且以模拟声音和视图将如何在物理环境中改变的方式调整呈现给用户的听觉和图形内容。在其他示例中，XR系统可检测呈现XR环境的电子设备(例如，膝上型计算机、平板电脑、移动电话等)的移动。因此，XR系统可以模拟声音和视图将如何在物理环境中改变的方式来调整呈现给用户的听觉和图形内容。在一些实例中，其他输入诸如身体运动的表示(例如，语音命令)可使XR系统调整图形内容的属性。

众多类型的电子系统可允许用户感测XR环境或与XR环境交互。不完全示例列表包括放置在用户的眼睛上的具有集成显示能力的镜片(例如，隐形眼镜)、抬头显示器(HUD)、基于投影的系统、可头戴式系统、具有集成显示技术的窗户或挡风玻璃、头戴式耳机/听筒、具有或不具有触觉反馈的输入系统(例如，手持式或可佩戴控制器)、智能电话、平板电脑、台式/膝上型计算机和扬声器阵列。头戴式系统可包括不透明显示器和一个或多个扬声器。其他头戴式系统可被配置为接收不透明外部显示器，诸如，智能电话的不透明外部显示器。头戴式系统可使用一个或多个图像传感器来捕获物理环境的图像/视频，或者使用一个或多个麦克风来捕获物理环境的音频。一些头戴式系统可包括透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可通过介质诸如全息介质、光学波导、光学组合器、光学反射器、其他类似技术或它们的组合将表示图像的光引导到用户的眼睛。可使用各种显示技术，诸如硅上液晶、LED、uLED、OLED、激光扫描光源、数字光投影或它们的组合。在一些示例中，透明或半透明显示器可被选择性地控制而变得不透明。基于投影的系统可利用将图像投影到用户的视网膜上的视网膜投影技术，或者可将虚拟内容投影到物理环境中，诸如投影到物理表面上或者作为全息图。

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

来自与用户界面元素交互的用户的用户输入基于用户的注视位置是否在与用户界面元素相关联的位置处而被不同地解释。

图1是根据一些具体实施的示例性操作环境100的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作环境100包括控制器110和电子设备120。

在一些具体实施中，控制器110被配置为管理和协调用户的XR体验。在一些具体实施中，控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些具体实施中，控制器110是相对于物理环境105位于本地或远程位置的计算设备。例如，控制器110是位于物理环境105内的本地服务器。在另一个示例中，控制器110是位于物理环境105之外的远程服务器(例如，云服务器、中央服务器等)。在一些具体实施中，控制器110经由一个或多个有线或无线通信信道144(例如，蓝牙、IEEE 802.11x、IEEE802.16x、IEEE 802.3x等)与电子设备120通信地耦接。又如，控制器110包括在电子设备120的外壳内。在一些具体实施中，控制器110的功能由电子设备120提供和/或与该电子设备结合。

在一些具体实施中，电子设备120被配置为向用户提供XR体验。在一些具体实施中，电子设备120包括软件、固件和/或硬件的合适组合。根据一些具体实施，在用户物理地存在于物理环境105内时，电子设备120经由显示器122向用户呈现XR内容，该物理环境包括处于电子设备120的视场111内的桌子107。在一些具体实施中，用户将电子设备120拿在他/她的一只或两只手中。在一些具体实施中，在提供XR内容时，电子设备120被配置为显示XR对象(例如，XR球体109)并实现在显示器122上对(例如，包括桌子107的表示117的)物理环境105的视频透传。下文参考图3更详细地描述电子设备120。

根据一些具体实施，在用户虚拟地和/或物理地存在于物理环境105内的同时，电子设备120向用户提供XR体验。

在一些具体实施中，用户将电子设备120佩戴在他/她的头上。例如，在一些具体实施中，电子设备包括头戴式系统(HMS)、头戴式设备(HMD)或头戴式外壳(HME)。因此，电子设备120包括被设置成显示XR内容的一个或多个XR显示器。例如，在各种具体实施中，电子设备120包围用户的视场。在一些具体实施中，电子设备120是被配置为呈现XR内容的手持设备(诸如智能电话或平板电脑)，并且用户不再佩戴电子设备120而是手持该设备，同时使显示器朝向用户的视场，并且使相机朝向物理环境105。在一些具体实施中，手持设备可被放置在可被佩戴在用户的头部的外壳内。在一些具体实施中，用被配置为呈现XR内容的XR舱、外壳或室替代电子设备120，用户在其中不再佩戴或手持电子设备120。

图2是根据一些具体实施的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理核心等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。

在一些具体实施中，该一条或多条通信总线204包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。

存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些具体实施中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离所述一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些具体实施中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统230和XR体验模块240。

操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，XR体验模块240被配置为管理和协调一个或多个用户的单重或多重XR体验(例如，一个或多个用户的单重XR体验，或一个或多个用户的相应群组的多重XR体验)。为此，在各种具体实施中，XR体验模块240包括数据获取单元242、跟踪单元244、协调单元246和数据传输单元248。

在一些具体实施中，数据获取单元242被配置为至少从图1的电子设备120获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取单元242包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，跟踪单元244被配置为映射物理环境105并且至少跟踪电子设备120相对于图1的物理环境105的位置/定位。为此，在各种具体实施中，跟踪单元244包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，协调单元246被配置为管理和协调电子设备120向用户呈现的XR体验。为此，在各种具体实施中，协调单元246包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，数据传输单元248被配置为至少向电子设备120传输数据(例如，呈现数据、位置数据等)。为此，在各种具体实施中，数据传输单元248包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

尽管数据获取单元242、跟踪单元244、协调单元246和数据传输单元248被示为驻留在单个设备(例如，控制器110)上，但应当理解，在其他具体实施中，数据获取单元242、跟踪单元244、协调单元246和数据传输单元248的任何组合可位于单独计算设备中。

此外，图2更多地用作可以存在于特定具体实施中的各种特征的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图3是根据一些具体实施的电子设备120的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，电子设备120包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如，USB、FIREWIRE、THUNDERBOLT、IEEE802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、蓝牙、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个XR显示器312、一个或多个任选的面向内部和/或面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。

在一些具体实施中，一条或多条通信总线304包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎和/或一个或多个深度传感器(例如，结构光、飞行时间等)等。

在一些具体实施中，I/O设备和传感器306包括多个输入设备，该多个输入设备包括第一输入设备307A和第二输入设备307B。在一些具体实施中，第一输入设备307A包括手势检测器。例如，在一些具体实施中，第一输入设备307A包括获得用户的手的图像的相机以及检测用户的手的图像中的手势的模块。在一些具体实施中，第二输入设备307B包括注视跟踪器。例如，在一些具体实施中，第二输入设备307B包括获得用户的眼睛的图像的相机以及基于用户的眼睛的图像来确定用户的注视方向和/或注视位置的模块。

在一些具体实施中，一个或多个XR显示器312被配置为向用户提供XR体验。在一些具体实施中，一个或多个XR显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或类似的显示器类型。在一些具体实施中，一个或多个XR显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，电子设备120包括单个XR显示器。又如，电子设备对于用户的每只眼睛包括XR显示器。在一些具体实施中，一个或多个XR显示器312能够呈现MR和VR内容。

在一些具体实施中，一个或多个图像传感器314被配置为获取对应于用户面部的至少一部分(包括用户的眼睛)的图像数据(因而可称为眼睛跟踪相机)。在一些具体实施中，一个或多个图像传感器314被配置为面向前方，以便获取对应于当不存在电子设备120时用户将看到的场景的图像数据(因而可以被称为场景相机)。一个或多个任选的图像传感器314可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、一个或多个红外(IR)相机和/或一个或多个基于事件的相机等。

存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些具体实施中，存储器320或存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统330和XR呈现模块340。

操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，XR呈现模块340被配置为经由一个或多个XR显示器312向用户呈现XR内容。为此，在各种具体实施中，XR呈现模块340包括数据获得单元342、输入解释单元344、XR呈现单元346和数据传输单元348。

在一些具体实施中，数据获取单元342被配置为至少从图1的控制器110获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取单元342包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，输入解释单元344被配置为从多个输入设备(例如，第一输入设备307A和第二输入设备307B)接收用户输入，并且基于来自多个输入设备的用户输入生成应用程序命令。为此，在各种具体实施中，输入解释单元344包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，XR呈现单元346被配置为经由该一个或多个XR显示器312呈现XR内容，诸如接近文本输入设备的位置处的所选文本输入字段的表示。出于该目的，在各种具体实施中，XR呈现单元346包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，数据传输单元348被配置为至少向控制器110传输数据(例如，呈现数据、位置数据等)。在一些具体实施中，数据传输单元348被配置为向电子设备传输认证凭据。为此，在各种具体实施中，数据传输单元348包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

尽管数据获得单元342、输入解释单元344、XR呈现单元346和数据传输单元348被示出为驻留在单个设备(例如，电子设备120)上，但应当理解，在其他具体实施中，数据获得单元342、输入解释单元344、XR呈现单元346和数据传输单元348的任何组合可位于单独计算设备中。

此外，图3更多地用作可能存在于特定实施方案中的各种特征的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图4A至图4K示出了至少部分地由电子设备的显示器显示的XR环境400。XR环境400基于电子设备所在的客厅的物理环境。图4A至图4K示出了一连串的时间段期间的XR环境400。在各种具体实施中，每个时间段都是瞬间、几分之一秒、几秒、几小时、几天或任何时间长度。

XR环境400包括多个对象，包括物理环境的一个或多个物理对象(例如，图片401和沙发402)以及一个或多个虚拟对象(例如，第一内容窗格460A和虚拟时钟421)。在各种具体实施中，某些对象(诸如物理对象401和402以及第一内容窗格460A)被显示在XR环境400中的位置处，例如在由三维(3D)XR坐标系中的三个坐标限定的位置处。因此，当电子设备在XR环境400中移动(例如，改变位置和/或取向)时，对象在电子设备的显示器上移动，但保持其在XR环境400中的位置。响应于电子设备的运动，在显示器上移动但保持其在XR环境中的位置的此类虚拟对象被称为世界锁定(world-locked)对象。在各种具体实施中，在显示器上的位置处显示某些虚拟对象(诸如虚拟时钟421)，使得当电子设备在XR环境400中移动时，对象在电子设备上的显示器上为静止的。响应于电子设备的运动，此类在显示器上保持其位置的虚拟对象被称为头部锁定对象或显示锁定对象。

图4A至图4K示出了注视位置指示符451，其指示用户的注视位置，例如，用户正在注视XR环境400中的哪里。尽管在图4A至图4K中示出了注视位置指示符451，但是在各种具体实施中，电子设备不显示注视位置指示符451。

图4A至图4K示出了用户的右手452。为了更好地示出右手452与诸如用户界面元素等虚拟对象的交互，右手452被示出为是透明的。

图4A示出了在第一时间段期间的XR环境400。在第一时间段期间，电子设备在XR环境400中的第一位置处显示第一内容窗格460A。第一内容窗格460A在第一内容窗格460A的顶部包括第一图标和第一标题(标记为“标题1”)。第一内容窗格460A还包括第一内容，该第一内容包括第一图像和第一文本。第一文本包括通往第二内容的链接(标记为“链接2”)和通往第三内容的链接(标记为“链接3”)。在各种具体实施中，第一内容是第一网页，通往第二内容的链接是通往第二网页的链接，并且通往第三内容的链接是通往第三网页的链接。因此，在各种具体实施中，第一内容窗格460A是网络浏览器的内容窗格。

第一内容窗格460A在水平方向(例如，x方向)和竖直方向(例如，y方向)上跨越二维平面。第一内容窗格460A还定义垂直于第一内容窗格460A的深度方向(例如，z方向)。

在第一时间段期间，注视位置指示符451指示用户的注视位置在第一图像的位置处。在第一时间段期间，右手452处于中立位置。

图4B1至图4B3示出了具有各种用户输入以将第一内容窗格460A中的第一内容替换成第一内容窗格460A中的第二内容的XR环境400。

图4B1示出了在第一时间段之后的第二时间段期间的XR环境400。在第二时间段期间，注视位置指示符451指示用户的注视位置在通往第二内容的链接的位置处。在第二时间段期间，右手452在通往第二内容的链接的位置处执行捏合手势(如图4B1所示)并且在捏合手势的阈值时间量内执行释放手势。在各种具体实施中，如果在至少阈值时间量之后执行释放手势，则在与第一内容窗格460A处于堆栈中的第二内容窗格中显示第二内容。在各种具体实施中，右手452在通往第二内容的链接的位置处执行捏合手势，并且在相同位置处执行释放手势。在各种具体实施中，如果在第一窗格460A前方的位置处(例如，在z方向上更靠近用户)执行释放手势，则在与第一内容窗格460A处于堆栈中的第二内容窗格中显示第二内容。在各种具体实施中，如果在开放位置处执行释放手势，则在处于新堆栈中的第二内容窗格中显示第二内容。在各种具体实施中，用户通过将食指的指尖接触拇指的指尖来执行捏合手势。在各种具体实施中，用户通过停止食指和拇指的接触来执行释放手势。然而，在各种具体实施中，其他手势可对应于捏合手势或释放手势。

图4B2示出了在第二时间段期间XR环境400的替代具体实施。在第二时间段期间，注视位置指示符451指示用户的注视位置在通往第二内容的链接的位置处。在第二时间段期间，右手452在与通往第二内容的链接的位置相距至少阈值距离的位置处执行捏合手势(如图4B2所示)并且在捏合手势之后的阈值时间量内执行释放手势。在各种具体实施中，如果在至少阈值时间量之后执行释放手势，则在与第一内容窗格460A处于堆栈中的第二内容窗格中显示第二内容。在各种具体实施中，右手452在与通往第二内容的链接的位置相距至少阈值距离的位置处执行捏合手势，并且在相同位置处执行释放手势。在各种具体实施中，如果在捏合手势位置前方的位置处(例如，在z方向上更靠近用户)执行释放手势，则在与第一内容窗格460A处于堆栈中的第二内容窗格中显示第二内容。在各种具体实施中，如果侧向地远离捏合手势的位置执行释放手势(例如，侧向地移动与通往第二内容的链接和开放位置之间的距离相对应的量)，则在处于新堆栈中的第二内容窗格中显示第二内容(例如，如图4G所示)。在各种具体实施中，用户通过将食指的指尖接触拇指的指尖来执行捏合手势。在各种具体实施中，用户通过停止食指和拇指的接触来执行释放手势。然而，在各种具体实施中，其他手势可对应于捏合手势或释放手势。

在各种具体实施中，与通往第二内容的链接的位置相距至少阈值距离的位置与任何用户界面元素相距至少阈值距离。在各种具体实施中，如果该位置在另一用户界面元素的阈值距离内，则手势根据用户界面元素而被解释为与该用户界面元素或用户正在注视的用户界面元素交互。例如，用户可在不注视虚拟键盘的情况下与其交互。作为另一示例，用户可能在注视通往第二内容的链接并且同时旨在与通往第二内容的链接交互时，无意地在通往其他内容的链接的位置处执行手势。

在各种具体实施中，该位置与用户的注视位置相距至少阈值距离。在各种具体实施中，如果该位置在与用户的注视位置相距阈值距离内，则手势被解释为与在该手势的位置处的用户界面元素交互，如下面在图4B3中所示。

图4B3示出了在第二时间段期间XR环境400的替代具体实施。在第二时间段期间，注视位置指示符451指示用户的注视位置在通往第三内容的链接的位置处，但在通往第二内容的链接的阈值距离内。在第二时间段期间，右手452在通往第二内容的链接的位置处执行捏合手势(如图4B3所示)并且在捏合手势之后的阈值时间量内执行释放手势。在各种具体实施中，如果在至少阈值时间量之后执行释放手势，则在与第一内容窗格460A处于堆栈中的第二内容窗格中显示第二内容。在各种具体实施中，右手452在通往第二内容的链接的位置处执行捏合手势，并且在相同位置处执行释放手势。在各种具体实施中，如果在第一内容窗格460A前方的位置处(例如，在z方向上更靠近用户)执行释放手势，则在与第一内容窗格460A处于堆栈中的第二内容窗格中显示第二内容。在各种具体实施中，如果在开放位置处执行释放手势，则在处于新堆栈中的第二内容窗格中显示第二内容(例如，如图4G所示)。在各种具体实施中，用户通过将食指的指尖接触拇指的指尖来执行捏合手势。在各种具体实施中，用户通过停止食指和拇指的接触来执行释放手势。然而，在各种具体实施中，其他手势可对应于捏合手势或释放手势。

在各种具体实施中，如果在与用户的注视位置相距至少阈值距离处执行手势，则手势被解释为与用户正在注视的用户界面元素(例如，通往第三内容的链接)交互。

因此，在各种具体实施中，在与用户界面元素相距至少阈值距离的位置处执行手势同时注视用户界面元素被解释为有意地与用户界面元素交互。类似地，在各种具体实施中，在用户的注视位置的阈值距离内在用户界面元素的位置处执行手势被解释为有意地与用户界面元素交互。在各种具体实施中，在用户界面元素的位置处执行手势同时没有注视用户界面元素被解释为无意地与用户界面元素交互，并且忽略未被注意(或未被注视)的用户界面元素的存在。然而，在各种具体实施中，在用户界面元素的位置处执行手势同时没有注视用户界面元素被解释为有意地与用户界面元素交互，比如当用户界面元素是虚拟键盘的按键时。

图4C示出了在第二时间段之后的第三时间段期间的XR环境400。在第三时间段期间，响应于检测到图4B1至图4B3中的任一附图中的用户输入，第一内容窗格460A在第一内容窗格460A的顶部包括第二图标和第二标题(标记为“标题2”)。第一内容窗格460A还包括第二内容，该第二内容包括第二图像和第二文本。第二文本包括通往第三内容的链接(标记为“链接3”)和通往第四内容的链接(标记为“链接4”)。在各种具体实施中，通往第四内容的链接是通往第四网页的链接。

因此，在各种具体实施中，响应于检测到来自用户的手势(例如，捏合释放手势)同时用户的注视位置在与通往网页的链接相关联的位置处，在现有内容窗格中显示网页。在各种具体实施中，在显示通往网页的链接的位置处执行手势，同时用户的注视位置在显示通往网页的链接的位置处(如图4B1所示)或至少在该位置的阈值距离内(如图4B3所示)。在各种具体实施中，在与显示通往网页的链接的位置相距至少阈值距离(并且在各种具体实施中，与任何用户界面元素相距至少阈值距离)的位置处执行手势，同时用户的注视位置在显示通往网页的链接的位置处(如图4B2所示)。

在第三时间段期间，注视位置指示符451指示用户的注视位置在第二文本的位置处。在第三时间段期间，右手452处于中立位置。

图4D1至图4D3示出了具有各种用户输入以替换成在与第一内容窗格460A处于堆栈中的第二内容窗格460B中显示第二内容的XR环境400。

图4D1示出了在第三时间段之后的第四时间段期间的XR环境400。在第四时间段期间，注视位置指示符451指示用户的注视位置在通往第三内容的链接的位置处。在第四时间段期间，右手452在通往第三内容的链接的位置处执行捏合手势(如图4D1所示)并且在捏合手势之后超过阈值时间量在第一内容窗格460A的位置处执行释放手势。在各种具体实施中，在任何时间量之后在第一内容窗格460A前方的位置处执行释放手势。

图4D2示出了在第四时间段期间XR环境400的替代具体实施。在第四时间段期间，注视位置指示符451指示用户的注视位置在通往第三内容的链接的位置处。在第六时间段期间，右手452在与通往第三内容的链接相距至少阈值距离的位置处执行捏合手势(如图4D2所示)并且在捏合手势之后超过阈值时间量在远离捏合手势的位置的相对方位处执行释放手势，其中远离通往第三内容的链接的位置的相对方位的位置是第一内容窗格460A的位置。在各种具体实施中，在任何时间量之后在远离捏合手势的位置的相对方位处执行释放手势，其中远离通往第三内容的链接的位置的相对方位的位置在第一内容窗格460A前方。例如，释放手势大致在捏合手势的前方执行。在各种具体实施中，与通往第三内容的链接的位置相距至少阈值距离的位置与任何用户界面元素相距至少阈值距离。在各种具体实施中，该位置与用户的注视位置相距至少阈值距离。

图4D3示出了在第四时间段期间XR环境400的替代具体实施。在第四时间段期间，注视位置指示符451指示用户的注视位置在通往第四内容的链接的位置处，但在通往第三内容的链接的阈值距离内。在第四时间段期间，右手452在通往第三内容的链接的位置处执行捏合手势(如图4D3所示)并且在捏合手势之后超过阈值时间量在第一内容窗格460A的位置处执行释放手势。在各种具体实施中，在任何时间量之后在第一内容窗格460A前方的位置处执行释放手势。

图4E示出了在第四时间段之后的第五时间段期间的XR环境400。在第五时间段期间，响应于检测到图4D1至图4D3中的任一附图的用户输入，XR环境400包括第二内容窗格460B。

第二内容窗格460B在第二内容窗格460B的顶部包括第三图标和第三标题(标记为“标题3”)。第二内容窗格460B还包括第三内容，该第三内容包括第三图像和第三文本。第三文本包括通往第四内容的链接(标记为“链接4”)。

在第五时间段期间，第二内容窗格460B和第一内容窗格460A以重叠配置形成第一堆栈。在该重叠配置中，堆栈的内容窗格在深度方向上彼此移位一定量，使得内容窗格的一部分是可见的，但是仅最前面的内容窗格的标题和内容是可见的。在各种具体实施中，内容窗格在水平方向和竖直方向上对齐(例如，不偏移)。尽管第二内容窗格460B和第一内容窗格460A在XR环境400的水平方向或竖直方向上不偏移，但是由于视差和三维透视，所以它们在图4E的页面上在水平方向和竖直方向上偏移。

因此，在各种具体实施中，响应于检测到来自用户的手势(例如，捏合释放手势)同时用户的注视位置在与通往网页的链接相关联的位置处，在现有堆栈的新内容窗格中显示网页。在各种具体实施中，在显示通往网页的链接的位置处执行手势，同时用户的注视位置在显示通往网页的链接的位置处(如图4D1所示)或至少在该位置的阈值距离内(如图4D3所示)。在各种具体实施中，在与显示通往网页的链接的位置相距至少阈值距离(并且在各种具体实施中，与任何用户界面元素相距至少阈值距离)的位置处执行手势，同时用户的注视位置在显示通往网页的链接的位置处(如图4D2所示)。

在第五时间段期间，注视位置指示符451指示用户的注视位置在第三图像的位置处。在第五时间段期间，右手452处于中立位置。

图4F1示出了在第五时间段之后的第六时间段期间的XR环境400。在第六时间段期间，注视位置指示符451指示用户的注视位置在通往第四内容的链接的位置处。在第六时间段期间，右手452在通往第四内容的链接的位置处执行捏合手势(如图4F1所示)，向左移动，并且在开放位置处执行释放手势。

图4F2示出了在第六时间段期间XR环境400的替代具体实施。在第六时间段期间，注视位置指示符451指示用户的注视位置在通往第四内容的链接的位置处。在第六时间段期间，右手452在与通往第四内容的链接相距至少阈值距离的位置处执行捏合手势(如图4F2所示)，向左移动，并且在远离捏合手势的位置的相对方位处执行释放手势，其中远离通往第四内容的链接的位置的相对方位的位置为开放位置。在各种具体实施中，与通往第四内容的链接的位置相距至少阈值距离的位置与任何用户界面元素相距至少阈值距离。在各种具体实施中，该位置与用户的注视位置相距至少阈值距离。

图4F3示出了在第六时间段期间XR环境400的替代具体实施。在第六时间段期间，注视位置指示符451指示用户的注视位置在与通往第四内容的链接的位置相距阈值距离内。在第六时间段期间，右手452在通往第四内容的链接的位置处执行捏合手势(如图4F3所示)，向左移动，并且在开放位置处执行释放手势。

图4G示出了在第六时间段之后的第七时间段期间的XR环境400。在第七时间段期间，响应于检测到图4F1至图4F3中的任一附图的用户输入，XR环境400包括在开放位置处的第三内容窗格460C。第三内容窗格460C在第三内容窗格460C的顶部包括第四图标和第四标题(标记为“标题4”)。第三内容窗格460C还包括第四内容，该第四内容包括第四图像、搜索栏461和搜索按钮。

因此，在各种具体实施中，响应于检测到来自用户的手势(例如，捏合释放手势)同时用户的注视位置在与通往网页的链接相关联的位置处，在新堆栈的新内容窗格中显示网页。在各种具体实施中，在显示通往网页的链接的位置处执行手势，同时用户的注视位置在显示通往网页的链接的位置处(如图4F1所示)或至少在该位置的阈值距离内(如图4F3所示)。在各种具体实施中，在与显示通往网页的链接的位置相距至少阈值距离(并且在各种具体实施中，与任何用户界面元素相距至少阈值距离)的位置处执行手势，同时用户的凝视位置在显示通往网页的链接的位置处(如图4F2所示)。

在第七时间段期间，搜索栏461被选择，如搜索栏461中显示的光标所指示的。搜索栏461是文本输入字段。因此，当选择文本输入字段时，在XR环境400中显示虚拟键盘455。虚拟键盘455包括用于在文本输入字段中插入字符的多个用户界面元素(例如，按键)。

在第七时间段期间，注视位置指示符451指示用户的注视位置是第四图像的位置。在第七时间段期间，右手452处于中立位置。

图4H1示出了在第七时间段之后的第八时间段期间的XR环境400。在第八时间段期间，注视位置指示符451指示用户的注视在虚拟键盘455的A键的位置处。在第八时间段期间，右手452在A键的位置处执行捏合手势(如图4H1所示)并且在捏合手势的阈值时间量内执行释放手势。

图4H2示出了在第八时间段期间XR环境400的替代具体实施。在第八时间段期间，注视位置指示符451指示用户的注视在虚拟键盘455的A键的位置处。在第八时间段期间，右手452在与A键相距至少阈值距离处执行捏合手势(如图4H2所示)并且在捏合手势的阈值时间量内执行释放手势。在各种具体实施中，与A键的位置相距至少阈值距离的位置与任何用户界面元素相距至少阈值距离。在各种具体实施中，该位置与用户的注视位置相距至少阈值距离。

图4H3示出了在第八时间段期间XR环境400的替代具体实施。在第八时间段期间，注视位置指示符451指示用户的注视位置在虚拟键盘455的Q键的位置处，但在A键的位置的阈值距离内。在第八时间段期间，右手452在A键的位置处执行捏合手势(如图4H3所示)并且在捏合手势的阈值时间量内执行释放手势。

图4H4示出了在第八时间段期间XR环境400的替代具体实施。在第八时间段期间，注视位置指示符451指示用户的注视位置在搜索栏461的位置处，该位置与A键相距至少阈值距离。在第八时间段期间，右手452在A键的位置处执行捏合手势(如图4H4所示)并且在捏合手势的阈值时间量内执行释放手势。在各种具体实施中，如果用户的注视位置不在搜索栏461的阈值距离内并且与捏合手势相距阈值距离(例如，如果用户正在注视开放空间或图片401)，则忽略A键的存在并且不执行动作。

图4H5示出了在第八时间段期间XR环境400的替代具体实施。在第八时间段期间，XR环境400包括靠近搜索栏461的键盘表示457。键盘表示457包括靠近右手452的位置的虚拟键盘455的按键的表示。键盘表示457包括手位置指示符453，其指示右手452相对于虚拟键盘455的位置。在第八时间段期间，手位置指示符453指示右手452在A键的位置处。在第八时间段期间，注视位置指示符451指示用户的注视在A键的表示的位置处。在第八时间段期间，右手452在A键的位置处执行捏合手势(如图4H5所示)并且在捏合手势的阈值时间量内执行释放手势。

图4I示出了在第八时间段之后的第九时间段期间的XR环境400。在第九时间段期间，响应于检测到图4H1至图4H5中的任一附图的用户输入，在搜索栏461中插入字符“A”。

因此，在各种具体实施中，响应于检测到来自用户的手势(例如，捏合释放手势)同时用户的注视位置在与用户界面元素相关联的位置处，用户界面元素被选择。在各种具体实施中，在显示用户界面元素的位置处执行手势，同时用户的注视位置在显示用户界面元素的位置处(如图4H1所示)、至少在该位置的阈值距离内(如图4H3所示)、在显示用户界面元素的表示的位置处(如图4H5所示)或者在显示相关联的用户界面元素的位置处(如图4H4所示)。在各种具体实施中，在与显示用户界面元素的位置相距至少阈值距离(并且在各种具体实施中，与任何用户界面元素相距至少阈值距离)的位置处执行手势，同时用户的注视位置在显示用户界面元素的位置处(如图4H2所示)。

在第九时间段期间，注视位置指示符451指示用户的注视位置在搜索栏461的位置处。在第九时间段期间，右手452处于中立位置。

图4J示出了在第九时间段之后的第十时间段期间的XR环境400。在第十时间段期间，注视位置指示符451指示用户的注视位置在搜索栏的位置处。在第十时间段期间，右手452在通往第五内容的链接的位置处与搜索栏461相距至少阈值距离执行捏合手势(如图4J所示)和释放手势。

图4K示出了第十时间段之后的第十一时间段期间的XR环境400。在第十一时间段期间，响应于检测到图4J的用户输入，第三内容窗格460C基于输入到搜索栏461中的字符显示通往搜索结果的链接。因此，尽管在通往第四内容的链接的位置处执行手势，但因为用户的注视位置在搜索栏的位置处，所以手势被解释为激活搜索栏461(例如，相当于按下键盘上的“ENTER”键或选择搜索按钮)而不是选择通往第四内容的链接。

在各种具体实施中，如果检测到相同的手势同时用户的注视位置在通往第四内容的链接的位置处(或在该位置的阈值距离内)，则第二内容窗格460C将被更新以显示第四内容。

在第十时间段期间，注视位置指示符451指示用户的注视位置在搜索结果的位置处。在第十时间段期间，右手452处于中立位置。

图5是根据一些具体实施的基于注视信息和用户输入来改变显示的方法500的流程图表示。在各种具体实施中，方法500由包括输入设备、眼动跟踪器、显示器、一个或多个处理器和非暂态存储器的设备(例如，图3的电子设备120)来执行。在一些具体实施中，方法500由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法500由执行存储在非暂态计算机可读介质(例如，存储器)中的指令(例如，代码)的处理器执行。

方法500开始于框510，其中设备在显示器上显示用户界面元素。在各种具体实施中，用户界面元素是通往内容的链接。在各种具体实施中，内容包括网页，并且通往内容的链接包括通往网页的链接，例如，超链接。例如，在图4A中，电子设备显示通往第二内容(标记为“链接2”)的链接。在各种具体实施中，用户界面元素是虚拟键盘的按键。例如，在图4G中，电子设备显示包括多个按键的虚拟键盘455。

方法500在框520中继续，其中设备经由输入设备接收来自用户的用户输入。在各种具体实施中，用户输入包括手势。因此，在各种具体实施中，输入设备包括肢体跟踪器和/或手势检测器。在各种具体实施中，手势至少部分地在显示用户界面元素的位置处。例如，在图4B1中，电子设备在通往第二内容的链接的位置处检测到捏合手势。作为另一示例，在图4H1中，电子设备在虚拟键盘455的A键的位置处检测到捏合手势。在各种具体实施中，手势与显示用户界面元素的位置相距至少阈值距离。例如，在图4B2中，电子设备在与通往第二内容的链接相距至少阈值距离的位置处检测到捏合手势。作为另一示例，在图4H2中，电子设备在与虚拟键盘455的A键相距至少阈值距离的位置处检测到捏合手势。在各种具体实施中，手势与用户的注视位置相距至少阈值距离。

方法500在框530中继续，其中设备使用眼动跟踪器来确定用户的注视位置是否在与用户界面元素相关联的位置处。在各种具体实施中，与用户界面元素相关联的位置是显示用户界面元素的位置。例如，在图4B2中，电子设备在显示通往第二内容的链接的位置处检测到用户的注视位置。作为另一示例，在图4H2中，电子设备在显示A键的位置处检测到用户的注视位置。在各种具体实施中，与用户界面元素相关联的位置是在显示用户界面元素的位置的阈值距离内的位置。例如，在图4B3中，电子设备在显示通往第二内容的链接的位置的阈值距离内检测到用户的注视位置。作为另一示例，在图4H3中，电子设备在显示A键的位置的阈值距离内检测到用户的注视位置。

在各种具体实施中，与用户界面元素相关联的位置是显示用户界面元素的表示的位置。例如，在图4H5中，电子设备在键盘窗口457内显示A键的表示的位置处检测到用户的注视位置。在各种具体实施中，与用户界面元素相关联的位置是显示相关联的用户界面元素的位置。例如，在图4H4中，因为选择按键在搜索栏461中插入字符，所以电子设备在与虚拟键盘455及其多个按键相关联的搜索栏461的位置处检测到用户的注视位置。

在各种具体实施中，确定用户的注视位置是否在与用户界面元素相关联的位置处包括确定用户的注视位置在与用户界面元素相关联的位置处持续至少阈值时间量。

方法500在框540中继续，其中设备响应于确定用户的注视位置在与用户界面元素相关联的位置处而基于用户输入以第一方式改变显示。例如，在图4C中，响应于确定用户的注视在与通往第二内容的链接相关联的位置处，捏合手势和释放手势使得电子设备更新第一内容窗格460A以包括第二内容。

因此，在各种具体实施中，用户界面元素包括通往内容的链接，并且以第一方式改变显示包括显示该内容。在各种具体实施中，显示内容包括基于用户输入(例如，手势)来更新内容窗格以包括该内容(例如，如图4C)或显示包括该内容的新内容窗格(例如，如图4E和图4G)。

例如，在各种具体实施中，显示内容包括更新内容窗格以包括该内容，其中用户输入包括捏合手势和在捏合手势之后的阈值时间量内的释放手势，例如快速捏合。作为另一示例，在各种具体实施中，显示内容包括显示包括该内容的新内容窗格，其中用户输入包括捏合手势和从捏合手势起经过阈值时间量之后的释放手势，例如长时间捏合。作为另一示例，在各种具体实施中，显示内容包括显示包括该内容的新内容窗格，其中用户输入包括捏合手势和在捏合手势前方的释放手势，例如捏合拉动。

方法500在框550中继续，其中设备响应于确定用户的注视位置不在与用户界面元素相关联的位置处而基于用户输入以不同于第一方式的第二方式改变显示。例如，在图4K中，响应于确定用户的注视位置不在与通往第四内容的链接相关联的位置处，在通往第四内容的链接的位置处的捏合手势和释放手势使得电子设备激活搜索栏461。因此，在各种具体实施中，以第二方式改变显示不包括显示内容。在各种具体实施中，以第二方式改变显示包括激活第二用户界面元素，比如图4K中的搜索栏461。在各种具体实施中，以第二方式改变显示包括根据手势显示与内容不同的第二内容(例如，如果不同的链接被激活)、显示菜单(例如，应用程序图标的坞)、或停止显示通往内容的链接(例如，通过关闭包括通往内容的链接的内容窗格)。

因此，在各种具体实施中，当检测到用户输入同时用户的注视位置在与用户界面元素相关联的位置处，在用户界面元素被选择或激活(例如，基于用户输入的选择、激活等)时执行功能。然而，即使用户输入指向用户界面元素，但如果用户的注视位置不在与用户界面元素相关联的位置处，则不执行功能。

例如，在图4B2中，在与通往第二内容的链接相距至少阈值距离处检测到手势，但是用户的注视位置在第二内容的位置处。因此，通往第二内容的链接被选择。作为另一示例，在图4B3中，在通往第二内容的链接的位置处检测到手势，并且用户的注视位置在通往第二内容的链接的阈值距离内。因此，通往第二内容的链接被选择。相反，在图4B3中，尽管用户的注视方向在与通往第三内容的链接相关联的位置处，但是在与通往第三内容的链接相距不是至少阈值距离的位置处检测到手势。因此，通往第三内容的链接没有被选择。类似地，在图4H3中，在A键的位置处检测到手势，并且用户的注视位置在A键的阈值距离内。因此，A键被选择。相反，在图4H3中，尽管用户的注视方向在与Q键相关联的位置处，但是在与Q键相距不是至少阈值距离的位置处检测到手势。因此，Q键没有被选择。

因为用户可能熟悉虚拟键盘的布局并且可能不需要注视虚拟键盘来输入文本，所以响应于确定用户的注视位置在与按键相关联的位置处(比如文本输入字段(例如，图4H4的搜索栏461)或按键的表示(例如，图4H5的键盘窗口457))，按键被选择。在各种具体实施中，响应于独立于注视而在显示用户界面元素的位置处检测到手势，某些用户界面元素(例如，熟悉的用户界面元素，比如虚拟键盘的按键)被选择，而根据注视(例如，注视位置在与用户界面元素相关联的位置处)基于手势来选择其他用户界面元素(例如，通往内容的链接)。

图6是根据一些具体实施的激活用户界面元素的方法600的流程图表示。在各种具体实施中，方法600由包括输入设备、眼动跟踪器、显示器、一个或多个处理器和非暂态存储器的设备(例如，图3的电子设备120)来执行。在一些具体实施中，方法600由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法500由执行存储在非暂态计算机可读介质(例如，存储器)中的指令(例如，代码)的处理器执行。

方法600开始于框610，其中设备在显示器上显示多个用户界面元素。在各种具体实施中，多个用户界面元素包括通往内容的链接。在各种具体实施中，内容包括网页，并且通往内容的链接包括通往网页的链接，例如，超链接。例如，在图4A中，电子设备显示通往第二内容(标记为“链接2”)的链接。在各种具体实施中，多个用户界面元素包括虚拟键盘的一个或多个按键。例如，在图4G中，电子设备显示包括多个按键的虚拟键盘455。

方法600在框620中继续，其中设备经由输入设备接收对应于输入位置的用户输入。在各种具体实施中，用户输入包括手势。因此，在各种具体实施中，输入设备包括肢体跟踪器和/或手势检测器。在各种具体实施中，输入位置是手势的位置。例如，在图4B1中，电子设备在通往第二内容的链接的位置处检测到捏合手势，并且输入位置是通往第二内容的链接的位置。作为另一示例，在图4H1中，电子设备在虚拟键盘455的A键的位置处检测到捏合手势，并且输入位置是虚拟键盘455的A键的位置。在各种具体实施中，输入位置是输入位置指示符的位置。例如，在图4H5中，电子设备在虚拟键盘455的A键的位置处检测到捏合手势同时显示包括手位置指示符453的键盘表示457，并且输入位置是手位置指示符的位置(在A键的表示的位置处)。

因此，在各种具体实施中，输入位置是用户输入发生的二维或三维位置，比如触摸输入或手势的位置。在各种具体实施中，输入位置是由用户输入标识或指示的位置，比如用户指向(使用手或指向输入设备)的位置或由用户使用输入设备移动的光标的位置。

方法600在框630中继续，其中设备使用眼动跟踪器来确定注视位置。

方法600在框640中继续，其中设备响应于确定输入位置与注视位置相距至少阈值距离而激活在注视位置处的第一用户界面元素。例如，在图4B2中，其中注视位置在通往第二内容的链接的位置处，电子设备在与注视位置相距至少阈值距离的位置处检测到捏合手势并且激活通往第二内容的链接。作为另一示例，在图4H2中，其中注视位置在虚拟键盘455的A键的位置处，电子设备在与注视位置相距至少阈值距离的位置处检测到捏合手势并且激活虚拟键盘455的A键。

方法600在框650中继续，其中设备响应于确定输入位置在注视位置的阈值距离内，激活在输入位置处的第二用户界面元素。例如，在图4B1中，其中注视位置在通往第二内容的链接的位置处，电子设备在注视位置的阈值距离内检测到捏合手势(也在通往第二内容的链接的位置处)并且激活通往第二内容的链接。作为另一示例，在图4B3中，其中注视位置在通往第三内容的链接的位置处，电子设备在注视位置的阈值距离内检测到捏合手势(在通往第二内容的链接的位置处)并且激活通往第二内容的链接。作为另一示例，在图4H3中，其中注视位置在虚拟键盘455的Q键的位置处，电子设备在注视位置的阈值距离内检测到捏合手势(在虚拟键盘455的A键的位置处)并且激活虚拟键盘的A键。

在各种具体实施中，激活注视位置处的第一用户界面元素(在框640中)排除激活输入位置处的第二用户界面元素。例如，在图4J中，其中注视位置在搜索栏461的位置处，电子设备在与注视位置相距至少阈值距离处检测到捏合手势(在通往第四内容的链接的位置处)并且激活搜索栏461而不激活通往第四内容的链接。

在各种具体实施中，激活输入位置处的第二用户界面元素(在框650中)排除激活注视位置处的第一用户界面元素。例如，在图4B3中，其中注视位置在通往第三内容的链接的位置处，电子设备在注视位置的阈值距离内检测到捏合手势(在通往第二内容的链接的位置处)并且激活通往第二内容的链接而不激活通往第三内容的链接。

在各种具体实施中，第一用户界面元素是第二用户界面元素的表示。例如，在图4H5中，键盘表示457中的A键的表示是虚拟键盘455的A键的表示。在各种具体实施中，阈值距离基于第一类型的第一用户界面元素和第二类型的第二用户界面元素中的至少一者。例如，在图4H4中，阈值距离大，因为虚拟键盘455的A键是键盘按键而不是通往内容的链接。

在各种具体实施中，第一用户界面元素包括通往内容的链接，并且激活第一用户界面元素包括显示内容。在各种具体实施中，显示内容包括基于用户输入(例如，手势)来更新内容窗格以包括该内容(例如，如图4C)或显示包括该内容的新内容窗格(例如，如图4E和图4G)。

例如，在各种具体实施中，显示内容包括更新内容窗格以包括该内容，其中用户输入包括捏合手势和在捏合手势之后的阈值时间量内的释放手势，例如快速捏合。作为另一示例，在各种具体实施中，显示内容包括显示包括该内容的新内容窗格，其中用户输入包括捏合手势和从捏合手势起经过阈值时间量之后的释放手势，例如长时间捏合。作为另一示例，在各种具体实施中，显示内容包括显示包括该内容的新内容窗格，其中用户输入包括捏合手势和在捏合手势前方的释放手势(例如捏合拉动)或者捏合手势和在开放位置处的释放手势(例如捏合拖动)。

虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims (18)

1.一种方法，所述方法包括：

在具有输入设备、眼动跟踪器、显示器、一个或多个处理器和非暂态存储器的电子设备处：

在所述显示器上显示多个用户界面元素；

经由所述输入设备接收与输入位置相对应的用户输入；

使用所述眼动跟踪器确定注视位置；

响应于确定所述输入位置与所述注视位置相距至少阈值距离，激活所述注视位置处的第一用户界面元素；以及

响应于确定所述输入位置在所述注视位置的所述阈值距离内，激活所述输入位置处的第二用户界面元素。

2.根据权利要求1所述的方法，其中，激活所述注视位置处的所述第一用户界面元素排除激活所述输入位置处的所述第二用户界面元素。

3.根据权利要求1或2所述的方法，其中，激活所述输入位置处的所述第二用户界面元素排除激活所述注视位置处的所述第一用户界面元素。

4.根据权利要求1至3中任一项所述的方法，其中，所述输入位置是手势的位置。

5.根据权利要求1至4中任一项所述的方法，其中，所述输入位置是输入位置指示符的位置。

6.根据权利要求1至5中任一项所述的方法，其中，所述第一用户界面元素是所述第二用户界面元素的表示。

7.根据权利要求1至6中任一项所述的方法，其中，所述阈值距离基于第一类型的第一用户界面元素和第二类型的第二用户界面元素中的至少一者。

8.根据权利要求1至7中任一项所述的方法，其中，所述第一用户界面元素包括通往内容的链接，并且激活所述第一用户界面元素包括显示所述内容。

9.根据权利要求8所述的方法，其中，显示所述内容包括更新内容窗格以包括所述内容。

10.根据权利要求9所述的方法，其中，所述用户输入包括捏合手势和在所述捏合手势之后的阈值时间量内的释放手势。

11.根据权利要求8所述的方法，其中，显示所述内容包括显示包括所述内容的新内容窗格。

12.根据权利要求11所述的方法，其中，所述用户输入包括捏合手势和从所述捏合手势起经过阈值时间量之后的释放手势。

13.根据权利要求11所述的方法，其中，所述用户输入包括捏合手势和在所述捏合手势前方的释放手势。

14.根据权利要求11所述的方法，其中，所述用户输入包括捏合手势和在开放位置处的释放手势。

15.一种设备，所述设备包括：

输入设备；

眼动跟踪器；

显示器；

一个或多个处理器；

非暂态存储器；和

存储在所述非暂态存储器中的一个或多个程序，所述一个或多个程序当由所述一个或多个处理器执行时使得所述设备执行根据权利要求1至14所述的方法中的任一种方法。

16.一种存储一个或多个程序的非暂态存储器，所述一个或多个程序当由包括输入设备、眼动跟踪器和显示器的设备的一个或多个处理器执行时使得所述设备执行根据权利要求1至14所述的方法中的任一种方法。

17.一种设备，所述设备包括：

输入设备；

眼动跟踪器；

显示器；

一个或多个处理器；

非暂态存储器；和

用于使得所述设备执行根据权利要求1至14所述的方法中的任一种方法的装置。

18.一种设备，所述设备包括：

输入设备；

眼动跟踪器；

显示器，

非暂态存储器；和

一个或多个处理器，所述一个或多个处理器用于：

在所述显示器上显示多个用户界面元素；

经由所述输入设备接收与输入位置相对应的用户输入；

使用所述眼动跟踪器确定注视位置；

响应于确定所述输入位置与所述注视位置相距至少阈值距离，激活所述注视位置处的第一用户界面元素；以及

响应于确定所述输入位置在所述注视位置的所述阈值距离内，激活所述输入位置处的第二用户界面元素。