CN116724284A - 用于处理多个设备的用户输入的方法和设备 - Google Patents

Abstract

在一个具体实施中，一种处理用于多个设备的输入的方法由包括非暂态存储器和一个或多个处理器的第一电子设备执行。该方法包括确定注视方向。该方法包括基于确定该注视方向指向目标电子设备来选择该目标电子设备。该方法包括经由输入设备接收一个或多个输入。该方法包括基于该目标电子设备来处理该一个或多个输入。

Description

用于处理多个设备的用户输入的方法和设备

相关申请的交叉引用

本申请要求于2020年11月13日提交的美国临时专利申请63/113,327的优先权，该美国临时专利申请据此全文以引用方式并入。

技术领域

本公开整体涉及用于处理多个设备的用户输入的系统、方法和设备。

背景技术

在各种具体实施中，环境包括多个显示器。例如，在各种具体实施中，办公室包括耦接到两个监视器的台式计算机。又如，在各种具体实施中，客厅包括具有触摸屏显示器的平板电脑和耦接到电视屏幕的数字媒体播放器。再如，在各种具体实施中，XR环境包括两个虚拟显示器。在各种具体实施中，向两个不同的显示器提供用户输入需要两个不同的输入设备。例如，可利用触摸屏控制平板电脑，并且可利用遥控器控制数字媒体播放器。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1是根据一些具体实施的示例性操作环境的框图。

图2是根据一些具体实施的示例性控制器的框图。

图3是根据一些具体实施的示例性电子设备的框图。

图4A至图4F示出了包括物理触控板的第一XR环境。

图5A至图5Q示出了包括虚拟触控板的第二XR环境。

图6A至图6D示出了包括物理键盘的第三XR环境。

图7A至图7F示出了包括物理鼠标的第四XR环境。

图8是根据一些具体实施的处理输入的方法的流程图表示。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

发明内容

本文所公开的各种具体实施包括用于处理多个设备的输入的设备、系统和方法。在各种具体实施中，该方法是由包括一个或多个处理器和非暂态存储器的设备执行的。该方法包括确定注视方向。该方法包括基于确定该注视方向指向目标电子设备的显示器来选择目标电子设备。该方法包括经由输入设备接收一个或多个输入。该方法包括基于该目标电子设备来处理该一个或多个输入。

根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；一个或多个程序被存储于非暂态存储器中并且被配置为由一个或多个处理器执行。一个或多个程序包括用于执行或促使执行本文描述的任何方法的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。

具体实施方式

人可以在不借助于电子设备的情况下与物理环境或物理世界交互以及/或者感知物理环境或物理世界。物理环境可包括物理特征，诸如物理对象或表面。物理环境的示例是包括物理植物和动物的物理森林。人可以通过各种手段(诸如听觉、视觉、味觉、触觉和嗅觉)直接感知物理环境以及/或者与物理环境交互。相比之下，人可以使用电子设备与完全或部分模拟的扩展现实(XR)环境交互以及/或者感知该扩展现实环境。该XR环境可以包括混合现实(MR)内容、增强现实(AR)内容、虚拟现实(VR)内容等等。利用XR系统，人的物理运动或其表示的一些可被跟踪，并且作为响应，能够以符合至少一个物理定律的方式调整在XR环境中模拟的虚拟对象的特征。例如，该XR系统可以检测用户头部的移动，并调整呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。又如，该XR系统可以检测呈现XR环境的电子设备(例如，移动电话、平板电脑、膝上型电脑等)的移动，并调整呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。在一些情形中，该XR系统可以响应于诸如物理运动的表示的其他输入(例如，语音命令)而调整图形内容的特征。

许多不同类型的电子系统可以使用户能够与XR环境交互和/或感知XR环境。示例的非排他性列表包括抬头显示器(HUD)、头戴式系统、基于投影的系统、具有集成显示能力的窗户或车辆挡风玻璃、形成为放置于用户眼睛上的透镜的显示器(例如，接触镜片)、头戴式受话器/耳机、具有触觉反馈或不具有触觉反馈的输入系统(例如，可穿戴或手持式控制器)、扬声器阵列、智能电话、平板电脑和台式计算机/膝上型计算机。头戴式系统可具有不透明显示器和一个或多个扬声器。其它头戴式系统可被配置为接受不透明外部显示器(例如，智能电话)。头戴式系统可包括用于捕获物理环境的图像或视频的一个或多个图像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可具有媒介，光通过该媒介被引导到用户的眼睛。显示器可利用各种显示技术，例如uLED、OLED、LED、硅基液晶、激光扫描光源、数字光投影或其组合。光波导、光学反射器、全息图媒介、光学组合器及其组合或其他类似技术可用于媒介。在一些具体实施中，透明或半透明显示器可被选择性地控制而变得不透明。基于投影的系统可利用将图形图像投影到用户的视网膜上的视网膜投影技术。投影系统也可以将虚拟对象投影到物理环境中(例如，作为全息图或投影到物理表面上)。

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

在各种具体实施中，环境包括多个显示器。由输入设备诸如触控板提供的用户输入用于操纵用户正在看的显示器的显示。例如，如果用户正在看第一显示器，则光标被显示在第一显示器上，并且用户输入使得内容显示在第一显示器上，但是如果用户正在看第二显示器，则光标被显示在第二显示器上，并且用户输入使得内容显示在第二显示器上。

图1是根据一些具体实施的示例性操作环境100的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作环境100包括控制器110和电子设备120。

在一些具体实施中，控制器110被配置为管理和协调用户的XR体验。在一些具体实施中，控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些具体实施中，控制器110是相对于物理环境105位于本地或远程位置的计算设备。例如，控制器110是位于物理环境105内的本地服务器。在另一个示例中，控制器110是位于物理环境105之外的远程服务器(例如，云服务器、中央服务器等)。在一些具体实施中，控制器110经由一个或多个有线或无线通信信道144(例如，蓝牙、IEEE 802.11x、IEEE802.16x、IEEE 802.3x等)与电子设备120通信地耦接。又如，控制器110包括在电子设备120的外壳内。在一些具体实施中，控制器110的功能由电子设备120提供和/或与该电子设备结合。

在一些具体实施中，电子设备120被配置为向用户提供XR体验。在一些具体实施中，电子设备120包括软件、固件和/或硬件的合适组合。根据一些具体实施，在用户物理地存在于物理环境105内时，电子设备120经由显示器122向用户呈现XR内容，该物理环境包括处于电子设备120的视场111内的桌子107。在一些具体实施中，用户将电子设备120拿在他/她的一只或两只手中。在一些具体实施中，在提供XR内容时，电子设备120被配置为显示XR对象(例如，XR圆柱体109)并实现在显示器122上对(例如，包括桌子107的表示117的)物理环境105的视频透传。下文参考图3更详细地描述电子设备120。

根据一些具体实施，在用户虚拟地和/或物理地存在于物理环境105内的同时，电子设备120向用户提供XR体验。

在一些具体实施中，用户将电子设备120佩戴在他/她的头上。例如，在一些具体实施中，电子设备包括头戴式系统(HMS)、头戴式设备(HMD)或头戴式外壳(HME)。因此，电子设备120包括被设置成显示XR内容的一个或多个XR显示器。例如，在各种具体实施中，电子设备120包围用户的视场。在一些具体实施中，电子设备120是被配置为呈现XR内容的手持设备(诸如智能电话或平板电脑)，并且用户不再佩戴电子设备120而是手持该设备，同时使显示器朝向用户的视场，并且使相机朝向物理环境105。在一些具体实施中，手持设备可被放置在可被佩戴在使用者的头部的外壳内。在一些具体实施中，用被配置为呈现XR内容的XR舱、外壳或室替代电子设备120，用户在其中不再佩戴或手持电子设备120。

图2是根据一些具体实施的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理核心等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE和/或相似类型接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。

在一些具体实施中，该一条或多条通信总线204包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。

存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些具体实施中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些具体实施中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统230和XR体验模块240。

操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，XR体验模块240被配置为管理和协调一个或多个用户的单重或多重XR体验(例如，一个或多个用户的单重XR体验，或一个或多个用户的相应群组的多重XR体验)。为此，在各种具体实施中，XR体验模块240包括数据获取单元242、跟踪单元244、协调单元246和数据传输单元248。

在一些具体实施中，数据获取单元242被配置为至少从图1的电子设备120获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取单元242包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，跟踪单元244被配置为映射物理环境105并且至少跟踪电子设备120相对于图1的物理环境105的位置/定位。为此，在各种具体实施中，跟踪单元244包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，协调单元246被配置为管理和协调电子设备120向用户呈现的XR体验。为此，在各种具体实施中，协调单元246包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，数据传输单元248被配置为至少向电子设备120传输数据(例如，呈现数据、位置数据等)。为此，在各种具体实施中，数据传输单元248包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

尽管数据获取单元242、跟踪单元244、协调单元246和数据传输单元248被示为驻留在单个设备(例如，控制器110)上，但应当理解，在其他具体实施中，数据获取单元242、跟踪单元244、协调单元246和数据传输单元248的任何组合可位于单独计算设备中。

此外，图2更多地用作可以存在于特定具体实施中的各种特征的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图3是根据一些具体实施的电子设备120的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，电子设备120包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个XR显示器312、一个或多个任选的面向内部和/或面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。

在一些具体实施中，一条或多条通信总线304包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎以及/或者一个或多个深度传感器(例如，结构光、飞行时间等)等。

在一些具体实施中，一个或多个XR显示器312被配置为向用户提供XR体验。在一些具体实施中，一个或多个XR显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或类似的显示器类型。在一些具体实施中，一个或多个XR显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，电子设备120包括单个XR显示器。又如，电子设备对于用户的每只眼睛包括XR显示器。在一些具体实施中，一个或多个XR显示器312能够呈现MR和VR内容。

在一些具体实施中，一个或多个图像传感器314被配置为获取对应于用户面部的至少一部分(包括用户的眼睛)的图像数据(因而可称为眼睛跟踪相机)。在一些具体实施中，一个或多个图像传感器314被配置为面向前方，以便获取对应于当不存在电子设备120时用户将看到的场景的图像数据(因而可以被称为场景相机)。一个或多个任选图像传感器314可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、一个或多个红外(IR)相机以及/或者一个或多个基于事件的相机等。

存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些具体实施中，存储器320或存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括可选的操作系统330和XR呈现模块340。

操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，XR呈现模块340被配置为经由一个或多个XR显示器312向用户呈现XR内容。为此，在各种具体实施中，XR呈现模块340包括数据获得单元342、输入引导单元344、XR呈现单元346和数据传输单元348。

在一些具体实施中，数据获取单元342被配置为至少从图1的控制器110获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取单元342包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，输入引导单元344被配置为将用户输入从该一个或多个I/O设备和传感器306的输入设备引导到XR呈现单元346(例如，以更新该一个或多个XR显示器312)或数据传输单元348(例如，以更新另一电子设备的显示器)。为此，在各种具体实施中，输入引导单元344包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，XR呈现单元346被配置为经由该一个或多个XR显示器312呈现XR内容，诸如接近文本输入设备的位置处的所选文本输入字段的表示。出于该目的，在各种具体实施中，XR呈现单元346包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，数据传输单元348被配置为至少向控制器110传输数据(例如，呈现数据、位置数据等)。在一些具体实施中，数据传输单元348被配置为向电子设备传输认证凭据。为此，在各种具体实施中，数据传输单元348包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

尽管数据获得单元342、输入引导单元344、XR呈现单元346和数据传输单元348被示为驻留在单个设备(例如，电子设备120)上，但应当理解，在其他具体实施中，数据获得单元342、输入引导单元344、XR呈现单元346和数据传输单元348的任何组合可位于单独计算设备中。

此外，图3更多地用作可能存在于特定实施方案中的各种特征的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图4A至图4F示出了包括物理触控板430的第一XR环境400。图4A至图4F示出了第一XR环境400，该第一XR环境处于电子设备的用户的视角并且至少部分地由电子设备的显示器显示。在各种具体实施中，用户的视角来自电子设备的图像传感器的位置。例如，在各种具体实施中，电子设备是手持式电子设备，并且用户的视角来自朝向物理环境的手持式电子设备的图像传感器的位置。在各种具体实施中，用户的视角来自电子设备的用户的位置。例如，在各种具体实施中，电子设备是头戴式电子设备，并且用户的视角来自朝向物理环境的用户的位置，在头戴式电子设备不存在的情况下，其通常近似于用户的视场。在各种具体实施中，用户的视角来自用户的头像的位置。例如，在各种具体实施中，第一XR环境400是虚拟环境，并且用户的视角来自朝向该虚拟环境的用户的头像或其他表示的位置。

图4A至图4F示出了一连串的时间段期间的第一XR环境400。在各种具体实施中，每个时间段都是瞬间、几分之一秒、几秒、几小时、几天或任何时间长度。

第一XR环境400包括多个对象，包括一个或多个物理对象(例如，桌子413和物理触控板430)和一个或多个虚拟对象(例如，第一虚拟显示器411、第二虚拟显示器412和设备状态指示符490)。在各种具体实施中，某些对象(诸如物理对象413和430，以及虚拟显示器411和412)被显示在第一XR环境400中的位置处，例如在由三维(3D)XR坐标系中的三个坐标限定的位置处。因此，当用户在第一XR环境400中移动(例如，改变位置和/或取向)时，对象在电子设备的显示器上移动，但保持其在第一XR环境400中的位置。在各种具体实施中，某些虚拟对象(诸如设备状态指示符490)被显示在显示器上的位置处，使得当用户在第一XR环境400中移动时，对象在电子设备上的显示器上为静止的。设备状态指示符490显示关于电子设备的状态的信息，诸如时间和/或剩余电量。

尽管图4A至图4F示出了两个虚拟显示器411和412以及物理触控板430，但是在各种具体实施中，虚拟显示器411和412中的任一者或两者是物理显示器并且/或者物理触控板430是虚拟触控板。

图4A至图4F示出了接近物理触控板430的各种位置处的用户的指尖499。为了便于说明，用户的其他部分(诸如用户的手指或手的其余部分)未示出。此外，为了便于说明，指尖499的阴影被显示在指尖499下方的位置处，以示出指尖499悬停在物理触控板430上方与接触物理触控板430之间的差异。

图4A示出了第一时间段期间的第一XR环境400。在第一时间段期间，指尖499接触物理触控板430的左下角。在第一时间段期间，第一虚拟显示器411包括显示在第一虚拟显示器411的左上角中的光标440。

图4B示出了第一时间段之后的第二时间段期间的第一XR环境400。在第二时间段期间，与第一时间段相比，指尖499已经向右移动，接触物理触控板430的右下角。作为响应，光标440已经向右移动，显示在第一虚拟显示器411的右上角中。

图4C示出了第二时间段之后的第三时间段期间的第一XR环境400。在第三时间段期间，与第二时间段相比，指尖499已经抬起并且悬停在物理触控板430的右下角上方。在第三时间段期间，光标440保持显示在第一虚拟显示器411的右上角中。

图4D示出了第三时间段之后的第四时间段期间的第一XR环境400。在第四时间段期间，与第三时间段相比，指尖499已经向左移动，悬停在物理触控板430的左下角上方。然而，因为在指尖430悬停在物理触控板430上方并且不与该物理触控板接触时，发生了指尖430的运动，所以光标440不移动并且保持显示在第一虚拟显示器411的右上角中。

图4E示出了第四时间段之后的第五时间段期间的第一XR环境400。在第五时间段期间，与第四时间段相比，指尖499已经落下并且接触物理触控板430的左下角。在第五时间段期间，光标440保持显示在第一虚拟显示器411的右上角中。

图4F示出了第五时间段之后的第六时间段期间的第一XR环境400。在第六时间段期间，与第五时间段相比，指尖499已经向右移动，接触物理触控板430的右下角。作为响应，光标440已经向右移动，显示在第二虚拟显示器412的左上角中。因此，在各种具体实施中，光标440向右移动，并且在到达第一虚拟显示器411的边缘时，跳到第二虚拟显示器412的邻近边缘，并且继续向右移动。

图5A至图5Q示出了包括虚拟触控板530的第二XR环境500。图5A至图5Q示出了第二XR环境500，该第二XR环境处于电子设备的用户的视角并且至少部分地由电子设备的显示器显示。图5A至图5Q示出了一连串的时间段期间的第二XR环境500。在各种具体实施中，每个时间段都是瞬间、几分之一秒、几秒、几小时、几天或任何时间长度。

第二XR环境500包括多个对象，包括一个或多个物理对象(例如，桌子513)和一个或多个虚拟对象(例如，第一虚拟显示器511、第二虚拟显示器512、虚拟触控板530和设备状态指示符590)。在各种具体实施中，某些对象(诸如物理对象513、虚拟显示器511和512，以及虚拟触控板530)被显示在第二XR环境500中的位置处，例如在由三维(3D)XR坐标系中的三个坐标限定的位置处。因此，当用户在第二XR环境500中移动(例如，改变位置和/或取向)时，对象在电子设备的显示器上移动，但保持其在第二XR环境500中的位置。在各种具体实施中，某些虚拟对象(诸如设备状态指示符590)被显示在显示器上的位置处，使得当用户在第二XR环境500中移动时，对象在电子设备上的显示器上为静止的。设备状态指示符590显示关于电子设备的状态的信息，诸如时间和/或剩余电量。

尽管图5A至图5Q示出了两个虚拟显示器511和512以及虚拟触控板530，但是在各种具体实施中，虚拟显示器511和512中的任一者或两者是物理显示器并且/或者虚拟触控板530是物理触控板。

图5A至图5Q示出了显示在桌子513的一部分上的虚拟触控板530。图5A至图5Q示出了接近虚拟触控板530的各种位置处的用户的指尖599。为了便于说明，用户的其他部分(诸如用户的手指或手的其余部分)未示出。此外，为了便于说明，指尖599的阴影被显示在指尖599下方的位置处，以示出指尖599悬停在虚拟触控板530上方与接触虚拟触控板530之间的差异。

图5A至图5Q示出了注视方向指示符550，其指示用户的注视方向，例如，用户正在看第二XR环境500中的哪里。尽管在图5A至图5Q中显示了注视方向指示符550，但是在各种具体实施中，不显示注视方向指示符550。

图5A示出了第一时间段期间的第二XR环境500。在第一时间段期间，指尖599悬停在虚拟触控板530的左上角上方。在第一时间段期间，第一虚拟显示器511在第一虚拟显示器511的左上角中显示光标540。在第一时间段期间，注视方向指示符550被显示在第一虚拟显示器511的一部分上方，指示用户在第一时间段期间正在看第一虚拟显示器511。

图5B示出了第一时间段之后的第二时间段期间的第二XR环境500。在第二时间段期间，指尖599悬停在虚拟触控板530的右下角上方。在第二时间段期间，第一虚拟显示器511在第一虚拟显示器511的右下角中显示光标540。在第二时间段期间，注视方向指示符550被显示在第一虚拟显示器511的一部分上方，指示用户在第二时间段期间正在看第一虚拟显示器511。

在各种具体实施中，触控板被配置为处于相对模式或绝对模式。图4A至图4F的物理触控板430被配置为处于相对模式，而图5A至图5Q的虚拟触控板530被配置为处于绝对模式。

在各种具体实施中，在相对模式下，指尖接触在一个方向上的运动(独立于指尖接触在触控板上的起始位置)将光标从显示器上的当前位置在该方向上移动。例如，在图4B中，响应于指尖499接触物理触控板430并向右移动，光标440向右移动。又如，在图4F中，响应于指尖499接触物理触控板430并向右移动，光标440在第一虚拟显示器上进一步向右移动，然后移动到第二虚拟显示器412上。

在各种具体实施中，在绝对模式下，在触控板的位置处检测到指尖(悬停或接触)，并且光标被显示在显示器的对应位置处。例如，在图5A中，指尖599被定位成悬停在虚拟触控板530的左上角上方，并且作为响应，光标540被显示在第一虚拟显示器511的左上角中。又如，在图5B中，指尖599被定位成悬停在虚拟触控板530的右下角上方，并且作为响应，光标被显示在第一虚拟显示器511的右下角中。

此外，与响应于指尖与触控板的接触而光标移动的相对模式相比，在绝对模式下，响应于检测到与触控板接触或悬停在触控板上方的指尖的新位置而光标移动。例如，在图4D中，虽然指尖499向左移动，但是光标440不移动，因为指尖499不与物理触控板430接触。相比之下，在图5B中，当指尖599从虚拟触控板530的左上角移动到虚拟触控板530的右下角而不接触虚拟触控板530时，光标540从第一虚拟显示器511的左上角移动到第一虚拟显示器511的右下角。

图5C示出了第二时间段之后的第三时间段期间的第二XR环境500。在第三时间段期间，指尖599接触虚拟触控板530的右下角。在第三时间段期间，第一虚拟显示器511在第一虚拟显示器511的右下角中显示光标540。在第三时间段期间，注视方向指示符550被显示在第一虚拟显示器511的一部分上方，指示用户在第三时间段期间正在看第一虚拟显示器511。

在各种具体实施中，根据指尖599是接触虚拟触控板530还是悬停在虚拟触控板530上方，以不同方式显示光标。例如，在图5B中，光标540以悬停方式显示为指示指尖599正悬停在虚拟触控板530上方的空心圆，而在图5C中，光标540以接触方式显示为指示指尖599正接触虚拟触控板530(或虚拟触控板530显示在其上方的桌子513)的实心圆(例如，实心黑圆)。

图5D示出了第三时间段之后的第四时间段期间的第二XR环境500。在第四时间段期间，指尖599在接触虚拟触控板530时已经从虚拟触控板530的右下角移动到虚拟触控板530的左下角。作为响应，第一虚拟显示器511以接触方式在第一虚拟显示器511的左下角中显示光标540。此外，作为响应，第一虚拟显示器511显示描述光标540在第三时间段与第四时间段之间的路径的第一标记561。在第四时间段期间，注视方向指示符550被显示在第一虚拟显示器511的一部分上方，指示用户在第四时间段期间正在看第一虚拟显示器511。

在图5A至图5Q中，第一虚拟显示器511和第二虚拟显示器512显示绘图应用程序的实例，其中在光标540指示指尖599与虚拟触控板530接触并且沿着路径移动时，留下标记以指示该路径。

图5E示出了第四时间段之后的第五时间段期间的第二XR环境500。在第五时间段期间，指尖599已经抬起并且悬停在虚拟触控板530的左下角上方。作为响应，第一虚拟显示器511以悬停方式在第一虚拟显示器511的左下角中显示光标540。在第五时间段期间，注视方向指示符550被显示在第一虚拟显示器511的一部分上方，指示用户在第五时间段期间正在看第一虚拟显示器511。

图5F示出了第五时间段之后的第六时间段期间的第二XR环境500。在第六时间段期间，指尖599已经从悬停在虚拟触控板530的左下角上方移动到悬停在虚拟触控板530的右上角上方。作为响应，光标540已经从第一虚拟显示器511的左下角移动到第一虚拟显示器511的右上角。在第六时间段期间，注视方向指示符550被显示在第一虚拟显示器511的一部分上方，指示用户在第六时间段期间正在看第一虚拟显示器511。

图5G示出了第六时间段之后的第七时间段期间的第二XR环境500。在第七时间段期间，指尖599尚未移动并且保持悬停在虚拟触控板530的右上角上方。然而，在第七时间段期间，注视方向指示符550被显示在第二虚拟显示器512的一部分上方，指示用户在第七时间段期间正在看第二虚拟显示器512。因此，第一虚拟显示器511不再显示光标540，并且第二虚拟显示器512显示光标540。此外，因为指尖599悬停在虚拟触控板530的右上角上方，所以光标540被显示在第二虚拟显示器512的右上角中。

为了将光标440从一个显示器移动到另一个显示器，在图4A至图4F中，其中物理触控板430被配置在相对模式下，指尖499从左到右移动(同时接触物理触控板430)，从右到左移动(同时悬停在物理触控板430上方)，并且再次从左到右移动(同时接触物理触控板430)。然而，在图5A至图5Q中，其中虚拟触控板530被配置为处于绝对模式，这样的过程不会导致光标540从一个显示器移动到另一个显示器。相反，如果指尖599从虚拟触控板530的左侧移动到虚拟触控板530的右侧(或反之亦然)，则不管接触如何，光标540移动到虚拟显示器上的对应位置。因此，为了将光标540从第一虚拟显示器511移动到第二虚拟显示器512，用户将注视从第一虚拟显示器511改变到第二虚拟显示器512。

图5H示出了第七时间段之后的第八时间段期间的第二XR环境500。在第八时间段期间，指尖599已经从悬停在虚拟触控板530的右上角上方移动到悬停在虚拟触控板530的左上角上方。作为响应，光标540已经从第二虚拟显示器512的右上角移动到第二虚拟显示器512的左上角。在第八时间段期间，注视方向指示符550被显示在第二虚拟显示器512的一部分上方，指示用户在第八时间段期间正在看第二虚拟显示器512。

图5I示出了第八时间段之后的第九时间段期间的第二XR环境500。在第九时间段期间，指尖599已经落下以接触虚拟触控板530的左上角。作为响应，光标540的显示已经从悬停方式改变到接触方式。在第九时间段期间，注视方向指示符550被显示在第二虚拟显示器512的一部分上方，指示用户在第九时间段期间正在看第二虚拟显示器512。

图5J示出了第九时间段之后的第十时间段期间的第二XR环境500。在第十时间段期间，指尖599已经从虚拟触控板530的左上角移动到虚拟触控板530的中心。作为响应，光标540已经从第二虚拟显示器512的左上角移动到第二虚拟显示器512的中心，留下显示在第二虚拟显示器512上的第二标记562。在第十时间段期间，注视方向指示符550被显示在第二虚拟显示器512的一部分上方，指示用户在第十时间段期间正在看第二虚拟显示器512。

图5K示出了第十时间段之后的第十一时间段期间的第二XR环境500。在第十一时间段期间，指尖599已经抬起并从虚拟触控板530的中心移动到对应于第二标记562的位置的位置。作为响应，光标540已经从第二虚拟显示器512的中心移动到第二标记562的位置。在第十一时间段期间，注视方向指示符550被显示在第二虚拟显示器512的一部分上方，指示用户在第十一时间段期间正在看第二虚拟显示器512。

图5L示出了第十一时间段之后的第十二时间段期间的第二XR环境500。在第十二时间段期间，指尖599已经移动以选择第二标记562(例如，通过落下和抬起以在对应于第二标记的位置的位置处短暂地接触该触控板)。作为响应，第二虚拟显示器512显示(以第一方式)围绕第二标记562的选择指示符563以指示选择了第二标记562。在第十二时间段期间，注视方向指示符550被显示在第二虚拟显示器512的一部分上方，指示用户在第十二时间段期间正在看第二虚拟显示器512。

图5M示出了第十二时间段之后的第十三时间段期间的第二XR环境500。在第十三时间段期间，指尖599已经落下以保持选择，例如，将第二标记562与光标540相关联。作为响应，第二虚拟显示器512以接触方式显示光标540并以第二方式显示选择指示符563以指示保持该选择。在第十三时间段期间，注视方向指示符550被显示在第二虚拟显示器512的一部分上方，指示用户在第十三时间段期间正在看第二虚拟显示器512。

图5N示出了第十三时间段之后的第十四时间段期间的第二XR环境500。在第十四时间段期间，指尖599尚未移动。然而，在第十四时间段期间，注视方向指示符550被显示在第一虚拟显示器511的一部分上方，指示用户在第十四时间段期间正在看第一虚拟显示器511。因此，第二虚拟显示器512不再显示光标540，并且第一虚拟显示器511在相同的对应位置处显示光标540。此外，因为第二标记562与光标540相关联，所以第二虚拟显示器512不再显示第二标记562并且第一虚拟显示器511显示第二标记562。

图5O示出了第十四时间段之后的第十五时间段期间的第二XR环境500。在第十五时间段期间，指尖599在接触虚拟触控板530时向下移动(更接近用户的视角)。作为响应，光标540(和相关联的第二标记562)在第一虚拟显示器511上向下移动。在第十五时间段期间，注视方向指示符550被显示在第一虚拟显示器511的一部分上方，指示用户在第十五时间段期间正在看第一虚拟显示器511。

图5P示出了第十五时间段之后的第十六时间段期间的第二XR环境500。在第十六时间段期间，指尖599已经抬起以悬停在虚拟触控板530上方。作为响应，以悬停方式显示光标540。此外，第二标记562与光标540解除关联，并且以第一方式显示选择指示符。在第十六时间段期间，注视方向指示符550被显示在第一虚拟显示器511的一部分上方，指示用户在第十六时间段期间正在看第一虚拟显示器511。

图5Q示出了第十六时间段之后的第十七时间段期间的第二XR环境500。在第十七时间段期间，指尖599尚未移动。然而，在第十七时间段期间，注视方向指示符550被显示在第二虚拟显示器512的一部分上方，指示用户在第十七时间段期间正在看第二虚拟显示器511。因此，第一虚拟显示器511不再显示光标540，并且第二虚拟显示器512在相同的对应位置处显示光标540。

尽管图4A至图4F示出了以相对模式操作的物理触控板430并且图5A至图5Q示出了以绝对模式操作的虚拟触控板530，但是在各种具体实施中，物理触控板以相对模式或绝对模式操作，或者虚拟触控板以相对模式或绝对模式操作。

图6A至图6D示出了包括物理键盘630的第三XR环境600。图6A至图6D示出了第三XR环境600，该第三XR环境处于第一电子设备的用户的视角并且至少部分地由第一电子设备的显示器显示。图6A至图6D示出了一连串的时间段期间的第三XR环境600。在各种具体实施中，每个时间段都是瞬间、几分之一秒、几秒、几小时、几天或任何时间长度。

第三XR环境600包括多个对象，其中包括一个或多个物理对象(例如，桌子613、物理键盘630、第二电子设备620和与第二电子设备620相关联的物理显示器612)和一个或多个虚拟对象(例如，虚拟显示器611和设备状态指示符690)。在各种具体实施中，某些对象(诸如物理对象612、613、620和630，以及虚拟显示器611)被显示在第三XR环境600中的位置处，例如在由三维(3D)XR坐标系中的三个坐标限定的位置处。因此，当用户在第三XR环境600中移动(例如，改变位置和/或取向)时，对象在第一电子设备的显示器上移动，但保持其在第三XR环境600中的位置。在各种具体实施中，某些虚拟对象(诸如设备状态指示符690)被显示在显示器上的位置处，使得当用户在第三XR环境600中移动时，对象在第一电子设备上的显示器上为静止的。设备状态指示符690显示关于第一电子设备的状态的信息，诸如时间和/或剩余电量。

尽管图6A至图6D示出了虚拟显示器611、物理显示器612和物理键盘630，但是在各种具体实施中，显示器611和612中的任一者或两者是虚拟或物理显示器并且/或者物理键盘630是虚拟键盘。

图6A至图6D示出了注视方向指示符650，其指示用户的注视方向，例如，用户正在看第三XR环境600中的哪里。尽管在图6A至图6D中显示了注视方向指示符650，但是在各种具体实施中，不显示注视方向指示符650。

物理键盘630是耦接到第一电子设备的输入设备。因此，第一电子设备从物理键盘630接收用户输入。虚拟显示器611是由第一电子设备显示的输出设备。物理显示器612是耦接到第二电子设备620的输出设备。

图6A示出了第一时间段期间的第三XR环境600。在第一时间段期间，注视方向指示符650被显示在虚拟显示器611的一部分上方，指示用户在第一时间段期间正在看虚拟显示器611。因此，虚拟显示器611显示光标640。

图6B示出了第一时间段之后的第二时间段期间的第三XR环境600。在第一时间段和第二时间段之间，第一电子设备经由物理键盘630接收用户输入。因此，在第二时间段期间，虚拟显示器611显示第一内容661。在第二时间段期间，注视方向指示符650被显示在虚拟显示器611的一部分上方，指示用户在第二时间段期间正在看虚拟显示器611。

图6C示出了第二时间段之后的第三时间段期间的第三XR环境600。在第三时间段期间，注视方向指示符650被显示在物理显示器612的一部分上方，指示用户在第三时间段期间正在看物理显示器612。因此，在第三时间段期间，物理显示器612显示光标640。

图6D示出了第三时间段之后的第四时间段期间的第三XR环境600。在第三时间段和第四时间段之间，第一电子设备经由物理键盘630接收用户输入。因此，在第四时间段期间，物理显示器612显示第二内容662。在各种具体实施中，第一电子设备经由物理键盘630接收用户输入，并且响应于确定用户正在看与第二电子设备620相关联的物理显示器612，将用户输入传输(例如，转发)到第二电子设备620。在各种具体实施中，第一电子设备经由物理键盘630接收用户输入，并且响应于确定用户正在看与第二电子设备620相关联的物理显示器612，将基于用户输入调整的图像传输(例如，转发)到第二电子设备620。在第四时间段期间，注视方向指示符650被显示在虚拟显示器612的一部分上方，指示用户在第四时间段期间正在看物理显示器612。

图7A至图7E示出了包括物理鼠标730的第四XR环境700。图7A至图7E示出了第四XR环境700，该第四XR环境处于第一电子设备的用户的视角并且至少部分地由第一电子设备的显示器显示。图7A至图7E示出了一连串的时间段期间的第四XR环境700。在各种具体实施中，每个时间段都是瞬间、几分之一秒、几秒、几小时、几天或任何时间长度。

第四XR环境700包括多个对象，其中包括一个或多个物理对象(例如，桌子713、物理鼠标730、第二电子设备720和与第二电子设备720相关联的物理显示器712)和一个或多个虚拟对象(例如，虚拟显示器711和设备状态指示符790)。在各种具体实施中，某些对象(诸如物理对象712、713、720和730，以及虚拟显示器711)被显示在第四XR环境700中的位置处，例如在由三维(3D)XR坐标系中的三个坐标限定的位置处。因此，当用户在第四XR环境700中移动(例如，改变位置和/或取向)时，对象在第一电子设备的显示器上移动，但保持其在第四XR环境700中的位置。在各种具体实施中，某些虚拟对象(诸如设备状态指示符790)被显示在显示器上的位置处，使得当用户在第四XR环境700中移动时，对象在第一电子设备上的显示器上为静止的。设备状态指示符790显示关于第一电子设备的状态的信息，诸如时间和/或剩余电量。

尽管图7A至图7D示出了虚拟显示器711、物理显示器712和物理鼠标730，但是在各种具体实施中，显示器711和712中的任一者或两者是虚拟或物理显示器并且/或者物理鼠标730是虚拟鼠标。

图7A至图7E示出了注视方向指示符750，其指示用户的注视方向，例如，用户正在看第四XR环境700中的哪里。尽管在图7A至图7E中显示了注视方向指示符750，但是在各种具体实施中，不显示注视方向指示符750。

物理鼠标730是耦接到第一电子设备的输入设备。因此，第一电子设备从物理鼠标730接收指示用户输入的数据。虚拟显示器711是耦接到第一电子设备的输出设备。物理显示器712是耦接到第二电子设备720的输出设备。

图7A示出了第一时间段期间的第四XR环境700。在第一时间段期间，注视方向指示符750被显示在虚拟显示器711的一部分上方，指示用户在第一时间段期间正在看虚拟显示器711。因此，虚拟显示器711在第一位置处显示光标740。

图7B示出了第一时间段之后的第二时间段期间的第四XR环境700。在第二时间段期间，物理鼠标730已经向右移动。因此，光标740被向右移动到虚拟显示器711上的第二位置。在第二时间段期间，注视方向指示符750被显示在虚拟显示器711的一部分上方，指示用户在第二时间段期间正在看虚拟显示器711。

图7C示出了第二时间段之后的第三时间段期间的第四XR环境700。在第三时间段期间，注视方向指示符750被显示在物理显示器712的一部分上方，指示用户在第三时间段期间正在看物理显示器712。因此，光标740被显示在物理显示器712上的第一位置处，该第一位置对应于虚拟显示器711上光标740在第二时间段期间被显示的第二位置。例如，因为光标740在第二时间段期间被显示在虚拟显示器711的右上角，所以光标740在第三时间段期间被显示在物理显示器712的右上角。在各种具体实施中，响应于检测到用户正在看与第二电子设备720相关联的物理显示器712，第一电子设备将光标740的位置传输到第二电子设备720。

图7D示出了第三时间段之后的第四时间段期间的第四XR环境700。在第四时间段期间，物理鼠标730已经向左移动。因此，光标740被向左移动到物理显示器712上的第二位置。在各种具体实施中，第一电子设备经由物理鼠标730接收用户输入(例如，物理鼠标730的移动)，并且响应于确定用户正在看与第二电子设备720相关联的物理显示器712，将用户输入传输(例如，转发)到第二电子设备720。在各种具体实施中，第一电子设备经由物理鼠标730接收用户输入，并且响应于确定用户正在看与第二电子设备720相关联的物理显示器712，将基于用户输入调整的图像传输(例如，转发)到第二电子设备720。在第四时间段期间，注视方向指示符750被显示在物理显示器712的一部分上方，指示用户在第四时间段期间正在看物理显示器712。

图7E示出了第四时间段之后的第五时间段期间的第四XR环境700。在第五时间段期间，物理鼠标730已经向左移动。作为响应，光标740已经向左移动，显示在虚拟显示器711的右上角中。因此，在各种具体实施中，光标740向左移动，并且在到达物理显示器712的边缘时，跳到虚拟显示器711的邻近边缘，并且继续向左移动。在第五时间段期间，注视方向指示符750被显示在物理显示器712的一部分上方，指示用户在第五时间段期间正在看物理显示器712。因此，即使用户正在看物理显示器712，光标740也被显示在虚拟显示器711上。

图7F示出了第五时间段之后的第六时间段期间的第四XR环境700。在第六时间段期间，物理鼠标730没有移动。因此，光标740不移动。在第五时间段期间，注视方向指示符750被显示在虚拟显示器711的一部分上方，指示用户在第六时间段期间正在看虚拟显示器711。因此，用户正在看的显示器已经改变，光标740没有移动。

因此，在各种具体实施中，当光标被显示在特定显示器上的特定位置处并且用户的注视被改变为指向该特定显示器时，光标不从该特定显示器上的特定位置移动。

在上述示例中，应当理解，在各种具体实施中，每个输入设备和每个显示器可以是物理的或虚拟的。

在上述各种示例中，当用户改变用户正在看的显示器时，光标在显示器之间切换。在各种具体实施中，用户可能希望在看第二显示器的同时将光标保持在第一显示器上。例如，用户可能希望通过将用户输入引导到第一显示器上的文字处理应用程序来转录在第二显示器上显示的文档。又如，用户可能希望通过将用户输入引导到第一显示器上的记事本应用程序来对显示在第二显示器上的视频演示做笔记。又如，用户可能期望基于第二显示器上显示的图像，通过将用户输入引导到第一显示器上的绘图应用程序来绘制图片。

因此，在各种具体实施中，用户可将光标锁定到第一显示器，使得当用户改变用户正在看的显示器时，光标保持在第一显示器上并且用户输入被引导到第一显示器。在各种具体实施中，用户通过选择示能性、发出口头命令、输入键击组合或经由任何其他用户输入来锁定光标。在各种具体实施中，电子设备在没有明确的用户输入的情况下锁定光标。例如，在各种具体实施中，如果用户输入连续输入，诸如经由键盘键入词语短语或句子或者利用触控板或鼠标绘制连续笔划，则光标被锁定。在各种具体实施中，在接收到用户输入之后，光标被锁定预定义时间段。类似地，在各种具体实施中，用户可经由用户输入来解锁光标，使得当用户改变用户正在看的显示器时，光标被切换到用户正在看的显示器。

图8是根据一些具体实施的处理输入的方法800的流程图表示。在各种具体实施中，方法800由具有显示器、一个或多个处理器和非暂态存储器的设备(例如，图3的电子设备120)来执行。在一些具体实施中，方法800由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法800由执行存储在非暂态计算机可读介质(例如，存储器)中的指令(例如，代码)的处理器执行。

方法800从框810开始，其中第一电子设备确定注视方向。在各种具体实施中，第一电子设备包括确定注视方向的眼睛跟踪器。在各种具体实施中，眼睛跟踪器基于用户的至少一只眼睛的图像来确定注视方向。在各种实施方案中，第一电子设备包括确定用户的头部姿势的IMU(惯性测量单元)。在各种具体实施中，第一电子设备基于头部姿势来确定注视方向，例如，假设当用户向左转动他们的头部时，注视方向也向左转动。

方法800继续到框820，其中设备基于确定注视方向指向目标电子设备的显示器来选择目标电子设备。例如，在图6A中，第一电子设备确定注视方向指向虚拟显示器611并且选择第一电子设备本身作为目标电子设备。又如，在图6C中，第一电子设备确定注视方向指向物理显示器612并且选择第二电子设备620作为目标设备。

在各种具体实施中，该显示器是虚拟显示器(由目标电子设备的物理显示器显示)。因此，在各种具体实施中，选择目标电子设备基于确定注视方向指向目标电子设备的显示器的一部分，例如，物理显示器的在显示虚拟显示器的部分。

在各种具体实施中，确定注视方向指向目标电子设备的显示器包括在包括目标电子设备的显示器的环境的图像中检测目标电子设备的显示器，并且在各种具体实施中，包括确定目标电子设备的显示器在该图像和/或环境中的位置。在各种具体实施中，尽管目标电子设备的显示器在环境中，但目标电子设备不在环境中。

在各种具体实施中，目标电子设备的显示器通信地耦接到目标电子设备。在各种具体实施中，目标电子设备的显示器由目标电子设备控制，例如，目标电子设备指示该显示器要显示的内容。

方法800继续到框830，其中第一电子设备经由输入设备接收一个或多个输入。在各种具体实施中，该一个或多个输入包括指示用户的动作(例如，移动用户身体的一部分)的数据。在各种具体实施中，该一个或多个输入包括光标的移动和/或文本的插入。在各种具体实施中，输入设备包括物理键盘、物理鼠标、物理触控板或物理开关设备中的至少一者。在各种具体实施中，输入设备包括虚拟键盘、虚拟鼠标、虚拟触控板或虚拟开关设备中的至少一者。

开关设备是生成包括二进制输入的二进制输入流的设备。开关设备可包括例如当开关被按下时产生“开”输入并且当开关未被按下时产生“关”输入的开关。又如，开关设备可包括相机，该相机当用户将他/她的头向左转时产生“开”输入并且当该相机未检测到该运动时产生“关”输入。二进制输入流可为例如具有指示“开”输入的第一值(例如，5V)及指示“关”输入的第二值(例如，0V)的电压波形。

在各种具体实施中，开关设备可生成多个二进制输入流。开关设备可例如包括第一开关和第二开关。当第一开关被按下时，第一开关产生第一“开”输入，并且当第一开关未被按下时，第一开关产生第一“关”输入。类似地，当第二开关被按下时，第二开关产生第二“开”输入，并且当第二开关未被按下时，第二开关产生第二“关”输入。第一“开”输入和第二“开”输入在不同的上下文中可具有不同的效果。又如，开关设备可包括当用户将他/她的头向左转时产生第一“开”输入并且当用户将他/她的头向右转时产生第二“开”输入的相机。

用于活动受限的人的多种开关设备可用于产生开关输入，包括检测何时空气被吹入吸管或人何时眨眼的设备。活动受限的人在操作用于多个电子设备的多个输入设备方面可能特别困难，并且可能特别受益于使用单个输入设备(例如，开关设备)来操作多个电子设备。

在各种具体实施中，方法800还包括显示虚拟输入设备，诸如虚拟键盘或虚拟鼠标，并且一个或多个输入包括指示用户与虚拟输入设备的交互的数据。在各种具体实施中，方法800还包括显示虚拟触控板，并且该一个或多个输入包括指示用户的指尖相对于虚拟触控板的移动的数据。在各种具体实施中，该一个或多个输入是由具有检测该移动的IMU的戴在手指上的设备生成的。在各种具体实施中，该一个或多个输入由跟踪用户的指尖的相机生成。因此，在各种具体实施中，输入设备是相机。在各种具体实施中，输入设备是麦克风。例如，在各种具体实施中，输入包括指示用户说出某些字词的数据。

方法800继续到框840，其中第一电子设备基于目标电子设备来处理该一个或多个输入。在各种具体实施中，目标电子设备是第一电子设备，并且处理该一个或多个输入包括更新第一电子设备的第一显示器。在各种具体实施中，第一显示器是虚拟显示器。例如，在图6B中，因为注视方向指向虚拟显示器611，所以第一电子设备是目标设备，并且响应于从物理键盘630接收到的输入，第一电子设备更新虚拟显示器611以包括第一内容661。又如，在图7B中，因为注视方向指向虚拟显示器711，所以第一电子设备是目标设备，并且响应于从物理鼠标730接收到的输入，第一电子设备通过移动光标740来更新虚拟显示器711。

在各种具体实施中，目标电子设备是第二电子设备，并且处理该一个或多个输入包括将该一个或多个输入传输到第二电子设备。例如，在图6D中，因为注视方向指向物理显示器612，所以第二电子设备620是目标电子设备，并且响应于从物理键盘630接收到的输入，第一电子设备将该输入传输到第二电子设备620，第二电子设备继而更新物理显示器612以包括第二内容662。又如，在图7D中，因为注视方向指向物理显示器712，所以第二电子设备720是目标电子设备，并且响应于从物理鼠标730接收到的输入，第一电子设备将该输入传输到第二电子设备720，第二电子设备继而通过移动光标740来更新物理显示器712。在各种具体实施中，目标电子设备是第二电子设备，并且处理该一个或多个输入包括基于该一个或多个输入来更新显示内容以及将所更新的显示内容传输到第二电子设备。在各种具体实施中，第二电子设备包括物理显示器。

在各种具体实施中，方法800包括，当注视方向指向第一电子设备的第一显示器时，在第一显示器的第一位置处显示光标。例如，在图7B中，注视方向指向虚拟显示器711，并且第一电子设备在虚拟显示器711的第一位置处显示光标740。

在各种具体实施中，方法800包括：响应于确定注视方向指向第二显示器，使得在第二显示器的第二位置处显示光标，其中第二位置对应于第一位置。例如，在图7C中，响应于确定注视方向指向第二电子设备712的物理显示器712，第一电子设备向第二电子设备传输数据(例如，第一位置)，使得第二电子设备在物理显示器720的第二位置处显示光标740。

在各种具体实施中，第一显示器与第一二维坐标系相关联，并且第一位置与第一二维坐标系中的第一组坐标相关联。在各种具体实施中，第二显示器与第二二维坐标系相关联，并且第二位置与第二二维坐标系中的第二组坐标相关联。在各种具体实施中，第一位置与第二位置相同。因此，如果第一位置是(0.25,0.75)，指示第一位置是从左边缘到右边缘的路径的四分之一和从顶部到底部的路径的四分之三，则第二位置也是(0.25,0.75)。在各种具体实施中，第二组坐标与第一组坐标成比例。因此，如果第一显示器具有1280×600的分辨率，第二显示器具有1600×900的分辨率，并且第一位置是(320,450)，则第二位置是(400,675)。因此，第二位置与第二显示器的左边缘在水平方向上的比例距离与第一位置与第一显示器的左边缘在水平方向上的比例距离相同，并且第二位置与第二显示器的顶部在垂直方向上的比例距离与第一位置与第一显示器的顶部在垂直方向上的比例距离相同。

在各种具体实施中，第一位置和第二位置对应于输入设备的第三位置，诸如配置为处于绝对模式的触控板。在各种具体实施中，输入设备与第三二维坐标系相关联，并且第三位置与第三二维坐标系中的第三组坐标相关联。在各种具体实施中，第三位置与第一位置和第二位置中的至少一者相同。因此，如果第一位置和/或第二位置是(0.25,0.75)，则第三位置是(0.25,0.75)。在各种具体实施中，第三组坐标与第一组坐标和第二组坐标中的至少一者成比例。因此，如果第一显示器具有1280×600的分辨率，第二显示器具有1600×900的分辨率，并且第一位置是(320,450)，第二位置是(400,675)，则第三位置可以是(25,75)。因此，例如，第三位置与触控板的左边缘在水平方向上的比例距离与第一位置与第一显示器的左边缘在水平方向上的比例距离相同，并且第三位置与触控板的顶部在垂直方向上的比例距离与第一位置与第一显示器的顶部在垂直方向上的比例距离相同。

在各种具体实施中，方法800还包括：响应于确定注视方向指向第二显示器，停止在第一显示器的第一位置处显示光标。例如，在图7C中，第一电子设备停止在虚拟显示器711上显示光标740。

在各种具体实施中，第二显示器是第一电子设备的虚拟显示器。在各种具体实施中，第二显示器是第二电子设备的物理显示器。在各种具体实施中，使得在第二位置处显示光标包括传输用于在第二位置处显示光标的指令或者将在第二位置处示出光标的显示内容传输到第二电子设备。

在各种具体实施中，方法800还包括：当注视方向指向第一电子设备的第一显示器时，接收对内容的选择，以及响应于确定注视方向指向第二显示器，使得在第二显示器上显示内容。在各种具体实施中，第二显示器是第二电子设备的物理显示器，并且使得显示该内容包括将该内容传输到第二电子设备。例如，在图5M中，电子设备从虚拟触控板530接收选择第二标记562的输入。在图5N中，响应于注视方向指向第一虚拟显示器511，第二标记562从第二虚拟显示器512移动到第一虚拟显示器511。如果第一虚拟显示器511是第二电子设备的显示器，则电子设备将向第二电子设备传输指示第二标记562的数据，第二电子设备继而将使得第二标记562显示在第一虚拟显示器511上。

在各种具体实施中，方法800还包括：接收在到第二显示器的边缘的方向上移动光标的第一输入；以及响应于接收到第一输入，使得显示光标在到第二显示器的边缘的方向上移动。在各种具体实施中，方法800还包括：接收在该方向上进一步移动光标的第二输入，以及响应于接收到第二输入，在第一显示器上显示光标。例如，在图7E中显示的第五时间段之前，第一电子设备从物理鼠标730接收将光标740向左移动到物理显示器712的左边缘的第一输入，并且作为响应，将该第一输入传输到第二电子设备720。此外，第一电子设备从物理鼠标730接收向左移动光标的第二输入，并且作为响应，在虚拟显示器711的右边缘上显示光标740。

在各种具体实施中，光标被锁定到特定显示器，或者更具体地，第一电子设备处于锁定状态，这时注视方向的改变不会改变目标电子设备。因此，在各种具体实施中，方法800还包括：确定改变的注视方向，基于改变的注视方向来选择改变的目标电子设备，以及经由输入设备接收一个或多个附加输入。响应于确定第一电子设备处于锁定状态，第一电子设备基于目标电子设备(例如，不是改变的目标电子设备)来处理该一个或多个附加输入。响应于确定第一电子设备处于解锁状态，第一电子设备基于改变的电子设备来处理该一个或多个附加输入。在各种具体实施中，确定电子设备处于锁定状态包括确定该一个或多个附加输入是连续输入。在各种具体实施中，确定电子设备处于锁定状态包括确定自从接收到输入起流逝的时间量小于阈值量。

虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims (26)

1.一种方法，包括：

在具有非暂态存储器和一个或多个处理器的第一电子设备处：

确定注视方向；

基于确定所述注视方向指向目标电子设备的显示器来选择所述目标电子设备；

经由输入设备接收一个或多个输入；以及

基于所述目标电子设备来处理所述一个或多个输入。

2.根据权利要求1所述的方法，其中所述目标电子设备是所述第一电子设备，并且处理所述一个或多个输入包括更新所述第一电子设备的第一显示器。

3.根据权利要求2所述的方法，其中所述第一显示器是虚拟显示器。

4.根据权利要求1所述的方法，其中所述目标电子设备是第二电子设备，并且处理所述一个或多个输入包括将所述一个或多个输入传输到所述第二电子设备。

5.根据权利要求1所述的方法，其中所述目标电子设备是第二电子设备，并且处理所述一个或多个输入包括基于所述一个或多个输入来更新显示内容以及将所更新的显示内容传输到所述第二电子设备。

6.根据权利要求4或5所述的方法，其中所述第二电子设备包括物理显示器。

7.根据权利要求1至6中任一项所述的方法，还包括：

当所述注视方向指向所述第一电子设备的第一显示器时，在所述第一显示器的第一位置处显示光标；以及

响应于确定所述注视方向指向第二显示器，使得在所述第二显示器的第二位置处显示所述光标，其中所述第二位置对应于所述第一位置。

8.根据权利要求7所述的方法，还包括：响应于确定所述注视方向指向所述第二显示器，停止在所述第一显示器的所述第一位置处显示所述光标。

9.根据权利要求7或8所述的方法，其中所述第一位置和所述第二位置对应于所述输入设备的第三位置。

10.根据权利要求7至9中任一项所述的方法，其中所述第二显示器是所述第一电子设备的虚拟显示器。

11.根据权利要求7至9中任一项所述的方法，其中所述第二显示器是第二电子设备的物理显示器，其中使得在所述第二位置处显示所述光标包括：

传输用于在所述第二位置处显示所述光标的指令；或者

将在所述第二位置处示出所述光标的显示内容传输到所述第二电子设备。

12.根据权利要求7至11中任一项所述的方法，还包括：

接收在到所述第二显示器的边缘的方向上移动所述光标的第一输入；

响应于接收到所述第一输入，使得显示所述光标在到所述第二显示器的所述边缘的所述方向上移动；

接收在所述方向上进一步移动所述光标的第二输入；以及

响应于接收到所述第二输入，在所述第一显示器上显示所述光标。

13.根据权利要求1至12中任一项所述的方法，还包括：

当所述注视方向指向所述第一电子设备的第一显示器时，接收对内容的选择；以及

响应于确定所述用户的所述注视方向指向第二显示器，使得在所述第二显示器上显示所述内容。

14.根据权利要求13所述的方法，其中所述第二显示器是所述第一电子设备的虚拟显示器。

15.根据权利要求13所述的方法，其中所述第二显示器是第二电子设备的物理显示器，其中使得显示所述内容包括将所述内容传输到所述第二电子设备。

16.根据权利要求1至15中任一项所述的方法，其中所述一个或多个输入包括光标的移动或文本的插入。

17.根据权利要求1至16中任一项所述的方法，其中所述输入设备包括物理键盘、物理鼠标、物理触控板或物理开关设备中的至少一者。

18.根据权利要求1至16中任一项所述的方法，其中所述输入设备包括虚拟键盘、虚拟鼠标、虚拟触控板或虚拟开关设备中的至少一者。

19.根据权利要求1至16中任一项所述的方法，还包括显示虚拟触控板，其中所述一个或多个输入包括指示指尖相对于所述虚拟触控板的移动的数据。

20.根据权利要求1至19中任一项所述的方法，还包括：

确定改变的注视方向；

基于所述改变的注视方向来选择改变的目标电子设备；

经由所述输入设备接收一个或多个附加输入；以及

响应于确定所述第一电子设备处于锁定状态，基于所述目标电子设备来处理所述一个或多个附加输入。

21.根据权利要求20所述的方法，还包括：响应于确定所述第一电子设备处于解锁状态，基于所述改变的电子设备来处理所述一个或多个附加输入。

22.根据权利要求20所述的方法，其中确定所述第一电子设备处于所述锁定状态包括确定所述一个或多个附加输入是连续输入。

23.一种第一电子设备，所述第一电子设备包括：

一个或多个处理器；

非暂态存储器；和

存储在所述非暂态存储器中的一个或多个程序，所述一个或多个程序在由所述一个或多个处理器执行时使得所述设备执行根据权利要求1至22所述的方法中的任一种方法。

24.一种存储一个或多个程序的非暂态存储器，所述一个或多个程序在由包括显示器的第一电子设备的一个或多个处理器执行时，使得所述设备执行根据权利要求1至22所述的方法中的任一种方法。

25.一种第一电子设备，所述第一电子设备包括：

一个或多个处理器；

非暂态存储器；和

用于使得所述设备执行根据权利要求1至22所述的方法中的任一种方法的装置。

26.一种第一电子设备，所述第一电子设备包括：

非暂态存储器；和

一个或多个处理器，所述一个或多个处理器用于：

确定注视方向；

基于确定所述注视方向指向目标电子设备的显示器来选择所述目标电子设备；

经由输入设备接收一个或多个输入；以及

基于所述目标电子设备来处理所述一个或多个输入。