CN104854537B - 与计算设备的多距离、多模态自然用户交互 - Google Patents

Abstract

系统和方法可以提供：从与短程显示器并置的传感器接收短程信号以及使用短程信号检测用户交互。此外，可以基于用户交互控制关于长程显示器的显示响应。在一个示例中，用户交互包括眼睛注视、手部姿势、面部姿势、头部位置或语音命令中的一个或多个，其指示短程显示器与长程显示器之间的切换、拖放操作、高亮操作、点击操作或打字操作中的一个或多个。

Description

与计算设备的多距离、多模态自然用户交互

技术领域

实施例一般涉及与计算设备的基于用户的交互。更具体地，实施例涉及与计算设备的多距离、多模态自然用户交互（NUI）。

背景技术

眼动追踪可以被用于增强与计算设备和显示器的基于用户的交互。然而，常规的眼动追踪解决方案可能受限于相对短的交互距离（例如，追踪传感器/显示器与主体之间的30cm到90cm距离）。而且，诸如眼皮和/或睫毛遮挡之类的生物学考虑可能指示：应将追踪传感器定位为靠近主体正在与之交互的显示器的底部。这样的定位可能最终增加计算设备的总体成本。

附图说明

通过阅读以下说明书和随附权利要求并且通过参考以下附图，实施例的各种优点将变得对本领域技术人员而言显而易见，在附图中：

图1是根据实施例的多距离显示器布置的示例的图示；

图2是根据实施例的用户与多距离显示器布置交互的示例的图示；

图3是根据实施例的促进与多距离显示器布置的基于用户的交互的方法的示例的流程图；

图4是根据实施例的坞接站（docking station）的示例的透视图；

图5是根据实施例的计算设备的示例的框图；

图6是根据实施例的处理器核的示例的框图；以及

图7是根据实施例的系统的示例的框图。

具体实施方式

现在转向图1和2，示出了多显示器布置，其中用户10与计算设备16（例如台式计算机、笔记本计算机、智能平板、可转换平板、移动因特网设备/MID、智能电话或任何其它移动设备）的短程显示器14（例如，触摸屏/面板）以及长程显示器12（例如，物理监视器、电视/TV、投影式显示器）交互。因此，长程显示器12可能被安装在例如从用户10跨房间的墙壁上（例如在用户的物理到达范围之外），而短程显示器14可以处于用户10的到达范围内的桌子上或者由用户10握持。在所图示的示例中，传感器18与短程显示器14并置（例如耦合到短程显示器14、安装在短程显示器14上、与短程显示器14集成等），其中传感器18被配置成基于用户10与多显示器布置之间的交互来生成短程信号。在生成信号的传感器18处于距用户10的相对较近的接近区域内的意义上，由传感器18生成的信号可以被视为是“短程”的。

例如，用户交互可以包括眼睛注视、手部姿势、面部姿势、头部位置、语音命令等或者其任何组合。因此，传感器18可以包括诸如相机（例如三维/3D、二维/2D）之类的光学传感器、麦克风、生物测量传感器（例如心率、指纹）等或其任何组合。如将更加详细地讨论的，经由传感器18检测的用户交互可以用于控制长程显示器12的显示响应以及短程显示器14的显示响应。长程显示器12的响应可以是经由例如计算设备16内的内部连接（例如对于投影式显示器）、长程显示器12与计算设备16之间的有线连接（例如通用串行总线/USB、高清多媒体接口/HDMI）、长程显示器12与计算设备16之间的无线连接（例如无线保真/Wi-Fi）等等来控制的。

因此，如果传感器18追踪用户眼睛的注视，则所图示的方法可以使得用户10能够通过仅仅看向长程显示器12、短程显示器14中的任一个来在与短程显示器14交互和与长程显示器12交互之间切换。而且，用户10可以使用基于注视的交互以及诸如手部姿势、面部姿势、头部移动、语音命令等之类的其它交互来施行其它更复杂的操作，诸如拖放操作、高亮操作、点击操作、打字操作等等。诸如手部姿势、面部姿势和头部移动之类的交互可以是通过将对象识别过程应用于从传感器18获取的短程信号来检测的。类似地，诸如语音命令之类的交互可以是通过将话音识别过程应用于从传感器18获取的短程信号来检测的（例如，如果传感器包括麦克风的话）。

用户10可以因此使用例如眼睛注视、手部/面部姿势和话音命令来与长程显示器12交互。此外，用户10可以使用例如手部触摸、键盘录入、鼠标移动/点击、手部/面部姿势和眼睛注视来与短程显示器14交互。因此，所图示的解决方案可以实现多显示器、多模态环境中的更加自然的用户交互。

在一个实施例中，所图示的传感器18被定位在短程显示器14的顶部处。因此，传感器18出于关于长程显示器12的眼动追踪目的可以是有效的而不担心眼皮和/或睫毛遮挡。此外，传感器18的所图示的放置可以通过使得传感器18能够还用于除用户交互检测外的目的（例如标准相机操作等）来降低计算系统16的成本。简言之，所图示的方法可以消除对于单独的相机和眼动追踪硬件的需要，同时促进自然用户交互。

图3示出促进基于用户的交互的方法20。方法20可以在计算设备中被实现为存储在诸如例如可编程逻辑阵列（PLA）、现场可编程门阵列（FPGA）、复杂可编程逻辑器件（CPLD）之类的可配置逻辑中、使用诸如例如专用集成电路（ASIC）、互补金属氧化物半导体（CMOS）或晶体管-晶体管逻辑（TTL）技术或其任何组合之类的电路技术的固定功能性逻辑硬件中的诸如随机存取存储器（RAM）、只读存储器（ROM）、可编程ROM（PROM）、闪速存储器等之类的机器或计算机可读存储介质中的逻辑指令集和/或固件。例如，实施在方法20中所示的操作的计算机程序代码可以以一种或多种编程语言的任何组合编写，包括诸如C++等之类的面向对象的编程语言和诸如“C”编程语言或类似编程语言之类的常规过程编程语言。而且，方法20可以是使用任何前述电路技术实现的。

所图示的处理块22提供：可选地校准与短程和/或长程显示器的一个或多个用户交互。如已经指出的，用户交互可能包括眼睛注视、手部姿势、面部姿势、头部位置、语音命令等或其任何组合。此外，用户交互可以指示：用户正在从与短程显示器交互切换到与长程显示器交互（并且反之亦然）、拖放操作、高亮操作、点击操作、打字操作等等。校准过程可以因此涉及提示用户进行已知的用户交互并且确定一个或多个参数以促进那些用户交互的后续识别。参数可以特定于与短程显示器并置的传感器。块24可以从与短程显示器并置的传感器接收实时短程信号。短程信号可以是从例如邻近于短程显示器（例如在其顶部或底部处）定位的相机、邻近于短程显示器定位的麦克风等等接收的。

所图示的块26使用短程信号来检测用户交互，其中块28可以基于用户交互来控制关于长程显示器的显示响应。块28可以因此涉及在短程显示器与长程显示器之间进行切换、相对于长程显示器的拖放操作、高亮操作、点击操作、打字操作等等。方法20还可以提供：进行关于短程显示器的类似操作。

图4示出可与本文所描述的多显示器、多模态布置结合使用的坞接站30。所图示的坞接站30具有深度（例如3D）相机32、眼动追踪传感器34、投影仪36和被配置成在对于用户而言舒适的观看角度处支撑计算设备40的显示器42（例如短程显示器）的机架38。投影仪36可以因此生成长程显示以补充（例如在扩展模式、复制模式等中）计算设备40的短程显示器42，其中相机32和眼动追踪传感器34可以生成短程信号。如已经指出的，短程信号可以被用于检测用户交互，用户交互进而可以被用于控制由投影仪36提供的长程显示和/或计算设备40的短程显示器42的显示响应。

如果计算设备40缺少眼动追踪、深度成像和/或投影技术，则所图示的配置可以特别有用。还可以使用其它站传感器配置。例如，深度相机32和眼动追踪传感器34可以经由相同的硬件而实现以降低成本。而且，诸如麦克风、生物测量传感器等之类的其它传感器可以用于检测用户交互。

现在转向图5，示出了计算设备44（44a-d）。所图示的计算设备44包括从与短程显示器并置的一个或多个传感器接收短程信号的传感器接口44a和使用短程信号检测用户交互的识别模块44b。计算设备44还可以包括基于用户交互控制关于长程显示器的显示响应的响应模块44c。响应模块44c还可以基于用户交互控制关于短程显示器的显示响应。所图示的计算设备44还包括校准用于长程显示器和/或短程显示器的用户交互的校准模块44d。

图6图示了根据一个实施例的处理器核200。处理器核200可以是用于任何类型的处理器的核，该处理器诸如是微处理器、嵌入式处理器、数字信号处理器（DSP）、网络处理器或执行代码的其它设备。尽管在图6中仅图示了一个处理器核200，但是处理元件可以可替换地包括多于一个图6中图示的处理器核200。处理器核200可以是单线程核，或者对于至少一个实施例，处理器核200可以是多线程的，这在于它可以每核包括多于一个硬件线程上下文（或“逻辑处理器”）。

图6还图示了耦合到处理器200的存储器270。存储器270可以是如对本领域技术人员而言已知或以其它方式可用的许多种存储器（包括存储器层级中的各个层）中的任一种。存储器270可以包括由处理器200核执行的一个或多个代码213指令，其中代码213可以实现已经讨论的方法20（图3）。处理器核200遵循由代码213指示的指令的程序序列。每一个指令可以进入前端部分210并由一个或多个解码器220处理。解码器220可以生成作为其输出的微操作，诸如具有预定义格式的固定宽度微操作，或者可以生成反映原始代码指令的其它指令、微指令或控制信号。所图示的前端210还包括寄存器重命名逻辑225和调度逻辑230，其一般分配资源并使对应于转换指令的操作排队以供执行。

处理器200被示出为包括具有执行单元255-1至255-N的集合的执行逻辑250。一些实施例可以包括专用于特定功能或功能集合的数个执行单元。其它实施例可以包括仅一个执行单元或可施行特定功能的一个执行单元。所图示的执行逻辑250施行由代码指令指定的操作。

在由代码指令指定的操作的执行完成之后，后端逻辑260引退代码213的指令。在一个实施例中，处理器200允许无序执行但要求指令的有序引退。引退逻辑265可以采取如对本领域技术人员而言已知的多种形式（例如重排序缓冲器等）。以此方式，在代码213的执行期间至少在由解码器生成的输出、由寄存器重命名逻辑225利用的硬件寄存器和表以及由执行逻辑250修改的任何寄存器（未示出）方面变换处理器核200。

尽管在图6中未图示，但是处理元件可以包括在片上系统（SoC）实现中具有处理器核200的其它片上元件。例如，处理元件可以包括存储器控制逻辑连同处理器核200。处理元件可以包括I/O控制逻辑和/或可以包括与存储器控制逻辑集成的I/O控制逻辑。处理元件还可以包括一个或多个高速缓存。

现在参考图7，示出了依照实施例的系统1000实施例的框图。图7中所示的是包括第一处理元件1070和第二处理元件1080的多处理器系统1000。虽然示出了两个处理元件1070和1080，但是要理解的是，系统1000的实施例还可以包括仅一个这样的处理元件。

系统1000被图示为点对点互连系统，其中第一处理元件1070和第二处理元件1080经由点对点互连1050而耦合。应当理解的是，图7中图示的互连中的任何或全部可以被实现为多点分支总线（multi-drop bus）而不是点对点互连。

如图7中所示，处理元件1070和1080中的每一个可以是多核处理器，包括第一和第二处理器核（即，处理器核1074a和1074b以及处理器核1084a和1084b）。这样的核1074a、1074b、1084a、1084b可以被配置成以与以上结合图6讨论的方式类似的方式执行指令代码。

每一个处理元件1070、1080可以包括至少一个共享高速缓存1896a、1896b。共享高速缓存1896a、1896b可以存储分别被处理器的一个或多个组件（诸如核1074a、1074b和1084a、1084b）利用的数据（例如指令）。例如，共享高速缓存1896a、1896b可以本地高速缓存被存储在存储器1032、1034中的数据以供处理器的组件更快访问。在一个或多个实施例中，共享高速缓存1896a、1896b可以包括一个或多个中级高速缓存（诸如级2（L2）、级3（L3）、级4（L4）或其它级的高速缓存）、末级高速缓存（LLC）和/或其组合。

虽然被示出有仅两个处理元件1070、1080，但是要理解的是，实施例的范围不因此受限。在其它实施例中，一个或多个附加处理元件可以存在于给定处理器中。可替换地，处理元件1070、1080中的一个或多个可以是除处理器外的元件，诸如加速器或现场可编程门阵列。例如，（一个或多个）附加处理元件可以包括与第一处理器1070相同的（一个或多个）附加处理器、作为与第一处理器1070的处理器异构或不对称的（一个或多个）附加处理器、加速器（诸如例如图形加速器或数字信号处理（DSP）单元）、现场可编程门阵列或任何其它处理元件。在包括架构、微架构、热力、功率消耗特性等的指标的一系列度量方面，在处理元件1070、1080之间可以存在多种差异。这些差异可以将自身有效地表明为处理元件1070、1080之中的不对称性和异构性。对于至少一个实施例，各种处理元件1070、1080可以驻留在相同的管芯封装中。

第一处理元件1070还可以包括存储器控制器逻辑（MC）1072以及点对点（P-P）接口1076和1078。类似地，第二处理元件1080可以包括MC 1082以及P-P接口1086和1088。如图7中所示，MC的1072和1082将处理器耦合到相应存储器，即存储器1032和存储器1034，其可以是本地附接到相应处理器的主存储器的部分。虽然将MC 1072和1082图示为集成到处理元件1070、1080中，但是对于可替换的实施例，MC逻辑可以是处理元件1070、1080外部的而不是集成在其中的分立逻辑。

第一处理元件1070和第二处理元件1080可以分别经由P-P互连1076、1086耦合到I/O子系统1090。如图7中所示，I/O子系统1090包括P-P接口1094和1098。另外，I/O子系统1090包括将I/O子系统1090与高性能图形引擎1038耦合的接口1092。在一个实施例中，总线1049可以用于将图形引擎1038耦合到I/O子系统1090。可替换地，点对点互连可以耦合这些组件。

进而，I/O子系统1090可以经由接口1096耦合到第一总线1016。在一个实施例中，第一总线1016可以是外围组件互连（PCI）总线，或者诸如高速PCI（PCI Express）总线之类的总线或另一第三代I/O互连总线，尽管实施例的范围不因此受限。

如图7中所示，各种I/O设备1014（例如相机、传感器、显示器、投影仪）可以耦合到第一总线1016，连同可将第一总线1016耦合到第二总线1020的总线桥1018。在一个实施例中，第二总线1020可以是低引脚计数（LPC）总线。各种设备可以耦合到第二总线1020，包括例如键盘/鼠标1012、（一个或多个）网络控制器/通信设备1026（其可以进而与计算机网络通信）和诸如盘驱动器或在一个实施例中可包括代码1030的其它大容量存储设备之类的数据存储单元1019。代码1030可以包括用于施行以上描述的方法中的一个或多个的实施例的指令。因此，所图示的代码1030可以实现已经讨论的方法20（图3）。另外，音频I/O 1024可以耦合到第二总线1020。

要指出的是，设想到其它实施例。例如，取代于图7的点对点架构，系统可以实现多点分支总线或另一这样的通信拓扑。此外，图7的元件可以可替换地使用比图7中所示的集成芯片更多或更少的集成芯片而划分。

附注和示例：

示例1可以包括一种促进基于用户的交互的系统。该系统可以包括短程显示器、与短程显示器并置的传感器以及从传感器接收短程信号的传感器接口。该系统还可以包括：使用短程信号检测用户交互的识别模块，其中用户交互包括眼睛注视、手部姿势、面部姿势、头部位置或语音命令中的一个或多个；以及基于用户交互控制关于长程显示器的显示响应的响应模块。

示例2可以包括示例1的系统，其中用户交互指示短程显示器与长程显示器之间的切换。

示例3可以包括示例1的系统，其中用户交互指示拖放操作、高亮操作、点击操作或打字操作中的一个或多个。

示例4可以包括示例1的系统，其中响应模块还基于用户交互控制关于短程显示器的显示响应。

示例5可以包括示例1的系统，还包括校准用于长程显示器或短程显示器中的一个或多个的用户交互的校准模块。

示例6可以包括示例1的系统，其中传感器是被定位在短程显示器的顶部处的相机或邻近于短程显示器定位的麦克风中的一个或多个。

示例7可以包括权利要求6的系统，其中被定位在短程显示器的顶部处的相机包括眼动追踪功能性。

示例8可以包括示例1的系统，其中显示响应是关于投影式显示器或物理显示器中的一个来控制的。

示例9可以包括示例1至8中任一个的系统，还包括具有生成长程显示的投影仪的坞接站。

示例10可以包括一种促进基于用户的交互的方法。该方法可以提供：从与短程显示器并置的传感器接收短程信号以及使用短程信号检测用户交互，其中用户交互包括眼睛注视、手部姿势、面部姿势、头部位置或语音命令中的一个或多个。此外，该方法可以涉及基于用户交互来控制关于长程显示器的显示响应。

示例11可以包括示例10的方法，其中用户交互包括短程显示器与长程显示器之间的切换中的一个或多个。

示例12可以包括示例10的方法，其中用户交互指示拖放操作、高亮操作、点击操作或打字操作中的一个或多个。

示例13可以包括示例10的方法，还包括基于用户交互来控制关于短程显示器的显示响应。

示例14可以包括示例10的方法，还包括校准用于长程显示器或短程显示器中的一个或多个的用户交互。

示例15可以包括示例10的方法，其中短程信号是从被定位在短程显示器的顶部处的相机或邻近于短程显示器定位的麦克风中的一个或多个接收的。

示例16可以包括权利要求15的方法，其中短程信号是从被定位在短程显示器的顶部处的相机接收的眼动追踪信号。

示例17可以包括示例10至17中任一个的方法，其中显示响应是关于投影式显示器或物理显示器中的一个来控制的。

示例18可以包括具有指令的集合的至少一个计算机可读存储介质，所述指令如果由计算设备执行则使计算设备从与短程显示器并置的传感器接收短程信号。所述指令如果被执行则还可以使计算设备使用短程信号检测用户交互并基于用户交互来控制关于长程显示器的显示响应。

示例19可以包括示例18的至少一个计算机可读存储介质，其中用户交互包括眼睛注视、手部姿势、面部姿势、头部位置或语音命令中的一个或多个，其指示短程显示器与长程显示器之间的切换、拖放操作、高亮操作、点击操作或打字操作中的一个或多个。

示例20可以包括示例18的至少一个计算机可读存储介质，其中所述指令如果被执行则使计算设备基于用户交互来控制关于短程显示器的显示响应。

示例21可以包括示例18的至少一个计算机可读存储介质，其中所述指令如果被执行则使计算设备校准用于长程显示器或短程显示器中的一个或多个的用户交互。

示例22可以包括示例18的至少一个计算机可读存储介质，其中短程信号是从被定位在短程显示器的顶部处的相机或邻近于短程显示器定位的麦克风中的一个或多个接收的。

示例23可以包括示例18至22中任一个的至少一个计算机可读存储介质，其中显示响应是关于投影式显示器或物理显示器中的一个来控制的。

示例24可以包括一种促进基于用户的交互的装置。该装置可以包括从与短程显示器并置的传感器接收短程信号的传感器接口以及使用短程信号检测用户交互的识别模块，其中用户交互包括眼睛注视、手部姿势、面部姿势、头部位置或语音命令中的一个或多个。该装置还可以包括基于用户交互控制关于长程显示器的显示响应的响应模块。

示例25可以包括示例24的装置，其中用户交互指示短程显示器与长程显示器之间的切换、拖放操作、高亮操作、点击操作或打字操作中的一个或多个。

示例26可以包括示例24的装置，其中响应模块基于用户交互来控制关于短程显示器的显示响应。

示例27可以包括示例24的装置，还包括校准用于长程显示器或短程显示器中的一个或多个的用户交互的校准模块。

示例28可以包括示例24的装置，其中短程信号是从被定位在短程显示器的顶部处的相机或邻近于短程显示器定位的麦克风中的一个或多个接收的。

示例29可以包括示例24至28中任一个的装置，其中显示响应是关于投影式显示器或物理显示器中的一个来控制的。

示例30可以包括一种促进基于用户的交互的装置，包括用于施行示例8至17中任一个的方法的构件。

本文所描述的技术因此可以促进具有移动形状因子的计算设备中的成本高效的长距离眼动追踪和姿势交互。例如，同时与长程显示器和短程显示器自然地交互的能力可以实现扩展到在常规解决方案之下可想到的内容之外的新用途模型和应用。

可以使用硬件元件、软件元件或这二者的组合来实现各种实施例。硬件元件的示例可以包括处理器、微处理器、电路、电路元件（例如晶体管、电阻器、电容器、电感器等等）、集成电路、专用集成电路（ASIC）、可编程逻辑器件（PLD）、数字信号处理器（DSP）、现场可编程门阵列（FPGA）、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片集等等。软件的示例可以包括软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口（API）、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任何组合。确定是否使用硬件元件和/或软件元件来实现实施例可以依照任何数目的因素而变化，诸如期望的计算速率、功率水平、耐热性、处理循环预算、输入数据速率、输出数据速率、存储器资源、数据总线速度和其它设计或性能约束。

至少一个实施例的一个或多个方面可以由存储在机器可读介质上的代表性指令实现，机器可读介质表示处理器内的各种逻辑，该逻辑当被机器读取时使该机器构造用于施行本文所描述的技术的逻辑。被称作“IP核”的这样的表示可以存储在有形、机器可读介质上且供给到各种客户或制造设施以加载到实际上制作该逻辑或处理器的构造机器中。

实施例适用于与所有类型的半导体集成电路（“IC”）芯片一起使用。这些IC芯片的示例包括但不限于处理器、控制器、芯片集组件、可编程逻辑阵列（PLA）、存储器芯片、网络芯片等。此外，在一些附图中，信号导体线用线表示。一些可以是不同的，以指示更多构成信号路径；具有编号标记，以指示数个构成信号路径；和/或在一个或多个端部处具有箭头，以指示主要信息流方向。然而，这不应当以限制性方式解释。而是，这样的添加的细节可以与一个或多个示例性实施例结合使用以促进电路的更容易的理解。任何所表示的信号线，无论是否具有附加信息，实际上都可以包括可在多个方向上行进且可以以任何合适类型的信号方案实现的一个或多个信号，例如以差分对实现的数字或模拟线、光纤线和/或单端线。

可能已经给出示例尺寸/模型/值/范围，尽管实施例不限于此。随着制造技术（例如光刻）随时间而成熟，预期可以制造更小尺寸的设备。此外，为了图示和讨论的简单，并且以免模糊实施例的某些方面，在图内可以或可以不示出到IC芯片和其它组件的众所周知的功率/接地连接。另外，可以以框图形式示出布置以避免模糊实施例，并且还鉴于以下事实：关于这样的框图布置的实现的详情高度取决于实施例要在其内实现的平台，即，这样的详情应当很好地处于本领域技术人员的所及范围内。在阐述具体细节（例如电路）以便描述示例实施例的情况下，对本领域技术人员而言应当显而易见的是，可以在没有这些具体细节的情况下或者在具有其变型的情况下实践实施例。因而该描述将被视为是说明性而非限制性的。

一些实施例可以例如使用机器或有形计算机可读介质或制品而实现，所述机器或有形计算机可读介质或制品可以存储指令或指令集，其如果由机器执行则可以使机器施行依照实施例的方法和/或操作。这样的机器可以包括例如任何适合的处理平台、计算平台、计算设备、处理设备、计算系统、处理系统、计算机、处理器等等，并可以使用硬件和/或软件的任何适合的组合而实现。指令可以包括使用任何适合的高级、低级、面向对象、视觉、编译和/或解释编程语言实现的任何适合类型的代码，诸如源代码、编译代码、解释代码、可执行代码、静态代码、动态代码、加密代码等。

除非另行特别声明，可以领会，诸如“处理”、“计算”、“运算”、“确定”等等之类的术语指代计算机或计算系统或类似的电子计算设备的动作和/或过程，所述计算机或计算系统或类似的电子计算设备操控被表示为计算系统的寄存器和/或存储器内的（例如电子的）物理量的数据和/或将该数据变换成被类似地表示为计算系统的存储器、寄存器或其它这样的信息存储、传输或显示设备内的物理量的其它数据。实施例在该上下文中不受限。

术语“耦合的”可以在本文中用于指代所讨论的组件之间的任何类型的关系（直接或间接），并可以适用于电气、机械、流体、光学、电磁、机电或其它连接。此外，术语“第一”、“第二”等可以在本文中仅用于促进讨论，而不承载特定时间或时序意义，除非另行指示。

如本申请中和权利要求书中所使用的，通过术语“……中的一个或多个”连结的项目的列表可以意指所列项目的任何组合。例如，短语“A、B或C中的一个或多个”可以意指A；B；C；A和B；A和C；B和C；或A、B和C。

本领域技术人员将从前面的描述中领会到，可以以多种形式实现实施例的宽泛技术。因此，虽然已经结合其特定示例描述了实施例，但是实施例的真实范围不应当如此受限，因为在研究了附图、说明书和随附权利要求时，其它修改对技术从业者而言将变得显而易见。

Claims (22)

1.一种促进基于用户的交互的系统，包括：

短程显示器；

与所述短程显示器并置的传感器，所述传感器对于关于长程显示器的眼跟踪来说是有效的；

从所述传感器接收短程信号的传感器接口；

使用所述短程信号检测用户交互的识别模块；

基于所述用户交互控制关于所述长程显示器的显示响应的响应模块；以及

校准模块，用于校准用于所述长程显示器和所述短程显示器中的一个或多个的用户交互，

其中所述校准模块被配置为提示用户执行用户交互并且确定特定于所述传感器的一个或多个参数，以促进所述用户交互的后续识别。

2.根据权利要求1所述的系统，其中所述用户交互包括眼睛注视、手部姿势、面部姿势、头部位置和语音命令中的一个或多个，其指示所述短程显示器与所述长程显示器之间的切换、拖放操作、高亮操作、点击操作和打字操作中的一个或多个。

3.根据权利要求1所述的系统，其中所述响应模块还基于所述用户交互来控制关于所述短程显示器的显示响应。

4.根据权利要求1所述的系统，其中所述传感器是被定位在所述短程显示器的顶部处的相机和邻近于所述短程显示器定位的麦克风中的一个或多个。

5.根据权利要求1所述的系统，其中显示响应是关于投影式显示器和物理显示器中的一个来控制的。

6.根据权利要求1至5中任一项所述的系统，还包括具有生成所述短程信号的站传感器和生成长程显示的投影仪的坞接站。

7.一种促进基于用户的交互的方法，包括：

从与短程显示器并置的传感器接收短程信号，所述传感器对于关于长程显示器的眼跟踪来说是有效的；

使用所述短程信号来检测用户交互；

基于所述用户交互来控制关于所述长程显示器的显示响应；以及

校准用于所述长程显示器和所述短程显示器中的一个或多个的用户交互，

其中所述校准包括提示用户执行用户交互并且确定特定于所述传感器的一个或多个参数，以促进所述用户交互的后续识别。

8.根据权利要求7所述的方法，其中所述用户交互包括眼睛注视、手部姿势、面部姿势、头部位置和语音命令中的一个或多个，其指示所述短程显示器与所述长程显示器之间的切换、拖放操作、高亮操作、点击操作和打字操作中的一个或多个。

9.根据权利要求7所述的方法，还包括基于所述用户交互来控制关于短程显示器的显示响应。

10.根据权利要求7所述的方法，其中所述短程信号是从被定位在所述短程显示器的顶部处的相机和邻近于所述短程显示器定位的麦克风中的一个或多个接收的。

11.根据权利要求7至10中任一项所述的方法，其中所述显示响应是关于投影式显示器和物理显示器中的一个来控制的。

12.一种促进基于用户的交互的装置，包括：

用于从与短程显示器并置的传感器接收短程信号的构件，所述传感器对于关于长程显示器的眼跟踪来说是有效的；

用于使用所述短程信号检测用户交互的构件；

用于基于所述用户交互控制关于所述长程显示器的显示响应的构件；以及

用于校准用于所述长程显示器和所述短程显示器中的一个或多个的用户交互的构件，

其中用于校准的构件包括用于提示用户执行用户交互并且确定特定于所述传感器的一个或多个参数，以促进所述用户交互的后续识别的构件。

13.根据权利要求12所述的装置，其中所述用户交互包括眼睛注视、手部姿势、面部姿势、头部位置和语音命令中的一个或多个，其指示所述短程显示器与所述长程显示器之间的切换、拖放操作、高亮操作、点击操作和打字操作中的一个或多个。

14.根据权利要求12所述的装置，还包括用于基于所述用户交互控制关于所述短程显示器的显示响应的构件。

15.根据权利要求12所述的装置，其中所述短程信号是从被定位在所述短程显示器的顶部处的相机和邻近于所述短程显示器定位的麦克风中的一个或多个接收的。

16.根据权利要求12至15中任一项所述的装置，其中所述显示响应是关于投影式显示器和物理显示器中的一个来控制的。

17.一种促进基于用户的交互的装置，包括：

从与短程显示器并置的传感器接收短程信号的传感器接口，所述传感器对于关于长程显示器的眼跟踪来说是有效的；

使用所述短程信号检测用户交互的识别模块；

基于所述用户交互控制关于所述长程显示器的显示响应的响应模块；以及

校准用于所述长程显示器和所述短程显示器中的一个或多个的用户交互的校准模块，

其中所述校准模块被配置为提示用户执行用户交互并且确定特定于所述传感器的一个或多个参数，以促进所述用户交互的后续识别。

18.根据权利要求17所述的装置，其中所述用户交互包括眼睛注视、手部姿势、面部姿势、头部位置和语音命令中的一个或多个，其指示所述短程显示器与所述长程显示器之间的切换、拖放操作、高亮操作、点击操作和打字操作中的一个或多个。

19.根据权利要求17所述的装置，其中所述响应模块基于所述用户交互来控制关于所述短程显示器的显示响应。

20.根据权利要求17所述的装置，其中所述短程信号是从被定位在所述短程显示器的顶部处的相机和邻近于所述短程显示器定位的麦克风中的一个或多个接收的。

21.根据权利要求17至20中任一项所述的装置，其中所述显示响应是关于投影式显示器和物理显示器中的一个来控制的。

22.一种计算机可读存储介质，包括指令，所述指令如果由计算设备执行则使所述计算设备施行根据权利要求7至11中任一项所述的方法。