CN104662558B - 用于手势输入的指尖定位 - Google Patents

Abstract

用户可使用手指或其他此类物体将输入提供到计算装置。所述手指不必接触到所述装置，但可采用一定方式定位和/或定向使得所述装置可确定所述用户尝试提供的输入，例如，所述用户意图选择的单元或图标。一个或多个相机可撷取图像信息，所述图像信息可被分析以尝试确定所述手指的位置和/或方位。如果所述手指至少部分位于所述相机的视野之外，那么所述装置可使用传感器(例如，EMF)来尝试确定所述手指的至少一部分的位置，所述位置可与所述图像信息一起被用来确定所述手指的位置和/或方位。也可使用其他估计过程。

Description

用于手势输入的指尖定位

发明背景

随着计算装置的处理能力和功能逐渐增加，用户能够用各种方式提供输入。例如，用户通过在距计算装置一定距离处运动或打手势便能够控制计算装置，其中手势由用户的手或手指来执行。某些装置使用能够观察用户的相机来确定手势，从而使得装置能确定用户执行的运动。然而在一些情况下，用户的至少一部分将不在相机的视野内，这样一来，装置可能无法成功确定执行的运动或手势。即使用户做运动或手势的那部分在视野之内，要准确确定用户尝试提供的输入也比较困难，因而，可检测的手势就被限制为简单而宽泛的动作，降低了有效性。

附图说明

根据本发明的各项实施例将参考附图进行描述，其中：

图1(a)、图1(b)和图1(c)示出其中可以实施各项实施例的各方面的示例性环境，以及在实施一些那些方面的同时可撷取的图像；

图2示出一个示例性环境，其中用户指尖的一部分在装置相机的盲区内，但可根据各项实施例进行处理；

图3示出一个示例性视图，其中根据各项实施例，确定的指尖位置可用来确定计算装置上的输入位置；

图4示出可根据各项实施例使用的用于确定计算装置上的输入位置的示例性过程；

图5(a)、图5(b)和图5(c)示出根据各项实施例的可至少部分基于用户手指的方位确定的示例性输入；

图6示出可根据各项实施例使用的用于确定计算装置的输入的示例性过程；

图7示出可用来实施各项实施例的各方面的示例性装置；

图8示出如图7所示的客户端装置的示例性部件；以及

图9示出可实施各项实施例的环境。

具体实施方式

根据本发明的各项实施例的系统和方法克服了确定电子装置输入的传统方法中的一个或多个上述及其他缺点。具体而言，各项实施例使得能够使用指尖或其他此类物体来提供基于动作、手势或徘徊的输入。在至少一些实施例中，一个或多个相机可撷取图像信息，所述图像信息可被分析以确定用户指尖的相对位置。如果指尖落在相机的视野之外，那么装置可尝试使用装置上的其他传感器来确定指尖位置。如果传感器无法准确检测到指尖，或如果此类指尖都不可得，那么装置可替代地(或另外地)尝试使用已知的用户信息(例如，用户手的大小、用户手指的长度以及其他此类信息)来估计指尖位置。装置也可使用在指尖移动到视野外之前获取的任何信息。一旦确定指尖位置，便可确定装置的合适输入。在至少一些实施例中，这种确定包括确定手指的指向方向或者手指的轨迹或“指向”矢量，以及确定所述方向、指向矢量或轨迹与装置的交叉之处。一旦确定，用户便可用交叉点处或附近的物体或其他元件来提供输入。

下文描述并建议了各种其他功能和优点，如根据各项实施例可提供。

图1(a)示出可实施各项实施例的各方面的示例性环境100。在此实例中，用户102尝试使用用户手指106将手势输入提供到计算装置 104。尽管图示了便携式计算装置(例如，电子书阅读器、智能电话或平板计算机)，但应理解，根据本文中论述的各项实施例可使用能够接收、确定和/或处理输入的任何电子装置，其中所述装置可包括 (例如)台式计算机、笔记本计算机、个人数字助理、视频游戏机、电视机顶盒、智能电视以及便携式媒体播放器等等。

在此实例中，计算装置104包括一对相机108、110或其他手势传感器，它们被配置成撷取包括用户手指106的视图在内的图像信息，所述图像信息可被计算装置上执行的应用分析，以确定手指对计算装置104的相对位置。图像信息可以是使用环境光或红外光或者其他此类选项撷取的静止图像或视频信息。此外，在各项实施例的范围内也可使用相同或不同类型的更少或额外相机。应用可确定手指的位置，并且随着时间的推移，可通过分析撷取的图像信息来跟踪手指的位置，以允许动作和/或手势输入到装置。例如，用户可上下移动手指来调节音量，在平面上移动手指来控制虚拟光标等等。

图1(b)示出可由计算装置104的其中一个相机110撷取的示例性图像120。在此示例性图像中，用户的手清晰可见。计算装置上执行的应用(或至少与计算装置通信)可分析图像，以定位手的一个或多个特征，例如，可用来确定用户手指的大体方位的指尖位置122和手指基本位置124，以及手指大体指向的方向。

然而，依据相机信息可能会有一些缺点，因为每个相机的视野通常是有限的。即使是鱼眼镜，视野也是有限的，或者至少在接近视野边界的时候会提供有些失真的图像。因此，计算装置周围一般会有一个或多个盲区，其中物体可能落在任何相机的视野之外。例如，图 1(c)的图像140示出在手朝向装置中心移动时同一个相机110得到的视图。如图所示，指尖142已经移动到视野之外，因此，不包含在图像内。除非指尖进入到另一相机的视野，否则装置无法在任意相机于该位置撷取到的图像中查看到该指尖。

在此实例中，计算装置仍可看到手的一部分，而且使用图形识别、图像识别、物体识别或其他此类方法仍可能确定图像140中的用户手的一部分，例如，手指基本位置124。在至少一些实施例中，装置可使用统计分析或其他方式尝试使用用户手可见的部分来估计用户指尖的位置。例如，如果装置能够在最近期的点处查看到用户的指尖，并且能够确定指尖对基本点124的相对距离和方向，那么装置可使用外推过程来估计出指尖点144可能在类似的相对位置。装置可跟踪指尖与基本点之间的相对距离和方位的变化，并且在这些点中的至少一个落在装置的至少一个相机的可视区域之外时，可使用这些来估计位置。

在另一实施例中，计算装置可存储或用其他方式访问用户手的模型。使用源于图像信息的诸如手的大小、形状和相对结构等信息，装置可使用模型来估计指尖的位置。至少部分基于模型和基本点124，用户手指和手的物理限制意味着指尖位置被限于可确定的位置范围。使用诸如手指的可视部分和手的方位等信息，装置可进一步限制潜在区，并且如果可在合理的确定或变化量内确定位置，那么所述点便可用作指尖位置144。在各项实施例的范围内也可使用各种其他此类估计方法。

在至少一些实施例中，根据各项实施例，计算装置可包括可协助指尖定位的一个或多个其他类型的传感器或部件。例如，图2示出示例性配置200，其中计算装置能够使用装置中与显示屏或其他此类元件相同侧上的一对相机204定位和/或跟踪指尖位置。如上所述，只要指尖在至少一个相机204的视野内，相机便可撷取有关指尖的立体信息并且确定位置。在相机之间以及每个相机视野之外，存在“盲区”208，其中指尖或任何其他物体都无法被相机反映出来。然而，在此示例性装置202中，装置包括电磁场(EMF)传感器210(例如，EMF计量器或EMF探针)，所述传感器被定位和配置成检测干扰环境和/或生成的EMF的物体是否出现。EMF传感器可以是任何适当的传感器、探针、计量器或其他此类元件，可操作以使用宽带测量、频率选择测量或任何其他此类基于EMF的方法来测量EMF的变化。

在此实例中，EMF的范围至少遍布大部分盲区208，而且在至少一些实施例中，可部分延伸到盲区之外，以提供更准确且连续的确定。当用户的手指指尖朝盲区移动时，EMF传感器可检测到电磁场变化，从而可用来估计三维中的指尖最近点的相对位置212。所属领域已知基于电磁场变化来定位物体的方法，因此，本文中将不再详细论述。

由于用户手的至少一部分仍为相机204可见，因此，装置可分析图像信息来确定用户食指的基本点206。通过将此信息与使用EMF 确定的指尖位置212相结合，装置也可使用至少这两点来确定手指的近似角度、方位和/或轨迹。在针对多手指输入跟踪多个指尖位置的情况下，例如，处于盲区或另一此类位置时，可使用类似的方法来定位那些指尖。

在各项实施例的范围内也可使用其他技术。例如，在各项实施例的范围内也可使用电容式传感器。电容式传感器可能不具有EMF传感器的范围，因为电容式传感器可能只能检测表面几毫米内的物体，但在至少一些实施例中可能会更准确。电容式传感器也可给出指尖或其他此类物体在三维中的最近点信息。在各项实施例的范围内也可使用超声波或其他此类距离或位置确定方法。

如上所述，EMF、电容式或其他基于磁场的方法可以给出关于物体对装置和/或传感器的最近点的信息。然而在很多情况下，这跟手指等物体的实际尖端会有一些量的偏移，其中所述偏移从与装置表面的平面垂直或正交的位置，可随角度增加而增加。至于具有小显示器和/或单元的装置，例如智能电话，这一偏移可能足以导致装置选择错误的单元。

在一些实施例中，装置上执行的应用可使用有关物体(例如，手指)的信息根据检测到的位置和基本点或其他此类数据点来推断出实际指尖位置。例如，装置可使用通用信息或用户特定信息来得知用户手指的一般大小和/或形状。得知诸如基本点的位置和最近确定点等信息，装置可使用手指模型来确定指尖点可能所处的位置。

在一些实施例中，装置可通过机器学习来了解相对指尖位置。例如，如果装置估计出指尖位置并使用它来确定输入，随后用户调整或取消动作并尝试在稍微不同的位置做动作，那么装置便可学习不同角度的偏移信息并存储该信息以备将来确定。

在一些实施例中，装置可在手指朝盲区移动时改为跟踪指尖点，并且假设指尖将沿着类似于基本点的轨迹，这样可帮助指尖估计。在各项实施例的范围内也可使用各种其他估计或调整方法。

能够准确确定指尖点以及基本点或参考点可有助于准确确定用户尝试通过运动或手势提供的输入。在指尖点选择的相对位置刚好在指尖下方的一些实施例中，需要准确确定该点。在指尖被用来确定用户指向位置的实例中，可能需要准确确定，以便确定正确的指向方向。例如，在图3中，已使用相机和EMF传感器信息的组合确定指尖和基本点。一旦获取，装置便可确定穿过那些点而朝向计算装置302的虚拟矢量304。装置可确定矢量与装置的交叉位置，并且可使用点306 来确定用户尝试提供的输入类型。例如，如果点306对应于显示屏上的点，那么装置可确定在所述点处显示的单元或目标，并且可响应于所述确定而导致所述目标被选择、被突出或以其他方式被调整。类似地，如果点306对应于装置的按钮、控件、按键或其他此类元件，那么装置也可利用所述信息来确定合适的输入。

图4示出可根据各项实施例使用的用于基于用户的手指来确定输入的示例性过程400。应理解，在各项实施例的范围内可采用类似或交替顺序或并行执行的额外、更少或替代步骤，除非另行说明。此外，尽管在本实例中使用手指，但在各项实施例的范围内也可使用各种其他类型的物体或特征。在此实例中，使用计算装置的一个或多个相机撷取402图像信息。图像信息可包括视频图像、立体图像或者一个或多个静止图像。图像信息可被分析以确定404指尖在撷取的图像信息中是否可见。如果是的话，则可根据图像信息来确定406指尖位置，而且可确定并接受408适当的输入。

如果指尖在图像信息中无法被查看，那么至于装置的传感器是否可检测指尖或与指尖相关联的物体的一部分，便可作出确定410。如果是的话，那么传感器数据可被分析并用来确定414指尖位置，并且适当的输入可被接受。如果指尖无法被至少一个传感器检测到，那么撷取的图像信息中可见的手和/或手指的一部分可被分析412以尝试估计指尖相对于装置的位置。如上所述，所述估计可包括使用用户手指或手的模型、指尖进入盲区之前撷取的图像信息或者其他此类信息。

如之前所述，指尖点可能无法仅仅基于(例如)在平行于装置平面的平面中的位置来使用，但可与手指和/或用户手的其余部分的信息一起使用，以尝试确定用户实际指向的地方。参考图3论述了一个过程，其中可确定对应于用户手指的指向方向的轨迹或矢量。图5(a) 和图5(b)示出矢量或方向如何被用来选择某些单元和/或提供对计算装置的某些输入的实例。此类过程可使得用户能够使用手势或运动与装置交互，或者可使得用户能够在选项或单元超出拇指或手指的触及范围时使用拇指或手指选择所述选项或单元。

在图5(a)的视图500中，用户指着朝向显示器上的特定图标502 的方向。在此实例中，指尖在平行于显示器平面的方向上最接近图标，从而基于指尖点的确定也将选择所述图标。在此实例中，装置可确定用户在指示图标502，并且可提供边框504或者装置已确定用户将选择所述图标的其他指示符。用户随后可执行选择动作或提供其他此类输入以致使所述图标被选择或激活，例如，通过用手指做出轻敲动作、挤压装置、按下按钮、发出声音或手势指令等。在一些实施例中，用户手指可指在图标处一小段时间，本文中称为“停顿”时间，从而可导致图标被选择。随后可采取任何合适的动作。例如，如果图标对应于应用，那么通过指在图标处并随后执行选择动作(这可向装置表明用户想打开应用)，用户可启动该应用。所属领域的一般技术人员根据本文中涵盖的教示和建议即可明白，也可执行其他动作。

图5(b)示出类似的情形，其中用户的指尖相对于装置大约在同一位置，但手指的角度不同。因此，针对手指方向确定的矢量将与装置在不同的图标522处交叉。因此，即使基于手指尖点的界面可能为这两种情形选择相同的图标，但确定手指指向的方向可让用户在选择计算装置上的单元时更自然地进行控制。

在一些实施例中，用户还可使用手指尖方向来控制选择的方面。例如，用户可使用手指指向第一图标502，如图5(a)所示，但随后可旋转手指到一侧，如图5(c)所示，以指向至少一个额外的图标522。可以看出，这使得用户能够使用指尖位置来选择多个图标或单元，如显示的边框524所示，但在各项实施例的范围内也可使用其他图形标记。

图6示出根据各项实施例的用于使得用户能够通过手指或其他此类物体的方向来提供输入的示例性过程。在此实例中，用户的指尖和手指或手上的至少一个参考点被定位602。如上所述，这可使用图像数据、传感器数据或如本文中其他地方论述的其他信息来执行。至少部分基于那些点，对应于用户手指的当前方位的矢量(例如，用户手指指向的地方的投影)可以被确定604，并且矢量与装置的交叉点可以被确定606。对应于该位置的单元可以被确定608，在这点处，用户能够610为所述单元提供输入。如上所述，这可包括提供选择动作或其他输入，以便可提供给选择的单元或与所述选择的单元一起使用。在各项实施例的范围内也可使用各种其他方法。

在一些实施例中，通过确定可选择的单元数目，用户可使用手指、拇指或其他此类物体来协助提供输入。当用户四处移动物体时，光标、边框或其他指示符可移动或“对齐”到下一目标，这可帮助用户选择预期目标，尤其是外形小巧或距用户一定距离的装置。

图7示出可根据各项实施例使用的示例性电子用户装置700。尽管图示了便携式计算装置(例如，电子书阅读器或平板计算机)，但应理解，根据本文中论述的各项实施例可使用能够接收、确定和/或处理输入的任何电子装置，其中所述装置可包括(例如)台式计算机、笔记本计算机、个人数字助理、智能电话、视频游戏机、电视机顶盒以及便携式媒体播放器等等。在此实例中，计算装置700具有位于正面的显示屏702，所述显示屏在正常操作中将为面对显示屏(例如，在计算装置的与显示屏相同的一侧)的用户显示信息。本实例中的计算装置包括至少一个相机704或其他成像元件，用于至少在至少一个相机的视野内撷取静止或视频图像信息。在一些实施例中，计算装置可仅含有一个成像元件，而在其他实施例中，计算装置可含有若干个成像元件。每个图像撷取元件可为(例如)相机、电荷耦合装置(CCD)、运动检测传感器或红外传感器，以及许多其他可能的装置。如果计算装置有多个图像撷取元件，那么图像撷取元件的类型可以不同。在一些实施例中，至少一个成像元件可包括至少一个广角光学元件，例如，鱼眼镜，使得相机能够撷取大范围角度(例如，180度或更大角度) 内的图像。此外，每个图像撷取元件可包括被配置成迅即不断地撷取后续帧的数字静态相机或能够撷取流媒体视频的摄像机。

示例性计算装置700还包括至少一个麦克风706或能够撷取音频数据的其他音频撷取装置，例如，装置用户说的话或指令、装置附近播放的音乐等等。在此实例中，麦克风706位于装置上与显示屏702 相同的一侧，使得麦克风通常能更好地撷取装置用户说的话。在至少一些实施例中，麦克风可以是定向麦克风，其撷取麦克风大致正前方的声音信息，并且只会捕捉到其他方向有限量的声音。应理解，在不同实施例中，麦克风可位于装置的任何区域、面或边缘的任何合适的表面上，而且多个麦克风可用于录音和滤波目的等等。

示例性计算装置700还包括至少一个方位传感器708，例如，确定位置和/或移动的元件。此类传感器可包括(例如)可操作以检测计算装置的方位和/或方位变化以及装置发生较小移动的加速计或陀螺仪。方位传感器还可包括电子或数字罗盘，其可指示装置被确定指向(例如，相对于主轴或其他此类方面)的方向(例如，北或南)。方位传感器还可包含或包括全球定位系统(GPS)或类似的定位元件，其可操作以确定计算装置的位置的相对坐标以及有关装置发生相对大移动的信息。各项实施例可以任何合适的组合包括一个或多个此类元件。应理解，用于确定相对位置、方位和/或移动的算法或机制可至少部分取决于装置可用的元件的选择。在一些实施例中，装置可在使用这些传感器中的一个检测到装置的移动时开始分析图像信息。在其他实施例中，用户可通过倾斜装置、摇动装置或执行另外此类运动或动作来向装置提供输入。

图8示出示例性计算装置800的一组通用部件的逻辑布置，例如，参考图7描述的装置700。在此实例中，装置包括用于执行指令的处理器802，所述指令可存储在存储装置或元件804中。如所属领域的一般技术人员将明白，所述装置可包括许多类型的存储器、数据存储设备或非瞬时计算机可读存储媒体，例如，用于由处理器802执行的程序指令的第一数据存储设备、用于图像或数据的独立存储设备、与其他装置共享信息的可移除存储器等等。所述装置通常包括一些类型的显示元件806，例如，触摸屏或液晶显示器(LCD)，但诸如便携式媒体播放器等装置可借助其他方式传递信息，例如，通过音频扬声器。如上所述，很多实施例中的装置将包括至少一个媒体撷取元件 808，例如，能够成像投影图像或装置附近的其他物体的相机或红外传感器或能够撷取装置附近的声音的音频撷取元件。所属领域已知使用相机元件和计算装置来撷取图像或视频的方法，本文中将不再详细论述。应理解，可使用单个图像、多重图像、定期成像、连续图像撷取、图像流等来执行图像撷取。此外，装置可包括开始和/或停止图像撷取的能力，例如，在接收到用户、应用或其他装置的命令时。示例性装置可包括至少一个单声道或立体声麦克风或者麦克风阵列，其可操作以撷取来自至少一个主要方向的音频信息。麦克风可以是单向或全向麦克风，如已知的此类装置。

在一些实施例中，图8的计算装置800可包括一个或多个通信部件810，例如，Wi-Fi、蓝牙、RF、有线或无线通信系统。许多实施例中的装置可与互联网等网络进行通信，并且能够与其他此类装置进行通信。在一些实施例中，装置可包括能够接收来自用户的常规输入的至少一个额外的输入元件812。这种常规输入可包括(例如)按钮、触摸板、触摸屏、滑轮、操纵杆、键盘、鼠标、小键盘或任何其他此类装置或元件，借此，用户可向装置输入命令。然而，在一些实施例中，此类装置可能并不包括任何按钮，而是可仅仅通过视觉和音频命令的组合进行控制，从而用户可在不必接触装置的情况下控制装置。

装置还可包括至少一个方位或运动传感器。如上所述，此类传感器可包括可操作以检测方位和/或方位变化的加速计或陀螺仪，或者可指示装置被确定面对的方向的电子或数字罗盘。这种(这些)机制还(或者替代地)可包含或包括全球定位系统(GPS)或类似的定位元件，其可操作以确定计算装置的位置的相对坐标以及有关装置发生相对大移动的信息。装置也可包括其他元件，例如，可使得能够通过三角测量或其他此类方法确定位置。这些机制可与处理器进行通信，借此，装置可执行本文中描述或建议的大量动作中的任何一个。

如上所述，根据描述的实施例，在不同环境中可实施不同方法。例如，图9示出用于根据各项实施例实施各方面的环境900的实例。应了解，尽管网络环境用于解释的目的，但可酌情使用不同的环境来实施不同实施例。系统包括电子客户端装置902，其可包括可操作以通过合适的网络904发送和接收请求、消息或信息并将信息传送回到装置用户的任何合适的装置。此类客户端装置的实例包括个人计算机、移动电话、手持式消息传递装置、膝上型计算机、机顶盒、个人数据助理、电子书阅读器等等。网络可包括任何合适的网络，包括内联网、互联网、蜂窝网络、局域网或任何其他此类网络或其组合。用于此类系统的部件可至少部分取决于选择的网络和/或环境类型。众所周知用于通过此类网络通信的协议和部件，本文中将不再详细论述。借助有线或无线连接及其组合均可实现网络通信。在本实例中，网络包括互联网，因为环境包括用于接收请求及为其响应内容服务的网络服务器906，但对于其他网络，可使用服务于类似目的的替代装置，如所属领域的一般技术人员将明白。

所述环境包括至少一个应用服务器908和数据存储设备910。应理解，可存在若干个应用服务器、层或其他元件、过程或部件，其可形成链路或以其他方式配置，从而可交互以执行诸如从合适的数据存储设备获取数据等任务。本文中使用的术语“数据存储设备”是指能够存储、访问和检索数据的任何装置或装置的组合，其可包括任何标准、分布式或集群环境中的数据服务器、数据库、数据存储装置和数据存储媒体的任何组合和数目。应用服务器可包括任何合适的硬件和软件，用于根据需要与数据存储设备集成以便为客户端装置执行一个或多个应用的方面,以及处理应用的大部分数据访问和业务逻辑。应用服务器与数据存储设备协作提供访问控制服务，并且能够生成将被传输给用户的诸如文本、图形、音频和/或视频等内容，在此实例中，这些内容可采用HTML、XML或其他合适的结构化语言的形式通过网络服务器供应给用户。处理所有请求和响应以及在客户端装置902 与应用服务器908之间传送内容，均可由网络服务器906处理。应理解，网络和应用服务器并非必需的，而仅仅是示例性部件，因为本文中论述的结构化代码可在本文中其他地方论述的任何合适的装置或主机上执行。

数据存储设备910可包括若干个独立的数据表、数据库或其他数据存储机制，以及用于存储特定方面的数据的媒体。例如，所述数据存储设备包括用于存储生产数据912和用户信息916的机制，其可用来为生产侧的内容服务。所示数据存储设备还包括用于存储日志或会话数据914的机制。应理解，可能有许多其他方面需要存储在数据存储设备中，例如，页面图像信息和访问权限信息，其可适当存储在上述机制中的任一个中或者可存储在数据存储设备910中的额外机制中。数据存储设备910可通过与之相关联的逻辑进行操作以从应用服务器908接收指令，并且响应于此而获取、更新或以其他方式处理数据。在一个实例中，用户可提交某一类型单元的搜索请求。在这种情况下，数据存储设备可访问用户信息以验证用户身份，并且可访问目录详细信息以获取有关那种类型单元的信息。随后，信息可被返回给用户，例如，列在用户通过用户装置902上的浏览器能够查看的网页上的结果中。在浏览器的专用页面或窗口可查看相关特定单元的信息。

每个服务器通常将包括为服务器的一般管理和操作提供可执行程序指令的操作系统，并且通常将包括存储指令的计算机可读媒体，所述指令在被服务器的处理器执行时允许服务器执行其预期功能。操作系统的适当实施和服务器的一般功能已为人所知或可商用，并且易于被所属领域的一般技术人员实施，尤其是根据本发明。

一个实施例中的环境是利用若干个计算机系统和部件的分布式计算环境，所述系统和部件使用一个或多个计算机网络或直接连接借助通信链路互连。然而，所属领域的一般技术人员将了解，此类系统在部件数量比图9中所示的多或少的系统中可发挥同样的作用。因此，图9中系统900的描述应被当作本质上为说明性的，且并不限制本发明的范围。

如上所述，各项实施例可在各种操作环境中实施，在一些情况下，所述环境可包括可用来操作若干应用中的任一个的一个或多个用户计算机、计算装置或处理装置。用户或客户端装置可包括若干通用个人计算机中的任一个，例如，运行标准操作系统的台式或膝上型计算机，以及运行移动软件且能够支持多个网络和消息传递协议的手持装置。此类系统还可包括若干个工作站，其运行各种商用操作系统和其他已知应用中的任一个，以用于开发和数据库管理等目的。这些装置还可包括其他电子装置，例如，虚拟终端、瘦客户端、游戏系统以及能够通过网络进行通信的其他装置。

各个方面还可实施为至少一个服务或网络服务的一部分，例如，可为服务导向式架构的一部分。诸如网络服务等服务可使用任何合适的消息传递类型进行通信，例如，通过使用采用可扩展标记语言 (XML)格式并且使用诸如SOAP(源自“简单对象访问协议”)等合适的协议交换的消息。由此类服务提供或执行的过程可用任何合适的语言编写，例如，网络服务描述语言(WSDL)。使用WSDL等语言允许实现一些功能，例如，在各种SOAP框架中自动生成客户端代码。

多数实施例利用所属领域的技术人员熟悉的至少一个网络，用于支持使用各种商用协议中的任一个进行的通信，例如，TCP/IP、OSI、 FTP、UPnP、NFS、CIFS和AppleTalk。所述网络可以是(例如)局域网、广域网、虚拟专用网、互联网、内联网、外联网、公用交换电话网、红外网、无线网及其任意组合。

在利用网络服务器的实施例中，网络服务器可运行各种服务器或中间层应用中的任一个，包括HTTP服务器、FTP服务器、CGI服务器、数据服务器、Java服务器以及业务应用服务器。服务器还能够响应用户装置的请求来执行程序或脚本，例如，通过执行一个或多个网络应用，所述网络应用可实施为用任何编程语言(例如，C、 C#或C++)或任何脚本语言(例如，Perl、Python或TCL)及其组合编写的一个或多个脚本或程序。服务器还可包括数据库服务器，包括但不限于可从和商购到的那些。

所述环境可包括多种数据存储设备和其他存储器及存储媒体，如上文所述。这些可存在于多种位置，例如，在一个或多个计算机本地 (和/或驻留于其)的存储媒体上，或者在网络中任何或所有计算机远程的存储媒体上。在一组特定的实施例中，信息可驻留于所属领域的技术人员熟悉的存储区域网(“SAN”)中。类似地，归因于计算机、服务器或其他网络装置，用于执行功能的任何所需的文件可根据需要本地存储和/或远程存储。在系统包括计算装置的情况下，每个此类装置均可包括可经由总线进行电耦合的硬件元件，所述元件包括(例如)至少一个中央处理单元(CPU)、至少一个输入装置(例如，鼠标、键盘、控制器、触摸屏或小键盘)，以及至少一个输出装置(例如，显示装置、打印机或扬声器)。此类系统还可包括诸如磁盘驱动器、光学存储装置等一个或多个存储装置，和诸如随机存取存储器(“RAM”)或只读存储器(“ROM”)等固态存储装置，以及可移动媒体装置、存储卡、闪存卡等。

此类装置还可包括计算机可读存储媒体阅读器、通信装置(例如，调制解调器、网卡(无线或有线)、红外通信装置等)，以及工作存储器，如上所述。计算机可读存储媒体阅读器可与下述存储媒体连接或被配置成接收所述存储媒体：代表远程、本地、固定和/或可移动存储装置的计算机可读存储媒体，以及用于临时和/或更持久地容纳、存储、传输及检索计算机可读信息的存储媒体。所述系统和各种装置通常还包括大量的软件应用、模块、服务或位于至少一个工作存储装置中的其他元件，包括操作系统和应用程序，例如，客户端应用或网络浏览器。应了解，不同于上述内容，替代实施例可具有很多变化。例如，还可使用自定义硬件，和/或特定元件可实施在硬件、软件(包括例如小应用程序等可移植软件)或这两者中。此外，可连接到其他计算装置，例如，网络输入/输出装置。

用于容纳代码或部分代码的存储媒体和计算机可读媒体可包括所属领域已知或使用的任何合适的媒体，包括存储媒体和通信媒体，例如但不限于，用于存储和/或传输诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术中实施的易失性和非易失性媒体、可移动和不可移动媒体，包括RAM、ROM、EEPROM、闪存或其他存储技术、CD-ROM、数字多用途光盘(DVD)或其他光学存储设备、磁带盒、磁带、磁盘存储设备或其他磁存储装置，或者可用来存储所需信息且可被系统装置访问的任何其他媒体。基于本发明和本文中提供的教示，所属领域的一般技术人员将了解实施各项实施例的其他方式和/或方法。

因此，说明书和附图应视为说明性而非限制性的。但显而易见的是，在不偏离权利要求书所阐释的本发明的普遍精神和范围的前提下，可对本发明作出各种修改和变化。

条款

1.一种用于定位用户指尖的计算机实施的方法，其包括：

使用计算装置的至少一个相机撷取图像；

根据所述撷取的图像确定用户手指的至少第一部分的位置；

当第二部分在所述至少一个相机的视野之外时，使用所述计算装置的至少一个传感器检测所述手指的至少第二部分相对于所述计算装置的位置；以及

分析所述第一位置和所述第二位置以确定所述手指的指尖的相对位置。

2.根据条款1所述的计算机实施的方法，其中所述装置传感器包括电磁场传感器、电容式传感器或超声波传感器中的至少一个。

3.根据条款1所述的计算机实施的方法，其中分析至少所述第一部分和所述第二部分的位置来确定所述指尖的所述相对位置包括将所述位置输入到所述手指的数字模型。

4.根据条款1所述的计算机实施的方法，其中分析至少所述第一部分和所述第二部分的位置来确定所述指尖的所述相对位置包括使用在所述手指的所述第二部分移动到所述视野外之前撷取的至少一个先前图像中识别的至少一个预先的相对指尖位置。

5.根据条款1所述的计算机实施的方法，其进一步包括：

跟踪所述手指随时间的移动，以及使用至少所述第一部分和所述第二部分的位置至少部分基于所述手指的所述移动来更新所述指尖的所述相对位置。

6.一种计算机实施的方法，其包括：

使用计算装置的至少一个相机撷取图像，所述图像包括用户手的至少一部分的展现；

使用所述计算装置的至少一个处理器分析所述图像，以在所述图像中并未展现所述手的手指指尖时，确定所述用户所述手上的至少一个参考点相对于所述计算装置的位置；

至少部分基于所述至少一个参考点，计算所述指尖的位置；以及

至少部分基于所述手指的所述指尖相对于所述计算装置的所述位置，将输入提供到所述计算装置上执行的应用。

7.根据条款6所述的计算机实施的方法，其进一步包括：

使用所述计算装置的至少一个传感器检测所述手指的第二部分，

其中进一步至少部分基于所述第二部分来计算所述指尖相对于所述计算装置的所述位置。

8.根据条款7所述的计算机实施的方法，其中所述装置传感器包括电磁场传感器、电容式传感器或超声波传感器中的至少一个。

9.根据条款6所述的计算机实施的方法，其中同时计算多个指尖的位置，以及其中至少部分基于所述多个指尖的所述位置来提供输入。

10.根据条款6所述的计算机实施的方法，其中所述图像包括静止图像信息、立体图像信息、红外图像信息或视频信息中的至少一个。

11.根据条款6所述的计算机实施的方法，其中至少部分基于所述至少一个参考点来计算所述指尖相对于所述计算装置的所述位置包括将所述至少一个参考点提供到所述用户个性化的所述手指的数字模型。

12.根据条款6所述的计算机实施的方法，其中至少部分基于所述至少一个参考点来计算所述指尖相对于所述计算装置的所述位置包括使用根据至少一个先前撷取的图像识别的至少一个先前的指尖位置。

13.根据条款6所述的计算机实施的方法，其进一步包括：

跟踪所述手指随时间的移动，以及使用所述至少一个参考点至少部分基于所述手指的所述移动来更新所述指尖的所述位置。

14.根据条款6所述的计算机实施的方法，其中计算所述指尖相对于所述计算装置的所述位置进一步至少部分基于所述用户的所述手指的物理限制。

15.根据条款6所述的计算机实施的方法，其中计算所述指尖相对于所述计算装置的所述位置进一步至少部分基于相对于所述用户基于先前手指位置所做的先前选择进行的机器学习。

16.一种计算装置，其包括：

处理器；

至少一个相机；以及

包含指令的存储装置，所述指令在被所述处理器执行时可使所述计算装置执行以下操作：

使用所述至少一个相机撷取一个或多个图像，所述一个或多个图像信息包括用户手的至少一部分的展现；

当所述一个或多个图像中不可见所述用户的指尖时，分析所述一个或多个图像以确定所述用户所述手的至少一部分相对于所述计算装置的位置；以及

至少部分基于所述至少一部分，计算所述指尖相对于所述计算装置的位置。

17.根据条款16所述的计算装置，其进一步包括：

被配置成检测所述手指的第二部分的至少一个传感器，

其中所述指尖相对于所述计算装置的所述位置进一步至少部分基于所述第二部分。

18.根据条款17所述的计算装置，其中所述传感器包括电磁场传感器、电容式传感器或超声波传感器中的至少一个。

19.根据条款16所述的计算装置，其中所述一个或多个图像包括静止图像信息、立体图像信息、红外图像信息或视频信息中的至少一个。

20.根据条款16所述的计算装置，其中至少部分基于所述至少一部分来计算所述指尖相对于所述计算装置的所述位置包括将所述至少一部分提供到所述手指的数字模型。

21.一种包含指令的非瞬时计算机可读存储媒体，所述指令在被计算装置的处理器执行时可使所述计算装置执行以下操作：

使用计算装置的至少一个相机撷取图像，所述图像包括用户手的至少一部分的展现；

使用所述计算装置的至少一个处理器分析所述图像，以在所述图像中并未可见所述用户的指尖时，确定所述用户所述手上的至少一个参考点相对于所述计算装置的位置；

至少部分基于所述至少一个参考点，计算所述指尖相对于所述计算装置的位置；以及

至少部分基于所述指尖相对于所述计算装置的所述位置，将输入提供到所述计算装置上执行的应用。

22.根据条款21所述的非瞬时计算机可读存储媒体，其中所述指令在被执行时进一步使得所述计算系统执行以下操作：

使用所述计算装置的至少一个传感器检测所述手指上的第二点，

其中计算所述指尖相对于所述计算装置的所述位置进一步至少部分基于所述第二点，以及

其中所述装置传感器包括电磁场传感器、电容式传感器或超声波传感器中的至少一个。

23.根据条款21所述的非瞬时计算机可读存储媒体，其中多个指尖的位置能够被同时计算，以及其中输入能够至少部分基于所述多个指尖的所述位置而被提供。

24.根据条款21所述的非瞬时计算机可读存储媒体，其中计算所述指尖相对于所述计算装置的所述位置进一步至少部分基于所述用户的所述手指的物理限制。

Claims (13)

1.一种用于定位用户的手指的计算机实施的方法，其包括：

使用计算装置的至少一个相机撷取图像；

根据撷取的所述图像确定所述用户的所述手指的第一部分的展现以及所述手指的所述第一部分相对于所述计算装置的位置信息；

确定所述手指的第二部分在所述至少一个相机的视野之外；

确定所述用户的手的模型，所述模型包括所述手指的所述第一部分和所述第二部分；

至少部分基于所述用户的所述手的所述模型和所述手指的所述第一部分的位置信息，使用所述计算装置的至少一个传感器确定所述手指的所述第二部分相对于所述计算装置的相对位置；

至少部分基于所述用户的所述手的所述模型、所述手指的所述第一部分的所述位置信息和所述手指的所述第二部分的所述相对位置，确定所述手指的近似轨迹；以及

至少部分基于所述手指的所述近似轨迹，向在所述计算装置上执行的应用提供输入。

2.根据权利要求1所述的计算机实施的方法，其中所述至少一个传感器包括电磁场传感器、电容式传感器或超声波传感器中的至少一个。

3.根据权利要求1所述的计算机实施的方法，其中确定所述用户的所述手的所述模型包括向所述手指的数字模型输入所述手指的所述第一部分的所述展现以及所述手指的所述第二部分相对于所述手指的所述第一部分的位置的信息。

4.根据权利要求1所述的计算机实施的方法，其进一步包括：

通过分析所述手指的多个图像跟踪所述手指随时间的移动，以及至少部分基于所述手指的所述移动来更新所述手指的所述第二部分的所述相对位置。

5.一种计算机实施的方法，其包括：

使用计算装置的至少一个相机撷取图像，所述图像包括用户的手的第一部分的展现；

确定手指的指尖在所述至少一个相机的视野之外；

使用所述计算装置的至少一个处理器分析所述图像，以确定与所述用户的所述手的所述第一部分相对应的至少一个参考点相对于所述计算装置的位置信息；

确定所述用户的手的模型，所述模型包括所述手指的所述第一部分和所述指尖；

至少部分基于所述用户的所述手的所述模型和所述手指的所述第一部分的位置信息，使用所述计算装置的至少一个传感器确定所述指尖相对于所述计算装置的相对位置；

至少部分基于所述用户的所述手的所述模型、所述至少一个参考点的所述位置信息和所述指尖的所述相对位置，确定所述指尖的近似轨迹；以及

至少部分基于所述指尖的近似轨迹，向在所述计算装置上执行的应用提供输入。

6.根据权利要求5所述的计算机实施的方法，其中所述至少一个传感器包括电磁场传感器、电容式传感器或超声波传感器中的至少一个。

7.根据权利要求5所述的计算机实施的方法，其中计算所述指尖的所述相对位置包括以下一个或多个：将所述至少一个参考点提供到所述用户个性化的所述手指的数字模型；或者使用根据至少一个先前撷取的图像识别的至少一个先前的指尖位置。

8.根据权利要求5所述的计算机实施的方法，其进一步包括：

跟踪所述手指随时间的移动，以及使用所述至少一个参考点至少部分基于所述手指的所述移动来更新所述指尖的所述位置。

9.根据权利要求5所述的计算机实施的方法，其中计算所述指尖相对于所述计算装置的所述位置进一步至少部分基于以下一个或多个：所述用户的所述手指的物理限制；与所述用户基于先前手指位置所做的先前选择有关的机器学习。

10.一种计算装置，其包括：

处理器；

至少一个相机；

至少一个传感器；以及

包含指令的存储装置，所述指令在被所述处理器执行时可使所述计算装置执行以下操作：

使用所述至少一个相机撷取一个或多个图像，所述一个或多个图像信息包括用户的手的第一部分的展现；

确定所述用户的所述手的手指的指尖在所述至少一个相机的视野之外；

分析所述一个或多个图像以确定所述用户的所述手的所述第一部分相对于所述计算装置的位置；

确定所述用户的手的模型，所述模型包括所述手指的所述第一部分和所述指尖；

至少部分基于所述用户的所述手的所述模型和所述第一部分的位置信息，使用所述至少一个传感器确定所述指尖相对于所述计算装置的相对位置；

至少部分基于所述用户的所述手的所述模型、所述手指的所述第一部分的所述位置和所述指尖的所述相对位置，确定所述指尖的近似轨迹；以及

至少部分基于所述指尖的所述近似轨迹，向在所述计算装置上执行的应用提供输入。

11.根据权利要求10所述的计算装置，其中所述至少一个传感器包括电磁场传感器、电容式传感器或超声波传感器中的至少一个。

12.根据权利要求10所述的计算装置，其中所述一个或多个图像包括静止图像信息、立体图像信息、红外图像信息或视频信息中的至少一个。

13.根据权利要求10所述的计算装置，其中至少部分基于所述用户的所述手的所述模型和所述第一部分的位置信息使用所述至少一个传感器确定所述指尖相对于所述计算装置的相对位置包括将所述第一部分提供到所述手指的数字模型。