CN103324277A

CN103324277A - 非触摸用户输入识别

Info

Publication number: CN103324277A
Application number: CN2012101168763A
Authority: CN
Inventors: 朱言宁; 阿列克谢·法捷耶夫
Original assignee: INGEONIX CORP
Current assignee: INGEONIX CORP
Priority date: 2012-03-22
Filing date: 2012-04-19
Publication date: 2013-09-25
Also published as: US20130249793A1

Abstract

本文描述了电子系统、设备及其相关非触摸用户输入识别的方法的实施例。在一个实施例中，一种方法包括：检测用户手指或与用户手指相关联的对象相对于时间的多个空间位置。该方法还包括：针对用户手指或与用户手指的相关联的对象的多对连续检测到的空间位置，计算区段长度和方向改变。该方法还包括：基于所计算的区段长度和方向改变，确定用户手指或与用户手指相关联的对象的多个空间位置所形成的时间轨迹是否对应于用户手指的自然晃动。

Description

非触摸用户输入识别

技术领域

本公开涉及非触摸用户输入识别。

背景技术

图形用户界面(“GUI”)允许用户基于图像而不是文本命令与电子设备交互。例如，GUI可以通过图形图标和可见指示符来表示对于用户可用的信息和/或动作。这种表示与基于文本的界面、键入命令标签或文本导航相比更直观并且更容易操作。

为了与GUI交互，用户通常利用鼠标、触摸屏、触摸板、游戏杆和/或其它人机接口(“HMI”)。然而，这样的HMI对于某些应用而言可能并不适合。例如，鼠标供智能电话或平板计算机使用时可能缺乏足够的移动性。相反，触摸屏通常用于这样的手持设备。然而，触摸屏由于有限的操作表面区域和/或触摸屏分辨率，不能实现精确的光标控制。开发了各种不需手的(hand free)技术来与GUI交互而无需HMI。不需手的示例技术包括语音识别和基于摄像机的头部跟踪。然而，这些传统的不需手的技术很难使用，并且与HMI相比功能有限。

发明内容

根据本公开的一个实施例，提供了一种在计算设备中实现的方法，所述计算设备具有彼此操作耦合的处理器、检测器和显示器，所述方法包括：利用检测器监视用户手指或与用户手指相关联的对象的时间轨迹，所述时间轨迹相对于时间具有用户手指或对象的多个空间位置，其中用户手指或对象与显示器分开；确定所监视的时间轨迹是否对应于用户手指的自然晃动；以及如果所监视的时间轨迹不对应于用户手指的自然晃动，则将所监视的用户手指或对象的空间位置映射到显示器上对应的光标位置。

根据本公开的另一方面，提供了一种在计算设备中实现的方法，所述计算设备具有彼此操作耦合的处理器、检测器和显示器，所述方法包括：检测用户手指或与用户手指相关联的对象相对于时间的多个空间位置，其中，用户手指或对象与显示器分开；针对用户手指或对象的多对连续检测到的空间位置，计算区段长度和方向改变；以及基于计算的区段长度和方向改变，确定用户手指或对象的所述多个空间位置所形成的时间轨迹是否对应于用户手指的自然晃动。

根据本公开的又一方面，提供了一种计算设备，包括：检测器，被配置为检测用户手指或与用户手指相关联的对象的位置，用户手指或对象与显示器分开；处理器，操作耦合至检测器；以及非暂时计算机可读介质，用于存储指令，所述指令当由处理器执行时，使处理器执行包括以下操作的处理：基于检测到的用户手指或对象的位置，形成时间轨迹；将形成的时间轨迹与针对处理器的命令或移动指令相关；基于相关的命令或移动指令，修改缓冲器中的指令；以及以预定量的延迟执行缓冲器中的指令。

附图说明

图1A是根据本技术实施例的配置用于用户输入识别的电子系统的示意图。

图1B是根据本技术实施例的配置用于利用输入设备的用户输入识别的另一电子系统的示意图。

图2是示出了根据本技术实施例的适合于图1A或1B系统的计算系统软件模块的框图。

图3是示出了根据本技术实施例的适合于图2的处理模块的软件例程的框图。

图4A是示出了根据本技术实施例的用户输入识别的过程的流程图。

图4B是示出了根据本技术实施例的初始化虚拟框的过程的流程图。

图4C是示出了根据本技术实施例的检测抖动的过程的流程图。

图5是示出了根据本技术实施例的虚拟框的示意空间图。

图6A和6B是分别示出了根据本技术实施例的示例手指时间轨迹和对应的光标时间轨迹的二维x-y图。

图7是示出了根据本技术实施例的示例手指时间轨迹中多个区段的二维x-y图。

图8A和8B是分别示出了根据本技术实施例的示例手指时间轨迹和对应的虚拟框轨迹的图。

图9是示出了根据本技术实施例的具有轻微运动的示例手指时间轨迹的图。

具体实施方式

以下描述电子系统、设备及其相关用户输入识别方法的各种实施例。这里所使用的术语“手势”通常是指基于用户的手指、手、其他部位和/或与其相关联的对象的位置、取向和/或移动轨迹的表示或表达。例如，手势可以包括用户的手指相对于参考点或平面保持在大致静态的位置(例如倾斜位置(canted position))。在另一示例中，手势可以包括用户的手指在一段时间向着或远离参考点或平面移动。在其他示例中，手势可以包括静态和动态表示和/或表达的组合。本领域技术人员还应当理解本技术可以具有附加实施例，并且本技术可以在没有以下参照附图1A-9描述的实施例的若干细节的情况下实践。

图1A是根据本技术实施例的配置用于用户输入识别的电子系统100的示意图。如图1A所示，电子系统100可以包括彼此可操作耦合的检测器104、输出设备106和控制器118。可选地，电子系统100还可以包括照明源112，照明源112被配置为向用户101的手指105提供照明114。照明源112可以包括荧光灯泡、发光二极管(“LED”)、激光器、红外(“IR”)源和/或配置为产生适合类型照明114的其它适合源。

在所图示的实施例中，手指105示为用户101的左手食指。在其他实施例中，手指105也可以是用户101左手或右手上的其他适合手指。即使电子系统100在下文中被描述成配置为仅监视手指105以进行用户输入，但是在其他实施例中，电子系统100还可以被配置为监视用户101左手和/或右手上的两根、三根或任何适合数目的手指，以进行用户输入。在其他实施例中，电子系统100还可以被配置为监视与手指105相关联的至少一个对象(例如，图1B中的输入设备102)。在其它实施例中，电子系统100还可以被配置为监视用户101的手、头、嘴、整个身体、部位和/或与这些相关联的对象。

检测器104可以被配置为获取用户101的手指105的图像和/或另外检测用户101的手指105的当前位置。在以下描述中，摄像机(例如，Logitech of Fremont，California提供的Webcam C500)用作检测器104的示例。在其他实施例中，检测器104还可以包括IR摄像机、激光检测器、射频(“RF”)接收机、超声换能器、雷达检测器和/或其他适合类型的无线电、图像和/或声音捕获部件。即使在图1A中仅示出了一个检测器104，但是在其他实施例中，电子系统100也可以包括相对于手指105呈现圆形、半圆形和/或其它适合布置的两个、三个、四个、或任何其他适合数目的检测器104(未示出)。

输出设备106可以被配置为向用户101提供文本、图形、声音和/或其他适合类型的反馈或显示。例如，如图1A所示，输出设备106包括配置为向用户101显示计算机光标108和邮件111的液晶显示器(“LCD”)。在其他实施例中，输出设备106还可以包括触摸屏、LED显示器、有机LED(“OLED”)显示器、有源矩阵有机LED(“AMOLED”)显示器、投影显示器、扬声器和/或其他适合输出部件。

控制器118可以包括耦合至存储器122和输入/输出接口124的处理器120。处理器120可以包括微处理器(例如，Apple，Inc.of Cupertino，California提供的A5处理器)、现场可编程门阵列和/或其他适合的逻辑处理部件。存储器122可以包括被配置为存储从处理器120接收到的数据以及针对处理器120的指令的易失性和/或非易失性计算机可读介质(例如，ROM；RAM，磁盘存储介质；光存储介质；闪存设备，EEPROM，和/或其他适合的非暂时存储介质)。输入/输出接口124可以包括用于与摄像机、显示器、触摸屏、键盘、跟踪球、计量器(gauge)或拨盘和/或其他适合类型的输入/输出设备接口相连的驱动器。

在一些实施例中，控制器118可以经由硬件通信链路(例如，USB链路、以太网链路、RS232链路等)操作耦合至电子系统100的其他部件。在其他实施例中，控制器118可以经由无线连接(例如，WIFI链路、蓝牙链路等)操作耦合至电子系统100的其他部件。在其他实施例中，控制器118可以被配置为专用集成电路、片上系统电路、可编程逻辑控制器和/或其他适合的计算架构。

在一些实施例中，检测器104、输出设备106和控制器118可以被配置为台式计算机、膝上型计算机、平板电脑、智能电话、电子白板和/或其他适合类型的电子设备。在其他实施例中，输出设备106可以是电视机的至少一部分。可以将检测器104和/或控制器118集成到电视机中，或者与电视机分开。在其他实施例中，控制器118和检测器104可以被配置为单一组件(例如，游戏控制台、摄像机单元或投影仪单元)，并且输出设备106可以包括电视屏幕、投影屏幕和/或其他适合的显示器。在其他实施例中，检测器104、输出设备106和/或控制器118可以彼此独立，或者可以具有其他适合的配置。

电子系统100的实施例可以允许用户101以非触摸方式来操作，例如通过利用手指105进行定位、取向、移动和/或其他方式做手势。例如，电子系统100可以监视手指105的位置、取向、移动和/或其它手势，并且将监视的手势与计算命令、移动指令和/或其他适合类型的指令相关。用于确定手指105的定位、取向、移动和/或其他手势的技术可以包括监视和识别手指105的形状、颜色和/或其他适合的特性，如美国专利申请No.08/203,603和No.08/468,358中所述，其全部内容通过引用包含在本文中。

在一个操作模式中，用户101可以通过产生如箭头107所示开始位置107a与结束位置107b之间手指105的移动，来发出移动指令。响应于此，电子系统100经由检测器104来检测所产生的手指105的移动，然后通过将开始位置107a和结束位置107b映射到输出设备106，来产生移动指令。电子系统100然后可以例如通过将计算机光标108从第一位置109a移动到第二位置109b，来执行移动指令，第一位置109a和第二位置109b分别对应于手指105的开始位置107a和结束位置107b。

在另一操作模式中，用户101还可以向电子系统100发出计算命令。在以上示例中，在用户101将计算机光标108移动到至少部分地与邮件111交叠时，用户101然后可以产生指示打开命令的手势。打开命令的示例手势可以包括向着检测器104以连续运动的方式移动手指105，并且立即返回到大致初始位置。在美国专利申请No.13/363,569中描述了其他示例手势，其全部内容通过引用包含在本文中。电子系统100然后检测手指105的移动，并将手指105的移动解释为对应于打开命令，之后执行打开命令以打开邮件111。以下参照图4A-4C描述适合于电子系统100的操作的处理的具体内容。

尽管电子系统100在图1A中被描述为直接监视手指105来获得手势，但是在其他实施例中，电子系统100也可以包括有助于监视手指105的手势的至少一个输入部件。例如，如图1B所示，电子系统100还可以包括与手指105相关联的输入设备102。在所示的实施例中，输入设备102被配置为可佩带在手指105上的环。在其他实施例中，输入设备102可以被配置为可佩带在用户101其他手指上的环。在其他实施例中，输入设备102可以被配置为开口环、手指探针、手指套、手套和/或针对用户101的手指、手和/或其他部位的其他适合产品。尽管在图1B中仅示出了一个输入设备102，但是在其他实施例中，电子系统100可以包括与用户101相关联的一个以上和/或其他适合的输入设备102(未示出)。

在一些实施例中，输入设备102可以包括被配置为发射要通过检测器104捕获的信号110的至少一个标记103(为了清楚起见，图1B中仅示出了一个标记)。在一些实施例中，标记103可以是有源部件。例如，标记103可以包括LED、OLED、激光二极管(“LD”)、聚合物发光二极管(“PLED”)、荧光灯、IR发射器，和/或被配置为发射可见光、IR光、紫外光和/或其他适合光谱的其他适合发光器。在其他实施例中，标记103可以包括被配置为发射射频、微波和/或其他类型适合电磁信号的RF发射机。在其他示例中，标记103可以包括被配置为发射声信号的超声换能器。在其他示例中，输入设备102可以包括被配置为产生发射(例如，光、RF、IR和/或其他适合类型的发射)的至少一个发射源。标记103可以包括“窗口”或者允许至少一部分发射通过的其他适合通道。在上述任何实施例中，输入设备102还可以包括耦合至标记103或者至少一个发射源的电源(未示出)。

在其他实施例中，标记103可以包括无电源(即，无源)部件。例如，标记103可以包括通过反射来自可选照明源112的至少一部分照明114来产生信号110的反射材料。反射材料可以包括铝箔、反射镜和/或具有足够反射率的其他适合材料。在其他实施例中，输入设备102可以包括有源部件和无源部件的组合。在任何上述实施例中，一个或多个标记103可以被配置为发射具有大致圆形、三角形、矩形和/或其他适合图案的信号110。在其他实施例中，可以省略标记103。

具有输入设备102的电子系统100可以以与如上参照图1A描述的类似方式进行操作，输入设备102有助于这种方式。例如，在一个实施例中，检测器104可以被配置为捕获来自输入设备102的发射信号110的图像，以监视手指105的位置、取向、移动和/或其他手势，如美国专利申请No.13/342,554所述，其全部内容通过引用包含在本文中。

在实施以上讨论的用户输入识别的若干实施例时，发明人发现监视和识别手指105的手势的一个困难在于区分手势105的自然晃动与有意运动或手势。在没有理论的约束下，应当相信人类的手(和手指)保持在空气中时呈现一定量的自然颤动、晃动或摇摆(本文共同被称作“抖动”)。发明人已经认识到自然晃动会误导、混淆和/或以其他方式影响手指105的手势识别。响应于此，电子系统100的若干实施例被配置为从有意运动或手势中识别和/或去除手指105(或用户101的手)的自然晃动，以下参照图2-9更加详细地讨论。

发明人还发现，从与计算命令相对应的手势中区分与移动指令相对应的手势，对于提供良好的用户体验是有用的。例如，在图1A所示的示例中，在用户101移动计算机光标108以至少部分地与邮件111交叠之后，计算机光标108应当在手指105产生与打开命令相对应的手势时不再移动。否则，计算机光标108的先前限定位置会偏离邮件111，并因此引起用户挫败。电子系统100的若干实施例被配置为至少改善了上述困难，以下参照图2-9更加详细地描述。

图2是示出了根据本技术实施例的适合于图1A或1B中控制器118的计算系统软件模块130的框图。每个组件可以是按照常规编程语言(例如，C++编程语言)写成源代码或其他计算机代码的计算机程序、过程、处理，并且可以供控制器118的处理器120执行。源代码和对象字节代码的各种实现方式可以存储在存储器122中。控制器118的软件模块130可以包括彼此互连的输入模块132、数据库模块134、处理模块136、输出模块138以及显示模块140。

在操作中，输入模块132可以接受数据输入150(例如，图1A或1B中来自检测器104的图像)，并且将接受的数据通信至用于进一步处理的其他部件。数据库模块134对包括手势数据库142和手势映射144的记录进行组织，并且有助于向存储器122存储这些记录或者从存储器122获取这些记录。可以使用任何类型的数据库组织，包括平面文件系统、分层数据库、关系式数据库或分布式数据库(例如，由数据库供应商(例如，Oracle Corporation，Redwood Shores，California)提供)。

处理模块136对来自输入模块132和/或其他数据源的数据输入150进行分析，并且输出模块138基于分析的数据输入150产生输出信号152。处理器120可以包括显示模块140，用于经由输出设备106(图1A或1B)、监视器、打印机和/或其他适合设备来显示、打印或下载数据输入150、输出信号152和/或其他信息。以下参照图3更详细描述处理模块136的实施例。

图3是示出了图2的处理模块136的实施例的框图。如图3所示，处理模块136还可以包括彼此互连的传感模块160、分析模块162、控制模块164和计算模块166。每个模块可以是按照常规编程语言写成源代码的计算机程序、过程或例程，或者一个或多个模块可以是硬件模块。

传感模块160被配置为接收数据输入150，并且基于数据输入150来识别手指105(图1A)和/或输入设备102(图1B)。例如，在一些实施例中，数据输入150包括手指105和/或输入设备102、用户101(图1A)和背景对象(未示出)的静止图像(或者视频帧)。传感模块160然后可以被配置为识别静止图像中与手指和/或输入设备102的标记103(图1B)相对应的分成像素和/或图像部分。基于识别的像素和/或图像部分，传感模块160形成手指105和/或输入设备102的标记103的处理后图像。

计算模块166可以包括被配置为执行各种类型的计算以有助于其他模块操作的例程。例如，计算模块166可以包括被配置为沿着预设方向以规则时间间隔对数据输入150进行采样的采样例程。在一些实施例中，采样例程可以包括线性或非线性内插、外插和/或其他适合的子例程，子例程被配置为沿着x、y和/或z方向以规则时间间隔(例如，30帧每秒)从检测器104(图1A)产生一组数据、图像、帧。在其他实施例中，采样例程可以省略。

计算模块166还可以包括被配置为确定手指105和/或输入设备102相对于检测器104的位置、取向的建模例程。在一些实施例中，建模例程可以包括被配置为确定和/或计算处理后图像的参数的子例程。例如，建模例程可以包括确定手指105相对于参考平面的角度的子例程。在另一示例中，建模例程还可以包括计算处理后图像中标记103的数量和/或各对标记103之间距离的子例程。

在另一示例中，计算模块166还可以包括被配置为形成手指105和/或输入设备102的时间轨迹(temporal trajectory)的轨迹例程。这里所使用的术语“时间轨迹”一般地是指代感兴趣的对象(例如，手指105或输入设备102)随时间流逝的空间轨迹。在一个实施例中，计算模块166被配置为计算表示手指105和/或输入设备102从第一时间点处的第一位置/取向移动至第二时间点处的第二位置/取向的运动的矢量。在另一实施例中，计算模块166被配置为基于多个时间点处的多个位置/取向，计算矢量数组，或者绘制手指105和/或输入设备102的轨迹。

在其他实施例中，计算模块166可以包括线性回归、多项式回归、内插、外插和/或其他适合的子例程来导出手指105和/或输入设备102的运动的公式、线性拟合和/或其他适合表达式。在其他实施例中，计算模块166可以包括计算时间轨迹的行进距离、行进方向、速度分布和/或其他适合特性的例程。在其他实施例中，计算模块166还可以包括计数器、定时器和/或其他适合的例程来有助于其他模块的操作，以下参照图4A-9更加详细地描述。

分析模块162可以被配置为对所计算的手指105和/或输入设备102的时间轨迹进行分析，以确定对应的用户手势。在一些实施例中，分析模块162对所计算的时间轨迹的特性进行分析，并且将特性与手势数据库142比较。例如，在一个实施例中，分析模块162可以将时间轨迹的行进距离、行进方向、速度分布和/或其他适合特性与手势数据库142中的已知动作或手势相比较。如果找到匹配，则分析模块162被配置为指示识别的具体手势。

分析模块162还可以被配置为基于手势映射144将识别的手势与控制指令相关。例如，如果识别的用户动作从左向右横向移动，则分析模块162可以将该手势与光标从左向右横向移位的移动指令相关，如图1A所示。在另一示例中，分析模块162可以将另一手势与打开邮件111的打开命令相关(图1A)。在其他实施例中，分析模块162可以将各种用户动作或手势与其他适合的命令和/或模式改变相关。

控制模块164可以被配置为基于分析模块162所识别的指令来控制电子系统100(图1A或图1B)的操作。例如，在一个实施例中，控制模块164可以包括用于与控制器118的操作系统和/或应用程序接口相连的应用程序接口(“API”)控制器。在其他实施例中，控制模块164可以包括基于识别的控制指令来向输出模块138产生输出信号152之一(例如，光标移动的控制信号)的例程。在另一示例中，控制模块164可以基于操作员输入154和/或其他适合的输入来执行其他适合的控制操作。显示模块140然后可以接收确定的指令并向用户101产生对应的输出。

图4A是示出了根据本技术实施例的用户输入识别的处理200的流程图。尽管以下参照图1A或1B的电子系统100以及图2和3的软件模块来描述处理200，处理200还可以应用在具有附加和/或不同硬件/软件部件的其他电子系统中。

参照图1A、1B和4A，处理200可以包括在步骤202处初始化与手指105的位置相对应的虚拟框。例如，检测器104可以捕获图像和/或以其他方式检测手指105的位置，手指105与输出设备106分开。控制器118然后可以至少部分基于检测到的手指105的位置，来限定虚拟框。控制器118然后将虚拟框中的位置映射到输出设备106上对应的位置。以下参照图4B更详细地描述对虚拟框进行初始化的若干实施例的具体内容。

处理200的另一步骤204可以包括监视手指105相对于虚拟框的位置、取向、移动或手势。例如，检测器104可以检测、获取和/或记录手指105相对于虚拟框随时间流逝的位置。检测到的手指105的位置然后可以用于形成时间轨迹。控制器118然后可以将形成的时间轨迹与手势数据库142(图2)中的已知动作或手势相比较，以确定用户手势。控制器118然后基于手势映射144(图2)确定得到的手势是否对应于计算命令。

处理200可以包括判定步骤206，判定步骤206确定手指105的手势是否对应于计算命令。如果手势对应于计算命令，则在一个实施例中，处理200包括在步骤208处将计算命令插入到缓冲器(例如，队列、堆栈和/或其它适合类型的数据结构)中，以等待由控制器118的处理器120执行。在另一实施例中，处理200还可以包括在步骤208处对先前插入在缓冲器中的计算命令和/或移动指令进行修改。例如，先前插入的移动指令在被执行之前可以从缓冲器中删除。随后，将计算命令插入到缓冲器中。处理200然后包括在步骤210处在一定量的延迟之后执行缓冲器中的命令。在一个实施例中，延迟为大约0.1秒。在其它实施例中，延迟可以是大约10毫秒、大约20毫秒、大约50毫秒、大约0.5秒和/或其它适合的延迟量。

处理200的若干实施例因此可以包括至少改善了在针对移动指令的手势与针对计算命令的手势之间进行区分的困难。例如，当首先检测到手指105的移动时，该移动可能不足以(例如，短行进距离、低速度等)被识别为计算命令。因此，可以基于检测到的移动将移动指令插入到缓冲器中。在一定时间段(例如，0.5秒)之后，手指105的移动足以被识别为与计算命令相对应的手势。响应于此，处理200包括删除先前插入的移动指令，并且取而代之插入计算命令。这样，当用户101在将计算机光标108移动到期望位置之后发出计算命令时，计算机光标108可以保持大致稳定。

如果手势不对应于计算命令，则处理200包括在步骤214处检测抖动，以确定监视的手指105的时间轨迹的至少一部分是否对应于人手的自然晃动。在一些实施例中，检测抖动可以包括针对设立的方向分析所监视的手指105的时间轨迹。在其他实施例中，检测抖动可以包括对时间轨迹的行进距离、行进速度、其他适合特性和/或其组合进行分析。以下参照图4C更详细地描述通过针对设立的方向分析所监视的时间轨迹来检测抖动的若干实施例。

处理200然后包括另一判定步骤216以确定是否检测到抖动。如果检测到抖动，则处理200包括在步骤218处调整虚拟框，以抵消(例如，至少降低或甚至消除)检测到的抖动的影响。例如，可以基于所监视的手指105的时间轨迹的量、方向和/或其他适合的特性来调整虚拟框。在一个实施例中，虚拟框的中心沿着大致相同方向偏移一定量，该量大致等于检测到的抖动量。在其他实施例中，虚拟框可以倾斜、缩放、旋转和/或可以具有其他适合的调整。

处理200还可以包括在步骤220处检测手指105的轻微运动。发明人已经认识到，用户101可以利用手指105的轻微运动(微调运动)来精细调整和/或控制计算机光标108的位置。不幸地是，这样的轻微运动可以具有大致类似于抖动的特性。因此，电子系统100可能将这样的轻微运动误解为抖动。

处理200的若干实施例可以识别这样的轻微运动以在输出设备106上实现对光标位置的精细控制。本文所使用的术语“轻微运动(微调运动)”一般地是指行进距离、方向改变和/或其它运动特性大致类似于用户手抖动的运动。在一些实施例中，识别轻微运动可以包括对手指105的时间轨迹执行线性回归，并且确定回归拟合的斜率，以下参照图9更加详细地讨论。在其它实施例中，轻微运动还可以通过对手指105的时间轨迹执行逻辑回归、非线性回归、步进回归和/或其它适合的分析来识别。

如果没有检测到抖动或者确定轻微运动，则处理200然后包括在步骤222处产生移动指令。产生移动指令可以包括基于手指105的时间轨迹来计算计算机光标位置，并且将计算的光标位置映射到输出设备106。处理200然后前进至步骤208处将产生的移动指令插入缓冲器。

处理200然后包括确定处理200是否应当继续的判定步骤212。在一个实施例中，如果检测到手指105和/或输入设备102的进一步移动，则处理继续。在其他实施例中，处理200可以基于其他适合的判据来继续。如果处理继续，则处理返回至步骤204处监视手指手势；否则处理结束。

即使如图4A所示处理200具有在步骤218处调整框位置，并且随后在步骤220处检测轻微运动，但是在其它实施例中，处理200也可以包括如果检测到抖动则在步骤220处检测轻微运动。随后，处理前进至在步骤218处调整框位置，然后在步骤222处产生移动指令。在其它实施例中，处理200还可以包括在步骤204处在监视手指105的位置、取向、移动或手势时包括缓冲器。因此，步骤206处的确定可以延迟大约0.1秒、大约10毫秒、大约20毫秒、大约50毫秒、大约0.5秒和/或其它适合的时间量。在这些实施例中，步骤208处修改缓冲器中的命令可以省略，并且在步骤210处可以无延迟地执行指令。

图4B是示出了根据本技术实施例的初始化虚拟框的处理202的流程图。参照图1A、1B和4B，处理202可以包括在步骤224处检测手指105的位置。在一个实施例中，检测手指105的位置可以包括捕获手指105的图像，并且基于捕获的图像来识别手指105的形状(例如，指尖)、颜色和/或其他适合的特性。在其他实施例中，检测手指位置可以包括识别从输入设备102发射和/或反射的信号110。

基于检测到的手指105的位置，处理202可以包括在步骤226处限定虚拟框。在一个实施例中，虚拟框包括基于手指105的指尖位置的x-y-z坐标系统中的x-y平面(或大致与之平行的平面)。例如，虚拟框可以是大致平行于输出设备106的矩形平面，并且其中心大致与检测到的手指105的位置一致。虚拟框的尺寸可以大致对应于手指105沿着x、y和z轴的移动范围。在其他实施例中，虚拟框可以具有其他适合的位置和/或取向。以下参照图5更详细地讨论示例虚拟框。

处理204然后包括在步骤228处将虚拟框映射到输出设备106。在一个实施例中，基于输出设备106的显示尺寸(例如，以像素数目计)，将虚拟框映射到输出设备106。因此，虚拟框中每个手指位置在输出设备106上具有对应的位置。在其他实施例中，虚拟框可以按照其他适合方式映射到输出设备106。处理202然后返回初始化的虚拟框。

图4C是示出了根据本技术实施例的检测抖动的处理214的流程图。发明人已经认识到，抖动通常不具有显著的方向性移动。因此，处理214的若干实施例包括基于预定阈值通过分析手指105(图1A或1B)的时间轨迹的区段长度和方向改变来检测抖动。本文所使用的“区段”一般地是指相对于时间手指105的两个连续空间位置之间的矢量。因此，需要至少两个空间位置(或位置点)来建立具有区段长度和区段方向的区段。同样，在以下讨论中，角度改变用作方向改变的指示符。在其他实施例中，方向改变也可以由其他适合的参数来表示。即使以下讨论特定示例操作和/或序列，但是在其他实施例中，处理214还可以包括通过分析手指105的时间轨迹的区段长度和方向改变来检测抖动的附加和/或不同操作。

如图4C所示，处理214包括初始化区段计数的可选步骤232。本文所使用的“区段计数”对应于区段长度大于预定长度阈值D(例如，0.1mm、0.2mm或任何其他适合值)的区段的数目。在一个实施例中，当第一次执行处理214时将区段计数初始化为零。在其他实施例中，可以在步骤202处初始化虚拟框时(图4A)对区段计数进行初始化。在其他实施例中，区段计数可以按照其他适合的方式初始化，或者可以省略。

处理214然后包括在步骤234处获取区段以及将获取的区段标记为抖动。在一个实施例中，获取区段包括检测手指105相对于虚拟框的位置，并且基于检测到的位置和时间上先前的位置来计算矢量。在其他实施例中，获取区段可以包括从存储器122(图2)中取得手指105的至少两个位置，并基于所述至少两个位置计算矢量。在其他实施例中，可以经由其他适合的技术来获取区段。

处理214然后包括判定步骤236以确定区段计数是否具有大于零的值。如果区段计数当前具有零值，则处理214包括另一判定步骤238，以确定获取区段的区段长度是否大于长度阈值D。如果区段长度大于长度阈值D，则处理214包括在步骤240处递增区段计数，然后处理返回。区段计数可以递增1，或者任何其他适合的整数。如果区段长度不大于长度阈值D，则处理返回，而不递增区段计数。

如果区段计数具有大于零的当前值，则处理214然后包括在步骤242处计算当前区段的方向改变。在一个实施例中，计算方向改变包括计算当前区段的方向与手指105的先前位置所定义的方向之间的角度改变。在图7中示意性示出了示例角度改变。在另一实施例中，计算方向改变包括计算当前区段的方向与紧邻前次区段的方向之间的角度改变。在其他实施例中，计算区段方向改变可以包括计算当前区段的方向与任何先前区段或其组合的方向之间的角度改变。

处理214然后包括判定框244，判定框244确定区段长度是否大于长度阈值D，以及计算的方向改变是否小于角度改变阈值A。如果为否，则处理214包括在步骤250处将区段计数重置为例如零，并且可选地指示用户手指或与用户手指相关联的对象的多个空间位置对应于自然晃动。如果为是，则处理214包括另一判定步骤246，以确定区段计数是否具有大于计数阈值N的当前值。计数阈值N可以被预先确定为对应于指示手指105有意移动的最小区段数目。在一个实施例中，计数阈值N为3。在其他实施例中，计数阈值N可以是1、2、4或任何其他适合的整数值。

如果区段计数的当前值大于计数阈值N，则在一个实施例中，处理214包括在步骤248处将当前区段标记为非抖动。在其他实施例中，处理214还可以在步骤248处将区段计数中至少一些或所有先前区段标记为非抖动。处理然后返回。如果区段计数的当前值不大于计数阈值N，则处理214包括前进至步骤240处递增区段计数，然后处理返回。

图5是示出了根据本技术实施例的虚拟框114的示意空间图。如图5所示，检测器104具有与基于手指105位置的虚拟框114相面对的视场112。如上所述，通过将虚拟框114映射到输出设备106，可以将手指位置(例如，指尖的位置)映射到输出设备106上光标108的位置。因此，当用户101移动手指105时，电子系统100可以相应地移动光标108。在所示的实施例和以下描述中，虚拟框114大致平行于x-y平面，x-y平面大致对应于检测器104的平面。z轴对应于与x-y平面大致垂直并且从检测器104向手指105延伸的轴。在其他实施例中，也可以使用其他适合的坐标系统。

图6A和6B是分别示出了相对于虚拟框114的示例手指时间轨迹116以及相对于输出设备106的对应光标时间轨迹116’的二维x-y图。在图6A所示的实施例中，将虚拟框114定义为中心117与手指105(图5)的位置相一致的矩形ABCD。如图6B所示，输出设备106包括与虚拟框114中的矩形ABCD大致对应的输出区域。在其他实施例中，虚拟框114和/或输出设备106的对应输出区域可以定义为圆形、椭圆形、梯形和/或其他适合几何形状和/或配置。

虚拟框114还包括第一、第二、第三和第四外框119a、119b、119c和119d，分别如图6A中矩形AA1B1B、BB2C2C、CC1D1D和AA2D2D所示。外框119可以被配置为当在虚拟框114外时有助于将手指时间轨迹116映射到光标时间轨迹116’。例如，如图6A和6B所示，手指时间轨迹116的第一和第三区段116a和116c分别在第二和第四外框119b和119d内。因此，在第一和第三区段116a和116c中，大致平行于x轴的移动改变可以省略。然而，大致平行于y轴的移动改变可以被解释成光标轨迹116’。如图6A和6B所示，手指时间轨迹116的第二区段116b在虚拟框114内。因此，大致平行于x轴和y轴的移动改变被解释成光标时间轨迹116’。

图7是示出了根据本技术实施例的示例手指时间轨迹114的多个区段的二维x-y图。如图7所示，示例手指时间轨迹114分别包括相对于时间的5个位置点p1-p5。因此，5个位置点p1-p5可以分别定义连续位置点之间的第一、第二、第三和第四区段121a、121b、121c和121d。在其他实施例中，手指时间轨迹114可以包括任何其他适合数目的位置点和区段。

在图7所示的示例中，第一、第二和第三区段121a、121b和121c是建立的区段，其中区段长度大于长度阈值D，方向改变低于角度改变阈值A。因此，在检测到第五位置点p5之后，通过计算第四位置点p4与第五位置点p5之间的区段长度来获取第四区段121d。此外，基于第四区段121d的方向和由第一位置点p1和第四位置点p4所定义的矢量，来计算方向改变(如角度改变α所示)。在其他实施例中，可以基于第四区段121d的方向和由第一、第二、第三和第四位置点p1、p2、p3和p4中的任意位置点所定义的矢量，来计算角度改变α。在其他实施例中，可以基于其他适合的参数来计算角度改变α。因此，如以上参照图4C所述，如果第四区段121d的区段长度大于长度阈值D，并且角度改变小于角度改变阈值A，则至少可以将第四区段121d指示为没有抖动。

图8A和8B是分别示出了根据本技术实施例的示例手指时间轨迹116和对应的虚拟框位置123的图。如以上参照图4A所述，如果将区段指示为抖动，则可以相应地调整虚拟框的位置。图8A示出了被视为抖动的示例手指时间轨迹F_x(t)116。图8B示出了虚拟框114(图5)的虚拟框位置P_x(t)123，相应地调整虚拟框位置P_x(t)123以至少降低或者甚至消除抖动的影响。

图9是示出了根据本技术实施例的具有轻微运动的示例手指时间轨迹116的图。如图9所示，可以在移动的时间窗(例如，0.2、0.3、0.4或任何其他适合的时间段)上对手指时间轨迹F_x(t)116执行线性回归，以导出线性拟合R_x(t)。如果线性拟合R_x(t)具有大于阈值(例如，0、0.1或任何其他适合的斜率值)的斜率，则手指时间轨迹116可以被指示为轻微运动。

根据上文，应认识到，这里已经出于示意目的描述了本公开的一些实施例，但是在不背离本公开的前提下可以进行各种修改。此外，一个实施例中的一些元件可以与其他实施例中的元件相结合，或者代替其他实施例的元件。因此，本技术除由所附权利要求限定以外并不受限。

Claims

1.一种在计算设备中实现的方法，所述计算设备具有彼此操作耦合的处理器、检测器和显示器，所述方法包括：

利用检测器监视用户手指或与用户手指相关联的对象的时间轨迹，所述时间轨迹相对于时间具有用户手指或对象的多个空间位置，其中用户手指或对象与显示器分开；

确定所监视的时间轨迹是否对应于用户手指的自然晃动；以及

如果所监视的时间轨迹不对应于用户手指的自然晃动，则将所监视的用户手指或对象的空间位置映射到显示器上对应的光标位置。

2.根据权利要求1所述的方法，还包括：如果所监视的时间轨迹对应于用户手指的自然晃动，则保持显示器上的光标位置。

3.根据权利要求1所述的方法，还包括：

利用检测器，检测用户手指或对象相对于显示器的空间位置；以及

基于检测到的位置利用处理器形成虚拟框，其中，监视时间轨迹包括监视用户手指或对象相对于虚拟框的时间轨迹。

4.根据权利要求1所述的方法，还包括：

利用检测器，检测用户手指或对象相对于显示器的空间位置；

基于检测到的位置利用处理器形成虚拟框，其中，监视时间轨迹包括监视用户手指或对象相对于虚拟框的时间轨迹；以及

如果所监视的时间轨迹对应于用户手指的自然晃动，则基于所

监视的时间轨迹来调整虚拟框的空间位置。

5.根据权利要求1所述的方法，还包括：

基于检测到的位置利用处理器形成虚拟框，其中，监视时间轨迹包括监视用户手指或对象相对于虚拟框的时间轨迹；

如果所监视的时间轨迹对应于用户手指的自然晃动，

则在显示器上保持光标位置；以及

基于所监视的时间轨迹来调整虚拟框的空间位置以抵消用户手指的自然晃动。

6.根据权利要求1所述的方法，还包括：

如果所监视的时间轨迹对应于用户手指的自然晃动，

则确定所监视的时间轨迹是否对应于用户手指或对象的轻微运动；以及

如果所监视的时间轨迹对应于轻微运动，则将所监视的用户手指或对象的空间位置映射到显示器上对应的光标位置。

7.根据权利要求1所述的方法，还包括：

如果所监视的时间轨迹对应于用户手指的自然晃动，

则对所监视的时间轨迹执行线性回归以导出线性拟合；以及

如果线性拟合具有大于预定阈值的斜率，则将所监视的用户手指或与用户手指相关联的对象的空间位置映射到显示器上对应的光标位置。

8.一种在计算设备中实现的方法，所述计算设备具有彼此操作耦合的处理器、检测器和显示器，所述方法包括：

检测用户手指或与用户手指相关联的对象相对于时间的多个空间位置，其中，用户手指或对象与显示器分开；

针对用户手指或对象的多对连续检测到的空间位置，计算区段长度和方向改变；以及

基于计算的区段长度和方向改变，确定用户手指或对象的所述多个空间位置所形成的时间轨迹是否对应于用户手指的自然晃动。

9.根据权利要求8所述的方法，其中，计算驱动长度和方向改变包括：

将区段长度计算为用户手指或对象的一对连续检测到的空间位置之间的距离；以及

计算第一对检测到的空间位置和第二对检测到的空间位置之间的角度改变。

10.根据权利要求8所述的方法，其中，计算区段长度和方向改变包括：

将一对连续区段之间的角度改变计算为第一对检测到的空间位置与第二对检测到的空间位置之间的角度，第一对和第二对共享一个空间位置。

11.根据权利要求8所述的方法，其中：

计算区段长度和方向改变包括：

确定检测到的所述多个空间位置所形成的区段的数目，所述区段分别具有大于长度阈值的区段长度；以及

计算区段长度大于长度阈值的所有连续区段对之间的角度改变；

确定用户手指或对象的所述多个空间位置所形成的时间轨迹是否对应于自然晃动包括：

如果确定的区段数目大于计数阈值，并且所有计算的角度改变小于角度阈值，则指示用户手指或与用户手指相关联的对象的所述多个空间位置不对应于自然晃动；以及

如果确定的区段数目小于计数阈值，或者角度改变之一大于角度阈值，则指示用户手指或与用户手指相关联的对象的所述多个空间位置对应于自然晃动。

12.根据权利要求8所述的方法，其中，计算区段长度和方向改变包括：

计算长度大于长度阈值的所有连续区段对之间的角度改变。

13.根据权利要求8所述的方法，其中，计算区段长度和方向改变包括：

计算长度大于长度阈值的至少两对连续区段之间的角度改变。

14.根据权利要求8所述的方法，其中：

计算区段长度和方向改变包括：

计算长度大于长度阈值的所有连续区段对之间的角度改变；以及

确定用户手指或对象的所述多个空间位置所形成的时间轨迹是否对应于自然晃动包括：如果所确定的区段数目大于计数阈值，并且所计算的角度改变小于角度阈值，则指示用户手指或与用户手指相关联的对象的所述多个空间位置不对应于自然晃动。

15.根据权利要求8所述的方法，其中：

计算区段长度和方向改变包括：

计算长度大于长度阈值的至少两对连续区段之间的角度改变；以及

确定用户手指或对象的所述多个空间位置所形成的时间轨迹是否对应于自然晃动包括：如果所确定的区段数目小于计数阈值，或者所计算的角度改变大于角度阈值，则指示用户手指或与用户手指相关联的对象的所述多个空间位置对应于自然晃动。

16.根据权利要求8所述的方法，其中：

计算区段长度和方向改变包括：

确定用户手指或对象的所述多个空间位置所形成的时间轨迹是否对应于自然晃动包括：如果所确定的区段数目小于计数阈值，或者所计算的角度改变中至少之一大于角度阈值，则指示用户手指或与用户手指相关联的对象的所述多个空间位置对应于自然晃动。

17.一种计算设备，包括：

检测器，被配置为检测用户手指或与用户手指相关联的对象的位置，用户手指或对象与显示器分开；

处理器，操作耦合至检测器；以及

非暂时计算机可读介质，用于存储指令，所述指令当由处理器执行时，使处理器执行包括以下操作的处理：

基于检测到的用户手指或对象的位置，形成时间轨迹；

将形成的时间轨迹与针对处理器的命令或移动指令相关；

基于相关的命令或移动指令，修改缓冲器中的指令；以及

以预定量的延迟执行缓冲器中的指令。

18.根据权利要求17所述的计算设备，其中，修改缓冲器中的指令包括：

在第一时间插入移动指令；

在晚于第一时间的第二时间移除插入的移动指令；以及

此后，将命令指令插入到缓冲器中。

19.根据权利要求17所述的计算设备，还包括：

确定时间轨迹是否与命令或移动指令相关；以及

如果时间轨迹与命令指令相关，则将命令指令插入到缓冲器，并且移除先前插入到缓冲器中的移动指令，所述移动指令是基于时间轨迹的一部分产生的。

20.根据权利要求17所述的计算设备，还包括：

确定时间轨迹是否与命令或移动指令相关；以及

如果时间轨迹与命令指令相关，则将命令指令插入到缓冲器；

如果时间轨迹与命令指令无关，则确定时间轨迹是否对应于用户手指的自然晃动；

如果时间轨迹对应于用户手指的自然晃动，则确定时间轨迹对应于轻微运动；以及

如果时间轨迹对应于轻微运动，则根据时间轨迹产生移动指令，并且将产生的移动指令插入到缓冲器中。