CN103733614B - 通过手势辨识的用户识别方法及装置 - Google Patents

Abstract

可以通过分析由用户做出的运动或手势的方面使所述用户识别和/或认证至计算装置。所述装置的至少一个成像元件可以捕捉包括所述运动或手势的图像信息且可以在二维或三维空间中确定关于所述运动或手势的依时性信息。所述依时性信息可以用于识别指示特定用户的变化的速度、运动和其它此类方面。除了所述运动或手势自身之外，做手势或运动的方式可以用于认证个别用户。虽然其他人可以学习基本手势或运动，但是每个人做所述手势或运动的方式一般至少略微不同，这可以用于防止对敏感信息、受保护功能或其它此类内容的未授权访问。

Description

通过手势辨识的用户识别方法及装置

技术领域

本发明涉及识别用户的计算机实施的方法及计算机装置。

背景技术

人们日益以新的和有趣的方式与计算机和其它电子装置交互。一个此类交互方法涉及相对于装置做一个可探测运动，可以使用相机或其它此类元件探测所述运动。虽然可探测简单运动以提供输入，但是一般没有方法确定做出手势的人的身份，除非组合地使用另一过程，诸如脸部辨识，但是特别对移动装置来说这是非常消耗资源。如果接触显示屏幕或其它触敏表面做运动，那么可以辨识图案(诸如签名)以识别人。但是，在许多情况下，一个人可以学习以足够精确性接近于另一个人的签名来提供认证。进一步来说，用户可能不赞识必须连续接触装置以提供用户的认证。

发明内容

根据本发明的一个方面，提供了一种识别用户的计算机实施的方法，其包括：获得使用计算装置的至少一个图像捕捉元件捕捉的图像信息；分析所述图像信息以识别所述计算装置附近的人的至少一个特征的位置；至少部分地通过在所述图像信息中追踪所述至少一个特征的所述位置达一段时间，获得追踪的位置信息；将所述追踪的位置信息与针对与用户关联的至少一个手势存储的手势信息相比较，所述手势信息至少包括：(a)与所述至少一个手势关联的移动路径，(b)所述移动路径的至少部分的相对时序信息，和(c)与所述用户执行所述至少一个手势的方式相关的一个或多个测量值；且当所述追踪的位置信息匹配所述手势信息时，提供指示识别所述用户的信息。

根据本发明的另一方面，提供了一种计算装置，其包括：装置处理器；至少一个图像捕捉元件；和存储装置，其包括可被操作来由所述处理器运行以执行动作集的指令，所述指令可使所述计算装置：获得使用所述至少一个图像捕捉元件捕捉的图像信息；分析所述图像信息以识别所述计算装置附近的人的至少一个特征的位置；通过在所述图像信息中追踪所述至少一个特征的所述位置达一段时间，获得追踪的位置信息；将所述追踪的位置信息与针对与用户关联的至少一个手势存储的手势信息相比较，所述手势信息包括以下：(a)与所述至少一个手势关联的移动路径，(b)所述移动路径的至少部分的相对时序信息，和(c)与所述用户执行所述至少一个手势的方式相关的一个或多个测量值；且当所述追踪的位置信息匹配所述手势信息时，提供指示识别所述用户的信息。

附图说明

将参考附图描述根据本公开的不同实施方案，其中：

图1图示其中可以根据不同实施方案实施不同方面的实例环境；

图2(a)和图2(b)图示根据不同实施方案的可以用作识别符的实例运动；

图3(a)和图3(b)图示根据不同实施方案的可以用作识别符的实例运动和手势；

图4图示根据不同实施方案的可以用作识别符的实例手势；

图5(a)、图5(b)、图5(c)和图5(d)图示根据不同实施方案的用于利用不同类型照明进行分析的实例图像；

图6图示可以根据不同实施方案执行的用于确定用户身份的实例过程；

图7图示可以根据不同实施方案使用的实例计算装置；

图8图示计算装置(诸如图7中所示的计算装置)的组件的实例配置；和

图9图示其中可以实施不同实施方案的实例环境。

具体实施方式

根据本公开的不同实施方案的系统和方法可以克服常规方法中经历的一个或多个上述和其它缺点以将用户识别提供至电子装置。特定来说，不同实施方案可使用户执行与那个用户关联的特定运动或手势，其由电子装置(或与电子装置通信的系统、装置或服务)分析以检验执行运动或手势的人的身份。电子装置可以捕捉包括用户的至少一部分的图像信息且分析那个图像信息以确定关于运动或手势的信息，其中那个信息可以包括在一个时间点用户的一个或多个特征的位置信息和/或在一段时间内位置信息的改变。位置信息可以基于运动或手势与用于在识别用户中使用的针对那个用户存储的位置信息相比较。

在不同实施方案中，用户可以在离电子装置一段距离处执行签名或其它特定运动或手势，其可以由装置的至少一个成像元件捕捉。捕捉信息可以被分析来确定图像信息中的至少一个特征(诸如用户的指尖)的位置。接着可以随着时间推移追踪那个特征的运动，其中那个特征的位置被确定以对应于二维或三维空间中的点。位置还可以与时间戳或其它此类时间信息存储在一起而除了运动或手势自身的路径之外可使确定手势形成的运动的速度和/或加速度。虽然唯一签名或运动对另一个人来说难以复制，但是对一个人来说尤其难以模仿改变的速度和运动，而另一个人通过改变的速度和运动执行运动或手势形成的不同部分。因为用户可能忘记用于将所述用户识别至装置的复杂手势，但是如果手势形成用户的姓名或以可别的方式易于在空中辨识的某些事物，那么用户将可能记住基本手势，所以当使用手势或运动以用于用户识别时，此类方法进一步有益。进一步来说，运动记忆一般相当强大，使得用户将趋向于甚至在大量时间流逝之后仍以类似速度和运动在空中形成手势(诸如用户签名或 首字母)。

在至少一些实施方案中，用户可以利用运动或手势，这些运动或手势利用多于一个参考点。例如，用户可以用两个或更多个手指做手势，其中那些手指的每个的运动当前随着时间推移被追踪且与已知识别信息相比较。类似地，用户可能使用两只手、眼睛、肘部、手持物体或许多其它特征的任何一个，上述特征可以被追踪且分析以用于用户识别的目的。

在一些实施方案中，用户可能甚至不需要做运动来被捕捉，而是取而代之利用特定“静态”手势。例如，用户可以在手语中形成特定字母来作为识别符。在一些实施方案中，可以考虑用户使用来形成那个手势的运动。但是，在一些其它实施方案中，分析取而代之可以包括手势中的不同特征点的关系。例如，不同用户将具有不同相对手指长度、手掌宽度、前臂长度和其它此类方面，其可以与手势组合以帮助确定特定的人的身份。

用户可以随着时间推移提供要在识别那个用户中使用的一个或多个运动或手势。例如，用户可能通过密码或签名验证或其它此类过程被识别至装置。一旦用户被识别，用户可以执行将与那个用户关联的运动或手势以用于在随后识别中使用。一个或多个算法可能分析运动或手势且提供“力度”或其它此类分数或等级，其指示用户不能复制那个运动的可能性如何，诸如其可以基于速度或加速度上的变化，可以被追踪的特征数量等等。接着用户可以执行手势或运动直到用户满意于结果(或符合另一准则)且可以周期性更新关联运动或手势以提供增加的安全。

可以根据不同实施方案使用不同照明和捕捉方法。例如，环境光或红外成像可以用于确定不同特征相对于装置的位置。在一些实施方案中，周围环境和红外成像的组合可以用于从捕捉的图像信息移除背景物体以简化图像处理且改进图像处理的精确性。可以使用任何适当传感器或探测器(诸如数字相机或红外探测器)捕捉信息。进一步来说，在至少一些实施方案中，两个或更多个成像元件可以在一起使用以提供三维中的位置信息。因为经常使用捕捉的图像信息以更高精确性确定诸如速度和位置的信息，所以对照于来自加速度计或其它类型的组件的数据，使用图像信息进一步有益。

下文关于不同实施方案呈现不同其它应用、程序和使用。

图1图示实例情形100，其中用户102想要将基于手势和/或运动的输入提供至计算装置104，诸如想要将那个用户的身份提供至装置以为了(例如)对装置上的功能安全解锁的目的。虽然示出了便携式计算装置(例如，智能电话、电子书阅读器或平板计算机)，但是应理解，可以根据本文讨论的不同实施方案使用能够确定和处理输入的不同其它类型的电子装置。这些装置可以包括(例如)笔记型计算机、个人数据助理、蜂窝电话、视频游戏机 或控制器和便携式媒体播放器等等。在这个实例中，计算装置104具有至少一个图像捕捉元件106，其可被操作来执行功能，诸如图像和/视频捕捉。每个图像捕捉元件可以是(例如)相机、电荷耦接装置(CCD)、运动探测传感器或红外传感器或可以利用另一适当图像捕捉技术。

在这个实例中，用户102正使用用户的手110执行所选运动或手势。运动可以是由装置辨识以对应于特定输入或动作的运动或手势集中的一个或可以是与那个特定用户关联的特定运动或手势以用于识别目的。如果运动执行于装置上的至少一个成像元件106的可视区域或角度范围108内，那么装置可以捕捉包括运动或手势的至少一部分的图像信息，使用至少一个图像分析、特征辨识或其它此类算法来分析图像信息且确定用户的至少一个特征在图像信息的随后帧或部分之间的移动。此可以使用已知或用于确定运动的任何过程执行，诸如定位一个或多个最初图像中的“唯一”特征，接着追踪随后图像中的那些特征的位置，借此可以对照对应于运动或手势集的移动集比较那些特征的移动等等。用于确定基于运动或手势的输入的其它方法可以在(例如)2008年12月10日申请且名为“MovementRecognition and Input Mechanism”的共同未决的美国专利申请第12/332,049号中发现，所述申请以引用的方式并入本文中。

在一些实施方案中，用户可以选择要用于将那个用户识别至电子装置的运动。例如，图2(a)图示实例情形200，其中用户通过使用食指在装置的至少一个图像捕捉元件的捕捉范围内的装置前面的空中“书写”用户签名而将他或她自己认证至电子装置。由图像捕捉元件捕捉的信息可以被分析来确定信息的每个帧或其它片段中的特定特征的位置以随着时间推移追踪那个特征的位置。在这个实例中，正被追踪的特征是用户的指尖202。可以(例如)通过相机捕捉图像的图像分析或传感器捕捉图像中的反射IR辐射的强度分析确定指尖位置。还可以使用不同其它成像方法。如所示，在用户指尖202正在空中形成“签名”的同时，捕捉的图像信息可以被分析来确定沿着签名的点集，每个点对应于各自时间点(诸如图像信息的各自帧的捕捉的时间)时用户指尖的确定点。例如，可以使用适当方法(诸如局部最大确定或形心确定等等)在给定图像帧中确定指尖的图像信息中使用的任何适当点。

捕捉的图像信息可以被分析来确定探测的运动可能对应于手势或其它此类输入的时期。在许多实施方案中，除非装置处于低帧速率或其它此类模式，否则太过消耗资源而不能分析捕捉的视频的每一个帧。在一些实施方案中，装置将周期性分析捕捉的图像信息以尝试确定图像信息中的特征是否看似指示做运动或手势的用户。在至少一些实施方案中，此可以使得装置开始以较高帧速率或频率捕捉信息，在此时间期间，手势或输入分析算法可以用于 分析信息。在其它实施方案中，装置可能利用图像信息的滚动缓冲器，其从最近时期(诸如最后十秒)保持图像信息。当探测到可能手势或用户运动时，装置还可能分析缓冲器中的信息以防装置在运动探测时错过运动或手势的开始。不同其它方法可以被使用，而且应按照本文包含的教示和建议进行了解。

图2(b)图示可以针对运动(诸如图2(a)中所示的运动)捕捉的实例点集210。在至少一些实施方案中，在相对等距的时间点下捕捉这些点。在一些实施方案中，诸如在存在单个相机的情况下，在二维(x,y)中确定点。如果能够确定深度信息(诸如在存在两个或更多个图像捕捉元件进行三角测量或立体成像的情况下)，例如点可能取而代之在三维(x,y,z)空间中确定。接着对照存储于库或其它此类数据存储库中的点集比较给定运动或手势的点的集合，其中那些集的每个对应于特定用户、运动、手势或其它此类方面。使用一个或多个点匹配算法，可以对照存储集的至少一部分比较点的确定集合直至点集在最低级别的确定性或可信度等等下匹配(或直至不再有尝试匹配的点集)。在一些实施方案中，曲线或连续线或函数可以拟合至点的集合且(例如)对照曲线集比较，在点相对离得相对较远且那些点的时序可能以别的方式影响匹配过程的实施方案中，这可以帮助改善匹配过程。

在至少一些实施方案中，过程可以进一步利用装置可以提供每个点或每对点之间的时序信息(绝对或相对)的事实。因此，每个点可以具有额外维度(x,y,t)或(x,y,z,t)，其可以包括除了位置信息之外的时序信息。如上文提及，一个人可以学习如何在合理程度的精确性下描绘出另一个人的签名。但是，对人而言更难的是还学习另一个人形成那个签名(或其它运动、手势等等)时变化的速度和/或运动。因此，具有除了位置信息之外的时序信息可以帮助更精确地识别做运动或手势的人。

可以进一步根据任何适当标准或框架编码点集。在一些实施方案中，用户或其它物体的每个追踪或监测的点或特征可以对应于一连串相对连续的点。对于多个点(即，当追踪用户的手的所有五个手指时)，可存在多个编码流。每个流可以存储为用于对照一个或多个已知的点序列匹配的一序列点。在至少一些实施方案中，每个点具有时间戳启用速度、加速度或要确定的其它此类信息。对于给定特征(诸如，用户的手)，可能存在十个特征(例如，最亮或最近点、识别特征点等等)，在适当采样速率下(诸如在100Hz与1kHz之间或对于至少一个实施方案在大约120Hz下)监测所述特征。此类方法可能在一秒长的时间段内导致大约一千个点，这可以为识别提供所期望程度的精确性，同时避免处理设法进行常规基于图像的追踪会出现的可能数百万个点。在一些实施方案中，(诸如)当给定特征在捕捉时间之间实质上不移动时等等，算法可能尝试进一步减少要追踪和/或分析的点的数量。

在图2(b)中，点可以被分析以确定做手势的用户在形成由间隔216指示的手写体“j”的一部分期间移动得最快。用户可能在转向点周围(诸如点明显挨近的手写体“a”的一部分212附近)移动得最慢。这个用户的端218附近的签名部分可能处于大约两者之间的速度。通过在位置和时间两者上看相邻点之间的相对距离，可以为签名确定速度和/或加速度集(或相对连续速度函数等等)。接着还可以对照一个或多个用户的存储信息比较这个速度相关信息且所述速度相关信息用于发现比单独位置或轨迹时更精确的匹配。例如，两个用户可能能够以足够相似性签下名字“Jan”，但是这两个用户用于形成那个名字的运动和速度将通常明显不同，这可在从那些用户中的一个接收签名时提供更精确的识别结果。在一些实施方案中，每个点之间的速度集可以被确定以用于匹配，但是在其它实施方案中，因为手势的特定点或区域可以对应于最高及最低速度的区域等等，所以可以针对所述特定点或区域确定速度和/或加速度。

在至少一些实施方案中，装置可能随着时间推移追踪多于一个点或特征。例如，图3(a)图示实例情形300，其中用户做出涉及所有五个手指(这里从张开的手到用户手指的特定构造)的手势。如果每个指尖的位置能够从捕捉的图像信息确定，那么可以在位置和/或时间上追踪每个手指的相对运动。每个手指的运动可以形成路径302，可以使用方法(诸如上文关于单个手指描述的方法)分析所述路径302。但是，此外，路径还可以彼此比较以提供额外信息。例如，每个用户可以具有不同长度的手指和不同大小与形状的手且可能在运动期间和/或运动结束时使用略微不同间隔。因此，除了从五个间隔路径五次获得信息之外，信息还可以用于确定不同特征之间的相对速度和/或位置。

例如，图3(b)图示可以针对图3(a)的运动确定的实例点集310。在这个实例中，可以看出每个手指的行进路径以及每个路径的速度可以不同。进一步来说，这些路径可以相对于彼此具有不同方位。例如，当这个特定用户做手势时，两个不同手指的路径312和314在一定量下交叉。对于另一个用户，路径可能在不同量下交叉或根本不交叉。因此，因为用户做多个运动的方式还可以对照彼此进行比较，所以多个特征的相对运动可为一个人的身份的又一指示符。

仍进一步来说，图像信息可以被分析来确定用户的一个或多个实体特性。例如，图4图示捕捉的实例图像400，其示出了由用户的手402形成的手势。用户可能已使用如上文讨论的特定运动形成这个手势或可能简单地想要使用这个特定构造来作为识别符。如上文所讨论，图像信息可以被分析来确定手势中的特定特征的位置(诸如相邻指尖的距离404等等)。但是，此外，还可以分析不同其它因数，诸如每个手指的相对长度、手掌尺寸、手指做手势 时的相对间隔和可能对特定用户而言为唯一，因此指示所述特定用户的许多其它此类方面的任何一个。以此方式，除非另其他人具有实质上类似于用户的实体特征的实体特征，否则即使另一个人学习用户的识别手势，那个人将不能骗装置将其识别为装置的用户。如果可用，那么还可以使用其它信息，诸如用户前臂的相对长度、用户手腕的厚度或其它此类信息。

如提及，不同类型信息可以用于尝试随着时间推移定位和追踪特定特征。一个方法利用数字相机(静物或视频)进行环境光成像以捕捉可以用图像辨识算法分析的图像。但是，如本领域中所知且如图5(a)的实例图像500中所图示，环境光图像可以包括许多不同物体的信息，因此可能分析起来非常消耗处理器和时间。例如，图像分析算法不仅必须区别手与图像中的门和人行道，而且不管手的方位如何，必须将手识别为手。此类方法可能需要(例如)形状或轮廓匹配，这仍相对消耗处理器。不那么消耗处理器的方法将是在分析之前将手与背景分离。

在至少一些实施方案中，发光二极管(LED)或其它照明源可以被触发以在一段短时间内产生照明，其中图像捕捉元件将要捕捉的图像信息。例如，在足够快速的捕捉或快门速度下，LED可以将较接近于装置的特征比较远的其它元件照亮得更多，使得图像的背景部分实质上是暗的(或以别的方式，取决于实施)。例如，图5(b)图示实例图像510，其中LED或其它照明源在至少一个手势传感器的图像捕捉时间期间被启动(例如，闪光或选通)。如所见，因为用户的手较接近于装置，所以手在图像中将看似较亮。因此，如果背景图像不是几乎完全暗，那么其将看似较暗。在至少一些实施方案中，这个方法对于红外(IR)成像来说特别有益。因为手已有效地与背景分离开，所以此类图像更易于分析，因此更易于追踪全部不同图像。进一步来说，较少部分图像需分析来尝试确定用于追踪的相关特征。在探测时间较短的实施方案中，即使LED自身每单位时间可能耗电较高，但在至少一些实施方案中，较少电力因使LED闪光而耗用。

此类方法在亮或暗两者条件下起作用。至少部分由于照明问题，可以在至少一些实施方案中使用光传感器以确定何时需要照明。在其它实施方案中，装置可能看当前条件下的因数(诸如处理图像所需的时间量)以确定何时对LED施加脉冲或选通LED。在还有其它实施方案中，当电池上剩余至少最低量的电荷时(其后LED可能不会发光直至由用户或应用程序等等指示)，装置可以利用脉冲照明。在一些实施方案中，照亮并且在较短探测时间下使用手势传感器捕捉信息所需的电力量可能小于在不照明下用滚动快门相机捕捉环境光图像所需的电力量。

在不存在足够快速快门，存在滚动快门效应的实施方案中或在其它此类情形中，可 能难以实质上防止探测来自装置附近的其它物体的反射。例如，图5(c)图示可以使用(例如)红外(IR)传感器捕捉的实例图像520，其中手较容易在图像中定位，但是背景仍充分存在而致使图像处理算法可能必须处理图像中其它物体或可能不能在最小级别确定性下快速定位特定特征。在至少一些实施方案中，装置可以捕捉(诸如)图5(a)中的环境光图像和(诸如)图5(b)中的反射IR图像两者。通过具有两个图像，一个或多个算法可以用于移位图像(以解决成像元件的距离偏移)，接着从反射IR图像520中减去环境光图像500。所得图像实质上由用户的手独占。在至少一些实施方案中，当确定(由于对比度、照明或其它此类方面)背景信息在环境光图像中可能比IR图像强烈得多时，执行加权减法，反之亦然。在一些情况下，可以执行加权比较集直至可以在最低级别的可信度下定位一个或多个特征。

在至少一些实施方案中，反射IR的强度可以用于确定将在图像之间追踪的一个或多个特征。例如，在图5(d)的实例IR图像530中，用户正使用单个手指执行运动来作为至装置的输入。在此类实例中，用户手指的指尖通常是用户手中最接近于装置的部分。因此，如果可以在可接受程度的区别下确定相对亮度，那么至少部分通过寻找IR图像中的最亮区域来确定用户手指的指尖。其它特征(诸如用户拇指的指尖或其它手指的部分)还可能看似较亮，这可以帮助确定可以进一步指示用户的身份的额外追踪点。

图6图示用于对可以根据不同实施方案使用的此类计算装置实现手势识别的实例过程600。应理解，对于本文讨论的任何过程，除非另有陈述，否则可以存在以类似或替代顺序或并行执行的不同实施方案的范围内的额外、较少或替代步骤。在这个实例中，在计算装置上启动手势探测602。在至少一些实施方案中，这(例如)通过用户手动启动或在应用程序启动之后启动，但是在其它实施方案中以至少低电力状态继续活动。

在这个实例中，诸如最近没有手势输入的情况下，计算装置可以低电力或低分辨率模式运行。例如，此类模式可以包括在较低捕捉速率下捕捉图像信息或不那么频繁地分析捕捉的信息。在至少一些实施方案中，一旦无论是否通过图像分析，运动探测器的使用等等探测到运动604，装置将改变为不同模式或以别的方式启动某种功能。在这个实例中，光探测器或其它此类机构(分析捕捉的图像信息的硬件和/或软件)可以确定照明606，并且判断是否存在足够的照明608。如果确定光不充分，或如果需要别的方式的光(诸如IR照明)，那么可以在捕捉随后图像信息610之前启动一个或多个照明源624。如本文别的地方提及，照明源可以是可被操作来在任何适当时间(例如，在图像捕捉期间连续或在捕捉的时序下选通)提供适当量和/或类型的照明可以包括上文讨论的缓存或其它此类暂时存储的图像信息 的捕捉的图像信息可以被分析来尝试确定一个或多个手势点612。如所讨论，这可以包括一串图像中辨识的用户特征，IR图像信息中的亮区域，图像信息中的一定近接度或距离的点等等。一个或多个算法不但可以尝试定位此类点或特征，而且可以确定坐标或其它适当值且追踪连续帧之间的那些点或捕捉的图像信息的其它点的值。如所讨论，这可以包括从图像捕捉流捕捉一个或多个点的信息且将那些点的值存储为可能手势集。

如果分析信息指示可能手势且可以获得可能手势点集，那么可以对照手势库或其它此类源中的一个或多个手势图案比较这个可能手势集614。可以如本文讨论或建议或如尝试匹配点集、功能、路径或其它此类特征的领域中所知或使用，可以使用任何适当匹配算法判断是否匹配618。如果在至少最低可信度、确定性级别或其它此类准则或阈值下未发现匹配，那么手势点信息(和关联的图像信息)可以被丢弃620。如果匹配可以在适当可信度等等下确定，那么对于那个手势的输入可以被接受622。在至少一些实施方案中，这可以对应于基于针对特定用户所知或确定的一种类型的运动或手势的辨识接受所述用户的识别信息。不同其它方法可以被使用，而且在本文别的地方讨论或建议。

图7图示可以用于根据不同实施方案执行此类方法的实例计算装置700。在这个实例中，装置在与显示元件702相同的装置侧上具有常规数字相机704，其可在用户至少部分位于显示元件前面的典型操作期间使装置捕捉关于装置的用户的图像信息。在至少一些实施方案中，显示元件702可以是电容屏幕或其它此类元件，其能够使用电容测量确定屏幕的给定距离(例如，3cm至5cm)内的用户特征的位置且随着时间推移追踪所述特征的位置。可以使用来自电容屏幕的信息来替代图像信息或除了图像信息之外，可以使用来自电容屏幕的信息以改善精确性和/或填充用户的特征可能太接近于装置而无法由成像元件等等适当地成像的运动。此外，实例计算装置包括定位于装置的相同侧上的红外(IR)传感器706(或收发器等等)，其可以用于在使用者处于相对相同位置时，确定从用户输入的手势。当环境光图像信息从IR图像信息中减去时，此类配置有用，但是应理解，在装置的相同或其它侧或位置上以及在不同实施方案的范围内可以存在额外或较少相机、传感器或其它此类元件，诸如所述元件可以实现手势或图像从相对于装置的任何期望方向或位置输入。

在这个实例中，可以包括光传感器708，其可以用于在将捕捉的图像和至少一个照明元件710(诸如本文其它地方讨论的白色发光二极管(LED)或红外(IR)发射器)的大致方向上确定光量，所述照明元件710用于在(例如)由光传感器确定的环境光不足或将捕捉反射IR辐射时，在特定范围的方向上提供照明。可以使用还在不同实施方案的范围内的不同其它元件和元件组合，如按照本文包含的教示和建议是明显的。

为了提供本文描述的不同功能，图8图示计算装置800(诸如关于图7描述的装置700)的基本组件的实例集。在这个实例中，装置包括至少一个处理器802，其用于运行可以存储于至少一个存储器804中的指令。如对于本领域普通技术人员明显的是，装置可以包括许多类型的存储器、数据存储器或计算机可读存储介质(诸如用于由处理器802运行的程序指令的第一数据存储器)，相同或单独存储器可以用于图像或数据，可卸除式存储器可用于与其它装置共享信息等等。装置通常将包括一些类型的显示器806，诸如触控屏幕、电子墨水(“e-ink”)、有机发光二极管(OLED)或液晶显示器(LCD)，但是装置(诸如便携式媒体播放器)可以经由其它构件(诸如通过音频扬声器)传达信息。在至少一些实施方案中，显示屏幕使用(例如)电容或电阻触控技术提供基于触控或滑动的输入。

如所讨论，许多实施方案中的装置将包括能够使装置的邻近处的用户、人或物体成像的至少一个图像捕捉元件808，诸如一个或多个相机。图像捕捉元件可以包括或至少部分基于任何适当技术，诸如具有确定的分辨率、焦距范围、可视区域和捕捉速率的CCD或CMOS图像捕捉元件。装置还可以包括至少一个单独手势组件810(诸如IR传感器或探测器)，其可被操作来捕捉用于在确定用户的手势或运动中使用的信息，这可使用户通过便携式装置提供输入而不必实际上接触和/或移动便携式装置。装置还可以包括至少一个照明组件812，如可以包括用于提供照明的一个或多个光源(例如，白光LED、IR发射器或闪光灯)和/或用于探测环境光或强度等等的一个或多个光传感器或探测器。

实例装置可以包括至少一个额外输入装置，其能够从用户接收常规输入。例如，这个常规输入可以包括按钮、触控板、触控屏幕、轮盘、操纵杆、键盘、鼠标、追踪球、小键盘或任何其它此类装置或元件，据此用户可以将命令输入至装置。在一些实施方案中，这些I/O装置甚至也可以由无线红外或蓝牙或其它链路连接。但是，在一些实施方案中，此类装置可以根本不包括任何按钮且只通过视觉(例如，手势)和音频(例如，说话)命令的组合受控，使得用户可以控制装置而不必与装置接触。

如所讨论，可以在不同环境中根据描述的实施方案实施不同方法。例如，图9图示用于根据不同实施方案实施方面的环境900的实例。如将理解，虽然基于Web的环境用于解释的目的，但是可以适当地使用不同环境以实施不同实施方案。系统包括电子客户端装置902，其可以包括可被操作来经由适当网络904发送和接收请求、消息或信息且将信息传达回装置的用户的任何适当装置。此类客户端装置的实例包括个人计算机、蜂窝电话、手持消息传送装置、膝上型计算机、机顶盒、个人数据助理、电子书阅读器等等。网络可以包括任何适当的网络，其包括内联网、因特网、蜂窝网络、局域网或任何其它此类网络或其组合。 用于此类系统的组件可以至少部分取决于所选网络和/或环境的类型。用于经由此类网络通信的协议和组件众所周知且将不在本文中详细讨论。经由网络的通信可以经由有线或无线连接和其组合启用。在这个实例中，网络包括因特网，同样环境包括用于接收请求且响应于此而供应内容的Web服务器906，但是如对于本领域普通技术人员来说明显的是，对于其它网络，可使用替代装置达到类似的目的。

说明性环境包括至少一个应用服务器908和数据存储区910。应当理解，可以有若干应用服务器、应用层或其它元件、过程或组件，其可以是链状或以别的方式配置，其可以交互执行任务，诸如从适当的数据存储区获得数据。如本文所使用，术语“数据存储区”是指在任何标准、分布式或集群式环境中能够存储、访问和提取数据的任何装置或装置的组合，其可能包括任何组合和数量的数据服务器、数据库、数据存储装置和数据存储介质。应用服务器908可以包括任何适当的硬件和软件，其用于根据需要与数据存储器区910整合来为客户端装置运行一个或多个应用程序的方面且为应用程序处理大多数的数据访问和业务逻辑。应用服务器与数据存储区合作来提供访问控制服务，并能够生成将传送给用户的内容，诸如文本、图形、音频和/或视频，其在本实例中可能通过Web服务器906以HTML、XML或另一种适当的结构化语言的形式供应给用户。客户端装置902与应用服务器908之间所有请求和响应的处理以及内容的传递可以由Web服务器906来处理。应理解，因为本文讨论的结构化代码可在本文其它地方讨论的任何适当的装置或主机机器上运行，所以Web服务器和应用服务器不作要求且仅仅是实例组件。

数据存储区910可以包括用于存储关于特定方面的数据的若干单独的数据表、数据库或其它数据存储机构和介质。例如，所示的数据存储区包括用于存储内容(例如，生产数据)912和用户信息916的机构，对于生产方，内容912和用户信息916可用于供应内容。数据存储区还被示出包括用于存储日志或会话数据914的机构。应当理解，可以有许多其它方面，这些方面可能需要被存储在数据存储区中，诸如有关页面图像信息和访问权限信息的方面，其可被存储于数据存储区910中的任何上面列出的适当机构中或额外的机构中。数据存储区910通过与其相关联的逻辑可被操作来从应用服务器908接收指令，并响应于此获得、更新或以别的方式处理数据。在一个实例中，用户可能会提交对某一类型的项目的搜索请求。在这种情况下，数据存储区可能访问用户信息以检验用户的身份，并且可以访问目录详细信息以获得关于那个类型的项目的信息。然后，所述信息可以(诸如)在用户能够经由在用户装置902上的浏览器查阅的Web页上的结果列表中被返回给用户。可以在浏览器的专用页面或窗口中查阅所关注的特定项目的信息。

每个服务器通常都将包括为所述服务器的一般管理和操作提供可运行的程序指令的操作系统，并且通常将包括存储指令的计算机可读介质，当服务器的处理器运行指令时，指令允许服务器执行其预期的功能。服务器的操作系统和一般功能的合适实施是已知的或可在市场上购得，并且易于由本领域普通技术人员特别地按照本文的公开实施。

在一个实施方案中，环境是利用若干计算机系统和组件的分布式计算环境，这些系统和组件经由通信链路使用一个或多个计算机网络或直接连接来互连。然而，本领域普通技术人员将理解，此类系统可在具有比图9中所示的组件更少或更多数量的组件的系统中发挥同样的作用。因此，图9中的系统900的描绘应被视为是说明性的，而不是对本公开的范围的限制。

可以在各种操作环境中进一步实施不同实施方案，在一些情况下，所述操作环境可以包括可用于操作一些应用程序的任何一个的一个或多个用户计算机或计算装置。用户或客户端装置可以包括一些通用个人计算机的任何一个，诸如运行标准操作系统的桌上型计算机或膝上型计算机以及运行移动软件并且能够支持一些联网和消息传送协议的蜂窝、无线和手持装置。此类系统还可以包括运行用于诸如开发和数据库管理的目的的各种可在市场上购得的操作系统和其它已知的应用程序中的任何一个的一些工作站。这些装置还可以包括其它电子装置，诸如能够经由网络通信的虚拟终端、瘦客户端、游戏系统和其它装置。

大多数实施方案利用为本领域熟练技术人员所熟悉的，用于使用各种可在市场上购得的协议(诸如，TCP/IP、OSI、FTP、UPnP、NFS、CIFS和AppleTalk)的任何一个支持通信的至少一个网络。例如，网络可以是局域网、广域网、虚拟专用网络、因特网、内联网、外联网、公共交换式电话网络、红外网络、无线网络和其任何组合。

在利用Web服务器的实施方案中，Web服务器可以运行各种服务器或中间层应用中的任何一个，其包括HTTP服务器、FTP服务器、CGI服务器、数据服务器、Java服务器和商业应用服务器。(若干)服务器还能够响应来自用户装置的请求而(诸如)通过运行可以实施为用任何编程语言(诸如C、C#或C++)或任何脚本语言(诸如Perl、Python或TCL)以及其组合编写的一个或多个脚本或程序的一个或多个Web应用程序来运行程序或脚本。(若干)服务器还可以包括数据库服务器，其包括(但不限于)在市场上从 和购得的数据库服务器。

环境可以包括如上文讨论的各种数据存储区及其它存储器和存储介质。这些可以常驻于各种位置中，诸如在对一个或多个计算机而言是本地(和/或常驻于一个或多个计算机中)或跨越网络远离任何或所有计算机的存储介质上。在特定的实施方案集中，信息可以常 驻于为本领域熟练技术人员所熟悉的存储区域网络(“SAN”)中。类似地，可以酌情适当地本地和/或远程地存储用于执行属于计算机、服务器或其它网络装置的功能的任何必需的文件。在系统包括计算机化装置的情况下，每个此类装置可以包括可经由总线电耦接的硬件元件，所述元件包括(例如)至少一个中央处理单元(CPU)、至少一个输入装置(例如，鼠标、键盘、控制器、触敏显示元件或小键盘)和至少一个输出装置(例如，显示装置、打印机或扬声器)。此类系统还可以包括一个或多个存储装置，诸如磁盘驱动器、光存储装置和固态存储装置(诸如随机访问存储器(“RAM”)或只读存储器(“ROM”))以及可卸除式介质装置、存储卡、闪存卡等等。

此类装置还可以包括上文描述的计算机可读存储介质阅读器、通信装置(例如，调制解调器、网卡(无线或有线)、红外通信装置)和工作存储器。计算机可读存储介质阅读器可以与计算机可读存储介质连接或被配置来接纳计算机可读存储介质，其表示用于暂时和/或更永久地包含、存储、传输和提取计算机可读信息的远程、本地、固定和/或可卸除式存储装置以及存储介质。系统和不同装置通常还将包括位于至少一个工作存储装置内的一些软件应用程序、模块、服务或其它元素，其包括操作系统和应用程序(诸如，客户端应用程序或Web浏览器)。应当了解，替代的实施方案可以具有来自上文描述的实施方案的许多变化。例如，还可以使用定制化硬件和/或特定元素可实施于硬件、软件(包括可移植软件，诸如小应用程序)或两者中。进一步来说，可以采用到其它计算装置(诸如，网络输入/输出装置)的连接。

用于包含代码或部分代码的存储介质和计算机可读介质可以包括本领域中所知或使用的任何适当介质，其包括存储介质和通信介质，诸如但不限于在用于信息(诸如，计算机可读指令、数据结构、程序模块或其它数据)的存储和/或传输的任何方法或技术中实施的易失性和非易失、可卸除式和不可卸除式介质，所述介质包括可以用于存储期望的信息且由系统装置访问的RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多用光盘(DVD)或其它光存储器、磁带盒、磁带、磁盘存储器或其它磁存储装置或任何其它介质。基于本文提供的本公开和教示，本领域普通技术人员将了解实施不同实施方案的其它方式和/或方法。

因此，说明书和附图应以说明性而非限制性的意义来考虑。但是，明显的是可以在不脱离如权利要求书中提出的本发明的较宽泛的精神和范围的情况下对其作出不同修改和改变。

条例

1.一种识别计算装置的用户的计算机实施的方法，其包括：

使用计算装置的至少一个图像捕捉元件捕捉图像信息；

通过计算装置分析图像信息以识别计算装置附近的人的至少一个特征的位置；

在所述捕捉的图像信息中追踪至少一个特征的位置达一段时间；

在时间段的至少一部分期间通过计算装置确定包括特征的位置和时间信息两者的点集；

将点集与针对计算装置的授权用户存储的至少一个手势相比较，手势图案包括以下两个：手势的移动路径；和沿着移动路径的多个点的相对时序、加速度或速度信息中的至少一个；且当在至少最低级别的确定性下点集匹配针对授权用户存储的至少一个手势图案的一个时，提供指示所述人是计算装置的授权用户的输入，

其中至少部分基于特定手势和用户执行那个特定手势的方式的组合用户能够被识别至计算装置。

2.根据条款1所述的计算机实施的方法，其中响应于探测计算装置附近的运动而执行捕捉图像信息。

3.根据条款1所述的计算机实施的方法，其进一步包括：

认证用户的身份；

提示用户执行与用户关联的手势；

捕捉对应于执行手势的用户的图像信息；

分析图像信息以确定手势的用户特定位置和时间信息；且

存储将在用户的随后识别中使用的用户特定位置和时间信息。

4.根据条款1所述的计算机实施的方法，其中针对授权用户存储的至少一个手势图案包括点集、连续函数、轨迹集的至少一个或至少一个拟合曲线。

5.根据条款1所述的计算机实施的方法，其中点集包括三维中的位置信息。

6.根据条款1所述的计算机实施的方法，其中至少一个特征包括手、手指、眼睛、肘部、手臂或手持物体的至少一个。

7.一种识别用户的计算机实施的方法，其包括：

受包括可运行指令的一个或多个计算装置控制，

获得使用计算装置的至少一个图像捕捉元件捕捉的图像信息；

分析所述图像信息以识别所述计算装置附近的人的至少一个特征的位置；

在所述捕捉的图像信息中追踪所述至少一个特征的位置达一段时间；

将所述至少一个特征的所述追踪位置的信息与针对与用户关联的至少一个手势存储的信息相 比较，所述信息包括以下的至少两者：一种类型的手势，与手势关联的移动路径，所述移动路径的部分的相对时序信息和在执行所述手势时所述用户的特征的相对距离；且

当所述追踪的位置信息匹配针对与所述用户关联的手势存储的所述信息时，提供指示识别所述用户的信息。

8.根据条款7所述的计算机实施的方法，其中所述捕捉的图像信息包括环境光图像信息和反射的红外图像信息的至少一个。

9.根据条款8所述的计算机实施的方法，其进一步包括：

将所述环境光图像信息的加权量从所述反射的红外图像信息中减去以从所述反射的红外图像信息实质上移除背景信息。

10.根据条款7所述的计算机实施的方法，其中使用图像识别、近接探测和强度分析的至少一个分析所述捕捉的图像信息以确定所述人的至少一个特征的所述位置。

11.根据条款7所述的计算机实施的方法，其中所述手势是一段时间内的静态手势，且其中针对与用户关联的所述至少一个手势存储的所述信息包括一种类型的手势和在执行所述手势时所述用户的一个或多个特征的相对距离。

12.根据条款7所述的计算机实施的方法，其中所述手势包括一段时间内的运动，且其中针对与用户关联的所述至少一个手势存储的所述信息包括与手势关联的至少一个移动路径和所述至少一个移动路径的至少部分的相对时序信息。

13.根据条款7所述的计算机实施的方法，其中至少一个特征的位置能够在二维或三维中确定。

14.根据条款7所述的计算机实施的方法，其中当在至少最低级别的确定性下所述追踪的位置信息不匹配针对与所述用户关联的手势存储的所述信息时，所述人被拒绝访问所述计算装置上的至少一些内容或功能。

15.根据条款7所述的计算机实施的方法，其进一步包括：

在捕捉图像信息的时间段的至少一部分期间使得启动至少一个照明源。

16.根据条款15所述的计算机实施的方法，其中至少一个照明源包括在时间段期间连续或周期性启动的白光和红外照明源的至少一个。

17.根据条款7所述的计算机实施的方法，其中至少一个特征包括手、手指、眼睛、肘部、手臂或手持物体的至少一个。

18.根据条款7所述的计算机实施的方法，其中计算装置在滚动缓冲器中存储捕捉的图像信息而可使手势分析包括至多在启动所述手势分析之前的一段固定时间获得的捕捉的图 像信息。

19.根据条款7所述的计算机实施的方法，其进一步包括：

在将所述追踪的位置的信息与针对与所述用户关联的至少一个手势存储的所述信息相比较之前，将曲线或函数拟合至所述追踪的位置的信息。

20.根据条款7所述的计算机实施的方法，其进一步包括：

若在指定的休止时期内没有探测到手势，那么停用手势输入模式。

21.根据条款7所述的计算机实施的方法，其中在一段时间内能够进一步使用电容屏幕来识别和追踪所述计算装置附近的所述人的至少一个特征的所述位置，所述电容屏幕可被操作来探测所述电容屏幕的给定距离内的位置和运动。

22.一种计算装置，其包括：

装置处理器；

至少一个图像捕捉元件；和

存储装置，其包括可被操作来由所述处理器运行以执行动作集的指令，所述指令可使所述计算装置：

获得使用所述计算装置的至少一个图像捕捉元件捕捉的图像信息；

分析所述图像信息以识别所述计算装置附近的人的至少一个特征的位置；

在所述捕捉的图像信息中追踪所述至少一个特征的位置达一段时间；

将所述至少一个特征的所述追踪的位置的信息与针对与用户关联的至少一个手势存储的信息相比较，所述信息包括以下的至少两者：一种类型的手势，与手势关联的移动路径，所述移动路径的部分的相对时序信息和在执行所述手势时所述用户的特征的相对距离；且

当所述追踪的位置信息匹配针对与所述用户关联的手势存储的所述信息时，提供指示识别所述用户的信息。

23.根据条款22所述的计算装置，其进一步包括：

至少一个照明源，其可被操作来在获得所述图像捕捉信息的时间段期间连续或周期性提供白光和红外辐射的至少一个。

24.根据条款22所述的计算装置，其进一步包括：

滚动数据缓冲器，其可被操作来存储最大量的最近获得的图像捕捉数据而可使手势分析包括至多在启动所述手势分析之前的一段固定时间获得的捕捉的图像信息。

25.一种存储指令的非暂时性计算机可读存储介质，所述指令由处理器执行时使得处理器：

获得使用所述计算装置的至少一个图像捕捉元件捕捉的图像信息；

分析所述图像信息以识别所述计算装置附近的人的至少一个特征的位置；

所述捕捉的图像信息中追踪所述至少一个特征的位置达一段时间；

将所述至少一个特征的所述追踪位置的信息与针对与用户关联的至少一个手势存储的信息相比较，所述信息包括以下的至少两者：一种类型的手势，与手势关联的移动路径，所述移动路径的部分的相对时序信息和在执行所述手势时所述用户的特征的相对距离；且

当所述追踪的位置信息匹配针对与所述用户关联的手势存储的所述信息时，提供指示识别所述用户的信息。

26.根据条款25所述的非暂时性计算机可读存储介质，其中所述捕捉的图像信息包括环境光图像信息和反射的红外图像信息的至少一个且进一步包括：

将环境光图像信息的加权量从反射的红外图像信息中减去以从所述反射的红外图像信息实质上移除背景信息。

27.根据条款25所述的非暂时性计算机可读存储介质，其中所述指令在执行时进一步使得处理器确定二维或三维中的至少一个特征的位置。

Claims (15)

1.一种识别用户的计算机实施的方法，其包括：

获得使用计算装置的至少一个图像捕捉元件捕捉的图像信息；

分析所述图像信息以识别所述计算装置附近的人的至少一个特征的位置；

至少部分地通过在所述图像信息中追踪所述至少一个特征的所述位置达一段时间，获得追踪的位置信息；

将所述追踪的位置信息与针对与用户关联的至少一个手势存储的手势信息相比较，所述手势信息至少包括：(a)与所述至少一个手势关联的移动路径，(b)所述移动路径的至少部分的相对时序信息，和(c)与所述用户执行所述至少一个手势的方式相关的一个或多个测量值；且

当所述追踪的位置信息匹配所述手势信息时，提供指示识别所述用户的信息。

2.根据权利要求1所述的计算机实施的方法，其中所述图像信息包括环境光图像信息和反射的红外图像信息的至少一个。

3.根据权利要求2所述的计算机实施的方法，其进一步包括：

将所述环境光图像信息的加权量从所述反射的红外图像信息中减去以从所述反射的红外图像信息实质上移除背景信息。

4.根据权利要求1所述的计算机实施的方法，其中分析所述图像信息包括执行图像识别、近接探测和强度分析的中的至少一个。

5.根据权利要求1所述的计算机实施的方法，其中所述手势是在大致相同的位置保持一段预定时间的静态手势。

6.根据权利要求1所述的计算机实施的方法，其中所述手势包括在所述一段时间内的运动。

7.根据权利要求1所述的计算机实施的方法，其中当在至少最低级别的确定性下所述追踪的位置信息不匹配所述手势信息时，所述人被拒绝访问所述计算装置上的至少一些内容或功能。

8.根据权利要求1所述的计算机实施的方法，其中所述至少一个特征包括手、手指、眼睛、肘部、手臂或手持物体的至少一个。

9.根据权利要求1所述的计算机实施的方法，其进一步包括：

在将所述追踪的位置信息与所述手势信息相比较之前，将曲线或函数拟合至所述追踪的位置。

10.根据权利要求1所述的计算机实施的方法，其进一步包括：

若在指定的休止时期内没有探测到手势，那么停用手势输入模式。

11.根据权利要求1所述的计算机实施的方法，其中使用电容屏幕来进一步获得所述追踪的位置信息，所述电容屏幕可被操作来探测所述电容屏幕的给定距离内的位置和运动。

12.一种计算装置，其包括：

装置处理器；

至少一个图像捕捉元件；和

存储装置，其包括可被操作来由所述处理器运行以执行动作集的指令，所述指令可使所述计算装置：

获得使用所述至少一个图像捕捉元件捕捉的图像信息；

分析所述图像信息以识别所述计算装置附近的人的至少一个特征的位置；

通过在所述图像信息中追踪所述至少一个特征的所述位置达一段时间，获得追踪的位置信息；

将所述追踪的位置信息与针对与用户关联的至少一个手势存储的手势信息相比较，所述手势信息包括以下：(a)与所述至少一个手势关联的移动路径，(b)所述移动路径的至少部分的相对时序信息，和(c)与所述用户执行所述至少一个手势的方式相关的一个或多个测量值；且

当所述追踪的位置信息匹配所述手势信息时，提供指示识别所述用户的信息。

13.根据权利要求12所述的计算装置，其进一步包括：

至少一个照明源，其可被操作来提供白光或红外辐射的至少一个，在获得所述图像信息的时间段期间，所述白光或红外辐射中的每一个均是连续或周期性启动的。

14.根据权利要求12所述的计算装置，其进一步包括：

滚动数据缓冲器，其可被操作来存储所述图像信息，其中所述指令使得所述计算装置能够分析所述图像信息发生在所述图像信息被存储一段固定时间之后。

15.根据权利要求12所述的计算装置，其中所述手势包括在所述一段时间内的运动。