CN102239460A - 作为输入机制的动作识别 - Google Patents

Abstract

可使用在用户和计算装置之间相关运动或取向的检测来控制该装置的方面。例如该计算装置可包括成像元件和寻找相对于该装置的用户面部特征的位置，形状，拆分，和/或其他方面的软件，使得可确定相对于该用户的该装置取向。随后用户可为该装置提供输入，通过实施行为如倾斜该装置，移动该用户头部，作出面部表情，或不然改变相对于该装置的该用户的至少一个方面的取向。这样的方式可用作为如小键盘和触摸屏的常用输入装置的补充或替换。

Description

作为输入机制的动作识别

相关申请的交叉引用

本专利申请要求Bezos于2008年12月10日提交的第12/332,049号美国专利申请和于2008年11月20日提交的第61/116,430号美国临时专利申请的优先权，标题都为“作为输入机制的动作识别”，上述申请的全部内容通过引用并入本文。

背景技术

随着可用计算装置种类的增加，以及许多上述装置大小的减小，需要一种用户在其中与这些计算装置交互的方式。例如，当对于许多用户而言在键盘上打字为台式电脑输入信息是一种轻松并可接收的方式时，会难于试图在便携式电话的键盘上输入信息，因为该装置的微小形状要素。例如，用户手指大小会阻止该用户每次轻松地按下一个键。进一步地，当这些装置中的许多转为触摸屏或其他类似输入装置时，用户手指大小也会约束该用户成功地在该屏幕上选择出所要的对象或元件，等。使用这样的触摸屏的另一个缺点是在该显示屏幕上留下了指纹，污物，污点，和其他残留物，其会引起显眼或与清楚和/或能见度相关的其他问题。进一步地，一些用户增加额外的保护材料层以避免对该屏幕的损坏，但这些装置会降低触摸灵敏度和放大在该屏幕上留下的残留物的负面影响。

进一步地，许多用户宁愿使用例如手机，个人数字助理(PDAs)，和一只手使用的电子书阅读装置的便携式装置，难于执行这样的使用触摸屏幕或多按钮输入方式的操作。即使对于固定装置(如，台式电脑)，对于将宁愿不用必须不断地移动该鼠标并滚到下一个区域，选择导航到下一页的元件，等即可观看信息的用户，该标准键盘和基于鼠标的方式是不需要的。

附图说明

参照附图将对根据本发明的各个实施方案进行说明，其中：

图1示出了根据一实施方案的包括可操作用来成像用户面部区域的元件的便携式装置的实施例；

图2示出了根据一实施方案可被使用的可控装置的组件；

图3(a)-3(i)示出了根据一实施方案将文本信息输入到可被使用的便携式装置上的方式；

图4(a)-4(c)示出了根据一实施方案在计算装置上改变三维显示空间的方式；

图5(a)-5(c)示出了根据一实施方案在计算装置上改变三维显示对象的方式；

图6(a)-6(g)示出了根据一实施方案在计算装置上为三维界面导航的方式；

图7(a)-7(d)示出了根据一实施方案的可被识别为输入的动作的实施例；

图8(a)-8(c)示出了根据一实施方案的可被识别为输入的计算装置的用户相关视图的实施例；

图9示出了根据一实施方案的检测可被使用相关动作的方法的实施例；

图10(a)-10(f)示出了根据各个实施方案的用户的面部特征的分析；

图11示出了根据一实施方案的可被产生以提示用户确认对应于相关动作的行为的显示屏的实施例；

图12(a)-12(b)示出了根据一实施方案的处理作为输入的相关动作的方式；

图13示出了根据一实施方案的成像用户面部区域的相机的实施例；

图14(a)-14(b)示出了根据一实施方案的可被使用面部动作的检测方法的实施例；

图15(a)-15(c)示出了根据一实施方案的获得作为输入的用户眼睛动作的实施例；

图16示出了与图15(a)-15(c)中眼睛动作方式一起被使用的显示屏的实施例；

图17示出了根据一实施方案的可被呈现给用户以定制该输入控制方式的显示屏的实施例；和

图18示出了可实施各个实施方案的环境。

具体实施方式

根据本发明的各个实施方案的系统和方法可解决在电子环境下在常用的控制系统，装置，界面，或其他类似对象或元件的方式中所出现的上述和其他不足的一个或多个。为通过相关动作进行输入，提供了根据各个实施方案的系统和方法，例如使用可操作用来成像用户可识别部分的成像元件可确定的输入。相对于该用户可识别部分的装置的方向上的变化，通过该用户，该装置，或其组合的移动，可被确定并用作控制该装置某方面的输入。进一步地，该装置可对该用户的可调整方面进行成像，例如用户的面部表情，手势，或其他动作，以及采用上述可调整方面的状态作为输入。

在一实施例中，用户可能需要将文本输入便携式装置，例如输入搜索查询，敲入文本信息，或执行类似行为。根据各个实施方案的装置的用户能激活控制模式，例如“面部识别”模式，动作识别模式，或类似在这里讨论的模式，其允许该用户使用通过相机或该装置的其他成像元件可检测到的动作，表情，或对于用户在相关方向的其他变化来控制该计算装置。

在一个这样的装置中，用户可执行在引起在用户界面展现中变化(如，改动)的行为，例如虚拟键盘，单选框，单选按钮，或其他在该装置上显示的可选界面对象。例如，该虚拟键盘可以是常用的“QWERTY”式键盘或可选字母数字或其他类似字符的任意其他适合显示。可显示能移动到上述字母，数字，或其他显示字符任意一个上的光标，可移动图标，或其他类似元件。因此，基于参照该用户(或环境)的该装置方向上的变化进行改变的图形用户界面内所显示的信息，可对应于该图形用户界面的显示屏中的任意变化。例如，该用户界面可通过参照该图形用户界面的移动光标改变，调整用来生成在该计算装置上的三维图像的二维绘制的视点，在与电子目录相关的物品内导航，导航文件系统，从旋转选择结构中选择物品，至少部分基于在该用户界面中反映出的确定的变化来执行功能，导航电子地图系统，在许多其他可选的方式中。

该装置的成像元件，例如相机，其可被定位使得该成像元件能获得该用户的至少部分的图像，当该用户正操作该装置时。一实施方案，该相机是高速，高分辨率，能够在较少时间(如，高速相机或高速摄像机)内获得多数量图像的相机。该装置可包括能分析从该成像元件处所获得的图像信息并确定参照该装置的用户的至少一个相关位置和方向的图像处理算法。因此，该图像处理算法确定了参照该装置的用户的至少一个相关位置和方向中的变化。在该图形用户界面内显示的信息随后能够至少部分基于该确定的变化而被改变。在一些实施方案中，在该图形用户界面内显示的信息排除已获得第一和第二图像之一或二者的展现。即，在这样的实施例中，该成像元件不被用于在该用户界面内所显示的装置的用户的成像。相反，该用户图像信息被用于提供控制该图形用户界面各个方面的输入。

例如，该算法可确定该装置是否直接面对该用户，通过确定该用户的眼睛和/或头部是否基本上面对该装置。如果该装置或用户的头部在一个方向倾斜，该算法可确定该相关动作或取向的方向并相应地控制在该被显示键盘上光标的位置。例如，用户可将该装置向左或向右倾斜以将该光标移过一行字母，以及可将该装置向前或向后倾斜以将该光标移过一列字母，和/或其的任意组合。采用这样的方式，该用户通过简单地移动或不然改变该装置的取向，通过改变该用户的已确定方面的相对取向，或通过二者，可控制该光标或其他输入机构。

尽管上述实施方案通常涉及控制二维界面的输入，也可使用实施方案来控制三维界面的各个方面或使用这样的动作进行显示。例如，观看三维图像的二维绘制的用户可通过在对应于所需调整方向的方向中旋转或移动该装置(或该用户的头部，等)来调整该显示图像。这样的运动类似于从开口段注视箱子，其中用户能够通过将该箱子旋转到不同角度或定位该用户的头部来观看到该箱子的顶部，底部，和侧面，使得可看到所需面。在一些实施方案中，该用户同样能够通过执行缩放行为来缩放进该图像的不同区域，例如通过将该装置向该用户移动使得分析该图像信息的该算法能够检测到该用户的特征在逐渐接近该装置(如，他们的拆分和/或大小在增加)。例如加速度计的元件同样能够，在一些实施方案中，有助于这样的确定。在以三维方式展现信息的分等级归类的情况中，这样的方式允许用户快速并轻松地获得按该分等级的信息的所需等级，例如，通过缩放到该等级。用户随后可获得在该等级上的各个物品，通过将该装置的位置/取向倾斜或改变以移动光标或如上所述进行观看。

在另一实施例中，用户可采用例如电子书阅读器或便携式媒体装置的装置来阅读书，报纸，或其他类似电子内容。当观看这样的物体时，该用户可希望导航到或“翻”到电子书(e-book)的下一页，可执行例如将该装置倾斜到或将该用户头部转到右边的行为，来指出该用户准备导航到下一页。如果用户正在该书中导航以寻找该用户离开的位置，该用户可通过旋转该装置或以圆形方式移动该用户头部来输入命令以启动该导航，当该装置获得该用户离开的页或点时，该用户可实施例如微笑或点他或她的头部的另一行为采用“肯定”的运动来指示该装置该用户满意这次定位。同样可存在一个或多个物理按钮，选择轮，触摸界面，和在该装置上类似物，可与上述作为输入的相应动作一起结合使用。例如，用户可将该装置向右倾斜以使得该电子书阅读器来启动书的翻页，以及用户可按下按钮以指出正在显示所需页，给该装置发出信号以停止在该e-book中的调页。

在用户在电子市场中浏览提供的物品的实施例中，例如通过基于网页零售商的网站，该用户可观看到对应于搜索查询响应或物品分类的多个物品。如果在通过分类的三维组中显示了这些物品，例如，该用户可将该装置倾斜或移动以缩放或不然移动到所需分类的等级。一旦处于所需等级，该用户可将该装置倾斜或旋转他或她的头部，例如，以移动到在这个等级所显示的各个物品商。在上述行为移动光标的实施例中，在该光标处关于该物品的信息可被显示在弹出或模式窗口中。在另一实施方案中，当该用户将该装置倾斜时，该显示可移动到被显示的各个物品处，使得在任何一次仅仅显示在这个等级处的这些物品的子集，基于该用户导航的位置。当该用户准备观看其他物品时，该用户可实施指令该装置呈现新物品或物品列表的行为。如果该用户喜欢被显示的物品，该用户可实施指示该用户满意于正被显示的至少一个物品的行为。例如，如果该用户希望购买物品，该用户可执行例如上下地点他或她的头部的行为以指示该用户将愿意购买该物品。在一些实施方案中，这样的简单运动足以发起代表该用户的处理。但是，在一些实施方案中，该用户可能被要求确认通过实施行为进行的购买，例如通过再次点头或通过使用物理开关(如按钮或键)。如果该用户希望购买多于一件的物品，该用户可指出将购买或不然消费的数量，例如通过举起多个手指以展现该所需数量。可使用许多其他这样的用户行为来为该装置提供输入。

在另一实施例中，通过智能电话，或其他装置在网页商观看信息的用户，可将该装置向上倾斜以将该页向上翻，以及可将该页向上倾斜以将该页向下翻。该用户同样能够实施例如将该装置向该用户移动以放大，或将该装置向右倾斜以移动到下一页，或其他类似运动的行为。

此外，使用上述成像方式可检测到该装置的许多这些运动和动作。在一些实施方案中仅仅使用该该成像元件以执行该输入会是有利的。例如，可消除使用加速度计中所引入的成本和复杂度。进一步地，可使用成像方式，即使该装置(或其成像元件)被固定放置时。但是，在一些实施方案中，使用运动检测元件，例如加速度计，增加给成像元件，能提高对运动的检测，特别是在将相关装置被移动以至少部分地控制该输入的实施方案中。此外，使用加速度计可通过使得该装置在与图像相关的可能类似的运动之间更好进行区分来允许附加的输入类型，例如将该装置来回倾斜对比于将该装置上下移动，其中在每种情况下在该图像内该用户上下移动。

图1示出了根据一实施方案的配置100，其中通过便携式装置102的成像元件104对操作该便携式计算装置102的用户106的一部分成像。应当理解，在该图中所示的该用户和该装置的相对取向是为了解释方便而被转变，以及该用户通常面对包括显示元件和该成像元件104的装置的前面(或其他面或侧面)。成像元件104可以是，例如，相机，电荷耦合器件(CCD)，运动检测传感器，或红外传感器，在许多其他可选的方式中。同样应当理解，当在本实施例中描述智能手机102时，该便携式计算装置可以是任意能够接收并处理输入命令的适合装置，例如个人电脑，笔记本电脑，电视机顶盒，移动电话，PDA，电子书阅读装置，视频游戏系统，或便携式媒体播放器，在其他装置中。

在这样的配置中，该成像元件104与显示元件在该便携式装置102的同一常用侧面上的，使得当用户在观看该显示元件中的界面时，该成像元件具有可视区域108，根据本实施例，该区域包括该用户106的面部。当在一些实施方案中相对于该装置安装该成像元件时，在其他实施方案中，可操作该成像元件以跟踪该用户的位置，例如通过旋转该成像元件或将光引向该成像元件的光学元件(如透镜，镜子，等)。尽管此处所述实施方案使用了包括该用户面部的可视区域的实施例，该可视区域可包括该身体的其他部分，例如胳膊，腿，和臀部，在其他可选的部分中。无论哪种情况，可配置该成像元件的可视区域108以获得对应于操作该装置的用户的至少一部分的图像信息，以及如果该成像元件连续地(或至少基本上连续地)获得或不然获得图像信息，则相对于该装置102的该用户106的任意移动(通过该用户，该装置，或其结合的移动)可导致在该可视区域108内该用户的至少一个方面的位置或取向发生变化。如果该装置包括能够找出可始终地被确定的该用户的至少一特征的软件和/或硬件，例如该用户的眼睛，鼻子或嘴部，则该装置能够分析出该图像信息以确定随着一段时间的相关运动并使用该相关运动作为输入。

例如，用户可将该装置倾斜或旋转该用户的头部，例如上下点头，采用“肯定”的运动。可被检测出来并被该成像元件(如相机)分析作为该可视区域108内该用户眼睛位置的这样运动将在该图像中移动。进一步地，例如该用户眼睛的成像形状，大小，和拆分的方面同样会改变。也能通过当该用户保持静止时上下移动该装置来实现在该可视区域中该眼睛的移动，与通过其他类似运动一样。在一些实施方案中，该装置能够区分该用户的移动和该装置的移动，例如通过检测该图像的背景或其他方面，或通过分析各种特征的拆分，形状，或大小。因此，在本说明书中所述实施方案内使用该成像元件以确定该装置相对于其用户的取向或位置的任何地方，用户可根据指定命令通过移动该装置或改变该用户某一个方面，或二者来选择输入给定类型的运动。

如上所述，当使用该计算装置的该成像元件以检测该装置和/或用户的运动时，该计算装置可使用在该图像中的背景来确定动作。例如，如果用户将该装置保持在固定于该用户的取向(如，距离，角度，等)且该用户改变相对于周围环境的取向，单独分析该用户的图像不会实现检测出该装置取向的变化。相反，在一些实施方案中，该计算装置仍可通过识别在该用户后背景成像中的变化来检测出该装置的移动。所以，例如，如果对象(如，窗口，图片，树，灌木，建筑物，汽车，等)移动到该图像中的左边或右边，该装置可确定该装置具有改变后的取向，即使相对于该用户的该装置的取向没发生改变。

在一些情况中，相关动作可存在多种解释。例如，在一应用中，如果向上和/或向下移动装置，则可编程该装置以执行第一行为，以及如果改为向前或向后倾斜该装置，则执行第二行为。应当清楚，每一个行为可对应于在该可视区域中向上和/或向下移动的用户眼睛的位置。在一些实施方案中，如下所讨论的一样，该相机和检测可能足够灵敏于在与该获得图像中用户面部如何变化相关的两个运动中进行区分，例如各个特征的形状和拆分或其他这样的方面。在其他实施方案中，可能需要采用相当简单的成像元件和分析方式进行处理之处，会需要在能够确定该装置102的当前取向的装置中包括至少一个取向确定元件110。在一实施例中，该至少一个取向确定元件110是至少一个单一或多轴加速度计，该加速度计被使用以能够检测出例如该装置三维位置，该装置的移动的幅度和方向，与颤动一样，振动，等的要素。其他用来检测取向和/或移动的元件也可被用于各个实施方案范围内以用作取向确定元件110。当该来自加速度计的输入与来自该相机的输入一起被使用时，可更精确地解释该相关动作，允许宽范围的输入命令和/或较少复杂性的图像分析算法。例如，加速度计的使用不能仅仅考虑到在相对于该用户的横向和旋转的动作之间区分，而且能考虑到为用户选择以提供有或没有该成像元件的输入。例如，如果该装置是便携式音乐播放器，该用户可具有选择翻动或移动该装置以切换歌曲，快进，或实施任意其它类似运动而不用必须翻转该装置使得该装置面对该用户。可替换地，该用户可使得该装置固定并移动或调解该用户方面，例如通过将该用户的头部移动到右边以跳到下一首歌曲。一些装置可允许用户指明是否从该成像元件，该取向确定元件，或其组合处的接受输入。

图2示出了计算装置200的基本组件的集合，例如参照图1所述的装置102。在本实施例中，该装置包括执行可被存储在存储器装置或元件204中的指令的处理器202。如本领域公知的一样，该装置可包括许多类型的存储器，数据存储器，或计算机可读媒体，例如通过该处理器202所执行的编程指令的第一数据存储器，图像或数据的单独存储器，与其他装置共享信息的可移动存储器，等。该装置通常会包括一些类型的显示元件206，例如触摸屏或液晶显示屏(LCD)，尽管例如便携式媒体播放器的装置可能将信息通过其他工具传递，例如通过音频扬声器。如上所述，在多个实施方案中的该装置将包括至少一个例如相机的成像元件208，能够将用户的面部区域成像。该成像元件可包括任意适合的技术，例如具有足够分辨率，聚焦范围，和可视区域以在该用户操作该装置时获得该用户图像的CCD成像元件。使用具有计算装置的相机元件的捕获图像的方法在本领域公知，将在这里不具体进行讨论。应当理解，可使用单个图像，多个图像，周期图像，连续图像捕获，图像流，等来实施图像捕获。进一步地，装置可包括启动和/或停止图像捕获的能力，例如当从用户，应用，或其他装置中接收命令时。

如讨论的一样，该装置同样可包括能够确定和/或检测该装置的取向和/或移动的取向检测元件210。例如确定装置取向或移动的加速度计的元件的使用方法同样在本领域公知，将在这里不具体进行讨论。在一些实施方案中，该装置可包括至少一个附加的输入装置212，能够接收用户的常用输入。这样常用的输入可包括，例如，按钮，触摸输入板，触摸屏，滚轮，操纵杆，键盘，鼠标，小键盘，或任意其他类似装置或元件，其中用户可将命令输入给该装置。一些装置同样可包括麦克风或其他音频获得元件，接收声音或其他音频命令。例如，装置可能不根本不包括任意按钮，但是可能仅仅被通过可视和音频命令的组合来控制，使得用户可不需要与该装置接触来控制该装置。

图3(a)-3(c)示出了可被用来在便携式装置上输入文本的方式的实施方案。在一些实施方案中，这可被完成而不需要使用常见输入装置例如在键盘，小键盘或其他类似输入装置上的真实或虚拟键。在本实施例中，用户在试图将文本输入便携式装置300中。如可看到的一样，该装置包括允许虚拟键盘308或其他字母集或排列被显示给该用户的显示元件302。该显示包括可被在该虚拟键盘308的字母上移动的光标元件304。用户可移动该光标304以选择一个或多个字母，该字母可随后出现在文本输入窗口306或其他如此为该装置提供输入的元件中。

如图3(b)中所示，为该装置提供输入的一种方法是将该装置向右或向左倾斜，其分别对应于将该光标304在该键盘上向右或向左移动(或基于用户偏好，分别向右或向左)。类似地，图3(c)示出该用户可将该装置向前或向后倾斜以分别将该光标304向上或向下移动(或分别向下或向上)。在一些实施方案中，该用户可自由地跨越该屏幕通过倾斜该装置以任意方向移动该光标。在其他实施方案中，该用户可采用第一运动将该光标交叉或上下移动，以及可实施例如在该装置上按下按钮310或将该装置带回以面对该用户的行为来停止上述运动。该用户随后可通过将该装置倾斜为合适的方向以正交方向移动该光标。例如，如果以阵列形式显示上述字符，该用户可将该装置向左或向右倾斜以选择列，实施停止在该合适列处的行为，随后将该装置向上和/或向后倾斜以选择在该列中合适的行。如应当清楚的一样，可使用类似方式来执行各种其他组合和导航或动作。进一步地，尽管所述涉及倾斜该装置，应当理解，类似这里讨论的其他运动例如转动该装置或旋转该用户的头部，可一样被用于各个实施方案中。同样，在任意合适排列中可显示上述字符，且不限于行或其他类似的配置。

因此定位该光标使得其标识物品，例如字符，用作选择。该标识可包括将光标悬挂在该字母数字的字符上，改变该字母数字的字符的颜色，改变该字母数字的字符的形状，改变围绕该字母数字的字符的背景颜色，或显示围绕该字母数字的字符的形状(如，圆形，正方形，矩形，等)，在许多其他可选的方式中。

根据一些实施方案，可使用预测文本算法来帮助该用户快速将文本输入文本输入窗口308中。例如，在一些实施方案中，在输入字符后，该装置300可自动地将该光标304移到该算法已经确定的该用户正敲入的词中下一个最可能字符的字符。该用户可随后选择该预测字符或可通过进一步倾斜或移动该装置300来将该光标移到下一个所需字符处。

图3(d)-3(f)继续图3(a)-3(c)的实施例，描述了其中使用上述所述二维之外的第三维来选择该文本输入的实施方案。图3(d)描述了处于被检测为比较接近于用户身体的第一位置中的该装置300。可同时使用该成像元件208和/或该取向检测元件210来进行这样的检测。在上述位置中，在该显示元件302内以大写形式描述了该字母数字的字符A-Z。随后该用户可使用本说明书中提及的与图3(d)-3(f)相关的技术来将该光标304向左，右，上和下移动以选择该所需字母中的任意一个。在图3(e)中，该装置处于某一位置使得该成像元件104立刻处于通过移动该装置和该用户中一个以进一步远离该用户身体的第二位置。该装置300立刻检测出该装置处于该第二位置并更新该显示元件104以显示该字母数字的字符的小写版本。此外，随后该用户可使用本说明书中提及的与图3(d)-3(f)相关的技术来将移动该光标304并选择该所需字母中的任意一个。在图3(f)中，再次改变在该用户和该装置之间的相关距离使得该成像元件104立刻处于比该第一和第二位置进一步远离该用户身体的第三位置。该装置300立刻检测出该装置处于该第三位置并更新该显示元件104以显示特定字符(如，！，，#，$，等)。此外，随后该用户可使用本说明书中提及的与图3(d)-3(f)相关的技术来将移动该光标304并选择该所需字母中的任意一个。

在一些实施方案中，可将该装置配置为将该用户界面临时“锁”为该第一，第二或第三位置，当该用户操作该装置以输入所需字母数字的字符时。例如，该用户可按下在该装置上的按钮以在该各个位置中“锁”该用户界面并当该用户愿意移到下一位置的时刻释放该按钮。

使用该第三维的这样的实施方案可替代或补充选择该shift，cap lock，或Alt按钮的需要以在字母数字的字符入口的各个模式之间切换。应当理解，使用该第三维在大写，小写，和特定字符之间切换是可使用该第三维的仅仅一个实施例。例如，在其他实施方案中，字母数字的字符集可被分为各个等级(如，A-J在该第一位置，H-T在该第二位置，以及U-Z在该第三位置)。另外，尽管仅仅所述三个位置，在该第三维中任意数量的可能位置是可能的。

图3(g)-3(i)描述了该所述技术如何可被用来选择各个输入的实施方案，通过将该可选物品或元件(如，字符，部分或屏幕，等)分段成该用户界面的较大区域并允许该用户通过顺序地选择该各个分段来钻取特定选择。这样的技术可能特别有用，例如，当该相机的灵敏度较低时或如果该便携式装置被用于例如汽车或公共汽车的不稳定环境中。尽管图3(g)-3(i)具体描述了向该装置输入文本的字符的入口，可使用该技术以选择任意类型的可选元件。图3(g)描述了该用户界面的部分。这里有虚拟键盘308，对应于该字符的子集被分段为两部分312和314。根据本实施例，该用户需要从该虚拟键盘308处选出该字符“p”。但是，替代将该装置移动使得该用户在字符“p”上移动光标304，该用户将该光标304移到包含该字符“p”，这里为部分314的指定位置。这可通过，例如倾斜该装置300并使用如先前所述的基于相机的或方向检测机构的动作检测，来进行实施。随后该用户可在部分314内选择任意区域以前进或“钻取”到下一个选择。

当该用户选择部分314时，丢弃部分312并将部分314放大并进一步如图3(h)所述进行分段，提供三个子集(如，部分)。这时，字符“p”在部分316中，因此该用户倾斜该装置300使得将光标304定位在部分316的任意区域中。此时，该用户选择部分316，使得丢弃部分318和320，放大部分316以方便在剩余可选物品中选择一个。具体地，图3(i)描述了被分成各个供用户选择的部分的剩下的5个字符。随后该用户倾斜该装置使得将该光标定位在该部分320中的任意位置，字符“p”所在的位置，并选择该字符以输入文本输入窗口306中。随后可配置装置300以返回如图3(g)所述的显示中以再次开始该文本输入处理。在可替换实施方案中，与其改变该装置的物理位置或取向，不如该装置可检测相对于该装置的该用户的变化的位置或取向(通过该用户和该装置二者的移动)，使用供选择用的成像元件110。

根据另一字符输入的实施方案，预期将该光标相对于字符集进行移动，不如可配置该计算装置以每次显示一个字符以及，使得当该装置和该用户的相应取向发生改变时，配置该装置的用户界面以显示在该字符集中不同字符。例如，在一实施方案中，在该图形用户界面内一次仅仅显示一个简单字符，并且在改变该取向时，显示不同的字符以供选择。

图4(a)-4(c)描述了使用与前面所述类似的输入方式的用户导航的实施例。在本实施例中，使用计算装置400的二维显示元件402展现了三维环境。如上所述，该计算装置可包括至少一个成像元件以获得该装置的用户至少一部分的图像信息，以及可进一步地包括能确定与该图像信息相独立或与其结合使用的装置的取向的元件。如图4(a)所示，当该用户和该显示元件基本上相互面对时，在该显示屏上绘制了该三维环境的相关直视图。观看该图4(a)中的显示的用户可能希望获得向该屏幕右边显示的元件，或“在画面以外”的右边的元件的较佳视图。如图4(b)所示，该用户可将该装置向右(或向左)倾斜或实施类似动作，该动作将由该装置检测出来作为旋转用于显示的绘制视图范围的输入。随后被显示的图像可显示先前在该图像中心右边的图像的元件或部分的改善视图。类似地，该用户可能需要观看由该显示元件当前显示的上方或下方的元件或部分。如图4(c)所示，该用户可将该装置前后倾斜以改变该显示图像使得该图像提供视点，该视点较好地说明了先前在该先前图像中心点上面或下面的部分。因此，用户可改变用来显示该图像的视点，通过生成相关运动中的输入。另外，在一些实施方案中，一旦显示图像被改变以显示先前远离该图像中心显示的图像的元件或部分，可配置该装置以接收“规范化”输入或调整该显示图像使得该关注的显示区域被重取向为该显示图像的中心(如，该显示X部分移动到该显示屏的中心)。这允许在该用户和该装置之间的相对取向返回到正常的垂直观看取向。例如参照图4(b)，在改变装置和用户的取向后使得该X元件处于关注区域，该装置接收来自该用户的更新该显示的输入使得，胜于该+元件，该X元件在该显示图像的中心以及该用户可返回到正常的相对于该装置的垂直观看位置。可选择该重取向，使用光标或触摸屏，按钮选择或手势，在其他可选的方式中。

当该实施例描述了倾斜该装置，可如此处所述使用例如移动该用户头部或做出面部姿势的其他运动。例如，可通过斜到该装置400左边的用户来获得如图4(b)中在显示元件402内的相同生成图像。类似地，可通过斜到该装置400底部的用户来获得在图4(c)的显示元件402内的相同生成图像。另外，在一些实施方案中，可采用图3(d)-3(f)中所述的技术来完成缩放进出在显示元件402内所述元件的能力。例如，为了放大或缩小可将该装置或用户移得更近或进一步相互远离。

图5(a)-5(c)示出了改变作为相关运动输入结果的显示视图范围的另一实施例。在本实施例中，使用该计算装置500的该二维显示元件502来显示三维物品504的二维绘制。在本实施例中，绘制一块使得当将该装置和用户取向为基本相互面对时，该用户开始能够观看到该块504的正面。如果用户需要看到该块的侧面部分，例如图5(b)中所示，该用户可将该装置或该用户头部倾斜或旋转，或执行此处所述的另一行为，该行为可导致该显示屏来旋转该块的绘制视图。类似地，该用户可通过例如将该装置前后倾斜的运动来观看该上面或底面，如图5(c)所示。在一些实施方案中，该视图可被系在该相关位置使得该用户能够至少看到该块的侧面和正面的一部分，例如，像该用户通常不能观看到该装置后面的显示元件一样。在其他实施方案中，该用户可简单地以指定方向倾斜该装置，例如，该视图将继续以上述方向卷动或选择直到该用户或退出倾斜该装置或实施另一个导致停止该图像选择的行为。根据此处所述的方面，也可使用各种其他方式。

根据一些实施方案，该用户可如上所述进行放大或缩小。在一实施例中，该用户可将该三维物品504的内部放大或缩小以露出该显示元件502范围内附加的三维物品，通过改变在该用户和该装置之间的相关距离。可使用类似于以上所述的方式来在该显示元件502内选择物品。

在三维中的导航能力不仅有利于观看图像和其他类似信息，也会有用于使用三维界面来定位信息。例如，图6(a)示出了在计算装置600的显示元件602上的界面604的实施例，其中该界面包括多个不同等级，每一个等级可对应于信息的分类或分级。例如，在电子市场中浏览物品的用户可能看到各个显示的种类和子类。在该所示实施例中，其中每一个种类仅仅存在一个子类，寻找电脑但不必须是个人电脑的用户可能需要直接导航到包括在该“电脑”种类等级处的物品的页。在图6(a)中，该显示当前处于在该“电子设备”种类等级，所以该用户可能需要放大或不然移动到该电脑等级。在本实施例中，该用户可实施例如按第一方向来倾斜该装置的行为，如图6(b)所示以缩放到所需等级。在其他实施方案中，该用户可通过将该装置(和成像元件)移动为离该用户更近来放大，如图3(d)-3(f)所述。在该等级处的显示可能包括与电脑相关的数个物品，该用户可使用此处所述的各种运动方式来导航到上述物品并观看信息。但是，如果该用户需要替代察看其他类型的消费品，该用户可能退出该如图6(c)所示的种类等级以在该显示的种类等级中具有较高的等级节点。在一些实施方按中，在任意时候在该显示屏上提示了至少下一个最高和/或最低等级以帮助用户以所需方向进行导航或浏览。在一些情况中，该用户可能将该装置倾斜以移到该所需种类等级，随后实施例如按下按钮以将该显示“锁”在该等级的行为。随后该用户可倾斜该装置以在该等级处锁显示的物品之间进行导航，使用例如参照图3(a)-3(c)所述的方式。

尽管图6(a)-6(c)的实施方案描述了在电子市场中的使用，考虑到了许多其他潜在用处。例如，该界面可描述在书中的布局(如，章节或分段)，用户的社交图，搜索结果，文件系统等级，在许多其他潜用处中。因此，可使用此处所述的用户界面技术来导航并实际上访问任意类型的内容。例如，图6(d)-6(e)描述了另一示例实施方案，其中导航计算机文件结构以寻找关注文件。常用文件系统有时使用从根等级目录开始的等级结构，可将该根等级目录延伸到多个包含其他子目录和/或文件的子目录。这样的常用方式可包括使用图形界面的界面，该图形界面使用延伸文件夹树以在该文件结构中导航。尽管可使用此处所述的实施方案以导航这些常用延伸文件夹树(如，通过将该装置向左，向右，向上或向下倾斜)，可使用此次所述的各个实施方案的三维本质来以其他方式导航分级文件系统。例如，如图6(d)所述，示例的用户界面602描述了包括路径标识符的第一部分606和提供位于该特定路径处的文件和文件夹的图形展示的第二部分608。例如，在图6(d)中，这些在该第二部分608中的文件和文件夹被描述为“WINDOWS”，“PROGRAM FILES”，“SHARK IMAGES”和“BROOMBALL DOCUMENTS”。该第二部分，在一些实施方案中，可展现的每一个文件和/或文件夹，根据其相关大小。

如图6(d)和6(e)所述，该用户已经将该光标610放置在该“WINDOWS”目录上并将该装置600拖离该用户以选择该“WINDOWS”目录，其被表示在图6(d)的第一部分606中。该第二部分608立刻将以该“WINDOWS”目录表现的文件夹表示出来。该用户已经将该光标在该“WINDOWS”目录上定位且，如图6(e)和6(f)所述，已经选择了该“WINDOWS”目录。图6(f)显示了在该第一部分606中的生成路径和在该第二部分608中的相关文件。这里，该用户可选择任意与本路径相关的文件，包括如图6(f)所述的“SOUND.DRV”文件。

同样可使用该所述实施方案以使许多类型的命令和行为(如，移动，复制或保存文件)有效或激活。用户，例如，可在该文件系统中导航到所需位置并执行指示文件将被保存的动作(或按下按钮，等)。就在那是，可配置该用户界面以提供该用户的输入对应于所需文件名称的文本的能力，使用，例如，参照图3(a)-3(g)所述的一个或多个方法。在一些实施方案中，该用户可使用常用输入装置例如键盘，鼠标，或触摸界面以输入该文件名称。

尽管本实施例指定为文件系统，可使用类似方式以导航任意类型的分级结构，例如电子目录，社交谱，搜索结果，网站，等。图6(g)，例如，描述了导航三维电子目录的技术。这里，使用装置600以遍历在该电子目录中的多个物品种类612-616。根据本实施例，在任意时间在该用户界面602内描述了该物品种类612-616中的一个。此外，可使用装置600的移动来遍历该三维目录的种类。例如，沿着图6(g)中箭头所定义的轴移动该装置600可使得该用户界面602连续地显示各个要购买或其他消费(如，租赁，租借，下载，等)的物品种类612，614和616。

根据又一实施例，该所述实施方案可包括从旋转选择机构(如，转式显示屏，转式视图，等)处选择物品(如，产品，文件，目录，社交谱，等)，如在未处理完的于2007年3月23日提交的第11/690,422号，标题为“提供物品比较并显示物品的方法和系统”的美国专利申请中所述的一样。在这样的实施方案中，该用户，例如，可将该装置向左或向右倾斜以使得该选择机构将物品旋转到该用户可选到的位置。

根据又一实施例，可使用该所述实施方案来在基于计算机的地图系统中进行导航。常用地图系统使用从用户来的触摸屏，键盘，或鼠标输入以在该地图中逐个位置漫游并为获得更多或更少细节进行放大和缩小。但是，使用此处所述方式，用户可通过以各个方向倾斜该装置(和相机)在地图中漫游。另外，用户可放大和缩小以揭示更多地图细节，通过将该装置移动为更接近或更远离该用户。在一些实施方案中，将该装置远离该用户的移动实现放大，而将该装置朝向该用户的移动实现缩小。在其他实施方案中，将该装置朝向该用户的移动实现放大，而将该装置远离该用户的移动实现缩小。根据一些实施方案，假定该基于计算机的地图系统可获得这样的图像信息，该用户可缩放进所选点的增长的细节视图。在一些情况中，该用户会能够实际地观看到建筑物的正面的图像或甚至凝视进入该营业窗口，例如商店，以在该商店内导航并观看到为购买可用的库存。同样地，该用户可以相反方向移动该装置进行缩小以看到特定区域的鸟瞰图。

如上所述，可使用各种装置的运动来提供输入。可通过分析由成像元件所获得的图像信息来检测到这些运动，以及在至少一些实施方案中也可利用取向检测元件210。该取向检测元件可包括一个或多个运动传感器，加速度计，位传感器，全球定位系统(GPS)接收器，罗盘，取向确定机构，或任意其他能够做出与计算装置的位置，取向，和移动中至少一个相关的一些类型的判定的适合类型的装置，组件，或元件。例如，图7(a)示出了能够检测出沿着三个自由度(如，沿着该X轴，Y轴，和Z轴)的运动的装置700。在本装置中，可使用如成像元件或取向检测元件210的元件来检测该装置的移动，该移动主要是前后，上下，和/或左右(和其组合)。如讨论的一样，将装置上下移动可实施与用户点他或她的头部相同的功能，而在其他实施方案中，这些行为可作为导致将被实施的不同行为的不同输入。图7(b)示出了能够检测旋转运动的装置702，提供了作为输入的又一自由度。例如，该旋转运动可包括将该装置702围绕该Z轴向左或向右倾斜。这样的运动可允许用户简单地提供输入，通过当把持该装置时向右或向左轻挥该用户的腕部。这样的输入可对如阅读电子书的应用有用，其中用户可简单地向右倾斜或轻挥该装置以移到下一页，或向左倾斜该装置以移回到先前页。但是，应当理解，在一些实施方案中通过该用户倾斜他或她的头部为同一运动可生成类似输入(尽管该算法将不得不考虑该“镜像”效果，即该用户向右倾斜他或她的头部以推进到下一页将实际上在该图像中显示为该用户头部向左倾斜)。

类似地，图7(c)示出了能够检测出前后旋转的装置704的实施例，提供了作为输入的又一自由度。例如，该前后旋转运动可包括将该装置围绕该X轴朝着或远离该用户倾斜。如上所述，检测这样运动的传感器可有利于一些实施方案，当只使用相机或成像元件对于确定的装置会难于在前后倾斜和被上下移动之间区分时，当该图像中每一个的常见效果是该用户面部在该捕获图像中上下移动时。通过将该装置的动作组合为由取向确定元件所检测的一样，例如，该装置可更轻松地在上述运动中区分。这考虑了另一个自由度，以及因此考虑了该装置的更多类型的输入。这样的动作可有用于上下移动页，或上下移动在浏览树或观看分级中的等级，例如，这样的动作同样有利于增加物品数量，使得希望购买物品的用户可“向上”或“向后”倾斜该装置以增加将被购买的物品的数目，以及可“向下”或“向前”倾斜该装置以减少该数目或物品数量。图7(d)示出了能够检测围绕该Y轴的向左或向右旋转的装置706的又一实施例，提供了作为输入的又一自由度。如上所述，检测这样运动的传感器可有利于一些实施方案，当只是使用成像元件对于确定的装置会难于在前后倾斜和被上下移动之间区分时。相应地，使用参照图7(a)-7(d)所述的位置运动的每一个(和结合)，配置该装置以检测在至少六个自由度中的取向变化。

如上所述，可单独或与其他运动，表情，或控制界面或装置的至少一些方面的输入一起使用图7(a)-7(d)的运动。进一步地，可按需要为了输出而使用上述或其他运动的任意数目和组合。应当理解，同样可采用复杂的运动。例如，希望获得电子邮件的用户可能实施复杂的运动，例如将该装置向右移动并随后将该装置向后倾斜。或者，希望获得在该装置上正被浏览的电子市场的虚拟购物车的用户可能将该装置向右倾斜，随后向左，以及随后回到向右。如看到的一样，潜在数目的输入是无限的并首先由可期望用户记住并实施的实际数目的运动进行限制。

一些装置可能不包括加速度计或其他能够检测运动或取向的这样的元件。在其他装置中，可能需要分析尽可能多的信息来正确地解释任意运动。相应地，根据各个实施方案的系统和方法不仅可分析图像信息用来确定相关运动，取向，和/或位置，也可分析例如图像各个特征的大小，形状，和/或相关拆分的信息用来更精确地确定正被实施的运动。

例如，图8(a)示出了当可由装置的成像元件所捕获(如，获得，成像，等)时的该装置的用户面部800的图像。因此，将面部800描述为被该装置的成像元件所感知。如看到的一样，存在可被定位并测量的该用户面部的各个方面，例如该用户眼睛的被感知的宽度和高度，该用户眼睛的被感知的相关拆分，和相对于该用户面部边缘的该用户眼睛的被感知的相关位置，当面对该装置时。可如本应清楚地使用任意数目的其他这样的测量或方面。当用户将该装置倾斜或转动时，或将他或她的头部以任意方向移动时，在所捕获的连续图像中这些被测量方面的至少一个中将存在相应变化。例如，考虑到图8(b)中该用户的夸张视图，其可源于该用户将该装置移动或倾斜他或她的头部。如看到的一样，，该相对于该用户面部边缘的用户眼睛的水平位置(如，f对比f)已经变化。进一步地，该用户眼睛的形状或水平测量(如，a对比a′和b对比b′)已经变化，与该拆分(如，c对比c′)一样。使用这样的信息，该装置可确定发生的水平运动的类型。如果可替代的，该运动首先是垂直运动，例如图8(c)中所示，该相对于该用户面部边缘的用户眼睛的垂直位置(如，g对比g′)已经变化。进一步地，该用户眼睛的形状或垂直测量(如，e对比e′)已经变化。

因此，通过分析该装置捕获的图像信息，可检测并解释相对于该用户，潜在地包括该用户面部的该装置的相关运动或取向，即使在该装置中没有加速度计或其他这样的取向检测元件。可包括这样的取向检测元件，但是，该信息被结合以更精确地确定该装置和/或用户的运动。

图9示出了根据一实施方案通过可使用的相关运动来确定输入的过程900的实施例。在本过程中，激活该装置的面部识别模式(或相似模式)902，使用类似这里所述的那些方式。在一些例子中，这可能在启动时自动发生，在其他例子中，这可能需要首先接收代表该用户的激活请求。该装置的成像元件开始获得对应于该元件可视区域的图像信息904，分析该图像以寻找该用户的至少一个所需面部特征906。在一些情况中，本过程可能需要分析一个或多个图像，或图像流，以找到类似该用户眼睛的特征。一旦在可接收的确定度内找到该用户的合适面部特征，确定那些面部特征的方面908。例如，如果该特征包括用户眼睛，算法可确定每一个眼睛的尺寸，拆分，相对于面部的相关位置，离鼻子的距离，或其他类似方面，使得可检测出方向上的变化。在其他实施方案中，这可包括例如该用户嘴部尺寸的信息，使得可检测出在表情中的变化。基于该确定的方面，确定了该装置相对于该用户的最初取向910。在一些实施方案中，装置可能需要用户在初始校准期间面对该装置。在其他装置中，例如存储用户信息的地方，该装置可捕获单个图像并分析该信息以确定相对取向，通过比较该图像的已测量方面和该用户的已存储方面信息。

一旦确定了该取向，可连续地(或至少周期性地)分析图像信息以监视该面部特征的确定方面中的变化912。如果检测到上述方面的任意一个中的变化914，分析该已测量方面并确定相对于该用户的该装置的当前取向916。例如，如果检测到用户眼睛的位置发生变化，可使用算法分析如尺寸和拆分的各个方面以确定相对取向，如该用户是否将该装置向左或向右倾斜，或旋转他或她的头部。随后可实施对应于该新取向的功能918。例如，如果该用户正将该装置向右倾斜，随后该装置可能将该显示向右卷动。如果该用户正将装置向上倾斜，随后该显示的光标可能被向该显示的上方移动。可实施任意其他合适的功能以响应此处所述的检测到的运动或取向上的变化。同样可使用来自如加速度计的取向检测元件的取向信息以做出如取向或其他方面的确定。

在一些实施方案中，可将任意可检测到数量的动作用作输入。例如，轻微倾斜装置的用户可能将光标缓慢移过显示屏，而以陡峭角度倾斜该装置的用户可能将该光标快速移过该显示屏。但是，因为用户可能无法完全静止地把持装置，特别当用一只手把持装置时，可存在至少一个所需的用来使得功能被实施的移动的阈限量(如，输入阈值)。例如，用户可能必须将该装置倾斜到至少五度以使得光标移动或显示卷动或旋转。该取向可以是相关的，例如在“规范化”取向发生的位置当该装置的显示平面基本上垂直于在该装置和该用户眼睛之间视图的方向时。即使当检测到装置旋转时，如果存在该用户的相应动作(如在用户休息或躺下的位置)，则可能不存在任意被记录为该“相关”取向未变的输入。在一些实施方案中，仅仅记录与该“规范化”取向相关的动作。

可使用各个方式来寻找用户面部的一个或多个所需特征以确定各个有用于确定相对取向的方面。例如，如果将用户头部作为输入，可能存在许多在形状上类似于人头部的会给出错误阅读的对象。同样，用户点头“否定”可能实际上没有充分移动该用户头部的位置以记录该动作。相应地各种方式使用如用户眼睛的特征来帮助确定位置和动作。例如，可分析图像以确定用户头部或面部的大致位置和大小。图10(a)示出了一实施例，其中确定用户头部或面部的大致位置和区域1000以及将虚拟“箱子”1002放在该面部的周围作为位置的提示，使用了作出上述确定的多个图像分析算法。使用一算法，将虚拟“箱子”放在用户面部的周围以及连续更新该箱子的位置和/或大小并进行监视以监视相关用户位置。同样可使用类似算法来确定该用户眼睛(或在一些情况中，该眼睛一前一后)的每一个的大致位置和区域1004。同样通过确定该用户眼睛的位置，可收获优点，在其会更愿意被确定为该用户头部的图像实际上包括该用户的头部时，以及可确定该用户正面对该装置。进一步地，该用户眼睛的相关移动可更轻松地用于检测出超过该用户头部的整个移动，当执行例如点头或来回摇头的运动时。

可使用各个其他算法来确定在用户面部上的特征的位置。例如，图10(b)示出了一实施例，其中识别出在用户面部上的各个特征并在该图像中指定点位1006。该系统因此可检测出用户特征的各个方面并可确定例如移动或在形状或表情中变化的变化。这样的方式提供了在特定情况中比图10(a)的常用方式所具有的优点，当可确定沿着特征的各个点时，例如用户嘴部的终点或至少一个中心点。相应地，可获得例如微笑或皱眉的表情尽管该用户嘴部或面部的整个位置未进行移动。

一旦识别出用户的位置和面部特征，可检测出该用户和该装置之间的相关运动并用作输入。例如，图10(c)示出了一实施例，其中该用户头部1000相对于该成像元件的可视区域进行上下移动。如上所述，这可以是该用户摇动他或她的头部的结果，或该用户上下移动该装置，等。图10(d)示出了一类似实施例，其中该用户正相对于该装置左右移动，通过该用户，该装置，或二者的移动。如可看到的一样，可分别将每一个动作跟踪为垂直或水平移动，以及可将每一个不同地处理为实施指定功能的输入。在一实施例中，可使用被监视动作来控制在该界面显示上光标的位置，通过跟随该上，下，和跨越运动。应当理解，这样的过程同样可检测对角的或其他类似移动。图10(e)进一步示出了一实施例，其中该用户将该装置和/或该用户的头部倾斜，以及将眼睛位置中的相关变化检测为旋转。在一些系统中，可检测出对应于该眼睛的相关位置的“线”，可将该线的角度上的移动与角度阈值比较以确定是否将该旋转解释为输入。

图10(f)示出了使用例如参照图10(b)所述方式以确定在用户面部上各个特征位置的另一优点。在这个夸张实施例中，可看到第二用户的头部1008的特征具有不同的相关位置和拆分。因此，该装置同样不能仅仅确定为用户确定特征的位置，而要能区分不同用户。如这里将稍后讨论的一样，这可允许该装置有区别地实施来自不同用户的输入。同样，可配置该装置以检测出用户有多靠近该装置基于，例如，各个特征的数量和拆分比，使得该装置可检测出朝着，和远离该装置的移动。其同样可被接收为输入，以及可被用来执行例如三维(3D)导航的行为。

进一步地，尽管参照面部特征和/或头部动作描述了许多实施方案，应当理解，装置可捕获和分析其他类型的用于提供输入的动作。例如，用户会能够操作在显示屏上的光标，通过改变手的位置或在空中“描绘”。用户同样会能够举起多个手指以提供数字输入，例如通过举起三个手指，随后二个手指，随后四个手指(可能跟随一些结束命令)以输入数字“324”。在一实施方案中，用户可以任意可区分的取向来举起任意数目的手指来提供输入，在一些实施方案中可使用表述(如，字母，词，或短语)来提供输入。例如，如果该用户正填写购买物品的表格并需要填入运输地址时，该用户会能够实施例如举起指定手指的运动，作出“家”的运动，或其他任意合适的运动，其中该装置认识到使用为用户存储的该“家”地址信息来填入该表格。

同样应当理解，被用作输入的复杂运动可以是面部动作和装置动作的组合。例如，希望关闭该装置的用户可能实施如将该装置向右倾斜并随后上下点头的行为。作为输入的任意数目的行为组合对于观看此处所包含教导和提示的本领域技术人员来说是明显的。

图11示出了将在这样装置上可为用户显示的界面屏幕1100的实施例。在本实施例中，通过该用户装置上的网页浏览器中所显示的网页，为该用户提供了经过电子市场为销售提供的物品的显示页。应当理解，这仅仅是一个实施例，且通过此处所述的输入方法可使用多个应用页，网页，文件，游戏屏，或其他类似显示或界面中任意一个。在本实施例中，该显示包括图标1102，提示该面部识别控制是激活的。当在本实施例中使用图形图标时，在各个实施方案中可使用多个方式中任意一个来提示用户激活了面部和/或运动控制模式。这里，将图标1102显示给该用户，当激活该面部识别控制模式时，以及隐藏或“划掉”当未激活该模式时。在一些实施方案中，该图标将具有不同状态。例如，该图标可能显示灰色当该模式激活时，以及将转为“绿色”或微笑或实施一些其他行为当检测到该用户面部时。在该装置上存在具有账户或信息的多用户的位置，该面部识别图标可能转为颜色或显示对应于当前用户的图像，指示该装置能够识别出观看该装置的用户。这样，观看在该装置上显示屏的用户能够认识到不仅该面部识别模式是激活的，而且该装置当前正检测该用户的面部和/或身份使得将正确地识别出该输入运动。如上所述，使用任意适合的输入机制可使能和/或占用该输入检测系统，例如通过用户选择输入开关，使用语音命令，选择显示屏或界面的用户可选元件，或提供可由该装置的成像元件能检测出的可视线索。

在本显示屏中，看出该用户能够选择一个购买正被显示物品的选项。在一些装置中，该用户可具有使用常见方式的指示购买物品愿望的选项，如通过触摸在该显示屏上的物品或通过小键盘或其他类似输入机构输入选择。如果例如面部识别模式的模式激活，且检测到该用户面部，则该用户同样可具有指示购买物品愿望的选项，通过实施如上下点下该用户头部的行为。基于该应用，用户偏好，或其他类似信息，该市场可能简单地接收该通过点头的购买，使得该用户不必须实施任意其他行为，例如输入款项或运输信息。在一些实施方案中，可显示确认面板1104或其他类似显示元件以请求该用户来确认该用户是否愿意购买该物品。应当理解，可使用这样的显示元件来确认任意这样的面部或运动输入。该确认元件同样可包括另一个图标1106，例如面部图标，指示该用户可通过面部或装置动作来确认。在一些实施方案中，这个图标可被动画成第一个上下点头而微笑以提示该用户将上下点头来确认该购买，以及可被动画成来回转动该头部而皱眉以提示该用户将转动他或她的头部以“否定”的运动来取消该购买。任意其他合适的行为可被显示或用来确认，等。如果该用户点头“肯定”进行确认，则该界面可接收该购买并使得该处理将被确认，使用多个本领域公知的方式中任意一个来实施这样的功能。如上所述，这样的输入方式可被用于任意合适的应用，过程，等，其接收为了上述目标的用户输入。

在一些实施方案中，确认过程利用了所获得的图像信息以分析如面部识别，视网膜扫描的生物特征信息，或其他类似能够证实用户身份的过程。在其他实施方案中，用户可创建基于运动的“密码”，如一系列必须由该用户实施以确定例如购买的行为的运动。例如，该用户可以将密码设置为三次上下点头，随后微笑并二次抬起眉毛，或任意其他与该用户相关的合适的动作和/或行为组合。

用户同样可提供其他类型的回应，不管是否显示了确认或类似面板或元件。例如，提交搜索查询的用户可接收多个搜索结果。该用户可具有提供回应(如，输入)的能力，如通过将该用户头部来回转动以“否定”运动来提示在当前被显示搜索结果上不包括所需结果。类似地，在用户使用电子市场购买的实施例中，该用户可提供如在该显示物品是用户所关注时形成微笑的输入，其可使得如正显示类似物品的行为发生，而皱眉可提示不需要的结果。这样的输入可被存储和/或为用户跟踪并用作如暗示或推荐该用户所关注的物品的目的。

利用这些机构中的至少一些，图12(a)示出了根据一实施方案接收用户的基于面部识别的输入的示例过程1200。在本过程中，激活该面部识别模式1202，使用如此处已讨论的那些方式。该装置的成像元件开始捕获该元件可视区域的图像1204，以及分析该图像以寻找该用户的所需面部特征1206。在一些情况中，本处理可能需要分析图像流以寻找如该用户眼睛的特征，以及该确定的位置对于一段时间来说相对一致。本初始定位过程可能需要该用户保持一段时间相对静止。一旦在可接收确定度内找到该用户的面部特征，如在十个连续图像的集或二秒时间中的图像之间的位置变化不超过10％，可生成提示来告诉该用户已经确定了该面部特征以及该用户可立即使用该所需面部运动来控制该装置1208。如上所述，其可包括显示图标或其他可视的该特征激活并准备输入的提示，而在其他实施方案中，其可包括采用音频信号的形式，例如“嘟嘟声”或其他确认该特征激活并准备输入的声调。应当清楚，当该用户面部不再被检测到或不然该特征对于任何理由都无法获得时可使用类似可视或语音方式来通知该用户。一旦激活该特征，可持续(或至少周期性)监控在该捕获图像中该用户面部特征的位置1210。该装置可具有至少一种类型的阈值组，指出为记录为输入的动作所必须的运动的数量。例如，观看监视器的用户将可能基于被观看屏幕区域来移动他或她的头部。例如，坐离1.5英尺宽的监视器2.5英尺远的用户可能必须在任意方向将他或她的头部转动超过二十度，在被记录为输入(与简单地向该显示屏边缘看相反)前。为了避免需要这样大的动作，该装置可替代地(或可附加地)能够确定动作的速率。例如，用户可能将他或她的头部向该屏幕的边缘转到超过一秒的过程，当阅读或浏览时，当可能能够将他或她的头部向右和左两方向摇动一秒时间内以提示所需输入。因此，算法可不仅考虑该运动的范围，而且考虑该动作发生的速率。如这里将稍后讨论的一样，用户可为特定装置，用户偏好，等来调整这样的设置。

当捕获该图像时，可分析每一个图像(或每一个其他图像，等)以确定是否满足或超出该运动阈值的任意一个1212。例如，可为每一个图像确定面部位置数据并与多个先前图像比较以确定任意动作是否满足或超出了给定阈值。给定数量的这样数据可被保存在本地存储器中或被高速缓存以轻松访问和快速分析。可使用分析在上下方向中的第一运动阈值，在右/左方向中的第二阈值，以及在旋转方向中的第三阈值，等的算法。如果该位置数据没有满足或超过任意阈值，该监视过程只是继续。如果该动作的至少一个满足或超过分别的阈值，则为该输入确定相应的行为1214并实施该行为1216。应当理解，该行为同样需要该用户的另一个输入，例如确认行为，等。如果该行为将结束该过程，将该装置断电，或不然结束该监视1218，该过程结束1220。否则，该用户装置的监视继续。

在一些实施方案中，该计算装置使用该取向检测元件210来确定该计算装置是否已被移动。当确定了该计算装置已被移动时，该计算装置可使用本确定来触发使用成像元件的用户的另一图像的捕获208。随后使用该连续图像来确定相对于该装置的该用户相关位置的变化。在一些实施方案中，将该取向检测元件采集的信息与该成像信息结合。

在一些实施方案中，该算法和/或过程可采用所学习的方面用于被接收输入。例如，如果用户将运动或表情指定为输入，该装置可请求该用户实施和/或重复该行为以确保该装置可正确地检测和/或解释该输入。在另一实施例中，如果该运动被检测为该装置不能正确地解释，可能请求该用户来再次(更清楚地)实施该运动以用来解释该运动。如果该装置仍旧不能解释该运动，该装置可要求该用户选择该用户试图提供的输入，并请求该用户实施相应运动使得该装置可记录或“学习”该用户如何实施该运动。在另一实施例中，该装置可“学习”用户如何随时间实施运动。例如，如果用户实施了由该计算机正确检测到的行为，但是该被实施行为接近于该检测阈值的边缘，该装置可调整该运动的阈值或更新对应于该运动的信息使得该装置可更好地解释用于该特定用户的输入。

图12(b)示出了在面部特征识别之外进一步采用至少一个运动或取向检测元件的过程1250的实施例。本实施例不包括上述各个步骤，例如激活该模式，等，但是应当理解，这样的步骤同样可应用于本过程或其他过程。进一步地，该步骤的排序和选择在不同实施方案中可改变。在本过程中，可捕获并分析该用户特征的图像1252。使用此处所述的至少一个合适的元件检测该装置的取向，移动，和加速度信息中至少一个1254。监视每一个图像(如，分析并与先前图像位置信息比较)以确定该图像阈值中任意一个是否满足或超过1256。同样监视该装置的位置，加速度，和/或移动以确定该动作或取向阈值中任意一个是否满足或超过1258。在一些情况中，可能在输入决定需要复杂运动或多个类型数据之处一起分析该信息。如果没有满足或超过该阈值中任意一个1260，该监视继续。如果满足或超过了至少一个阈值，可作出关于是否需要相关数据的确定1262。例如如果由阈值数检测到该面部特征上下移动，同样可能需要来分析该取向信息以确定该阈值是否被满足，通过上下移动该装置，旋转该装置，或发生在该装置相对稳定时。如果这样，该相关数据被分析并被与满足或超过该阈值的数据结合1264。使用该数据，为该相关输入确定了合适的行为或功能1266，以及实施或执行该行为或功能1268。如上所述，该过程可继续直到接收到结束该监视过程，等的输入或行为。

当如参照图12(b)所述的过程特别有用于如小型便携式装置的装置，非便携式的台式电脑的装置可同样潜在地受益。在一些实施方案中，比上述更轻微不同的方式可能更有用。例如，当在用户手中把持装置时，对于由于手持装置本质的不慎移动可能需要一些补偿。例如，用户可可能经常地小幅度移动该装置而无意涉及输入。运动调整算法能够对这样的动作进行编址，如本领域所公知的一样，但是仍旧引入了一些可被考虑的不确定等级。因此，可能难于精确地记录并跟踪微小的输入动作。进一步地，通用的便携式设备不需要该台式电脑或其他这样装置的分辨率或处理能力。因此根据各个实施方案的方式可利用该附加的能力和功能来为用户提供进一步的控制选项。

如图13所示，用户可能采用台式电脑1302和通常固定在位置上的相机1304。相应地，在该最初稳定系统1300中包括加速度计或其他类似取向检测元件可能存在较少用处。由于该用户在操作这样的稳定系统时通常是坐着的，一般在位置上将存在比便携式装置较少的非计划或没有意义的变动。进一步地，用于这样装置的相机1304可以是较高分辨率的并能以比该便携式装置中成像元件更高的捕获频率进行操作。因此，在这样的系统中可能检测到更多代表该用户的微妙动作，其可允许通过该用户运动或表情的附加类型的输入。例如，如图13所示，该相机不仅能够检测到该用户1306的眼睛和头部的位置，而且能够找到沿着该用户嘴部的多个位置。也可识别出该用户的各个其他特征。因为可确定对应于特征的多个点，替代简单的位置单独估计，用户可提供输入不仅通过位置工具而起通过表情或其他类似的动作。

例如，如在图14(a)中所示的夸张描述，当用户1400微笑时，该检测到的沿着该用户嘴部的点1402将包括引人注意的高于该用户嘴部中心位置的终点(在该捕获图像中)。如图14(b)所示，当同一用户1400皱眉时，该中心位置将高于该用户嘴部的终点。当人们的嘴部通常不以这样简单运动来移动时，可以看出，特征的位置可以变化，以及这些位置可被捕获并用作输入。例如，用户可能能够抬起眉毛或眨二次眼睛，其可被捕获为输入。用户同样可能能够作出他或她嘴部的特定形状，其可被捕获为输入。应当清楚，在这样的方式中可使用任意可被捕获，确定，和/或识别为有意输入的运动或表情。

进一步地，根据一实施方案的方式同样可领会该用户的眼睛。例如，图15(a)示出了一实施例，其中捕获并分析图像以确定该用户眼睛1500的位置。在该算法能够区分该用户瞳孔的系统中，该系统同样可采用相对于该眼睛位置的该瞳孔的相应位置。例如，图15(b)示出了该用户向“下”看的情况。如看到的一样，该瞳孔的位置已经移到该眼睛中心点的下方。类似地，图15(c)示出了该用户向“左”看(或向该用户的“右边”)的情况，使得每一个用户瞳孔的中心在于该分别眼睛的中点的左边(在该图中)。根据一实施方案的系统可通过调整该计算装置的显示来利用这样的信息，根据相对于该用户眼睛的该用户瞳孔的已检测位置，以及因此该用户在观看该显示屏上的确定区域。系统同样可检测如用户闭住他或她眼睛达到延长时间周期的动作，其中该装置可实施如将电子书阅读器置于“睡眠”或限电模式的行为，停止图像捕获，或将该装置断电。

在一实施方案中，用户通过观看在屏幕上多个目标中的每一个来校准装置，例如观看每一个角，借此，该装置可检测出对于在该显示屏上不同位置的相对于该用户眼睛的瞳孔相关位置。因此，当看向该显示屏中特定位置时，该装置可相应地动作。例如，如果用户正在阅读电子书，该装置可自动地卷动该页，或转向下一页，当该用户达到该当前页的底部时。在另一实施例中，用户可在该显示屏上多个元件中选择，通过简单地看向该元件。例如，用户可能提交搜索查询并接收搜索结果列表。用户可观看该结果，如果该结果之一是该用户关注的，该用户可在看向该物品时提交输入。例如，用户可看向在该列表中的第四个物品并实施如眨两次眼或说出词语“打开”的行为，以及该装置可确定以打开对应于该用户正看向的元件的文件。看向指定关注区域的用户同样可使得该显示屏缩放进该区域和该周围区域(任意次数)直到识别出指定关注区域。在一些情况中，用户可能看向该显示屏上的位置并说“缩放”或实施如向前点头的可检测运动。在另一实施方案中，如果存在多个要显示的等级，或如果存在多个“缩放”等级，该显示屏可自动地基于该用户所看的位置进行放大或缩小，只要该用户必要的一段时间。例如，如果用户正观看地图并观看特定州，在数秒后，该显示屏可能放大以显示该特定州(也许和周围州)。如果该用户在放大时看向另一州，该显示屏可或者切换到该州或缩小借此该用户可选择另一州。显示屏同样可具有对应于缩放命令的图标或元件，使得希望放大的用户可看向“放大”的元件和同样可看向该用户希望缩放的指定区域。该显示屏可以采用这些输入并在所需方向进行缩放。

图16示出了显示屏1600的实施例，可通过如参照图15(a)-15(c)的上述的方式来使用该显示屏。如上所述，该方式可确定该用户所看向的屏幕上的位置。在本显示屏中，可显示图标1602如移动眼睛，对应于用户所观看的已检测位置。因为该用户将通常希望看到在该位置上有什么，可使用多个方式中任意一个来显示该图标。在第一方式中，该图标是非常模糊的图标，允许用户看到在该图标后有什么，在仍旧知道该图标的位置时。在另一实施方案中，该图标仅仅是可视的，当该用户实施快速眼睛动作，如通过在该显示屏的顶部向上看，但是在缓慢动作如当用户阅读文本期间不进行显示。在另一实施例中，仅仅显示该图标在该用户正看到可选元件时。例如，可能不显示该图标，当确定了该用户正观看文本1604的区域时，但是可能仅仅进行显示在该用户正观看可选元件1606时。因此，浏览在显示页上物品的用户可能在观看该物品的信息时未看到该图标，但可能看到了该图标，当该用户正观看“现在购买”或类似按钮使得该用户知道如果该用户实施确定行为将发生什么时。这样的图标会有用于在页上存在多个可选元件，以及如果该用户提供可视输入则该用户想确定将选择哪一个元件并采取什么行为处。例如，用户可能眨两次眼作为“选择”命令，但是可能需要该图标以对应于该用户所看处进行显示使得该用户知道该眨眼将选择合适的元件。

当可存在用作输入的多个不同表情或动作的任意一个时，以及当用户将具有关于所使用喜爱表情的不同偏好，根据一实施方案的应用可允许用户选择或指定哪一个行为将对应于确定的输入。例如，图17示出了显示屏1700的实施例，可展示该显示屏给用户以允许该用户指定用于不同输入的行为。在本实施例中，存在多个示例输入显示1702，如“接受”，“拒绝”，“卷动”，等。对于这些中的每一个，提供了允许用户选择将用于每一个行为的表情或相关动作的下拉列表。应当理解，这些选择和机构仅仅是示例，以及使用多个用户可选元件中任意一个可指定多个行为中任意一个。如果用户不希望一个行为具有对应的运动，则该用户可将该行为保留为空，选择如“无”的选项，或任意其他合适的行为。如图所示，该用户同样可具有该选项1704以调整该运动的灵敏度，这里通过调整滑杆。这样的方式允许该用户有效地调整该确定输入的阈值。可存在整体灵敏度或类似控制，或可存在指定行为的指定设置。在一些实施方案中，用户校准每一个行为(如，通过按系统需求实施该行为)，因此该系统可更好地确保正确检测。灵敏度或类似调整可有助于各个要素，如用户坐离该相机多远，该用户具有多少表情，该用户的大小，等。进一步地，用户可能使用不同装置以及该设置可能需要因每一个装置而不同(如，PDA的操作距离将通常不同于台式电脑的操作距离)。这样的屏幕可允许用户指定行为的组合，如装置的移动，面部表情，头部移动，等，用户同样可指定(或，定义)新的行为，移动，和/或组合，在各个实施方按中。这些可能类似于界面公知的“宏”，其中用户可定义一系列移动或表情以对应于一个或多个输入或行为。如看到的一样，该界面同样允许用户激活或停止运动输入，尽管也可使用其他输入方式如在该装置上按下按钮或使用语音识别。

进一步地，在同一装置上可设置不同用户，每一个用户可选择不同输入和选项。在一实施方案中，如上所述，装置可确定面部特征的有关位置使得该装置可区分相关用户。因此，当第一用户实施与该装置相关的行为时，该装置可将该运动解释为第一输入，以及当第二用户实施相同行为时，该装置可识别该第二用户，以及自动将该运动解释为第二输入。这样的方式允许在同一装置上设置多个用户，以及该系统可识别并区分这些不同用户。因此，用户看观看页面并通过简单地实施面部动作来购买物品，例如，可设置该系统以识别该用户和该行为使得该用户的单个行为为该用户获得该物品的购买。

如上所述，在各个环境中为各个应用可实施各个方式。例如，图18示出了用来实施根据各个实施方案的方面的环境1800的实施例。如应当认识到的一样，尽管基于网页的环境用作说明，可使用不同环境，当适合于实施不同实施例时。该所示环境1800包括测试或开发部分(或端)和产品部分二者。该产品部分包括电子客户端装置1802，其可包括任意可操作用来在合适网络1804上发送和接收请求，消息，或信息并将信息传回该装置的用户的合适装置。这样客户端装置的实施例包括个人电脑，移动电话，手持消息装置，笔记本电脑，机顶盒，个人数据助理，电子书阅读器，以及类似装置。该网络可包括任意合适的网络，包括局域网，互联网，蜂窝网络，本地网，或任意其他类似网络或其组合。用于这样系统的组件可至少部分基于所选网络和/或环境类型。通过这样网络进行通信用的协议和组件是公知的并在这里不进行具体讨论。可使用有线或无线连接，和其组合来实现该网络上的通信。在本实施例中，该网络包括互联网，当该环境包括网页服务器1806，用来接收请求并服务其响应的内容，尽管对于其他网络，对于本领域普通技术人员来说，可使用用于类似目的的替换装置将是明显的。

该说明性环境包括至少一个应用服务器1808和数据仓库1810。应当理解，存在数个应用服务器，层，或其他元件，过程，或组件，其可被链接或不然被配置，其可互动以实施如从合适数据仓库处获得数据的任务。如此处使用的一样，该术语“数据仓库”指的是能够存储，访问，和提取数据的任意装置或装置的组合，其可包括任意组合和多个数据服务器，数据库，数据存储装置和数据存储媒体，在任意标准，分布的，或聚集的环境中。该应用服务器可包括任意合适的硬件和软件用来与该数据仓库按需要集成以执行该客户端装置的一个或多个应用的方面，处理应用的大部分数据访问和业务逻辑。该应用服务器提供了与该数据仓库协作的访问控制业务，以及能够生成将被传送给该用户的如文本，图形，音频，和/或视频的内容，其可通过HTML，XML，或在本实施例中其他合适结构化语言的形式的网页服务器为该用户服务。所有请求和响应的处理，与在该客户端装置1802和该应用服务器1808之间的内容传递一样，可由该网页服务器进行处理。应当理解，该网页和应用服务器不是要求的且仅仅是示例元件，当在此处讨论的结构化代码可被执行在任意合适装置或主机上时，如此处其他位置讨论的一样。进一步地，可以这样的方式搭建该环境：可提供作为用户或应用可认购的业务的测试自动化框架。可提供作为此处所讨论的各个测试方案的任意一个的实施方式的测试自动化框架，尽管也可使用各个其他实施方式，如此处所讨论和提示的一样。

该环境还包括开发和/或测试端，其包括用户装置1818，允许如开发者，数据管理者，或测试者的用户来访问该系统。该用户装置1818可以是任意合适的装置或机器，例如参照该客户端装置1802如上所述。该环境还包括开发服务器1820，其功能类似于该应用服务器1808但通常在开发和测试期间运动代码，在该代码被采用并在该产品端上被执行以及为外部用户可访问之前，例如，在一些实施方案中，应用服务器可作为开发服务器来运行，以及可能不使用独立的产品和测试存储器。

该数据仓库1810可包括数个独立数据表，数据库，或其他用来存储与特定方面相关的数据存储机构和媒体。例如，该所述数据仓库包括用来存储产品数据1812和用户信息1816的机构，其可被用来为该产品端的内容服务。该数据仓库还被显示出包括存储测试数据1814的机构，其可被用于该测试端的用户信息。应当理解，存在许多其他可能需要在该数据仓库中存储的方面，例如页面图像信息和访问权利信息，其可被任意上述列出的机构中存储，作为该数据仓库1810中的合适或附加的机构。该数据仓库1810是可操作的，通过与此相关的逻辑，用来接收来自该应用服务器1808或开发服务器1820的指令，并获得，更新，或不然处理其响应的数据。在一实施例中，用户可能提交确定类型物品的搜索请求。此时，该数据仓库可能访问该用户信息以识别该用户的身份，并可访问该分类具体信息以获得与该类型的物品相关的信息。随后将该信息返回给该用户，如在用户能够在该用户装置1802上通过浏览器观看到的网页的结果列表中。可在该浏览器的专用页面或窗口中观看特定关注物品的信息。

每一个服务器通常会包括为该服务器的常用管理和操作而提供可执行程序指令的操作系统，并通常会包括存储指令的计算机可读媒体，当由该服务器的处理器执行时，允许该服务器实施其所需功能。该操作系统的合适的实施方式和该服务器的常用功能是公知的或商业上可获得的，且由本领域普通技术人员，尤其根据本发明，轻松进行实施。

在一实施方案中的环境是分布式计算机环境，采用了数个通过通信链接进行互连的计算机系统和组件，使用一个或多个计算机网络或直接连接。但是，本领域普通技术人员应当清楚，这样的系统可同样良好地运行在具有比图18中所示的较少或较多数目组件的系统中。因此，图18中该系统1800的说明应被自然地采用为说明性的，并没有限定本发明的范围。

可在宽范围种类的操作环境中进一步实施该各个实施方式，其在一些情况中可包括一个或多个用户计算机，计算装置，或可用来操作多个应用中任意一个的处理装置。用户或客户端装置可包括多个通用个人计算机中的任意一个，如运行标准操作系统的台式或笔记本电脑，与运行移动软件并能够支持多个网络和消息协议的蜂窝，无线，和手持装置一样。这样的系统同样可包括多个运行各种商业上可获得的操作系统的任意一个和其他公知的用于如开发和数据库管理目的的应用的工作站。这些装置同样可包括其他电子装置，如虚拟终端，瘦客户端，游戏系统，和其他能够在网络上通信的装置。

大部分实施方案采用了至少一个为本领域技术人员所熟悉的网络以支持使用了多种商业上可获得的协议中任意一个的通信，该协议如TCP/IP，OSI，FTP，UPnP，NFS，CIFS，和AppleTalk。该网络可以是，例如，本地网，广域网，虚拟个人网络，互联网，局域网，外联网，公共电话网，红外线网络，无线网络，和其任意组合。

在采用网页服务器的实施方案中，该网页服务器可运行多种服务器或第二层中间层应用的任意一个，包括HTTP服务器，FTP服务器，CGI服务器，数据服务器，Java服务器，和业务应用服务器。该服务器同样会能够执行响应用户装置请求的程序或脚本，如通过执行一个或多个网页应用，将该网页应用实施为一个或多个由任意编程语言所写的脚本或程序，如Java

，C，C#或C++，或任意脚本语言，如Perl，Python，或TCL，与其组合一样。该服务器同样可包括数据库服务器，包括不限制商业上从Oracle

，Microsoft

，Sybase

，和IBM

可获得的那些。

该环境可包括多种如上所述的数据仓库和其他存储器和存储介质。这些可驻存于各种位置，例如在位于(和/或驻存在)该计算机中一个或多个或在该网络上远离该计算机的任一或所有处的存储媒体上。在特定的实施方案集中，该信息可驻存在本领域技术人员所熟悉的存储区域网络(“SAN”)中。类似地，可当地和/或远程地存储任意执行该功能的归属于该计算机，服务器，或其他网络装置的必须文件，作为合适的文件。在系统包括计算机化装置的位置，每一个这样的装置可包括可经过总线进行电性耦合的硬件元件，该元件包括，例如，至少一个中央处理单元(CPU)，至少一个输入装置(如，鼠标，键盘，控制器，触摸屏，或小键盘)，和至少一个输出装置(如，显示装置，打印机，或扬声器)。这样的系统也可包括一个或多个存储装置，如磁盘驱动器，光学存储装置，和固态存储装置例如随机存储器(“RAM”)或只读存储器(“ROM”)，与可移动媒体装置，记忆卡，快闪卡，等一样。

这样的装置同样可包括计算机可读存储媒体阅读器，通信装置(如，调制解调器，网卡(无线或有线)，红外通信装置，等)，和如上所述的工作存储器。可将该计算机可读存储媒体阅读器连接上，或配置为接收，计算机可读存储媒体，展示远程，本地，固定，和/或可移动存储装置，与临时和/或更长久保存，存储，发送，和提取计算机可读信息的存储媒体一样。该系统和各个装置通常也会包括多个软件应用，模块，业务，或位于至少一个工作存储器装置内的其他元件，包括操作系统和应用程序，如客户端应用或网页浏览器。应当清楚，可替代实施方案可具有以上所述的许多变化。例如，可能也使用定制硬件和/或可以硬件，软件(包括便携式软件，如applet)，或二者的形式来实施特定元件。进一步地，可使用到其他如网络输入/输出装置的计算装置的连接。

包含代码，部分代码的存储媒体和计算机可读媒体可包括任意合适的本领域公知或使用的媒体，包括存储媒体和通信媒体，例如但不限于在任意信息存储和/或传输的方法或技术中所实施的挥发性和非挥发性，可移动和非可移动媒体，该信息例如计算机可读指令，数据结构，编程模块，或其他数据，包括RAM，ROM，EEPROM，闪存或其他存储技术，CD-ROM，数字多用光盘(DVD)或其他光学存储器，磁性卡带，磁带，磁盘存储器或其他磁性存储装置，或任意其他可用来存储所需信息并可由系统装置访问的媒体。基于此处提供的本发明和教导，本领域普通技术人员将清楚其他实施该各个实施方案的方式和/或方法。

条款1.与便携式计算装置上的图形用户界面交互的方法，包括：

使用该便携式计算装置的成像元件获得第一图像，该第一图像包括该便携式计算装置的用户的面部特征；

使用该成像元件获得第二图像，该第二图像包括该便携式计算装置的用户的面部特征；

使用该便携式计算装置分析该获得的第一图像和第二图像以确定相对于该便携式计算装置的该用户面部特征的位置的变化；和

至少部分地基于该确定的变化以改变该图形用户界面内显示的信息，其中该图形用户界面内显示的信息排除了该获得的第一和第二图像中的一者或两者的展示。

条款2.如条款1所述的方法，其中：

获得该第二图像是响应于该便携式计算装置的动作。

条款3.如条款1所述的方法，其中：

改变该图形用户界面内显示的信息包括至少部分地基于该确定的变化以实施功能，该功能控制了该计算装置的图形用户界面的至少一个方面。

条款4.如条款1所述的方法，进一步包括：

对应于该计算装置的用户的面部特征来分析该获得的第一和第二图像以确定可测量方面的集的变化；和

其中在该图形用户界面内改变该显示的信息是至少部分地基于该可测量方面的集的确定变化。

条款5.如条款4所述的方法，其中该可测量方面的集包括该用户眼睛的至少一个的尺寸，该用户面部上的拆分特征，该用户面部上的特征的相关位置，和该用户面部上的特征之间的相对取向的至少一个。

条款6.如条款1所述的方法，其中：

分析该获得的第一图像和第二图像以确定相对于该便携式计算装置的该用户面部特征的位置的变化包括确定在该用户和该便携式计算装置之间的相对取向的变化。

条款7.如条款1所述的方法，其中改变该图形用户界面内显示的信息至少包括下列之一：

以对应于该确定变化的方向相对于该图形用户界面来移动光标；和

调整用来生成在该计算装置上三维图像的二维绘制的视点。

条款8.如条款1所述的方法，进一步包括：

使用该成像元件获得第三图像，该第三图像包括该便携式计算装置的用户的面部特征；

使用该便携式计算装置分析该获得的第二图像和第三图像以确定相对于该便携式计算装置的该用户面部特征的位置的第二变化，至少部分地基于该用户表情的该第二变化调整该用户的面部特征的形状，位置，和尺寸的至少一个；和

至少部分地基于该第二变化以改变该图形用户界面内显示的信息。

条款9.如条款1所述的方法，其中：

改变该图形用户界面内显示的信息至少包括下列之一：

在与电子目录相关的物品之间导航；

导航文件系统；和

从旋转选择机构处选择物品。

条款10.在计算装置中选择字母数字的字符的方法，包括：

分析用户的图像信息，该图像信息是使用该计算装置的成像元件获得的，以检测相对于该计算装置用户的该计算装置的取向的变化；

响应于检测该计算装置的取向的变化，识别可用于选择的该字母数字的字符；和

接收该字母数字的字符的选择。

条款11.如条款10所述的方法，进一步包括：

使用该计算装置的显示元件显示字符集；和

在当光标处于选择该字符集中至少一个字符的位置中时，实施接收该至少一个字符的选择的步骤。

条款12.如条款11所述的方法，进一步包括：

将该字符集分段成多个字符的子集，其中在该字符集中至少一个字符的选择包括接收该字符子集中至少一个的选择；和

将该字符子集中至少一个的选择分段为第二个多个字符子集。

条款13.如条款10所述的方法，进一步包括：

使用该计算装置的取向检测元件，与分析该图像信息一起，确定该方向的变化；

其中将该光标配置为根据该计算装置的取向的第一变化，直接指向将被选择的至少一个字符。

条款14.如条款13所述的方法，其中该取向检测元件是加速度计，运动检测器，电子罗盘，全球定位系统接收器，和电子水准仪中的至少一个。

条款15.如条款10所述的方法，进一步包括：

响应于接收用户可选元件的选择，减少该光标的一个自由度的移动能力，

其中将光标配置为在相对于该显示元件的至少两个自由度中移动，在接收该第二选择之前。

条款16.如条款10所述的方法，其中：

该计算装置的取向的变化对应于倾斜该计算装置的用户。

条款17.如条款10所述的方法，其中：

识别可用于选择的该字母数字的字符至少包括下列之一：

将光标悬在该字母数字的字符上；

改变该字母数字的字符的颜色；

改变该字母数字的字符的形状；

改变该字母数字的字符周围的背景颜色；和

显示该字母数字的字符周围的形状。

条款18.与计算装置交互的方法，包括：

使用该计算装置的成像元件分析获得的图像信息以确定相对于该计算装置的用户的至少一个特征的第一相对取向；

使用该计算装置的取向检测元件来分析获得的装置取向信息以确定相对于周围环境的该计算装置的第二相对取向；

检测在该第一和第二相对取向中至少一个的变化；和

响应于检测该变化，实施所需功能。

条款19.如条款18所述的方法，其中：

分析图像信息包括从该便携式计算装置处捕获至少一个图像以确定相对于该计算装置的用户的至少一个特征的位置，和

检测该用户的至少一个特征的位置和该计算装置取向的至少一个的变化包括从该便携式计算装置处捕获至少一个附加图像并确定该至少一个特征的位置上的不同。

条款20.如条款18所述的方法，其中：

实施该检测变化的所需功能的步骤包括至少部分地基于该检测变化来改变在图形用户界面内的显示信息，其中该装置的图形用户界面排除了该图像信息的展示。

条款21.如条款18所述的方法，进一步包括：

确定该检测变化是否至少满足了与该变化对应的输入阈值，在确定该所需功能之前。

条款22.如条款18所述的方法，其中：

该取向检测元件是加速度计，运动检测器，电子罗盘，和电子水准仪中的一个。

条款23.如条款18所述的方法，其中：

该与该用户对应的至少一个特征包括该用户的至少一个面部特征。

条款24.如条款18所述的方法，其中：

分析该成像信息以确定用户相关位置包括确定在该图像信息中用户每一个眼睛的大概位置。

条款25.如条款18所述的方法，其中：

实施所需功能包括观看和选择物品的至少一个。

条款26.如条款18所述的方法，进一步包括：

分析该图像信息以确定该用户身份。

条款27.如条款26所述的方法，进一步包括：

为该用户的确定身份确定了相对于多个变化的多个输入。

条款28.如条款26所述的方法，进一步包括：

在分析该图像信息之前为每一个确定身份捕获校准信息。

条款29.如条款18所述的方法，进一步包括：

提示该用户去确认该所需功能，在实施该功能之前。

条款30.如条款29所述的方法，进一步包括：

使得该用户通过改变该第一和第二相对取向的至少一个来确认该输入。

条款31.计算装置，包括：

处理器；

显示元件，显示图形用户界面；

存储器装置，包括可操作的由该处理器执行以实施一组行为的指令；

成像元件，可操作的用来获得与该计算装置相关观看区域对应的图像信息；和

该处理器可操作用来：

使用该成像元件获得第一和第二图像，该第一和第二图像包括该计算装置的用户的特征；

分析该获得的第一图像和第二图像以确定相对于该计算装置的该用户特征的位置的变化；和

至少部分地基于该确定的变化以改变该图形用户界面内显示的信息，该图形用户界面内显示的信息排除了该获得的第一图像，该获得的第二图像，或该获得的第一和第二图像二者的展示。

条款32.接收计算装置的输入的方法，包括：

分析图像信息以确定相对于该计算装置的用户的至少一个特征的至少一个相关位置，该图像信息是使用该计算装置的成像元件来获得的；和

响应于检测该用户的至少一个特征的至少一个相关位置的变化，该变化至少满足与该变化相关的输入阈值，选择与该检测变化相关的输入功能并执行该选择的输入功能，

其中该用户能够根据该检测变化来定义该输入功能。

条款33.如条款32所述的方法，其中：

检测该用户的至少一个特征的至少一个相关位置的变化包括检测该用户的至少一个面部特征的变化。

条款34.如条款33所述的方法，其中：

检测该用户的至少一个特征的至少一个相关位置的变化包括为该用户的至少一个面部特征检测多个相关位置的至少一个的变化，该用户的至少一个面部特征具有多个与此相关的相应位置使得该面部特征的表情变化导致该面部特征的至少一个相关位置的变化。

条款35.如条款32所述的方法，其中：

根据该检测变化确定输入输入功能并执行该选择的输入功能的步骤包括至少部分地基于该检测变化改变在与该计算装置相关的图形用户界面内显示的信息，其中该计算装置的图形用户界面排除该图形信息的展示。

条款36.计算装置，包括：

处理器；

显示元件；

成像元件，可操作的用来捕获图像信息，定向该成像元件使得在该图像信息中至少部分地捕获观看该显示元件的用户；和

包括指令的存储器装置，当该处理器执行该指令时候，使得该处理器：

分析该图像信息以确定与该计算装置的用户的面部特征相关的可测量方面的集；

至少部分地基于该可测量方面的集的值来确定相对于该计算装置的该用户的相对取向；

确定相对于该计算装置的该用户的相对取向的变化，该取向的变化至少部分地基于该计算装置的位置的变化；和

实施对应于该相对取向的确定变化的功能，其中该计算装置的用户能够响应于该相关方向的多个可确定的变化中每一个来定义将要实施的功能。

条款37.如条款36所述的计算装置，其中该存储器装置进一步包括指令，当该处理器执行该指令时，使得该处理器：

在实施该行为前确定该变化是否至少满足与该变化相关的输入阈值。

条款38.如条款36所述的计算装置，其中：

实施该功能的步骤包括至少部分基于该确定变化来改变在该计算机装置的显示元件上的图形用户界面内所显示的信息，其中在该装置的图形用户界面内所显示的信息排除该图像信息的展示。

条款39.嵌入在控制计算机装置的计算机可读媒体中的计算机编程产品，包括：

编程代码，分析图像信息以确定相对于该计算装置的用户的至少一个特征的至少一个相关位置，该图像信息是使用该计算装置的至少一个成像元件来获得的，其的定位使得在该图像信息中至少部分地包括该计算装置的用户的展示。

编程代码，响应于检测该用户至少一个特征的至少一个相关位置的变化来确定该变化是否至少满足与该变化相关的输入阈值；和

编程代码，确定相对于至少满足该输入阈值的检测变化的输入，并响应该确定的输入在该计算装置上执行行为，其中在该计算装置上执行行为的编程代码包括至少部分地基于该检测变化来改变该计算装置的显示元件上的图形用户界面内显示的信息，该在该计算装置的图形用户界面上显示的信息排除该用户的展示。

条款40.如条款39所述的计算机编程产品，进一步包括：

编程代码，确定该便携式计算装置的取向，该便携式计算装置包括至少一个可操作用来确定该取向的元件；和

编程代码，确定该计算装置的取向的变化，其中该确定该变化是否至少满足与该变化相关的输入阈值的编程代码包括分析该用户的至少一个特征的取向变化和相关位置变化二者的指令。

条款41.如条款40所述的计算机编程产品，其中：

该计算装置的用户能够响应于多个可检查变化中的每一个来定义将被执行的行为。

条款42.改变在计算装置的显示中的元件的显示的方法，包括：

分析用户的图像信息，该图像信息是使用该计算装置的成像元件获得的，以检测相对于该计算装置用户的该计算装置的取向的变化；和响应于检测该计算装置的取向变化，改变该元件的显示。

条款43.如条款42所述的方法，其中：

该想象元件是高速视频相机。

该说明书和附图，相应地，被认为是说明性的而不是限制性意义。但是，明显可在那里作出各种修改和变化而不背离在该权利要求中提出的本发明的较宽精神和范围。

Claims (15)

1.一种与便携式计算装置上的图形用户界面交互的方法，包括：

使用该便携式计算装置的成像元件获得第一图像，该第一图像包括该便携式计算装置的用户的面部特征；

使用该成像元件获得第二图像，该第二图像包括该便携式计算装置的用户的面部特征；

使用该便携式计算装置分析该获得的第一图像和第二图像，以确定相对于该便携式计算装置的该用户面部特征的位置的变化；和

至少部分地基于该确定的变化来改变该图形用户界面内显示的信息，其中该图形用户界面内显示的信息排除了该获得的第一和第二图像中一者或两者的展示。

2.如权利要求1所述的方法，其中：

改变该图形用户界面内显示的信息包括至少部分地基于该确定的变化来实施功能，该功能控制该计算装置的图形用户界面的至少一个方面。

3.如权利要求1所述的方法，其中：

分析该获得的第一图像和第二图像以确定相对于该便携式计算装置的该用户面部特征的位置的变化包括确定在该用户和该便携式计算装置之间的相对取向的变化。

4.如权利要求1所述的方法，其中改变该图形用户界面内显示的信息至少包括下列之一：

以对应于该确定变化的方向相对于该图形用户界面来移动光标；和

调整用来生成在该计算装置上三维图像的二维绘制的视点。

5.如权利要求1所述的方法，其中：

改变该图形用户界面内显示的信息至少包括下列之一：

在与电子目录相关的物品之间导航；

导航文件系统；和

从旋转选择机构处选择物品。

6.一种在计算装置中选择字母数字的字符的方法，包括：

分析用户的图像信息，该图像信息是使用该计算装置的成像元件获得的，以检测相对于该计算装置用户的该计算装置的取向的变化；

响应于检测该计算装置的取向的变化，识别可用于选择的该字母数字的字符；和

接收该字母数字的字符的选择。

7.如权利要求6所述的方法，进一步包括：

使用该计算装置的显示元件来显示字符集；和

在当光标处于选择该字符集中至少一个字符的位置中时，实施接收该至少一个字符的选择的步骤。

8.如权利要求6所述的方法，进一步包括：

使用该计算装置的取向检测元件与分析该图像信息一起，确定该取向的变化；

其中将该光标配置为根据该计算装置的取向的第一变化直接指向将被选择的至少一个字符。

9.如权利要求6所述的方法，进一步包括：

响应于接收用户可选元件的选择，减少该光标的一个自由度的移动能力，

其中在接收该第二选择之前，将光标配置为在相对于该显示元件的至少两个自由度移动。

10.一种与计算装置交互的方法，包括：

使用该计算装置的成像元件分析获得的图像信息以确定相对于该计算装置用户的至少一个特征的第一相对取向；

使用该计算装置的取向检测元件来分析获得的装置取向信息以确定相对于周围环境的该计算装置的第二相对取向；

检测在该第一和第二相对取向中至少一个的变化；和

响应于检测该变化，实施所需功能。

11.如权利要求10所述的方法，其中：

分析图像信息包括从该便携式计算装置处捕获至少一个图像以确定相对于该计算装置的用户的至少一个特征的位置，和

检测该用户的至少一个特征的位置和该计算装置取向的至少一个的变化包括从该便携式计算装置处捕获至少一个附加图像并确定该至少一个特征的位置上的不同。

12.如权利要求10所述的方法，其中：

实施该检测变化的所需功能的步骤包括至少部分地基于该检测变化来改变在图形用户界面内的显示信息，其中该装置的图形用户界面排除了该图像信息的展示。

13.如权利要求10所述的方法，其中：

实施所需功能包括观看和选择物品的至少一个。

14.计算装置，包括：

处理器；

显示元件；

成像元件，可操作的用来捕获图像信息，定向该成像元件使得在该图像信息中至少部分地捕获观看该显示元件的用户；和

包括指令的存储器装置，当该处理器执行该指令时候，使得该处理器：

分析该图像信息以确定与该计算装置的用户的面部特征相关的可测量方面的集；

至少部分地基于该可测量方面的集的值来确定相对于该计算装置的该用户的相对取向；

确定相对于该计算装置的该用户的相对取向的变化，该取向的变化至少部分地基于该计算装置的位置的变化；和

实施对应于该相对取向的确定变化的功能，

其中该计算装置的用户能够响应于该相关方向的多个可确定的变化中每一个来定义将要实施的功能。

15.如权利要求14所述的计算装置，其中

实施该功能的步骤包括至少部分基于该确定变化来改变在该计算机装置的显示元件上的图形用户界面内所显示的信息，其中在该装置的图形用户界面内所显示的信息排除了该图像信息的展示。

Images