CN102541256B

CN102541256B - 具有视觉反馈的位置知晓姿势作为输入方法

Info

Publication number: CN102541256B
Application number: CN201110355935.8A
Authority: CN
Inventors: I·图马诺夫
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2010-10-28
Filing date: 2011-10-27
Publication date: 2016-01-20
Anticipated expiration: 2031-10-27
Also published as: US9195345B2; US20120110516A1; CN102541256A

Abstract

本发明涉及具有视觉反馈的位置知晓姿势作为输入方法。提供基于姿势的用户界面来供用户与一设备进行交互，以便通过检测姿势和用户移动来操作和控制该设备。向用户提供用户姿势的视觉反馈，以有助于用户对设备的操作和控制决策。可利用诸如视频相机等图像捕捉设备来捕捉用户的图像，并且计算设备上的集成应用程序可处理来自该捕捉设备的连续图像以识别和跟踪用户姿势。各姿势可与显示上的对象和/或位置相关，并且可将用户的图像投影到该显示上以提供用户交互的视觉反馈。

Description

具有视觉反馈的位置知晓姿势作为输入方法

技术领域

本发明涉及与基于位置知晓姿势的输入有关的方法、设备和系统。

背景技术

诸如计算机、电视机、留言板、电子广告牌、和监视设备等传统的媒体设备和计算机控制设备是使用输入硬件直接在用户界面上控制的。通常，它们是使用诸如鼠标、遥控器、键盘、手写笔或触摸屏等用于控制该设备的输入设备来直接控制的。由于这些输入设备与这些设备集成在一起，因此为了使各用户能与设备进行交互，这些用户必须具有对这种输入设备和屏幕的直接访问或者必须邻近于这些输入设备，以便启用与通过键盘上的键击、鼠标的移动以及触摸屏上的选择来操作和控制该设备有关的动作。如果输入设备并不能被用户直接访问，则用户和设备之间的交互可能会受到限制，并且用户无法操作和控制该设备，由此限制了对该设备的使用。

一些设备配备有运动检测机制，并可例如通过在预定区域中挥手或检测运动来激活这些设备。然而这些机制一般是粗略的，并且不能提供精细的控制。基于触摸的技术提供类似于如鼠标或键盘等硬件输入设备的控制能力，但是这些技术需要与表面(一般指设备的显示表面)进行物理交互。

发明内容

提供本发明内容以便以简化的形式介绍将在以下的详细描述中进一步描述的一些概念。本发明内容并不旨在专门标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

各实施例旨在提供用户界面，在该用户界面上用户可以与设备进行交互，以通过检测用户的姿势和移动来操作和控制该设备。根据一些实施例，可向用户提供用户姿势的视觉反馈，以有助于用户对设备的操作和控制决策。可利用诸如视频相机等图像捕捉设备来捕捉用户的图像，并且计算设备上集成的应用程序可处理来自该捕捉设备的连续图像以识别和跟踪用户姿势。这些姿势可以与显示上的对象和/或位置相关，并且可将用户的图像投影到设备上，以提供该用户交互的视觉反馈。

通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。可以理解，前述一般描述和以下的详细描述都是说明性的，并且不限制所要求保护的各方面。

附图说明

图1示出了具有位置知晓姿势输入和用户交互的计算机系统，在该计算机系统中可实现各实施例；

图2示出计算设备环境中基于位置知晓姿势的用户界面的示例；

图3示出电视环境中基于位置知晓姿势的用户界面的示例；

图4示出示例性的独立姿势控制器实现；

图5是可实现根据各实施例的系统的联网环境；

图6是可实现各实施例的示例性计算操作环境的框图；以及

图7示出根据各实施例的删除姿势以及提供视觉反馈来作为用户界面方法的过程的逻辑流程图。

具体实施方式

如前面简单描述地，可通过交互式用户界面来识别和跟踪用户姿势，以便向计算机应用程序提供输入，以及发起该计算机应用程序所支持的动作。另外，可通过以下方式来向用户提供视觉用户反馈：在用户界面的显示上的特定位置上生成半透明图像；允许用户通过视觉观察和控制姿势输入，且对该用户界面的干扰最少。

在以下详细描述中，参考了构成详细描述的一部分并作为说明示出各具体实施例或示例的附图。可组合这些方面，可利用其他方面，并且可以做出结构上的改变而不背离本发明的精神或范围。因此，以下具体实施方式并不旨在限制，并且本发明的范围由所附权利要求及其等效方案来限定。

尽管在结合在计算设备上的操作系统上运行的应用程序执行的程序模块的一般上下文中描述了各实施方式，但是本领域的技术人员会认识到各方面也可以结合其它程序模块实现。

一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其它类型的结构。此外，本领域的技术人员可以明白，各实施例可以用其它计算机系统配置来实施，包括手持式设备、多处理器系统、基于微处理器或可编程消费者电子产品、小型计算机、大型计算机以及类似计算设备。各实施方式还能在任务由通过通信网络链接的远程处理设备来执行的分布式计算环境中实现。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备两者中。

各实施例可被实现为计算机实现的过程(方法)、计算系统、或者诸如计算机程序产品或计算机可读介质等的制品。计算机程序产品可以是计算机系统可读并且编码包括用于使计算机或计算系统执行示例过程的指令的计算机程序的计算机存储介质。例如，计算机可读存储介质可经由易失性计算机存储器、非易失性存储器、硬盘驱动器、闪存驱动器、软盘或紧致盘和类似介质中的一个或多个来实现。

在整个说明书中，术语“平台”可以是软件和硬件组件的组合，用于通过交互式用户界面来跟踪用户姿势，以及通过该用户界面将用户图像投影到显示上以提供对用户交互所发生的位置的视觉反馈。平台的示例包括但不限于，在多个服务器上执行的托管服务、在单个计算设备上执行的应用以及类似系统。术语“服务器”一般指通常在联网环境中执行一个或多个软件程序的计算设备。然而，服务器还可以被实现为被视作网络上的服务器的、在一个或多个计算设备上执行的虚拟服务器(软件程序)。以下提供关于这些技术和示例操作的更多细节。

参考图1，图表100示出具有位置知晓姿势输入和用户交互的计算机系统，在计算机系统中可实现各实施例。图表100中所示的计算设备和用户界面环境用于说明目的。可以在各种本地计算环境、联网计算环境和利用各种计算设备和系统的类似计算环境中实现各实施例。

图1示出姿势识别和视觉反馈系统100的配置的示例性实施例，在该系统中用户102可通过执行一个或多个姿势或移动来操作和控制计算设备114上的应用程序。在一示例性实施例中，姿势识别和视觉反馈系统100可用于检测、分析和跟踪用户102的姿势以及在显示104上向用户102提供用户姿势的视觉反馈108。

交互式用户界面被呈现在显示104上，以用于基于位置知晓姿势来控制在计算设备114上执行的应用程序。在该交互式控制中，用户102并不直接接触也不紧邻于阻止使用诸如触摸屏等接触式输入设备的系统。为了检测用户的姿势，该系统包括耦合至(116)显示104的计算设备114以及用于捕捉用户102的图像的相机110。

在根据各实施例的系统中，与传统的输入模型不同，用户102并不需要使用任何输入设备，诸如定点设备(例如，鼠标或键盘)、或者由具有相机的现有输入系统所使用的无源或有源标记器(例如，光源或者高对比度标记器)等。用户的图像是由相机110出于以下目的而捕捉的：注册来自用户的输入，由此给予用户102与在计算设备114上执行的应用程序进行交互的机会。然后，可带着两个主要目的来实时处理来自相机110的视频流。

第一目的是跟踪和识别用户102执行来提供发起计算设备114上执行的软件所支持的不同动作的输入的姿势。姿势可由诸如手等各个身体部分来执行，并可构成特定运动和/或定位。诸如执行眨眼的眼睛等其他身体部分或者以整个身体来进行的身体运动也可用于输入目的，以例如便于身体上残疾的用户进行输入。第二目的是通过将用户的图像108投影在应用程序的用户界面上来向用户提供实时的视觉反馈。可对这个图像进行处理，以最小化用户界面的干扰，以及允许用户102观察用户界面而不管用户的位置或运动。

由于用户102在显示104上观察他/她自己的图像，因此对于用户来说将在该用户的物理世界中的位置与显示上的虚拟位置进行匹配是容易的。例如，当用户的手正在执行姿势时，用户可看见该手位于用户界面组件112(文本“DEF”)附近，而不在组件106(文本“ABC”)附近。因此，用户102可容易地将输入定向到显示上的某一单元或区域，而不需要任何种类的校准或人工跟踪器(如光标等)。也不需要物理接触(例如，与触摸屏)。由于人类可在屏幕上识别和跟踪他们自己的认知能力，该系统还允许由多个用户同时执行输入或者由多个身体部分(如双手等)执行输入。

根据一示例性场景，可捕捉来自相机的图像，并将这些图像存储在存储器中。可计算当前帧和在先帧之间的区别，结果得到二进制输出，该二进制输出具有该帧上的已改变像素或者未改变像素。已改变区域对应于用户的运动。出于跟踪和识别姿势的目的，可将图像分割成预定义大小的瓦片，以允许通过计数给定瓦片内的已改变像素来定位各已改变区域。可将被认为已改变的各相邻区域组合在一起来产生各已改变对象的列表以表示用户的运动，这些已改变对象包括相机坐标系统中的大小、位置和形状。然后，可基于大小和位置邻近度而将这些对象与在先帧上检测到的对象相匹配。接着，对象轨迹可以随时间改变的坐标组的形式来计算。最后，可通过将轨迹与预设模式进行比较来检测姿势，并且可计算出姿势在相机坐标中的位置。

出于向用户提供视觉反馈的目的，可将二进制图像转换成半透明的图像、缩放该二进制图像、以及将该二进制图像调整为与显示相匹配(或者，根据特定情况的需要，诸如将该二进制图像调整为大于屏幕，以允许边界上的输入)。可将图像覆盖在用户界面的顶部。由于这个图像是半透明的并且是二进制的，因此该图像不会遮挡用户界面且允许用户102查看用户界面。由于该图像仅包含帧间差异，因此各静止部分是不可见的，从而进一步减少了来自覆盖图像的干扰。在没有用户运动的情况下(例如，用户正几乎静止地看电视)，则不会发生干扰。在其他实施例中，在执行预定义姿势之前，可完全抑制视觉反馈图像，以彻底避免干扰。在完成用户输入以后，可在某一时刻自动地再次抑制视觉反馈图像。

由于图像的缩放属性是已知的，因此将屏幕坐标与相机坐标相匹配是可能的，接着可由用户将该相机坐标与屏幕上的位置相匹配，以闭合视觉反馈回路。因此，可将用户在现实世界中执行的输入姿势与屏幕坐标和/或特定控制相匹配。可将输入机制集成在应用程序中。或者，为了控制对传统输入方法设计的应用程序，持有该输入的操作系统或应用程序可使用顶层的透明窗口来覆盖视觉反馈图像，并将各姿势映射到现有的输出事件上。

在其他示例性实施例中，可将用户的姿势和移动解释为以下控制和动作：诸如，在显示上控制定位和移动元素、滚动通过各页面、以及选择显示上的对象。此外，可将某些移动解释为与除控制显示上的元素以外的动作相对应的控制。例如，用户可使用变化的姿势和移动(诸如，预定义的符号语言姿势和表示ASCII字符的姿势等)来：输入诸如文本等信息、改变显示信息和偏好、进行通信等。

在其他环境中，用户界面可允许一个或多个用户与计算设备进行通信，并且该计算设备可跟踪多个用户的姿势并同时投影每一用户的视觉反馈。所投影的视觉反馈可在显示上标识该视觉反馈与哪些用户姿势相关，或者在其他实施例中，每一用户可基于用户识别和跟踪他或她自己姿势的认知能力来标识他们所预期的姿势。

图2在图表200中示出计算设备环境中基于位置知晓姿势的用户界面的示例。可将基于位置知晓姿势的用户界面作为在计算设备(诸如，计算机202等)上执行的一些或所有应用程序的输入机制而实现在该计算设备中的操作系统层处。或者，可将该输入机制实现在应用层处。因此，一些应用程序(诸如应用程序204等)可包括集成姿势模块208，该集成姿势模块208通过图像捕捉设备210来接收所捕捉的用户姿势图像，这些应用程序还可跟踪和识别姿势以将这些姿势解释为应用程序的输入。

姿势模块208可通过显示设备212来向用户提供视觉反馈，以使识别和解释过程成为一回路并增强用户信心。姿势模块208可以是独立的模块或者是集成在应用程序204中的模块。而且，可将应用程序204本地安装在计算机202或分布式应用程序上，或者使应用程序204在计算机202或分布式应用程序上执行，所述分布式应用程序在服务器上执行并可通过计算机202在一个或多个网络上进行访问。

对于未被配置来将运动和姿势作为输入机制来处理的应用程序，可将姿势模块208集成在这些应用程序中，使得姿势模块用于模拟控制应用程序的现有输入方法(诸如例如，鼠标点击、键盘输入和类似动作等)。

图3示出电视环境中基于位置知晓姿势的用户界面的示例。各示例并不限于传统计算设备中的基于位置知晓姿势的用户界面。现代技术允许许多个人电子设备或其他电子设备像计算设备那样操作，其中通用或专用处理器更像计算机一样执行指令。例如，娱乐系统中的处理器允许用户对各功能进行控制，如声音控制、音频/视频源选择、输出控制等。日常生活中自动柜员机(ATM)之类的许多自动化过程在其内并不包括特定计算机，但包括类似于计算机那样执行任务的一个或多个处理器。因此，可允许这些设备中的任何一个利用基于位置知晓姿势的用户界面。

电视机300是在非计算机环境中使用基于位置知晓姿势的输入机制的一个实例。电视机300可配备有图像捕捉设备302(例如，相机)。电视机300的各种功能可以由该电视机300中的一个或多个处理器(控件304)所执行的一组指令来控制。这些指令的子集可包括基于位置知晓姿势的输入模块306，该输入模块可提供如上所述的输入机制功能。基于位置知晓姿势的输入模块306可以是电子设备的控制指令的集成部分。或者，该模块可以是独立模块，该模块可被上传或连接至设备的控制机制，以结合该设备的各主要控件来运行。

已经用特定的设备、应用程序和交互描述了图1至图3中的示例性系统。各实施例不限于根据这些示例配置的系统。可将用于跟踪用户姿势、向计算设备提供输入、以及通过交互式用户界面来向用户提供视觉反馈的系统实现在利用了较少的或附加的组件、并执行其他任务的配置中。此外，可以使用此处描述的原理以相似的方式来实现特定的协议和/或接口。

图4示出示例性的独立姿势控制器实现。根据图表400中所示的一些实施例中，独立姿势控制器410可被实现为独立的设备，该设备可通过附加连接(诸如通用串行接口(USB)或其他)而被耦合在计算机402和监视器404之间，以用于控制目的。到计算机402的视频输出的连接允许注入来自姿势和反馈处理器414的视频反馈(412)，并且还提供有关屏幕分辨率的信息，从而使得来自相机406的图像能被合适地缩放且坐标可被匹配。

如USB连接等连接可模拟诸如鼠标等标准人类接口设备(HID)，由此在该计算机本身上没有执行任何处理软件的情况下控制计算机402。另外，USB接口可允许对来自计算机402的独立姿势控制器410进行任选的配置，以例如用于上传所要识别的特定姿势。计算机402可以是任何计算设备(如服务器、桌面式计算设备、膝上型计算设备、可移动计算设备、手持式计算设备等)，只要该计算设备支持至该控制器的接口并具有兼容的视频输出就行。

独立姿势控制器410可使用嵌入式微控制器来实现，该嵌入式微控制器的功能的一部分可被卸载到诸如FPGA芯片等硬件上。这可允许使用相对较低成本和/或低功率的组件，并且不会对受控计算机创建任何附加负载。

图5是可实现各实施例的示例性联网环境。位置知晓姿势识别和视觉反馈系统可经由在诸如托管服务等一个或多个服务器514上执行的软件来实现。该平台可以通过网络510来与诸如智能电话513、膝上型计算机512、或台式计算机511(“客户机设备”)等各个计算设备上的客户机应用程序进行通信。

运行于任一客户端设备511-513的客户端应用程序可便于通过由各服务器514运行的或在单独服务器516上运行的应用程序进行的通信。在各服务器的一个上执行的应用程序可便于检测和跟踪各用户姿势，并处理来自捕捉设备的图像，以执行姿势跟踪和位置分析。该应用程序可通过将用户的姿势与显示上发生用户交互的位置相关来向用户提供视觉反馈。该应用程序可直接或通过数据库服务器518从数据存储519中检索相关数据，并且通过客户端设备511-513将所请求的服务(例如文档编辑)提供给用户。

网络510可包括服务器、客户机、因特网服务供应商以及通信介质的任何拓扑结构。根据各实施例的系统可以具有静态或动态拓扑结构。网络510可包括诸如企业网络等安全网络、诸如无线开放网络等非安全网络、或因特网。网络510还可通过诸如公共交换电话网络(PSTN)或蜂窝网络等其他网络来协调通信。此外，网络510可包括诸如蓝牙或类似网络等短程无线网络。网络510提供此处描述的节点之间的通信。作为示例而非限制，网络510可以包括例诸如声学、RF、红外线和其它无线介质等的无线介质。

可利用计算设备、应用程序、数据来源、和数据分配系统的许多其他配置来实现用于提供姿势检测/跟踪以及在交互式用户界面上向用户提供视觉反馈的平台。此外，图5中所讨论的联网环境仅用于说明目的。各实施方式不限于示例应用程序、模块、或过程。

图6及相关描述旨在提供对其中可实现各实施例的合适计算环境的简要概括描述。参考图6，示出了根据各实施的例如计算设备600的用于应用程序的示例性计算操作环境的框图。在基本配置中，计算设备600可以是任何计算设备，该计算设备根据各实施例来执行具有基于位置知晓姿势的输入机制的应用程序，并包括至少一个处理单元602和系统存储器604。计算设备600还可包括协作执行程序的多个处理单元。取决于计算设备的确切配置和类型，系统存储器604可以是易失性的(如RAM)、非易失性的(如ROM、闪存等)或是两者的某种组合。系统存储器604通常包括适于控制平台操作的操作系统605，诸如来自华盛顿州雷德蒙市的微软公司的操作系统。系统存储器604还可包括一个或多个软件应用程序，诸如程序模块606和、应用程序622、以及姿势模块624。

应用程序622可允许计算设备600连续处理来自捕捉设备的各图像，以便检测和跟踪一个或多个用户的姿势，并在用户界面上向该用户提供视觉反馈。通过由姿势模块624来控制的用户界面，应用程序622可将用户的图像投影到显示上，从而使得可将由用户执行的各姿势与该显示上的特定位置相关，以允许用户具有各用户姿势的实时视觉反馈。该应用程序可同步地检测和跟踪姿势提供视觉反馈，同时最小化用户界面干扰。应用程序622和配置模块624可以是分开的应用程序或主控服务的集成模块。该基本配置在图6中由虚线608内的那些组件示出。

计算设备600可以具有附加特征或功能。例如，计算设备600还可包括附加数据存储设备(可移动和/或不可移动)，例如磁盘、光盘或磁带。在图6中通过可移动存储器609和不可移动存储器610示出这样的附加存储。计算机可读存储介质可以包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。系统存储器604、可移动存储609和不可移动存储610都是计算机可读存储介质的示例。计算机可读介质包括，但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光存储、磁带、磁盘存储或其它磁存储设备、或能用于存储所需信息且可以由计算设备600访问的任何其它介质。任何这样的计算机可读存储介质都可以是计算设备600的一部分。计算设备600还可以具有输入设备612，诸如键盘、鼠标、笔、语音输入设备、触摸输入设备和类似输入设备。还可以包括输出设备614，诸如显示器、扬声器、打印机和其它类型的输出设备。这些设备在本领域中公知并且无需在此处详细讨论。

计算设备600还可包含通信连接616，该通信连接允许该设备诸如通过分布式计算环境中的有线或无线网络、卫星链接、蜂窝链接、短程网络和类似机制来与其他设备618进行通信。其他设备618可包括执行通信应用程序的计算机设备、web服务器和类似设备。通信连接616是通信介质的一个示例。通信介质可在其中包括计算机可读指令、数据结构、程序模块或其它数据。作为示例而非限制，通信介质包括诸如有线网络或直接线连接之类的有线介质，以及诸如声学、RF、红外及其他无线介质之类的无线介质。

各示例实施例还包括各种方法。这些方法可以用任何数量的方式，包括本文中所描述的结构来实现。一种此类方式是通过本文中描述的类型的设备的机器操作。

另一可任选方式是结合一个或多个人类操作者执行各方法的各个操作中的某一些来执行这些方法的一个或多个操作。这些人类操作者无需彼此同在一处，而是其每一个可以仅与执行程序的一部分的机器同在一处。

图7示出根据各实施例的用于检测姿势以及将视觉反馈作为用户界面方法来提供的过程700的逻辑流程图。可以将过程700实现在能够通过处理器来执行指令的计算设备或类似的电子设备上。

过程700起始于操作710，在该操作710处捕捉设备捕捉初始图像帧和后续图像帧。在一实施例中，捕捉设备可将各图像储存在存储器中，以供传输给计算设备。在另一实施例中，捕捉设备可连续地将各图像传输给计算设备，以供存储和处理。在操作720处，计算设备分析当前帧和在先帧之间的区别，以产生二进制输出，该二进制输出包括该帧上的已改变像素或者未改变像素，其中已改变像素与用户运动相对应。

在操作730处，可从该区别生成半透明图像，并在后续操作740处可将该半透明图像覆盖在用户界面(即，显示设备)上。在该过程的另一分支中，当检测到已改变像素时，可在操作750处将图像帧分割成包含较大数目的像素的大瓦片。这允许通过计数特定瓦片内的已改变像素来确定已改变区域的位置。可将同样包含已改变像素的各相邻瓦片组合在一起来产生对已改变对象的选择，并且使用这些已改变对象在预定义坐标系统中的大小、位置和形状可确定这些已改变对象的位置与捕捉设备的坐标系统相对应。

在操作760处，可将已改变对象与在先图像帧上检测到的相应对象相匹配，并基于大小、位置、形状和位置邻近度来确定这些已改变对象的坐标位置。各移动矢量可以随时间改变的坐标组的形式来计算，其中坐标可指示对象在捕捉设备的坐标系统内的大小、位置和形状。在操作770处，通过分析各移动矢量可检测用户姿势。根据一些实施例，通过将移动矢量与预设模式进行比较来检测用户姿势，并且然后可相对于相机坐标内的预设移动矢量而计算出姿势位置。在操作740和770之后的操作780处，可将用户姿势与显示位置相匹配，并由用户发起动作来控制计算设备。

过程700中包括的各操作是姿势跟踪和视觉反馈的连续回路中的步骤。过程700连续并同步发生，以便：始终实时跟踪用户姿势、将用户的姿势位置与捕捉设备坐标和显示坐标相匹配、以及在用户界面上向用户提供用户姿势的实时视觉反馈。

包括在过程700内的各操作是用于说明目的。姿势跟踪和视觉反馈可以使用此处所述的各原理通过具有更少或更多步骤的相似过程、以及不同的操作次序来实现。

以上说明书、示例和数据提供了对各实施方式组成的制造和使用的全面描述。尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求和各实施方式的示例形式而公开的。

Claims

1.一种用于向计算机系统提供输入的方法，包括：

捕捉用户的一个或多个图像来创建输入姿势；

处理所述图像，以跟踪所述输入姿势；

确定所述用户姿势在用户界面上的相对位置；

计算所述一个或多个图像的当前帧和在先帧之间的区别；

从所述区别生成二进制图像，其中所述二进制图像仅包括所述当前帧相对于先前帧的已改变像素，而各静止部分在所述二进制图像上不可见，其中所述已改变像素对应于所述用户的运动；

将所述二进制图像缩放为大于屏幕，以允许边界上的输入；

通过将所述二进制图像覆盖在所述用户界面的顶部来在所述用户界面上提供所述用户姿势的视觉反馈，其中在执行预定义姿势之前，所述视觉反馈被完全抑制，以避免干扰；以及

允许所述用户通过所述姿势来控制应用程序。

2.如权利要求1所述的方法，其特征在于，所述输入姿势包括以下一组中的至少一个：身体部分的运动、身体部分的定位、整个身体的运动、整个身体的定位。

3.如权利要求1所述的方法，其特征在于，所述视觉反馈包括在所述用户所关注的所述用户界面的元素附近显示所捕捉的用户图像的缩放版本和变换版本中的至少一个。

4.如权利要求1所述的方法，其特征在于，还包括：

捕捉多个用户所执行的多个姿势的图像；

在所述用户界面上提供所述多个姿势的视觉反馈，使得允许所述用户通过所述多个姿势来控制所述应用程序的多个方面。

5.如权利要求4所述的方法，其特征在于，允许所述用户基于所述用户界面上显示的图像来区分其各自的姿势。

6.如权利要求1所述的方法，其特征在于，所述应用程序由以下各项中的一项控制：集成在应用程序中的输入模块、集成在所述计算机系统的操作系统中的输入模块、以及由所述计算机系统执行的输入控制应用程序。

7.一种电子设备中能够接受基于位置知晓姿势的输入的系统，其中所述电子设备包括功能组件、图像捕捉组件和显示器，所述系统包括：

用于捕捉正执行姿势的用户的图像的装置；

用于计算当前帧和在先帧之间的区别的装置；

用于基于所述区别来确定所捕捉图像上已改变区域的位置的装置；

用于确定以下各项中的至少一个的装置：所述改变区域内的对象的大小、形状、以及位置；

用于确定所述对象的轨迹的装置；

用于基于所述对象的轨迹与预设模式的比较来确定所述姿势，并确定由所述图像捕捉组件捕捉的所述姿势的位置的装置；以及

用于利用所确定的姿势来控制所述功能组件的一方面的装置；

并且所述系统还包括：

用于从所述区别生成二进制图像的装置，其中所述二进制图像仅包括所述当前帧相对于先前帧的已改变像素，而各静止部分在所述二进制图像上不可见，其中所述已改变像素对应于所述用户的运动；

用于将所述二进制图像转换成半透明图像的装置；

用于将所述半透明图像缩放为大于屏幕，以允许边界上的输入的装置；

用于将所述半透明图像覆盖在描绘在所述显示器上的用户界面上以在所述用户界面上提供所述姿势的视觉反馈的装置，其中在执行预定义姿势之前，所述视觉反馈图像被完全抑制，以避免干扰。

8.如权利要求7所述的系统，其特征在于，还包括：

用于将所述半透明图像转换成与所显示的用户界面相匹配的装置；以及

用于将所捕捉图像的坐标与描绘在所述显示上的所述用户界面的坐标相匹配，使得所述视觉反馈能向所述用户指示所述用户界面中的哪个元素正被所述姿势控制的装置。

9.如权利要求7所述的系统，其特征在于，所述对象轨迹是以随时间改变的坐标组来计算的。

10.如权利要求7所述的系统，其特征在于，还包括：用于通过将所述图像分割成预定义大小的瓦片并计数每一瓦片内的已改变像素来确定所捕捉图像上已改变区域的位置的装置。

11.如权利要求7所述的系统，其特征在于，所述电子设备包括以下各项中的一个：计算设备、电视机、娱乐中心、交互式留言板、广告台、以及自动柜员机。

12.一种用于跟踪姿势和提供虚拟反馈的方法，所述方法包括：

从图像捕捉设备处接收连续的图像流；

处理所述图像，以检测和跟踪姿势；

将每一姿势的相对位置与用户界面显示上的对应位置相关；

生成所述用户的表示图像；

将所述表示图像缩放为大于屏幕，以允许边界上的输入；

将所述表示图像投影在所述用户界面显示上，以向所述用户提供视觉反馈，其中在执行预定义姿势之前，所述视觉反馈被完全抑制，以避免干扰；以及

将所述姿势解释成用于操作在计算设备上执行的应用程序的各方面的输入信号。

13.如权利要求12所述的方法，其特征在于，所述表示图像是所述用户的表示和执行所述姿势的身体部分的表示中的一个，并且其中所述用户界面上的位置是通过将捕捉设备的位置坐标系统与所述用户界面显示坐标系统相匹配来确定的。

14.如权利要求12所述的方法，其特征在于，所述姿势包括下组中的至少一个：身体部分的运动、身体部分的定位、整个身体的运动、整个身体的定位，所述姿势表示以下组中的至少一个：对用户界面选项的选择、对符号语言姿势的选择、和对标准化文本字符的选择。

15.一种用于向计算机系统提供输入的系统，包括：

用于捕捉用户的一个或多个图像来创建输入姿势的装置；

用于处理所述图像，以跟踪所述输入姿势的装置；

用于确定所述用户姿势在用户界面上的相对位置的装置；

用于计算所述一个或多个图像中的当前帧和在先帧之间的区别的装置；

用于将所述二进制图像缩放为大于屏幕，以允许边界上的输入的装置；用于通过将所述二进制图像覆盖在所述用户界面的顶部来在所述用户界面上提供所述用户姿势的视觉反馈的装置，其中所述视觉反馈在执行预定义姿势之前被完全抑制，以避免干扰；以及

用于允许所述用户通过所述姿势来控制应用程序的装置。