CN105579929A - 基于手势的人机交互 - Google Patents

Abstract

本文公开了与人机交互相关联的设备、计算机可读存储介质和方法。在实施例中，计算装置可包括多个传感器，包括多个光源和相机，以创建三维(3-D)交互区域，在该区域内跟踪计算装置的用户的单独手指位置。光源和相机可互补布置以便相机捕捉手指或手位置。计算装置可还包括配置成分析3-D交互区域内单独手指位置、相机捕捉的单独手指移动，基于分析的结果检测手势，以及执行对应于检测到的手势的用户控制动作的3-D交互模块。也可描述和/或要求保护其它实施例。

Description

基于手势的人机交互

技术领域

本公开内容的实施例涉及人机交互领域，并且具体而言，涉及基于手势的人机交互。

技术领域

本文中提供的背景描述是为了概括介绍公开内容的上下文。除非本文中另有指示，否则，此部分中描述的材料不是本申请的权利要求的现有技术，并且未由于包含在本部分中而被承认是现有技术。

人机交互传统上已转移到经用户与诸如鼠标、键盘、轨迹球、触摸垫等等一个或多个输入装置的物理交互的用户控制。鼠标等实质上已变成人机交互的必要条件。虽然用户与鼠标等的交互在某种程度上对用户而言是根深蒂固的，但交互从未是自然或直观的。

附图说明

图1示出其中可实践本公开内容的一些实施例的说明性环境。

图2示出根据本公开内容的一些实施例的计算装置的说明性配置。

图3示出其中可实践本公开内容的一些实施例，包括三维(3-D)显示器的说明性环境。

图4示出根据本公开内容的一些实施例，捕捉用户的心率的说明性图示。

图5示出根据本公开内容的说明性手势。

图6示出根据本公开内容的另一说明性手势。

图7示出根据本公开内容的另一说明性手势。

图8示出根据本公开内容的另一说明性手势。

图9示出根据本公开内容的一些实施例的说明性过程流程。

具体实施方式

本文描述了用于人机交互的方法、存储介质和计算装置。在实施例中，计算装置可包括多个传感器，包括多个光源和相机，以创建三维(3-D)交互区域，在该区域内跟踪计算装置的用户的单独手指位置，并由此跟踪手指移动。光源和相机可互补布置以便相机捕捉手指或手位置。3D区域的示例可包括在显示器前面的3D区域。计算装置也可包括与多个传感器耦合的3-D交互模块。3-D交互模块可配置成分析3-D交互区域内由相机捕捉的单独手指，以基于分析的结果检测手势。手势例如可包括将单独手指保持在3-D交互区域内固定位置中预确定的时间期。在检测手势时，3-D交互模块可执行对应于检测到的手势的用户控制动作。对于保持单独手指的示例，可在显示器上再现的光标的相关位置执行用户控制动作。在实施例中，显示器可以是投射以便与3D交互区域一致或相交的浮动显示器。

在下面的详细描述中，参照了形成本文一部分的附图，并且图中类似的标号在所有图形中指示类似的部分，通过示图方式示出了可实践的实施例。要理解的是，在不脱离本公开内容的范围的情况下可利用其它实施例，并且可进行结构或逻辑更改。因此，下面的详细描述不可从限制的意义理解，并且实施例的范围只由随附权利要求及其等同物定义。

各种操作可又以对理解所述主题最有帮助的方式描述为多个离散动作或操作。然而，描述的顺序不应理解为暗示这些操作一定与顺序相关。具体而言，可不以介绍的顺序执行这些操作。所述操作可以与所述实施例不同的顺序执行。可执行各种另外的操作，和/或可在另外的实施例中忽略所述操作。

为便于理解本公开内容，短语“A和/或B”表示(A)、(B)或（A和B）。为便于理解本公开内容，短语“A、B和C”表示(A)、(B)、(C)、（A和B）、（A和C）、（B和C）或（A、B和C）。描述可使用短语“在一实施例中”或“在实施例中”，这均可指一个或多个相同或不同的实施例。此外，如相对于本公开内容的实施例使用的术语“包括”、“具有”及诸如此类是同义的。

图1示出其中可实践本公开内容的一些实施例的说明性计算环境100。计算环境100可包括诸如便携式装置102等计算装置。便携式计算装置102可包括在其中集成的多个传感器，如相机104和一个或多个发光二极管(LED)106。如图所示，相机104可配置有捕捉在键盘110上方区域中图像的视角112。在实施例中，一个或多个LED106和相机104可互补布置，使得组合可允许跟踪手指位置。例如，如此处所示，一个或多个LED106可配置在键盘110内，使得从中发射的光114可向上投射以便与相机104的视角112相交。

相机104的视角112和一个或多个发光二极管106发射的光114的相交可形成三维(3-D)交互区域108，在该区域内，用户可利用一个或多个手势与计算装置102交互。这可通过在3-D交互区域108中跟踪用户的手指和/或手位置，并且由此跟踪手指和/或手移动来完成。相机104和一个或多个发光二极管106的组合可允许快速、准确的跟踪在3-D交互区域内的用户手势。在实施例中，从一个或多个发光二极管106发射的光114可配置成着重突出或突出显示在3-D交互区域内发生的手势，并且因此可使得计算装置102更易于理解相机106捕捉的手势。例如，在手势基于用户的手指移动的情况下，由于通过从一个或多个发光二极管106发射的光114着重突出指尖，因此，可快速精确地跟踪指尖。指尖的着重突出可受发光二极管106发射的光影响，由交互区域108内的指尖散射，并且由相机104检测到。

在实施例中，计算装置102可配置成将诸如用户的指尖的位置等用户的动作与诸如光标等计算装置102的显示器116上的位置指示符的对应位置相关。在此类一实施例中，用户可以能将显示器116上再现的光标移到显示器116上所需对象附近的所需位置，并且执行手势，手势可促使计算装置102执行有关对象的用户控制动作。

图2示出根据本公开内容的一些实施例的计算装置200的说明性配置。计算装置200可以是任何类型的计算装置，包括诸如智能电话、平板、超级本、ebook、膝上型计算机等便携式计算装置或诸如台式计算机、公共计算装置或自动售货机(ATM)等固定计算装置。将领会的是，上面提及的计算装置只是意在说明的示例。无论计算装置的形式如何，本公开内容同样适用。

计算装置200可包括处理器202、显示器204、传感器206、包含3-D交互模块210的存储装置208和其它输入/输出装置212。处理器202、显示器204、传感器206、存储装置208和其它输入/输出装置212可利用系统总线214全部耦合在一起。

处理器202可包括单个处理器或多个处理器。在多处理器实施例中，多个处理器可具有相同类型，即，同构，或者可具有不同类型，即，异构，并且可包括任何类型的单核或多核处理器。无论处理器的类型和/或数量如何，本公开内容同样适用。

显示器204可以是任何类型的显示器，包括但不限于阴极射线管(CRT)、液晶二极管(LCD)、有机发光二极管(OLED)或3-D显示器，如图2和3讨论的显示器。显示器204可包含到计算装置200中，或者可通过任何类型的有线和/或无线连接，从外围连接到计算装置200。无论显示器的形式如何，本公开内容同样适用。

在一些实施例中，传感器206可包括诸如配置成捕捉一个或多个图像和一个或多个发光二极管的传感器。这些传感器可为计算装置配置成3-D交互区域，在其内计算装置200的用户可与计算装置200交互。将领会的是，上面提及的传感器只是意在说明的示例。考虑了能够捕捉用户的手势的任何3-D传感器。

在实施例中，存储装置208可以是任何类型的计算机可读存储介质，或不同类型的计算机可读存储介质的任何组合。存储装置208可包括易失性和非易失性/持久存储装置。易失性存储装置例如可包括动态随机存取存储器(DRAM)。非易失性/持久存储装置可包括但不限于固态驱动器(SSD)、磁性或光盘硬盘驱动器、闪存存储器或任何多项或其组合。

在实施例中，3-D交互模块210可实施为软件、固件或其任何组合。在一些实施例中，3-D交互模块210可包括一个或多个指令，指令在由处理器202执行时，促使计算装置200执行本文中描述的任何过程的一个或多个操作。在实施例中，3-D交互模块210可配置成接收来自传感器206的数据。在一些实施例中，3-D交互模块210可配置成监视传感器206产生的数据流。在其它实施例中，3-D交互模块可配置成定期接收来自传感器206的部分数据以便进行分析。

在实施例中，3-D交互模块210可配置成分析从传感器206收到的数据。在一些实施例中，可分析数据以确定在由传感器形成的3-D交互区域内用户的手和/或手指的位置。3-D交互模块210可配置成将确定的位置和在显示器204上再现的光标或其它位置指示符的位置相关。在实施例中，此相关可实时发生，使得通过在显示器上再现的光标的移动同时反映用户的移动。

在一些实施例中，可分析数据以确定预确定的手势是否在传感器数据内发生，如参照图5-8描述的那些手势。这例如可通过确定在数据内的坐标移动或者比较一个或多个传感器捕捉的一个或多个图像和手势的图像的数据库来完成。

在实施例中，3-D交互模块210可配置成确定用户的生命统计。这可如下参照图4所述完成。在实施例中，3-D交互模块210可配置成提供这些生命统计到在计算装置200上执行的其它应用程序。例如，如果用户参与玩视频游戏，则视频游戏可配置成接收来自3-D交互模块210的生命统计，并且可相应地调整游戏的难度。在其它实施例中，可利用生命统计确定用户是否在使用用户的手和/或手指与诸如书写笔等计算装置或无生命对象交互。例如，3-D交互模块210可配置成确定3-D交互区域内的对象是否具有脉搏率，并且如果是，则3-D交互模块210可确定用户的手指和/或手在3-D交互区域中。在此类实施例中，3-D交互模块210可配置成只在检测到心率时才尝试确定手势。在其它实施例中，3-D交互模块210可配置成在未检测到心率时启用其它上下文。例如，3-D交互模块210可在检测到书写笔时启用另外的绘图特征，或者可取决于检测到书写笔或手指，启用不同工具。例如，在绘图应用程序中，用户可利用书写笔绘图，并且利用手指擦除。

图3示出其中可实践本公开内容的一些实施例的说明性计算环境300。在一些实施例中，计算环境300可包括配置成创建浮动显示器304的计算装置302。在一些实施例中，浮动显示器304可以是3-D，而在其它实施例中，它可以是二维(2-D)。在一些实施例中，计算装置302可还包括在其中集成的相机306和一个或多个发光二极管310。相机306和一个或多个发光二极管310可包含到计算装置302中，或者可从外围连接到计算装置302。如图所示，相机306可定位成具有某个视角308，该视角配置有捕捉在与浮动显示器304对应的区域中的图像。一个或多个发光二极管310可配置成使得从中发射的光312可在与相机306的视角308相交的方向投射。此相交可创建3-D交互区域314，在该区域内，用户可利用一个或多个手势与计算装置300交互。如本文中所示，3-D交互区域314可与至少一部分浮动显示器304一致，使得用户可通过一个或多个手势与在浮动显示器304中显示的一个或多个项交互。

在一些实施例中，浮动显示器304可以是立体或自动立体3-D显示器。在本文中使用时，自动立体3-D显示器指能够由用户感知为3-D而未使用诸如眼镜等另外的观看帮助的任何显示器。自动立体显示器可通过结合视差屏障或透镜阵列，利用诸如液晶显示器(LCD)等显示器实现。在一些实施例中，计算装置302可配置成利用相机306跟踪用户的眼睛的位置和/或方向，并且可配置成相应地调整浮动显示器304。

经3-D交互区域314与浮动显示器304的交互可以多个方式是有益的。由于用户将不直接触摸任何表面以便与计算装置302交互，因此，此实施可减少与可影响更多传统交互式显示器的直接物理接触相关联的缺陷。例如，此类实施可防止弄脏计算装置302的物理显示器。这可在改进安全性之外还降低此类物理显示器将需要清洁的次数，这是因为恶意的用户将不能从屏幕上的痕迹辨别前一用户的密码/pin。此类实施可减少或阻止病菌从一个用户扩散到下一用户。用户也可以能够佩戴手套以便与可能不可具有传统交互式显示器的计算装置302交互。另外，此类实施可减少通过与用户的接触而造成的磨损、破裂和/或刮痕。将领会的是，此益处列表不详尽，并且只意在说明。通过此类实施，可实现任何数量的其它益处。

图4是根据本公开内容的一些实施例，配置成捕捉用户的生命统计的实施例的说明性图示。在一些实施例中，可希望在与计算装置交互的同时检测用户的生命统计。在实施例中，3-D交互模块可配置成从传感器数据确定这些生命统计。这可通过光电容积描记法(PPG)来完成。利用诸如图1的相机104和图3的306等相机穿过用户的身体，PPG可用于检测心血管脉波或心率。相机可配置成捕捉由于在心跳期间血量变化而发生的不明显的周期性光反射率或透光率变化，并且3-D交互模块可配置成检测不明显的周期性光反射率或透光率变化。在一些实施例中，可跟踪用户的手指并且可由3-D交互模块利用在用户的手指内发生的不明显的周期性光反射率或透光率变化，以确定用户的心率。例如，如此处所示，可跟踪计算装置的用户的手指402是否有在框404内发生的不明显的周期性光反射率或透光率变化，以确定用户的心率406。

在实施例中，在尝试测量PPG时，可将手指的确切位置、强度和大小考虑在内。此附加信息可允许非侵入式原位PPG测量。在一些实施例中，计算装置可还配置成利用诸如红外(IR)发光二极管(LED)等受控闪光灯源和时间同步的全局快门相机。IRLED和全局快门相机的组合可增大信噪比，并且也可用于降低或防止计算装置显示器照度更改和/或环境光照更改对PPG测量的干扰。在一些实施例中，IRLED可配置成发射具有大约950纳米(nm)波长的光。

在一些实施例中，可能可确定用户的血压。在此类实施例中，用户可将用户的手腕放置到3-D交互区域中，例如上面描述的放置。诸如相机等一个或多个传感器可配置成捕捉静脉的图像，并且3-D交互模块可配置成确定通过用户的静脉的血流量的脉搏传导时间(PTT)。PTT与血压成反比，并且因此可用于确定用户的血压。

在其它实施例中，3-D交互模块可配置成利用在多个波长的LED跟踪用户的生命统计以确定血氧浓度。例如，一个或多个传感器可对应于在950nm波长的IRLED，而一个或多个其它传感器可对应于在650nm波长的红色LED。3-D交互模块可配置成确定在IR与红色波长之间反射率、透光率和/或吸收率的差别，以确定用户的血氧浓度而无需传统的手指夹式测氧计。

图5示出根据本公开内容的说明性手势。如图所示，用户可将用户的手指移到计算装置的3-D交互区域内对应于计算装置的显示器502上光标508的所需位置的位置。一旦用户已到达光标508的所需位置，用户便可在预确定的时间期悬停以促使动作发生。在一些实施例中，悬停预确定的时间期可足以促使用户控制动作发生。在其它实施例中，用户可能必需进行另外的移动以完成手势。例如，在预确定的时间期后，计算装置可配置成冻结在显示器502上光标508的位置以防止光标508的意外移动。然后，通过在3-D交互区域的z方向轻触（peck）504或者在3-D交互区域的y方向中轻敲506，可完成手势。一旦手势完成，计算装置便可配置成响应检测到手势，执行一个或多个用户控制动作。例如，计算装置可配置成在检测到轻触504或轻敲506时在光标的位置执行鼠标点击。在一些实施例中，轻触504可与鼠标右键点击相关，而轻敲506可与鼠标左键点击相关，或反之亦然。

图6示出根据本公开内容的另一说明性手势。如图所示，用户可将用户的手指移到计算装置的3-D交互区域内对应于计算装置的显示器602上光标604的所需位置的位置。一旦用户已达到光标604的所需位置，根据一些实施例，用户便可在显示器上对象周围以顺时针方向606旋转用户的手指，完成手势。在其它实施例中，用户可在对象周围以逆时针方向608旋转用户的手指，完成手势。响应检测到一个或多个这些手势，计算装置可配置成在对象上执行一个或多个用户控制动作。例如，计算装置可配置成在检测到对应于顺时针方向606的旋转的手势时，执行鼠标右键点击，并且可配置成在检测到对应于逆时针方向608的旋转的手势时，执行鼠标左键点击，或反之亦然。

图7示出根据本公开内容的另一说明性手势。如图所示，用户可将用户的手指702移到计算装置的3-D交互区域内对应于计算装置的显示器上光标的所需位置的位置。一旦用户已达到光标的所需位置，根据一些实施例，用户便可抬起在用户的手指的左侧704和/或右侧706的手指，完成手势。如图所示，手指702-706指向读取器，并且因此到用户的方向被指示为与到读取器的方向相反。响应检测到一个或多个这些手势，计算装置可配置成在对象上执行一个或多个用户控制动作。例如，计算装置可配置成响应检测到用户手指702的右侧的手指706的抬起，执行鼠标右键点击，并且可配置成响应检测到用户手指702的左侧的手指704的抬起，执行鼠标左键点击，或反之亦然。

图8示出根据本公开内容的另一说明性手势。如图所示，用户可将诸如食指802等用户的手指移到计算装置的3-D交互区域内对应于计算装置的显示器上光标的所需位置的位置。一旦用户已达到光标的所需位置，根据一些实施例，用户便可使诸如拇指等手指和手指802接触，完成手势。响应检测到手势，计算装置可配置成在对象上执行一个或多个用户控制动作。例如，计算装置可配置成响应检测到手势的完成，执行鼠标点击。

图9示出根据本公开内容的一些实施例，与计算装置的3-D交互模块相关联的说明性过程流程900。过程可在902开始，其中，3-D交互模块可接收传感器数据。传感器数据可由诸如图2的传感器206等多个传感器生成。在一些实施例中，3-D交互模块可直接接收来自多个传感器的传感器数据。在其它实施例中，可经诸如应用编程接口(API)等中间件应用程序，接收传感器数据，中间件应用程序可自动提供传感器数据到3-D交互模块，或者可在收到3-D交互模块的请求时进行此操作。

在实施例中，传感器数据可包括与传感器在监视的对象相关联的坐标。例如，传感器数据可包含用于在3-D交互区域内检测到的指尖的坐标信息，如上面参照图1和3讨论的区域。在一些实施例中，传感器数据可包括由诸如相机等传感器捕捉的要分析的多个图像。上述传感器数据只意在说明，并且无意于限制本公开内容。将领会的是，在不脱离本公开内容的范围的情况下，可利用任何类型的传感器数据。

在框904中，可分析传感器数据以确定计算装置的用户是否已执行预确定的手势。这可通过分析传递到3-D交互模块的坐标以确定坐标的序列是否匹配坐标的预确定的模式来完成。在图像可提供到3-D交互模块的一些实施例中，可比较图像和手势的预确定的图像，以确定传感器提供的图像是否匹配手势的预确定的图像。

在本文中使用时，手势可包括用户的任何类型的手指和/或手移动。上面相对于图5-8讨论了说明性手势。然而，将领会的是，手势可以是任何类型的手势，并且任何此类手势明确由本公开内容考虑在内。

在一些实施例中，分析传感器数据可包括分析在3-D交互区域内执行的单独手指移动。在一些实施例中，可确定在3-D交互区域内的位置，并且可将此信息与计算装置的显示器上光标的对应位置相关。

在框906，做出有关在传感器数据中是否检测到手势的确定。如果尚未检测到手势，则过程继续回到框902。如果已检测到手势，则过程移到框908，在该框，可执行对应于检测到的手势的用户控制动作。在本文中使用时，用户控制动作可以是通过计算装置的输入装置，用户能够进行的任何类型的动作。示例输入装置可包括键盘、鼠标、轨迹球、触摸垫等。虽然在上面给出的示例中参照鼠标点击进行了讨论，但用户控制动作应不限于此。用户控制动作例如可包括：在窗口内滚动、最小化、最大化或关闭窗口、放大或缩小在屏幕上再现的对象、鼠标右键或左键点击、复制、粘贴等。

为便于理解本描述，计算机可用或计算机可读介质能够是能包含、存储、传递、传播或传送程序以供指令执行系统、设备或装置使用或与其结合使用的任何介质。介质可以为电子、磁性、光学、电磁、红外或半导体系统（或设备或装置）或传播介质。计算机可读存储介质的示例包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、硬磁盘及光盘。光学磁盘的当前示例包括只读压缩盘(CD-ROM)、可擦写压缩盘(CD-R/W)和DVD。

本公开内容的实施例能够采取完全硬件实施例、完全软件实施例或包括硬件和软件元素的实施例形式。在各种实施例中，软件可包括但不限于固件、常驻软件、微代码及诸如此类。此外，公开内容能采取可从计算机可用或计算机可读介质存取的计算机程序产品形式，介质提供程序代码以便供计算机或任何指令执行系统使用或与其结合使用。

虽然特定实施例已在本文中示出和描述，但本领域的技术人员将理解的是，广泛的多种备用和/或等效实现可替代所示和所述的特定实施例而不脱离本公开内容的实施例的范围。本申请旨在涵盖本文中所述的实施例的所有修改或变化。因此，很明显，本公开内容的实施例只受权利要求及其等同物的限制。

示例

一些非限制性示例有：

示例1是一种用于人机交互的计算装置，包括：多个传感器，包括多个光源和相机，以创建三维(3-D)交互区域，在该区域内跟踪计算装置的用户的单独手指位置，其中多个光源和相机互补布置以允许相机在三维中捕捉单独手指位置；与多个传感器耦合的3-D交互模块，3-D交互模块分析3-D交互区域内相机捕捉的相对于彼此的单独手指位置，以基于分析的结果检测手势，以及执行对应于检测到的手势的用户控制动作。

示例2可包括示例1的主题，还包括与3-D交互模块耦合的显示器，其中3-D交互模块将还确定3-D交互区域内单独手指的位置，并且将在3-D交互区域内单独手指的位置和显示器上再现的光标的位置相关。

示例3可包括示例2的主题，其中检测到的手势包括将伸展在手的剩余手指外的手的单独手指保持在3-D交互区域内固定位置中预确定的时间期，以及其中3-D交互模块将在显示器上再现的光标的相关位置执行用户控制动作。

示例4可包括示例2的主题，其中检测到的手势包括将伸展在手的剩余手指外的手的单独手指保持在3-D交互区域内固定位置中第一预确定的时间期，以促使光标的相关位置在第二预确定的时间期内冻结，并且检测到的手势还包括在第二预确定的时间期内单独手指尖向前或向下移动，以及其中3-D交互模块将在显示器上再现的光标的相关位置执行用户控制动作。

示例5可包括示例2的主题，其中检测到的手势包括将单独手指的第一手指保持在3-D交互区域内固定位置中，并且使单独手指的第二手指与第一手指接触，以及其中3-D交互模块将在显示器上再现的光标的相关位置执行用户控制动作。

示例6可包括示例2的主题，其中检测到的手势包括将单独手指的第一手指保持在固定位置中，并且其中检测到的手势还包括使在第一手指右侧的第二手指与第一手指接触，以及其中3-D交互模块将在显示器上再现的光标的相关位置执行用户控制动作。

示例7可包括示例2的主题，其中检测到的手势包括将单独手指的第一手指保持在固定位置中，并且其中检测到的手势还包括使在第一手指左侧的第二手指与第一手指接触，以及其中3-D交互模块将在显示器上再现的光标的相关位置执行用户控制动作。

示例8可包括示例2的主题，其中检测到的手势包括将伸展在手的剩余手指外的手的单独手指以顺时针或逆时针方向旋转，以及其中3-D交互模块将基于单独手指的旋转的方向，在显示器上再现的光标的相关位置附近执行预确定的用户控制动作。

示例9可包括示例1-8任一项的主题，其中用户控制动作是鼠标左键或右键单击之一。

示例10可包括示例2-8任一项的主题，其中多个传感器和3-D交互模块将还协作以检测在3-D交互区域内用户的心率、血压或血氧浓度之一。

示例11可包括示例3-11任一项的主题，其中多个传感器和3-D交互模块将协作以检测用户的心率，并且3-D交互模块将还将执行分析、手指移动的检测，并且仅在3-D交互区域内检测到用户的心率的存在时才执行。

示例12可包括示例2-8任一项的主题，其中显示器是投射在3-D交互区域附近或与其相交的浮动显示器，并且多个光源是发光二极管(LED)，以及其中互补布置还包括布置LED，使得来自LED的光与相机的视角相交，其中光与视角的相交形成3-D交互区域。

示例13是一种用于人机交互的计算机实现的方法，包括：由计算装置的三维(3-D)交互模块分析在3-D交互区域内，与由包括多个光源和相机的计算装置的多个传感器感测的计算装置的用户的单独手指位置相关联的传感器数据，其中多个光源和相机互补布置，以使相机在三维中捕捉单独手指位置；由3-D交互模块至少部分基于分析的结果，检测用户的手势；以及由3-D交互模块执行对应于检测到的手势的用户控制动作以控制计算装置。

示例14可包括示例13的主题，还包括分析单独手指移动，以基于单独手指移动，检测鼠标点击手势，并且响应检测到的鼠标点击手势，执行鼠标点击。

示例15可包括示例13的主题，还包括：确定3-D交互区域内单独手指的位置，并且将在3-D交互区域内单独手指的位置和计算装置的显示器上再现的光标的位置相关。

示例16可包括示例15的主题，其中检测到的手势包括将伸展在手的剩余手指外的手的单独手指保持在3-D交互区域内固定位置中预确定的时间期。

示例17可包括示例15的主题，其中检测到的手势包括将伸展在手的剩余手指外的手的单独手指保持在3-D交互区域内固定位置中第一预确定的时间期，以促使光标的相关位置在第二预确定的时间期内冻结，并且检测到的手势还包括在第二预确定的时间期内单独手指尖向前或向下移动，以及其中执行还包括在显示器上再现的光标的相关位置附近执行用户控制动作。

示例18可包括示例15的主题，其中检测到的手势包括将单独手指的第一手指保持在3-D交互区域内固定位置中，并且使单独手指的第二手指与第一手指接触，以及其中执行还包括在显示器上再现的光标的相关位置附近执行用户控制动作。

示例19可包括示例15的主题，其中检测到的手势包括将单独手指的第一手指保持在固定位置中，并且其中检测到手势还包括使第一手指右侧的第二手指与第一手指接触，以及其中执行还包括在显示器上再现的光标的相关位置附近执行用户控制动作。

示例20可包括示例15的主题，其中检测到的手势包括将单独手指的第一手指保持在固定位置中，并且其中检测到手势还包括使第一手指左侧的第二手指与第一手指接触，以及其中执行还包括在显示器上再现的光标的相关位置附近执行用户控制动作。

示例21可包括示例15的主题，其中检测到的手势包括将伸展在手的剩余手指外的手的单独手指以顺时针或逆时针方向旋转，以及其中执行还包括在显示器上再现的光标的相关位置附近执行用户控制动作，用户控制动作基于单独手指的旋转的方向。

示例22可包括示例13-21任一项的主题，其中用户控制动作是在显示器上再现的光标的相关位置附近的项的鼠标点击。示例23可包括示例13-21任一项的主题，其中3-D交互区域与浮动显示器一致或相交。

示例24是上面存储有指令的一个或多个计算机可读介质，指令在由计算装置执行时，促使计算装置执行示例13-23任一项的方法。

示例25是一种用于人机交互的计算设备，包括：用于执行如示例13-23任一项的方法的部件。

示例26是一种用于人机交互的计算装置，包括：用于由计算装置的三维(3-D)交互模块分析在3-D交互区域内，与由包括多个光源和相机的计算装置的多个传感器感测的计算装置的用户的单独手指位置相关联的传感器数据的部件，其中多个光源和相机互补布置，以使相机在三维中捕捉单独手指位置；用于由3-D交互模块至少部分基于分析的结果，检测用户的手势的部件；以及用于由3-D交互模块执行对应于检测到的手势的用户控制动作以控制计算装置的部件。

示例27可包括示例26的主题，还包括用于分析单独手指移动，以基于单独手指移动，检测鼠标点击手势的部件和用于响应检测到鼠标点击手势，执行鼠标点击的部件。

示例28可包括示例26的主题，还包括：用于确定3-D交互区域内单独手指的位置的部件，以及用于将在3-D交互区域内单独手指的位置和计算装置的显示器上再现的光标的位置相关的部件。

示例29可包括示例28的主题，其中检测到的手势包括将伸展在手的剩余手指外的手的单独手指保持在3-D交互区域内固定位置中预确定的时间期。

示例30可包括示例28的主题，其中检测到的手势包括将伸展在手的剩余手指外的手的单独手指保持在3-D交互区域内固定位置中第一预确定的时间期，以促使光标的相关位置在第二预确定的时间期内冻结，并且检测到的手势还包括在第二预确定的时间期内单独手指尖向前或向下移动，以及其中执行还包括在显示器上再现的光标的相关位置附近执行用户控制动作。

示例31可包括示例28的主题，其中检测到的手势包括将单独手指的第一手指保持在3-D交互区域内固定位置中，并且使单独手指的第二手指与第一手指接触，以及其中执行还包括在显示器上再现的光标的相关位置附近执行用户控制动作。

示例32可包括示例28的主题，其中检测到的手势包括将单独手指的第一手指保持在3-D交互区域内固定位置中，并且其中检测到手势还包括使第一手指右侧的第二手指与第一手指接触，以及其中执行还包括在显示器上再现的光标的相关位置附近执行用户控制动作。

示例33可包括示例28的主题，其中检测到的手势包括将单独手指的第一手指保持在3-D交互区域内固定位置中，并且其中检测到手势还包括使第一手指左侧的第二手指与第一手指接触，以及其中执行还包括在显示器上再现的光标的相关位置附近执行用户控制动作。

示例34可包括示例28的主题，其中检测到的手势包括将伸展在手的剩余手指外的手的单独手指以顺时针或逆时针方向旋转，以及其中执行还包括在显示器上再现的光标的相关位置附近执行用户控制动作，用户控制动作基于单独手指的旋转的方向。

示例35可包括示例26-34任一项的主题，其中用户控制动作是在显示器上再现的光标的相关位置附近的项的鼠标点击。

示例36可包括示例26-34任一项的主题，其中3-D交互区域与浮动显示器一致或相交。

Claims (25)

1.一种用于人机交互的计算装置，包括：

多个传感器，包括多个光源和相机，以创建三维(3-D)交互区域，在所述区域内跟踪所述计算装置的用户的单独手指位置，其中所述多个光源和所述相机互补布置以允许所述相机在三维中捕捉所述单独手指位置；以及

与所述多个传感器耦合的3-D交互模块，所述3-D交互模块用于分析所述3-D交互区域内所述相机捕捉的相对于彼此的所述单独手指位置，以基于所述分析的结果检测手势，以及执行对应于所述检测到的手势的用户控制动作。

2.如权利要求1所述的计算装置，还包括与所述3-D交互模块耦合的显示器，其中所述3-D交互模块将还确定所述3-D交互区域内所述单独手指的位置，并且将在所述3-D交互区域内所述单独手指的所述位置和所述显示器上再现的光标的位置相关。

3.如权利要求2所述的计算装置，其中所述检测到的手势包括将伸展在手的剩余手指外的所述手的单独手指保持在所述3-D交互区域内固定位置中预确定的时间期，以及其中所述3-D交互模块将在所述显示器上再现的所述光标的所述相关位置执行用户控制动作。

4.如权利要求2所述的计算装置，其中所述检测到的手势包括将伸展在手的剩余手指外的所述手的单独手指保持在所述3-D交互区域内固定位置中第一预确定的时间期，以促使所述光标的所述相关位置在第二预确定的时间期内冻结，并且所述检测到的手势还包括在所述第二预确定的时间期内所述单独手指尖向前或向下移动，以及其中所述3-D交互模块将在所述显示器上再现的所述光标的所述相关位置执行用户控制动作。

5.如权利要求2所述的计算装置，其中所述检测到的手势包括将所述单独手指的第一手指保持在所述3-D交互区域内固定位置中，并且使所述单独手指的第二手指与所述第一手指接触，以及其中所述3-D交互模块将在所述显示器上再现的所述光标的所述相关位置执行用户控制动作。

6.如权利要求2所述的计算装置，其中所述检测到的手势包括将所述单独手指的第一手指保持在固定位置中，并且其中所述检测到的手势还包括使在所述第一手指右侧的第二手指与所述第一手指接触，以及其中所述3-D交互模块将在所述显示器上再现的所述光标的所述相关位置执行用户控制动作。

7.如权利要求2所述的计算装置，其中所述检测到的手势包括将所述单独手指的第一手指保持在固定位置中，并且其中所述检测到的手势还包括使在所述第一手指左侧的第二手指与所述第一手指接触，以及其中所述3-D交互模块将在所述显示器上再现的所述光标的所述相关位置执行用户控制动作。

8.如权利要求2所述的计算装置，其中所述检测到的手势包括将伸展在手的剩余手指外的所述手的单独手指以顺时针或逆时针方向旋转，以及其中所述3-D交互模块将基于所述单独手指的所述旋转的所述方向，在所述显示器上再现的所述光标的所述相关位置附近执行预确定的用户控制动作。

9.如权利要求1-8任一项所述的计算装置，其中所述用户控制动作是鼠标左键或右键单击之一。

10.如权利要求2-8任一项所述的计算装置，其中所述多个传感器和所述3-D交互模块将还协作以检测在所述3-D交互区域内所述用户的心率、血压或血氧浓度之一。

11.如权利要求2-8任一项所述的计算装置，其中所述多个传感器和所述3-D交互模块将协作以检测所述用户的心率，并且所述3-D交互模块将还将执行所述分析、手指移动的检测，并且仅在所述3-D交互区域内检测到所述用户的所述心率的存在时才执行。

12.如权利要求2-8任一项所述的计算装置，其中所述显示器是投射在所述3-D交互区域附近或与其相交的浮动显示器，并且所述多个光源是发光二极管(LED)，以及其中互补布置还包括布置所述LED，使得来自所述LED的光与所述相机的视角相交，其中所述光与所述视角之间的所述相交形成3-D交互区域。

13.一种用于人机交互的计算机实现的方法，包括：

由计算装置的三维(3-D)交互模块分析在3-D交互区域内，与由包括多个光源和相机的所述计算装置的多个传感器感测的所述计算装置的用户的单独手指位置相关联的传感器数据，其中所述多个光源和所述相机互补布置，以使所述相机在三维中捕捉所述单独手指位置；

由所述3-D交互模块至少部分基于所述分析的结果，检测所述用户的手势；以及

由所述3-D交互模块执行对应于所述检测到的手势的用户控制动作，以控制所述计算装置。

14.如权利要求13所述的计算机实现的方法，还包括分析所述单独手指移动，以基于所述单独手指移动，检测鼠标点击手势，并且响应检测到的所述鼠标点击手势，执行鼠标点击。

15.如权利要求13所述的计算机实现的方法，还包括：

确定在所述3-D交互区域内所述单独手指的位置，以及

将在所述3-D交互区域内所述单独手指的所述位置和所述计算装置的显示器上再现的光标的位置相关。

16.如权利要求15所述的计算机实现的方法，其中所述检测到的手势包括将伸展在手的剩余手指外的所述手的单独手指保持在所述3-D交互区域内固定位置中预确定的时间期。

17.如权利要求15所述的计算机实现的方法，其中所述检测到的手势包括将伸展在手的剩余手指外的所述手的单独手指保持在所述3-D交互区域内固定位置中第一预确定的时间期，以促使所述光标的所述相关位置在第二预确定的时间期内冻结，并且所述检测到的手势还包括在所述第二预确定的时间期内所述单独手指尖向前或向下移动，以及其中执行还包括在所述显示器上再现的所述光标的所述相关位置附近执行用户控制动作。

18.如权利要求15所述的计算机实现的方法，其中所述检测到的手势包括将所述单独手指的第一手指保持在所述3-D交互区域内固定位置中，并且使所述单独手指的第二手指与所述第一手指接触，以及其中执行还包括在所述显示器上再现的所述光标的所述相关位置附近执行用户控制动作。

19.如权利要求15所述的计算机实现的方法，其中所述检测到的手势包括将所述单独手指的第一手指保持在固定位置中，并且其中所述检测到手势还包括使所述第一手指右侧的第二手指与所述第一手指接触，以及其中执行还包括在所述显示器上再现的所述光标的所述相关位置附近执行用户控制动作。

20.如权利要求15所述的计算机实现的方法，其中所述检测到的手势包括将所述单独手指的第一手指保持在固定位置中，并且其中所述检测到手势还包括使所述第一手指左侧的第二手指与所述第一手指接触，以及其中执行还包括在所述显示器上再现的所述光标的所述相关位置附近执行用户控制动作。

21.如权利要求15所述的计算机实现的方法，其中所述检测到的手势包括将伸展在手的剩余手指外的所述手的单独手指以顺时针或逆时针方向旋转，以及其中执行还包括在所述显示器上再现的所述光标的所述相关位置附近执行用户控制动作，所述用户控制动作基于所述单独手指的所述旋转的所述方向。

22.如权利要求13-21任一项所述的计算机实现的方法，其中所述用户控制动作是在所述显示器上再现的所述光标的所述相关位置附近的项的鼠标点击。

23.如权利要求13-21任一项所述的计算机实现的方法，其中所述3-D交互区域与浮动显示器一致或相交。

24.上面存储有指令的一个或多个计算机可读介质，指令在由计算装置执行时，促使所述计算装置执行权利要求13-23任一项所述的方法。

25.一种用于人机交互的计算设备，包括：用于执行如权利要求13-23任一项所述的方法的部件。