CN105453015B - 近距离的自然用户界面系统及其操作方法 - Google Patents

Abstract

一种自然用户界面系统及其操作方法包括：具有显示屏和显示设备相机的显示设备；具有移动设备相机的移动设备，移动设备相机的光轴被放置成与显示设备相机的光轴成一角度；其中：移动设备包括第一设备配对模块，用于将移动设备与显示设备配对；移动设备相机和显示设备相机用于：检测用户的手，和确定用户的手的姿势和移动；并且显示设备包括运动转换模块，用于将用户的手的姿势和移动转换为用于控制在显示屏上的用户界面的元素的手势。

Description

近距离的自然用户界面系统及其操作方法

技术领域

本发明一般而言涉及自然用户界面系统，并且更具体而言，涉及用于近距离自然用户界面系统的系统。

背景技术

在很大程度上，人类与诸如计算机、平板电脑和移动电话之类的电子设备的交互需要物理地操纵控制件、按压按钮或触摸屏幕。例如，用户经诸如键盘和鼠标之类的输入设备与计算机交互。虽然键盘和鼠标对于诸如输入文本和滚动文档的功能是有效的，但是它们对其中用户可以与电子设备交互的许多其它方式不是有效的。用户持有鼠标的手被局限在只沿着平面二维(2D)的表面移动，并且利用鼠标导航通过三维虚拟空间是笨拙且非直观的。同样，触摸屏的平坦界面不允许用户传达任何深度的概念。

利用三维(3D，或深度)相机，或者在一个设备上的两个相机，可以实现电子设备基于手势的3D控制。但是，当前允许利用用户的身体或手的3D控制方法依赖于大的手势、冗长的校准过程或者昂贵或不容易得到的专业设备。

因此，对用于提供和操作近距离自然用户界面的更简单的解决方案，仍然存在需求。鉴于当前解决方案的复杂性和成本，找到这些问题的答案变得日益重要。鉴于日益增加的商业竞争压力，以及不断增长的消费者期望和市场上有意义的产品差异机会的减少，因此，为这些问题找到答案至关重要。此外，节省成本、提高效率和性能并且满足竞争压力的需求为找到这些问题答案的关键必要性添加了甚至更大的紧迫性。

一直以来都在寻找对于这些问题的解决方案，但是，此前的发展还没有教导或建议长期以来困扰着本领域的技术人员的这些问题的任何解决方案。

发明内容

本发明提供了操作自然用户界面系统的方法，包括：提供具有显示屏和显示设备相机的显示设备；提供具有移动设备相机的移动设备，移动设备相机的光轴被放置成与显示设备相机的光轴成一角度；将移动设备与显示设备配对；检测用户的手；确定用户的手的姿势和移动；将用户的手的姿势和移动转换为用于控制在显示屏上的用户界面的元素的手势。

本发明提供了自然用户界面系统，包括：具有显示屏和显示设备相机的显示设备；具有移动设备相机的移动设备，移动设备相机的光轴被放置成与显示设备相机的光轴成一角度；其中：移动设备包括第一设备配对模块，用于将移动设备与显示设备配对；移动设备相机和显示设备相机用于：检测用户的手，和确定用户的手的姿势和移动；并且显示设备包括运动转换模块，用于将用户的手的姿势和移动转换为用于控制在显示屏上的用户界面的元素的手势。

除了以上提到的那些或者作为其替代，本发明的某些实施例还具有其它的步骤或元素。通过在参考附图时阅读以下具体描述，这些步骤和元素对本领域技术人员将变得显然。

附图说明

图1是在本发明实施例中的自然用户界面系统。

图2是来自图1的移动设备相机的用户的手的示例性视图。

图3是在本发明的第二实施例中的自然用户界面系统。

图4是在本发明还有的实施例中的操作自然用户界面系统的方法的流程图。

具体实施方式

以下实施例进行了足够详细的描述，以便使本领域技术人员能够获得并使用本发明。应当理解，基于本公开内容，其它实施例将是显而易见的，并且在不背离本发明范围的情况下可以做出系统、过程或机械上的变化。

在以下描述中，给出了许多具体的细节，以提供对本发明的透彻理解。但是，很显然，本发明没有这些具体细节也可以实践。为了避免模糊本发明，一些众所周知的电路、系统配置和过程步骤没有具体地公开。

示出系统实施例的附图是半图式的且不是按比例的，并且，特别地，一些维度是为了呈现清晰起见并且在附图中被夸大地示出。同样，尽管为了描述容易起见的附图中的视图一般地示出类似的朝向，但是图中的这个描绘对大部分来说是任意的。通常，本发明可以以任何朝向进行操作。

在所有附图中使用了相同的标号来与相同的元素关联。实施例为了方便描述可以被编号为第一实施例、第二实施例等，并不是要具有任何其它的重要意义或对本发明提供限制。

为了说明的目的，本文所使用的术语“水平的”被定义为平行于用户位置的地面的平面或表面的平面。术语“垂直的”指垂直于如刚才所定义的水平的方向。术语，诸如“在……上方”、“在……下方”、“底部”、“上部”、“侧”(如在“侧壁”中)、“较高”、“较低”、“上面”、“在……之上”、“在……之下”，是相对于水平的平面定义的，如在图中所示出的。术语“在…上”意味着元素之间存在直接接触。术语“直接在……上”意味着一个元素和另一个元素之间存在直接接触而没有中间元素。

术语“活动面”指模具、模块、包装或电子结构的其上具有构造的电路系统或具有用于连接到在模具、模块、包装或电子结构内的活动电路系统的元素的一侧。

如本文所使用，术语“处理”包括如在形成所述结构中所需要的材料或光致抗蚀剂的沉积、构图、曝光、显影、蚀刻、清洗和/或材料或光致抗蚀剂的去除。

现在参考图1，其中示出了本发明实施例中的自然用户界面系统100。自然用户界面系统100包括移动设备102和显示设备104。所示出的指向显示设备104的显示屏106的是用户的手108。用户的面部也被示出，其中具有绘为点线的视线(eyeline)矢量110，示出用户正在看屏幕上的哪里。

移动设备102被示出在以面朝下的朝向在显示设备104的前面，但是，应该理解，移动设备102也可以是面朝上的。移动设备102的面(face)被定义为移动设备102的主显示屏幕，其在这个例子中是不可见的。移动设备102具有移动设备相机112，其当移动设备102处于面朝下朝向时移动设备相机112的面朝上。移动设备相机112的光轴被定义为移动设备相机112面朝或“看”的方向。换而言之，移动设备相机112的视野的中心可以是移动设备相机112的光轴。移动设备相机112是视频捕获机制。移动设备相机112可以能够捕捉二维(2D)或三维(3D)图像。移动设备102可以是任何各种电子设备，诸如智能电话、功能电话、启用WiFi的相机、平板电脑或具有相机、处理能力和无线能力的任何设备。

移动设备102还具有闪光灯114，用于当环境光不足以分辨移动设备相机112前面是什么时照亮在移动设备相机112前面的对象。例如，当确定了黑暗条件(例如，没有足够的光来获得可用的图像)时，闪光灯114可以被激活并用作用于照明的恒定光源或者当用移动设备相机112拍摄照片时用作闪光灯。从闪光灯114发射的光仅仅作为例子通过闪光灯114上方的三角形表示。闪光灯114可以利用任何发光技术操作，诸如白炽灯、发光二极管(LED)、荧光灯、卤素灯或其它类型的光。

显示设备104通过无线连接协议––诸如WiFi、蓝牙、蜂窝数据协议或其它无线协议––与移动设备102配对，并且被示出为面向移动设备102。例如，移动设备102的第一设备配对模块可以连接到显示设备104的第二设备配对模块。第一设备配对模块的和第二设备配对模块可以按照需要在移动设备102和显示设备104之间来回发送有关数据。显示设备104可以具有显示屏106，作为用于自然用户界面系统100的主观看屏幕。

显示设备104具有显示设备相机116，其优选地面向与显示设备104的显示屏106相同的方向。显示设备相机116的光轴被定义为显示设备相机116面向或“看”的方向。换而言之，显示设备相机116的视野的中心可以是显示设备相机116的光轴。显示设备相机116可以能够捕捉二维(2D)或三维(3D)图像。显示设备104可以是诸如膝上型计算机、多合一桌面计算机、连接到桌面计算机的监视器、平板电脑、TV、智能电话或能够进行无线连接的其它设备之类的设备，包括与移动设备102同样的设备。在这个例子中，显示设备104被示为安装在底座上的平板计算机，但是应当理解，这只是作为例子。

移动设备102和显示设备104可以包含能够执行各种功能的多个模块，诸如，耦合到第一设备配对模块的形状检测模块、耦合到形状检测模块或第一设备配对模块的运动跟踪模块，及耦合到运动跟踪模块的运动转换模块。仅仅移动设备102、仅仅显示设备104、或者移动设备102和显示设备104的组合可以同时或并行地运行这些模块中的一些或全部。

移动设备相机112和显示设备相机116被放置成具有重叠的视野并其各自的光轴彼此成一角度。例如，移动设备相机112和显示设备相机116的光轴可以是大致地彼此垂直，这与指向平行方向的相机与用于立体三维相机的相机系统截然相反。换句话说，移动设备相机112和显示设备相机116具有指向不同方向的光轴，以便具有重叠的视野，从而从相对于重叠视野中的对象的不同角度捕捉在重叠视野中的任何对象的图像。

在这个例子中，用户的手108在移动设备相机112和显示设备相机116的重叠视野内。由于移动设备相机112和显示设备相机116看见非常不同的用户的手108的视图，因此能够获得关于用户的手108的有关三维形状、姿势、位置和运动的信息。

例如，移动设备相机112结合移动设备102的耦合到第一设备配对模块的形状检测模块可以对用户的手108的底部进行成像，并且可以容易地检测到形状或姿势(诸如指向、抓，平放等)。移动设备相机112结合耦合到形状检测模块的第一设备运动跟踪模块可以检测前后(forward and backward)运动(相对于显示设备104的显示屏106)和侧向(side-to-side)运动。

显示设备相机116结合耦合到第二设备配对模块的第二设备运动跟踪模块可以对用户的手108的前面进行成像，并且可以容易地检测到上下和侧向方向中的运动。显示设备相机116也可以从前面检测用户的手108的形状或姿势，以与从移动设备相机112检测到的用户的手108的形状或姿势组合和将其细化。通过三角测量和相关技术，诸如将来自移动设备相机112和显示设备相机116的侧向运动进行相关，在移动设备102、显示设备104、或移动设备102和显示设备104两者上并行运行的自然用户界面系统100可以计算三维形状、姿势、位置和运动信息，而无需使用深度映射或立体技术。例如，来自第一设备运动跟踪模块和第二设备运动跟踪模块的数据可以被运动相关模块组合，其中运动相关模块可以运行在移动设备102、显示设备104上，可以在移动设备102和显示设备104两者之间进行分割，或者可以并行地运行在移动设备102和显示设备104两者上，其中为了准确性对结果进行检查。

为了说明的目的，移动设备相机112和显示设备相机116被描述为捕获二维图像以便易于处理，但是，应当理解，如果移动设备相机112、显示设备相机116或两者捕获三维图像，则能够计算测量值中的额外精确度。捕获和处理三维图像可能是更计算上密集的，从而使得二维图像的捕获和处理是优选的，以便加快检测和处理，同时为所涉及的任何移动设备节省电池寿命。

同样作为例子，移动设备102和显示设备104可以装备有陀螺仪、罗盘和/或加速计，以在任何时间确定移动设备102和显示设备104的朝向。这允许移动设备102被放置在相对于显示设备104的任意角度，只要移动设备相机112具有与显示设备相机116重叠的视野并与其处于某个角度。

例如，如果移动设备102和显示设备104两者都装备有罗盘(电子的或模拟的)和陀螺仪，则可以基于罗盘读数和陀螺仪对观看朝向进行同步，使得用户的校准是不必要的。移动设备102或显示设备104的视图同步模块可以与罗盘和/或陀螺仪一起操作，以同步移动设备102与显示设备104的视角。例如，无论移动设备102被放置在相对于显示设备104的显示屏106的平面的怎样的角度，视图同步模块都可以通过适当地旋转所捕获的图像以匹配或相对于显示屏106的朝向同步移动设备102的朝向来调整由移动设备相机112捕获的图像如何被处理。

同样作为例子，如果显示设备104装备有陀螺仪，则可以在确定用户的手108的运动时确定显示设备104的角度，并且对其进行补偿。作为另一例子，在移动设备102中的陀螺仪可以确定何时移动设备102处于面朝下的位置，并且第一设备配对模块可以自动地发起到显示设备104的无线连接并且初始化自然用户界面系统100，而无需任何来自用户的进一步交互。

已经发现，使移动设备102和显示设备104两者都装备陀螺仪、罗盘和/或加速度提供了更好的用户体验。因为移动设备102和显示设备104的朝向在任何给定时间都是已知的，因此移动设备102可以放置在相对于显示设备104的任意朝向，从而避免需要冗长的校准过程或限制移动设备102必须被如何放置。此外，基于移动设备102的朝向的自动配对还可以去除用户要打开或操作移动设备102上的特定程序的需要，从而进一步简化了用户体验；所有用户需要做的是将电话以面朝下的朝向放置，以便能够使用自然用户界面系统100。

继续该例子，如由被放置成其各自光轴彼此成一角度并且重叠的移动设备相机112和显示设备相机116确定的用户的手108的姿势和移动可以被转换为光标在显示屏106上的移动。耦合到第一设备运动跟踪模块和/或第二设备运动跟踪模块的移动设备102、显示设备104或两者的运动转换模块可以将来自第一设备运动跟踪模块和第二设备运动跟踪模块的数据转换为光标在显示设备104的显示屏106上的移动和动作。用户的手108的相对移动可以被转换为光标的移动。作为具体例子，光标可以被设置为不移动或不出现，直到用户的手处于特定的形状，比如用一个手指指向屏幕。

用户的手108上的特定点可以用移动设备相机112和显示设备相机116两者分别进行跟踪，以便确定在3D空间中的移动。运动跟踪转换为光标在显示屏106上的移动也可以通过向量映射并结合利用例如向量映射模块确定移动设备102和显示设备104之间的距离来完成。

运动转换模块还可以操作为组合用户的手108的姿势和移动，以识别手势并将那些手势转换为通过显示屏106上的变化来反映的行动。例如，用户的手108的形状和姿势可以通过组合来自移动设备相机112和显示设备相机116两者的数据被更精确地确定。

组合用户的手108的姿势和用户的手108的运动允许运动转换模块来识别手势。手势可以被用来控制显示设备104和在显示设备104的显示屏106上显示的用户界面的元素。例如，检测到的手势可以被用来移动在显示屏106上的光标。同样作为例子，检测到的手势可以被用来执行动作，诸如打开和关闭应用程序、旋转在设备104上运行的应用程序内的视图、控制在显示设备104上运行的任何应用程序的功能或光标、或以其它方式控制用户界面的元素。作为另一个例子，检测到的手势可以被用来在显示屏106上的屏幕键盘上键入。

还继续该例子，移动设备相机112具有用户的手108的视图，其中天花板作为背景。这意味着，由于天花板背景通常很干净，因此，分割、阈值法和以其它方式确定用户的手108的形状是个简单的过程。用户的手108在相对于显示屏106的前后轴上的移动可以，例如，利用运动转换模块，转换为按钮的按压。作为另一个例子，移动设备102的闪光灯114可以被用来在光线不足的情况下照亮用户的手108。例如，闪光灯114可以被耦合到第一设备运动跟踪模块的光检测模块激活。所使用的光例如可以是在可见光的范围内，或者可以是在红外(IR)范围内用于使用而没有用在暗处的明亮光干扰用户的风险。

已经发现，处理来自使其各自的光轴被放置成彼此成一角度并且重叠的移动设备相机112和显示设备相机116的单独的图像集合导致其中用户的手108是主要控制输入的自然用户界面的更快和更容易的三维控制。例如，与其中只从前面看见用户的手108的显示设备相机116相比，从移动设备相机112的底部向上视图中确定用户的手108指向显示屏106，在计算上容易得多。在单独但重叠的视图之间分割确定移动的组件只允许在移动设备102和显示设备104之间发送有关的数据，从而进一步降低了计算和带宽负载。

显示设备相机116具有用户的手108和用户的面部两者的视图。显示设备104的视线检测模块可以从用户的面部和眼睛确定视线向量110，并且允许对显示屏106上光标移动的更好地控制。移动细化模块可以组合视线矢量110和从显示设备相机116看到的用户的手108的移动，以允许直到毫米级的精确指向，因为基于来自用户面部的视线矢量110对光标的移动进行了细化。

已经发现，无线地配对具有使其各自的光轴被放置成彼此成一角度的移动设备相机112和显示设备相机116的移动设备102和显示设备104允许创建可以通过自然手的运动而无需专用硬件被容易地设置(set up)和控制的近距离的用户界面。移动设备相机112和显示设备相机116可以是简单的2D相机而没有3D或广角(range)相机硬件的复杂性。显示设备104可以是从TV到膝上型计算机到平板电脑的任何一种，典型的用户将拥有其中的至少一种，并且移动设备102可以仅仅是几乎任何人都将拥有的电话，因此将不需要任何用户获得附加的硬件。此外，由于设备将同步朝向并且可以在移动设备102和显示设备104之间传递有关的数据，因此用户的校准是不必要的，从而简化了自然用户界面系统100的设置和使用。

因此，已经发现，本发明的自然用户界面系统100及其操作方法提供了用于简单并且容易地允许用户利用自然指向手势而无需专门硬件来控制近距离用户界面的、重要且迄今为止未知和没有得到的解决方案、能力及功能方面。

现在参考图2，其中示出了来自图1的移动设备相机112的用户的手108的示例性视图。用户的手108作为例子被示为处于指向位置。由于移动设备相机112指向朝上，因此对于用户的手108的背景是天花板。本领域普通技术人员应当理解，天花板将或者是基本上无特征的或者将具有可以被容易地检测到的规则重复图案，使得隔离用户的手108用于图像处理比从房间的典型凌乱中挑选出用户的手108相对容易。

已经发现，将移动设备相机112放置在具有对用户的手108清楚和无遮挡的视图中，对着干净的背景，比如天花板，可以加快处理速度并简化用于解释用户的手108的移动的计算。很容易从移动设备相机112的位置确定用户的手108的形状(诸如指向，抓，平放等)，从而使得图1的显示设备104无需具有用于确定用户的手108的形状的三维相机或其它专用装备；当从前面观看时，将用户的手108的形状确定到高的准确度将需要比简单的边缘或线条检测允许的更多的信息。分割图1的移动设备102和显示设备104之间的处理减少了总的处理时间，因为计算可以在更小的数据集上执行并且还可以并行执行，其中移动设备102和显示设备104中的每一个都看见用户的手108的有用但不同的角度。

现在参考图3，其中示出了在本发明的第二实施例中的自然用户界面系统300。自然用户界面系统300包括移动设备302和显示设备304。在显示设备304的显示屏306的前面示出的是用户的手308。

移动设备302被示为以面朝下的朝向在显示设备304的前面，但是，应该理解，移动设备302也可以是面朝上的。移动设备302的面(face)被定义为移动设备302的主显示屏幕，其在这个例子中是不可见的。移动设备302具有移动设备相机312，其当移动设备302处于面朝下朝向时它面朝上。移动设备相机312的光轴被定义为移动设备相机312面向或“看”的方向。换而言之，移动设备相机312的视野的中心可以是移动设备相机312的光轴。移动设备相机312是视频捕获机制。移动设备相机312可以能够捕捉二维(2D)或三维(3D)图像。移动设备302可以是任何各种电子设备，诸如智能电话、功能电话、启用WiFi的相机、平板电脑或具有相机、处理能力和无线能力的任何设备。

移动设备302还具有闪光灯314，用于照亮移动设备相机312前面的对象。例如，闪光灯314可以用作用于照明的恒定光源或者当用移动设备相机312拍摄照片时用作闪光灯。闪光灯314可以利用任何发光技术操作，诸如白炽灯、发光二极管(LED)、荧光灯、卤素灯或其它类型的光。

显示设备304通过无线连接协议––诸如WiFi、蓝牙、或蜂窝数据协议––与移动设备302配对，并且被示出为面向移动设备302。显示设备304可以具有显示屏306作为用于自然用户界面系统300的主观看屏幕。

显示设备304具有显示设备相机316，其优选地面向与显示设备304的显示屏306相同的方向。显示设备相机316的光轴被定义为显示设备相机316面向或“看”的方向。换而言之，显示设备相机316的视野的中心可以是显示设备相机316的光轴。显示设备304可以是诸如膝上型计算机、多合一桌面计算机、连接到桌面计算机的监视器、平板电脑、TV、智能电话或能够无线连接的其它设备之类的设备。在这个例子中，显示设备304被示为膝上型计算机，但是应当理解，这只是作为例子。

移动设备302和显示设备304可以包含能够执行各种功能的多个模块，诸如，耦合到第一设备配对模块的形状检测模块、耦合到形状检测模块的运动跟踪模块，及耦合到运动跟踪模块的运动转换模块。仅仅移动设备302、仅仅显示设备304、或者移动设备302和显示设备304的组合可以同时或并行地运行这些模块中的一些或全部。

移动设备相机312和显示设备相机316被放置成具有重叠的视野318，其各自的光轴彼此成一角度。例如，移动设备相机312和显示设备相机316的光轴可以是大致地彼此垂直，这与指向平行方向的相机与用于立体三维相机的相机系统截然相反。换句话说，移动设备相机312和显示设备相机316的指向彼此成一角度，使得其光轴创建了重叠的视野3118，从而从相对于重叠视野318中的对象的不同角度捕捉在重叠视野318中的任何对象的图像。

在这个例子中，重叠的视野318通过从移动设备相机312和显示设备相机316中的每一个延伸出去的两条实线表示，其绘出了各自视野的外部延伸的例子。应该理解，所示出的重叠视野318的外部延伸只是作为例子，并且重叠视野318的外部延伸依赖于移动设备相机312和显示设备相机316的能力。用户的手308被示为在移动设备相机312和显示设备相机316的重叠视野318内。由于移动设备相机312和显示设备相机316看到非常不同的用户的手308的视图，因此能够获得关于用户的手308的有关三维位置和运动的信息。

例如，移动设备相机312可以拍摄用户的手308的底部的图像并且容易地检测到前后(相对于显示设备304的显示屏306)和侧向运动。移动设备相机312还可以检测到用户的手308的形状或姿势(比如指向、抓，平放等)。显示设备相机316可以拍摄用户的手308的前面的图像并且可以很容易地检测到上下和侧向方向中的运动。

显示设备相机316也可以从前面检测用户的手308的形状或姿势，以与从移动设备相机312检测到的用户的手308的形状或姿势组合和细化。通过三角测量和相关技术，诸如将来自移动设备相机312和显示设备相机316的侧向运动进行相关，在移动设备302、显示设备304、或移动设备302和显示设备304两者上并行运行的自然用户界面系统300可以计算三维位置和运动信息，而无需使用深度映射或立体技术。

同样作为例子，移动设备302和显示设备304可以装备有陀螺仪、罗盘和/或加速计，以在任何时间确定移动设备302和显示设备304的方位。这允许移动设备302可以被放置在相对于显示设备304的任意角度，只要移动设备相机312具有与显示设备相机316重叠的视野并与其处于某个角度。

例如，如果移动设备302和显示设备304两者都装备有罗盘(电子的或模拟的)和陀螺仪，则观看朝向可以基于罗盘读数和陀螺仪进行同步，使得用户的校准是不必要的。

同样作为例子，如果显示设备304装备有陀螺仪或其它传感器，则可以在确定用户的手308的运动时确定显示设备相机316的角度，并且对其进行补偿。作为另一个例子，在移动设备302中的陀螺仪可以确定何时移动设备302处于面朝下的位置并且自动地发起到显示设备304的无线连接并且初始化自然用户界面系统300，而无需任何来自用户的进一步交互。

已经发现，使移动设备302和显示设备304两者都装备陀螺仪、罗盘和/或加速度提供了更好的用户体验。因为移动设备302和显示设备304的朝向在任何给定时间都是已知的，因此移动设备302可以放置在相对于显示设备304的任意朝向，从而避免需要冗长的校准过程或限制移动设备302必须被如何放置。此外，基于移动设备302的朝向的自动配对还可以去除用户要打开或操作移动设备302上的特定程序的需要，进一步简化了用户体验；所有用户需要做的是将电话以面朝下的朝向放置，以便能够使用自然用户界面系统300。

继续该例子，如由被放置成其各自光轴彼此成一角度并且重叠的移动设备相机312和显示设备相机316确定的用户的手308的姿势和移动可以被转换为光标在显示屏306上的移动。用户的手308的相对移动可以被转换为光标的移动。作为具体例子，光标可以被设置为不移动或不出现，直到用户的手处于特定的形状，比如用一个手指指向屏幕。用户的手上的特定点可以用移动设备相机312和显示设备相机316两者分别进行跟踪，以便确定在3D空间中的移动。运动跟踪转换为光标在显示屏306上的移动也可以通过向量映射结合移动设备302和显示设备304之间的距离的确定来完成。

还继续该例子，移动设备相机312具有用户的手308的视图，其中天花板作为背景。这意味着，由于天花板背景通常很干净，因此，分割、阈值法和以其它方式确定用户的手308的形状是个简单的过程。用户的手308在相对于显示屏306的前向轴上的移动可以，例如，被转换为按钮的按压。作为另一个例子，移动设备302的闪光灯314可以被用来在光线不足的情况下照亮用户的手308。所使用的光例如可以是在可见光的范围内，或者可以是在红外(IR)范围内用于使用而没有用在暗处的明亮光干扰用户的风险。

已经发现，处理来自使其各自的光轴被放置成彼此成一角度并且重叠的移动设备相机312和显示设备相机316的单独的图像集合导致其中用户的手308是主要控制输入的自然用户界面的更快和更容易的三维控制。例如，与其中只从前面看见用户的手308的显示设备相机316相比，从移动设备相机312的底部向上视图中确定用户的手308指向显示屏306，在计算上容易得多。在单独但重叠的视图中分割确定移动的组件只允许有关的数据在移动设备302和显示设备304之间发送，从而进一步降低了计算和带宽负载。

已经发现，无线地配对具有使其各自的光轴被放置成彼此成一角度的移动设备相机312和显示设备相机316的移动设备302和显示设备304允许创建可以通过自然手的运动而无需专用硬件被容易地设置和控制的近距离的用户界面。移动设备相机312和显示设备相机316可以是简单的2D相机，而没有3D或广角相机硬件的复杂性。显示设备304可以是从TV到膝上型计算机到平板电脑的任何一种，典型的用户将拥有其中的至少一种，并且移动设备302可以仅仅是几乎任何人都将拥有的电话，因此将不需要任何用户获得附加的硬件。此外，由于设备将同步朝向并且可以在移动设备302和显示设备304之间传递有关的信息，因此用户的校准是不必要的，从而简化了自然用户界面系统300的设置和使用。

现在参考图4，其中示出了在本发明还有的实施例中的自然用户界面系统100的操作方法400的流程图。方法400包括：在方框402，提供具有显示屏和显示设备相机的显示设备；在方框404，提供具有移动设备相机的移动设备，移动设备相机的光轴被放置成与显示设备相机的光轴成一角度；在方框406，将移动设备与显示设备配对；在方框408，检测用户的手；在方框410，确定用户的手的姿势和移动；并且在方框412，将用户的手的姿势和移动转换为用于控制在显示屏上的用户界面的元素的手势。

所得到的方法、过程、装置、设备、产品和/或系统直接明了、具有成本效益、不复杂、高通用性且有效，能够通过采用已知的技术令人吃惊地和隐藏地实现，并因此容易地适于高效且经济地制造自然用户界面系统/与常规的制造方法或过程和技术完全相兼容。

本发明的另一个重要方面是它有价值地支持并服务于降低成本、简化系统和提高性能的历史趋势。

本发明的这些和其它有价值的方面因此使技术状态前进到至少新的水平。

虽然已经结合特定的最佳模式对本发明进行了描述，但是应当理解，鉴于前面的描述，许多替代、修改和变化对本领域技术人员来说将是显然的。因此，属于所附权利要求范围之内的所有这些替代，修改和变化都要包括在内。至此，在附图中阐述或示出的所有事项都要以说明性和非限制性的意义进行解释。

Claims (19)

1.一种操作自然用户界面系统的方法，包括：

提供具有显示屏和显示设备相机的显示设备，所述显示设备还具有罗盘和陀螺仪；

提供具有移动设备相机的移动设备，所述移动设备还具有罗盘和陀螺仪，所述移动设备相机的光轴被放置成与所述显示设备相机的光轴成一角度；

将所述移动设备与所述显示设备配对；

基于所述显示设备和所述移动设备的陀螺仪和罗盘读数对所述显示设备相机和所述移动设备相机的观看朝向进行同步，以同步所述显示设备相机和所述移动设备相机的视角；

用所述显示设备相机和所述移动设备相机检测用户的手；

基于由所述显示设备相机和所述移动设备相机检测的手的图像来确定所述用户的手的姿势和移动；及

将所述用户的手的姿势和移动转换为用于控制在所述显示屏上的用户界面的元素的手势。

2.如权利要求1所述的方法，还包括基于所述移动设备的朝向相对于所述显示设备的朝向而旋转所述移动设备相机的视角。

3.如权利要求1所述的方法，还包括：

检测用户的面部；

从用户的面部确定视线向量；及

利用所述视线向量细化光标在所述显示屏上的移动。

4.如权利要求1所述的方法，其中确定所述用户的手的姿势和移动包括：

用所述移动设备相机确定所述用户的手的前后运动和侧向运动；

用所述显示设备相机确定所述用户的手的上下和侧向运动；

用所述移动设备相机和所述显示设备相机确定所述用户的手的姿势；及

通过将由所述移动设备相机和所述显示设备相机确定的所述用户的手的运动进行相关来确定所述用户的手在三维空间中的姿势和移动。

5.一种操作自然用户界面系统的方法，包括：

提供具有显示屏和显示设备相机的显示设备，所述显示设备还具有罗盘和陀螺仪；

提供具有移动设备相机的移动设备，所述移动设备还具有罗盘和陀螺仪，所述移动设备相机的光轴被放置成与所述显示设备相机的光轴成一角度；

将所述移动设备与所述显示设备配对；

基于所述显示设备和所述移动设备的陀螺仪和罗盘读数对所述显示设备相机和所述移动设备相机的观看朝向进行同步，以同步所述显示设备相机和所述移动设备相机的视角；

用所述移动设备相机和所述显示设备相机检测用户的手；

基于由所述显示设备相机和所述移动设备相机检测的手的图像来确定所述用户的手的姿势和移动；

将所述用户的手的姿势和移动转换为用于控制在所述显示屏上的用户界面的元素的手势；

检测用户的面部；

从所述用户的面部确定视线向量；及

利用所述视线向量细化光标在所述显示屏上的移动。

6.如权利要求5所述的方法，其中用所述移动设备相机检测用户的手包括：

确定黑暗情况；及

基于所述黑暗情况激活所述移动设备的闪光灯用于照明所述用户的手。

7.如权利要求5所述的方法，其中将所述移动设备与所述显示设备配对包括：

确定所述移动设备的面朝下朝向；及

自动地发起所述移动设备和所述显示设备之间的无线连接。

8.如权利要求5所述的方法，其中提供移动设备包括将所述移动设备相机和所述显示设备相机放置为具有重叠的视野。

9.如权利要求5所述的方法，其中用所述移动设备相机检测用户的手包括针对作为背景的天花板检测所述用户的手。

10.一种自然用户界面系统，包括：

具有显示屏和显示设备相机的显示设备，所述显示设备还具有罗盘和陀螺仪；

具有移动设备相机的移动设备，所述移动设备还具有罗盘和陀螺仪，所述移动设备相机的光轴被放置成与所述显示设备相机的光轴成一角度；其中：

所述移动设备包括第一设备配对模块，用于将所述移动设备与所述显示设备配对；

所述显示设备相机和所述移动设备相机的观看朝向是基于所述显示设备和所述移动设备的陀螺仪和罗盘读数进行同步的，以同步所述显示设备相机和所述移动设备相机的视角；

所述移动设备相机和所述显示设备相机用于：

检测用户的手，及

基于由所述显示设备相机和所述移动设备相机检测的手的图像来确定所述用户的手的姿势和移动；及

所述显示设备包括运动转换模块，用于将所述用户的手的姿势和移动转换为用于控制在所述显示屏上的用户界面的元素的手势。

11.如权利要求10所述的系统，其中所述移动设备包括视图同步模块，用于基于所述移动设备的朝向相对于所述显示设备的朝向而旋转所述移动设备相机的视角。

12.如权利要求10所述的系统，其中：

所述显示设备相机用于检测用户的面部；及

所述显示设备包括：

耦合到运动转换模块的视线检测模块，用于从所述用户的面部确定视线向量；及

耦合到所述视线检测模块的移动细化模块，用于利用所述视线向量细化光标的移动以用于在所述显示屏上显示。

13.如权利要求10所述的系统，还包括耦合到所述第一设备配对模块的形状检测模块，用于用所述移动设备相机检测所述用户的手。

14.如权利要求10所述的系统，其中：

所述移动设备相机用于确定所述用户的手的前后运动、所述用户的手的侧向运动和所述用户的手的姿势；

所述显示设备相机用于确定所述用户的手的上下和侧向运动，并且用于确定所述用户的手的姿势；及

所述显示设备用于通过将由所述移动设备相机和所述显示设备相机确定的所述用户的手的运动进行相关来确定所述用户的手在三维空间中的姿势和移动。

15.如权利要求10所述的系统，还包括：

耦合到所述第一设备配对模块的形状检测模块，用于用所述移动设备相机检测所述用户的手；

其中，所述显示设备相机用于检测用户的面部、确定所述用户的手的上下和侧向运动，并且用于确定所述用户的手的姿势；

所述移动设备相机用于确定所述用户的手的前后运动和侧向运动，并且用于确定所述用户的手的姿势；及

所述显示设备用于通过将由所述移动设备相机和所述显示设备相机确定的所述侧向运动进行相关来确定所述用户的手在三维空间中的姿势和移动，所述显示设备包括：

耦合到所述运动转换模块的视线检测模块，用于从所述用户的面部确定视线向量，及

耦合到所述视线检测模块的移动细化模块，用于利用所述视线向量细化光标的移动以用于在所述显示屏上显示。

16.如权利要求15所述的系统，其中：

所述移动设备相机用于确定黑暗情况；及

所述移动设备包括闪光灯，用于基于所述黑暗情况照明所述用户的手。

17.如权利要求15所述的系统，其中：

所述移动设备包括用于确定所述移动设备的面朝下朝向的陀螺仪；及

所述第一设备配对模块用于自动地发起所述移动设备和所述显示设备之间的无线连接。

18.如权利要求15所述的系统，其中所述移动设备相机的光轴被放置成与所述显示设备相机的光轴成一角度包括所述移动设备相机和所述显示设备相机具有重叠的视野。

19.如权利要求15所述的系统，其中所述形状检测模块用于针对作为背景的天花板检测所述用户的手。