CN102279670A

CN102279670A - 基于手势的人机界面

Info

Publication number: CN102279670A
Application number: CN2011101150712A
Authority: CN
Inventors: D·L·S·吉蒙兹; N·P·奥兹; P·S·塔皮亚; D·E·卡姆皮罗
Original assignee: Boeing Co
Current assignee: Boeing Co
Priority date: 2010-06-09
Filing date: 2011-04-28
Publication date: 2011-12-14
Anticipated expiration: 2031-04-28
Also published as: JP2016076275A; JP5878698B2; US9569010B2; JP2011258195A; US20110304650A1; EP2395413B1; EP2395413A1

Abstract

本发明涉及基于手势的人机界面，例如用于控制在计算机上执行的程序的图形化用户界面。用户的手势被监测并且提供基于检测到的手势的响应。物体被用来指向显示在屏幕上的信息。不仅响应于对物体指向何处的确定而且响应于对物体离屏幕的距离的确定，显示在屏幕上的信息被修改。

Description

基于手势的人机界面

技术领域

本发明涉及基于手势的人机界面，例如可用于控制在计算机上执行的程序的图形化用户界面。尽管适合于很多类型的程序，不过特别感兴趣于控制一个或更多个无人飞行器的飞行的程序。

背景技术

人机界面已经在过去的数十年发生了很大的改变。即使在计算机控制的较窄领域中，界面已经从命令行演变成要求使用鼠标或类似指点装置以便选择显示给用户的图标的图形化用户界面。

最近以来，触摸屏装置已经开始流行。当触摸屏装置开启基于手势控制的可能性时，允许多点输入的触摸屏装置特别有利。苹果的iPhone(TM)是触摸可被用来选择项目、向上或向下滚屏、放大或缩小并旋转项目的较好示例。例如，屏幕倾向于具有较慢的反应时间、较差的精确性和较差的可靠性，而频繁使用触摸屏导致残余物和灰尘的积累，残余物和灰尘导致进一步的性能退化。

通过避免接触屏幕，避免触摸屏装置的一些问题的系统已经被提出。代之，用户的手势被监测，并且提供基于检测到的手势的响应。例如，监测用户的手的系统已经被提出，使得用手产生的手势被用来选择、滚动、变焦、旋转等，类似于依赖于触摸屏幕的现有系统。

发明内容

在此背景下，本发明属于通过基于手势的人机界面使用计算机系统的方法。该方法包括使用物体指向显示在计算机系统的屏幕上的信息，并用至少两个照相机捕捉屏幕前的景象。处理器被用来分析用照相机捕捉的景象以识别物体，以确定物体指向在屏幕上的何处和物体离屏幕的距离。之后，处理器响应于物体指向何处和物体离屏幕的距离的确定来修改显示在屏幕上的信息。

以此方式，可以避免触摸屏的缺点。此外，可以利用关于物体离屏幕多远的信息。这个信息可以以不同的方式被使用。例如，可通过放大物体指向的屏幕部分来改变显示在屏幕上的信息，放大率取决于从屏幕到物体所确定的距离。因此，靠近屏幕的指点可以被用来提供比在更远处的指点更大的放大率。可以设定限值，使得比某距离更远的指点产生一致的放大率，而在距屏幕设定距离处放大率到达最大值。这些距离之间的放大率如何变化可以被控制，如，它可以线性地或按指数规律地变化。

该方法可以包括追踪物体的移动以确定物体指向屏幕上的何处。该方法可以包括确定物体的纵向伸展以确定物体指向屏幕上的何处。这两个可选的特征可以被用作可替换方案或者它们可以被用来相互增强。

通过确定在一段时间内物体离屏幕的距离，物体移动的速度可以被确定。这个速度可以被用作对显示在屏幕上的信息的进一步的控制。物体向屏幕的快速移动可以被解释得与物体向屏幕的逐渐移动不同。例如，逐渐移动可以被解释为单击，而快速移动可以被解释为双击。

可选地，该方法可以包括用两个物体指向显示在计算机系统的屏幕上的信息，并用至少两个照相机捕捉屏幕前面的景象。处理器可以被用来分析照相机所捕捉的景象以识别物体，从而确定物体指向屏幕上的何处和物体离屏幕的距离。之后，处理器响应于物体指向屏幕上何处和物体离屏幕的距离的确定来修改显示在屏幕上的信息。这允许进一步的功能。例如，该对物体可以被用来独立地与屏幕上的不同控制交互作用，以调节音量控制并在某一区域上放大。这两个物体还可以一起被使用。可以用物体操作显示在屏幕上的图像，例如通过旋转物体。例如，使左边的物体向屏幕移动并使右边的物体远离屏幕移动可以引起图像绕竖直轴线顺时针方向旋转，并且使上面的物体向屏幕移动并使下面的物体远离屏幕移动可以引起图像绕水平轴线旋转，根据物体的相对对齐和物体之间的相对移动也可以存在其它旋转。

很多不同的物体可以被用来指在屏幕上。例如，物体可以是用户的手。优选地，物体可以是用户的手的伸展的手指。之后，手指的指尖可以是被用来确定离屏幕的距离的点。手指伸展(extension)可以被用来确定用户指向屏幕上的何处。

本发明还在于包括基于手势的人机界面的计算机系统。该计算机系统包括：(a)可被操作来显示信息的屏幕，(b)被布置成捕捉屏幕前面的景象的至少两个照相机，和(c)处理器。处理器被布置成接收照相机提供的图像并分析图像，以识别指向显示在屏幕上的信息的物体。处理器还被布置成确定物体指向屏幕上的何处和物体离屏幕的距离。处理器还被布置成响应于物体指向何处和物体离屏幕的距离的确定来修改显示在屏幕上的信息。

可选择地，处理器被布置成追踪物体的移动以确定物体指向屏幕上的何处。此外或可替换地，处理器可以被布置成确定物体的纵向伸展，以确定物体指向屏幕上的何处。处理器可以被布置成放大物体指向的屏幕部分来改变显示在屏幕上的信息，放大率取决于从屏幕到物体所确定的距离。如以上关于发明的方法所述的，两个物体可以被用来修改显示在屏幕上的信息。物体可以是用户的手，例如用户的手的伸展的手指。

附图说明

为了使发明更容易被理解，仅通过示例参考附图，其中：

图1是简化视图的透视图，其示出了根据本发明的实施例的包括人机界面的系统，该系统包括两个并排的屏幕和四个照相机；

图2是从用户视角观察的屏幕的透视图，其示出了用户通过指按钮来选择显示在屏幕上的按钮；

图3a到图3d是系统的示意俯视图，其示出了根据本发明的人机界面的实施例，该系统包括屏幕和一个或更多个照相机，示出了照相机的视场如何结合；

图3e到图3h是图3a到图3d中示出的系统的示意正视图，图3e、图3f、图3g和图3h分别对应于图3a、图3b、图3c和图3d；

图4是示出根据本发明的人机界面的实施例的系统的示意图；以及

图5a到图5c是屏幕的简化正视图，其示出了根据本发明的由人机界面的实施例提供的变焦设备。

具体实施方式

图中示出了包括基于手势的人机界面的计算机系统10。计算机系统10包括被驱动来显示信息的一个或更多个屏幕12。信息的显示可以由用户通过用他的或她的手14在屏幕12前面做手势来控制。这些手势用被布置在屏幕12周围的四个照相机16记录。分析照相机16捕获的图像以确定用户的手14的三维位置并追踪手14的移动。手14的移动通过计算机系统10解释，例如以识别对应于显示在屏幕12上的图标选择或放大显示在屏幕12上的区域。计算机系统10响应于这些手势来改变显示在屏幕12上的信息。图2示出了用户将食指18向前朝显示在屏幕12上的按钮20移动的示例。这个移动模仿用户按压按钮20，并且计算机系统10将此解释为用户选择按钮20。这可以引起计算机系统10在屏幕12上显示新的图像。

尽管可以使用任意数量的屏幕12，不过图1和图2示出了使用两个并排的屏幕12的计算机系统10。用户的手臂22被示意性地示出在屏幕12的前方。手臂22的移动由被布置在屏幕12的四个外角处并朝向屏幕12的中心的四个照相机16捕获。因此，当用户的手14在屏幕12的前面移动时，照相机捕捉用户的手14的移动。使用四个照相机16能够建立屏幕12前面的空间的三维图。因此，在x、y、z坐标系统中，物体的位置(例如用户的手指18的指尖)可以被确定。在图1和图3中指示了这些坐标轴。根据所有三个x、y、z轴的空间信息可以被用在人机界面中。

图3a到图3h示出了每个照相机16的视场24如何结合以提供空间体积，在其中计算机系统10能够确定物体的位置。照相机16是相同的，并且也具有相同的视场24。图3a和图3e分别是单个屏幕12的平面图和正视图，其仅示出了单个照相机16(为了清楚，照相机16被示意性地示为圆点)。因此，它们较好地示出了从每个照相机16获得的视场24。图3b和图3f分别是同一屏幕12的平面图和正视图，这次示出了被布置在屏幕12的右手边缘上的两个照相机16。这个图示出了两个照相机16的视场如何结合。图3c和图3g是屏幕12的平面图和正视图，示出了所有四个照相机16和它们的视场24。如果物体被捕捉在至少两个照相机16的视场24以内，则物体在屏幕12前面的位置可以被确定。因此，无论在图3c和图3g内的何处存在视场24的重叠，物体的位置可以被确定。有用的核心区26被示出在图3d和图3h中，在该核心区中可以确定物体的位置。

图4更详细地示出了计算机系统10。计算机系统10具有作为其集线器(hub)的计算机40。计算机40可以包括很多不同的部分，例如主处理器42、其中包括储存在其内的程序的存储器，例如用于类似于屏幕12的外围设备的驱动器和用于操作类似于屏幕12的外围设备的卡。

如所见的，输入端(feed)44将四个照相机16连接到图像处理器46。图像处理器46可以是主处理器42的一部分，或者图像处理器46可以被提供为单独的处理器。无论是两者中的哪一种形式，图像处理器46都接收来自照相机16的图像。图像处理器46使用通常可用的软件来处理图像以改善它们的质量。例如，可以改善亮度、对比度和清晰度以使得产生更高质量的图像。被处理的图像被传到主处理器42。储存在存储器中的图像分析软件由主处理器43检索到并运行，以分析处理的图像，从而确定用户指向屏幕12上的何处。应当知道，这种图像分析软件是常用的。

一旦主处理器42已经确定用户指向屏幕上的何处，主处理器42确定屏幕12上呈现出的图像是否需要改变。如果确定需要，则主处理器42产生必要的信号以引起显示在屏幕12上的信息的必要改变。这些信号被传到屏幕驱动器/卡48，屏幕驱动器/卡48提供被供应到屏幕12的当前信号。

如图4所示，计算机40可包括用于接收来自屏幕12的触摸屏输入的输入装置50，即，意味着允许用户通过触摸屏幕12来选择显示在屏幕12上的图标。提供这个特征在某些情况下可能是有用的。例如，关键的选择可能要求用户触摸屏幕12作为进一步的步骤，以确保用户确定他们想做出那个选择。例如，这可以被用于引起系统紧急关闭的按钮：此动作明确是极端情况并且要求用户触摸屏幕12可以反映这一点。因此提供输入装置50。

如以上提及的，主处理器42得到由图像处理器46提供的仍被处理的图像，并分析这些图像以确定用户是否指向屏幕12。这可以用常规的图像识别技术(例如使用被用来识别与具有伸向一个屏幕12的食指18的手14相关的形状的软件)来进行。之后主处理器42确定手指18指向屏幕12上的何处。主处理器42可以针对一只手发挥此功能或针对被认为适当的多只手来发挥此功能。例如，主处理器42可以针对指在屏幕上的所有手来对其进行确定。后面的说明针对单个手指18的示例，如将被逐步理解的，对于被期望或者被确定指在屏幕12上的多个手指18，该方法可以被重复。

主处理器42如何确定手指18指在屏幕12上的何处可以以不同的方式进行。

在一个实施例中，主处理器42识别食指18的指尖在x、y、z坐标系统内的位置。这可以通过对被四个照相机16捕获的图像进行三角测量来进行。在根据一组四个图像识别了食指18的指尖的位置后，下一组四个图像可以以相同的方式被处理，以便确定食指18的指尖的下一个位置。以此方式，食指18的指尖可以被追踪，并且如果它的运动继续，那么它的移动随时间重复向前以确定它将碰屏幕12的位置。

在可替换的实施例中，图像被分析以确定食指18的伸展(extension)和手指18指向的方向。当然，这个技术可以与例如以上描述的实施例相结合，以识别何时手指18沿着它指向的方向移动，因为这可以被解释为手指18“按压”显示在屏幕12上的物体。

图5a到图5c示出了根据本发明所提供的变焦设备的实施例。提供侧边有四个照相机16的单个屏幕12，每个都已经被描述过。照相机16和屏幕12被连接到计算机系统10，如之前描述的，计算机系统10操作以提供基于手势的人机界面。

在图5a到图5c中所示的示例中，屏幕12显示了图80和相关信息。屏幕12的顶部具有标题信息82，一列四个可选按钮84设在屏幕12的左手边缘。按钮84可以带有文本86以表示可以选择的新的信息屏或改变显示在图80上的信息。图80占据了屏幕12的大部分并且被布置为偏向屏幕12的右下方。图80将飞机88示为具有说明其当前飞行方向的箭头的圆点。识别飞机88的信息还可以被显示在圆点旁边，如90处所示。进一步的信息被提供在沿图80的底部边缘的一行框92中。

用户可能想放大例如图80上的感兴趣的飞机88，以例如更详细地示出显示在图80上的地理信息。为了这么做，用户可以指向一个按钮84以选择缩放模式，并且之后可以指向图80上的感兴趣的飞机88。如图5b和图5c所示，这引起用户指向的区域以更大的放大率被显示在圆94中。圆94被显示为覆盖在背景图80上。如本领域中已知的，变焦的圆94的边缘和背景图80在需要时可以合并。为了调节放大率因子，用户仅使他或她的食指18向着或远离屏幕12(即在z方向上)移动。将食指18移向屏幕导致更大的放大率。

因此，用户的手指18的x、y位置被用来确定图80上被放大的区域，手指18的z位置被用来确定放大率。Z位置的上限值和下限值可以被设置成对应于上限放大率因素和下限放大率因素。例如，放大率可以设置成1，而用户的指尖18至少是离屏幕12的某距离(如，30厘米)。而且，离屏幕的最小间隔(如，5厘米)可以被设置为最大放大率，使得如果用户的手指18比5厘米更近地靠近屏幕12，放大率不再增加。可以根据需要选择这些距离之间的放大率如何变化。例如，放大率可以随距离线性地变化或者它可以遵循一些其它的关系，例如指数关系。

图5b和图5c反映了如下情况，即用户从图5b中的开始位置将他们的食指18移动得更靠近屏幕12同时指在感兴趣的飞机88处，使得放大率增加，如图5c所示。和朝向屏幕12移动一样，用户横向移动他们的手指18，则放大率将增加并且放大的区域将移动以跟随手指18的横向移动。

如本领域中的技术人员将意识到的，可以对上述实施例进行修改，而不脱离于由随附的权利要求限定的本发明的范围。

例如，屏幕12的数量可以从一到任意数自由变化。此外，屏幕12的类型可以改变。例如，屏幕12可以是像等离子屏幕、LCD屏幕、OLED屏幕的平屏幕，或者它可以是电子射线管或仅是图像被投射到其上的表面。当使用多个屏幕12时，他们不需要共同的类型。尽管CCD照相机是优选的，但使用的照相机16的类型还可以变化。照相机16可以用可见光操作，但可以使用其它波长的电磁辐射。例如，红外线照相机可以被用在低光条件下。

软件可以被设置为监测任何物体并确定从屏幕12选择什么物体。例如，上文描述的用户的手指18。可替换地，可以使用例如棒状物或棍的指点装置。

本发明可以被用来非常有效地访问被布置成树状结构的菜单。例如，手指18可以指向屏幕12上呈现出的按钮或菜单选项以在屏幕12上产生新的信息显示。之后，用户可以移动它们的手指18以指向另一个按钮或菜单选项以在屏幕12上产生另一个新的信息显示，等等。因此，通过仅移动手指18使得它指向屏幕12的不同部分，允许用户非常快速地巡览树形菜单结构。

例如可以通过追踪手指18的指尖来连续确定用户的手指18的位置。这能够使手指18的移动速度被确定。这个速度之后可以被用来控制屏幕12上的信息。例如，朝向屏幕12移动的速度可以被使用，使得逐渐移动引起与快速移动不同的反应。还可以使用横向移动，使得不同的速度产生不同的结果。例如，较慢的横向移动可以引起显示在屏幕12上的物体在屏幕内来回移动，即，从左到右较慢移动可以将物体从中心位置移动到屏幕12的右手边缘上的位置。相反，快速移动可也引起物体从屏幕12被移除，即，从左到右快速移动可以引起物体飞出屏幕12的右手边缘。

如上提及的，主处理器42可以监测多于一个类似于用户手指18的物体。这能够使多个物体被用来控制屏幕12上的信息。一对物体可以被用来与屏幕上的不同控制独立地交互，例如以调节选择新项目并改变与选择的项目相关的信息的类型。两个物体还可以一起使用。显示在屏幕上的图像可以用两个手14操作。显示在屏幕12上的物体可以旋转。例如，用户可以将他们的手放在相同的高度，每个手的手指18指向显示在屏幕12上的物体的左手和右手边缘。通过使左手14向屏幕12移动并使右手14远离屏幕12移动，可以使物体绕垂直轴线顺时针旋转。如果一个手14放在另一个手上，物体可以绕水平轴线旋转。旋转轴线可以被限定为对应于手指18的指尖之间的线。

Claims

1.一种通过基于手势的人机界面使用计算机系统的方法，所述方法包括：

使用物体指向显示在所述计算机系统的屏幕上的信息；

用至少两个照相机来捕获所述屏幕前面的景象；

使用处理器来分析由所述照相机捕获的所述景象以识别所述物体，以便确定所述物体指向所述屏幕上的何处和所述物体离所述屏幕的距离，并且响应于对所述物体指向何处和所述物体离所述屏幕的距离的确定，修改显示在所述屏幕上的所述信息。

2.根据权利要求1所述的方法，其包括追踪所述物体的移动以确定所述物体指向所述屏幕上的何处。

3.根据权利要求1所述的方法，其包括确定所述物体的纵向伸展以确定所述物体指向所述屏幕上的何处。

4.根据权利要求1所述的方法，其进一步包括通过以某一放大率使所述物体指向的所述屏幕的部分放大来修改显示在所述屏幕上的所述信息，该放大率取决于所述物体离所述屏幕的被确定的所述距离。

5.根据权利要求2所述的方法，其包括确定在一段时间所述物体离所述屏幕的距离并由此确定所述物体的移动速度，并响应于对所述物体朝向或远离所述屏幕移动的速度的确定，使用所述处理器来修改显示在所述屏幕上的所述信息。

6.根据权利要求3所述的方法，其包括在一段时间所述物体指向所述屏幕上的何处和确定所述物体在所述屏幕前面从该处横向移动的速度，并响应于对所述物体移动速度的确定，使用所述处理器来修改显示在所述屏幕上的所述信息。

7.根据权利要求6所述的方法，其包括使用所述处理器来根据所述物体的不同移动速度不同地修改显示在所述屏幕上的所述信息。

8.根据权利要求1所述的方法，其包括使用两个物体来指向显示在所述计算机系统的所述屏幕上的信息，使用所述处理器来：识别所述物体；确定所述物体指向所述屏幕上的何处和所述物体离所述屏幕的距离；并响应于对所述物体指向何处和所述物体离所述屏幕的距离的确定来修改显示在所述屏幕上的所述信息。

9.根据权利要求5所述的方法，其中所述物体是用户的手的伸展的手指。

10.一种包括基于手势的人机界面的计算机系统，所述系统包括：

可操作以显示信息的屏幕；

至少两个照相机，其被布置成捕获所述屏幕前面的景象；以及

处理器，其被布置成接收由所述照相机提供的图像，分析所述图像以便识别指向显示在所述屏幕上的信息处的物体，确定所述物体指向所述屏幕上的何处和所述物体离所述屏幕的距离，并响应于对所述物体指向何处和所述物体离所述屏幕的距离的确定来修改显示在所述屏幕上的所述信息。

11.根据权利要求10所述的计算机系统，其中所述处理器被布置成追踪所述物体的移动以确定所述物体指向所述屏幕上的何处。

12.根据权利要求11所述的计算机系统，其中所述处理器被布置成确定所述物体的纵向伸展以确定所述物体指向所述屏幕上的何处。

13.根据权利要求12所述的计算机系统，其中所述处理器被布置成确定所述物体的移动速度并响应于对所述移动速度的确定来修改显示在所述屏幕上的所述信息。

14.根据权利要求11所述的计算机系统，其中所述处理器被布置成以某一放大率使所述物体指向的所述屏幕的部分变焦，该放大率取决于所述物体离所述屏幕的被确定的所述距离。

15.根据权利要求11所述的计算机系统，其中所述物体是用户的手的伸展的手指。

16.一种基于手势的计算机系统的人机界面，所述界面包括：

可操作以显示信息的屏幕；

处理器，其被布置成接收由所述照相机提供的图像，分析所述图像以便识别指向显示在所述屏幕上的信息处的物体，确定所述物体指向所述屏幕上的何处和所述物体离所述屏幕的距离，并响应于对所述物体指向何处和所述物体离所述屏幕的距离的确定来修改显示在所述屏幕上的所述信息；其中所述处理器被布置成确定所述物体的移动速度并响应于对所述移动速度的确定来修改显示在所述屏幕上的所述信息。

17.根据权利要求16所述的界面，其中所述处理器被布置成以某一放大率使所述物体指向的所述屏幕的部分变焦，该放大率取决于所述物体离所述屏幕的被确定的所述距离。

18.根据权利要求17所述的界面，其中所述物体是用户的手的伸展的手指。

19.根据权利要求16所述的界面，其中所述处理器被布置成确定所述物体的纵向伸展以确定所述物体指向所述屏幕上的何处。