CN1639673A - 用于基于姿态的用户界面的方法和设备 - Google Patents

Abstract

一种提供在显示器上的用户界面。所述显示器向用户提供多个选项。将处理器可操作地耦合到显示器，以便在一定时间周期内连续地高亮显示多个选项的每一个。在高亮显示期间，所述处理器从图像输入设备那里接收一个或多个用户图像，并且确定在一个或多个图像中是否包含来自于用户的选择姿态。当在一个或多个图像中包括选择姿态时，处理器执行由高亮显示的选项确定的动作。

Description

用于基于姿态的用户界面的方法和设备

本发明总体上涉及一种用于帮助用户与设备或者其他可操作地耦合的设备进行交互的方法和设备。具体来讲，本发明涉及一种用户界面，所述用户界面利用姿态作为设备的用户输入模式。

现存有很多系统，这些系统利用计算机视觉系统来获得用户图像，以便进行用户输入功能。在已知的系统中，用户可以指向显示器上的多个选项之一。使用诸如单个图像照相机或运动图像照相机这类的一个或多个图像获取设备的系统，获得指向多个选项之一的一个或多个用户图像。利用这一个或多个图像，所述系统可以确定指向的角度。然后，所述系统利用指向的角度和所确定的距离以及高度数据来确定用户指向多个选项中的哪一个。

由于系统必须准确地知道选项在显示器上的位置以便确定所想要的选项，所以在精确确定所想要的选项方面，这些系统都具有问题。然而，这些选项的位置因显示设备尺寸的不同而有所变化。据此，所述系统必须为每个显示尺寸而被专门地编程，或者必须将尺寸选择作为安装程序的一部分。

此外，这些已知的系统在精确确定指向的准确角度、高度等等方面存在问题，这些方面需要进行可靠的确定。为了解决现有技术中的这些已知缺陷，众所周知的是将多个选项散布在显示器上，以便可以从不可靠的所确定的数据中、更加容易地识别特定选择。然而，在较小的显示器上，未必有足够的显示区来足够地散布这些选项。其他已知的系统在初次指向条目选择之后使用确认姿态。例如，在用户已经进行指向条目选择之后，可以利用诸如翘拇指姿态之类的姿态来确认特定选择。此外，识别所选择的选项的问题仍然存在。

据此，本发明的目的在于克服现有技术的所述缺点。

本发明是一种具有视频显示设备以及图像获取设备的系统，所述视频显示设备诸如是电视机、处理器，而所述图像获取设备诸如是单个图像或运动图像照相机。所述系统在显示器上提供可视用户界面。在操作中，所述显示器向用户提供多个选项。所述处理器可操作地与所述显示器耦合，以便在一定时间周期内连续地高亮显示许多选项的每一个。在高亮显示期间，处理器从照相机接收一个或多个用户图像，并且确定所述一个或多个图像中是否包含来自于用户的选择姿态。

当一个或多个图像中包含选择姿态时，处理器执行由高亮显示的选项确定的动作。当一个或多个图像中不包含选项时，处理器高亮显示随后的选项。照此，提供了用于引导用户输入的稳固系统，由此克服了现有技术系统中存在的缺点。

以下说明本发明的实施例，当结合以下附图进行描述时，将示范上述特征和优点以及其他方面。应该清楚理解的是，所述附图和以下实施例是出于举例说明的目的而记载的，这不代表本发明的范围，本发明的范围由所附权利要求书来限定。结合附图能够更好的理解本发明，其中：

图1示出了依照本发明实施例的例证性的系统；以及

图2示出了举例说明依照本发明实施例的操作流程图。

在下面的论述中，对于特殊的实施例或者系统，说明性地使用了某些术语，以便于论述。正如本领域普通技术人员显而易见的那样，应该将这些术语理解为包含可以容易地应用本发明的其他相似的已知术语以及实施例。

图1示出了依照本发明实施例的说明性的系统100，该系统包括可操作地与处理器120相耦合的显示器110。为了简化依照本发明的操作，将处理器120可操作地与诸如照相机124的图像输入设备相耦合。使用照相机124捕获来自于用户140的选择姿态。具体来讲，依照本发明，系统100使用说明性地显示为选择姿态144的选择姿态来确定用户想要多个选项中的哪个，正如将要在下面进一步说明的那样。

应该理解的是，在此使用的术语选项、选择特征等等用于描述任何类型的用户输入操作，而不管用户输入的目的如何。这些选项可以因为任何目的而被显示，所述目的包括命令和控制特征、交互特征、偏爱确定等等。

此外，将就图2在此描述本发明的操作，其中图2示出了依照本发明实施例的流程图200。如图所示，在步骤205期间，系统100识别用户想要的或者用户要求的用户选择特征。

现有技术中存在很多已知的方式来激活选择特征。例如，用户可以按下位于遥控(未示出)上的按钮。用户可以按下位于显示器110上或者位于其他可操作地耦合的设备上的按钮。用户可以使用音频指示或者来自于用户的特定姿态来激活选择特征。下面将进一步地给出姿态识别系统的操作。为了简化音频指示作为激活选择特征的方式的使用，还可以将处理器可操作地与诸如麦克风122的音频输入设备相耦合。可以使用麦克风122来捕获来自于用户140的音频指示。

通过先前的步骤或者连续的步骤，系统100可以在没有用户进一步的干涉的情况下提供选择特征。例如，当首次打开设备时、或者自先前的动作或者选择(例如，像子菜单)之后的一些动作之后，系统100可以提供选择特征。此外，系统100还可以利用照相机124以及所获取的图像或者照相机124面前区域的图像，检测该系统面前是否存在用户。在这个实施例中，照相机面前存在用户可以启动选择特征。除非所附权利要求书具体要求，否则，不应该将上述方法理解为对本发明的限制。

可以使用任何一种方法来激活选择特征，在步骤210中，系统向用户提供了多个选项。可以将这些选项一齐提供在显示器110上，或者可以将一个或多个选项按照组提供给用户。

滑动或者滚动选项标识是可以将一个或多个选项按照组提供的系统范例。另外，一个或多个选项组可以简单地弹出或者出现在显示器110的一部分上。在显示技术中，存在许多其他已知的实施方式来将选项提供到显示器上。应该将这些方式的每一种都理解为依照本发明的操作。

无论以何种方式将选项提供给用户，在步骤220中，系统100在一定时间周期内高亮显示多个选项中特定选项。应该将这里所使用的术语高亮显示理解为包含任何方式，其中系统100向用户140表明：应该在一特定时间考虑的多个选项的特定选项。

对于将多个选项同时全部提供给用户的系统来说，系统100可以实际上提供高亮显示效果。所述高亮显示效果例如可以在特定选项的背景色彩方面、或者多个选项互相之间进行变化。在一个实施例中，高亮显示可以是这样一种形式，其中改变选项的显示特性，诸如在特定选项或者多个选项彼此之间的色彩、尺寸、字体等等方面变化。

在将多个选项连续地提供给用户的系统中，诸如在上述的滚动标识显示过程中，可以简单地将高亮显示按照选项显示顺序来提供。例如，在一个实施例中，当先前显示的选项从显示器上消失时，可以在显示器上滚动一个选项。此后，在一段时间内，显示器上只有一个选项是可见的。照此，事实上，通过那时只有一个选项可见来提供高亮显示。在另一个实施例中，可以将高亮显示简单地规定为滚动列表的最后一个出现的选项，其中一个或多个先前的选项仍然可见。

在又一个实施例中，系统100可以具有可操作地与处理器120相耦合的扬声器128，以用于口头地高亮显示特定选项。在此实施例中，可以操作处理器120来综合生成多个选项的每个特定选项的相应语音。照此，可以将语音部分呈现给用户以便依照本发明来高亮显示相应的选项。相应的语音部分可以是选项的文本-语音转换，或者它可以以其他方式对应于所述选项。例如，在将选项编号等等的实施例中，语音部分可以只是对应于所述选项的号码等等。本领域普通技术人员将会想到使语音部分对应于特定选项的其他方式。任何其他方式都应该理解为包含在所附权利要求书的范围内。

在系统高亮显示多个选项的特定选项之后，在步骤230期间，处理器120可以通过利用照相机124来获得一个或多个用户图像140。系统100利用这些一个或多个图像来确定用户140是否正在提供选择姿态。存在许多用于获得和识别用户姿态的已知系统。例如，来自于国际姿态专题研究组会议(Proceeding of International GestureWorkshop)1999年的会议记录的、关于基于姿态的人机交互通信的、题目为“Vision-Based Gesture Recognition：A Review”作者为Ying W和Thomas S.Huang的出版物中，描述了用于控制功能的姿态的使用。将该篇文章引入于此，以供参考。

总的来说，存在两种用于识别姿态的系统。在一种称为手势识别的系统中，照相机124可以获得一个图像或者几个连续图像，以便确定用户想要的姿态。这种系统通常进行用户姿态的静态评定。在另一种已知的系统中，照相机124可以获得连续的图像来动态地确定姿态。将这种识别系统通称为动态/暂时姿态识别。在一些系统中，可以利用分析人手轨迹、通过比较此轨迹以获悉对应于特定姿态的轨迹模型来执行动态姿态识别。

总之，在照相机124获得一个或多个图像之后，在步骤240期间，处理器120试图确定一个或多个图像中是否包含有选择姿态。可接受的选择姿态可以包括诸如人手、手臂、手指等等的上升或者挥动的手势。其他可接受的选择姿态可以是头部姿态，诸如用户140摇动或者低垂他们的头。此外，选择姿态可以包括面部姿态，诸如用户眨眼、立起他们的眉毛等等。可以将这些姿态的任何一个或多个作为选择姿态由处理器120识别。许多其他的可能姿态对于本领域普通技术人员来说是显而易见的。任何姿态都应该理解为由所附权利要求书包含。

当处理器120未在一个或多个图像中识别出选择姿态时，处理器120返回到步骤230，以获得另外的一个或多个用户图像140。在预定次数的尝试之后，当从一个或多个图像中确定已知的姿态、但未识别出已知的姿态时，或者在预定的时间周期之后，处理器120在步骤260期间高亮显示多个选项中的另一个。此后，如上所述的那样，系统100返回到步骤230以等待选择姿态。

当处理器120在步骤240期间识别出选择姿态时，那么在步骤250期间，处理器120执行由高亮显示的选项确定动作。如上所述，执行的动作可能是与高亮显示的选项相关联的任何动作。应该将相关联的动作理解为包括由选项具体调用的动作，并且可以包括可与之关联的任何和/或所有随后的动作。

最后，将上述论述规定为仅对本发明的举例说明。在不脱离随后权利要求书的精神和范围的情况下，本领域普通技术人员可以设计出很多替代的实施例。例如，虽然将处理器120与显示器110分开显示，但是显而易见的是，可以将两者合并为一个显示设备，诸如电视机、机顶盒，或者实际上为任何其他已知的设备。此外，所述处理器可以是用于依照本发明执行的专用处理器，或者可以是通用处理器，在所述通用处理器的学多功能中，只有其中一个功能用于依照本发明执行。所述处理器可以运用程序部分、多个程序段来进行操作，或者可以是运用专用或多用的集成电路的硬件设备。

显示器110可以是电视接收机或者是能够向用户再现视觉内容的其他设备。视觉内容可以是依照本发明实施例的、用于进行控制或者选择动作的用户接口。在这些实施例中，显示器110可以是信息屏幕，诸如液晶显示器(“LCD”)、等离子显示器，或者是向用户提供视觉内容的其他任何已知的装置。据此，应该将术语显示器理解为包括用于提供视觉内容的任何已知的装置。

在不脱离以下权利要求书的精神和范围的情况下，本领域普通技术人员可以设计出很多替代的实施例。在理解所附权利要求书时，应该理解的是：

a)词“包括”除了在给出的权利要求书中列出的那些之外，不排除其他元件或者步骤的存在；

b)元件前的词“一个”不排除存在多个这种元件；

c)权利要求书中的任何参考标记不限制其范围；并且

d)多个“装置”可以由实现结构或功能的同一项或者硬件或者软件表示。

Claims (15)

1.一种视频显示设备，包括：

-显示器，被配置为显示多个选项；

-处理器，可操作地与所述显示器相耦合，并且被配置为在一定时间周期内连续地高亮显示许多选项的每一个，并且被配置为接收来自于用户的用于选择高亮显示的选项的选择姿态。

2.如权利要求1所述的视频显示设备，其中所述处理器被配置为通过令显示器在一定时间周期内显示许多选项之一，来高亮显示许多选项的每一个。

3.如权利要求1所述的视频显示设备，其中所述处理器被配置为通过令显示器在一定时间周期内改变许多选项之一的显示特性，来高亮显示许多选项的每一个。

4.如权利要求1所述的视频显示设备，包括音频输出设备，其中所述处理器被配置为通过令音频输出设备连续地输出音频指示，来高亮显示许多选项的每一个，所述音频指示与相应的许多选项之一相关联。

5.如权利要求1所述的视频显示设备，包括照相机，其可操作地与所述处理器相耦合，用于获得包含选择姿态的用户图像。

6.如权利要求5所述的视频显示设备，其中所述图像信息包含在多个图像中，并且其中所述处理器被配置为分析多个图像以确定选择姿态。

7.如权利要求5所述的视频显示设备，其中所述图像信息包含在多个图像中，并且其中所述处理器被配置为通过分析多个图像并且确定用户的手的轨迹来确定选择姿态。

8.如权利要求1所述的视频显示设备，其中所述处理器被配置为通过分析用户图像并且确定用户的手的姿态来确定选择姿态。

9.如权利要求1所述的视频显示设备，其中所述视频显示设备是电视机。

10.一种用于提供包含多个选项的用户接口的方法，所述方法包括以下步骤：

-显示多个选项；

-连续地高亮显示多个选项的每一个；

-分析用户图像以确定所述图像是否包含高亮显示的选项的选择姿态。

11.如权利要求10所述的方法，其中分析所述图像包括：

-接收多个图像；以及

-分析多个图像以确定多个图像是否包含选择姿态。

12.如权利要求10所述的方法，其中分析所述图像包括：

-接收多个图像；

-分析多个图像以确定用户的手的轨迹；以及

-通过所确定的轨迹来确定多个图像是否包含选择姿态。

13.如权利要求10所述的方法，其中分析所述图像包括：

-分析用户图像以确定用户的手的姿态；

以及

-通过所确定的姿态来确定所述图像是否包含选择姿态。

14.一种存储在处理器可读介质上、用于提供包含多个选项的用户接口的程序部分，所述程序段包括：

-用于控制多个选项的显示的程序段；

-用于在一定时间周期内高亮显示多个选项的每一个的程序段；

-分析用户图像以确定所述图像是否包含选择姿态的程序段；以及

-如果高亮显示选项时接收到了选择姿态，用于执行选项的程序段。

15.如权利要求14所述的程序部分，其中所述用于分析图像的程序段包括：

-用于控制多个图像的接收的程序段；以及

-用于分析多个图像以确定是否接收选择姿态的程序段。

Images