CN102782629B - 用于流体图形用户接口的方法和装置 - Google Patents

Abstract

一种方法，包括：至少部分地致使在图形用户接口上对可选对象的显示，其中可选对象中的每一个对应于经由图形用户接口可访问的数据或应用。所述方法进一步包括：至少部分地致使基于可选对象或上下文相关数据的分类，对处于穿过所述图形用户接口移动的可选对象进行显示，并且允许对图形用户接口上显示的可选对象的用户选择和操作。

Description

用于流体图形用户接口的方法和装置

背景技术

服务提供商和设备制造商面临的持续挑战是，例如通过提供有吸引力的服务和大量的媒体和产品来为客户传递价值和便利。服务提供商提供用于在用户设备上使用的各种用户接口应用，所述各种用户接口应用增强用户对用户设备的以及对由服务提供商提供的各种产品和服务的使用的接口体验。例如，随着用户设备的能力和目前可用的大量媒体内容的不断增加，用户可能难以使用这种设备以及难以在用户设备上可用的大量数据和应用中进行搜索。目前可用的用户接口应用具有限制，并且因此无法为用户提供能够允许用户完全了解和使用由服务提供商提供的各种产品和服务的接口。除了容易使用和简单之外，现代用户接口是娱乐和媒体消费的重要部分，因此其还应当提供可玩的和愉快的体验。严格的有效性并不是测量良好用户接口的唯一因素。将容易使用和有效的用户接口与可玩的和娱乐方面相结合是具有挑战性的工作，并且不存在明显的且明确的解决方案。为了提供答案，用户接口设计者必须考虑人类行为因素。

发明内容

因此，存在对一种用于提供流体图形用户接口的方法的需要。其将整齐和简单的接口与可玩的和娱乐因素相结合。

根据一个实施方式，一种方法，包括：至少部分地致使在图形用户接口上对可选对象的显示，其中可选对象中的每一个对应于经由图形用户接口可访问的数据或应用。所述方法进一步包括：至少部分地致使基于可选对象或上下文相关数据的分类，对处于穿过所述图形用户接口的移动中的可选对象进行显示，以及允许对图形用户接口上显示的可选对象的用户选择和操作。

根据另一实施方式，一种装置，包括：至少一个处理器；以及至少一个包括计算机程序代码的存储器，所述至少一个存储器和所述计算机程序代码被配置为，通过至少一个处理器致使所述装置至少执行以下内容：至少部分地致使在图形用户接口上对可选对象的显示，其中可选对象中的每一个对应于经由图形用户接口可访问的数据或应用；至少部分地致使基于可选对象或上下文相关数据的分类，对处于穿过所述图形用户接口的移动中的可选对象进行显示；以及允许对图形用户接口上显示的可选对象的用户选择和操作。

根据另一实施方式，一种携带一个或多个指令的一个或多个序列的计算机可读存储介质，当由一个或多个处理器执行时，致使装置至少执行以下步骤：至少部分地致使在图形用户接口上对可选对象的显示，其中可选对象中的每一个对应于经由图形用户接口可访问的数据或应用；至少部分地致使基于可选对象或上下文相关数据的分类，对处于穿过所述图形用户接口的移动中的可选对象进行显示；以及允许对图形用户接口上显示的可选对象的用户选择和操作。

根据另一实施方式，一种装置，包括：用于至少部分地致使在图形用户接口上对可选对象的显示的部件，其中可选对象中的每一个对应于经由图形用户接口可访问的数据或应用。所述装置进一步包括：用于至少部分地致使基于可选对象或上下文相关数据的分类，对处于穿过所述图形用户接口的移动中的可选对象进行显示的部件，以及用于允许对图形用户接口上显示的可选对象的用户选择和操作的部件。

通过下面的详细描述，简单地通过解释多个特定的实施方式和实现方式，包括用于执行本发明所预期的最佳模式，容易了解本发明的其它方面、特点和优势。在全部不偏离本发明的精神和范围的情况下，本发明还能够具有其它和不同的实施方式，并且可在各种明显的方面对其几个细节进行修改。因此，应当将附图和说明认为本质上是解释性的，不是限制性的

附图说明

通过示例的方式且不是通过限制的方式，结合附图中的图来解释本发明的实施方式，其中：

图1是根据一个实施方式的能够提供流体图形用户接口的系统的示意图；

图2是根据一个实施方式的包括用户接口控件的用户设备的组件的示意图；

图3A是根据一个实施方式的用于提供流体图形用户接口的过程的流程图；

图3B是根据一个实施方式的用于提供允许分类对象的显示的流体图形用户接口的过程的流程图；

图3C是根据一个实施方式的用于提供这样的流体图形用户接口的过程的流程图，该流体图形用户接口允许对图形用户接口中示出的对象的选择和操作；

图4A至4C是根据各种实施方式的描述图3A至3C的过程的图形用户接口的示意图；

图5是根据各种实施方式的图形用户接口的示意图；

图6A至6C是根据各种实施方式的显示图形用户接口的移动设备的示意图；

图7是可以用于实现本发明的实施方式的硬件示意图；

图8是可以用于实现本发明的实施方式的芯片集的示意图；以及

图9是可以用于实现本发明的实施方式的移动终端（例如，手持机）的示意图。

具体实施方式

公开了用于提供流体图形用户接口的方法、装置和计算机程序的实施例。在下面的说明中，为了解释的目的，叙述了多个具体细节，以便提供对本发明的实施方式的充分了解。然而，对本领域技术人员来说明显的是，本发明的实施方式可以在没有这些具体的细节，或者具有等同的安排的情况下实现。在其它情况下，在框图中示出了已知的结构和设备，以便避免对本发明实施方式造成不必要的难以理解。

尽管关于各种实施方式在诸如蜂窝电话的移动设备上的使用来介绍各种实施方式，可以设想的是，此处介绍的方法可适用于任意其他类型的用户设备和/或与诸如蜂窝提供商服务器或任意其他类型服务器的服务器上的使用相结合。

图1是根据实施方式的能够提供流体图形用户接口的系统的示意图。如图1所示，系统100包括：具有与通信网络105的连通性的用户设备(UE）101A…101N和103。还提供同样连接到通信网络105的服务提供商107。在本图中，将UE 101A…UE 101N、UE 103和服务提供商107的每个描述为分别包括用户接口控件109A…109N、103A和111；然而，可以设想的是，不需要在每个中提供这种控件，而是可替换地在多于一个的这种装置的一个或任意组合中提供这种控件。通过示例并且不是限制的方式，可将UE 101A提供作为具有用户接口控件109A的移动设备，并且这种UE 101A可提供此处介绍的用户接口显示器，而不需要任意其它用户接口控件。因此，如果用户在使用UE 101A上的用户接口显示器，UE 101可使用用户接口控件109A以提供这种显示器、或用户接口控件103A或用户接口控件111、或上述控件的组合，这取决于控件是否在本地或远程运行的。同样，通过示例并且不是限制的方式，例如当移动设备为了同步而与计算机连接时等，将UE 103描述为通过虚线连接到UE 101A，所述虚线可以是任意形式的无线或有线连接。

通过实例的方式，系统100的通信网络105包括一个或多个网络，例如数据网络（没有示出）、无线网络（没有示出）、电话网络（没有示出）、短距离无线网络（未示出）、广播网络（未示出）或其任意组合。可以预期的是，数据网络可以是任意的局域网（LAN）、城域网（MAN）、广域网（WAN）、公共数据网（例如，因特网）或任何其它合适的分组交换网络，例如商业所有的专有分组交换网络，例如专有电缆或光纤网络等，或其任意组合。此外，例如，无线网络可以是蜂窝网络，并可以使用各种技术，包括增强数据速率全球演进（EDGE）、通用分组无线服务（GPRS）、全球移动通信系统（GSM）、因特网协议多媒体子系统（IMS）、通用移动通信系统（UMTS）等，以及任何其它合适的无线介质，例如全球微波互连接入（WiMAX）、长期演进（LTE）网络、码分多址（CDMA）、宽带码分多址（WCDMA）、无线保真（WiFi）、卫星、移动自组织网络（MANET）、无线局域网（WLAN）、蓝牙超宽带（UWB）网络等。

UE 101A…101N和103是任意类型的移动终端、固定终端、或便携式终端，包括移动手持机、站、单元、设备、多媒体计算机、多媒体输入板、因特网节点、发信机、桌上型计算机、膝上型计算机、个人数字助理（PDA）、音频/视频播放器、数字照相机/摄像机、游戏设备、模拟/数字广播电视接收机、定点设备、电子书设备或其任意组合。还可预期的是，UE101A…101N可对用户支持任意类型的接口（例如，“可佩戴”电路等）。

通过示例的方式，UE 101A…UE 101N、103和服务提供商107可使用已知的、新的或仍在开发中的协议相互通信并与通信网络105的其它组件进行通信。在该情况中，协议包括定义通信网络105中的网络节点如何基于通过通信链路发送的信息相互交互的规则集。该协议在每个节点中的不同操作层上是有效的，从产生和接收各种类型的物理信号，到选择用于传送这些信号的链路，到由这些信号指示的信号格式，到识别计算机系统上执行的哪个软件应用发送或接收信息。在开放系统互连（OSI）参考模型中概念性地描述了用于在网络上交换信息的协议的不同层。

网络节点之间的通信典型地通过交换离散数据分组来实现。每个分组典型地包括（1）与特定协议相关的报头信息，和（2）跟随报头信息并包含可独立于该特定协议进行处理的信息的有效载荷信息。在一些协议中，分组包括（3）跟随有效载荷并指示有效载荷信息的结束的报尾（trailer）信息。报头包括诸如分组源、其目的地、有效载荷长度、由协议使用的其它属性的信息。通常，有效载荷中用于特定协议的数据包括用于与OSI参考模型的不同的、较高层相关联的不同协议的报头和有效载荷。用于特定协议的报头典型地指示在其有效载荷中包括含用于下一协议的类型。较高层的协议被称为被封装在较低层协议中。在穿过多个诸如因特网的异构网络的分组中包括的报头典型地包括如OSI参考模型所定义的物理（层1）报头、数据链路（层2）报头、网间（层3）报头和传输（层4）报头、和各种应用报头（层5、层6和层7）。

此处介绍的一个或多个实施方式涉及多模型用户接口（UI）概念和图形UI，并且可用作对当前UI的替换并且可替换整个UI框架。

典型地，GUI旨在简化导航和使其更容易找到东西和操作它们。例如，在个人计算机上使用的桌面比拟（desktop metaphor）是GUI的通用实例。对于较小的屏幕，例如在移动电话、个人数字助理（PDA）、数字媒体播放器等上，隐喻是稍微不同的，例如待机屏幕或应用视图管理等。即使具有这些变化，它们基于如典型的基于文本菜单的UI的相同基础原理，其中用户必须通过各种菜单活动地进行导航以找到东西，这意味着用户必须要了解他或她在想什么。然而，如果用户不确定它们在找什么，那么用户难以在各种菜单中找到他们正在寻找的东西。如果用户想要定制待机屏幕，那么会强制用户在设置中找到正确的位置以定制待机屏幕。甚至可以在多个位置中控制屏幕的不同方面。对于这种UI的一个问题是针对UI偏好的UI配置和改编。典型地，设置和配置控制是在操作的不同视图或不同模式中的，并且因此用户必须打开单独的设置对话、改变设置、关闭设置对话，并且于是用户可继续常规UI操作。然而，这种过程分散用户的注意力并且增加执行这种设置改变的难度，由此降低系统的效率。因此，需要改进的UI。

同样，人类不会总是理智的。他们可能基于关联或刺激不由自主地行动。换句话说，当他或她看见什么时，用户可能决定做一些事情。对于许多决定和动作，人类需要刺激或一些触发事件。非常静止的环境几乎不会提供这种刺激。因此，他们可能到商店去自发地浏览货架，而不知道他们想要买什么。相同的概念应用于计算机和智能手机，其中用户可能仅仅想要浏览设备上的各种应用和数据，而在头脑中没有具体的目的。当按这种方式浏览时，用户的兴趣可能突然被一些关联所触发，由此用户将货架上或设备上的可视项目联系到一些旧的记忆关联，并且基于这种关联，用户决定购买产品或打开数据/应用。

传统的UI不支持此处介绍的自发人类行为。如果用户熟悉系统和系统的导航结构并且在头脑中具有一些具体任务，那么传统的GUI会很好地适于这种任务。然而，如果用户不熟悉系统和导航结构，那么用户可能非常难以使用传统的UI的最全的潜力。同样，如果用户仅希望消磨一些时间或进行“只看不买”类型的活动，那么传统UI不会很好地支持这种活动。设备可能包含用户不知道的功能或数据，并因此甚至无法找到。静止图形呈现不会触发新的关联。优选地，此处介绍的实施方式为GUI提供随机方面并且提供“直播”类型的功能，其将为用户馈送用于关联的一些新“刺激物”以触发一些新的和甚至意外的事件。

典型地，现代移动设备相对较小，并且因此提供对通常的GUI的挑战。典型地，屏幕相对较小并且无法一次容纳非常多的信息。有限的屏幕空间通常导致通过深度菜单的困难的导航，其还可能导致与如何返回或如何在复杂菜单结构中找到条目相关的位置丢失以及不确定性。现代设备通常使用桌面隐喻（例如，窗口）、主屏幕或待机屏幕（例如，运行在塞班OS（操作系统）上的S60待机屏幕），其中用户通常可以配置的图标或空间通常很少。然而，现代移动设备具有多个功能并且可存储大量数据，所以为屏幕选择仅较少的控件是困难的，并且可能迅速地将屏幕填满。因此，可能难以将所有经常使用的应用、链接和联系人容纳到单个较小屏幕中。一种方法是使用多个待机屏幕并且具有用于容易地切换视图的手段。然而，切换视图使得导航更为困难，并且如果视图突然改变用户可能迷失。视图切换是不便于用户的快速并且突然的操作，并且突然改变视图可能导致压力，用户可能失去对知道他或她在GUI结构内的何处的感觉，并且为用户留下对知道返回GUI内的已知位置的方式的不确定性。同样，这些视图可创建新的分层导航层“视图列表”，所以用户返回导航传统的UI结构。增加这些视图将仅会增加用户必须导航的层，因此使得导航甚至更为复杂。

因此，此处介绍的GUI的实施方式有利地提供了新的独特方式来向用户呈现数据和设备功能（或应用），其考虑了人类大脑处理输入所使用的关联过程。GUI将数据和应用呈现为“对象”，“对象”按流体方式被呈现为流动穿过显示器，从而为用户提供访问和使用数据和应用的新颖方式。通过所述GUI，数据或应用导航或流动到用户，所以用户必须仅像猎人一样等待且当他或她找到目标时进行点击。

如此处所使用的，“对象”可以是任意数据段（例如，联系人信息、图片、视频、电影、音乐、消息、文件、日历条目、web链接、游戏数据、电子书、电视频道和/或节目、无线电广播频道和/或节目、媒体流、兴趣点（POI）信息、数据（例如，关于用于在线销售的各种产品，这种数据被用于在在线购物搜索期间识别产品等）等，或其组合）或应用（联系人数据库、日历、映射功能、时钟、用于用户定制设置的工具或控制面板、媒体播放器、游戏、web浏览器、照相机等，或其任意组合），或包含用户使用（例如，设备上本地存储的和/或远程存储的和使用设备可访问的）GUI可访问的数据和/或应用对象的组。GUI系统可按相同方式来处理所有对象而不管它们的内容，并且任意对象的高级操作可以都是相同的。因此，GUI可呈现来自不同种类和抽象层的对象，并且这些对象可按相同的方式来被操作而不管它们的种类或抽象层。例如，用户可创建对象组，其中联系人、链接、应用、音乐等可以在一个组中。不存在人造系统决定的用于分组的种类和边界，而这种分组在于用户他或她如何使用和关联系统中可用的不同数据和应用。对象是内容无关的，并且因此用户按独立于内容的相同方式来操作对象。仅在从流选择了对象之后，用户才可具有一些可用的对象特定的动作。然而，对于GUI上的通用对象操作（例如，各种对象的分组、GUI上对象位置的“钉住”或固定、从GUI“踢出”或移除对象、在GUI上拉动或移动对象），所有的对象按相同方式来行为。

如此处所使用的，“源”是用于在GUI上生成种类内的对象流的种类指定。所述源可以是显示器屏幕的标记或非标记区域，对象从所述源开始流经GUI。可以宽泛地定义所述源以包括GUI可访问的所有数据和应用，或其可以通过以下内容进行更为狭窄的分类：应用（例如，所有应用、映射应用、消息应用、媒体播放应用等）、数据项（例如，具有与来自联系人条目的特定联系人条目的一些预定关系的所有应用和数据，例如所有照片、消息等）、和/或数据种类（例如，音乐、图片、特定时间段内记录的媒体等）。在任意指定时间，可能存在GUI上提供的对象的一个或多个不同源，并且用户可通过激活或去激活源、通过定义GUI上源的位置和来自源的对象流方向、以及通过定义源的边界（例如，如果源是音乐，那么用户可将其限制为特定流派、或特定录制日期或特定艺术家等）来操作所述源。在某些实施方式中，源可能位于屏幕的边缘并且使用透明条来来标记所述源。例如，用户可通过进行左到右横过触摸屏的划动作来激活GUI的左侧的源，并且之后，与所述源相关联的对象开始在GUI上从左流向右。

为了找到来自源的特定对象，为用户提供对流到屏幕上的对象流进行过滤的部件。当适用时，所有搜索方法可用于所有内容类型。如果用户了解通过使用基于文本的搜索来搜索联系人，那么他可将这些技能应用到任意对象，包含对应于搜索文本字符串的东西。在某些实施方式中，没有用于搜索联系人、消息或任意类型内容的单独接口。明显的是，一些搜索方法更好地适合于搜索特定内容；然而，由用户决定方法，并且因此，系统不会为用户设置一些预定义的限制。作为实施例，S60操作系统提供用于找到联系人的基于文本的搜索。然而，这仅可用于联系人，任何其它内容类型的搜索可具有不同的搜索手段和方式。在本发明的各种实施方式中，对于所有对象和内容，这些高级对象操作和搜索方法是相同的。系统仅提供搜索方法的集合，并且用户如何将上述方法应用于所有可用的对象取决于用户。

实际上，任何对象可以用作源。用户可通过激活对象来将任意流对象转换为源。这种激活的一个实施方式是：用户将流对象拖拽到屏幕的特定区域。如上所述，可将源放置在屏幕的一侧。如果用户将一些流动对象拖拽到所述区域中，其将自身转换为源并且开始产生流的内容。所述内容可以是任意的，其以某种方式关联于所述对象。例如，当将组对象用作源时，组对象将创建属于所述组的对象流，类似于联系人组。用户还可以将个别联系人拖拽为源。然后，该联系人用作源，可流出一些相关的依赖于联系人的数据，类似于该联系人的朋友、与该联系人相关的图片。换句话说，当将任意对象用作源时，其将为用户显示存在的用于所述对象的关联。如果对象不需要用作源，用户可将其从屏幕的“源区域”拖拽出来，并且于是所述对象进入流中并且开始流动，就像其在被拖拽以用作源之前所做的那样。所以，还可以将源解释为任意对象的一种形式、或对象的状态。对象或者流经屏幕，作其自己，或者对象用作源，呈现与所述对象相关的所有关联。

用作源的这些源元素或对象还可以被堆叠在屏幕上，作为“卡片堆”。如果用户已将一些对象放到屏幕的一侧以用作源，那么他可拖拽在旧的源顶部的新对象并且于是所述新对象将开始用作源。然而，当用户将最新的对象拖拽远离源区域时，在新对象下面的原始对象将再次自我激活。用户可将无限数量的对象堆叠到源堆栈，并且替代从堆栈中一个跟一个地取出对象，用户也可像快速翻过通过一副卡片那样快速翻过堆栈。通常地，堆栈上可视的顶部对象是激活的，并且产生去往流的内容。可以在触摸屏上，通过模仿用户手或手指的实际快速翻过动作的手势或敲击来实现源堆栈的这种快速翻过。

GUI引入动态待机屏幕类型的接口，其中对象流过屏幕，并且其中人类交互和/或上下文相关数据（例如，设备的位置、一天中的时间等）可影响对象流和/或源的种类定义，其中所述对象从所述源流出。对象将出现在屏幕的一侧，并且流过屏幕，并且然后如果用户不访问或操作它们的话，在屏幕的另一侧消失。用户具有对流的完全控制（例如，速度、方向、内容、对象大小、在任意给定时间同时可视的（移动和/或静止）对象的数量等），所以用户可对其加速、“踢出”不想要的对象、在GUI的位置处“钉住”对象、在GUI上移动对象、选择对象并且执行与对象相关的动作等。通过激活和操作GUI边缘上的源，用户还可以利用一些简单的多种方式动作或手势（例如在触摸屏上敲击或语音），来控制流过其视野的对象的类型。因此，由于设备的数据和应用仅流经用户并且当他或他看见感兴趣的东西时可进行动作，因此GUI不需要如传统UI中那样的视图切换或深度菜单结构。用户可即时调整流的内容、速度和类型。由于用户能够容易地启用或禁用对象或改变GUI的流属性以适合用户的需要或心情，GUI系统可以学习用户的习惯和偏好，并且由此进行调整。基于学习的/跟踪的用户习惯（例如，作出的选择、作出的关联、点击的对象等），例如通过增加与所学习/跟踪的用户习惯相关的某些对象的频率和/或优先级，系统可将建议的对象提供给用户。

用户可容易地将一些对象设置为静止的，以停止它们的流动，并且通过拖拽可将它们移动到GUI上的期望区域。用户可进一步将静止对象锁定在位置中，其将禁用对象的拖拽，并且由此阻止意外的重定位。用户还可以通过“移除别针”来解锁定和/或设置移动中的对象，并且所述对象将移动离开所述流。添加新的静态元素简单地涉及利用简单的用户手势或其它动作将来自流的对象钉住。用户具有对在屏幕中存在多少静止项以及何种类型的数据流过屏幕的完全控制。

在某些实施方式中，屏幕中没有预定义的固定元素，而是可以如用户所期望和操作的，即时启用或禁用每一东西。GUI可以处于匀速运动，直到用户将其停止或限制所述流。GUI可连续地提供新的刺激给用户。在没有任何用户激活动作的情况下，GUI系统可逐渐地呈现所有数据和应用给用户。如果一些用户不感兴趣的内容出现，那么用户可利用一些简单动作明确地丢弃或移除所述内容，因此向GUI系统指示：用户对所述对象不感兴趣并且所述对象不是用户想要的。由于所有可视对象（除了被钉住的那些对象）具有暂时可视的生命期限，甚至是用户不感兴趣的对象也会消失并且由此不会为用户创建持续的厌恶。GUI系统可提出用于基于用户的GUI过去使用显示的对象和用户之前选择的对象的一些智能猜想。

简短地，GUI系统可包括对象流，类似于瀑布和流，其流经用户的视野。用户可操作所述流并且缓慢地调整其行为以满足用户的个人需要。用户可从流中挑选任意感兴趣的项并且对其进行操作。GUI系统还可以包括可以由用户定义的源，使得用户可控制流中流动的数据和/或应用的种类。用户可根据他或她认为合适的来关闭或打开这些流的源。由于更为活动地使用GUI屏幕，其可以显示比静止UI更多的数据和应用，因此允许移动设备的相对较小屏幕的更为有效的使用。

流的配置是在与对象操作相同的上下文中完成的，所以不存在用于设置的单独视图。可在GUI的正常流期间即时执行设置，因此使得对于用户来说调整更加容易。

GUI概念支持相关事件的关联。由于人类的许多活动通过人关联两个对象或时间以及基于所述关联而行动来触发的，GUI概念更好地适合人类记忆工作的基本方式。第一眼看来，两个对象可能呈现为对外部观察者来说彼此完全无关；然而，这两个对象可触发用户大脑中的关联。任意智能UI逻辑可能无法识别这种关联，并且因此UI不能预测这种关联；然而，通过为用户提供可触发用户中的这种关联的动态和多样的对象显示，此处描述的GUI促进用户想到这种关联，并且允许用户按照这种关联而行动。在此描述的GUI提供了治理和利用这个关联现象的多种方式。

GUI促进对象关联。在对象关联中，用户看见GUI中流动的基于用户经验彼此相关的两个对象。例如，用户可能看见朋友照片的对象以及向用户提醒所述朋友的相册的对象，并且用户可能想要基于这种关联来将图片和相册分组在一起。虽然不存在预测这种关联的预定义系统规则，由于这种关联出现在用户的意念中，GUI提供可促进用户作出这种关联的对象流。当用户注意到两个对象之间的一些关联时，那么用户可基于所述观察来开始不同活动。例如，用户可将这些对象分组在一起，以作出对象之间的链接。因此，用户可一起操作这些对象，或如果用户之后看见GUI上这些对象中的单独一个，那么用户可快速地恢复分组到/链接到/关联到所述对象的所有对象。在另一实例中，用户可能在GUI上同时看见一些数据和联系人条目，并且决定发送所述数据给所述联系人。这些关联可以发生在任意对象间，并且系统将不会阻止用户作出“无意义”的关联或分组。这种关联纯粹到用户的一时兴起。例如，如果需要的话，用户可连接web链接和人、或音乐集或食物食谱。同样地，可以结合与不同抽象层相关联的对象。GUI系统仅将这个过程视为用户生成的关联的网络并且不在乎相关联的对象的内容是什么。因此，用户可来自联系人列表的联系人与图片、音乐集、应用等分组在一起。确定地，GUI系统可智能地建议一些对象给用户，来看用户是否发现在所建议的对象之间的一些关联。然而，作出关联取决于用户，系统仅可以尝试进行帮助并且创建一些潜在的或可能的刺激。本发明的系统非常好地支持这种行为，系统建议的项仅流经用户视野，并且如果建议是不正确的，对象仅仅是流走，再也不会打扰用户。在传统的系统中，如果这些建议的生命期限过长，静止弹出窗口和图标开始令客户烦恼。在本发明的系统中不存在这种问题。

GUI还促进上下文关联。在上下文关联中，用户在GUI上看到对象并且基于用户上下文来触发关联。例如，用户可以在GUI上看见用户很长时间没有见到的联系人，并且然后用户突然注意到这个人住在附近并且决定联系他或她。在另一实施例中，用户可能坐在餐馆中，并且看见用户答应为其提供午餐的联系人。

GUI还促进源关联。在源关联中，用户将某些对象与位于GUI的特定位置中的特定源相关联。因此，用户将进行学习以假设所述源将产生特定类型的对象。同样，源不需要是固定的，而是可以由用户和用户想要定义的任意关联来调整。

为了做出用户意念中出现的这些类型的关联，用户需要一些刺激来触发这种关联过程。静止的主屏幕不会激活这种关联过程。同样，如果系统太具确定性，那么其可能永远不会创建一些低频率使用的关联。所以，此处介绍的GUI有利地提供了长期刺激并且是部分确定性的、部分随机的和用户引导的，这样允许其促进这种关联。存在人类记忆形成这种关联的无穷尽的且甚至是奇怪的方式，以及此处介绍的GUI为这种过程提供刺激物，而不是利用过多的人造规则进行限制。GUI是一种提供用于允许用户做出他自己的或她自己的关联并且使其适应于用户的记忆工作方式的部件的工具。

图2是根据一个实施方式的包括用户接口控件的用户设备的组件的示意图。通过实例的方式，用户接口控件109A包括控制逻辑201，其控制控件和流体图形用户接口（GUI）、对象和源管理器模块203、数据库205、建立管理器模块207、对象流管理器模块和呈现模块211。对象和源管理器模块203可管理用于GUI的对象的列表和定义的源，并且在数据库205中存储这种信息。对象和源管理器模块203可基于用户动作控制源和对象的出现，并且可确定影响所述过程的不同上下文信息。建立管理器模块207可管理由用户定义的用于GUI的任意用户设置（例如，对象大小、在任意指定时间可显示的对象的最大数量、对象流的速度等），并且在数据库205中存储这种信息。对象流管理器模块209可基于用户的输入管理对象的流，并且将这种信息存储在数据库205中。对象流管理器模块209可控制同时可视的对象的数量，以避免通过过多移动的对象对用户认知造成过重负担，并且可以根据GUI操作期间执行的用户动作来处理系统配置。控制逻辑201还可监测用户的各种动作，并且基于使用历史来确定GUI的操作（例如，可通过增加在GUI上呈现的频率，或通过在GUI上首先显示等，来在GUI上给予频繁使用的联系人、相册、应用等优先权）。

呈现模块211可与UE 101A的用户接口214的显示器进行通信以显示GUI。附加地，UE 101A包括允许UI控件109A与任意远程设备或服务器进行通信的通信模块215，如果需要的话以便在GUI上呈现对象，或以便使用与对象相关联的数据或应用。同样地，UE 101A包括可用于存储数据和应用的数据库217。

图2描述了UE 101A中提供的用户接口控件109A，以提供用于UE101A上本地存储的或从服务提供商107或另一服务器或UE远程可访问的数据和应用的GUI。同样，UE 103和服务提供商107中的用户接口控件103A和111能够分别具有如用户接口控件109A的相同组件，并且因此可执行相似功能。用户接口控件111可具有与用户接口控件103A的相同组件，并且因此例如可向经由通信网络105与其连接的任意UE提供基于web的GUI。此外，可在各种设备/服务器处提供这种用户接口控件（或其一个或多个组件），其于是可被彼此结合使用以提供此处介绍的GUI功能。

图3A示出了根据一个实施方式的用于提供流体图形用户接口的过程300的流程图。图3B是根据一个实施方式的用于提供允许显示分类对象的流体图形用户接口的过程320的流程图。图3C是根据一个实施方式的用于提供允许对图形用户接口中示出的对象进行选择和操作的流体图形用户接口的过程340的流程图。在一个实施方式中，用户接口控件（例如，103A，109A…109N和或111）执行过程300，320和340，并且在例如包括如图8所示的处理器和存储器的芯片集中实现用户接口控件。图4A至4C是根据各种实施方式的描述图3A至3C的过程的图形用户接口的示意图。

在用于提供流体图形用户接口的过程300的步骤301中，致使各种可选对象被显示在GUI上，其中所述对象对应于经由GUI可访问的数据或应用。在步骤303，致使基于可选对象的种类或“源”，在穿过GUI的移动中显示可选对象。因此，如图4A所示，显示包括屏幕区域401的图像用户接口400，其中显示了各种对象。在本实例中，将种类或源宽泛地定义为经由GUI可访问的任意数据或应用，并且因此代表经由GUI可访问的所有数据或应用的对象将循环穿过显示器屏幕。在本实施方式中，开始时（即，没有任何用户输入），每个对象将默认地在从左到右的移动中，使得它们出现在显示器屏幕区域401的左侧、移动穿过显示器屏幕区域401、并且在显示器屏幕区域的右侧消失。图4A描述了对象，所述对象包括：消息图标403A，403B、音乐图标405A，405B、显示当前时间的时钟图标407、日历图标409、图片图标411、联系人图标413、商店图标415和分组的图标417。在过程300的步骤305，允许对在GUI上显示的可选对象的用户选择或操作。在图4A所示的实例中，例如，商店图标415已经被用户选择了（例如，通过触摸屏或其它按钮命令、通过语音命令等）并且被钉在显示器屏幕区域401上的所期望的位置处，使得其不再移动。同样，音乐图标405B已经被用户选择了并被固定在所期望的位置，并且与音乐图标405B相关联的音乐被指示为通过音频输出进行播放，如指示音乐图标处于重放模式的音乐图标405B的中心示出的三角形符号。相似地，用户可以选择其它图标，所述其他图标可以已经与这样的编辑器或查看器相关联，该编辑器或查看器可以是这种选择被激活。同样，组成分组图标417的音乐和联系人图标已经由用户选择并链接在一起。剩余的图标继续在右到左的方向上流动，如图4A中示出的方向箭头所指示的。在另一实施方式中，当用户已经选择了一些对象时，暂停所述流，以便当用户正在一些对象上执行操作时不干扰用户。在完成用户操作之后，流动将会恢复。示出的方向箭头仅指示图4A中静态截屏中流的方向，并且不需要在工作GUI中的GUI上显示所述方向箭头。

应当注意的是，如此处介绍的，可选对象可以在各种时间处是可视的（例如，在穿过GUI时）或可以是不可视的（例如，在可选对象行进到GUI的视野之外）。

虽然图4A将对象描述为通用图标，但是可以将对象显示为使得示出由对象代表的内容。例如，消息图标403A、403B可以显示消息的发送者以及消息的一部分，音乐图标405A和405B可以显示音乐的专辑名称、艺术家姓名、音轨名称、专辑插图、流派等，或其可以是音乐库应用的通用表示；日历图标409可以显示会议或日期提醒器、位置、参与者等的描述，或其可以是日历应用的通用表示；图片图标411可以显示图片的缩略视图、图片的标题、日期/时间戳等，或其可以是照相机、照片相册、照片编辑应用的通用表示；视频图标可以显示视频的静止或流动缩略图、视频名称等，或其可以是视频照相机、视频库、视频编辑应用的通用表示；联系人图标413可以显示联系人实体的描述、联系人实体的缩略图等，或其可以是联系人列表应用的通用表示；商店图标415可以显示具有诸如价格的信息的用于销售的项目等，或其可以大致地显示商店标志或名称、联系人信息等。组图标417可以显示为该组给出的名称等；等等。同样，每个对象可以按相同速度或不同速度进行移动，或每个组或种类可以按照不同的速度来移动而每个组中的对象按照相同速度移动，或其任意组合。对象可以在任意方向按直线移动，或对象可以按连续或随机模式在非直线路径中移动，或其任意组合。可以在GUI内不同深度的域处示出对象，使得将某些对象或组呈现在其他对象或组的前面。

同样，如之前所注意的，可以由用户输入来控制穿过GUI 400的对象的流的特性。例如，用户可选择流的方向、流的速度、流的模式、在显示器屏幕上同时示出的对象的数量。可以使用手势来做出这种用户偏好选择，手势例如是穿过触摸屏幕的滑动运动（例如，如果用户喜欢流从右到左，然后用户可以从右到左滑动穿过触摸屏等），或倾斜移动设备（例如，其中倾斜的角度和/或方向控制流的方向和速度）等，或使用输入命令，例如使用按钮、触摸屏选择、语音命令等。可以提供启用和禁用控制用户偏好的这种输入的触发器，例如使得用户能够启用这种输入，然后通过手势/命令进行调整，并且然后禁用这种输入，从而使得移动设备的使用不会做出对这种用户偏好的不期望的改变。同样，用户可通过这种选项的目标表示和/或通过访问选择选项菜单，来访问这种选择选项。

在用于提供允许显示分类对象的流体图形用户接口的过程320的步骤321中，允许用户选择第一可选对象并且将第一可选对象移动到GUI上的区域，以用作第一分类或“源”。因此，如图4B所示，用户选择联系人图标413A，并且将联系人图标413A拖拽到沿显示器屏幕401上边缘的区域（如虚线箭头所示）。因此，联系人图标413A被用作从那里流出的对象的分类或源。任意对象可用作GUI的源。在步骤323，如图4B和4C中联系人条419所示的，致使在区域中显示分类条，其可以是透明的。GUI可对所述条进行自动标记，或用户可对所述条进行标记，例如通过GUI在显示器上弹出允许用户输入标签的透明小键盘或键盘。在步骤325，可致使在穿过GUI的移动中显示分类的可选对象，其与第一可选对象的第一分类相关。因此，如图4C所示，例如联系人图标413B和413C的联系人图标从联系人条419开始，从显示器屏幕401的上侧朝向显示器屏幕401的下侧流动。在本实施方式中，没有落入联系人分组的对象继续在左到右的方向中流动（除非他们被钉住）。可替换地，还可以对没有落入由第一可选对象所定义的分类中的对象清屏。这可能依赖于屏幕尺寸，即在非常小的屏幕中，清屏可能是有益的，从而为属于由最新的可选对象的用户选择所定义的分类的对象留出更多空间。联系人图标413A可以是整体联系人列表应用的代表，在这种情况下，所有联系人条目将从联系人条41流出，或可以代表特定的联系人条目，在这种情况下，与该联系人条目相关的任意对象（例如，那个人的或来自那个人的图片/视频、分组/链接到所述条目的对象、来自那个人的消息、与那个人相关的日历条目等）将从联系人条目419流出。

图3C是根据各种实施方式的用于提供允许图形用户接口中示出的对象的选择和操作的流体图形用户接口的过程340的流程图。在步骤341，GUI确定是否已经选择了可选对象。如果没有做出选择，那么过程简单地继续监测用户输入，直到做出了这种选择。如果选择了对象，那根据用户输入所命令的，GUI确定所选对象的操作属性。例如，在步骤343，GUI确定用户是否已经指示GUI来将对象固定在GUI上的位置处，例如通过拖拽对象到位置并且将对象钉在和/或锁定在所述位置。如果已经指示GUI固定该对象，那么在步骤345，GUI致使在GUI的该固定位置处显示所选的对象。如果没有指示GUI固定所述对象，那么在步骤347，GUI确定用户是否指示GUI移除所述对象，例如通过在触摸屏上使用轻击动作以快速地将对象从显示屏幕移除。如果已经指示GUI移除对象，那么在步骤349，GUI致使将所选对象从GUI移除。如果没有指示GUI移除对象，那么，在步骤351，GUI确定用户是否已经指示GUI将所选对象与另一对象相关联（或分组或链接），例如通过使用触摸屏将选择的对象拖拽在其他对象上。如果已经指示GUI将对象与另一对象相关联，那么在步骤353，GUI致使在GUI上显示相关联的对象。如果还没有指示GUI对所述对象进行关联，那么步骤355，GUI可致使在经过了预定时间段之后，取消对所选对象的选择。

图5是根据各种实施方式的图形用户接口500的示意图。GUI 500包括显示器屏幕501，并且在屏幕边缘周围提供各种分类和源条。例如，GUI500包括音乐条503A、消息条503B、联系人条503C、应用条503D、图片条503E、以及未定义的或不活动的条503F、503G、503H和503I。用户可调整各种条的大小和位置，并且如果喜欢，活动的和/或不活动的条可以是可视的（例如，不透明的或透明的）或不可视的（例如，持续地不可视，或不可视直到用户做出手势或命令临时使它们可视）。在一个典型替换中，每次仅一个条是活动的并且可视的，指示最近的用户选择的分类，产生在用户已经发起的方向中的对象流。还可能具有系统生成的对象流，没有可视的源条。这种流可以由一些系统事件来触发，例如一天中的时间、位置或一些其他外部事件。

图5描述了对象，所述对象包括：钉住的时钟图标505、音乐图标507A，507B，507C（其被钉住并且处于播放模式）、消息图标509A，508B，509C、联系人图标511、分组的/链接图标513、计算机文件图标515、日历图标517、购物或商店图标519A（其被钉住），519B、映射图标521、以及图片图标523A（其被钉住）、523B。对象可从生成所述对象的具有分类或源条的一侧流出。例如，音乐图标507A，507B，507C（在钉住之前）以及甚至是包含音乐图标的分组图标513从音乐图标503A所处的显示器屏幕501的左侧流出。另外，消息图标509A，508B，509C从联系人图标503B所处的左侧流出。另外，联系人图标511从联系人图标503C所处的上侧流出。各种应用图标，例如计算机文件图标515（其可以表示字处理器应用等）、日历图标517、购物或商店图标519A（在钉住之前），519B、以及映射图标521从应用条503D所处的上侧流出。图片图标523A（在钉住之前）、523B从图片条503E所处的上侧流出。相似地，用户可以将条503F和503G定义为特定分类或源，并且对象可从显示器屏幕501的右侧流向左侧，并且可以将条503H和503I定义为特定的分类或源，并且对象可从显示器屏幕501的下侧流向上侧。此外，用户可使用手势和/或命令即时根据需要调整这些默认流方向中的任意方向。可替换地，还可能的是，如果符合活动的所选分类和过滤集合的所有对象已经在屏幕上可视了，那么由于没有新的对象来到屏幕中，所以所述流可以自动停止。换句话说，用户可能已经选择了一些分类，其仅具有与所述分配相匹配的较少项，并且当将那些项移动到可视屏幕中时，那么可能停止所述流以使得对对象的操作更为容易地进行。作为极端的实例，仅有一个联系人符合所选的分类。在这种情况下，当该联系人已经出现在屏幕中时，则停止所述流以等待关于该联系人的用户动作。然而，一旦存在符合所选分类的未显示的对象，那么将再次激活所述流。

图6A至6C是根据各种实施方式的显示图形用户接口的移动设备的示意图。

图6A描述了移动设备600，其包括显示图形用户接口601的显示器屏幕，例如触摸屏显示器。移动设备600还包括各种用户输入设备，例如按钮603。GUI 601包括显示器屏幕605，并且在显示器边缘周围设置的各种分类或源条。例如，GUI 601包括应用条607、音乐条609和web条611。GUI 601还具有流过显示器屏幕605的各种可选对象，例如对象613和615。

图6B和6C描述了稍微不同配置的移动设备600及其GUI 601，使得在显示器屏幕的左侧上将联系人条和消息条提供作为源。图6B和6C描述了将两个对象分组或链接在一起的实施方式。这样，在图6B中，用户（例如使用触摸屏、语音命令或其他输入）选择对象617——这可以通过出现在对象617周围的选择框619看出来，并且将对象617拖拽在对象621上——这于是通过由出现在对象621周围的选择框623来指示。然后，如图6C所示，GUI 601显示询问用户是否想要创建新组的文本框625，并且用户可使用拇指向下标志627来回答是，或者使用拇指向下图标629来回答否。如果用户决定创建组，那么图标617和621将结合在一起，并且可以为用户提示允许用户例如使用小键盘或键盘（例如，GUI上显示的透明小键盘/键盘，或设备自带的小键盘/键盘）创建所述组的标题和/或描述的另一文本框。然后，新创建的组图标可按与上述组图标417和513很相似的方式流过GUI 601。

此外，对象可包括元数据，所述元数据定义对象的某些特性，使得当选择对象时，系统于是可使用所选对象的元数据来搜索其他相似类型的对象或相关对象，并且然后在搜索期间找到的对象可流得更靠近所选对象，使得可为用户提供根据搜索期间找到的这些建议的对象来构建分组的机会。因此，利用这种“对象流”方法，用户于是可忽略所建议的对象、对所建议的对象分组、或踢出所建议的对象中的一些（如果用户不想要它们属于所述组的话）。

不存在对在屏幕的尺寸和形状限制的局限内可以定义在GUI的显示器屏幕上的源的数量的限制。对于典型的智能电话屏幕，一到六个资源可能是较好的估计；然而，如果用户确实希望，则可定义附加的源。还可以堆叠源（例如，类似于卡片堆叠），可使用一些手势或命令来打乱这些源的次序。所述堆叠上最顶部的可视的源是活动源，其向流产生对象。

如在图4A至4C，5，和6A至6C中所示的，GUI的基本操作非常简单和直接，因此创建自然和容易地抓住用户的接口。用户看见源和对象，并且可容易地学习在一个统一和简单接口中操作、访问、和控制它们。

所钉住的对象可保持静止，直到用户将其释放、移动到另一位置、从显示器屏幕移除等。所钉住的对象可以被自由地拖拽到显示器屏幕上任意合适的位置，并且如果需要的话可以被锁定在位置处，以阻止其从所钉住的位置的任何意外移动。

GUI是可定制的并且允许用户使用多种交互方法（例如语音或触摸）选择和操作对象和源。可通过选择链接到对象元数据的动作和/或功能来定义用于所选对象的规则。

两个或多个对象可以彼此相关联，以创建它们之间的链路。这种关联可触发两个或更多个链接对象之间的一些交互。此外，链接对象的两个或更多个分组可以彼此相关联，由此创建已经相关联的对象的这些分组之间的链路。分组可允许用户通过所述组中的单个对象来访问和操作相关联分组中的所有元素。

GUI呈现“流”向用户的数据和应用，使得用户可简单地像猎人一样等待并且当他或她发现目标时选择目标。因此，GUI通过非常自然和放松的访问数据的方式。此外，在这种配置中，用户不必准确知道他或她在寻找什么，并且可基于ad-hoc来访问数据和应用。GUI可几乎意外地触发一些用户动作，例如，用户可开始一些动作，这仅是因为他或她将移动穿过显示器的东西与用户正在生活的当前上下文相关联。所以，系统使用用户的智能性和能力以基于用户的上下文对事物进行关联。GUI提供工具给用户并且不尝试呈现得过于智能，这是机器无法智能到足够宽的感知以容易地预测没有理性的人类行为。

GUI支持对设备功能的自发的和没有理性的访问。然而，可基于使用频率和其他上下文数据来调整用于对象的流的出现和次序。所以，尽管流可能看起来是随机的，其具有一些确定的元素（例如，最频繁使用的联系人可能第一个流到显示器屏幕，或比较低频率使用的联系人更为经常地流到显示器屏幕上）。此外，非常不频繁使用的对象也可进入显示器屏幕，即使用户已经忘记了所述对象，由此支持对象的发现和再次发现。对于学些使用新的设备GUI也很理想，这是因为一些隐藏的功能将经由GUI来把它们的路径导航给用户，而不是周围的其他路径。

在正常使用期间，用户可将系统调整为他的或她喜好的样子，并且因此不需要单独的设备和配置菜单，而是可以由用户即时改变设置和配置。例如，用户可使用手势和/或语音来操作流，以及对象和源。GUI是动态的和自适应的，并且用户具有对其的完全的控制（例如，如果用户想要保持一些固定的对象等），使得用户可以决定允许GUI在对象/源的操作中的多大自由度使用动态对象流使得更好地处理大量的对象。用户可从单个接口访问不同的功能和任务，而不需要在不同的应用之间切换。可以避免和至少减少复杂的分级菜单系统和视图切换。GUI可以是使用设备的数据和应用的有趣的和有意思的方式，并且可总是将一些可能不注意的东西提供给用户。GUI是宽容的，例如无趣的对象可简单地流走，不会在没有用户允许的情况下留在显示器屏幕中。GUI提供新的刺激物给用户，所述刺激物允许用户在各种对象之间做出新的关联。人类联想甚至是非常不理性的，因此需要来自GUI的一些部分随机的刺激物，其不是由纯静态GUI所提供的。由于通告可以像流体对象的剩余部一样动作，例如通过使得通告对象流入和流出显示器屏幕（例如，可以从远程服务器，例如从用户已经使用的服务/产品提供商，将这种对象提供给GUI），GUI还非常适于任意通告目的。此外，例如，通过点击到屏幕之外或访问它们来对这种通告活动地投票或评分，用户可提供对这种通告的反馈。这种协作和用户控制对用户和通告者是有益的。

可以有利地经由软件、硬件（例如，通用处理器、数字信号处理器（DSP）芯片、专用集成电路（ASIC）、现场可编程门阵列（FPGA）等）、固件或其组合，来实现此处介绍的用于在用于提供流体图形用户接口的过程。下面会详述用于执行所介绍的功能的这种示例性硬件。

图7描述了可以实现本发明的实施方式的计算机系统700。尽管关于特定设备或装备描述了计算机系统700，但是可以预期的是，图7中的其它设备或装备（例如，网络元件、服务器等）可利用所描述的系统700的硬件和元件。计算机系统700被编程（例如，通过计算机程序代码或指令）以提供这里描述的流体图形用户接口，并且计算机系统700包括例如总线710的通信机制，用于在计算机系统700的其它内部和外部组件之间传递信息。将信息（也称为数据）表示为可测量的现象的物理表达，典型的是电压，但是在其它实施方式中可包括诸如磁、电磁、压力、化学、生物、分子、原子、亚原子（subatomic）和量子交互的现象。例如，北极和南极磁场、或零和非零电压，表示二进制数字（比特）的两个状态（0，1）。其它现象可表示更高基数的数字。在测量前多个同时发生的量子状态的叠加表示一个量子比特（量子位）。一个或多个数字的序列构成用于表示数字或字符代码的数字数据。在一些实施例中，被称为模拟数据的信息由特定范围内的可测量值的近似闭联集表示。计算机系统700，或其一部分，构成提供流体图形用户接口的一个或多个步骤的部件。

总线710包括一个或多个并行的信息导线，从而在与总线710耦合的设备间快速地传送信息。用于处理信息的一个或多个处理器702与总线710耦合。

处理器702对由与提供流体图形用户接口相关的计算机程序代码指定的信息执行一系列操作。计算机程序代码是为处理器和/或计算机系统执行特定功能的操作提供指令的指令或声明的集合。例如，代码可用被编译成处理器的本地指令集的计算机编程语言进行编写。代码还可直接使用原始指令集（例如，机器指令）进行编写。操作集包括从总线710获取信息并将信息放在总线710上。操作集还典型地包括比较两个或多个信息单元，对信息单元的位置进行移位，以及将两个或多个信息单元合并，例如通过加、乘、或诸如或、异或（XOR）和与的逻辑操作。通过被称为指令的信息，将可由处理器执行的操作集的每个操作描述给处理器，例如一个或多个数字的操作代码。操作序列可由处理器702执行，例如操作代码序列构成处理器指令，也被称为计算机系统指令、或简单地称为计算机指令。以独立方式或结合方式，处理器可实现为机械、电、磁、光、化学或量子组件。

计算机系统700还包括与总线710耦合的存储器704。诸如随机存取存储器（RAM）或其它动态存储设备的存储器704，存储包括用于用于提供流体图形用户接口的处理器指令的信息。动态存储器允许通过计算机系统700交换在动态存储器中存储的信息。RAM允许独立于相邻地址的信息，对存储在被称为存储地址的位置上的信息单元进行存储和检索。在处理器指令执行过程中，处理器702还使用存储器704存储临时值。计算机系统700还包括与总线710耦合的只读存储器（ROM）706或其它静态存储设备，用于存储包括不被计算机系统700改变的指令的静态信息。一些存储器包括当失去电力时丢失存储在其上的信息的易失性存储器。与总线710耦合的还有用于存储包括指令的信息的非易失性（持久）存储器708，例如磁盘、光盘或闪存卡，其即使在计算机系统700关闭或丢失电力时也会保持信息。

从诸如包含由人类用户操作的字符键的键盘或传感器的外部输入设备712，将包括用于提供流体图形用户接口的指令的信息提供给总线710以由处理器使用。传感器检测其附近的条件，并将这些检测转换为与用于在计算机系统700表示信息的可测量现象相兼容的物理表达。与总线710耦合、主要用于与人类交互的其它外部设备包括：用于呈现文本或图像的诸如阴极射线管（CRT）、液晶显示器（LCD）、等离子体屏幕或打印机的显示设备714；或用于控制呈现在显示器714上的小光标图像的位置、并发出与呈现在显示器714上图形元素相关的命令的诸如鼠标、轨迹球、光标方向键、或移动传感器的定点（pointing）设备716。在一些实施方式中，例如，在计算机系统700在没有人类输入的情况下自动执行各种功能的实施方式中，可省略外部输入设备712、显示设备714和定点设备716中的一个或多个。

在所示出的实施方式中，诸如专用集成电路（ASIC）720的专用目的硬件与总线710耦合。为了专用目的，将专用目的硬件配置为足够快地执行不由处理器702执行的操作。应用专用IC的实例包括用于为显示器714产生图像的图形加速卡，用于对通过网络发送的消息进行加密和解密的加密板、语音识别、专用外部设备的接口，例如用硬件实现更有效地重复执行一些复杂的操作序列的机械臂和医疗扫描设备。

计算机系统700还包括与总线710耦合的通信接口770的一个或多个示例。通信接口770提供与利用它们自己的处理器进行操作的多个外部设备的单向或双向通信耦合，外部设备例如打印机、扫描仪和外部磁盘。通常，耦合是利用与本地网络780连接的网络链路778，其中多个具有它们自己处理器的外部设备与本地网络780连接。例如，通信接口770可以是个人计算机上的并口、串口或通用串行总线（USB）端口。在一些实施方式中，通信接口770是综合业务数字网络（ISDN）卡、数字用户线路（DSL）卡或提供与相应类型的电话线的信息通信连接的电话调制解调器。在一些实施方式中，通信接口770是将总线710上的信号转换为用于通过同轴电缆进行通信连接的信号或用于通过光纤电缆进行通信连接的光信号的电缆调制解调器。如另一实施例，通信接口770可以是为诸如以太网的可兼容局域网提供数据通信连接的局域网（LAN）卡。还可实现无线链路。对于无线链路，通信接口770发送、接收、或发送和接收携带诸如数字数据的信息流的电、声、或电磁信号，包括红外和光信号。例如，在无线手持设备中，例如诸如蜂窝电话的移动电话，通信接口770包括被称为无线电收发器的无线电波段电磁发射机和接收机。在特定实施方式中，通信接口770能够实现到通信网络105的连接以用于提供流体图形用户接口给UE101A…101N或UE 103。

这里使用的术语“计算机可读介质”涉及参与给处理器702提供信息（包括用于执行的指令）的任何介质。这样的介质可采用许多形式，包括但不局限于，计算机可读存储介质（例如，非易失性媒体、易失性媒体）和传输媒体。诸如非易失性媒体的非暂态媒体，例如包括诸如存储设备708的光盘或磁盘。易失性媒体例如包括动态存储器704。传输媒体例如包括同轴电缆、铜线、光纤电缆、通过空中传播不需要线路或电缆的载波，例如声波和包括无线电、光波和红外波的电磁波。信号包括在幅度、频率、相位、极性或通过传输媒体传输的其它物理属性上的人工瞬时变化。计算机可读媒体的通常形式例如包括软盘、软碟、硬盘、磁带、任何其它磁介质、CD-ROM、CDRW、DVD、任何其它光介质、穿孔卡、纸带、光学测标页（optical mark sheet）、具有孔或其它光学可识别标记的任何其它物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其它存储器芯片或卡式磁带机、载波、或计算机可读的任何其它介质。这里使用的术语计算机可读存储介质涉及除传输媒体之外的任何计算机可读介质。

在一个或多个有形的媒体中进行编码的逻辑包括在计算机可读存储媒体上的处理器指令和诸如ASIC 720的专用目的硬件中的一个或两个。

网络链路778典型地通过一个或多个网络使用传输媒体将信息通信提供给使用或处理该信息的其它设备。例如，网络链路778可通过本地网络780提供到主机计算机782或到由互联网服务提供商（ISP）运营的设备784的连接。ISP装备784从而通过现在通常被称为互联网790的网络中的公共的、全球分组交换通信网络提供数据通信服务。

与互联网连接的被称为服务器主机792的计算机驻留响应于通过互联网接收的信息而提供服务的过程。例如，服务主机792托管这样的过程，所述过程提供用于在显示器714上呈现表示视频数据的信息。可以预期的是，可在诸如主机782和服务器792的其他计算机系统中以各种配置方式来部署系统700的组件。

本发明的至少一些实施例与用于实现这里描述的一些或全部技术的计算机系统700的使用相关。根据本发明的一个实施例，响应于处理器702执行包含在存储器704中的一个或多个处理器指令的一个或多个序列，由计算机系统700执行这些技术。也被称为计算机指令、软件和程序代码的这种指令可从诸如存储设备708或网络链路778的另一计算机可读介质读入到存储器704。包含在存储器704中的指令序列的执行致使处理器702执行这里描述的方法步骤中的一个或多个。在可替换的实施例中，诸如ASIC 720的硬件可用于替换实现本发明的软件或与实现本发明的软件结合。从而，本发明的实施方式不局限于硬件和软件的任何特定组合，除非在这里明确声明。

通过网络链路778和通过通信接口770的其它网络传输的信号携带去往和来自计算机系统700的信息。计算机系统700可通过网络780、790（其中通过网络链路778和通信接口770）发送和接收包括程序代码的信息。在使用互联网790的实施例中，服务器主机792通过互联网790、ISP设备784、本地网络780和通信接口770，传输用于由计算机700发送的消息所请求的特定应用的程序代码。所接收的代码可由处理器702在接收时执行，或可存储在存储器704或存储设备708或其它非易失性存储器中以用于稍后的执行，或者两者。在该方式下，计算机系统700可以按载波上信号的形式获得应用程序代码。

计算机可读媒体的各种形式可涉及在将一个或多个指令序列或数据或两者携带给处理器702以用于执行。例如，指令和数据初始可由诸如主机782的远程计算机的磁盘携带。远程计算机将指令和数据装载入其动态存储器中，并使用调制解调器通过电话线发送指令和数据。位于计算机系统700本地的调制解调器在电话线上接收指令和数据，并使用红外发射机将指令和数据转换为用作网络链路778的红外载波上的信号。用作通信接口770的红外检测器接收在红外信号中携带的指令和数据，并将表示指令和数据的信息放置在总线710上。总线710将信息携带到存储器704，处理器702从存储器704获取指令并且通过使用随指令发送的一些数据执行指令。在存储器704中接收的指令和数据可任选的存储在存储设备708上，可在处理器702执行之前或之后。

图8描述了在其上可以实现本发明实施方式的芯片集800。芯片集800被编程为如这里描述的提供流体图形用户接口，并且例如包括相对于图7所描述的被结合一个或多个物理封装（例如，芯片）的处理器和存储组件。通过示例的方式，物理封装包括在结构组装（例如，基板）上的一个或多个材料、组件、和/或导线的安排，从而提供诸如物理强度、大小恒定和/或电子交互限制的一个或多个特性。可以预期的是，在特定的实施方式中，芯片集可在单一的芯片上实现。芯片集800，或者其一部分，构成用于提供流体图形用户接口的一个或多个步骤的部件。

在一个实施例中，芯片集800包括诸如用于在芯片集800的组件之间传递信息的总线801的通信机制。处理器803具有与总线801的连通性以执行例如存储在存储器805中的指令和过程信息。处理器803可包括一个或多个处理核心，其中将每个核心配置为独立地执行。多核心处理器能够在单一物理封装中进行多处理。多核心处理器的实施例包括两个、四个、八个或更多个处理核心。可替换地或另外地，处理器803可包括一个或多个通过总线801串联配置的微处理器，以便能够独立地执行指令、流水线和多线程。处理器803还可与一个或多个专用组件结合以执行特定的处理功能和任务，例如一个或多个数字信号处理器（DSP）807、或一个或多个专用集成电路（ASIC）809。典型地，将DSP 807配置为与处理器803独立地实时处理真实世界的信号（例如，声音）。相似地，可将ASIC 809配置为执行不能由通用处理器容易地执行的专用功能。这里描述的有助于执行本发明功能的其它专用组件包括一个或多个现场可编程门阵列（FPGA）（没有示出）、一个或多个控制器（没有示出）、或一个或多个其它专用目的计算机芯片。

处理器803和附带的组件具有经由总线801的与存储器805的连通性。存储器805包括用于存储可执行指令的动态存储器（例如，RAM、磁盘、可写光盘等）和静态存储器（例如，ROM、CD-ROM等），其中在执行可执行指令时执行这里描述的创造性步骤以提供流体图形用户接口。存储器805还存储与创造性步骤的执行相关的数据或由创造性步骤的执行所产生的数据。

图9是根据一个实施例的能够在图1的系统中进行操作的用于通信的移动终端（例如，手持机）的示例性组件的示意图。在一些实施例中，移动终端900或其一部分，构成提供流体图形用户接口的一个或多个步骤的部件。一般地，通常按照前端和后端特性对无线电接收机进行限定。接收机的前端包括全部的射频（RF）电路，而后端包括全部的基带处理电路。如在本申请中所使用的，术语“电路”涉及（1）仅为硬件实现方式（例如仅在模拟和/或数字电路中的实现方式），和（2）电路和软件（和/或固件）的结合（例如，如果应用于特定上下文，将共同工作的包括数字信号处理器的处理器、软件和存储器结合在一起以致使诸如移动电话或服务器的装置执行各种功能）。该“电路”的定义应用于在该申请中对该术语的全部使用，包括任何权利要求。如另一实施例，如在该申请中使用的并且如果可应用于特定的上下文，则术语“电路”还可覆盖仅由处理器（或多个处理器）和其（或它们的）相应的软件/固件的实现方式。术语“电路”还可覆盖可应用于特定上下文的情况，例如蜂窝网络设备或其它网络设备中的移动电话或相似集成电路中的基带集成电路或应用处理器集成电路。

电话的相关内部组件包括主控制单元（MCU）903、数字信号处理器（DSP）905、和包括麦克风增益控制单元和扬声器增益控制单元的接收机/发射机单元。主显示器单元907给用户提供显示以支持执行或支持提供流体图形用户接口的步骤的各种应用和移动终端功能。显示器9包括配置为在移动终端（例如，移动电话）的用户接口的至少一部分上进行显示的显示器电路。此外，将显示器907和显示器电路配置为便于移动终端的至少一些功能的用户控制。音频功能电路909包括麦克风911和将从麦克风911输出的语音信号进行放大的麦克风放大器。将从麦克风911输出的经放大的语音信号馈送给编码器/解码器（CODEC）913。

无线电部分915对功率进行放大，并对频率进行转换，以便通过天线917与包括在移动通信系统中的基站进行通信。功率放大器（PA）919和发射机/调制电路可操作地对MCU 903进行响应，将来自PA 919的输出耦合至双工器921或循环器（circulator）或天线开关，这是现有技术公知的。PA 919还与电池接口和功率控制单元920耦合。

在使用中，移动终端901的用户对麦克风911说话，且他或她的语音连同任何检测到的背景噪声被转换为模拟电压。从而通过模拟数字转换器（ADC）923将模拟电压转换为数字信号。控制单元903将数字信号路由到DSP 905中以在DSP 905中进行处理，例如语音编码、信道编码、加密和交织。在一个实施方式中，通过没有单独示出的单元，使用诸如全球演进（EDGE）、通用分组无线服务（GPRS）、全球移动通信系统（GSM）、互联网多媒体子系统（IMS）、通用移动通信系统（UMTS）等蜂窝传输协议，以及诸如微波接入（WiMAX）、长期演进（LTE）网络、码分多址（CDMA）、宽带码分多址（WCDMA）、无线保真（WiFi）、卫星等的其它合适的无线介质，对处理的语音信号进行编码。

随后，将编码的信号路由到均衡器925，以便对在通过空中传输过程中发生的诸如相位和幅度失真的任何频率相关损耗进行补偿。在对比特流进行均衡后，调制器927将信号与在RF接口929中产生的RF信号结合。调制器927通过频率或相位调制产生正弦波。为了准备用于传输的信号，上变频器931将从调制器927输出的正弦波与由合成器933产生的另一正弦波组合，以获得期望的传输频率。从而将信号通过PA 919进行发送，以使信号增加到合适的功率水平。在实际的系统中，PA 919作为可变增益放大器，由DSP 905通过网络基站接收的信息来控制PA 919的增益。从而在双工器921中信号进行滤波，并可选择性地发送给天线耦合器935以进行阻抗匹配，从而提供最大功率的传送。最后，经由天线917将信号发送给本地基站。可供应自动增益控制（AGC）以控制接收机最后阶段的增益。可将信号由这里转发到远端电话，其可以是另一蜂窝电话、其它移动电话或与公共交换电话网络（PSTN）或其它电话网络连接的固定电话。

通过天线911接收被传输给移动终端901的语音信号，并立即由低噪声放大器（LNA）937放大。下变频器939降低载波频率，且解调器941去除RF，只留下数字比特流。随后信号通过均衡器925，并由DSP 905进行处理。数模转换器（DAC）943对信号进行转换，并将相应的输出通过扬声器945传输给用户，所有的操作都在主控制单元（MCU）903的控制下，其中主控制单元可实现为中央处理单元（CPU）（在图中没有示出）。

MCU 903从键盘947接收包括输入信号的各种信号。与其它用户输入组件（例如，麦克风911）结合的键盘947和/或MCU 903包括用于管理用户输入的用户接口电路。MCU 903运行用户接口软件，便于对移动终端的至少一些功能的用户控制，以用于提供流体图形用户接口。MCU 903还分别将显示命令和切换命令递送给显示器907和语音输出切换控制器。此外，MCU 903与DSP 905交换信息，并可选择地访问所结合的SIM卡949和存储器951。此外，MCU 903执行终端要求的各种控制功能。DSP 905可根据实现方式在语音信号上执行任何种类的传统数字处理功能。此外，DSP 905从麦克风911检测的信号确定本地环境的背景噪声水平，并为将麦克风911的增益设置为所选的水平，以补偿移动终端901的用户的自然倾向（tendency）。

CODEC 913包括ADC 923和DAC 943。存储器951存储包括呼叫进入语音数据的各种数据，并能够存储包括从全球互联网接收的音乐数据的其它数据。软件模块可驻留在RAM存储器、闪存存储器、寄存器、或现有技术中已知的其它任何形式的可写入存储介质。存储设备951可以是，但不局限于，单一存储器、CD、DVD、ROM、RAM、EEPROM、光学存储器、或能够存储数字数据的其它任何非易失性存储介质。

例如，可选择地结合的SIM卡949携带重要的信息，例如蜂窝电话号码、支持服务的载波、订阅细节和安全信息。SIM卡949主要用于在无线电网络上识别移动终端901。卡949还包含用于存储个人电话号码注册、文本消息和用户专用移动终端设置的存储器。

尽管结合多个实施方式和实现方式介绍了本发明，但是本发明不局限于此，而是可覆盖落入所附权利要求范围的各种明显修改和等价安排。尽管本发明的特征在权利要求中以特定的组合进行表达，但可以预期的是，这些特征可以按任意的组合和顺序进行安排。

Claims (22)

1.一种用于流体图形用户接口的方法，包括：

至少部分地致使在图形用户接口上对可选对象的显示，其中可选对象中的每一个对应于经由图形用户接口可访问的数据或应用；

至少部分地致使基于可选对象或上下文相关数据的分类，对处于穿过所述图形用户接口的移动中的可选对象进行显示；以及

允许对图形用户接口上显示的可选对象的用户选择和操作，

其中所述用户选择和操作包括允许用户选择所述可选对象中的第一可选对象，以及移除正在所述图形用户接口上显示的所述第一可选对象，

其中对于所移除的第一可选对象的随后显示，相比于其他可选对象，所移除的第一可选对象的显示优先级被降低。

2.根据权利要求1所述的方法，其中所述用户选择和操作包括允许用户选择可选对象中的第一可选对象，并且将所述第一可选对象移动到图形用户显示接口上的区域，以用作第一分类，所述方法进一步包括：

至少部分地致使显示处于穿过所述图形用户接口的移动中的分类可选对象，所述分类可选对象与所述第一可选对象的第一分类相关。

3.根据权利要求1所述的方法，其中所述用户选择和操作包括：允许用户选择所述可选对象中的第一可选对象，并且将所述第一可选对象固定在图形用户接口上的位置处。

4.根据权利要求3所述的方法，其中所述用户选择和操作进一步包括：允许用户激活所述第一可选对象的媒体回放。

5.根据权利要求3所述的方法，其中所述用户选择和操作进一步包括：允许用户激活与所述第一可选对象相关联的编辑器或查看器。

6.根据权利要求1所述的方法，其中所述用户选择和操作包括：允许用户选择所述可选对象中的第一可选对象，并且将所述第一可选对象与所述可选对象中的第二可选对象相关联。

7.根据权利要求6所述的方法，进一步包括:

至少部分地致使一起显示处于穿过图形用户接口的移动中的相关联的第一可选对象和第二可选对象。

8.根据权利要求1所述的方法，其中在移动设备上提供所述图形用户接口，并且其中通过出现在所述图形用户接口的第一相应侧，移动穿过所述图形用户接口，并且然后在所述图形用户接口的第二相应侧消失，来致使显示所述可选对象处于移动中，所述方法进一步包括：

允许用户设置所述可选对象的移动，所述用户设置包括移动速度、移动方向和致使被同时显示的可选对象的数量。

9.根据权利要求1所述的方法，其中在移动设备上提供所述图形用户接口，并且其中所述可选对象被致使基于移动设备的上下文数据，被显示为处于穿过所述图形用户接口的移动中，并且其中在所述图形用户接口上显示的可选对象的用户选择和操作允许对一个或多个可选对象的移动的控制。

10.根据权利要求1所述的方法，其中在移动设备上提供所述图形用户接口，并且其中致使处于穿过所述图形用户接口的移动中的所显示的一个或多个可选对象，被显示为来自使用移动设备可访问的所有可选对象的集合的随机选择。

11.根据权利要求1所述的方法，其中通过用户选择的动作和/或通过链接到各个可选对象的元数据的功能来定义在图形用户接口上显示的可选对象的操作。

12.一种用于流体图形用户接口的装置，包括：

用于至少部分地致使在图形用户接口上对可选对象的显示的模块，其中可选对象中的每一个对应于经由图形用户接口可访问的数据或应用；

用于至少部分地致使基于可选对象或上下文相关数据的分类，对处于穿过所述图形用户接口的移动中的可选对象进行显示的模块；以及

用于允许对图形用户接口上显示的可选对象的用户选择和操作的模块，

其中所述用户选择和操作包括允许用户选择所述可选对象中的第一可选对象，以及移除正在所述图形用户接口上显示的所述第一可选对象，

其中对于所移除的第一可选对象的随后显示，相比于其他可选对象，所移除的第一可选对象的显示优先级被降低。

13.根据权利要求12所述的装置，其中所述用户选择和操作包括允许用户选择可选对象中的第一可选对象，并且将所述第一可选对象移动到图形用户显示接口上的区域，以用作第一分类，并且其中进一步致使所述装置至少部分地：

显示处于穿过所述图形用户接口的移动中的分类可选对象，所述分类可选对象与所述第一可选对象的第一分类相关。

14.根据权利要求12所述的装置，其中所述用户选择和操作包括：允许用户选择所述可选对象中的第一可选对象，并且将所述第一可选对象固定在所述图形用户接口上的位置处。

15.根据权利要求14所述的装置，其中所述用户选择和操作进一步包括：允许用户激活所述第一可选对象的媒体回放。

16.根据权利要求14所述的装置，其中所述用户选择和操作进一步包括：允许用户激活与所述第一可选对象相关联的编辑器或查看器。

17.根据权利要求12所述的装置，其中所述用户选择和操作包括：允许用户选择所述可选对象中的第一可选对象，并且将所述第一可选对象与所述可选对象中的第二可选对象相关联。

18.根据权利要求17所述的装置，进一步包括:用于一起显示处于穿过图形用户接口的移动中的相关联的第一可选对象和第二可选对象的模块。

19.根据权利要求12所述的装置，其中所述装置被实现在移动设备中，并且其中通过出现在所述图形用户接口的第一相应侧，移动穿过所述图形用户接口，并且然后在所述图形用户接口的第二相应侧消失，来致使显示所述可选对象处于移动中，其中所述装置进一步包括：

用于允许用户设置所述可选对象的移动的模块，所述用户设置包括移动速度、移动方向和致使被同时显示的可选对象的数量。

20.根据权利要求12所述的装置，其中所述装置被实现在移动设备中，并且其中所述可选对象被致使基于移动设备的上下文数据，被显示为处于穿过所述图形用户接口的移动中，并且其中在所述图形用户接口上显示的可选对象的用户选择和操作允许对一个或多个可选对象的移动的控制。

21.根据权利要求12所述的装置，其中所述装置被实现在移动设备中，并且其中致使处于穿过所述图形用户接口的移动中的所显示的一个或多个可选对象，被显示为来自使用移动设备可访问的所有可选对象的集合的随机选择。

22.根据权利要求12所述的装置，其中通过用户选择的动作和/或通过链接到各个可选对象的元数据的功能来定义在图形用户接口上显示的可选对象的操作。