CN107111441A - 多级用户界面 - Google Patents

Abstract

通过基于辨别用户意图在多个上下文相关的级中在设备上展现用户界面（UI）元素或者功能而改进人类设备交互。检测指针关于设备的出现、定位、朝向、方向或者行进的速率的三维传感器可以提供所述用户与所述设备上的UI元素交互的意图的指示标。如果所述用户不是正在活跃地在所述设备上导航，则可以显露之前未被显示的上下文相关的UI元素或者行动，并且已显示的元素可以被移除。如果所述用户然后维持或者收窄他们在刚才展现的具体UI元素之上或者附近处的聚焦，则可以展现UI元素或者效果的第二或者随后的层。可以随着所述用户与已显露的元素交互而呈现多级隐蔽式 UI分层中的随后的更深的层。

Description

多级用户界面

背景技术

计算机具有显示器，用户与所述显示器交互。显示器一般具有例如是按钮、链接或者其它用户界面（UI）控件的视觉可见性（affordance）。这些视觉可见性是任何用户界面中的重要的可用性辅助。在没有视觉可见性的情况下，用户可能不知道什么交互是可能的或者如何使用设备。因此，显示器倾向于以持续性的方式呈现UI元素。然而，存在其中示出显示持续性的UI“镶边（chrome）”（例如，按钮、图标）是不可取的情形。例如，特别是对于较小的设备（例如，智能电话）来说，设备的显示器上的全部的可提供的实际使用面积（realestate）对于显示内容来说可能是期望的。

常规的方法尝试通过在系统确定UI元素不被需要时临时地隐瞒该元素来解决有限的屏幕空间被持续性的UI镶边消耗的问题。常规的方法可以在系统确定UI元素可能被需要时有选择地显露该元素。例如，系统可以接受用于显露UI元素的用户输入（例如，从屏幕的左侧到屏幕的右侧的滑动手势）。这些召回交互（recall interaction）是缓慢的，并且可能要求用户仅仅为了透露UI元素而学习抽象和隐藏的交互。

一些常规系统将一些直观的用户行动解释为是对于显示UI元素的请求。例如，在用户正在智能电话上观看视频时，如果智能电话检测到屏幕上的触摸，则视频应用、操作系统、应用或者智能电话可以显露用于控制该应用的DVR样的控件。在用户触摸电影正在其上播放的屏幕时，可以为用户呈现包括开始、停止、回退和快进的按钮。尽管这些“与屏幕交互”界面是对于抽象或者隐藏的交互的改进，但用户/设备交互倾向于是单步交互，其呈现用户界面元素的固定单个层级的具有小的有限的集合的可能性。

发明内容

提供本概要以便以简化形式介绍下面在详细说明中进一步描述的概念的选择。本概要不旨在标识所要求保护的主题的关键特征或者必要特征，其也不旨在被用于限制所要求保护的主题的范围。

示例装置和方法通过基于辨别用户意图在多个上下文相关的级中展现UI元素或者功能来对用于人类对设备交互的常规方法进行改进。示例装置和方法可以依赖于检测指针（例如，用户的手指、器械、手写笔、笔）的出现、定位、朝向、行进方向或者行进速率的三维（3D）触摸或者悬停传感器。3D传感器可以提供信息，可以根据所述信息作出关于用户正在界面的哪个对象、元素或者区域处指点、作手势或者以其它方式与之交互的确定，或者所述信息指示与其交互的意图。如果用户还未活跃地在设备上导航，则示例装置和方法可以显露（例如显示）之前未被显示的上下文相关的UI元素或者行动。例如，如果用户正在观看视频，则可以显示视频控件元素的顶层。与常规的系统不同，如果用户然后维持或者收窄他们在刚才展现的具体UI元素之上或者附近处的聚焦，则可以显露第二或者随后的层的视频控件元素或者效果。可以随着用户与被显露的元素交互而呈现分层中的随后的更深的层。

示例装置和方法可以促进与范围更宽的UI元素、控件或者效果的改进的、更快的并且更直观的交互，而不要求可能是难以发现或者学习的持续性屏上可见性或者隐藏的手势。在检测屏幕触摸或者手势时展现的单层控件是公知的。在检测屏幕触摸或者手势时有选择地显示的这些控件可以被称为“隐蔽式（shy）”控件。示例装置和方法通过提供基于包括触摸、悬停、触觉或者语音交互的输入以上下文敏感的方式展现的多层隐蔽式控件和效果对这些单层的基于触摸的方法进行改进。悬停敏感的界面可以不仅检测用户手指的出现，而且还检测手指正在指点的角度、手指正在移动的速率、手指正在移动的方向或者手指的其它属性。因此，可以对更高阶的输入空间进行分析以确定用户关于用户界面元素的意图，而不是进行二元｛触摸：是/否｝状态检测。3D接近度传感器可以确定用户意图于与哪个对象或者屏幕位置交互，并且然后可以检测并且表征该交互的多个属性。

附图说明

附图图示了本文中描述的各种示例装置、方法和其它实施例。应当认识到，图中的所图示的元素边界（例如，方框、方框的组或者其它形状）表示边界的一个示例。在一些示例中，一个元素可以被设计为多个元素，或者多个元素可以被设计为一个元素。在一些示例中，被示为另一个元素的内部组件的元素可以被实现为外部组件，并且反之亦然。此外，元素可以不是按比例绘制的。

图1图示了未显示任何用户界面元素的示例设备。

图2图示了显示来自多级隐蔽式用户界面（multi-stage shy user interface，MSSUI）的用户界面元素的第一层级的示例设备。

图3图示了显示来自MSSUI的用户界面元素的示例设备。

图4图示了显示与来自MSSUI的用户界面元素的第二层级相关联的效果的示例设备。

图5图示了与对MSSUI进行管理相关联的示例方法。

图6图示了与对MSSUI进行管理相关联的示例方法。

图7图示了MSSUI可以在其中操作的示例云操作环境。

图8是描绘可以支持MSSUI的示例性移动通信设备的系统图。

图9图示了用于对MSSUI进行管理的示例装置。

图10图示了用于对MSSUI进行管理的示例装置。

图11图示了具有触摸和悬停敏感性的示例设备。

图12图示了显示与MSSUI中的用户界面元素相关联的第一预览的示例设备。

图13图示了显示与MSSUI中的用户界面元素相关联的预览的示例设备。

图14图示了显示与来自MSSUI的用户界面元素相关联的更深的预览效果的示例设备。

图15图示了显示用户界面的示例设备。

图16图示了显示用户界面的示例设备。

图17图示了显示用户界面的示例设备。

具体实施方式

示例装置和方法通过提供多级隐蔽式用户界面（MSSUI）来对用于人类对设备交互的常规方法进行改进，所述多级隐蔽式用户界面（MSSUI）允许用户在如下这样的前提下操作，即：简单地利用指针逼近屏幕将展现针对给定上下文的全部必要和相关的信息。

图1图示了未显示用户界面元素的设备100。电影120可以正在设备100上播放。用户可以使他们的手指110被定位得远离设备100，并且因此手指110可能并非在与设备100或者电影120交互。

图2图示了显示来自MSSUI的用户界面元素的第一层级的设备100。随着手指110逼近设备100，用户界面元素210、用户界面元素220和用户界面元素230被呈现给用户。用户界面元素210、220和230可以表示MSSUI的顶层。用户界面元素210、220和230可以表示在特定时间点处最可能是相关于与电影120或者设备100的用户交互的行动。用户交互可以至少部分上取决于用户交互上下文，用户交互上下文进而又至少部分上取决于与设备100、操作系统、应用（例如，电影查看器）或者被显示在设备100上的对象（例如，电影120）相关联的状态。

图3图示了用户已将他们的手指110定位在用户界面元素230附近之后的设备100。尽管用户界面元素230可以一般地描述“向前移动”行动，但示例装置和方法允许用于向前移动的更精细和直观的方法。例如，响应于用户在预定的时段内在元素230上悬停或者触摸元素230，可以在显示器上显露用户界面元素232、用户界面元素234和用户界面元素236。可以从显示器移除用户界面元素220和210。用户界面元素232将允许用户以第一速率在电影120中向前移动，用户界面元素234可以允许用户以第二速率在电影120中向前移动，以及用户界面元素236可以允许用户一路移动到电影120的结尾。在一个实施例中，用户界面元素230也可能已经从显示器移除。

图4图示了显示被应用于来自MSSUI的元素的效果的设备100。用户可以在用户界面元素220上来回地移动他们的手指110以指示他们想要停止电影120并且然后逐帧地移动。可以通过手指110在不同方向上移动的不同速率、手指110是在元素220的右侧还是左侧、或者基于其它属性来确定电影120是向前移动还是向后移动。尽管描述了来回地移动手指110，但可以使用其它的手势或者交互。例如，手指110可以在用户界面元素之上或者附近画圆形或者其它形状，或者手指110可以朝向或者远离设备100移动。

就算法和对存储器内的数据比特的操作的符号表示而言呈现了下面的详细说明的一些部分。这些算法描述和表示被本领域的技术人员用于向其它人传达他们的工作的实质。算法被看作产生结果的操作的序列。操作可以包括创建和操纵可以采用电子值形式的物理量。创建或者操纵采用电子值形式的物理量产生具体的、有形的、有用的、真实的结果。

主要由于常用的原因，有时已证明将这些信号称为比特、值、元素、符号、字符、项、数字和其它术语是方便的。然而应当记住，这些和类似的术语将与合适的物理量相关联，并且只是应用于这些量的方便的标记。除非以其它方式专门指出，否则应当认识到，贯穿本描述，包括处理、计算和确定的术语指操纵和变换被表示为物理量的数据（例如，电子值）的计算机系统、逻辑、处理器或者类似的电子设备的行动和过程。

可以参考流程图更好地认识示例方法。为简单起见，所图示的方法被示为和描述为一系列方框。然而，方法可以不受方框的次序的限制，因为在一些实施例中方框可以按照与所示和描述的次序不同的次序出现。此外，可以要求比全部所图示的方框更少的方框用于实现示例方法。方框可以被合并或者拆分成多个组件。此外，额外的或者替换的方法可以使用额外的、未图示的方框。

图5图示了用于对多级隐蔽式用户界面（MSSUI）进行管理的示例方法500。方法500在设备的显示器上呈现MSSUI元素。方法500包括在510处接收用户与多级隐蔽式 UI的第一层级交互的意图的第一电子指示标。一旦第一电子指示标已被接收，则方法500包括在520处有选择地在显示器上显示当前未在显示器上显示的第一元素。第一元素可以是与MSSUI的第一层级相关联的。可以至少部分上基于第一电子指示标和用户交互上下文选择第一元素。

第一电子指示标可以采用不同的形式。在一个实施例中，第一电子指示标可以是响应于指针逼近显示器或者指针指向显示器的预定义的部分而被生成的悬停事件。指针可以例如是用户的手指、笔、手写笔或者其它器械。指针可以是有源的（例如，LED）或者无源的（例如，手指）物品。预定义的定位可以是固定的定位（例如，显示器的下三分之一），或者可以是相对的定位（例如，在被显示在屏幕上的最大的物品的一英寸内）。在计算时，事件是由程序检测的、可以被该程序处置的行动或者发生的事情。通常，与程序流同步地对事件进行处置。在被同步地处置时，程序可以具有其中事件被处置的专用地方。可以例如在事件循环中对事件进行处置。事件的典型的源包括用户按压键、触摸界面、执行手势或者采取另一个用户界面行动。事件的另一个源是诸如是定时器的硬件设备。程序可以触发它自己的定制的事件集合。响应于事件而改变其行为的计算机程序被称为是事件驱动的。

在不同的实施例中，第一电子指示标可以包括响应于指针触摸显示器而被生成的触摸事件、响应于指针作出与显示器相关联的触摸或者悬停手势而被生成的手势事件、响应于用户移动（例如，摇晃）设备而被生成的触觉事件、或者响应于用户口头地与设备交互而被生成的语音事件。可以例如作为寄存器中的值、存储器中的值、信号线上的电压、信号线上的电流或者其它电子信号提供第一电子指示标。第一电子指示标可以提供定位信息，并且可以提供启动（例如，现在开始）信息。因此，方法500允许响应于用户启动的行动按需显示用户界面元素，而不是持续性地显示用户界面镶边。

用户交互上下文可以例如涉及如至少部分上被用户控制的正在设备上执行的任务。用户交互上下文例如可以描述与操作系统、应用、事件句柄或者在设备上运行的其它进程相关联的状态信息。用户交互上下文例如可以还描述与导航通过MSSUI相关联的状态信息。在一个实施例中，可以至少部分上通过当前被显示在显示器上的对象的集合确定用户交互上下文。额外地或者替换地，可以至少部分上通过指针与被显示在显示器上的一个或多个对象之间的关系确定用户交互上下文。

方法500包括在530处接收用户与多级隐蔽式 UI的第二的、不同的层级交互的意图的第二电子指示标。在第二电子指示标被接收时，方法500可以包括在540处有选择地显示当前未被显示在显示器上的第二元素。第二元素可以是与MSSUI的第二层级的部分相关联的。与可以显示整个UI分层或者可以显示UI分层的整个层级的常规系统不同，方法500通过仅显示UI分层的所选择的相关的部分节省显示空间。因此，可以至少部分上基于第二电子指示标和用户交互上下文选择第二元素。尽管描述了“第二”元素，但本领域的技术人员应当认识到，“第二”指另一个、不同的元素（例如，随后的元素）。

被选择的第二层级的部分可以至少部分上取决于第一元素。例如，MSSUI的第一层级上的第一用户界面元素在第二层级中可以具有三个子元素，并且第一层级上的第二用户界面元素在第二层级中可以具有五个子元素。在用户正在与第一元素交互时，三个子元素的预览可以是可提供的，并且同时，在用户正在与第二元素交互时，第二层级中的五个子元素的预览可以是可提供的。在用户与子元素之一交互时，可以从显示器移除第一层级上的元素。

第二电子指示标可以采用不同的形式。在一个实施例中，第二电子指示标可以是响应于指针逼近显示器、响应于指针维持与第一元素的关系、响应于指针指向显示器上的预定义的位置或者响应于指针建立与被显示在显示器上的对象的关系而被生成的悬停事件。

在另一个实施例中，第二电子指示标可以包括响应于指针触摸显示器而被生成的触摸事件、响应于指针作出与显示器相关联的触摸或者悬停手势而被生成的手势事件、响应于用户移动设备而被生成的触觉事件或者响应于用户口头地与设备交互而被生成的语音事件。

图6图示了方法500的另一个实施例。该实施例包括额外的行动。除了导航MSSUI以能够找到不同的行动之外，用户可以与当前可提供的行动、图标或者对象交互以产生不同的效果。因此，方法500的该实施例还包括在550处接收用户将效果应用于第一元素、第二元素或者对被显示在显示器上的对象的意图的第三电子指示标。一旦第三电子指示标已被接收，则方法500在560处有选择地将效果应用于第一元素、第二元素或者对象。所应用的效果以及甚至其被应用的方式可以是至少部分上基于第三电子指示标和用户交互上下文的。

与第一电子指示标和第二电子指示标相同，第三电子指示标可以采用不同的形式，所述不同的形式例如包括响应于指针逼近显示器、响应于指针维持与第一元素的关系、响应于指针指向显示器上的预定义的位置或者响应于指针建立与被显示在显示器上的对象的关系而被生成的悬停事件。第三电子指示标还可以包括响应于指针触摸显示器而被生成的触摸事件、响应于指针作出与显示器相关联的触摸或者悬停手势而被生成的手势事件、响应于用户移动设备而被生成的触觉事件或者响应于用户口头地与设备交互而被生成的语音事件。

被选择的效果可以例如是光源定位效果、缩放效果、透镜效果、滚动效果、动画效果、预览操作或者展现多级隐蔽式 UI的下一层级的效果。可以至少部分上通过指针的定位或者三维定位、指针的角度、指针的朝向、指针的移动或者指针的速度确定效果如何被应用。

在一个实施例中，效果是展现复杂数据集的部分的数据展现效果。复杂数据集可以例如是多层地图。可以基于指针选择被展现的复杂数据集的部分。例如，被选择的部分可以是指针关于表示复杂数据集的对象的定位、指针关于表示复杂数据集的对象的角度、指针关于表示复杂数据集的对象的朝向、指针关于表示复杂数据集的对象的移动或者指针关于表示复杂数据集的对象的速度的函数。

该实施例还包括在570处检测额外的输入。额外的输入可以是与在MSSUI中向上或者向下遍历或者将不同效果应用于不同对象。应当记得，MSSUI具有多个级。例如，MSSUI可以具有两个、三个、四个或者甚至更多个层。因此，基于之前的元素和与之前的元素的交互选择随后的元素的行动可以被递归地应用以导航到更低的层级或者向上行进回到更高的层级。因此，方法500包括在570处在接收到用户与MSSUI的随后的层级交互的意图的随后的电子指示标时，将控制返回到540或者560，并且有选择地在显示器上显示当前未被显示在显示器上的随后的元素或者应用另一个效果。随后的元素可以是与多级隐蔽式 UI的随后的层级的部分相关联的。随后的层级的部分至少部分上取决于被显示在显示器上的之前的元素。基于随后的电子指示标、之前的元素和用户交互上下文选择随后的元素。

尽管图5和6图示了连续发生的各种行动，但应当认识到，图5和6中所图示的各种行动可以并行地或者大致上并行地发生。作为图示，第一过程可以对输入事件进行处置，第二过程可以选择要显示和移除的元素，并且第三过程可以将效果应用于所显示的元素。尽管描述了三个过程，但应当认识到，可以使用更大或者更小数量的过程，并且可以使用轻量级的过程、普通的过程、线程和其它方法。

在一个示例中，方法可以被实现为计算机可执行指令。因此，在一个示例中，计算机可读存储介质可以存储计算机可执行指令，计算机可执行指令如果被机器（例如，计算机、电话、平板型设备）执行则导致机器执行包括方法500的本文中所描述或者要求保护的方法。尽管与所列出的方法相关联的可执行指令被描述为被存储在计算机可读存储介质上，但应当认识到，与本文中所描述或者要求保护的其它示例方法相关联的可执行指令可以也被存储在计算机可读存储介质上。在不同的实施例中，可以以不同的方式触发本文中描述的示例方法。在一个实施例中，可以由用户手动地触发方法。在另一个示例中，可以自动地触发方法。

图7图示了示例云操作环境700。云操作环境700支持作为抽象的服务而非独立的产品递送计算、处理、存储、数据管理、应用和其它功能。可以由可以被实现为一个或多个计算设备上的一个或多个进程的虚拟服务器提供服务。在一些实施例中，进程可以在服务器之间迁移而不中断云服务。在云中，可以通过网络将共享的资源（例如，计算、存储）提供给包括服务器、客户端和移动设备的计算机。不同的网络（例如，以太网、Wi-Fi、802.x、蜂窝）可以被用于访问云服务。与云交互的用户可以不需要知道实际上正在提供服务（例如，计算、存储）的设备的具体情况（例如，位置、名称、服务器、数据库）。用户可以例如经由web浏览器、瘦客户端、移动应用或者通过其它方式访问云服务。

图7图示了位于云700中的示例多级隐蔽式用户界面（MSSUI）服务760。MSSUI服务760可以依赖于服务器702或者服务704来执行处理，并且可以依赖于数据存储库706或者数据库708来存储数据。尽管图示了单个服务器702、单个服务704、单个数据存储库706和单个数据库708，但服务器、服务、数据存储库和数据库的多个实例可以位于云700中，并且因此可以被MSSUI服务器760使用。

图7图示了访问云700中的MSSUI服务760的各种设备。所述设备包括计算机710、平板型设备720、膝上型计算机730、桌面型监视器770、电视机760、个人数字助理740和移动设备（例如，蜂窝电话、卫星电话）750。有可能不同的位置处的使用不同的设备的不同的用户可以通过不同的网络或者接口访问MSSUI服务760。在一个示例中，MSSUI服务760可以被移动设备750访问。在另一个示例中，MSSUI服务760的部分可以常驻于移动设备750上。MSSUI服务760可以执行例如包括建立语音参考点和在与语音参考点相关联的上下文中对多模式命令进行处理的行动。在一个实施例中，MSSUI服务760可以执行本文中描述的方法（例如，方法500）的部分。

图8是描绘包括在802处概括地示出的多种可选的硬件和软件部件的示例性移动设备800的系统图。尽管为易于图示起见未示出全部的连接，但移动设备800中的部件802可以与其它部件通信。移动设备800可以是多种计算设备（例如，蜂窝电话、智能电话、平板型设备、平板手机、手持型计算机、个人数据助理（PDA）等），并且可以允许与诸如是蜂窝或者卫星网络的一个或多个通信网络804的无线双向通信。示例装置可以将处理能力、存储器和连接资源集中到移动设备800中，并且期待的是，该移动设备800可能能够管理对来自MSSUI的元素进行显示。

移动设备800可以包括用于执行包括输入事件处置、输出事件生成、信号编码、数据处理、输入/输出处理、功率控制或者其它功能的任务的控制器或者处理器810（例如，信号处理器、微处理器、专用集成电路（ASIC）或者其它控制和处理逻辑电路）。操作系统812可以控制对部件802的分配和使用，并且支持应用程序814。应用程序814可以包括媒体会话、移动计算应用（例如，电子邮件应用、日历、联系人管理器、web浏览器、消息传送应用）、视频游戏、电影播放器、电视播放器、生产率应用或者其它应用。

移动设备800可以包括存储器820。存储器820可以包括非可移除存储器822或者可移除存储器824。非可移除存储器822可以包括随机存取存储器（RAM）、只读存储器（ROM）、闪存、硬盘或者其它存储器存储技术。可移除存储器824可以包括闪存或者GSM通信系统中已知的订户身份模块（SIM）卡或者诸如是“智能卡”的其它存储器存储技术。存储器820可以用于存储用于运行操作系统812和应用814的数据或者代码。示例数据可以包括操作系统上下文、应用上下文、MSSUI中的导航点、触摸点位置、悬停点位置、指针属性（例如，定位、角度、行进的方向、行进的速率、指针的类型）或者其它信息。存储器820可以存储诸如是国际移动订户身份（IMSI）的订户标识符和诸如是国际移动设备标识符（IMEI）的设备标识符。可以将所述标识符发射给网络服务器以标识用户或者设备。

移动设备800可以支持包括但不限于是触摸和悬停敏感的屏幕832、麦克风834、照相机836、物理键盘838或者轨迹球840的一个或多个输入设备830。移动设备800还可以支持包括但不限于扬声器852和显示器854的输出设备850。可以将显示器854并入触摸敏感和悬停敏感i/o接口中。其它可能的输入设备（未示出）包括加速度计（例如，一维的、二维的、三维的）、陀螺仪、测光表和测声计。其它可能的输出设备（未示出）可以包括压电式或者其它的触觉输出设备。一些设备可以提供多于一个输入/输出功能。输入设备830可以包括自然用户界面（NUI）。NUI是使用户能够摆脱由诸如是鼠标、键盘、遥控器和其它设备的输入设备强加的约束以“自然的”方式与设备交互的界面技术。NUI方法的示例包括那些依赖于语声识别、触摸和手写笔识别、手势识别（在屏幕上和邻近屏幕处两者处的）、空中手势、头部和眼睛跟踪、语音和语声、视觉、触摸、手势和机器智能的方法。NUI的其它示例包括：使用加速度计/陀螺仪进行的运动手势检测、脸部识别、三维（3D）显示器、头部、眼睛和注视跟踪、沉浸式增强现实和虚拟现实系统，这些示例中的全部示例提供更自然的界面；以及，用于使用电场感应电极来感应脑活动的技术（脑电图（EEG）和相关的方法）。因此，在一个具体的示例中，操作系统812或者应用814可以包括作为允许用户经由语音命令操作设备800的语音用户界面的部分的语声识别软件。进一步地，设备800可以包括诸如是检测和解释与对输出行动进行控制相关联的触摸和悬停手势的允许经由用户的空间手势进行的用户交互的输入设备和软件。

无线调制解调器860可以被耦合到天线891。在一些示例中，使用射频（RF）滤波器，并且处理器810不需要为所选择的频带选择天线配置。无线调制解调器860可以支持处理器810与外部设备之间的单向或者双向通信。通信可以涉及如至少部分上由MSSUI逻辑899控制的被提供的媒体或者媒体会话数据。调制解调器860被一般示出，并且可以包括用于与移动通信网络804和/或其它基于无线的调制解调器（例如，蓝牙864或者Wi-Fi 862）通信的蜂窝调制解调器。无线调制解调器860可以被配置为用于与诸如是全球移动通信系统（GSM）网络的一个或多个蜂窝网络的通信，以用于单个蜂窝网络内的、蜂窝网络之间的或者移动设备与公共交换电话网（PSTN）之间的数据和语音通信。移动设备800还可以例如使用近场通信（NFC）元件892在本地进行通信。

移动设备800可以包括至少一个输入/输出端口880、电源882、诸如是全球定位系统（GPS）接收器的卫星导航系统接收器884、加速度计886或者物理连接器890，其可以是通用串行总线（USB）端口、IEEE 1394（火线）端口、RS-232端口或者其它端口。所图示的部件802不是必需的或者无所不包的，因为其它部件可以被删除或者添加。

移动设备800可以包括为移动设备800提供功能的MSSUI逻辑899。例如，MSSUI逻辑899可以提供用于与服务（例如，图7的服务760）交互的客户端。本文中描述的示例方法的部分可以被MSSUI逻辑899执行。类似地，MSSUI逻辑899可以实现本文中描述的装置的部分。在一个实施例中，MSSUI逻辑899可以在MSSUI中建立导航点，并且确定来自MSSUI的哪些元素将被显示以及如果有的话哪些效果将被应用于元素。

在一个实施例中，MSSUI逻辑899可以实现这样的系统的部分，即：所述系统响应于所检测的行动而控制来自多级隐蔽式用户界面的用户界面元素的呈现和外观，以使得显示器的少于百分之五是被用户界面控件元素占用的，并且使得通过多级隐蔽式用户界面可提供的命令或者用户界面控件元素的至少百分之十是被显示的。可以使用其它的屏幕实际使用面积的量和MSSUI功能。

图9图示了对多级隐蔽式用户界面进行管理的装置900。装置900可以例如是智能电话、膝上型设备、平板型设备或者其它计算设备。在一个示例中，装置900包括连接处理器910、存储器920、触摸或者悬停敏感显示器950和逻辑的集合930的物理接口940。装置900的元件可以被配置为与彼此通信，但为了图示清楚起见，未示出全部连接。触摸或者悬停敏感显示器可以包括接近度检测器，该接近度检测器例如包括电容式传感器、深度相机或者其它接近度感应装置。

逻辑的集合930对多级隐蔽式用户界面（MSSUI）进行管理。例如，逻辑的集合930可以促进对MSSUI进行导航、有选择地在装置900上呈现来自MSSUI的元素和有选择地操纵被应用于被显示的用户界面元素的效果。装置900可以包括处置与显示器950相关联的触摸或者悬停事件的第一逻辑931。在一个实施例中，第一逻辑931对包括单触摸事件、多触摸事件、单悬停事件、多悬停事件、触摸手势事件、悬停手势事件或者组合的触摸和悬停事件的事件进行处置。不同的事件可以是与已被显示在显示器950上的不同的用户界面元素相关联的，或者可以是与显示器950的预定义的区域相关联的。例如，用户可以在用户界面元素上轻击以选择该元素。在轻击之前，用户可以在用户界面元素上悬停以获取对例如多级隐蔽式用户界面分层的更低层级中的哪些其它用户界面元素可能是通过该元素可提供的预览。或者，用户可以在用户界面元素上悬停以获取对如果该用户界面元素被激活则某个项将会发生什么的预览。

装置900可以包括有选择地在显示器950上显示来自MSSUI的随后的元素的第二逻辑932。可以例如基于被第一逻辑931处置的触摸或者悬停事件和基于之前的已被显示在显示器950上的元素选择随后的元素。在初始地与多级隐蔽式用户界面交互时，可能不存在任何被显示的用户界面元素。在该初始的示例中，操作系统主屏幕或者某个应用主屏幕可以被看作之前的元素，或者可以充当MSSUI的顶层级。

在不同的实施例中，第二逻辑932可以基于指针与显示器950之间或者指针与之前的元素之间的关系选择随后的元素。例如，第二逻辑932可以至少部分上基于产生触摸或者悬停事件的物品的角度而选择不同的随后的元素。例如，如果指针成朝向之前的元素的左边的角度，则可以从之前的元素的虚拟的左侧选择随后的元素，而如果指针成朝向之前的元素的右边的角度，则可以从之前的元素的虚拟的右侧选择随后的元素。在另一个示例中，可以基于以其它方式缺少空间表示的更一般列表中的较早或者较晚的定位而选择元素。在一个实施例中，第二逻辑932可以例如基于产生触摸或者悬停事件的物品与显示器950的距离而选择随后的元素。例如，如果指针与之前的元素相距少于1mm，则可以选择第一随后的元素，而如果指针与之前的元素相距多于2mm，则可以选择第二的、不同的随后的元素。在一个实施例中，第二逻辑932可以例如基于产生触摸或者悬停事件的物品相对于显示器950的移动而选择随后的元素。例如，如果指针从左向右移动，则可以选择之前的元素的虚拟的右侧处的随后的元素。在一个实施例中，第二逻辑932可以基于指针关于显示器950的朝向而选择随后的元素。例如，如果指针被指向之前的元素之下，则可以从分层的更低层级中选择随后的元素，而如果指针被指向之前的元素之上，则可以从分层的更高层级中选择随后的元素。在一个实施例中，第二逻辑932可以至少部分上基于产生触摸或者悬停事件的物品保持在一个定位处的时间长度或者产生触摸或者悬停事件的物品关于显示器950移动的速度而选择随后的元素。例如，如果指针保持在单个之前的元素上不动，则可以从与之前的元素相关联的元素的第一最小子集中选择随后的元素，而如果指针在之前的元素附近快速地移动，则可以从元素的第二较大子集中选择随后的元素。

第二逻辑932可以向显示器950添加项，并且也可以从显示器950移除项。例如，第二逻辑932可以有选择地添加元素和从显示器950移除元素，以使得显示器的少于百分之十是被用户界面元素占用的，并且使得通过多级隐蔽式用户界面的当前层级而可提供的相对功能的至少百分之二十五是被显示的。可以选择显示器950的不同的百分比。在一个实施例中，百分比可以是用户可配置的。额外地，第二逻辑932可以向显示器950添加项或者从显示器950移除项，以使得仅相关的或者可以在任何给定的时间处实际上被激活的用户界面元素被显示。在一个实施例中，第二逻辑932可以显示项和从显示器950移除项，以维持被用户界面元素覆盖的显示器950上的实际使用面积的百分比。

装置900可以包括对MSSUI中的导航点进行管理的第三逻辑933。可以至少部分上基于触摸或者悬停事件、之前的元素和随后的元素对导航点进行重新定位。例如，在用户在之前的元素上生成触摸事件时，可以将导航点在与MSSUI相关联的分层中向下移动一个层级。在用户对于之前的元素生成伸展或者抬升事件时，可以将导航点在分层中向上移动一个层级。在用户在之前的元素之上作出手势或者悬停事件时，可以将导航点移动到与经由预览效果被呈现的元素相关联的具体层级。

装置900在与常规系统相比时可以提供较优的结果，因为显示器的实际使用面积的较小部分可以被用户界面元素消耗，并且可以仅显示相关的用户界面元素。通过使用用户界面元素覆盖显示器的较小部分，剩余更多的显示器空间来显示用户主要感兴趣的内容。仅显示相关的用户界面元素而同时允许对与当前元素相关联的行动的预览和对可能可提供的更低层级元素的预览简化了装置900的用户的学习和决策制定。

装置900可以包括存储器920。存储器920可以包括非可移除存储器或者可移除存储器。非可移除存储器可以包括随机存取存储器（RAM）、只读存储器（ROM）、闪存、硬盘或者其它存储器存储技术。可移除存储器可以包括闪存或者诸如是“智能卡”的其它存储器存储技术。存储器920可以被配置为存储远程媒体会话数据、用户界面数据、控制数据或者其它数据。

装置900可以包括处理器910。处理器910可以例如是信号处理器、微处理器、专用集成电路（ASIC）或者用于执行包括信号编码、数据处理、输入/输出处理、功率控制或者其它功能的任务的其它控制和处理逻辑电路。在一个实施例中，装置900可以是已通过包括逻辑的集合930被变换成专用计算机的通用计算机。装置900可以例如通过计算机网络与其它装置、进程和服务交互。在一个实施例中，与逻辑的集合930相关联的功能可以至少部分上被包括但不限于现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统（SOC）或者复杂可编程逻辑设备（CPLD）的硬件逻辑部件执行。

图10图示了装置900的另一个实施例。装置900的该实施例包括有选择地将效果应用于随后的元素的第四逻辑934。第四逻辑934也可以有选择地将效果应用于之前的元素或者对显示器950上的某个其它对象。可以通过指针相对于随后的元素的定位或者三维定位、通过指针关于随后的元素的角度、通过指针关于随后的元素的朝向、通过指针相对于随后的元素的移动、通过指针相对于随后的元素的速度或者基于其它行动而确定应用哪个效果。效果可以采用包括但不限于光源定位效果、缩放效果、透镜效果、滚动效果、动画效果、预览操作、展现多级隐蔽式 UI的下一层级的效果或者展现复杂数据集的部分的数据展现效果的形式。

通过图示，效果可以是通过指针与显示器950的距离、显示器950上的对象的相对定位（例如，左、右、上、下）以及还通过指针被定位成的关于对象的角度来控制的光源定位效果。例如，如果指针非常靠近显示器950并且在显示器950上的对象的正上方且垂直于显示器950上的对象，则具有与对象之间的九十度的入射角的光的定位圈可以出现在对象上。然而，如果指针更远离显示器950、被定位在对象的侧面并且以一个角度被倾斜，则具有与对象之间的较小的入射角的较大椭圆面积的光可以出现在对象上。在一个实施例中，光效果可以被应用于对象的一侧上，并且对应的阴影效果可以被应用于对象的相对侧上。

通过进一步的图示，效果可以是展现复杂数据集的部分的数据展现效果。复杂数据集可以被表示为例如高维向量空间中的形状。被显示的来自复杂数据集的数据的量可以通过指针与对象的距离来控制。例如，在指针更靠近显示器950时，更少的数据被显示，而在指针更远离显示器950时，更多的数据被显示。额外地，通过向量空间的一段数据的朝向可以通过指针关于显示器950的角度来选择。

图11图示了示例悬停敏感设备1100。设备1100包括输入/输出（i/o）接口1110。I/O接口1100是悬停敏感的。I/O接口1110可以显示例如包括虚拟键盘1140以及更一般地用户界面元素1120的项的集合。用户界面元素可以被用于显示信息和接收用户交互。用户交互可以在不触摸设备1100的情况下在悬停空间1150中被执行。设备1100或者i/o接口1110可以存储关于用户界面元素1120、虚拟键盘1140或者被显示的其它项的状态1130。用户界面元素1120的状态1130可以取决于使用虚拟键盘1140执行的行动。状态1130可以例如包括对象的位置被指定为是与主悬停点相关联的、对象的位置被指定为是与非主悬停点相关联的、或者其它信息。执行哪些用户交互可以至少部分上取决于悬停空间中的哪个物体被认为是主悬停点。

设备1100可以包括检测何时物体（例如，指、铅笔、具有电容性尖端的手写笔）靠近但不触摸i/o界面1110的接近度检测器。接近度检测器可以标识物体1160在三维悬停空间1150中的位置（x, y, z）。接近度检测器可以还标识物体1160的其它属性，所述其它属性例如包括物体1160正在悬停空间1150中移动的速度、物体1160的类型（例如，手指、手写笔）、物体1160关于悬停空间1150的朝向（例如，倾斜、翻转、偏离）、物体1160正在关于悬停空间1150或者设备1100移动的方向、正被物体1160作出的手势或者物体1160的其它属性。尽管图示了单个物体1160，但接近度检测器可以检测悬停空间1150中的多于一个物体。可以在决定来自MSSUI的哪些用户界面元素将被显示和哪些效果将被应用于所述用户界面元素时考虑物体1160的位置和移动。

在不同的示例中，接近度检测器可以使用有源或者无源的系统。例如，接近度检测器可以使用包括但不限于电容、电场、电感、霍尔效应、里德效应、涡流、磁阻、光学阴影、光学可见光、光学红外线（IR）、光学颜色识别、超声波、声波发射、雷达、热、声纳、电导和电阻技术的感应技术。有源系统可以特别包括红外线或者超声波系统。无源系统可以特别包括电容或者光学阴影系统。在一个实施例中，在接近度检测器使用电容技术时，检测器可以包括用于检测悬停空间1150中的电容改变的电容感应节点的集合。电容改变可以是例如由进入电容感应节点的检测范围内的（一个或者多个）指（例如，手指、拇指）或者（一个或者多个）其它物体（例如，笔、电容式手写笔）导致的。在另一个实施例中，在接近度检测器使用红外光时，接近度检测器可以发射红外光并且检测来自红外传感器的检测范围内（例如，悬停空间1150中）的物体的该光的反射。类似地，在接近度检测器使用超声波声音时，接近度检测器可以向悬停空间1150中发射声音，并且然后测量声音的回声。在另一个实施例中，在接近度检测器使用光电检测器时，接近度检测器可以跟踪光强度的改变。强度的增大可以展现出物体从悬停空间1150移除，而强度的减小可以展现出物体进入悬停空间1150中。

一般地，接近度检测器包括在与i/o接口1110相关联的悬停空间1150中生成感应场的集合的接近度传感器的集合。当物体在悬停空间1150中被检测时，接近度检测器生成信号。在一个实施例中，可以使用单个感应场。在其它实施例中，可以使用两个或更多感应场。在一个实施例中，可以使用单个技术来检测或者表征悬停空间1150中的物体1160。在另一个实施例中，可以使用两种或更多种技术的组合来检测或者表征悬停空间1150中的物体1160。

图12图示了电影1220正在其上被显示的设备1200。用户手指1210已被放得足够靠近设备1200以展现出帧选取器用户界面元素1230。在图12中，用户手指1210被指在接近元素1230的中部的位置处，并且因此单个帧以定帧（freeze frame）模式被显示在帧查看器用户界面元素1240中。

图13图示了稍微指向元素1230的中央的右边的手指1210。在该示例中，对于元素1230产生不同的效果。例如，取代以定帧模式在元素1240中示出单个帧，可以在元素1240中呈现正在缓慢地从右向左滚动的帧的对。

图14图示了指向元素1230的右侧的手指1210。在该示例中，对于元素1230产生另一个不同的效果。例如，取代示出单个帧或者缓慢地滚动的帧的对，可以呈现正在以伪实时模式滚过的帧的集合（例如，三个）。

在一个实施例中，手指1210的角度可以控制帧被滚动的速率。例如，在手指1210垂直于元素1240时，则帧可以被定格，而随着设备1200与手指1210之间的角度减小，滚动速率可以增大。在一个实施例中，可以在元素1240正在被使用时移除元素1230。

图12-14图示了具有至少三个不同的可提供的隐蔽式子元素的单个用户界面元素1230。不同的隐蔽式子元素包括定帧查看器、缓慢运动查看器和伪实时查看器。通过与元素1230的不同的部分的交互来选择三个不同的隐蔽式子元素。可以以类似的方式选择来自其它的用户界面元素的其它隐蔽式子元素。

图15图示了两个用户界面元素在其上被显示的设备1500。元素1520可以例如是这样的图块，即：该图块指示其是与生产率应用（例如，字处理器）相关联的。元素1530可以例如是这样的图块，即：该图块指示是与相册相关联的。由于手指1510还未逼近到设备1500的阈值距离内，所以用户界面元素1520和1530简单地展现了它们的顶层级信息。在顶层级信息被显示时，用户界面元素1520和1530可以已隐藏MSSUI。

图16图示了在手指1510已逼近到用户界面元素1530的阈值距离内之后的设备1500。文件夹1531、1532、1533、1534、1535和1536已被显示。相片查看器1540也已被显示。被显示在查看器1540中的相片可以是与手指1510正指向其处的文件夹（例如，1534）相关联的。查看器1540例如通过照片被拍摄的日期、照片被访问的数据或者按照其它次序对照片进行排序。

图17图示了在手指1510已逼近得甚至更靠近文件夹1534并且已与查看器1540交互之后的设备1500。单独的相片1534E和1534F以比查看器1540中的缩略图更大的大小被图示。之前的相片（例如，1534D）还是随后的相片（例如，1534G）将在接下来被呈现可以取决于手指1510的角度、手指1510在移动的方向或者其它的触摸或者悬停相关的行动。

因此，图15-17图示了隐蔽式用户界面的相关的部分可以如何被渐进地显露，而不相关的部分被移除，以促进改进了的与设备的交互。

特定的实施例的方面

在一个实施例中，一种装置包括处理器、存储器和逻辑的集合。所述装置可以包括用于连接处理器、存储器和逻辑的集合的物理接口。逻辑的集合对多级隐蔽式用户界面（MSSUI）进行管理。例如，逻辑的集合可以处置与显示器相关联的触摸或者悬停事件，并且响应于触摸或者悬停事件，可以有选择地显示第一元素，其之后是来自MSSUI的随后的元素。可以基于触摸或者悬停事件和基于已被显示在显示器上的之前的元素而选择第一和随后的元素。所述逻辑还可以至少部分上基于触摸或者悬停事件、之前的元素和随后的元素而管理MSSUI中的导航点。所述逻辑可以还管理被应用于用户界面元素或者被显示在显示器上的对象的效果。

在另一个示例中，一种方法包括在设备上的显示器上呈现多级隐蔽式用户界面（UI）元素。所述方法包括接收用户与多级隐蔽式 UI的第一层级交互的意图的第一电子指示标，以及有选择地在显示器上显示之前未被显示在显示器上的第一元素。第一元素是与第一层级相关联的，并且至少部分上基于第一电子指示标和用户交互上下文选择第一元素。所述方法还包括接收用户与多级隐蔽式 UI的第二的、不同的层级交互的意图的第二电子指示标，以及有选择地在显示器上显示当前未被显示在显示器上的第二元素。第二元素是与第二层级的部分相关联的，并且至少部分上基于第二电子指示标和所述上下文选择第二元素。第二层级的部分至少部分上取决于第一元素。所述方法还包括接收用户将效果应用于第一元素、第二元素或者被显示在显示器上的对象的意图的第三电子指示标，以及有选择地将效果应用于第一元素、第二元素或者所述对象。效果是至少部分上基于第三电子指示标和用户交互上下文的。

在另一个实施例中，一种系统包括来自多级隐蔽式用户界面的元素在其上被显示的显示器。元素可以例如是用户界面图标。所述系统还包括检测与显示器相关联的空间中的行动（例如，悬停事件、触摸事件）的接近度检测器（例如，电容式元件、深度相机）。所述系统还包括响应于所检测的行动而控制来自多级隐蔽式用户界面的用户界面元素的呈现和外观的用户界面电路。所述电路可以控制显示器，以使得显示器的少于百分之五是被用户界面元素占用的，以及使得通过多级隐蔽式用户界面可提供的功能的至少百分之十是被显示的。

定义

以下内容包括在本文中被使用的所选择的术语的定义。定义包括落在术语的范围内并且可以被用于实现的部件的各种示例或者形式。示例不旨在是限制性的。单数和复数形式的术语两者可以是在定义内的。

对“一个实施例”、“一实施例”、“一个示例”和“一示例”的引用指示被如此描述的（一个或者多个）实施例或者（一个或者多个）示例可以包括特定的特征、结构、特性、属性、元素或者限制，但并非每个实施例或者示例必须包括该特定的特征、结构、特性、属性、元素或者限制。此外，对短语“在一个实施例中”的重复使用不必指相同的实施例，尽管它可以是相同的实施例。

如本文中使用的“计算机可读存储介质”指存储指令或者数据的介质。“计算机可读存储介质”不指传播信号。计算机可读存储介质可以采用包括但不限于非易失性介质和易失性介质的形式。非易失性介质可以例如包括光盘、磁盘、磁带和其它介质。易失性介质可以例如包括半导体存储器、动态存储器和其它介质。计算机可读存储介质的常见形式可以包括但不限于软盘、柔性盘、硬盘、磁带、其它磁性介质、专用集成电路（ASIC）、紧凑型盘（CD）、随机存取存储器（RAM）、只读存储器（ROM）、存储器芯片或者卡、存储器棒和计算机、处理器或者其它电子设备可以从其读取的其它介质。

如本文中使用的“数据存储库”指可以存储数据的物理或者逻辑实体。数据存储库可以例如是数据库、表、文件、列表、队列、堆、存储器、寄存器和其它物理仓库。在不同的示例中，数据存储库可以位于一个逻辑或者物理实体中，或者可以是分布在两个或更多个逻辑或者物理实体之间的。

如本文中使用的“逻辑”包括但不限于硬件、固件、正在机器上执行的软件或者用于执行（一个或者多个）功能或者（一个或者多个）行动或者用于促使进行来自另一个逻辑、方法或者系统的功能或者行动的每项的组合。逻辑可以包括软件控制的微处理器、分立的逻辑（例如，ASIC）、模拟电路、数字电路、经编程的逻辑设备、包含指令的存储器设备、和其它物理设备。逻辑可以包括一个或多个门、门的组合或者其它电路部件。在描述了多个逻辑性逻辑的情况下，有可能可以将多个逻辑性逻辑合并成一个物理性逻辑。类似地，在描述了单个逻辑性逻辑情况下，有可能可以将该单个逻辑性逻辑分布在多个物理性逻辑之间。

在术语“包括”或者“包括了”在详细描述或者权利要求中被使用的限度内，其旨在以与术语“包含”在该术语当被用作权利要求中的过渡词时被解释时的方式类似的方式是包容性的。

在术语“或者”在详细描述或者权利要求中被使用的限度内（例如，A或者B），其旨在表示“A或者B或者这两者”。在申请人旨在指示“仅A或者B而非这两者”时，则术语“仅A或者B而非这两者”将被使用。因此，在本文中对术语“或者”的使用是包容性的，而不是独占性的使用。见Bryan A. Garner，A Dictionary of Modern Legal Usage 624（2d. Ed.1995）。

尽管已使用专用于结构化特征或者方法学动作的语言描述了本主题，但应当理解，所附权利要求中定义的主题不必限于上面描述的具体的特征或者动作。相反，作为实现权利要求的示例形式公开了上面描述的具体的特征或者动作。

Claims (15)

1.一种用于在设备上的显示器上呈现多级隐蔽式用户界面（UI）元素的方法，包括：

在接收用户与相关联于所述设备的当前上下文交互的意图的第一电子指示标时，在所述显示器上有选择地显示当前未在所述显示器上被显示的第一元素，其中，所述第一元素是与多级隐蔽式 UI的第一层级相关联的，并且其中，至少部分上基于所述第一电子指示标和用户交互上下文而选择所述第一元素，以及

在接收用户与所述多级隐蔽式 UI的第二的不同的层级交互的意图的第二电子指示标时，在所述显示器上有选择地显示当前未在所述显示器上被显示的第二元素，其中，所述第二元素是与所述第二层级的部分相关联的，其中，至少部分上基于所述第二电子指示标和所述上下文而选择所述第二元素，并且其中，所述第二层级的部分至少部分上取决于所述第一元素。

2.根据权利要求1所述的方法，所述第一电子指示标包括响应于指针逼近所述显示器或者指针指向所述显示器的预定义的部分而被生成的悬停事件。

3.根据权利要求2所述的方法，所述第一电子指示标包括响应于所述指针触摸所述显示器而被生成的触摸事件、响应于所述指针作出与所述显示器相关联的触摸或者悬停手势而被生成的手势事件、响应于所述用户移动所述设备而被生成的触觉事件、或者响应于所述用户口头地与所述设备交互而被生成的语音事件。

4.根据权利要求3所述的方法，所述第二电子指示标包括响应于所述指针逼近所述显示器、响应于所述指针维持与所述第一元素的关系、响应于所述指针指向所述显示器上的预定义的位置、或者响应于所述指针建立与被显示在所述显示器上的对象的关系而被生成的悬停事件。

5.根据权利要求4所述的方法，所述第二电子指示标包括响应于所述指针触摸所述显示器而被生成的触摸事件、响应于所述指针作出与所述显示器相关联的触摸或者悬停手势而被生成的手势事件、响应于所述用户移动所述设备而被生成的触觉事件、或者响应于所述用户口头地与所述设备交互而被生成的语音事件。

6.根据权利要求3所述的方法，包括：

在接收所述用户将效果应用于所述第一元素、所述第二元素或者被显示在所述显示器上的对象的意图的第三电子指示标时，有选择地将所述效果应用于所述第一元素、所述第二元素或者所述对象，其中，所述效果是至少部分上基于所述第三电子指示标和所述用户交互上下文的，

所述第三电子指示标包括响应于所述指针逼近所述显示器、响应于所述指针维持与所述第一元素的关系、响应于所述指针指向所述显示器上的预定义的位置、或者响应于所述指针建立与被显示在所述显示器上的一个或多个对象的关系而被生成的悬停事件。

7.根据权利要求6所述的方法，所述第三电子指示标包括响应于所述指针触摸所述显示器而被生成的触摸事件、响应于所述指针作出与所述显示器相关联的触摸或者悬停手势而被生成的手势事件、响应于所述用户移动所述设备而被生成的触觉事件、或者响应于所述用户口头地与所述设备交互而被生成的语音事件。

8.根据权利要求1所述的方法，其中，所述用户交互上下文至少部分上通过当前被显示在所述显示器上的对象的集合而被确定，并且其中，所述用户交互上下文涉及正在被所述用户在所述设备上执行的任务。

9.根据权利要求1所述的方法，其中，所述用户交互上下文至少部分上通过所述指针与被显示在所述显示器上的对象之间的关系而被确定，并且其中，所述用户交互上下文涉及如至少部分上被所述用户控制的正在所述设备上被执行的任务。

10.根据权利要求6所述的方法，其中，所述效果是光源定位效果、缩放效果、透镜效果、滚动效果、动画效果、预览操作或者展现多级隐蔽式 UI的下一层级的效果。

11.根据权利要求6所述的方法，其中，所述效果至少部分上通过所述指针的定位、所述指针的三维定位、所述指针的角度、所述指针的朝向、所述指针的移动或者所述指针的速度而被确定。

12.一种装置，包括：

处理器；

触摸或者悬停敏感显示器；

存储器；

逻辑的集合，其对多级隐蔽式用户界面（MSSUI）进行管理，以及

物理接口，其用于连接所述处理器、所述存储器、所述显示器和所述逻辑的集合，

所述逻辑的集合包括：

第一逻辑，其处置与所述显示器相关联的触摸或者悬停事件；

第二逻辑，其有选择地在所述显示器上显示来自所述MSSUI的随后的元素，其中，基于所述触摸或者悬停事件以及基于已被显示在所述显示器上的之前的元素而选择所述随后的元素，以及

第三逻辑，其至少部分上基于所述触摸或者悬停事件、所述之前的元素和所述随后的元素而管理所述MSSUI中的导航点。

13.根据权利要求12所述的装置，其中，所述第一逻辑处置包括如下项的事件：单触摸事件、多触摸事件、单悬停事件、多悬停事件、触摸手势事件、悬停手势事件或者组合的触摸和悬停事件。

14.根据权利要求13所述的装置，其中，所述第二逻辑至少部分上基于产生所述触摸或者悬停事件的物品的角度、产生所述触摸或者悬停事件的所述物品与所述显示器的距离、产生所述触摸或者悬停事件的所述物品相对于所述显示器的移动、产生所述触摸或者悬停事件的所述物品关于所述显示器的朝向、产生所述触摸或者悬停事件的所述物品停留在一个定位处的时间长度、或者产生所述触摸或者悬停事件的所述物品关于所述显示器移动的速度而选择所述随后的元素，以及

其中，所述第二逻辑有选择地在所述显示器上显示元素并且有选择地从所述显示器移除元素，以使得所述显示器的少于百分之十是被用户界面元素占用的，并且使得通过所述多级隐蔽式用户界面的当前层级可提供的相关功能的至少百分之二十五是被显示的。

15.根据权利要求14所述的装置，包括有选择地将效果应用于所述随后的元素的第四逻辑，其中，通过所述指针相对于所述随后的元素的定位、所述指针关于所述随后的元素的角度、所述指针关于所述随后的元素的朝向、所述指针相对于所述随后的元素的移动、或者所述指针相对于所述随后的元素的速度而确定所述效果。