CN102221964B - 将z次序指派给用户界面元素的方法和设备 - Google Patents

Abstract

公开了涉及将z次序指派给多个用户界面元素的各个实施例。一个公开的实施例提供了基于所述用户界面元素的交互状态将z排序指派给在多用户交互式显示器上显示的用户界面元素的方法，该交互状态取决于用户如何与该用户界面元素交互。该方法包括检测该用户界面元素的交互状态的改变。如果改变是对在该显示器上移动该用户界面元素的发起，则将该用户界面元素移动到该z排序内的第一预定位置。如果改变是对与包含在该用户界面元素中的内容的用户交互的发起，则将该用户界面元素移动到该z排序内的第二预定位置。

Description

将Z次序指派给用户界面元素的方法和设备

技术领域

本发明涉及显示器的多用户交互，尤其涉及将z次序(z-order)指派给用户界面元素。

背景技术

带有多触摸显示器的图形用户界面可以被配置成同时从多个用户接收输入。此外，每个用户可以与多触摸显示器显示的一个或多个用户界面元素交互。例如，两个用户可以与一组数字图像交互，且每个用户可以同时操纵来自该组的不同的数字图像。这样，在多触摸显示器上可能存在随着用户操作元素而可能重叠的若干个活动的用户界面元素。

由此，向图形用户界面上的用户界面元素指派z次序以确定在重叠的情况下哪个用户界面元素在其他元素的前面显示。这种z排序可影响各种功能，诸如拖放动作。

发明内容

相应地，此处公开了与将z次序指派给多个用户界面元素相关的各个实施例。例如，一个公开的实施例提供了在包括显示器的多用户交互式显示设备中，基于用户界面元素的交互状态将z排序指派给在显示器上显示的用户界面元素的方法，该交互状态取决于用户如何与用户界面元素交互。方法包括检测用户界面元素的交互状态的改变。如果改变是对用户界面元素在显示器上的移动的发起，则用户界面元素被移动到z排序内的第一预定位置。如果改变是对与包含在用户界面元素内的内容的用户交互的发起，则用户界面元素被移动到z排序内的第二预定位置。如果改变是停止与用户界面元素的用户交互，那么用户界面元素被移动到z排序内的第三预定位置。

提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键因素或必要特征，也不旨在用于限定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。

附图说明

图1示出了与多用户交互式显示设备的实施例交互的用户的示意图。

图2示出了包括交互式显示器的计算设备的实施例的示意图。

图3示出了将z次序指派给用户界面元素的方法的实施例的流程图。

图4-6示出了根据本发明的一实施例的用户界面元素在多触摸显示器上移动的示例。

图7-9示出了根据本发明的一实施例的用户界面元素在多触摸显示器上移动的另一示例。

图10-12示出了根据本发明的一实施例的将z次序指派给用户界面元素的示例。

图13示出了示出将用户输入从用户输入设备定向到所选用户界面元素的方法的实施例的流程图。

具体实施方式

此处公开了涉及将z次序指派给在多触摸显示器上显示的多个用户界面元素的各个实施例。如上所述，当多个用户与多个用户界面元素交互时，一个或多个活动的用户界面元素可以重叠。根据用户界面元素的z次序，这种重叠可支持或阻碍诸如拖放功能之类的各种功能。在讨论将z次序指派给多触摸显示器上的用户界面元素之前，参考图1描述多触摸的使用环境的示意图，并参考图2描述包括多触摸显示器的示例性计算设备的实施例。

图1示出了两个用户102和104与多触摸显示器108的实施例的表面106交互的示意图。如所描述的，用户102正在经由触摸(例如手指110)操纵用户界面元素112，而用户104正在经由触摸(例如手指116)操纵用户界面元素118。示出了部分地位于用户界面元素112之下的第三用户界面元素114。

继续到图2，示出了包括多触摸显示器202的表面计算设备200的实施例的示意性描述。多触摸显示器202包括具有图像源204和图像投影到其上的显示屏幕206的投影显示系统。尽管在投影显示系统的上下文中示出，但是可以理解此处所描述的实施例也可以用其他适当的显示系统实现，包括但不限于LCD平板系统。此外，尽管此处在多触摸输入设备的上下文中描述，但是可以理解所公开的实施例可以与任何其他适当的输入设备一起使用，包括但不限于被配置成从多个鼠标设备接收输入的系统等。

图像源204包括诸如灯(所描述的)、LED阵列之类的光源208或其他适当的光源。图像源204也包括诸如所描述的LCD(液晶显示器)、LCOS(硅上液晶)显示器、DLP(数字光处理)显示器之类的图像产生元件210或任何其他适当的图像产生元件。

显示屏幕206包括诸如玻璃片之类的清晰的透明部分212和设置在清晰的透明部分212上的漫射屏幕层214。如所描述的，漫射屏幕层214用作触摸表面。在其他实施例中，可以在漫射屏幕层214上设置附加透明层(未示出)作为触摸表面，以向显示表面提供平滑的外观和感觉。此外，在使用LCD平板而非投影图像源在显示屏幕206上显示图像的实施例中，可省略漫射屏幕层214。

继续图2，多触摸显示器202还包括电子控制器216，该电子控制器216包括处理器218和存储器220。可以理解存储器220可以是包括其上存储有指令(例如，软件)的计算机可读存储介质(例如盘、带等)，这些指令可由处理器218执行以控制计算设备200的各个部分来实现此处所描述的方法。

为了感测放置在显示屏幕206上的对象，多触摸显示器202包括图像传感器224，该图像传感器224被配置成捕捉显示屏幕206的整个背面的图像并将该图像提供给电子控制器216以检测出现在图像中的对象。漫射屏幕层214有助于避免对未与显示屏幕206接触或并非放置在显示屏幕206的几毫米之内的对象进行成像。由于图像传感器224可检测靠近但不接触显示屏幕206的对象，因此可以理解本文中所使用的术语“接触”也可包括接近接触输入。

图像传感器224可包括任何适当的图像传感机制。适当的图像传感机制的示例包括但不限于CCD和CMOS图像传感器。此外，图像传感机制可以按足以检测对象在显示屏幕206上的运动的频率捕捉显示屏幕206的图像。尽管图2的实施例示出了一个图像传感器，但是将理解，可使用多于一个图像传感器来捕捉显示屏幕206的图像。

图像传感器224可以被配置成检测任何适当的波长的光，该波长包括但不限于红外线和可见波长。为了协助检测放置在显示屏幕206上的对象，图像传感器224还可以包括诸如一个或多个发光二极管(LED)之类的被配置成产生红外线或可见光以照亮显示屏幕206的背面的照明226。来自照明226的光可以被放置在显示屏幕206上的对象反射，并在随后由图像传感器224检测。此外，红外线带通过滤器227可用于通过由照明226发出的频率的光，但是阻止带通频率之外的频率的光达到图像传感器224，由此减少到达图像传感器224的环境光的量。

尽管此处在光学触敏系统的上下文中描述，但是此处所述的实施例也可与任何其他适当类型的触敏输入系统或非触敏输入系统联用以及与任何适当类型的计算设备联用。其他这种系统的示例包括但不限于电容性和电阻性触敏输入。此外，尽管被示意性地描述为将上述各个组件结合到单个单元中的单个设备，但是可以理解多触摸显示器202也可以包括通过缆线、无线连接、网络连接等连接为一系统的多个分立的物理部分或单元。可以理解术语“计算设备”可以包括电子地执行诸如用户界面程序之类的一个或多个程序的任何设备。这种设备可以包括但不限于个人计算机、膝上型计算机、服务器、便携式媒体播放器、手持式设备、蜂窝电话以及基于多处理器的可编程消费电子设备和/或电器。

图2也描述了其手指放置在显示屏幕206上的手230。图像传感器224可检测由手指反射的来自照明226的光，由此允许在屏幕上检测到手指的触摸。尽管在手指的上下文中示出，但是将理解，可使用任何其他适当的一个或多个操纵器(例如一个或多个指示笔、画笔等)和/或一个或多个对象(例如一个或多个蜂窝电话、名片、相机、标记等)来与计算设备200交互。

图3示出了基于由多触摸显示器上图形用户界面显示的用户界面元素的交互状态，即时地将z次序指派给该用户界面元素的方法300的实施例。具体地，方法300基于用户当前如何与用户界面元素交互来将z次序指派给用户界面元素。这可有助于避免在向最近激活的用户界面元素自动指派顶部z排序的情况下可能产生的由z排序导致的问题。例如，简单地指派最近激活的用户界面元素可在一个用户试图将用户界面元素拖放到最近激活的用户界面元素中时导致困难，因为所拖动的用户界面元素可能因较低的z排序而穿到最近激活的元素之后。

在方法300的302处，检测到用户界面元素的交互状态的改变，其中用户界面元素的交互状态由用户与用户界面元素的当前交互的性质确定。接着，在304处，确定改变是否为对用户界面元素的移动的发起。在一些示例中，移动可以是将用户界面元素从显示器上的一个位置拖动到显示器上的另一位置，或者拖动到另一用户界面元素中。移动的其他示例包括旋转用户界面元素或调整其大小。如果确定改变是对移动的发起，那么方法300移至312，在那里用户界面元素被移至z排序内的第一预定位置处。在一些实施例中，第一预定位置可能是z次序层内的顶部z次序位置，如将参考图10-12更详细地描述的。在将用户界面元素移至第一预定位置上之后，方法300返回到开始处以等待交互状态中的下一改变。这样，例如当与界面元素的用户交互停止时，可以将用户界面元素移至z次序内的另一预定位置。

另一方面，如果改变既不是对移动的发起也不是对用户交互的停止，那么方法300继续到306处，在那里确定改变是否是对与包含在用户界面元素内的内容的用户交互的发起。与包含在用户界面元素内的内容的交互包括经由鼠标、键盘、指示笔/笔、或触摸输入来操纵用户界面元素中的内容。例如，用户可使用鼠标或触摸输入来突出显示包含在用户界面元素内的对象或修改用户界面元素内的文本。

如果确定改变是对用户界面元素内的用户交互的发起，那么方法300移至314，在那里将用户界面元素移至z排序内的第二预定位置。在一些实施例中，第二预定位置比第一预定位置更远离顶部z次序位置。例如，第二预定位置可位于顶部z次序层之下的中间z次序层。在将用户界面元素移至第二预定位置之后，方法300返回到开始。如上所述，以此方式，当与界面元素的用户交互再次改变时，用户界面元素可以在z次序位置之间移动。

相反，如果确定改变不是对用户界面元素内的移动的发起，那么方法300前进到308，在那里假定改变是停止与用户界面元素的用户交互。可以假定用户交互的停止，因为已确定用户界面元素和用户界面元素中的内容未被操纵，和/或不再检测到用户界面元素上的触摸输入。

最后，图3的方法300继续到310，在那里将用户界面元素移至z次序内的第三预定位置。在一些实施例中，第三预定位置比第一预定位置和第二预定位置更远离顶部z次序位置。此外，第三预定位置可位于中间z次序层之下的第三z次序层中。在将用户界面元素移至第三预定位置之后，方法300返回到开始，以使得当与用户界面元素的用户交互改变时，可再次将用户界面元素移至z次序中的不同位置上。

如上所述，可响应于诸如拖动之类的用户发起的对用户界面元素的移动来向用户界面元素指派z次序位置。图4-6示出了在未根据参考图3描述的方法300指派z次序时的用户界面元素的示例移动。如在图4中所示的，用户404可以触摸在图形用户界面400的多触摸显示器402上显示的用户界面元素406。接着，用户404经由流畅移动将用户界面元素406朝用户界面元素408拖动，如箭头410所指示的。

在所描述的实施例中，用户界面元素408的内容当前正由另一用户412修改。在没有如上所述的指派z次序的情况下，用户界面元素406在用户界面元素408的下面移动，以使得它至少部分地被用户界面元素408遮挡，如在图6中所示。

相反，图7-9示出了在根据参考图3所描述的方法300指派z次序时的用户界面元素的移动的示例。类似于图4，图7示出了用户404通过触摸在图形用户界面440的多触摸显示器402上显示的用户界面元素406来发起用户界面元素406的移动。

用户404经由流畅移动将用户界面元素406朝用户界面元素408拖动，如图8中的箭头410所示。如上所述，用户界面元素408的内容当前正由另一用户412修改。通过基于用户界面元素的交互状态(即用户如何与用户界面元素交互)将z次序指派给用户界面元素，可以将用户界面元素406成功地拖动到用户界面元素408之上并将其放入用户界面元素408中，如图9中所示。

作为示例，用户界面元素406可以是数字图像，而用户界面元素408可以是文件夹。在一个用户修改文件夹的内容的同时，另一用户可将数字图像拖动到文件夹中。当基于文件夹和数字图像各自的交互状态向它们指派z次序中的位置时，用户可以将数字图像添加到文件夹中，而无需将数字图像归入到文件夹中。作为另一示例，用户界面元素406也可以是文件夹，而用户可能希望移动文件夹，以使得它是用户界面元素408的子文件夹。

将理解，多于一个用户界面元素可以占据z次序层。图10-12示出了基于交互状态的改变来改变多个用户界面元素的z次序1000的示例。在图10-12的每一个中，在1002处指示顶部z次序层，在1004处指示中间z次序层，而在1006处指示底部z次序层。每个图的左侧示出了在用户界面元素1008、1010、1012的任一个的交互状态的改变之前，用户界面元素1008、1010和1012的栈的z排序。

在图10的示例中，用户界面元素1012的交互状态改变。如图所示的，例如，最初用户界面元素1012位于z次序的底层中，用户可能不与用户界面元素1012交互。如箭头1014所指示，用户交互元素1012的交互状态改变。例如，用户可能开始移动用户界面元素1012。结果，用户界面元素1012移至用户界面元素1008之上的顶部z次序层中的z次序的顶部位置，如在图10的右侧所示。

当用户界面元素1008的交互状态保持不变时，即用户继续拖动用户界面元素1008、调整其大小、旋转它等时，它可以保留在顶部z次序层中。例如，在此处所述的实施例中，继续移动可能意味着移动交互继续进行，直至移动中涉及的所有手指(即接触)从表面上移开。例如，如果用户停止移动所有手指，但是手指保持与显示器表面接触，那么可认为移动交互继续。继续移动也可意味着只要移动交互中所涉及的手指(即接触)中的至少一个保持移动，移动交互就继续。例如，如果手指中的一个或多个保持与显示器接触，但是与显示器接触的所有手指停止移动，那么可认为移动交互停止。此外，在其他示例中，用户可指示他将要经由触摸输入开始移动交互，并接着使用另一输入机制来执行移动，诸如键盘箭头按键或鼠标移动。接着，用户可经由触摸输入指示移动交互结束。

继续图10，然而，因为用户界面元素1012是进入顶部z次序层的最新用户界面元素，因此用户界面元素1012获取该层中的顶部位置，而用户界面元素1008被放置在其下。在这种配置中，如果用户界面元素1008和用户界面元素1012被放置成使得它们是重叠的，那么用户界面元素1008会降到用户界面元素1012之下。

图11示出了交互状态的改变另一示例，其中箭头1016指示用户界面元素1012的用户交互状态的改变。例如，用户可开始在用户界面元素1012的滚动视图内拖动手指。结果，用户界面元素1012移动到中间z次序层中的顶部位置，如图11的右侧所示。如上所述，由于用户交互元素1012是移动到中间z次序层上的最新用户界面元素，因此它获取该层中的顶部位置，且用户界面元素1010降到其下。

图12示出了用户交互元素栈的z排序中的移动的第三示例。在该示例中，箭头1018指示用户界面元素1008的交互状态的改变。在图12的左侧，用户可旋转用户交互元素1008，并且由此，用户交互元素1008在顶部z次序层中。用户可例如停止与用户交互元素1008的接触，并由此与用户交互元素1008的接触停止。结果，用户交互元素1008移动到底部z次序层，如图12的右侧所示。用户交互元素1008以类似于上文所描述的方式移动到底部z次序层中的顶部位置，因为它是进入该层的最新元素，并且用户界面元素1012降到其下。将理解，上文所描述的示例是出于示例的目的呈现的，且并不旨在以任何方式进行限制。

继续到图13，图13中的流程图示出了将来自间接用户输入设备(例如键盘、语音、web相机等)的输入定向到所选用户界面元素的方法1300。术语“间接用户输入设备”表示其中用户输入并不固有地指定用户输入在图形用户界面上的位置的输入设备。相比而言，来自“直接”用户输入设备的输入固有地指定输入(例如基于光标的鼠标输入、触摸输入、激光指针输入等)的位置。具体地，方法1300确定对用户与所选用户界面元素的交互的发起是否是对“焦点指派”用户界面控件的选择并且相应地定向来自间接用户输入设备的输入。

术语“焦点”描述了指定的用户界面元素(即，具有焦点的元素)从间接用户输入设备接收输入的状态。在其中每次有一个活动窗口的常规图形用户界面中，当最初激活图形用户界面时，焦点被自动指派给活动窗口。然而，在多触摸显示器或其他这种带有多个活动窗口的多用户计算设备中，如果基于z次序来指派焦点，那么另一窗口可能在需要焦点的情况下丢失焦点。

因此，与在激活之际向用户界面元素自动指派焦点不同，方法1300仅在其中选择先前提及的“焦点指派”用户界面控件的情况下指派焦点。这样，只有在应用程序响应于请求焦点的用户界面输入而请求焦点时，才向用户界面元素指派焦点。

在方法1300的1302处，检测对与包含在所选用户界面元素内的内容的用户交互的发起。接着，方法1300继续到1304，在那里将所选用户界面元素移动到z排序中的预定位置上，如上所述的。

一旦将所选用户界面元素移动到z排序中的预定位置，方法1300就前进到1306，在那里确定用户交互是否是对所选用户界面元素内的焦点指派用户界面控件的选择。例如，用户可选择使用键盘向用户界面元素输入文本。如果确定用户交互并非是对焦点指派用户界面控件的选择，那么方法1300移动到1310，且不将来自间接用户输入设备的输入定向到所选用户界面元素上。

另一方面，如果确定用户交互是对所选用户界面元素内的焦点指派用户界面控件的选择，那么方法1300前进到1308，在那里将来自间接用户输入设备的输入定向到所选用户界面元素。例如，用户输入设备可以是键盘，且用户可开始在所选用户界面元素中进行键入。

将理解，一个以上的用户界面元素可在任何时间具有焦点。例如，在两个用户各自期望输入文本到相应的用户界面元素中的情况下，每个用户可以请求焦点，且可以向每个用户呈现虚拟键盘(例如)，以使得用户可以用不同的虚拟键盘在不同的用户界面中输入文本。

将理解，本文所描述的配置和/或方法本质上是示例性的，并且不应认为这些特定的实施例或示例是限制性的，因为许多变化是可能的。本文所描述的特定的例程或方法可以表示任何数目个处理策略中的一个或多个。这样，所示的各种动作可以按照所示的顺序、按照其他顺序、并行地执行，或在某些情况下省去。同样，可以改变上述过程的顺序。

本发明的主题包括各个过程、系统和配置的所有新颖和非显而易见的组合和子组合及此处公开的其他特征、功能、动作和/或特性，以及其任一和所有等效方案。

Claims (10)

1.在包括显示器的多用户交互式显示设备中，一种基于用户界面元素的交互状态来将z排序指派给在所述显示器上显示的所述用户界面元素的方法(300)，所述交互状态是依赖于用户如何与所述用户界面元素交互的，所述方法(300)包括：

检测所述用户界面元素的所述交互状态的改变(302)；

如果所述改变是对所述用户界面元素在所述显示器上的移动的发起(304)，则将所述用户界面元素移动到所述z排序内的第一预定位置(312)，所述第一预定位置在包括高于中间z次序层的最高位置的多个位置的顶部z次序层内；以及

如果所述改变不是对所述用户界面元素在所述显示器上的移动的发起，而是对与包含在所述用户界面元素内的用户交互的发起(306)，则将所述用户界面元素移动到所述z排序内的不同于所述第一预定位置的第二预定位置(314)，所述第二预定位置在包括低于所述顶部z次序层的最低位置的多个位置的中间z次序层内，其中一个或多个用户界面元素占据每个z次序层，且所述用户界面元素被堆叠在一起，以使得占据所述层的最新用户界面元素位于每个层内位于顶部z次序位置处。

2.如权利要求1所述的方法，其特征在于，还包括如果所述改变是停止与所述用户界面元素的用户交互，则将所述用户界面元素移动到所述z排序内的不同于所述第一预定位置和第二预定位置的第三预定位置。

3.如权利要求2所述的方法，其特征在于，其中所述第三预定位置比所述第一预定位置和所述第二预定位置更远离顶部z次序位置。

4.如权利要求2所述的方法，其特征在于，其中所述z排序还包括包含多个位置的底部z次序层；且所述第三预定位置是位于所述底部z次序层内的。

5.如权利要求1所述的方法，其特征在于，其中在所述显示器上移动所述用户界面元素包括拖动、轻击、旋转所述用户界面元素或调整其大小中的一个或多个。

6.如权利要求1所述的方法，其特征在于，还包括：

检测对与包含在所选用户界面元素内的内容的用户交互的发起；

如果所述用户交互是选择所选用户界面元素内的焦点指派用户界面控件，则将来自间接用户输入设备的输入定向到所选用户界面元素上；以及

如果所述用户交互不是选择所选用户界面元素内的焦点指派用户界面控件，则不将来自间接用户输入设备的输入定向到所选用户界面元素上。

7.一种计算设备(200)，包括：

多触摸显示器(202)；

处理器(218)；以及

包括指令的存储器(220)，所述指令可由所述处理器(218)执行以：

在所述显示器上显示多个用户界面元素；

检测所选用户界面元素的交互状态的改变，所述交互状态是由用户即时地作出的与所选用户界面元素的交互的类型来定义的；

如果所述交互状态的改变是对所选用户界面元素在所述显示器上的移动的发起，则将所选用户界面元素移动到所述多个用户界面元素的z排序内的第一预定位置，所述第一预定位置在包括多个位置的顶部z次序层内；

如果所述改变不是对所选用户界面元素在所述显示器上的移动的发起，而是对与包含在所选用户界面元素中的内容的用户交互的发起，则将所选用户界面元素移动到z排序内比所述第一预定位置更远离顶部z次序位置的第二预定位置上，所述第二预定位置在包括低于所述顶部z次序层的多个位置的中间z次序层内；以及

如果所述改变是停止与所选用户界面元素的用户交互，则将所选用户界面元素移动到比所述第一预定位置和所述第二预定位置更远离所述顶部z次序位置的第三预定位置，所述第三预定位置在包括低于所述中间z次序层的多个位置的底部z次序层内，其中一个以上的界面元素占据一个z次序层，并且在每个层内，占据所述层的最近的界面元素置于所述层内位于顶部z次序位置处。

8.如权利要求7所述的计算设备，其特征在于，所选用户界面元素的移动包括拖动所选用户界面元素、调整其大小或旋转所选用户界面元素中的一个或多个。

9.如权利要求7所述的计算设备，其特征在于，与包含在所选用户界面元素内的内容的用户交互包括经由鼠标、键盘、指示笔或触摸输入操纵所述内容。

10.如权利要求7所述的计算设备，其特征在于，还包括可由所述处理器执行以执行以下动作的指令：

检测对与包含在所述用户界面元素内的内容的用户交互的发起；

如果所述用户交互是选择所选用户界面元素内的焦点指派用户界面控件，则将来自间接用户输入设备的输入定向到所选用户界面元素；以及

如果所述用户交互不是选择所选用户界面元素内的焦点指派用户界面控件，则不将来自间接用户输入设备的输入定向到所选用户界面元素。