CN116324701A - 管理可视用户界面（vui）中的用户界面项目 - Google Patents

管理可视用户界面（vui）中的用户界面项目 Download PDF

Info

Publication number
CN116324701A
CN116324701A CN202080105896.3A CN202080105896A CN116324701A CN 116324701 A CN116324701 A CN 116324701A CN 202080105896 A CN202080105896 A CN 202080105896A CN 116324701 A CN116324701 A CN 116324701A
Authority
CN
China
Prior art keywords
tack
pin
vui
item
items
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080105896.3A
Other languages
English (en)
Inventor
加甘普雷特·辛格
许强
李维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN116324701A publication Critical patent/CN116324701A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/543—User-generated data transfer, e.g. clipboards, dynamic data exchange [DDE], object linking and embedding [OLE]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/545—Gui
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了一种管理可视用户界面(visual user interface，VUI)中用户界面项目的方法。在一个方面中，所述方法包括在显示器上显示VUI屏幕。所述VUI屏幕包括可滚动区域，所述可滚动区域包括多个可选择项目。所述VUI屏幕提供位于所述显示器的显示区域边缘的图钉固定栏。所述图钉固定栏和第二图钉固定栏的状态响应于所述可滚动区域的视觉状态的变化持续存在。响应于检测到固定命令，将多个可选择项目中的选定项目固定到所述图钉固定栏。响应于检测到对应输入，改变所述可滚动区域的视觉状态。响应于检测到取消固定命令，取消固定与来自所述图钉固定栏的选定图钉对应的固定项目。

Description

管理可视用户界面(VUI)中的用户界面项目
相关申请案的交叉引用
本申请要求于2020年10月5日提交的发明名称为“管理可视用户界面(VUI)中的用户界面项目(MANAGING USER INTERFACE ITEMS IN A VISUAL USER INTERFACE(VUI))”的第17/063,332号美国专利申请的优先权的权益，其内容通过引用并入本文，如全文再现一样。
技术领域
本发明大体上涉及可视用户界面，更具体地，涉及管理用户界面项目。
背景技术
可滚动列表是移动操作系统的一个众所周知的功能。每个移动操作系统有自己的交互技术，用于重新排序列表项目(即，改变可滚动列表中项目的位置)。但是，现有的交互技术对于具有许多项目的长可滚动列表表现不佳。对于长可滚动列表，进行交互通常需要用户按住列表项目，同时通过将手指移动到屏幕的底部边缘或上边缘来滚动可滚动列表。这使得交互复杂繁琐。用户经常会错过目标位置，并且无法跟踪列表项目。这种交互通常十分耗时，因为重新排序时列表滚动的速度通常不是正常的滚动速度。此外，交互通常仅限于一次重新排序一个列表项目。因此，需要改进用户界面项目的管理。
附图说明
图1是适合于实施本发明的指导的计算设备的框图。
图2A至图2D示出了本发明的实施例提供的可固定VUI屏幕的配置。
图3是本发明的一个实施例提供的管理VUI中用户界面项目的方法的流程图。
图4A至图4I示出了根据使用图3的方法的用户交互的第一示例的可固定VUI屏幕的序列。
图5A至图5D示出了根据使用图3的方法的用户交互的第二示例的可固定VUI屏幕的序列。
图6A至图6E示出了根据使用图3的方法的用户交互的第三示例的可固定VUI屏幕的序列。
图7是本发明的另一个实施例提供的管理VUI中用户界面项目的方法的流程图。
图8A和图8B示出了本发明的实施例提供的具有可固定VUI屏幕的计算设备。
图9是本发明的又一个实施例提供的管理VUI中用户界面项目的方法的流程图。
图10A至图10F示出了根据使用图9的方法的用户交互的示例的可固定VUI屏幕的序列。
发明内容
本发明提供了一种用于管理VUI中的用户界面(user interface，UI)项目的方法、装置和非瞬时性机器可读介质。本发明提供了一种固定方法，可用于重新排序在VUI中显示的列表(即“列表项目”)中的UI项目，在列表操作期间保留列表项目在列表中的位置，或通过至少一个图钉图钉固定栏在应用之间共享内容。图钉固定栏由可固定VUI屏幕的动态内容区域(例如可滚动区域)的一个或多个边缘处的可固定VUI屏幕的一部分提供，该可固定VUI屏幕可以包括列表。当动态内容区域是可滚动区域时，图钉固定栏可以平行于可固定VUI屏幕的可滚动区域的可滚动方向延伸。用户可以使用指定手势(例如滑动、拖动或长按)将列表项目移动到图钉固定栏上，以固定列表项目。固定的UI项目保持连接到可固定VUI屏幕上的固定位置，并且不受VUI屏幕的视觉状态的任何变化(例如列表的视觉状态的变化)影响，例如，由滚动、列表操作(例如排序)，或在与图钉固定栏交互的协作应用之间切换触发的变化。
图钉固定栏可以在VUI屏幕的边缘形成水平条、垂直条或框架。在一些实施例中，固定方法可以以与当前重新排序技术相比减少时间需求、工作和所需时间的方式重新定位一个或多个UI项目(例如，列表项目)，并与当前重新排序技术相比提高重新定位UI项目的准确性。固定方法使用户可以将用户希望在动态内容区域(例如，列表)内重新定位的UI项目放在一边，通过滚动或执行另一个操作改变VUI屏幕的可见状态(例如，列表视图、网格视图或图库视图)，然后将UI项目重新定位(例如，替换、取消固定、插入或添加)回动态内容区域。固定的UI项目可以单独、按组或同时全部重新定位到固定UI项目的相同或不同VUI屏幕。如上所述，固定的UI项目不受导致VUI屏幕的视觉状态变化的操作的影响，并且可以随时从固定UI项目的图钉固定栏上的位置访问。图钉可以在图钉固定栏上重新定位或移动。
根据本发明的第一方面的第一实施例，提供了一种由计算设备的处理器执行的管理可视用户界面(visual user interface，VUI)中的用户界面项目的方法。所述方法包括在显示器上显示第一应用的第一VUI屏幕。所述第一VUI屏幕包括动态内容区域，所述动态内容区域包括可选择内容。所述第一VUI屏幕提供位于所述第一VUI屏幕的显示区域的第一侧的第一图钉固定栏和位于所述第一VUI屏幕的所述显示区域的与右侧相对的第二侧的第二图钉固定栏。所述第一图钉固定栏和所述第二图钉固定栏在不同应用的VUI屏幕上持续存在。所述方法还包括：响应于检测到固定命令，将来自所述动态内容区域的选定内容固定到所述第一图钉固定栏或所述第二图钉固定栏。固定包括：在所述显示器上显示在所述第一图钉固定栏或所述第二图钉固定栏中的对应一个中的图钉，并将与所述图钉相关联的所述选定内容存储在所述计算设备的存储器中。所述方法还包括：响应于检测到将活动应用从所述第一应用切换到第二应用的输入，在所述显示器上显示所述第二应用的第二VUI屏幕，其中，所述第二VUI屏幕包括输入栏。所述第一图钉固定栏和所述第二图钉固定栏的状态在所述第一应用的所述第一VUI屏幕与所述第二应用的所述第二VUI屏幕之间持续存在。所述方法还包括：响应于检测到取消固定命令，将与位于所述第一图钉固定栏或所述第二图钉固定栏中的一个或多个图钉对应的存储内容添加到所述输入栏。
在第一方面的第一实施例的一些或全部示例中，所述第一图钉固定栏和所述第二图钉固定栏响应于对应输入提供。
在第一方面的第一实施例的一些或全部示例中，所述第一图钉固定栏位于所述动态内容区域的左边缘，所述第二图钉固定栏位于所述动态内容区域的右边缘。
在第一方面的第一实施例的一些或全部示例中，所述第一VUI屏幕的所述动态内容区域和所述第二VUI屏幕的所述输入栏相对于屏幕方向可在垂直方向上滚动。在第一方面的第一实施例的一些或全部示例中，所述第一图钉固定栏和所述第二图钉固定栏由在所述显示器的所述显示区域的所述左边缘和所述显示器的所述显示区域的所述右边缘处的垂直延伸区域限定。
在第一方面的第一实施例的一些或全部示例中，所述第一图钉固定栏和所述第二图钉固定栏在没有视觉表示的情况下提供。
在第一方面的第一实施例的一些或全部示例中，与所述一个或多个图钉对应的所述存储内容基于所述一个或多个图钉在所述第一图钉固定栏或所述第二图钉固定栏中的位置，根据预定义的视觉布局规则自动布置。
在第一方面的第一实施例的一些或全部示例中，与所述一个或多个图钉对应的所述存储内容基于所述一个或多个图钉在所述第一图钉固定栏或所述第二图钉固定栏中的大小，根据预定义的视觉布局规则自动布置。
在第一方面的第一实施例的一些或全部示例中，所述第一图钉固定栏和所述第二图钉固定栏的所述状态包括位于所述第一图钉固定栏和所述第二图钉固定栏上的图钉的位置。
在第一方面的第一实施例的一些或全部示例中，所述第一图钉固定栏和所述第二图钉固定栏的所述状态包括位于所述第一图钉固定栏和所述第二图钉固定栏上的图钉的大小。
在第一方面的第一实施例的一些或全部示例中，所述第一图钉固定栏和所述第二图钉固定栏的所述状态响应于所述动态内容区域的视觉状态的变化而持续存在，并在应用之间持续存在。
在第一方面的第一实施例的一些或全部示例中，所述方法还包括：响应于与选定图钉相关联的对应输入调用上下文敏感菜单，其中，所述上下文敏感菜单包括多个菜单选项；响应于选择所述多个菜单选项中的选项的输入，执行动作。
在第一方面的第一实施例的一些或全部示例中，所述多个菜单选项包括用于删除所述选定图钉的删除选项、用于访问与所述选定图钉相关联的源的访问选项，以及用于搜索与所述选定图钉相关联的内容的搜索选项。
在第一方面的第一实施例的一些或全部示例中，所述方法还包括：响应于检测到与相应图钉相关联的对应输入，执行与图钉对应的存储内容相关联的动作。
根据本发明的第一方面的第二实施例，提供了一种由计算设备的处理器执行的管理可视用户界面(visual user interface，VUI)中的用户界面项目的方法。所述方法包括在显示器上显示VUI屏幕。所述VUI屏幕包括可滚动区域，所述可滚动区域包括多个可选择项目。所述VUI屏幕提供位于所述显示器的显示区域边缘的图钉固定栏。所述图钉固定栏和第二图钉固定栏的状态响应于所述可滚动区域的视觉状态的变化持续存在。响应于检测到固定命令，将多个可选择项目中的选定项目固定到所述图钉固定栏。响应于检测到对应输入，改变所述可滚动区域的视觉状态。响应于检测到取消固定命令，取消固定与来自所述图钉固定栏的选定图钉对应的固定项目。
在第一方面的第二实施例的一些或全部示例中，所述图钉固定栏响应于对应的输入提供。
在第一方面的第二实施例的一些示例中，所述可选择项目被一维地排序和布置。
在第一方面的第二实施例的一些示例中，所述可选择项目被二维地排序和布置。
在第一方面的第二实施例的一些或全部示例中，所述固定包括：显示所述图钉固定栏中靠近选定的可选择项目的位置，与所述选定项目对应的图钉；将与所述图钉相关联的所述选定项目存储在所述计算设备的存储器中；从所述可滚动区域中删除所述选定项目；并显示以前未显示的附加项目。
在第一方面的第二实施例的一些或全部示例中，所述取消固定包括：在所述可滚动区域中与所述选定图钉的位置对应的位置处，将与所述选定图钉对应的存储项目添加到所述可滚动区域；移除所述可滚动区域中当前显示的项目以容纳所述添加的项目；从所述图钉固定栏中移除所述选定图钉。
在第一方面的第二实施例的一些或全部示例中，所述可选择项目经过排序并布置在序列中，显示的所述附加项目是所述序列中的后续项目。
在第一方面的第二实施例的一些或全部示例中，所述取消固定包括：在所述序列中与所述选定图钉的位置对应的位置处，将与所述选定图钉对应的所述存储项目插入到所述可滚动区域；移除所述序列中当前显示的项目以容纳所述插入的项目；从所述图钉固定栏中移除所述选定图钉。
在第一方面的第二实施例的一些或全部示例中，被移除的所述当前显示的项目是所述序列中的最后一个项目。
在第一方面的第二实施例的一些示例中，所述存储项目插入在所述序列中靠近所述图钉的所述位置的项目之前。
在第一方面的第二实施例的一些示例中，所述存储项目插入在所述序列中靠近所述图钉的所述位置的项目之后。
在第一方面的第二实施例的一些示例中，所述固定命令是与可选择项目相关联执行的指定交互，其中，所述固定命令的所述交互包括检测沿所述图钉固定栏的方向的滑动手势。
在第一方面的第二实施例的一些示例中，所述取消固定命令是与所述图钉固定栏中的图钉相关联执行的指定交互，其中，所述固定命令的所述交互包括检测沿所述可滚动区域的方向并远离所述图钉固定栏的滑动手势。
在第一方面的第二实施例的一些或全部示例中，所述方法还包括：响应于检测到重新定位输入，在所述图钉固定栏中重新定位图钉。
在第一方面的第二实施例的一些或全部示例中，所述重新定位输入是与所述图钉固定栏中的图钉相关联执行的指定交互，其中，所述固定命令的所述交互包括检测沿可滚动方向的拖动手势。
在第一方面的第二实施例的一些或全部示例中，改变所述可滚动区域的所述视觉状态包括：响应于检测到滚动输入而滚动所述可滚动区域。
在第一方面的第二实施例的一些或全部示例中，改变所述可滚动区域的所述视觉状态包括：响应于检测到对应输入，对所述可选择项目所述可滚动区域执行列表操作。
根据本发明的第二方面的第一实施例，提供了一种计算设备，所述计算设备提供显示器、存储器和处理器系统，所述处理器系统包括耦合到所述显示器和所述存储器的至少一个处理器。所述处理器系统用于使得显示第一应用的第一VUI屏幕。所述第一VUI屏幕包括动态内容区域，所述动态内容区域包括可选择内容。所述第一VUI屏幕提供位于所述第一VUI屏幕的显示区域的第一侧的第一图钉固定栏和位于所述第一VUI屏幕的所述显示区域的与右侧相对的第二侧的第二图钉固定栏。所述第一图钉固定栏和所述第二图钉固定栏在不同应用的VUI屏幕上持续存在。所述处理器系统还用于：响应于检测到固定命令，将来自所述动态内容区域的选定内容固定到所述第一图钉固定栏或所述第二图钉固定栏。固定包括：在所述显示器上显示在所述第一图钉固定栏或所述第二图钉固定栏中的对应一个中的图钉，并将与所述图钉相关联的所述选定内容存储在所述计算设备的存储器中。所述处理器系统还用于使得：响应于检测到将活动应用从所述第一应用切换到第二应用的输入，显示所述第二应用的第二VUI屏幕，其中，所述第二VUI屏幕包括输入栏。所述第一图钉固定栏和所述第二图钉固定栏的状态在所述第一应用的所述第一VUI屏幕与所述第二应用的所述第二VUI屏幕之间持续存在。所述处理器系统还用于：响应于检测到取消固定命令，将与位于所述第一图钉固定栏或所述第二图钉固定栏中的一个或多个图钉对应的存储内容添加到所述输入栏。
根据本发明的第二方面的第二实施例，提供了一种计算设备，所述计算设备提供显示器、存储器和处理器系统，所述处理器系统包括耦合到所述显示器和所述存储器的至少一个处理器。所述处理器系统用于使得在显示器上显示VUI屏幕。所述VUI屏幕包括可滚动区域，所述可滚动区域包括多个可选择项目。所述VUI屏幕提供位于所述显示器的显示区域边缘的图钉固定栏。所述图钉固定栏和第二图钉固定栏的状态响应于所述可滚动区域的视觉状态的变化持续存在。所述处理器系统还用于：响应于检测到固定命令，将所述多个可选择项目中的选定项目固定到所述图钉固定栏。所述处理器系统还用于：响应于检测到对应输入，导致改变所述可滚动区域的视觉状态。所述处理器系统还用于：响应于检测到取消固定命令，取消固定与来自所述图钉固定栏的选定图钉对应的固定项目。
根据本发明的第三方面的第一实施例，提供了一种非瞬时性机器可读介质，其上有形地存储用于由计算设备的处理器系统执行的可执行指令。所述处理系统包括至少一个处理器，其中，响应于所述处理器系统的执行，所述可执行指令使所述处理器系统导致显示第一应用的第一VUI屏幕。所述第一VUI屏幕包括动态内容区域，所述动态内容区域包括可选择内容。所述第一VUI屏幕提供位于所述第一VUI屏幕的显示区域的第一侧的第一图钉固定栏和位于所述第一VUI屏幕的所述显示区域的与右侧相对的第二侧的第二图钉固定栏。所述第一图钉固定栏和所述第二图钉固定栏在不同应用的VUI屏幕上持续存在。所述处理器系统还用于：响应于检测到固定命令，将来自所述动态内容区域的选定内容固定到所述第一图钉固定栏或所述第二图钉固定栏。固定包括：在所述显示器上显示在所述第一图钉固定栏或所述第二图钉固定栏中的对应一个中的图钉，并将与所述图钉相关联的所述选定内容存储在所述计算设备的存储器中。所述处理器系统还用于使得：响应于检测到将活动应用从所述第一应用切换到第二应用的输入，显示所述第二应用的第二VUI屏幕，其中，所述第二VUI屏幕包括输入栏。所述第一图钉固定栏和所述第二图钉固定栏的状态在所述第一应用的所述第一VUI屏幕与所述第二应用的所述第二VUI屏幕之间持续存在。所述处理器系统还用于：响应于检测到取消固定命令，将与位于所述第一图钉固定栏或所述第二图钉固定栏中的一个或多个图钉对应的存储内容添加到所述输入栏。
根据本发明的第三方面的第二实施例，提供了一种非瞬时性机器可读介质，其上有形地存储用于由计算设备的处理器系统执行的可执行指令。所述处理系统包括至少一个处理器，其中，响应于所述处理器系统的执行，所述可执行指令使所述处理器系统导致在显示器上显示VUI屏幕。所述VUI屏幕包括可滚动区域，所述可滚动区域包括多个可选择项目。所述VUI屏幕提供位于所述显示器的显示区域边缘的图钉固定栏。所述图钉固定栏和第二图钉固定栏的状态响应于所述可滚动区域的视觉状态的变化持续存在。所述处理器系统还用于：响应于检测到固定命令，将所述多个可选择项目中的选定项目固定到所述图钉固定栏。所述处理器系统还用于：响应于检测到对应输入，导致改变所述可滚动区域的视觉状态。所述处理器系统还用于：响应于检测到取消固定命令，取消固定与来自所述图钉固定栏的选定图钉对应的固定项目。
在结合附图阅读本申请的具体实现方式的以下描述时，本发明的其它方面和特征对于本领域普通技术人员来说是显而易见的。
具体实施方式
本发明是参考附图进行的，附图中示出了实施例。但是，可以使用许多不同的实施例，因此描述不应解释为局限于本文中阐述的实施例。相反，提供这些实施例是为了使得本申请彻底和完整。在可能的情况下，在附图和以下描述中使用相同的附图标记来指代相同的元件，并且在替代实施例中使用素数表示法来指示相同的元件、操作或步骤。所示系统和设备的功能元件的单独框或所示分离不一定需要这些功能的物理分离，因为这些元件之间的通信可以在没有任何这种物理分离的情况下通过消息传递、函数调用、共享内存空间等方式发生。因此，尽管为了便于解释，本文分开示出了功能，但是这些功能不需要在物理或逻辑上分离的平台中实现。不同的设备可以具有不同的设计，使得尽管一些设备在固定功能硬件中实现一些功能，但其它设备可以在可编程处理器中实现这些功能，该处理器具有从机器可读介质获得的代码。最后，以单数提及的元件可以是复数，反之亦然，除非上下文明确或固有地指示。
首先参考图1，示出了适合于实施本发明的指导的计算设备102。计算设备102可以是多用途通信设备，例如有线或无线通信设备。计算设备102的示例包括但不限于智能手机、平板电脑、个人相机或相机外围设备、个人计算机(例如台式机或笔记本电脑)、智能眼镜或其它安装在头戴设备上的显示器、智能扬声器或其它智能或物联网(Internet ofThings，IoT)设备(例如智能电器)等等。
计算设备102包括处理系统，该处理系统包括控制计算设备102的整体操作的处理器104(例如微处理器或中央处理单元(central processing unit，CPU))。处理系统可以包括耦合到处理器104的一种或多种其它类型的处理器，例如图形处理单元(graphicprocessing unit，GPU)、张量处理单元(tensor processing unit，TPU)、神经处理单元(neural processing unit，NPU)、专用集成电路或现场可编程门阵列(fieldprogrammable gate array，FPGA)，用于卸载某些计算任务。处理器104通过通信总线(未示出)耦合到多个组件，该通信总线提供组件与处理器104之间的通信路径。处理器104耦合到随机存取存储器(random access memory，RAM)108、只读存储器(read only memory，ROM)110和持久(非易失性)存储器112，例如闪存和通信子系统130。通信子系统130包括一个或多个无线收发器，用于与无线网络交换射频信号。通信子系统130还可以包括用于与有线网络进行有线通信的有线收发器。无线收发器可以包括蓝牙收发器或其它短程无线收发器、用于通过无线局域网(wireless local area network，WLAN)接入点(access point，AP)与WLAN通信的Wi-Fi或其它WLAN收发器、或用于与无线接入网(例如，蜂窝网络)通信的无线广域网(wireless wide area network，WWAN)收发器，例如蜂窝收发器。蜂窝收发器可以在其地理覆盖区域内与蜂窝网络的多个固定收发器基站中的任何一个通信。无线收发器可以包括支持多个射频频段的多频段蜂窝收发器。其它类型的短程无线通信包括近场通信(nearfield communication，NFC)、IEEE 802.15.3a(也称为超宽带(ultrawideband，UWB))、Z-Wave、ZigBee、ANT/ANT+或红外(例如，国际红外数据协会(infrared data association，IrDA)通信)。无线收发器可以包括卫星接收器，用于从卫星网络接收卫星信号，该卫星网络包括作为全球或区域卫星导航系统一部分的多个卫星。
计算设备102还包括耦合到处理器104的麦克风132和扬声器134。计算设备102还可以包括相机136、触摸屏138和用于从卫星网络接收卫星信号的卫星接收器140，这取决于计算设备102的类型。触摸屏138通常是电容式触摸屏。计算设备102还可以包括耦合到处理器104的多个传感器120。传感器120可以包括生物识别传感器122(例如面部扫描仪或指纹扫描仪)、运动传感器124(例如加速度计)、红外(infrared，IR)传感器126，和/或接近传感器128。在可能的实施例中，传感器120可以包括其它传感器(未示出)，例如定向传感器、电子罗盘或高度计。根据计算设备102的类型，计算设备102还可以包括一个或多个其它输入设备142，例如按钮、开关、拨号盘、键盘或小键盘或导航工具。
可由包括处理器104的处理系统执行的操作系统软件150存储在永久存储器112中，但可以存储在其它类型的存储器设备中，例如ROM 108或类似的存储元件。操作系统软件150提供可视用户界面(visual user interface，VUI)，用于以经由触摸屏138和/或其它输入设备142检测到的触摸输入的形式与计算设备102进行用户交互。可由包括处理器104的处理系统执行的多个应用程序152也存储在永久存储器112中。应用程序152包括固定应用170。或者，固定应用170可以是操作系统软件150的一部分，例如VUI的一部分，或应用编程接口(application programming interface，API)。固定应用170包括用于使用户能够根据本发明的指导(例如方法300、700和900)，使用固定管理用户界面(user interface，UI)项目的指令。
存储器112存储各种数据154，包括由多个传感器120获取的传感器数据，该传感器数据包括由生物识别传感器122获取的传感器数据、由运动传感器124(即计算设备102的加速度计、陀螺仪或惯性测量单元(inertial measurement unit，IMU))获取的传感器数据、由红外传感器126获取的传感器数据，以及由接近传感器128获取的传感器数据。存储器112还存储由触摸屏138和/或其它输入设备142获取的输入数据156、包括用户偏好、设置和可能的关于用户的认证和/或识别的生物识别数据的用户数据、包括通过无线收发器下载的数据的下载缓存以及保存的文件。系统软件、软件模块、特定设备应用或其部分可以临时加载到RAM 108中。由计算设备102接收的通信信号也可以存储在RAM 108中。虽然描述了各种类型存储器的特定功能，但这只是一个实施例，也可以在其它实施例中使用对存储器类型的不同功能分配。
计算设备102还可以包括作为电源的电池(未示出)，例如可以例如通过耦合到电池接口(例如串行数据端口)的充电电路充电的一个或多个可充电电池。电池向计算设备102的至少一些组件提供电力，并且电池接口(未示出)为电池提供机械和电气连接。
图2A至图2D示出了本发明的各种实施例提供的可固定VUI屏幕的配置(即可固定VUI屏幕配置)。每个可固定VUI屏幕配置显示在计算设备102的触摸屏显示器138上，并包括动态内容区域。动态内容区域可以包括可滚动区域202和在图2A至图2D中分别由附图标记204、206a和206b、208以及210a和210b表示的一个或多个图钉固定栏。内容可以固定到一个或多个图钉固定栏。在一些示例中，可滚动区域202中的所有可选择内容都是可固定的。在其它示例中，可滚动区域202中的可选择内容的子集是可固定的。或者，动态内容区域可能是不可滚动的，但可以基于从用户或通信子系统130接收到的数据进行更新。
一个或多个图钉固定栏可以平行于图2A至图2D所示的滚动方向。可滚动区域202位于可固定VUI屏幕的内部(例如，中心)，并占据可固定VUI屏幕的大部分。根据实施例，可滚动区域202可以沿相对于可固定VUI屏幕的屏幕取向的垂直方向、相对于可固定VUI屏幕的屏幕取向的水平方向，或相对于可固定VUI屏幕的屏幕取向的垂直方向和水平方向滚动。可滚动区域202用于显示包括一个或多个可选择UI项目的动态内容。根据实施例，可选择UI项目可以是可滚动列表、表网格、阵列或图库中的列表项目，或其它动态VUI内容，例如来自网页的网页内容等。可选择UI项目可以包括图片、视频、音频、字母数字文本、多媒体对象或其它合适的逻辑对象。
根据实施例，图钉固定栏可以位于可固定VUI屏幕的左侧、右侧、顶部或底部。根据实施例，图钉固定栏可以形成水平条(或框)、垂直条(或框)或框架。图钉固定栏可以位于可滚动区域202中。例如，图钉固定栏可以是位于可滚动区域202左侧或右侧的垂直条、位于可滚动区域202顶部或底部的水平条，或位于可滚动区域202的边界、边框或周边的内边缘的框架。图4A至图4I示出了一个示例，其中，图钉固定栏是位于可滚动区域左侧的垂直条。或者，图钉固定栏并非位于可滚动区域中，图钉固定栏可以位于可滚动区域202的外部，例如，在可滚动区域202的边界、边框或周边的外边缘处。
图钉固定栏由可固定VUI屏幕的区域(称为图钉固定栏区域)限定。图钉固定栏可以通过视觉表示可见，作为用户的视觉示能。视觉表示的示例包括限定图钉固定栏区域的边界、边框或周边的条、框或框架。或者，图钉固定栏可以是不可见的，没有视觉表示。例如，当图钉固定栏位于可固定VUI屏幕的可滚动区域202中时，图钉固定栏可以是不可见的，如图4A至图4I的示例中所示。
图钉固定栏、可滚动区域和可滚动区域202中的可选择UI项目是触摸敏感/触摸交互式屏幕UI项目，它们各自由触摸屏138的触摸表面上的相应触摸区域定义并与该触摸区域相关联，用户可以通过触摸输入与该触摸区域进行交互。触摸区域可以根据触摸屏138的显示设备的对应显示像素来定义。触摸区域可以略微大于或小于对应的显示区域，在对应的显示区域中，对应的屏幕项目的视觉表示显示在触摸屏138的显示器上。
根据本发明，固定应用170或固定应用170与之交互以提供固定功能的操作系统软件150或应用程序152维护关于可固定VUI屏幕的状态信息，该状态信息包括动态内容区域(例如，可滚动区域)的状态和一个或多个图钉固定栏的状态。
状态信息是存储在RAM 108等中的临时运行时信息。在一些示例中，动态内容区域(例如，可滚动区域)的状态包括在可滚动区域中显示的可滚动列表中的列表项目和可滚动列表中当前在可滚动区域中显示的列表项目的当前顺序。在可滚动区域中显示的可滚动列表中的列表项目的顺序最初基于应用程序152提供的列表项目的顺序设置。一个或多个图钉固定栏的状态包括当前固定到一个或多个图钉固定栏的图钉。图钉的状态可以包括图钉的顺序、大小和/或位置，以及与图钉对应的存储列表项目(“固定项目”)。与图钉对应的存储项目的状态包括关联的列表项目数据，例如被固定的列表项目的内容、外观等。内容可以包括图片、视频、音频、文本、多媒体对象或其它合适的逻辑对象，或其组合。当改变可滚动区域或图钉固定栏时，状态信息将更新。与每个固定的列表项目对应的存储内容存储在对应的数据结构中，并分配和关联唯一标识符，该标识符将存储内容与显示在可固定VUI屏幕上的相应图钉关联起来。
图钉固定栏中的图钉的位置和/或尺寸可以由应用程序152基于存储在存储器112中的预定义视觉布局规则解释为具有逻辑或语义含义。预定义的视觉布局规则可以由固定应用170、使用固定应用170作为API的应用程序152或操作系统软件150定义。预定义的视觉布局规则由形成固定应用170的一部分的视觉解释器(未示出)、使用固定应用170作为API的应用程序152或操作系统软件150解释。
当不存在固定的列表项目时(例如，在所有固定的列表项目都被取消固定之后)，例如，响应于在列表项目重新排序之后保存或存储改变的请求，对列表项目顺序的改变可以由应用程序152永久存储。当保存时，更新由应用程序152存储的列表中的列表项目的顺序，以反映保存时可滚动区域202的状态。
在图2A中，图钉固定栏204位于可滚动区域202a的左侧，并形成垂直或垂直延伸区域。可滚动区域202a可垂直滚动，但不能水平滚动。在图2B中，图钉固定栏206a和206b分别位于可滚动区域202b的顶部和底部，并形成一对水平或水平延伸栏。可滚动区域202b可水平滚动，但不能垂直滚动。在图2C中，图钉固定栏208在可滚动区域202c的边缘形成框。可滚动区域202c可以是水平和垂直均可滚动的。在图2D中，图钉固定栏210a和210b分别位于可滚动区域202d的左侧和右侧，并形成垂直或垂直延伸区域。可滚动区域202d可垂直滚动，但不能水平滚动。
图3是本发明的一个实施例提供的管理VUI中用户界面(user interface，UI)项目的方法300的流程图。方法300可以由软件，例如固定应用170执行，该固定应用170例如至少由图1所示的计算设备102的处理系统的处理器104执行。
在操作302中，可固定VUI屏幕在触摸屏138上显示。可固定VUI屏幕包括具有一个或多个可选择UI项目和一个或多个图钉固定栏的可滚动区域，例如位于可固定VUI屏幕左侧或右侧的垂直延伸区域或位于可固定VUI屏幕顶部或底部的水平延伸条，如上所述。
在操作304中，确定是否检测到固定命令(也称为固定事件或固定输入)。固定命令可以是用户与可选择UI项目相关联地执行的与触摸屏138的指定触摸交互。固定命令的触摸交互可以包括与可选择UI项目相关联执行的一个或多个触摸手势，有时称为固定手势。在优选示例中，固定命令包括检测沿图钉固定栏方向的滑动手势，所述滑动手势在可选择UI项目的触摸区域中具有初始点或原点，并在图钉固定栏的触摸区域中具有终点。在另一个示例中，固定命令包括在紧随滑动手势之后的阈值时间段内，检测与位于可滚动区域中的可选择UI项目相关联的长按(也称为按住不动手势)。在又一个示例中，固定命令包括与位于可滚动区域中的可选择UI项目相关联的从可滚动区域到图钉固定栏的拖动手势。也可能存在其它类型的固定命令。
如本领域技术人员所知，长按是具有触摸输入的触摸点(即质心)的触摸手势，该触摸输入不会移动超过阈值(公差)距离，并且持续时间超过最小或阈值持续时间，在一些示例中，该持续时间可以是例如500毫秒。也可能存在其它阈值持续时间。滑动手势是具有单一方向的定向触摸手势。在滑动手势中，触摸点移动超过长按的阈值(公差)距离，但手势在触摸点仍在移动，并且速度超过阈值速度时结束(即，检测到终点)。处理器204从触摸屏138接收数据，并可以相对于最初与触摸屏138接触的起点和与触摸屏138接触结束的终点评估滑动，而不是在触摸手势的持续时间内使用每个位置或接触点来解析方向。滑动的示例包括水平滑动、垂直滑动和对角线滑动。水平滑动通常包括朝向触摸屏138左侧或右侧以初始化触摸手势的原点，检测对象从原点水平移动到朝向触摸屏138右侧或左侧的终点，同时保持与触摸屏138的连续接触，以及与触摸屏138断开接触。类似地，垂直滑动通常包括朝向触摸屏138顶部或底部以初始化触摸手势的原点，检测对象从原点垂直运动到朝向触摸屏138底部或顶部的终点，同时保持与触摸屏138连续接触，以及与触摸屏138断开接触。断开滑动接触可以是渐进的，因为在滑动仍在进行时，与触摸屏138的接触是逐渐减少的。拖动手势与滑动手势的不同之处在于，触摸点(例如，触摸事件的质心)移动超过阈值(公差)距离，但当触摸点不再移动或以不超过阈值速度的速度移动时结束。
响应于确定检测到固定命令，处理进行到操作306，在操作306中，将对应的UI项目固定到图钉固定栏上。将UI项目固定到图钉固定栏包括：从可滚动区域中移除(也称为取消显示)固定的UI项目；从可滚动列表中显示先前未显示的附加UI项目；以及在移除UI项目之前，在固定的UI项目的位置旁边或靠近该位置，显示图钉固定栏中与固定的UI项目对应的图钉。在可滚动区域包括可滚动列表的示例中，每个UI项目是列表项目，并且每个列表项目可以包括行。图钉可以位于图钉固定栏在对应行旁边的区域中的特定位置，例如，在其顶部、底部或中心。或者，图钉可以占据图钉旁边的整个区域。或者，图钉可以位于固定的UI项目与可滚动列表中的前一个项目之间的边框处，或者位于固定的UI项目与可滚动列表中的后续项目之间的边框处。
可滚动列表中的附加UI项目通常是可滚动列表中的后续UI项目。固定命令更新由固定应用170存储的关于可滚动区域的状态和图钉固定栏的状态的状态信息。
图钉是固定项目的视觉指示。图钉通常具有预定义的形状和大小。图钉可以包括识别信息，该识别信息将图钉识别为与固定项目相关联。图钉可以包括文本标签(例如，字母、一个或多个文字，或索引或项目顺序编号)、缩略图图像、预览(例如，固定的UI项目和/或缩略图图像的文本的第一个文字)或与固定的UI项目相关联的其它识别信息。图钉的形状和识别信息的性质可能会有所不同。在图4B和图4C的示例中，图钉采取按钮的形式，该按钮具有索引字母，表示在固定时可滚动列表中列表项目的字母顺序。在图5B和图5C的示例中，图钉采取圆圈的形式，其中包含的固定项目的名称的第一个字母“G”作为识别信息。
在操作306之后，或响应于确定未检测到固定命令(决策块304)，处理进行到操作308，在操作308中，确定是否检测到滚动输入。根据应用的不同，可以在一维或二维中滚动。在优选示例中，滚动输入是在可滚动方向上的滑动。可滚动方向是附加内容所在的可滚动区域的方向。应当理解，在滚动期间，可以在VUI中显示附加的可固定UI项目。在一维滚动应用中，对于相对于VUI的屏幕方向的水平滚动，可滚动方向可以是向上或向下，或者对于相对于VUI的屏幕方向的垂直滚动，可滚动方向可以是向左或向右。在二维滚动应用中，可滚动方向可以是相对于VUI的屏幕方向向上、向下、向左或向右。在另一个示例中，滚动输入是在可滚动方向上拖动。在又一示例中，滚动输入可以是在可滚动方向上滑动或拖动。滚动速度可以是固定的，也可以取决于触摸点的速度。滚动更新由固定应用170存储的关于可滚动区域的状态的状态信息。
响应于确定检测到滚动输入，处理进行到操作310，在操作310中，使可滚动区域的内容在对应的可滚动方向上滚动。滚动改变可滚动区域的视觉状态(例如，如列表视图、网格视图或图库视图)。滚动包括根据用于滚动输入的手势，根据滚动输入的距离或速度更新可滚动区域的内容。当拖动手势用作滚动输入时，相对于滚动输入的距离的滚动量基于像素到像素通常是1:1的比率，但是，可以使用不同的比率。当滑动手势用作滚动输入时，滚动速度通常取决于触摸点的速度。
在操作310之后，或响应于确定未检测到滚动输入(决策块308)，当一个或多个UI项目(例如列表项目)已经被固定到图钉固定栏时，处理进行到操作312。在操作312中，确定是否已经检测到用户与图钉固定栏中的图钉相关联执行的重新定位输入。在一些示例中，重新定位输入包括对位于图钉固定栏中的图钉在可滚动方向上执行或与之关联执行的拖动手势。
响应于确定检测到重新定位输入，处理进行到操作314，在操作314中，根据重新定位输入，将图钉重新定位在图钉固定栏中。可以提供可视化以帮助用户重新定位。可视化可以包括显示方向箭头、指南、网格线等，以提供关于图钉可以移动的方向或位置以及执行这种移动所需的手势的视觉指导和示能。可视化还可以以方向箭头、指南、网格线等形式提供可视化，以提供关于取消固定对应的固定项目所需的取消固定手势的视觉指导和示能。图钉在与重新定位输入的方向对应的方向上，以与对应的重新定位输入的距离对应的距离重新定位(移动)。图钉相对于重新定位输入的距离重新定位的距离基于像素到像素通常是1:1的比率，但是，可以使用不同的比率。重新定位更新由固定应用170存储的关于图钉固定栏的状态的状态信息。
应当理解，操作312-314是可选的，并且仅当一个或多个UI项目(例如列表项目)已经被固定到图钉固定栏时才执行。当不存在固定的UI项目时，可以不执行操作312-314。
在操作314之后，或响应于确定未检测到重新定位输入(决策块312)，当一个或多个UI项目(例如列表项目)已经被固定到图钉固定栏时，处理进行到操作316。在操作316中，确定是否检测到取消固定命令(也称为取消固定事件或取消固定输入)。取消固定命令可以是用户与图钉相关联地执行的与触摸屏138的指定触摸交互。取消固定命令的触摸交互可以包括与图钉相关联执行的一个或多个触摸手势，有时称为取消固定手势。在优选示例中，固定命令包括检测沿可滚动区域的方向并远离图钉固定栏的滑动手势，该滑动手势在图钉固定栏中固定的UI项目的触摸区域中具有初始点或原点，以及在可滚动区域的触摸区域中具有终点。在另一个示例中，取消固定命令包括紧随滑动手势之后的阈值时间段内，检测与图钉相关联的长按。在又一个示例中，取消固定命令包括与位于图钉固定栏中的图钉相关联的从图钉固定栏到可滚动区域的拖动手势。也可能存在其它类型的取消固定命令。
响应于确定检测到取消固定命令，处理进行到操作318，在操作318中，将对应的固定项目从图钉固定栏取消固定。将固定项目从图钉固定栏取消固定包括：当固定的UI项目从图钉固定栏取消固定时，在与图钉的位置对应的位置处将固定的UI项目添加(或插入)到可滚动区域中；从图钉固定栏移除对应的图钉；以及移除可滚动区域中当前显示的UI项目之一，以容纳添加/插入的UI项目。在一些示例中，将固定的UI项目添加到位于图钉位置旁边或靠近图钉位置的UI项目之前的可滚动区域。在其它示例中，将固定的UI项目添加到位于图钉位置旁边或靠近图钉位置的UI项目之后的可滚动区域。添加固定的UI项目的位置可以是应用设置。取消固定命令更新由固定应用170存储的关于可滚动区域的状态和图钉固定栏的状态的状态信息。
应当理解，操作316-318是可选的，并且仅当一个或多个UI项目(例如列表项目)已经被固定到图钉固定栏时才执行。当不存在固定的UI项目时，可以不执行操作316-318。
在操作318之后，或响应于确定未检测到取消固定命令(决策块316)，处理进行到操作320，在操作320中，确定是否继续方法300。或者，操作320可以由操作系统150省略或在后台执行。响应于确定已检测到指定用于结束方法300的输入或事件，处理进行到方法300结束的操作322。响应于确定未检测到指定用于结束方法300的输入或事件，处理进行到操作302。指定用于结束方法300的输入或事件的示例是关闭固定应用170，将活动或前台应用切换到不支持固定的应用，或通过改变设置、菜单选项等禁用固定功能。
如果方法300在一个或多个UI项目(例如列表项目)被固定到图钉固定栏时结束，则由固定应用170维护的状态信息(例如可滚动列表中列表项目顺序的改变)被丢弃。如果方法300在没有UI项目被固定到图钉固定栏时结束，则根据应用设置，可滚动列表中列表项目的顺序的改变如果尚未存储或丢弃可以自动保存到存储器中。如上所述，当不存在固定的UI项目时，例如，响应于保存或存储改变的请求，应用程序152可以永久存储UI项目(例如列表项目)的顺序的改变。
一维实施例
现在参考图4A至图4I，描述根据使用图3的方法的用户交互的第一示例的可固定可视用户界面(visual user interface，VUI)屏幕的序列。在第一示例中，可固定VUI屏幕的可滚动区域包括在触摸屏138上显示的可滚动列表400。可滚动列表400包括多个列表项目。可滚动列表400中的每个列表项目被呈现为一行，其中，可滚动列表400中的每一行具有相同的高度和宽度。图钉固定栏402位于可滚动列表400的左侧。为了解释的目的，图钉固定栏402在图4A中以虚线和阴影示出，但在使用期间不可见。可滚动列表400包括多个表示为A至Z的列表项目。在图4A中，列表项目按字母顺序从A至Z布置，仅示出列表项目A至F，列表项目G-Z响应于滚动输入可显示。可滚动列表400在其它示例中可以包括更多或更少的列表项目，并且在其它示例中可以通过字母顺序以外的方式进行排序，包括但不限于数字顺序。在所示的示例中，可滚动列表400仅可在垂直方向上滚动。
参考图4A，响应于检测到用户相对于列表项目E执行的从右到左滑动(也称为左滑动)形式的固定命令，列表项目E被固定到图钉固定栏402。如图4B所示，检测到固定命令导致在可滚动列表400中的列表项目E被固定时，在列表项目E的位置旁边或靠近该位置显示图钉固定栏402中与列表项目E对应的图钉404，从可滚动列表400中移除固定的列表项目(列表项目E)，并且在VUI屏幕底部显示附加列表项目(列表项目G)，使得列表项目A-D、F-G如图4B所示。在所示的示例中，图钉404小于表示列表项目的行的高度。在其它示例中，图钉404可以与其它示例中的列表项目具有相同的高度。
在所示的示例中，只有一个图钉可以定位在可滚动列表400中的每个行/列表项目旁边或靠近每个行/列表项目。这有效地将给定时间的图钉/列表项目的数量限制为可滚动列表400中可显示的行/列表项目的数量。在其它示例中，一个以上图钉可以定位在可滚动列表400中的每个行/列表项目旁边或靠近每个行/列表项目。
参考图4B，响应于检测到用户相对于列表项目D以左滑动形式执行的固定命令，列表项目D被固定到图钉固定栏402。如图4C所示，检测到固定命令导致在可滚动列表400中的固定的列表项目D的位置旁边或靠近该位置显示图钉固定栏402中与固定的列表项目D对应的图钉406，从可滚动列表400中移除固定的列表项目D，并且在VUI屏幕底部显示附加列表项目(列表项目H)，使得列表项目A-C、F-H如图4C所示。
参考图4D和图4E，响应于检测到用户在可滚动区域(即，可滚动列表400)中执行的滚动输入(图4D)，可滚动区域的内容被滚动，导致显示列表项目P-U(图4E)。在滚动期间和之后，图钉404和406在相同的位置保持固定到图钉固定栏402。
参考图4F和图4G，响应于检测到用户与图钉固定栏402中的图钉相关联执行的重新定位输入，与列表项目D对应的图钉406从可滚动列表400中的第一位置(图4F)移动到可滚动列表400中的第二位置(图4F)。如上所述，重新定位输入可以包括在可滚动方向上与位于图钉固定栏402中的图钉相关联的拖动手势。在一些示例中，其中，只有一个图钉可以定位在可滚动列表400中的每个行/列表项目旁边或靠近每个行/列表项目，在可滚动列表400中的每个行/列表项目旁边或靠近每个行/列表项目存在固定位置，可以定位图钉。例如，在第一示例中，由于每个列表项目的行具有固定的高度，因此可滚动列表400中的每个行/列表项目可以存在索引位置，重新定位输入将来自索引位置的图钉从可滚动列表400中的一行重新定位到另一行。索引位置可以是可滚动列表400中的行旁边或对面的图钉固定栏的区域的中心。在一些示例中，为了将图钉移动到可滚动列表400中的行/列表项目的索引位置，触摸输入的质心只需要移动到与可滚动列表400中的相应行对应的触摸区域。
参考图4G和图4H，响应于检测到用户相对于图钉406执行的从左到右滑动(也称为右滑动)形式的取消固定命令，列表项目D从图钉固定栏402取消固定，并且当列表项目D从图钉固定栏402取消固定时添加到或插入到可滚动列表400中与可滚动列表400中图钉406的位置对应的位置处。在所示的示例中，在取消固定期间，列表项目D被添加到可滚动列表400，处于位于图钉406的位置旁边或靠近该位置的列表项目之前。
在图4G中，可滚动列表400的显示部分示出了列表项目P、Q、R、S、T和U。由于当列表项目D在列表项目Q旁边或靠近列表项目Q(图4G)时，与列表项目D对应的图钉406被取消固定，因此列表项目D被添加到可滚动列表400中，处于列表项目Q之前的位置。图钉406从图钉固定栏402中移除，并且列表项目U从可滚动列表400中当前显示的列表项目中移除。结果，在取消固定命令之后，列表项目D位于可滚动列表400的显示部分中的列表项目P与Q之间，该可滚动列表400显示列表项目P、D、Q、R、S和T(图4H)。
参考图4H和图4I，响应于检测到用户相对于图钉404执行的右滑动形式的取消固定命令，列表项目E从图钉固定栏402取消固定，并且当列表项目E从图钉固定栏402取消固定时添加到或插入到可滚动列表400中与可滚动列表400中图钉404的位置对应的位置处。在所示的示例中，在取消固定期间，列表项目E被添加到可滚动列表400，处于位于图钉404的位置旁边或靠近该位置的列表项目之前。
在图4H中，可滚动列表400的显示部分示出了列表项目P、D、Q、R、S和T。由于当列表项目E在列表项目S旁边或靠近列表项目S(图4H)时，与列表项目E对应的图钉404被取消固定，因此列表项目E被添加到可滚动列表400中，处于列表项目S之前的位置。图钉404从图钉固定栏402中移除，并且列表项目T从可滚动列表400中当前显示的项目中移除。结果，在取消固定命令之后，列表项目E位于可滚动列表400的显示部分中的列表项目R与S之间，该可滚动列表400显示列表项目P、D、Q、R、E和S(图4I)。
现在参考图5A至图5D，描述根据使用图3的方法的用户交互的第二示例的可固定VUI屏幕的序列。在第二示例中，可固定VUI屏幕的可滚动区域包括在触摸屏138上显示的可滚动列表500。可滚动列表500包括多个列表项目。可滚动列表500类似于可滚动列表400。可滚动列表500中的每个列表项目被呈现为一行，其中，可滚动列表500中的每一行具有相同的高度和宽度。图钉固定栏502位于可滚动列表500的左侧。为了解释的目的，图钉固定栏502在图5A中以虚线和阴影示出，但在使用期间不可见。在所示的示例中，可滚动列表500仅可在垂直方向上滚动。
参考图5A和图5B，响应于检测到用户相对于列表项目“葡萄”以左滑动形式执行的固定命令，列表项目“葡萄”被固定到图钉固定栏502。如图5B所示，检测到固定命令导致在可滚动列表500的位置旁边或靠近该位置显示图钉固定栏502中与固定的列表项目“葡萄”对应的图钉504，从可滚动列表500中移除固定的列表项目“葡萄”，并且在VUI屏幕底部显示附加列表项目(列表项目“苹果”)。在所示的示例中，图钉504位于固定列表项目“葡萄”与可滚动列表500中的前一个项目，即列表项目“西瓜”之间的边框处。图钉504采取圆圈的形式，其中包含的固定列表项目的名称的第一个字母“G”作为识别信息。
参考图5B和图5C，响应于检测到用户在可滚动列表500中执行的滚动输入，可滚动区域的内容被滚动，导致显示包括列表项目A-E的可固定VUI屏幕(图5C)。在滚动期间和之后，图钉504在相同的位置保持固定到图钉固定栏502。
参考图5C和图5D，响应于检测到用户相对于图钉504以右滑动形式执行的取消固定命令，列表项目“葡萄”从图钉固定栏502取消固定。取消固定包括显示可固定VUI屏幕，在可固定VUI屏幕中，列表项目“葡萄”被添加或插入到可滚动列表500中，处于可滚动列表500中与图钉504的位置对应的位置处，并且图钉504被移除。在所示的示例中，在取消固定期间，列表项目“葡萄”被添加到可滚动列表400中，位于列表项目C与D之间。
上述一维固定方法具有几个优点，包括它减少了使用当前重新排序技术存在的重新定位多个项目所需的时间需求、工作和时间，并与当前重新排序技术相比提高了重新定位项目的准确性。
二维实施例
现在参考图6A至图6E，描述根据使用图3的方法的用户交互的第三示例的可固定可视用户界面屏幕的序列。在第三示例中，可固定VUI屏幕的可滚动区域包括在触摸屏138上显示的二维可滚动阵列(或网格)600，例如表格或图库。可滚动阵列600包括以行和列布置的多个UI项目，有时称为单元格。单元格按顺序布置。在所示的示例中，每个单元格具有相同的高度和宽度。图钉固定栏602和604位于可固定VUI屏幕的左侧和右侧。为了解释的目的，图钉固定栏602和604在图6A所示的可固定VUI屏幕中以虚线和阴影示出，但在使用期间不可见。在所示的示例中，可滚动阵列600仅可在垂直方向上滚动。
参考图6A和图6B，响应于检测到用户相对于单元格“S”以左滑动形式执行的固定命令，单元格“S”被固定到图钉固定栏602。检测到固定命令导致图钉固定栏602中与固定的UI项目(即单元格“S”)对应的图钉610在靠近固定的UI项目(图6A的可固定VUI屏幕中所示的可滚动阵列600中的单元格“S”)的位置显示，来自图6A的可固定VUI屏幕中所示的可滚动阵列600的固定项目(单元格“S”)被移除，并且在图6B所示的可固定VUI屏幕中所示的可滚动阵列660的底部添加附加UI项(单元格“AD”)。移除固定的UI项目(单元格“S”)导致剩余的UI项目(单元格)，即单元格“T”、“U”、“V”、“W”、“X”、“Y”、“Z”、“AA”、“AB”和“AC”，基于移除的固定UI项目(单元格“S”)适当移动。在图6B所示的可固定VUI屏幕中，图钉610采取具有索引字母的按钮的形式，索引字母表示在固定时可滚动阵列600中固定的UI项目(单元格“S”)的字母，即“S”。
参考图6B和图6C，响应于检测到用户相对于单元格“Y”以右滑动形式执行的固定命令，单元格“Y”被固定到图钉固定栏604。检测到固定命令导致与固定的UI项目(单元格“Y”)对应的图钉612在图钉固定栏604中靠近固定的UI项目的位置显示，从可滚动阵列600中移除固定的UI项目(单元格“Y”)，并且在图6C所示的可固定VUI屏幕底部显示附加项目(单元格“AE”)。移除固定的UI项目(单元格“Y”)导致可滚动阵列600中剩余的固定UI项目(单元格)，即单元格“T”、“U”、“V”、“W”、“X”、“Z”、“AA”、“AB”、“AC”和“AD”，基于移除的固定UI项目(单元格“Y”)适当地移动。在图6C所示的可固定VUI屏幕中，图钉612采取具有索引字母的按钮的形式，索引字母表示在固定时可滚动阵列600中固定的UI项目(单元格“Y”)的字母，即“Y”。
参考图6C和图6D，响应于检测到用户在可滚动阵列600中执行的滚动输入，可滚动区域的内容被滚动，通过显示一组新的UI项目(单元格)，导致可滚动阵列600的可见状态改变(图6D)。在滚动期间和之后，图钉610和612在相同的位置分别保持固定到图钉固定栏602、604。
参考图6D和图6E，响应于检测到用户相对于图钉612执行的从图钉固定栏604到期望位置(在所示示例中，单元格“PY”的当前位置)的拖动手势形式的取消固定命令，固定的UI项目(单元格“Y”)从图钉固定栏604取消固定。取消固定包括在可滚动阵列600中与UI项目(单元格“PY”)的位置对应的位置处将固定的UI项目(单元格“Y”)添加或插入到可滚动阵列600中，并移除图钉612。添加或插入固定的UI项目(单元格“Y”)导致可滚动阵列600中的现有UI项目(单元格)，即单元格“PY”、“PZ”、“QA”、“QB”、“QC”、“QD”、“QE”和“QF”，基于添加或插入的固定UI项目(单元格“Y”)适当地移动，如图6E中的可固定VUI屏幕中所示。
第三实施例-保持UI项目位置或状态
图7是本发明的一个实施例提供的管理VUI中用户界面项目的方法700的流程图。方法700可以由软件，例如固定应用170执行，该固定应用170例如至少由图1所示的计算设备102的处理系统的处理器104执行。方法700类似于方法300。但是，并非改变几个固定的UI项目(例如列表项目)的位置，而是改变所有或一组UI项目的位置，同时通过固定一个或多个UI项目的位置保留这些项目。
操作302-306如上所述执行。在操作312中，确定是否已经检测到用户与图钉固定栏中的图钉相关联执行的重新定位输入。响应于确定检测到重新定位输入，处理进行到操作314，在操作314中，根据重新定位输入，将图钉重新定位在图钉固定栏中。在方法700中的重新定位使图钉和(固定的)UI项目的顺序相对于彼此改变，但不改变未固定的UI项目。
应当理解，操作312-314是可选的，并且仅当一个或多个UI项目已经被固定到图钉固定栏时才执行。当不存在固定的UI项目时，可以不执行操作312-314。
在操作314之后，或响应于确定未检测到重新定位输入(决策块312)，处理进行到操作710。
在操作710中，响应于检测到对应输入，对显示在可滚动区域中的列表执行列表操作。输入可以通过调用对应的菜单、触摸手势或其它合适的手段选择对应的菜单选项来生成。列表是显示在可滚动区域中的列表视图。或者，列表可以是网格视图(例如电子表格)中的行或列。列表操作可以是排序操作，它通过与列表项目相关联的参数对未固定的项目进行排序。排序操作可以是按列表项目的数据值的值(例如，数字或字母顺序)、按与列表项目相关联的日期值的日期或其它合适的数据参数排序。数据值的示例可以是成本或时间。日期值的示例包括添加日期、编辑日期和修改日期，等等。列表中取消固定的列表项目的顺序通过列表操作改变。
然后，操作316-322如上所述执行。
在所示的示例中，可固定VUI屏幕占据触摸屏138的整个显示区域。
虽然已经结合列表和表格描述了上述实施例中的一些，但本发明的指导不限于列表或表格，并扩展到具有有序UI项目的其它可固定VUI屏幕，例如图库或其它类似阵列。
第四实施例-可固定剪贴板
第四实施例是可固定剪贴板，其支持在应用程序152内和应用程序152之间固定和取消固定UI项目。剪贴板是由操作系统软件150提供的缓冲器，该缓冲器提供在应用程序152内和应用程序152之间的短期存储和传输。剪贴板通常是临时的，其内容驻留在RAM 108中。操作系统软件150提供API，通过该API，应用程序152可以通过对应的剪切、复制和粘贴操作等添加和删除项目。固定应用170定义了用户通过本文描述的固定和取消固定命令命令这些操作的方法。
可固定剪贴板可以应用于大多数或所有具有动态内容的可固定VUI屏幕。可固定VUI屏幕的边缘充当图钉固定栏，可固定VUI屏幕的内部充当可固定表面。图2A至图2D的任何可固定VUI屏幕配置可以用作图钉固定栏，尽管图2C和图2D中所示的可固定VUI屏幕配置是优选的。
可固定剪贴板可用于阅读和/或组成应用或场景。当用户正在读取动态内容区域中的内容(例如网页浏览器应用中的网页)时，可以固定如图像或文本串(例如段落)的内容(例如，固定到可固定VUI屏幕的边缘)。然后，用户可以切换到另一个应用程序152并在另一个应用程序152内对固定内容取消固定。
现在参考图8A和图8B，示出了本发明的实施例提供的具有可固定VUI屏幕的计算设备。在图8A和图8B中，第一图钉固定栏801a位于触摸屏138的显示区域的左侧，第二图钉固定栏801b位于触摸屏138的显示区域的右侧。图钉固定栏801a和801b也分别位于VUI屏幕的左边缘和右边缘。第一图钉固定栏801a和第二图钉固定栏801b在不同应用的可固定VUI屏幕上持续存在。
为了解释的目的，图钉固定栏801a和801b以虚线和阴影示出，但在使用期间不可见。如图8A中最佳所示，可固定VUI屏幕800包括多个部分，包括标题802、页脚804、左侧806和右侧808。为了示例目的，各部分的边界通过虚线表示。这些部分是可固定VUI屏幕800的逻辑划分，可以由应用程序152使用，例如用于在文档组成等期间解释图钉位置，如下文更详细地描述。在使用中，可能没有在触摸屏128上显示的各部分的视觉指示。
在图8A中，由附图标记812、814、816、818和820表示的多个图钉连接到图钉固定栏。图钉816和820彼此平行地定位在可固定VUI屏幕800的左侧和右侧上。图钉816位于图钉818内。图钉812和图钉814重叠。如下所述，图钉位置(包括相对于其它图钉的相对位置)和/或大小可以由应用程序152解释为具有逻辑或语义含义。
对象可以通过固定命令固定到其中一个图钉固定栏。固定命令是用户与选定内容相关联执行的与触摸屏138的指定触摸交互。固定命令的触摸交互包括与选定内容相关联执行的一个或多个触摸手势。可选择内容可以包括图片、视频、音频、文本或多媒体对象，或其它合适的逻辑对象。操作系统软件150或应用程序152包括逻辑数据对象映射，该逻辑数据对象映射将每个逻辑数据对象关联到存储在存储器中的一个或多个物理数据对象，并且可以包括转换逻辑。可以通过触摸输入(例如长按)选择屏幕对象或感兴趣区域(region ofinterest，ROI)来选择内容。可以显示选择标记以提供选定内容的可视化。选择标记可以根据对应的触摸交互，例如通过拖动选择标记或其末端来调整，即移动或改变大小(例如，增加或减小)。在一个优选的示例中，固定命令包括选择内容，紧接拖动手势，在拖动手势中，选定内容被移动到图钉固定栏。拖动手势在内容区域的触摸区域中具有初始点或原点，在图钉固定栏的触摸区域中具有终点。触摸点与图钉固定栏边框的碰撞可能会触发固定命令。或者，可以使用滑动手势代替拖动手势。
如上所述，响应于检测到固定命令，将与固定对象对应的图钉添加到图钉固定栏。在一些示例中，图钉可以位于图钉固定栏上与固定命令对应的位置(例如，在固定手势的端点的位置)。在其它示例中，图钉可以按它们出现的顺序布置。可以响应于对应的输入(例如触摸手势)，例如通过拖动手势沿着位于可固定VUI屏幕边缘的图钉固定栏拖动图钉，移动图钉。在一些示例中，将图钉拖动或以其它方式移动到可固定VUI屏幕的顶部或底部导致图钉移动到可固定VUI屏幕相对侧上的图钉固定栏(即，从左侧移动到右侧，反之亦然)。
在一些示例中，可以通过对应的输入(例如触摸手势)改变图钉的大小。例如，用于增加或减小触摸屏138上图钉大小的捏紧手势。图8B示出了处于由附图标记830指示的第一状态(或大小)和由附图标记840指示的第二状态(或大小)的图钉。第一状态830可以表示图钉的初始大小和图钉的最小大小中的至少一个。第二状态840可以表示图钉的最大大小。图钉的大小可以通过用两个手指执行的对应的触摸手势(例如捏合手势)来改变。捏住张开手势可用于增加捏合的大小，而捏住闭合手势(也称为反向捏合)可用于减小图钉的大小。如上所述，图钉的大小可以由应用程序152解释为具有逻辑或语义含义。
例如，通过对应的输入(例如触摸手势)，可以与连接到图钉固定栏时与图钉相关联的固定对象交互。在一些示例中，长按或与图钉相关联的检测导致上下文敏感菜单被调用并显示在触摸屏138上。上下文敏感菜单可以通过触摸触摸屏138上的任何位置来取消或关闭。上下文敏感菜单覆盖或弹出窗口覆盖当前可固定VUI屏幕的一部分。上下文敏感菜单包括取决于固定项目的多个选项。多个选项可以包括“删除”、“访问”、“搜索”、“下载”、“共享”、“复制”和“播放”或“暂停”的一个或组合。“播放”或“暂停”选项仅在固定项目是视频或音乐时可用。对于另一个示例，“访问”选项只能在从不同于活动应用的应用程序创建图钉时可用。“搜索”选项仅在固定项目是一个或多个文字或图像时可用，并且选择“搜索”选项会导致对一个或多个文字或图像进行互联网搜索。“共享”选项会导致图钉或固定内容与计算设备102上的一个或多个其它应用共享。
通过对应的输入(例如触摸或轻触以从上下文敏感菜单中选择“删除”选项)选择“删除”选项会导致图钉和对应的固定对象被删除。应当理解，触摸或轻触与计算设备102的长按的区别是触摸输入的持续时间。当触摸持续时间小于阈值时，输入被解释为触摸或轻触。当触摸持续时间等于或超过触摸持续时间时，输入被解释为长按。
通过对应的输入选择“访问”选项(例如触摸或轻触从上下文敏感菜单中选择“访问”选项)会导致计算设备102将活动(或前台)应用切换到对应的固定对象从其固定的源应用，并且可选地切换到源应用中的可固定VUI屏幕，并且可选地切换到源应用中的VUI屏幕内固定对象所在的位置。如果涉及“访问”选项时，源应用未在后台运行，则启动或调用源应用。例如，如果固定项目是从网站创建的，如果浏览器尚未打开，“访问”选项将启动或调用浏览器，并打开对应的网站统一资源定位符(uniform resource locator，URL)。如果无法定位固定源位置，将显示错误消息，指示“固定源不可用或已删除”。固定源可能是另一个应用。如果选择“访问”选项时应用实例不可用，则可以可选地选择显示内容的屏幕截图。
或者，可以响应于与相应图钉相关联的对应触摸手势来选择和调用上下文敏感菜单中的至少一些选项或其它动作。响应于检测到与相应图钉相关联的对应输入，执行与图钉对应的存储内容相关联的动作。例如，检测到对图钉双击(即，在阈值持续时间内，在与图钉相关联的触摸区域上轻触两次)或初始接触点在图钉上并且行进方向朝向VUI屏幕的中心，或终点靠近VUI屏幕的中心的滑动/拖动手势，可能会导致选择“访问”选项，并访问相应图钉的对应源。
在一些示例中，图钉固定栏中的图钉的位置可以由应用程序152基于存储在存储器112中的预定义视觉布局规则解释为具有逻辑或语义含义。预定义的视觉布局规则可以由固定应用170、使用固定应用170作为API的应用程序152或操作系统软件150定义。含义可以基于应用程序152和/或应用程序152的上下文、状态或模式而变化。下表1提供了当活动或前台应用用于文档组成时图钉位置解释的示例。
表1：图钉位置解释
放置 解释
顶部图钉 成为内容的标题
在左侧和右侧彼此平行放置的图钉 固定内容成为两列(双列)布局
底部图钉 成为内容的页脚
图钉顺序 内容顺序
左侧图钉 左对齐
右侧图钉 右对齐
图钉大小大于阈值 中心对齐覆盖区域
两个图钉重叠 内容按重叠顺序合并，形成单个实体
一个图钉位于在另一个图钉 基于位置，一个内容在另一个内容中
预定义的视觉布局规则由应用程序152解释，用于动态内容生成，例如，在电子文档的创建或编辑期间，有时称为组成中的文档。电子文档可以是电子消息、文字处理文档、演示文档或其它合适类型的电子文档。电子消息的示例包括电子邮件消息、多媒体信息服务(multimedia messaging service，MMS)消息(也称为PXT、图片消息或多媒体消息)、即时消息、社交媒体帖子、博客帖子和类似类型的电子消息。
在一些示例中，图钉的大小可以由应用程序152基于存储在存储器112中的预定义视觉布局规则解释为具有逻辑或语义含义。在一些示例中，与较小的图钉相比，较大的图钉可能会导致固定对象的相对大小更大，并在添加到输入栏时占用更多的空间。例如，输入栏可以是输入内容区域，例如电子消息等组成中的文档的文档内容区域(也称为正文)。
在一些示例中，图钉最初以初始默认大小生成，并且可以例如通过对对应图钉执行捏合手势或与对应图钉相关联执行捏合手势来增加。当对应图钉的大小从初始默认大小增加时，添加到文档内容区域的对象的大小可以相对于原始固定对象的大小增加，或者当对应图钉的大小从初始默认大小减小时，相对于原始固定对象的大小增加。添加到文档内容区域的对象的大小调整量可以与图钉的大小调整量成正比。
内容生成是动态的，因为它没有固定的布局或静态内容。基于预定义的视觉布局规则、固定内容以及图钉大小和/或位置，可以改变内容组成和布局。内容生成也是动态的，因为电子文档可以“即时”创建或编辑。基于固定内容和图钉大小和/或位置的变化，电子文档布局和内容会动态改变。
图9是本发明的一个实施例提供的管理VUI中用户数据项目的方法900的流程图。方法900可以由软件，例如固定应用170执行，该固定应用170例如至少由图1所示的计算设备102的处理系统的处理器104执行。方法900类似于方法300和700，项目可以被固定到图钉固定栏，但允许固定的UI项目在不同的应用程序152上使用，从而提供可固定剪贴板。
在操作902中，例如响应于调用或启动第一应用，或响应于活动应用或前台应用改变为第一应用，在触摸屏138上显示与第一应用相关联的第一可固定VUI屏幕。在所示的示例中，第一可固定VUI屏幕占据触摸屏138的整个显示区域。第一应用可以是用户可以发现内容的浏览、阅读或查看应用，例如用于网页内容的网页浏览器、用于新闻的新闻应用、用于社交媒体帖子的社交媒体应用等。第一可固定VUI屏幕包括具有一个或多个可选择UI项目的动态内容区域。第一可固定VUI屏幕还包括一个或多个图钉固定栏。在所描述的实施例中，呈垂直延伸区域形式的图钉固定栏位于第一可固定VUI屏幕的左侧和右侧，如图8A所示。其它实施例中可以使用一个或多个图钉固定栏的其它类型配置。用户可以浏览动态内容区域中的内容。例如，动态内容区域可以是可滚动区域，例如网页，该网页可以响应于滚动输入通过滚动浏览。
在操作904中，一个或多个可选择UI项目通过固定命令固定到图钉固定栏801a和801b中的一个或多个，每个固定命令由固定应用170检测。固定命令是用户与选定内容相关联执行的指定交互。选定内容可以包括图片、视频、音频、文本、多媒体对象或其它合适的逻辑对象，或其组合。在一个示例中，固定命令包括通过长按，然后立即进行拖动手势，选择呈不同UI项目或感兴趣区域(region of interest，ROI)形式的内容，其中，选定内容被移动到图钉固定栏。显示选择标记，以提供选定内容的可视化。选择标记可以根据对应的触摸交互，例如通过拖动选择标记或其末端来调整，即移动或改变大小(例如，增加或减小)。拖动手势在内容区域的触摸区域中具有初始点或原点，在图钉固定栏的触摸区域中具有终点。触摸点与图钉固定栏边框的碰撞可能会触发固定命令。或者，可以使用滑动手势代替拖动手势。
在另一个示例中，长按选定内容用于调用包括选项“图钉”的上下文敏感菜单。上下文敏感菜单覆盖或弹出窗口覆盖当前可固定VUI屏幕的一部分。上下文敏感菜单可以包括其它选项，例如“复制”、“选择”、“全选”等。“复制”选项将选定内容复制到存储器，例如，复制到剪贴板。响应于从上下文敏感菜单中选择“图钉”选项，在选定内容的位置处显示可移动的屏幕指示器，例如插入符号、光标或指针。可移动的屏幕指示器是可拖动的，并且可以被拖动到第一可固定VUI屏幕的边缘处的图钉固定栏801a和801b以将其固定。可移动的屏幕指示器可以采取任何合适的形状，例如圆形、球或图钉。可移动的屏幕指示器可以与图钉固定栏801a和801b的图钉的视觉表示相同，可选地包括基于选定内容的预览信息。
也可能存在其它类型的固定命令。例如，固定命令可以是用户与选定内容相关联执行的与触摸屏138的指定触摸交互。固定命令的触摸交互可以包括与选定内容相关联执行的一个或多个触摸手势。
在方法900中将选定内容固定到图钉固定栏801a或801b包括：将选定内容复制到剪贴板(即，将选定内容临时存储在存储器中)，并在与固定命令的终点对应的位置处显示图钉固定栏801a或801b中与选定内容对应的图钉。如上文在方法300和700的上下文中描述的，图钉是选定内容的视觉指示。图钉通常具有预定义的形状和大小。图钉可以包括识别信息，将图钉识别为与固定的UI项目相关联。图钉可以包括文本标签(例如，字母、一个或多个文字，或索引或项目顺序编号)、缩略图图像、预览(例如，选定内容和/或缩略图图像的文本的第一个文字)或与选定内容相关联的其它识别信息。图钉的形状和识别信息的性质可能会有所不同。
在图钉的位置或大小具有逻辑或语义含义的示例中，固定应用170可以维护输入栏的数据结构，例如文档内容区域，例如组成中的文档。数据结构定义文档内容区域的视觉表示或布局，并存储在存储器112中。当选定内容被固定到图钉固定栏801a或801b中的一个时，或选择“图钉”选项时，与每个图钉对应的选定内容被存储在数据结构中的存储器112中，以便将来检索。
当图钉被添加到图钉固定栏801a或801b中的一个时，或当图钉在图钉固定栏801a或801b内或之间移动时，确定图钉在图钉固定栏801a或801b内相对于其它图钉的位置(以像素为单位)，并且基于存储在存储器112中(例如，在固定应用170中)的预定义的视觉布局规则，生成固定内容之间的视觉关系。图钉的位置可以由图钉的中心或质心确定。
如上所述，预定义的视觉布局规则由形成固定应用170的一部分的视觉解释器(未示出)、使用固定应用170作为API的应用程序152或操作系统软件150解释。视觉解释器在初始化时加载预定义的视觉布局规则，并响应于添加图钉、对现有图钉的改变(例如，移动或调整大小)或删除现有图钉，基于图钉位置、预定义的视觉布局规则和存储的内容解释文档内容区域的视觉布局。或者，视觉解释器可以响应于对固定项目取消固定或将与图钉相关联的存储内容添加/插入文档内容区域来解释文档内容区域的视觉布局。
视觉解释器还可以从存储器112检索与当前图钉对应的存储内容，以在每次添加或移动图钉时，基于图钉的当前位置和/或大小，在短时间间隔内呈现和显示文档内容区域的视觉表示或布局的迷你预览。迷你预览取决于当前固定的项目。视觉解释器基于当前固定的项目的位置和图钉位置的语义含义生成迷你预览。由于固定支持动态组成虚拟文档，迷你预览启用虚拟文档的预览。
迷你预览可以是作为覆盖或弹出窗口呈现的文档内容区域的缩略图图像，覆盖当前VUI屏幕的一部分。迷你预览占用的屏幕部分可以是当前VUI屏幕的20％或更少、15％或更少，或者可能是当前VUI屏幕的10％或更少。迷你预览可以在添加图钉的位置或图钉移动或调整大小的位置处显示。迷你预览在被移除之前显示的短时间间隔可以是例如5秒或更短，或2-3秒或更短。因此，在图钉的位置和/或大小具有逻辑或语义含义的示例中，固定选定内容可以包括基于图钉的当前位置和/或大小显示文档内容区域的视觉表示或布局的迷你预览。
在操作906中，响应于活动或前台应用从第一应用改变为第二应用，将第二可固定VUI屏幕显示在触摸屏138上。在所示的示例中，第二可固定VUI屏幕占据触摸屏138的整个显示区域。第一可固定VUI屏幕和第二可固定VUI屏幕是不同且单独的可固定VUI屏幕。响应于检测到对应的输入来切换活动应用或前台应用，对活动应用或前台应用进行改变。第二应用具有文档组成模式，第二可固定VUI屏幕是文档组成屏幕。第二应用可以是电子消息应用，其中可以组成电子邮件、文本消息、即时消息、帖子等电子消息。或者，第二应用可以是用于创建文档的文档创建应用，例如文字处理应用。
在操作908中，可选地响应于检测到对应输入，例如用于移动图钉的拖动手势或用于改变图钉大小的捏合手势，对一个或多个图钉进行改变。因此，在图钉的位置或大小具有逻辑或语义含义的示例中，改变图钉位置或大小可以包括基于图钉的当前位置和/或大小显示文档内容区域的视觉表示或布局的迷你预览。虽然在切换到第二应用之后和当显示第二可固定VUI屏幕时，示出了图钉的变化，但当图钉保持固定到图钉固定栏801a或801b中的一个时，变化可以在任何时候发生。
在操作910中，响应于检测到对应输入，例如通过使用长按或其它合适的触摸手势选择固定到图钉固定栏801a或801b中的一个的图钉而从上下文敏感菜单中选择“删除”选项，可选地删除一个或多个图钉。“删除”选项可以通过与上下文敏感菜单中显示的“删除”选项相关联的触摸或轻触从上下文敏感菜单中选择。
在操作912中，响应于检测到对应输入，例如通过使用长按或其它合适的触摸手势选择固定到图钉固定栏801a或801b中的一个的图钉而从上下文敏感菜单中选择“访问”选项，可选地访问一个或多个图钉。“访问”选项可以通过与上下文敏感菜单中显示的“访问”选项相关联的触摸或轻触从上下文敏感菜单中选择。
在操作914中，通过取消固定命令将与一个或多个图钉相关联的存储内容添加到文档内容区域，每个取消固定命令由固定应用170检测。取消固定命令是用户与选定图钉相关联执行的指定交互。可以有多种类型的取消固定命令，以提供将与图钉对应的存储内容添加到目标应用的第二可固定VUI屏幕的多种方式，为用户提供灵活性。
与所有图钉对应的存储内容可以同时以根据存储在存储器112中的预定义的视觉布局规则自动布置的方式添加到文档内容区域。要同时添加与所有图钉对应的存储内容，用户通过对应输入(例如长按)调用上下文敏感菜单。响应于检测到长按或与第二可固定VUI屏幕的文档内容窗格(或区域)相关联，调用上下文敏感菜单并显示在触摸屏138上。上下文敏感菜单可以通过触摸触摸屏138上的任何位置来取消或关闭。文档内容窗格是内部上由图钉固定栏801a或801b限定的第二可固定VUI屏幕的区域。上下文敏感菜单包括多个选项，这些选项包括当选择一个或多个图钉时“放置图钉”和“放置选定图钉”。当未选择图钉时，多个选项仅包括用于放置图钉的“放置图钉”选项。通过对应输入选择“放置选定图钉”选项，例如触摸或轻触从上下文敏感菜单中选择“放置选定图钉”选项，导致与所有图钉对应的存储内容以根据预定义的视觉布局规则自动布置存储内容的方式同时添加到文档内容区域。然后删除图钉。
与图钉的子集对应的存储内容可以同时以根据存储在存储器112中的预定义的视觉布局规则自动布置的方式添加到文档内容区域。该子集可以包括一个或多个图钉要放置图钉的子集，用户选择所需的图钉。当调用和显示上下文敏感菜单时，默认情况下可以选择所有图钉，并且要放置图钉的子集，用户将从选定图钉中取消选择不需要的图钉。或者，在其它示例中，默认情况下，不能选择任何图钉，并且用户必须选择要放置的所需图钉。每个选定图钉可以由屏幕选择标记指示，例如围绕对应图钉的光晕或高亮显示。用户可以通过对应输入来选择和取消选择图钉，例如与对应图钉相关联的触摸或轻触。通过对应输入选择“放置图钉”选项，例如触摸或轻触从上下文敏感菜单中选择“放置图钉”选项，导致与所有图钉对应的存储内容以根据预定义的视觉布局规则自动布置存储内容的方式同时添加到文档内容区域。然后删除图钉。
与单个图钉对应的存储内容可以在用户通过拖动手势指定的位置处添加到文档内容区域，其中，拖动手势的终点指定添加存储内容的位置。即使位置是由用户通过拖动手势设置的，也可以根据预定义的视觉布局规则自动确定文档内容区域中的存储内容的大小。或者，可以使用滑动手势代替拖动手势。也可能存在其它类型的取消固定命令。
在方法900中存储内容取消固定到输入栏(例如，文档内容区域)包括将与来自剪贴板(即，临时存储在存储器中)的图钉对应的存储内容添加到输入栏(例如，文档内容区域)，并移除(或删除)与存储内容对应的图钉。
如果文档内容区域已经包括文档内容窗格中的某些内容，则视觉解释器使用与用户生成的图钉相比不同的可视化样式在现有内容的对应位置处生成一个或多个图钉，以便于区分。例如，由视觉解释器基于文档内容窗格中的现有内容生成的图钉可以按不同的颜色显示，以便用户可以相对于现有内容调整其它图钉。
也可能存在其它类型的取消固定命令。例如，可以使用指定的触摸手势或其它输入交互来代替如上所述的上下文敏感菜单。
现在参考图10A至图10F，描述根据使用图9的方法的用户交互的示例的可固定VUI屏幕的序列。在图10A中，第一应用的第一可固定VUI屏幕1000在触摸屏138上显示。第一应用是网页浏览器，第一可固定VUI屏幕1000是具有包括网页浏览器显示的图像和文本的动态内容的网页。用户选择“胡佛水坝”的图像，并向左滑动以将选择的图像固定到位于触摸屏138和第一可固定VUI屏幕1000的可显示区域的左边缘处的左侧图钉固定栏，该左侧图钉固定栏未示出，用户不可见。如图10B所示，第一图钉1025在第一可固定VUI屏幕100中生成，并位于左侧图钉固定栏上，处于固定时靠近图像的位置。第一图钉1025包括在形状如凸片或图钉的网格内的固定图像的预览。
在图10B中，用户与第一可固定VUI屏幕1000交互，并选择形式为网页标题“胡佛水坝建筑照片揭示人类发明的奇迹”的文本，并向右滑动以将选择的文本固定到位于触摸屏138和第一可固定VUI屏幕1000的可显示区域的右边缘处的右侧图钉固定栏，该右侧图钉固定栏未示出，对用户不可见。如图10C所示，生成第二图钉1035，并位于右侧图钉固定栏，处于固定时靠近文本的位置。第二图钉1035包括在形状如凸片或图钉的网格内的固定文本的预览。
在图10D中，用户与第一可固定VUI屏幕1000交互，以从网页浏览器切换到电子邮件消息应用形式的第二应用，并且显示第二可固定VUI屏幕1050。第二可固定VUI屏幕1050包括输入栏1060，例如输入内容区域或文档内容区域。左侧图钉固定栏和右侧图钉固定栏在第一应用与第二应用之间的第一可固定VUI屏幕1000与第二可固定VUI屏幕1050之间持续存在。左侧图钉固定栏和右侧图钉固定栏的状态，包括位于左侧图钉固定栏和右侧图钉固定栏上的图钉的位置和大小，也在第一应用与第二应用之间的第一可固定VUI屏幕1000与第二可固定VUI屏幕1050之间持续存在。与第一图钉1025对应的存储内容可以通过向右滑动添加到输入栏1060中。与第二图钉1035对应的存储内容可以通过向左滑动添加到输入栏1060中。
或者，如图10E中所示，通过如上所述的对应输入调用上下文敏感菜单1090，并选择菜单选项“放置图钉”1092或“放置选定图钉”1094中的一个，可以将与图钉1025、1035对应的存储内容添加到输入栏1060。或者，与图钉1025、1035对应的存储内容可以单独添加到输入栏1060。在图10F中，与图钉1025、1035对应的存储内容已经添加到输入栏1060中。
第四实施例提供了一种交互方法，其中，可以在交互方法的发现阶段从可浏览可视用户界面上的一个或多个不同源收集内容(例如，图像、视频、文本、多媒体或其它数据等)并将该内容组织成离散的部分，并且随后在交互方法的组成阶段添加到输入栏(例如，输入内容区域或文档内容区域)，以在最少数量的交互步骤中创建结构化组成。选定内容可以通过称为固定的对应输入固定在VUI屏幕的一个或多个边缘处。固定创建称为图钉的可拖动对象，这些可拖动对象关联到存储内容。可以对图钉执行各种操作，例如访问源、删除、改变位置、网页搜索等。存储内容可以添加到如电子邮件、文本、即时消息或文字处理文档等文档中。所有图钉的存储内容可以同时放置，图钉子集的存储内容可以同时放置，或者存储内容可以一次放置一个图钉。图钉的位置和/或大小可以解释为具有逻辑或语义含义，该逻辑或语义含义可用于基于预定义的视觉布局规则自动布置存储内容。如果正在添加存储内容的文档的内容窗格已经具有一些内容，则该内容窗格使用不同的可视化样式(例如，不同的颜色)在对应位置呈现为一个或多个图钉，以便用户可以参考现有内容布置其它图钉。
虽然方法300、700和900已经单独描述，但这些方法的特征可以以本领域技术人员所理解的方式组合。例如，图7的方法700中的列表操作的执行可以在方法300中执行。
至少一些上述实施例提供了一种管理VUI中用户界面项目的方法，该方法：使用户可以自然滚动列表以重新定位，从而获得更快、更高效、更直观和改进的用户体验；支持同时重新定位多个项目，从而获得更快、更高效和改进的用户体验；使用户可以在需要时完成重新定位任务，从而消除了由现有方案提供的时间需求，在现有方案中，用户必须连续保持移动项目直到交互完成，并获得改进的用户体验；并且与下一个可见项目不为用户所知(因此，用户非常频繁地错过目标)的当前可用技术相比，支持更准确的重新定位(例如，取消固定或插入固定项目)，从而获得更快、更高效和改进的用户体验。
至少一些上述实施例提供了一种管理VUI中用户界面项目的方法，该方法支持跨应用对内容的可重用或容易传输，并减少了在屏幕之间切换和在另一个应用中重新生成一个应用的内容所需的时间。
虽然所描述的实施例是在触摸屏检测到的触摸手势的上下文中，但本发明的指导不限于触摸界面，而是可以扩展到在其它类型的显示设备上显示内容的其它模态和其它输入设备/方法。例如，本发明的指导可以针对具有计算机鼠标(或其它导航工具/定点设备)作为输入设备或使用运动手势作为输入法并且使用其它类型的显示设备来呈现VUI的其它计算设备，包括但不限于，具有传统的非触摸屏显示器的个人计算机和增强现实(augmented reality，AR)和/或虚拟现实(virtual reality，VR)耳机，该耳机具有安装在头戴设备上的显示器，例如一对护目镜、遮阳板或智能眼镜。可固定VUI在相应的显示屏上显示。或者，在AR/VR模态的上下文中，可固定VUI可以投射到表面或用户的视网膜上。下文描述了VUI元素如何使用基于输入模态的手势可选择和可固定的示例。
关于计算机鼠标交互，可以使用计算机鼠标的左键和右键单击来执行固定和取消固定。计算机鼠标可以用于通过如下方式模拟触摸交互：使用左键单击(即，计算机鼠标的左键的按键)作为交互的起点，使用计算机鼠标的滚轮进行滚动动作作为交互的行进距离，右键单击(即，计算机鼠标的右键的按键)用于调用上下文菜单，单击左键进行选择。拖动VUI组件可以通过左键或右键单击，然后移动计算机鼠标的位置来执行。
关于AR/VR，可以使用运动手势执行交互(例如空中手势)，所述运动手势是使用计算机视觉系统检测的，所述计算机视觉系统用于使用已知的计算机视觉技术检测和跟踪用户的身体位置。计算机视觉系统可以基于来自相机的图像和来自探测和测距(detectionand ranging，DAR)系统的点云位置数据的一个或组合。手势识别软件可以由AR/VR安装在头戴设备上的显示器提供。手势识别软件接收数据，例如由安装在头戴设备上的显示器的相机捕获的图像，该显示器捕获用户与虚拟显示屏的交互，并处理图像以识别用户执行的手势。例如，可以使用手张开或捏住张开手势来指向，可以使用手/拳头闭合或捏住闭合手势来选择。在移动手时，可以使用手/拳头闭合或捏住闭合手势来拖动VUI组件。可以使用手/拳头闭合或捏住闭合手势的停留来调用上下文菜单。或者，相对于触摸屏执行的触摸手势可以例如替换为用眼睛执行并用眼睛传感器检测的眼睛手势或用手执行并用嵌入在用户佩戴的手套、袖套、腰带或用户穿戴的类似服装中的运动传感器(例如位置、接近和/或加速度传感器)检测的运动手势。
在一个示例性AR应用中，用户可以将智能眼镜捕获的真实世界对象固定到智能眼镜的视觉区域的边缘，然后将固定的对象插入由智能眼镜捕获并由用户视为与固定的真实世界对应的AR对象的不同场景中。固定真实世界对象可以包括：通过在与用户执行的固定手势对应的位置执行对象边缘检测，并在该位置生成对象的视觉表示作为AR对象来生成要固定的AR对象。
概述
本文描述的流程图和附图中的步骤和/或操作仅用于示例目的。在不脱离本发明的指导的情况下，这些步骤和/或操作可以有许多变化。例如，可以按不同的顺序执行步骤，或者可以视情况添加、删除或修改步骤。
考虑到本发明，用于执行描述的上述方法的软件编码在本领域普通技术人员的范围内。可由一个或多个相应设备的一个或多个处理器执行以执行上述方法的机器可读代码可以存储在如数据管理器的存储器等机器可读介质中。术语“软件”和“固件”在本发明中是可互换的，并包括存储在存储器中供处理器执行的任何计算机程序，所述存储器包括随机存取存储器(random access memory，RAM)存储器、只读存储器(read only memory，ROM)存储器、EPROM存储器、电EPROM(electrically EPROM，EEPROM)存储器和非易失性RAM(non-volatile RAM，NVRAM)存储器。上述存储器类型仅仅是示例，因此并不限制可用于存储计算机程序的存储器类型。
还公开了所公开范围内的所有值和子范围。此外，虽然本文所公开和示出的系统、设备和过程可以包括特定数量的元件，但是可以修改这些系统、设备和组件以包括更多或更少此类元件。虽然本文描述了几个示例性实施例，但可以进行修改、适配和采取其它实现方式。例如，可以对附图中所示的元件进行替换、添加或修改，并且可以通过替换、重新排序或添加所公开方法的步骤来修改本文描述的示例性方法。
可以选择来自一个或多个上述实施例的特征，以创建由上文可能没有明确描述的特征的子组合组成的替代实施例。此外，可以选择和组合来自一个或多个上述实施例的特征，以创建由上文可能没有明确描述的特征组合组成的替代实施例。适用于这类组合和子组合的特征对于本领域技术人员而言在作为一个整体审查本发明时是显而易见的。
此外，阐述了许多具体细节，以提供对本文描述的示例性实施例的透彻理解。但是，本领域的普通技术人员应了解，可以在没有这些具体细节的情况下实施本文描述的示例性实施例。此外，为了不模糊本文描述的示例性实施例，没有详细描述公知的方法、过程和元件。本文以及所引用的权利要求中描述的主题旨在覆盖和涵盖所有适当的技术变更。
尽管描述了本发明，但至少部分地，就方法而言，本领域普通技术人员应理解，本发明还涉及各种元件，用于通过硬件、软件或其组合执行所描述方法的至少一些方面和特征。因此，本发明的技术方案可以体现在非易失性或非瞬时性机器可读介质(例如，光盘、闪存等)中，该介质上存储有有形地存储在其上的可执行指令，使处理设备能够执行本文公开的方法的示例。
术语“处理器”可以包括任何可编程系统，包括使用以下各项的系统：微处理器/控制器或纳米处理器/控制器、、中央处理单元(central processing unit，CPU)、神经处理单元(neural processing unit，NPU)、张量处理单元(tensor processing unit，TPU)、硬件加速器、数字信号处理器(digital signal processor，DSP)、专用集成电路(applicationspecific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gatearray，FPGA)、精简指令集电路(reduced instruction set circuit，RISC)、逻辑电路，以及能够执行本文所述功能的任何其它电路或处理器。术语“数据库”可以指数据体、关系数据库管理系统(relational database management system，RDBMS)或两者。本文所使用的数据库可以包括任何数据集，包括层次数据库、关系数据库、平面文件数据库、对象关系数据库、面向对象的数据库和存储在计算机系统中的任何其它结构化记录或数据集。上述示例仅仅是示例，因此并不意欲以任何方式限制术语“处理器”或“数据库”的定义和/或含义。
本发明可以其它特定形式体现，而不脱离权利要求的主题。所描述的示例性实施例在所有方面均被视为仅是说明性的而非限制性的。本发明旨在覆盖和涵盖所有适当的技术变更。因此，本发明的范围由所附权利要求而不是由上述描述来描述。权利要求的范围不应受到示例中阐述的实施例限制，而应给予与整个描述一致的最广泛的解释。

Claims (23)

1.一种由计算设备的处理器执行的管理可视用户界面(visual user interface，VUI)中的用户界面项目的方法，其特征在于，所述方法包括：
在显示器上显示第一应用的第一VUI屏幕，所述第一VUI屏幕包括动态内容区域，所述动态内容区域包括可选择内容，所述第一VUI屏幕提供位于所述第一VUI屏幕的显示区域的第一侧的第一图钉固定栏和位于所述第一VUI屏幕的所述显示区域的与右侧相对的第二侧的第二图钉固定栏，其中，所述第一图钉固定栏和所述第二图钉固定栏在不同应用的VUI屏幕上持续存在；
响应于检测到固定命令，将来自所述动态内容区域的选定内容固定到所述第一图钉固定栏或所述第二图钉固定栏，其中，固定包括：
在所述显示器上显示在所述第一图钉固定栏或所述第二图钉固定栏中的对应一个中的图钉，
将与所述图钉相关联的所述选定内容存储在所述计算设备的存储器中；
响应于检测到将活动应用从所述第一应用切换到第二应用的输入，在所述显示器上显示所述第二应用的第二VUI屏幕，其中，所述第二VUI屏幕包括输入栏，其中，所述第一图钉固定栏和所述第二图钉固定栏的状态在所述第一应用的所述第一VUI屏幕与所述第二应用的所述第二VUI屏幕之间持续存在；
响应于检测到取消固定命令，将与位于所述第一图钉固定栏或所述第二图钉固定栏中的一个或多个图钉对应的存储内容添加到所述输入栏。
2.根据权利要求1所述的方法，其特征在于，所述第一图钉固定栏位于所述动态内容区域的左边缘，所述第二图钉固定栏位于所述动态内容区域的右边缘。
3.根据权利要求1或2所述的方法，其特征在于，所述第一VUI屏幕的所述动态内容区域和所述第二VUI屏幕的所述输入栏相对于屏幕方向可在垂直方向上滚动，其中，所述第一图钉固定栏和所述第二图钉固定栏由在所述显示器的所述显示区域的所述左边缘和所述显示器的所述显示区域的所述右边缘处的垂直延伸区域限定。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述第一图钉固定栏和所述第二图钉固定栏在没有视觉表示的情况下提供。
5.根据权利要求1至4中任一项所述的方法，其特征在于，与所述一个或多个图钉对应的所述存储内容基于所述一个或多个图钉在所述第一图钉固定栏或所述第二图钉固定栏中的位置，根据预定义的视觉布局规则自动布置。
6.根据权利要求1至5中任一项所述的方法，其特征在于，与所述一个或多个图钉对应的所述存储内容基于所述一个或多个图钉在所述第一图钉固定栏或所述第二图钉固定栏中的大小，根据预定义的视觉布局规则自动布置。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述第一图钉固定栏和所述第二图钉固定栏的所述状态包括位于所述第一图钉固定栏和所述第二图钉固定栏上的图钉的位置。
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述第一图钉固定栏和所述第二图钉固定栏的所述状态包括位于所述第一图钉固定栏和所述第二图钉固定栏上的图钉的大小。
9.根据权利要求1至8中任一项所述的方法，其特征在于，所述第一图钉固定栏和所述第二图钉固定栏的所述状态响应于所述动态内容区域的视觉状态的变化而持续存在，并在应用之间持续存在。
10.根据权利要求1至9中任一项所述的方法，其特征在于，还包括：
响应于与选定图钉相关联的对应输入调用上下文敏感菜单，其中，所述上下文敏感菜单包括多个菜单选项；
响应于选择所述多个菜单选项中的选项的输入，执行动作。
11.一种由计算设备的处理器执行的管理可视用户界面(visual user interface，VUI)中的用户界面项目的方法，其特征在于，所述方法包括：
在显示器上显示VUI屏幕，所述VUI屏幕包括可滚动区域，所述可滚动区域包括多个可选择项目，所述VUI屏幕提供位于所述显示器的显示区域的边缘的图钉固定栏，其中，所述图钉固定栏和所述第二图钉固定栏的所述状态响应于所述可滚动区域的视觉状态的变化持续存在；
响应于检测到固定命令，将多个可选择项目中的选定项目固定到所述图钉固定栏；
响应于检测到对应输入，改变所述可滚动区域的视觉状态；
响应于检测到取消固定命令，取消固定与来自所述图钉固定栏的选定图钉对应的固定项目。
12.根据权利要求11所述的方法，其特征在于，所述固定包括：
显示所述图钉固定栏中靠近选定的可选择项目的位置，与所述选定项目对应的图钉；
将与所述图钉相关联的所述选定项目存储在所述计算设备的存储器中；
从所述可滚动区域中删除所述选定项目；
显示附加项目。
13.根据权利要求11或12所述的方法，其特征在于，所述取消固定包括：
在所述可滚动区域中与所述选定图钉的位置对应的位置处，将与所述选定图钉对应的存储项目添加到所述可滚动区域；
移除所述可滚动区域中当前显示的项目以容纳所述添加的项目；
从所述图钉固定栏中移除所述选定图钉。
14.根据权利要求11至13中任一项所述的方法，其特征在于，所述可选择项目经过排序并布置在序列中，显示的所述附加项目是所述序列中的后续项目。
15.根据权利要求11至14中任一项所述的方法，其特征在于，所述取消固定包括：
在所述序列中与所述选定图钉的位置对应的位置处，将与所述选定图钉对应的所述存储项目插入到所述可滚动区域；
移除所述序列中当前显示的项目以容纳所述插入的项目；
从所述图钉固定栏中移除所述选定图钉。
16.根据权利要求15所述的方法，其特征在于，被移除的所述当前显示的项目是所述序列中的最后一个项目。
17.根据权利要求15所述的方法，其特征在于，所述存储项目插入在所述序列中靠近所述图钉的所述位置的项目之前。
18.根据权利要求11至17中任一项所述的方法，其特征在于，还包括：
响应于检测到重新定位输入，在所述图钉固定栏中重新定位图钉。
19.根据权利要求11至18中任一项所述的方法，其特征在于，改变所述可滚动区域的所述视觉状态包括：
响应于检测到滚动输入，滚动所述可滚动区域。
20.根据权利要求11至19中任一项所述的方法，其特征在于，改变所述可滚动区域的所述视觉状态包括：
响应于检测到对应输入，对所述可选择项目所述可滚动区域执行列表操作。
21.一种计算设备，其特征在于，包括：
处理器；
存储指令的存储器，所述指令由所述处理器执行时，使所述计算设备执行根据权利要求1至20中任一项所述的方法。
22.一种计算机可读介质，其特征在于，存储指令，所述指令由计算设备的处理器执行时，使所述计算设备执行根据权利要求1至20中任一项所述的方法。
23.一种计算机程序，其特征在于，包括指令，所述指令由计算设备的处理器执行时，使所述计算设备执行根据权利要求1至20中任一项所述的方法。
CN202080105896.3A 2020-10-05 2020-10-10 管理可视用户界面（vui）中的用户界面项目 Pending CN116324701A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/063,332 US11132104B1 (en) 2020-10-05 2020-10-05 Managing user interface items in a visual user interface (VUI)
US17/063,332 2020-10-05
PCT/CN2020/120081 WO2022073216A1 (en) 2020-10-05 2020-10-10 Managing user interface items in visual user interface

Publications (1)

Publication Number Publication Date
CN116324701A true CN116324701A (zh) 2023-06-23

Family

ID=77887703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080105896.3A Pending CN116324701A (zh) 2020-10-05 2020-10-10 管理可视用户界面（vui）中的用户界面项目

Country Status (4)

Country Link
US (1) US11132104B1 (zh)
EP (1) EP4208773A4 (zh)
CN (1) CN116324701A (zh)
WO (1) WO2022073216A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10261672B1 (en) * 2014-09-16 2019-04-16 Amazon Technologies, Inc. Contextual launch interfaces
US20230306499A1 (en) * 2022-03-28 2023-09-28 Google Llc Vision-powered auto-scroll for lists

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5404442A (en) * 1992-11-30 1995-04-04 Apple Computer, Inc. Visible clipboard for graphical computer environments
EP0717344B1 (en) 1994-12-13 2001-10-31 Microsoft Corporation Taskbar with start menu
US20110271217A1 (en) * 2010-04-30 2011-11-03 Microsoft Corporation Configurable presets for tab groups
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US9348484B2 (en) 2011-12-08 2016-05-24 Microsoft Technology Licensing, Llc Docking and undocking dynamic navigation bar for expanded communication service
KR20130086409A (ko) 2012-01-25 2013-08-02 삼성전자주식회사 휴대단말기의 스크롤 제어장치 및 방법
EP2631747B1 (en) 2012-02-24 2016-03-30 BlackBerry Limited Method and apparatus for providing a user interface on a device that indicates content operators
KR101801554B1 (ko) * 2013-07-11 2017-11-27 삼성전자주식회사 컨텐츠를 표시하는 사용자 단말 장치 및 그 방법
US20150195345A1 (en) * 2014-01-09 2015-07-09 Microsoft Corporation Displaying role-based content and analytical information
US20150338940A1 (en) * 2014-05-23 2015-11-26 Microsoft Technology Licensing, Llc Pen Input Modes for Digital Ink
US9946701B2 (en) 2015-02-11 2018-04-17 International Business Machines Corporation Selectively pinning sections of displayed content
AU2016316125A1 (en) * 2015-09-03 2018-03-15 Synthro Inc. Systems and techniques for aggregation, display, and sharing of data
KR20170066050A (ko) * 2015-12-04 2017-06-14 삼성전자주식회사 객체 알림 방법 및 이를 지원하는 전자 장치
US11112963B2 (en) * 2016-05-18 2021-09-07 Apple Inc. Devices, methods, and graphical user interfaces for messaging
US20200159372A1 (en) * 2018-11-21 2020-05-21 General Electric Company Pinned bar apparatus and methods
JP2020160654A (ja) * 2019-03-26 2020-10-01 セイコーエプソン株式会社 表示装置の制御方法及び表示装置

Also Published As

Publication number Publication date
US11132104B1 (en) 2021-09-28
EP4208773A1 (en) 2023-07-12
WO2022073216A1 (en) 2022-04-14
EP4208773A4 (en) 2024-03-06

Similar Documents

Publication Publication Date Title
US11455085B2 (en) Devices, methods, and graphical user interfaces for interacting with user interface objects corresponding to applications
KR102642883B1 (ko) 터치 감응형 디스플레이를 갖는 전자 디바이스 상에 동시에 디스플레이되는 다수의 애플리케이션들과 상호작용하기 위한 시스템들 및 방법들
US20180136812A1 (en) Touch and non-contact gesture based screen switching method and terminal
US9304668B2 (en) Method and apparatus for customizing a display screen of a user interface
CN104205098B (zh) 使用阵列模式在浏览器中的内容项之间进行导航
US9030419B1 (en) Touch and force user interface navigation
US9753611B2 (en) Method and apparatus for providing a user interface on a device enabling selection of operations to be performed in relation to content
US8769403B2 (en) Selection-based resizing for advanced scrolling of display items
US9977523B2 (en) Apparatus and method for displaying information in a portable terminal device
JP6427559B6 (ja) 手書き入力のための永久同期システム
US20130227470A1 (en) Method and Apparatus for Adjusting a User Interface to Reduce Obscuration
US20130155116A1 (en) Method, apparatus and computer program product for providing multiple levels of interaction with a program
WO2012157562A1 (ja) 表示装置、ユーザインタフェース方法及びプログラム
CA2865193A1 (en) Method of accessing and performing quick actions on an item through a shortcut menu
CN113325985B (zh) 终端设备的桌面管理方法和终端设备
EP4231126A2 (en) Devices, methods, and graphical user interfaces for interacting with user interface objects
US20160004406A1 (en) Electronic device and method of displaying a screen in the electronic device
US11132104B1 (en) Managing user interface items in a visual user interface (VUI)
CN109804340A (zh) 用于页面显示的方法、装置、图形用户界面及移动终端
KR102632895B1 (ko) 미디어 내의 시각적 콘텐츠를 관리하기 위한 사용자 인터페이스

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination