CN105393203A - 可扩展应用表示、节点和故事线 - Google Patents

可扩展应用表示、节点和故事线 Download PDF

Info

Publication number
CN105393203A
CN105393203A CN201480037878.0A CN201480037878A CN105393203A CN 105393203 A CN105393203 A CN 105393203A CN 201480037878 A CN201480037878 A CN 201480037878A CN 105393203 A CN105393203 A CN 105393203A
Authority
CN
China
Prior art keywords
application
expression
expansion
display
game
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480037878.0A
Other languages
English (en)
Inventor
顾嘉唯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105393203A publication Critical patent/CN105393203A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了可扩展的应用表示、节点和故事线技术。所述技术可以包括对可以用作文件系统的根层(例如开始菜单或屏幕)内的中间产物的可扩展表示的支持。还描述了可以利用经扩展的表示和其它显示技术的节点技术。例如,用户可以指定将引起输出应用的节点(例如运动分数、多人游戏中的加入点等等)。另外,描述了在其中游戏的先前版本可以被利用来在加载游戏的后续版本期间提供上下文的故事线技术。

Description

可扩展应用表示、节点和故事线
背景
随着通过因特网的应用可用性的到来,变得对用户可用的应用的数目以及用户可以访问这些应用的容易性已经增长了。因此,用户可以选择大量应用并将其安装在用户计算设备上。
然而,用户与应用的互动可能受阻于安装在该计算设备上的应用的数目。这可以包括定位感兴趣的应用以及访问应用的功能。例如,用户可以通过许多其它应用来选择一个天气应用来获得天气信息,随后与新闻应用交互来获悉最新新闻等等。因此,在这些应用中导航以定位期望的信息可能花费大量的时间,这可能因计算设备上的可用的应用数目而被进一步复杂化。
概述
描述了可扩展应用表示、节点(milestone)和故事线(storyline)技术。所述技术可以包括对可用作在文件系统的根层(例如开始菜单或屏幕)内的中间产物的可扩展表示的支持。例如,可扩展表示可以通过姿势输出以获得在该表示的未扩展版本中没有被包括的附加信息,可以被利用来提供到应用的输入,等等。这样,这可以支持用户在文件系统的根层内的非模式化交互。
还描述了可以利用经扩展的表示和其它显示技术的节点技术。例如,用户可以指定将引起输出应用的节点(例如运动分数、多人游戏中的加入点等等)。另外,描述了其中游戏的先前版本可被利用来在加载游戏的后续版本期间提供上下文的故事线技术。也构想了涉及和不涉及可扩展表示的这些示例以及其它示例的进一步描述,如在详细描述中进一步描述的。
提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。该概述不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在被用来帮助确定所要求保护的主题的范围。
附图简述
参考附图来描述详细描述。在附图中,附图标记最左边的数字标识该附图标记首次出现的附图。在说明书和附图的不同实例中使用相同的附图标记可指示相似或相同的项目。
图1描绘了在一示例实现中的可被配置用于执行本文描述的可扩展表示技术的环境。
图2描绘了示出可用于支持用户与应用的交互的多个显示模式的示例实现。
图3描绘了示出使用姿势以引起输出涉及动画的经扩展表示的的示例实现。
图4描绘了响应于图3的姿势输出的经扩展的表示,该表示被配置为包括预览功能。
图5描绘了示出与经扩展表示和对应的预览功能的用户交互的另一实例的示例实现。
图6是在示例实现中的在操作上支持图1的操作系统的桌面和沉浸式外壳的环境的图示。
图7描述了在示例实现中的系统,在该系统中,经扩展的表示被包括在被配置作为图1的操作系统的返回栈的任务栏中。
图8是更详细地示出图7的经扩展表示的示例实现。
图9描绘了可用于显示内容的预览的图6的桌面外壳的经扩展表示的示例实现。
图10是示出可用于显示内容的预览的新闻和联系人应用的表示和经扩展表示的示例实现。
图11描绘了在示例实现中的其中图1的节点模块输出被配置为接受设置应用的节点的用户输入的用户界面的系统。
图12描绘了在其中检测引起输出应用的预定节点的示例实现。
图13描绘了在其中以节点扩展的表示被利用来表示特定时间点并包括可供选择以在预览的时间点处启动游戏的游戏预览的示例实现。
图14描绘了在其中在多个应用之间链接故事线的示例实现。
图15是描绘了在一个示例实现中的其中在操作系统的文件分层结构的根层中扩展表示并使用该表示来提供预览的过程的流程图。
图16是描绘在示例实现中的在其中由用户定义节点并将该节点用于控制应用的输出的过程的流程图。
图17是描绘在示例实现中的其中在加载多个应用中的至少一个应用时利用所述多个应用之间的故事线的链接的过程的流程图。
图18示出了可被实现为参考图1-17来描述的实现本文描述的技术的各实施例的任何类型的计算设备的示例设备的各个组件。
详细描述
概览
可以使用应用的表示(例如图标、瓦块(tile)等等)来支持各种功能,而无需用户特别启动应用。例如,天气应用的表示可以包括描述当前天气条件的通知。然而,被用于显示通知的传统技术通常是静态和模式化的,并且因此用户导航离开该表示以获取关于该通知的更多信息经常是必要的。
描述了可扩展应用表示技术。所述技术可以包括对可以用作在文件系统的根层(例如开始屏幕)内的中间产物的可扩展表示(例如瓦块)的支持。例如,根层可以包括在开始菜单内的应用的表示,例如瓦块。
还描述了可以利用经扩展的表示和其它显示技术的节点技术。例如,用户可以指定将引起输出应用的节点(例如运动分数、多人游戏中的加入点等等)。在到达该节点之际,可以自动输出应用而无需用户干预。这可以通过使用经扩展的表示、全屏视图、快照视图等等来执行,如下进一步描述。
另外,描述了其中游戏的先前版本可以被利用来在加载游戏的后续版本期间提供上下文的故事线技术。例如,用户可能期望玩游戏,并因此发起计算设备(例如游戏控制台)对游戏的加载。在正在加载游戏的同时,游戏的先前版本的对应部分可以被输出以给出加载的游戏的故事线中的特定时间点的上下文。以此方式,开发者可以在游戏的不同版本之间提供连续性。这些和其它技术的进一步描述可以参考以下各节找到。
在以下讨论中,首先描述可采用本文描述的技术的示例环境。随后描述可在该示例环境以及其他环境中执行的示例过程。因此,各示例过程的执行不限于该示例环境,并且该示例环境不限于执行各示例过程。
示例环境
图1是在示例实现中的在操作上采用本文描述的菜单技术的环境100的图示。所示的环境100包括计算设备102的示例,它被示为通信地耦合到显示设备104(例如,电视机)的游戏控制台,但是它可能以各种其它方式来配置。例如,计算设备102可被配置为传统计算机(例如,台式个人计算机、膝上型计算机等)、移动站、娱乐设备、无线电话、平板电脑、上网本等,如在图18中进一步描述。这样,计算设备102的范围可以是从具有充足存储器和处理器资源的全资源设备(例如,个人计算机、游戏控制台)到具有有限存储器和/或处理资源的低资源设备(例如,常规机顶盒、手持式游戏控制台)。计算设备102还可与致使计算设备102执行一个或多个操作的软件相关。
计算设备102也被示为包括处理系统106和计算机可读存储介质的示例,在这一实例中为存储器108。处理系统106不受形成它的材料或其中所利用的处理机制的限制。例如,处理系统106可以由半导体和/或晶体管(例如,电子集成电路(IC)),例如片上系统、处理器、中央处理单元、处理核、功能块,等等所组成。在这一上下文中,可执行指令可以是电子可执行指令。另选地,处理系统106的机制或用于处理系统106的机制,以及由此计算设备的机制或者用于计算设备的机制,可以包括但不限于,量子计算、光学计算、机械计算(例如,使用纳米技术)等。另外,虽然示出了单个存储器108,但是可以采用各种类型和组合的存储器,诸如随机存取存储器(RAM)、硬盘存储器、可移动介质存储器、以及其他类型的计算机可读介质。
计算设备102被进一步例示为包括操作系统110。操作系统110被配置来将计算设备102的底层功能抽象给可在计算设备102上执行的应用112。例如,操作系统110可抽象计算设备102的处理系统106、存储器108、网络、输入/输出,和/或显示功能,使得应用112可被写,而无需知晓这个底层功能“如何”实现。例如,应用112可向操作系统110提供要被呈现并由显示设备104显示的数据,而无需理解该呈现如何被执行。操作系统110也可表示各种其它功能,诸如管理计算设备102的用户可导航的文件系统和用户界面。
操作系统110可以被配置成处理由计算设备102支持的各种不同输入/输出功能。因此,操作系统110包括与计算设备102的输入识别和/或输出供应相关的功能。例如,操作系统110可被配置来标识姿势并使得对应于姿势的操作被执行,等等。输入可被检测以供操作系统110以各种不同的方式来处理。
例如,操作系统110可被配置成经由与硬件设备(如所示出的控制器114)的触摸交互来接收一个或多个输入。触摸交互可涉及按下按钮、移动操纵杆、跨跟踪垫的移动、使用显示设备104的触摸屏(例如,检测用户的手116的手指或指示笔),等等。触摸输入的识别可被操作系统110利用来与由计算设备102输出的用户界面进行交互,诸如与游戏、应用进行交互,浏览因特网、改变计算设备102的一个或多个设置,等等。也构想了涉及与设备的触摸交互的各种其他硬件设备。这样的硬件设备的示例包括光标控制设备(例如,鼠标)、遥控器(例如,电视遥控器)、移动通信设备(例如,被配置成控制计算设备102的一个或多个操作的无线电话)、以及涉及在用户或物体一方上的触摸的其他设备。
操作系统110也可被配置成支持可识别可能不涉及触摸的交互的自然用户界面(NUI)。例如,计算设备102可包括NUI输入设备118。NUI输入设备118可按各种方式来配置以便检测输入而无需用户触摸特定设备,诸如通过使用话筒来识别音频输入。例如,NUI输入设备118可被配置成支持语音识别以识别特定话语(例如,口述命令),以及识别提供该话语的特定用户。
在另一示例中,NUI输入设备118可被配置成通过使用相机来支持对姿势、所呈现的对象、图像的识别等。例如,相机可被配置成包括多个镜头,使得各不同的观察点可被捕捉且由此确定深度。例如,不同的观察点可被用来确定距NUI输入设备118的相对距离并且因而可被用来确定该相对距离的改变。
在另一个示例中,可利用飞行时间相机来确定各对象(例如用户的手臂、手、手指、腿、躯体和头)的相对距离。例如,NUI输入设备118可捕捉图像,这些图像由操作系统110分析以识别用户作出的一个或多个运动,包括什么身体部位被用来作出该运动以及哪一用户作出该运动。通过识别用户的手116的一个或多个手指的定位和移动和/或识别用户的手116整体的移动来示出了一示例。运动可被NUI输入设备118标识为发起对应的功能的姿势。这样,NUI输入设备118可被利用来支持各种不同方式的深度感知。由NUI输入设备118所捕捉的图像可以被利用来提供各种其他功能,如(例如通过面部识别)标识特定用户、对象等的技术。
各种不同类型的姿势可被识别,诸如从单个类型的输入识别的姿势(例如,运动姿势)以及包括多个类型的输入的姿势,例如运动姿势和使用诸如指示笔等物体作出的物体姿势。因而,NUI输入设备118可通过识别和利用输入之间的区分来支持各种不同的姿势技术。应当注意,通过在自然用户界面(NUI)的输入之间进行区分,通过这些姿势中的单独每一个而变得可能的姿势的数量也增加。例如,尽管移动可能是相同的,但使用不同类型的输入来指示不同的姿势(或对于类似命令的不同参数)。因而,NUI输入设备118可支持自然用户界面,该自然用户界面支持不涉及触摸的各种用户交互。
因此,尽管以下讨论描述了输入的示例,但是在各实例中,不同类型的输入也可被使用而不背离本发明的精神和范围。此外,尽管在以下讨论中的实例中姿势被示为使用NUI来输入,但姿势可由各种不同的设备使用各种不同的技术来输入,比如采用平板计算机的触摸屏功能。还可构想其它的非姿势技术,例如来选择控制器114的一个或多个按钮。
操作系统110也可表示各种其它功能,诸如管理计算设备102的用户可导航的文件系统和用户界面。这个的一个示例被示为在计算设备102的显示设备104上显示的应用启动器(例如开始屏幕)。开始屏幕包括多个应用112的表示,例如图标、瓦块、文本描述等等。开始屏幕可以被看作分层文件系统的根层,例如在该分层结构中,每个其它层都在该根层“之下”。在所示出的示例中的所示的表示是可被选择来启动应用112中的对应应用以在计算设备102上执行。以此方式,用户可以容易地导航遍历文件结构并发起对感兴趣的应用的执行。
操作系统110还被示出为包括表示模块120。表示模块120可以表示管理应用112的表示(例如瓦块、图标等等)以及由应用112可消费的内容的功能,其示例被示为开始屏幕。在一些实例中,所述表示可以包括可被显示作为表示的部分的通知,而无需启动所表示的应用112。这种功能被示为通知模块122,它被配置为管理要包括作为表示的部分的通知124。
例如,天气应用的表示126被示为包括指示名字和当前天气条件的通知,例如“西雅图65°/多云”。类似地,旅行应用的表示128被示为包括指示当前航班状态为“延误”的通知。以此方式,用户可以容易地查阅与应用112有关的信息,而不必启动并导航遍历每个应用、虽然示出了特定应用的表示,但还可以构想其它应用的表示,例如涉及用户对服务的参与的应用的表示,例如社交网络服务中的朋友。
在一个或多个实现中,可以管理通知124,而无需执行对应的应用112。例如,通知模块122可以从各种不同的源,例如从软件(例如由计算设备102执行的其它应用)、经由网络132从web服务130等等,接收通知124。这可响应于向通知模块122注册应用112以指定要在何处以及如何接收通知来执行。通知模块122可以随后管理如何将通知124作为表示的一部分来显示,而无需执行应用112。这可以被用来通过不运行每个应用112以输出通知124来改善计算设备的电池寿命以及性能。
虽然该讨论描述了在客户机处合并通知模块122,但通知模块122的功能可以按各种方式来实现。例如,通知模块134的功能可以在整体上或部分地由web服务130合并。例如,通知模块134可以处理从其它web服务接收的通知并管理通过网络132分发给计算设备102的通知。
如前所述,传统的技术经常是模式化的且因而使得用户导航离开根层以获取更多信息。例如,用户可以查阅天气应用的表示126,天气应用的表示126被示为包括指示名字和当前天气条件的通知,例如“西雅图65°/多云。”为了获取附加信息,用户选择表示126以启动对应的应用,本示例中,这使得用户离开开始菜单。然而,描述了这些表示可在根层内被扩展以支持附加功能而无需使得用户导航离开根层,并因此支持非模式化交互的技术,其示例相关于图2进行描述。
操作系统110还被示出为包括节点模块136。节点模块136表示使得用户或应用开发者能够指定引起应用112的输出的节点的功能。例如,用户可以指定将引起输出应用的节点(例如运动分数、多人游戏中的加入点等等)。在到达该节点之际,可以自动输出应用而无需用户干预。这可以通过使用经扩展的表示、全屏视图、快照视图等等来执行,如相关于图11-13进一步描述。
在另一个示例中,节点模块136可以支持将应用的执行彼此链接的节点。例如,这些节点可以被利用来链接游戏的不同版本之间的故事线。例如,用户可能期望玩游戏,并因此发起计算设备(例如游戏控制台)对游戏的加载。在正在加载游戏的同时,游戏的先前版本的对应部分可以被输出以给出加载的游戏的故事线中的特定时间点的上下文。以此方式,开发者可以在游戏的不同版本之间提供连续性。故事线的进一步描述可相关图14找到。
图2描绘了示出可用于支持与应用的用户交互的多个显示模式的示例实现200。示例实现被示为通过使用第一、第二和第三显示模式202、204、206来实现与应用和相关联的内容的交互。在第一显示模式202中,表示208被配置成对应于联系人的瓦块,该瓦块也包括联系人在用户的帖子上进行了评论的通知。为了查阅关于该通知的附加信息,用户可以提供一个输入(例如姿势、通过光标控制设备的选择、语音输入等等)以使得表示208的扩展转变为第二显示模式204。
在第二显示模式204中,示出了响应于上述姿势或其它输入而被输出的经扩展的表示210。经扩展的表示210包括与本示例中的通知有关的附加内容。例如,经扩展的表示210包括作为帖子的主题的图片、做出的有关该帖子的其它评论、被配置为接收来自计算设备104的用户的一个或多个输入(例如在本示例中的文本输入、按键的选择等等)的输入部分,以及由联系人所表示的用户实际创建的帖子。由此,表示210包括除包括在未经扩展的表示208中的通知以外的附加内容,所述附加内容可以进一步描述该通知。在其它示例中,可以显示多个附加通知。第二显示模式204可以具有涉及经扩展的表示显示的多个不同的子模式。
经扩展的表示210可以被配置为接收该内容并以各种方式输出该内容。例如,选择表示208以引起经扩展的表示210的输出可以引起图1的对应的应用112的执行。由此,在本示例中,应用112“被唤醒”以获得供包括在经扩展表示210中的内容。
在另一示例中,可由图1的通知模块122来提供显示204的内容,而无需执行对应的应用112。例如,通知模块122可以被配置为如前关于图1所描述的那样获得通知,而无需执行应用112。以此方式,通知模块122可以获得与应用112相关联的内容以支持与应用112的用户交互,而无需实际执行应用。
第二显示模式204也可以支持涉及经扩展的表示的显示的各种不同的子模式。例如,一种这样的子模式可以涉及可被利用来提供附加内容(例如附加通知或与特定通知相关联的附加内容、在共享网络环境中的内容的查看活动级别等等)的经扩展的表示。在另一个子模式中的另一个经扩展表示可以被利用来允许用户向应用提供有限输入和/或允许针对应用特征的有限功能,例如作出呼叫、应答文本、张贴状态、播放视频或歌曲等等。在根层模式的应用的另一个子模式中的另一个经扩展表示可以包括在更大根模式显示内应用的全功能实现,例如如在图4和5中所示的计算器、数独游戏、视频播放器等等,在下面将进一步详细描述它们。
在第三显示模式206中,与该表示相关联的应用112(例如联系人应用)的执行在例如窗口或框架中或者在没有框架的全屏视图或分屏中以诸如桌面模式之类的模式被完整地启动。例如,操作系统110可以支持如结合图9进一步描述的沉浸式外壳,在该沉浸式外壳中,应用被显示,而没有构架,例如没有窗口。第三显示模式206可以通过选择第一显示模式202中的表示208或第二显示模式204中的经扩展表示210或通过任何其它适合的图标或与应用表示的用户交互来进入。
由此,尽管没有应用的经扩展呈现,通过第三显示模式提供的下一扩展涉及将应用启动成在桌面中的全屏或窗口框架内运行的典型的全屏或分屏应用。这样,应用的所有经扩展的表示都在根模式显示内,这可支持用户的非模式化交互,而无需强迫用户导航离开根层。
此外,用户可按各种方式在这些模式之间导航。例如,用户可以选择表示208的一部分(例如通知的文本)来引起输出经扩展表示210并选择表示208的另一部分(例如表示联系人应用的加阴影的人)来引起到第三显示模式206的转变。还可以支持姿势,其示例被如下描述并且在相应的附图中被示出。
图3描绘了示出使用姿势或图标(向下箭头等)扩展到下一分层视图或表示的示例实现300,并且选择应用表示(例如图标、瓦块等)的另一部分可以打开全功能的应用。在一些情况中,由操作系统所接收的与扩展应用表示相关联的输入将导致输出涉及动画的经扩展的表示。该示例实现300使用第一阶段302、第二阶段304和第三阶段306示出。在第一阶段302,用户使用两根手指(通过使用两个模拟圆308和310示出)接触如图2所示的表示208并分开这两根手指以作出扩展姿势。还可构想其它姿势,例如轻击或通过菜单或图标的激活。如所示,在本示例中开始屏幕包括被配置为遵循网格布置的瓦块的多个其它表示。
操作系统110随后识别姿势,并作为响应导致输出动画或其它适合的用户界面显示转换,如在第二阶段304所示。在所显示的实施例中,在本示例中的动画给出在第二阶段304中示出的表示208未折叠以采用其经扩展大小的外观。也应该认识到在本阶段中,动画还涉及其它表示的重新布置。如图所示,在第一阶段302中,表示208被包括在包括视频和照片的表示312、314的列中。随后在第二阶段304中,将视频和照片的表示312、314移动到相邻的列,例如将视频表示312移动到左边,而将照片表示314移动到右边。如所示的,这种移动也可以引起其它列的重新布置。近似应用表示的任何适当移动可被用来为在根模式中扩展所选应用表示的表示腾出空间。
在第三阶段306,经扩展的表示210与其它重新布置的表示一起被示出。以此方式,在本示例中,用户可以与经扩展的表示210以非模式化方式交互,而无需离开操作系统110的根层(例如开始屏幕)。虽然,描述了根层,但应该容易理解还可以在文件系统的其它层(例如任务栏)处使用本功能,而不会背离其谨慎和范畴。
还可以利用对经扩展的表示的使用来支持多任务。例如,如在第三阶段306中所示,用户重复先前所述的扩展姿势,但在本实例中针对视频应用的表示312执行所述姿势。这也引起扩展该表示以及重新布置其它表示,如在图4的示例实现400中所示。
在图4中,示出了响应于图3的姿势而输出的经扩展的表示402。将视频应用的经扩展表示402与联系人应用的经扩展表示210同时显示。经扩展表示402包括可通过该表示选择的内容,并且在一些实现中引起将视频显示在根模式内的该表示内。
以此方式,经扩展的表示210、402可以允许用户通过同时与多个经扩展表示交互(例如观看视频并查阅来自社交网络服务的帖子)来实现多任务,并且还允许多个应用表示的根模式显示的平移/滚动或者与多个应用表示的根模式显示的其它根模式用户交互。由此,在本示例中,经扩展的表示402支持与显示在瓦块内的内容进行交互的输入。一种经扩展的表示还可以被配置为支持如所示的对经扩展表示210的文本输入。
经扩展的表示402还可以包括允许用户预览所表示的应用112可消费的内容的功能。例如,经扩展的表示402包括通过如上所述的可通过视频应用消费的多个内容(例如视频)。用户可以随后提供输入(例如通过其中用户的手116的手指被放置为接近显示设备104但不接触该设备的“悬停”、通过NUI输入设备118检测到的姿势等等)以导致输出多个不同的内容项中的特定内容项的预览。作为响应,该内容可被渲染以供“按原样”与其它内容表示一起在经扩展的表示210中输出。
在另一个示例中,用户可以通过轻击404来选择如幻影圆所示的特定项。操作系统110可以随后识别该输入以使得改为将该内容显示在经扩展表示402中,如在图5的示例实现中所示。在本示例中,以第二显示模式将该内容显示在文件系统的根层内,并且这样依旧支持多任务,例如与联系人的经扩展表示210的交互。一旦查阅预览,用户随后可以决定在第三显示模式中查看该内容以得到全屏体验。这可以以各种方式执行。例如,用户可以使用两根手指(如通过使用两个幻影圆502、504示出)接触如图2所示的表示402并分开这两根手指以作出扩展姿势。还可构想其它姿势,例如如前所述的轻击或通过菜单或图标的激活。虽然,针对在文件管理系统的根层处的交互描述了在经扩展表示中使用预览,也可使用任务栏来采用这些技术,其示例如下所述且在对应的附图中示出。
图6是在示例实现中的在操作上支持操作系统110的桌面和沉浸式外壳的环境600的图示。所示出的环境600包括如先前在图1中描述的具有操作系统110和应用112的平板式形式因素的计算设备102。
操作系统110还被示为包括沉浸式环境模块602,它表示计算设备102的提供沉浸式外壳604的功能,通过所述沉浸式外壳604,用户可以与应用112和计算设备102的其它数据交互,所述应用112和计算设备102的其它数据可以都在该设备本地以及通过网络与该设备远程的。沉浸式外壳604被配置为接受输入以与计算设备102的操作系统110和应用112交互来访问计算设备102的功能,例如如上所述的抽象出的功能。沉浸式外壳604还可以被配置为支持桌面外壳606,如下进一步所述的。
沉浸式外壳604可以被配置为支持在几乎不用窗框的情况下与应用112的交互。另外,沉浸式外壳604可以支持与应用112的交互,而无需用户管理对应窗框布局、窗口相对于其它窗口的主导性(例如窗口是否是活动的、在其它窗口之前或之后、窗口的顺序等等),虽然被示为操作系统110的部分,但沉浸式环境模块602可以通过各种其它方式来实现,诸如独立的模块、通过网络远程实现等等。
在一个或多个实现中,操作系统的沉浸式外壳604被配置成使得它是不可关闭或不能够从操作系统110卸载。另外,沉浸式外壳604可以被配置为消费计算设备104的显示设备608的可用显示区域的很大部分。用户可以通过各种方式与沉浸式外壳604交互,例如通过光标控制设备,使用一个或多个姿势,使用语音识别,使用一个或多个深度传感相机捕捉等等。
由此,沉浸式环境模块602可以管理沉浸式外壳116,应用112的内容可被呈现在该沉浸式外壳中,并且该呈现可以被执行而无需用户管理用于显示应用112的内容的窗口的大小、位置、主导地位等等。
例如,如在由显示设备608显示的用户界面上所示的,用户界面被示出被配置成在“快照”配置中显示来自两个应用的数据610、612。在本示例中,对应于数据的这两个应用被启用以由计算设备102主动执行,然而针对当前没有显示数据的其它应用112的执行将被挂起。槽(gutter)614被置于数据610、612的显示之间,它是可移动的以分别改变由显示设备608上的应用所消费的显示面积的量。
沉浸式外壳604可以支持各种各样的功能以为用户提供访问应用112的沉浸式体验。在下面的讨论中,讨论了与利用这些技术来允许与桌面外壳606的交互有关的功能。然而,应当容易明白,这些技术可以被用于管理与应用112本身的交互,而不背离其精神和范围。
桌面外壳606表示当在本示例中与应用112和其它数据交互时由操作系统110输出的用户界面的另一个配置。例如,桌面外壳606可以被配置为通过具有框架的窗口呈现应用和对应的数据。这些框架可以提供通过其用户可以与应用交互的控件以及允许用户移动窗口和设定窗口的大小的控件。桌面外壳606还可以支持通过使用文件夹来导航遍历分层文件结构并通过使用图标来表示数据和应用的技术。在一个或多个实现中,桌面外壳606还可以被利用来访问应用122,该应用被专门配置用于通过桌面外壳606交互且不被配置为通过沉浸式外壳604来访问,但是还可构想其它实现。
在在此所述的一个或多个技术中,沉浸式外壳604提供对桌面外壳606的访问,就如同桌面外壳606是在计算设备104上执行的另一个应用一样。以此方式,用户可以使用沉浸式外壳604的功能,但仍可访问桌面外壳606以获得更多传统的功能。桌面的作为在沉浸式外壳内的沉浸式应用的实现的示例包括使用在此所述的可扩展表示,在下面将对其描述并将其在对应的附图中示出。
图7描述了在示例实现中其中经扩展的表示被包括在被配置成图1的操作系统110的返回栈的任务栏中的系统700。系统700被示为使用第一和第二阶段702、704。第一阶段702示出作为如前所述的文件系统的根层的一个示例的开始屏幕。
如先前结合图6中所描述的,操作系统110可以维护沉浸式环境,在该沉浸式环境中,一个或多个应用的显示可基本上消耗一个或多个显示设备的显示环境。然而,通过使用用作“返回栈”的任务栏706,应用还是可以“保持”可被操作系统110“获得”,在所述返回栈中,应用的执行被挂起直到其出现在显示设备608上。例如,用户可以通过用户的手的一个或多个手指做出滑扫姿势(在图示中通过使用箭头来示出)、“点击和拖拽”姿势等等来用来自返回栈的应用取代当前正被显示的应用中的一个或多个应用。还可以构想其它示例,在其中任务栏706不与“返回栈”功能相关联,例如在任务栏中表示的应用主动执行,被“锁定”到任务栏等等。
在所示的示例中,任务栏706包括可选择以导航到应用的用户界面,例如到沉浸式外壳中的第三显示状态“全屏”,的表示。在任务栏中的表示还包括如前所述的经扩展表示,在本实例中是照片应用的经扩展表示。经扩展表示可以按各种不同的方式包括在任务栏中。例如,照片应用在返回栈中可以处于挂起状态,并且因此被自动包括而没有通过选择应用的执行的用户干预。经扩展表示也可以使用用户的一个或多个命令(例如“右击”菜单)等等被“锁定”到任务栏。
可在各种不同的场景中访问任务栏706。例如,用户可以查看如图7所示的开始屏幕并如前所述访问任务栏706。当在沉浸式外壳604中和当在桌面外壳606等等中输出应用112时也可以访问任务栏706。因此,经扩展的表示可以利用这种可访问性来支持各种功能,包括先前所述的预览功能。例如,图7的经扩展表示706包括可被用于预览与所表示的应用112相关联的内容的功能,其进一步讨论将在下面描述且在对应的附图中示出。
图8是更详细地示出图7的经扩展表示708的示例实现800。在本示例中的经扩展表示708对应于音乐应用并包括可通过所表示的应用(例如第三显示模式)以及通过由经扩展表示提供的“门户”来访问的音乐内容。例如,经扩展表示708包括用户可与其进行交互以输出音乐的预览802。预览802包括专辑封面以及用户界面,该用户界面被配置为控制计算设备102对音乐的输出。经扩展的表示708还包括可选择以供作为预览802输出的其它内容804(例如歌曲)。
虽然,在经扩展应用表示708中示出音乐应用,但可以理解除了在根层显示中的应用表示之外或替代在根层显示中的应用表示,具有内容经扩展视图的任何合适的应用类型和/或有限功能的经扩展应用表示都可以被用于任务栏的实施例中。这样,通过经扩展的应用表示,图7的任务栏706的该门户可以支持与经扩展表示中所包括的内容的非模式化交互,这可以被用来支持各种不同的功能。也构想了各种其它预览,其示例在下面描述并且在相应的附图中被示出。
图9描绘了图6的桌面外壳606的经扩展表示的示例实现900。该示例也使用第一和第二阶段902、904来示出。在第一阶段902,如前所述的经扩展表示906将桌面外壳606作为应用处理。因此,桌面外壳的经扩展表示906被配置为包括与桌面外壳相关联的内容。
在所示示例中,该内容描述了在桌面外壳606内“打开”的应用112,包括浏览器、字处理应用、电子表格应用和演示应用。每个内容项是可选择以直接从根层显示导航到桌面外壳606内的对应的应用。虽然运行的应用可以被显示在如图9所示的桌面应用表示中,但还可以在桌面应用表示中示出任何合适数目和/或状态类型的应用,例如最常用的应用列表、由用户锁定到桌面应用表示中的应用,任何或所有这些应用可以在根层模式显示中的桌面应用表示的第一或更深分层的经扩展视图中被示出。
经扩展表示906可以包括从桌面外壳606的任务栏接收到的图标908,它包括文件共享应用、反病毒实用工具以及打印机的表示,它们也可被选择以导航到桌面外壳606内的对应功能。这样,经扩展表示906通过支持操作系统110的各外壳之间的交互来作为这些外壳之间的门户(例如“虫洞”)操作,而无需这两个外壳的输出。该交互可以包括使用如前所述的预览功能。
例如,用户可以通过如前所述的悬停姿势、光标控制设备的使用等等来选择内容910以导致输出内容910的预览912,其示例在第二阶段904中示出。在本示例中内容904是附信,并且这样被配置为字处理器的对应应用112被利用来在经扩展表示906中输出该附信。由此,在本示例中,预览912不仅提供了在外壳之间的门户,而且还提供了可在这些外壳内执行的应用112。
FIG.图10是示出可用于显示预览的新闻和联系人应用的表示和经扩展表示的示例实现1000。该新闻应用可以具有如上所述配置用于在第一显示模式中显示的表示1002。所述表示1002随后可以被扩展为显示包括与新闻应用有关的内容的经扩展表示1004,与新闻应用有关的内容在本实例中被显示为大字标题和对应的图像。
如前所述,在表示1002和经扩展的表示1004之间的导航可以响应于用户输入(例如光标控制设备、姿势、语音命令等等)被执行。还可构想其中从表示1002到经扩展表示1004的转变可以被自动执行且无需用户干预的其它实现。在本示例中,可以由通知模块122接收涉及用户所标记的主题、通知的提供者所标记的主题等等的通知的节点。响应于该节点(例如安珀警戒),表示1002可以被扩展以形成经扩展表示1004来提供与通知有关的附加信息。还构想了如关于图11进一步描述的各种其它示例。可以激活并显示进一步的扩展以提供有限的功能,例如文章的搜索、过滤、显示等。
联系人应用表示还可以被进一步扩展以允许有限的功能。所述扩展可以是在水平或垂直方向。例如,在一些方面中,应用表示可以在垂直方向中被扩展以显示用于对消息作出响应的文本输入区域和/或向左扩展以包括用于发起与相关联的联系人的呼叫的激活按钮。这些仅仅是有限功能或与联系人应用交互的两个示例,并且适当时可以使用该表示的任何合适的扩展和/或功能的子集或有限集。
例如,对于联系人应用的表示1006,用户可以指示要引起对经扩展表示1008的自动显示的特定联系人、共享网络资源(例如社交网络服务)中的特定张贴内容等等。类似地,通知的发送者可以包括特定通信(语音邮件、文本、电子邮件等)的紧急节点,操作系统108可以附加地或另选地使用它来触发对经扩展表示的自动显示。随后,通知模块114对对应的通知的接收可以引起对经扩展表示1008的自动显示。
经扩展的表示1004、1008还可以被配置为支持预览功能。例如,对于新闻的经扩展表示1004,可以在表示内输出新闻视频剪辑。同样,对于联系人应用的经扩展表示1008,用户可以预览张贴到共享网络资源(例如社交网络服务)的内容。这样,如前所述,经扩展的表示可以将非模式化门户提供到通过各自的应用可用的内容中。
图11描绘了在示例实现中的其中节点模块136输出被配置为接受设置应用112的节点的用户输入的用户界面的系统1100。在本示例中的用户界面1102涉及由操作系统110维护的设置,但是还可构想其它示例,例如通过应用112本身来设置节点。
用户界面1102被配置为接收设置引起将应用112输出在用户界面1102中的节点的用户输入。这可以包括设置关于事件的分数(例如真实或在游戏中)、剩余的时间量、分数差额、游戏入口点等等的节点,所述事件是“真实的”(例如在实际的运动赛事)或由应用112(例如视频游戏)的执行造成。还可构想其它节点,例如对社交网络服务的帖子的“点赞”或评论数目、在照片共享网络服务中的图像的查阅数目、帖子被转发的次数等等。使用节点的示例在下面被描述并且在相应的附图中被示出。
图12描绘了在其中检测到引起输出应用的预定节点的示例实现1200。该示例实现使用第一和第二阶段1202、1204来示出。在第一阶段1202,用户界面1206由计算设备102输出并由显示设备104显示。用户界面1206可以案各种方式被配置成例如输出实况或记录的广播电视、生产力应用、游戏等等。
在此输出期间,节点模块122可以检测由用户通过与图11的用户界面1102的交互所指定的节点的发生。在本示例中,节点涉及运动赛事,例如分数差、剩余时间等。可以按各种方式执行对节点的检测,例如通过执行应用本身(例如在后台中)、通过使用如图1所述的通知从而(例如通过注册通知)不执行该应用等等。
一旦检测到,启动对应于该节点的应用的显示。可以采用各种不同的显示技术。例如,如在第二阶段1204所示,与节点有关的应用的显示1208可以被置于主视图中,并且关于用户先前在与什么进行交互的用户界面1206的并发视图并被置于经扩展表示中。
在另一个示例中,与节点有关的应用被作为经扩展表示(例如作为自动输出的任务栏的部分)输出,并且先前的用户界面被置于显示的主要部分中。还可构想其它示例,例如具有“快照”部分的主要部分(所述“快照”部分具有小于主要部分的显示大小)、代替先前用户界面的全屏显示(例如沉浸式外壳)等等。
另外,在一个或多个实现中,用户可以指定该显示如何作为指定节点的部分出现。以此方式,用户可以指定要发生什么以通过另一个应用生成中断以及该中断如何发生。
还可以构想各种其它示例,例如多玩家游戏示例,在其中,用户可以指定当他们在游戏中“死亡”时,一旦到达用户可以返回到游戏的点(例如当游戏结束时,替换另一个玩家时等等)就再次自动输出用户界面。这些节点也可以以其它方式利用经扩展表示技术,其示例如以下所述并在相应的附图中示出。
图13描绘了在其中以节点扩展的表示被利用来表示特定的时间点并包括可被选择以在预览的时间点启动游戏的游戏预览的示例实现1300。用户界面1302被配置为如前所述的开始屏幕。开始屏幕包括可被选择以启动应用的执行、可包括通知等等的如前所述的第一显示模式中的应用的表示。
用户界面1302还可以包括表示本示例中的游戏中的节点的经扩展表示1304、1306、1308,但还可以构想其它应用。这可包括如图11所示由用户设置的节点或与各个应用交互中的其它“保存点”。这些经扩展的表示1304、1306、1308还可以包括预览功能,这样,可以如前所述地提供预览,例如给予关于内容的输出中的“哪些部分”由经扩展表示来表示的用户上下文。也可以设想其它示例而不背离其精神和范围。
图14描绘了在其中在多个应用之间链接故事线的示例实现1400。该示例也使用第一和第二阶段1402、1404来示出。在第一阶段1402,用户界面1406是文件系统的根文件的输出。用户界面1406可用于如前所述启动应用。在第一阶段1402中,用户选择应用的表示1408,在本实例中该表示是橄榄球游戏的某一版本,例如“橄榄球2014”。例如,可以由计算设备102通过NUI输入设备118、使用控件114、语音命令等等检测输入。
响应于该输入,计算设备102可以开始加载应用112,例如在本实例中为游戏,其被示为在第二阶段1404在显示设备104的主要部分1408中示出。在加载游戏1408期间,还同时显示该游戏的先前版本,在本实例中这利用了任务栏中使用可扩展表示1410。
这样,在本实例中,游戏的先前版本的输出可以被利用来给出针对后续版本的“正在加载什么”的上下文。例如,后续版本可以涉及情节点的延续,并且因此应用的先前版本可以在这种加载期间被输出以提供上下文。以此方式,可以跨多个不同的应用继续故事线。还构想了各种其他示例,其进一步讨论可相关于以下章节找到。
示例过程
以下讨论描述了可利用先前描述的系统和设备来实现的可扩展应用表示技术。可以使用硬件、固件或软件或其组合来实现每一个过程的各方面。过程被示为一组框,它们指定由一个或多个设备执行的操作,不一定仅限于所示出的用于由相应的框执行操作的顺序。在下面讨论的某些部分,将参考示例环境。
图15是描绘了在一个示例实现中的在操作系统的文件分层结构的根层中扩展表示并使用该表示来提供预览的过程1500。表示是在由计算设备的操作系统所维护的文件分层结构的根层中的应用的输出,这些表示可被选择以启动相应应用的执行(框1502)。例如,这些表示可以以第一显示模式被显示,该第一显示模式被配置为例如通过利用图1的通知系统在表示内输出通知且无需执行所表示的应用。
响应于操作系统识别到被配置为引起扩展表示之一的输入,扩展该表示的显示以供与一个或多个其他表示一起包括在根层中,该表示的经扩展显示被配置为接受相应应用的一个或多个输入(框1504)。例如,用户可以作出姿势,该姿势可被计算设备110识别以引起将以第一显示模式显示的表示扩展成处于第二显示模式的经扩展显示。当处于第二显示模式时,可以接收与包括在经扩展的表示内的内容进行交互(例如以选择照片、输入文本、打印文档等等)的输入。
经扩展的显示还可以导致重新布置根层中的处于网格布局的各表示的一个或多个其它表示,该重新布置维持了网格布局。继续先前示例,输入的接收可以同时引起表示的扩展以及其它表示的重新布置,如图3所示。
响应于操作系统识别到被配置为显示与经扩展表示相关联的内容的预览的输入,在表示的经扩展显示内显示内容的预览(框1506)。这可以包括如图4和5所示的视频的预览、如图7和8所示的音乐的预览、如图9所示的外壳以及可通过外壳访问的内容的预览、如图10所示的新闻和联系人的预览等等。
图16描述了在示例实现中的在其中由用户定义节点并利用该节点来控制应用的输出的过程1600的流程图。输出被配置为指定要与应用的执行相关联的节点的用户界面(框1602)。例如,用户可以与操作系统110的设置屏幕交互以设置节点。节点可以如前所述地利用通知124,这样,可以检测到节点的到达,而无需执行对应应用112。还可构想与应用112的直接交互以指定节点的其它示例。
由计算设备从用户接收通过与用户界面的交互指定节点的一个或多个输入(框1604)。继续先前示例,用户可以用预定的节点(例如游戏分数)来指定参数,通过与用户界面的交互创建他们自己的节点等等。
计算设备检测已经到达针对应用的预定节点(框1606)。计算设备102随后可以通过执行应用112等等来检测是否已经到达该节点,例如以分析从web服务130接收的通知124的注册。
响应于该检测,由计算设备在用户界面中启动应用的显示,使得该显示可被计算设备的用户查看(框1608)。该显示可以使用如前所述的全屏视图、经扩展的表示、快照配置等等来执行。
图17是描述在示例实现中在加载多个应用中的至少一个应用时利用这些应用之间的故事线的链接的过程1700的流程图。由计算设备接收输入以加载游戏(框1702)。例如,用户可以与如第一阶段1402中所示的开始屏幕交互以例如通过使用NUI输入设备118检测到的姿势、使用控制器116、键盘、语音输入等等选择游戏的表示。
响应于该输入,由计算设备加载游戏的故事线中的特定时间点,并且在加载期间,显示涉及正被加载的故事线的该特定时间点的游戏的先前版本的用户界面(框1704)。继续先前示例,所选的游戏可以开始加载,这对于特征丰富的游戏来说可能花费大量的时间。该时间可以被用于示出正被加载的游戏与游戏的先前版本的中故事线方面的连接,例如情节点的延续。以此方式,故事线可以在游戏的各版本之间延续,从而给予用户统一的体验。也可以设想其它示例而不背离其精神和范围。
示例系统和设备
图18在1800概括地示出了包括示例计算设备1802的示例系统,该示例计算设备表示可以实现此处描述的各个技术的一个或多个计算系统和/或设备,通过包括表示模块120来将其示出。计算设备1802可以是,例如,服务提供方的服务器、与客户机相关联的设备(例如,客户机设备)、片上系统、和/或任何其他合适的计算设备或计算系统。
所示的示例计算设备1802包括处理系统1804、一个或多个计算机可读介质1806、以及相互通信地耦合的一个或多个I/O接口1808。尽管没有示出,计算设备1802可进一步包括系统总线或将各种组件相互耦合的其它数据和命令传输系统。系统总线可以包括不同总线结构中的任一个或其组合,诸如存储器总线或存储器控制器、外围总线、通用串行总线和/或利用各种总线体系结构中的任一种的处理器或局部总线。也构想了各种其它示例,诸如控制和数据线。
处理系统1804表示使用硬件执行一个或多个操作的功能。因此,处理系统1804被示为包括可被配置为处理器、功能块等的硬件元件1810。这可包括在作为专用集成电路或使用一个或多个半导体构成的其它逻辑设备的硬件中的实现。硬件元件1810不受形成它们的材料或者其中利用的处理机制的限制。例如,处理器可以由半导体和/或晶体管(例如,电子集成电路(IC))构成。在这一上下文中,处理器可执行指令可以是可电子地执行的指令。
计算机可读存储介质1806被示为包括存储器/存储1812。存储器/存储1812表示与一个或多个计算机可读介质相关联的存储器/存储容量。存储器/存储组件1812可包括易失性介质(如随机存取存储器(RAM))和/或非易失性介质(如只读存储器(ROM)、闪存、光盘、磁盘等等)。存储器/存储组件1812可包括固定介质(例如,RAM、ROM、固定硬盘驱动器等)以及可移动介质(例如闪存、可移动硬盘驱动器、光盘等等)。计算机可读介质1806可以下面进一步描述的各种方式来配置。
输入/输出接口1808表示允许用户向计算设备1802输入命令和信息的功能,并且还允许使用各种输入/输出设备向用户和/或其他组件或设备呈现信息。输入设备的示例包括键盘、光标控制设备(例如,鼠标)、麦克风、扫描仪、触摸功能(例如,电容性的或被配置来检测物理触摸的其它传感器)、照相机(例如,可采用可见或诸如红外频率的不可见波长来将移动识别为不涉及触摸的姿势),等等。输出设备的示例包括显示设备(例如,监视器或投影仪)、扬声器、打印机、网卡、触觉响应设备,等等。因此,计算设备1802可以下面进一步描述的各种方式来配置以支持用户交互。
此处可以在软件、硬件元件或程序模块的一般上下文中描述各种技术。一般而言,此类模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、组件、数据结构等等。本文使用的术语“模块”、“功能”和“组件”一般表示软件、固件、硬件或其组合。本文描述的技术的各特征是平台无关的,从而意味着该技术可在具有各种处理器的各种商用计算平台上实现。
所描述的模块和技术的实现可以被存储在某种形式的计算机可读介质上或跨某种形式的计算机可读介质传输。计算机可读介质可包括可由计算设备1802访问的各种介质。作为示例而非限制,计算机可读介质可包括计算机可读存储介质摂和计算机可读信号介质摂。
“计算机可读存储介质”可以指相对于仅信号传输、载波、或信号本身而言,启用对信息的持久和/或非瞬态存储的介质和/或设备。由此,计算机可读存储介质是指非信号承载介质。计算机可读存储介质包括以适合于存储如计算机可读指令、数据结构、程序模块、逻辑元件/电路、或其他数据等的方法或技术来实现的诸如易失性和非易失性、可移动和不可移动介质和/或存储设备的硬件。该计算机可读存储介质的示例包括但不限于,RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光存储、硬盘、磁带盒、磁带、磁盘存储或其它磁存储设备、或者可适用于存储所需信息并可由计算机访问的其它存储设备、有形介质或制品。
“计算机可读信号介质”可以指被配置为诸如经由网络向计算设备1802的硬件传输指令的信号承载介质。信号介质通常用诸如载波、数据信号、或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据。信号介质还包括任何信息传送介质。术语“已调制数据信号”是指使得以在信号中编码信息的方式来设置或改变其一个或多个特性的信号。作为示例而非限制,通信介质包括有线介质,诸如有线网络或直接线路连接,以及无线介质,诸如声学、RF、红外线和其他无线介质。
如前面所述描述的,硬件元件1810和计算机可读介质1806表示以硬件形式实现的模块、可编程设备逻辑和/或固定设备逻辑,其可被某些实施例采用来实现此处描述的技术的至少某些方面,诸如执行一个或多个指令。硬件可包括集成电路或片上系统、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD),和以硅或其它硬件实现的组件。在此上下文中,硬件可操作为通过指令和/或由硬件实现的逻辑来执行程序任务的处理设备,以及被用来存储用于执行的指令的硬件(例如上面描述的计算机可读存储介质)。
前面的组合也可被采用来实现在此描述的各种技术。因此,软件、硬件,或可执行模块可被实现为在某种形式的计算机可读存储介质上和/或由一个或多个硬件元件1810实现的一个或多个指令和/或逻辑。计算设备1802可被配置成实现对应于软件和/或硬件模块的特定指令和/或功能。因此,可作为软件由计算设备1802执行的模块的实现可至少部分以硬件完成,例如,通过使用计算机可读存储介质和/或处理系统1810的硬件元件1804。指令和/或功能可以是一个或多个制品(例如,一个或多个计算设备1802和/或处理系统1804)可执行/可操作的,以实现此处描述的技术、模块,以及示例。
如在图18中进一步示出,示例系统1800实现了用于当在个人计算机(PC)、电视机设备和/或移动设备上运行应用时的无缝用户体验的普遍存在的环境。服务和应用在所有三个环境中基本相似地运行,以便当使用应用、玩视频游戏、看视频等时在从一个设备转换到下一设备时得到共同的用户体验。
在示例系统1800中,多个设备通过中央计算设备互连。中央计算设备对于多个设备可以是本地的,或者可以位于多个设备的远程。在一个实施例中,中央计算设备可以是通过网络、因特网或其他数据通信链路连接到多个设备的一个或多个服务器计算机的云。
在一个实施例中,该互连架构使得功能能够跨多个设备来递送以向多个设备的用户提供共同且无缝的体验。多个设备的每一个可具有不同的物理要求和能力,且中央计算设备使用一平台来使得为设备定制且又对所有设备共同的体验能被递送到设备。在一个实施例中,创建目标设备的类,且使体验适应于设备的通用类。设备类可由设备的物理特征、用途类型或其他共同特性来定义。
在各种实现中,计算设备1802可采取各种各样不同的配置,诸如用于计算机1814、移动设备1816和电视机1818用途。这些配置中的每一个包括可具有一般不同的构造和能力的设备,并且因而计算设备1802可根据不同的设备类中的一个或多个来配置。例如,计算设备1802可被实现为计算机1814类的设备,该类包括个人计算机、台式计算机、多屏幕计算机、膝上型计算机、上网本等。
计算设备1802还可被实现为移动设备1816类的设备,该类包括诸如移动电话、便携式音乐播放器、便携式游戏设备、平板计算机、多屏幕计算机等移动设备。计算设备1802还可被实现为电视机1818类的设备,该类包括在休闲观看环境中具有或连接到通常更大的屏幕的设备。这些设备包括电视机、机顶盒、游戏控制台等。
本文所描述的技术可由计算设备1802的这些各种配置来支持,且不限于在本文描述的各具体示例。这个功能也可被全部或部分通过分布式系统的使用(诸如如下所述的经由平台1822通过“云”1820)来实现。
云1820包括和/或代表资源1824的平台1822。平台1822抽象云1820的硬件(如,服务器)和软件资源的底层功能。资源1824可包括可在计算机处理在位于计算设备1802远程的服务器上执行时使用的应用和/或数据。资源1824也可包括在因特网上和/或通过诸如蜂窝或Wi-Fi网络之类的订户网络上提供的服务。
平台1822可抽象资源和功能以将计算设备1802与其他计算设备相连接。平台1822还可用于抽象资源的缩放以向经由平台1822实现的资源1824所遇到的需求提供对应的缩放级别。因此,在互联设备的实施例中,本文描述的功能的实现可分布在系统1800上。例如,该功能可部分地在计算设备1802上以及经由抽象云1820的功能的平台1822来实现。
结语
尽管已经用对结构特征和/或方法动作专用的语言描述了本发明,但可以理解,在所附权利要求书中定义的本发明不必受所描述的这些具体特征或动作的限制。相反,具体特征和动作是作为实现要求保护的发明的示例形式来公开的。

Claims (20)

1.一种由计算设备实现的方法,所述方法包括:
输出由所述计算设备的操作系统所维护的文件分层结构的根层中的应用的表示,所述表示可被选择以启动相应的所述应用的执行;
响应于所述操作系统识别到被配置为引起扩展所述表示中的一个表示的输入,扩展该表示的显示以供与一个或多个其它所述表示一起包括在所述根层中;以及
响应于所述操作系统识别到被配置为显示与经扩展表示相关联的内容的预览的输入,在该表示的经扩展的显示内显示所述内容的预览。
2.如权利要求1所述的方法,其特征在于,所述预览涉及受制于相应的所述应用的执行的游戏的节点。
3.如权利要求2所述的方法,其特征在于,还包括响应于识别到对所述经扩展表示做出的启动相应的所述应用的输入,启动相应的所述应用以在所述节点处输出所述游戏。
4.如权利要求3所述的方法,其特征在于,其中相应的所述应用的启动导致所述游戏在沉浸式外壳中的输出。
5.如权利要求1所述的方法,其特征在于,所述经扩展显示内表示的内容能作为相应的所述应用的执行的部分来消费。
6.如权利要求1所述的方法,其特征在于,所述应用的所述表示被配置为将通知作为相应的所述应用的部分输出,而无需执行相应的所述应用。
7.如权利要求1所述的方法,其特征在于,扩展所述表示的显示包括在所述根层内使用示出从所述表示到所述经扩展表示的连续扩展转变的动画。
8.如权利要求1所述的方法,其特征在于,还包括响应于所述操作系统识别到被配置为使得所述经扩展的表示被包括在任务栏中的输入,包括所述经扩展的表示以供作为所述任务栏的部分来显示。
9.一种方法,包括:
输出被配置为指定供与应用的执行相关联的节点的用户界面;
由所述计算设备从用户接收通过与所述用户界面的交互指定所述节点的一个或多个输入;
由所述计算设备检测所述应用的预定节点已经到达;
响应于所述检测,由所述计算设备启动所述应用在用户界面中的显示,使得所述显示能被所述计算设备的所述用户查看。
10.如权利要求9所述的方法,其特征在于,其中启动所述显示使得所述应用的经扩展表示与可被选择以启动其他应用的所述其他应用的表示一起被显示在所述计算设备的文件分层结构的根层中。
11.如权利要求9所述的方法,其特征在于,启动所述显示使得所述应用的经扩展表示被显示在所述计算设备的任务栏中。
12.如权利要求9所述的方法,其特征在于,启动所述显示替换另一应用的用户界面的显示。
13.如权利要求9所述的方法,其特征在于,启动所述应用的显示引起与另一应用的用户界面的并发显示。
14.如权利要求9所述的方法,其特征在于,所述节点是运动赛事中的运动分数或剩余时间量。
15.如权利要求9所述的方法,其特征在于,所述节点是游戏的入口点。
16.如权利要求15所述的方法,其特征在于,所述游戏是可多个用户可通过web服务访问的多玩家游戏。
17.如权利要求9所述的方法,其特征在于,启动所述应用的所述显示导致广播内容的输出。
18.一种方法,包括:
由计算设备接收加载游戏的输入;
响应于所述输入:
由所述计算设备加载所述游戏的故事线中的特定时间点;以及
在所述加载期间,显示涉及正被加载的特定时间点的所述游戏的先前版本的用户界面。
19.如权利要求18所述的方法,其特征在于,所述游戏的所述先前版本的所述用户界面被显示在所述游戏的经扩展表示中。
20.如权利要求18所述的方法,其特征在于,所述游戏的所述先前版本的所述用户界面被显示在任务栏中。
CN201480037878.0A 2014-04-11 2014-04-11 可扩展应用表示、节点和故事线 Pending CN105393203A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/075180 WO2015154306A1 (en) 2014-04-11 2014-04-11 Expandable application representation, milestones, and storylines

Publications (1)

Publication Number Publication Date
CN105393203A true CN105393203A (zh) 2016-03-09

Family

ID=54265192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480037878.0A Pending CN105393203A (zh) 2014-04-11 2014-04-11 可扩展应用表示、节点和故事线

Country Status (5)

Country Link
US (1) US20150293888A1 (zh)
EP (1) EP3129868A4 (zh)
KR (1) KR20160144445A (zh)
CN (1) CN105393203A (zh)
WO (1) WO2015154306A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111803938A (zh) * 2019-04-11 2020-10-23 网易(杭州)网络有限公司 游戏界面的处理方法、终端设备、电子设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015149347A1 (en) 2014-04-04 2015-10-08 Microsoft Technology Licensing, Llc Expandable application representation
JP6680742B2 (ja) 2017-10-31 2020-04-15 大研医器株式会社 磁性粒子収集方法及び試験セット

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110092282A1 (en) * 2009-10-20 2011-04-21 Sony Computer Entertainment America Inc. Video game competition notifications
US20110107272A1 (en) * 2009-11-04 2011-05-05 Alpine Electronics, Inc. Method and apparatus for controlling and displaying contents in a user interface
CN102413229A (zh) * 2010-09-17 2012-04-11 Lg电子株式会社 移动终端及其控制方法
CN103105995A (zh) * 2011-11-14 2013-05-15 联想(北京)有限公司 显示方法和电子设备
US20130155116A1 (en) * 2011-12-20 2013-06-20 Nokia Corporation Method, apparatus and computer program product for providing multiple levels of interaction with a program
US8491369B2 (en) * 2006-04-05 2013-07-23 Grant F. Kowell Method and apparatus for playing a skill game
CN103562860A (zh) * 2011-05-27 2014-02-05 微软公司 作为沉浸式应用的桌面
CN103562861A (zh) * 2011-05-27 2014-02-05 微软公司 应用程序通知显示
CN103577479A (zh) * 2012-08-06 2014-02-12 腾讯科技(深圳)有限公司 网页内容显示方法及系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8678928B2 (en) * 2005-10-31 2014-03-25 At&T Intellectual Property I, L.P. System and method to deliver video games
US20070157105A1 (en) * 2006-01-04 2007-07-05 Stephen Owens Network user database for a sidebar
JP5358071B2 (ja) * 2007-07-04 2013-12-04 任天堂株式会社 ゲームプログラム、およびゲーム装置
US20090062007A1 (en) * 2007-08-31 2009-03-05 Big Fish Games, Inc. Injecting Content into Episodic Video Games
US8135392B2 (en) * 2008-06-06 2012-03-13 Apple Inc. Managing notification service connections and displaying icon badges
US9262071B2 (en) * 2009-03-16 2016-02-16 Microsoft Technology Licensing, Llc Direct manipulation of content
JP5749895B2 (ja) * 2010-04-05 2015-07-15 株式会社ソニー・コンピュータエンタテインメント ゲーム装置
US8458615B2 (en) * 2010-04-07 2013-06-04 Apple Inc. Device, method, and graphical user interface for managing folders
KR101729523B1 (ko) * 2010-12-21 2017-04-24 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US10417018B2 (en) * 2011-05-27 2019-09-17 Microsoft Technology Licensing, Llc Navigation of immersive and desktop shells
US20120304117A1 (en) * 2011-05-27 2012-11-29 Donahue Tyler J Application Notification Tags
US8893033B2 (en) * 2011-05-27 2014-11-18 Microsoft Corporation Application notifications
US8745540B2 (en) * 2012-04-13 2014-06-03 Apollo Education Group, Inc. Accordion style bread crumbing for mobile applications
US9495079B2 (en) * 2013-01-10 2016-11-15 Salesforce.Com, Inc. Persistent feeder component for displaying feed items received from information feeds of online social networks
WO2014157894A1 (en) * 2013-03-27 2014-10-02 Samsung Electronics Co., Ltd. Display apparatus displaying user interface and method of providing the user interface
CN103475784B (zh) * 2013-09-18 2016-03-30 广东欧珀移动通信有限公司 一种手机应用程序窗口模式显示和操作方法
US20150086180A1 (en) * 2013-09-22 2015-03-26 Yang Pan System and Method for Delivering Video Program in a Cloud

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8491369B2 (en) * 2006-04-05 2013-07-23 Grant F. Kowell Method and apparatus for playing a skill game
US20110092282A1 (en) * 2009-10-20 2011-04-21 Sony Computer Entertainment America Inc. Video game competition notifications
US20110107272A1 (en) * 2009-11-04 2011-05-05 Alpine Electronics, Inc. Method and apparatus for controlling and displaying contents in a user interface
CN102413229A (zh) * 2010-09-17 2012-04-11 Lg电子株式会社 移动终端及其控制方法
CN103562860A (zh) * 2011-05-27 2014-02-05 微软公司 作为沉浸式应用的桌面
CN103562861A (zh) * 2011-05-27 2014-02-05 微软公司 应用程序通知显示
CN103105995A (zh) * 2011-11-14 2013-05-15 联想(北京)有限公司 显示方法和电子设备
US20130155116A1 (en) * 2011-12-20 2013-06-20 Nokia Corporation Method, apparatus and computer program product for providing multiple levels of interaction with a program
CN103577479A (zh) * 2012-08-06 2014-02-12 腾讯科技(深圳)有限公司 网页内容显示方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111803938A (zh) * 2019-04-11 2020-10-23 网易(杭州)网络有限公司 游戏界面的处理方法、终端设备、电子设备及存储介质
CN111803938B (zh) * 2019-04-11 2024-06-04 网易(杭州)网络有限公司 游戏界面的处理方法、终端设备、电子设备及存储介质

Also Published As

Publication number Publication date
KR20160144445A (ko) 2016-12-16
WO2015154306A1 (en) 2015-10-15
EP3129868A1 (en) 2017-02-15
EP3129868A4 (en) 2017-06-14
US20150293888A1 (en) 2015-10-15

Similar Documents

Publication Publication Date Title
US20200012394A1 (en) Expandable Application Representation
CN105359074A (zh) 可扩展应用表示、活动水平和桌面表示
CN106104445A (zh) 可扩展应用表示和任务栏
EP3191941B1 (en) Parametric inertia and apis
US20170078621A1 (en) Facilitating personal assistance for curation of multimedia and generation of stories at computing devices
CN105378627A (zh) 可扩展应用表示和发送内容
CN106663032A (zh) 跨设备任务连续性
JP2022520094A (ja) インタフェース表示方法及びその装置、端末並びにコンピュータプログラム
CN102982016A (zh) 用于电子表格应用程序的快速分析工具
US11706485B2 (en) Display device and content recommendation method
CN107111496A (zh) 可定制刀片应用
US11567638B2 (en) Method, system, and non-transitory computer-readable record medium for providing reputation badge for video chat
JP2015529891A (ja) ユーザー介入なくレイアウトに従った画像識別及び編成
CN102929491A (zh) 跨窗口动画
US10579220B2 (en) Method and system for story development with a dynamic grid
TW201545042A (zh) 暫態使用者介面元素
CN105393203A (zh) 可扩展应用表示、节点和故事线
CN105518618A (zh) 配置成将针对视觉元素的输入路由到图形框架的输入对象
JP7196350B2 (ja) 動画配信方法および配信サーバ
JP6073324B2 (ja) コンピュータにより行われる処理方法
US20130325956A1 (en) Information-processing system, information-processing apparatus, information-processing method, and program
CN106462331A (zh) 命令表面钻入控制
JP7222140B2 (ja) プログラム、情報処理方法および端末
Dias Mobile Interface Design: Instant Places Mobile Application Case
Birani et al. IOS Game Programming Cookbook

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160309