CN105745603A - 采用交互式画中画的多任务处理体验 - Google Patents

采用交互式画中画的多任务处理体验 Download PDF

Info

Publication number
CN105745603A
CN105745603A CN201480060408.6A CN201480060408A CN105745603A CN 105745603 A CN105745603 A CN 105745603A CN 201480060408 A CN201480060408 A CN 201480060408A CN 105745603 A CN105745603 A CN 105745603A
Authority
CN
China
Prior art keywords
application
fritter
user
game
main screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480060408.6A
Other languages
English (en)
Inventor
J·E·邱吉尔
J·惠勒
J·瓦瑟
T·福勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105745603A publication Critical patent/CN105745603A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4221—Dedicated function buttons, e.g. for the control of an EPG, subtitles, aspect ratio, picture-in-picture or teletext
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

用户界面(“UI”)包括可在任意时间使用控制器上的单个按钮按压、使用“主页”姿势或使用“主页”语音命令从由应用、游戏、电影、电视和在计算平台(诸如多媒体控制台)上可用的其它内容所提供的任意体验中调出的经个性化的主屏幕。主屏幕特征化数个称为小块的表示控制台上可用的体验的被动态维护的视觉对象。应用可被“快照”到填充PIP的应用，使得被快照的应用渲染到被放置在针对经填充的应用的UI旁的单独的窗口内。用户界面被进一步适配使得用户可迅速地且容易地在主屏幕中的各小块之间切换焦点并在全屏中恢复体验。

Description

采用交互式画中画的多任务处理体验
背景
计算平台通常支持使得用户能够与平台进行交互的用户界面(“UI”)。计算平台(诸如多媒体控制台)已经演化来包括更多的特征和能力并提供对不断增加的娱乐、信息和通信选项的阵列的访问。结果，存在针对以下UI的需求：提供完整的特征和能力集，同时依然容易使用，使得用户能够充分利用他们的计算平台，同时维持令人满意且丰富的用户体验。
提供本背景来介绍以下概述和详细描述的简要上下文。本背景不旨在帮助确定所要求保护的主题的范围，也不旨在被看作将所要求保护的主题限于解决以上所提出的问题或缺点中的任一个或全部的实现。
概述
用户界面(“UI”)包括可在任意时间使用控制器上的单个按钮按压、使用“主页”姿势或使用“主页”语音命令从由应用、游戏、电影、电视和在计算平台(诸如多媒体控制台)上可用的其它内容所提供的任意体验中调出的经个性化的主屏幕。经个性化的主屏幕特征化数个称为小块的表示控制台上可用的体验的视觉对象。小块随着它们的底层应用运行被动态地维护在经个性化的主屏幕上。在较大的UI内，经个性化的主屏幕上的小块之一被配置为画中画(“PIP”)显示，其可被当前运行的应用的图形输出填充。其它小块显示到最近使用的和最喜爱应用的快捷方式。应用可被“快照”到填充PIP的应用，使得被快照的应用渲染到被放置在针对经填充的应用的UI旁的单独的窗口内。通过这种方式，用户可在经个性化的主屏幕中和全屏中两者采用被快照的和经填充的应用来容易地参与多任务处理体验。用户界面被进一步适配使得用户可迅速地且容易地在经个性化的主屏幕中的各小块之间切换焦点并在全屏中恢复体验。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。
附图简述
图1示出说明性计算环境，其中本采用交互式画中画(“PIP”)的多任务处理体验可被实现；
图2示出由在多媒体控制台上执行的主页应用支持的说明性特征；
图3-21示出支持本采用交互式PIP的多任务处理体验的交互式用户界面的各个说明性屏幕截图；
图22示出可被用于实现本采用交互式PIP的多任务处理体验的各方面的说明性分层软件体系结构；
图23是藉此可实现本采用交互式PIP的多任务处理体验的各方面的说明性方法的流程图；
图24示出可部分地被用于实现本采用交互式PIP的多任务处理体验的说明性计算平台的框图；
图25是可部分地被用于实现本采用交互式PIP的多任务处理体验的说明性计算机系统(诸如个人计算机(“PC”))的简化框图；
图26示出可部分地被用于实现本采用交互式PIP的多任务处理体验的说明性计算平台的框图；以及
图27示出可部分地被用于实现本采用交互式PIP的多任务处理体验的相机系统的功能框图。
各附图中相同的附图标记指示相同的元素。除非另外指明否则各元素不是按比例绘制的。
详细描述
图1示出说明性计算环境100，其中本采用交互式画中画(“PIP”)的多任务处理体验可被实现。娱乐服务102可通常通过诸如因特网114之类的网络向多媒体控制台112的用户110展示应用(“apps(应用)”)104、游戏106以及多媒体内容108(诸如电视节目和电影)。其它提供者103也可在环境100中，它们可提供各种其它服务，诸如通信服务、金融服务、旅行服务、新闻和信息服务等。
包括应用、游戏和/或媒体内容在内的本地内容116也可被利用和/或消费以在环境100中提供特定的用户体验。如图1中示出的，用户正在玩特定游戏标题118。游戏118可在多媒体控制台112上本地地执行、由娱乐服务102远程地托管、或在使用本地或联网内容/应用/游戏的某些情况中按需使用本地和远程执行的组合。游戏118也可以是具有其它计算设备的多个其它玩家120可参与的游戏。
用户110可通常使用各种不同的接口设备与多媒体控制台112进行交互，该各种不同的接口设备包括可被用于感测视觉命令、运动和姿势的相机系统122以及头戴组件124或其它类型的话筒或音频捕捉设备。在一些情况下，话筒和相机可被组合到单个设备中。用户也可利用控制器126(被示出在图1左下经放大的视图中)来与多媒体控制台112进行交互。控制器126可包括各种物理控件，包括操纵杆128和130、方向垫(“D-pad”)132、分别为“A”、“B”、“X”和“Y”的按钮134、136、138和140、菜单按钮142和视图按钮144。也提供了位于中间的按钮，在本申请中称为中心按钮146。一个或多个触发器和/或缓冲器(未示出)也可被合并到控制器126内。用户110还可通常与被显示在显示设备150(诸如电视机或监视器)上的用户界面148进行交互。
强调的是，控制器126中所使用的控件的数量以及控制器126中控件所支持的特征和功能可根据特定实现的需求而与图1中显示的不同。此外，在随后的描述中，描述了各种按钮按压和控件操纵。注意，这些动作旨在是说明性的。例如，用户可致动特定按钮或控件以提示在多媒体控制台112上操作的系统来执行特定功能或任务。可以理解，控件到功能的特定映射可根据特定实现的需要而与以下描述的不同。如本文中使用的，术语“系统”涵盖被实例化在多媒体控制台上的各种软件(包括软件操作系统(“OS”))、硬件和固件组件以及其支持由该控制台提供的各种用户体验的外围设备。
在这个说明性示例中，主页应用152在多媒体控制台112上执行。如图2中显示的，主页应用152被配置成在作为运行在多媒体控制台112上的系统的一部分操作时提供各种用户体验205。在一些情况下这些体验中的一些可同步地执行来实现多任务处理。用户体验205包括显示在UI148(图1)上的经个性化的主屏幕210。经个性化的主屏幕210可被安排为支持数个图形小块，该数个图形小块包括采用一个或多个交互式PIP的恢复小块215。到最近使用的应用/游戏220的快捷方式也可作为小块被包括在该经个性化的主屏幕210中。图钉(pin)225是用户可选择来包括在经个性化的主屏幕中的并且可一般性地表示例如到用户特别喜欢和/或用户最常使用的应用/游戏的快捷方式的小块。
经个性化的主屏幕中的小块可在一些实现中被配置为“实况”小块，使得它们就在该经个性化的主屏幕上显示或表示任意底层运行的应用/游戏的活动。例如，新闻应用可从该经个性化的主屏幕来显示新闻头条、体育比分等。在一些情况下，小块可被配置成使得能够通过用户与小块本身的交互来实现与底层应用的某种交互性。例如，小块可被配置成展示用户可访问的控件以改变在多媒体控制台上运行的底层音乐应用中的音轨或播放列表。
用户体验205还包括一键到主页体验230，其中用户110可按住控制器上的中心按钮146(图1)以在多媒体控制台112上的某一会话期间的任意时候来启动或返回到该经个性化的主屏幕。用户还可作出由相机系统122以及被实现在多媒体控制台112上的相关联的姿势识别系统捕捉的特定“主页”姿势，或说出语音命令(诸如“home(主页)”或其非英语语言同义词或其它单词或单词组合)来启动或返回到该经个性化的主屏幕。还支持焦点235从一个应用/游戏到另一个应用/游戏的简单且快速的切换。体验中上下文菜单240可被用户110调用以启动针对由给定应用或游戏的上下文所提供的用户体验所具体配置的菜单。一些应用/游戏可被快照到该经个性化的主屏幕中的PIP(被参考标记245指示的)。各种通知250也可被支持在该经个性化的主屏幕中。
用户体验205中的每一个在以下被更加详细地描述。
图3显示包括说明性的经个性化的主屏幕305的UI的屏幕截图300。强调的是，在这个示例中显示的特定经个性化的主屏幕旨在是说明性的并且在本采用交互式PIP的多任务处理体验的各实现中采用的主屏幕可根据特定需求与被内容、格式和布局所显示的不同。此外，在屏幕截图300以及之后的那些屏幕截图中，所显示的UI已经出于阐述清晰的目的被简化为黑白线条绘图。
图3中的经个性化的主屏幕305显示用户110当前正在消费被显示在大的恢复小块302中的电影，该恢复小块302作为更大的UI内的交互式PIP来实现。随着电影继续，恢复小块302被持续地刷新，使得用户110可在与被提供在该经个性化的主屏幕305上的对象中的其它对象进行交互的同时观看电影、使用走带控制(诸如快进、暂停、静音)、调出菜单以及变为全屏等等。在一些实现中，多于一个的PIP可被采用并且给定PIP可被实现在另一PIP内(即，PIP内的PIP)，并且用户110可与各个PIP中的每一个以及它们来自经个性化的主屏幕的体验进行交互和/或控制各个PIP中的每一个以及它们来自经个性化的主屏幕的体验。此外，给定PIP不必在一对一的基础上被映射到某一应用/游戏，使得它可被用于支持多个运行中的应用。在一些实现中，取代于表示来自运行中的应用/游戏的体验，PIP可被配置成表示用于启动应用/游戏的链接。例如，在多媒体控制台112的启动之际，PIP可被用于显示针对在该控制台被断电之前在恢复小块302中运行的最后的应用/游戏的启动小块。
在恢复小块302下是一行四个小块，在这个说明性示例中，该行四个小块表示最近使用的应用/游戏，本文中称为MRU小块304。被包括在MRU小块304中的具体应用/游戏可被预期随着用户110在会话过程期间启动和关闭应用/游戏来随着时间改变。MRU小块304还可在一些实现中被用于表示用于以下任一或两者的链接：启动它们相应的底层应用/游戏以及在后台运行的实况的当前执行的应用(在后台运行但被显示在MRU小块304中的应用的示例在以下伴随图21的文本中被提供)。当MRU小块在一些情况下表示当前执行的应用/游戏时，用户可与该小块进行交互以控制体验，诸如调出体验中菜单、暂停/恢复游戏或电影或调用某个其它特征。此外，MRU小块本身可被配置成支持运行中的应用/游戏可将体验渲染于其中的一个或多个PIP。
在这个说明性示例中，MRU小块304旁边是包括图钉306的若干行小块。图钉306可表示用户110最喜欢的和/或最经常使用的应用/游戏并被用作启动小块。典型地，系统和/或主页应用被配置成使得用户110能够挑选哪些应用/游戏作为图钉被包括在经个性化的主屏幕305上。替换地，系统或主页应用可自动地针对用户110来填充图钉中的一些或全部。例如，系统/主页应用可应用各种规则或试探法来确定哪些应用/游戏作为图钉被包括或在经个性化的主页305上填充图钉306中的小块时分析使用统计数据、用户表达的偏好、用户行为等。当某一图钉被用户选择并激活时，其底层的应用或游戏可被启动。此外，在一些实现中，图钉中的一个或多个可被配置成表示具有用户可控制性的(例如，体验控件、菜单等)当前执行的应用/游戏和/或实现一个或多个PIP，如以上描述的MRU小块一样。其它应用、游戏和其它内容可典型地从位于恢复小块302上的菜单栏308中浏览、选择和启动。
在这个说明性示例中，用户110采用了控制器126(图1)(例如通过操纵D-pad或操纵杆)来从图钉306中选择游戏小块310(在这个示例中，选择指示符是具有粗边框的矩形)。通过激活控制器上的按钮(例如，“A”按钮134)，游戏被启动(此处为拳击游戏)，其接着完全填充多媒体控制台所支持的UI，如图4中的屏幕截图400显示的。在一些实现中，游戏将从用户最后玩的地方重新开始。然而，可以预期，重新开始行为可根据应用而变化，并且其通常取决于应用/游戏开发者来决定特定应用/游戏在作为图钉被启动时将如何操作。例如，一些应用/游戏可从用户最后交互点处重新开始，而其它应用/游戏将从头开始或在另一点处开始。
图5是显示体验中上下文菜单505的示例的屏幕截图500，该菜单505可在图4中的屏幕截图400中显示的拳击游戏的游戏过程期间被用户110调出。例如，用户110可按下控制器126上的菜单按钮142以调用菜单505。在这个特定示例中，调用体验中菜单将暂停游戏过程并给予用户110若干个菜单选项，如显示的。在此，用户110用控制器选择了“重新开始”选项并可通过例如按下“A”按钮134来重新开始拳击游戏。如以上描述的图钉一样，由特定体验中菜单提供的选择、内容和行为通常与应用/游戏开发者的设计选择有关。由此，例如，某些多玩家游戏可能不支持通过体验中菜单的暂停特征。
如果用户110希望从图5中显示的经填充的游戏屏幕返回到经个性化的主屏幕，则用户可按下例如控制器126上的中心按钮146。如以上提到的，中心按钮146可被配置成在任意时间将用户从多媒体控制台的UI上的任一体验带回到经个性化的主屏幕。图6是显示在从图5中经填充的游戏屏幕返回到经个性化的主屏幕305之后的UI的屏幕截图600。现在，大的恢复小块302显示用户110刚刚离开的游戏体验(具有所显示的体验中菜单)。恢复小块的先前占用者，即，电影，向下移动到MRU小块304中的第一位置(即，如被附图标记605指示的最左边的位置)。在这个特定示例中，体验中菜单被升起并且游戏过程被暂停。典型地，如果用户在返回到经个性化的主屏幕305之前没有通过调用体验中菜单来暂停游戏过程，则游戏将好像它在全屏中那样继续运行，并且恢复小块会显示进行中的游戏过程。然而，在运行在恢复小块302中时所展现的特定行为可根据开发者的设计选择而随着应用变化。
如图6中显示的，用户110采用了控制器126来将选择指示符移动到恢复小块302。当用户按下例如控制器126上的“A”按钮134时，拳击游戏将接着恢复并完全地填充UI，如图7中的屏幕截图700中显示的。应用/游戏在恢复时的特定行为同样与开发者的设计选择有关并且可变化。在这个示例中，拳击游戏关闭了它的体验中菜单并恢复游戏过程。
图8是显示被用户110(图1)使用控制器126选择的“快照应用”按钮805的屏幕截图800。快照应用按钮805使得用户能够启动提供体验的应用/游戏，该体验与在恢复小块302中运行的任何事物同时地执行。该体验渲染到被定位(即，“被快照”)在经填充的应用的UI的一旁的窗口内，使得用户可通过与经填充的应用和被快照的应用两者进行交互来多任务处理。术语“经填充的应用”指代被配置成能够渲染到基本上UI的整个范围内的应用/游戏。期望的是，某些应用/游戏将仅被配置成作为经填充的应用来运行，而其它应用/游戏将仅被配置成作为被快照的应用来运行，而还有其它应用/游戏将被配置成作为被快照的或经填充的应用中的任一来运行。
当用户110选择快照应用按钮805并按下例如控制器126上的“A”按钮134时，快照应用菜单905在UI上打开，如图9中的屏幕截图900中显示的。如显示的，快照应用菜单905在可滚动电影胶片910中列出由应用和游戏提供的各种可快照的体验。在这个说明性的示例中，用户选择了针对标题为“HaloWaypoint”的应用915的图标。应用915是用作针对与特定游戏体验有关的内容和信息的中央位置的“中枢应用”的示例。当用户按下例如控制器126上的“A”按钮134时，应用915在UI上作为被快照的体验来启动，如图10中的屏幕截图1000中显示的。在此，被快照的应用915提供各种玩家统计数据/信息以及若干可使得用户110能够导航到将渲染到被快照的应用UI窗口内的各种体验的可选择的按钮(例如，“启动地图集”、“存储”以及“游戏”)。
图10显示来自被快照的应用915的被渲染到窗口内的体验，被快照的应用915被快照到经填充的应用(在该示例中为拳击游戏310)的左侧。在替换的实现中，被快照的应用可位于UI中的其它地方。被快照的应用915和经填充的应用两者同时运行，使得拳击游戏中的游戏过程继续，同时中枢应用为用户提供其自己的交互式体验。与针对经填充的应用的体验中菜单一样，如果用户按下控制器126上的菜单按钮142，则具有针对被快照的应用915的特定上下文的体验中菜单(图10中未显示)被调出。
如果此时用户110使用中心按钮146来返回到经个性化的主屏幕，则恢复小块302被分解为两个更小的子小块1105和1110，如图11中的屏幕截图1100中显示的。通过在恢复小块中提供两个子小块，用户110可简单且迅速地在被快照的中枢应用和拳击游戏所提供的体验之间切换焦点。具有焦点的应用/游戏通常是来自系统的用户输入的目标，用户输入诸如控制器事件以及与运动－捕捉/姿势－识别和语音命令相关联的事件。
如图11中显示的，用户110采用了控制器126来将选择指示符移动到恢复小块302中较大的子小块1110。当用户按下例如控制器126上的“A”134按钮时，拳击比赛310将接着恢复(如图12中的屏幕截图1200中显示的)并接收焦点。除了从经个性化的主屏幕切换焦点之外，系统和/或主页应用152可被配置成使得中心按钮146可被双次轻击来在经填充的和被快照的应用之间切换焦点，而无需首先去往经个性化的主屏幕。
如图13中的屏幕截图1300中显示的，当waypoint应用915在经个性化的主屏幕中被快照时，快照应用按钮805(图8)被“关闭快照”按钮1305替换。在此，用户110采用了控制器126来将选择指示符移动到关闭快照按钮1305。当用户按下例如控制器126上的“A”按钮134时，被快照的应用915关闭并且该体验从恢复小块中移除，如图14中的屏幕截图1400中显示的。注意的是，取决于开发者设计选择，术语“关闭”针对不同的应用/游戏可表示不同的意思。在一些情况下，即使某一应用/游戏没有作为经个性化的主屏幕中的被快照的或经填充的应用被活动地渲染到UI内，该应用/游戏可依然运行在后台中。这种后台行为的一个示例在以下伴随图21的文本中被呈现。
如图14中显示的，先前被快照的应用915移动到恢复小块302下的该行MRU小块304中的第一位置。装饰1405(被显示在放大的视图中)被提供在第一MRU小块中以指示当被恢复时该应用将采取的视觉状态。在这个情况下，应用915在被重新启动时将恢复为被快照的应用(例如，在用户110选择MRU小块并按下例如控制器126上的“A”按钮134时)，如在图15的屏幕截图1500中显示的。
图15还显示了被显示在拳击游戏310的UI上的通知1505的说明性示例。在一些实现中，通知可提供关于其的某些初始信息。在这个示例中，通知1505显示有一个来自VoIP(网际协议语音)服务(例如，由提供者103(图1)提供的)上的呼叫者的传入呼叫。用户110可通过按下例如控制器126上的中心按钮146来与通知1505进行交互。取代于像往常一样去往经个性化的主页，在此，中心按钮按压将使得用户110去往通知中心1605，如图16中的屏幕截图1600中显示的。通知中心1605显示针对活动通知1615的数个选项(如被附图标记1610指示的)以及使得用户110能够取得关于可能已经被错过的通知1620的信息。对通知进行响应可使得用户根据应用/游戏设计去往经填充的或被快照的体验。
在这个示例中，用户110定位了选择指示符并按下了例如控制器126上的“A”按钮134来应答呼叫。这个动作调用用于启动VoIP应用1705的链接，该VoIP应用1705替换UI上的拳击游戏，如在图17的屏幕截图1700中显示的。用户110可接着通过与VoIP应用1705的交互来参与呼叫。
如果用户按下例如控制器126上的中心按钮146，则个性化的主屏幕再次被调出在UI上，如图18中的屏幕截图1800中显示的。如以上提到的，当用户按下例如控制器126上的菜单按钮142时，菜单将被显示。所显示的菜单将取决于用户刚好在UI中的哪个小块上。在这个示例中，VoIP应用1705被选择，所以具有针对VoIP应用的上下文的体验中菜单1905被显示在UI上，如图19中的屏幕截图1900中显示的。
在这个示例中，体验中菜单1905提供与呼叫进行交互的若干种方式，包括静音、结束、快照、打上图钉以及取得呼叫细节。如显示的，用户110选择了“快照”。当例如“A”按钮被按下时，VoIP应用1705作为将其体验渲染到更小的PIP2005内的被快照的应用被呈现在UI的一侧(在这个示例中，在左侧)，并且运行的先前应用(即，拳击游戏310)变为经填充的应用，如图20中的屏幕截图2000中显示的。注意，当某一应用被设计成支持被快照的和经填充的配置两者时，用于快照某一应用的选项通常仅作为菜单选择来被提供。
如果用户110在此时使用中心按钮146来回到经个性化的主屏幕并使用如以上描述的关闭快照按钮1305来选择关闭被快照的应用，则被快照的VoIP应用1705关闭并且移动到恢复小块302下的一行MRU小块304中的第一位置。这个行为被显示在图21的屏幕截图2100中。如以上提到的，术语“关闭”针对不同的应用/游戏可表示不同的意思。在这个示例中，VoIP应用1705在被关闭后继续运行并且将继续传送视频和音频，即使VoIP应用不再是UI上可见的体验的部分。具有通信特征的其它应用/游戏可被设计来在一些情况下展现类似的后台操作行为。装饰2105(被显示在放大的视图中)被提供在第一MRU小块中以指示VoIP应用1705依然活动。
系统可被配置成当经个性化的主屏幕被显示时向当前运行的应用/游戏告知各个PIP中的哪些正被采用来支持它们的体验。通过该方式，每个运行中的应用/游戏具有取决于其渲染到哪个PIP内来调整其体验的选项。例如如图21中显示的，VoIP应用1705在被置于该行MRU小块304中时可被配置成启动小块。然而，VoIP应用也可在一些实现中被配置成渲染到在MRU上被支持的另一PIP内(未显示)。VoIP应用可例如显示小块中的实况视频(被缩放，但在其它方面与被渲染到恢复小块内时相同)、显示呼叫的经过时间的计时器、可调用的交互式菜单等。
虽然一些应用和游戏可以相同方式将它们的普通体验渲染到所有小块内，但是其它应用和游戏可基于当前被显示的PIP的大小、位置和数量和/或被用在给定经个性化的主屏幕上的其它准则来改变它们渲染它们的体验的方式。例如，如果渲染到实况小块上(例如，在MRU小块或图钉上)相对小的PIP内，则相较于在某一应用具有较大的PIP可一起工作(诸如与恢复小块302或与被快照的体验中的PIP一起工作)时其可渲染的内容，该应用可选择简化或修改被渲染的内容。替换地，如果例如某一小块不特别适合于或适宜于普通输出或作为开发者的设计选择的结果，应用可选择渲染与其普通输出不同的事物，诸如广告、被设计成抓住用户注意力的吸引屏幕或其它对象。
图22显示可被用于实现本采用交互式PIP的多任务处理体验的各方面的说明性分层软件体系结构2200。软件体系结构2200可被适配于供运行在多媒体控制台112(图1)上的系统以及在其它计算平台和设备上操作的类似系统使用。基于XAML的UI层2205提供在经个性化的主屏幕被绘制到UI内时可被主页应用152访问的XAML(可扩展应用标记语言)方法和例程库。系统还展示API(应用编程接口)层2210，其包括使得应用/游戏能够在往返经个性化的主屏幕的过渡期间被渲染的动画API2215。在一些实现中还可使用其它系统组件2220来促进本文中描述的各个特征和功能。例如，可以理解，基于XAML的UI层可被构建在层2220中的各个子系统(诸如DirectX渲染器层)之上。
图23是藉此可实现本采用交互式PIP的多任务处理体验的各个方面的说明性方法2300的流程图。除非明确说明，否则流程图中所示并且在下面描述的方法或步骤不限于特定的次序或序列。此外，一些方法或其步骤可同时发生或被执行，并且取决于给定实现的要求，在这一实现中不是所有方法或步骤均需要被执行。还可以可任选地使用一些方法或步骤。
在步骤2305，用户110(图1)点击控制器126上的中心按钮146，或替换地，作出被多媒体控制台102上的姿势识别系统识别为“主页”姿势的姿势，说出诸如“主页”之类的语音命令，来创建指令系统打开用户的经个性化的主屏幕的用户输入事件。在步骤2310，响应于用户输入事件，系统将打开经个性化的主页。在步骤2315，系统向主页应用512(图1)展示包括所有运行中的应用/游戏的系统的状态。在步骤2320，基于XAML的UI库被展示，使得主页应用152可使用由应用/游戏提供的直接成分(“DComp”)表面来绘制。在步骤2325，系统还向主页应用展示动画API2215(图22)，使得它可渲染往返经个性化的主屏幕的应用/游戏过渡。由此，主页应用可重定向来自运行中的应用/游戏的视频输出并按需操纵其来适合经个性化的主屏幕上的空间。例如，这样的操纵可包括缩放、调整大小、重新定位等。
图24是图1所示的多媒体控制台112的说明性的功能框图。多媒体控制台112包括具有1级高速缓存2402、2级高速缓存2404和闪存ROM(只读存储器)2406的中央处理单元(CPU)2401。1级高速缓存2402和2级高速缓存2404临时存储数据，并且因此减少存储器访问周期的数量，由此改进处理速度和吞吐量。CPU2401可被配置为具有一个以上的核，并且由此具有附加的1级高速缓存2402和2级高速缓存2404。闪存ROM2406可存储在多媒体控制台112通电时引导过程的初始阶段期间加载的可执行代码。
图形处理单元(GPU)2408和视频编码器/视频编解码器(编码器/解码器)2414形成用于高速和高分辨率图形处理的视频处理流水线。经由总线从GPU2408向视频编码器/视频编解码器2414运送数据。视频处理流水线向A/V(音频/视频)端口2440输出数据，用于传输至电视机或其他显示器。存储器控制器2410连接到GPU2408，以便于处理器对各种类型的存储器2412(诸如，但不限于RAM)的访问。
多媒体控制台112包括较佳地在模块2418上实现的I/O控制器2420、系统管理控制器2422、音频处理单元2423、网络接口控制器2424、第一USB(通用串行总线)主控制器2426、第二USB控制器2428和前面板I/O子部件2430。USB控制器2426和2428用作外围控制器2442(1)和2442(2)、无线适配器2448、以及外置存储器设备2446(例如，闪存、外置CD/DVDROM驱动器、可移动介质等)的主机。网络接口控制器2424和/或无线适配器2448提供对网络(例如，因特网、家庭网络等)的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中的任何一种。
系统存储器2443被提供来存储在引导过程期间加载的应用数据。提供媒体驱动器2444，且其可包括DVD/CD驱动器、硬盘驱动器、或其他可移动媒体驱动器等。媒体驱动器2444可以是对多媒体控制台112内置的或外置的。应用数据可经由媒体驱动器2444访问，以供多媒体控制台112执行、回放等。媒体驱动器2444经由诸如串行ATA总线或其他高速连接(例如IEEE1394)等总线连接到I/O控制器2420。
系统管理控制器2422提供与确保多媒体控制台112的可用性相关的各种服务功能。音频处理单元2423和音频编解码器2432形成具有高保真度和立体声处理的相应音频处理流水线。音频数据经由通信链路在音频处理单元2423与音频编解码器2432之间传输。音频处理流水线将数据输出到A/V端口2440，以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件2430支持暴露在多媒体控制台112的外表面上的电源按钮2450和弹出按钮2452、以及任何LED(发光二极管)或其他指示器的功能。系统供电模块2436向多媒体控制台112的组件供电。风扇2438冷却多媒体控制台112内的电路。
多媒体控制台112内的CPU2401、GPU2408、存储器控制器2410、以及各种其他组件经由一条或多条总线互连，总线包括串行和并行总线、存储器总线、外围总线、以及使用各种总线架构中的任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。
当多媒体控制台112通电时，应用数据可从系统存储器2443加载到存储器2412和/或高速缓存2402和2404中，并且可在CPU2401上执行。应用可在导航到多媒体控制台112上可用的不同媒体类型时呈现提供一致用户体验的图形用户界面。在操作中，媒体驱动器2444中所包含的应用和/或其他媒体可从媒体驱动器2444启动或播放，以将附加功能提供给多媒体控制台112。
多媒体控制台112可通过简单地将该系统连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台112允许一个或多个用户与该系统交互、看电影、或听音乐。然而，在通过网络接口控制器2424或无线适配器2448可用的宽带连接集成的情况下，多媒体控制台112可进一步作为更大网络社区中的参与者来操作。
当多媒体控制台112通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括存储器的保留量(诸如，16MB)、CPU和GPU周期的保留量(诸如，5％)、网络带宽的保留量(诸如，8kbs)，等等。因为这些资源是在系统引导时间保留的，所保留的资源对于应用视角而言是不存在的。
具体地，存储器保留较佳地足够大，以包含启动内核、并发系统应用程序和驱动程序。CPU保留量优选地为恒定，以使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，显示由系统应用程序生成的轻量消息(例如，弹出窗口)，所述显示是通过使用GPU中断来调度代码以将弹出窗口呈现为覆盖图。覆盖图所需要的存储器量取决于覆盖区域大小，并且覆盖图优选地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。缩放器可用于设置该分辨率，从而消除对改变频率并引起TV重新同步的需求。
在多媒体控制台112引导且系统资源被保留之后，执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源内执行的一组系统应用中。操作系统内核标识出作为系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU2401上运行，以便提供对应用而言一致的系统资源视图。调度是为了使针对在控制台上运行的游戏应用的高速缓存中断最小化。
当并发系统应用需要音频时，由于时间敏感性而将音频处理异步地调度给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。
输入设备(例如，控制器2442(1)和2442(2))由游戏应用和系统应用共享。输入设备不是保留的资源，而是要在系统应用和游戏应用之间被切换以使其各自将具有设备的焦点。应用管理器优选控制输入流的切换，而无需知道游戏应用的知识，并且驱动器维护关于焦点切换的状态信息。
图25是可用来实现本采用交互式PIP的多任务处理体验的诸如PC、客户端设备或服务器之类的说明性计算机系统2500的简化框图。计算机系统2500包括处理单元2505、系统存储器2511以及将包括系统存储器2511的各种系统组件耦合至处理单元2505的系统总线2514。系统总线2514可以是若干类型的总线结构中的任一种，包括存储器总线或存储器控制器、外围总线和使用各种总线架构中的任一种的局部总线。系统存储器2511包括只读存储器(“ROM”)2517和随机存取存储器(“RAM”)2521。基本输入/输出系统(“BIOS”)2525被存储在ROM2517中，该基本输入/输出系统2525包含了诸如在启动期间帮助在计算机系统2500内的元件之间传输信息的基本例程。计算机系统2500还可包括对内置硬盘(未示出)读写的硬盘驱动器2528、对可移动磁盘2533(例如，软盘)读写的磁盘驱动器2530、以及对诸如CD(压缩盘)、DVD(数字多功能盘)或其它光学介质等可移动光盘2543读写的光盘驱动器2538。硬盘驱动器2528、磁盘驱动器2530，以及光盘驱动器2538分别通过硬盘驱动器接口2546、磁盘驱动器接口2549，以及光盘驱动器接口2552连接到系统总线2514。驱动器及其相关联的计算机可读存储介质为计算机系统2500提供了对计算机可读指令、数据结构、程序模块，及其他数据的非易失性存储。虽然这个说明性的示例显示硬盘、可移动磁盘2533以及可移动光盘2543，但是其它类型的可存储可被诸如磁带盒、闪存卡、数字视频卡、数据磁带、随机存取存储器(“RAM”)、只读存储器(“ROM”)等访问的数据的计算机可读存储介质也可在本采用交互式PIP的多任务处理体验的一些应用中使用。此外，如在此使用的，术语计算机可读存储介质包括媒体类型的一个或多个实例(例如，一个或多个磁盘、一个或多个CD等)。出于本说明书和权利要求书的目的，短语“计算机可读存储介质”及其变型不包括波、信号和/或其他瞬态和/或无形通信介质。
可以有若干个程序模块存储在硬盘、磁盘2533、光盘2543、ROM2517，或RAM2521上，包括操作系统2555、一个或多个应用程序2557、其他程序模块2560、以及程序数据2563。用户可通过诸如键盘2566和如鼠标等定点设备2568等的输入设备向计算机系统2500中输入命令和信息。其它输入设备(未显示)可包括话筒、操纵杆、游戏垫、圆盘式卫星天线、扫描仪、跟踪球、触摸垫、触摸屏、触敏模块或设备、手势识别模块或设备、语音识别模块或设备、语音命令模块或设备等。这些和其它输入设备通常由耦合至系统总线2514的串行端口接口2571连接至处理单元2505，但也可以由其它接口，诸如并行端口、游戏端口或USB连接。监视器2573或其他类型的显示设备也可以通过诸如视频适配器2575之类的接口，连接到系统总线2514。除监视器2573以外，个人计算机通常包括如扬声器和打印机等其它外围输出设备(未示出)。图25中显示的说明性示例还包括主机适配器2578、小型计算机系统接口(“SCSI”)总线2583以及连接到SCSI总线2583的外置存储设备2576。
计算机系统2500可使用到诸如远程计算机2588等一个或多个远程计算机的逻辑连接在联网环境中操作。远程计算机2588可以被选为另一台个人计算机、服务器、路由器、网络PC、对等设备或其它公共网络节点，并通常包括以上对计算机系统2500描述的许多或所有元件，虽然在图25中只示出单个代表性远程存储器/存储设备2590。图25中所描绘的逻辑连接包括局域网(“LAN”)2593和广域网(“WAN”)2595。此类联网环境通常被部署在例如办公室、企业范围的计算机网络、内联网和因特网中。
当在LAN联网环境中使用时，计算机系统2500通过网络接口或适配器2596连接到局域网2593。当在WAN联网环境中使用时，计算机系统2500通常包括宽带调制解调器2598、网络网关或用于通过诸如因特网等广域网2595建立通信的其它装置。或为内置或为外置的宽带调制解调器2598经由串行端口接口2571连接到系统总线2514。在联网环境中，与计算机系统2500有关的程序模块或其部分可被储存在远程存储器存储设备2590中。注意，图25中显示的网络连接是说明性的，并且取决于采用交互式PIP的多任务处理体验的应用的具体要求，用于建立计算机之间的通信链路的其它手段可被使用。允许除媒体控制台112以外的其他类型的计算平台来在一些应用中实现本采用交互式PIP的多任务处理体验可能是合乎需要和/或有利的。
图26示出能够执行此处描述的各种组件来采用交互式PIP的多任务处理体验的计算平台或设备的说明性架构2600。因此，由图26例示出的架构2600示出如下架构：该架构可被适配成用于服务器计算机、移动电话、PDA(个人数字助理)、智能手机、台式计算机、上网本计算机、平板计算机、GPS(全球定位系统)设备、游戏控制台和/或膝上型计算机。架构2600可用于执行本文所呈现的组件的任何方面。
图26中例示的架构2600包括CPU2602、系统存储器2604(包括RAM2606和ROM2608)以及将存储器2604耦合至CPU2602的系统总线2610。基本输入/输出系统被存储在ROM2608中，该系统包含帮助诸如在启动期间在架构2600中的元件之间传递信息的基本例程。架构2600还包括用于存储被用于实现应用、文件系统和操作系统的软件代码或其它被计算机执行的代码的大容量存储设备2612。
大容量存储设备2612通过连接至总线2610的大容量存储控制器(未示出)连接至CPU2602。大容量存储设备2612及其相关联的计算机可读存储介质为架构2600提供非易失性的存储。虽然对此处包含的计算机可读存储介质的描述引用了诸如硬盘或CD-ROM驱动等大容量存储设备，但本领域的技术人员应当理解，计算机可读介质可以是可由架构2600访问的任何可用的计算机存储介质。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。例如，计算机可读存储介质包括，但不限于，RAM、ROM、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、闪存或其他固态存储器技术，CD-ROM、DVD、HD-DVD(高清晰度DVD)、蓝光或其他光学存储，磁带盒、磁带、磁盘存储或其他磁存储设备，或可以用来存储所需信息并可由架构2600访问的任何其他介质。
根据各实施例，架构2600可以使用通过网络至远程计算机的逻辑连接在联网环境中操作。架构2600可以通过连接至总线2610的网络接口单元2616来连接到网络。应当理解，网络接口单元2616还可以被用来连接到其他类型的网络和远程计算机系统。架构2600还可以包括用于接收和处理来自数个其他设备的输入的输入/输出控制器2618，这些设备包括键盘、鼠标或者电子指示笔(未在图26中示出)。类似地，输入/输出控制器2618可向显示屏、打印机、或者其他类型的输出设备(在图26中也未示出)提供输出。
应当理解，本文所描述的软件组件在被加载到CPU2602中并被执行时可以将CPU2602和总体架构2600从通用计算系统变换成为方便本文所提出的功能而定制的专用计算系统。CPU2602可以用任意数量的晶体管或其他分立的电路元件(它们可以分别地或共同地呈现任意数量的状态)构建。更具体而言，CPU2602可以响应于包含在本文所公开的软件模块中的可执行指令而作为有限状态机来操作。这些计算机可执行指令可以通过指定CPU2602如何在各状态之间转换来变换CPU2602，由此变换了构成CPU2602的晶体管或其它分立硬件元件。
对本文所提出的软件模块的编码也可变换本文所提出的计算机可读存储介质的物理结构。在本说明书的不同实现中，物理结构的具体变换可取决于各种因素。这样的因素的示例可以包括，但不仅限于：用于实现计算机可读存储介质的技术、计算机可读存储介质被表征为主存储器还是辅存储器等等。例如，如果计算机可读存储介质被实现为基于半导体的存储器，则本文所公开的软件可以通过变换半导体存储器的物理状态而在计算机可读存储介质上编码。例如，软件可以变换构成半导体存储器的晶体管、电容器或其它分立电路元件的状态。软件还可变换这些组件的物理状态以在其上存储数据。
作为另一示例，本文所公开的计算机可读存储介质可以使用磁或光技术来实现。在这些实现中，本文所提出的软件可以在磁或光介质中编码了软件时变换所述磁或光介质的物理状态。这些变换可以包括改变给定磁性介质内的特定位置的磁性。这些变换还可以包括改变给定光学介质内的特定位置的物理特征或特性来改变这些位置的光学特性。在没有偏离本说明书的范围和精神的情况下，物理介质的其他变换也是可以的，前面提供的示例只是为了便于此讨论。
鉴于以上内容，应当理解，在架构2600中发生许多类型的物理变换以便存储并执行本文所提出的软件组件。还应当理解，架构2600可以包括其它类型的计算设备，包括：手持式计算机、嵌入式计算机系统、智能手机、PDA、以及本领域技术人员已知的其它类型的计算设备。还可构想架构2600可以不包括图26所示的全部组件，可以包括未在图26中明确示出的其它组件，或者可利用完全不同于图26所示的架构。
图27示出相机系统122的说明性功能组件，相机系统122的功能性组件可作为目标识别、分析和跟踪系统2700的一部分用于识别被相机系统监视的物理空间的捕捉区域中的人类和非人类目标而无需使用附加到这些主体的专门感测设备，唯一地标识人类和非人类目标，以及在三维空间跟踪人类和非人类目标。相机系统122可被配置成经由任何合适的技术(包括例如飞行时间、结构化光、立体图像等)来捕捉具有深度信息的视频，包括可包括深度值的深度图像。在一些实施例中，相机系统122可将所计算的深度信息组织为“Z层”，即可垂直于从深度相机沿其视线延伸的Z轴的层。
如图27所示，相机系统122包括图像相机组件2705。图像相机组件2705可被配置成用作可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2D)像素区域，其中2D像素区域中的每个像素都可以表示深度值，诸如所捕捉的场景中的对象与相机相距的距离，例如以厘米、毫米等为单位。在此例中，图像相机组件2705包括可被配置在阵列中(如显示的)或被配置在替换几何形状中的IR光组件2710、IR相机2715和可见光RGB相机2720。
可利用各种技术来捕捉深度视频帧。例如，在飞行时间分析中，相机系统122的IR光组件2710可以将红外光发射到捕捉区域上，并且然后用例如IR相机2715和/或RGB相机2720来检测从捕捉区域中的一个或多个目标和对象的表面反向散射的光。在某些实施例中，可以使用脉冲式红外光从而可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从相机系统122到捕捉区域中的目标或物体上的特定位置的物理距离。此外，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或对象上的特定位置的物理距离。可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度以间接地确定从相机设备122到目标或物体上的特定位置的物理距离。
在其他实现中，相机系统122可使用结构化光来捕捉深度信息。在该分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件2710被投射到捕捉区域上。在撞击到捕捉区域中的一个或多个目标或对象的表面时，作为响应，图案可变形。图案的这种变形可由例如IR相机2715和/或RGB相机2720来捕捉，然后可被分析来确定从捕捉设备到目标或对象上的特定位置的物理距离。
相机系统122可利用两个或更多物理上分开的相机，这些相机可从不同角度查看场景以获得视觉立体数据，该视觉立体数据可被解析以生成深度信息。使用单个或多个相机的其它类型的深度图像布置也可用来创建深度图像。相机系统122还可包括话筒2725。话筒2725可包括可接收声音并将其转换成电信号的换能器或传感器。话筒2725可以被用来减少目标识别、分析及跟踪系统2700中的相机系统122和多媒体控制台112之间的反馈。附加地，话筒2725可用来接收也可由用户110提供的音频信号，以控制可由多媒体控制台112执行的诸如游戏应用、非游戏应用等应用。
相机系统122还可包括可以通过总线2740与图像相机组件2705可操作地通信的处理器2730。处理器2730可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于存储简档的指令、用于接收深度图像的指令、用于确定合适的目标是否被包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。相机系统122还可以包括存储器组件2740，该存储器组件2740可以存储可以由处理器2730执行的指令、由相机捕捉到的图像或图像的帧、用户简档或任何其他合适的信息、图像等。根据一个示例，存储器组件2740可包括RAM、ROM、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图27所示，存储器组件2740可以是与图像捕捉组件2705和处理器2730进行通信的单独组件。替代地，存储器组件2740可被集成到处理器2730和/或图像捕捉组件2705中。在一个实施例中，捕捉设备122的组件2705、2710、2715、2720、2725、2730、2735和2740中的部分或全部位于单个外壳中。
相机系统122通过通信链路2745可操作地与多媒体控制台112进行通信。通信链路2745可以是包括例如USB(通用串行总线)连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线IEEE802.11连接等的无线连接。多媒体控制台112可以经由通信链路2745向相机系统122提供时钟，该时钟可以用来确定何时捕捉例如场景。相机系统122可经由通信链路2745来向多媒体控制台112提供由例如IR相机2715和/或RGB相机2720捕捉的深度信息和图像，包括可由相机系统122生成的骨架模型和/或面部跟踪模型。多媒体控制台112然后可使用骨架和/或面部跟踪模型、深度信息和所捕捉的图像来例如创建虚拟屏幕、适配用户界面、以及控制应用/游戏2750。
运动跟踪引擎2755使用骨架和/或面部跟踪模型以及深度信息来向在相机系统112所耦合至的多媒体控制台122上运行的一个多个应用/游戏2750提供控制输出。姿势识别引擎2760、深度图像处理引擎2765和/或操作系统2770也可使用该信息。
深度图像处理引擎2765使用深度图像来跟踪诸如用户和其他对象等对象的运动。深度图像处理引擎2765通常会将检测到的每个对象的标识以及每帧的对象的位置报告给操作系统2770。操作系统2770可使用该信息来更新例如化身或显示器150上示出的其他图像的位置或移动，或对用户界面执行动作。
姿势识别引擎2760可利用可包括姿势过滤器集合的姿势库(未示出)，每个姿势过滤器都包含关于例如由骨架模型(在用户移动时)可执行的姿势的信息。姿势识别引擎2760可将由相机系统112所捕捉的帧(其形式为骨架模型以及与其相关联的移动)与姿势库中的姿势过滤器进行比较来标识用户(其由骨架模型来表示)何时执行了一个或多个姿势。这些姿势可与应用的各个控制相关联并引导系统打开如以上描述的经个性化的主屏幕。这样，多媒体控制台112可采用姿势库来解释骨架模型的移动并基于该移动来控制在多媒体控制台上运行的操作系统或应用。
在一些实现中，由应用/游戏2750、运动跟踪引擎2755、姿势识别引擎2760、深度图像处理引擎2765和/或操作系统2770所提供的功能的各种方面可直接在相机系统122本身上实现。
基于上述内容，应当领会，本文已经公开了用于采用交互式PIP的多任务处理体验的技术。虽然用计算机结构特征、方法和变换动作、特定计算机器、以及计算机可读存储介质专用的语言描述了本文中所描述的主题，但是应当理解，所附权利要求书中所定义的本发明不必限于本文中所描述的具体特征、动作、或介质。相反，这些具体特征、动作和介质是作为实现权利要求的示例形式来公开的。
以上所述的主题仅作为说明提供，并且不应被解释为限制。可对本文中所描述的主题作出各种修改和改变，而不必遵循示出和描述的示例实施例和应用且不背离所附权利要求书中所阐述的本发明的真正精神和范围。

Claims (10)

1.一种在多媒体控制台中的方法，包括：
接收来自输入设备的用于导航到被显示在被支持在所述多媒体控制台上的用户界面(“UI”)上的主屏幕的用户输入事件，所接收的用户输入事件包括多媒体控制台控制器上的控件操纵、被姿势识别系统识别的姿势、或语音命令之一；
响应于所接收的用户输入来打开所述主屏幕，所述主屏幕包括多个图形小块，每个图形小块表示当对应的图形小块被选择时能在所述多媒体控制台上执行的相应应用，所述多个图形小块中的一个被适配为所述UI内的画中画(“PIP”)；
接收描述当前运行在所述多媒体控制台上的应用的系统状态；
使用所接收的状态信息来动态地渲染包括所述多个图形小块和所述PIP的所述主屏幕；以及
响应于来自所述输入设备的用户输入事件，在图形小块之间切换焦点，其中在所述UI处接收到的用户输入事件针对与具有焦点的图形小块相关联的应用。
2.如权利要求1所述的方法，其特征在于，还包括将所述PIP配置为比被包括在所述主屏幕上的其它图像小块相对更大的步骤。
3.如权利要求1所述的方法，其特征在于，还包括使得用户能够选择应用以作为所述主屏幕上的图钉来包括的步骤，所述图钉包括与用户所选的应用相关联的图形小块并且所述图钉被显示为被包括在所述主屏幕上的所述多个图形小块中的一些或全部。
4.如权利要求1所述的方法，其特征在于，还包括重定向由一应用产生的视频输出使得所述视频输出能被操控以在所述主屏幕上使用的步骤，所述操纵包括缩放、重新定位或重新调整大小之一。
5.如权利要求1所述的方法，其特征在于，所述控件操纵包括单个按钮按压。
6.如权利要求1所述的方法，其特征在于，“主页(home)”或其非英语语言同义词作为单词被包括在所述语音命令中。
7.如权利要求1所述的方法，其特征在于，还包括使得所述UI能够进入全屏来渲染与所选的图形小块相关联的应用的视频输出的步骤。
8.如权利要求7所述的方法，其特征在于，还包括提供列出一个或多个可快照的应用的被快照的应用菜单的步骤，可快照的应用具有当被快照时被渲染到所述PIP小块的一部分内的UI。
9.如权利要求8所述的方法，其特征在于，还包括与当前正在执行的应用的图形输出同时地将被快照的应用的图形输出渲染到所述全屏内。
10.如权利要求9所述的方法，其特征在于，还包括显示体验中菜单，所述体验中菜单在上下文上可应用到所述当前正在执行的应用或所述被快照的应用。
CN201480060408.6A 2013-11-04 2014-11-04 采用交互式画中画的多任务处理体验 Pending CN105745603A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/071,535 US20150128042A1 (en) 2013-11-04 2013-11-04 Multitasking experiences with interactive picture-in-picture
US14/071,535 2013-11-04
PCT/US2014/063764 WO2015066658A1 (en) 2013-11-04 2014-11-04 Multitasking experiences with interactive picture-in-picture

Publications (1)

Publication Number Publication Date
CN105745603A true CN105745603A (zh) 2016-07-06

Family

ID=52004048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480060408.6A Pending CN105745603A (zh) 2013-11-04 2014-11-04 采用交互式画中画的多任务处理体验

Country Status (4)

Country Link
US (1) US20150128042A1 (zh)
EP (1) EP3066542A1 (zh)
CN (1) CN105745603A (zh)
WO (1) WO2015066658A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108235091A (zh) * 2018-01-25 2018-06-29 青岛海信电器股份有限公司 智能电视以及基于显示设备中访问主页应用上内容的方法
CN108920089A (zh) * 2018-07-19 2018-11-30 斑马音乐文化科技（深圳）有限公司 点歌播放显示方法、装置、点唱设备和存储介质
CN109218768A (zh) * 2018-09-21 2019-01-15 青岛海信电器股份有限公司 一种内容服务的图形用户界面显示方法及显示终端
CN109413477A (zh) * 2018-09-21 2019-03-01 青岛海信电器股份有限公司 用于显示终端中历史内容服务的显示方法及装置
CN109743517A (zh) * 2019-01-21 2019-05-10 合肥惠科金扬科技有限公司 一种显示模式设置方法、显示器及终端设备

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD760767S1 (en) * 2012-10-12 2016-07-05 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US20140331135A1 (en) * 2013-01-04 2014-11-06 SookBox LLC Digital content connectivity and control via a plurality of controllers that are treated as a single controller
USD781869S1 (en) 2013-08-01 2017-03-21 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD757028S1 (en) * 2013-08-01 2016-05-24 Palantir Technologies Inc. Display screen or portion thereof with graphical user interface
AU355184S (en) 2013-08-01 2014-05-01 Palantir Tech Display screen
USD745550S1 (en) * 2013-12-02 2015-12-15 Microsoft Corporation Display screen with animated graphical user interface
USD745551S1 (en) * 2014-02-21 2015-12-15 Microsoft Corporation Display screen with animated graphical user interface
KR102201095B1 (ko) 2014-05-30 2021-01-08 애플 인크. 하나의 디바이스의 사용으로부터 다른 디바이스의 사용으로의 전환
US9785340B2 (en) 2014-06-12 2017-10-10 Apple Inc. Systems and methods for efficiently navigating between applications with linked content on an electronic device with a touch-sensitive display
US9648062B2 (en) 2014-06-12 2017-05-09 Apple Inc. Systems and methods for multitasking on an electronic device with a touch-sensitive display
KR102511376B1 (ko) 2014-08-02 2023-03-17 애플 인크. 상황 특정 사용자 인터페이스
US10452253B2 (en) 2014-08-15 2019-10-22 Apple Inc. Weather user interface
USD780770S1 (en) 2014-11-05 2017-03-07 Palantir Technologies Inc. Display screen or portion thereof with graphical user interface
WO2016144385A1 (en) 2015-03-08 2016-09-15 Apple Inc. Sharing user-configurable graphical constructs
USD786284S1 (en) * 2015-05-21 2017-05-09 Layer3 TV, Inc. Display screen or portion thereof with an animated graphical user interface
CN108540852A (zh) * 2015-07-23 2018-09-14 海信集团有限公司 一种截屏方法
USD765708S1 (en) * 2015-07-27 2016-09-06 Microsoft Corporation Display screen with animated graphical user interface
USD768689S1 (en) * 2015-07-27 2016-10-11 Microsoft Corporation Display screen with animated graphical user interface
EP3337583B1 (en) 2015-08-20 2024-01-17 Apple Inc. Exercise-based watch face
USD801355S1 (en) * 2015-08-24 2017-10-31 Microsoft Corporation Display screen with graphical user interface
USD789959S1 (en) * 2015-08-24 2017-06-20 Microsoft Corporation Display screen with graphical user interface
US10212481B2 (en) * 2015-09-04 2019-02-19 Samsung Electronics Co., Ltd. Home menu interface for displaying content viewing options
US10430040B2 (en) 2016-01-18 2019-10-01 Microsoft Technology Licensing, Llc Method and an apparatus for providing a multitasking view
CN105739840A (zh) * 2016-01-29 2016-07-06 广东欧珀移动通信有限公司 终端及终端中应用程序的启动方法
CN105791933B (zh) * 2016-03-25 2019-07-16 青岛海信电器股份有限公司 一种切换音视频应用的方法、装置和智能电视
CN105791932B (zh) * 2016-03-25 2019-07-16 青岛海信电器股份有限公司 一种切换音视频应用的方法、装置和智能电视
US10321206B2 (en) 2016-03-25 2019-06-11 Qingdao Hisense Electronics Co., Ltd. Method for switching an audio/video application, apparatus and smart TV
US10572213B2 (en) 2016-04-04 2020-02-25 Microsoft Technology Licensing, Llc Universal application pinning
USD881907S1 (en) * 2016-04-22 2020-04-21 Aetna Inc. Display screen with a graphical user interface
USD789952S1 (en) * 2016-06-10 2017-06-20 Microsoft Corporation Display screen with graphical user interface
US10637986B2 (en) 2016-06-10 2020-04-28 Apple Inc. Displaying and updating a set of application views
US10520979B2 (en) 2016-06-10 2019-12-31 Apple Inc. Enhanced application preview mode
USD803246S1 (en) 2016-06-29 2017-11-21 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD802000S1 (en) 2016-06-29 2017-11-07 Palantir Technologies, Inc. Display screen or portion thereof with an animated graphical user interface
USD858572S1 (en) 2016-06-29 2019-09-03 Palantir Technologies Inc. Display screen or portion thereof with icon
USD826269S1 (en) 2016-06-29 2018-08-21 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD802016S1 (en) 2016-06-29 2017-11-07 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
US11295706B2 (en) 2016-06-30 2022-04-05 Microsoft Technology Licensing, Llc Customizable compact overlay window
USD835646S1 (en) 2016-07-13 2018-12-11 Palantir Technologies Inc. Display screen or portion thereof with an animated graphical user interface
USD847144S1 (en) 2016-07-13 2019-04-30 Palantir Technologies Inc. Display screen or portion thereof with graphical user interface
USD811424S1 (en) 2016-07-20 2018-02-27 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD808991S1 (en) 2016-12-22 2018-01-30 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD868827S1 (en) 2017-02-15 2019-12-03 Palantir Technologies, Inc. Display screen or portion thereof with set of icons
USD834039S1 (en) 2017-04-12 2018-11-20 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD839298S1 (en) 2017-04-19 2019-01-29 Palantir Technologies Inc. Display screen or portion thereof with graphical user interface
USD822705S1 (en) 2017-04-20 2018-07-10 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD905713S1 (en) * 2017-04-28 2020-12-22 Oshkosh Defense, Llc Display screen or portion thereof with graphical user interface
USD872736S1 (en) 2017-05-04 2020-01-14 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
DK179412B1 (en) 2017-05-12 2018-06-06 Apple Inc Context-Specific User Interfaces
DK179555B1 (en) 2017-05-16 2019-02-13 Apple Inc. USER INTERFACE FOR A FLASHLIGHT MODE ON AN ELECTRONIC DEVICE
USD837234S1 (en) 2017-05-25 2019-01-01 Palantir Technologies Inc. Display screen or portion thereof with transitional graphical user interface
USD874472S1 (en) 2017-08-01 2020-02-04 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
US20190095047A1 (en) * 2017-09-25 2019-03-28 International Business Machines Corporation Safely capturing input when a dialog is presented
USD872121S1 (en) 2017-11-14 2020-01-07 Palantir Technologies, Inc. Display screen or portion thereof with transitional graphical user interface
US10633603B2 (en) 2018-01-04 2020-04-28 Chevron Phillips Chemical Company Lp Optimized reactor configuration for optimal performance of the aromax catalyst for aromatics synthesis
USD892831S1 (en) * 2018-01-04 2020-08-11 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD883997S1 (en) 2018-02-12 2020-05-12 Palantir Technologies, Inc. Display screen or portion thereof with transitional graphical user interface
USD883301S1 (en) 2018-02-19 2020-05-05 Palantir Technologies, Inc. Display screen or portion thereof with transitional graphical user interface
USD885413S1 (en) 2018-04-03 2020-05-26 Palantir Technologies Inc. Display screen or portion thereof with transitional graphical user interface
USD886848S1 (en) 2018-04-03 2020-06-09 Palantir Technologies Inc. Display screen or portion thereof with transitional graphical user interface
USD869488S1 (en) 2018-04-03 2019-12-10 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD888082S1 (en) 2018-04-03 2020-06-23 Palantir Technologies, Inc. Display screen or portion thereof with transitional graphical user interface
US11327650B2 (en) 2018-05-07 2022-05-10 Apple Inc. User interfaces having a collection of complications
US11966578B2 (en) * 2018-06-03 2024-04-23 Apple Inc. Devices and methods for integrating video with user interface navigation
USD879821S1 (en) 2018-08-02 2020-03-31 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD919645S1 (en) 2019-01-02 2021-05-18 Palantir Technologies, Inc. Display screen or portion thereof with transitional graphical user interface
USD916789S1 (en) 2019-02-13 2021-04-20 Palantir Technologies, Inc. Display screen or portion thereof with transitional graphical user interface
WO2020205292A1 (en) * 2019-03-29 2020-10-08 Sony Interactive Entertainment Inc. Context-based user interface menu with selectable actions
WO2020205291A1 (en) * 2019-03-29 2020-10-08 Sony Interactive Entertainment Inc. Context-based user interface menu with selectable actions
WO2020205293A1 (en) 2019-03-29 2020-10-08 Sony Interactive Entertainment Inc. Context-based user interface menu with selectable actions
US10751612B1 (en) 2019-04-05 2020-08-25 Sony Interactive Entertainment LLC Media multi-tasking using remote device
USD953345S1 (en) 2019-04-23 2022-05-31 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
DK180684B1 (en) * 2019-09-09 2021-11-25 Apple Inc Techniques for managing display usage
CN110572519A (zh) * 2019-09-20 2019-12-13 青岛海信移动通信技术股份有限公司 一种来电显示界面的拦截方法以及显示设备
US11185758B2 (en) * 2020-03-03 2021-11-30 Sony Interactive Entertainment Inc. Game console application with action cards
US11169665B2 (en) 2020-03-03 2021-11-09 Sony Interactive Entertainment Inc. Game console user interface with application previews
US11413531B2 (en) 2020-03-03 2022-08-16 Sony Interactive Entertainment Inc. Game console application with action card strand
US11402973B2 (en) * 2020-05-08 2022-08-02 Sony Interactive Entertainment Inc. Single representation of a group of applications on a user interface
US11524228B2 (en) 2020-05-08 2022-12-13 Sony Interactive Entertainment Inc. Sorting computer applications or computer files and indicating a sort attribute in a user interface
US11797154B2 (en) * 2020-05-08 2023-10-24 Sony Interactive Entertainment Inc. Inserting a graphical element cluster in a tiled library user interface
DK202070624A1 (en) 2020-05-11 2022-01-04 Apple Inc User interfaces related to time
WO2021231345A1 (en) 2020-05-11 2021-11-18 Apple Inc. User interfaces for managing user interface sharing
USD954092S1 (en) * 2020-07-31 2022-06-07 Hoffmann-La Roche Inc. Portion of a display screen with a graphical user interface for a portal side menu
CN112104915B (zh) * 2020-09-14 2022-08-26 腾讯科技（深圳）有限公司 一种视频数据处理方法、装置及存储介质
USD956788S1 (en) * 2020-10-29 2022-07-05 Smiths Medical Asd, Inc. Display screen or portion thereof with graphical user interace
US11694590B2 (en) 2020-12-21 2023-07-04 Apple Inc. Dynamic user interface with time indicator
US11720239B2 (en) 2021-01-07 2023-08-08 Apple Inc. Techniques for user interfaces related to an event
US11921992B2 (en) 2021-05-14 2024-03-05 Apple Inc. User interfaces related to time
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11822761B2 (en) 2021-05-15 2023-11-21 Apple Inc. Shared-content session user interfaces
USD976928S1 (en) * 2021-11-09 2023-01-31 Hopin Ltd Display screen with a graphical user interface
USD973073S1 (en) * 2021-11-09 2022-12-20 Hopin Ltd Display screen with a graphical user interface
JP7164750B1 (ja) * 2022-07-07 2022-11-01 株式会社あかつき 情報処理システム、情報処理装置、プログラム及び情報処理方法
WO2024097301A1 (en) * 2022-11-04 2024-05-10 Backbone Labs, Inc. System and method for rich content browsing multitasking on device operating systems with multitasking limitations

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1573910A (zh) * 2003-06-02 2005-02-02 Lg电子有限公司 显示控制方法
CN1826572A (zh) * 2003-06-02 2006-08-30 迪斯尼实业公司 消费者视频播放器的编程窗口控制的系统和方法
CN101377920A (zh) * 2007-08-30 2009-03-04 三星电子株式会社 显示控制方法、和使用该方法的显示装置和显示系统
WO2010033982A1 (en) * 2008-09-22 2010-03-25 Echostar Technologies Llc Systems and methods for graphical control of user interface features provided by a television receiver
CN102469373A (zh) * 2010-11-15 2012-05-23 Lg电子株式会社 图像显示装置及其操作方法
US20120131625A1 (en) * 2010-11-19 2012-05-24 Sling Media Pvt Ltd Multistream Placeshifting
US20120204131A1 (en) * 2011-02-07 2012-08-09 Samuel Hoang Enhanced application launcher interface for a computing device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7478326B2 (en) * 2005-01-18 2009-01-13 Microsoft Corporation Window information switching system
GB2471871B (en) * 2009-07-15 2011-12-14 Sony Comp Entertainment Europe Apparatus and method for a virtual dance floor
US8799300B2 (en) * 2011-02-10 2014-08-05 Microsoft Corporation Bookmarking segments of content
KR101888457B1 (ko) * 2011-11-16 2018-08-16 삼성전자주식회사 복수 개의 어플리케이션을 실행하는 터치스크린을 가지는 장치 및 그 제어 방법
KR20140089861A (ko) * 2013-01-07 2014-07-16 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
US20140201681A1 (en) * 2013-01-16 2014-07-17 Lookout, Inc. Method and system for managing and displaying activity icons on a mobile device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1573910A (zh) * 2003-06-02 2005-02-02 Lg电子有限公司 显示控制方法
CN1826572A (zh) * 2003-06-02 2006-08-30 迪斯尼实业公司 消费者视频播放器的编程窗口控制的系统和方法
CN101377920A (zh) * 2007-08-30 2009-03-04 三星电子株式会社 显示控制方法、和使用该方法的显示装置和显示系统
WO2010033982A1 (en) * 2008-09-22 2010-03-25 Echostar Technologies Llc Systems and methods for graphical control of user interface features provided by a television receiver
CN102469373A (zh) * 2010-11-15 2012-05-23 Lg电子株式会社 图像显示装置及其操作方法
US20120131625A1 (en) * 2010-11-19 2012-05-24 Sling Media Pvt Ltd Multistream Placeshifting
US20120204131A1 (en) * 2011-02-07 2012-08-09 Samuel Hoang Enhanced application launcher interface for a computing device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108235091A (zh) * 2018-01-25 2018-06-29 青岛海信电器股份有限公司 智能电视以及基于显示设备中访问主页应用上内容的方法
CN108920089A (zh) * 2018-07-19 2018-11-30 斑马音乐文化科技（深圳）有限公司 点歌播放显示方法、装置、点唱设备和存储介质
CN109218768A (zh) * 2018-09-21 2019-01-15 青岛海信电器股份有限公司 一种内容服务的图形用户界面显示方法及显示终端
CN109413477A (zh) * 2018-09-21 2019-03-01 青岛海信电器股份有限公司 用于显示终端中历史内容服务的显示方法及装置
CN109743517A (zh) * 2019-01-21 2019-05-10 合肥惠科金扬科技有限公司 一种显示模式设置方法、显示器及终端设备

Also Published As

Publication number Publication date
US20150128042A1 (en) 2015-05-07
WO2015066658A1 (en) 2015-05-07
EP3066542A1 (en) 2016-09-14

Similar Documents

Publication Publication Date Title
CN105745603A (zh) 采用交互式画中画的多任务处理体验
JP2021507408A (ja) 仮想、拡張、または複合現実環境内で３ｄビデオを生成および表示するための方法およびシステム
KR102331290B1 (ko) 강화된 대화형 텔레비전 경험
US20150194187A1 (en) Telestrator system
US10306292B2 (en) Method and system for transitioning between a 2D video and 3D environment
US11706485B2 (en) Display device and content recommendation method
CN103748893B (zh) 照亮捕捉设备的视野以捕捉经照亮的图像的方法及系统
WO2012082442A2 (en) Real-time interaction with entertainment content
KR20190034215A (ko) 디지털 멀티미디어 플랫폼
WO2015134289A1 (en) Automapping of music tracks to music videos
US11681412B2 (en) User interface menu transitions with selectable actions
US20210289263A1 (en) Data Transmission Method and Device
JP7411822B2 (ja) 異種アプリケーションのためのインタラクティブメニューのキャッシュ及び提示方法
CN112261481A (zh) 互动视频的创建方法、装置、设备及可读存储介质
CN112732089A (zh) 一种虚拟现实设备及快捷交互方法
US11762533B2 (en) User interface menu transitions with selectable actions
CN112463267B (zh) 在显示设备屏幕上呈现屏保信息的方法及显示设备
CN112169318A (zh) 应用程序的启动及存档方法、装置、设备及存储介质
US11797169B2 (en) Context-based user interface menu with selectable actions
WO2020248682A1 (zh) 一种显示设备及虚拟场景生成方法
US12026355B2 (en) User interface menu transitions
WO2022183866A1 (zh) 互动视频的生成方法及装置
US20240207737A1 (en) Directing in-game mode for first client device using second client device
CN116801063A (zh) 基于虚拟直播间的互动方法、装置、设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160706