CN102165403A - 具有缩放功能的用户界面 - Google Patents

具有缩放功能的用户界面 Download PDF

Info

Publication number
CN102165403A
CN102165403A CN2009801380753A CN200980138075A CN102165403A CN 102165403 A CN102165403 A CN 102165403A CN 2009801380753 A CN2009801380753 A CN 2009801380753A CN 200980138075 A CN200980138075 A CN 200980138075A CN 102165403 A CN102165403 A CN 102165403A
Authority
CN
China
Prior art keywords
content
user interface
expression
picture
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801380753A
Other languages
English (en)
Inventor
N·M·诺伊费尔德
G·梅蒂福戈
C·J·米戈斯
A·A·克莱因汉兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102165403A publication Critical patent/CN102165403A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1438—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using more than one graphics controller
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/027—Arrangements and methods specific for the display of internet documents

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Abstract

描述了具有缩放功能的用户界面。在一实现中，显示具有多个内容的表示的用户界面。每一表示是使用相应内容的相应画中画流来形成的。当接收到选择各表示中的特定一个表示的输入时，通过从相应内容的画中画流放大至相应内容的相应视频流来显示相应内容。

Description

具有缩放功能的用户界面
背景技术
用户能够访问数量和种类不断增加的内容。例如，用户可使用台式计算机、移动电话等访问互联网。然而，随着内容的数量和种类持续增加，被用于访问内容的传统技术变得对于用户而言是低效率且由此是令人沮丧的。
例如，用户可访问通过诸如电缆、卫星、数字用户线(DSL)等之类的网络运营商所广播的数以百计的电视频道。传统地，用户通过频道加或频道减按钮来在频道中“冲浪”来确定每个频道上当前正在广播的内容。随着频道数量的增加，开发了电子节目指南，使得用户能够确定某个特定频道上“正在播放什么内容”而不用调到那个频道。然而，随着频道数量的继续增加，传统EPGS所使用来手动滚动这一信息的技术也变得对于用户而言是低效率且是令人沮丧的。
发明内容
描述了一种具有缩放功能的用户界面。在一实现中，显示具有多个内容的表示的用户界面。每一表示使用各个内容的各画中画流来形成。当接收到选择各表示中的特定一个表示的输入时，通过从相应内容的画中画流放大至相应内容的相应视频流来显示相应内容。
在一实现中，输出具有可经由多个频道中的相应一个频道来获得的多个内容中的每一个的静止表示的用户界面。当接收到选择该用户界面的一部分的输入时，包括在该用户界面的该部分中的一个或多个表示被放大并被配置成以运动形式显示在用户界面中。当接收到选择被放大的那个表示的输入时，所选表示在用户界面中被进一步放大以输出相应内容。
在一实现中，一客户机包括具有桌子形状因素的外壳、设置于该外壳的桌面上的表面、以及一个或多个模块。该一个或多个模块被设置于外壳中，以便在表面上显示具有多个内容的表示的用户界面，并且当接收到选择各表示中的特定一个表示的输入时，通过从多个内容的表示放大至相应内容来显示相应内容。
提供本概述以便以简化形式介绍将在以下的详细描述中进一步描述的一些概念。本概述并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
附图说明
参考附图来描述具体实施方式。在附图中，附图标记中最左边的数字标识该附图标记首次出现的附图。在说明书和附图的不同实例中使用相同的附图标记可指示相似或相同的项目。
图1是一示例实现中可用于执行物体检测和用户设置技术的环境的图示。
图2是一示例实现中更详细地示出图1的客户机的系统的图示。
图3是一示例实现中的系统的图示，在该系统中图1和2的客户机输出被配置成与从内容提供者接收的内容交互的用户界面。
图4是一示例实现中的系统的图示，在该系统中图3的用户界面被放大使得所选类别中的内容的表示被放大。
图5是一示例实现中的系统的图示，在该系统中用户界面被用于输出经与图4的用户界面进行的交互而选择的内容。
图6是描述一示例实现中的过程的流程图，在该过程中使用一种或多种缩放技术来对具有内容的表示的用户界面进行导航。
图7是描述一示例实现中的过程的流程图，在该过程中将用户界面中的内容的表示从静止图像放大的画中画屏幕再放大到视频流。
具体实施方式
概览
随着用户可用的内容的数量持续地增加，曾经开发的用于导航并选择内容的传统技术持续地变得更为低效。例如，用户传统地使用遥控器上的“频道加”和“频道减”按钮来导航电视节目。随着频道数量的增加，开发了电子节目指南，使得用户能够看到某个特定频道上“正在播放什么内容”而不用实际导航到那些频道。然而，电子节目指南也同样被典型地配置成采用涉及频道加和频道减按钮来导航描述每个频道上播放什么内容的信息的滚动技术。因此，用户要导航对其可用的数以百计的频道也会花费大量的时间，由此在与传统的电子节目指南交互时也导致了用户沮丧及烦恼。
描述了一种具有缩放功能的用户界面。在一实现中，显示具有多个内容中的每一个的表示的用户界面。例如，每个表示可诸如通过使用静止图像来表示正在特定频道上播放的内容。用户随后可“放大”用户界面的某一特定部分以获得有关该内容以及该部分的附加信息。例如，该用户界面可按照类别来排列，因此对体育感兴趣的用户可选择用户界面上具有关于体育的内容的表示的部分。该部分可被“放大”，使得用户可观看关于体育的内容的画中画流，由此利用了更大量的可由各表示所消耗的显示区域。
在这一级别中，用户可观看画中画流并再次放大以显示特定的感兴趣内容。响应于这一缩放，可随后在用户界面中显示实际内容的视频流，这可包括音频的输出以供用户使用。用户也可使用类似的技术来在用户界面中的各级内容表示中“缩小”回去，例如，从实际内容的视频流“缩小”回画中画流再回到静止图像。以此方式，用户界面可提供多个级别，在这多个级别中，用户可放大和缩小以获得关于内容的更多信息。另外，用户可扫视每一级别中的表示来观看那一级别的当前没有被显示的更多表示，例如“不在屏幕上”。因此，用户可在不同级别的细节和那些级别上的不同表示中移动来导航内容。还构想了各种其他示例，其进一步讨论可相关于以下章节找到。
在接下来的讨论中，首先将描述可用于执行关于具有缩放功能的用户界面的一项或多项技术的示例环境。随后描述可使用该示例环境以及其他环境来实现的示例过程。因此，过程的实现不限于示例环境，并且示例环境不限于示例过程的实现。例如，虽然描述的是电视节目和电子节目指南，但诸如桌面用户界面、音乐界面、图像(例如相片界面)之类的各种不同的内容和用户界面可利用此处所描述的技术。
示例环境
图1是一示例实现中可用于采用涉及具有缩放功能的用户界面的技术的环境100的图示。所示系统100包括通过网络104与被配置为电视机的另一客户机106通信地耦合的客户机102、具有内容110的内容提供者108、以及具有一个或多个广告114的广告客户112。
客户机102可以按各种方式来配置。例如，客户机102可被配置成能够通过网络104通信的计算机，诸如台式计算机、移动站、娱乐设备、通信地耦合至显示设备的机顶盒、无线电话、游戏控制台等。因而，客户机102的范围可以是从具有充足存储器和处理器资源的全资源设备(如个人计算机、游戏控制台)到具有有限存储器和/或处理资源的低资源设备(如传统机顶盒、手持式游戏控制台)。客户机102还与操作该客户机的人和/或实体相关。换言之，客户机102可描述包含在一个或多个计算设备上执行的软件的逻辑客户机。
虽然网络104被示为因特网，但是该网络可以采用各种各样的配置。例如，网络104可以包括广域网(WAN)、局域网(LAN)、无线网络、公共电话网和内联网等等。此外，虽然示出了单个网络104，但是网络104可被配置为包括多个网络。例如，客户机102和另一客户机106(电视机)可通过本地网络连接彼此通信地耦合。另外，客户机102可通过互联网与内容提供者108通信地耦合。类似地，广告客户112可通过互联网与内容提供者108通信地耦合。也可考虑各种各样的其他实例。
在所示环境100中，客户机102被示为具有桌子形状因素。桌子形状因素包括具有多条腿118的外壳116。外壳116还包括具有表面120的桌面，该表面被配置成显示诸如图1中所示的汽车之类的一个或多个图像。
客户机102还被示为包含表面计算模块122。表面计算模块122代表客户机102的提供利用表面120的计算相关功能以及通过表面对物体进行检测的功能。例如，表面计算模块122可被配置成使用用户界面模块124在表面120上输出用户界面的显示。表面计算模块122还可被配制成检测与表面120的交互，以及由此与表面120上输出的用户界面的交互。因此，用户可随后通过表面120以各种方式与用户界面交互，诸如选择文件、启动程序的执行等。
例如，用户可使用一个或多个手指作为光标控制设备、作为画笔，来操纵用户界面(例如调整图像的大小及移动图像)、传输文件(例如在客户机102与另一客户机之间)、通过因特网浏览经由网络104获得内容110、与位于客户机102的本地的另一客户机106(例如电视机)交互(例如，选择由电视机输出的内容)等等。因此，客户机102的表面计算模块122可既作为输出设备也作为输入设备以各种不同方式来利用表面120，表面计算模块122的进一步讨论将结合图2-5给出。
客户机102还被示为具有用户界面模块124。用户界面模块124代表客户机102的配置用户界面以供客户机102输出的功能。例如，如之前所述，表面计算模块122可结合表面120用作输入设备。因此，放置在表面120上或附近的物体可由表面计算模块122检测并用作检测与表面120上输出的用户界面的交互的基础。
例如，用户界面模块124可输出被配置为电子节目指南的用户界面。该电子节目指南可被配置成选择哪些内容由客户机102输出和/或哪些内容由另一客户机(例如电视机)输出。可构想各种不同内容，包括客户机102本地的内容和/或经由网络104远程访问的内容，诸如可通过广播从内容提供者108获得的内容110。例如，由用户界面模块124输出的用户界面可被配置成与电视节目(例如电影)、音乐、图像(例如相片)、多媒体数据文件等进行交互。
用户界面模块124还被示为包含缩放模块126。缩放模块126代表在用户界面模块124的用户界面中在内容表示的不同级别的细节中“放大”和“缩小”的功能。例如，用户界面能以“最低级别”细节输出以最大化在任何一个时间可在表面120上显示的内容表示的数量，诸如通过显示从画中画流中取得的静止图像。
用户界面还能以“最高级别”细节输出，使得单个内容项使用可用的分辨率、基本覆盖表面120的可用显示区域来完整地显示。还可提供具有在最高和最低级别之间的细节级别的一个或多个中间级别。因此，用户可在不同细节级别间放大或缩小以确定可供(现在和/或将来)输出的内容的特征、定位可能感兴趣的特定内容等。对客户机102和缩放功能的进一步讨论可参考以下附图找到。
一般而言，在此描述的任何功能可使用软件、固件(例如，固定逻辑电路)、手动处理或这些实现的组合来实现。本文使用的术语“模块”、“功能”和“逻辑”一般表示软件、固件、或软件和固件的组合。在软件实现的情况下，模块、功能或逻辑表示当在处理器(例如，一个或多个CPU)上执行时执行指定任务的程序代码。该程序代码可被存储在一个或多个计算机可读介质中，对其的进一步描述将参考图2找到。以下描述的表面技术和其中采用的缩放功能技术的特征是平台无关的，这意味着这些技术可在具有各种处理器和可用于存储指令的有形计算机可读介质(例如存储器)的各种商用计算平台上实现。
图2描述了一示例实现中的更详细地显示图1的客户机102的系统200。客户机102包括图1的表面计算模块122，表面计算模块122在这一实例中被示为包括处理器202和存储器204。处理器不受形成它们的材料或者其中利用的处理机制的限制。
例如，处理器202可以由半导体和/或晶体管(例如，电子集成电路(IC))构成。在这一上下文中，处理器可执行指令可以是可电子地执行的指令。或者，处理器的机制或用于处理器的机制，以及由此计算设备的机制或用于计算设备的机制可以包括但不限于，量子计算、光学计算、机械计算(例如，使用纳米技术)等。另外，虽然示出了单个存储器204，但是可以采用各种类型和组合的存储器，诸如随机存取存储器(RAM)、硬盘存储器、可移动介质存储器、以及其他类型的计算机可读介质。
客户机102被示为在处理器202上执行操作系统206，操作系统206也可存储在存储器204中。操作系统206可被执行以抽象底层客户机102的硬件和软件功能，诸如抽象成被示为存储在存储器204中的一个或多个应用程序208。在图2的该系统200中，具有缩放模块126的用户界面模块124被示为作为存储在客户机102的存储器204中的应用程序208的一部分来包括。例如，应用程序208中的至少一个可被配置成输出由内容提供者108使用多个不同频道通过网络104广播的内容110，诸如电视节目。然而，应当容易明白，用户界面模块124和缩放模块126可用各种方式来实现，诸如作为操作系统206的一部分、作为独立模块等等。
表面计算模块122还被示为包含图像投影模块210和表面检测模块212。图像投影模块210代表客户机102的使图像显示在表面120上的功能。图像投影模块210可使用各种不同技术来显示图像，诸如通过使用背投系统、LCD或等离子显示器等。
表面检测模块212代表客户机102的在一个或多个物体被放置在客户机102的表面120附近时检测这一个或多个物体的能力。表面检测模块212可使用各种不同技术来执行该检测，诸如射频识别(RFID)、图像识别、条形码扫描、光学字符识别等。
例如，图2的表面检测模块212被示为包含一个或多个红外投影仪214、一个或多个红外照相机216、以及检测模块218。一个或多个红外投影仪214被配置成将红外和/或近红外光投射到表面120上。一个或多个红外摄影机216可随后被配置成捕捉从客户机102的表面120反射的红外光的图像。
例如，红外照相机216可透过表面120看到诸如各用户的手220、222的手指、用户的电话224、汽车钥匙226之类的物体。在所示示例中，红外照相机216被放置在表面120的与用户的手220、222相对的一侧上，例如设置在客户机102的外壳内。检测模块218可随后对由红外照相机216捕捉的图像进行分析并检测放置在表面120上的物体以及那些物体的移动。这一分析的输出随后被提供给操作系统206、应用程序208(并因此提供给用户界面模块124和缩放模块126)等等。
在一实现中，表面检测模块212可在单个时间点检测多个物体。例如，可检测各用户的手220、222的手指与由操作系统206输出的用户界面的交互。以此方式，客户机102可支持与多个用户的同时交互、支持用一个用户的多个手作出的手势等等。
例如，不同手势可被用于放大或缩小用户界面的一部分(例如图像)、旋转图像、在设备间移动文件、选择特定内容项的输出等。虽然描述了使用图像捕捉的检测，但表面计算模块122(更具体来说是表面检测模块212)还可使用各种其它技术来检测放置在客户机102的表面120上或附近的物体，诸如具有RFID标签的物体的RFID(例如指示笔)、“音响”技术(例如与雷达相似的超声波技术)、生物测定(例如温度)、没有被具体配置成与客户机102交互但可用于这样做的物体的移动(例如钥匙)等。在不背离本发明的精神和范围的情况下，还可构想可被用于利用与客户机102的表面120的交互的多种其它技术。
如上所述的，用户界面模块124(通过缩放模块126)可利用通过表面120提供的输入与用户界面中的内容进行交互而无需在不同页面或屏幕间导航。例如，可提供在内容的表示间的导航而不必限于在数以百计的频道间滚动，这一示例可结合以下附图给出。
图3描绘了一示例实现中的系统300，其中客户机102输出被配置成与从内容提供者108接收的内容110交互的用户界面302。在所示的示例中，使用图像投影模块210在客户机102的表面120上输出用户界面302。用户界面302包括可通过多个频道中的相应频道从内容提供者108获得的内容110的多个表示。在所示的示例中，内容110包括画中画流304和视频流306。如前所述的，内容110可以用各种不同方式配置，诸如电视节目、流音乐等。
表示被示为根据类别分组，其所示示例包括体育、旅游、美食及最爱。表示被显示在用户界面302中的单个页面中。用户可以用各种不同方式在用户界面302中的表示间导航，诸如通过使用用户的手222的一个或多个手指。例如，用户的手222的一个或多个手指可放置在表面120上并在期望的方向上移动来扫视用户界面302，例如将表示向上或向下和/或向左或向右移动。以此方式，用户可访问当前没有被显示在表面120上的表示。此外，这些表示可在用户界面302中的当前细节级别上维护。
如之前所描述的，用户界面302还可被配置成支持显示可从内容提供者108获得的内容110的每个表示的不同细节级别的功能。例如，当前被显示在用户界面中的表示可以是从来自内容提供者108的内容110的画中画(PIP)流304中取得的静止图像。在另一示例中，表示可以是在当前可经由各个频道获得的内容的图标或其它图形指示符。
与用户界面进行交互的用户可随后选择感兴趣的特定类别，诸如通过用户的手222的手指来选择“最爱”。响应于这一选择，选择的用户界面302的部分(例如最爱)可以按更多细节显示，其示例可结合以下附图给出。
图4描绘了一示例实现中的系统400，在该系统中图3的用户界面302被放大使得所选类别中的内容的表示被放大。客户机102包括具有与图3的用户界面302中的对应表示相比被放大(即消耗更大量的显示区域)的表示404、406、408、410的用户界面402。
表示404-410与图3的用户界面302中的表示相比还可提供额外的细节。例如，可使用由内容提供者108提供的内容110的相应画中画流304来输出表示404-410。以此方式，表示可以“运动地”显示，使得用户可以实际看到在每个所表示的频道上正被输出的内容。另外，还可显示额外的元数据，诸如内容的名称、放映时间、演员、策划等等。
在这一细节级别，可扫视用户界面402以便在类别(例如“最爱”)内的表示之间移动。还可以扫视用户界面402以移动到不同类别(例如体育、旅游、美食等)中的内容的表示。例如，图4的用户界面402可被认为是图3的用户界面302的放大的视图。因此，用户可通过基于前一视图(例如图3的用户界面302)以一已知方向拖曳用户的手222的手指来在类别间导航。
用户还可选择特定表示来观看对应于该表示的内容。例如，如图4所示，用户的手222可通过将每个手的手指放在表面120上显示的表示406上并将它们相背移动来作出拉伸手势。这样，表示406可被放大以显示使用视频流306的实际内容110，其示例可结合以下附图给出。
图5描绘了一示例实现中的系统500，其中用户界面502输出经与图4的用户界面402进行的交互而选择的内容。用户界面502包括使用内容提供者108的视频流306输出的内容110，内容110与可从画中画流304获得的缩小的显示分辨率相比提供了完全显示分辨率，例如标准清晰度和/或高清晰度。
另外，内容110可在用户界面502中输出以包含音频。例如，图3和4各自的用户界面302、402可被配置为不带音频地输出。然而，使用视频流306输出的内容可被配置为包含音频。可构想各种其它示例，诸如为与其它内容和内容的表示相比消耗表面120的更大量显示区域的内容输出音频。
虽然图3-5描述了放大以增加用户界面中的内容表示的细节级别，但也可以使用类似技术来缩小用户界面。例如，用户的手222的手指可被放置在表面120上并相向移动以从图5的用户界面502缩小回图4的用户界面402。以此方式，用户界面可被提供为单个页面，在该页面中，用户可通过放大和缩小在各细节级别(例如，内容的显示分辨率、显示的元数据的量和/或类型等)中导航以及扫视该用户界面以显示“不在屏幕上”且因此当前没有被显示的表示。
所提供的供客户机102使用用户界面模块124在用户界面中输出的内容可以用各种方式来提供。例如，内容110可由内容提供者108提供来创建具有用于不同缩放级别的不同细节/分辨率级别的流。在一实现中，使用于传输这些流的带宽恒定而不管缩放级别和显示的PIP的数量。在另一示例中，内容110的格式化在客户机102的本地执行，例如通过执行用户界面模块124和缩放模块126以便一旦从内容提供者108接收到内容110就对内容110进行配置以便显示在用户界面中。还可在不背离本发明的精神和范围的情况下构想各种其他示例，诸如通过对客户机102本地的(例如来自个人视频录像机(PVR))内容的配置。
示例过程
以下讨论描述了可利用上述系统和设备来实现的表面计算和缩放技术。这些过程中每一过程的各方面可用硬件、固件、或软件、或其组合来实现。这些过程被示为指定由一个或多个设备执行的操作的一组框，并且其不必限于所示由各框执行操作的顺序。在以下讨论的部分中将参考图1的环境100和图2-5的系统200-500。
图6描述了一示例实现中的过程600，在该过程中，使用一种或多种缩放技术来对具有内容的表示的用户界面进行导航。显示具有多个内容的表示的用户界面，其中每个表示使用相应内容的相应画中画流来形成(框602)。例如，图4的用户界面402包含使用从内容提供者108接收的画中画流304形成的内容110的表示。
当接收到选择各表示中的特定一个表示的输入时，通过从相应内容的画中画流放大至相应内容的相应视频流来显示相应内容(框604)。可以用各种方式执行缩放，诸如通过在多个中间步骤中连续地放大各画中画流的表示直至实际内容110的视频流306被显示在客户机102的表面120上。以此方式，在用户界面中画中画流304的分辨率可增加到内容110的视频流306的分辨率。这些技术可被反过来用于在用户界面的不同细节级别中进行缩小。
例如，在接收到导航至多个内容的表示的输入时，通过从相应内容的相应视频流缩小来使用相应画中画流显示各表示(框606)。可用各种方式提供输入，诸如通过使用如之前结合图2到5描述的一个或多个手势。
图7描绘了一示例实现中的过程700，在该过程中，将用户界面中的内容的表示从静止图像放大的画中画屏幕再放大到视频流。输出具有可经由多个频道中的各个频道可用的多个内容中的每一个的静止表示的用户界面(框702)。
当接收到选择该用户界面的一部分的输入时，放大包含在用户界面的该部分中的一个或多个表示并且将这些表示配置成以运动形式显示在用户界面中(框704)。例如，可使用来自内容提供者108的内容110的画中画流304来显示表示。
当接收到选择被放大的那个表示的输入时，在用户界面中进一步放大所选择的表示以输出相应内容(框706)。继续之前的示例，视频流306可随后在用户界面中输出。也可以设想各种其他示例而不背离其精神和范围。
结论
虽然已经用对结构特征和/或方法动作专用的语言描述了本发明，但是应该理解，在所附权利要求中定义的本发明不必限于所述的具体特征或动作。相反，这些具体特征和动作是作为实现所要求保护的本发明的示例形式而公开的。

Claims (7)

1.一种方法，包括：
显示具有多个内容的表示的用户界面，其中每个所述表示使用相应的所述内容的相应画中画流来形成(602)；以及
当接收到选择特定的一个所述表示的输入时，通过从相应的所述内容的画中画流放大至相应的所述内容的相应视频流来显示相应的所述内容(604)。
2.如权利要求1所述的方法，其特征在于：
所述显示是由具有表面的客户机执行的；
所述表面的至少一部分被用于使用相应画中画流来显示多个内容的表示以及使用相应的所述内容的相应视频流来显示相应的所述内容；以及
所述输入通过所述表面来接收。
3.如权利要求2所述的方法，其特征在于，所述客户机具有桌子形状因素，所述桌子包括具有所述表面的桌面。
4.如权利要求2所述的方法，其特征在于，所述输入通过识别使用用户的手的一个或多个手指作出的手势来接收。
5.如权利要求1所述的方法，其特征在于，多个内容中的每一个可通过多个频道中的相应频道来获得。
6.如权利要求1所述的方法，其特征在于：
所述用户界面是电子节目指南(RPG)；以及
所述多个内容包括电视节目。
7.如权利要求1所述的方法，其特征在于，还包括当接收到导航到所述多个内容的表示的输入时，通过从相应的所述内容的相应视频流缩小来使用相应画中画流显示所述表示。
CN2009801380753A 2008-09-25 2009-09-22 具有缩放功能的用户界面 Pending CN102165403A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/237,715 US20100077431A1 (en) 2008-09-25 2008-09-25 User Interface having Zoom Functionality
US12/237,715 2008-09-25
PCT/US2009/057889 WO2010036660A2 (en) 2008-09-25 2009-09-22 User interface having zoom functionality

Publications (1)

Publication Number Publication Date
CN102165403A true CN102165403A (zh) 2011-08-24

Family

ID=42038943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801380753A Pending CN102165403A (zh) 2008-09-25 2009-09-22 具有缩放功能的用户界面

Country Status (7)

Country Link
US (1) US20100077431A1 (zh)
EP (1) EP2329350A4 (zh)
JP (1) JP2012503832A (zh)
KR (1) KR20110063466A (zh)
CN (1) CN102165403A (zh)
RU (1) RU2530284C2 (zh)
WO (1) WO2010036660A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104994314A (zh) * 2015-08-10 2015-10-21 合一网络技术(北京)有限公司 在移动终端上通过手势控制画中画视频的方法及系统
CN105165017A (zh) * 2013-02-25 2015-12-16 萨万特系统有限责任公司 视频平铺

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8225231B2 (en) 2005-08-30 2012-07-17 Microsoft Corporation Aggregation of PC settings
US20120159395A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Application-launching interface for multiple modes
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US9423951B2 (en) 2010-12-31 2016-08-23 Microsoft Technology Licensing, Llc Content-based snap point
US9383917B2 (en) 2011-03-28 2016-07-05 Microsoft Technology Licensing, Llc Predictive tiling
US8782704B2 (en) * 2011-05-03 2014-07-15 Verizon Patent And Licensing Inc. Program guide interface systems and methods
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US8922575B2 (en) 2011-09-09 2014-12-30 Microsoft Corporation Tile cache
US20130067420A1 (en) * 2011-09-09 2013-03-14 Theresa B. Pittappilly Semantic Zoom Gestures
US10353566B2 (en) 2011-09-09 2019-07-16 Microsoft Technology Licensing, Llc Semantic zoom animations
US9557909B2 (en) 2011-09-09 2017-01-31 Microsoft Technology Licensing, Llc Semantic zoom linguistic helpers
US9244802B2 (en) 2011-09-10 2016-01-26 Microsoft Technology Licensing, Llc Resource user interface
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
WO2013141923A2 (en) * 2011-12-20 2013-09-26 Sadar 3D, Inc. Scanners, targets, and methods for surveying
US20140020024A1 (en) * 2012-07-16 2014-01-16 Sony Corporation Intuitive image-based program guide for controlling display device such as a television
US8869211B2 (en) * 2012-10-30 2014-10-21 TCL Research America Inc. Zoomable content recommendation system
USD734343S1 (en) * 2012-12-27 2015-07-14 Nissan Jidosha Kabushiki Kaisha Display screen or portion thereof with graphical user interface
US9319636B2 (en) * 2012-12-31 2016-04-19 Karl Storz Imaging, Inc. Video imaging system with multiple camera white balance capability
US9197853B2 (en) 2013-05-20 2015-11-24 Ricoh Company, Ltd Switching between views using natural gestures
US10080060B2 (en) 2013-09-10 2018-09-18 Opentv, Inc. Systems and methods of displaying content
JP5706494B2 (ja) * 2013-09-20 2015-04-22 ヤフー株式会社 配信装置、端末装置、配信方法及び配信プログラム
US10789642B2 (en) 2014-05-30 2020-09-29 Apple Inc. Family accounts for an online content storage sharing service
KR20150142347A (ko) * 2014-06-11 2015-12-22 삼성전자주식회사 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템
JP6095614B2 (ja) * 2014-07-18 2017-03-15 ヤフー株式会社 情報表示プログラム、配信装置、情報表示方法および情報表示装置
JP6130335B2 (ja) * 2014-07-18 2017-05-17 ヤフー株式会社 情報表示プログラム、配信装置、情報表示方法および情報表示装置
US20160381297A1 (en) * 2015-06-26 2016-12-29 Jsc Yukon Advanced Optics Worldwide Providing enhanced situational-awareness using magnified picture-in-picture within a wide field-of-view optical image
RU2666521C2 (ru) * 2015-10-23 2018-09-10 Закрытое акционерное общество "МНИТИ" (ЗАО "МНИТИ") Способ одновременного отображения изображений нескольких телевизионных программ
JP6978826B2 (ja) * 2016-01-08 2021-12-08 キヤノン株式会社 表示制御装置及びその制御方法、プログラム、並びに記憶媒体
CN107239725B (zh) 2016-03-29 2020-10-16 阿里巴巴集团控股有限公司 一种信息展示方法、装置及系统
EP3316109B1 (en) * 2016-10-28 2019-09-04 TeamViewer GmbH Computer-implemented method for controlling a remote device with a local device
USD900136S1 (en) * 2018-02-12 2020-10-27 Acordo Certo—Reparacao E Manutencao Automovel, LTA Display screen or portion thereof with graphical user interface
RU2752777C1 (ru) * 2020-12-18 2021-08-03 Михаил Сергеевич Емельченков Способ компьютерного увеличения и центрирования объектов в веб-браузере

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002025940A1 (en) * 2000-09-20 2002-03-28 Koninklijke Philips Electronics N.V. Picture-in-picture
US20050045119A1 (en) * 2001-06-20 2005-03-03 Honda Giken Kogyo Kabushiki Kaisha Engine cooling water passage structure and gas/liquid separator for engine cooling system
CN1784647A (zh) * 2003-05-08 2006-06-07 希尔克瑞斯特实验室公司 用于组织、选择和启动媒体项的带有可缩放的图形用户界面的控制架构
US20060289760A1 (en) * 2005-06-28 2006-12-28 Microsoft Corporation Using same optics to image, illuminate, and project

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08340526A (ja) * 1995-06-12 1996-12-24 Hitachi Ltd 地域ケーブル放送送受信システム
WO1997012314A1 (en) * 1995-09-29 1997-04-03 Bell Communications Research, Inc. A lap-top device and method for accessing and controlling communication services
US6072483A (en) * 1997-06-02 2000-06-06 Sony Corporation Active frame scroll interface
JP4230519B2 (ja) * 1997-10-07 2009-02-25 雅信 鯨田 情報処理型の複数連携型表示システム
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
RU2157054C2 (ru) * 1998-09-04 2000-09-27 Латыпов Нурахмед Нурисламович Способ создания видеопрограмм (варианты) и система для осуществления способа
JP4228542B2 (ja) * 1998-11-30 2009-02-25 ソニー株式会社 情報提供装置及び情報提供方法
JP4306127B2 (ja) * 1998-11-30 2009-07-29 ソニー株式会社 情報提供装置及び情報提供方法
US6507349B1 (en) * 2000-01-06 2003-01-14 Becomm Corporation Direct manipulation of displayed content
US6817027B1 (en) * 2000-03-31 2004-11-09 Matsushita Electric Industrial Co., Ltd. Display interface comprising a channel matrix
JP2001306211A (ja) * 2000-04-26 2001-11-02 Keinzu:Kk タッチパネル式ディスプレイの表示方法
US6918132B2 (en) * 2001-06-14 2005-07-12 Hewlett-Packard Development Company, L.P. Dynamic interface method and system for displaying reduced-scale broadcasts
JP2006500718A (ja) * 2002-09-26 2006-01-05 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 多重ストリーム読み出し装置及び方法
US8046705B2 (en) * 2003-05-08 2011-10-25 Hillcrest Laboratories, Inc. Systems and methods for resolution consistent semantic zooming
JP2007516496A (ja) * 2003-05-08 2007-06-21 ヒルクレスト ラボラトリーズ， インコーポレイテッド メディア項目を編成、選択及び開始するためのズーム可能なグラフィカルユーザインタフェースを有する制御フレームワーク
KR101128572B1 (ko) * 2004-07-30 2012-04-23 애플 인크. 터치 감지 입력 장치용 제스처
TW200704183A (en) * 2005-01-27 2007-01-16 Matrix Tv Dynamic mosaic extended electronic programming guide for television program selection and display
US20060200842A1 (en) * 2005-03-01 2006-09-07 Microsoft Corporation Picture-in-picture (PIP) alerts
US9288424B2 (en) * 2006-02-10 2016-03-15 Cox Communications, Inc. Generating a genre-based video mosaic in a cable services network
US8428048B2 (en) * 2006-02-21 2013-04-23 Qualcomm Incorporated Multi-program viewing in a wireless apparatus
US20070250865A1 (en) * 2006-03-23 2007-10-25 Krakirian Haig H System and method for selectively recording program content from a mosaic display
KR100830469B1 (ko) * 2006-07-27 2008-05-20 엘지전자 주식회사 디지털 티브이의 피아이피를 이용한 줌 기능 실행 방법 및그 디지털 티브이
KR20080047909A (ko) * 2006-11-27 2008-05-30 삼성전자주식회사 복수개의 동영상 컨텐트의 동시 재생을 위한 데이터 전송방법 및 그 장치, 복수개의 동영상 컨텐트의 동시 재생방법 및 그 장치
US20080168501A1 (en) * 2007-01-05 2008-07-10 Microsoft Corporation Media selection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002025940A1 (en) * 2000-09-20 2002-03-28 Koninklijke Philips Electronics N.V. Picture-in-picture
US20050045119A1 (en) * 2001-06-20 2005-03-03 Honda Giken Kogyo Kabushiki Kaisha Engine cooling water passage structure and gas/liquid separator for engine cooling system
CN1784647A (zh) * 2003-05-08 2006-06-07 希尔克瑞斯特实验室公司 用于组织、选择和启动媒体项的带有可缩放的图形用户界面的控制架构
US20060289760A1 (en) * 2005-06-28 2006-12-28 Microsoft Corporation Using same optics to image, illuminate, and project

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105165017A (zh) * 2013-02-25 2015-12-16 萨万特系统有限责任公司 视频平铺
CN105165017B (zh) * 2013-02-25 2019-05-17 萨万特系统有限责任公司 用于视频平铺的方法和装置
CN104994314A (zh) * 2015-08-10 2015-10-21 合一网络技术(北京)有限公司 在移动终端上通过手势控制画中画视频的方法及系统
CN104994314B (zh) * 2015-08-10 2019-04-09 优酷网络技术（北京）有限公司 在移动终端上通过手势控制画中画视频的方法及系统

Also Published As

Publication number Publication date
JP2012503832A (ja) 2012-02-09
EP2329350A4 (en) 2012-09-19
EP2329350A2 (en) 2011-06-08
US20100077431A1 (en) 2010-03-25
RU2530284C2 (ru) 2014-10-10
RU2011111277A (ru) 2012-09-27
WO2010036660A2 (en) 2010-04-01
KR20110063466A (ko) 2011-06-10
WO2010036660A3 (en) 2010-06-24

Similar Documents

Publication Publication Date Title
CN102165403A (zh) 具有缩放功能的用户界面
US20200241719A1 (en) System and method for visual analysis of on-image gestures
US9854305B2 (en) Method, system, apparatus, and non-transitory computer readable recording medium for extracting and providing highlight image of video content
US8234583B2 (en) Media asset pivot navigation
CN102859486B (zh) 缩放显示导航
CN107846561B (zh) 确定和显示上下文定向内容的方法及系统
CN101233573B (zh) 媒体用户界面开始菜单
CN102165404B (zh) 物体检测与用户设置
US7984377B2 (en) Cascaded display of video media
US10158920B2 (en) Interaction system and interaction method thereof
US20130117782A1 (en) Contextual information between television and user device
US9990394B2 (en) Visual search and recommendation user interface and apparatus
WO2016150121A1 (en) Display method, apparatus and related display panel
US20100177122A1 (en) Video-Associated Objects
CN107005741A (zh) 沉浸式缩放交互式电视
JP6078476B2 (ja) メディアアセットに関する説明情報の表示をカスタマイズする方法
Hürst et al. HiStory: a hierarchical storyboard interface design for video browsing on mobile devices

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110824