CN103282962B - 内容排序 - Google Patents

Abstract

几种实现提供了一种用于排序或提示向观众展示的内容的系统。一种这样的实现提供了用在例如平板电脑上的低位速率系统。一种特定实现构建显示平面，该显示平面包括指示来自第一内容源的内容的第一内容源窗口和将第一内容源排序成展示设备的展示物的时间轴。将该显示平面提供给远程设备，并从远程设备接收命令信息。该命令信息用于修改该显示平面。根据接收的命令信息修改该显示平面。另一种特定实现接收显示平面、确定用于修改该显示平面的命令信息，并将该命令信息提供给远程设备以便修改该显示平面。

Description

内容排序

交叉引用相关申请

本申请要求在此通过引用全文并入以便用于所有目的的如下美国临时申请的提交日的利益：2011年1月4日提交、和发明名称为《Method and Apparatusfor Cueing Video Content（提示视频内容的方法及装置）》。

技术领域

本文描述与内容有关的实现。各种具体实现涉及视频和音频内容排序。

背景技术

家庭中的视频内容观看体验随着具有更大信号处理能力的更复杂和精良娱乐系统变得可用而持续快速发展。这样的系统往往利用广播和互联网两者输送的内容，并且，在许多情况下，同时允许观看的多种模式。但是，尽管有进步，但另外一些特征仍然可能是所希望的。

发明内容

按照一般方面，构建显示平面。该显示平面包括指示来自第一内容源的内容的第一内容源窗口；以及排序第一内容源以便供展示设备展示的时间轴。将该显示平面提供给远程设备。响应显示平面提供从远程设备接收命令信息。该命令信息用于修改该显示平面。根据接收的命令信息修改该显示平面。

按照另一个一般方面，接收显示平面。该显示平面包括指示来自第一内容源的内容的第一内容源窗口；以及排序第一内容源以便供展示设备展示的时间轴。确定命令信息。该命令信息用于修改该显示平面。将该命令信息提供给远程设备以便修改该显示平面。

在附图和如下描述中阐述了一种或多种实现的细节。即使以一种具体方式描述，但应该清楚，该实现可以以各种方式配置或具体化。例如，一种实现可以作为一种方法来执行，或具体化成像例如配置成执行一组操作的装置或存储执行一组操作的指令的装置那样的装置，或用信号具体化。其他方面和特征将从下面结合附图和权利要求书考虑的详细描述变得明显。

附图说明

图1是描绘通信设备和通信过程的一种实现的方框/流程图；

图2是输入/输出设备和输入/输出过程的一种实现的图形表示；

图3是描绘提示内容的系统和过程的一种实现的方框/流程图；

图4是排序内容的显示平面和过程的一种实现的图形表示；

图5是各种内容源的一种实现的图形表示；

图6是描绘第一内容管理过程和装置的一种实现的方框/流程图；

图7是描绘第二内容管理过程和装置的一种实现的方框/流程图；

图8是描绘内容管理系统和过程的一种实现的方框/流程图；以及

图9是描绘内容管理系统和过程的一种实现的方框/流程图.

具体实施方式

如上所述，家庭中的视频内容观看体验随着具有更强大信号处理能力的更复杂和精良的娱乐系统变得可用而持续快速发展。这样的系统往往利用广播和互联网两者输送的内容，并且，在许多情况下，同时允许观看的多种模式。但是，尽管有进步，但另外一些特征仍然可能是所希望的。

各种实现提供了一种或多种附加特征。例如，像在活动或聚会上那样，用户或操作者在招待他人的时候可能希望使观看体验最大化。为了做到这一点，可能希望在正在观看的体育赛事或比赛的广告部分期间插入像另一部电影或要闻那样的内容。

按照各种实现，用户或操作者可以有同时或顺序观看内容的几个选项。像画中画显示那样，一些娱乐系统允许在相同屏幕上同时观看不止一个事件。可能希望允许在广告期间改变频道和使用定时器在定时器到时之后返回到原来所调的广播频道。本发明人已经认识到使用户能够以这样的方式处理、变更或预订内容的机制的有用性，那就是无需观看内容的观众排序地向观看观众进行多个内容单元（element）的有序展示。各种类型的变更包括，例如，马赛克屏蔽、音频静音、场景跳过、和/或音频取代。

描述在本公开中的各种实施例涉及提示显示在视频显示系统上的内容的方法和装置。这些实施例的几个实施例包括像例如远程处理平板那样允许在显示在视频显示器上之前预览和排序内容的第二设备。可以使用像例如硬盘驱动器那样的存储介质将实况内容延时以便为提示创造条件。来自多个附加源的内容可以根据用户的编辑插入到主显示中。这些实施例的某些实施例还允许将指针用于用户预录内容的延时实况内容。在像机顶盒（“STB”）那样的主处理设备中构建主显示平面，以便在至少一种实现中，只将变化图形数字地发送给提示平板。在几种实现中使用手势来提示内容。这些手势被数字化和发送给主视频处理系统以便使序列得到处理。

现在转到图1，所示的是接收设备的具体实施例的方框图100。接收设备100在各种实施例中，例如，作为网关设备、调制解调器、机顶盒、或其他类似通信设备的一部分包括进来。所示的设备在各种实现中还被包括在例如音频设备或显示设备的其他系统中。在任何情况下，为了简洁起见，未示出完成系统的操作所需的几个组件，因为它们是本领域的普通技术人员所熟知的。

在显示在图1中的设备中，内容由输入信号接收器105接收。输入信号接收器105在各种实现中是例如用于接收、解调和解码在几种可能网络之一上提供的信号的几种已知接收电路之一。可能网络包括，例如，空中、有线、卫星、以太网、光纤和电话线网络。在所示的实现中，由输入信号接收器105根据通过控制接口110或触控面板接口115（控制接口110和触摸面板接口115在各种实现中是相同接口）提供的用户输入选择和获取想要的输入信号。触摸面板接口115包括触摸屏设备的接口（未显示在图1中）。触摸面板接口115在各种实现中适用于与手机、平板电脑、鼠标、高端遥控设备、或类似设备通过接口连接。

将来自输入信号接收器105的解码输出信号提供给输入流处理器120。输入流处理器120进行最终信号选择和处理，包括针对作为解码输出信号的一部分的内容流将视频内容与音频内容分离。将音频内容作为音频信号提供给音频处理器125。音频处理器125进行像从压缩数字信号那样的从接收格式的音频信号到模拟波形信号的转换。将模拟波形信号提供给音频接口130，并进一步提供给显示设备（未显示在图1中）或音频放大器（未显示在图1中）。可替代地，在另一种实现中，音频接口130使用高清晰度多媒体接口（HDMI）线缆或像经由索尼/飞利浦数字互联格式（SPDIF）那样的可替代音频接口将数字信号提供给音频输出设备或显示设备。音频接口130在其他实现中还包括驱动一组或多组扬声器的放大器。如果需要的话，音频处理器125还进行将音频信号存储在存储设备135中的转换。

从输入流处理器120输出视频内容作为视频信号。将视频信号提供给视频处理器140。视频信号可以是若干种格式之一。如果需要的话，视频处理器140根据视频信号的输入信号格式转换视频内容。例如，在各种实现中，将视频信号从压缩数字信号转换成模拟波形信号。如果需要的话，视频处理器140还进行将视频信号存储在存储设备135中的转换。

存储设备135存储在输入端上接收的音频和视频内容。存储设备135允许稍后在控制器145的控制下以及还根据命令获取和回放内容。这样的命令包括，例如，像从用户接口110和/或触摸面板接口115接收的快进（FF）和倒退（Rew）那样的导航指令。存储设备135在各种实现中包括，例如，（i）硬盘驱动器；（ii）像例如静态RAM（SRAM）或动态RAM（DRAM）那样的一个或多个大容量集成电子存储器；或像致密盘（CD）驱动器或数字视频盘（DVD）驱动器那样的可交换光盘存储系统。

将作为来自视频处理器140的输出提供的、和源自输入流处理器120或源自存储设备135的转换视频信号提供给显示接口150。显示接口150进一步将显示信号提供给像电视机、计算机和/或显示监视器那样的显示设备（未显示在图1中）。显示接口150在各种实现中是像例如在适当水平上将红-绿-蓝（“RGB”）信号提供给模拟RGB显示器的接口那样的模拟信号接口。在其他实现中，显示接口150是像例如以HDMI格式将数字信号提供给HDMI显示器的接口那样的数字接口。

控制器145经由总线与包括输入流处理器120、音频处理器120、视频处理器140、存储设备135和像例如用户接口110和/或触摸面板接口115那样的用户接口的接收设备100的几个组件互连。在图1的实现中，控制器145管理将来自输入流处理器120的输出信号转换成要存储在存储设备135上以在例如显示设备和/或音频再现设备上回放的信号的转换过程。接收设备100的控制器145还管理从存储设备135中获取和回放存储的内容。

控制器145进一步与控制存储器155耦合。控制存储器155在各种实现中包括易失性或非易失性存储器，其包括RAM、SRAM、DRAM、ROM、可编程ROM（PROM）、闪速存储器、电可编程ROM（EPROM）和/或电可擦除可编程ROM（EEPROM）。控制存储器155用于为控制器145存储信息和指令。控制存储器155在各种实现中存储在操作接收设备100和/或一个或多个其他设备时控制器145执行的指令。这样的其他设备在各种实现中包括例如包括接收设备100的主设备（例如，网关、机顶盒或调制解调器）和/或包含在主设备内或与主设备通信的另一个设备。

在典型实现中，控制器145执行包括，例如，软件组件和软件接口、存储在控制存储器155上和用于操作的信息和指令代码。另外，在各种实现中，一些操作通过在通信接口上通信所有或部分所存储信息和指令代码传送，并由外部设备执行。这样的外部设备在各种实现中包括，例如，如下所述的触摸面板设备。

控制存储器155在某些实现中还存储像例如包含内容的图形元素那样的元素的数据库。进一步，控制存储器155的实现在各种实施例中是在单个存储设备或可替代地在可通信地连接或耦合在一起形成共享或公用存储器的不止一个存储电路中获得。更进一步，在某些实现中，控制存储器155与像例如总线通信电路的一些部分那样的其他电路一起包括在较大电路中。

在各种实现中，接收设备100的几个组件作为视频处理单元的一部分包括进来。在至少一种这样的实现中，输入流处理器120、视频处理器140、存储设备135和控制器145作为视频处理单元的一部分包括进来。按照至少一种实现的视频处理单元的功能将在下面作更详细描述。

各种实现的用户接口处理使用可以用于表达像例如快进、倒退等那样的功能的输入设备。为了为此创造条件，如图1所示，经由接收设备100的用户接口110和/或触摸面板接口115通过接口连接像例如远程平板那样的触摸面板设备。一种这样的触摸面板设备显示在图2中。

参照图2，所示的触摸面板设备200。触摸面板设备200允许操作，例如，接收设备100或包括接收设备100的主设备（例如，机顶盒）。触摸面板设备200允许根据例如通过触摸面板设备200翻译成接收设备100、机顶盒或其他控制设备的命令的手部运动和动作进行的操作。

在各种实现中，使用手势来提供输入，尤其使用指势（finger gesture）。指势通常提供有关像例如如下那样的变量的输入：（i）一个或多个最初触摸触摸屏的初始位置（称为例如手势的接触点，或称为手势的坐标）；（ii）一个或多个手指的每一个保持在初始位置上的持续时间（称为例如手势的接触持续时间）；（iii）一个或多个手指的每一个穿过触摸屏运动的方向（称为例如手势的运动方向）；（iv）在一个或多个手指穿过触摸屏的运动期间一个或多个手指的每一个的中间和最终位置；和/或（v）一个或多个手指的每一个穿过触摸屏的运动速度（称为例如手势的运动速度）。注意，手势的速度指的是手势的运动速度和手势的运动方向的组合。

在一个实施例中，触摸屏设备200简单地用作在显示器内导航的导航工具。在另一个实施例中，触摸屏设备200另外还用作使用户可以通过内容的显示更直接地与导航交互的显示设备。

触摸屏设备200在一种实现中被集成到机顶盒本身中作为例如前面板显示器或阵列的一部分。在另一种实现中，触摸屏设备200（可替代地或附加地）作为包含像致动器按钮那样的更传统控制功能的遥控设备的一部分包括进来。

参照图3，所示的是处理和提示视频内容以便显示和观看的系统300的一个实施例。图3的系统300示例了软件和硬件组件的组合。该系统300包括视频处理单元302和远程平板304。

图3还示出了视频处理单元302通过其与远程平板304通信的通信媒介306。严格地说，通信媒介306不是系统300的一部分。

图3进一步示出了在视频处理单元302的输入端上的一系列内容选项310。内容选项310提供了一些示例，但不是限制性的或穷尽性的，也不是必需的。内容选项310被显示成输入到视频处理单元302的输入，以及作为视频处理单元302的一部分。

于是，内容选项310至少暂时存储在视频处理单元302中。但是，在典型的实现中，视频处理单元302从视频处理单元302外部的源存取至少一些内容选项310。内容选项310包括第一节目流内容311、照片内容312、音乐内容313、第二节目流内容314、游戏选择内容315、互联网流式内容316和以太网内容317。

包括在视频处理单元302中的硬件组件在至少一种实现中包括在像例如描述在图1中的接收设备100那样的接收设备中，以及进一步包括在机顶盒、网关设备或电视显示设备中。包括在视频处理单元302中的软件组件在至少一种实现中存储在接收设备或类似设备中的存储器中以及由相同设备中的控制器或微处理器执行。

远程平板304中的硬件组件在至少一种实现中包括在像例如显示在图2中的触摸面板设备200那样的触摸屏显示器或平板中。重要的是要注意到，系统的主要软件元件旨在被存储在把信号接口主要留给远程平板功能的主视频处理单元中并在该主要视频处理单元内执行。也就是说，远程平板在各种实现中不执行许多功能。而是，让系统的大多数功能由主视频处理单元来执行。

在图3中，内容310以像例如记录的节目流311和314、音乐内容313和/或来自互联网的实况流316那样的各种形式存在于视频处理单元302之中。视频处理单元302进一步包括控制块320。视频处理单元302的控制块320控制指向内容310的指针。

该指针包括实况指针和一个或多个提示指针。在系统300中，有四个提示指针，图4示出了称为提示指针1的第一提示指针和称为提示指针4的第四提示指针。实况指针用于读取和显示旨在马上向观看观众显示或展示的内容。提示指针指向构成图4中在下面的模拟中以画面表现的帧的内容。视频处理单元302包括指针控制线322。指针控制线322由控制块320控制，控制用在视频处理单元302中的各种指针。这些指针的每一个以及指针的控制将在下面作进一步描述。

视频处理单元302进一步包括与控制块320耦合的实时时钟324。如后所述，实时时钟324用于使事件同步。

视频处理单元302另外还包括实况显示帧生成器（builder）330以及显示和音频接口335。实况显示帧生成器330构建向观看观众显示的帧，并将这些帧以及相关联的音频提供给显示和音频接口335。显示和音频接口335将输出视频和音频提供给像例如电视机或计算机那样的展示设备（未示出）。实况显示帧生成器330使用实况指针来定位要向观众展示的内容。

视频处理单元302进一步包括选播员（disc jockey）（“DJ”）模拟帧生成器340。平板模拟帧生成器340创建使用户可以提示或排序各种可用内容源的提示帧。用户因此能够为实况显示帧生成器330生成的实况显示构建展示时间轴。平板模拟帧生成器340使用四个提示指针生成提示帧。如下所述，四个提示指针可由远程平板304的用户调整。

平板模拟帧生成器340的具体实现将参照图4加以描述（图4将在本申请中的其他地方作更详细说明）。平板模拟帧生成器340的实现使用指向各种内容的流或文件的音频和视频指针（更一般地称为媒体指针）。这些指针指向例如节目标题和/或媒体时间戳。在某些实现中，媒体指针包括媒体标题和节目计数器或节目时间戳基准。更一般地说，媒体指针通常包括媒体源指示符和媒体源中位置的标识符。

这些指针通常定义内容和/或视频/音频内容的帧。将视频内容转码成较小的帧分辨率和尺寸。将转码内容组装成如图4所描绘通常包括时间轴以及其他图像和控制图标的复合图像。这种也称为控制帧的复合图像和/复合图像（控制帧）的序列以较低位速率编码并被数字地发送给远程平板304。

作为一个示例，如图4所描绘，一个具体的复合图像或控制帧（也称为显示平面）由720×480像素块组成。图4的手势表（参见430）和其他静态部分是加入各种变化图像（参见402，404，406和408）的存储的不变像素图的一部分。显示平面的图像部分（参见402，404，406和408）由来自特定流位置或静态媒体的图像组成。这些图像（参见402，404，406和408）的每一个是从例如被转码成例如180×120像素的图像尺寸，以适合显示在适当的显示平面窗口（参见402，404，406和408）中的720×480像素块创建的。视频处理单元302根据用户提供的手势命令构建各种时间轴。静态部分、图像窗口（参见402，404，406和408）和各种时间轴由视频处理单元302组装成复合图像。视频处理单元302还按照各种时间轴构建最后所得的媒体序列以便向用户展示。

然后，在至少一种实现中，这个复合显示平面被MPEG编码，并被电子发送给远程平板304。因此，在这样的实现中，从视频处理单元302传输到远程平板304的数据只有位速率降低和帧速率降低的视频/音频数据序列。反过来，将来自远程平板304的数字编码的手势和按钮按压数字地发送给视频处理单元302以便进一步定义控制。

提示帧或排序帧也称为显示平面。图3包括示出显示平面的一个示例的显示平面342。

参照图4，所提供的是显示平面的另一个示例。图4包括包括四个内容窗口的显示平面400：第一内容源A的窗口402、第二内容源B的窗口404、实况内容源的窗口406和生成内容源的窗口408。窗口402显示由例如第一提示指针所指的内容。窗口404显示由例如第二提示指针所指的内容。窗口406显示由例如指向实况序列的第三提示指针所指的内容。窗口408显示由例如指向用户生成的序列的第四提示指针所指的内容。这四个提示指针如图3所示，供平板模拟帧生成器340使用。

注意，实况内容的提示指针（例如，上面标识的第三提示指针）指向使用实况显示帧生成器330将或已经向观众显示的序列。相反，生成序列的提示指针（例如，上面标识的第四提示指针）指向正在生成的序列。如下面进一步所述，可以将生成序列复制到实况序列中。于是，在许多实现中，实况序列是生成序列的以前的版本。

因此，如在现有技术中常见的那样，用户可以使用各种内容构建为接下来的五分钟（第一到第五分钟）提供内容的生成序列，并将那个生成序列复制到实况序列中。然后，视频处理单元302继续前进播放生成的在第一到第五分钟期间的序列。同时，用户可以继续生成为接下来的十分钟（第六到第十五分钟）提供内容的新“生成序列”。用户然后可以将那个新生成序列（第六到第十五分钟）复制到实况序列中。视频处理单元302然后在播放“旧”生成序列（在第一到第五分钟期间）之后继续前进播放新生成序列（在第六到第十五分钟期间）。

还要注意的是，实况内容的实况指针和提示指针两者都指向实况内容。但是，实况指针通过向观众展示的当前状态来确定。与之对比地，指向实况内容的提示指针由与显示平面交互并想要看看例如实况序列的未来部分的用户确定。

下面进一步提供对显示平面400的进一步讨论。该讨论在讨论远程平板304的情景中进行。

再次参照图3，视频处理单元302包括编码器344。编码器344使用例如超文本标记语言（“HTML”）或MPEG编码或两者编码显示平面。一种实现尤其使用HTML的版本5。编码器344是例如HTML5包装器、MPEG编码器或为数据压缩设计的另一种编码方法。

视频处理单元302还包括双工无线接口346，或一些其他通信机构（mechanism）和天线348。双工无线接口346在通信媒介306上通过天线348发送编码的显示平面。

远程平板包括天线350和双工无线接口355，或其他通信机构。远程平板304的双工无线接口355在各种实现中与视频处理单元302的双工无线接口346相同。但是，在其他实现中，双工无线接口355与双工无线接口346不同。

在工作时，远程平板304的典型实现接收通过天线350和双工无线接口355发送的显示平面。远程平板304进一步包括控制块360和解码器365。双工无线接口355将接收的显示平面提供给控制块360和解码器365两者。但是，其他实现省略了控制块360与双工无线接口355之间的连接。

远程平板304还包括能够和配置成显示解码的显示平面375的触摸屏370。解码器365产生解码的显示平面375并将它提供给触摸屏370以便向用户展示。控制块360与触摸屏370通信耦合，以便如下面进一步针对至少一种实现所说明的接收和解析手势或来自用户的其他输入。

再次参照图4，上面讨论了四个窗口402-408。显示平面400进一步包括内容选择部分410、手势图例430、时间轴部分450和工具部分490。

内容选择部分410包括可以例如被存取和集成到生成序列中的各种内容段的缩略草图。图4示出了八个内容项411-418，通过例如滚动可以得到更多。

手势图例430标识可以用于操纵内容的各种手势。图4示出了九种手势，包括粘贴和擦过手势431、选择和擦过手势432、轻拂手势433、删除手势434、选择实况手势435、复制手势436、擦过手势437、两指扩大手势438和两指缩小手势439。这些手势将在下面作进一步描述。

时间轴部分450包括实况序列时间轴451、A源时间轴452、B源时间轴453和生成序列时间轴454。图4示出了随着时间轴451-454使用手势进行内容提示的示例。

操作远程平板304的主用户可以在远程平板上使用手势来指示要进行什么操作。这些操作可以包括，例如：（i）审查帧序列；（ii）从一根时间轴选择、复制和粘贴序列到另一根时间轴；（iii）根据时间轴选择和删除序列；以及（iv）从一根时间轴只选择和复制序列的音频部分到另一根时间轴。这些手势被数字地解释和从远程平板304发送回到将手势用于为远程平板304创建序列以及改变实况媒体指针位置的视频处理单元302。如上所述，实时时钟324被用来使事件同步。

现在描述显示在显示平面400的手势图例部分430中的手势431-439。手势431-439由包括例如如下的一个或多个基本操作组成：

-（i）用手指在触摸屏上短击。短击被视为“小圆点（dot）”，在手势图例430中以及在显示平面400中的其他地方用圆圈表示。

-（ii）用手指在触摸屏上长击，长击是手指停留在触摸屏上长于短击的敲击轻击。长击被视为“长划（dash）”，在手势图例430中以及在显示平面400中的其他地方用较长的水平椭圆形表示。

-（iii）在“小圆点”或“长划”之后手指在触摸屏上的运动。在手势图例430中这些用带箭头的细线表示。箭头的方向指示手指运动的方向。运动通常可以沿着许多不同方向的一个或多个方向。

现在参照上述基本操作描述显示在手势图例430中的每种手势。

-（i）擦过一般指的是滚过或要不然移过一段内容。擦过向用户提供了例如观看或手动搜索全部内容的机制。擦过通过长击然后不提起手指地让手指沿着所希望滚动的方向移动启动。

-（ii）粘贴和擦过：用户“短击”用户希望粘贴以前复制的内容的区域。用户然后不提起手指地向下移动一小段距离以指示该手势是粘贴和擦过。用户然后不提起手指地向左或向右移动以指示所希望粘贴的区域。例如，用户轻击生成序列时间轴454的一部分，因为用户希望将内容粘贴到生成序列时间轴454上。用户然后向下移动手指，再然后向左或向右移动手指以指示生成序列时间轴454中所希望粘贴的位置。当找到所希望粘贴位置时，用户然后提起手指并粘贴内容。

用户手指的这种左/右移动被称为这种手势的“擦过”部分。在许多应用中，用户经常擦过，例如，处在时间轴上的一段内容。在这样的擦过期间，用户的手指横跨时间轴上的不同点。在这种横过期间，那根时间轴的窗口通常显示该段内容的视频。显示的视频移动（向前或向后）到与用户手指在任何给定时刻所指的时间点相对应。

以前复制的内容通常具有固定持续时间。因此，在各种实现中，用户只识别粘贴的开始地点（或在可替代实现中，结束地点）。另外，粘贴命令在各种实现中作为插入或作为盖写来执行，或使用户可以指定粘贴是插入还是盖写。

粘贴命令在不同实现中以各种方式实现。例如，在某些实现中，使用“拖拉”手势通过拖拉将所选内容粘贴到所希望地点。拖拉手势在各种实现中通过短击，接着将手指移动到所希望地点来完成。

粘贴的内容可以是多种不同项目。例如，粘贴的内容在各种应用中是内容缩略图411-418之一、时间轴451-454之一的一部分或整个时间轴。

-（iii）选择和擦过：用户“短击”用户希望选择内容的区域。用户然后不提起手指地向上移动一小段距离以指示该手势是选择和擦过。用户然后不提起手指地向左或向右移动以指示用户想选择的内容的一个端点。例如，用户轻击A源时间轴452的一部分，因为用户希望选择A源时间轴452中的内容。用户然后向上移动手指，再然后向左或向右移动手指以指示A源时间轴452中用户想选择的内容的第一端点。选择第一端点被视为插入（punching-in），或被视为插入内容（punch-in）。

在选择了一个端点之后，用户选择第二端点。选择第二端点被视为退出（punching-out），或视为退出内容（punch-out）。为了选择第二端点，用户在选择了第一端点之后提起手指，再次短击相同内容区，擦过（向左或向右移动）找出所希望的第二端点，并提起手指。在选择了第二端点之后，已经选择了该段内容。在许多应用中，所选内容像例如通过改变颜色那样以某种方式改变外观。

用户一般在进行了“选择和擦过”之后做出另一个手势。例如，在“选择和擦过”手势之后往往做出“粘贴和擦过”手势、“轻拂”手势、“删除”手势或“复制”手势。

选择的内容可以是多种不同项目。例如，选择的内容在各种应用中是内容缩略图411-418之一、时间轴451-454之一的一部分或整个时间轴。

因此，作为一个示例，选择和擦过手势提供了为删除、复制或移动设置序列的起点和终点的机制。擦过允许在内容内前后移动以便准确定出适当选择位置。选择点内容在各种实现中被显示在像例如窗口402-408之一那样的观看窗口中。

-（iv）轻拂：用户在一段内容上“短击”。用户然后不提起手指地沿着一个方向移动手指。该方向指示用户希望移动该段内容的方向。所移动内容的初始速度由手指释放之前的速度决定。内容似乎具有动力（momentum），并响应模拟的阻力减速。在一种应用中，用户朝右轻拂所选的一段内容以便在时间轴上向后移动一点时间。在另一种应用中，用户将内容缩略图411-418之一轻拂到窗口402-408之一中。在另一种应用中，用户将内容缩略图411-418之一轻拂到时间轴451-454之一上。在许多应用中，移动的速度（轻拂的速度）指示被轻拂项移动的距离。

-（v）删除：用户确定应该删除一个项目。用户然后迅速相继地在该项目中的相同位置上进行两次“短击”和一次“长击”。所删除的项目/内容可以是多种不同项目。例如，删除的内容在各种实现中是内容缩略图411-418之一、时间轴451-454之一的一部分或整个时间轴。删除往往在进行了“选择和擦过”手势之后进行。

在各种实现中，删除操作对时间轴有不同影响。在某些实现中，在删除了时间轴所选的一部分之后，右边（时间上晚一点）的内容自动移动到左边（时间上早一点）以取代删除的内容。这非常像从一叠方块中移去一个方块，其中所有较高的方块向下移动以填充移去方块造成的空缺。在其他实现中，简单地用黑色重写被删除的时间轴部分。在这些实现中，“移动”手势通常被提供用来允许用户选择和移动来自被删除部分的左边（或右边）的内容，移动时间轴的那一侧来填充空缺。

-（vi）选择实况：用户确定应该将实况时间轴改变成另一个内容源。用户短击该内容，然后长击该内容，然后次再短击该内容。这被视为在内容中画小圆点、长划、小圆点。用户在各种实现中能够在包括例如内容缩略图411-418之一、窗口402-408之一或时间轴451-454之一的多种项目上做出“选择实况”手势。

“选择实况”手势提供了用户（主机）为观众修改内容的快速机制。在一种情形中，观众正在观看足球比赛，用户已经将家庭视频拉到A源时间轴452中。用户注意到在足球比赛期间已经开始播广告了，于是在A源时间轴452上做出“选择实况”手势。用户还将足球比赛拉入B源时间轴453中（在一种可替代实现中，远程平板304的系统软件被配置成自动执行这种操作），因此在内容源B的窗口404上正在显示足球比赛。当用户在窗口404上注意到广告已经结束和足球比赛已经继续时，用户接着在窗口404上做出“选择实况”手势。

-（vii）复制：用户确定应该复制一个项目。用户可以复制内容，以便此后进行像例如将复制的内容粘贴在另一个位置、删除内容或轻拂内容那样的另一个手势。为了复制内容，用户迅速相继地在该项目中的相同位置上“短击”和“长击”。在许多应用中，复制的内容像例如通过改变颜色那样以某种方式改变外观。

-（viii）两指扩大：用户确定应该扩大一个项目。例如，用户确定生成序列时间轴454上的时间尺度过于压缩。用户将两个手指靠拢并同时将两个手指放在时间轴上要扩大的点上。用户然后沿着希望扩大的方向相背离地同时移动两个手指。

-（ix）两指缩小：用户确定应该缩小一个项目。例如，用户确定应该压缩生成序列时间轴454上的时间尺度。用户同时使用两个手指做出这种手势。用户将相互分开的两个手指同时放在时间轴上要缩小的区域上。用户然后朝着对方同时移动两个手指。

上述手势只是例示性的，而无意成为穷尽性的。各种实现只使用上述手势的一部分和/或使用另外的手势。例如，某些实现包括用于一种或多种如下的手势：（i）选择特定窗口；（ii）选择显示在特定窗口中的时间；（iii）选择在远程平板304上将要播放音频的窗口；或（iv）以实时的正常速度或某个倍数播放（向前或反向）、暂停、跳到最后、跳到开头或特定窗口的其他常用命令。另外，其他实现包括涉及不止两个手指和/或涉及其他运动的手势。

进一步，针对显示平面中的按钮或其他图形定义其他手势。例如，显示平面400在窗口402-408的每一个中包括图形条483。图形条483在窗口406和408中是扩大的，在窗口402和404中是缩小的。图形条483包括许多常用命令的按钮，包括向前播放、反向播放、快进播放、快倒播放、音量增大、音量减小和静音。图形条483还包括指示节目时间的信息符号和帧速率指示符。通过例如在一个按钮上进行短击，用户可以命令视频处理单元302。

控制块360监视触摸屏370接收来自用户的手势。当触摸触摸屏370时，控制块360分析该触摸以确定手势的位置和做出哪种手势。在确定了手势之后，控制块360确定手势标识符和手势位置，并编码手势标识符和手势位置两者。

控制块360在某些实现中通过按做出手势的次序识别手势的基本操作来确定手势。控制块360然后通过将这些操作与所定义可用手势的操作匹配来确定手势。在确定了手势之后，在某些实现中将手势与手势序号相关联。手势序号在某些实现中是手势标识符。在其他实现中，将手势序号用作确定用作手势标识符的位序列的表格中的索引。在某些实现中，表格查找为每个手势序号提供了不变位速率或可变位速率位序列。在存在八到十六个之间的手势的实现中，简单的不变位速率编码将四个位分配给每个手势。

手势位置指的是触摸屏370上接收手势的位置。典型的实现提供了手势位置的（x，y）坐标。但是，某些手势需要不止一个（x，y）坐标。例如，如果检测到手指移动，则控制块360还确定手指移动的范围，以及如果需要的话，速度的指示。这种位置信息可以以几种已知方式表示。在各种可替代实现中，使用像例如陀螺鼠标传感器那样的陀螺传感器，或使用运动感测加速度计设备通信手势。

控制块360将编码信息提供给双工无线接口355。双工无线接口355使用天线350将编码手势信息发送给视频处理单元302。

可以看到，远程平板304的许多实现提供了低数据速率(也称为窄带宽)的从远程平板304到视频处理单元302的通信。例如，发送手势标识符和手势位置所需的数据速率在许多实现中相当小。

再次参照图4，工具部分490包括工具的几个示例。这些例子包括如下工具。

-通过幻灯片放映按钮492激活的幻灯片放映工具。幻灯片放映工具用于生成幻灯片放映，例如，加入音乐或用户叙述的音频。

-通过静音按钮494激活的静音工具。静音工具是用户使例如系统音频静音的方便方式。

-通过画中画按钮496激活的画中画（“PIP”）工具。PIP工具用于在主显示监视器上以PIP方式为观看观众显示例如两个或更多个远程平板窗口402，404，406和408。

-通过“显示声道”按钮498激活的“显示声道”工具。“显示声道”工具用于例如将声道重叠在显示的视频时间轴上，和/或与视频时间轴一起显示声道。

仍然参照图4，图中指示了几种用户提示（排序）操作。现在描述三种排序操作。

在第一种用户排序操作中，示出了叠加在内容项418上的复制手势461（“小圆点-长划”）。这指示用户动作，而不是显示平面418的一部分。用户在复制手势461所指示的位置上做出复制手势461，以便复制内容项418。然后使用如B源时间轴453中的粘贴和擦过记号462所指示的粘贴和擦过手势431将复制的内容项418粘贴在B源时间轴453中。

图4还示出了为两个目的服务的移动线463。第一个目的是指示复制的内容项418是使用粘贴和擦过记号462粘贴的内容。第二个目的是示例使用拖放操作粘贴内容的另一种实现。拖放操作进一步用拖放记号464指示。假定用户预览了B源时间轴453上的内容418。注意，拖放操作未显示在手势图例430中。

在第二种用户排序操作中，用户已经选择某个内容并将它（未示出）插入A源时间轴452中。在可能预览了内容之后，用户使用两次“选择和擦过”手势432选择端点来从A源时间轴452中选择内容。两次选择和擦过手势432通过选择和擦过记号471和选择和擦过记号472示出。

然后，如复制记号474所示，使用复制手势436复制所选内容。使用如粘贴和擦过记号476所示的粘贴和擦过手势431将复制的内容粘贴在生成序列时间轴454中。

图4还示出了为两个目的服务的移动线477。第一个目的是指示从A源时间轴452复制的内容项是使用粘贴和擦过记号476粘贴的内容。第二个目的是示例使用拖放操作粘贴内容的另一种实现。拖放操作进一步用拖放记号478指示。

在第三种用户排序操作中，用户将预先复制的内容粘贴到实况序列时间轴451中。到实况序列时间轴451的粘贴如粘贴和擦过记号481所示，使用粘贴和擦过手势431来进行。如实况序列时间轴451上的实况指针标记464所指示的，粘贴的内容仍然是未来的。

在第四种用户排序操作中，如选择实况符号记号485所示，用户在窗口404上执行选择实况手势435。“LIVE”序列时间轴和内容被“B”序列时间轴和内容取代。于是，“LIVE”显示（窗口406）将在放置“选择”标记的点上或如果未指定选择线/标记则在序列的开头播放曾经在“B”序列时间轴453中的内容。

远程平板304的用户可以在观众仍然正在观看视频流的同时离线操纵内容。这种能力为观看观众提供了不间断媒体序列。一个示例如下。

在至少一种实现中，通过像例如也称为个人录像机（“PVR”）或数字录像机（“DVR”）的个人数据记录器（“PDR”）那样的用户媒体记录设备广播和记录实况足球比赛。在广播戏剧，同时相同媒体设备正在记录这种演出。自节目开始以来已经过去了一些时间，使得在记录媒体上领先记录了几分钟的节目。这使用户能够除去像广告那样的内容部分，并插入像例如戏剧那样的其他内容或像全家到公园旅游那样的其他个人媒体材料来取代除去的部分。主设备（例如，视频处理单元302）稍微延迟像足球比赛那样的事件，以便可以导航和用第二视频序列（例如，电影戏剧序列）取代广告。

可替代地或附加地，远程媒体板或平板在某些实现中被设置成使赛事的播放根据触摸屏命令继续。例如，在某些应用中用户是观看观众的一部分。当出现广告时，用户确定观众是否想观看广告。如果观众不想观看广告，则用户在远程平板304上提供触摸屏命令，视频处理单元302继续播放部分预录赛事。

在上述实现的许多实现中，在主视频处理系统中提示内容，并且只将最终图形显示平面发送给远程显示平板。这有利地呈现窄带宽通信要求。

另外，各种实现也具有从远程平板304到视频处理单元302的窄带宽通信要求。出现这种情况是因为例如如前所述的手势信息是低数据速率的。

参照图5，所示的是可用在多种实现中的内容的选择。图5的内容在某些实现中作为显示平面400的内容选择部分410中的缩略图来提供。描绘在图5中的实际内容在各种实现中驻留在视频处理单元302上和/或在包括例如局部PDR或其他局部联网存储驱动器和/或互联网访问网站（像例如云状存储设备）的远程存储设备上。在一种实现中，图5代表插入视频处理单元302或远程平板304中的指状驱动器上的内容。在另一种实现中，图5代表可从与视频处理单元302无线通信（使用，例如，蓝牙连线）的手机中获得的内容。

重要的是要注意到，视频处理单元302的典型实现包括像存储以前记录的节目以及当前实况内容的硬盘驱动器那样的存储介质。各种实现的视频处理单元302另外（i）具有上网能力和/或（ii）与像例如存储棒、附加硬盘驱动器、DVD、蓝光光盘和/或“云”存储设备那样的其他媒体源连接。存储在这种存储介质上的是多种内容，包括例如：（i）用户内容；（ii）可从像例如网络文件传输协议（“FTP”）服务器网站那样的其他源中获得的内容；（iii）共享内容；（iv）商业上制作的内容；和/或（v）实况或延迟节目。

如上所述，图3中的系统300还包括这种编辑设备的控制的无线远程可访问性（accessibility）。也就是说，远程平板304能够与视频处理单元302无线远程通信以编辑时间轴。无线功能在各种实现中通过像电气和电子工程师学会（IEEE）标准802.11那样的手段来提供。在视频处理单元302的主设备（例如，机顶盒的个人录像机（PVR））中执行实际编辑队列（例如，处理创建显示序列的所接收的手势命令）。将两种或更多种视频/音频流（例如，来自内容选项310）转码成较低位速率来传输并传递到远程平板304。远程平板304具有如例如图4所示的图形用户界面。对所有素材（material）的导航和内容的排序或排队利用例如“旋钮（jog shuttle）”（一种手动接口）或触摸屏使用编辑手势完成。

使用多窗口显示平面将像远程FTP服务器或蓝光光盘那样的媒体源实现成或实例化成各种实现。这可以例如通过将显示平面400的窗口402（以前被描述成用于内容源A）用作来自远程FTP服务器或来自蓝光光盘的内容的窗口来显示。

与其他源一起，对来自这些源的序列进行转码，并发送给显示平面中的远程平板304。转码一般指的是以降低源的位速率的方式编码。在各种实现中，以至少两种方式降低源内容的位速率。

第一种方式涉及以比标准视频帧速率低的帧速率和/或以减小传输带宽的较低分辨率位速率将显示平面提供给远程平板304。例如，各种实现的视频处理单元302以每秒十五个显示平面的速率提供显示平面。因此，以每秒只有十五个帧的帧速率提供在窗口402-408中提供的视频。这低于例如每秒三十个帧的更标准速率。

第二种方式涉及编码显示平面以便压缩数据。在某些实现中该编码使用实现位数大幅减少的有损编码。有损编码机制的一个示例是MPEG编码。

在各种其他实现中，视频处理单元302转码来自源的序列，并且不创建显示平面地将转码数据发送给远程平板304。相反，远程平板304使用远程平板304的处理能力将转码序列组装成显示平面。

在各种实现中，由视频处理单元302保存媒体流标记和视频/音频提示指针时间戳信息。这种保存使展示能够依照通过手势生成的节目脚本和来自远程平板30的时间轴修改从一个媒体事件跳到另一个媒体事件。

在各种实现中，使用像DVD播放器和/或蓝光播放器那样的设备将媒体插入实况节目中。在各种这样的实现中，存储盘时间信息。盘时间信息用于建立盘播放器播放位置和实现根据展示时间轴上的适当点处的媒体内容内所定义点的回放。在一种实现中，视频处理单元302在编辑插入的点处暂停蓝光播放器，以便当出现编辑点时，可以无缝过渡到盘播放。盘播放器的控制在各种实现中通过红外线无线地、通过射频（RF）无线地或通过有线控制来完成。

在至少一种实现中，传递给远程平板304的唯一信息是转码的显示平面和元数据。元数据只包括表示在时间轴和显示窗中的各个媒体内容的节目名称和时间戳信息。

注意，系统300的典型实现整体地编码和发送显示平面。因此，为了将更新的显示平面提供给远程平板304，视频处理单元302创建、编码和发送整个显示平面。时常，更新的显示平面只有例如单个窗口的内容不同。各种实现以把位集中在更新显示平面不同的部分上的方式使用MPEG或其他差分编码来编码显示平面。

上述的各种实施例涉及提示主要观看屏幕内容（例如，由实况显示帧生成器330提供的内容）的远程第二屏幕平板功能（例如，远程平板304）。在几个人参与像足球比赛那样的媒体观看事件的一段时间期间，内容的主机或主控者可能希望改变正在观看的节目。节目观看的改变可能由于在广播中播送广告，或可能由于用户希望插入像最近巴黎之旅的图片那样的内容。内容可以通过像802.11、蓝牙、用于消费电子产品的射频（RF4CE）、Zigbee那样的手段无线地或经由指状驱动器将媒体与视频处理单元连接来传递或上载。主用户或客户端使用远程平板设备来提示内容，并且能够在下一个广告开始时或可替代地到用户希望或识别的触发事件的定时时（例如，在足球比赛的中场信息时间）有序播放该内容。

还应该清楚，在几种实现中，远程媒体平板或面板提供了在主用户系统上找到内容文件并将它们加载到显示序列的时间轴中的浏览设备。各种实现的浏览设备搜索例如互联网上的内容、各种媒体信道（例如，卫星或线缆）、预录内容、实况内容、蓝光媒体、和/或DVD媒体。如果插入若干单独的图片，则可以选择幻灯片演示选项。如果选择视频序列，则通过预录一小部分和有效时移比赛排队在足球比赛广告的时刻开始。远程平板利用手势来选择内容和生成提示事件。

上述系统的各种实现有效地赋予主机以与选播员或视频编辑者/展示者类似的处理能力。通过排队媒体和在远程平板观察器上显示内容的方法，各种实施例使操作者或内容拥有者可以排序和展示多个节目，并且用他们的内容替代正在显示的比赛或赛事的广告序列。

如前面针对例如选择实况手势435所述，各种实施例进一步允许向主机实况显示比赛广告。这使主机可以例如取代广告播放不同内容，并知道广告结束的时间，以便可以继续观看比赛。

在相关实现中，用户（主机）“屏蔽（black out）”广告。用户也在某些应用中在广告期间提供音乐覆盖。这是例如当存在广告时进行两次操作完成的。操作之一是当广告开始时在音乐内容上做出选择实况手势435。两次操作的另一次操作是当广告开始时在实况序列时间轴451上进行“视频静音”操作。视频静音操作屏蔽视频。视频静音操作在各种实施例中使用例如手势（未示出）或按钮（未示出）来实现。

在上述实现中，用户在某些情况下还确定屏蔽的广告是观众感兴趣的。在这样的情形下，用户具有在实况序列时间轴451上排序以稍后播放该广告的能力。

在各种实现中，以内容处在主显示的较小窗口中供观众观看的PIP格式放置媒体内容。显示平面的窗口在某些实现中被配置成使PIP得到较好的显示，和/或指示PIP在实况显示上所在的地方。

在更进一步的实现中，提供局部视频静音的手势或按钮。局部视频静音屏蔽视频屏幕的一部分，留下小部分可见，以便当广告结束时用户或观众相对容易地看到。在各种实现中，可以由用户设置和改变视频屏幕被屏蔽的部分。

在可替代实施例中，将位流发送给远程平板304加以处理，而不是在视频处理单元302中进行处理。在一种这样的实现中，视频处理单元302中的转码器转码存储在例如硬盘驱动器上的内容。该内容被转码成具有较简单视频信号格式的数据流。还转码时间码标记。将这些降低的位速率流以及相关联的标记发送给远程平板304。远程平板304具有滚过所接收内容的交互能力。这种实现具有低传送速率和窄带宽，因为传送到远程平板304的所有数据都是当前帧的转码视频和时间戳信息。

描述在本申请中的各种实施例为提示、变更和传送视频内容以便显示在视频显示系统上而提供。这些实施例包括用作远程处理平板的第二设备，使内容在显示在视频显示器上之前能够预览和排序。可以使用像例如硬盘驱动器那样的存储介质将实况内容延时，以允许提示。可以插入来自多个附加源的内容以便显示在主显示器上。这些实施例包括使用指向延时实况内容和/或用户预录内容的指针。在作为主处理设备（例如，机顶盒、网关、路由器）的一部分的视频处理单元中构建主显示平面。这允许只有变化图形被数字地发送到远程处理平板以用于提示。在远程平板上使用手势来提示和控制内容。这些手势被数字化和发回给视频处理单元以能够处理（例如，编辑、变更、插入）组合视频序列。

参照图6，提供的是过程600。过程600包括构建显示平面（610）。如本申请所述，这在各种实现中例如由视频处理单元302来完成。

在各种实现中，该显示平面包括指示来自第一内容源的内容的第一内容源窗口和排序第一内容源以便供展示设备展示的时间轴。在更多的实现中，该显示平面进一步包括指示来自第二内容源的内容的第二内容源窗口和用于排序第一内容源和第二内容源以便供展示设备展示的时间轴。

在各种实现中，第一内容源窗口通过示出已经选为第一内容源的内容的指示来指示来自第一内容源的内容。这样的指示是例如图标。这样的指示不需要展示第一内容源的实际内容。在各种这样的实现中，不展示实际内容。在各种其他这样的实现中，在可替代展示设备上展示实际内容，像例如正在展示内容的主显示器的画中画那样。

在各种实现中，第一内容源窗口通过在第一内容源窗口中展示内容来指示来自第一内容源的内容。第一内容源窗口通过例如在第一内容源窗口中显示视频内容来展示来自第一内容源的视频内容。当播放音频时，第一内容源窗口通过例如在第一内容源窗口中显示音频的幅度曲线图来展示来自第一内容源的音频内容。

过程600包括向远程设备提供显示平面（620）。如本申请所述，这在各种实现中，例如，由视频处理单元302将显示平面发送给远程平板304来完成。

过程600包括接收修改显示平面的命令信息（630）。如本申请所述，这在各种实现中例如由视频处理单元302从远程平板304接收手势标识符和手势位置来完成。

过程600包括根据命令信息修改显示平面（640）。如本申请所述，这在各种实现中例如由视频处理单元302响应从远程平板304接收的手势标识符和手势位置修改显示平面400来完成。

在各种实现中，修改显示平面包括修改第一内容源窗口，以便第一内容源窗口指示来自与第一内容源不同的第二内容源的内容。修改显示平面还包括例如在时间轴上四处移动内容。

参照图7，提供过程700。过程700包括接收显示平面（710）。如本申请所述，这在各种实现中例如由远程平板304从视频处理单元302接收显示平面400来完成。

过程700包括确定修改显示平面的命令信息（720）。如本申请所述，这在各种实现中例如由远程平板304的控制块360（i）根据从触摸屏370接收的输入确定手势和（ii）为手势确定手势标识符和手势位置来完成。

过程700包括向远程设备提供命令信息以便修改显示平面（730）。如本申请所述，这在各种实现中例如由远程平板304向视频处理单元302发送手势标识符和手势位置来完成。如本申请所述，发送命令信息使视频处理单元302能够修改显示平面400。

现在参照图8，所示的是可以应用上述特征和原理的内容管理系统或装置800。内容管理系统或装置800可以是例如使用像例如卫星、电缆、电话线、地面广播、红外线或射频那样的多种媒介的任何一种传输信号的系统。内容管理系统或装置800还或可替代地可以用于例如提供供存储的信号。传输可以例如通过互联网或一些其他网络上或瞄准线（line of sight）进行。内容管理系统或装置800能够生成和传递例如视频内容和其他内容以便用在例如展示的提示内容中。还应该清楚，图8的方块除了提供内容管理系统或装置的方框图之外，还提供了内容管理过程的流程图。

内容管理系统或装置800接收来自处理器801的显示平面。在一种实现中，处理器801是内容管理系统或装置800的一部分。在各种实现中，处理器801被配置成执行过程800。

内容管理系统或装置800包括编码器802和能够发送编码信号的发送器/接收器804。编码器802接收来自处理器801的显示平面。编码器802根据显示平面生成编码信号和在某些实现中的元数据信息。编码器802可以是例如AVC编码器。AVC编码器可以应用于视频和其他信息两者。

编码器802可以包括子模块，包括例如接收各种信息段并将其组装成供存储或发送的结构化格式的组装单元。各种信息段可以包括例如编码或未编码视频和像例如运动矢量、编码模式指示符和语法元素那样的编码或未编码元素。在一些实现中，编码器802包括处理器801，因此执行处理器801的操作。

发送器/接收器804接收来自编码器802的编码信号，并且在一个或多个输出信号中发送编码信号。典型的发送器执行像例如提供纠错编码、交织信号中的数据、将信号中的能量随机化和利用调制器/解调器806将信号调制在一种或多种载波上的一种或多种那样的功能。发送器/接收器804可以包括天线（未示出）或与其通过接口连接。进一步，发送器/接收器804的实现可以限制为调制器/解调器806。

内容管理系统或装置800还与存储单元808通信耦合。在一种实现中，存储单元808与编码器802耦合，存储单元808存储来自编码器802的编码位流。在另一种实现中，存储单元808与发送器/接收器804耦合，存储来自发送器/接收器804的位流。来自发送器/接收器804的位流可以包括例如已经通过发送器/接收器804进一步处理的一个或多个编码位流。存储单元808在不同实现中是标准DVD、蓝光光盘、硬盘驱动器或一些其他存储设备的一种或多种。

内容管理系统或装置800还可与像例如电视机、计算机、膝上型电脑、平板电脑或手机那样的展示设备809通信耦合。处理器801向展示设备809提供输入。该输入通常包括旨在向观众展示的内容的序列。

现在参照图9，所示的是可以应用上述特征和原理的内容管理系统或装置900。内容管理系统或装置900可以配置成在像例如卫星、电缆、电话线、地面广播、红外线或射频那样的多种媒介上接收信号。该信号可以例如通过互联网或一些其他网络或瞄准线来接收。还应该清楚，图9的方块除了提供内容管理系统或装置的方框图之外，还提供了内容管理过程的流程图。

内容管理系统或装置900可以是例如手机、计算机、平板电脑、机顶盒、网关、路由器或接收编码内容和提供提示输入的其他设备。

内容管理系统或装置900能够接收和处理内容信息，该内容信息可以包括例如显示平面、视频图像和/或元数据。内容管理系统或装置900包括用于接收像例如描述在本申请的实现中的信号那样的编码信号的发送器/接收器902。发送器/接收器902在各种实现中接收例如提供从图8的内容管理系统800输出的一个或多个信号的信号或提供从视频处理单元302输出的画面的发送的信号。

典型的接收器执行像例如接收调制和编码数据信号、使用调制器/解调器904从一种或多种载波中解调数据信号、对信号中的能量去随机化、对信号中的数据去交织和纠错解码信号的一种或多种那样的功能。发送器/接收器902可以包括天线（未示出）或与其通过接口连接。发送器/接收器904的实现可以限制为调制器/解调器904。

内容管理系统或装置900包括解码器906。发送器/接收器902将接收信号提供给解码器906。发送器/接收器902提供给解码器906的信号可以包括一个或多个编码位流。解码器906输出像例如解码显示平面那样的解码信号。解码器906在各种实现中是例如AVC解码器。

内容管理系统或装置900还与存储单元907通信耦合。在一种实现中，存储单元907与发送器/接收器902耦合，发送器/接收器902从存储单元907中存取位流。在另一种实现中，存储单元907与解码器906耦合，解码器906从存储单元907中存取位流。从存储单元907中存取的位流在不同实现中包括一个或多个编码位流。存储单元907在不同实现中是标准DVD、蓝光光盘、硬盘驱动器或一些其他存储设备的一种或多种。

在一种实现中，将来自解码器906的输出视频提供给处理器908。处理器908在一种实现中是被配置成执行例如所有或部分过程700的处理器。在一种这样的实现中，处理器908是控制块360。在另一种实现中，处理器908被配置成执行一个或多个后处理操作。

在一些实现中，解码器906包括处理器908，因此执行处理器908的操作。在其他实现中，处理器908是像例如机顶盒、平板电脑、路由器或电视机那样的下游设备的一部分。更一般地说，处理器908和/或内容管理系统或装置900在各种实现中是网关、路由器、机顶盒、平板电脑、电视机、或计算机的一部分。

内容管理系统或装置900还被配置成接收来自用户或其他输入源的输入。该输入在典型的实现中由处理器908使用未明确显示在图9中的机制来接收。该输入机制在各种实现中包括触摸屏、鼠标或麦克风。在至少一种实现中，该输入包括提示指令。

内容管理系统或装置900还被配置成向远程设备提供像例如提示指令那样的输入。该输入例如使用调制器/解调器904来调制和使用发送器/接收器902来发送。

再次参照图8，内容管理系统或装置800进一步被配置成接收像例如提示输入那样的输入。该输入由发送器/接收器902接收，并提供给处理器801。在各种实现中，处理器801使用该输入来修改显示平面，并从内容管理系统或装置800发送修改后的显示平面。

再次参照图3，包括实况显示帧生成器330、平板模拟帧生成器340、编码器344和控制块320执行的操作的视频处理单元302执行的操作在各种实现中由单个处理器或由多个处理器来执行。类似地，包括控制块360和解码器365执行的操作的远程平板304执行的操作在各种实现中由单个处理器或由多个处理器来执行。

仍然参照图3，远程平板304和视频处理单元302被显示成具有数字通信的能力。在特定实现中，该通信使用IEEE802.11n。当使用IEEE802.11n或其他通信手段时，其他的实现允许将USB驱动器插入远程平板304中。远程平板304能够存取存储在USB驱动器上的内容，并数字地将那个内容传送给视频处理单元302或要不然使该内容作为附加媒体源可被提供给视频处理单元302。如此，这样的实现为正在操作远程平板304的用户提供了将内容源加入系统300中的简单机制。

上面各种实现也假定包括音频。某些实现通过包括附加特征来接纳音频。一种这样的特征是为实况指针和实况源提示指针的每一个提供独立的（separate）音频和视频指针。因此，例如，在一种实现中，实况显示帧生成器330使用实况视频指针和实况音频指针两者，平板模拟帧生成器340使用实况视频源提示指针和实况音频源提示指针两者。音频指针往往指向与视频指针相同的源，因为往往感兴趣的是与视频相对应的音频。例如，当观看足球比赛时，观众往往想听到比赛播报员正在说的东西。但是，在其他应用中，用户想要在显示来自相片内容312的图片的同时包括来自音乐内容313的音频内容。在另外的其他应用中，用户将切换到像例如收音机或互联网播报员那样的独立的（separate）音频源。各种实现还提供延迟特征来延迟音频和/或视频，以便实现视频与音频之间的同步。

进一步，在各种应用中，用户想取代与视频相对应的音频。例如，用户在观看家庭视频的时候可能想包括作为音频的歌曲（来自音乐内容313）。在另外的其他实现中，用户可能想像例如使家庭视频中的歌曲渐强和渐弱那样混合来自各种源的音频或使它们渐变。

为了支持各种音频特征，某些实现提供了将音频叠加在生成序列时间轴454（或例如任何其他时间轴）上的手势。叠加音频只取代生成序列时间轴454的相关部分上的内容的音频部分。在一种情形下，用户（i）将家庭视频插入生成序列时间轴454中，（ii）从内容选择部分410复制音频源，（iii）将复制的音频粘贴到例如A源时间轴452中，并预览复制的音频，以及（iv）将那个音频的一部分复制和粘贴到生成序列时间轴454上作为家庭视频的叠加音频。插入叠加音频的最后操作使用叠加音频手势。

各种实现还提供取代像例如足球比赛那样的视频源中的广告的简化过程。用户选择作为主要展示物的视频源，并启动该过程。该过程询问用户是否选择第二源作为广告的填充物，或用户可以预先识别这个源。该过程然后自动识别主要展示物中的广告，并用填充源的连续部分填充它们。该过程将修改的序列复制到实况序列时间轴451中，并且当主要展示物变为可用时，为主要展示物的随后部分周期性地重复该过程。可以以增量（increment）方式使主要展示物变得可用，因为例如（i）正在实况广播基本展示物，并且在向观众展示之前在PDR上只缓存或预录了十五分钟，或（ii）内容提示系统300的缓存能力是有限的。

各种实现还可以在不使用触摸屏的情况下操作。这些实现的某些实现使用像例如摄像机那样的可替代技术捕获用户的手势。其他实现使用例如语音识别技术和/或通过跟踪眼睛运动来捕获用户的命令。

各种实现还可以在不发送和接收显示平面的情况下操作。例如，某些实现使用视频处理单元302的变体在不发送实际显示平面的情况下发送内容信息。这样的实现通常使用元数据来指示时间轴和内容。

各种实现可以在视频处理单元302与远程平板304之间具有相当大距离的情况下操作。在几种这样的实现中，视频处理单元302与远程平板304之间的通信使用广播、电缆和/或卫星链路的组合来进行。某些实现使用互联网和/或基于互联网的服务来发送和接收包括编码手势信息的显示平面和元数据。一种特定实现使用Skype通话来发送和接收显示平面和元数据。

本申请中的许多实现至少部分基于视频内容。但是，其他实现和应用向观众展示非视频内容。这样的非视频内容包括例如音频、运动、香味或其他刺激物。例如，在一种实现中，观众被固定在机械化座位上，用户将提供运动的脚本化序列的一组指令包括在序列中。在各种应用中，用户还叠加用于使用被包括在机械化座位中的适当香味机提供各种香味和气味的指令。显然，各种实现无需提供例如视频，而可以提供内容的任何组合。

各种实现涉及时间轴。一些例子包括实况序列时间轴451、A源时间轴452、B源时间轴453和生成序列时间轴454。应该清楚，时间轴在这样的实现中是为一个或多个内容段展示定时信息的机制。这样，其他实现展示时间轴中的不同的定时信息段。另外，其他实现使用多种不同表示来刻画时间轴。一种这样的实现使用表格表示来指示一段内容的关键定时事件。在一种这样的实现中，元数据包括（i）节目名称（实际名称或像例如频道名或文件名那样的内容描述）；（ii）如例如通过系统时钟参考时间戳或SMPTE时间编码定义的音频/视频节目计数器值；以及（iii）节目的总长度。

各种实现对视频内容操作。这样的内容在各种实现中包括广播内容、互联网传递的内容、预录的DVD内容、蓝光便携内容、USB和/或蓝牙便携式设备内容和/或Skype视频电话通话内容的一种或多种。

值得注意的是，一些实现具有特定优点或缺点。但是，对一种实现的缺点的讨论不会使那种实现失去优点，也不会表明该实现不是可行的，而甚至是值得推荐的实现。

各种实现产生或处理信号和/或信号结构。这样的信号在某些实现中使用伪代码或语法形成。该信号在各种实现中在视频处理单元302、远程平板304、处理器801、编码器802、发送器/接收器804、发送器/接收器902、解码器906、或处理器908的输出端上产生。该信号和/或信号结构在各种实现中被传输和/或存储（例如，在处理器可读介质上）。

本申请提供了包括图1，3和6-9的方框/流程图的多个方框/流程图。应该注意，本申请的方框/流程图展示了描述过程的流程图和描述装置、设备或系统的功能块的方框图两者。进一步，方框/流程图示出了组件与组件的输出之间的关系。另外，本申请提供了包括图2和4-5的图形表示的多种图形表示。应该清楚，至少图2和4的图形表示展示了设备或屏幕的可视表示，以及与设备或屏幕交互的过程两者。

另外，即使在这些实现的描述和讨论中未明确陈述，描述在本申请中的实现的许多操作、方块、输入或输出也是可选的。例如，在各种实现中可以省略参照图3-4讨论的许多操作。对于所有实现来说，在特定实现中仅仅列举了一种特征并不表明该特征是强制的。的确，相反的结论一般说来应该是默认的，所有特征都被认为是可选的，除非声明该特征是必需的。即使声明某个特征是必需的，但此必需的意思是只适用那种特定实现，其他实现被认为与这样的要求无关。

因此我们提供了具有特定特征和方面的一种或多种实现。尤其，我们提供了与排序向观众展示的内容有关的几种实现。如在本申请中的各种实现中所述，排序内容可以用在多种环境中，包括例如在家中招待朋友、在工作时与同事合作或向董事会展示材料。进一步，观众和内容控制者（在本申请中的几个讨论中称为用户或远程平板304的操作者）在不同实现中处在相同房间中、处在相同建筑物的不同房间中或远距离隔开。在一种远距离实现中，用户在巴黎而观众在纽约。另外，在各种实现中，用户不为正在进行的展示排序内容。而是，将排序的内容存储起来供以后展示或存储和分布在记录介质上。可以在本公开的范围内设想出这些实现的其他变体和其他应用，所述实现的一些特征和方面可能适用于其他实现。

描述在本申请中的几种实现和特征可以在AVC标准、具有MVC扩展的AVC（附录H）和/或具有SVC扩展的AVC（附录G）的背景下使用。AVC指的是现有国际标准化组织/国际电工委员会（ISO/IEC）运动图像专家组-4（MPEG-4）第10部分高级视频编码（AVC）标准/国际电讯联盟，电信部门（ITU-T）H.264建议书（在本申请为称为“H.264/MPEG-4AVC标准”或像“AVC标准”、“H.264标准”、或简称“AVC”或“H.264”那样它的变体）。另外，这些实现和特征可以在另一种标准（现有的或未来的）的背景下，或在未牵涉到标准的背景下使用。

提到本原理的“一个实施例”、“实施例”、“一种实现”或“实现”以及它们的其他变体意味着结合该实施例所述的特定特征、结构、特性等包括在本原理的至少一个实施例中。因此，出现在整个说明书中各处的短语“在一个实施例中”、“在实施例中”、“在一种实现中”或“在实现中”以及任何其他变体的出现未必都指相同的实施例。

另外，本申请或其权利要求书可能提及“确定”各种信息段。确定信息可以包括，例如，估计信息、计算信息、评估信息、预测信息或从存储器中获取信息的一种或多种。

进一步，本申请或其权利要求书可能提及“存取”各种信息段。存取信息可以包括例如接收信息、获取信息（例如，从存储器中）、存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息、评估信息或估计信息的一种或多种。

各种实现使用多条摄像角媒体馈线（camera angle media feed）。这样的环境可以在例如体育赛事的媒体制作中找到。多条摄像角媒体馈线在一种应用中被指定给不同时间轴并被排序成提供所希望的观看体验。

本申请或其权利要求书可能提及将信息从第一设备（或位置）“提供”给第二设备（或位置）。本申请或其权利要求书还或可替代地可能提及在第一设备（或位置）上从第二设备（或位置）接收信息。这样的“提供”或“接收”应该被理解为至少包括直接和间接连接。因此，可以在术语“提供”和“接收”的范围内设想出第一和第二设备（或位置）之间的中间物。例如，如果将信息从第一位置提供给中间位置，再从中间位置提供给第二位置，则将信息从第一位置提供给第二位置。类似地，如果在中间位置上从第一位置接收，再在第二位置上从中间位置接收信息，则在第二位置上从第一位置接收信息。

另外，本申请或其权利要求书可能提及“接收”各种信息段。接收与“存取”一样是广义术语。接收信息可以包括例如存取信息或获取信息（例如，从存储器中）的一种或多种。进一步，在像例如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息那样的操作期间，通常无论如何都会牵涉到“接收”。

各种实现提及“图像”和/或“画面”。术语“图像”和“画面”在整个本文件中可交换使用，并且用为广义术语。“图像”或“画面”可能是例如整个或部分帧或场。术语“视频”指的是图像（或画面）的序列。图像或画面可以包括例如各种视频成分或它们的组合的任何一种。这样的成分或它们的组合包括例如亮度、色度、Y（YUV、YCbCr或YPbPr中）、U（YUV中）、V（YUV中）、Cb（YCbCr中）、Cr（YCbCr中）、Pb（YPbPr中）、Pr（YPbPr中）、红色（RGB中）、绿色（RGB中）、蓝色（RGB中）、S-Video和这些成分的任何成分的正色或负色。“图像”或“画面”还或可替代地可以指各种不同类型的内容，包括例如典型的二维视频、2D视频画面的视差图、与2D视频画面相对应的深度图或边缘图。

进一步，许多实现可能提及“帧”。但是，这样的实现被认为可同等应用于“画面”或“图像”。

“深度图”、“视差图”或“边缘图”也是广义术语。一幅图一般指例如包括特定类型的信息的画面。但是，一幅图可以包括未通过其名称指示的其他类型的信息。例如，深度图通常包括深度信息，但也可以包括像例如视频或边缘信息那样的其他信息。

应当懂得，例如，在“A/B”、“A和/或B”和“A和B的至少一个”的情况中，如下“/”、“和/或”和“至少一个”的任何一种的使用意欲包括只对第一所列选项(A)的选择、只对第二所列选项(B)的选择或者对两个选项(A和B)的选择。作为进一步的例子，在“A、B和/或C”、“A、B和C的至少一个”和“A、B或C的至少一个”的情况中，这样的措辞意欲包括只对第一所列选项(A)的选择、只对第二所列选项(B)的选择、只对第三所列选项(C)的选择、只对第一和第二所列选项(A和B)的选择、只对第一和第三所列选项(A和C)的选择、只对第二和第三所列选项(B和C)的选择或者对全部三个选项(A和B和C)的选择。本领域和相关领域的普通技术人员容易认识到，这可以被扩展成用于很多列出的项目。

另外，许多实现可以在编码器（例如，编码器802）、解码器（例如，解码器906）、处理来自解码器的输出的后处理器（例如，处理器908）或向编码器提供输入的预处理器（例如，处理器801）的一种或多种中实现。

在本申请中讨论的处理器在各种实现中的确包括被集体配置为执行例如过程、功能或操作的多个处理器。例如，处理器801和处理器908的每一个在各种实现中由被集体配置成执行各自处理器801和908的操作的多个子处理器组成。进一步，通过本公开可以设想出其他实现。

本文所述的实现可以以例如方法或过程、装置、软件程序、数据流或信号的形式实现。即使只在实现的信号形式的背景下讨论（例如，只作为方法来讨论），但所讨论的特征的实现也可以以其他形式（例如，装置或程序）实现。装置可以以例如适当硬件、软件和固件的形式实现。方法可以以在例如像例如处理器那样的装置中实现，该处理器一般指处理设备，包括例如计算机、机顶盒、网关、路由器、微处理器、集成电路或可编程逻辑设备。处理器还包括像例如计算机、手机、便携式/个人数字助理（“PDA”）、平板电脑、膝上型电脑和有助于在终端用户之间通信信息的其他设备那样的通信设备。处理器还可以包括被集体配置成执行例如过程、功能、操作的多个处理器。集体配置和性能可以像例如将专用子处理器用于特定任务或使用并行处理那样使用在现有技术中已知的多种技术的任何技术来实现。

本文所述的各种过程和特征的实现可以体现在多种不同装备或应用，尤其例如与数据编码、数据解码、程序或内容排序和图像或其他内容的其他处理相联系的装备或应用中。这样装备的例子包括处理器、编码器、解码器、处理来自解码器的输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、万维网服务器、机顶盒、膝上型电脑、个人计算机、平板电脑、路由器、手机、PDA和其他通信设备。应该清楚，该装备可以是移动的，甚至安装在移动车辆中。

另外，方法可以通过处理器（或被集体配置成执行指令的多个处理器）执行的指令来实现，这样的指令（和/或实现产生的数据值）可以存储在像例如集成电路、软件载体或像例如硬盘、致密盘（“CD”）、光盘（像例如常称为数字多功能盘或数字视频盘的DVD那样）、随机存取存储器（“RAM”）或只读存储器（“ROM”）那样的其他存储设备那样的处理器可读介质上。该指令可以形成有形地实施在处理器可读介质上的应用程序。该指令可以例如在硬件、固件、软件或它们的组合体中。该指令可以在例如操作系统、独立应用程序或两者的组合体中找到。因此，处理器可以被表征成例如被配置成执行过程的设备和包括含有执行过程的指令的处理器可读介质（像存储设备那样）的设备。进一步，除了指令之外或替代指令，处理器可读介质可以存储实现产生的数据值。

对于本领域的普通技术人员来说显而易见的，这些实现可以产生被格式化成携带可以例如存储或发送的信息的多种信号。该信息可以包括例如执行方法的指令或所述实现之一产生的数据。例如，如参照图3-4所讨论，可以将信号格式化为将编码显示平面400或编码手势标识符和手势位置作为数据携带。这样的信号可以被格式化成例如电磁波（例如，使用频谱的射频部分）或基带信号。格式化可以包括例如编码数据流和将编码数据流调制在载波上。信号携带的信息可以是例如模拟或数字信息。众所周知，信号可以在多种不同有线或无线链路上传输。可以将信号存储在处理器可读介质中。

本文描述了许多实现。然而，应当明白，可以作出各种修改。例如，可以组合、补充、修改或除去不同实现的一些元素以形成其他实现。另外，本领域的普通技术人员应当明白，可以用其他结构和过程替代本文公开的那些，所得实现与所公开的实现相比，将以至少基本相同的方式执行至少基本相同的功能，以获得至少基本相同的结果。于是，这些和其他实现可以通过本申请设想出来。

Claims (14)

1.一种用于提示内容的方法，其包含：

接收显示平面，该显示平面包括指示来自第一内容源的内容的第一内容源窗口和指示被安排为展示在展示设备上的特定内容的时间轴，该时间轴允许将第一内容源排序成所述展示设备的展示物；

确定用于修改时间轴以便在该时间轴中仍然保留一些特定内容的同时包括来自第一内容源的内容的命令信息；以及

将该命令信息提供给远程设备以便修改该显示平面。

2.如权利要求1所述的方法，进一步包含编码命令信息，其中提供命令信息包含提供编码的命令信息。

3.如权利要求1所述的方法，其中以与适合展示的格式相比压缩的格式接收来自第一内容源的内容。

4.如权利要求1所述的方法，其中便携式设备进行上述接收、确定和提供，并且该便携式设备依靠远程设备来修改显示平面和生成用于展示设备的有序展示物。

5.如权利要求1所述的方法，其中修改显示平面的命令信息包含改变展示物的命令信息。

6.如权利要求1所述的方法，其中确定修改显示平面的命令信息包含确定用于修改时间轴的命令信息。

7.如权利要求1所述的方法，进一步包含：

接收修改的显示平面的编码，该修改的显示平面已经由远程设备根据提供的命令信息加以修改。

8.如权利要求1所述的方法，其中：

该命令信息包含用于修改显示平面的手势的指示符和包括指示手势的坐标的坐标信息。

9.如权利要求8所述的方法，其中：

手势的坐标指示手势的接触点；以及

该命令信息进一步包含手势的运动方向、手势的运动速度和手势的接触持续时间。

10.如权利要求1所述的方法，其中确定命令信息响应于接收到来自用户的命令来进行。

11.如权利要求1所述的方法，其中接收显示平面包含通过无线传输媒介接收从远程设备到进行命令信息的确定的设备的显示平面。

12.如权利要求1所述的方法，其中提供命令信息包含通过无线传输媒介发送从进行命令信息的确定的设备到远程设备的命令信息。

13.一种用于提示内容的装置，被配置成执行如权利要求1-12所述的一个或多个方法。

14.如权利要求13所述的装置，其中该装置包含：

用于接收显示平面的部件，该显示平面包括指示来自第一内容源的内容的第一内容源窗口和指示被安排为展示在展示设备上的特定内容的时间轴，该时间轴允许将第一内容源排序成所述展示设备的展示物；

用于确定修改时间轴以便在该时间轴中仍然保留一些特定内容的同时包括来自第一内容源的内容的命令信息的部件；以及

用于将该命令信息提供给远程设备以便修改该显示平面的部件。