CN103222271B - 虚拟机顶盒 - Google Patents

Abstract

描述用于使用虚拟机顶盒（VSTB）通过网络基础设施向电视或具有媒体回放能力的其他设备提供数字内容的方法和装置。

Description

虚拟机顶盒

相关申请数据

本申请根据35U.S.C.119（e）要求2010年6月30日提交的、针对虚拟机顶盒的、美国临时专利申请No.61/369,500（代理人卷号No.STSNP015P）和2010年11月23日提交的美国序列号12/952882的（代理人卷号No.STSNP015）的优先权，在此其全部公开为所有目的通过引用并入。

发明背景

本发明涉及虚拟化网络环境中的硬件资源，尤其涉及虚拟化将数字内容流传送到广泛的多种计算和媒体回放设备的机顶盒。

传统的硬件机顶盒（STB）典型地通过某一种类的电缆连接，诸如例如标准同轴电缆、或最近地高清晰度多媒体接口（HDMI）电缆，从网络（例如，电缆、卫星或基于IP的网络）接收加密的数字内容或媒体流，解密流，将其解码为帧，然后为了传输到和呈现在连接的电视上对这些帧进行格式化。大多数STB采用数字调谐器来解码媒体流，尽管现在大多数电视包括执行该功能的至少一些的数字调谐器。然而，STB的其他功能由于缺乏单一标准通常还没有包括在标准电视中。例如，引入STB的主要原因之一是为了高价值内容（不能由电视处理的某些内容）的解密。一旦为了该目的引入，在可用平台中实施其他功能，诸如例如先进导航用户界面和TV指南应用。

传送用于在电视上显示的数字内容的系统，例如包括电缆、卫星和基于IP的电视系统（以及其组合），通常依赖于随着每个电视的STB的部署，表示与这样的系统相关联的巨大资本成本部分。

发明内容

根据本发明，描述用于使用虚拟机顶盒（VSTB）通过网络基础设施向具有媒体回放能力的多种设备的任一提供数字内容的方法和装置。

根据一个种的类实施例，根据这样的实施例实施的系统和方法通过网络提供视频。一个或多个服务器部署在网络上，并且配置为管理多个虚拟机顶盒（VSTB）的操作。每个VSTB对应于网络上多个VSTB客户端之一，并且配置为将图形用户界面与一个或多个视频流组合。一个或多个服务器进一步配置为将组合的用户图形界面和一个或多个视频流，作为具有由对应的VSTB客户端和关联显示器支持的帧格式和编解码器的单个媒体流，发送到对应的VSTB客户端。一个或多个服务器进一步配置为从每个VSTB客户端接收用户输入，并且将用户输入提供给对应的VSTB的图形用户界面。用户的输入的至少一些代表与每个VSTB客户端相关联的用户与图形用户界面的表示的交互。

根据具体实施例，多个VSTB客户端的每个配置为从对应的VSTB接收单个媒体流，在关联的显示器上表现单个媒体流，并且将用户输入发送到一个或多个服务器。

根据另一种类的实施例，提供用于操作网络中的虚拟机顶盒（VSTB）的计算机实现方法。VSTB分配到网络上的VSTB客户端。图形用户界面与一个或多个视频流组合为单个视频流。使用VSTB客户端和关联显示器支持的帧格式和编解码器将单个视频流发送到VSTB客户端。从VSTB客户端接收的用户输入提供到图形用户界面。用户输入中的至少一些代表与VSTB客户端相关联的用户与图形用户界面的表示的交互。

根据另一种类的实施例，提供一种控制单元，其配置为用于通过网络提供视频的系统中的操作。该系统包括部署在网络上并且配置为管理多个虚拟机顶盒（VSTB）的操作的一个或多个服务器。每个VSTB配置为将图形用户界面与一个或多个视频流组合。一个或多个服务器进一步配置为通过网络作为单个媒体流发送组合的用户图形界面和一个或多个视频流。控制单元包括一个或多个第一接口，该第一接口配置为从一个或多个服务器接收由对应的VSTB之一生成的单个媒体流，并且通过网络发送用户输入到一个或多个服务器。用户输入的至少一些代表用户与图形用户界面的表示的交互。第二接口配置为将单个媒体流发送到具有用于在显示器上进行表现的关联显示器的回放设备。控制单元还包括用于与回放设备和一个或多个服务器通信的处理资源。

通过参考说明书的其余部分和附图，可以实现对本发明的本质和优点的进一步理解。

附图说明

图1是根据本发明的各种实施例设计的数字内容传送系统的简化框图。

图2A-2C是供本发明的各种实施例使用的TV控制单元的简化框图。

图3是代表根据本发明的各种具体实施例的虚拟机顶盒（VSTB）的功能的简化框图。

具体实施方式

现在将详细进行对用于执行本发明的、发明人预期到的、包括最佳模式的本发明具体实施例的参照。这些具体实施例的示例图示在附图中。虽然结合这些具体实施例描述本发明，但是将理解其不意图将本发明限定为描述的实施例。相反，其意图覆盖如可以包含在如所附权利要求限定的本发明的精神和范围内的替代、修改和等价物。在以下描述中，阐述具体的细节以便提供对本发明的彻底理解。可以实施本发明而不需这些具体细节的一些或全部。此外，没有详细描述公知的特征以避免不必要地模糊本发明。

本发明的各种实施例采用虚拟化与传统机顶盒（STB）关联的功能的一些或全部的虚拟机顶盒（VSTB），从而去除在数字内容传送系统中对于每个电视或显示设备部署昂贵和复杂的设备的要求。通过将典型地与传统机顶盒关联的功能虚拟化或重新分布到整体系统架构中的其他组件，可以消除传统机顶盒的成本。

此外，可以通过各种优点特征化本发明的各种实施例。例如，根据具体实施例，VSTB实例逐一地分配到与每个请求用户关联的电视或其他设备。诸如，仅对正在被主动使用的每个电视（或者其他显示、计算或媒体回放设备）要求VSTB实例。这与传统的STB相比，传统的STB要求提供给每个电视无论该电视是否使用。

而且，物理STB通常由于STB硬件的限制仅能够处理至多1或2个输入流。另一方面，VSTB作为提供更多倍处理能力的具有多个CPU核心的服务器上的软件过程运行。因此，VSTB可以利用该额外处理能力来执行传统STB不能并且从不设计去执行的任务。例如，VSTB可以能够同时处理若干输入媒体流，将其安排为网格或马赛克图案，并且对于先进的画中画功能将其缩放为可变大小的窗口。

使用根据本发明实施例的VSTB的进一步的优点是加速其改变频道花费的时间。一些传统的STB通常对频道改变时间限制为约2秒的固定下限，这由STB的结构中使用的具体媒体解码器芯片确定。在VSTB中，可以优化媒体解码流水线，以便频道改变可以在相当少的时间中发生（在一些情况下远小于一秒）。根据具体实施例，通过在后端由VSTB实例合并媒体流而不是作为通过网络流到远程传统硬件STB的各个流发送媒体流的事实，至少部分实现该能力。

此外，由于服务器环境的更大的处理能力，对于VSTB可能在给定的会话期间预处理其接收到的媒体流，以便一系列的分离媒体流的回放对观看者显得好像单一无缝媒体流，很像传统的电视广播。这与传统STB上相同系统的媒体流的回放相比，传统STB上相同系统的媒体流的回放通常涉及其间STB从一个媒体流改变到下一个媒体流的短延迟。对于观看者，这些延迟显示为黑色间隔时间（interlude），其中媒体内容消失数秒，然后以下一个流的开始返回。

而且，假定如前所述一些VSTB实现无缝地将一系列媒体流结合为单一连续流的能力，可能在一系列媒体流中插入任意媒体剪辑，或者用另一媒体剪辑代替一个媒体流的部分。这在现场直播电视流的领域中具有重要应用，其中可以期望用可能更具体地以观看者为目标的本地化广告代替进入流中的通用广告。该类型的应用是传统STB由于缺乏执行必需的接合的充足处理能力和实时回放操作通常不能管理的事。

本发明的各种实施例不同程度地依赖于目前许多标准电视中可用的数字调谐能力。实现一些实施例以避免必须引入客户端设备或者在电视中并入客户端软件。根据这些实施例中的一些，在服务器侧的VSTB实例生成可以由关联电视中的标准数字调谐器解码的媒体流（其可以包括音频和视频成分的任一或二者）。然而，如将描述的，也可以预期随对应电视部署比较简单的设备和/或软件客户端来促进与广泛的多种电视类型和能力的兼容性的实施例。在这样的情况下，生成的媒体流流过部署的设备或软件客户端，其中适当地处理生成的媒体流然后将其发送到关联电视或回放设备。

还应当注意，虽然参考电视将本发明的实施例描述为媒体流最终提供到的设备，但是预期其中VSTB的输出可以提供到广泛范围的媒体和计算设备（诸如例如，桌面和膝上计算机、上网本、笔记本和平板设备（例如，iPad）、手持设备（例如像iPhone和Droid的智能电话）和任何其他类型的具有媒体呈现或回放能力的设备）的本发明实施例。此外，预期采用多种网络基础设施来将VSTB输出传送到这样的设备的本发明实施例。这样的基础设施包括基于IP的网络（有线和无线二者）、电缆和卫星电视网络、远程通信网络、以及其各种组合。因此本发明的范围不应当限制为在此描述的具体实施例。

图1是根据本发明的一个或多个实施例实施的数字内容传送系统100的系统架构的框级图。如将变得更清楚的，本发明的实施例可以在有线和无线基于IP的网络二者（例如，使用标准以太网或光纤电缆）、同轴电缆网络（如许多宾馆中存在的和如有线提供商采用的）、远程通信网络（例如，3G或4G网络）、或者这样的技术的混合组合的环境中实现。该多样性的至少一些通过后端IP网络102和室内电视104之间的不同路径呈现在图1中。应该理解，图1的图表示采用基于IP或电缆的基础设施的实施例，以及采用二者的实施例。

在该示例中，混合基础设施部署在宾馆财产中，并且提供包括数字电视和视频点播（VOD）（标准和高清，SD和HD）、因特网接入、以及多种其他客人服务（例如，包括远程结帐、唤醒呼叫、客房服务等）的多种服务。然而，如以上提及的，应当注意，这仅是其中可能根据本发明实现基础设施的环境的一个示例。预期其他实现环境以及广阔范围的服务和服务组在本发明的范围内。

VSTB服务器108（其可以是一个或多个服务器）典型地具有在任何给定时间运行的多个VSTB实例，其每个将内容传送到已经被分配VSTB实例的激活的电视或其他媒体回放设备。每个VSTB实例意图提供类似于物理STB的用户体验的用户体验，因此也生成混合有内容流或重叠在内容流上的交互菜单。以下参考图3描述根据具体实现完成这些功能的方式。如以上提及的，运行的VSTB实例的数量仅需要对应于激活的电视的数量，而不是系统中电视的总数（如传统室内STB所要求的）。这可以提供硬件资源的成本和维护中的显著效率，因为通常在任意给定时间40%或更多的电视是非激活的的。

线性TV服务器110（典型地，服务器阵列）从多种源（例如，欧洲DVB-C信号、美国专有卫星信号等）的任一接收数字电视频道广播，并且将每个频道转换为按要求对于激活的VSTB实例的消费、在IP网络102上发送的基于IP的媒体流。线性TV服务器可以加密输出流，或者保持内容提供商/广播商原始应用的加密的完整。

根据各种实施例，线性TV服务器110输出可能使用多种不同的编解码器和帧大小加密的大量IPTV流。例如，现场直播电视通常使用H.264或MPEG-2标准编码，并且可以是标准清晰度（SD）或高清晰度（HD）视频。另一方面，给定的VSTB实例将生成针对具体设备（诸如，客人电视、膝上型电脑或智能电话）的视频流。特定的设备将具有确定的屏幕大小，并且将仅能够使用特定支持的编解码器处理输入流。也就是说，VSTB生成目标设备最初将调谐到的连续输出流。其后，输出流将向目标设备提供交互菜单和内容，而不用设备需要重新调谐到任何其他流。如果目标设备正在消费的流包含帧大小和/或压缩编解码器中的周期性改变，则由于现场广播流通常不体现这样的变化并且目标设备可能还没有充分地测试来处理这些情况，因此最好的结果从美学的观点对用户可显得不好看，并且最差的结果不能被目标设备正确地处理，导致设备故障。

因此，对应的VSTB实例将配置为生成其输出以匹配目标设备的屏幕大小并且使用目标设备支持的编解码器。因此，用作对VSTB实例的输入的任何视频流将需要被转换以匹配目标屏幕大小和输出编解码器。预期其中VSTB实例（或者VSTB服务器或其他地方上的单独功能）执行该输入流转换的本发明的实施例。然而，因为输入流是公共网络资源，所以在输入流被给定VSTB消费之前使其适当地经过预处理在一些实施方式中可能更有效。

根据特定种类的实施例，流预处理通过IPTV整形器111（其可以是一个或多个服务器）操纵，这设计为并行处理大量流。IPTV整形器111消费从线性TV服务器110输出的流，并且使用指定的编解码器和帧大小将每个流转换为标准格式。该种类的流转换通常称为“译码”，并且一般涉及以下步骤。首先，如果需要，解密输入流。然后使用适当的编解码器输入流解复用和解码为未压缩的视频帧和音频样本的序列。未压缩的视频帧缩放为输出流要求的大小。使用适当的输出编解码器编码未压缩的视频帧和音频样本，以及使用适当的容器格式（诸如，MPEG-2传输流）复用子流。然后如果希望可以加密输出流。

作为示例，考虑使用采用640×480的视频帧大小的MPEG-2编码输入流。这样的流将解码为大小640×480像素的YUV格式视频帧序列和PCM格式音频样本序列。包含诸如字幕或专用数据的信息的任何其他子流不解码，并且简单地传递到输出。然后考虑视频帧缩放为准备输出的1280×768的高清晰度大小。然后对视频使用H.264编解码器并且对音频使用AC3编解码器编码这些缩放的帧和未压缩的音频样本。随后所有子流复用到用于输出的MPEG-2传输流。应当注意，可以采用广泛的多种适当的视频传输流协议和机制中的任一，而不背离被发明。

随视频译码处理经常提到的问题是所谓质量的世代损失，其中涉及的编解码器的有损性质可以导致再编码流时附加信息的损失，从而可见地劣化图像质量。在解码和编码步骤期间利用一定量的注重，通过记录关于每个宏块的量化等级的信息和影响损耗等级的其他相关参数，在某些情况下可以避免该损失。当再编码该流时，记录的参数在确定如何编码每个输出宏块而不诱发附加损失时可能是有用的。该技术的有效性取决于在译码期间涉及多少缩放以及输入和输出编解码器的相似性。关于该技术的更多信息可以在BBC R&D-IBC'97中P.N.Tudor和O.H.Werner的Real-Time Transcoding of MPEG-2Video BitStreams中找到，其全部在此为所有目的通过引用并入。

VOD服务器112（再次，典型地，服务器阵列）掌管“按需”视频内容（例如，故事片），并且使得该内容可用于传输到分配给正在请求的用户的VSTB。VOD服务器112实现诸如播放、暂停、快进、倒回、向前跳过、向后跳过等的视频控制功能。可被根据具体实施例实现的系统采用的VOD服务器的示例可通过以色列Netanya的BitBand技术有限公司提供。与线性TV服务器110提供的媒体流相反，预编码通过VOD服务器112提供的媒体内容流以具有标准帧大小和编解码器。此外，如利用线性TV媒体流那样，该内容可以例如通过内容所有者按要求预编码。

如参考前述描述可以认识到的，IPTV整形器111和VOD服务器112共同地生成一组共享公用的帧大小、编解码器和加密方案的（可选地加密的）数字媒体流。通过在可能这样要求的VSTB服务器108上操作的任何VSTB实例，使得这些流可用于IP网络102上的消费。根据各种实施例，这些流不意图用于通过系统的任何其他部分（包括电视或媒体回放设备）的消费。因此，要在系统中的回放设备上观看的流的唯一途径是对于该流作为输入传递到分配给该设备的VSTB实例。然而，应当注意，虽然一些实施例按照公用编解码器和帧大小并假设同类目标设备的方式来描述，但是预期到服务目标设备（例如，任何类型的电视、计算设备、远程通信设备、和/或任何其他类型的媒体回放设备）的异类混合的其他实施例。也就是说，根据一些实施例，内容子系统的各种组件通过适当地预整形内容并使其对于通过VSTB实例的消费在IP网络上可用，支持这样的目标设备的异类混合。对于其中编解码器和帧大小是公用的和/或正在服务目标设备的同类组的具体实施例的参照不应用于限制本发明的范围。

根据具体种类的实施例，UI服务器116（其可以是多个服务器）向VSTB服务器108上的VSTB实例提供虚拟用户界面（VUI）。这样的VUI例如可以包括用于导航和选择系统中可用的内容与服务选项的交互菜单和向导。对于这些实施例，存在VUI和VSTB实例之间的一一对应关系，以便当创建新的VSTB实例时，也创建对应的VUI实例。每个VSTB实例将获取描绘其对应虚拟用户界面的一系列的UI帧，并将它们重叠在正在生成的媒体流上，如以下参考图3所述。

根据具体实施例，使用作为VSTB实例的部分的虚拟网络计算（VNC）客户端，使得这些虚拟用户界面经由VNC会话可访问VSTB实例。UI服务器116提供VNC服务器，该VNC服务器掌管允许每个VSTB实例使用其内部VNC客户端进行连接的每个VUI实例。根据更具体的实施例，每个VUI实例响应于从网络中的别处接收的用户输入而运行以呈现VUI的Adobe Flash播放器。

根据更具体的实施例，每个VSTB实例中的VNC客户端连接到VUI服务器，以仅接收对其对应VUI实例的图形更新。该VNC客户端不对VUI提供任何用户输入，因为这样的用户输入对于VSTB不可用。替代地，第二仅输入VNC客户端用于提供成功操作虚拟用户界面必需的用户输入事件。对每个VUI实例特定的这些仅输入VNC客户端是会话管理器服务器106的部分，以下描述。因此，UI服务器116上的给定VUI实例将经由VNC服务器导出其用户界面，并且将使用两个分离的VNC客户端连接，第一个将VUI的图形表示提供到对应的VSTB实例，以及第二个提供驱动用户界面的用户输入事件。

根据一些实施例，以类似于2010年1月15日提交的、对VIRTUAL USER INTERFACE的美国专利申请No.12/688,343（代理人卷号No.STSNP014）中描述的方式实现UI服务器116，在此其全部公开为所有目的通过引用并入。

会话管理器服务器106（其可以是多个服务器）接收代表与电视、计算设备或媒体回放设备（或者从设备，或者经由TV控制单元，例如，120A-C，如以下所述）的用户交互的用户输入数据，并且将该数据提供到UI服务器116上的对应VUI实例。如以上概述的，从给定电视或其他媒体回放设备到达的用户输入由会话管理器服务器106核对并使用VNC客户端连接转发到UI服务器116上的对应VUI实例。该连接特别的在于不从VNC服务器请求图像更新，如通常的情况。替代地，仅输入事件转发到VUI实例。这有效地从用户输入分离图像更新，并且允许这些方面的处理出现在系统中的不同服务器上。

根据一些实施例，会话管理器服务器106也被分派有管理分配给每个激活的用户的各种资源的责任的任务。例如，当用户的电视打开时，如果电视经由同轴电缆基础设施连接，则会话管理器通过协调其他服务器（诸如VSTB服务器108，UI服务器116和可能地边缘QAM复用器118）上的资源分配进行响应。当用户的会话是完整的时，会话管理器通过释放在会话期间分配的资源进行响应。以该方式，会话管理器服务器106扮演资源协调的功能的角色，因此是对于系统操作和其各种组成部分的相互连接和相互操作的中心。

根据网络基础设备的至少部分采用同轴电缆的实施例，边缘（Edge）QAM复用器118操作为媒体转换器，其使用同轴电缆域（例如，宾馆电缆设备119）中的正交幅度调制（QAM）转播从IP域（例如，IP网络102）接收的数字媒体流。根据具体的实施，边缘QAM复用器118在Linux平台上操作，并且将经由IP（IPTV）接收的多个MPEG-2（SD或HD）或H.264（SD或HD）单节目传输流转换为若个多节目传输流，使用多种QAM调制方案（例如，64-QAM、256-QAM等）的任一根据DVB-C标准经由同轴电缆发送该多节目传输流。应当注意，可以可替代地采用其他调制方案（例如，正交相移键控）和标准（例如，数字视频广播-地面（DVB-T）标准、先进电视系统委员会（ATSC）标准等）。根据一些实施例，边缘QAM复用器可以如2009年5月11日对COAXAND IP HYBRID DIGITAL TV AND VOD SYSTEM的美国专利申请No.12/463,993（代理人卷号No.STSNP013）所述的实现，在此其全部公开为所有目的通过引用并入。应当注意，根据一些实施例，对于经由同轴电缆连接的每个电视，会话管理器106将在从边缘QAM复用器118输出的多节目传输流中分配带宽的专用片，用于分配给电视的VSTB实例生成的媒体流的传输。

先前的描述已经概述了实施例，其中VSTB实例借助于其他关联资源生成用于具体的目标电视或其他媒体回放设备的直接消费。通过合成零个或更多表示广播线性TV或VOD内容的输入媒体流与图像用户界面层形成该生成的流。这些输入元素的合成导致为用户提供完整交互体验的单个输出媒体流。因此，当在用户的会话开始处首先激活电视时，电视需要简单地调谐到该生成的流。其后，生成的流将在使用交互TV系统时继续反映用户的选择。如果用户希望观看不同的线性TV频道或VOD资源，则对VSTB实例的输入将改变，并且生成的流将反映这些改变。然而，在用户的会话是激活的的同时，在任何时间电视不需要重新调谐到不同的流。还应当注意，取决于装备电视来处理的输入类型，经由边缘QAM复用器118或者作为直接IPTV流将生成的流提供给目标电视。例如，许多电视将接受数字同轴输入，而其他电视可以能够直接接收IPTV输入。

虽然没有对所有实施例要求，但是本发明的各种实施例可以包括与电视（例如，104A-C）关联的TV控制单元（例如，120A-C），其通常不包括传统STB的典型媒体处理能力的类型。这样的TV控制单元的示例在图2A-2C的框图中示出。根据这些实施例中的一些，TV控制单元可以提供通信设施，以便网络其他侧的服务器可以远程地使用例如IP作为协议控制附接到该单元的设备。在以太网的情况下，通信设施可以包括以太网交换芯片，其接收从网络进入房间的以太网通信。例如，见图2B和2C的以太网交换芯片222和242。在同轴网络的情况下，例如，通信设施可以是IP同轴电缆机构，诸如例如HPNA标准（之前的家庭电话线网络联盟）。例如，见图2A的HPNA芯片组202。用户可以将其自己的计算设备（例如，膝上型电脑或其他计算设备）经由这些资源和可用的以太网（HSIA）连接器连接到网络。

USB2.0端口也提供给一些实施例用于为多种目的（例如，充电设备或者以某种方式将设备与系统接口）连接各种类型的客人设备。例如，客人设备可能是当连接到系统时为了在连接的电视上观看可能上载其照片到系统的相机。在另一示例中，用户可能连接当连接到系统时将会使得驱动器上存储的文件在系统上可用的存储器设备（例如，USB驱动器）。在又一示例中，用户可能连接当连接到系统时使得用户的音乐文件可用于系统上的回放的音乐播放器（例如，iPod或类似的设备）。各种其他示例中的任一对于本领域的技术人员将是显而易见的。

每个TV控制单元包括用于管理单元的操作、以及运行与任何连接的资源或设备通信必需的任何协议（例如，与远程服务器交互（例如，通过居间通信设施）、接收和响应基于IP的命令以及来自电视或其他连接资源的输入等）的处理资源（例如，具有固件的微控制器）。例如，见图2A-2C的微控制器204、224和244。根据具体实施例，这些处理资源可以运行在系统操作（例如，打开或关闭电视、调谐到特定频道等）期间按照要求与电视通信并且控制电视（例如，经由每个图中示出的RJ12端口）的串行协议。

对于在同轴电缆网络中实现的实施例，电缆上出现的RF频谱的一部分用于IP数据分组（例如，HPNA数据）的双向传输，同时频谱的另一部分用于向电视的数字内容的单向传输。在这样的实施例中，TV控制单元包括与每个输出路径（未示出）上的滤波器关联的分离机构（例如，图2A的分离器），其将IP数据从数字媒体数据分离。IP数据通过微控制器固件解释，同时数字媒体数据传送到电视中的数字调谐器。

对于以太网实施例（例如，图2B和2C），TV控制单元仅接收包括控制数据和含有数字媒体数据的内容分组二者的IP数据分组。TV控制单元识别哪个分组是哪个并且相应地处理。如果但是包括IP输入能力，则内容分组可以简单地传送到电视（如图2B所示）。如果不是，则TV控制单元可以将这些来自以太网的分组转换为同轴电缆格式（例如，经由图2C的QAM DAC245和CATV驱动器247），以便输出可以由电视输入端口直接消费。

根据一些实施例，为用户提供标准红外遥控以与电视交互。来自遥控的命令由电视接收，并且典型地经由到TV控制单元的串行接口使用电视的红外传送机构发送到TV控制单元。根据其他实施例，TV控制单元包括无线遥控接收器（例如，图2A-2C的接收器206、226和246），以便可以采用非定向控制设备（例如，RF控制设备）来与系统交互。此外，根据具体实施例，TV控制单元中的RF接收器可以与例如包括键盘、鼠标或其他光标控制设备的一个或多个附加无线RF设备结合地工作，以使这样的设备能够与系统交互。

一般地说，TV控制单元如上所述接收来自控制设备的用户输入，并且取决于输入的性质，可以将其用于控制电视、向后端服务器提供适当信息或者二者。例如，如果用户按压遥控上的“启动”按钮，当接收到该输入事件时，TV控制单元命令电视打开，并且向会话管理器服务器106警告该事件，以便VSTB实例和其他资源可以示例和分配给刚才打开的电视。在另一示例中，如果用户按压其遥控上的“向上”箭头，该事件可以简单地转发到会话管理器服务器，以便可以影响与用户交互的虚拟用户界面中的对应更新。最终，关联的VSTB生成的视频流将反映该更新，并且用户动作的结果将在对应电视上可见。以下更详细地描述完成其的方式。

TV控制单元的各种实现方式实现了可以与具有不同内置能力的多种不同的电视、以及不同的网络基础设施工作的总的系统方案，仅仅是对每个具体场所部署合适的TV控制单元的事情。可替代地，与具体网络类型（例如，基于IP的或同轴电缆）结合的具有充分内置能力的电视在一些实施例中可以部分或消除对TV控制单元的需要。对于没有TV控制单元的实施例，从室内控制设备（无论遥控、键盘、鼠标或其他设备）接收的命令可以经由电视的内置IP连接（例如，以太网端口）直接发送到会话管理器服务器106。

图3是表示根据本发明具体实施例的VSTB的实例的软件实现的基本操作的框图。根据本发明的各种实施例，传统硬件VSTB的核心功能既可以复制在VSTB实例中，也可以复制在整体系统架构的其他地方，例如，在支持服务器中（例如，IPTV整形器）、在与回放设备关联的控制单元中、在回放设备中等。图3中图示的实施例示出如在VSTB实例中复制的若干这样的功能。然而，如上所述，这些功能中的至少一些可以卸载到其他资源以减少VSTB服务器上的计算负荷。这样，不应当参考该附图或其描述限制本发明的范围。

现在参考图3，VSTB实例300通过网络（例如，IP网络102）从系统中的一个或多个服务器（例如，线性TV服务器110、VOD服务器112或IPTV整形器111）接收输入流302（例如，数字媒体流），并且将该流解密（304）、解复用（306）和解码（308和309）为原始视频帧（例如，YUV帧）和音频帧的序列，然后该流整形用于输出到其已经分配到的电视。这例如可以涉及去交织和缩放（312）为适当的帧大小。如上所述和根据本发明的一些实施例，使用来自VOD服务器的预编码的VOD内容和从IPTV整形器输出的预整形的线性TV内容可以从VSTB实例卸载大量该计算负担。还应当注意，为了说明的目的在图3中示出一个输入流，但是在现实中，根据图3中示出的步骤可以存在全部被并行处理的若干输入流。然后编码的流将与UI帧（314）一起合成。

图形用户界面（GUI）314可以与解码的和处理的视频流（316）重叠或合成。这可以涉及逐像素混合以实现在下面的视频上的部分或半透明的界面。这还可以涉及缩放视频以显示在UI层中的窗口内。合成步骤还可以涉及如上所述的多个视频流。解码的音频帧也可以经历与其他音频源（例如，在与GUI覆层交换期间发出的声音）的混合。结果的视频和音频帧然后再编码（318，319）、再复用（320）、加密（例如，使用与关联电视兼容的数字权利管理（DRM）机制）（322），并且作为输出流324通过居间网络基础设施发送到对应的电视或用于显示的其他回放设备。

在各种时间，UI可能不可见（例如，因为用户正在观看线性TV频道并且不要求可见UI）。在这样的时间，可以部分地或全部地跳过重叠/合成步骤316。在这些情形下，VSTB可能不需要解码音频和视频子流，并且可以代替经由各自的解码流水线（308-318），经由仅再复用流水线326传送解复用的子流。仅再复用流水线简单地将输入子流再复用到输出流，这要求更少的计算能力。另一方面，如果UI可见和/或要求合成，则不使用仅复用流水线，因为输入流必须解码到原始视频帧以便于重叠/合成步骤。

传统的室内STB典型地将其输出以为压缩的格式例如经由HDMI链接发送到连接的电视。然而，替代地，根据本发明的各种实施例，VSTB生成的输出流通过网络作为加密的的单播MPEG-2传输流发送到电视。也就是说，由于生成的输出流可以包含高价值内容，所以加密用于通过居间网络发送到电视的输出流以免盗版高价值内容可以是必需的。当使用传统STB时，该步骤将典型地通过到电视的HDMI链接使用HDCP完成。然而，当使用VSTB架构时要求不同的方案。更具体地，如果加密是必需的，根据具体实现，可以要求电视内部地支持适当的数字权利管理（DRM）机制，以便可以消费使用该机制加密的流并且通过电视直接解密。例如，一种酒店环境中的公用DRM机制是系统，一项可以从伊利诺伊州的Lincolnshire 的Zenith Electronics LLC许可的技术。无论支持的DRM机制，给定VSTB实例生成的输出流根据通过居间网络传输前的机制加密。

返回参考图1，单播输出流通过后端IP网络102传送用于通过网络基础设施的平衡随后传输到对应的电视。例如，这可以是同轴电缆基础设施（例如，宾馆电缆设备119），在该情况下视频流提供给边缘QAM复用器118。可替代地，如果回放设备或电视（或者关联的TV控制单元）连接到IP网络基础设施，则视频流可以保持在IP域（有线或无线）。

再次参考图3，UI帧314有效地是其中建立在任何给定时间GUI的图像的UI服务器的客户端（例如，UI服务器116）。当UI帧314具有包括非透明像素的GUI帧时，该信息注入到视频处理流水线用于与视频帧重叠/合成。

根据各种实施例，一旦创建和分配VSTB实例，VSTB实例必须连续生成和加密用于在其分配到的回放设备上呈现的其输出视频流。最初，并且在可能不存在可用的输入流或图形用户界面的其他时候，代替黑视频帧，这些有效地用于与空图形帧缓冲层合成，导致黑合成帧。否则，回放设备的显示将显得好像没有正在提供输入，例如电视上的“无信号”屏幕。

根据各种实施例，VSTB的架构组件配置有最小缓冲以避免用户可感知的非故意等待时间效果。也就是说，期望避免这样的情形，其中用户相对于传统的室内STB体验能够感知在与电视上的GUI交互中的任何延迟。因此，本发明的实施例实现为确保大量的数据不需要在处理数据之前缓冲。也就是说，缓冲大量的数据在缓冲器装满的同时导致等待时间的注入，并且直接转换为在与GUI的交换中的可注意延迟。此外，期望提供足够的计算能力从而能够以足够高的速率（例如，每秒25或30帧）生成、处理和发送视频帧。根据具体实施例，具有多个处理核心的服务器的并行处理能力使得连续视频帧的处理能够及时交迭，以便更有效地符合这些限制，并且能够每服务器运行足够数量的VSTB以使得该方法经济上可行。

根据各种实施例，传统地由硬件STB操纵的其他功能由各种系统组件复制。根据具体实施例，按以下方式操作具体功能。

通过TV控制单元的固件或者直接通过TV与会话管理器服务器一起，执行接收和处理遥控、键盘、鼠标或其他这样的用户输入设备生成的输入事件。

通过VSTB软件实例执行与各种服务器的通信来控制输入媒体流的发送和接收。

虽然其他形式的控制连接是可能的，但是通常使用到TV的串行通信接口，通过TV控制单元的固件执行与TV通信来控制基本功能，诸如音量等级和电源状态。在一些情况下，为了控制目的TV可以直接连接到IP网络，并且在这样的情况下，该功能可以由TV直接执行（即，其他系统组件发出的控制消息通过IP连接由TV直接接收），而可能不要求TV控制单元。

与其他连接的设备（诸如，膝上型计算机、USB设备等）的接口通过TV控制单元的固件执行，其通过连接的设备提供直接控制。然后可以使得这些设备通过适当的网络协议可访问其他系统组件。

通过TV控制单元中的固件与该单元中提供的通信硬件（例如，HPNA调制解调器或以太网交换机）一起，执行与各种服务器的通信来便于通过STB和包括TV的任何连接设备的控制。定义适当的协议，允许其他系统组件控制TV控制单元和包括TV的任何连接设备的行为。该协议可以允许TV控制单元向其他系统组件通知各种异步事件的出现，诸如用户输入的接收、或者新设备的连接、或者电视的电源状态的改变。

UI像素与解码的视频流的合成、然后再编码合成的视频可以是计算密集的。因此，根据一些实施例，可以使用压缩的域视频编辑技术，诸如例如，ICASSP2006（）Ragip Kurceren和Fehmi Chebil的Compressed Domain Video Editing中描述的技术，在此其全部公开为所有目的通过引用并入，直接在编码视频流上执行该合成。这将避免完全编码和解码的需要。

虽然已经特定地示出并且参考本发明的具体实施例描述了本发明，但是本领域的技术人员将理解可以做出公开的实施例的形式和细节的改变，而不背离本发明的精神和范围。例如，在此描述的功能可以使用物理存储器（例如，任何类型的RAM、ROM或其他计算机可读存储介质）中存储的、与执行所述功能的特定计算设备关联的或可访问执行所述功能的特定计算设备的计算机程序指令实现。为了这样的目的可以采用的、本领域技术人员已知的各种计算和编程工具与语言的任一在本发明的范围内。可替代地，可以使用其他类型的硬件，诸如例如，可编程逻辑器件、现场可编程门阵列、专用集成电路等，实现所述功能的至少其中一些。再次地，适当的选择将对本领域的技术人员是显而易见的。

最终地，虽然在此已经参考各种实施例讨论了本发明的各种优点、方面和目的，但是将理解，不应参考这样的优点、方面和目的限制本发明的范围。相反，应当参考所附权利要求确定本发明的范围。

Claims (27)

1.一种用于通过网络提供视频的系统，包括

一个或多个服务器，其部署在网络上，并且配置为管理多个虚拟机顶盒(VSTB)的操作，每个VSTB对应于网络上的多个VSTB客户端之一，每个VSTB配置为将图形用户界面与一个或多个视频流组合，一个或多个服务器进一步配置为将组合的用户图形界面和一个或多个视频流，作为具有由对应的VSTB客户端和关联显示器支持的帧格式和编解码器的单个媒体流，发送到对应的VSTB客户端，一个或多个服务器进一步配置为从每个VSTB客户端接收用户输入，并且将用户输入提供给对应的VSTB的图形用户界面，用户的输入的至少一些代表与每个VSTB客户端相关联的用户与图形用户界面的表示的交互；以及

多个具有关联的显示器的VSTB客户端，每个VSTB客户端配置为从对应的VSTB接收单个媒体流，在关联的显示器上表现单个媒体流，每个VSTB客户端进一步配置为将用户输入发送到一个或多个服务器；

其中，每个VSTB包含：

第一虚拟网络计算(VNC)客户端，在第一服务器上，被配置为从不同于第一服务器的第二服务器仅接收对应的虚拟用户界面(VUI)实例的图形更新；以及

第二仅输入VNC客户端，在不同于第一服务器和第二服务器的第三服务器上，被配置为从与该VSTB对应的VSTB客户端接收用户输入事件，并将所接收的用户输入转发给第二服务器上的对应的VUI实例。

2.如权利要求1所述的系统，其中一个或多个服务器包括VSTB在其上操作的一个或多个VSTB服务器，一个或多个服务器进一步包括一个或多个译码服务器，其配置为接收视频流中的至少一些，并且将接收的视频流的译码版本提供给VSTB。

3.如权利要求1所述的系统，其中一个或多个服务器包括VSTB在其上操作的一个或多个VSTB服务器，一个或多个服务器进一步包括一个或多个媒体服务器，视频流中的至少一些源自所述一个或多个媒体服务器。

4.如权利要求1所述的系统，其中一个或多个服务器包括VSTB在其上操作的一个或多个VSTB服务器，一个或多个服务器进一步包括一个或多个接口服务器，其配置为生成与VSTB关联的图形用户界面。

5.如权利要求4所述的系统，其中对于每个图形用户界面，一个或多个接口服务器配置为经由具有与对应的VSTB关联的第一虚拟网络计算(VNC)客户端的第一VNC连接，将图形用户界面的更新传递给对应的VSTB。

6.如权利要求5所述的系统，其中对于每个图形用户界面，一个或多个接口服务器配置为经由第二VNC连接，接收对于图形用户界面的特定之一的用户输入，第二VNC连接具有对应于与其上正在表现特定的图形用户界面的显示器关联的VSTB客户端的第二VNC客户端。

7.如权利要求1所述的系统，其中与多个VSTB客户端关联的显示器对应于电视、桌面计算机、膝上型计算机、笔记本设备、平板设备、手持设备、上网本或智能电话的任一。

8.如权利要求1所述的系统，其中VSTB客户端中的至少一些包括与对应于关联显示器的回放设备分离的控制单元，该控制单元包括配置为从一个或多个服务器接收单个媒体流的第一接口、配置为将单个媒体流发送到回放设备的第二接口、以及用于与回放设备和一个或多个服务器通信的处理资源。

9.如权利要求8所述的系统，其中第一接口包括第一以太网接口或者第一同轴电缆接口，并且其中第二接口包括第二以太网接口或者第二同轴电缆接口。

10.如权利要求8所述的系统，其中控制单元进一步包括第三接口，其配置为与回放设备交互并且控制回放设备的操作。

11.一种控制单元，其配置为用于通过网络提供视频的系统中的操作，该系统包括部署在网络上并且配置为管理多个虚拟机顶盒(VSTB)的操作的一个或多个服务器，每个VSTB配置为将图形用户界面与一个或多个视频流组合，一个或多个服务器进一步配置为通过网络将组合的用户图形界面和一个或多个视频流作为单个媒体流发送，该控制单元包括：

一个或多个第一接口，其配置为从一个或多个服务器接收由对应的VSTB之一生成的单个媒体流，并且通过网络发送用户输入到一个或多个服务器，用户输入的至少一些代表用户与图形用户界面的表示的交互；

第二接口，其配置为将单个媒体流发送到具有用于在显示器上进行表现的关联显示器的回放设备；以及

处理资源，用于与回放设备和一个或多个服务器通信；

其中，每个VSTB包含：

第一虚拟网络计算(VNC)客户端，在第一服务器上，被配置为从不同于第一服务器的第二服务器仅接收对应的虚拟用户界面(VUI)实例的图形更新；以及

第二仅输入VNC客户端，在不同于第一服务器和第二服务器的第三服务器上，被配置为从与该VSTB对应的VSTB客户端接收用户输入事件，并将所接收的用户输入转发给第二服务器上的对应的VUI实例。

12.如权利要求11所述的控制单元，其中一个或多个第一接口包括第一以太网接口，第二接口包括第二以太网接口，并且处理资源包括以太网交换机和微控制器。

13.如权利要求11所述的控制单元，其中一个或多个第一接口包括第一以太网接口，第二接口包括同轴电缆接口，并且处理资源包括以太网交换机、微控制器和用于将单个媒体流从以太网分组转换为同轴电缆格式的转换资源。

14.如权利要求11所述的控制单元，其中一个或多个第一接口包括第一同轴电缆接口，第二接口包括第二同轴电缆接口，并且处理资源包括微控制器、将控制数据从单个媒体流分离的分离器、和用于将控制数据从同轴电缆格式转换为以太网分组的转换资源。

15.如权利要求11所述的控制单元，进一步包括第三接口，其配置为与回放设备交互并且控制回放设备的操作。

16.如权利要求11所述的控制单元，其中一个或多个第一接口包括多个第一接口，其中之一配置为提供实现一个或多个服务器控制与控制单元通信的一个或多个设备的通信设施。

17.如权利要求11所述的控制单元，其中一个或多个第一接口包括多个第一接口，其中之一配置为从一个或多个服务器接收单个媒体流，并且其中的另一个配置为发送用户输入到一个或多个服务器。

18.如权利要求11所述的控制单元，进一步包括无线遥控接收器，其配置为实现控制设备与系统交互。

19.如权利要求11所述的控制单元，进一步包括通用串行总线(USB)接口。

20.一种用于通过网络提供视频的系统，包括部署在网络上并且配置为管理多个虚拟机顶盒(VSTB)的操作一个或多个服务器，每个VSTB对应于网络上的多个VSTB客户端之一，每个VSTB配置为将图形用户界面与一个或多个视频流组合，一个或多个服务器进一步配置为将组合的用户图形界面和一个或多个视频流，作为具有由对应的VSTB客户端和关联显示器支持的帧格式和编解码器的单个媒体流，发送到对应的VSTB客户端，一个或多个服务器进一步配置为从每个VSTB客户端接收用户输入，并且将用户输入提供给对应的VSTB的图形用户界面，用户的输入的至少一些代表与每个VSTB客户端相关联的用户与图形用户界面的表示的交互；

其中，每个VSTB包含：

第一虚拟网络计算(VNC)客户端，在第一服务器上，被配置为从不同于第一服务器的第二服务器仅接收对应的虚拟用户界面(VUI)实例的图形更新；以及

第二仅输入VNC客户端，在不同于第一服务器和第二服务器的第三服务器上，被配置为从与该VSTB对应的VSTB客户端接收用户输入事件，并将所接收的用户输入转发给第二服务器上的对应的VUI实例。

21.如权利要求20所述的系统，其中一个或多个服务器包括VSTB在其上操作的一个或多个VSTB服务器，一个或多个服务器进一步包括一个或多个译码服务器，其配置为接收视频流中的至少一些，并且将接收的视频流的译码版本提供给VSTB。

22.如权利要求20所述的系统，其中一个或多个服务器包括VSTB在其上操作的一个或多个VSTB服务器，一个或多个服务器进一步包括一个或多个媒体服务器，视频流中的至少一些源自所述一个或多个媒体服务器。

23.如权利要求20所述的系统，其中一个或多个服务器包括VSTB在其上操作的一个或多个VSTB服务器，一个或多个服务器进一步包括一个或多个接口服务器，其配置为生成与VSTB关联的图形用户界面。

24.如权利要求23所述的系统，其中对于每个图形用户界面，一个或多个接口服务器配置为经由具有与对应的VSTB关联的第一虚拟网络计算

(VNC)客户端的第一VNC连接，将图形用户界面的更新传递给对应的VSTB。

25.如权利要求24所述的系统，其中对于每个图形用户界面，一个或多个接口服务器配置为经由第二VNC连接，接收对于图形用户界面的特定之一的用户输入，第二VNC连接具有对应于与其上正在表现特定的图形用户界面的显示器关联的VSTB客户端的第二VNC客户端。

26.如权利要求20所述的系统，其中与多个VSTB客户端关联的显示器对应于电视、桌面计算机、膝上型计算机、笔记本设备、平板设备、手持设备、上网本或智能电话的任一。

27.一种用于操作网络中的虚拟机顶盒(VSTB)的计算机实现方法，包括：

将VSTB分配到网络上的VSTB客户端；

将图形用户界面与一个或多个视频流组合为单个视频流；

使用VSTB客户端和关联显示器支持的帧格式和编解码器将单个视频流发送到VSTB客户端；以及

将从VSTB客户端接收的用户输入提供到图形用户界面，用户输入中的至少一些代表与VSTB客户端相关联的用户与图形用户界面的表示的交互；

其中，每个VSTB包含：

第一虚拟网络计算(VNC)客户端，在第一服务器上，被配置为从不同于第一服务器的第二服务器仅接收对应的虚拟用户界面(VUI)实例的图形更新；以及

第二仅输入VNC客户端，在不同于第一服务器和第二服务器的第三服务器上，被配置为从与该VSTB对应的VSTB客户端接收用户输入事件，并将所接收的用户输入转发给第二服务器上的对应的VUI实例。