CN1679336A - 视频点播服务器系统和方法 - Google Patents

Abstract

视频点播服务器体系结构(100，200，300)通过固定带宽信道(11)传输具有不同比特率的多个预编码节目。对于每一个节目，发生器(120－12P－1，110，210)为每一个节目产生多个不同的比特率表述。每一个发生器还在多个连续时间窗T的每一个处，为每一个比特率表述提供控制信息。控制信息在每一个时间窗T期间提供比特率和质量测量。控制信息使得统计型多路复用器(16，160，260)可以在每一个时间窗T期间选择用于每一个节目的比特率表述，从而在不超出总可用信道容量的同时，使所选择的表述的质量最大化。

Description

视频点播服务器系统和方法

技术领域

本发明涉及一种用于在保持固定信道的带宽限制的同时，有效提供视频点播的技术。

背景技术

目前，视频点播(VoD)系统通常传输固定比特率(CBR)视频。对于相等的长时间平均比特率，传输CBR视频达不到与传输可变比特率(VBR)视频相同的效率。由于每一个节目所需的瞬时比特率之和有时可以超过总可用比特率，在固定带宽信道上传输多路预记录VBR编码的视频节目存在问题。另一方面，使用实时编码器的广播应用节目使用统计型(statistical)多路复用，从而开发(exploit)在相同的载波或转发器(transponder)上承载的多个节目之间的瞬时比特率变化。编码器实时操作，以便于使得系统可以限制所有节目的总组合比特率，从而在给定时间窗内不超过信道容量。每一个视频节目具有相关联的复杂度测量(measure)。中央控制器根据相对的复杂度，动态地调整分配给每一个视频节目的比特率。

现在存在公知为“video transraters”的设备，操作用于减小例如MPEG2的公共压缩标准中的视频流的比特率。目前，当在固定和可变比特率之间转换时，transraters常常面临困难。当尝试对具有许多场景变化或大量I画面的比特流改变比特率时，这种transraters也面临困难。

允许将视频信号划分为基层(base layer)和一个或多个增强层的可分级(scalable)视频编码也可以解决比特率问题。存在几个可分级视频编码的方法，包括空间、SNR、时间、数据划分、精细可分级(finegrain scalability)(FGS)、频率可分级。MPEG-2和MPEG-4视频压缩标准包括几个可分级方法。使用可分级编码需要发射机和接收机具有实现不同编码算法的相同能力，由此引入了额外的复杂度。

因此，需要一种缓解了现有技术缺点的用于管理可变比特率视频点播的技术。

发明内容

简要地，根据本原理，提供了一种用于通过固定带宽信道传输多个具有不同比特率的预编码的节目的方法。对于每一个节目，产生至少两个并且优选是多个不同的比特率表述(representation)。对于每一个比特率表述，在多个连续时间窗的每一个处提供控制信息。在每一个时间窗期间，控制信息提供比特率和质量测量。控制信息使得可以在每一个时间窗T期间为每一个节目进行选择，从而在不超出总可用信道容量的同时，使所选择的表述的质量最大化。

附图说明

图1示出了根据本原理的视频点播服务器的体系结构的第一优选

实施例的方框图；

图2示出了根据本原理的视频点播服务器的体系结构的第二优选

实施例的方框图；以及

图3示出了根据本原理的视频点播服务器的体系结构的第三优选

实施例的方框图。

具体实施方式

在开始描述本原理的技术之前，对以下术语进行说明是有益的：

T是设想的系统最优化的时间间隔

C是在时间帧T中可用的总信道容量

P是节目的总数

p∈(0，P-1)，是具体节目的序号

N[p]是节目p的表述的总数

n[p]∈(0，N[p]-1)是节目p的具体表述的序号

r[p，x]是在T期间节目p的表述x的比特率

q[p，x]是在T期间节目p的表述x的质量

图1示出了根据本原理的视频点播服务器体系结构10的第一优选实施例，用于在具有总信道容量C的固定带宽信道11上传输预编码的CBR和/或VBR音频/视频节目。服务器体系结构10包括多个多速率流发生器12₀，12₁...12_P-1，其中P是与独立的输入流的数量相对应的大于0的整数。流速率发生器12₀-12_P-1中的每一个对所对应的节目之一的节目0、节目1...节目P-1以多个不同的比特率进行预编码。从另一个角度来说，每一个多速率流发生器预编码对应的节目，从而产生至少两种或更多的不同的比特率表述。表述可以包括特定存储的编码数据流，或不同编码比特流的各部分的组合。存储设备14，通常以单磁盘驱动器、冗余阵列磁盘(RAID)或多个RAIDs的形式，存储由多速率流发生器12₀-12_P-1所产生的预编码的表述。

多速率流发生器12₀-12_P-1的每一个针对节目0至P-1中对应的一个，分别产生每一个时间窗T的控制信息。针对每一个节目的每一个表述的每一个时间窗T的控制信息包括该表述的比特率的指示和质量测量，例如表述的峰值信噪比(PSNR)。中央统计型多路复用器(“statmux”)16接收用于每一个表述的控制信息。在每一个连续时间窗T处，stat mux 16选择用于每一个节目的表述，从而在保持处于或低于信道11的总容量C的总比特率的同时，使所传输的节目的质量最大化。

用于每一个节目的最低比特率的表述应该不超过规定值，以使用于所有节目的最低比特率之和不超过用于每一个时间间隔T的信道容量。按照这种方式，每一个节目的至少一个表述可以经历在信道11上的传输。需要用于每一个节目的最低比特率具有等于或小于C/P的峰值比特率能够实现该限制。对于所有节目的所有时间窗T，存在另一种方法满足限制 $\underset{p=0}{\overset{P-1}{\mathrm{\Σ}}}r[p,0]\≤C.$ 典型地，不存在关于具体节目何时重新开始的先验知识。因此，通过要求最低比特率表述的比特率限制与用于具体节目的所有时间窗T的相同，对容量的强制限制变得非常容易。

用于使整体组合的质量最大化的处理能够按照几种不同的方式进行。在所有情况下，对于所有节目的所有时间窗T，必须保持满足限制 $\underset{p=0}{\overset{P-1}{\mathrm{\Σ}}}r[p,n[p\left]\right]\≤C.$ 通过针对每一个p∈(0，P-1)选择n[p]以使最小质量节目的质量最大化(例如，使最大失真最小化)，极小极大(mimimax)方法可以满足限制。

通过对用于每一个节目的每一个表述的控制信息进行排序以使质量和比特率序号随序号的增加而单调递增，可以实现极小极大方法。然后，存储针对每一个步骤的比特率的变化(称作“增量(Δ)”比特率)。对于每一个节目表述，stat mux 16以最低序号开始并计算总容量S。stat mux 16选择处于最低质量的节目表述，并检查将其增量比特率与S相加是否超过C。如果表述的加法不超过C，该表述的序号递增，并且重复处理。一旦超过了C，则检查下一个最低质量的表述，以便了解将其delta比特率与S相加是否超过C。重复进行处理，直到在不超过信道容量C的同时，在任何表述中没有递增。换句话说，通过最大化单个节目质量之和，可以最优化所有节目的总质量，其涉及解决以下受限的最优化问题：

$\underset{n[.]}{\max }\underset{p=0}{\overset{P-1}{\mathrm{\Σ}}}q[p,n[p\left]\right];$ 服从 $\underset{p=0}{\overset{P-1}{\mathrm{\Σ}}}r[p,n[p\left]\right]\≤C$

还可以按照以下方式对单个节目质量的乘积进行最优化： $\underset{n[.]}{\max }\underset{p=0}{\overset{P-1}{\mathrm{\Π}}}q[p,n[p\left]\right];$ 服从 $\underset{p=0}{\overset{P-1}{\mathrm{\Σ}}}r[p,n[p\left]\right]\≤C$

还可以使用加权平均，从而为不同的观众提供不同类别的服务。

多速率流发生器120-12P-1可以使用几个不同的方法或者方法的组合，以形成每一个节目的多个表述。在所有情况下，对于每一个表述，例如帧内编码(I)帧的随机接入点应该出现在每一个时间窗T的开始处，从而对于每一个时间窗T，可以选用不同的表述而不会引起漂移(drift)。只要最低比特率表述的容量满足总信道容量限制，每一个表述就可以使用CBR或者VBR编码。

在第一方法中，多速率视频编码器按照几个不同的比特率将每一个节目编码为几个独立的比特流。每一个不同比特率的比特流充当不同的表述。图2示出了用于执行该方法的体系结构100。如图2所示，多速率视频编码器110用于对相应的节目进行编码，从而产生多个不同的速率表述。传输分组器(packetizer)112₀，112₂...112_P-1中独立的每一个对相应的表述进行分组(packetize)。在存储到类似图1的存储设备14的结构的存储设备140中之前，进行一次由多速率编码器110所执行的多速率编码以及由分组器112₀-112_P-1所执行的分组，不需要实时进行。

响应从选择器块150接收的信号，实时选择用于输出的存储在存储设备140中的表述。响应来自stat mux 160的针对特定表述的请求，选择器块150识别所存储的用于输出的表述。当接收到来自选择器块150的信号时，存储设备140将所选择的分组的表述提供给stat mux160，用于输出。

在第二方法中，组合几个不同的比特流的部分从而产生节目的附加表述。在节目的所有比特流的相同位置处随机接入点的出现(类似在场景变化时自然地出现)或固定的图片组结构的使用，允许来自随机接入边界处的不同比特率流的压缩数据的组合。只要存在根据所存储的数据产生每一个表述的能力，就不需要独立地存储每一个表述。考虑以下示例，其中T是1秒，以30fps编码数据，并且每15帧插入I帧，产生三种不同比特率的比特流，分别称作比特流0、比特流1和比特流2。每一个比特流行成独立的表述。可以形成附加的表述，其将比特流0用于第一个15帧，并且将比特流1用于第二个15帧，等等。

假设随机接入点与传输分组对准，当预先进行传输分组时，图2的服务器体系结构100工作良好。图3示出了当随机接入点不需要与传输分组对准时更适用的VoD服务器体系结构200。参考图3，VoD服务器体系结构200包括多速率视频编码器210，用于产生多个不同的比特率表述，以便存储在与存储设备14和140类似的存储设备240中。存储在存储设备140中的表述作为未分组的比特流存在。

响应从选择器块250接收的信号，实时进行用于输出的存储在存储设备240中表述的选择。本质上与图2的选择器块150类似的选择器块250响应来自统计型混频器/多路复用器260对特定表述的请求，识别所存储的用于输出的表述。当接收到来自选择器块250的信号时，存储设备240将所选择的分组的表述提供给静态混频器/多路复用器。分组器212对静态混频器/多路复用器的输出流进行分组，用于在信道(未示出)上输出。

还可以通过在所存储的用于非参考画面的比特流之间进行切换来形成表述，例如对于视频编解码器(未示出)，包括不用作用于预测其它画面的参考画面的画面，例如MPEG-2B帧或JVT非存储画面。可以从所存储的不同比特流中选择每一个非参考画面，而不需影响随后的编码画面的质量，由于非存储的画面不用于预测。还可以出现表述中非参考画面的完全去除。考虑到许多可能的总比特率表述，独立地切换每一个非参考画面，或者一起切换非参考图片组。图1的多速率流信号发生器12₀-12_P-1可以进行选择以限制要发送给图1的stat mux16的可能表述的数量，从而选择那些在质量和比特流上具有明显不同的表述。不需要将每一个表述独立地存储于存储器中，但是可以存储列出了每一个编码帧的位置和长度的表，以便当需要时简化表述的产生。还可以仅针对非存储的画面来存储多比特率流，以及仅存储参考(I和P)画面的单个版本，这可以明显减小存储需求。

分别利用图2和3的VoD服务器体系结构100和200，stat mux 160和静态混频器/多路复用器260产生对应于所选定表述的比特流。如果单个画面没有与传输分组对准，则图3的体系结构200在针对特定表述的比特流产生之后实现传输分组。否则，图2的VoD服务器体系结构100将工作良好。

根据本原理的其它方面，通过使用可分级视频编码器(未示出)以形成基层和一个或多个增强层，可以进行可分级视频编码。可以使用采用基层用于运动补偿参考画面预测以便避免漂移的任何类型的可分级，例如频率可分级、FGS、SNR可分级或时间可分级。最低比特率表述对应于基层。当对所有节目的基层求和时，对于每一个时间窗T，基层的峰值比特率必须不超过信道容量C。其它更高比特率的表述与加上某些增强层部分的基层相对应。本方法需要视频解码器支持所使用可分级的类型。当在特定表述中包括整个增强层时，使用图2的VoD服务器体系结构100。如果在表述中使用部分增强层，则使用图3的VoD服务器体系结构200。

对于针对内容正确管理而使用加密的系统，图2的VoD服务器体系结构100不需要任何实时的解密或加密，因为将加密添加到非实时进行的传输分组处理中，并且存储和传输整个加密传输分组。图3的VoD服务器体系结构200需要与传输分组一起实时地进行加密。

VoD节目通常包括音频和视频。由于音频比特率通常明显低于视频比特率并且其通常还处于固定的比特率，存在通过由图1和图2的stat mux 16和160以及图3的静态混频器/多路复用器260从不同的预编码的视频流的选择得到的较少优点。用户可能发现在单个节目干扰的观看期间，音频质量的切换。可以认为总信道容量C全部由视频信道占用；假设还针对每一个节目发送了单个比特率音频流。可选地，上述方法还可以应用于音频，其中能够产生具有不同比特率和质量的音频节目的多个表述。

与本发明的VoD服务器体系结构一起工作的视频播放器(未示出)包含视频解码器(未示出)以及用于缓冲的某些存储器。对于接收到的具体节目，数据可以按照非均匀数据率到达，但要求与时间单元T相对应的数据在T时间窗内的任何时间到达。视频播放器必须具有针对T的缓冲和延迟的能力。可以预确定时间窗T内针对节目的给定表述能够传输的最大比特率的上限，从而限制解码器的复杂度和解码器缓冲区的尺寸。解码缓冲器通常是视频解码器的需要，例如，MPEG-2层设置了缓冲器尺寸的具体需求，并且可以选择T和比特率的组合以满足需要。

还在VoD服务器中存储了针对每一个节目的快进和快倒轨道(tracks)。可以按照单个比特率或者某些不同的比特率进行存储，并允许作为正常播放节目进行改编。

确定时间窗T长度基于几个因素。T应该尽可能大，从而获得最大统计的多路复用增益，但是应该足够小，以限制视频播放器处对于启动以及在正常播放和特技(trick)播放流之间的切换的延迟。T应当足够小以满足解码器需要。

以上描述了用于在保持固定信道带宽的同时，有效提供视频点播的系统和方法。

Claims (22)

1.一种用于通过固定带宽信道传输具有不同比特率的多个预编码节目的方法，包括步骤：

产生每一个节目的至少两个不同的比特率表述；

在多个连续时间窗T的每一个处，提供用于每一个节目的每一个表述的控制信息，用于每一个连续窗的控制信息指示了用于对应节目的表述的比特率和质量测量；以及

在每一个时间窗T期间，选择用于每一个节目的表述，从而在不超过总可用信道容量的同时，使所选择的表述的质量最大化。

2.根据权利要求1所述的方法，其特征在于产生至少两个不同比特率表述的步骤还包括步骤：对于每一个节目，产生具有最低比特率表述，其具有不大于C/P的峰值比特率，其中C是时间T中的总信道容量，P是节目的总数目。

3.根据权利要求1所述的方法，其特征在于提供控制信息的步骤还包括步骤：产生峰值信噪比(PSNR)，作为体现在控制信息中的质量测量。

4.根据权利要求1所述的方法，其特征在于选择步骤还包括步骤：对于在所有时间窗内满足限制 $\underset{p=0}{\overset{P-1}{\mathrm{\Σ}}}r[p,n[p\left]\right]\≤C$ 的每一个节目来选择表述，其中：

C是在时间帧T中的总可用信道容量；

P是节目的总数；

p∈(0，P-1)是特定节目的序号；

N[p]是节目p的表述的总数；

n[p]∈(0，N[p]-1)是节目p的特定表述的序号；以及

r[p，x]是在T期间节目p的表述x的比特率。

5.根据权利要求4所述的方法，其特征在于还包括步骤：选择每一个节目的表述n[p]∈(0，N[p]-1)，以使具有最小质量的节目p的质量最大化。

6.根据权利要求5所述的方法，其特征在于还包括步骤：

(a)对质量信息进行排序，以便比特率和质量测量随着序号值的增加而单调递增；

(b)对于每一个序号值，存储每一个比特率递增(增量)和质量值；

(c)从最低序号值开始，对于这种序号值，计算用于至今选择的节目的表述的总容量S；

(d)选择处于最低质量测量的节目表述；

(e)当添加到至今选择的表述时，检查所选择的处于最低质量的节目的比特率的递增是否超过了总信道容量，如果否

(f)递增序号值；以及

(g)重复步骤(c)-(f)。

7.根据权利要求1所述的方法，其特征在于选择步骤还包括步骤：通过求解 $\underset{n[\·]}{\max }\underset{p=0}{\overset{P-1}{\mathrm{\Σ}}}q[p,n[p\left]\right];$ 服从 $\underset{p=0}{\overset{P-1}{\mathrm{\Σ}}}r[p,n[p\left]\right]\≤C,$ 选择用于每一个节目的表述，以使单个节目质量之和最大化，其中：

C是在时间帧T中的总可用信道容量；

P是节目的总数；

p∈(0，P-1)是特定节目的序号；

N[p]是节目p的表述的总数；

n[p]∈(0，N[p]-1)是节目p的特定表述的序号；

r[p，x]是在T期间节目p的表述x的比特率；以及

q[p，x]是在T期间节目p的表述x的质量。

8.根据权利要求1所述的方法，其特征在于选择步骤还包括步骤：通过求解下式来选择用于每一个节目的表述，以使单个节目的质量之积最大化：

$\underset{n[\·]}{\max }\underset{p=0}{\overset{P-1}{\mathrm{\Π}}}q[p,n[p\left]\right];$ 服从 $\underset{p=0}{\overset{P-1}{\mathrm{\Σ}}}r[p,n[p\left]\right]\≤C$

其中

C是在时间帧T中的总可用信道容量；

P是节目的总数；

p∈(0，P-1)是特定节目的序号；

N[p]是节目p的表述的总数；

n[p]∈(0，N[p]-1)是节目p的特定表述的序号；

r[p，x]是在T期间节目p的表述x的比特率；以及

q[p，x]是在T期间节目p的表述x的质量。

9.根据权利要求8所述的方法，其特征在于还包括步骤：应用加权平均，从而为不同观众提供不同类别的服务。

10.一种用于在固定带宽信道上传输具有不同比特率的多个预编码节目的系统，包括步骤：

产生装置，用于产生每一个节目的至少两种不同的比特率表述；

提供装置，用于在多个连续时间窗T的每一个处，提供用于每一个节目的每一个表述的控制信息，用于每一个连续窗的控制信息指示了用于对应节目的表述比特率和质量测量；以及

选择装置，用于在每一个时间窗T期间，选择用于每一个节目的表述，从而在不超过总可用信道容量的同时，使所选择的表述的质量最大化。

11.根据权利要求10所述的系统，其特征在于产生装置和控制信息提供装置共同包括：

多个多速率流发生器，每一个与多个预编码节目中对应的一个相关联。

12.根据权利要求10所述的系统，其特征在于产生装置和控制信息提供装置共同包括：

多速率视频编码器，用于对每一个预编码节目的至少两个比特率表述进行编码。

13.根据权利要求10所述的系统，其特征在于产生装置和控制信息提供装置共同包括：

多速率视频编码器，用于对每一个预编码节目的至少两个比特率表述进行编码；以及

多个传输分组器，每一个用于针对每一个预编码的节目进行比特率表述的分组。

14.根据权利要求10所述的系统，其特征在于选择装置包括静态多路复用器。

15.根据权利要求12所述的系统，其特征在于选择装置包括：

静态多路复用器；以及

用于将选择的表述进行分组的传输分组器。

16.根据权利要求10所述的系统，其特征在于，对于每一个节目，选择装置产生具有不大于C/P的峰值比特率的最低比特率表述，其中C是时间T中的总信道容量，且P是节目的总数。

17.根据权利要求10所述的系统，其特征在于控制信息提供装置根据峰值信噪比(PSNR)建立质量测量。

18.根据权利要求10所述的系统，其特征在于对于在所有时间窗内均满足限制 $\underset{p=0}{\overset{P-1}{\mathrm{\Σ}}}r[p,n[p\left]\right]\≤C$ 的每一个节目，选择装置选择表述，其中：

C是在时间帧T中的总可用信道容量；

P是节目的总数；

p∈(0，P-1)是特定节目的序号；

N[p]是节目p的表述的总数；

n[p]∈(0，N[p]-1)是节目p的特定表述的序号；以及

r[p，x]是在T期间节目p的表述x的比特率。

19.根据权利要求18所述的系统，其特征在于选择装置选择每一个节目的表述n[p]∈(0，N[p]-1)，以使具有最小质量的节目p的质量最大化。

20.根据权利要求10所述的系统，其特征在于选择装置通过求解下式来选择用于每一个节目的表述，以使单个节目质量之和最大化： $\underset{n[\·]}{\max }\underset{p=0}{\overset{P-1}{\mathrm{\Σ}}}q[p,n[p\left]\right];$ 服从 $\underset{p=0}{\overset{P-1}{\mathrm{\Σ}}}r[p,n[p\left]\right]\≤C$

其中：

C是在时间帧T中的总可用信道容量；

P是节目的总数；

p∈(0，P-1)是特定节目的序号；

N[p]是节目p的表述的总数；

n[p]∈(0，N[p]-1)是节目p的特定表述的序号；

r[p，x]是在T期间节目p的表述x的比特率；以及

q[p，x]是在T期间节目p的表述x的质量。

21.根据权利要求10所述的系统，其特征在于选择装置通过求解下式来选择用于每一个节目的表述，以使个节目质量之积最大化： $\underset{n[\·]}{\max }\underset{p=0}{\overset{P-1}{\mathrm{\Π}}}q[p,n[p\left]\right];$ 服从 $\underset{p=0}{\overset{P-1}{\mathrm{\Σ}}}r[p,n[p\left]\right]\≤C$

其中

C是在时间帧T中的总可用信道容量；

P是节目的总数；

p∈(0，P-1)是特定节目的序号；

N[p]是节目p的表述的总数；

n[p]∈(0，N[p]-1)是节目p的特定表述的序号；

r[p，x]是在T期间节目p的表述x的比特率；以及

q[p，x]是在T期间节目p的表述x的质量。

22.根据权利要求10所述的系统，其特征在于应用加权平均，从而为不同观众提供不同类别的服务。

Images