CN102318311A - 多视频流传输中的带宽分配控制 - Google Patents

Abstract

通过网络从服务器以可选择的质量传输视频序列。网络控制协议响应于控制参数进行操作，以与控制参数的值成比例地向服务器分配可用传输容量的共享。首先，确定在所述序列的多个连续时间段上以基准质量成功地传输所述序列所需的多个传输速率值；然后与所述传输速率值成比例地设置所述控制参数，并在对应的时刻向所述控制协议发送所述控制参数。随后可以传输以根据所述网络对于所述服务器可用的实际传输容量间或地选择的质量进行了编码的序列。

Description

多视频流传输中的带宽分配控制

技术领域

本发明涉及通过电信网络传输视频信号。 

背景技术

通过诸如因特网的数据网络传输视频目前很普遍。为了接收这种信号，用户可以使用适当配置的计算机或者诸如“机顶盒”(STB)的其他接收机。STB越来越普及并且可以配备IP连接，该IP连接允许通过因特网流传输或下载诸如视频的内容。通过因特网传送的电视(通常被称为IPTV)是这种增长的服务的良好示例。 

当通过IP网络流传输视频数据时，不保证所发送的数据将到达其目的地。当网络经历拥塞或者其它问题时，数据包的传输将出现延迟并且一些包甚至可能丢失。 

为了提供更可靠的端到端的数据传送，通常使用传输控制协议(TCP)作为传输协议。实际上，由于很多原因而在视频流传输系统中普遍使用TCP，但是主要是因为TCP提供确保可靠传送并且管理网络拥塞的机制。例如，TCP实现可靠性的一种方式是使接收机必须向发射机确认接收了全部数据。如果在预定时间段之后数据包仍然未确认，则TCP假定没有收到该包并且发射机重传该相同的包。TCP管理拥塞的一种方式是通过作为网络中的拥塞的函数来减小数据的传输速率。 

考虑使用TCP传送多个视频流并且全部共享竞争网络的情形。当发生拥塞时，TCP拥塞控制算法将迫使全部流降低(back off)它们的传送速率，以使得能够清除拥塞。每个流以固定系数降低并且最终全部流将稳定在大致相同的带宽(假设相似的往返时间)。 

使用这种方法不是没有问题。如果带宽变得少于视频内容要求的带宽，则视频的播放将延迟(stall)，直到接收到足够的数据以重新开始播放为止。可以通过以下处理来缓解这种情形：通过在接收机处缓冲比播放所需的更快地预先接收到的数据，以及通过切换所发送的视频的质量，使得所需的带宽降低到少于或者等于网络现在提供的带宽。 

有时还通过TCP传送速率自适应、比特率可变的视频流，其中所发送的视频质量或者比特率随着时间而调节。然而，以上的拥塞情形仍然会发生，并且当网络拥塞时针对相同视频质量分别具有不同平均编码比特率的两个流仍将稳定到大致相同的经降低的传输比特率。这可能导致一些特别不希望的结果，其中第一个流初始以高比特率编码，诸如具有高帧活动性的视频序列，诸如体育序列，并且第二序列以低比特率编码，例如具有低帧活动性的视频序列，诸如新闻或者戏剧序列。 

当网络经历拥塞时，TCP将两个流的可用带宽削减(cut)为大致相同级别。这将影响第一个流，该第一个流以较高的比特率编码并且由此具有比第二个流更高的带宽要求，第二个流以较低的比特率编码并且由此仍将具有足够的带宽。换句话说，第一个高比特率的流将比第二个低比特率的流更明显地受影响，因为第一个流与第二个流被给予相同的经降低的带宽。这将导致向每个用户传送的视频的质量随着时间改变，并且质量根据用户观看的视频片段的类型而在用户之间改变。 

缓解TCP下经历的这些问题中的一些的流传输视频的另一途径是使用恒定比特率传送系统，其中视频流可用的比特率是固定的，例示通过数据的传输开始之前的预留方案。该传送方法容易管理，但是也不是没有问题。 

再次考虑以上的两个视频流的示例，其中第一个流具有活跃的帧，诸如体育片段，并且第二个流具有较不活跃的帧，诸如新闻片段。预留并且使用来传送两个流的比特率固定在预定速率(该预定速率被认为对大多数应用并且在针对两个流的这种情况下是足够的)。然而，第二个流实际上不要求那么多的带宽，因为在第二序列的活动性较低的情况下，编码的比特率能够比第一序列的低很多。使用该固定带宽传输的第二个流由此浪费其带宽的大部分。如果第二个流增加编码速率以利用预留的整个带宽，则得到的视频的质量很可能比第一个流高很多。然而，该质量的增加不一定如观众感知的那样明显，并且由此可能浪费。另外，具有该冗余带宽不是对网络资源的有效利用。 

当开始考虑在序列自身期间活动性改变的视频序列时以上问题突出。例如，相对静止的新闻宣读序列可能夹杂着非常活跃的足球片段的精彩画面。 

国际专利WO2008/119954描述了一种通过竞争网络传送视频流的方法，其中每个流以恒定质量传送。 

国际专利WO2004/047455描述了一种以分段恒定比特率通过网络传送可变比特 率序列的方法，其中每个段的速率单调减小。得到的比特率的曲线(profile)被称为“下楼”函数。 

美国专利US-B1-6,259,733描述了一种统计复用的方法，其中多个视频源被同时编码并且复用到单个信道以进行传输。针对空间和时间复杂度对这些视频源进行分析，以得到比特率的相对需求，该比特率的相对需求根据重要系数进行了比例调整(scale)(例如对于电影高，对于新闻低)，并且随后使用比特率的相对需求来划分带宽。 

美国专利申请2006/224762描述了一种估计视频序列的编码复杂度并且使用所估计的编码复杂度来确定编码的比特率的方法。 

发明内容

根据本发明，提供了一种通过网络从服务器以可选择的质量传输视频序列的方法，其中，所述服务器操作可响应于控制参数进行操作的网络控制协议，以与所述控制参数的值成比例地向所述服务器分配可用传输容量的共享，该方法包括以下步骤： 

确定在所述序列的多个连续时间段上以基准质量成功地传输所述序列所需的多个传输速率值； 

与所述传输速率值成比例地设置所述控制参数； 

在对应的时刻向所述控制协议发送所述控制参数； 

传输以根据所述网络对于所述服务器可用的实际传输容量间或地选择的质量进行了编码的视频。 

本发明的其它方面在权利要求书中阐述。 

附图说明

为了更好地理解本发明，下面将仅仅通过示例方式参照附图，其中： 

图1是示出用于以恒定质量对视频序列进行编码的比特率的变化的曲线图； 

图2是本发明的实施方式中的系统的网络图； 

图3是示出以三个质量级别编码的两个不同视频片段的图； 

图4是本发明的第二实施方式中的系统的网络图； 

图5是示出以恒定质量级别2.6、3.4、和4.2编码三次的视频序列的下楼比特率 曲线的曲线图；以及 

图6是示出质量2.6和4.2的下楼比特率相比于质量3.4的下楼比特率的比率的曲线图。 

具体实施方式

提出以恒定质量而不是恒定比特率对通过竞争网络传输的视频流进行编码。如果以恒定质量对视频序列进行编码，则所使用的比特率很可能急剧变化。图1示出针对以恒定质量级别编码的90秒视频片段的比特率。在本示例中，已经通过将量化器(quantiser)参数(qp)设置为28确定了质量级别。该量化器参数有效地控制编码的质量—量化器越小，质量越好。该片段是多个视频序列的代表，其中在任意给定时刻比特率根据场景有多复杂而改变。例如，具有很多活动或者运动的帧序列要求更高的比特率来以固定质量编码。 

图1中的两个不同的迹线(trace)是针对两个不同的缓冲量。更动态的迹线是比特率为对3个帧使用的平均比特率的情况，更平滑的迹线是使用了192个帧的滑动窗口的情况。由此，通过增加缓冲量，比特率被有效地平滑。 

用于任何实际流传输系统的比特率将如上所述作为编码特定内容序列的难度的函数而明显改变。当比较不同风格的视频片段时该变化甚至更加明显。例如，体育片段可能要求更高的平均比特率并且由于通常场景的高活动性而更多地波动，而新闻报道片段可能要求低得多的比特率并且相对静态。 

因此，为了以恒定质量向共享竞争网络的用户传送视频流，对全部流使用恒定带宽方法是低效的。必须使得向每个流分配的带宽能够根据该时刻流传输的视频的精确需求及时地动态改变，并且在任何网络带宽限制之内。 

图2示出系统200的示例，系统200包括视频编码器206，视频编码器206连接到视频存储器208，视频存储器208进而连接到服务器210。服务器210能够通过IP网络214与两个接收机(接收机_A 216和接收机_B 218)中的每一个通信。接收机216和218能够向服务器210请求视频片段。IP网络214在经修改的TCP设置(以下在本发明的实施方式中描述)下工作。 

编码器206对视频序列进行编码以传输到接收机216和218。在此示出了两个视频序列，序列_A202和序列_B 204。编码器206能够以各种比特率编码并且向数据存 储器208或者直接向服务器210输出经编码的视频序列。数据存储器208用于存储经编码的视频序列，直到它们被服务器210请求或者需要为止。服务器210从数据存储器208或者直接从编码器206获取经编码的视频序列，并且通过IP网络214将它们作为视频流发送给两个接收机216和218中的任何一个。序列_A 202被请求并且将(在编码之后)被发送给接收机_A 216，并且序列_B 204被请求并且将被发送给接收机_B 218。这些接收机例如可以是经适当配置的计算机或者机顶盒，并且适用于解码所接收的视频流并且将经编码的序列解码为原始视频以由用户观看。 

当IP网络214中发生拥塞时，使用经修改的网络控制机制来处理该拥塞。在本示例中，标准TCP协议被修改以处理该拥塞。具体地，构建在TCP中的拥塞控制算法的动力学(dynamics)被修改，以使得在给定时间点通过IP网络214分配给任何视频流的带宽的一部分是内容的带宽需求的函数。由此，越复杂的视频序列，诸如体育序列，应被给予比诸如新闻报道片段的较不复杂的序列更多的带宽。同时，通过IP网络214传输的视频流被修改，以使得它们以拥塞控制机制所允许的最大比特率传输。 

目前根据TCP，拥塞控制是使用滑动窗口机制来实现的。滑动窗口的长度确定要求确认之前发送了多少数据。比特率是该窗口的大小以及往返时间(发送数据和接收到确认之间的时间)的函数。为了确保更复杂的视频序列得到更大的带宽共享，拥塞控制算法的动力学被改变，以使得更难或者更复杂的内容具有更大的滑动窗口。实际上，TCP的“贪婪程度(greediness)”被修改。 

可以使用多种方法来改变TCP的“贪婪程度”。一种方法是通过修改退避(backoff)系数。通常，当发生包丢失时(假设包丢失是由于拥塞而造成的)，TCP将与出问题的流相关联的滑动窗口的大小(退避系数)减半。在本发明的一个实施方式中，可以调整该退避系数，使得当检测到包丢失时滑动窗口被设置为例如其原始大小的3/4。与当退避系数是一半时的情形相比，效果将是被影响的流将比正常的“更贪婪”并且确保更大的带宽。于是在该贪婪TCP会话上发送的流能够以比TCP会话不贪婪的情况下可能的质量更高级别的质量来发送。 

这种被称为MulTCP的系统已经由Crowcroft和Oechslin(J.Crowcroft and P.Oechslin，″Differentiated end-to-end Internet services using a weighted proportional fair sharing TCP″.In ACM SIGCOMM Computer Communication Review archive，volume 28， pages 53-69，July 1998)进行了描述。MulTCP与传统的TCP不同之处在于其采用参数N，该参数N允许流获得可用带宽的一部分(等于传统TCP的单个流的带宽的N倍)。传统TCP的标准拥塞控制机制是加性增长乘性减小(AIMD)算法，其在MulTCP中被修改以模拟N个TCP流的行为。N的值可以是非整数：值1.5将导致比单个流侵略性(aggressive)高50％的流。 

在我们的共同未决欧洲专利申请(代理编号“A31751”、与本申请同一天提交并且标题为“Data Transmission”)中被称为“ECN skipping(ECN跳过)”的另选系统可以用作对作为MulTCP的这种系统的替换。显性拥塞通知(ECN)(K.Ramakrishnan，S.Floyd，D.Black，″The Addition of Explicit Congestion Notification(ECN)to IP″，IETFRFC21368，September 2001)是通过使用包标记(marking)而不是包丢弃(drops)来向端点通知拥塞的协议。配备活动队列管理的路由器能够标记IP报头，在缓冲器溢出以及所导致的包丢失之前向端点发信号通知拥塞。几乎不需要重传(理想条件下)，这提高了整体吞吐量。在ECN的传统实现中，当发生拥塞时前向路径中的一些包将被标记，并且该标记将在后向路径包中被反射(echo)回发射机。当接收到这种回波(echo)时发射机将按照与包丢失的情况下相同的方式调整TCP参数，并且降低其传输速率。在“ECN跳过”方案中，接收机不将全部拥塞标记反射回发射机，而是根据侵略系数反射其中的一部分。发射机通过接收更少的反射标记，与传统的ECN发射机相比，较不频繁地降低其传输速率，并且因此获得网络带宽的更大共享。 

MulTCP和“ECN跳过”是允许传输路径获得可用带宽的不均等共享的传输协议修改的两个示例，允许未修改的传输协议的N倍带宽。还可以采用具有类似控制属性的其他技术。两种技术均被示出为能够稳定并且一致地获得高达大约3或4倍的传统传输协议的比特率；它们还可以通过略小于1的N进行配置以获得比传统的传输协小的比特率。每个特定传输协议具有能够有效工作的不同的N的范围。我们旨在在该范围内尽可能地操作传输协议。 

下面描述通过以固定基准质量级别对视频序列的测试集合进行编码并且计算及时传送经编码的数据所要求的“下楼”传送计划(下面说明)，如何确定能够用于归一化要求的比特率值的适当基准比特率，使得对于大多数视频内容，带宽分配系数N将在传输协议的最优范围内。为了简化，在本说明书中假设N的最优范围在1到4之间，尽管实际中将根据所使用的传输协议而改变。 

以可变比特率编码的视频序列能够以分段恒定比特率通过网络传送，每个段的速率单调减小。这被公认为首先由Mohammed Ghanbari教授提出。他将得到的比特率曲线称为“下楼”函数。 

根据我们的被公开为WO2004/047455的国际专利申请(Ghanbari和Sun)，可变比特率的视频的传送可以进行以下分析： 

在接收机处考虑一些任意时间段(但是等于整数个帧周期)，从解码器开始对帧g解码的时间t_g延伸到解码器开始对帧h解码的时间t_h。该时间段的持续时间是h-g个帧周期，即t_h-t_g。进一步假设该时间段期间的传输速率是A比特/帧周期。 

在时间t_g，接收机必须已经接收了直至并且包括帧g的全部帧的比特，即 个比特 

其中d_j是编码器针对帧j产生的编码比特的数量。 

然而，假设在时间t_g之前接收机还接收了p个附加比特，即总共 

个比特。 

在接收机开始对帧k解码的任意时间t_k(t_g≤t_k≤t_h)，接收机还已接收了(k-g)A个比特，因此： 

此时，接收机需要具有针对直至并且包括帧k的全部比特，也就是： 

由于所接收的比特的数量必须至少等于需要的数量，所以为了避免和存储器下溢，需要满足的条件是： 

$\underset{j=0}{\overset{g}{\mathrm{\Σ}}}{d}_j+p+(k-g)A\≥\underset{j=0}{\overset{k}{\mathrm{\Σ}}}{d}_j---\left[3\right]$

或者 

$p+(k-g)A\≥\underset{j=g+1}{\overset{k}{\mathrm{\Σ}}}{d}_j---\left[4\right]$

如果要实现该条件而不传输预加载比特p，则要求： 

$(k-g)A\≥\underset{j=g+1}{\overset{k}{\mathrm{\Σ}}}{d}_j---\left[5\right]$

或者 

$A\≥\frac{1}{(k-g)}\underset{j=g+1}{\overset{k}{\mathrm{\Σ}}}{d}_j.---\left[6\right]$

由此，传输速率A必须大于或者等于针对帧g+1到k的每帧平均产生比特，对于任意k(g+1≤k≤h)值，如果： 

$A\≥\underset{k=g+1}{\overset{h}{\mathrm{Max}}}\left\{\frac{1}{(k-g)}\underset{j=g+1}{\overset{k}{\mathrm{\Σ}}}{d}_j\right\}.---\left[7\right]$

则可以实现该条件。 

使用该速率意味着该时间段期间传输的比特的数量(h-g)A将超过针对该时间段产生的比特的数量，除非在该时间段的结束处针对k＝h出现最大值。在经过该最大值之后继续使用由此计算的传输速率似乎表示使用比绝对必要高的速率的前提下，Ghanbari意在按照使这些最大值总是在段的结束处出现的方式把要传输的数据分割为多个段。在本专利申请中，通过针对每个段相对于时间描绘平均比特率(在相关时间段g到k上)来图形地可视化该情形。他还优选地选择每个段的长度，使得其延伸到其余最大值中的最大一个。结果，需要的比特率相对于时间的曲线图表现为下降楼梯形状，并且通常被称为“下楼”函数。 

Alam、Khan和Ghanbari观察到发生到下楼比特率的变化的时间位置与当视频序列被以不同级别的质量多次编码时大致相同(″Multiple Bitstream Switching for Video Streaming in Monotonically Decreasing Rate Schedulers，″F.Alam，E.Khan，and M.Ghanbari，IEEE International Conference on Industrial Technology，2006(ICIT 2006)，15-17Dec.2006，pp.973-978)。 

为了设置侵略性传输协议中的N的值，假设以给定的感知质量编码的视频序列的段的下楼比特率能够通过可分解为未压缩视频的内容的函数和经编码视频的感知质量的乘积的函数来近似，由此， 

b_i(q)＝f_i.g(q)  [8] 

其中，b_i(q)是以感知质量q对视频流i进行编码所需的比特率，f_i是未压缩流i的内容的函数，即，该流中的内容的编码难度的度量(measure)，以及g(q)是q的可逆函数，但是与要编码的内容无关。 

假设现在如下式所示与第i个流的编码难度f_i成比例地分配竞争网络上的比特率： 

$b_i\left(q\right)=\left(\frac{f_{i.}}{\underset{j}{\mathrm{\Σ}}{f}_j}\right).B---\left[9\right]$

其中B是竞争信道的比特率。接着通过将[9]代入[8]，得到公式[10]，公式[10]示出了这种分配得到与流i的参数无关的质量q，并且因此如果该分配用于全部流，则全部流将得到相同的质量。 

$q=g^{-1}\left(\frac{B}{\underset{j}{\mathrm{\Σ}}{f}_j}\right)---\left[10\right]$

如果针对每个流i以基准质量q＝3.4来评估[8]，则如[11]所示具有针对f_i的候选 

$f_i=\frac{b_i\left(3.4\right)}{g\left(3.4\right)}---\left[11\right]$

重要地，这示出了不同的f_i之间的比率将与基准质量b_i(3.4)处的比特率之间的比率相同。因此，如果针对每个视频流使用侵略性传输协议并且设置N的各个值(N_i与f_i成比例，并因此还与基准质量b_i(3.4)处的经编码的比特率成比例)，则每个视频流将接收的带宽将与该系数成比例。于是从公式[10]可见，这将得到针对每个视频流传送的相同视频质量。 

图5示出针对以不同的固定质量级别2.6、3.4和4.2编码3次的视频序列的下楼速率曲线。如所预期的，可以看到，下楼比特率随着时间降低。由于使用恒定质量进行编码，所以从公式[8]可以看出，f_i也与下楼比特率成比例地随着时间降低。 

如果将公式[11]代入公式[8]，并且重新整理，则得到 

$\frac{b_i\left(q\right)}{b_i\left(3.4\right)}=\frac{g\left(q\right)}{g\left(3.4\right)}---\left[12\right]$

对于给定质量q，这说明质量q处所需的比特率与基准质量3.4处所需的比特率的比率在这种情况下是恒定的，并且因此与f_i无关，也就是，与视频内容的编码难度无关。 

图6例示该情况的有效性。其示出质量2.6和4.2处的下楼比特率与质量3.4处的下楼比特率的比率，示出这些比率对于该序列基本(mostly)恒定。 

选择32个视频序列的测试集合，从30分钟到2小时的持续时间，并且表示宽范 围的视频内容风格，从动作到戏剧电影到电视剧，新闻和体育到儿童电视和用户产生的内容。使用MPEG-4 AVC将该视频序列的测试集合进行编码，但可以使用任何其它经适当配置的视频编解码器。该编码器被配置为使用固定组的图像结构(内部帧(Intra frame)的规则编码)进行编码，以支持对经编码的比特流的随机访问。该编码器被配置为使用固定感知质量进行编码，如在我们的共同未决欧洲专利申请No.0825081.5(代理编号ref.A31594)中描述的，尽管可以使用实现恒定或者近似恒定感知质量的任何其它方法，诸如使用固定量化参数的编码。将固定质量级别设置为基准级别，等于BT.500.11中限定的等级上的3.4(″Methodology for the subjective assessment of the quality of television pictures″，International Telecommunications Union(ITU-R)Recommendation BT.500-11，2002)。 

随后计算针对这些经编码的视频序列中的每一个的下楼曲线，并且由此确定下楼比特率A_i以及其应用的持续时间k_i。创建列表，其中每个条目由一个视频段的下楼比特率A_i和该视频段的持续时间k_i组成。测试集合中的全部视频序列的全部段包括在此列表中。接着从最低速率到最高速率对该列表进行排序。接着针对每个速率，从最低的开始，针对列表中的下楼比特率在当前元素的下楼比特率和该值的4倍之间的元素计算总时间量，该总时间量被计算为经排序的列表中的持续时间元素之和。确定这些和的最大值，并且记录与该最大值相关联的下楼比特率，该下楼比特率被称为基准质量基准下楼比特率R_ref。 

通常，当通过该基准速率对下楼速率进行归一化以得到N的值时，将在传输协议的有效操作范围内出现最优数量，在该特定示例中N＝1到4，但是一些可以在该范围之外。最佳动作过程可以取决于使用的实际传输协议的特征：最好将该最优范围之外的值修剪为该范围的限制值(本示例中为1和4)，或者可以最好使用N的实际值进行操作。 

下面将参照图2的系统200更详细地描述该方法。 

编码器206设置有两个不同的视频序列，序列_A202和序列_B 204。每个视频序列代表不同的视频片段。在本示例中，序列_A 202是体育片段，诸如足球比赛，并且序列_B 204是新闻报道片段。序列_A 202和序列_B 204均被馈入视频编码器206。视频编码器206提取每个视频序列并且对其进行编码。所使用的编码是MPEG-4AVC，但是可以是任何其它经适当配置的视频编解码器。 

以3个不同的固定质量级别对每个视频序列进行编码，该3个不同的固定质量级别中的一个是上述的基准质量。根据以基准质量进行的编码来计算针对每个视频序列的下楼曲线。记录与每个经编码的段关联的下楼比特率。尽管优选地预先编码全部三个质量级别，但是这不是严格必须的；然而必须记录针对基准质量序列的下楼比特率，并且因此需要预先编码或者至少在传输之前充分分析使得能够确定下楼速率。 

当然，可以以更少或者更多个质量级别对每个视频片段进行编码。在本示例中，这两个编码序列中的每一个，在每个编码质量级别，包括4个编码组块。这在图3中更详细示出。组块代表视频的独立编码部分。在一个质量级别和另一质量级别的的传输之间的切换在组块边缘是可能的，而不会使所接收的图像劣化。在优选实施方式中，组块是约1秒持续时间的图像组(如在MPEG标准中定义)(例如25Hz视频源的24帧)，从内部帧开始：在1小时持续时间的视频序列中，可以有约3750个组块。请注意图3是示意图；在具体序列A中或者在序列A和序列B之间组块可以全部为相同长度。通常，序列B的段间边界将不与序列A的段间边界同时。 

图3示出被编码为3个独立的经编码的视频序列(编码视频序列_A1 300、序列_A2 310和序列_A3 320)的视频序列_A 202。编码视频序列_A1 302以第一最高质量编码。编码视频序列_A2 310以第二中间质量编码。编码视频序列_A3 320以第三最低质量编码。 

编码视频序列300、310和320中的每一个被划分为4个单独的组块，每个组块的起始对应于未编码视频序列_A 302中的相同点。由此，组块A1_2 304的起始对应于组块A2_2 314以及A3_2 324的起始，但是其中组块以不同质量级别编码。 

此外，图3示出视频序列_B 204的编码序列，包括编码序列_B1 330、编码序列_B2 340和编码序列_B3 350。三个编码序列分别以与用于序列_A 202的相同质量级别编码。由此，序列B_1 330被以与序列_A1 300相同的最高质量级别编码。序列_B2340被以与序列_A2 310相同的中间质量级别编码。序列_B3 350被以与序列_A3 320相同的最低质量级别编码。 

由此，编码器针对这两个视频流产生三个质量级别的编码视频序列(以给出6个编码流)，这些编码视频序列随后被发送给数据存储器208。数据存储器208存储这些编码视频序列直至需要它们为止。 

服务器210现在从接收机_A 216接收到针对视频序列_A 202的请求，以及从接 收机_B 218接收到针对视频序列_B 204的请求。服务器210从数据存储器208取得对应的编码视频序列。另选地，编码器206可以动态地产生编码序列并且直接发送到服务器210。 

服务器210取得与视频序列_A 202的第一组块关联的下楼比特率A_i，如根据以基准质量级别进行的编码计算的。接着计算N的值N_i为： 

$N_i=\frac{A_i}{R_{\mathrm{ref}}}---\left[13\right]$

并且使用该值N_i来配置用于传输视频序列_A 202的传输协议。类似地，服务器210使用针对以基准质量级别对该序列进行编码的下楼数据计算并且设置针对用于传输视频序列_B 204的传输协议的N的值。该N的值将被发送到位于服务器210内部的MulTCP控制软件。在MulTCP的情况下，服务器N将需要知道N的值。在ECN跳过的情况下，接收机将需要知道N的值。应在流传输会话的起始告知这一点或者可以在会话过程中间或地被告知N的当前值，包括例如在其改变时(当前优选是在起始时被告知全部值)。 

对于比例1/R_ref的常数的一些观察在此状况良好(in order)。首先，使用的常数应优选地对于相同网络上的两个(或者在通常情况下全部)视频源相同或者类似。其次，如果该网络仅仅用于以此方式管理的视频，则1/R_ref的绝对值将不是很关键，因为这些变化将不改变图像质量，只要其将N的值保持在网络控制机制能够处理的范围内(如以上讨论的)。如果与其它业务共享网络，则在另一方面，期望避免低N值(例如通过针对基准速率选择较低的值)，因为低于单位值(unity)的值将在带宽分配方面有效地给予其它业务优先权。 

在本发明的本实施方式中，针对两个(全部)流使用相同的基准质量(q＝3.4)。假设全部流将具有相同质量，这是最方便处理的方式。然而，在原理上这不是必要的(essential)。如果两个流具有在不同的基准质量级别q1和q2确定的下楼速率，则如果例如通过根据训练数据估计该比率或者通过在各个基准速率独立确定R_ref的各个值来对差(对应于系数g(q1)/g(q1))进行校正，则能够实现相等质量。另选地，可以故意使用不同的基准质量级别以在流之间提供不同的质量，从而提供不同的质量级别(标准、优秀等)。如果两个流分别使用基准质量级别3.0和3.4，可以预期后面的流具有带宽分配，以使得第二个流实现的质量平均地更好0.4个单位。 

初始地，服务器210使用最低质量编码序列，序列_A3 230和序列_B3 350。服 务器210还可以根据服务器210认为IP网络214可用什么带宽，来使用任意其它序列。如果网络214顺畅地处理这些流，并且指示存在进一步的可用带宽(可能通过广告接收机的缓冲器中的缓冲器溢出(其还可以指示接收机不能够足够快地消耗数据))，则服务器210切换两个编码流到下一更高质量的序列(在组块边界以确保视频序列的连续性)。 

当服务器210传送代表视频序列202的数据时，其针对将要传送的组块取得用于以基准质量对该视频序列进行编码而计算的下楼比特率。当针对该组块的下楼比特率不同于前一个传输的组块的下楼比特率时，其根据[13]计算用于传输视频序列的N_i的新值并且使用N_i的新值来配置传输协议。 

类似地，服务器210使用用于以基准质量对视频序列204的编码而计算的下楼比特率，进行与其传送表示视频序列204的数据相同的操作。 

请注意尽管视频序列202和204的传输可以同时开始，但是在一些随后的时间已经传输的每个序列的组块的数量可以不相等。 

当IP网络214变得拥塞时，服务器210可用的用于对编码视频序列进行流传输的带宽必须降低。侵略性传输协议的使用(用对视频序列的相对要求合适的N的值来配置该侵略性传输协议)使得可用网络带宽被共享(不必均等)，但是使得针对每个视频序列能够传送几乎相等的质量。 

服务器210，或者接收机216和218，监视已经通过网络实现的传输速率，以及已经传送的数据量和已经解码和显示的量，并且选择要传输的合适的视频质量级别，使用适当的选择机制，诸如共同未决欧洲专利申请No.08253946.1(代理编号ref.A31750)中描述的，使得如果当前网络传输比特率被维持，则视频数据将被及时传送以便连续解码和显示而不停滞。 

结果，该系统提供了针对多个视频系列的可平衡质量的视频流传输，以使得以与各个其它流相等的质量级别传送各个视频序列，即使在经受拥塞时。 

当网络被完全利用时，在任意时间点被传送的组块的比特率之和(例如当两个流处于最高质量时(可能当没有拥塞时)的A1_2和B1_2，或者当两个流处于中间质量时(可能当发生轻微拥塞时)的A2_4和B2_4)将等于网络容量。通过改变TCP动力学以确保每个流得到给定质量所需的一部分带宽，于是在任意时刻被传送的组块将全部是类似质量，尽管它们要求非常不同的带宽。 

图4是本发明的第二实施方式中的系统的网络图。其类似于图2的网络图，但是具有两个独立的编码器和服务器：视频源202和204中的每一个连接到相应的编码器206A、206B，编码器206A、206B分别连接到其自身的视频存储器208A、208B，视频存储器208A、208B进而连接到其服务器210A、210B。每个服务器210A、210B能够通过IP网络214与两个接收机(接收机A216和接收机_B 218)中的一个通信。 

应理解在专用网络上全部业务可以是按照以上描述的方式管理的视频流传输。另选地，网络可以是还承载其它类型的业务的网络，如图4中的数据源220和数据接收机222所例示的。 

可以看出，以上描述的方法控制多个视频流通过拥塞网络的传输，使得每个流根据编码的质量接收带宽的可平衡共享。请注意，尽管以上示例使用“下楼”比特率A_i，但是可以使用图像复杂度的其它度量，诸如对于限时间窗口评估的“下楼”比特率、瞬时需要的比特率、或者后者的平滑版本。 

Claims (5)

1.一种通过网络从服务器以可选择的质量传输视频序列的方法，该方法使用可响应于控制参数进行操作的网络控制协议，以与所述控制参数的值成比例地向所述服务器分配可用传输容量的共享，该方法包括：

确定多个传输速率值；

与所述传输速率值成比例地设置所述控制参数，当所述传输速率值变化时向所述控制协议发送所述控制参数；

传输以根据所述网络对于所述服务器可用的实际传输容量而调节的质量进行了编码的视频，

所述方法的特征在于：

选择基准质量；以及

将所述多个传输速率值确定为在所述序列的多个连续时间段上以所选择的基准质量成功地传输所述序列所需的传输速率。

2.根据权利要求1所述的方法，其中，通过以下步骤确定所需的传输速率值：

(a)将所述序列分为多个段，其中，第一段是所述序列的开始的部分，该部分的每帧编码比特的平均数量大于或者等于任何更短的这种部分的每帧编码比特的平均数量，并且其中，各个随后的段是紧接着先前段的部分，所述先前段的每帧编码比特的平均数量大于或者等于任何更短的这种部分的每帧编码比特的平均数量；以及

(b)针对每个段确定比特率。

3.根据权利要求2所述的方法，其中，所述序列的第一段是所述序列的开始的部分，该部分的每帧编码比特的平均数量大于或者等于任何可能的这种部分的每帧编码比特的平均数量，并且其中，各个随后的段是紧接着先前段的部分，所述先前段的每帧编码比特的平均数量大于或者等于任何可能的这种部分的每帧编码比特的平均数量。

4.一种按照时间交叠的方式通过网络传输第一视频序列和第二视频序列的方法，该方法包括：使用权利要求1、2或3所述的方法通过所述网络传输所述第一视频序列；以及使用权利要求1、2或3所述的方法通过所述网络传输所述第二视频序列；其中，所述基准质量对于这两个序列相同并且所述控制参数与所述传输速率值的比率对于这两个序列相同。

5.根据前述权利要求中的任意一项所述的方法，其中，所述控制参数是相应传输速率值与根据对以所述基准质量编码的训练序列的统计分析而确定的基准传输速率的比率。

Images