CN1765103A

CN1765103A - 在网络上的发送

Info

Publication number: CN1765103A
Application number: CNA200480008098XA
Authority: CN
Inventors: 罗伯托·阿尔瓦雷斯·阿雷瓦洛; 罗里·斯图尔特·特恩布尔; 马休·大卫·沃克
Original assignee: British Telecommunications PLC
Current assignee: British Telecommunications PLC
Priority date: 2003-03-26
Filing date: 2004-03-23
Publication date: 2006-04-26
Anticipated expiration: 2024-03-23
Also published as: US7912974B2; WO2004086721A3; EP2894832A1; US20060195612A1; EP1606920A2; JP2006523983A; JP4575363B2; CN1765103B; CA2517106A1; EP1606920B1; WO2004086721A2; GB0306973D0; EP2894832B1

Abstract

可以在具有不同压缩程度的不同编码版本上获得用于实时演示的数据，例如视频或者音频序列。为了在发送一个版本期间估计切换到另一版本的可行性，给出此时可用的已知数据速率，服务器针对候选版本关于其尚未发送的至少一个离散部分计算如果要按可用速率发送以该部分开始的任意数量的部分则会发生的定时误差的最大值。根据计算出的误差与接收缓存的当前状态之间的比较，进行对同一或者不同版本的选择以继续发送。可以针对发送速率的范围来预先计算误差值，将其存储并且稍后将其取出以用于估计对应于实际发送速率的误差值。

Description

在网络上的发送

技术领域

本发明涉及用于在网络上发送编码的视频、音频、或其他材料的方法和装置。

发明内容

根据本发明的一个方面，提供了一种在网络上向终端发送编码序列的方法，该方法包括以下步骤：存储同一序列的多个编码版本，其中每个版本包括多个离散数据部分并且每个版本对应于各自不同的压缩程度；发送所述版本中的当前一个版本；确定网络允许的数据速率；确定终端处接收缓存的状态；对于至少一个候选版本，关于其尚未发送的至少一个离散部分计算如果要按当前确定的允许速率发送以该部分开始的任意数量的部分则会发生的定时误差的最大值；将确定的最大误差值与确定的缓存状态进行比较；根据所述比较的结果选择所述版本中的一个用于发送；以及发送所选择的版本。

在另一方面，本发明提供了一种在网络上向终端发送编码序列的方法，该方法包括以下步骤：存储同一序列的多个编码版本，其中每个版本包括多个离散数据部分并且每个版本对应于各自不同的压缩程度；对于每个版本并且对于多个额定发送速率中的每一个，关于其至少一个离散部分计算如果要按各个额定速率发送以该部分开始的任意数量的部分则会发生的定时误差的最大值；存储所述最大误差值；发送所述版本中的当前一个版本；确定网络允许的数据速率；确定终端处接收缓存的状态；对于至少一个候选版本，使用确定的允许数据速率和存储的最大误差值来估计与所述确定的允许数据速率对应的各个最大误差值；将估计的最大误差值与确定的缓存状态进行比较；根据所述比较的结果来选择所述版本中的一个用于发送；并且发送所选择的版本。

本发明的其他方面在权利要求中得到阐述。

附图说明

现在将参照附图，通过示例来说明本发明的一些实施例，在附图中：

图1是实施本发明的发送系统的框图；

图2是定时图；以及

图3是说明图1所示的控制单元的操作的流程图。

具体实施方式

在图1中，流装置(streamer)1包含(或者可以访问)其中存储有多个文件的存储部11，各个文件是使用常规压缩算法(例如在ITU标准H.261或者H.263或者ISO MPEG标准中的一个中定义的压缩算法)编码的视频序列的压缩版本。更具体地，存储部11针对同一原始视频材料包括各自按不同的压缩程度来编码的几个文件。在实践中，如果需要，所有材料可以存储在单个文件中，但是为了说明的目的，假设其为单独的文件。于是，图1示出了三个这样的文件：V1，按高压缩程度来编码，因此比特率低，代表低质量的记录；V2，按较低的压缩程度来编码，因此比特率较高，代表中等质量的记录；以及V3，按低压缩程度来编码，因此比特率更高，代表高质量的记录。自然地，可以存储其他视频序列的类似的多个记录，但是这对操作的原理并不重要。

这里，用“比特率”来表示原始编码器生成的以及最终解码器消耗的比特率，通常，这与流装置实际发送的速率(称为发送比特率)不同。还应当注意，这些文件是按可变比特率(VBR)生成的——即，针对视频的任一特定帧生成的比特数量取决于图像内容。由此，以上提到的低(等等)比特率是指平均比特率。

服务器具有用于通过网络2向终端3输出数据的发送器12。发送器是常规的，可能按诸如TCP/IP的公知协议来工作。控制单元13按常规方式用于从终端接收传送特定序列的请求，并且当发送器12能够接收数据分组时从存储部11读取数据分组以发送给发送器。这里，假设数据是作为离散分组读出的，虽然不排除为单个帧生成多于一个的分组的可能性，但往往是每个视频帧一个分组。(同时在原则上单个分组可以包含多于一帧的数据，这在实践中通常没有太多意义)。

注意，这些分组不必与网络2上使用的任何分组结构相关。

终端3具有接收器31、主要用于容纳网络延迟和吞吐的短期波动的缓存32、以及解码器33。虽然为了从对服务器的使用充分获益，可以选择使用具有比通常更大的缓存32的终端，但是原则上终端是常规的。

一些网络(包括TCP/IP网络)具有以下特性：可用的发送数据速率根据网络上的负载程度而波动。提供同一个视频序列的版本V1，V2，V3的原因是可以选择网络当前能够支持的版本。因此，控制单元13的另一个功能是对发送器12进行询问以确定当前可用的发送数据速率，并对发送哪一个版本做出决定。在此，如同在很多系统中一样，这是一个动态处理：在发送期间连续地监视可用的速率，以使得当条件改善(或者恶化)时服务器可以切换到较高(或者较低)质量的版本。有时(例如在TCP/IP中)直到发送开始之后才知道可用的发送速率；一个解决方案是总是以发送最低速率的版本开始，并且，如果很明显可以容纳更高质量的版本以及当很明显可以容纳更高质量的版本时，进行向上切换。

一些系统使用表示在一个版本终止与另一版本开始之间可以发送的过渡数据的视频序列附加版本，从而弥合两个版本之间的任何不兼容性。如果需要，这例如可以按我们的美国专利U.S.专利6,002,440中所述的方法实现。

在本说明书中，我们将集中在对是否切换以及何时切换的实际决定。常规的系统将可用发送比特率与可用于发送的版本的平均比特率进行比较。然而，我们已经认识到这对于VBR系统并不令人满意，因为它没有解决如下问题的可能性：在将来某个时候，在即时比特率随着图像内容而变化时，可用发送比特率不足以容纳即时比特率中的短期波动。一些理论讨论是出于这一点。

如图2所示，编码的视频序列由N个分组构成。每个分组具有包含时间索引t_i(i＝0、……、N-1)(按照真实显示时间——例如这可以是视频帧号)的头部并包含b_i比特。此分析假定在对分组i进行解码之前必须完整地接收它(即，首先必须对整个分组进行缓存)。

在简单的情况下，每个分组对应于一帧，并且时间戳t_i单调地增加，即，对于所有的i，t_i+1＞t_i。然而，如果一帧可以产生两个或者更多个分组(每个分组具有相同的t_i)，那么t_i+1≥t_i。如果帧可以用完捕获和显示序列(如在MPEG中)，那么t_i并非单调增加。此外，在实践中，可能丢失一些帧，从而对于特定的t_i值不存在帧。

这些时间是相对的。假设接收器接收到分组0，并且在时间t_ref+t₀开始对分组0进行解码。在“现在时间”t_ref+t_g，接收器接收到了分组t_g(也可能更多的分组)，并且刚刚开始对分组g进行解码。

分组g至h-1在缓存中。注意(在简单的情况下)如果h＝g+1，那么缓存仅包含分组g。在时间t_ref+t_j，需要解码器开始对分组j进行解码。因此，在时间t_ref+t_j，解码器需要已经接收到直到并包括分组j的所有分组。

从现在起直到t_ref+t_j的可用时间为(t_ref+t_j)-(t_ref+t_g)＝t_j-t_g。(1)

在该时间要发送的数据是分组h至j的数据，即

Σ_{i = h}^{j} b_{i} - - - (2)

按发送速率R，其需要发送持续时间

\frac{Σ_{i = h}^{j} b_{i}}{R} - - - (3)

仅当这个发送持续时间小于或等于可用时间时才可以，即，在当前可用发送速率R满足如下不等式时

\frac{Σ_{i = h}^{j} b_{i}}{R} \leq t_{j} - t_{g} - - - (4)

注意，这是令人满意地对帧j进行接收和解码的条件：令人满意地发送全部剩余序列要求对所有j＝h、……、N-1都满足该条件。

出于很明显的原因，我们将式(4)重写为：

\frac{Σ_{i = h}^{j} b_{i}}{R} - (t_{j} - t_{h - 1}) \leq t_{h - 1} - t_{g} - - - (5)

注意，

t_{j} - t_{h - 1} = Σ_{i = h}^{j} (t_{i} - t_{i - 1}) = Σ_{i = h}^{j} Δ t_{i},

其中Δt_i＝t_i-t_i-1。

此外，我们定义Δε_i＝(b_i/R)-Δt_i

以及T_n＝t_h-1-t_g；注意，T_B是缓存中最近接收到的分组的时间戳与在缓存中最早接收到的分组(即我们刚刚开始进行解码的分组)的时间戳之间的差。于是，T_B表示客户端在时间t_g具有的缓存信息量。

于是，条件为

Σ_{i = h}^{j} Δ ϵ_{i} \leq T_{B} - - - (6)

为了直到最后分组N-1的成功发送，必须对于任何可能的j都满足此条件，即

Max \begin{matrix} j = N - 1 \\ j = h \end{matrix} {Σ_{i = h}^{j} Δ ϵ_{i}} \leq T_{B} - - - (7)

式(7)的左边代表从发送分组h直到序列结束可能发生的最大定时误差，给出其当前内容，该条件规定该误差必须不超过容纳它的接收器缓存的能力。方便起见，我们将把式(7)的左边记为T_h，即

T_{h} = Max \begin{matrix} j = N - 1 \\ j = h \end{matrix} {Σ_{i = h}^{j} Δ ϵ_{i}} - - - (8)

于是式(7)可以写为

T_h≤T_B (9)

在实践中我们优选只允许在序列中的某些定义的“切换点”进行切换(并且自然地只为这样的点提供前述的过渡数据)。在该情况下仅需要在这些点进行测试。

图3是示出对用于发送的视频序列进行选择的控制单元13的操作的流程图。在步骤100，为发送选择一版本，例如V1。存储当前选择的版本号。在步骤101对帧计数器进行复位。然后(102)从存储部11读取当前选择的版本的第一帧(或者在随后的循环中，读取下一帧)，并将其发送给发送器12。通常，在103对帧计数器进行递增，控制返回步骤102，在步骤102，一旦发送器准备好接受再一帧，则读出并发送再一帧。然而，如果该帧被指定为切换帧，则在步骤104识别出其包含表示其为切换帧的标志的事实。

然后，可以如下地进行在帧h处的切换决定：

步骤105：询问发送器12以确定可用发送速率R；

步骤106：确定T_B的当前值：可以在终端计算该值并将其发送给服务器，或者可以在服务器处计算该值(见下文)；

步骤107：(针对各个文件V1，V2，V3)按照式(8)进行计算——将其称为T_h(1)，T_h(2)，T_h(3)；

步骤108：确定T_h(k)+Δ≤T_B的最高k值，其中Δ是固定的安全容限(margin)；

步骤109：选择用于发送的文件V_k。

然后以发送下一帧之前的步骤102重新开始原始循环，但可能从三个文件V1、V2、V3的另一个开始。

在服务器对T_B的计算依赖于正在使用的精确的流方法。我们优选的方法是(如在我们的国际专利申请no.PCT/GB 01/05246中说明的[代理卷号A26079]中所述的)最初发送质量最低的视频，从而终端可以在接收缓存填入的同时立即开始解码，因为数据是以高于其被使用的速率发送的。在这种情况下服务器可以没有任何反馈地导出当前客户端会话时间(即，当前在终端解码的分组的时间戳记)，因此T_B＝最近发送的分组时间—当前客户端会话时间。

如果系统被设置为使得终端在播放开始之前进行等待直到达到缓存满的某种希望状态，那么因为要考虑附加的延迟，情况就不这么简单了。如果该延迟是固定的，那么它可以包括在计算中。类似地，如果终端计算何时开始播放，并且服务器既知道所使用的算法又知道该算法使用的参数，则这也可以列入考虑范围。然而如果终端是未知类型，或者终端基于本地条件来控制其缓存，则需要来自终端的反馈。

现在，该过程工作得非常好，但是确实涉及在发送处理期间必须进行的相当数量的处理。因此在修改的实现方法中，我们优选预先尽可能多地进行这种计算。原则上，这涉及针对切换点之后的每个分组计算T_h(k)，并将该值存储在分组的头部。不幸的是，该计算(式(8)和Δε_i的定义)涉及R的值，该值在该预处理时当然是未知的。因此我们通过针对对可能的R值的选择来计算T_h(k)从而进行该处理，例如(如果R_A是所讨论文件的平均比特率)

R₁＝0.5R_A

R₂＝0.7R_A

R₃＝R_A

R₄＝1.3R_A

R₅＝2R_A

因此，每个分组h在其中存储有这五个预先计算的T_h值。如果需要(出于下述的目的)，也可以存储式(8)中的最大值出现的相对时间位置，即

Δt_hmax＝t_jmax-t_h，其中t_jmax是获得T_h的式8中的j值。

在这种情况下在帧h的切换决定如下地进行：

向发送器12进行询问以确定可用发送速率R；

像前述那样确定T_B的当前值；

要么——在R对应于一个对其预先计算了T_h的速率的情况下——从存储部读取该值(针对每个文件V1、V2、V3)；

要么——在R不是如此对应的情况下，从存储部读取对应于R₁、......、R₅中的小于实际R值的最高一个(R^-)的T_h值(并且，如果需要则读取t_hmax)，并且根据它来估计T_h(再次针对每个文件V1、V2、V3)；

确定T_h(k)+Δ≤T_B的最高k值，其中Δ是固定的安全容限；

选择用于发送的文件V_k。

可以通过使用与R^-相关联的T^- _h来简单地进行对T_h的估计；这是可行的，但是由于会高估T_h，所以有时会导致即使可以向较高质量流切换也将其判断为不可能。

另一个选择是通过在针对实际值R的每侧R₁、......、R₅的两个值而存储的T_h值之间线性(或者其他)插值。然而我们的优选方法是根据下式来计算估计值：

T_{i}^{'} = \frac{(T_{i}^{-} - Δ {T^{-}}_{i \max}) R^{-}}{R} - Δ {T^{-}}_{i \max}

其中，R^-是速率R₁、......、R₅中小于R的实际值的最大的一个，T₁ ^-是针对该速率预先计算的T_h，Δt_imax ^-是从获得T_i ^-的时间t_i起的时间(即，是Δt_hmax ^-的伴随值)。在该方法返回负值的情况下，我们将其设置为零。

注意这仅仅是估计，因为T_h是速率的非线性函数。然而通过这种方法，T＇_i总是高于真实值并且自动提供安全容限(从而可以省略以上所示的容限Δ)。

注意这些式子对于编码处理针对一帧生成两个或者更多个分组(t_i相同)的情况有效，并且对于在具有双向预测的MPEG中碰到的情况有效，其中以帧需要被解码的顺序而不是t_i的升序来发送帧。

以上说明假设对于所存储视频的所有版本进行式(7)表示的测试。这虽然是优选的，但不是必要的。如果不希望图像质量的大跳跃(例如因为设置了频繁的切换点)，那么可以仅对当前的版本以及对应于临近压缩率的一个或者更多个版本进行测试。例如，当发送版本V1时，可以认为仅对当前版本V1和最近的候选版本V2进行测试即足够。此外，在与不同网络进行连接的服务器的情况下，可以选择仅对那些数据速率需求处于所使用的特定网络的容量的期望范围内的版本进行测试。

虽然对于编码视频给出示例，但是同样的方法可以应用于编码音频或者实际上要实时播放的任何其他材料。

Claims

1、一种在网络上向终端发送编码序列的方法，包括以下步骤：

存储同一序列的多个编码版本，其中，每个版本包括多个离散数据部分并且每个版本对应于各自不同的压缩程度；

发送所述版本中的当前一个版本；

确定网络允许的数据速率；

确定终端处接收缓存的状态；

对于至少一个候选版本，关于其尚未发送的至少一个离散部分计算如果要按当前确定的允许速率发送以该部分开始的任意数量的部分则会发生的定时误差的最大值；

将确定的最大误差值与确定的缓存状态进行比较；

根据所述比较的结果选择所述版本中的一个以进行发送；以及

发送所选择的版本。

2、一种在网络上向终端发送编码序列的方法，包括以下步骤：

针对每个版本并且针对多个额定发送速率中的每一个，关于其至少一个离散部分计算如果要按各个额定速率发送以该部分开始的任意数量的部分则会发生的定时误差的最大值；

存储所述最大误差值；

发送所述版本中的当前一个版本；

确定网络允许的数据速率；

确定终端处接收缓存的状态；

针对至少一个候选版本，使用确定的允许数据速率和存储的最大误差值来估计与所述确定的允许数据速率对应的各个最大误差值；

将估计的最大误差值与确定的缓存状态进行比较；

根据所述比较的结果来选择所述版本中的一个以进行发送；以及

发送所选择的版本。

3、根据权利要求1或2所述的方法，其中，仅仅针对所述部分中的允许版本改变的所选择部分进行所述最大定时误差确定。

4、根据权利要求1、2或3所述的方法，其中，各个计算出的定时误差值是(a)与(b)之间的差：(a)按相关速率发送所关注部分以及零个或者更多个直到并包括任一特定部分的连续后继部分所需要的时间，(b)对应的特定部分的播放时刻与所关注部分的先前部分的播放时刻之差。

5、根据权利要求1至4的任何一项所述的方法，其中，所述序列为视频序列。

5、根据权利要求1至4的任何一项所述的方法，其中，所述序列为音频序列。

7、一种存储在载体上的视频记录，包括：

同一视频序列的多个编码版本，其中，每个版本包括多个离散数据部分并且每个版本对应于各自不同的压缩程度；以及

针对每个版本的每个离散部分，以及针对多个额定发送速率中的每一个，该部分的最大误差值为(a)与(b)的最大值：(a)如果要按各个额定速率发送该部分则会发生的定时误差值；以及

(b)如果要按各个额定速率发送该部分以及其后的任意数量的后继部分则会发生的定时误差值。

8、一种存储在载体上的音频记录，包括：

同一音频序列的多个编码版本，其中，每个版本包括多个离散数据部分并且每个版本对应于各自不同的压缩程度；以及

9、一种用于在网络上向终端发送编码序列的装置，包括：

存储部，存储同一序列的多个编码版本，其中，每个版本包括多个离散数据部分并且每个版本对应于各自不同的压缩程度；

发送器；以及

控制装置，可以进行操作以接收关于网络允许的数据速率的数据以及关于终端处接收缓存的状态的数据，并且，对于至少一个候选版本，关于其尚未发送的至少一个离散部分计算如果要按允许的速率发送以该部分开始的任意数量的部分则会发生的定时误差的最大值，以将确定的最大误差值与缓存状态进行比较并根据所述比较的结果选择所述版本中的一个以进行发送。

10、一种用于在网络上向终端发送编码序列的装置，包括：

存储部，存储同一序列的多个编码版本，其中，每个版本包括多个离散数据部分并且每个版本对应于各自不同的压缩程度，针对多个额定发送速率中的每一个，每个版本关于其至少一个离散部分包括如果要按各个额定速率发送以该部分开始的任意数量的部分则会发生的定时误差的最大值；

发送器；以及

控制装置，用于接收关于网络允许的数据速率的数据以及关于终端处接收缓存的状态的数据，并且，针对至少一个候选版本，使用允许的数据速率和存储的最大误差值来估计与所述允许的数据速率对应的各个最大误差值，将估计的最大误差值与缓存状态进行比较，并基于所述比较的结果选择所述版本中的一个以进行发送。