CN1714577A - 视频传输 - Google Patents

Abstract

在可变比特率链路上使用带宽预留来发送压缩记录视频。为了确定在任何给定时间要使用(和预留)的传输速率，通过使两者相匹配以使浪费带宽最小的方式，将数据流分为所选字节块，以使得该字节块的平均比特率整体上不小于从同一点开始的任何较短字节块的平均比特率。然后，可以使用该平均速率来发送所述字节块而不存在任何缓冲问题。优选地，选择字节块以使得所述字节块的平均比特率不小于从同一个点开始的任何较短或较长字节块的平均比特率。其好处在于带宽请求决不要求分配大于任何先前请求中指定的带宽。在不同压缩级别的流之间进行转换的系统中，可以有效地选择转换点以便与字节块之间的边界相一致。

Description

视频传输

技术领域

本发明涉及例如在电信网络上的数字编码视频信号的传输，更具体地，涉及使用压缩算法进行了编码的视频信号的传输。

背景技术

压缩算法的基本原理是利用原始视频信号的固有冗余性来减少需要传输的比特数。在诸如ITU H.263和ISO MPEG标准的国际标准中定义了许多这样的算法。Ghanbari，M.，Video Coding，an introduction to standardcodecs，IEE，London，1999中给出了对这些算法的有用评论。

冗余度通常随着图像内容而变化，结果压缩效率也是如此，这造成每帧中的编码比特数的变化。一种选择是如在所谓的可变比特率(VBR)系统(其中传输比特率随时间显著变化)中那样，将比特以其产生时的状态进行传输。另一种选择，即恒定比特率(CBR)系统，是在发送方和接收方处均采用缓冲器，以消除这些波动，并且将比特以恒定速率从发送缓冲器传输到接收缓冲器。CBR系统利用反馈机制来改变产生数据的速率(例如，通过调整所使用的量化粗度，或者减少帧)，以防止缓冲器溢出。缓冲的使用必然引起延迟的引入、开始等待时间(LOS：latencyof start)的增加，即在能够开始解码并显示图像之前，用户不得不等待直到将接收缓冲器填充到所需水平。反馈机制使图像质量降低。

已经提议采用缓冲度来降低(而不是完全消除)比特率变化(例如参见Furini，M.and Towsley，D.F.，“Real-Time Traffic transmissions over theInternet”，IEEE Transactions on Multimedia，Vol.3，No.1，March 2001)。

当在电信网络、特别是诸如因特网的分组网络上传输时主要考虑的是网络拥塞的影响，其中丢包和不可预知的延迟可能引起问题。这使得出现了采用预留系统的建议，其中发送方能够请求网络对于其一时间段的传输分配指定的保证比特率。在因特网工程任务组(IETF：InternetEngineering Task Force)文献RFC 2205中描述了称为“RSVP”的这样一种系统。然而，也可以使用其他系统，如差分业务加速转发(ExpeditedForwarding of Differentiated Service)或CR-LDP。

在现场视频馈送的情况下，正在编码的比特流的未来特性是未知的；但是利用已记录的资料，则能使它们成为已知的。预留系统允许改变预留比特率的大小，这提供了基于所获知的编码资料来判定在任何时候应该预留多少网络容量的策略。一种简单的方法是计算峰值(VBR，未缓冲的)比特率，并且在整个传输期间都请求该比特率，但是这浪费了网络容量，当然，所请求的容量越高，网络无法提供该容量从而拒绝预留请求的可能性就越大。另一种使待请求比特率最小的简单方法是计算整个传输的平均比特率，并请求该比特率；然而这将导致在接收方处需要非常大的缓冲器，更加重要的是(假定现今大量的存储器相对便宜)导致大的LOS。在上面引用的Furini和Towsley的文章中考虑了修改峰值速率的方法。他们的方案包括识别视频序列中的峰值速率达到最大值的点，并且对于该点之前的时间段请求该速率。然后找出该序列剩余部分上的最大峰值速率，同时请求该(较低)速率。在整个序列上以相同方式继续进行该处理。该文章还建议可以采用缓冲度，从而在采用预留算法之前降低有效的峰值速率。虽然与单峰值速率系统相比，该系统提高了网络使用效率，但是仍然存在很多被浪费(即被预留而未使用)的网络容量，并且当然，如果最大峰值速率接近序列末端而出现，则益处很小。但它的确具有如下优点，即所请求网络容量下降，特别是预留请求从来不会要求超过在先请求比特率的比特率，从而降低了预留请求被拒绝的风险。

发明内容

根据本发明的一个方面，提供了一种传输视频信号的数字序列的方法，所述视频信号已被使用压缩算法编码为使得每帧的编码比特数不是恒定的，所述方法包括以下步骤：

(a)将所述序列划分为多段，其中第一段是序列开始处的部分，其每帧平均编码比特数大于或等于任何更短的序列开始处部分的每帧平均编码比特数，并且其中各个随后段是紧接前一段的部分，其每帧平均编码比特数大于或等于任何更短的紧接前一段的部分的每帧平均编码比特数；

(b)确定各段的比特率；

(c)以所确定的比特率传输信号。

另一方面，本发明提供了一种传输视频信号的数字序列的方法，所述视频信号已被使用压缩算法编码为使得每帧的编码比特数不是恒定的，其中源视频被编码为分别具有不同压缩比的第一序列和第二序列，所述方法包括以下步骤：

(a)分析多个流中的至少一个以将其划分为多段；

(b)在步骤(a)中所标识出的段间过渡附近选择一个转换点；

(c)如果在步骤(a)中没有分析所述第一序列，则分析所述第一序列以将其划分为多段；

(d)对于直到所述切换点为止的所述第一序列的该段或各段确定比特率；

(e)以所确定的比特率来传送直到所述转换点为止的所述第一序列的信号；

(f)分析从所述转换点开始的包括所述第二序列的已修改序列，以将其划分为多段；

(g)对于所述已修改序列的各段确定比特率；

(h)以所确定的比特率来传送所述已修改序列的信号；

其中，通过将所述相关序列划分为多段来逐个执行所述分析，其中，所述第一段是序列开始处的部分，其每帧平均编码比特数大于或等于任何更短的序列开始处部分的每帧平均编码比特数，并且其中，各个随后段是紧接前一段的部分，其每帧平均编码比特数大于或等于任何更短的紧接前一段的部分的每帧平均编码比特数。

本发明的其他方面将在下面的从属权利要求中进行阐述。

附图说明

现在将参考附图借助于示例来描述本发明的某些实施例，其中：

图1A到3C的曲线图示出了执行测试的结果；

图4是用于实现本发明的装置的一种形式的框图；

图5是示出图4装置的操作的流程图；以及

图6到10是示出进一步测试的结果的曲线图。

具体实施方式

考虑接收方处的从接收方开始解码帧g的时刻t_g到接收方开始解码帧h的时刻t_h的某个任意时间段(但是等于帧周期的整数倍)。该段的持续时间是h-g。此外，假定在该时间段内的传输速率为A比特/帧周期。

很显然，在时刻t_g，接收方一定已接收了直到并包括帧g的所有帧的比特，即

个比特。

其中d_j是由编码器对于帧j产生的编码比特数。

但是假定接收方在时刻g之前已接收了p个额外的比特，即总数为

个比特。

在接收方开始解码帧k的任意时刻t_k(t_g≤t_k≤t_h)，接收方又接收了(k-g)A个比特，因此：

在时刻t_k所接收的所有比特等于 $\underset{j=0}{\overset{g}{\mathrm{\Σ}}}{d}_j+p+(k-g)A.$

此时，接收方需要具有直到并包括帧k的所有帧的所有比特，即：在时刻t_k所需的总比特等于

由于所接收的比特数必须至少等于所需数目，所以需要满足以下条件来避免缓冲器下溢：

$\underset{j=0}{\overset{g}{\mathrm{\Σ}}}{d}_j+p+(k-g)A\≥\underset{j=0}{\overset{k}{\mathrm{\Σ}}}{d}_j$

或者

$p+(k-g)A\≥\underset{j=g+1}{\overset{k}{\mathrm{\Σ}}}{d}_j.$

如果无需传输预载比特p来实现该目的，则要求：

$(k-g)A\≥\underset{j=g+1}{\overset{k}{\mathrm{\Σ}}}{d}_j$

或者

$A\≥\frac{1}{(k-g)}\underset{j=g+1}{\overset{k}{\mathrm{\Σ}}}{d}_j.$

因此，对于k(g+1≤k≤h)的任何值来说，传输速率A一定要大于或者等于帧g+1到k中的每帧的平均产生比特，如果

$A\≥=\underset{k=g+1}{\overset{h}{\mathrm{Max}}}\left\{\frac{1}{(k-g)}\underset{j=g+1}{\overset{k}{\mathrm{\Σ}}}{d}_j\right\}$

则可以实现该条件。

该速率的使用意味着在该段内传送的比特数(h-g)A将超过该段内产生的比特数，除非出现最大值k＝h，即在该段的末尾。假设在经过了最大速率之后仍继续使用由此计算出的传输速率似乎远非绝对必要的，下面要描述的本发明的第一版本旨在以这些最大值总在段末端出现的方式将要传输的数据划分为多段。

将要描述的第一方法用于在诸如因特网的分组网络上传输已经利用压缩算法(诸如MPEG)进行了编码的存储视频资料。预先假定该网络具有用于预留比特率容量的设置。本发明旨在以这种方式确定要用作时间函数的比特率，以实现：

-小的开始等待时间；

-低传输比特率；以及

-高传输效率(即低损耗)；

但是由于存在需求冲突，所以任何解决方案都必须是折衷的。

在该实例中，假定对可选择的比特率不存在约束，并且假定传输所用的比特率和网络上预留的比特率是相同的。

该第一版本还受到所请求的比特率不能增加的约束，即其是时间的单调递减函数；正如上面所示，这对降低预留故障的风险是希望的。

由于在该解决方案中，巨大的存储器硬件对于当前的使用者不是问题，所以减少解码器中所需的缓冲器大小不是主要关心的问题，尽管事实上，与使用平均比特率来实现VBR视频传输相比，该方法也极大地降低了所需的缓冲器大小。甚至在实际中很少遇到的最不利情况下，所需的缓冲器大小也不会大于在以平均比特率传输VBR视频流时所需的缓冲器大小。

下面的算法确定要使用的“传输函数(“FOT”)”。

我们假定在视频序列中存在N个帧，各帧的编码比特数分别是d₀、d₁、……、d_N-1。

正如上面所述，将该算法约束为传输函数决不能增加，而只能降低。

从概念上讲，在FOT中的任何帧间隔处都可能出现传输速率的变化。实际上，可能根据所使用的特定预留系统的约束来限制可改变速率的频度；然而，利用单调递减FOT，由于速率变化延迟的影响仅在于预留比实际需要的容量更多的容量，所以速率变化延迟(尽管浪费了网络容量)不会导致任何质量损失。该算法的第一步骤是找出FOT具有多少“台阶”，并且各台阶何时出现。

首先，我们定义：

$A_i=\frac{\underset{j=0}{\overset{i}{\mathrm{\Σ}}}{d}_j}{(i+1)}$

其表示从开始到帧i且包括帧i的视频序列的平均比特率。然后，计算A₀、A₁、……、A_N-1，这些值中值i具有最大的A_i值。假定该值是k₀。将第一“台阶”边界定义为出现在帧k₀的末端。这意味着直到帧k₀末端为止，FOT需要其最高的传输速率。

在找出第一“台阶”之后，将帧(k₀+1)视为随后多帧的“第一”帧，并且对于i＝k₀+1，k₀+2，...N-1计算A_i+1 ⁽¹⁾。计算该值的公式是：

$A_i^{\left(1\right)}=\frac{\underset{j=k_0+1}{\overset{i}{\mathrm{\Σ}}}{d}_j}{(i-k_0)}$

或者，在一般情况下：

$A_i^{\left(q\right)}=\frac{\underset{j=k_{q-1}+1}{\overset{i}{\mathrm{\Σ}}}{d}_j}{(i-k_{q-1})}$

再次，将帧k₁末端(k₁是相应的值i)处的最大值选择为第二“台阶”边界。重复上述过程直至到达帧N-1处的最后“台阶”边界。一般来说，这会产生M个值k_m(m＝0，…M-1)(其中k_M-1总是等于N-1)，这可以视为将视频序列划分为M-1个段：段0包括帧0到k₀；其它各段m包括帧k_m-1+1到k_m。

该算法第二阶段的目的是为各个“台阶”的“级别”选择适当的传输速率。这样，理论上讲，能够确保在各个“台阶”末端之前传递所有所需比特(即使不包括任何预载比特)的最低速率是组成该段的帧的比特率的平均。更低速率必然需要预载比特，结果导致更高的LOS，而更高速率则可能浪费网络容量。同时，更高速率一定会导致无法预留资源的更大风险。

存在M个段，m＝0，1，…M-1。同时，定义：

S_i是段i中产生的比特总数，即

R_i是段i中FOT的传输速率；(注意k₀＝k₀+1)

K_i是段i中的帧数，即k_i-k_i-1；

在这种情况下，所需速率仅仅是平均速率R_i＝S_i/K_i；i＝1，2...M-1。

如果我们定义K_-1＝-1，则该方法也可以用于计算段0的速率R₀。

应当注意，在MPEG视频编码中，第一帧总是I帧，而且其产生比P或B帧更多的比特。因此，通常计算结果显示第一段仅包括一个帧，并且传输速率R₀远大于R₁。由于用户可以容易地等待几帧间隔，以具有更高的资源预留成功的机会，所以最好设置R₀＝R₁。

第三步骤：在确定了整个FOT之后，可以确定解码器处所需的缓冲器大小。

下面描述可选速率受到约束的经修改的第二版本。例如，该约束可以是：速率一定是每帧比特的整数倍，或者更一般地，该速率可以是多个离散速率之一。在分析过程中，我们将使用如下定义的量化算符：

Q⁺(X)表示大于或等于X的最低允许速率(也称为“上限”速率)；

Q^-(X)表示小于或等于X的最高允许速率(也称为“下限”速率)。

下面将讨论这两个选项：

(a)上舍入到上限速率：在这种情况下，所使用的速率可以变得高于特定段的绝对必要速率，这可以提供机会来对于随后段使用较低速率；

(b)下舍入到下限速率：在这种情况下，所使用的速率可以变得低于特定段的必要速率，这导致需要对于前一段使用较高速率。

首先考虑上限选项。我们首先将原始FOT中的第一“台阶”的“高度”的上限值定义为新FOT中的经过改进(refined)的第一“台阶”的“高度”。应当注意，这样，在第一“台阶”之后，将多于属于第一“台阶”的帧比特总数的比特传送到接收方。因此，当我们改进第二“台阶”时，我们应当将属于后续“台阶”的、但已在先前“台阶”中传输的比特数除外，并且重新计算第二“台阶”的平均速率。如果新的平均比特率的“上限值”不小于旧的第三“台阶”的平均比特率的“上限值”，就将其规定为经过改进的第二“台阶”的“高度”。否则，我们将旧的第三“台阶”的平均比特率的“上限值”规定为经过改进的第二“台阶”的“高度”。遵循该过程直到固定了经过改进的最后“台阶”的“高度”为止。由于其总是采用各个“台阶”的“上限值”，所以可以将VBR视频流传输实现为比视频序列持续时间短几帧间隔。通过对基于新FOT的传输进行模拟，可以确切地指定FOT的生存期。一旦实现了VBR视频流传输，就可以立即释放预留的网络资源。因此，仍然保证了100％的带宽利用率。利用经过改进的第一“台阶”的“高度”，可以精确地重新计算LOS。最后，通过对于该传输过程的模拟，还可以固定防止下溢的所需缓冲器大小。

所采用的处理过程如下。如前所述，继续划分为多段。

除了上面定义的量S_i、R_i、K_i之外，我们还引入R_i ¹，即段i中的传输速率的临时值。

I.计算所有平均速率 $R_i^1=S_i/K_i;i=\mathrm{0,1}...M-1$

II.将段0的速率设置为 $R_0=Q^{+}\left(R_0^1\right)$

(应当注意如果如前所述希望对于第一段使用较低速率，则可以以段1开始)

III.通过在量化之前减去在前一段中传输的额外比特来设置段1的速率：

$R_1=Q^{+}\{R_1^1-(R_0-R_0^1)\}$

或者 $=Q^{+}\left\{R_2^1\right\}$

哪个较大选哪个。

IV.对于剩余的段i＝2，...M-1：

$R_i=Q^{+}\{R_i^1-(R_{i-1}-R_{i-1}^1)\}$

或者 $=Q^{+}\left\{R_{i+1}^l\right\}$

哪个较大选哪个。自然地，对于i＝M-1不会出现第二选择。

将要描述的第三版本使用下限速率。在这种情况下，必须以从最后一个“台阶”开始的相反顺序来执行该处理。这是必须的，以使得不能在特定段中传输的比特可以在先前段中提前传输。具体过程为首先将最后“台阶”的平均比特率的下限值定义为新FOT中的经过改进的最后“台阶”的新传输速率。然后可以确定经过改进的最后“台阶”所需的、但无法传输的比特数。先前“台阶”应当保证在新的最后“台阶”的FOT开始之前传输该数目的额外比特。因此，当我们改进倒数第二“台阶”时，为此目的必须承载该台阶自身所需的比特加上最后“台阶”所需的额外比特数。因此，必须为倒数第二“台阶”重新计算新的平均比特率。如果倒数第二“台阶”的新平均比特率的下限值不大于原始FOT中的倒数第三“台阶”的平均比特率的下限值，则将其定义为新的倒数第二“台阶”的“高度”。否则，将旧的倒数第三“台阶”的平均比特率下限值定义为新的倒数第二“台阶”的“高度”。遵循该过程直到第一“台阶”为止，由此实现了改进，并获得了经过改进的FOT。在“上限”情况下：利用预先取出的比特数和经过改进的第一“台阶”的“高度”，可以精确地重新计算LOS；最后，通过模拟该传输过程，也可以固定防止溢出所需的缓冲器大小。

如前所述，存在M个段m＝0，1，…M-1。同样，我们定义：

S_i是段i中产生的比特总数，即

R_i是段i中FOT的传输速率；

K_i是段i中的帧数，即k_i-k_i-1；

R_i ¹是段i中假定的临时传输速率；

I.计算所有平均速率R_i ¹＝S_i/K_i；i＝0，1...M-1。

II.将段M-1的传输速率R_M-1设置为等于该段的平均速率的下限值，即

$R_{M-1}=Q^{-}\left\{R_{M-1}^1\right\}$

II.计算预载比特数P_M-1，其需要在段M-1开始时存在于接收方缓冲器中，以防止段M-1中的下溢。

$P_{M-1}=(R_{M-1}^1-R_{M-1})*K_{M-1}$

III.然后可以如下来计算下一段的速率：

$R_{M-2}=Q^{-}\{R_{M-1}^1+P_{M-1}\}$

或者 $=Q^{-}\left\{R_{M-3}^1\right\}$

哪个较低选哪个。

其中

$P_{M-2}=(R_{M-2}^1-R_{M-2})*K_{M-2}.$

IV.然后使用以下通式来重复该处理，m＝M-3，……，0：

$R_m=Q^{-}\{R_m^1+P_{m+1}\}$

或者 $=Q^{-}\left\{R_{m-1}^1\right\}$

哪个较低选哪个。

并且

$P_m=R_m^1-R_m.$

另外，如果希望，则可以在对于段0的m＝1及R₁处停止该迭代。

该过程得到了P₀值，该P₀是第一段的预载，并且需要首先传输。实际上，定义预载b₀是方便的，该预载b₀包括接收方在t＝0时开始解码第一帧之前所传输的所有比特。

假定如上所述来计算R₀，则

b₀＝P₀+R₀

然而，如果将速率R₁用于段0，则在t＝0和该段末端之间仅可以传输(K₀-1)R₁个比特，从而总预载为：

P₀+K₀R₀-(K₀-1)R₁

假定使用了R₁，则开始等待时间(LOS)为b₀/R₁。

下面将讨论缓冲器大小的问题。毫无疑问，利用得到的FOT，可以得到合理的传输速率和LOS。网络传输的效率几乎可以是100％，并且其所需要的缓冲器大小比直接使用固定平均速率带宽的小。然而，在某些情况下，该大小仍然远大于预留峰值速率带宽所需的大小。在预留峰值速率带宽的方案中，如果解码器的缓冲器大小仅与最复杂帧所用的比特数一样多就足够了。然而，在我们的方案中，我们需要比这种情况更大的缓冲器大小。虽然与恒定平均比特率相比，我们的方案在大多数情况下可以获得小很多的缓冲器大小，但是应当承认，在最差的情形中，我们的方案所需的缓冲器大小接近恒定平均比特率所需的缓冲器大小。当最大A_i在视频序列的最后帧中出现时，会发生这种情况。在这种情况下，我们的“下降”曲线仅有一个“台阶”。因此，通过“台阶”的变化无法有效地使缓冲器大小最小。然而，这种情况几乎不会出现，因为“峰值比特”出现的越晚，对于A_i的影响就越小。除非在该序列的末端，反常地出现了相当多的异常复杂的帧，否则该情况永远不会发生。无论出现什么情况，LOS决不会是利用我们方案而产生的问题。我们相信，现今对于用户来说，拥有一些具有较大存储器的硬件应当不是一个问题。小LOS和良好的网络传输效率应当是用户更为关心的。

另外，即使用户不能提供我们方案所需的大缓冲器大小，也可以在传输效率和所需的解码器缓冲器大小之间采取一种折衷。利用这种折衷，可以进一步将所需的缓冲器大小减小为用户所希望的大小。

顺便提及，尽管我们当前的算法描述仅仅基于将每帧的比特作为基本单位，但是，该单位当然也可以被定义为GOP或者一定数量的图像或分组。无论我们在该算法中定义什么单位，原理是通用的而且应当是共同的。

下面我们将使用“下限”方法来描述编码测试视频序列的某些示例。对于(a)上述算法、(b)使用Furini和Towsley方法，以及(c)使用单一的平均比特率，给出了各个情况下的传输函数f(t)(或R_i)的值、b₀值、以及b₀的建议传输速率。

例1.“JacknBox”

(a)通过步长为16的使用H.263+的量化器对通用中间格式(CIF)的测试序列(称为Jacknbox)(其间有140个帧)进行编码，并且利用我们的算法导出FOT函数。

f(t)＝

5100          0＜t＜＝T₄₈；

3645          T₄₈＜t＜＝T₅₁；

3058          T₅₁＜t＜＝T₅₂；

2830          T₅₂＜t＜＝T₆₁；

2682          T₆₁＜t＜＝T₇₀；

2651          T₇₀＜t＜＝T₇₁；

2464          T₇₁＜t＜＝T₉₀；

2447          T₉₀＜t＜＝T₁₀₈；

2321          T₁₀₈＜t。

在这些文献中，我们将T_i定义为解码器显示帧i的时间。

我们将该文献中的所有测量速率的测量单位定义为每帧间隔的比特。b₀＝39824比特；b₀的建议传输速率为：每帧间隔5100比特。

(b)使用Furini和Towsley方法，我们得到

f(t)＝

9896           T₀＜t＜＝T₂₉；

9432           T₂₉＜t＜＝T₄₀；

7272           T₄₀＜t＜＝T₄₁；

6552           T₄₁＜t＜＝T₄₆；

6184           T₄₆＜t＜＝T₄₇；

5328           T₄₇＜t＜＝T₄₈；

3696           T₄₈＜t＜＝T₅₁；

3632        T₅₁＜t＜＝T₁₀₆；

3552        T₁₀₆＜t＜＝T₁₃₈；

2896        T₁₃₈＜t。

b₀＝39824比特。

在他们的传输方案中，b₀将达到每帧间隔39824比特。

(c)利用恒定平均比特率，该函数将是：

f(t)＝3669。

b₀＝108488比特；

b₀将达到每帧间隔3669比特。

图1示出了以曲线图形式绘制的这些结果。

表1中列出了这些分析结果：

方案	(c)具有平均比特率的固定带宽信道	(a)我们的方案	(b)Furini和Towsley
				带宽利用率(％)	100	100	63.46
开始预留速率(比特/每帧间隔)	3,669	5,100	39,824
				LOS(帧)	108488/3669＝29.57	39824/5100＝7.8	39824/39824＝1
缓冲器大小(比特)	108,488	60,336	39,824

                 表1：JacknBox 140帧，H.263+

我们还利用CBR速率控制来对同一视频序列进行编码。在这种情况下，LOS将是29656/3735＝7.94帧。然而，利用常规CBR速率控制将漏掉10个帧，并且我们给出的比特预算与VBR编码中的平均比特数相同。

例2.使用H.263+的8400帧TV节目

该测试使用具有8400帧的常规TV节目QCIF(四分之一CIF)，其通过步长16的使用H.263+的固定量化器进行编码。图像类型为IPPPP……，根据H.263+建议，每132帧进行一次强制更新。

(a)f(t)＝

4977           T₀＜t＜＝T₃₁₇₃；

4218           T₃₁₇₃＜t＜＝T₃₆₇₉；

3968           T₃₆₇₉＜t＜＝T₃₆₈₀；

3848           T₃₆₈₀＜t＜＝T₃₆₈₁；

3844           T₃₆₈₁＜t＜＝T₄₇₅₂；

3090           T₄₇₅₂＜t＜＝T₈₃₉₂；

992            T₈₃₉₂＜t＜＝T₈₃₉₃；

816            T₈₃₉₃＜t＜＝T₈₃₉₄；

644            T₈₃₉₄＜t＜＝T₈₃₉₆；

544            T₈₃₉₆＜t＜＝T₈₃₉₇；

384            t＞T₈₃₉₇；

b₀＝13944比特。

如上所述，b₀可以达到每帧间隔4977比特的第一速率。

(b)f(x)＝

27672      T₀＜t＜＝T₈₃₃₉；     21952      T₈₃₅₈＜t＜＝T₈₃₅₉；

26704      T₈₃₃₉＜t＜＝T₈₃₄₀；   21744      T₈₃₅₉＜t＜＝T₈₃₆₉；

26560      T₈₃₄₀＜t＜＝T₈₃₄₁；   20448      T₈₃₆₉＜t＜＝T₈₃₇₃；

26488      T₈₃₄₁＜t＜＝T₈₃₄₂；   20344      T₈₃₇₃＜t＜＝T₈₃₈₄；

26240      T₈₃₄₂＜t＜＝T₈₃₄₄；   19960      T₈₃₈₄＜t＜＝T₈₃₈₅；

25832      T₈₃₄₄＜t＜＝T₈₃₄₅；   19016      T₈₃₈₅＜t＜＝T₈₃₉₁；

25136      T₈₃₄₅＜t＜＝T₈₃₄₆；   11656      T₈₃₉₁＜t＜＝T₈₃₉₂；

24168      T₈₃₄₆＜t＜＝T₈₃₄₇；   992        T₈₃₉₂＜t＜＝T₈₃₉₃；

23816      T₈₃₄₇＜t＜＝T₈₃₅₂；   816        T₈₃₉₃＜t＜＝T₈₃₉₄；

23760      T₈₃₅₂＜t＜＝T₈₃₅₃；   648        T₈₃₉₄＜t＜＝T₈₃₉₆；

23616      T₈₃₅₃＜t＜＝T₈₃₅₆；   544        T₈₃₉₆＜t＜＝T₈₃₉₇；

22824      T₈₃₅₆＜t＜＝T₈₃₅₇；   384        T₈₃₉₇＜t＜＝T₈₃₉₉。

22528      T₈₃₅₇＜t＜＝T₈₃₅₈；

b₀＝13944比特；

可以以每帧间隔29762比特来传输b₀。

(c)利用恒定的平均比特率，FOT将是：

f(t)＝3966。

b₀＝33485844比特；

可以按每帧间隔3669比特来设置b₀。

图2示出了利用H.263+进行编码的8400帧TV节目的FOT曲线。

表2列出了分析结果：

方案	(c)具有平均比特率的固定带宽信道	(a)我们的方案	(b)Furini和Towsley
				带宽利用率(％)	100	100	14.36
开始预留速率(比特/每帧间隔)	3,966	4,977	27,672
				LOS(帧间隔)	3348584/3966＝844.322	13944/4977＝2.8	13944/27672＝0.5
缓冲器大小(比特)	6,116,362	3,908,218	27,672

                   表2：2：8400帧H.263+

例3.利用MPEG4编码的8400帧的TV QCIF节目：

利用步长为10的固定量化器，使用MPEG4对同一8400帧的TV节目QCIF序列进行编码。该图像类型是IBBPBBPBBPBB(N＝12，M＝3)。应当注意，对于B图像，图像的编码序列不同于图像的显示序列。所以必须在B图像之前传输相关的I或者P图像。在使用我们的算法之前需要某种预处理。

(a)最后，FOT是：

f(t)＝

7426            T₀＜t＜＝T₄₇₅₀；

6938            T₄₇₅₀＜t＜＝T₄₇₈₆；

66470           T₄₇₈₆＜t＜＝T₄₇₉₈；

6309            T₄₇₉₈＜t＜＝T₄₈₇₀；

6190            T₄₈₇₀＜t＜＝T₄₉₀₀；

6083            T₄₉₀₀＜t＜＝T₄₉₁₈；

6026            T₄₉₁₈＜t＜＝T₈₃₉₈；

168             T₈₃₉₈＜t。

b₀＝16548比特。

可以使用每帧间隔7426比特来发送b₀。

(b)f(x)＝

57472           T₀＜t＜＝T₈₃₃₈；

50616           T₈₃₃₈＜t＜＝T₈₃₅₀；

49504           T₈₃₅₀＜t＜＝T₈₃₆₈；

48608           T₈₃₆₈＜t＜＝T₈₃₇₁；

48536           T₈₃₇₁＜t＜＝T₈₃₈₃；

44968           T₈₃₈₃＜t＜＝T₈₃₈₆；

31752           T₈₃₈₆＜t＜＝T₈₃₈₉；

28696           T₈₃₈₉＜t＜＝T₈₃₉₈

168             T₈₃₉₈＜t。

b₀＝16040比特。

可以按每帧间隔57472比特来设置b₀。

(c)利用恒定平均比特率，FOT将是：

f(x)＝6825。

b₀＝2874758比特；

可以按每帧间隔6825比特来设置b₀。

图3示出了利用MPEG4编码的8400帧TV节目的FOT曲线(N＝12，M＝3)。

表3中列出了分析结果：

方案	(c)具有平均比特率的固定带宽信道	(a)我们的方案	(b)Furini和Towsley
				带宽利用率(％)	100	100	11.897
开始预留速率(比特/每帧间隔)	6,825	7,426	57,472
				LOS(帧间隔)	2874758/6825＝421.21	16548/7426＝2.228	16040/57472＝0.279
缓冲器大小(比特)	6,236,252	3,997,072	57,472

                      表3：8400帧，MPEG4

从上述实验结果中，可以看出LOS极大减少，同时仍然保持100％的传输效率。没有浪费网络资源。唯一仍需进一步改善的是进一步缩小解码器处所需的缓冲器大小。

图4是可根据本发明进行操作的服务器的框图。其包括通常的计算机组件，即处理器10、存储器11、盘存储器12、键盘13、显示器14以及用于连接电信网络16的网络接口15。以编码文件20的形式按照传统方式将可传输的视频序列存储到盘存储器12中。

在盘存储器12中还存储有用于实现对服务器操作进行控制的计算机程序21。下面将参考图5示出的流程图来描述使用“下限”方法的该程序的操作。

步骤100

经由接口15从远端接收用于传输希望视频序列的请求；该请求包括含有该序列的一个文件20的文件名。

步骤101

处理器10从盘存储器12中读取所关注的文件，并且确定该文件中的对于所存储序列中的N个帧中的每一个的编码比特d_j的数目j同时将N和d_j(j＝0...N-1)的值存储在存储器11中。

步骤102

处理器如上所述计算k₀...k_M-1，并且将M和k₀...k_M-1存储在存储器11中。

步骤103  对于所有i计算

步骤104  设置 $R_{M-1}=Q^{-}\left\{R_{M-1}^1\right\}$ 并计算P_M-1

步骤106  设置指针m＝M-2

步骤107  计算R_m和P_m

步骤109  将m减1。如果m≥0，转到步骤107

步骤111  计算b₀＝P₀+R₀

步骤112  计算该段持续时间，在本实施过程中，将预载和段0视为要传输的单独段。因此，

τ₀＝(b₀/R₀+k₀+1)*τ

τ_i＝(k_i-k_i-1)*τ     i＝1，...，M-1

其中，τ是帧周期的长度。

步骤113  将i设为0。

步骤114  传输对速率R_i和至少τ_i的持续时间进行指定的预留请求。

步骤115  以速率R_i传输段i(当i＝0时，之前传输P₀个预载比特)。

步骤116  如果所有段都已传输，则停止；否则，在步骤117将i加1并且转到步骤114。

为了适应组播，诸如先前提到的RSVP系统的某些预留系统要求由接收端发出预留请求。在这种情况下，将步骤113修改为规定将消息传送到指定R_i和τ_i的接收端。由此，终端将所需的预留请求发送到网络。

在某些网络中，可能对可以改变预留速率的次数存在某种约束。然而，上面采用的方法对于这些问题来说是健壮地，因为除了第一请求之外的每个预留请求都请求比先前速率低的一个速率。由此得出一个结论，即处理这些请求时的延迟导致了在实际传输速率减少之后，所预留的速率仍保持较高。在这种情况下，网络利用率降低，但是传输质量却不受影响。

基于绝不增加预留比特率的约束来构建上述预留算法。然而，这不是至关重要，所以下面将描述不受该约束的本发明的第二实施例。

在这种情况下，可以以这样一种方式来选择各个段，即如前所述，对于各段的平均产生比特率∑d_j大于或等于在该段开始处开始的任何较短视频序列部分的平均比特率，但是现在其可以小于在同一点开始的某个较长部分的平均比特率。

下面针对通用段q(＝0...M-1)描述该过程。

使用

$A_i^{\left(q\right)}=\frac{\underset{j=k_q+1}{\overset{i}{\mathrm{\Σ}}}{d}_j}{i-k_{q-1}}$

为所有k_q-1+1≤i≤k_q-1+H(或者k_q-1+1≤i≤N-1，如果此范围较短)计算A_i ^(q)。

其中，H是某一允许定义的最大长度。

找出使A_i ^(q)最大的i值，并且将k_q设置为等于i的值。

除了将检索最大平均速率限制在其范围内之外，这与先前描述的过程相同。

一旦确定了k_q(q＝0，...，M-1)，则可以如上所述精确地确定实际的传输速率，除了省去为了防止速率超过前一段的速率、或者防止其低于下一段的速率而定义的任何限制之外。

本发明的第二实施例研究了进行视频速率转换的可能性。这里，产生两个(或者更多个)具有不同图像质量、从而数据速率也不同的视频流。典型地，可以通过使用不同的量化粗度来产生这些视频流，低质量、低数据速率流使用粗量化器，而具有较高数据速率的较高质量的流使用不太粗糙的量化器。

在开始传输时可能出现速率预留失败的情况下，进行视频速率转换的可能性特别受关注，可以通过首先传输较差质量的流、并且随后转换到较高质量的流来在信号特性和/或网络条件允许时对这种情况进行补救。然而，将要描述的系统在因某些其他原因而使用视频速率转换的情况下也是有用的。

当使用帧间编码时，在两个不同流之间的转换可能由于编码器和解码器处的预测器(predictor)的错误跟踪而引起图像质量的严重恶化：然而，通过不时地产生过渡编码帧(transitional coded frame)，可以调节这种转换而不会引起图像质量的任何下降，该过渡编码帧实质上是对转换到的流的帧与从中转换出的流的帧之间的差值进行编码。所以在传输了第一个流的帧之后，传输一个或更多个过渡帧、以及来自第二个流的帧。这种过渡帧的产生不是新技术，所以不对其进行进一步的描述。为了描述该系统，参见国际专利申请WO 98/26604(和对应的美国专利6,002,440)。在下面的文献中描述了使用称为“SP-帧”的另一个这种系统：Marta Karczewicz and Ragip Kurceren，“A Proposal for SP-frames”，document VCEG-L-27，ITU-T Video Coding Experts Group Meeting，Eibsee，Germany，09-12January 2001，以及Ragip Kurceren and Marta Karczewicz.“SP-frame demonstrations”，document VCEG-N42，ITU-T Video CodingExperts Group Meeting，Santa Barbara，CA，USA，24-27Sep，2001。

在上述“FOT”方法的情景下，在两个流之间进行转换带来的问题引出了某些需要解决的问题。如果考虑在任意点及时地从第一个流转换到第二个流，则一般来说，解码器缓冲器将包含第一个流中的对于解码第二个流不起作用的帧。因此，假定解码器将立即进行转换以对第二个流进行解码，则这些帧将无用且代表被浪费的传输容量。更坏的是，对第二个流进行解码所需的帧将不会出现在缓冲器中。理论上，如果考虑将实际要传输的该第二流部分的起始作为该流的起始，而重新计算第二个流的FOT，则可以解决该问题；但是实际上如果要避免显示图像的中断，则就可能导致极高的传输数据速率需求。

可以通过允许解码器继续对缓冲器中剩余的该第一个流的帧进行解码来避免浪费比特的问题，并且在此期间，缓冲器可以累积对第二个流进行解码所需的一些帧(即过渡帧和第二个流的帧)，然而仍然存在对于过大传输比特率的需求。

理想地，一出现可用带宽就应当进行比特流转换。但是，由于上面讨论的问题，这是不切实际的。同时，如果要产生过渡帧(一般仅在选择点产生而不是对于每一帧都产生)，则优选地应当提前安排要产生这些过渡帧的点(转换点)。

基于这些考虑，我们首先要考虑在与FOT的“台阶”的“边界”一致的时刻进行转换的可能性。本方案的特征在于：在各“台阶”的“边界”处，当所有已传输比特被解码为图像时，接收方缓冲器中不存储任何比特。因此，如果在原始流的“边界”处进行转换，则所有已传输比特将从接收方缓冲器中清空，并且不会由于比特流的转换而浪费任何比特。

尽管在原始比特流的“台阶边界”处设置转换点可能不浪费传输比特，但如果新的流中的切换点不在“台阶边界”处，则仍然存在问题。原因是如果所述转换点不在新的流的“台阶边界”处，则为了在接收方连续地播放视频，就可能必须在非常短的时间间隔内传输某些为所述新的流预先累积的比特。这可能引起极高速率的预留请求，甚至可能比所述新的流所包含的预留速率还要高。如果所述新的比特流中的转换点在“台阶”中间，则累积比特的缺陷导致高速率预留。因此，理想地，所述新的视频流中的转换点也应当在“台阶边界”处。

根据上述分析，具有所述两个流的最佳转换点的唯一机会可能是这两个流具有相同“边界点”。否则，要么浪费比特，要么在比特流转换之后要求非常高的比特率。幸运的是，根据进一步调查研究，我们发现，对于从不同量化器产生的FOT曲线来说，确有同样位置的“台阶边界”，尽管它们不是绝对相同。原因在于，在视频序列中，不管选择什么量化器，复杂图像一定要比普通图像耗费更多的比特。

我们已经用某些实例验证了这一点。在所述实例中，选择了140CIFJacknbox视频序列。

在第一实例中，我们希望弄清楚基于同一视频序列的不同视频流是否在它们的FOT中共同逼近它们的“台阶边界”。在图6中，示出了基于不同量化器的FOT曲线的相似度。这些曲线对应于量化器步长2、3、4、10、16和31，并且以Q2、Q3等来标记。可以看出，随着量化器步长的增加，FOT变得越来越平坦。然而，它们仍具有几乎同时的“台阶边界”。另外，应当注意，尽管不同FOT中的“边界”点是类似的，但它们不完全相同。图7和8公开了“台阶边界”处的不同FOT曲线的更详细情况。尽管它们不完全相同，但对相似位置处的比特流转换几乎没有影响。下面的实例可以进一步对其进行验证。

在第二实例中，我们假定，在各个帧间隔处，将利用固定量化器16产生的比特流(Q16流)转换到利用固定量化器8产生的第二比特流(Q8流)。在图9中示出了分别在帧35、42、45、49、50和52处转换比特流时的一些预留曲线。在图10中示出了以不同帧间隔转换比特流时所浪费的比特数。图9和图10充分地示出了在“边界”点或其他点处进行流转换时的不同。在图9中可以看出，如果转换点远离“台阶边界”，则所需的传输速率甚至高于最初要求的Q8流的传输速率。恰好如我们较早前所分析的。在这种情况下，为了在比特流转换之后实现适当的显示，需要在短时间内实现必要的比特累积。因此，所需的传输速率可能非常高，而这对于完成该比特流转换就变得不切实际了。另一方面，如果在接近“边界”点处转换比特流，则不需要非常高的传输速率来实现必要的比特累积，因为FOT中的各“台阶”是独立的。在图10中还可以观察到，在“边界”点附近对比特流进行转换更加合理。在FOT曲线中，总需要为后面的帧预先累积一些比特。如果采用比特流转换，则不需要使用原始流的预先累积比特。这些比特将被浪费。

在图10中，容易看出仅在“台阶边界”处对比特流进行转换不会浪费比特。越接近“台阶边界”，浪费的比特就越少。图9和图10均证明了FOT中的最佳转换点是它们的“台阶边界”。

至于实际中精确地在什么点处选择从第一流转换到第二流的转换点的问题来说，如果两个流的台阶一致，则当然不会不明确。然而，如果时序上存在不同，则可能：

a)在第一个流中选择一个台阶(容易实施)；

b)在第二个流中选择一个台阶(同样容易实施)；

c)选择所述两个台阶中较早的(从而使浪费比特最少)；

d)选择所述两个台阶中较晚的(从而避免第二流的预留带宽的任何增加)。

然而，实际上选哪一个都无所谓，因为就性能而言，它们之间的差别相当小；实际上，如果所选转换点与该“台阶”偏移数帧，则通常可以获得满意的性能。

根据这一点，所建议的方法如下(假定上述选项(a))：

i)为所述第一流计算FOT；

ii)选择与该FOT的台阶一致的转换点；

iii)产生过渡帧；

iv)对于过渡帧和所述第二流的剩余部分计算FOT；

v)传输直到所述转换点的第一流；

vi)传输所述过渡帧和所述第二流的剩余部分。

在使用选项(b)、(c)或(d)的情况下，步骤i)还将包括所述第二流的FOT的计算，并且步骤(ii)将包括根据所选的选项进行选择。尽管如此，仍将在步骤4中重新计算第二流的FOT。同时应当注意，步骤(iv)中的(重新)计算将自动考虑由于转换点与对于第二流而最初计算的台阶不一致以及/或者由于如上所述使用了“上限”或者“下限”而所需进行的任何校正。

当然，如果希望例如返回到第一流、或者转换到第三流，则可以选择多于一个的转换点。

尽管已经在被约束为具有单调递减FOT的系统的情况下讨论了转换的问题，但是该转换方法也可以在不受约束的情况下使用。同样，在从高质量流转换到低质量流时也是有用的。

Claims (19)

1、一种传输视频信号的数字序列的方法，所述视频信号已被使用压缩算法编码为使得每帧的编码比特数不是恒定的，所述方法包括以下步骤：

(a)将所述序列划分为多段，其中第一段是序列开始处的部分，其每帧平均编码比特数大于或等于任何更短的序列开始处的部分的每帧平均编码比特数，并且其中，各个随后段是紧接前一段的部分，其每帧平均编码比特数大于或等于任何更短的紧接前一段的部分的每帧平均编码比特数；

(b)确定各段的比特率；

(c)以所确定的比特率传输信号。

2、一种传输视频信号的数字序列的方法，所述视频信号已被使用压缩算法编码为使得每帧的编码比特数不是恒定的，其中源视频已被编码为分别具有不同压缩比的第一序列和第二序列，所述方法包括以下步骤：

(a)分析多个流中的至少一个以将其划分为多段；

(b)在步骤(a)中所标识出的段间过渡的附近选择一个转换点；

(c)如果在步骤(a)中没有分析所述第一序列，则分析所述第一序列以将其划分为多段；

(d)对于直到所述切换点为止的所述第一序列的该段或各段确定比特率；

(e)以所确定的比特率来传输直到所述转换点为止的所述第一序列的信号；

(f)分析从所述转换点开始的包括所述第二序列的已修改序列，以将其划分为多段；

(g)对于所述已修改序列的多段确定比特率；

(h)以所确定的比特率来传输所述已修改序列的信号；

其中，通过将所述相关序列划分为多段来逐个执行所述分析，其中，所述第一段是序列开始处的部分，其每帧平均编码比特数大于或等于任何更短的序列开始处的部分的每帧平均编码比特数，并且其中，各个随后段是紧接前一段的部分，其每帧平均编码比特数大于或等于任何更短的紧接前一段的部分的每帧平均编码比特数。

3、根据权利要求2所述的方法，其中在步骤(b)中，将所述转换点选择在所述第一序列的段间过渡的附近。

4、根据权利要求2所述的方法，其中在步骤(b)中，将所述转换点选择在所述第二序列的段间过渡的附近。

5、根据权利要求2所述的方法，其中在步骤(a)中，分析所述第一序列和第二序列，并且在步骤(b)中，将所述转换点选择在所述第一序列和第二序列的段间过渡的附近、或者如果所述过渡不一致则选择在所述两个过渡中的较早的一个附近。

6、根据权利要求2所述的方法，其中在步骤(a)中，分析所述第一序列和第二序列，并且在步骤(b)中，将所述转换点选择在所述第一序列和第二序列的段间过渡的附近、或者如果所述过渡不一致则选择在所述两个过渡中的较晚的一个附近。

7、根据权利要求2到6中任何一项所述的方法，其中，将所述转换点选择为发生在所述相关过渡的四帧范围内。

8、根据权利要求7所述的方法，其中，将所述转换点选择为与所述相关过渡一致。

9、根据权利要求2到8中任何一项所述的方法，其中，与所述第二序列相比按更高的压缩比对所述第一序列进行编码。

10、根据权利要求9所述的方法，其中，与所述第二序列相比使用更粗糙的量化对所述第一序列进行编码。

11、根据权利要求2到10中任何一项所述的方法，其中，使用帧间编码对所述序列进行编码，并且所述方法包括在所述转换点处产生过渡序列，所述过渡序列包括使用所述第一序列的解码帧作为预测器进行编码的所述第二序列的一个帧或者从该帧开始，并且其中，所述已修改序列包括所述过渡序列，其后是第二序列的帧。

12、根据前述任何一项权利要求所述的方法，其中，所述序列或一个序列的第一段是序列开始处的部分，其每帧平均编码比特数大于或等于任何可能的序列开始处的部分的每帧平均编码比特数，并且其中，各个随后段是紧接前一段的部分，其每帧平均编码比特数大于或等于任何可能的紧接前一段的部分的每帧平均编码比特数。

13、根据前述任何一项权利要求所述的方法，其中，所述序列或一个序列的第一段是序列开始处的部分，其每帧平均编码比特数大于或等于不超过最大预定长度的任何可能的序列开始处的部分的每帧平均编码比特数，并且其中，各个随后段是紧接前一段的部分，其每帧平均编码比特数大于或等于不超过所述最大预定长度的任何可能的紧接前一段的部分的每帧平均编码比特数。

14、根据前述任何一项权利要求所述的方法，其中，对于所述序列或一个序列的至少所述随后段中的每一个确定的比特率是与该段的每帧平均编码比特相等的每帧周期比特数。

15、根据权利要求1到13中任何一项所述的方法，其中，对于所述序列或一个序列的至少所述随后段中的每一个确定的比特率是与一组允许比特率中大于或者等于该段的额定速率的最低一个相等的每帧周期比特数，所述额定速率是该段的每帧平均编码比特减去由于对于所述前一序列所确定的比特率超过所述前一段的所述额定速率而允许的任何减少。

16、根据权利要求1到13中任何一项所述的方法，其中，对于所述序列或一个序列的至少随后段中的每一个确定的比特率是与一组允许比特率中小于或者等于该段的额定速率的最高一个相等的每帧周期比特数，所述额定速率是该段的每帧平均编码比特加上由于对于所述随后序列确定的比特率低于所述前一段的所述额定速率而必要的任何增加。

17、根据权利要求12所述的方法，其中，对于所述序列或一个序列的至少所述随后段中的每一个确定的比特率是等于下面中的较大一个的每帧周期比特数：

(i)一组允许比特率中大于或等于所述段的额定速率的最低一个，所述额定速率是所述段的每帧平均编码比特减去由于对于所述前一序列确定的比特率超过所述前一段的所述额定速率而允许的任何减小；以及

(ii)所述一组允许比特率中大于或等于所述随后段的每帧平均编码比特的最低一个。

18、根据权利要求12所述的方法，其中，对于所述序列或一个序列的至少随后段中的每一个确定的比特率是等于下面中的较小一个的每帧周期比特数：

(i)一组允许比特率中小于或者等于所述段的额定速率的最高一个，所述额定速率是所述段的每帧平均编码比特加上由于对于所述随后序列确定的比特率低于前一段的额定速率而必要的任何增加；以及

(ii)所述一组允许比特率中小于或者等于所述前一段的每帧平均编码比特的最高一个。

19、根据前述任何一项权利要求所述的方法，包括将请求预留所述确定的比特率的命令传输到电信网络。

Images