CN1171458C - 流式视频接收机的解码器缓冲器 - Google Patents

Abstract

在此公开一种解码器缓冲器，能够接收流式视频数据包并将数据包存入多个入口单元。每个入口单元保存至少一个与流式视频中所选帧有关的数据包。解码器缓冲器包括：1)第一缓冲器区，包括至少一个入口单元，用于存储很少立即为视频解码器所需的数据包；和2)重发区，包括至少一个入口单元，用于存储多半立即为视频解码器所需的数据包。解码器缓冲器，对在重发区中检测到丢失数据包作出响应，请求流式视频发射机重发丢失包。

Description

流式视频接收机的解码器缓冲器

本发明涉及在美国临时专利申请No.60/108,939，提交日期为1998，11，18，标题为“SCALABLE VIDEO STREAMING USING MPEG-4”中所公开的内容，该申请被共同转让给本发明的受让人。这份有关的临时专利申请的公开内容引入于此供所有场合参考，如同在此进行全面阐述。

发明的技术领域

本发明一般涉及视频处理系统，更具体而言，涉及在流式视频接收机中使用的解码器缓冲器。

发明背景

在互联网协议(IP)网络上实时流的多媒体内容近年来已经成为一种日益增长的普通应用。范围广泛的交互作用和非交互作用的多媒体互联网应用，例如，点播新闻，观看实况电视，电视会议，和许多其他项目有赖于端对端流的解决，可以首先以“非实”时方式恢复然后观看或回放的不同“下载”视频文件，流式视频应用需要将视频源编码并在网络上将视频信号发送到必须将视频信号实时解码和显示的视频接收机上。接收机依靠解码器缓冲器从网络接收编码的视频数据包并将包传送到视频解码器。

当通过不保证服务质量(QoS)的网络，如互联网，发送流式视频信号时，出现两个问题。首先，在流式视频发射机和流式视频接收机之间的网络中端对端的变化(例如，延时抖动)意味着端对端延时不是常数。其次，通过非一QoS网络时通常有较高的包丢失率，常常需要重发。在相应的帧必须被解码的时间以前必须恢复丢失的数据包。如果不这样，就发生下溢事件。而且，如果采用基于预测的压缩，由于丢失数据包引起的下溢可能不仅影响当前正在被处理的帧，而且可能影响许多后继的帧。

众所周知，丢失包的重发对于在包网络上的连续介质通信来说是一种可行的恢复措施。许多应用采用一种连同丢失包重发的否定自动重复请求(NACK)。这些措施既考虑发送者和接收者之间往返延时也考虑延时抖动。

例如，一种利用包话音传输重发的端对端模型已被开发出来。这种模型利用这样的事实，即话音数据由简短的谈话脉冲段分开的沉默周期组成。这种模型也假定每个谈话脉冲由固定数目的固定大小的包组成。可是，这种模型对于截取被压缩视频的特性(每个视频帧可能有可变数目的字节或包)来说不够一般性。

因此在技术上需要有一种补偿在非QoS网络中固有变化的改进型流式视频接收机。尤其是，需要一种改进的接收机解码器缓冲器，既考虑传输延时参数(例如，端对端延时和延时抖动)又考虑视频编码器缓冲器的约束。更具体而言，需要一种改进的解码器缓冲器，消除典型情况下用于除去延时抖动和恢复丢失数据的网络传输缓冲器和视频解码器缓冲器之间的分离。

发明概述

本发明在一种集成传输解码器(ITD)缓冲器模型中得以实施。ITD模型的一个关键性的优点是它消除典型情况下用于除去延时抖动和恢复丢失数据的网络传输缓冲器和视频解码器缓冲器的分离。这可大大地降低端对端的延时，并使接收机资源(如存储器)的利用为最佳。

本发明的主要目的在于提供一种解码器缓冲器，能够从流式视频发射机接收包括流式视频的数据包并将数据包存入多个入口单元，用于能够对流式视频解码的视频解码器。每个入口单元能够保持至少一个与流式视频中所选的帧有关的数据包。解码器缓冲器包括：1)第一缓冲器区，包括至少一个入口单元，能够存储很少马上为视频解码器所需的数据包；和2)重发区，包括至少一个入口单元，能够存储多半马上为视频解码器所需的数据包，其中解码器缓冲器，对检测到在重发区中丢失数据包作出响应，请求流式视频发射机重发丢失的包。

在本发明的一个实施方案中，在等于解码器缓冲器启动延时时间的时间周期内，至少一个数据包被存储在第一缓冲器区中。

在本发明的另一个实施方案中，数据包首先存入第一缓冲器区中并被移入重发区。

在还是本发明的另一个实施方案中，第一缓冲器区与重发区是分开的。

在还是本发明的另一个实施方案中，第一缓冲器区至少与重发区的一部分重迭。

在本发明的一个进一步的实施方案中，第一缓冲器区重迭全部的重发区。

在本发明的一个进一步的实施方案中，用第二缓冲器区将第一缓冲器区与重发区分开，其中迟到的数据包相对于迟到的数据包预期的到达时间是晚的，但是对于需要重发迟到的数据包来说并不太晚。

以上已经相当广泛地概述本发明的特点和技术优势，以便本领域的技术人员可以更好地理解后随的本发明详述。在此往后将描述本发明的附加特点和优点，这些构成本发明权利要求的主体。本领域的技术人员应该意识到，他们可以容易地利用所公开的概念和特定的实施方案作为基础用于修改或设计实现本发明相同用途的其他结构。本领域的技术人员也应该认识到，这样一些等效的结构并不偏离最广泛形式下本发明的精神和范围。

在开始详述以前，阐述在整个本专利文件中使用的某些字和短语的定义可能是有利的：术语“包含”和“包括”，以及其派生词，意思是没有限制的包括；术语“或”包括和/或的意思；短语“有关的”和“与此有关的”以及其派生词，可以意味着包括，包括在内，有联系的，含有，含有在内，有关系的，有配合的，可有联系的，和…合作的，交插，并列，近似于，密切关联的，具有，具有…性质的，等。术语“控制器”意思是控制至少一种操作的任何设备，系统或其部件，这样一种设备可以用硬件，固件或软件，或者至少两种同类的某种组合来实现。应该指出，与任何特定的控制器有关的功能可以被集中或分散，无论是本地方式还是远程方式。在整个这份专利文件中提供了某些词或短语的定义，本领域的技术人员应该理解，在许多，如果不是大多数情况下，这样一些定义适用于这样一些被定义的词或短语以前，以及将来的使用。

附图简述

为了更完全理解本发明及其优点，参考以下的描述连同附图，其中同样的数字标记同样的对象，其中：

图1示出依据本发明的一种实施方案，从流式视频发射机通过数据网到示范性流式视频接收机的一种端对端流式视频传输；

图2示出视频编码系统的一种理想的编码器—解码器模型；

图3示出依据本发明的一种实施方案，从一个压缩的视频源通过一个信道到示范性集成传输解码器缓冲器和视频解码器的端对端流式视频传输，不支持重发；

图4示出一种展示数据包流通过示范性理想集成传输解码器缓冲器不同的各个区的顺序图。

图5示出一种展示数据包流通过为最大外部边界范围配置的示范性集成传输解码器缓冲器不同重迭区的顺序图。

详述

以下讨论的图1到5，和在这份专利文件中用于描述本发明原理的各个实施方案仅用作说明，不应该以任何方式解释为对本发明范围的限制，本领域的技术人员将理解本发明的原理可在任何适当安排的流式视频接收机中实现。

另外，本领域的技术人员将容易理解虽然以下描述的本发明实施方案原则上是指向于流式视频，但这只是用作说明。事实上，以下描述的改进的集成传输解码器缓冲器可容易地被适配为与流式音频数据或其他必须按所要求的速率供给解码器的流式数据连用。

图1示出一种依据本发明的实施方案，从流式视频发射机110通过数据网120到流式视频接收机130的端对端流式视频传输。根据应用，流式视频发射机110可以是各种各样视频帧源中任何一种，包括数据网服务器，电视台，有线网，台式个人计算机(PC)，等。流式视频发射机110包括视频帧源112，视频编码器114和编码器缓冲器116。视频帧源112可以是能够产生未压缩视频帧序列的任何设备，包括电视天线和接收机单元，录相机，摄像机，能够存储“原始”视频片段的盘存储设备，等。

未压缩的视频帧以给定的图象速率进入视频编码器114并被按任何已知的压缩算法或设备，例如MPEG-4编码器进行压缩。然后视频编码器114将已压缩的视频帧发送到编码器缓冲器116用于为通过数据网120传输准备中作缓冲。数据网120可以是任何适当的IP网，可以包括既有公共数据网，如互联网，又有私人数据网，如企业拥有的局域网(LAN)或广域网(WAN)的部分。

流式视频接收机130包括解码器缓冲器131，视频解码器134和视频显示136。解码器缓冲器131从数据网120接收和存储流式已压缩视频帧。然后，如需要的话，解码器缓冲器131将已压缩视频帧发送到视频解码器134。视频解码器134以与视频帧被视频编码器114压缩时相同的速率(理想情况)对视频帧解压。

解码器缓冲器131进一步包括集成传输解码器(ITD)缓冲器132，ITD缓冲器监视器138和重发控制器139。按照本发明的原理，ITD缓冲器132将临时的和数据单元占用的考虑合在一起以便提供视频解码器134压缩视频帧，其速率对于避免下溢条件是足够的，在此期间视频解码器134被渴求已压缩视频帧。

ITD缓冲器132与ITD缓冲器监视器138和重发控制器139合作实现这点。ITD缓冲器监视器138监测ITD缓冲器132中数据占用的水平并检测丢失的数据包和潜在的下溢条件。对来自ITD缓冲器监视器138的通知作出响应，重发控制器139请求重发从ITD缓冲器132丢失的数据以便防止下溢状况。在本发明的一种有优越性的实施方案中，ITD缓冲器132，ITD缓冲器监视器138，和重发控制器139在个人计算机(PC)中实现，例如，在高速数据线上从互联网接收流式视频和/或音频。在这样一种实施方案中，ITD缓冲器132可在PC的主随机存取存储器(RAM)或视频卡上的RAM中实现，ITD缓冲器监视器138和重发控制器139可在PC的CPU中实现。为了在PC环境中实现ITD缓冲器132，ITD缓冲器可作为存储媒介140，如CD-ROM，计算机盘片，或类似设备上作为程序存储的计算机可执行指令来实施，可以被加载到流式视频接收机130中的可拿下的盘的口141。

压缩视频帧的连续解码是实时多媒体应用，如流式视频的关键要求。为了满足这个要求，一种解码器—编码器缓冲器模型通常被用于保证不发生下溢或溢出事件。这些约束限制了进入编码器缓冲器的视频图象的大小(位-方式)。这些约束通常用编码器缓冲器的范围来表达，当编码器遵循这些约束时，保证在接收机上压缩视频流的连续解码和展示。

图2示出视频编码系统的一种理想的编码器—解码器模型。在这个理想模型下，未压缩视频帧201-203在给定的图象速率，X帧/秒，如时间(1)线所示，进入编码器214的压缩机构。压缩帧在相同的X帧/秒，如时间(2)线所示，离开编码器214并进入编码器缓冲器216。同样，压缩帧在X帧/秒离开编码器缓冲器216并进入信道220。信道220是任何传输媒介，如互联网的一种一般性的表示，它将压缩视频帧从发送源传送到接收机。在此理想情况下，信道220的延时(δC)是一个常数值。

接着，压缩帧以相同X帧/秒，如编码器214的输入和输出上那样，如时间(3)线所示，退出信道220并进入解码器缓冲器232。解码器缓冲器232将压缩帧发送到解码器234，它将帧解压并按帧进入编码器214原来的速率X帧/秒输出解压帧251-253。

理想情况下，端对端缓冲延时(也就是在编码器缓冲器216和解码器缓冲器232中遇到的总延时)是常数。然而，同样部分的压缩视频数据(例如，特定字节的视频流)在编码器缓冲器216和解码器缓冲器232遇到不同的延时。在理想模型中，在编码器214中编码和在解码器234中解码是瞬时的，需要零执行时间并且数据包并不丢失。

编码器缓冲器范围可利用离散时间和来表达。在离散时间域分析中，Δ是端对端延时(也就是，既包括编码器缓冲器216和解码器缓冲器232也包括信道延时δ_C)用时间单位。对于一个给定的视频编码系统，Δ是一个常数值，可用于进入编码器-解码器缓冲器模型的所有帧。

为了简化离散时间分析，假定端对端缓冲延时(ΔT＝Δ-δ_C)是帧持续时间(T)的整倍数。因此，NΔ＝N(Δ-δ_C)/T代表用视频帧(N)的数目表示的编码器和解码器缓冲器的延时。为在本发明原理的描述中清楚和简短起见，本公开内容的其余部分将使用在帧—持续时间间隔中规定的时间单位。例如，利用图2中所示的编码器时间参考，第n个帧在时间指数“n”进入编码器缓冲器216。解码器缓冲器232的解码器时间参考是相对于编码器缓冲器216移位信道延时(δ_C)。

在帧间隔“i”期间编码器(e)214输出上的数据速率(r)可表示为r^e(i)。在此，“数据速率”是一般性地被采用。可以表示位速率，字节速率，或甚至是包速率。同样，在解码器缓冲器232输入上的数据速率表示为r^d(i)。根据理想模型，r^e(iT)＝r^d(iT+δ_C)。另外，根据以上建立的约定，r^e(i)＝r^d(i)。因此，编码器缓冲器216的范围可表达为：

$\max [(\underset{j=n+1}{\overset{n+\mathrm{\ΔN}}{\mathrm{\Σ}}}{r}^e\left(j\right)-B_{\max }^d),0]\≤B^e\left(n\right)\≤\min [\left(\underset{j=n+1}{\overset{n+\mathrm{\ΔN}}{\mathrm{\Σ}}}{r}^e\left(j\right)\right),B_{\max }^e]$ 等式1

其中B^d _max和B^e _max分别为最大解码器和编码器缓冲区大小。

在理想情况下，也假定在第一帧进入编码器214以后，编码器214立即开始发送数据。因此，启动延时dd_f(也就是，来自第一图象的第一部分数据在解码以前在解码器缓冲器232中花费的延时时间)等于端对端，编码器-解码器缓冲器延时：dd_f＝ΔT＝T·ΔN。

在本发明的一种实施方案中，ITD缓冲器132通过考虑以上描述的理想缓冲器模型的问题和理想编码器—解码器缓冲器约束将下溢事件减至最少。ITD缓冲器132是以利用重发恢复丢失包为基础的。

图3是一种示范性端对端传输流式视频的简化方框图，不支持重发。为简单和清楚起见，流式视频发射机110已由压缩射频源305代替，数据网120已由信道320代替。压缩视频源305以速率r^e(n)发送数据包，信道320以速率r^td(n)传送数据包。因为本实施方案不支持视频重发，ITD缓冲器监视器138和重发控制器139从图中删去。流式视频接收机130已被简化，用ITD缓冲器132和视频解码器134代表。

如上所述，ITD缓冲器132将临时的和数据单元的占用模型合在一起。ITD缓冲器132将分成每个“T”秒的临时段。例如，参数T可以是一个视频序列中的帧周期。与给定的持续时间T有关的数据包(位，字节，或包)被缓存在相应的临时段中。所有与临时单元有关的数据包被称为“入口”单元。例如，数据包351，352和353组成入口单元A_n+1，数据包354组成入口单元A_n+2，和数据包355和356组成入口单元A_n+3。

在时间间隔n期间，第n个入口单元，A_n，被解码器134解码，入口单元A_n+1被存储在最靠近ITD缓冲器132输出的临时段。一个入口单元可以是音频帧，视频帧，或甚至是视频帧的一部分，如块组(GOB)。因此，将一个入口单元解码或显示所需的持续时间与临时段的持续时间T相同。在时间间隔n期间，数据进入ITD缓冲器132的速率是r^td(n)。在每个入口单元中数据包的数目并不要求是相同的。在视频编码器114中所用的压缩算法可以用不同的数量压缩在相继的入口单元中的数据包，即使每个入口单元代表相同持续时间的临时单元。

例如，在入口单元A_n+1中三个数据包351-353可以组成一个完全的视频帧，帧1。在A_n+2中单个数据包354可以表示只是帧2中与帧1不同的那些部分。然而，如果帧1数据已知的话，数据包354足够建立帧2。因为帧1和帧2具有相同的持续时间，临时段，T，对于A_n+1和A_n+2是相同的。

每个临时段保持最大数目的包，K_max，每个包具有最大尺寸，b_max(用位或字节为单位)。因此，一个入口单元的最大尺寸，S_max，可以表示为S_max≥K_max(b_max)。视频编码器114被假定为以只在此入口单元中出现的新包开始每个入口单元。

在时间指数n上ITD缓冲器132中的数据量B^td(n)可用B^a(n)和B^b(n)描述，B^a(n)代表在间隔n开始时，ITD缓冲器132中顺序并完整的入口单元的数目，B^b(n)代表在间隔n结束时，ITD缓冲器132中总的顺序的数据量。对于B^a(n)，包含部分数据的临时段不计数，所有后随部分段的段也不计数，即使它们包含够一个完整的入口单元数据。因此，T·B^a(n)代表在时间指数n时ITD缓冲器132保存多少临时单元的(例如，若干秒)视频(如果没有更多数据到达，不运行至下溢)。

因此，结果S_n标记入口单元n的大小，在B^a和B^b之间的关系可用等式2表示如下：

$B^b\left(n\right)=\underset{j=n+1}{\overset{n+B^a\left(n\right)}{\mathrm{\Σ}}}\mathrm{Sj}+U_{B^a\left(n\right)+1}$ 等式2

其中S_j是对于临时段j的最大入口单元尺寸，U^a _B(n)+1是入口单元A_n+B^a _(n)+1的部分(不完整)数据，是在时间指数n开始时存储在临时段B^a _(n)+1中的。

当重发被作为一种实施方案得到支持时，ITD缓冲器132需要有能力用于a)在每个临时时间间隔n开始时输出够一个临时段(T)的数据；b)检测丢失的包并发送有关的否定确认(NACK)消息到发射机110或305；c)连续存储新到达的一次(也就是，不是重发的)包；和d)存储重发的包。理想的ITD缓冲器132保持视频流的数据速率，没有由于重发任何丢失数据引起的延时。换句话说，如果r^e(n)是在无损环境下由一个理想的视频编码器114使用的传送数据速率，理想的ITD缓冲器132将保持这个数据速率没有由于重发过程引起的降低。根据重发请求的次数，编码器缓冲器116可以通过ITD缓冲器132的相应调节来调节其输出数据速率r^e(n)。

在一种实施方案中，解码器缓冲器131为输入视频流增加缓存，以便补偿为检测和恢复丢失数据所需要的时间以及与“真实”世界的实现有关的延时。通过用这个补偿时间将所有输入视频流延时，解码器缓冲器131按解码所需的连续速率输出视频流数据。重发控制器139和ITD缓冲器132合并处理使为检测包的缺席和传送用于由流式视频发射机110重发的NACK的时间为最小。为检测预定数目丢失包所需的最小持续时间用T_L表示。通常T_L是由于数据到达滞后于ITD缓冲器132预期时间引起的延时抖动的函数。

流式视频接收机130在被告知丢失包以后恢复包需要的最小时间量用T_R表示。时间T_R包括为流式视频接收机130发送NACK到流式视频发射机110所需的时间和为重发数据到达流式视频接收机130所需的时间(假定NACK和重发数据未被丢失)。

示范性的解码器缓冲器131在丢失包间隔期间以最小延时(T_L+T_R)传送重发数据包。如果对于一个理想解码器缓冲器131来说，任何视频数据所经受的最小延时用dd_min表示，可被加到最小理想延时上以便计算重发的总延时的延时量Δ_R为：

Δ_R≥u(T_L+T_R-dd_min)             等式3

其中u(X)＝X，对于X＞0；u(X)＝0，对于X≤0。

解码器缓冲器131为所有到视频解码器的输出数据缓存增加延时Δ_R，以便为对数据解码和传送提供时间，这样就得到连续视频流。因此，总的编码器缓冲器116到解码器缓冲器132输出的延时(Δ_TOT)可表示为：

Δ_TOT＝Δ_ideal+Δ_R≥Δ_ideal+u(T_L+T_R-dd_min)        等式4

ITD缓冲器132为最小数目的临时段(B^a _min)提供缓存(存储)作为对重发时间需要的补偿和防止下溢事件。ITD缓冲器132可以根据，例如，用于存储临时段的最小和最大范围来定大小。确定这些范围的过程描述在以下的章节中。

在不存在丢失包和延时抖动的情况下，在任何时间指数n时，ITD缓冲器132提供以下的占用能力：

${\mathrm{TB}}^a\left(n\right)\≥{\mathrm{TB}}_{\min }^a=T_L+T_R$

                                                       等式5

一个理想的I TD缓冲器1 32具有最大的解码延时(dd_max)，其中dd_max≥Δ_ideal。因此，在不存在丢失包和延时抖动的情况下，理想的ITD缓冲器132满足以下要求：

T·B^a(n)≤dd_max+u(T_L+T_R-dd_min)≤Δi_deal+u(T_L+T_R-dd_min)

                                                等式6

进而，在不存在丢失包和延时抖动的情况下，理想ITD缓冲器132为TB^a(n)数据提供存储要求，范围如下：

T_L+T_R≤T·B^a(n)≤dd_max+u(T_L+T_R-d_dmin)

                                        等式7

ITD缓冲器132考虑延时抖动的存储能力可被表达为：

T_R≤T·B^a(n)≤dd_max+u(T_L+T_R-dd_min)+T_E

                                        等式8

其中T_E是与包到达早于ITD缓冲器132预期时间有关的延时抖动。因此，如果B^a _max是ITD缓冲器132保存的最大数目的临时段，那么：

$T\·B_{\max }^a\≥{\mathrm{dd}}_{\max }+u(T_L+T_R-{\mathrm{dd}}_{\min })+T_E$

                                                   等式9

或者

$B_{\max }^a\≥\left[\frac{{\mathrm{dd}}_{\max }+u(T_L+T_R-{\mathrm{dd}}_{\min })+T_E}{T}\right]$

ITD缓冲器132的存储能力是基于以上的等式，最小理想存储要求，和与数据传送有关的延时。ITD缓冲器132具有由理想编码器缓冲器116确定的最小尺寸，用B^a _max表示。ITD缓冲器132提供附加的存储用以调节由ITD缓冲器132引入的延时和比预期早到的数据。用于容纳这些示范性延时的ITD缓冲器132存储要求(用临时单元为单位)用T_extra表示，如下所示。

T_extra＝u(T_L+T_R-dd_min)+T_E

                                        等式10

利用这个关系，为满足B^b _max上限的ITD缓冲器132存储要求(用临时单元为单位)用以下的上限关系表示：

$B_{\max }^b\≥B_{\max }^d+R_{\max }\·T_{\mathrm{extra}}=B_{\max }^d+R_{\max }[u(T_L+T_R-{\mathrm{dd}}_{\min })+T_E]$

                                     等式11

理想的ITD缓冲器132具有等于零的最小解码延时(dd_min)和等于理想的端对端缓冲延时(Δ_ideal)的最大解码延时(dd_max)。理想的ITD缓冲器132被定尺寸以提供额外的最小延时，等于T_L+T_R，其中T_L和T_R被假定是持续时间T的整倍数。通过将理想缓冲器区dd_min＝0和d_max＝Δ_ideal替换到以前描述过的关于Δ_TOT的等式中找到最小时间延时要求。这个额外的缓冲器要求存储N_L+N_R临时段，其中N_R＝T_R/T，N＝T_L/T。因而，理想的ITD缓冲器132被找到以提供用于以下临时段数目的存储：

$B_{\max }^a\≥N_L+N_R+[(T_E+{\mathrm{dd}}_{\max })/T]$

                                           等式12

因为最大解码延时，dd_max＝Δ_ideal＝ΔT，对应于ΔN临时段，B^b _max被进一步描述于下：

$B_{\max }^a\≥N_R+N_L+\mathrm{\ΔN}=N_E$

                                     等式13

其中N_E＝[T_E/T]

图4是示出数据包流在dd_min＝0(低限水平)和d_max＝Δ_ideal的假定下通过示范性ITD缓冲器132不同区的顺序图。ITD缓冲器132数据从图的右侧进入并在左侧离去到视频解码器134。最近接收到的数据位于标记为“太早用于重发请求区”(太早)的缓冲器区中。根据在缓冲器太早区中的位置，ITD缓冲器132引入标记为N_E，ΔN，或N_L的缓冲器延时。这个包括理想延时ΔN的太早缓冲器区的区域被标记为理想缓冲器区。ITD缓冲器132将理想缓冲器区作为理想视频缓冲器管理，也就是，通过这区的数据包流只用固有特性的缓冲器部件延时。理想ITD缓冲器132提供其余的太早缓冲器区来补偿与传送视频流从流式视频发射机110到解码器131有关的延时(N_E)，以及由被延时或丢失的视频包引起的延时(N_L)。

ITD缓冲器132在重发区中提供延时N_R，以便补偿用于启动和接收重发请求的预期时间要求。示范性的解码器缓冲器131在与重发区有关的时间周期内启动重发请求。

指出这点是重要的，取决于不同的延时参数(dd_min，T_R，T_L)值，理想缓冲器和重发区可以重迭。然而，对于dd_min＝0的示范性理想ITD缓冲器132，重发和理想缓冲器区并不重迭。

对于ITD缓冲器132，N_E代表初始解码延时(dd_f)，对应于在第一图象(或者入口单元)解码以前进入缓冲器的数据的最先部分遇到的延时量。其中，此dd_f是基于在已过去的时间dd_f期间流式视频发射机110和数据网120数据传输速率。在理想情况下，ITD缓冲器132利用相同的数据速率将接收到的数据进入其缓冲器(存储)区。理想的解码器缓冲器131辨别在第一入口单元刚刚被作为B₀ ^d数据解码的时间前在其ITD缓冲器132区中的数据量。这个B₀ ^d数据，也被称为“启动延时”数据，由以下关系确定：

$B_0^d=\underset{j=1}{\overset{\mathrm{\ΔN}}{\mathrm{\Σ}}}{r}^e\left(j\right)$

                                    等式14

当dd_min＝0时，理想解码器缓冲器131重发处理包括以下步骤：

理想缓冲器区被充满直到与启动延时有关的所有数据在缓冲器中为止。因为丢失事件也可发生在这个时间间隔内，这些数据可用特殊方法处理，例如利用对它们来说可靠的传输(例如，利用TCP)。

当

$\underset{k=N_R+N_L+1}{\overset{N_R+N_L+\mathrm{\ΔN}}{\mathrm{\Σ}}}{B}_k=B_0^d$

                                    等式15

时满足无损数据的理想条件：

其中B_K是在任何时刻上存储在理想ITD缓冲器132临时段K中的数据量。

2.在等式15被满足以后，ITD缓冲器132将所有临时存储段朝缓冲器输出推进一段。接着，理想ITD缓冲器132每T个时间单位重复此过程一次。在N_L+N_R个T周期以后(也就是T_L+T_R以后)，解码器134开始对第一入口单元解码。当第一入口单元解码开始的时间周期被标记为T₁。因此，任何时间周期n(T_n)的开始表示入口单元A_n+k被移到临时段K的时间。理想ITD缓冲器132考虑在作为被丢失的重发缓冲器区的临时段N_R中的数据丢失。

当

$B_{N_R}\left(n\right)<S_{n+N_R}$

                              等式16时这种条件发生。

其中B_NR(n)是在时间周期n上临时段N_R中的数据量，Sj是入口单元j的大小。当理想ITD缓冲器132确定数据被丢失，发送重发请求到流式视频发射机110。

4.理想ITD缓冲器132将到达的重发数据放入它们相应的重发区的临时段。假定重发数据被接收到，在它们相应的入口单元的解码时间以前理想ITD缓冲器132将重发数据传送到视频解码器134。

图5是示出数据包流通过示范性的ITD缓冲器的不同区的顺序图，其中理想缓冲器，N_L，和重发区之间有重迭。对于这种情况，ITD缓冲器132被配置为最大外部边界，其中dd_min≥T_L+T_R，使它的理想缓冲器区完全覆盖它的重发区。因此，在所有与启动延时有关的数据到达以后解码器缓冲器131将接收到的视频流传送到视频解码器134。然后，视频解码器134将第一入口单元解码没有进一步的延时。解码器缓冲器131如以前描述的那样执行重发功能。

当dd_min具有最小和最大边界区域之间值(即，当0＜dd_min＜T_L+T_R时)时，带有附加延时(T_L+T_R-dd_min)的一般情况下，解码器缓冲器131以类似方式在流式视频发射机110和视频解码器134之间提供数据传送。

虽然本发明已被详细描述，本领域的技术人员应该理解，他们可在其中做各种改变，替换和变更而不偏离最广泛形式下本发明的精神和范围。

Claims (14)

1.为了利用能够对流式视频解码的视频解码器(134)，一个能够从流式视频发射机接收数据包(351)的解码器缓冲器(132)包括所述的流式视频和将所述的数据包(351)存入多个入口单元，每个所述的入口单元能够保存与所述的流式视频中所选的帧有关的至少一个数据包，其中所述的解码器缓冲器(132)包括：

第一缓冲器区，包括至少一个入口单元，能够存储很少为所述的视频解码器(134)立即需要的数据包(351)；和

重发区，包括至少一个入口单元，能够存储多半为所述的视频解码器(134)立即需要的数据包(351)，其中所述的解码器缓冲器(132)，对在所述的重发区中检测到丢失数据包作出响应请求所述的流式视频发射机重发所述的丢失包。

2.如权利要求1的解码器缓冲器(132)，其中至少一个所述的数据包(351)在等于所述的解码器缓冲器(132)的启动延时时间的时间周期内被存储在所述的第一缓冲器区中。

3.如权利要求1的解码器缓冲器(132)，其中所述的数据包(351)首先被存储在所述的第一缓冲器区中并被移入所述的重发区。

4.如权利要求1的解码器缓冲器(132)，其中所述的第一缓冲器区是与所述的重发区分开的。

5.如权利要求1的解码器缓冲器(132)，其中所述的第一缓冲器区覆盖至少一部分所述的重发区。

6.如权利要求5的解码器缓冲器(132)，其中所述的第一缓冲器区覆盖所有的所述的重发区。

7.如权利要求1的解码器缓冲器(132)，其中所述的第一缓冲器区被第二缓冲器区与所述的重发区分开，其中一个迟到的数据包相对于所述的迟到数据包的预期到达时间是晚的，但对于要求所述的迟到数据包重发来说并不太晚。

8.为了利用一种能够对流式视频解码的视频解码器(134)，一种将流式视频缓存的方法，包括以下步骤：

从流式视频发射机接收数据包(351)，包括流式视频和将数据包(351)存入解码器缓冲器(132)中多个入口单元中，每个入口单元能够保存与从流式视频中所选的帧有关的至少一个数据包；

将很少为视频解码器(134)立即需要的数据包(351)存入解码器缓冲器(132)的第一缓冲器区中，所述第一缓冲器区包括能够存储数据包(351)的至少一个入口单元；和

将多半为视频解码器(134)立即需要的数据包(351)存入解码器缓冲器(132)的重发区中，所述重发区包括至少一个能存储数据包的入口单元，其中解码器缓冲器(132)，对在重发区中检测到丢失数据包作出响应，请求流式视频发射机重发丢失包。

9.如权利要求8的缓存方法，其中至少一个数据包(351)在等于解码器缓冲器(132)的启动延时时间的时间周期内被存入第一缓冲器区。

10.如权利要求8的缓存方法，其中数据包(351)首先被存入第一缓冲器区并被移入重发区。

11.如权利要求8的缓存方法，其中第一缓冲器区是与重发区分开的。

12.如在权利要求8的缓存方法，其中第一缓冲器区覆盖至少部分重发区。

13.如权利要求12的缓存方法，其中第一缓冲器区覆盖所有的重发区。

14.如权利要求8的缓存方法，其中第一缓冲器区被第二缓冲器区与重发区分开，其中一个迟到的数据包对于该迟到数据包的预期到达时间是晚的，但对于需要重发迟到数据包来说并不太晚。

Images