CN103339912B - 用于多媒体流的视频包调度方法 - Google Patents

Abstract

一种用于多媒体流的视频包调度方法，所述多媒体流经由包括接入点（11）和代理（3）的传输链去往设有视频解码器（72）的接收器（7），所述代理（3）设有后编码器缓冲器（31）和控制器（32），所述接入点（11）设有低层的缓冲器（4），所述方法包括控制所述接入点（11）中的所述缓冲器（4）的状态和所述代理（3）中的所述后编码器缓冲器（31）的状态的最优化问题的求解步骤。

Description

用于多媒体流的视频包调度方法

技术领域

本发明总体涉及通过有线和无线网络的多媒体流的技术领域。

背景技术

多媒体应用（如手机电视、视频点播、IPTV、视频会议、数字视频广播（DVB）、音频/视频流、双向视频电话、实时游戏等）一直受到欢迎和认可，尤其是在移动用户中。这种发展主要是由于无线网络，所述无线网络延伸至现有的有线基础设施，为端用户提供移动式和便携式便利。因此，出于无条件采用多媒体应用的目的，高度重视服务质量（QoS）需求满意度。

然而，多媒体数据传输尤其受到严重限制欲提供给端用户的QoS的多重制约。与其他类型的应用相比较，这些制约主要与有关多媒体应用的特定性质的几个关键需求（这几个关键需求需被满足以提供可靠和高效的传输）相关：

-容易适应与对于高数据传输率（带宽消耗应用）的需求有关的带宽变化；

-与多媒体应用对包（packet）延迟（时延和抖动）的敏感性和/或对丢包（packet-loss）的容忍（丢包容忍应用）有关的对于数据丢失的鲁棒性。

此外，除了由于用户数量增加引起的带宽不足之外，到无线接收器的多媒体传送还尤其具有挑战性的是：

-无线信道随时间变化的特性（如错误率和带宽）；以及

-一些多媒体应用（尤其是诸如视频会议、双向视频电话或移动电视的实时多媒体应用）的传送延迟约束。

为了解决这些问题，已经提出基于反馈机制（即从接收器到源的反馈机制）的实施的各种差错控制策略。该反馈机制负责将与路径特性和（在接收器处估计的）接收器行为有关的信息传送到发送器（即源）。为此，接收器向源发送信道质量测量（例如可用带宽、流路径的状态、丢失率）。实现此特征的常用技术是例如使用：

-像RTCP消息这样的应用反馈（即源自应用层的应用反馈）；或者

-媒体访问（MAC）层前向错误校正。

然后，源利用所报告的网络信息来优化多媒体流的传输（在可扩展流的情况中的速率自适应、编码转换、丢包、丢帧或丢层），例如在应用层的基于RTCP的流量编码调整。

在最近的参考书目中会发现利用这些反馈的跨层方法的不同建议。这些方法的目的是通过使层的行为适应所报告的不断变化的反馈来共同地或分别地调整和优化层性能。

但是，另一方面，人们可以提及的是

-如在RFC中所述，应用反馈占据最初计划分配给多媒体内容传输的带宽不可忽略的部分（5％）。因此，反馈消息与多媒体流进行竞争以共享已经稀缺的带宽；

-这些反馈不提供关于流路径状态的即时信息，而且通常以可变延迟被获得。例如，当考虑单播应用时，可以获得来自接收器的各种类型的反馈，例如，在应用层经由RTCP反馈来得到关于在应用层的缓冲器的级别的信息，或者在MAC层经由HARQACK/NACK（S.Sesia,I.Toufik,andM.Baker,LTE,TheUMTSLongTermEvolution:FromTheorytoPractice,chapter17,Feb.2009）来得到有关信道条件的信息。这里，主要问题是，利用这样的控制方案，反馈伴随延迟产生。该延迟可以是对于HARQACK/NACK消息而言的几十至几百毫秒到对于RTCP包而言的一秒或几秒的级别，这可能导致稳定性问题。显然，该延迟的存在独立于RTCP模式（例如即时反馈模式、早期RTCP模式或定期RTCP模式）。

进一步的问题是关于在多媒体应用的移动接收器与源之间的反馈管理的复杂性。

本发明的一个目的是，在不使用来自接收器的反馈消息的情况下，提高在多媒体应用中的端用户的QoS。

本发明的另一个目的是，利用来自MAC层的反馈来确保多媒体流的可靠传输。

本发明的另一个目的是摆脱应用反馈（例如RTCP）。

本发明的另一个目的是，在没有应用反馈的情况下，估计随时间变化的信道的信道条件。

本发明的另一个目的是，有效使用为在有线和无线网络上传输实时多媒体应用分配的带宽。

本发明的另一个目的是，使得能够在不使用应用反馈的情况下得到所期望的QoS度量。

本发明的另一个目的是，在不使用应用反馈的情况下，提供信道自适应源编码和差错控制方案。

本发明的另一个目的是，提供应付带宽变化和数据损失的信道自适应源编码和差错控制方案。

本发明的另一个目的是，为在各种信道条件的多媒体应用提供改善的QoS。

本发明的另一个目的是，在不使用应用反馈的情况下，控制数据编码率。

本发明的另一个目的是，提供能够改善无线网络上的实时多媒体应用的QoS的机制。

本发明的另一个目的是，提供一种针对在有线和/或无线网络上传输多媒体数据期间减少延迟和丢包率的方法。

发明内容

本发明针对消除一个或多个以上所阐述问题的影响。下面介绍本发明的简要概括，以提供对本发明的一些方面的基本理解。该概括不是本发明的详尽概述。其目的不是确定本发明的决定性因素的关键或者描述本发明的范围。其唯一目的是以简化形式呈现一些概念作为在后面讨论的更详细描述的前序。

本发明涉及一种用于多媒体流的视频包调度方法，所述多媒体流经由包括接入点（11）和代理（3）的传输链去往设有视频解码器的接收器，所述代理设有后编码器缓冲器（post-encoderbuffer）和控制器，所述接入点设有低层的缓冲器，所述方法包括控制所述接入点中的缓冲器的状态和所述代理中的后编码器缓冲器的状态的最优化问题的求解步骤。

根据一个主要方面，在控制器中没有为视频包调度考虑从接收器传送的反馈信息。

根据另一个主要方面，在离散时间马尔科夫决策过程的框架中制定所述最优化问题。

本发明还涉及一种用于从后编码器缓冲器到接入点的低层缓冲器调度视频包的控制器，所述视频包流向设有视频解码器的接收器，对所述控制器进行编程以求解控制所述接入点中的所述缓冲器的状态和所述代理服务器中的所述后编码器缓冲器（31）的状态的最优化问题。

本发明还涉及一种计算机程序产品，所述计算机程序产品适合于执行上述方法。

虽然本发明允许各种变型和替代形式，但其具体实施例已通过示例方式在附图中示出。然而，应当理解，本文中的具体实施例的描述的目的不是将本发明限制为所公开的特定形式。

当然也可以理解，在任何这种实际实施例的开发中，应作出针对实现的决定以实现开发人员的具体目标，例如符合与系统有关的和与业务有关的约束。将会理解，这种开发努力可能是耗时的，但对于受益于本公开的本领域的普通技术人员来说仍是常规的。

附图说明

根据以下公开和权利要求，本发明的目的、优点和其它特征会变得更加明显。通过参照附图，仅出于示例的目的给出以下的优选实施例的非限制性描述，在附图中

图1是示出功能性实施例的框图；以及

图2示出说明性的仿真结果。

具体实施方式

图1示出到与无线网络12连接的移动（或无线）站7的视频序列1的流。

视频序列1可以来自不同的源，例如存储设备（诸如数据库、多媒体服务器、视频服务器）或实时摄像头（livecamerafeed）。

移动站7是任何能够接收和播放多媒体流的用户装置。智能电话、平板计算机、计算机、个人数字助理（PDA）、便携式计算机是这样的移动站7的非限制性示例。

无线网络12可以是无线IP网络、无线个人区域网络、无线局域网络、无线城域网络、无线广域网络，或者更一般的说是可以由超过一个的无线网络的组合产生的任何移动设备网络。

更一般的说，视频序列1经由有线网络10被路由到移动站7，有线网络10包括：

-流服务器2，流服务器2设有可扩展的视频编码器21（例如精细度可扩展（FSG）编码或高级视频编码AVC）;

-代理3，代理3通常位于有线网络10的边缘;以及

-通常与代理3位于同处的接入点11（即基站，其可以取决于所实施的通信技术而进行不同的指定，例如用于3G的NodeB或用于LTE的eNode-B）。

在流服务器2内，视频序列1被分段为帧，所述帧被编码成：

-在H264SVC的情况中的基本层和一组L-1增强层;和

-在H264AVC的情况中的帧内和帧间。

本领域的技术人员会容易地认识到，在H264AVC的情况中，存在两种帧间（通常表示为P的预测帧和通常表示为B的Bi预测帧），L的数目等于2。另外，H264AVC可以被看作是H264SVC的特定情况，其中使用的可扩展性是时域可扩展性。相应地，在下面出于概括性的原因，使用符号L和术语H264SVC。

在H.264SVC可扩展性方案的情况中，接入单元（AU）是构成基本层和其对应的增强层的基本处理单元、宏模块、分片或帧。

编码参数（量化步长和帧速率等）由流服务器2控制，其独立于传输链的其余部分。每个编码帧的每个可扩展层被分包（例如，被分包成RTP、UDP或IP包），然后经由过量供应的核心网络10传递到位于代理3中的L个后编码器缓冲器31（每层一个）。控制器32在代理3内执行层过滤：对于每一层，包可以被发送、保持或丢弃。

被发送的包在被分段为分组数据单元（PDU）之后被馈送到接入点11中的MAC缓冲器4（或更一般的说被馈送到低层的缓冲器4）。PDU然后被传输到移动站7，移动站7在其自身的MAC缓冲器71中存储被正确接收的PDU。一旦所有相应的PDU被接收，就在移动站7的应用层处的L个缓冲器71中的一个中进行包解封和缓冲。然后，由移动站7的视频解码器72处理完整的或不完整的AU。过期的包在不被解码的情况下被丢弃。

在接入点11的部件中，特别注意其MAC（或低层）缓冲器4。然后应该清楚，假定该接入点11的其余部件（例如MAC调度器5、物理层、无线电前端）是属于信道13的。该信道13还包括无线信道6、移动站7的物理层以及移动站7的MAC缓冲器71（即，管理ACK/NACK过程的MAC层）。

接入点11的MAC缓冲器4将其缓冲器状态作为反馈（图1的链路34）发送到代理3的控制器32。

仅基于从接入点11的MAC缓冲器4报告的反馈，由代理3的控制器32操作的可扩展层过滤过程通过以下方式设计：

-避免MAC缓冲器4的溢出，以防止PDU被丢弃;

-还避免MAC缓冲器4的下溢，以通过最佳和高效的方式利用信道;

-避免后编码器缓冲器31的溢出，以限制由系统引入的延迟;

-还避免后编码器缓冲器31的下溢，尤其是在基本层避免后编码器缓冲器31的下溢，因为这表明与其他层相比赋予基本层太多的重要性。

相应地，在没有对信道13状态的额外观察的任何情况下，控制器32必须仅利用在MAC缓冲器4上进行的观察执行可扩展层过滤（注意，一些可扩展层可能会被丢弃）。作为选择或以结合方式，代替MAC缓冲器4，可以采用其他观察点，如RLC缓冲器或PDPC缓冲器。

换句话说，通过仅观察在无线信道12之前的路径中的最后的缓冲器（即MAC缓冲器4）的充溢度的演变，代理3的控制器32有可能决定传输哪个包/层。也就是说，控制器3在没有从无线站7到代理3的RTCP反馈消息的情况下执行视频包调度算法。仅可以采用由ACK/NACK提供的反馈来获得信道的状态（图1的链路57）。

上述这些项通过在离散时间马尔科夫决策过程（MDP）的框架内用制定的最优化问题的求解来实现。

这样，高效的层过滤过程的设计在离散时间MDP的框架中被转换（R.SSuttonandA.GBarto,ReinforcementLearning:AnIntroduction,MITPress,1998）。事实上，4元组(S,A,P,R)的MDP被定义，其中

-S是系统状态集合;

-A是动作集合;

-P(s,s′,a)是当将动作a(A应用到系统时，从在时间t的s(S到在时间t+1的s′(S的转移概率;和

-R(s,s′,a)表示在通过利用动作a获得的从s到s′的转换之后接收到的即时回报（或预期的即时回报）。

然后找到使即时回报（短期策略）或未来回报的折扣和（长期策略（foresightedpolicy））最大的某一策略((s)(A,s(S。

受控系统的状态包括收集

-后编码器缓冲器31的级别

-对应于在基站11中的MAC缓冲器4的级别的s_m;以及

-表示信道状态的h。

因此，系统的状态是

信道由具有n个状态的一阶马尔科夫过程利用已知的转移概率p(h_t+1|h_t)和固定概率p(h_t).建模。h_t例如能够表示在所考虑的时间间隙期间的可获得率。考虑以下两个与信道状态的获知有关的假设：

-假设1：瞬时信道状态，其中假设当选择在时间t和t+1之间应用动作时ht是可获得的；这只有当反馈具有非常短的延迟为可能时才可实现；

-假设2：未知信道状态，所述未知信道状态是不考虑信道状态反馈的情形。

关于动作a，代理3可以在时间t针对每个层l发送、保持或丢弃包。在时间t和t+1之间针对l^th层采取的动作a₁(l,t)(A表示从后编码器缓冲器31到MAC缓冲器4传递的包的数量（当a_l,t＞0时），或者被丢弃的包的数量（当a_l,t＜0时）。如果a_l,t=0，包被保持在后编码器缓冲器31中。聚集所有动作的矢量为a=(a1,…,aL)(AL。

一旦所有的状态S和动作A已经被确认，就必须确定转移概率矩阵P(s,s′,a)。为此，对两种情况区分如下：

-情况1（假设1）：当在时间t在状态s中应用动作a时，信道状态h_t对于控制器32来说是可获得的。则状态转移矩阵为

$P1(s_t,s_{t+1},a_t)=\mathrm{Pr}(s_{t+1}^B,s^m,h_{t+1}|{s_t^B,s}^m,h_t{a}_t)---\left(1\right)$

它可以利用p(h_t+1|h_t)已知的事实被容易地估计。是所有后编码器缓冲器31状态的矢量，a_t是所有动作的矢量。

-情况2（假设1）：对控制器32来说没有任何信道状态ht是可获得的。则状态转移矩阵可以写成

这是由于（所有后编码器缓冲器31的矢量）、或a_t（所有动作的矢量）不提供关于h_t的额外信息。

为限制这些转移矩阵P1(s_t,s_t+1,a_t)的大小，能够以或多或少粗略的方式来对可以由状态S采用的值进行量化以获得在复杂性和描述准确性之间的折衷。

关于在在时间t的回报函数R(s,s′,a)，由控制器31执行的层过滤过程（即，调度算法）选择使在接收器侧（即，在移动站7处）的QoS（尤其是视频质量）最大的动作。为此，使解码帧的平均峰值信噪比（PSNR）最大。

为了避免在对AU进行过滤的时间和在对其进行显示的时间之间的延迟的变化，建立惩罚丢包以及根据系统约束的缓冲器溢出和下溢的回报函数R(s,s′,a)，，根据系统的约束，建立。该回报函数表示如下：

$R_t(s_t,s_{t+1},a_t)=E[\underset{l=1}{\overset{L}{\mathrm{\Σ}}}{\mathrm{\γ}}_l{a}_{l,t}+\underset{l=1}{\overset{L}{\mathrm{\Σ}}}{\mathrm{\α}}_l{\mathrm{\ρ}}_1(S_{l,t+1}^B,a_{l,t})+\mathrm{\β}{\mathrm{\ρ}}_2(S_{t+1}^m,a_{l,t})]---\left(3\right)$

其中，E[.]表示期望函数。

随着l=1...L，正参数γ_l,α_l和β_l权衡各种约束的重要性。回报函数（3）涉及几个部分：第一部分与传输的SNR层的数量关联，其他部分与后编码器缓冲器31和MAC缓冲器4约束关联。回报函数（3）是后编码器缓冲器31的状态和MAC缓冲器4的状态的函数。

假设增加传输包的数量提高接收的质量，则传输回报应有助于使传输包的数量最大化。

与属于增强层的包相比较，参数γ_l允许给予属于基本层的包更高的优先级。对于后编码器缓冲器31和MAC缓冲器4约束，ρ1(.)和ρ2(.)为令人满意的缓冲器状态提供正值回报，为应被避免的状态提供负值回报。

作为从联合状态到联合动作的映射，在所考虑的系统中的策略π表示要传输的可扩展层的数量，从而知道后编码器缓冲器31和MAC缓冲器4的状态。

最优长期策略在于寻找对应于最优状态值函数的最优平稳马尔科夫策略π^-，所述最优状态值函数定义为

其中0＜α＜1是折扣因子，其定义现在回报和未来回报的相对重要性。最优长期策略可以通过值或策略迭代算法获得（R.SSuttonandA.GBarto,ReinforcementLearning:AnIntroduction,MITPress,1998）。为所有状态s更新和迭代（4）中的值，直到其以左侧等于右侧而收敛（其为针对此问题的贝尔曼（Bellman）方程）。当α=0时得到短期策略，仅使即时回报最大。

相应地，所提出的算法仅在通信链路的发送器侧控制在应用层（图1中的链路57）处和在MAC（图1的链路34）处的缓冲器4的级。隐含使用在MAC层处的反馈，但不考虑来自移动用户（即在应用层）的应用反馈，从而避免使用延迟的测量。

所提出的算法根据跨层控制机制在发送器侧的应用层和MAC层处进行包调度和联合缓冲器管理。

控制器32获取与MAC缓冲器4有关的信息，求解上述MDP最优化问题，然后得出用于物理层和应用层的更新的运行参数。

最佳参数的使用允许

-使传输视频内容1的层的数量最大;

-避免MAC缓冲器4的下溢和溢出状态;

-避免在后编码器缓冲器71中的下溢和溢出状态；

-考虑在帧分包级别处缓冲器的充溢度，从而

-实现可靠的通信，并最使在移动站7侧的QoS最大。

相应地，所提出的方法允许

-增加在无线网络中的上行链路信道的频谱效率（无应用反馈）;

-以盲目的方式过滤包，不需要具有应用反馈；

-提高端用户的服务质量;

-通过使基本层/包优先来保持对端用户的特定再现裕度。

所提出的方法是用于AVC或SVC视频流的调度算法，以具有质量感知的自适应性和选择性的帧/包传输。

已经对几个视频序列评价了所提出的层过滤过程的性能。

图2示出了在通过控制器32和不通过控制器32进行自适应的情况下对于仿真的对时间的峰值信噪比（PSNR）性能。然后根据PSNR测量视频质量，从而估计自适应增益方面流的性能。

作为对利用所公开的方法的可获得的增益的说明，图2报告对于以每秒30帧的视频序列“Foreman.Qcif”所获得的结果。H.264SVC编码器使用每帧L=3的SNR可扩展层。

图2绘制五条曲线。从图2的底部到顶部，这些曲线分别表示没有信道状态的PSNR（短期控制）、没有信道状态的PSNR（长期控制）、具有信道状态的PSNR（短期控制）、具有信道状态的PSNR（长期控制）和具有无限带宽的PSNR随时间（帧索引）的演进（以dB为单位）。

在这个说明性的示例中使用的设置是：

-累计的平均速率（以及用于亮度的PSNR）为

$74.7\frac{\mathrm{kbits}}{s}\left(32.3\mathrm{dB}\right)$ 对于层1；

$165.0\frac{\mathrm{kbits}}{s}\left(34.7\mathrm{dB}\right)$ 对于层1和层2；并且

$327.0\frac{\mathrm{kbits}}{s}\left(36.82\mathrm{dB}\right)$ 对于所有层。

-无线信道被建模为2状态的马尔科夫模型（n=2）：良好状态h_t=1，不良状态h_t=0。信道速率为信道状态转移概率为p11=0.9以及p00=0.8，从而导致的平均信道速率。在每个时间片刻考虑每层四个可能的动作A={-1,0,1,2}。

-为使复杂性最小，所有缓冲器的级被量化成三个可能的值：1表示下溢，2表示满意的级，3表示溢出;

-后编码器缓冲器31假定具有最大的大小（依据包的数量）Se=55；溢出级和下溢级为Se_max=50和Se_min=10。对于MAC缓冲器4，最大大小为Sm=220的每比特具有相同大小的200bitsPDU对应于44kbits的最大大小，在此认为下溢的级别为Sm_min=10Kbits以及溢出的级别为Sm_max=25kbits；

-已在回报函数（方程3）中设置用于反映各种约束的重要性的参数值：γ_1,2,3={150,60,15,}、λ_1,2,3={100,40,10}和β=300。

已经考虑已知的平均的源和编码器特性，从而使得每层中的平均包长度为已知。

在上面考虑的两个情况中，图2表示利用短期策略（α=0）得到的解码序列的PSNR的演变和利用长期策略（α=0.9）得到的解码序列的PSNR的演变。

当使用应用反馈时，与利用短期策略获得1dB的平均增益相比，利用长期策略获得约1.5dB的平均增益。该增益主要由于第一增强层的更多包到达接收器。

在不使用应用反馈（本实施例的目标）的情况下，利用短期策略，约46％的时间，MAC缓冲器4处于某段时间超过最大缓冲器大小的溢出状态。该情况导致一些PDU损失，这引起接收到的视频质量的显著下降。利用长期策略，MAC缓冲器约25％的时间处于溢出状态，但从不损失PDU包。

与采用应用反馈策略的情况相比，无应用反馈和利用长期策略导致PSNR中0.5dB的损失。因而，MAC缓冲器4的该状态的可获得性提供信道状态的合理估计，从而允许令人满意地调节接收的视频质量。

因此，当引入所公开的方法时得到最大PSNR，在该示例中，尤其是对于第50个帧之后的帧。

值得一提的是，上述方法针对本领域技术人员已知的传统的编解码器，如H264AVC、H264/SVC及它们的任何进一步的版本或任何等同的编解码器。

上述方法很适合于信道频繁变化的无线网络上的多媒体流，尤其是在流量繁重的条件下，其使得丢包率显著减少。

其他的QoS特征（例如IntServ/DiffServ）和拥塞控制机制，尤其是为在有线网络中的多媒体数据传输设计的其他的QoS特征和拥塞控制机制，可结合本文所述的方法。

Claims (5)

1.一种用于多媒体流的视频包调度方法，所述多媒体流经由包括接入点(11)和代理(3)的传输链去往设有视频解码器(72)的接收器(7)，所述代理(3)设有后编码器缓冲器(31)和控制器(32)，所述接入点(11)设有低层的缓冲器(4)，所述方法包括：在离散时间马尔科夫决策过程的框架中制定最优化问题的求解步骤，其中马尔科夫决策过程的回报函数仅是所述接入点(11)中的所述缓冲器(4)的状态和所述代理(3)中的所述后编码器缓冲器(31)的状态的函数。

2.根据权利要求1所述的方法，其中，所述马尔科夫决策过程的回报函数如下：

R_t(s_t，s_t+1，a_t)是在从马尔科夫决策过程的状态s_t到通过利用动作a_t获得的状态s_t+1的转换之后接收到的时间t处的回报；

E[.]表示期望函数，正参数γ₁，α₁和β₁随权衡与接入点(11)中的缓冲器(4)和代理(3)中的后编码器缓冲器(31)有关的各种约束的重要性；ρ1(.)和ρ2(.)为令人满意的缓冲器状态提供正值回报以及为要被避免的状态提供负值回报；表示编码器缓冲器(31)针对层的级别；表示缓冲器(4)的级别，并且a_l，t表示在时间t和t+1之间针对层l采取的动作。

3.一种用于代理(3)的控制器(32)，其中所述控制器(32)用于从所述代理(3)后编码器缓冲器(31)到接入点(11)中的低层的缓冲器(4)的视频包调度，所述视频包流向设有视频解码器(72)的接收器(7)，对所述控制器进行编程用于对在离散时间马尔科夫决策过程的框架中制定最优化问题进行求解，其中马尔科夫决策过程的回报函数仅是所述接入点(11)中的所述缓冲器(4)的状态和所述代理(3)中的所述后编码器缓冲器(31)的状态的函数。

4.根据权利要求3所述的控制器，其中，所述马尔科夫决策过程的回报函数如下：

R_t(s_t，s_t+1，a_t)是在从马尔科夫决策过程的状态s_t到通过利用动作a_t获得的状态s_t+1的转换之后接收到的时间t处的回报；

E[.]表示期望函数，正参数γ₁，α₁和β₁随权衡与接入点(11)中的缓冲器(4)和代理(3)中的后编码器缓冲器(31)有关的各种约束的重要性；ρ1(.)和ρ2(.)为令人满意的缓冲器状态提供正值回报以及为要被避免的状态提供负值回报；表示编码器缓冲器(31)针对层的级别；表示缓冲器(4)的级别，并且a_l，t表示在时间t和t+1之间针对层l采取的动作。

5.一种用于多媒体流的视频包调度设备，所述多媒体流经由包括接入点(11)和代理(3)的传输链去往设有视频解码器(72)的接收器(7)，所述代理(3)设有后编码器缓冲器(31)和控制器(32)，所述接入点(11)设有低层的缓冲器(4)，所述设备包括：用于在离散时间马尔科夫决策过程的框架中制定最优化问题的求解装置，其中马尔科夫决策过程的回报函数仅是所述接入点(11)中的所述缓冲器(4)的状态和所述代理(3)中的所述后编码器缓冲器(31)的状态的函数。