CN102461091B - 用于拥塞控制的方法和装置 - Google Patents

Abstract

提供一种用于在网络节点中控制业务拥塞的方法，其中业务根据层(L)数进行分类，包括以下步骤：监测传入该节点的流的总量(n(t))，基于传入流的所述总量(n(t))和接受层的当前数量(1(t))，通过咨询动作表(T)来确定进入所述节点的接受层的下一数量(l(t+1))。在增强的实施方式中，在观测期中根据观测的业务调整动作表。

Description

用于拥塞控制的方法和装置

技术领域

本发明涉及用于拥塞控制的方法和装置。

背景技术

对于点播(on-demand)流服务，拥塞控制通常通过资源接纳控制来执行。这样的系统，或者通过监测其特征假设已知的正在进行的流的数量，或者通过直接监测流聚集的(瞬时)比特率，检测其特征假设已知的新流是否仍然适合所有的链路，其中所述流将穿过这些链路。如果该检测给出肯定的回答，则接收该流，否则拒绝该流。或者在应用层通过不建立会话，或者即使在已经建立会话时通过网络边缘的策略强制服务器(enforcer)来实施该决策(decision)，其中网络阻塞源自被拒绝流的业务。在这样的架构中，用户或者获得完整质量的视频，或者被拒绝提供服务。

拥塞控制的一个可替换的方式是通过可伸缩的编解码器。其中将每个多媒体流在重要性降低的层中进行编码。

相比于依靠资源接纳控制(ResourceAdmissionControl)，基于可伸缩编解码器的方法从不拒绝用户访问服务，但是质量有时低于他/她所要求的质量。

所有这些已知方法的缺陷是不能绝对保证更重要的分组不会被丢失或丢弃。

为了克服这些缺陷，根据本发明的方法包括以下步骤：监测到所述节点的传入(incoming)流的量，使得基于所述传入流的量和当前接受层数，通过参考动作表(actiontable)以确定进入所述节点的下一接受层数。

这样，通过让接受层数基于之前的数量、基于传入流的数量和基于动作表，可获得更精确的拥塞控制方法，并同时确保可保留更重要的分组。

在增强的实施方式中，基于朝向所述节点的观测业务(observedtraffic)来动态调整该动作表。

该实施方式具有这样的优势：即决策会反映业务状态、允许可允许的层进行更精确的确定，甚至更会提高质量。

基于在观测周期内观测的业务以常规间隔动态地调整动作表，并由此使用马尔可夫决策过程(MarkovDecisionProcess)来确定最佳动作表，甚至可获得更好的质量。

动作表可以由网络拥塞控制器进行集中计算，并进一步与所述节点进行通信，或可以存储在所述节点自己的本地。

动作表可以在节点内进行本地更新，或通过网络拥塞控制器进行集中更新。

在动作表在节点内更新的情况下，可以执行通过参考所述动作表确定的作为结果的动作在实现所述方法的不同节点之间的通信，从而，在出现冲突的动作时，在所述节点中执行进一步启发式(heuristic)的控制以修改每一节点的下一可接受层数。按这种方式，可以解决在相邻节点之间出现的潜在冲突情况。

本发明还涉及用于实现本方法的拥塞控制设备，以及涉及用于将动作表和它们的更新通信给拥塞控制设备的某些实施方式的网络拥塞控制器。

需要注意的是，在权利要求中使用的术语“耦合”，不应被解释为限制到仅仅是直接连接的情况。因此，表述“设备A与设备B耦合”的范围不应被限制为设备A的输出与设备B的输入直接连接的设备或系统。其意味者，在A的输出和B的输入之间存在路径，其中该路径可以是包括其它设备或装置的路径。

需要注意的是，在权利要求中使用的术语“包括”，不应被解释为限制为此后列举的装置。因此，表述“设备包括装置A和B”的范围不应被限制为设备仅包括元件A和B。其意味着对于本发明，仅设备的相关元件是A和B。

附图说明

通过参考下列对实施方式的描述并结合附图，本发明的上述和其它目标和特征会变得更明显，并会更好地理解本发明自身。

图1示出了用于实现本方法的实施方式的高级(high-level)架构；

图2示出了用于实现本方法的另一实施方式的另一高级架构；

图3示出了可扩展层的原理；

图4示出了在节点实现的实施方式中的拥塞控制设备的示意性实施方式；

图5a和图5b示出了在拥塞控制设备的一些实施方式中使用的决策表；

图6示出了用于实现本方法的实施方式的第一流程图；

图7示出了用于实现增强方法的步骤的流程图；

图8示出了表示本方法的这种增强实施方式的效果的时序图；

图9示出了拥塞控制设备的增强版本的示意性实施方式；

图10示出了用于实现本方法的不同实施方式的另一高级架构；以及

图11示出了用于实现本方法另一实施方式的另一高级架构；

具体实施方式

说明书和附图仅说明了本发明的原理。因此可以了解的是，尽管这里没有明确进行介绍或说明，但是本领域技术人员能够设计实施本发明原理并且包括在本发明的精神和范围内的各种解决方式。此外，这里引用的所有实施例主要意在明确用于教学目的，以帮助读者理解发明人对更多现有技术进行贡献的本发明的原理和概念，并且应被解释为不局限于这里特别引用的实施例和条件。此外，这里引用本发明的原理、方面和实施方式的所有声明、以及其特定实施例，意在包括本发明的等价物。

本领域技术人员应当理解的是，任何框图在这里表示实施本发明原理的说明性电路的概念视图。相似地，可以理解的是，任何流程图、作业图、状态转移图、伪代码等表示各种过程，其中所述过程可以实质上在计算机可读介质中表示，并由计算机或处理器来执行，无论是否明确示出这样的计算机或处理器。

本方法的实施方式提出一种新型的通过可扩展(scalable)编解码器的拥塞控制，将其称为基于堵塞(choing-based)的拥塞控制。该方法可用于多个网络中，例如在图1中示意性描述的一个网络。在下文中本发明的实施方式可被解释为例如在DSL接入网络中使用，但是本发明的其他实施方式在所有其它网络类型中也是可行的，无论是固定的还是移动的。

在图1中，多媒体服务器MM通过诸如服务聚合体(aggregator)的中间节点IM与至少一个接入点耦合。在图1中，仅描述了它们中的3个，表示为AN1至AN3。在真实网络中，接入节点的数量可以容易地在10至100的范围内。概括地说，这些接入节点中的每一个可以与表示为U1至Un的个别用户相耦合，一个接入节点典型地服务于100至1000个用户。

根据本发明的实施方式，至少一个节点包括拥塞控制设备。在图1中，将实施方式描述为所有的节点均配备有这样的拥塞控制设备，其中将各个接入节点AN1至AN3中的拥塞控制设备表示为CCAN1至CCAN3，并且CCIM用于表示包括在中间节点IM中的拥塞控制设备。仅在一个节点中包括拥塞控制设备的其他实施方式也是可行的，并不考虑该节点是接入节点或中间节点。在图2中描述了这样的实施方式，其中仅有中间节点包括根据本发明的拥塞控制设备，并且将在下面的段落中进行更为详细的描述。

根据本发明的拥塞控制设备的大部分实施方式，假设多媒体流以可扩展的方式进行编码。可扩展视频编码是标准化的，例如在ITU-T推荐的H.264“用于通用视听服务的高级视频编码”的附录G中，并暗示由基础层和至少一个增强层来构成编码的视频流。许多标准的编解码器，例如MPEG2和MPEG4，具有可扩展的延伸，但是也可以使用其他专有的方案。在基于分组的传输中，与每个层相关联的比特流以基于每个分组报头中标识符的这种方式进行分组，其知道其属于哪一层。一个实施例可以是IP报头中可用于此目的的DiffServ代码点(DSCP)或服务类型(TOS)字节，从而识别分组属于哪一层。然而也可以使用其他类型报头的其它标识符。

当在用户前提下解码器仅接收基础层时，可以按基本质量对视频进行解码。解码器接收的层越多，对解码的视频的质量就越好。如图3所示，在层中具有确定特定层的重要性的顺序：层0是基础层，是最重要的层，而具有最大数的层，在这里是L，是最不重要的层。对于任意层l，存在这样的规则：该层l是无用的，除非接收到所有的层0至层l-1。

根据本发明，拥塞控制设备的大部分实施方式还依赖于由个别节点中的调度器来执行的调度技术，其中调度器是节点的一部分。在图4中，将节点IM描述为包括表示为S的调度器。该调度器不会区别不同流的分组，但是会基于识别该层的标识符来区分与不同层相关联的分组。这样的调度技术会意味着节点包括输入缓存，在图4中用B表示，但是这不是必须的。该节点进一步包括拥塞控制设备CCIM的实施方式，其中它自己包括适于按诸如每秒的预定时隙进行确定和/或调整的控制器C，直到调度器适于在L+1个层中的层l允许传入分组通过缓冲区B进入节点。如果到达并且允许包括层l，这意味着在下一个时隙具有表示[0，l]范围中层的标识符的所有分组会被接受，而传入分组中的其余部分将被拒绝。当使用标准的SVC编码时，多个节点已经包括调度机制，但是基于例如流的目的地来作出接受或拒绝分组的决策。然而，该机制不能解决拥塞问题。在其它现有的机制中，其它缺陷还涉及以下事实：具有较大层数的不重要的层可能占用一些缓冲区空间，以损害较低层的缓冲区空间为代价。此外，在这些其它机制中，可允许的层数会随着时间快速波动，导致不好的用户体验。其它缺陷是这样现有技术系统会发生振荡。

根据本发明，拥塞控制设备的一个实施方式因此可包括控制器，其中控制器可用于基于l(t)的当前值、基于传入到节点的流的当前数量n(t)和基于决策表T，在预定的时刻t确定用于下一特定时刻t+1的值l(t+1)。该控制器从而能够确定在下一时隙t+1中支持哪个层l。在图4中，控制器C适于在时刻t从监测设备M接收输入到节点的流F1至Fn的数量n(t)，并进一步查阅表示为T的决策表，从而能够确定l(t+1)。将该值提供给调度器S，调度器因此基于它们的层标识符对传入分组进行过滤，从而在时刻t+1仅允许直到层l(t+1)的分组通过并且缓存。

在图4中，该决策表被表示为T。这样决策表的实施例如图5a和图5b所示。在图5a中，决策表具有入口变量(entryvariable)：最大层数l(t)、到该节点的传入流的全部数量n(t)。其最后一列示出了根据这些入口的相关动作，该动作用“0”、“-”或“+”来表示。用“0”表示的动作意味着在下一时隙t+1，会允许相同数量的层(从0至l并且包括l)进入缓冲区。用“-”表示的动作意味着在下一时隙t+1，会允许较少的一个层进入缓冲区，导致将允许具有在0和l-1之间并包括0和l-1的层标识符的所有分组。用“+”表示的动作意味着在下一时隙t+1，例如，会允许更多的一个层进入缓冲区，导致允许具有在层0和层l+1之间并包括层0和层l+1的层标识符的所有分组。从而当读取表5a中的第一行时，这意味着，如果在当前的时隙允许6个层进入缓冲区，而在该时隙中170个输入流进入节点，只要在下一时隙涉及的允许进入缓冲区的层的数量不用改变，从而该数量保持为6。该表中第二行示出了如果在当前时隙允许6个层进入缓冲区，而在该时隙中有180个输入流进入节点，可以在下一时隙进入存储器的缓冲区的层的数量需要减小，例如相对于当前值减1，对应于在下一时隙中允许5个层。该表中第三行示出了如果当前允许7个层进入缓冲区并且节点当前接收130个输入流，那么在下一时刻将允许8个层进入缓冲区。

不同于增加1或减少1，这些动作“+”或“-”还意味着在其它实施方式中，例如可以允许减少或增加2个或3个层。

表的另一实施例如图5b所示。不同于输入流的绝对数量，将流的数量n(t)分组到箱(bin)中。在该表中，头三行表示如果在当前的时隙中允许l(t)＝6个层进入缓冲区，

1)如果流的数量在140和170之间并且包括边界，则不进行任何动作，在下一时隙保持允许层的数量为6，例如l(t+1)＝6(对应于表中显示的第二行)；

2)在下一时隙如果具有多于170个流，则该动作是减少接受层的数量，例如从6减少到5(对应于表中显示的第三行)；以及

3)如果具有小于140个流，该动作是增加接受层的数量，例如从6增加到7(对应于表中显示的第一行)。

可以对之前的表5a进行相似的考虑：从而“+”动作可以表示增加可以大于或等于1的预定数量，而“-”动作可表示减少大于或等于1的数量，其可以与增加的预定数量相同，但是也可以不同。

图5a类型的表列举的所有可能的状态，从而包括多个行，表示层数量和流数量的所有可能的组合。更具体地，如果没有对节点当前支持的流的数量n(t)进行分类(bin)，行的数量等于层的最大数量乘以流的最大数量，例如，10×1000＝10000。分类允许表更短，例如，在表5b中描述的实施例中，每一层需要3个条目。

在一个简单的实施方式中，这样的决策表可以存储在节点或拥塞控制设备自身的本地。图4示出了一个实施方式，其中该表存储在拥塞控制设备CCIM中。该图进一步示意性地示出了来自所有流的具有直到层l的标识符的分组以因此被允许进入缓冲区的原理。如该图所示的，缓冲区自身不需要分成对应于不同层的几个子缓冲区；这样绘制仅仅是为了更好地说明来自所有流的分组可以通过，并基于它们的层数进行过滤的原理。

图6示出了用于实现所介绍方法的不同步骤的详细实施方式的流程图。该方法从监测当前时隙中传入流F1至Fn的数量开始。这可以通过监测设备M来执行，如图4所示。在下一步骤中，将传入流的这个数量以及当前最大允许的层l(t)用于确定表中合适的条目，其中该步骤还能从表中读取作为结果的动作。这些步骤可以在控制器C中执行。根据作为结果的“动作”值，修改l(t+1)的值，并将该值回送给调度器S，其中调度器适于通过所有传入分组来确定它们属于哪个层，并相应地在层数小于或等于l(t+1)的情况下将它们传递给缓冲区，或在层数大于l(t+1)时丢弃它们。如果该协议用于传输，例如可以在IP报头中发现分组的层标识符。基于它们报头中的标识符来分类分组的方法对本领域技术人员来说是公知的，并因此不进行进一步详细解释。

在更为复杂的实施方式中，拥塞控制设备适于定期更新该表，例如对于之前的实施例每20分钟进行更新，其中用于确定l(t)和l(t+1)时刻的顺序是按照秒的数量。该更新可以基于在观测周期中朝向网络节点的观测业务，但这不是必须的。为了更新该表，拥塞控制设备CCIM适于对被称为观测周期的特定时间周期上的业务进行建模，其中观测周期因此大于接受的更新层数的时隙。更精确地，其确定先验(priori)选择业务模型的一些参数。这样的模型可以是马尔可夫模型，但是如在下面段落中解释的那样，其也可以是其他的类型：

为了更新用于确定l(t+1)的决策表，方法例如可以包括下列过程：除了当前激活的决策动作表之外，还保持了多个预先选择或预先确定的可替换的决策表。这些表例如可通过在图5b类型的分类表中设置门限来获得以表示值的集合，其中可基于在每个层l仅需要2个门限的原则进行自我选择以完全地指定所述表，并且与层l+1相关联的门限大于与层i相关联的门限的表是不合乎逻辑的。从而通过记住这些规则，可以容易地选择有代表性的表的集合，并且将它们初始存储在IM或拥塞控制器中。对于这些可替换的决策表中的每一个，如果该可替换的动作表可使用，则通过观测周期计算会产生怎样的值函数(valuefunction)。这样的值函数例如由下面的公式(1)给出：

V[l(t)，n(t)]＝

R[l(t)，n(t)，a(l(t)，n(t))]+V[l(t+1)，n(t+1)](1)

其中V[l(t)，n(t)](和V[l(t+1)，n(t+1)])表示在时间t有l个接受的层和n个输入流时的值函数(分别为时刻t+1的将来的值函数)

R[l(t)，n(t)，a(l(t)，n(t))]表示瞬时回报函数(rewardfunction)

a(l(t)，n(t))表示在时间t具有l个允许层和n个输入流时采取的动作，如在决策表中所给出的。

瞬时回报函数的一个实施例由下列公式(2)给出：

R[l(t)，n(t)，a(l(t)，n(t))]＝

α·G(l(t))·n(t)-β·n(t)·max{(F-C)/F，0}-γ·n(t)·1_{{a(l(t)，n(t))≠0}}(2)

其中，α、β和γ为具有下列解释的正常数；α是运营商每个时间单元从每个支持的流获得的回报，β是运营商对于每个丢失的分组必须支付的处罚，以及γ是运营商对于每个质量改变必须支付的处罚。

α·G(l(t))是与时隙t内传输直到层l的流相关联的回报，例如，单个用户愿意支付以接收视频的价格，并且该质量对应于层l。

F是时隙t中的业务量。对于n(t)个流，F对应于n(t)·l(t)

以及

C是链路容量，也就是，每个时隙t能够传送的信息量。可替换地，可将C选择为稍微小于链路容量以更好地避免溢出。

在观测周期后，如果累积的最大值超过了与激活的决策表相关联的值，将已经累积最大值的可替换的决策表提升为激活的决策表。在这种情况下，将激活的决策表降为可替换的决策表中的一个。为了使该方法更有效，需要评估多个可替换的动作表。下面描述避免该问题的可替换的方法。

对于该可替换的方法，首先必须基于业务观测来创建转换矩阵。这样的转换矩阵可以包含表示流的数量从特定值(由该条目的矩阵行索引的)增加/减少至另一值(由该条目的矩阵列索引的)的可能性的条目。在这种情况下，因此基于当前时隙t和下一时隙t+1中流的绝对数量之间的观测差来构建转换矩阵TRM[n(t)，n(t+1)]。通过将该转换矩阵作为输入，用于确定l(t)的决策表可以基于例如马尔可夫决策过程理论(在下文中缩写为MDP理论)进行更新，在假设仅可以采用如在上述段落中提到那些的三个可能动作的情况下对值函数的平均值进行优化：

1)在下一时隙允许一个或多个额外的层，用动作“+”表示，

2)在下一时隙允许相同量的层，用于动作“0”表示，或

3)在下一时隙允许减少一个或多个层，用于动作“-”表示，

这与之前描述的决策表涉及的动作相对应。

通过这样的转换矩阵TRM[n(t)，n(t+1)]和指定的值函数描述的马尔可夫过程，MDP理论允许选择最佳动作表。值函数V(l(t)，n(t))可包括瞬时回报和自身根据转换矩阵和所采取的动作预期的未来值的总和，如下列公式(3)所示：

V[l(t)，n(t)]＝

R[l(t)，n(t)，a(l(t)，n(t))]+Σ_iTRM[n(t)，i]·V[l(t+1)，i](3)

其中V[l(t)，n(t)]表示当在时间t具有l个接受层和n个输入流时的值函数

R[l(t)，n(t)，a(l(t)，n(t))]表示瞬时回报函数

a(l(t)，n(t))表示当在时间t具有l个允许的层和n个输入流时所采用的动作，如在决策表中给出的

以及ΣiTRM[n(t)，i]·V[l(t+1)，i]表示与从状态(l(t)，n(t))移动到(l(t+1)，n(t+1))相关联的平均未来值，其中l(t+1)是由动作a(l(t)，n(t))和允许层l(t)的当前数量所确定的下一时隙中的允许层的数量。

事实上，l(t+1)＝l(t)+1_{{a(l，n)＝“+”}}-1_{{a(l，n)＝“-”}}，其中1_A是指示函数(indicatorfunction)，当陈述A为真时取值为1，否则取值为0。

瞬时回报函数R[l(t)，n(t)，a(l(t)，n(t))]的实施例可以由已给出的公式(2)给出。这样的回报函数的另一实施例可以由下列公式(4)给出：

R[l(t)，n(t)，a(l(t)，n(t))]＝

α·G(l(t))-β·max{(F-C)/F，0}-γ·1_{{a(l(t)，n(t))≠0}}(4)

其中，

α、β和γ为正常数

α·G(l(t))是与时隙t内传输直到层l的流相关联的奖励，例如，用户愿意支付以接收视频的价格，并且该质量对应于层l。

F是时隙t中的业务量。对于n个流，F对应于n·l

和

C是链路容量。

在公式(2)和(4)中，max{(F-C)/F，0}近似等于时隙t中丢失的分组，从而该第二项等于丢失分组的折扣(discount)。最后一项是与波动相关联的折扣(其中1_{{a(l，n)≠0}}是指示函数，如果a(l，n)＝“0”时其取值为1，否则取值为0)，其中波动阻碍了通常从时隙至时隙的最大支持层l的变化。

图7示意性地描述了该过程。在该实施方式中，第一个框示出了通过测量下一时隙中流的数量n(t+1)以及通过将其与之前测量的流的数量n(t)进行比较，如何逐步构建转换矩阵TRM。更具体地，在开始时TRM的所有条目均设置为0。对于每个时隙t，TRM矩阵在具有数量为n(t)的行和具有数量为n(t+1)的列的条目增加1，以免发现流的测量数量实质上从n(1)变回n(t+2)。因此，在整个观测周期之后，TRM矩阵中的每个条目通常包含输入流从当前时隙t的n(t)(n(t)是索引行的变量)被改变为下一时隙的n(t+1)(n(t+1)表示索引列的另一变量)的次数。

最后，对转换矩阵进行归一化(normalized)，从而列的所有条目乘以相同的数，导致每个行的条目总和等于1。这能够例如使用MDP理论的算法通过对值函数的迭代来获得最佳的决策表T。

该最佳决策表是使给定公式(2)的公式(1)最大化的决策表，如图7所解释的。一旦基于该MDP理论发现该最佳表，于是可以安装该最佳表以在下一循环中使用，同样如图7所示。

这种构建转换矩阵和确定最佳决策表的过程可以在每个观测周期T内完成，在优选实施方式中T＞＞时隙t。需要说明的是，观测业务的周期不需要等于T，而可以更长，例如2T，并可在处理过程中进行适应。在这样的情况下，观测周期和表适应周期可以不同，并且每个都可以在处理过程中进行适应。

基于该学习的模型，对于每个单独节点，这种增强控制器的实施方式适于例如使用马尔可夫决策过程(MDP)理论计算最佳的决策表。需要说明的是，尽管最佳决策表仅依赖于输入流的当前量n(t)，但采用的动作会考虑到业务可能的未来演化。例如，如果对于已经发生的所有可能事件将观测周期选择的足够长，并且对于已知的每日演进足够短，MDP理论允许预期最可能的未来演进。

该学习过程的效果如图8所示。该图示出了作为时间t的函数的输入流的量n的演进。该演进由粗黑线描述。在时刻0，该数量相当低，在下一时刻(1)，该数量已经增加，等等。该图还示出了在图5b中描述的用于l的一个特定值的(分类)决策表类型的门限。对于l的该特定值，其中l因此是在当前时隙t内允许进入缓冲区的最高层，根据表5b存在两个相关联的门限。根据该表，如果n(t)在最低门限以下，则动作是“+”，如果n(t)位于两个门限之间，则动作是“0”，并且如果n(t)超过最高门限，则动作是“-”。在图中仅示出了用于一个特定l的最高门限。该图解释了在表调整周期上观测业务(称为增量调整)之后，计算并装载新的决策表。参见图5b类型的决策表，这里简化为通过增加高门限的值来调整门限的值，如图8所示。由于很难发生业务总量超出该门限的情况，因此基于该观测，MDP算法的结果对于增加该门限是安全的。

在图9中示出了包括在一个节点中的这种更为复杂的拥塞控制设备CCIM’的更详细的实现。相对于图4，在该实施方式中，该中间节点包括额外的处理或其它设备，一个是表示为用于构建转换矩阵的TRM，以及另一个是表示为用于根据由公式(1)和(2)给出的回报函数确定产生最佳回报的决策表的、导致更新决策表T的MDP。当然，所有的方法步骤也可以在控制器C’内或一个处理设备内执行。

在这一点上，需要说明的是，在图中示出的各种元件(包括标记为“控制器”的任何功能块)的功能，可以通过使用专用硬件以及能够执行与合适的软件相关联的软件的硬件来提供。当由处理器提供时，该功能可由单个专用处理器、单个共享处理器、或多个单独处理器(其中一些可是共享的)来提供。此外，明确使用的术语“处理器”或“控制器”不应被排他地解释为涉及能够执行软件的硬件，并可隐含地包括，但不局限于，数字信号处理器(DSP)硬件、网络处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、用于存储软件的只读存储器(ROM)、随机访问存储器(RAM)和非易失性存储器。还可包括其它常规或定制的硬件。

除了之前描述的实施方式，其它实施方式是可能的，其中使用协调策略，以避免与相邻节点之间可能矛盾的决策，每个节点可执行所解释的方法。在基于树的具有本地决策表的网络架构中，用于这样的协调策略的最简单的示例可以基于主动的下降和小心的上升。更具体地，再次参见图1的网络，其可以包括强制下列策略：

1)强制来自AN的每个动作“-”，并忽略来自IM的动作“+”，例如，如果至少一个AN具有动作“-”，在IM中将动作“+”转换为“0”；

2)如果仅IM有动作“-”，并且所有AN具有动作“+”或“0”，在支持流的最大数量的AN上强制动作“-”；

3)如果没有AN需要动作“-”，并且仅一个AN需要动作“+”，仅在IM不需要动作“-”时允许这一点；

4)如果没有AN需要动作“-”，并且多于一个的AN需要动作“+”，仅允许一个AN执行动作“-”，例如，具有最小l和最大n的一个AN规定IM不需要动作“-”。

扩展至多个节点从而可以使与每个本地状态l_k(t)、n_k(t)相关联的每个节点包括本地决策表，其中k表示每个节点的索引，节点k中合适的动作，加上协调或联系中断(tie-breaker)策略。这涉及在节点之间的不同拥塞控制设备之间的一些通信，其中所述通信利用图10中个别拥塞控制设备之间虚线箭头表示。或者还可以实现全局协调策略。在这一点上，每个节点的决策表不仅依赖于本地信息，而且还依赖于全局信息：以及全局的中央实现的动作表可包括与(l₁(t)，n₁(t)，...，l_k(t)，n_k(t)，...，l_K(t)，n_K(t))的每个可能组合相关联的动作。在这种情况下，信息需要在将存储该全局动作表的中央或全局网络控制器和个别节点之间进行交换，从而它们中的每一个都具有它们自己的、不同的用于每个节点的动作表。将非本地的(l₁(t)，n₁(t)，...，l_k(t)，n_k(t)，...，l_K(t)，n_K(t))的全部信息从全局网络控制器通信给个别节点。

除了该信息交换外，该全局网络拥塞控制器的另一功能可以是确定表的更新。为此目的，其对于每个节点k(＝1...K)观测流的数量n_k(t)随时间如何演进。这可以通过其网络拓扑的知识和与应用提供商的信息交换来进行。从而适于基于在观测周期T上的观测，构建用于每个个别节点的转换矩阵(以捕获n_k如何在节点k处演进)或用于网络的全局转换矩阵(以捕获(n₁(t)，...，n_k(t)，...，n_K(t))如何演进)。其进一步适于解决用于每个个别节点(具有相同的本地回报功能和可能动作的相同集合)的或全局的该转换矩阵的MDP，其中全部回报是本地回报的加权和。每个节点的决策表产生结果，并进一步通信给本地节点。

即使在之前的情况下，假设它们已经访问它们所拥有的拥塞状态，并且假设它们知道需要协调动作的时间，节点各自确定并修改它们的动作表，并在需要联系中断过程的情况下，网络拥塞控制可以自己计算可能的联系中断动作，并将它们通信给各节点，或者网络拥塞控制器可将本地节点的决策相互转发，从而它们因此可以作出它们所拥有的决策。

图11描述了具有中央或全局网络拥塞控制器NC的实施方式。从而适于与不同节点中所有的个别拥塞控制设备进行通信。

在另一实施方式中，可以通过链路上的比特率而不是通过测量流的数据来观测业务。

尽管上面已经结合特定装置来介绍了本发明的原理，但是可以清楚地理解到，该说明仅作为示例，并不是对本发明范围的限制，本发明的范围由所附权利要求进行限定。

Claims (14)

1.一种用于在网络节点中控制业务拥塞的方法，根据包括多个层(L)的业务流对所述业务进行分类，业务流能够是在重要性降低的层中进行编码的多媒体流，所述方法的特征在于包括以下步骤：监测到该节点的传入流的量(n(t))，基于传入流的所述量(n(t))和基于接受层的当前层数(l(t))，通过参考动作表(T)来确定进入所述节点的接受层的下一层数(l(t+1))。

2.根据权利要求1所述的方法，其中基于朝向所述节点的观测业务来动态调整所述动作表。

3.根据权利要求2所述方法，其中基于在观测期内观测的业务以常规间隔来动态调整所述动态表，并且由此使用马尔可夫决策过程来确定最佳动作表。

4.根据权利要求1或3中任意一项所述的方法，其中动作表存储在所述节点本地。

5.根据前述权利要求1至3中任意一项所述的方法，其中所述动作表由网络拥塞控制器进行集中计算，并进一步将动作表传送给所述节点。

6.根据前述权利要求1至3中任意一项所述的方法，进一步包括在实现所述方法的不同节点之间进行通信的步骤，通过参考所述动作表来确定作为结果的动作，在出现冲突的动作时，在所述节点中执行启发式的控制以修改对于每一节点的可接受层的下一层数。

7.根据权利要求1至3中任意一项所述的方法，其中通过网络拥塞控制器对所述动作表进行集中更新。

8.一种用于控制业务拥塞的拥塞控制设备(CCIM；CCIM’；CCAN1；CCAN2；CCAN3)，其中根据进入网络节点(IM；AN1；AN2；AN3)的包括多个层(L)的业务流对业务进行分类，业务流能够是在重要性降低的层中进行编码的多媒体流，所述拥塞控制设备(CCIM；CCIM’)包括：

用于监测到该节点的传入流的量(n(t))的装置，以及

用于基于传入流的所述量(n(t))，基于动作表(T)和基于接受层的当前层数(l(t))，确定接受层的下一层数(l(t+1))，从而仅允许由与接受层的所述层数相关的层数所标识的分组进入所述节点的装置。

9.根据权利要求8所述的拥塞控制设备(CCIM’)，进一步适于基于在观测期中观测的朝向所述节点的业务来动态调整所述动作表。

10.根据权利要求9所述的拥塞控制设备(CCIM’)，适于基于在所述观测期内观测的业务以常规间隔动态调整所述动作表，由此通过使用马尔可夫决策来确定最佳动作表。

11.根据前述权利要求9至10中任意一项所述的拥塞控制设备(CCIM)，进一步适于与另一节点中的另一拥塞控制设备进行通信，通过参考所述动作表确定作为结果的动作，并在出现冲突的动作时，进一步适于实现进一步启发式控制以修改可接受层的下一层数。

12.一种网络节点(AN1；AN2；AN3；IM)，其特征在于，所述网络节点包括根据前述权利要求8至11中任意一项所述的拥塞控制设备(CCIM；CCIM’；CCAN2；CCAN3；CCIM)。

13.一种用于与根据权利要求8的拥塞控制设备(CCIM)进行通信的网络拥塞控制设备(NC)，所述网络拥塞控制设备(NC)包括：

用于确定所述动作表(T)的装置，以及

用于将所述动作表传送给所述拥塞控制设备(CCIM)的装置。

14.根据权利要求13所述的网络拥塞控制设备(NC)，进一步适于基于观测的业务来更新所述动作表，并将所述更新的动作表提供给所述拥塞控制设备(CCIM)。