CN103004156B - 用于能量效率路由的延迟容忍业务的服务质量感知速率减速 - Google Patents

Abstract

本发明涉及延迟容忍数据分组业务的能量效率网络处理。本发明的实施方式确定是否时间敏感流速率和满足延迟容忍业务流的QoS要求的最小速率的聚集超过网络处理器的分组处理引擎的组合最优速率。在肯定的情况下，实施方式将各个分组处理引擎的处理速率设置为最小速率，使得分组处理引擎的累积速率满足聚集速率，并调度延迟容忍流以满足它们各自的最小速率。优选地，通过仅减速延迟容忍业务的处理速率，能够减小网络处理器的能耗，且同时能够满足延迟容忍业务和时间敏感业务的QoS要求。

Description

用于能量效率路由的延迟容忍业务的服务质量感知速率减速

背景技术

本发明涉及数据分组网络，更具体地，本发明涉及在网络中以考虑特定数据分组业务的服务质量（QoS）承诺的方式来处理数据分组（这里也将其称为QoS感知方式）、且同时解决处理数据分组业务的网络处理器的能量效率。

背景技术

当前的大多数国际互联网使用包括从源发送给多个用户的内容。为了满足增长的要求，将服务提供商（例如，谷歌）引领至投资于具有分布于不同地理区域的成百上千的机器的大型数据中心。相似地，通过部署大量的高速路由器和光纤光缆，网络提供商日益增加网络容量。在这种大规模内容分发中涉及的诸如服务器、核心/边缘路由器和接入设备的网络设备消耗大量的能量；例如，美国环境保护机构（EPA）估计到2011年数据中心每年会消耗一千亿千瓦小时，费用为74亿美元。

对于这种能量的大量消耗，希望集中于在内容分发链中扮演重要角色的现代高速路由器的能量效率。典型地为现代路由器装备用于数据平面任务（例如，路由、分组分类、加密、QoS等）的快速处理的数百个网络处理器。由于这些网络处理器（NP）的能量消耗控制通过线路的分组传输的能量消耗，一种降低能量消耗的方式是基于时变业务量需求来动态供应网络处理器。例如，如果利用路由器的70%以对当前业务量进行路由，那么路由器将其处理速率配置为其峰值速率的70%。为此，现代网络处理器利用允许NP放慢它们的操作频率（或速率）并降低它们的操作电压以节省能量的动态电压调节（DVS，Dynamic Voltage Scaling）。

然而，当前的DVS技术不考虑被路由业务的QoS承诺(commitment），其中如果承诺不满足，会影响网络提供商的收入。因此，希望具有在网络路由器中实现更高能量效率且同时考虑诸如服务等级协议（SLA）的QoS承诺的手段。

发明内容

本发明的实施方式涉及延迟容忍数据分组业务的能量效率网络处理。

本发明的一些实施方式确定用于满足延迟容忍业务流的QoS要求的时间敏感（time critical）业务流速率和最小速率的聚集（aggregate）是否超过网络处理器中分组处理引擎的能量效率的各自最佳速率的总和。在肯定的情况下，实施方式将各个分组处理引擎的处理速率设置为各自的最小处理速率，使得分组处理引擎的累积速率满足聚集速率，并且对延迟容忍流进行调度以满足它们各自的最小速率。

本发明的一些实施方式在上述条件的否定情况下确定并随后使用满足时间敏感业务流速率和延迟容忍流速率的总量所需要的最小数量的分组处理引擎。

有利的是，不同于基于当前业务量要求简单地调整处理速率的动态资源供应方法，通过仅对延迟容忍业务的处理速率进行减速（throttle）以导致正处理聚集业务的分组处理引擎的能量效率速率，可以降低网络处理器的能量消耗，且同时可满足延迟容忍业务和时间敏感业务的QoS要求。

根据本发明的一个方面，提供一种控制在具有多个分组处理引擎的网络处理器中使用的处理速率的方法。该方法包括以下步骤：确定由网络处理器接收的时间敏感流的聚集速率；确定将满足由网络处理器接收的全部延迟容忍流的各自服务质量要求的聚集最小速率；对时间敏感流的聚集速率和聚集最小速率求和以获得合计速率（summed rate）；总计（total）分组处理引擎的能量效率的各自最优速率以获得累积的最优速率；将合计速率与累积的最优速率进行比较；响应于合计速率大于累积的最优速率，确定每个分组处理引擎的相应最小处理速率，从而最小处理速率的总和大于或等于合计的速率；以及由分组处理引擎调度延迟容忍流的处理，以满足延迟容忍流的各自服务质量要求。

优选的，该方法可进一步包括以下步骤：确定时间敏感流和延迟容忍流的聚集速率以获得聚集输入速率；响应于合计速率小于或等于累积最优速率，确定分组处理引擎的最小子集，使得聚集输入速率小于或等于子集的分组处理引擎的各自最优速率的总和；以及仅在子集的分组处理引擎上调度延迟容忍流和时间敏感流的处理。

根据本发明的另一方面，提供一种速率可控的网络处理器。网络处理器包括多个分组处理引擎和速率估计器，用于通过由网络处理器接收的IP分组流确定：由网络处理器接收的时间敏感流的聚集速率，和将满足由网络处理器接收的延迟容忍流的各自服务质量要求的聚集最小速率；网络处理器还包括速率控制器，用于确定每个分组处理引擎的各自最小处理速率，使得最小处理速率的总和大于或等于时间敏感流的聚集速率和聚集最小速率的总和；以及调度器，用于调度由分组处理引擎对延迟容忍流的处理，以满足延迟容忍流的各自服务质量要求，其中每个分组处理引擎可操作为在其各自的最小处理速率来处理分组。

优选的，速率估计器可附加地操作为确定包括时间敏感流的聚集速率和延迟容忍流的聚集速率的总和的聚集输入速率，并且合计时间敏感流的聚集速率和聚集最小速率以获得合计速率。速率控制器可附加地操作为获得分组处理引擎的能量效率的最优速率，并且总计分组处理引擎的用于能量效率的各自最优速率，以便获得累积最优速率，以及响应于合计速率小于或等于累积最优速率，确定分组处理引擎的最小子集，使得聚集输入速率小于或等于子集的分组处理引擎各自最优速率的总和；调度器可附加地操作为仅在子集的分组处理引擎上调度延迟容忍流和时间敏感流的处理。

根据本发明的又一方面，提供一种用于具有多个分组处理引擎的网络处理器的控制器。控制器包括速率估计器，用于通过由网络处理器接收的IP分组流进行确定：由网络处理器接收的时间敏感流的聚集速率，和满足由网络处理器接收的延迟容忍流的各自服务质量要求的聚集最小速率；所述控制器还包括：速率控制器，用于确定每个分组处理引擎的各自最小处理速率，使得最小处理速率的总和大于或等于时间敏感流的聚集速率和聚集最小速率的总和；以及调度器，用于调度由分组处理引擎进行的延迟容忍流的处理，以满足延迟容忍流的各自服务质量要求。

附图说明

通过下面在附图中解释的优选实施方式的更详细的描述，本发明的上述和其它目标、特征和优势会变得更明显，其中：

图1描述了单个分组处理引擎的功率曲线；

图2描述了根据本发明实施方式的速率可控的网络处理器；以及

图3描述了控制图2的网络处理器中使用的处理速率的方法。

在附图中相同的附图标记代表相同的特征。具体实施方式

本发明的实施方式涉及延迟容忍分组数据业务的能量效率网络处理。这种业务的实施例为延迟容忍成批数据（DTB），其可应用于大范围的延迟容忍内容分发应用，例如视频分发（NetFlix）、科学数据交换（高分辨率图像）、数据中心同步等。不同于现有的基于当前要求来调整处理速率的动态资源供应方法，本发明有意的减速DTB业务(仍满足应用级别QoS）以降低中间路由器中的整体聚集数据速率。其结果是，我们可以减小网络处理器的操作电压，从而显著减小了能量消耗。

本发明的实施方式在典型地配有数百个用于快速处理数据平面任务的网络处理器的现代高速路由器中发现应用。

图1是单个分组处理引擎（PPE）的功率曲线100的图形，其中通过典型的网络处理器可使用数百个分组处理引擎。图形显示了相对于处理速率的每个处理分组的处理能力。这里，我们看到，由于速率独立功率Pw，功率曲线100在最优速率R_O每个处理的分组具有最小的能量，低于最优速率R_O不能实现能量节约。我们推断该最优速率R_O消耗用于转发分组的最小能量。通过测量，我们可发现用于每个PPE的最佳速率R_O。

对于指定的路由器，其聚集的进入业务包括两种类型的业务：时间敏感（time critical）和时间容忍分组。表示为R_A的聚集速率是(1)表示为R_T的时间敏感分组的速率和(2)表示为R_D的时间容忍分组的速率的总和。

对于指定的路由器，我们可测量时间容忍业务R_D的聚集速率。然而，在核心路由器维持每个流的信息可能是麻烦的。为了解决这一问题，我们建议在一个或多个流的分组中包括所述流的要求的最小速率。例如，入口路由器会将该信息插入到分组报头中，或者如果在入口路由器处无法获得，其会在另一路由器、接入设备、主节点等处插入。此外，该每分组速率信息可由诸如核心无状态公平队列调度（CSFQ）算法的公平速率信息进行增大，从而我们能够在中间路由器中支持公平带宽调度。

图2描述了根据本发明实施方式的速率可控的网络处理器200。网络处理器200包括分组报头提取器202，其接收IP数据分组的输入流204，提取这些分组的IP报头，并将提取的IP分组报头的第一流206输出给速率估计器210，以及将IP分组的第二流208输出给分组缓冲器212。为此目的，速率估计器210和分组缓冲器212分别与分组报头提取器202连接。该输入流204可包括时间敏感数据分组业务F_T的一个或多个流和延迟容忍数据分组业务F_D的一个或多个流。

速率估计器210接收所提取IP报头的第一流206，使用所提取的IP报头来估计第一流206的聚集速率R_A，其中IP报头包括时间敏感F_T和延迟容忍流F_D的报头。使用时间窗指数移动平均（例如使用的窗的范围从10毫秒到2秒）确定聚集速率R_A。将在时间窗期间到达的分组的分组大小（在它们各自的报头中指定的）的总和除以时间窗的持续时间，提供采样聚集速率，其采样与其它这样的采样进行平均，周期性地获取，并且每个具有时变（time-variant）权重以用于计算目的，以获得聚集速率R_A的指数移动平均。类似地，计算仅时间敏感流聚集速率R_T的指数移动平均。

需要说明的是，由分组报头提取器202执行的功能可包括在速率估计器210中，从而速率估计器在由网络处理器200接收的IP数据分组的输入流204上执行其前述功能。

速率估计器210还确定所要求的最小速率R_{D_QOS}以满足延迟容忍流F_D上的QoS承诺。通过从每个延迟容忍流F_D的提取报头读取最小速率指示，并合计这些速率指示以获得最小速率R_{D_QOS}，来进行上述确定。IP报头中的服务类型字节用于提供IP报头中的最小速率指示。例如，通过使用浮动点表示，4个比特表示尾数（mantissa）并且4个比特表示指数，1Kbps和65Mbps之间的任何速率可以按照6.25%的精度表示。提供最小速率指示的其它方式用于在IP第4版（IPv4）的情况下使用IP选项，或在IP第6版（IPv6）的情况下使用逐跳扩展报头。

通过跟踪由网络处理器200处理的全部延迟容忍流，保持当前的最小速率R_{D_QOS}，例如在具有与每个这样的流相关联的相应最小速率指示的目录或表中。由于新延迟容忍流的数据分组由网络处理器200接收，或现有流的数据分组停止由网络处理器200接收，对该跟踪机制进行更新以反映这样的变化，并且因此重新计算最小速率R_{D_QOS}。对于至少等于其最小速率指示的倒数的持续时间为非活动的任何延迟容忍流，例如是如果网络处理器200没有在该持续时间内从该流接收新分组的情况，会具有其从最小速率R_{D_QOS}的随后重新计算排除最小速率指示，其中重新计算会通过速率估计器210由这样的非活动检测触发。

速率估计器210通过连接214向速率控制器216提供聚集速率R_A，时间敏感流聚集速率R_T，和最小速率R_{D_QOS}，并通过调度器224和速率估计器210之间的连接218将提取的IP分组报头转发给分配器224。

速率控制器216具有用于获得最优速率R_O的部件220。这样的部件220包括从存储器（其中数值已经被存储在那里，并通过在处理速率范围上的能量利用测量进行人工确定，或者通过相似的过程自动地进行确定），以及用于确定由网络处理器使用的分组处理引擎的最优速率R_O的网络处理器200内部或外部的电路，以读取最优速率R_O的值。

速率控制器216具有与调度器224的连接222和与多核处理引擎226的连接234。多核处理引擎具有与调度器的多个输入连接236，以用于从其接收IP分组报头，以及与分组聚集器238的多个输出连接240，以用于将处理的IP分组报头传送到那里。多核处理引擎226包括多个（N个）分组处理引擎（PPE），其中在图中示出出第一PPE 228、第二PPE 230、第N个PPE 232。为了处理由多核处理引擎226接收的数据分组报头，将PPE228-232并行设置。每个PPE耦合至多个输入连接236的各自连接以及多个输出连接240的各自连接。每个PPE具有用于通过它们之间的连接234接收由速率控制器216提供给多核处理引擎226的PPR速率R_PPE的输入。每个PPE能够在IP分组报头上执行各种数据处理工作，以执行数据平面工作，例如分组处理、分组分类、分组转发等。

调度器224从速率估计器210接收IP分组报头，或者可替换地其能够直接从分组报头提取器202接收它们，并且可选择地将每个IP分组报头转发给PPE中的一个。在描述影响选择和速率的速率控制器216的功能后，会进一步解释为指定的IP分组报头选择哪个PPE，为延迟容忍流F_D以怎样的速率进行转发。

稍后将参照图3进行更详细地解释，在一些情况下根据聚集速率R_A、时间敏感流聚集速率R_T、最小速率R_{D_QOS}和最优速率R_O，速率控制器216确定PPE的数量K，从中调度器224可选择PPE，它会将IP分组报头转发给选择的PPE。速率控制器216通过其与调度器224的连接222将数量K通知给调度器224。剩余的PPE（其数量为N-K）不会接收到任何IP分组报头，直到增加K的数量为止，并且会通过每个PPE上提供的时钟选通功能进入能量节约空闲状态。时钟选通功能是这样的电路，其能够使PPE检测其数据输入的不活动性（其输入为接收的IP分组报头）、并禁止将时钟信号发送给PPE以便最小化即使在没有数据处理操作时由循环时钟信号导致的功耗。在没有确定数量K或将数量K被发送给调度器224的情况下，调度器224会从全部N个PPE中选择PPE。

并且，如稍后参照图3进一步详细描述的，在一些情况下根据时间敏感流聚集速率R_T、最小速率R_{D_QOS}和最优速率R_O，速率控制器216确定提供给多核处理引擎226的PPE速率R_PPE。在这样的情况下，速率控制器216还提供具有最小速率R_{D_QOS}的调度器224，或者可替换地由在这些情况下使用的速率估计器210能够将最小速率R_{D_QOS}提供给调度器224。在没有将PPE速率R_PPE提供给多核处理引擎226的情况下，将最优速率R_O用作PPE的默认处理速率，其中最优速率R_O由速率控制器216提供，或者由之前描述的获得最优速率R_O的部件220提供。在该实施方式中，将相同的PPE速率R_PPE提供给每个PPE。然而，在其它实施方式中，一个或多个PPE会接收各自的PPE速率（相对于一个或多个其它PPE速率是唯一的），并且从而通知调度器224因此调整其对该PPE的相应IP报头分组的分配速率。

返回到调度器224的操作，根据之前描述的在其相应IP分组报头中指定的每个这样流所要求的最小速率，操作调度器224以执行延迟容忍业务流F_D的IP分组报头的公平调度。如果由速率控制器216指示调度器224执行这样的调度，其会执行以将这样流的累积速率保持在最小速率R_{D_QOS}中。否则，调度器224会分派延迟容忍流F_D的IP分组报头，如同其接收它们一样。在任一情况下，在该实施方式中调度器224不会在时间敏感流F_T上执行调度，然而这样的调度会在其它实施方式中执行，只要这些流的QoS要求符合这种被执行的调度。对于PPE的选择，如前所述，调度器224从全部多个（N个）PPE或PPE的子集K中选择PPE，以将IP分组报头转发给所选择的PPE。选择以轮询（round-robin）的方式进行。在一个或多个PPE具有不同处理速率的情况下，在当前轮询周期中，根据可使用PPE的处理速率和IP分组报头所属的流所要求的最小速率，调度器224会为指定的IP分组报头选择合适的PPE。

分组聚集器238从多核处理引擎226接收处理的IP分组报头，并且通过其连接242从分组缓冲器接收IP分组，并且通过以相应处理的IP分组报头替换其现有的IP分组报头来重构每个IP分组。分组聚集器238于是输出作为结果的处理的IP分组，例如输出给用于路由的路由器交换机构或用于进一步处理的另一网络处理器。

需要说明的是，由分组缓冲器212提供的功能可由分组聚集器238执行，或者如果调度器224处理全部IP分组，并且不仅仅为之前描述的IP分组报头，则不需要分组缓存212。此外，由分组聚集器238提供的功能，无论是否由分组缓冲器212增强，可由多核处理引擎226执行。进一步，用于具有多个分组处理引擎的网络处理器的控制器可仅包括速率估计器210、速率控制器216和调度器224。在该情况下并且如果控制器处理全部IP分组，则不要求分组报头提取器202、分组缓冲器212和分组聚集器238的功能。

参照图3，现在将描述在网络处理器200中使用的控制处理速率的方法300。在开始302之后，方法300确定304由网络处理器接收的时间敏感流的速率R_T及延迟容忍和时间敏感流的聚集速率R_A。接下来，方法300确定306将满足全部延迟容忍流F_D的QoS要求的聚集最小速率R_{D_QOS}。需要说明的是，这些确定304、306的顺序可颠倒，而不会影响方法300的结果。接下来，确定308是否时间敏感流的速率R_T和最小速率R_{D_QOS}的速率总和小于或等于最优速率R_O的N倍，其中N是网络处理器中PPE的数量。需要说明的是，不需要聚集速率R_A，除非当前确定306具有肯定的结果，从而聚集速率R_A的确定可从确定304中省略，并对导致肯定结果的当前确定308产生响应。

如果确定308结果是肯定的，则确定310PPE的最小数量K，从而聚集速率R_A小于或等于最优速率R_O的K倍。然后，指导312调度器224在选择转发IP分组报头的PPE时使用多个PPE的尺寸为K个PPE的子集。从而方法300结束314，然而，在一段时间之后或响应于提供给网络处理器的IP分组的输入流204中的变化，其将典型地返回到开始302。

如果确定308的结果是否定的，确定316最小PPE速率R_PPE，从而N倍的最小PPE速率R_PPE大于时间敏感流的速率R_T和最小速率R_{D_QOS}的总和。从而指导调度器224根据它们各自的最小速率在延迟容忍流上执行公平调度，并且以保持最小速率R_{D_QOS}。随后，将PPE的处理速率设置320为PPE速率R_PPE，并且方法300结束314。典型地，在段时间之后或响应于提供给网络处理器的IP分组的输入流204中的变化，方法300会通过返回开始302重新开始。

有益的是，本发明的实施方式通过延迟容忍成批数据传送的QoS感知处理速率减速，能够显著降低中间路由器的能耗。这些实施方式可使用其它技术以降低成批数据传送的能耗，例如降低通信介质上的物理发送/接收速率以进一步提高延迟容忍成批数据发送的能量效率。

在不偏离本发明范围的前提下，可对上面描述的本发明实施方式进行各种更正、变形和修改，本发明的范围在权利要求中进行限定。

Claims (9)

1.一种控制在具有多个分组处理引擎的网络处理器中使用的处理速率的方法，包括以下步骤：

确定由所述网络处理器接收的时间敏感流的聚集速率；

确定满足由所述网络处理器接收的全部延迟容忍流的各自服务质量要求的聚集最小速率；

对聚集最小速率和时间敏感流的聚集速率求和以获得合计速率；

总计分组处理引擎的能量效率的各自最优速率以获得累积的最优速率；

将合计速率与累积的最优速率进行比较；

响应于合计速率大于累积的最优速率，确定每个分组处理引擎的各自最小处理速率，使得最小处理速率的总和大于或等于合计速率；以及

由分组处理引擎调度延迟容忍流的处理，以满足延迟容忍流的各自服务质量要求。

2.根据权利要求1所述的方法，进一步包括：

确定延迟容忍流和时间敏感流的聚集速率以获得聚集输入速率；

响应于合计速率小于或等于累积的最优速率，确定分组处理引擎的最小子集，使得聚集输入速率小于或等于子集的分组处理引擎的各自最优速率的总和；以及

仅在子集的分组处理引擎上调度延迟容忍流和时间敏感流的处理，其中两个或多个分组处理引擎具有用于能量效率的实质上相同的最优速率，并且确定分组处理引擎的最小子集的步骤包括：确定为两个或多个分组处理引擎的每个分组处理引擎使用相同最优速率的子集的最小尺寸。

3.根据权利要求1所述的方法，其中两个或多个分组处理引擎具有用于能量效率的实质上相同的最优速率，并且确定用于每个分组处理引擎的各自最小处理速率的步骤包括：确定用于两个或多个分组处理引擎的每个分组处理引擎的相同最小处理速率。

4.根据权利要求1所述的方法，其中调度步骤包括：在聚集最小速率内对延迟容忍流的公平调度。

5.根据权利要求2所述的方法，进一步包括：

在聚集最小速率内对延迟容忍流的公平调度；

响应于由网络处理器接收到的时间敏感流的改变，返回到确定时间敏感流的聚集速率的步骤；

响应于由网络处理器接收到的延迟容忍流的改变，返回到确定聚集最小速率的步骤；以及

响应于时间敏感流或延迟容忍流中的改变，返回到确定延迟容忍流和时间敏感流的聚集速率以获得聚集输入速率的步骤。

6.一种速率可控的网络处理器，包括：

多个分组处理引擎；

速率估计器，用于通过由网络处理器接收的IP分组的流来确定：

由网络处理器接收的时间敏感流的聚集速率，和

满足由网络处理器接收的延迟容忍流的各自服务质量要求的聚集最小速率；

速率控制器，用于确定每个分组处理引擎的各自最小处理速率，使得最小处理速率的总和大于或等于聚集最小速率和时间敏感流的聚集速率的总和；以及

调度器，用于调度由分组处理引擎进行的延迟容忍流的处理，以满足延迟容忍流的各自服务质量要求，其中每个分组处理引擎可操作以按照其各自的最小处理速率来处理分组。

7.根据权利要求6所述的网络处理器，其中速率估计器可操作以确定包括时间敏感流的聚集速率和延迟容忍流的聚集速率的总和的聚集输入速率，以及对聚集最小速率和时间敏感流的聚集速率求和以获得合计速率，速率控制器可操作以获得用于分组处理引擎的能量效率的各自最优速率，以及总计用于分组处理引擎的能量效率的各自最优速率以便获得累积的最优速率，并且响应于合计速率小于或等于累积的最优速率，确定分组处理引擎的最小子集，使得聚集输入速率小于或等于子集的分组处理引擎的各自最优速率的总和；以及调度器可操作以仅在子集的分组处理引擎上调度延迟容忍流和时间敏感流的处理。

8.根据权利要求7所述的网络处理器，其中调度器进一步可操作为在聚集最小速率内执行延迟容忍流的公平调度，两个或多个分组处理引擎具有用于能量效率的实质上相同的最优速率，速率估计器进一步可操作为确定用于两个或多个分组处理引擎的每个分组处理引擎的相同最小处理速率，两个或多个分组处理引擎具有用于能量效率的实质上相同的最优速率，速率控制器进一步操作为确定对两个或多个分组处理引擎的每个分组处理引擎的使用相同最优速率的子集的最小尺寸，速率估计器进一步操作为响应于由网络处理器接收的时间敏感流的变化确定时间敏感流的聚集速率，响应于由网络处理器接收的延迟容忍流中的变化确定聚集最小速率，以及响应于时间敏感流或延迟容忍流中的变化确定时间敏感流和延迟容忍流的聚集速率。

9.一种用于具有多个分组处理引擎的网络处理器的控制器，包括：

速率估计器，用于通过由网络处理器接收的IP分组的流来确定：

由网络处理器接收的时间敏感流的聚集速率，以及

满足由网络处理器接收的延迟容忍流的各自服务质量要求的聚集最小速率；

速率控制器，用于确定每个分组处理引擎的各自最小处理速率，使得最小处理速率的总和大于或等于聚集最小速率和时间敏感流的聚集速率的总和；以及

调度器，用于调度由分组处理引擎进行的延迟容忍流的处理，以满足延迟容忍流的各自服务质量要求。