CN1719806A - 基于cache的网络处理器的动态负载分配方法及其装置 - Google Patents

Abstract

本发明公开了一种基于cache的网络处理器的动态负载分配方法，首先报文缓冲器提取报文的源IP地址和目的IP地址后，通过流标识hash计算单元算出16位的流标识值，并利用该流标识值查找负载分配cache，确定由哪个目标处理单元处理该报文；如果负载分配cache不命中，则通过实时监控处理单元负载状况的负载计算部件给出当前负载最轻的处理单元编号作为目标处理单元；然后报文分发单元从报文缓冲单元中读取报文，按照已确定的目标处理单元将报文分配到相应的处理单元中；利用该方法得到的动态负载分配装置，包括流标识hash计算单元、负载分配cache、负载计算单元、报文缓冲单元和报文分发单元。本发明能够高效维持负载均衡并具有较强报文流保序能力。

Description

基于cache的网络处理器的动态负载分配方法及其装置

技术领域

本发明主要涉及到网络处理器领域，特指一种基于cache的网络处理器的动态负载分配方法及其装置。

背景技术

网络处理器是一种用于网络协议处理的高性能“专用指令处理器”(ApplicationSpecific Instruction Processor，ASIP)，广泛应用于各种网络设备中，如路由器线卡、防火墙设备以及网络接口卡等。网络处理器中包含多个处理单元(PE，ProcessorElement)。处理单元的组织方式通常有两种：并行和流水结构。本发明针对并行PE结构，如图1所示。在并行PE结构中，每个处理单元都能独立完成报文处理操作，而不需要其他单元的干预，但它们共享报文流的接收和发送结构。网络处理器需要将输入接口的报文流分配到各个并行处理单元上执行。我们将PE处理的报文流称为负载。

在基于并行PE结构的网络处理器中，维持多个PE负载平衡是提高系统并行性能的关键因素，同时网络处理器对网络报文流的处理需要维持报文的输出顺序与报文到达顺序相一致，即避免报文乱序现象。目前在网络处理器中的负载分配方法中，传统的方法是采用固定分配机制、“轮转”(round robin)机制的分配方法。固定分配机制是将同一输入端口达到的报文固定分配给某个PE，或者将属于同一流的报文分配给某个PE。固定分配机制能够避免报文乱序行为，但由于多个输入端口上到达的报文往往是不均衡的，网络流量中不同流上报文也是不均衡的，从而导致了分配到各个PE间的负载不均衡，造成某个PE的负载过重，成为网络处理器中报文转发处理的热点，严重影响系统性能。“轮转”机制均匀地将报文流分配到各个PE上，能够维持各个PE间的负载均衡性，但每个报文在PE上的处理时间不尽相同，这种机制容易出现后到达的报文先处理完而被抢先发送出去，导致报文乱序。由此可见，目前传统的负载分配方法在负载均衡性和报文顺序性两种需求上走向两个极端，不能做出有效的折中。

发明内容

本发明要解决的技术问题就在于：针对现有技术中网络处理器并行PE结构下容易出现的各个PE处理报文时引起的负载不均衡问题和报文乱序的问题，本发明提供一种能够高效维持负载均衡并具有较强报文流保序能力的基于cache的网络处理器的动态负载分配方法及其装置。

为了解决上述技术问题，本发明提出的解决方案为：一种基于cache的网络处理器的动态负载分配方法，其特征在于：首先报文缓冲单元提取报文的源IP地址和目的IP地址后，通过流标识hash计算部件算出16位的流标识值，并利用该流标识值查找负载分配cache，确定由哪个目标处理单元处理该报文；如果负载分配cache不命中，则通过实时监控处理单元负载状况的负载计算单元给出当前负载最轻的处理单元作为目标处理单元；然后报文分发单元从报文缓冲单元中读取报文，按照已确定的目标处理单元将报文分配到相应的处理单元中。

所述负载分配cache和负载计算单元共同确定目标处理单元的流程为：

(1)、初始化，在网络处理器初始化时，将cache所有表项初始化为无效，即将每个表项的valid位置1；

(2)、正常工作状态，对于每个到达的报文，进行如下处理：

1)、将16位流标识中的低8位作为index，查找cache表项。获得的表项信息中如果表项的vaild位为1(无效)或者表项的tag字段与流标识字段不匹配，表示不命中；如果valid位为0且表项的tag字段与流标识高8位匹配，表示命中；

2)、如果命中，则cache中处理单元标识字段即为报文所需分配的处理单元编号，将报文分配给相应处理单元；如果不命中，则从负载计算单元中获得当前负载最轻的处理单元编号，作为报文所需分配处理单元，同时更新cache表项；具体而言，将流标识的低8位作为索引地址，找到流标识对应的cache表项，将流标识的高8位作为tag填入cache表项的tag字段中，从负载计算部件中获得当前负载最轻的处理单元编号，填入相应cache表项中，将vaild位置0(表示有效)，将时间戳字段清0；

3)、Cache更新部件除了在查cache表项不命中时替换相应的表项外，还负责定期更新cache中有效表项(valid位为0)的时间戳字段，每隔512个时钟周期更新一次，并且当时间戳溢出时该表项被作废。

所述16位流标识值＝(源IP地址高16位)(源IP地址低16位)(目的IP地址高16位)(目的IP地址低16位)，其中“”表示按位异或逻辑运算。

所述负载计算单元维护着一张记录各个处理单元的平均队列长度的负载表，该队列长度采用指数平滑值来表示；所述指数平滑值的计算公式如下为

Avg_Queue_len_i+1＝Avg_Queue_len_i×(1-w)+Curr_Queue_len×w

其中Avg_Queue_len_i表示报文到达前，输入队列的平均队列长度；Avg_Queue_len_{i+ 1}表示报文到达后，输入队列的平均队列长度；Curr_Queue_len表示报文加入队列后，输入队列的实际长度；w表示队列权值，它指定当前队列实际长度对平均队列长度的贡献。

所述负载分配cache的组织方式采用直接映射模式，即每次只能调入唯一的流标识到一个cache表项。

一种基于cache的网络处理器的动态负载分配装置，其特征在于：它包括流标识hash计算单元、负载分配cache、负载计算单元、报文缓冲单元和报文分发单元；流标识hash计算单元根据报文的源IP地址和目的IP地址计算出16位的流标识值，并将该流标识发送给负载分配cache单元；负载分配cache单元对这些流的负载分配状态进行缓存，负载计算单元根据各个网络处理器的缓冲队列长度计算出网络处理器中的负载状况并将负载最轻的处理单元编号发送给负载分配cache；报文缓冲单元和报文分发单元共同将报文转发到各个处理单元。

与现有技术相比，本发明的优点在于：

1、本发明引入了cache机制能够减少报文乱序机率同时减少由于快速切换引起的PE负载抖动，使用基于cache的动态负载分配方法，在网络处理器内部各个处理单元之间形成均匀流量，能有效避免报文处理瓶颈的发生；并且在一定程度上保证了报文流的顺序性；

2、本发明使用cache保证报文流分配的局部性特征，避免了频繁的更改报文分配方式，从而避免负载的剧烈振荡；引入cache表项老化机制，避免了连续出现的同一报文流过多的映射到某个处理单元从而导致负载不均的行为；在确定报文的分配方式上，根据实时监测到每个处理单元上的负载状况，调节报文到处理单元的分配方式，从而保证了每次分配都力图保持负载均衡这一目标。

综合上述两个方面，在网络处理器并行PE结构下，报文从输入接口上通过报文负载分配器将线速报文流分配给多个PE执行，报文负载分配器的设计必须保证在报文分配到各个PE上执行过程中高效维持负载均衡同时减少由于并行执行而带来的报文乱序问题。本发明实现了使用较小的硬件开销就能够获得很好的多PE并行处理性能。

附图说明

图1是网络处理器的工作原理框架示意图；

图2是本发明中负载分配器的结构示意图；

图3是本发明中负载分配cache和负载计算部件的工作流程示意图；

图4是本发明负载分配器的流程示意图。

具体实施方式

以下将结合附图对本发明做进一步详细说明。

本发明的技术方案是在网络处理器中动态监测各个处理单元负载状况，并根据负载状况自适应的调节线速报文流到各个处理单元的分配方式，同时采用cache结构维持报文到各个处理单元的分配状态，并通过调整cache表项的失效和替换时机更新分配状态。本发明中的分配方法应用于网络处理器芯片内部的负载分配器，如图1所示，从网络处理器输入接口上发来的IP报文在负载分配单元内经过负载调节后被送往各个处理单元进行处理，处理后的报文被发往输出接口。

如图2所示，本发明负载分配器的结构主要包括流标识hash计算单元、负载分配cache、负载计算单元、报文缓冲单元和报文分发单元；其中，五元组流标识hash计算单元根据源IP地址(32位)和目的IP地址(32位)将IP报文流划分成65536(2¹⁶)个粗流，从而计算得出16位的流标识值，并将该流标识值发送给负载分配cache；负载分配cache对这些流的负载分配状态进行缓存，负载计算单元根据各个网络处理器的缓冲队列长度计算出网络处理器中各个处理单元的负载状况并将负载最轻的处理单元号发送给负载分配cache；报文缓冲单元和报文分发单元共同将报文转发到各个处理单元。

流标识hash计算单元从接收的IP报文中提取出报文头的源和目的IP地址信息，共64位。而后按照下面的hash函数对源和目的IP地址进行hash计算获得16位流标识：

16位流标识＝(源IP地址高16位)(源IP地址低16位)(目的IP地址高16位)(目的IP地址低16位)

其中，“”表示按位异或逻辑运算。

属于同一条报文流(例如TCP流或者UDP)的报文具有相同的源和目的IP地址，因此按照上述流划分方法，它们肯定被划分到了相同的粗流，而且是按照其输入顺序被分配到相同的处理单元上执行，从而保证了属于同一报文流的报文之间不会乱序。

分配到各处理单元的报文首先在各个处理单元的输入队列排队，输入队列的长度反映了各个处理单元的负载状况，因此负载计算单元可根据各个处理单元的输入队列长度计算各个处理单元的负载。负载计算单元维护一张负载表，记录各个处理单元的平均队列长度。它记录了各个处理单元的负载情况。另外，如果某一个处理单元的输入缓冲区队列为空，为了避免流量突发造成的抖动影响性能，队列长度采用指数平滑值以过滤突发流量，该值反映了队列的空闲时间段长度。计算公式如下：

Avg_Queue_len_i+1＝Avg_Queue_len_i×(1-w)+Curr_Queue_len×w

公式中各变量含义如下：

●Avg_Queue_len_i：报文到达前，输入队列的平均队列长度；

●Avg_Queue_len_i+1：报文到达后，输入队列的平均队列长度；

●Curr_Queue_len：报文加入队列后，输入队列的实际长度；

●w：队列权值，它指定当前队列实际长度对平均队列长度的贡献；

负载计算单元实时的计算各个处理单元中的输入队列平均长度值，并通过判优逻辑计算出当前负载最轻(输入队列平均长度最小)的处理单元编号。当需要分配报文流时，则优先分配该处理单元。

如图3所示，本发明的负载分配cache和负载计算单元共同确定目标处理单元的流程如下：

1、初始化。在网络处理器初始化时，将负载分配cache所有表项初始化为无效，即将每个表项的valid位置1。

2、正常工作状态，对于每个到达的报文，进行如下处理：

(1)、16位流标识中的低8位作为index，查找cache表项。获得的表项信息中如果表项的vaild位为1(无效)或者表项的tag字段与流标识字段不匹配，表示不命中。如果valid位为0且表项的tag字段与流标识高8位匹配，表示命中。

(2)、如果命中，则负载分配cache中处理单元标识字段即为报文所需分配的处理单元编号，将报文分配给相应处理单元。如果不命中，则从负载计算单元中获得当前负载最轻的处理单元编号，作为报文所需分配处理单元，同时更新cache表项；具体而言，将流标识的低8位作为索引地址，找到流标识对应的cache表项，将流标识的高8位作为tag填入cache表项的tag字段中，从负载计算部件中获得当前负载最轻的处理单元编号，填入相应cache表项中，将vaild位置0(表示有效)，将时间戳字段清0。

(3)、Cache更新部件除了在查找cache表项不命中时替换相应的表项外，还负责定期更新负载分配cache中有效表项(valid位为0)的时间戳字段，每隔512个时钟周期更新一次，并且当时间戳溢出时该表项被作废。

负载分配cache使用16位流标识进行cache查找，其中高8位用于tag字段，低8位用于index字段，index字段将负载分配cache分为256(2⁸)个表项。cache表项还包含如下4个字段：

●Tag字段(8位)：包含在每个cache表项中，用于cache查表时的匹配操作中。

●valid字段(1位)：用于表明表项是否有效，当cache表项无效时，该位为1，否则为0。

●处理单元标识(5位)：表明该表项所在的流标识分配给哪个处理单元，当报文查找到一个有效的cache表项时，处理单元标识字段将指明该报文应分配给哪个处理单元。5位处理单元标识最多可代表32个处理单元，我们将所有处理单元从0开始编号并依次递增。考虑到网络处理器资源限制，本发明中网络处理器内部允许的最大处理单元数目不超过32个。

●时间戳(8位)：记录每个表项从创建/更新后所经历的时间长度。当时间戳的计数满时，该表项即作废，表明了表项的存活时间。设定存活时间是为了防止cache表项的永远处于有效状态，从而约束了同一个报文流映射到某个处理单元的最长时间。表项由于时间戳超时而无效时，该表项对应的流标识映射方式也变为无效，必须重新分配该cache表项对应的流标识到处理单元的映射关系。

本发明中负载分配cache的组织方式采用直接映射模式，即每次只能调入唯一的流标识到一个cache表项。考虑到负载分配器位于网络处理器芯片内部，这种模式的硬件实现代价最小。

负载分配Cache的表项更新策略采用基于时间戳老化的动态更新方法。时间戳的老化是指，以一定时间间隔对时间戳字段进行递增计数，计数值越大表明该表项越老，当计数满时(为2⁸-1＝255)，将该表项作废(或称为老化)。老化方法是采用统一的时钟对所有256个表项的时间戳字段按一定时间周期值进行递增计数：初始值为0，计数方式为0→1→2→…→255→0。将时间周期记为counter_interval。为计数的时间间隔(时钟周期数目)，并设系统时钟频率为f，输入报文的发送速率为R，网络报文的平均长度为 L，

网络处理器中的处理单元数目为n。因此以系统时钟周期数目为单位的计数时间间隔count_interval计算如下：

Cache表项被修改的时机有两个：(1)查表不命中或者查到的cache表项无效；(2)表项的时间戳溢出。

对于(1)情况，每当查找负载分配cache不命中或者cache表项无效(valid字段为1)时，根据负载计算部件中计算出的当前负载最轻的处理单元，将当前报文分配给该处理单元，同时更新该流标识对应的cache表项：将valid字段置为0(有效)，将时间戳字段置为0(重新开始计时)，同时将处理单元标识设置为该处理单元对应的编号。

对于(2)情况，当cache表项中的时间戳字段计数溢出时(255→0)，表明该表项中对应的流标识分配方式已经不再被信任，因为在一个时间戳计数周期内该表项没有被更新过，从而表明该表项的分配方式是一个计数周期前最优的，此时需要重新选择映射方式。在这种情况下将该cache表项的valid位置为1(无效)，作废该表项，同时将时间戳字段清0。(参见图3和图4)

综上所述，结合如图4所示的本发明负载分配器的工作流程示意图，可知本发明的流程主要分为如下8个步骤：

1)、从网络处理器内部的输入接口接收报文以后，将报文送往报文缓冲单元，同时提取报文的源/目的IP地址；

2)、流标识hash计算单元根据源/目的IP地址计算出16位的流标识值，并利用该流标识值查找cache表项，获得查找结果；

3)、对查表结果进行检查，同时判断tag字段是否匹配和valid字段是否有效；如果cache查表命中，则直接转7)；否则继续执行下一步；

4)、负载计算单元实时监测各个处理单元的负载状况，当查表不命中时，即时给出当前负载最轻的处理单元号，将该处理单元编号作为当前的报文分配结果。

5)、负载计算单元同时将报文分配结果送给cache表项更新逻辑，cache表项进行更新。

6)、更新后的cache表项为有效表项。时间戳更新逻辑定期对这些有效表项中的时间戳字段进行更新，当时间戳计数满是cache表项即被作废(老化)，变为无效状态。

7)、确定报文被分配的目标处理单元，并将此信息发送给报文分发单元。

8)、报文分发单元从报文缓冲单元中读取报文，按照已确定的目标处理单元将报文转发到相应的处理单元中。

Claims (6)

1、一种基于cache的网络处理器的动态负载分配方法，其特征在于：首先报文缓冲单元提取报文的源IP地址和目的IP地址后，通过流标识hash计算单元算出16位的流标识值，并利用该流标识值查找负载分配cache，确定由哪个目标处理单元处理该报文；如果负载分配cache不命中，则通过实时监控处理单元负载状况的负载计算单元给出当前负载最轻的处理单元号作为目标处理单元；然后报文分发单元从报文缓冲单元中读取报文，按照已确定的目标处理单元将报文分配到相应的处理单元中。

2、根据权利要求1所述的基于cache的网络处理器的动态负载分配方法，其特征在于所述负载分配cache和负载计算单元共同确定目标处理单元的流程为：

(1)、初始化，在网络处理器初始化时，将负载分配cache所有表项初始化为无效，即将每个表项的valid位置1；

(2)、正常工作状态，对于每个到达的报文，进行如下处理：

1)、将16位流标识中的低8位作为index，查找cache表项；获得的表项信息中如果表项的vaild位为1(无效)或者表项的tag字段与流标识字段不匹配，表示不命中；如果valid位为0且表项的tag字段与流标识高8位匹配，表示命中；

2)、如果命中，则负载分配cache中处理单元标识字段即为报文所需分配的处理单元编号，将报文分配给相应处理单元；如果不命中，则从负载计算部件中获得当前负载最轻的处理单元编号，作为报文所需分配处理单元，同时更新cache表项；具体而言，将流标识的低8位作为索引地址，找到流标识对应的负载分配cache表项，将流标识的高8位作为tag填入cache表项的tag字段中，从负载计算单元中获得当前负载最轻的处理单元编号，填入相应负载分配cache表项中，将vaild位置0(表示有效)，将时间戳字段清0；

3)、Cache更新部件除了在查cache表项不命中时替换相应的表项外，还负责定期更新cache中有效表项(valid位为0)的时间戳字段，每隔512个时钟周期更新一次，并且当时间戳溢出时该表项被作废。

3、根据权利要求2所述的基于cache的网络处理器的动态负载分配方法，其特征在于：所述16位流标识值＝(源IP地址高16位)(源IP地址低16位)(目的IP地址高16位)(目的IP地址低16位)，其中“”表示按位异或逻辑运算。

4、根据权利要求1或2或3所述的基于cache的网络处理器的动态负载分配方法，其特征在于：所述负载计算单元维护着一张记录各个处理单元的平均队列长度的负载表，该队列长度采用指数平滑值来表示；所述指数平滑值的计算公式如下为

Avg_Queue_len_i+1＝Avg_Queue_len_i×(1-w)+Curr_Queue_len×w

其中Avg_Queue_leni表示报文到达前，输入队列的平均队列长度；Avg_Queue_len_i+1表示报文到达后，输入队列的平均队列长度；Curr_Queue_len表示报文加入队列后，输入队列的实际长度；w表示队列权值，它指定当前队列实际长度对平均队列长度的贡献。

5、根据权利要求4所述的基于cache的网络处理器的动态负载分配方法，其特征在于：所述负载分配cache的组织方式采用直接映射模式，即每次只能调入唯一的流标识到一个cache表项。

6、一种基于cache的网络处理器的动态负载分配装置，其特征在于：它包括流标识hash计算单元、负载分配cache、负载计算单元、报文缓冲单元和报文分发单元；流标识hash计算单元根据报文的源IP地址和目的IP地址计算出16位的流标识值，并将该流标识发送给负载分配cache；负载分配cache单元对这些流的负载分配状态进行缓存，负载计算单元根据各个处理单元的缓冲队列长度计算出网络处理器中各个处理单元的负载状况并将负载最轻的处理单元编号发送给负载分配cache；报文缓冲单元和报文分发单元共同将报文转发到各个处理单元。

Images