CN100508499C - 实现自适应调度的多内核处理器及多内核处理方法 - Google Patents

Abstract

本发明公开了一种实现自适应调度的多内核处理器，包括用于缓存的报文接收单元、一个以上的内核处理单元和与其连接的报文发送单元；还包括内核调度单元，用于统计每一内核处理单元的各使用参数，并根据各使用参数的统计结果对该内核处理单元进行分组处理；报文分配单元，用于根据内核调度单元当前分组的信息，将从报文接收单元接收的报文送入一组内核处理单元中。本发明还公开了一种实现自适应调度的多内核处理方法。通过本发明公开的多内核处理器及处理方法，实现了根据报文流量动态调配内核处理单元，发挥多内核处理器的优势；增大了系统的吞吐量，平衡了内核处理单元的处理报文数；进而提高了处理器的处理效率。

Description

实现自适应调度的多内核处理器及多内核处理方法

技术领域

本发明涉及多内核处理领域，特别是一种实现自适应调度的多内核处理器及处理方法。

背景技术

随着芯片技术和网络技术的发展，集成于一个芯片的多内核处理器技术日渐成熟并逐步应用到工业、家庭的数据处理领域，比如，英特尔(Intel)公司推出了双核的处理器Core 2 Duo，Raza微电子公司(RMI)推出了集成于同一芯片的、具有8个无内部互锁流水级的微处理器(Microprocessorwithout interlocked piped stages，简称MIPS)的处理器。这种多内核的处理器在数据的处理、运算方面，无疑具有较强的优势；但这种优势能够在多大程度上得到体现，取决于各个内核得到调用的充分性。特别是在将多核处理器应用到网络通信设备中时，由于进行网络报文处理的数据量庞大，多核处理器处理数据的能力直接影响到网络的性能，因此，如何对多个内核进行智能调度，使各个内核得到充分合理的调用，是网络设备设计人员格外关注的问题。

参见图1，为一个应用于网络通信设备的多内核处理器的结构逻辑示意图，包括N个内核处理器，其功能相同，都能够独立的进行运算和业务处理，例如，对于报文的处理/转发，对于外围内存的访问等等。这些处理器分别与报文接收单元和报文发送单元连接，其中，报文接收单元具有外围缓存，用于通过统一的高速传送总线和外围的网络物理端口连接，将通过网络物理端口接收的报文分别发送给各内核处理器，或者放到缓存中排队送入各内核处理器；报文发送单元用于将处理后的报文发送出去。

此时，多内核处理器中可以只有一个内核处理器进行工作，也可以所有的内核处理器都参与工作，也可以是其中的一部分参与工作；参与处理的处理器数量以及参与处理的处理器状态，直接影响到多内核处理器的处理效果。可见，如何实现各内核处理器的有效调度，是发挥多内核处理器优势的关键所在。

目前，应用在网络通信设备中的多内核处理器主要通过两种方式实现内核处理单元的调度。一种是时间片方式，即给每个内核设定一定的报文接收时间，使各个内核轮换启动数据接收进程，实现对网络报文的相对均衡处理；一种是共享内存的方式，即各个内核共享内存，随机或者按照业务类型选择内存数据进行处理。

但是，上述的两种方案都具有相当程度的随机性，而不能根据各内核的内部和外部环境综合的加以考虑。则如果其中一个内核出现故障或者超出负载的情况，将导致整个处理器的效率降低。

而参考多单核处理器系统的调度方式，例如中国专利申请01819421.4所公开的技术方案，本领域技术人员也在尝试在多内核处理器中使用一种是设置优先级的方式，即根据各个内核的使用率，包括CPU利用率、存储器利用率、分组丢失和队列长度或缓冲器占用等，进行动态的排序，每接收一个或者几个报文，就重新排序一次，选择使用率最低的内核进行处理。

但这种技术方案本身也存在缺陷，因为需要每次对所有的内核处理器进行排序，由于单个处理器的参数变化相对频繁，因此排序结果的变动很大，造成较大的工作开销；同时，由于不可能实现真正的实时操作，每次推送报文都是根据上一次的排序结果，因此将一批报文同时推送给一个内核也容易造成该内核的超负荷工作。

发明内容

本发明要解决的技术问题是提供实现自适应调度的多内核处理器及多内核处理方法，以克服现有技术中多内核处理器处理性能不佳的缺陷。

为实现上述目的，本发明提供了一种实现自适应调度的多内核处理器，包括用于缓存的报文接收单元、二个以上的内核处理单元和与内核处理单元连接的报文发送单元；还包括：

内核调度单元，用于统计每一内核处理单元的各使用参数，并根据所述各使用参数的统计结果对该内核处理单元进行分组处理；

报文分配单元，用于根据所述内核调度单元当前分组的信息，将从所述报文接收单元接收的报文送入一组内核处理单元中。

所述内核调度单元包括统计模块、比较模块和分组模块：

所述统计模块与所述内核处理单元连接，用于对每一内核处理单元的各使用参数进行统计并发送；

所述比较模块与所述统计模块连接，用于将接收到的各使用参数的统计结果与预设的门限值进行比较，当有N个使用参数达到或超过预设的门限值时，将所述内核处理单元设置为第M组内核处理单元，并发送该比较结果；

所述分组模块与所述比较模块连接，用于接收该比较结果，并根据该比较结果对内核处理单元进行分组处理；还与所述报文分配单元连接，用于向报文分配单元发送所述分组处理的结果信息。

为了减少多核处理器的功耗，较佳的技术方案是所述各内核处理单元包括休眠接口，由所述报文分配单元根据使用参数的统计结果，通过所述休眠接口对内核处理单元执行关闭/开启操作。

本发明还提供了一种实现自适应调度的多内核处理方法，包括以下步骤：

统计每一内核处理单元的各使用参数，并根据所述各使用参数的统计结果，对该内核处理单元进行分组处理；

当接收到报文时，根据当前分组的信息将接收到的报文送入一组内核处理单元中。

其中，根据所述使用参数的统计结果对各内核处理单元进行分组包括：将任一内核处理单元的使用参数与预设的门限值进行比较：

当有N个使用参数达到或超过预设的门限值时，将所述内核处理单元设置为第M组内核处理单元。

为了获得较佳的系统性能，将接收到的报文送入一组内核处理单元中包括：将接收到的报文送入第n组内核处理单元中，所述第n组内核处理单元为使用参数达到或超过预设的门限值数目最少的组。

为了发挥分组处理的优势，更佳的技术方案是按照所述组中的内核处理单元数目，将接收到的报文平均送入该组内核处理单元中。

为了减少多核处理器的功耗，较佳的技术方案是还包括根据使用参数的统计结果对内核处理单元执行关闭/开启操作，包括随机选择内核处理单元执行关闭/开启操作，或者按照预设的内核处理单元优先级次序选择内核处理单元执行关闭/开启操作。

由上述技术方案可知，本发明通过对各内核处理单元进行分组，具有以下有益效果：

1、根据报文流量动态调配内核处理单元，发挥多内核处理器的优势；

2、按组进行调配，增大系统的吞吐量，平衡内核处理单元的处理报文数；

3、提高处理器的处理效率。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为现有技术中应用于网络通信设备的多内核处理器的结构逻辑示意图；

图2为本发明所提供的实现自适应调度的多内核处理器的结构示意图；

图3为图2所示多内核处理器中，PSM的一个具体实施例的示意图；

图4为本发明所提供方法的一个实施例的流程图；

图5为本发明所提供方法的另一个实施例的流程图。

具体实施方式

为了克服现有技术中多内核处理器调度不灵活所导致的处理性能不佳的缺陷，本发明提供了一种实现自适应调度的多内核处理器和一种实现自适应调度的多内核处理方法，下面分别加以具体描述。

本发明所提供的实现自适应调度的多内核处理器，如图2所示，包括用于缓存的报文接收单元4；一个以上的内核处理单元3[i]，i取值为0、1......N，N+1为内核处理单元的个数；与每个内核处理单元3[i]连接的报文发送单元5；还包括内核调度单元(Processor switch module，简称PSM)1和报文分配单元2。

其中，报文接收单元4完成对报文的接收、缓存，具体为将从网络物理端口经过报文高速传送总线接收的报文在外围缓存中存储起来，并告知报文分配单元2，该告知方式可以采用中断方式。

各内核处理单元3[i]对报文分配单元2发送的报文进行处理，比如网络地址转换(Network Address Translation，简称NAT)，转发，业务处理等等。各内核处理单元3[i]将处理后的报文送入队列，并向报文发送单元5发送消息，指使该报文发送单元5进行发送。

报文发送单元5则是根据各内核处理器3[i]发送的消息，从处理完的报文队列中取出报文，并将报文通过报文高速传送总线送出网络物理端口。

而报文分配单元2和PSM 1则直接控制报文分配单元如何将报文发送给各内核处理单元3[i]。

具体而言，PSM 1分别与各内核处理单元3[i]连接，用于统计每一内核处理单元3[i]的使用参数，并根据各使用参数的统计结果对该内核处理单元3[i]进行分组处理。参见图3，为PSM 1的一个具体实施例，包括统计模块11、比较模块12和分组模块13：

所述统计模块11与所述内核处理单元3[i]连接，用于对每一内核处理单元的各使用参数进行统计并发送；

所述比较模块12与所述统计模块11连接，用于将接收到的各使用参数的统计结果与预设的门限值进行比较，并发送该比较结果；

所述分组模块13与所述比较模块12连接，用于接收该比较结果，并根据该比较结果对内核处理单元3[i]进行分组处理；还与所述报文分配单元2连接，用于向报文分配单元2发送所述分组处理的结果信息。

其中，统计每一内核处理单元3[i]的使用参数具体可以为按照一定的采样频率进行统计，该采样频率可以由工程技术人员根据实际需要设置，比如0.5秒、1秒等等。每到达采样时间，PSM 1就对各内核处理单元3[i]的使用参数进行动态的跟踪和采集，该使用参数包括各个内核处理器的运行情况及活跃状态，比如内核处理单元3[i]当前的报文会话数目，内核处理单元3[i]在单位时间内建立的报文会话数目，各内核处理单元3[i]当前的CPU利用率，各内核处理单元3[i]对应的网络端口数等等。PSM1对每个内核处理单元3[i]的使用参数进行统计，并根据统计结果进行分组，该分组方法可以根据实际需要确定，比如，将CPU利用率较低的内核处理单元分为一组，较高的内核处理单元分为另一组，则当报文分配单元2将报文送入CPU利用率较低的内核处理单元组中时，可以实现多个内核处理单元对报文的均衡分担，也可以保证内核处理单元的CPU利用率不致过高。

但仅就一个参数进行分组，不利于对多内核处理器综合处理能力的考量和利用，比如，当一个处理器的CPU利用率虽然不是很高，但是其单位时间建立的报文会话数目很大，则再对其输入报文，则可能造成其线程过多导致拥塞，CPU效率降低。因此，较佳的技术方案是PSM1根据多个使用参数进行分组，比如同时考虑内核处理单元当前的报文会话数目，内核处理单元单位时间内建立的报文会话数目和各内核处理单元当前的CPU利用率，当有N个使用参数达到或超过预设的门限值时，将所述内核处理单元设置为第M组内核处理单元。该N与M不存在对应关系，在可识别的范围内，可由工程技术人员进行实际设定和任意标识，比如数字、文字或者具有一定意义的词组。；例如，当任一使用参数都未达到预设的门限值时，将所述内核处理单元3[i]设置为第一组内核处理单元；当有且仅有一个使用参数达到或超过预设的门限值时，将所述内核处理单元3[i]设置为第二组内核处理单元；当有两个使用参数达到或超过预设的门限值时，将所述内核处理单元3[i]设置为第三组内核处理单元；依次类推；再例如，当任一使用参数都未达到预设的门限值时，将所述内核处理单元3[i]设置为绿色群组，当有且仅有一个使用参数达到或超过预设的门限值时，将所述内核处理单元3[i]设置为黄色群组，等等。一般来说，当报文分配单元将报文送入第一组内核处理单元时，该组内核处理单元的各项指标都不会在短时间内达到很高的水平，从而保证了处理器的处理效率。

报文分配单元2接收到报文后，从PSM 1获取当前的分组结果，并将报文流均衡地散布到性能最佳的内核处理单元组中。

可以看出，报文分配单元2是根据当前的分组结果进行报文的分配，并不是绝对实时。比如：采样频率为1次/秒，则在上一次采样过后、下一次采样时间还未到来的时间段内分配的报文，都是按照上一次采样结果进行的。绝对实时在技术上基本是难以实现的，本领域技术人员所能够做的是：提高采样频率，但这样将造成系统资源的大量消耗。因此，工程技术人员根据实际情况，通过试验寻找系统计算消耗和内核处理单元调度的平衡点确定采样频率，根据稍早的报文流量实现对内核处理单元的动态调配，比较符合实际情况。

综上所述，本发明所提供的实现自适应调度的多内核处理器，能够接近实时的根据报文流量动态调配内核处理单元，避免了现有技术中刻板轮换或者随机选择内核处理单元的缺陷，发挥了多内核处理器的优势；同时，由于按组进行调配，能够分散同一时刻的报文处理数量，相应的增大了系统的吞吐量，避免某一处理单元各项指标的突然升高，提高了系统的稳定性和处理效率。

为了减少多内核处理器的功耗，各内核处理单元3[i]包括休眠接口(图中未示)，由所述报文分配单元2根据使用参数的统计结果执行关闭/开启操作。比如，对于流量比较少的情况，对部分处理单元执行关闭(disable)操作，或在流量逐渐加大的情况下，对已关闭的内核处理单元执行开启(enable)操作，将部分流量散布到打开的内核处理单元中。

一般情况下，内核处理单元3[1]作为主处理单元，其承担的功能相对于其他内核处理单元而言较多一些，PSM1一般也设置在内核处理单元3[1]上。

本发明还提供了一种实现自适应调度的多内核处理方法，包括以下步骤：

统计每一内核处理单元的各使用参数，并根据所述各使用参数的统计结果，对该内核处理单元进行分组处理；

当接收到报文时，根据当前分组的信息将接收到的报文送入一组内核处理单元中。

统计每一内核处理单元3[i]的使用参数具体可以为按照一定的采样频率进行统计，该采样频率由工程技术人员根据实际需要设置，可以看出，本发明所提供的方法能够接近实时地根据报文流量动态调配内核处理单元，发挥多内核处理器的优势；同时进行分组调配，可以实现对报文总量的分摊，提高了系统的稳定性和处理效率，增大了系统的吞吐量。

其中，分组的方式比较多样，但为了克服以单一使用参数作为标准的片面性，较佳的实施例是采用多个使用参数综合统计，包括但不限于：内核处理单元当前的报文会话数目，内核处理单元单位时间内建立的报文会话数目和/或各内核处理单元当前的CPU利用率，还可以包括当前活动端口数目等等。

根据所述使用参数的统计结果对各内核处理单元进行分组包括将任一内核处理单元的使用参数与预设的门限值进行比较，当有N个使用参数达到或超过预设的门限值时，将所述内核处理单元设置为第M组内核处理单元。例如：

当任一使用参数都未达到预设的门限值时，将所述内核处理单元设置为第一组内核处理单元；

当有且仅有一个使用参数达到或超过预设的门限值时，将所述内核处理单元设置为第二组内核处理单元；

当有两个使用参数达到或超过预设的门限值时，将所述内核处理单元设置为第三组内核处理单元；依次类推。

其中，第一组、第二组的定义只是为了便于说明，PSM可以任意标识，能达到区分不同组别的效果即可。

为了提高多内核处理起的处理效率，将报文送到一组内核处理单元中最好为：将接收到的报文送入第n组内核处理单元中，所述第n组内核处理单元为使用参数达到或超过预设的门限值数目最少的组。以前述的分组方法为例，如果存在第一组内核处理单元，则将报文送至第一组；如果仅存在第二组以上的内核处理单元，则将报文送至第二组。但在实际应用中，如果标识的组别都接近于各项指标超负荷，则与现有技术的处理方法一致，不再向任何的内核处理单元送入报文，而是在缓存中暂存，等待当前的业务处理完成再进行送入处理，以避免出现多内核处理器的瘫痪或者死机。

为了克服随机将报文送入一组内核处理单元所带来的单个内核处理单元业务的突然升高，较佳的实施例为按照所述组中的内核处理单元数目，将接收到的报文平均送入该组内核处理单元中，即按照均衡分摊的原则，避免单一内核处理单元处理业务突然升高所导致的性能下降。

为了减小处理器功耗，较佳的实施例还包括根据使用参数的统计结果对内核处理单元执行关闭/开启操作。具体为当任一内核处理单元的使用参数都未达到预设的门限值时，选择一定数量的内核处理单元执行关闭操作，所述执行关闭操作后的内核处理单元处于休眠状态；以及当存在一定数量的内核处理单元处于休眠状态时，如果出现任一内核处理单元的使用参数达到或超过预设的门限值，则根据当前的报文流量选择全部或部分处于休眠状态的内核处理单元执行开启操作。其中，执行关闭/开启操作具体为随机选择内核处理单元执行关闭/开启操作或者按照预设的内核处理单元优先级次序选择内核处理单元执行关闭/开启操作。

参见图4，为实现自适应调度的多内核处理方法的一个实施例的流程图，包括：

步骤101、到达采样时间时，启动对内核处理单元的统计；

步骤102、将一个内核使用单元的使用参数与预设的门限值进行比较，当任一使用参数都未达到预设的门限值时，将所述内核处理单元设置为第一组内核处理单元；当有且仅有一个使用参数达到或超过预设的门限值时，将所述内核处理单元设置为第二组内核处理单元；当有两个使用参数达到或超过预设的门限值时，将所述内核处理单元设置为第三组内核处理单元；依次类推；

步骤103、检查是否全部的内核单元都获得统计，是则将统计结果作为当前分组的信息，执行步骤104，否则重新执行步骤102；

步骤104、检查当前分组的信息，对于最低组别也大于或者等于预设的最高门限值(如附图3中Vmax所示)的情况，执行步骤105，对于最高组别也小于或者等于预设的最低门限值(如附图3中Vmin所示)的情况，执行步骤108，对于其他情况，执行步骤109；

步骤105、检查是否存在处于休眠状态的内核处理单元，是则执行步骤106，否则执行步骤107；

步骤106、开启全部处于休眠的内核处理单元，并将报文均匀发送到所述开启后的内核处理单元，结束；

步骤107、拒绝本次报文，该批报文在缓存中暂存，结束；

步骤108、选择部分内核处理单元，执行关闭操作；

步骤109、将接收到的报文平均送入第n组内核处理单元中，所述n为当前所标记的组别的最小值，结束。

参见图5，为本发明所提供的自适应调度的多内核处理方法的另一个实施例的流程图，包括以下步骤：

步骤201、到达采样时间，启动对内核处理单元的统计；

步骤202、计算每个内核处理单元所处理的报文会话数目，记为Si；

步骤203、计算每个内核处理单元单位时间内建立的报文会话数目，记为Ci；

步骤204、计算每个内核处理单元的CPU使用率，记为Ki；

步骤205、将Si、Ci和Ki分别和与现配置的各内核的门限值G_Ci、G_Si和G_Ki比较，对于均未达到门限值的内核处理单元执行步骤206，对于一个数据达到门限值的内核处理单元执行步骤207，对于两个数据达到门限值的内核处理单元执行步骤208，对于三个数据都达到门限值的内核处理单元执行步骤209；

步骤206、将对应的每一内核处理单元标记为绿色，得到绿色群组(Green_Group)，执行步骤210；

步骤207、将对应的每一内核处理单元标记为黄色，得到黄色群组(Yellow_Group)，执行步骤210；

步骤208、将对应的每一内核处理单元标记为橙色，得到橙色群组(Orange_Group)，执行步骤210；

步骤209、将对应的每一内核处理单元标记为红色，得到红色群组(Red_Group)；

步骤210、建立调度方案，即新建会话流将发往绿色群组处理器；

步骤211、将该调度方案发送给报文分配单元；

步骤212、当接收到报文时，报文分配单元根据当前分组的信息，将接收到的报文送入绿色群组中。

最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (10)

1、一种实现自适应调度的多内核处理器，包括用于缓存报文的报文接收单元、二个以上的内核处理单元和与内核处理单元连接的报文发送单元；其特征在于还包括：

内核调度单元，用于统计每一内核处理单元的各使用参数，并根据所述各使用参数的统计结果对该内核处理单元进行分组处理；

报文分配单元，用于根据所述内核调度单元当前分组的信息，将从所述报文接收单元接收的报文送入一组内核处理单元中；

所述内核调度单元包括统计模块、比较模块和分组模块：

所述统计模块与所述内核处理单元连接，用于对每一内核处理单元的各使用参数进行统计并发送；

所述比较模块与所述统计模块连接，用于将接收到的各使用参数的统计结果与预设的门限值进行比较，当有N个使用参数达到或超过预设的门限值时，将所述内核处理单元设置为第M组内核处理单元，并发送该比较结果；

所述分组模块与所述比较模块连接，用于接收该比较结果，并根据该比较结果对内核处理单元进行分组处理；还与所述报文分配单元连接，用于向报文分配单元发送所述分组处理的结果信息。

2、根据权利要求1所述的多内核处理器，其特征在于所述内核处理单元包括休眠接口，由所述报文分配单元根据使用参数的统计结果，通过所述休眠接口对内核处理单元执行关闭或开启操作。

3、一种实现自适应调度的多内核处理方法，其特征在于包括以下步骤：

统计每一内核处理单元的各使用参数，将任一内核处理单元的使用参数与预设的门限值进行比较：当有N个使用参数达到或超过预设的门限值时，将所述内核处理单元设置为第M组内核处理单元；

当接收到报文时，根据当前分组的信息将接收到的报文送入一组内核处理单元中。

4、根据权利要求3所述的处理方法，其特征在于将接收到的报文送入一

组内核处理单元中包括：

将接收到的报文送入第n组内核处理单元中，所述第n组内核处理单元为使用参数达到或超过预设的门限值数目最少的组。

5、根据权利要求3或4所述的处理方法，其特征在于所述内核处理单元的使用参数包括：内核处理单元当前的报文会话数目，内核处理单元单位时间内建立的报文会话数目和/或各内核处理单元当前的CPU利用率。

6、根据权利要求3或4所述的处理方法，其特征在于将接收到的报文送入一组内核处理单元中包括：

按照所述组中的内核处理单元数目，将接收到的报文平均送入该组内核处理单元中。

7、根据权利要求3所述的处理方法，其特征在于还包括根据使用参数的统计结果对内核处理单元执行关闭或开启操作。

8、根据权利要求7所述的处理方法，其特征在于根据使用参数的统计结果对内核处理单元执行关闭操作包括：当任一内核处理单元的使用参数都未达到预设的门限值时，选择一定数量的内核处理单元执行关闭操作，所述执行关闭操作后的内核处理单元处于休眠状态。

9、根据权利要求7所述的处理方法，其特征在于根据使用参数的统计结果对内核处理单元执行开启操作包括：当存在一定数量的内核处理单元处于休眠状态时，如果出现任一内核处理单元的使用参数达到或超过预设的门限值，则根据当前的报文流量选择全部或部分处于休眠状态的内核处理单元执行开启操作。

10、根据权利要求7-9中任一权利要求所述的处理方法，其特征在于执行关闭或开启操作包括随机选择内核处理单元执行关闭或开启操作，或者按照预设的内核处理单元优先级次序选择内核处理单元执行关闭或开启操作。

Images