CN102594670A - 多端口多流的调度方法、装置及设备 - Google Patents

Abstract

本发明提供一种多端口多流的调度方法、装置及设备。方法包括：分别根据每一类数据流在上一个调度周期内的信用值、所述类数据流的权重、以及在上一个调度周期内所述类数据流已发送的数据长度，获得各类数据流在当前调度周期内的信用值，所述在上一个调度周期内所述类数据流已发送的数据长度为上一个调度周期内全部端口中所述类数据流队列发送的数据长度之和；根据所述各类数据流在当前调度周期内的信用值确定所述各类数据流在当前调度周期内的调度优先级；根据各类数据流在当前调度周期内的调度优先级确定在当前调度周期内调度的第M类数据流队列。装置包括：信用值确定模块、优先级确定模块和数据流调度模块。设备包括上述装置。

Description

多端口多流的调度方法、装置及设备

技术领域

本发明涉及数据转发技术，尤其涉及一种多端口多流的调度方法、装置及设备，属于网络技术领域。

背景技术

在数据中心系统中，海量数据经过交换芯片进行转发，交换芯片也会有大量的数据包发送至CPU进行处理。由于CPU只有有限的数据包处理资源，所以，重要的数据包到CPU的延迟要求尽可能的短，不重要的数据包可以停滞甚至丢弃。因此，需要根据每个端口的流量类别来区分不同的数据包，然后通过CPU的权值配置和调度算法来合理分配流量的带宽。

常用的轮转调度算法包括简单优先排队(PQ)，公平排队(FQ)和加权轮转(WRR)。其中，简单优先排队的基本原理在于：只要高优先级队列中有报文，就会不处理低优先级队列。该算法简单，但对于低优先级的队列可能会一直得不到服务。公平排队的基本原理在于：在一个调度周期中，对每个队列轮流进行调度，空队列跳过。加权轮转的基本原理在于：按照服务质量(Quality of Service，简称为：QoS)的需求，将数据分为不同的队列，然后给每个队列设定一个权值，队列之间按照权值分配调度机会。一般情况下有两种实现方法。第一种是在一个调度周期中，每次让高优先级队列的报文发送不止一个单包，再继续下一个队列的调度。如此反复完成一个加权调度周期的队列按权值轮转的数据调度。另一种方法是：按照队列顺序进行间隔调度，即首先调度一个队列，然后按照顺序调度另一个队列，权值已耗尽的队列则不再调度。

上述几种轮转调度算法仅涉及一个端口的数据，而对于多个端口之间多个流队列的调度没有涉及。然而随着科学技术的不断发展，如何进行多端口多流调度也将成为本领域技术人员有待解决的问题。

发明内容

为了实现多端口多流的调度，本发明的第一个方面是提供一种多端口多流的调度方法，包括：

分别根据每一类数据流在上一个调度周期内的信用值、所述类数据流的权重、以及在上一个调度周期内所述类数据流已发送的数据长度，获得各类数据流在当前调度周期内的信用值，所述在上一个调度周期内所述类数据流已发送的数据长度为上一个调度周期内全部端口中所述类数据流队列发送的数据长度之和；

根据所述各类数据流在当前调度周期内的信用值确定所述各类数据流在当前调度周期内的调度优先级；

根据各类数据流在当前调度周期内的调度优先级确定在当前调度周期内调度的第M类数据流队列。

本发明的另一个方面是提供一种多端口多流的调度装置，包括：

信用值确定模块，用于分别根据每一类数据流在上一个调度周期内的信用值、所述类数据流的权重、以及在上一个调度周期内所述类数据流已发送的数据长度，获得各类数据流在当前调度周期内的信用值，所述在上一个调度周期内所述类数据流已发送的数据长度为上一个调度周期内全部端口中所述类数据流队列发送的数据长度之和；

优先级确定模块，用于根据所述各类数据流在当前调度周期内的信用值确定所述各类数据流在当前调度周期内的调度优先级；

数据流调度模块，用于根据各类数据流在当前调度周期内的调度优先级确定在当前调度周期内调度的第M类数据流队列。

本发明的还一个方面是提供一种多端口多流的调度设备，包括：端口、调度模块、bd管理模块、接口适配模块以及CPU，所述调度模块如上所述的多端口多流的调度装置。

本发明的技术效果是：分别根据每一类数据流上一调度周期内的信用值、权重以及在上一调度周期内已发送的数据长度获得每一类数据流在当前调度周期内的信用值，再根据信用值确定调度优先级，进而确定在当前调度周期内调度的数据流队列，有效实现了多端口多流的情况下数据流的调度。

附图说明

图1为本发明实施例一提供的用于完成数据传输的硬件系统结构示意图；

图2为本发明实施例一提供的数据传输的方法流程图；

图3为本发明实施例二提供的多端口多流的调度方法流程图；

图4为本发明实施例二提供的队列调度结构示意图；

图5为本发明实施例三提供的多端口多流的调度方法流程图；

图6为本发明实施例四提供的多端口多流的调度装置结构示意图。

具体实施方式

为了满足数据中心网络融合的需求，美国电气和电子工程师协会(Institute of Electrical and Electronics Engineers，简称为：IEEE)数据中心桥(Data Center Bridge，简称为：DCB)工作组对传统以太网协议进行了增强，使得以太网除了承载传统的IP流量之外，还能够承载存储和高性能集群计算业务。基于优先级的流量控制(Priority Flow Control，简称为：PFC)和增强传输选择(Enhanced Transmission Selection，简称为：ETS)是该工作组制定的两个标准。其中，PFC将实际的物理链路虚拟成基于802.1p优先级的8条逻辑链路，为每个逻辑链路单独提供不丢包的服务，使其能够与同一端口上的其他流量共存，某个业务的拥塞不会影响到其他业务。而ETS支持对802.1p类别中的流量进行分类，分成多个传输类(Traffic Class)，对每个传输类进行带宽分配。当其中一个传输类没有使用完分配给他的带宽时，其他传输类可以使用剩下的带宽。本发明实施例即是建立在上述两种标准的基础上。

需要说明的是，在数据传输的过程中，通常会涉及到多个硬件设备/硬件单元的参与，本发明实施例一中提供了这样一个硬件系统，用于完成数据的调度传输，该硬件系统的结构示意图可以如图1所示，在图1中，包括端口、缓存描述符(buffer descriptor，简称为：bd)管理模块、调度模块、接口适配模块和CPU。其中，每个端口有8个流队列，每个流队列对应一个传输类的服务等级。bd管理模块主要的作用在于：定期轮询CPU的bd环，实现读取bd和回写bd的功能，bd管理模块和调度模块的相互配合可以共同完成传输的bd管理。其中，bd的主要作用在于：提供当前bd和下一个bd地址、标识当前bd的所有者(CPU或FPGA)、标记数据包的开始和结束、标明缓存有效数据字节数以及错误指示等信息。调度模块即为实现下述数据流的调度方法的执行主体，调度模块主要的作用在于：获知流队列(FQ)有数据包待上传，并且bd管理模块中有空闲的缓存地址，则将FQ过来的数据传输给CPU，最后通知bd管理模块回写缓存并提供相应信息。该调度模块与bd管理模块均可以通过现场可编程门阵列(Field Programmable Gate Array，简称为：FPGA)芯片实现。接口适配模块主要的作用在于：适配FPGA芯片与CPU之间的数据接口。

图2为本发明实施例一提供的数据传输的方法流程图，如图2所示，该方法可以包括：

201、CPU根据用户的需求设置每一个流队列的权限值；

202、某个端口的数据包进入调度模块时，根据报文的分类暂存在相应的流队列中，并通告bd管理模块。

203、调度模块根据本发明后续实施例提供的数据流的调度方法进行数据流的调度，并向bd管理模块申请相应流的缓存信息并进行端口的调度；

204、bd管理模块根据调度模块的缓存请求，向CPU发起bd读请求；

如果收到可用bd，将可用bd中的数据缓存地址信息回送给调度模块。

205、调度模块判断是否收到数据缓存地址等信息；

如果收到，则将步骤203中调度的数据写入步骤204中的数据缓存地址，数据传输完毕，向bd管理模块提供已传输字节数、端口号和错误等缓存更新信息；

如果没收到，回到步骤203。

206、bd管理模块向CPU回写bd，并上报中断或其他通知信息。

下面，对步骤203中所说的数据流的调度方法进行详细的说明。

图3为本发明实施例二提供的多端口多流的调度方法流程图，如图3所示，该方法包括：

步骤301、数据流的调度装置分别根据每一类数据流在上一个调度周期内的信用值、该类数据流的权重、以及在上一个调度周期内该类数据流已发送的数据长度，获得各类数据流在当前调度周期内的信用值，其中在上一个调度周期内该类数据流已发送的数据长度为上一个调度周期内全部端口中该类数据流队列发送的数据长度之和。

需要说明的是，队列是报文在转发过程中的一种存储形式。当流量的速率超过端口带宽或者超过为该流量设置的带宽时，报文就会以队列的形式存储在端口的缓存中。报文离开队列的时间、顺序以及各个队列之间报文离开的相互关系由本发明实施例提供的方法决定。流队列(FQ)是实体队列，用于缓存用户各个业务流的数据报文，报文进入和离开队列时会有延迟。而虚拟的队列不存在实际的缓存单元，不能暂存数据报文，报文进入和离开队列时没有延迟。本发明实施例中所说的每一类数据流即为集合了全部端口中的该类数据流队列的数据流的总称。也即，如图4所示的队列调度结构示意图，将每个端口的流队列进行重新排列组合，将同种类型的流合并，相当于将各条流(本实施例以8条为例，但不用以限定流队列的实际数目)汇总，每条流由多个端口(本实施例以8个端口为例，但不用以限定端口的实际数目)中的相应类数据流队列组成。

每一类数据流的权重均由CPU进行设定。参见步骤201中的描述：“CPU根据用户的需求设置每一个流队列的权限值”，也即同一类数据流队列组成的数据流所拥有的权重即为步骤201中CPU设定的权限值。其中，假设第N类数据流的权重为Wn，则以Wn可以取0～255之间的任意值为例进行权重的具体说明：

当Wn为0时，可以表示不给该类数据流分配任何带宽；

当Wn为255时，可以表示按照流ID(如0～7)的顺序分配固定优先级(PQ)的带宽；

当Wn为1～254时，可以表示该类数据流分配的带宽比例为：

$\frac{\frac{1}{\mathrm{Wn}}}{\underset{i=1}{\overset{\mathrm{active}}{\mathrm{\Σ}}}\frac{1}{W_i}}$

其中，权重值越高，获得所分配的带宽越低，而且只在有效的队列之间分配总带宽。上标active用于表示有数据的流队列，对于无数据的流队列不考虑其占用带宽。

具体的，第N类数据流在当前调度周期内的信用值的计算可以如下式所示：

Credn＝Credn_prev+Wn*An_prev

其中，Credn表示第N类数据流在当前调度周期内的信用值，Credn_prev表示第N类数据流在上一个调度周期内的信用值，Wn表示第N类数据流的权重，An_prev表示在上一个调度周期内第N类数据流已发送的数据长度。其中，An_prev可以以字节为单位。

需要说明的是，上述第N类数据流在当前调度周期内的信用值的计算公式还可以具有多种变形。例如：Credn＝Credn_prev+An_prev/Wn。再如，对Credn_prev进行定时或者触发式的清零等，即Credn＝Wn*An_prev，或者，Credn＝An_prev/Wn等等。此处不做赘述。

步骤302、根据各类数据流在当前调度周期内的信用值确定各类数据流在当前调度周期内的调度优先级。

从上式中可以看出，信用值越高，也即累积越多、权重越高或者数据的发送量越大，该类数据流在当前调度周期内的调度优先级就越低。因此，可以将各类数据流在当前调度周期内的信用值分别进行比较，信用值越小，调度优先级越高。

具体的，信用值之间可以采用两两选择的思路，例如第N类数据流在当前调度周期内的信用值与第M类数据流在当前调度周期内的信用值相比较，N和M可以取任意值。也即在有效的流队列组成的数据流中，信用值越小，相应的数据流的调度优先级越高。如果信用值相等，则选择编号较小的一方。

步骤303、根据各类数据流在当前调度周期内的调度优先级确定在当前调度周期内调度的第M类数据流队列。

具体的，在各类数据流中，选择调度优先级最高的第M类数据流所对应的数据流队列进行调度。

本发明实施例提供的多端口多流的调度方法，分别根据每一类数据流上一调度周期内的信用值、权重以及在上一调度周期内已发送的数据长度获得每一类数据流在当前调度周期内的信用值，再根据信用值确定调度优先级，进而确定在当前调度周期内调度的数据流队列，有效实现了多端口多流的情况下数据流的调度。其中，基于有效队列进行实时仲裁，不会浪费时间去查询无效的队列。由于FPGA内部有现成的乘法器IP去实现信用值的计算，也有大量的选择器去实现所谓的“两两选择”，因此可以在固定的时钟周期内快速输出调度结果。

下面，对步骤203中所说的端口的调度方法进行详细的说明。如图5所示的本发明实施例三提供的多端口多流的调度方法流程图，在上述实施方式的基础上，步骤303之后，该方法还可以包括：

步骤304、根据组成该第M类数据流对应的第M类数据流队列所在端口的优先度从高到低的顺序，调度各端口。

通常情况下，可以基于端口公平的调度，令先接收到数据的端口先发送数据。但是，也要考虑应用场景的约束，也即，如果当前流没有可用的bd，那么已仲裁的端口就没有机会转发数据，但出于公平的目的，还需要保留已仲裁的端口的发送机会，因此，引入端口的优先度的概念。每一个端口的初始优先度都是相同的，如果第x个端口被调度时，有待发送的数据，但无法发送(例如，没有可用的缓存)，则端口的优先度增加；如果第x个端口被调度时，有待发送的数据，且可以发送，则优先度清零；如果第x个端口被调度时，无待发送的数据，则端口的优先度不变，其中，x为大于等于0的正整数。

需要说明的是，端口的优先度越高，说明端口的优先级越高。则该端口可以被优先调度。

本发明实施例提供的多端口多流的调度方法，在端口的调度中引入了优先度的概念，不仅实现了端口之间的调度公平，也在一定程度上实现了时间维度的公平。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图6为本发明实施例四提供的数据流的调度装置结构示意图，该装置可以通过FPGA实现，具体的调度流程可以参考上述方法实施例的介绍，此处不做赘述。如图6所示，该装置可以包括：信用值确定模块601、优先级确定模块602以及数据流调度模块603。其中，信用值确定模块601用于分别根据每一类数据流在上一个调度周期内的信用值、所述类数据流的权重、以及在上一个调度周期内所述类数据流已发送的数据长度，获得各类数据流在当前调度周期内的信用值，所述在上一个调度周期内所述类数据流已发送的数据长度为上一个调度周期内全部端口中所述类数据流队列发送的数据长度之和；优先级确定模块602用于根据所述各类数据流在当前调度周期内的信用值确定所述各类数据流在当前调度周期内的调度优先级；数据流调度模块603用于根据各类数据流在当前调度周期内的调度优先级确定在当前调度周期内调度的第M类数据流队列。

在上述实施方式的基础上，信用值确定模块601具体包括：计算单元，用于根据如下公式获得各类数据流在当前调度周期内的信用值：

Credn＝Credn_prev+Wn*An_prev

其中，Credn表示第N类数据流在当前调度周期内的信用值，Credn_prev表示第N类数据流在上一个调度周期内的信用值，Wn表示第N类数据流的权重，An_prev表示在上一个调度周期内第N类数据流已发送的数据长度。

在上述实施方式的基础上，优先级确定模块602具体包括：比较单元，用于将各类数据流在当前调度周期内的信用值分别进行两两比较，信用值越小，调度优先级越高。

在上述实施方式的基础上，数据流调度模块603具体包括：选择单元，用于在各类数据流中，选择调度优先级最高的第M类数据流所对应的数据流队列进行调度。

进一步的，该装置还可以包括：端口调度模块，用于根据组成所述第M类数据流对应的第M类数据流队列所在端口的优先度从高到低的顺序，调度各端口。

其中，端口调度模块还包括：计算单元，用于通过如下方式计算第M类数据流对应的第M类数据流队列所在端口的优先度：

设置每一个端口的初始优先度相同；

如果第x个端口被调度时，有待发送的数据，但无法发送，则优先度增加；

如果第x个端口被调度时，有待发送的数据，且可以发送，则优先度清零；

如果第x个端口被调度时，无待发送的数据，则优先度不变；

x为大于等于0的正整数。

本发明实施例五还提供了一种多端口多流的调度设备结构示意图，该设备中包括如图1所示的端口、调度模块、bd管理模块、接口适配模块以及CPU，具体的，图1中所示的调度模块如上述装置实施例所述的多端口多流的调度装置。需要说明的是，该多端口多流的调度装置可以作为多端口多流的调度设备的硬件组成存在于该设备中，也可以作为运行在该设备的软件功能模块存在于该设备中。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

1.一种多端口多流的调度方法，其特征在于，包括：

分别根据每一类数据流在上一个调度周期内的信用值、所述类数据流的权重、以及在上一个调度周期内所述类数据流已发送的数据长度，获得各类数据流在当前调度周期内的信用值，所述在上一个调度周期内所述类数据流已发送的数据长度为上一个调度周期内全部端口中所述类数据流队列发送的数据长度之和；

根据所述各类数据流在当前调度周期内的信用值确定所述各类数据流在当前调度周期内的调度优先级；

根据各类数据流在当前调度周期内的调度优先级确定在当前调度周期内调度的第M类数据流队列。

2.根据权利要求1所述的方法，其特征在于，所述分别根据每一类数据流在上一个调度周期内的信用值、所述类数据流的权重、以及在上一个调度周期内所述类数据流已发送的数据长度，获得各类数据流在当前调度周期内的信用值具体包括：

Credn＝Credn_prev+Wn*An_prev

其中，Credn表示第N类数据流在当前调度周期内的信用值，Credn_prev表示第N类数据流在上一个调度周期内的信用值，Wn表示第N类数据流的权重，An_prev表示在上一个调度周期内第N类数据流已发送的数据长度。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述各类数据流在当前调度周期内的信用值确定所述各类数据流在当前调度周期内的调度优先级具体包括：

将各类数据流在当前调度周期内的信用值分别进行比较，信用值越小，调度优先级越高。

4.根据权利要求3所述的方法，其特征在于，所述根据各类数据流在当前调度周期内的调度优先级确定在当前调度周期内调度的第M类数据流队列具体包括：

在各类数据流中，选择调度优先级最高的第M类数据流所对应的数据流队列进行调度。

5.根据权利要求1或2所述的方法，其特征在于，所述每一类数据流对应至少由一个端口中的相应类的数据流队列，则所述根据各类数据流在当前调度周期内的调度优先级确定在当前调度周期内调度的第M类数据流队列之后，所述方法还包括：

根据组成所述第M类数据流对应的第M类数据流队列所在端口的优先度从高到低的顺序，调度各端口。

6.根据权利要求5所述的方法，其特征在于，所述组成所述第M类数据流对应的第M类数据流队列所在端口的优先度的计算方法包括：

设置每一个端口的初始优先度相同；

如果第x个端口被调度时，有待发送的数据，但无法发送，则优先度增加；

如果第x个端口被调度时，有待发送的数据，且可以发送，则优先度清零；

如果第x个端口被调度时，无待发送的数据，则优先度不变；

x为大于等于0的正整数。

7.一种多端口多流的调度装置，其特征在于，包括：

信用值确定模块，用于分别根据每一类数据流在上一个调度周期内的信用值、所述类数据流的权重、以及在上一个调度周期内所述类数据流已发送的数据长度，获得各类数据流在当前调度周期内的信用值，所述在上一个调度周期内所述类数据流已发送的数据长度为上一个调度周期内全部端口中所述类数据流队列发送的数据长度之和；

优先级确定模块，用于根据所述各类数据流在当前调度周期内的信用值确定所述各类数据流在当前调度周期内的调度优先级；

数据流调度模块，用于根据各类数据流在当前调度周期内的调度优先级确定在当前调度周期内调度的第M类数据流队列。

8.根据权利要求7所述的装置，其特征在于，所述信用值确定模块具体包括：计算单元，用于根据如下公式获得各类数据流在当前调度周期内的信用值：

Credn＝Credn_prev+Wn*An_prev

其中，Credn表示第N类数据流在当前调度周期内的信用值，Credn_prev表示第N类数据流在上一个调度周期内的信用值，Wn表示第N类数据流的权重，An_prev表示在上一个调度周期内第N类数据流已发送的数据长度。

9.根据权利要求7或8所述的装置，其特征在于，优先级确定模块具体包括：比较单元，用于将各类数据流在当前调度周期内的信用值分别进行两两比较，信用值越小，调度优先级越高。

10.根据权利要求9所述的装置，其特征在于，所述数据流调度模块具体包括：选择单元，用于在各类数据流中，选择调度优先级最高的第M类数据流所对应的数据流队列进行调度。

11.根据权利要求7或8所述的装置，其特征在于，所述装置还包括：

端口调度模块，用于根据组成所述第M类数据流对应的第M类数据流队列所在端口的优先度从高到低的顺序，调度各端口。

12.根据权利要求11所述的装置，其特征在于，所述端口调度模块还包括：计算单元，用于通过如下方式计算所述第M类数据流对应的第M类数据流队列所在端口的优先度：

设置每一个端口的初始优先度相同；

如果第x个端口被调度时，有待发送的数据，但无法发送，则优先度增加；

如果第x个端口被调度时，有待发送的数据，且可以发送，则优先度清零；

如果第x个端口被调度时，无待发送的数据，则优先度不变；x为大于等于0的正整数。

13.根据权利要求7或8所述的装置，其特征在于，所述装置为可编程现场门阵列FPGA芯片。

14.一种多端口多流的调度设备，包括：端口、调度模块、bd管理模块、接口适配模块以及CPU，其特征在于，所述调度模块如上述权利要求7至13中任一项所述。

Images