CN112799861A - 一种多核架构下流量限速无锁并发实现的方法 - Google Patents

Abstract

本发明公开了一种多核架构下流量限速无锁并发实现的方法，将令牌桶设计成循环免锁队列，队列长度为N；每一个处理数据流的CPU核分配一个令牌桶，处理数据流的核数为M；一个单独CPU核轮询访问M个免锁队列，往队列添加令牌；以C0表示添加令牌的CPU核，C0周期轮询给各个队列添加令牌，每个周期C0首先计算各个队列消耗令牌比例，把这个周期要添加的令牌按比例添加到各个队列中；处理数据流的CPU核，通过计算数据报大小获取自己队列的令牌，如果令牌不够，根据策略选择缓存或丢弃数据报文；本发明通过把令牌桶分布在不用CPU处理核上，把生产令牌核消费令牌分别处理，通过免锁队列实现令牌计算。

Description

一种多核架构下流量限速无锁并发实现的方法

技术领域

本发明涉及网络通信技术领域，具体是指一种多核架构下流量限速无锁并发实现的方法。

背景技术

流量限速和流量整形是数据通信设备的关键组件，例如，企业网络中，存在语音、视频和数据等多种不同的业务，当大量的业务流量进入网络侧时，可能会因为带宽不足产生拥塞，需要对三种业务提供不同的带宽，优先保证语音业务报文的转发，其次是视频业务，最后是数据业务。因此可以对不同业务进行不同的流量监督，为语音报文提供最大带宽，视频报文次之，数据报文带宽最小，从而在网络产生拥塞时，可以保证语音报文优先通过。

流量限速和流量整形是成熟的QoS(服务质量)技术，华为、锐捷和Juniper等主流企业的交换机和路由器都支持该技术，深信服的流量控制产品也基于流量限速和流量整形，所以，流量限速和流量整形技术应用非常广泛并且该技术也非常成熟，不同的是各个厂商在实现上各显神通，主要比拼的是控制的精度和处理的吞吐量。

流量限速和流量整形原理基本以令牌桶技术为基础，不同是各个厂家在实现上有所差别，令牌桶算法的基本过程是，每过1/R秒，令牌桶中增加一个令牌，桶中最多存放B个令牌，如果令牌桶满了，新放入的令牌会被丢弃，当一个N字节的数据包到达时，消耗N个令牌，然后发送该数据包，如果桶中可用令牌小于N，则该数据包将被缓存或丢弃。

目前处理器基本都是多核处理器，为了增加处理速度，数据流量流过设备时，设备多个CPU核要同时参与计算产生令牌和消费令牌的操作。为了防止对令牌桶数据的并发处理导致错误，一般通过自旋锁来保护多个CPU核共同处理的数据。

自旋锁的特点是，一个CPU执行spin_lock(自旋锁)，其它CPU需要在执行spin_lock时被阻塞，被阻塞的CPU不能继续执行也不会被释放。这导致了两个问题：

1.由于被阻塞的CPU不被释放，导致CPU资源浪费；

2.由于执行被阻塞，被处理的数据等待自旋锁释放资源，该数据得不到及时处理，导致数据延迟和吞吐量下降。

所以，一种多核架构下流量限速无锁并发实现的方法成为人们亟待解决的问题。

发明内容

本发明的目的是通过在多核架构下，使每一个CPU核能单独处理同一个令牌桶数据，来实现流量限速和流量整形，对任何一个CPU处理数据报文时，访问令牌桶数据不需要对令牌桶加锁，避免数据报文传输的延迟和提升CPU核的利用率。

为实现上述目的，本发明提供的技术方案为：一种多核架构下流量限速无锁并发实现的方法，包括以下步骤：

步骤1：将令牌桶设计成循环免锁队列，队列长度为N；

步骤2：每一个处理数据流的CPU核分配一个令牌桶，处理数据流的核数为M；

步骤3：一个单独CPU核轮询访问M个免锁队列，往队列添加令牌；

步骤4：以C0表示添加令牌的CPU核，C1、C2……CM表示消耗令牌处理流量数据的CPU核，C0周期轮询给各个队列添加令牌，每个周期C0首先计算各个队列消耗令牌比例，把这个周期要添加的令牌按比例添加到各个队列中；

步骤5：处理数据流的CPU核，通过计算数据报大小获取自己队列的令牌，如果令牌不够，根据策略选择缓存或丢弃数据报文。

作为改进：所述步骤1中令牌桶设计成循环免锁队列的方法如下：

初始化队列头H＝0，队列尾T＝0；消费令牌的CPU在获取令牌时检查(H-T+N+1)％(N+1)值，该值表示桶内令牌个数，消费的令牌K不能超过(H-T+N+1)％(N+1)，消费令牌后T＝(T+K)％(N+1)，分发令牌的CPU在分发令牌时检查(T-H+N)％(N+1)，该值表示可以添加的令牌个数，添加的令牌K不能超过(T-H+N)％(N+1)，添加令牌后H＝(H+K)％(N+1)，以上算法能够保证，消费令牌时必须令牌桶有令牌才能消费，添加令牌时，令牌桶有空的位置，才能添加令牌，这就保证了两个CPU核能同时访问同一个令牌桶。

作为改进：任何时刻，T指向的位置为空，所有长度为N的队列需要N+1个位置。

作为改进：所述步骤4中添加令牌个数的计算方法如下：

设一个令牌对应一个字节，处理添加令牌的C0执行频率为R，被限制的流量带宽为G字节每秒，求出每个周期添加令牌为K＝G/R；队列长度N，N为令牌缓存个数，一般设为N＝G；C1、C2……CM处理数据流量时，直接从对应的队列取令牌，根据取得令牌多少发送数据；C0每过1/R秒就启动添加令牌，这个时间可以取tick值，如果要求精度高，可以取CPU执行频率数据；C0获取上周期到本周期各个队列消耗令牌比例，按照这个比例给各个队列添加令牌，添加总数为K。

本发明与现有技术相比的优点在于：本发明通过把令牌桶分布在不用CPU处理核上，把生产令牌核消费令牌分别处理，通过免锁队列实现令牌计算；本发明实施简单，服务数据流在不同CPU处理核同时处理，在对某类服务数据限流时，使用本发明技术方案，在开启流量限速后，对原有性能几乎没有影响。

附图说明

图1是本发明一种多核架构下流量限速无锁并发实现的方法的处理流程图。

图2是本发明一种多核架构下流量限速无锁并发实现的方法的循环免锁队列的示意图。

具体实施方式

下面结合附图对本发明一种多核架构下流量限速无锁并发实现的方法做进一步的详细说明。

结合附图1-2，对本发明进行详细介绍。

一种多核架构下流量限速无锁并发实现的方法，包括以下步骤：

步骤1：将令牌桶设计成循环免锁队列，队列长度为N；

步骤2：每一个处理数据流的CPU核分配一个令牌桶，处理数据流的核数为M；

步骤3：一个单独CPU核轮询访问M个免锁队列，往队列添加令牌；

步骤4：以C0表示添加令牌的CPU核，C1、C2……CM表示消耗令牌处理流量数据的CPU核，C0周期轮询给各个队列添加令牌，每个周期C0首先计算各个队列消耗令牌比例，把这个周期要添加的令牌按比例添加到各个队列中；

步骤5：处理数据流的CPU核，通过计算数据报大小获取自己队列的令牌，如果令牌不够，根据策略选择缓存或丢弃数据报文。

所述步骤1中令牌桶设计成循环免锁队列的方法如下：

初始化队列头H＝0，队列尾T＝0；消费令牌的CPU在获取令牌时检查(H-T+N+1)％(N+1)值，该值表示桶内令牌个数，消费的令牌K不能超过(H-T+N+1)％(N+1)，消费令牌后T＝(T+K)％(N+1)，分发令牌的CPU在分发令牌时检查(T-H+N)％(N+1)，该值表示可以添加的令牌个数，添加的令牌K不能超过(T-H+N)％(N+1)，添加令牌后H＝(H+K)％(N+1)，以上算法能够保证，消费令牌时必须令牌桶有令牌才能消费，添加令牌时，令牌桶有空的位置，才能添加令牌，这就保证了两个CPU核能同时访问同一个令牌桶。

任何时刻，T指向的位置为空，所有长度为N的队列需要N+1个位置。

所述步骤4中添加令牌个数的计算方法如下：

设一个令牌对应一个字节，处理添加令牌的C0执行频率为R，被限制的流量带宽为G字节每秒，求出每个周期添加令牌为K＝G/R；队列长度N，N为令牌缓存个数，一般设为N＝G；C1、C2……CM处理数据流量时，直接从对应的队列取令牌，根据取得令牌多少发送数据；C0每过1/R秒就启动添加令牌，这个时间可以取tick值，如果要求精度高，可以取CPU执行频率数据；C0获取上周期到本周期各个队列消耗令牌比例，按照这个比例给各个队列添加令牌，添加总数为K。

本发明一种多核架构下流量限速无锁并发实现的方法的具体实施过程如下：

将令牌桶设计成循环免锁队列，队列长度为N；初始化队列头H＝0，队列尾T＝0；消费令牌的CPU在获取令牌时检查(H-T+N+1)％(N+1)值，该值表示桶内令牌个数，消费的令牌K不能超过(H-T+N+1)％(N+1)，消费令牌后T＝(T+K)％(N+1)，分发令牌的CPU在分发令牌时检查(T-H+N)％(N+1)，该值表示可以添加的令牌个数，添加的令牌K不能超过(T-H+N)％(N+1)，添加令牌后H＝(H+K)％(N+1)，以上算法能够保证，消费令牌时必须令牌桶有令牌才能消费，添加令牌时，令牌桶有空的位置，才能添加令牌，这就保证了两个CPU核能同时访问同一个令牌桶，需要注意的是，该设计需要任何时刻，T指向的位置为空，所有长度为N的队列需要N+1个位置。

每一个处理数据流的CPU核分配一个令牌桶，处理数据流的核数为M；一个单独CPU核轮询访问M个免锁队列，往队列添加令牌；以C0表示添加令牌的CPU核，C1、C2……CM表示消耗令牌处理流量数据的CPU核，C0周期轮询给各个队列添加令牌，每个周期C0首先计算各个队列消耗令牌比例，把这个周期要添加的令牌按比例添加到各个队列中；设一个令牌对应一个字节，处理添加令牌的C0执行频率为R，被限制的流量带宽为G字节每秒，求出每个周期添加令牌为K＝G/R；队列长度N，N为令牌缓存个数，一般设为N＝G；C1、C2……CM处理数据流量时，直接从对应的队列取令牌，根据取得令牌多少发送数据；C0每过1/R秒就启动添加令牌，这个时间可以取tick值，如果要求精度高，可以取CPU执行频率数据；C0获取上周期到本周期各个队列消耗令牌比例，按照这个比例给各个队列添加令牌，添加总数为K；处理数据流的CPU核，通过计算数据报大小获取自己队列的令牌，如果令牌不够，根据策略选择缓存或丢弃数据报文。

以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (4)

1.一种多核架构下流量限速无锁并发实现的方法，其特征在于，包括以下步骤：

步骤1：将令牌桶设计成循环免锁队列，队列长度为N；

步骤2：每一个处理数据流的CPU核分配一个令牌桶，处理数据流的核数为M；

步骤3：一个单独CPU核轮询访问M个免锁队列，往队列添加令牌；

步骤4：以C0表示添加令牌的CPU核，C1、C2……CM表示消耗令牌处理流量数据的CPU核，C0周期轮询给各个队列添加令牌，每个周期C0首先计算各个队列消耗令牌比例，把这个周期要添加的令牌按比例添加到各个队列中；

步骤5：处理数据流的CPU核，通过计算数据报大小获取自己队列的令牌，如果令牌不够，根据策略选择缓存或丢弃数据报文。

2.根据权利要求1所述的一种多核架构下流量限速无锁并发实现的方法，其特征在于：所述步骤1中令牌桶设计成循环免锁队列的方法如下：

初始化队列头H＝0，队列尾T＝0；消费令牌的CPU在获取令牌时检查(H-T+N+1)％(N+1)值，该值表示桶内令牌个数，消费的令牌K不能超过(H-T+N+1)％(N+1)，消费令牌后T＝(T+K)％(N+1)，分发令牌的CPU在分发令牌时检查(T-H+N)％(N+1)，该值表示可以添加的令牌个数，添加的令牌K不能超过(T-H+N)％(N+1)，添加令牌后H＝(H+K)％(N+1)，以上算法能够保证，消费令牌时必须令牌桶有令牌才能消费，添加令牌时，令牌桶有空的位置，才能添加令牌，这就保证了两个CPU核能同时访问同一个令牌桶。

3.根据权利要求2所述的一种多核架构下流量限速无锁并发实现的方法，其特征在于：任何时刻，T指向的位置为空，所有长度为N的队列需要N+1个位置。

4.根据权利要求1所述的一种多核架构下流量限速无锁并发实现的方法，其特征在于：所述步骤4中添加令牌个数的计算方法如下：

设一个令牌对应一个字节，处理添加令牌的C0执行频率为R，被限制的流量带宽为G字节每秒，求出每个周期添加令牌为K＝G/R；队列长度N，N为令牌缓存个数，一般设为N＝G；C1、C2……CM处理数据流量时，直接从对应的队列取令牌，根据取得令牌多少发送数据；C0每过1/R秒就启动添加令牌，这个时间可以取tick值，如果要求精度高，可以取CPU执行频率数据；C0获取上周期到本周期各个队列消耗令牌比例，按照这个比例给各个队列添加令牌，添加总数为K。

Images