CN112995060B - 一种基于硬件计数器的流量控制方法 - Google Patents

Abstract

本申请公开了一种基于硬件计数器的流量控制方法，提取报文的流ID；获取与流ID关联的计数器ID；获取与流ID对应的报文帧长；在硬件计数器的缓存中查询计数器ID；若查询未命中，从计数器ID对应的内存空间中加载报文至缓存；若查询命中，进入下一步；根据配置信息及报文帧长，计算缓存中的报文的流状态；根据流状态，处理报文。本申请提供的流量控制方法，无需片上流量管理模块来管控流量，而采用内存作为数据的存储空间，硬件计数器缓存作为数据处理空间，克服片上资源相对紧缺，能保存的数据有限，导致能同时管理的流的数量有限的缺陷，解决了大规模流量下控制数据的存储和处理问题，实现了大规模流量下对每条流的精准控制。

Description

一种基于硬件计数器的流量控制方法

技术领域

本发明涉及网络流量管控领域，特别是涉及一种基于硬件计数器的流量控制方法。

背景技术

随着现代网络技术的不断发展，网络的应用已经深入到方方面面，网络流量的增长不只是速率的提升，还有终端和应用数量的提升，尤其是后者，导致网络流量控制的服务场景中识别到的流的数量大增，从而对流量控制的规模提出了新的要求。

在网络流量控制的服务场景中，目前一般采用片上流量管理模块来实现对流量的管控。但是由于片上资源相对紧缺，能保存的数据有限，导致能同时管理的流的数量有限，无法实现在大规模流量场景或条件下，对每条流的精准控制，也就无法完全适应现代网络流的数量与日俱增的情况。

因此，提供一种能够实现在大规模流量场景或条件下对每条流的精准控制的流量控制方法，是本领域技术人员函待解决的问题。

发明内容

本发明的目的是提供了一种基于硬件计数器的流量控制方法，能够实现在大规模流量场景或条件下对每条流的精准控制，克服片上资源相对紧缺，能保存的数据有限，导致能同时管理的流的数量有限的缺陷，解决了大规模流量下控制数据的存储和处理问题。

本发明提供一种基于硬件计数器的流量控制方法，包括如下步骤：

提取报文的所述流ID；

获取与所述流ID关联的计数器ID；

获取与所述流ID对应的报文帧长；

在硬件计数器的缓存中查询所述计数器ID；

若查询未命中，从所述计数器ID对应的内存空间中加载所述报文至所述缓存；

若查询命中，进入下一步；

根据配置信息及所述报文帧长，计算所述缓存中的所述报文的流状态；

根据所述流状态，处理所述报文。

优选的，在所述提取报文的所述流ID之前，还包括：

将所述计数器ID与所述内存空间相关联；

将所述流ID与所述计数器ID相关联。

优选的，在所述将所述计数器ID与所述内存空间相关联之前，还包括：

根据流量规模和所述硬件计数器的数据长度，申请并清零相应内存容量的所述内存空间；

将所述内存空间的起始地址和所述内存容量发送给所述硬件计数器。

优选的，在将所述计数器ID与所述内存空间相关联之后，还包括：

发送配置信息至所述硬件计数器，所述配置信息包括配置ID和流控算法。

优选的，所述根据所述流状态，处理所述报文，具体为：

根据所述流状态和所述流控算法，获取检查结果；

若所述检查结果为通过，则将所述报文输出；

若所述检查结果为未通过，则将所述报文丢弃。

优选的，在所述将所述流ID与所述计数器ID相关联之后，还包括：

初始化所述计数器ID对应的所述内存空间。

具体为：

设置所述内存空间的初始信息，所述初始信息包括所述配置ID、生效时间戳、计数器有效标志位及令牌数。

优选的，在所述从所述计数器ID对应的内存空间中加载所述报文至所述缓存之后，还包括：

根据所述报文对应的所述生效时间戳和所述缓存中的所述生效时间戳，获取时间戳差值；

若所述时间戳差值超过令牌更新时间，根据所述配置ID和所述时间戳差值，获取当前的所述令牌数；

根据当前的所述令牌数，更新所述报文中的所述令牌数和所述生效时间戳。

优选的，在所述根据配置信息及所述报文帧长，计算所述缓存中的所述报文的流状态之后，还包括：

根据所述配置ID和所述时间戳差值，更新所述缓存中的所述令牌数和所述生效时间戳。

优选的，所述硬件计数器中设置有更新周期，所述缓存中的所述令牌数和所述生效时间戳依据所述更新周期定时更新。

本发明提供的流量控制方法基于硬件计数器，通过将数据保存在内存中，查询报文的流ID在硬件计数器缓存中的命中与否，若未命中则从计数器ID对应的内存空间中加载报文至缓存，计算缓存中报文的流状态，再根据流状态对报文进行相应的处理。由于无需片上流量管理模块来管控流量，而采用内存作为数据的存储空间，硬件计数器缓存作为数据处理空间，克服片上资源相对紧缺，能保存的数据有限，导致能同时管理的流的数量有限的缺陷，解决了大规模流量下控制数据的存储和处理问题，实现了大规模流量下对每条流的精准控制。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的流量控制方法的一个实施例的流程示意图；

图2为本发明提供的流量控制方法的另一个实施例的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

请参考图1，本发明实施例提供本发明提供一种基于硬件计数器的流量控制方法，包括如下步骤：

S101.提取报文的流ID；

S102.获取与流ID关联的计数器ID；

S103.获取与流ID对应的报文帧长；

S104.在硬件计数器的缓存中查询计数器ID；

S105.若查询未命中，从计数器ID对应的内存空间中加载报文至缓存；

若查询命中，进入下一步；

S106.根据配置信息及报文帧长，计算缓存中的报文的流状态；

S107.根据流状态，处理报文。

硬件计数器由专门硬件电路作成的，一般设置在SOC芯片里，而其相对的软件计数器是PLC内部的普通计数器，是利用计数脉冲的上升沿或者下降沿变化时发生中断，由CPU进行判断加减，计数频率不能太高，来完成一般的计数任务，由于脱离了CPU，因此硬件计数器的计数频率高，且无需依赖CPU即可完成计数任务。

在实际运行中，接收到报文后，执行步骤S101即提取报文中的流ID，而步骤S102和步骤S103可以是同时进行，也可以是无序的先后进行，即获取与流ID关联的计数器ID及与流ID对应的报文帧长，并将与之关联的计数器ID传递给硬件计数器后，执行步骤S104即在硬件计数器缓冲中查询是否有此计数器ID，如果未命中，则执行步骤S105即加载计数器ID关联的内存空间的报文数据到缓存中后，进入步骤S106，如果命中则直接进入步骤S106，而步骤S106即根据配置信息和报文帧长，计算此时在缓存中报文的流状态后，则执行步骤S107即在接收到流状态结果后，依据流状态决策报文丢弃与否，以此来实现流量的控制。

而相对的，运行上述方法的控制装置，包括报文处理模块、硬件计数器模块，其中报文处理模块执行报文收发以及流控查询的任务，其中包括报文接收、报文流状态查询、报文发送或丢弃等。而硬件计数器模块执行计数器管理和流控查询响应的任务，其中包括控制计数器状态、计数器缓存管理、流状态查询响应等。

本发明实施例提供的流量控制方法基于硬件计数器，通过将数据保存在内存中，查询报文的流ID在硬件计数器缓存中的命中与否，若未命中则从计数器ID对应的内存空间中加载报文至缓存，计算缓存中报文的流状态，再根据流状态对报文进行相应的处理。由于无需片上流量管理模块来管控流量，而采用内存作为数据的存储空间，硬件计数器缓存作为数据处理空间，克服片上资源相对紧缺，能保存的数据有限，导致能同时管理的流的数量有限的缺陷，解决了大规模流量下控制数据的存储和处理问题，实现了大规模流量下对每条流的精准控制。

优选的，如图2所示，在步骤S101即提取报文的流ID之前，还包括：

S201.将计数器ID与内存空间相关联；

S202.将流ID与计数器ID相关联。

即根据业务需求，硬件计数器将每个计数器ID与其中一段的内存空间关联起来，并且将流ID与计数器ID关联，实现提前将每个计数器ID分配相对应的内存空间，其中在本实施例中的流ID直接等于计数器ID。

优选的，在步骤S201即将计数器ID与内存空间相关联之前，还包括：

根据流量规模和硬件计数器的数据长度，申请并清零相应内存容量的内存空间；

将内存空间的起始地址和内存容量发送给硬件计数器。

在实际使用中，分配内存空间以及将计数器ID关联内存空间的方法有很多中，本实施例中采用的为根据流量规模和每个硬件计数器数据长度，申请相应大小的内存空间，并清零，然后下发内存起始地址和容量大小给硬件计数器。

优选的，在步骤S201即将计数器ID与内存空间相关联之后，还包括：

发送配置信息至硬件计数器，配置信息包括配置ID和流控算法。

根据业务需求，下发配置ID、流控算法类型、令牌桶大小、速率等配置信息给硬件计数器，硬件计数器将其保存在配置ID的存储空间，以便于在步骤S106中提供预设的配置信息。

优选的，如图2所示，步骤S107即根据流状态，处理报文，具体为：

S501.根据流状态和流控算法，获取检查结果；

S502.若检查结果为通过，则将报文输出；

S503.若检查结果为未通过，则将报文丢弃。

流控算法也可以叫做流量整形典型作用是限制流出某一网络的某一连接的流量与突发，使这类报文以比较均匀的速度向外发送。

常见的流控算法有四种，计数器，漏桶算法和令牌桶算法。

计数器，一种比较简单的限流算法，用途比较广泛，在接口层面，很多地方使用这种方式限流。在一段时间内，进行计数，与阀值进行比较，到了时间临界点，将计数器清0。计数器限流存在时间临界点的问题，比如每分钟限速100个请求，第59秒来了100个请求，第61秒又来了100个请求，59秒到61秒瞬间来了200个请求。

滑动窗口则是把固定时间片，进行划分，并且随着时间的流逝，进行移动，这样就巧妙的避开了计数器的临界点问题。也就是说这些固定数量的可以移动的格子，将会进行计数判断阀值，因此格子的数量影响着滑动窗口算法的精度。虽然滑动窗口有效避免了时间临界点的问题，但是依然有时间片的概念。滑动窗口由于需要存储多份的计数器，每个窗口一份计数器，所以滑动窗口在实现上需要更多的存储空间。也就是说，如果滑动窗口的精度越高，需要的存储空间就越大。

漏桶算法算法思路很简单，水(请求)先进入到漏桶里，漏桶以一定的速度出水(接口有响应速率)，当水流入速度过大会直接溢出(访问频率超过接口响应速率)，然后就拒绝请求，可以看出漏桶算法能强行限制数据的传输速率，因为漏桶的漏出速率是固定的参数，所以，即使网络中不存在资源冲突(没有发生拥塞)，漏桶算法也不能使流突发到端口速率。因此，漏桶算法对于存在突发特性的流量来说缺乏效率。

而令牌桶算法是和漏桶算法效果一样但方向相反的算法，更加容易理解。随着时间流逝，系统会按恒定1/QPS时间间隔(如果QPS=100，则间隔是10ms)往桶里加入令牌(想象和漏洞漏水相反，有个水龙头在不断的加水)，如果桶已经满了就不再加了，新请求来临时，会各自拿走一个令牌，如果没有令牌可拿了就阻塞或者拒绝服务。令牌桶的另外一个好处是可以方便的改变速度，一旦需要提高速率，则按需提高放入桶中的令牌的速率，一般会定时(比如100毫秒)往桶中增加一定数量的令牌，有些变种算法则实时的计算应该增加的令牌的数量。

在本实施例中采用令牌桶算法，下面针对令牌桶算法进行对应的步骤详细说明。

优选的，在步骤S202即在将流ID与计数器ID相关联之后，还包括：

初始化计数器ID对应的内存空间。

具体为：

设置内存空间的初始信息，初始信息包括配置ID、生效时间戳、计数器有效标志位及令牌数。

即将内存空间的配置ID、生效时间戳、计数器有效标志位及令牌数进行有效定义或设置，以便后续步骤的直接调用。

优选的，在步骤S105即在从计数器ID对应的内存空间中加载报文至缓存之后，还包括：

根据报文对应的生效时间戳和缓存中的生效时间戳，获取时间戳差值；

若时间戳差值超过令牌更新时间，根据配置ID和时间戳差值，获取当前的令牌数；

根据当前的令牌数，更新报文中的令牌数和生效时间戳。

由于采用令牌桶算法，更新令牌时，是根据时间戳差值和配置ID里配置的单位时间令牌数以及令牌桶大小来进行的，时间戳差值乘以单位时间令牌数是要增加的令牌数，如果超过令牌桶大小的上限值，则按令牌桶的最大令牌数进行配置。而获取时间戳差值，是为了让报文中的令牌数和生效时间戳是最新值，即将报文中的相关数据或信息更新。

优选的，在步骤S106即在根据配置信息及报文帧长，计算缓存中的报文的流状态之后，还包括：

根据配置ID和时间戳差值，更新缓存中的令牌数和生效时间戳。

与前述类似，保障缓存中的令牌数和生效时间戳是最新值，即将缓存中的相关数据或信息更新。

优选的，硬件计数器中设置有更新周期，缓存中的令牌数和生效时间戳依据更新周期定时更新，以便维持缓存中令牌数和生效时间戳在周期更新的作用下，一直保持有效更新。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个模块或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

另外，在本发明各实施例中的各功能模块可以全部集成在一个处理器中，也可以是各模块分别单独作为一个器件，也可以两个或两个以上模块集成在一个器件中；本发明各实施例中的各功能模块既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令及相关的硬件来完成，前述的程序指令可以存储于计算机可读取存储介质中，该程序指令在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于硬件计数器的流量控制方法，其特征在于，包括如下步骤：

提取报文的流ID；

获取与所述流ID关联的计数器ID；

获取与所述流ID对应的报文帧长；

在硬件计数器的缓存中查询所述计数器ID；

若查询未命中，从所述计数器ID对应的内存空间中加载所述报文至所述缓存；

若查询命中，进入下一步；

根据配置信息及所述报文帧长，计算所述缓存中的所述报文的流状态；

根据所述流状态，处理所述报文。

2.根据权利要求1所述的流量控制方法，其特征在于，在所述提取报文的所述流ID之前，还包括：

将所述计数器ID与所述内存空间相关联；

将所述流ID与所述计数器ID相关联。

3.根据权利要求2所述的流量控制方法，其特征在于，在所述将所述计数器ID与所述内存空间相关联之前，还包括：

根据流量规模和所述硬件计数器的数据长度，申请并清零相应内存容量的所述内存空间；

将所述内存空间的起始地址和所述内存容量发送给所述硬件计数器。

4.根据权利要求2所述的流量控制方法，其特征在于，在将所述计数器ID与所述内存空间相关联之后，还包括：

发送配置信息至所述硬件计数器，所述配置信息包括配置ID和流控算法。

5.根据权利要求4所述的流量控制方法，其特征在于，所述根据所述流状态，处理所述报文，具体为：

根据所述流状态和所述流控算法，获取检查结果；

若所述检查结果为通过，则将所述报文输出；

若所述检查结果为未通过，则将所述报文丢弃。

6.根据权利要求4所述的流量控制方法，其特征在于，在所述将所述流ID与所述计数器ID相关联之后，还包括：

初始化所述计数器ID对应的所述内存空间；

具体为：

设置所述内存空间的初始信息，所述初始信息包括所述配置ID、生效时间戳及令牌数。

7.根据权利要求4所述的流量控制方法，其特征在于，在所述从所述计数器ID对应的内存空间中加载所述报文至所述缓存之后，还包括：

根据所述报文对应的生效时间戳和所述缓存中的所述生效时间戳，获取时间戳差值；

若所述时间戳差值超过令牌更新时间，根据所述配置ID和所述时间戳差值，获取当前的令牌数；

根据当前的所述令牌数，更新所述报文中的所述令牌数和所述生效时间戳。

8.根据权利要求7所述的流量控制方法，其特征在于，在所述根据配置信息及所述报文帧长，计算所述缓存中的所述报文的流状态之后，还包括：

根据所述配置ID和所述时间戳差值，更新所述缓存中的所述令牌数和所述生效时间戳。

9.根据权利要求8所述的流量控制方法，其特征在于，所述硬件计数器中设置有更新周期，所述缓存中的所述令牌数和所述生效时间戳依据所述更新周期定时更新。

Images