CN115065640B - 一种流表管理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明涉及一种流表管理方法、装置、电子设备及存储介质，应用于网络安全技术领域，该方法包括：根据网络的五元组建立流表项并确定哈希桶，对哈希桶加写锁并将流表项插入哈希桶；根据五元组查找待使用的哈希桶，对待使用的哈希桶加读锁并使用加读锁后待使用的哈希桶中的流表项；设置多种老化策略，基于多种老化策略老化加读锁后待使用的哈希桶中的流表项。本发明提供的一种流表管理方法、装置、电子设备及存储介质，设置了读锁和写锁，降低了流表项使用时锁保护的时间，从而提高了整个系统的处理性能，且设置了多个老化策略，多个老化策略可以设置多个老化时间，避免只使用一个老化时间，从而减少了系统内存的消耗，提高了内存周转率。

Description

一种流表管理方法、装置、电子设备及存储介质

技术领域

本发明涉及网络安全技术领域，尤其涉及一种流表管理方法、装置、电子设备及存储介质。

背景技术

在网络安全领域，需要对网络流量进行分析，在对网络流量的处理中，需要根据流量中的五元组（源IP、目的IP、源端口、目的端口、协议号）建立流表项，这些流表项就构成了流表。对流表项的管理主要有三个操作：插入流表项、使用流表项、老化流表项。

现有技术中，通常设置一个流表老化时间，老化所有的流表项，老化流表项线程和使用流表项线程是异步进行的，而且一般是一个老化线程，多个使用线程，为了保障使用流表项的安全，必须在使用流表项的全过程中使用锁保护。

但是，现有技术中只设置一个老化时间老化所有流表，非常消耗内存，内存周转率低，且对业务分析的全流程使用锁保护，会造成锁定的时间较长，降低了整个系统的处理性能。

发明内容

有鉴于此，有必要提供一种流表管理方法、装置、电子设备及存储介质，用以解决现有技术中只设置一个老化时间且锁保护时间长，导致的系统运行效率低的问题。

为达到上述技术目的，本发明采取了以下技术方案：

第一方面，本发明提供了一种流表管理方法，包括：

根据网络的五元组建立流表项并确定哈希桶，对哈希桶加写锁并将流表项插入哈希桶；

根据五元组查找待使用的哈希桶，对待使用的哈希桶加读锁并使用加读锁后待使用的哈希桶中的流表项；

设置多种老化策略，基于多种老化策略老化加读锁后待使用的哈希桶中的流表项。

优选的，根据网络的五元组确定哈希桶，包括：

根据五元组进行哈希计算得到哈希价值；

根据哈希价值确定相应的哈希桶。

优选的，将流表项插入哈希桶，包括：

在将流表项插入哈希桶的同时，初始化流表项的参数。

优选的，流表项的参数包括流表项时间戳、流表项老化时间、流表项应用类型以及流表项引用计数；初始化流表项的参数，包括：

将流表项引用计数设置为零，根据流表项应用类型设置流表项老化时间，将流表项时间戳设置为系统当前时间。

优选的，根据五元组查找待使用的哈希桶，对待使用的哈希桶加读锁之后，包括：

将流表项引用计数加一，将流表项时间戳设置为系统当前时间并释放读锁。

优选的，设置多种老化策略，包括：

获取流表项数量，基于流表项数量设置流表项数量老化策略；

基于TCP流结束标识设置TCP流结束标识老化策略；

基于应用层中流结束标识设置应用层中流结束标识老化策略；

基于流表项应用类型设置流表项应用类型老化策略。

优选的，基于多种老化策略老化加读锁后待使用的哈希桶的流表项，包括：

根据流表项数量确定老化因子；

根据系统当前时间、流表项时间戳以及流表项老化时间判断流表项是否老化完成；

当流表项老化未完成时，根据老化因子和流表项老化时间加速老化流表项；

当流表项老化完成时，释放流表项引用计数为零的流表项并将流表项引用计数不为零的流表项插入回收链表。

第二方面，本发明还提供了一种流表管理装置，包括：

插入模块，用于根据网络的五元组建立流表项并确定哈希桶，对哈希桶加写锁并将流表项插入哈希桶；

使用模块，用于根据五元组查找待使用的哈希桶，对待使用的哈希桶加读锁并使用加读锁后待使用的哈希桶中的流表项；

老化模块，用于设置多种老化策略，基于多种老化策略老化加读锁后待使用的哈希桶中的流表项。

第三方面，本发明还提供了一种电子设备，包括存储器和处理器，其中，

存储器，用于存储程序；

处理器，与存储器耦合，用于执行存储器中存储的程序，以实现上述任一种实现方式中的流表管理方法中的步骤。

第四方面，本发明还提供了一种计算机可读存储介质，用于存储计算机可读取的程序或指令，程序或指令被处理器执行时，能够实现上述任一种实现方式中的流表管理方法中的步骤。

采用上述实施例的有益效果是：本发明提供的一种流表管理方法、装置、电子设备及存储介质，分别在插入流表项和使用流表项的过程中设置了写锁和读锁，不用全程对流表项进行锁定，只设置了小范围的读写锁，保护关键流程不保护整个流程，流表管理的过程中耗时短，降低了流表项在使用时锁保护的时间，从而提高了整个系统的处理性能，且设置了多个老化策略，多个老化策略可以设置多个老化时间，避免只使用一个老化时间，从而减少了系统内存的消耗，提高了内存周转率。

附图说明

图1为本发明提供的流表管理方法的一实施例的流程示意图；

图2为本发明提供的哈希流表的一实施例的结构示意图；

图3为本发明提供的流表管理装置的一实施例的结构示意图；

图4为本发明实施例提供的电子设备的结构示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在对本申请的实施例进行阐述之前，对相关词语进行解释：

Hash：一般翻译做“散列”，也有直接音译为“哈希”；Hash是指将任意长度的输入通过散列算法变换成固定长度的输出，该输出称之为散列值。上述通过散列算法变换输出长度一般利用压缩映射方式，一般而言，压缩映射是指将任意长度的消息压缩到某一固定长度的消息摘要的函数。在压缩映射中，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，所以不可能从散列值来唯一的确定输入值。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本发明提供了一种流表管理方法、装置、电子设备及存储介质，以下分别进行说明。

请参阅图1，图1为本发明提供的流表管理方法的一实施例的流程示意图，本发明的一个具体实施例，公开了一种流表管理方法，包括：

S101、根据网络的五元组建立流表项并确定哈希桶，对哈希桶加写锁并将流表项插入哈希桶；

S102、根据五元组查找待使用的哈希桶，对待使用的哈希桶加读锁并使用加读锁后待使用的哈希桶中的流表项；

S103、设置多种老化策略，基于多种老化策略老化加读锁后待使用的哈希桶中的流表项。

与现有技术相比，本实施例提供的一种流表管理方法，分别在插入流表项和使用流表项的过程中设置了写锁和读锁，不用全程对流表项进行锁定，只设置了小范围的读写锁，保护关键流程不保护整个流程，流表管理的过程中耗时短，降低了流表项在使用时锁保护的时间，从而提高了整个系统的处理性能，且设置了多个老化策略，多个老化策略可以设置多个老化时间，避免只使用一个老化时间，从而减少了系统内存的消耗，提高了内存周转率。

在上述实施例中，网络安全领域需要对网络流量进行分析，在对网络流量的处理中，需要根据流量中的五元组建立流表项，这些流表项就构成了流表。对流表项的管理主要有三个操作：插入流表项、使用流表项、老化流表项。

读锁又称共享锁(S锁)，若事务T对数据对象A加上S锁，则事务T可以读A但不能修改A，其他事务只能再对A加S锁，而不能加X锁，直到T释放A上的S 锁。这保证了其他事务可以读A，但在T释放A上的S锁之前不能对A做任何修改。

写锁又称排他锁(X锁)，若事务T对数据对象A加上X锁，事务T可以读A也可以修改A，其他事务不能再对A加任何锁，直到T释放A上的锁。这保证了其他事务在T释放A上的锁之前不能再读取和修改A。本方案在插入流表和使用流表时，分别设置了读锁和写锁，保护了关键的流程，降低了锁定的时间。

流表根据设置的老化时间进行老化，老化时间决定了流表的老化效率，本申请中的老化时间会根据老化策略进行调整，即根据实际情况进行确定，从而实现加速老化，提升系统的运行效率。

在本发明的一些实施例中，根据网络的五元组确定哈希桶，包括：

根据五元组进行哈希计算得到哈希价值；

根据哈希价值确定相应的哈希桶。

在上述实施例中，请参阅图2，图2为本发明提供的哈希流表的一实施例的结构示意图，根据网络流的五元组（源IP、目的IP、源端口、目的端口、协议号）建立新的流表项，并根据五元组进行哈希（Hash）计算得到Hash Value，根据Hash Value匹配到相应的Hash桶，之后还需要对该Hash桶加写锁（write_lock）。

其中，RWLock表示每个桶的桶锁，读写锁；Head表示每个桶的链表头；Next表示指向下一个流表项的指针；Five Tuple表示流表项的五元组；TimeOut表示流表项的老化时间；AppType表示流表项的应用类型；RefCnt表示流表项的引用计数；TimeStamp表示流表项的时间戳。

对该哈希桶加写锁后，还可以在使用该哈希桶时根据需要进行修改，起到了对关键流程进行保护的作用，且不影响其功能的正常运行。

在本发明的一些实施例中，将流表项插入哈希桶，包括：

在将流表项插入哈希桶的同时，初始化流表项的参数。

在上述实施例中，根据网络的五元组建立新的流表项后，流表项还具有多个参数，这些参数在流表的使用过程中有着重大作用，在建立流表项之后，需要将其初始化，将参数进行统一。

在本发明的一些实施例中，流表项的参数包括流表项时间戳、流表项老化时间、流表项应用类型以及流表项引用计数；初始化流表项的参数，包括：

将流表项引用计数设置为零，根据流表项应用类型设置流表项老化时间，将流表项时间戳设置为系统当前时间。

在上述实施例中，获取锁后，将新的流表项插入到Hash桶的头部，将该流表项的引用计数设置为0，并根据该流表项的应用类型设置该流表项的老化时间，初始化流表项的时间戳为系统当前时间，然后释放锁（write_unlock）。

需要说明的是，本申请需要实时获取系统当前时间，系统当前时间是指在执行对应操作时的系统时间，而不是某一操作中确定的固定不变的时间。

在本发明的一些实施例中，根据五元组查找待使用的哈希桶，对待使用的哈希桶加读锁之后，包括：

将流表项引用计数加一，将流表项时间戳设置为系统当前时间并释放读锁。

在上述实施例中，根据网络流的五元组进行Hash计算得到Hash Value，根据HashValue匹配到相应的Hash桶，对该Hash桶加读锁（read_lock），获取锁后，将该流表项的引用计数加1，更新流表项的时间戳为当前时间，然后释放锁（read_unlock），就将该流表项交给业务分析流程使用，业务分析流程使用完该流表项后。如果该流表项的应用类型变化，根据新的应用类型，更新该流表项的老化时间和应用类型。如果检测到TCP流的结束标识，将该流表项的老化时间*0.5。如果检测到应用层中流的结束标识，将该流表项的老化时间*0.5。最后该流表项已经使用完，将该流表项的引用计数减1。

在本发明的一些实施例中，设置多种老化策略，包括：

获取流表项数量，基于流表项数量设置流表项数量老化策略；

基于TCP流结束标识设置TCP流结束标识老化策略；

基于应用层中流结束标识设置应用层中流结束标识老化策略；

基于流表项应用类型设置流表项应用类型老化策略。

在上述实施例中，基于流表项数量老化策略：设置两个流表项数量阈值：一般阈值A：当流表中的流表项数量超过阈值A，将流表中所有的老化时间*0.8，加速流表项老化。

紧急阈值B：当流表中流表项数量超过阈值B，将流表中所有的老化时间*0.5，加速流表项老化。

基于TCP流结束标识老化策略：当遇到TCP的FIN或RST报文时，将该流表项的老化时间*0.5，加速老化。

基于应用层中流结束标识老化策略：当遇到SMTP流中的QUIT结束标识时，将该流表项的老化时间*0.5，加速老化。

基于流表项应用类型老化策略：根据应用类型，设置流表项的老化时间。长连接应用，设置该流表项的老化时间为60秒。中连接应用：设置该流表项的老化时间为30秒。短连接应用：设置该流表项的老化时间为20秒。

在本发明的一些实施例中，基于多种老化策略老化加读锁后待使用的哈希桶的流表项，包括：

根据流表项数量确定老化因子；

根据系统当前时间、流表项时间戳以及流表项老化时间判断流表项是否老化完成；

当流表项老化未完成时，根据老化因子和流表项老化时间加速老化流表项；

当流表项老化完成时，释放流表项引用计数为零的流表项并将流表项引用计数不为零的流表项插入回收链表。

在上述实施例中，间隔1秒循环执行以下老化流程：根据流表中的流表项数量判断加速老化因子Factor的值：流表项数量<一般阈值A：Factor=1一般阈值A<流表项数量<紧急阈值B：Factor=0.8紧急阈值B<流表项数量：Factor = 0.5。

顺序遍历Hash表中所有Hash桶：对该Hash桶尝试进行加写锁（write_trylock）：如果加写锁失败，则处理下一个Hash桶。如果加写锁成功，则依次遍历该桶中的所有流表项，对每个流表项执行以下操作：如果当前时间-流表项的时间戳<流表项的老化时间：说明还没有到达老化时间，执行：流表项的老化时间（新）=流表项的老化时间（老）*加速老化因子Factor。

如果当前时间-流表项中的时间戳>=流表项中的老化时间：说明已经到达老化时间，将该流表项从Hash桶的链表中摘链，释放锁（write_unlock），读流表项的引用计数RefCnt，如果RefCnt==0,直接释放该流表项。如果RefCnt>0,将该流表项插入回收链表中。

当处理完一遍所有的流表项后，再遍历回收链表，对RefCnt==0的流表项进行释放。

需要说明的是，本方案可以基于多个老化策略，对流表项老化时间进行调整，避免所有流表项都只根据一个老化时间进行老化，因此，减少了内存消耗，提高了内存周转率。

为了更好实施本发明实施例中的流表管理方法，在流表管理方法基础之上，对应的，请参阅图3，图3为本发明提供的流表管理装置的一实施例的结构示意图，本发明实施例提供了一种流表管理装置300，包括：

插入模块301，用于根据网络的五元组建立流表项并确定哈希桶，对哈希桶加写锁并将流表项插入哈希桶；

使用模块302，用于根据五元组查找待使用的哈希桶，对待使用的哈希桶加读锁并使用加读锁后待使用的哈希桶中的流表项；

老化模块303，用于设置多种老化策略，基于多种老化策略老化加读锁后待使用的哈希桶中的流表项。

这里需要说明的是：上述实施例提供的装置300可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述方法实施例中的相应内容，此处不再赘述。

请参阅图4，图4为本发明实施例提供的电子设备的结构示意图。基于上述流表管理方法，本发明还相应提供了一种流表管理电子设备，流表管理电子设备可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该流表管理电子设备包括处理器410、存储器420及显示器430。图4仅示出了电子设备的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

存储器420在一些实施例中可以是流表管理电子设备的内部存储单元，例如流表管理电子设备的硬盘或内存。存储器420在另一些实施例中也可以是流表管理电子设备的外部存储设备，例如流表管理电子设备上配备的插接式硬盘，智能存储卡（Smart MediaCard, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，存储器420还可以既包括流表管理电子设备的内部存储单元也包括外部存储设备。存储器420用于存储安装于流表管理电子设备的应用软件及各类数据，例如安装流表管理电子设备的程序代码等。存储器420还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器420上存储有流表管理程序440，该流表管理程序440可被处理器410所执行，从而实现本申请各实施例的流表管理方法。

处理器410在一些实施例中可以是一中央处理器（Central Processing Unit,CPU），微处理器或其他数据处理芯片，用于运行存储器420中存储的程序代码或处理数据，例如执行流表管理方法等。

显示器430在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。显示器430用于显示在流表管理电子设备的信息以及用于显示可视化的用户界面。流表管理电子设备的部件410-430通过系统总线相互通信。

在一实施例中，当处理器410执行存储器420中流表管理程序440时实现如上的流表管理方法中的步骤。

本实施例还提供了一种计算机可读存储介质，其上存储有流表管理程序，该流表管理程序被处理器执行时实现以下步骤：

根据网络的五元组建立流表项并确定哈希桶，对哈希桶加写锁并将流表项插入哈希桶；

根据五元组查找待使用的哈希桶，对待使用的哈希桶加读锁并使用加读锁后待使用的哈希桶中的流表项；

设置多种老化策略，基于多种老化策略老化加读锁后待使用的哈希桶中的流表项。

综上，本实施例提供的一种流表管理方法、装置、电子设备及存储介质，分别在插入流表项和使用流表项的过程中设置了写锁和读锁，不用全程对流表项进行锁定，只设置了小范围的读写锁，保护关键流程不保护整个流程，流表管理的过程中耗时短，降低了流表项在使用时锁保护的时间，从而提高了整个系统的处理性能，且设置了多个老化策略，多个老化策略可以设置多个老化时间，避免只使用一个老化时间，从而减少了系统内存的消耗，提高了内存周转率。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种流表管理方法，其特征在于，包括：

根据网络流的五元组建立流表项并确定哈希桶，对所述哈希桶加写锁并将所述流表项插入所述哈希桶；

根据所述五元组查找待使用的哈希桶，对所述待使用的哈希桶加读锁并使用加读锁后待使用的哈希桶中的流表项；

设置多种老化策略，基于所述多种老化策略老化所述加读锁后待使用的哈希桶中的流表项；

其中，多种老化策略包括流表项数量老化策略、TCP流结束标识老化策略、应用层中流结束标识老化策略、流表项应用类型老化策略；基于流表项应用类型老化策略设置流表项的老化时间，并根据流表项数量老化策略、TCP流结束标识老化策略或应用层中流结束标识老化策略确定老化因子，根据系统当前时间、流表项时间戳以及流表项老化时间判断流表项是否老化完成；当流表项老化未完成时，根据老化因子和流表项老化时间加速老化流表项；当流表项老化完成时，释放流表项引用计数为零的流表项并将流表项引用计数不为零的流表项插入回收链表。

2.根据权利要求1所述的流表管理方法，其特征在于，根据网络的五元组确定哈希桶，包括：

根据所述五元组进行哈希计算得到哈希价值；

根据所述哈希价值确定相应的哈希桶。

3.根据权利要求2所述的流表管理方法，其特征在于，所述将所述流表项插入所述哈希桶，包括：

在将所述流表项插入所述哈希桶的同时，初始化所述流表项的参数。

4.根据权利要求3所述的流表管理方法，其特征在于，所述流表项的参数包括流表项时间戳、流表项老化时间、流表项应用类型以及流表项引用计数；所述初始化所述流表项的参数，包括：

将所述流表项引用计数设置为零，根据所述流表项应用类型设置所述流表项老化时间，将所述流表项时间戳设置为系统当前时间。

5.根据权利要求4所述的流表管理方法，其特征在于，所述根据所述五元组查找待使用的哈希桶，对所述待使用的哈希桶加读锁之后，包括：

将所述流表项引用计数加一，将所述流表项时间戳设置为系统当前时间并释放所述读锁。

6.一种流表管理装置，其特征在于，包括：

插入模块，用于根据网络流的五元组建立流表项并确定哈希桶，对所述哈希桶加写锁并将所述流表项插入所述哈希桶；

使用模块，用于根据所述五元组查找待使用的哈希桶，对所述待使用的哈希桶加读锁并使用所述待使用的哈希桶中的流表项；

老化模块，用于设置多种老化策略基于所述多种老化策略，老化所述加读锁后待使用的哈希桶中的流表项；

其中，多种老化策略包括流表项数量老化策略、TCP流结束标识老化策略、应用层中流结束标识老化策略、流表项应用类型老化策略；基于流表项应用类型老化策略设置流表项的老化时间，并根据流表项数量老化策略、TCP流结束标识老化策略或应用层中流结束标识老化策略确定老化因子，根据系统当前时间、流表项时间戳以及流表项老化时间判断流表项是否老化完成；当流表项老化未完成时，根据老化因子和流表项老化时间加速老化流表项；当流表项老化完成时，释放流表项引用计数为零的流表项并将流表项引用计数不为零的流表项插入回收链表。

7.一种电子设备，其特征在于，包括存储器和处理器，其中，

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述权利要求1至5中任一项所述流表管理方法中的步骤。

8.一种计算机可读存储介质，其特征在于，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时，能够实现上述权利要求1至5中任一项所述流表管理方法中的步骤。

Images