CN104639452A - 数据的处理方法及装置 - Google Patents

Abstract

本发明公开了一种数据的处理方法，该方法包括：对老化时间链表中的规则按照预定的遍历方式进行遍历，在遍历过程中将老化时间链表中建立时间的长度大于预定时间阈值的规则标记为无效，其中，预定的遍历方式为按照建立时间的长度由短及长的方式进行遍历；将hash表中与老化时间链表中标记为无效的规则相对应的规则同样标记为无效；对hash表中的规则进行遍历，在遍历过程中将接收的数据头进行规则匹配并将hash表中标记为无效的规则删除；将老化时间链表中与hash表中删除的规则相对应的规则删除。本发明能够避免规则匹配任务和规则老化任务的数据读写冲突，并在不加锁的情况下实现规则匹配任务和规则老化任务的并行处理，降低了口令开销，提高了系统性能。

Description

数据的处理方法及装置

技术领域

本发明涉及报文处理领域，具体来说，涉及一种数据的处理方法及装置。

背景技术

在网络安全领域，网络安全过滤设备需要对网络上的每个数据包进行分析，从而实现正常流量的透传，可疑流量的转发，非法流量的丢弃，而为了实现对流量的上述处理，需要对这些流量进行分类，而分类的过程就是数据(即报文)和规则的匹配过程。

如图1所示，在对流量进行过滤时，一般需要三个功能模块，即协议识别模块、规则匹配模块和数据处理模块，从而实现正常流量的透传，可疑流量的转发，非法流量的丢弃，其中，在对协议识别时，主要是由协议识别模块通过对接收的数据包的内容进行分析，从而从数据包中提取出报文的关键因素并作为数据头进行规则匹配；然后由规则匹配模块将协议识别模块发送的数据头与预先配置的规则进行匹配，从而得到处理动作指令，然后将该处理动作指令(即规则匹配成功和规则匹配失败所分别对应的不同动作指令)发送给数据处理模块进行处理；数据处理模块则根据处理动作信号执行具体的实施动作，实现对不同流量的透传、转发和丢弃功能。

其中，规则匹配模块中的规则通常放在哈希(hash)流表中(一条规则确定一条流)，数据头到来时，对其做hash计算，找到相应的规则(流节点)进行匹配，其中，hash冲突可以使用链表或静态表等技术进行消除，然而，规则可能由于老化等原因导致经常变动，由此则会出现两个并行执行的任务(规则老化和规则匹配)的冲突，也就我们常说的是读写冲突，其中，冲突链表虽然可以消除hash冲突，但是却并不能消除上述读写冲突，即当一个数据头到达后，需要遍历流表中的规则冲突链来找到对应该数据头的规则(读操作)进行数据头的匹配，但与此同时，如果该冲突链中的这个规则已经老化，则会被删除(写操作)，而这时显然是存在着对规则的读写冲突。

那么这对该问题，在现有技术中所采用的解决方案主要是通过如图2所示的加锁的方式来处理数据的读写冲突的，其中，图2中的图2a为规则匹配过程，图2中的图2b为规则老化过程，具体的，在规则匹配(读操作)和规则老化(写操作)之前需要取得hash流表的锁才可对该hash表进行操作，而如果没有流表则无法进行规则匹配或规则老化处理，其中，从图2a中可以看出，在对规则进行匹配时，首先需要取得hash流表的锁(即取得流表)，如果没有得到该锁则继续等待，不进行规则匹配；得到该锁后，就会进行数据头的hash计算以及遍历冲突链的过程，从而实现规则的匹配，在完成规则匹配后就会释放该hash流表；与此同时，当该hash流表被占用时，规则老化处理是无法完成的，因为其无法取得该hash流表的锁，则一直进行等待该锁，那么在规则匹配任务释放了该hash流表(的锁)后，规则老化任务图2b就可取得该hash流表的锁，对老化的规则进行删除，在完成规则的老化处理后，就会释放该流表的锁，即释放该hash流表。

通过上述具体的描述可以看出，对于现有技术中这种通过对操作的hash流表进行加锁来解决规则的读写冲突的解决方案实质上是一个任务串行化的过程，那么在现有的计算机环境中，特别是多核系统上，强制串行化必然会带来系统性能的降低，而且加锁的过程往往意味着口令开销的增加，因此，不管是内核实现的锁还是用户态实现的锁都是一个很耗时的过程，此外，由于规则进行老化的处理时间非常短(即毫秒级别)，那么，显然加解锁的过程非常频繁，而这显然会带来系统性能的降低，甚至使系统性能降低到不可接受的程度。

针对相关技术中的上述问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的上述问题，本发明提出一种数据的处理方法和装置，能够在不增加口令开销的情况下，解决数据的读写冲突，使规则匹配和规则老化过程实现并行处理，提高系统性能。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种数据的处理方法。

该处理方法包括：

对老化时间链表中的规则按照预定的遍历方式进行遍历，在遍历过程中将老化时间链表中建立时间的长度大于预定时间阈值的规则标记为无效，其中，预定的遍历方式为按照建立时间的长度由短及长的方式进行遍历；

将hash表中与老化时间链表中标记为无效的规则相对应的规则同样标记为无效；

对hash表中的规则进行遍历，在遍历过程中将接收的数据头进行规则匹配并将hash表中标记为无效的规则删除；

将老化时间链表中与hash表中删除的规则相对应的规则删除。

其中，老化时间链表和hash表中的规则相同。

可选的，老化时间链表可包括无效组和/或有效组，以及指针，其中，

老化时间链表中标记为无效的规则构成无效组；

老化时间链表中未标记为无效的规则构成有效组；

在有效组存在的情况下，指针指向有效组的开始节点；

在有效组不存在的情况下，指针指向老化时间链表的表头。

其中，在老化时间链表中包括无效组和有效组的情况下，在对老化时间链表中的规则按照预定的遍历方式进行遍历时，可通过对有效组中的规则进行遍历；并在对有效组中的规则遍历后，对无效组中的规则进行遍历的方式实现对老化时间表中的规则的遍历。

其中，在hash表中需要添加新规则、且该指针指向老化时间链表的表头的情况下，则将指针指向新规则。

此外，该处理方法进一步包括：

在hash表中需要添加新规则的情况下，对预定的指针类型的变量的数值进行修改。

根据本发明的另一方面，提供了一种数据的处理装置。

该处理装置包括：

第一遍历模块，用于对老化时间链表中的规则按照预定的遍历方式进行遍历，在遍历过程中将老化时间链表中建立时间的长度大于预定时间阈值的规则标记为无效，其中，预定的遍历方式为按照建立时间的长度由短及长的方式进行遍历；

标记模块，用于将hash表中与老化时间链表中标记为无效的规则相对应的规则同样标记为无效；

第二遍历模块，用于对hash表中的规则进行遍历，在遍历过程中将接收的数据头进行规则匹配并将hash表中标记为无效的规则删除；

删除模块，用于将老化时间链表中与hash表中删除的规则相对应的规则删除。

其中，老化时间链表和hash表中的规则相同。

可选的，老化时间链表可包括无效组和/或有效组，以及指针，其中，

老化时间链表中标记为无效的规则构成无效组；

老化时间链表中未标记为无效的规则构成有效组；

在有效组存在的情况下，指针指向有效组的开始节点；

在有效组不存在的情况下，指针指向老化时间链表的表头。

优选的，该第一遍历模块包括：

第一遍历子模块，用于在所述老化时间链表中包括所述有效组和所述无效组的情况下，对所述有效组中的规则进行遍历；

第二遍历子模块，用于在所述老化时间链表中包括所述有效组和所述无效组的情况下，在对所述有效组中的规则遍历后，对所述无效组中的规则进行遍历。

本发明通过在对老化时间链表进行规则老化时，将老化的规则进行无效标记，由规则匹配任务实现对规则匹配的同时还实现对老化规则的删除，从而避免了规则匹配任务和规则老化任务的数据读写冲突，并在不加锁的情况下实现了规则匹配任务和规则老化任务的并行处理，降低了口令开销，提高了系统性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据现有技术的数据过滤方法的流程图；

图2是根据现有技术的规则老化和规则匹配的处理流程图；

图3是根据本发明实施例的数据的处理方法的流程图；

图4是根据本发明实施例的老化时间链表和hash表的无锁老化模型图；

图5是根据本发明实施例的规则老化任务的处理方法的流程图；

图6是根据本发明实施例的数据的处理装置的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种数据的处理方法。

如图3所示，根据本发明实施例的数据的处理方法包括：

步骤S301，对老化时间链表中的规则按照预定的遍历方式进行遍历，在遍历过程中将老化时间链表中建立时间的长度大于预定时间阈值的规则标记为无效，其中，预定的遍历方式为按照建立时间的长度由短及长的方式进行遍历；

步骤S303，将hash表中与老化时间链表中标记为无效的规则相对应的规则同样标记为无效；

步骤S305，对hash表中的规则进行遍历，在遍历过程中将接收的数据头进行规则匹配并将hash表中标记为无效的规则删除；

步骤S307，将老化时间链表中与hash表中删除的规则相对应的规则删除。

为了更好的理解本发明的上述技术方案，下面结合图4所示的hash表4a和老化表(即老化时间链表)4b的模型来对本发明的上述技术方案进行详细阐述。

由于在上述实施例中在对老化表进行遍历来对规则进行老化处理时，是通过采用按照先遍历建立时间短的规则，后遍历建立时间长的规则进行老化表的遍历的，从而实现对老化的规则进行无效的标记，而在本实施例中为了通过同样的遍历方式对规则进行老化遍历，在本例中可以通过改变老化表的模型的方式实现，即老化表中的规则是按照建立时间由短至长进行排序的，然后在对老化表进行遍历时，只要按照老化表中规则的存储顺序依序遍历即可，从而提高老化处理的效率，具体的，老化任务(任务1)的处理过程则是，对老化表中存储的规则进行顺序的遍历，将建立时间大于或等于预定的老化时间阈值的规则标记为无效，其中，从图4所示的老化表的模型可以看出，在本实施例中还可将老化表在结构上分成了两组或者说两部分，无效组和有效组，其中，老化表中标记为无效的规则构成无效组；老化表中未标记为无效的规则构成有效组；在图4中，左半部分(无效组)表示已经老化的规则节点(标记为无效的节点)，即，建立时间大于或等于预定的老化时间阈值的规则，右半部分(有效组)表示未老化的节点，即，建立时间小于预定的老化时间阈值的规则，而从图4所示的老化表模型可以看出，由于前面提到的老化表中的规则的存储顺序，在对老化时间链表中的规则按照预定的遍历方式进行遍历时，显然是通过对有效组(右半部分)中的规则先进行遍历；并在对有效组中的规则遍历后，再对无效组(左半部分)中的规则进行遍历的方式实现对老化时间表中的规则的遍历。

从上面详述的规则老化处理过程可以看出，在对老化表中的规则进行老化处理时并未对老化的规则进行删除处理，而只是将其进行了无效标记，从而可以避免对老化表进行规则老化和对hash表进行规则遍历的冲突。

于此同时，由于老化表和hash表中的规则是相同的规则，因此，系统在对老化表中的老化规则进行无效标记的同时，也会将将hash表中对应的规则同样标记为无效；

那么在接收到数据流量时，系统在对规则进行上述老化处理的同时也会对报文的数据头进行规则的匹配处理，从而实现规则老化和规则匹配的并行处理，具体的规则匹配过程则是，通过对hash表中的规则进行遍历，其中，在遍历过程中不仅会查找与接收的数据头相对应的规则，如果遍历到标记为无效的规则还会进行删除处理，即已老化的规则的删除操作实际由规则匹配任务(任务2)进行完成，这样不仅消除了任务1和任务2之间的规则匹配和规则删除(老化)处理的冲突，还实现了规则老化任务和规则匹配任务的并行处理，提高了系统性能；

此外，由于任务1在对老化表进行遍历时是按照规则的建立时间由短及长的方式进行遍历的，即按照在本例中前面提到的右半部分的规则先遍历，左半部分的规则后遍历的方式，即，在对老化表进行遍历时基于的是规则的建立时间由短至长的方式进行遍历的，即可能老化的规则是最后被遍历的。显然，这还可以消除任务2的规则写操作(删除操作)与任务1的规则读取(遍历操作)的冲突，因为，任务2所删除的规则在同时执行的任务1中是最后被遍历读取的，二者并不会同时执行。

而在任务2将hash表中标记为无效的规则删除后，系统执行将老化表中与hash表中删除的规则相对应的规则删除即可，实现hash表和老化表中存储的规则相同步。

此外，在一个可选的实施例中，当任务2(规则匹配)中的hash表中增加需要一个流节点(即规则)时，为了避免其与任务1(规则老化)的冲突，在增加的流节点可以只是对某个指针类型的变量写的过程(即赋值过程)，改变该指针类型的变量的数值，这样就可以保证原子性，避免数据的读写冲突。

此外，在一个可选的实施例中，任务2在执行过程中，还可以设置一active指针至老化表，如图5所示的任务2的处理流程，其中，在上述有效组存在的情况下(或者说老化表中存在未到老化时间阈值的规则的情况下)，该active指针指向老化表中的有效组的开始节点，而在对老化表中的规则进行遍历时，如果遍历到老化的规则，则会将无效的规则置无效，同时还会更新active指针；同时判断该active指针是否指向老化链的头部、且老化链非空，如果是，则继续进行遍历，过程同上；

而还有一种极端的情况，当老化表中所有的节点都老化后，即在有效组不存在的情况下，那么该active指针则指向老化表的表头，而此时如果任务1(规则老化任务)在判断下一个节点是否有效，显然其是无效的节点，即任务2删除的节点，那么就会存在任务1的规则老化和任务2的规则删除的冲突，此时，在这种极端的情况下，如图5所示，当active指针指向老化表的头部、且老化表不为空的情况下，则使任务2(规则匹配)取得hash流表的锁，将标记为无效的规则全部删除，同时任务2需要每次取得该锁的同时来操作老化表(将无效的规则全部删除)实现老化表和hash表的规则同步，最后释放该锁，而由于这种老化表中的所有规则都老化的情况发生的概率相对较小，任务2每次都能得到该锁，对系统的性能影响不大。

其中，在另一个可选的实施例中，在hash表中需要添加新规则、且该active指针指向老化时间链表的表头的情况下(即老化表中所有的规则均老化的情况)，则将该active指针指向该老化表中的新规则。

根据本发明的实施例，提供了一种数据的处理装置。

如图6所示，根据本发明实施例的数据的处理装置包括：

第一遍历模块61，用于对老化时间链表中的规则按照预定的遍历方式进行遍历，在遍历过程中将老化时间链表中建立时间的长度大于预定时间阈值的规则标记为无效，其中，预定的遍历方式为按照建立时间的长度由短及长的方式进行遍历；

标记模块62，用于将hash表中与老化时间链表中标记为无效的规则相对应的规则同样标记为无效；

第二遍历模块63，用于对hash表中的规则进行遍历，在遍历过程中将接收的数据头进行规则匹配并将hash表中标记为无效的规则删除；

删除模块64，用于将老化时间链表中与hash表中删除的规则相对应的规则删除。

其中，在一个实施例中，老化时间链表和hash表中的规则相同。

可选的，根据本发明实施例的老化时间链表可包括无效组和/或有效组，以及指针，其中，

老化时间链表中标记为无效的规则构成无效组；

老化时间链表中未标记为无效的规则构成有效组；

在有效组存在的情况下，指针指向有效组的开始节点；

在有效组不存在的情况下，指针指向老化时间链表的表头。

优选的，根据本发明实施例的第一遍历模块61可包括：

第一遍历子模块(未示出)，用于在所述老化时间链表中包括所述有效组和所述无效组的情况下，对所述有效组中的规则进行遍历；

第二遍历子模块(未示出)，用于在所述老化时间链表中包括所述有效组和所述无效组的情况下，在对所述有效组中的规则遍历后，对所述无效组中的规则进行遍历。

其中，对于上述实施例中所描述的数据头来说，由于在具体应用中，在对网络上的报文数据进行处理时，需要对其数据头(网络上每个数据包都是数据，但使用过程中可能只关心数据包中的某一部分，这一部分被称作数据头，例如报头、五元组)三元组等)进行分析，这种分析多数是将数据头与用户设定的值(即规则)进行匹配，然后再决定如何处理，本发明中老化和匹配的“规则”即可以理解为用户设定的值，一般分为规则key和规则action两部分。

综上所述，借助于本发明的上述技术方案，通过在对老化时间链表进行规则老化时，将老化的规则进行无效标记，由规则匹配任务实现对规则匹配的同时还实现对老化规则的删除，从而避免了规则匹配任务和规则老化任务的数据读写冲突，并在不加锁的情况下实现了规则匹配任务和规则老化任务的并行处理，降低了口令开销，提高了系统性能。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据的处理方法，其特征在于，包括：

对老化时间链表中的规则按照预定的遍历方式进行遍历，在遍历过程中将所述老化时间链表中建立时间的长度大于预定时间阈值的规则标记为无效，其中，所述预定的遍历方式为按照所述建立时间的长度由短及长的方式进行遍历；

将哈希hash表中与所述老化时间链表中标记为无效的规则相对应的规则同样标记为无效；

对所述hash表中的规则进行遍历，在遍历过程中将接收的数据头进行规则匹配并将所述hash表中标记为无效的规则删除；

将所述老化时间链表中与所述hash表中删除的规则相对应的规则删除。

2.根据权利要求1所述的处理方法，其特征在于，所述老化时间链表和所述hash表中的规则相同。

3.根据权利要求1所述的处理方法，其特征在于，所述老化时间链表包括无效组和/或有效组，以及指针，其中，

所述老化时间链表中标记为无效的规则构成所述无效组；

所述老化时间链表中未标记为无效的规则构成所述有效组；

在所述有效组存在的情况下，所述指针指向所述有效组的开始节点；

在所述有效组不存在的情况下，所述指针指向所述老化时间链表的表头。

4.根据权利要求3所述的处理方法，其特征在于，在所述老化时间链表中包括所述无效组和所述有效组的情况下，所述对老化时间链表中的规则按照预定的遍历方式进行遍历包括：

对所述有效组中的规则进行遍历；

在对所述有效组中的规则遍历后，对所述无效组中的规则进行遍历。

5.根据权利要求3所述的处理方法，其特征在于，在所述hash表中需要添加新规则、且所述指针指向所述老化时间链表的表头的情况下，将所述指针指向所述新规则。

6.根据权利要求1所述的处理方法，其特征在于，进一步包括：

在所述hash表中需要添加新规则的情况下，对预定的指针类型的变量的数值进行修改。

7.一种数据的处理装置，其特征在于，包括：

第一遍历模块，用于对老化时间链表中的规则按照预定的遍历方式进行遍历，在遍历过程中将所述老化时间链表中建立时间的长度大于预定时间阈值的规则标记为无效，其中，所述预定的遍历方式为按照所述建立时间的长度由短及长的方式进行遍历；

标记模块，用于将hash表中与所述老化时间链表中标记为无效的规则相对应的规则同样标记为无效；

第二遍历模块，用于对所述hash表中的规则进行遍历，在遍历过程中将接收的数据头进行规则匹配并将所述hash表中标记为无效的规则删除；

删除模块，用于将所述老化时间链表中与所述hash表中删除的规则相对应的规则删除。

8.根据权利要求7所述的处理装置，其特征在于，所述老化时间链表和所述hash表中的规则相同。

9.根据权利要求7所述的处理装置，其特征在于，所述老化时间链表包括无效组和/或有效组，以及指针，其中，

所述老化时间链表中标记为无效的规则构成所述无效组；

所述老化时间链表中未标记为无效的规则构成所述有效组；

在所述有效组存在的情况下，所述指针指向所述有效组的开始节点；

在所述有效组不存在的情况下，所述指针指向所述老化时间链表的表头。

10.根据权利要求9所述的处理装置，其特征在于，所述第一遍历模块包括：

第一遍历子模块，用于在所述老化时间链表中包括所述有效组和所述无效组的情况下，对所述有效组中的规则进行遍历；

第二遍历子模块，用于在所述老化时间链表中包括所述有效组和所述无效组的情况下，在对所述有效组中的规则遍历后，对所述无效组中的规则进行遍历。