CN100435514C - 以太网驱动级底层过滤方法和系统 - Google Patents

Abstract

本发明提供快速以太网监控领域的一种底层过滤技术的实现方法及其系统，引入了一个后备转换缓存(TLB)模块，当网络设备接收到数据包时，并不直接传输到上层进行过滤判断，而是通过TLB模块处理，在驱动层就对网络数据包进行判断，区分出即时通讯流量和非即时通讯流量。利用这样的方法，大部分数据包到达后就可以直接被判断其流量属性，若是即时通讯流量就继续由上层处理；若不属于即时通讯流量则可以直接转发或通过其他预定的策略处理。在这种方式下，在驱动层就判断出大部分数据包的属性，大大减轻了上层判断即时通讯流量的负担，可以节约大量的非即时通讯流量的判定工作，避免占用更多的处理器资源，从而提高整个处理过程的性能。

Description

以太网驱动级底层过滤方法和系统

技术领域

本发明主要涉及快速以太网底层过滤技术，更确切地是涉及监控领域内基于零拷贝技术的底层过滤缓存方法和系统。

背景技术

随着Internet的不断发展，即时通讯已成为基于Internet的人类现代交流活动的主要形式之一。由于Internet本身的开放性和隐秘性，人们通讯的内容不易受到监控，难免一些恶意的言论，例如危害国家的言论、欺骗性的言论等，所以对于即时通讯的内容监控是相当必要的。但由于数据量大，即时通讯内容流量和正常的其他网络应用流量不易区分，造成对通讯内容过滤难度极大。

在设计监控系统的时候，通常采用两种基本方法：一种是将网络上的数据包拷贝到系统应用层，由上层软件进行判断处理的方法，另一种是使用零拷贝技术不拷贝数据包，而直接在内存中处理数据包的技术。第一种方法虽然能够判断处理数据包，但是对于每一个数据包都需要经过多次拷贝，例如首先需要从网络设备拷贝到系统内核区，然后需要再次拷贝到用户区，在通过系统协议栈进行协议分析的时候也需要数据的拷贝，而拷贝占用了多数处理器的处理时间，直接导致其性能下降。第二种方法虽然克服了拷贝占用处理器性能的问题，但是需要对每一个网络数据包进行判断是否属于即时通讯流量，极大地降低了处理效率。因此，如何过滤出即时通讯流量成为高效通讯监控技术的热点。

发明内容

针对上述问题，本发明的目的在于提供一种驱动级底层过滤方法，引入了一个后备转换缓存(TLB)模块，当网络设备接收到数据包时，并不直接传输到上层进行过滤判断，而是通过TLB模块处理，在驱动层就对网络数据包进行判断，区分出即时通讯流量和非即时通讯流量。利用这样的方法，大部分数据包到达后就可以直接被判断其流量属性，若是即时通讯流量就继续由上层处理；若不属于即时通讯流量则可以直接转发或通过其他预定的策略处理。在这种方式下，在驱动层就判断出大部分数据包的属性，大大减轻了上层判断即时通讯流量的负担，可以节约大量的非即时通讯流量的判定工作，避免占用更多的处理器资源，从而提高整个处理过程的性能。

根据以上目的，如图1所示，以太网驱动级底层过滤方法包括步骤：

1)网络设备采集网络上面的数据包到内核缓冲区。这部分采用零拷贝技术实现，具体的方法如下：首先申请一块内核缓冲区，内核缓冲区的具体大小可以根据网络适配器所能容纳的最大数据包大小以及它的最大接收容量来决定。然后将这部分缓冲区划分为单个结构，每个结构至少包括数据接收区以及控制标志信息。每当接收数据的时候，需要将单个缓冲区与网络适配器建立DMA映射，这样就可以避免处理器参与数据的拷贝传输工作。

2)判断所接收的数据包的特征是否符合转换后备缓存(TLB)中保存的非即时通讯流量特征，如果符合则直接转发，否则转入下一步骤。

具体地，网卡驱动程序对新来的数据包进行判断，首先提取数据包的特征，例如IP地址(包括源IP地址和目的IP地址)以及端口信息，将这些特征与TLB中保存的非即时通讯流量特征相比较，如果发现TLB中已经有这个特征的记录，则表明该数据包为非即时通讯流量，因此直接将这个数据包转发；如果TLB中没有该特征的记录，则不能立即判断出该数据包是否即时通讯流量，因此将这个数据包交给高层过滤判断模块处理。

3)高层过滤模块进一步判断数据包是否即时通讯流量，如果是则将数据包设定相应标志并交由上层继续处理，比如交给即时通讯处理模块按照系统预定义的策略处理，例如关键字匹配等，处理完毕后交由第5)步继续处理；否则转入下一步骤。

4)将步骤3)中被判断为非即时通讯流量的数据包设定标记，即，在数据包上面标记出控制信息，表明其非即时通讯流量的属性，并将数据包递交到驱动层，让网卡驱动将数据包转发。

5)检查数据包的标记以判断其是否属于非即时通讯流量，如果不是即时通讯流量则转入下一步骤，否则按照预定义的策略处理数据包，转发或者丢弃。

6)提取非即时通讯流量数据包的特征加入TLB，并按照一定的算法更新TLB。设计TLB的时候可以采用多种算法维护，比如最近最少使用的算法、先进先出(FIFO)、先进后出(FILO)、随机方法等等。由于TLB的容量有限，较佳地可以采用最少使用的算法，即在TLB中维护一个计数used，如果容量已满，有新数据需要填入TLB的时候，选择最近最少使用的TLB块并做替换。TLB的查询过程较佳地可以采用Hash表搜索，这样可以节约大量的搜索时间。这里的Hash函数可以取简单的模运算或多项式运算等等。

其中，非即时通讯流量数据包经历的步骤是1)2)3)4)5)6)或者是1)2)；即时通讯流量数据包经历的步骤是1)2)3)5)。

同样根据本发明的目的，基于同样的构思，本发明还提供另一种以太网驱动级底层过滤方法，与第一种方法基本相同，区别之处在于：TLB中保存的是即时通讯流量的特征。如图2所示，所述的方法包括步骤：

1)网络设备采集网络上面的数据包到内核缓冲区。这部分采用零拷贝技术实现，具体的方法如下：首先申请一块内核缓冲区，内核缓冲区的具体大小可以根据网络适配器所能容纳的最大数据包大小以及它的最大接收容量来决定。然后将这部分缓冲区划分为单个结构，每个结构至少包括数据接收区以及控制标志信息。每当接收数据的时候，需要将单个缓冲区与网络适配器建立DMA映射，这样就可以避免处理器参与数据的拷贝传输工作。

2)判断所接收的数据包的特征是否符合TLB中保存的即时通讯流量特征，如果符合则交由即时通讯处理模块处理，否则转入下一步骤。

具体地，网卡驱动程序对新来的数据包进行判断，首先提取数据包的特征，例如IP地址(包括源IP地址和目的IP地址)以及端口信息，将这些特征与TLB中保存的即时通讯流量特征相比较，如果发现TLB中已经有这个特征的记录，则表明该数据包为即时通讯流量，因此直接将这个数据包交给通讯处理模块按照系统预定义的策略处理，例如关键字匹配等；如果TLB中没有该特征的记录，则不能立即判断出该数据包是否即时通讯流量，因此将这个数据包交给高层过滤判断模块处理。

3)高层过滤模块进一步判断数据包是否即时通讯流量，如果是则将数据包交由上层继续处理，比如交给通讯处理模块按照系统预定义的策略处理，例如关键字匹配等，处理完毕后转入步骤4)；否则将数据包设定非即时通讯流量的标记，并转步骤5)。

4)将步骤3)中被判断为即时通讯流量的数据包设定标记，即，在数据包上面标记出控制信息，表明其是即时通讯流量的属性，并将数据包递交到驱动层，让网卡驱动按照预定义的策略处理，一般情况下是转发或丢弃。

5)检查数据包的标记以判断其是否属于即时通讯流量，如果不是则将数据包丢弃；否则转入下一步骤。

6)提取即时通讯流量数据包的特征加入TLB，并按照一定的算法更新TLB。设计TLB的时候可以采用多种算法维护，比如最近最少使用的算法、先进先出(FIFO)、先进后出(FILO)、随机方法等等。由于TLB的容量有限，较佳地可以采用最少使用的算法，即在TLB中维护一个计数used，如果容量已满，有新数据需要填入TLB的时候，选择最近最少使用的TLB块并做替换。TLB的查询过程较佳地可以采用Hash表搜索，这样可以节约大量的搜索时间。这里的Hash函数可以取简单的模运算或多项式运算等等。

其中，非即时通讯流量数据包经历的步骤是1)2)3)5)；即时通讯流量数据包经历的步骤是1)2)3)4)5)6)或者是1)2)。

从以上内容可以看出，本发明的第一种方法和第二种方法的区别仅在于TLB中保存的特征不同，因此使得相关的步骤2)、4)、5)和6)都有所区别。但二者在本质上是相同的。

本发明的另一目的在于提供一种与上述方法相应的驱动级底层过滤系统，如图3所示，其包括：网络设备、内核缓冲区、转换后备缓存(TLB)模块、高层过滤判断模块。其中，所述的网络设备指能够获取网络上传输数据包和/或将数据包发送到网络上面的一种设备或多种设备的集合，其主要功能是采集网络上面的数据；内核缓冲区用于暂时保存来自网络的数据；TLB是一个缓存模块，具体地是一个内核缓冲结构，由驱动程序或者内核程序对其进行操控，用于根据数据包的特征判断数据的类型，TLB中保存着非即时通讯流量的特征，每当上层判断模块判断出一个流量不是即时通讯流量的时候，网卡驱动就会透明地将这个流量的特征写入TLB，为下一次的预判断做准备。由于TLB容量有限，设计TLB的时候较佳可采用最近最少使用的算法维护，即在TLB中维护一个计数，如果容量已满，有新数据需要填入TLB的时候，选择TLB中最近最少使用的记录并做替换。TLB的查询过程采用Hash表搜索，这样可以节约大量的搜索时间。高层过滤控制模块的主要功能是判断数据流量是否是即时通讯流量。高层过滤控制模块用于提取数据包的内容特征进行判断分析，确认数据包是否是即时通讯流量。比如要判断一个流量是否属于雅虎通，则判断数据包内容部分的前四个字节是否是“YMSG”。

本发明的优点在于，使用零拷贝技术将数据映射到系统空间，避免了数据在处理器参与下的传输，节约了处理器资源，提高了系统的性能；此外使用了TLB缓存，在驱动层次即可判断出绝大部分的数据包是否即时通讯流量，并且按照预定义的策略进行转发或者丢弃，避免了上层更多地参与处理数据，简单地完成了判断工作，极大地提高了系统综合性能。

附图说明

图1为最简化模式下驱动级底层过滤方法一的流程图；

图2为最简化模式下驱动级底层过滤方法二的流程图；

图3为最简化模式下驱动级底层过滤系统的结构示意图。

具体实施方式

如图1所示，为最简化模式下的一种驱动级底层过滤方法之一的最佳实施例的流程图。具体的实现方式如下：

1)网卡接收网络上的数据，本实施例中的数据使用如下格式：

#defi ne BUFFER_LEN 1525

struct pcnet_proc_info{

    char buf[BUFFER_LEN]；

    char flag；

    unsigned long len；

    int recv_entry；

}；

其中buf表示网络数据存放的位置，flag表示这部分数据的标志，可以区分是否是即时通讯流量也可以表示相应的处理策略，len表示buf的长度，recv_entry表示在接收缓冲区中的位置。本实施例所使用的标志有如下几种：

#define MyFlag_RECV     0x1

#define MyFlag_R1       0x2

#define MyFlag_SEND     0x3

#define MyFlag_S1       0x4

#define MyFlag_DROP     0x5

#define Myflag_NOUSE    0x6

#define Myflag_ALLOC    0x7

#define Myflag_LOOK     0x8

#define Myflag_SENDRET  0x9

#define Myflag_NOIM     0xa

#define Myflag_IM       0xb

驱动程序需要利用网卡本身的rx_ring以及tx_ring结构标识发送以及接收缓冲区，并且使用pci_map_single()进行DMA映射，将网络上接收到的数据直接映射到系统内存中去，并且设定相应的标志。

2)驱动程序提取buf信息中的源ip地址、目的ip地址以及端口号作为该数据包的特征，并将此特征与TLB缓存中的保存的非即时通讯流量特征相比较，如果发现有对应的特征项，则表示这个数据包属于非即时通讯流量，因此直接将数据包转发。如果没有发现对应的特征项，则将数据包交由高层过滤判断模块处理。

本实施例中的TLB按照如下结构进行设计：

#define TLB_LENGTH 1024

struct tlb_chart{

    char ip[4]；

    int port；

    int used；

}

struct tlb_chart tlb[TLB_LENGTH]；

其中tlb是由TLB_LENGTH个tlb_chart结构构成的，而每个tlb_chart是由源ip、目的ip、端口号以及used变量构成。其中，used变量表示最近使用的次数。本领域技术人员能够理解，虽然本实施例中以ip和端口号表示数据包的特征，但其并不构成对本发明的限制。在其他的实施例中，也可以根据具体的要求来定义或提取数据包的其他特征。

如果在步骤2)中判断出是某个数据包属于非即时通讯流量，则直接将数据包转发。转发过程需要与网卡建立DMA映射，利用pci_map_single的PCI_DMA_TODEVICE标志，将buf映射到设备上去，并且利用网卡本身的tx_ring将数据转发出去。代码如下：

pci_map_single(pci_dev，buf，len，PCI_DMA_TODEVICE)；

//send the package ；

3)高层过滤判断处理。在驱动层没有被辨别出是否即时通讯流量的数据包被发送到上层的过滤判断模块进行处理，在这一层，需要判断数据是否是即时通讯流量，若不是则直接将数据包递交到下一步进行处理；若是则将传输到即时通讯处理模块进行下一步的处理。代码如下：

if(the package is not immediate message)

    goto module4；

else{

    goto module5；

}

4)将从第三步中获得的数据pcnet_proc_info结构中的flag设定为Myflag_NOIM，表示非即时通讯数据，此外对数据包不做任何其他处理。这部分的代码如下：

flag＝Myflag_NOIM；

5)即时通讯处理模块将数据pcnet_proc_info结构中的flag设定为Myflag_IM，并且按照预定义的策略进行处理。这部分的代码如下：

flag＝Myflag_IM；

manage the package；

6)驱动程序需要检查上层(包括上层判断模块与即时通讯处理模块)向下传输的数据包，具体的需要检查flag标志，如果发现是MyflagNOIM标志，则表示非即时通讯流量，需要转入更新TLB模块的步骤；否则直接转入第8)步：

if(flag＝＝Myflag_NOIM)

    renew the tlb；

else goto module8；

7)更新TLB模块。由于TLB容量有限，设计TLB的时候采用最近最少使用的算法维护，即在TLB中维护一个计数used，如果容量已满，有新数据需要填入TLB的时候，选择最近最少使用的TLB块并做替换。TLB的查询过程采用Hash表搜索，这样可以节约大量的搜索时间。这里的Hash函数可以取简单的模运算。处理完毕之后，直接将数据包转发。

int ii＝findRightTLB()；  //找到最新最少使用的TLB块序号

tlb_chart tc；

tc.ip＝fillIp(buf)；      //从数据包中将ip地址取出；

tc.port＝fillPort(buf)；  //从数据包中将端口信息取出；

tc.used＝1；              //初始化使用计数

tlb[i i]＝tc；            //使用新的tlb_chart替换原来的

8)按照预定义的策略处理具有即时通讯流量特征的数据包，可以是转发或者丢弃。

具体的代码如下：

if(flag＝＝MyFlag_DROP)

    drop the package；

else if(flag＝＝MyFlag_SEND)

    send the package；

以上是本发明提供的第一种方法的具体实施例。由于本发明提供的第二种方法与第一种方法实质相同，其区别仅在于TLB保存的特征不同。因此，依照该实施例，本领域的技术人员应能很容易地实现本发明的第二种方法的具体实施例。另外，与所述的方法相应的驱动级底层过滤系统为用于实现该方法的软件系统，本领域技术人员从本说明书及实施例的描述中可以容易地实现该软件系统，因此本实施例中不再做详细的描述。

Claims (11)

1、一种以太网驱动级底层过滤方法，包括步骤：

1)网络适配器将网络上的数据包通过DMA映射方式传输到内核缓冲区；

2)判断所接收的数据包的特征是否符合转换后备缓存中保存的非即时通讯流量特征，如果符合则直接转发，否则转入下一步骤；

3)高层过滤模块进一步判断数据包是否即时通讯流量，如果是则将数据包设定相应标志并交由上层继续处理后转入步骤5)，否则转入下一步骤；

4)将步骤3)中被判断为非即时通讯流量的数据包设定标记，并将数据包递交到驱动层，让网卡驱动将数据包转发；

5)检查数据包的标记以判断其是否属于非即时通讯流量，如果不是即时通讯流量则转入下一步骤，否则按照预定义的策略处理数据包；

6)提取非即时通讯流量数据包的特征加入转换后备缓存，并按照一定的算法更新转换后备缓存；

其中，非即时通讯流量数据包经历的步骤是1)2)3)4)5)6)或者是1)2)；即时通讯流量数据包经历的步骤是1)2)3)5)。

2、如权利要求1所述的方法，其特征在于，用于更新转换后备缓存的算法采用最近最少使用算法或者是先进先出算法实现。

3、如权利要求1所述的方法，其特征在于，用于更新转换后备缓存的算法利用hash表对转换后备缓存进行搜索。

4、如权利要求1所述的方法，其特征在于，所述的数据包的特征包括：源IP地址、目的IP地址和端口信息。

5、一种以太网驱动级底层过滤方法，包括步骤：

1)网络适配器将网络上的数据包通过DMA映射方式传输到内核缓冲区；

2)判断所接收的数据包的特征是否符合转换后备缓存中保存的即时通讯流量特征，如果符合则交由即时通讯处理模块处理，否则转入下一步骤；

3)高层过滤模块进一步判断数据包是否即时通讯流量，如果是则将数据包交由上层继续处理后转入下一步骤；否则将数据包设定非即时通讯流量的标记，并转步骤5)；

4)将步骤3)中被判断为即时通讯流量的数据包设定标记，并将数据包递交到驱动层，让网卡驱动按照预定义的策略处理；

5)检查数据包的标记以判断其是否属于即时通讯流量，如果不是则将数据包丢弃；否则转入下一步骤；

6)提取即时通讯流量数据包的特征加入转换后备缓存，并按照一定的算法更新转换后备缓存；

其中，非即时通讯流量数据包经历的步骤是1)2)3)5)；即时通讯流量数据包经历的步骤是1)2)3)4)5)6)或者是1)2)。

6、如权利要求5所述的方法，其特征在于，用于更新转换后备缓存的算法采用最近最少使用算法或者是先进先出算法实现。

7、如权利要求5所述的方法，其特征在于，用于更新转换后备缓存的算法利用hash表对转换后备缓存进行搜索。

8、如权利要求5所述的方法，其特征在于，所述的数据包的特征包括：源IP地址、目的IP地址和端口信息。

9、一种以太网驱动级底层过滤系统，包括：

网络适配器，用于将网络上的数据包通过DMA映射方式传输到内核缓冲区；

内核缓冲区，用于暂时保存来自网络的数据包；

转换后备缓存模块，用于保存高层过滤控制模块确定的即时通讯或非即时通讯的流量特征，供驱动程序或内核程序用以判断数据包是即时通讯还是非即时通讯流量；

高层过滤控制模块，用于提取不符合转换后备缓存模块中保存的即时通讯或非即时通讯流量特征的数据包的内容特征进行判断分析，确认数据包是否是即时通讯流量。

10、如权利要求9所述的系统，其特征在于，所述的转换后备缓存模块是一个内核缓冲结构，由驱动程序或者内核程序对其进行操控。

11、如权利要求9所述的系统，其特征在于，所述的数据包的特征包括限于：源IP地址、目的IP地址和端口信息。

Images