CN101321170A - 一种新型的过滤查找表自动更新方法 - Google Patents

Abstract

本发明公开了一种新型的过滤查找表自动更新方法，属于计算机网络领域。本发明的方法为：首先设置一高命中指针和一低命中指针，将高命中指针指向过滤查找表中高命中率过滤条件的下一地址，将低命中率指针指向低命中率过滤条件的地址；然后判断解析出的网络数据报包头信息是否位于过滤查找表中，如果有则将该包头信息移到“高命中指针”所指向的地址，如果没有则提取包体内容的特征字段进行二次过滤，如果匹配成功，则将该数据报的包头信息写入到高命中指针所指向的地址上，同时清除低命中指针所指向的过滤条件；最后将高命中指针和低命中指针均向下移动一个存储单元。本发明能够更合理的删除无用的表单项，避免维护的盲目性，提高系统的运行效率。

Description

一种新型的过滤查找表自动更新方法

技术领域

本发明涉及一种新型的过滤查找表自动更新方法，属于计算机网络“报文分类”领域。

背景技术

“报文分类”是各种网络设备的基本操作之一，广泛用于路由寻址、防火墙设计和入侵检测等领域。其实现方式可以有软件、硬件等多种方法，适用于不同场合下的各种应用，能够以不同的代价解决各种网络速率环境下的问题。但随着网络速度的提高，从OC48到OC192，对报文分类的“线速”处理要求日益增强。这种场合往往适合于使用硬件来实现。

硬件实现“报文分类”的方法大多基于“三相式内容寻址存储器”。“内容寻址”是指该类存储器的工作特性，即输入一段内容，便可以得到与该内容相符的存储单元的位置；而“三相式”不同于一般的二进制存储器，“三相式内容寻址存储器”能记录三种状态，分别是0，1，和x(任何值)。除此之外，“三相式内容寻址存储器”可以提供在单个时钟周期内完成输入内容与所有存储单元的内容比对，完成精确匹配或范围匹配。

使用“三相式内容寻址存储器”来实现“报文分类”一般基于以下模式：由“三相式内容寻址存储器”存储过滤条件，外接“随机存储器”存储过滤策略；当一条输入内容进入“三相式内容寻址存储器”后，与所有的过滤条件进行匹配，如果命中(与某一条相符)，则进入“随机存储器”查找得到对应的过滤策略，从而得知要将该数据报进行如何的处理。整个过程如图1所示。“三相式内容寻址存储器”中所存储的过滤条件集合，称为“过滤查找表”。

在“报文分类”设备的工作过程中，常常会遇到修改“过滤查找表”的情况，所以往往需要对其进行维护和更新。常见的方法是“人为控制”，使用微处理器之类的器件与“三相式内容寻址存储器”相交互，由软件系统获取目前的“过滤查找表”信息反馈给用户，同时也可以将用户需要更新的内容通过软件系统设置到“三相式内容寻址存储器”中。这类方法的控制机制实现简单，只需要在完成对“三相式内容寻址存储器”的基本驱动能力之后实现简单的“读/写”机制即可。但缺点是，需要人为地监控和调配，耗费精力。另外一类维护更新“过滤查找表”的方法是“自动更新”，即不需要人为参与，由控制逻辑(硬件实现或软件实现)自动维护“过滤查找表”。如果“过滤查找表”存在空闲位置时，可以将需要新近添加的过滤条件追加到表尾。当“过滤查找表”已满时，需要写入的过滤条件将替换掉一条现有的条件。当前的自动替换机制往往是基于“时间”来实现的，即“老化”机制：最晚进入的一条过滤条件会替换掉最早进入“过滤查找表”的过滤条件。这种方法的优点是实现简单，类似于先入先出队列，只需追踪每一条过滤条件的“生命值”即可；但是缺点也很明显，即被替换掉的过滤条件有可能还将被使用，甚至在“存活”期间是命中率极高的。也就是说仅仅基于时间的“老化”机制来实现的替换策略是带有一定盲目性的。

综上所述，当前基于“三相式内容寻址存储器”硬件实现“报文分类”的设备中，自动维护更新“过滤查找表”的替换机制往往是基于“时间老化”来实现，具有一定的盲目性。本发明针对上述问题，提出了一种基于“命中率”的自动维护更新“过滤查找表”的方法。

发明内容

针对上述现有“过滤查找表”更新维护过程中所存在的问题和不足，本发明的目的是提供一种基于“命中率”的自动更新维护“过滤查找表”的方法。

本发明的技术方案为；：

一种新型的过滤查找表自动更新方法，其步骤为：

1)设置一“高命中指针”和一“低命中指针”，将所述高命中指针指向过滤查找表中最近或较近一次命中的过滤条件的下一地址，将所述低命中率指针指向过滤查找表中最早或较早一次命中的过滤条件的地址；

2)解析所获取的网络数据报的包头信息；

3)判断该数据报的包头信息是否位于过滤查找表中，如果有则将该数据报的包头信息移到“高命中指针”所指向的地址，最后高命中指针和低命中指针均向下移动一个存储单元；如果没有则提取包体内容的特征字段；

4)判断所提取的特征字段是否与设定的特征字段匹配，如果匹配不成功则丢弃该数据报的包头信息；

5)如果匹配成功，则将该数据报的包头信息作为过滤条件写入到高命中指针所指向的地址上，同时清除低命中指针所指向的过滤条件；最后将高命中指针和低命中指针均向下移动一个存储单元。

所述数据报的包头信息为一组五元组信息，包括：“协议”、“源网络地址”、“目的网络地址”、“源端口”和“目的端口”。

所述步骤2)解析该数据报的包头信息的同时，保存该数据报的副本。

所述过滤查找表为一循环链表。

所述循环链表表单项内的过滤条件按照命中的时间顺序进行排序。

进一步的，在所述循环链表中，所述高命中指针和所述低命中指针之间至少留有一空存储单元。

进一步的，所述循环链表内设有一淘汰区，用于存储低命中率的过滤条件。

进一步的，所述方法中如果所述数据报的包头信息命中的过滤条件位于过滤查找表的淘汰区内，则将该包头信息对应的过滤条件搬移到“高命中指针”位置，并将“低命中指针”位置的内容搬移到刚刚被移走的位于淘汰区范围内所命中的表单项位置；最后将“高命中指针”和“低命中指针”均向下移动一个存储单元。

进一步的，所述步骤5)中，将该数据报的包头信息作为过滤条件写入到高命中指针所指向的地址上之前，判断过滤查找表是否已满，如果未满则将该数据报的包头信息直接写入到高命中指针所指向的地址上，然后将所述高命中指针和低命中指针均向下移动一个存储单元。

所述淘汰区的淘汰线阈值通过ARM传入或者由用户设定。

本发明的实现过程为：

1，从旁路骨干网光纤通道，将数据引入到数据接入设备；

2，通过成帧器芯片器件，将数据还原成“开放系统互联参考模型”第三层报格式，即网络数据报；

3，网络数据报进入可编程器件芯片，针对包头信息进行解析得到包头信息，并作存储，以备后续模块使用；

4，针对包头信息，借助“包头匹配模块”进行查找，判断该数据报的包头信息是否位于“过滤查找表”当中。“过滤查找表”存储在“包头匹配模块”中；

5，针对步骤4的结果，如果数据报的信息已经位于“过滤查找表”当中，则按照既存的过滤策略对其进行分类转发，同时将该数据包的包头信息写入到“高命中指针”所指向的地址；

6，针对步骤4的结果，如果数据报的信息尚未存在于“过滤查找表”当中，则将该数据报继续向下传输，并提取其数据报载荷部分的特征字段，即应用层协议在数据包中包含的特殊字符串，例如BT协议会有bittorrot特征，进行二次过滤，如图2所示；

7，将特征字段借助“特征字段匹配模块”进行查找，判断该数据报的报体内容中是否含有关心的特征值，即特征字段匹配模块中预设的特征字段；

8，针对步骤7的结果，如果数据报不包含所关心的特征值，则丢弃该数据报；

9，针对步骤7的结果，如果数据报包含有所关心的特征值，则需要将该报的包头信息“反射”到“包头匹配模块”的“过滤查找表”中，这样便可以解决某些应用协议当中，只有控制流包含特征值而业务流不包含的情况，如图3所示；

10，“反射”过程是对“过滤查找表”的更新操作，需要将新近捕获的含有特征值的数据报的包头信息，增加到“过滤查找表”当中；

11，在步骤10的实施过程中，如果“过滤查找表”不满，则将新近捕获的含有特征值的数据报的包头信息追加到当前记录的后一位置；

12，在步骤10的实施过程中，如果“过滤查找表”已满，则需要启用一套基于“命中率”的更新维护“过滤查找表”的算法。该算法描述如下：

13，基于“命中率”的更新维护“过滤查找表”算法是将“过滤查找表”抽象成一个类似于“循环链表”的结构。由两枚指针来维护其主要操作，分别为“高命中指针”和“低命中指针”。当算法运行时，“高命中指针”指向较高命中率的过滤条件的下一地址，“低命中率指针”指向较低命中率的过滤条件的地址。另外，用户还可以定义一个标明“淘汰区”范围的变量。

14，当“过滤查找表”发生更新操作时，直接将需要新近写入的过滤条件内容(即含有特征值的数据报的包头信息)，写入到“高命中指针”所指向的地址上，同时清除“低命中指针”所指向的过滤条件；最后将“高命中指针”和“低命中指针”均向下移动一个存储单元；

15，当有数据报命中“过滤查找表”的某一条表单项，且该表单项位于“淘汰区”范围内时就需要触发“维护”的操作了。过程为：将位于“淘汰区”范围内所命中的表单项搬移到“高命中指针”位置，并将“低命中指针”位置的内容搬移到刚刚被移走的位于“淘汰区”范围内所命中的表单项位置；最后将“高命中指针”和“低命中指针”均向下移动一个存储单元；

综上所述，所有命中了位于“过滤查找表”当中表单项的数据报都将按照既定规则被过滤转发，而在此之外的数据报还将被检测是否含有特征值字段；不在“过滤查找表”当中且不包含特征值字段的数据报将被丢弃，而包含特征值字段的数据报将会被提取报头信息“反射”到“过滤查找表”当中，也就是对“过滤查找表”进行更新。在系统运行的最初阶段，“过滤查找表”还有可能拥有空闲的空间位置用于新近表单项的写入，但当系统长期运行多次“反射”操作发生之后，“过滤查找表”面临溢出问题。这就需要对其进行维护，基于“命中率”来淘汰那些无用的表单项。

本发明的积极效果为：

本发明根据“命中率”的方法进行更新维护过滤查找表，能够在过滤查找表面临溢出问题时更合理的删除无用的表单项，避免了维护的盲目性，提高了系统的运行效率。

附图说明

图1是使用“三相式内容寻址存储器”配合“随机存储器”实现报文分类的结构；

图2是网络数据报进入可编程器件芯片后进行第一次过滤的流程图；

图3是网络数据报经过第一次过滤未命中之后进行第二次过滤的流程图；

图4是本发明系统的整体框架图；

图5是“过滤查找表”发生“新进条件写入”时的变化情况；

图6是“过滤查找表”的淘汰区范围内有条件命中时发生维护的变化情况。

具体实施方式

现结合附图详细描述本发明的实施。

如图4所示，骨干网络传输的上行和下行数据做镜像拷贝就完成了“开放系统互联参考模型”的第一层数据的接入。

数据信息经过成帧器芯片处理，完成“开放系统互联参考模型”第二层数据链路层的工作。

成帧器芯片输出的数据是以“开放系统互联参考模型”的第三层网络数据报的格式存在，进入可编程器件芯片进行分类和转发。

网络数据报进入可编程器件芯片内部之后，首先解析其包头信息，提取包括“协议”、“源网络地址”、“目的网络地址”、“源端口”和“目的端口”在内的五元组信息。同时将整个网络数据报的副本存储在可编程器件芯片内部的“块随机存储器”中。

五元组信息作为进入“包头匹配模块”的输入内容，与“过滤查找表”中的各个过滤条件进行匹配，“包头匹配模块”的匹配结果将返回给可编程器件芯片。

如果匹配成功，则以返回的地址为索引进入到“随机存储器”器件中进行寻址，获取对应的过滤策略，将网络数据报进一步处理，同时将该数据包的包头信息写入到“高命中指针”所指向的地址。

如果匹配不成功，则将该数据报继续下传，在下传的过程中，提取包体内容中的特征字段，即应用层协议在数据包中包含的特殊字符串，例如BT协议会有bittorrot特征。

特征字段作为进入“特征字段匹配模块”的输入内容，与该器件内部所存储的过滤条件进行匹配，“特征字段匹配模块”的匹配结果将返回可编程器件芯片。

如果匹配成功，则将该数据报的五元组信息再次提取出来，“反射”到“包头匹配模块”中。

如果匹配不成功，则说明该数据报不被关心，可以被丢弃。

在“反射”“包头匹配模块”的过程中，将会出现对“过滤查找表”的维护更新操作。

更新操作的具体方法为：

基于“命中率”的更新维护“过滤查找表”算法是将“过滤查找表”抽象成一个类似于“循环链表”的结构，然后将过滤查找表中的过滤条件按照命中的时间顺序进行排序，填入一循环链表中，过滤查找表中最近一次命中的过滤条件与最早一次命中的过滤条件之间为空表位，且至少保留一个空表位用于写入新添加的表单项(即包头信息或过滤条件)。过滤查找表由两枚指针来维护其主要操作，分别为“高命中指针”和“低命中指针”。当算法运行时，“高命中指针”指向较高命中率的过滤条件的下一地址，即指向最近一次命中的过滤条件的下一地址，“低命中率指针”指向较低命中率的过滤条件的地址，即指向最早一次命中的过滤条件的地址。另外，用户还可以定义一个标明“淘汰区”范围的变量，例如将位于低命中指针所指地址之后的若干表位设定为淘汰区范围，“淘汰线”阀值可以由ARM传入，也可由用户手动修改。

当“过滤查找表”发生更新操作时，直接将需要新近写入的过滤条件内容(即含有特征值的数据报的包头信息)，写入到“高命中指针”所指向的地址上，同时清除“低命中指针”所指向的过滤条件；最后将“高命中指针”和“低命中指针”均向下移动一个存储单元，如图5所示。

当有数据报命中“过滤查找表”的某一条表单项，且该表单项位于“淘汰区”范围内时就需要触发“维护”的操作了。过程为：将位于“淘汰区”范围内所命中的表单项搬移到“高命中指针”位置，并将“低命中指针”位置的内容搬移到刚刚被移走的位于“淘汰区”范围内所命中的表单项位置；最后将“高命中指针”和“低命中指针”均向下移动一个存储单元，如图6所示。

“过滤查找表”的空间不会全部被占满，总会留有一个存储空间供新近“反射”的五元组占用，形成一条新的过滤条件。

当“过滤查找表”中的过滤条件发生“命中”时，需要关心所“命中”的过滤条件是否是位于“淘汰区”的范围内。如果不在此范围内，则不需要进行维护“过滤查找表”的操作；反之，需要将刚刚发生“命中”的过滤条件移出“淘汰区”，并调整两个指针的位置。从而起到保证“命中率”高的过滤条件不会出现在“淘汰区”里，而“淘汰区”里存储的都是低“命中率”的过滤条件，发生“反射”时，便从这部分空间中进行淘汰。

Claims (10)

1.一种新型的过滤查找表自动更新方法，其步骤为：

1)设置一“高命中指针”和一“低命中指针”，将所述高命中指针指向过滤查找表中最近或较近一次命中的过滤条件的下一地址，将所述低命中率指针指向过滤查找表中最早或较早一次命中的过滤条件的地址；

2)解析所获取的网络数据报的包头信息；

3)判断该数据报的包头信息是否位于过滤查找表中，如果有则将该数据报的包头信息移到“高命中指针”所指向的地址，最后高命中指针和低命中指针均向下移动一个存储单元；如果没有则提取包体内容的特征字段；

4)判断所提取的特征字段是否与设定的特征字段匹配，如果匹配不成功则丢弃该数据报的包头信息；

5)如果匹配成功，则将该数据报的包头信息作为过滤条件写入到高命中指针所指向的地址上，同时清除低命中指针所指向的过滤条件；最后将高命中指针和低命中指针均向下移动一个存储单元。

2.如权利要求1所述的方法，其特征在于所述数据报的包头信息为一组五元组信息，包括：“协议”、“源网络地址”、“目的网络地址”、“源端口”和“目的端口”。

3.如权利要求1所述的方法，其特征在于所述步骤2)解析该数据报的包头信息的同时，保存该数据报的副本。

4.如权利要求1所述的方法，其特征在于所述过滤查找表为一循环链表。

5.如权利要求4所述的方法，其特征在于所述循环链表表单项内的过滤条件按照命中的时间顺序进行排序。

6.如权利要求5所述的方法，其特征在于在所述循环链表中，所述高命中指针和所述低命中指针之间至少留有一空存储单元。

7.如权利要求6所述的方法，其特征在于所述循环链表内设有一淘汰区，用于存储低命中率的过滤条件。

8.如权利要求7所述的方法，其特征在于如果所述数据报的包头信息命中的过滤条件位于过滤查找表的淘汰区内，则将该包头信息对应的过滤条件搬移到“高命中指针”位置，并将“低命中指针”位置的内容搬移到刚刚被移走的位于淘汰区范围内所命中的表单项位置；最后将“高命中指针”和“低命中指针”均向下移动一个存储单元。

9.如权利要求7所述的方法，其特征在于所述步骤5)中，将该数据报的包头信息作为过滤条件写入到高命中指针所指向的地址上之前，判断过滤查找表是否已满，如果未满则将该数据报的包头信息直接写入到高命中指针所指向的地址上，然后将所述高命中指针和低命中指针均向下移动一个存储单元。

10.如权利要求7所述的方法，其特征在于所述淘汰区的淘汰线阈值通过ARM传入或者由用户设定。

Images