CN101848091A - 数据查找处理方法及系统 - Google Patents

Abstract

本发明涉及一种数据查找处理方法，包括：利用第一预定函数，对第一数据取定长字节进行运算，以生成第一地址；查询第一存储器中第一地址中的标记，当标记为有效时，利用第二预定函数，对第一数据取定长字节进行运算，以生成第二地址；利用第三预定函数，对第一数据取和规则相等长度的字节进行运算，以生成第二数据；将第二数据，与第二存储器中第二地址对应的规则全文的数据信息进行比对，以处理数据。本发明还涉及一种数据查找处理系统，包括查找引擎和第一存储器、第二存储器和第三存储器。因此，本发明在支持多规则的同时，极大减小了索引规则的时间，并采用独有的串路流水技术，使用较少的资源完成高效的处理，实现高速查找。

Description

数据查找处理方法及系统

技术领域

本发明涉及数据处理及网络安全领域，尤其涉及一种利用多级筛选数据的数据查找处理方法及系统。

背景技术

随着网络应用的不断复杂化和安全威胁的“复合性”，今后的威胁将向更高的层次延伸，更多协议和应用需要进行安全检查，并需要针对网络流量的分析和通信内容的管理，这些都必须进行基于内容的检查和分析。用户需要的不是简单的通过端口或者包头的访问控制，各种IM和P2P应用是不能通过端口进行控制的，还必须进行深度内容检查。比如针对HTTP协议的访问控制上，该协议允许正常使用，但不允许某个关键字和恶意的报文进入网络内部，这需要进行深度检测，进行7层内容的全面防护。

出于信息安全和对信息内容的监控，要根据预定的规则对在网络上传输的信息进行比对、过滤。由于所定义的规则数量多，而且网络上传输的信息极其庞大，特别是随着网络传输带宽的增长，为了在不影响网络传输带宽的情况下有效的比对、过滤网络中传输的信息内容是一项非常繁重的任务。

为了实现对内容的比对，往往需要将网络传输的数据进行还原后与规则数据库中的内容进行比对，但是这需要加大对设备的负荷，工作效率低下，为了提高数据比对的效率，现在多数采用将规则内容转换为二进制数据，在比对时直接比对数据包中的二进制数据和规则中的数据，以提高数据比对效率。

现有网络设备对网络数据流内容的处理能力较低，所有的任务全部依赖CPU完成。在进行内容处理时，从包的流重组、碎片重组到数据还原，到数据流特征搜索，数据转发等所有工作全部由CPU承担，资源消耗全部集中到CPU，在面临网络上大流量以及大规模的规则查找比对时，会造成整个系统处理速度缓慢，从而导致网络性能严重下降甚至瘫痪。

发明内容

为了解决现有技术中查找处理速度缓慢以及效率低下等问题，本发明的目的是提供一种数据查找处理方法及系统，利用多级查找处理数据来实现使用较少资源而获得高效处理。

为了达到上述目的，本发明提供了一种数据查找处理方法，该方法包括：

步骤1，利用第一预定函数，对接收到的第一数据取定长字节进行运算，以生成第一地址；

步骤2，查询第一存储器中所述第一地址中的规则所对应的标记，以根据所述标记处理数据。

所述的数据查找处理方法的所述步骤2之后还包括：

步骤3，当标记为有效时，利用第二预定函数，对所述第一数据取定长字节进行运算，以生成第二地址；

步骤4，利用第三预定函数，对所述第一数据取和所述规则相等长度的字节进行运算，以生成第二数据；

步骤5，将所述第二数据，与第二存储器中所述第二地址对应的规则全文的数据信息进行比对，以根据所述比对的结果处理数据。

所述步骤5之后还包括：

步骤6，在比对符合时，查询第三存储器中与第二存储器成映射关系的所述规则的详细信息，将所述详细信息与所述第一数据获取到的与所述规则相等长度的字节进行比对，以处理数据。

第一预定函数是根据所述第一存储器的存储空间地址容量的大小来确定。第二预定函数是根据所述第二存储器的空间地址容量来确定。第三预定函数是根据所述第二存储器的每个存储单元分成的子单元的容量来确定。

为了达到上述目的，本发明还提供了一种数据查找处理系统，该系统包括：

第一存储器，用于存储规则所对应的标记；

查找引擎，用于利用第一预定函数，对接收到的第一数据取定长字节进行运算，以生成第一地址；查询第一存储器中所述第一地址中的规则所对应的标记，以根据所述标记处理数据。

所述的数据查找处理系统还包括：第二存储器，用于存储所述规则全文的数据信息；所述查找引擎，进一步用于利用第二预定函数，对所述第一数据取定长字节进行运算，以生成第二地址；利用第三预定函数，对所述第一数据取和所述规则相等长度的字节进行运算，以生成第二数据；将所述第二数据，与第二存储器中所述第二地址对应的规则全文的数据信息进行比对，以根据所述比对的结果处理数据。第三存储器，用于存储与第二存储器成映射关系的所述规则的详细信息；所述查找引擎，进一步用于查询第三存储器中所述规则的详细信息，将所述详细信息与所述第一数据获取到的与所述规则相等长度的字节进行比对，以处理数据。

因此，本发明数据查找处理方法和系统在支持多规则的同时，极大减小了索引规则的时间，并采用独有的串路流水技术，使用较少的资源完成高效的处理，实现高速查找和处理。

附图说明

图1为本发明数据查找处理方法的流程图。

图2为本发明第二存储器与第三存储器的映射关系对应示意图。

图3为本发明数据查找处理系统的结构示意图。

具体实施方式

本发明应用于数据通信网络中，尤其是需要高速检测数据包所有内容的1Gbps到40Gbps传输网络中，在不影响原来网络拓扑结构的前提下，实现对网络L2-L7层内容特征搜索、网络内容分流、访问控制及其处理等功能。本发明也可用于服务器安全领域中，尤其是需要对服务器进出口内容、服务器本机内部内容做高速检测的高端服务器领域。

如图1所示，为本发明数据查找处理方法的流程图。该方法包括以下步骤：

步骤11，利用第一预定函数，对接收到的第一数据取定长字节进行运算，以生成第一地址；第一预定函数是根据所述第一存储器的存储空间地址容量的大小来确定的。

步骤12，查询用于存储规则所对应的标记的第一存储器中所述第一地址中的规则所对应的标记；即查看该第一地址对应的存储单元中存储的标记是否为真，如果标记为“真”，则执行步骤13；如果标记为“假”，则执行步骤18不处理此第一数据。

步骤13，标记为有效即判断出“真”时，利用第二预定函数，对所述第一数据取定长字节进行运算，以生成第二地址；该第二预定函数是根据第二存储器的空间地址容量来确定的。

步骤14，利用第三预定函数，对所述第一数据取和所述规则相等长度的字节进行运算，以生成第二数据；第三预定函数是根据所述第二存储器的每个存储单元分成的子单元的容量(如第二存储器的存储单元分成4个子单元，构成一个Hash桶)来确定的。

步骤15，将所述第二数据，与用于存储所述规则全文的数据信息的第二存储器中所述第二地址对应的规则全文的数据信息进行比对；如果比对结果是符合，则执行步骤16，否则执行步骤18不处理此第一数据；

步骤16，在比对符合时，查询与第二存储器成映射关系的用于存储所述规则的详细信息的第三存储器中所述规则的详细信息，与所述第一数据获取到的与所述规则相等长度的字节进行比对，以过滤数据，如果比对相同(即符合规则)，则进行后续处理(步骤17执行其规则要求的动作)，如果比对不相同，则不处理此第一数据(步骤18)。

本发明采用多层次、多流水线的逐步深入过滤方式。上述步骤可以分为三个流水线过程，步骤11和12为第一流水线过程，步骤13、14和15为第二流水线过程，步骤16为第三流水线过程。上述经过查找引擎3条流水线过滤命中的数据将执行后续处理即执行其规则要求的动作，动作的具体内容包括：丢弃；通过；镜像；修改数据包内容；修改数据包的优先级；转发到指定端口；为数据包打上标志，标志信息包括命中规则的ID号等信息。

在上述本发明数据查找流程之前还包括建立规则样本的过程。该过程包括：步骤10，清零第一存储器，通过将规则库中的规则转换为二进制机器码，取定长字节(如10字节)的机器码根据所述第一预定函数(如：Hash算法)生成第一自然数，将所述第一自然数作为所述第一存储器的地址，并在所述地址对应的所述第一存储器的存储单元中存储所述规则对应的标记(如，做“真”标记记录)；

步骤20，通过将规则库中的规则转换为二进制机器码，取所述定长字节的机器码取所述定长字节(如10字节)的机器码，根据所述第二预定函数生成第二自然数，将所述第二自然数作为所述第二存储器的地址；

步骤30，将所述规则对应的二进制机器码根据第三预定函数生成规则全文的数据信息、即第三自然数，并且将第三自然数作为规则的信息指纹；并将所述数据信息即第三自然数存储至所述第二自然数作为所述第二存储器的地址所对应的存储单元中。

在本发明中，第一存储器是用于存储规则所对应的标记，第二存储器是用于存储所述规则全文的数据信息即指纹信息，如图2中所示的，第二存储器中存储的指纹信息，是存储在某个地址所指向的存储单元中的子单元中，如指纹1、指纹10等存储在子单元中。第三存储器是与第二存储器成映射关系的所述规则的详细信息。即根据第二存储器的空间和每个地址对应的存储单元所分配的子单元数量和对应关系，在第三存储器中建立映射存储器，将第二存储器中的子单元存储的数据信息对应的规则的二进制码存储进第三存储器的对应位置中，如图2所示，本发明第二存储器与第三存储器的映射关系对应示意图。

下面举例说明本发明数据查找处理方法，查找引擎的第一级流水线过程如下：

采用16Mb的外部RAM作为第一存储器，上电时，将RAM清零，假定要过滤一万个电子邮件地址，对于每一个电子邮件地址X，我们用1个不同的随机数产生器(F1)即第一预定函数，产生1个第一自然数。再用一个随机数产生器G把这1个第一自然数映射到第一存储器即外部RAM的地址。把这1个自然数的硬件位置设置标记为1，即对该RAM中的存储单元中做标记“真”。对这一万个email地址都进行这样的处理后。一个针对这些email地址的标记就建成了。

现在，可以对接收到的数据流采用同样的运算，即执行步骤11和步骤12，利用F1对接收到的第一数据(如邮件数据流)一定字节如(10个字节)进行运算，得到一个第一自然数，如100，则根据该自然数100在第一存储器如外部RAM中查询地址为100的存储单元中的过滤标记，如果该过滤标记是“真”，则送到下一级过滤。

在上面的例子中，在16Mb的RAM里，被置1的比特不超过1万比特，所以误识概率在一千六百分之一。此算法的好处在于快速，省空间。但是有一定的误识别率，在第一级流水线有误识别率，但没有漏识别率。

经过查找引擎的第一条流水线过滤后，传给第二条流水线过滤的数据流量就要小得多，按照配置10万条随机数据内容规则的情况下，4Gbps随机数据流量经过第一级流水线过滤后的带宽也会降到25Mbps左右，过滤带宽与过滤的数据流内容有关，如果一个数据包在第一级流水线命中规则次数较多，留给第二条流水线过滤的流量会加大，前后两级流水线的数据交接过滤方式采用先进先出(First In First Out，fifo)方式传递，即第一级流水线发现的可疑数据的信息会通过fifo传给第二级流水线，第二级流水线拿到的第二数据的数据信息包括数据内容和数据在数据流中的位置，知道位置后便于后续的进一步校验查找。

第二级流水线采用信息指纹来进一步实现搜索匹配。下面做一个信息指纹的简要介绍。

任何一段信息文字，都可以对应一个不太长的随机数，作为区别它和其它信息的指纹(Fingerprint)。只要算法设计的好，任何两段信息的指纹都很难重复，就如同人类的指纹一样。信息指纹的一个特征是其不可逆性，也就是说，无法根据信息指纹推出原有信息。

内容过滤规则长短不一，如果都要将其原始内容放进芯片内部RAM，会耗费大量的内部RAM，这样会造成过滤规则数量无法上升，所以我们采取将内容规则做智能压缩，长短不一的内容规则都会形成指定长度的信息指纹，内容规则的信息指纹长度一致，便于内部查询，也便于压缩规则，比如长度1024字节的内容规则的信息指纹为32bit，我们只将其信息指纹放入芯片内部RAM做索引，原始信息放在外部DDR2内存中，这样就可以大大增加内容规则的数量。

比如可以将一下规则：

http://www.sina.com/s？ie＝gb2312&bs＝％CA％FD％D1％A7％D6％AE&wd＝％CE％E2％BE％FC+％CA％FD&ct＝0

运算出其信息指纹为：89e24c43；即在第二存储器如内部RAM中，取过滤规则的定长字节(如10字节)的机器码，根据第二预定函数生成第二自然数，将所述第二自然数作为第二存储器的存储单元中各个存储子单元的地址；根据第三预定函数生成第三自然数，并且将第三自然数作为规则的信息指纹(如上面运算出的89e24c43)，存储在第二自然数对应的存储单元里，如图2中所示的指纹1、指纹10等。在该第二存储器中存储了过滤规则全文的指纹信息。在该第二条流水线过程中执行步骤13、14和15，利用第二预定函数F2，对接收到的邮件数据取定长字节进行运算，以生成第二地址；然后利用第三预定函数，对接收到的邮件数据(即第一数据)取和过滤规则相等长度的字节进行运算，以生成第二数据(该第二数据中包括数据内容和数据在数据流中的位置)；随后将第二数据，与第二存储器中第二自然数生成地址对应的存储单元中存储的过滤规则全文的数据信息(即该规则的信息指纹)进行比对。该第二条流水线信息指纹匹配与Hash算法匹配方法都有误抓，但不会漏抓，所以还需要第三级流水线做最后的校验过滤。

数据流经过第一、第二条流水线过滤后，没有命中的数据包就直接交换路由出去，命中第一、第二条流水线规则的数据还需要第三条流水线即步骤16作校验过滤。

配置规则时，每条规则在查找引擎第二级流水线的第二存储器(内部RAM)中都对应一个唯一的位置，用于存放其信息指纹，这个位置是通过HASH算法得到的，对应这个位置，在第三存储器即外部DDR2内存中也有一个与其一一对应的内存块，用于存放规则的详细信息。

查找引擎的第三条流水线可以根据前面流水线命中规则的内部位置信息找到其规则在DDR2内存具体位置信息，并读出其规则的全部信息，将数据流中的信息和DDR2里的规则详细信息做最后的校验匹配，经过第三级流水线检验检查后，就可以保证数据流在设置规则库的精确匹配，做到不漏报，不误报。即在第二条流水线比对符合后，查询与第二存储器成映射关系的用于存储所述规则的详细信息的第三存储器中所述规则的详细信息，与所述第一数据获取到的与所述规则相等长度的字节进行比对，以过滤数据，如果比对相同，则进行后续处理，如果比对不相同，则过滤。

基于本发明，每个时钟周期可以输入4个或更多字节，每个时钟周期输入字节数量越多，过滤带宽越高，只是所耗资源越多。目前基于本发明实现数据过滤的板卡是用FPGA实现的。

第一级过滤流水线对数据包进行一次初级筛选，此算法实现有HASH碰撞率，即会误抓，但不会漏抓，需要后面的流水线做进一步精确过滤或校验，第一级过滤流水线过滤后，在数据流中筛选出可能会命中规则的零星数据信息(包括在第一级流水线查找中命中规则的数据在数据包里的位置信息等)、和数据包的原始内容一起放入传给第二条流水线的fifo。由于第一级流水线已经找出所有有可能命中规则的数据在数据包中的位置信息，所以为后面的第二级过滤流水线的查找工作减轻了压力，即第二级过滤流水线面临的过滤数据流的带宽要远远小于第一级过滤流水线面临的数据流带宽。

查找引擎第二级的流水线，采用信息指纹来进一步实现搜索匹配。本专利技术利用信息指纹的方法、利用HASH函数压缩规则，会造成HASH碰撞率，与第一级过滤一样，会造成误抓，但不会造成漏抓，但误抓率比第一级过滤的误抓率小多了，于是我们需要第三级流水线来做校验过滤。

经过第二级流水线过滤后的命中数据就会进一步减少，第三级过滤流水线需要校验的带宽要求进一步降低，但由于要解决前两级过滤的误抓率，需要对规则做完整的校验，这时需要读取规则庞大的完整信息。所以规则的完整信息是放置在外部DDR2里，它能满足校验所需要的读写带宽和存取规则完整信息的庞大容量。

经过三级流水线查找过滤后，对数据流的查找可以保证做到不误抓、不漏抓。

本发明还相应地提供了一种数据查找处理系统，如图所示该系统的结构示意图。该系统包括第一存储器，用于存储规则所对应的标记；查找引擎，用于利用第一预定函数，对接收到的第一数据取定长字节进行运算，以生成第一地址；查询第一存储器中所述第一地址中的规则所对应的标记，以根据所述标记过滤数据。如图中所示还包括：第二存储器，用于存储所述规则全文的数据信息的信息指纹；所述查找引擎，进一步用于利用第二预定函数，对所述第一数据取定长字节进行运算，以生成第二地址；利用第三预定函数，对所述第一数据取和所述规则相等长度的字节进行运算，以生成第二数据；将所述第二数据，与第二存储器中所述第二地址对应的规则全文的数据信息(即信息指纹)进行比对，以根据所述比对的结果处理数据。如图3中还包括：第三存储器，用于存储与第二存储器成映射关系的所述规则的详细信息；所述查找引擎，进一步用于查询第三存储器中所述规则的详细信息，将所述详细信息与所述第一数据获取到的与所述规则相等长度的字节进行比对，以处理数据。

在实际应用过程中，4端口千兆PHY用于接收和转发从以太网络来的数据流，PCI-E和PCI-X桥片用于接收和转发从服务器来的数据流，这些数据流被送至查找引擎，由查找引擎中预先设定的规则来进行数据的处理。在实施过程中，第一存储器可以采用SRAM，用于查找引擎的第一级流水线，第三存储器可以采用DDR2RAM，用于查找引擎的第三级流水线处理，第二存储器，即查找引擎第二级流水线所用的RAM全是现场可编程门阵列(Field Programmable Gate Array，FPGA)内部的RAM，查找引擎即FPGA。

本发明通过采用内部RAM智能压缩和外部RAM快速校验结合技术，使得有限的芯片内部高速RAM可以支持更多的规则。

本发明采用了智能规则压缩技术，通过对规则的属性进行判断，采用信息指纹技术进行规则的智能压缩，在支持多规则的同时，极大减小了索引规则的时间，对并行处理进行了优化，并采用独有的串路流水技术，使用较少的资源完成高效的处理，实现高速查找。

本发明在硬件(可编程逻辑器件、芯片)本身具备并行处理的能力，但并行处理对可编程逻辑器件内部资源占用比较大，影响硬件稳定性，本发明成功解决上述技术难点，使得具备使用较少的资源获得高效的处理能力。

最后所应说明的是，以上实施例仅用以说明本发明实施倒的技术方案而非限制，尽管参照较佳实施例对本发明实施例进行了详细说明，本领域的普通技术人员应当理解，可以对本发明实施例的技术方案进行修改或者等同替换，而不脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种数据查找处理方法，其特征在于包括：

步骤1，利用第一预定函数，对接收到的第一数据取定长字节进行运算，以生成第一地址；

步骤2，查询第一存储器中所述第一地址中的规则所对应的标记，以根据所述标记处理所述第一数据。

2.根据权利要求1所述的数据处理方法，其特征在于所述步骤2之后还包括：

步骤3，当标记为有效时，利用第二预定函数，对所述第一数据取所述定长字节进行运算，以生成第二地址；

步骤4，利用第三预定函数，对所述第一数据取和所述规则相等长度的字节进行运算，以生成第二数据；

步骤5，将所述第二数据，与第二存储器中所述第二地址对应的规则全文的数据信息进行比对，以根据所述比对的结果处理所述第一数据。

3.根据权利要求2所述的数据过滤方法，其特征在于所述步骤5之后还包括：

步骤6，在比对符合时，查询第三存储器中与第二存储器成映射关系的所述规则的详细信息，将所述详细信息与所述第一数据获取到的与所述规则相等长度的字节进行比对，以处理所述第一数据。

4.根据权利要求3所述的数据查找处理方法，其特征在于所述第一预定函数是根据所述第一存储器的存储空间地址容量的大小来确定。

5.根据权利要求4所述的数据查找处理方法，其特征在于所述第二预定函数是根据所述第二存储器的空间地址容量来确定。

6.根据权利要求5所述的数据查找处理方法，其特征在于所述第三预定函数是根据所述第二存储器的每个存储单元分成的子单元的容量来确定。

7.根据权利要求1-6任一所述的数据查找处理方法，其特征在于在所述步骤1之前还包括：

步骤10，通过将规则库中的规则转换为二进制机器码，取所述定长字节的机器码根据所述第一预定函数生成第一自然数，将所述第一自然数作为所述第一存储器的地址，并在所述地址对应的所述第一存储器的存储单元中存储所述规则对应的标记；

步骤20，通过将规则库中的规则转换为二进制机器码，取所述定长字节的机器码取所述定长字节的机器码，根据所述第二预定函数生成第二自然数，将所述第二自然数作为所述第二存储器的地址；和

步骤30，通过将规则库中的规则转换为二进制机器码，将所述规则对应的二进制机器码根据第三预定函数生成规则全文的数据信息，并将所述数据信息存储至所述第二自然数作为所述第二存储器的地址所对应的存储单元中。

8.一种数据查找处理系统，其特征在于包括：

第一存储器，用于存储规则所对应的标记；

查找引擎，用于利用第一预定函数，对接收到的第一数据取定长字节进行运算，以生成第一地址；查询第一存储器中所述第一地址中的规则所对应的标记，以根据所述标记处理数据。

9.根据权利要求8所述的数据查找处理系统，其特征在于还包括：

第二存储器，用于存储所述规则全文的数据信息；

所述查找引擎，进一步用于利用第二预定函数，对所述第一数据取定长字节进行运算，以生成第二地址；利用第三预定函数，对所述第一数据取和所述规则相等长度的字节进行运算，以生成第二数据；将所述第二数据，与第二存储器中所述第二地址对应的规则全文的数据信息进行比对，以根据所述比对的结果处理数据。

10.根据权利要求8所述的数据查找处理系统，其特征在于还包括：

第三存储器，用于存储与第二存储器成映射关系的所述规则的详细信息；

所述查找引擎，进一步用于查询第三存储器中所述规则的详细信息，将所述详细信息与所述第一数据获取到的与所述规则相等长度的字节进行比对，以处理数据。

Images