CN104022999A - 基于协议分析的网络数据处理方法及系统 - Google Patents

Abstract

本发明公开了一种基于协议分析的网络数据处理方法及系统，该方法包括：1)捕获网络中的数据包；2)将所捕获的数据包的指纹与目的指纹相比较；3)判断通过指纹比对后的数据包是否为完整数据包；4)对完整数据包进行数据挖掘，生成新的关联规则；5)根据从规则库解析出来的协议，利用协议的特征对数据包进行协议分析；6)管理服务器根据信息日志，对警告信号进行实时响应；同时，判断是否将新生成的关联规则保存到规则库中。该系统包括传感单元，指纹比对单元，分析单元，数据还原单元，挖掘单元，协议分析单元，管理服务器和解析单元。本发明不仅提高了数据处理的精确性和可靠性，还能够处理海量数据，实现实时响应。

Description

基于协议分析的网络数据处理方法及系统

技术领域

本发明涉及网络安全技术领域，尤其涉及一种基于协议分析的网络数据处理方法及系统。

背景技术

网络入侵检测作为目前最主要的主动网络安全措施之一，它通过对计算机和网络资源上的恶意网络连接进行识别和响应，有效地补充和完善了诸如访问控制、数据加密、防火墙、病毒防范等安全措施，提高了信息安全基础结构的完整性，已成为信息系统安全解决方案中不可或缺的环节。网络入侵检测技术按其工作原理分为误用检测技术和异常检测技术两类。其中误用检测技术基于数据报文特征匹配为基础，这种检测技术准确率高，但其问题是不能发现新的入侵模式而出现漏报情况。异常检测技术则以网络连接特征、系统调用特征、网络流量特征以及系统时延特征等数据为基础，建立正常网络行为的描述模型，当用户活动与正常行为有重大偏离时即被认为是入侵，该检测技术可以发现新型网络入侵，但是存在误报率高，需要大量训练样本的问题。

由于信息系统的运行状态是不断演化，那么反映其运行状态的特征数据的分布规律自然也会随之改变。为了获得理想的检测性能，就要求异常检测系统必须定期动态更新训练样本，并在此基础上动态更新异常检测规则。然而传统的通过网络专家人工方式收集训练样本的方法效率低下，并导致异常检测系统的应用和部署成本高昂的问题。

协议分析技术则能够有效解决上述问题，协议分析技术有效利用网络协议的层次结构和相关协议知识，以快速判断攻击特征是否存在，大幅缩减匹配的计算量，节省系统资源，能够在大规模高速网络中实现优秀的检测能力，获得更高效和更精确的检测结果。采用协议分析技术可以进行数据包中应用内容的检测，能够将传输过程中拆分的数据包中的应用内容进行重组，然后针对重组后的应用内容进行分析检测。近年来，随着高速网络技术如ATM、千兆以太网、G比特光纤网等不断涌现，网络中数据和信息量以指数方式增长，使得上述单纯的协议分析技术出现了越来越多的问题，包括：单纯的对所有数据包都要进行还原和解释，不能及时处理网络中产生的海量数据方面，导致大量丢包、持续占用系统资源和效率低下等问题，而且协议分析技术只能针对单个数据包进行快速、实时的攻击检测，而对于意图攻击和大规模分布式协同攻击无能为力，另外，单纯的协议分析技术不具有审计功能，这也限制了协议分析技术的应用。

发明内容

为了克服现有技术的上述缺陷，本发明的目的之一在于提供一种能够提高数据检测精确性和可靠性的基于协议分析的网络数据处理方法。

本发明是通过如下技术方案实现的：

一种基于协议分析的网络数据处理方法，包括以下步骤：

1)捕获网络中的数据包；

2)将所捕获的数据包的指纹与目的指纹相比较，若二者匹配，则丢弃相应数据包，并向管理服务器发送丢弃数据包信息日志；

3)判断通过指纹比对后的数据包是否为完整数据包，如果是则直接进行步骤4)；否则，对不完整数据包进行还原，丢弃无法还原的数据包，并向管理服务器发送丢弃不完整数据包信息日志；

4)对完整数据包进行数据挖掘，生成新的关联规则，所有数据包完成数据挖掘后向管理服务器发送挖掘信息日志；

5)根据从规则库解析出来的协议，利用协议的特征对数据包进行协议分析，如果当前数据包和规则库中协议的某种特征匹配，则发出警告信号，当所有数据包完成协议分析后，向管理服务器发送协议分析信息日志；

6)管理服务器根据丢弃数据包信息日志、丢弃碎片数据包信息日志、序列挖掘信息日志和协议分析信息日志，对步骤5)发出的警告信号进行实时响应；同时，判断是否将步骤4)中新生成的关联规则保存到规则库中。

本发明的另一目的在于提出一种基于协议分析的网络数据处理系统，该系统包括：

传感单元，用于捕获网络中的数据包；

指纹比对单元，用于将所捕获的数据包的指纹与目的指纹相比较，若二者匹配，则丢弃相应数据包，并向管理服务器发送丢弃数据包信息日志；

分析单元，用于判断通过指纹比对后的数据是否为完整数据包，如果是直接将完整数据包发至挖掘单元；否则调用数据还原单元对不完整数据包进行重组还原；

数据还原单元，用于对不完整的数据包进行重组还原成完整数据包并发至挖掘单元；丢弃不能重组还原的不完整数据，并向管理服务器发送丢弃不完整数据包信息日志；

挖掘单元，用于对完整数据包进行数据挖掘，生成新的关联规则，所有数据包完成数据挖掘后向管理服务器发送挖掘信息日志；

协议分析单元，用于根据从规则库解析出来的协议，利用协议的特征对数据包进行协议分析，如果当前数据包和规则库中协议的某种特征匹配，则发出警告信号，当所有数据包完成协议分析后，向管理服务器发送协议分析信息日志；

管理服务器，根据指纹比对单元、数据还原单元、挖掘单元和协议分析单元传来的信息日志，对协议分析单元发出的警告信号进行实时响应，同时，判断是否将挖掘单元新生成的关联规则保存到规则库中；

解析单元，用于使用入侵事件描述语言将定义好的规则库从文件中读取出来，然后进行解析，读入内存，同时用于将新的攻击模式或规则写入规则库中。

本发明相对于现有技术具有以下优点：

(1)本发明中挖掘单元充分利用数据挖掘处理海量数据的优势，将捕获的数据包经过时间序列分析→规则挖掘→预测分类这个过程，通过时间序列分析，找出数据包之间时间序列关系，便于发现协同攻击，能有效防范分布式攻击，提高检测的准确度；通过序列挖掘，找出数据包之间潜在联系，产生新的关联规则，实现动态添加新规则，能有效检测未知攻击；通过分类实现并行处理不同类别的数据包，提高处理速度，并将分类结果发送到规则库细化单元，实现高速匹配。

(2)本发明中通过映射方式与特定检测线程关联，每个线程对应规则库中特定位置，提高规则库单元复用率减少冗余，克服协议分析技术只能针对单个数据包进行快速、实时攻击检测的缺陷，并行处理显著提高检测速度和检测准确性。

(3)本发明将数据挖掘技术和协议分析技术相结合，使用数据挖掘技术弥补了协议分析技术不具有审计功能的缺点，但数据挖掘技术具有滞后性，无法实施对新型未知的入侵行为做出判断，而这一点又恰恰是协议分析技术所具有的优势。本发明能够大幅提高匹配精确度，节省大量系统资源，降低了系统误报和漏报率，真正实现了入侵检测的高性能。

(4)本发明中管理服务器能够全面接收入侵检测系统中各单元所发送的报告信息或报警信息，为管理员提供了全面、完整的检测结果。

附图说明

图1为本发明网络数据处理系统的整体结构图；

图2为本发明网络数据处理系统的层次结构图；

图3为本发明网络数据处理方法的流程示意图；

图4是碎片扩展头的格式示意图；

图5是数据包的结构示意图；

图6是还原后的完整数据包的示意图；

图7是重组还原机制的示意图；

图8是节点树结构的示意图；

图9是合法性检测的示意图；

图10是分类流程的示意图；

图11是重组还原的预处理的示意图；

图12是状态机的示意图；

图13是数据还原单元的流程图。

具体实施方式

下面结合附图对本发明作进一步详细说明，但本发明的实施方式不限于此。

如图1所示，一种基于协议分析的网络数据处理系统，包括：

传感单元，用于捕获网络中的数据包；

指纹比对单元，用于将所捕获的数据包的指纹与目的指纹相比较，若二者匹配，则丢弃相应数据包，并向管理服务器发送丢弃数据包信息日志；

分析单元，用于判断通过指纹比对后的数据是否为完整数据包，如果是直接将完整数据包发至挖掘单元；否则调用数据还原单元对不完整数据包进行重组还原；

数据还原单元，用于对不完整的数据包进行重组还原成完整数据包并发至挖掘单元；丢弃不能重组还原的不完整数据，并向管理服务器发送丢弃不完整数据包信息日志；

挖掘单元，用于对完整数据包进行关联规则挖掘，生成新的关联规则，所有数据包完成关联规则挖掘后向管理服务器发送挖掘信息日志；

协议分析单元，用于根据从规则库解析出来的协议，利用协议的特征对数据包进行协议分析，如果当前数据包和规则库中协议的某种特征匹配，则发出警告信号，当所有数据包完成协议分析后，向管理服务器发送协议分析信息日志；

管理服务器，根据指纹比对单元、数据还原单元、挖掘单元和协议分析单元传来的信息日志，对协议分析单元发出的警告信号进行实时响应，同时，判断是否将挖掘单元新生成的关联规则保存到规则库中；和

解析单元，用于使用入侵事件描述语言将定义好的规则库从文件中读取出来，然后进行解析，读入内存，同时用于将新的攻击模式或规则写入规则库中。

所述数据还原单元包括：

鉴定单元，用于鉴定不完整数据包中各碎片的合法性，保留合法碎片，丢弃非法碎片；

节点树单元，用于根据构建的节点树鉴定单元鉴别出来的不是当前处理的数据包的碎片进行分支缓存，在此过程中调用鉴定单元进行合法性鉴定，以保证给节点树各节点上的碎片是合法的；

分类单元，对鉴定合法的碎片进行分类，并烙上协议类型标志；

细化分类单元，对经过分类的碎片进行细化分类处理，如果满足在分类规则的，就启动还原单元对该数据包进行还原处理后；否则，转交给节点数单元进行分支缓存；和

还原单元，用于对数据包进行还原处理。

所述挖掘单元包括：

时间序列分析单元，用于对完整数据包进行时间序列分析，然后生成分析信息日志发送到管理服务器；

挖掘单元，用于对时间序列分析单元处理后的完整数据包进行关联规则挖掘，生成新的规则发送到管理服务器，在所有数据包完成关联规则挖掘后生成挖掘信息日志发送到管理服务器，然后将数据包发送到预测分类单元；和

预测分类单元，用于对数据包按照协议类型进行预测分类，获得稳定的分类模型，同时采用预测方法，利用分类模型对未知类别数据包进行分类，并生成分类信息日志发送到报警响应单元，然后将分类后的数据包发送到协议分析单元。

所述协议分析单元包括：

接收单元，用于接收按照协议类型将数据包进行分类后传来的数据包；和

协议解析处理单元，对规则库中的协议进行解析，将解析后的协议映射到协议分析采用的并行数据包检测线程的对应线程上，与挖掘单元传来的分类后数据包进行一一匹配；如果当前数据包和协议的某种特征匹配，则发送警告信号到管理服务器，当对所有数据包完成协议分析后，生成协议分析信息日志发送到管理服务器。

如图2所示，从层次结构上看，本发明系统大致分为基本层、中间层和高层，具体如下：

传感单元和指纹比对单元属于基本层，采用BPF(Berkeley Packet Filter，伯克利包过滤器)机制，BPF在内核设置了过滤器，预先对数据包进行过滤，只将需要的数据包提交给进程，每个BPF都有一个buffer，它复制需要的数据包到相应的buffer中暂存，等收集到足够的数据包再一起提交给进程，提高了捕包效率，由于它采用循环双缓存的缓存机制，大大节省了时间，减少内存开销，使传感单元能够高效快速实现捕包，降低系统负荷。

挖掘单元和协议分析单元属于中间层，是入侵检测系统的核心部分。数据挖掘单元中的时间序列分析单元检测数据包发生时间、源IP地址和目的IP地址信息预防分布式攻击，挖掘单元挖掘数据包之间的隐含关系，而分类预测单元实现数据包类别划分，实现协议分析单元的并行处理；协议分析单元通过规则解析单元的入侵事件描述语言对规则进行解析、将新的攻击模式转换成规则，并将经过规则库细化后的规则映射到对应检测线程上。

管理服务器属于高层，主要负责警告信号响应和存储各层发送的信息日志，该日志包括：指纹比对单元丢弃数据包信息日志、数据还原单元丢弃不完整数据包信息日志、挖掘单元生成的挖掘信息日志以及协议分析单元生成的协议分析日志。这部分采用mySQL数据库进行分类存储，并实现简单归并分类，方便管理员浏览，适当修正新添加的关联规则，根据数据库中攻击信息进行相应安全策略调整。

如图3所示，一种基于数据挖掘的网络入侵检测方法，包括以下步骤：

一)系统首次启动，进行初始化，将规则库读入内存，然后将网卡设置为混杂模式，传感单元使用libpcap库函数循环捕获数据包，将捕获到的数据包进行过滤后发至指纹比对单元；

二)指纹比对单元将所捕获的数据包的指纹与目的指纹相比较，若二者匹配，则丢弃相应数据包，并向管理服务器发送丢弃数据包信息日志；

三)分析单元对指纹比对单元传来的数据包进行数据报格式分析，判断当前数据包是否是完整数据包，如果是则直接将完整数据包发送到挖掘单元，否则调用数据还原单元对不完整数据包进行重组；

四)由于链路层具有最大传输单位MTU(Maximum Transmission Unit)的特性，它限制了数据帧的最大长度，而实际应用中发送的数据包长度多数超过了MTU，就需要对数据包进行碎片操作，致使网络中存在大量的碎片数据包，这样就需要将碎片数据包还原为完整数据包，以用来检测可能的攻击行为。所以数据还原单元需要对数据包进行碎片重组，将重组还原成的完整数据包发送到挖掘单元，将不能重组还原成完整数据包的相应碎片数据包丢弃，并生成丢弃不完整数据包信息日志发送到管理服务器；

五)挖掘单元对完整数据包进行数据挖掘，生成新的关联规则发送到管理服务器，在所有数据包完成数据挖掘后，生成挖掘信息日志发送到管理服务器，然后将数据包发送到协议分析单元；

六)协议分析单元根据从规则库解析出来的协议，利用协议的特征对数据包进行协议分析，如果当前数据包和规则库中协议的某种特征匹配，则发送警告信号到管理服务器，当对所有数据包完成协议分析后，生成协议分析信息日志发送到管理服务器；

七)管理服务器根据指纹比对单元、数据还原单元、挖掘单元和协议分析单元传来的信息日志生成警告信号，对协议分析单元传来的警告信号进行实时响应，同时，判断是否将挖掘单元所新生成的关联规则保存到规则库中。

上述方法中，所述步骤二)中，捕获的数据包的指纹包括数据包的源IP地址或目的IP地址；所述目的指纹包括静态指纹和/或动态指纹，其中，所述静态指纹通过外部设备输入，所述动态指纹通过对所述数据包进行检测得到。步骤2)的具体操作如下：

步骤21、判断静态指纹是否有效，若静态指纹有效，执行步骤22，否则执行步骤23；

优选地，可以为静态指纹提供一标志位，当该标志位有效时，表示该静态指纹有效。

步骤22、判断数据包(可以为UDP数据包)的指纹与静态指纹是否匹配，若数据包的指纹与静态指纹匹配，执行步骤28，否则执行步骤23；

步骤23、判断动态指纹是否有效，若动态指纹有效，执行步骤24，否则执行29；

优选地，可以为动态指纹设置一标志位，当该标志位有效时，表示该动态指纹有效；

步骤24、判断数据包的指纹与动态指纹是否匹配，若UDP数据包的指纹与动态指纹匹配，执行步骤28，否则执行步骤25；

步骤25、判断是否需要学习动态指纹，若需要学习动态指纹，执行步骤26，否则执行步骤29；

优选地，可以设置一标志位，当该标志位有效时，表示需要学习动态指纹；

步骤26，学习动态指纹，判断动态指纹学习是否成功，若动态指纹学习成功，执行步骤27，否则执行步骤29；

具体地，学习动态指纹指的是检测数据包，提取其中的源IP地址或目的IP地址；

步骤27、更新指纹，执行步骤39；

具体地，将学习的动态指纹存储到动态指纹表中；

步骤28、丢弃数据包，执行步骤29；

步骤29、结束。

上述方法中，步骤四)所述数据还原单元对不完整数据包进行重组的过程如图13所示，具体操作如下：

分片方法的原理：分片重组是IP层一个最重要的工作，其处理的主要思想是：当数据包从一个网络A进入另一个网络B时，若原网络A的数据包长度大于新网络B所允许的最大数据包长度，必须进行分片。因而在IP数据包的分片扩展头有若干标识域注明分片包的共同标识号、分片的偏移量和是否是最后一片(如图4所示)。源主机通过使用路径MTU发现机制，可以确定源节点到目的节点之间的整个链路中能够传送的最大包长度，进而对要传送的IP数据包进行合理的分片，并填写相应的标志字段，是每个分片必须包含IPV6基本头、分片扩展头和部分数据。目的主机则根据收到的数据包的分片扩展头的标志信息，把收到的分片进行重组以恢复数据。因此，分片包在经过网络监测设备、安全设备、系统管理设备时，为了获取信息、处理数据，都必须完成数据包分片的重组。因此，有一个快速高效的分片重组方法，在很大程度上可以提高网络传输的性能。

4.1不完整数据包的重组原则：

在目的节点主机，不完整数据包被重组为原来未分片的形式，如图5所示(注意：重组后的数据包是不包含分片扩展头的)。

重组应遵循的原则：原包只能由具有相同源地址，目的地址和分片标识的不完整数据包重组，重组后的数据包的结构如图6所示，其中不可分片部分由第一个分片包(也就是片偏移量为0的那个包)中分片首部前面所有的首部(不含分片首部)组成，并作如下两处修改：

从第一个分片的分片首部中的“下一个首部”字段得到不可分片部分最后一个首部中的“下一个首部”字段值，由不可分片部分的长度及最后一个分片的长度和偏移量计算出重组包的有效载荷长度。为了写出计算重组包的有效载荷长度的计算公式，我们先定义一些有关的变量符号：

PL.orig＝重组包的有效载荷长度字段；

PL.first＝第一个分片包的有效载荷长度字段；

FL.first＝第一个分片包中分片首部后面的分片长度；

FO.last＝最后一个分片包中分片首部的分片偏移量字段；

FL.last＝最后一个分片包中分片首部后面的分片长度；

那么计算重组包的有效载荷长度的计算公式可写为：

PL.orig＝PL.first-FL.first-8+(8*FO.last)+FL.last。

重组包的可分片部分由各分片包中分片首部后面的分片组成。各分片的长度可由分片包的有效载荷长度减去此包中IPv6首部与分片之间所有首部的长度计算得到。各分片在可分片部分中的相对位置由其分片偏移量值计算得到。具体的重组机制如图7所示。

4.2节点树：

依据上述的分片重组机制，我们决定采用“节点树”技术来不完整数据包的重组还原。那么现在我们就来说明一下“节点树”的结构和存储规则。

“节点树”的结构如图8所示：所谓“节点树”是指，建立树结构来存储分片包组。

节点树的建立规则：从根节点往下，第一层，地址不同；第二层，地址相同，端口不同；第三层(叶节点)，地址、端口相同，标识不同。具体数据都存储在叶节点上。系统收到分段包，在查找分段树时，根据该分段包的源、目的地址，源、目的端口和标识查找树中节点。若不存在匹配的叶节点，就在树中创建节点，将待重组数据存入叶结点，并记录该叶结点创建的时间。系统为整个分段树建立一个定时器，每个定时周期内，系统都计算一次当前时间与叶结点创建时间的差值，并比较该差值与系统规定的超时阀值，若超时，则删除该叶结点并输出告警；若没有超时，则继续保留。在叶节点上设一变量datasize，每收到一个分段包，就将的datasize值加上包的数据字段(包括报头和数据)的大小。然后根据包中的偏移量将数据字段存入节点缓冲区相应位置。若是最后一个包(M＝0，段偏移量＞0)，则将其段偏移量加上数据字段大小赋给fullsize。把fullsize和datasize比较：

▲如果fullsize＞datasize，则说明还有分片包，继续等待下一个分片包的到来；

▲如果fullsize＝datasize，则说明一个包的分片包已经到齐，说明数据包已经被成功的

复原；(因为本专利的另一个新的核心思想就是实现动态的分片重组，也就是每个分片的数据内容都存储在叶子节点BUFFER的最终位置上，那么在BUFFER中的HOLE被填充完毕的时候，就自然的实现了包的复原了，这样就在很大程度上提高的分片重组的效率，也必然会对“网速“有所提高。具体的实现机制，将在以后的章节进行详细的说明)

▲如果fullsize＜datasize，则说明出错了甚至遭到了DOS攻击，进行告警，并删除掉该叶子节点。

此后，每次收到新的分片包都要把fullsize和datasize进行比较。组包时，新的数据包格式为：包头为最新收到的分段包前所有报头(以太网头+IPv6头+不可分段的扩展报头)的信息；数据部分为该节点缓冲区中的数据。

4.3分片检测：

现在大多数操作系统对IP分片的重组仍使用一般的排序算法，就是对每一个IP分片根据它的偏移量和长度在分片序列中进行排序。这种算法不仅效率低下，而且安全性不够。首先，它必须要记录所有的分片，这本身就是一个很麻烦的工作；其次，当一个新的分片到来时，它必须将这个分片与已收到的分片合到一起。这是一个非常复杂的工作，因为这样的话有很多种情况要考虑，如或许这个分片正好是某两个分片之间缺的那一个，或者与现存的某个分片有重叠之处，甚至与某个现存的分片一样，或者位于两个分片之间，但并没有完全填补这两个分片之间的内容。因此这种分片方法必须考虑相当多的情况，非常容易出现漏洞而给黑客们以可乘之机。下面我给出相当简单的重组方法，使记录分片的工作量减少到了最少。而且不论这些分片有多少、有什么情况、以什么顺序到达，只需要一个大小等于分片前数据包大小的存储区，更值得一提的是该方法适用于不同的操作系统。为了说明这种方法，有必要定义一些术语。我们把重组缓冲区中空的数据区称之为“洞”，每一个这样的“洞”包括两个元素：洞头，洞的第1个字节的序号；洞尾，洞的最后一个字节的序号。我们把这一对变量称为“洞描述符”，我们把一个数据报所有的“洞描述符”连接成的链表称为“洞描述符链表”。

当一个新的分片到达时，它有可能填充一个或多个这样的洞。我们将检查“洞描述符链表”的每一项看是否有洞被刚来的分片所填充。如果是的话，就从链表中去除这一项，否则就将其丢弃。当最后一个分片到来的时候，将消除链表中的所有项。这时，数据包就可以完全被重组，并交给上一层协议做进一步的处理。

我们以最早到达的分片作为方法的开始，先对初始化好的分片树进行遍历，查找相应的叶子节点，如果查找失败，则新建一个叶子节点空的缓冲区和到根的路径，并在洞描述链表中建立一项，这一项表明数据包完全没有开始重组。其中，洞头为零，洞尾为无穷大。当收到一个新的分片的时候，首先计算出该分片的片头和片尾值：fragment.first、fragment.last。然后，将计算出来的片头、片尾值与每个洞描述符依次进行比较(若是描述链表为空，那么从叶子节点缓冲区中读出第一个洞的信息)，如果存在一个洞包含这个分片，即fragment.first＞＝hole.first and fragment.last＜＝hole.last，那么说明该分片是合法的，并进行下面的操作；否则，就说明该分片不合法，进行报错警告并将该分片丢弃。分片合法性的检测流程如图9所示。

4.4分片的分类：

当分片经过分片检测并鉴定为合法分片以后，下面将对其进行分类。我们将分片分为4个类型：①分片将一个洞完全填充，即fragment.first＝hole.first&&fragment.last＝hole.last-1；②分片填充了洞的前半部分，即fragment.first＝hole.first&&fragment.last＜hole.last；③分片填充了洞的后半部分，即fragment.first＞hole.first&&fragment.last＝hole.last-1；④分片填充了洞的中间部分，即fragment.first＞hole.first&&fragment.last＜hole.last-1。分片分类的流程图如图10所示。

4.5分片的细化分类：

为了进一步的提高重组速率，本专利提供了对前三个分片提前进行处理的朝前处理机制。在接收到经过分类的前三个分片的时候，对其进行进一步分类，判断是原来包的头一个分片(First_part)、中间的分片(Middle_part)还是最后的分片(Last_part)。那么分类机制如下：

▲First_part：分片扩展头的M字段为1且分片偏移量字段为0；

▲Middle_part：分片扩展头的M字段为1且分片偏移量字段大于0；

▲Last_part：分片扩展头的M字段为0且分片偏移量字段大于0。

该嵌入的超前处理机制的实现思想如下面的流程图11所示。为了是读者更进一步的理解本超前机制的思想，那么我们现在将状态机给出来，如图12所示。状态机说明：

▲FlRST(i)：第i次接收到的分片是包的头一个分片；

▲MIDDLE(i)：第i次接收到的分片是包的中间分片；

▲LAST(i)：第i次接收到的分片是包的最后一个分片；

▲NOT FIRST(3)：第3次接收到的分片不是包的头一个分片；

▲NOT MIDDLE(3)：第3次接收到的分片不是包的中间分片；

▲NOT LAST(3)：第3次接收到的分片不是包的最后一个分片。

4.6数据包还原：

下面的8个步骤被用来将每一个新到的分片插入到重组后的数据包所用的存储区内。新来的分片由片头(fragment.first)——分片的第1个字节序号和片尾(fragment.last)——分片的最后一个字节序号来描述。

①从洞描述链表中选择下一个洞，如果没有洞，即该分片有错误，有可能是DOS攻击将其丢弃，并执行步骤⑧；

②如果片头大于洞尾，即fragment.first＞hole.last，则说明该分片不属于该洞的一部分，不能填充该洞，需要执行步骤1搜索下一个洞来进行测试；

③如果片尾小于洞头，即fragment.last＜hole.first，则执行步骤1；(如果上面两步都为真的话，那么这个新到的分片根本就不覆盖这个洞，我们对这个洞不予处理。选择下一个洞进行检查作为方法的开始。)

④从洞描述符链表中删除当前项；(既然上述两个步骤都不为真，那么这个新来的分片肯定与这个洞有着某种关联。因此，当前的描述符将不再有效，删掉它，并在以下的两个步骤中决定是否有必要创建新的描述符。)

⑤如果片头大于洞头，即fragment.first＞hole.first，那么创建一个新的洞描述符newhole，它的洞头等于原来的洞头，它的洞尾等于片头减1，即newhole.first＝hole.first且newhole.last＝fragment.first-1；(如果步骤为真，那么这个洞的开始部分没有被这个分片覆盖，我们对这个小洞创建了一个洞描述符。)

⑥如果片尾小于洞尾，即fragment.last＜hole.last，而且分片扩展头部的“M”字段为“1”的话，我们将创建一个新的洞描述符newhole，其中洞头等于片尾加上1，洞尾等于原来的洞尾，即newhole.first＝fragment.last+1且newhole.last＝hole.last；(这一步基本上是步骤的镜像。最开始，我们不知道重组后的数据包有多大，因此我们创建了一个从零到无穷大(具体的数目由实现者确定)的洞。最后，我们将收到的数据包的最后一个分片。这时，从缓冲区的最后一个字节到无穷大的这个洞描述符可以被去掉。通过IP首部叫做“more fragment”这个标志位来表明这种情况。对这一步的测试可以防止我们建立一个从数据包的最后一个字节到无穷大的洞描述符。)

⑦返回步骤4.1；

⑧如果洞描述符链表为空的话，那么数据包的重组也完成了，将它传递给上一层协议做进一步的处理，否则返回。

上述方法中，步骤五)所述挖掘单元对完整数据包进行数据挖掘，具体操作如下：

5.1)时间序列分析单元对完整数据包进行时间序列分析，发掘事件发生的顺序，尤其对于攻击事件来说，时间序列分析能够根据攻击发生前一系列事件顺序(攻击征兆)来预防攻击甚至是避免攻击，然后生成报告信息发送到报警响应单元，方便统计和预防同类攻击；

5.2)挖掘单元对时间序列分析单元处理后的完整数据包进行关联规则挖掘，发现数据项之间的相互联系，生成新的关联规则发送到管理服务器，在所有数据包完成数据挖掘后生成挖掘信息日志发送到管理服务器；然后将数据包发送到预测分类单元；

5.3)预测分类单元对数据包按照协议类型进行分类，发现数据包不同协议类型的特征，构建一个具体分类模型，利用捕获到的数据包进行分类修正，获得稳定的分类模型，提高分类效率，实现数据包并行处理。同时采用预测方法，利用分类模型对未知类别数据包进行预测分类，能够快速处理未知类别数据包，将分类结果发送到规则库细化单元，并生成报告信息发送到报警响应单元，然后将分类后的数据包发送到协议分析单元。

上述数据挖掘的优选方法中，步骤5.2)所述关挖掘单元还可同时对时间序列分析单元、预测分类单元和协议分析单元生成的信息日志以及管理服务器生成的警告信号进行关联规则挖掘，并执行后续操作。

上述数据挖掘的优选方法中，步骤5.3)所述预测分类单元对数据包按照协议类型进行分类，其中只需将第一次分类结果发送到规则库，在以后运行过程中仅发送新增加的分类到规则库，实现规则库的动态调整，同时降低系统负载。

上述数据挖掘的优选方法中，步骤5.3)所述分类预测单元还可以将分类结果发送到规则库细化单元后，规则库细化单元依据分类结果对规则库中的规则进行分类细化，以便在协议分析单元进行并行协议分析时，可设置更多、更具体的线程，实现高速匹配，提高协议分析的检测准确性。

上述方法中，步骤六)所述协议分析单元对数据包进行协议分析，其具体方法如下：

6.1)接收由分类预测单元按照协议类型将数据包进行分类后传来的数据包；

6.2)规则库细化单元将规则库的规则进行分类细化后，再由协议解析单元进行协议解析，得到分类细化后的协议，由协议分析单元将该分类细化后的协议映射到协议分析采用的并行数据包检测线程的对应线程上，与分类预测单元传来的分类后数据包进行一一匹配，从而达到并行协议匹配多个数据包的目的；

6.3)如果当前数据包和协议的某种特征匹配，则发送报警信息到报警响应单元，当对所有数据包完成协议分析后，生成协议分析报告信息发送到报警响应单元。

上述方法中，步骤七)所述报警响应单元判断是否将数据挖掘单元所新生成的关联规则保存到规则库中，其具体方法如下：

报警响应单元判断关联规则中是否存在攻击数据包，将新生成的关联规则中的攻击数据包个数作为危险标识，初始时为0(无危险)，危险标识越大则危险级别越高，如果关联规则的危险标识不为0，则将新生成的关联规则通过规则库细化单元将新生成的关联规则进行分类细化，然后和危险标识信息一起添加到规则库中；如果为0则丢弃。

当前，网络攻击中以DDos/DRDos攻击是最常见的攻击方式，而且最难以防范，本发明对DDos/DRDos攻击检测方法包括：对SYN Flood攻击的检测方法，对ICMP Smurf攻击的检测方法，对DRDos Flood攻击的检测方法。

对SYN Flood攻击的检测方法：由于TCP是基于连接的，在传输数据前必须建立一个连接，在此过程中存在三次握手机制，SYN Flood攻击原理是利用TCP协议缺陷，发送大量伪造的TCP连接请求，从而使得被攻击方资源耗尽(CPU满负荷或内存不足)的攻击方式，攻击者向服务器发送大量的连接请求，使其满负荷，并且所有的返回IP地址都是不存在或不合法的值，当服务器企图将确认信息返回给用户时将无法找到用户，这样服务器只能等待，并不断给该用户发送请求确认信息，直至超时关闭连接。本发明中首先利用数据包捕获单元的BPF过滤机制，过滤非法的IP地址和畸形数据包，然后经过数据挖掘和协议分析将数据包分类结果发送到报警响应单元，能够统计同一时刻TCP请求连接的详细信息，发现和阻断网络中TCP半开连接，由于目的IP地址不存在，故侧重防范SYN Flood攻击。

对ICMP Smurf攻击的检测方法：Smurf攻击原理是攻击者向安全薄弱网络的广播地址发送伪造的ICMP响应数据包。那些网络上的所有系统都会向受害计算机系统发送ICMP响应的答复信息，占用了目标系统的可用带宽并导致合法通信的服务拒绝，Smurf导致攻击者可以利用一个数据包通过服务器放大产生成千的数据包对受害主机进行攻击，加深ICMP攻击泛滥。由于Smurf攻击中真实攻击者仍是伪造IP地址，且不直接进行攻击，直接攻击者是真实IP地址，故本发明中主要依赖时间序列分析单元和分类检测单元根据ICMP包判断是否发生Smurf攻击，将分析结果发送到报警响应单元，根据直接攻击者IP地址信息追踪到攻击网络，记录薄弱网络信息，生成追踪报告发送到报警响应单元，防范重复攻击。

对DRDos Flood攻击的检测方法：DRDos攻击原理是基于网络上的主机(路由器)对任何一个SYN数据包都会反射一个SYN/ACK回应包，与一般的DDos相比，多了一个反射层，使控制层次复杂化，具有更大的危害和更强的隐蔽性。基于SYN/ACK回应包的异常增加，通过数据包分析单元判断收到或发送的包数量是否大于预设的包数量阈值、收包数与发包数的比值是否超出了预设的阈值范围，最终根据分类单元对数据包进行分类判断SYN/ACK应答数据包在总数据包中比例是否异常，判断DRDos Flood攻击是否发生，并根据异常信息生成报告发送到报警响应单元，供以后攻击事件统计使用。

以上所述的仅是本发明的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (14)

1.一种基于协议分析的网络数据处理方法，其特征在于，包括以下步骤：

1)捕获网络中的数据包；

2)将所捕获的数据包的指纹与目的指纹相比较，若二者匹配，则丢弃相应数据包，并向管理服务器发送丢弃数据包信息日志；

3)判断通过指纹比对后的数据包是否为完整数据包，如果是则直接进行步骤4)；否则，对不完整数据包进行还原，丢弃无法还原的数据包，并向管理服务器发送丢弃不完整数据包信息日志；

4)对完整数据包进行数据挖掘，生成新的关联规则，所有数据包完成数据挖掘后向管理服务器发送挖掘信息日志；

5)根据从规则库解析出来的协议，利用协议的特征对数据包进行协议分析，如果当前数据包和规则库中协议的某种特征匹配，则发出警告信号，当所有数据包完成协议分析后，向管理服务器发送协议分析信息日志；

6)管理服务器根据丢弃数据包信息日志、丢弃碎片数据包信息日志、挖掘信息日志和协议分析信息日志，对步骤5)发出的警告信号进行实时响应；同时，判断是否将步骤4)中新生成的关联规则保存到规则库中。

2.根据权利要求1所述的基于协议分析的网络数据处理方法，其特征在于，所述步骤2)中，捕获的数据包的指纹包括数据包的源IP地址或目的IP地址；所述目的指纹包括静态指纹和/或动态指纹，其中，所述静态指纹通过外部设备输入，所述动态指纹通过对所述数据包进行检测得到。

3.根据权利要求1所述的基于协议分析的网络数据处理方法，其特征在于，所述步骤3)中，对不完整数据包进行还原的具体步骤包括：

3a)鉴定不完整数据包中各碎片的合法性，保留合法碎片，丢弃非法碎片；

3b)根据节点树分支缓存原理将步骤3a)中鉴别出来的不是当前处理的数据包的碎片进行分支缓存，在此过程中重复步骤3a)，以保证给节点树各节点上的碎片是合法的；

3c)对经过步骤3b)的合法的碎片进行分类，并烙上协议类型标志；

3d)对经过步骤3c)的碎片进行再分类处理，如果满足在分类规则的，就对该数据包进行还原处理后跳转至步骤3a)等待鉴定下一不完整数据包；否则，跳转至步骤3b)重新对其进行分支缓存。

4.根据权利要求3所述的基于协议分析的网络数据处理方法，其特征在于，所述步骤3b)中的节点数分支缓存原理包括如下步骤：

从根节点往下，第一层，地址不同；第二层，地址相同，端口不同；第三层-叶节点，地址、端口相同，标识不同；具体数据都存储在叶节点上，系统收到分段包，在查找分段树时，根据该分段包的源、目的地址，源、目的端口和标识查找树中节点；若不存在匹配的叶节点，就在树中创建节点，将待重组数据存入叶结点，并记录该叶结点创建的时间；系统为整个分段树建立一个定时器，每个定时周期内，系统都计算一次当前时间与叶结点创建时间的差值，并比较该差值与系统规定的超时阀值，若超时，则删除该叶结点并输出告警；若没有超时，则继续保留；在叶节点上设一变量初始化为0，每收到一个分段包，就将的其值加上包的数据字段包括报头和数据的大小，然后根据包中的偏移量将数据字段存入节点缓冲区相应位置；若是最后一个包，则将其段偏移量加上数据字段大小赋给保存最终大小的变量。

5.根据权利要求3所述的基于协议分析的网络数据处理方法，其特征在于，所述步骤3c)中，对碎片进行分类的具体步骤包括：

将分片分为4个类型：(1)分片将一个洞完全填充；(2)分片填充了洞的前半部分；(3)分片填充了洞的后半部分；(4)分片填充了洞的中间部分。

6.根据权利要求3所述的基于协议分析的网络数据处理方法，其特征在于，所述步骤3d)中，对碎片进行再分类处理的具体步骤包括：

在接收到经过分类的前三个分片的时候，对其进行进一步分类，判断是原来包的头一个分片、中间的分片还是最后的分片；(1)如果分片扩展头的M字段为1且分片偏移量字段为0，那么该分片为头一个分片类型；(2)如果分片扩展头的M字段为1且分片偏移量字段大于0，那么该分片为中间的分片类型；(3)如果分片扩展头的M字段为0且分片偏移量字段大于0，那么该分片为最后的分片类型。

7.根据权利要求1所述的基于协议分析的网络数据处理方法，其特征在于，所述步骤4)中，对完整数据包进行数据挖掘的具体步骤包括：

4a)对完整数据包进行时间序列分析，然后生成分析信息日志发送到管理服务器；

4b)对经过时间序列分析后的完整数据包进行关联规则挖掘，生成新的规则发送到管理服务器，在所有数据包完成规则挖掘后生成挖掘信息日志发送到管理服务器；

4c)对数据包按照协议类型进行预测分类，获得稳定的分类模型，同时采用预测方法，利用分类模型对未知类别数据包进行分类，并向管理服务器发送分类信息日志，然后进行后续步骤。

8.根据权利要求1所述的基于协议分析的网络数据处理方法，其特征在于：

所述步骤4c)中，对数据包按照协议类型进行分类，其中只需将第一次分类结果发送到规则库，在以后运行过程中仅发送新增加的分类到规则库。

9.根据权利要求1所述的基于协议分析的网络数据处理方法，其特征在于：所述步骤5)中，对数据包进行协议分析的具体步骤包括：

5a)接收按照协议类型将数据包进行分类后传来的数据包；

5b)对规则库中的协议进行解析，将解析后的协议映射到协议分析采用的并行数据包检测线程的对应线程上，与步骤5a)传来的分类后数据包进行一一匹配；

5c)如果当前数据包和协议的某种特征匹配，则发送警告信号到管理服务器，当对所有数据包完成协议分析后，生成协议分析信息日志发送到管理服务器。

10.根据权利要求1-9任一所述的基于协议分析的网络数据处理方法，其特征在于，所述步骤6)中，判断是否将新生成的关联规则保存到规则库中的具体步骤包括：

判断关联规则中是否存在攻击数据包，将新生成的关联规则中的攻击数据包个数作为危险标识，初始时为0，危险标识越大则危险级别越高，如果关联规则的危险标识不为0，则将新生成的关联规则通过规则库细化单元将新生成的关联规则进行分类细化，然后和危险标识信息一起添加到规则库中；如果为0则丢弃。

11.一种基于协议分析的网络数据处理系统，其特征在于，该系统包括：

传感单元，用于捕获网络中的数据包；

指纹比对单元，用于将所捕获的数据包的指纹与目的指纹相比较，若二者匹配，则丢弃相应数据包，并向管理服务器发送丢弃数据包信息日志；

分析单元，用于判断通过指纹比对后的数据是否为完整数据包，如果是直接将完整数据包发至挖掘单元；否则调用数据还原单元对不完整数据包进行重组还原；

数据还原单元，用于对不完整的数据包进行重组还原成完整数据包并发至挖掘单元；丢弃不能重组还原的不完整数据，并向管理服务器发送丢弃不完整数据包信息日志；

挖掘单元，用于对完整数据包进行数据挖掘，生成新的关联规则，所有数据包完成数据挖掘后向管理服务器发送挖掘信息日志；

协议分析单元，用于根据从规则库解析出来的协议，利用协议的特征对数据包进行协议分析，如果当前数据包和规则库中协议的某种特征匹配，则发出警告信号，当所有数据包完成协议分析后，向管理服务器发送协议分析信息日志；

管理服务器，根据指纹比对单元、数据还原单元、挖掘单元和协议分析单元传来的信息日志，对协议分析单元发出的警告信号进行实时响应，同时，判断是否将挖掘单元新生成的关联规则保存到规则库中；

解析单元，用于使用入侵事件描述语言将定义好的规则库从文件中读取出来，然后进行解析，读入内存，同时用于将新的攻击模式或规则写入规则库中。

12.根据权利要求11所述的基于协议分析的网络数据处理系统，其特征在于：所述数据还原单元包括：

鉴定单元，鉴定不完整数据包中各碎片的合法性，保留合法碎片，丢弃非法碎片；

节点树单元，用于根据构建的节点树鉴定单元鉴别出来的不是当前处理的数据包的碎片进行分支缓存，在此过程中调用鉴定单元进行合法性鉴定，以保证给节点树各节点上的碎片是合法的；

分类单元，对鉴定合法的碎片进行分类，并烙上协议类型标志；

细化分类单元，对经过分类的碎片进行细化分类处理，如果满足在分类规则的，就启动还原单元对该数据包进行还原处理后；否则，转交给节点数单元进行分支缓存；

还原单元，用于对数据包进行还原处理。

13.根据权利要求11所述的基于协议分析的网络数据处理系统，其特征在于：所述挖掘单元包括：

时间序列分析单元，用于对完整数据包进行时间序列分析，然后生成分析信息日志发送到管理服务器；

规则挖掘单元，用于对时间序列分析单元处理后的完整数据包进行关联规则挖掘，生成新的规则发送到管理服务器，在所有数据包完成关联规则挖掘后生成挖掘信息日志发送到管理服务器，然后将数据包发送到预测分类单元；

预测分类单元，用于对数据包按照协议类型进行预测分类，获得稳定的分类模型，同时采用预测方法，利用分类模型对未知类别数据包进行分类，并生成分类信息日志发送到报警响应单元，然后将分类后的数据包发送到协议分析单元。

14.根据权利要求11所述的基于协议分析的网络数据处理系统，其特征在于：所述协议分析单元包括：

接收单元，用于接收按照协议类型将数据包进行分类后传来的数据包；

协议解析处理单元，对规则库中的协议进行解析，将解析后的协议映射到协议分析采用的并行数据包检测线程的对应线程上，与挖掘单元传来的分类后数据包进行一一匹配；如果当前数据包和协议的某种特征匹配，则发送警告信号到管理服务器，当对所有数据包完成协议分析后，生成协议分析信息日志发送到管理服务器。