CN101242408A - 一种开放式多源数据包捕获器构造方法 - Google Patents

Abstract

开放式多源数据包捕获器构造方法是一种网络环境下面向应用的网络数据包捕获及应用处理的解决方案，用于解决多数据格式输入、多数据处理输出的适配问题，该方法所包含的步骤为：按需求分析将系统分成数据包捕获层、中间数据传输层、数据处理应用层；定义中间数据传输层数据结构，中间数据传输层与数据包捕获层中的数据包提取器有直接交互，确定数据包提取器与中间数据传输层之间的通信接口；定义数据处理层与中间数据传输层通信接口，数据处理应用层建立在中间数据传输层的数据基础之上，需要统一定义一个数据结构，各数据处理应用层处理都按照统一的结构接收从中间数据传输层发送来的数据，对系统整体上进行效率和性能优化。

Description

一种开放式多源数据包捕获器构造方法

技术领域

本发明是一种针对不同网络环境下的数据包捕获及应用处理的解决方案，主要用于解决网络数据包的捕获，不同外部数据包格式与分析处理需求的适配问题，属于计算机网络技术领域。

背景技术

互联网在为人们工作带来便利的同时，产生了日趋严重的安全问题。如何保护网络的信息安全，防范来自外部网络的黑客和非法入侵者的攻击，建立起强健的网络信息安全防范系统，是亟需解决的一个重要难题。防火墙、入侵检测系统是解决这类网络安全问题最重要手段，数据包捕获技术是这些网络安全产品的基础。因此，研究如何实现数据包捕获具有重要的意义。

不论是网络防火墙还是入侵检测系统，都依赖于底层的网络数据包捕获。现代的操作系统都提供底层的网络数据包捕获的机制，在捕获机制之上可以建立网络监控应用软件。不同的操作系统和不同的环境都有不同的实现方式，在Linux操作系统中，我们可以使用系统的底层调用来实现，也可以使用相应的高层调用来实现。

在网络数据包捕获实现方式中，需要考虑到，(1)如何尽可能完整的捕获网络上的数据包，因为以太网上每时每刻都可能有信息传递，而且根据以太网的规模不同网络上的信息量也变化不大，所以，捕获的数据包不仅要保证包的完整，而且还要考虑到如何才能减少漏取数据包；(2)对捕获的数据包的过滤分析。

捕获网络数据包是进行处理的直接数据来源，在作分析研究时，分析他人提供的离线数据也是很有意义的。因此数据包捕获从广义上来说，不仅包括网络数据包的捕获，还包括各种格式的离线数据的回放。获取的数据包需要进行各种需求的分析处理，如在线数据的存储，数据包的协议分析，按照各种需求对数据包进行分类与过滤。

发明内容

技术问题：本发明的目的是提供一种开放式多源数据包捕获器设计方法，用于不同网络环境下的数据包捕获，各种常用离线数据的读取与格式转化，获取数据的进一步处理。数据获取与数据处理分开，各部分有相应优化措施，形成简洁、高效、可扩展性好、开放式、层次化的体系结构。如何高效的在各种网络环境下读取不同格式的数据，根据不同需求处理数据是本发明解决的主要问题。

技术方案：本发明的提供一种针对不同网络环境，不同数据文件格式下的数据网络数据获取，针对不同应用需求，进行不同数据处理并加以优化的体系结构方案。

一、体系结构

开放式的多源数据包捕获器体系结构可以分为三部分：数据包捕获层、中间数据传输层、数据处理应用层。

下面给出几个具体部分的说明：

数据包捕获层：数据包捕获部分又包括包括数据格式解析器，数据包回放器，数据包提取器三个部分。

数据格式解析器：数据格式解析器是针对不同数据格式的文件数据源而设计的。目前网络数据包捕获工具名目繁多，各种工具都有自己的数据存储格式，如Snort与Tcpdump用的tcpdump格式，Sniffer用的.cap格式等等。通过格式解析器，将不同格式的数据文件解析成统一的格式，简化后续各种数据处理操作，使得数据处理只基于一种内部格式，不需要考虑各种不同格式的数据转换。

数据包回放器：实时的网络数据是数据包捕获器的主要数据来源，各种离线的数据文件保存的也是某一时刻的网络的信息状态，将各种离线数据经过格式解析后，再送入数据包回放器，即可再现当时网络状态。重现网络环境是很有必要的，特别是针对同一问题的不同研究方法的比较时，需要网络环境相同，而实际上的网络环境不可再现的，通过将网络数据保存为离线数据文件再经过回放，即可模拟再现网络环境，误差很少，便于各种研究方法的对比。

数据包提取器：负责从网络中或数据包回放器中取出数据包。数据包回放器将离线数据通过软件方式进行回放，实际效果与直接从网络中获取数据相似，数据包提取器通过判断当前数据源类型，自动从网络环境或数据包回放器中提取数据包。提交到中间数据传输层。

中间数据传输层：用于数据包捕获层与数据包处理应用层之间的数据传输。中间数据传输层从数据包捕获层的数据包提取器得到数据包数据，打包并按照数据包处理应用层的应用程序注册顺序向各个应用发送数据，中间数据传输层主要负责数据的传输与分发。

数据包处理应用层：从网络获取的数据包可以有不同的处理，如协议分析，数据包存储等等。每一种类型的处理可以抽象成位于数据包捕获层之上的应用层，这也就是，不同的处理过程相互独立，统一从中间数据传输层获取数据，并根据自己处理需求做进一步处理。通过向中间数据传输层注册数据处理请求，注册成功后，每当中间数据传输层有数据传输任务时，都会向该数据包处理应用发送数据包到达消息，由该数据处理应用对数据包做进一步处理。

二、方法流程

数据包捕获与分析应用程序的实现现在已经很多，像tcpdump，sniffer都是很成功的例子，但这些应用程序都有一个共同的缺点：只能针对某一指定数据源做指定的数据处理，缺乏相应的扩展性，对于不同数据源格式或不同数据处理要求往往无能为力或处理起来相当复杂。本发明的数据包捕获器体系结构就是针对这种问题而提出的一种扩展性好的体系框架，具体的实现流程如下所述：

1.)按需求分析将系统分成数据包捕获层、中间数据传输层、数据处理应用层，

2.)定义中间数据传输层数据结构，中间数据传输层起着枢纽作用，

3.)中间数据传输层与数据包捕获层中的数据包提取器有直接交互，确定中间数据传输层与数据包提取器之间的通信接口，

3.1.)定义统一的内部数据格式，构造多源数据包解析器，多源数据包解析器目的在于将不同的输入数据格式进行解析并转换成统一的适合数据回放器进行数据回放的格式，

3.2.)根据确定的内部数据格式，设计数据包提取器和回放器，完成从多源数据包解析器提取数据并与进行网络回放，模拟网络环境，

4.)定义数据处理应用层与中间数据传输层通信接口，数据处理应用层建立在中间数据传输层的数据基础之上，需要统一定义一个数据结构，各数据处理应用层处理都按照统一的结构接收从中间数据传输层发送来的数据，

4.1.)根据与数据处理应用层的通信接口，完成中间数据传输层的数据处理请求的注册与管理模块，管理数据处理应用层的各种数据传输请求，

4.2.)按照与中间数据处理层的通信接口定义，按需实现各种数据处理应用层的功能模块，

5.)系统整体设计加上多线程，缓冲等技术，实现性能和效率上的优化。

下面对多种外部数据格式以及各种数处理应用的插件式开发进行说明：

(1)当系统需要添加新数据源格式或过渡到另一种网络环境下，例如由Ethernet局域网环境过渡到ATM网络环境下，为了数据包捕获器能够正常工作，需要对捕获器添加针对该网络环境或该数据格式的数据格式解析程序，并向数据格式解析器注册该格式的数据解析子程序，数据格式解析器在遇到该格式数据时，则会自动调用相应解析的子程序进行格式解析，转换成内部数据格式。这个过程即是外部数据格式的插件式开发，相当于在系统添加一个该数据格式的解析插件，整个系统即可读取该数据格式，并传输到数据包处理应用层进行各种处理。

(2)当系统需要添加新的应用处理时，首先按照中间数据传输层的接口定义格式，提供接收数据的接口。其次实现数据处理的子程序并将其与接收数据的接口相关连，使接收数据接口一收到数据即可以调用数据包处理子程序进行处理。第三，数据包处理应用层应用需要向中间层注册数据处理请求，否则中间数据传输层不会向该处理程序发送数据处理。经过此三个步骤，当外部数据输入时，该处理程序即可以进行数据处理，相当于在系统应用层端添加了一个处理插件。应用层的内部处理是完全独立的部分，可以采用各种算法优化处理流程，例如采用多线程并行算法提高处理效率。

(3)整个系统中，中间数据传输层的任务较重，可能成为系统运行的速度瓶颈，为此，采用线程优化技术，利用多生产者-多消费者的并发模型，对中间数据传输层进行并行算法操作，并行度可以根据任务的繁重程度自行调整。

有益效果：本发明提供一种基于分层式的数据包捕获与处理的体系结构，各个层次功能性明确，处理简单，各层之间接口明确，适用于不同网络环境下不同输入数据格式之间的各种不同数据处理要求。通过本发明，可以大大提高网络数据包捕获的适用范围以及通用性。具体体系结构明确，各功能模块简单，扩展性好等特点。下面一一加以说明。

1.简单性

在该体系结构中，各个组成部分都有明确的功能任务，功能单一，任务明确，各层之间的接口明确，分块化，插件式的设计方案有利于各种面向对象的高级语言实现。

2.易于扩展性

在体系结构的上层和底层两端都采用组合式插件化的设计，使得系统具有极高的扩展性，只需要添加一个输入数据格式的插件，就可以进行已有的所有数据包处理应用层的数据处理，只需要添加一个数据包处理应用层的数据处理，就可以适用于已有的所有输入数据格式的处理，省去了传统一对一的复杂处理过程。

3.层次性

分层式的体系结构设计，各层之间接口简单，交互操作明确，使得分工明确功能单一，符合工程化软件开发的思想。

4.自主性

数据包处理应用层中的各个数据处理应用都是相互独立互不影响，并且各个数据处理过程可以各自采用不同的方法策略，进行算法优化等，具有高度的独立自主性。

附图说明

图1是开放式多源数据包捕获器体系结构示意图。

具体实施方式

1.整个体系结构中，中间数据传输层起着枢纽作用，首先确定中间数据传输层与其它两层之间的接口。

2.中间数据传输层与数据包捕获层中的数据包提取器有直接交互，需要确定数据包提取器向中间数据传输层提供的数据结构。

3.数据处理应用层建立在中间数据传输层的数据基础之上，需要统一定义一个数据结构，各应用层处理都按照统一的结构接收从中间数据传输层发送来的数据。

4.数据格式解析器目的在于将不同的输入数据格式进行解析并转换成统一的适合数据回放器进行数据回放的格式，这里需要确定两方面，一方面是针对各种不同数据格式的格式解析子程序，另一方面是数据回放器与数据格式解析器之间的接口，亦即各种外部数据将会定义成什么样的数据结构。

5.数据包回放器主要负责将已经格式解析转化成内部数据格式的数据包按原来的数据包信息进行网络回放，模拟网络环境。

6.数据包提取器负责从网络环境或数据包回放器中提取数据。由于各种外部数据的格式经过数据格式解析器解析以及数据包回放器回放，已经恢复成与网络数据无异的格式，因此数据包提取器只需要面向网络环境提取数据，从数据包回放器中提取数据与从网络环境中提取数据无二异。

7.各个数据包处理应用层相互独立从中间数据传输层得到数据，按照各自的处理要求进行数据处理，在进行数据处理时又可以采用多线程，并行或分布式算法提高处理效率。

为了方便描述，我们假定有如下基于多源的数据包捕获及数据处理应用实例：

现网络环境是基于Ethernet局域网，同时还有Tcpdump以及Sniffer保存的文件数据，需要对数据包进行以下处理：一、存储成二进制文件，做为离线的文件数据保存；二、进行简单的协议分析，输入协议分析结果。利用线程优化的网络数据包捕获器方案开发方式如下：

步骤1：各层之间接口设计。数据包提取器提交给中间数据传输层的应该是数据包数据长度，收到数据包的时间以及数据包内容等信息。中间数据传输层给各应用层模型提供的接口应该是该数据包的数据内容及到达时间长度信息。设计时可以根据速度要求，采用流水线设计，将整个功能分成三部分，一部分作为监控程序，负责处理应用层的注册处理请求，第二部分负责从数据包提取器中提取数据，第三部分负责将取得的数据分发到各个应用模块中，如果数据分发任务较重，还可以在第三部分设置重复部件，多线程负责数据分发。由于本实例中只有两个处理应用，所以只采用单线程流水线的设计方案。

步骤2：中间数据传输层设计，中间数据传输层需要考虑三个方面的设计，一是与数据包捕获器中的数据包提取器的接口，二是与应用层的接口确定，三是数据处理应用在中间数据传输层的注册请求以及数据传输层怎样实现数据分发功能。

步骤3：数据格式解析器设计。数据包捕获层主要关心两种数据格式，一种是各式各样的外部数据格式，另一种是统一的内部数据表现方式，确定了这两种数据格式，数据格式解析器就可以针对每一种外部数据格式设计相应的数据解析子程序。在本实例中外部数据有三种，一种为真实的网络数据，另两种分别为tcpdump格式以及sniffer格式，针对这三种数据格式分别设计相应的格式解析器。

步骤4：数据包回放器设计。数据包回放器主要用于将各种外部文件数据恢复成原始的网络数据，并具有时间与流量信息等特征。数据包回放器设计的好坏将直接影响到后面数据处理的准确度与有效性。

步骤5：数据包提取器的设计。根据数据包回放器提供的数据来源，将数据源的数据分割成一个个小的基本单位--数据包并转换成与中间层接口一致的格式等待中间层从中取出数据，每取一次，读取一个基本单位的数据。

步骤6：各数据处理应用层的设计。本实例中有两个应用处理，一是数据存储，二是协议分析。对于数据存储，为了减少磁盘读写的次数，采用缓冲存储技术，即读取到的数据先写入内存中的一段缓存中去，当缓存区写满时，再一次性写到文件中去，大大减少文件读写次数，提高处理能力。对于协议分析处理模块，由于协议解析的过程较复杂，耗时较多，如果数据量大，可能会造成分析速度与中间层发送的数据速度不匹配问题。为解决此问题，可以采用异步方式处理。总之，各应用处理模块的实现是各异的，算法优化空间很大，由于各自的独立性，不影响其它的处理模块，只需要处理好与中间数据传输层的数据传输即可。

Claims (1)

1.一种开放式多源数据包捕获器构造方法，其特征在于该方法所包含的步骤为：

1.)按需求分析将系统分成数据包捕获层、中间数据传输层、数据处理应用层，

2.)  定义中间数据传输层数据结构，中间数据传输层起着枢纽作用，

3.)  中间数据传输层与数据包捕获层中的数据包提取器有直接交互，确定中间数据传输层与数据包提取器之间的通信接口，

3.1.)定义统一的内部数据格式，构造多源数据包解析器，多源数据包解析器目的在于将不同的输入数据格式进行解析并转换成统一的适合数据回放器进行数据回放的格式，

3.2.)根据确定的内部数据格式，设计数据包提取器和回放器，完成从多源数据包解析器提取数据并与进行网络回放，模拟网络环境，

4.)  定义数据处理应用层与中间数据传输层通信接口，数据处理应用层建立在中间数据传输层的数据基础之上，需要统一定义一个数据结构，各数据处理应用层处理都按照统一的结构接收从中间数据传输层发送来的数据，

4.1.)根据与数据处理应用层的通信接口，完成中间数据传输层的数据处理请求的注册与管理模块，管理数据处理应用层的各种数据传输请求，

4.2.)按照与中间数据处理层的通信接口定义，按需实现各种数据处理应用层的功能模块，

5.)系统整体设计加上多线程，缓冲等技术，实现性能和效率上的优化。

Images