CN1953453A - 一种IPv6数据高速捕获和快速存储系统及实现方法 - Google Patents

Abstract

一种IPv6数据高速捕获和快速存储系统及实现方法，初始化模块，为以后各模块的正常工作准备。IPv6数据捕获模块，实时捕获经过监听口的IPv4/v6数据流，捕获到的数据可以用于进一步的协议分析。IPv6协议解析模块，在IPv6数据捕获模块的基础上，按照一定的规则对捕获到的IPv4/v6数据进行处理，将捕获的数据从外到里和各种协议进行匹配，依次把各层的协议解析出来，快速放入事先为各个协议量身定制的存储单元。采用双向链表技术实现捕获的IPv6/v4数据包在内存队列中的快速写入和分解的步骤。采用多线程技术实现IPv6/v4网络的高速数据流量捕捉和记录，同时进行快速协议分解，并将解析结果存入数据的步骤。

Description

一种IPv6数据高速捕获和快速存储系统及实现方法

技术领域

本发明涉及一种IPv6数据高速捕获和快速存储系统及实现方法，属于IPv6网络安全监测管理技术领域。

背景技术

由于IP网络环境的开放性以及IPv4在设计时缺乏对安全问题的周详考虑，目前IP网络安全形势严峻。病毒的泛滥，恶意代码的攻击，黑客的攻击使得整个网络越来越不安全。2004年我国计算机病毒的感染率高达87.93％。蠕虫、病毒的传播造成了大规模的网络中断，带来大量资源浪费和数以亿计的经济损失。同时，黑客入侵事件也层出不穷。据统计，全球平均每20秒钟就发生一起Internet计算机侵入事件。黑客的入侵造成了大量政府、企业和个人重要敏感信息的泄漏。安全问题不仅给广大网民带来了不便，也威胁到了国家的信息安全和经济发展。

为了解决IPv4安全性差、地址空间紧缺等问题，IETF提出了IPv6。经过几年的发展，IPv6技术已经日渐成熟，较为成功的解决了IPv4所存在的问题，成为下一代互联网的标准。

当前，世界各国对IPv6技术的研究都十分重视。日本政府把IPv6确立为使日本重新成为信息化强国的国策之一；欧洲一些国家在第3代移动网中率先引入IPv6，以实现互联网领域与美国并驾齐驱的目标；近年来，美国担心恐怖分子对其网络进行致命性的攻击，也加快了对IPv6技术的发展。中国也是全球最关心IPv6发展的国家之一，原因就是IPv6将给中国信息网络的建设带来新的契机。

然而，IPv6虽然具有一些内在的安全特性，但并不表明用了IPv6就安全了。IPv6在协议栈里强制执行了IPSec，启动IPSec做通道，安全加密访问时的确比纯IPv4时的安全性有所改善，但是IPSec并不是自动启动，也不是唯一的。而且，IPv6的引入也带来了新的安全问题，如应对拒绝服务攻击(DoS)乏力、包过滤式防火墙无法根据访问控制列表ACL正常工作、入侵检测系统(IDS)遭遇拒绝服务攻击后失去作用、被黑客篡改报头等。另外，由于IPv6与IPv4网络将会长期共存，必然会同时存在两者的安全问题，或由此产生新的安全漏洞。

这种形势下，对IPv6网络安全技术和设备的研究成为当前的一个热点。数据捕获和存储是网络安全监测管理的基础，为网络安全监测管理提供数据来源。因此，高速、稳定的数据捕获存储系统是实现IPv6网络安全技术和设备的关键。目前国内外存在很多种数据捕获工具，如Pcap、Sniffer等，但它们大多都是针对IPv4网络的，而且通常不支持高速网络，如千兆以太网的实时数据捕获。此外在捕获数据存储上也存在一定缺陷，很难对任意历史时刻的数据记录进行提取和综合分析。

所以研究实现具有自主知识产权的IPv6数据高速捕获和快速存储系统很有现实意义，能够填补国内空缺。

发明内容

为了克服现有技术的不足，本发明提供一种IPv6数据高速捕获和快速存储系统及实现方法，为IPv6网络提供安全监测和管理的基础平台。IPv6数据高速捕获和快速存储系统能够高速捕获网络中的IPv6数据流，进行解析，同时快速存储到数据库中；并且支持IPv4/v6双栈，能够满足IPv4到IPv6过渡时期的需要。

本发明解决其技术问题所采用的技术方案是：

一种IPv6数据高速捕获和快速存储系统，包括：

捕包设备的初始化、数据包链表的初始化等，主要完成IPv4/v6数据捕获、解析、存储前各项参数的配置工作的初始化模块；为以后各模块的正常工作准备。

通过监听IPv6网络设备(交换机、集线器等)，实时捕获经过监听口的IPv6数据流，数据捕获所得到的数据可以用于进一步的协议分析的IPv6数据捕获模块；在本模块的设计中，不仅考虑到了对IPv6数据包的捕获，还可以支持IPv4环境下的操作。

在IPv6数据捕获模块的基础上，按照一定的规则对捕获到的IPv4/v6数据进行处理，将捕获的数据从外到里和各种协议进行匹配，依次把各层的协议解析出来，然后快速放入事先为各个协议量身定制的存储单元的IPv6协议解析模块。

一种IPv6数据高速捕获和快速存储系统实现方法，包括：

采用双向链表技术实现捕获的IPv6/v4数据包在内存队列中的快速写入和分解的步骤。

采用多线程技术实现IPv6/v4网络的高速数据流量捕捉和记录，同时进行快速协议分解，并将解析结果存入数据的步骤。

本发明的有益效果：

IPv6作为下一代互联网协议标准得到了 越来越广泛的应用，对IPv6网络的安全防护技术和设备的研究也成为了一个热点。特别是随着电子商务技术的迅猛发展，对网络信息安全要求越来越高，人们希望在网络世界畅游的同时能够得到很好的安全保障。

本发明主要实现了针对IPv6网络的数据高速捕获和快速存储系统，为网络安全防护提供了基础平台。能够实时捕获网络中的数据流，并进行协议解析和快速存储；支持从数据链路层到应用层的一百余种协议；成本较低；此外，本发明所保存的数据，还可以为追踪、调查、控告网络犯罪分子提供详细的原始数据和证据。

本发明通过复制链路上的网络流量，丝毫不会增加被监测链路的流量，也不会影响网络上的其它设备。而且，监听口对通信双方是透明的，网络入侵者无法检测到，确保了自身的安全性。

本发明除了全面支持IPv6外，还同时支持目前的IPv4网络。适用于民用和商用的IPv4/v6网络，并且有望在未来的移动IPv6网络中得到广泛的应用。随着IPv6网络的普及，本发明必将有着良好的推广前景和商用价值。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1IPv6数据高速捕获和快速存储系统功能模块划分；

图2IPv6数据捕获模块工作流程；

图3数据帧的一般格式；

图4IPv6协议解析流程；

图5初始化包链流程；

图6数据包双向链表；

图7创建子线程流程。

具体实施方式

下面给出本发明的实施例。

实施例1：一种IPv6数据高速捕获和快速存储系统实现时采用模块化方法，包括初始化模块、IPv6数据捕获模块和IPv6协议解析模块，如图1所示。下面分别介绍这几个模块的设计和实现。

初始化模块主要完成IPv4/v6数据捕获、解析、存储前各项参数的配置工作，为以后各模块的正常工作准备。包括分配缓冲区，初始化捕获文件结构，设置参数等；初始化捕获端口，载入捕获和过滤规则；将捕获端口设置为监听状态，随时准备捕获数据；初始化数据库，记录初始ID到数据库；定义一个双向链表，供数据包处理时使用等。

IPv6数据捕获模块通过监听IPv6网络设备(交换机、集线器等)，实时捕获经过监听口的IPv6数据流。从网络安全的角度看，数据捕获属于被动攻击的范畴，它并不影响正常的通信。因此，通信双方不会知道有人在监听他们的通信。数据捕获所得到的数据可以用于进一步的协议分析。在本模块的设计中，不仅考虑到了对IPv6数据包的捕获，还可以支持IPv4环境下的操作。

IPv6数据捕获模块工作流程如图2所示，具体步骤如下：

1)打开监听设备，主要完成工作有：读取指定的捕包字节数；把网卡设置为混杂模式(所谓的混杂模式，是相对于正常模式而言，可以用于监听全网段)；设置毫秒计超时时限；如果有了错误，把它存放在字符串errbuf中。

在混杂模式中嗅探传输线路上的所有通信，这样做最明显的优点就是使更多的包被嗅探到。

2)获取监听设备的网络地址和子网掩码。

3)获取MAC头固定的14个字节。

4)开始捕包，进入一个循环，捕获到多个包再进行处理。

5)捕包结束。

IPv6协议解析模块建立在IPv6数据捕获模块的基础上，按照一定的规则对捕获到的IPv4/v6数据进行处理，将捕获的数据从外到里和各种协议进行匹配，依次把各层的协议解析出来，然后放入事先为各个协议量身定制的存储单元。

一般来说，数据帧都是采用图3所示的格式进行封装。其中，数据链路层首部表示该帧的数据链路层类型，如以太网帧、PPP帧、HDLC帧等，不同链路层帧的首部格式是不一样的；紧接着数据链路层首部的是IP首部，有IPv6和IPv4两种，分别表示在网络层采用的协议是IPv6协议或IPv4协议，需要注意的是，IPv6首部后面还可以有扩展首部，如用于安全验证的AH首部等；传输层首部表示传输层所采用的协议，有TCP和UDP两种，此外，在这一位置还可以有ICMP首部；跟在传输层首部后面的就是应用层数据，通常包括应用层协议和具体的数据内容。例如，对一个在以太网上传输的TCP报文，首先判断出它的数据链路类型是以太网，然后根据数据的前12字节得到数据帧的源MAC地址和目的MAC地址；根据随后的协议类型字段判断出里面是IP数据报；第二步解析IP报文首部，包括版本号、源和目的IP地址、片偏移以及传输层协议等；对于本例，传输层协议是TCP协议，接着就分析源和目的端口号；最后解析出应用层协议。由于存在多种类型的协议，实际的情况比这要复杂的多。

解析IPv6数据报时，也是按照层层分析的方法进行的。需要说明的是，在对每一层进行分析之前，都要借助上一层分析的结果，以获知该层的类型。例如，根据IPv6首部中的下一头字段，可以判断出传输层采用的是TCP协议还是UDP协议，从而在分析传输层协议时，能够调用正确的分析算法。另外，对各层进行分析时，分析的结果随着协议类型或帧类型的不同而不同，例如，有的数据链路层帧的首部中就没有源和目的地址，又如，在TCP首部中有序列号，而在UDP首部中则没有。

IPv6协议解析模块的工作流程如图4所示，具体步骤如下：

1)分配内存，用来存放包分解后的数据信息；

2)清空分配的内存；

3)计数处理，将Pktid1设为高位，Pktid2设为低位；

4)判断包链头后继的后继是否为空，为空则休眠10us，否则锁定共享内存；

5)处理数据包链表节点，找到链表头节点，将该节点的后继设为空；

6)解锁；

7)捕包数减1，分解包总数加1；

8)建立时间戳，使得包处理信息与包分解信息相对应；

9)判断数据链路层类型，然后进行包分解操作，并将分析结果写入数据库中。

本模块支持从数据链路层到应用层的一百余种协议，如：Ethernet、IP、MobileIP、IPv6、MPLS、AH、ESP、ICMP、ICMPv6、TCP、UDP、BGP、RIP、RIPng、FTP、TELNET、HTTP等。由于协议的多样性，造成了协议分析的复杂性。所以具体时，采用哈希算法来进行报文和相应协议的匹配。另外，为了分析各种不同类型的协议，针对各协议编写了不同的函数，在确知报文的协议类型后，调用相应的函数进行进一步的分析，如分析更高层的协议是什么，报文的某些特征等。

实施例2：一种IPv6数据高速捕获和快速存储系统实现时采用双向链表和多线程实现数据包的捕获和解析。

捕获IPv4/v6网络中的数据流后，放在内存队列中，等待进一步处理。内存的容量有限，存放的数据过多，会导致内存溢出，无法再写入新的数据，最终会中断捕包线程。如果包分解的速度过慢的话，也会出现包数在内存队列中不断增加。因此，本发明利用双向链表和多线程在捕包的同时将包及时分解并写入数据库。

双向链表的结点中有两个指针域，一个指向直接后继，另一个指向直接前趋，即：当前结点后继的前趋是自身，当前结点前趋的后继也是自身。应用双向链表，可以在任何位置从两个方向遍历链表节点，可以非常容易地实现节点的插入和删除等操作。

双向链表的定义是在初始化模块中完成的，其流程如图5所示，具体步骤如下：

1)为包首和包尾分配动态内存；

2)清空包尾内存；

3)将包尾的前驱设为包首，将包首的后继设为包尾，如图6所示。

多线程是一种非常“节俭”的多任务操作方式。运行于一个进程中的多个线程，彼此之间使用相同的地址空间，共享大部分数据，启动一个线程所花费的空间远远小于启动一个进程所花费的空间。而且，线程间彼此切换所需的时间也远远小于进程间切换所需要的时间。总的说来，一个进程的开销大约是一个线程开销的30倍左右。多线程有线程间具有良好的通信机制。由于同一进程下的线程之间共享数据空间，所以一个线程的资料可以直接为其它线程所用，这不仅快捷，而且方便。

IPv6数据捕获模块在主线程中实现，IPv6协议解析模块则在子线程中实现。因此，本技术实现时要创建子线程，如图7所示，具体步骤如下：

1)首先记录开始的ID到数据库中。

2)初始化互斥锁。

3)初始化线程属性。属性对象主要包括是否绑定、是否分离、堆栈地址、堆栈大小、优先级。当其值为NULL时，为默认属性。默认的属性为非绑定、非分离、缺省1M的堆栈、与父进程同样级别的优先级。

4)线程分离。决定一个线程以什么样的方式来终止自己。非分离状态，原有的线程等待创建的线程结束。只有当pthread_join()函数返回时，创建的线程才算终止，才能释放自己占用的系统资源。而分离线程不是这样子的，它没有被其他的线程所等待，自己运行结束了，线程也就终止了，马上释放系统资源。本模块将线程设置为分离状态。

5)创建线程，调用包处理程序。

子线程创建之后，则进行包处理。子线程不断从内存队列中取出数据包，主线程不断将捕获到的数据包插入内存队列，这是一个读/写程序，它们共用一个缓冲区。尽管两个线程互不影响，但在同一时间内，只能有一个线程进行操作，所以引入互斥锁，用来保证一段时间内只有一个线程在执行一段代码。

用互斥锁上锁后的代码直至解锁为止，均被上锁，即同一时间只能被一个线程调用执行。当一个线程执行到上锁处时，如果该锁此时被另一个线程使用，那此线程被阻塞，即程序将等待到另一个线程释放此互斥锁。同时，子线程在当内存队列中没有数据时，则休眠10us，就是为了防止一个线程始终占据此函数。内存队列中的包数一开始不断增加，从1个包一直增加到n个，这一段时间，是主线程正在捕包的过程，主线程互斥锁被锁定并正在执行，子线程被阻塞，使内存队列中的包数不断增加。在包数增加到n个之后，迅速减至1。子线程被锁定，将内存队列中的数据包进行分解，直到将n个数据包全部分解完毕，当队列中没有数据包时，子线程休眠10us，等待数据包插入内存队列。此时，主线程又被锁定，开始下一次的捕包过程。由于两个线程在不断争夺cpu资源，内存队列中的数据包个数n存在随机性。

Claims (7)

1、一种IPv6数据高速捕获和快速存储系统，其特征是：包括：

捕包设备的初始化、数据包链表的初始化等，主要完成IPv4/v6数据捕获、解析、存储前各项参数的配置工作的初始化模块；

通过监听IPv6网络设备，实时捕获经过监听口的IPv6数据流，数据捕获所得到的数据可以用于进一步的协议分析的IPv6数据捕获模块；

在IPv6数据捕获模块的基础上，按照一定的规则对捕获到的IPv4/v6数据进行处理，将捕获的数据从外到里和各种协议进行匹配，依次把各层的协议解析出来，然后快速放入事先为各个协议量身定制的存储单元的IPv6协议解析模块。

2、根据权利要求1所述的一种基于一种IPv6数据高速捕获和快速存储系统，其特征是：初始化模块主要完成IPv4/v6数据捕获、解析、存储前各项参数的配置；包括分配缓冲区，初始化捕获文件结构，设置参数；初始化捕获端口，载入捕获和过滤规则；将捕获端口设置为监听状态，随时准备捕获数据；初始化数据库，记录初始ID到数据库；定义一个双向链表，供数据包处理时使用。

3、据权利要求1所述的一种基于一种IPv6数据高速捕获和快速存储系统，其特征是：

IPv6数据捕获模块工作流程，具体步骤如下：

1)打开监听设备，读取指定的捕包字节数；把网卡设置为混杂模式；设置毫秒计超时时限；如果有了错误，把它存放在字符串errbuf中；

2)获取监听设备的网络地址和子网掩码；

3)获取MAC头固定的14个字节；

4)开始捕包，进入一个循环，捕获到多个包再进行处理；

5)捕包结束。

4、根据权利要求1所述的一种基于一种IPv6数据高速捕获和快速存储系统，其特征是：

IPv6协议解析模块的具体步骤如下：

1)分配内存，用来存放包分解后的数据信息；

2)清空分配的内存；

3)计数处理，将Pktid1设为高位，Pktid2设为低位；

4)判断包链头后继的后继是否为空，为空则休眠10us，否则锁定共享内存；

5)处理数据包链表节点，找到链表头节点，将该节点的后继设为空；

6)解锁；

7)捕包数减1，分解包总数加1；

8)建立时间戳，使得包处理信息与包分解信息相对应；

9)判断数据链路层类型，然后进行包分解操作，并将分析结果写入数据库中。

5、一种基于一种IPv6数据高速捕获和快速存储系统实现方法，其特征是：包括：采用双向链表技术实现捕获的IPv6/v4数据包在内存队列中的快速写入和分解的步骤；

采用多线程技术实现IPv6/v4网络的高速数据流量捕捉和记录，同时进行快速协议分解，并将解析结果存入数据的步骤。

6、根据权利要求5所述的一种IPv6数据高速捕获和快速存储系统实现方法，其特征是：

双向链表的定义具体步骤如下：

1)为包首和包尾分配动态内存；

2)清空包尾内存；

3)将包尾的前驱设为包首，将包首的后继设为包尾。

7、根据权利要求5所述的一种IPv6数据高速捕获和快速存储系统实现方法，其特征是：

IPv6数据捕获模块在主线程中实现，IPv6协议解析模块则在子线程中实现，具体步骤如下：

1)首先记录开始的ID到数据库中；

2)初始化互斥锁；

3)初始化线程属性，属性对象主要包括是否绑定、是否分离、堆栈地址、堆栈大小、优先级，当其值为NULL时，为默认属性，默认的属性为非绑定、非分离、缺省1M的堆栈、与父进程同样级别的优先级；

4)线程分离，决定一个线程以什么样的方式来终止自己。非分离状态，原有的线程等待创建的线程结束。只有当pthread_join()函数返回时，创建的线程才算终止，才能释放自己占用的系统资源，而分离线程不是这样子的，它没有被其他的线程所等待，自己运行结束了，线程也就终止了，马上释放系统资源，本模块将线程设置为分离状态；

5)创建线程，调用包处理程序。

Images