CN103259737A - 一种并行存储高速网络流量的快速定位方法 - Google Patents

Abstract

本发明公开了一种基于新的索引方式的多队列并行存储网络流量的快速定位方法，在流量的捕获过程中对各个队列按照一定的时间间隔建立局部索引节点，各个队列的索引节点的时间戳都是同步的，根据流量的起始时间或者起始数据包序号来定位流量的回放起始点。其中，在流量捕获完成后不需要将局部索引更新为全局索引，避免了对长时间索引更新过程的等待，捕获结束后即可回放流量文件，捕获回放效率更高效。

Description

一种并行存储高速网络流量的快速定位方法

技术领域

本发明涉及一种网络流量定位方法，特别涉及一种多队列并行存储高速网络流量的快速定位方法。

背景技术

流量回放方法是一种将真实网络流量存储记录并进行还原回放的网络测试方法。通过将捕获得到的真实网络流量还原回放到测试网络，流量回放方法可以再现实际的网络场景，达到考察被测系统在实际网络环境中的功能和性能的目的。流量回放方法已经成为了对各类网络/安全设备(如IDS，Firewall，IPS等)进行客观、全面、系统测试的是一种重要方法。

当前，为了保证流量捕获和回放时的性能，针对高速网络流量多采用多队列并行存储和回放的方法：流量捕获系统在捕获流量时将数据报文按照哈希算法放入不同的队列中，每个队列的流量实时地存入磁盘阵列等高速存储设备。流量捕获记录时，除了记录数据报文本身，通常还需要记录数据包到达的时间戳；同样，在流量回放时，回放系统将多个队列的流量并发地写入测试网络。

现有技术的解决方案是在将网络流量分成多个队列实时存入磁盘阵列等存储设备中时，每个队列按照数据包到达的先后次序按照一定的数据包数目间隔为少量的数据包建立局部索引，每一个局部索引节点记录对应数据包的时间戳，对应数据包相对于该队列中其他数据包的局部序号等内容，在捕获结束的时候将所有队列中的局部索引节点中的局部序号更新为相对于整个流量所有数据包的全局序号，即全局索引，在流量回放时，通过各个队列建立的全局索引按照流量的起始时间或者起始的数据包序号来指定流量回放的起始点。

该技术方案的主要缺点是在流量捕获结束后需要将局部索引更新为全局索引，更新的过程中需要使用局部索引，同时还需打开原始流量文件查看数据包的时间戳来比较不同队列内数据包到达的先后次序，而通常情况下捕获的高速网络流量中每个队列存储的数据包数目都比较大，所以更新过程将占用了大量的系统资源，而且非常耗时，捕获结束后需要等待更新过程结束才可以对流量文件进行回放，长时间的等待严重影响了系统的使用，另外如果更新过程出现错误，那么该流量文件将不能使用，捕获到的流量也成为了系统垃圾，因此对于捕获过程来说更新索引过程是一个很大的累赘。因此迫切需要一种更为高效的索引结构使得在保证对于多队列并行存储网络流量的定位方法效率前提下提高捕获回放效率。

发明内容

针对现有技术的不足，本发明提供了一种多队列并行存储网络流量的快速定位方法，旨在使流量捕获时避免耗时的索引更新过程，提高捕获回放和流量定位的效率。

为达到以上目的，本发明是采取如下技术方案予以实现的：

一种多队列并行存储网络流量的快速定位方法，包括以下步骤：

第一步，流量捕获系统在流量捕获时将数据报文按照哈希算法放入不同的队列中，每一个队列的流量实时存入高性能SAS磁盘阵列或其他高速存储设备中；流量捕获系统在捕获流量开始的时候确定一个捕获开始时间，为每个队列建立第一个局部索引节点，索引节点记录每个队列第一个数据包的信息，指向每个队列的第一个数据包的位置，因为捕获开始时间相同，所以各个队列中第一个索引节点的时间戳是相同的。

第二步，在后面的捕获过程中各个队列每隔一定的时间间隔就建立一个局部索引节点，将每个队列的流量分成以相同时间间隔的数据包块，索引节点记录的是其对应时间的下一个数据包的信息，即下一个数据包块的第一个数据包的位置，因为各个队列建立索引节点的时间间隔是相同的，所以各个队列的索引节点的时间戳是同步的。

第三步，流量捕获结束后即可对捕获到的流量进行回放，流量回放时，若根据流量的起始时间来定位每个队列流量的开始位置，则包括如下步骤：

(1)对一个队列使用二分查找算法通过查看该队列的局部索引的时间戳，找到最后一个时间戳小于或等于流量起始时间的索引节点，即目标流量的开始位置在该队列中的起始数据块，由于各个队列索引节点的时间戳同步，因此其它队列流量开始位置对应的索引节点与该队列索引节点时间戳相同。

(2)从每个队列确定的起始数据块的第一个数据包开始顺序往后查找，直到找到数据包的时间戳大于或等于回放流量的起始时间；所得到的数据包即为各个队列中流量的开始位置；

若根据流量的起始数据包序号来定位每个队列流量的开始位置，则包括如下步骤：

(1)对一个队列使用二分查找算法通过查看该队列中的局部索引的局部序号，找到最后一个在某一个时间点上各个队列索引节点中局部序号之和(由于各个队列索引节点时间戳同步，所以一个时间点上各个队列都有索引节点)小于或者等于起始数据包序号的索引节点，即目标流量的开始位置在该队列中的起始数据块，由于各个队列索引节点的时间戳同步，因此其它队列流量开始位置对应的索引节点与该队列索引节点时间戳相同。

(2)用起始数据包序号减去指向目标流量开始位置在各个队列中起始数据块对应的局部索引节点中的局部序号，将这个结果序号记为待处理数据包序号。

(3)从目标流量开始位置在各个队列中的起始数据块开始，设置每个队列当前查找的数据包为队列所确定的数据块的第一个数据包的下一个数据包；

(4)比较每个队列当前查找数据包的时间戳，将时间戳最小的数据包所在队列设为当前处理队列；将该队列当前查找的数据包设置为当前查找数据包的下一个数据包，同时将待处理数据包序号减去1；

(5)重复步骤(4)，直到待处理数据包序号减为0，各个队列的当前查找数据包即为目标流量在各个队列流量的开始位置。

上述方法中，第一步中所述每个队列的流量是指每个队列到达的数据包以及数据包到达的时间戳。

优选地，第一步中，索引节点中记录的信息包括：(1)索引节点对应的时间戳；(2)索引节点对应的时间的下一个数据包在此次捕获流量中的局部序号，即对本队列的所有数据包按照时间戳从小到大顺序排列，此数据包的排列序号；(3)索引结点对应的时间的下一个数据包所在流量文件的文件名；(4)索引结点对应的时间的下一数据包在包含此数据包的流量文件中的偏移位置。

本发明的技术方案具有以下优点及效果：

(1)在流量捕获的过程中为各个队列建立局部索引，在流量捕获完成后不需要将局部索引更新为全局索引，避免了对长时间更新过程的等待，捕获结束后即可回放流量文件，捕获回放效率更高；

(2)根据流量的起始时间或者数据包序号定位流量的回放起始点时，对各个队列流量开始位置的数据包块对应的索引节点进行定位时候使用了二分查找算法，算法复杂度为log₂(n)，同时利用各个队列索引节点时间戳同步的特点在定位时只对一个队列进行定位，使得算法在一定程度上更为高效。

附图说明

图1是本发明的并行存储网络流量快速定位示意图；

图2是本发明的带有局部索引的并行存储流量示意图。

具体实施方式

以下结合附图及实施例对本发明作进一步的详细描述。

图1是本发明的网络流量快速定位方法总的流程示意图。以下结合图2对该方法进行具体说明。

带有局部索引的并行存储流量

流量捕获系统在流量捕获时将数据报文按照哈希算法放入不同的队列中，每一个队列的流量实时的存入高性能SAS磁盘阵列或其他高速存储设备中；流量捕获系统在捕获流量开始的时候确定一个捕获开始时间，为每个队列建立第一个局部索引节点，索引节点记录每个队列第一个数据包的信息，指向每个队列的第一个数据包的位置，因为捕获开始时间相同，所以各个队列中索引节点的时间戳是

相同的。其中，所述每个队列的流量是指每个队列到达的数据包以及数据包到达的时间戳。在一个特定实施例中，索引节点中记录的信息包括：(1)索引节点对应的时间戳；(2)索引节点对应的时间的下一个数据包在此次捕获流量中的局部序号，即对本队列的所有数据包按照时间戳从小到大顺序排列，此数据包的排列序号；(3)索引结点对应的时间的下一个数据包所在流量文件的文件名；(4)索引结点对应的时间的下一数据包在包含此数据包的流量文件中的偏移位置。

在一个实施例中，如图2所示，捕获的高速网络流量被分为4个队列进行存储，每个队列按照数据包到达的先后次序分别记录数据包到达的时间戳和数据报文本身。

在后面的捕获过程中，各个队列每隔一定的时间间隔就建立一个索引节点，将每个队列的流量分成以相同时间间隔的数据包块，索引节点记录的是对应时间的下一个数据包的信息，即下一个数据包块中的第一个数据包的位置，因为各个队列建立时间戳的间隔是相同的，所以各个队列以一定的时间间隔建立的索引节点的时间戳也是同步的。

继续参见图2，在一个实施例中，各个队列每间隔t建立一个索引节点，t设置为2s。为方便后续阐述，捕获开始时间T0为设置为1s。各队列记录的数据包用1元组Pktn(时间戳)表示，其中n为按照数据包到达的先后次序的排列序号，将建立的索引节点用2元组idxn(索引节点对应时间戳的下一个数据包在队列中的序号，时间戳)表示，其中n为按照索引建立的先后次序的排列序号。

并行存储中局部索引的建立过程

图2的捕获示例建立局部索引的过程如下：

(1)开始时，由于捕获开始时间T0为1s，为4个队列建立第一个局部索引节点idx1指向4个队列的第一个数据块的第一个数据包，4个队列的idx1索引节点的时间戳都为1s，4个队列时间戳同步，索引节点对应时间戳的下一个数据包在各个队列中的局部序号也为1；

(2)经过时间间隔t后，为4个队列建立第二个索引节点idx2指向4个队列的第二个数据块的第一个数据包，4个队列的idx2索引节点的时间戳都为T1＝T0+t，为3s，4个队列时间戳同步，但4个队列索引节点对应时间戳的下一个数据包在各个队列中的局部序号不同，队列1为4，队列2和队列3为5，队列4为6，这是由于在相等的时间间隔t内，各个队列收到的数据包不一致导致的。

(3)每一次经过时间间隔t后就为各个队列建立一个局部索引节点，捕获过程结束后，局部索引也建立完成。

根据流量的起始时间定位流量的过程

流量捕获结束后即可对捕获到的流量进行回放。流量回放时，根据流量开始的时间定位流量的过程如下：

(1)对一个队列使用二分查找算法通过查看该队列中的局部索引的时间戳，找到最后一个时间戳小于或等于流量起始时间的索引节点，即目标流量的开始位置在该队列中的数据块，由于各个队列时间戳同步，因此其他队列对应的索引节点与该队列索引节点时间戳相同。在图2的示例中，假设流量开始的时间是4s，则4个队列中开始的流量对应的数据包所在的数据块是各个队列局部索引idx2指向的数据块。

(2)从每个队列确定的数据块的第一个数据包开始顺序往后查找，直到找到数据包的时间戳大于或等于回放流量的起始时间；所得到的数据包即为队列中流量的开始位置。在图2的示例中，队列1对应的流量的起始位置是该队列的第6个数据包，队列2对应的流量的起始位置是该队列的第6个数据包，队列3对应的流量的起始位置是该队列的第6个数据包，队列4对应的流量的起始位置是该队列的第7个数据包。

根据流量的起始数据包序号定位流量的过程

流量回放时，根据流量开始的数据包序号定位流量的过程如下：

(1)对一个队列使用二分查找算法通过查看该队列中的局部索引的局部序号，找到最后一个在某一个时间点上各个队列索引节点中局部序号之和(由于各个队列索引节点时间戳同步，所以一个时间点上各个队列都有索引节点)小于或者等于起始数据包序号的索引节点，即目标流量的开始位置在该队列中的数据块，由于各个队列时间戳同步，因此其他队列对应的索引节点与该队列索引节点时间戳相同。在图2的示例中，假设流量开始的数据包序号25，则4个队列中开始的流量对应的数据包所在的数据块是各个队列局部索引idx2指向的数据块；

(2)用起始数据包序号减去指向目标流量开始位置在各个队列中数据块的局部索引节点中的局部序号，将这个结果序号记为待处理数据包序号。在图2的示例中，待处理数据包序号为25-(4+5+5+6)＝5；

(3)从目标流量开始位置在各个队列中的数据块开始，设置每个队列当前查找的数据包为队列所确定的数据块的第一个数据包的下一个数据包。在图2的示例中，队列1当前查找的数据包为该队列中的Pkt5，队列2当前查找的数据包为该队列中的Pkt6，队列3当前查找的数据包为该队列中的Pkt6，队列2当前查找的数据包为该队列中的Pkt7

(4)比较每个队列当前查找数据包的时间戳，将时间戳最小的数据包所在队列设为当前处理队列；将该队列当前查找的数据包设置为当前查找数据包的下一个数据包，同时将待处理数据包序号减去1。在图2的示例中，通过对比时间戳，当前需要处理的队列为1号队列，该队列当前查找的数据包变为该队列中的Pkt6，待处理数据包序号变为9。

(5)重复步骤(4)，直到待处理数据包序号减为0，各个队列的当前查找数据包即为目标流量在各个队列流量的开始位置。在图2的示例中，队列1对应的流量的起始位置是该队列的第7个数据包，队列2对应的流量的起始位置是该队列的第7个数据包，队列3对应的流量的起始位置是该队列的第7个数据包，队列4对应的流量的起始位置是该队列的第8个数据包。

如以上具体实施方式所述，本发明采用了一种高效的索引组织方式，即各个队列按照一定的时间间隔建立索引节点，各个队列的索引节点的时间戳都是同步的，在回放起始点定位中利用这个特点使得定位效率更加高效。

应当理解，以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定专利保护范围。

Claims (3)

1.一种多队列并行存储网络流量的快速定位方法，包括以下步骤：

第一步，在流量捕获时将数据报文按照哈希算法放入不同的多个队列，将每个队列的流量实时存入高性能SAS磁盘阵列或其他高速存储设备中；其中，在捕获流量开始的时候确定一个捕获开始时间，为每个队列建立第一个局部索引节点，该索引节点记录每个队列第一个数据包的信息，并且指向每个队列的第一个数据包的位置，各个队列的第一个索引节点的时间戳相同，即捕获开始时间；

第二步，在后续捕获过程中各个队列每隔一定的时间间隔建立一个局部索引节点，将每个队列的流量分成以相同时间间隔的数据包块，索引节点记录对应时间的下一个数据包的信息，即下一个数据包块中的第一个数据包的位置；其中，各个队列的索引节点的时间戳同步。

第三步，流量捕获结束后，对捕获到的流量进行回放；

其中，流量回放时，若根据流量的起始时间来定位每个队列流量的开始位置，则还包括如下步骤：

(1)对于所述多个队列中的一个队列，使用二分查找算法通过查看该队列中的局部索引的时间戳，找到最后一个时间戳小于或等于流量起始时间的索引节点，即目标流量的开始位置在该队列中的起始数据块；对于所述多个队列中的其他队列，利用各个队列的索引节点时间戳同步的特征，目标流量的开始位置在所述其他队列中的起始数据块根据从所述多个队列中的一个队列找到的所述索引节点得到；

(2)从每个队列确定的起始数据块的第一个数据包开始顺序往后查找，直到找到数据包的时间戳大于或等于回放流量的起始时间，所得到的数据包即为各个队列中流量的开始位置；

流量回放时，若根据流量的起始数据包序号来定位每个队列流量的开始位置，则包括如下步骤：

(1)对于所述多个队列中的一个队列，使用二分查找算法通过查看该队列中的局部索引的局部序号，找到最后一个在某一时间点上各个队列索引节点中局部序号之和小于或者等于起始数据包序号的索引节点，即目标流量的开始位置在该队列中的起始数据块；对于所述多个队列中的其他队列，利用各个队列的索引节点时间戳同步的特征，目标流量的开始位置在所述其他队列中的起始数据块根据从所述多个队列中的一个队列找到的所述索引节点得到；

(2)用起始数据包序号减去指向目标流量开始位置在各个队列中起始数据块对应的局部索引节点中的局部序号，将这个结果序号记为待处理数据包序号；

(3)从目标流量开始位置在各个队列中的起始数据块开始，设置每个队列当前查找的数据包为队列所确定的数据块的第一个数据包的下一个数据包；

(4)比较每个队列当前查找数据包的时间戳，将时间戳最小的数据包所在队列设为当前处理队列；将该队列当前查找的数据包设置为当前查找数据包的下一个数据包，同时将待处理数据包序号减去1；

(5)重复步骤(4)，直到待处理数据包序号减为0，各个队列的当前查找数据包即为目标流量在各个队列流量的开始位置。

2.根据权利要求1所述的系统，其特征在于，第一步中所述每个队列的流量是指每个队列到达的数据包以及数据包到达的时间戳。

3.根据权利要求1所述的系统，其特征在于，第一步中，局部索引节点中记录的信息还包括：(1)索引节点对应的时间戳；(2)索引节点对应的时间的下一个数据包在此次捕获流量中的局部序号，即对本队列的所有数据包按照时间戳从小到大顺序排列时，此数据包的排列序号；(3)索引结点对应的时间的下一个数据包所在流量文件的文件名；(4)索引结点对应的时间的下一数据包在包含此数据包的流量文件中的偏移位置。

Images