CN102270105A - 独立磁盘阵列、网络采集数据处理方法及系统 - Google Patents

Abstract

本发明提供了一种均匀高速独立磁盘阵列，包括：多个磁盘，其中所述各个磁盘被分区为若干个分区；分区组成组单元，按照使得成组后的各分区组的构成分区的写入性能总和之间的最大差值最小的方式，从所述多个磁盘中的各个磁盘或部分磁盘中取出一个或多个分区形成分区组。利用该均匀高速独立磁盘阵列，能够为高密度网络数据采集提供持续恒定的高写入速度，并且使得磁盘的I/O性能达到恒定的高吞吐量值，并且成本低。

Description

独立磁盘阵列、网络采集数据处理方法及系统

技术领域

本发明涉及网络数据采集领域，并且更为具体地，涉及一种均匀高速独立磁盘阵列，基于该均匀高速独立磁盘阵列的网络采集数据处理方法及具有该均匀独立磁盘阵列的系统。

背景技术

在网络系统集成的各个领域中，当基于网络流量调试网络设备以及网络拓扑时，首先需要对高密度的流量进行采集，进而才能进行相应的数据分析等操作。

在现有的基于高密度网络流量采集(即，高流量网络数据采集)方案中，主要采用已有的网络抓包工具监听网络流量，生成具有网络数据包(即，IP数据包)格式的文件，并将所生成的网络数据包转储到磁盘设备上。

当在高密度的网络数据流场景中进行数据采集时，通常需要数据采集设备能够完整地保存数据，而不能产生丢包。这里，数据采集的性能完全取决于所述数据采集设备中的数据采取单元(即，网卡)的数据包获取性能以及数据存储单元的写入，(例如，磁盘的磁盘写入速度)。在目前的网络设备上，网卡的数据包获取性能已经达到千兆限速，这完全能够满足高密度网络数据流量采集的性能需要。

而对于数据存储单元，例如磁盘工具，目前市面上的磁盘主要分为HDD(Hard disk drive)以及SSD(solid-state drive)两类。

HDD(Hard disk drive)是使用旋转盘片为基础的非易失性存储设备。HDD的地址结构，在CHS寻址方式中，磁盘的物理地址由磁头号(或磁面号)、柱面号(磁道号)和扇区号组成。图1中示出了现有硬盘中的地址结构。现有的磁盘都是等密度盘，并且磁盘容量由下面的等式确定。

硬盘容量＝柱面数*磁头数*扇区数*扇区大小。

在针对磁盘进行数据读取和写入时，数据的读取/写入按柱面进行。具体地，在磁头读/写数据时，首先在同一柱面内从”0”磁头开始进行操作，依次向下在同一柱面的不同磁面上进行操作，只在同一柱面所有的磁面的读取/写入都完成后，磁头才转移到下一柱面，并且从该下一柱面的“0”磁头开始处理。

从图1中可以看出，柱面0到柱面1、柱面2......是以主轴为圆心的同心圆，这些同心圆的角速度一样，由于径向长度不一样，所以，柱面0到柱面1、柱面2......的线速度也不一样，并且外圈的线速度较内圈的线速度大，也就是说，在同样的转速下，外圈在相同时间段里，划过的圆弧长度要比内圈划过的圆弧长度大，并且目前的磁盘都是等密度磁盘，所以磁盘的写入/读取特性是速度由快变慢的过程。图2示出了现有HDD硬盘的磁道速度示意图。

目前市面上主流的HDD存储盘包括希捷Constellation ES系列，它是当前比较主流的企业级HDD硬盘。采用测试工具HD Tune Pro 3.50对希捷Constellation系列进行测试，可得到如图3所示的测量数据。

通过图3中示出的性能测试报告可以发现，当前HDD的写入性能只能在外圈的时候满足高密度数据采集设备的需求，随着写入数据量的增加，HDD的写入性能将会大幅度下降，并不能保证高密度数据的采集任务。

SSD(solid-state drive)是由控制单元和固态存储单元(DRAM或FLASH芯片)组成的硬盘。由于并非采用旋转磁盘进行数据读写，所以SSD不存在读写速度下降的情况，但是SSD的成本高以及FLASH的可擦写次数有限，它并不适合在工业生产中大批量应用。

通过上述对磁盘的分析可以发现，目前的HDD磁盘存储设备不能提供数据以恒定的高速写入性能，无法满足高密度网络数据采集的需求，而SSD固态磁盘因为其成本太高，容量不大并不适合在工业生产中批量应用。换言之，现有的所有磁盘工具的写入性能都不能满足高密度网络数据采集的需求。

为了提高HDD磁盘的写入性能，目前比较常用的方法是采用RAID(Redundant Array of Independent Disks，独立磁盘冗余阵列)。RAID是一种把多块独立的硬盘按不同方式组合起来形成一个硬盘组，从而提供比单个磁盘更高的存储性能和提供数据冗余的技术。组成磁盘阵列的不同方式称为RAID级别。图4中示出了各种RAID级别以及对应的性能。

从图4中可以看出，RAID只有在级别0时才提高存储设备写入性能，而其他级别的主要特点都在冗余上，对提高存储设备写入性能并没有太大的帮助。RAID0的实现方法是以条带形式将RAID组的数据均匀分布在各个硬盘中，从而提高了存储设备的吞吐量。图5示出了RAID0的工作原理图。

通过对RAID0原理以及对HDD磁盘结构原理的分析，RAID0只是对磁盘写入性能的一个简单累加。当磁盘寻道进入内圈之后，写入性能会大幅度下降，并不能保证恒定的高速写入性能，所以RAID0并不能从根本上满足基于高密度网络数据采集设备的需求。

发明内容

鉴于上述，本发明提供了一种均匀高速独立磁盘阵列，基于该均匀高速独立磁盘阵列的网络采集数据处理方法及具有该均匀独立磁盘阵列的系统，利用该均匀高速独立磁盘阵列，能够为高密度网络数据采集提供持续恒定的高写入速度，并且使得磁盘的I/O性能达到恒定的高吞吐量值，从而达到高密度数据采集的要求，同时由于可以采用成本较低的HDD，基于该均匀高速独立磁盘阵列的网络采集数据处理系统成本低。

根据本发明的一个方面，提供了一种均匀高速独立磁盘阵列，包括：多个磁盘，其中所述各个磁盘被分区为若干个分区；分区组成组单元，按照使得成组后的各分区组的构成分区的写入性能总和之间的最大差值最小的方式，从所述多个磁盘中的各个磁盘或部分磁盘中取出一个或多个分区形成分区组。

此外，在所述各个磁盘的写入性能相近并且被分区为相同数目的分区时，所述均匀高速独立磁盘阵列还可以包括：奇偶性确定单元，用于确定所述均匀高速独立磁盘阵列中的磁盘数的奇偶性，在所述磁盘数为偶数时，所述均匀高速独立磁盘阵列还包括磁盘组成组单元，用于基于所述各磁盘的写入性能，按照使得成组后的各磁盘组的构成磁盘的写入性能总和之间的最大差值最小的方式，以两个磁盘为单位对所述磁盘阵列中的磁盘进行磁盘分组，以及对于磁盘分组后的各磁盘组，所述分区组成组单元基于各磁盘组中的各分区的写入性能，按照使得成组后的各分区组的构成分区的写入性能总和之间的最大差值最小的方式，从该磁盘组中的各构成磁盘中取出一个形成分区组，在所述磁盘数为奇数时，所述分区组成组单元按照使得成组后的各分区组的构成分区的写入性能总和之间的最大差值最小的方式，从所述多个磁盘中的各个磁盘中取出一个分区形成分区组。

此外，在一个或多个示例中，如果所述磁盘数为偶数，则在进行磁盘分组时，所述磁盘组成组单元首先对同型磁盘两两配对形成磁盘组。所述磁盘组成组单元还可以包括第一排序单元，用于针对所述剩余磁盘，按照磁盘的写入性能高低对所述剩余磁盘进行排序。所述磁盘组成组单元基于所述第一排序单元的排序结果，按照首尾配对的方式，将所述剩余磁盘两两配对形成磁盘组。

根据本发明的另一方面，提供了一种网络采集数据处理系统，包括：如上所述的均匀高速独立磁盘阵列；数据采集单元，用于利用根据所读取的网络配置信息确定的接口集，从网络采集数据；以及数据存储单元，用于将所采集的数据，存储到所述均匀高速独立磁盘阵列的各磁盘组的分区组中。

此外，在一个或多个示例中，所述网络采集数据处理系统还可以包括时间戳信息处理单元，用于基于所读取的网络配置信息中的用于过滤数据的通信协议，对与所述通信协议匹配的所采集的数据添加时间戳信息，其中，所述数据存储单元将添加有时间戳信息的所采集的数据，存储到经由所述磁盘分组组合装置处理后的所述均匀高速独立磁盘阵列的各磁盘组的分区组中。

此外，在一个或多个示例中，所述网络采集数据处理系统还可以包括：单个文件容量设置单元，用于在完成分区组成组之后，设置单个文件容量；以及文件创建单元，用于在设置单个文件容量后创建文件，所述要存储的采集数据被存储在所创建的文件中，其中在将添加有时间戳信息的所采集的数据存储到成组后的分区组中时，如果要存储的数据的长度大于所设置的单个文件容量，则所述文件创建单元创建新的同名文件。

此外，在一个或多个示例中，所述网络采集数据处理系统还可以包括输出显示单元，用于在将添加有时间戳信息的所采集的数据写入到所述磁盘阵列中之后，基于可编程的SDK库以及二进制工具，对所写入的采集数据进行输出显示。

根据本发明的另一方面，提供了一种基于均匀高速独立磁盘阵列的网络采集数据处理方法，包括：利用根据所读取的网络配置信息确定的接口集，从网络采集数据；以及将所采集的数据，存储到根据所述均匀高速独立磁盘阵列的各磁盘中的各分区写入性能分组的分区组中，其中所述均匀高速独立磁盘阵列中的各个磁盘被分区为若干分区，其中，根据所述均匀高速独立磁盘阵列的各磁盘中的各分区写入性能进行的分区分组包括：基于各磁盘的分区的写入性能，按照使得成组后的各分区组的构成分区的写入性能总和之间的最大差值最小的方式，从所述均匀高速独立磁盘阵列的各个磁盘或部分磁盘中取出一个或多个分区形成分区组。

此外，在一个或多个示例中，在所述各个磁盘的写入性能相近并且被分区为相同数目的分区时，在基于各磁盘的分区的写入性能形成分区组的步骤还可以包括：确定所述均匀高速磁盘阵列中的磁盘数的奇偶性；如果所述磁盘数为偶数，则基于所述各磁盘的写入性能，按照使得成组后的各磁盘组的构成磁盘的写入性能总和之间的最大差值最小的方式，以两个磁盘为单位对所述磁盘阵列中的磁盘进行磁盘分组；以及对于磁盘分组后的各磁盘组，基于各磁盘组中的各分区的写入性能，按照使得成组后的各分区组的构成分区的写入性能总和之间的最大差值最小的方式，从该磁盘组中的各构成磁盘中取出一个分区形成分区组，以及如果所述磁盘数为奇数，则按照使得成组后的各分区组的构成分区的写入性能总和之间的最大差值最小的方式，从所述多个磁盘中的各个磁盘中取出一个分区形成分区组。

此外，在一个或多个示例中，如果所述磁盘数为偶数，则在进行磁盘分组时，所述方法还可以包括：对同型磁盘两两配对形成磁盘组；针对所述剩余磁盘，按照磁盘的写入性能高低对所述剩余磁盘进行排序；基于所述第一排序单元的排序结果，按照首尾配对的方式，将所述剩余磁盘两两配对形成磁盘组。

此外，在一个或多个示例中，在将所采集的数据存储到分组的分区组中之前，所述方法还可以包括：基于所读取的网络配置信息中的用于过滤数据的通信协议，对与所述通信协议匹配的所采集的数据添加时间戳信息，以及将添加有时间戳信息的所采集的数据存储到所述分区组中。

此外，在一个或多个示例中，在完成磁盘组和分区组成组之后，所述方法还可以包括：设置单个文件容量并创建文件，所述要存储的采集数据被存储在所创建的文件中，其中，在将添加有时间戳信息的所采集的数据存储到成组后的分区组中时，如果要存储的数据的长度大于所设置的单个文件容量，则创建新的同名文件。

此外，在一个或多个示例中，在将添加有时间戳信息的所采集的数据写入到所述磁盘阵列中之后，所述方法还可以包括基于可编程的SDK库以及二进制工具，对所写入的采集数据进行输出显示。

为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。

附图说明

根据下述参照附图进行的详细描述，本发明的上述和其他目的、特征和优点将变得更加显而易见。在附图中：

图1示出了现有硬盘的地址结构的示意图；

图2示出了现有HDD硬盘的磁道速度示意图；

图3示出了利用测量工具对希捷硬盘进行测试的测试结果；

图4中示出了各种RAID级别以及对应的性能；

图5示出了RAID0的工作原理的示意图；

图6示出了根据本发明实施例的均匀高速独立磁盘阵列的方框示意图；

图7示出了根据本发明的另一实施例的均匀高速独立磁盘阵列的方框示意图；

图8示出了具有根据本发明的均匀高速独立磁盘阵列的网络采集数据处理系统的方框示意图；

图9示出了根据本发明实施例的网络采集数据处理方法的示例的总体方框图；

图10示出了图9中的网络配置过程的流程图；

图11示出了图9中的均匀高速独立磁盘阵列(UHAID)的配置过程的流程图；

图12A示出了当磁盘数为偶数时进行的配置的示例的示意图；

图12B示出了当磁盘数据为奇数时进行的配置的示例的示意图；

图13示出了图9中的网络数据采集过程的流程图；

图14示出了图9中的基于UHAID的数据存储过程的流程图；和

图15A和15B示出了根据本发明的网络采集数据处理功能的性能。

在所有附图中相同的标号指示相似或相应的特征或功能。

具体实施方式

下面描述本公开的各个方面。应该明白的是，本文的教导可以以多种多样形式具体体现，并且在本文中公开的任何具体结构、功能或两者仅仅是代表性的。基于本文的教导，本领域技术人员应该明白的是，本文所公开的一个方面可以独立于任何其它方面实现，并且这些方面中的两个或多个方面可以按照各种方式组合。例如，可以使用本文所阐述的任何数目的方面，实现装置或实践方法。另外，可以使用其它结构、功能、或除了本文所阐述的一个或多个方面之外或不是本文所阐述的一个或多个方面的结构和功能，实现这种装置或实践这种方法。此外，本文所描述的任何方面可以包括权利要求的至少一个元素。

下面将参照附图描述本发明的各个实施例。

图6示出了根据本发明的一个实施例的均匀高度独立磁盘阵列(UHAID)600的方框示意图。

如图6所示，所述UHAID 600包括多个磁盘601，比如，601-1，601-2，......，601-n，以及分区组成组单元607。

所述多个磁盘600用于存储要采集的数据。所述多个磁盘600可以是写入性能相近的，也可以是写入性能不相近。此外，所述多个磁盘可以被分区为若干分区，例如被分区为相等数目的分区或者数目不等的分区。所述磁盘例如是HDD。所述分区组成组单元607用于按照使得成组后的各分区组的构成分区的写入性能总和之间的最大差值最小的方式，从所述多个磁盘中的各个磁盘或部分磁盘中取出一个或多个分区形成分区组。这里所述的分区组的构成分区的写入性能总和指的是将分区组的各个构成分组的写入性能相加后得到的和，它可以认为是分区组的写入性能。

下面以一个示例来对分区组成组单元607的操作进行说明。例如，假设UHAID阵列600包括两个磁盘sda和sdb，其中sda的写入性能为160～80MB/s，以及sdb的写入性能为80～60MB/s。在进行初始分区时，硬盘sda被分区为两个分区sda1和sda2，其中sda1的写入性能为160～100MB/s，sda2的写入性能为100～80MB/s。硬盘sdb被分区为一个分区。在这种情况下，按照上述分区分组原则，将sda1单独形成为分区组1，而将sda2和sdb形成为分区组2。按照这样的分区，所得到的分区组1的写入性能为160～100MB/s，而分区组2的写入性能是构成分区的写入性能之和，即180～140MB/s。同其它分组方式相比，例如，与sda1、sda2和sdb分别成组相比，这种分组方式所得到的分区组的写入性能之间的最大差值最小。

图7示出了根据本发明的另一实施例的均匀高度独立磁盘阵列(UHAID)700的方框示意图，该实施例是在所述UHAID阵列中的各个磁盘的写入性能都相近并且每个磁盘都被分区为相等数目的分区的情况下发生的。

如图7所示，所述UHAID 700包括多个磁盘701，比如，701-1，701-2，......，701-n，奇偶性确定单元703，磁盘组成组单元705以及分区组成组单元707。

所述多个磁盘700用于存储要采集的数据，其中所述多个磁盘700的写入性能相近，并且被分区为相等数目的分区。所述磁盘例如是HDD。在这种情况下，所述奇偶性确定单元703用于确定所述UHAID 700中所包含的磁盘数的奇偶性。

当所述磁盘数为偶数时，所述磁盘组成组单元705用于基于各磁盘的写入性能，按照使得成组后的各磁盘组的构成磁盘的写入性能总和之间的最大误差最小的方式，以两个磁盘为单位对所述磁盘阵列中的磁盘进行磁盘分组，从而得到各个磁盘组。然后，对于磁盘分组后的各个磁盘组，所述分区组成组单元基于各磁盘组中的各分区的写入性能，按照使得成组后的各分区组的构成分区的写入性能总和之间的最大差值最小的方式，从该磁盘组的各构成磁盘中取出一个分区形成分区组。

在如上对磁盘进行分组时，如何使得成组后的各磁盘组的构成磁盘的写入性能总和之间的最大差值最小，可以利用一个已知算法，例如采用遍历算法，计算各种分组方案下的各磁盘组的写入性能之间的最大差值，然后从中选择最大差值最小的一种分组方案来对磁盘进行分组。

此外，在另一个优选实施例中，在如上进行磁盘分组时，所述磁盘组成组单元可以首先将同型磁盘两两配对形成磁盘组，然后针对剩余磁盘，所述磁盘组成组单元705中的第一排序单元(未示出)按照磁盘的写入性能高低对所述剩余磁盘进行排序。在所述第一排序单元如上完成排序后，所述磁盘组成组单元基于所述第一排序单元的排序结果，按照首尾配对的方式，将所述剩余磁盘两两配对形成磁盘组。以上示出的仅仅是一个示例，还可以采用其它方式进行磁盘分组。

在如上以两个磁盘为单位进行磁盘分组后，所述分区组成组单元707基于各磁盘组中的各分区的写入性能，按照使得成组后的各分区组的构成分区的写入性能总和之间的最大差值最小的方式，从该磁盘组中的各构成磁盘中取出一个分区形成分区组。在一个示例中，所述分区组成组单元707还可以包括第二排序单元(未示出)，用于分别对于各磁盘组中的两个磁盘的分区的写入性能按照高低顺序进行排序。在所述第二排序单元如上完成排序后，所述分区组成组单元707基于所述第二排序单元的排序结果，按照首尾配对的方式，从该磁盘组的两个磁盘中各取出一个分区构成分区组。例如，如果磁盘组包括磁盘A和磁盘B，磁盘A和磁盘B都被分为4个分区A1、A2、A3、A4以及B1、B2、B3和B4，并且磁盘A中分区的写入性能为A1＞A2＞A3＞A 4，以及磁盘B中的分区的写入性能B1＞B2＞B3＞B4，则按照上述分区分组原则，A1和B4构成分组1，A2和B3构成分组2，A3和B2构成分组3，以及A4和B1构成分组4。

如果所述磁盘数为奇数时，则将所有磁盘作为一个磁盘组进行处理。在这种情况下，所述分区组成组单元707用于基于该磁盘组中的各磁盘的各分区的写入性能，按照使得成组后的各分区组的构成分区的写入性能总和之间的最大差值最小的方式，从该磁盘组的各构成磁盘中各取出一个分区形成分区组。例如，在一个示例中，假设磁盘总数为n，n为奇数，并且各个磁盘都被分成n个分区。当按照上述原则进行分区分组时，在每个最终形成的分区组中分区个数为n个，并且每个分区都来自不同的磁盘。另外，每个分区组中的任何元素都不与其它分区组中的元素相同。即分区组Ni＝{i，j，…，k}，其中i，j，…，k是来自不同的磁盘1～n的分区，i，k,....k＝1，......，n。并且每个分区组Ni中的元素与其它分区组的元素都不相同。同样，在对分区进行分组时，如何使得成组后的各分区组的构成分区的写入性能总和之间的最大差值最小，可以利用一个已知算法，例如采用遍历算法，计算各种分组方案下的各分区组的写入性能之间的最大差值，然后从中选择最大差值最小的一种分组方案来对分区进行分组。

这里要说明的是，图7中示出的是在所述UHAID阵列中的各个磁盘的写入性能都相近并且每个磁盘都被分区为相等数目的分区的情况下发生的分区分组。当各个磁盘的写入性能不相近或者每个磁盘的分区数目不等时，将所有磁盘作为一个磁盘组，按照图6中示出的方式处理。

此外，在对磁盘组中的各个磁盘进行分区和格式化时，依据分组配对中两个分区耗时相近的原则，在unit_size＝disk_capacity/N的基础上进行微调。Unit_size(disk划入分区组的分区大小)disk_capacity(单个磁盘的容量)。而且，磁盘组中的各个磁盘被分区为具有相同的分区。

图8示出了根据本发明实施例的网络采集数据处理系统800的一个示例的方框示意图。如图7中所示，网络采集数据处理系统800包括读取单元810、接口集确定单元820、缓存区设置单元830、数据采集单元840、时间戳信息处理单元850、数据存储单元860、UHAID阵列600/700以及输出显示单元870。

所述读取单元810用于读取网络采集数据处理系统中的网络配置信息。所述网络配置信息通过配置文件的方式提供。通常，所述网络配置信息包括采集网口配置信息以及数据采集缓存区大小。所述接口集确定单元820用于根据所述网络配置信息(例如，根据采集网口配置信息)，确定用于数据采集的接口集。所述缓存区设置单元830用于设置用于数据采集的缓存区。所述数据采集单元840用于利用根据所读取的网络配置信息确定的接口集，从网络采集数据。所述数据采集单元840例如是网卡等。

然后，所述时间戳信息处理单元850用于基于所读取的网络配置信息中的用于过滤数据的通信协议，对与所述通信协议匹配的所采集的数据添加时间戳信息。

所述数据存储单元860用于将添加有时间戳信息的所采集的数据，存储到经由所述磁盘分组组合装置处理后的所述均匀高速独立磁盘阵列600或700的各磁盘组的分区组中。在如上进行存储后，在需要进行输出显示时，所述输出显示单元870用于在将添加有时间戳信息的所采集的数据写入到所述磁盘阵列中之后，基于可编程的SDK库以及二进制工具，对所写入的采集数据进行输出显示。所述输出显示单元例如可以是液晶显示器等。例如，可以按照时间戳显示采集数据、按照时间戳显示前预定数目个采集数据、显示特定文件的采集数据或者显示特定时间段内的采集数据。

此外，在一个优选实施例中，如果所述网络采集数据处理系统是多内核设备，则所述网络采集数据处理系统还可以包括绑定单元(未示出)，用于将所述数据采集单元以及数据存储单元分别绑定到不同的内核上。

此外，在一个示例中，所述网络采集数据处理系统还可以包括单个文件容量设置单元(未示出)，用于在完成磁盘组和分区组成组之后，设置单个文件容量；以及文件创建单元(未示出)，用于在设置单个文件容量后，创建文件，其中，所述要存储的采集数据被存储在所创建的文件中。

如上参照图6、图7和图8描述了根据本发明实施例的均匀高速独立磁盘阵列以及具有该均匀高速独立磁盘阵列的网络采集数据处理系统。下面将参照图9到图15B描述根据本发明的网络采集数据处理过程。

图9示出了根据本发明的实施例的网络采集数据处理方法的示例的总体方框图。

如图9所示，首先，在步骤S910，在进行网络数据采集之前，对网络采集数据处理系统进行网络采集配置。在进行网络采集配置后，在步骤S920，进行UHAID阵列配置。然后，在步骤S930，利用数据采集单元，从网络采集数据。在采集到数据后，在步骤S940，将所采集的数据存储在经过UHAID阵列配置后的各磁盘组的分区组中。如果需要输出所存储的数据，则在步骤S850，基于所提供的可编程的SDK库以及二进制工具，对所述UHAID中存储的数据进行UHADI的I/O操作，从而进行输出显示。所述输出显示包括按照时间戳显示采集数据、按照时间戳显示前预定数目个采集数据、显示特定文件的采集数据或者显示特定时间段内的采集数据。

下面参考图10到图14分别针对上述流程中的网络采集配置过程、UHAID阵列配置过程、网络数据采集过程以及基于UHAID的数据存储过程进行详细说明。

图10示出了图9中的网络采集配置过程的流程图。如图10中所示，首先，在步骤S911，网络采集数据处理系统中的读取单元读取网络配置信息。所述网络配置信息通过配置文件的方式提供。通常，所述网络配置信息包括采集网口配置信息以及数据采集缓存区大小。在读取网络配置信息后，在步骤S913，接口集确定单元基于所读取的网络配置信息，确定用于数据采集的接口集。此外，优选地，在所述网络采集数据处理系统是多内核系统的情况下，还可以在步骤S915，分别将用于数据采集的数据采集单元以及用于数据存储的数据存储单元绑定到不同的内核上，并设置不同的独占标识符。然后，在步骤S917，所述缓存器设置单元设置用于数据采集的缓存区，从而增加网络数据采集时处理大量突发数据包的能力。这里要说明的是，在替换实施例的情况下，如果所述网络采集数据处理系统是单核系统，则不需要上述步骤S915。

图11示出了图9中的均匀高速独立磁盘阵列(UHAID)的配置过程的流程图，其是在所述UHAID阵列中的各个磁盘的写入性能都相近并且每个磁盘都被分区为相等数目的分区的情况下进行的。

如图11中所示，首先，在步骤S921中，所述奇偶性确定单元确定所述UHAID阵列中所包含的磁盘数的奇偶性。如果所述磁盘数是偶数，则进行到步骤S923。否则，进行到步骤S925。

在步骤S923，所述磁盘组成组单元705以两个磁盘为单位，按照使得成组后的各磁盘组的构成磁盘的写入性能总和之间的最大差值最小的方式对所述磁盘阵列中的磁盘进行分组。在对磁盘进行分组时，如何使得成组后的各磁盘组的构成磁盘的写入性能总和之间的最大差值最小，可以利用一个已知算法，例如采用遍历算法，计算各种分组方案下的各磁盘组的写入性能之间的最大差值，然后从中选择最大差值最小的一种分组方案来对磁盘进行分组。例如，在一个示例中，当所述磁盘数为偶数时，所述磁盘组成组单元可以首先将同型磁盘两两配对形成磁盘组。然后针对剩余磁盘，按照磁盘的写入性能高低对所述剩余磁盘进行排序。在所述第一排序单元如上完成排序后，基于所述第一排序单元的排序结果，按照首尾配对的方式，将所述剩余磁盘两两配对形成磁盘组。在如上进行磁盘分组后，流程进行到步骤S927。

在步骤S925中，当所述磁盘数为奇数时，将所有磁盘组成一个磁盘组，然后，流程进行到步骤S927。

在步骤S927，针对各个磁盘组，基于该磁盘组中的各磁盘的各分区的写入性能，按照使得成组后的各分区组的构成分组的写入性能总和之间的最大差值最小的方式，从该磁盘组的各构成磁盘中各取出一个分组形成分区组。具体分组方法，可以参照上述针对分区组成组单元进行的描述。

图11中示出的是所述UHAID阵列中的各个磁盘的写入性能都相近并且每个磁盘都被分区为相等数目的分区的情形。如果各个磁盘的写入性能不相近或者每个磁盘的分区数目不等，则将所有磁盘作为一个磁盘组，按照图6中示出的方式处理。

图12A示出了当磁盘数为偶数时进行的配置的一个示例的示意图。图12B示出了当磁盘数为奇数时进行的配置的示意图。在图12A和12B中，各个分区的写入性能随着编号的增加逐渐变低。例如，分区1的写入性能最高，分区n的写入性能最低。

图13示出了图9中的网络数据采集过程的流程图。如图13中所示，首先，在步骤S931中，利用基于所述网络配置信息确定的接口集，数据采集单元从网络采集(捕获)数据。随后，在步骤S933中，基于所述网络配置信息中的用于过滤数据的通信协议，对所采集的数据进行过滤。也就是，判断所采集的数据包是否与所述通信协议匹配。如果匹配，则流程进行到步骤S935。否则，进行到步骤S937。

在步骤S935，将数据头以及时间戳信息添加到所采集的数据包上。如下示出了时间戳数据结构以及数据包头结构。

时间戳数据结构：

数据包头数据结构：

另外，如下示出了在进行时间戳信息添加之前以及之后的数据结构。

原始数据包格式：

添加处理之后，数据格式为：

进行时间戳信息添加之前以及之后的数据结构的示图如下。

原始数据包格式

添加处理后的数据包格式

在步骤S935，丢弃所采集的数据。

图14示出了图9中的基于UHAID的数据存储过程的流程图。如图14所示，在进行数据存储时，首先，在步骤S941中，在所述UHAID中选择可用磁盘组，然后，在步骤S942中，从所选择的可用磁盘组中选择可用于存储数据的分区组并进行存储。在步骤S943中，判断所选择的分区组是否已经写满？如果已经写满，则进行到步骤S944。否则，进行到步骤S946。

在步骤S944中，判断是否存在其它可用分区组？如果存在，则返回到步骤S942进行选择。否则，进行到步骤S945。在步骤S945，确定是否存在其它可用磁盘组？如果存在，则返回到步骤S941进行选择。否则，进行到步骤S949。在步骤S949，显示UHAID已经满载。

在步骤S946，确定要存储的数据长度是否大于所设置的文件设置长度，即，单个文件容量。如果大于所设置的文件设置长度，则进行到步骤S947。否则，进行到步骤S948。在步骤S948，将要存储的数据写入缓存区中，作为单个文件存储。

在步骤S947，创建新的同名文件。例如，原先的文件名是String-1，则新的同名文件是String-2。

图15A和图15B分别示出了根据本发明的网络采集数据功能的性能。从图15A和图15B中可以看出，与图3中示出的希捷Constellation ES硬盘的写入性能相比，UHAID的磁盘阵列能够保持磁盘的I/O性能达到恒定的高吞吐量值，从而达到高密度数据采集的需求。

以上参照图6到图15B对本发明的各个实施例进行了描述。这里要说明的是，对于本领域技术人员显而易见的是，还可以对上述实施例进行下述修改。

1)图9示出的网络采集数据处理方法中的网络配置过程可以在进行根据本发明的网络采集数据处理时已经配置。因此，在替换实施例中，根据本发明的网络采集数据处理方法可以不包括上述网络配置过程。

2)图11中示出的UHAID阵列配置过程可以在进行数据采集之前进行，也可以在数据采集之后但在数据存储之前进行。

3)基于用于过滤数据的通信协议，对所采集的数据进行时间戳信息添加处理是本发明的优选实施例。在替换实施例中，也可以不进行上述时间戳信息添加处理。

4)在本发明的替换实施例中，可以省略图9中示出的网络采集数据处理方法中的输出显示过程。

5)图10中示出的包含用于将数据采集单元和数据存储单元分别绑定到不同CPU并设置不同的独占标识符的步骤的实施例是优选实施例。利用该步骤，可以保证数据采集功能和数据存储功能运行在不同的内核上，从而提高了各自的处理能力。在替换实施例中，在网络采集数据处理系统是单核系统的情况下，也可以省略该步骤。

以上以模块单元的形式对根据本发明的网络采集数据处理系统进行了描述。但是，本领域技术人员要理解的是，本文中描述的各个模块可以利用控制单元来实现。所述控制单元通过执行用于实现上述功能的指令或程序来实现上述各个模块的功能。

此外，根据本发明的方法还可以被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本发明的方法中限定的上述功能。

利用本发明的网络采集数据处理方法及系统，通过利用该均匀高速独立磁盘阵列进行存储，能够为高密度网络数据采集提供持续恒定的高写入速度，并且使得磁盘的I/O性能达到恒定的高吞吐量值，从而达到高密度数据采集的要求，同时由于采用成本较低的HDD，基于该均匀高速独立磁盘阵列的网络采集数据处理系统成本低。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现所述的功能，但是这种实现决定不应被解释为导致脱离本发明的范围。

结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里所述功能的下列部件来实现或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核、或任何其它这种配置。

结合这里的公开所描述的方法或算法的步骤可以直接包含在硬件中、由处理器执行的软件模块中或这两者的组合中。软件模块可以驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域已知的任何其它形式的存储介质中。示例性的存储介质被耦合到处理器，使得处理器能够从该存储介质中读取信息或向该存储介质写入信息。在一个替换方案中，所述存储介质可以与处理器集成在一起。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在用户终端中。在一个替换方案中，处理器和存储介质可以作为分立组件驻留在用户终端中。

在一个或多个示例性设计中，所述功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则可以将所述功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的，该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储设备，或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(DSL)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件，则上述同轴线缆、光纤线缆、双绞线、DSL或诸如红外先、无线电和微波的无线技术均包括在介质的定义。如这里所使用的，磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘、蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。

尽管前面公开的内容示出了本发明的示例性实施例，但是应当注意，在不背离权利要求限定的本发明的范围的前提下，可以进行多种改变和修改。根据这里描述的发明实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明的元素可以以个体形式描述或要求，但是也可以设想多个，除非明确限制为单数。

虽然如上参照图描述了根据本发明的各个实施例进行了描述，但是本领域技术人员应当理解，对上述本发明所提出的各个实施例，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (13)

1.一种均匀高速独立磁盘阵列，包括：

多个磁盘，其中所述各个磁盘被分区为若干个分区；

分区组成组单元，按照使得成组后的各分区组的构成分区的写入性能总和之间的最大差值最小的方式，从所述多个磁盘中的各个磁盘或部分磁盘中取出一个或多个分区形成分区组。

2.如权利要求1所述的均匀高速独立磁盘阵列，其中，在所述各个磁盘的写入性能相近并且被分区为相同数目的分区时，所述均匀高速独立磁盘阵列包括：

奇偶性确定单元，用于确定所述均匀高速独立磁盘阵列中的磁盘数的奇偶性，

在所述磁盘数为偶数时，所述均匀高速独立磁盘阵列还包括：

磁盘组成组单元，用于基于所述各磁盘的写入性能，按照使得成组后的各磁盘组的构成磁盘的写入性能总和之间的最大差值最小的方式，以两个磁盘为单位对所述磁盘阵列中的磁盘进行磁盘分组，以及

对于磁盘分组后的各磁盘组，所述分区组成组单元基于各磁盘组中的各分区的写入性能，按照使得成组后的各分区组的构成分区的写入性能总和之间的最大差值最小的方式，从该磁盘组中的各构成磁盘中取出一个分区形成分区组，

在所述磁盘数为奇数时，所述分区组成组单元按照使得成组后的各分区组的构成分区的写入性能总和之间的最大差值最小的方式，从所述多个磁盘中的各个磁盘中取出一个分区形成分区组。

3.如权利要求2所述的均匀高速独立磁盘阵列，其中，如果所述磁盘数为偶数，则在进行磁盘分组时，

所述磁盘组成组单元首先对同型磁盘两两配对形成磁盘组，以及

所述磁盘组成组单元还包括：

第一排序单元，用于针对所述剩余磁盘，按照磁盘的写入性能高低对所述剩余磁盘进行排序；以及

所述磁盘组成组单元基于所述第一排序单元的排序结果，按照首尾配对的方式，将所述剩余磁盘两两配对形成磁盘组。

4.一种网络采集数据处理系统，包括：

如上1到3中任何一个所述的均匀高速独立磁盘阵列；

数据采集单元，用于利用根据所读取的网络配置信息确定的接口集，从网络采集数据；以及

数据存储单元，用于将所采集的数据，存储到所述均匀高速独立磁盘阵列的各磁盘组的分区组中。

5.如权利要求4所述的网络采集数据处理系统，还包括：

时间戳信息处理单元，用于基于所读取的网络配置信息中的用于过滤数据的通信协议，对与所述通信协议匹配的所采集的数据添加时间戳信息，

其中，所述数据存储单元将添加有时间戳信息的所采集的数据，存储到经由所述磁盘分组组合装置处理后的所述均匀高速独立磁盘阵列的各磁盘组的分区组中。

6.如权利要求4所述的网络采集数据处理系统，还包括：

单个文件容量设置单元，用于在完成分区组成组之后，设置单个文件容量；以及

文件创建单元，用于在设置单个文件容量后，创建文件，

其中，所述要存储的采集数据被存储在所创建的文件中，其中在将添加有时间戳信息的所采集的数据存储到成组后的分区组中时，如果要存储的数据的长度大于所设置的单个文件容量，则所述文件创建单元创建新的同名文件。

7.如权利要求5或6所述的网络采集数据处理系统，还包括：

输出显示单元，用于在将添加有时间戳信息的所采集的数据写入到所述磁盘阵列中之后，基于可编程的SDK库以及二进制工具，对所写入的采集数据进行输出显示。

8.一种基于均匀高速独立磁盘阵列的网络采集数据处理方法，包括：

利用根据所读取的网络配置信息确定的接口集，从网络采集数据；以及

将所采集的数据，存储到根据所述均匀高速独立磁盘阵列的各磁盘中的各分区写入性能分组的分区组中，其中所述均匀高速独立磁盘阵列中的各个磁盘被分区为若干分区，

其中，根据所述均匀高速独立磁盘阵列的各磁盘中的各分区写入性能进行的分区分组包括：

基于各磁盘的分区的写入性能，按照使得成组后的各分区组的构成分区的写入性能总和之间的最大差值最小的方式，从所述均匀高速独立磁盘阵列的各个磁盘或部分磁盘中取出一个或多个分区形成分区组。

9.如权利要求8所述的方法，其中，在所述各个磁盘的写入性能相近并且被分区为相同数目的分区时，在基于各磁盘的分区的写入性能形成分区组的步骤还包括：

确定所述均匀高速磁盘阵列中的磁盘数的奇偶性；

如果所述磁盘数为偶数，则

基于所述各磁盘的写入性能，按照使得成组后的各磁盘组的构成磁盘的写入性能总和之间的最大差值最小的方式，以两个磁盘为单位对所述磁盘阵列中的磁盘进行磁盘分组；以及

对于磁盘分组后的各磁盘组，基于各磁盘组中的各分区的写入性能，按照使得成组后的各分区组的构成分区的写入性能总和之间的最大差值最小的方式，从该磁盘组中的各构成磁盘中取出一个分区形成分区组，以及

如果所述磁盘数为奇数，则按照使得成组后的各分区组的构成分区的写入性能总和之间的最大差值最小的方式，从所述多个磁盘中的各个磁盘中取出一个分区形成分区组。

10.如权利要求9所述的方法，其中，如果所述磁盘数为偶数，则在进行磁盘分组时，

对同型磁盘两两配对形成磁盘组；

针对所述剩余磁盘，按照磁盘的写入性能高低对所述剩余磁盘进行排序；

基于所述第一排序单元的排序结果，按照首尾配对的方式，将所述剩余磁盘两两配对形成磁盘组。

11.如权利要求9所述的方法，其中，在将所采集的数据存储到分组的分区组中之前，还包括：

基于所读取的网络配置信息中的用于过滤数据的通信协议，对与所述通信协议匹配的所采集的数据添加时间戳信息，以及

将添加有时间戳信息的所采集的数据存储到所述分区组中。

12.如权利要求11所述的方法，在完成磁盘组和分区组成组之后，所述方法还包括：

设置单个文件容量，并创建文件，

其中，所述要存储的采集数据被存储在所创建的文件中，其中，在将添加有时间戳信息的所采集的数据存储到成组后的分区组中时，如果要存储的数据的长度大于所设置的单个文件容量，则创建新的同名文件。

13.如权利要求11或12所述的方法，在将添加有时间戳信息的所采集的数据写入到所述磁盘阵列中之后，所述方法还包括：

基于可编程的SDK库以及二进制工具，对所写入的采集数据进行输出显示。

Images