CN107368527B

CN107368527B - 基于数据流的多属性索引方法

Info

Publication number: CN107368527B
Application number: CN201710435965.7A
Authority: CN
Inventors: 程光; 郭春生; 周余阳
Original assignee: Southeast University
Current assignee: Southeast University
Priority date: 2017-06-09
Filing date: 2017-06-09
Publication date: 2020-06-30
Anticipated expiration: 2037-06-09
Also published as: CN107368527A

Abstract

一种基于数据流的多属性索引方法，包括实时数据的存储和查询方法。网络中数据是以数据流形式到达，需要对网络数据进行约减，截取每条网络报文数据的特定长度形成字节流，将字节流按照特定的数据文件大小存储，提取字节流中的源IP、宿IP、源端口、宿端口等属性信息，对源IP、宿IP、源端口、宿端口属性进行组合构造，得到多个属性信息，对多属性信息使用布隆过滤器Bloom Filter算法建立索引文件，每个字节流的多属性信息哈希映射到同一个索引结构中，占用空间小且存储摘要信息多，同时使用三个不同的哈希函数降低哈希冲突率；实时查询时，按多个属性的组合对索引文件进行查找，匹配后再对数据存储文件进行查找，获得详细信息。

Description

基于数据流的多属性索引方法

技术领域

本发明涉及海量数据处理领域，尤其是一种对于海量网络数据的多属性索引建立和查找方法。

背景技术

在关系数据库中，索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构，它是某个表中一列或若干列值得集合和相应的指向表中物理标识这些值得数据页的逻辑指针清单。索引的作用相当于图书的目录，可以根据目录中的页码快速找到所需的内容。随着信息技术的快速发展，社会进入大数据时代，对于海量数据的查找成为研究的热点，大量结构化、非结构化数据需要相应的方法进行查找。目前对于海量数据的查询一般是基于大型数据库的，通过分布式计算技术、表分区技术和查询分解技术来对海量数据进行查询，这种方法主要针对结构化数据；对于非结构化数据的查找一般基于索引技术，通过对数据进行哈希建立索引，按照索引进行查找以减少查找工作量，查找速度较快，目前主流的哈希算法有MD5算法、Bit-Map算法、Bloom Filter算法等，MD5算法是将数据进行运算后得到一个128位的信息摘要，将原有数据压缩，使得索引结构存储空间减小，但信息摘要仍然占用较大的存储空间；Bit-Map算法是将数据映射到BitSet中的某一位上，每条数据对应于一个bit位，索引结构空间极小，但容易出现哈希表冲突，对于查询来说出错的概率较高；布隆过滤器Bloom Filter算法是使用一个m位的BitSet，用k个哈希函数对数据进行哈希，每个哈希函数的取值范围为0到m-1，每个哈希函数将数据映射到BitSet的某一位去，这样BitSet的k个位对应于一个数据，不仅使得索引结构存储空间小，还降低了冲突率，查询效率高。本发明中的海量网络数据就是非结构化数据，因此使用布隆过滤器Bloom Filter算法对数据建立索引，使用三个不同的哈希函数对网络数据建立索引，查找快捷。

目前的索引技术大多是针对数据中的某个属性建立索引的，而对于需要查询数据中更多属性内容的情况，往往需要分别对各个属性建立索引表，索引表较多，而且查找时，需要多次载入不同的索引表，查找过程繁琐，而本发明采用多属性索引方法，将网络数据中的多种属性内容哈希映射到同一个索引表中，查找时，只需要载入一张索引表，就可以查询多个属性内容，简单便捷。

哈希函数就是把任意长度的输入，通过散列算法，变换成固定长度的输出，该输出就是散列值或哈希值。这种转换是一种压缩映射，也就是，哈希值的空间通常远小于输入的空间，不同的输入可能会哈希成相同的输出，而不可能从哈希值来唯一的确定输入值。简单的说就哈希函数是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。

发明内容

本发明提供一种实现分级检索、多属性查找匹配、索引结构简单、占用空间小且查找快速快的基于数据流的多属性索引方法。

本发明采用如下技术方案：

一种基于数据流的多属性索引方法，包括：实时数据的存储方法和实时查询方法，

所述实时数据的存储方法为：

步骤101配置参数，设一文件阈值F，设置一个大小为2N的比特向量B，N为大于1的正整数，比特向量B中的所有2N比特的初始值设置为0，

步骤102创建新空网络数据存储文件及索引文件，所述网络数据存储文件的阈值取为步骤101所设的文件阈值F，

步骤103获取网络报文，截取所获取网络报文的前K个字节的字节流且所述前K个字节的字节流包括源IP、宿IP、源端口、宿端口和网络数据，并从所截取的字节流中提取源IP、宿IP、源端口和宿端口，对源IP、宿IP、源端口和宿端口属性进行组合构造，得到源IP端口属性组合值、宿IP端口属性组合值及四元组属性组合值，K为所截取字节流的字节数并为正整数，

步骤104将哈希值的取值范围选定为0到2N-1，分别对源IP属性、宿IP属性、源IP端口属性组合值、宿IP端口属性组合值及四元组属性组合值进行哈希值计算，得到当前网络报文的源IP属性的哈希值n₁、宿IP属性的哈希值n₂、源IP端口属性组合值的哈希值n₃、宿IP端口属性组合值的哈希值n₄及四元组属性组合值的哈希值n₅，再分别在比特向量B中的第n₁、n₂、n₃、n₄及n₅位上置1，保存并形成当前比特向量B，同时将当前截取的字节流作为一条数据记录，写入网络数据存储文件，保存并形成当前网络数据存储文件，

步骤105如果网络数据存储文件的当前存储量大于网络数据存储文件的阈值，则将当前比特向量B写入索引文件并置于索引文件库中，将当前网络数据存储文件存放于网络数据存储文件库中，然后再清空当前比特向量B，得到初始值为0的比特向量B，返回步骤102；否则，返回步骤103；

所述实时查询方法为：

步骤201配置一个大小为2N的比特向量BC，N为大于1的正整数，比特向量BC中所有2N比特的初始值设置为0，

步骤202获取待查源IP、宿IP、源端口和宿端口属性信息，对待查源IP、宿IP、源端口和宿端口属性进行组合构造，得到待查源IP端口属性组合值、宿IP端口属性组合值及四元组属性组合值，采用步骤104所述的哈希值计算，分别对待查源IP属性、宿IP属性、源IP端口属性组合值、宿IP端口属性组合值及四元组属性组合值进行哈希值计算，得到待查源IP属性的哈希值n′₁、宿IP属性的哈希值n′₂、源IP端口属性组合值的哈希值n′₃、宿IP端口属性组合值的哈希值n′₄及四元组属性组合值的哈希值n′₅，再分别在比特向量BC中的第n′₁、n′₂、n′₃、n′₄及n′₅位上置1，保存并形成当前比特向量BC，

步骤203将当前比特向量BC与索引文件库中的每个索引文件进行逐个匹配，查找出第n′₁、n′₂、n′₃、n′₄及n′₅位位置上为1的索引文件，在根据查到的索引文件，从网络数据存储文件库中查找出相应的网络数据存储文件，进而获得字节流、网络报文。

与现有技术相比，本发明具有如下优点：

(1)本发明中在对网络报文数据建立索引时，先对每条报文数据中的源IP、宿IP、源端口和宿端口属性进行组合构造，再分别对源IP属性、宿IP属性、源IP端口属性组合值、宿IP端口属性组合值及四元组属性组合值使用布隆过滤器Bloom Filter哈希算法建立索引，多个属性的索引值存储在同一个索引结构中，同时每个索引结构中对应多条网络报文数据，索引结构简单，占用空间小，且使用三个不同的哈希函数计算使得哈希冲突率低，而多属性检索时，只需载入一个索引表，即可实现多属性的匹配查询，索引匹配查找快速，有很好的时间和空间效率。

(2)本发明中对数据流结构的网络报文数据采取的是以提取关键信息的方式存储，而不是对报文的全文内容存储，占用存储空间小且存取效率高，能达到实时的存储；其他非全文内容存储的方式中以提取结构化的数据存储到数据库中，而本发明提取到的报文关键信息是非结构化的，以文件的形式存储，处理速率较快，记录了更多有效细节信息；本发明使用Bloom Filter哈希算法对网络报文数据建立索引，实现文件内容的分级检索，检索时先查找索引文件，匹配后再查找数据文件，查询效率高。

(3)本发明将网络数据存储文件按特定文件大小分割，每个文件中报文数据记录一定，多条报文数据使用哈希算法建立索引，同时对多个属性建立索引，放置在同一个索引文件中，索引结构简单，索引内容丰富，占用空间更少，每个数据存储文件中的数据经过哈希建立索引文件，实现了分级检索，查找某个数据时，可以通过某个属性信息去查找，也可以使用多属性信息进行匹配查找，查找更加精准，同时查找时，先去索引文件查找是否存在，若存在之后再去数据存储文件中进行查找，节约了查找时间。

附图说明

为了更清楚的说明本发明实施实例的技术方案，下面对实施实例或现有技术描述中所使用的附图做简单介绍。

图1是基于数据流的多属性索引方法功能流程图。

图2 Bloom Filter算法使用三个不同哈希函数的哈希映射示意图。

具体实施方式

下面结合本发明实施实例中的附图，对本发明实施实例中的技术方案进行清楚、完整地描述，当然所描述的实施实例仅仅是本发明一部分实施实例，而不是全部的实施实例

实施例1：

所述实时数据的存储方法为：

步骤103获取网络报文，截取所获取网络报文的前K个字节的字节流且所述前K个字节的字节流包括源IP、宿IP、源端口、宿端口和网络数据，并从所截取的字节流中提取源IP、宿IP、源端口和宿端口，对源IP、宿IP、源端口和宿端口属性进行组合构造，得到源IP端口属性组合值、宿IP端口属性组合值及四元组属性组合值，K为所截取字节流的字节数并为正整数，本实施例中K取值为64，

步骤104将哈希值的取值范围选定为0到2N-1，分别对源IP属性、宿IP属性、源IP端口属性组合值、宿IP端口属性组合值及四元组属性组合值进行哈希值计算，得到当前网络报文的源IP属性的哈希值n₁、宿IP属性的哈希值n₂、源IP端口属性组合值的哈希值n₃、宿IP端口属性组合值的哈希值n₄及四元组属性组合值的哈希值n₅，再分别在比特向量B中的第n₁、n₂、n₃、n₄及n₅位上置1，保存并形成当前比特向量B，同时将当前截取的字节流作为一条数据记录，写入网络数据存储文件，保存并形成当前网络数据存储文件，所述哈希值计算可以选取1个哈希函数，也可以采用布隆过滤器Bloom Filter哈希算法，选取多个哈希函数，

所述实时查询方法为：

在本实施例中，步骤102所述的网络数据存储文件是以创建时的系统时间为名称的网络数据存储文件，所述的索引文件是以创建时的系统时间为名称的索引文件。

在本实施例中，步骤103中所述的对源IP、宿IP、源端口和宿端口属性进行组合构造的具体方法是：将源IP属性与源端口属性进行组合并将源IP属性置于高位后得到源IP端口属性组合值，同时将宿IP属性与宿端口属性进行组合并将宿IP属性置于高位后得到宿IP端口属性组合值，然后将源IP端口属性组合值与宿IP端口属性组合值进行组合并将源IP端口属性组合值置于高位，得到源IP属性、源端口属性、宿IP属性与宿端口属性的四元组属性组合值。

在本实施例中，步骤202中所述的对待查源IP、宿IP、源端口和宿端口属性进行组合构造的具体方法是：将源IP属性与源端口属性进行组合并将源IP属性置于高位后得到源IP端口属性组合值，同时将宿IP属性与宿端口属性进行组合并将宿IP属性置于高位后得到宿IP端口属性组合值，然后将源IP端口属性组合值与宿IP端口属性组合值进行组合并将源IP端口属性组合值置于高位，得到源IP属性、源端口属性、宿IP属性与宿端口属性的四元组属性组合值。

实施例2：

所述实时数据的存储方法为：

步骤103获取网络报文，截取所获取网络报文的前K个字节的字节流且所述前K个字节的字节流包括源IP、宿IP、源端口、宿端口和网络数据，并从所截取的字节流中提取源IP、宿IP、源端口和宿端口，对源IP、宿IP、源端口和宿端口属性进行组合构造，得到源IP端口属性组合值、宿IP端口属性组合值及四元组属性组合值，K为所截取字节流的字节数并为正整数，K可为64，

步骤104将哈希值的取值范围选定为0到2N-1，分别对源IP属性、宿IP属性、源IP端口属性组合值、宿IP端口属性组合值及四元组属性组合值进行哈希值计算，哈希值计算采用布隆过滤器Bloom Filter算法并采用三个不同的哈希函数Hash1、Hash2及Hash3，分别得到源IP属性的三个哈希值n₁₁、n₁₂、n₁₃，宿IP属性的三个哈希值n₂₁、n₂₂、n₂₃，源IP端口属性组合值的三个哈希值n₃₁、n₃₂、n₃₃，宿IP端口属性组合值的三个哈希值n₄₁、n₄₂、n₄₃及四元组属性组合值的三个哈希值n₅₁、n₅₂、n₅₃，并在比特向量B中的第n₁₁、n₁₂、n₁₃、n₂₁、n₂₂、n₂₃、n₃₁、n₃₂、n₃₃、n₄₁、n₄₂、n₄₃、n₅₁、n₅₂和n₅₃位上均置1，保存并形成当前比特向量B，同时将当前截取的字节流作为一条数据记录，写入网络数据存储文件，保存并形成当前网络数据存储文件，

所述实时查询方法为：

步骤202获取待查源IP、宿IP、源端口和宿端口属性信息，对待查源IP、宿IP、源端口和宿端口属性进行组合构造，得到待查源IP端口属性组合值、宿IP端口属性组合值及四元组属性组合值，采用步骤104所述的哈希值计算，分别对待查源IP属性、宿IP属性、源IP端口属性组合值、宿IP端口属性组合值及四元组属性组合值进行哈希值计算，哈希值计算采用所述的布隆过滤器Bloom Filter算法并采用所述的三个不同的哈希函数Hash1、Hash2及Hash3，分别得到待查源IP属性的三个哈希值n′₁₁、n′₁₂、n′₁₃，宿IP属性的三个哈希值n′₂₁、n′₂₂、n′₂₃，源IP端口属性组合值的三个哈希值n′₃₁、n′₃₂、n′₃₃，宿IP端口属性组合值的三个哈希值n′₄₁、n′₄₂、n′₄₃及四元组属性组合值的三个哈希值n′₅₁、n′₅₂、n′₅₃，并在比特向量BC的第n′₁₁、n′₁₂、n′₁₃、n′₂₁、n′₂₂、n′₂₃、n′₃₁、n′₃₂、n′₃₃、n′₄₁、n′₄₂、n′₄₃、n′₅₁、n′₅₂和n′₅₃位上均置1，保存并形成当前比特向量BC，

步骤203将当前比特向量BC与索引文件库中的每个索引文件进行逐个匹配，查找出第n′₁₁、n′₁₂、n′₁₃、n′₂₁、n′₂₂、n′₂₃、n′₃₁、n′₃₂、n′₃₃、n′₄₁、n′₄₂、n′₄₃、n′₅₁、n′₅₂及n′₅₃位位置上为1的索引文件，在根据查到的索引文件，从网络数据存储文件库中查找出相应的网络数据存储文件，进而获得字节流、网络报文。

在本实施例中，步骤202中所述的对待查源IP、宿IP、源端口和宿端口属性进行组合构造的具体方法是：将源IP属性与源端口属性进行组合并将源IP属性置于高位后得到源IP端口属性组合值，同时将宿IP属性与宿端口属性进行组合并将宿IP属性置于高位后得到宿IP端口属性组合值，然后将源IP端口属性组合值与宿IP端口属性组合值进行组合并将源IP端口属性组合值置于高位，得到源IP属性、源端口属性、宿IP属性与宿端口属性的四元组属性细合值。

Claims

1.一种基于数据流的多属性索引方法，包括：实时数据的存储方法和实时查询方法，其特征在于，

所述实时数据的存储方法为：

所述实时查询方法为：

2.根据权利要求1所述的基于数据流的多属性索引方法，其特征在于，步骤102所述的网络数据存储文件是以创建时的系统时间为名称的网络数据存储文件，所述的索引文件是以创建时的系统时间名称的索引文件。

3.根据权利要求1所述的基于数据流的多属性索引方法，其特征在于，所述步骤103中的对源IP、宿IP、源端口和宿端口属性进行组合构造的具体方法是：将源IP属性与源端口属性进行组合并将源IP属性置于高位后得到源IP端口属性组合值，同时将宿IP属性与宿端口属性进行组合并将宿IP属性置于高位后得到宿IP端口属性组合值，然后将源IP端口属性组合值与宿IP端口属性组合值进行组合并将源IP端口属性组合值置于高位，得到源IP属性、源端口属性、宿IP属性与宿端口属性的四元组属性组合值。

4.根据权利要求1所述的基于数据流的多属性索引方法，其特征在于，所述步骤202中对待查源IP、宿IP、源端口和宿端口属性进行组合构造的具体方法是：将源IP属性与源端口属性进行组合并将源IP属性置于高位后得到源IP端口属性组合值，同时将宿IP属性与宿端口属性进行组合并将宿IP属性置于高位后得到宿IP端口属性组合值，然后将源IP端口属性组合值与宿IP端口属性组合值进行组合并将源IP端口属性组合值置于高位，得到源IP属性、源端口属性、宿IP属性与宿端口属性的四元组属性组合值。

5.根据权利要求1、2、3或4所述的基于数据流的多属性索引方法，其特征在于，步骤104中的哈希值计算采用布隆过滤器Bloom Filter算法并采用三个不同的哈希函数Hash1、Hash2及Hash3，分别得到源IP属性的三个哈希值n₁₁、n₁₂、n₁₃，宿IP属性的三个哈希值n₂₁、n₂₂、n₂₃，源IP端口属性组合值的三个哈希值n₃₁、n₃₂、n₃₃，宿IP端口属性组合值的三个哈希值n₄₁、n₄₂、n₄₃及四元组属性组合值的三个哈希值n₅₁、n₅₂、n₅₃，并在比特向量B中的第n₁₁、n₁₂、n₁₃、n₂₁、n₂₂、n₂₃、n₃₁、n₃₂、n₃₃、n₄₁、n₄₂、n₄₃、n₅₁、n₅₂和n₅₃位上均置1，保存并形成当前比特向量B；步骤202中的哈希值计算采用所述的布隆过滤器Bloom Filter算法并采用所述的三个不同的哈希函数Hash1、Hash2及Hash3，分别得到待查源IP属性的三个哈希值n′₁₁、n′₁₂、n′₁₃，宿IP属性的三个哈希值n′₂₁、n′₂₂、n′₂₃，源IP端口属性组合值的三个哈希值n′₃₁、n′₃₂、n′₃₃，宿IP端口属性组合值的三个哈希值n′₄₁、n′₄₂、n′₄₃及四元组属性组合值的三个哈希值n′_51、n′₅₂、n′₅₃，并在比特向量BC的第n′₁₁、n′₁₂、n′₁₃、n′₂₁、n′₂₂、n′₂₃、n′₃₁、n′₃₂、n′₃₃、n′₄₁、n′₄₂、n′₄₃、n′₅₁、n′₅₂和n′₅₃上均置1，保存并形成当前比特向量BC。

6.根据权利要求5所述的基于数据流的多属性索引方法，其特征在于，K取值为64。