CN105574076B - 一种基于Bloom Filter的键值对存储结构及方法 - Google Patents

Abstract

本发明公开了一种基于Bloom Filter的键值对存储结构及方法，存储结构包括k个不相同的哈希函数和m个用于存储value的存储单元；所述m个存储单元被分配成k个不同的块，每个块有m/k个单元；每一个单元带有L层，每一层有B个比特位。本发明在数据库交互查询、高速网络中资源定位、计算机网络监控等产生大量数据、需要进行键值对查询的应用领域，可以大大减少集合查询的时间，降低资源消耗。

Description

一种基于Bloom Filter的键值对存储结构及方法

技术领域

本发明涉及计算机网络领域和计算机系统存储领域,特别是特别是高性能、高吞吐量的交互查询的应用领域，具体是一种基于Bloom Filter的键值对存储结构及方法。

背景技术

近年来，随着计算机的飞速发展，数据库，网络和其他应用中的集合规模呈几何增长。存储和查询键值(key，value)对是计算机系统中常见的任务，这就需要设计对应的键值对存储数据结构支持快速的键值对查询。键值对操作经常出现在网络和存储系统中，如key-value数据库MongoDB，CouchDB。每个放入到键值对存储系统中的唯一键(key)都对应一个value，例如(3，5)是一个键key为3，值value为5的键值对，将(3,5)存储到键值对存储系统后，可以通过查询键(key)为3，得到值(value)为5。

键值对操作通常包含下面四种操作：1、Query(key)：对于指定键(key)，查找对应的值(value)。2、Insert(key,value)：将(key,value)键值对存入对应的键值对存储系统中。3、Delete(key,value)：在对应的键值对存储系统中删除对应的键值对(key，value)。4、Update(key,newValue)：将key对应的键值由value改为newValue。

设计一个高效的键值对存储结构带来了很大挑战。如，在传统计算机网络中，使用<源IP，目的IP，源端口，目的端口，协议号>一共104比特的5元组来标识一条流，每一条TCP流都会有对应的状态，如果将流的5元组作为键值对的key，将TCP流对应的状态作为value组成键值对(key,value)。如果采用线性结构进行网络流状态存储，并且直接将(key和value)作为元组直接存入。存储key(对应104个bit)需要大量的空间，而且在查找对应key的value的时候会消耗大量的时间，因此在高速计算机网络中，如何高效的存储这些信息，快速的查询对应流(key)的状态(value)成为挑战。

Bloom Filter是一种能够表示集合、支持集合查询的简洁数据结构，它能够有效的表示数据集合。Bloom Filter结构实质是将集合中元素通过k个哈希函数映射到位向量中。Bloom Filter在达到其高效表示集合的同时，进行元素查询时却存在一定的假阳性错误，而不存在假阴性错误。虽然Bloom Filter结构在元素查询时存在少量错误，但是由于它对存储空间的高效性，使得该数据结构自1970年由B.Bloom提出以来得到了比较广泛的应用。

但是传统的Bloom Filter仅仅只能支持元素是否存在与否的从属查询。如果元素为key，那么只能支持key存在与否的从属查询，而无法支持(key,value)操作。因为bloomfilter无法直接存储value，因此并不能支持键值对的上述四种操作。要使得Bloom Filter支持键值对的基本操作，必须要改进传统的Bloom Filter，设计新的Bloom filter结构，使得Bloom Filter能够支持键值对的基本操作。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种基于Bloom Filter的键值对存储结构及方法，大大减少集合查询的时间，降低资源消耗。

为解决上述技术问题，本发明所采用的技术方案是：一种基于Bloom Filter的键值对存储结构，包括k个不相同的哈希函数和m个用于存储value的存储单元(哈希函数用来映射到存储单元中的位置)；所述m个存储单元被分配成k个不同的块，每个块有m/k个单元；每一个单元带有L层，每一层有B个比特位(后文中简称为statusbf)。

本发明还提供了一种利用上述结构实现键值对操作的方法，包括步骤：

1)当要插入一个键值对(key,value)时，将value进行编码，编码后表示为V₀V₁V₂……V_B-1；其中V_i表示编码后的第i位，0≤i＜B；接着对key使用k个哈希函数h₁h₂……h_k，确定k个不同的位置h₀(key)h₁(key)……h_k-1(key)，然后对这k个不同位置的单元进行加操作，将value值插入；对于每个单元的第一个位将输入的value编码后对应的比特位V_j作为对应位的输入，0≤j＜B；对于其它层使用该层的上一层的进位位作为该层的输入，每一层的每一个位最终结果等于当前层每一个位的本位和；

2)当要删除一个键值对(key,value)时，将value进行编码，编码后表示为V₀V₁V₂……V_B-1；其中V_i表示编码后的第i位，0≤i＜B；接着对key使用k个哈希函数h₁h₂……h_k，确定k个不同的位置h₀(key)h₁(key)……h_k-1(key)，然后对这k个不同位置的单元进行减操作，将value值删除；对于每个单元的第一个位将输入的value编码后对应的比特位V_j作为对应位的输入，0≤j＜B；对于其它层使用该层的上一层的进位位作为该层的输入，每一层的每一个位最终结果等于当前层每一个位的本位差；

3)要查询一个键值key时，对k个不同位置h₀(key)h₁(key)……h_k-1(key)的单元进行查询操作，对于k个位置的每个单元，对每一个位S_i的每一层进行或操作，即然后通过所有位得到第k个单元查询结果T_i＝S₀S₁……S_B-1，1≤i≤k；最终查询结果Q等于每个单位的与操作，即Q＝T₁∧T₂……∧T_K；

4)要将一个键值为key更新为newValue时,首先查询键值为key的value，然后重复步骤2)，删除(key，newValue)，最后重复步骤1)，插入(key,newValue)。

与现有技术相比，本发明所具有的有益效果为：本发明在数据库交互查询、高速网络中资源定位、计算机网络监控等产生大量数据、需要进行键值对查询的应用领域，可以大大减少集合查询的时间，降低资源消耗。

附图说明

图1是改进的键值对Bloom Filter结构，其中m表示所有单元的个数，k表示哈希函数的个数，L表示每个单元的层数，B表示数据的位数。

图2是插入操作示意图。其中表示的是第i个块，第j个单元的第p层在进行插入前的值，表示的是第i个块，第j个单元的第p层在进行插入后的值，表示的是第i个块，第j个单元的第p层的进位位。对于每一层，类似于加法器我们有：

图3是删除操作示意图。其中表示的是第i个块，第j个单元的第p层在进行删除前的值，表示的是第i个块，第j个单元的第p层在进行删除后的值，表示的是第i个块，第j个单元的第p层的借位位。对于每一层，类似于减法器我们有：

图4(a)、图4(b)、图4(c)是插入操作示意图，分别插入键值对(f1,0001),(f2,0010),(f3,0001)，图4(d)、图4(f)是查询操作示意图，分别查询键值为f1,f3的值，图4(e)是删除操作示意图删除(f1,0001)。

图5实施环境数据详细信息，包含数据来源，数据时间，包大小，最大并发流个数，本实施例与最近几年研究成果进行了对比，其中包括，sBF是2006年sigcomm中的论文”Beyond Bloom Filters:From Approximate Membership Checks to Approximate StateMachines”提出的一种基于Bloom Filter的键值对查询算法，该算法在Bloom Filter的基础上将单元保存着数值，和计数器，如果有不同的值映射到相同的位置，就把存有不同值位置的值置为未知；kBF是2014年infocom中的论文“kBF:a Bloom Filter for Key-ValueStorage with an Application on Approximate State Machines”提出的一种基于BloomFilter的键值对查询算法，该算法将value值进行编码后，对每一个映射到的单元进行异或，最后查询时将所有映射到的单元进行整体解码。

图6(a)～图6(d)是固定Bloom Filter的长度m，在不同哈希函数个数下，使用三种不同算法stateBF与sBF和kBF，对于数据集1、2、3、4在假阳性误判率性能上的比较(假阳性是指查询的键key不存在于集合内，但查询结果显示键key存在，并且有对应的值value)。数据结果显示在所有的数据集下，我们所提出的算法stateBF的假阳性最小。其中在第一个数据集和第二个数据集下，由于第一个数据集和第二个数据集是日本和美国之间的流量数据集，因此TCP连接状态变化的很快，因此在相同位置映射不同的值使得这个位置变成未知的sbf算法的误判率就会很高，而在第三个和第四个数据集的情况下，是学校出口链路流量数据集，TCP连接状态变化相对较少，在相同位置如果映射同一种value值就会无法解码的kbf算法的误判率就会相对较高。

图7(a)～图7(d)是固定Bloom Filter的长度m，在不同哈希函数个数下，使用三种不同算法stateBF与sBF和kBF，对于数据集1、2、3、4在假阴性误判率性能上的比较(假阴性是指查询的键key真实存在于集合内，但使用算法查询键key得到对应的值value与真实的值value不相同)。数据结果显示在所有的数据集下，我们所提出的算法stateBF的假阴性最小。同理，第一个数据集和第二个数据集是日本和美国之间的数据集，因此TCP连接状态变化的很快，因此在相同位置映射不同的值使得这个位置变成未知的sbf算法的假阴性率就会很高，而在第三个和第四个数据集的情况下，是学校之间的数据集，TCP连接状态变化相对较少，在相同位置如果映射同一种value值就会无法解码的kbf算法的假阴性就会相对较高。

具体实施方式

本实施中bloom filter结构对应的参数为：m＝24，k＝3，L＝3，B＝4。即一共有3个哈希函数，24个单元，每单元有3层，每层有4个比特。图4(a)—(e)包含有插入，删除，查询操作示意图。

插入操作Insert(key,value)过程：当要插入一个键值对(key,value)时，将value进行编码，编码后表示为V₀V₁V₂……V_B-1(其中V_i(0≤i＜B)表示编码后的第i位)。接着对key使用k个哈希函数h₁h₂……h_k，确定k个不同的位置h₀(key)h₁(key)……h_k-1(key)，然后对这k个不同位置(h₀(key)h₁(key)……h_k-1(key))的单元进行加操作，将value值插入。对于每个单元的每一个位(第i层(0≤i＜L)第j个(0≤j＜B)位，记为)，相当于是一个半加器，对于第一层输入的value编码后对应的比特位(V_j(0≤j＜B))作为对应位的输入，对于其它层使用它的上一层的进位位(第i层(0≤i＜L)第j个(0≤j＜B)的进位位记为)作为它的输入，每一层的每一个位最终结果等于当前层每一个位的本位和。即

图4(a)是插入键值对(f1,0001)，首先使用3个不同哈希函数，哈希到3个不同的位置，然后分别对哈希到的单元，使用加操作，完成插入操作，即对每一层的每一个比特位看成加法器，第1层的输入是0001，其他层的输入是上一层的输出。图4(b)、图4(c)同理，是进行(f2,0010),(f3,0001)键值对的插入。

查询操作Query(key)过程：当要查询一个键值key时。首先对key使用k个哈希函数h₀h₁……h_k-1，确定k个不同的位置h₀(key)h₁(key)……h_k-1(key)，然后对这k个不同位置(h₀(key)h₁(key)……h_k-1(key))的单元进行查询操作。对于k个位置(h₀(key)h₁(key)……h_k-1(key))的每个单元，我们对每一个位(记为S_i)的每一层进行或操作然后通过所有位得到第k个单元查询结果T_i＝S₀S₁……S_B-1(1≤i≤k)。最终查询结果等于每个单位的与操作，即Q＝T₁∧T₂……∧T_K。

图4(d)是查询键值为f1的值，首先使用3个哈希函数，哈希到三个不同的单元，对每一个单元使用或操作得到对应的值，图中第一个单元得到0001，第二个单元得到0011，第三个单元得到0001，最后将3个结果使用与操作得到最终结果0001，于是查询key的value结果为0001。同理4(f)是查询key为f3得到结果为0001的示意图。

删除操作Delete(key,value)过程：首先将value进行编码，编码后表示为V₀V₁V₂……V_B-1(其中V_i(0≤i＜B)表示编码后的第i位)。接着对key使用k个哈希函数h₀h₁……h_k-1，确定k个不同的位置h₀(key)h₁(key)……h_k-1(key)，然后对这k个不同位置(h₀(key)h₁(key)……h_k-1(key))的单元进行减操作，将value值删除。对于每个单元的每一个位(第i层(0≤i＜L)第j个(0≤j＜B)位，记为)，相当于是一个半减器，对于第一层输入的value编码后对应的比特位(V_j(0≤j＜B))作为对应位的输入，对于其它层使用它的上一层的借位位(第i层(0≤i＜L)第j个(0≤j＜B)的借位位记为)作为它的输入，每一层的每一个位最终结果等于当前层每一个位的本位差。即

图4(e)是是删除键值对(f1,0001)，首先使用3个不同哈希函数，哈希到3个不同的位置，然后分别对哈希到的单元，使用减操作，完成插入操作，即对每一层的每一个比特位看成加法器，第1层的输入是0001，其他层的输入是上一层的输出。结果如图所示。

更新操作Update(key，newValue)过程：对于我们要将一个键值为key更新为newValue时,首先查询键值为key的value，然后使用(2)操作，删除(key，value)，最后在使用(1)操作，插入(key,newValue)。

本实施例是键值对Bloom Filter，在一个高速网络中的对TCP流量状态的监控中的实际应用，用来存储和查询所有TCP流的状态。对于一条TCP流，将<源IP，目的IP，源端口，目的端口，协议号>作为键(key)，将TCP流的三个标志位(ACK，RST，FIN)的所有可能(8种)作为value，由于所有可能状态为8个，编码后将B设置为8，即表示每一层有8个位。对于每一条新到来的流，首先使用查询Query(key)功能，查询新到来的流的当前状态，如果存在这条流，则使用更新操作Update(key,value)，更新这条流的状态信息，如果这条流不存在则使用插入操作Insert(key,value)插入这条流的状态信息，如果这条流的FIN位为1，则使用删除Delete(key,value)删除这条流对应的状态信息。为了验证实施方案的性能，我们使用真实数据(MAWI以及校园网出口数据)来进行实验，数据详细信息如图5所示。

实施结果如图6(a)～图6(d)，图7(a)～图7(d)所示。在图6(a)～图6(d)，图7(a)～图7(d)中，我们算法的结果由stateBF所示，另外sBF和kBF是当前改进bloom filter所使用的两种不同算法。图6(a)～图6(d)是固定长度m，在不同哈希函数个数下，stateBF与sBF和kBF在假阳性误判率性能上的比较,数据结果显示在所有的数据集下，我们所提出的算法stateBF的假阳性最小。图7(a)～图7(d)是固定长度m，在不同哈希函数个数下，stateBF与sBF和kBF前两种不同算法在假阴性误判率性能上的比较，数据结果显示在所有的数据集下，我们所提出的算法stateBF的假阴性最小。

Claims (1)

1.一种基于Bloom Filter的键值对存储结构，其特征在于，包括k个不相同的哈希函数和m个用于存储value的存储单元；所述m个存储单元被分配成k个不同的块，每个块有m/k个单元；

每一个单元带有L层，每一层有B个比特位；

并包括以下操作：

1)插入操作：当要插入一个键值对(key,value)时，将value进行编码，编码后表示为V₀V₁V₂......V_B-1；其中V_i表示编码后的第i位，0≤i＜B；接着对key使用k个哈希函数h₁h₂……h_k，确定k个不同的位置h₀(hey)h₁(key)......h_k-1(key)，然后对这k个不同位置的单元进行加操作，将value值插入；对于每个单元的第一个位将输入的value编码后对应的比特位V_j作为对应位的输入，0≤j＜B；对于其它层使用该层的上一层的进位位作为该层的输入，每一层的每一个位最终结果等于当前层每一个位的本位和；

2)删除操作：当要删除一个键值对(key,value)时，将value进行编码，编码后表示为V₀V₁V₂......V_B-1；其中V_i表示编码后的第i位，0≤i＜B；接着对key使用k个哈希函数h₁h₂......h_k，确定k个不同的位置h₀(key)h₁(key)......h_k-1(key)，然后对这k个不同位置的单元进行减操作，将value值删除；对于每个单元的第一个位将输入的value编码后对应的比特位V_j作为对应位的输入，0≤j＜B；对于其它层使用该层的上一层的借位位作为该层的输入，每一层的每一个位最终结果等于当前层每一个位的本位差；

3)查询操作：要查询一个键值key时，对k个不同位置h₀(key)h₁(key)......h_k-1(key)的单元进行查询操作，对于k个位置的每个单元，对每一个位S_i的每一层进行或操作，即然后通过所有位得到第k个单元查询结果T_i＝S₀S₁......S_B-1，1≤i≤k；最终查询结果Q等于每个单位的与操作，即Q＝T₁∧T₂......∧T_K；

4)更新操作：要将一个键值为key对应的value更新为newValue时,首先查询键值为key的value，然后重复步骤2)，删除(key，newValue)，最后重复步骤1)，插入(key,newValue)。