CN100487704C - 一种可扩展的布鲁姆过滤器查询方法及其元素插入方法 - Google Patents

Abstract

本发明提供一种可扩展布鲁姆过滤器(Scalable Bloom filter)查询方法，在数据集元素个数增长的情况下，通过添加长度成倍增长过滤器向量来保持很低的误判率，并给出了一种可扩展布鲁姆过滤器查询方法的元素插入方法。实验表明，可扩展布鲁姆过滤器的元素查询误判率永远小于动态布鲁姆过滤器，可以控制查询误判率在1%，在3.0GHz的CPU机器中，一次元素查询时间仅20μs，比DBF查询速度快很多倍。本发明在现有的布鲁姆过滤器应用领域都可以适应，由于支持集合的动态扩展，因此比现有的布鲁姆过滤器具有更加广泛的应用前景。

Description

一种可扩展的布鲁姆过滤器查询方法及其元素插入方法

技术领域

本发明是涉及分布式计算技术领域，特别是涉及分布式系统产生大量数据、需要进行交互查询的应用，具体是一种可扩展布鲁姆过滤器查询方法及其元素插入方法。

背景技术

随着计算技术和因特网的高速发展，数据量不断加大，网络的异构性和复杂性不断增加，日趋多样化和复杂化的计算机环境，需要在形式、规模、功能和性能等多个层次展开计算系统的可扩展性研究。存储系统的可扩展性是当前计算机研究的热点。布鲁姆过滤器对数据集合采用一个位串表示并能有效支持元素的哈希查找，是一种能够表示集合、支持集合查询的简洁数据结构。面对不断发展的计算机和网络环境，数据膨胀时，研究可扩展的布鲁姆过滤结构支持动态集合查询成为布鲁姆过滤器在分布式系统应用中迫切需要解决的问题。

布鲁姆过滤器(Bloom Filter)对数据集合采用一个位串表示并能有效支持集合元素的哈希查找，是一种能够表示集合、支持集合查询的简洁数据结构，它能够有效的过滤掉不属于集合的元素，因其是由B.Bloom提出的而称为布鲁姆过滤器(Bloom Filter)。由于其哈希查找的常数时间和存储空间开销较小，从而使它具有很好的实用价值。

布鲁姆过滤器自1970年提出以来，被广泛应用到各种计算机系统中，以提高庞大数据集的查找效率。早期的应用主要集中在数据库操作和字典查询操作。最近，随着网络研究的发展以及新的覆盖网和P2P网络应用技术的涌现，布鲁姆过滤器已经越来越广泛的应用于网络中，例如：覆盖网和P2P网节点协作交互、资源路由、数据帧路由标签、网络测量管理、网络安全等。

目前布鲁姆过滤器查询算法主要有：标准的布鲁姆过滤器算法，计数器布鲁姆过滤器算法，压缩布鲁姆过滤器算法，Spectral布鲁姆过滤器算法，拆分型布鲁姆过滤器查询算法，动态布鲁姆过滤器算法和分档布鲁姆过滤器算法。

目前的布鲁姆过滤器算法大都忽略了布鲁姆过滤器可扩展性问题。现有的布鲁姆过滤器大多是用固定的过滤器设计参数来表示固定的静态集合，根据固定的集合元素规模和其在实际应用中所能容忍的最大误判概率，确定其运算时哈希函数个数和过滤器向量的长度。因此，当集合变大时，以往大多数布鲁姆过滤器的设计可能导致不能容忍的查询误判概率，误判率迅速增长到1。

布鲁姆过滤器可扩展性主要是当集合元素动态增长超出过滤器设计的容量时，如何调整布鲁姆过滤器参数，使得布鲁姆过滤器有较低的查询误判率，同时具有可接受的计算性能，保证过滤器的可用性。就目前的算法来说，拆分型布鲁姆过滤器(Split Bloom filter)和动态布鲁姆过滤器(Dynamic Bloomfilter，DBF)都企图通过将过滤器的位向量转换为由多个位向量组成的矩阵来解决可扩展性问题，这两种方法都是通过添加同样大小的布鲁姆过滤器向量来适应集合规模的增长。虽然这两种方法可以有效的缓解由于集合规模的增长而导致的标准布鲁姆过滤器误判率迅速攀升。但是，这种线性扩展向量的方法在实际使用时，随着元素个数增加，向量个数快速攀升，误判率增长速度快，缓解程度有限。同时，此类方法的查询时间复杂度较高，查询的时间复杂度仍有改进的空间。

发明内容

本发明要解决的技术问题是，针对现有技术存在的缺陷，提出一种可扩展的布鲁姆过滤器(Scalable Bloom filter，简称SBF)查询方法及其元素插入方法。当集合元素不断增长时，通过不断增加长度成倍增长的布鲁姆过滤器向量来调整查询误判率。并以此为基础，给出了新的可扩展布鲁姆过滤器的元素的插入、查询方法。本发明提出的可扩展布鲁姆过滤器支持集合规模的扩张，在现有的布鲁姆过滤器应用领域都可以适应，如分布式计算、计算机网络资源定位、数据库的交互查询、P2P网络资源交互、传感器网络信息交换、计算机网络监测、计算机缓存系统设计等产生大量数据、需要进行交互查询的应用领域。本发明尤其适用于集合动态膨胀的应用场合，具有十分广泛的应用前景。

本发明的解决方案是：一种可扩展布鲁姆过滤器(Scalable Bloom filter：以下简称SBF)查询方法，该方法为：

1)布鲁姆过滤器的扩展：当可扩展布鲁姆过滤器SBF所表示的集合元素增长超过可扩展布鲁姆过滤器容量限制时，添加一个长度为前一个可扩展布鲁姆过滤器向量的2倍的向量，即添加了可扩展布鲁姆过滤器向量的向量长度m_i＝2m_i-1，此时添加了可扩展布鲁姆过滤器向量的向量容量限制也为前一个向量容量限制的2倍，即n_i＝2n_i-1；

2)可扩展布鲁姆过滤器元素查询步骤：

第一步：利用SBF查询元素x是否在集合S中，令j＝i；

第二步：通过k个哈希函数计算x在SBF_j的k个映射位，检查所有位是否都为1；

第三步：所述结果为是时，元素x是SBF_j表示的元素，x在集合S中，返回True；

第四步：所述结果为否时，元素x不是SBF_j表示的元素，需要继续检查x是否为SBF_j-1表示的元素，j←j-1，转到第二步持续检查x是否为当前向量SBF_j直至j＝-1。

本发明还包括一种可扩展布鲁姆过滤器的元素插入方法，若c为SBF已经表示的元素个数，则可扩展布鲁姆过滤器查询算法SBF的元素插入流程为：第一步，新元素x插入SBF时，首先检查 $c\≥\underset{j=0}{\overset{i}{\mathrm{\Σ}}}{n}_j$ 成不成立；

第二步，如果步骤1中式成立，创建新的过滤器向量SBF_i+1，通过k个哈希函数计算x在SBF_i+1的k个映射位，并置位，将x插入到SBF_i+1中，c←c+1，i←i+1；

第三步，如果步骤1中式不成立，通过k个哈希函数计算x在SBF_i的k个映射位，并置位，将x插入到当前过滤器向量SBF_i中，c←c+1。

本发明提供的所述可扩展布鲁姆过滤器基本原理为：可扩展布鲁姆过滤器SBF扩展流程为：

1.初始化标准布鲁姆过滤器BF＝{n，m，k}，指定可以容忍的误判率上限f₀，将BF作为可扩展布鲁姆过滤器的第一个过滤器向量SBF₀；

2.根据式

$n_0=-\frac{\ln (1-e^{\ln f_0/k})\·m}{k}---\left(1\right)$

计算SBF₀中最大可以表示的元素个数n₀，即SBF₀的容量限制，使误判率f≤f₀；

3.当集合扩展到元素个数n>n₀，在SBF中添加新的长度为m₁＝2×m过滤器向量SBF₁；

4.当集合扩展到n>3n₀，添加长度为m₂＝4×m的过滤器向量SBF₂到SBF中；

5.集合规模n>(2ⁱ-1)n₀，SBF进行第i次扩展，添加长度m_i＝2ⁱ×m的过滤器向量SBF_i。

在i轮扩展后，可扩展布鲁姆过滤器SBF能够表示的集合规模为

(2ⁱ⁺¹-1)n₀。                                             (2)

上述式(2)证明如下：假设可扩展的布鲁姆过滤器SBF包含的过滤器向量序列为{SBF₀，SBF₁，SBF₂，...，SBF_i，...}，向量长度为m₀＝m，m₁，m₂，...，m_i，...，每个向量可以表示的最多元素个数为n₀，n₁，n₂，...，n_i，...，那么i轮扩展后，SBF能够表示的最大集合规模为n_{i_max}。

SBF第一轮扩展时，长度为2×m的过滤器向量SBF₁加到SBF中。为了使SBF₁的误判率f≤f₀，通过式(1)，可以计算出SBF₁最多能表示的元素个数n₁：

$n_1=-\frac{\ln (1-e^{\ln f_0/k})\·m_1}{k}=-\frac{\ln (1-e^{\ln f_0/k})\·2m}{k}={2n}_0.---\left(3\right)$

SBF算法i轮扩展时，类似于第一轮扩展的推导，可以直接计算出SBF_i向量能够表示的最多元素个数n_i：

$n_1=-\frac{\ln (1-e^{\ln f_0/k})\·m_i}{k}=-\frac{\ln (1-e^{\ln f_0/k})\·2^{i}m}{k}={2^{i}n}_0.---\left(4\right)$

可扩展布鲁姆过滤器经过i轮扩展后，SBF能够最多表示的元素个数为各个向量最多表示的元素个数之和。即：

n_{i_max}＝n₀+n₁+L+n_i＝n₀+2n₀+L+2ⁱn₀＝(2ⁱ⁺¹-1)n₀.             (5)

由上可知，可扩展布鲁姆过滤器SBF当元素增长超过过滤器容量限制时，就产生一个新的长度为前一个布鲁姆过滤器向量的2倍的向量，即新向量长度m_i＝2m_i-1，此时新向量容量限制也为前一个向量容量限制的2倍，即n_i＝2n_i-1。所以虽然布鲁姆过滤器向量长度扩展按指数增长，但是，其可容纳的元素个数也按指数增长，这样一来，扩展次数减少，弥补了向量高速扩展的缺陷。

本发明提供所述可扩展布鲁姆过滤器元素插入方法为：

令c为SBF已经表示的元素个数，则可扩展布鲁姆过滤器查询算法SBF的元素插入流程为：

1.新元素x插入SBF时，首先检查 $c\≥\underset{j=0}{\overset{i}{\mathrm{\Σ}}}{n}_j?$

2.是，创建新的过滤器向量SBF_i+1，通过k个哈希函数计算x在SBF_i+1的k个映射位，并置位，将x插入到SBF_i+1中，c←c+1，i←i+1。

3.否，通过k个哈希函数计算x在SBF_i的k个映射位，并置位，将x插入到当前过滤器向量SBF_i中，c←c+1。

表示规模为n的动态集合时，SBF需要扩展i轮，包括L个过滤器向量，最后一个向量SBF_i表示的元素个数为t个，需要存储总空间为M_SBF位，产生的查询误判率为f^SBF，其中：

和

证明如下：假设SBF的初始过滤器向量为BF＝{n，m，k}。那么经过i轮扩展后，SBF包含的过滤器向量序列的长度变化过程为：

m₀＝m→m₁＝2m₀→m₂＝2m₁L→m_i＝2m_i-1

随着过滤器向量长度扩展，每个过滤器容量限制从n₀到n_i的变化过程为：

n₀→n₁＝2n₀→n₂＝2n₁L→n_i＝2n_i-1

假设规模为n的动态集合用SBF表示需要扩展i轮。根据式(5)，可以得到下面关系：

(2ⁱ-1)n₀＝n_{i-1_max}<n≤n_{i_max}＝(2ⁱ⁺¹-1)n₀                   (10)

直接计算式(10)，扩展轮数i为：

log₂(n/n₀+1)-1≤i<log₂(n/n₀+1)

因为扩展轮数i应为整数，式(6)得证。

很明显，扩展i轮后，使用可扩展布鲁姆过滤表示n个元素，需要的过滤器向量个数为

SBF需要的空间M_SBF应为各个过滤器向量SBF_j(0≤j≤i)空间之和：

M_SBF＝m₀+m₁+L+m_i＝m+2m+4m+L 2ⁱm＝m(2ⁱ⁺¹-1)             (11)

用式(6)中

代入式(11)，式(8)可证。

可扩展布鲁姆过滤器SBF中前i个向量SBF_j可以容纳的元素个数为2^jn₀(0≤j≤i-1)，所以前i个过滤器发生查询误判率为：

$f^{\mathrm{BF}}(m_j,k,n_j)={(1-e^{-k\left(2^j{n}_0\right)/\left(2^{j}m\right)})}^k={(1-e^{-k{n}_0/m})}^k=f^{\mathrm{BF}}(m,k,n_0).---\left(12\right)$

从式(12)中发现前i个过滤器的查询误判率完全相同，最后一个过滤器向量表示的元素个数t为：

最后一个过滤器发生查询误判率为：

$f^{\mathrm{BF}}(m_i,k,t)={(1-e^{-\mathrm{kt}/m_i})}^k.---\left(13\right)$

显然，可扩展布鲁姆过滤器可能产生的误判率为：

$f^{\mathrm{SBF}}(m,k,n_0,n)=1-\underset{j=0}{\overset{j=i-1}{\mathrm{\&Pi;}}}(1-f^{\mathrm{BF}}(m_j,k,n_j))(1-f^{\mathrm{BF}}(m_i,k,t))---\left(14\right)$

由式(12)f^BF(m_j，k，n_j)＝f^BF(m，k，n₀)和式(6)

可扩展布鲁姆过滤器SBF误判率能直接计算为式(9)。

本发明所述可扩展布鲁姆过滤器元素查询方法的工作原理如下所述：可扩展布鲁姆过滤器元素查询流程包括：

1.利用SBF查询元素x是否在集合S中，令j＝i；

2.通过k个哈希函数计算x在SBF_j的k个映射位，检查所有位是否都为1？

3.是。元素x是SBF_j表示的元素，x在集合S中，返回True；

4.否。元素x不是SBF_j表示的元素，需要继续检查x是否为SBF_j-1表示的元素，j←j-1，转到步骤2持续检查x是否为当前向量SBF_j直至j＝-1。

综上所述，本发明主要针对布鲁姆过滤器可扩展性问题，提出了一种有效的可扩展布鲁姆过滤器(Scalable Bloom filter)查询方法和元素插入方法。本发明在数据集元素个数增长的情况下，通过添加长度成倍增长过滤器向量来保持很低的误判率。

因为目前仅存在拆分和动态两种支持集合扩展的布鲁姆过滤器查询方法，而且两个思路十分类似，因此下述部分从三个方面将本发明直接和动态布鲁姆过滤器(DBF)算法进行比较：

1)误判率：

假设可扩展布鲁姆过滤器SBF和动态布鲁姆过滤器DBF的最初过滤器向量相同都是BF，f^SBF和f^DBF分别表示两方法的查询误判率。当集合扩展到规模为N时，二者的关系为：

$\underset{N\&RightArrow;+\&infin;}{\lim }\frac{1-f^{\mathrm{DBF}}}{1-f^{\mathrm{SBF}}}=0---\left(15\right)$

式(15)证明如下：动态布鲁姆过滤器误判率和可扩展布鲁姆过滤器误判率分别为：

当DBF的最后一个过滤器向量表示的元素个数到n₀，SBF最后一个过滤器向量表示的元素个数到2ⁱn₀时，上式可简化为：

令 $x=(1-{(1-e^{-k{n}_0/m})}^k),$ 那么

因为

 0<x<1，极限为0显然成立。■

由上述可知，随着集合的不断扩张，动态布鲁姆过滤器的查询误判率增长速度远远大于可扩展布鲁姆过滤器的查询误判率增长速度。即使当集合规模增长到很大时，可扩展布鲁姆过滤器的查询误判率仍可以控制在比较小的范围。

图1是三种算法随着集合的增长误判率的比较。图中布鲁姆过滤器的初始向量长度m＝1280bit，使用哈希函数个数k＝7，过滤器设计时集合容量限制为n₀＝133。从图中可以看出，三种算法随着元素集合增长，误判率变化规律。当集合元素个数n<n₀时，三种算法误判率相同。随着元素个数增加，标准布鲁姆过滤器误判率急速增长，迅速趋向1，导致标准布鲁姆过滤器不可用。使用动态布鲁姆过滤器，误判率也是随着元素个数增加而增长，但是相对标准布鲁姆过滤器来说，其增长的速度较慢，可以有效的减缓布鲁姆过滤器的增长问题。而可扩展布鲁姆过滤器随着元素个数的增长，误判率增长很慢，远远小于前两种算法。

图2是动态算法和可扩展算法的误判率之比。计算表明，当m＝1280bit，k＝7，n₀＝133，n由134扩展到6000时，动态布鲁姆过滤器与可扩展布鲁姆过滤器误判率之比的平均值约为4.69，这说明可扩展布鲁姆过滤器误判率平均为动态布鲁姆过滤器误判率的21.3％。

2)查询时间：

可扩展布鲁姆过滤器查询算法的平均查询时间为

O(k×lgn)                                               (16)

式(16)证明如下：

1、理想情况下，待查询的元素正好表示在最后的过滤器向量SBF_i，查询元素是否在集合中只需要一次查询过程，需要k次匹配操作。

2、最坏情况下，必须检查所有的(i+1)过滤器向量才能完成元素是否在集合的查询，因此需要k×(i+1)次匹配操作。

因此，使用可扩展布鲁姆过滤器查询算法的平均查询时间为

$O((k+k\&times;(i+1))/2)=O(k\&times;(i+2)/2)$

发现可扩展布鲁姆过滤器查询时间复杂度和动态布鲁姆过滤器相比明显减少，由线性降低到对数。

图3是三种算法随着集合增长，查询时间比较图。当集合元素个数n<n₀，三种算法的查询时间相同，都是常数k次匹配时间。标准布鲁姆过滤器的查询时间与n无关，是和x轴平行的直线，但当n很大时，误判率会越来越高。动态布鲁姆过滤器的查询时间随着集合元素个数线性增长，虽然n不大时，其查询复杂度小于可扩展布鲁姆过滤器，但其随n增长的速率远大于可扩展布鲁姆过滤器。

3)存储空间：

布鲁姆过滤器查询方法在分布式系统中得以广泛应用的最大优势在于存储空间简洁，本节讨论动态和可扩展布鲁姆过滤器存储空间的关系。

假设可扩展布鲁姆过滤器SBF和动态布鲁姆过滤器DBF的最初过滤器向量相同都是BF，所需的存储空间分别为M_DBF和M_SBF。当集合规模N→+∞时，下面关系成立

$1^{-}\&le;\frac{M_{\mathrm{SBF}}}{M_{\mathrm{DBF}}}\&le;2^{+}---\left(17\right)$

这里1^-是小于1的数，在1的左边趋向1，2⁺大于2，在2的右边趋向2。

式(17)证明如下：将动态布鲁姆过滤器和可扩展布鲁姆过滤器存储空间表达式进行缩放，得：

$(N/n_0)\&CenterDot;m\&le;M_{\mathrm{DBF}}\&le;(N/n_0+1)\&CenterDot;m$

$m\&CenterDot;(2^{{\log }_2(N/n_0+1)}-1)\&le;M_{\mathrm{SBF}}\&le;m\&CenterDot;(2^{{\log }_2(N/n_0+1)+1}-1).$

进而

$\frac{m\&CenterDot;(2^{{\log }_2(N/n_0+1)}-1)}{(N/n_0+1)\&CenterDot;m}\&le;\frac{M_{\mathrm{SBF}}}{M_{\mathrm{DBF}}}\&le;\frac{m\&CenterDot;(2^{{\log }_2(N/n_0+1)+1}-1)}{(N/n_0)\&CenterDot;m}$

上式化简得

$\frac{N/n_0}{N/n_0+1}\&le;\frac{M_{\mathrm{SBF}}}{M_{\mathrm{DBF}}}\&le;\frac{2(N/n_0+1)-1}{N/n_0}=\frac{2N/n_0+1}{N/n_0}$

左边界 $\frac{N/n_0}{N/n_0+1}<1,$ 而且 $\underset{N\&RightArrow;+\&infin;}{\lim }\frac{N/n_0}{N/n_0+1}=1,$ 所以 $1^{-}\&le;\frac{M_{\mathrm{SBF}}}{M_{\mathrm{DBF}}}.$ 右边界

有类似结论。                                            ■

图4三种方法存储空间比较，y轴表示的是存储空间，单位bit，x轴是集合规模。标准布鲁姆过滤器的存储空间与n无关，但当n很大时，误判率会越来越高，误判率变得不可容忍。动态和可扩展方法的存储空间随着元素增长而阶梯式增长，动态算法的阶梯更像现实生活中的楼梯，每级相等，而可扩展布鲁姆过滤器的阶梯逐渐变宽，向量长度按指数阶梯式增长，而跳变间隔也按指数阶梯式增长，SBF算法扩展轮数远远小于DBF算法。

图5进一步说明了式(17)，可扩展布鲁姆过滤器最坏情况下的存储空间不过是动态布鲁姆过滤器的2倍。

由以上可知，本发明是一种有效的可扩展布鲁姆过滤器(Scalable Bloomfilter)和基于此的查询方法，在数据集元素个数增长的情况下，通过添加长度成倍增长过滤器向量来保持很低的误判率。理论证明和实验分析表明新的可扩展布鲁姆过滤器以比动态布鲁姆过滤器占有最多两倍的空间为代价，其元素查询误判率始终远远小于动态布鲁姆过滤器，新方法查询时间按对数增长，解决了现有算法查询时间增长过快问题，和目前的可扩展方法相比具有很大的性能优势。

附图说明

图1三种方法误判率比较曲线图；

图2误判率之比f^DBF/f^SBF曲线图

图3三种方法查询时间比较曲线图；

图4三种方法存储空间比较曲线图；

图5 SBFs和DBFs存储空间比曲线图；

图6 H₃哈希函数逻辑实现原理框图；

图7可扩展哈希函数设计示意图；

图8基于H₃哈希函数实现的可扩展布鲁姆过滤器元素插入流程图；

图9基于H₃哈希函数实现的可扩展布鲁姆过滤器元素查询流程图；

图10可扩展布鲁姆过滤器元素查询逻辑实现示意图。

具体实施方式

本实施例提供一种基于H₃哈希函数实现的可扩展布鲁姆过滤器，其中采用的H₃哈希函数是Carter和Wegman定义的一类通用哈希函数(universal Hash)。H₃函数具有很强的散列性，是一种常见的布鲁姆过滤器的实现函数；又因其对每个输入元素的哈希计算仅需要简单的“与”和“异或”运算，便于实现，尤其是硬件实现，是计算机硬件最常用的哈希函数之一。

H₃哈希函数是一个线性转换B^T＝Q_r×wA^T，将w-bit长度的元素A＝a₁a₂L a_w转换为r-bit的哈希地址B＝b₁b₂L b_r，即

$\left(\begin{array}{c}{b}_1\\ b_2\\ M\\ b_r\end{array}\right)=\left(\begin{array}{cccc}{q}_{11}& q_{12}& L& q_{1w}\\ q_{21}& q_{22}& L& q_{2w}\\ L& L& L& L\\ q_{r1}& q_{r2}& L& q_{\mathrm{rw}}\end{array}\right)\left(\begin{array}{c}{a}_1\\ a_2\\ M\\ a_w\end{array}\right)$

其中转换矩阵Q_r×w是一个0，1矩阵，每个转换矩阵对应一个H₃哈希函数，其乘法运算和加法运算分别采用二进制与AND(g)和二进制异或XOR(⊕)运算，即

$b_i=(a_1\&CenterDot;q_{i1})\&CirclePlus;(a_2\&CenterDot;q_{i2})\&CirclePlus;L\&CirclePlus;(a_w\&CenterDot;q_{\mathrm{iw}})(i=\mathrm{1,2},L,r)$

如果转换矩阵用列向量表示：Q_r×w＝(d₁   d₂   L   d_w)，将a_igd_i表示成：

$a_j\&CenterDot;d_j=a_j\&CenterDot;\left(\begin{array}{c}{q}_{1j}\\ q_{2j}\\ M\\ q_{\mathrm{rj}}\end{array}\right)=\left(\begin{array}{c}{a}_j\\ a_j\\ M\\ a_j\end{array}\right)\&CenterDot;\left(\begin{array}{c}{q}_{1j}\\ q_{2j}\\ M\\ q_{\mathrm{rj}}\end{array}\right)=\left(\begin{array}{c}{a}_j\&CenterDot;q_{1j}\\ a_j\&CenterDot;q_{2j}\\ M\\ a_j\&CenterDot;q_{\mathrm{rj}}\end{array}\right)$

那么：

$B^T=h\left(A\right)=\left(a_{1}g{d}_1\right)\&CirclePlus;\left(a_{2}g{d}_2\right)\&CirclePlus;L\&CirclePlus;\left(a_{w}g{d}_w\right)---\left(18\right)$

H₃哈希函数示例。设w＝8，r＝2，输入元素经哈希函数计算由{0L 255}→{0L 3}。转换矩阵为： $Q_{2\&times;8}=\left(\begin{array}{cccccccc}0& 1& 1& 0& 1& 1& 0& 1\\ 1& 1& 0& 0& 0& 1& 0& 1\end{array}\right),$ 则元素69和105的哈希地址可直接通过式(18)计算。

$h\left(69\right)=h\left(01000101\right)=d_2\&CirclePlus;d_6\&CirclePlus;d_8=\left(\begin{array}{c}1\\ 1\end{array}\right)\&CirclePlus;\left(\begin{array}{c}1\\ 1\end{array}\right)\&CirclePlus;\left(\begin{array}{c}1\\ 1\end{array}\right)=\left(\begin{array}{c}1\\ 1\end{array}\right),{\left(\begin{array}{c}1\\ 1\end{array}\right)}^T=\left(\begin{array}{cc}1& 1\end{array}\right)=3\left(\mathrm{decimal}\right)$

$h\left(105\right)=h\left(01101001\right)=d_2\&CirclePlus;d_3\&CirclePlus;d_5\&CirclePlus;d_8=\left(\begin{array}{c}1\\ 1\end{array}\right)\&CirclePlus;\left(\begin{array}{c}1\\ 0\end{array}\right)\&CirclePlus;\left(\begin{array}{c}1\\ 0\end{array}\right)\&CirclePlus;\left(\begin{array}{c}1\\ 1\end{array}\right)=\left(\begin{array}{c}0\\ 0\end{array}\right),$

${\left(\begin{array}{c}0\\ 0\end{array}\right)}^T=\left(\begin{array}{cc}0& 0\end{array}\right)=0\left(\mathrm{decimal}\right).$

H₃哈希函数采用的是逻辑运算AND(g)和异或

便于硬件或软件实现，如图6所示。

H₃哈希函数由W个“与门”和一个“异或门”组成，其移位器(Shifter)用于获得输入元素的各位，对于每个哈希函数，列向量d₁，d₂，L，d_w∈[0，2^r-1]相互独立，那么“异或门”出来的结果就是哈希映射地址。

为了适应可扩展布鲁姆过滤器向量长度的调整，需采用哈希地址可调的哈希函数，下面介绍可扩展布鲁姆过滤器的哈希函数设计。

1.在哈希函数设计之前，定义以下参数：

n₀：初始化过滤器向量最多能容纳的元素个数

w：集合元素的比特数

m：初始过滤器向量长度

f₀：能容忍的最大误判率

N：预测的集合最大规模

2.令r＝log₂m，并计算哈希函数个数k

3.随机产生k个R×w的0，1矩阵Q_R×w[1]，Q_R×w[2]，...Q_R×w[k]作为可扩展布鲁姆过滤器的转换矩阵，其中

4.采用上述矩阵的前r行组成的转换矩阵作为元素的映射哈希函数，获取哈希地址将

向量置位

5.可扩展布鲁姆过滤器每扩展一次，r←r+1，转到4

基于H₃哈希函数的可扩展过滤器元素插入方法为：

可扩展布鲁姆过滤器元素插入流程如图8所示。新元素加入时，如果是第一个元素，产生一个符合设计初始化要求的标准布鲁姆过滤器，设置初始向量长度m₀，最初的集合元素个数容量限制为n₀，布鲁姆过滤器扩展轮数为0(表明还没有经过一次扩展)，当前活动布鲁姆过滤器为刚产生的布鲁姆过滤器向量，所容纳的元素个数为0。新元素(element)插入时，首先需要判断现有的过滤器所容纳的元素个数是否已经达到过滤器容量限制，如超过限制，产生一个新的长度和容量均为当前活动布鲁姆过滤器2倍的过滤器向量，完成过滤器扩展，过滤器总容量限制同时也应加上新增加的过滤器容量。

完成过滤器扩展操作后，新元素插入操作需要根据当前的扩展轮数，按照上节的可扩展布鲁姆过滤器哈希函数设计，得到当前扩展轮数的相对应的k个H₃哈希函数，然后计算出元素对应的k个向量位置，在当前活动布鲁姆过滤器置位(当前活动过滤器向量总是最后一个加入的过滤器向量)，完成新元素的插入过程。

基于H₃哈希函数的可扩展过滤器元素查询方法是：

基于图7的可扩展哈希函数设计，现给出由扩展后哈希地址反推到扩展前哈希地址的方法，该方法通过移位操作，由元素在最后一轮扩展的哈希地址可以一直反推到向量初始化时的哈希地址，只需一次哈希计算，便可以完成元素在各个过滤器向量的查找。

假设可扩展布鲁姆过滤器j轮扩展后的哈希转换矩阵为Q_(r+j)×w[u]，元素在过滤器向量SBF_j的映射地址为Addr_j[u](1≤u≤k)，元素在过滤器向量SBF_j-1的映射地址为Addr_j-1[u](1≤u≤k)，二者的关系为：

Addr_j-1[u]＝Addr_j[u]>>1(1≤u≤k)                           (20)

基于上述式(20)，可扩展布鲁姆过滤器查询算法流程可以优化为图9所示。为了判断元素(element)是否在集合中，首先按照最终扩展轮数计算对应的过滤器向量SBF_i的k个哈希映射地址，判断是否是最后一轮插入的元素。如是，就返回True，表明元素在集合中；如不是，将这k个地址进行移位操作，得到其在过滤器向量SBF_i-1的k个映射地址，判断是否是上一轮插入的元素，如是，表明元素在集合，否则，继续检查是否是再上一轮，如此循环，直至检查完所有的过滤器向量。

式(20)能够简化可扩展布鲁姆过滤器的软硬件实现。查询元素是否在集合中最坏需要检查所有的(i+1)个过滤器向量，但是只需要计算元素在最后一个过滤器向量SBF_i的哈希地址，其他的地址全都可以通过移位操作直接推导。图10是可扩展的布鲁姆过滤器元素查询判断逻辑实现。

基于H₃哈希函数的可扩展过滤器实验结果如下所述：

本实施例进行仿真实验来验证可扩展布鲁姆过滤器查询算法的性能，为了进行比较，本实施例具体实现了可扩展布鲁姆过滤器和动态布鲁姆过滤器的元素插入和元素查询。为了简化实验过程，直接采用的32bit整数集合作为元素集合，数据集合的元素是由计算机随机产生的32bit的无符号整数，元素范围为(0，2³²-1)，H₃哈希函数转换矩阵由32个随机产生的列向量组成。随机产生32×32的转换矩阵，作为算法实现中的哈希函数。

对于长度为m＝131072＝2¹⁷的标准布鲁姆过滤器，可扩展H₃哈希函数的初始列向量长度为r＝17。仿真实验在HP服务器上进行，其具体的配置为：操作系统：Windows Server 2003， Xeon^TM3.0GHz × 2，内存：2.00GBDDR。

本实施例中集合规模从1,000,000到6,000,000，哈希函数个数k＝6，k＝8和k＝11。对每一种算法参数组合进行100次实验。实验过程分为两步：

首先按照图8、图9完成集合元素插入，元素插入过程中，根据需要添加新的过滤器向量，完成过滤器算法的扩展；当所有的元素都映射到两种过滤器算法之后，可以直接获得两算法的存储空间。

第二步骤，实现查询算法，评估查询误判率和查询时间。为了得到查询误判率，采取100,000个不在集合中的元素完成布鲁姆过滤器查询，进行误判数目统计。如果所需查找元素的对应k个映射位置均为1，表明该元素在集合中，这就出现了误判，因为这100,000个元素都是不在集合中的元素。计算误判率为累计误判元素的个数和不在集合中元素总数的比值。同时，我们采取直接在SBF和DBF代码中加入计时器的方法获得100,000个元素的查询总时间。

对于上述实验过程，每个实验参数的组合，随机产生100次数据集合，完成100次实验，实验结果取100次的平均值。

从表中，发现：

1.实验获得的误判率和理论计算值相当一致。

2.当初始过滤器向量m＝131072bit，n₀＝8192，集合规模扩展到n＝1,000,000，SBF2.当初始过滤器向量m＝131072bit，n₀＝8192，集合规模扩展到n＝1,000,000，SBF算法需要进行6次扩展，共需16,646,144bit，而DBF算法需要进行122次扩展，共需16,121,856bit。SBF算法比DBF算法消耗稍多的空间，但是和DBF算法相比，误判率降低18倍，查询时间降低到一半。

3.当集合规模n＝1,000,000，哈希函数个数k＝11，SBF算法的查询误判率为0.003051，而DBF算法的误判率为0.054475，是SBF算法的18倍。当集合规模n＝6,000,000是最初设计容量n₀＝8192的732倍时，仍然采用哈希函数个数k＝11，SBF和DBF算法的查询误判率分别为0.004389和0.285391，此时DBF算法的误判率时SBF算法的65倍。随着集合的增长，DBF查询误判率增长速度大大超过SBF。

4.使用SBF算法查询100,000个元素仅需要2秒左右，那么在3GHz的机器中，一次元素查询只需要20μs，查询时间在实际应用中是可以接受的。

Claims (2)

1、一种可扩展布鲁姆过滤器查询方法，其特征在于，该方法为：

1)布鲁姆过滤器的扩展：当可扩展布鲁姆过滤器SBF所表示的集合元素增长超过可扩展布鲁姆过滤器容量限制时，添加一个长度为前一个可扩展布鲁姆过滤器向量的2倍的向量，即添加了可扩展布鲁姆过滤器向量的向量长度m_i＝2m_i-1，此时添加了可扩展布鲁姆过滤器向量的向量容量限制也为前一个向量容量限制的2倍，即n_i＝2n_i-1；

2)可扩展布鲁姆过滤器元素查询步骤：

第一步：利用SBF查询元素x是否在集合S中，令j＝i；

第二步：通过k个哈希函数计算x在SBF_j的k个映射位，检查所有位是否都为1；

第三步：所述结果为是时，元素x是SBF_j表示的元素，x在集合S中，返回True；

第四步：所述结果为否时，元素x不是SBF_j表示的元素，需要继续检查x是否为SBF_j-1表示的元素，j←j-1，转到第二步持续检查x是否为当前向量SBF_j直至j＝-1。

2、一种如权利要求1所述可扩展布鲁姆过滤器查询方法的元素插入方法，其特征在于，若c为SBF已经表示的元素个数，则所述可扩展布鲁姆过滤器SBF查询方法的元素插入流程为：

第一步，新元素x插入SBF时，首先检查 $c\&GreaterEqual;\underset{j=0}{\overset{i}{\mathrm{\&Sigma;}}}{n}_j$ 成不成立；

第二步，如果步骤1中式成立，创建新的过滤器向量SBF_i+1，通过k个哈希函数计算x在SBF_i+1的k个映射位，并置位，将x插入到SBF_i+1中，c←c+1，i←i+1；

第三步，如果步骤1中式不成立，通过k个哈希函数计算x在SBF_i的k个映射位，并置位，将x插入到当前过滤器向量SBF_i中，c←c+1。

Images