CN104408069A - 一种基于布隆过滤器思想的一致性目录设计方法 - Google Patents

Abstract

本发明公开了一种基于布隆过滤器思想的一致性目录设计方法，属于布隆过滤器技术领域，本发明所述的方法使用布隆过滤器思想设计目录项的共享列表，对于具有n个处理器的系统，目录项的共享列表向量压缩为m位，通过多个Hash运算的方式实现N个处理器到M位的共享列表位向量的映射，其中N>M；当directorycache收到某个处理器的请求需要向其它具有目标cache行副本的处理器发送消息时，执行多次hash运算，仅当所有Hash运算结果指示的共享列表的对应位均被置位时，才向对应的处理器发送同步消息。本发明能够显著减小目录中用于记录Cache行共享信息的位向量的长度，降低目录项开销，提升目录空间的利用效率。

Description

一种基于布隆过滤器思想的一致性目录设计方法

技术领域

本发明涉及一种布隆过滤器技术领域，具体地说是一种基于布隆过滤器思想的一致性目录设计方法。

背景技术

在多核、多处理器系统中，为了维护不同处理器（核）私有Cache（高速缓冲存储器）中数据的一致性，需要使用Cache一致性协议。基于目录的Cache一致性由于其良好的扩展性，在现代大型计算机系统中得到普遍的应用。其基本思想是以目录的形式记录所有高速缓存行的副本位置以及状态。当某一处理器（核）对某个缓存行进行操作时，根据该行对应的目录项进行相应的一致性操作。这种片上用于存储高速缓存行状态及副本共享信息的结构被称为高速缓存目录（directory Cache）（注：以下说明中，除非特别指定，否则目录均指代高速缓存目录）。Directory cache中的每一项称为一个“目录项”，其除了需要记录对应cache行的标签（tag）、状态外，还需要记录哪些处理器（核）具有该行的副本。高速缓存目录的一种典型实现方式是全映射目录。在全映射目录中，使用位向量（称为共享列表：Share list）记录位于同一同步域内各个Cache中是否拥有该Cache行的副本。Share list中的每位对应一个处理器（核），其置为1表示相应的处理器（核）私有Cache具有对应行的副本，否则没有。当需要给其它处理器（核）发送无效消息时，仅对share list中置为1的对应处理器（核）发送。

由于处理器片上资源极其宝贵，因此必须控制directory Cache的容量。一种典型的做法是使用有限高速缓存目录。在有限高速缓存目录实现中，每个目录项仅使用特定数量（记为Q）的位记录数据共享情况，当系统中的数据共享副本数大于Q时，向系统中所有的处理器（核）广播同步消息。这种做法虽然有助于减小目录项的大小，但是当数据共享副本较多时，同步消息频繁，系统通信性能不佳。

发明内容

本发明的技术任务是提供一种能够显著减小目录中用于记录Cache行共享信息的位向量的长度，降低目录项开销，提升目录空间的利用效率的一种基于布隆过滤器思想的一致性目录设计方法。

本发明的技术任务是按以下方式实现的：

一种基于布隆过滤器思想的一致性目录设计方法，使用布隆过滤器（bloom filter）思想设计目录项的共享列表（Share List），对于具有n个处理器（核）的系统，目录项的共享列表向量压缩为m位，通过多个Hash运算的方式实现N个处理器（核）到M位的共享列表（Share List）位向量的映射，其中N>M；当directory cache收到某个处理器（核）的请求需要向其它具有目标cache行副本的处理器（核）发送消息时，执行多次hash运算，仅当所有Hash运算结果指示的共享列表（Share List）的对应位均被置位时，才向对应的处理器（核）发送同步消息。

hash次数随系统规模变化而变化，系统处理器（核）数n与目录项的共享列表向量长度m应该满足关系：；当n=m时，为全目录共享列表设计方法，一位表示一个处理器（核）。

 具有n个处理器（核）的系统，为具有单极或多级Cache一致性协议域的计算机系统。

需要给所有包含数据副本的处理器（核）发送消息时，多次Hash运算确定需要发送消息的处理器（核）集合，该集合包含所有包含数据副本的处理器（核）及所有其它不包含数据副本但被命中判定方法判定为包含副本的处理器（核）；命中判定方法为包含副本的处理器（核）为多次Hash运算确定处理器（核）是否具有数据的共享副本，仅当所有hash结果都在共享列表中命中时确定该处理器（核）具有数据共享副本；命中判定方法判定为包含副本的处理器（核）收到一致性同步消息时，直接返回应答消息。

当使用k个Hash函数时，一个m位的共享列表（Share List）位向量最多可映射个处理器。

使用3个hash函数时，6位的位向量最多可映射20个处理器。与全目录实现方式相比，share list的长度不到1/3。假设处理器（核）数为n，则使用本发明方法的共享列表的长度m满足条件： ，其中k为映射函数个数。满足上述条件的最小m值为，称为“最小可映射长度”。

处理器（核）不包含数据副本但被命中判定方法判定为包含副本，这种情况为伪共享；当伪共享发生时，向所有被多次Hash运算判定为包含共享副本的处理器（核）发送一致性同步消息，当不具有数据副本的处理器（核）收到一致性同步消息后，直接返回响应，协议正确性不受影响。为了减少伪共享情况的发生，在实际使用过程中，可在最小可映射长度基础上适当增加共享列表位数；为了减小伪共享情况及降低多次Hash运算的时间及空间开销，在满足的情况下，选择最小的k值。伪共享现象仅存在于当一个以上的处理器（核）具有数据副本的情况，因此，处于E或者M状态的Cache行不会因为伪共享导致额外的同步消息。

多个Hash映射功能的实现使用如下方式的任意一种：

（1）、使用多个运算逻辑单元，每个运算逻辑单元的输入为处理器编号，输出为一位置1的m位向量或一个指示特定位编号的数字；例如，假设share list为4位，输入为0，要求映射share list的最低位，则输出可为4位位向量0001，或者0（指示检查最右边1位）；

（2）、使用查找表实现Hash映射，每个处理器（核）对应一个表项，并使用处理器（核）编号定位表项；例如编号为5的处理器（核）对应第五个表项。每个表项具有与share list相同的位长度，k个位被置1，k为定义的hash函数个数；

（3）、使用寄存器组实现hash函数，每个寄存器可记录一个或多个处理器（核）对应的映射结果。与使用逻辑单元实现方式相比，后两种方式可动态更改Hash映射关系，因此更为灵活。

一致性目录同步过程如下：

（1）、初始阶段：在数据块被引用前，Directory Cache中无对应的目录项或对应目录项的有效位（V位）为0，此时共享列表对应的5位向量为0；

（2）、数据读阶段：处理器（核）C0读数据块，返回数据的同时更新对应目录项，将位向量中其对应的两位（第1及2位）置1；

（3）、处理器（核）C4读数据块，返回数据的同时更新对应目录项，将处理器(核)C4对应的两位（第2及5位）置1，第2位已经为1，将第5位置1；

（4）、数据写阶段：处理器（核）C2写数据块，在执行写操作之前，向具有该数据块副本的处理器发送无效命令，Directory Cache控制器根据Hash运算结果，向对应处理器（核）发送无效命令；此时共享列表的第1、2、5位被置为1，参照表1的hash运算结果，需要向处理器（核）C0、C3及C4发送无效消息；

（5）、C0及C4接收到该无效消息后，将本地数据副本无效，返回应答消息；C3并不存在数据的副本，在收到该无效消息后，其检查本地Cache，发现无对应数据副本后直接返回应答消息；

（6）、当directory Cache接收到所有无效消息应答后，从相应位置返回数据行给C2，同时更新对应的目录项。

在上述过程中，尽管C3没有数据副本，但是Directory Cache根据Hash运算结果依然向其发送无效消息，这种现象是由“伪共享”造成的。“伪共享”是由多次Hash映射引起的，通过改进Hash映射方式及增加共享列表位向量长度可减少“伪共享”现象的发生。“伪共享”现象的存在可能导致使用本发明的目录设计方法的系统在Cache一致性同步时，消息数量大于使用全目录的实现方式的系统，但是不会影响协议工作的正确性。现有研究成果表明，大部分的Cache行的共享副本数有限，因此“伪共享”较少。

使用查找表或寄存器组方式实现多次Hash映射能够根据系统中数据的共享情况灵活修改映射关系，从而减小“伪共享”的存在，提升消息同步效率。例如，假设根据系统拓扑关系得知C0、C1数据共享较多，那么在建立Hash映射关系时，可尽量保证其在共享列表向量中的映射位不重叠，例如C0对应的映射为00011，C1对应的映射为01100。

本发明的一种基于布隆过滤器思想的一致性目录设计方法具有以下优点：能够显著减小用于记录数据共享信息的位向量的长度，降低目录项开销，从而使得同样容量的directory cache能够记录更多的Cache行共享信息，提升了目录空间的利用效率。另一方面，与有限目录相比，本发明方法几乎不存在广播同步消息导致的消息拥塞问题，对系统通信性能影响较小。

附图说明

下面结合附图对本发明进一步说明。

附图1为全映射目录项示意图；

附图2为一种基于布隆过滤器思想的一致性目录设计方法的Cache一致性维护过程示意图；

附图3为一种基于布隆过滤器思想的一致性目录设计方法的Cache一致性维护过程示意图。

图1 中，系统包含n个处理器（核），每个目录项n位指示n个处理器（核）对一个Cache行的共享情况，其中每一位标识一个处理器（核）是否具有该Cache行的副本，1表示具有，0表示不具有。

图2中，系统具有8个（编号为0-7）位于同一同步域的处理器（核），使用两次Hash运算将这8个处理器（核）对数据的共享情况映射至5位共享列表向量，处理器（核）编号与Hash映射结果对应关系见表1。

具体实施方式

参照说明书附图和具体实施例对本发明的一种基于布隆过滤器思想的一致性目录设计方法作以下详细地说明。

实施例1：

本发明的一种基于布隆过滤器思想的一致性目录设计方法, 使用布隆过滤器（bloom filter）思想设计目录项的共享列表（Share List），对于具有n个处理器（核）的系统，目录项的共享列表向量压缩为m位，通过多个Hash运算的方式实现N个处理器（核）到M位的共享列表（Share List）位向量的映射，其中N>M；当directory cache收到某个处理器（核）的请求需要向其它具有目标cache行副本的处理器（核）发送消息时，执行多次hash运算，仅当所有Hash运算结果指示的共享列表（Share List）的对应位均被置位时，才向对应的处理器（核）发送同步消息。

hash次数随系统规模变化而变化，系统处理器（核）数n与目录项的共享列表向量长度m应该满足关系：；当n=m时，为全目录共享列表设计方法，一位表示一个处理器（核）。

   具有n个处理器（核）的系统，为具有单极或多级Cache一致性协议域的计算机系统。

需要给所有包含数据副本的处理器（核）发送消息时，多次Hash运算确定需要发送消息的处理器（核）集合，该集合包含所有包含数据副本的处理器（核）及所有其它不包含数据副本但被命中判定方法判定为包含副本的处理器（核）；命中判定方法为包含副本的处理器（核）为多次Hash运算确定处理器（核）是否具有数据的共享副本，仅当所有hash结果都在共享列表中命中时确定该处理器（核）具有数据共享副本；命中判定方法判定为包含副本的处理器（核）收到一致性同步消息时，直接返回应答消息。

当使用k个Hash函数时，一个m位的共享列表（Share List）位向量最多可映射个处理器。

本发明提出的一致性目录设计方法与传统的全目录实现方法的主要不同之处在于使用多次Hash运算判断一个数据副本存在与否。当且仅当所有hash运算的结果对应的位均为1时才确定处理器具有数据副本。与有限目录相比，本发明方法几乎可避免广播消息，提升系统通信性能。

实施例2：

本发明的一种基于布隆过滤器思想的一致性目录设计方法, 使用布隆过滤器（bloom filter）思想设计目录项的共享列表（Share List），对于具有n个处理器（核）的系统，目录项的共享列表向量压缩为m位，通过多个Hash运算的方式实现N个处理器（核）到M位的共享列表（Share List）位向量的映射，其中N>M；当directory cache收到某个处理器（核）的请求需要向其它具有目标cache行副本的处理器（核）发送消息时，执行多次hash运算，仅当所有Hash运算结果指示的共享列表（Share List）的对应位均被置位时，才向对应的处理器（核）发送同步消息。

处理器（核）不包含数据副本但被命中判定方法判定为包含副本，这种情况为伪共享；当伪共享发生时，向所有被多次Hash运算判定为包含共享副本的处理器（核）发送一致性同步消息，当不具有数据副本的处理器（核）收到一致性同步消息后，直接返回响应，协议正确性不受影响。为了减少伪共享情况的发生，在实际使用过程中，可在最小可映射长度基础上适当增加共享列表位数；为了减小伪共享情况及降低多次Hash运算的时间及空间开销，在满足的情况下，选择最小的k值。伪共享现象仅存在于当一个以上的处理器（核）具有数据副本的情况，因此，处于E或者M状态的Cache行不会因为伪共享导致额外的同步消息。

多个Hash映射功能的实现使用如下方式的任意一种：

（1）、使用多个运算逻辑单元，每个运算逻辑单元的输入为处理器编号，输出为一位置1的m位向量或一个指示特定位编号的数字；例如，假设share list为4位，输入为0，要求映射share list的最低位，则输出可为4位位向量0001，或者0（指示检查最右边1位）；

（2）、使用查找表实现Hash映射，每个处理器（核）对应一个表项，并使用处理器（核）编号定位表项；例如编号为5的处理器（核）对应第五个表项。每个表项具有与share list相同的位长度，k个位被置1，k为定义的hash函数个数；

（3）、使用寄存器组实现hash函数，每个寄存器可记录一个或多个处理器（核）对应的映射结果。与使用逻辑单元实现方式相比，后两种方式可动态更改Hash映射关系，因此更为灵活。

实施例3：

本发明的一种基于布隆过滤器思想的一致性目录设计方法, 使用布隆过滤器（bloom filter）思想设计目录项的共享列表（Share List），对于具有n个处理器（核）的系统，目录项的共享列表向量压缩为m位，通过多个Hash运算的方式实现N个处理器（核）到M位的共享列表（Share List）位向量的映射，其中N>M；当directory cache收到某个处理器（核）的请求需要向其它具有目标cache行副本的处理器（核）发送消息时，执行多次hash运算，仅当所有Hash运算结果指示的共享列表（Share List）的对应位均被置位时，才向对应的处理器（核）发送同步消息。

一致性目录同步过程如下：

（1）、初始阶段：在数据块被引用前，Directory Cache中无对应的目录项或对应目录项的有效位（V位）为0，此时共享列表对应的5位向量为0（见图3（1））；

（2）、数据读阶段：处理器（核）C0读数据块，返回数据的同时更新对应目录项，将位向量中其对应的两位（第1及2位）置1（如图3（2）所示）；

（3）、处理器（核）C4读数据块，返回数据的同时更新对应目录项，将处理器(核)C4对应的两位（第2及5位）置1，第2位已经为1，将第5位置1（如图3（3）所示）；

（4）、数据写阶段：处理器（核）C2写数据块（见图3（4）），在执行写操作之前，向具有该数据块副本的处理器发送无效命令，Directory Cache控制器根据Hash运算结果，向对应处理器（核）发送无效命令；此时共享列表的第1、2、5位被置为1，参照表1的hash运算结果，需要向处理器（核）C0、C3及C4发送无效消息；

（5）、C0及C4接收到该无效消息后，将本地数据副本无效，返回应答消息；C3并不存在数据的副本，在收到该无效消息后，其检查本地Cache，发现无对应数据副本后直接返回应答消息；

（6）、当directory Cache接收到所有无效消息应答后，从相应位置返回数据行给C2，同时更新对应的目录项（见图3（5））。

 

表1

在上述过程中，尽管C3没有数据副本，但是Directory Cache根据Hash运算结果依然向其发送无效消息，这种现象是由“伪共享”造成的。“伪共享”是由多次Hash映射引起的，通过改进Hash映射方式及增加共享列表位向量长度可减少“伪共享”现象的发生。“伪共享”现象的存在可能导致使用本发明的目录设计方法的系统在Cache一致性同步时，消息数量大于使用全目录的实现方式的系统，但是不会影响协议工作的正确性。现有研究成果表明，大部分的Cache行的共享副本数有限，因此“伪共享”较少。

使用查找表或寄存器组方式实现多次Hash映射能够根据系统中数据的共享情况灵活修改映射关系，从而减小“伪共享”的存在，提升消息同步效率。例如，假设根据系统拓扑关系得知C0、C1数据共享较多，那么在建立Hash映射关系时，可尽量保证其在共享列表向量中的映射位不重叠，例如C0对应的映射为00011，C1对应的映射为01100。

注意，本专利方法没有对系统的Cache层次构成方式进行限定，但是为了直观、严谨的说明，我们假设所有处理器（核）位于同一同步域，每个处理器（核）具有私有的Cache。因此，对于具有N个处理器（核）的系统，在全高速缓存目录实现方式中，每个目录项使用一个N位向量记录数据共享情况。

通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的3种具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。

Claims (9)

1.一种基于布隆过滤器思想的一致性目录设计方法，其特征在于使用布隆过滤器思想设计目录项的共享列表，对于具有n个处理器的系统，目录项的共享列表向量压缩为m位，通过多个Hash运算的方式实现N个处理器到M位的共享列表位向量的映射，其中N>M；当directory cache收到某个处理器的请求需要向其它具有目标cache行副本的处理器发送消息时，执行多次hash运算，仅当所有Hash运算结果指示的共享列表的对应位均被置位时，才向对应的处理器发送同步消息。

2.根据权利要求1所述的一种基于布隆过滤器思想的一致性目录设计方法，其特征在于hash次数随系统规模变化而变化，系统处理器数n与目录项的共享列表向量长度m应该满足关系：；当n=m时，为全目录共享列表设计方法，一位表示一个处理器。

3.根据权利要求1所述的一种基于布隆过滤器思想的一致性目录设计方法，其特征在于具有n个处理器的系统，为具有单极或多级Cache一致性协议域的计算机系统。

4.根据权利要求1所述的一种基于布隆过滤器思想的一致性目录设计方法，其特征在于需要给所有包含数据副本的处理器发送消息时，多次Hash运算确定需要发送消息的处理器集合，该集合包含所有包含数据副本的处理器及所有其它不包含数据副本但被命中判定方法判定为包含副本的处理器；命中判定方法为包含副本的处理器为多次Hash运算确定处理器是否具有数据的共享副本，仅当所有hash结果都在共享列表中命中时确定该处理器具有数据共享副本；命中判定方法判定为包含副本的处理器收到一致性同步消息时，直接返回应答消息。

5.根据权利要求1所述的一种基于布隆过滤器思想的一致性目录设计方法，其特征在于当使用k个Hash函数时，一个m位的共享列表位向量最多可映射个处理器。

6.根据权利要求5所述的一种基于布隆过滤器思想的一致性目录设计方法，其特征在于使用3个hash函数时，6位的位向量最多可映射20个处理器。

7.根据权利要求4所述的一种基于布隆过滤器思想的一致性目录设计方法，其特征在于处理器不包含数据副本但被命中判定方法判定为包含副本，这种情况为伪共享；当伪共享发生时，向所有被多次Hash运算判定为包含共享副本的处理器发送一致性同步消息，当不具有数据副本的处理器收到一致性同步消息后，直接返回响应。

8.根据权利要求1所述的一种基于布隆过滤器思想的一致性目录设计方法，其特征在于多个Hash映射功能的实现使用如下方式的任意一种：

（1）、使用多个运算逻辑单元，每个运算逻辑单元的输入为处理器编号，输出为一位置1的m位向量或一个指示特定位编号的数字； 

（2）、使用查找表实现Hash映射，每个处理器对应一个表项，并使用处理器编号定位表项； 

（3）、使用寄存器组实现hash函数，每个寄存器可记录一个或多个处理器对应的映射结果。

9.根据权利要求1所述的一种基于布隆过滤器思想的一致性目录设计方法，其特征在于一致性目录同步过程如下：

（1）、初始阶段：在数据块被引用前，Directory Cache中无对应的目录项或对应目录项的有效位为0，此时共享列表对应的5位向量为0；

（2）、数据读阶段：处理器C0读数据块，返回数据的同时更新对应目录项，将位向量中其对应的两位置1；

（3）、处理器C4读数据块，返回数据的同时更新对应目录项，将处理器C4对应的两位置1，第2位已经为1，将第5位置1；

（4）、数据写阶段：处理器C2写数据块，在执行写操作之前，向具有该数据块副本的处理器发送无效命令，Directory Cache控制器根据Hash运算结果，向对应处理器发送无效命令；此时共享列表的第1、2、5位被置为1，向处理器C0、C3及C4发送无效消息；

（5）、C0及C4接收到该无效消息后，将本地数据副本无效，返回应答消息；C3并不存在数据的副本，在收到该无效消息后，其检查本地Cache，发现无对应数据副本后直接返回应答消息；

（6）、当directory Cache接收到所有无效消息应答后，从相应位置返回数据行给C2，同时更新对应的目录项。