CN103577564A - 通过软件搬移降低hash冲突的方法及装置 - Google Patents

Abstract

本发明揭示了一种通过软件搬移降低HASH冲突的方法及装置，在将任意长度的二进制值(key)存入RAM中时，首先将RAM分成至少两个存储块，每个存储块采用不同的哈希函数将所述二进制值映射至其中不同的存储位置；当所述待存储的第一二进制值在所有存储块中相应的存储位置都已被已存储的第二二进制值占用时，则通过搬移模块将其中一个存储块中的已存储的第二二进制值搬移至其他存储块中对应的为空的存储位置进行存储，进而使得第一二进制值能够存储在搬移出第二二进制值的存储位置。本发明通过二进制值的搬移，最大化的利用了RAM的规格，并且减少了TCAM的使用，节省了处理器的成本。

Description

通过软件搬移降低HASH冲突的方法及装置

技术领域

本发明涉及通信领域，尤其是涉及网络通信中对单播、组播、广播业务进行分层队列调度的方法。

背景技术

在网络处理器(如ASIC)中进行表项查找并存储二级制数的方法有很多，包括使用最为广泛的基于TCAM(ternary content addressable memory，三态内容寻址存储器)进行查找的方法，以及一些通过SRAM软件的查找方法如HASH(哈希函数)查找方法。其中TCAM查找方法是通过TCAM的第三种状态掩码来实现，因此其既能进行精确匹配查找，又能进行模糊匹配查找，且具有查找速度快、操作简单的优点，然TCAM查找的缺点也很明显，即成本高，功耗大。因此，目前网络处理器中的一部分查找改用HASH查找方法来实现，因为使用HASH查找方法只需要使用RAM，而RAM价格比TCAM低。

然而通过使用HASH算法的查找方法克服了使用TCAM查找成本高的缺点，但是现有技术中使用的HASH算法也有其本身的缺陷，即使用HASH算法进行查找时会产生HASH冲突，从而导致RAM的利用率变低，且HASH冲突率越高，RAM的利用率就越低。而目前一般解决HASH冲突的方法是使用TCAM，HASH冲突率越高，需要使用的TCAM就越多，这样又会导致增大网络处理器成本的问题出现。因此，针对在网络处理器中进行表项查找的问题，有待于提出一种既能降低查找成本，又能尽大可能地降低HASH冲突的查找方法。

发明内容

本发明的目的在于克服现有技术的缺陷，提出了一种通过软件搬移减低HASH冲突的方法，其在发生HASH冲突时，通过在不同的存储块间搬移某一已存储的二进制值，使得原来存放该已存储的二进制值的存储位置为空，从而可以将待存储的二进制继续存入，达到降低HASH冲突概率的目的。

为实现上述目的，本发明提出如下技术方案：一种通过软件搬移降低HASH冲突的方法，其在将任意长度的二进制值(key)存入RAM中时，首先将RAM分成至少两个存储块(图1中的RAM1，...RAMn)，每个存储块采用不同的哈希函数(index1＝func1(key)，...indexn＝funcn(key))将所述二进制值映射至其中不同的存储位置；所述二进制值包括某一待存储的第一二进制值(key_w1)和已存储的第二二进制值(key_a1)，当所述待存储的第一二进制值在所有存储块中相应的存储位置都已被已存储的第二二进制值占用时，则将其中一个存储块中的已存储的第二二进制值搬移至其他存储块中对应的为空的存储位置进行存储，进而使得第一二进制值能够存储在搬移出第二二进制值的存储位置。

更进一步地，所述将第二二进制值搬移至其他存储块中对应的为空的存储位置进行存储包括以下步骤：

S1，定义第二二进制值在原存储块中的存储位置为第一存储位置，在另一存储块中的存储位置为第二存储位置，将第二二进制值从其原存储位置中取出，通过所述对应的哈希函数映射后，查找到所述第二存储位置，判断第二存储位置为空时，则将第二二进制值存入所述第二存储位置；

S2，删除所述第一存储位置上的第二二进制值，使第一存储位置为空；

S3，将所述第一二进制值存入所述第一存储位置。

其中，所述S1中，当查找到的第二存储位置为非空时，则继续在其他存储块中进行查找，并在找到为空的存储位置时将所述第二二进制值存入。

当查遍所述的存储块后未发现为空的存储位置时，则循环进行其他存储块中第二二进制值的搬移。

所述每一存储块中包括复数个存储桶，每一存储桶中包括至少一个存储位置。

所述存储块中采用的哈希函数为：

index＝func(key)

其中，key为二进制值，index为通过哈希函数映射后得到的哈希值，所述哈希值与对应存储块中的存储桶相对应。

本发明还提出一种通过软件搬移降低HASH冲突的装置，其包括存储任意长度二进制值的RAM，哈希映射模块，判断存储位置是否为空的判断模块以及对已存储的二进制值进行搬移的搬移模块，其中：

所述RAM分为至少两个存储块，每一存储块中包括复数个存储桶，每一存储桶中包括至少一存储位置；

所述哈希映射模块用于将待存储的二进制值通过哈希函数映射成与所述存储块中的存储桶相应的哈希值；

所述判断模块用于判断所述哈希值对应的存储桶中的存储位置是否为空，如果为空，则将所述二进制值存入所述存储位置；

所述搬移模块用于将已存储于其中一个存储块中存储位置的二进制值搬移至其他存储块中相应为空的存储位置。

所述哈希映射模块中，不同的存储块采用不同的哈希函数，从而使二进制值映射在不同的存储块的哈希值不相同。

本发明的有益效果是：通过二进制值的搬移，最大化的利用了RAM(相同规格，减少了RAM的使用)，并且减少了TCAM的使用，节省了处理器的成本。对于已经在使用的处理器，则可以最大化的利用处理器的RAM和TCAM，增大规格。

附图说明

图1是本发明通过软件搬移降低HASH冲突的示意图；

图2是本发明实施例中将二进制值通过查找存入RAM中的示意图；

图3是图3发生HASH冲突时进行搬移的示意图；

图4是通过软件搬移图3中二进制值后的示意图。

具体实施方式

下面将结合本发明的附图，对本发明实施例的技术方案进行清楚、完整的描述。

本发明提出的降低HASH冲突的方法，其通过HASH搬移二进制值的存储位置来降低HASH冲突的概率。HASH搬移的过程涉及到哈希算法，哈希算法是将任意长度的二进制值key映射为固定长度的较小二进制值，这个较小的二进制值称为哈希值index。哈希函数也就是把任意长度的二进制值key映射为哈希值index的一个函数，设为func。

本实施例以将RAM分成两块存储块为例来说明HASH搬移的过程。如图2所示，在采用HASH算法进行搬移时，首先将RAM平均分成两块存储块，一块称之为左桶，另一块称之为右桶。左桶和右桶都具有一定的桶深，该桶深表示桶里可以放置的哈希值index相同的二进制值key的数量。而左右桶的主要区别是它们使用的哈希函数不一样。左桶使用的哈希函数设为函数func1，右桶使用的哈希函数设为函数func2。

如图1所示，左桶和右桶分别包括8个桶，分别表示为第一左桶1，第二左桶2....，第七右桶7′，第八右桶8′，每个桶的桶深为2，表示每一个桶可存放两个哈希值index相同的二进制值key，且存储位置分别为第一存储位置和第二存储位置。当要存放一个二进制值key时，先下入到左桶，即用index1＝func1(key)，计算得到哈希值index1，然后判断哈希值index1所在的两条二进制值key的存储位置是否为空，只要有一个为空，就可以把二进制值key下到相应的位置。如果两条存储位置都不为空，则下到右桶，即用index2＝func2(key)，计算得到哈希值index2，然后判断哈希值index2所在的两条二进制值key的存储位置是否为空，只要有一个为空，就可以把key存放到相应的位置。

以图2中各个key的存储位置为例来说，对于二进制值key1，先使用哈希函数index1＝func1(key1)，计算得到哈希值index1为5，即哈希值index1的存储位置为第五左桶5，然后查找到第五左桶5并判断第五左桶5所在的两条二进制值key的存储位置是否为空，发现都是空的，就将二进制值key1存放到第五左桶5的第一存储位置。

同理，对于二进制值key2，先使用哈希函数index1＝func1(key2)，计算得到哈希值index1为4，即哈希值index1的存储位置为第四左桶4，然后查找到第四左桶4并判断第四左桶4所在两条key的存储位置是否为空，发现都是空的，就将二进制值key2存放到第四左桶4的第一存储位置。

对于二进制值key3，先使用哈希函数index1＝func1(key3)，计算得到哈希值index1为2，即哈希值index1的存储位置为第二左桶2，然后查找到第二左桶2并判断第二左桶2所在两条key的存储位置是否为空，发现都是空的，就将二进制值key3存放到第二左桶2的第一存储位置。

对于二进制值key4，先使用哈希函数index1＝func1(key4)，计算得到哈希值index1为4，即哈希值index1的存储位置为第四左桶4，然后查找到第四左桶4并判断第四左桶4所在两条key的存储位置是否为空，发现第二存储位置为空，就将二进制值key4存放到第四左桶4的第二存储位置。

对于二进制值key5，先使用哈希函数index1＝func1(key5)，计算得到哈希值index1为2，即哈希值index1的存储位置为第二左桶2，然后查找到第二左桶2并判断第二左桶2所在两条key的存储位置是否为空，发现第二存储位置为空，就将二进制值key5存放到第二左桶2的第二存储位置。

对于二进制值key6，先使用哈希函数index1＝func1(key6)，计算得到哈希值index1为2，即哈希值index1的存储位置为第二左桶2，然后查找到第二左桶2并判断第二左桶2所在两条key的存储位置是否为空，发现都不为空，此时，接着使用哈希函数index2＝func2(key6)，计算得到哈希值index2为4，然后在右桶中查找第四右桶4′并判断第四右桶4′所在两条key的存储位置是否为空，发现都是空的，就将二进制值key6存放到第四右桶4′的第一存储位置。

对于二进制值key7，key8，采用与二进制值key6相同的方法进行计算、查找及判断后，分别存放于第二右桶2′的第一存储位置及第四右桶4′的第二存储位置。

然而对于二进制值key9，先使用第一哈希函数index1＝func1(key9)，计算得到哈希值index1为2，即哈希值index1的存储位置为第二左桶2，然后查找到第二左桶2并判断得知第二左桶的两个存储位置都不为空，因此接着使用第二哈希函数index2＝func2(key9)，计算得到哈希值index2为第四右桶4′，然后查找到第四右桶4并判断得知第四右桶4的两条key的存储位置都不为空，此时就发生了hash冲突，二进制值key9无法下到RAM里。

出现这种情况后，即可采用本发明的HASH搬移方法进行搬移后，key9就可以下到RAM里的，如图3所示，通过软件进行HASH搬移的具体步骤如下：

Step1：先取出key9对应的第二左桶2第一存储位置中已经存放的第一条key，即key3，然后使用第二哈希函数index2＝func2(key3)，计算key3在右桶中的位置为第七右桶7′，然后查找到第七右桶7′并判断第七右桶7′的两个存储位置是否为空，发现都是空的，就将key3存放到第七右桶7′的第一存储位置。

Step2：将左桶里的原来存放的key3删除，使得原来存放key3的存储位置(第二左桶2的第一存储位置)为空；

Step3：把key9下到第二左桶2的第一存储位置，即原来key3的存储位置。

通过上面三个步骤后，就实现了把key9下到RAM里，如图2所示。

然而，在一些特殊情况下，使用本发明的软件搬移方法时可能出现搬不动的情况，如图4所示，对于二进制值key10，使用与存放key9相同的方法进行存放时，即先使用第一哈希函数index1＝func1(key10)，计算得到哈希值index1为第二左桶2，然后经查找并判断发现第二左桶2的两个存储位置都不为空，则接着使用index2＝func2(key10)，计算得到index2为第四右桶4′，然后经查找并判断发现第四右桶4′所在两个存储位置也都不为空。此时也发生hash冲突了，采用本发明的软件搬移方法进行如下搬移：

Step1：先取出第二左桶2第一存储位置存放的第一条key，即key9，然后使用第二哈希函数index2＝func2(key9)，计算key9在右桶的位置为第四右桶4′，然后判断第四右桶4′所在两条key的存储位置是否为空，发现都不为空，即key9搬不动。

Step2：取出第二左桶2的第二存储位置存放的第二条key，即key5，然后使用第二哈希函数index2＝func2(key5)，计算key5在右桶的位置为第四右桶4′，然后判断第四右桶4′所在两条key的存储位置是否为空，发现都不为空，即key5搬不动。

Step3：前面两个步骤搬移左桶index1为第二左桶2中两个存储位置的两条key，都无法搬动，这个步骤开始搬移右桶，即取出第四右桶4′里第一存储位置的第一条key，即key6，然后使用第一哈希函数index1＝func1(key6)，计算key6在左桶的位置为第二左桶2，然后判断第二左桶2所在的两个存储位置是否为空，发现都不为空，即key6搬不动。

Step4：取出第四右桶4′第二存储位置的第二条key，即key8，然后使用第一哈希函数index1＝func1(key8)，计算key8在左桶的位置为第二左桶2，然后判断第二左桶2的两个存储位置是否为空，发现都不为空，即key8搬不动。

至此，key10在左桶和右桶的index1和index2位置，都被占满了，并且这些占满的key都搬不动，此时通过软件搬移无法把key10下到RAM里，key10可以选择存放到TCAM中，即此时就需要使用TCAM来解决冲突了。

对于软件搬移搬不动的情况，一般在RAM利用率已经很高时才会出现，在RAM利用率低时，一般都是可以搬得动的。

本发明的技术内容及技术特征已揭示如上，然而熟悉本领域的技术人员仍可能基于本发明的教示及揭示而作种种不背离本发明精神的替换及修饰，因此，本发明保护范围应不限于实施例所揭示的内容，而应包括各种不背离本发明的替换及修饰，并为本专利申请权利要求所涵盖。

Claims (8)

1.一种通过软件搬移降低HASH冲突的方法，其特征在于：在将任意长度的二进制值(key)存入RAM中时，首先将RAM分成至少两个存储块，每个存储块采用不同的哈希函数将所述二进制值映射至其中不同的存储位置；所述二进制值包括某一待存储的第一二进制值和已存储的第二二进制值，当所述待存储的第一二进制值在所有存储块中相应的存储位置都已被已存储的第二二进制值占用时，则将其中一个存储块中的已存储的第二二进制值搬移至其他存储块中对应的为空的存储位置进行存储，进而使得第一二进制值能够存储在搬移出第二二进制值的存储位置。

2.根据权利要求1所述的通过软件搬移降低HASH冲突的方法，其特征在于：所述将第二二进制值搬移至其他存储块中对应的为空的存储位置进行存储包括以下步骤：

S1，定义第二二进制值在原存储块中的存储位置为第一存储位置，在另一存储块中的存储位置为第二存储位置，将第二二进制值从其原存储位置中取出，通过所述对应的哈希函数映射后，查找到所述第二存储位置，判断第二存储位置为空时，则将第二二进制值存入所述第二存储位置；

S2，删除所述第一存储位置上的第二二进制值，使第一存储位置为空；

S3，将所述第一二进制值存入所述第一存储位置。

3.根据权利要求2所述的通过软件搬移降低HASH冲突的方法，其特征在于：所述S1中，当查找到的第二存储位置为非空时，则继续在其他存储块中进行查找，并在找到为空的存储位置时将所述第二二进制值存入。

4.根据权利要求3所述的通过软件搬移降低HASH冲突的方法，其特征在于：当查遍所述的存储块后未发现为空的存储位置时，则循环进行其他存储块中第二二进制值的搬移。

5.根据权利要求1所述的通过软件搬移降低HASH冲突的方法，其特征在于：所述每一存储块中包括复数个存储桶，每一存储桶中包括至少一个存储位置。

6.根据权利要求5所述的通过软件搬移降低HASH冲突的方法，其特征在于：所述存储块中采用的哈希函数为：

index＝func(key)

其中，key为二进制值，index为通过哈希函数映射后得到的哈希值，所述哈希值与对应存储块中的存储桶相对应。

7.一种通过软件搬移降低HASH冲突的装置，其特征在于：包括存储任意长度二进制值的RAM，哈希映射模块，判断存储位置是否为空的判断模块以及对已存储的二进制值进行搬移的搬移模块，其中：

所述RAM分为至少两个存储块，每一存储块中包括复数个存储桶，每一存储桶中包括至少一存储位置；

所述哈希映射模块用于将待存储的二进制值通过哈希函数映射成与所述存储块中的存储桶相应的哈希值；

所述判断模块用于判断所述哈希值对应的存储桶中的存储位置是否为空，如果为空，则将所述二进制值存入所述存储位置；

所述搬移模块用于将已存储于其中一个存储块中存储位置的二进制值搬移至其他存储块中相应为空的存储位置。

8.一种通过软件搬移降低HASH冲突的装置，其特征在于：所述哈希映射模块中，不同的存储块采用不同的哈希函数，从而使二进制值映射在不同的存储块的哈希值不相同。

Images