CN109670083A - 一种基于动态内存分配存储hash链表的fpga实现装置及方法 - Google Patents

Abstract

本发明涉及一种基于动态内存分配存储HASH链表的FPGA实现装置及方法，装置包括缓存模块、哈希控制模块、哈希计算结果调度模块、哈希链表处理模块、查找结果调度模块，缓存模块与哈希控制模块相连，哈希计算结果调度模块分别与哈希控制模块、哈希链表处理模块、查找结果调度模块相连，哈希链表处理模块与查找结果调度模块相连。本发明应用于FPGA实现HASH链表存储的领域，采用一种动态内存灵活分配的方法，利用FPGA并行化处理的优势，快速实现HASH链表的存储及查找功能。本发明可以应用于使用HASH链表进行数据存储、相同字符串匹配查找的应用领域，比如FPGA方法实现GZIP压缩、LZ77压缩、网络报文统计等领域，该发明满足HASH算法对于速度、资源及准确性的要求。

Description

一种基于动态内存分配存储HASH链表的FPGA实现装置及方法

技术领域：

本发明涉及一种动态内存灵活分配的方法，特别涉及一种基于动态内存分配存储HASH链表的FPGA实现装置及方法，应用于FPGA实现HASH链表存储的领域，本发明可以应用于使用HASH链表进行数据存储、相同字符串匹配查找的应用领域，比如FPGA方法实现GZIP压缩、LZ77压缩、网络报文统计等领域。

背景技术：

一般HASH表采用链地址法存储，即所有HASH地址相同的字符串都被映射到同一个链表中，HASH地址不相同的字符串映射到不同的链表中。同一个HASH地址的冲突越大时，其对应的链表长度越长。在极端坏(100％冲突)情况下，所有的数据都被映射到同一个链表中；在极端好(0％冲突)情况下，所有的链表都只有一个节点。存在查找字符串匹配速度慢，浪费资源等缺陷。

发明内容：

本发明目的为了克服上述现有技术存在的问题和缺陷，提供一种基于动态内存分配存储HASH链表的FPGA实现装置及方法，本发明采用并行方式大大提高HASH链表的插入、移出及查找表速度。采用动态分配方式，为每个存在冲突的HASH地址在表中分配一段动态大小的连续空间，节省逻辑资源；采用首尾指针方式指示链表位置，实现快速定位；采用动态开放地址法存储冲突表，实现快速读出所有相同HASH地址。该发明方法可应用于采用HASH算法实现相同字符串查找、统计并且逻辑资源有限的场合。

本发明的技术方案为：

一种基于动态内存分配存储HASH链表的FPGA实现装置，包括缓存模块、哈希控制模块、哈希计算结果调度模块、哈希链表处理模块、查找结果调度模块，其特征在于：缓存模块与哈希控制模块相连，哈希计算结果调度模块分别与哈希控制模块、哈希链表处理模块、查找结果调度模块相连，哈希链表处理模块与查找结果调度模块相连，

缓存模块为32KB大小的双端口RAM，循环存储滑动窗口内的数据，为哈希控制模块提供HASH插入链表、移出链表、待编码字符串的数值；

哈希控制模块控制原始数据的读取，将原始数据转成3个连续字符串一组的数据流并计算HASH值；将已插入到哈希表的数据指针发送给缓存模块；完成输入原始数据的比较，统计输入数据的重复次数，后续一起插入HASH表；

哈希计算结果调度模块实现HASH计算结果的分发调度，将计算结果下发到8个通道分别进行HASH表的建立和维护，通过并行处理的方式加快HASH链表的维护及指针的更新；

哈希链表处理模块建立并维护冲突表存储信息，以HASH值为寻址指针将HASH值相同的字符串存储在一起，同时将滑动窗口外的数据移出链表，通过动态分配缓存的方式灵活的构建一部变化的HASH链表。在进行匹配字符串查找时，通过HASH值寻址查找的方式提供相同匹配字符串的地址信息，由于HASH值相同的字符串是链接在一起的，所以可以快速的得到相同匹配字符串的地址信息；

查找结果调度模块实现相同字符串匹配值查找的控制，对HASH链表给出的查找结果进行判断，剔除掉不在滑动窗口内的匹配值，按距离滑动窗口右侧的距离由近及远输出匹配结果。

一种基于动态内存分配存储HASH链表的FPGA实现装置的方法，其特征在于按以下步骤进行：

步骤一，将原始数据按顺序将已经插入HASH链表的数据存入缓存模块，并且为哈希控制模块提供插入链表的数值，缓存模块为32K字节大小的双端口RAM，是一个循环写入的缓存，通过指针的方式指示当前滑动窗口的位置；

步骤二，哈希控制模块控制原始数据的读取，将原始数据转成3个连续字符串一组的数据流并计算其HASH值，将已插入到哈希表的数据指针发送给缓存模块控制滑动窗口的移动。在计算HASH值的同时对3个连续字符串的数据流进行比较，统计输入数据的重复次数，在后续进行插入链表及移出链表的操作时可以同时操作这些重复的字符串加快维护链表的速度。

步骤三，哈希计算结果调度模块将哈希控制模块产生的HASH计算结果进行分发调度，产生8个通道的HASH维护请求，通过并行处理的方式加快HASH链表的维护及指针的更新。

步骤四，哈希链表处理模块建立并维护冲突表存储信息，根据哈希计算结果调度模块下发的请求命令，以HASH值为寻址指针将HASH值相同的字符串存储在一起，同时将滑动窗口外的数据移出链表，通过动态分配缓存的方式灵活的构建一部变化的HASH链表。对于查找操作请求，通过HASH值寻址的方式快速的给出相同匹配字符串的位置信息。

哈希链表处理模块采用两片RAM来存储HASH链表，一片RAM为数据空间，即存储HASH链表地址，另一片RAM为控制空间，存储每一个HASH地址链表的长度及首尾指针、已经分配的存储空间的数量和每一个分配的存储空间的首地址，在查找匹配结果时根据控制RAM的值读取匹配结果。

链表地址空间采用动态分配的方式，为每个存储在冲突的HASH地址在表中分配一段固定大小的连续空间，用于冲突表项的存储，没有冲突的HASH地址则不分配该地址空间；当链表长度超过已分配的固定大小的连续空间时，继续分配一片固定大小的连续空间，每次分配的存储空间为连续空间，空间大小根据配置的参数选取；

将链表存储的首尾地址存储在控制RAM中，插入链表、移出链表操作以及查找表时快速的定位、读取该位置的存储结果，提高速率；

将冲突链表分配的存储空间数量及首地址存储在控制链表中，这样可以在查找匹配字符串时快速的读出所有相同HASH地址；

采取并行的运行模式，将冲突链表分成8个部分，8个部分能同时操作，这样就能同时进行8个HASH值的操作，极大的提高HASH存储及查找的速度。

步骤五，对于8个并行的哈希链表处理模块提供的相同匹配字符串查找结果，查找结果调度模块将其合并在一起，同时检查其字符串信息是否和要求查找的字符串相等，剔除掉HASH结算结果相等但实际字符串不相等的查找结果。

实施本发明的优势：

1.采用并行处理方式，充分利用FPGA并行运行的特性，极大的提高了HASH处理速度；

2.在HASH链表存储空间中，采用动态地址分配的方法，不同链表长度范围分配不同长度的固定地址空间，以此节约逻辑资源；

3.HASH链表存储空间控制部分采用首尾指针的方式，在进行HASH插入链表、移除链表、查找操作时可快速指向对应位置；

4.HASH链表最大链表长度根据实际情况灵活配置，可以满足应用坏境对HASH链表查找的不同需求。

附图说明：

图1为本发明的开放地址法存储HASH地址示意图。

图2为本发明装置的示意框图。

具体实施方式：

结合附图对本发明作进一步描述。

如图2所示，一种基于动态内存分配存储HASH链表的FPGA实现装置，包括缓存模块、哈希控制模块、哈希计算结果调度模块、哈希链表处理模块、查找结果调度模块，其特征在于：缓存模块与哈希控制模块相连，哈希计算结果调度模块分别与哈希控制模块、哈希链表处理模块、查找结果调度模块相连，哈希链表处理模块与查找结果调度模块相连；

缓存模块:32KB大小的双端口RAM，循环存储滑动窗口内的数据，为哈希控制模块提供HASH插入链表、移出链表、待查找匹配字符串的数值。

哈希控制模块:控制原始数据的读取，将原始数据转成3个连续字符串一组的数据流并计算HASH值；将已插入到哈希表的数据指针发送给缓存模块；完成输入原始数据的比较，统计输入数据的重复次数，后续一起插入HASH表；每次匹配查找完成后，缓存模块将需移入HASH表和移出HASH表的数据快速的发送给本模块，本模块进行缓存之后再慢慢移入HASH表和清表；

哈希计算结果调度模块:

(1)实现HASH计算结果的分发调度，将计算结果(3个字字符串的HASH结果)下发到8个通道分别进行HASH表的建立和维护，通过并行处理的方式加快HASH链表的维护及指针的更新：包括窗口内数据HASH表的写入和编码后需移出窗口的数据HASH值的清理；(2)更新插入HASH表的数据指针。

哈希链表处理模块:建立并维护冲突表存储信息，以HASH值为寻址指针将HASH值相同的字符串存储在一起，同时将滑动窗口外的数据移出链表，通过动态分配缓存的方式灵活的构建一部变化的HASH链表。在进行匹配字符串查找时，通过HASH值寻址查找的方式提供相同匹配字符串的地址信息，由于HASH值相同的字符串是链接在一起的，所以可以快速的得到相同匹配字符串的地址信息；具体实现如下：

①表中的存储地址空间采用动态分配的方式，为每个存在冲突的HASH地址在表中分配一段固定大小的连续空间，用于冲突表项的存储，没有冲突的HASH地址则不分配该地址空间；当链表长度超过已分配的固定大小的连续空间时，继续分配一片固定大小的连续空间，每次分配的存储空间为连续空间，空间大小根据配置的参数选取；存储结构如图1所示；②首先给每一个HASH地址在链表中分配N1个地址存储空间，当这N1个地址存储满后，继续分配N2个地址的固定大小的连续空间，当这N2个地址存储满后，继续分配N3个地址的固定大小的连续空间，存储过程中会通过指针的方式指出每一个已分配空间的首地址,将其存储在控制链表中；移出链表操作过程中，遇到整块分配空间空出来后，将该缓存空间释放出来，以供后续分配使用。当冲突表整个空间分配满后，存储的冲突值可覆盖最先写入的地址。分配空间大小的参数N1/N2/N3以及最大链表长度是根据FPGA逻辑资源及RAM资源大小以及应用场景灵活分配。③将链表存储的首尾地址存储在控制RAM中，插入链表、移出链表操作以及查找表时快速的定位、读取该位置的存储结果，提高速率；将冲突链表分配的存储空间数量及首地址存储在控制链表中，这样可以在查找匹配字符串时快速的读出所有相同HASH地址；采取并行的运行模式，将冲突链表分成8个部分，8个部分能同时操作，这样就能同时进行8个HASH值的操作，极大的提高HASH存储及查找的速度。

链表的具体建表过程如下：

(1)接收到插入链表命令后，首先读取控制RAM对应HASH地址的数据，通过读取该数据后可以知晓以下信息：该HASH值对应的冲突链表占用了几个动态分配区间、已插入的冲突表首尾两个的地址、每一个动态空间的首地址、链表长度；

(2)将移入的原表头中的数据插入链表的尾部，更新步骤(1)中的数据。

查找结果调度模块：实现相同字符串匹配值查找的控制，对HASH链表给出的查找结果进行判断，剔除掉不在滑动窗口内的匹配值，按距离滑动窗口右侧的距离由近及远输出匹配结果。

一种基于动态内存分配存储HASH链表的FPGA实现装置的方法，其特征在于按以下步骤进行：

步骤一，将原始数据按顺序将已经插入HASH链表的数据存入缓存模块，并且为哈希控制模块提供插入链表的数值，缓存模块为32K字节大小的双端口RAM，是一个循环写入的缓存，通过指针的方式指示当前滑动窗口的位置；

步骤二，哈希控制模块控制原始数据的读取，将原始数据转成3个连续字符串一组的数据流并计算其HASH值，将已插入到哈希表的数据指针发送给缓存模块控制滑动窗口的移动。在计算HASH值的同时对3个连续字符串的数据流进行比较，统计输入数据的重复次数，在后续进行插入链表及移出链表的操作时可以同时操作这些重复的字符串加快维护链表的速度。

步骤三，哈希计算结果调度模块将哈希控制模块产生的HASH计算结果进行分发调度，产生8个通道的HASH维护请求，通过并行处理的方式加快HASH链表的维护及指针的更新。

步骤四，哈希链表处理模块建立并维护冲突表存储信息，根据哈希计算结果调度模块下发的请求命令，以HASH值为寻址指针将HASH值相同的字符串存储在一起，同时将滑动窗口外的数据移出链表，通过动态分配缓存的方式灵活的构建一部变化的HASH链表。对于查找操作请求，通过HASH值寻址的方式快速的给出相同匹配字符串的位置信息。

具体实现如下：哈希链表处理模块采用两片RAM来存储HASH链表，一片RAM为数据空间，即存储HASH链表地址，另一片RAM为控制空间，存储每一个HASH地址链表的长度及首尾指针、已经分配的存储空间的数量和每一个分配的存储空间的首地址，在查找匹配结果时根据控制RAM的值读取匹配结果。链表地址空间采用动态分配的方式，为每个存储在冲突的HASH地址在表中分配一段固定大小的连续空间，用于冲突表项的存储，没有冲突的HASH地址则不分配该地址空间；当链表长度超过已分配的固定大小的连续空间时，继续分配一片固定大小的连续空间，每次分配的存储空间为连续空间，空间大小根据配置的参数选取；将链表存储的首尾地址存储在控制RAM中，插入链表、移出链表操作以及查找表时快速的定位、读取该位置的存储结果，提高速率；将冲突链表分配的存储空间数量及首地址存储在控制链表中，这样可以在查找匹配字符串时快速的读出所有相同HASH地址；采取并行的运行模式，将冲突链表分成8个部分，8个部分能同时操作，这样就能同时进行8个HASH值的操作，极大的提高HASH存储及查找的速度。

步骤五，对于8个并行的哈希链表处理模块提供的相同匹配字符串查找结果，查找结果调度模块将其合并在一起，同时检查其字符串信息是否和要求查找的字符串相等，剔除掉HASH结算结果相等但实际字符串不相等的查找结果。

Claims (4)

1.一种基于动态内存分配存储HASH链表的FPGA实现装置，包括缓存模块、哈希控制模块、哈希计算结果调度模块、哈希链表处理模块、查找结果调度模块，其特征在于：缓存模块与哈希控制模块相连，哈希计算结果调度模块分别与哈希控制模块、哈希链表处理模块、查找结果调度模块相连，哈希链表处理模块与查找结果调度模块相连，

缓存模块为32KB大小的双端口RAM，循环存储滑动窗口内的数据，为哈希控制模块提供HASH插入链表、移出链表、待编码字符串的数值；

哈希控制模块控制原始数据的读取，将原始数据转成3个连续字符串一组的数据流并计算HASH值；将已插入到哈希表的数据指针发送给缓存模块；完成输入原始数据的比较，统计输入数据的重复次数，后续一起插入HASH表；

哈希计算结果调度模块实现HASH计算结果的分发调度，将计算结果下发到8个通道分别进行HASH表的建立和维护，通过并行处理的方式加快HASH链表的维护及指针的更新；

哈希链表处理模块建立并维护冲突表存储信息，以HASH值为寻址指针将HASH值相同的字符串存储在一起，同时将滑动窗口外的数据移出链表，通过动态分配缓存的方式灵活的构建一部变化的HASH链表。在进行匹配字符串查找时，通过HASH值寻址查找的方式提供相同匹配字符串的地址信息，由于HASH值相同的字符串是链接在一起的，所以可以快速的得到相同匹配字符串的地址信息；

查找结果调度模块实现相同字符串匹配值查找的控制，对HASH链表给出的查找结果进行判断，剔除掉不在滑动窗口内的匹配值，按距离滑动窗口右侧的距离由近及远输出匹配结果。

2.一种根据权利要求1所述的基于动态内存分配存储HASH链表的FPGA实现装置的方法，其特征在于：

步骤一：将原始数据按顺序将已经插入HASH链表的数据存入缓存模块，并且为哈希控制模块提供插入链表的数值，缓存模块为32K字节大小的双端口RAM，是一个循环写入的缓存，通过指针的方式指示当前滑动窗口的位置；

步骤二：哈希控制模块控制原始数据的读取，将原始数据转成3个连续字符串一组的数据流并计算其HASH值，将已插入到哈希表的数据指针发送给缓存模块控制滑动窗口的移动；在计算HASH值的同时对3个连续字符串的数据流进行比较，统计输入数据的重复次数，在后续进行插入链表及移出链表的操作时可以同时操作这些重复的字符串加快维护链表的速度；

步骤三：哈希计算结果调度模块将哈希控制模块产生的HASH计算结果进行分发调度，产生8个通道的HASH维护请求，通过并行处理的方式加快HASH链表的维护及指针的更新；

步骤四：哈希链表处理模块建立并维护冲突表存储信息，根据哈希计算结果调度模块下发的请求命令，以HASH值为寻址指针将HASH值相同的字符串存储在一起，同时将滑动窗口外的数据移出链表，通过动态分配缓存的方式灵活的构建一部变化的HASH链表；对于查找操作请求，通过HASH值寻址的方式快速的给出相同匹配字符串的位置信息；

步骤五：对于8个并行的哈希链表处理模块提供的相同匹配字符串查找结果，查找结果调度模块将其合并在一起，同时检查其字符串信息是否和要求查找的字符串相等，剔除掉HASH结算结果相等但实际字符串不相等的查找结果。

3.根据权利要求2所述的基于动态内存分配存储HASH链表的FPGA实现装置的方法，其特征在于：所述步骤四哈希链表处理模块采用两片RAM来存储HASH链表，一片RAM为数据空间，即存储HASH链表地址，另一片RAM为控制空间，存储每一个HASH地址链表的长度及首尾指针、已经分配的存储空间的数量和每一个分配的存储空间的首地址，在查找匹配结果时根据控制RAM的值读取匹配结果。

4.根据权利要求3所述的基于动态内存分配存储HASH链表的FPGA实现装置的方法，其特征在于：所述步骤四具体实现方法为：(1)链表地址空间采用动态分配的方式，为每个存储在冲突的HASH地址在表中分配一段固定大小的连续空间，用于冲突表项的存储，没有冲突的HASH地址则不分配该地址空间；当链表长度超过已分配的固定大小的连续空间时，继续分配一片固定大小的连续空间，每次分配的存储空间为连续空间，空间大小根据配置的参数选取；(2)将链表存储的首尾地址存储在控制RAM中，插入链表、移出链表操作以及查找表时快速的定位、读取该位置的存储结果，提高速率；(3)将冲突链表分配的存储空间数量及首地址存储在控制链表中，这样可以在查找匹配字符串时快速的读出所有相同HASH地址；(4)采取并行的运行模式，将冲突链表分成8个部分，8个部分能同时操作，这样就能同时进行8个HASH值的操作，极大的提高HASH存储及查找的速度。