CN101122885A - 一种数据缓存处理方法、系统及数据缓存装置 - Google Patents

Abstract

本发明适用于数据缓存领域，提供了一种数据缓存处理方法、系统及数据缓存装置，所述方法包括下述步骤：配置缓存中的节点，以及所述节点对应的内存分片，所述节点用于存储数据的索引信息和指向对应内存分片的指针，所述内存分片用于存储写入缓存的数据；根据配置的节点以及对应的内存分片对数据进行缓存处理。本发明对数据的大小要求较低，通用性好，不需要对单个存储数据大小分布的先验知识，既提高了缓存的通用性，又可以有效减少内存的浪费，提高内存使用率。

Description

一种数据缓存处理方法、系统及数据缓存装置

技术领域

本发明属于数据缓存领域，尤其涉及一种数据缓存处理方法、系统及数据缓存装置。

背景技术

在计算机与互联网应用中，为了提高用户的访问速度并降低后端服务器的压力，在数据库、磁盘等慢速系统或设备的前端，一般采用缓存(Cache)技术，利用内存等访问速度较快的设备存储用户经常访问的数据，由于内存的访问速度比磁盘等快得多，既可以减轻后端设备的压力，又能够及时响应用户请求。

缓存中可以存储各种数据类型，例如用户的属性数据、图片数据以及用户需要保存的各种文件等。图1示出了现有缓存的结构，包含头部结构、哈希(Hash)桶和多个节点(Node)。其中，头部结构中保存有哈希桶(Hash Bucket)的位置，Hash桶的桶深(hash值个数)，节点数，已经使用的节点数等。Hash桶中存储各hash值对应的节点链表头指针，该指针指向一个节点，由于每个节点都指向下一个节点直至最后一个节点，因此从该指针可以得到整条节点链。

节点中存储关键字(Key)、数据(Data)和指向下一节点的指针，是缓存的主要操作单元。在某个hash值所对应的节点链表长度不够时，设立由多个节点组成的附加节点链表备用，其头指针保存在附加头部。附加节点链表与节点链表的组织形式一致。

当插入一条记录时，得到需要写入缓存的数据及其对应的关键字，根据该关键字通过Hash散列算法确定对应的hash值，顺序遍历该hash值对应的节点链表，查找是否存在对应于该关键字的记录，如果有则更新该记录，如果没有则将数据插入到该节点链表的最后一个节点。如果该节点链表中的节点已经用完，则将该关键字和数据存储在附加节点链表头指针指向的附加节点链表中。

当读取一条记录时，根据该记录的关键字通过Hash散列算法确定对应的hash值，顺序遍历该hash值对应的节点链表，查找是否存在对应于该关键字的记录，如果没有查找到再去查找附加节点链表，如果已经查找到，则将相应数据返回。

当删除一条记录时，根据该记录的关键字通过Hash散列算法确定对应的hash值，顺序遍历该hash值对应的节点链表，查找是否存在对应于该关键字的记录，如果没有查找到再去查找附加节点链表，查找到后删除此关键字和相应数据。

在现有缓存中，由于一块数据必须存储在一个节点内，因此节点内的数据空间必须大于所需要存储的数据长度，这就需要在缓存使用之前对缓存的数据大小有一个较为明确的认识，避免较大的数据无法存入缓存。同时，由于实际应用中数据的大小一般存在较大的差别，但每个数据都需要占用一个节点，容易造成内存空间的浪费，在数据较小时浪费的内存空间更大。另外，记录的查找效率低，查找完单个节点链表后，如果没有查找到相应记录还需要查找附加节点链表，在附加节点链表较长的情况下查找消耗的时间较多。

发明内容

本发明实施例的目的在于提供一种数据缓存处理方法，旨在解决采用现有缓存的结构对数据进行缓存处理时，容易导致内存空间浪费，记录查找效率低的问题。

本发明实施例是这样实现的，一种数据缓存处理方法，所述方法包括下述步骤：

配置缓存中的节点，以及所述节点对应的内存分片，所述节点用于存储数据的索引信息和指向对应内存分片的指针，所述内存分片用于存储写入缓存的数据；

根据配置的节点以及对应的内存分片对数据进行缓存处理。

本发明实施例的另一目的在于提供一种数据缓存处理系统，所述系统包括：

缓存配置单元，用于配置缓存中的节点，以及所述节点对应的内存分片，所述节点用于存储数据的索引信息和指向对应内存分片的指针，所述内存分片用于存储写入缓存的数据；以及

缓存处理操作单元，用于根据配置的节点以及对应的内存分片对数据进行缓存处理。

本发明实施例的另一目的在于提供一种数据缓存装置，所述装置包括节点区和内存分片区，所述节点区包括：

头部结构，用于存储哈希桶的位置，哈希桶的桶深，节点区的节点总数，已使用的节点数，哈希桶使用数，以及空闲节点链表头指针；

哈希桶，用于存储每个哈希值对应的节点链表头指针；以及

至少一个节点，用于存储记录的关键字，节点中的数据长度，节点对应的内存分片链表头指针，节点链表前指针，以及节点链表后指针；

所述内存分片区包括：

头部结构，用于存储所述内存分片区的内存分片总数，内存分片大小，空闲内存分片总数，空闲内存分片链表头指针，以及内存分片链表头指针；以及

至少一个内存分片，用于存储写入缓存的数据，以及下一内存分片指针。

在本发明实施例中，配置缓存的节点以及节点对应的内存分片，节点中存储数据的索引信息和指向对应内存分片的指针，将数据存储在内存分片中，根据节点以及节点对应的内存分片执行各种数据缓存处理操作，该发明实施例对数据的大小要求较低，通用性好，不需要对单个存储数据大小分布的先验知识，既提高了缓存的通用性，又可以有效减少内存的浪费，提高内存使用率。

附图说明

图1是现有技术提供的缓存的结构图；

图2是本发明实施例提供的缓存的结构图；

图3是本发明实施例提供的在缓存中插入一条记录的实现流程图；

图4是本发明实施例提供的从缓存中读出一条记录的实现流程图；

图5是本发明实施例提供的从缓存中删除一条记录的实现流程图；

图6是本发明实施例提供的数据缓存处理系统的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明实施例中，配置缓存的节点以及节点对应的内存分片，节点中存储数据的索引信息和指向对应内存分片的指针，将数据存储在内存分片中，并根据节点以及节点对应的内存分片执行各种数据缓存处理操作，例如插入记录、读取记录或者删除记录等。

图2示出了本发明实施例提供的缓存的结构，包括节点区和内存分片(Chunk)区两个区。内存分片区是在内存中分配的一个共享内存区，该共享内存区划分为至少一个内存分片，用于存储数据，同一个节点对应的数据可以存储在多个内存分片中，需要的内存分片数量根据数据的大小分配。节点中存储索引信息和指向对应内存分片的指针。

节点区包含头部结构，Hash桶和至少一个节点。头部结构主要存储如下信息：

1.Hash桶的位置，指向Hash桶的起始位置；

2.Hash桶的桶深，表示Hash桶内hash值的个数；

3.节点总数，表示该缓存最多可以存储的记录个数；

4.已使用的节点数；

5.Hash桶使用数，表示Hash桶中当前节点链表的个数；

6.LRU操作附加链表头指针，指向LRU操作附加链表的头部；

7.LRU操作附加链表尾指针，指向LRU操作附加链表的尾部；

8.空闲节点链表头指针，指向空闲节点链表的头部，每次需要分配节点时，从空闲节点链表上取下一个节点使用，并将空闲节点链表头指针指向下一个节点。

Hash桶主要存储每个hash值对应的节点链表头指针。根据数据对应的关键字通过Hash散列算法确定对应的hash值，获取该hash值在Hash桶中的位置，查找对应的节点链表头指针，从而查找到该hash值对应的整条节点链。

节点主要存储以下信息：

1.关键字，用来唯一确定一条记录，不同记录的关键字不能重复；

2.节点中的数据长度，表示一个节点中实际存储数据的长度，可以据此计算所使用的内存分片数量；

3.内存分片链表头指针，指向存储该节点数据的内存分片链表上的一个内存分片，通过该指针可以得到该节点对应的整条内存分片链；

4.节点链表前指针，指向当前节点链表上的前一个节点；

5.节点链表后指针，指向当前节点链表上的后一个节点；

6.节点使用状态链表前指针，指向节点使用状态链表上的前一个节点；

7.节点使用状态链表后指针，指向节点使用状态链表上的后一个节点；

8.最后访问时间，记录该条记录的最后访问时间；

9.访问次数，记录该条记录在缓存中被访问的次数。

在本发明实施例中，可以根据节点链表前指针和节点链表后指针对节点链表进行灵活的节点插入或者删除等配置，例如将一个节点删除时，根据该节点的节点链表前指针和节点链表后指针调整其相邻的上一节点的节点链表后指针和下一节点的节点链表前指针，使得删除了该节点后的节点链表连续。

另外，本发明实施例通过节点使用状态链表头指针、节点使用状态链表尾指针、节点使用状态链表前指针、节点使用状态链表后指针，以及节点的最后访问时间、访问次数可以实现缓存的最近最少用(Least Recently Used，LRU)等操作，将节点中最近最少使用的数据移出内存，回收相应的内存分片和节点，以节省内存空间。

本发明实施例中，记录节点的使用状态，按照节点的最后访问时间和访问次数执行LRU操作，对节点进行淘汰。当一个节点被访问时，将该节点的前一个节点的节点使用状态链表后指针指向该节点的后一个节点，将该节点后一个节点的节点使用状态链表前指针指向该节点的前一个节点，这样就将该节点的前后节点连接起来，然后将该节点的节点使用状态链表后指针指向节点使用状态链表头指针指向的节点，将节点使用状态链表头指针指向该节点，从而将该节点插到使用状态链表的头部。当其他节点被访问时作类似处理，节点使用状态链表尾指针指向最少被访问的节点。在执行LRU操作时，删除节点使用状态链表尾指针当前指向的节点对应的内存分片中的数据，将该节点的内存分片回收。

内存分片区主要存储数据分片的链表结构和数据，包括头部结构和至少一个内存分片。

头部结构主要保存如下信息：

1.内存分片总数，表示内存分片区中的总内存分片数；

2.内存分片大小，表示一个内存分片能够存储的数据长度；

3.空闲内存分片总数，表示缓存还可以增加存储的最大数据长度；

4.空闲内存分片链表头指针，指向空闲内存分片链表的头部，每次需要分配节点内存分片时，从空闲内存分片链表上取空闲的内存分片使用。

内存分片包含数据区和内存分片后指针，分别用于存储实际记录的数据和下一内存分片指针。如果一个内存分片不够存储一条记录的数据，则可以将多个内存分片链接起来，将数据分片存储在每个内存分片对应的数据存储区域中。

图3示出了本发明实施例提供的在缓存中插入一条记录的实现流程，详述如下：

在步骤S301中，获取需要写入缓存的数据及其对应的关键字，根据该关键字通过Hash散列算法获取对应的hash值；

在步骤S302中，根据该hash值在Hash桶中的位置，获取该hash值对应的节点链表头指针；

在步骤S303中，根据该节点链表头指针，遍历Hash桶中的节点链表，查找该关键字是否已存在，是则执行步骤S304，否则执行步骤S308；

在步骤S304中，判断回收存储该关键字对应的记录的节点和内存分片后，空闲内存分片的总容量是否能够容纳该写入缓存的数据，是则执行步骤S305，否则结束；

在步骤S305中，将该关键字对应的记录中的数据删除，将原存储该记录的数据的内存分片链表头指针指向空闲内存分片链表，回收删除了数据后的内存分片。

在步骤S306中，根据数据的大小重新分配需要的内存分片；

在步骤S307中，将数据进行分片后依次写入分配的内存分片中，形成存储该数据的内存分片链表，并将节点的内存分片链表头指针指向该内存分片链表的头部；

在步骤S308中，判断空闲的总内存分片的容量是否能够容纳该写入缓存的数据，是则执行步骤S309，否则结束；

在步骤S309中，从空闲节点链表上取出一个节点；

在步骤S310中，根据需要存储的数据长度和内存分片的大小分配相应数量的内存分片，从空闲内存分片链表上取出所分配的内存分片，执行步骤S307将数据进行分片后依次写入所分配的内存分片中，形成存储该数据的内存分片链表，并将节点的内存分片链表头指针指向该内存分片链表的头部。

在本发明实施例中，添加一条记录时，如果用户数据超过一个内存分片所能存储的数据量，则需要将用户数据分片存储到多个内存分片中去。假设需要n个内存分片，前n-1个数据分片的大小都等于内存分片保存数据的容量，最后一个内存分片保存剩余数据，可能小于该内存分片的容量。读取一条记录的过程则相反。

图4示出了本发明实施例提供的从缓存中读出一条记录的实现流程，详述如下：

在步骤S401中，获取需要读取的数据的关键字，根据该关键字通过Hash散列算法获取该关键字对应的hash值；

在步骤S402中，根据hash值在Hash桶中的位置，查找对应的节点链表头指针；

在步骤S403中，根据该节点链表头指针，遍历Hash桶中的节点链表，查找该关键字是否已存在，是则执行步骤S404，否则结束；

在步骤S404中，查找该节点对应的内存分片链表头指针；

在步骤S405中，从该内存分片链表头指针指向的内存分片链表中依次读取内存分片数据，恢复成完整的数据块，返回给用户。

图5示出了本发明实施例提供的从缓存中删除一条记录的实现流程，详述如下：

在步骤S501中，获取需要读取的数据的关键字，根据该关键字通过Hash散列算法获取该关键字对应的hash值；

在步骤S502中，根据hash值在Hash桶中的位置，查找对应的节点链表头指针；

在步骤S503中，根据该节点链表头指针，遍历Hash桶中的节点链表，查找该关键字是否已存在，是则执行步骤S504，否则结束；

在步骤S504中，查找该节点对应的内存分片链表头指针；

在步骤S505中，将该内存分片链表中保存的数据删除，并将该内存分片链表中的内存分片的内存分片后指针全部指向空闲内存分片链表，从而将内存分片回收至空闲内存分片链表中；

在步骤S506中，将该节点的内存分片链表头指针指向空闲节点链表，从而将该节点回收至空闲节点链表中。

图6示出了本发明实施例提供的数据缓存处理系统的结构，详述如下：

缓存配置单元61对缓存63中的节点，以及节点对应的内存分片进行配置。其中，节点中存储数据的索引信息和指向对应内存分片的指针，内存分片中存储写入缓存63的数据。如前所述，索引信息中包含有数据的关键字，节点中的数据长度，节点对应的内存分片链表头指针，节点链表前指针，以及节点链表后指针等信息。

在对缓存63进行配置时，节点区配置模块611配置节点区存储的信息，节点区中包括头部结构、Hash桶以及至少一个节点，节点区头部结构、Hash桶和节点中存储的信息如前所述，不再赘述。内存分片区配置模块612配置内存分片区存储的信息，内存分片区中包括头部结构和至少一个内存分片，内存分片区头部结构和内存分片中存储的信息如前所述，不再赘述。

缓存处理操作单元62根据配置的节点以及对应的内存分片对数据进行缓存处理。

当插入一条记录时，记录插入模块621根据需要写入缓存63的数据所对应的关键字，查询节点链表，当节点链表中存在该关键字时，删除该关键字对应的内存分片中的数据，回收删除数据后的内存分片，并根据数据的大小分配相应的内存分片，将数据分片后依次写入所分配的内存分片中，当节点链表中不存在该关键字时，分配一个空闲节点，以及与该数据的长度对应的内存分片，将数据分片依次写入所分配的内存分片中。

当读取一条记录时，记录读取模块622根据需要写入缓存63的数据所对应的关键字，查询节点链表，当节点链表中存在该关键字时，依次读取该关键字对应的内存分片中的数据，恢复成完整的数据块。

当删除一条记录时，记录删除模块623根据需要写入缓存63的数据所对应的关键字，查询节点链表，当节点链表中存在该关键字时，将该关键字对应的内存分片中的数据删除，回收删除数据后的内存分片以及对应的节点。

作为本发明的一个实施例，通过最近最少使用处理模块624，可以根据记录的访问时间和访问次数对缓存63中的数据进行LRU操作，将最近最少使用的数据移出内存，回收相应的内存分片和节点，以节省内存空间。

本发明实施例对数据的大小要求较低，通用性好，不需要对单个存储数据大小分布的先验知识，既提高了缓存的通用性，又可以有效减少内存的浪费，提高内存使用率。同时，数据查找效率比较高，支持LRU等操作。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种数据缓存处理方法，其特征在于，所述方法包括下述步骤：

配置缓存中的节点，以及所述节点对应的内存分片，所述节点用于存储数据的索引信息和指向对应内存分片的指针，所述内存分片用于存储写入缓存的数据；

根据配置的节点以及对应的内存分片对数据进行缓存处理。

2.如权利要求1所述的方法，其特征在于，当插入一条记录时，所述根据配置的节点以及对应的内存分片对数据进行缓存处理的步骤具体为：

根据需要写入缓存的数据所对应的关键字，查询节点链表中是否存在该关键字；

当节点链表中存在该关键字，且回收该关键字对应的内存分片后，空闲内存分片的总容量能够容纳所述写入缓存的数据时，回收该关键字对应的内存分片，根据所述写入缓存的数据的大小分配相应的内存分片，将所述写入缓存的数据分片后依次写入所分配的内存分片中；

当节点链表中不存在该关键字时，且空闲内存分片的总容量能够容纳所述写入缓存的数据时，分配一个空闲节点，以及与所述写入缓存的数据的大小对应的内存分片，将所述写入缓存的数据分片后依次写入所分配的内存分片中。

3.如权利要求1所述的方法，其特征在于，当读取一条记录时，所述根据配置的节点以及对应的内存分片对数据进行缓存处理的步骤具体为：

根据需要写入缓存的数据所对应的关键字，查询节点链表中是否存在该关键字，是则依次读取该关键字对应的内存分片中的数据，恢复成完整的数据块，否则结束。

4.如权利要求1所述的方法，其特征在于，当删除一条记录时，所述根据配置的节点以及对应的内存分片对数据进行缓存处理的步骤具体为：

根据需要写入缓存的数据所对应的关键字，查询节点链表中是否存在该关键字，是则将该关键字对应的内存分片中的数据删除，回收删除数据后的内存分片以及对应的节点，否则结束。

5.如权利要求1所述的方法，其特征在于，所述根据配置的节点以及对应的内存分片对数据进行缓存处理的步骤进一步包括：

根据记录的访问时间和访问次数对缓存中的数据进行最近最少使用LRU操作。

6.如权利要求1至5任一权利要求所述的方法，其特征在于，所述数据的索引信息包括数据的关键字，节点中的数据长度，节点对应的内存分片链表头指针，节点链表前指针，以及节点链表后指针。

7.一种数据缓存处理系统，其特征在于，所述系统包括：

缓存配置单元，用于配置缓存中的节点，以及所述节点对应的内存分片，所述节点用于存储数据的索引信息和指向对应内存分片的指针，所述内存分片用于存储写入缓存的数据；以及

缓存处理操作单元，用于根据配置的节点以及对应的内存分片对数据进行缓存处理。

8.如权利要求7所述的系统，其特征在于，所述缓存配置单元包括：

节点区配置模块，用于配置节点区存储的信息，所述节点区包括头部结构、哈希桶以及至少一个节点；

内存分片区配置模块，用于配置内存分片区存储的信息，所述内存分片区包括头部结构以及至少一个内存分片。

9.如权利要求7所述的系统，其特征在于，所述缓存处理操作单元包括：

记录插入模块，用于根据需要写入缓存的数据所对应的关键字，查询节点链表，当节点链表中存在该关键字时，删除该关键字对应的内存分片中的数据，回收删除数据后的内存分片，并根据数据的大小分配相应的内存分片，将数据分片后依次写入所分配的内存分片中，当节点链表中不存在该关键字时，分配一个空闲节点，以及与该数据的长度对应的内存分片，将数据分片依次写入所分配的内存分片中。

10.如权利要求7所述的系统，其特征在于，所述缓存处理操作单元包括：

记录读取模块，用于根据需要写入缓存的数据所对应的关键字，查询节点链表，当节点链表中存在该关键字时，依次读取该关键字对应的内存分片中的数据，恢复成完整的数据块。

11.如权利要求7所述的系统，其特征在于，所述缓存处理操作单元包括：

记录删除模块，用于根据需要写入缓存的数据所对应的关键字，查询节点链表，当节点链表中存在该关键字时，将该关键字对应的内存分片中的数据删除，回收删除数据后的内存分片以及对应的节点。

12.如权利要求7所述的系统，其特征在于，所述缓存处理操作单元包括：

最近最少使用处理模块，用于根据记录的访问时间和访问次数对缓存中的数据进行最近最少使用LRU操作。

13.如权利要求7至12任一权利要求所述的系统，其特征在于，所述数据的索引信息包括数据的关键字，节点中的数据长度，节点对应的内存分片链表头指针，节点链表前指针，以及节点链表后指针。

14.一种数据缓存装置，其特征在于，所述装置包括节点区和内存分片区，所述节点区包括：

头部结构，用于存储哈希桶的位置，哈希桶的桶深，节点区的节点总数，已使用的节点数，哈希桶使用数，以及空闲节点链表头指针；

哈希桶，用于存储每个哈希值对应的节点链表头指针；以及

至少一个节点，用于存储记录的关键字，节点中的数据长度，节点对应的内存分片链表头指针，节点链表前指针，以及节点链表后指针；

所述内存分片区包括：

头部结构，用于存储所述内存分片区的内存分片总数，内存分片大小，空闲内存分片总数，空闲内存分片链表头指针，以及内存分片链表头指针；以及

至少一个内存分片，用于存储写入缓存的数据，以及下一内存分片指针。

15.如权利要求14所述的装置，其特征在于，所述节点区的头部结构中进一步存储有节点使用状态链表头指针和节点使用状态链表尾指针；

所述节点中进一步存储有节点使用状态链表前指针，节点使用状态链表后指针，节点的最后访问时间，以及节点的访问次数。

Images