CN104050103B - 一种用于数据恢复的缓存替换方法与系统 - Google Patents

Abstract

本发明公开了一种用于数据恢复的缓存替换方法，包括：数据备份步骤：在数据备份过程中，按照数据块的备份顺序记录各数据块所属容器的ID，得到该数据备份的容器访问顺序；哈希表生成步骤：根据数据备份的容器访问顺序信息，建立哈希表，其中：哈希表使用容器ID作为键，相同容器ID被映射到一起，并按访问时间排序组成队列；数据恢复步骤：在数据块进行恢复时，根据恢复缓存中的容器恢复数据块，所述恢复缓存中存储有根据所述哈希表确定的最近将被访问到的N个容器，所述N为所述恢复缓存中能够存储容器的个数。本发明还提供了相应的缓存替换系统。本发明方法最优缓存替换策略的缓存命中率更高，减少了读取容器的次数，增加了恢复性能。

Description

一种用于数据恢复的缓存替换方法与系统

技术领域

本发明属于计算机存储技术领域，更具体地，涉及一种用于数据恢复的缓存替换方法与系统，用于在数据去重备份存储系统中利用数据访问模式提高恢复缓存命中率。

背景技术

近年来，由于全球的数据信息存储量正爆炸式增长，利用数据去重技术(DataDeduplication)存储和管理海量数据得到了工业界和学术界的广泛关注。数据去重作为一种通过大规模地有效地消除冗余数据的压缩技术，不仅能节省存储空间、提升存储系统性能，而且通过避免冗余数据传输可以节省网络带宽。数据去重技术目前已被IBM、HP、EMC等存储大公司应用到存储产品中，标志着数据去重技术已经成为存储领域的主流技术。

数据去重首先将数据分块，并为每个数据块计算SHA-1摘要作为数据块的唯一标识(指纹)。具有相同指纹的数据块被认为内容相同。数据去重为存储系统内的数据块的指纹建立索引，当需要存储一个数据块时，通过查询其指纹可以知道数据块是否已经存储。如果这个数据块已经被存储了，则无需再次存储该数据块，只需用指针指向磁盘上的副本。如果数据块未被存储，则将其写入容器缓冲区，当容器满时批量地写入磁盘(容器是存储管理的最小单元)。

数据去重的这种存储方式导致了数据碎片的产生，即一次备份的数据块被离散地分布在磁盘上。例如，重复的数据块存放在旧容器内，新容器只有新的数据块(这些新数据块可能在数据流上的距离很远)。当恢复一次备份数据时，需要按顺序依次恢复数据块，当需要的数据块在某个容器中时，就将整个容器预取到恢复缓存中来。恢复缓存通常使用最近最少访问替换算法(LRU)。由于新容器中的数据块并不是按顺序访问，因此需要频繁地交替访问新旧容器，对一个容器的多次访问(读取其中的数据块)可能相隔很长时间，这就为恢复缓存替换方法提出了挑战。传统的LRU并不是最有效的,较低的恢复缓存命中率导致恢复性能下降。与LRU不同的是，最优恢复缓存替换方法是根据未来的访问信息，替换掉未来最久不会被访问的元素。然而，由于最优恢复缓存替换方法需要知道未来数据的访问模式，导致难以实现。

发明内容

本发明的目的在于提供一种用于数据恢复的最优恢复缓存替换方法，用于在数据去重备份存储系统中利用数据访问模式提高恢复缓存命中率。该方法在备份的过程记录下数据块的访问顺序，恢复时利用这些信息实现最优恢复缓存替换方法。

为了实现上述目的，按照本发明的一个方面，提供了一种用于数据恢复的恢复缓存替换方法，包括：

(1)数据备份步骤：在数据备份过程中，按照数据块的备份顺序记录各数据块所属容器的ID，得到该数据备份的容器访问顺序；

(2)哈希表生成步骤：根据数据备份的容器访问顺序信息，建立哈希表，其中：哈希表使用容器ID作为键，相同容器ID被映射到一起，并按访问时间排序组成队列；

(3)数据恢复步骤：在数据块进行恢复时，根据恢复缓存中的容器恢复数据块，所述恢复缓存中存储有根据所述哈希表确定的最近将被访问到的N个容器，所述N为所述恢复缓存中能够存储容器的个数。

进一步地，所述步骤(1)具体包括：

(1.1)对数据流中的文件进行分块，得到多个数据块；

(1.2)计算每个数据块的数据块指纹；

(1.3)在备份数据块时，在指纹索引中查找数据块指纹，判断该数据块是否已经被存储；如果数据块未被存储过，则标记数据块为新数据块，写入容器缓冲区，待容器缓冲区满时一次性写入磁盘，并将该数据块所属的容器ID以访问记录的形式添加到元数据文件中；如果数据块已被存储过，则标记数据块为重复数据块，获得重复数据块所属的容器ID，并将该容器ID以访问记录的形式添加到元数据文件中。

进一步地，所述步骤(2)中根据数据备份的容器访问顺序信息，建立哈希表，具体包括：

(2.1)顺序读取元数据文件中的各数据块所属容器的ID；

(2.2)将各数据块所属容器的ID组成一个哈希表，哈希表用容器ID作为键，相同容器ID被映射到一起，并按访问时间排序组成队列，队列中的元素按顺序表示该容器被访问的时间。

进一步地，所述步骤(3)中根据恢复缓存中的容器恢复数据块，具体包括：

(3.1)如果请求恢复操作的数据块所属的容器已在恢复缓存中，进入步骤(3.4)；否则，进入步骤(3.2)；

(3.2)从磁盘上读取所述数据块所属的容器，如果恢复缓存未满，将容器插入恢复缓存，进入步骤(3.4)；否则，进入步骤(3.3)；

(3.3)查询哈希表，找到恢复缓存中每个容器的下次访问时间，将最久不会被访问的容器踢出恢复缓存，并将所述数据块所属的容器插入恢复缓存；同时，将所述数据块所属的容器在哈希表中对应队列的对头元素出队，队列的对头元素指示所述数据块所属的容器下一次被访问的时间；

(3.4)从恢复缓存中读取所述数据块，恢复成功；

(3.5)判断所有数据块是否都恢复完成，恢复结束；否则，进入步骤(3.1)。

按照本发明的另一方面，还提供了一种用于数据恢复的恢复缓存替换系统，所述系统包括：

数据备份模块，用于在数据备份过程中，按照数据块的备份顺序记录各数据块所属容器的ID，得到该数据备份的容器访问顺序；

哈希表生成模块，用于根据数据备份的容器访问顺序信息，建立哈希表，其中：哈希表使用容器ID作为键，相同容器ID被映射到一起，并按访问时间排序组成队列；

数据恢复模块，用于在数据块进行恢复时，根据恢复缓存中的容器恢复数据块，所述恢复缓存中存储有根据所述哈希表确定的最近将被访问到的N个容器，所述N为所述恢复缓存中能够存储容器的个数。

进一步地，所述数据备份模块具体包括：

数据块分块模块：用于对数据流中的文件进行分块，得到多个数据块；

指纹计算模块，用于计算上述每个数据块的数据块指纹；

容器ID获取模块，用于在备份数据块时，在指纹索引中查找数据块指纹，判断该数据块是否已经被存储；如果数据块未被存储过，则标记数据块为新数据块，写入容器缓冲区，待容器缓冲区满时一次性写入磁盘，并将该数据块所属的容器ID以访问记录的形式添加到元数据文件中；如果数据块已被存储过，则标记数据块为重复数据块，获得重复数据块所属的容器ID，并将该容器ID以访问记录的形式添加到元数据文件中。

进一步地，所述哈希表生成模块具体包括：

容器ID读取模块，用于顺序读取元数据文件中的各数据块所属容器的ID；

哈希表生成模块，用于将容器ID读取模块读取的各数据块所属容器的ID组成一个哈希表，哈希表用容器ID作为键，相同容器ID被映射到一起，并按访问时间排序组成队列，队列中的元素按顺序表示该容器被访问的时间。

进一步地，所述数据恢复模块具体包括：

容器位于恢复缓存判断模块，用于判断请求恢复操作的数据块所属的容器是否已在恢复缓存中，如果请求恢复操作的数据块所属的容器已在恢复缓存中，转数据块读取模块；否则，转恢复缓存插入模块；

恢复缓存插入模块，用于从磁盘上读取所述数据块所属的容器，如果恢复缓存未满，将容器插入恢复缓存，转数据块读取模块；否则，转哈希表查询模块；

哈希表查询模块，用于查询哈希表，找到恢复缓存中每个容器的下次访问时间，将最久不会被访问的容器踢出恢复缓存，并将所述数据块所属的容器插入恢复缓存；同时，将所述数据块所属的容器在哈希表中对应队列的对头元素出队，队列的对头元素指示所述数据块所属的容器下一次被访问的时间；并转数据块读取模块；

数据块读取模块，用于从恢复缓存中读取所述数据块，恢复成功；并转恢复完成判断模块；

恢复完成判断模块，用于判断所有数据块是否都恢复完成，恢复结束；否则，转容器位于恢复缓存判断模块。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

1、本发明提出的缓存替换方法，利用了恢复数据的顺序等于备份数据的顺序的特性。通过在备份时记录下数据访问的顺序，在恢复时实现最优缓存替换策略。与传统的最近最少访问替换算法相比，本发明最优缓存替换策略的缓存命中率更高，减少了读取容器的次数，增加了恢复性能。

2、本发明提出的缓存替换方法，通过结合哈希表和队列，可以快速地找到一个容器的下次访问时间，减少了替换算法的时间开销。

3、本发明提出的缓存替换方法，通过合并具有相同容器ID的相邻访问记录，减少了元数据文件的大小。

附图说明

图1为本发明的体系结构图；

图2为本发明实施例中访问记录哈希表的结构示意图；

图3为本发明缓存替换方法中数据备份过程示意图；

图4为本发明缓存替换方法中数据恢复过程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，为本发明所提供的缓存替换系统的运行原理图，当进行数据备份时，将数据块存入磁盘的容器中，并在磁盘中记录各数据块存储的容器的顺序，即得到数据访问序列，在数据恢复的过程中，读取数据访问序列建立访问记录哈希表，该哈希表中记录了数据恢复过程中各容器的访问顺序，按各容器的访问顺序将各容器读取到恢复缓存中，并从恢复缓存中的容器中读取数据块恢复数据文件。当恢复缓存中的容器已满时，根据哈希表将最久不会被访问的容器踢出恢复缓存。

如图2所示，为访问记录哈希表的结构示意图，哈希表用容器ID作为键，因此具有相同容器ID的访问记录被映射到一起，并将它们按访问时间排序组成队列。每个队列的头元素代表了一个容器下一次被访问的时间，第二个元素代表第二次被访问的时间，依次类推。

本发明提供了一种用于数据恢复的缓存替换方法，包括：

(1)数据备份步骤：在数据备份过程中，按照数据块的备份顺序记录各数据块所属容器的ID，得到该数据备份的容器访问顺序；

(2)哈希表生成步骤：根据数据备份的容器访问顺序信息，建立哈希表，其中：哈希表使用容器ID作为键，相同容器ID被映射到一起，并按访问时间排序组成队列；

(3)数据恢复步骤：在数据块进行恢复时，根据恢复缓存中的容器恢复数据块，所述恢复缓存中存储有根据所述哈希表确定的最近将被访问到的N个容器，所述N为所述恢复缓存中能够存储容器的个数。

其中，步骤(1)在数据备份时运行。当用户数据损坏，需要恢复数据时，运行步骤(2)和(3)。

进一步地，如图3所示，所述步骤(1)具体包括：

(1.1)对数据流中的文件进行分块，得到多个数据块；

(1.2)计算每个数据块的数据块指纹；

(1.3)在备份数据块时，在指纹索引中查找数据块指纹，判断该数据块是否已经被存储；如果数据块未被存储过，则标记数据块为新数据块，写入容器缓冲区，待容器缓冲区满时一次性写入磁盘，并将该数据块所属的容器ID以访问记录的形式添加到元数据文件中；如果数据块已被存储过，则标记数据块为重复数据块，获得重复数据块所属的容器ID，并将该容器ID以访问记录的形式添加到元数据文件中。

进一步地，所述步骤(2)中根据数据备份的容器访问顺序信息，建立哈希表，具体包括：

(2.1)顺序读取元数据文件中的各数据块所属容器的ID；

(2.2)将各数据块所属容器的ID组成一个哈希表，哈希表用容器ID作为键，相同容器ID被映射到一起，并按访问时间排序组成队列，队列中的元素按顺序表示该容器被访问的时间。

进一步地，如图4所示，所述步骤(3)中根据恢复缓存中的容器恢复数据块，具体包括：

(3.1)如果请求恢复操作的数据块所属的容器已在恢复缓存中，进入步骤(3.4)；否则，进入步骤(3.2)；

(3.2)从磁盘上读取所述数据块所属的容器，如果恢复缓存未满，将容器插入恢复缓存，进入步骤(3.4)；否则，进入步骤(3.3)；

(3.3)查询哈希表，找到恢复缓存中每个容器的下次访问时间，将最久不会被访问的容器踢出恢复缓存，并将所述数据块所属的容器插入恢复缓存；同时，将所述数据块所属的容器在哈希表中对应队列的对头元素出队，队列的对头元素指示所述数据块所属的容器下一次被访问的时间；

(3.4)从恢复缓存中读取所述数据块，恢复成功；

(3.5)判断所有数据块是否都恢复完成，恢复结束；否则，进入步骤(3.1)。

本发明还提供了一种用于数据恢复的恢复缓存替换系统，所述系统包括：

数据备份模块，用于在数据备份过程中，按照数据块的备份顺序记录各数据块所属容器的ID，得到该数据备份的容器访问顺序；

哈希表生成模块，用于根据数据备份的容器访问顺序信息，建立哈希表，其中：哈希表使用容器ID作为键，相同容器ID被映射到一起，并按访问时间排序组成队列；

数据恢复模块，用于在数据块进行恢复时，根据恢复缓存中的容器恢复数据块，所述恢复缓存中存储有根据所述哈希表确定的最近将被访问到的N个容器，所述N为所述恢复缓存中能够存储容器的个数。

进一步地，所述数据备份模块具体包括：

数据块分块模块，用于对数据流中的文件进行分块，得到多个数据块；

指纹计算模块，用于计算上述每个数据块的数据块指纹；

容器ID获取模块，用于在备份数据块时，在指纹索引中查找数据块指纹，判断该数据块是否已经被存储；如果数据块未被存储过，则标记数据块为新数据块，写入容器缓冲区，待容器缓冲区满时一次性写入磁盘，并将该数据块所属的容器ID以访问记录的形式添加到元数据文件中；如果数据块已被存储过，则标记数据块为重复数据块，获得重复数据块所属的容器ID，并将该容器ID以访问记录的形式添加到元数据文件中。

进一步地，所述哈希表生成模块具体包括：

容器ID读取模块，用于顺序读取元数据文件中的各数据块所属容器的ID；

哈希表生成模块，用于将容器ID读取模块读取的各数据块所属容器的ID组成一个哈希表，哈希表用容器ID作为键，相同容器ID被映射到一起，并按访问时间排序组成队列，队列中的元素按顺序表示该容器被访问的时间。

进一步地，所述数据恢复模块具体包括：

容器位于恢复缓存判断模块，用于判断请求恢复操作的数据块所属的容器是否已在恢复缓存中，如果请求恢复操作的数据块所属的容器已在恢复缓存中，转数据块读取模块；否则，转恢复缓存插入模块；

恢复缓存插入模块，用于从磁盘上读取所述数据块所属的容器，如果恢复缓存未满，将容器插入恢复缓存，转数据块读取模块；否则，转哈希表查询模块；

哈希表查询模块，用于查询哈希表，找到恢复缓存中每个容器的下次访问时间，将最久不会被访问的容器踢出恢复缓存，并将所述数据块所属的容器插入恢复缓存；同时，将所述数据块所属的容器在哈希表中对应队列的对头元素出队，队列的对头元素指示所述数据块所属的容器下一次被访问的时间；并转数据块读取模块；

数据块读取模块，用于从恢复缓存中读取所述数据块，恢复成功；并转恢复完成判断模块；

恢复完成判断模块，用于判断所有数据块是否都恢复完成，恢复结束；否则，转容器位于恢复缓存判断模块。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种用于数据恢复的恢复缓存替换方法，其特征在于，所述方法包括：

(1)数据备份步骤：在数据备份过程中，按照数据块的备份顺序记录各数据块所属容器的ID，得到该数据备份的容器访问顺序；

(2)哈希表生成步骤：根据数据备份的容器访问顺序信息，建立哈希表，其中：哈希表使用容器ID作为键，相同容器ID被映射到一起，并按访问时间排序组成队列；

(3)数据恢复步骤：在数据块进行恢复时，根据恢复缓存中的容器恢复数据块，所述恢复缓存中存储有根据所述哈希表确定的最近将被访问到的N个容器，所述N为所述恢复缓存中能够存储容器的个数；

所述步骤(3)中根据恢复缓存中的容器恢复数据块，具体包括：

(3.1)如果请求恢复操作的数据块所属的容器已在恢复缓存中，进入步骤(3.4)；否则，进入步骤(3.2)；

(3.2)从磁盘上读取所述数据块所属的容器，如果恢复缓存未满，将容器插入恢复缓存，进入步骤(3.4)；否则，进入步骤(3.3)；

(3.3)查询哈希表，找到恢复缓存中每个容器的下次访问时间，将最久不会被访问的容器踢出恢复缓存，并将所述数据块所属的容器插入恢复缓存；同时，将所述数据块所属的容器在哈希表中对应队列的对头元素出队，队列的对头元素指示所述数据块所属的容器下一次被访问的时间；

(3.4)从恢复缓存中读取所述数据块，恢复成功；

(3.5)判断所有数据块是否都恢复完成，恢复结束；否则，进入步骤(3.1)。

2.如权利要求1所述的方法，其特征在于，所述步骤(1)具体包括：

(1.1)对数据流中的文件进行分块，得到多个数据块；

(1.2)计算每个数据块的数据块指纹；

(1.3)在备份数据块时，在指纹索引中查找数据块指纹，判断该数据块是否已经被存储；如果数据块未被存储过，则标记数据块为新数据块，写入容器缓冲区，待容器缓冲区满时一次性写入磁盘，并将该数据块所属的容器ID以访问记录的形式添加到元数据文件中；如果数据块已被存储过，则标记数据块为重复数据块，获得重复数据块所属的容器ID，并将该容器ID以访问记录的形式添加到元数据文件中。

3.如权利要求1或2所述的方法，其特征在于，所述步骤(2)中根据数据备份的容器访问顺序信息，建立哈希表，具体包括：

(2.1)顺序读取元数据文件中的各数据块所属容器的ID；

(2.2)将各数据块所属容器的ID组成一个哈希表，哈希表用容器ID作为键，相同容器ID被映射到一起，并按访问时间排序组成队列，队列中的元素按顺序表示该容器被访问的时间。

4.一种用于数据恢复的恢复缓存替换系统，其特征在于，所述系统包括：

数据备份模块，用于在数据备份过程中，按照数据块的备份顺序记录各数据块所属容器的ID，得到该数据备份的容器访问顺序；

哈希表生成模块，用于根据数据备份的容器访问顺序信息，建立哈希表，其中：哈希表使用容器ID作为键，相同容器ID被映射到一起，并按访问时间排序组成队列；

数据恢复模块，用于在数据块进行恢复时，根据恢复缓存中的容器恢复数据块，所述恢复缓存中存储有根据所述哈希表确定的最近将被访问到的N个容器，所述N为所述恢复缓存中能够存储容器的个数；

所述数据恢复模块具体包括：

容器位于恢复缓存判断模块，用于判断请求恢复操作的数据块所属的容器是否已在恢复缓存中，如果请求恢复操作的数据块所属的容器已在恢复缓存中，转数据块读取模块；否则，转恢复缓存插入模块；

恢复缓存插入模块，用于从磁盘上读取所述数据块所属的容器，如果恢复缓存未满，将容器插入恢复缓存，转数据块读取模块；否则，转哈希表查询模块；

哈希表查询模块，用于查询哈希表，找到恢复缓存中每个容器的下次访问时间，将最久不会被访问的容器踢出恢复缓存，并将所述数据块所属的容器插入恢复缓存；同时，将所述数据块所属的容器在哈希表中对应队列的对头元素出队，队列的对头元素指示所述数据块所属的容器下一次被访问的时间；并转数据块读取模块；

数据块读取模块，用于从恢复缓存中读取所述数据块，恢复成功；并转恢复完成判断模块；

恢复完成判断模块，用于判断所有数据块是否都恢复完成，恢复结束；否则，转容器位于恢复缓存判断模块。

5.如权利要求4所述的系统，其特征在于，所述数据备份模块具体包括：

数据块分块模块：用于对数据流中的文件进行分块，得到多个数据块；

指纹计算模块，用于计算上述每个数据块的数据块指纹；

容器ID获取模块，用于在备份数据块时，在指纹索引中查找数据块指纹，判断该数据块是否已经被存储；如果数据块未被存储过，则标记数据块为新数据块，写入容器缓冲区，待容器缓冲区满时一次性写入磁盘，并将该数据块所属的容器ID以访问记录的形式添加到元数据文件中；如果数据块已被存储过，则标记数据块为重复数据块，获得重复数据块所属的容器ID，并将该容器ID以访问记录的形式添加到元数据文件中。

6.如权利要求4或5所述的系统，其特征在于，所述哈希表生成模块具体包括：

容器ID读取模块，用于顺序读取元数据文件中的各数据块所属容器的ID；

哈希表生成模块，用于将容器ID读取模块读取的各数据块所属容器的ID组成一个哈希表，哈希表用容器ID作为键，相同容器ID被映射到一起，并按访问时间排序组成队列，队列中的元素按顺序表示该容器被访问的时间。