CN107798063B - 快照处理方法和快照处理装置 - Google Patents

Abstract

本申请提供了快照处理方法和快照处理装置。该快照处理方法包括：对基卷当前存储的元数据与上一个快照卷对应的、基卷的完整元数据进行异或操作；对异或操作得到的结果进行压缩操作；记录压缩操作得到的结果，得到基卷当前存储的元数据的快照卷。本申请提供的快照的处理方法和处理装置，有助于节省快照的存储空间。

Description

快照处理方法和快照处理装置

技术领域

本申请涉及存储领域，并且更具体地，涉及快照处理方法和快照处理装置。

背景技术

云存储是在云计算概念上延伸和发展出来的一种技术，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能。

当云计算系统运算和处理的核心是对大量数据进行存储和管理时，云计算系统中就需要配置大量的存储设备。换句话说，云计算系统需要一个对存储空间和数据能够进行高效管理并快速读取的云存储系统。

云存储中一项不可或缺的功能是数据快照(snapshot)功能。快照是数据集在一个特定时刻的镜像，也称为即时拷贝。快照是这个数据集的一个完整可用副本。根据快照可以恢复得到这个数据集。

例如，快照可以提供系统某个时间点的映像，当系统发生故障时，可以根据快照使系统恢复到某个可用的时间点的状态。

传统技术中，在指定时刻为数据集生成的快照需要完整地记录整个数据集中所有数据在该指定时刻的状态。这使得快照的存储空间较大。

发明内容

本申请提供了快照处理方法和快照处理装置，有助于节省快照的存储空间。

第一方面，本申请提供了一种快照处理方法。该快照处理方法包括：对基卷当前存储的元数据与上一个快照卷对应的、所述基卷的完整元数据进行异或操作；对所述异或操作得到的结果进行压缩操作；记录所述压缩操作得到的结果，得到所述基卷当前存储的元数据的快照卷。

该处理方法中，生成基卷的快照时，先对基卷当前存储的元数据与基卷的上一个快照卷对应的完整元数据进行异或操作，再对异或操作得到的结果进行压缩。这使得相邻两个时刻对应的两个快照之间的元数据的差异较小的情况下，可以利用快照元数据稀疏分布的特点，使得异或操作得到的结果的压缩率很大，从而可以节省基卷的快照卷的存储空间。

结合第一方面，在第一种可能的实现方式中，该快照处理方法还包括：读取所述上一个快照卷，以及所述上一个快照卷至所述基卷最近一个原始卷之间的快照卷中的数据，所述原始卷中存储了创建所述原始卷时所述基卷中的完整元数据；对所述读取的数据进行解压操作；对所述解压操作得到的结果以及所述原始卷中存储的元数据进行异或操作，得到所述上一个快照卷对应、所述基卷的完整元数据。

结合第一方面或第一种可能的实现方式，在第二种可能的实现方式中，该快照处理方法还可以包括：通过所述异或操作、所述压缩操作、所述解压操作以及所述记录操作为所述基卷每生成n个快照卷后，复制所述基卷的所有元数据，得到所述基卷的原始卷，n为预定义的正整数。

也就是说，每个n个快照卷，生成一个原始卷，这样，在后续生成快照卷以及读取快照卷时，有助于降低检索的快照卷的数量，从而可以提高快照的元数据查找效率。

结合第一方面、第一种或第二种可能的实现方式，在第三种可能的实现方式中，该快照处理方法还包括：

读取所述基卷的第i个快照卷，以及所述第i个快照卷至所述第i个快照卷之前的最近一个原始卷之间的快照卷中的数据；

对所述第i个快照卷，以及所述第i个快照卷至所述第i个快照卷之前的最近一个原始卷之间的快照卷中的数据进行解压操作；

对所述第i个快照卷以及所述第i个快照卷至所述第i个快照卷之前的最近一个原始卷之间的快照卷中的数据进行解压操作得到的结果，以及所述原始卷中存储的元数据进行异或操作，得到所述第i个快照卷对应、所述基卷的完整元数据。

第二方面，本申请提供了一种快照处理装置。该快照处理装置包括用于执行第一方面或第一方面中任意一种可能的实现方式中的快照处理方法的模块。该模块可以通过软件和/或硬件方式实现。

第三方面，本申请提供了一种快照处理装置。该快照处理装置包括处理器和通信接口。处理器用于执行程序。当处理器执行代码时，处理器和通信接口实现第一方面或第一方面中任意一种可能的实现方式中的快照处理方法。

该处理器中可以集成有存储器，或者该处理装置可以包括处理器。

第四方面，本申请提供了一种计算机可读存储介质。该计算机可读存储介质中存储用于快照处理装置执行的程序代码。该程序代码包括用于执行第一方面或第一方面中任意一种可能的实现方式中的快照处理方法的指令。

第五方面，本申请提供了一种包含指令的计算机程序产品。当该计算机程序产品在快照处理装置上运行时，使得快照处理装置执行第一方面或第一方面中任意一种可能的实现方式中的快照处理方法。

第六方面，本申请提供了一种芯片，该芯片系统包括处理器和通信接口。处理器用于执行程序。当处理器执行代码时，处理器和通信接口实现第一方面或第一方面中任意一种可能的实现方式中的快照处理方法。

可选地，该芯片还可以包括存储器。进一步地，存储器和处理器可以集成在一起。

附图说明

图1是应用本申请实施例的快照处理方法的一种应用场景的示意图；

图2是本申请一个实施例的快照处理装置的示意性结构图；

图3是本申请实施例的快照处理方法的示意性流程图；

图4是本申请实施例的快照处理方法的示意性流程图；

图5是本申请实施例的快照处理方法的示意性流程图；

图6是本申请实施例的快照处理方法的示意性流程图；

图7是本申请实施例的快照处理方法的示意性流程图；

图8是本申请实施例的快照处理方法的示意性流程图；

图9是本申请另一个实施例的快照处理装置的示意性结构图；

图10是本申请一个实施例的二级索引列表的示意图；

图11是本申请一个实施例的链式快照的示意图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

图1是能够应用本申请实施例的快照的处理方法的云存储系统框架图。应理解，本申请实施例并不限于图1所示的系统架构中，此外，图1中的装置可以是硬件，也可以是从功能上划分的软件或者以上二者的结合。

图1所示的云存储系统包括主机集群100-1和存储设备集群100-2。

主机集群100-1中可以包括一个或多个主机。主机集群100-1中的主机可以是物理机，也可以是虚拟机。主机集群中的主机用于执行应用程序，向存储设备集群100-2中的存储设备发送控制信令。控制信令包括读数据指令，用于从存储设备读取数据；写数据指令，用于向存储设备写入数据；等等。

存储设备集群100-2中可以包括一个或多个存储设备。存储设备集群100-2中的存储设备的示例为网络附加存储(Network Attached Storage，NAS)设备、磁盘阵列等设备。存储设备集群100-2中的存储设备用于存储数据或操作指令等。

存储设备集群100-2中的存储设备的一种示例为存储设备110。

存储设备110中包括存储介质111。存储介质111可以包括多个磁盘，磁盘即为物理存储空间，用于存储数据。

存储设备110中还可以包括逻辑卷112。逻辑卷是在物理存储空间上划分的逻辑分区，逻辑卷可以根据需要扩展或者缩减其大小。在需要对数据进行备份时，可以使用快照保存源逻辑卷上某一时刻的数据状态，快照可以被视为一个逻辑卷。

本申请实施例中，也将源逻辑卷称为基卷，将记录源逻辑卷上某一时刻的数据状态的逻辑卷称为快照卷。

图2是本申请实施例的快照处理装置的示意性结构图。应理解，图2示出的快照处理装置200仅是示例，本申请实施例的快照处理装置还可以包括其他模块或单元，或者包括与图2中的各个模块的功能相似的模块，或者并非要包括图2中所有模块。

快照处理装置200可以是图1中的主机集群100-1中的主机。

快照处理装置200可以包括异或操作模块210，压缩操作模块220和记录模块230。其中，异或操作模块210可以用于实现异或操作，压缩操作模块220可以用于实现压缩功能，记录模块230可以用于向存储介质中写入数据，以生成快照卷。

例如，压缩操作模块可以具体用于实现gzip、FastLZ、snappy等压缩算法，以实现压缩功能。

可选地，快照处理装置还可以包括读取模块240和解压操作模块250。其中，读取模块240可以用于读取基卷或快照卷中的元数据，解压操作模块250可以用于实现解压功能。

例如，解压操作模块可以具体用于实现与压缩操作模块上的压缩算法相对应的解压算法，以实现解压功能。

图3是图2所示的快照处理装置执行的本申请一个实施例的快照处理方法的示意性流程图。应理解，图3示出了快照处理方法的步骤或操作，但这些步骤或操作仅是示例，本申请实施例还可以执行其他操作或者图3中的各个操作的变形。此外，图3中的各个步骤可以按照与图3呈现的不同的顺序来执行，并且有可能并非要执行图3中的全部操作。

S310，异或操作模块210对基卷当前存储的元数据与上一个快照卷对应的、基卷的完整元数据进行异或操作。

卷是指存储系统中的数据存储逻辑设备，元数据是指描述卷中数据信息的数据，基卷是指正常创建的数据卷，快照是指基于基卷创建的数据卷。快照卷可以只存储与基卷不同的少量数据。

S320，压缩操作模块220对异或操作模块210在S310中进行异或操作得到的结果进行压缩操作。

S330，记录模块230记录压缩操作模块在S320中进行压缩操作得到的结果，得到基卷当前存储的元数据的快照卷。

本申请实施例中，为基卷创建快照时，先对基卷当前存储的元数据和基卷的最近一个快照卷对应的完整快照元数据进行异或操作，然后对异或操作得到的结果进行压缩，再将压缩所得的数据保存起来作为基卷的一个快照卷。

由于基卷相邻两个快照的元数据之间的改动通常不会太大，因此异或后的结果的压缩率可以较大，从而可以节省快照卷的存储空间。

具体地，生成基卷的快照卷的示意图如图4所示。其中，“XOR”表示异或处理，“CE”表示压缩处理。其中，基卷上一次快照的完整元数据即为上一个快照卷对应的完整元数据，也可以称为是最近一次快照时，基卷中存储的元数据。

若基卷上一个快照卷为原始卷，则基卷上一个快照卷对应的完整元数据即为该原始卷中存储的元数据。

原始卷中存储的是生成该原始卷时基卷中的所有元数据。原始卷的创建示意图如图5所示。具体地说，就是对创建快照卷时基卷中的所有元数据进行全拷贝，得到的快照卷称为原始卷。

若基卷上一个快照卷不是原始卷，即上一个快照卷中的数据是通过异或操作以及压缩操作得到的，则图3所示的快照处理方法中还包括获取基卷上一个快照卷对应的完整元数据的步骤。

也就是说，图3所示的快照处理方法还可以包括：读取模块240读取上一个快照卷，以及上一个快照卷至基卷最近一个原始卷之间的快照卷中的数据；解压操作模块250对读取模块240读取的数据进行解压操作；异或操作模块210对解压操作模块250进行解压操作得到的结果以及最近一个原始卷中存储的元数据进行异或操作，得到上一个快照卷对应、基卷的完整元数据。

具体地，本申请一个实施例的快照处理方法的示意图如图6所示。其中，“XOR”表示异或处理，“DE”表示解压处理，“CE”表示压缩处理。

图6中，读取模块240读取快照卷S1至快照卷S(i-1)中的数据，并读取原始卷S0中的数据，其中，原始卷S0是最后一个原始卷；异或操作模块210对读取模块240从取快照卷S1至快照卷S(i-1)中读出的数据以及从原始卷S0中读取的数据进行异或操作，得到基卷在此之前最后一个快照的完整元数据；异或操作模块210对异或操作模块210得到的基卷的最后一个快照的完整元数据与基卷当前存储的元数据进行异或操作；压缩操作模块220对异或操作模块最后得到的数据进行压缩操作；记录模块230将压缩操作模块220进行压缩得到的数据写入快照卷，记得到基卷当前时刻的快照卷。

本申请实施例的快照处理方法中，可选地，每通过异或操作和压缩操作，甚至解压缩操作为基卷生成n个快照卷之后，至少为基卷生成一个原始卷。

换句话说，每通过异或操作和压缩操作，甚至解压缩操作为基卷生成n个快照卷之后，至少为基卷生成一个原始卷。

这样，在使用异或操作和压缩操作，甚至是解压缩操作为基卷生成快照卷，或者读取快照卷时，最多只需对n个快照卷中的数据进行处理，从而有助于提高生成快照卷或读取快照卷的速率。

如图7所示，为基卷生成原始卷S0，然后使用异或操作和压缩操作，甚至是解压缩操作为基卷生成快照S1至快照卷Sn总共n个快照卷后，使用如图5所示的方法为基卷生成原始卷S(n+1)。

本申请实施例的快照处理方法中，生成快照卷后，可以根据快照卷获取基卷的快照。具体而言，图3所示的快照处理方法中，还可以包括：

读取基卷的第i个快照卷，以及第i个快照卷至第i个快照卷之前的最近一个原始卷之间的快照卷中的数据；

对第i个快照卷，以及第i个快照卷至第i个快照卷之前的最近一个原始卷之间的快照卷中的数据进行解压操作；

对第i个快照卷以及第i个快照卷至第i个快照卷之前的最近一个原始卷之间的快照卷中的数据进行解压操作得到的结果，以及原始卷中存储的元数据进行异或操作，得到第i个快照卷对应、基卷的完整元数据。

下面结合图8详细介绍本申请实施例的快照处理方法中，获取快照的方法。

如图8所示，读取模块240读取快照卷S1至快照卷Si中的数据，并读取原始卷S0中的数据，其中，原始卷S0是最后一个原始卷；异或操作模块210对读取模块240从取快照卷S1至快照卷Si中读出的数据以及从原始卷S0中读取的数据进行异或操作，得到基卷快照卷Si对应的快照的完整元数据。其中，“XOR”表示异或处理，“DE”表示解压处理。

图9为本申请另一个实施例的快照处理装置的示意性结构图。应理解，图9所示的快照处理装置900仅是示例，本申请实施例的快照处理装置还可以包括其他模块或单元，或者包括与图9中的各个模块的功能相似的模块，或者并非要包括图9中所有模块。

存储器910存储用于实现图2所示的各个模块的功能的程序代码。

处理器920用于执行存储器910中存储的程序代码。

通信接口930用于与存储设备或者存储介质进行通信，读取存储设备或存储介质中的数据，或者向存储设备或存储介质写入数据。

具体地，处理器执行存储器910中存储的程序代码时，处理器920可以调用通信接口930实现图3至图8中任意一个方法。为了简洁，此处不再赘述。

下面介绍存储系统中的其他数据处理方法。

卷的元数据索引可以采用二级元数据索引机制，如图10所示，第二级元数据存放描述快照卷数据的地址元数据，第一级元数据记录第二级数据(即快照元数据的存放地方)的地址。元数据(包括第一级和第二级)的存储单位可以是容器(container)，单个容器的大小可以是8兆比特(MB)。第一级元数据的容器可以由多个元数据单元组成，每个元数据单元大小可以16比特(B)，读写单位为每个元数据单元。

第一级元数据可以称为卷元数据表(vlun container map，VCM,)。共享快照链上的元数据的二级元数据，可以用特殊标识(例如，图10中的“-2”)表示。

第二级元数据的容器可以再细分成多个块(block)。每个block的大小可以为4千比特(KB)。读写第二级元数据的最小单位可以为block。每个block可以包含250个元数据单元(例如4KB或16B)。如图10所示，斜线方块表示block，A表示地址。

基卷拥有一份完整的元数据，快照卷共享基卷和快照链上的元数据。共享的方式有两种。一种共享方式为：如果一个快照的某个二级元数据的container中私有元数据，而是共享基卷和快照链上的元数据，那么通过特殊标识符(比如-2)标识，也即是说，其container不申请存储空间。另一种共享方式为：二级元数据的container中有部分私有元数据，那么只写改部分的元数据，例如，可以以4KB为读写单位进行改写。

如图11所示，基卷和快照卷可以组成一个链，链上所有快照卷和基卷共享相同的元数据。新创建的快照卷Tn在快照卷T0的前面，在基卷的后面，随着快照卷的增加，基卷和快照卷组成一个类似链表的链结构。位置先后表示快照的时序关系，越早打的快照越在链的后面。

基卷和快照卷组成的链式快照结构中的时序位置为：最新创建的快照卷越靠近基卷。查找元数据的时候，从快照本身位置出发，沿着升序方向查找，即按照快照卷靠近基卷从远到近的顺序查找，直到找到元数据为止。

比如，查找T0快照的元数据，首先查找T0自身快照卷的元数据。如果没有查找到，那么就沿着升序方向查找，先查找T1。如果T1查找到，那么完成查找；如果没有查找到，那么继续查找T2，直到查找到基卷为止。因为基卷有完整的元数据，所以在基卷肯定能查找到元数据。

图11所示的链式快照结构中，可以执行推送(push)操作。push操作是链式快照的一个重要的操作。当基卷的更新元数据时，而所有快照卷依然共享原来的元数据，所以原来的元数据不能丢失，需要push到最近的快照卷上，以继续保持元数据共享关系，这个推元数据的过程称为push操作。

通过这种快照元数据共享方式，可以大幅度减少快照的元数据空间。快照链越长，空间节省越明显。但是如果快照链过长会造成查找时间开销增加，可以通过引入索引缓存表来解决链式快照的查找时间过大的问题。

索引缓存表是记录元数据地址(例如，以前面描述的block为单位)和其存放在哪个快照卷上的一张信息表。通过索引缓存表可以实现元数据的快速查找。查找快照元数据的时候，首先查找索引缓存表，如果在索引缓存表查找到，那么直接到其所指向的快照卷上读取。如果没有查找到，那么再沿着升序向上查找。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

Claims (10)

1.一种快照处理装置，其特征在于，包括：

异或操作模块，用于对基卷当前存储的元数据与上一个快照卷对应的、所述基卷的完整元数据进行异或操作；

压缩操作模块，用于对所述异或操作模块进行异或操作得到的结果进行压缩操作；

记录模块，用于记录所述压缩模块进行压缩操作得到的结果，得到所述基卷当前存储的元数据的快照卷，其中，所述快照卷的元数据索引采用二级元数据索引机制，所述二级元数据索引机制是指通过二级元数据来对所述快照卷的元数据进行索引，所述二级元数据包括第一级元数据和第二级元数据，所述第二级元数据包含所述快照卷的数据的地址元数据，所述第一级元数据包含所述第二级元数据的地址，且所述第二级元数据的容器包含多个块，所述第二级元数据中不包含私有元数据的情况下，所述第二级元数据对应的第一级元数据通过特殊标识符标识，且不为所述第二级元数据申请存储空间。

2.根据权利要求1所述的快照处理装置，其特征在于，所述快照处理装置还包括读取模块和解压操作模块；

所述读取模块用于读取所述上一个快照卷，以及所述上一个快照卷至所述基卷最近一个原始卷之间的快照卷中的数据，所述原始卷中存储了创建所述原始卷时所述基卷中的完整元数据；

所述解压操作模块用于对所述读取模块读取的数据进行解压操作；

其中，所述异或操作模块还用于对所述解压操作模块进行解压操作得到的结果以及所述原始卷中存储的元数据进行异或操作，得到所述上一个快照卷对应、所述基卷的完整元数据。

3.根据权利要求2所述的快照处理装置，其特征在于，通过所述异或操作模块、所述压缩操作模块、所述解压操作模块以及所述记录模块为所述基卷每生成n个快照卷后，所述记录模块还用于：复制所述基卷的所有元数据，得到所述基卷的原始卷，n为预定义的正整数。

4.根据权利要求3所述的快照处理装置，其特征在于，所述读取模块用于读取所述基卷的第i个快照卷，以及所述第i个快照卷至所述第i个快照卷之前的最近一个原始卷之间的快照卷中的数据；

所述解压操作模块还用于对所述第i个快照卷，以及所述第i个快照卷至所述第i个快照卷之前的最近一个原始卷之间的快照卷中的数据进行解压操作；

其中，所述异或操作模块还用于对所述第i个快照卷以及所述第i个快照卷至所述第i个快照卷之前的最近一个原始卷之间的快照卷中的数据进行解压操作得到的结果，以及所述原始卷中存储的元数据进行异或操作，得到所述第i个快照卷对应、所述基卷的完整元数据。

5.一种快照处理方法，其特征在于，包括：

对基卷当前存储的元数据与上一个快照卷对应的、所述基卷的完整元数据进行异或操作；

对所述异或操作得到的结果进行压缩操作；

记录所述压缩操作得到的结果，得到所述基卷当前存储的元数据的快照卷，其中，所述快照卷的元数据索引采用二级元数据索引机制，所述二级元数据索引机制是指通过二级元数据来对所述快照卷的元数据进行索引，所述二级元数据包括第一级元数据和第二级元数据，所述第二级元数据包含所述快照卷的数据的地址元数据，所述第一级元数据包含所述第二级元数据的地址，且所述第二级元数据的容器包含多个块，所述第二级元数据中不包含私有元数据的情况下，所述第二级元数据对应的第一级元数据通过特殊标识符标识，且不为所述第二级元数据申请存储空间。

6.根据权利要求5所述的快照处理方法，其特征在于，所述快照处理方法还包括：

读取所述上一个快照卷，以及所述上一个快照卷至所述基卷最近一个原始卷之间的快照卷中的数据，所述原始卷中存储了创建所述原始卷时所述基卷中的完整元数据；

对所述读取的数据进行解压操作；

对所述解压操作得到的结果以及所述原始卷中存储的元数据进行异或操作，得到所述上一个快照卷对应、所述基卷的完整元数据。

7.根据权利要求6所述的快照处理方法，其特征在于，所述快照处理方法还包括：通过所述异或操作、所述压缩操作、所述解压操作以及记录操作为所述基卷每生成n个快照卷后，复制所述基卷的所有元数据，得到所述基卷的原始卷，n为预定义的正整数。

8.根据权利要求5或6所述的快照处理方法，其特征在于，所述快照处理方法还包括：

读取所述基卷的第i个快照卷，以及所述第i个快照卷至所述第i个快照卷之前的最近一个原始卷之间的快照卷中的数据；

对所述第i个快照卷，以及所述第i个快照卷至所述第i个快照卷之前的最近一个原始卷之间的快照卷中的数据进行解压操作；

对所述第i个快照卷以及所述第i个快照卷至所述第i个快照卷之前的最近一个原始卷之间的快照卷中的数据进行解压操作得到的结果，以及所述原始卷中存储的元数据进行异或操作，得到所述第i个快照卷对应、所述基卷的完整元数据。

9.一种快照处理装置，其特征在于，所述快照处理装置包括处理器和通信接口，所述处理器和所述通信接口用于实现权利要求5至8中任意一项所述的快照处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储用于权利要求1至4中任一项所述的快照处理装置执行的程序代码。

Images