CN102722536B - 基于分布式文件系统的快照实现方法及装置 - Google Patents

Abstract

本发明公开一种基于分布式文件系统的快照实现方法及装置，该方法包括复制数据块的元数据创建快照文件，并保存；将所述快照文件和所述数据块的元数据与所述数据块进行关联。本发明通过以上技术方案，解决现有的快照技术无法满足分布式文件系统的需求这一技术问题。

Description

基于分布式文件系统的快照实现方法及装置

技术领域

本发明涉及存储领域，尤其涉及一种基于分布式文件系统的快照实现方法及装置。

背景技术

随着存储应用需求的提高，用户需要在线方式进行数据保护，快照就是在线存储设备防范数据丢失的有效方法之一。快照技术最常见的用途是快速、简易恢复意外擦除或损坏的数据，快照技术可以实现两项功能：整合资源和迁移数据。有了快照技术，存储系统中数据的可靠性得到极高提升，并且为软件测试、回归测试等提供有力的数据保证。在现有的存储系统中，快照技术可以在存储系统中的多个层面实现：有基于文件系统的快照、有基于逻辑卷设备的快照、有基于设备驱动的快照以及基于虚拟化的快照等。

然而，现有成熟的快照技术，不管是全拷贝的快照，还是增量备份快照，最终都是对硬件存储设备如磁盘、磁阵等上存储的实际数据进行快照备份。在分布式文件系统中，除了存储设备上的实际数据外，还有大量的元数据存储在单独的元数据服务器中，不仅要对实际数据进行快照备份，同时还要对元数据的更新修改进行备份快照，因此现有的快照技术无法满足分布式文件系统的需求。

发明内容

本发明提供一种基于分布式文件系统的快照实现方法及装置，解决现有的快照技术无法满足分布式文件系统的需求这一技术问题。

为解决上述技术问题，本发明采取以下技术方案。

一种基于分布式文件系统的快照实现方法，包括：

复制数据块的元数据创建快照文件，并保存；

将所述快照文件和所述数据块的元数据与所述数据块进行关联。

在本发明一实施例中，该方法还包括：在需要对数据块进行更新操作时，判断所述数据块是否同时与所述快照文件、所述数据块的元数据关联，若是，对所述数据块进行复制，得到新建数据块；对所述数据块和所述新建数据块中的任一者进行更新操作，另一者与所述快照文件关联后保存。

在本发明一实施例中，该方法还包括：若否，则直接对所述数据块进行更新操作。

在本发明一实施例中，该方法还包括：建立与数据块对应的引用计数器；对所述数据块当前被所述快照文件、所述数据块的元数据关联的次数进行计数。

在本发明一实施例中，判断所述数据块是否同时与所述快照文件、所述数据块的元数据关联的方法包括：判断所述引用计数器的计数是否大于1，若是，则判断为所述数据块同时与所述快照文件、所述数据块的元数据关联。

一种基于分布式文件系统的快照实现装置，包括快照文件创建模块和关联关系建立模块，其中，

所述快照文件创建模块用于复制数据块的元数据创建快照文件，并保存；

所述关联关系建立模块用于将所述快照文件和所述数据块的元数据与所述数据块进行关联。

在本发明一实施例中，该装置还包括判断模块、数据块更新模块和数据块新建模块，其中，所述判断模块在所述数据块更新模块需要对数据块进行更新操作时，判断所述数据块是否同时与所述快照文件、所述数据块的元数据关联；所述数据块新建模块用于在所述判断模块的判断结果为是时，对所述数据块进行复制，得到新建数据块；所述数据块更新模块用于对所述数据块和所述新建数据块中的任一者进行更新操作，或者在所述判断模块判断结果为否时，直接对所述数据块进行更新操作；所述关联关系建立模块用于将所述数据块和所述新建数据块中的另一者与所述快照文件关联后保存。

在本发明一实施例中，该装置还包括与数据块对应的引用计数模块，所述引用计数模块用于对所述数据块当前被所述快照文件、所述数据块的元数据关联的次数进行计数。

在本发明一实施例中，判断模块用于判断所述引用计数器的计数是否大于1，若是，则判断为所述数据块同时与所述快照文件、所述数据块的元数据关联。

本发明提供一种基于分布式文件系统的快照实现方法及装置，本发明提供的快照实现方法相对于现有成熟的快照实现方法，新建的快照文件只是复制数据块的元数据，将得到的快照文件和数据块的元数据与该相同数据块进行关联，能够满足分布式文件系统的需求，还减少了对数据块的重复复制的过程，降低了系统资源和IO资源的消耗，改善了存储系统在引入快照机制后系统性能普遍变得较低的问题。

附图说明

图1为本发明一实施例提供的基于分布式文件系统的快照实现方法的流程图；

图2为本发明一实施例提供的分布式文件系统的示意图。

具体实施方式

本发明的总体构思是，在对源文件做快照时，只是复制数据块的元数据，得到快照文件，源文件的各个数据块（chunk）的内容暂不复制，而是等到需要对数据块进行更新操作（如修改、删除、增加内容等）时，再复制数据块的内容。本发明的快照文件由复制数据块的元数据得来。

下面通过具体实施方式结合附图对本发明作进一步详细说明。

源文件往往由多个数据块存储，假设源文件由4个数据块存储，分别计为数据块A、B、C和D。快照前，该源文件的元信息包括pA、pB、pC、pD，如表1所示，快照前，快照文件为空。

表1

源文件的元信息

pA

pB

pC

pD

由于，快照后，快照文件和数据块的元数据可能引用同一数据块，因此，该实施例引入引用计数模块，可以在分布式文件系统中的元数据服务器上，针对一源文件的各数据块，分别设置对应的引用计数模块，各引用计数模块为相应数据块当前被快照文件、数据块的元数据关联的次数进行计数；或者也可以针对一源文件共设置一个引用计数模块，该引用计数模块分别为该源文件的各个数据块当前被快照文件、数据块的元数据关联的次数进行计数。未进行快照前，因各数据块仅被其元数据引用，所以各数据块的引用计数均为1，如表2所示。

表2

接收到用户的快照请求后，可以针对一源文件中的各个数据块，分别制作一个快照文件，也可以针对一个源文件的所有数据块共制作一个快照文件，该快照文件中包括各个数据块的快照文件，以针对一个源文件的所有数据块共制作一个快照文件为例。如图1所示，按照如下步骤对该源文件进行快照：

S101、复制各数据块的元数据，得到快照文件1，并将快照文件1保存在本地存储媒介。快照文件1具有与源文件的元数据相同的信息，由表1可知，当前源文件的元数据包括pA、pB、pC、pD，因此，快照文件1同样包括pA、pB、pC、pD，如表3所示。

表3

源文件的元信息	pA	pB	pC	pD
					快照文件	pA	pB	pC	pD

S102、将快照文件1和源文件的元数据与相同数据块进行关联，各数据块同时被其源文件的元数据和快照文件1引用，因此，各数据块的引用计数由1变为2。如表4所示。

表4

假设用户在快照操作后需要对数据块A进行更新操作，如需要对数据块A进行写入，则还包括如下主要步骤：

S103、通过分布式文件系统中的文件访问客户端接收用户的更新操作请求，判断数据块A对应的引用计数是否大于1，若是，则说明数据块A同时与快照文件、源文件的元数据关联，进入步骤S104，否则，说明数据块A没有同时与快照文件、源文件的元数据关联，正常情况下，要么数据块A仅与源文件的元数据关联，说明数据块A还未进行过快照或者进行过快照后，快照文件1已删除，要么数据块A仅与快照文件1关联，说明数据块A是仅用于备份保存的数据块，进入步骤108。

S104、对数据块A进行复制，得到新建数据块A1。

具体的，可以选择一个新的数据块句柄A1，要求分布式文件系统中每个拥有数据块A的文件访问服务器都创建一个叫A1的新数据块，新建数据块A1的数据内容从文件访问服务器本地的数据块A复制过来。

S105、对数据块A和新建数据块A1中的任一者进行更新操作，另一者与快照文件关联后备份保存。

假如选择对新建数据块A1进行更新操作，那么保持数据块A与快照文件1的关联关系后保存在本地存储媒介，删除源文件的元数据中数据块A的元数据，同时加入数据块A1的元数据，那么当前源文件的元数据更新为：pA1、pB、pC、pD，由于数据块A1并未进行快照，因此，快照文件1依然是pA、pB、pC、pD，如表5所示。

表5

源文件的元信息	pA1	pB	pC	pD
					快照文件	pA	pB	pC	pD

删除源文件的元数据中数据块A的元数据的同时，相应地删除数据块A的元数据与数据块A的关联关系，因此，数据块A的引用计数减1。加入数据块A1的元数据的同时，相应地加入源文件的元数据对数据块A1的引用计数，由于其仅被更新后的源文件的元数据引用，因此其引用计数为1。如表6所示。

表6

S106、元数据服务器把数据块A1的元信息回应给文件访问客户端；

S107、文件访问客户端根据用户的写入指令向数据块A1正常写入数据。

S108、根据用户的写入指令直接对数据块A进行写入，不需要对数据块A进行复制。

假设用户需要对源文件进行追加，如追加数据块E，则还包括如下主要步骤：

S109、元数据服务器把数据块E的元信息加入当前源文件的元数据，参照表5，当前源文件的元数据包括：pA1、pB、pC、pD，因此，加入数据块E的元信息之后，源文件的元数据更新为：pA1、pB、pC、pD、pE，但是由于数据块pA1、pE并未进行快照，因此，快照文件1依然是pA、pB、pC、pD，如表7所示。

表7

源文件的元信息	pA1	pB	pC	pD	pE
						快照文件	pA	pB	pC	pD

S110、加入数据块E的元信息的同时，相应地加入源文件的元数据对数据块E的引用计数，由于其仅被更新后的源文件的元数据引用，因此其引用计数为1。如表8所示。

表8

假设用户需要对源文件中的某个数据块进行删除，如删除数据块D，则还包括如下主要步骤：

S111、元数据服务器从当前源文件的元数据中删除数据块D的元信息，参照表7，当前源文件的元数据包括：pA1、pB、pC、pD、pE，因此，删除数据块D的元信息之后，源文件的元数据更新为：pA1、pB、pC、pE，但是数据块D的快照文件未被删除，因此，快照文件1依然是pA、pB、pC、pD，如表9所示。

表9

源文件的元信息	pA1	pB	pC	pE
					快照文件	pA	pB	pC	pD

S112、删除数据块D的元信息的同时，相应地删除源文件的元数据对数据块D的引用计数，因此数据块D的引用计数减1。如表10所示。

表10

假设用户需要对当前的源文件再作快照，接收到用户的快照请求后，还包括如下主要步骤：

S113、复制当前源文件中各数据块的元数据，得到快照文件2，并将该快照文件2保存在本地存储媒介。快照文件2具有与当前源文件的元数据相同的信息，参考表9可知，当前源文件的元数据包括pA1、pB、pC、pE，因此，快照文件2同样包括pA1、pB、pC、pE，而快照文件1依然包括pA、pB、pC、pD。如表11所示。

表11

源文件的元信息	pA1	pB	pC	pE
					快照文件1	pA	pB	pC	pD
快照文件2	pA1	pB	pC	pE

S114、将快照文件2和源文件的元数据与相同数据块进行关联，因此，对于数据块A1、B、C、E而言，其引用计数均加1，其他数据块引用计数不变。表10更新为表12，如表12所示。

表12

假设用户需要删除快照文件1，接收到用户的删除请求后，还包括如下主要步骤：

S115、如同删除普通文件一样，删除快照文件1，对于快照文件1所涉及的数据块A、B、C、D而言，失去了一个快照镜像，表11更新为表13，如表13所示。

表13

源文件的元信息	pA1	pB	pC	pE
					快照文件2	pA1	pB	pC	pE

S116、删除快照文件1时，相应地更新数据块的引用计数，对于快照文件1所涉及的数据块A、B、C、D而言，其计数均减1，其他数据块引用计数不变。

表12更新为表14，如表14所示。

表14

图2为本发明一实施例提供的分布式文件系统，包括元数据服务器11、文件访问客户端12、文件访问服务器13和存储媒介14。

元数据服务器11负责管理分布式文件系统内所有文件的文件名、数据块等元数据信息；向文件访问客户端12提供元数据写入和查询等操作；在接收到来自用户的快照请求后，复制数据块的元数据创建快照文件，并将快照文件和数据块的元数据与该相同数据块进行关联；还用于为数据块被快照文件、数据块的元数据关联的次数进行计数。

文件访问客户端12负责为分布式文件系统面向的应用程序提供类似于标准文件系统的接口调用服务，同时充当发起快照流程的客户端，接收来自用户的快照请求，然后与元数据服务器11、文件访问服务器13交互，完成快照流程。

文件访问服务器13负责与存储媒介14进行交互，进行数据块的读写操作；响应文件访问客户端12的数据读写请求，从存储媒介14上读取数据并返回给文件访问客户端12；从文件访问客户端12读取数据并写入存储媒介14；在接收到来自用户对数据块的更新操作请求后，先判断该数据块是否同时与快照文件、数据块的元数据关联，若是，则不能直接对该数据块进行更新操作，而是需要对该数据块进行复制，得到新建数据块，对原数据块和新建数据块中的任一者进行更新操作，另一者与快照文件关联后保存，这样便能够将源文件的元数据和快照文件所指向的数据块区分开来，与快照文件关联的数据块被备份保存。如果判断结果为该数据块没有同时与快照文件、数据块的元数据关联，正常情况下，要么该数据块仅与数据块的元数据关联，则说明该数据块还未进行过快照或者进行过快照后，快照文件已删除，要么该数据块仅与快照文件关联，则说明该数据块是被备份保存的数据块，那么，可以根据用户的更新操作请求直接对该数据块进行更新操作，不需要对该数据块进行复制。

存储媒介14可以为普通的IDE磁盘或SATA磁盘，用于存放数据块。

具体的，为了实现快照功能，元数据服务器11上可设置快照文件创建模块111、关联关系建立模块112，并针对源文件的各数据块，分别设置对应的引用计数模块113，各引用计数模块113分别为相应数据块被快照文件、数据块的元数据关联的次数进行计数。当然，在另一实施例中，也可以针对源文件的各数据块，共设置一个对应的引用计数模块，该引用计数模块分别为该源文件的各个数据块被快照文件、数据块的元数据关联的次数进行计数。文件访问服务器13上可设置判断模块131、数据块更新模块132和数据块新建模块133，各模块的功能如下：

在接收到来自用户的快照请求后，快照文件创建模块11可以针对源文件中的每个数据块，分别制作一个快照文件，也可以针对一个源文件的所有数据块共制作一个快照文件，该快照文件中包括各个数据块的快照文件。快照文件创建模块11具体用于复制数据块的元数据，以作为快照文件，源文件的各个数据块的内容暂不复制，将快照文件保存在存储媒介14上。此外，快照文件创建模块11创建快照文件的过程中，为了保证快照文件的准确性，可以禁止或延迟一切对该源文件的更新操作。

快照文件创建模块11创建快照文件之后，关联关系建立模块112用于将其创建的快照文件和数据块的元数据与该相同数据块进行关联。

进行快照前，各数据块仅被其源文件的元数据引用，因此，此时对应引用计数模块113的引用计数均为1；在快照文件创建模块11每为该数据块创建一个快照文件，且关联关系建立模块112将该快照文件与该数据块关联之后，其计数加1，在每一快照文件被删除并解除了与该数据块的关联关系，或者，该数据块被删除，其元数据与该数据块的关联关系被解除之后，其计数相应减1。

判断模块131用于在接收到来自用户对数据块的更新操作请求后，先判断与该数据块对应的引用计数模块113的计数是否大于1，若是，则判断为该数据块同时与快照文件、数据块的元数据关联，则数据块更新模块132不能直接对该数据块进行更新操作，而是需要数据块新建模块133对该数据块进行复制，得到新建数据块，并保存在存储媒介14中。数据块更新模块132用于对原数据块和新建数据块中的任一者进行更新操作，若选择对原数据块进行更新操作，关联关系建立模块112用于将新建数据块与快照文件关联后备份保存，若选择对新建数据块进行更新操作，关联关系建立模块112用于保持原数据块与快照文件关联后备份保存，并删除源文件的元数据中的原数据块的元数据，加入新建数据块的元数据，建立新建数据块的元数据与新建数据块的关联关系。同时，由于原数据块的元数据被删除，其与原数据块的关联关系被解除，因此，与原数据块对应的引用计数模块113的引用计数减1，还可以针对新建数据块，建立对应的另一引用计数模块，由于新建数据块由于被其元数据引用，与其对应的引用计数模块计数为1。若判断模块131的判断结果为该数据块没有同时与快照文件、数据块的元数据关联，那么，数据块更新模块132用于根据用户的更新操作请求直接对原数据块进行更新操作，不需要对原数据块进行复制。

本发明提供的快照实现方法相对于现有成熟的快照实现方法，新建的快照文件是由复制数据块的元数据而得来的，得到的快照文件和该数据块的元数据与该相同数据块进行关联，能够满足分布式文件系统的需求，还减少了对数据块的重复复制的过程，降低了系统资源和IO资源的消耗，改善了存储系统在引入快照机制后系统性能普遍变得较低的问题。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种基于分布式文件系统的快照实现方法，其特征在于，包括：

复制数据块的元数据创建快照文件，并保存；

将所述快照文件和所述数据块的元数据与所述数据块进行关联，关联后，所述数据块同时被所述快照文件、所述数据块的元数据引用；

还包括：在需要对数据块进行更新操作时，判断所述数据块是否同时与所述快照文件、所述数据块的元数据关联，若是，对所述数据块进行复制，得到新建数据块；对所述数据块和所述新建数据块中的任一者进行更新操作，另一者与所述快照文件关联后保存；

判断所述数据块是否同时与所述快照文件、所述数据块的元数据关联，指的是判断所述数据块是否同时被所述快照文件、所述数据块的元数据引用。

2.如权利要求1所述的基于分布式文件系统的快照实现方法，其特征在于，若否，则直接对所述数据块进行更新操作。

3.如权利要求1或2所述的基于分布式文件系统的快照实现方法，其特征在于，还包括：建立与数据块对应的引用计数器；对所述数据块当前被所述快照文件、所述数据块的元数据关联的次数进行计数。

4.如权利要求3所述的基于分布式文件系统的快照实现方法，其特征在于，判断所述数据块是否同时与所述快照文件、所述数据块的元数据关联的方法包括：判断所述引用计数器的计数是否大于1，若是，则判断为所述数据块同时与所述快照文件、所述数据块的元数据关联。

5.一种基于分布式文件系统的快照实现装置，其特征在于，包括快照文件创建模块和关联关系建立模块，其中，

所述快照文件创建模块用于复制数据块的元数据创建快照文件，并保存；

所述关联关系建立模块用于将所述快照文件和所述数据块的元数据与所述数据块进行关联，关联后，所述数据块同时被所述快照文件、所述数据块的元数据引用；

还包括判断模块、数据块更新模块和数据块新建模块，其中，

所述判断模块在所述数据块更新模块需要对数据块进行更新操作时，判断所述数据块是否同时与所述快照文件、所述数据块的元数据关联，所述判断所述数据块是否同时与所述快照文件、所述数据块的元数据关联，指的是判断所述数据块是否同时被所述快照文件、所述数据块的元数据引用；

所述数据块新建模块用于在所述判断模块的判断结果为是时，对所述数据块进行复制，得到新建数据块；

所述数据块更新模块用于对所述数据块和所述新建数据块中的任一者进行更新操作；

所述关联关系建立模块用于将所述数据块和所述新建数据块中的另一者与所述快照文件关联后保存。

6.如权利要求5所述的基于分布式文件系统的快照实现装置，其特征在于，所述数据块更新模块还用于在所述判断模块判断结果为否时，直接对所述数据块进行更新操作。

7.如权利要求5或6所述的基于分布式文件系统的快照实现装置，其特征在于，还包括与数据块对应的引用计数模块，所述引用计数模块用于对所述数据块当前被所述快照文件、所述数据块的元数据关联的次数进行计数。

8.如权利要求7所述的基于分布式文件系统的快照实现装置，其特征在于，所述判断模块用于判断所述引用计数器的计数是否大于1，若是，则判断为所述数据块同时与所述快照文件、所述数据块的元数据关联。