CN115757330A - 一种分布式文件系统的高度可靠的元数据服务系统 - Google Patents

Abstract

本发明涉及分布式存储技术领域，具体涉及一种分布式文件系统的高度可靠的元数据服务系统，包括活动服务器、共享存储池、多个备用服务器、多激活备用策略模块和全局恢复模块，活动服务器对元数据进行管理和操作，并生成日志；共享存储池将活动服务器的元数据和日志同步到每一备用服务器；备用服务器存储元数据和日志；多激活备用策略模块在活动服务器崩溃时，从多个备用服务器中选择目标服务器对元数据进行管理和操作；全局恢复模块将活动服务器和多个备用服务器恢复一致状态。实现了全局状态恢复策略和智能客户端容错机制，以保持元数据服务的连续性。解决了现有的分布式文件系统缺乏提供元数据可靠性的有效机制的问题。

Description

一种分布式文件系统的高度可靠的元数据服务系统

技术领域

本发明涉及分布式存储技术领域，尤其涉及一种分布式文件系统的高度可靠的元数据服务系统。

背景技术

许多大规模数据处理应用程序通常需要长时间、连续和不间断的数据访问。分布式文件系统用作后端存储，以提供全局命名空间管理和可靠性保证。随着系统规模的不断扩大，硬件故障和软件问题日益增多，元数据服务可靠性已成为一个关键问题，因为它直接影响文件和目录操作。现有的元数据管理机制可以提供容错机制，但它们通常在系统可用性、状态一致性和性能开销方面存在限制，因此缺乏提供元数据可靠性的有效机制，降低了分布式文件系统的可用性。

发明内容

本发明的目的在于提供一种分布式文件系统的高度可靠的元数据服务系统，旨在解决现有的分布式文件系统缺乏提供元数据可靠性的有效机制的问题。

为实现上述目的，本发明提供了一种分布式文件系统的高度可靠的元数据服务系统，包括活动服务器、共享存储池、多个备用服务器、多激活备用策略模块和全局恢复模块，所述多激活备用策略模块、所述全局恢复模块、所述活动服务器和多个所述备用服务器均与所述共享存储池连接；

所述活动服务器，用于对元数据进行管理和操作，并生成日志；

所述共享存储池，用于将所述活动服务器的元数据和日志同步到每一所述备用服务器；

所述备用服务器，用于存储所述元数据和所述日志；

所述多激活备用策略模块，用于在所述活动服务器崩溃时，从多个所述备用服务器中选择目标服务器对所述元数据进行管理和操作；

所述全局恢复模块，用于将所述活动服务器和多个所述备用服务器恢复一致状态。

其中，所述活动服务器和所述备用服务器均具有命名空间映像和一个或多个日志文件，

所述命名空间用于将所述元数据存储为图像文件，所述日志文件用于存储所述日志。

其中，所述图像文件包括索引节点和块列表。

其中，所述多激活备用策略模块在选择所述目标服务器时，通过比较每一所述备用服务器存储的日志对应的序列号进行选择。

其中，所述全局恢复模块在进行状态恢复时，从所述活动服务器中选择一个节点作为时间服务器，多个所述备用服务器将时间发送给所述时间服务器，所述时间服务器从所述时间中选择平均值作为时间戳，并将所述时间戳发送给多个所述备用服务器对应的节点，每一所述节点以协作的方式在对应的所述日志中写入标志，此时所述活动服务器和多个所述备用服务器恢复一致状态。

其中，所述每一所述节点以协作的方式在对应的所述日志中写入标志，此时所述活动服务器和多个所述备用服务器恢复一致状态，包括：

所述时间服务器停止接收客户端请求，并在内存中提交所有元数据修改，并在日志末尾写入标志，随后，所述时间服务器向相邻的所述节点发送通知请求；

所述节点接收请求并执行与所述时间服务器相同的操作，得到检查点，直至所有所述备用服务器均在日志中写入标志，此时所述活动服务器和多个所述备用服务器恢复一致状态。

本发明的一种分布式文件系统的高度可靠的元数据服务系统，通过所述活动服务器对元数据进行管理和操作，并生成日志；所述共享存储池将所述活动服务器的元数据和日志同步到每一所述备用服务器；所述备用服务器存储所述元数据和所述日志；所述多激活备用策略模块在所述活动服务器崩溃时，从多个所述备用服务器中选择目标服务器对所述元数据进行管理和操作；所述全局恢复模块将所述活动服务器和多个所述备用服务器恢复一致状态。实现了一种新的全局状态恢复策略和智能客户端容错机制，以保持元数据服务的连续性。解决了现有的分布式文件系统缺乏提供元数据可靠性的有效机制的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种分布式文件系统的高度可靠的元数据服务系统的构架图。

图2是共享存储池的结构图。

图3是活动节点-备用节点转换的主要步骤图。

1-活动服务器、2-共享存储池、3-备用服务器、4-多激活备用策略模块、5-全局恢复模块。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1至图3，本发明提供一种分布式文件系统的高度可靠的元数据服务系统，包括活动服务器1、共享存储池2、多个备用服务器3、多激活备用策略模块4和全局恢复模块5，所述多激活备用策略模块4、所述全局恢复模块5、所述活动服务器1和多个所述备用服务器3均与所述共享存储池2连接；

所述活动服务器1，用于对元数据进行管理和操作，并生成日志；

所述共享存储池2，用于将所述活动服务器1的元数据和日志同步到每一所述备用服务器3；

所述备用服务器3，用于存储所述元数据和所述日志；

所述多激活备用策略模块4，用于在所述活动服务器1崩溃时，从多个所述备用服务器3中选择目标服务器对所述元数据进行管理和操作；

所述全局恢复模块5，用于将所述活动服务器1和多个所述备用服务器3恢复一致状态。

具体的，通过所述活动服务器1对元数据进行管理和操作，并生成日志；所述共享存储池2将所述活动服务器1的元数据和日志同步到每一所述备用服务器3；所述备用服务器3存储所述元数据和所述日志；所述多激活备用策略模块4在所述活动服务器1崩溃时，从多个所述备用服务器3中选择目标服务器对所述元数据进行管理和操作；所述全局恢复模块5将所述活动服务器1和多个所述备用服务器3恢复一致状态。实现了一种新的全局状态恢复策略和智能客户端容错机制，以保持元数据服务的连续性。解决了现有的分布式文件系统缺乏提供元数据可靠性的有效机制的问题。

进一步的，所述活动服务器1和所述备用服务器3均具有命名空间映像和一个或多个日志文件，

所述命名空间用于将所述元数据存储为图像文件，所述日志文件用于存储所述日志。

所述图像文件包括索引节点和块列表。

所述多激活备用策略模块4在选择所述目标服务器时，通过比较每一所述备用服务器3存储的日志对应的序列号进行选择。

所述全局恢复模块5在进行状态恢复时，从所述活动服务器1中选择一个节点作为时间服务器，多个所述备用服务器3将时间发送给所述时间服务器，所述时间服务器从所述时间中选择平均值作为时间戳，并将所述时间戳发送给多个所述备用服务器3对应的节点，每一所述节点以协作的方式在对应的所述日志中写入标志，此时所述活动服务器1和多个所述备用服务器3恢复一致状态。

所述每一所述节点以协作的方式在对应的所述日志中写入标志，此时所述活动服务器1和多个所述备用服务器3恢复一致状态，包括：

所述时间服务器停止接收客户端请求，并在内存中提交所有元数据修改，并在日志末尾写入标志，随后，所述时间服务器向相邻的所述节点发送通知请求；

所述节点接收请求并执行与所述时间服务器相同的操作，得到检查点，直至所有所述备用服务器3均在日志中写入标志，此时所述活动服务器1和多个所述备用服务器3恢复一致状态。

具体的，共享存储池2(SSP)有两个主要功能：

(1)SSP在活动服务器1(MDS)和备用服务器3之间提供元数据同步。为了实现热备和服务接管，备用服务器3需要从活动服务器1同步元数据修改，并与其保持一致状态。

(2)SSP提供持久的元数据存储。除了在内存中维护命名空间之外，元数据服务器还必须存储磁盘中的日志用于磁盘恢复。否则，如果元数据服务器发生故障，文件系统状态将丢失。与本地磁盘存储不同，SSP提供了共享元数据存储，其中活动服务器1对日志进行复制，并将其分发给每个副本组中的备用服务器3。

每个活动服务器1都有两种持久存储的日志，包括命名空间映像和一个或多个日志文件。当活动服务器1将元数据同步到备用服务器3时，它会将日志写入一个本地副本中的日志文件，并同时在备用中复制它们。除了日志文件之外，内存中的整个命名空间也会定期存储为图像文件，它包括索引节点数据和属于文件系统中每个文件的块列表。图像文件以流水线方式在活动服务器1和备用服务器3之间复制。因此，当元数据服务器加载日志进行恢复时，SSP可以帮助改进元数据冗余和局部性。

图2描述了共享存储池2的设计。如图所示，每个副本组中的活动服务器1和多个备用服务器3作为SSP形成一个节点池。对于每个元数据，活动服务器1通过SSP同步并复制对其备用服务器3的修改。当元数据服务器在SSP中被重用时，如果发生活动-备用状态转换，它们的状态将相应地改变。例如，如果由于故障将活动节点更改为备用节点，它将不再与其他元数据同步，而是等待从新活动节点接收元数据。为了提高性能，活动服务器1将元数据修改聚合为一批日志，并将其同步到备用服务器3。当发生故障时，备用服务器3可以实现活动服务器1的热备。为了减少元数据操作的性能开销，使用两阶段提交协议用于元数据同步和复制。

多激活备用策略模块4：

由于多激活备用策略模块4使用多个备用服务器3进行容错，因此当活动服务器1崩溃时，它需要选择一个新的备用服务器3。主动选举的过程就像分布式锁管理。当活动服务器1系统崩溃时，每个备用服务器3系统都会定期尝试获取分布式锁，直到成功或遇到故障(例如超时)。还可以通过比较日志序列号来实现主动选择。它确保了元数据服务的连续性，即使在全局视图中没有备用项。

多激活备用策略模块4实现了用于容错的自动主备切换。结合来自节点监视器的心跳，多激活备用策略模块4使用事件驱动机制在故障情况下触发主动选择和状态转换。每个服务器在全局视图上都有三个事件观察者：一个在其自身，一个在活动服务器1上，另一个在分布式锁上。任何错误都会触发它们修改全局视图，并导致两种情况：活动状态更改，这会使活动服务器1失去锁定，并启动一个选择过程，或在备用状态之间进行其他状态转换。它确保在活动进程丢失分布式锁之前，任何进程都无法获得分布式锁。故障切换协议的主备转换过程如图3所示，其中带下划线的数字表示具有授予锁定的相同IP序列的服务器。

当活动服务器1检测到故障时，它停止提供服务，不再响应客户端，如图3a所示。活动服务器1直接变为备用服务器3。活动服务器1的角色也将在SSP中发生变化，SSP不会将元数据同步到备用服务器3。然而，一些过时的数据，如活动服务器1中的缓冲日志，可能会被刷新为备用数据。因为备用服务器3只接收和响应来自活动服务器1的元数据。由于全局视图将被立即修改，并且每当服务器状态发生变化时都会触发事件，因此不存在两个元数据服务器同时访问同一日志文件的情况，这实现了IO隔离的功能。在某些情况下，备用服务器3在全局视图中具有良好的状态，但它们之间可能会发生网络故障。观察者不会宣布任何错误，但多激活备用策略模块4可以在下面讨论的更新过程中处理此故障。

一旦备用服务器3成功获得锁，它就会持有锁并准备状态转换。触发事件以通知其他人停止竞争，这将减少不必要的选举行动。然后，选定的备用服务器3不会从活动服务器1接收任何日志，并等待切换的机会。如果没有挂起或正在处理的操作，它将立即启动升级。否则，所选的备用服务器3将它们应用于自己的命名空间，并忽略所有新的修改。提交缓存日志后，它将进入升级过程，如图3b、3c和3d：

(1)选定的备用服务器3访问全局视图并检查其自身的状态。如果它处于初级状态，则必须停止升级并放弃锁定。此时将执行重新选举操作

(2)选定的备用节点将修改全局视图中的相关状态。它将以前的活动状态更改为待机状态或初级状态，并将自身设置为活动状态。此时，所有节点将拒绝来自上一个活动节点的操作。

(3)允许来自客户端的新请求。一旦切换了服务器状态，新的文件操作可能会到达选定的备用节点。它接收请求并将其保存在内存中，但在升级过程完成之前不会提交请求。

(4)为了避免丢失操作，选定的备用节点会再次将上次缓存的日志刷新到副本组中的其他节点。由于前一个活动节点可能变为备用节点并再次接收相同的日志，因此在此步骤中必须区分重复的日志。每个备用服务器3将通过比较序列号的值来决定是否提交日志。只有当活动状态的序列号大于当前最大序列号时，备用状态才会应用日志并对其进行响应。

(5)所选的备用服务器3从副本组中的所有服务器接收注册信息。它确认并更改全局视图中每个服务器的状态。如果服务器没有相同的最大序列号，则将其切换到初级。否则，服务器将根据其以前的状态分配到备用或初级。

(6)当初级用户升级到待机状态时，全局视图返回到稳定状态，如图3d所示。全局视图也可以定期存储在SSP中，以便持久化。在状态转换过程中，如果发生任何故障，所选备用设备将停止升级。多激活备用策略模块4此时将在复制组中启动重新选举过程。

全局恢复模块5：

在提供容错以保持元数据服务的连续性的同时，存在一个重要的问题，即在多个故障点(即多个活动服务器1故障)的情况下，全局状态不一致。如果出现过多故障服务器或多激活备用策略无法恢复某些服务器，则文件系统仍将处于故障状态。此时，它需要重新启动所有元数据服务器，并实现整个文件系统的故障切换。但是，重新启动后，每个元数据服务器的状态可能不处于相同的一致状态。原因有两方面：1、使用多元数据服务，每个元数据服务器管理一部分命名空间，并维护整个文件和目录树的一部分。一些操作需要作为分布式事务跨元数据服务器执行，以确保一致性。由于分布式事务对应于多个元数据服务器中的操作和日志，因此在发生故障时可能会导致日志不一致。2，尽管分布式事务协调有一致性协议，但由于每个服务器都加载自己的日志并且不知道事务状态，因此在重启后很难在元数据服务器之间达成一致。

为了解决这个问题，本发明提出了一种基于共享存储池2的新方法，以实现全局状态恢复。使用统一的时间戳在分布式元数据服务器中创建检查点，其中每个检查点表示某个时间点的全局一致状态。如果出现多个故障，所有元数据服务器都会重新启动并加载日志，直到到达相同的检查点，从而确保文件系统恢复到以前的一致状态。

全局状态恢复机制由外部命令触发以进行备份。为了决定检查点的时间戳，它从活动服务器1中选择一个节点作为时间服务器，以便其他元数据服务器将其系统时间发送给它。通过比较不同的系统时间，时间服务器选择一个平均值作为统一时间戳，并将其发送回其它节点。协商的时间戳可能与某些元数据服务器的当前系统时间不匹配。这无关紧要，因为时间戳只是指示恢复的时间点。如果所有元数据服务器都接收到检查点时间戳，它们就开始以协作的方式在日志中写入唯一的标志。时间服务器首先停止接收客户端请求。然后，它在内存中提交所有元数据修改，并在日志末尾写入一个标志。最后，时间服务器向邻居节点发起通知请求。相邻节点接收请求，并执行与时间服务器相同的操作以创建检查点。当所有元数据服务器在日志中写入标志时，SSP中会存储全局一致检查点(统一系统状态)。

以上所揭露的仅为本发明一种分布式文件系统的高度可靠的元数据服务系统较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (6)

1.一种分布式文件系统的高度可靠的元数据服务系统，其特征在于，

包括活动服务器、共享存储池、多个备用服务器、多激活备用策略模块和全局恢复模块，所述多激活备用策略模块、所述全局恢复模块、所述活动服务器和多个所述备用服务器均与所述共享存储池连接；

所述活动服务器，用于对元数据进行管理和操作，并生成日志；

所述共享存储池，用于将所述活动服务器的元数据和日志同步到每一所述备用服务器；

所述备用服务器，用于存储所述元数据和所述日志；

所述多激活备用策略模块，用于在所述活动服务器崩溃时，从多个所述备用服务器中选择目标服务器对所述元数据进行管理和操作；

所述全局恢复模块，用于将所述活动服务器和多个所述备用服务器恢复一致状态。

2.如权利要求1所述的分布式文件系统的高度可靠的元数据服务系统，其特征在于，

所述活动服务器和所述备用服务器均具有命名空间映像和一个或多个日志文件，

所述命名空间用于将所述元数据存储为图像文件，所述日志文件用于存储所述日志。

3.如权利要求2所述的分布式文件系统的高度可靠的元数据服务系统，其特征在于，

所述图像文件包括索引节点和块列表。

4.如权利要求3所述的分布式文件系统的高度可靠的元数据服务系统，其特征在于，

所述多激活备用策略模块在选择所述目标服务器时，通过比较每一所述备用服务器存储的日志对应的序列号进行选择。

5.如权利要求4所述的分布式文件系统的高度可靠的元数据服务系统，其特征在于，

所述全局恢复模块在进行状态恢复时，从所述活动服务器中选择一个节点作为时间服务器，多个所述备用服务器将时间发送给所述时间服务器，所述时间服务器从所述时间中选择平均值作为时间戳，并将所述时间戳发送给多个所述备用服务器对应的节点，每一所述节点以协作的方式在对应的所述日志中写入标志，此时所述活动服务器和多个所述备用服务器恢复一致状态。

6.如权利要求5所述的分布式文件系统的高度可靠的元数据服务系统，其特征在于，

所述每一所述节点以协作的方式在对应的所述日志中写入标志，此时所述活动服务器和多个所述备用服务器恢复一致状态，包括：

所述时间服务器停止接收客户端请求，并在内存中提交所有元数据修改，并在日志末尾写入标志，随后，所述时间服务器向相邻的所述节点发送通知请求；

所述节点接收请求并执行与所述时间服务器相同的操作，得到检查点，直至所有所述备用服务器均在日志中写入标志，此时所述活动服务器和多个所述备用服务器恢复一致状态。

Images