CN107786650B - 一种存储介质和管理策略的同步方法、装置及系统 - Google Patents

Abstract

本发明公开了一种元数据集群管理策略的同步方法，应用于分布式文件系统，包括：主元数据服务器获取新策略；主元数据服务器更新自身缓存，并向各从元数据服务器发送包含有新策略的更新消息；各从元数据服务器接收更新消息，并更新自身缓存。可见，应用本同步方法，在系统的管理信息发生变化时，通过主元数据服务器获取新策略，并通过在更新自身缓存的同时向各从元数据服务器发送含有新策略的更新消息，使得各从元数据服务器能够及时得到新策略，完成自身缓存的更新。避免了由于需要等待一定的间隔时间而导致的各元数据服务器上的管理信息不同步情况发生。此外，本发明还公开了一种计算机存储介质和一种元数据集群管理策略的同步装置及系统。

Description

一种存储介质和管理策略的同步方法、装置及系统

技术领域

本发明涉及计算机领域，特别涉及一种存储介质和管理策略的同步方法、装置及系统。

背景技术

分布式文件系统元数据集群存储有公用的管理信息，如对某一目录的大小进行限制、在某类文件大于一定大小的时候进行数据迁移等。这类管理信息只有在多个元数据服务器节点同步，才能保证系统功能的正常运行。

目前，往往是通过在系统中设置专用于定时同步的监视器定时同步管理信息，但是，应用该方法，由于元数据集群需要间隔一定时间才去获取系统信息的变化，实时性较差，使得在管理信息发生变化时，各元数据服务器节点无法及时更新缓存，影响系统功能的正常运行。

因此，在系统的管理信息发生变化时，如何保证各元数据服务器能够及时更新缓存是本领域技术人员目前需要解决的技术问题。

发明内容

本发明的目的是提供一种存储介质和管理策略的同步方法、装置及系统，在系统的管理信息发生变化时，能够保证各元数据服务器能够及时更新缓存。

为了解决上述技术问题，本发明提供的一种元数据集群管理策略的同步方法，应用于分布式文件系统，包括：

主元数据服务器获取新策略；

所述主元数据服务器更新自身缓存，并向各从元数据服务器发送更新消息；

各所述从元数据服务器接收所述更新消息，并更新自身缓存；

其中，所述更新消息包含所述新策略。

优选地，在所述主元数据服务器获取到所述新策略之后，所述同步方法还包括：

执行将所述新策略复制到磁盘的操作以将所述新策略备份到所述磁盘中。

优选地，在所述执行将所述新策略复制到磁盘的操作之后，所述同步方法还包括：

判断所述新策略是否成功复制到所述磁盘；

如果是，进入所述主元数据服务器更新自身缓存，并向各所述从元数据服务器发送所述更新消息的步骤，如果否，则退出本次同步操作，将原策略作为最终新策略更新至所述主元数据服务器的缓存中。

优选地，在所述退出本次同步操作，将原策略作为最终新策略更新至所述主元数据服务器的缓存中之后，所述同步方法还包括：

输出同步失败的提示信息。

优选地，各所述从元数据服务器在成功更新自身缓存之后，所述同步方法还包括：

向所述主元数据服务器发送更新成功的提示消息；

则对应的，所述主元数据服务器在接收到所述提示消息之后，输出同步成功的提示信息。

优选地，所述同步方法还包括：

当在预设时间内无法接收到目标从元数据服务器发送的更新成功的提示消息时，输出所述目标从元数据服务器已与所述分布式文件系统断开的提示信息。

为了解决上述技术问题，本发明提供的一种元数据集群管理策略的同步装置，应用于分布式文件系统，包括：

获取模块，用于主元数据服务器获取新策略；

发送模块，用于所述主元数据服务器更新自身缓存，并向各从元数据服务器发送更新消息；

更新模块，用于各所述从元数据服务器接收所述更新消息，并更新自身缓存；

其中，所述更新消息包含所述新策略。

优选地，所述同步装置还包括：

备份模块，用于执行将新策略复制到磁盘的操作以将所述新策略备份到所述磁盘中。

为了解决上述技术问题，本发明提供的一种元数据集群管理策略的同步系统，包括：

存储器，用于存储同步程序；

处理器，用于在执行所述同步程序时实现如上述任一种同步方法的步骤。

为了解决上述技术问题，本发明提供的一种计算机可读存储介质，存储有同步程序，所述同步程序被处理器执行时实现如上述任一种同步方法的步骤。

本发明提供的元数据集群管理策略的同步方法，应用于分布式文件系统，包括：主元数据服务器获取新策略；主元数据服务器更新自身缓存，并向各从元数据服务器发送包含有新策略的更新消息；各从元数据服务器接收更新消息，并更新自身缓存。可见，应用本同步方法，在系统的管理信息发生变化时，通过主元数据服务器获取新策略，并通过在更新自身缓存的同时向各从元数据服务器发送含有新策略的更新消息，使得各从元数据服务器能够及时得到新策略，完成自身缓存的更新。避免了现有技术中，由于需要等待一定的间隔时间而导致的各元数据服务器上的管理信息不同步，影响系统功能正常运行的情况发生。因此，本同步方法，能够在系统的管理信息发生变化时，保证各元数据服务器能够及时更新缓存。此外，本发明还提供了一种计算机存储介质和一种元数据集群管理策略的同步装置及系统。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种元数据集群管理策略的同步方法的流程图；

图2为本发明实施例提供的另一种元数据集群管理策略的同步方法的流程图；

图3为本发明实施例提供的另一种元数据集群管理策略的同步方法的流程图；

图4为本发明实施例提供的另一种元数据集群管理策略的同步方法的流程图；

图5为本发明实施例提供的一种元数据集群管理策略的同步装置的结构图；

图6为本发明实施例提供的一种元数据集群管理策略的同步系统的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动的前提下，所获得的所有其他实施例，都属于本发明保护范围。

本发明的目的是提供一种存储介质和管理策略的同步方法、装置及系统，在系统的管理信息发生变化时，能够保证各元数据服务器能够及时更新缓存。

为了使本领域的技术人员更好的理解本发明技术方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

图1为本发明实施例提供的一种元数据集群管理策略的同步方法的流程图。如图1所示，本同步方法应用于分布式文件系统，包括：

S10：主元数据服务器获取新策略。

其中，新策略是指用户新设置的元数据集群管理策略的管理信息。当用户需要修改原策略(在主元数据服务器获取到新策略之前，主元数据服务器中原有的管理信息)时，可以通过主元数据服务器发起更新元数据集群管理策略的操作。即用户可以直接在主元数据服务器上输入的新策略，且新策略可以被主元数据服务器设置在更新器内以便主元数据服务器可以将新策略加载至缓存中以进行步骤S11。而且，优选地，主元数据服务器为分布式文件系统的总节点。

S11：主元数据服务器更新自身缓存，并向各从元数据服务器发送更新消息。

其中，主元数据服务器在更新自身缓存的同时向各从元数据服务器发送包含有新策略的更新消息，以将新策略同步至各从元数据服务器，进入步骤S12。当然，如果能够保证主元数据服务器更新自身缓存所用的时间可以忽略不计，则在主元数据服务器更新完自身缓存之后，再向各从元数据服务器发送包含有新策略的更新消息也是可行的。

S12：各从元数据服务器接收更新消息，并更新自身缓存。

由于更新消息中包含新策略，所以各元数据服务器接收到更新消息即接收到了新策略，可以依据该新策略实时更新自身缓存，实现最新的管理信息在各元数据服务器上的同步，保证系统功能不因各元数据服务器上的管理信息不同步而受到影响。

可见，应用本同步方法，在系统的管理信息发生变化时，通过主元数据服务器获取新策略，并通过在更新自身缓存的同时向各从元数据服务器发送含有新策略的更新消息，使得各从元数据服务器能够及时得到新策略，完成自身缓存的更新。避免了现有技术中，由于需要等待一定的间隔时间而导致的各元数据服务器上的管理信息不同步，影响系统功能正常运行的情况发生。因此，本同步方法，能够在系统的管理信息发生变化时，保证各元数据服务器能够及时更新缓存。

图2为本发明实施例提供的另一种元数据集群管理策略的同步方法的流程图。如果元数据服务器更新自身缓存时，受到干扰而停止运行，或者主元数据服务器在向从元数据服务器发送更新消息时，受到干扰而停止运行，而导致更新元数据集群管理策略的操作中断，则在其再次启动时，会出现与其它各元数据服务器上的管理信息不同步的情况，影响系统功能。因此，为了增加本同步方法的可靠性，本发明的第二个实施例在第一个实施例的基础上，提供了另一种元数据集群管理策略的同步方法。

如图2所示，作为一种优选地实施方式，在图1的基础上，本同步方法在执行完步骤S10之后，还包括：

S20：执行将新策略复制到磁盘的操作以将新策略备份到磁盘中。

步骤S20在步骤S11之前执行。

由于元数据服务器在启动时，均会先从磁盘中获取元数据集群管理策略，所以在每一次执行完步骤S10之后和在执行步骤S11之前，通过执行步骤S20将最新的策略备份到磁盘中，可以有效预防元数据服务器由于突然停止运行而导致元数据集群的管理策略更新失败后，无法与其它正常工作的元数据服务器上的元数据集群管理策略同步，影响系统功能的情况发生，提高了本同步方法的可靠性。

图3为本发明实施例提供的另一种元数据集群管理策略的同步方法的流程图。如果新策略没有成功复制到磁盘，即使当前元数据服务器中的管理信息同步成功，但是一旦有元数据服务器重启或者新加入分布式存储系统，则重启或新加入的元数据服务器只能加载磁盘中的原策略，而无法与其它元数据服务器中的管理信息同步，存在影响系统功能的隐患。因此，为了消除该隐患，增加本同步方法的可靠性，本发明的第三个实施例在第二个实施例的基础上，提供了另一种元数据集群管理策略的同步方法。

如图3所示，作为一种优选地实施方式，在图2的基础上，本同步方法在执行完步骤S20之后，还包括：

S30：判断新策略是否成功复制到磁盘，如果是，则进入步骤S11，如果否，则进入步骤S31。

S31：退出本次同步操作，将原策略作为最终新策略更新至主元数据服务器的缓存中。

在本实施例中，主元数据服务器在更新管理信息时，预先将原策略备份在主元数据服务器中，具体地，在用户输入新策略后，由主元数据服务器创建一个设置器，并将原策略从自身缓存中复制到该设置器中，如果主元数据服务器没有成功将新策略复制到磁盘中，则主元数据服务器可以将设置器中的原策略最为最终新策略重新加载至缓存中，使主元数据服务器中的管理信息可以回退到未获取新策略的状态。

步骤S30在执行完步骤S20后执行，对步骤S20的执行结果进行判断，如果步骤S20执行成功，则继续执行步骤S11，如果步骤S20执行失败，则执行步骤S31，放弃本次同步操作，并使主元数据服务器回退至之前的状态，以防由于主元数据服务器中的管理信息与从元数据服务器中的管理信息不一致而导致系统功能异常的现象发生，提高本同步方法的可靠性。而且，如果用户依据希望更改元数据集群管理策略，则可以在排除步骤S20执行失败的因素后，再次进行修改。

为了使用户能够及时得知元数据集群管理策略更新失败，以采取对应的措施，提升本同步方法的友好性，作为一种优选地实施方式，在执行完步骤S31之后，还包括：输出同步失败的提示信息。

图4为本发明实施例提供的另一种元数据集群管理策略的同步方法的流程图。如果在元数据集群管理策略更新成功之后，对用户进行相应的提示，则可以进一步提升本同步方法的友好性。因此，本发明的第四个实施例在上述任一实施例的基础上提供另一种元数据集群管理策略的同步方法。

如图4所示，作为一种优选地实施方式，各从元数据服务器在成功更新自身缓存之后，本同步方法还包括：

S40：向主元数据服务器发送更新成功的提示消息。

S41：主元数据服务器在接收到提示消息之后，输出同步成功的提示信息。

由于本实施例提供的同步方法，能够及时提醒用户元数据集群管理策略修改成功，所以，本同步方法的友好性能够得到进一步地提升。

如果在一定时间内，主元数据服务器都无法获取到从元数据服务器发送的更新成功的提示信息，则说明该元数据度服务器已经与分布式存储系统断开，为了进一步增加本同步方法的友好性，作为一种优选地实施方式，本同步方法还包括：当在预设时间内无法接收到目标从元数据服务器发送的更新成功的提示消息时，输出目标从元数据服务器已与分布式文件系统断开的提示信息。其中，预设时间可以依据实际情况预先设定，本发明不做限定。

上文对于本发明提供的一种元数据集群管理策略的同步方法的实施例进行了详细的描述，本发明还提供了一种与该同步方法对应的同步装置，由于装置部分的实施例与方法部分的实施例相互照应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

图5为本发明实施例提供的一种元数据集群管理策略的同步装置的结构图。如图5所示，本同步装置应用于分布式文件系统，包括：

获取模块50，用于主元数据服务器获取新策略；

发送模块51，用于主元数据服务器更新自身缓存，并向各从元数据服务器发送更新消息；

更新模块52，用于各从元数据服务器接收更新消息，并更新自身缓存。

其中，更新消息包含新策略。

可见，应用本同步装置，在系统的管理信息发生变化时，通过主元数据服务器获取新策略，并通过在更新自身缓存的同时向各从元数据服务器发送含有新策略的更新消息，使得各从元数据服务器能够及时得到新策略，完成自身缓存的更新。避免了现有技术中，由于需要等待一定的间隔时间而导致的各元数据服务器上的管理信息不同步，影响系统功能正常运行的情况发生。因此，本同步装置，能够在系统的管理信息发生变化时，保证各元数据服务器能够及时更新缓存。

作为一种优选地实施方式，本同步装置还包括：

备份模块，用于执行将新策略复制到磁盘的操作以将新策略备份到磁盘中。

本发明还提供了一种与上述同步方法对应的元数据集群管理策略的同步系统，由于系统部分的实施例与方法部分的实施例相互照应，因此系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

图6为本发明实施例提供的一种元数据集群管理策略的同步系统的结构图。如图6所示，本同步系统包括：

存储器60，用于存储同步程序；

处理器61，用于在执行同步程序时实现如上述任一实施例提供的同步方法的步骤。

由此可见，本实施例提供的元数据集群管理策略的同步系统，由于可以通过处理器调用存储器存储的同步程序，可以实现上述任一实施例提供的同步方法的步骤，所以本同步系统具有同上述同步方法同样的实际效果。

本发明还提供了一种计算机可读存储介质，计算机可读存储介质上存储有同步程序，同步程序被处理器执行时实现如上述任一实施例提供的同步方法的步骤。

由此可见，本实施例提供的计算机可读存储介质，由于同步程序被处理器执行时，可以实现上述任一实施例提供的同步方法的步骤，所以本计算机可读存储介质具有同上述同步方法同样的实际效果。

以上对本发明所提供的一种存储介质和管理策略的同步方法、装置及系统进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明都是与其它实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何变体意在涵盖非排他性的包含，从而使得包括一系列的要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (7)

1.一种元数据集群管理策略的同步方法，应用于分布式文件系统，其特征在于，包括：

主元数据服务器获取新策略；

所述主元数据服务器更新自身缓存，并向各从元数据服务器发送更新消息；

各所述从元数据服务器接收所述更新消息，并更新自身缓存；

其中，所述更新消息包含所述新策略；

在所述主元数据服务器获取到所述新策略之后，还包括：

执行将所述新策略复制到磁盘的操作以将所述新策略备份到所述磁盘中；

在所述执行将所述新策略复制到磁盘的操作之后，还包括：

判断所述新策略是否成功复制到所述磁盘；

如果是，进入所述主元数据服务器更新自身缓存，并向各所述从元数据服务器发送所述更新消息的步骤，如果否，则退出本次同步操作，将原策略作为最终新策略更新至所述主元数据服务器的缓存中。

2.根据权利要求1所述的同步方法，其特征在于，在所述退出本次同步操作，将原策略作为最终新策略更新至所述主元数据服务器的缓存中之后，还包括：

输出同步失败的提示信息。

3.根据权利要求1所述的同步方法，其特征在于，各所述从元数据服务器在成功更新自身缓存之后，还包括：

向所述主元数据服务器发送更新成功的提示消息；

则对应的，所述主元数据服务器在接收到所述提示消息之后，输出同步成功的提示信息。

4.根据权利要求3所述的同步方法，其特征在于，还包括：

当在预设时间内无法接收到目标从元数据服务器发送的更新成功的提示消息时，输出所述目标从元数据服务器已与所述分布式文件系统断开的提示信息。

5.一种元数据集群管理策略的同步装置，应用于分布式文件系统，其特征在于，包括：

获取模块，用于主元数据服务器获取新策略；

发送模块，用于所述主元数据服务器更新自身缓存，并向各从元数据服务器发送更新消息；

更新模块，用于各所述从元数据服务器接收所述更新消息，并更新自身缓存；

其中，所述更新消息包含所述新策略；

还包括：

备份模块，用于执行将新策略复制到磁盘的操作以将所述新策略备份到所述磁盘中；

判断所述新策略是否成功复制到所述磁盘；

如果是，进入所述主元数据服务器更新自身缓存，并向各所述从元数据服务器发送所述更新消息的步骤，如果否，则退出本次同步操作，将原策略作为最终新策略更新至所述主元数据服务器的缓存中。

6.一种元数据集群管理策略的同步系统，其特征在于，包括：

存储器，用于存储同步程序；

处理器，用于在执行所述同步程序时实现如权利要求1-4任一项所述同步方法的步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有同步程序，所述同步程序被处理器执行时实现如权利要求1-4任一项所述同步方法的步骤。

Images