CN112579550A - 一种分布式文件系统的元数据信息同步方法及系统 - Google Patents

Abstract

本发明公开了一种分布式文件系统的元数据信息同步方法及系统，包括主节点、备节点和分布式协调管理器。本发明巧妙的利用协调管理器，让其充当共享存储系统的作用，将元数据信息同步分为全量同步和增量同步，全量同步只在满足备节点首次启动或者新增或者主备节点的版本号差值大于分布式协调管理器上所存储的元数据操作日志数时发生，增量同步根据元数据操作日志实际发生多次同步，同时采用被动触发式，即有变化才同步。

Description

一种分布式文件系统的元数据信息同步方法及系统

技术领域

本发明属于分布式文件系统技术领域，具体涉及一种分布式文件系统的元数据信息同步方法，还涉及一种分布式文件系统的元数据信息同步系统。

背景技术

分布式文件系统是将分散的存储节点连接起来形成远超单个存储节点容量的共享文件系统，允许通过网络共享存储在多个节点上的文件数据和存储空间，极大提高存储容量和文件访问吞吐量，并具备高可靠性和弹性扩展能力。

分布式文件系统的元数据是维护分布式文件系统文件和目录所需的基础索引信息。客户端访问分布式文件系统时需要先访问元数据服务，以获取或分配数据存储位置信息，因此元数据服务的可用性关系整个分布式文件系统的可用性。

分布式文件系统元数据服务高可用目的是为应用不间断提供元数据管理服务，通过同时运行多个元数据服务节点，当主节点故障时，自动切换备节点提供服务，从而减少服务中断时间，提高元数据服务可用性。元数据服务高可用的实现原理是通过元数据同步机制，实现主备节点服务的元数据信息实时保持一致，当主节点无法提供服务时，备节点能够自动接替，对外继续提供服务。

分布式文件系统元数据信息同步方法是备节点不断地向主节点获取元数据操作日志，同时下载元数据镜像文件，然后做完整性校验，校验合格后将元数据操作日志合并到镜像，并将新的镜像发送给主节点，由主节点保存到本地磁盘的过程。

现有技术中电网调度控制自动化系统元数据信息同步方法是将元数据操作日志的同步过程分为全量同步和增量同步，同时借助分布式协调管理器，实时处理一定数据量N以内的最新操作日志。电网调度控制自动化系统元数据信息同步主要包含全量同步和增量同步两部分内容，其中全量同步负责检查点之前的操作日志信息同步，增量同步主要负责检查点之后的实时操作日志信息同步，元数据信息是整个分布式文件系统的视图，因此，元数据信息的同步过程成功与否是备机能否成功切换为主节点继续对外提供服务的关键。

电网调度控制系统对系统实时性、稳定性要求非常高，要求分布式文件系统具备主备的服务在线切换功能，开源分布式文件系统的元数据信息同步方法未考虑电网调度控制系统实时性高的应用场景。

发明内容

本发明的目的在于克服现有技术中的不足，提供了一种分布式文件系统的元数据信息同步方法及系统，解决了现有技术中的元数据同步过程备节点重复加载元数据镜像文件，导致的内存资源消耗严重，元数据同步效率低、耗时长的技术问题。

为解决上述技术问题，本发明提供了一种分布式文件系统的元数据信息同步方法，包括以下过程：

主节点向分布式协调管理器写入元数据操作日志；

备节点将元数据信息同步过程分为全量同步和增量同步，其中：

所述全量同步过程包括：备节点从主节点下载本地元数据镜像文件，保存为临时元数据镜像文件；

所述增量同步过程包括：当备节点收到向分布式协调管理器订阅的元数据操作日志变化事件后，备节点向分布式协调管理器读取元数据操作日志，并将该元数据操作日志合并到临时元数据镜像文件中；备节点将合并后的临时元数据镜像文件更名作为正式元数据镜像文件；

备节点将正式元数据镜像文件发送给主节点，主节点以此正式元数据镜像文件更新本地的元数据镜像文件。

进一步的，所述全量同步过程仅在满足特定条件时执行，当全量同步完成后，才执行增量同步过程。

进一步的，所述全量同步过程的执行条件是：

备节点服务首次启动或者新增备节点服务或者备节点的元数据镜像文件版本号与主节点最新版本号差值大于分布式协调管理器上所存储的元数据操作日志数。

进一步的，所述全量同步过程中，还包括：

备节点比对临时元数据镜像文件的版本号信息和主节点最新版本号信息，若临时元数据镜像文件的版本号信息和主节点最新版本号信息有差异，则向分布式文件管理器请求读取差异的所有元数据操作日志；

将该元数据操作日志合并入临时元数据镜像文件；并将合并完成的临时元数据镜像文件加载到内存。

进一步的，所述备节点向分布式文件管理器请求读取差异的所有元数据操作日志后，还包括：

对读取到的元数据操作日志进行完整性校验；

若校验不合格，则根据失败的版本号信息重新向分布式协调管理器读取差异的元数据操作日志，直至校验合格。

进一步的，所述增量同步过程中，备节点向分布式协调管理器读取元数据操作日志之后还包括：

备节点对读取到的元数据操作日志进行完整性校验；

若校验不成功，则重新向分布式协调管理器读入该条元数据操作日志，直至校验成功。

进一步的，所述主节点以正式元数据镜像文件更新本地的元数据镜像文件之前，还包括：

主节点对正式元数据镜像文件进行校验，若校验不成功则请求备节点再次发送正式元数据镜像文件，直至校验成功。

进一步的，所述主节点以正式元数据镜像文件更新本地的元数据镜像文件之后，还包括：

主节点将正式元数据镜像文件版本号和本地磁盘的元数据镜像文件版本号作比对，获得差异的版本号；

主节点向分布式协调管理器发送删除请求和差异的版本号，以使分布式协调管理器对差异的版本号对应的元数据操作日志进行删除。

进一步的，分布式协调管理器内元数据操作日志的数量为N条以内，N为预设值。

相应的，本发明还提供了一种分布式文件系统的元数据信息同步系统，包括主节点、备节点和分布式协调管理器；

所述主节点，用于向分布式协调管理器写入元数据操作日志；接收正式元数据镜像文件并以此更新本地的元数据镜像文件；

所述备节点，用于将元数据信息同步过程分为全量同步和增量同步，其中：

所述全量同步过程包括：从主节点下载本地的元数据镜像文件，保存为临时元数据镜像文件；

所述增量同步过程包括：当备节点收到向分布式协调管理器订阅的元数据操作日志变化事件后，备节点向分布式协调管理器读取元数据操作日志，并将该元数据操作日志合并到临时元数据镜像文件中；备节点将合并后的临时元数据镜像文件更名作为正式元数据镜像文件；并将正式元数据镜像文件发送给主节点；

所述分布式协调管理器，用于存储最新的元数据操作日志。

与现有技术相比，本发明所达到的有益效果是：巧妙的利用分布式协调管理器，让其充当共享存储系统的作用，将元数据信息同步分为全量同步和增量同步，全量同步只在满足特性条件时才做，增量同步根据元数据操作日志实际发生多次同步，同时对元数据的同步采用被动触发式，即有变化才同步。

附图说明

图1是本发明方法的流程图；

图2是本发明方法的结构图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例1

本发明的一种分布式文件系统的元数据信息同步方法，参见图1所示，该方法要求：

第一步、主节点将元数据操作日志和当前最新版本号信息写入分布式协调管理器；

（1）主节点向分布式协调管理器的固定目录写入最新的一定数据量（N条以内）元数据操作日志和当前最新版本号信息，

主节点中只要有新的文件写入，就会产生新的元数据操作日志，元数据操作日志的具体内容包含了文件的创建、修改、删除以及文件数据块存储信息等，完整的元数据日志信息可能包含一条或者多条元数据操作日志。

分布式协调管理器始终保存最新的N条以内的元数据操作日志，当大于N时，最早写入的元数据操作日志会被主节点的删除请求清理掉。N太少则容易被刷掉，太大则影响效率，因此取一个测试经验值1万。

元数据信息向备节点同步过程分为全量同步和增量同步：

备节点重新启动或者新增或者主备节点的元数据操作日志的版本号差异大于N，此时主节点向备节点进行元数据信息全量同步；

主节点进行元数据信息全量同步完成后，主备节点的版本号磨合一致，此时当主节点有新的元数据操作日志写入分布式协调管理器时，主节点向备节点进行元数据信息增量同步。

第二步、主节点向备节点进行元数据信息全量同步；

（1）备节点从分布式协调管理器获取主节点最新版本号信息，当备节点服务首次启动或者新增备节点服务或者备节点发生故障导致它的元数据镜像文件版本号和主节点最新版本号差值大于分布式协调管理器上所存储的元数据操作日志数N时，备节点向主节点请求下载本地存储的元数据镜像文件。

（2）备节点将从主节点下载的元数据镜像文件保存为临时元数据镜像文件，并加载到内存中。

（3）用临时元数据镜像文件的版本号信息和主节点最新版本号信息作比对，如果仍有差异，则向分布式文件管理器请求读取差异的所有元数据操作日志，直到主备节点的版本号信息一致为止，对读取到的元数据操作日志做完整性校验，校验合格则将该元数据操作日志合并入临时元数据镜像文件，校验不合格则根据失败的版本号信息重新向分布式协调管理器读取差异的元数据操作日志，直至校验合格将该差异的所有元数据操作日志合并入临时元数据镜像文件，使得主备节点的版本号信息一致。

（4）备节点将合并完成的临时元数据镜像文件加载到内存。

第三步、主节点向备节点进行元数据信息增量同步；

（1）备节点向分布式协调管理器订阅元数据操作日志变化事件。

（2）当主节点有新的元数据操作日志写入分布式协调管理器时，备节点就会收到订阅的元数据操作日志变化事件。

（3）备节点收到元数据操作日志变化事件后，向分布式协调管理器读取元数据操作日志，备节点对读取到的元数据操作日志进行完整性校验，成功则将该条元数据操作日志合并到内存的临时元数据镜像文件，不成功则重新向分布式协调管理器读入该条元数据操作日志，直至校验成功将该条元数据操作日志合并内存的临时元数据镜像文件。

（4）备节点将内存中合并后的临时元数据镜像文件更名作为正式元数据镜像文件，备节点将正式的元数据镜像文件写入本地磁盘。

第四步、备节点将正式元数据镜像文件发送给主节点，主节点以此更新本地的元数据镜像文件。

主节点接收备节点合并后的镜像去更新，是为确保主备镜像的一致性。

（1）备节点将内存中正式元数据镜像文件发送给主节点，主节点对收到的正式元数据镜像文件进行校验，若校验不成功则请求备节点再次发送正式元数据镜像文件，直至校验成功，校验成功后，主节点用校验成功的元数据镜像文件更新本地磁盘的元数据镜像文件；

（2）主节点将该正式元数据镜像文件版本号和本地磁盘的元数据镜像文件版本号作比对，获得差异的版本号；主节点向分布式协调管理器发送删除请求和差异的版本号，分布式协调管理器会对差异的版本号对应的元数据操作日志进行删除，以确保分布式协调管理器始终保存的是N以内的最新的元数据操作日志。

本发明巧妙的利用分布式协调管理器，让其充当共享存储系统的作用，将元数据信息同步分为全量同步和增量同步，全量同步只在满足特定条件时做，增量同步根据元数据操作日志实际发生多次同步，同时对元数据的同步采用被动触发式，即有变化才同步。

实施例2

图2是电网调度控制系统中分布式文件系统高可用场景下的元数据信息同步过程结构图。包括主节点、备节点、分布式协调管理器服务。

主节点，主要完成主节点元数据镜像文件的更新持久化；将主节点产生的元数据操作日志写入分布式协调管理器，向分布式协调管理写入最新的元数据操作日志和版本号信息，请求分布式协调管理器删除主节点镜像和接收到备节点镜像版本号差异的元数据操作日志；响应备节点的元数据镜像文件加载请求。

备节点，主要完成启动时首次向主节点加载元数据镜像文件；将元数据信息同步过程分为全量和增量两部分进行；向分布式协调管理器订阅日志更新事件和读取元数据操作日志；完成元数据操作日志的完整性校验和合并日志产生新的元数据镜像文件；向主节点发送新的元数据镜像文件。

分布式协调管理器，主要完成存储一定数据量（N以内）元数据操作日志，分布式协调管理器始终保持最新的一定数量N的元数据操作日志，对于大于N的元数据操作日志，分布式协调管理器会收到主节点删除请求，根据版本号信息删除超过差异的部分，以保证分布式协调管理器始终存储最新的N以内的元数据操作日志；接收主节点的写入/删除请求；响应备节点的订阅请求；响应备节点的读取元数据操作日志请求；向备节点发送元数据操作日志变化事件。

综上所述，本发明的有益效果为：

1）提升电网调度控制系统中分布式文件系统高可用场景下的元数据信息同步效率，将开源的元数据通过程拆分为全量和增量同步；

2）节省了内存资源的消耗，将开源中重复加载元数据镜像改为全增量只加载一次，增量同步采用被动触发模式；

3）减少资源配置和任务管理难度，将开源中共享存储系统用分布式协调管理器代替。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (10)

1.一种分布式文件系统的元数据信息同步方法，其特征是，包括以下过程：

主节点向分布式协调管理器写入元数据操作日志；

备节点将元数据信息同步过程分为全量同步和增量同步，其中：

所述全量同步过程包括：备节点从主节点下载本地元数据镜像文件，保存为临时元数据镜像文件；

所述增量同步过程包括：当备节点收到向分布式协调管理器订阅的元数据操作日志变化事件后，备节点向分布式协调管理器读取元数据操作日志，并将该元数据操作日志合并到临时元数据镜像文件中；备节点将合并后的临时元数据镜像文件更名作为正式元数据镜像文件；

备节点将正式元数据镜像文件发送给主节点，主节点以此正式元数据镜像文件更新本地的元数据镜像文件。

2.根据权利要求1所述的一种分布式文件系统的元数据信息同步方法，其特征是，所述全量同步过程仅在满足预设条件时执行，当全量同步完成后，才执行增量同步过程。

3.根据权利要求2所述的一种分布式文件系统的元数据信息同步方法，其特征是，所述全量同步过程的执行条件是：

备节点服务首次启动或者新增备节点服务或者备节点的元数据镜像文件版本号与主节点最新版本号差值大于分布式协调管理器上所存储的元数据操作日志数。

4.根据权利要求1所述的一种分布式文件系统的元数据信息同步方法，其特征是，所述全量同步过程中，还包括：

备节点比对临时元数据镜像文件的版本号信息和主节点最新版本号信息，若临时元数据镜像文件的版本号信息和主节点最新版本号信息有差异，则向分布式文件管理器请求读取差异的所有元数据操作日志；

将该元数据操作日志合并入临时元数据镜像文件。

5.根据权利要求4所述的一种分布式文件系统的元数据信息同步方法，其特征是，所述备节点向分布式文件管理器请求读取差异的所有元数据操作日志后，还包括：

对读取到的元数据操作日志进行完整性校验；

若校验不合格，则根据失败的版本号信息重新向分布式协调管理器读取差异的元数据操作日志，直至校验合格。

6.根据权利要求1所述的一种分布式文件系统的元数据信息同步方法，其特征是，所述增量同步过程中，备节点向分布式协调管理器读取元数据操作日志之后还包括：

备节点对读取到的元数据操作日志进行完整性校验；

若校验不成功，则重新向分布式协调管理器读入该条元数据操作日志，直至校验成功。

7.根据权利要求1所述的一种分布式文件系统的元数据信息同步方法，其特征是，所述主节点以正式元数据镜像文件更新本地的元数据镜像文件之前，还包括：

主节点对正式元数据镜像文件进行校验，若校验不成功则请求备节点再次发送正式元数据镜像文件，直至校验成功。

8.根据权利要求1所述的一种分布式文件系统的元数据信息同步方法，其特征是，所述主节点以正式元数据镜像文件更新本地的元数据镜像文件之后，还包括：

主节点将正式元数据镜像文件版本号和本地磁盘的元数据镜像文件版本号作比对，获得差异的版本号；

主节点向分布式协调管理器发送删除请求和差异的版本号，以使分布式协调管理器对差异的版本号对应的元数据操作日志进行删除。

9.根据权利要求1所述的一种分布式文件系统的元数据信息同步方法，其特征是，分布式协调管理器内元数据操作日志的数量为N条以内，N为预设值。

10.一种分布式文件系统的元数据信息同步系统，其特征是，包括主节点、备节点和分布式协调管理器；

所述主节点，用于向分布式协调管理器写入元数据操作日志；接收正式元数据镜像文件并以此更新本地的元数据镜像文件；

所述备节点，用于将元数据信息同步过程分为全量同步和增量同步，其中：

所述全量同步过程包括：从主节点下载本地的元数据镜像文件，保存为临时元数据镜像文件；

所述增量同步过程包括：当备节点收到向分布式协调管理器订阅的元数据操作日志变化事件后，备节点向分布式协调管理器读取元数据操作日志，并将该元数据操作日志合并到临时元数据镜像文件中；备节点将合并后的临时元数据镜像文件更名作为正式元数据镜像文件；并将正式元数据镜像文件发送给主节点；

所述分布式协调管理器，用于存储最新的元数据操作日志。

Images