CN109086335A - 一种使mfs分布式文件系统具有高可用性的方法 - Google Patents

一种使mfs分布式文件系统具有高可用性的方法 Download PDF

Info

Publication number
CN109086335A
CN109086335A CN201810735057.4A CN201810735057A CN109086335A CN 109086335 A CN109086335 A CN 109086335A CN 201810735057 A CN201810735057 A CN 201810735057A CN 109086335 A CN109086335 A CN 109086335A
Authority
CN
China
Prior art keywords
host node
mirror image
mfs
metadata
file system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810735057.4A
Other languages
English (en)
Inventor
吴方才
孙兆国
孙思远
张丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Space Star Technology (beijing) Co Ltd
Original Assignee
Space Star Technology (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Space Star Technology (beijing) Co Ltd filed Critical Space Star Technology (beijing) Co Ltd
Priority to CN201810735057.4A priority Critical patent/CN109086335A/zh
Publication of CN109086335A publication Critical patent/CN109086335A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种使MFS分布式文件系统具有高可用性的方法，该方法使用的MFS分布式文件系统在原有的MFS原角色和模块之上，增加一个镜像主节点和一个元数据同步模块；镜像主节点负责与主节点保持状态一致；元数据同步模块位于主节点与镜像主节点之间，负责元数据基准数据与元数据增量修改日志的同步，主节点与镜像主节点的授权验证；本发明通过主从同步机制来传输回放主节点的基准元数据和增量修改日志来保持主节点与镜像节点的元数据的弱一致性；当主节点停服之后，镜像节点可以快速提升为主节点，并对外提供存储服务，保证主节点高可用的同时，操作可回滚，从而保证了MFS文件系统的高可用服务。

Description

一种使MFS分布式文件系统具有高可用性的方法
技术领域
本发明涉及一种改进方法，尤其涉及一种使MFS分布式文件系统具有高可用性的方法。
背景技术
MFS分布式文件系统，借鉴了google的GFS文件系统设计思路，采用主从架构设计。文件系统的元信息存储在主节点(master)上，客户端通过与主节点通信获得数据具体位置，而后对具体数据位置发起数据读取请求。这种通过文件元信息与数据信息分离的方式，以及主从架构，可以带来更好的系统伸缩性，数据的管理也更加简单，但是由于元信息全部存放在主节点上，一旦主节点出现问题，整个文件系统将失效。
当前各类系统实践中，一般采用主从同步的机制，创建一个从节点角色，实时从主节点同步数据，使从节点与主节点状态保持一致，当主节点宕机，或因为其他原因无法工作时，从节点会迅速转换角色变为主节点，对外提供服务，从而保证系统的高可靠性。
现在主流的针对MFS高可用方案是使用DRDB与HeartBeat进行主从同步。DRDB实际上类似于基于网络实现RAID 1功能,实现网络上的两个块设备镜像。当一端将数据写入本地文件系统时，数据还将会送到网络中的另一个主机上，以相同的形式记录在一个文件系统中，两段存储设备保证实时同步。但是该方案在主从节点初始化时，有大量数据需要同步，因此造成长时间的系统初始化过程，在这段时间内，主节点一旦出现问题，系统进入不可用状态。
发明内容
为了解决上述技术所存在的不足之处，本发明提供了一种使MFS分布式文件系统具有高可用性的方法。
为了解决以上技术问题，本发明采用的技术方案是：一种使MFS分布式文件系统具有高可用性的方法，该方法使用的MFS分布式文件系统在原有的MFS原角色和模块之上，增加一个镜像主节点和一个元数据同步模块实现MFS分布式文件系统的高可用性；镜像主节点负责与主节点保持状态一致；元数据同步模块位于主节点与镜像主节点之间，负责元数据基准数据与元数据增量修改日志的同步，主节点与镜像主节点的授权验证；
元数据同步模块的工作流程如下：
步骤一、启动镜像主节点，主动连接主节点并告知主节点；
步骤二、主节点收到镜像主节点的启动连接请求，通过配置文件中的信息并验证之后，创建同步线程；
步骤三、同步线程主动连接镜像主节点，连接成功之后开始传送基准元数据文件和增量修改日志基准数据；
步骤四、镜像主节点接收到基准元数据文件和增量修改日志基准数据并完成重放后，发送请求告知主节点；
步骤五、主节点向镜像主节点传送增量修改日志基准数据；
步骤六、镜像主节点成功重放增量修改日志基准数据，并告知主节点，主节点跳至步骤五；
步骤七、如果重放失败，告知主节点失败；主节点启动异常处理机制，进行重传、重建连接、重传基准数据。
本发明通过主从同步机制来传输回放主节点的基准元数据和增量修改日志来保持主节点与镜像节点的元数据的弱一致性，开启独立的同步线程，负责与镜像主节点的数据同步操作，不仅保证同步数据量较低，而且具备较强的回滚能力；当主节点停服之后，镜像节点可以快速提升为主节点，并对外提供存储服务，保证主节点高可用的同时，操作可回滚，从而保证了MFS文件系统的高可用服务；此外，本发明使得MFS文件系统的可靠性提高到99.99％，大大提高了文件系统服务的健壮性，可广泛应用于高分辨率对地观测专项地面网格数据传输系统。
附图说明
图1为本发明的元数据同步模块同步流程图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示的一种使MFS分布式文件系统具有高可用性的方法，该方法使用的MFS分布式文件系统在原有的MFS原角色和模块之上，增加一个镜像主节点(second master)和一个元数据同步模块；镜像主节点负责与主节点(master)保持状态一致；元数据同步模块位于主节点与镜像主节点之间，负责元数据基准数据与元数据增量修改日志(changelog)的同步，主节点与镜像主节点的授权验证等；MFS是一个具有容错性的网络分布式文件系统，它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。
元数据同步模块的工作流程如下：
步骤一、启动镜像主节点，主动连接主节点并告知主节点；
步骤二、主节点收到镜像主节点的启动连接请求，通过配置文件中的信息(IP和PORT)并验证之后，创建同步线程sync_thread；
步骤三、同步线程sync_thread主动连接镜像主节点，连接成功之后开始传送基准元数据文件和增量修改日志基准数据；
步骤四、镜像主节点接收到基准元数据(metadata)文件和增量修改日志基准数据并完成重放后，发送ack请求告知主节点；
步骤五、主节点向镜像主节点传送增量修改日志基准数据；
步骤六、镜像主节点成功重放增量修改日志基准数据，并告知主节点，主节点跳至步骤五；
步骤七、如果重放失败，告知主节点失败；主节点启动异常处理机制，进行重传、重建连接、重传基准数据等。
上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。

Claims (1)

1.一种使MFS分布式文件系统具有高可用性的方法，其特征在于：所述方法使用的MFS分布式文件系统在原有的MFS原角色和模块之上，增加一个镜像主节点和一个元数据同步模块实现MFS分布式文件系统的高可用性；镜像主节点负责与主节点保持状态一致；元数据同步模块位于主节点与镜像主节点之间，负责元数据基准数据与元数据增量修改日志的同步，主节点与镜像主节点的授权验证；
所述元数据同步模块的工作流程如下：
步骤一、启动镜像主节点，主动连接主节点并告知主节点；
步骤二、主节点收到镜像主节点的启动连接请求，通过配置文件中的信息并验证之后，创建同步线程；
步骤三、同步线程主动连接镜像主节点，连接成功之后开始传送基准元数据文件和增量修改日志基准数据；
步骤四、镜像主节点接收到基准元数据文件和增量修改日志基准数据并完成重放后，发送请求告知主节点；
步骤五、主节点向镜像主节点传送增量修改日志基准数据；
步骤六、镜像主节点成功重放增量修改日志基准数据，并告知主节点，主节点跳至步骤五；
步骤七、如果重放失败，告知主节点失败；主节点启动异常处理机制，进行重传、重建连接、重传基准数据。
CN201810735057.4A 2018-07-06 2018-07-06 一种使mfs分布式文件系统具有高可用性的方法 Withdrawn CN109086335A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810735057.4A CN109086335A (zh) 2018-07-06 2018-07-06 一种使mfs分布式文件系统具有高可用性的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810735057.4A CN109086335A (zh) 2018-07-06 2018-07-06 一种使mfs分布式文件系统具有高可用性的方法

Publications (1)

Publication Number Publication Date
CN109086335A true CN109086335A (zh) 2018-12-25

Family

ID=64837010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810735057.4A Withdrawn CN109086335A (zh) 2018-07-06 2018-07-06 一种使mfs分布式文件系统具有高可用性的方法

Country Status (1)

Country Link
CN (1) CN109086335A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109710586A (zh) * 2018-12-28 2019-05-03 北京谷数科技有限公司 一种集群节点配置文件同步方法及装置
CN112749141A (zh) * 2021-01-15 2021-05-04 苏州浪潮智能科技有限公司 一种分布式文件系统远程复制方法、装置、设备和介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109710586A (zh) * 2018-12-28 2019-05-03 北京谷数科技有限公司 一种集群节点配置文件同步方法及装置
CN112749141A (zh) * 2021-01-15 2021-05-04 苏州浪潮智能科技有限公司 一种分布式文件系统远程复制方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
CN104486319B (zh) 适用于高可用系统的配置文件实时同步方法及其系统
US11853263B2 (en) Geographically-distributed file system using coordinated namespace replication over a wide area network
WO2019154394A1 (zh) 分布式数据库集群系统、数据同步方法及存储介质
US11921679B2 (en) Synchronizing configuration of partner objects across distributed storage systems using transformations
US7702667B2 (en) Methods and systems for validating accessibility and currency of replicated data
JP6684367B2 (ja) データ処理方法及びデバイス
US7467259B2 (en) System and method to protect data stored in a storage system
WO2018049983A1 (zh) 数据同步方法、系统、同步获取方法及装置
CN110138588A (zh) 配置文件自动化管理方法和系统、配置管理平台和客户端
US9165012B2 (en) Periodic file system checkpoint manager
US20080184063A1 (en) System and Method of Error Recovery for Backup Applications
CN108337303A (zh) 一种数据同步方法和分布式系统
CN106484565B (zh) 多数据中心间的数据同步方法及相关设备
CN104023246B (zh) 一种视频数据私有云存储系统和视频数据私有云存储方法
CN114466027B (zh) 一种云原生数据库服务提供方法、系统、设备及介质
US20110282843A1 (en) Method and system for data backup and replication
CN105049258B (zh) 网络容灾系统的数据传输方法
CN101771548A (zh) 文件同步方法及系统
US20140101110A1 (en) High availability event log collection in a networked system
CN104202385A (zh) 一种分布式文件系统的数据备份及更新方法
EP3039568B1 (en) Distributed disaster recovery file sync server system
CN109086335A (zh) 一种使mfs分布式文件系统具有高可用性的方法
CN108512753B (zh) 一种集群文件系统中消息传输的方法及装置
JP3977803B2 (ja) バックアップシステム及び方法並びにプログラム
CN112783694B (zh) 一种高可用Redis的异地灾备方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 101399 No. 2 East Airport Road, Shunyi Airport Economic Core Area, Beijing (1st, 5th and 7th floors of Industrial Park 1A-4)

Applicant after: Zhongke Star Map Co., Ltd.

Address before: 101399 No. 2 East Airport Road, Shunyi Airport Economic Core Area, Beijing (1st, 5th and 7th floors of Industrial Park 1A-4)

Applicant before: Space Star Technology (Beijing) Co., Ltd.

WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20181225