CN105302922B - 一种分布式文件系统快照实现方法 - Google Patents

一种分布式文件系统快照实现方法 Download PDF

Info

Publication number
CN105302922B
CN105302922B CN201510830352.4A CN201510830352A CN105302922B CN 105302922 B CN105302922 B CN 105302922B CN 201510830352 A CN201510830352 A CN 201510830352A CN 105302922 B CN105302922 B CN 105302922B
Authority
CN
China
Prior art keywords
snapshot
server
node
disk
file system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510830352.4A
Other languages
English (en)
Other versions
CN105302922A (zh
Inventor
何晓斌
王晞阳
卢星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Jiangnan Computing Technology Institute
Original Assignee
Wuxi Jiangnan Computing Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Jiangnan Computing Technology Institute filed Critical Wuxi Jiangnan Computing Technology Institute
Priority to CN201510830352.4A priority Critical patent/CN105302922B/zh
Publication of CN105302922A publication Critical patent/CN105302922A/zh
Application granted granted Critical
Publication of CN105302922B publication Critical patent/CN105302922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/128Details of file system snapshots on the file-level, e.g. snapshot creation, administration, deletion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种分布式文件系统快照实现方法,包括:创建快照处理、恢复快照处理、以及删除快照处理。由一台磁盘快照服务器控制文件系统快照的创建和恢复,该磁盘快照服务器可以向分布式文件系统中的各输入输出节点下达指令进行快照操作,也存储着已创建的快照的信息,可以删除已经创建的文件系统快照。

Description

一种分布式文件系统快照实现方法
技术领域
本发明涉及计算机技术领域,具体涉及一种新的分布式文件系统快照实现方法。
背景技术
分布式文件系统(Distributed File System)是指文件系统管理的物理资源不一定直接连接在本地节点上,而是通过计算机网络相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外,对等特性允许一些系统扮演客户机和服务器双重角色。
分布式文件系统由众多的服务器和盘阵组成,每个输入输出(io)节点服务器对应着一套盘阵或者服务器自带的存储。分布式文件系统的管理员和使用者在进行文件读写、复制、删除、覆盖等操作的时候可能会误操作从而造成数据破坏或丢失;或者管理员或用户在某些特定的需求下需要将文件系统还原到之前的某个状态。分布式文件系统快照技术能有效地解决以上问题:在进行危险操作之前给文件系统做一个快照,有需要时可立即还原到之前的状态。由于当前服务器带有硬件磁盘快照(snapshot)功能,相比软件实现效率更高,系统资源开销更小。把输入输出节点服务器的快照功能整合起来构成整个分布式文件系统的快照功能是一种比较方便有效的解决方案。
磁盘快照(snapshot)指的是针对整个磁盘卷册进行快速的档案系统备份,这里的磁盘快照是指分布式文件系统的快照。利用快照技术可以对文件系统当前的档案状态进行快速备份,但并不涉及文件的复制动作,之后对文件系统的操作如复制,删除等也不会对快照造成影响,任何时候都可以将文件系统还原到快照创建时的状态。
分布式文件系统内部实现快照功能是目前普遍的做法。把快照功能整合到分布式文件系统软件中存在一定的不足:一是在技术实现上较为复杂,开发成本较高;二是纯软件实现的方式占用系统资源开销大,影响整个系统的运行效率。
另外,用户在使用分布式文件系统的时候可能会有误删除、文件损坏或丢失等原因需要将文件系统恢复到之前的某个状态的需求。在分布式文件系统中实现一套完整的快照解决方案往往比较复杂,而且对整个系统资源消耗比较大。
发明内容
本发明所要解决的技术问题是针对现有技术中存在上述缺陷,提供一种新的分布式文件系统快照实现方法,其基于输入输出节点服务器自带的物理快照功能来实现整个分布式文件系统快照功能,能够以较低的系统消耗高效解决用户的需求。
根据本发明,提供了一种分布式文件系统快照实现方法,包括:创建快照处理、恢复快照处理、以及删除快照处理。
优选地,在创建快照处理中,在创建目标快照时,磁盘快照服务器先给分布式文件系统下达阻塞所有文件写请求的指令,然后磁盘快照服务器发送创建快照请求到各个输入输出节点服务器上;各个输入输出节点收到指令后先处理完成当前保留的文件操作请求,然后利用自带的硬件快照创建功能开始创建快照,快照创建完成后将节点快照信息发送给磁盘快照服务器;磁盘快照服务器将该节点快照信息存储到该目标快照对应的数据库中;当所有节点快照创建完成后,目标快照对应的数据库条目中存储了各个节点的快照信息,磁盘快照服务器给分布式文件系统下达恢复写请求的指令。
优选地,在恢复快照处理中,在恢复目标快照时,磁盘快照服务器先给分布式文件系统下达阻塞所有文件操作的指令,然后磁盘快照服务器查询目标快照的数据库条目,提取各个输入输出节点的快照信息,然后发送恢复快照请求和对应的输入输出节点快照信息到各个输入输出节点服务器上;输入输出节点服务器收到快照恢复请求和快照信息后,利用自带的硬件快照恢复功能恢复对应的文件系统快照;输入输出节点完成恢复快照信息后,发送快照恢复完成信息到磁盘快照服务器;磁盘快照服务器处理完所有输入输出节点的快照恢复信息后,向分布式文件系统下达恢复文件操作指令。
优选地,在删除快照处理中,在磁盘快照服务器发出删除目标快照的指令之后,查找快照数据库中目标快照的条目以提取各个节点的快照信息,然后将删除快照指令和对应节点的快照信息发送到各个输入输出节点服务器;输入输出节点服务器收到删除快照指令和其对应快照信息后,利用自带的快照删除功能删除该快照;当该节点快照删除完成后,向磁盘快照服务器发送快照删除成功信息;当磁盘快照服务器收到所有输入输出节点服务器的快照删除成功信息后,删除快照数据库中目标快照的条目。
本发明充分利用服务器自带的硬件快照功能,利用各个节点的快照功能实现整个文件系统的快照功能。本发明的优点至少包括:一是充分利用服务器自带的快照功能,只需要把各个节点的功能整合利用,构成整个系统的快照功能,开发成本更为低廉;二是快照功能是硬件实现,各个节点独自完成互相不影响,效率更高。
附图说明
结合附图,并通过参考下面的详细描述,将会更容易地对本发明有更完整的理解并且更容易地理解其伴随的优点和特征,其中:
图1示意性地示出了根据本发明优选实施例的创建快照处理的流程图。
图2示意性地示出了根据本发明优选实施例的恢复快照处理的流程图。
图3示意性地示出了根据本发明优选实施例的删除快照处理的流程图。
需要说明的是,附图用于说明本发明,而非限制本发明。注意,表示结构的附图可能并非按比例绘制。并且,附图中,相同或者类似的元件标有相同或者类似的标号。
具体实施方式
为了使本发明的内容更加清楚和易懂,下面结合具体实施例和附图对本发明的内容进行详细描述。
分布式文件系统快照技术由创建快照处理、恢复快照处理、以及删除快照处理三部分技术组成。由一台磁盘快照服务器控制文件系统快照的创建和恢复,该磁盘快照服务器可以向分布式文件系统中的各输入输出节点下达指令进行快照操作,也存储着已创建的快照的信息,可以删除已经创建的文件系统快照。
<创建快照>
在创建快照处理中,在创建目标快照snapshot1时,磁盘快照服务器先给分布式文件系统下达阻塞所有文件写请求的指令,然后磁盘快照服务器发送创建快照请求到各个输入输出节点服务器上,各个输入输出节点收到指令后先处理完成当前保留的文件操作请求,然后利用自带的硬件快照创建功能开始创建快照,快照创建完成后将节点快照信息发送给磁盘快照服务器。磁盘快照服务器将该节点快照信息存储到该目标快照snapshot1对应的数据库中。当所有节点快照创建完成后,目标快照snapshot1对应的数据库条目中存储了各个节点的快照信息,磁盘快照服务器给分布式文件系统下达恢复写请求的指令,由此目标快照snapshot1创建完成。
图1示意性地示出了根据本发明优选实施例的创建快照处理的流程图。
如图1所示,根据本发明优选实施例的创建快照处理包括:
第一创建步骤S11:磁盘快照服务器向文件系统下达阻塞文件写请求指令。
第二创建步骤S12:磁盘快照服务器向文件系统输入输出节点服务器下达创建快照指令。
第三创建步骤S13:输入输出节点服务器收到创建快照请求后,先执行完成节点目前的文件操作指令。
第四创建步骤S14:输入输出节点服务器利用自带硬件快照创建功能创建该节点快照。
第五创建步骤S15:输入输出节点服务器完成自身创建快照指令后,将该节点快照的信息和创建快照的时间发送到磁盘快照服务器。
第六创建步骤S16:磁盘快照服务器将各节点快照信息保存到目标快照snapshot1对应的数据库条目中。
第七创建步骤S17:当所有节点的快照信息都保存完毕后,磁盘快照服务器向分布式文件系统下达恢复写请求的指令,快照创建完成。
<恢复快照>
在恢复快照处理中,恢复目标快照snapshot1时,磁盘快照服务器先给分布式文件系统下达阻塞所有文件操作的指令,然后磁盘快照服务器查询目标快照snapshot1的数据库条目,提取各个输入输出节点的快照信息。然后发送恢复快照请求和对应的输入输出节点快照信息到各个输入输出节点服务器上。输入输出节点服务器收到快照恢复请求和快照信息后,利用自带的硬件快照恢复功能恢复对应的文件系统快照。输入输出节点完成恢复快照信息后,发送快照恢复完成信息到磁盘快照服务器。磁盘快照服务器处理完所有输入输出节点的快照恢复信息后,向分布式文件系统下达恢复文件操作指令,目标快照snapshot1恢复完成。
图2示意性地示出了根据本发明优选实施例的恢复快照处理的流程图。
如图2所示,根据本发明优选实施例的恢复快照处理包括:
第一恢复步骤S21:磁盘快照服务器向文件系统下达阻塞所有文件操作的指令。
第二恢复步骤S22:磁盘快照服务器查询snapshot1快照数据库条目,提取各个输入输出节点的快照信息。
第三恢复步骤S23:磁盘快照服务器向各个输入输出节点服务器发送快照恢复请求和对应输入输出节点的快照信息。
第四恢复步骤S24:输入输出节点服务器收到快照恢复请求和该节点快照信息后,利用其自带的硬件快照恢复功能恢复对应的文件系统快照。
第五恢复步骤S25:输入输出节点恢复完成自身的快照后,将快照恢复完成信息发送到磁盘快照服务器。
第六恢复步骤S26:磁盘快照服务器收到所有的输入输出节点服务器快照恢复完成信息后,向文件系统下达恢复文件操作指令,快照恢复完成。
<删除快照>
在删除快照处理中,磁盘快照服务器也可以删除已创建的快照。当磁盘快照服务器发出删除目标快照snapshot1的指令后,先查找快照数据库中目标快照snapshot1的条目,提取各个节点的快照信息,然后将删除快照指令和对应节点的快照信息发送到各个输入输出节点服务器。输入输出节点服务器收到删除快照指令和其对应快照信息后,利用自带的快照删除功能删除该快照。当该节点快照删除完成后,向磁盘快照服务器发送快照删除成功信息。当磁盘快照服务器收到所有输入输出节点服务器的快照删除成功信息后,删除快照数据库中目标快照snapshot1的条目,快照删除完成。
图3示意性地示出了根据本发明优选实施例的删除快照处理的流程图。
如图3所示,根据本发明优选实施例的删除快照处理包括:
第一删除步骤S31:到磁盘快照服务器的快照数据库中查找目标快照snapshot1条目,提取各个输入输出节点的快照信息。
第二删除步骤S32:将快照删除指令和对应输入输出节点快照信息发到各个输入输出节点服务器。
第三删除步骤S33:输入输出节点服务器收到快照删除请求和该节点对应的快照信息后,利用自带的快照删除功能删除相应的快照。
第四删除步骤S34:输入输出节点快照删除成功后,将快照删除成功信息发送到磁盘快照服务器。
第五删除步骤S35:磁盘快照服务器收到所有输入输出节点服务器发送的快照删除成功信息后,删除快照数据库中目标快照snapshot1对应的条目,快照删除完成。
本发明以节点服务器自带的快照功能为基础,将这些节点服务器整合起来,将单个节点的快照功能合并成一个整体而实现并行文件系统的快照功能,并以snpshot服务器管理快照的创建、恢复、删除等功能。本发明关键在于协调各个节点服务器的快照功能,化零为整,实现达到整个文件系统的快照功能。
本发明的优点在于充分利用节点服务器自带的硬件快照功能,利用各个节点的快照功能实现整个文件系统的快照功能。这样做的优点有:一是充分利用服务器自带的快照功能,只需要把各个节点的功能整合利用,构成整个系统的快照功能,使得开发成本更为低廉;二是快照功能是硬件实现的,在做快照时各个节点独自完成互相不影响,使得系统的消耗更小,效率更高。
此外,需要说明的是,除非特别指出,否则说明书中的术语“第一”、“第二”、“第三”等描述仅仅用于区分说明书中的各个组件、元素、步骤等,而不是用于表示各个组件、元素、步骤之间的逻辑关系或者顺序关系等。
可以理解的是,虽然本发明已以较佳实施例披露如上,然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言,在不脱离本发明技术方案范围情况下,都可利用上述揭示的技术内容对本发明技术方案作出许多可能的变动和修饰,或修改为等同变化的等效实施例。因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均仍属于本发明技术方案保护的范围内。

Claims (3)

1.一种分布式文件系统快照实现方法,其特征在于包括:创建快照处理、恢复快照处理、以及删除快照处理;其中,在创建快照处理中,在创建目标快照时,磁盘快照服务器先给分布式文件系统下达阻塞所有文件写请求的指令,然后磁盘快照服务器发送创建快照请求到各个输入输出节点服务器上;各个输入输出节点收到指令后先处理完成当前保留的文件操作请求,然后利用自带的硬件快照创建功能开始创建快照,快照创建完成后将节点快照信息发送给磁盘快照服务器;磁盘快照服务器将该节点快照信息存储到该目标快照对应的数据库中;当所有节点快照创建完成后,目标快照对应的数据库条目中存储了各个节点的快照信息,磁盘快照服务器给分布式文件系统下达恢复写请求的指令。
2.根据权利要求1所述的分布式文件系统快照实现方法,其特征在于,在恢复快照处理中,在恢复目标快照时,磁盘快照服务器先给分布式文件系统下达阻塞所有文件操作的指令,然后磁盘快照服务器查询目标快照的数据库条目,提取各个输入输出节点的快照信息,然后发送恢复快照请求和对应的输入输出节点快照信息到各个输入输出节点服务器上;输入输出节点服务器收到快照恢复请求和快照信息后,利用自带的硬件快照恢复功能恢复对应的文件系统快照;输入输出节点完成恢复快照信息后,发送快照恢复完成信息到磁盘快照服务器;磁盘快照服务器处理完所有输入输出节点的快照恢复信息后,向分布式文件系统下达恢复文件操作指令。
3.根据权利要求1或2所述的分布式文件系统快照实现方法,其特征在于,在删除快照处理中,在磁盘快照服务器发出删除目标快照的指令之后,查找快照数据库中目标快照的条目以提取各个节点的快照信息,然后将删除快照指令和对应节点的快照信息发送到各个输入输出节点服务器;输入输出节点服务器收到删除快照指令和其对应快照信息后,利用自带的快照删除功能删除该快照;当该节点快照删除完成后,向磁盘快照服务器发送快照删除成功信息;当磁盘快照服务器收到所有输入输出节点服务器的快照删除成功信息后,删除快照数据库中目标快照的条目。
CN201510830352.4A 2015-11-24 2015-11-24 一种分布式文件系统快照实现方法 Active CN105302922B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510830352.4A CN105302922B (zh) 2015-11-24 2015-11-24 一种分布式文件系统快照实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510830352.4A CN105302922B (zh) 2015-11-24 2015-11-24 一种分布式文件系统快照实现方法

Publications (2)

Publication Number Publication Date
CN105302922A CN105302922A (zh) 2016-02-03
CN105302922B true CN105302922B (zh) 2018-07-06

Family

ID=55200191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510830352.4A Active CN105302922B (zh) 2015-11-24 2015-11-24 一种分布式文件系统快照实现方法

Country Status (1)

Country Link
CN (1) CN105302922B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105871603B (zh) * 2016-03-29 2019-01-18 中国科学院软件研究所 一种基于内存数据网格的实时流式数据处理失效恢复系统及方法
CN107491363A (zh) * 2017-08-24 2017-12-19 郑州云海信息技术有限公司 一种基于Linux内核的存储卷的快照方法及装置
CN107609176B (zh) * 2017-09-29 2019-09-13 郑州云海信息技术有限公司 一种本地存储快照分布式存储的方法及系统
WO2019178839A1 (zh) 2018-03-23 2019-09-26 华为技术有限公司 为分布式应用创建一致性快照的方法、装置和分布式系统
CN109101323A (zh) * 2018-09-10 2018-12-28 南京铱迅信息技术股份有限公司 虚拟机运行状态下基于qcow2格式的快照实现方法
CN112286869A (zh) * 2020-10-29 2021-01-29 杭州宏杉科技股份有限公司 一种快照创建方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102594849A (zh) * 2011-01-06 2012-07-18 阿里巴巴集团控股有限公司 数据备份、恢复方法、虚拟机快照删除、回滚方法及装置
CN103678715A (zh) * 2013-12-31 2014-03-26 无锡城市云计算中心有限公司 一种分布式文件系统中支持快照的元数据信息管理方法
US8818951B1 (en) * 2011-12-29 2014-08-26 Emc Corporation Distributed file system having separate data and metadata and providing a consistent snapshot thereof
CN104052824A (zh) * 2014-07-04 2014-09-17 哈尔滨工业大学深圳研究生院 分布式缓存方法及系统
CN104375877A (zh) * 2014-10-15 2015-02-25 国云科技股份有限公司 一种虚拟机在线快照生成与删除方法
CN104714755A (zh) * 2013-12-13 2015-06-17 华为技术有限公司 一种快照管理方法及装置
CN104933133A (zh) * 2015-06-12 2015-09-23 中国科学院计算技术研究所 分布式文件系统中的元数据快照存储和访问方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9336219B2 (en) * 2014-03-03 2016-05-10 Netapp, Inc. Distributed file system snapshot

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102594849A (zh) * 2011-01-06 2012-07-18 阿里巴巴集团控股有限公司 数据备份、恢复方法、虚拟机快照删除、回滚方法及装置
US8818951B1 (en) * 2011-12-29 2014-08-26 Emc Corporation Distributed file system having separate data and metadata and providing a consistent snapshot thereof
CN104714755A (zh) * 2013-12-13 2015-06-17 华为技术有限公司 一种快照管理方法及装置
CN103678715A (zh) * 2013-12-31 2014-03-26 无锡城市云计算中心有限公司 一种分布式文件系统中支持快照的元数据信息管理方法
CN104052824A (zh) * 2014-07-04 2014-09-17 哈尔滨工业大学深圳研究生院 分布式缓存方法及系统
CN104375877A (zh) * 2014-10-15 2015-02-25 国云科技股份有限公司 一种虚拟机在线快照生成与删除方法
CN104933133A (zh) * 2015-06-12 2015-09-23 中国科学院计算技术研究所 分布式文件系统中的元数据快照存储和访问方法

Also Published As

Publication number Publication date
CN105302922A (zh) 2016-02-03

Similar Documents

Publication Publication Date Title
CN105302922B (zh) 一种分布式文件系统快照实现方法
US11520755B2 (en) Migration of a database management system to cloud storage
US11099956B1 (en) Snapshot-based disaster recovery orchestration of virtual machine failover and failback operations
US11575747B2 (en) Enhanced network attached storage (NAS) services interfacing to cloud storage
US20210271758A1 (en) Ransomware detection and data pruning management
US11245759B2 (en) Consolidated processing of storage-array commands by a snapshot-control media agent
US11513922B2 (en) Systems and methods for change block tracking for backing up changed data
US20210374016A1 (en) Synchronization of a database by restoring copies of changed database objects
US20210011816A1 (en) Preparing containerized applications for backup using a backup services container in a container-orchestration pod
US20210157628A1 (en) Live synchronization and management of virtual machines across computing and virtualization platforms including in cloud computing environments
US10817208B2 (en) Synchronizing selected portions of data in a storage management system
US10713122B2 (en) Synchronizing selected portions of data in a storage management system
US20190108340A1 (en) Ransomware detection
US20190109870A1 (en) Ransomware detection and intelligent restore
US11347707B2 (en) File indexing for virtual machine backups based on using live browse features
US20180373602A1 (en) Consolidated processing of storage-array commands using a forwarder media agent in conjunction with a snapshot-control media agent
US20210064484A1 (en) Live browse cache enhacements for live browsing block-level backup copies of virtual machines and/or file systems
US11449486B2 (en) File indexing for virtual machine backups in a data storage management system
US20210064486A1 (en) Access arbitration to a shared cache storage area in a data storage management system for live browse, file indexing, backup and/or restore operations
US20210311835A1 (en) File-level granular data replication by restoring data objects selected from file system snapshots and/or from primary file system storage
Rao Data duplication using Amazon Web Services cloud storage

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant