CN116303240A - 一种分布式文件系统的快照建立方法、系统、设备及介质 - Google Patents
一种分布式文件系统的快照建立方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN116303240A CN116303240A CN202310254465.9A CN202310254465A CN116303240A CN 116303240 A CN116303240 A CN 116303240A CN 202310254465 A CN202310254465 A CN 202310254465A CN 116303240 A CN116303240 A CN 116303240A
- Authority
- CN
- China
- Prior art keywords
- snapshot
- volume
- server command
- built
- establishing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000004590 computer program Methods 0.000 claims description 13
- 230000014509 gene expression Effects 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 3
- 238000013523 data management Methods 0.000 abstract description 9
- 238000012423 maintenance Methods 0.000 abstract description 6
- 238000007726 management method Methods 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000014759 maintenance of location Effects 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/128—Details of file system snapshots on the file-level, e.g. snapshot creation, administration, deletion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种分布式文件系统的快照建立方法、系统、设备与介质,所述方法包括:根据预设快照卷建立流程,创建卷快照自动化脚本;所述预设快照卷建立流程为根据卷位置服务器命令套件和文件服务器命令套件为系统卷定时建立快照卷的运行流程;将所述卷快照自动化脚本集成于所述分布式文件系统;响应于系统快照建立请求,执行所述卷快照自动化脚本,并根据系统卷的不同用途,按照不同的预设快照频率建立对应的快照卷。本发明不仅能保障系统数据的可恢复性和安全性,而且通过针对系统卷的不同用途建立快照,有效节省快照时间和性能开销,提高数据恢复周期的自由度和灵活性,还通过自动快照备份的方式,大大简化数据管理流程,减少系统维护成本。
Description
技术领域
本发明涉及分布式文件系统技术领域,特别是涉及一种分布式文件系统的快照建立方法、系统、设备及介质。
背景技术
分布式文件系统是指文件系统管理的物理资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连;或是若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整的有层次的文件系统。分布式文件系统因其能把大量数据分散到不同的节点上存储可大大减小数据丢失的风险,且保证部分节点的故障损坏时不影响整体正常运行的冗余特性,而得以广泛应用。
然而,现有分布式文件系统通常采用的数据删除机制是直接删除,数据删除后就无法恢复,且对应的数据备份机制为将数据文件做成压缩包存储在不同的节点的方式来进行冗余备份,但这种文件压缩备份机制会耗费大量的时间和服务器资源;尽管已有对分布式文件系统快照实现的研究,但其仅局限于元数据的快照备份,并未考虑基于系统卷的不同用途通过快照卷的方式进行高效备份,不仅备份效率低,而且数据管理不灵活,势必会造成不必要的数据管理资源浪费和系统性能开销;
因此,亟需提供一种既能保障分布式文件系统中数据的可恢复性和安全性,又能实现有针对性的灵活高效数据备份管理的快照建立方法。
发明内容
本发明的目的是提供一种分布式文件系统的快照建立方法,解决现有分布式系统备份机制的应用缺陷,通过自动根据系统卷的不同用途就进行有针对性的快照建立,实现保障系统数据的可恢复性和安全性的同时,有效节省快照时间和性能开销,提高数据恢复周期的自由度和灵活性,以及简化数据管理流程,减少维护成本。
为了实现上述目的,有必要针对上述技术问题,提供了一种分布式文件系统的快照建立方法、系统、设备及介质。
第一方面,本发明实施例提供了一种分布式文件系统的快照建立方法,所述方法包括以下步骤:
根据预设快照卷建立流程,创建卷快照自动化脚本;所述预设快照卷建立流程为根据卷位置服务器命令套件和文件服务器命令套件为系统卷定时建立快照卷的运行流程;
将所述卷快照自动化脚本集成于所述分布式文件系统;
响应于系统快照建立请求,执行所述卷快照自动化脚本,并根据系统卷的不同用途,按照不同的预设快照频率建立对应的快照卷。
进一步地,所述根据卷位置服务器命令套件和文件服务器命令套件为系统卷定时建立快照卷的运行流程包括:
判断各个用途的系统卷是否存在需要建立快照卷的系统卷,若存在,则将所述系统卷对应的快照备份目录作为待建立快照卷目录,并根据所述卷位置服务器命令套件,判断所述待建立快照卷目录是否存在快照卷;
若所述待建立快照卷目录不存在快照卷,则根据所述卷位置服务器命令套件建立新快照卷,并根据所述文件服务器命令套件,将所述新快照卷挂载到对应挂载点,反之,则判断所述待建立快照卷目录是否存在过期快照卷;
若所述待建立快照卷目录存在过期快照卷,则根据所述文件服务器命令套件删除所述过期快照卷,根据所述卷位置服务器命令套件建立新快照卷,并根据所述文件服务器命令套件,将所述新快照卷挂载到对应挂载点,反之,则直接根据所述卷位置服务器命令套件建立新快照卷,并根据所述文件服务器命令套件,将所述新快照卷挂载到对应挂载点。
进一步地,所述判断各个用途的系统卷是否存在需要建立快照卷的系统卷的步骤包括:
遍历预设快照备份目录,根据预设正则表达式提取各个快照备份目录的名称关键词;所述预设快照备份目录包括用户目录、项目临时数据目录和项目最终数据目录;
根据所述名称关键词,确定对应的系统卷用途;
根据所述系统卷用途,查找对应的预设快照频率,并根据所述预设快照频率,判断对应的系统卷是否需要建立快照卷。
进一步地,所述根据所述卷位置服务器命令套件,判断所述待建立快照卷目录是否存在快照卷的步骤包括:
通过所述卷位置服务器命令套件中的卷查看命令获取所述待建立快照卷目录中的已存在卷;
根据所述已存在卷的名称,判断是否存在所述待建立快照卷目录的需要使用卷;
若所述待建立快照卷目录存在所述需要使用卷,则判定所述待建立快照卷目录存在快照卷,反之,则判定所述待建立快照卷目录不存在快照卷。
进一步地,所述判断所述待建立快照卷目录是否存在过期快照卷的步骤包括:
获取所述待建立快照卷目录的快照卷用途,并根据所述快照卷用途,获取对应的预设快照卷保留数量;
获取所述待建立快照卷目录中已存在快照卷数目,并判断所述已存在快照卷数目是否大于所述预设快照卷保留数量,若是,则判定存在过期快照卷,反之,则判定不存在过期快照卷。
进一步地,所述根据所述文件服务器命令套件删除所述过期快照卷的步骤包括:
获取所述待建立快照卷目录中所有快照卷的创建时间,并根据各个创建时间和获取的当前系统时间,确定所述过期快照卷;
通过所述文件服务器命令套件中的文件删除命令删除所述过期快照卷对应的挂载点,并通过所述卷位置服务器命令套件中的卷移除命令删除所述过期快照卷。
进一步地,所述根据所述卷位置服务器命令套件建立新快照卷,并根据所述文件服务器命令套件,将所述新快照卷挂载到对应挂载点的步骤包括:
根据所述卷位置服务器命令套件中的卷拷贝命令建立对应的新快照卷;
根据所述待建立快照卷目录的快照卷用途和当前系统时间,对所述新快照卷进行命名;
通过所述文件服务器命令套件中的文件挂载命令,将所述新快照卷以隐藏方式挂载到所述待建立快照卷目录的对应挂载点,并生成相应的记录文件。
第二方面,本发明实施例提供了一种分布式文件系统的快照建立系统,所述系统包括:
脚本创建模块1,用于根据预设快照卷建立流程,创建卷快照自动化脚本;所述预设快照卷建立流程为根据卷位置服务器命令套件和文件服务器命令套件为系统卷定时建立快照卷的运行流程;
脚本集成模块2,用于将所述卷快照自动化脚本集成于所述分布式文件系统;
快照建立模块3,用于响应于系统快照建立请求,执行所述卷快照自动化脚本,并根据系统卷的不同用途,按照不同的预设快照频率建立对应的快照卷。
第三方面,本发明实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面,本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
上述本申请提供了一种分布式文件系统的快照建立方法、系统、设备及介质,通过所述方法,实现了根据预设快照卷建立流程,创建卷快照自动化脚本;所述预设快照卷建立流程为根据卷位置服务器命令套件和文件服务器命令套件为系统卷定时建立快照卷的运行流程;将所述卷快照自动化脚本集成于所述分布式文件系统;响应于系统快照建立请求,执行所述卷快照自动化脚本,并根据系统卷的不同用途,按照不同的预设快照频率建立对应的快照卷的技术方案。与现有技术相比,该分布式文件系统的快照建立方法,不仅能保障系统数据的可恢复性和安全性,而且通过针对系统卷的不同用途建立快照,可有效节省快照时间和性能开销,提高数据恢复周期的自由度和灵活性,还通过自动快照备份的方式,大大简化数据管理流程,减少维护成本。
附图说明
图1是本发明实施例中分布式文件系统的快照建立方法的流程示意图;
图2是本发明实施例中快照卷建立的自动化运行流程示意图;
图3是本发明实施例中分布式文件系统的快照建立系统的结构示意图;
图4是本发明实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案和有益效果更加清楚明白,下面结合附图及实施例,对本发明作进一步详细说明,显然,以下所描述的实施例是本发明实施例的一部分,仅用于说明本发明,但不用来限制本发明的范围。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供的多分布式文件系统的快照建立方法是基于将需要备份的指定的卷拷贝为名称中带时间的固定命名方式的卷,再把它以隐藏的方式挂载到目标目录下,把这个挂载出来的目录作为快照的目录的设计构思,给出的能有效解决现有分布式文件系统的备份机制因备份效率低、数据管理不灵活,存在不必要的数据管理资源浪费和系统性能开销等问题,在保障系统数据的可恢复性和安全性的同时,有效节省快照时间和性能开销,提高数据恢复周期的自由度和灵活性,以及简化数据管理流程,减少维护成本,真正有效满足用户的数据保护与恢复需求。下述实施例将对本发明的分布式文件系统的快照建立方法进行详细说明。
在一个实施例中,如图1所示,提供了一种分布式文件系统的快照建立方法,包括以下步骤:
S11、根据预设快照卷建立流程,创建卷快照自动化脚本;所述预设快照卷建立流程为根据卷位置服务器命令套件和文件服务器命令套件为系统卷定时建立快照卷的运行流程,包括判断快照目录是否存在,判断快照目录是否需要保留,删除原有的快照目录,删除原有的快照卷,拷贝需要的快照卷和生成挂载点等功能流程;具体的,如图2所示,所述根据卷位置服务器命令套件和文件服务器命令套件为系统卷定时建立快照卷的运行流程包括:
S111、判断各个用途的系统卷是否存在需要建立快照卷的系统卷,若存在,则将所述系统卷对应的快照备份目录作为待建立快照卷目录,并根据所述卷位置服务器命令套件,判断所述待建立快照卷目录是否存在快照卷;
考虑到分布式文件系统中需要进行数据备份的目录通常是用户目录、项目临时数据目录和项目最终数据目录,本实施例中考虑的系统卷的用途优选地基于用户目录、项目临时数据目录和项目最终数据目录的分类进行说明,但在实际应用中考虑的系统卷用途可根据实际需求进行调整和扩充。
具体的,所述判断各个用途的系统卷是否需要建立快照卷的步骤包括:
遍历预设快照备份目录,根据预设正则表达式提取各个快照备份目录的名称关键词;所述预设快照备份目录包括用户目录、项目临时数据目录和项目最终数据目录;其中,名称关键词与预设快照备份目录存在对应关系,可理解为包含user、tempdata和release等关键单词或词组;对应的,用于提取不同快照备份目录的名称关键词的正则表达式也可以根据预设的名称关键词进行针对性设置,此处不作具体限制;
根据所述名称关键词,确定对应的系统卷用途;其中,名称关键词如上述可知其是根据具有不同使用用途的系统卷的名称进行设定和选取的,即名称关键词与系统卷用途之间存在着一一对应关系,根据名称关键词查找预设的映射关系表即可得到对应的系统卷用途;
根据所述系统卷用途,查找对应的预设快照频率,并根据所述预设快照频率,判断对应的系统卷是否需要建立快照卷;其中,预设快照频率可理解为根据实际应用需要针对系统卷的不同用途而预先设置的快照建立间隔时长,即不同用途对应不同的预设快照频率;比如,1)针对用户目录的预设快照频率为每小时一次快照,保留五小时的,或每天一次快照,保留七天的;2)针对项目临时数据目录的预设快照频率为每天一次快照,保留五天的;3)针对项目最终数据目录的预设快照频率为每周一次快照,保留两周的;需要说明的是,上述针对不同用途的系统卷的预设快照频率的设置仅为示例性描述,并不作为具体保护范围限制。
获取各个用途的系统卷对应的预设快照频率后,就可以根据当前系统时间和最近时间快照卷的存储时间的时差,来判断对应的系统卷是否需要建立快照卷:若当前系统时间和最近时间快照卷的存储时间的时差大于或等于对应的预设快照频率,则判定该系统卷当前需要建立快照卷,反之,则暂时不需要创建新的快照卷,以实现按需求备份数据,满足数据文件安全性需求的同时,可根据需求做到小时备份,天备份和周备份等不同用途卷的不同周期备份,不仅能提高数据恢复周期的自由度,而且操作灵活,实现了对快照卷的灵活管理,还能有效节约系统资源和对应的性能开销;
当通过上述方法确定待建立快照卷目录后,就可以采用分布式文件系统的卷位置服务器命令套件,进一步判断各个待建立快照卷目录是否存在快照卷;具体步骤的包括:
通过所述卷位置服务器命令套件中的卷查看命令获取所述待建立快照卷目录中的已存在卷;其中,卷查看命令可以为vos listvol命令;
根据所述已存在卷的名称,判断是否存在所述待建立快照卷目录的需要使用卷;其中,已存在卷的名称的识别方法可根据实际应用需求进行选择,如采用预设正则表达式的方式进行匹配识别等,此处不作具体限制;
若所述待建立快照卷目录存在所述需要使用卷,则判定所述待建立快照卷目录存在快照卷,反之,则判定所述待建立快照卷目录不存在快照卷;其中,需要使用卷可理解为与待建立快照卷目录对应的历史快照卷,若存在需要使用卷则可确定当前待建立快照卷目录在此之前是建立过对应的快照卷的,就需要通过下述方法步骤保证新快照卷建立后,不同用途系统卷的快照卷数目和保存时长都符合既定需求;
S112、若所述待建立快照卷目录不存在快照卷,则根据所述卷位置服务器命令套件建立新快照卷,并根据所述文件服务器命令套件,将所述新快照卷挂载到对应挂载点,反之,则判断所述待建立快照卷目录是否存在过期快照卷;
对于上述待建立快照卷目录不存在快照卷的情形,可理解首次创建快照,或者之前备份的快照卷已全部清除,此时确定需要建立新快照时,就可以直接根据分布式文件系统的卷位置服务器命令套件中的相关命令直接为对应的系统卷创建快照,而无进行其他检查操作;具体的,所述根据所述卷位置服务器命令套件建立新快照卷,并根据所述文件服务器命令套件,将所述新快照卷挂载到对应挂载点的步骤包括:
根据所述卷位置服务器命令套件中的卷拷贝命令建立对应的新快照卷;其中,卷拷贝命令可以为vos copy命令,对应的新快照卷的建立过程可理解为执行vos copy命令拷贝当前时间的系统卷,根据相应的硬件快照功能创建对应的快照卷;
根据所述待建立快照卷目录的快照卷用途和当前系统时间,对所述新快照卷进行命名;其中,新快照卷的具体命名方式可以根据实际应用需求进行设置,但需要与待建立快照卷目录的系统卷用途保持一致,对用途和创建时间进行记录,便于卷快照自动化脚本根据相应的命名规则进行自动识别判断,进而实现对快照卷的高效灵活管理,如,用户目录的卷命名可采用user.xxx_20230201;项目临时数据的卷命名为tempdata_20230201;项目最终数据的卷命名为release_20230201等;需要说明的是,此处给出的快照卷命名方式仅为示例性描述,并不作具体限制;
通过所述文件服务器命令套件中的文件挂载命令,将所述新快照卷以隐藏方式挂载到所述待建立快照卷目录的对应挂载点,并生成相应的记录文件;其中,文件挂载命令可以为fs mkm命令;需要说明的是,此处采用隐藏方式挂载快照卷可在不影响正常目录的查询使用的情况下,实现对系统卷的针对性备份,为数据保护和恢复提供可靠保障;
然而,对于待建立快照卷目录已存在快照卷的情形,就需要在创建新的快照前,检查快照卷的数目是否超限,以及是否存在时限过期的快照卷等;具体的,所述判断所述待建立快照卷目录是否存在过期快照卷的步骤包括:
获取所述待建立快照卷目录的快照卷用途,并根据所述快照卷用途,获取对应的预设快照卷保留数量;其中,快照卷用途与系统卷的用途保持一致,也可以通过识别待建立快照卷目录名称的方法得到对应的快照卷用途,并根据预设的快照卷用途与快照卷保存数量的对应关系,得到对应的预设快照卷保留数量,此处所述的快照卷用途与快照卷保存数量的映射关系可参照前述预设快照频率设置的示例性描述,此处不再赘述;
获取所述待建立快照卷目录中已存在快照卷数目,并判断所述已存在快照卷数目是否大于所述预设快照卷保留数量,若是,则判定存在过期快照卷,反之,则判定不存在过期快照卷;
在通过上述步骤各个待建立快照卷目录存在过期快照卷后,就可以进一步确定具体的过期快照卷,在将确定的过期快照卷移除后,再执行对应的新快照卷的建立流程,以保证待建立快照卷目录在完成新快照卷建立后所存在的快照卷符合预设的备份要求,而不造成过多的存储资源浪费。
S113、若所述待建立快照卷目录存在过期快照卷,则根据所述文件服务器命令套件删除所述过期快照卷,根据所述卷位置服务器命令套件建立新快照卷,并根据所述文件服务器命令套件,将所述新快照卷挂载到对应挂载点,反之,则直接根据所述卷位置服务器命令套件建立新快照卷,并根据所述文件服务器命令套件,将所述新快照卷挂载到对应挂载点;
具体的,所述根据所述文件服务器命令套件删除所述过期快照卷的步骤包括:
获取所述待建立快照卷目录中所有快照卷的创建时间,并根据各个创建时间和获取的当前系统时间,确定所述过期快照卷;其中,过期快照卷的确定过程可理解为:先根据待建立快照卷目录中所有快照卷的命名,获取对应的创建时间,再根据当前系统时间与各个创建时间的时间差,找出不符合当前备份保留时长的快照卷作为过期快照卷;
通过所述文件服务器命令套件中的文件删除命令删除所述过期快照卷对应的挂载点,并通过所述卷位置服务器命令套件中的卷移除命令删除所述过期快照卷;其中,文件删除命令可以为fs rm命令,卷移除命令可以为vos remove;
通过将上述流程步骤采用相应的脚本语言编写集成就能得到对应的卷快照自动化脚本。
S12、将所述卷快照自动化脚本集成于所述分布式文件系统;其中,卷快照自动化脚本可理解为用于将上述预设快照卷建立流程中各个功能集中的一个可循环调用或循环函数定时执行的脚本;
上述卷快照自动化脚本可以为shell脚本、python脚本等,通过采用与脚本类型对应的集成部署方式集成于分布式文件系统,并在分布式文件系统运行时,可以启动执行脚本,实现对分布式文件系统中不同用途的系统卷按照对应的预设快照频率和预设快照数量进行管理备份。
S13、响应于系统快照建立请求,执行所述卷快照自动化脚本,并根据系统卷的不同用途,按照不同的预设快照频率建立对应的快照卷;其中,系统快照建立请求可理解为用户通过配置文件启动执行卷快照自动化脚本的定时任务或者通过下发命令的方式执行卷快照自动化脚本,具体的快照建立请求设置方式可根据实际应用需求进行选取,此处不作具体限定;对应的执行卷快照自动化脚本为不同用途的系统卷,按照不同的预设快照频率建立对应的快照卷的运行过程可参考上述预设快照卷建立流程的具体描述,此处不再赘述。
本申请实施例通过针对系统卷的不同用途按照不同的快照频率和快照保留数量建立快照卷,不仅能有效节省快照时间和系统性能开销,而且提高数据恢复周期的自由度和灵活性;同时,通过将判断快照目录是否存在,判断快照目录是否需要保留,删除原有的快照目录,删除原有的快照卷,拷贝需要的快照卷和生成挂载点等多种功能集成,实现快照备份自动化的同时,大大简化了备份数据的管理流程,进而有效减少分布式文件系统的维护成本。
在一个实施例中,如图3所示,提供了一种分布式文件系统的快照建立系统,所述系统包括:
脚本创建模块1,用于根据预设快照卷建立流程,创建卷快照自动化脚本;所述预设快照卷建立流程为根据卷位置服务器命令套件和文件服务器命令套件为系统卷定时建立快照卷的运行流程;
脚本集成模块2,用于将所述卷快照自动化脚本集成于所述分布式文件系统;
快照建立模块3,用于响应于系统快照建立请求,执行所述卷快照自动化脚本,并根据系统卷的不同用途,按照不同的预设快照频率建立对应的快照卷。
关于一种分布式文件系统的快照建立系统的具体限定可以参见上文中对于一种分布式文件系统的快照建立方法的限定,在此不再赘述。上述一种分布式文件系统的快照建立系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
图4示出一个实施例中计算机设备的内部结构图,该计算机设备具体可以是终端或服务器。如图4所示,该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示器和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种分布式文件系统的快照建立方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解,图4中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述方法的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述方法的步骤。
综上,本发明实施例提供的一种分布式文件系统的快照建立方法、系统、设备及介质,其分布式文件系统的快照建立方法实现了根据预设快照卷建立流程,创建卷快照自动化脚本;所述预设快照卷建立流程为根据卷位置服务器命令套件和文件服务器命令套件为系统卷定时建立快照卷的运行流程;将所述卷快照自动化脚本集成于所述分布式文件系统;响应于系统快照建立请求,执行所述卷快照自动化脚本,并根据系统卷的不同用途,按照不同的预设快照频率建立对应的快照卷的技术方案,该方法不仅能保障系统数据的可恢复性和安全性,而且通过针对系统卷的不同用途建立快照,可有效节省快照时间和性能开销,提高数据恢复周期的自由度和灵活性,还通过自动快照备份的方式,大大简化数据管理流程,减少维护成本。
本说明书中的各个实施例均采用递进的方式描述,各个实施例直接相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。需要说明的是,上述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种优选实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和替换,这些改进和替换也应视为本申请的保护范围。因此,本申请专利的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种分布式文件系统的快照建立方法,其特征在于,所述方法包括以下步骤:
根据预设快照卷建立流程,创建卷快照自动化脚本;所述预设快照卷建立流程为根据卷位置服务器命令套件和文件服务器命令套件为系统卷定时建立快照卷的运行流程;
将所述卷快照自动化脚本集成于所述分布式文件系统;
响应于系统快照建立请求,执行所述卷快照自动化脚本,并根据系统卷的不同用途,按照不同的预设快照频率建立对应的快照卷。
2.如权利要求1所述的分布式文件系统的快照建立方法,其特征在于,所述根据卷位置服务器命令套件和文件服务器命令套件为系统卷定时建立快照卷的运行流程包括:
判断各个用途的系统卷是否存在需要建立快照卷的系统卷,若存在,则将所述系统卷对应的快照备份目录作为待建立快照卷目录,并根据所述卷位置服务器命令套件,判断所述待建立快照卷目录是否存在快照卷;
若所述待建立快照卷目录不存在快照卷,则根据所述卷位置服务器命令套件建立新快照卷,并根据所述文件服务器命令套件,将所述新快照卷挂载到对应挂载点,反之,则判断所述待建立快照卷目录是否存在过期快照卷;
若所述待建立快照卷目录存在过期快照卷,则根据所述文件服务器命令套件删除所述过期快照卷,根据所述卷位置服务器命令套件建立新快照卷,并根据所述文件服务器命令套件,将所述新快照卷挂载到对应挂载点,反之,则直接根据所述卷位置服务器命令套件建立新快照卷,并根据所述文件服务器命令套件,将所述新快照卷挂载到对应挂载点。
3.如权利要求2所述的分布式文件系统的快照建立方法,其特征在于,所述判断各个用途的系统卷是否存在需要建立快照卷的系统卷的步骤包括:
遍历预设快照备份目录,根据预设正则表达式提取各个快照备份目录的名称关键词;所述预设快照备份目录包括用户目录、项目临时数据目录和项目最终数据目录;
根据所述名称关键词,确定对应的系统卷用途;
根据所述系统卷用途,查找对应的预设快照频率,并根据所述预设快照频率,判断对应的系统卷是否需要建立快照卷。
4.如权利要求2所述的分布式文件系统的快照建立方法,其特征在于,所述根据所述卷位置服务器命令套件,判断所述待建立快照卷目录是否存在快照卷的步骤包括:
通过所述卷位置服务器命令套件中的卷查看命令获取所述待建立快照卷目录中的已存在卷;
根据所述已存在卷的名称,判断是否存在所述待建立快照卷目录的需要使用卷;
若所述待建立快照卷目录存在所述需要使用卷,则判定所述待建立快照卷目录存在快照卷,反之,则判定所述待建立快照卷目录不存在快照卷。
5.如权利要求2所述的分布式文件系统的快照建立方法,其特征在于,所述判断所述待建立快照卷目录是否存在过期快照卷的步骤包括:
获取所述待建立快照卷目录的快照卷用途,并根据所述快照卷用途,获取对应的预设快照卷保留数量;
获取所述待建立快照卷目录中已存在快照卷数目,并判断所述已存在快照卷数目是否大于所述预设快照卷保留数量,若是,则判定存在过期快照卷,反之,则判定不存在过期快照卷。
6.如权利要求2所述的分布式文件系统的快照建立方法,其特征在于,所述根据所述文件服务器命令套件删除所述过期快照卷的步骤包括:
获取所述待建立快照卷目录中所有快照卷的创建时间,并根据各个创建时间和获取的当前系统时间,确定所述过期快照卷;
通过所述文件服务器命令套件中的文件删除命令删除所述过期快照卷对应的挂载点,并通过所述卷位置服务器命令套件中的卷移除命令删除所述过期快照卷。
7.如权利要求2所述的分布式文件系统的快照建立方法,其特征在于,所述根据所述卷位置服务器命令套件建立新快照卷,并根据所述文件服务器命令套件,将所述新快照卷挂载到对应挂载点的步骤包括:
根据所述卷位置服务器命令套件中的卷拷贝命令建立对应的新快照卷;
根据所述待建立快照卷目录的快照卷用途和当前系统时间,对所述新快照卷进行命名;
通过所述文件服务器命令套件中的文件挂载命令,将所述新快照卷以隐藏方式挂载到所述待建立快照卷目录的对应挂载点,并生成相应的记录文件。
8.一种分布式文件系统的快照建立系统,其特征在于,所述系统包括:
脚本创建模块,用于根据预设快照卷建立流程,创建卷快照自动化脚本;所述预设快照卷建立流程为根据卷位置服务器命令套件和文件服务器命令套件为系统卷定时建立快照卷的运行流程;
脚本集成模块,用于将所述卷快照自动化脚本集成于所述分布式文件系统;
快照建立模块,用于响应于系统快照建立请求,执行所述卷快照自动化脚本,并根据系统卷的不同用途,按照不同的预设快照频率建立对应的快照卷。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310254465.9A CN116303240B (zh) | 2023-03-15 | 2023-03-15 | 一种分布式文件系统的快照建立方法、系统、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310254465.9A CN116303240B (zh) | 2023-03-15 | 2023-03-15 | 一种分布式文件系统的快照建立方法、系统、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116303240A true CN116303240A (zh) | 2023-06-23 |
CN116303240B CN116303240B (zh) | 2023-11-24 |
Family
ID=86786582
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310254465.9A Active CN116303240B (zh) | 2023-03-15 | 2023-03-15 | 一种分布式文件系统的快照建立方法、系统、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116303240B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030182301A1 (en) * | 2002-03-19 | 2003-09-25 | Hugo Patterson | System and method for managing a plurality of snapshots |
CN102402471A (zh) * | 2011-12-23 | 2012-04-04 | 创新科软件技术(深圳)有限公司 | 基于存储阵列快照功能的数据实时备份方法及系统 |
CN105260271A (zh) * | 2015-11-18 | 2016-01-20 | 浪潮(北京)电子信息产业有限公司 | 一种hdfs快照的实现方法及系统 |
CN115374057A (zh) * | 2022-08-29 | 2022-11-22 | 浪潮电子信息产业股份有限公司 | 数据快照方法及相关设备 |
-
2023
- 2023-03-15 CN CN202310254465.9A patent/CN116303240B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030182301A1 (en) * | 2002-03-19 | 2003-09-25 | Hugo Patterson | System and method for managing a plurality of snapshots |
CN102402471A (zh) * | 2011-12-23 | 2012-04-04 | 创新科软件技术(深圳)有限公司 | 基于存储阵列快照功能的数据实时备份方法及系统 |
CN105260271A (zh) * | 2015-11-18 | 2016-01-20 | 浪潮(北京)电子信息产业有限公司 | 一种hdfs快照的实现方法及系统 |
CN115374057A (zh) * | 2022-08-29 | 2022-11-22 | 浪潮电子信息产业股份有限公司 | 数据快照方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN116303240B (zh) | 2023-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7249281B2 (en) | Method and system for backing up and restoring data of a node in a distributed system | |
US10108352B2 (en) | Incremental replication of a source data set | |
US8326803B1 (en) | Change tracking of individual virtual disk files | |
US8359491B1 (en) | Disaster recovery rehearsal using copy on write | |
RU2429529C2 (ru) | Динамическое конфигурирование, выделение и развертывание вычислительных систем | |
US8250202B2 (en) | Distributed notification and action mechanism for mirroring-related events | |
US20190220361A1 (en) | Monitoring Containers In A Distributed Computing System | |
US20070055716A1 (en) | Method, apparatus, and computer readable medium for managing replication of back-up object | |
US20050193248A1 (en) | Computer system for recovering data based on priority of the data | |
CN111338854A (zh) | 基于Kubernetes集群快速恢复数据的方法及系统 | |
US11567686B2 (en) | Snapshot lifecycle management systems and methods | |
WO2015070239A2 (en) | Managed service for acquisition, storage and consumption of large-scale data streams | |
CN106657167B (zh) | 管理服务器、服务器集群、以及管理方法 | |
JP2007241486A (ja) | 記憶装置システム | |
US10620871B1 (en) | Storage scheme for a distributed storage system | |
JP5868986B2 (ja) | アイテム単位でのリカバリー | |
WO2020015116A1 (zh) | 数据库监控方法及终端设备 | |
CN113722155A (zh) | 一种分布式文件系统内数据备份及修复方法及相关组件 | |
US7673033B2 (en) | Storage unit information control system for user terminal | |
CN105159799A (zh) | 一种备份服务器的方法及装置 | |
CN112800019A (zh) | 基于Hadoop分布式文件系统的数据备份方法及系统 | |
CN112035062B (zh) | 云计算的本地存储的迁移方法、计算机设备及存储介质 | |
CN116303240B (zh) | 一种分布式文件系统的快照建立方法、系统、设备及介质 | |
US8595271B1 (en) | Systems and methods for performing file system checks | |
CN105786650A (zh) | 数据的管理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |