CN112732479A - 一种分布式系统的数据备份方法及装置 - Google Patents
一种分布式系统的数据备份方法及装置 Download PDFInfo
- Publication number
- CN112732479A CN112732479A CN201911028359.9A CN201911028359A CN112732479A CN 112732479 A CN112732479 A CN 112732479A CN 201911028359 A CN201911028359 A CN 201911028359A CN 112732479 A CN112732479 A CN 112732479A
- Authority
- CN
- China
- Prior art keywords
- backup
- file system
- data
- image file
- source file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000003860 storage Methods 0.000 claims abstract description 33
- 238000012544 monitoring process Methods 0.000 claims abstract description 11
- 230000008859 change Effects 0.000 claims abstract description 10
- 238000011084 recovery Methods 0.000 claims description 46
- 230000002452 interceptive effect Effects 0.000 claims description 14
- 238000013500 data storage Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 abstract description 17
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1469—Backup restoration techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种分布式系统的数据备份方法及装置,其中,该方法包括:监控已创建备份任务的备份周期,定时启动备份任务;根据启动的备份任务获取源文件系统在所述备份周期内的数据变化,进行增量备份,得到所述源文件系统的新版本镜像文件;将所述新版本镜像文件存储至目标文件系统。本方案减少了分布式系统的数据备份所占用的存储空间和处理资源。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种分布式系统的数据备份方法及装置。
背景技术
分布式存储系统中,系统可用性是评价系统的重要指标之一,需要保证在机器发生故障时,系统可用性不受影响。为此,数据就需要保存多个副本,并且,多个副本要分布在不同的机器上,只要多个副本的数据是一致的,在机器故障引起某些副本失效时,其它副本仍然能够提供服务。数据备份就是为分布式存储系统中的数据存储的多个副本。然而,随着系统中数据的增加,数据备份所占用的系统空间也会越来越大,并且数据在进行备份过程中,也需要消耗一定的系统处理性能,而随着需要备份的数据量增长,备份过程所占用的系统资源也会增加,因此,如何减少数据备份对分布式系统的处理资源以及存储空间的过度消耗,对于分布式系统的推广使用具有重要的研究意义。
发明内容
鉴于上述问题,本发明提出了一种分布式系统的数据备份方法及装置,主要目的在于减少数据备份占用分布式系统的存储空间以及处理资源。
为达到上述目的,本发明主要提供如下技术方案:
一方面,本发明提供一种分布式系统的数据备份方法,具体包括:
监控已创建备份任务的备份周期,定时启动备份任务;
根据启动的备份任务获取源文件系统在所述备份周期内的数据变化,进行增量备份,得到所述源文件系统的新版本镜像文件;
将所述新版本镜像文件存储至目标文件系统。
另一方面,本发明提供一种分布式系统的数据备份装置,具体包括:
备份控制单元,用于监控已创建备份任务的备份周期,定时启动备份任务;
备份执行单元,用于根据所述备份控制单元启动的备份任务获取源文件系统在所述备份周期内的数据变化,进行增量备份,得到所述源文件系统的新版本镜像文件;
备份存储单元,用于将所述新版本镜像文件存储至目标文件系统。
另一方面,本发明提供一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述的分布式系统的数据备份方法。
另一方面,本发明提供一种电子设备,所述电子设备中包括处理器和存储器,所述存储器用于存储程序,所述处理器耦合至所述存储器,用于运行所述程序,以执行上述的分布式系统的数据备份方法。
借由上述技术方案,本发明提供的一种分布式系统的数据备份方法及装置,是对源文件系统进行定期备份时,通过监控备份任务的备份周期定时启动该备份任务,并且对于再次启动的备份任务,所备份的数据内容是源文件系统在该备份周期内存在修改的数据或对数据的修改操作进行备份,即基于上一备份周期的源文件系统进行增量备份,生成该源文件系统对应该备份周期的新版镜像文件,并将其存储至目标文件。可见,本发明在对源文件系统进行备份时能够实现自动化地增量备份,当源文件系统数据量较大或备份数量多或备份周期短时,由于采用了增量备份,其在不同备份周期中所生成的镜像文件只是部分存在修改的数据,其数据量要远小于进行全量备份对应的数据量,因此,该镜像文件不仅减少了对存储空间的占用,在进行网络传输时,也减少了对网络资源的占用,同时减少了源文件系统因为数据备份所需消耗的处理资源。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提出的一种分布式系统的数据备份方法的流程图;
图2示出了本发明实施例提出的一种分布式系统的数据恢复方法的流程图;
图3示出了本发明实施例提出的另一种分布式系统的数据备份方法的流程图;
图4示出了本发明实施例提出的一种分布式系统的数据备份装置的组成框图;
图5示出了本发明实施例提出的另一种分布式系统的数据备份装置的组成框图;
图6示出了本发明实施例提出的一种分布式系统的数据备份与恢复的流程框图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
在对源文件系统进行数据备份时,一般需要对该源文件系统进行定期备份,如一天、一周或一月备份一次。而对于现有的全量备份方式而言,如果源文件系统的数据量很大,每次备份的镜像文件都需要占用较大的存储空间,并且还需要很长的备份时间,而为了实现数据的高可用性,就需要缩短备份周期,并且在需要保存多个备份周期所对应的备份镜像文件时,就需要更多的存储空间保存源文件系统的镜像文件,可见,现有的备份方式在执行数据备份时,不仅耗时,还会过多占用存储空间。为此,本发明实施例提供了一种分布式系统的数据备份方法,具体步骤如图1所示,该方法包括:
步骤101、监控已创建备份任务的备份周期,定时启动备份任务。
由于在分布式系统中存在大量的源文件系统需要进行定期备份,因此,每个针对源文件系统的备份任务在创建时会同时设置该备份任务对应的备份周期,本实施例中,该备份周期可以在备份任务创建后进行人工调整。本步骤是针对已创建备份任务的备份周期进行监控,在发现需要启动的备份任务时,启动并执行该备份任务。需要说明的是,在分布式系统中,能够并行处理多个备份任务。
步骤102、根据启动的备份任务获取源文件系统在备份周期内的数据变化,进行增量备份,得到该源文件系统的新版本镜像文件。
本步骤所生成的镜像文件是对源文件系统进行增量备份得到的,其备份内容仅是对源文件系统在当前备份周期内存在修改的数据,其中,数据变化可以包括对数据的增加、修改、删除等。也就是说,所得到的新版本镜像文件只是源文件系统中部分数据的备份,在数据恢复过程中,并不能单独使用该版本的镜像文件对源文件系统进行恢复,还需要配合之前备份的镜像文件共同执行数据恢复。
本步骤不具体限定获取源文件系统在备份周期内的数据变化的具体方式,比如,可以通过读取源文件系统中的数据操作日志确定在该备份周期中所发生的数据变化。通过增量备份的方式,其生成的新版本镜像文件的数据量将会明显减低,如此,其执行单次数据备份时,就会减少备份执行时间,降低对网络资源的消耗,同时,还大量减少其所占用的存储空间,能够在使用同等存储空间保存镜像文件的条件下,缩短对源文件系统的备份周期的目的。
此外,同一个备份任务每次执行增量备份得到一个新版本镜像文件时,会在该新版本镜像文件上标注对应的版本标识,以实现与其他版本镜像文件相区分的目的。并且,由于在分布式系统中存在多个备份任务并行的情况,因此,在标注版本标识的同时,还可以标注任务标识,以区分该镜像文件所对应的备份任务。
步骤103、将新版本镜像文件存储至目标文件系统。
其中,目标文件系统可以是在备份任务中指定的,也可以是基于源文件系统的位置选择跨区域的文件系统作为目标文件系统。并且,本发明中,目标文件系统可以是一个,也可以是多个。当目标文件系统有多个时,备份具体过程不限定是同时向多个目标文件系统存储镜像文件,或者是向其中一个目标文件系统存储镜像文件,再有该目标文件系统向其他目标文件系统依次发送镜像文件。
通过上述实例可见,本发明实施例所提供的一种分布式系统的数据备份方法,在对源文件系统进行备份时能够实现自动化地增量备份,当源文件系统数据量较大或备份数量多或备份周期短时,由于采用了增量备份,其在不同备份周期中所生成的镜像文件只是部分存在修改的数据,其数据量要远小于进行全量备份对应的数据量,因此,该镜像文件不仅减少了对存储空间的占用,在进行网络传输时,也减少了对网络资源的占用,同时减少了源文件系统因为数据备份所需消耗的处理资源。
进一步的,对应于上述实施例中的数据备份方法,当需要对源文件系统进行数据恢复时,其具体的实现过程如图2所示,包括:
步骤201、接收对源文件系统的数据恢复请求。
其中,该数据恢复请求中至少包含有指定版本的镜像文件,由于不同版本的镜像文件对应于不同的备份周期,因此,通过指定镜像文件的具体版本就可以确定出要恢复哪一个时间点所对应的源文件系统。
步骤202、根据数据恢复请求获取待执行镜像文件。
其中,该待执行镜像文件是指一个镜像文件集合,该集合中包含有指定版本的镜像文件以及在该指定版本之前备份的镜像文件,其中,该指定版本之前备份的镜像文件,包括在指定版本之前备份的且不重合或重复的镜像文件,比如,在对源文件备份时,可能会对同一个版本备份多份,此时,只需要获取其中一份即可,此外,还可能对多个旧版本的备份进行合并处理,此时,只需要获取该合并后的一个备份,而无需再获取那些合并处理之前的备份。在上述实施例中已说明,由于本发明采用的增量备份的方式,对于单个镜像文件不能执行数据恢复操作,除非该指定版本的镜像文件为初始镜像文件,即含有源文件系统所有数据的镜像文件。
需要说明的是,在分布式系统中,源文件系统的镜像文件可能有多个备份,即存储于多个目标文件系统中。因此,在获取待执行镜像文件时,本发明不限定从多个目标文件系统中选择一个目标文件系统获取待执行镜像文件的策略,比如,根据网络负载进行选择,或者根据目标文件系统处理资源进行选择,或者是从多个目标文件系统中分别获取不同版本的镜像文件。
步骤203、利用待执行镜像文件在指定文件系统中进行数据恢复。
其中,该指定文件系统不限定是源文件系统,也可以是将其他位置的文件系统恢复成源文件系统。
进一步的,在执行图1所示实施例中的步骤103之前,为了确保数据的可用性,需要优先选择与源文件系统的位置处于不同可用区中的目标文件系统,其中,可用区是一个逻辑数据中心的概念,每个可用区内的资源处于相同物理数据中心。也就是说,所确定的目标文件系统的数据存储位置与源文件系统的数据存储位置位于不同的数据中心。比如,源文件系统的数据存储位置在北京(北京数据中心),那么确定的目标文件系统则可以是位于上海或深圳的数据中心。为此,在执行步骤102获取源文件系统的数据变化时,还需要同时确定源文件系统的数据存储位置,或者是根据数据变化分析出源文件系统的数据存储位置。
进一步的,在执行图1所示实施例中的步骤103之后,为了有效控制备份的镜像文件所占用的存储空间,本发明还增加的旧版本回收功能,即当镜像文件的版本过多时,需要将老旧的版本进行合并,以降低镜像文件所占用的存储空间。对此,本发明实施例提供一种可行的回收方式:
首先,判断目标文件系统中存储的源文件系统的镜像文件的版本数量是否大于阈值。
其次,若确定版本数量大于阈值时,则按照版本由旧到新的顺序将预设数量的镜像文件合并为一个镜像文件,作为源文件系统的基础镜像文件。其中,基础镜像文件为版本最老一个镜像文件,也是含有源文件系统完整数据的镜像文件。比如,一个源文件系统进过多次备份后,在目标文件系统中存储的镜像文件为:文件1、文件2、文件3、文件4(按备份的时间顺序由前到后排列),其中文件1为基于镜像文件,含有源文件系统的完整数据,当阈值为4时,在执行备份后得到新版本镜像文件(文件5)时,将执行版本回收操作,即将文件1与文件2合并,或将文件1与文件2、文件3合并,其具体合并的文件数量可以预先设定。最终使得目标文件系统中该镜像文件的版本数量不超过阈值。合并后(以文件1与文件2合并为例),目标文件中的存储的镜像文件包括:文件2’(合并后的镜像文件)、文件3、文件4、文件5,此时,文件2’为镜像文件集合中的基础镜像文件,以此类推,一旦备份的版本数量超出阈值,将重复上述的步骤。而此时,基础镜像文件中的数据相对于源文件系统的原始数据也存在修改,是文件2对应的备份周期时源文件系统的数据内容。
进一步的,在执行图1所示实施例中的步骤102时,即在增量备份时,为了减少数据备份操作对源文件系统性能的影响。本发明的一个可选实施例中,还可以监控从源文件系统提取备份数据的性能参数,根据该性能参数调整增量备份的执行进度。其中,性能参数包括有数据备份操作的CPU占用率、数据吞吐量等,该性能参数可反映数据备份对源文件系统以及网络传输的影响。对比,本实施例中的监控调整方式可以为对源文件系统的目录扫描以及文件复制操作的并行任务数,数据吞吐量设置上限值,以实现控制数据备份的执行进度,避免影响源文件系统的其他服务功能。
进一步的,在执行图1所示的数据备份方法时,为了更便于用户的操作,本发明的另一实施例中,创建用于数据备份的人机交互界面,以此提高用户在应用本发明时的友好度,用户通过该交互界面可以定制所需的数据备份请求,在该数据备份请求中,用户可以指定源文件系统,并设置备份周期,还可以选择目标文件系统及其数量等。而对于提供数据备份服务的设备,其通过该交互界面则可以接收用户定制的数据备份请求,从而创建备份任务,并对该备份任务中的备份周期进行监控。同时,通过该交互界面也可以用于接收用户所定制的数据恢复请求,从而实现对该数据恢复请求中的源文件系统执行恢复操作。
此外,在该交互界面中,还可以设置便于用户浏览查询的功能展示区域,比如,通过进度条的展示可以让用户查看当前正在执行的备份任务的执行进度,通过列表的形式展示用户所选中的备份任务在目标文件系统中存储的所有镜像文件信息,包括镜像文件的版本、数量等。
综合上述实施例中的说明,本发明实施例提出一种优选的针对分布式系统的数据备份方法,该方法的具体实现步骤如图3所示,包括:
步骤301、通过交互界面接收源文件系统的数据备份请求,创建备份任务。
步骤302、监控已创建备份任务的备份周期,定时启动备份任务。
步骤303、根据启动的备份任务获取源文件系统在备份周期内的数据变化,进行增量备份,得到该源文件系统的新版本镜像文件。
在执行增量备份时,监控从源文件系统提取备份数据的性能参数,并根据该性能参数调整增量备份的执行进度。
步骤304、根据源文件系统的数据存储位置确定目标文件系统。
步骤305、将新版本镜像文件存储至目标文件系统。
步骤306、当目标文件系统中存储的源文件系统的镜像文件的版本数量大于阈值时,按照版本由旧到新的顺序将预设数量的镜像文件合并为一个镜像文件,作为该源文件系统的基础镜像文件。
进一步的,作为对上述图1-3所示方法的实现,本发明实施例提供了一种分布式系统的数据备份装置,该装置主要用于减少数据备份占用分布式系统的存储空间以及处理资源。为便于阅读,本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的装置能够对应实现前述方法实施例中的全部内容。该装置如图4所示,具体包括:
备份控制单元41,用于监控已创建备份任务的备份周期,定时启动备份任务;
备份执行单元42,用于根据所述备份控制单元41启动的备份任务获取源文件系统在所述备份周期内的数据变化,进行增量备份,得到所述源文件系统的新版本镜像文件;
备份存储单元43,用于将所述备份执行单元42得到的新版本镜像文件存储至目标文件系统。
进一步的,如图5所示,所述装置还包括:
所述备份控制单元41还用于,接收对源文件系统的数据恢复请求,所述数据恢复请求中包含指定版本的镜像文件;
数据恢复单元44,用于根据所述备份控制单元41得到的数据恢复请求获取待执行镜像文件,所述待执行镜像文件包含所述指定版本的镜像文件以及在该指定版本之前备份的镜像文件;
所述数据恢复单元44还用于,利用所述待执行镜像文件在指定文件系统中进行数据恢复。
进一步的,如图5所示,所述装置还包括:
确定单元45,用于在备份存储单元43将所述新版本镜像文件存储至目标文件系统之前,根据所述源文件系统的数据存储位置确定目标文件系统,所述目标文件系统的数据存储位置与所述源文件系统位于不同的数据中心。
进一步的,如图5所示,所述装置还包括备份合并单元46,用于在备份存储单元43将所述新版本镜像文件存储至目标文件系统之后,判断目标文件系统中存储的源文件系统的镜像文件的版本数量是否大于阈值;若大于,则按照版本由旧到新的顺序将预设数量的镜像文件合并为一个镜像文件,作为所述源文件系统的基础镜像文件。
进一步的,所述备份控制单元41还用于,通过交互界面接收源文件系统的数据备份请求,创建备份任务;和/或,通过交互界面接收源文件系统的数据恢复请求。
进一步的,所述交互界面用于展示源文件系统对应的备份任务的执行进度和/或对应的镜像文件信息。
进一步的,所述备份执行单元42在进行增量备份时,还用于监控从源文件系统提取备份数据的性能参数;根据所述性能参数调整增量备份的执行进度。
基于上述的分布式系统的数据备份装置,当该装置设置在分布式文件系统的节点中,为该分布式文件系统中的数据或独立文件系统提供数据备份服务时,其具体的数据备份与数据恢复的过程如图6所示,其中,备份控制单元41提供一个交互界面,通过该交互界面接收用户自定义设置的数据备份请求或数据恢复请求。
当备份控制单元41处理数据备份请求时,会根据该数据备份请求创建对应的备份任务,并根据备份周期定时启动该备份任务,在备份任务启动时,会将该备份任务发送至备份执行单元42,由执行单元42从源文件系统中A中获取增量的数据变化,从而生成新版本镜像文件,并由备份存储单元43将镜像文件存储至目标文件系统A中。该处理过程中的具体执行可参考上述图1所示的数据备份方法中的具体步骤。
当备份控制单元41处理数据恢复请求时,会根据该数据恢复请求触发数据恢复单元44执行响应的数据恢复任务,数据恢复单元44将根据数据恢复请求中指定版本的镜像文件,从目标文件系统A中获取针对源文件系统的镜像文件,需要说明的是,所获取的是一个镜像文件集合,是针对该源文件系统在指定版本之前备份的镜像文件集合。并利用得到的镜像文件在指定文件系统A’中进行数据恢复。该处理过程中的具体执行可参考上述图2所示的数据恢复方法中的具体步骤。
此外,在图6所示的可用区A中还具有目标文件系统B以及可用区B中具有目标文件系统B,这里需要说明的是,在可用区A与可用区B中都可以具有多个文件系统,并且,可用区A中的源文件系统与可用区B中的目标文件系统是具有对应关系的。所对应的源文件系统与目标文件系统在进行数据备份与数据恢复的过程均可参考源文件系统A与目标文件系统A之间的处理过程。并且上述的备份执行单元42、备份存储单元43以及数据恢复单元44可以并行或顺序执行多个由备份控制单元41处理的数据备份请求或数据恢复请求,当需要对可用区A中的源文件系统B进行数据备份或恢复时,其具体的执行流程与图6中所示的对源文件系统A的数据备份或恢复的流程相同。
进一步的,本发明实施例还提供了处理器,该处理器用于运行程序,其中,所述程序运行时执行如图1至图3所述的分布式系统的数据备份方法。
另外,本发明实施例还提供了一种电子设备,该电子设备中包括处理器和存储器,存储器用于存储程序,处理器耦合至所述存储器,用于运行所述程序,以执行如图1至图3所述的分布式系统的数据备份方法。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
可以理解的是,上述方法及装置中的相关特征可以相互参考。另外,上述实施例中的“第一”、“第二”等是用于区分各实施例,而并不代表各实施例的优劣。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
此外,存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (16)
1.一种分布式系统的数据备份方法,其特征在于,所述方法包括:
监控已创建备份任务的备份周期,定时启动备份任务;
根据启动的备份任务获取源文件系统在所述备份周期内的数据变化,进行增量备份,得到所述源文件系统的新版本镜像文件;
将所述新版本镜像文件存储至目标文件系统。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收对源文件系统的数据恢复请求,所述数据恢复请求中包含指定版本的镜像文件;
根据所述数据恢复请求获取待执行镜像文件,所述待执行镜像文件包含所述指定版本的镜像文件以及在该指定版本之前备份的镜像文件;
利用所述待执行镜像文件在指定文件系统中进行数据恢复。
3.根据权利要求1所述的方法,其特征在于,在将所述新版本镜像文件存储至目标文件系统之前,所述方法还包括:
根据所述源文件系统的数据存储位置确定目标文件系统,所述目标文件系统的数据存储位置与所述源文件系统位于不同的数据中心。
4.根据权利要求1所述的方法,其特征在于,在将所述新版本镜像文件存储至目标文件系统之后,所述方法还包括:
判断目标文件系统中存储的源文件系统的镜像文件的版本数量是否大于阈值;
若大于,则按照版本由旧到新的顺序将预设数量的镜像文件合并为一个镜像文件,作为所述源文件系统的基础镜像文件。
5.根据权利要求1-4中任一项所述的方法,其特征在于,在监控已创建备份任务的备份周期,定时启动备份任务之前,所述方法还包括:
通过交互界面接收源文件系统的数据备份请求,创建备份任务;和/或
通过交互界面接收源文件系统的数据恢复请求。
6.根据权利要求5所述的方法,其特征在于,所述交互界面用于展示源文件系统对应的备份任务的执行进度和/或对应的镜像文件信息。
7.根据权利要求1-4中任一项所述的方法,其特征在于,所述方法还包括:
在进行增量备份时,监控从源文件系统提取备份数据的性能参数;
根据所述性能参数调整增量备份的执行进度。
8.一种分布式系统的数据备份装置,其特征在于,所述装置包括:
备份控制单元,用于监控已创建备份任务的备份周期,定时启动备份任务;
备份执行单元,用于根据所述备份控制单元启动的备份任务获取源文件系统在所述备份周期内的数据变化,进行增量备份,得到所述源文件系统的新版本镜像文件;
备份存储单元,用于将所述新版本镜像文件存储至目标文件系统。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
所述备份控制单元还用于,接收对源文件系统的数据恢复请求,所述数据恢复请求中包含指定版本的镜像文件;
数据恢复单元,用于根据所述备份控制单元得到的数据恢复请求获取待执行镜像文件,所述待执行镜像文件包含所述指定版本的镜像文件以及在该指定版本之前备份的镜像文件;
所述数据恢复单元还用于,利用所述待执行镜像文件在指定文件系统中进行数据恢复。
10.根据权利要求8所述的装置,其特征在于,所述装置还包括:
确定单元,用于在备份存储单元将所述新版本镜像文件存储至目标文件系统之前,根据所述源文件系统的数据存储位置确定目标文件系统,所述目标文件系统的数据存储位置与所述源文件系统位于不同的数据中心。
11.根据权利要求8所述的装置,其特征在于,所述装置还包括备份合并单元,用于在备份存储单元将所述新版本镜像文件存储至目标文件系统之后,判断目标文件系统中存储的源文件系统的镜像文件的版本数量是否大于阈值;若大于,则按照版本由旧到新的顺序将预设数量的镜像文件合并为一个镜像文件,作为所述源文件系统的基础镜像文件。
12.根据权利要求8-11中任一项所述的装置,其特征在于,所述备份控制单元还用于,通过交互界面接收源文件系统的数据备份请求,创建备份任务;和/或,通过交互界面接收源文件系统的数据恢复请求。
13.根据权利要求12所述的装置,其特征在于,所述交互界面用于展示源文件系统对应的备份任务的执行进度和/或对应的镜像文件信息。
14.根据权利要求8-11中任一项所述的装置,其特征在于,所述备份执行单元在进行增量备份时,还用于监控从源文件系统提取备份数据的性能参数;根据所述性能参数调整增量备份的执行进度。
15.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行如权利要求1-7中任意一项所述的分布式系统的数据备份方法。
16.一种电子设备,其特征在于,包括:
存储器,用于存储程序;
处理器,耦合至所述存储器,用于运行所述程序,以执行如权利要求1-7中任意一项所述的分布式系统的数据备份方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911028359.9A CN112732479A (zh) | 2019-10-28 | 2019-10-28 | 一种分布式系统的数据备份方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911028359.9A CN112732479A (zh) | 2019-10-28 | 2019-10-28 | 一种分布式系统的数据备份方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112732479A true CN112732479A (zh) | 2021-04-30 |
Family
ID=75589406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911028359.9A Pending CN112732479A (zh) | 2019-10-28 | 2019-10-28 | 一种分布式系统的数据备份方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112732479A (zh) |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110196840A1 (en) * | 2010-02-08 | 2011-08-11 | Yoram Barzilai | System and method for incremental backup storage |
CN102253871A (zh) * | 2011-07-13 | 2011-11-23 | 重庆大学 | 一种数据备份、还原方法、装置及系统 |
US20130185260A1 (en) * | 2012-01-17 | 2013-07-18 | Nathan Daniel Weinstein | Data backup and restoral apparatus, system, and methods |
US20130198137A1 (en) * | 2011-01-17 | 2013-08-01 | Garold C. Miller | Data backup and restoral apparatus, system, and methods |
US20130246362A1 (en) * | 2012-03-14 | 2013-09-19 | Symantec Corporation | Method and system for implementing fast incremental backups |
CN103713963A (zh) * | 2012-09-29 | 2014-04-09 | 南京壹进制信息技术有限公司 | 一种高效的文件备份与恢复方法 |
CN104572357A (zh) * | 2014-12-30 | 2015-04-29 | 清华大学 | 一种用于hdfs系统的备份和恢复方法 |
CN104866395A (zh) * | 2014-02-24 | 2015-08-26 | 中国移动通信集团福建有限公司 | 数据备份方法及系统、主备切换方法及系统 |
CN104866391A (zh) * | 2015-05-13 | 2015-08-26 | 三星电子(中国)研发中心 | 一种基于增量信息系统的终端信息备份方法和装置 |
CN105760259A (zh) * | 2016-03-01 | 2016-07-13 | 北京金山安全软件有限公司 | 一种数据备份方法、装置及电子设备 |
KR101658741B1 (ko) * | 2015-11-23 | 2016-09-21 | (주)클로닉스 | 컴퓨터 시스템의 증분 백업과 차등 백업을 이용한 혼합 백업과 복원 장치 및 제어 방법 |
CN106339278A (zh) * | 2016-08-24 | 2017-01-18 | 浪潮电子信息产业股份有限公司 | 一种网络文件系统的数据备份及恢复方法 |
CN107025147A (zh) * | 2016-02-02 | 2017-08-08 | 中兴通讯股份有限公司 | 数据的处理方法、服务器及系统 |
CN107688507A (zh) * | 2016-08-03 | 2018-02-13 | 南京中兴新软件有限责任公司 | 数据备份方法及装置 |
CN109032839A (zh) * | 2018-06-27 | 2018-12-18 | 郑州云海信息技术有限公司 | 一种云主机备份方法及装置 |
-
2019
- 2019-10-28 CN CN201911028359.9A patent/CN112732479A/zh active Pending
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110196840A1 (en) * | 2010-02-08 | 2011-08-11 | Yoram Barzilai | System and method for incremental backup storage |
US20130198137A1 (en) * | 2011-01-17 | 2013-08-01 | Garold C. Miller | Data backup and restoral apparatus, system, and methods |
CN102253871A (zh) * | 2011-07-13 | 2011-11-23 | 重庆大学 | 一种数据备份、还原方法、装置及系统 |
US20130185260A1 (en) * | 2012-01-17 | 2013-07-18 | Nathan Daniel Weinstein | Data backup and restoral apparatus, system, and methods |
US20130246362A1 (en) * | 2012-03-14 | 2013-09-19 | Symantec Corporation | Method and system for implementing fast incremental backups |
CN103713963A (zh) * | 2012-09-29 | 2014-04-09 | 南京壹进制信息技术有限公司 | 一种高效的文件备份与恢复方法 |
CN104866395A (zh) * | 2014-02-24 | 2015-08-26 | 中国移动通信集团福建有限公司 | 数据备份方法及系统、主备切换方法及系统 |
CN104572357A (zh) * | 2014-12-30 | 2015-04-29 | 清华大学 | 一种用于hdfs系统的备份和恢复方法 |
CN104866391A (zh) * | 2015-05-13 | 2015-08-26 | 三星电子(中国)研发中心 | 一种基于增量信息系统的终端信息备份方法和装置 |
KR101658741B1 (ko) * | 2015-11-23 | 2016-09-21 | (주)클로닉스 | 컴퓨터 시스템의 증분 백업과 차등 백업을 이용한 혼합 백업과 복원 장치 및 제어 방법 |
CN107025147A (zh) * | 2016-02-02 | 2017-08-08 | 中兴通讯股份有限公司 | 数据的处理方法、服务器及系统 |
CN105760259A (zh) * | 2016-03-01 | 2016-07-13 | 北京金山安全软件有限公司 | 一种数据备份方法、装置及电子设备 |
CN107688507A (zh) * | 2016-08-03 | 2018-02-13 | 南京中兴新软件有限责任公司 | 数据备份方法及装置 |
CN106339278A (zh) * | 2016-08-24 | 2017-01-18 | 浪潮电子信息产业股份有限公司 | 一种网络文件系统的数据备份及恢复方法 |
CN109032839A (zh) * | 2018-06-27 | 2018-12-18 | 郑州云海信息技术有限公司 | 一种云主机备份方法及装置 |
Non-Patent Citations (3)
Title |
---|
刘振军;徐伟;贺翔;许鲁;: "一种共享式存储系统的备份与恢复", 计算机工程, no. 10, 20 May 2007 (2007-05-20) * |
王南图;: "基于SVG的时态GIS数据增量备份策略研究", 测绘与空间地理信息, no. 01, 25 January 2014 (2014-01-25) * |
黄晶慧;张冬;: "大型网络备份系统数据备份与恢复策略", 福建广播电视大学学报, no. 04, 25 August 2010 (2010-08-25) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4363676B2 (ja) | コンピュータシステム | |
WO2017049828A1 (zh) | 基于Linux的数据处理方法、装置和系统 | |
CN109634774B (zh) | 数据备份、恢复方法及装置 | |
US8121981B2 (en) | Database snapshot management | |
US20170116084A1 (en) | Method and System for Monitoring Virtual Machine Cluster | |
US11144401B2 (en) | Component aware incremental backup, restore, and reconciliation solution | |
US7774316B2 (en) | Filesystem snapshot enhancement to improve system performance | |
CN108763572B (zh) | 一种实现Apache Solr读写分离的方法和装置 | |
CN110427258B (zh) | 基于云平台的资源调度控制方法及装置 | |
CN110753084B (zh) | 上链数据读取方法、缓存服务器及计算机可读存储介质 | |
CN106919620B (zh) | 单页面处理方法及装置 | |
CN111506253A (zh) | 一种分布式存储系统及其存储方法 | |
CN114528085A (zh) | 资源调度方法、装置、计算机设备、存储介质和程序产品 | |
US9639701B1 (en) | Scheduling data protection operations based on data activity | |
CN110895486A (zh) | 分布式任务调度系统 | |
US20230376357A1 (en) | Scaling virtualization resource units of applications | |
CN111600771B (zh) | 网络资源探测系统、方法 | |
CN110941516B (zh) | 操作系统还原方法、装置、设备及存储介质 | |
EP3264254A1 (en) | System and method for a simulation of a block storage system on an object storage system | |
US8972352B1 (en) | Probe based backup | |
CN112732479A (zh) | 一种分布式系统的数据备份方法及装置 | |
CN115080309A (zh) | 数据备份系统、方法、存储介质以及电子设备 | |
CN116089040A (zh) | 业务流程的调度方法及其装置、电子设备及存储介质 | |
CN112115166B (zh) | 数据缓存方法、装置、计算机设备和存储介质 | |
US20230088318A1 (en) | Remotely healing crashed processes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |