CN109558215B - 虚拟机的备份方法、恢复方法、装置及备份服务器集群 - Google Patents
虚拟机的备份方法、恢复方法、装置及备份服务器集群 Download PDFInfo
- Publication number
- CN109558215B CN109558215B CN201811507160.XA CN201811507160A CN109558215B CN 109558215 B CN109558215 B CN 109558215B CN 201811507160 A CN201811507160 A CN 201811507160A CN 109558215 B CN109558215 B CN 109558215B
- Authority
- CN
- China
- Prior art keywords
- backup
- virtual machine
- data
- task
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000011084 recovery Methods 0.000 title claims abstract description 71
- 238000010367 cloning Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 13
- 238000007726 management method Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000010076 replication Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 241000700605 Viruses Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45562—Creating, deleting, cloning virtual machine instances
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45595—Network integration; Enabling network access in virtual machine instances
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了一种虚拟机的备份方法、恢复方法、备份装置、恢复装置、服务器及备份服务器集群,其中,备份方法包括:备份服务器集群中的第一备份服务器的任务引擎获取备份任务信息及虚拟机备份数据;任务引擎向第一备份服务器的数据备份模块发送调用请求;第一备份服务器的数据备份模块将虚拟机备份数据写入到分布式重删存储文件系统的挂载点,形成虚拟机备份数据的文件集合;分布式重删存储文件系统将文件集合写入本地文件系统以及复制到其他备份服务器。可以减少数据传输和存储量,提高数据传输效率,同时也让所有的备份服务器都能本地化访问虚拟机的备份数据,从而可以继续在所有节点执行对应虚拟机的备份、恢复或克隆复制等任务。
Description
技术领域
本申请涉及计算机互联网技术领域,更具体地,涉及一种虚拟机的备份方法、恢复方法、备份装置、恢复装置以及备份服务器集群。
背景技术
当虚拟机出现病毒、软件缺陷、入侵破坏、硬件故障、电力中断、自然灾难等情况时都会引起虚拟机业务中断、数据丢失、数据破坏等,需要对虚拟机进行备份。现有的虚拟机备份方案,在备份过程中,通常采用第一次全量备份,后续增量备份、隔一段时间再继续采用全量备份,按照这样的周期循环下去。在恢复和克隆某个备份版本的时候,通常要动态合并生产待恢复的版本,这中间涉及到数据的复制、增量回写,中间增量版本有多少,就会合并多少,并通过网络文件系统(Network File System,简称NFS)或iSCSI协议挂载到目标宿主机,这样就完成了恢复或者克隆。当然,也可以通过数据回写的方式,完成恢复。
然而,由于采用集中式存储,通过全量和增量交替执行的方式来保证数据安全,备份次数越来越多时,会很浪费存储空间。全量备份和增量备份交替进行,备份性能不高,特别对于超过TB级虚拟机,一次全量备份的时间会很长,对于频繁交替,会非常占用网络和系统资源。另外,数据进行恢复或克隆的时候,需要动态合并数据,生产完整可恢复的镜像,速度慢,也会增加存储IO开销,同时增加存储空间消耗。
发明内容
本申请提出了一种虚拟机的备份与恢复方法、装置、服务器及存储介质以解决上述问题。
第一方面,本申请实施例提供了一种虚拟机的备份方法,应用于备份服务器集群,所述备份服务器集群包括有调度服务(TS)以及多个备份服务器,每个所述备份服务器均包括:任务引擎(TE)、数据备份模块(BA)、挂载点(mpt)、存储卷服务(SV)、数据块读写服务接口(BS)、分布式重删存储文件系统以及本地文件系统。该方法包括:所述备份服务器集群中的第一备份服务器的任务引擎获取虚拟机备份数据以及备份任务信息;所述任务引擎向所述第一备份服务器的数据备份模块发送调用请求;所述第一备份服务器的数据备份模块将所述虚拟机备份数据写入到所述分布式重删存储文件系统的挂载点,形成虚拟机备份数据的文件集合;所述分布式重删存储文件系统将所述文件集合写入所述本地文件系统以及复制到其他备份服务器。
第二方面,本申请实施例提供了一种虚拟机的恢复方法,应用于备份服务器集群,所述备份服务器集群包括有调度服务(TS)以及多个备份服务器,每个所述备份服务器均包括:任务引擎(TE)、数据备份模块(BA)、挂载点(mpt)、存储卷服务(SV)、数据块读写服务接口(BS)、分布式重删存储文件系统以及本地文件系统。该方法包括:所述调度服务分发恢复任务给所述备份服务器集群中的第一备份服务器的任务引擎;所述第一备份服务器的任务引擎向对应的数据备份模块发送调用请求;接收到所述调用请求的数据备份模块执行所述恢复任务。
第三方面,本申请实施例提供了一种虚拟机的备份装置,运行于备份服务器,包括:任务引擎,用于获取备份任务信息及虚拟机备份数据,向数据备份模块发送调用请求;数据备份模块,用于将所述虚拟机备份数据写入到所述分布式重删存储文件系统的挂载点,形成虚拟机备份数据的文件集合;文件写入模块,用于所述分布式重删存储文件系统用于将所述文件集合写入所述本地文件系统以及复制到其他备份服务器。
第四方面,本申请实施例提供了一种虚拟机的恢复装置,运行于备份服务器,其特征在于,包括:调度服务,用于分发恢复任务给所述备份服务器集群中的备份服务器的任务引擎;任务引擎,用于向对应的数据备份模块发送调用请求;数据备份模块,用于执行所述恢复任务。
第五方面,本申请实施例提供了一种备份服务器集群,所述备份服务器集群包括有调度服务(TS)以及多个备份服务器,每个所述备份服务器均包括:任务引擎(TE)、数据备份模块(BA)、挂载点(mpt)、存储卷服务(SV)、数据块读写服务接口(BS)、分布式重删存储文件系统以及本地文件系统,其中,所述任务引擎用于获取备份任务信息及虚拟机备份数据,向所述数据备份模块发送调用请求;所述数据备份模块用于将所述虚拟机备份数据写入到所述分布式重删存储文件系统的挂载点,形成虚拟机备份数据的文件集合;所述分布式重删存储文件系统用于将所述文件集合复制到其他备份服务。
相对于现有技术,本申请提供的虚拟机的备份与恢复方法、装置以及备份服务器集群,每台备份服务器上部署有专用分布式重删存储文件系统,在每个备份服务器上都会形成一个挂载点,所有写入挂载点的数据都会自动通过底层的分布式重删存储文件系统复制到其他备份服务器。每台备份服务器都内置了任务引擎,通过分布式任务管理和调度执行引擎,可以从任何一台备份服务器上发起备份、恢复等任务,可以减少数据传输和存储量,提高数据传输效率,同时也让所有的备份服务器都能本地化访问虚拟机的备份数据,从而可以继续在所有节点执行对应虚拟机的备份、恢复或克隆复制等任务。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了常用的虚拟机备份的架构图。
图2示出了基于图1架构的虚拟机的备份方式的示意图。
图3示出了基于图1架构的虚拟机的恢复方式的示意图。
图4示出了本申请实施例提供的虚拟机备份与恢复方法的应用环境示意图。
图5示出了本申请实施例提供的虚拟机的备份方法的流程图。
图6示出了本申请实施例提供的第二次以后的备份流程图。
图7示出了本申请实施例提供的故障切换备份流程图。
图8示出了本申请实施例提供的并行备份流程图。
图9示出了本申请实施例提供的虚拟机的备份方法的一具体示例图。
图10示出了本申请实施例提供的即时克隆(复制)流程图。
图11示出了本申请实施例提供的虚拟机的备份方法的另一具体示例图。
图12示出了本申请实施例提供的虚拟机的恢复方法的流程图。
图13示出了图12中部分步骤的具体流程图。
图14示出了本申请实施例提供的虚拟机的恢复方法的一具体示例图。
图15示出了本申请实施例提供的虚拟机的备份装置的结构框图。
图16示出了本申请实施例提供的虚拟机的恢复装置的结构框图。
图17示出了本申请实施例提供的一种服务器的结构框图。
图18示出了本申请实施例的用于保存或者携带实现根据本申请实施例的虚拟机的备份方法的程序代码的存储单元。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面首先对具体实施例中可能会涉及到的专业术语进行解释说明,以便更好的理解本申请:
虚拟机(Virtual Machine,VM):指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。虚拟机软件例如有VMware(VMWare ACE)、Virtual Box和Virtual PC,Xen,KVM,微软Hyper-V等都可以在Windows系统上虚拟出多个计算机。
永久增量备份:备份系统分为增量备份、全量备份和差异备份三种方式,增量备份产生数据量最小,全量备份最多,差异备份产生从第N次全量备份以来的变化数据,数据量会逐步增加,永久增量备份指的是一直基于第一次全量增量备份。
快照:关于指定数据集合的一个完全可用拷贝,该拷贝包括相应数据在某个时间点(拷贝开始的时间点)的映像。快照可以是其所表示的数据的一个副本,也可以是数据的一个复制品。
分布式文件系统:文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连,分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供用户访问的服务器。另外,对等特性允许一些系统扮演客户机和服务器的双重角色。例如,用户可以“发表”一个允许其他客户机访问的目录,一旦被访问,这个目录对客户机来说就像使用本地驱动器一样。
超融合架构:用3台以上的服务器组成集群,每台服务器上部署有分布式文件系统、任务调度系统、计算处理系统、以及整体集群管理监控系统。每台服务器安装有相同的任务软件,可以对等执行不同或相同任务。当任何一台服务器宕机,其他服务器可以接管继续提供服务。数据在服务器之间完全共享。当有需要时,系统可以增加服务器节点,提高计算和存储能力。
请参阅图1提供的一种常用的虚拟机的备份与恢复的方案,在该方案中,多个生产服务器VM与交换机连接,交换机与备份服务器连接。存储服务器通常采用专门的企业级集中式存储设备或者普通的服务器结合Raid存储整列构成存储服务器。管理服务器向备份服务器发起备份请求,备份服务器连接虚拟机管理平台的API,完成虚拟机列表,虚拟机磁盘和相关的配置数据抓取,并保存到存储服务器中。
请参阅图2,考虑到备份数据的可靠性,通常采用第一次全量备份,后续采用增量备份,隔一定周期之后再继续采用全量备份,按照这样的周期循环下去。
如图3所示,在恢复或克隆某个备份版本的时候,通常要动态合并生成待恢复的版本,具体的,将全量以及增量备份数据合成完整的可启动版本。这中间涉及到数据的复制以及增量回写,中间增量版本有多少,就会合并多少,并通过NFS或iSCSI协议挂载到目标宿主机,完成虚拟机的备份和克隆。此外,可以通过数据回写的方式,完成虚拟机的恢复。
对于以上所述的虚拟机的备份与恢复的方案,发明人发现:(1)由于采用集中式存储,通过全量和增量交替执行的方式来保证数据安全,备份次数越来越多时,会很浪费存储空间;(2)数据进行恢复,或克隆时候,需要动态合并数据,生产完整可恢复的镜像,速度慢,也会增加存储IO开销,同时也会增加存储空间消耗;(3)由于采用全量和增量交替,备份性能不高,特别对于超过TB级虚拟机,一次全量备份的时间会很长。对于频繁交替,会非常占用网络和系统资源;(4)由于采用单点存储方案,备份服务器再多,系统整体上有瓶颈,不能很好支持大规模,比如上千虚拟机的备份和恢复等;(5)如果增加存储服务器和增加的备份服务器形成新的组合,意味着几套系统之间整体上就会浪费很多空间去存储重复数据;(6)恢复和克隆数据,也只能在固定的备份节点上完成,不能跨越服务器去完成虚拟机恢复和可控。当需要并行恢复时,也无法保证这些虚拟机得到快速的恢复。
因此,发明人提出了本申请实施例中的虚拟机的备份方法、恢复方法、备份装置、恢复装置以及备份服务器集群。
下面将先对本申请实施例所涉及的虚拟机的备份方法、恢复方法中的应用环境(即备份服务器集群)进行介绍。
需要说明的是,作为一种方式,本申请实施例中采用的是由多台备份服务器组成集群,每台备份服务器上部署有分布式文件系统、任务调度系统、计算处理系统、以及整体集群管理监控系统。其中,每台备份服务器安装有相同的任务软件,可以对等执行不同或相同任务。当任何一台备份服务器宕机,其他备份服务器可以接管继续提供服务。数据在备份服务器之间完全共享。当有需要时,系统可以增加服务器节点,以提高计算和存储能力。其中,集群中的备份服务器的数量可以根据实际需要配置,例如,可以在集群中配置3台或4台备份服务器。
如图4所示,多个备份服务器(图中仅示出了备份服务器N1、N2和N3)组成备份服务器集群。每台备份服务器可以包括任务引擎(TE)、数据备份模块(BA)、挂载点(mpt)、存储卷服务(SV)、数据块读写服务接口(BS)、分布式重删存储文件系统以及本地文件系统。备份服务器集群还可以包括主调度服务,每台备份服务器中也可以包括调度服务(TS)。
存储卷服务(SV)可以挂载存储入口到备份服务器上,形成挂载点(mpt),作为一种方式,在每个备份服务器上都会形成一个挂载点(mpt)。所有写入挂载点(mpt)的数据都会自动通过底层的分布式重删存储文件系统复制到其他备份服务器的节点。
作为一种方式,数据块读写服务接口(BS)可以通过网络或本地函数接口接收从各台备份服务器(或自身所在备份服务器)发送过来的读写请求,写入数据到磁盘,或者从磁盘读写数据。
可选的,每台备份服务器都内置了同样的备份软件,提供包括从虚拟化平台中备份数据、恢复数据到虚拟化平台、克隆备份数据到虚拟化平台中、从备份服务器存储(包括从挂载点mpt)中读写取备份的数据和/或跨备份服务器节点复制数据等功能。
可选的,每台备份服务器都内置了同样的任务引擎(TE)、调度服务(TS),通过分布式任务引擎(TE)和调度服务(TS),可以从任意一台备份服务器上发起备份、恢复、克隆、监控和/或复制等任务。
下面将结合附图具体描述本申请的各实施例。
请参阅图5,为本申请实施例提供的一种虚拟机的备份方法的流程图,本实施例提供一种虚拟机的备份方法,应用于备份服务器集群,所述方法包括:
步骤S110,所述备份服务器集群中的第一备份服务器的任务引擎获取虚拟机备份数据以及备份任务信息。
作为一种方式,虚拟机第一次备份时,由备份服务器集群中的第一备份服务器N1的任务引擎获取待备份虚拟机的备份数据。可选的,待备份虚拟机的备份数据可以包括虚拟机的UUID/moref唯一标识、虚拟机的虚拟化平台信息(例如虚拟机的IP、帐号、密码以及平台种类标志等)。需要说明的是,本申请实施例中的第一备份服务器可以是备份服务器集群中的任意一台备份服务器。
第一备份服务器的任务引擎可以通过获取到的待备份的虚拟机的数据获取对应备份任务信息。需要说明的是,备份任务信息可以由第一备份服务器来执行,也可以是由备份服务器集群中的第一备份服务器以外的备份服务器来执行。
步骤S120,所述任务引擎向所述第一备份服务器的数据备份模块发送调用请求。
任务引擎可以向第一备份服务器的数据备份模块发送调用请求。在其他实施方式中,也可以向备份服务器集群中的其他备份服务器发送调用请求,例如可以通过各备份服务器的负载情况来发送。
当任务引擎向第一备份服务器的数据备份模块发送调用请求时,执行以下步骤。
步骤S130,所述第一备份服务器的数据备份模块将所述虚拟机备份数据写入到所述分布式重删存储文件系统的挂载点,形成虚拟机备份数据的文件集合。
可选的,第一备份服务器接收到上述调用请求后,第一备份服务器的数据备份模块将待备份虚拟机的备份数据写入到对应的分布式重删存储文件系统的挂载点,进而得到虚拟机备份数据的文件集合。
所述虚拟机备份数据的文件集合可以包括带有路径的备份文件、文件属性集合、备份数据块索引和备份数据块。
其中,带有路径的备份文件是指包含有文件系统的文件路径和名称的备份文件。文件属性集合保存了文件的属性,例如:文件的大小、权限、创建以及修改日期等。备份数据块索引保存了文件数据块索引图,例如:数据块哈希值、大小以及偏移等相关数据与信息。备份数据块保存有数据块(包括数据块哈希以及数据内容等)。
步骤S140,所述分布式重删存储文件系统将所述文件集合写入所述本地文件系统以及复制到其他备份服务器。
具体的,分布式重删存储文件系统可以通过存储卷服务将带有路径的备份文件写入所述本地文件系统。分布式重删存储文件系统可以通过所述数据备份模块将所述文件属性集合、备份数据块索引或备份数据块写入所述本地文件系统。
写入带有路径的备份文件的方式可以采用包括以下两种方式:
根据数据块哈希值判断在其他所述备份服务器中是否存在对应的符合副本要求的数据块,如果不存在,通过所述存储卷服务将所述带有路径的备份文件写入所述本地文件系统,如果存在,则不写入;或者
通过所述存储卷服务网络读写接口将所述带有路径的备份文件写入到其他备份服务器的数据块读写服务接口,由所述数据块读写服务接口将所述带有路径的备份文件写入对应的本地文件系统。
写入文件属性集合、备份数据块索引或备份数据块的方式可以包括以下两种:
通过所述数据备份模块的本地接口,将所述文件属性集合、备份数据块索引或备份数据块写入所述本地文件系统;或者
通过所述数据备份模块的网络读写接口,将所述文件属性集合、备份数据块索引或备份数据块写入其他备份服务器的本地文件系统。
分布式重删存储文件系统将所述文件集合写入所述本地文件系统后,可以将写入的文件集合复制到其他备份服务器。
请参见图6,进一步的,在第一次备份任务执行完毕后,第二次以后的备份可以包括以下步骤:
步骤S150:所述数据备份模块复制前一次成功备份后的所述文件集合中的带有路径的备份文件、文件属性集合和备份数据块索引至指定存储位置,得到新的备份文件;
步骤S160:将所述文件集合中的备份数据块的增量部分读取到所述第一备份服务器的内存后,所述增量部分包括所述备份数据块的偏移和大小;
步骤S170:基于所述备份数据块的偏移和大小,将包括所述增量部分的所述文件集合中的备份数据块写入所述第一备份服务器的分布式重删存储文件系统的挂载点下所述指定存储位置对应的偏移。
请参见图7,进一步的,若第一备份服务器发生故障时,故障切换备份可以包括以下步骤:
步骤S210:若所述第一备份服务器发生故障,所述调度服务获取待备份的虚拟机的数据;
步骤S220:所述调度服务生成备份任务并派发至其他至少一个备份服务器;
步骤S230:接收到所述备份任务的备份服务器的任务引擎向对应的数据备份模块发送调用请求;
步骤S240:所述其他至少一个备份服务器的数据备份模块将所述虚拟机备份数据写入到所述分布式重删存储文件系统的挂载点,形成虚拟机备份数据的文件集合;
步骤S250:所述分布式重删存储文件系统将所述文件集合写入所述本地文件系统以及复制到其他备份服务器。
请参见图8,进一步的,基于图4所示的架构,并行备份可以包括以下步骤:
步骤S310:调度服务获取所述备份服务器集群的每个备份服务器的负载情况;
步骤S320:根据所述负载情况调度派发不同数量的备份任务到对应的备份服务器;
步骤S330:每个备份服务器的存储卷服务查询是否保存有对应的备份数据块,如果有,更新备份数据块索引,如果没有,写入对应的备份数据块和相应的元数据至分布式重删存储文件系统。
下面以图9为例,对本申请实施例提供的虚拟机的备份方法进行示例性的说明。图9所示为备份服务器N1、N2以及N3之间的虚拟机的备份流程。
假设待备份的虚拟机为VMa,当虚拟机的数据需要备份时,任务引擎TE获取待备份的虚拟机VMa的备份数据,根据获取到的备份数据获取备份任务。
任务引擎TE向数据备份模块BA发起调用请求,接收到该调用请求的数据备份模块BA将虚拟机VMa的数据备份写入到备份服务器N1的分布式重删存储文件系统的挂载点mpt后,形成文件集合。文件集合包括:带有路径的VMabf备份文件,VMabf Meta文件属性集合(通常在KB级别),VMabf BI备份数据块索引集合(在几十MB到GB级),VMabf Data备份数据块集合。其中,VMabf是在文件系统的文件路径和名称(通常在1KB以下字节);VMabf Meta保存了文件属性(例如VMa的文件的大小、权限、创建和/或修改日期等,通常在几K至十KB级);VMabf BI保存了文件数据块索引图(例如VMa的数据块哈希值、大小以及其偏移)等相关数据与信息,值得注意的是,可以拆分成1MB为单位的文件进行保存;VMabf Data保存数据块(包含VMa的数据块哈希以及VMa的数据块内容)。
上述文件集合可以分别通过以下形式将数据写入到底层本地文件系统中。
可选的,作为一种方式,VMabf Data可以通过存储卷服务SV将备份数据写入备份服务器N1。在写入数据至备份服务器N1之前,存储卷服务SV先根据数据块的哈希值判断是否在备份服务器集群的其他服务器节点BS中存在对应的符合副本要求的数据块,如果存在,则不写入;否则写入一份至备份服务器N1的本地文件系统中。作为另一种方式,VMabfData还可以通过存储卷服务SV的网络读写接口写入到备份服务器N2或N3的数据块读写服务接口中,数据块读写服务接口再通过内部的本地数据读写接口写入到备份服务器本地文件系统中。
可选的,作为一种方式,VMabf可以通过数据备份模块BA的本地接口将备份文件写入到备份服务器N1的本地文件系统中,并根据预先定义的存储规则保存,预先定义的存储规则包括按照备份次数对应的数字命名的子目录。例如:/backup/1/VMabf、/backup/2/VMabf以及/backup/3/VMabf等。作为另一种方式,VMabf还可以通过数据备份模块BA的网络读写接口将别分文件写入至备份服务器N2或N3的本地文件系统中,并根据预先定义的存储规则保存,此种情况下,预先定义的规则包括按照备份次数对应的数字命名的子目录,例如:/backup/1/VMabf、/backup/2/VMabf以及/backup/3/VMabf等。
可选的,作为一种方式,VMabf Meta可以通过数据备份模块BA的本地接口写入至备份服务器N1的本地文件系统中,作为另一种方式,VMabf Meta还可以通过数据备份模块BA的网络读写接口写入至备份服务器N2或N3的本地文件系统中。
可选的,作为一种方式,VMabf BI可以通过备份数据模块BA的本地接口写入至备份服务器N1的本地文件系统中;作为另一种方式,VMabf BI可以通过数据备份模块BA的网络读写接口写入至备份服务器N2;作为再一种方式,VMabf BI还可以通过备份服务器N3根据读取需要,动态异步从备份服务器N1读取,进而将读取到的数据存储至备份服务器N3的本地文件系统中。
作为一种实施方式,数据备份模块BA第二次以后的备份开始前,可以通过以下过程完成增量备份。假设当前备份次数为N,可以通过复制前一次成功备份后产生的VMabf、VMabf Meta以及VMabf BI至新的存储位置/backup/N/VMabf、/backup/N/VMabf Meta和/backup/N/VMabf BI,VMabf、VMabf Meta和VMabf BI都非常小,可以数秒完成复制,生成一个新的备份文件。继而把虚拟机VMa的增量部分的数据块(通常设定1MB大小,在虚拟机磁盘的偏移)读取到服务器N1的内存后,根据数据块的偏移和大小,写入到备份服务器N1的分布式重删存储文件系统的挂载点mpt下面的/Backup/N/VMabf对应的偏移,这样本地文件系统底层SV、BS完成VMabf对应的VMabf Meta、VMabf BI和VMabf Data数据的更新。这样就完成了一次增量备份,同时增量备份更新产生的VMabf是完整的虚拟机镜像系统,便于用于后续的虚拟机的即时恢复。
若数据备份模块所在的备份服务器N1出故障,那么虚拟机VMa的第m次备份,则将由集群系统的调度服务(TS)自动在另外的备份服务器N2或N3发起备份请求(即TE调用BA)。由于备份流程已经考虑了备份版本对应的信息和数据,值得注意的是,VMabf,VMabf Meta,VMabf BI和VMabf Data在各个服务器节点同步存储、按需存储,或全局集群范围共享(VMabf Data),综上所述,任何一个节点,都可以执行任何一个VMa的下一次正确的备份。
总的调度服务(TS),可以全局调度任务到不同的备份服务器N1、N2或N3,对应的备份服务器所在的任务引擎TE,可以根据各自获取到的备份任务,按照如图9所示的备份流程完成备份。其中TS会根据每台备份服务器的负载情况(例如备份服务器的CPU,磁盘IO以及内存等),调度不同数量的任务到当前备份服务器,按照每次最多不超过5个并行执行任务,直到每台服务器负载不超过80%。每台服务器的SV都会全局查询是否保存了对应的备份数据块,如果有保存,则只更新VMabf BI备份数据块索引,不写入数据;否则根据如图9所示的备份流程,写入对应的数据块和相应的元数据信息到分布式重删存储文件系统中。
如图10所示,进一步的,基于图4所示的架构,即时克隆(复制)可以包括以下步骤:
步骤S410:所述调度服务获取所述备份服务器集群的资源情况;
步骤S420:将克隆任务派发给利用率最低的备份服务器;
步骤S430:接收到所述备份任务的备份服务器的任务引擎向对应的数据备份模块发送调用请求执行克隆任务。
作为一种实施方式,虚拟机的克隆过程可以包括:调用虚拟机平台相关存储管理相关API,API里面绑定有第一备份服务器中待恢复的备份数据版本的位置信息,创建恢复网络存储通道;根据虚拟机OVF模板文件,调用虚拟机平台相关API,创建新的虚拟机。
如图11所示,为备份服务器N1、N2以及N3之间的虚拟机的克隆流程。
可选的,调度服务TS可以根据备份服务器集群的系统资源情况,选取最空闲(例如CPU、磁盘IO、内存的利用率最低)的一台备份服务器,把克隆任务信息(例如虚拟机moref/uuid,备份的版本标识,虚拟机平台信息(例如虚拟机平台的IP、帐号以及密码等),宿主机信息(IP))发送给服务器N1的任务引擎TE,由任务引擎TE调用数据备份模块BA执行克隆任务。
作为一种方式,在执行克隆任务之前,数据备份模块需要准备配置系统镜像文件,具体过程详细描述如下:假设当前克隆的是第N次备份的数据,则可以复制/mpt/Backup/VMabf、VMabf Meta以及VMabf BI到新的存储位置/mpt/Clone/AKDJKLMLOPK/VMabf(其中AKDJKLMLOPK是根据原来的存储路径参数(/mnt/Backup/N和当前时间戳(毫秒))动态计算的BASE64编码),Meta和BI对应的存储位置。由于VMabf、VMabf Meta以及VMabf BI都非常小,可以数秒内完成复制,生成一个新的备份文件。新的文件和已有的没有直接关联。
当准备好配置系统镜像文件后,数据备份模块可以通过调用虚拟机平台相关存储管理相关API,其中,API里面绑定有备份服务器N1中待恢复的备份数据版本的位置/mnt/Clone/AKDJKLMLOPK,进而创建恢复网络存储通道(如NFS)。
可选的,数据备份模块根据虚拟机的OVF模板文件,调用虚拟机平台的相关API,创建新的虚拟机。作为一种方式,虚拟机的名称采用原有虚拟机名字加上当前到毫秒级别的时间戳格式(例如以YYYY-MM-DD或HH-MM-SS-XXX的格式,其中,Y表征年份,M表征月份,D表征日期,H表征小时,S表征秒数,X表征毫秒数),保持和原有虚拟机名称的区别。可选的,可以通过磁盘创建的API,绑定/mpt/Clone/AKDJKLMLOPK/VMabf到待克隆的虚拟机。
值得注意的是,如果选项中有开机,可以采用恢复流程进行恢复,联系不断从底层存储读写数据,具体的恢复流程可以参见描述恢复流程的实施方式。
可选的,对于任意多次的克隆流程,可以通过准确到毫秒的时间戳格式,猜中方式可以有效的规避存储路径的冲突问题。通过任意多次克隆任何一个备份版本的数据,可以形成新的虚拟机镜像文件。例如:对于大规模虚拟化和云数据中心的备份和恢复,由于采用了备份服务器集群的并行架构,通过全增量模型,数据采用了全局去重保存思路,使得在并行备份时,可以有效的减少数据传输和存储量,同时,提高了数据保护的规模化能力。此外,底层每台服务器都可以支持恢复任意的虚拟机的任意备份版本,可以有效的提高虚拟机的并行恢复效率。
可选的,现有的一些业务上线时常遇到版本bug,导致系统文件被删除或者数据丢失。任意多次克隆的技术方案支持快速任意多次的数据克隆,由于各版本之间互不信赖,因此可以快速复制线上的生产环境,具体的,可以用于研发测试。可选的,软件在全真的环境中测试后,可以降低上述出现bug的可能性。
综上所述,在克隆的分析环境中分析数据,对生产环境没有影响,可以提高效率,降低对业务环境的资源占用、业务中断或是数据丢失破坏等风险。
请参阅图12,为本申请实施例提供的一种虚拟机的恢复方法的流程图,本实施例提供一种虚拟机的恢复方法,应用于备份服务器集群,所述方法包括:
步骤S510,所述调度服务分发恢复任务给所述备份服务器集群中的第一备份服务器的任务引擎。
可以理解的是,通常任务引擎TS默认根据在哪里备份,就在哪里恢复原则,分发恢复任务(包括待恢复的虚拟机UUID/Moref标识,是否开关机,是否断开网络,虚拟机平台的(IP、账号、密码、宿主机编号,待恢复的备份数据版本标记))给第一备份服务器的任务引擎TE。
步骤S520,所述第一备份服务器的任务引擎向对应的数据备份模块发送调用请求。
任务引擎可以根据恢复任务向对应的备份数据模块发送恢复任务的调用请求。
步骤S530,接收到所述调用请求的数据备份模块执行所述恢复任务。
请参阅图13,作为一种方式,步骤S530可以包括:
步骤S531,调用虚拟机平台相关存储管理相关API并创建网络存储通道,所述API绑定有第一备份服务器的待恢复的备份数据的位置。
步骤S532,获取待恢复的虚拟机,调用虚拟机平台磁盘移除相关API,并移除相关的信息。
步骤S533,调用虚拟机平台相关绑定磁盘的API,绑定到所述待恢复的虚拟机。
可选的,若在虚拟机恢复的过程中虚拟机开机,则接收到调用请求的数据备份模块执行所述恢复任务的步骤还包括:启动待恢复的虚拟机内置的操作系统;向底层虚拟机平台发送请求;底层虚拟化平台通过标准的网络存储通道从备份服务器集群中读取备份数据块。
其中,读取备份数据块的详细过程可以包括:所述存储卷服务根据读取的偏移从备份数据块索引中读取数据块的哈希值,并计算所述数据块对应的备份服务器;如果对应的服务器为第一备份服务器,则存储卷服务直接调用本地文件系统函数接口读取相应的数据块;如果对应的服务器为其他备份服务器,所述存储卷服务调用网络数据读接口,从其他备份服务器的数据块读写服务接口中读取相应的数据块。
作为一种实施方式,下面以图14为例对上述实施例中的虚拟机的恢复方法进行示例性的说明:
如图14所示,可选的,备份服务器N1的任务引擎获取待恢复的虚拟机VMa’的备份数据,分发恢复任务给备份服务器N1的任务引擎,所述任务引擎调用备份服务器N1的数据备份模块执行恢复流程。
作为一种方式,数据备份模块BA调用虚拟机平台相关存储管理相关API,并创建恢复网络通道,例如网络文件系统(Network File System,NFS)。其中,API里面绑定有备份服务器N1中待恢复的备份数据版本的位置:/mnt/Backup/N。
继而找到待恢复的虚拟机,调用虚拟机平台移除相关API,并移除相关的磁盘信息;然后调用虚拟机平台相关绑定磁盘的API,绑定/mnt/Backup/N/VMabf到待恢复的虚拟机VMa’。
如果选项中有开机,那么VMa’内置的操作系统将启动,此种情况下,将调用底层虚拟机平台,由底层的虚拟化平台通过标准的网络存储通道(例如NFS),读取VMabf。VMabf将通过SV连续不断并行地的从备份服务器N1、N2或N3读取数据块。存储卷服务SV可以根据读取的偏移从VMabf BI中读取数据块的位置信息(例如数据块哈希值),并计算备份服务器的位置。存储卷服务SV可以一次性根据多个位置信息,计算出多个数据块的位置信息,继而并行启动多个读取线程,从备份服务器集群中读取数据。如果位置在备份服务器N1,则存储卷服务SV可以直接调用本地文件系统函数接口读取相应的数据块。而如果位置在备份服务器N2或N3,那么存储卷服务SV可以调用网络数据读接口,从备份服务器N2或N3的数据块读写服务接口存储引擎中读取相应的数据块。
作为一种方式,如果默认的备份服务器不在备份服务器集群中,调度服务TS将根据系统的负载状态,选择一台最空闲的执行恢复任务。由于系统的所有备份服务器都安装有TE,BA,那么所有的备份服务器所在的节点都有同样的备份数据版本,因此可以正常完成恢复任务。
本实施例提供的虚拟机的恢复方法,通过调度服务分发恢复任务给所述备份服务器集群中的第一备份服务器的任务引擎;所述第一备份服务器的任务引擎向对应的数据备份模块发送调用请求;接收到所述调用请求的数据备份模块执行所述恢复任务。本方法可以实现提高虚拟机恢复的速度。
请参阅图15,为本申请实施例提供的一种虚拟机的备份装置的结构框图,本实施例提供一种虚拟机的备份装置600,应用于备份服务器集群中的备份服务器,每个所述备份服务器均包括有以下软件模块:调度服务(TS)、任务引擎(TE)、数据备份模块(BA)、挂载点(mpt)、存储卷服务(SV)、数据块读写服务接口、文件写入模块。
该备份装置600包括任务引擎610、数据备份模块620以及文件写入模块630。
在备份过程中,任务引擎610用于获取备份任务信息及虚拟机备份数据,向数据备份模块发送调用请求;数据备份模块620用于将所述虚拟机备份数据写入到所述分布式重删存储文件系统的挂载点,形成虚拟机备份数据的文件集合;文件写入模块630用于所述分布式重删存储文件系统用于将所述文件集合写入所述本地文件系统以及复制到其他备份服务器。
备份装置600用于实现以上各实施例描述的备份流程,这里不再赘述。
请参阅图16,为本申请实施例提供的一种虚拟机的恢复装置的结构框图,本实施例提供一种虚拟机的恢复装置700,应用于备份服务器集群中的备份服务器,每个所述备份服务器均包括有以下软件模块:调度服务(TS)、任务引擎(TE)、数据备份模块(BA)、挂载点(mpt)、存储卷服务(SV)、数据块读写服务接口、文件写入模块。
该备份装置700包括任务引擎710、任务引擎720以及数据备份模块730。
调度服务710用于分发恢复任务给所述备份服务器集群中的备份服务器的任务引擎;任务引擎720用于向对应的数据备份模块发送调用请求;数据备份模块730用于执行所述恢复任务。
备份装置700用于实现以上各实施例描述的备份流程,这里不再赘述。
需要说明的是,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
下面将结合图17对本申请实施例提供的一种服务器进行说明。
请参阅图17,基于上述的虚拟机的备份方法、虚拟机的恢复方法及装置,本申请实施例还提供了一种可以执行前述虚拟机的备份方法与恢复方法的服务器100。服务器100包括存储器104以及相互耦合的一个或多个(图中仅示出一个)处理器102,存储器104以及处理器102之间通信线路连接。存储器104中存储有可以执行前述实施例中内容的程序,而处理器102可以执行存储器104中存储的程序。
其中,处理器102可以包括一个或者多个处理核。处理器102利用各种接口和线路连接整个服务器100内的各个部分,通过运行或执行存储在存储器104内的指令、程序、代码集或指令集,以及调用存储在存储器104内的数据,执行服务器100的各种功能和处理数据。可选地,处理器102可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(ProgrammableLogic Array,PLA)中的至少一种硬件形式来实现。处理器102可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器102中,单独通过一块通信芯片进行实现。
存储器104可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现前述各个实施例的指令等。存储数据区还可以存储服务器100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图18,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质800中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质800包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (15)
1.一种虚拟机的备份方法,应用于备份服务器集群,其特征在于,所述备份服务器集群包括有调度服务TS以及多个备份服务器,每台备份服务器中包括调度服务TS,每个所述备份服务器均包括:任务引擎TE、数据备份模块BA、挂载点mpt、存储卷服务SV、数据块读写服务接口BS、分布式重删存储文件系统以及本地文件系统,所述方法包括:
所述备份服务器集群中的第一备份服务器的任务引擎获取虚拟机备份数据以及备份任务信息,所述虚拟机备份数据包括虚拟机的UUID/moref唯一标识、虚拟机的虚拟化平台信息,所述虚拟机的虚拟化平台信息包括虚拟机的IP、帐号、密码以及平台种类标志;
所述任务引擎向所述第一备份服务器的数据备份模块发送调用请求;
所述第一备份服务器的数据备份模块将所述虚拟机备份数据写入到所述分布式重删存储文件系统的挂载点,形成虚拟机备份数据的文件集合;
若所述第一备份服务器发生故障,所述调度服务获取待备份的虚拟机的数据;
所述调度服务生成备份任务并派发至其他至少一个备份服务器;
接收到所述备份任务的备份服务器的任务引擎向对应的数据备份模块发送调用请求;
所述其他至少一个备份服务器的数据备份模块将所述虚拟机备份数据写入到所述分布式重删存储文件系统的挂载点,形成虚拟机备份数据的文件集合;
所述分布式重删存储文件系统将所述文件集合写入所述本地文件系统以及复制到其他备份服务器;
所述方法还包括:
所述调度服务获取所述备份服务器集群的资源情况;
将克隆任务派发给利用率最低的备份服务器;
接收到所述备份任务的备份服务器的任务引擎向对应的数据备份模块发送调用请求执行克隆任务,其中,所述虚拟机的克隆过程包括:调用虚拟机平台相关存储管理相关API,API里面绑定有第一备份服务器中待恢复的备份数据版本的位置信息,创建恢复网络存储通道;根据虚拟机OVF模板文件,调用虚拟机平台相关API,创建新的虚拟机。
2.如权利要求1所述的备份方法,其特征在于,所述虚拟机备份数据的文件集合包括带有路径的备份文件、文件属性集合、备份数据块索引和备份数据块。
3.如权利要求2所述的备份方法,其特征在于,所述分布式重删存储文件系统将所述文件集合写入所述本地文件系统,包括:
通过所述存储卷服务将所述带有路径的备份文件写入所述本地文件系统。
4.如权利要求3所述的备份方法,其特征在于,所述通过所述存储卷服务将所述带有路径的备份文件写入所述本地文件系统,包括:
根据数据块哈希值判断在其他所述备份服务器中是否存在对应的符合副本要求的数据块,如果不存在,通过所述存储卷服务将所述带有路径的备份文件写入所述本地文件系统,如果存在,则不写入;或者
通过所述存储卷服务网络读写接口将所述带有路径的备份文件写入到其他备份服务器的数据块读写服务接口,由所述数据块读写服务接口将所述带有路径的备份文件写入对应的本地文件系统。
5.如权利要求2所述的备份方法,其特征在于,所述分布式重删存储文件系统将所述文件集合写入所述本地文件系统,包括:
通过所述数据备份模块将所述文件属性集合、备份数据块索引或备份数据块写入所述本地文件系统。
6.如权利要求5所述的备份方法,其特征在于,所述通过所述数据备份模块将所述文件属性集合、备份数据块索引或备份数据块写入所述本地文件系统,包括:
通过所述数据备份模块的本地接口,将所述文件属性集合、备份数据块索引或备份数据块写入所述本地文件系统;或者
通过所述数据备份模块的网络读写接口,将所述文件属性集合、备份数据块索引或备份数据块写入其他备份服务器的本地文件系统。
7.如权利要求1所述的备份方法,其特征在于,所述方法还包括:
所述数据备份模块复制前一次成功备份后的所述文件集合中的带有路径的备份文件、文件属性集合和备份数据块索引至指定存储位置,得到新的备份文件;
将所述文件集合中的备份数据块的增量部分读取到所述第一备份服务器的内存后,所述增量部分包括所述备份数据块的偏移和大小;
基于所述备份数据块的偏移和大小,将包括所述增量部分的所述文件集合中的备份数据块写入所述第一备份服务器的分布式重删存储文件系统的挂载点下所述指定存储位置对应的偏移。
8.如权利要求2所述的备份方法,其特征在于,所述方法还包括:
所述调度服务获取所述备份服务器集群的每个备份服务器的负载情况;
根据所述负载情况调度派发不同数量的备份任务到对应的备份服务器;
每个备份服务器的存储卷服务查询是否保存有对应的备份数据块,如果有,更新备份数据块索引,如果没有,写入对应的备份数据块和相应的元数据至分布式重删存储文件系统。
9.一种虚拟机的恢复方法,应用于备份服务器集群,其特征在于,所述备份服务器集群包括有调度服务TS以及多个备份服务器,每台备份服务器中包括调度服务TS,每个所述备份服务器均包括:任务引擎TE、数据备份模块BA、挂载点mpt、存储卷服务SV、数据块读写服务接口BS、分布式重删存储文件系统以及本地文件系统,所述方法包括:
所述调度服务分发恢复任务给所述备份服务器集群中的第一备份服务器的任务引擎,所述恢复任务包括待恢复的虚拟机的UUID/moref唯一标识、虚拟机的虚拟化平台信息,所述虚拟机的虚拟化平台信息包括虚拟机的IP、帐号、密码以及平台种类标志;
所述第一备份服务器的任务引擎向对应的数据备份模块发送调用请求;
接收到所述调用请求的数据备份模块执行所述恢复任务;
所述方法还包括:
若所述第一备份服务器发生故障,所述调度服务获取待备份的虚拟机的数据;
所述调度服务生成备份任务并派发至其他至少一个备份服务器;
接收到所述备份任务的备份服务器的任务引擎向对应的数据备份模块发送调用请求;
所述其他至少一个备份服务器的数据备份模块将所述虚拟机备份数据写入到所述分布式重删存储文件系统的挂载点,形成虚拟机备份数据的文件集合;
所述分布式重删存储文件系统将所述文件集合写入所述本地文件系统以及复制到其他备份服务器;
所述方法还包括:
所述调度服务获取所述备份服务器集群的资源情况;
将克隆任务派发给利用率最低的备份服务器;
接收到所述备份任务的备份服务器的任务引擎向对应的数据备份模块发送调用请求执行克隆任务,其中,所述虚拟机的克隆过程包括:调用虚拟机平台相关存储管理相关API,API里面绑定有第一备份服务器中待恢复的备份数据版本的位置信息,创建恢复网络存储通道;根据虚拟机OVF模板文件,调用虚拟机平台相关API,创建新的虚拟机。
10.如权利要求9所述的恢复方法,其特征在于,所述接收到所述调用请求的数据备份模块执行所述恢复任务,包括:
调用虚拟机平台相关存储管理相关API并创建网络存储通道,所述API绑定有第一备份服务器的待恢复的备份数据的位置;
获取待恢复的虚拟机,调用虚拟机平台磁盘移除相关API,并移除相关的信息;
调用虚拟机平台相关绑定磁盘的API,绑定到所述待恢复的虚拟机。
11.如权利要求10所述的恢复方法,其特征在于,若在恢复的过程中虚拟机开机,所述接收到所述调用请求的数据备份模块执行所述恢复任务的步骤还包括:
启动待恢复的虚拟机内置的操作系统;
向底层虚拟机平台发送请求;
所述底层虚拟化平台通过标准的网络存储通道从所述备份服务器集群中读取备份数据块。
12.如权利要求11所述的恢复方法,其特征在于,所述底层虚拟化平台通过标准的网络存储通道从所述备份服务器集群中读取备份数据块的步骤,包括:
所述存储卷服务根据读取的偏移从备份数据块索引中读取数据块的哈希值,并计算所述数据块对应的备份服务器;
如果对应的服务器为第一备份服务器,则存储卷服务直接调用本地文件系统函数接口读取相应的数据块;
如果对应的服务器为其他备份服务器,所述存储卷服务调用网络数据读接口,从其他备份服务器的数据块读写服务接口中读取相应的数据块。
13.一种虚拟机的备份装置,运行于备份服务器,每台备份服务器中包括调度服务TS,其特征在于,包括:
任务引擎,用于获取备份任务信息及虚拟机备份数据,向数据备份模块发送调用请求,所述虚拟机备份数据包括虚拟机的UUID/moref唯一标识、虚拟机的虚拟化平台信息,所述虚拟机的虚拟化平台信息包括虚拟机的IP、帐号、密码以及平台种类标志;
所述任务引擎,还用于若第一备份服务器发生故障,获取待备份的虚拟机的数据,生成备份任务并派发至其他至少一个备份服务器,指示接收到所述备份任务的备份服务器的任务引擎向对应的数据备份模块发送调用请求;
数据备份模块,用于将所述虚拟机备份数据写入到分布式重删存储文件系统的挂载点,形成虚拟机备份数据的文件集合;
所述数据备份模块,还用于指示所述其他至少一个备份服务器的数据备份模块将所述虚拟机备份数据写入到所述分布式重删存储文件系统的挂载点,形成虚拟机备份数据的文件集合;
文件写入模块,用于所述分布式重删存储文件系统用于将所述文件集合写入本地文件系统以及复制到其他备份服务器;
所述数据备份模块,还用于指示所述调度服务获取备份服务器集群的资源情况;将克隆任务派发给利用率最低的备份服务器;接收到所述备份任务的备份服务器的任务引擎向对应的数据备份模块发送调用请求执行克隆任务,其中,所述虚拟机的克隆过程包括:调用虚拟机平台相关存储管理相关API,API里面绑定有第一备份服务器中待恢复的备份数据版本的位置信息,创建恢复网络存储通道;根据虚拟机OVF模板文件,调用虚拟机平台相关API,创建新的虚拟机。
14.一种虚拟机的恢复装置,运行于备份服务器,每台备份服务器中包括调度服务TS,其特征在于,包括:
调度服务,用于分发恢复任务给备份服务器集群中的备份服务器的任务引擎,所述恢复任务包括待恢复的虚拟机的UUID/moref唯一标识、虚拟机的虚拟化平台信息,所述虚拟机的虚拟化平台信息包括虚拟机的IP、帐号、密码以及平台种类标志;
任务引擎,用于向对应的数据备份模块发送调用请求;
数据备份模块,用于执行所述恢复任务;
所述数据备份模块,还用于所述调度服务获取所述备份服务器集群的资源情况;将克隆任务派发给利用率最低的备份服务器;接收到备份任务的备份服务器的任务引擎向对应的数据备份模块发送调用请求执行克隆任务,其中,所述虚拟机的克隆过程包括:调用虚拟机平台相关存储管理相关API,API里面绑定有第一备份服务器中待恢复的备份数据版本的位置信息,创建恢复网络存储通道;根据虚拟机OVF模板文件,调用虚拟机平台相关API,创建新的虚拟机。
15.一种备份服务器集群,其特征在于,所述备份服务器集群包括有调度服务TS以及多个备份服务器,每台备份服务器中包括调度服务TS,每个所述备份服务器均包括:任务引擎TE、数据备份模块BA、挂载点mpt、存储卷服务SV、数据块读写服务接口BS、分布式重删存储文件系统以及本地文件系统,其中,
所述任务引擎用于获取备份任务信息及虚拟机备份数据,向所述数据备份模块发送调用请求,所述虚拟机备份数据包括虚拟机的UUID/moref唯一标识、虚拟机的虚拟化平台信息,所述虚拟机的虚拟化平台信息包括虚拟机的IP、帐号、密码以及平台种类标志;
所述数据备份模块用于将所述虚拟机备份数据写入到所述分布式重删存储文件系统的挂载点,形成虚拟机备份数据的文件集合;
若第一备份服务器发生故障,所述调度服务获取待备份的虚拟机的数据;
所述调度服务生成备份任务并派发至其他至少一个备份服务器;
接收到所述备份任务的备份服务器的任务引擎向对应的数据备份模块发送调用请求;
所述其他至少一个备份服务器的数据备份模块将所述虚拟机备份数据写入到所述分布式重删存储文件系统的挂载点,形成虚拟机备份数据的文件集合;
所述分布式重删存储文件系统用于将所述文件集合复制到其他备份服务;
所述调度服务获取所述备份服务器集群的资源情况;
将克隆任务派发给利用率最低的备份服务器;
接收到所述备份任务的备份服务器的任务引擎向对应的数据备份模块发送调用请求执行克隆任务,其中,所述虚拟机的克隆过程包括:调用虚拟机平台相关存储管理相关API,API里面绑定有第一备份服务器中待恢复的备份数据版本的位置信息,创建恢复网络存储通道;根据虚拟机OVF模板文件,调用虚拟机平台相关API,创建新的虚拟机。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811507160.XA CN109558215B (zh) | 2018-12-10 | 2018-12-10 | 虚拟机的备份方法、恢复方法、装置及备份服务器集群 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811507160.XA CN109558215B (zh) | 2018-12-10 | 2018-12-10 | 虚拟机的备份方法、恢复方法、装置及备份服务器集群 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109558215A CN109558215A (zh) | 2019-04-02 |
CN109558215B true CN109558215B (zh) | 2021-09-07 |
Family
ID=65869525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811507160.XA Active CN109558215B (zh) | 2018-12-10 | 2018-12-10 | 虚拟机的备份方法、恢复方法、装置及备份服务器集群 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109558215B (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110083490A (zh) * | 2019-04-29 | 2019-08-02 | 浙江豪联信息科技有限公司 | 一种数据库备份方法、还原方法以及存储介质 |
US10776041B1 (en) * | 2019-05-14 | 2020-09-15 | EMC IP Holding Company LLC | System and method for scalable backup search |
CN110442427B (zh) * | 2019-07-29 | 2021-09-14 | 腾讯科技(深圳)有限公司 | 一种虚拟机快照管理方法、装置、设备和存储介质 |
CN112948169A (zh) * | 2019-11-26 | 2021-06-11 | 中兴通讯股份有限公司 | 数据备份的方法、装置、设备和存储介质 |
CN111124620B (zh) * | 2019-12-26 | 2021-11-23 | 航天壹进制(南京)数据科技有限公司 | 一种用于io过滤的应用程序编程接口的持续数据保护方法 |
CN111240798A (zh) * | 2019-12-31 | 2020-06-05 | 北京安码科技有限公司 | 基于挂载文件系统的虚拟机初始化的方法、系统、电子设备及存储介质 |
CN111488321B (zh) * | 2020-03-05 | 2024-11-05 | 北京联创信安科技股份有限公司 | 一种对存储卷的管理系统 |
CN111625401B (zh) * | 2020-05-29 | 2023-03-21 | 浪潮电子信息产业股份有限公司 | 基于集群文件系统的数据备份方法、装置及可读存储介质 |
CN111651238A (zh) * | 2020-06-03 | 2020-09-11 | 上海英方软件股份有限公司 | 一种虚拟机保护中有效数据获取系统及方法 |
CN112199166B (zh) * | 2020-10-30 | 2023-02-03 | 上海爱数信息技术股份有限公司 | 一种业务应急接管演练系统及其方法 |
CN112306762B (zh) * | 2020-10-30 | 2025-02-11 | 西安万像电子科技有限公司 | 通信处理方法、装置及系统、非易失性存储介质 |
CN113760601B (zh) * | 2020-11-05 | 2024-06-18 | 北京沃东天骏信息技术有限公司 | 一种数据备份方法、装置和系统 |
CN112685130A (zh) * | 2020-12-18 | 2021-04-20 | 湖南麒麟信安科技股份有限公司 | 分布式存储环境下的虚拟机备份方法、装置和存储介质 |
CN112988472A (zh) * | 2021-05-08 | 2021-06-18 | 南京云信达科技有限公司 | 一种增量数据备份检索的方法及系统 |
CN113220504B (zh) * | 2021-05-26 | 2022-04-01 | 华云数据控股集团有限公司 | 虚拟机增量数据备份方法、系统及计算机可读介质 |
CN113391954A (zh) * | 2021-06-15 | 2021-09-14 | 上海英方软件股份有限公司 | 一种基于分布式架构的高可用数据备份方法及系统 |
CN114328005B (zh) * | 2021-09-08 | 2022-08-26 | 深圳市木浪云科技有限公司 | 容器数据增量备份的方法及系统 |
CN113886143B (zh) * | 2021-10-19 | 2022-09-13 | 深圳市木浪云科技有限公司 | 虚拟机持续数据保护方法、装置及数据恢复方法、装置 |
CN115344423B (zh) * | 2022-08-01 | 2023-07-04 | 和元达信息科技有限公司 | 备份方法、挂载恢复方法、服务器及计算机可读存储介质 |
CN115695425A (zh) * | 2022-10-28 | 2023-02-03 | 济南浪潮数据技术有限公司 | 一种BeeGFS文件系统集群部署方法、装置、设备及存储介质 |
CN117608494B (zh) * | 2023-12-06 | 2024-06-07 | 太极计算机股份有限公司 | 云计算集群的存储方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106201654A (zh) * | 2016-06-30 | 2016-12-07 | 国云科技股份有限公司 | 一种虚拟机系统的拯救方法 |
CN108804253A (zh) * | 2017-05-02 | 2018-11-13 | 中国科学院高能物理研究所 | 一种用于海量数据备份的并行作业备份方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101414277B (zh) * | 2008-11-06 | 2010-06-09 | 清华大学 | 一种基于虚拟机的按需增量恢复容灾系统及方法 |
CN104899071A (zh) * | 2015-04-29 | 2015-09-09 | 深圳市深信服电子科技有限公司 | 集群中虚拟机的恢复方法和系统 |
CN107402839B (zh) * | 2016-05-18 | 2021-03-09 | 深信服科技股份有限公司 | 一种备份数据的方法及系统 |
CN106815298B (zh) * | 2016-12-09 | 2020-11-17 | 中电科华云信息技术有限公司 | 基于块存储的分布式共享文件系统 |
CN108415756B (zh) * | 2017-10-25 | 2022-08-23 | 国云科技股份有限公司 | 一种云平台虚拟机的云盘自动恢复方法 |
-
2018
- 2018-12-10 CN CN201811507160.XA patent/CN109558215B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106201654A (zh) * | 2016-06-30 | 2016-12-07 | 国云科技股份有限公司 | 一种虚拟机系统的拯救方法 |
CN108804253A (zh) * | 2017-05-02 | 2018-11-13 | 中国科学院高能物理研究所 | 一种用于海量数据备份的并行作业备份方法 |
Non-Patent Citations (1)
Title |
---|
基于Hadoop平台的分布式重删存储系统;刘青 等;《计算机应用》;20160210;第2页右栏第2段-第3页右栏第4段 * |
Also Published As
Publication number | Publication date |
---|---|
CN109558215A (zh) | 2019-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109558215B (zh) | 虚拟机的备份方法、恢复方法、装置及备份服务器集群 | |
US11513926B2 (en) | Systems and methods for instantiation of virtual machines from backups | |
US11086727B2 (en) | Systems and methods for continuous data protection | |
CN102594849B (zh) | 数据备份、恢复方法、虚拟机快照删除、回滚方法及装置 | |
US9870291B2 (en) | Snapshotting shared disk resources for checkpointing a virtual machine cluster | |
US9201736B1 (en) | Methods and apparatus for recovery of complex assets in distributed information processing systems | |
CN103608786B (zh) | 在恢复站点处管理复制的虚拟储存器 | |
US11032156B1 (en) | Crash-consistent multi-volume backup generation | |
US8868860B2 (en) | Restore in cascaded copy environment | |
AU2014374256B2 (en) | Systems and methods for improving snapshot performance | |
US20200349030A1 (en) | Systems and methods for continuous data protection | |
US20210342068A1 (en) | Systems and methods for continuous data protection | |
US20210334172A1 (en) | Systems and methods for continuous data protection with near zero recovery point | |
US20150213100A1 (en) | Data synchronization method and system | |
US20230125719A1 (en) | Systems and methods for continuous data protection comprising storage of completed i/o requests intercepted from an i/o stream using touch points | |
US11106545B2 (en) | Systems and methods for continuous data protection | |
US11663092B2 (en) | Systems and methods for continuous data protection | |
US11663089B2 (en) | Systems and methods for continuous data protection | |
US11500664B2 (en) | Systems and method for continuous data protection and recovery by implementing a set of algorithms based on the length of I/O data streams | |
US11126508B2 (en) | Systems and methods for continuous data protection | |
CN107402839B (zh) | 一种备份数据的方法及系统 | |
CN114168263A (zh) | 在云平台多集群之间虚拟机热迁移的方法及应用 | |
US10896201B2 (en) | Synchronization of block based volumes | |
CN112579550A (zh) | 一种分布式文件系统的元数据信息同步方法及系统 | |
US9760450B2 (en) | Restoring a clone point-in-time copy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |