CN107491343B - 一种基于云计算的跨集群资源调度系统 - Google Patents

Abstract

本发明公开了一种基于云计算的跨集群资源调度系统，包括消息捕获服务模块、跨集群元数据同步服务模块、数据多副本异步部署服务模块和跨集群资源调度服务模块；消息捕获服务模块用于捕获本地虚拟化集群内部消息，并上报给跨集群元数据同步服务模块；跨集群元数据同步服务模块用于分发本地虚拟化集群元数据，并接受远端虚拟化集群分发的元数据；数据多副本异步部署服务模块用于提供虚拟化集群后端存储服务，提供虚拟化集群数据远端副本同步、数据一致性校验服务、断点续传功能；跨集群资源调度服务模块包括本地跨集群资源调度服务模块和远端跨集群资源调度服务模块，提供资源重建、跨集群资源调度请求分发响应功能。

Description

一种基于云计算的跨集群资源调度系统

技术领域

本发明属于信息系统领域，尤其涉及一种基于云计算的跨集群资源调度系统。

背景技术

随着信息系统的发展，数据中心已全满进入基于分布式虚拟化技术的云数据中心时代，通过以计算虚拟化、网络虚拟化、存储虚拟化为代表的虚拟化技术，数据中心实现来本地资源的高可靠性、高稳定性、告弹性的按需分配、充分利用。

然后，随着越来越多的系统上线为用户提供不间断服务，越来越多的数据累计在本地，服务的不间断性以及数据安全性越发受到用户和数据中心开发运营人员的关注。

在单个集群内，为保证服务可靠性，多采用多服务实例部署。即单个服务包含多个可用的服务实例，防止单个服务实例出现异常的情况下，仍能维持服务的正常访问。数据多采用基于分布式存储技术的多副本形式，确保单个副本或多个副本损毁丢失的情况下，数据不丢失，仍可以正常访问。在多集群情况下，一般多采用专用存储设备进行数据周期备份，这种策略存在价格昂贵、无法动态实现资源调度、数据恢复使用周期长等问题，并不能实现跨集群资源统一管理调度的能力。

因此，迫切的需要一种跨集群资源管理调度方法，解决跨集群资源统一管理、调度、容灾、备份的问题。

发明内容

针对目前信息系统中无法实现跨虚拟化集群资源统一管理调度的问题，从消息捕获与数据同步的角度，提出一种实现跨集群资源统一调度管理的系统。通过在捕获集群中的各种消息，转化为元数据，并在各个集群之间实现元数据与数据的同步，以此实现数据跨集群的虚拟资源管理与调度。

本发明公开了一种基于云计算的跨集群资源调度系统，包括消息捕获服务模块、跨集群元数据同步服务模块、数据多副本异步部署服务模块和跨集群资源调度服务模块；

所述消息捕获服务模块用于捕获本地虚拟化集群内部消息，并上报给跨集群元数据同步服务模块；

所述跨集群元数据同步服务模块用于分发本地虚拟化集群元数据，并接受远端虚拟化集群分发的元数据；

所述数据多副本异步部署服务模块用于提供虚拟化集群后端存储服务，提供虚拟化集群数据远端副本同步、数据一致性校验服务、断点续传功能；

所述跨集群资源调度服务模块包括本地跨集群资源调度服务模块和远端跨集群资源调度服务模块，提供资源重建、跨集群资源调度请求分发响应功能。

所述虚拟化集群包括计算虚拟化服务、网络虚拟化服务、块存储服务、对象存储服务、共享存储服务、权限管理服务、镜像管理服务、数据处理服务、容器管理服务、数据库服务、裸金属服务、编排服务，各服务之间均通过REST接口实现相互之间的调用。

所述消息捕获服务模块通过端口映射技术捕获虚拟化集群中各服务之间的REST调用及结果数据，如虚拟机创建时计算虚拟化服务调用权限管理服务所提供的REST接口以获得后续操作所需要的授权令牌，调用块存储服务所提供的REST接口以获得块存储资源，调用网络虚拟化服务所提供的REST接口以获得虚拟网络资源等，并将捕获的数据发送到跨集群元数据同步服务模块。

所述消息捕获服务模块捕获虚拟化集群内部基于消息队列的RPC(远程过程调用协议)调用信息，并将捕获的数据发送到跨集群元数据同步服务模块。

虚拟化集群内各服务均由若干组件组成，各个组件之间均通过消息队列服务进行RPC调用。不同服务在消息队列服务内有各自的消息分发队列，消息捕获服务监听各个服务在消息队列服务内部的消息分发队列，并将捕获的数据发送到元数据同步服务。

所述跨集群元数据同步服务模块接收消息捕获服务模块发送的数据，对数据按照JSON(JavaScript Object Notation,JS对象标记)数据格式通过自带协议解析器进行解析处理，标记远端虚拟化集群唯一标示，在本地元数据同步服务模块进行注册，然后将处理过的通过数据解析获得的元数据信息分发到其他已在本地注册过的虚拟化集群(注册过程与本次注册过程相同)，同时跨集群元数据同步服务模块还对本地元数据(元数据是对实际数据的描述性数据，如数据分布情况、创建时间、更新时间、权限信息等)(虚拟化集群构建完成时自动生成)进行扫描，与待分发元数据(对上文所属接收到的数据按照JSON数据格式通过自带协议解析器进行解析处理后获得)进行对比，确保元数据一致性(这里仅对数据的元数据与数据是否匹配进行校验，确保元数据对数据的描述准确)，如果不一致，则将接受到的数据抛弃。

跨集群元数据同步服务模块将接收远端虚拟化集群分发的元数据(元数据是对实际数据的描述性数据，如数据分布情况、创建时间、更新时间、权限信息等)，查看该集群是否已注册，如果已注册，则对元数据进行格式化处理，如果没有注册，则向远端发送错误信息。

跨集群元数据同步服务模块支持本地元数据信息校验，通过与本地集群周期任务报送的数据进行对比，对本地元数据进行实时更新；支持基于策略的元数据信息分发，根据具体需要，将本集群的元数据分发到远端集群；支持基于策略的元数据接受与校验，接收远端分发来的远端集群元数据，对数据进行JSON格式校验，确保元数据格式正确；支持元数据验错重传，当元数据校验格式错误时，及时通知远端集群进行数据重传。

所述数据多副本异步部署服务模块用于提供虚拟化集群后端存储服务包括：用户写入虚拟化集群的数据在数据多副本异步部署服务模块中采用分布式块存储形式进行保存，数据被分为64M一个的数据块，每个数据块均采用多副本形式保存，同时数据多副本异步部署服务模块将向远端备份存储发起备份请求，以确保备份存储状态，得到许可后，将数据以块为单位向远端备份，这一备份过程从数据开始写入本地即开始，同时远端备份是否完成不影响本地写入完成效率；

所述数据多副本异步部署服务模块提供断点续传功能包括：虚拟化集群数据远端副本同步过程中如遇到网络中断，数据多副本异步部署服务模块将启动断点续传机制，对已传输数据块、尚未传输的数据块进行标记，同时对已传输的数据块进行监视，如果在中断期间这些数据块被修改，则对被修改的数据进行标记，当网络恢复时，以数据块为单位，对未传输的数据块和已传输但被修改的数据块进行断点续传；传输完成后，向本地虚拟化管理系统发送完成信号，该信号将被消息捕获服务模块捕获，进而被跨集群元数据同步服务模块分发到远端；

数据多副本异步部署服务模块提供虚拟化集群数据远端副本同步功能：数据多副本异步部署服务模块支持与虚拟化集群衔接，为虚拟化集群提供存储服务；支持跨集群副本异步备份，基于分布式存储集群已有的多副本存储机制，将本地存储集群内的数据块异步的备份到远端分布式存储集群，确保本地存储集群损坏后，数据在远端分布式存储集群仍有有效备份，异步备份不影响本地数据副本写出效率。

数据多副本异步部署服务模块接收到远端备份请求，查看该集群是否已注册，如果已注册，则发送允许信号；接收到远端备份数据时，首先进行元数据记录，并将数据标记为特定集群的备份数据，同时开始备份数据存储；对于接收到的数据，数据多副本异步部署服务模块将进行数据一致性校验服务，检查接收到的数据是否完整，MD5校验值是否正确，数据是否与元数据匹配等，确保接收到的数据没有发生错误，如果数据一致性存在问题，则要求远端重发该数据块。

跨集群资源调度服务模块提供跨集群资源调度请求分发响应功能，用于接受跨集群资源调度请求，并将该请求转发到远端集群，远端集群的跨集群资源调度服务模块将根据该请求进行资源重建，具体过程包括如下步骤：

步骤1，本地跨集群资源调度服务模块接收到跨集群资源调度请求；

步骤2，本地跨集群资源调度服务模块检查该资源是否在跨集群高可用池中，若不在高可用池中，则返回错误，表明该资源不具备高可用能力，若在高可用池中，则继续步骤3；

步骤3，本地跨集群资源调度服务模块查询该资源的远端调度目标集群，获得该资源的远端调度目标集群后继续步骤4，未获得则返回错误，表明该资源无远端调度目标集群；

步骤4，跨集群资源调度服务模块提供跨集群资源调度请求分发响应功能：本地跨集群资源调度服务模块发起跨集群资源调度分发，将资源调度请求转发到该资源远端调度目标集群；

步骤5，远端跨集群资源调度服务模块进行跨集群资源调度响应，检查接收到的资源调度请求是否合法，若不合法，则返回错误到本地跨集群资源调度服务模块，若合法，则继续步骤6；

步骤6，远端跨集群资源调度服务模块基于跨集群元数据同步服务模块检查待恢复资源元数据完整性及合法性，如有问题，则请求本地跨集群资源调度服务模块重发待回复资源的元数据，若无问题，则继续步骤7；

步骤7，远端跨集群资源调度服务模块基于数据多副本异步部署服务模块检查待回复资源的数据完整性及合法性，如有问题，则请求本地跨集群资源调度服务模块通过本地数据多副本异步部署服务模块重发待恢复的数据，如果没有问题，则执行步骤8；

步骤8，远端跨集群资源调度服务模块进行元数据与数据匹配行检查，确保元数据与数据相匹配，若不匹配，则返回错误到本地跨集群资源调度服务模块，表明数据错误，调度失败，若匹配，则继续步骤9；

步骤9，远端跨集群资源调度服务模块进行资源重建，通过调用虚拟化集群的计算、存储、网络相关REST接口，将待恢复资源的元数据提供给虚拟化集群，由虚拟化集群基于远端跨集群资源调度服务模块所提供的元数据调用对应的数据进行虚拟资源重建；

步骤10，远端跨集群资源调度服务模块基于数据多副本异步部署服务模块进行已重建资源的多副本分发；

步骤11，用户可根据具体需求，如是否对已重建资源进行备份、需要备份到哪个远端集群、副本数、备份周期等，确定重建资源是否需要再次进行异端备份，并制定相应的备份策略，远端跨集群资源调度服务模块基于策略进行已重建资源的异端备份。

跨集群资源调度服务模块支持跨集群资源调度信息的接收与分发，确保不同集群之间调度指令的互联互通；支持元数据完整性、正确性校验与出错重传，确保备份数据的元数据正确可用；支持基于数据多副本异步部署服务的数据完整性、正确性校验与出错重传，利用分布式存储集群，确保备份数据的正确可用；支持基于元数据和于数据多副本异步部署服务的资源重建，当用户需要时，可基于通过校验的元数据和本分数据，根据用户需求，对资源进行恢复重建；支持基于策略的重建数据多副本策略在线修改，用户可根据数据重要性，及时动态修改数据副本本分策略，数据多副本异步部署服务将利用分布式存储系统对数据副本进行操作，充分合理利用存储空间。

有益效果：

本发明可在基本不改变现有虚拟化集群和存储集群的基础上，通过添加消息捕获服务模块、跨集群元数据同步服务模块、数据多副本异步部署服务模块和跨集群资源调度服务模块，为已有系统提供跨集群、跨地域的数据本分、容灾恢复能力，充分利用现有的软硬件资源，满足系统对IaaS(基础设施即服务)层高可用、高可靠、异地容灾、快速恢复的需求。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1为消息捕获服务原理示意图。

图2为跨集群元数据同步服务原理示意图。

图3为数据多副本异步部署服务原理示意图。

图4为跨集群资源调度服务流程。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

本发明公开了一种基于云计算的跨集群资源调度系统，包括消息捕获服务模块、跨集群元数据同步服务模块、数据多副本异步部署服务模块和跨集群资源调度服务模块；

如图1所示，所述消息捕获服务模块用于捕获本地虚拟化集群内部消息，并上报给跨集群元数据同步服务模块；

如图2所示，所述跨集群元数据同步服务模块用于分发本地虚拟化集群元数据，并接受远端虚拟化集群分发的元数据；

如图3所示，所述数据多副本异步部署服务模块用于提供虚拟化集群后端存储服务，提供虚拟化集群数据远端副本同步、数据一致性校验服务、断点续传功能；

如图4所示，所述跨集群资源调度服务模块包括本地跨集群资源调度服务模块和远端跨集群资源调度服务模块，提供资源重建、跨集群资源调度请求分发响应功能。

所述虚拟化集群包括计算虚拟化服务、网络虚拟化服务、块存储服务、对象存储服务、共享存储服务、权限管理服务、镜像管理服务、数据处理服务、容器管理服务、数据库服务、裸金属服务、编排服务，各服务之间均通过REST接口实现相互之间的调用。

所述消息捕获服务模块通过端口映射技术捕获虚拟化集群中各服务之间的REST调用及结果数据，并将捕获的数据发送到跨集群元数据同步服务模块。

所述消息捕获服务模块捕获虚拟化集群内部基于消息队列的RPC(远程过程调用协议)调用信息，并将捕获的数据发送到跨集群元数据同步服务模块。

虚拟化集群内各服务均由若干组件组成，各个组件之间均通过消息队列服务进行RPC调用。不同服务在消息队列服务内有各自的消息分发队列，消息捕获服务监听各个服务在消息队列服务内部的消息分发队列，并将捕获的数据发送到元数据同步服务。

所述跨集群元数据同步服务模块接收消息捕获服务模块发送的数据，按照JSON数据格式通过自带协议解析器进行解析处理，标记远端虚拟化集群唯一标示，在本地元数据同步服务模块进行注册，然后将处理过的通过数据解析获得的元数据信息分发到其他已在本地注册过的虚拟化集群(注册过程与本次注册过程相同)，同时跨集群元数据同步服务模块还对本地元数据(虚拟化集群构建完成时自动生成)进行扫描，与待分发元数据(对上文所属接收到的数据按照JSON数据格式通过自带协议解析器进行解析处理后获得)进行对比，确保元数据一致性，如果不一致，则将接受到的数据抛弃。

跨集群元数据同步服务模块将接收远端虚拟化集群通过元数据同步服务模块集群分发的元数据，查看该集群是否已注册，如果已注册，则对元数据进行格式化处理，如果没有注册，则向远端发送错误信息。

跨集群元数据同步服务模块支持本地元数据信息校验，通过与本地集群周期任务报送的数据进行对比，对本地元数据进行实时更新；支持基于策略的元数据信息分发，根据具体需要，将本集群的元数据分发到远端集群；支持基于策略的元数据接受与校验，接收远端分发来的远端集群元数据，对数据进行JSON格式校验，确保元数据格式正确；；支持元数据验错重传，当元数据校验格式错误时，及时通知远端集群进行数据重传。。

用户写入虚拟化集群的数据在数据多副本异步部署服务模块中采用分布式块存储形式进行保存，数据被分为64M一个的数据块，每个数据块均采用多副本形式保存，同时数据多副本异步部署服务模块将向远端备份存储发起备份请求，以确保备份存储状态，得到许可后，将数据以块为单位向远端备份，这一备份过程从数据开始写入本地即开始，同时远端备份是否完成不影响本地写入完成效率；

远端备份过程中如遇到网络中断，数据多副本异步部署服务模块将对已传输数据块进行标记，当网络恢复时，以数据块为单位进行断点续传；传输完成后，向本地虚拟化管理系统发送完成信号，该信号将被消息捕获服务模块捕获，进而被跨集群元数据同步服务模块分发到远端；

数据多副本异步部署服务模块支持跨集群副本异步备份，基于分布式存储集群已有的多副本存储机制，将本地存储集群内的数据块异步的备份到远端分布式存储集群，确保本地存储集群损坏后，数据在远端分布式存储集群仍有有效备份，异步备份不影响本地数据副本写出效率。

数据多副本异步部署服务模块接收到远端备份请求，查看该集群是否已注册，如果已注册，则发送允许信号；接收到远端备份数据时，首先进行元数据入库记录，并将数据标记为特定集群的备份数据，同时开始备份数据存储；对于接收到的数据，数据多副本异步部署服务模块将进行一致性检测，确保接收到的数据没有发生错误，如果一致性存在问题，则要求远端重发该数据块。

跨集群资源调度服务模块用于接受跨集群资源调度请求，并将该请求转发到远端集群，远端集群的跨集群资源调度服务模块将根据该请求进行资源重建，具体过程包括如下步骤：

步骤1，本地跨集群资源调度服务模块接收到跨集群资源调度请求；

步骤2，本地跨集群资源调度服务模块检查该资源是否在跨集群高可用池中，若不在高可用池中，则返回错误，表明该资源不具备高可用能力，若在高可用池中，则继续以下过程；

步骤3，本地跨集群资源调度服务模块查询该资源的远端调度目标集群，获得该资源的远端调度目标集群后继续以下操作，未获得则返回错误，表明该资源无远端调度目标集群；

步骤4，本地跨集群资源调度服务模块将资源调度请求转发到该资源远端调度目标集群；

步骤5，远端跨集群资源调度服务模块检查接受到的资源调度请求是否合法，若不合法，则返回错误到本地跨集群资源调度服务模块，表明该请求不合法，若合法，则继续以下操作；

步骤6，远端跨集群资源调度服务模块检查待恢复资源元数据完整性及合法性，如有问题，则请求本地跨集群资源调度服务模块重发待回复资源的元数据，若无问题，则继续以下操作；

步骤7，远端跨集群资源调度服务模块基于数据多副本异步部署服务模块检查待回复资源的数据完整性及合法性，如有问题，则请求本地跨集群资源调度服务模块通过本地数据多副本异步部署服务模块重发待恢复的数据，若无问题，则继续以下操作；

步骤8，远端跨集群资源调度服务模块进行元数据与数据匹配行检查，确保元数据与数据相匹配，若不匹配，则返回错误到本地跨集群资源调度服务模块，表明数据错误，调度失败，若匹配，则继续以下操作；

步骤9，远端跨集群资源调度服务模块进行资源重建；

步骤10，远端跨集群资源调度服务模块基于数据多副本异步部署服务模块进行已重建资源的多副本分发；

步骤11，用户可根据具体需求，确定该资源是否需要再次进行异端备份，并制定相应的备份策略，远端跨集群资源调度服务模块基于策略进行已重建资源的异端备份。

跨集群资源调度服务模块支持跨集群资源调度信息的接收与分发，确保不同集群之间调度指令的互联互通；支持元数据完整性、正确性校验与出错重传，确保备份数据的元数据正确可用；支持基于数据多副本异步部署服务的数据完整性、正确性校验与出错重传，利用分布式存储集群，确保备份数据的正确可用；支持基于元数据和于数据多副本异步部署服务的资源重建，当用户需要时，可基于通过校验的元数据和本分数据，根据用户需求，对资源进行恢复重建；支持基于策略的重建数据多副本策略在线修改，用户可根据数据重要性，及时动态修改数据副本本分策略，数据多副本异步部署服务将利用分布式存储系统对数据副本进行操作，充分合理利用存储空间。。

本发明系统主要针对多集群管理情况下，跨虚拟化集群的消息捕获、元数据同步、数据多副本部署、资源调度功能，通过不同虚拟化集群之间的消息捕获、元数据同步、数据多副本部署，实现不同虚拟化集群之间的虚拟资源同意调度管理。该技术主要由消息捕获服务、元数据管理服务、数据多副本部署服务、跨集群资源调度服务三部分组成。其中消息捕获服务负责以捕获单个虚拟化集群中不同服务之间的通讯消息、各服务元数据变更信息、集群操作指令消息。元数据同步服务负责将消息捕获服务捕获的消息转化为虚拟化平台元数据，并将元数据在各个虚拟化集群之间进行同步，确保不同集群可相互同步元数据。数据多副本部署服务是一种异步分布式存储系统，当某一虚拟化集群向本地写入数据时，该服务将把该数据的一个副本异步同步到备虚拟化集群，该副本是否同步完毕不影响本地写入成功响应。跨集群资源调度服务负责响应用户的跨集群资源调度，当用户进行跨集群资源调度时，该服务将通过远端集群的资源调度服务检查远端集群该资源数据副本状态，状态正常则直接通过该资源响应用户请求，同时调度存储系统开发多副本分发及远端副本备份，状态不正常则尝试请求远端资源调度服务向本地分发副本，待分发完毕后再进行用户请求响应。

本发明提供了一种基于云计算的跨集群资源调度系统，该服务能够实现虚拟化集群内部的消息捕获、跨集群的元数据同步、数据多副本异步部署、跨集群资源调度功能。实现跨虚拟化集群的资源统一调度管理，实现资源的合理、充分利用。该服务由消息捕获服务、跨集群元数据同步服务、数据多副本异步部署服务、跨集群资源调度服务四部分组成。消息捕获服务捕获虚拟化集群内部计算虚拟化服务、网络虚拟化服务、存储虚拟化服务、权限管理服务、镜像管理服务、数据处理服务、容器服务、数据服务等之间的REST接口调用和各服务内部组件之间RPC调用请求及处理结果，并将捕获的消息传递各元数据同步服务。元数据同步服务在各自集群的元数据上标记唯一集群标示，并将本集群的元数据同步到其他集群，同时接收、处理并入库其他集群同步来的元数据。数据多副本异步部署服务是一种优化过的分布式存储服务，采用多副本机制，在确保本地数据多副本的同时，将本地数据向异地同步一份副本，该副本是否完成同步不影响本地数据的使用，同时接收异地数据多副本异步部署服务同步过来的备份部分，并进行集群标记。跨集群资源调度服务负责向其他集群发送跨集群调度请求，异地的跨集群资源调度服务接收到请求后通过本集群虚拟化服务及数据多副本异步部署服务完成资源调度与重构，同时通过消息捕获服务、跨集群的元数据同步服务向远端提供资源调度相关的元数据更新。

本发明提供了一种基于云计算的跨集群资源调度系统，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (1)

1.一种基于云计算的跨集群资源调度系统，其特征在于，包括消息捕获服务模块、跨集群元数据同步服务模块、数据多副本异步部署服务模块和跨集群资源调度服务模块；

所述消息捕获服务模块用于捕获本地虚拟化集群内部消息，并上报给跨集群元数据同步服务模块；

所述跨集群元数据同步服务模块用于分发本地虚拟化集群元数据，并接受远端虚拟化集群分发的元数据；

所述数据多副本异步部署服务模块用于提供虚拟化集群后端存储服务，提供虚拟化集群数据远端副本同步、数据一致性校验服务、断点续传功能；

所述跨集群资源调度服务模块包括本地跨集群资源调度服务模块和远端跨集群资源调度服务模块，提供资源重建、跨集群资源调度请求分发响应功能；

所述消息捕获服务模块通过端口映射技术捕获虚拟化集群中各服务之间的REST调用及结果数据，并将捕获的数据发送到跨集群元数据同步服务模块；

所述消息捕获服务模块捕获虚拟化集群内部基于消息队列的RPC远程过程调用协议调用信息，并将捕获的数据发送到跨集群元数据同步服务模块；

所述跨集群元数据同步服务模块接收消息捕获服务模块发送的数据，对数据按照JSON数据格式通过自带协议解析器进行解析处理，标记远端虚拟化集群唯一标示，在本地元数据同步服务模块进行注册，然后将通过数据解析获得的元数据信息分发到其他已在本地注册过的虚拟化集群，同时跨集群元数据同步服务模块还对本地元数据进行扫描，与待分发元数据进行对比，确保元数据一致性，如果不一致，则将接受到的数据抛弃；

跨集群元数据同步服务模块将接收远端虚拟化集群分发的元数据，查看该集群是否已注册，如果已注册，则对元数据进行格式化处理，如果没有注册，则向远端发送错误信息；

跨集群元数据同步服务模块支持本地元数据信息校验，通过与本地集群周期任务报送的数据进行对比，对本地元数据进行实时更新；支持基于策略的元数据信息分发，根据具体需要，将本集群的元数据分发到远端集群；支持基于策略的元数据接受与校验，接收远端分发来的远端集群元数据，对数据进行JSON格式校验，确保元数据格式正确；支持元数据验错重传，当元数据校验格式错误时，及时通知远端集群进行数据重传；

所述数据多副本异步部署服务模块用于提供虚拟化集群后端存储服务包括：用户写入虚拟化集群的数据在数据多副本异步部署服务模块中采用分布式块存储形式进行保存，数据被分为64M一个的数据块，每个数据块均采用多副本形式保存，同时数据多副本异步部署服务模块将向远端备份存储发起备份请求，以确保备份存储状态，得到许可后，将数据以块为单位向远端备份，这一备份过程从数据开始写入本地即开始，同时远端备份是否完成不影响本地写入完成效率；

所述数据多副本异步部署服务模块提供断点续传功能包括：远端备份过程中如遇到网络中断，数据多副本异步部署服务模块将对已传输数据块进行标记，当网络恢复时，以数据块为单位进行断点续传；传输完成后，向本地虚拟化管理系统发送完成信号，该信号将被消息捕获服务模块捕获，进而被跨集群元数据同步服务模块分发到远端；

数据多副本异步部署服务模块提供虚拟化集群数据远端副本同步功能：数据多副本异步部署服务模块支持跨集群副本异步备份，基于分布式存储集群已有的多副本存储机制，将本地存储集群内的数据块异步的备份到远端分布式存储集群，确保本地存储集群损坏后，数据在远端分布式存储集群仍有有效备份，异步备份不影响本地数据副本写出效率；

数据多副本异步部署服务模块接收到远端备份请求，查看该集群是否已注册，如果已注册，则发送允许信号；接收到远端备份数据时，首先进行元数据记录，并将数据标记为特定集群的备份数据，同时开始备份数据存储；对于接收到的数据，数据多副本异步部署服务模块将进行数据一致性校验服务：包括检查接收到的数据是否完整，MD5校验值是否正确，数据是否与元数据匹配，如果数据一致性存在问题，则要求远端重发该数据块；

跨集群资源调度服务模块提供跨集群资源调度请求分发响应功能，用于接受跨集群资源调度请求，并将该请求转发到远端集群，远端集群的跨集群资源调度服务模块将根据该请求进行资源重建，具体过程包括如下步骤：

步骤1，本地跨集群资源调度服务模块接收到跨集群资源调度请求；

步骤2，本地跨集群资源调度服务模块检查该资源是否在跨集群高可用池中，若不在高可用池中，则返回错误，表明该资源不具备高可用能力，若在高可用池中，则继续步骤3；

步骤3，本地跨集群资源调度服务模块查询该资源的远端调度目标集群，获得该资源的远端调度目标集群后继续步骤4，未获得则返回错误，表明该资源无远端调度目标集群；

步骤4，跨集群资源调度服务模块提供跨集群资源调度请求分发响应功能：本地跨集群资源调度服务模块发起跨集群资源调度分发，将资源调度请求转发到该资源远端调度目标集群；

步骤5，远端跨集群资源调度服务模块进行跨集群资源调度响应，检查接收到的资源调度请求是否合法，若不合法，则返回错误到本地跨集群资源调度服务模块，若合法，则继续步骤6；

步骤6，远端跨集群资源调度服务模块基于跨集群元数据同步服务模块检查待恢复资源元数据完整性及合法性，如有问题，则请求本地跨集群资源调度服务模块重发待回复资源的元数据，若无问题，则继续步骤7；

步骤7，远端跨集群资源调度服务模块基于数据多副本异步部署服务模块检查待回复资源的数据完整性及合法性，如有问题，则请求本地跨集群资源调度服务模块通过本地数据多副本异步部署服务模块重发待恢复的数据，如果没有问题，则执行步骤8；

步骤8，远端跨集群资源调度服务模块进行元数据与数据匹配行检查，确保元数据与数据相匹配，若不匹配，则返回错误到本地跨集群资源调度服务模块，表明数据错误，调度失败，若匹配，则继续步骤9；

步骤9，远端跨集群资源调度服务模块进行资源重建，通过调用虚拟化集群的计算、存储、网络相关REST接口，将待恢复资源的元数据提供给虚拟化集群，由虚拟化集群基于远端跨集群资源调度服务模块所提供的元数据调用对应的数据进行虚拟资源重建；

步骤10，远端跨集群资源调度服务模块基于数据多副本异步部署服务模块进行已重建资源的多副本分发；

步骤11，根据具体需求，确定重建资源是否需要再次进行异端备份，并制定相应的备份策略，远端跨集群资源调度服务模块基于策略进行已重建资源的异端备份。

Images