CN104753968B - 云计算跨地域多数据中心及其的调度管理方法 - Google Patents

Abstract

本发明实施例公开了一种云计算跨地域多数据中心及其的调度管理方法，其中，方法包括：根节点逐级向各下级节点下发动态路由生成指令，其中包括路由标识信息，当前节点以发送该动态路由生成指令的节点作为上级节点，将当前节点的标识信息加入路由标识信息中并向各下级节点转发动态路由生成指令，直至到达叶子数据中心；叶子数据中心记录最终生成的路由标识信息逐级向上汇总，各级数据中心记录自己及所有下级节点的路由标识信息；根节点存储最终生成的路由标识信息，生成调度管理指令并根据动态路由表逐级向下级节点发送调度管理指令，直至到达目标数据中心执行调度管理指令。本发明实施例可以实现多数据中心的资源共享及统一调度管理。

Description

云计算跨地域多数据中心及其的调度管理方法

技术领域

本发明涉及网络技术，尤其是一种云计算跨地域多数据中心及其的调度管理方法。

背景技术

在云计算的发展过程中，单节点单数据中心可以提供的基础资源能力和网络接入条件比较有限，无法满足全局业务的发展需求。而多节点形成的多数据中心除了可以在基础业务能力提供更多的等级和灵活性之外，同时在容灾备份和多节点负载均衡上提供了更高的服务标准。随着云计算产业和业务能力的发展、多数据中心的并行发展，统一服务的模式也是一种必然趋势，因此也对云计算多节点，特别是跨地域的多数据中心资源调度管理提出了更高的要求。然而，由于同时受网络环境、技术手段等条件的影响，以往在云计算多节点管理中，难以实现数据及资源的统一和灵活的调度管理。

云平台数据中心的管理是所有云服务正常提供的前提和基础。在实现本发明的过程中，发明人发现，现有跨地域多节点纳管的实现方法，存在以下两类常见的问题：

管理中心按照扁平化二级架构管理各数据节点，即：一个管理中心管理同一资源池内的所有计算节点，无法实现数据中心的多级管理；

管理中心和数据节点功能区分明显，无法根据需要调整管理中心的职责。

发明内容

本发明实施例所要解决的技术问题是：针对目前云计算管理对跨地域多节点多数据中心的管理难点，提供一种云计算跨地域多数据中心及其的调度管理方法，以实现多数据中心的资源共享及统一调度管理。

本发明实施例提供的一种云计算跨地域多数据中心的调度管理方法，所述多数据中心包括复合数据中心和叶子数据中心，所述方法包括：

复合数据中心中的一个数据中心作为根节点，以相邻的各数据中心与根节点的下属数据中心作为下级节点，根据存储的静态路由表中相邻的各数据中心与根节点的下属数据中心的静态路由信息，分别向各下级节点下发动态路由生成指令，该动态路由生成指令中包括用于标识动态路由生成指令传输方向的路由标识信息，该路由标识中包括根节点的标识信息；

接收到动态路由生成指令的每一个数据中心分别作为当前节点，以发送该动态路由生成指令的节点作为上级节点，将当前节点的标识信息加入所述路由标识信息中；

当前节点以相邻的各数据中心与当前节点的下属数据中心作为下级节点，根据存储的静态路由表中相邻的各数据中心与当前节点的下属数据中心的静态路由信息，分别向各下级节点转发动态路由生成指令，直至动态路由生成指令到达作为多数据中心最末端节点的叶子数据中心，所述动态路由生成指令中包括加入当前节点的标识信息的路由标识信息；

叶子数据中心记录最终生成的路由标识信息，并根据最终生成的路由标识信息记录的上下级节点关系，向上级数据中心发送最终生成的路由标识信息；

接收到最终生成的路由标识信息的各数据中心，分别记录路由标识信息中自己及所有下级节点的路由标识信息，并根据最终生成的路由标识信息记录的上下级节点关系，向上级数据中心发送最终生成的路由标识信息，直至最终生成的路由标识信息到达根节点，由根节点将最终生成的路由标识信息存储在动态路由表中；

响应于根节点需要对多数据中心中的其它数据节点进行调度管理时，根节点生成调度管理指令，并根据动态路由表中记录的最终生成的路由标识信息逐级向下级节点发送调度管理指令，直至调度管理指令到达需要调度管理的目标数据中心，由目标数据中心执行所述调度管理执行调度管理指令。

本发明方法的另一个实施例中，响应于根节点需要对多数据中心中的其它数据节点进行调度管理时，根节点生成调度管理指令，并根据动态路由表中记录的最终生成的路由标识信息逐级向下级节点发送调度管理指令包括：

响应于根节点需要对多数据中心中的其它数据节点进行调度管理时，根节点查询动态路由表，获取包括目标数据中心的路由标识信息作为目标路由标识信息，从目标路由标识信息中去掉根节点的标识信息，得到新目标路由标识信息，并生成调度管理指令下发给目标路由标识信息记录的下级节点，该调度管理指令中包括新目标路由标识信息；

接收到调度管理指令的每一个下级节点分别作为当前节点，根据新目标路由标识信息确定当前节点的下级节点，从新目标路由标识信息中删除当前节点的标识信息后将调度管理指令转发给下级节点，直至调度管理指令到达目标数据中心。

本发明方法的另一个实施例中，所述叶子数据中心具体为一个集群。

本发明方法的另一个实施例中，所述路由标识以第一符号标识开头和结尾，以第二符号标识当前节点，当前节点有多级上级节点的，多级上级节点之间以第三符号分割。

本发明方法的另一个实施例中，第一符号具体为双叹号（！！），第二符号具体为单叹号（！），第三符号具体为点号（.）。

本发明实施例提供的一种多数据中心，包括复合数据中心和叶子数据中心；

复合数据中心中的一个数据中心作为根节点，用于以相邻的各数据中心与根节点的下属数据中心作为下级节点，根据存储的静态路由表中相邻的各数据中心与根节点的下属数据中心的静态路由信息，分别向各下级节点下发动态路由生成指令，该动态路由生成指令中包括用于标识动态路由生成指令传输方向的路由标识信息，该路由标识中包括根节点的标识信息；以及将接收到的最终生成的路由标识信息存储在动态路由表中；以及在需要对多数据中心中的其它数据节点进行调度管理时，生成调度管理指令，并根据动态路由表中记录的最终生成的路由标识信息向下级节点发送调度管理指令；

复合数据中心中的每一个数据中心，用于在接收到动态路由生成指令时作为当前节点，以发送该动态路由生成指令的节点作为上级节点，将当前节点的标识信息加入所述路由标识信息中；以及以相邻的各数据中心与当前节点的下属数据中心作为下级节点，根据存储的静态路由表中相邻的各数据中心与当前节点的下属数据中心的静态路由信息，分别向各下级节点转发动态路由生成指令，直至动态路由生成指令到达作为多数据中心最末端节点的叶子数据中心，所述动态路由生成指令中包括加入当前节点的标识信息的路由标识信息；以及在接收到最终生成的路由标识信息时，记录路由标识信息中自己及所有下级节点的路由标识信息，并根据最终生成的路由标识信息记录的上下级节点关系，向上级数据中心发送最终生成的路由标识信息，直至最终生成的路由标识信息到达根节点；以及接收到上级数据节点转发的调度管理指令时，根据最终生成的路由标识信息逐级向下级节点发送调度管理指令，直至调度管理指令到达需要调度管理的目标数据中心，由目标数据中心执行所述调度管理执行调度管理指令；

叶子数据中心，用于记录最终生成的路由标识信息，并根据最终生成的路由标识信息记录的上下级节点关系，向上级数据中心发送最终生成的路由标识信息。

本发明系统的另一个实施例中，所述根节点，具体用于在需要对多数据中心中的其它数据节点进行调度管理时，查询动态路由表，获取包括目标数据中心的路由标识信息作为目标路由标识信息，从目标路由标识信息中去掉根节点的标识信息，得到新目标路由标识信息，并生成调度管理指令下发给目标路由标识信息记录的下级节点，该调度管理指令中包括新目标路由标识信息；

复合数据中心中的每一个数据中心，具体用于在接收到调度管理指令时分别作为当前节点，根据新目标路由标识信息确定当前节点的下级节点，从新目标路由标识信息中删除当前节点的标识信息后将调度管理指令转发给下级节点，直至调度管理指令到达目标数据中心。

本发明系统的另一个实施例中，所述叶子数据中心具体为一个集群。

本发明系统的另一个实施例中，所述路由标识以第一符号标识开头和结尾，以第二符号标识当前节点，当前节点有多级上级节点的，多级上级节点之间以第三符号分割。

本发明系统的另一个实施例中，第一符号具体为双叹号（！！），第二符号具体为单叹号（！），第三符号具体为点号（.）。

基于本发明上述实施例提供的云计算跨地域多数据中心及其的调度管理方法，根节点向其各下级节点下发动态路由生成指令，其中包括路由标识信息，接收到动态路由生成指令的每一个数据中心分别作为当前节点，以发送该动态路由生成指令的节点作为上级节点，将当前节点的标识信息加入路由标识信息中分别转发给其各下级节点，直至动态路由生成指令到达叶子数据中心，叶子数据中心记录最终生成的路由标识信息，并根据最终生成的路由标识信息记录的上下级节点关系，各级数据中心逐级向上级数据中心发送最终生成的路由标识信息并记录自己及所有下级节点的路由标识信息，直至最终生成的路由标识信息到达根节点，由根节点将最终生成的路由标识信息存储在动态路由表中。需要对多数据中心中的其它数据节点进行调度管理时，根据动态路由表中记录的最终生成的路由标识信息逐级向下级节点发送调度管理指令，直至调度管理指令到达需要调度管理的目标数据中心，由目标数据中心执行调度管理指令。与现有技术相比，本发明实施例以路由转发调度为核心，建立了管理树形逻辑关系，实现了各数据中心系统的树形多级嵌套管理，即每一级资源池包含下级所有节点的业务逻辑自成一套管理体系，同时又成为上级系统的一部分，从而实现了多数据中心的资源共享及统一调度管理，充分实现了云计算多节点的综合管理需求，满足多种业务服务的维护管理基础需求。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：

图1为本发明云计算跨地域多数据中心的调度管理方法一个实施例的流程图。

图2为本发明一个应用实施例的多数据中心架构示意图。

图3为本发明实施例中一个导航模块的结构示意图。

图4为本发明另一个应用实施例对应的现网多数据中心架构示意图。

图5为本发明另一个应用实施例的多数据中心架构示意图。

图6为本发明另一个应用实施例中变更管理中心后的多数据中心树形图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本发明实施例通过路由寻址，建立节点间逻辑关系。寻址方式是，在动态路由生成指令中附加路由信息，通过各级节点执行动态路由生成指令并将其一步一步发送到目标节点，动态路由生成指令执行完成后，将路由信息附加在动态路由生成指令的执行结果中返回给根节点。

IP领域的路由概念指的是路由器从一个接口上收到数据包，根据数据包的目的地址进行定向并转发到另一个接口的过程。在本发明实施例中，路由机制的源地址和目的地址是上下级的数据中心。而路由寻址过程则是根据每个节点路由表中记录的路由标识（RouteID）指向下一跳，最终完成寻址，实现调度管理指令的下发。

在整个路由建立和寻址的过程中，各级数据中心（ZONE）独立部署、运行，根据下一级自动生成路由标识（RouteID），并根据路由标识（RouteID）实现数据中心（ZONE）内的动态路由表。为对本发明实施例的说明更为清楚，本发明实施例中示例性但不限制性约定：

数据中心（ZONE）：该单元可以是具体的物理数据中心（即：一个完整的机房所有资源池的统一管理中心），也可以是区域性的逻辑管理中心（即：机房中的某一部分集群的管理中心），实现对该级别资源包括路由寻址在内的所有管理功能。

数据中心分成两类：叶子数据中心(Leaf Data Center)和复合数据中心(Composite Data Center)。每个数据中心包含其下级都可以单独构成一套体系，对其物理数据（例如，计算资源、存储资源和网络资源）进行管理。

数据中心（ZONE）之间通过路由模式进行寻址管理。

叶子数据中心：是整个多数据中心树形结构的最末端节点，是业务管理的最小单位，一般是集群。

集群：是业务管理的最小单位，是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。

复合数据中心：可以有一个或多个子数据中心，子数据中心可以是复合数据中心或叶子数据中心。复合数据中心一般是业务中心或者是管理中心。

标识(ID)是各数据中心的唯一性标识，在路由生成过程中代表各级目标节点。

路由标识（RouteID）：是包含本地及所有信息来源方向的标识（ID）的路由信息。

路由标识(RouteID)规则：开头和结尾可以示例性地用“！！”符号，当前节点之前可以示例性地用“！”，当前节点之前有多级数据中心结构的，多级数据中心之间可以示例性地用“.”分割，例如：A节点下一级B节点，B节点下一级C节点，那么C节点的路由标识就是“！！A.B!C!!”,如果C节点下边还有D节点，那么D节点的路由标识就是“！！A.B.C!D！！”，依次类推。

本发明实施例提供的一种多数据中心，包括复合数据中心和叶子数据中心。其中：

复合数据中心中的一个数据中心作为根节点，用于以相邻的各数据中心与根节点的下属数据中心作为下级节点，根据存储的静态路由表中相邻的各数据中心与根节点的下属数据中心的静态路由信息，分别向各下级节点下发动态路由生成指令，该动态路由生成指令中包括用于标识动态路由生成指令传输方向的路由标识信息，该路由标识中包括根节点的标识信息；以及将接收到的最终生成的路由标识信息存储在动态路由表中；以及在需要对多数据中心中的其它数据节点进行调度管理时，生成调度管理指令，并根据动态路由表中记录的最终生成的路由标识信息向下级节点发送调度管理指令。

复合数据中心中的每一个数据中心，用于在接收到动态路由生成指令时作为当前节点，以发送该动态路由生成指令的节点作为上级节点，将当前节点的标识信息加入路由标识信息中；以及以相邻的各数据中心与当前节点的下属数据中心作为下级节点，根据存储的静态路由表中相邻的各数据中心与当前节点的下属数据中心的静态路由信息，分别向各下级节点转发动态路由生成指令，直至动态路由生成指令到达作为多数据中心最末端节点的叶子数据中心，动态路由生成指令中包括加入当前节点的标识信息的路由标识信息；以及在接收到最终生成的路由标识信息时，记录路由标识信息中自己及所有下级节点的路由标识信息，并根据最终生成的路由标识信息记录的上下级节点关系，向上级数据中心发送最终生成的路由标识信息，直至最终生成的路由标识信息到达根节点；以及接收到上级数据节点转发的调度管理指令时，根据最终生成的路由标识信息逐级向下级节点发送调度管理指令，直至调度管理指令到达需要调度管理的目标数据中心，由目标数据中心执行调度管理指令。

叶子数据中心，用于记录最终生成的路由标识信息，并根据最终生成的路由标识信息记录的上下级节点关系，向上级数据中心发送最终生成的路由标识信息。

以下结合本发明各实施例的云计算跨地域多数据中心的调度管理方法对本发明实施例的多数据中心进行进一步详细说明，本发明实施例的云计算跨地域多数据中心的调度管理方法基于本发明上述实施例的多数据中心实现。

图1为本发明云计算跨地域多数据中心的调度管理方法一个实施例的流程图。其中的数据中心包括复合数据中心和叶子数据中心。如图1所示，该实施例云计算跨地域多数据中心的调度管理方法包括：

110，复合数据中心中的一个数据中心作为根节点，以相邻的各数据中心与根节点的下属数据中心作为下级节点，根据存储的静态路由表中相邻的各数据中心与根节点的下属数据中心的静态路由信息，分别向各下级节点下发动态路由生成指令，该动态路由生成指令中包括用于标识动态路由生成指令传输方向的路由标识信息，该路由标识中包括根节点的标识信息。

120，接收到动态路由生成指令的每一个数据中心分别作为当前节点，以发送该动态路由生成指令的节点作为上级节点，将当前节点的标识信息加入路由标识信息中。

130，当前节点以相邻的各数据中心与当前节点的下属数据中心作为下级节点，根据存储的静态路由表中相邻的各数据中心与当前节点的下属数据中心的静态路由信息，分别向各下级节点转发动态路由生成指令，直至动态路由生成指令到达作为多数据中心最末端节点的叶子数据中心，其中的动态路由生成指令中包括加入当前节点的标识信息的路由标识信息。

140，叶子数据中心记录最终生成的路由标识信息，并根据最终生成的路由标识信息记录的上下级节点关系，向上级数据中心发送最终生成的路由标识信息。

150，接收到最终生成的路由标识信息的各数据中心，分别记录路由标识信息中自己及所有下级节点的路由标识信息，并根据最终生成的路由标识信息记录的上下级节点关系，向上级数据中心发送最终生成的路由标识信息，直至最终生成的路由标识信息到达根节点，由根节点将最终生成的路由标识信息存储在动态路由表中。

160，响应于根节点需要对多数据中心中的其它数据节点进行调度管理时，根节点生成调度管理指令，并根据动态路由表中记录的最终生成的路由标识信息逐级向下级节点发送调度管理指令，直至调度管理指令到达需要调度管理的目标数据中心，由目标数据中心执行调度管理指令。

根据本发明上述云计算跨地域多数据中心的调度管理方法实施例的一个具体示例而非限制，图1所示实施例的操作160中，响应于根节点需要对多数据中心中的其它数据节点进行调度管理时，根节点生成调度管理指令，并根据动态路由表中记录的最终生成的路由标识信息逐级向下级节点发送调度管理指令，具体可以通过以下方式实现：

响应于根节点需要对多数据中心中的其它数据节点进行调度管理时，根节点查询动态路由表，获取包括目标数据中心的路由标识信息作为目标路由标识信息，从目标路由标识信息中去掉根节点的标识信息，得到新目标路由标识信息，并生成调度管理指令下发给目标路由标识信息记录的下级节点，该调度管理指令中包括新目标路由标识信息；

接收到调度管理指令的每一个下级节点分别作为当前节点，根据新目标路由标识信息确定当前节点的下级节点，从新目标路由标识信息中删除当前节点的标识信息后将调度管理指令转发给下级节点，直至调度管理指令到达目标数据中心。

根据本发明上述云计算跨地域多数据中心的调度管理方法实施例的另一个具体示例而非限制，叶子数据中心具体可以为一个集群。

根据本发明上述云计算跨地域多数据中心的调度管理方法实施例的又一个具体示例而非限制，路由标识具体可以以第一符号标识开头和结尾，以第二符号标识当前节点，当前节点有多级上级节点的，多级上级节点之间以第三符号分割。

其中，第一符号例如为双叹号（！！），第二符号例如为单叹号（！），第三符号例如为点号（.）。

图2为本发明一个应用实施例的多数据中心架构示意图。在图2所示的多数据中心中，某地C资源池（即：C数据中心）有两个子集群，其标识（ID）分别是100和200，C数据中心隶属于B数据中心，A数据中心是最高级的管理中心。每一数据中心已包含表示相邻的各个数据中心之间路由的静态路由信息。

本发明云计算跨地域多数据中心的调度管理方法主要包括两个过程：各级数据中心节点生成动态路由表的过程和对数据节点进行调度管理时根据形成的动态路由表进行寻址的过程。以下结合图2所示的应用实施例对本发明实施例云计算跨地域多数据中心的调度管理方法进行进一步说明。

各级数据中心节点生成动态路由表的过程如下：

步骤一：根节点A数据中心发起遍历。从根节点A按照数据中心的树形结构向下逐级遍历所有下级节点。根节点A生成动态路由生成指令后，根据预先设置的指令格式信息，将根节点A的ID信息加入存入该动态路由生成指令中，然后将加入了根节点A的ID信息的动态路由生成指令继续发送到下级节点B数据中心。

步骤二：将动态路由生成指令逐级下发至叶子数据中心

A数据中心为根节点，根据本地存储的静态路由信息可以找到下级节点B数据中心，动态路由生成指令中的路由标识信息变为!!A!B!!。

由于数据中心管理关系，C数据中心归属于B业务中心（即：B数据中心），B业务中心是一个高一级的管理节点，可以包含多个数据中心。因此当该路由标识（RouteID）信息向下经过C业务中心之后变成!!A.B!C!!。

Ｃ数据中心有两个集群，一个标识是100，可以称为集群100；另一个标识是200，可以称为集群200。

动态路由生成指令中的路由标识信息在集群100中变成!!A.B.C!100!!，在集群200中变成!!A.B.C!200!!，由于集群没有下一级，因此遍历结束。

步骤三：逐级汇总。集群100和集群200这两个集群的路由标识信息向上级C数据中心汇总并由C数据中心记录，逐级记录向上汇总，最终汇总给根节点A数据中心。汇总过程依据的是遍历下发时确定的上下级关系。

步骤四：形成动态路由表。逐级汇总的过程中，各个节点的标识都加入到了动态路由生成指令中，保留路由标识信息中自己及其下级的所有部分，可以具体保存到动态路由生成指令的返回结果的路由字段中，例如C数据中心保存的路由标识信息为！！C！100！！，B数据中心保存的路由标识信息是！！B.C！100!!，而根节点A数据中心作为最高节点，将保留完整的路由标识信息!!A.B.C!100!。到此完成动态路由生成指令的执行、以及动态路由表的生成过程。

对数据节点进行调度管理时根据形成的动态路由表进行寻址的过程如下：

步骤一：从上检索本地路由表。当管理中心需要向集群100发送调度管理指令时，根据100这个标识去查询本地的动态路由表，检索匹配到的路由标识信息是!!A.B.C!100!!，因此下一跳指向B数据中心。

步骤二：调度管理指令下发。当前所在节点A管理中心先把自己的标识信息去掉，将路由标识信息变成!!B.C!100!!，并下发给B数据中心。

步骤三：递归执行步骤一和步骤二，直到完成寻址。

B业务中心收到的路由标识信息是!!B.C!100!!，检索本地的动态路由表，下一跳指向C数据中心，同样去掉自己的标识信息变成!!C!100!!，下发给C数据中心。

最后C数据中心接收到!!C!100!!，检索本地的动态路由表，去掉自己的标识信息发送给集群100，完成整个寻址过程，由集群100执行调度管理指令。

如图3所示，为本发明实施例中一个导航模块的结构示意图。该实施例的导航模块可以部署在数据中心节点中，从而实现本发明上述云计算跨地域多数据中心的调度管理方法实施例。参见图3，该实施例的导航模块（Director）包括路由管理单元（routemanagement）、数据中心（域）管理单元（zone management）和控制单元（controller）。其中：

路由管理单元（route management）：存储了为了调度、管理资源所需要执行的所有指令的描述。在描述中包含了这个指令所需的参数、返回结果字段，以及指令的标识参数和指令的标识（ID），即：包含了路由标识（RouteID）的参数，还有指令返回值中需要附加路由标识信息（即：转换成路由标识（RouteID）的结果字段），和最终接受处理指令的模块信息。所有指令的描述保存在数据中心应用程序界面平台（Zone API Context）中。另外，还可以实现对不同地域数据中心的接口通信对接和远程数据路由管理，该路由管理单元是管理的通信调度基础模块，即路由机制的管理模块。每条指令都需要经过本路由管理单元处理。处理过程如下：

1）接收动态路由生成指令；

2）解析动态路由生成指令中的路由标识信息；

3）根据路由标识信息解析动态路由生成指令类型；

4）根据不同的指令类型，处理动态路由生成指令：发送到下级Zone或者发送给本Zone的指令执行模块；

5）将动态路由生成指令的返回结果中加入路由标识信息，返回给动态路由生成指令的发起方，即：上级Zone的路由管理单元或者本Zone的展示层。

数据中心（域）管理单元（zone management）：调度数据中心自我管理和下属子域管理的功能模块。该数据中心（域）管理单元实现各类业务服务开通控制的具体功能接口。

控制模块（controller）：负责管理路由管理单元和数据中心（域）管理单元这两个单元的基本功能并协调两个模块的协同工作。

导航模块中需要描述所有的API的信息，各数据中心之间通过路由标识实现指令（汇总转发指令、定向转发指令、定向汇总转发指令）的转发功能，从而实现数据资源的共享与统一调度管理。

在工作中导航模块具体实现以下功能：

汇总转发指令:数据中心收到包含路由标识（RouteID）信息的动态路由生成指令后，将该动态路由生成指令转发至所有子数据中心（ZONE）（叶子数据中心调用本地相应指令处理单元执行具体的动态路由生成指令），并根据Zone API Context中描述的指令格式信息将Zone自身的标识（ID）信息作为路由数据加入动态路由生成指令的执行结果中的路由标识位中（叶子数据中心先将指令的执行结果中的ID转换为路由标识）,这样执行结果的路由标识信息中将包含所有执行路径上的数据中心的标识信息。

定向转发指令：数据中心（ZONE）收到包含路由标识（RouteID）信息的动态路由生成指令后，先分解出路由标识中包含的数据中心ID信息，然后将自身ID信息去除并找出下层子数据中心的ID信息，根据子数据中心ID将动态路由生成指令定向转发至相应的子数据中心中（叶子数据中心调用执行模块执行具体的动态路由生成指令）。

定向后汇总执行转发指令：数据中心的导航模块（Director）收到包含部分路由标识信息的动态路由生成指令后，先按定向转发指令执行递归操作，直至到达不再包含数据中心标识（ID）的叶子后改为执行动态路由生成指令。

以下结合图4～图6所示的应用实施例对本发明实施例云计算跨地域多数据中心的调度管理方法进行进一步说明。

图4为本发明另一个应用实施例对应的现网多数据中心架构示意图。如图4所示，现网多数据中心主要包括各级数据中心及其管理关系。其中，VMware数据中心、CitrixXen数据中心、Huawei数据中心、CitrixXEN等数据中心属于叶子数据中心，是上述实施例中的集群，是管理层次中的末端节点，没有下级数据中心。在树形架构中位于底层。

二长数据中心、长乐数据中心是二级的复合数据中心，向下管理下层的数据中心。向上级数据中心汇总路由标识信息。

同样的网络运行中心（NOC）数据中心、IT部数据中心是三级的复合数据中心。

江苏数据中心作为管理中心，是最高等级的复合数据中心，统一管理以下所有的数据中心，在树形架构中位于顶层。

图5为本发明另一个应用实施例的多数据中心架构示意图。图5中，基于本发明实施例对图4所示现网多数据中心进行了部署，其中：

基础数据中心（ZONE）：该单元可以是具体的物理数据中心，也可以是区域性的逻辑管理中心。

基本管理单元：该单元由两个模块构成，其中万维网橘云管控平台（OCMP_WEB）是管理节点的网页服务（webservice）的单元，导航模块（OCMP_Director）完成路由建立、寻址、功能接口及其下发的所有基本功能。因此每一个单元都具备完整的管理功能。

逻辑和数据处理模块（OCMP_REST）：负责所有的业务逻辑和数据的存取处理，并以标准的REST接口方式提供。

虚拟化适配层（Virtual factory）：实现和虚拟化层的接口功能。

图5所示应用实施例中，各级数据中心节点生成动态路由表的过程如下：

步骤一：根节点江苏数据中心发起遍历。从根节点江苏数据中心（DC_JS）向下逐级遍历所有下级节点，每个数据中心存有自己相邻数据中心的静态路由信息，在收到动态路由生成指令的遍历信息时，将来源节点标记为上级节点，将其余节点标记为下级节点进行转发。

步骤二：逐级下发至底层

江苏数据中心（DC_JS）为根节点，根据本地的静态路由信息可以找到子节点NOC数据中心（DC_NOC）和IT数据中心（DC_IT），路由标识信息在NOC数据中心中变为!!DC_JS!DC_NOC!!,在IT数据中心中变为!!DC_JS!DC_IT!!。

由于数据中心管理关系，二长数据中心（DC_EC）和长乐数据中心(DC_CL)归属NOC数据中心（DC_NOC）。因此当该路由标识信息RouteID向下经过二长数据中心（DC_EC）之后变成!!DC_JS.DC_NOC!DC_EC!!，经过长乐数据中心之后变成!!DC_JS.DC_NOC!DC_CL!!。

二长数据中心有三个集群，虚拟系统（VMware）集群（标识为100），思杰系统（Citrix）集群（标识为200）和华为集群（标识为300）。

长乐数据中心有一个集群，VMware集群（标识为400）。

IT数据中心下有二个集群，VMware集群（标识为500）和Citrix集群（标识为600）。

路由标识信息在二长VMware集群（100）变成!!DC_JS.DC_NOC.DC_EC!100!!，

路由标识信息在二长Citrix集群（200）变成!!DC_JS.DC_NOC.DC_EC!200!!，

路由标识信息在二长华为集群（300）变成!!DC_JS.DC_NOC.DC_EC!300!!，

路由标识信息在长乐VMware集群（400）变成!!DC_JS.DC_NOC.DC_CL!400!!，

路由标识信息在IT数据中心VMware集群（500）变成!!DC_JS.DC_IT.!500!!，

路由标识信息在IT数据中心Citrix集群（600）变成!!DC_JS.DC_IT!600!!。

由于集群没有下一级，因此遍历结束。

步骤三：逐级汇总。底层集群（VMware，Citrix…）的路由标识信息向上级二长数据中心等汇总并记录，逐级记录向上汇总，最终汇总给根节点江苏数据中心。汇总过程依据的是遍历下发时确定的上下级关系。

步骤四：形成动态路由表。路由标识信息在逐级汇总的过程中，各个节点保留路由标识信息中自己及其下级的所有部分，存在本地动态路由表中，例如，二长数据中心的路由标识信息包含！！DC_EC！100！！，NOC数据中心的路由标识信息包含！！DC_NOC.DC_EC！100！！。而根节点作为最高节点，将保留完整的路由标识信息，例如，！！DC_JS.DC_NOC.DC_EC！100！！。到此完成各级数据中心的路由表生成过程。

在本应用实施例中，根节点江苏管理中心需要进行的调度管理是获取二长VMware集群下的所有虚拟机信息。获取虚拟机信息时根据形成的动态路由表进行寻址的过程如下：

步骤一：检索本地路由表。当管理中心需要向集群100发送虚拟机信息获取指令时，根据这个标识100去查询本地的动态路由表，检索匹配到的路由标识信息是！！DC_JS.DC_NOC.DC_EC！100！！。下一跳指向DC_NOC数据中心。

步骤二：虚拟机信息获取指令下发。当前所在节点管理中心先把自己的标识去掉，将路由标识信息变成！！DC_NOC.DC_EC！100！！，并下发给DC_NOC数据中心。

步骤三：递归执行步骤一和步骤二，直到完成寻址。

a)NOC数据中心（DC_NOC）收到的路由标识信息是！！DC_NOC.DC_EC！100！！，检索本地动态路由表，下一跳指向DC_EC数据中心，同样去掉自己的标识信息，路由标识信息变成！！DC_EC！100！！，将虚拟机信息获取指令下发给DC_EC数据中心。

b)二长数据中心（DC_EC）收到的路由标识信息是！！DC_EC！100！！，检索本地动态路由表，下一跳指向DC_EC_VMware数据中心，同样去掉自己的标识信息，路由标识信息变成！！DC_EC_VMware！100！！，将虚拟机信息获取指令下发给DC_EC_VMware数据中心。

c)最后VMware数据中心接收到虚拟机信息获取指令，其中的路由标识信息是！！100！！，检索本地动态路由表，去掉自己的标识信息后将虚拟机信息获取指令发送给集群100，完成整个寻址过程。

步骤四：在集群100下查询所有的虚拟机信息，并向上级递归汇总。

在图5所示的多数据中心架构中，可以灵活的变更管理中心，将NOC数据中心作为总管理中心。此时，重新确定根节点。确定将复合数据中心NOC数据中心作为新的根节点，相应的，江苏数据中心将成为NOC数据中心的三个下级节点之一。由于业务部署的全息性，NOC数据中心已具备管理的基本能力。变更管理中心后，各级数据中心节点生成动态路由表的过程如下：

步骤一：重新发起遍历。由新的根节点NOC数据中心（DC_NOC）向下逐级遍历所有下级节点，每个数据中心存有自己相邻数据中心的静态路由信息，在收到动态路由生成指令的遍历信息时，将来源节点标记为上级节点，将其余节点标记为下级节点进行转发。

步骤二：逐级汇总。

路由标识信息在二长VMware集群（100）变成!!DC_NOC.DC_EC!100!!。

路由标识信息在IT数据中心Citrix集群（600）变成!!DC_NOC.DC_JS.DC_IT!600!!。

步骤三：形成新管理逻辑下的动态路由表。到此实现变更管理中心的目标。如图6所示，为该应用实施例中变更管理中心后的多数据中心树形图。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

可能以许多方式来实现本发明的方法、系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例具有路由机制跨地域数据管理能力、创新了各级数据中心之间，数据中心和管理中心之间的通信模式，通过数据中心模式可以任意按业务管理模式+地理模式划分，灵活应用。解决了传统模式可视不可管，无法自动纳管，纳管后无法改变，无法随时兼容各类业务逻辑的问题。本发明实施例具有以下总的有益技术效果：

由于动态路由表的形成是由各级数据中心学习生成的，动态路由表是可变的，这意味着本发明可以通过路由的变动支持数据中心任何节点间的归属级别的变化和扩展，同时实现对其所有管理关系进行权限变更；

由于从原理上来说，任何一个节点发起动态路由生成指令遍历后都可以作为根节点，这种基于路由机制，可变动可定制的管理模式真正实现了一种灵活智能的多数据中心的统一管理。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种云计算跨地域多数据中心的调度管理方法，其特征在于，所述多数据中心包括复合数据中心和叶子数据中心，所述方法包括：

复合数据中心中的一个数据中心作为根节点，以根节点的下属数据中心与相邻的各数据中心作为下级节点，根据存储的静态路由表中相邻的各数据中心与根节点的下属数据中心的静态路由信息，分别向各下级节点下发动态路由生成指令，该动态路由生成指令中包括用于标识动态路由生成指令传输方向的路由标识信息，该路由标识中包括根节点的标识信息；

接收到动态路由生成指令的每一个数据中心分别作为当前节点，以发送该动态路由生成指令的节点作为上级节点，将当前节点的标识信息加入所述路由标识信息中；

当前节点以当前节点的下属数据中心与相邻的各数据中心作为下级节点，根据存储的静态路由表中相邻的各数据中心与当前节点的下属数据中心的静态路由信息，分别向各下级节点转发动态路由生成指令，直至动态路由生成指令到达作为多数据中心最末端节点的叶子数据中心，所述动态路由生成指令中包括加入当前节点的标识信息的路由标识信息；

叶子数据中心记录最终生成的路由标识信息，并根据最终生成的路由标识信息记录的上下级节点关系，向上级数据中心发送最终生成的路由标识信息；

接收到最终生成的路由标识信息的各数据中心，分别记录路由标识信息中自己及所有下级节点的路由标识信息，并根据最终生成的路由标识信息记录的上下级节点关系，向上级数据中心发送最终生成的路由标识信息，直至最终生成的路由标识信息到达根节点，由根节点将最终生成的路由标识信息存储在动态路由表中；

响应于根节点需要对多数据中心中的其它数据节点进行调度管理时，根节点生成调度管理指令，并根据动态路由表中记录的最终生成的路由标识信息逐级向下级节点发送调度管理指令，直至调度管理指令到达需要调度管理的目标数据中心，由目标数据中心执行所述调度管理执行调度管理指令。

2.根据权利要求1所述的方法，其特征在于，响应于根节点需要对多数据中心中的其它数据节点进行调度管理时，根节点生成调度管理指令，并根据动态路由表中记录的最终生成的路由标识信息逐级向下级节点发送调度管理指令包括：

响应于根节点需要对多数据中心中的其它数据节点进行调度管理时，根节点查询动态路由表，获取包括目标数据中心的路由标识信息作为目标路由标识信息，从目标路由标识信息中去掉根节点的标识信息，得到新目标路由标识信息，并生成调度管理指令下发给目标路由标识信息记录的下级节点，该调度管理指令中包括新目标路由标识信息；

接收到调度管理指令的每一个下级节点分别作为当前节点，根据新目标路由标识信息确定当前节点的下级节点，从新目标路由标识信息中删除当前节点的标识信息后将调度管理指令转发给下级节点，直至调度管理指令到达目标数据中心。

3.根据权利要求1或2所述的方法，其特征在于，所述叶子数据中心具体为一个集群。

4.根据权利要求1或2所述的方法，其特征在于，所述路由标识以第一符号标识开头和结尾，以第二符号标识当前节点，当前节点有多级上级节点的，多级上级节点之间以第三符号分割。

5.根据权利要求4所述的方法，其特征在于，第一符号具体为双叹号“！！”，第二符号具体为单叹号“！”，第三符号具体为点号“.”。

6.一种多数据中心，其特征在于，包括复合数据中心和叶子数据中心；

复合数据中心中的一个数据中心作为根节点，用于以根节点的下属数据中心与相邻的各数据中心作为下级节点，根据存储的静态路由表中相邻的各数据中心与根节点的下属数据中心的静态路由信息，分别向各下级节点下发动态路由生成指令，该动态路由生成指令中包括用于标识动态路由生成指令传输方向的路由标识信息，该路由标识中包括根节点的标识信息；以及将接收到的最终生成的路由标识信息存储在动态路由表中；以及在需要对多数据中心中的其它数据节点进行调度管理时，生成调度管理指令，并根据动态路由表中记录的最终生成的路由标识信息向下级节点发送调度管理指令；

复合数据中心中的每一个数据中心，用于在接收到动态路由生成指令时作为当前节点，以发送该动态路由生成指令的节点作为上级节点，将当前节点的标识信息加入所述路由标识信息中；以及以当前节点的下属数据中心与相邻的各数据中心作为下级节点，根据存储的静态路由表中相邻的各数据中心与当前节点的下属数据中心的静态路由信息，分别向各下级节点转发动态路由生成指令，直至动态路由生成指令到达作为多数据中心最末端节点的叶子数据中心，所述动态路由生成指令中包括加入当前节点的标识信息的路由标识信息；以及在接收到最终生成的路由标识信息时，记录路由标识信息中自己及所有下级节点的路由标识信息，并根据最终生成的路由标识信息记录的上下级节点关系，向上级数据中心发送最终生成的路由标识信息，直至最终生成的路由标识信息到达根节点；以及接收到上级数据节点转发的调度管理指令时，根据最终生成的路由标识信息逐级向下级节点发送调度管理指令，直至调度管理指令到达需要调度管理的目标数据中心，由目标数据中心执行所述调度管理执行调度管理指令；

叶子数据中心，用于记录最终生成的路由标识信息，并根据最终生成的路由标识信息记录的上下级节点关系，向上级数据中心发送最终生成的路由标识信息。

7.根据权利要求6所述的多数据中心，其特征在于，所述根节点，具体用于在需要对多数据中心中的其它数据节点进行调度管理时，查询动态路由表，获取包括目标数据中心的路由标识信息作为目标路由标识信息，从目标路由标识信息中去掉根节点的标识信息，得到新目标路由标识信息，并生成调度管理指令下发给目标路由标识信息记录的下级节点，该调度管理指令中包括新目标路由标识信息；

复合数据中心中的每一个数据中心，具体用于在接收到调度管理指令时分别作为当前节点，根据新目标路由标识信息确定当前节点的下级节点，从新目标路由标识信息中删除当前节点的标识信息后将调度管理指令转发给下级节点，直至调度管理指令到达目标数据中心。

8.根据权利要求6或7所述的多数据中心，其特征在于，所述叶子数据中心具体为一个集群。

9.根据权利要求6或7所述的多数据中心，其特征在于，所述路由标识以第一符号标识开头和结尾，以第二符号标识当前节点，当前节点有多级上级节点的，多级上级节点之间以第三符号分割。

10.根据权利要求9所述的多数据中心，其特征在于，第一符号具体为双叹号“！！”，第二符号具体为单叹号“！”，第三符号具体为点号“·”。