CN103703724A - 一种资源发放方法 - Google Patents

Abstract

本发明实施例提供一种资源发放方法，包括：第一数据中心接收资源请求消息，其中，所述第一数据中心为所述系统中接收到资源请求消息的任一数据中心；所述第一数据中心根据所述资源请求消息分析得到发放资源的至少两个目的数据中心；创建虚拟网络；向所述至少两个目的数据中心创建虚拟机；把所述虚拟机加入到所述虚拟网络。通过实施该方法，提高了数据中心的资源利用率、简化了管理维护运营、降低了网络连接故障或流量拥塞发生的概率。

Description

一种资源发放方法

技术领域

本发明涉及云计算领域，尤其涉及一种资源发放方法。

背景技术

传统的大型企业数据中心是一个物理分层的架构,顶层的数据中心主要负责企业级全球业务的应用集中部署，区域数据中心用来承载全球应用的镜像以及本区域范围内全局共享的应用和数据。在区域范围较大（比如覆盖数个国家）时，在每个区域内还可能进一步建设服务器机房以解决对区域范围全局数据共享没有需求、但对于服务质量有更高要求的应用（如研发仿真、大型软件开发的持续构建、DHCP以及文件服务等）。对于分支机构办公室，则主要通过建设网络机房来解决便携机与个人计算机等日常办公IT设备的纯网络接入问题。

传统的数据中心架构面临着一系列的问题：软件应用与物理计算和存储设备耦合绑定，单个应用按照最大预期负荷资源来进行容量规划,资源利用率低，服务器资源利用率更是普遍低于15%；物理资源和应用强耦合，业务部署，扩容以及升级等管理维护运营复杂；跨数据中心的计算、存储、网络资源也不能统一拉通调度与协同管理，多数物理设备在业务量低和空闲时间内处于带电空转的状态；数据中心层次过多导致数据访问延迟加大，尤其是对于处于数据中心分层架构顶端的应用，所必须经过的数据中心站点网络环节和层级过多，加大了网络连接故障或流量拥塞发生的概率。

发明内容

本发明实施例提供一种资源发放的方法，用以解决传统数据中心架构面临的资源利用率低、管理维护运营复杂、网络连接故障或流量拥塞发生的概率高的问题。

第一方面，本发明实施例提供一种资源发放的方法，应用于分布式数据中心系统，所述系统包括至少两个数据中心，所述方法包括：

第一数据中心接收资源请求消息，其中，所述第一数据中心为所述系统中接收到资源请求消息的任一数据中心；

所述第一数据中心根据所述资源请求消息分析得到发放资源的至少两个目的数据中心；

创建虚拟网络；

向所述至少两个目的数据中心创建虚拟机；

把所述虚拟机加入到所述虚拟网络。

结合第一方面，在第一方面的第一种可能的实现方式中，所述第一数据中心根据所述资源请求消息分析得到发放资源的至少两个目的数据中心，具体包括：

所述第一数据中心的跨数据中心调度器接收到资源请求消息后，将所述资源请求消息转发给所述第一数据中心的智能资源路由模块，其中，所述资源请求消息中包括租户标识和资源模板标识；

所述智能资源路由模块根据所述租户标识和资源模板标识，获取对应的资源模板信息，所述资源模板信息至少包括网络资源规格参数和虚拟机描述参数中的一种；

所述智能资源路由模块通过分析所述资源模板信息得到发放资源的至少两个目的数据中心。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述智能资源路由模块根据所述租户标识和资源模板标识，获取对应的资源模板信息，具体包括：

所述智能资源路由模块通过查询所述第一数据中心中的镜像模板库，获取对应于所述租户标识和资源模板标识的资源模板信息。

结合第一方面的第一种可能的实现方式以及第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述智能资源路由模块通过分析所述资源模板信息得到发放资源的至少两个目的数据中心，具体包括：

所述智能资源路由模块根据所述租户标识和所述资源模板信息查询所述第一数据中心中的分布式数据库，获取和所述租户标识以及所述资源模板信息对应的至少两个目的数据中心。

结合第一方面的第一种可能的实现方式，在第四种可能的实现方式中，如果所述资源请求消息中包括跨数据中心资源分配策略，则所述方法进一步包括：

根据所述跨数据中心资源分配策略对所述至少两个目的数据中心进行分析，得到符合所述跨数据中心资源分配策略的目的数据中心。

结合第一方面的第一种可能的实现方式，在第五种可能的实现方式中，所述创建虚拟网络，具体包括：

所述第一数据中心的跨数据中心调度器向所述第一数据中心的网络总调度器发送创建虚拟网络的请求，所述创建虚拟网络的请求携带所述租户标识和所述网络资源规格参数中的网络名称；

所述第一数据中心的网络总调度器向所述第一数据中心的网络控制器发送所述创建虚拟网络的请求；

所述第一数据中心的网络控制器根据所述租户标识和网络名称创建虚拟网络，并把所述虚拟网络的信息写入所述第一数据中心的分布式数据库，其中，所述虚拟网络的信息包括网络ID、网络状态、所述网络名称和租户标识；

所述第一数据中心的分布式数据库将所述虚拟网络的信息同步至其他目的数据中心中的分布式数据库。

结合第一方面的第一种可能的实现方式以及第一方面的第五种可能的实现方式，在第六种可能的实现方式中，所述创建虚拟网络，进一步包括：

所述第一数据中心的跨数据中心调度器通过分析所述资源模板信息，确定需创建虚拟子网的目的数据中心；

通过所述第一数据中心的网络总调度器向所述第一数据中心的网络控制器发送创建虚拟子网的请求；

所述第一数据中心的网络控制器根据所述创建虚拟子网的请求创建虚拟子网，并把所述虚拟子网的信息写入所述第一数据中心的分布式数据库；

所述第一数据中心的分布式数据库将所述虚拟子网的信息同步至其他目的数据中心中的分布式数据库。

结合第一方面的第五种可能的实现方式，在第七种可能的实现方式中，所述创建虚拟网络，进一步包括：

所述第一数据中心的跨数据中心调度器通过分析所述资源模板信息，确定需创建虚拟子网的目的数据中心；

通过所述第一数据中心的网络总调度器向所述第一数据中心的网络控制器发送创建虚拟子网的请求，所述请求中包括下列参数：所述租户标识、所述网络ID、子网名称、子网无类型域间选路CIDR、子网互联网协议IP地址版本号、子网网关IP地址、是否启动动态主机设置协议DHCP分配IP地址、DHCP IP地址池、待创建虚拟子网的目的数据中心标识、跨数据中心子网切分模式；

所述第一数据中心的网络控制器根据所述租户标识、网络ID和子网名称创建虚拟子网，并把所述虚拟子网的信息写入所述第一数据中心的分布式数据库，其中，所述虚拟子网的信息包括所述租户标识、所述网络ID、所述子网名称、子网ID、虚拟可扩展本地局域网VxLAN ID、所述子网CIDR、所述IP地址版本号；

所述第一数据中心的分布式数据库将所述虚拟子网的信息同步至其他目的数据中心中的分布式数据库。

结合第一方面的第七种可能的实现方式，在第八种可能的实现方式中，如果所述创建虚拟子网的请求中要求为所述虚拟子网启动DHCP分配IP地址，且需创建虚拟子网的目的数据中心不少于两个，则所述方法进一步包括：

所述第一数据中心的网络控制器对待分配的所述DHCP IP地址池按照所述跨数据中心子网切分模式进行IP地址切分和网关设置；

所述第一数据中心的网络控制器向所述待创建虚拟子网的每个数据中心的网络总调度器发送创建虚拟子网的请求，所述请求中包括下列参数：所述租户标识、所述网络ID、所述子网名称、所述子网ID、所述VxLAN ID、所述子网CIDR、所述IP地址版本号、所述是否启动DHCP分配IP地址、分割后设置的子网网关IP地址和分割后DHCP IP地址池；

所述待创建虚拟子网的每个数据中心的网络总调度器向各自所在的数据中心中的网络控制器发送所述创建虚拟子网的请求。

结合第一方面的第八种可能的实现方式，在第九种可能的实现方式中，所述方法进一步包括：

收到所述创建虚拟子网请求的网络控制器判断所述创建虚拟子网请求中指示的虚拟子网已经存在，则在本数据中心内创建虚拟业务网关。

结合第一方面的第九种可能的实现方式，在第十种可能的实现方式中，所述在本数据中心内创建虚拟业务网关，具体包括：

所述收到所述创建虚拟子网请求的网络控制器向本数据中心的虚拟业务网关VSG管理器发送网关服务请求，所述网关服务请求中携带如下参数：所述子网ID、所述是否启动DHCP分配IP地址、分割后DHCP IP地址池、所述VxLAN ID和所述分割后设置的子网网关IP地址；

所述VSG管理器向其管理的软件业务网关增加网关服务和DHCP服务。

结合第一方面的第十种可能的实现方式，在第十一种可能的实现方式中，所述增加网关服务和DHCP服务，具体包括：

如果已经具备网关服务能力的VSG虚拟机还有能力为新的虚拟子网提供VSG服务，则在所述已有的VSG虚拟机中增加网卡，设置所述网卡的IP地址为所述创建虚拟子网请求中携带的所述分割后设置的子网网关IP地址，并启动DHCP服务，配置分割后DHCP IP地址池；或者

创建新的VSG虚拟机，在所述新创建的VSG虚拟机中增加两块网卡，其中一块网卡用于连接外网，从外网获取IP地址或者配置固定IP地址，另一块网卡用于连接虚拟子网，配置该网卡的IP地址为所述创建虚拟子网请求中携带的所述分割后设置的子网网关IP地址，并启动DHCP服务，配置分割后DHCP IP地址池。

结合第一方面的第十一种可能的实现方式，在第十二种可能的实现方式中，所述方法进一步包括：

所述网络控制器接收所述VSG管理器返回的网关服务消息，所述消息包括VSG虚拟机标识；

根据所述VSG虚拟机标识判断所述VSG虚拟机是否已经加入所述虚拟子网，如果所述VSG虚拟机未加入所述虚拟子网，则在所述虚拟子网上创建一个端口，将所述VSG虚拟机绑定至该端口。

结合第一方面，在第十三种可能的实现方式中，所述向所述至少两个目的数据中心创建虚拟机，具体包括：

所述第一数据中心的跨数据中心调度器指示所述至少两个目的数据中心中的计算资源调度器在各自所属的数据中心中创建虚拟机。

结合第一方面，在第十四种可能的实现方式中，所述把所述虚拟机加入到所述虚拟网络，具体包括：

所述至少两个目的数据中心中的计算资源调度器通过各自所属数据中心中的网络总调度器请求本数据中心中的网络控制器在虚拟子网上分别为所述虚拟机创建端口；

所述网络控制器根据端口创建请求中携带的子网ID获得虚拟子网的信息，根据所述虚拟子网的信息在虚拟子网上为所述虚拟机创建端口，并将所述虚拟机绑定至该端口。

结合第一方面的第十四种可能的实现方式，在第十五种可能的实现方式中，所述方法进一步包括：

所述计算资源调度器获得所述虚拟机加入到所述虚拟子网的端口信息，确定所述虚拟机成功加入所述虚拟子网后，将虚拟机ID和端口ID之间的映射关系写入所述计算资源调度器所属数据中心中的分布式数据库；

所述分布式数据库将所述虚拟机ID和端口ID之间的映射关系同步至其他目的数据中心中的分布式数据库。

结合第一方面，在第十六种可能的实现方式中，所述方法进一步包括：

所述至少两个目的数据中心中的计算资源调度器向各自所属数据中心中的存储资源调度器分别发送创建存储资源的请求，所述请求中携带如下参数：虚拟机标识、存储大小、磁盘访问服务质量QoS等级和虚拟机所在的主机集群；

所述存储资源调度器根据所述请求中携带的参数选择具体的存储资源，在选定的存储资源上创建满足所述磁盘访问QoS等级和所述存储大小的存储卷，生成唯一的卷标识，并将所述卷标识返回给所述计算资源调度器；

所述计算资源调度器将所述存储卷挂载到对应于所述虚拟机标识的虚拟机上，建立所述卷标识和所述虚拟机之间的关联关系，生成唯一的关联关系标识。

结合第一方面的第十六种可能的实现方式，在第十七种可能的实现方式中，所述方法进一步包括：

所述计算资源调度器将所述虚拟机标识、所述卷标识和所述关联关系标识写入所述计算资源调度器所属数据中心的分布式数据库；

所述分布式数据库将所述虚拟机标识、所述卷标识和所述关联关系标识同步至其他目的数据中心中的分布式数据库。

本发明实施例提供的资源发放方法，通过部署在每个数据中心中的分布式云操作系统之间的交互，执行相应的资源发放步骤，使所有数据中心的基础设施资源成为一个统一的“逻辑资源池”，实现了资源的全局拉通，可以进行跨物理数据中心的资源弹性调度。从而提高了数据中心的资源利用率、简化了管理维护运营、降低了网络连接故障或流量拥塞发生的概率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例。

图1为本发明实施例提供的资源发放方法的流程框图；

图2为本发明实施例提供的资源发放方法应用于具体场景时的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

需要说明的是，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

进一步需要说明的是，本文中所述的数据中心指的是计算资源、存储资源和网络资源的集合，可以是物理位置上的数据中心，也可以是逻辑概念上的数据中心。相应的，本文所述的方法既可以应用于物理位置上的数据中心，也可以应用于逻辑概念上的数据中心，只要这个数据中心中包含了计算资源、存储资源和网络资源。

本发明实施例提供的技术方案通过在每一个数据中心中，部署同样的分布式云操作系统，将企业分层管理及逐级网络互联的传统数据中心架构，改造为全扁平式管理、点到点全互联的分布式数据中心架构。在该架构中，全网各个物理数据中心节点尽管容纳的资源数量及业务类型各不相同，但从管理调度视角看可以是完全对等的关系，可以不再有主从式管理从属关系，所有基础设施资源作为一个统一的“逻辑资源池”,实现资源全局拉通，进行跨物理数据中心的资源弹性调度。解决了传统数据中心架构面临的资源利用率低、管理维护运营复杂、网络连接故障或流量拥塞发生的概率高的问题。

为了更加清楚的理解本发明实施例提供的技术方案，有必要对部署在每个数据中心中的分布式云操作系统做一简单介绍。该系统主要包括：

跨数据中心调度器：用于进行跨多个数据中心的资源发放；

智能资源路由模块：通过分析资源请求消息中的参数，得到需要申请资源的数据中心列表；

分布式数据库：负责存放分布式云数据中心的全局数据，在每一个数据中心内，都可以从分布式数据库中看到同样的数据；

计算资源调度器：负责本数据中心内计算资源的发放，挂载（attach）存储资源和加入到虚拟网络中；

存储资源调度器：负责本数据中心内存储资源的发放；

网络总调度器：负责建立全局性虚拟网络、虚拟子网、虚拟业务网关，其中所述虚拟网络包括一个或多个虚拟子网，所述虚拟子网可以分布在一个或多个数据中心；

网络控制器：负责数据中心内的软件定义网络的调度，管理虚拟交换机（virtual switch，简称为vSwitch）和端口，以及计算资源加入虚拟网络时端口与虚拟可扩展本地局域网（virtual extensible local areanetwork，简称为VxLAN）的映射；

虚拟业务网关（virtual service gateway，简称为VSG）管理器：负责创建虚拟网络的虚拟业务网关，如路由（Route）服务、动态主机设置协议（Dynamic Host Configuration Protocol，简称为DHCP）Server服务、VxLAN网关服务、网络地址转换（Network Address Translation，简称为NAT）服务、访问控制列表（Access Control List，简称为ACL）服务、虚拟专用网络（virtual private network，简称为VPN）服务、软件负载均衡服务等中的一种或者几种服务；

镜像模板库：提供虚拟机创建需要的镜像文件和模板服务，模板可以描述单个虚拟机的规格要求，也可以包含多个虚拟机甚至组网（虚拟机之间的网络）的描述。

基于上述分布式数据中心架构和分布式云操作系统，本发明实施例提供了一种资源发放方法。图1为本发明实施例提供的资源发放方法的流程框图。如图1所示，所述资源发放方法包括以下步骤：

S10、第一数据中心接收资源请求消息，其中，所述第一数据中心为所述系统中接收到资源请求消息的任一数据中心；

需要说明的是，本发明实施例提供的资源发放方法应用于分布式数据中心架构，该架构包括两个或两个以上的物理数据中心，且该架构中所有的物理数据中心不管容纳的资源数量及业务类型是否相同，从管理调度视角看可以是完全对等的关系，各数据中心之间可以不再有主从式管理从属关系。所述第一数据中心为所述分布式数据中心架构中接收到资源请求消息的任一数据中心。

S20、所述第一数据中心根据所述资源请求消息分析得到发放资源的至少两个目的数据中心；

具体的，所述第一数据中心的跨数据中心调度器接收到资源请求消息后，将所述资源请求消息转发给所述第一数据中心的智能资源路由模块，其中，所述资源请求消息中包括租户标识和资源模板标识；所述智能资源路由模块根据所述租户标识和资源模板标识，通过查询所述第一数据中心的镜像模板库，获取和所述资源模板标识对应的资源模板信息，所述资源模板信息包括虚拟机描述参数列表和/或网络资源规格参数；所述智能资源路由模块根据所述租户标识和所述资源模板信息查询所述第一数据中心的分布式数据库，获取和所述租户标识以及所述资源模板信息对应的目的数据中心列表。

如果所述资源请求消息中还携带参数：指定数据中心、指定数据中心标识列表，则将所述获取的目的数据中心列表与所述指定数据中心标识列表进行取交集运算；

如果所述资源请求消息中还包括跨数据中心资源分配策略（如，资源平均分配、按空闲资源比例分配等），则根据所述跨数据中心资源分配策略对所述获取到的目的数据中心列表进行分析，得到符合所述跨数据中心资源分配策略的目的数据中心列表。

S30、创建虚拟网络；

需要说明的是，所述虚拟网络包括一个或多个虚拟子网，所述虚拟子网可以分布在一个或多个数据中心；

具体的，所述第一数据中心的跨数据中心调度器向所述第一数据中心的网络总调度器发送创建虚拟网络的请求，所述创建虚拟网络的请求携带所述租户标识和所述网络资源规格参数中的网络名称；

所述网络总调度器向所述第一数据中心的网络控制器发送所述创建虚拟网络的请求；

所述网络控制器根据所述租户标识和网络名称创建虚拟网络，并把所述虚拟网络的信息写入所述第一数据中心的分布式数据库，其中，所述虚拟网络的信息包括网络标识（identity，简称为ID）、网络状态、所述网络名称和租户标识；

所述第一数据中心的分布式数据库将所述虚拟网络的信息同步至所述系统中其他数据中心的分布式数据库。

进一步的，所述第一数据中心的跨数据中心调度器通过分析所述资源模板信息，确定需创建虚拟子网的目的数据中心；

通过所述网络总调度器向所述网络控制器发送创建虚拟子网的请求，所述请求中包括下列参数：所述租户标识、所述网络ID、所述子网名称、子网无类型域间选路（Classless Inter-Domain Routing，简称为CIDR）、子网互联网协议（internet protocol，简称为IP）地址版本号、子网网关IP地址、是否启动DHCP分配IP地址、DHCP IP地址池、所述待创建虚拟子网的数据中心标识列表、跨数据中心子网切分模式；

所述网络控制器根据所述租户标识、网络ID和子网名称创建虚拟子网(包括为虚拟子网分配全局唯一的VxLAN ID)，并把所述虚拟子网的信息写入所述分布式数据库，其中，所述虚拟子网的信息包括所述租户标识、所述网络ID、所述子网名称、子网ID、VxLAN ID、所述子网CIDR、所述IP地址版本号；

所述分布式数据库将所述虚拟子网的信息同步至所述系统中其他数据中心的分布式数据库。

进一步的，如果所述待创建虚拟子网的数据中心标识列表中包括至少两个数据中心且要求为所述虚拟子网启动DHCP分配IP地址，则所述网络控制器对待分配的所述DHCP IP地址池按照所述跨数据中心子网切分模式进行IP地址切分和网关设置；

所述网络控制器向所述待创建虚拟子网的数据中心标识列表中的每个数据中心的网络总调度器发送创建虚拟子网的请求，所述请求中包括下列参数：所述租户标识、所述网络ID、所述子网名称、所述子网ID、所述VxLANID、所述子网CIDR、所述IP地址版本号、所述是否启动DHCP分配IP地址、分割后设置的子网网关IP地址和分割后DHCP IP地址池；

所述待创建虚拟子网的数据中心标识列表中的每个数据中心的网络总调度器向各自所在的数据中心的网络控制器发送所述创建虚拟子网的请求。

进一步的，如果收到所述创建虚拟子网请求的网络控制器判断所述创建虚拟子网请求的参数中指示的虚拟子网已经存在，则在本数据中心内创建虚拟业务网关。

其中，在本数据中心内创建虚拟业务网关，具体包括：

所述收到所述创建虚拟子网请求的网络控制器向本数据中心的VSG管理器发送网关服务请求，所述网关服务请求中携带如下参数：所述子网ID、所述是否启动DHCP分配IP地址、分割后DHCP IP地址池、所述VxLAN ID和所述分割后设置的子网网关IP地址；

所述VSG管理器向其管理的软件业务网关增加网关服务和DHCP服务。

其中，所述增加网关服务和DHCP服务，具体包括：

如果已经具备网关服务能力的VSG虚拟机还有能力为新的虚拟子网提供VSG服务，则在所述已有的VSG虚拟机中增加网卡，设置所述网卡的IP地址为所述创建虚拟子网请求的参数中携带的所述分割后设置的子网网关IP地址，并启动DHCP服务，配置分割后DHCP IP地址池；或者

创建新的VSG虚拟机，在所述新创建的VSG虚拟机中增加两块网卡，其中一块网卡用于连接外网，从外网获取IP地址或者配置固定IP地址，另一块网卡用于连接虚拟子网，配置该网卡的IP地址为所述创建虚拟子网请求的参数中携带的所述分割后设置的子网网关IP地址，并启动DHCP服务，配置分割后DHCP IP地址池。

进一步的，所述网络控制器接收所述VSG管理器返回的网关服务消息，所述消息包括VSG虚拟机标识；

根据所述VSG虚拟机标识判断所述VSG虚拟机是否已经加入所述虚拟子网，如果所述VSG虚拟机未加入所述虚拟子网，则在所述虚拟子网上创建一个端口，将所述VSG虚拟机绑定至该端口。

S40、向所述至少两个目的数据中心创建虚拟机；

具体的，所述第一数据中心的跨数据中心调度器指示所述至少两个目的数据中心中的计算资源调度器在各自所属的数据中心中创建虚拟机。

S50、把所述虚拟机加入到所述虚拟网络。

具体的，

所述至少两个目的数据中心中的计算资源调度器通过各自所属数据中心中的网络总调度器请求本数据中心中的网络控制器在虚拟子网上分别为所述虚拟机创建端口；

所述网络控制器根据端口创建请求中携带的子网ID获得虚拟子网的信息，根据所述虚拟子网的信息在虚拟子网上为所述虚拟机创建端口，并将所述虚拟机绑定至该端口；

所述计算资源调度器获得所述虚拟机加入到所述虚拟子网的端口信息，确定所述虚拟机成功加入所述虚拟子网后，将虚拟机ID和端口ID之间的映射关系写入所述计算资源调度器所属数据中心中的分布式数据库；

所述分布式数据库将所述虚拟机ID和端口ID之间的映射关系同步至其他目的数据中心中的分布式数据库。

进一步的，还可以为所述虚拟机分配存储资源，具体包括：

所述至少两个目的数据中心中的计算资源调度器向各自所属数据中心中的存储资源调度器分别发送创建存储资源的请求，所述请求中携带如下参数：虚拟机标识、存储大小、磁盘访问服务质量（Quality of Service，简称为QoS）等级和虚拟机所在的主机集群；

所述存储资源调度器根据所述请求中携带的参数选择具体的存储资源，在选定的存储资源上创建满足所述磁盘访问QoS等级和所述存储大小的存储卷，生成唯一的卷标识，并将所述卷标识返回给所述计算资源调度器；

所述计算资源调度器把所述存储卷挂载到虚拟机标识所代表的虚拟机，建立卷标识和虚拟机之间的关联关系，生成唯一的关联关系标识；

所述计算资源调度器将所述虚拟机标识、所述卷标识和所述关联关系标识写入本数据中心的分布式数据库；

所述分布式数据库将所述虚拟机标识、所述卷标识和所述关联关系标识同步至其他目的数据中心的分布式数据库。

本发明实施例提供的资源发放方法，通过部署在每个数据中心中的分布式云操作系统之间的交互，执行相应的资源发放步骤，使所有数据中心的基础设施资源成为一个统一的“逻辑资源池”，实现了资源的全局拉通，可以进行跨物理数据中心的资源弹性调度。从而提高了数据中心的资源利用率、简化了管理维护运营、降低了网络连接故障或流量拥塞发生的概率。

为了更清楚地理解本发明实施例的技术方案，下面将结合具体的应用场景对本发明实施例的技术方案做进一步的说明。

图2为本发明实施例提供的资源发放方法应用于具体场景时的流程示意图。在图2中，有三个数据中心，其中数据中心1收到来自租户的资源请求。需要说明的是，在实际应用中，任何一个数据中心都可以接受租户的资源请求，所有数据中心的功能都是对等的。如图2所示，具体的资源发放流程包括以下步骤：

（1）数据中心1的跨数据中心调度器接收资源请求消息，消息参数带有租户标识、资源模板标识、是否指定数据中心、指定数据中心标识列表以及跨数据中心资源分配策略（如，资源平均分配、按空闲资源比例分配等）。

（2）所述跨数据中心调度器收到请求消息后，把该请求消息转发到数据中心1的智能资源路由模块，请求进行参数分析。

（3）所述智能资源路由模块向数据中心1的镜像模板库查询资源模板标识对应的资源模板中需要分配的具体资源要求。

（4）所述镜像模板库向所述智能资源路由模块返回需要分配资源的具体参数要求：

虚拟机描述参数列表：描述参数列表中的每一项都包含一个虚拟机的创建要求，包括虚拟机分配数量、虚拟机规格标识（通过虚拟机规格标识可以获取得到虚拟机的规格信息如虚拟机中央处理器（central processingunit，简称为CPU）主频、CPU个数、内存大小、磁盘个数、每个磁盘的存储大小、磁盘访问QoS等级(用于选择磁盘存储类型：固态硬盘、直连硬盘、外置存储等）、每个磁盘备份模式、虚拟网卡个数、每个虚拟网卡的带宽）、虚拟机镜像链接、物理计算资源还是虚拟计算资源、CPU类型（如果是物理计算资源，指定物理机的CPU类型）、HyperVisor类型CPU类型（如果是请求虚拟计算资源，指定HyperVisor类型）、是否启动高可用性（HightAvailability，简称为HA）、是否启动故障冗余（fault tolerance，简称为FT）、是否需要容灾、容灾类型（同步容灾、异步容灾）、容灾模式（双活、主备模式）、虚拟机启动参数、虚拟机配置参数、安全组、其他参数。

网络资源规格参数：网络名称、子网名称、子网CIDR、子网IP地址版本号、子网网关IP地址、是否启动DHCP分配IP地址、DHCP IP地址池、外网IP地址列表、子网QoS参数（包括网络带宽下限、网络带宽上限、网络抖动上限、网络抖动下限、网络时延上限、网络时延下限、网络丢包率上限、网络丢包率下限）、跨数据中心子网切分模式（模式1：均分IP地址，每个数据中心部署网关；模式2：单网关单IP地址池）。

资源请求消息的参数中可以包含虚拟机描述参数列表和/或网络资源规格参数中的一类参数或者几类参数。当虚拟机描述参数列表中包含容灾相关参数时（容灾类型、容灾模式），一般同时会包含网络资源规格参数中的子网QoS参数，以确定容灾的网络要求。

（5）所述智能资源路由模块根据租户标识，查询数据中心1的分布式数据库，通过租户标识获得可以申请资源的数据中心列表集合，如果“是否指定数据中心”参数为“是”，则和“指定数据中心标识列表”进行取交集运算，得到初步分析后的数据中心列表集合。

智能资源路由模板根据镜像模板库返回的虚拟机描述参数列表、网络资源规格参数等，以及初步分析获得的数据中心列表集合、跨数据中心资源分配策略（如，资源平均分配、按空闲资源比例分配等）进行目的数据中心列表的分析：

首先，智能资源路由模板从数据中心列表集合中取出第一个数据中心列表，根据虚拟机描述参数列表中的虚拟机具体要求和跨数据中心资源分配策略，检查列表中的每个数据中心是否有满足条件的计算和存储资源。如果有足够的计算资源和存储资源，检查是否有网络资源规格参数，如果有网络资源规格参数要求，则分析数据中心间和数据中心内的网络是否满足子网QoS参数的要求。根据计算资源、存储资源和网络资源要求，可以分析出虚拟机分配时是否需要在特定的主机集群创建。如果数据中心列表的数据中心满足计算资源、存储资源以及数据中心间的网络参数要求，则该数据中心列表为符合要求的数据中心列表。如果计算资源、存储资源或者网络资源规格参数有任意一个参数不满足要求，则认为该数据中心列表不是符合要求的数据中心列表。

重复上述计算资源、存储资源和网络资源的分析，直到数据中心列表集合中的所有数据中心列表都分析完成为止，对符合要求的数据中心列表集合按照满足程度多少从高到低进行排序，得到符合资源发放要求的目的数据中心列表集合。该目的数据中心列表集合中每一个数据中心列表包含如下信息{[网络资源规格参数]、[数据中心标识,虚拟机描述参数列表]}，其中，数据中心标识和虚拟机描述参数列表是“和”的关系，[网络资源规格参数]和[数据中心标识,虚拟机描述参数列表]是“和/或”的关系。

（6）智能资源路由模块向跨数据中心调度器返回目的数据中心列表集合，集合中的每一个列表包含{[网络资源规格参数]、[数据中心标识,虚拟机描述参数列表]}这些信息。

（7）跨数据中心调度器取出上述目的数据中心列表集合中第一个数据中心列表，启动资源发放事务。以下第（8）步到第（49）步为一个完整的资源发放事务。在整个资源发放事务中，如果有一个资源发放失败，则整个事务进行回滚，事务中已经发放的资源都被完全释放。

（8）数据中心1的跨数据中心调度器检查数据中心列表中的{[网络资源规格参数]、[数据中心标识,虚拟机描述参数列表]}的信息。如果包含网络资源规格参数，则所述跨数据中心调度器判断在租户标识下网络名称所代表的虚拟网络是否存在，如果不存在，则向其所在数据中心的网络总调度器发出创建虚拟网络的请求，参数带有租户标识、网络名称。

（9）数据中心1的网络总调度器判断请求为创建虚拟网络，则向本数据中心的网络控制器发出创建虚拟网络的请求。

（10）所述网络控制器根据租户标识、网络名称参数为该租户创建一个虚拟网络，生成唯一网络标识：网络ID，初始化网络状态为激活状态。把新创建虚拟网络的网络ID、网络名称、租户标识和网络状态写入分布式数据库，同时要求分布式数据库同步该虚拟网络信息到所有数据中心。

（11）所述分布式数据库向其他数据中心（图2中为数据中心2和数据中心3）的分布式数据库更新新创建的虚拟网络信息,包括租户标识、网络ID、网络名称、网络状态。

（12）所述分布式数据库向数据中心1的网络控制器返回数据库更新结果。

（13）如果数据库更新成功，则所述网络控制器向所述网络总调度器返回新创建虚拟网络的信息，包括租户标识、网络ID、网络名称、网络状态。如果数据库更新失败，则向网络总调度器返回创建虚拟网络失败。

（14）所述网络总调度器向所述跨数据中心调度器返回新创建虚拟网络的信息。

（15）所述跨数据中心调度器检查虚拟网络的信息，如果虚拟网络创建失败，则终止流程。如果虚拟网络信息成功增加到数据库，则检查{[网络资源规格参数]、[数据中心标识,虚拟机描述参数列表]}，根据租户标识、网络名称和子网名称判断子网名称所代表的子网是否存在。如果不存在，需要创建子网，分析参数{[网络资源规格参数]、[数据中心标识,虚拟机描述参数列表]}获得待创建虚拟子网的数据中心列表。当数据中心列表中的数据中心个数大于1时，表明需要在数据中心列表中的所有数据中心创建虚拟子网，否则表示仅仅在指定的这个数据中心创建虚拟子网。如果仅仅在指定的这个数据中心（图2中为数据中心1）创建虚拟子网，则所述跨数据中心调度器向数据中心1的网络总调度器发出创建虚拟子网的请求，请求中携带参数租户标识、网络ID、子网名称、子网CIDR、子网IP地址版本号、子网网关IP地址、是否启动DHCP分配IP地址、数据中心标识列表、跨数据中心子网切分模式（模式1：均分IP地址，每个数据中心部署网关；模式2：均分IP地址，单网关模式）。

（16）所述网络总调度器向其所在数据中心的网络控制器发出创建虚拟子网的请求，请求中携带参数租户标识、网络ID、子网名称、子网CIDR、子网IP地址版本号、子网网关IP地址、是否启动DHCP分配IP地址、DHCPIP地址池、数据中心标识列表、跨数据中心子网切分模式（模式1：均分IP地址，每个数据中心部署网关；模式2：单网关单IP地址池）。

（17）所述网络控制器根据租户标识、网络ID、子网名称参数为该租户创建一个虚拟子网，生成唯一子网标识：子网ID，申请全局唯一的VxLANID，设置子网属性为参数中的子网CIDR、子网IP地址版本号。所述网络控制器把虚拟子网的信息：租户标识、网络ID、子网名称、子网ID、VxLAN ID、子网CIDR、子网IP地址版本号写入数据中心1的分布式数据库中。同时要求分布式数据库同步虚拟子网信息到所有数据中心。

（18）数据中心1的分布式数据库向其他数据中心（图2中为数据中心2和数据中心3）的分布式数据库更新新创建的虚拟子网信息,包括租户标识、网络ID、子网名称、子网ID、VxLAN ID、子网CIDR、子网IP地址版本号。

（19）数据中心1的分布式数据库向本数据中心的网络控制器返回数据库更新结果。

（20）数据中心1的网络控制器继续分析虚拟子网的数据中心标识列表和跨数据中心子网切分模式（模式1：均分IP地址，每个数据中心部署网关；模式2：单网关单IP地址池）。如果数据中心标识列表大于1个数据中心且参数要求为子网启动DHCP分配IP地址，则对待分配的DHCP IP地址池进行按照跨数据中心子网切分模式（模式1：均分IP地址，每个数据中心部署网关；模式2：单网关单IP地址池）进行IP地址切分和网关IP地址设置。

在模式1下平均分割IP地址并设置不同的子网网关IP地址：假如CIDR为192.168.0.0/24,IP地址版本号为IPV4，DHCP IP地址池为192.168.0.1～192.168.0.254，同时数据中心标识列表包含数据中心2和数据中心3，则该子网在数据中心2的DHCP IP地址池是192.168.0.2～192.168.0.127，网关IP地址是192.168.0.1；该子网在数据中心3的DHCP IP地址池是192.168.0.129～192.168.0.254，网关IP地址是192.168.0.128。在模式2下单网关单IP地址池，不分割IP地址，但是对第一个数据中心设置子网网关IP地址：假如CIDR为192.168.0.0/24,IP地址版本号为IPV4，DHCP IP地址池为192.168.0.1～192.168.0.254，同时数据中心标识列表包含数据中心2和数据中心3，则该子网在数据中心2的DHCP IP地址池是192.168.0.2～192.168.0.254，网关IP地址是192.168.0.1；该子网在数据中心3的DHCP IP地址池是192.168.0.2～192.168.0.254，是否启动DHCP服务设置为否，网关IP为无效IP地址。向数据中心标识列表中的每一个数据中心（图2中为数据中心2和数据中心3）的网络总调度器发出创建虚拟子网的请求，请求中携带参数：租户标识、网络ID、子网名称、子网ID、VxLAN ID、子网CIDR、子网IP地址版本号、是否启动DHCP分配IP地址、分割后设置的子网网关IP地址、分割后的DHCP IP地址池。

如果数据中心标识列表只包含一个数据中心标识，则不进行DHCP IP地址池的分割和子网网关IP地址的重新设置。

（21）数据中心2和数据中心3的网络总调度器分别向各自所在数据中心的网络控制器发出创建虚拟子网的请求，请求中携带参数：租户标识、网络ID、子网名称、子网ID、VxLAN ID、子网CIDR、子网IP地址版本号、是否启动DHCP分配IP地址、分割后设置的子网网关IP地址、分割后的DHCPIP地址池。

需要说明的是：由于在数据中心2和数据中心3中创建虚拟子网的过程相同，为了描述方便，以下的步骤（22）-步骤（28）仅以数据中心2为例进行阐述。

（22）数据中心2的网络控制器判断创建虚拟子网请求参数中虚拟子网已经存在，且无数据中心列表，则在本数据中心内继续虚拟子网虚拟业务网关创建工作。如果子网网关IP地址有效，表明需要申请网关服务，所述网络控制器向本数据中心的VSG管理器发送网关服务请求，参数中携带子网ID、是否启动DHCP分配IP地址、分割后DHCP IP地址池、VxLAN ID、分割后设置的子网网关IP地址。

（23）所述VSG管理器向其管理的软件业务网关增加网关服务和DHCP服务。增加网关服务和DHCP服务有两种方式：

方式一：如果已经具备网关服务能力的VSG虚拟机还有能力为新的虚拟子网提供VSG服务（如，Route服务、DHCP Server服务、VxLAN网关服务、NAT服务、ACL服务、VPN服务、软件负载均衡服务中的一种服务或者几种服务），则在该已有的VSG虚拟机中增加网卡，设置该网卡的IP地址为创建虚拟子网请求参数中的网关IP地址，并启动DHCP服务，配置分割后DHCP IP地址池；

方式二：新创建VSG虚拟机，在该虚拟机中增加两块网卡，一块网卡用于连接外网，从外网获取IP地址或者配置固定IP地址，另一块网卡用于连接虚拟子网，配置该网卡的IP地址为创建虚拟子网请求参数中的网关IP地址，并启动DHCP服务，配置分割后DHCP IP地址池。

VSG管理器建立虚拟子网ID和新增加VSG虚拟机、网关服务及网卡的映射关系。VSG管理器向本数据中心的网络控制器返回网关服务请求的结果，包括VSG虚拟机标识、新增加网卡的MAC地址。

（24）所述网络控制器收到VSG管理器返回的网关服务消息，判断返回的VSG虚拟机是否已经加入虚拟子网。如果VSG虚拟机未加入虚拟子网，则在虚拟子网上创建一个端口：所述网络控制器向VSG虚拟机所在的主机下发VSG虚拟机绑定到虚拟子网的命令，携带参数包括：租户标识、虚拟网络ID、虚拟子网ID、VSG虚拟机的MAC地址、端口状态为激活态、网关IP地址、VSG虚拟机标识。VSG虚拟机所在的主机部署了网络控制器的代理，该网络控制器的代理接收到命令后负责在该主机上管理虚拟交换机（virtual Switch，简称为vSwitch），在vSwitch上申请一个端口，并绑定VSG虚拟机的MAC地址，打上虚拟子网VxLAN的标识，并对这个端口分配一个唯一的端口标识：端口ID。成功绑定虚拟机后，所述网络控制器把端口信息写入本地数据库中。

（25）所述网络控制器判断是否开启DHCP服务参数，如果需要申请DHCP服务，则所述网络控制器向本数据中心的VSG管理器发送DHCP服务请求，参数中携带子网ID、分割后的DHCP IP地址池。

（26）所述VSG管理器根据子网ID获取该子网对应的VSG虚拟机。如果不能够获得VSG虚拟机，表明需要为该虚拟子网分配VSG虚拟机提供DHCP服务。申请VSG虚拟机有如下两种方式:

方式一：如果已经存在的VSG虚拟机还有能力为新的虚拟子网提供VSG服务（如，Route服务、DHCP Server服务、VxLAN网关服务、NAT服务、ACL服务、VPN服务、软件负载均衡服务中的一种服务或者几种服务），则在该已有的VSG虚拟机中增加网卡，设置该网卡的IP地址为IP地址池的第一个IP地址。

方式二：新创建VSG虚拟机，在该虚拟机中增加一网卡，该网卡用于连接虚拟子网，配置该网卡的IP地址为IP地址池的第一个IP地址。

在该VSG虚拟机下启动DHCP服务，设置该DHCP服务可分配的IP地址为分割后的DHCP IP地址池,DHCP服务绑定虚拟子网的网关IP地址，为该虚拟子网提供DHCP服务。所述VSG管理器启动DHCP服务。所述VSG管理器向所述网络控制器返回DHCP服务请求的结果，包括VSG虚拟机标识、新增加网卡的MAC地址。

（27）所述网络控制器收到返回结果，并判断VSG虚拟机是否已经加入虚拟子网，如果没有加入虚拟子网，则进行第（24）步VSG虚拟机加入虚拟子网的操作。之后，所述网络控制器向本数据中心的网络总调度器返回虚拟子网信息。

（28）所述网络总调度器向数据中心1的网络控制器返回虚拟子网信息。

同理，对于数据中心3来说，执行完上述第（22）步-第（27）步后，数据中心3的网络总调度器也向数据中心1的网络控制器返回虚拟子网创建结果。

（29）数据中心1的网络控制器向数据中心1的网络总调度器返回虚拟子网信息。

（30）数据中心1的网络总调度器向数据中心1的跨数据中心调度器返回虚拟子网信息，包括：租户标识、网络ID、子网名称、子网ID、子网CIDR、子网IP地址版本号、子网网关IP地址、是否启动DHCP分配IP地址、IP地址池、VxLAN ID以及跨数据中心子网切分模式。

（31）数据中心1的跨数据中心调度器检查数据中心列表中{[网络资源规格参数]、[数据中心标识,虚拟机描述参数列表]}中的虚拟机信息，向每一个需要创建虚拟机的数据中心下发虚拟机创建任务，这些任务是并行下发的。当有多个不同规格的虚拟机需要创建的时候，所述跨数据中心调度器分别下发多个创建虚拟机的任务。当需要批量创建相同规格的虚拟机时，调用批量创建的接口，带上需创建虚拟机的数量。图2中示例为向数据中心2和数据中心3中的计算资源调度器下发单个虚拟机创建任务，携带参数包括：虚拟机规格标识（通过虚拟机规格标识可以获得虚拟机的规格信息，如虚拟机CPU主频、CPU个数、内存大小、磁盘个数、每个磁盘的存储大小、磁盘访问QoS等级(用于选择磁盘存储类型：固态硬盘、直连硬盘、外置存储等）、每个磁盘备份模式、虚拟网卡个数、每个虚拟网卡的带宽）、虚拟机镜像链接、物理计算资源还是虚拟计算资源、CPU类型（如果是物理计算资源，指定物理机的CPU类型）、HyperVisor类型CPU类型（如果是请求虚拟计算资源，指定HyperVisor类型）、是否启动HA、是否启动FT、是否需要容灾、容灾类型（同步容灾、异步容灾）、容灾模式（双活、主备模式）、虚拟机启动参数、虚拟机配置参数、安全组、指定主机集群、待加入的虚拟子网标识列表、其他参数。

需要说明的是：由于在数据中心2和数据中心3中创建虚拟机并加入虚拟子网的过程相同，为了描述方便，以下的步骤（32）-步骤（49）仅以数据中心2为例进行阐述。

（32）数据中心2的计算资源调度器创建虚拟机逻辑对象，为虚拟机创建唯一标识，记录虚拟机的参数信息。

（33）所述计算资源调度器把虚拟机信息写入数据中心2的分布式数据库，不需要同步到其他数据中心。

（34）所述分布式数据库向所述计算资源调度器返回数据库更新结果。

（35）所述计算资源调度器向数据中心1的跨数据中心调度器返回虚拟机标识。

（36）所述数据中心1的跨数据中心调度器向数据中心2的计算资源调度器轮询虚拟机的创建状态，携带参数为虚拟机标识，直到虚拟机创建成功后结束虚拟机创建任务。

需要说明的是，所述跨数据中心调度器可以周期性的向数据中心2和3的计算资源调度器轮询虚拟机的创建状态，直至本次资源发放事务结束。

（37）数据中心2的计算资源调度器对计算资源进行调度：根据虚拟机规格标识获得虚拟机的规格：虚拟机CPU主频、CPU个数、内存大小、磁盘个数、每个磁盘的存储大小，判断虚拟机建立的资源条件：磁盘访问QoS等级，物理计算资源还是虚拟计算资源、CPU类型（如果是物理计算资源，指定物理机的CPU类型）、HyperVisor类型CPU类型（如果是请求虚拟计算资源，指定HyperVisor类型），选定满足所有条件的主机。如果参数中指定主机集群，则在指定的主机集群中选择一个主机。在选中的主机上，根据参数的镜像链接，从数据中心2的镜像模板库中获得镜像，创建虚拟机。

虚拟机根据虚拟机启动参数、虚拟机配置参数进行虚拟机的启动和配置。

（38）数据中心2的计算资源调度器逐一从待加入的虚拟子网标识列表中取出虚拟子网ID，向本数据中心的网络总调度器发出创建端口的请求，请求中携带参数：网络ID、子网ID、虚拟机标识、加入该虚拟子网的虚拟机网卡的MAC地址及端口初始状态（激活态）。

（39）所述网络总调度器把创建端口的请求消息转发给数据中心2的网络控制器。

（40）所述网络控制器根据子网ID获得虚拟子网的信息：租户标识、网络ID、子网名称、子网ID、VxLAN ID、子网CIDR、子网IP地址版本号。然后向虚拟机所在的主机下发虚拟机绑定到虚拟子网的命令，携带参数包括：租户标识、网络ID、子网ID、虚拟机标识、虚拟机的MAC地址、端口状态。虚拟机所在的主机上部署了网络的代理，该网络的代理接收到命令后负责在该主机上管理vSwitch，在vSwitch上申请一个端口，并绑定虚拟机的MAC地址，打上虚拟子网VxLAN的标识，虚拟机加入到VxLAN二层网络后，从该虚拟子网的DHCP服务器中获得IP地址。所述网络控制器对这个端口分配一个唯一的端口标识：端口ID。成功绑定虚拟机后，所述网络控制器把端口信息写入数据库中。所述网络控制器向本数据中心的网络总调度器返回端口信息：端口ID，租户标识、网络ID、子网ID、虚拟机标识、虚拟机的MAC地址、虚拟机IP地址，端口状态。

（41）所述网络总调度器向本数据中心的计算资源调度器返回虚拟机加入到虚拟子网的端口信息：端口ID，租户标识、网络ID、子网ID、虚拟机标识、虚拟机的MAC地址、虚拟机IP地址，端口状态。

（42）所述计算资源调度器获得虚拟机加入到虚拟子网的端口信息，判断虚拟机成功加入到虚拟子网后，把虚拟机ID、端口ID之间的映射关系写入数据中心2的分布式数据库，并同步到其他数据中心。

（43）数据中心2的分布式数据库向本数据中心的计算资源调度器返回数据库更新结果。

（44）所述计算资源调度器根据磁盘个数、每个磁盘的存储大小、磁盘访问QoS等级向数据中心2的存储资源调度器发出创建存储资源的请求，请求中携带参数：虚拟机标识、存储大小、磁盘访问QoS等级、虚拟机所在的主机集群。

（45）所述存储资源调度器根据参数：虚拟机标识、存储大小、磁盘访问QoS等级及虚拟机所在的主机集群，选择具体的磁盘存储类型：固态硬盘、直连硬盘、外置存储等。在选定的磁盘上创建满足磁盘访问QoS等级、存储大小的卷。生成唯一的卷标识：卷ID。向所述计算资源调度器返回卷标识。

（46）所述计算资源调度器把卷挂载到虚拟机标识所代表的虚拟机，建立卷标识和虚拟机之间的关联关系，生成唯一的关联关系标识。

（47）如果成功挂载了卷，所述计算资源调度器把虚拟机ID、卷标识和关联关系标识写入数据中心2的分布式数据库，并同步到其他数据中心。

（48）所述分布式数据库向所述计算资源调度器返回数据库更新结果。如果还需要创建其他卷，则重复第（45）-（47）步，直到所有卷创建挂载成功。

（49）当数据中心1的跨数据中心调度器通过轮询虚拟机创建任务执行结果，获知数据中心2和3分别完成上述资源发放事务后，数据中心1的跨数据中心调度器结束第一个数据中心列表的资源发放事务，如果在事务中任何一步资源申请失败，则释放本事务中所有分配的资源。然后选取数据中心列表集合中的次优数据中心列表，重复资源发放事务，重复次数以系统配置为上限。

（50）数据中心1的跨数据中心调度器返回资源发放结果，如果成功，返回发放的计算资源、存储资源和网络资源。

本发明实施例提供的资源发放方法，通过部署在每个数据中心中的分布式云操作系统之间的交互，执行相应的资源发放步骤，使所有数据中心的基础设施资源成为一个统一的“逻辑资源池”，实现了资源的全局拉通，可以进行跨物理数据中心的资源弹性调度。从而提高了数据中心的资源利用率、简化了管理维护运营、降低了网络连接故障或流量拥塞发生的概率。

应理解，在本发明实施例中，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的实施例中，应该理解到，所揭露的系统，可以通过其它的方式实现。例如，以上所描述的实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (18)

1.一种资源发放方法，应用于分布式数据中心系统，所述系统包括至少两个数据中心，其特征在于，所述方法包括：

第一数据中心接收资源请求消息，其中，所述第一数据中心为所述系统中接收到资源请求消息的任一数据中心；

所述第一数据中心根据所述资源请求消息分析得到发放资源的至少两个目的数据中心；

创建虚拟网络；

向所述至少两个目的数据中心创建虚拟机；

把所述虚拟机加入到所述虚拟网络。

2.根据权利要求1所述的资源发放方法，其特征在于，所述第一数据中心根据所述资源请求消息分析得到发放资源的至少两个目的数据中心，具体包括：

所述第一数据中心的跨数据中心调度器接收到资源请求消息后，将所述资源请求消息转发给所述第一数据中心的智能资源路由模块，其中，所述资源请求消息中包括租户标识和资源模板标识；

所述智能资源路由模块根据所述租户标识和资源模板标识，获取对应的资源模板信息，所述资源模板信息至少包括网络资源规格参数和虚拟机描述参数中的一种；

所述智能资源路由模块通过分析所述资源模板信息得到发放资源的至少两个目的数据中心。

3.根据权利要求2所述的资源发放方法，其特征在于，所述智能资源路由模块根据所述租户标识和资源模板标识，获取对应的资源模板信息，具体包括：

所述智能资源路由模块通过查询所述第一数据中心中的镜像模板库，获取对应于所述租户标识和资源模板标识的资源模板信息。

4.根据权利要求2或3所述的资源发放方法，其特征在于，所述智能资源路由模块通过分析所述资源模板信息得到发放资源的至少两个目的数据中心，具体包括：

所述智能资源路由模块根据所述租户标识和所述资源模板信息查询所述第一数据中心中的分布式数据库，获取和所述租户标识以及所述资源模板信息对应的至少两个目的数据中心。

5.根据权利要求1所述的资源发放方法，其特征在于，如果所述资源请求消息中包括跨数据中心资源分配策略，则所述方法进一步包括：

根据所述跨数据中心资源分配策略对所述至少两个目的数据中心进行分析，得到符合所述跨数据中心资源分配策略的目的数据中心。

6.根据权利要求2所述的资源发放方法，其特征在于，所述创建虚拟网络，具体包括：

所述第一数据中心的跨数据中心调度器向所述第一数据中心的网络总调度器发送创建虚拟网络的请求，所述创建虚拟网络的请求携带所述租户标识和所述网络资源规格参数中的网络名称；

所述第一数据中心的网络总调度器向所述第一数据中心的网络控制器发送所述创建虚拟网络的请求；

所述第一数据中心的网络控制器根据所述租户标识和网络名称创建虚拟网络，并把所述虚拟网络的信息写入所述第一数据中心的分布式数据库，其中，所述虚拟网络的信息包括网络ID、网络状态、所述网络名称和租户标识；

所述第一数据中心的分布式数据库将所述虚拟网络的信息同步至其他目的数据中心中的分布式数据库。

7.根据权利要求2或6所述的资源发放方法，所述创建虚拟网络进一步包括：

所述第一数据中心的跨数据中心调度器通过分析所述资源模板信息，确定需创建虚拟子网的目的数据中心；

通过所述第一数据中心的网络总调度器向所述第一数据中心的网络控制器发送创建虚拟子网的请求；

所述第一数据中心的网络控制器根据所述创建虚拟子网的请求创建虚拟子网，并把所述虚拟子网的信息写入所述第一数据中心的分布式数据库；

所述第一数据中心的分布式数据库将所述虚拟子网的信息同步至其他目的数据中心中的分布式数据库。

8.根据权利要求6所述的资源发放方法，其特征在于，所述创建虚拟网络，进一步包括：

所述第一数据中心的跨数据中心调度器通过分析所述资源模板信息，确定需创建虚拟子网的目的数据中心；

通过所述第一数据中心的网络总调度器向所述第一数据中心的网络控制器发送创建虚拟子网的请求，所述请求中包括下列参数：所述租户标识、所述网络ID、子网名称、子网无类型域间选路CIDR、子网互联网协议IP地址版本号、子网网关IP地址、是否启动动态主机设置协议DHCP分配IP地址、DHCP IP地址池、待创建虚拟子网的目的数据中心标识、跨数据中心子网切分模式；

所述第一数据中心的网络控制器根据所述租户标识、网络ID和子网名称创建虚拟子网，并把所述虚拟子网的信息写入所述第一数据中心的分布式数据库，其中，所述虚拟子网的信息包括所述租户标识、所述网络ID、所述子网名称、子网ID、虚拟可扩展本地局域网VxLAN ID、所述子网CIDR、所述IP地址版本号；

所述第一数据中心的分布式数据库将所述虚拟子网的信息同步至其他目的数据中心中的分布式数据库。

9.根据权利要求8所述的资源发放方法，其特征在于，如果所述创建虚拟子网的请求中要求为所述虚拟子网启动DHCP分配IP地址，且需创建虚拟子网的目的数据中心不少于两个，则所述方法进一步包括：

所述第一数据中心的网络控制器对待分配的所述DHCP IP地址池按照所述跨数据中心子网切分模式进行IP地址切分和网关设置；

所述第一数据中心的网络控制器向所述待创建虚拟子网的每个数据中心的网络总调度器发送创建虚拟子网的请求，所述请求中包括下列参数：所述租户标识、所述网络ID、所述子网名称、所述子网ID、所述VxLAN ID、所述子网CIDR、所述IP地址版本号、所述是否启动DHCP分配IP地址、分割后设置的子网网关IP地址和分割后DHCP IP地址池；

所述待创建虚拟子网的每个数据中心的网络总调度器向各自所在的数据中心中的网络控制器发送所述创建虚拟子网的请求。

10.根据权利要求9所述的资源发放方法，其特征在于，所述方法进一步包括：

收到所述创建虚拟子网请求的网络控制器判断所述创建虚拟子网请求中指示的虚拟子网已经存在，则在本数据中心内创建虚拟业务网关。

11.根据权利要求10所述的资源发放方法，其特征在于，所述在本数据中心内创建虚拟业务网关，具体包括：

所述收到所述创建虚拟子网请求的网络控制器向本数据中心的虚拟业务网关VSG管理器发送网关服务请求，所述网关服务请求中携带如下参数：所述子网ID、所述是否启动DHCP分配IP地址、分割后DHCP IP地址池、所述VxLAN ID和所述分割后设置的子网网关IP地址；

所述VSG管理器向其管理的软件业务网关增加网关服务和DHCP服务。

12.根据权利要求11所述的资源发放方法，其特征在于，所述增加网关服务和DHCP服务，具体包括：

如果已经具备网关服务能力的VSG虚拟机还有能力为新的虚拟子网提供VSG服务，则在所述已有的VSG虚拟机中增加网卡，设置所述网卡的IP地址为所述创建虚拟子网请求中携带的所述分割后设置的子网网关IP地址，并启动DHCP服务，配置分割后DHCP IP地址池；或者

创建新的VSG虚拟机，在所述新创建的VSG虚拟机中增加两块网卡，其中一块网卡用于连接外网，从外网获取IP地址或者配置固定IP地址，另一块网卡用于连接虚拟子网，配置该网卡的IP地址为所述创建虚拟子网请求中携带的所述分割后设置的子网网关IP地址，并启动DHCP服务，配置分割后DHCP IP地址池。

13.根据权利要求12所述的资源发放方法，其特征在于，所述方法进一步包括：

所述网络控制器接收所述VSG管理器返回的网关服务消息，所述消息包括VSG虚拟机标识；

根据所述VSG虚拟机标识判断所述VSG虚拟机是否已经加入所述虚拟子网，如果所述VSG虚拟机未加入所述虚拟子网，则在所述虚拟子网上创建一个端口，将所述VSG虚拟机绑定至该端口。

14.根据权利要求1所述的资源发放方法，其特征在于，所述向所述至少两个目的数据中心创建虚拟机，具体包括：

所述第一数据中心的跨数据中心调度器指示所述至少两个目的数据中心中的计算资源调度器在各自所属的数据中心中创建虚拟机。

15.根据权利要求1所述的资源发放方法，其特征在于，所述把所述虚拟机加入到所述虚拟网络，具体包括：

所述至少两个目的数据中心中的计算资源调度器通过各自所属数据中心中的网络总调度器请求本数据中心中的网络控制器在虚拟子网上分别为所述虚拟机创建端口；

所述网络控制器根据端口创建请求中携带的子网ID获得虚拟子网的信息，根据所述虚拟子网的信息在虚拟子网上为所述虚拟机创建端口，并将所述虚拟机绑定至该端口。

16.根据权利要求15所述的资源发放方法，其特征在于，所述方法进一步包括：

所述计算资源调度器获得所述虚拟机加入到所述虚拟子网的端口信息，确定所述虚拟机成功加入所述虚拟子网后，将虚拟机ID和端口ID之间的映射关系写入所述计算资源调度器所属数据中心中的分布式数据库；

所述分布式数据库将所述虚拟机ID和端口ID之间的映射关系同步至其他目的数据中心中的分布式数据库。

17.根据权利要求1所述的资源发放方法，其特征在于，所述方法进一步包括：

所述至少两个目的数据中心中的计算资源调度器向各自所属数据中心中的存储资源调度器分别发送创建存储资源的请求，所述请求中携带如下参数：虚拟机标识、存储大小、磁盘访问服务质量QoS等级和虚拟机所在的主机集群；

所述存储资源调度器根据所述请求中携带的参数选择具体的存储资源，在选定的存储资源上创建满足所述磁盘访问QoS等级和所述存储大小的存储卷，生成唯一的卷标识，并将所述卷标识返回给所述计算资源调度器；

所述计算资源调度器将所述存储卷挂载到对应于所述虚拟机标识的虚拟机上，建立所述卷标识和所述虚拟机之间的关联关系，生成唯一的关联关系标识。

18.根据权利要求17所述的资源发放方法，其特征在于，所述方法进一步包括：

所述计算资源调度器将所述虚拟机标识、所述卷标识和所述关联关系标识写入所述计算资源调度器所属数据中心的分布式数据库；

所述分布式数据库将所述虚拟机标识、所述卷标识和所述关联关系标识同步至其他目的数据中心中的分布式数据库。

Images