CN113867965A - 分布式云管理系统、管理方法、计算机可读存储介质及应用 - Google Patents

Abstract

本发明属于云管理技术领域，公开了一种分布式云管理平台系统、管理方法、计算机可读存储介质及应用，分布式云管理集群通过动态发现和注册，统一接入鉴权，统一的管理和配置管理中心，将分布于不同地区和位置的本地云管节点组成分布式云管集群，实现全网的统一管控和协同，统一配置管理和统一用户权限管理。将各个地区和各个数据中心的分散的小的云资源通过分布式的云管节点集群统一纳管和协同，组成可配置，可调度，可控制，可管理的一个大云。本发明能够满足未来云管理的全局化，可配置化，灵活化，分布式化，智能化的底层架构需求；基于规范，实现各种丰富的云服务，实现了基于底层分布式云管理架构的上层的应用的灵活性。

Description

分布式云管理系统、管理方法、计算机可读存储介质及应用

技术领域

本发明属于云管理平台技术领域，尤其涉及一种分布式云管理系统、管理方法、计算机可读存储介质及应用。

背景技术

随着云技术发展，分布式云逐渐成为云计算新形态，《云计算发展白皮书》指出，云计算正从中心向边缘延伸，云边协同成为分布式云的核心。分布式云一般根据部署位置的不同、基础设施规模的大小、服务能力的强弱等要素，分为三个业务形态：中心云、区域云和边缘云。中心云构建在传统的中心化云计算架构之上，部署在传统数据中心之中，提供全方面的云计算服务；区域云位于中心云和边缘云之间，一般按照需求部署在省会级数据之中；边缘云与中心云相对应，是构筑在靠近事物和数据源头的网络边缘处，提供可弹性扩展的云服务能力，并能够支持与中心云协同。边缘计算的兴起，使得如何为边缘侧赋能成为业界关注的热点。边缘的具体形态分为边缘云和边缘终端。边缘云是云计算向网络边缘侧进行拓展而产生的新形态，是未来产业关注重点，是连接云和边缘终端的重要桥梁。为了让“万物互联”的世界更加智能，通过将云计算的能力进行拓展，边缘云能够深入到传统中心云无法覆盖到的边缘应用场景。同时，分布式云通过云边协同，提供了一种更加全局化的弹性算力资源，为边缘侧提供有针对性的算力。

云管理平台(CMP)是提供对公有云、私有云和混合云整合管理的产品，提供的核心能力：提供多基础设施的整合能力；提供跨平台的编排能力，可以让用户灵活、高效地在不同云平台使用云资源；提供以服务目录为最主要载体的服务管理能力；提供多租户、多层次的资源访问管理能力；提供开放的接口来整合其他外围系统，最终实现管好云资源，用好云服务，控好云成本的目标。

现有技术一：CN201811115319.3一种私有云管理平台系统及其任务处理方法。本发明公开了一种私有云管理平台系统，包括云管理平台、网关以及若干个计算节点；网关，用于接收外部请求，并将外部请求分发至对应的计算节点内；计算节点，用于依据接收到的外部请求内容执行相应的基础服务；云管理平台，用于监测并统计各个计算节点的服务处理信息，并据此进行私有云管理平台系统的管理操作。本发明将原本由云管理平台承担的基础服务转移至计算节点来进行处理，分担了云管理平台的压力，且提高了私有云管理平台系统的稳定性和可靠性。本发明还公开了一种基于上述私有云管理平台系统的任务处理方法。

现有技术二：CN201810759323.7一种多节点部署对接OpenStack云管理平台的系统。本发明提供一种多节点部署对接OpenStack云管理平台的系统，每个计算节点分别与OpenStack云管理平台对接；安装包获取执行模块用于获取OpenStack云管理平台安装包，使用OpenStack云管理平台镜像制作启动盘，进入安装包执行安装；安装显示模块用于部署安装过程监控点，在计算节点显示安装进度及过程；节点配置模块用于完成安装操作后添加OpenStack虚拟控制执行部署对接；配置计算节点的OpenStack云管理平台ID，通信协议，用户名及密码，计算节点支持的端口安全协议，支持的网络类型；Openstack云平台为各个计算节点提供了稳定运行、可扩展、灵活性的技术支持。

现有技术三：CN202011438038.9基于云计算的装配式建筑可视化施工智能云管理平台。本发明公开基于云计算的装配式建筑可视化施工智能云管理平台，包括模型构建模块、模型划分模块、预制件分类模块、预制件分析模块、预制件统计模块、预制件对比模块、拼接数目统计模块、云管理平台、预警显示模块和云数据库；本发明通过构建待施工的装配式建筑模型，并进行拼接演示，同时统计已拼接的各装配阶段的装配式建筑中各类别预制件的数目，分析已拼接的最后装配阶段的装配式建筑是否符合要求，当不符合要求时进行预警提醒，并计算装配式建筑中各类别预制件的剩余总数目，分析装配式建筑中各类别预制件的数目是否达标，对装配式建筑中数目不达标的各类别预制件进行预警显示，从而提高装配式建筑的施工效率和施工准确性。

传统的云管理系统架构都是集中式的管理，部署单一的云管理系统集中管理多个云资源环境。对于本地数据中心或者单个地点的云资源管理，单一的集中的云管理系统能够很好的满足需求。但如果有多个异地数据中心，不得不部署多个云管理系统分别管理，多个云管理系统是独立工作，没有实现统一的管理。对于大的客户，国内有大量的分支机构，希望实现统一管理，需要有专门的集中管理方案来管理多个分支机构的云资源，或者专门的二级云管理体系。

传统的集中式的云管理平台只能实现中心的云管理，无法应对这种趋势变化，无法实现分布式云的统一管理，无法实现中心，区域和边缘的管理，无法实现云边协同管理需要一种和分布式云架构匹配的分布式云管理平台架构。

传统的云管理系统有以下问题：

(1)只能实现单个中心或地域的资源管理和调度。

(2)无法应对地域之间的复杂的网络和安全限制。

(3)无法实现全局的统一资源的管理和调度。

(4)无法实现全局的统一的用户，部门和权限管理。

(5)无法实现统一的服务管理。

(6)无法实现统一的监控和运维。

(7)无法实现统一的运营管理。

(8)无法实现中心云，区域云和边缘云的协同工作，快速响应。

(9)基于固定配置的全局管理，无法实现基于动态的管理，新的云资源的加入和删除可以动态的感知在全网。

(10)没有统一的安全管理规范体系。

(11)对于大量资源的环境，统一的集中式云管无法满足性能要求。

(12)统一的集中式云管为单中心结构，无法满足高可用性要求。

(13)统一的集中式云管无法满足高扩展性需求。

急迫需要一种和分布式云架构匹配的分布式云管理平台架构，实现全局的资源，服务，运营运维和安全的统一管理和调度协同，满足当前越来越多的云管理的新形态。

通过上述分析，现有技术存在的问题及缺陷为：传统技术不能实现的云管理系统可以实现分布式云体系下的全局的资源，服务，运营运维和安全的统一管理和调度协同，无法满足未来云管理的需求。

解决以上问题及缺陷的难度为：

1.云平台没有统一的接口和资源模型标准，各个厂商都有自己的功能和标准，难以统一和集中管理。

2.云管理平台当前主流的产品主要是单体应用，无法满足客户的分布式部署和管理要求。

3.公有云厂商有完善的云管理系统，但只支持自己的底层云平台，有诸多限制，无法满足当前实际的异构复杂的云平台环境。

4.当前云管系统没有统一的标准，各个厂商和用户按照自己的需求开发，开发的功能和数据结构参差不齐，无法实现云管理系统之间的通信和统一，各个云资源是割裂的云资源，没有实现真正的资源的统一管理。

5.历史原因，云资源的分布和管理比较多样和复杂，而且运行着生产环境，云管理平台不能对底层云平台有改动和影响。

解决以上问题及缺陷的意义为：

1.统一了标准，定义了统一的接口和模型标准，为互通和未来协议扩展奠定基础。

2.分布式的云管理平台架构，符合软件开发潮流，符合当前云分布式发展的方向。

3.搭建了云管理节点集群，建立了高可用，高性能，高扩展性的底层管理架构。

4.在底层架构之上，真正的将底层资源和服务统一起来，在上层可以实现各种多样性的增值服务。

5.可以将客户的各种资源上云，实现用户真正的资源云化，实现一个真正的统一的大云。

发明内容

针对现有技术存在的问题，本发明提供了一种分布式云管理系统、管理方法、计算机可读存储介质及应用。

本发明是这样实现的，一种分布式云管理系统，包括：

多个云管理子节点，管理本地云资源，负责接收指令执行具体工作，作用范围是本地云资源；

配置管理中心，负责注册，维护状态以及配置管理；

调度信息中心，负责资源索引服务以及调度服务；

统一云管理中心，负责全局管理。

进一步，所述多个云管理子节点服务于一个小云，通过命名服务，单个云管理子节点故障不影响正常运行，并实现多个子节点的负载均衡；

所述命名服务用于对小云进行管理维护多个云管理子节点的状态，定时检查子节点是否工作正常，当某个子节点失败，将把请求发到别的节点，直到失败的节点恢复正常；或把请求分发到多个子节点，实现负载均衡。

进一步，所述云管子节点注册在配置管理中心，当有配置修改后，将发送通知给相应的云管子节点，云管子节点将自动动态更新配置，不需要重新启动；用户和权限的修改也自动更新；用户访问和云管理子节点加入都需要鉴权，从统一的用户鉴权中心申请token,通过token访问系统；实现配置和安全的集中管理。

进一步，本地请求使用本地云管理子节点提供服务，全局请求被分割成各个子请求发送到各个本地云管理子节点，由各个本地云管理子节点处理，实现负载的分担，局部请求编排到多个本地云管理子节点提供服务。

进一步，所述云管理子节点包括本地资源管理模块、本地资源调度模块、监控告警模块、用户和权限管理模块、申请审批模块、任务管理模块、服务管理模块、应用管理模块、配置管理模块、前端界面模块以及API范围模块用于分别负责接收指令执行具体的工作；所述本地资源管理模块、本地资源调度模块、监控告警模块、用户和权限管理模块、申请审批模块、任务管理模块、服务管理模块、应用管理模块、配置管理模块、前端界面模块以及API范围模块独立工作时，本地用户直接访问和操作云管理子节点的界面和接口处理本地管理的云资源；如果处理管辖范围外的功能，需要上层的管理和协作服务提供服务，将点联合一起工作完成业务。

进一步，所述调度信息中心将通过同步接口获取云管子节点所管理的云资源信息，生成索引，同时云管子节点对于资源变化的操作也将通知调度信息中心更新索引；通过维护索引信息实现快速查询服务，同时为调度算法提供资源占有信息，以及为编排提供参数参考信息。

进一步，所述统一云管理中心的编排服务将用户的编排请求转换成多个请求发送到多个云管子节点分布式处理，统计分析服务发送查询请求到多个云管子节点，对返回结果进行归并分析统计，调度服务发送创建请求到调度算法推荐的云资源进行资源的创建。

本发明的另一目的在于提供一种分布式云管理方法包括：

通过动态发现和注册，统一接入鉴权，统一的管理和配置管理中心，将分布于不同地区和位置的本地云管节点组成分布式云管集群，实现全网的统一管控和协同，统一配置管理和统一用户权限管理；

将各个地区和各个数据中心的分散的小的云资源通过分布式的云管节点集群统一纳管和协同，组成能配置、调度、控制、管理的大云，并连接中心云，区域云和边缘云，实现云边协同和管理。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述的分布式云管理方法。

本发明的另一目的在于提供一种所述分布式云管理方法在具有多个分支的机构和具有多个独立数据中心的架构实现多个独立云的统一管控和协同上的应用。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明能够应对分布式云的中心云，区域云和边缘云的各种复杂架构的管理；可以实现云管理平台系统的高可用，高性能和高扩展性需求；通过统一的资源模型，操作模型，监控模型，服务模型，安全模型，以及统一的对外服务接口实现了统一的云资源和云服务管理；能够满足分布式云的大量资源类型管理需求和响应云的结构的快速变化需求；提供实现统一的用户，部门，权限管理。

以下表格为和传统的云管理系统的对比：

本发明能够满足未来云管理的全局化，可配置化，灵活化，分布式化，智能化的底层架构需求；基于规范，实现各种丰富的云服务，实现了基于底层分布式云管理架构的上层的应用的灵活性。

附图说明

图1是本发明实施例提供的分布式云管理系统的结构示意图；

图1中：1、云管理子节点；2、配置管理中心；3、调度信息中心；4、统一云管理中心。

图2是本发明实施例提供的云管理子节点的结构示意图；

图2中：101、资源管理模块；102、资源调度模块；103、监控告警模块；104、用户管理模块；105、权限管理模块；106、申请审批模块；107、协同管理模块；108、任务管理模块；109、配置管理模块；110、服务管理模块；111、应用管理模块；112、统计分析模块；113、前端模块；114、API模块。

图3是本发明实施例提供的配置管理中心的结构示意图；

图3中：201、注册命名中心模块；202、配置管理中心模块。

图4是本发明实施例提供的调度信息中心结构示意图；

图4中：301、资源信息模块；302、调度服务模块；303、资源索引模块；304、咨询服务模块。

图5是本发明实施例提供的统一云管理中心的结构示意图；

图5中：401、统一资源管理模块；402、编排协同管理模块；403、统一监控告警模块；404、用户管理模块；405、权限管理模块；406、报表模块；407、服务管理模块；408、运维管理模块；409、配置管理模块；410、统计分析模块；411、计量计费模块；412、租户项目管理模块；413、前端模块；414、API模块。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种分布式云管理系统、方法及应用，下面结合附图对本发明作详细的描述。

本发明提供一种分布式云管理方法包括：通过动态发现和注册，统一接入鉴权，统一的管理和配置管理中心，将分布于不同地区和位置的本地云管节点组成分布式云管集群，实现全网的统一管控和协同，统一配置管理和统一用户权限管理；

将各个地区和各个数据中心的分散的小的云资源通过分布式的云管节点集群统一纳管和协同，组成能配置、调度、控制、管理的大云，并连接中心云，区域云和边缘云，实现云边协同和管理。

如图1所示，发明提供的分布式云管理系统结构示意图：

云管理子节点1：云管理子节点是分布式云管理系统的最基础的组件，承担了分布式云管理系统集群的底层实施者和底层管理角色。云管理子节点具有初步完善的云管功能，作用范围是本地管辖的资源。云管理子节点将异构的多样的底层云资源转换成统一的模型，包括统一的资源模型，操作模型，监控模型，服务模型，安全模型，以及统一的对外服务接口。收集资源信息提供给上层，同时也接收上层指令执行具体的工作。云管理子节点根据需求将部署多个到几百个，通过配置管理中心的管理，组成一个统一管理的集群。这个集群为全网实现了一个统一的标准化的管理平面，是上层实现统一管理和调度的坚实基础。云管理子节点集群实现了底层平面的高可靠，高性能和高扩展性。云管理子节点也可以独立工作，本地用户可以直接访问和操作云管理子节点的界面和接口处理本地管理的云资源。但只是本地资源。如果需要处理管辖范围外的，需要上层的管理和协作服务提供服务，上层的统一云管理中心将协调多个云管理子节点联合一起工作完成范围更大的业务。当前大部分的云管产品通过改造都可以承担云管理子节点的角色，需要两个方面的改造，首先业务层面，按照规范改造实现标准的对外模型和对外服务接口，上层系统才能管理和交互与这个子节点，其次是管理层面，改造和管理配置管理中心交互的管理接口，实现加入节点集群和接收上层的管理。

配置管理中心2：配置管理中心是维护分布式云管理系统集群的关键组件，承担了分布式云管理系统集群的管理中心角色。配置管理中心是集群的注册中心和配置管理中心，云管理子节点安装部署后，自动注册到配置管理中心，发布服务，满足条件后加入集群，同时同步所属的云资源和服务，当新的云管理子节点部署后，可自动加入集群，它所管理的云资源和服务也自动加入大云，当去掉某个云管理子节点，可直接从集群删除，所管理的云资源和服务也自动从大云中去除，实现动态扩伸。通常配置是多个云管理子节点服务于一个小云，由配置管理中心的命名服务统一管理，配置管理中心将监控这多个云管理子节点的工作状态，当某个子节点故障时，将去掉这个节点从服务器列表中，由其他服务承担，直到失败的节点恢复正常，再加回服务器列表中，接收处理请求，故障对系统没有影响，也可以实现多个子节点的负载均衡，保证系统高可用和高性能。配置管理中心集中维护了所有的配置数据，所有云管子节点注册在配置管理中心，当有配置修改，将发送通知给相应的云管子节点，云管子节点将自动动态更新配置，不需要重新启动。配置管理中心也维护了用户和权限信息，当修改时，发送通知给子节点，子节点自动更新。配置管理中心也是统一的鉴权中心，用户访问和云管理子节点加入都需要通过鉴权，通过鉴权中心申请token,通过token访问系统。配置管理中心承担了注册发现，集群维护，命名服务，配置管理，鉴权中心，用户权限管理等多种关键的全局工作。

调度信息中心3：调度信息中心是分布式云管理系统集群的关键的辅助组件，提供集群的资源索引服务和资源调度服务。通过调度信息中心的服务，可以快速的检索和查询云资源，为上层的调度，编排，查询服务提供快速支撑，保证系统的实时性。调度信息中心将通过同步接口获取云管子节点所管理的云资源信息，生成索引，同时云管子节点对于资源变化的操作也将通知调度信息中心更新索引。维护索引信息可以实现快速查询服务，也可以为调度算法提供资源占有信息，为编排提供参数参考信息等，提高整个系统的响应速度。调度信息中心维护了全网的资源地图，通过地图，能够实现资源的快速定位，为后续的其他服务提供有效的辅助。如果没有这个地图，需要发送查询给全部云管理子节点做全网查询，耗费资源也比较慢。维护地图可以大大提高查询速度，提高集群的性能。同时也提供调度服务，当上层发送调度请求，调度服务将运行调度算法返回最佳的资源放置建议，建议是根据当前的动态的资源占有情况得到，调度信息中心维护了此信息。通常的调度要做两级调度，此为一级调度，将找到最佳的云管理子节点，云管理子节点将做二级调度，找到最佳的底层资源位置。调度的算法可以自定义，根据自定义的筛选和加权机制找到最佳。调度中心承担了关键信息的维护，索引的维护，提供查询和调度服务等多种关键的辅助工作。

统一云管理中心4：统一云管理中心是分布式云管理系统集群的关键的上层组件，承担了分布式云管理系统集群的全局管理和关键指挥角色。统一云管理中心在管理层面和业务层面管理整个集群。管理层面，和配置管理中心配合管理所有的云管理子节点，查看集群和各个云管理子节点的状态。业务层面，和底层的云管理子节点集群和调度信息中心配合，实现各种云管理的业务。统一云管理中心实现了统一的资源管理，编排协同管理，统一的监控告警，用户和权限管理，报表管理，服务管理，运维管理，应用管理，配置管理，统一的统计分析，计量计费，租户和项目管理，统一API和统一的管理界面等。统一管理中心可以全局查看资源信息和操作资源通过调度信息中心和云管子节点接口。编排管理将请求分解成底层的请求给各个云管子节点。简单请求通过查询索引服务发送到相应的云管理子节点，复杂的全局请求被分割成各个子请求发送到各个云管理子节点，由各个本地云管理子节点处理，实现负载的分担。协同服务将维护一些资源的状态。例如HA资源，灾备资源等。统计分析服务发送查询请求到多个云管子节点，对返回结果进行归并分析统计，调度服务发送创建请求到调度算法推荐的云资源进行资源的创建，保证资源的合理使用和平衡。服务模块提供全局的服务，运维服务维护全局的运维任务，例如巡检，升级操作，安全加固操作。同时也实现了全局的运营功能，包括计量计费，租户管理，统计分析等工作。除了基本的全局的运维和运营功能，基于底层的子节点集群，注册和配置管理中心，调度信息中心提供的架构和统一的接口，上层可以扩展出丰富的功能，满足当前和未来的快速需求变化。

如图2所示，云管理子节点1结构示意图，云管理子节点1包括：

资源管理模块101：资源管理模块是关键的模块，负责收集异构底层云资源信息并且转换成统一的资源模型和操作模型，提供统一的对外资源服务接口。资源管理模块通过底层各个云平台的接口收集云平台的计算，存储，网络，安全以及服务的资源信息，提供查询服务给上层或其他模块，也接收请求服务，通过底层云平台的接口创建，修改，删除底层资源。

资源调度模块102：云管理子节点管理多个云平台以及每个云平台的大量的计算，存储，网络资源，调度模块通过调度算法放置资源在最合适的位置，例如放置虚拟机在最闲的物理主机上，或者迁移虚拟机从很忙的主机到相对不忙的主机上，最终实现底层资源使用的平衡。或者实现特殊资源放置特殊的位置，例如GPU的申请放置到配有物理GPU的主机上，或者大数据资源放置到存储大的主机上，最终实现底层资源的合理使用。

用户管理模块104：用户管理模块负责本地用户和部门的管理，使用本地用户可以做子节点的维护和局部使用。以及和统一用户管理中心交互，获取全局用户和部门的管理信息，使用全局用户做相应的业务和管理操作。

权限管理模块105：权限管理模块负责权限的管理，包括本地权限管理和全局权限，本地权限为本地范围，和统一权限管理中心交互，获取全局权限信息，全局权限为全局范围。

申请审批模块106：申请审批负责本地的申请审批管理，全局的申请审批是在上层的统一云管理中心实现。子节点可以作为独立的云管使用，所以需要具备独立的申请审批功能，使用内置的工作流中间件来实现申请审批的工作流管理。

协同管理模块107：协同管理负责多个云管子节点的协同工作，上层下发配置指令到多个子节点后，多个云管子节点协同来维持配置状态，完成配置的工作。例如灾备协同场景，在两个云管子节点之间交互灾备信息，维持灾备状态，实现灾备切换。

任务管理模块108：任务管理负责本地云管子节点的任务管理，接收上层的任务指令，执行任务。作为多任务管理系统，任务管理模块将管理执行的任务列表，监控任务的执行状态，完成失败任务的处理等工作。

配置管理模块109：配置管理负责全局和本地云管子节点的配置，接受配置管理中心的配置信息，完成系统配置，同时也接收配置更改通知，完成系统的动态的配置修改和生效。

服务管理模块110：资源管理模块是关键的模块，云管子节点提供对外大量服务，例如虚拟机服务，数据库服务，存储服务等。服务将注册到注册中心，上层的组件可以通过注册中心动态获取服务的接口和状态，实现使用者和提供者的解耦，上层业务调用服务管理模块的服务接口完成各种业务。服务管理模块负责本地服务的创建，修改，发布，权限等管理，以及服务的注册，服务的执行等工作。

应用管理模块111：应用管理负责本地应用的全生命周期的管理，例如一个本地大数据应用，应用的部署，查询，管理，监控等管理。如果是全局应用，由上层的云管理中心管理，由协同管理模块维护应用的状态。

统计分析模块112：统计分析模块负责本地数据的统计分析，也接收上层的统计分析指令，完成局部的统计分析作业，返回上层进行汇总。

前端模块113：前端模块负责提供本地的界面。

API模块114：API模块负责提供云管子节点的标准的API，外部调用必须通过API模块。

如图3所示，配置管理中心2结构示意图，配置管理中心2包括：

注册命名中心模块201：注册命名中心模块负责云管子节点的注册以及注册后的各个节点的状态和访问的管理。实现集群的高可用，高性能和高扩展性。云管理子节点安装部署后，自动注册到配置管理中心，发布服务，满足条件后加入集群，同时同步所属的云资源和服务，当新的云管理子节点部署后，可自动加入集群，它所管理的云资源和服务也自动加入大云，当去掉某个云管理子节点，可直接从集群删除，所管理的云资源和服务也自动从大云中去除，实现动态扩伸。通常配置是多个云管理子节点服务于一个小云，由配置管理中心的命名服务统一管理，配置管理中心将监控这多个云管理子节点的工作状态，当某个子节点故障时，将去掉这个节点从服务器列表中，由其他服务承担，直到失败的节点恢复正常，再加回服务器列表中，接收处理请求，故障对系统没有影响，也可以实现多个子节点的负载均衡，保证系统高可用和高性能。

配置管理中心模块202：配置置中心模块集中维护了所有的配置数据，所有云管子节点注册在配置管理中心，当有配置修改，将发送通知给相应的云管子节点，云管子节点将自动动态更新配置，不需要重新启动。配置管理中心也维护了用户和权限信息，当修改时，发送通知给子节点，子节点自动更新。配置管理中心也是统一的鉴权中心，用户访问和云管理子节点加入都需要通过鉴权，通过鉴权中心申请token,通过token访问系统。配置管理中心承担了注册发现，集群维护，命名服务，配置管理，鉴权中心，用户权限管理等多种关键的全局工作。

如图4所示，调度信息中心3结构示意图，调度信息中心3包括：

资源信息模块301：资源信息模块为服务查询模块提供资源信息，资源信息模块维护了全网的资源地图，通过地图，我们能够实现资源的快速定位，为后续的其他服务提供有效的辅助。如果没有这个地图，我们需要发送查询给全部云管理子节点做全网查询，耗费资源也比较慢。维护地图可以大大提高查询速度，提高集群的性能。

调度服务模块302：调度服务模块处理上层的调度请求，当上层发送调度请求，调度服务将运行调度算法返回最佳的资源放置建议，建议是根据当前的动态的资源占有情况得到。通常的调度要做两级调度，此为一级调度，将找到最佳的云管理子节点，云管理子节点将做二级调度，找到最佳的底层资源位置。调度的算法可以自定义，根据自定义的筛选和加权机制找到最佳。

资源索引模块303：资源索引模块同步接口获取云管子节点所管理的云资源信息，生成索引，同时云管子节点对于资源变化的操作也将通知调度信息中心更新索引。维护索引信息可以实现快速查询服务，也可以为调度算法提供资源占有信息，为编排提供参数参考信息等，提高整个系统的响应速度。

查询服务模块304：查询服务模块提供统一的资源信息服务接口，可以快速的检索和查询云资源，为上层的调度，编排，查询服务提供快速支撑，保证系统的实时性。

如图5所示，统一云管理中心4结构示意图，统一云管理中心4包括：

统一资源管理模块401：统一资源管理模块负责资源的统一管理，下层的云管子节点集群实现了一个统一的标准化的资源管理平面，统一资源管理模块通过调用这个业务管理平面实现了统一的资源管理。

编排协同管理模块402：编排协同管理模块负责涉及多个云管子节点的请求，将请求进行编排成子请求发送到各个云管子节点，汇总各个请求的返回。同时也负责多个子节点的协同任务的管理，保证多个子节点协同任务的状态。

统一监控告警模块403：统一监控告警模块负责全局监控和告警的管理，维护一些全局监控实例收集监控信息从下层的云管子节点集群并且汇总。同时也管理全局告警配置和策略，下发告警配置和策略到下层的云管子节点集群，汇总全局告警，告警的通知管理等。

用户管理模块404：用户管理模块负责全局用户和部门的管理，内部集成或和统一用户管理中心交互，获取全局用户和部门的管理信息，使用全局用户做相应的业务和管理操作。

权限管理模块405：权限管理模块负责全局权限的管理，内部集成或和统一用户管理中心交互，获取全局权限信息，全局权限为全局范围。

报表模块406：报表模块负责报表的输出，通过接口获取报表数据，根据客户配置输出各种报表格式。

服务管理模块407：服务管理模块通过注册中心获取各个云管子节点的动态服务接口，调用相关接口实现服务。同时也负责全局服务的创建，修改，发布，权限等管理。

运维管理模块408：运维管理模块负责各个云管子节点，配置管理中心和调度中心的运维管理，包括运行状态监控，统计运行信息，集群健康状态检查，以及执行运维命令等。

配置管理模块409：配置管理模块负责全局配置，发送配置信息到配置管理中心，完成系统配置。

统计分析模块410：统计分析模块负责全局数据的统计分析，根据统计分析配置，后台从集群收集相关数据，进行汇总分析。通过报表模块进行展示。

计量计费模块411：计量计费模块是全局的运营模块，负责全局的计量计费的运营。计费系统收集用户的资源使用信息，根据计费策略来生成计费账单。

租户项目管理模块412：租户项目管理模块全局的运营模块，负责租户的管理，包括租户的生命周期管理，以及租户资源配额与资源隔离管理。

前端模块413：前端模块负责提供全局界面，包括管理界面和用户的使用界面。

API模块414：API模块负责提供云管的标准的外部API，外部的网元通过这个接口和云管进行通信。

本发明提出云管子节点集群和统一的管理配置管理中心，实现了分布式的云管理。以及提出了统一的资源模型，操作模型，监控模型，服务模型，安全模型，以及统一的对外服务接口。通过定义系统分层和分布式模块，实现了控制与业务的分离，以及调用者和提供者的解耦。满足了系统的高可用，高性能和高扩展性需求。

本发明能够应对分布式云的中心云，区域云和边缘云的各种复杂架构的管理；既可以应对大型多区域的管理场景也可以应对简单管理场景以及未来扩展的各种灵活需求；可以满足云管理平台系统的高可用，高性能和高扩展性需求；能够满足分布式云的大量资源类型管理需求和响应云的结构的快速变化需求；满足客户统一的用户，部门，权限，安全，资源，服务，流程等管理需求。

下面结合应用例对本发明的技术方案作进一步描述。

本发明分布式云管理集群通过动态发现和注册，统一接入鉴权，统一的管理和配置管理中心，将分布于不同地区和位置的本地云管节点组成分布式云管集群，实现全网的统一管控和协同，统一配置管理和统一用户权限管理。将各个地区和各个数据中心的分散的小的云资源通过分布式的云管节点集群统一纳管和协同，组成可配置，可调度，可控制，可管理的一个大云。适用于当前主流的分布式云架构，连接中心云，区域云和边缘云，实现云边协同和管理。也适用于传统的具有多个分支的机构和具有多个独立数据中心的架构，实现多个独立云的统一管控和协同。也适用于快速增长的云资源架构，通过增加本地云管节点，将新的小云快速纳入到大云，实现资源的动态更新。本发明能够满足未来云管理的全局化，可配置化，灵活化，分布式化，智能化的底层架构需求；基于规范，实现各种丰富的云服务，实现了基于底层分布式云管理架构的上层的应用的灵活性。

应用例

利用本发明提供的分布式云管理平台设计，为某国内大型机构的云管理平台设计提供方案实现。该机构规模比较大，有中心机构和各个省机构，每个机构都有大量的独立的已有的各种异构云资源，同时未来随着业务扩展也不断扩展云资源，期望实现中心和地方的各个云资源的统一管理，各个地方机构的云划分资源池，一些是地方使用，一些全局使用，中心的调度系统可以使用各个地方的全局资源池进行调度，实现全局的资源的合理分配。同时也监控各个地方机构的云的使用情况，使用统一的用户，部门，权限管理。后续将实现统一的云服务管理，通过云管理平台实现一个类似公有云的多地域和多服务体验，打造一个内部使用的公有云和服务平台。使用本发明提供的分布式云管理平台设计，规范了各个地方机构统一的资源模型，操作模型，监控模型，服务模型，安全模型，以及统一的对外服务接口，设计了统一的管理和配置管理中心，设计了各个接入系统，包括管理界面系统，用户的界面系统，全局资源管理系统，集中监控系统，报表系统，服务管理系统，编排系统，资源统一调度系统等，定义了集群的配置和状态的数据结构，通过各种系统的设计基本实现了客户的当前的需求，也为客户未来向分布式云发展奠定了坚实的云管理基础。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种分布式云管理系统，其特征在于，所述分布式云管理系统包括：

多个云管理子节点，管理本地云资源，负责接收指令执行具体工作，作用范围是本地云资源；

配置管理中心，负责注册，维护状态以及配置管理；

调度信息中心，负责资源索引服务以及调度服务；

统一云管理中心，负责全局管理。

2.如权利要求1所述的分布式云管理系统，其特征在于，所述多个云管理子节点服务于一个小云，通过命名服务，单个云管理子节点故障不影响正常运行，并实现多个子节点的负载均衡；

所述命名服务用于对小云进行管理维护多个云管理子节点的状态，定时检查子节点是否工作正常，当某个子节点失败，将把请求发到别的节点，直到失败的节点恢复正常；或把请求分发到多个子节点，实现负载均衡。

3.如权利要求1所述的分布式云管理系统，其特征在于，所述云管子节点注册在配置管理中心，当有配置修改后，将发送通知给相应的云管子节点，云管子节点将自动动态更新配置，不需要重新启动；用户和权限的修改也自动更新；用户访问和云管理子节点加入都需要鉴权，从统一的用户鉴权中心申请token,通过token访问系统；实现配置和安全的集中管理。

4.如权利要求1所述的分布式云管理系统，其特征在于，本地请求使用本地云管理子节点提供服务，全局请求被分割成各个子请求发送到各个本地云管理子节点，由各个本地云管理子节点处理，实现负载的分担，局部请求编排到多个本地云管理子节点提供服务。

5.如权利要求1所述的分布式云管理系统，其特征在于，所述云管理子节点包括本地资源管理模块、本地资源调度模块、监控告警模块、用户和权限管理模块、申请审批模块、任务管理模块、服务管理模块、应用管理模块、配置管理模块、前端界面模块以及API范围模块用于分别负责接收指令执行具体的工作；所述本地资源管理模块、本地资源调度模块、监控告警模块、用户和权限管理模块、申请审批模块、任务管理模块、服务管理模块、应用管理模块、配置管理模块、前端界面模块以及API范围模块独立工作时，本地用户直接访问和操作云管理子节点的界面和接口处理本地管理的云资源；如果处理管辖范围外的功能，需要上层的管理和协作服务提供服务，将点联合一起工作完成业务。

6.如权利要求1所述的分布式云管理系统，其特征在于，所述调度信息中心将通过同步接口获取云管子节点所管理的云资源信息，生成索引，同时云管子节点对于资源变化的操作也将通知调度信息中心更新索引；通过维护索引信息实现快速查询服务，同时为调度算法提供资源占有信息，以及为编排提供参数参考信息。

7.如权利要求1所述的分布式云管理系统，其特征在于，所述统一云管理中心的编排服务将用户的编排请求转换成多个请求发送到多个云管子节点分布式处理，统计分析服务发送查询请求到多个云管子节点，对返回结果进行归并分析统计，调度服务发送创建请求到调度算法推荐的云资源进行资源的创建。

8.一种如权利要求1至7任意一项所述分布式云管理系统的分布式云管理方法，其特征在于，所述分布式云管理方法包括：

通过动态发现和注册，统一接入鉴权，统一的管理和配置管理中心，将分布于不同地区和位置的本地云管节点组成分布式云管集群，实现全网的统一管控和协同，统一配置管理和统一用户权限管理；

将各个地区和各个数据中心的分散的小的云资源通过分布式的云管节点集群统一纳管和协同，组成能配置、调度、控制、管理的大云，并连接中心云，区域云和边缘云，实现云边协同和管理。

9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求8所述的分布式云管理方法。

10.一种如权利要求8所述分布式云管理方法在具有多个分支的机构和具有多个独立数据中心的架构实现多个独立云的统一管控和协同上的应用。

Images