CN107967175A - 一种基于多目标优化的资源调度系统及方法 - Google Patents

Abstract

本发明提供了一种基于多目标优化的资源调度系统，包括监控组件、跨云管理组件、全局调度组件和用户管理组件，可以分别部署在不同的物理机或者虚拟机上，也可以同时部署在同一个物理机或者虚拟机上。各组件根据业务场景都可以支持高可用部署。同时提供一种基于多目标优化的资源调度方法，包含各子云环境的监控信息采集、生命周期管理、动态调度。本发明跨云环境下资源统一管理，平衡各资源池利用率；跨云环境下统一用户权限管理，优先保障重要资源使用；跨云环境下自动采集所有资源信息，随着业务变化动态调度资源，实现资源合理再分配；支持跨云调度和动态调优；支持SLA，资源分配更加合理；通过监控、统计，持久化数据，并提供可视化界面。

Description

一种基于多目标优化的资源调度系统及方法

技术领域

本发明涉及计算机软件技术领域的一种虚拟化资源调度技术，特别涉及在跨云环境下的一种基于多目标优化的资源调度系统及方法。

背景技术

自从亚马逊推出弹性计算云平台并大获成功之后，业界掀起了一股基于虚拟化弹性资源池提供共享数据中心基础设施，对内整合(私有云)共享资源或对外租赁服务的全新商业模式(IaaS模式的公有云)研究的旋风。

现如今在多个异构的私有云(或园区云、城市云等)建设和复用的过程中，对于资源的统一分配调度便成了一个复杂的问题。在实际的使用过程中，往往会出现资源调配的难题，体现在：

1)资源池使用不均，导致部分资源池紧张，部分资源池过于空闲；

2)资源分配不合理，导致部分重要用户的SLA不能满足，非重要用户反而占据了优质资源；

3)资源浪费严重，形成内存和VCPU碎片，导致无法被利用；

4)资源无法共享，缺乏全局统一的资源调度机制，导致资源无法在各个云之间共享和调用；

5)资源无法动态调优，资源在静态分配上可能实现了局部最优，但是随着时间推移、业务变化，不能动态的调整，无法发挥出资源虚拟化的最大优势。

而在实际的应用中，存在大量的场景需要进行跨云的资源调度，如跨云资源申请、综合监控预警、突发事件处理等，因此，上述难题也成为本领域亟待解决的问题。

经过检索发现：

申请号为201010621842.0的中国专利申请《一种虚拟化资源调度的方法及虚拟化资源调度系统》，公开了一种虚拟化资源调度的方法及虚拟化资源调度系统。接收来自外部管理用户请求，或，按照预先设置策略触发调度请求，根据当前系统中虚拟机和物理服务器的资源需求信息，计算并获取虚拟化资源调度方案；根据接收的虚拟化资源调度方案中包含的物理服务器资源流动信息，调度相关物理服务器的资源；根据虚拟化资源调度方案包含的容量信息，与相应物理服务器建立该容量的资源通道；从映射的物理服务器获取调度资源，为外部的业务实体提供调度的虚拟资源。应用本发明，可以提高资源调度效率、实现资源在全局的优化调度。该申请存在以下问题：

1、不支持资源跨云调度；

2、不支持SLA(服务等级协议)；

3、不支持资源使用历史统计，资源用量变化信息不够准确，不能为长期决策提供依据。

申请号为201310443899.X的中国专利申请《虚拟机集群资源分配调度方法》，公开如下步骤：S1.从历史负荷数据库中寻找虚拟机的负载警戒时间点；所谓负载警戒时间点，是当一台以上虚拟机的虚拟机资源利用量Dvm达到警戒值ALR时的时刻,S2.预先设定第一时间长度μ，在负载警戒时间点前μ时刻，开启物理机，新开启物理机的增加物理资源SN应大于N*Mvm*A2，并将虚拟机迁移至新开的物理机。采用本发明所述的虚拟机集群资源分配调度方法，根据历史数据确定负载警戒时间点，预先开启物理机对虚拟机进行分流迁移，保证每台虚拟机提前降低资源使用率，通过提前对物理机的启动并对虚拟机进行平滑迁移，达到负载平衡目的。该申请仍然存在以下问题：

1、不支持资源跨云调度；

2、不支持SLA(服务等级协议)。

发明内容

针对现有技术中存在的上述不足，本发明的目的是提供一种基于多目标优化的资源调度系统及方法，该系统及方法提供了一个跨云环境的监管系统及管理方法，提供了一个全局统一的资源调度机制，通过统一的资源调度系统采集所有接入的私有云信息，定时统计与分析每个私有云的运行情况，结合调度算法实现动态调优；从而使调度任务及资源的功能控制过程精简化，可以快速响应用户请求。

本发明是通过以下技术方案实现的。

根据本发明的一个方面，提供了一种基于多目标优化的资源调度系统，包括监控组件、跨云管理组件、全局调度组件和用户管理组件；其中：

所述监控组件：

-向跨云管理组件发起子云环境新注册消息，并建立心跳连接；

-周期性地采集当前子云环境资源信息，并发送到跨云管理组件；

-接收全局调度组件对某一资源下发的生命周期管理命令，并转发该命令给对应子云环境的调度器；

所述跨云管理组件：

-接收监控组件的新注册消息并保存在缓存系统中，刷新云环境列表；

-接收监控组件发送的子云环境资源信息并保存到数据库；

-基于数据库中保存的子云环境资源信息，统计当前各个子云环境的资源状况；

-和监控组件保持心跳连接，一旦心跳连接丢失，从云环境列表删除该心跳连接对应的子云环境资源信息记录；

-提供可视化界面，展示所有子云环境的当前资源情况以及历史资源变化情况；

所述全局调度组件：

-统一接收外部资源申请请求，根据各个子云环境的资源状况，选择子云环境下发调度命令；

-和云环境列表中的子云环境保持心跳连接；

-接收监控组件下发的生命周期管理命令，并根据跨云管理组件接收的子云环境资源信息，周期性地执行生命周期管理命令；

所述用户管理组件：

-统一管理用户信息、租户信息、角色信息、权限信息以及优先级信息；

-为全局调度组件提供SLA(服务等级协议)信息。

优选地，所述监控组件、跨云管理组件、全局调度组件和/或用户管理组件分别部署在不同的物理机或者虚拟机上。

优选地，所述监控组件、跨云管理组件、全局调度组件和/或用户管理组件同时部署在同一个物理机或者虚拟机上。

优选地，所述监控组件部署在物理机或虚拟机上的每一个子云环境(云计算子环境)中或部署在外部独立环境中，子云环境启动时，监控组件同时启动。

优选地，所述缓存系统为本地缓存系统或分布式缓存集群系统。

优选地，所述统计当前各个子云环境的资源状况包括如下任意一项或任意多项：

-计算总量信息；

-计算使用量信息；

-计算权重信息。

优选地，对于心跳连接丢失，需要排除网络抖动的情况。

优选地，所述跨云管理组件部署在一个外部独立环境中。

优选地，所述全局调度组件部署在一个外部独立环境中。

优选地，所述用户管理组件部署在一个外部独立环境中。

根据本发明的另一个方面，提供了一种基于多目标优化的资源调度方法，包括如下步骤：

步骤S1：在外部独立环境中启动跨云管理组件、全局调度组件和用户管理组件，并对外部资源提供通信接口以对容器内进程进行生命周期管理；全局调度组件指定跨云调度策略；

步骤S2：启动监控组件，连接现有的多个子云环境；

步骤S3：监控组件启动后，通过通信接口向跨云管理组件注册子云环境信息，

步骤S4：监控组件定时采集子云环境资源信息，通过通信接口向跨云管理组件推送子云环境资源信息，跨云管理组件将该子云环境资源信息保存到数据库中；

步骤S5：跨云管理组件基于数据库中的子云环境资源信息，统计当前各个子云环境资源的状况，便于全局调度组件进行资源调度时决策使用；

步骤S6：跨云管理组件提供可视化界面，展示所有子云环境的当前资源情况和/或历史资源变化情况；

步骤S7：外部资源发起资源申请时，全局调度组件综合跨云管理组件与用户管理组件提供的信息，基于全局调度组件指定的跨云调度策略下发申请到最优匹配的子云环境；

步骤S8：全局调度组件定时获取各子云环境资源信息与用户优先级，动态调度资源，实现全局最优。

优选地，所述步骤S3，包括如下子步骤：

步骤3.1：通过通信接口周期性保持心跳连接，跨云管理组件通过心跳连接刷新云环境列表，并保存在跨云管理组件的缓存系统中；

步骤3.2：监控组件通过通信接口向用户管理组件推送子云环境中用户信息；

步骤3.3：用户管理组件提供界面化管理功能，统一管理用户信息、租户信息、角色信息、权限信息以及优先级信息。

优选地，所述步骤S7，包括如下子步骤：

步骤S7.1：全局调度组件利用通信接口连接跨云管理组件，获取各个子云环境的资源状况；

步骤S7.2：全局调度组件利用通信接口连接用户管理组件，获取用户优先级信息；

步骤S7.3：全局调度组件基于步骤S7.1和步骤S7.2中获取的信息，按照指定的跨云调度策略，选择一个最匹配的子云环境下发资源申请到该子云环境的资源调度器；

步骤S7.4：子云环境的资源调度器按照内部策略，执行调度计划，生成所需资源；监控组件上报该生成资源的信息。

优选地，所述步骤S8，包括如下子步骤：

步骤S8.1：全局调度组件启动时，启动定时任务：定时调用通信接口连接跨云管理组件，获取各个子云环境的资源状况；定时调用用户管理组件，获取用户优先级信息；

步骤S8.2：基于资源状况信息和用户优先级信息，按照指定的跨云调度策略，如果需要优化调度，则生成相应的调度计划，并下发到指定子云环境执行；

步骤S8.3：子云环境执行调度计划，生成所需资源；监控系统上报该生成资源的信息。

优选地，所述通信接口采用restful接口。

与现有技术相比，本发明具有如下有益效果：

1)跨云环境下资源统一管理，平衡各资源池利用率。

2)跨云环境下统一用户权限管理，优先保障重要资源使用。

3)跨云环境下自动采集所有资源信息，随着业务变化动态调度资源，实现资源合理再分配。

4)支持跨云调度和动态调优。

5)支持SLA(服务等级协议)，资源分配更加合理。

6)通过监控、统计，持久化数据，并提供可视化界面。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为系统逻辑架构图；

图2为资源申请流程图。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

实施例1

本实施例提供了一种基于多目标优化的资源调度系统，包括监控组件、跨云管理组件、全局调度组件和用户管理组件，可以分别部署在不同的物理机或者虚拟机上，也可以同时部署在同一个物理机或者虚拟机上。各组件根据业务场景都可以支持高可用部署。

下面对每一个组件分别进行描述。

A.监控组件，可以部署在每一个云计算子环境(子云环境)中，也可以部署在外部独立环境中。其功能如下：

1.子云环境启动时，监控组件同时启动。

2.向跨云管理组件发起新注册消息(子云环境)、建立心跳连接。

3.周期性采集当前子云环境资源信息，并发送到跨云管理组件。

4.接收全局调度组件对某资源下发的生命周期管理命令，转发命令给对应子云环境的调度器。

B.跨云管理组件，部署在一个外部独立环境中。其功能如下：

1.接收监控组件的新注册消息，保存在缓存系统中(缓存系统可以是本地缓存系统，也可以是分布式缓存集群系统，比如Redis集群)，刷新云环境列表。

2.接收监控组件发送的子云环境资源信息，保存到数据库。

3.基于数据中保存的子云环境资源信息，统计当前各个子云环境资源的状况，计算总量、使用量、权重等信息。

4.和监控组件保持心跳连接，一旦心跳连接丢失，从云环境列表删除该子云环境资源信息记录(需排除网络抖动的情况)。

5.提供可视化界面，展示所有子云环境的当前资源情况和/或历史资源变化情况。

C.全局调度组件，部署在一个外部独立环境中。其功能如下：

1.统一接收外部资源申请请求，根据各个子云环境资源状况，选择子云环境下发调度命令。

2.和云环境列表中的子云环境保持心跳连接。

3.接收监控组件下发的生命周期管理命令。

4.根据跨云管理组件采集的信息(接收的子云环境资源信息)，周期性执行生命周期管理命令。

D.用户管理组件，部署在一个外部独立环境中。其功能如下：

1.统一管理用户、租户、角色、权限、优先级信息。

2.为全局调度组件提供SLA(服务等级协议)信息。

实施例2

本实施例提供了一种基于多目标优化的资源调度方法，包含各子云环境的监控信息采集、生命周期管理、动态调度。

主要步骤如下：

步骤S1：在外部独立环境中启动跨云管理组件、全局调度组件、用户管理组件，并对外部资源(例如用户)提供通信接口(比如restful接口)对容器内进程进行生命周期管理。全局调度组件须指定跨云调度策略。

步骤S2：启动监控组件，连接现有的多个子云环境。

步骤S3：监控组件启动后，首先通过通信接口(比如restful接口)向跨云管理组件注册子云环境信息，

步骤S3.1：通过通信接口(比如restful接口)周期性保持心跳连接，跨云管理组件通过心跳连接刷新云环境列表，并保存在跨云管理组件的缓存系统中(缓存系统可以是本地缓存系统，也可以是分布式缓存集群系统，比如Redis集群)。

步骤S3.2：监控组件通过通信接口(比如restful接口)向用户管理组件推送云环境中用户信息。

步骤S3.3：用户管理组件提供界面化管理功能，统一管理用户、租户、角色、权限、优先级信息。

步骤S4：监控组件定时采集云环境资源信息，首先通过通信接口(比如restful接口)向跨云管理组件推送子云环境资源信息，跨云管理组件将其保存到数据库中。

步骤S5：跨云管理组件基于数据库中的资源环境资源信息，统计当前各个子云环境资源的状况，资源总量、使用量、权重等信息，便于全局调度组件进行资源调度时决策使用。

步骤S6：跨云管理组件提供可视化界面，展示所有子云环境的当前资源情况，历史资源变化情况。

步骤S7：外部资源(用户)发起资源申请时，全局调度组件综合跨云管理组件与用户管理组件提供的信息，基于指定策略下发申请到最优匹配的云环境。

步骤S7.1：全局调度组件利用通信接口(比如restful接口)连接跨云管理组件，获取各个子云环境的资源状况。

步骤S7.2：全局调度组件利用通信接口(比如restful接口)连接用户管理组件，获取用户优先级信息。

步骤S7.3：全局调度组件基于上面获取的信息(步骤S7.1和步骤S7.2中获取的信息)，按照指定的调度策略，选择一个最匹配的子云环境下发资源申请到该子云环境的资源调度器。

步骤S7.4：子云环境的资源调度器按照内部策略，执行调度计划，生成所需资源。监控系统上报新资源(该生成资源)信息。

步骤S8：全局调度组件定时获取各子云环境资源信息与用户优先级，动态调度资源，实现全局最优。

步骤S8.1：全局调度组件启动时，启动定时任务。定时调用通信接口(比如restful接口)连接跨云管理组件，获取各个子云环境的资源状况。定时调用用户管理组件，获取用户优先级信息。

步骤S8.2：基于以上信息(资源状况信息和用户优先级信息)按照指定的跨云调度策略，如果需要优化调度，则生成相应的调度计划，并下发到指定子云环境执行。

步骤S8.3：子云环境执行调度计划，生成所需资源。监控系统上报新资源(该生成资源)信息。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于多目标优化的资源调度系统，其特征在于，包括监控组件、跨云管理组件、全局调度组件和用户管理组件；其中：

所述监控组件：

-向跨云管理组件发起子云环境新注册消息，并建立心跳连接；

-周期性地采集当前子云环境资源信息，并发送到跨云管理组件；

-接收全局调度组件对某一资源下发的生命周期管理命令，并转发该命令给对应子云环境的调度器；

所述跨云管理组件：

-接收监控组件的新注册消息并保存在缓存系统中，刷新云环境列表；

-接收监控组件发送的子云环境资源信息并保存到数据库；

-基于数据库中保存的子云环境资源信息，统计当前各个子云环境的资源状况；

-和监控组件保持心跳连接，一旦心跳连接丢失，从云环境列表删除该心跳连接对应的子云环境资源信息记录；

-提供可视化界面，展示所有子云环境的当前资源情况和/或历史资源变化情况；

所述全局调度组件：

-统一接收外部资源申请请求，根据各个子云环境的资源状况，选择子云环境下发调度命令；

-和云环境列表中的子云环境保持心跳连接；

-接收监控组件下发的生命周期管理命令，并根据跨云管理组件接收的子云环境资源信息，周期性地执行生命周期管理命令；

所述用户管理组件：

-统一管理用户信息、租户信息、角色信息、权限信息以及优先级信息；

-为全局调度组件提供服务等级协议信息。

2.根据权利要求1所述的基于多目标优化的资源调度系统，其特征在于，所述缓存系统为本地缓存系统或分布式缓存集群系统。

3.根据权利要求1所述的基于多目标优化的资源调度系统，其特征在于，所述统计当前各个子云环境的资源状况包括如下任意一项或任意多项：

-计算总量信息；

-计算使用量信息；

-计算权重信息。

4.根据权利要求1所述的基于多目标优化的资源调度系统，其特征在于，对于心跳连接丢失，需要排除网络抖动的情况。

5.根据权利要求1至4中任一项所述的基于多目标优化的资源调度系统，其特征在于，还包括如下任意一项或任意多项特征：

-所述监控组件、跨云管理组件、全局调度组件和/或用户管理组件分别部署在不同的物理机或者虚拟机上；

-所述监控组件、跨云管理组件、全局调度组件和/或用户管理组件同时部署在同一个物理机或者虚拟机上；

-所述监控组件部署在每一个子云环境中或部署在外部独立环境中，子云环境启动时，监控组件同时启动；

-所述跨云管理组件部署在一个外部独立环境中；

-所述全局调度组件部署在一个外部独立环境中；

-所述用户管理组件部署在一个外部独立环境中。

6.一种基于多目标优化的资源调度方法，其特征在于，包括如下步骤：

步骤S1：在外部独立环境中启动跨云管理组件、全局调度组件和用户管理组件，并对外部资源提供通信接口以对容器内进程进行生命周期管理；全局调度组件指定跨云调度策略；

步骤S2：启动监控组件，连接现有的多个子云环境；

步骤S3：监控组件启动后，通过通信接口向跨云管理组件注册子云环境信息，

步骤S4：监控组件定时采集子云环境资源信息，通过通信接口向跨云管理组件推送子云环境资源信息，跨云管理组件将该子云环境资源信息保存到数据库中；

步骤S5：跨云管理组件基于数据库中的子云环境资源信息，统计当前各个子云环境资源的状况，便于全局调度组件进行资源调度时决策使用；

步骤S6：跨云管理组件提供可视化界面，展示所有子云环境的当前资源情况和/或历史资源变化情况；

步骤S7：外部资源发起资源申请时，全局调度组件综合跨云管理组件与用户管理组件提供的信息，基于全局调度组件指定的跨云调度策略下发申请到最优匹配的子云环境；

步骤S8：全局调度组件定时获取各子云环境资源信息与用户优先级，动态调度资源，实现全局最优。

7.根据权利要求6所述的基于多目标优化的资源调度方法，其特征在于，所述步骤S3，包括如下子步骤：

步骤3.1：通过通信接口周期性保持心跳连接，跨云管理组件通过心跳连接刷新云环境列表，并保存在跨云管理组件的缓存系统中；

步骤3.2：监控组件通过通信接口向用户管理组件推送子云环境中用户信息；

步骤3.3：用户管理组件提供界面化管理功能，统一管理用户信息、租户信息、角色信息、权限信息以及优先级信息。

8.根据权利要求6所述的基于多目标优化的资源调度方法，其特征在于，所述步骤S7，包括如下子步骤：

步骤S7.1：全局调度组件利用通信接口连接跨云管理组件，获取各个子云环境的资源状况；

步骤S7.2：全局调度组件利用通信接口连接用户管理组件，获取用户优先级信息；

步骤S7.3：全局调度组件基于步骤S7.1和步骤S7.2中获取的信息，按照指定的跨云调度策略，选择一个最匹配的子云环境下发资源申请到该子云环境的资源调度器；

步骤S7.4：子云环境的资源调度器按照内部策略，执行调度计划，生成所需资源；监控组件上报该生成资源的信息。

9.根据权利要求6所述的基于多目标优化的资源调度方法，其特征在于，所述步骤S8，包括如下子步骤：

步骤S8.1：全局调度组件启动时，启动定时任务：定时调用通信接口连接跨云管理组件，获取各个子云环境的资源状况；定时调用用户管理组件，获取用户优先级信息；

步骤S8.2：基于资源状况信息和用户优先级信息，按照指定的跨云调度策略，如果需要优化调度，则生成相应的调度计划，并下发到指定子云环境执行；

步骤S8.3：子云环境执行调度计划，生成所需资源；监控系统上报该生成资源的信息。

10.根据权利要求6至9中任一项所述的基于多目标优化的资源调度方法，其特征在于，所述通信接口采用restful接口。