CN108563495A - 数据中心综合管理系统的云资源队列分级调度系统和方法 - Google Patents

Abstract

本发明公开数据中心综合管理系统的云资源队列分级调度方法，涉及数据中心综合管理技术，首先用户的调度请求提交至排队器，排队器对调度请求进行预分级，根据调度请求不同的优先级将其插入到相应的优先级队列中；等待调度器进行调度；调度器在每次调度时，会从高优先级队列调度，若高优先级队列为空，则依次往低优先级队列调度；在同一优先级队列内部利用先进先出的调度算法。本发明将管理系统搭建在该云资源队列分级调度系统上，使得数据中心综合管理系统的服务得以高效运行，解决了原来的性能问题和管理问题，提高了数据中心综合管理系统的高效性和稳定性。本发明还公开了数据中心综合管理系统的云资源队列分级调度系统。

Description

数据中心综合管理系统的云资源队列分级调度系统和方法

技术领域

本发明涉及数据中心综合管理技术，具体的说是一种数据中心综合管理系统的云资源队列分级调度系统和方法。

背景技术

随着大数据信息行业的飞速发展，数据中心的发展进入到一个新的阶段。管理系统是数据中心内部配置的重要组成部分。传统的管理系统主要以动环监控为主，具备多种数据接口，可接入UPS、配电柜、精密空调、门禁、温湿度传感器、烟雾探测器、温度探测器、漏水传感器、翻转天窗及网络摄像机等多种监控对象。

当前，随着云计算、大数据和互联网的快速发展，信息化的基础设施发生了根本转变，监控管理的需求从一些单独的系统要求转化为整体平台化、统一平台、统一管理的系统要求。各项应用服务器不再是单独的计算模块，而是通过云计算、大数据等平台将计算、存储资源统一起来，跨越数据中心范围形成规模庞大、统一监控与管理的资源池，因此需要能够监控大规模、分布式、跨地域的虚拟资源与物理资源的统一监控系统。

数据中心基础设施是云计算架构的核心，它提供给用户包括CPU、内存、存储、网络等计算资源的使用，有效减轻了IT运维的成本和复杂性。云计算架构具有分布式、跨网络、资源种类多的特点，随之而来为资源管理方面带来了前所未有的挑战，相比于传统服务器集群架构，除了对web服务器、应用服务器等物理资源的管理，还需要对CPU、内存、存储、网络、虚拟机等虚拟资源的统一管理。

云计算中的任务调度，实际上是根据不同任务对资源的需求情况、任务类型、任务到达时间和集群中虚拟机的运行状态等，选择出合适的虚拟机来执行任务，在确保负载均衡和及时处理任务请求的前提下尽可能的最大化地提高整个系统的服务质量。因此，云计算中的任务调度的目标有四个，分别是服务质量最优化，资源间的负载均衡，跨度最优化和经济效益的最大化。

任务调度模式指的是云计算系统中的调度系统的组织结构。根据现有的分类方式，任务调度模式可以分为集中式调度模式、分布式调度模式和分层式调度模式。

在集中调度模式中，所有的任务请求都由系统中的调度器来完成调度，其最大的特点在于整个系统的调度请求都由中央调度器来完成，不需要其他模块的协助。集中调度模式的缺点是维护代价过高，中央调度器的性能影响到每个调度系统，这种模式适合规模小规模的调度系统。

在分布式调度模式中，系统中存在多个调度器，当请求道来时被路由到不同的调度器，调度器间协作完成调度。分布式调度模式容错性很高，扩展性很好。但是，该模式调度器之间有很大的通信开销，因为各个调度器间是异步操作的，信息很难实时共享，调度性能并非全局最优。

分层式调度模式，是将分布式调度模式与集中式调度模式进行一定程度糅合而达到的任务调度模式。与集中调度模式一样，在分层调度模式中也有一个中央调度器，负责整个系统的资源、存储的配置和管理。同时与分布式调度模型一样，分层调度模式也有一些本地调度器来协同工作。中央调度器完成对待调度任务的域的整体划分，本地调度器完成对本域内待调度任务的二次划分；通过本地调度器与中央调度器的共同协作来完成任务调度的过程。

分层式调度模式由于引入了集中式任务调度中的中央调度器，从而一定程度上缓解了分布式任务调度模型中对全局信息难以掌控的问题；由于引入了一定数量的本地调度器，从而提高了系统的容错性以及系统性能的稳定性，并且也允许了在不同的域采用不同的调度算法，从而实现任务的高效与灵活调度。但是，分层式调度模式在局部任保留了集中调度模式、分布式调度模式的缺点。

根据调度器调度任务的时间和总量的不同，动态的启发式的任务调度算法可以分为两种模式，分别为批处理模式和在线模式。所谓在线调度模式指的是，当用户服务请求到达调度器时，调度系统立刻对到达的任务进行响应，并且做出实时的调度策略的任务调度模式。这种模式的优点就是响应时间快，实时性高等特征，但是由于其实时性高，所以对系统总体信息的把握上比较差，因此该类调度算法的系统整体性能往往不是很理想。而批处理模式的任务调度模式并没有在用户的服务请求到来的时候，马上作出任务调度的策略，调度器首先将任务放到一个等待调度队列中，然后当某些条件成熟时，再将具体的任务请求分配到计算资源上，因此批处理模式不仅具有了动态启发式调度算法的实时性，同时又兼顾了静态任务调度算法的特征，是比较理想的解决策略。

现有的任务调度算法大多数只是考虑单个的SLA(Service Level Appointment)，即单独的考虑内存、带宽或者CPU，尽管有些进行了多SLA特征进行综合调度，一些动态调度算法中同时考虑了调度资源的多维性。但是这些算法都是基于资源的匹配，没有考虑用户对服务需求的多样性以及对服务QOS的要求。因此，基于这些资源匹配的基础上，急需开发一种分级队列调度的调度方案，来解决目前所存在的这些问题。

发明内容

本发明针对目前技术发展的需求和不足之处，提供一种数据中心综合管理系统的云资源队列分级调度系统和方法。

本发明所述数据中心综合管理系统的云资源队列分级调度方法，解决上述技术问题采用的技术方案如下：所述数数据中心综合管理系统的云资源队列分级调度方法，其实现过程包括：

步骤一，调度请求经排队器进入不同的队列；

用户的调度请求提交至排队器，排队器对调度请求进行预分级，根据调度请求不同的优先级将其插入到相应的优先级队列中；等待调度器进行调度；

步骤二，调度器从当前优先级最高的不为空的队列中选取一个调度请求进行调度；

调度器在每次调度时，会从高优先级队列调度，若高优先级队列为空，则依次往低优先级队列调度；在同一优先级队列内部利用先进先出的调度算法。

具体的，所述排队器对调度请求进行预分级，调度请求被分配一个唯一的级别号，系统为不同的级别组织成不同的调度队列，队列间相互独立，高优先级抢占低优先级获得优先调度资格。

具体的，所述调度器每次从分级队列中选取出一个调度请求，将其分配到合适的虚拟机中；在调度需求特征向量、资源特征向量和权重向量的基础上，使调度请求与资源节点相互匹配。

具体的，所述步骤一，调度请求经排队器进入不同的队列；具体流程如下：

步骤1)用户提交调度请求，所述调度请求包括请求的应用标识、请求的级别、资源的需求向量和资源需求的权重向量；

步骤2)排队器检测用户提交的四元组中的资源需求向量是否为空，若为空，则根据应用标识在系统中查找该应用系统设定的默认资源需求向量，填充至四元组中；若资源需求向量不为空，则执行下一步；

步骤3)排队器检测用户提交的四元组中的权重向量是否为空，若不为空，则执行下一步；若为空，则根据应用标识在系统中查找该应用系统设定的默认权重向量，填充至四元组中；

步骤4)排队器根据四元组中的请求级别，将调度请求插入到请求该资源的排队中；

步骤5)等待调度器进行调度。

具体的，所述步骤二，调度器从当前优先级最高的不为空的队列中选取一个调度请求进行调度；具体流程如下：

步骤1)调度器开始调度，系统中存在多个不同优先级的队列，调度器从最高优先级队列开始遍历，找到一个不为空的队列；

步骤2)利用先进先出算法，从步骤1)选取的队列中找到一个调度任务；

步骤3)根据应用标识获得调度请求可用的资源列表；

步骤4)利用资源匹配器在步骤3)获得的资源列表中找到可用的虚拟机，返回给用户，若没有找到合适的虚拟机，就返回用户无可用资源，然后跳转步骤2)；

步骤5)调度器跳转步骤1)，继续进行调度。

本发明还提出了数据中心综合管理系统的云资源队列分级调度系统，主要包括：

调度模块，负责对整个平台的资源进行管理和调度；采用多进程模式设计，进程间IPC使用信号、管道和共享内存方式；

调度模块管理与协调：排队器进程、调度器进程；

排队器进程，负责系统请求队列的创建与维护，排队器进程维护一系统全局队列，每一个全局队列项对应一个局部优先级队列，每个局部优先级队列项对应一个位于该优先级的请求队列；接收用户的调度请求，根据调度请求的ID和优先级将其插入到不同的队列，等待调度；

调度器进程，负责从系统队列中选出一个合适的调度请求进行调度，在同一优先级队列内部利用先进先出的调度算法。

具体的，所述调度模块是运行于服务器端的daemon进程，启动后分出排队器进程、调度器进程；调度模块进程创建接口等待用户发来调度请求。

具体的，所述调度系统还包括资源匹配进程，负责在资源节点中找出合适的虚拟机资源；调度器进程调用资源匹配进程进行资源节点的匹配。

具体的，所述调度模块进程创建接口侦听40000端口，接收来自用户的调度请求；当调度请求到来时，所述排队器根据请求中的[App ID,Level]将请求插入到不同的队列。

具体的，所述排队器进程还维护一个请求注册队列，当用户的调度请求到达时，先在请求注册队列中注册相应的全局队列[appid]信息；

调度器调度时首先遍历请求注册队列，对于每一个表项创建一个进程进行调度，当对应的用户请求队列为空时，对应进程首先注销请求注册队列相应的项，然后退出资源匹配进程并在调度器创建的处理进程中调用，在资源节点中找到合适的虚拟机返回给用户。

本发明所述数据中心综合管理系统的云资源队列分级调度系统和方法，与现有技术相比具有的有益效果是：本发明在涉及物理资源与虚拟资源同时需要监控的场景，将管理系统搭建在该云资源队列分级调度系统上，使得数据中心综合管理系统的服务得以高效运行，很好的解决了原来的性能问题和管理问题，解决了现有调度算法中用户对访问需求的多样性以及对服务QoS的要求缺乏考虑的问题，同时克服了集中调度模式、分布式调度模式、分层式调度模式的缺点；有助于数据中心的统一管理，提高了数据中心综合管理系统的高效性和稳定性。

附图说明

为了更清楚的说明本发明实施例或现有技术中的技术内容，下面对本发明实施例或现有技术中所需要的附图做简单介绍。显而易见的，下面所描述附图仅仅是本发明的一部分实施例，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，但均在本发明的保护范围之内。

附图1为实施例1数据中心综合管理系统云资源队列分级管理系统的示意图。

具体实施方式

为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清查、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下获得的所有实施例,都在本发明的保护范围之内。

实施例1：

本实施例提出的数据中心综合管理系统的云资源队列分级调度方法，其实现过程包括：

步骤一，调度请求经排队器进入不同的队列；

具体的，用户的调度请求提交至排队器，排队器对调度请求进行预分级，根据调度请求不同的优先级将其插入到相应的优先级队列中；当新的调度请求到来时，排队器根据调度请求的优先级将其插入到相应的优先级队列中；等待调度器进行调度；

排队器对调度请求进行预分级，调度请求被分配一个唯一的级别号，系统为不同的级别组织成不同的调度队列，队列间相互独立，并且高优先级能抢占低优先级获得优先调度资格；

步骤二，调度器从当前优先级最高的不为空的队列中选取一个调度请求进行调度；

具体的，调度器在每次调度时，会从高优先级队列调度，如果高优先级队列为空，则依次往低优先级队列调度；在同一优先级队列内部利用先进先出的调度算法；

当用户使用某个应用时，将[userid,appid]发送到调度器，调度器会根据appid获得相应应用的特征向量。Userid指，使用云资源的用户对应的唯一标识；appid指，提供给用户使用的资源在系统中对应的唯一标识。

调度器每次从分级队列中选取出一个调度请求，将其分配到合适的虚拟机中，在调度需求特征向量、资源特征向量和权重向量的基础上，使调度请求与资源节点相互匹配。

调度需求特征向量：REQ＝[CPU,MEM,NET,DISK]，其中CPU指的是CPU需求量，单位为比率，MEN指的是内存需求量，单位为MB，NET指的是网络需求量，单位为Mbps，DISK指的是硬盘需求量，单位为GB。调度需求特征向量可以通过应用的历史执行情况统计算得出，也可以由用户提交调度请求时自行设定。调度器会检测用户的调度请求，若请求没有附带特征向量，则在系统表中查找相应请求系统的预设值。同时，排队器按照不同的QoS特征对用户提供的调度需求进行分类，不同的分类采用特定的调度机制，进而为用户提供更高满意度的服务质量。考虑的QoS特征包括：计算能力、内存能力、带宽、存储、虚拟率等。

本实施例还提出了数据中心综合管理系统的云资源队列分级调度系统，如附图1所示，主要包括：

调度模块，负责对整个平台的资源进行管理和调度；采用多进程模式设计，进程间IPC使用信号、管道和共享内存方式；多进程实现方式使得调度模块内不同功能件相互独立，高内聚低耦合，便于编程实现与管理；

调度模块管理与协调：排队器进程、调度器进程；

具体的，调度模块是运行于服务器端的daemon进程，启动后分出(fork)排队器进程、调度器进程；然后，调度模块进程创建接口(socket)等待用户发来调度请求；

排队器进程，负责系统请求队列的创建与维护，接收用户的调度请求，根据调度请求的ID和优先级将其插入到不同的队列，等待调度；

调度器进程，负责从系统队列中选出一个合适的调度请求进行调度，在同一优先级队列内部利用先进先出的调度算法；并调用资源匹配进程进行资源节点的匹配；

资源匹配进程，负责在资源节点中找出合适的虚拟机资源。

实施例2：

本实施例提出的数据中心综合管理系统的云资源队列分级调度方法，在实施例1所述云资源队列分级调度方法的基础上，给出步骤一调度请求经排队器进入不同的队列；以及步骤二调度器从当前优先级最高的不为空的队列中选取一个调度请求进行调度的一种技术方案，增加了实施例2提出的技术方案的实用性和可行性。

实施例2所述数据中心综合管理系统的云资源队列分级调度方法，其实现过程包括：

步骤一，调度请求经排队器进入不同的队列；具体流程如下：

步骤1)用户提交调度请求，所述调度请求包括请求的应用标识、请求的级别、资源的需求向量和资源需求的权重向量；

步骤2)排队器检测用户提交的四元组中的资源需求向量是否为空，如果为空，则根据应用标识在系统中查找该应用系统设定的默认资源需求向量，填充至四元组中，如果资源需求向量不为空，就执行下一步；

步骤3)排队器检测用户提交的四元组中的权重向量是否为空，如果不为空，就执行下一步，如果为空，则根据应用标识在系统中查找该应用系统设定的默认权重向量，填充至四元组中；

步骤4)排队器根据四元组中的请求级别，将调度请求插入到请求该资源的排队中；

步骤5)等待调度器进行调度。

步骤二，调度器从当前优先级最高的不为空的队列中选取一个调度请求进行调度，具体流程如下：

步骤1)调度器开始调度，系统中存在多个不同优先级的队列，调度器从最高优先级队列开始遍历，找到一个不为空的队列；

步骤2)利用先进先出算法，从步骤1)选取的队列中找到一个调度任务；

步骤3)根据应用标识获得调度请求可用的资源列表；

步骤4)利用资源匹配器在步骤3)获得的资源列表中找到可用的虚拟机，返回给用户，如果没有找到合适的虚拟机，就返回用户无可用资源，然后跳转步骤2)；

步骤5)调度器跳转步骤1)，继续进行调度。

实施例2还提出数据中心综合管理系统的云资源队列分级调度系统，在实施例1数据中心综合管理系统的云资源队列分级调度系统的基础上，给出的另一个具体实施方式，进一步增加了实施例2云资源队列分级调度系统的实用性和可行性。

调度模块进程为资源调度的核心进程，调度模块进程启动之后分出排队器进程、调度器进程；调度模块进程创建接口侦听40000端口，接收来自用户的调度请求；当调度请求到来时，排队器根据请求中的[App ID,Level]将请求插入到不同的队列。

本实施例中，排队器进程维护一系统全局队列，每一个全局队列项对应一个局部优先级队列；队列分为四个固定的优先级，每个局部优先级队列项对应一个位于该优先级的请求队列。

排队器进程还维护了一个请求注册队列，当用户的调度请求到达时，先在请求注册队列中注册相应的全局队列[appid]信息，避免调度器每次调度都遍历系统全局队列浪费大量时间。在排队器进程初始化之后创建调度器进程。

调度器调度时首先遍历请求注册队列，对于每一个表项创建一个进程进行调度，当对应的用户请求队列为空时，对应进程首先注销请求注册队列相应的项，然后退出资源调度进程在调度器创建的处理进程中调用，在资源节点中找到合适的虚拟机返回给用户；调度器在用户请求队列中选出一个调度项，将该调度项传递给资源匹配进程，资源匹配进程根据调度项中appid在核心数据库中找出可用资源节点。

以上应用具体个例对本发明的原理及实施方式进行了详细阐述，这些实施例只是用于帮助理解本发明的核心技术内容，并不用于限制本发明的保护范围，本发明的技术方案不限制于上述具体实施方式内。基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。

Claims (10)

1.数据中心综合管理系统的云资源队列分级调度方法，其特征在于，其实现过程包括：

步骤一，调度请求经排队器进入不同的队列；

用户的调度请求提交至排队器，排队器对调度请求进行预分级，根据调度请求不同的优先级将其插入到相应的优先级队列中；等待调度器进行调度；

步骤二，调度器从当前优先级最高的不为空的队列中选取一个调度请求进行调度；

调度器在每次调度时，会从高优先级队列调度，若高优先级队列为空，则依次往低优先级队列调度；在同一优先级队列内部利用先进先出的调度算法。

2.根据权利要求1所述数据中心综合管理系统的云资源队列分级调度方法，其特征在于，所述排队器对调度请求进行预分级，调度请求被分配一个唯一的级别号，系统为不同的级别组织成不同的调度队列，队列间相互独立，高优先级抢占低优先级获得优先调度资格。

3.根据权利要求2所述数据中心综合管理系统的云资源队列分级调度方法，其特征在于，所述调度器每次从分级队列中选取出一个调度请求，将其分配到合适的虚拟机中；在调度需求特征向量、资源特征向量和权重向量的基础上，使调度请求与资源节点相互匹配。

4.根据权利要求3所述数据中心综合管理系统的云资源队列分级调度方法，其特征在于，所述步骤一，调度请求经排队器进入不同的队列；具体流程如下：

步骤1)用户提交调度请求，所述调度请求包括请求的应用标识、请求的级别、资源的需求向量和资源需求的权重向量；

步骤2)排队器检测用户提交的四元组中的资源需求向量是否为空，若为空，则根据应用标识在系统中查找该应用系统设定的默认资源需求向量，填充至四元组中；若资源需求向量不为空，则执行下一步；

步骤3)排队器检测用户提交的四元组中的权重向量是否为空，若不为空，则执行下一步；若为空，则根据应用标识在系统中查找该应用系统设定的默认权重向量，填充至四元组中；

步骤4)排队器根据四元组中的请求级别，将调度请求插入到请求该资源的排队中；

步骤5)等待调度器进行调度。

5.根据权利要求4所述数据中心综合管理系统的云资源队列分级调度方法，其特征在于，所述步骤二，调度器从当前优先级最高的不为空的队列中选取一个调度请求进行调度；具体流程如下：

步骤1)调度器开始调度，系统中存在多个不同优先级的队列，调度器从最高优先级队列开始遍历，找到一个不为空的队列；

步骤2)利用先进先出算法，从步骤1)选取的队列中找到一个调度任务；

步骤3)根据应用标识获得调度请求可用的资源列表；

步骤4)利用资源匹配器在步骤3)获得的资源列表中找到可用的虚拟机，返回给用户，若没有找到合适的虚拟机，就返回用户无可用资源，然后跳转步骤2)；

步骤5)调度器跳转步骤1)，继续进行调度。

6.数据中心综合管理系统的云资源队列分级调度系统，其特征在于，包括：

调度模块，负责对整个平台的资源进行管理和调度；采用多进程模式设计，进程间IPC使用信号、管道和共享内存方式；

调度模块管理与协调：排队器进程、调度器进程；

排队器进程，负责系统请求队列的创建与维护，排队器进程维护一系统全局队列，每一个全局队列项对应一个局部优先级队列，每个局部优先级队列项对应一个位于该优先级的请求队列；接收用户的调度请求，根据调度请求的ID和优先级将其插入到不同的队列，等待调度；

调度器进程，负责从系统队列中选出一个合适的调度请求进行调度，在同一优先级队列内部利用先进先出的调度算法。

7.根据权利要求6所述数据中心综合管理系统的云资源队列分级调度系统，其特征在于，所述调度模块是运行于服务器端的daemon进程，启动后分出排队器进程、调度器进程；调度模块进程创建接口等待用户发来调度请求。

8.根据权利要求7所述数据中心综合管理系统的云资源队列分级调度系统，其特征在于，所述调度系统还包括资源匹配进程，负责在资源节点中找出合适的虚拟机资源；调度器进程调用资源匹配进程进行资源节点的匹配。

9.根据权利要求8所述数据中心综合管理系统的云资源队列分级调度系统，其特征在于，所述调度模块进程创建接口侦听40000端口，接收来自用户的调度请求；当调度请求到来时，所述排队器根据请求中的[App ID,Level]将请求插入到不同的队列。

10.根据权利要求9所述数据中心综合管理系统的云资源队列分级调度系统，其特征在于，所述排队器进程还维护一个请求注册队列，当用户的调度请求到达时，先在请求注册队列中注册相应的全局队列[appid]信息；

调度器调度时首先遍历请求注册队列，对于每一个表项创建一个进程进行调度，当对应的用户请求队列为空时，对应进程首先注销请求注册队列相应的项，然后退出资源匹配进程并在调度器创建的处理进程中调用，在资源节点中找到合适的虚拟机返回给用户。