CN105404549A - 基于yarn架构的虚拟机调度系统 - Google Patents

Abstract

本发明公开了一种基于yarn架构的虚拟机调度系统,属于云系统领域，包括ResourceManager模块，NodeManager模块，YarnProxy模块，AnalysisServer模块和Hypervisor主机。本发明通过对YARN进行功能扩充，使系统可以同时运行任务调度器和虚拟机调度器，支持使用不同的调度算法调度不同类型的资源。本发明对资源进行统一管理，大幅度降低不同资源的运维成本。添加的AnalysisServer模块能够对实时的虚拟机资源使用情况进行分析，对于不同需求的客户提供不同的超卖系数，解决资源利用率低的问题。

Description

基于yarn架构的虚拟机调度系统

技术领域

本发明属于云系统领域，特别是涉及一种虚拟机调度系统。

背景技术

近些年来，云计算大潮风起云涌，现在很多的公司尤其是互联网公司都建立起了自己的公有云或私有云。云计算的强烈需求，促进了虚拟化技术发展，为了提高资源利用率，虚拟化服务器就变成了大多数公司的选择，而目前主流的虚拟机资源调度系统只能满足特定的需求，无法扩展至其他类型的资源调度，对系统资源进行统一管理。其使用的调度算法实现都是以用户申请的资源量为输入，实际系统运行过程中，虚拟机在大部分时间不会满负荷使用其所占资源，导致系统资源利用率低。而且对于需求不同的用户，使用同一的标准进行配置虚拟机，可能导致对于性能要求较高的用户不能达到流畅使用的目的，同时，普通用户也会造成资源浪费的情况。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种能够降低不同资源的运维成本且解决资源利用率低的虚拟机调度系统。

为实现上述目的，本发明提供了一种基于yarn架构的虚拟机调度系统,包括ResourceManager模块(资源调度管理器)，NodeManager模块(节点管理器)，YarnProxy模块(Yarn服务代理)，AnalysisServer模块(资源使用分析)和Hypervisor主机(虚拟化服务器)；

所述ResourceManager模块基于应用程序对资源的需求进行调度；

所述NodeManager模块监控应用程序的资源使用情况(CPU、内存、硬盘及网络)并且向所述ResourceManager模块汇报；

所述YarnProxy模块用于上报Hypervisor主机的资源信息到ResourceManager模块；部署虚拟机时发送资源申请请求到ResourceManager模块获取合适的主机；从分析系统获取虚拟机资源使用情况更新到ResourceManager模块；

所述AnalysisServer模块用于对虚拟机使用的资源进行分析和调整，使用RESTAPI通信，查询虚拟机资源使用信息，通过YarnProxy更新主机负载信息到ResourceManager模块；

所述Hypervisor主机用于运行需要调度的VM。

较佳的，所述ResourceManager模块包括ResourceTrackerService模块、ApplicationMasterService模块、ClientRMService模块、VMscheduler模块和Jobscheduler模块；

所述ResourceTrackerService模块用于资源追踪服务，负责NodeManager模块将Node信息上报到ResourceManager模块；

所述ApplicationMasterService模块用于应用程序管理服务，负责处理ApplicationMaster模块相关请求，包括注册和完成ApplicationMaster模块请求，ApplicationMaster模块对ResourceManager模块的分配请求；

所述ClientRMService模块用于客户端通过RPC协议ClientRMProtocol向ResourceManager模块发送应用程序提交请求；

所述VMscheduler模块用于负责执行虚拟机调度任务，支持分级调度；

所述Jobscheduler模块用于执行任务调度。

较佳的，所述NodeManager模块包括Container模块，ApplicationMaster模块；

所述Container模块是Yarn中资源的抽象，它封装了某个节点上一定量的资源(CPU和内存两类资源)，所述Container模块是由ApplicationMaster模块向ResourceManager模块申请的，ResouceManager模块中的资源调度器异步分配给ApplicationMaster模块，所述Container模块运行由ApplicationMaster模块向资源所在的NodeManager模块发起；

所述ApplicationMaster模块用于应用程序管理，负责向调度器索要适当的资源容器、运行任务、跟踪应用程序的状态和监控它们的进程，处理任务的失败原因。

较佳的，所述YarnProxy模块包括ProxyClient模块、ProxyAppMaster模块和ProxyNodeManager模块；

所述ProxyClient模块用于向ResourceManager模块发送应用程序提交申请，获取ApplicationId；

所述ProxyAppMaster模块是unmanaged类型的applicationmaster，运行在YarnProxy宿主机上，用于申请虚拟机所需要的资源，获得资源后在对应的Hypervisor上启动虚拟机；

所述ProxyNodeManager模块上报Hypervisor模块的资源使用情况到ResourceManager模块用于调度决策。

较佳的，所述分级调度采用两级调度，第一级使用规则调度，根据虚拟化类型、主机标签、存储标签、主机标签、主机所在区域、虚拟机使用的网络选择出一组主机；第二级使用负载调度，根据负载和调度算法目标从以上一组主机中选择确定的主机。

较佳的，所述VMscheduler模块采用BestFit，FirstFit，Package，Random，Striping调度算法中的一种。

较佳的，所述AnalysisServer模块采用当前的主机剩余资源量和历史主机剩余资源量来进行主机负载分析，这样可以保证在虚拟机使用资源动态变化时能快速为其增加资源分配。

较佳的，所述的AnalysisServer模块为不同需求的用户设置不同的超卖系数，从而提升资源使用率和用户使用体验。

本发明的有益效果是：本发明通过对YARN进行功能扩充，使系统可以同时运行任务调度器和虚拟机调度器，支持使用不同的调度算法调度不同类型的资源。本发明对资源进行统一管理，大幅度降低不同资源的运维成本。添加的AnalysisServer模块能够对实时的虚拟机资源使用情况进行分析，对于不同需求的客户提供不同的超卖系数，解决资源利用率低的问题。

附图说明

图1是本发明一具体实施方式使用的基于Yarn架构的虚拟机调度系统工作逻辑示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明：

如图1所示，一种基于Yarn架构的虚拟机调度系统，包括ResourceManager模块，NodeManager模块，YarnProxy模块，AnalysisServer模块和Hypervisor主机。

所述ResourceManager模块是一个资源调度器，它基于应用程序对资源的需求进行调度。所述NodeManager模块是每一台机器框架的代理，是执行应用程序的容器，监控应用程序的资源使用情况(CPU、内存、硬盘、网络)并且向调度器汇报。所述YarnProxy模块是一个Yarn代理服务，主要负责上报Hypervisor主机的资源信息到ResourceManager；部署虚拟机时发送资源申请请求到ResourceManager获取合适的主机；从分析系统获取虚拟机资源使用情况更新到ResourceManager。所述AnalysisServer对于虚拟机使用的资源进行分析和调整，使用RESTAPI通信，查询虚拟机资源使用信息，通过YarnProxy更新主机负载信息到ResourceManager。

所述Hypervisor是虚拟化服务器，需要调度的VM(虚拟机)运行在其上。

YarnProxy通过ProxyClient注册unmanagedAppMaster,获取ApplicationId，并保持心跳。Hypervisor上报资源信息及已有虚拟机信息到YarnProxy。YarnProxy通过根据AnalysisServer模块用户需求信息计算可以使用的Hypervisor资源量，然后YarnProxy调用ResourceTrackerServicerpc接口注册Hypervisor信息和已有虚拟机信息到ResourceManager。YarnProxy启动定时线程后，从AnalysisServer获取Hypervisor的当前负载信息，更新Hypervisor负载信息到ResourceManager和AnalysisServer模块。接着YarnProxy调用ApplicationMasterServicerpc接口申请资源，ResourceManager根据请求的规则参数过滤主机，根据虚拟化类型，Hypervisor标签，存储标签，Hypervisor标签，Hypervisor所在区域，虚拟机使用的网络等要求选择出一组Hypervisor，然后ResourceManager根据二级负载调度的调度算法选择一个合适的Hypervisor，返回Hypervisor信息给YarnProxy，并更新Hypervisor的资源使用信息。最终YarnProxy在ResourceManager返回的Hypervisor上创建虚拟机。

YarnProxy通过ProxyClient注册unmanagedAppMaster,获取ApplicationId，并保持心跳。

2.Hypervisor上报资源信息及已有虚拟机信息到YarnProxy。YarnProxy通过根据AnalysisServer模块用户需求信息计算可以使用的Hypervisor资源量，具体计算过程如下：

本系统对于主机资源剩余量的计算采用当前资源剩余量+历史资源剩余量的方案。历史资源剩余量是一个调度周期的资源剩余量的平均值。公式如下：

f＝μ₁·A+μ₂·B；

$A=R_j-\underset{i=1}{\overset{m}{\Σ}}{\mathrm{ru}}_i\·X_i;$

$B=\underset{i=0}{\overset{n}{\Σ}}average\left(A_i\right);$

ru＝cu+α(au-cu)；

其中和分别为当前资源剩余量和历史资源剩余量所占权值，A为当前资源剩余量，表示主机资源总量，表示第i台虚拟机所需资源总量，表示虚拟机开启或关闭的状态，m虚拟机总数量，B表示历史资源剩余量，表示调度周期内主机第i次资源剩余量记录值，n表示调度周期内资源剩余量记录次数。为当前采集的虚拟机资源需求量，为虚拟机的资源需求量最大值，相当于超卖系数。对于业务目标是业务稳定和较高性能要求的客户，需要设置较小的超卖系数或者不超卖，对于普通用户只需要保证业务可以稳定运行即可，这种场景可以适当设置较大的超卖系数，保证主机可以容纳更多的虚拟机。

3.YarnProxy调用ResourceTrackerServicerpc接口注册Hypervisor信息和已有虚拟机信息到ResourceManager。

4.YarnProxy启动定时线程，从AnalysisServer获取Hypervisor的当前负载信息，更新Hypervisor负载信息到ResourceManager和AnalysisServer模块。

5.YarnProxy调用ApplicationMasterServicerpc接口申请资源。

6.ResourceManager根据请求的规则参数过滤主机，根据虚拟化类型，Hypervisor标签，存储标签，Hypervisor标签，Hypervisor所在区域，虚拟机使用的网络等要求选择出一组Hypervisor。

7.ResourceManager根据二级负载调度的调度算法选择一个合适的Hypervisor，返回Hypervisor信息给YarnProxy，并更新Hypervisor的资源使用信息。调度算法有BestFit(取当前空闲资源最大的主机)，FirstFit(取第一个符合资源要求的主机)，Package(将虚拟机分配到尽可能少的主机上)，Random(随机选取一个符合负载要求的主机)，Striping(将虚拟机分散到尽可能多的主机上)等。用户可根据自身需求选择不同的调度算法，默认值为BestFit调度算法。。

8.YarnProxy在ResourceManager返回的Hypervisor上创建虚拟机。

本发明设计开发了新的统一资源调度系统，目前支持虚拟机调度和任务调度，并且可以方便地扩展至物理设备调度和容器调度等。AnalysisServer模块在保证用户服务质量的前提下提高了资源利用率，YarnProxy也大大地简化了Hypervisor、AnalysisServer和Yarn的交互。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.一种基于yarn架构的虚拟机调度系统,其特征在于：包括ResourceManager模块(资源调度管理器)，NodeManager模块(节点管理器)，YarnProxy模块(Yarn服务代理)，AnalysisServer模块(资源使用分析)和Hypervisor主机(虚拟化服务器)；

所述ResourceManager模块基于应用程序对资源的需求进行调度；

所述NodeManager模块监控应用程序的资源使用情况并且向所述ResourceManager模块汇报；

所述YarnProxy模块用于上报Hypervisor主机的资源信息到ResourceManager模块；部署虚拟机时发送资源申请请求到ResourceManager模块获取合适的主机；从分析系统获取虚拟机资源使用情况更新到ResourceManager模块；

所述AnalysisServer模块用于对虚拟机使用的资源进行分析和调整，使用RESTAPI通信，查询虚拟机资源使用信息，通过YarnProxy更新主机负载信息到ResourceManager模块；

所述Hypervisor主机用于运行需要调度的VM。

2.如权利要求1所述的基于yarn架构的虚拟机调度系统，其特征是：所述ResourceManager模块包括ResourceTrackerService模块、ApplicationMasterService模块、ClientRMService模块、VMscheduler模块和Jobscheduler模块；

所述ResourceTrackerService模块用于资源追踪服务，负责NodeManager模块将Node信息上报到ResourceManager模块；

所述ApplicationMasterService模块用于应用程序管理服务，负责处理ApplicationMaster模块相关请求，包括注册和完成ApplicationMaster模块请求，ApplicationMaster模块对ResourceManager模块的分配请求；

所述ClientRMService模块用于客户端通过RPC协议ClientRMProtocol向ResourceManager模块发送应用程序提交请求；

所述VMscheduler模块用于负责执行虚拟机调度任务，支持分级调度；

所述Jobscheduler模块用于执行任务调度。

3.如权利要求1所述的基于yarn架构的虚拟机调度系统，其特征是：所述NodeManager模块包括Container模块，ApplicationMaster模块；

所述Container模块是Yarn中资源的抽象，它封装了某个节点上一定量的资源，所述Container模块是由ApplicationMaster模块向ResourceManager模块申请的，ResouceManager模块中的资源调度器异步分配给ApplicationMaster模块，所述Container模块运行由ApplicationMaster模块向资源所在的NodeManager模块发起；

所述ApplicationMaster模块用于应用程序管理，负责向调度器索要适当的资源容器、运行任务、跟踪应用程序的状态和监控它们的进程，处理任务的失败原因。

4.如权利要求1所述的基于yarn架构的虚拟机调度系统，其特征是：所述YarnProxy模块包括ProxyClient模块、ProxyAppMaster模块和ProxyNodeManager模块；

所述ProxyClient模块用于向ResourceManager模块发送应用程序提交申请，获取ApplicationId；

所述ProxyAppMaster模块是unmanaged类型的applicationmaster，运行在YarnProxy宿主机上，用于申请虚拟机所需要的资源，获得资源后在对应的Hypervisor上启动虚拟机；

所述ProxyNodeManager模块上报Hypervisor模块的资源使用情况到ResourceManager模块用于调度决策。

5.如权利要求1所述的基于yarn架构的虚拟机调度系统，其特征是：所述分级调度采用两级调度，第一级使用规则调度，根据虚拟化类型、主机标签、存储标签、主机标签、主机所在区域、虚拟机使用的网络选择出一组主机；第二级使用负载调度，根据负载和调度算法目标从以上一组主机中选择确定的主机。

6.如权利要求1或5所述的基于yarn架构的虚拟机调度系统，其特征是：所述VMscheduler模块采用BestFit，FirstFit，Package，Random，Striping调度算法中的一种。

7.如权利要求1所述的基于yarn架构的虚拟机调度系统，其特征是：

所述AnalysisServer模块采用当前的主机剩余资源量和历史主机剩余资源量来进行主机负载分析。

8.如权利要求1所述的基于yarn架构的虚拟机调度系统，其特征是：

所述的AnalysisServer模块为不同需求的用户设置不同的超卖系数。