CN109460287A - 资源混合调度的控制方法及系统 - Google Patents

资源混合调度的控制方法及系统 Download PDF

Info

Publication number
CN109460287A
CN109460287A CN201811350959.2A CN201811350959A CN109460287A CN 109460287 A CN109460287 A CN 109460287A CN 201811350959 A CN201811350959 A CN 201811350959A CN 109460287 A CN109460287 A CN 109460287A
Authority
CN
China
Prior art keywords
resource
virtual machine
line operation
host
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811350959.2A
Other languages
English (en)
Inventor
徐新龙
方菊
陈昱康
雍浩淼
卫晓强
陈劼
蔡峰
孟思玮
孙朝斌
李伟
张翼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ctrip Travel Information Technology Shanghai Co Ltd
Original Assignee
Ctrip Travel Information Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ctrip Travel Information Technology Shanghai Co Ltd filed Critical Ctrip Travel Information Technology Shanghai Co Ltd
Priority to CN201811350959.2A priority Critical patent/CN109460287A/zh
Publication of CN109460287A publication Critical patent/CN109460287A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/4557Distribution of virtual machine instances; Migration and load balancing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45575Starting, stopping, suspending or resuming virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种资源混合调度的控制方法及系统,所述控制方法包括:预先在运行在线作业的宿主机上部署若干台虚拟机;判断当前时间是否处在非业务高峰时间段内,若在,则控制所述虚拟机开启并运行设定数量的目标离线作业;若不在,则控制所述虚拟机关闭并继续运行所述在线作业。本发明通过分时调用的方式,克服了现有的在线作业和离线作业在时间和空间上利用率的不均衡,对实际资源的造成大量浪费的缺陷,提高了在线作业的平均CPU利用率,减少了对于离线作业计算资源的采购费用,降低了互联网数据中心的部署成本。

Description

资源混合调度的控制方法及系统
技术领域
本发明涉及数据处理技术领域,特别涉及一种资源混合调度的控制方法及系统。
背景技术
在互联网数据中心的部署成本中,很大一部分源于采购服务器资源。这些服务器被用来运行不同的应用程序,主要包括在线应用(即在线作业)和离线作业。其中,在线应用的可用性会直接影响到业务指标,具有非常高的优先级,而离线作业失败时,有一定的容错处理方案,离线作业主要运行一些大数据相关的计算,执行的成功与否不会直接影响到业务指标,优先级相对比较低。
考虑到在线应用和离线作业的优先级不同,为了避免互相干扰,现有的在线应用和离线作业都是各自规划、单独采购、分开部署的。具体地,互联网公司大多直接面向用户,资源消耗呈现明显的高峰和低谷,白天业务高峰时间段请求量较高,在线应用对资源的利用率也高,夜间非业务高峰时间段请求量较少,在线应用对资源的利用率也低;大部分离线作业在夜间非业务高峰时间段异常繁忙;与此同时,离线作业的压力常常负荷过载。
因此,现有的在线应用在非业务高峰时间段存在大量空闲资源,而对应的时间段又有大量的离线作业需要运行,且常常会出现负载过重的现象;另外,随着离线作业不断在增长,需要更多的计算资源来执行任务;离线作业大多都是计算密集型,对物理资源的硬件配置要求比较高,从而资源的采购成本也非常高。
发明内容
本发明要解决的技术问题是现有技术中的在线作业和离线作业在时间和空间上利用率的不均衡,对实际资源的造成大量浪费,且离线作业运行常出现负载过重的现象,另外离线作业对物理资源的硬件配置要求比较高,造成资源的采购成本非常高等缺陷,目的在于提供一种资源混合调度的控制方法及系统。
本发明是通过下述技术方案来解决上述技术问题:
本发明提供一种资源混合调度的控制方法,所述控制方法包括:
S1、预先在运行在线作业的宿主机上部署若干台虚拟机;
S2、判断当前时间是否处在非业务高峰时间段内,若在,则控制所述虚拟机开启并运行设定数量的目标离线作业;若不在,则控制所述虚拟机关闭并继续运行所述在线作业。
较佳地,步骤S1之前还包括:
获取每台所述宿主机上的所述在线作业对应的资源画像数据;
根据所述资源画像数据判断所述在线作业是否符合预设条件,若符合,则确定所述在线作业属于消耗型资源,否则,确定所述在线作业属于非消耗型资源;
步骤S1包括:
预先在所述非消耗型资源对应的所述宿主机上部署若干台所述虚拟机。
较佳地,所述预设条件包括CPU(中央处理器)密集型、内存消耗型、磁盘消耗型、网络IO(输入输出)密集型和磁盘IO密集型中的至少一种;和/或,
所述资源画像数据包括所述宿主机在业务高峰时间段内的CPU利用率、内存利用率、磁盘的利用率、网卡的出入流量和磁盘的读写IOPS(硬盘性能指标)对应的平均值、方差中的至少一种。
较佳地,步骤S1之后、步骤S2之前还包括:
对所述宿主机上的所述虚拟机进行隔离处理;和/或,
步骤S1之后还包括:
将若干台所述虚拟机分别注册到资源调度系统;
所述控制所述虚拟机开启并运行设定数量的目标离线作业的步骤包括:
采用所述资源调度系统调度所述虚拟机,控制所述虚拟机开启并运行设定数量的目标离线作业。
较佳地,所述控制若干台所述虚拟机开启运行设定数量的目标离线作业的步骤包括:
获取每个离线作业对应的作业画像数据;
其中,所述作业画像数据包括作业优先级、执行时长和网络带宽中的至少一种;
根据所述作业画像数据,挑选出能够在所述非业务高峰时间段内完成的所述设定数量的所述目标离线作业;
控制若干台所述虚拟机开启运行所述设定数量的所述目标离线作业。
较佳地,所述控制方法还包括:
监测所述宿主机中的所述磁盘的读写IOPS;
判断所述磁盘的读写IOPS是否满足连续设定次数均达到设定阈值,若满足,则关闭所述虚拟机。
本发明还提供一种资源混合调度的控制系统,所述控制系统包括部署模块、第一判断模块和控制模块;
所述部署模块用于预先在运行在线作业的宿主机上部署若干台虚拟机;
所述第一判断模块用于判断当前时间是否处在非业务高峰时间段内,若在,则调用所述控制模块控制所述虚拟机开启并运行设定数量的目标离线作业;若不在,则调用所述控制模块控制所述虚拟机关闭并继续运行所述在线作业。
较佳地,所述控制系统还包括数据获取模块和第二判断模块;
所述数据获取模块用于获取每台所述宿主机上的所述在线作业对应的资源画像数据;
所述第二判断模块用于根据所述资源画像数据判断所述在线作业是否符合预设条件,若符合,则确定所述在线作业属于消耗型资源,否则,确定所述在线作业属于非消耗型资源;
所述部署模块用于预先在所述非消耗型资源对应的所述宿主机上部署若干台所述虚拟机。
较佳地,所述预设条件包括CPU密集型、内存消耗型、磁盘消耗型、网络IO密集型和磁盘IO密集型中的至少一种;和/或,
所述资源画像数据包括所述宿主机在业务高峰时间段内的CPU利用率、内存利用率、磁盘的利用率、网卡的出入流量和磁盘的读写IOPS对应的平均值、方差中的至少一种。
较佳地,所述控制系统还包括隔离处理模块;
所述隔离处理模块用于对所述宿主机上的所述虚拟机进行隔离处理;和/或,所述控制系统还包括注册模块;
所述注册模块用于将若干台所述虚拟机分别注册到资源调度系统;
所述控制模块用于在当前时间处在非业务高峰时间段时,控制所述资源调度系统调度所述虚拟机设定数量的目标离线作业。
较佳地,所述控制模块包括数据获取单元、挑选单元和控制单元;
所述数据获取单元用于获取每个离线作业对应的作业画像数据;
其中,所述作业画像数据包括作业优先级、执行时长和网络带宽中的至少一种;
所述挑选单元用于根据所述作业画像数据,挑选出能够在所述非业务高峰时间段内完成的所述设定数量的所述目标离线作业;
所述控制单元用于控制若干台所述虚拟机开启运行所述设定数量的所述目标离线作业。
较佳地,所述控制系统还包括监测模块和第三判断模块;
所述监测模块用于监测所述宿主机中的所述磁盘的读写IOPS;
所述第三判断模块用于判断所述磁盘的读写IOPS是否满足连续设定次数均达到设定阈值,若满足,则关闭所述虚拟机。
本发明的积极进步效果在于:
本发明中,预先在宿主机上部署若干台虚拟机,在白天业务高峰时间段时,部署有虚拟机的宿主机正常运行在线作业;在夜间非业务高峰时间段时,部署有虚拟机的宿主机中的虚拟机开启运行设定数量的目标离线作业,即通过混合部署,分时调用的方式,克服了现有的在线作业和离线作业在时间和空间上利用率的不均衡,从而对实际资源的造成大量浪费的缺陷,提高了在线作业的平均CPU利用率,减少了对于离线作业计算资源的采购费用,降低了互联网数据中心的部署成本。
附图说明
图1为本发明实施例1的资源混合调度的控制方法的流程图。
图2为本发明实施例2的资源混合调度的控制方法的流程图。
图3为本发明实施例2的资源混合调度的控制方法的第一数据对比图。
图4为本发明实施例2的资源混合调度的控制方法的第二数据对比图。
图5为本发明实施例3的资源混合调度的控制系统的模块示意图。
图6为本发明实施例4的资源混合调度的控制系统的模块示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明,但并不因此将本发明限制在所述的实施例范围之中。
实施例1
如图1所示,本实施例的资源混合调度的控制方法包括:
S101、预先在运行在线作业的宿主机上部署若干台虚拟机;
S102、判断当前时间是否处在非业务高峰时间段内,若在,则执行步骤S103;否则,执行步骤S104;
S103、控制虚拟机开启并运行设定数量的目标离线作业;
S104、控制虚拟机关闭并继续运行在线作业。
其中,一般非业务高峰时间段为夜间00:00-06:00,其他时间为业务高峰时间段,也可以根据实际情况对业务高峰时间段和非业务高峰时间段进行适应性调整。
本实施例中,预先在宿主机上部署若干台虚拟机,在白天业务高峰时间段时,部署有虚拟机的宿主机正常运行在线作业;在夜间非业务高峰时间段时,部署有虚拟机的宿主机中的虚拟机开启运行设定数量的目标离线作业,即通过混合部署,分时调用的方式,克服了现有的在线作业和离线作业在时间和空间上利用率的不均衡,从而对实际资源的造成大量浪费的缺陷,提高了在线作业的平均CPU利用率,减少了对于离线作业计算资源的采购费用,降低了互联网数据中心的部署成本。
实施例2
如图2所示,本实施例的资源混合调度的控制方法是对实施例1的进一步改进,具体地:
步骤S101之前还包括:
S1001、获取每台宿主机上的在线作业对应的资源画像数据;
S1002、根据资源画像数据判断在线作业是否符合预设条件,若符合,则确定在线作业属于消耗型资源,否则,确定在线作业属于非消耗型资源;
其中,预设条件包括CPU密集型、内存消耗型、磁盘消耗型、网络IO密集型和磁盘IO密集型中的至少一种;
具体地,CPU密集型是指宿主机在运行在线作业时对应的CPU利用率偏高的情况;内存消耗型是指宿主机在运行在线作业时对应的内存消耗偏高的情况;磁盘消耗型是指宿主机在运行在线作业时对应的磁盘消耗偏高的情况;网络IO密集型是指宿主机在运行在线作业时对应的网络IO利用率偏高的情况;磁盘IO密集型是指宿主机在运行在线作业时对应的磁盘IO利用率偏高的情况。
资源画像数据包括宿主机在业务高峰时间段内的CPU利用率、内存利用率、磁盘的利用率、网卡的出入流量和磁盘的读写IOPS对应的平均值、方差、90线(90线是指逆累计分布函数的自变量取值为0.9时对应的应变量,即表示某一样本集90%的分布情况)中的至少一种。
步骤S1002之后包括:
S1011、预先在非消耗型资源对应的宿主机上部署若干台虚拟机。
具体地,如在符合条件的每台宿主机上部署2台虚拟机(部署的虚拟机数量可以根据实际需求作调整),虚拟机对应配置要求根据实际需求选择,如选择16核CPU,48G内存和200G硬盘的虚拟机,且需要给每台虚拟机申请对应的域名。
步骤S1011之后、步骤S102之前还包括:
S1012、对宿主机上的虚拟机进行隔离处理。
具体地,在CPU隔离方面,采用KVM虚拟化技术和VMWare虚拟化技术得以实现;在网络IO隔离方面,采用libvirt虚拟化技术实现虚拟机与宿主机的网卡带宽的隔离(如将运行离线作业的虚拟机的网卡带宽限制为2Gbps,宿主机网卡带宽为10Gbps),另外还包括其他方面的隔离处理技术,从而避免了宿主机上运行离线作业时干扰在线作业的情况。
步骤S1011之后、步骤S102之前还包括
S1013、将若干台虚拟机分别注册到资源调度系统;
具体地,根据每台虚拟机的域名将其注册到yarn(一种资源调度平台),然后由yarn统一管理与协调每台虚拟机。
步骤S103中采用yarn调度虚拟机,控制虚拟机开启并运行设定数量的目标离线作业。
步骤S103还包括:
S1031、获取每个离线作业对应的作业画像数据;
其中,作业画像数据包括作业优先级、Vcore seconds(是指每个离线作业在运行时占用的CPU核数乘以离线作业运行的时间长度,单位为秒)、执行时长和网络带宽中的至少一种;
S1032、根据作业画像数据,挑选出能够在非业务高峰时间段内完成的设定数量的目标离线作业;
其中,设定数量的离线作业(如三件离线作业)中,每件离线作业均为能够在非业务高峰时间段内成功执行完毕的离线作业,如挑选出离线作业的执行时长为15分钟,Vcoreseconds为600000s,网络宽带(网卡输入输出流量)限制在1Gbps的离线作业。
通过作业画像数据筛选出不同执行时长的离线作业,以15分钟和40分钟内完成的离线作业为例,15分钟内完成的离线作业大多为小型作业,可分担同时间段约30%的总量;40分钟内完成的离线作业多为一些中等作业,可分担同时间段约9%的总量。其中,虚拟机运行不同的作业能力主要由跨数据中心之间的网络带宽决定。
S1033、控制若干台虚拟机开启运行设定数量的目标离线作业。
步骤S1033之后还包括:
S105、监测宿主机中的磁盘的读写IOPS;
S106、判断磁盘的读写IOPS是否满足连续设定次数均达到设定阈值,若满足,则关闭虚拟机。
具体地,为了防止虚拟机在运行离线作业期间,宿主机中的磁盘的读写IOPS发生飙升,从而影响在线作业的正常运行的情况发生,对读写IOPS进行实时监控,且当宿主机中的磁盘的读写IOPS连续设定次数均达到一定值时(比如连续三次均达到3000),则关闭虚拟机并发出告警信息。
本实施例的在线作业和离线作业的运行均依赖于IDC(互联网数据中心),且通过IDC上线发布各种信息。
本实施例的资源混合调度的控制方法与现有技术的中将在线作业和离线作业单独规划分开部署的控制方法相比,具有如下优点:
1)如图3所示,横向表示按天聚合的粒度,时间间隔为一天,纵向表示在线作业的平均CPU利用率,曲线a表示本实施例的资源混合调度的控制方法对应的在线作业随时间变化的平均CPU利用率,曲线b表示现有技术的中将在线作业和离线作业单独规划分开部署的控制方法对应的在线作业随时间变化的平均CPU利用率;
本实施例中通过分时调用的方式,克服了现有的在线作业和离线作业在时间和空间上利用率的不均衡,对实际资源的造成大量浪费的缺陷,在线作业的平均CPU利用率实现大幅度提升;
2)对于不同执行时长的离线作业,在非业务高峰期内部署的虚拟机分担了离线作业中一定比率的离线作业,有效地减轻了离线作业处理过程中的负载过重的情况;
3)通过虚拟机部署在运行在线作业的宿主机上的混合部署方式,能够非常有效地节省采购成本,降低了互联网数据中心的部署成本;
4)由于提供了更多的计算资源以及结合离线作业画像信息,对于离线作业的执行效率也得到了大幅度提升;
5)如图4所示,横向表示时间(按5分钟聚合的粒度,即时间间隔为5分钟),纵向表示在线作业的平均响应时间(单位为毫秒);曲线c表示本实施例的资源混合调度的控制方法对应的在线作业随时间变化的平均响应时间;曲线d表示现有技术的中将在线作业和离线作业单独规划分开部署的控制方法对应的在线作业随时间变化的平均响应时间;
本实施例中将在线作业与离线作业进行混合部署后,在线作业的平均响应时间基本不受影响,保障了在线作业的可用性;
6)离线作业属于CPU计算密集型、网络IO密集型以及磁盘IO密集型的应用,其和在线作业的混合部署方式给以后的DB、Redis(DB、Redis均为数据库)等不同类型应用混合部署给予一定的参照价值和指导意义;另外对互联网数据中心中的基础架构规划也有一定的指导意义。
实施例3
如图5所示,本实施例的资源混合调度的控制系统包括部署模块1、第一判断模块2和控制模块3。
部署模块1用于预先在运行在线作业的宿主机上部署若干台虚拟机。
第一判断模块2用于判断当前时间是否处在非业务高峰时间段内,若在,则调用控制模块3控制虚拟机开启并运行设定数量的目标离线作业;若不在,则调用控制模块3控制虚拟机关闭并继续运行在线作业。
其中,一般非业务高峰时间段为夜间00:00-06:00,其他时间为业务高峰时间段,也可以根据实际情况对业务高峰时间段和非业务高峰时间段进行适应性调整。
本实施例中,预先在宿主机上部署若干台虚拟机,在白天业务高峰时间段时,部署有虚拟机的宿主机正常运行在线作业;在夜间非业务高峰时间段时,部署有虚拟机的宿主机中的虚拟机开启运行设定数量的目标离线作业,即通过混合部署,分时调用的方式,克服了现有的在线作业和离线作业在时间和空间上利用率的不均衡,从而对实际资源的造成大量浪费的缺陷,提高了在线作业的平均CPU利用率,减少了对于离线作业计算资源的采购费用,降低了互联网数据中心的部署成本。
实施例4
如图6所示,本实施例的资源混合调度的控制系统是对实施例的进一步改进,具体地:
控制系统还包括数据获取模块4、第二判断模块5、隔离处理模块6、注册模块7、监测模块8和第三判断模块9。
数据获取模块4用于获取每台宿主机上的在线作业对应的资源画像数据;
第二判断模块5用于根据资源画像数据判断在线作业是否符合预设条件,若符合,则确定在线作业属于消耗型资源,否则,确定在线作业属于非消耗型资源;
其中,预设条件包括CPU密集型、内存消耗型、磁盘消耗型、网络IO密集型和磁盘IO密集型中的至少一种;
具体地,CPU密集型是指宿主机在运行在线作业时对应的CPU利用率偏高的情况;内存消耗型是指宿主机在运行在线作业时对应的内存消耗偏高的情况;磁盘消耗型是指宿主机在运行在线作业时对应的磁盘消耗偏高的情况;网络IO密集型是指宿主机在运行在线作业时对应的网络IO利用率偏高的情况;磁盘IO密集型是指宿主机在运行在线作业时对应的磁盘IO利用率偏高的情况。
资源画像数据包括宿主机在业务高峰时间段内的CPU利用率、内存利用率、磁盘的利用率、网卡的出入流量和磁盘的读写IOPS对应的平均值、方差、90线中的至少一种。
部署模块1用于预先在非消耗型资源对应的宿主机上部署若干台虚拟机。
具体地,如在符合条件的每台宿主机上部署2台虚拟机(部署的虚拟机数量可以根据实际需求作调整),虚拟机对应配置要求根据实际需求选择,如选择16核CPU,48G内存和200G硬盘的虚拟机,且需要给每台虚拟机申请对应的域名。
隔离处理模块6用于对宿主机上的虚拟机进行隔离处理;
具体地,在CPU隔离方面,采用KVM虚拟化技术和VMWare虚拟化技术得以实现;在网络IO隔离方面,采用libvirt虚拟化技术实现虚拟机与宿主机的网卡带宽的隔离(如将运行离线作业的虚拟机的网卡带宽限制为2Gbps,宿主机网卡带宽为10Gbps),另外还包括其他方面的隔离处理技术,从而避免了宿主机上运行离线作业时干扰在线作业的情况。
注册模块7用于将若干台虚拟机分别注册到资源调度系统;
具体地,根据每台虚拟机的域名将其注册到yarn(一种资源调度平台),然后由yarn统一管理与协调每台虚拟机。
第一判断模块2用于在判断当前时间处在非业务高峰时间段内时,采用资源调度系统调度虚拟机,控制虚拟机开启并运行设定数量的目标离线作业。
控制模块3包括数据获取单元31、挑选单元32和控制单元33。
数据获取单元31用于获取每个离线作业对应的作业画像数据;
其中,作业画像数据包括作业优先级、Vcore seconds、执行时长和网络带宽中的至少一种;
挑选单元32用于根据作业画像数据,挑选出能够在非业务高峰时间段内完成的设定数量的目标离线作业。
其中,设定数量的离线作业(如三件离线作业)中,每件离线作业均为能够在非业务高峰时间段内成功执行完毕的离线作业,如挑选出离线作业的执行时长为15分钟,Vcoreseconds为600000s,网络宽带(网卡输入输出流量)限制在1Gbps的离线作业。
通过作业画像数据筛选出不同执行时长的离线作业,以15分钟和40分钟内完成的离线作业为例,15分钟内完成的离线作业大多为小型作业,可分担同时间段约30%的总量;40分钟内完成的离线作业多为一些中等作业,可分担同时间段约9%的总量。其中,虚拟机运行不同的作业能力主要由跨数据中心之间的网络带宽决定。
控制单元33用于控制若干台虚拟机开启运行设定数量的目标离线作业。
监测模块8用于监测宿主机中的磁盘的读写IOPS;
第三判断模块9用于判断磁盘的读写IOPS是否满足连续设定次数均达到设定阈值,若满足,则关闭虚拟机。
具体地,为了防止虚拟机在运行离线作业期间,宿主机中的磁盘的读写IOPS发生飙升,从而影响在线作业的正常运行的情况发生,对读写IOPS进行实时监控,且当宿主机中的磁盘的读写IOPS连续设定次数均达到一定值时(比如连续三次均达到3000),则关闭虚拟机并发出告警信息。
本实施例的在线作业和离线作业的运行均依赖于IDC(互联网数据中心),且通过IDC上线发布各种信息。
本实施例的资源混合调度的控制方法与现有技术的中将在线作业和离线作业单独规划分开部署的控制方法相比,具有如下优点:
1)如图3所示,横向表示按天聚合的粒度,时间间隔为一天,纵向表示在线作业的平均CPU利用率,曲线a表示本实施例的资源混合调度的控制方法对应的在线作业随时间变化的平均CPU利用率,曲线b表示现有技术的中将在线作业和离线作业单独规划分开部署的控制方法对应的在线作业随时间变化的平均CPU利用率;
本实施例中通过分时调用的方式,克服了现有的在线作业和离线作业在时间和空间上利用率的不均衡,对实际资源的造成大量浪费的缺陷,在线作业的平均CPU利用率实现大幅度提升;
2)对于不同执行时长的离线作业,在非业务高峰期内部署的虚拟机分担了离线作业中一定比率的离线作业,有效地减轻了离线作业处理过程中的负载过重的情况;
3)通过虚拟机部署在运行在线作业的宿主机上的混合部署方式,能够非常有效地节省采购成本,降低了互联网数据中心的部署成本;
4)由于提供了更多的计算资源以及结合离线作业画像信息,对于离线作业的执行效率也得到了大幅度提升;
5)如图4所示,横向表示时间(按5分钟聚合的粒度,即时间间隔为5分钟),纵向表示在线作业的平均响应时间(单位为毫秒);曲线c表示本实施例的资源混合调度的控制方法对应的在线作业随时间变化的平均响应时间;曲线d表示现有技术的中将在线作业和离线作业单独规划分开部署的控制方法对应的在线作业随时间变化的平均响应时间;
本实施例中将在线作业与离线作业进行混合部署后,在线作业的平均响应时间基本不受影响,保障了在线作业的可用性;
6)离线作业属于CPU计算密集型、网络IO密集型以及磁盘IO密集型的应用,其和在线作业的混合部署方式给以后的DB、Redis等不同类型应用混合部署给予一定的参照价值和指导意义;另外对互联网数据中心中的基础架构规划也有一定的指导意义。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这些仅是举例说明,本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下,可以对这些实施方式作出多种变更或修改,但这些变更和修改均落入本发明的保护范围。

Claims (12)

1.一种资源混合调度的控制方法,其特征在于,所述控制方法包括:
S1、预先在运行在线作业的宿主机上部署若干台虚拟机;
S2、判断当前时间是否处在非业务高峰时间段内,若在,则控制所述虚拟机开启并运行设定数量的目标离线作业;若不在,则控制所述虚拟机关闭并继续运行所述在线作业。
2.如权利要求1所述的资源混合调度的控制方法,其特征在于,步骤S1之前还包括:
获取每台所述宿主机上的所述在线作业对应的资源画像数据;
根据所述资源画像数据判断所述在线作业是否符合预设条件,若符合,则确定所述在线作业属于消耗型资源,否则,确定所述在线作业属于非消耗型资源;
步骤S1包括:
预先在所述非消耗型资源对应的所述宿主机上部署若干台所述虚拟机。
3.如权利要求2所述的资源混合调度的控制方法,其特征在于,所述预设条件包括CPU密集型、内存消耗型、磁盘消耗型、网络IO密集型和磁盘IO密集型中的至少一种;和/或,
所述资源画像数据包括所述宿主机在业务高峰时间段内的CPU利用率、内存利用率、磁盘的利用率、网卡的出入流量和磁盘的读写IOPS对应的平均值、方差中的至少一种。
4.如权利要求1所述的资源混合调度的控制方法,其特征在于,步骤S1之后、步骤S2之前还包括:
对所述宿主机上的所述虚拟机进行隔离处理;和/或,
步骤S1之后还包括:
将若干台所述虚拟机分别注册到资源调度系统;
所述控制所述虚拟机开启并运行设定数量的目标离线作业的步骤包括:
采用所述资源调度系统调度所述虚拟机,控制所述虚拟机开启并运行设定数量的目标离线作业。
5.如权利要求1所述的资源混合调度的控制方法,其特征在于,所述控制若干台所述虚拟机开启运行设定数量的目标离线作业的步骤包括:
获取每个离线作业对应的作业画像数据;
其中,所述作业画像数据包括作业优先级、执行时长和网络带宽中的至少一种;
根据所述作业画像数据,挑选出能够在所述非业务高峰时间段内完成的所述设定数量的所述目标离线作业;
控制若干台所述虚拟机开启运行所述设定数量的所述目标离线作业。
6.如权利要求3所述的资源混合调度的控制方法,其特征在于,所述控制方法还包括:
监测所述宿主机中的所述磁盘的读写IOPS;
判断所述磁盘的读写IOPS是否满足连续设定次数均达到设定阈值,若满足,则关闭所述虚拟机。
7.一种资源混合调度的控制系统,其特征在于,所述控制系统包括部署模块、第一判断模块和控制模块;
所述部署模块用于预先在运行在线作业的宿主机上部署若干台虚拟机;
所述第一判断模块用于判断当前时间是否处在非业务高峰时间段内,若在,则调用所述控制模块控制所述虚拟机开启并运行设定数量的目标离线作业;若不在,则调用所述控制模块控制所述虚拟机关闭并继续运行所述在线作业。
8.如权利要求7所述的资源混合调度的控制系统,其特征在于,所述控制系统还包括数据获取模块和第二判断模块;
所述数据获取模块用于获取每台所述宿主机上的所述在线作业对应的资源画像数据;
所述第二判断模块用于根据所述资源画像数据判断所述在线作业是否符合预设条件,若符合,则确定所述在线作业属于消耗型资源,否则,确定所述在线作业属于非消耗型资源;
所述部署模块用于预先在所述非消耗型资源对应的所述宿主机上部署若干台所述虚拟机。
9.如权利要求8所述的资源混合调度的控制系统,其特征在于,所述预设条件包括CPU密集型、内存消耗型、磁盘消耗型、网络IO密集型和磁盘IO密集型中的至少一种;和/或,
所述资源画像数据包括所述宿主机在业务高峰时间段内的CPU利用率、内存利用率、磁盘的利用率、网卡的出入流量和磁盘的读写IOPS对应的平均值、方差中的至少一种。
10.如权利要求7所述的资源混合调度的控制系统,其特征在于,所述控制系统还包括隔离处理模块;
所述隔离处理模块用于对所述宿主机上的所述虚拟机进行隔离处理;和/或,所述控制系统还包括注册模块;
所述注册模块用于将若干台所述虚拟机分别注册到资源调度系统;
所述控制模块用于在当前时间处在非业务高峰时间段时,控制所述资源调度系统调度所述虚拟机设定数量的目标离线作业。
11.如权利要求7所述的资源混合调度的控制系统,其特征在于,所述控制模块包括数据获取单元、挑选单元和控制单元;
所述数据获取单元用于获取每个离线作业对应的作业画像数据;
其中,所述作业画像数据包括作业优先级、执行时长和网络带宽中的至少一种;
所述挑选单元用于根据所述作业画像数据,挑选出能够在所述非业务高峰时间段内完成的所述设定数量的所述目标离线作业;
所述控制单元用于控制若干台所述虚拟机开启运行所述设定数量的所述目标离线作业。
12.如权利要求9所述的资源混合调度的控制系统,其特征在于,所述控制系统还包括监测模块和第三判断模块;
所述监测模块用于监测所述宿主机中的所述磁盘的读写IOPS;
所述第三判断模块用于判断所述磁盘的读写IOPS是否满足连续设定次数均达到设定阈值,若满足,则关闭所述虚拟机。
CN201811350959.2A 2018-11-14 2018-11-14 资源混合调度的控制方法及系统 Pending CN109460287A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811350959.2A CN109460287A (zh) 2018-11-14 2018-11-14 资源混合调度的控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811350959.2A CN109460287A (zh) 2018-11-14 2018-11-14 资源混合调度的控制方法及系统

Publications (1)

Publication Number Publication Date
CN109460287A true CN109460287A (zh) 2019-03-12

Family

ID=65610357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811350959.2A Pending CN109460287A (zh) 2018-11-14 2018-11-14 资源混合调度的控制方法及系统

Country Status (1)

Country Link
CN (1) CN109460287A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114070855A (zh) * 2020-07-28 2022-02-18 中国电信股份有限公司 资源分配方法、资源分配装置、资源分配系统、存储介质
CN114168325A (zh) * 2021-11-26 2022-03-11 山东浪潮科学研究院有限公司 基于边缘环境的弹性伸缩方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893113A (zh) * 2016-03-29 2016-08-24 上海携程商务有限公司 虚拟机的管理系统及管理方法
CN106020937A (zh) * 2016-07-07 2016-10-12 腾讯科技(深圳)有限公司 一种创建虚拟机的方法、装置及系统
US20170337071A1 (en) * 2013-06-12 2017-11-23 Amazon Technologies, Inc. Offline volume modifications
CN108241521A (zh) * 2016-12-26 2018-07-03 北京国双科技有限公司 宿主机的选取方法及装置
CN108462656A (zh) * 2016-12-09 2018-08-28 中国移动通信有限公司研究院 基于容器的业务融合部署的资源调度方法及装置
CN108595306A (zh) * 2018-04-18 2018-09-28 大连理工大学 一种面向混部云的服务性能测试方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337071A1 (en) * 2013-06-12 2017-11-23 Amazon Technologies, Inc. Offline volume modifications
CN105893113A (zh) * 2016-03-29 2016-08-24 上海携程商务有限公司 虚拟机的管理系统及管理方法
CN106020937A (zh) * 2016-07-07 2016-10-12 腾讯科技(深圳)有限公司 一种创建虚拟机的方法、装置及系统
CN108462656A (zh) * 2016-12-09 2018-08-28 中国移动通信有限公司研究院 基于容器的业务融合部署的资源调度方法及装置
CN108241521A (zh) * 2016-12-26 2018-07-03 北京国双科技有限公司 宿主机的选取方法及装置
CN108595306A (zh) * 2018-04-18 2018-09-28 大连理工大学 一种面向混部云的服务性能测试方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114070855A (zh) * 2020-07-28 2022-02-18 中国电信股份有限公司 资源分配方法、资源分配装置、资源分配系统、存储介质
CN114070855B (zh) * 2020-07-28 2024-04-12 中国电信股份有限公司 资源分配方法、资源分配装置、资源分配系统、存储介质
CN114168325A (zh) * 2021-11-26 2022-03-11 山东浪潮科学研究院有限公司 基于边缘环境的弹性伸缩方法及装置

Similar Documents

Publication Publication Date Title
CN103473139B (zh) 虚拟机集群资源分配调度方法
CN103365700B (zh) 一种面向云计算虚拟化环境的资源监测和调整系统
US10198142B1 (en) Multi-server control panel
CN102567072B (zh) 一种资源分配方法、装置及系统
US8863127B2 (en) Virtual machine utility computing method and system
CN102821158B (zh) 一种实现虚拟机迁移的方法和云系统
CN104102543B (zh) 一种云计算环境中负载调整的方法和装置
CN103179048B (zh) 云数据中心的主机QoS策略变换方法及系统
CN110389838A (zh) 一种适用于虚拟资源的实时调度和在线迁移管控方法
CN106209482A (zh) 一种数据中心监控方法及系统
CN104301404B (zh) 一种基于虚拟机的调整业务系统资源的方法及装置
Norris et al. OnCall: Defeating spikes with a free-market application cluster
CN111880917A (zh) 一种边缘混合云管平台
CN105306622B (zh) 一种云网融合域名解析系统及其dns服务方法
CN104462432B (zh) 自适应的分布式计算方法
CN109144727A (zh) 云数据系统中资源的管理方法和装置
CN110401695A (zh) 云资源动态调度方法、装置和设备
CN109460287A (zh) 资源混合调度的控制方法及系统
CN108287749A (zh) 一种数据中心综合管理系统云资源调度方法
CN108052385A (zh) 一种容器管理方法、系统、设备及计算机存储介质
CN108268546A (zh) 一种优化数据库的方法及装置
CN107479944A (zh) 混合云模式下的虚拟机内存自适应热迁移调度方法及系统
CN107071045A (zh) 一种基于多租户的资源调度系统
CN103488538A (zh) 云计算系统中的应用扩展装置和应用扩展方法
KR20210041295A (ko) 클라우드 컴퓨팅 환경에서 가상화 자원 분배 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190312