CN105208119A - 一种云数据中心任务分配方法、装置和系统 - Google Patents

一种云数据中心任务分配方法、装置和系统 Download PDF

Info

Publication number
CN105208119A
CN105208119A CN201510603222.7A CN201510603222A CN105208119A CN 105208119 A CN105208119 A CN 105208119A CN 201510603222 A CN201510603222 A CN 201510603222A CN 105208119 A CN105208119 A CN 105208119A
Authority
CN
China
Prior art keywords
task
main frame
data center
value
fph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510603222.7A
Other languages
English (en)
Other versions
CN105208119B (zh
Inventor
夏云霓
郭坤垠
罗辛
俞可
朱庆生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Bashu Middle School
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201510603222.7A priority Critical patent/CN105208119B/zh
Publication of CN105208119A publication Critical patent/CN105208119A/zh
Application granted granted Critical
Publication of CN105208119B publication Critical patent/CN105208119B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/12Avoiding congestion; Recovering from congestion
    • H04L47/125Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • H04L47/78Architectures of resource allocation
    • H04L47/783Distributed allocation of resources, e.g. bandwidth brokers

Abstract

本发明公开了一种云数据中心任务分配方法、装置和系统,属于云计算系统控制领域,本发明首先收集主机运行状态信息,然后分析各主机当前可接收任务余量,根据可接收任务余量生成任务分配方案;最后根据标志变量进行任务分配。本发明在实时跟踪数据中心中各个主机的运行状态并对其性能变化趋势进行预判,选择性的将新到达任务分配到合理的主机上执行,以减少任务拥塞出现,实现负载均衡。

Description

一种云数据中心任务分配方法、装置和系统
技术领域
本发明属于云计算系统控制领域,特别是涉及一种云数据中心任务分配方法、装置和系统。
背景技术
云计算是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机和其他设备。相对于传统的软件和计算形态,云计算具有松散耦合、随需应变、成本可控、资源虚拟、异构协同等显著的优势,使其更适应现今的电子商务、柔性制造、移动互联网等应用。
云数据中心是指由多个异构的、由网络连接在一起的主机所组成的用于承载提供在线云服务的企业级应用的分布式计算系统。在云数据中心中,将大量的主机进行集中统一管理,可以保障主机运行所需要的稳定电源环境,适宜的温湿度控制以及网络带宽条件。
同其他软硬件系统一样,云数据中心中的主机的负载也处于实时变化中。由于现今的云计算系统多运用于大规模科学计算、实时金融、在线交易、流媒体多播等高负载和高复杂度的应用,其主机时常处于超负荷运行的状态。如果任务调度和负载均衡策略稍有不慎,就极易出现部分主机节点待处理任务过度堆积和缓冲区溢出的情况,并有可能进一步形成系统崩溃,造成重大损失。传统的任务调度和分配策略,多仅仅依据各个主机和节点的当前的负载、资源利用率、可靠性状态计算容许的可新增任务容量,并根据这些静态数据确定任务分配和调度方案。这种策略存在以下不足:由于忽视了主机负载、资源占用率、可用性和可靠性的变化趋势,传统的调度策略可能将大量的新增任务分配到当前任务余量较大但运行状态急剧恶化中的主机上,极易使这些主机在一段时间后形成负载热点;同时,部分主机虽然当前任务余量不大,但是处于运行状态迅速改善的过程中,而传统的调度分配策略有可能忽略掉这些实际上可以承接更多任务的主机,从而导致系统计算资源的闲置浪费。
在此背景下,如何动态的跟踪云数据中心的运行态势并进行趋势预判,实现合理的新增任务分配策略,便成为了研究的热点和难点。
发明内容
有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是提供一种任务调度更合理的云数据中心任务分配方法。
为实现上述目的,本发明提供了一种云数据中心任务分配方法,包括以下步骤:
步骤一、收集主机运行状态信息;
收集新任务到达的时间t;并取得云数据中心中各个主机当前的CPU占用率CZLi、内存负载MZLi率、外存负载率SZLi;最近完成的一个任务的所用执行时间ZJTi;最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi、释放的外存占用率SSFi;上次任务到达至本次任务到达时间内,各个主机上出现故障、错误、或者失效的次数FNi;0<i≤n,n为数据中心中的主机数量;
步骤二、获取各主机近期趋势执行率、等效未来预期任务到达时间、等效故障率、故障率边界值和历史趋势故障率,并将本次任务到达间隔时间赋给上一次计算出的上次任务到达间隔时间,将t的值赋给OLDT;
步骤三、根据所述CPU占用率CZLi、内存负载MZLi、外存负载率SZLi、最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi和释放的外存占用率SSFi分析各主机当前可接收任务余量;
步骤四、根据可接收任务余量生成任务分配方案;
步骤五、根据标志变量进行任务分配。
较佳的,设定步骤二中所述近期趋势执行率为JQZLi
计算 JQZL i = m i n { CSF i ZJT i , MSF i ZJT i , SSF i ZJT i } 得到所述JQZLi
设定所述等效未来预期任务到达时间为WLDT:
计算得到所述WLDT;所述JGT为本次任务到达间隔时间,所述OLDJGT为上次任务到达间隔时间,所述OLDJGT的初始值为0;
设定所述等效故障率为GZLi
计算得到所述GZLi
用变量YCi标记故障率边界值:计算
YC i = 1 i f 1 < i < n , max { | GZL i - GZL i - 1 | , | GZL i - GL i + 1 | } - | GZL i - 1 - GZL i + 1 | &OverBar; > b &times; m e a n { | GZL x - GZL y | | 0 < x , y &le; n , x &NotEqual; y } 0 e l s e
得到所述YCi
所述b为预先给定的系数,1<b;
设定所述历史趋势故障率为PJGL:
计算PJGL=mean{GZLi|0<i≤n,YCi≠1}得到所述PJGL。
较佳的,所述步骤三按以下步骤进行:
设定各主机最大允许的预期新增任务余量为YLi
计算得到所述YLi
所述a为预先给定的系统负载上限值,a为0.7到1之间的任意实数。
较佳的,步骤四中所述根据可接收任务余量生成任务分配方案按以下步骤执行:
设定各主机在下一次任务来临时,接收任务出现计算资源不足的近似预期概率为BZLi:
计算 BZL i = 1 - e - W L D T &times; ( | IQZL i - 1 J G T &times; n - P I G L | ) &times; YL i i f YL i > 0 0 e l s e 得到所述BZLi
比较各主机对应的BZLi值,如果所有主机的BZLi值都为0,则将标志变量FPH赋值为0;如果至少存在一个主机对应的BZLi值大于0,则将具有最大BZLi值的主机的编号赋给所述标志变量FPH。
较佳的,步骤五中所述根据标志变量进行任务分配按以下步骤进行:
判断所述标志变量FPH的值,当FPH为0时,则不接收当前新到达的任务;当FPH不为0时,则将当前新到达的任务,分配给第FPH号主机执行。
较佳的,所述JGT=t-QLDT;所述OLDT为上一次任务到达的时间,所述OLDT的初始值被设置为0。
本发明所要解决的另一技术问题是提供一种任务调度更合理的云数据中心任务分配装置。
为实现上述目的,本发明提供了一种云数据中心任务分配装置,包括数据中心状态监测模块、控制决策模块和任务分配控制模块;所述数据中心状态监测模块的输出端连接所述控制决策模块的输入端,所述控制决策模块的输出端连接所述任务分配控制模块的输入端;
所述数据中心状态监测模块用于收集主机运行状态信息;
所述控制决策模块用于获取各主机近期趋势执行率、等效未来预期任务到达时间、等效故障率、故障率边界值和历史趋势故障率,并根据所述CPU占用率CZLi、内存负载MZLi、外存负载率SZLi、最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi和释放的外存占用率SSFi分析各主机当前可接收任务余量,然后根据可接收任务余量生成任务分配方案;
所述任务分配控制模块用于根据标志变量进行任务分配。
较佳的,所述控制决策模块包括性能分析单元、任务余量分析单元和分配方案生成单元;
所述数据中心状态监测模块输出数据给所述性能分析单元、任务余量分析单元和分配方案生成单元,所述性能分析单元的输出端连接所述分配方案生成单元的第一输入端;所述任务余量分析单元的输出端连接所述分配方案生成单元的第二输入端;所述分配方案生成单元的输出端连接所述任务分配控制模块的输入端;
所述性能分析单元计算 JQZL i = m i n { CSF i ZJT i , MSF i ZJT i , SSF i ZJT i } 得到所述JQZLi;所述JQZLi为近期趋势执行率;
所述性能分析单元计算得到所述WLDT;所述WLDT为等效未来预期任务到达时间;所述JGT为本次任务到达间隔时间,所述OLDJGT为上次任务到达间隔时间,所述OLDJGT的初始值为0;所述JGT=t-QLDT;所述OLDT为上一次任务到达的时间,所述OLDT的初始值被设置为0;
所述性能分析单元计算得到所述GZLi;所述GZLi为等效故障率;
所述性能分析单元用变量YCi标记故障率边界值:计算
YC i = 1 i f 1 < i < n , max { | GZL i - GZL i - 1 | , | GZL i - GZL i + 1 | } - | GZL i - 1 - GZL i + 1 | &OverBar; > b &times; m e a n { | GZL x - GZL y | | 0 < x , y &le; n , x &NotEqual; y } 0 e l s e
得到所述YCi;所述b为预先给定的系数,1<b;
所述性能分析单元计算PJGL=mean{GZLi|0<i≤n,YCi≠1}得到所述PJGL;所述PJGL为历史趋势故障率;
所述性能分析单元将WLDT、JQZLi、PJGL发送给分配方案生成单元;
所述任务余量分析单元计算各主机最大允许的预期新增任务余量,YLi
所述a为预先给定的系统负载上限值,a为0.7到1之间的任意实数;所述任务余量分析单元将YLi值发送给所述分配方案生成单元;
所述分配方案生成单元计算各主机在下一次任务来临时,接收任务出现计算资源不足的近似预期概率,BZLi:
BZL i = 1 - e - W L D T &times; ( | IQZL i - 1 J G T &times; n - P I G L | ) &times; YL i i f YL i > 0 0 e l s e ;
所述分配方案生成单元比较各主机对应的BZLi值,如果所有主机的BZLi值都为0,则将标志变量FPH赋值为0;如果至少存在一个主机对应的BZLi值大于0,则将具有最大BZLi值的主机的编号赋给所述标志变量FPH;
所述分配方案生成单元将标志变量FPH值发送给所述任务分配控制模块;
所述任务分配控制模块判断所述标志变量FPH的值,当FPH为0时,则不接收当前新到达的任务;当FPH不为0时,则将当前新到达的任务,分配给第FPH号主机执行。
本发明还要解决的一技术问题是提供一种任务调度更合理的云数据中心任务分配系统。
为实现上述目的,本发明提供了一种云数据中心任务分配系统,包括云数据中心服务器,所述云数据中心服务器内设置有云数据中心任务分配装置;所述云数据中心任务分配装置包括数据中心状态监测模块、控制决策模块和任务分配控制模块;所述数据中心状态监测模块的输出端连接所述控制决策模块的输入端,所述控制决策模块的输出端连接所述任务分配控制模块的输入端;
所述数据中心状态监测模块用于收集主机运行状态信息;
所述控制决策模块用于获取各主机近期趋势执行率、等效未来预期任务到达时间、等效故障率、故障率边界值和历史趋势故障率,并根据所述CPU占用率CZLi、内存负载MZLi、外存负载率SZLi、最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi和释放的外存占用率SSFi分析各主机当前可接收任务余量,然后根据可接收任务余量生成任务分配方案;
所述任务分配控制模块用于根据标志变量进行任务分配。
较佳的,所述控制决策模块包括性能分析单元、任务余量分析单元和分配方案生成单元;
所述数据中心状态监测模块输出数据给所述性能分析单元、任务余量分析单元和分配方案生成单元,所述性能分析单元的输出端连接所述分配方案生成单元的第一输入端;所述任务余量分析单元的输出端连接所述分配方案生成单元的第二输入端;所述分配方案生成单元的输出端连接所述任务分配控制模块的输入端;
所述性能分析单元计算得到所述JQZLi;所述JQZLi为近期趋势执行率;
所述性能分析单元计算得到所述WLDT;所述WLDT为等效未来预期任务到达时间;所述JGT为本次任务到达间隔时间,所述OLDJGT为上次任务到达间隔时间,所述OLDJGT的初始值为0;所述JGT=t-QLDT;所述OLDT为上一次任务到达的时间,所述OLDT的初始值被设置为0;
所述性能分析单元计算得到所述GZLi;所述GZLi为等效故障率;
所述性能分析单元用变量YCi标记故障率边界值:计算
YC i = 1 i f 1 < i < n , max { | GZL i - GZL i - 1 | , | GZL i - GZL i + 1 | } - | GZL i - 1 - GZL i + 1 | &OverBar; > b &times; m e a n { | GZL x - GZL y | | 0 < x , y &le; n , x &NotEqual; y } 0 e l s e
得到所述YCi;所述b为预先给定的系数,1<b;
所述性能分析单元计算PJGL=mean{GZLi|0<i≤n,YCi≠1}得到所述PJGL;所述PJGL为历史趋势故障率;
所述性能分析单元将WLDT、JQZLi、PJGL发送给分配方案生成单元;
所述任务余量分析单元计算各主机最大允许的预期新增任务余量,YLi
所述a为预先给定的系统负载上限值,a为0.7到1之间的任意实数;所述任务余量分析单元将YLi值发送给所述分配方案生成单元;
所述分配方案生成单元计算各主机在下一次任务来临时,接收任务出现计算资源不足的近似预期概率,BZLi:
BZL i = 1 - e - W L D T &times; ( | IQZL i - 1 J G T &times; n - P I G L | ) &times; YL i i f YL i > 0 0 e l s e ;
所述分配方案生成单元比较各主机对应的BZLi值,如果所有主机的BZLi值都为0,则将标志变量FPH赋值为0;如果至少存在一个主机对应的BZLi值大于0,则将具有最大BZLi值的主机的编号赋给所述标志变量FPH;
所述分配方案生成单元将标志变量FPH值发送给所述任务分配控制模块;
所述任务分配控制模块判断所述标志变量FPH的值,当FPH为0时,则不接收当前新到达的任务;当FPH不为0时,则将当前新到达的任务,分配给第FPH号主机执行。
本发明的有益效果是:本发明充分考虑了云系统中主机性能的动态波动性,计算各个主机更贴近实际需要的任务余量,能够避免出现预估过高和预估不足的两个极端。同时本发明在考察静态负载数据的同时,计算各个主机的性能变化趋势,并考虑了动态趋势在下一次任务到达时对调度策略的影响,使任务调度方案更合理。本发明相对于静态的任务调度管理策略,实现了动态的负载均衡,在非稳定的系统运行环境下可取得更好的效果。
附图说明
图1是本发明云数据中心任务分配方法一具体实施方式的流程示意图。
图2是本发明云数据中心任务分配装置一具体实施方式的原理示意图。
图3是本发明云数据中心任务分配系统一具体实施方式的原理示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明:
如图1所示,一种云数据中心任务分配方法:
步骤一、收集主机运行状态信息:
收集新任务到达的时间t;并取得云数据中心中各个主机当前的CPU占用率CZLi、内存负载MZLi率、外存负载率SZLi;最近完成的一个任务的所用执行时间ZJTi;最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi、释放的外存占用率SSFi;上次任务到达至本次任务到达时间内,各个主机上出现故障、错误、或者失效的次数FNi;0<i≤n,n为数据中心中的主机数量。
步骤二、获取各主机近期趋势执行率、等效未来预期任务到达时间、等效故障率、故障率边界值和历史趋势故障率,并将本次任务到达间隔时间赋给上一次计算出的上次任务到达间隔时间,将t的值赋给OLDT。
步骤三、根据所述CPU占用率CZLi、内存负载MZLi、外存负载率SZLi、最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi和释放的外存占用率SSFi分析各主机当前可接收任务余量。
步骤四、根据可接收任务余量生成任务分配方案。
步骤五、根据标志变量进行任务分配。
设定步骤二中所述近期趋势执行率为JQZLi
计算得到所述JQZLi;ZJTi为最近完成的一个任务的所用执行时间,必定不为0,因此不存在除数为0的情况。
上述公式的直观意义是,将最近一个任务单位时间内的CPU释放率、内存释放率、外存释放率的最小值,作为该主机的近期任务执行率。所述ZJTi不为0。min{}为集合中求最小数的操作。
设定所述等效未来预期任务到达时间为WLDT:
计算得到所述WLDT;所述JGT为本次任务到达间隔时间,所述OLDJGT为上次任务到达间隔时间,所述OLDJGT的初始值为0;
设定所述等效故障率为GZLi
计算得到所述GZLi;JGT为本次任务到达间隔时间,必定不为0,因此不存在除数为0的情况。
用变量YCi标记故障率边界值:计算
YC i = 1 i f 1 < i < n , max { | GZL i - GZL i - 1 | , | GZL i - GZL i + 1 | } - | GZL i - 1 - GZL i + 1 | &OverBar; > b &times; m e a n { | GZL x - GZL y | | 0 < x , y &le; n , x &NotEqual; y } 0 e l s e
得到所述YCi;所述b为预先给定的系数,1<b,本实施例中b取值为5;上述公式的直观意义是,当某个主机的故障率值与两个相邻主机故障率值绝对差值的最大值,再减去两个相邻主机之间的故障率绝对差值的结果,大于所有主机之间故障率绝对差值平均数的b倍,则可认为这个主机的故障率值为“边界值”。max{}为集合求最大数的操作。
设定所述历史趋势故障率为PJGL:
计算PJGL=mean{GZLi|0<i≤n,YCi≠1}得到所述PJGL;
值得注意的是,从前一个公式看,至少存在第一个和最后一个主机的故障率值不为边界值,因此上述集合求平均数的操作mean{}中,集合一定不为空。
所述步骤三按以下步骤进行:
设定各主机最大允许的预期新增任务余量为YLi
计算得到所述YLi;最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi、释放的外存占用率SSFi,这三个变量定不为0,因此除数不为0。
所述a为预先给定的系统负载上限值,a为0.7到1之间的任意实数,本实施例中,a取值为0.8。
步骤四中所述根据可接收任务余量生成任务分配方案按以下步骤执行:
设定各主机在下一次任务来临时,接收任务出现计算资源不足的近似预期概率为BZLi:
计算 BZL i = 1 - e - W L D T &times; ( | IQZL i - 1 J G T &times; n - P I G L | ) &times; YL i i f YL i > 0 0 e l s e 得到所述BZLi;JGT为本次任务到达间隔时间,不为0,因此不存在除数为0情况。
比较各主机对应的BZLi值,如果所有主机的BZLi值都为0,则将标志变量FPH赋值为0;如果至少存在一个主机对应的BZLi值大于0,则将具有最大BZLi值的主机的编号赋给所述标志变量FPH即:
步骤五中所述根据标志变量进行任务分配按以下步骤进行:
判断所述标志变量FPH的值,当FPH为0时,则不接收当前新到达的任务;当FPH不为0时,则将当前新到达的任务,分配给第FPH号主机执行,然后返回执行步骤一。
本实施例中,所述JGT=t-OLDT;所述OLDT为上一次任务到达的时间,所述OLDT的初始值被设置为0。
如图2所示,一种云数据中心任务分配装置,包括数据中心状态监测模块3、控制决策模块4和任务分配控制模块5;所述数据中心状态监测模块3的输出端连接所述控制决策模块4的输入端,所述控制决策模块4的输出端连接所述任务分配控制模块5的输入端。
云系统的用户或者用户群,向云数据中心发送新的任务,所述数据中心状态监测模块3用于收集主机运行状态信息。
所述控制决策模块4用于获取各主机近期趋势执行率、等效未来预期任务到达时间、等效故障率、故障率边界值和历史趋势故障率,并根据所述CPU占用率CZLi、内存负载MZLi、外存负载率SZLi、最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi和释放的外存占用率SSFi分析各主机当前可接收任务余量,然后根据可接收任务余量生成任务分配方案。
所述任务分配控制模块5用于根据标志变量进行任务分配。
本实施例中,所述控制决策模块4包括性能分析单元401、任务余量分析单元402和分配方案生成单元403。
所述数据中心状态监测模块3输出数据给所述性能分析单元401、任务余量分析单元402和分配方案生成单元403,所述性能分析单元401的输出端连接所述分配方案生成单元403的第一输入端;所述任务余量分析单元402的输出端连接所述分配方案生成单元403的第二输入端;所述分配方案生成单元403的输出端连接所述任务分配控制模块5的输入端。
所述性能分析单元401计算得到所述JQZLi;所述JQZLi为近期趋势执行率。
所述性能分析单元401计算得到所述WLDT;所述WLDT为等效未来预期任务到达时间;所述JGT为本次任务到达间隔时间,所述OLDJGT为上次任务到达间隔时间,所述OLDJGT的初始值为0;所述JGT=t-OLDT;所述OLDT为上一次任务到达的时间,所述OLDT的初始值被设置为0。
所述性能分析单元401计算得到所述GZLi;所述GZLi为等效故障率。
所述性能分析单元401用变量YCi标记故障率边界值:计算
YC i = 1 i f 1 < i < n , max { | GZL i - GZL i - 1 | , | GZL i - GZL i + 1 | } - | GZL i - 1 - GZL i + 1 | &OverBar; > b &times; m e a n { | GZL x - GZL y | | 0 < x , y &le; n , x &NotEqual; y } 0 e l s e
得到所述YCi;所述b为预先给定的系数,1<b。
所述性能分析单元401计算PJGL=mean{GZLi|0<i≤n,YCi≠1}得到所述PJGL;所述PJGL为历史趋势故障率。
所述性能分析单元401将WLDT、JQZLi、PJGL发送给分配方案生成单元403。
所述任务余量分析单元402计算各主机最大允许的预期新增任务余量,YLi
所述a为预先给定的系统负载上限值,a为0.7到1之间的任意实数;所述任务余量分析单元402将YLi值发送给所述分配方案生成单元403。
所述分配方案生成单元403计算各主机在下一次任务来临时,接收任务出现计算资源不足的近似预期概率,BZLi:
BZL i = 1 - e - W L D T &times; ( | IQZL i - 1 J G T &times; n - P I G L | ) &times; YL i i f YL i > 0 0 e l s e .
所述分配方案生成单元403比较各主机对应的BZLi值,如果所有主机的BZLi值都为0,则将标志变量FPH赋值为0;如果至少存在一个主机对应的BZLi值大于0,则将具有最大BZLi值的主机的编号赋给所述标志变量FPH。
所述分配方案生成单元403将标志变量FPH值发送给所述任务分配控制模块5。
所述任务分配控制模块5判断所述标志变量FPH的值,当FPH为0时,则不接收当前新到达的任务;当FPH不为0时,则将当前新到达的任务,分配给第FPH号主机执行。
如图3所示,一种云数据中心任务分配系统,包括云数据中心服务器1,所述云数据中心服务器1内设置有云数据中心任务分配装置2;所述云数据中心任务分配装置2包括数据中心状态监测模块3、控制决策模块4和任务分配控制模块5;所述数据中心状态监测模块3的输出端连接所述控制决策模块4的输入端,所述控制决策模块4的输出端连接所述任务分配控制模块5的输入端。
所述数据中心状态监测模块3用于收集主机运行状态信息。
所述控制决策模块4用于获取各主机近期趋势执行率、等效未来预期任务到达时间、等效故障率、故障率边界值和历史趋势故障率,并根据所述CPU占用率CZLi、内存负载MZLi、外存负载率SZLi、最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi和释放的外存占用率SSFi分析各主机当前可接收任务余量,然后根据可接收任务余量生成任务分配方案。
所述任务分配控制模块5用于根据标志变量进行任务分配。
本实施例中,所述控制决策模块4包括性能分析单元401、任务余量分析单元402和分配方案生成单元403。
所述数据中心状态监测模块3输出数据给所述性能分析单元401、任务余量分析单元402和分配方案生成单元403,所述性能分析单元401的输出端连接所述分配方案生成单元403的第一输入端;所述任务余量分析单元402的输出端连接所述分配方案生成单元403的第二输入端;所述分配方案生成单元403的输出端连接所述任务分配控制模块5的输入端。
所述性能分析单元401计算得到所述JQZLi;所述JQZLi为近期趋势执行率。
所述性能分析单元401计算得到所述WLDT;所述WLDT为等效未来预期任务到达时间;所述JGT为本次任务到达间隔时间,所述OLDJGT为上次任务到达间隔时间,所述OLDJGT的初始值为0;所述JGT=t-OLDT;所述OLDT为上一次任务到达的时间,所述OLDT的初始值被设置为0。
所述性能分析单元401计算得到所述GZLi;所述GZLi为等效故障率。
所述性能分析单元401用变量YCi标记故障率边界值:计算
YC i = 1 i f 1 < i < n , max { | GZL i - GZL i - 1 | , | GZL i - GZL i + 1 | } - | GZL i - 1 - GZL i + 1 | > b &times; m e a n { | GZL x - GZL y | | 0 < x , y &le; n , x &NotEqual; y } 0 e l s e
得到所述YCi;所述b为预先给定的系数,1<b。
所述性能分析单元401计算PJGL=mean{GZLi|0<i≤n,YCi≠1}得到所述PJGL;所述PJGL为历史趋势故障率。
所述性能分析单元401将WLDT、JQZLi、PJGL发送给分配方案生成单元403。
所述任务余量分析单元402计算各主机最大允许的预期新增任务余量,YLi
所述a为预先给定的系统负载上限值,a为0.7到1之间的任意实数;所述任务余量分析单元402将YLi值发送给所述分配方案生成单元403。
所述分配方案生成单元403计算各主机在下一次任务来临时,接收任务出现计算资源不足的近似预期概率,BZLi:
BZL i = 1 - e - W L D T &times; ( | IQZL i - 1 J G T &times; n - P I G L | ) &times; YL i i f YL i > 0 0 e l s e
所述分配方案生成单元403比较各主机对应的BZLi值,如果所有主机的BZLi值都为0,则将标志变量FPH赋值为0;如果至少存在一个主机对应的BZLi值大于0,则将具有最大BZLi值的主机的编号赋给所述标志变量FPH。
所述分配方案生成单元403将标志变量FPH值发送给所述任务分配控制模块5。
所述任务分配控制模块5判断所述标志变量FPH的值,当FPH为0时,则不接收当前新到达的任务;当FPH不为0时,则将当前新到达的任务,分配给第FPH号主机执行。
本发明实施例所提供的一种云数据中心任务分配的装置,可以部署于一个现有的主机中,也可以部署以一个单独设置的专用于云数据中心任务分配的服务器中。为此,本发明提供了一种服务器,包括本发明实施例所提供的一种云数据中心任务分配的装置。本领域普通技术人员可以理解实现上述实施例方法中一种云数据中心主机延迟开机的过程,可以通过程序指令相关的硬件来完成,该程序在执行时执行上述方法中的对应步骤。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种云数据中心任务分配方法,其特征在于包括以下步骤:
步骤一、收集主机运行状态信息;
收集新任务到达的时间t;并取得云数据中心中各个主机当前的CPU占用率CZLi、内存负载MZLi率、外存负载率SZLi;最近完成的一个任务的所用执行时间ZJTi;最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi、释放的外存占用率SSFi;上次任务到达至本次任务到达时间内,各个主机上出现故障、错误、或者失效的次数FNi;0<i≤n,n为数据中心中的主机数量;
步骤二、获取各主机近期趋势执行率、等效未来预期任务到达时间、等效故障率、故障率边界值和历史趋势故障率;
步骤三、根据所述CPU占用率CZLi、内存负载MZLi、外存负载率SZLi、最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi和释放的外存占用率SSFi分析各主机当前可接收任务余量;
步骤四、根据可接收任务余量生成任务分配方案;
步骤五、根据标志变量进行任务分配。
2.如权利要求1所述的一种云数据中心任务分配方法,其特征是:
设定步骤二中所述近期趋势执行率为JQZLi
计算得到所述JQZLi
设定所述等效未来预期任务到达时间为WLDT:
计算得到所述WLDT;所述JGT为本次任务到达间隔时间,所述OLDJGT为上次任务到达间隔时间,所述OLDJGT的初始值为0;
设定所述等效故障率为GZLi
计算得到所述GZLi
用变量YCi标记故障率边界值:计算得到所述YCi
所述b为预先给定的系数,1<b;
设定所述历史趋势故障率为PJGL:
计算FJGL=mean{GZLi|0<i≤n,YCi=1}得到所述PJGL。
3.如权利要求1所述的一种云数据中心任务分配方法,其特征是:所述步骤三按以下步骤进行:
设定各主机最大允许的预期新增任务余量为YLi
计算得到所述YLi
所述a为预先给定的系统负载上限值,a为0.7到1之间的任意实数。
4.如权利要求1所述的一种云数据中心任务分配方法,其特征是:步骤四中所述根据可接收任务余量生成任务分配方案按以下步骤执行:
设定各主机在下一次任务来临时,接收任务出现计算资源不足的近似预期概率为BZLi:
计算得到所述BZLi
比较各主机对应的BZLi值,如果所有主机的BZLi值都为0,则将标志变量FPH赋值为0;如果至少存在一个主机对应的BZLi值大于0,则将具有最大BZLi值的主机的编号赋给所述标志变量FPH。
5.如权利要求4所述的一种云数据中心任务分配方法,其特征是:步骤五中所述根据标志变量进行任务分配按以下步骤进行:
判断所述标志变量FPH的值,当FPH为0时,则不接收当前新到达的任务;当FPH不为0时,则将当前新到达的任务,分配给第FPH号主机执行。
6.如权利要求1或2所述的一种云数据中心任务分配方法,其特征是:所述JGT=t-OLDT;所述OLDT为上一次任务到达的时间,所述OLDT的初始值被设置为0。
7.一种云数据中心任务分配装置,其特征是:包括数据中心状态监测模块(3)、控制决策模块(4)和任务分配控制模块(5);所述数据中心状态监测模块(3)的输出端连接所述控制决策模块(4)的输入端,所述控制决策模块(4)的输出端连接所述任务分配控制模块(5)的输入端;
所述数据中心状态监测模块(3)用于收集主机运行状态信息;
所述控制决策模块(4)用于获取各主机近期趋势执行率、等效未来预期任务到达时间、等效故障率、故障率边界值和历史趋势故障率,并根据所述CPU占用率CZLi、内存负载MZLi、外存负载率SZLi、最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi和释放的外存占用率SSFi分析各主机当前可接收任务余量,然后根据可接收任务余量生成任务分配方案;
所述任务分配控制模块(5)用于根据标志变量进行任务分配。
8.如权利要求7所述的一种云数据中心任务分配装置,其特征是:所述控制决策模块(4)包括性能分析单元(401)、任务余量分析单元(402)和分配方案生成单元(403);
所述数据中心状态监测模块(3)输出数据给所述性能分析单元(401)、任务余量分析单元(402)和分配方案生成单元(403),所述性能分析单元(401)的输出端连接所述分配方案生成单元(403)的第一输入端;所述任务余量分析单元(402)的输出端连接所述分配方案生成单元(403)的第二输入端;所述分配方案生成单元(403)的输出端连接所述任务分配控制模块(5)的输入端;
所述性能分析单元(401)计算得到所述JQZLi;所述JQZLi为近期趋势执行率;
所述性能分析单元(401)计算得到所述WLDT;所述WLDT为等效未来预期任务到达时间;所述JGT为本次任务到达间隔时间,所述OLDJGT为上次任务到达间隔时间,所述OLDJGT的初始值为0;所述JGT=t-OLDT;所述OLDT为上一次任务到达的时间,所述OLDT的初始值被设置为0;
所述性能分析单元(401)计算得到所述GZLi;所述GZLi为等效故障率;
所述性能分析单元(401)用变量YCi标记故障率边界值:计算得到所述YCi;所述b为预先给定的系数,1<b;
所述性能分析单元(401)计算PJGL=mean{GZLi|0<i≤n,YCi≠1}得到所述PJGL;所述PJGL为历史趋势故障率;
所述性能分析单元(401)将WLDT、JQZLi、PJGL发送给分配方案生成单元(403);
所述任务余量分析单元(402)计算各主机最大允许的预期新增任务余量,YLi
所述a为预先给定的系统负载上限值,a为0.7到1之间的任意实数;所述任务余量分析单元(402)将YLi值发送给所述分配方案生成单元(403);
所述分配方案生成单元(403)计算各主机在下一次任务来临时,接收任务出现计算资源不足的近似预期概率,BZLi:
所述分配方案生成单元(403)比较各主机对应的BZLi值,如果所有主机的BZLi值都为0,则将标志变量FPH赋值为0;如果至少存在一个主机对应的BZLi值大于0,则将具有最大BZLi值的主机的编号赋给所述标志变量FPH;
所述分配方案生成单元(403)将标志变量FPH值发送给所述任务分配控制模块(5);
所述任务分配控制模块(5)判断所述标志变量FPH的值,当FPH为0时,则不接收当前新到达的任务;当FPH不为0时,则将当前新到达的任务,分配给第FPH号主机执行。
9.一种云数据中心任务分配系统,包括云数据中心服务器(1),其特征是:所述云数据中心服务器(1)内设置有云数据中心任务分配装置(2);所述云数据中心任务分配装置(2)包括数据中心状态监测模块(3)、控制决策模块(4)和任务分配控制模块(5);所述数据中心状态监测模块(3)的输出端连接所述控制决策模块(4)的输入端,所述控制决策模块(4)的输出端连接所述任务分配控制模块(5)的输入端;
所述数据中心状态监测模块(3)用于收集主机运行状态信息;
所述控制决策模块(4)用于获取各主机近期趋势执行率、等效未来预期任务到达时间、等效故障率、故障率边界值和历史趋势故障率,并根据所述CPU占用率CZLi、内存负载MZLi、外存负载率SZLi、最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi和释放的外存占用率SSFi分析各主机当前可接收任务余量,然后根据可接收任务余量生成任务分配方案;
所述任务分配控制模块(5)用于根据标志变量进行任务分配。
10.如权利要求9所述的一种云数据中心任务分配系统,其特征是:所述控制决策模块(4)包括性能分析单元(401)、任务余量分析单元(402)和分配方案生成单元(403);
所述数据中心状态监测模块(3)输出数据给所述性能分析单元(401)、任务余量分析单元(402)和分配方案生成单元(403),所述性能分析单元(401)的输出端连接所述分配方案生成单元(403)的第一输入端;所述任务余量分析单元(402)的输出端连接所述分配方案生成单元(403)的第二输入端;所述分配方案生成单元(403)的输出端连接所述任务分配控制模块(5)的输入端;
所述性能分析单元(401)计算得到所述JQZLi;所述JQZLi为近期趋势执行率;
所述性能分析单元(401)计算得到所述WLDT;所述WLDT为等效未来预期任务到达时间;所述JGT为本次任务到达间隔时间,所述OLDJGT为上次任务到达间隔时间,所述OLDJGT的初始值为0;所述JGT=t-OLDT;所述OLDT为上一次任务到达的时间,所述OLDT的初始值被设置为0;
所述性能分析单元(401)计算得到所述GZLi;所述GZLi为等效故障率;
所述性能分析单元(401)用变量YCi标记故障率边界值:计算得到所述YCi;所述b为预先给定的系数,1<b;
所述性能分析单元(401)计算PJGL=mean{GZLi|0<i≤n,YCi≠1}得到所述PJGL;所述PJGL为历史趋势故障率;
所述性能分析单元(401)将WLDT、JQZLi、PJGL发送给分配方案生成单元(403);
所述任务余量分析单元(402)计算各主机最大允许的预期新增任务余量,YLi
所述a为预先给定的系统负载上限值,a为0.7到1之间的任意实数;所述任务余量分析单元(402)将YLi值发送给所述分配方案生成单元(403);
所述分配方案生成单元(403)计算各主机在下一次任务来临时,接收任务出现计算资源不足的近似预期概率,BZLi:
所述分配方案生成单元(403)比较各主机对应的BZLi值,如果所有主机的BZLi值都为0,则将标志变量FPH赋值为0;如果至少存在一个主机对应的BZLi值大于0,则将具有最大BZLi值的主机的编号赋给所述标志变量FPH;
所述分配方案生成单元(403)将标志变量FPH值发送给所述任务分配控制模块(5);
所述任务分配控制模块(5)判断所述标志变量FPH的值,当FPH为0时,则不接收当前新到达的任务;当FPH不为0时,则将当前新到达的任务,分配给第FPH号主机执行。
CN201510603222.7A 2015-09-21 2015-09-21 一种云数据中心任务分配方法、装置和系统 Expired - Fee Related CN105208119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510603222.7A CN105208119B (zh) 2015-09-21 2015-09-21 一种云数据中心任务分配方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510603222.7A CN105208119B (zh) 2015-09-21 2015-09-21 一种云数据中心任务分配方法、装置和系统

Publications (2)

Publication Number Publication Date
CN105208119A true CN105208119A (zh) 2015-12-30
CN105208119B CN105208119B (zh) 2018-06-22

Family

ID=54955542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510603222.7A Expired - Fee Related CN105208119B (zh) 2015-09-21 2015-09-21 一种云数据中心任务分配方法、装置和系统

Country Status (1)

Country Link
CN (1) CN105208119B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106201847A (zh) * 2016-06-30 2016-12-07 重庆大学 考虑云平台主机性能衰减的任务分配方法、装置和系统
CN109213588A (zh) * 2018-09-17 2019-01-15 重庆大学 一种云数据中心批量到达任务分配装置、系统及方法
CN111752710A (zh) * 2020-06-23 2020-10-09 中国电力科学研究院有限公司 数据中心pue动态优化方法、系统、设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011110026A1 (zh) * 2010-10-29 2011-09-15 华为技术有限公司 一种实现数据中心资源负载均衡的方法及装置
CN104023042A (zh) * 2013-03-01 2014-09-03 清华大学 云平台资源调度方法
CN104111875A (zh) * 2014-07-03 2014-10-22 重庆大学 云数据中心新增任务数动态控制装置、系统及方法
CN104317658A (zh) * 2014-10-17 2015-01-28 华中科技大学 一种基于MapReduce的负载自适应任务调度方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011110026A1 (zh) * 2010-10-29 2011-09-15 华为技术有限公司 一种实现数据中心资源负载均衡的方法及装置
CN104023042A (zh) * 2013-03-01 2014-09-03 清华大学 云平台资源调度方法
CN104111875A (zh) * 2014-07-03 2014-10-22 重庆大学 云数据中心新增任务数动态控制装置、系统及方法
CN104317658A (zh) * 2014-10-17 2015-01-28 华中科技大学 一种基于MapReduce的负载自适应任务调度方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106201847A (zh) * 2016-06-30 2016-12-07 重庆大学 考虑云平台主机性能衰减的任务分配方法、装置和系统
CN106201847B (zh) * 2016-06-30 2019-04-23 重庆大学 考虑云平台主机性能衰减的任务分配方法、装置和系统
CN109213588A (zh) * 2018-09-17 2019-01-15 重庆大学 一种云数据中心批量到达任务分配装置、系统及方法
CN111752710A (zh) * 2020-06-23 2020-10-09 中国电力科学研究院有限公司 数据中心pue动态优化方法、系统、设备及可读存储介质
CN111752710B (zh) * 2020-06-23 2023-01-31 中国电力科学研究院有限公司 数据中心pue动态优化方法、系统、设备及可读存储介质

Also Published As

Publication number Publication date
CN105208119B (zh) 2018-06-22

Similar Documents

Publication Publication Date Title
CN110858161B (zh) 资源分配方法、装置、系统、设备和介质
US9665294B2 (en) Dynamic feedback-based throughput control for black-box storage systems
US8621476B2 (en) Method and apparatus for resource management in grid computing systems
US10394606B2 (en) Dynamic weight accumulation for fair allocation of resources in a scheduler hierarchy
CN104881325A (zh) 一种资源调度方法和资源调度系统
US11206193B2 (en) Method and system for provisioning resources in cloud computing
CN107908479B (zh) 一种节点资源分配方法及装置
CN107003887A (zh) Cpu超载设置和云计算工作负荷调度机构
US20120221733A1 (en) Data center batch job quality of service control
CN104991830A (zh) 基于服务等级协议的yarn资源分配和节能调度方法及系统
US8898674B2 (en) Memory databus utilization management system and computer program product
CN104239150B (zh) 一种硬件资源调整的方法及装置
CN104092756A (zh) 一种基于dht机制的云存储系统的资源动态分配方法
CN104021040A (zh) 基于时间约束条件下的云计算关联任务调度方法和装置
CN102158387A (zh) 基于动态负载均衡与互相热备的保护故障信息处理系统
CN105874432A (zh) 一种资源管理方法、主机和端点
JP5596716B2 (ja) リソース管理装置、リソース管理システム、リソース管理方法およびリソース管理プログラム
CN111399970A (zh) 一种预留资源管理方法、装置和存储介质
CN105208119A (zh) 一种云数据中心任务分配方法、装置和系统
KR101630125B1 (ko) 클라우드 컴퓨팅 자원관리 시스템에서의 자원 요구량 예측 방법
CN104750546B (zh) 一种调整连接池的方法及系统
Marandi et al. Filo: Consolidated consensus as a cloud service
CN109347982A (zh) 一种数据中心的调度方法及装置
CN105204961A (zh) 一种云数据中心主机检查点设置的方法、装置和系统
CN103297511A (zh) 高度动态环境下的客户端/服务器的调度方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Sun Xiaoning

Inventor after: Zhang Rongqing

Inventor after: Wang Yuandou

Inventor after: Xia Yunni

Inventor after: Wu Quanwang

Inventor after: Zhu Qingsheng

Inventor before: Xia Yunni

Inventor before: Guo Kunken

Inventor before: Luo Xin

Inventor before: Yu Ke

Inventor before: Zhu Qingsheng

CB03 Change of inventor or designer information
TA01 Transfer of patent application right

Effective date of registration: 20180511

Address after: 400045 Sha Zheng street, Shapingba District, Chongqing City, No. 174

Applicant after: Chongqing University

Applicant after: Chongqing Bashu middle school

Address before: 400045 Sha Zheng street, Shapingba District, Chongqing City, No. 174

Applicant before: Chongqing University

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180622

Termination date: 20180921

CF01 Termination of patent right due to non-payment of annual fee