CN105208119B - 一种云数据中心任务分配方法、装置和系统 - Google Patents

一种云数据中心任务分配方法、装置和系统 Download PDF

Info

Publication number
CN105208119B
CN105208119B CN201510603222.7A CN201510603222A CN105208119B CN 105208119 B CN105208119 B CN 105208119B CN 201510603222 A CN201510603222 A CN 201510603222A CN 105208119 B CN105208119 B CN 105208119B
Authority
CN
China
Prior art keywords
task
host
value
fph
margin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510603222.7A
Other languages
English (en)
Other versions
CN105208119A (zh
Inventor
孙晓宁
张荣庆
王元斗
夏云霓
吴全旺
朱庆生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Bashu Middle School
Chongqing University
Original Assignee
Chongqing Bashu Middle School
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Bashu Middle School, Chongqing University filed Critical Chongqing Bashu Middle School
Priority to CN201510603222.7A priority Critical patent/CN105208119B/zh
Publication of CN105208119A publication Critical patent/CN105208119A/zh
Application granted granted Critical
Publication of CN105208119B publication Critical patent/CN105208119B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/78—Architectures of resource allocation
    • H04L47/783—Distributed allocation of resources, e.g. bandwidth brokers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)
  • Multi Processors (AREA)

Abstract

本发明公开了一种云数据中心任务分配方法、装置和系统，属于云计算系统控制领域，本发明首先收集主机运行状态信息，然后分析各主机当前可接收任务余量，根据可接收任务余量生成任务分配方案；最后根据标志变量进行任务分配。本发明在实时跟踪数据中心中各个主机的运行状态并对其性能变化趋势进行预判，选择性的将新到达任务分配到合理的主机上执行，以减少任务拥塞出现，实现负载均衡。

Description

一种云数据中心任务分配方法、装置和系统
技术领域
本发明属于云计算系统控制领域，特别是涉及一种云数据中心任务分配方法、装置和系统。
背景技术
云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备。相对于传统的软件和计算形态，云计算具有松散耦合、随需应变、成本可控、资源虚拟、异构协同等显著的优势，使其更适应现今的电子商务、柔性制造、移动互联网等应用。
云数据中心是指由多个异构的、由网络连接在一起的主机所组成的用于承载提供在线云服务的企业级应用的分布式计算系统。在云数据中心中，将大量的主机进行集中统一管理，可以保障主机运行所需要的稳定电源环境，适宜的温湿度控制以及网络带宽条件。
同其他软硬件系统一样，云数据中心中的主机的负载也处于实时变化中。由于现今的云计算系统多运用于大规模科学计算、实时金融、在线交易、流媒体多播等高负载和高复杂度的应用，其主机时常处于超负荷运行的状态。如果任务调度和负载均衡策略稍有不慎，就极易出现部分主机节点待处理任务过度堆积和缓冲区溢出的情况，并有可能进一步形成系统崩溃，造成重大损失。传统的任务调度和分配策略，多仅仅依据各个主机和节点的当前的负载、资源利用率、可靠性状态计算容许的可新增任务容量，并根据这些静态数据确定任务分配和调度方案。这种策略存在以下不足：由于忽视了主机负载、资源占用率、可用性和可靠性的变化趋势，传统的调度策略可能将大量的新增任务分配到当前任务余量较大但运行状态急剧恶化中的主机上，极易使这些主机在一段时间后形成负载热点；同时，部分主机虽然当前任务余量不大，但是处于运行状态迅速改善的过程中，而传统的调度分配策略有可能忽略掉这些实际上可以承接更多任务的主机，从而导致系统计算资源的闲置浪费。
在此背景下，如何动态的跟踪云数据中心的运行态势并进行趋势预判，实现合理的新增任务分配策略，便成为了研究的热点和难点。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种任务调度更合理的云数据中心任务分配方法。
为实现上述目的，本发明提供了一种云数据中心任务分配方法，包括以下步骤：
步骤一、收集主机运行状态信息；
收集新任务到达的时间t；并取得云数据中心中各个主机当前的CPU占用率CZLi、内存负载MZLi率、外存负载率SZLi；最近完成的一个任务的所用执行时间ZJTi；最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi、释放的外存占用率SSFi；上次任务到达至本次任务到达时间内，各个主机上出现故障、错误、或者失效的次数FNi；0＜i≤n，n为数据中心中的主机数量；
步骤二、获取各主机近期趋势执行率、等效未来预期任务到达时间、等效故障率、故障率边界值和历史趋势故障率，并将本次任务到达间隔时间赋给上一次计算出的上次任务到达间隔时间，将t的值赋给OLDT；
步骤三、根据所述CPU占用率CZLi、内存负载MZLi、外存负载率SZLi、最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi和释放的外存占用率SSFi分析各主机当前可接收任务余量；
步骤四、根据可接收任务余量生成任务分配方案；
步骤五、根据标志变量进行任务分配。
较佳的，设定步骤二中所述近期趋势执行率为JQZLi：
设定所述等效未来预期任务到达时间为WLDT：
计算得到所述WLDT；所述JGT为本次任务到达间隔时间，所述OLDJGT为上次任务到达间隔时间，所述OLDJGT的初始值为0；
设定所述等效故障率为GZLi：
计算得到所述GZLi；
用变量YCi标记故障率边界值：计算
得到所述YCi；
所述b为预先给定的系数，1<b；
设定所述历史趋势故障率为PJGL：
计算PJGL＝mean{GZLi|0＜i≤n，YCi≠1}得到所述PJGL。
较佳的，所述步骤三按以下步骤进行：
设定各主机最大允许的预期新增任务余量为YLi：
计算得到所述YLi；
所述a为预先给定的系统负载上限值，a为0.7到1之间的任意实数。
较佳的，步骤四中所述根据可接收任务余量生成任务分配方案按以下步骤执行：
设定各主机在下一次任务来临时，接收任务出现计算资源不足的近似预期概率为BZLi:
比较各主机对应的BZLi值，如果所有主机的BZLi值都为0，则将标志变量FPH赋值为0；如果至少存在一个主机对应的BZLi值大于0，则将具有最大BZLi值的主机的编号赋给所述标志变量FPH。
较佳的，步骤五中所述根据标志变量进行任务分配按以下步骤进行：
判断所述标志变量FPH的值，当FPH为0时，则不接收当前新到达的任务；当FPH不为0时，则将当前新到达的任务，分配给第FPH号主机执行。
较佳的，所述JGT＝t-QLDT；所述OLDT为上一次任务到达的时间，所述OLDT的初始值被设置为0。
本发明所要解决的另一技术问题是提供一种任务调度更合理的云数据中心任务分配装置。
为实现上述目的，本发明提供了一种云数据中心任务分配装置，包括数据中心状态监测模块、控制决策模块和任务分配控制模块；所述数据中心状态监测模块的输出端连接所述控制决策模块的输入端，所述控制决策模块的输出端连接所述任务分配控制模块的输入端；
所述数据中心状态监测模块用于收集主机运行状态信息；
所述控制决策模块用于获取各主机近期趋势执行率、等效未来预期任务到达时间、等效故障率、故障率边界值和历史趋势故障率，并根据所述CPU占用率CZLi、内存负载MZLi、外存负载率SZLi、最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi和释放的外存占用率SSFi分析各主机当前可接收任务余量，然后根据可接收任务余量生成任务分配方案；
所述任务分配控制模块用于根据标志变量进行任务分配。
较佳的，所述控制决策模块包括性能分析单元、任务余量分析单元和分配方案生成单元；
所述数据中心状态监测模块输出数据给所述性能分析单元、任务余量分析单元和分配方案生成单元，所述性能分析单元的输出端连接所述分配方案生成单元的第一输入端；所述任务余量分析单元的输出端连接所述分配方案生成单元的第二输入端；所述分配方案生成单元的输出端连接所述任务分配控制模块的输入端；
所述性能分析单元计算得到所述WLDT；所述WLDT为等效未来预期任务到达时间；所述JGT为本次任务到达间隔时间，所述OLDJGT为上次任务到达间隔时间，所述OLDJGT的初始值为0；所述JGT＝t-QLDT；所述OLDT为上一次任务到达的时间，所述OLDT的初始值被设置为0；
所述性能分析单元计算得到所述GZLi；所述GZLi为等效故障率；
所述性能分析单元用变量YCi标记故障率边界值：计算
得到所述YCi；所述b为预先给定的系数，1<b；
所述性能分析单元计算PJGL＝mean{GZLi|0＜i≤n，YCi≠1}得到所述PJGL；所述PJGL为历史趋势故障率；
所述性能分析单元将WLDT、JQZLi、PJGL发送给分配方案生成单元；
所述任务余量分析单元计算各主机最大允许的预期新增任务余量，YLi：
所述a为预先给定的系统负载上限值，a为0.7到1之间的任意实数；所述任务余量分析单元将YLi值发送给所述分配方案生成单元；
所述分配方案生成单元计算各主机在下一次任务来临时，接收任务出现计算资源不足的近似预期概率，BZLi:
所述分配方案生成单元比较各主机对应的BZLi值，如果所有主机的BZLi值都为0，则将标志变量FPH赋值为0；如果至少存在一个主机对应的BZLi值大于0，则将具有最大BZLi值的主机的编号赋给所述标志变量FPH；
所述分配方案生成单元将标志变量FPH值发送给所述任务分配控制模块；
所述任务分配控制模块判断所述标志变量FPH的值，当FPH为0时，则不接收当前新到达的任务；当FPH不为0时，则将当前新到达的任务，分配给第FPH号主机执行。
本发明还要解决的一技术问题是提供一种任务调度更合理的云数据中心任务分配系统。
为实现上述目的，本发明提供了一种云数据中心任务分配系统，包括云数据中心服务器，所述云数据中心服务器内设置有云数据中心任务分配装置；所述云数据中心任务分配装置包括数据中心状态监测模块、控制决策模块和任务分配控制模块；所述数据中心状态监测模块的输出端连接所述控制决策模块的输入端，所述控制决策模块的输出端连接所述任务分配控制模块的输入端；
所述数据中心状态监测模块用于收集主机运行状态信息；
所述控制决策模块用于获取各主机近期趋势执行率、等效未来预期任务到达时间、等效故障率、故障率边界值和历史趋势故障率，并根据所述CPU占用率CZLi、内存负载MZLi、外存负载率SZLi、最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi和释放的外存占用率SSFi分析各主机当前可接收任务余量，然后根据可接收任务余量生成任务分配方案；
所述任务分配控制模块用于根据标志变量进行任务分配。
较佳的，所述控制决策模块包括性能分析单元、任务余量分析单元和分配方案生成单元；
所述数据中心状态监测模块输出数据给所述性能分析单元、任务余量分析单元和分配方案生成单元，所述性能分析单元的输出端连接所述分配方案生成单元的第一输入端；所述任务余量分析单元的输出端连接所述分配方案生成单元的第二输入端；所述分配方案生成单元的输出端连接所述任务分配控制模块的输入端；
所述性能分析单元计算得到所述JQZLi；所述JQZLi为近期趋势执行率；
所述性能分析单元计算得到所述WLDT；所述WLDT为等效未来预期任务到达时间；所述JGT为本次任务到达间隔时间，所述OLDJGT为上次任务到达间隔时间，所述OLDJGT的初始值为0；所述JGT＝t-QLDT；所述OLDT为上一次任务到达的时间，所述OLDT的初始值被设置为0；
所述性能分析单元计算得到所述GZLi；所述GZLi为等效故障率；
所述性能分析单元用变量YCi标记故障率边界值：计算
得到所述YCi；所述b为预先给定的系数，1<b；
所述性能分析单元计算PJGL＝mean{GZLi|0＜i≤n，YCi≠1}得到所述PJGL；所述PJGL为历史趋势故障率；
所述性能分析单元将WLDT、JQZLi、PJGL发送给分配方案生成单元；
所述任务余量分析单元计算各主机最大允许的预期新增任务余量，YLi：
所述a为预先给定的系统负载上限值，a为0.7到1之间的任意实数；所述任务余量分析单元将YLi值发送给所述分配方案生成单元；
所述分配方案生成单元计算各主机在下一次任务来临时，接收任务出现计算资源不足的近似预期概率，BZLi:
所述分配方案生成单元比较各主机对应的BZLi值，如果所有主机的BZLi值都为0，则将标志变量FPH赋值为0；如果至少存在一个主机对应的BZLi值大于0，则将具有最大BZLi值的主机的编号赋给所述标志变量FPH；
所述分配方案生成单元将标志变量FPH值发送给所述任务分配控制模块；
所述任务分配控制模块判断所述标志变量FPH的值，当FPH为0时，则不接收当前新到达的任务；当FPH不为0时，则将当前新到达的任务，分配给第FPH号主机执行。
本发明的有益效果是：本发明充分考虑了云系统中主机性能的动态波动性，计算各个主机更贴近实际需要的任务余量，能够避免出现预估过高和预估不足的两个极端。同时本发明在考察静态负载数据的同时，计算各个主机的性能变化趋势，并考虑了动态趋势在下一次任务到达时对调度策略的影响，使任务调度方案更合理。本发明相对于静态的任务调度管理策略，实现了动态的负载均衡，在非稳定的系统运行环境下可取得更好的效果。
附图说明
图1是本发明云数据中心任务分配方法一具体实施方式的流程示意图。
图2是本发明云数据中心任务分配装置一具体实施方式的原理示意图。
图3是本发明云数据中心任务分配系统一具体实施方式的原理示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明：
如图1所示，一种云数据中心任务分配方法：
步骤一、收集主机运行状态信息：
收集新任务到达的时间t；并取得云数据中心中各个主机当前的CPU占用率CZLi、内存负载MZLi率、外存负载率SZLi；最近完成的一个任务的所用执行时间ZJTi；最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi、释放的外存占用率SSFi；上次任务到达至本次任务到达时间内，各个主机上出现故障、错误、或者失效的次数FNi；0＜i≤n，n为数据中心中的主机数量。
步骤二、获取各主机近期趋势执行率、等效未来预期任务到达时间、等效故障率、故障率边界值和历史趋势故障率，并将本次任务到达间隔时间赋给上一次计算出的上次任务到达间隔时间，将t的值赋给OLDT。
步骤三、根据所述CPU占用率CZLi、内存负载MZLi、外存负载率SZLi、最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi和释放的外存占用率SSFi分析各主机当前可接收任务余量。
步骤四、根据可接收任务余量生成任务分配方案。
步骤五、根据标志变量进行任务分配。
设定步骤二中所述近期趋势执行率为JQZLi：
计算得到所述JQZLi；ZJTi为最近完成的一个任务的所用执行时间，必定不为0，因此不存在除数为0的情况。
上述公式的直观意义是，将最近一个任务单位时间内的CPU释放率、内存释放率、外存释放率的最小值，作为该主机的近期任务执行率。所述ZJTi不为0。min{}为集合中求最小数的操作。
设定所述等效未来预期任务到达时间为WLDT：
计算得到所述WLDT；所述JGT为本次任务到达间隔时间，所述OLDJGT为上次任务到达间隔时间，所述OLDJGT的初始值为0；
设定所述等效故障率为GZLi：
计算得到所述GZLi；JGT为本次任务到达间隔时间，必定不为0，因此不存在除数为0的情况。
用变量YCi标记故障率边界值：计算
得到所述YCi；所述b为预先给定的系数，1<b，本实施例中b取值为5；上述公式的直观意义是，当某个主机的故障率值与两个相邻主机故障率值绝对差值的最大值，再减去两个相邻主机之间的故障率绝对差值的结果，大于所有主机之间故障率绝对差值平均数的b倍，则可认为这个主机的故障率值为“边界值”。max{}为集合求最大数的操作。
设定所述历史趋势故障率为PJGL：
计算PJGL＝mean{GZLi|0＜i≤n，YCi≠1}得到所述PJGL；
值得注意的是，从前一个公式看，至少存在第一个和最后一个主机的故障率值不为边界值，因此上述集合求平均数的操作mean{}中，集合一定不为空。
所述步骤三按以下步骤进行：
设定各主机最大允许的预期新增任务余量为YLi：
计算得到所述YLi；最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi、释放的外存占用率SSFi，这三个变量定不为0，因此除数不为0。
所述a为预先给定的系统负载上限值，a为0.7到1之间的任意实数，本实施例中，a取值为0.8。
步骤四中所述根据可接收任务余量生成任务分配方案按以下步骤执行：
设定各主机在下一次任务来临时，接收任务出现计算资源不足的近似预期概率为BZLi:
比较各主机对应的BZLi值，如果所有主机的BZLi值都为0，则将标志变量FPH赋值为0；如果至少存在一个主机对应的BZLi值大于0，则将具有最大BZLi值的主机的编号赋给所述标志变量FPH即：
步骤五中所述根据标志变量进行任务分配按以下步骤进行：
判断所述标志变量FPH的值，当FPH为0时，则不接收当前新到达的任务；当FPH不为0时，则将当前新到达的任务，分配给第FPH号主机执行，然后返回执行步骤一。
本实施例中，所述JGT＝t-OLDT；所述OLDT为上一次任务到达的时间，所述OLDT的初始值被设置为0。
如图2所示，一种云数据中心任务分配装置，包括数据中心状态监测模块3、控制决策模块4和任务分配控制模块5；所述数据中心状态监测模块3的输出端连接所述控制决策模块4的输入端，所述控制决策模块4的输出端连接所述任务分配控制模块5的输入端。
云系统的用户或者用户群，向云数据中心发送新的任务，所述数据中心状态监测模块3用于收集主机运行状态信息。
所述控制决策模块4用于获取各主机近期趋势执行率、等效未来预期任务到达时间、等效故障率、故障率边界值和历史趋势故障率，并根据所述CPU占用率CZLi、内存负载MZLi、外存负载率SZLi、最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi和释放的外存占用率SSFi分析各主机当前可接收任务余量，然后根据可接收任务余量生成任务分配方案。
所述任务分配控制模块5用于根据标志变量进行任务分配。
本实施例中，所述控制决策模块4包括性能分析单元401、任务余量分析单元402和分配方案生成单元403。
所述数据中心状态监测模块3输出数据给所述性能分析单元401、任务余量分析单元402和分配方案生成单元403，所述性能分析单元401的输出端连接所述分配方案生成单元403的第一输入端；所述任务余量分析单元402的输出端连接所述分配方案生成单元403的第二输入端；所述分配方案生成单元403的输出端连接所述任务分配控制模块5的输入端。
所述性能分析单元401计算得到所述JQZLi；所述JQZLi为近期趋势执行率。
所述性能分析单元401计算得到所述WLDT；所述WLDT为等效未来预期任务到达时间；所述JGT为本次任务到达间隔时间，所述OLDJGT为上次任务到达间隔时间，所述OLDJGT的初始值为0；所述JGT＝t-OLDT；所述OLDT为上一次任务到达的时间，所述OLDT的初始值被设置为0。
所述性能分析单元401计算得到所述GZLi；所述GZLi为等效故障率。
所述性能分析单元401用变量YCi标记故障率边界值：计算
得到所述YCi；所述b为预先给定的系数，1<b。
所述性能分析单元401计算PJGL＝mean{GZLi|0＜i≤n，YCi≠1}得到所述PJGL；所述PJGL为历史趋势故障率。
所述性能分析单元401将WLDT、JQZLi、PJGL发送给分配方案生成单元403。
所述任务余量分析单元402计算各主机最大允许的预期新增任务余量，YLi：
所述a为预先给定的系统负载上限值，a为0.7到1之间的任意实数；所述任务余量分析单元402将YLi值发送给所述分配方案生成单元403。
所述分配方案生成单元403计算各主机在下一次任务来临时，接收任务出现计算资源不足的近似预期概率，BZLi:
所述分配方案生成单元403比较各主机对应的BZLi值，如果所有主机的BZLi值都为0，则将标志变量FPH赋值为0；如果至少存在一个主机对应的BZLi值大于0，则将具有最大BZLi值的主机的编号赋给所述标志变量FPH。
所述分配方案生成单元403将标志变量FPH值发送给所述任务分配控制模块5。
所述任务分配控制模块5判断所述标志变量FPH的值，当FPH为0时，则不接收当前新到达的任务；当FPH不为0时，则将当前新到达的任务，分配给第FPH号主机执行。
如图3所示，一种云数据中心任务分配系统，包括云数据中心服务器1，所述云数据中心服务器1内设置有云数据中心任务分配装置2；所述云数据中心任务分配装置2包括数据中心状态监测模块3、控制决策模块4和任务分配控制模块5；所述数据中心状态监测模块3的输出端连接所述控制决策模块4的输入端，所述控制决策模块4的输出端连接所述任务分配控制模块5的输入端。
所述数据中心状态监测模块3用于收集主机运行状态信息。
所述控制决策模块4用于获取各主机近期趋势执行率、等效未来预期任务到达时间、等效故障率、故障率边界值和历史趋势故障率，并根据所述CPU占用率CZLi、内存负载MZLi、外存负载率SZLi、最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi和释放的外存占用率SSFi分析各主机当前可接收任务余量，然后根据可接收任务余量生成任务分配方案。
所述任务分配控制模块5用于根据标志变量进行任务分配。
本实施例中，所述控制决策模块4包括性能分析单元401、任务余量分析单元402和分配方案生成单元403。
所述数据中心状态监测模块3输出数据给所述性能分析单元401、任务余量分析单元402和分配方案生成单元403，所述性能分析单元401的输出端连接所述分配方案生成单元403的第一输入端；所述任务余量分析单元402的输出端连接所述分配方案生成单元403的第二输入端；所述分配方案生成单元403的输出端连接所述任务分配控制模块5的输入端。
所述性能分析单元401计算得到所述JQZLi；所述JQZLi为近期趋势执行率。
所述性能分析单元401计算得到所述WLDT；所述WLDT为等效未来预期任务到达时间；所述JGT为本次任务到达间隔时间，所述OLDJGT为上次任务到达间隔时间，所述OLDJGT的初始值为0；所述JGT＝t-OLDT；所述OLDT为上一次任务到达的时间，所述OLDT的初始值被设置为0。
所述性能分析单元401计算得到所述GZLi；所述GZLi为等效故障率。
所述性能分析单元401用变量YCi标记故障率边界值：计算
得到所述YCi；所述b为预先给定的系数，1<b。
所述性能分析单元401计算PJGL＝mean{GZLi|0＜i≤n，YCi≠1}得到所述PJGL；所述PJGL为历史趋势故障率。
所述性能分析单元401将WLDT、JQZLi、PJGL发送给分配方案生成单元403。
所述任务余量分析单元402计算各主机最大允许的预期新增任务余量，YLi：
所述a为预先给定的系统负载上限值，a为0.7到1之间的任意实数；所述任务余量分析单元402将YLi值发送给所述分配方案生成单元403。
所述分配方案生成单元403计算各主机在下一次任务来临时，接收任务出现计算资源不足的近似预期概率，BZLi:
所述分配方案生成单元403比较各主机对应的BZLi值，如果所有主机的BZLi值都为0，则将标志变量FPH赋值为0；如果至少存在一个主机对应的BZLi值大于0，则将具有最大BZLi值的主机的编号赋给所述标志变量FPH。
所述分配方案生成单元403将标志变量FPH值发送给所述任务分配控制模块5。
所述任务分配控制模块5判断所述标志变量FPH的值，当FPH为0时，则不接收当前新到达的任务；当FPH不为0时，则将当前新到达的任务，分配给第FPH号主机执行。
本发明实施例所提供的一种云数据中心任务分配的装置，可以部署于一个现有的主机中，也可以部署以一个单独设置的专用于云数据中心任务分配的服务器中。为此，本发明提供了一种服务器，包括本发明实施例所提供的一种云数据中心任务分配的装置。本领域普通技术人员可以理解实现上述实施例方法中一种云数据中心主机延迟开机的过程，可以通过程序指令相关的硬件来完成，该程序在执行时执行上述方法中的对应步骤。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (3)

1.一种云数据中心任务分配方法，其特征在于包括以下步骤：
步骤一、收集主机运行状态信息；
收集新任务到达的时间t；并取得云数据中心中各个主机当前的CPU占用率CZLi、内存负载率MZLi、外存负载率SZLi；最近完成的一个任务的所用执行时间ZJTi；最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi、释放的外存占用率SSFi；上次任务到达至本次任务到达时间内，各个主机上出现故障、错误、或者失效的次数FNi；0＜i≤n，n为数据中心中的主机数量；
步骤二、获取各主机近期趋势执行率、等效未来预期任务到达时间、等效故障率、故障率边界值和历史趋势故障率；
步骤三、根据所述CPU占用率CZLi、内存负载MZLi、外存负载率SZLi、最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi和释放的外存占用率SSFi分析各主机当前可接收任务余量；
步骤四、根据可接收任务余量生成任务分配方案；
步骤五、根据标志变量进行任务分配；
设定步骤二中所述近期趋势执行率为JQZLi：
计算得到所述JQZLi；
设定所述等效未来预期任务到达时间为WLDT：
计算得到所述WLDT；所述JGT为任务到达间隔时间，所述OLDJGT为上一次计算出的任务到达间隔时间，所述OLDJGT的初始值为0；
设定所述等效故障率为GZLi：
计算得到所述GZLi；
用变量YCi标记故障率边界值：
计算得到所述YCi；
所述b为预先给定的系数，1<b；
设定所述历史趋势故障率为PJGL：
计算PJGL＝mean{GZLi|0＜i≤n，YCi≠1}得到所述PJGL；
所述步骤三按以下步骤进行：
设定各主机最大允许的预期新增任务余量为YLi：
计算得到所述YLi；
所述a为预先给定的系统负载上限值，a为0.7到1之间的任意实数；
步骤四中所述根据可接收任务余量生成任务分配方案按以下步骤执行：
设定各主机在下一次任务来临时，接收任务出现计算资源不足的近似预期概率为BZLi:
计算得到所述BZLi；
比较各主机对应的BZLi值，如果所有主机的BZLi值都为0，则将标志变量FPH赋值为0；如果至少存在一个主机对应的BZLi值大于0，则将具有最大BZLi值的主机的编号赋给所述标志变量FPH；
步骤五中所述根据标志变量进行任务分配按以下步骤进行：
判断所述标志变量FPH的值，当FPH为0时，则不接收当前新到达的任务；当FPH不为0时，则将当前新到达的任务，分配给第FPH号主机执行；
所述JGT＝t-OLDT；所述OLDT为上一次任务到达的时间，所述OLDT的初始值被设置为0。
2.一种云数据中心任务分配装置，其特征是：包括数据中心状态监测模块(3)、控制决策模块(4)和任务分配控制模块(5)；所述数据中心状态监测模块(3)的输出端连接所述控制决策模块(4)的输入端，所述控制决策模块(4)的输出端连接所述任务分配控制模块(5)的输入端；
所述数据中心状态监测模块(3)用于收集主机运行状态信息；
所述控制决策模块(4)用于获取各主机近期趋势执行率、等效未来预期任务到达时间、等效故障率、故障率边界值和历史趋势故障率，并根据所述CPU占用率CZLi、内存负载率MZLi、外存负载率SZLi、最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi和释放的外存占用率SSFi分析各主机当前可接收任务余量，然后根据可接收任务余量生成任务分配方案；
所述任务分配控制模块(5)用于根据标志变量进行任务分配；
所述控制决策模块(4)包括性能分析单元(401)、任务余量分析单元(402)和分配方案生成单元(403)；
所述数据中心状态监测模块(3)的输出端连接所述性能分析单元(401)的输入端，所述性能分析单元(401)的第一输出端连接所述分配方案生成单元(403)的第一输入端，所述性能分析单元(401)的第二输出端连接所述任务余量分析单元(402)的输入端；所述任务余量分析单元(402)的输出端连接所述分配方案生成单元(403)的第二输入端；所述分配方案生成单元(403)的输出端连接所述任务分配控制模块(5)的输入端；
所述性能分析单元(401)计算得到所述JQZLi；所述JQZLi为近期趋势执行率；
所述性能分析单元(401)计算得到所述WLDT；所述WLDT为等效未来预期任务到达时间；所述JGT为新旧任务到达间隔时间，所述OLDJGT为上一次计算出的任务到达间隔时间，所述OLDJGT的初始值为0；所述JGT＝t-OLDT；所述OLDT为上一次任务到达的时间，所述OLDT的初始值被设置为0；
所述性能分析单元(401)计算得到所述GZLi；所述GZLi为等效故障率；
所述性能分析单元(401)用变量YCi标记故障率边界值：
计算得到所述YCi；所述b为预先给定的系数，1<b；
所述性能分析单元(401)计算PJGL＝mean{GZLi|0＜i≤n，YCi≠1}得到所述PJGL；所述PJGL为历史趋势故障率；
所述性能分析单元(401)将计算结果发送给任务余量分析单元(402)和分配方案生成单元(403)；
所述任务余量分析单元(402)计算各主机最大允许的预期新增任务余量，YLi：
所述a为预先给定的系统负载上限值，a为0.7到1之间的任意实数；所述任务余量分析单元(402)将YLi值发送给所述分配方案生成单元(403)；
所述分配方案生成单元(403)计算各主机在下一次任务来临时，接收任务出现计算资源不足的近似预期概率，BZLi:
所述分配方案生成单元(403)比较各主机对应的BZLi值，如果所有主机的BZLi值都为0，则将标志变量FPH赋值为0；如果至少存在一个主机对应的BZLi值大于0，则将具有最大BZLi值的主机的编号赋给所述标志变量FPH；
所述分配方案生成单元(403)将标志变量FPH值发送给所述任务分配控制模块(5)；
所述任务分配控制模块(5)判断所述标志变量FPH的值，当FPH为0时，则不接收当前新到达的任务；当FPH不为0时，则将当前新到达的任务，分配给第FPH号主机执行。
3.一种云数据中心任务分配系统，包括云数据中心服务器(1)，其特征是：所述云数据中心服务器(1)内设置有云数据中心任务分配装置(2)；所述云数据中心任务分配装置(2)包括数据中心状态监测模块(3)、控制决策模块(4)和任务分配控制模块(5)；所述数据中心状态监测模块(3)的输出端连接所述控制决策模块(4)的输入端，所述控制决策模块(4)的输出端连接所述任务分配控制模块(5)的输入端；
所述数据中心状态监测模块(3)用于收集主机运行状态信息；
所述控制决策模块(4)用于获取各主机近期趋势执行率、等效未来预期任务到达时间、等效故障率、故障率边界值和历史趋势故障率，并根据所述CPU占用率CZLi、内存负载率MZLi、外存负载率SZLi、最近一个任务完成时所释放的CPU占用率CSFi、释放的内存占用率MSFi和释放的外存占用率SSFi分析各主机当前可接收任务余量，然后根据可接收任务余量生成任务分配方案；
所述任务分配控制模块(5)用于根据标志变量进行任务分配；
所述控制决策模块(4)包括性能分析单元(401)、任务余量分析单元(402)和分配方案生成单元(403)；
所述数据中心状态监测模块(3)的输出端连接所述性能分析单元(401)的输入端，所述性能分析单元(401)的第一输出端连接所述分配方案生成单元(403)的第一输入端，所述性能分析单元(401)的第二输出端连接所述任务余量分析单元(402)的输入端；所述任务余量分析单元(402)的输出端连接所述分配方案生成单元(403)的第二输入端；所述分配方案生成单元(403)的输出端连接所述任务分配控制模块(5)的输入端；
所述性能分析单元(401)计算得到所述JQZLi；所述JQZLi为近期趋势执行率；
所述性能分析单元(401)计算得到所述WLDT；所述WLDT为等效未来预期任务到达时间；所述JGT为新旧任务到达间隔时间，所述OLDJGT为上一次计算出的任务到达间隔时间，所述OLDJGT的初始值为0；所述JGT＝t-OLDT；所述OLDT为上一次任务到达的时间，所述OLDT的初始值被设置为0；
所述性能分析单元(401)计算得到所述GZLi；所述GZLi为等效故障率；
所述性能分析单元(401)用变量YCi标记故障率边界值：
计算得到所述YCi；所述b为预先给定的系数，1<b；
所述性能分析单元(401)计算PJGL＝mean{GZLi|0＜i≤n，YCi≠1}得到所述PJGL；所述PJGL为历史趋势故障率；
所述性能分析单元(401)将计算结果发送给任务余量分析单元(402)和分配方案生成单元(403)；
所述任务余量分析单元(402)计算各主机最大允许的预期新增任务余量，YLi：
所述a为预先给定的系统负载上限值，a为0.7到1之间的任意实数；所述任务余量分析单元(402)将YLi值发送给所述分配方案生成单元(403)；
所述分配方案生成单元(403)计算各主机在下一次任务来临时，接收任务出现计算资源不足的近似预期概率，BZLi:
所述分配方案生成单元(403)比较各主机对应的BZLi值，如果所有主机的BZLi值都为0，则将标志变量FPH赋值为0；如果至少存在一个主机对应的BZLi值大于0，则将具有最大BZLi值的主机的编号赋给所述标志变量FPH；
所述分配方案生成单元(403)将标志变量FPH值发送给所述任务分配控制模块(5)；
所述任务分配控制模块(5)判断所述标志变量FPH的值，当FPH为0时，则不接收当前新到达的任务；当FPH不为0时，则将当前新到达的任务，分配给第FPH号主机执行。
CN201510603222.7A 2015-09-21 2015-09-21 一种云数据中心任务分配方法、装置和系统 Expired - Fee Related CN105208119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510603222.7A CN105208119B (zh) 2015-09-21 2015-09-21 一种云数据中心任务分配方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510603222.7A CN105208119B (zh) 2015-09-21 2015-09-21 一种云数据中心任务分配方法、装置和系统

Publications (2)

Publication Number Publication Date
CN105208119A CN105208119A (zh) 2015-12-30
CN105208119B true CN105208119B (zh) 2018-06-22

Family

ID=54955542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510603222.7A Expired - Fee Related CN105208119B (zh) 2015-09-21 2015-09-21 一种云数据中心任务分配方法、装置和系统

Country Status (1)

Country Link
CN (1) CN105208119B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106201847B (zh) * 2016-06-30 2019-04-23 重庆大学 考虑云平台主机性能衰减的任务分配方法、装置和系统
CN109213588A (zh) * 2018-09-17 2019-01-15 重庆大学 一种云数据中心批量到达任务分配装置、系统及方法
CN111752710B (zh) * 2020-06-23 2023-01-31 中国电力科学研究院有限公司 数据中心pue动态优化方法、系统、设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011110026A1 (zh) * 2010-10-29 2011-09-15 华为技术有限公司 一种实现数据中心资源负载均衡的方法及装置
CN104023042A (zh) * 2013-03-01 2014-09-03 清华大学 云平台资源调度方法
CN104111875A (zh) * 2014-07-03 2014-10-22 重庆大学 云数据中心新增任务数动态控制装置、系统及方法
CN104317658A (zh) * 2014-10-17 2015-01-28 华中科技大学 一种基于MapReduce的负载自适应任务调度方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011110026A1 (zh) * 2010-10-29 2011-09-15 华为技术有限公司 一种实现数据中心资源负载均衡的方法及装置
CN104023042A (zh) * 2013-03-01 2014-09-03 清华大学 云平台资源调度方法
CN104111875A (zh) * 2014-07-03 2014-10-22 重庆大学 云数据中心新增任务数动态控制装置、系统及方法
CN104317658A (zh) * 2014-10-17 2015-01-28 华中科技大学 一种基于MapReduce的负载自适应任务调度方法

Also Published As

Publication number Publication date
CN105208119A (zh) 2015-12-30

Similar Documents

Publication Publication Date Title
Almeida et al. Resource management in the autonomic service-oriented architecture
Garg et al. SLA-based virtual machine management for heterogeneous workloads in a cloud datacenter
Li et al. Optimal resource provisioning for cloud computing environment
CN104657220B (zh) 混合云中基于截止时间和费用约束的调度模型及方法
CN107087019A (zh) 一种端云协同计算架构及任务调度装置及方法
CN104239141B (zh) 数据中心中基于工作流关键路径的任务优化调度方法
CN102724103B (zh) 代理服务器、分层次网络系统及分布式工作负载管理方法
CN108845878A (zh) 基于无服务器计算的大数据处理方法及装置
CN103927229A (zh) 在动态可用服务器集群中调度映射化简作业
CN101986272A (zh) 一种云计算环境下的任务调度方法
CN104142860A (zh) 应用服务系统的资源调整方法与装置
CN110519370B (zh) 一种基于设施选址问题的边缘计算资源分配方法
CN105208119B (zh) 一种云数据中心任务分配方法、装置和系统
CN104092756A (zh) 一种基于dht机制的云存储系统的资源动态分配方法
CN107844376A (zh) 计算系统的资源调配方法、计算系统、介质和服务器
CN112261120B (zh) 一种配电物联网云边协同任务卸载方法及装置
Dewangan et al. Self-characteristics based energy-efficient resource scheduling for cloud
CN104536804A (zh) 面向关联任务请求的虚拟资源调度系统及调度和分配方法
CN107370799A (zh) 一种混合移动云环境中高能效的多用户在线计算迁移方法
Delavar et al. A synthetic heuristic algorithm for independent task scheduling in cloud systems
CN108132840A (zh) 一种分布式系统中的资源调度方法及装置
Sharma et al. SLA-based agile VM management in cloud & datacenter
CN106407007A (zh) 面向弹性分析流程的云资源配置优化方法
CN107729218A (zh) 一种监控处理计算资源设备的系统及方法
CN109213588A (zh) 一种云数据中心批量到达任务分配装置、系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Sun Xiaoning

Inventor after: Zhang Rongqing

Inventor after: Wang Yuandou

Inventor after: Xia Yunni

Inventor after: Wu Quanwang

Inventor after: Zhu Qingsheng

Inventor before: Xia Yunni

Inventor before: Guo Kunken

Inventor before: Luo Xin

Inventor before: Yu Ke

Inventor before: Zhu Qingsheng

CB03 Change of inventor or designer information
TA01 Transfer of patent application right

Effective date of registration: 20180511

Address after: 400045 Sha Zheng street, Shapingba District, Chongqing City, No. 174

Applicant after: Chongqing University

Applicant after: Chongqing Bashu middle school

Address before: 400045 Sha Zheng street, Shapingba District, Chongqing City, No. 174

Applicant before: Chongqing University

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180622

Termination date: 20180921

CF01 Termination of patent right due to non-payment of annual fee