CN101694630A - 一种作业调度方法、系统及设备 - Google Patents

一种作业调度方法、系统及设备 Download PDF

Info

Publication number
CN101694630A
CN101694630A CN200910235302A CN200910235302A CN101694630A CN 101694630 A CN101694630 A CN 101694630A CN 200910235302 A CN200910235302 A CN 200910235302A CN 200910235302 A CN200910235302 A CN 200910235302A CN 101694630 A CN101694630 A CN 101694630A
Authority
CN
China
Prior art keywords
node server
job
gene
individuality
population
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200910235302A
Other languages
English (en)
Inventor
聂华
邵宗有
历军
李麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Computer Network and Information Security Management Center
Dawning Information Industry Beijing Co Ltd
Original Assignee
Dawning Information Industry Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dawning Information Industry Beijing Co Ltd filed Critical Dawning Information Industry Beijing Co Ltd
Priority to CN200910235302A priority Critical patent/CN101694630A/zh
Publication of CN101694630A publication Critical patent/CN101694630A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出了一种作业调度方法、系统及设备。该方法包括以下步骤：获取节点服务器的状态和节点服务器中作业的运行状态；在作业队列中选取大作业；根据大作业构建种群，种群中的基因包括作业信息和作业运行的节点服务器信息；对种群中的个体进行交叉操作；根据节点服务器的能效评价为种群中的基因选择节点服务器；对经过交叉操作的个体进行变异操作。本发明所提出的作业调度方法、系统及设备通过调整作业的运行时间和使用的服务器实现集群每瓦特性能的最大化，可以用最少的能耗完成作业。

Description

一种作业调度方法、系统及设备
技术领域
本发明涉及计算机技术领域，更具体地涉及作业调度技术。
背景技术
作业调度是集群服务器应用中需要面临的核心问题之一，当前，研究的重点是怎样实现作业吞吐率的最大化和作业平均响应时间的最小化，由于作业调度的最优解被认为是NP(非决定性多项式时间)完全问题，当前普遍采用“预留资源”加“回填作业”的方法达到次优解，例如普遍使用的MAUI作业调度器。
由于近年来计算机功率增长很快，已经成为集群服务器应用中面临的主要问题之一，不仅给用户带来了沉重的成本压力，还对供电和散热提出了更高的要求，制约了计算机的应用发展。
因此，目前需要一种基于功耗的作业调度技术。
发明内容
为了解决上述问题之一，本发明提出了一种作业调度方法，包括以下步骤：获取节点服务器的状态和节点服务器中作业的运行状态；在作业队列中选取大作业；根据大作业构建种群，种群中的基因包括作业信息和所述作业运行的节点服务器信息；对种群中的个体进行交叉操作；根据节点服务器的能效评价为种群中的基因选择节点服务器；对经过交叉操作的个体进行变异操作。
根据本发明的实施例，获取节点服务器的状态包括：测出节点服务器的功率与节点服务器的中央处理器频率之间的关系；通过监控模块获取节点服务器的状态，节点服务器的状态包括节点服务器的中央处理器的频率和利用率；根据节点服务器的功率与节点服务器的中央处理器频率之间的关系，计算节点服务器的功率。
根据本发明的实施例，在作业队列中选取大作业包括：利用作业功率预测模块从作业队列中获取当前可以运行并正在等待的作业信息，其中作业信息包括作业需要的计算资源和运行时间；根据作业信息对作业进行过滤，选取大作业。
根据本发明的实施例，对种群中的个体进行交叉操作包括：根据个体的交叉概率选择需要进行交叉操作的个体；对需要进行交叉操作的个体进行交叉操作；对每个任务中的节点服务器进行能效评价。
根据本发明的实施例，对需要进行交叉操作的个体进行交叉操作包括：交换个体中的基因的作业信息，保留基因中的节点服务器信息。
根据本发明的实施例，交叉概率根据个体的适应度与所有个体的适应度总和的比值而确定。
根据本发明的实施例，根据节点服务器的能效评价为基因选择节点服务器包括：获取节点服务器被所述基因保留的概率；对于其他的节点服务器按照能效进行排序；根据选择概率为未满足资源需求最多的基因选择节点服务器。
根据本发明的实施例，每个节点被该基因保留的概率是该节点的能效与基因所有节点服务器的能效总和的比值。
根据本发明的实施例，根据选择概率为未满足资源需求的基因选择节点服务器包括：计算未满足资源需求的基因与所有基因总的为满足需求作为所述节点服务器的选择概率；根据选择概率选择节点服务器的基因；从剩余节点服务器队列中选择能效最大的节点；重复进行上述步骤直到所有基因的资源需求被满足。
根据本发明的实施例，为未满足资源需求的基因选择节点服务器还包括：如果节点服务器被重复选择，则推迟基因在节点服务器的运行时间。
根据本发明的实施例，对经过交叉操作的个体进行变异操作的步骤之后还包括：返回为种群中的基因选择节点服务器的步骤。
本发明还提出了一种作业调度系统，包括作业调度设备和至少一个节点服务器。其中，所述作业调度设备用于获取所述节点服务器的状态和所述节点服务器中作业的运行状态，在作业队列中选取大作业，根据所述大作业构建种群，所述种群中的基因包括作业信息和所述作业运行的节点服务器信息，对所述种群中的个体进行交叉操作，根据所述节点服务器的能效评价为所述种群中的基因选择节点服务器，并对所述经过交叉操作的个体进行变异操作。节点服务器用于根据作业调度设备的调度运行作业。
本发明还提出了一种作业调度设备，包括：状态获取模块，其用于获取节点服务器的状态和节点服务器中作业的运行状态；大作业选取模块，其用于在作业队列中选取大作业；种群构建模块，其用于根据大作业构建种群，所述种群中的基因包括作业信息和作业运行的节点服务器信息；交叉模块，其用于对种群中的个体进行交叉操作；选择模块，其用于根据节点服务器的能效评价为种群中的基因选择节点服务器；变异模块，其用于对经过交叉操作的个体进行变异操作。
本发明所提出的作业调度方法、系统及设备通过调整作业的运行时间和使用的服务器实现集群每瓦特性能的最大化，可以用最少的能耗完成作业。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明的一个实施例的作业调度方法的流程图；
图2为根据本发明的一个实施例的作业调度系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
如图1所示为本发明的作业调度方法的一个实施例100的流程图。该方法包括以下步骤：
S101：获取节点服务器的状态和节点服务器中作业的运行状态。作为本发明的一个实施例，该步骤可以包括：
测出服务器的功率与其CPU频率之间的对应关系；
利用监控软件通过监控模块获取当前服务器集群中所有节点服务器的状态，通过作业调度系统获取运行作业在节点服务器的分布和运行情况，根据上述步骤得出的CPU频率与服务器功率的对应关系，计算出节点服务器功率。
S102：在作业队列中选取大作业。作为本发明的一个实施例，该步骤可以包括：利用作业功率预测模块从作业队列中获取所有当前已经可以运行并正在等待的作业信息，对获取的作业进行过滤，找出其中的大作业。作为本发明的一个实施例，收集的信息包括作业需要的计算资源和运行时间。
作为本发明的一个实施例，可以根据具体需要选择大作业，例如选取需要的计算资源较多或运行时间较长的作业作为大作业。
S103：根据大作业构建种群，种群中的基因包括作业信息和作业运行的节点服务器信息。
作为本发明的一个实施例，该步骤可以包括：基于过滤后的大作业构建初始种群。
S104：对种群中的个体进行交叉操作，其中，个体或称染色体。作为本发明的一个实施例，该步骤可以包括：根据个体的交叉概率F，选择需要进行交叉操作的个体然后对其进行交叉操作，交换任务的作业信息，对每个任务中的节点进行能效评价。
作为本发明的一个实施例，交叉概率F由个体的适应度除以所有个体的适应度总和计算得到。
作为本发明的一个实施例，对个体进行交叉操作，只交换基因的作业信息，保留基因中的节点服务器信息。
S105：根据节点服务器的能效评价为种群中的基因选择节点服务器。
作为本发明的一个实施例，该步骤可以包括：
对每个基因(任务)中的节点进行能效评价，每个节点被该基因保留的概率是该节点的能效除以该基因所有节点的能效总和；
对于剩余的节点按照其能效有大到小进行排序；
计算基因未被满足的资源需求，除以所有基因总的未满足需求作为该节点的选择概率，并依据此节点选择基因；
经以上步骤被选中的基因从上述剩余节点队列中按顺序选择1个节点，然后跳转至对节点进行能效评价的步骤，直到所有基因的资源需求均被满足。
作为本发明的一个实施例，如果节点被重复选择，应推迟基因在该节点的运行时间，例如，晚于该节点运行的上一个基因的结束时间。
S106：对经过交叉操作的个体进行变异操作。作为本发明的一个实施例，对交叉后的个体按照设定的变异概率进行变异操作可以包括：选择两个基因，交换其作业信息。
作为本发明的一个实施例，进行变异操作之后跳转至S105。
作为本发明的一个实施例，对交叉操作后形成的新个体进行适应度评价，指标是最小化所有作业的运行总能耗。
通过构建32个节点服务器的集群，定义了15种类型的作业，随机产生了多组500个作业的序列，进行了理论分析和实际测试，发现作业的运行能耗降低15.3％。
如图2所示为本发明的作业调度系统的一个实施例的结构示意图。其中，该系统包括作业调度设备21和至少一个节点服务器22。其中，节点服务器22用于根据作业调度设备21的调度运行作业。
如图2所示，作业调度设备21包括：状态获取模块211，其用于获取节点服务器的状态和节点服务器中作业的运行状态；大作业选取模块212，其用于在作业队列中选取大作业；种群构建模块213，其用于根据大作业构建种群，种群中的基因包括作业信息和作业运行的节点服务器信息；交叉模块214，其用于对种群中的个体进行交叉操作；选择模块215，其用于根据节点服务器的能效评价为种群中的基因选择节点服务器；变异模块216，其用于对经过交叉操作的个体进行变异操作。
本发明提出的作业调度方法、系统及设备解决了集群服务器使用中的高功耗问题，在作业调度方法上进行了改进，通过调整作业的运行时间和使用的服务器实现集群每瓦特性能的最大化，可以用最少的能耗完成作业。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (13)

1.一种作业调度方法，其特征在于，包括以下步骤：
获取节点服务器的状态和所述节点服务器中作业的运行状态；
在作业队列中选取大作业；
根据所述大作业构建种群，所述种群中的基因包括作业信息和所述作业运行的节点服务器信息；
对所述种群中的个体进行交叉操作；
根据所述节点服务器的能效评价为所述种群中的基因选择节点服务器；
对所述经过交叉操作的个体进行变异操作。
2.根据权利要求1所述的作业调度方法，其特征在于，获取节点服务器的状态包括：
测出所述节点服务器的功率与所述节点服务器的中央处理器频率之间的关系；
通过监控模块获取所述节点服务器的状态，所述节点服务器的状态包括所述节点服务器的中央处理器的频率和利用率；
根据所述节点服务器的功率与所述节点服务器的中央处理器频率之间的关系，计算所述节点服务器的功率。
3.根据权利要求1所述的作业调度方法，其特征在于，在作业队列中选取大作业包括：
利用作业功率预测模块从作业队列中获取当前可以运行并正在等待的作业信息，其中所述作业信息包括作业需要的计算资源和运行时间；
根据所述作业信息对所述作业进行过滤，选取大作业。
4.根据权利要求1所述的作业调度方法，其特征在于，对所述种群中的个体进行交叉操作包括：
根据个体的交叉概率选择需要进行交叉操作的个体；
对所述需要进行交叉操作的个体进行交叉操作；
对每个任务中的节点服务器进行能效评价。
5.根据权利要求4所述的作业调度方法，其特征在于，对所述需要进行交叉操作的个体进行交叉操作包括：
交换所述个体中的基因的作业信息，保留所述基因中的节点服务器信息。
6.根据权利要求4所述的作业调度方法，其特征在于，所述交叉概率根据个体的适应度与所有个体的适应度总和的比值而确定。
7.根据权利要求1所述的作业调度方法，其特征在于，根据所述节点服务器的能效评价为所述基因选择节点服务器包括：
获取节点服务器被所述基因保留的概率；
对于其他的节点服务器按照能效进行排序；
根据选择概率为未满足资源需求最多的基因选择节点服务器。
8.根据权利要求7所述的作业调度方法，其特征在于，每个节点被该基因保留的概率是该节点的能效与所述基因所有节点服务器的能效总和的比值。
9.根据权利要求7所述的作业调度方法，其特征在于，根据选择概率为未满足资源需求的基因选择节点服务器包括：
计算未满足资源需求的基因与所有基因总的为满足需求作为所述节点服务器的选择概率；
根据所述选择概率选择所述节点服务器的基因；
从所述剩余节点服务器队列中选择能效最大的节点；
重复进行上述步骤直到所有基因的资源需求被满足。
10.根据权利要求7所述的作业调度方法，其特征在于，为未满足资源需求的基因选择节点服务器还包括：
如果节点服务器被重复选择，则推迟所述基因在所述节点服务器的运行时间。
11.根据权利要求1所述的作业调度方法，其特征在于，对所述经过交叉操作的个体进行变异操作的步骤之后还包括：
返回为所述种群中的基因选择节点服务器的步骤。
12.一种作业调度系统，包括作业调度设备和至少一个节点服务器，其中，
所述作业调度设备用于获取所述节点服务器的状态和所述节点服务器中作业的运行状态，在作业队列中选取大作业，根据所述大作业构建种群，所述种群中的基因包括作业信息和所述作业运行的节点服务器信息，对所述种群中的个体进行交叉操作，根据所述节点服务器的能效评价为所述种群中的基因选择节点服务器，并对所述经过交叉操作的个体进行变异操作；
所述节点服务器用于根据所述作业调度设备的调度运行作业。
13.一种作业调度设备，其特征在于，包括：
状态获取模块，其用于获取节点服务器的状态和所述节点服务器中作业的运行状态；
大作业选取模块，其用于在作业队列中选取大作业；
种群构建模块，其用于根据所述大作业构建种群，所述种群中的基因包括作业信息和所述作业运行的节点服务器信息；
交叉模块，其用于对所述种群中的个体进行交叉操作；
选择模块，其用于根据所述节点服务器的能效评价为所述种群中的基因选择节点服务器；
变异模块，其用于对所述经过交叉操作的个体进行变异操作。
CN200910235302A 2009-09-30 2009-09-30 一种作业调度方法、系统及设备 Pending CN101694630A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN200910235302A CN101694630A (zh) 2009-09-30 2009-09-30 一种作业调度方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200910235302A CN101694630A (zh) 2009-09-30 2009-09-30 一种作业调度方法、系统及设备

Publications (1)

Publication Number Publication Date
CN101694630A true CN101694630A (zh) 2010-04-14

Family

ID=42093603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910235302A Pending CN101694630A (zh) 2009-09-30 2009-09-30 一种作业调度方法、系统及设备

Country Status (1)

Country Link
CN (1) CN101694630A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102904750A (zh) * 2012-09-24 2013-01-30 曙光信息产业(北京)有限公司 一种基于网络拓扑结构的作业分配方法
CN102902598A (zh) * 2012-09-10 2013-01-30 曙光信息产业(北京)有限公司 一种与作业调度系统相结合的资源检测预处理方法
CN102902878A (zh) * 2012-08-17 2013-01-30 曙光信息产业(北京)有限公司 一种能源成本感知调度方法
CN103380608A (zh) * 2011-03-09 2013-10-30 中国科学院计算机网络信息中心 在计算环境中汇聚队列信息及作业信息的方法
CN104102646A (zh) * 2013-04-07 2014-10-15 腾讯科技（深圳）有限公司 数据处理的方法、装置及系统
CN107451039A (zh) * 2016-03-31 2017-12-08 阿里巴巴集团控股有限公司 一种对集群中执行设备评价的方法和设备
CN108733195A (zh) * 2018-05-29 2018-11-02 郑州易通众联电子科技有限公司 基于设备运行能效的计算机运行方法及装置
CN109144746A (zh) * 2018-07-19 2019-01-04 中国航空工业集团公司沈阳飞机设计研究所 一种gft训练系统的消息异步分发系统及方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103380608B (zh) * 2011-03-09 2015-12-02 中国科学院计算机网络信息中心 在计算环境中汇聚队列信息及作业信息的方法
CN103380608A (zh) * 2011-03-09 2013-10-30 中国科学院计算机网络信息中心 在计算环境中汇聚队列信息及作业信息的方法
CN102902878A (zh) * 2012-08-17 2013-01-30 曙光信息产业(北京)有限公司 一种能源成本感知调度方法
CN102902878B (zh) * 2012-08-17 2016-12-21 曙光信息产业(北京)有限公司 一种能源成本感知调度方法
CN102902598A (zh) * 2012-09-10 2013-01-30 曙光信息产业(北京)有限公司 一种与作业调度系统相结合的资源检测预处理方法
CN102902598B (zh) * 2012-09-10 2015-08-19 曙光信息产业(北京)有限公司 一种与作业调度系统相结合的资源检测预处理方法
CN102904750A (zh) * 2012-09-24 2013-01-30 曙光信息产业(北京)有限公司 一种基于网络拓扑结构的作业分配方法
CN102904750B (zh) * 2012-09-24 2017-06-23 曙光信息产业(北京)有限公司 一种基于网络拓扑结构的作业分配方法
CN104102646A (zh) * 2013-04-07 2014-10-15 腾讯科技（深圳）有限公司 数据处理的方法、装置及系统
CN107451039A (zh) * 2016-03-31 2017-12-08 阿里巴巴集团控股有限公司 一种对集群中执行设备评价的方法和设备
CN108733195A (zh) * 2018-05-29 2018-11-02 郑州易通众联电子科技有限公司 基于设备运行能效的计算机运行方法及装置
CN109144746A (zh) * 2018-07-19 2019-01-04 中国航空工业集团公司沈阳飞机设计研究所 一种gft训练系统的消息异步分发系统及方法
CN109144746B (zh) * 2018-07-19 2022-04-01 中国航空工业集团公司沈阳飞机设计研究所 一种gft训练系统的消息异步分发系统及方法

Similar Documents

Publication Publication Date Title
CN101539800A (zh) 一种低功耗作业调度计算方法
CN101694630A (zh) 一种作业调度方法、系统及设备
CN102780759B (zh) 基于调度目标空间的云计算资源调度方法
CN109190857A (zh) 一种基于多目标资源受限项目调度模型的优化算法
CN101836190B (zh) 用于将多个作业分配给多个计算机的方法和系统
CN104052820A (zh) 一种分布式云计算平台的动态节能资源调度系统及方法
WO2010024027A1 (ja) 仮想サーバシステム及び物理サーバ選択方法
CN102984137A (zh) 一种基于多目标遗传算法下的多目标服务器调度方法
CN104243405A (zh) 一种请求处理方法、装置及系统
CN110414863A (zh) 一种智能制造车间资源调度方法
CN102521706A (zh) Kpi 数据的分析方法及装置
CN107506145A (zh) 一种物理存储调度方法及云主机创建方法
CN109451056A (zh) 多集群间服务器动态分配方法及系统
CN116031983B (zh) 无线可充电传感网中基于动态功率分配的充电调度方法
CN115766473B (zh) 一种适用于云平台运营的资源容量规划的方法
CN107155215B (zh) 一种应用归属服务集群的分配方法和装置
CN1315046C (zh) 一种机群作业管理系统中分配计算结点的方法
JP5577745B2 (ja) クラスタシステム、プロセス配置方法、及びプログラム
CN114860449B (zh) 数据处理方法、装置、设备和存储介质
JP2013196695A (ja) 仮想マシン割り当てシステム及びその方法
CN115061978A (zh) 一种hadoop参数优化模型的构建方法
CN114417577A (zh) 跨平台资源调度与优化控制方法
CN101014176A (zh) 通信网管系统中一种基于优先级时间链表的采集调度方法
CN112954022A (zh) 一种基于智能变电站的多并发实时通信方法及装置
CN102571453B (zh) 设备资源池的管理方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: STATE COMPUTER NETWORK AND INFORMATION SAFETY MANA

C41 Transfer of patent application or patent right or utility model
C53 Correction of patent for invention or patent application
CB03 Change of inventor or designer information

Inventor after: Nie Hua

Inventor after: Shao Zongyou

Inventor after: Li Jun

Inventor after: Li Lin

Inventor after: Bai Kun

Inventor before: Nie Hua

Inventor before: Shao Zongyou

Inventor before: Li Jun

Inventor before: Li Lin

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: NIE HUA SHAO ZONGYOU LI JUN LI LIN TO: NIE HUA SHAO ZONGYOU LI JUN LI LIN BAI KUN

TA01 Transfer of patent application right

Effective date of registration: 20111013

Address after: 100084 No. 6 South Road, Zhongguancun Academy of Sciences, Beijing, Haidian District

Applicant after: Dawning Information Industry (Beijing) Co., Ltd.

Co-applicant after: State Computer Network and Information Safety Management Center

Address before: 100084 No. 6 South Road, Zhongguancun Academy of Sciences, Beijing, Haidian District

Applicant before: Dawning Information Industry (Beijing) Co., Ltd.

C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20100414