CN111431961B - 一种云数据中心的节能任务分配方法 - Google Patents

一种云数据中心的节能任务分配方法 Download PDF

Info

Publication number
CN111431961B
CN111431961B CN202010104239.9A CN202010104239A CN111431961B CN 111431961 B CN111431961 B CN 111431961B CN 202010104239 A CN202010104239 A CN 202010104239A CN 111431961 B CN111431961 B CN 111431961B
Authority
CN
China
Prior art keywords
task
server
clustering
node
particle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010104239.9A
Other languages
English (en)
Other versions
CN111431961A (zh
Inventor
何利
陈东虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Micro-Network Juli Network Technology Co.,Ltd.
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010104239.9A priority Critical patent/CN111431961B/zh
Publication of CN111431961A publication Critical patent/CN111431961A/zh
Application granted granted Critical
Publication of CN111431961B publication Critical patent/CN111431961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明请求保护一种云数据中心的节能任务分配方法，包括下列主要步骤：S1：根据任务需求情况获取任务数据集,对任务数据集进行数据标准化处理,获取指定数量的服务器数据集。S3：根据任务间信息将任务数据集进行联合聚类，将相关的任务聚合在一个任务集中。S4：基于改进粒子群优化算法任务分配策略，将任务分配到服务器，使得其时间最少，最终达到能耗最低的效果。S5：根据任务到达情况，在延迟时间内对服务器进行电源管理操作。本发明，减少了任务分配的时间开销；提高了任务分配的效率，达到降低服务器的能耗的目的，综合提高云环境下服务器的总能耗。

Description

一种云数据中心的节能任务分配方法
技术领域
本发明属于云数据中心节能领域，特别是涉及一种云数据中心的节能任务分配方法。
背景技术
云计算已成为当前信息技术业务的主要范例，它提供一个通过互联网管理的全球计算服务平台，帮助企业在没有前期计算设备投资的情况下按需使用计算服务。云计算的应用为用户提供可靠的各种资源服务，它是一种一切皆为服务的模式，为用户提高质量的服务。另外，云计算与互联网+的结合和云计算与大数据之间的应用，使云计算得到新的发展和应用。现阶段，由于得到相关技术标准和各个服务层协议的支撑，一些云计算产品的推出和应用，为客户提供高品质的服务体验，因此云计算具有广阔的发展前景。
任务分配问题是完成特定状态下任务队列和服务器队列的最佳匹配映射。任务调度算法研究的是如何将任务集合分配到合适的服务器资源上，并决定在各服务器资源上每个任务的执行顺序。其中，既需要考虑任务之间的依赖关系，因为这涉及了任务间的信息传递约束关系，又需要考虑整个任务调度后所产生的延时、能耗等性能指标。对于一般的任务图，它的最优任务调度问题是一个NP-完全问题。
大型虚拟化数据中心需要满足日益增长的计算、存储和网络需求，国内外的很多云计算服务提供商已经开始建立越来越多且需要大量能耗的数据中心，以满足不断增长的用户资源需求。无论是服务器、网络设备，还是制冷、用电设备，其用电量都会对各个数据中心的电能消耗带来影响。降低服务器能耗，提高能源利用率是改善数据中心能耗的主要方式。数据中心节能问题已经刻不容缓，即使在百分比上稍有改善，也将产生巨大的经济和环境效益。
针对以上情况，本文将在任务分配和服务器节点管理两个方面来联合对数据中心能耗优化，最大限度地降低数据中心能耗。
发明内容
本发明旨在解决现有技术中的问题。提出了一种云数据中心的节能任务分配方法。本发明的技术方案如下：
一种云数据中心的节能任务分配方法，其包括以下步骤：
S1，在云计算中，用户提出任务请求，获取任务数据集，把n个任务分配到m个服务器节点上运行，其中m＜n，任务数据集用T＝{t1,t2,...,tn}表示，根据任务数据集的数据量获取指定数量的服务器资源数据集，S＝(S1,S2,...Sm)代表多个不同的服务器，对任务数据集和服务器资源数据集分别进行数据标准化处理，得到待划分的任务数据集和服务器资源数据集。
S2，根据任务间信息将任务聚类，根据任务间信息利用K-DBSCAN(K均值聚类和具有噪声的基于密度的聚类)算法对任务聚类，将相关的任务聚合在一个任务集中；
S3，基于改进粒子群优化算法的任务分配策略，引入了惯性权重，依据迭代过程及粒子飞行情况对惯性权重进行动态调整，搜索子任务集和服务器节点的组合，将子任务集分配到服务器，使得其能耗最低，资源利用率最大化；
S4，根据任务到达情况，在延迟时间内对服务器进行电源管理操作，当一段任务运行结束时，采用在持续时间内延迟关闭节点来避免在新作业进入时节点被关闭；当服务器处于空闲状态而不是立即关闭时，添加一个计时器，用于在定义的持续时间内对等待状态进行计数，如果任务在此期间到达节点，则服务器将返回繁忙状态即设置成本为零，如果在持续时间内没有任务，该节点将关闭。
进一步的，所述步骤S1中提取任务数据集和服务器资源节点数据集包括：
(1)初始化任务参数；
(2)提取任务数据集，任务集用T＝{t1,t2,...,tn}表示,得到任务数据集矩阵，作为后续处理的原始数据；
(3)通过任务量需求获取所需服务器数量m；
(4)服务器数量集合用S＝(S1,S2,...Sm)表示，得到一个服务器节点集矩阵Cr，作为后续处理的原始数据。
进一步的，步骤S2中根据任务间信息利用K-DBSCAN(K均值聚类和具有噪声的基于密度的聚类)算法对任务聚类包括：
(1)确定所要聚类的数目K,并随机选择K个任务对象作为初始聚类中心；
(2)计算各个样本到聚类中心的距离，再根据距离将任务样本归到距离最近的聚类；
样本到聚类中心的距离采用欧几里德距离公式计算：
Figure BDA0002387951070000031
Xi是数据集中的每个数据对象，Cj表示是个初始聚类中心。
(3)重新计算每个聚类的平均值，产生新的聚类中心；
(4)反复迭代，直到目标函数开始收敛，输出新的聚类中心；
(5)求每个初始聚类中心的划分距离Pd；
(6)根据K个初始聚类中心的Pd对任务集进行划分；
(7)根据集合中的k-距离变化曲线，确定每个任务子集的扫描半径参数Epsi，对其进行升序排序；
(8)依次调用Epsi作为参数对任务集进行聚类，每次调用对已经聚类的任务标记，直到所有的Epsi使用完毕，输出K个任务集。
进一步的，所述K-DBSCAN聚类算法使用聚类准则函数来评价聚类性能的好坏，聚类准则函数表示为：
Figure BDA0002387951070000032
Xi是数据集D中的每个数据对象，Cj是k个初始聚类中心。
聚类准则函数收敛，则聚类结束。当给定阈值ε足够小，
Figure BDA0002387951070000041
成立时，则聚类函数收敛；
聚类准确性r:
Figure BDA0002387951070000042
m为能被正确分配的任务对象，n为任务对象的总个数。
进一步的，所述步骤S4中利用改进粒子群搜索任务和节点最优分配的方法包括：
(1)根据S2结果初始化参数，设置最大最小的惯性权重值等参数，设置迭代次数为最大迭代次数；
(2)根据粒子信息设置粒子编码方式，随机初始化粒子的位置与速度；对粒子的速度初始化公式为vi＝xi；
粒子群算法中每一个粒子都代表一个任务调度问题的潜在解。粒子位置矢量定义为一个n×m矩阵X，每一列代表一个任务分配情况，每一行代表一个服务器器执行情况；
粒子位置编码：
Figure BDA0002387951070000043
约束条件为：
Figure BDA0002387951070000044
xij表示任务子集ti与节点nj的分配关系，一个任务子集只能在一个服务器节点运行，则当xij＝1表示任务子集ti在节点nj上运行，否则xij＝0，每行每列均只能有一个xij＝1，即表示一个任务子集只能对应一个节点，同时一个节点也只能对应一个任务集；
(3)计算每个粒子的适应度；适应度函数是评价粒子好坏的标准，粒子以适应度函数值大小不断迭代更新，直到满足停止条件，使用m×n阶矩阵ETC来表示子任务在云资源上的运行时间，其中ETC(i,j)表示子任务集i在服务器节点j上运行的时间，子任务i不在节点j上运行时，ETC(i,j)＝0。根据解码结果，可以得出服务器节点j完成所有子任务的时间T(j)：
Figure BDA0002387951070000051
服务器节点完成时间为FT：
FT＝max(T(j)),j＝1,2,3…m
适应度函数为：
Fitness＝FT
(4)迭代次数t＝1,执行调度；
(5)将粒子xi将其适应度值与按照经验，与其经历过的最好位置Pbest的适应度值进行比较，若最优，则将xi记录为该粒子经历过的最好位置Pbest；
(6)将粒子xi将其适应度值与按照经验，与其经历过的最好位置Gbest的适应度值进行比较，若最优，则将xi记录为该粒子经历过的最好位置Gbest；
(7)按照下述公式更新粒子的速度和位置，进行迭代更新；
Vi(t+1)＝ω×Vi(t)+c1×rand()×[Pi-Xi(t)]+c2×rand()×[Pj-Xi(t)]
Xi(t+1)＝Xi(t)+Vi(t+1)
(8)更新粒子的惯性权重；
(9)若当前迭代次数小于最大迭代次数，跳转回(3)继续执行；未达到则输出Gbest，算法运行结束。
进一步的，所述步骤S4中服务器电源管理中能耗包括：
(1)为了能满足SLA请求，需要打开适当的节能节点以连续运行新的任务。确定系统中所需节点主要取决于工作负载和用户SLA请求，监控器负责使用在线测量随着时间的变化来测量各种系统和应用和应用程序指标。一旦监视了即将到来的工作的工作量，通过用户请求的截止时间，计算出需要满足SLA所需的服务器节点数量，一旦找到所需服务器节点数量大于当前可用的节点数量，则添加节点以打开按能量效率降序排列的节点；
(2)当一段任务运行结束时，采用在持续时间内延迟关闭节点来避免在新作业进入时节点被关闭。当服务器处于空闲状态而不是立即关闭时，它会添加一个计时器，用于在定义的持续时间内对等待状态进行计数。如果任务在此期间到达节点，则服务器将返回繁忙状态，如果在持续时间内没有任务，该节点将关闭。
本发明的优点及有益效果如下：
(1)在任务聚类阶段，本发明引入K-DBSCAN算法对任务聚类，考虑到K-means聚合时聚类中心受噪音点的影响较大和DBSCAN可以识别空间数据的离散点，将两种算法进行结合可以达到在某些方面优劣互补的效果，使得到的聚类结果更为准确，将此聚类方法应用到任务分配中，改善调度时间与终端任务的执行时间。
(2)在任务分配和服务器电源管理阶段，利用改进的粒子群搜索任务集和服务器节点集的组合，避免了种群过早的收敛，取得了更优的分配结果，使任务的总完成时间最短；在任务分配的同时，根据任务到达的信息，提出服务器的动态电源管理方法，综合提高云环境下服务器的总能耗。
附图说明
图1是为本发明的模型建立原理图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
本发明公开了一种云数据中心的节能任务分配方法，如图1所示，包括以下步骤：
S1，在云计算中，用户提出任务请求，获取任务数据集，把n个任务分配到m个服务器节点上运行(m＜n)，任务集用T＝{t1,t2,...,tn}表示，根据任务数据集的数据量获取指定数量的服务器数据集，S＝(S1,S2,...Sm)代表多个不同的服务器。任务数据以四元组(tcpu,tm,ttime,tl)表示，其中，tcpu,tm,ttime,tl依次代表任务所需的CPU资源、存储资源(内存资源)、任务期望完成时间、任务量长度。
这里实例采用10个任务，其数据分别为：
Task CPU 存储 时间 任务长度
Task1 7.00 2.30 3 6856
Task2 20.20 1.80 5 2499
Task3 21.30 10.10 9 624
Task4 8.09 8.10 2 8939
Task5 9.23 1.60 6 10145
Task6 11.25 1.70 4 6953
Task7 20.15 15.90 2 9528
Task8 19.23 1.70 9 1671
Task9 5.20 2.30 1 1417
Task10 3.01 4.50 4 8497
S2，根据任务信息利用K-DBSCAN算法对任务聚类。
在本实例中，所述步骤S2中K-DBSCAN算法及其应用包括：
(1)确定所要聚类的数目K,并随机选择K个任务对象作为初始聚类中心Cj，j＝1,2,3,…k；
(2)计算各个样本到聚类中心得的距离D(Xi,Cj)，i＝1,2,3,…,n，j＝1,2,3…,k，再根据距离将任务归到最相似的中心，若满足D(Xi,Cj)＝min{D(Xi,Cj),j＝1,2,3,…n}，则Xi∈Yj。
(3)重新计算每个聚类的平均值，产生新的聚类中心
Figure BDA0002387951070000081
(4)反复迭代，直到目标函数开始收敛，输出最优的聚类中心。
(5)引入两个参数扫描半径参数Epsi和最少数目MinPts，求每个初始聚类中心的划分距离Pd。
(6)根据K个初始聚类中心的Pd对任务集进行划分；
(7)计算每个任务子集的参数半径参数Epsi，对集其进行升序排序。
(8)依次调用Epsi作为参数对任务集进行聚类，每次调用对已经聚类的任务标记，直到所有的Epsi使用完毕，输出K个任务集。
任务xi和xj之间的相异度通过距离d(xi,xj)来表示，距离越小，任务xi和xj越相似；距离越大，任务xi和xj越不相似。使用欧式距离表示如下：
Figure BDA0002387951070000082
簇中心指一个簇中所有对象组成的几何中心点，簇的平均值在该算法中也称为簇中心，簇中心的公式如下：
Figure BDA0002387951070000083
n是簇j的样本数目，Cj是簇j的中心。
K-DBSCAN聚类算法使用聚类准则函数来评价聚类性能的好坏。聚类准则函数表示为：
Figure BDA0002387951070000084
Xi是数据集D中的每个数据对象，Cj是k个初始聚类中心。
聚类准则函数收敛，则聚类结束。当给定阈值ε足够小，
Figure BDA0002387951070000085
成立时，则聚类函数收敛。
聚类准确性r:
Figure BDA0002387951070000091
m为能被正确分配的任务对象，n为任务对象的总个数。
这里聚类K值选作3，聚类结果为：
任务
任务集1 Task1、Task4、Task5
任务集2 Task2、Task7、Task8、Task10
任务集3 Task3、Task6、Task9
S3，基于改进粒子群优化算法的任务分配策略，将任务分配到服务器，降低其分配时间最少，最终降低能耗。
在本实例中，所述步骤S3中粒子群算法及其任务分配策略包括：
(1)根据S2结果初始化参数，设置最大最小的惯性权重值等参数，设置迭代次数为最大迭代次数；
(2)根据粒子信息设置粒子编码方式，随机初始化粒子的位置与速度；对粒子的速度初始化公式为vi＝xi。
粒子群算法中每一个粒子都代表一个任务调度问题的潜在解。粒子位置矢量定义为一个n×m矩阵X，每一列代表一个任务分配情况，每一行代表一个服务器器执行情况。
粒子位置编码：
Figure BDA0002387951070000092
约束条件为：
Figure BDA0002387951070000101
xij表示任务子集ti与节点nj的分配关系，一个任务子集只能在一个服务器节点运行，则当xij＝1表示任务子集ti在节点nj上运行，否则xij＝0，每行每列均只能有一个xij＝1，即表示一个任务子集只能对应一个节点，同时一个节点也只能对应一个任务集。
(3)计算每个粒子的适应度。
适应度函数是评价粒子好坏的标准，粒子以适应度函数值大小不断迭代更新，直到满足停止条件。使用m×n阶矩阵ETC来表示子任务在云资源上的运行时间，其中ETC(i,j)表示子任务集i在服务器节点j上运行的时间，子任务i不在节点j上运行时，ETC(i,j)＝0。根据解码结果，可以得出服务器节点j完成所有子任务的时间T(j)：
Figure BDA0002387951070000102
服务器节点完成时间为FT：
FT＝max(T(j)),j＝1,2,3…m
适应度函数为：
Fitness＝FT
(4)迭代次数t＝1,执行调度。
(5)将粒子xi将其适应度值与按照经验，与其经历过的最好位置Pbest的适应度值进行比较，若最优，则将xi记录为该粒子经历过的最好位置Pbest。
(6)将粒子xi将其适应度值与按照经验，与其经历过的最好位置Gbest的适应度值进行比较，若最优，则将xi记录为该粒子经历过的最好位置Gbest。
(7)按照下述公式更新粒子的速度和位置，进行迭代更新。
Vi(t+1)＝ω×Vi(t)+c1×rand()×[Pi-Xi(t)]+c2×rand()×[Pj-Xi(t)]
Xi(t+1)＝Xi(t)+Vi(t+1)
(8)按照下述公式更新粒子的惯性权重。
Figure BDA0002387951070000111
(9)若当前迭代次数小于最大迭代次数，跳转回(3)继续执行；未达到则输出Gbest，算法运行结束。
任务集与处理器之间的匹配关系可以用分配矩阵U表示，U是n×m的二值矩阵。如果任务组vi分配到服务器pj上，那么矩阵的中的元素uij为1，否则为0。
执行粒子群算法，初始化粒子群种群各参数种群规模30，控制参数S1＝0.2，S2＝0.6，惯性因子Ws、We分别为0.95和0.4，学习因子C1＝2，C2＝2，最大迭代次数为100次。
本实例中服务器数量设置为3，平均执行能力分别为254、365、512，任务组分配结果为：
服务器 任务集 任务
Server1 任务集3 Task3、Task6、Task9
Server2 任务集1 Task1、Task4、Task5
Server3 任务集2 Task2、Task7、Task8、Task10
S4，根据任务到达情况，在延迟时间内对服务器进行电源管理操作，降低数据中心服务器能耗。并根据使用情况提出能耗计算模型。
在本实施例中，所述步骤S4中服务器电源管理中能耗包括：
(1)为了能满足SLA请求，需要打开适当的节能节点以连续运行新的任务。确定系统中所需节点主要取决于工作负载和用户SLA请求。监控器负责使用在线测量随着时间的变化来测量各种系统和应用和应用程序指标。一旦监视了即将到来的工作的工作量，通过用户请求的截止时间，计算出需要满足SLA所需的服务器节点数量。一旦找到所需服务器节点数量大于当前可用的节点数量，则添加节点以打开按能量效率降序排列的节点。
(2)当一段任务运行结束时，采用在持续时间内延迟关闭节点来避免在新作业进入时节点被关闭。当服务器处于空闲状态而不是立即关闭时，它会添加一个计时器，用于在定义的持续时间内对等待状态进行计数。如果任务在此期间到达节点，则服务器将返回繁忙状态(设置成本为零)。如果在持续时间内没有任务，该节点将关闭。
针对任务的能耗可以表示服务器能耗和任务分配能耗之和。EP表示服务器能耗，EC表示任务的分配能耗，因此总能耗可以用E表示如下：
E＝EP+EC
Rp表示服务器能耗的速率，服务器能耗EP可表示速率与时间的乘积，即：
Figure BDA0002387951070000121
为计算分配能耗EC，任务集Vi和任务集Vj上通信边Eij所带来的分配能耗Elij表示：
Elij＝k·Rc·C(Eij)
其中，k是常量参数。上述式子则可以表示为任务执行时的通信能耗是任务执行中所有服务器节点能耗的累加和。Lab表示服务器a和服务器b之间的关系，可以表示为：
Figure BDA0002387951070000124
根据任务与处理器之间的分配关系，因此，服务器总能耗EC可以表示为：
Figure BDA0002387951070000122
服务器运行总能耗：
Figure BDA0002387951070000123
和传统的分配方法，本发明有效较低了数据中心服务器的能耗。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (4)

1.一种云数据中心的节能任务分配方法，其特征在于，包括以下步骤：
S1，在云计算中，用户提出任务请求，获取任务数据集，把n个任务分配到m个服务器节点上运行，其中m＜n，任务数据集用T＝{t1,t2,...,tn}表示，根据任务数据集的数据量获取指定数量的服务器资源数据集，S＝(S1,S2,...Sm)代表多个不同的服务器，对任务数据集和服务器资源数据集分别进行数据标准化处理，得到待划分的任务数据集和服务器资源数据集；
S2，根据任务间信息将任务聚类，根据任务间信息利用K-DBSCAN k均值聚类和具有噪声的基于密度的聚类算法对任务聚类，将相关的任务聚合在一个任务集中；
S3，基于改进粒子群优化算法的任务分配策略，引入了惯性权重，依据迭代过程及粒子飞行情况对惯性权重进行动态调整，搜索子任务集和服务器节点的组合，将子任务集分配到服务器，使得其能耗最低，资源利用率最大化；
S4，根据任务到达情况，在延迟时间内对服务器进行电源管理操作，当一段任务运行结束时，采用在持续时间内延迟关闭节点来避免在新作业进入时节点被关闭；当服务器处于空闲状态而不是立即关闭时，添加一个计时器，用于在定义的持续时间内对等待状态进行计数，如果任务在此期间到达节点，则服务器将返回繁忙状态即设置成本为零，如果在持续时间内没有任务，该节点将关闭；
步骤S2中根据任务间信息利用K-DBSCAN k均值聚类和具有噪声的基于密度的聚类算法对任务聚类包括：
(1)确定所要聚类的数目K,并随机选择K个任务对象作为初始聚类中心；
(2)计算各个样本到聚类中心的距离，再根据距离将任务样本归到距离最近的聚类；
样本到聚类中心的距离采用欧几里德距离公式计算：
Figure FDA0003514676500000011
Xi是数据集中的每个数据对象，Cj表示是个初始聚类中心；
(3)重新计算每个聚类的平均值，产生新的聚类中心；
(4)反复迭代，直到目标函数开始收敛，输出新的聚类中心；
(5)求每个初始聚类中心的划分距离Pd；
(6)根据K个初始聚类中心的Pd对任务集进行划分；
(7)根据集合中的k-距离变化曲线，确定每个任务子集的扫描半径参数Epsi，对其进行升序排序；
(8)依次调用Epsi作为参数对任务集进行聚类，每次调用对已经聚类的任务标记，直到所有的Epsi使用完毕，输出K个任务集；
所述步骤S3中利用改进粒子群搜索任务和节点最优分配的方法包括：
(1)根据S2结果初始化参数，设置最大最小的惯性权重值等参数，设置迭代次数为最大迭代次数；
(2)根据粒子信息设置粒子编码方式，随机初始化粒子的位置与速度；对粒子的速度初始化公式为vi＝xi；
粒子群算法中每一个粒子都代表一个任务调度问题的潜在解；粒子位置矢量定义为一个n×m矩阵X，每一列代表一个任务分配情况，每一行代表一个服务器器执行情况；
粒子位置编码：
Figure FDA0003514676500000021
约束条件为：
Figure FDA0003514676500000022
xij表示任务子集ti与节点nj的分配关系，一个任务子集只能在一个服务器节点运行，则当xij＝1表示任务子集ti在节点nj上运行，否则xij＝0，每行每列均只能有一个xij＝1，即表示一个任务子集只能对应一个节点，同时一个节点也只能对应一个任务集；
(3)计算每个粒子的适应度；适应度函数是评价粒子好坏的标准，粒子以适应度函数值大小不断迭代更新，直到满足停止条件，使用m×n阶矩阵ETC来表示子任务在云资源上的运行时间，其中ETC(i,j)表示子任务集i在服务器节点j上运行的时间，子任务i不在节点j上运行时，ETC(i,j)＝0；根据解码结果，可以得出服务器节点j完成所有子任务的时间T(j)：
Figure FDA0003514676500000031
服务器节点完成时间为FT：
FT＝max(T(j)),j＝1,2,3…m
适应度函数为：
Fitness＝FT
(4)迭代次数t＝1,执行调度；
(5)将粒子xi将其适应度值与按照经验，与其经历过的最好位置Pbest的适应度值进行比较，若最优，则将xi记录为该粒子经历过的最好位置Pbest；
(6)将粒子xi将其适应度值与按照经验，与其经历过的最好位置Gbest的适应度值进行比较，若最优，则将xi记录为该粒子经历过的最好位置Gbest；
(7)按照下述公式更新粒子的速度和位置，进行迭代更新；
Vi(t+1)＝ω×Vi(t)+c1×rand()×[Pi-Xi(t)]+c2×rand()×[Pj-Xi(t)]
Xi(t+1)＝Xi(t)+Vi(t+1)
(8)更新粒子的惯性权重；
(9)若当前迭代次数小于最大迭代次数，跳转回(3)继续执行；未达到则输出Gbest，算法运行结束。
2.根据权利要求1所述的一种云数据中心的节能任务分配方法，其特征在于，所述步骤S1中提取任务数据集和服务器资源节点数据集包括：
(1)初始化任务参数；
(2)提取任务数据集，任务集用T＝{t1,t2,...,tn}表示,得到任务数据集矩阵，作为后续处理的原始数据；
(3)通过任务量需求获取所需服务器数量m；
(4)服务器数量集合用S＝(S1,S2,...Sm)表示，得到一个服务器节点集矩阵Cr，作为后续处理的原始数据。
3.根据权利要求1所述的一种云数据中心的节能任务分配方法，其特征在于，所述K-DBSCAN聚类算法使用聚类准则函数来评价聚类性能的好坏，聚类准则函数表示为：
Figure FDA0003514676500000041
Xi是数据集D中的每个数据对象，Cj是k个初始聚类中心；
聚类准则函数收敛，则聚类结束；当给定阈值ε足够小，
Figure FDA0003514676500000042
成立时，则聚类函数收敛；
聚类准确性r:
Figure FDA0003514676500000043
m为能被正确分配的任务对象，n为任务对象的总个数。
4.根据权利要求1所述的一种云数据中心的节能任务分配方法，其特征在于，所述步骤S4中服务器电源管理中能耗包括：
(1)为了能满足SLA请求，需要打开适当的节能节点以连续运行新的任务；确定系统中所需节点主要取决于工作负载和用户SLA请求，监控器负责使用在线测量随着时间的变化来测量各种系统和应用和应用程序指标；一旦监视了即将到来的工作的工作量，通过用户请求的截止时间，计算出需要满足SLA所需的服务器节点数量，一旦找到所需服务器节点数量大于当前可用的节点数量，则添加节点以打开按能量效率降序排列的节点；
(2)当一段任务运行结束时，采用在持续时间内延迟关闭节点来避免在新作业进入时节点被关闭，当服务器处于空闲状态而不是立即关闭时，它会添加一个计时器，用于在定义的持续时间内对等待状态进行计数，如果任务在此期间到达节点，则服务器将返回繁忙状态，如果在持续时间内没有任务，该节点将关闭。
CN202010104239.9A 2020-02-20 2020-02-20 一种云数据中心的节能任务分配方法 Active CN111431961B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010104239.9A CN111431961B (zh) 2020-02-20 2020-02-20 一种云数据中心的节能任务分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010104239.9A CN111431961B (zh) 2020-02-20 2020-02-20 一种云数据中心的节能任务分配方法

Publications (2)

Publication Number Publication Date
CN111431961A CN111431961A (zh) 2020-07-17
CN111431961B true CN111431961B (zh) 2022-05-03

Family

ID=71547220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010104239.9A Active CN111431961B (zh) 2020-02-20 2020-02-20 一种云数据中心的节能任务分配方法

Country Status (1)

Country Link
CN (1) CN111431961B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111966496B (zh) * 2020-08-21 2022-06-10 浪潮(北京)电子信息产业有限公司 数据处理方法、装置、系统及计算机可读存储介质
CN112202847B (zh) * 2020-09-14 2022-03-22 重庆邮电大学 一种基于移动边缘计算的服务器资源配置方法
CN112306674A (zh) * 2020-09-24 2021-02-02 国网天津市电力公司营销服务中心 一种能源设备信息采集任务协同调度方法及系统
CN112307086B (zh) * 2020-10-30 2024-05-24 湖北烽火平安智能消防科技有限公司 一种消防业务中自动化数据校验方法及装置
CN112379985B (zh) * 2020-11-16 2022-10-14 深圳供电局有限公司 一种云边缘计算环境下的计算任务分配方法及装置
CN112731967B (zh) * 2020-12-24 2021-11-19 中科院计算技术研究所大数据研究院 一种基于聚类和遗传算法的多无人机协同任务规划方法
CN115237506B (zh) * 2022-09-21 2022-12-09 暨南大学 Cps系统中可靠性驱动的分层任务卸载方法和装置
CN117193509B (zh) * 2023-07-21 2024-07-05 无锡尚航数据有限公司 一种数据中心的节能控制管理方法及系统
CN116866357B (zh) * 2023-09-05 2023-11-07 广东奥飞数据科技股份有限公司 一种多云容器集群资源优化管理方法及系统
CN117667639B (zh) * 2024-01-30 2024-05-10 华北电力大学 基于任务调度的数据中心用能调节能力评估方法及系统
CN118014168B (zh) * 2024-04-10 2024-06-21 沈阳德成软件技术有限公司 一种基于粒子群算法的企业运营管理优化方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104811466A (zh) * 2014-01-28 2015-07-29 青岛海尔电子有限公司 云媒体资源分配的方法及装置
CN106203911A (zh) * 2016-07-07 2016-12-07 成都镜杰科技有限责任公司 基于云计算的智能物流数据管理方法
CN106951059A (zh) * 2017-03-28 2017-07-14 中国石油大学(华东) 基于dvs与改进蚁群算法的云数据中心节能方法
CN108322550A (zh) * 2018-03-20 2018-07-24 重庆邮电大学 一种基于离子运动算法的云计算资源调度方法
CN109829633A (zh) * 2019-01-17 2019-05-31 新奥数能科技有限公司 一种能源调度管理方法、装置、可读介质及电子设备
KR101986054B1 (ko) * 2018-08-21 2019-06-04 인하대학교 산학협력단 다중 채널을 사용하는 인지 무선 네트워크에서 센싱 간격의 설정 및 pso 기반의 동적 자원 할당 방법 및 시스템
CN110795208A (zh) * 2019-10-11 2020-02-14 南京航空航天大学 基于改进粒子群的移动云计算自适应虚拟机调度方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11101651B2 (en) * 2014-07-16 2021-08-24 QCoefficient, Inc Systems and methods using decision analysis for controlling energy consumption and facilitating building participation in ancillary energy markets

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104811466A (zh) * 2014-01-28 2015-07-29 青岛海尔电子有限公司 云媒体资源分配的方法及装置
CN106203911A (zh) * 2016-07-07 2016-12-07 成都镜杰科技有限责任公司 基于云计算的智能物流数据管理方法
CN106951059A (zh) * 2017-03-28 2017-07-14 中国石油大学(华东) 基于dvs与改进蚁群算法的云数据中心节能方法
CN108322550A (zh) * 2018-03-20 2018-07-24 重庆邮电大学 一种基于离子运动算法的云计算资源调度方法
KR101986054B1 (ko) * 2018-08-21 2019-06-04 인하대학교 산학협력단 다중 채널을 사용하는 인지 무선 네트워크에서 센싱 간격의 설정 및 pso 기반의 동적 자원 할당 방법 및 시스템
CN109829633A (zh) * 2019-01-17 2019-05-31 新奥数能科技有限公司 一种能源调度管理方法、装置、可读介质及电子设备
CN110795208A (zh) * 2019-10-11 2020-02-14 南京航空航天大学 基于改进粒子群的移动云计算自适应虚拟机调度方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Optimal Scheduling of VMs in Queueing Cloud Computing Systems With a Heterogeneous Workload;Miao GUO;《IEEE》;20180102;1-14 *
基于聚类和改进共生演算法的云任务调度策略;李昆仑;《计算机应用》;20180310;1-8 *

Also Published As

Publication number Publication date
CN111431961A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN111431961B (zh) 一种云数据中心的节能任务分配方法
Zhu et al. Task scheduling for multi-cloud computing subject to security and reliability constraints
Hussain et al. RALBA: a computation-aware load balancing scheduler for cloud computing
Long et al. A game-based approach for cost-aware task assignment with QoS constraint in collaborative edge and cloud environments
Rekha et al. Efficient task allocation approach using genetic algorithm for cloud environment
WO2017045211A1 (zh) 一种多服务质量约束的云计算任务调度方法
CN112181620B (zh) 云环境下虚拟机服务能力感知的大数据工作流调度方法
Soni et al. A bee colony based multi-objective load balancing technique for cloud computing environment
CN109710372B (zh) 一种基于猫头鹰搜索算法的计算密集型云工作流调度方法
Muthusamy et al. Cluster-based task scheduling using K-means clustering for load balancing in cloud datacenters
CN112306642A (zh) 一种基于稳定匹配博弈理论的工作流调度方法
Zhu et al. A priority-aware scheduling framework for heterogeneous workloads in container-based cloud
CN110519386B (zh) 云环境下基于数据聚类的弹性资源供应方法和装置
Srikanth et al. Effectiveness review of the machine learning algorithms for scheduling in cloud environment
Chen et al. Research on workflow scheduling algorithms in the cloud
Kalai Arasan et al. Energy‐efficient task scheduling and resource management in a cloud environment using optimized hybrid technology
CN114356531A (zh) 基于K-means聚类和排队理论的边缘计算任务分类调度方法
CN115098240B (zh) 一种多处理器应用调度方法和系统及存储介质
Shubair Enhancement of task scheduling technique of big data cloud computing
Alatawi et al. Hybrid load balancing approach based on the integration of QoS and power consumption in cloud computing
Babu et al. Energy aware clustered load balancing in cloud computing environment
Wang et al. Model-based scheduling for stream processing systems
Singh An Optimal Resource Provisioning Scheme Using QoS in Cloud Computing Based Upon the Dynamic Clustering and Self-Adaptive Hybrid Optimization Algorithm.
Moussa et al. Comprehensive study on machine learning-based container scheduling in cloud
Nosrati et al. Investigating a benchmark cloud media resource allocation and optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240304

Address after: 518000 1104, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Patentee after: Shenzhen Hongyue Information Technology Co.,Ltd.

Country or region after: China

Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing

Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS

Country or region before: China

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240325

Address after: 453, 4th Floor, Lianchuang Building, No. 2 Dongbeiwang Road, Haidian District, Beijing, 100080

Patentee after: Beijing Yinhe Data Technology Co.,Ltd.

Country or region after: China

Address before: 518000 1104, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Patentee before: Shenzhen Hongyue Information Technology Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240623

Address after: Room 801A, 8th Floor, Building 1, Zone 4, No. 81 Beiqing Road, Haidian District, Beijing, 100080

Patentee after: Beijing Micro-Network Juli Network Technology Co.,Ltd.

Country or region after: China

Address before: 453, 4th Floor, Lianchuang Building, No. 2 Dongbeiwang Road, Haidian District, Beijing, 100080

Patentee before: Beijing Yinhe Data Technology Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right