CN104657217A - 一种基于非均匀粒度分类的云环境任务调度方法 - Google Patents

一种基于非均匀粒度分类的云环境任务调度方法 Download PDF

Info

Publication number
CN104657217A
CN104657217A CN201510059566.6A CN201510059566A CN104657217A CN 104657217 A CN104657217 A CN 104657217A CN 201510059566 A CN201510059566 A CN 201510059566A CN 104657217 A CN104657217 A CN 104657217A
Authority
CN
China
Prior art keywords
resource
classification
task
class
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510059566.6A
Other languages
English (en)
Other versions
CN104657217B (zh
Inventor
邵雯娟
金仙力
陈晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201510059566.6A priority Critical patent/CN104657217B/zh
Publication of CN104657217A publication Critical patent/CN104657217A/zh
Application granted granted Critical
Publication of CN104657217B publication Critical patent/CN104657217B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Complex Calculations (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于非均匀粒度分类的云环境任务调度方法,该方法包括:对云系统中的资源向量进行分类预处理,建立资源向量的初始样本矩阵;对样本矩阵作极差标准化处理;以样本间欧式距离为相似性测度函数,对得到的样本矩阵执行聚类操作,得到聚类谱系图;通过选择合适的分类阈值T,最终得到三个资源分类:计算型、带宽型、存储型;计算各分类资源总的综合性能CrGPi,对各分类中的资源按性能从高到低进行排序;对系统中调度的任务,计算任务资源期望tGP、任务偏好系数tRP,根据tRP,在相应分类类别中优先选择负载较轻,且资源综合性能最优的资源,调度器将该资源分配给此任务;计算用户满意度Usatisfy,衡量用户实际获得的资源与期望要求的符合程度。

Description

一种基于非均匀粒度分类的云环境任务调度方法
技术领域
本发明涉及一种基于非均匀粒度分类的云环境任务调度方法,属于计算机应用技术领域。
背景技术
目前,云计算主要是采用虚拟化技术将数据中心的物理资源虚拟化为资源节点后,进行统一管理和对外服务。用户享受的服务质量水平将会和所需支付的费用成正比。正是由于用户的不同需求,云任务调度方法需要为用户任务选择合适的资源,最大限度的满足用户对于服务质量的需求,提高资源利用率,维持资源负载均衡。因此,研究云环境下的任务调度方法的意义很大。
目前,现有的云计算任务调度基础算法有:Min-Min算法和Max-Min算法。Min-Min算法的基本思想是通过计算各个任务的期望完成时间,找出具有最小最早完成时间的任务,并将其分配给相应的机器。该算法总是先考虑执行时间短的任务,并将其分配到性能最好的机器上执行,因而会导致系统资源负载极不均衡,规模较小的任务等待时间较少,能在较快的时间内获得性能较优的资源执行,而一些计算量大的长任务则很可能等待时间过长,且获得的资源性能较差。Max-Min算法主要思想是每次云系统总是调度具有最大最早完成时间的任务。通过每次查找大任务的方式,该方法可有效缓解资源负载不均衡的现象,但是,它的不足之处在于:系统中短任务会出现等待时间过长而无法在规定时间内完成的问题。而本发明能够很好地解决了上述问题。
发明内容
本发明目的在于提出了一种基于非均匀粒度分类的云环境任务调度方法,该方法是采用非均匀粒度对云数据中心的虚拟化资源进行分类预处理,能够有效地缩小资源搜索范围,较快的实现任务与资源的合理匹配,获得了最小的任务完成时间。
本发明解决其技术问题所采取的技术方案是:一种基于非均匀粒度分类的云环境任务调度方法,该方法包括如下步骤:
步骤1:对云系统中的资源向量进行分类预处理,建立资源向量的初始样本矩阵;
步骤2:对样本矩阵作标准极差化处理,确保样本矩阵中的样本值在0-1之间;
步骤3:以样本间欧式距离为相似性测度函数,对得到的样本矩阵执行聚类操作,得到聚类谱系图;逐渐减小阈值T,切割聚类谱系图,最终得到三个资源分类:计算型资源分类,带宽型资源分类,以及存储型资源分类;
步骤4:对不同分类中的资源按性能从高到低进行排序:对计算型分类中的资源按照计算能力的优劣,进行排序,对带宽型资源分类按照传输性能的高低,进行排序,对存储型分类资源按照存储能力的大小,进行排序;
步骤5:分别计算各分类资源总的综合性能CrGP;计算型分类资源的综合性能CrGP、带宽型分类资源的综合性能CrGP和存储型分类资源的综合性能CrGP
步骤6:对系统中调度的任务,计算任务资源期望tGP
步骤7:任务根据用户偏好在相应分类类别中优先选择负载较轻,且资源综合性能最优的资源,调度器将该资源分配给此任务;
步骤8:计算用户满意度Usatisfy,完成云环境任务调度。
上述本发明的步骤1包括:初始化数据,令用户集合U={u1,u2…un},任务集合T={t1,t2…tn},云系统中资源向量集合R={r1,r2,r3,r4,r5,r6…}。
上述本发明的步骤2包括:极差标准化处理的公式定义为:R2ij=(R1ij–R1jmin)/(R1jmax-R1jmin),其中,R1jmin是R11j,R12j…R1nj中的最小值,R1jmax表示R11j R12j…R1nj,R1jmax中的最大值。
上述本发明的步骤3包括:设置分类阈值T,初始值T应足够大,能将所有资源归并为一个类别。接着用阈值T切割聚类谱系图,得到一些分支,若分支上的叶节点属于多个分类类别,则减小阈值T,继续切割聚类谱系图,直到所有分支上的叶节点都只属于同一个分类类别为止。通过选择合适的分类阈值T,最终得到三个资源分类:计算型资源分类,带宽型资源分类,以及存储型资源分类:
计算型资源分类:classCOM={r1,r2…};
带宽型资源分类:classBW={r3,r4…};
存储型资源分类;classSTORE={r5,r6…}。
上述本发明步骤3的构建聚类谱系图的方法包括以下步骤:
步骤3-1,将资源节点抽象为样本点,在特定的特征空间和相似性测度函数下,对样本点执行聚类操作,按照如下五个子步骤,包括:
1)构造n个类,每个样本点都自成一类。
2)以距离函数作为相似性测度函数,计算类与类之间的距离。
3)将距离最近的两个类合并成为一个新类,在原资源类别中删除这两个已合并的类,并将合并后的新类添加到原资源类别中,重新计算该类别与其它类别之间的距离。
4)按照样本点名称和样本点之间的距离在聚类谱系图的合适位置标出。
5)若所有类都被归为一类,则停止,否则返回上述第3步。
步骤3-2,逐渐减小阈值T,切割聚类谱系图。
对上述步骤3-1中产生的聚类结果采用不同的阈值切割,主要原则是先采用较大的阈值,如果较大的阈值能够区分分类类别,不需要复杂化再采用细的粒度,这样也能确保方便简单,而对于较大阈值无法区分的分类类别,则需依次减小阈值,重新切割分支。
步骤3-3,考察每个分支,直到所有分支都有明确的分类类别。否则就返回步骤3-2。
上述本发明步骤5的各分类资源总的综合性能CrGP的公式为:
C rGP = 1 n Σ k = 1 n r GP k    公式1
rGPk表示各分类中每个资源的综合性能,可用公式2计算而得,其中rcal表示资源的计算能力,rcom表示资源的带宽能力,rstor表示资源的存储能力。P1,P2,P3分别表示资源的计算能力rcal、带宽能力rcom和存储能力rstor的经验系数,rpi表示可靠性系数,其公式为:
r GP = r p i × p 1 ( r cal ) 2 + p 2 ( r rcom ) 2 + p 3 ( r stor ) 2 p 1 + p 2 + p 3    公式2
上述本发明步骤6的计算任务资源期望tGP的公式为:
t GP = t 1 ( t cal ) 2 + t 2 ( t rcom ) 2 + t 3 ( t stor ) 2 t 1 + t 2 + t 3    公式3
t1,t2,t3分别表示任务对资源计算能力,通信带宽能力,以及存储空间要求的经验系数。tcal表示任务的计算需求,tcom表示带宽需求,tstor对存储空间的需求,计算任务偏好系数tRP的公式为:
t RP = MIN | t GP - c rG P j |    公式4
任务偏好系数tRP计算任务的资源综合性能与各个分类资源的距离,距离最近的类则可认为任务最偏好该类资源。表示分类资源的综合性能,可由上述公式1计算得出,所表示的分类资源主要指:计算型资源分类、带宽型资源分类和存储型资源分类。
上述本发明步骤8的计算用户满意度Usatisfy的公式为:
Usatisfy = actual Re cource exp ect Re cource    公式5
当Usatisfy值等于1,表明用户获得了其期待资源相一致的资源分配,Usatisfy>1表明用户获得高于期望的资源分配,Usatisfy<1表明用户实际获得的资源不符合期望要求。
本发明在资源匹配过程中,优先选择性能较优且负载较轻的资源,较快地实现了任务与资源相匹配,同时综合考虑任务执行时间、用户满意度和负载均衡等QOS需求,通过计算分析任务偏好,更好地与所需资源相绑定,保证了用户满意度。
有益效果:
1、本发明通过优先选择性能较优的资源并考虑负载均衡等策略,保证任务在最短时间内完成的同时,最大限度的体现任务调度的公平性,实现了资源的均衡使用。
2、本发明在最小化任务完成时间的基础上,维持资源负载均衡,同时引入了任务偏好,最大限度地提高了用户满意度。
3、本发明能减少任务平均完成时间,提高了系统可靠性、用户满意度,以及实现云系统的负载均衡。
4、本发明在任务平均完成时间、用户满意度、负载均衡度、系统可靠性的方面都表现最优,并且充分证明了TSNUGC算法的有效性。
5、本发明通过计算分析任务偏好,能够使任务更快、更好地与所需资源绑定。
附图说明
图1为本发明的方法流程图。
图2为云资源数为20,任务数在30-130时,三种算法平均完成时间的比较示意图。
图3为云资源数为50,任务数在100-700时,三种算法平均完成时间的比较示意图。
图4为云资源数为100,任务数在200-1500时,三种算法平均完成时间的比较示意图。
图5为云资源数为50时,三种算法的用户满意度比较示意图。
图6为云资源数为50时,三种算法的负载均衡度比较示意图。
图7为云资源数为50时,三种算法的系统吞吐率比较示意图。
图8为云资源数为50时,三种算法的失败服务数比较示意图。
图9为本发明实施例二构建和分割聚类谱系图的方法流程图。
具体实施方式
下面结合说明书附图对本发明创造作进一步的详细说明。
实施例一
本发明使用CloudSim仿真平台,将基于非均匀粒度分类的云环境任务调度方法(简称:TSNUGC算法)与Min-Min算法和Max-Min算法进行模拟实验调度,从调度策略的平均完成时间、用户满意度、负载均衡度和系统吞吐率等方面对三种算法进行性能比较。
本发明实验仿真环境是由2个云提供商和若干云用户组成,每个用户有若干个任务需要执行。仿真系统主要包括用户调度器、任务生成器、资源生成器和任务调度器。用户调度器能够按照用户对资源性能的要求,选择合适的云提供商,实现用户与特定云提供商的绑定。任务生成器按照任务数量和各项性能参数要求,在任务差异度范围内随机生成任务。资源产生器在规定的资源数目和资源性能要求下,在资源差异度范围内产生资源节点。任务调度器主要调度任务集中的任务,实现任务与资源的绑定。
在本仿真实验中,我们模拟20-1500个任务分别在资源节点数目为20、50和100的云环境下任务的执行情况。在任务控制参数以及资源控制参数的约束下,任务生成器和资源生成器随机生成我们的任务和资源。
任务的控制参数如下:
任务长度的取值范围:Tlength表示任务长度的最小值,Ldif表示不同任务在长度上的差异度。
任务对资源计算能力的需求范围为Tcal表示任务对计算能力要求的最小值,CAdif表明不同任务在计算需求上的差异度。
任务对资源通信能力的需求范围为:Tcom表示任务在通信能力要求上的最小值,Cdif表明不同任务在通信需求上的差异度。
任务对资源存储能力的需求范围为:Tstor表示任务对存储需求的最小值,Sdif表示不同任务对存储需求的差异度。
资源的控制参数如下:
资源计算能力取值范围为:Rcal表示资源节点在计算能力上需要满足的最小值,CAdife表明不同资源节点在计算能力上的差异度。
资源通信能力取值范围为Rcom表示资源节点在通信能力上需要满足的最小值,Cdife表明不同资源节点在通信能力上的差异度。
资源存储能力的取值范围为Rstor表示资源节点在存储能力上需要满足的最小值,Sdife表示不同资源节点在存储能力上的差异度。
本发明为了确保实验结果的准确性,在同样的仿真环境下,重复20次实验,取20次实验所得数据的平均值作为最终实验结果。
图2所示为云环境下资源数为20时,任务数从最初的30开始,每次递增20的速度增长到130,三种算法任务平均完成时间的比较图。由图可以看出,Min-Min算法由于每次优先选择任务完成时间最小的任务执行,因而任务最终完成时间小于Max-Min算法,但次于TSNUGC算法。
图3所示为云环境下资源数为50,任务数从100增长到700个时三种算法平均完成时间比较图,由图可以看出,Max-Min算法任务平均完成时间最大,Min-Min算法稍微优于Max-Min算法,而TSNUGC算法的任务平均完成时间最小,明显优于其他两种方法。
图4所示为在云环境下资源数为100,任务数从200增长到1500个时,三种算法任务平均完成时间比较图,由图可以看出,当任务数较多时,Max-Min算法由于每次选择任务完成时间最大的任务执行,最终任务的平均完成时间多于Min-Min算法,而TSNUGC算法由于对资源进行分类预处理,所需任务完成时间最小,明显优于Max-Min算法与Min-Min算法。
随着任务数逐渐增多,Min-Min算法、Max-Min算法和TSNUGC算法的平均完成时间都在增大。由于Min-Min算法总是优先选择执行时间最小的任务,因而任务的平均完成时间要小于Max-Min算法,但TSNUGC算法对资源进行分类预处理的过程,有效地缩小资源搜索范围,较快的实现任务与资源的匹配,因而获得最小的任务完成时间,特别是当任务数达到上千时,效果明显优于其他两种方法。
图5为在云环境下,资源节点数为50个,三种算法用户满意度的比较。根据公式(4),用户满意度可由用户实际分配的资源水平与期待占有水平计算得出。当Usatisfy值等于1,表明用户获得了其期待资源相一致的资源分配,Usatisfy>1,表明用户获得高于期望的资源分配,Usatisfy<1时,表明用户实际获得资源不符合期望要求。由图3所示,TSNUGC算法通过计算用户任务偏好,能够取得较好的用户满意度。
负载均衡度是评价调度方法的一个重要指标。图4是资源节点数为50时,云任务数在100到700时,Min-Min算法、Max-Min算法和TSNUGC算法资源负载均衡程度的比较。随着任务数的增加,Min-Min算法和Max-Min算法负载均衡度出现较大的变化幅度,而TSNUGC算法始终保持在一个较小的幅度内变化,说明TSNUGC算法比其他两种方法更稳定。此外,随着任务数的变化,从图7可以看出,TSNUGC算法能够以较高的负载均衡度维持系统资源负载平衡。
系统吞吐率在数值上反映云系统在单位时间内完成的服务请求数,本发明中可以由任务完成数与完成这些任务所花总时间的比值来衡量。图8为Min-Min算法、Max-Min算法和TSNUGC算法系统吞吐率的比较。由图8可以看出,Max-Min算法优先选择调度执行时间最长的任务,由于短任务等待时间过长,导致系统吞吐率最低,而Min-Min算法能够优先调度短任务,在一定的时间内能够完成较多的任务,该方法在吞吐率方面明显优于Max-Min算法。TSNUGC算法对系统资源进行分类预处理,通过计算任务偏好,在最短的时间内实现任务资源的绑定,由图可以看出,获得最高系统吞吐率。
当任务调度器找不到合适的资源与任务匹配时,该任务的资源请求会被调度器放弃,我们称这样的任务为失败服务请求,失败服务的数量能够有效反映云服务系统的可靠性。由图5-7所示,当任务数量逐渐增多时,三种算法的失败服务请求数量整体也呈上升趋势,但相比于Min-Min算法和Max-Min算法,TSNUGC算法的失败服务请求数总是最少,表明TSNUGC算法比其他两种方法具有更好的可靠性。
实施例二
如图1所示,本发明提供了一种基于非均匀粒度分类的云环境任务调度方法,该方法包括如下步骤:
步骤1:对云系统中的资源向量进行分类预处理,建立资源向量的初始样本矩阵;
步骤2:对样本矩阵作标准极差化处理,确保样本矩阵中的样本值在0-1之间;
步骤3:以样本间欧式距离为相似性测度函数,对得到的样本矩阵执行聚类操作,得到聚类谱系图;逐渐减小阈值T,切割聚类谱系图,最终得到三个资源分类:计算型资源分类,带宽型资源分类,以及存储型资源分类;
步骤4:对不同分类中的资源按性能从高到低进行排序:对计算型分类中的资源按照计算能力的优劣,进行排序,对带宽型资源分类按照传输性能的高低,进行排序,对存储型分类资源按照存储能力的大小,进行排序;
步骤5:分别计算各分类资源总的综合性能CrGP:;计算型分类资源的综合性能CrGP、带宽型分类资源的综合性能CrGP和存储型分类资源的综合性能CrGP
步骤6:对系统中调度的任务,计算任务资源期望tGP
步骤7:任务根据用户偏好在相应分类类别中优先选择负载较轻,且资源综合性能最优的资源,调度器将该资源分配给此任务;
步骤8:计算用户满意度Usatisfy,完成云环境任务调度。
上述本发明的步骤1包括:初始化数据,令用户集合U={u1,u2…un},任务集合T={t1,t2…tn},云系统中资源向量集合R={r1,r2,r3,r4,r5,r6…}。
上述本发明的步骤2包括:极差标准化处理的公式定义为:R2ij=(R1ij–R1jmin)/(R1jmax-R1jmin),其中,R1jmin是R11j,R12j…R1nj中的最小值,R1jmax表示R11j R12j…R1nj,R1jmax中的最大值。
上述本发明的步骤3包括:设置分类阈值T,初始值T应足够大,能将所有资源归并为一个类别。接着用阈值T切割聚类谱系图,得到一些分支,若分支上的叶节点属于多个分类类别,则减小阈值T,继续切割聚类谱系图,直到所有分支上的叶节点都只属于同一个分类类别为止。通过选择合适的分类阈值T,最终得到三个资源分类:计算型资源分类,带宽型资源分类,以及存储型资源分类:
计算型资源分类:classCOM={r1,r2…};
带宽型资源分类:classBW={r3,r4…};
存储型资源分类;classSTORE={r5,r6…}。
如图9所示,本发明上述步骤3的构建和分割聚类谱系图的方法,包括以下步骤:
步骤3-1,将资源节点抽象为样本点,在特定的特征空间和相似性测度函数下,对样本点执行聚类操作,按照如下五个子步骤:
1)构造n个类,每个样本点都自成一类。
2)以距离函数作为相似性测度函数,计算类与类之间的距离。
3)将距离最近的两个类合并成为一个新类,在原资源类别中删除这两个已合并的类,并将合并后的新类添加到原资源类别中,重新计算该类别与其它类别之间的距离。
4)按照样本点名称和样本点之间的距离在聚类谱系图的合适位置标出。
5)若所有类都被归为一类,则停止,否则返回上述第3步。
步骤3-2,逐渐减小阈值T,切割聚类谱系图。
对上述步骤3-1中产生的聚类结果采用不同的阈值切割,主要原则是先采用较大的阈值,如果较大的阈值能够区分分类类别,不需要复杂化再采用细的粒度,这样也能确保方便简单,而对于较大阈值无法区分的分类类别,则需依次减小阈值,重新切割分支。
步骤3-3,考察每个分支,直到所有分支都有明确的分类类别。否则就返回步骤2。
上述本发明步骤5的各分类资源总的综合性能CrGP的公式为:
C rGP = 1 n &Sigma; k = 1 n r GP k    公式1
rGPk表示各分类中每个资源的综合性能,可用公式2计算而得,其中rcal表示资源的计算能力,rcom表示资源的带宽能力,rstor表示资源的存储能力。P1,P2,P3分别表示资源的计算能力rcal、带宽能力rcom和存储能力rstor的经验系数,rpi表示可靠性系数。
r GP = r p i &times; p 1 ( r cal ) 2 + p 2 ( r rcom ) 2 + p 3 ( r stor ) 2 p 1 + p 2 + p 3    公式2
上述本发明步骤6的计算任务资源期望tGP为:
t GP = t 1 ( t cal ) 2 + t 2 ( t rcom ) 2 + t 3 ( t stor ) 2 t 1 + t 2 + t 3    公式3
t1,t2,t3分别表示任务对资源计算能力,通信带宽能力,以及存储空间要求的经验系数。tcal表示任务的计算需求,tcom表示带宽需求,tstor对存储空间的需求,计算任务偏好系数tRP的公式为:
t RP = MIN | t GP - c rG P j |    公式4
任务偏好系数tRP计算任务的资源综合性能与各个分类资源的距离,距离最近的类则可认为任务最偏好该类资源。表示分类资源的综合性能,可根据上述公式1计算得出,所表示的分类资源主要指:计算型资源分类、带宽型资源分类和存储型资源分类,。
上述本发明步骤8的计算用户满意度Usatisfy为:
Usatisfy = actual Re cource exp ect Re cource    公式5
当Usatisfy值等于1,表明用户获得了其期待资源相一致的资源分配,Usatisfy>1表明用户获得高于期望的资源分配,Usatisfy<1表明用户实际获得的资源不符合期望要求。

Claims (10)

1.一种基于非均匀粒度分类的云环境任务调度方法,其特征在于,所述方法包括如下步骤:
步骤1:对云系统中的资源向量进行分类预处理,建立资源向量的初始样本矩阵;
步骤2:对样本矩阵作标准极差化处理,确保样本矩阵中的样本值在0-1之间;
步骤3:以样本间欧式距离为相似性测度函数,对得到的样本矩阵执行聚类操作,得到聚类谱系图;逐渐减小阈值T,切割聚类谱系图,最终得到三个资源分类:计算型资源分类,带宽型资源分类,以及存储型资源分类;
步骤4:对不同分类中的资源按性能从高到低进行排序:对计算型分类中的资源按照计算能力的优劣,进行排序,对带宽型资源分类按照传输性能的高低,进行排序,对存储型分类资源按照存储能力的大小,进行排序;
步骤5:分别计算各分类资源总的综合性能CrGP;计算型分类资源的综合性能CrGP、带宽型分类资源的综合性能CrGP和存储型分类资源的综合性能CrGP
步骤6:对系统中调度的任务,计算任务资源期望tGP
步骤7:任务根据用户偏好在相应分类类别中优先选择负载较轻,且资源综合性能最优的资源,调度器将该资源分配给此任务;
步骤8:计算用户满意度Usatisfy,完成云环境任务调度。
2.根据权利要求1所述的一种基于非均匀粒度分类的云环境任务调度方法,其特征在于,所述方法步骤1包括:初始化数据,令用户集合U={u1,u2…un},任务集合T={t1,t2…tn},云系统中资源向量集合R={r1,r2,r3,r4,r5,r6…}。
3.根据权利要求1所述的一种基于非均匀粒度分类的云环境任务调度方法,其特征在于,所述方法步骤2包括:极差标准化处理的公式定义为:R2ij=(R1ij–R1jmin)/(R1jmax-R1jmin),其中,R1jmin是R11j,R12j…R1nj中的最小值,R1jmax表示R11j R12j…R1nj,R1jmax中的最大值。
4.根据权利要求1所述的一种基于非均匀粒度分类的云环境任务调度方法,其特征在于,所述方法步骤3包括:设置分类阈值T,初始值T应足够大,将所有资源归并为一个类别;接着用阈值T切割聚类谱系图,得到一些分支,若分支上的叶节点属于多个分类类别,则减小阈值T,继续切割聚类谱系图,直到所有分支上的叶节点都只属于同一个分类类别为止;通过选择合适的分类阈值T,最终得到三个资源分类:计算型资源分类,带宽型资源分类,以及存储型资源分类:
计算型资源分类:classCOM={r1,r2…};
带宽型资源分类:classBW={r3,r4…};
存储型资源分类;classSTORE={r5,r6…}。
5.根据权利要求1所述的一种基于非均匀粒度分类的云环境任务调度方法,其特征在于,所述方法步骤3的构建聚类谱系图的方法包括如下步骤:
步骤3-1,将资源节点抽象为样本点,在特定的特征空间和相似性测度函数下,对样本点执行聚类操作;
步骤3-2,逐渐减小阈值T,切割聚类谱系图;
对上述步骤3-1中产生的聚类结果采用不同的阈值切割,主要原则是先采用较大的阈值,如果较大的阈值能够区分分类类别,不需要复杂化再采用细的粒度,这样也能确保方便简单,而对于较大阈值无法区分的分类类别,则需依次减小阈值,重新切割分支;
步骤3-3,考察每个分支,直到所有分支都有明确的分类类别;否则就返回步骤3-2。
6.根据权利要求5所述的一种基于非均匀粒度分类的云环境任务调度方法,其特征在于,所述方法的步骤3-1对样本点执行聚类操作包括:
1)构造n个类,每个样本点都自成一类;
2)以距离函数作为相似性测度函数,计算类与类之间的距离;
3)将距离最近的两个类合并成为一个新类,在原资源类别中删除这两个已合并的类,并将合并后的新类添加到原资源类别中,重新计算该类别与其它类别之间的距离;
4)按照样本点名称和样本点之间的距离在聚类谱系图的合适位置标出;
5)若所有类都被归为一类,则停止,否则返回上述第3步。
7.根据权利要求1所述的一种基于非均匀粒度分类的云环境任务调度方法,其特征在于,所述方法步骤5的各分类资源总的综合性能CrGP的公式为:
C rGP = 1 n &Sigma; k = 1 n r GP k     公式1
rGPk表示各分类中每个资源的综合性能,是根据公式2计算而得,其中rcal表示资源的计算能力,rcom表示资源的带宽能力,rstor表示资源的存储能力,P1,P2,P3分别表示资源的计算能力rcal、带宽能力rcom和存储能力rstor的经验系数,rpi表示可靠性系数,包括:
r GP = rp i &times; p 1 ( r cal ) 2 + p 2 ( r rcom ) 2 + p 3 ( r stor ) 2 p 1 + p 2 + p 3     公式2
8.根据权利要求1所述的一种基于非均匀粒度分类的云环境任务调度方法,其特征在于,所述方法步骤6的计算任务资源期望tGP的公式为:
t GP = t 1 ( t cal ) 2 + t 2 ( t rcom ) 2 + t 3 ( t stor ) 2 t 1 + t 2 + t 3     公式3
t1,t2,t3分别表示任务对资源计算能力,通信带宽能力,以及存储空间要求的经验系数;tcal表示任务的计算需求,tcom表示带宽需求,tstor对存储空间的需求,计算任务偏好系数tRP的公式为:
t RP = MIN | t GP - c r GP j |     公式4
任务偏好系数tRP计算任务的资源综合性能与各个分类资源的距离,距离最近的类则为任务最偏好该类资源,表示分类资源的综合性能,所表示的分类资源主要指:计算型资源分类、带宽型资源分类和存储型资源分类,是根据上述公式1计算得出。
9.根据权利要求1所述的一种基于非均匀粒度分类的云环境任务调度方法,其特征在于,所述方法步骤8的计算用户满意度Usatisfy的公式为:
Usatisfy = actualRecource expectRecource     公式5
当Usatisfy值等于1,表明用户获得了其期待资源相一致的资源分配,Usatisfy>1表明用户获得高于期望的资源分配,Usatisfy<1表明用户实际获得的资源不符合期望要求。
10.根据权利要求1所述的一种基于非均匀粒度分类的云环境任务调度方法,其特征在于:所述方法是采用非均匀粒度对云数据中心的虚拟化资源进行分类预处理。
CN201510059566.6A 2015-02-04 2015-02-04 一种基于非均匀粒度分类的云环境任务调度方法 Expired - Fee Related CN104657217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510059566.6A CN104657217B (zh) 2015-02-04 2015-02-04 一种基于非均匀粒度分类的云环境任务调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510059566.6A CN104657217B (zh) 2015-02-04 2015-02-04 一种基于非均匀粒度分类的云环境任务调度方法

Publications (2)

Publication Number Publication Date
CN104657217A true CN104657217A (zh) 2015-05-27
CN104657217B CN104657217B (zh) 2017-10-24

Family

ID=53248390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510059566.6A Expired - Fee Related CN104657217B (zh) 2015-02-04 2015-02-04 一种基于非均匀粒度分类的云环境任务调度方法

Country Status (1)

Country Link
CN (1) CN104657217B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095582A (zh) * 2016-06-17 2016-11-09 四川新环佳科技发展有限公司 云平台的任务执行方法
CN106648877A (zh) * 2015-10-28 2017-05-10 阿里巴巴集团控股有限公司 资源申请、释放方法及装置
CN106878389A (zh) * 2017-01-04 2017-06-20 北京百度网讯科技有限公司 用于在云系统中进行资源调度的方法和装置
CN107617216A (zh) * 2016-07-15 2018-01-23 珠海金山网络游戏科技有限公司 一种游戏人工智能任务的设计系统和方法
CN111338786A (zh) * 2019-08-19 2020-06-26 海通证券股份有限公司 云平台资源的配额管理方法、装置和计算机设备
CN115309534A (zh) * 2022-09-06 2022-11-08 中国电信股份有限公司 云资源调度方法及装置、存储介质、电子设备
CN116137630A (zh) * 2023-04-19 2023-05-19 井芯微电子技术(天津)有限公司 网络业务需求的量化处理方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110154350A1 (en) * 2009-12-18 2011-06-23 International Business Machines Corporation Automated cloud workload management in a map-reduce environment
US20120005682A1 (en) * 2010-06-30 2012-01-05 International Business Machines Corporation Holistic task scheduling for distributed computing
CN103561077A (zh) * 2013-10-29 2014-02-05 李飞 一种多QoS约束的云存储任务调度法
CN103870342A (zh) * 2014-04-06 2014-06-18 冷明 云计算环境中的基于结点属性函数的任务核值计算方法
CN104168318A (zh) * 2014-08-18 2014-11-26 中国联合网络通信集团有限公司 一种资源服务系统及其资源分配方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110154350A1 (en) * 2009-12-18 2011-06-23 International Business Machines Corporation Automated cloud workload management in a map-reduce environment
US20120005682A1 (en) * 2010-06-30 2012-01-05 International Business Machines Corporation Holistic task scheduling for distributed computing
CN103561077A (zh) * 2013-10-29 2014-02-05 李飞 一种多QoS约束的云存储任务调度法
CN103870342A (zh) * 2014-04-06 2014-06-18 冷明 云计算环境中的基于结点属性函数的任务核值计算方法
CN104168318A (zh) * 2014-08-18 2014-11-26 中国联合网络通信集团有限公司 一种资源服务系统及其资源分配方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106648877A (zh) * 2015-10-28 2017-05-10 阿里巴巴集团控股有限公司 资源申请、释放方法及装置
CN106648877B (zh) * 2015-10-28 2020-08-25 阿里巴巴集团控股有限公司 资源申请、释放方法及装置
CN106095582B (zh) * 2016-06-17 2019-04-16 四川新环佳科技发展有限公司 云平台的任务执行方法
CN106095582A (zh) * 2016-06-17 2016-11-09 四川新环佳科技发展有限公司 云平台的任务执行方法
CN107617216B (zh) * 2016-07-15 2020-10-16 珠海金山网络游戏科技有限公司 一种游戏人工智能任务的设计系统和方法
CN107617216A (zh) * 2016-07-15 2018-01-23 珠海金山网络游戏科技有限公司 一种游戏人工智能任务的设计系统和方法
CN106878389A (zh) * 2017-01-04 2017-06-20 北京百度网讯科技有限公司 用于在云系统中进行资源调度的方法和装置
CN106878389B (zh) * 2017-01-04 2020-02-07 北京百度网讯科技有限公司 用于在云系统中进行资源调度的方法和装置
CN111338786A (zh) * 2019-08-19 2020-06-26 海通证券股份有限公司 云平台资源的配额管理方法、装置和计算机设备
CN115309534A (zh) * 2022-09-06 2022-11-08 中国电信股份有限公司 云资源调度方法及装置、存储介质、电子设备
CN115309534B (zh) * 2022-09-06 2024-09-03 中国电信股份有限公司 云资源调度方法及装置、存储介质、电子设备
CN116137630A (zh) * 2023-04-19 2023-05-19 井芯微电子技术(天津)有限公司 网络业务需求的量化处理方法和装置
CN116137630B (zh) * 2023-04-19 2023-08-18 井芯微电子技术(天津)有限公司 网络业务需求的量化处理方法和装置

Also Published As

Publication number Publication date
CN104657217B (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
CN104657217A (zh) 一种基于非均匀粒度分类的云环境任务调度方法
CN103631657B (zh) 一种基于MapReduce的任务调度方法
US9201690B2 (en) Resource aware scheduling in a distributed computing environment
Nabi et al. DRALBA: Dynamic and resource aware load balanced scheduling approach for cloud computing
CN109684083A (zh) 一种面向边缘-云异构下的多级事务调度分配策略
CN110737529A (zh) 一种面向短时多变大数据作业集群调度自适应性配置方法
CN113037877B (zh) 云边端架构下时空数据及资源调度的优化方法
CN103927229A (zh) 在动态可用服务器集群中调度映射化简作业
CN111124689A (zh) 一种集群中容器资源动态分配方法
CN109981744B (zh) 数据的分发方法、装置、存储介质及电子设备
CN109491761A (zh) 基于eda-ga混合算法的云计算多目标任务调度方法
Zhang et al. Heterogeneity aware dominant resource assistant heuristics for virtual machine consolidation
Delavar et al. A synthetic heuristic algorithm for independent task scheduling in cloud systems
CN117573373B (zh) 一种基于云计算的cpu虚拟化调度方法及系统
Rodrigues et al. Network-aware container scheduling in multi-tenant data center
CN106802822A (zh) 一种基于飞蛾算法的云数据中心认知资源调度方法
CN110084507A (zh) 云计算环境下分级感知的科学工作流调度优化方法
Xu et al. Hybrid scheduling deadline-constrained multi-DAGs based on reverse HEFT
CN107528914B (zh) 数据分片的资源征用调度方法
Wang et al. An efficient framework for online virtual network embedding in virtualized cloud data centers
Chunlin et al. Multi-queue scheduling of heterogeneous jobs in hybrid geo-distributed cloud environment
CN109783189A (zh) 一种静态工作流调度方法与装置
CN114980216A (zh) 基于移动边缘计算的依赖型任务卸载系统及方法
Wan et al. Utility-driven share scheduling algorithm in hadoop
Sohani et al. State-of-the-art survey on cloud computing resource scheduling approaches

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171024

Termination date: 20210204

CF01 Termination of patent right due to non-payment of annual fee