CN103812886B - 计算机集群资源分配系统和方法 - Google Patents
计算机集群资源分配系统和方法 Download PDFInfo
- Publication number
- CN103812886B CN103812886B CN201210447371.5A CN201210447371A CN103812886B CN 103812886 B CN103812886 B CN 103812886B CN 201210447371 A CN201210447371 A CN 201210447371A CN 103812886 B CN103812886 B CN 103812886B
- Authority
- CN
- China
- Prior art keywords
- resource
- iteration
- initial value
- value
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种计算机集群资源分配系统，管理中心根据各计算节点的资源容量信息，生成计算机集群的资源容量矩阵；管理中心在各个任务到达时，依据资源调度策略，自动为各任务计算并合理分配各个计算节点上的资源数，为各个任务动态分配各计算节点以及各节点上的资源。本发明还公开了一种计算机集群资源分配方法。本发明能公平、高效的分配计算机集群资源。
Description
技术领域
本发明属于计算机技术领域，特别涉及一种计算机集群资源分配系统和方法。
背景技术
计算机集群系统由计算节点、管理中心及相关网络环境组成。参见中国专利申请201010550046.2“计算机集群管理方法、装置和系统”。
每个计算节点拥有多个不同种类的物理设备(例如CPU、内存、网络带宽)，并且每个计算节点拥有的资源容量也各不相同。
当集群中的计算节点配置信息改变时，计算节点向集群的管理中心上报本计算节点的物理设备信息，各个计算节点周期性地分别向管理中心上报本计算节点的物理设备信息，物理设备信息包括资源容量信息和剩余容量信息。
管理中心根据各计算节点的物理设备信息，生成计算机集群的资源池。
当任务到达时，管理中心依据一定资源调度策略，为任务动态分配计算节点以及节点上的资源，从而达到完成任务、负载均衡、节电等目的。
对于计算任务，每个作业需要配置的资源也各不相同。例如，任务A每运行一个作业需要2个CPU和3GB内存；任务B每运行一个作业需要1个CPU和4GB内存。此外，对于每个作业，CPU和内存必须位于同一个计算节点上(例如，对于任务A，从计算节点1获得2个CPU，从计算节点2获得3GB内存是没有意义的)。因此如何高效公平地为计算任务分配计算节点资源是非常重要的。
现有的计算机集群资源分配方法，有max-min公平分配方法、贪心分配方法。
“在计算机集群中使用主要优势资源方法来公平分配各种资源”美国加州大学伯克利分校，技术报告，编号：UCB/EECS-2010-55,2010(A.Ghodsi,M.Zaharia,B.Hindman,A.Konwinski,S.Shenker,and I.Stoica,“Dominant resource fairness:Fairallocation of heterogeneous resources in datacenters,”University ofCalifornia,Berkeley,Tech.Rep.No.UCB/EECS-2010-55,2010)，及“使用主要优势资源方法来公平分配多种资源”第八届USENIX网络系统设计和实现会议，2011,pp.24–37(A.Ghodsi,M.Zaharia,B.Hindman,A.Konwinski,S.Shenker,and I.Stoica,“Dominantresource fairness:Fair allocation of multiple resource types,”in Proceedingsof the 8th USENIX conference on networked systems design andimplementation.USENIX Association,2011,pp.24–37)，介绍了max-min公平分配方法，max-min公平分配方法为每个独立的计算节点单独分配资源，确保资源分配到达max-min公平，Max-min可以使得最紧缺的资源得到在任务之间公平分配的保证，但了max-min公平分配方法将多个计算节点割裂开来，孤立地分配各个节点上的资源，效率较低。
贪心分配方法中，管理节点依次为每个计算节点分配资源。在分配单个计算节点资源的过程中，管理节点挑选一个计算任务，选择原则是该计算任务使用节点资源能获得最多的作业数目。管理节点为该计算任务在单个计算节点上分配尽可能多的作业数目。如果计算节点上仍有资源剩余，管理节点将继续挑选次优的计算任务进行作业分配，直至资源耗尽。贪心分配方法，片面追求最大化分配的作业数，其分配方法是选取能够获得最多作业数的计算任务，将所有资源尽可能地分配给该计算任务，因此其必然导致极差的资源分配公平性。
发明内容
本发明要解决的技术问题是公平、高效的分配计算机集群资源。
为解决上述技术问题，本发明提供了一种计算机集群资源分配系统，其包括一管理中心、N个计算节点，N为正整数；管理中心同各个计算节点网络连接，每个计算节点上有M种资源，M为正整数；各个计算节点，分别向管理中心上报本计算节点的资源容量信息；
管理中心根据各计算节点的资源容量信息，生成计算机集群的资源容量矩阵；
管理中心在J个任务到达时，依据资源调度策略，为J个任务动态分配计算节点以及节点上的资源，J为正整数；
定义资源容量矩阵C，第n个计算节点的第m种资源的容量为Cn,m，n为小于等于N的正整数，m为小于等于M的正整数；
定义作业数目矩阵x，第j个任务在第n个计算节点上分配的作业数目为xj,n；
定义作业资源需求矩阵R,第j个任务的单个作业对第m种资源的需求为Rj,m；
定义单种资源的最大比例矩阵μ，μj,n为第j个任务单个作业占用第n个计算节点上的单种资源的最大比例，j为小于等于J的正整数；
定义资源紧缺程度变量矩阵λ，λn,m为第n个计算节点的第m种资源的资源紧缺程度变量；
定义内迭代步长δ(in)，δj,n(in)为第j个任务在第n个计算节点上分配作业数目的内迭代步长，δj,n(in)＞0；
定义外迭代步长δ(out)，δn,m(out)为第n个计算节点的第m种资源的外迭代步长，δn,m(out)＞0；
定义资源分配的公平因子为а，а≥0，公平因子а的取值越大，资源分配越倾向公平；公平因子а的取值越小，资源分配越倾向效率；
所述资源调度策略包括以下步骤：
一.为公平因子а赋值，计算单种资源的最大比例矩阵μ；
启动外迭代，为外迭代步数t赋初始值；
为资源紧缺程度变量矩阵λ(t)赋初始值，λ(t)各元素λn,m初始值大于0；
为外迭代作业数目矩阵x(t)赋初始值；x(t)各元素初始值大于等于零，并且x(t)各元素为初始值时
二.启动内迭代，为内迭代步数k初始值赋值；
(1)内迭代作业数目矩阵x(k)初始值赋值为外迭代作业数目矩阵x(t)；
(2)为内迭代作业数目矩阵x(k)中的每个数值计算更新如下，
(3)如果xj,n(k+1)＜0,xj,n(k+1)＝0；
(4)如果内迭代收敛，则结束内迭代，进行步骤三；否则k＝k+1，跳转步骤(2)；
三.外迭代作业数目矩阵x(t+1)赋值为内迭代作业数目矩阵收敛值x(k+1)；
四.更新资源紧缺程度变量矩阵λ(t)中的每个数值，
五.如果λn,m(t+1)＜0,λn,m(t+1)＝0；
六.如果外迭代收敛，则结束外迭代，进行步骤七，否则t＝t+1，跳转步骤二；
七.将x(t+1)的各元素xj,n(t+1)取整数；
八.管理中心向N个计算节点分别发送计算任务的分配信息xj,n(t+1)，以及任务的资源分配信息xj,n(t+1)Rj，xj,n(t+1)为第j个任务在第n个计算节点上分配的作业数目，xj,n(t+1)Rj,m为第j个任务占用的第n个计算节点的第m种资源数。
较佳的，如果数值和数值的差值的绝对值小于第一设定值，则内迭代收敛；
如果数值大于等于0并且小于第二设定值，则外迭代收敛。
为解决上述技术问题，本发明还提供了一种计算机集群资源分配方法，管理中心根据N个计算节点的资源容量信息，生成计算机集群的资源容量矩阵，每个计算节点上有M种资源，M为正整数,N为正整数；
管理中心在J个任务到达时，依据资源调度策略，为J个任务动态分配计算节点以及节点上的资源，J为正整数；
定义资源容量矩阵C，第n个计算节点的第m种资源的容量为Cn,m，n为小于等于N的正整数，m为小于等于M的正整数；
定义作业数目矩阵x，第j个任务在第n个计算节点上分配的作业数目为xj,n；
定义作业资源需求矩阵R,第j个任务的单个作业对第m种资源的需求为Rj,m；
定义单种资源的最大比例矩阵μ，μj,n为第j个任务单个作业占用第n个计算节点上的单种资源的最大比例，j为小于等于J的正整数；
定义资源紧缺程度变量矩阵λ，λn,m为第n个计算节点的第m种资源的资源紧缺程度变量；
定义内迭代步长δ(in)，δj,n(in)为第j个任务在第n个计算节点上分配作业数目的内迭代步长，δj,n(in)＞0；
定义外迭代步长δ(out)，δn,m(out)为第n个计算节点的第m种资源的外迭代步长，δn,m(out)＞0；
定义资源分配的公平因子为а，а≥0，公平因子а的取值越大，资源分配越倾向公平；公平因子а的取值越小，资源分配越倾向效率；
所述资源调度策略包括以下步骤：
一.为公平因子а赋值，计算单种资源的最大比例矩阵μ；
启动外迭代，为外迭代步数t赋初始值；
为资源紧缺程度变量矩阵λ(t)赋初始值，λ(t)各元素λn,m初始值大于0；
为外迭代作业数目矩阵x(t)赋初始值；x(t)各元素初始值大于等于零，并且x(t)各元素为初始值时
二.启动内迭代，为内迭代步数k初始值赋值；
(1)内迭代作业数目矩阵x(k)初始值赋值为外迭代作业数目矩阵x(t)；
(2)为内迭代作业数目矩阵x(k)中的每个数值计算更新如下，
(3)如果xj,n(k+1)＜0,xj,n(k+1)＝0；
(4)如果内迭代收敛，则结束内迭代，进行步骤三；否则k＝k+1，跳转步骤(2)；
三.外迭代作业数目矩阵x(t+1)赋值为内迭代作业数目矩阵收敛值x(k+1)；
四.更新资源紧缺程度变量矩阵λ(t)中的每个数值，
五.如果λn,m(t+1)＜0,λn,m(t+1)＝0；
六.如果外迭代收敛，则结束外迭代，进行步骤七，否则t＝t+1，跳转步骤二；
七.将x(t+1)的各元素xj,n(t+1)取整数；
八.管理中心向N个计算节点分别发送计算任务的分配信息xj,n(t+1)，以及任务的资源分配信息xj,n(t+1)Rj，xj,n(t+1)为第j个任务在第n个计算节点上分配的作业数目，xj,n(t+1)Rj,m为第j个任务占用的第n个计算节点的第m种资源数。
较佳的，如果数值和数值的差值的绝对值小于第一设定值，则内迭代收敛；
如果数值大于等于0并且小于第二设定值，则外迭代收敛。
本发明的计算机集群资源分配系统及方法，管理中心根据各计算节点的资源容量信息，生成计算机集群的资源容量矩阵；管理中心在各个任务到达时，依据资源调度策略，自动为各任务计算并合理分配各个计算节点上的资源数，为各个任务动态分配各计算节点以及各节点上的资源。本发明的计算机集群资源分配系统，不仅有较高的作业数均值，而且作业数均方差也较小，能公平地为每个计算任务分配作业数，取得了较好的公平性和效率。
附图说明
为了更清楚地说明本发明的技术方案，下面对本发明所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的计算机集群资源分配系统一实施例示意图；
图2是本发明的计算机集群资源分配系统一实施例的资源调度策略流程图。
具体实施方式
下面将结合附图，对本发明中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一
计算机集群资源分配系统，如图1所示，包括一管理中心、N个计算节点,管理中心同各个计算节点网络连接，N为正整数；
每个计算节点上有M种资源，M为正整数；
各个计算节点，分别向管理中心上报本计算节点的资源容量信息；
管理中心根据各计算节点的资源容量信息，生成计算机集群的资源容量矩阵；
管理中心在J个任务到达时，依据资源调度策略，为J个任务动态分配计算节点以及节点上的资源，J为正整数；
定义资源容量矩阵第n个计算节点的第m种资源的容量为Cn,m，n为小于等于N的正整数，m为小于等于M的正整数；
定义作业数目矩阵第j个任务在第n个计算节点上分配的作业数目为xj,n；
定义作业资源需求矩阵第j个任务的单个作业对第m种资源的需求为Rj,m；
定义单种资源的最大比例矩阵μj,n为第j个任务单个作业占用第n个计算节点上的单种资源的最大比例，即j为小于等于J的正整数；
定义资源紧缺程度变量矩阵
λn,m为第n个计算节点的第m种资源的资源紧缺程度变量；
定义内迭代步长δj,n(in)为第j个任务在第n个计算节点上分配作业数目的内迭代步长，δj,n(in)＞0；较佳的，δj,n(in)大于0且小于15，例如可取值0.5、1.0、10等；
定义外迭代步长δn,m(out)为第n个计算节点的第m种资源的外迭代步长，δn,m(out)＞0；较佳的，δn,m(out)大于0且小于15，例如可取值0.5、1.0、10等；
定义资源分配的公平因子为а，а≥0，公平因子а的取值越大，资源分配越倾向公平；公平因子а的取值越小，资源分配越倾向效率；
所述资源调度策略如图2所示，包括以下步骤：
一.为公平因子а赋值，例如а＝0.5，计算单种资源的最大比例矩阵μ；
启动外迭代，为外迭代步数t赋初始值；t初始值可为任意数；较佳的，t初始值为1；
为资源紧缺程度变量矩阵λ(t)赋初始值，λ(t)各元素λn,m初始值大于0；λn,m初始值为经验值，较佳的，λn,m初始值在0到1.5之间，例如λn,m初始值是1.0；
为外迭代作业数目矩阵x(t)赋初始值；x(t)初始值要合理，x(t)各元素xj,n(t)初始值大于等于零，并且x(t)各元素xj,n(t)为初始值时，如xj,n初始值可为1.0；
二.启动内迭代，内迭代步数k初始值赋值，k初始值可为任意数，较佳的，k初始值为1；
(1)内迭代作业数目矩阵x(k)初始值赋值为外迭代作业数目矩阵x(t)；
(2)为内迭代作业数目矩阵x(k)中的每个数值计算更新如下，
(3)如果xj,n(k+1)＜0,xj,n(k+1)＝0；
(4)如果内迭代收敛，则结束内迭代，进行步骤三；否则k＝k+1，跳转步骤(2)；
较佳的，如果数值和数值的差值的绝对值小于第一设定值，则内迭代收敛；
三.外迭代作业数目矩阵x(t+1)赋值为内迭代作业数目矩阵收敛值x(k+1)；
四.更新资源紧缺程度变量矩阵λ(t)中的每个数值，
五.如果λn,m(t+1)＜0,λn,m(t+1)＝0；
六.如果外迭代收敛，则结束外迭代，进行步骤七，否则t＝t+1，跳转步骤二；
较佳的，如果数值大于等于0并且小于第二设定值，则外迭代收敛；
七.将x(t+1)的各元素xj,n(t+1)取整数；
八.管理中心向N个计算节点分别发送计算任务的分配信息xj,n(t+1)，以及任务的资源分配信息xj,n(t+1)Rj，xj,n(t+1)为第j个任务在第n个计算节点上分配的作业数目，xj,n(t+1)Rj,m为第j个任务占用的第n个计算节点的第m种资源数。
实施例二
基于实施例一，计算机集群资源分配系统，包含2个计算节点。第一个计算节点上有CPU、内存两种资源，第一种资源CPU的容量是50个，第一种资源内存的容量是100GB；第二个计算节点上的有CPU、内存两种资源，第一种资源CPU的容量是100个，第二种资源内存的容量是100GB；计算机集群中有2个计算任务到达，第一个任务的单个作业需要2个CPU，5GB内存；第二个任务的单个作业需要3个CPU，2GB内存。
计算机集群资源分配系统按照以下流程进行。
一.第一计算节点和第二计算节点分别向管理中心报告上报本计算节点的资源容量信息；
二.管理中心根据各计算节点的资源容量信息，生成计算机集群的资源容量矩阵C，根据任务信息生成资源需求矩阵R，根据各个任务单个作业占用各个计算节点上的单种资源的最大比例生成最大比例矩阵μ，
-------------------------------
内迭代,k＝1，
【各内迭代步长都为10】
-------------------------------
内迭代,k＝2，
-------------------------------
……
-------------------------------
内迭代,k＝26，
-------------------------------
内迭代,k＝27，
【|((0.05*11.2419+0.05*0)1-0.5/(1-0.5)+(0.06*0+0.03*28.2624)1-0.5/(1-0.5))
-((0.05*11.482+0.05*0)1-0.5/(1-0.5)+(0.06*0+0.03*28.4376)1-0.5/(1-0.5))|小于第一设定值】
********************************
外迭代,t＝1，
【各外迭代步长都为1】
-------------------------------
内迭代,k＝1，
-------------------------------
内迭代,k＝2，
【|((0.05*11.6418+0.05*0.417276)1-0.5/(1-0.5)+
(0.06*0.533106+0.03*28.1764)1-0.5/(1-0.5))
-((0.05*11.4479+0.05*0.214707)1-0.5/(1-0.5)+
(0.06*0.269382+0.03*28.2208)1-0.5/(1-0.5))|小于第一设定值】
********************************
外迭代，t＝2，
-------------------------------
内迭代,k＝1，
-------------------------------
内迭代,k＝2，
-------------------------------
……
********************************
外迭代,t＝49，
-------------------------------
内迭代,k＝1，
-------------------------------
内迭代,k＝2，
********************************
外迭代,t＝50，
【数值
1.32048*(1-(17.2874*2/50+5.64197*3/50))
+0.15983*(1-(17.2874*5/100+5.64197*2/100))
+0.481131*(1-(5.64197*2/100+28.4396*3/100))
+1.02287*(1-(5.64197*5/100+28.4396*2/100))>＝0并且小于第二设定值】
********************************
输出
三.管理中心通知第一计算节点，为第一任务分配17个作业，第一任务占用第一种资源CPU 34个，第二种资源内存85GB，为第二任务分配5个作业，第二任务占用第一种资源CPU 15个，第二种资源内存10GB；
管理中心通知第二计算节点，为第一任务分配8个作业，第一任务占用第一种资源CPU 16个，第二种资源内存40GB，为第二任务分配28个作业，第二任务占用第一种资源CPU84个，第二种资源内存56GB；
本发明的计算机集群资源分配系统及方法，管理中心根据各计算节点的资源容量信息，生成计算机集群的资源容量矩阵；管理中心在各个任务到达时，依据资源调度策略，自动为各任务计算并合理分配各个计算节点上的资源数，为各个任务动态分配各计算节点以及各节点上的资源。本发明的计算机集群资源分配系统，不仅有较高的作业数均值，而且作业数均方差也较小，能公平地为每个计算任务分配作业数，取得了较好的公平性和效率。
一实验结果比较如表1，实验配置为：集群中有200个计算节点，每个节点拥有多个CPU和内存。CPU数目和内存量随机生成。集群中有1000个计算任务，每个任务进行单个作业所需的资源配置(所需的CPU数目和内存量)随机生成。
表1：
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (10)
1.一种计算机集群资源分配系统，包括一管理中心、N个计算节点，N为正整数；管理中心同各个计算节点网络连接，每个计算节点上有M种资源，M为正整数；各个计算节点，分别向管理中心上报本计算节点的资源容量信息；其特征在于，
管理中心根据各计算节点的资源容量信息，生成计算机集群的资源容量矩阵；
管理中心在J个任务到达时，依据资源调度策略，为J个任务动态分配计算节点以及节点上的资源，J为正整数；
定义资源容量矩阵C，第n个计算节点的第m种资源的容量为Cn,m，n为小于等于N的正整数，m为小于等于M的正整数；
定义作业数目矩阵x，第j个任务在第n个计算节点上分配的作业数目为xj,n；
定义作业资源需求矩阵R,第j个任务的单个作业对第m种资源的需求为Rj,m；
定义单种资源的最大比例矩阵μ，μj,n为第j个任务单个作业占用第n个计算节点上的单种资源的最大比例，j为小于等于J的正整数；
定义资源紧缺程度变量矩阵λ，λn,m为第n个计算节点的第m种资源的资源紧缺程度变量；
定义内迭代步长δ(in)，δj,n(in)为第j个任务在第n个计算节点上分配作业数目的内迭代步长，δj,n(in)＞0；
定义外迭代步长δ(out)，δn,m(out)为第n个计算节点的第m种资源的外迭代步长，δn,m(out)＞0；
定义资源分配的公平因子为а，а≥0，公平因子а的取值越大，资源分配越倾向公平；公平因子а的取值越小，资源分配越倾向效率；
所述资源调度策略包括以下步骤：
一.为公平因子а赋值，计算单种资源的最大比例矩阵μ；
启动外迭代，为外迭代步数t赋初始值；
为资源紧缺程度变量矩阵λ(t)赋初始值，λ(t)各元素λn,m初始值大于0；
为外迭代作业数目矩阵x(t)赋初始值；x(t)各元素初始值大于等于零，并且x(t)各元素为初始值时
二.启动内迭代，为内迭代步数k初始值赋值；
(1)内迭代作业数目矩阵x(k)初始值赋值为外迭代作业数目矩阵x(t)；
(2)为内迭代作业数目矩阵x(k)中的每个数值计算更新如下，
<mrow>
<msub>
<mi>x</mi>
<mrow>
<mi>j</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>j</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>&delta;</mi>
<mrow>
<mi>j</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<msub>
<mi>&mu;</mi>
<mrow>
<mi>j</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>&mu;</mi>
<mrow>
<mi>j</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
<msub>
<mi>x</mi>
<mrow>
<mi>j</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mi>a</mi>
</mrow>
</msup>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>n</mi>
<mo>,</mo>
<mi>m</mi>
</mrow>
</msub>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
<mfrac>
<msub>
<mi>R</mi>
<mrow>
<mi>j</mi>
<mo>,</mo>
<mi>m</mi>
</mrow>
</msub>
<msub>
<mi>C</mi>
<mrow>
<mi>n</mi>
<mo>,</mo>
<mi>m</mi>
</mrow>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
(3)如果xj,n(k+1)＜0,xj,n(k+1)＝0；
(4)如果内迭代收敛，则结束内迭代，进行步骤三；否则k＝k+1，跳转步骤(2)；
三.外迭代作业数目矩阵x(t+1)赋值为内迭代作业数目矩阵收敛值x(k+1)；
四.更新资源紧缺程度变量矩阵λ(t)中的每个数值，
<mrow>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>n</mi>
<mo>,</mo>
<mi>m</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>n</mi>
<mo>,</mo>
<mi>m</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>&delta;</mi>
<mrow>
<mi>n</mi>
<mo>,</mo>
<mi>m</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>o</mi>
<mi>u</mi>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>J</mi>
</munderover>
<mfrac>
<msub>
<mi>R</mi>
<mrow>
<mi>j</mi>
<mo>,</mo>
<mi>m</mi>
</mrow>
</msub>
<msub>
<mi>C</mi>
<mrow>
<mi>n</mi>
<mo>,</mo>
<mi>m</mi>
</mrow>
</msub>
</mfrac>
<msub>
<mi>x</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
<mo>(</mo>
<mrow>
<mi>t</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
五.如果λn,m(t+1)＜0,λn,m(t+1)＝0；
六.如果外迭代收敛，则结束外迭代，进行步骤七，否则t＝t+1，跳转步骤二；
七.将x(t+1)的各元素xj,n(t+1)取整数；
八.管理中心向N个计算节点分别发送计算任务的分配信息xj,n(t+1)，以及任务的资源分配信息xj,n(t+1)Rj，xj,n(t+1)为第j个任务在第n个计算节点上分配的作业数目，xj,n(t+1)Rj,m为第j个任务占用的第n个计算节点的第m种资源数。
2.根据权利要求1所述的计算机集群资源分配系统，其特征在于，
如果数值和数值的差值的绝对值小于第一设定值，则内迭代收敛；
如果数值大于等于0并且小于第二设定值，则外迭代收敛。
3.根据权利要求2所述的计算机集群资源分配系统，其特征在于，
а＝0.5；
t初始值为1；
k初始值为1。
4.根据权利要求2所述的计算机集群资源分配系统，其特征在于，
λn,m初始值在0到1.5之间；
δj,n(in)初始值大于0且小于15；
δn,m(out)初始值大于0且小于15。
5.根据权利要求4所述的计算机集群资源分配系统，其特征在于，
xj,n初始值为1.0；
δj,n(in)初始值为0.5、1.0或10；
δn,m(out)初始值为0.5、1.0或10。
6.一种计算机集群资源分配方法，其特征在于，
管理中心根据N个计算节点的资源容量信息，生成计算机集群的资源容量矩阵，每个计算节点上有M种资源，M为正整数,N为正整数；
管理中心在J个任务到达时，依据资源调度策略，为J个任务动态分配计算节点以及节点上的资源，J为正整数；
定义资源容量矩阵C，第n个计算节点的第m种资源的容量为Cn,m，n为小于等于N的正整数，m为小于等于M的正整数；
定义作业数目矩阵x，第j个任务在第n个计算节点上分配的作业数目为xj,n；
定义作业资源需求矩阵R,第j个任务的单个作业对第m种资源的需求为Rj,m；
定义单种资源的最大比例矩阵μ，μj,n为第j个任务单个作业占用第n个计算节点上的单种资源的最大比例，j为小于等于J的正整数；
定义资源紧缺程度变量矩阵λ，λn,m为第n个计算节点的第m种资源的资源紧缺程度变量；
定义内迭代步长δ(in)，δj,n(in)为第j个任务在第n个计算节点上分配作业数目的内迭代步长，δj,n(in)＞0；
定义外迭代步长δ(out)，δn,m(out)为第n个计算节点的第m种资源的外迭代步长，δn,m(out)＞0；
定义资源分配的公平因子为а，а≥0，公平因子а的取值越大，资源分配越倾向公平；公平因子а的取值越小，资源分配越倾向效率；
所述资源调度策略包括以下步骤：
一.为公平因子а赋值，计算单种资源的最大比例矩阵μ；
启动外迭代，为外迭代步数t赋初始值；
为资源紧缺程度变量矩阵λ(t)赋初始值，λ(t)各元素λn,m初始值大于0；
为外迭代作业数目矩阵x(t)赋初始值；x(t)各元素初始值大于等于零，并且x(t)各元素为初始值时
二.启动内迭代，为内迭代步数k初始值赋值；
(1)内迭代作业数目矩阵x(k)初始值赋值为外迭代作业数目矩阵x(t)；
(2)为内迭代作业数目矩阵x(k)中的每个数值计算更新如下，
<mrow>
<msub>
<mi>x</mi>
<mrow>
<mi>j</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>j</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>&delta;</mi>
<mrow>
<mi>j</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<msub>
<mi>&mu;</mi>
<mrow>
<mi>j</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>&mu;</mi>
<mrow>
<mi>j</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
<msub>
<mi>x</mi>
<mrow>
<mi>j</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mi>a</mi>
</mrow>
</msup>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>n</mi>
<mo>,</mo>
<mi>m</mi>
</mrow>
</msub>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
<mfrac>
<msub>
<mi>R</mi>
<mrow>
<mi>j</mi>
<mo>,</mo>
<mi>m</mi>
</mrow>
</msub>
<msub>
<mi>C</mi>
<mrow>
<mi>n</mi>
<mo>,</mo>
<mi>m</mi>
</mrow>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
(3)如果xj,n(k+1)＜0,xj,n(k+1)＝0；
(4)如果内迭代收敛，则结束内迭代，进行步骤三；否则k＝k+1，跳转步骤(2)；
三.外迭代作业数目矩阵x(t+1)赋值为内迭代作业数目矩阵收敛值x(k+1)；
四.更新资源紧缺程度变量矩阵λ(t)中的每个数值，
<mrow>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>n</mi>
<mo>,</mo>
<mi>m</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>n</mi>
<mo>,</mo>
<mi>m</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>&delta;</mi>
<mrow>
<mi>n</mi>
<mo>,</mo>
<mi>m</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>o</mi>
<mi>u</mi>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>J</mi>
</munderover>
<mfrac>
<msub>
<mi>R</mi>
<mrow>
<mi>j</mi>
<mo>,</mo>
<mi>m</mi>
</mrow>
</msub>
<msub>
<mi>C</mi>
<mrow>
<mi>n</mi>
<mo>,</mo>
<mi>m</mi>
</mrow>
</msub>
</mfrac>
<msub>
<mi>x</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
<mo>(</mo>
<mrow>
<mi>t</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
五.如果λn,m(t+1)＜0,λn,m(t+1)＝0；
六.如果外迭代收敛，则结束外迭代，进行步骤七，否则t＝t+1，跳转步骤二；
七.将x(t+1)的各元素xj,n(t+1)取整数；
八.管理中心向N个计算节点分别发送计算任务的分配信息xj,n(t+1)，以及任务的资源分配信息xj,n(t+1)Rj，xj,n(t+1)为第j个任务在第n个计算节点上分配的作业数目，xj,n(t+1)Rj,m为第j个任务占用的第n个计算节点的第m种资源数。
7.根据权利要求6所述的计算机集群资源分配方法，其特征在于，
如果数值和数值的差值的绝对值小于第一设定值，则内迭代收敛；
如果数值大于等于0并且小于第二设定值，则外迭代收敛。
8.根据权利要求7所述的计算机集群资源分配方法，其特征在于，
а＝0.5；
t初始值为1；
k初始值为1。
9.根据权利要求7所述的计算机集群资源分配方法，其特征在于，
λn,m初始值在0到1.5之间；
δj,n(in)初始值大于0且小于15；
δn,m(out)初始值大于0且小于15。
10.根据权利要求9所述的计算机集群资源分配方法，其特征在于，
xj,n初始值为1.0；
δj,n(in)初始值为0.5、1.0或10；
δn,m(out)初始值为0.5、1.0或10。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210447371.5A CN103812886B (zh) | 2012-11-09 | 2012-11-09 | 计算机集群资源分配系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210447371.5A CN103812886B (zh) | 2012-11-09 | 2012-11-09 | 计算机集群资源分配系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103812886A CN103812886A (zh) | 2014-05-21 |
| CN103812886B true CN103812886B (zh) | 2018-04-17 |
Family
ID=50709085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210447371.5A Active CN103812886B (zh) | 2012-11-09 | 2012-11-09 | 计算机集群资源分配系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103812886B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105607955A (zh) * | 2015-12-23 | 2016-05-25 | 浪潮集团有限公司 | 一种计算任务分配的方法及装置 |
| CN106020968A (zh) * | 2016-05-04 | 2016-10-12 | 北京思特奇信息技术股份有限公司 | 对单主机资源和集群资源进行管控的方法及其对应的系统 |
| CN107370783B (zh) * | 2016-05-13 | 2019-12-31 | 北京金山云网络技术有限公司 | 一种云计算集群资源的调度方法及装置 |
| CN107291550B (zh) * | 2017-06-22 | 2019-11-12 | 华中科技大学 | 一种针对迭代应用的Spark平台资源动态分配方法及系统 |
| CN110750424B (zh) * | 2019-10-17 | 2023-07-04 | 北京百度网讯科技有限公司 | 资源巡检方法和装置 |
| CN110765136A (zh) * | 2019-10-30 | 2020-02-07 | 泰康保险集团股份有限公司 | 标识符的管理方法、装置、介质及设备 |
| CN115209537A (zh) * | 2022-02-22 | 2022-10-18 | 华北电力大学 | 基于三边匹配学习的空地一体化网络动态资源分配方法 |
| CN114491610B (zh) * | 2022-04-01 | 2022-07-08 | 国网浙江省电力有限公司 | 基于哈希加密算法和量子密匙的智慧共享财务平台及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101202761A (zh) * | 2007-12-04 | 2008-06-18 | 赵晓宇 | 一种分布式资源调度系统及其方法 |
| CN102148871A (zh) * | 2011-03-18 | 2011-08-10 | 浪潮(北京)电子信息产业有限公司 | 存储资源调度方法和装置 |
| CN102427475A (zh) * | 2011-12-08 | 2012-04-25 | 曙光信息产业(北京)有限公司 | 一种云计算环境中负载均衡调度的系统 |
| CN102497409A (zh) * | 2011-12-08 | 2012-06-13 | 曙光信息产业(北京)有限公司 | 一种云计算系统资源管理的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050273507A1 (en) * | 2004-06-08 | 2005-12-08 | Yong Yan | Method and system for managing heterogeneous resources across a distributed computer network |
-
2012
- 2012-11-09 CN CN201210447371.5A patent/CN103812886B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101202761A (zh) * | 2007-12-04 | 2008-06-18 | 赵晓宇 | 一种分布式资源调度系统及其方法 |
| CN102148871A (zh) * | 2011-03-18 | 2011-08-10 | 浪潮(北京)电子信息产业有限公司 | 存储资源调度方法和装置 |
| CN102427475A (zh) * | 2011-12-08 | 2012-04-25 | 曙光信息产业(北京)有限公司 | 一种云计算环境中负载均衡调度的系统 |
| CN102497409A (zh) * | 2011-12-08 | 2012-06-13 | 曙光信息产业(北京)有限公司 | 一种云计算系统资源管理的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103812886A (zh) | 2014-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103812886B (zh) | 计算机集群资源分配系统和方法 | |
| CN107534583B (zh) | 在管理节点中实现的方法和相关装置 | |
| CN102780759B (zh) | 基于调度目标空间的云计算资源调度方法 | |
| US9021477B2 (en) | Method for improving the performance of high performance computing applications on Cloud using integrated load balancing | |
| CN102902587B (zh) | 分布式任务调度方法、系统和装置 | |
| EP2255286B1 (en) | Routing workloads and method thereof | |
| US10394606B2 (en) | Dynamic weight accumulation for fair allocation of resources in a scheduler hierarchy | |
| CN111381936A (zh) | 一种分布式云系统-云簇架构下的服务容器资源的分配方法与系统 | |
| CN105471985A (zh) | 负载均衡方法及云平台计算方法、云平台 | |
| US11496413B2 (en) | Allocating cloud computing resources in a cloud computing environment based on user predictability | |
| CN110221920B (zh) | 部署方法、装置、存储介质及系统 | |
| Yang et al. | Balancing job performance with system performance via locality-aware scheduling on torus-connected systems | |
| CN111443870A (zh) | 一种数据处理的方法、设备及存储介质 | |
| CN112463395A (zh) | 一种资源分配方法、装置、设备及可读存储介质 | |
| CN115334084A (zh) | 一种基于云计算和互联网的云平台 | |
| CN111159859B (zh) | 一种云容器集群的部署方法及系统 | |
| CN102325054A (zh) | 一种分布式计算管理平台机群分级管理的自适应调整方法 | |
| CN103997515A (zh) | 一种分布式云中计算中心选择方法及其应用 | |
| CN107168805A (zh) | 一种基于虚拟机的资源调度方法 | |
| EP2965222A1 (en) | Cloud application bandwidth modeling | |
| WO2012172588A1 (ja) | リクエスト振分け計算機、リクエスト振分け方法及びプログラム | |
| JP6732693B2 (ja) | リソース割当制御システム、リソース割当制御方法、及びプログラム | |
| CN112416538B (zh) | 一种分布式资源管理框架的多层次架构和管理方法 | |
| CN111858051B (zh) | 一种适合边缘计算环境的实时动态调度方法、系统和介质 | |
| Li et al. | Topology-aware scheduling on blue waters with proactive queue scanning and migration-based job placement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |