CN101916209B

CN101916209B - 一种多核处理器集群任务资源分配方法

Info

Publication number: CN101916209B
Application number: CN2010102474729A
Authority: CN
Inventors: 柴亚辉; 熊李艳; 胡林峰; 刘觉夫; 谢昕; 刘建辉
Original assignee: East China Jiaotong University
Current assignee: East China Jiaotong University
Priority date: 2010-08-06
Filing date: 2010-08-06
Publication date: 2012-11-21
Anticipated expiration: 2030-08-06
Also published as: CN101916209A

Abstract

一种多核处理器集群任务资源分配方法，该方法根据接收用户所提交到该集群上的作业任务，以CPU资源节点为基本分配单元，进行任务分配，构成任务资源分配器。所述任务资源分配器将集群上的资源映射为一个M×N的矩阵AR。在为该任务寻找空闲资源位置时，本方法均匀地将任务分散分配所需要的资源到节点上，使每个任务所占用的资源节点位置上有一定的间隔。该方法避免了以往任务分配算法中，任务过分集中于某一区域，时间一长时造成该区域突然产生大量的热能集中，局部芯片温度过高，影响计算机的正常工作效率的问题。本方法采用的任务调度算法是一个在线的实时任务调度算法，在多核处理器集群系统的作业与任务管理中有很好的应用前景。

Description

一种多核处理器集群任务资源分配方法

技术领域

本发明涉及一种多核处理器集群任务资源分配方法，属于高性能计算与计算机集群技术领域。

背景技术

随着集成电路进入深亚微米及纳米工艺后，多核处理器的设计面临着一系列新的问题，而功耗就是其中至关重要的一方面。处理器的功耗不但在很大程度上影响着芯片的封装、测试以及系统可靠性等，还在很大程度上决定着片上系统和移动设备的发展，CPU产生的热量已经开始严重影响到CPU频率的提升。

在由多核处理器为计算节点构成的集群系统上，散热的问题一直是一个很大的问题。传统的散热技术主要有CPU风扇、空调、液体制冷技术等。其实，我们在使用集群系统时，任务资源分配策略的好坏，对功耗以及集群系统的散热也会产生很大的影响。随着在CPU上集成的计算核的数目越来越多，由双核到4核、8核甚至众核，计算机的各个核在高负荷运行时，会产生比空闲状态时多出好多的热量。在集群的体系架构中，每个机柜中紧密存放了多台刀片式多核服务器作为计算节点。如果这些计算节点同时满负荷运行，则产生的热量会使CPU的温度快速升高，甚至会出现过热的现象，会影响到集群的系统性能，有时会迫使集群管理系统对某温度过高的计算节点进行强行关机，以保护CPU。

对于多核处理器使用与管理，已有一些公开的报道。公开号CN101403982公开了一种多核处理器的任务分配方法、系统及设备，任务分配器根据状态寄存器的状态判断处理器内核是否空闲；任务分配器通过传输通道向空闲的处理器内核传输消息包。公开号101464813公开了一种用于多核处理器上的自动工作量分配的系统和方法。公开号CN101114186公开了一种用于控制多核心处理器中发热的方法和设备。公开号101010655公开了一种协调多核处理器中的空闲状态转换的方法，用于在具有多个核心的处理器的核心检测命令，其中该命令请求该核心转换到空闲状态。根据该命令和多核的每一个的空闲状态情况来管理该核心的功率消耗。

本发明提出了一个与上述方法不同的任务资源分配方法，在对集群上运行的任务根据物理位置均匀分配所需要资源，有效地防止作业过分集中在某一区域而引起局部计算节点温度过热的现象。

发明内容

本发明的目的是，为了有效地防止多核处理器作业过分集中在某一区域，造成集群资源利用不均衡，同时因多核处理器的功耗问题，造成计算机产生的大量热量不能及时散发的问题。本发明提出一种基于计算节点均匀定位的任务资源分配器，使得在多核处理器集群上所运行的任务能够均匀地分布在该集群的资源节点上。

本发明解决其技术问题所采用的技术方案是：所述方法根据用户所提交到该集群上的作业任务，以CPU为基本分配单元，进行任务分配，构成任务资源分配器。任务资源分配器将集群上的资源映射为一个M×N的矩阵AR，矩阵中M代表每个机柜中的CPU节点数目，N代表机柜的数目，则其中的任一资源节点为A_i，j，其中1＜＝i＜＝M，0＜＝j＜＝N；资源状态矩阵表示集群上的资源状态，标志F_i，j表示该资源上是否有正在运行的任务，如果F_i，j＝1表示有任务在其上运行，F_i，j＝0表示该节点是空闲节点。

任务资源分配器的分配方法如下：

第1步：任务资源分配器从用户提交的任务队列中取出排在第一位的任务，确认其所需要的资源，查看空闲资源数量是否能够满足用户的资源需求；如果用户任务的资源需求大于集群总的资源数量，则拒绝该任务；如果当前空闲资源不能满足其资源需求，则将该任务重新放入任务提交队列中的末尾。如果当前空闲资源能够满足该用户需求，则转第2步。

第2步：任务资源分配器查看当前空闲资源的排列情况，如果该作业是集群上提交的第一个作业，则从资源队列的位置(0，0)开始算起。否则，从上次提交任务时，所选中的最后一个资源节点位置(X，Y)开始算起，转第3步。

第3步：在为该任务寻找空闲资源位置时，根据两个参数P与Q的设定值进行资源定位。其中P代表在资源矩阵中行的初始跳变数(1＜P＜N)，Q代表列的跳变数(1＜Q＜M)，如(P，Q)＝(4，2)，表示当前节点位置的下一节点位置(U，V)为((i+4)mod M，(j+2)mod N)。如果下一位置已经被任务占用，转第4步。

第4步：在(U，V)的四周的四个项点位置寻找空闲位置，这4个顶点位置坐标依次为((U+1)mod M，(V+1)mod N)、((U+1)mod M，(V-1)modN)、((U-1)mod M，(V-1)mod N)、((U-1)mod M，(V+1)mod N)，如果在这4个节点中找到空闲位置，则选中该位置。如果没有找到空闲位置，转第5步。

第5步：在(U，V)的四周的四个位置中寻找空闲位置，这4个位置坐标依次为(U，(V+1)mod N)、((U+1)mod M，V)、(U，(V-1)mod N)、((U+1)mod M，V)，如果在这4个节点中找到空闲位置，则选中该位置。如果没有找到空闲位置，转第6步。

第6步，将下一位置定位在(U，V)＝((U+random(1，M-1))mod M，(V+random(1，N-1))mod N)，如果该节点为空闲节点，则转选定该节点，如果该任务所需要资源已经全部满足，则此次任务资源匹配工作完成，转第1步。如果还不能满足该任务资源需求，转第3步。如果该节点为非空闲节点，则转第4步。

本发明提出的任务分配策略，将集群资源映射为一个二维矩阵，将任务均匀地分散分配到空闲计算资源节点上。以往任务分配算法中，往往不考虑计算资源的物理位置，而造成任务过分集中于某一区域，时间一长，会造成该区域的计算资源满负荷工作。由于多核处理器的功耗的增大，造成该区域突然产生大量的热能，时间一长会造成局部芯片温度过高，从而影响计算机的正常工作效率。本发明提出的任务资源分配方法避免了这种情况的出现，从而使集群上的各个计算资源节点能够充分散热，使相邻节点之间的热效应影响尽量降低。

本发与现有技术比较的有益效果是，本发明提出的任务分配方法，将集群资源映射为一个二维矩阵，将任务均匀地分散分配到空闲计算资源节点上。该方法避免了以往任务分配算法中，任务过分集中于某一区域，时间一长时造成该区域突然产生大量的热能集中，局部芯片温度过高，影响计算机的正常工作效率的问题。本方法采用的任务调度算法是一个在线的实时任务调度算法，在多核处理器集群系统的作业与任务管理中有很好的应用前景。

附图说明

图1是实现该任务资源调度方法的功能结构图；

图2是调度器调度方法流程示意图；

图3是任务资源分配方法在某一时刻T的任务资源分布图；

图4是在时刻T的资源状态矩阵图；

在图2中，1表示在不同的调度时刻，每次有新任务被调度时，P，Q值是可以改变的，也可以保持不变；2表示的公式(U，V)＝((U+random(1，M-1))mod M，(V+random(1，N-1))mod N)的意义为U上取一个1到M-1之间的一个随机整数作为新的U的位置间隔数，V上取一个1到N-1之间的一个随机整数作为新的V的位置间隔数。

具体实施方式

本发明一种多核处理器集群任务资源分配方法的实施例实现的软件环境为多核处理器集群管理平台。

图1是本发明实施例实现该任务资源分配方法的功能结构图，主要包括以下功能模块。

(1)提交任务队列。该功能模块是任务资源分配与用户之间的一个接口，它负责将用户提交的任务放到用户提交任务队列中，并按一定的排序算法对提交任务进行排队。队列可以为空，表明没有新提交的任务或者是以前所提交的任务已经全部进入了集群系统。

(2)行列跳数设置器。该功能模块是对在对任务进行物理资源定位时的一个决策依据的设置。两个参数P(1＜P＜M)与Q(1＜Q＜N)的设定值进行资源定位。其中P代表在资源矩阵中行的初始跳变数，Q代表列的跳变数，如(P，Q)＝(4，2)，表示当前节点位置的下一节点位置(U，V)为((i+4)mod M，(j+2)mod N)。

(3)节点位置暂存器。该功能模块是在对定位到的位置上已经有任务运行时，需要在该位置的周围位置进行新位置定位时，需要根据一定的新位置定位算法将那些位置暂存，以便确定新的位置。

(4)计算资源矩阵。该功能模块是将集群上的资源映射为一个M×N的矩阵AR。其中M代表每个机柜中的CPU节点数目，N代表机柜的数目。则其中的任一资源节点A_i，j，其中0＜i＜＝M，0＜j＜＝N。如果该A_i，j的值为1，表示该节点资源是有效资源，可以被调度器使用。

(5)资源状态矩阵。该功能模块是将集群上的资源矩阵AR上的每个资源节点的是否有任务在运行进行标识。任一资源节点A_i，j的值为0表示该资源节点是空闲状态，值为1表示该节点为任务占用状态，如果值小于0，则表示该资源节点其它状态，如故障状态等。

(6)任务状态监控器。该功能模块主要是监控提交到集群上的各个任务的生命周期状态，如：正在提交状态、正在运行状态、故障状态、运行结束状态等。根据任务的不同的状态之间切换时，通知相应的功能模块。如：由正在提交状态变为正在运行状态时，修改资源状态矩阵上相应的该任务所占用的资源状态为1状态。当任务由正在运行状态变为运行结束状态时，通知资源回收器收回该资源。

(7)资源回收器。该功能模块主要是负责对资源的回收与管理。当任务运行结束时，该功能模块将此任务对应的资源节点的状态置0，并修改当前空闲资源节点数量。

(8)任务资源分配器。该模块是实现本发明方法的核心功能模块，它与其它各功能模块进行交互。当任务提交队列不为空时，从中取出任务，按本发明所提出的调度方法将该任务调度到对应的资源节点上。

图2所描述的是一个实施本发明任务资源分配方法的一个任务资源分配器的实现过程，体现了本发明中任务资源分配方法的含义。

图3与图4为本发明实施例任务资源分配方法在一个10×8资源矩阵上的在时刻T的任务资源分布图。如图3所示，在该集群资源系统上，共有4个计算任务在运行，分别为T1、T2、T3与T4。其中T1占用了5个CPU资源节点，分别为R(1，1)、R(5，3)、R(9，5)、R(3，7)与R(7，1)；T2占用了2个CPU资源节点，分别为R(1，3)与R(5，5)；T3占用了一个CPU资源节点，为R(9，7)；T4占用了5个CPU资源节点，分别为R(4，2)、R(8，6)、R(3，1)、R(8，4)与R(2，8)。图4为此时刻T时的资源状态矩阵图，0表示资源空闲，1表示资源正在被某个任务所占用。

假设任务的到达顺序为T1、T2、T3、T4。在任务T1到达时，此时全部资源空闲，则初始位置为R(1，1)，此时P＝4、Q＝2，则依据本发明的算法，任务T1所占用的资源节点为R_T11＝(1，1)，R_T12＝((1+4)mod 10，(1+2)mod 8)＝(5，3)，R_T13＝((5+4)mod 10，(3+2)mod 8)＝(9，5)，R_T14＝((9+4)mod 10，(5+2)mod 8)＝(3，7)，R_T15＝((3+4)mod 10，(7+2)mod 8)＝(7，1)。此时T1任务的资源分配完毕。T2到达，此时，P＝4，Q＝2不变，则初始位置为((7+4)mod 10，(1+2)mod 8)＝(1，3)，T2所占用的资源节点为R_T21＝(1，3)，R_T22＝((1+4)mod 10，(3+2)mod 8)＝(5，5)。T3到达，此时，P＝4，Q＝2不变，则

初始位置为((5+4)mod 10，(5+2)mod 8)＝(9，7)，T3所占用的资源节点为R_T31＝(9，7)。T4到达，此时，P＝5，Q＝3。由于P与Q值发生了变化，此时，初始位置为((9+5)mod 10，(7+3)mod 8)＝(4，2)。T4所占用的资源节点为R_T41＝(4，2)，R_T42＝((4+5)mod 10，(2+3)mod 8)＝(9，5)。但此时(9，5)不是空闲节点，则根据本发明方法中的调度算法，选取(9，5)的右上角节点(8，6)。此时(8，6)为空闲节点，则R_T42＝(8，6)。则R_T43＝((8+5)mod 10，(6+3)mod 8)＝(3，1)，R_T44＝((3+5)mod 10，(1+3)mod8)＝(8，4)，R_T45＝((8+5)mod 10，(4+3)mod 8)＝(3，7)。但此时，(3，7)不是空闲节点，则根据本发明方法中的调度算法，选取(3，7)的右上角节点(2，8)。此时(2，8)为空闲节点，则R_T45＝(2，8)。

所有资源节点使用情况如图3与图4所示。在图3中，浅灰色小方格的地方为任务运行占用资源节点，节点上的名称表示是哪个任务在该资源节点上运行。在图4中，左边的数字表示的是每个机柜所拥有的节点数的位置(1到10)，而上边的数字表示的机柜的数目的位置(1-8)，则它们构成一个二维矩阵。矩阵中某一点的值为1，表明该节点为任务占用资源状态，如果值为0，表示该资源节点目前是空闲状态。

Claims

1.一种多核处理器集群任务资源分配方法，其特征在于，所述方法根据用户所提交到该集群上的作业任务，以CPU资源节点为基本分配单元，由任务资源分配器进行任务分配；

任务资源分配器将集群上的资源映射为一个M×N的矩阵AR，矩阵中M代表每个机柜中的CPU节点数目，N代表机柜的数目；则其中的任一资源节点为A_i，j，其中0＜i＜＝M，0＜j＜＝N；

资源状态矩阵表示集群上的资源状态，标志F_i，j表示该资源上是否有正在运行的任务；如果F_i，j＝1表示有任务在其上运行，F_i，j＝0表示该节点是空闲节点；

所述任务资源分配器的分配方法如下：

第1步：任务资源分配器从用户提交任务队列中取出排在第一位的任务，确认其所需要的资源，查看空闲资源数量是否能够满足用户的资源需求；如果用户任务的资源需求大于集群总的资源数量，则拒绝该任务；如果当前空闲资源不能满足其资源需求，则将该任务重新放入任务提交队列的末尾；如果当前空闲资源能够满足该用户需求，则转第2步；

第2步：任务资源分配器查看当前空闲资源的排列情况，如果该作业是集群上提交的第一个作业，则从资源队列的位置(0，0)开始算起；否则，从上次提交任务时，所选中的最后一个资源节点位置(X，Y)开始算起，转第3步；

第3步：在为该任务寻找空闲资源位置时，根据两个参数P与Q的设定值进行资源定位，其中P代表在资源状态矩阵中行的初始跳变数(1＜P＜N)，Q代表列的跳变数(1＜Q＜M)，如(P，Q)＝(4，2)，表示当前节点位置的下一节点位置(U，V)为((i+4)mod M，(j+2)mod N)，如果下一位置已经被任务占用，转第4步；

第4步：在(U，V)的四周的四个项点位置寻找空闲位置，这4个顶点位置坐标依次为((U+1)mod M，(V+1)mod N)、((U+1)mod M，(V-1)modN)、((U-1)mod M，(V-1)mod N)、((U-1)mod M，(V+1)mod N)，如果在这4个节点中找到空闲位置，则选中该位置，如果没有找到空闲位置，转第5步；

第5步：在(U，V)的四周的四个位置中寻找空闲位置，这4个位置坐标依次为(U，(V+1)mod N)、((U+1)mod M，V)、(U，(V-1)mod N)、((U+1)mod M，V)，如果在这4个节点中找到空闲位置，则选中该位置，如果没有找到空闲位置，转第6步；

第6步，将下一位置定位在(U，V)＝((U+random(1，M-1))mod M，(V+random(1，N-1))mod N)，如果该节点为空闲节点，则转选定该节点，如果该任务所需要资源已经全部满足，则此次任务资源匹配工作完成，此任务对应的资源节点的状态置0，并修改当前空闲资源节点数量，转第1步；如果还不能满足该任务资源需求，转第3步；如果该节点为非空闲节点，则转第4步。