CN103377092A - 用于动态资源管理的两级动态资源管理方法和装置 - Google Patents

Abstract

这里公开了一种集群系统环境下的资源管理方法和装置，在该集群系统环境中多个节点经由网络连接。使用集群系统的主控制器的所述资源管理方法接收期望在所述集群系统上执行的任务，生成与所接收到的任务对应的第一空闲任务，控制物理资源管理单元在物理节点中分配用于所述第一空闲任务的资源、并在所述物理节点上执行所述第一空闲任务，在所分配的资源上生成第一虚拟机，将所述第一虚拟机注册为所述集群系统的虚拟节点，在所述虚拟节点上执行所接收到的任务，以及在所接收到的任务的执行期间监视虚拟节点的资源利用，并且当所述虚拟节点处于过载状态或低负载状态时，调整所述虚拟节点。因此，当执行任务时，可取决于资源利用的状态，来动态调整资源，因此改进系统资源的利用。

Description

用于动态资源管理的两级动态资源管理方法和装置

相关申请的交叉引用

本申请要求2012年4月12日提交的韩国专利申请No.10-2012-0037937的权益，在此以引用的方式整体并入本申请中。

技术领域

本发明一般涉及在其中多个节点经由网络连接的集群系统环境下的资源管理方法和装置，并更具体地，涉及能在包括资源的集群计算环境中动态分配和管理可用资源的有效资源管理方法和装置。

背景技术

在高性能计算(HPC)领域中构成主流的分布式/并行计算环境是集群系统。进一步地，随着硬件技术的发展，构成集群的节点的资源配置已经多样化，并且个别资源所支持的容量也已增加。

用于集群系统的资源管理系统从用户接收任务执行请求，向任务分配资源，并且管理所述任务。

也就是说，在提交任务时，用户能与该任务一起提出所需的资源数量，并且资源管理系统能检测并保持个别节点的资源状态。

因此，在接收到任务执行请求时，若存在执行任务所需的可用资源，则资源管理系统为该任务分配资源。相反地，若不存在可用资源，则资源管理系统将该任务插入队列中，并且若此后能获得可用资源，则向该队列中存在的任务分配资源以执行该任务。

进一步地，资源管理系统能在任务被初始化时分配资源，并能够在该任务终止时仅仅回收资源。然而，资源管理系统并不取决于执行任务时资源的使用状态来动态调整所分配的资源。

换言之，某个现有技术包括能够在任务执行期间调整资源的功能，但是这种功能并不是系统自动实现的，而必须由用户手动执行。进一步地，另一个现有技术(在名为“Virtualization-based highly-available cluster system andfault management method in highly-available cluster system”的韩国未审查专利申请公开No.2008-0051040中公开)公开了用于在任务执行期间调整资源的技术。然而，该技术存在以下问题，即可调整的资源非常有限，并且不可能执行精细(fine-grained)的调整。

发明内容

因此，考虑现有技术中出现的上述问题，已作出了了本发明，并且本发明的一个目的是通过动态调整要取决于任务执行期间的资源利用状态而分配的资源、来最佳地利用系统资源并改进资源效率。

本发明的另一目的是在没有改变地利用传统资源管理系统的同时改进资源效率。

根据要完成上述目的的本发明的一方面，提供了一种使用集群系统的主控制器的资源管理方法，包括：接收期望在所述集群系统上执行的任务，生成与所接收到的任务对应的第一空闲任务，控制物理资源管理单元在物理节点中分配用于所述第一空闲任务的资源，并在所述物理节点上执行所述第一空闲任务，在所分配的资源上生成第一虚拟机，并将所述第一虚拟机注册为所述集群系统的虚拟节点，在所述虚拟节点上执行所接收到的任务，以及在所接收到的任务的执行期间监视所述虚拟节点的资源利用，并且当所述虚拟节点处于过载状态或低负载状态时，调整所述虚拟节点。

根据要完成上述目的的本发明的另一方面，提供了一种资源管理装置，包括：物理资源管理单元，用于当接收到要在集群系统上执行的任务时，在物理节点中分配用于与该任务对应的第一空闲任务的资源，并在所述物理节点上执行所述第一空闲任务；虚拟节点资源监视单元，用于监视与在所分配的资源上生成的第一虚拟机对应的虚拟节点的资源利用；以及主控制器用于执行控制，使得：当接收到期望在集群系统上执行的任务时，生成与所述任务对应的该第一空闲任务并将该第一空闲任务传送到所述物理资源管理单元，由所述物理资源管理单元分配的资源上的所述第一虚拟机被生成并注册为所述集群系统的所述虚拟节点，并且所接收到的任务在所述虚拟节点上执行，并使得当所述虚拟节点资源监视单元检测到在执行所接收到的任务时所述虚拟节点的过载或低负载状态时，调整所述虚拟节点。

附图说明

通过下文结合附图进行的详细描述，将更清楚地理解本发明的以上和其他目的、特征和优点，其中：

图1是示出了传统资源管理装置的图；

图2是示出了根据本发明实施例的资源管理方法的流程图；

图3是示出了根据本发明实施例的虚拟节点调整步骤的流程图；

图4是详细示出了根据本发明实施例的虚拟节点调整步骤的流程图；

图5是示出了根据本发明实施例的资源管理装置的配置的图；

图6是示出了根据本发明实施例的由资源管理装置执行任务的图；

图7是示出了根据本发明实施例的由资源管理装置在线迁移(liVemigration)任务的图；和

图8是示出了根据本发明实施例的由资源管理装置调整任务的执行的图。

具体实施方式

在下文中，将参照附图更详细地描述本发明的各个实施例。进一步地，下文的描述中使用的与组件相关的术语“单元”、“模块”和“设备”仅仅是为了本说明书描述的简洁而分派的，并可一起使用和使用硬件或软件来设计。

此外，将参照附图和图中描述的内容来详细描述本发明的实施例。但是，本发明并不约束于或限制于那些实施例。

图1是示出了传统资源管理装置的图。

根据实施例，当初始驱动集群系统的资源管理装置101时，基于设置信息来收集所述集群系统中包括的所有节点103、104和105的资源的状态。

资源的状态可包括与每个节点的中央处理单元(CPUs)的数目、存储器大小、最大网络带宽等有关的信息。

因此，当用户输入期望在所述集群系统上执行的任务时，所述资源管理装置101检查所述任务必需的资源是否可用，并然后将所述集群系统的资源分配给所述任务。

进一步地，当额外输入另一个任务时，将未被分配给先前任务的剩余资源中的所需资源分配给额外输入的任务。

此外，当不存在能被集群系统分配的剩余资源时，将所述任务插入到队列102中，并且可促使所插入的任务等待，直到获得能分配给所述任务的可用资源。

图2是示出了根据本发明实施例的资源管理方法的流程图。

首先，在步骤S201，集群系统的主控制器接收期望在所述集群系统上执行的任务。

其次，在步骤S202，生成与所接收的任务对应的第一空闲任务。

其后，在步骤S203，在物理节点中分配用于所述第一空闲任务的资源，并且在所述物理节点上执行所述第一空闲任务。

其后，在步骤S204，在所分配的资源上生成第一虚拟机。

也就是说，通过服务虚拟化生成所述虚拟机。服务虚拟化被配置为使得多个虚拟机划分并使用单个物理系统的资源，所述多个虚拟机中的每个都具有独立的CPU、存储器、网络、和操作系统(OS)等。

接下来，在步骤S205，将所生成的虚拟机注册为所述集群系统的虚拟节点，并在所注册的虚拟节点上执行任务，使得在所生成的第一虚拟机上执行所接收到的任务。

接下来，在步骤S206，在执行所接收到的任务的同时，监视所述第一虚拟机的所述虚拟节点的资源利用，并且当所述虚拟节点处于过载或低负载状态时，调整所述虚拟节点。

将参考图3和4来详细描述所述虚拟节点的调整。

也就是说，根据本发明实施例的资源管理方法能经由上述步骤执行用于有效利用资源的操作。

图3是示出了根据本发明实施例的虚拟节点调整步骤的流程图。

依据本实施例，在步骤S301，当通过生成的虚拟机执行接收到的任务时，主控制器不断地收集与所述虚拟机的所述虚拟节点的资源利用有关的信息，从而监视所述虚拟节点的资源。

在步骤S302，作为监视的结果，确定是否已检测到所述虚拟节点的过载或低负载状态。在步骤S303，如果确定已检测到所述虚拟节点的过载或低负载状态，则执行所述虚拟节点的调整。

也就是说，若所述虚拟节点处于过载状态，所述虚拟节点可被扩充，反之，若所述虚拟节点处于低负载状态，所述虚拟节点可被缩减。

将对考图4详细描述所述虚拟节点的调整。

图4是详细示出了根据本发明实施例的虚拟节点调整步骤的流程图。

在图3的检测过载状态或低负载状态的步骤中，当检测到所述虚拟节点的资源过载或者低负载时，在步骤S401，所述主控制器可将更新的资源说明和新的空闲任务传送给物理资源管理单元，并且在步骤S402，可基于所述更新的资源说明来生成新的虚拟机。也就是说，所述主控制器控制所述物理资源管理单元来在物理节点中分配用于所述第一空闲任务的资源，并在所述物理节点上执行所述第一空闲任务。

所述资源说明可包括关于执行任务所需的资源的信息。当所述虚拟节点处于过载状态时，所述更新的资源说明可以是扩充的资源说明，而当所述虚拟节点处于低负载状态时，所述更新的资源说明可以是缩减的资源说明。

接下来，在步骤S403，可以执行当前正执行的任务上的虚拟机到新生成的虚拟机的在线迁移。

所述虚拟机的在线迁移是在不中断或调整现有OS或软件的情况下，将当前在单个服务器上运行的虚拟机传送到另一服务器。

也就是说，依据实施例，由于其上注册所述虚拟节点的虚拟机从第一虚拟机变至第二虚拟机，同时保持正执行所述任务的所述虚拟节点，所以能够在不中断所述任务的情况下执行所述资源的扩充或缩减。

图5是示出了根据本发明实施例的资源管理装置的配置的图。

根据本发明实施例的资源管理装置200包括主控制器201、物理资源管理单元202、虚拟资源管理单元203、资源状态信息存储单元204、和虚拟节点资源监视单元205。

进一步地，能够使用传统资源管理系统来实现所述物理资源管理单元202和所述虚拟资源管理单元203。

所述物理资源管理单元202保持与集群中的物理节点的注册和管理、以及每个物理节点的资源分配的状态和可用资源的状态有关的信息。

进一步地，所述物理资源管理单元202所述物理节点中分配资源，并执行任务，以便执行提交给它的任务。

虚拟资源管理单元203管理在其上注册的虚拟节点。

也就是说，所述虚拟资源管理单元203保持与每个虚拟节点的资源分配状态和可用资源状态有关的信息，以及在虚拟节点中分配资源，并执行所提交的任务，以执行所述任务。

所述主控制器201可以通过管理每个虚拟机来动态管理资源。

因此，主控制器201可从用户处接收要在所述集群系统上执行的任务和所述任务所需的资源说明。

然后，所述主控制器201将空闲任务和所需的资源说明传送给所述物理资源管理单元202。这一空闲任务是这样一种任务，其需要和真实任务(工作)的资源相同的资源，但实际上并不使用任何系统资源。

所述物理资源管理单元202分配所述物理节点中所需的资源，并执行所述空闲任务。通过这个操作，在所述物理节点中生成虚拟机所需的资源可从所述物理资源管理单元202分配。进一步地，所述物理资源管理单元202能保持与已经分配给所述虚拟机的资源有关的资源分配信息。

进一步地，在从物理资源管理单元202分配资源后，所述主控制器201在所述物理节点中生成虚拟机，并将所生成的虚拟机注册为虚拟资源管理单元203的虚拟节点，使得输入的任务被传送到所述虚拟资源管理单元203，这样能够在所述虚拟节点上执行所述任务。

图6是示出了根据本发明实施例的由资源管理装置执行任务的图。

依据该实施例，在从物理资源管理单元602分配资源604后，主控制器601在第物理节点603中生成第一虚拟机605。

进一步地，将所生成的第一虚拟机605注册为虚拟资源管理单元606的节点。此外，用户的实际任务被传送到所述虚拟资源管理单元606，从而能够在所述第一虚拟机605的虚拟节点上执行所述任务。

在已完成所述任务后，可执行对物理资源和所述虚拟机的释放。

也就是说，若已完成当前正执行的任务，则所述虚拟资源管理单元606可将任务的完成通知给所述主控制器601，并且所述主控制器601可删除所述虚拟机605，并请求所述虚拟资源管理单元602取消所述空闲任务。

因此，所述物理资源管理单元602取消所述空闲任务，并释放物理节点603的资源，并然后使得资源能够返回至可用资源。

图7是示出了根据本发明实施例的由资源管理装置在线迁移任务的图。

依据本实施例，当经由图6所示的配置执行任务时，可以使用虚拟化技术来执行虚拟机的在线迁移。在线迁移是在不中断软件的情况下、将当前运行在单个服务器上的虚拟机传送至另一服务器的技术。

也就是说，可经由图7所示的配置来执行用于扩充虚拟节点的资源的虚拟机的在线迁移。

首先，当虚拟节点资源监视单元703检测到正由第一物理节点705操作的现有第一虚拟机709的资源过载时，主控制器701可执行用于执行从第一虚拟机709到第二虚拟机710的在线迁移并然后扩充资源的过程。

虚拟节点资源监视单元703不间断地监视第一虚拟机709的虚拟节点的资源状态，并收集相关信息。要被监视的资源可包括CPU、存储器和网络带宽。

进一步地，收集的资源状态信息被存储在资源状态信息存储单元702中。

其间，主控制器701具有由用户设置的资源利用的高阈值和低阈值。因此，当第一虚拟机709的资源利用在预定的或更长的时间段中保持在等于或大于高阈值的水平时，该虚拟节点被确定为处于过载状态。相反，当资源利用在预定的或更长的时间段中保持在等于或小于低阈值的水平时，该虚拟节点被确定为处于低负载状态。

因此，当捕获到过载或低负载状态时，主控制器701执行所述虚拟节点的扩充或缩减。也就是说，生成第二虚拟机710，使得在过载状态中，该虚拟节点被扩充，而在低负载状态中，虚拟节点被缩减，由此执行在线迁移。所述阈值和预定的维持时间段可取决于系统设置而改变。

也就是说，主控制器701可传送扩充的资源说明和第二空闲任务给物理资源管理单元704，以便找到新物理节点，将使用在线迁移向该新物理节点传送第一虚拟机709。

因此，物理资源管理单元可选择其中扩展资源可用的新的第二物理节点707，并重新分配资源708给第二物理节点707。

也就是说，主控制器可在第二物理节点707中生成具有扩充资源的新的第二虚拟机710，并使用第二虚拟机710执行虚拟机的在线迁移。

也就是说，其中正运行任务的第一虚拟机709上当前执行的任务可以被连续地执行而不被中断，并且甚至在执行虚拟机的在线迁移时，网络连接也可保持不变，因此在虚拟资源管理单元711上注册的虚拟节点也可以保持不变。

进一步地，经由虚拟节点资源监视单元703和资源状态信息存储单元702，主控制器701可不间断地检测与取决于任务的执行的资源利用状态有关的信息。

图8是示出了根据本发明实施例的由资源管理装置调整的任务的执行的图。

如图8所示，当完成在线迁移时，主控制器801可通过发送对于第一空闲任务的取消命令，使得在第一物理节点806中分配的资源被释放。

因此，物理资源管理单元802可响应于所述取消命令的发送，来释放在第一物理节点中分配的资源。

也就是说，通过这个操作，由于已执行虚拟机的在线迁移，所以不再必需的资源返回为可用资源，并由此可改进资源利用的效率。

进一步地，当前正执行的任务可以在第二物理节点803的第二虚拟机804上连续不断地执行，并且可通过经由虚拟资源管理单元805管理分配给第二虚拟机804的虚拟资源，来执行执行该任务所需的操作。

如上所述，当执行任务时，根据本发明配置的动态资源管理系统可取决于资源利用状态来动态调整资源，因此可防止资源的浪费或任务资源的短缺，从而改进系统资源的利用效率，并防止服务性能由于资源短缺而下降。

进一步地，本发明可使用已被开发的传统资源管理系统且不必作出改变，从而促进动态资源管理系统的发展，并改进系统的稳定性。

此外，本发明经由虚拟机执行任务，因而即使在虚拟节点中发生故障，该故障也不会传播至整个物理节点，而仅仅给该虚拟机带来有限的影响，因此允许当前在另一虚拟节点上执行的任务继续执行。

尽管本发明的优选实施例以说明的目的被公开，但是本领域技术人员将明了本发明并不受上述具体的实施例的限制，并且在不脱离如所附的权利要求公开的本发明的范围和精神的情况下，可能有多种修改。这些修改不应当与本发明的技术精神或前景分开理解。

Claims (13)

1.一种使用集群系统的主控制器的资源管理方法，包括：

接收期望在所述集群系统上执行的任务；

生成与所接收到的任务对应的第一空闲任务；

控制物理资源管理单元在物理节点中分配用于所述第一空闲任务的资源，并在所述物理节点上执行所述第一空闲任务；

在所分配的资源上生成第一虚拟机，并将所述第一虚拟机注册为所述集群系统的虚拟节点；

在所述虚拟节点上执行所接收到的任务；以及

在所接收到的任务的执行期间监视所述虚拟节点的资源利用，并且当所述虚拟节点处于过载状态或低负载状态时，调整所述虚拟节点。

2.如权利要求1所述的资源管理方法，其中所述调整所述虚拟节点的步骤包括：

当所述虚拟节点处于过载或低负载状态时，向所述集群系统的物理资源管理单元传送更新的资源说明和第二空闲任务，从而使得能够对于该第二虚拟机分配资源；

在所分配的资源上生成所述第二虚拟机；并且

允许当前正在其上执行任务的虚拟节点执行到所述第二虚拟机的在线迁移。

3.如权利要求2所述的资源管理方法，其中所述调整所述虚拟节点的步骤进一步包括：

当已完成所述虚拟节点的在线迁移后，向所述物理资源管理单元发送对于所述第一空闲任务的取消命令，从而使得分配给所述第一虚拟机的资源能够被释放。

4.如权利要求1所述的资源管理方法，其中所述调整所述虚拟节点的步骤被配置为使得，基于资源利用的预定的高阈值和预定的低阈值，如果所述虚拟节点的资源利用在预定的时间段或更长的时间段中保持在等于或大于高阈值的水平，则该虚拟节点被确定为处于过载状态，以及如果所述虚拟节点的资源利用在预定的时间段或更长的时间段中保持在等于或小于低阈值的水平，则该虚拟节点被确定为处于低负载状态。

5.如权利要求4所述的资源管理方法，其中所述预定的时间段、所述高阈值、和所述低阈值取决于系统设置而变化。

6.如权利要求1所述的资源管理方法，其中所述调整所述虚拟节点的步骤被配置为，当所述虚拟节点处于过载状态时，扩充所述虚拟节点，而当所述虚拟节点处于低负载状态时，缩减所述虚拟节点。

7.一种资源管理装置，包括：

物理资源管理单元，用于当接收到要在集群系统上执行的任务时，在物理节点中分配用于与该任务对应的第一空闲任务的资源，并在所述物理节点上执行所述第一空闲任务；

虚拟节点资源监视单元，用于监视与在所分配的资源上生成的第一虚拟机对应的虚拟节点的资源利用；以及

主控制器用于执行控制，使得当接收到期望在集群系统上执行的任务时，生成与所述任务对应的该第一空闲任务并将该第一空闲任务传送到所述物理资源管理单元，由所述物理资源管理单元分配的资源上的所述第一虚拟机被生成并注册为所述集群系统的所述虚拟节点，并且所接收到的任务在所述虚拟节点上执行，并使得当所述虚拟节点资源监视单元检测到在执行所接收到的任务时所述虚拟节点的过载或低负载状态时，调整所述虚拟节点。

8.如权利要求7所述的资源管理装置，其中所述主控制器执行控制，使得如果所述虚拟节点资源监视单元检测到所述虚拟节点的过载或低负载状态，则向所述物理资源管理单元传送更新的资源说明以及第二空闲任务，生成第二虚拟机，并执行当前正在执行的任务向所述第二虚拟机的在线迁移。

9.如权利要求8所述的资源管理装置，其中该主控制器被配置为，当已执行当前正执行的任务向所述第二虚拟机的在线迁移时，终止所述第一虚拟机，并向所述物理资源管理单元传送对于所述第一空闲任务的取消命令，从而使得分配至所述第一虚拟机的资源被释放。

10.如权利要求7所述的资源管理装置，其中所述虚拟节点资源监视单元被配置使得，基于资源利用的预设的高阈值和预设的低阈值，如果所述虚拟节点的资源利用在预定的时间段或更长的时间段中保持在等于或大于高阈值的水平，则该虚拟节点被确定为处于过载状态，而如果所述虚拟节点的资源利用在预定的时间段或更长的时间段中保持在等于或小于低阈值的水平，则该虚拟节点被确定为处于低负载状态。

11.如权利要求10所述的资源管理装置，其中所述预设的时间段、所述高阈值、和所述低阈值取决于系统设置而改变。

12.如权利要求7所述的资源管理装置，其中所述主控制器被配置为，当所述虚拟节点处于过载状态时，扩充所述虚拟节点，而当所述虚拟节点处于低负载状态时，缩减所述虚拟节点。

13.如权利要求8所述的资源管理装置，其中所述主控制器被配置为，当已完成所述第二虚拟机上正执行的任务时，终止所述第二虚拟机，并向所述物理资源管理单元传送对于所述第二空闲任务的取消命令，从而使得分配给所述第二虚拟机的资源被释放。

Images