CN107908479A - 一种节点资源分配方法及装置 - Google Patents

一种节点资源分配方法及装置 Download PDF

Info

Publication number
CN107908479A
CN107908479A CN201711306015.0A CN201711306015A CN107908479A CN 107908479 A CN107908479 A CN 107908479A CN 201711306015 A CN201711306015 A CN 201711306015A CN 107908479 A CN107908479 A CN 107908479A
Authority
CN
China
Prior art keywords
node
resource
task process
actual use
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711306015.0A
Other languages
English (en)
Other versions
CN107908479B (zh
Inventor
赵慰
李军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201711306015.0A priority Critical patent/CN107908479B/zh
Publication of CN107908479A publication Critical patent/CN107908479A/zh
Application granted granted Critical
Publication of CN107908479B publication Critical patent/CN107908479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5018—Thread allocation

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开一种节点资源分配方法及装置，所述方法在任务进程在节点上运行的过程中，检测该任务进程对所述节点的节点资源的实际使用信息，在此基础上，基于检测的任务进程对节点资源的实际使用信息并结合节点的资源剩余信息，调整为任务进程所分配的节点资源的资源量，并基于调整后的资源量对任务进程进行节点资源的重新分配。由此可见，本发明提出了在任务进程运行过程中，基于任务进程对节点资源的实际使用信息并结合节点的资源剩余信息，对任务进程的节点资源进行动态调整、分配的方案，与现有技术的预分配方式相比，可有效降低任务进程运行过程中对节点资源的浪费，从而提升了节点的资源利用率。

Description

一种节点资源分配方法及装置
技术领域
本发明属于集群节点的资源调度技术领域，尤其涉及一种节点资源分配方法及装置。
背景技术
目前，在云计算集群环境中，通常使用预分配的方式为待处理任务分配CPU(CentralProcessing Unit，中央处理器)资源，具体而言，预估待处理任务的CPU资源使用量，并根据预估结果实现资源预分配，之后，任务的进程基于预分配的资源进行全生命周期的运行。
实际应用中，由于无法精确预估待处理任务的CPU资源实际使用量，且在待处理任务的进程运行过程中，其CPU资源使用情况往往存在波动，从而一般会为待处理任务预分配一个较大、较为宽裕的资源量，这将不可避免地导致任务进程运行过程中为其分配的资源经常存在浪费，从而使得集群节点的资源利用率较低。
发明内容
有鉴于此，本发明的目的在于提供一种节点资源分配方法及装置，旨在克服现有技术存在的资源浪费的问题，提升集群节点的资源利用率。
为此，本发明公开如下技术方案：
一种节点资源分配方法，包括：
在任务进程在节点上运行的过程中，检测所述任务进程对所述节点的节点资源的实际使用信息；其中，所述任务进程基于当前已分配的节点资源运行；
基于所述实际使用信息并结合所述节点的资源剩余信息，调整为所述任务进程所分配的节点资源的资源量，并基于调整后的资源量对所述任务进程进行节点资源的重新分配。
上述方法，优选的，所述实际使用信息包括所述任务进程对所述节点的节点资源的实际使用量；
则所述检测所述任务进程对所述节点的节点资源的实际使用信息，包括：
以预定的时间间隔检测所述任务进程对所述节点的节点资源的实际使用量。
上述方法，优选的，所述资源剩余信息包括所述节点的资源剩余量；
则所述基于所述实际使用信息并结合所述节点的资源剩余信息，调整为所述任务进程所分配的节点资源的资源量，包括：
若所述实际使用量小于当前的资源动态分配参考值，则基于所述实际使用量及所述节点的资源剩余量，降低为所述任务进程所分配的节点资源的资源量；
若所述实际使用量不小于所述资源动态分配参考值，则基于所述实际使用量及所述节点的资源剩余量，提升为所述任务进程所分配的节点资源的资源量。
上述方法，优选的，所述若所述实际使用量小于当前的资源动态分配参考值，则基于所述实际使用量及所述节点的资源剩余量，降低为所述进程所分配的节点资源的资源量，进一步包括：
若D(P)＜C(P)，则调整C(P)为C1(P)，其中，C1(P)＝max(D(P),A(P)*R)；D(P)表示所述进程当前对节点资源的实际使用量，C(P)表示当前的资源动态分配参考值，A(P)表示对所述进程的节点资源量的预分配值，R表示基于所述A(P)的进程节点资源的最小保护比例，所述最小保护比例用于使得在为所述任务进程分配节点资源时，所分配的节点资源不低于A(P)*R；当所述任务进程被调度到所述节点时，所述C(P)被初始化，且初始化值为A(P)*R；
当C(P)调整为C1(P)后，计算所述节点的节点资源剩余量T1，其中，T1＝T+C(P)-max(D(P)，A(P)*R)T表示C(P)调整之前所述节点的节点资源剩余量；
将为所述进程所分配的节点资源的资源量调整为C1(P)+B1(P)*T1’；其中，T1’表示当前对节点中所有进程进行资源动态分配参考值调整后节点的资源剩余量，B1(P)表示C(P)调整为C1(P)后，所述进程对所述节点的节点资源的占用比例，B1(P)＝C1(P)/C1，C1表示C(P)调整为C1(P)以及对节点中除所述任务进行之外的其他所有进程的资源动态分配参考值进行调整后，所述节点中所有进程当前的资源动态分配参考值之和。
上述方法，优选的，所述若所述实际使用量不小于相应的资源量参考基准值，则基于所述实际使用量及所述节点的资源剩余量，提升为所述进程所分配的节点资源的资源量，进一步包括：
若D(P)＞＝C(P)，则调整C(P)为C2(P)，其中，C2(P)＝min(D(P),A(P))；
计算调整C(P)为C2(P)后，所述节点的节点资源剩余量T2，其中，T2＝T+C(P)-min(D(P),A(P))；
将为所述进程所分配的节点资源的资源量调整为C2(P)+B2(P)*T2’；其中，T2’表示当前对节点中所有进程进行资源动态分配参考值调整后节点的资源剩余量，B2(P)表示调整所述C(P)为C2(P)后，所述进程对所述节点的节点资源的占用比例，B2(P)＝C2(P)/C2，C2表示调整所述C(P)为C2(P)以及对节点中其他所有进程的资源动态分配参考值进行调整后，所述节点中所有进程当前的资源动态分配参考值之和。
上述方法，优选的，在所述检测进程对所述节点的节点资源的实际使用信息之前还包括：
当将所述任务进程调度到所述节点时，基于为所述任务进程所设定的节点资源的最小保护比例及所述节点的资源剩余量，对所述任务进程进行节点资源分配。
上述方法，优选的，所述当将所述进程调度到所述节点时，基于为所述进程所设定的节点资源的最小保护情况及所述节点的资源剩余情况，对所述进程进行节点资源分配，包括：
当将所述进程调度到所述节点时，初始化所述进程的资源动态分配参考值C(P)＝A(P)*R；其中，A(P)表示对所述进程的节点资源量的预分配值，R表示基于所述A(P)的进程节点资源的最小保护比例；
计算当前所述进程对所述节点的节点资源的占用比例，B(P)＝C(P)/C；其中，C表示所述节点中当前所有已分配资源的进程当前的资源动态分配参考值之和；
计算需为所述节点分配的节点资源的资源量为C(P)+B(P)*T，并基于计算出的所述资源量C(P)+B(P)*T对所述进程进行节点资源分配；其中，T表示所述节点当前的资源剩余量，T＝T总-C，T总表示所述节点的节点资源总量。
一种节点资源分配装置，包括：
检测单元，用于在任务进程在节点上运行的过程中，检测所述任务进程对所述节点的节点资源的实际使用信息；其中，所述任务进程基于当前已分配的节点资源运行；
动态分配单元，用于基于所述实际使用信息并结合所述节点的资源剩余信息，调整为所述任务进程所分配的节点资源的资源量，并基于调整后的资源量对所述任务进程进行节点资源的重新分配。
上述装置，优选的，所述实际使用信息包括所述任务进程对所述节点的节点资源的实际使用量；所述资源剩余信息包括所述节点的资源剩余量；
则所述动态分配单元，进一步用于：
若所述实际使用量小于当前的资源动态分配参考值，则基于所述实际使用量及所述节点的资源剩余量，降低为所述任务进程所分配的节点资源的资源量；若所述实际使用量不小于所述资源动态分配参考值，则基于所述实际使用量及所述节点的资源剩余量，提升为所述任务进程所分配的节点资源的资源量。
上述装置，优选的，还包括：
初始分配单元，用于在将所述任务进程调度到所述节点时，基于为所述任务进程所设定的节点资源的最小保护情况及所述节点的资源剩余情况，对所述任务进程进行节点资源分配。
由以上方案可知，本发明提供的节点资源分配方法及装置，在任务进程在节点上运行的过程中，检测该任务进程对所述节点的节点资源的实际使用信息，在此基础上，基于检测的任务进程对节点资源的实际使用信息并结合节点的资源剩余信息，调整为任务进程所分配的节点资源的资源量，并基于调整后的资源量对任务进程进行节点资源的重新分配。由此可见，本发明提出了在任务进程运行过程中，基于任务进程对节点资源的实际使用信息并结合节点的资源剩余信息，对任务进程的节点资源进行动态调整、分配的方案，与现有技术的预分配方式相比，可有效降低任务进程运行过程中对节点资源的浪费，从而提升了节点的资源利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明实施例一提供的节点资源分配方法流程图；
图2是本发明实施例二提供的节点资源分配方法流程图；
图3是本发明实施例三提供的节点资源分配方法流程图；
图4-图5是本发明实施例四提供的节点资源分配装置的结构示意图。
具体实施方式
为了引用和清楚起见，下文中使用的技术名词、简写或缩写总结解释如下：
云计算集群环境：一个计算集群中存在大量服务器，并在其中的一个服务器中存在一个任务调度器；某个计算任务，设定自己对cpu、内存、磁盘等资源的需求量，提交到调度器，调度器选择一个满足该任务所有需求的服务器，利用选择的服务器分配任务所需的这些资源，并利用这些资源启动任务。
Cgroups：全称为Control groups，是Linux系统中一种控制进程使用有限cpu、内存、IO带宽、子进程数目等多种资源的机制。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明实施例一提供一种节点资源分配方法，该方法可应用于但不局限于云计算集群等环境中，云计算集群中一般存在大量的服务器作为各个集群节点，并在其中的一个服务器中存在一个任务调度器，基于此，本发明方法可进一步应用于云计算集群等环境中用于进行任务调度的集群节点中，示例性地，比如具体可应用于云计算集群环境中用于进行任务调度的服务器所包含的任务调度器中，以克服现有技术在进行节点资源分配时所存在的资源浪费的问题，提升集群节点的资源利用率。接下来，将对本发明方法进行详细阐述。
参考图1示出的一种节点资源分配方法流程图，该方法可以包括以下步骤：
步骤101、在任务进程在节点上运行的过程中，检测所述任务进程对所述节点的节点资源的实际使用信息；其中，所述任务进程基于当前已分配的节点资源运行。
本步骤中所述节点可以为云计算集群等环境中的服务器节点，所述节点资源具体可以为集群中服务器节点的CPU资源。
在将所需处理的任务调度到集群中某一节点上，并在该节点上对该任务的任务进程进行运行过程中，为了克服现有技术的预分配方式所存在的节点资源浪费问题，本实施例提出在任务进程运行过程中，检测任务进程对节点资源的实际使用信息，该实际使用信息比如可以包括任务进程对节点资源的实际使用量等，以使得后续可基于任务进程对节点资源的实际使用信息，来对任务进程的节点资源进行动态调整、分配。
在任务进程运行过程中，可采用实时检测或周期性检测等方式，来检测任务进程对服务器节点的节点资源的实际使用量，本实施例优选地采用周期性检测方式，以预定的时间间隔对任务进程的节点资源实际使用量进行周期性检测。
本步骤具体利用Cgroups对进程CPU资源的限制功能，来监测任务进程对服务器节点的CPU资源的实际使用量。
步骤102、基于所述实际使用信息并结合所述节点的资源剩余信息，调整为所述任务进程所分配的节点资源的资源量，并基于调整后的资源量对所述任务进程进行节点资源的动态再分配。
在检测出任务进程对服务器节点的CPU资源的实际使用量基础上，本步骤基于检测出的实际使用量并结合所述节点的资源剩余量，对该任务进程的节点资源的资源量进行动态调整、分配，比如，在检测出任务进程对节点资源的实际使用量较少，从而对已分配的节点资源的利用率较低时，可适当降低为该任务进程所分配的资源量，以降低任务进程对节点资源的浪费，在检测出任务进程对节点资源的实际使用量较高时，为避免出现资源不足的情况，可适当提升为该任务进程所分配的资源量。
由以上方案可知，本发明提供的集群节点的资源分配方法，在任务进程在节点上运行的过程中，检测该任务进程对所述节点的节点资源的实际使用信息，在此基础上，基于检测的任务进程对节点资源的实际使用信息并结合节点的资源剩余信息，调整为任务进程所分配的节点资源的资源量，并基于调整后的资源量对任务进程进行节点资源的重新分配。由此可见，本发明提出了在任务进程运行过程中，基于任务进程对节点资源的实际使用信息并结合节点的资源剩余信息，对任务进程的节点资源进行动态调整、分配的方案，与现有技术的预分配方式相比，可有效降低任务进程运行过程中对节点资源的浪费，从而提升了节点的资源利用率。
实施例二
本实施例二提供所述步骤102的具体实现方案，参考图2示出的一种节点资源分配方法流程图，本实施例中，所述步骤102可以通过以下处理过程实现：
步骤1021、若所述实际使用量小于当前的资源动态分配参考值，则基于所述实际使用量及所述节点的资源剩余量，降低为所述任务进程所分配的节点资源的资源量；
步骤1022、若所述实际使用量不小于所述资源动态分配参考值，则基于所述实际使用量及所述节点的资源剩余量，提升为所述任务进程所分配的节点资源的资源量。
具体而言，若任务进程在服务器节点上运行过程中，对服务器节点的节点资源实际使用量小于当前的资源动态分配参考值，则表示任务进程对所分配的节点资源如CPU资源的利用率较低，针对该情况，为了减少节点资源浪费，本实施例基于所述实际使用量及所述节点的资源剩余量，降低为所述任务进程所分配的节点资源的资源量；
反之，若任务进程对节点资源的实际使用量不小于所述资源动态分配参考值，即大于等于所述资源动态分配参考值，则表示任务进程对节点资源的需求量较高，针对该情况，本实施例基于所述实际使用量及所述节点的资源剩余量，提升为所述任务进程所分配的节点资源的资源量，以满足所述任务进程对节点资源的实际需求。
所述资源动态分配参考值可作为一个阈值使用，用于衡量任务进程对节点资源的实际使用量的高低，在任务进程运行过程中，该资源动态分配参考值会根据任务进程实际使用的资源量进行调整，具体调整情况参见下文的描述。
具体地，针对被调度到服务器节点的任务进程P，本实施例为其设定一个节点资源的预分配值A(P)，该预分配值A(P)可结合任务实际情况及过往经验来设定。并针对该预分配值A(P)为任务进程P设定一个节点资源的最小保护比例R，该最小保护比例是指在为任务进程P分配节点资源时，所分配的节点资源量占所述预分配值A(P)的最低比例阈值，也就是说，在后续为任务进程P动态调整、分配节点资源时，所分配的CPU资源量不小于A(P)*R。同时假设任务进程P在运行过程中对CPU资源的实际使用量为D(P)，任务进程P的资源占用比例为B(P)，任务进程P所在的服务器节点的CPU资源剩余量为T，任务进程P的资源动态分配参考值为C(P)，并在将任务进程P调度到所述服务器节点上时，对所述C(P)进行初始化，C(P)的初始化值为A(P)*R。
在此基础上，在任务进程P在服务器节点上运行的过程中，以固定时间间隔周期性检测任务进程P的对节点资源的实际使用量D(P)，实际应用中，可以固定时间间隔检测服务器节点上所有进程(包括所述任务进程P在内)的资源的实际使用量。
基于检测结果，当D(P)＜C(P)时，则表示任务进程P对已分配的节点资源未能充分利用，从而对已分配的节点资源的利用率较低，针对该情况，本实施例调整C(P)为C1(P)，其中，C1(P)＝max(D(P),A(P)*R)，C(P)表示当前的资源动态分配参考值。
之后，计算调整C(P)为C1(P)后，所述节点的节点资源剩余量T1，其中，T1＝T+C(P)-max(D(P)，A(P)*R)，T表示C(P)调整之前所述节点的节点资源剩余量。
与此同时，调整节点中除所述任务进程P之外的其他所有进程的资源动态分配参考值(其他各节点同样基于本发明方法进行资源调整)，在此基础上，调整为所述任务进程P所分配的节点资源的资源量为C1(P)+B1(P)*T1’；其中，T1’表示当前对节点中所有进程进行资源动态分配参考值调整后节点的资源剩余量，B1(P)表示调整所述C(P)为C1(P)后，所述任务进程P对所述节点的节点资源的占用比例，B1(P)＝C1(P)/C1，C1表示调整所述C(P)为C1(P)以及对节点中其他进程的资源动态分配参考值进行调整后，所述节点中所有进程当前的资源动态分配参考值之和。
通过以上处理过程，可在任务进程P对节点资源的实际使用量较小时，基于任务进程P的资源实际使用量及任务进程P所在服务器节点的资源剩余量，有效降低任务进程P的资源分配量，使得在任务进程P释放相应闲置资源，从而可降低资源浪费，提升服务器节点的资源利用率。
而当D(P)＞＝C(P)时，则表示任务进程P对已分配的资源进行了充分利用，对节点资源的实际需求量较高，针对该情况，为避免出现资源不足情况，本实施例调整C(P)为C2(P)，其中，C2(P)＝min(D(P),A(P))；
之后，计算调整C(P)为C2(P)后，所述节点的节点资源剩余量T2，其中，T2＝T+C(P)-min(D(P),A(P))；
与此同时，调整节点中其他各进程的资源动态分配参考值，在此基础上，调整为所述任务进程P所分配的节点资源的资源量为C2(P)+B2(P)*T2’；其中，T2’表示当前对节点中所有进程进行资源动态分配参考值调整后节点的资源剩余量，B2(P)表示调整所述C(P)为C2(P)后，所述任务进程P对所述节点的节点资源的占用比例，B2(P)＝C2(P)/C2，C2表示调整所述C(P)为C2(P)以及对节点中其他各进程的资源动态分配参考值进行调整后，所述节点中所有进程当前的资源动态分配参考值之和。
通过以上处理过程，可在任务进程P对节点资源的实际使用量较大时，基于任务进程P的资源实际使用量及任务进程P所在服务器节点的资源剩余量，有效提升任务进程P的资源分配量，以满足任务进程P对节点资源的实际使用需求。
需要说明的是，针对节点中的所有进程，均是采用本发明提供的上述动态调整进程节点资源的方案进行进程资源的动态分配，即周期性检测集群节点中所有进程对节点资源的实际使用量，并基于各进程对节点资源的实际使用量与其对应的当前动态分配参考值的大小关系，动态调整各进程的动态分配参考值C(P)以及服务器节点的剩余资源量T，并在调整C(P)及T后，重新计算所有进程的资源占用比例B(P)，最终，在此基础上，利用调整后的服务器节点的剩余资源量及各进程的资源占用比例，动态调整各进程的节点资源量，实现节点资源量的动态分配。
本实施例实现了基于任务进程对节点资源的实际使用信息及节点的资源剩余信息，对任务进程被分配的节点资源进行周期性调整，可有效提升节点的资源利用率。
实施例三
本实施例中，参考图3示出的一种集群节点的资源分配方法流程图，所述方法在所述步骤101之前还可以包括以下步骤：
步骤101’、当将所述任务进程调度到所述节点时，基于为所述任务进程所设定的节点资源的最小保护比例及所述节点的资源剩余信息，对所述任务进程进行节点资源分配。
具体地，该步骤101’可以通过以下的处理过程实现：
当将任务进程P调度到所述节点时，初始化所述任务进程P的资源动态分配参考值C(P)＝A(P)*R；其中，A(P)表示对所述进程的节点资源量的预分配值，R表示基于所述A(P)的进程节点资源的最小保护比例；
计算当前所述任务进程P对所述节点的节点资源的占用比例B(P)＝C(P)/C；其中，C表示所述节点中当前所有进程的资源动态分配参考值之和；
计算需为所述任务进程P分配的节点资源的资源量为C(P)+B(P)*T，并基于计算出的所述资源量C(P)+B(P)*T对所述任务进程P进行节点资源分配；其中，T表示所述节点当前的资源剩余量，T＝T总-C，T总表示所述节点的节点资源总量。
此处，需要说明的是，当为服务器节点中新调度的任务进程P分配节点资源后，需重新计算该服务器节点的剩余资源量T’＝T-C(P)，并基于新计算的剩余资源量重新计算除所述任务进程P之外的其他各进程的资源占用比例B(P')＝C(P')/T'，其中，C(P')表示进程P'(采用P'泛指其他进程中的某一进程)当时的资源动态分配参考值，进而在此基础上，在Cgroups中设置其他各节点的资源占用量为C(P')+B(P')*T'，从而实现各进程资源的动态分配。
结合实施例二的阐述，可知，利用本实施例方案，可以在服务器节点中有新的进程被调度时，或者在各进程运行过程中当达到以固定的时间间隔所设置的周期性检测时刻时，实现对服务器节点中的各进程进行节点资源的动态分配，而对于进程贡献的闲置资源而言，可应用于该进程所在的服务器节点中其他已分配资源的进程的资源重分配，或者还可以用于服务器节点中新调度的节点的资源分配，可有效提升云计算集群中服务器节点的资源利用率。
实施例四
本实施例四提供一种节点资源分配装置，参考图4示出的节点资源分配装置的结构示意图，该装置可以包括：
检测单元100，用于在任务进程在节点上运行的过程中，检测任务进程对所述节点的节点资源的实际使用信息；其中，所述任务进程基于当前已分配的节点资源运行；动态分配单元200，用于基于所述实际使用信息并结合所述节点的资源剩余信息，调整为所述任务进程所分配的节点资源的资源量，并基于调整后的资源量对所述任务进程进行节点资源的重新分配。
在本发明实施例的一实施方式中，所述检测单元，进一步用于：以预定的时间间隔检测所述任务进程对所述节点的节点资源的实际使用量。
在本发明实施例的一实施方式中，所述动态分配单元，进一步用于：若所述实际使用量小于当前的资源动态分配参考值，则基于所述实际使用量及所述节点的资源剩余量，降低为所述任务进程所分配的节点资源的资源量；若所述实际使用量不小于所述资源动态分配参考值，则基于所述实际使用量及所述节点的资源剩余量，提升为所述任务进程所分配的节点资源的资源量。
在本发明实施例的一实施方式中，参考图5示出的节点资源分配装置的结构示意图，所述装置还可以包括：初始分配单元100’，用于在将所述任务进程调度到所述节点时，基于为所述任务进程所设定的节点资源的最小保护比例及所述节点的资源剩余信息，对所述任务进程进行节点资源分配。
此处，需要说明的是，本实施例涉及的节点资源分配装置的描述，与上文方法的描述是类似的，且同方法的有益效果描述，对于本发明的节点资源分配装置在本实施例中未披露的技术细节，请参照本发明方法实施例的说明，本实施对此不再作赘述。
综上所述，本发明方案具有以下优势：可以提高云计算集群等环境中服务器节点的cpu资源实际利用率，进而可减小集群中服务器的实际需求量，节省成本；利用本发明方案可从微观的角度调整资源利用率，不对集群现有资源分配方式进行侵入式修改；另外，利用本发明方案可实现运行时动态调整资源实际分配情况，在提高实际资源利用率的同时不影响已有的集群结构与分配算法。
还需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
为了描述的方便，描述以上系统或装置时以功能分为各种模块或单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
最后，还需要说明的是，在本文中，诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种节点资源分配方法，其特征在于，包括：
在任务进程在节点上运行的过程中，检测所述任务进程对所述节点的节点资源的实际使用信息；其中，所述任务进程基于当前已分配的节点资源运行；
基于所述实际使用信息并结合所述节点的资源剩余信息，调整为所述任务进程所分配的节点资源的资源量，并基于调整后的资源量对所述任务进程进行节点资源的重新分配。
2.根据权利要求1所述的方法，其特征在于，所述实际使用信息包括所述任务进程对所述节点的节点资源的实际使用量；
则所述检测所述任务进程对所述节点的节点资源的实际使用信息，包括：
以预定的时间间隔检测所述任务进程对所述节点的节点资源的实际使用量。
3.根据权利要求2所述的方法，其特征在于，所述资源剩余信息包括所述节点的资源剩余量；
则所述基于所述实际使用信息并结合所述节点的资源剩余信息，调整为所述任务进程所分配的节点资源的资源量，包括：
若所述实际使用量小于当前的资源动态分配参考值，则基于所述实际使用量及所述节点的资源剩余量，降低为所述任务进程所分配的节点资源的资源量；
若所述实际使用量不小于所述资源动态分配参考值，则基于所述实际使用量及所述节点的资源剩余量，提升为所述任务进程所分配的节点资源的资源量。
4.根据权利要求3所述的方法，其特征在于，所述若所述实际使用量小于当前的资源动态分配参考值，则基于所述实际使用量及所述节点的资源剩余量，降低为所述进程所分配的节点资源的资源量，进一步包括：
若D(P)＜C(P)，则调整C(P)为C1(P)，其中，C1(P)＝max(D(P),A(P)*R)；D(P)表示所述进程当前对节点资源的实际使用量，C(P)表示当前的资源动态分配参考值，A(P)表示对所述进程的节点资源量的预分配值，R表示基于所述A(P)的进程节点资源的最小保护比例，所述最小保护比例是指在为任务进程P分配节点资源时，所分配的节点资源量占所述预分配值A(P)的最低比例阈值；当所述任务进程被调度到所述节点时，所述C(P)被初始化，且初始化值为A(P)*R；
当C(P)调整为C1(P)后，计算所述节点的节点资源剩余量T1，其中，T1＝T+C(P)-max(D(P)，A(P)*R)T表示C(P)调整之前所述节点的节点资源剩余量；
将为所述进程所分配的节点资源的资源量调整为C1(P)+B1(P)*T1’；其中，T1’表示当前对节点中所有进程进行资源动态分配参考值调整后节点的资源剩余量，B1(P)表示C(P)调整为C1(P)后，所述进程对所述节点的节点资源的占用比例，B1(P)＝C1(P)/C1，C1表示C(P)调整为C1(P)以及对节点中除所述任务进行之外的其他所有进程的资源动态分配参考值进行调整后，所述节点中所有进程当前的资源动态分配参考值之和。
5.根据权利要求3所述的方法，其特征在于，所述若所述实际使用量不小于相应的资源量参考基准值，则基于所述实际使用量及所述节点的资源剩余量，提升为所述进程所分配的节点资源的资源量，进一步包括：
若D(P)＞＝C(P)，则调整C(P)为C2(P)，其中，C2(P)＝min(D(P),A(P))；
计算调整C(P)为C2(P)后，所述节点的节点资源剩余量T2，其中，T2＝T+C(P)-min(D(P),A(P))；
将为所述进程所分配的节点资源的资源量调整为C2(P)+B2(P)*T2’；其中，T2’表示当前对节点中所有进程进行资源动态分配参考值调整后节点的资源剩余量，B2(P)表示调整所述C(P)为C2(P)后，所述进程对所述节点的节点资源的占用比例，B2(P)＝C2(P)/C2，C2表示调整所述C(P)为C2(P)以及对节点中其他所有进程的资源动态分配参考值进行调整后，所述节点中所有进程当前的资源动态分配参考值之和。
6.根据权利要求1-5任一项所述的方法，其特征在于，在所述检测进程对所述节点的节点资源的实际使用信息之前还包括：
当将所述任务进程调度到所述节点时，基于为所述任务进程所设定的节点资源的最小保护比例及所述节点的资源剩余量，对所述任务进程进行节点资源分配。
7.根据权利要求6所述的方法，其特征在于，所述当将所述任务进程调度到所述节点时，基于为所述任务进程所设定的节点资源的最小保护比例及所述节点的资源剩余信息，对所述任务进程进行节点资源分配，包括：
当将所述任务进程调度到所述节点时，初始化所述任务进程的资源动态分配参考值C(P)＝A(P)*R；其中，A(P)表示对所述任务进程的节点资源量的预分配值，R表示基于所述A(P)的进程节点资源的最小保护比例；
计算当前所述任务进程对所述节点的节点资源的占用比例B(P)＝C(P)/C；其中，C表示所述节点中当前所有进程的资源动态分配参考值之和；
计算需为所述任务进程分配的节点资源的资源量为C(P)+B(P)*T，并基于计算出的所述资源量C(P)+B(P)*T对所述任务进程进行节点资源分配；其中，T表示所述节点当前的资源剩余量，T＝T总-C，T总表示所述节点的节点资源总量。
8.一种节点资源分配装置，其特征在于，包括：
检测单元，用于在任务进程在节点上运行的过程中，检测所述任务进程对所述节点的节点资源的实际使用信息；其中，所述任务进程基于当前已分配的节点资源运行；
动态分配单元，用于基于所述实际使用信息并结合所述节点的资源剩余信息，调整为所述任务进程所分配的节点资源的资源量，并基于调整后的资源量对所述任务进程进行节点资源的重新分配。
9.根据权利要求8所述的装置，其特征在于，所述实际使用信息包括所述任务进程对所述节点的节点资源的实际使用量；所述资源剩余信息包括所述节点的资源剩余量；
则所述动态分配单元，进一步用于：
若所述实际使用量小于当前的资源动态分配参考值，则基于所述实际使用量及所述节点的资源剩余量，降低为所述任务进程所分配的节点资源的资源量；若所述实际使用量不小于所述资源动态分配参考值，则基于所述实际使用量及所述节点的资源剩余量，提升为所述任务进程所分配的节点资源的资源量。
10.根据权利要求8-9任一项所述的装置，其特征在于，还包括：
初始分配单元，用于在将所述任务进程调度到所述节点时，基于为所述任务进程所设定的节点资源的最小保护情况及所述节点的资源剩余情况，对所述任务进程进行节点资源分配。
CN201711306015.0A 2017-12-11 2017-12-11 一种节点资源分配方法及装置 Active CN107908479B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711306015.0A CN107908479B (zh) 2017-12-11 2017-12-11 一种节点资源分配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711306015.0A CN107908479B (zh) 2017-12-11 2017-12-11 一种节点资源分配方法及装置

Publications (2)

Publication Number Publication Date
CN107908479A true CN107908479A (zh) 2018-04-13
CN107908479B CN107908479B (zh) 2021-03-02

Family

ID=61854181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711306015.0A Active CN107908479B (zh) 2017-12-11 2017-12-11 一种节点资源分配方法及装置

Country Status (1)

Country Link
CN (1) CN107908479B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563509A (zh) * 2018-04-28 2018-09-21 北京京东金融科技控股有限公司 数据查询实现方法、装置、介质及电子设备
CN108845874A (zh) * 2018-06-25 2018-11-20 腾讯科技（深圳）有限公司 资源的动态分配方法及服务器
CN109542586A (zh) * 2018-11-19 2019-03-29 郑州云海信息技术有限公司 一种节点资源状态更新方法及系统
CN110399216A (zh) * 2019-06-27 2019-11-01 苏州浪潮智能科技有限公司 一种整机箱功耗的分配方法、系统、装置及可读存储介质
CN111258746A (zh) * 2018-11-30 2020-06-09 阿里巴巴集团控股有限公司 资源分配方法和服务设备
CN111918314A (zh) * 2020-08-20 2020-11-10 浪潮思科网络科技有限公司 一种基于分布式sdn的移动网络优化方法及系统
CN113535398A (zh) * 2021-07-14 2021-10-22 广州虎牙科技有限公司 资源分配调整方法、装置、电子设备和可读存储介质
CN113568746A (zh) * 2021-07-27 2021-10-29 北京达佳互联信息技术有限公司 负载均衡方法、装置、电子设备及存储介质
CN113742052A (zh) * 2020-05-29 2021-12-03 北京京东振世信息技术有限公司 批量任务处理方法和装置
CN114968601A (zh) * 2022-07-28 2022-08-30 合肥中科类脑智能技术有限公司 一种按比例预留资源的ai训练作业的调度方法和调度系统
CN115037752A (zh) * 2022-04-22 2022-09-09 网易（杭州）网络有限公司 资源再分配方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080256549A1 (en) * 2007-04-10 2008-10-16 International Business Machines Corporation System and Method of Planning for Cooperative Information Processing
CN103870341A (zh) * 2014-03-12 2014-06-18 汉柏科技有限公司 一种调整虚拟机资源的方法和系统
CN105897484A (zh) * 2016-06-01 2016-08-24 努比亚技术有限公司 一种流量管理装置、服务器和方法
CN107291556A (zh) * 2017-08-01 2017-10-24 上海联影医疗科技有限公司 医学设备及其内存分配方法、装置及存储介质
CN107291550A (zh) * 2017-06-22 2017-10-24 华中科技大学 一种针对迭代应用的Spark平台资源动态分配方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080256549A1 (en) * 2007-04-10 2008-10-16 International Business Machines Corporation System and Method of Planning for Cooperative Information Processing
CN103870341A (zh) * 2014-03-12 2014-06-18 汉柏科技有限公司 一种调整虚拟机资源的方法和系统
CN105897484A (zh) * 2016-06-01 2016-08-24 努比亚技术有限公司 一种流量管理装置、服务器和方法
CN107291550A (zh) * 2017-06-22 2017-10-24 华中科技大学 一种针对迭代应用的Spark平台资源动态分配方法及系统
CN107291556A (zh) * 2017-08-01 2017-10-24 上海联影医疗科技有限公司 医学设备及其内存分配方法、装置及存储介质

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563509A (zh) * 2018-04-28 2018-09-21 北京京东金融科技控股有限公司 数据查询实现方法、装置、介质及电子设备
CN108845874A (zh) * 2018-06-25 2018-11-20 腾讯科技（深圳）有限公司 资源的动态分配方法及服务器
CN108845874B (zh) * 2018-06-25 2023-03-21 腾讯科技（深圳）有限公司 资源的动态分配方法及服务器
CN109542586A (zh) * 2018-11-19 2019-03-29 郑州云海信息技术有限公司 一种节点资源状态更新方法及系统
CN111258746B (zh) * 2018-11-30 2023-04-25 阿里巴巴集团控股有限公司 资源分配方法和服务设备
CN111258746A (zh) * 2018-11-30 2020-06-09 阿里巴巴集团控股有限公司 资源分配方法和服务设备
US11586264B2 (en) 2019-06-27 2023-02-21 Inspur Suzhou Intelligent Technology Co., Ltd Allocation method, system and device for power consumption of complete machine box, and readable storage medium
CN110399216B (zh) * 2019-06-27 2021-10-15 苏州浪潮智能科技有限公司 一种整机箱功耗的分配方法、系统、装置及可读存储介质
CN110399216A (zh) * 2019-06-27 2019-11-01 苏州浪潮智能科技有限公司 一种整机箱功耗的分配方法、系统、装置及可读存储介质
CN113742052A (zh) * 2020-05-29 2021-12-03 北京京东振世信息技术有限公司 批量任务处理方法和装置
CN113742052B (zh) * 2020-05-29 2023-09-01 北京京东振世信息技术有限公司 批量任务处理方法和装置
CN111918314A (zh) * 2020-08-20 2020-11-10 浪潮思科网络科技有限公司 一种基于分布式sdn的移动网络优化方法及系统
CN111918314B (zh) * 2020-08-20 2024-03-29 浪潮思科网络科技有限公司 一种基于分布式sdn的移动网络优化方法及系统
CN113535398A (zh) * 2021-07-14 2021-10-22 广州虎牙科技有限公司 资源分配调整方法、装置、电子设备和可读存储介质
CN113535398B (zh) * 2021-07-14 2024-02-27 广州虎牙科技有限公司 资源分配调整方法、装置、电子设备和可读存储介质
CN113568746A (zh) * 2021-07-27 2021-10-29 北京达佳互联信息技术有限公司 负载均衡方法、装置、电子设备及存储介质
CN115037752A (zh) * 2022-04-22 2022-09-09 网易（杭州）网络有限公司 资源再分配方法、装置及电子设备
CN115037752B (zh) * 2022-04-22 2024-03-22 网易（杭州）网络有限公司 资源再分配方法、装置及电子设备
CN114968601A (zh) * 2022-07-28 2022-08-30 合肥中科类脑智能技术有限公司 一种按比例预留资源的ai训练作业的调度方法和调度系统

Also Published As

Publication number Publication date
CN107908479B (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN107908479A (zh) 一种节点资源分配方法及装置
US7996846B2 (en) Allocation of system resources among applications using predefined entitlement values and weight associated with each of the applications
US7543060B2 (en) Service managing apparatus for keeping service quality by automatically allocating servers of light load to heavy task
US6711616B1 (en) Client-server task distribution system and method
US8386512B2 (en) System for managing data collection processes
JP2004252988A (ja) コンピュータ・システムにおける区画間の動的プロセッサ再配分
US8185905B2 (en) Resource allocation in computing systems according to permissible flexibilities in the recommended resource requirements
US11496413B2 (en) Allocating cloud computing resources in a cloud computing environment based on user predictability
CN108845874B (zh) 资源的动态分配方法及服务器
CN107291546A (zh) 一种资源调度方法及装置
US10237339B2 (en) Statistical resource balancing of constrained microservices in cloud PAAS environments
WO2022105659A1 (zh) 应用容器管理方法、装置及设备
US20140196054A1 (en) Ensuring performance of a computing system
US7660897B2 (en) Method, system, and program for distributing application transactions among work servers
CN112449005B (zh) 请求分配方法、装置、电子设备及可读存储介质
CN106569892A (zh) 资源调度方法与设备
CN107967650A (zh) 一种核心银行系统的批量账务数据处理方法及装置
CN109767057A (zh) 资源分配方法、装置、电子设备及存储介质
CN108023834A (zh) 一种云资源自动分配方法及装置
CN114116173A (zh) 动态调整任务分配的方法、装置和系统
CN108845860B (zh) 一种quota管理方法、装置及电子设备
CN110413393A (zh) 集群资源管理方法、装置、计算机集群及可读存储介质
CN107239341B (zh) 一种资源折算方法、系统及虚拟机资源调度系统
CN108228346A (zh) 服务系统及其控制方法
EP4172721A1 (en) Dynamic power capping of computing systems and subsystems contained therein

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant