CN107343023B - 一种Mesos管理集群中的资源分配方法、装置及电子设备 - Google Patents

一种Mesos管理集群中的资源分配方法、装置及电子设备 Download PDF

Info

Publication number
CN107343023B
CN107343023B CN201710379477.9A CN201710379477A CN107343023B CN 107343023 B CN107343023 B CN 107343023B CN 201710379477 A CN201710379477 A CN 201710379477A CN 107343023 B CN107343023 B CN 107343023B
Authority
CN
China
Prior art keywords
task
resource amount
resource
resources
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710379477.9A
Other languages
English (en)
Other versions
CN107343023A (zh
Inventor
李军
赵慰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201710379477.9A priority Critical patent/CN107343023B/zh
Publication of CN107343023A publication Critical patent/CN107343023A/zh
Application granted granted Critical
Publication of CN107343023B publication Critical patent/CN107343023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 

Abstract

本发明实施例提供了一种Mesos管理集群中的资源分配方法、装置及电子设备，所述方法包括：确定当前处于执行状态的至少一个任务；根据预定时间段内执行至少一个任务分别使用的实际资源量，确定执行至少一个任务分别所需的最优资源量；根据所确定出的最优资源量，计算执行至少一个任务总共所需的目标资源量；根据目标资源量分配资源以执行至少一个任务。本发明实施例中，由于实际资源量小于指定资源量，得到的最优资源量也小于指定资源量，进而使得目标资源量小于各任务对应指定资源量的和，根据目标资源量分配资源以执行至少一个任务，从而节省了资源，使得资源的分配更加符合任务的资源需求，能够提高Mesos管理集群中的资源利用率。

Description

一种Mesos管理集群中的资源分配方法、装置及电子设备
技术领域
本发明涉及电子技术领域，特别是涉及一种Mesos管理集群中的资源分配方法、装置及电子设备。
背景技术
Mesos(分布式系统内核)管理集群是由多台服务器共同组成的，用于为外界终端执行任务。
具体地，Mesos管理集群包括主节点服务器(简称“主节点”)和从节点服务器(简称“从节点”)，每个主节点连接多个从节点。每个从节点自身具有一定的执行任务的资源(如CPU、内存等)，并实时将当前的资源使用情况上报给主节点。主节点可接收终端发送的任务执行请求，并根据其下从节点的资源使用情况，调度其下从节点执行任务。
现有技术中，终端向主节点发送任务执行请求时，同时会向主节点指定执行该任务所需的资源量(即指定资源量)，主节点将执行请求和对应的指定资源量通知给其下的从节点，从节点从自身当前资源中分配出与指定资源量等量的资源，以执行任务。
发明人在实现本发明的过程中发现，现有技术至少存在如下问题：从节点执行的任务通常为时长较长的任务，例如，从节点可能需要一个月的时间执行某一项任务。在实际情况下，终端对某个任务的指定资源量通常会大于从节点执行该任务时使用的实际资源量，而且在从节点长时间执行该任务的过程中，使用的实际资源量是随时间动态变化的，实际资源量会较长的时间内处于较低的使用状态，因此，当实际资源量较低时，从节点分配的资源会被大量的浪费，进而降低了Mesos管理集群中的资源利用率。
发明内容
本发明实施例的目的在于提供一种Mesos管理集群中的资源分配方法、装置及电子设备，以提高Mesos管理集群中的资源利用率。
为达到上述目的，本发明实施例提供了一种Mesos管理集群中的资源分配方法，所述方法包括：
确定当前处于执行状态的至少一个任务；
根据预定时间段内执行所述至少一个任务分别使用的实际资源量，确定执行所述至少一个任务分别所需的最优资源量；
根据所确定出的最优资源量，计算执行所述至少一个任务总共所需的目标资源量；
根据所述目标资源量分配资源以执行所述至少一个任务。
进一步地，所述根据预定时间段内执行所述至少一个任务分别使用的实际资源量，确定执行所述至少一个任务分别所需的最优资源量的步骤，包括：
针对所述至少一个任务中的每一任务，将预定时间段内执行该任务使用的实际资源量中的最大实际资源量，确定为执行该任务所需的最优资源量。
进一步地，所述根据所确定出的最优资源量，计算执行所述至少一个任务总共所需的目标资源量的步骤，包括：
将所有最优资源量的和，确定为执行所述至少一个任务总共所需的目标资源量。
进一步地，所述根据所确定出的最优资源量，计算执行所述至少一个任务总共所需的目标资源量的步骤，包括：
确定所述至少一个任务分别对应的指定资源量；
根据各指定资源量，计算所述至少一个任务对应的预留资源量；其中，所述预留资源量为max{ri-pi}，ri为第i个任务对应的指定资源量，pi为所述第i个任务对应的最优资源量；
将所有最优资源量与所述预留资源量的和，确定为执行所述至少一个任务总共所需的目标资源量。
进一步地，所述根据所述目标资源量分配资源以执行所述至少一个任务的步骤，包括：
按照预设分配方式，分配资源以执行各任务；其中，所述预设分配方式为：针对所述至少一个任务中的每一任务，分配执行该任务所需最优资源量的资源以执行该任务的方式。
进一步地，所述方法还包括：
通知主节点所述从节点当前的空闲资源；其中，所述空闲资源为：所述从节点的总资源量与所述目标资源量的差值。
本发明实施例还提供了一种Mesos管理集群中的资源分配装置，所述装置包括：
第一确定模块，用于确定当前处于执行状态的至少一个任务；
第二确定模块，用于根据预定时间段内执行所述至少一个任务分别使用的实际资源量，确定执行所述至少一个任务分别所需的最优资源量；
计算模块，用于根据所确定出的最优资源量，计算执行所述至少一个任务总共所需的目标资源量；
分配模块，用于根据所述目标资源量分配资源以执行所述至少一个任务。
进一步地，所述第二确定模块，具体用于针对所述至少一个任务中的每一任务，将预定时间段内执行该任务使用的实际资源量中的最大实际资源量，确定为执行该任务所需的最优资源量。
进一步地，所述计算模块具体用于，将所有最优资源量的和，确定为执行所述至少一个任务总共所需的目标资源量。
进一步地，所述计算模块，包括：
第一确定单元，用于确定所述至少一个任务分别对应的指定资源量；
计算单元，用于根据各指定资源量，计算所述至少一个任务对应的预留资源量；其中，所述预留资源量为max{ri-pi}，ri为第i个任务对应的指定资源量，pi为所述第i个任务对应的最优资源量；
第二确定单元，用于将所有最优资源量与所述预留资源量的和，确定为执行所述至少一个任务总共所需的目标资源量。
本发明实施例还提供了一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现所述的方法步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的Mesos管理集群中的资源分配方法。
本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的Mesos管理集群中的资源分配方法。
现有技术中，从节点会分配与指定资源量等量的资源，以执行任务，而且在从节点长时间执行该任务的过程中，使用的实际资源量是随时间动态变化的，当实际资源量较低时，从节点分配的资源会被大量的浪费，进而降低了Mesos管理集群中的资源利用率。
而本发明实施例提供的一种Mesos管理集群中的资源分配方法、装置及电子设备，首先，从节点根据当前处于执行状态的至少一个任务已利用的实际资源量，确定执行至少一个任务分别所需的最优资源量，由于实际资源量小于指定资源量，则得到的最优资源量也小于指定资源量；然后，计算执行该至少一个任务总共所需的目标资源量，使得目标资源量小于各任务对应指定资源量的和；最后，根据目标资源量分配资源以执行至少一个任务，从而节省了资源，使得资源的分配更加符合任务的资源需求，能够提高Mesos管理集群中的资源利用率。
附图说明
图1为本发明实施例提供的Mesos管理集群中的资源分配方法的流程图；
图2为本发明实施例提供的根据所确定出的最优资源量计算执行至少一个任务总共所需的目标资源量的流程图；
图3为本发明实施例提供的Mesos管理集群中的资源分配装置的结构示意图；
图4为本发明实施例提供的计算模块的结构示意图；
图5为本发明实施例提供的Mesos管理集群的结构示意图；
图6为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
为达到上述目的，本发明实施例提供了一种Mesos管理集群中的资源分配方法，图1为本发明实施例提供的Mesos管理集群中的资源分配方法的流程图，该方法可应用于从节点，所述方法包括：
S110，确定当前处于执行状态的至少一个任务。
本实施例中，所述任务可以为从节点能够执行的任一任务，当然，所述任务为执行时长较长的任务时，本发明实施例相对于现有技术的优势更加明显。举例而言：执行时长较长的任务可以为：执行时长的时长单位为小时、天、星期、月等非瞬时完成的任务。
具体地，从节点可同时执行多个任务(如计算数据、下载信息或上传信息等)，从节点确定正在处于执行状态的所有任务中的至少一个任务。
S120，根据预定时间段内执行所述至少一个任务分别使用的实际资源量，确定执行所述至少一个任务分别所需的最优资源量。
本实施例中，所述预定时间段为：正在处于执行状态的至少一个任务当前时刻之前的某一个时间段，该时间段的长度可自由设定。例如，预定时间段的长度可以为1天或1周。所述实际资源量为：从节点为执行某一个任务时，实际使用的资源量，该实际资源量是动态变化的。
为了获取最优资源量，在本发明实施例的一种具体实现方式中，步骤S120包括：针对所述至少一个任务中的每一任务，将预定时间段内执行该任务使用的实际资源量中的最大实际资源量，确定为执行该任务所需的最优资源量。
具体地，从节点可实时记录执行每个任务时使用的实际资源量，并分别为每个任务绘制一条实际资源量随时间变化的曲线。以某一条曲线为例，获取该曲线中预定时间段内的曲线段，并将该曲线段中的最大实际资源量(即实际资源量中的最大值)确定为执行该曲线对应任务时所需的最优资源量。本实施例中，将最大实际资源量作为最优资源量，可保证分配充足的资源以执行各任务。
S130，根据所确定出的最优资源量，计算执行所述至少一个任务总共所需的目标资源量。
可选地，为了计算目标资源量，本发明实施例提供了如下两种具体实现方式：
第一种具体实现方式：将所有最优资源量的和，确定为执行所述至少一个任务总共所需的目标资源量。
举例而言，设从节点确定了三个任务，执行这三个任务时分别需要的最优资源量为a、b和c，则计算得到的目标资源量的大小为a+b+c。
第二种具体实现方式中，如图2所示，根据所确定出的最优资源量计算执行至少一个任务总共所需的目标资源量的步骤，可以包括：
S131，确定所述至少一个任务分别对应的指定资源量。
具体地，终端向主节点发送任务执行请求时，同时会向主节点指定资源量，主节点将指定资源量通知给从节点，从节点可获知各任务对应的指定资源量。
S132，根据各指定资源量，计算所述至少一个任务对应的预留资源量。
具体地，可根据max{ri-pi}计算所述预留资源量，其中，ri为第i个任务对应的指定资源量，pi为所述第i个任务对应的最优资源量。
在实际情况下，执行任务的指定资源量通常会比最优资源量大很多，因此对于某一个任务而言，其对应的资源量差值(即指定资源量与最优资源量的差值)通常为一个正数。
所述预留资源量表示的意义为：所述至少一个任务中各任务对应的资源量差值中最大的值。举例而言，设从节点确定了三个任务，这三个任务分别对应的资源量差值的大小关系为a2＞b2＞c2，则预留资源量为a2。
S133，将所有最优资源量与所述预留资源量的和，确定为执行所述至少一个任务总共所需的目标资源量。
举例而言，设从节点确定了三个任务，执行这三个任务时分别需要的最优资源量为a1、b1和c1，这三个任务对应的预留资源量为a2，则计算得到的目标资源量的大小为a1+b1+c1+a2。
本实施例中，将预留资源量作为目标资源量的一部分，通过预留一部分资源，以应对由于某个任务执行过程中发生突发事件，导致执行该任务的资源不够用的情况出现，从而分配预留的资源以保证该任务继续执行，进一步满足了执行任务所需的资源，保证了任务的稳定执行。
S140，根据所述目标资源量分配资源以执行所述至少一个任务。
在本发明实施例提供的一种具体实现方式中，步骤S140包括：按照预设分配方式，分配资源以执行各任务；其中，所述预设分配方式为：针对所述至少一个任务中的每一任务，分配执行该任务所需最优资源量的资源以执行该任务的方式。
具体地，当目标资源量为所有最优资源量的和时，从节点可按照每个任务所需最优资源量的分配资源以执行该任务，即所有实际分配的资源的和等于目标资源量。当目标资源量为所有最优资源量与所述预留资源量的和时，从节点可按照每个任务所需最优资源量的分配资源以执行该任务，即所有实际分配的资源的和小于目标资源量。
现有技术中，从节点会分配与指定资源量等量的资源，以执行任务，而且在从节点长时间执行该任务的过程中，使用的实际资源量是随时间动态变化的，当实际资源量较低时，从节点分配的资源会被大量的浪费，进而降低了Mesos管理集群中的资源利用率。
而本发明实施例提供的一种Mesos管理集群中的资源分配方法，首先，从节点根据当前处于执行状态的至少一个任务已利用的实际资源量，确定执行至少一个任务分别所需的最优资源量，由于实际资源量小于指定资源量，则得到的最优资源量也小于指定资源量；然后，计算执行该至少一个任务总共所需的目标资源量，使得目标资源量小于各任务对应指定资源量的和；最后，根据目标资源量分配资源以执行至少一个任务，从而节省了资源，使得资源的分配更加符合任务的资源需求，能够提高Mesos管理集群中的资源利用率。
在本发明提供的又一实施例中，所述方法还包括：通知主节点所述从节点当前的空闲资源；其中，所述空闲资源为：所述从节点的总资源量与所述目标资源量的差值。
具体地，从节点还可以通知主节点剩余的空闲资源，以等待后续主节点根据空闲资源分配任务。举例而言，设从节点中的总资源量为T，目标资源量为a1+b1+c1+a2，则剩余的空闲资源量为T-(a1+b1+c1+a2)，从节点通知主节点剩余的空闲资源，主节点根据空闲资源的大小，分配该从节点可以执行的任务。本发明实施例对空闲资源进行统一管理，可以有效地对空闲资源加以利用，提高了资源利用率。
进一步地，可以周期性更新预定时间段或者实时更新预定时间段，当更新预定时间段后，计算得到的最优资源量也会相应更新，更新目标资源量以及预留资源量，进而周期性或实时的更新空闲资源量，减小资源的驻留时间，快速的释放潜在的空闲资源用于执行其他任务上，更加适应于最新时刻任务执行时的资源分配情况，保证任务执行的稳定性，并有效地对空闲资源加以利用，提高了资源利用率。
图5为本发明实施例提供的Mesos管理集群的结构示意图，Mesos管理集群中包括从节点510和主节点520，从节点510包括资源池511、执行模块512和监控模块513。
具体地，设资源池511中的总资源量为T，从节点510将总资源量T上报给主节点520，以使主节点520分配合适的任务。设主节点520将任务一、任务二分配给从节点510中的执行模块512，并指定从节点510执行任务一、任务二的指定资源量分别为r1和r2。资源池511从总资源量T中分别分配出r1和r2的资源量给执行模块512，以使执行模块512执行任务一和任务二，监控模块513实时监测执行模块512执行任务一和任务二时使用的实际资源量。
当执行模块512执行一段时间(如一天)后，监控模块513可从该时间段内执行任务一和任务二时分别使用的实际资源量中，查找到执行任务一使用的最大实际资源量a1和执行任务二使用的最大实际资源量b1，并将其通知给资源池511；资源池511以a1和b1的资源量重新分配给执行模块512，使执行执行模块512分别执行任务一和任务二。同时，资源池511还可以为执行模块512预留max{r1-a1,r2-b1}的资源量，以防止执行模块512在执行任务一和任务二时，突然出现资源不足的情况。资源池511将当前的空闲资源量T-max{r1-a1,r2-b1}-a1-b1释放给主节点520，以使主节点520继续分配要执行的任务。
相应于上述的方法实施例，本发明实施例还提供了一种Mesos管理集群中的资源分配装置，图3为本发明实施例提供的Mesos管理集群中的资源分配装置的结构示意图，该装置应用于从节点，该装置包括：
第一确定模块310，用于确定当前处于执行状态的至少一个任务；
第二确定模块320，用于根据预定时间段内执行所述至少一个任务分别使用的实际资源量，确定执行所述至少一个任务分别所需的最优资源量；
计算模块330，用于根据所确定出的最优资源量，计算执行所述至少一个任务总共所需的目标资源量；
分配模块340，用于根据所述目标资源量分配资源以执行所述至少一个任务。
现有技术中，从节点会分配与指定资源量等量的资源，以执行任务，而且在从节点长时间执行该任务的过程中，使用的实际资源量是随时间动态变化的，当实际资源量较低时，从节点分配的资源会被大量的浪费，进而降低了Mesos管理集群中的资源利用率。
而本发明实施例提供的一种Mesos管理集群中的资源分配装置，首先，从节点根据当前处于执行状态的至少一个任务已利用的实际资源量，确定执行至少一个任务分别所需的最优资源量，由于实际资源量小于指定资源量，则得到的最优资源量也小于指定资源量；然后，计算执行该至少一个任务总共所需的目标资源量，使得目标资源量小于各任务对应指定资源量的和；最后，根据目标资源量分配资源以执行至少一个任务，从而节省了资源，使得资源的分配更加符合任务的资源需求，能够提高Mesos管理集群中的资源利用率。
进一步地，所述第二确定模块，具体用于针对所述至少一个任务中的每一任务，将预定时间段内执行该任务使用的实际资源量中的最大实际资源量，确定为执行该任务所需的最优资源量。
进一步地，所述计算模块具体用于，将所有最优资源量的和，确定为执行所述至少一个任务总共所需的目标资源量。
图4为本发明实施例提供的计算模块的结构示意图，所述计算模块330包括：
第一确定单元331，用于确定所述至少一个任务分别对应的指定资源量；
计算单元332，用于根据各指定资源量，计算所述至少一个任务对应的预留资源量；其中，所述预留资源量为max{ri-pi}，ri为第i个任务对应的指定资源量，pi为所述第i个任务对应的最优资源量；
第二确定单元333，用于将所有最优资源量与所述预留资源量的和，确定为执行所述至少一个任务总共所需的目标资源量。
本实施例中，将预留资源量作为目标资源量的一部分，通过预留一部分资源，以应对由于某个任务执行过程中发生突发事件，导致执行该任务的资源不够用的情况出现，从而分配预留的资源以保证该任务继续执行，进一步满足了执行任务所需的资源，保证了任务的稳定执行。
进一步地，所述分配模块具体用于，按照预设分配方式，分配资源以执行各任务；其中，所述预设分配方式为：针对所述至少一个任务中的每一任务，分配执行该任务所需最优资源量的资源以执行该任务的方式。
进一步地，所述装置还包括：通知模块，用于通知主节点所述从节点当前的空闲资源；其中，所述空闲资源为：所述从节点的总资源量与所述目标资源量的差值。
本发明实施例还提供了一种电子设备，如图6所示，图6为本发明实施例提供的电子设备的结构示意图，电子设备包括处理器610、通信接口620、存储器630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信，
存储器630，用于存放计算机程序；
处理器610，用于执行存储器630上所存放的程序时，实现如下步骤：
确定当前处于执行状态的至少一个任务；
根据预定时间段内执行所述至少一个任务分别使用的实际资源量，确定执行所述至少一个任务分别所需的最优资源量；
根据所确定出的最优资源量，计算执行所述至少一个任务总共所需的目标资源量；
根据所述目标资源量分配资源以执行所述至少一个任务。
现有技术中，从节点会分配与指定资源量等量的资源，以执行任务，而且在从节点长时间执行该任务的过程中，使用的实际资源量是随时间动态变化的，当实际资源量较低时，从节点分配的资源会被大量的浪费，进而降低了Mesos管理集群中的资源利用率。
而本发明实施例提供的电子设备，首先，从节点根据当前处于执行状态的至少一个任务已利用的实际资源量，确定执行至少一个任务分别所需的最优资源量，由于实际资源量小于指定资源量，则得到的最优资源量也小于指定资源量；然后，计算执行该至少一个任务总共所需的目标资源量，使得目标资源量小于各任务对应指定资源量的和；最后，根据目标资源量分配资源以执行至少一个任务，从而节省了资源，使得资源的分配更加符合任务的资源需求，能够提高Mesos管理集群中的资源利用率。
在本发明提供的又一实施例中，所述处理器610，用于针对所述至少一个任务中的每一任务，将预定时间段内执行该任务使用的实际资源量中的最大实际资源量，确定为执行该任务所需的最优资源量。
在本发明提供的又一实施例中，所述处理器610，用于将所有最优资源量的和，确定为执行所述至少一个任务总共所需的目标资源量。
在本发明提供的又一实施例中，所述处理器610，用于确定所述至少一个任务分别对应的指定资源量；根据各指定资源量，计算所述至少一个任务对应的预留资源量；其中，所述预留资源量为max{ri-pi}，ri为第i个任务对应的指定资源量，pi为所述第i个任务对应的最优资源量；将所有最优资源量与所述预留资源量的和，确定为执行所述至少一个任务总共所需的目标资源量。
在本发明提供的又一实施例中，所述处理器610，用于按照预设分配方式，分配资源以执行各任务；其中，所述预设分配方式为：针对所述至少一个任务中的每一任务，分配执行该任务所需最优资源量的资源以执行该任务的方式。
在本发明提供的又一实施例中，所述处理器610，通知主节点所述从节点当前的空闲资源；其中，所述空闲资源为：所述从节点的总资源量与所述目标资源量的差值。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral PomponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Ne twork Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Applica tion SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的Mesos管理集群中的资源分配方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的Mesos管理集群中的资源分配方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种Mesos管理集群中的资源分配方法，其特征在于，所述方法包括：
确定当前处于执行状态的至少一个任务；
针对所述至少一个任务中的每一任务，将预定时间段内执行该任务使用的实际资源量中的最大实际资源量，确定为执行该任务所需的最优资源量；
根据所确定出的最优资源量，计算执行所述至少一个任务总共所需的目标资源量；
根据所述目标资源量分配资源以执行所述至少一个任务。
2.根据权利要求1所述的方法，其特征在于，所述根据所确定出的最优资源量，计算执行所述至少一个任务总共所需的目标资源量的步骤，包括：
将所有最优资源量的和，确定为执行所述至少一个任务总共所需的目标资源量。
3.根据权利要求1所述的方法，其特征在于，所述根据所确定出的最优资源量，计算执行所述至少一个任务总共所需的目标资源量的步骤，包括：
确定所述至少一个任务分别对应的指定资源量；
根据各指定资源量，计算所述至少一个任务对应的预留资源量；其中，所述预留资源量为max{ri-pi}，ri为第i个任务对应的指定资源量，pi为所述第i个任务对应的最优资源量；
将所有最优资源量与所述预留资源量的和，确定为执行所述至少一个任务总共所需的目标资源量。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述目标资源量分配资源以执行所述至少一个任务的步骤，包括：
按照预设分配方式，分配资源以执行各任务；其中，所述预设分配方式为：针对所述至少一个任务中的每一任务，分配执行该任务所需最优资源量的资源以执行该任务的方式。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
通知主节点从节点当前的空闲资源；其中，所述空闲资源为：所述从节点的总资源量与所述目标资源量的差值。
6.一种Mesos管理集群中的资源分配装置，其特征在于，所述装置包括：
第一确定模块，用于确定当前处于执行状态的至少一个任务；
第二确定模块，用于针对所述至少一个任务中的每一任务，将预定时间段内执行该任务使用的实际资源量中的最大实际资源量，确定为执行该任务所需的最优资源量；
计算模块，用于根据所确定出的最优资源量，计算执行所述至少一个任务总共所需的目标资源量；
分配模块，用于根据所述目标资源量分配资源以执行所述至少一个任务。
7.根据权利要求6所述的装置，其特征在于，
所述计算模块具体用于，将所有最优资源量的和，确定为执行所述至少一个任务总共所需的目标资源量。
8.根据权利要求6所述的装置，其特征在于，所述计算模块，包括：
第一确定单元，用于确定所述至少一个任务分别对应的指定资源量；
计算单元，用于根据各指定资源量，计算所述至少一个任务对应的预留资源量；其中，所述预留资源量为max{ri-pi}，ri为第i个任务对应的指定资源量，pi为所述第i个任务对应的最优资源量；
第二确定单元，用于将所有最优资源量与所述预留资源量的和，确定为执行所述至少一个任务总共所需的目标资源量。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
CN201710379477.9A 2017-05-25 2017-05-25 一种Mesos管理集群中的资源分配方法、装置及电子设备 Active CN107343023B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710379477.9A CN107343023B (zh) 2017-05-25 2017-05-25 一种Mesos管理集群中的资源分配方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710379477.9A CN107343023B (zh) 2017-05-25 2017-05-25 一种Mesos管理集群中的资源分配方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN107343023A CN107343023A (zh) 2017-11-10
CN107343023B true CN107343023B (zh) 2020-01-10

Family

ID=60219950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710379477.9A Active CN107343023B (zh) 2017-05-25 2017-05-25 一种Mesos管理集群中的资源分配方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN107343023B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110058936B (zh) * 2018-01-18 2023-04-18 伊姆西Ip控股有限责任公司 用于确定专用处理资源的资源量的方法、设备和计算机程序产品
CN110609745A (zh) * 2018-06-15 2019-12-24 中移(苏州)软件技术有限公司 一种作业任务的执行方法、装置、电子设备、存储介质
CN110888733B (zh) * 2018-09-11 2023-12-26 三六零科技集团有限公司 集群资源使用情况处理方法、装置及电子设备
CN110275777B (zh) * 2019-06-10 2021-10-29 广州市九重天信息科技有限公司 一种资源调度系统
CN111026552B (zh) * 2019-12-09 2023-03-03 腾讯科技（深圳）有限公司 资源的调度方法、装置、电子设备和计算机可读存储介质
CN111722928A (zh) * 2020-06-12 2020-09-29 北京字节跳动网络技术有限公司 一种资源调度方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013386A (zh) * 2007-02-06 2007-08-08 华中科技大学 基于反馈机制的网格任务调度方法
CN103458052A (zh) * 2013-09-16 2013-12-18 北京搜狐新媒体信息技术有限公司 一种基于IaaS云平台的资源调度方法和装置
CN103839199A (zh) * 2014-03-18 2014-06-04 北京倍得力商务服务有限公司 资源调度系统及方法
CN103873528A (zh) * 2012-12-17 2014-06-18 北京百度网讯科技有限公司 一种为用户分配系统资源的方法与设备
CN104735786A (zh) * 2013-12-18 2015-06-24 中兴通讯股份有限公司 一种资源调度的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013386A (zh) * 2007-02-06 2007-08-08 华中科技大学 基于反馈机制的网格任务调度方法
CN103873528A (zh) * 2012-12-17 2014-06-18 北京百度网讯科技有限公司 一种为用户分配系统资源的方法与设备
CN103458052A (zh) * 2013-09-16 2013-12-18 北京搜狐新媒体信息技术有限公司 一种基于IaaS云平台的资源调度方法和装置
CN104735786A (zh) * 2013-12-18 2015-06-24 中兴通讯股份有限公司 一种资源调度的方法和装置
CN103839199A (zh) * 2014-03-18 2014-06-04 北京倍得力商务服务有限公司 资源调度系统及方法

Also Published As

Publication number Publication date
CN107343023A (zh) 2017-11-10

Similar Documents

Publication Publication Date Title
CN107343023B (zh) 一种Mesos管理集群中的资源分配方法、装置及电子设备
US10740136B2 (en) Automatic virtual machine termination in a cloud
CN109582466B (zh) 一种定时任务执行方法、分布式服务器集群及电子设备
CN109936511B (zh) 一种令牌获取方法、装置、服务器、终端设备及介质
CN108549583B (zh) 大数据处理方法、装置、服务器及可读存储介质
CN110519183B (zh) 一种节点限速的方法、装置、电子设备及存储介质
CN107018091B (zh) 资源请求的调度方法和装置
CN111104227B (zh) 一种K8s平台的资源控制方法、装置及相关组件
EP3958122A1 (en) Memory management method, apparatus, and system
CN110599148B (zh) 集群数据处理方法、装置、计算机集群及可读存储介质
US11068317B2 (en) Information processing system and resource allocation method
CN113886069A (zh) 一种资源分配方法、装置、电子设备及存储介质
CN112162852A (zh) 一种多架构cpu节点的管理方法、装置及相关组件
CN109428926B (zh) 一种调度任务节点的方法和装置
CN114185675A (zh) 资源管理方法、装置、电子设备及存储介质
CN112860387A (zh) 分布式任务调度方法、装置、计算机设备及存储介质
CN105511959B (zh) 虚拟资源分配方法和装置
CN112527490B (zh) 节点资源管控方法、装置、电子设备及存储介质
CN112130997A (zh) 一种资源分配方法及装置
CN110912949B (zh) 位点提交方法和装置
CN113806050A (zh) 一种计算资源的处理方法、装置、电子设备及存储介质
CN113285890B (zh) 网关流量的分配方法、装置、电子设备及存储介质
CN110868564B (zh) 一种存储任务分配方法、云存储系统及电子设备
CN114518957A (zh) 资源调整方法、装置、电子设备及计算机可读存储介质
CN111124657B (zh) 资源管理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant