CN115220903A - 资源管理方法、装置、系统、设备及介质 - Google Patents

资源管理方法、装置、系统、设备及介质 Download PDF

Info

Publication number
CN115220903A
CN115220903A CN202110406449.8A CN202110406449A CN115220903A CN 115220903 A CN115220903 A CN 115220903A CN 202110406449 A CN202110406449 A CN 202110406449A CN 115220903 A CN115220903 A CN 115220903A
Authority
CN
China
Prior art keywords
real
service node
time
resource amount
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110406449.8A
Other languages
English (en)
Inventor
龙飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202110406449.8A priority Critical patent/CN115220903A/zh
Publication of CN115220903A publication Critical patent/CN115220903A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/503—Resource availability

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本公开涉及一种资源管理方法、装置、系统、设备及介质。其中，资源管理方法包括：在服务节点的运行过程中，获取服务节点的实时超售资源量，实时超售资源量根据服务节点的实时负载确定；将实时超售资源量上报至资源管理节点，实时超售资源量用于资源管理节点计算服务节点的实时可分配资源量。根据本公开实施例，能够提高服务集群内部不同服务节点之间的负载均衡性，从而提高了服务集群的资源利用率。

Description

资源管理方法、装置、系统、设备及介质
技术领域
本公开涉及计算机技术领域，尤其涉及一种资源管理方法、装置、系统、设备及介质。
背景技术
在分布式任务调度系统中，往往需要提前根据任务的特性配置相应的资源。对于在整个生命周期中资源使用比较平稳的任务，利用这种方法可以有效地估算其需求来合理分配计算资源，以使服务集群达到较高的资源利用率。但对于资源使用不稳定的任务，可能出现两个配置相同的服务节点分配的资源量相同，但使用效率相差很大的情况，进而造成服务集群内部不同服务节点之间的负载倾斜问题，降低了服务集群的资源利用率。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种资源管理方法、装置、系统、设备及介质。
第一方面，本公开提供了一种资源管理方法，包括：
在服务节点的运行过程中，获取服务节点的实时超售资源量，实时超售资源量根据服务节点的实时负载确定；
将实时超售资源量上报至资源管理节点，实时超售资源量用于资源管理节点计算服务节点的实时可分配资源量。
第二方面，本公开提供了一种资源管理方法，包括：
获取服务节点发送的实时超售资源量，实时超售资源量根据服务节点的实时负载确定；
根据实时超售资源量和服务节点的实时空闲资源量，计算服务节点的实时可分配资源量，实时可分配资源量用于为服务节点分配任务。
第三方面，本公开提供了一种资源管理装置，包括：
第一获取单元，配置为在服务节点的运行过程中，获取服务节点的实时超售资源量，实时超售资源量根据服务节点的实时负载确定；
信息上报单元，配置为将实时超售资源量上报至资源管理节点，实时超售资源量用于资源管理节点计算服务节点的实时可分配资源量。
第四方面，本公开提供了一种资源管理装置，包括：
第二获取单元，配置为获取服务节点发送的实时超售资源量，实时超售资源量根据服务节点的实时负载确定；
资源计算单元，配置为根据实时超售资源量和服务节点的实时空闲资源量，计算服务节点的实时可分配资源量，实时可分配资源量用于为服务节点分配任务。
第五方面，本公开提供了一种资源管理系统，包括服务节点和资源管理节点，其中：
服务节点用于在服务节点的运行过程中，获取服务节点的实时超售资源量，实时超售资源量根据服务节点的实时负载确定；将实时超售资源量上报至资源管理节点；
资源管理节点用于获取服务节点发送的实时超售资源量；根据实时超售资源量和服务节点的实时空闲资源量，计算服务节点的实时可分配资源量，实时可分配资源量用于为服务节点分配任务。
第六方面，本公开提供了一种计算设备，包括：
处理器；
存储器，用于存储可执行指令；
其中，处理器用于从存储器中读取可执行指令，并执行可执行指令以实现第一方面或者第二方面所述的资源管理方法。
第七方面，本公开提供了一种计算机可读存储介质，该存储介质存储有计算机程序，当计算机程序被计算设备执行时，使得计算设备实现第一方面或者第二方面所述的资源管理方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例的资源管理方法、装置、系统、设备及介质，能够在服务节点的运行过程中，获取根据服务节点的实时负载所确定的服务节点的实时超售资源量，并且将实时超售资源量上报至资源管理节点，使资源管理节点可以根据该实时超售资源量计算服务节点的实时可分配资源量，因此，对于资源使用不稳定的任务，服务节点可以动态地获取针对这些任务分配的资源的实时超售资源量，资源管理节点可以根据实时超售资源量动态地修改实时可分配资源量，使得在基于修改后的实时可分配资源量进行任务分配时，可以达到根据修改后的实时可分配资源量动态地调整向服务节点分配的任务量的效果，实现服务集群内部不同服务节点之间负载的相对均衡，进而提高服务集群内部不同服务节点之间的负载均衡性，从而提高了服务集群的资源利用率。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例提供的一种资源管理系统的结构示意图；
图2为本公开实施例提供的另一种资源管理系统的结构示意图；
图3为本公开实施例提供的又一种资源管理系统的结构示意图；
图4为本公开实施例提供的一种资源管理方法的流程示意图；
图5为本公开实施例提供的一种计算函数的示意图；
图6为本公开实施例提供的另一种资源管理方法的流程示意图；
图7为本公开实施例提供的一种任务分配过程的流程示意图；
图8为本公开实施例提供的一种资源管理装置的结构示意图；
图9为本公开实施例提供的另一种资源管理装置的结构示意图；
图10为本公开实施例提供的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
在分布式任务调度系统中，往往需要提前根据任务的特性配置相应的资源。对于在整个生命周期中资源使用比较平稳的任务，利用这种方法可以有效地估算其需求来合理分配计算资源，以使服务集群达到较高的资源利用率。但对于资源使用不稳定的任务，可能出现两个配置相同的服务节点分配的资源量相同，但使用效率相差很大的情况。例如，服务器A和服务器B均具有40个中央处理器(Central Processing Unit，CPU)核心资源，若按照目前静态的资源分配方案，在服务器A和服务器B各自获取了5个对CPU核心资源的需求为8的任务之后，则不会再为服务器A和服务器B分配新的任务，由于这些任务在执行过程中消耗的CPU核心资源是变化的，可能出现服务器A的CPU使用率达到80％，而服务器B的CPU使用率只达到了40％，使得服务器A的负载较高而服务器B的负载较低。可见，目前静态的资源分配方案会造成服务集群内部不同服务节点之间的负载倾斜问题，降低了服务集群的资源利用率。
为了解决上述问题，本公开实施例提供了一种能够提高服务集群内部不同服务节点之间的负载均衡性的资源管理方法、装置、系统、设备及介质。
为了更清楚地对本公开实施例进行说明，下面首先结合图1至图3对本公开实施例提供的资源管理系统进行说明。
如图1所示，该资源管理系统可以包括分布式服务端中的多个服务节点101和资源管理节点102。
其中，服务节点101和资源管理节点102可以分别包括云服务器、服务器或者虚拟机等具有存储及计算功能的设备。
在本公开实施例中，服务节点101可以用于执行任务并且与资源管理节点102保持通信。资源管理节点102可以实时监控和管理各个服务节点101的资源。
其中，本公开实施例所述的任务可以至少包括数据存储任务、数据查询任务、数据处理任务和测试任务。本公开实施例所述的资源可以包括服务节点101的CPU核心资源。
基于上述的资源管理系统，为了提高服务集群内部不同服务节点101之间的负载均衡性，服务节点101可以用于在其运行过程中，获取自身的实时超售资源量，该实时超售资源量可以根据自身的实时负载确定，并且将实时超售资源量上报至资源管理节点102。资源管理节点102可以用于获取各个服务节点101发送的实时超售资源量，并且根据每个服务节点101的实时超售资源量和实时空闲资源量，计算每个服务节点101的实时可分配资源量，该实时可分配资源量可以用于为各个服务节点分配任务。
其中，服务节点101和资源管理节点102各自执行的资源管理方法将在后文进行详细说明。
由此，在本公开实施例中，对于资源使用不稳定的任务，服务节点101可以动态地获取针对这些任务分配的资源的实时超售资源量，资源管理节点102可以根据实时超售资源量动态地修改实时可分配资源量，使得在基于修改后的实时可分配资源量进行任务分配时，可以达到根据修改后的实时可分配资源量动态地调整向服务节点101分配的任务量的效果，实现服务集群内部不同服务节点101之间负载的相对均衡，进而提高服务集群内部不同服务节点101之间的负载均衡性，从而提高了服务集群的资源利用率。
在本公开一些实施方式中，如图1所示，服务节点101的实时超售资源量可以由服务节点101自身进行实时监控。
其中，服务节点101确定实时超售资源量的方法将在后文进行详细说明。
在本公开另一种实施方式中，服务节点的实时超售资源量也可以由运行于服务节点内的目标进程如资管评估进程进行实时监控。此时，服务节点可以作为目标进程的宿主机，以为目标进程提供运行环境。
图2示出了本公开实施例提供的另一种资源管理系统的结构示意图。
如图2所示，该资源管理系统可以包括分布式服务端中的多个服务节点101和资源管理节点102，每个服务节点101内可以运行有一个资源评估进程103。
其中，服务节点101和资源管理节点102可以分别包括云服务器、服务器或者虚拟机等具有存储及计算功能的设备。
在本公开实施例中，资源评估进程103可以用于根据所属的服务节点101的实时负载确定该服务节点101的实时超售资源量，并且将实时超售资源量发送至所属的服务节点101。服务节点101可以用于接收运行于其中的资源评估进程103发送的实时超售资源量，并且将实时超售资源量上报至资源管理节点102。资源管理节点102可以用于获取各个服务节点101发送的实时超售资源量，并且根据每个服务节点101的实时超售资源量和实时空闲资源量，计算每个服务节点101的实时可分配资源量，该实时可分配资源量可以用于为各个服务节点分配任务。
其中，资源评估进程103确定实时超售资源量的方法将在后文进行详细说明。
由此，在本公开实施例中，对于资源使用不稳定的任务，服务节点101中运行的资源评估进程103可以准确地读取服务节点101的实时负载，并且动态地获取针对这些任务分配的资源的实时超售资源量，以提高所获取的实时超售资源量的准确性，进而通过服务节点101将实时超售资源量上报至资源管理节点102，资源管理节点102可以根据实时超售资源量动态地修改实时可分配资源量，使得在基于修改后的实时可分配资源量进行任务分配时，可以达到根据修改后的实时可分配资源量动态地调整向服务节点101分配的任务量的效果，实现服务集群内部不同服务节点101之间负载的相对均衡，进而提高服务集群内部不同服务节点101之间的负载均衡性，从而提高了服务集群的资源利用率。
可选地，继续参见图2，服务节点101可以通过超文本传输协议(HyperTextTransfer Protocol，HTTP)接口与其中运行的资源评估进程103进行通信，使得服务节点101可以用于接收资源评估进程103通过HTTP接口发送的实时超售资源量。
由此，在本公开实施例中，可以通过服务节点101上的HTTP接口可靠地实现与资源评估进程103的通信，进而能够可靠地获取实时超售资源量，以提高调节服务集群内部不同服务节点101之间的负载均衡性的可靠性。
本公开实施例提供的资源管理系统可以应用于各种需要提供分布式任务调度的场景，在此不作限制。
图3示出了本公开实施例提供的又一种资源管理系统的结构示意图。
如图3所示，该资源管理系统可以包括分布式服务端中的多个服务节点101、资源管理节点102和多个调度节点104。
其中，服务节点101、资源管理节点102和调度节点104可以分别包括云服务器、服务器或者虚拟机等具有存储及计算功能的设备。
在本公开实施例中，服务节点101可以用于执行任务并且与资源管理节点102保持通信。资源管理节点102可以实时监控和管理各个服务节点101的资源。调度节点104可以实时地根据资源管理节点102提供的资源进行任务调度。
基于上述的资源管理系统，为了提高服务集群内部不同服务节点101之间的负载均衡性，服务节点101可以在运行过程中，获取自身的实时超售资源量，该实时超售资源量可以根据自身的实时负载确定，并且将实时超售资源量上报至资源管理节点102。资源管理节点102可以用于获取各个服务节点101发送的实时超售资源量，并且根据每个服务节点101的实时超售资源量和实时空闲资源量，计算每个服务节点101的实时可分配资源量。资源管理节点102可以根据各个服务节点101的实时可分配资源量对各个服务节点101的实时可分配资源进行汇总，并按照预定的资源分配规则分配到各个调度节点104，使得各个调度节点104利用获取到的资源匹配用户提交过来的任务，以根据资源管理节点102提供的资源进行任务调度。
由此，在本公开实施例中，可以达到根据实时可分配资源量动态地调整向服务节点101分配的任务量的效果，实现服务集群内部不同服务节点101之间负载的相对均衡，进而提高服务集群内部不同服务节点101之间的负载均衡性，从而提高了服务集群的资源利用率。
下面结合图4对本公开实施例提供的一种资源管理方法进行说明。
在本公开实施例中，该资源管理方法可以由服务节点执行，例如，图1至3中所示的服务节点101。其中，服务节点可以包括云服务器、服务器或者虚拟机等具有存储及计算功能的设备。
图4示出了本公开实施例提供的一种资源管理方法的流程示意图。
如图4所示，该资源管理方法可以包括如下步骤。
S410、在服务节点的运行过程中，获取服务节点的实时超售资源量，实时超售资源量根据服务节点的实时负载确定。
在本公开实施例中，服务节点可以在其运行过程中，获取根据其自身的实时负载确定的实时超售资源量，该实时超售资源量可以体现其自身资源的实时超售情况。
在一些实施例中，服务节点可以每个预定时间间隔，获取其自身的实时超售资源量，即周期性地获取其自身的实时超售资源量。在另一些实施例中，服务节点可以实时地获取其自身的实时超售资源量。
在本公开一些实施例中，服务节点的实时超售资源量可以由服务节点自身进行实时监控。
具体地，服务节点可以实时监测其自身的实时负载，并且根据实时负载计算其自身的实时超售资源量。
在本公开另一些实施例中，服务节点的实时超售资源量也可以由运行于服务节点内的目标进程进行实时监控。
目标进程可以为任务处理进程以外的其他用于进行资源监测的进程，如资管评估进程。其中，任务处理进程可以用于执行任务。
具体地，目标进程可以实时监测其所属服务节点的实时负载，并且根据实时负载计算其所属服务节点的实时超售资源量。
可选地，目标进程可以从其所属服务节点的CPU运行日志或者CPU状态数据中读取服务节点的CPU的实时负载，进而根据实时负载计算其所属服务节点的实时超售资源量。
在这些实施例中，可选地，S410可以具体包括：
在服务节点的运行过程中，接收服务节点中的目标进程发送的实时超售资源量。
具体地，服务节点可以在其运行过程中，接收其中运行的目标进程所发送的实时超售资源量。
进一步地，服务节点可以通过HTTP接口与其中运行的目标进程进行通信。
此时，接收服务节点中的目标进程发送的实时超售资源量可以具体包括：接收目标进程通过HTTP接口发送的实时超售资源量。
S420、将实时超售资源量上报至资源管理节点，实时超售资源量用于资源管理节点计算服务节点的实时可分配资源量。
在本公开实施例中，服务节点可以将实时超售资源量上报至资源管理节点，使得资源管理节点可以根据实时超售资源量计算该实时超售资源量所属的服务节点的实时可分配资源量，进而根据各个服务节点的实时可分配资源量对该资源管理节点所管理的各个服务节点的实时可分配资源进行汇总，并按照预定的资源分配规则分配到各个调度节点，使得各个调度节点利用获取到的资源匹配用户提交过来的任务，以根据资源管理节点提供的资源进行任务调度。
在本公开实施例中，能够在服务节点的运行过程中，获取根据服务节点的实时负载所确定的服务节点的实时超售资源量，并且将实时超售资源量上报至资源管理节点，使资源管理节点可以根据该实时超售资源量计算服务节点的实时可分配资源量，因此，对于资源使用不稳定的任务，服务节点可以动态地获取针对这些任务分配的资源的实时超售资源量，资源管理节点可以根据实时超售资源量动态地修改实时可分配资源量，使得在基于修改后的实时可分配资源量进行任务分配时，可以达到根据修改后的实时可分配资源量动态地调整向服务节点分配的任务量的效果，实现服务集群内部不同服务节点之间负载的相对均衡，进而提高服务集群内部不同服务节点之间的负载均衡性，从而提高了服务集群的资源利用率。
在本公开实施例中，可选地，实时超售资源量可以与实时负载负相关，即实时负载越高，实时超售资源量越低，以在服务节点的负载较高时减少向其分配任务、在服务节点的负载较低时增加向其分配任务，达到减少向服务集群内部的负载较高的服务节点分配任务、增加向服务集群内部的负载较低的服务节点分配任务的效果，实现服务集群内部不同服务节点之间负载的相对均衡，进而提高服务集群内部不同服务节点之间的负载均衡性，从而提高了服务集群的资源利用率。
在本公开一些实施例中，在实时负载小于预设的负载下限值的情况下，实时超售资源量可以为预设的超售量上限值。
其中，由于实时超售资源量与实时负载负相关，在实时负载小于预设的负载下限值的情况下，服务节点或目标进程可以确定该服务节点的资源已达到超售的上限，因此，可以直接将实时超售资源量设置为预设的超售量上限值。
需要说明的是，预设的负载下限值和预设的超售量上限值可以根据需要和服务节点的配置预先设置，在此不作限制。
可选地，预设的超售量上限值可以设置为与服务节点的资源如CPU核心资源的总数相接近的数值，在此不作限制。例如，如果服务节点的资源总数为40，预设的超售量上限值可以设置为40，即超售量上限值可以表示服务节点的资源全部超售。
在本公开另一些实施例中，在实时负载大于预设的负载上限值的情况下，实时超售资源量可以为预设的超售量下限值。
其中，由于实时超售资源量与实时负载负相关，在实时负载大于预设的负载上限值的情况下，服务节点或目标进程可以确定该服务节点的资源未出现超售的情况，因此，可以直接将实时超售资源量设置为预设的超售量下限值。
需要说明的是，预设的负载上限值和预设的超售量下限值可以根据需要和服务节点的配置预先设置，在此不作限制。
可选地，预设的超售量下限值可以设置为0，即超售量下限值可以表示服务节点的资源均未超售。
在本公开又一些实施例中，在实时负载大于或等于预设的负载下限值且小于或等于预设的负载上限值的情况下，实时超售资源量可以根据实时负载和预设的计算函数确定。
其中，在实时负载大于或等于预设的负载下限值且小于或等于预设的负载上限值的情况下，服务节点或目标进程可以确定该服务节点的资源出现部分超售的情况，因此，可以实时负载和预设的计算函数计算实时超售资源量。
需要说明的是，预设的计算函数可以根据需要和服务节点的配置预先设置，在此不作限制。
可选地，预设的计算函数可以为根据上述预设的负载下限值、预设的负载上限值、预设的超售量下限值和预设的超售量上限值生成的单调递减函数。
其中，单调递减函数可以包括但不限于单调递减的抛物线函数、单调递减的线性函数和单调递减的双曲线函数中的任一种。
图5示出了本公开实施例提供的一种计算函数的示意图。
如图5所示，x轴代表实时负载，负载下限值可以为l，负载上限值可以为u，y轴代表实时超售资源量，超售量下限值可以为z，超售量上限值可以为m。在实时负载为l时，实时超售资源量为m。在实时负载为u时，实时超售资源量为z。
曲线1可以表征抛物线函数，直线2可以表征线性函数，曲线3可以表征双曲线函数。其中，曲线1、直线2和曲线3均单调递减。
对于曲线1而言，此时斜率(绝对值)随实时负载的升高而增加，即实时负载越高，实时超售资源量递减的越快。
可选地，曲线1的函数公式可以为：
Figure BDA0003022555720000131
需要说明的是，曲线1的函数公式还可以为预先设置的其他单调递减的抛物线函数公式，在此不作限制。
对于直线2而言，此时斜率不变，即实时超售资源量随着实时负载的增高而线性下降，无论实时负载的高低，实时超售资源量低贱的速度保持不变。
可选地，直线2的函数公式可以为：
Figure BDA0003022555720000132
需要说明的是，直线2的函数公式还可以为预先设置的其他单调递减的线性函数公式，在此不作限制。
对于曲线3而言，此时斜率(绝对值)随实时负载的升高而减少，即实时负载越高，实时超售资源量递减的越慢。
需要说明的是，曲线3的函数公式可以为预先设置的任意单调递减的线性函数公式，在此不作限制。
在本公开实施例中，可选地，在S410之前，该资源管理方法还可以包括：向资源管理节点发送注册资源量，以在资源管理节点内注册服务节点的资源。
具体地，服务节点可以在首次加入由资源管理节点所管理的系统时，向资源管理节点发送该服务节点的注册资源量，在资源管理节点内进行资源注册。
其中，注册资源量可以为注册在资源管理节点内的静态资源量，注册资源量可以小于或等于服务节点的资源总量。
需要说明的是，该服务节点的注册资源量中的实时空闲资源量可以根据该服务节点正在执行的任务所需的资源量实时变动。即在该服务节点首次注册时该服务节点的实时空闲资源量可以为注册资源量；在该服务节点的运行过程中，该服务节点的实时空闲资源量可以为注册资源量与该服务节点正在执行的全部任务所需的资源量之差。
在本公开实施例中，可选地，该资源管理方法还可以包括：在服务节点完成任务时，向资源管理节点发送针对该任务的任务完成通知，以使资源管理节点根据该任务完成通知更新该服务节点的注册资源量中的实时空闲资源量。
具体地，当服务节点完成某个任务时，可以向资源管理节点发送针对该任务的任务完成通知，资源管理节点可以将响应该任务完成通知时刻的实时空闲资源量与该任务所需的资源量相加，得到更新后的实时空闲资源量。
由此，在本公开实施例中，服务节点可以与资源管理节点进行实时交互，以动态更新资源管理节点中记录的该服务节点的实时空闲资源量，进而使资源管理节点可以可靠地确定服务节点的实时可分配资源量，以提高资源管理的可靠性。
下面结合图6对本公开实施例提供的另一种资源管理方法进行说明。
在本公开实施例中，该资源管理方法可以由资源管理节点执行，例如，图1至3中所示的资源管理节点102。其中，资源管理节点可以包括云服务器、服务器或者虚拟机等具有存储及计算功能的设备。
图6示出了本公开实施例提供的另一种资源管理方法的流程示意图。
如图6所示，该资源管理方法可以包括如下步骤。
S610、获取服务节点发送的实时超售资源量，实时超售资源量根据服务节点的实时负载确定。
在本公开实施例中，资源管理节点可以获取服务节点发送的实时超售资源量。
其中，实时超售资源量的确定方法已在上述实施例中说明，在此不做赘述。
S620、根据实时超售资源量和服务节点的实时空闲资源量，计算服务节点的实时可分配资源量，实时可分配资源量用于为服务节点分配任务。
在本公开实施例中，资源管理节点在获取到各个服务节点的实时超售资源量之后，可以获取各个服务节点的实时空闲资源量，进而根据每个服务节点的据实时超售资源量和实时空闲资源量，计算该服务节点的实时可分配资源量，进而根据各个服务节点的实时可分配资源量对该资源管理节点所管理的各个服务节点的实时可分配资源进行汇总，并按照预定的资源分配规则分配到各个调度节点，使得各个调度节点利用获取到的资源匹配用户提交过来的任务，以根据资源管理节点提供的资源进行任务调度。
在本公开实施例中，能够获取服务节点发送根据服务节点的实时负载所确定的实时超售资源量，并且根据服务节点的实时超售资源量和实时空闲资源量，计算服务节点的实时可分配资源量，因此，对于资源使用不稳定的任务，可以接收服务节点发送的针对这些任务动态获取的实时超售资源量，进而根据实时超售资源量动态地修改实时可分配资源量，使得在基于修改后的实时可分配资源量进行任务分配时，可以达到根据修改后的实时可分配资源量动态地调整向服务节点分配的任务量的效果，实现服务集群内部不同服务节点之间负载的相对均衡，进而提高服务集群内部不同服务节点之间的负载均衡性，从而提高了服务集群的资源利用率。
在本公开实施例中，可选地，S610之前，该资源管理方法还可以包括：接收服务节点发送的注册资源量，并且根据该注册资源量为该服务节点的资源进行注册。
具体地，服务节点可以在首次加入由资源管理节点所管理的系统时，向资源管理节点发送该服务节点的注册资源量，资源管理节点可以将该服务节点的节点信息和注册资源量进行存储，以在资源管理节点内为该服务节点进行资源注册。
其中，注册资源量可以为注册在资源管理节点内的静态资源量，注册资源量可以小于或等于服务节点的资源总量。
需要说明的是，该服务节点的注册资源量中的实时空闲资源量可以由资源管理节点根据该服务节点正在执行的任务所需的资源量实时更新。即在该服务节点首次注册时，资源管理节点可以将注册资源量作为该服务节点的实时空闲资源量；在该服务节点的运行过程中，资源管理节点可以注册资源量与该服务节点正在执行的全部任务所需的资源量之差作为该服务节点的实时空闲资源量。
在本公开实施例中，可选地，该资源管理方法还可以包括：确定向服务节点所分配的任务所需要的资源量，根据确定的资源量更新该服务节点的实时空闲资源量。
具体地，资源管理节点可以实时地确定向服务节点所分配的新的任务所需要的资源量，并且将确定新的任务所需要的资源量的时刻的实时空闲资源量与新的任务所需要的资源量之差作为更新后的实时空闲资源量。
在本公开实施例中，可选地，该资源管理方法还可以包括：接收服务节点发送的针对指定任务的任务完成通知，根据该任务完成通知更新该服务节点的实时空闲资源量。
具体地，当服务节点完成某个任务时，可以向资源管理节点发送针对该指定任务的任务完成通知，资源管理节点可以确定任务完成通知所涉及的指定任务所需的资源量，进而将响应该任务完成通知时刻的实时空闲资源量与该指定任务所需的资源量相加，得到更新后的实时空闲资源量。
由此，在本公开实施例中，资源管理节点可以与服务节点进行实时交互，以动态更新所记录的该服务节点的实时空闲资源量，进而使资源管理节点可以可靠地确定服务节点的实时可分配资源量，以提高资源管理的可靠性。
下面以Mesos分布式资源管理框架为例，对基于本公开实施例的资源管理方法而实现的任务分配过程进行说明。
其中，可以利用Mesos中的调度节点实现对利用实时超售资源量进行更新后的实时可分配资源量对应的实时可分配资源进行调度，可以利用Mesos的Module机制实现在服务器内运行资源评估进程，资源评估进程可以通过Mesos的HTTP接口向服务器上报实时超售资源量。
图7示出了本公开实施例提供的一种任务分配过程的流程示意图。
如图7所示，该任务分配过程可以包括如下步骤。
S701、资源评估进程周期性地根据所属服务器的实时负载，并计算出实时负载对应的实时超售资源量，进而通过HTTP接口向所属服务器动态更新实时超售资源量。
S702、服务器可以向资源管理设备上报实时超售资源量。
S703、资源管理设备可以根据该服务器的实时超售资源量和实时空闲资源量更新该服务器的实时可分配资源，并且收集所管理的全部服务器的实时可分配资源，将其进行汇总，并根据汇总后的实时可分配资源按照预定的资源分配规则向调度设备分配资源。
其中，预定的资源分配规则可以为向各个调度设备平均分配，也可以为根据每个调度设备接收到的任务量在全部调度设备接收到的任务总量中的占比进行分配，在此不作限制。
S704、调度设备可以利用获取到的资源，匹配用户提交过来的任务。如果为服务设备成功匹配到任务，则向该服务器所属的资源管理设备下发任务。
S705、资源管理设备可以维护接收到调度设备下发的任务的状态，并且审计对应服务器的资源的使用情况。
S706、资源管理设备可以向任务对应的服务器下发任务，并更新该服务器的实时空闲资源量。
S707、服务器可以执行任务，并在执行完成后，向资源管理设备上报针对该任务的任务完成通知和任务执行结果。
S708、资源管理设备可以根据该任务完成通知更新服务器的实时空闲资源量，并根据任务执行结果更新任务状态。
S709、资源管理设备可以将任务执行结果上报至调度设备，调度设备可以根据任务执行结果决定下一步操作，如将任务执行结果回调给客户、失败重试等。
综上所述，本公开实施例可以通过统计各个服务器的动态超售情况来合理平衡分布式任务调度系统中不同服务器之间的负载，即按照一定周期动态更新服务器的实时超售资源量，并动态修改服务器的实时可分配资源，已达到减少向实时负载较高的服务器上调度任务的效果，最终实现不同服务器之间的负载的相对均衡。
本公开实施例还提供了一种用于实现上述的由服务节点执行的资源管理方法的资源管理装置，下面结合图8进行说明。
在本公开实施例中，该资源管理装置可以设置于服务节点中，例如，图1至3中所示的服务节点101。其中，服务节点可以包括云服务器、服务器或者虚拟机等具有存储及计算功能的设备。
图8示出了本公开实施例提供的一种资源管理装置的结构示意图。
如图8所示，该资源管理装置800可以包括第一获取单元810和信息上报单元820。
该第一获取单元810可以配置为在服务节点的运行过程中，获取服务节点的实时超售资源量，实时超售资源量根据服务节点的实时负载确定。
该信息上报单元820可以配置为将实时超售资源量上报至资源管理节点，实时超售资源量用于资源管理节点计算服务节点的实时可分配资源量。
在本公开实施例中，能够在服务节点的运行过程中，获取根据服务节点的实时负载所确定的服务节点的实时超售资源量，并且将实时超售资源量上报至资源管理节点，使资源管理节点可以根据该实时超售资源量计算服务节点的实时可分配资源量，因此，对于资源使用不稳定的任务，服务节点可以动态地获取针对这些任务分配的资源的实时超售资源量，资源管理节点可以根据实时超售资源量动态地修改实时可分配资源量，使得在基于修改后的实时可分配资源量进行任务分配时，可以达到根据修改后的实时可分配资源量动态地调整向服务节点分配的任务量的效果，实现服务集群内部不同服务节点之间负载的相对均衡，进而提高服务集群内部不同服务节点之间的负载均衡性，从而提高了服务集群的资源利用率。
在本公开一些实施例中，该第一获取单元810可以进一步配置为接收服务节点中的目标进程发送的实时超售资源量。
在本公开一些实施例中，该第一获取单元810还可以进一步配置为接收目标进程通过HTTP接口发送的实时超售资源量。
在本公开一些实施例中，在实时负载小于预设的负载下限值的情况下，实时超售资源量可以为预设的超售量上限值。
在本公开一些实施例中，在实时负载大于预设的负载上限值的情况下，实时超售资源量可以为预设的超售量下限值。
在本公开一些实施例中，在实时负载大于或等于预设的负载下限值且小于或等于预设的负载上限值的情况下，实时超售资源量可以根据实时负载和预设的计算函数确定。
在本公开一些实施例中，计算函数可以为根据负载下限值、负载上限值、预设的超售量下限值和预设的超售量上限值生成的单调递减函数。
在本公开一些实施例中，单调递减函数可以包括单调递减的抛物线函数、单调递减的线性函数和单调递减的双曲线函数中的任一种。
需要说明的是，图8所示的资源管理装置800可以执行图4至图5所示的方法实施例中的各个步骤，并且实现图4至图5所示的方法实施例中的各个过程和效果，在此不做赘述。
本公开实施例还提供了一种用于实现上述的由资源管理节点执行的资源管理方法的资源管理装置，下面结合图9进行说明。
在本公开实施例中，该资源管理装置可以设置于资源管理节点中，例如，图1至3中所示的资源管理节点102。其中，资源管理节点可以包括云服务器、服务器或者虚拟机等具有存储及计算功能的设备。
图9示出了本公开实施例提供的另一种资源管理装置的结构示意图。
如图9所示，该资源管理装置900可以包括第二获取单元910和资源计算单元920。
该第二获取单元910可以配置为获取服务节点发送的实时超售资源量，实时超售资源量根据服务节点的实时负载确定。
该资源计算单元920可以配置为根据实时超售资源量和服务节点的实时空闲资源量，计算服务节点的实时可分配资源量，实时可分配资源量用于为服务节点分配任务。
在本公开实施例中，能够获取服务节点发送根据服务节点的实时负载所确定的实时超售资源量，并且根据服务节点的实时超售资源量和实时空闲资源量，计算服务节点的实时可分配资源量，因此，对于资源使用不稳定的任务，可以接收服务节点发送的针对这些任务动态获取的实时超售资源量，进而根据实时超售资源量动态地修改实时可分配资源量，使得在基于修改后的实时可分配资源量进行任务分配时，可以达到根据修改后的实时可分配资源量动态地调整向服务节点分配的任务量的效果，实现服务集群内部不同服务节点之间负载的相对均衡，进而提高服务集群内部不同服务节点之间的负载均衡性，从而提高了服务集群的资源利用率。
需要说明的是，图9所示的资源管理装置900可以执行图6所示的方法实施例中的各个步骤，并且实现图6所示的方法实施例中的各个过程和效果，在此不做赘述。
本公开实施例还提供了一种计算设备，该计算设备可以包括处理器和存储器，存储器可以用于存储可执行指令。其中，处理器可以用于从存储器中读取可执行指令，并执行可执行指令以实现上述实施例中的资源管理方法。
图10示出了本公开实施例提供的一种计算设备的结构示意图。下面具体参考图10，其示出了适于用来实现本公开实施例中的计算设备1000的结构示意图。
在本公开实施例中，该计算设备1000可以为服务器。服务器可以包括云服务器、服务器或者虚拟机等具有存储及计算功能的设备。
需要说明的是，图10示出的计算设备1000仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示，该计算设备1000可以包括处理装置(例如中央处理器、图形处理器等)1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储装置1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有计算设备1000操作所需的各种程序和数据。处理装置1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
通常，以下装置可以连接至I/O接口1005：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1006；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1007；包括例如磁带、硬盘等的存储装置1008；以及通信装置1009。通信装置1009可以允许计算设备1000与其他设备进行无线或有线通信以交换数据。虽然图10示出了具有各种装置的计算设备1000，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
本公开实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，当计算机程序被计算设备的处理器执行时，使得计算设备的处理器实现上述实施例中的资源管理方法。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。
本公开实施例还提供了一种计算机程序产品，该计算机程序产品可以包括计算机程序，当计算机程序被计算设备的处理器执行时，使得计算设备的处理器实现上述实施例中的资源管理方法。
例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置1009从网络上被下载和安装，或者从存储装置1008被安装，或者从ROM 1002被安装。在该计算机程序被处理装置1001执行时，执行本公开实施例的资源管理方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述计算设备中所包含的；也可以是单独存在，而未装配入该计算设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该计算设备执行时，使得该计算设备执行：
在服务节点的运行过程中，获取服务节点的实时超售资源量，实时超售资源量根据服务节点的实时负载确定；将实时超售资源量上报至资源管理节点，实时超售资源量用于资源管理节点计算服务节点的实时可分配资源量。
或者，获取服务节点发送的实时超售资源量，实时超售资源量根据服务节点的实时负载确定；根据实时超售资源量和服务节点的实时空闲资源量，计算服务节点的实时可分配资源量。
在本公开实施例中，可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (16)

1.一种资源管理方法，其特征在于，包括：
在服务节点的运行过程中，获取所述服务节点的实时超售资源量，所述实时超售资源量根据所述服务节点的实时负载确定；
将所述实时超售资源量上报至资源管理节点，所述实时超售资源量用于所述资源管理节点计算所述服务节点的实时可分配资源量。
2.根据权利要求1所述的方法，其特征在于，所述获取所述服务节点的实时超售资源量，包括：
接收所述服务节点中的目标进程发送的所述实时超售资源量。
3.根据权利要求2所述的方法，其特征在于，所述接收所述服务节点中的目标进程发送的所述实时超售资源量，包括：
接收所述目标进程通过超文本传输协议HTTP接口发送的所述实时超售资源量。
4.根据权利要求1至3任一项所述的方法，其特征在于，在所述实时负载小于预设的负载下限值的情况下，所述实时超售资源量为预设的超售量上限值。
5.根据权利要求1至3任一项所述的方法，其特征在于，在所述实时负载大于预设的负载上限值的情况下，所述实时超售资源量为预设的超售量下限值。
6.根据权利要求1至3任一项所述的方法，其特征在于，在所述实时负载大于或等于预设的负载下限值且小于或等于预设的负载上限值的情况下，所述实时超售资源量根据所述实时负载和预设的计算函数确定。
7.根据权利要求6所述的方法，其特征在于，所述计算函数为根据所述负载下限值、所述负载上限值、预设的超售量下限值和预设的超售量上限值生成的单调递减函数。
8.根据权利要求7所述的方法，其特征在于，所述单调递减函数包括单调递减的抛物线函数、单调递减的线性函数和单调递减的双曲线函数中的任一种。
9.一种资源管理方法，其特征在于，包括：
获取服务节点发送的实时超售资源量，所述实时超售资源量根据所述服务节点的实时负载确定；
根据所述实时超售资源量和所述服务节点的实时空闲资源量，计算所述服务节点的实时可分配资源量，所述实时可分配资源量用于为所述服务节点分配任务。
10.一种资源管理装置，其特征在于，包括：
第一获取单元，配置为在服务节点的运行过程中，获取所述服务节点的实时超售资源量，所述实时超售资源量根据所述服务节点的实时负载确定；
信息上报单元，配置为将所述实时超售资源量上报至资源管理节点，所述实时超售资源量用于所述资源管理节点计算所述服务节点的实时可分配资源量。
11.一种资源管理装置，其特征在于，包括：
第二获取单元，配置为获取服务节点发送的实时超售资源量，所述实时超售资源量根据所述服务节点的实时负载确定；
资源计算单元，配置为根据所述实时超售资源量和所述服务节点的实时空闲资源量，计算所述服务节点的实时可分配资源量，所述实时可分配资源量用于为所述服务节点分配任务。
12.一种资源管理系统，包括服务节点和资源管理节点，其特征在于：
所述服务节点用于在所述服务节点的运行过程中，获取所述服务节点的实时超售资源量，所述实时超售资源量根据所述服务节点的实时负载确定；将所述实时超售资源量上报至所述资源管理节点；
所述资源管理节点用于获取所述服务节点发送的所述实时超售资源量；根据所述实时超售资源量和所述服务节点的实时空闲资源量，计算所述服务节点的实时可分配资源量，所述实时可分配资源量用于为所述服务节点分配任务。
13.根据权利要求12所述的管理系统，其特征在于，所述服务节点中设置有目标进程；
其中，所述目标进程用于根据所述实时负载确定所述实时超售资源量；将所述实时超售资源量发送至所述服务节点；
其中，所述服务节点具体用于接收所述服务节点中的目标进程发送的所述实时超售资源量。
14.根据权利要求13所述的管理系统，其特征在于，所述服务节点通过HTTP接口与所述目标进程通信；
其中，所述服务节点具体用于接收所述目标进程通过所述HTTP接口发送的所述实时超售资源量。
15.一种计算设备，其特征在于，包括：
处理器；
存储器，用于存储可执行指令；
其中，所述处理器用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现上述权利要求1-9中任一项所述的资源管理方法。
16.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现上述权利要求1-9中任一项所述的资源管理方法。
CN202110406449.8A 2021-04-15 2021-04-15 资源管理方法、装置、系统、设备及介质 Pending CN115220903A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110406449.8A CN115220903A (zh) 2021-04-15 2021-04-15 资源管理方法、装置、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110406449.8A CN115220903A (zh) 2021-04-15 2021-04-15 资源管理方法、装置、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN115220903A true CN115220903A (zh) 2022-10-21

Family

ID=83605066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110406449.8A Pending CN115220903A (zh) 2021-04-15 2021-04-15 资源管理方法、装置、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN115220903A (zh)

Similar Documents

Publication Publication Date Title
US11146502B2 (en) Method and apparatus for allocating resource
CN110389826B (zh) 用于处理计算任务的方法、设备和计算程序产品
CN108776934A (zh) 分布式数据计算方法、装置、计算机设备及可读存储介质
CN108366082A (zh) 扩容方法及扩容装置
CN114020470A (zh) 资源分配方法、装置、可读介质及电子设备
CN110430142B (zh) 用于控制流量的方法和装置
US20230136612A1 (en) Optimizing concurrent execution using networked processing units
CN109428926B (zh) 一种调度任务节点的方法和装置
CN110912949A (zh) 位点提交方法和装置
CN111580974A (zh) Gpu实例分配方法、装置、电子设备和计算机可读介质
CN111694670B (zh) 资源分配方法、装置、设备和计算机可读介质
KR101810180B1 (ko) 사용자 장치 기반의 빅데이터 분산 처리 방법 및 장치
CN112561301A (zh) 工单分配方法、装置、设备和计算机可读介质
CN115185667B (zh) 可视化应用的加速方法、装置、电子设备和存储介质
CN109067649B (zh) 节点处理方法及装置、存储介质和电子设备
CN112148448B (zh) 资源分配方法、装置、设备和计算机可读介质
CN115220903A (zh) 资源管理方法、装置、系统、设备及介质
CN111694672B (zh) 资源分配方法、任务提交方法、装置、电子设备和介质
CN114090201A (zh) 资源调度方法、装置、设备及存储介质
CN112181605A (zh) 负载均衡方法、装置、电子设备和计算机可读介质
CN112527454A (zh) 容器组调度方法、装置、电子设备和计算机可读介质
Munige Near Real-Time Processing of Voluminous, High-Velocity Data Streams for Continuous Sensing Environments
US9747131B1 (en) System and method for variable aggregation in order for workers in a data processing to share information
CN113067869B (zh) 节点控制方法及装置、节点管理方法及装置、分布式系统
CN117331662A (zh) 一种任务调度方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination